JP2011082614A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】超解像において複数の入力画像を合成する時の加重加算係数を最適化する。
【解決手段】撮影によって低解像度画像である複数の入力画像（ＩＮ_k）を取得し、異なる入力画像間の位置ずれ量を検出する一方で、各入力画像を画素の補間によって高解像度化することにより中間生成画像（ＭＩＤ_k）を生成する。検出された位置ずれ量をパラメータとして持つ評価関数に基づいて折り返し歪の除去に適した加重加算係数（ｗ_k）を算出し、該加重加算係数に従って各中間生成画像の対応画像信号を加重加算することにより出力画像を生成する。評価関数は、入力画像の撮影条件等に応じて可変設定される。例えば、入力画像のＩＳＯ感度が高い場合には、折り返し歪の除去よりも、高ＩＳＯ感度に起因して増大したノイズが優先的に除去されるように評価関数を調整する。
【選択図】図３

Description

本発明は、画像処理装置及びデジタルカメラ等の撮像装置に関する。本発明は、特に、複数枚の低解像度画像から折り返し歪が除去された高解像度画像を生成する技術に関する。

複数の低解像度画像から１枚の高解像度画像を生成する画像処理方法が様々に提案されている。これらの方法の内、特許文献１に記載された方法について簡単に説明する。画像が一次元画像である場合を考える。

特許文献１における方法では、標本化位置が互いに異なる複数組のデジタルデータから高解像度化データを生成する。複数組のデジタルデータは、複数の低解像度画像を表し、高解像度化データは高解像度画像を表す。ｋ番目のデジタルデータの標本化位置（Δ_k）に基づき、下記式（Ａ１）〜（Ａ３）を満たす係数ｗ_kを算出する。一方で、複数の低解像度画像（複数組のデジタルデータ）の夫々に対してナイキスト周波数以上の高周波成分を通過させるフィルタ処理を行い、該フィルタ処理後の画像を高解像度化する。そして、この高解像度化によって得られた複数の中間高解像度画像を係数ｗ_kに従って加重加算することにより、折り返し歪が除去された高解像度画像を生成する。

式（Ａ１）〜（Ａ３）において、
ｗ_kは、ｋ番目のデジタルデータに対する重みを表す加重加算係数であり、
Δ_kは、ｋ番目のデジタルデータの標本化位置である。１番目のデジタルデータの標本化位置を基準にして考えた場合、Δ_kは、１番目のデジタルデータの標本化位置に対するｋ番目のデジタルデータの標本化位置の位置ずれである（この場合、当然、Δ₁はゼロである）。式（Ａ２）及び式（Ａ３）は、下記式（Ａ４）にまとめて表現される。ここで、ｉは虚数単位である。

一次元画像に対する上記式（Ａ１）〜（Ａ３）を解くためには、３枚の低解像度画像（３組のデジタルデータ）が必要となる。二次元画像においては、折り返し歪が４方向に存在するため、加重加算係数の算出式は３〜９個の等式から成る連立方程式となる。折り返し歪を除去する方向を１つ増加させるごとに、必要な等式が２個増加する。従って、二次元画像に含まれる４方向の折り返し歪を特許文献１の方法で除去するためには、９枚の低解像度画像（９組の二次元デジタルデータ）が必要となる。

標本化位置の異なる画像間では折り返し歪の発生の仕方が異なるため、上述の如く複数枚の画像を加重加算することによって、折り返し歪が除去された高解像度画像を生成することができるのであるが、特許文献１に係る上述の方法を用いた場合、位置ずれ量によっては加重加算係数ｗ_kを求めることができない。例えば、（Δ₁，Δ₂，Δ₃）＝（０，０．５，１）の場合、式（Ａ１）〜（Ａ３）からは、２つの等式「ｗ₁＋ｗ₂＋ｗ₃＝１」及び「ｗ₁−ｗ₂＋ｗ₃＝０」しか得られなため、加重加算係数ｗ_kを求めることができない。

一方において、特許文献１には、上記式（Ａ１）〜（Ａ３）を利用した下記式（Ａ５）に示すような評価関数を設定し、該評価関数の値が最小化されるように演算を行うことで、加重加算係数ｗ_kを求める方法も提案されている。この評価関数を用いた方法によれば加重加算係数ｗ_kが導出不可になるおそれはなくなる。

特開平８−３３６０４６号公報

しかしながら、超解像の元となる複数の低解像度画像の状態は様々であり、上記の評価関数を用いることが高解像度画像の画質向上にとって最適であるとはいい難い。低解像度画像の状態に適応した評価関数を利用すれば、超解像によって得られる高解像度画像の最適化が図れる。

そこで本発明は、低解像度画像の状態に適応した画像高解像度化を行うことができる画像処理装置及び撮像装置を提供することを目的とする。

本発明に係る画像処理装置は、撮影によって得られる複数の入力画像間の位置ずれ量をパラメータとして持つ評価関数に基づいて各入力画像を高解像度化しつつ合成することにより、前記入力画像の解像度よりも高い解像度を有する出力画像を生成する画像処理装置において、前記評価関数は、前記入力画像の撮影条件、前記入力画像の画像特徴、又は、前記位置ずれ量の大きさに応じて可変設定されることを特徴とする。

これにより、入力画像の撮影条件等に適応した評価関数を用いて出力画像を生成することが可能となり、様々な条件下において、出力画像の画質最適化を狙うことが可能となる。

具体的には例えば、前記評価関数は、前記入力画像の撮影条件に応じて可変設定され、前記入力画像の撮影条件は、前記入力画像の明るさを調節するための信号増幅率、前記入力画像の撮影時における光学ズーム倍率、又は、前記入力画像の撮影時における露光時間、を含む。

或いは例えば、前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、前記入力画像の画像特徴は、前記入力画像の合焦度合い、又は、前記入力画像上の各位置におけるエッジ強度を含む。

更に或いは例えば、前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、前記入力画像上に前記特定の物体の画像信号が存在しているとき、前記特定の物体の画像信号が存在している画像領域とそれ以外の画像領域との間で、前記複数の入力画像の合成条件を求めるための関数である前記評価関数を異ならせる。

また具体的には例えば、当該画像処理装置は、前記複数の入力画像の夫々を高解像度化することによって複数の中間生成画像を生成する高解像度化部と、前記評価関数に基づいて各中間生成画像に対する加重加算係数を導出する加重加算係数導出部と、前記加重加算係数を用いて前記複数の中間生成画像の画像信号を加重加算することにより、前記出力画像を生成する加重加算部と、を備えている。

本発明に係る撮像装置は、複数の画像を撮影する撮像部と、前記画像処理装置と、を備えた撮像装置であって、前記撮像部にて撮影された前記複数の画像を複数の入力画像として前記画像処理装置に与えることを特徴とする。

本発明によれば、複数の低解像度画像の状態に適応した画像高解像度化を行うことができる画像処理装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の概略ブロック図である。 図１の撮像部の内部構成図である。 図１の撮像装置に設けられた画像処理部の内部ブロック図である。 基準画像上における特定被写体領域の位置及び大きさを説明するための図である。 各入力画像の露光タイミング関係を示す図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、以下の説明において、背景技術の説明で用いた記号（例えば、ｗ_kやΔ_k）と同じ記号が用いられた場合、本発明の実施形態の説明文中の記載が、背景技術の説明文中の記載よりも優先される。

本実施形態に係る画像処理装置は、ｍ枚の低解像度画像をｍ枚の入力画像として受け、ｍ枚の入力画像に基づいて高解像度画像である１枚の出力画像を生成する。ｍ枚の入力画像は、入力画像ＩＮ₁、ＩＮ₂、・・・及びＩＮ_mから成る。ｍは３以上の整数である。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の画素数は、低解像度画像のそれよりも多い。

入力画像は、一次元又は二次元の原信号を標本化することによって得られるデジタル画像である。一次元の原信号を標本化した場合、入力画像は一次元画像であって該入力画像から生成される出力画像も一次元画像となり、二次元の原信号を標本化した場合、入力画像は二次元画像であって該入力画像から生成される出力画像も二次元画像となる。

ｍ枚の入力画像は、同一の原信号を標本化することによって生成されるが、標本化位置はｍ枚の入力画像間で異なる。入力画像ＩＮ₁を基準にして考えると、入力画像ＩＮ_kは、入力画像ＩＮ₁を位置ずれ量ｄ_kだけ位置ずれさせた画像であるとみなすことができる。ここで、ｋは、自然数であって、１以上ｍ以下の各整数をとる。即ち例えば、入力画像ＩＮ₂は、入力画像ＩＮ₁を位置ずれ量ｄ₂だけ位置ずれさせた画像であるとみなすことができ、入力画像ＩＮ₃は、入力画像ＩＮ₁を位置ずれ量ｄ₃だけ位置ずれさせた画像であるとみなすことができる。以下の説明では、位置ずれ量を、入力画像ＩＮ₁を基準にして考え、入力画像ＩＮ₁を基準画像とも呼ぶ。入力画像ＩＮ₁が基準画像となっているため、位置ずれ量ｄ₁はゼロである。

入力画像が一次元画像である場合には、位置ずれ量ｄ_kは一次元量であるが、入力画像が二次元画像である場合には、位置ずれ量ｄ_kは水平及び垂直成分を含む二次元量である。二次元画像は、水平及び垂直方向に複数の画素が等間隔でマトリクス状に配列されて形成される。

入力画像において、隣接する画素間隔は１であるとする。入力画像が二次元画像である場合には、水平及び垂直方向における隣接画素間隔が共に１である。

各入力画像を、撮影によって取得することができる。図１に、撮影によって入力画像を取得する、本実施形態に係る撮像装置１の概略ブロック図を示す。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。また、露光時間の長さは、主制御部１３によって制御される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅率は、主制御部１３によって制御される。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。画像信号は、例えば、輝度信号や色差信号を含む。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。

主制御部１３には、画像処理部５０が備えられている。撮像部１１の撮影によって得られた撮影画像が入力画像として画像処理部５０に与えられる。画像処理部５０では、超解像によって、ｍ枚の低解像度画像であるｍ枚の入力画像ＩＮ₁〜ＩＮ_mから１枚の高解像度画像である１枚の出力画像を生成する。超解像とは、標本化により各入力画像内に生じた折り返し歪を複数の入力画像を用いて除去することによって、画像の解像度を向上させる技術である。ｍ枚の入力画像ＩＮ₁〜ＩＮ_mは、共通の被写体を互いに異なる時刻にて撮影して得たｍ枚の撮影画像であるが、ｍ枚の入力画像の撮影期間中に撮像装置１に作用した手ぶれ等の影響により、異なる入力画像間には位置ずれが発生している。

図３は、画像処理部５０の内部ブロック図である。画像処理部５０は、ＡＦＥ１２を介してｍ枚の入力画像ＩＮ₁〜ＩＮ_mの画像信号を取得する入力画像取得部５１と、入力画像ＩＮ₁〜ＩＮ_mの画像信号に基づいて位置ずれ量ｄ₁〜ｄ_mを検出する位置ずれ量検出部５２と、入力画像ＩＮ₁〜ＩＮ_mの夫々を高解像度化することにより高解像度画像であるｍ枚の中間生成画像ＭＩＤ₁〜ＭＩＤ_mを作成する高解像度化部（補間拡大部）５３と、位置ずれ量検出部５２の検出結果に基づいて各中間生成画像に対する加重加算係数ｗ_kを算出する加重加算係数算出部５４と、その加重加算係数を用いてｍ枚の中間生成画像の画像信号を加重加算することでｍ枚の中間生成画像を合成し、合成によって画像を出力画像として生成する画像合成部５５と、を備える。

各入力画像が二次元画像であることを想定して、図３に示される各部位の動作を詳細に説明する。入力画像である低解像度画像は、水平方向にＵ_NUM個及び垂直方向にＶ_NUM個の画素がマトリクス状に二次元配列された画像である。中間生成画像又は出力画像である高解像度画像は、水平方向にＸ_NUM個及び垂直方向にＹ_NUM個の画素がマトリクス状に二次元配列された画像である。

高解像度画像の画素数は低解像度画像の画素数よりも多いため、Ｘ_NUM＞Ｕ_NUM且つＹ_NUM＞Ｖ_NUMが成立する。水平及び垂直方向において、低解像度画像に対する高解像度画像の拡大率が、夫々ＥＮ_H及びＥＮ_Vであるとき、Ｘ_NUM＝ＥＮ_H×Ｕ_NUM且つＹ_NUM＝ＥＮ_V×Ｖ_NUMが成立する（ＥＮ_H＞１、ＥＮ_V＞１）。例えば、ＥＮ_H＝ＥＮ_V＝１０である場合、水平及び垂直方向の夫々において、高解像度画像（中間生成画像又は出力画像）の隣接画素間隔は低解像度画像（入力画像）のそれの１／１０になる。

位置ずれ量検出部５２は、入力画像ＩＮ₁〜ＩＮ_mの画像信号に基づいて、位置ずれ量ｄ₁〜ｄ_mを求める。この位置ずれ量の導出に当たり、代表点マッチング法、ブロックマッチング法、勾配法などを利用した位置ずれ量推定アルゴリズムを用いる。ここで求められる位置ずれ量は、低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、低解像度画像内の隣接する２つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。

高解像度化部５３は、各入力画像を高解像度化する高解像度化処理を行う。また、高解像度化部５３において、位置ずれ量ｄ₁〜ｄ_mに基づく位置合わせ処理を行うこともできる。高解像度化部５３において、位置合わせ処理及び高解像度化処理を行う場合の動作を説明する。

まず、位置合わせ処理を説明する。位置合わせ処理は、２≦ｋ≦ｍを満たす夫々の入力画像ＩＮ_kに対して実行される。尚、位置ずれ量ｄ_kは、等式「ｄ_k＝ＩＮＴ_k＋Δ_k」且つ不等式「−０．５＜Δ_k≦０．５」を満たすように、整数の値ＩＮＴ_k及び小数の値Δ_kに分解されるものとする。上述したように、入力画像ＩＮ_kは、入力画像ＩＮ₁を位置ずれ量ｄ_kに相当する分だけ位置ずれさせた画像であるとみなすことができる。位置合わせ処理では、これらの位置ずれの整数部分だけが打ち消されるように、入力画像ＩＮ_kに対して、入力画像ＩＮ₁を基準とした位置合わせを行う。例えば、位置ずれ量ｄ_kの整数部分ＩＮＴ_kの水平成分及び垂直成分が夫々２及び０である場合、位置合わせ後の入力画像ＩＮ_kの位置ずれ量の整数部分における水平成分及び垂直成分が共にゼロとなるように、入力画像ＩＮ_kに対し、水平方向に距離２だけ（即ち、低解像度画像の隣接画素間隔の２倍に相当する距離だけ）幾何学的変換を施す。この幾何学的変換後の入力画像ＩＮ_kが、位置合わせ後の入力画像ＩＮ_kである。

高解像度化処理では、入力画像のナイキスト周波数以上の、入力画像に含まれる高周波成分を通過させる広帯域フィルタを用いて入力画像を補間拡大することにより、入力画像の解像度を高解像度画像のそれと同じにまで増加させ、これによって高解像度画像の一種である中間生成画像を生成する。この補間拡大は、位置ずれ量ｄ_kの小数部分Δ_kを用いて行われる。例えば、入力画像ＩＮ_kを補間拡大して中間生成画像を生成する際において、位置ずれ量ｄ_kの小数部分Δ_kの水平成分及び垂直成分が夫々０．５及び０であるならば、入力画像ＩＮ_kの注目画素位置の画像信号は、注目画素位置から０．５分だけ位置ずれせしめられた位置の画像信号として中間生成画像に挿入される。高解像度化処理の方法として、公知の方法（例えば特許文献１に記載の方法）を用いることができる。例えば、ＥＮ_H＝ＥＮ_V＝１０である場合、水平及び垂直方向の夫々において、入力画像の隣接画素間に９つの補間画素が設定され、その補間画素をも含む画像が中間生成画像として生成される。高解像度化処理は、入力画像ごとに行われる。従って、入力画像ＩＮ₁から中間生成画像ＭＩＤ₁が生成され、入力画像ＩＮ₂から中間生成画像ＭＩＤ₂が生成される（他の中間生成画像についても同様）。

位置合わせ処理後に高解像度化処理を行うことが可能である。位置合わせ処理後に高解像度処理を行う場合、位置合わせ後の入力画像に対して高解像度化処理を施すことにより中間生成画像が生成される。尚、位置合わせ処理において位置ずれ量の小数部分（Δ_k）までも打ち消す幾何学的変換を行うと、サブピクセル精度の位置ずれ情報が位置合わせ処理にて失われてしまう。これを避けるべく、上記の如く、整数部分ＩＮＴ_kのみを用いて位置合わせ処理を行った後に小数部分Δ_kを考慮して高解像度化処理を行う。

勿論、位置合わせ処理と高解像度化処理を同時に行うようにしてもよい。或いは、高解像度処理を行った後に、位置合わせ前の中間生成画像に対して位置ずれ量ｄ_kに基づく位置合わせ処理を行い、これによって、最終的な中間生成画像の画像信号を求めるようにしてもよい。更に或いは、位置合わせ処理を高解像度化部５３においてではなく、画像合成部５５の画像合成の段階において実行するようにしてもよい。即ち、高解像度化部５３において位置合わせ処理を行った場合と同じ結果が得られるように、画像合成部５５における画像合成の段階において位置ずれ量ｄ_kに基づく位置合わせ処理を行うようにしても良い。

加重加算係数算出部５４は、位置ずれ量検出部５２による検出結果に基づいて、各中間生成画像に対する加重加算係数を算出する。中間生成画像ＭＩＤ_kに対する加重加算係数をｗ_kにて表す。加重加算係数ｗ_kは、中間生成画像ＭＩＤ_kの全画素位置に対して共通であっても良いし非共通であっても良い。本実施形態の特徴的技術を含む、加重加算係数の算出方法は、後に詳説される。

画像合成部５５は、中間生成画像ＭＩＤ₁〜ＭＩＤ_mにおける対応画素位置の画像信号同士が加重加算係数ｗ₁〜ｗ_mに従って加重加算されるように中間生成画像ＭＩＤ₁〜ＭＩＤ_mを合成し、これによって出力画像を生成する。

中間生成画像ＭＩＤ_kの画素位置（ｘ，ｙ）における画像信号をｍｉｄ_k（ｘ，ｙ）にて表し、中間生成画像ＭＩＤ_k又は出力画像の画素位置（ｘ，ｙ）における加重加算係数ｗ_kをｗ_k（ｘ，ｙ）にて表し、出力画像の画素位置（ｘ，ｙ）における画像信号をｏｕｔ（ｘ，ｙ）にて表す。そうすると、画像合成部５５では、次式（Ｂ１）に従って、出力画像の画像信号ｏｕｔ（ｘ，ｙ）が求められる。ｘ及びｙは、夫々、ｘ及びｙによって指定される画素位置の、画像空間上における水平方向の座標値及び垂直方向の座標値を表す。

加重加算係数算出部５４では、従来方法に係る上記連立方程式（上記式（Ａ１）〜（Ａ３）に対応）を変更することで、超解像に関わる加重加算係数をいかなる場合にも算出できるようにしている。更に、撮影条件等をも考慮して加重加算係数を求めるようにすることで、撮影条件等に適した加重加算係数を導出することが可能になっている。この導出方法を説明する。

一次元で考えた場合、上記式（Ａ１）〜（Ａ３）に対応する、下記式（Ｃ１）〜（Ｃ３）を満たす加重加算係数ｗ_kを用いれば折り返し歪の除去が可能である。但し、式（Ｃ２）及び（Ｃ３）におけるΔ_kをｄ_kに置き換えることも可能である。

行列Ａ、ｗ及びｖを用いて、式（Ｃ１）〜（Ｃ３）を下記式（Ｃ４）の如く変形することができる（即ち、式（Ｃ４）の行列式を展開すれば、式（Ｃ１）〜（Ｃ３）が得られる）。一次元で考えた場合、行列ｗは行列（ｗ₁，ｗ₂，ｗ₃）の転置行列であり、行列ｖは行列（１，０，０）の転置行列であり、行列Ａはｃｏｓ（２πΔ_k）及びｓｉｎ（２πΔ_k）を要素として含む３行３列の行列である。

二次元で考えた場合には、除去されるべき折り返し歪の方向が４方向（即ち、水平、垂直、右斜め及び左斜め方向）となるため、入力画像の枚数ｍは３よりも大きくされ、典型的にはｍ＝９とされる。入力画像が二次元画像であって、ｍ＝９である場合には、式（Ｃ２）及び（Ｃ３）の組が４組分必要となり、その４組分の等式と式（Ｃ１）を、式（Ｃ４）を満たす行列Ａ、ｗ及びｖに置き換えればよい。

加重加算係数算出部５４では、式（Ｃ４）に従って加重加算係数ｗ_kを導出するのではなく、下記式（Ｃ５）にて表される評価関数Ｅを設定し、評価関数Ｅを最小化するｗ_kを求めるようにする。但し、ｗ₁〜ｗ_mの和が１となるようにｗ_kは最終的に正規化される（即ち、式（Ｃ１）を満たす条件の下で、評価関数Ｅを最小化するｗ_kを求めればよい）。

ｆ（λ，ｗ）は、行列λ及びｗを変数として持つ、事前に定められた関数であり、ｆ（λ，ｗ）の設定の仕方によっては、必ず加重加算係数ｗ_kを算出することができるようになる。ｆ（λ，ｗ）によって表される関数を、以下、便宜上、補助関数と呼ぶ。行列λは、λ₁〜λ_mを要素として持つ行列である。λ_kは、ｋ番目の画像、即ち、入力画像ＩＮ_k及び中間生成画像ＭＩＤ_kに対する調整パラメータである。

以下、ｆ（λ，ｗ）の設定の仕方の具体例を、複数の実施例において説明する。以下に示される複数の実施例の中には、入力画像の次元に依存しない実施例も含まれているが、説明の簡略化上、特に必要のない限り、各実施例においては一次元方向にのみ注目する（即ち、特に必要のない限り、入力画像が一次元画像であると仮定する）。一次元方向にのみ注目して説明された、以下の事項を二次元に拡張すれば、二次元画像に対する加重加算係数ｗ_kを導出することができる。

［第１実施例］
第１実施例を説明する。第１実施例では、下記式（Ｄ１）にて定義される関数ｆ₁（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

関数ｆ₁（λ，ｗ）を補助関数ｆ（λ，ｗ）として用いることにより、ｗ₁が異常に小さくなったりすることはなくなる（ｗ₁＝０となるようなことはない）。従って、基準画像である入力画像ＩＮ₁の、出力画像に対する寄与度を、一定程度確保することが可能となる。

第１実施例及び後述の他の実施例において、λ₁〜λ_mは、予め設定された一定値であっても良いし、何らかの情報に基づいて可変設定される変数であっても良い（可変設定の方法については、第１４実施例において後述）。また、第１実施例及び後述の他の実施例において、λ₁〜λ_mは、全て同じ値であっても良いし、そうでなくても良い。

［第２実施例］
第２実施例を説明する。第２実施例では、下記式（Ｄ２）にて定義される関数ｆ₂（λ，ｗ，Δ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。ここで、εは、所定の値を有するパラメータである。

基準画像に対する位置ずれ量の小数部位が０．５に近い入力画像を、より多く出力画像の生成に寄与させることにより、超解像の原理上、超解像効果が高まる。即ち、｜Δ_k｜が０．５に近い入力画像ＩＮ_kに対する加重加算係数ｗ_kが大きくなれば超解像効果は高くなる。逆に、｜Δ_k｜が０に近い入力画像ＩＮ_kに対する加重加算係数ｗ_kが大きくなれば超解像効果は低くなる。超解像効果とは、超解像による解像度改善効果を指す。

関数ｆ₂（λ，ｗ，Δ）を補助関数ｆ（λ，ｗ）として用いることにより、｜Δ_k｜が０．５に近い入力画像ＩＮ_kに対する加重加算係数ｗ_kが相対的に大きくなる一方で、｜Δ_k｜が０に近い入力画像ＩＮ_kに対する加重加算係数ｗ_kが相対的に小さくなるため、高い超解像効果が得られるようになる。

［第３実施例］
第３実施例を説明する。第３実施例では、下記式（Ｄ３）にて定義される関数ｆ₃（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

一般に、複数の信号が、互いに無相関であって且つ分散がσ²の雑音を含んでいる場合において、ｗ_kを重みとして用いて該複数の信号の加重平均をとると、加重平均信号の雑音の分散はσ²Σｗ_k ²となるため、Σｗ_k ²の最小化を図ることで加重平均信号の雑音
の最小化が図れる。従って、関数ｆ₃（λ，ｗ）を補助関数ｆ（λ，ｗ）として用いれば、出力画像の雑音の最小化が図られる。

［第４実施例］
第４実施例を説明する。第４実施例では、下記式（Ｄ４）にて定義される関数ｆ₄（λ，ｗ，Δ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

式（Ｄ４）において距離｜｜Δ_k｜−｜Δ_j｜｜が大きくなるとｗ_k ²にかかる指数関数の値（ｅｘｐの値）が小さくなり、結果、ｗ_kが相対的に大きくなる。複数の入力画像に基づく超解像処理を行う場合、相対的により位置が離れた入力画像群を優先的に使用した方が超解像効果が高くなり、また、ノイズも発生しにくい。このため、上記関数ｆ₄（λ，ｗ，Δ）を導入することで、相対的により位置が離れた入力画像群を優先的に使用するようにする。尚、仮に、式（Ｄ４）における｜｜Δ_k｜−｜Δ_j｜｜が｜Δ_k−Δ_j｜であると、Δ_k＝−０．５且つΔ_j＝０．５の時に、入力画像ＩＮ_k及びＩＮ_j間の距離が最も大きいと評価される場合がある。しかし、Δ_k＝−０．５の位置ずれ量を有する入力画像ＩＮ_kとΔ_j＝０．５の位置ずれ量を有する入力画像ＩＮ_jは、基準画像から見れば同等のものであるため、それらの加重加算係数を大きく設定しても高い超解像効果は期待できない。故に、式（Ｄ４）には、｜Δ_k−Δ_j｜ではなく、｜｜Δ_k｜−｜Δ_j｜｜が含められている。

関数ｆ₄（λ，ｗ，Δ）を補助関数ｆ（λ，ｗ）として用いるようにすれば、上記距離に応じてノイズ量が制御され、出力画像の雑音を低減しつつ超解像効果の向上を図ることができる。

［第５実施例］
第５実施例を説明する。第５実施例では、下記式（Ｄ５）にて定義される関数ｆ₅（λ，ｗ，Δ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

式（Ｄ５）における関数ｇ_k（Δ）は、式（Ｄ５＿１）によって定義される。即ち、ｊ≠ｋを満たす任意の整数ｊに対して、Δ_k≠Δ_jが満たされる場合、関数ｇ_k（Δ）は０であり、それ以外の場合においては、関数ｇ_k（Δ）は１である。

関数ｆ₅（λ，ｗ，Δ）を補助関数ｆ（λ，ｗ）として用いた場合、Δ_k＝Δ_jが満たされるならば、ｗ_k＝ｗ_jとなるように作用する。

［第６実施例］
第６実施例を説明する。第６実施例では、下記式（Ｄ６）にて定義される関数ｆ₆（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。ｆ’（λ，ｗ）として、第１〜第５実施例で述べた関数ｆ₁（λ，ｗ）、ｆ₂（λ，ｗ，Δ）、ｆ₃（λ，ｗ）、ｆ₄（λ，ｗ，Δ）及びｆ₅（λ，ｗ，Δ）の何れかを用いることができる（後述の他の実施例においても同様）。

値ＳＮＳは、入力画像の撮影時において設定されている撮影感度に依存する量、即ち、入力画像の明るさを調節するための撮影感度に依存する量である。該撮影感度は、入力画像の撮影条件の一種である。基準画像である入力画像ＩＮ₁の撮影時における撮影感度に依存する量、又は、複数の入力画像（例えば入力画像ＩＮ₁〜ＩＮ_m）の撮影時における撮影感度に依存する量の平均値を、ＳＮＳとして用いることができる。基本的に、入力画像ＩＮ₁〜ＩＮ_mの撮影時において撮影感度は一定であることが想定される。

本例では、撮影感度としてＩＳＯ感度が用いられるものとする。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで、撮影画像としての入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅率（以下、単に信号増幅率ともいう）を決定する。従って、撮影感度とは信号増幅率そのものである或いは信号増幅率を含む概念であると考えることができ、本実施例では、該信号増幅率を値ＳＮＳとして用いることができる。ＡＦＥ１２の信号増幅率はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その信号増幅率も２倍となり、これによって撮影画像の各画素の輝度値も２倍となる（但し、増幅による信号飽和を無視）。ユーザは、各撮影画像のＩＳＯ感度を自由に設定することができる。撮像素子３３に対する単位時間当たりの入射光量に基づいて、撮像装置１側がＩＳＯ感度を自動的に設定するようにしても良い。

尚、言うまでもないが、他の条件が同じである時において、撮影画像の各画素の輝度値は露光時間に比例し、露光時間が２倍となれば撮影画像の各画素の輝度値も２倍となる（但し、信号飽和を無視）。輝度値は、撮影画像を形成する画素の輝度信号の値を意味する。或る画素に関し、輝度値が増加すれば該画素の明るさは増加する。

ＩＳＯ感度が大きくなると上記信号増幅率の増大に伴って入力画像中のノイズ量も増大するため、入力画像における信号対雑音比（以下、ＳＮ比という）が低下する。入力画像のＳＮ比が低い場合には、そのＳＮ比の改善を優先的に狙って出力画像を生成した方が、出力画像の実質的な画質改善にとって有益である。一方において、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を増加させると、超解像による折り返し歪の除去よりも、ノイズ低減を含む画質調整がより強く働くようになる（特に、ｆ’（λ，ｗ）として、ｆ₁（λ，ｗ）、ｆ₃（λ，ｗ）又はｆ₄（λ，ｗ，Δ）を用いた場合に、ノイズ低減効果が大きい）。

これを考慮し、信号増幅率が大きい場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ₆（λ，ｗ）を設定する。

尚、本実施例では、ｆ₆（λ，ｗ）を√ＳＮＳに比例させることによって、ｆ₆（λ，ｗ）を値ＳＮＳの増加関数にしているが、ｆ₆（λ，ｗ）がＳＮＳの増加関数である限り、ｆ₆（λ，ｗ）の定義式を式（Ｄ６）から変更することが可能である。例えば、式（Ｄ６）における“√ＳＮＳ”を“ＳＮＳ”に変更することが可能である。同様のことが、補助関数ｆ（λ，ｗ）の例として後述される他の関数の定義式（式（Ｄ７）等）にも当てはまる。本明細書において、√ａは、ａの正の平方根を表す（ａは任意の正の数）。

［第７実施例］
第７実施例を説明する。第７実施例では、下記式（Ｄ７）にて定義される関数ｆ₇（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

ここで、Ｍは、入力画像の撮影時における光学ズーム倍率である。より具体的には、基準画像である入力画像ＩＮ₁の撮影時における光学ズーム倍率、又は、複数の入力画像（例えば入力画像ＩＮ₁〜ＩＮ_m）の撮影時における光学ズーム倍率の平均値を、Ｍとして用いることができる。基本的に、入力画像ＩＮ₁〜ＩＮ_mの撮影時において光学ズーム倍率は一定であることが想定される。光学ズーム倍率Ｍは、入力画像の撮影条件の一種である。

主制御部１３は、ドライバ３４を介してズームレンズ３０の位置を駆動制御することにより光学系３５の焦点距離を調節し、これによって光学ズームを実現する（図１及び図２参照）。或る被写体の被写体距離が一定である場合において、光学ズーム倍率が増大すれば入力画像上の該被写体の大きさは増大し、光学ズーム倍率が減少すれば入力画像上の該被写体の大きさは減少する。被写体の被写体距離とは、被写体と撮像装置１との、実空間上における距離を指す。

光学ズーム倍率が大きくなると、手ぶれ等に起因する各入力画像の画像ぶれが大きくなって、入力画像に高周波成分が殆ど含まれなくなる（従って、折り返し歪も殆ど含まれなくなる）ため、超解像効果はあまり期待できない。

従って、光学ズーム倍率が大きい場合には、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、光学ズーム倍率が大きい場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ₇（λ，ｗ）を設定する。

尚、本実施例では、ｆ₇（λ，ｗ）をＭ²に比例させることによって、ｆ₇（λ，ｗ）をＭの増加関数にしているが、ｆ₇（λ，ｗ）がＭの増加関数である限り、ｆ₇（λ，ｗ）の定義式を式（Ｄ７）から変更することが可能である。

［第８実施例］
第８実施例を説明する。第８実施例では、下記式（Ｄ８）にて定義される関数ｆ₈（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

ここで、Ｔ_EXPは、入力画像の撮影時における露光時間である。より具体的には、基準画像である入力画像ＩＮ₁の撮影時における露光時間、又は、複数の入力画像（例えば入力画像ＩＮ₁〜ＩＮ_m）の撮影時における露光時間の平均値を、Ｔ_EXPとして用いることができる。基本的に、入力画像の露光時間は入力画像ＩＮ₁〜ＩＮ_m間で一定である。露光時間Ｔ_EXPは、入力画像の撮影条件の一種である。

主制御部１３は、入力画像ＩＮ₁〜ＩＮ_mの明るさが所望の明るさとなるように、入力画像ＩＮ₁〜ＩＮ_mよりも前に撮影された撮影画像の明るさに応じて露光時間Ｔ_EXPを決定することができる。比較的暗いシーンを撮影する場合には露光時間Ｔ_EXPが比較的長くなり、比較的明るいシーンを撮影する場合には露光時間Ｔ_EXPが比較的短くなる。露光時間Ｔ_EXPが長くなると、手ぶれ等に起因する各入力画像の画像ぶれが大きくなって、入力画像に高周波成分が殆ど含まれなくなる（従って、折り返し歪も殆ど含まれなくなる）ため、超解像効果はあまり期待できない。

従って、露光時間Ｔ_EXPが長い場合には、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、露光時間Ｔ_EXPが長い場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ₈（λ，ｗ）を設定する。

尚、本実施例では、ｆ₈（λ，ｗ）を√Ｔ_EXPに比例させることによって、ｆ₈（λ，ｗ）をＴ_EXPの増加関数にしているが、ｆ₈（λ，ｗ）がＴ_EXPの増加関数である限り、ｆ₈（λ，ｗ）の定義式を式（Ｄ８）から変更することが可能である。

［第９実施例］
第９実施例を説明する。第９実施例では、下記式（Ｄ９）にて定義される関数ｆ₉（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。

ここで、Ｆｏｃｕｓは、入力画像の合焦度合いを表す評価値である。より具体的には、基準画像である入力画像ＩＮ₁の合焦度合いを表すＡＦ評価値、又は、複数の入力画像（例えば入力画像ＩＮ₁〜ＩＮ_m）の合焦度合いを表すＡＦ評価値の平均値を、Ｆｏｃｕｓとして用いることができる。以下の説明では、Ｆｏｃｕｓが、入力画像ＩＮ₁のＡＦ評価値であることを想定する。

主制御部１３は、撮影画像ごとに撮影画像の画像信号に基づいて撮影画像の合焦度合いを表すＡＦ評価値を算出し、ＡＦ評価値に基づきフォーカスレンズ３１の位置を制御することで、ＴＴＬ（Through The Lens）方式のコントラスト検出法に基づくオートフォーカス制御を実現することができる。ＡＦ評価値を算出するＡＦ評価部（不図示）を、画像処理部５０に設けておくことができる。

入力画像ＩＮ₁のＡＦ評価値の算出方法を説明する（他の入力画像のＡＦ評価値についても同様に算出される）。まず、入力画像ＩＮ₁の映像信号より輝度信号を抽出する。この際、入力画像ＩＮ₁の全画像領域内に定義された、ＡＦ評価領域内の輝度信号のみを抽出する。次に、抽出した輝度信号の中から、ハイパスフィルタ等を用いて、所定の高周波数成分のみを抽出する。最後に、抽出した高周波数成分を積算し、得られた積算値を入力画像ＩＮ₁のＡＦ評価値として出力する。入力画像ＩＮ₁におけるＡＦ評価領域とは、入力画像ＩＮ₁上の所定位置に配置された、入力画像ＩＮ₁の一部画像領域である。或いは、入力画像ＩＮ₁の全画像領域が入力画像ＩＮ₁のＡＦ評価領域であっても良い。ＡＦ評価値は、ＡＦ評価領域内の画像のコントラスト量に概ね比例し、該コントラスト量が増大するにつれてＡＦ評価値は増大する。

上述の説明からも明らかなように、入力画像ＩＮ₁のＡＦ評価値は入力画像ＩＮ₁の画像特徴を表しており、入力画像ＩＮ₁の合焦度合いが高いほど（即ち、入力画像ＩＮ₁の撮影時において被写体にピントが合っていれば合っているほど）、入力画像ＩＮ₁のＡＦ評価値は大きくなる。

入力画像ＩＮ₁のＡＦ評価値に相当する値Ｆｏｃｕｓが小さいときには、合焦状態が悪く、入力画像に高周波成分が殆ど含まれていないため（従って、折り返し歪も殆ど含まれていないため）、超解像効果はあまり期待できない。

従って、値Ｆｏｃｕｓが小さい場合には、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、値Ｆｏｃｕｓが小さい場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ₉（λ，ｗ）を設定する。

尚、本実施例では、ｆ₉（λ，ｗ）を１／Ｆｏｃｕｓに比例させることによって、ｆ₉（λ，ｗ）をＦｏｃｕｓの減少関数にしているが、ｆ₉（λ，ｗ）がＦｏｃｕｓの減少関数である限り、ｆ₉（λ，ｗ）の定義式を式（Ｄ９）から変更することが可能である。勿論、入力画像ＩＮ₁の合焦度合いが高くなるにつれてＦｏｃｕｓが小さくなるのであれば、ｆ₉（λ，ｗ）はＦｏｃｕｓの増加関数とされる。

［第１０実施例］
第１０実施例を説明する。上述の第１〜第９実施例では、中間生成画像ＭＩＤ_kの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅが設定される。中間生成画像ＭＩＤ_kの全画素位置に対して共通の評価関数Ｅが設定される場合、中間生成画像ＭＩＤ_kの全画素位置に対して共通の加重加算係数ｗ_kが算出される、つまり加重加算係数ｗ_kは画素位置の変化（即ち、ｘ及びｙの変化）に対して不変となる（上記式（Ｂ１）も参照）。

これに対し、第１０実施例では、画素位置が異なれば設定される評価関数Ｅも異なりうる。第１０実施例では、より現実に即した説明を可能にするため、入力画像が二次元画像であるものとして説明を行う。第１０実施例では、下記式（Ｄ１０）にて定義される関数ｆ₁₀（λ，ｗ，ｘ，ｙ）を、画素位置（ｘ，ｙ）に対する補助関数ｆ（λ，ｗ）として用いる。

ここで、Ｅｄｇｅ（ｘ，ｙ）は、基準画像の画素位置（ｘ，ｙ）におけるエッジ強度である。基準画像の画素位置（ｘ，ｙ）は、基準画像に基づく中間生成画像ＭＩＤ₁の画素位置（ｘ，ｙ）に対応しており、基準画像の画素位置（ｘ，ｙ）における画像信号から、中間生成画像ＭＩＤ₁の画素位置（ｘ，ｙ）における画像信号が生成されるものとする。従って、Ｅｄｇｅ（ｘ，ｙ）は中間生成画像ＭＩＤ₁の画素位置（ｘ，ｙ）におけるエッジ強度である、とも言える。エッジ強度Ｅｄｇｅ（ｘ，ｙ）を算出するエッジ評価部（不図示）を、画像処理部５０に設けておくことができる。

エッジ強度が求められるべき画像（入力画像ＩＮ₁又は中間生成画像ＭＩＤ₁）を、便宜上、エッジ評価画像という。エッジ評価画像の画素位置（ｘ，ｙ）における、輝度信号の水平方向及び垂直方向の勾配（即ち、一次微分）を、夫々、Ｅｄｇｅ_X（ｘ，ｙ）及びＥｄｇｅ_Y（ｘ，ｙ）にて表す。Ｅｄｇｅ_X（ｘ，ｙ）及びＥｄｇｅ_Y（ｘ，ｙ）は、エッジ評価画像の画素位置（ｘ，ｙ）における、輝度信号の水平方向及び垂直方向の二次微分であっても良い。（｜Ｅｄｇｅ_X（ｘ，ｙ）｜＋｜Ｅｄｇｅ_Y（ｘ，ｙ）｜）をＥｄｇｅ（ｘ，ｙ）として用いることができる。

上述の説明からも明らかなように、エッジ強度Ｅｄｇｅ（ｘ，ｙ）は入力画像ＩＮ₁の画像特徴を表している。エッジ強度Ｅｄｇｅ（ｘ，ｙ）が小さい画像領域（即ち平坦領域）に含まれるノイズは、エッジ強度Ｅｄｇｅ（ｘ，ｙ）が大きい画像領域（即ちエッジ領域）のそれよりも視覚的に目立つ。このため、エッジ強度Ｅｄｇｅ（ｘ，ｙ）が小さい画像領域に対しては、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、エッジ強度Ｅｄｇｅ（ｘ，ｙ）が小さい画像領域において、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ₁₀（λ，ｗ，ｘ，ｙ）を設定する。

これにより、画素位置（ｘ₁，ｙ₁）に対しては、関数ｆ₁₀（λ，ｗ，ｘ₁，ｙ₁）を含む評価関数Ｅに基づいて加重加算係数ｗ_k（ｘ₁，ｙ₁）が算出されて、ｗ_k（ｘ₁，ｙ₁）及びｍｉｄ_k（ｘ₁，ｙ₁）からｏｕｔ（ｘ₁，ｙ₁）が求められ、画素位置（ｘ₂，ｙ₂）に対しては、関数ｆ₁₀（λ，ｗ，ｘ₂，ｙ₂）を含む評価関数Ｅに基づいて加重加算係数ｗ_k（ｘ₂，ｙ₂）が算出されて、ｗ_k（ｘ₂，ｙ₂）及びｍｉｄ_k（ｘ₂，ｙ₂）からｏｕｔ（ｘ₂，ｙ₂）が求められる（後述の第１１実施例においても同様）。画素位置（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）が互いに異なり且つ関数ｆ₁₀（λ，ｗ，ｘ，ｙ）が画素位置（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）間で異なれば、その相違の程度にもよるが、ｗ_k（ｘ₁，ｙ₁）及びｗ_k（ｘ₂，ｙ₂）は互いに異なりうる（後述の第１１実施例においても同様）。

尚、上述の方法では、画素位置ごとに補助関数ｆ（ｘ，ｙ）が設定されることになるが、複数の画素から成るブロックごとに補助関数ｆ（ｘ，ｙ）を設定するようにしても良い（後述の第１１実施例においても同様）。この場合、エッジ評価画像を複数のブロックに切り分け、ブロックごとにエッジ強度を求めるようにする。或るブロックに対するエッジ強度を、そのブロックに属する各画素位置（ｘ，ｙ）のエッジ強度Ｅｄｇｅ（ｘ，ｙ）の平均値とすることができる。そして、式（Ｄ１０）のＥｄｇｅ（ｘ，ｙ）に第１ブロックのエッジ強度を代入した時における式（Ｄ１０）の右辺を、第１ブロックに対する関数ｆ₁₀（λ，ｗ，ｘ_A，ｙ_A）として設定し、同様に、式（Ｄ１０）のＥｄｇｅ（ｘ，ｙ）に第２ブロックのエッジ強度を代入した時における式（Ｄ１０）の右辺を、第２ブロックに対する関数ｆ₁₀（λ，ｗ，ｘ_B，ｙ_B）として設定する。ここで、第１及び第２ブロックは互いに異なり、（ｘ_A，ｙ_A）は第１ブロックに属する任意の画素位置を表すと共に（ｘ_B，ｙ_B）は第２ブロックに属する任意の画素位置を表す。他のブロックに対しても同様に関数ｆ₁₀（λ，ｗ，ｘ，ｙ）が設定される。

これにより、第１ブロックに対しては、関数ｆ₁₀（λ，ｗ，ｘ_A，ｙ_A）を含む評価関数Ｅに基づいて加重加算係数ｗ_k（ｘ_A，ｙ_A）が算出されてｗ_k（ｘ_A，ｙ_A）及びｍｉｄ_k（ｘ_A，ｙ_A）からｏｕｔ（ｘ_A，ｙ_A）が求められ、第２ブロックに対しては、関数ｆ₁₀（λ，ｗ，ｘ_B，ｙ_B）を含む評価関数Ｅに基づいて加重加算係数ｗ_k（ｘ_B，ｙ_B）が算出されてｗ_k（ｘ_B，ｙ_B）及びｍｉｄ_k（ｘ_B，ｙ_B）からｏｕｔ（ｘ_B，ｙ_B）が求められるようになる。第１ブロックに対する加重加算係数ｗ_kは、第１ブロック内の全画素位置に対して共通となり、第２ブロックに対する加重加算係数ｗ_kは、第２ブロック内の全画素位置に対して共通となる。

［第１１実施例］
第１１実施例を説明する。第１０実施例と同様、第１１実施例においても、画素位置が異なれば設定される評価関数Ｅも異なりうる。第１０実施例と同様、第１１実施例においても、より現実に即した説明を可能にするため、入力画像が二次元画像であるものとして説明を行う。第１１実施例では、下記式（Ｄ１１）にて定義される関数ｆ₁₁（λ，ｗ，ｘ，ｙ）を、画素位置（ｘ，ｙ）に対する補助関数ｆ（λ，ｗ）として用いる。

式（Ｄ１１）における関数Ｇ（ｘ，ｙ）は、式（Ｄ１１＿１）によって定義される。図４に示す如く、Ｃ₁及びＣ₂は、夫々、基準画像上に設定された特定被写体領域の中心画素位置の水平及び垂直方向の座標値であり、“２×Ｌ₁”は、基準画像上における特定被写体領域の水平方向の大きさであり、“２×Ｌ₂”は、基準画像上における特定被写体領域の垂直方向の大きさである。図４における斜線領域が特定被写体領域に対応している。本例では、特定被写体領域が矩形領域であることを想定しているが、特定被写体領域の形状は矩形でなくても構わない。

注目画素位置（ｘ，ｙ）に対する関数Ｇ（ｘ，ｙ）の値は、注目画素位置（ｘ，ｙ）が特定被写体領域内に属していれば１となる。注目画素位置（ｘ，ｙ）が特定被写体領域内に属していなければ、注目画素位置（ｘ，ｙ）に対する関数Ｇ（ｘ，ｙ）の値は、注目画素位置（ｘ，ｙ）及び中心（Ｃ₁，Ｃ₂）間の距離が増大するに従って増大する、１より大きな値となる。

特定被写体領域は、例えば、人の顔の画像信号が存在する顔領域であって、主要被写体の画像信号が存在する画像領域とみなされる。画像処理部５０に内在する顔検出部（不図示）は、基準画像の画像信号に基づく公知の顔検出処理を用いて、基準画像の全画像領域の中から基準画像の一部画像領域に相当する顔領域を抽出することができる。但し、特定被写体領域は、顔領域以外の領域であっても良く、特定の物体の画像信号が存在する領域を特定被写体領域として定めればよい。基準画像上に特定の物体の画像信号が存在しているか否かも、基準画像の画像特徴の一種である。基準画像上に特定の物体の画像信号が存在しないこともあるが、ここでは、特定の物体としての人の顔の画像信号が基準画像上に存在している場合を考える。

上記の如く補助関数ｆ（λ，ｗ）を設定することにより、顔領域に対しては、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度が比較的小さくなって超解像効果が強く働く一方で、顔領域以外の画像領域に対しては、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度が比較的大きくなってノイズ低減を含む画質調整がより強く働く。結果、顔領域がそれ以外の領域（通常は背景領域）よりも鮮明に描写された、メリハリのある出力画像を得ることができる。

［第１２実施例］
第１２実施例を説明する。第１２実施例では、上述の第１〜第９実施例と同様、中間生成画像ＭＩＤ_kの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅが設定される。具体的には、下記式（Ｄ１２）にて定義される関数ｆ₁₂（λ，ｗ，ｄ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。ここで、μは、露光時間Ｔ_EXPに依存する値を有するパラメータである。

上述したように、「ｄ_k＝ＩＮＴ_k＋Δ_k」且つ「−０．５＜Δ_k≦０．５」であるから（ＩＮＴ_kは整数）、｜ｄ_k｜は、入力画像ＩＮ_kについての、整数部分を含む位置ずれ量の絶対的な大きさ（即ち、絶対値）である。

位置ずれ量の絶対的な大きさと露光時間及び露光間隔は、相関の関係にある。図５に、入力画像ＩＮ₁、ＩＮ₂、ＩＮ₃・・・の順番で入力画像列が撮影された場合における、各入力画像の露光タイミング関係を示す。入力画像ＩＮ_kの露光時間とは、入力画像ＩＮ_kの画像信号を取得するために撮像素子３３において行われた露光の期間の長さである。入力画像ＩＮ₁及びＩＮ_kの露光間隔とは、入力画像ＩＮ₁を撮影するための露光の開始時刻と入力画像ＩＮ_kを撮影するための露光の開始時刻との間隔である。入力画像ＩＮ_kの露光時間が長いと入力画像ＩＮ_kに画像ぶれが含まれやすくなり、入力画像ＩＮ_kの露光時間が短いと入力画像ＩＮ_kに画像ぶれが含まれにくくなる。このように、１枚の入力画像に含まれる画像ぶれは、当該入力画像の露光時間に依存する。他方、１枚の入力画像に含まれる画像ぶれは、当該入力画像と他の入力画像との間の露光間隔には依存しない。その露光間隔が長かったとしても、当該入力画像の露光時間が短ければ当該入力画像に画像ぶれは含まれにくくなるからである。しかしながら、露光間隔が長いこと等に起因して位置ずれ量の絶対的な大きさ｜ｄ_k｜が大きくなればなるほど、基本的に、入力画像ＩＮ_kを超解像に利用することの適正が損なわれてゆく。｜ｄ_k｜が大きいほど、超解像に適した画像領域が入力画像ＩＮ_kに含まれなくなる可能性が高まるからである。例えば、｜ｄ_k｜が大きくなればなるほど、入力画像ＩＮ₁には含まれていなかった動物体が入力画像ＩＮ_kに含まれるという事象の発生確率が高まり、そのような事象が発生すると、動物体の画像部分に対して超解像処理を行うことはできなくなる。

これを考慮し、関数ｆ₁₂（λ，ｗ，ｄ）を補助関数ｆ（λ，ｗ）として用いる。これにより、｜ｄ_k｜が比較的小さい入力画像ＩＮ_kに対する加重加算係数ｗ_kが相対的に大きくなる一方で、｜ｄ_k｜が比較的大きい入力画像ＩＮ_kに対する加重加算係数ｗ_kが相対的に小さくなる。｜ｄ_k｜が十分に大きければ、出力画像の生成に入力画像ＩＮ_kは寄与しなくなる（不要な入力画像が除去される）。

［第１３実施例］
第１３実施例を説明する。中間生成画像ＭＩＤ_kの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅを設定する方法と、異なる画素位置間で評価関数Ｅを異ならせる方法と、を上述したが、前者の方法と後者の方法を組み合わせて実施することも可能である。

即ち例えば、前者の方法を用いることにより中間生成画像ＭＩＤ_kの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅを暫定的に設定した後、最終的な評価関数Ｅが異なる画素位置間で異なりうるように、後者の方法を用いて、暫定的に設定した評価関数Ｅを修正するようにしても良い。勿論、前者の方法と後者の方法を同時に実行するようにしても良い。前者の方法は第１〜第９及び第１２実施例において示され、後者の方法は第１０及び第１１実施例において示されている。

例えば、第６実施例と第１０又は第１１実施例とを組み合わせる場合には、上記式（Ｄ６）に定義された関数ｆ₆（λ，ｗ）を上記式（Ｄ１０）又は式（Ｄ１１）におけるｆ’（λ，ｗ）に代入し、これによって得た関数ｆ₁₀（λ，ｗ，ｘ，ｙ）又はｆ₁₁（λ，ｗ，ｘ，ｙ）を、画素位置（ｘ，ｙ）に対する補助関数ｆ（λ，ｗ）として用いればよい。これによれば、補助関数ｆ（λ，ｗ）は値ＳＮＳに依存しつつも、各画像領域のエッジ状態に応じて画素位置（ｘ₁，ｙ₁）に対する補助関数ｆ（λ，ｗ）と画素位置（ｘ₂，ｙ₂）に対する補助ｆ（λ，ｗ）は異なるようになる（ここで、画素位置（ｘ₁，ｙ₁）と画素位置（ｘ₂，ｙ₂）は互いに異なる）。同様にして、第１〜第９及び第１２実施例の内の何れかと、第１０又は第１１実施例とを組み合わせて実施することが可能である。

更に、矛盾が生じない限り、第１〜第１２実施例の内の、任意の複数の実施例を組み合わせることも可能である。例えば、第６実施例と第７実施例を組み合わせる場合においては、第６実施例で述べた上記式（Ｄ６）に従う関数ｆ₆（ｘ，ｙ）を式（Ｄ７）の関数ｆ’（ｘ，ｙ）に代入し、この代入によって得た関数ｆ₇（ｘ，ｙ）を、式（Ｃ５）における補助関数ｆ（ｘ，ｙ）として用いればよい（この場合、補助関数ｆ（ｘ，ｙ）は、√ＳＮＳとＭ²に比例することになる）。

［第１４実施例］
第１４実施例を説明する。第１４実施例では、特許文献１に係る上記式（Ａ５）を用いた加重加算係数の算出方法と、上述の第３実施例に係る上記式（Ｄ３）を用いた加重加算係数の算出方法とを対比しつつ、調整パラメータλ_kの存在意義及び設定方法を説明する。

特許文献１には、上記式（Ａ５）と等しい次式（Ｅ１）を、Σｗ_k＝１の条件下で解く
という方法が示されている。

一方、上述の第３実施例に係る方法を式（Ｅ１）に沿った形で記述したならば、第３実施例に係る方法は、次式（Ｅ２）を、Σｗ_k＝１の条件下で解くという方法に相当する。

式（Ｅ１）に基づく方法と式（Ｅ２）に基づく方法との間には、調整パラメータλ_kの有無に起因する、本質的な差異がある。つまり、式（Ｅ１）に基づく方法では、各入力画像に対して一律の評価が行われるのに対して、式（Ｅ２）に基づく方法では、入力画像ごとに設定可能な調整パラメータλ_kを導入したことにより、入力画像ごとに加重加算係数を制御することが可能となる。

調整パラメータλ_kの具体的な設定例を説明する。基準画像から見た位置ずれ量の絶対的な大きさ｜ｄ_k｜が相当に大きな入力画像が、出力画像の元となるべき複数の入力画像の中に含まれていた場合を考える。このような位置ずれ量の大きな入力画像は、第１２実施例においても述べたように、超解像にあまり利用したくない。

式（Ｅ１）に基づく方法では、位置ずれ量が大きいからといって、その入力画像に対する加重加算係数を減らすような制御はできない。一方、式（Ｅ２）に基づく方法を用いた場合には、｜ｄ_k｜が大きい入力画像に対する調整パラメータλ_kを他の入力画像のそれよりも相対的に大きく設定しておくことで、｜ｄ_k｜が大きい入力画像に対する加重加算係数を減らす（究極的にはゼロにする）ことが可能である。このように、λ_i≠λ_jとなるように位置ずれ量ｄ_k等に基づき調整パラメータλ_kを設定することが可能になるため（ここにおけるｉ及びｊは、１以上ｍ以下の整数であって且つｉ≠ｊ）、式（Ｅ２）に基づく方法に代表されるような、調整パラメータλ_kを導入した本実施形態に係る方法は有益である。

上述してきたように、本実施形態に係る方法によれば、入力画像の撮影条件等に適応した評価関数Ｅを用いて加重加算係数ｗ_kの算出がなされるため、様々な条件下において、様々な条件に適応した出力画像の画質最適化が図られる。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

[注釈１]
上述の各実施例において示した、補助関数ｆ（ｘ，ｙ）として設定されるべき関数の定義式（式（Ｄ１）〜（Ｄ１２））は、あくまで例示であり、各実施例の主旨又は本発明の主旨を損なわない限り、それらの定義式を様々に変形できることは言うまでもない。

[注釈２]
上述の実施形態では、画像処理部５０が撮像装置１内に設けられていることを想定したが、画像処理部５０は、撮像装置１と異なる電子機器（不図示）に搭載されていてもよい。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。撮像装置１における撮影によって得られたｍ枚の入力画像の画像信号を、記録媒体１５を介して又は通信によって上記電子機器に伝達するようにすれば、当該電子機器内の画像処理部５０において、ｍ枚の入力画像から出力画像を生成することが可能である。

この際、評価関数Ｅを設定するために必要な付加情報も、当該電子機器に伝達するようにすると良い。この付加情報に、入力画像の撮影条件を表す情報（撮影感度に応じた信号増幅率ＳＮＳ、光学ズーム倍率Ｍ及び／又は露光時間Ｔ_EXPを含む）や、入力画像の合焦度合いを表す情報（評価値Ｆｏｃｕｓを含む）を含めておくことができる。

［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
３４ ドライバ
３５ 光学系
５１ 入力画像取得部
５２ 位置ずれ量検出部
５３ 高解像度化部
５４ 加重加算係数算出部
５５ 画像合成部

Claims (6)

1. 撮影によって得られる複数の入力画像間の位置ずれ量をパラメータとして持つ評価関数に基づいて各入力画像を高解像度化しつつ合成することにより、前記入力画像の解像度よりも高い解像度を有する出力画像を生成する画像処理装置において、
   前記評価関数は、前記入力画像の撮影条件、前記入力画像の画像特徴、又は、前記位置ずれ量の大きさに応じて可変設定される
   ことを特徴とする画像処理装置。
2. 前記評価関数は、前記入力画像の撮影条件に応じて可変設定され、
   前記入力画像の撮影条件は、
   前記入力画像の明るさを調節するための信号増幅率、
   前記入力画像の撮影時における光学ズーム倍率、又は、
   前記入力画像の撮影時における露光時間、を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、
   前記入力画像の画像特徴は、前記入力画像の合焦度合い、又は、前記入力画像上の各位置におけるエッジ強度を含む
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、
   前記入力画像上に前記特定の物体の画像信号が存在しているとき、前記特定の物体の画像信号が存在している画像領域とそれ以外の画像領域との間で、前記複数の入力画像の合成条件を求めるための関数である前記評価関数を異ならせる
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記複数の入力画像の夫々を高解像度化することによって複数の中間生成画像を生成する高解像度化部と、
   前記評価関数に基づいて各中間生成画像に対する加重加算係数を導出する加重加算係数導出部と、
   前記加重加算係数を用いて前記複数の中間生成画像の画像信号を加重加算することにより、前記出力画像を生成する加重加算部と、を備えた
   ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
6. 複数の画像を撮影する撮像部と、
   請求項１〜請求項５の何れかに記載の画像処理装置と、を備えた撮像装置であって、
   前記撮像部にて撮影された前記複数の画像を複数の入力画像として前記画像処理装置に与える
   ことを特徴とする撮像装置。

Images