JP2012014268A - 情報処理装置およびその制御方法 - Google Patents

Abstract

【課題】複数の撮像画像の合成処理により生成され得る高解像度画像の画質を推定する。
【解決手段】撮像装置により連続的に取得されるＮ枚の撮像画像を合成処理することにより得られる高解像度画像の画質を推定する情報処理装置において、Ｎ枚の撮像画像を取得する取得手段と、Ｎ枚の撮像画像の中から１枚の基準画像を選択する選択手段と、基準画像を除く（Ｎ−１）枚の撮像画像の各々について、基準画像との間の位置ずれ量を導出する導出手段と、合成処理において（Ｎ−１）枚の撮像画像の各々に対して導出された位置ずれ量に起因して発生することになるエイリアシング成分の和の絶対値が最小となるような（Ｎ−１）枚の撮像画像の各々に対する重み値を算出し、該重み値を使用して合成処理した場合の高解像度画像の画質を推定する推定手段と、を備える。
【選択図】図１

Description

本発明は、複数の画像の合成により生成され得る高解像度画像データの画質を推定する技術に関するものである。

デジタルビデオカメラなどの撮像装置で撮像可能な画像の解像度は、撮像装置のレンズや撮像素子の設計に依存して決定される。しかし、撮像装置で撮影可能な解像度を超える高解像度の画像を取得したいという要求が存在する。このような要求に対し、２枚以上の画像を合成することにより、撮像装置で撮像可能な解像度を超えた高解像度の画像を生成する撮像装置が提案されている。例えば、非特許文献１では、複数の位置ずれを有する低解像度画像を合成して、高解像度画像を生成する手法が提案されている。非特許文献２は、ＭＡＰ（Maximum A Posterior）推定に基づく方法により高解像度画像を生成する手法を開示している。ＭＡＰ法は、高解像度画像の確率情報を付加した評価関数を最小化するように低解像度画像から高解像度画像を推定する方法である。高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像の推定を行う。これらの方法で高解像度画像を合成するため、入力となる低解像度画像は位置ずれを持つ良く似た画像が必要となる。

青木 伸，"複数のデジタルデータによる超解像処理"，Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４，ＮＯＶＥＭＢＥＲ，１９９８年 Sung C. P., Min K. P. ,"Super-Resolution Image Reconstruction: A Technical Overview", 米国 IEEE Signal Proc. Magazine, 第26巻, 第3号, p.21-36，2003年

しかしながら、上述の文献に開示される方法では、合成された画像の画質がどの程度良好なものであるのかは、実際に高解像度画像を合成するまで知ることができない。そのため、合成された画像の画質を知るためには演算量が多い上述の高解像度画像の生成を実際に行わなければならない。そのため、所望する画質の高解像度画像の生成にどの程度の枚数の撮像画像が必要であるのかを撮影時にユーザが定量的に知ることは困難であった。

上述の１以上の問題を解決するため、本発明の情報処理装置は以下の構成を備える。すなわち、撮像装置により連続的に取得されるＮ枚（Ｎは２以上の整数）の撮像画像を合成処理することにより得られる高解像度画像の画質を推定する情報処理装置において、Ｎ枚の撮像画像を取得する取得手段と、前記Ｎ枚の撮像画像の中から１枚の基準画像を選択する選択手段と、前記基準画像を除く（Ｎ−１）枚の撮像画像の各々について、前記基準画像との間の位置ずれ量を導出する導出手段と、前記合成処理において、前記（Ｎ−１）枚の撮像画像の各々に対して導出された位置ずれ量に起因して発生することになるエイリアシング成分の和の絶対値が最小となるような前記（Ｎ−１）枚の撮像画像の各々に対する重み値を算出し、該重み値を使用して合成処理した場合の前記高解像度画像の画質を推定する推定手段と、を備える。

本発明によれば、撮像装置により撮像した複数の画像データから生成され得る高解像度画像の画質に関する情報を、実際の高解像度画像の合成処理を行うことなくユーザあるいは機器に提供することを可能とする技術を提供することができる。

第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態の撮像装置の処理手順を示すフローチャートである。 δ関数列のフーリエ変換を表した模式図である。 低解像度画像の線形和から高解像度画像を得る方法を示すための模式図である。 δ関数列のフーリエ変換の対称性を示すための模式図である。 第１実施形態の画質推定部の構成を示すブロック図である。 第１実施形態の画質推定部における処理フローチャートである。 第１実施形態の撮像装置で用いる位置ずれ算出方法の処理手順を示すフローチャートである。 第１実施形態の撮像装置のユーザーインターフェースを示す模式図である。 第２実施形態の撮像装置の構成を示すブロック図である。 第３実施形態の撮像装置の構成を示すブロック図である。 第３実施形態の画質推定部における処理のフローを示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、当該情報処理装置を含む撮像装置を例に挙げて以下に説明する。特に、第１実施形態では、連続撮像時に画像の取得ごとに画質の推定を行い、予め設定された画質を満たすと判定された場合に自動的に連続撮像を停止する例について説明する。

＜画像合成方法＞
前提技術として、Ｎ枚（Ｎは２以上の整数）の低解像度画像から１枚の高解像度画像を合成処理する方法について説明する。まず、撮像の対象となった連続な像をＬ（ｘ，ｙ）とおく。ここで、ｘ，ｙは像の中での座標であり、連続な値を持つ。撮像とは連続な像のサンプリングであり、サンプリング点を表すδ関数列を

と置くと、撮像によるサンプリングで得られる画像は

と表すことができる。数式（１）のΔｘ，Δｙはサンプリング間隔に相当する。ここで、画像間の位置ずれを平行移動のみと仮定し、位置ずれをα，βと置くと、数式（２）は

と表すことができる。このとき、数式（３）の画像に対して位置合わせを施した画像は、

と表すことができる。数式（４）のフーリエ変換は

となる。ここで、δ関数列δ_ｓ（ｘ，ｙ）のフーリエ変換は

となっており、実空間と同じくδ関数列状になっている。

図３は、数式（６）の関数の模式図であり、図の横軸及び縦軸は周波数空間での座標ω_ｘ、ω_ｙに対応している。なお、点で示されている位置において数式（６）の関数は非ゼロになっている。

数式（６）の関数に、位置ずれに対応する因子ｅｘｐ｛ ｊ（αω_ｘ＋βω_ｙ）｝を乗算し、撮像の対象となった連続な像Ｌ（ｘ，ｙ）のフーリエ変換を畳み込んだものが数式（５）に対応する。なお、数式（５）は、位置合わせ画像のフーリエ変換である。

（ω_ｘ、ω_ｙ）＝（０，０）では位置ずれに対応する因子は１になっているので、図３の原点にある点にＬ（ｘ，ｙ）を畳み込んで位置ずれに対応する因子を乗じたものはＬ（ｘ，ｙ）に等しい。一方で、その他の点にＬ（ｘ，ｙ）を畳み込んで位置ずれに対応する因子を乗じたものは、エイリアシング成分と呼ばれるものである。

ここで、画像の線形和をとることで、位置ずれに起因して発生するエイリアシング成分を除去することを考える。足し合わせる画像の枚数をＮ枚とし、ｔ枚目（２＜ｔ≦Ｎ）の位置合わせ済みの画像をＩ’_ｔとする。また、ｔ枚目の画像に乗じる係数をｗ_ｔ、ｔ枚目の画像の位置ずれをα_ｔ、β_ｔと表記する。このとき位置合わせ画像のフーリエ変換を足し合わせたものは、

と表すことが出来る。ここで、ある周波数ω_ｘ＝ｈ・２π／Δｘ、ω_ｙ＝ｋ・２π／Δｙに対応するエイリアシング成分に着目したとき、

を満たすようにｗ_ｔを選べば、そのエイリアシング成分を消去できることがわかる。したがって、再現したい帯域内に含まれるエイリアシング成分を打ち消すように画像を足し合わせた上で、再現したい帯域だけを透過するフィルタをかければ、所望の解像度の画像を取り出すことが可能となる。

図４は、低解像度画像の線形和におけるエイリアシング成分の消去を示すための模式図である。図４では、（ω_ｘ，ω_ｙ）＝（２π／Δｘ，０），（−２π／Δｘ，０），（０，２π／Δｙ），（０，−２π／Δｙ），（２π／Δｘ，２π／Δｙ），（−２π／Δｘ，２π／Δｙ），（２π／Δｘ，−２π／Δｙ），（−２π／Δｘ，−２π／Δｙ）に対応するエイリアシング成分が消去してある。

また、点線の円は”畳み込まれたＬ（ｘ，ｙ）”を示し、点線の四角がかけるフィルタを示す。このフィルタリング処理によって、フィルタの透過帯域より高周波側にあるエイリアシング成分の影響を遮断することで、フィルタの透過帯域内においては、Ｌ（ｘ，ｙ）にフィルタをかけたものと同等の画像を再現することができる。このフィルタの透過帯域は、低解像度画像のナイキスト周波数π／Δｘに対して、縦横方向にそれぞれ２倍である。したがって、この場合は元の画像に比して縦横２倍の解像度が得られる。なお、ここでは縦横２倍に高解像度化をする例を示したが、縦横２倍に限定するものではなく、より高解像度であっても低解像度であってもかまわない。画質推定部に入力される各種パラメータから、消去するエイリアシング成分を選択する方法と、フィルタを生成する方法については後述する。

次に、エイリアシング成分の消去を行うための条件を示す。各エイリアシング成分に対応する周波数が整数ｈ，ｋを用いてω_ｘ＝ｈ・２π／Δｘ、ω_ｙ＝ｋ・２π／Δｙと記述されるとして、ｔ枚目の画像の位置ずれに対応する因子を、

とおく。このとき、

と

によって定まるｗ_ｔを求め、重み付き加算画像を示す

を計算することで、高解像度画像が得られる。このときｃはリサンプリング時の帯域制限に用いるフィルタである。ここで、（ｈ，ｋ）は１組である必要はなく、消したいエイリアシング成分の数だけ数式（１０）の条件を課せば良い。なお、スペクトルの対称性から、考慮するエイリアシング成分は、ｈ＝０，ｋ≧１の条件を満たすものと、ｈ≧１の条件を満たすものだけで十分である。図５に示す周波数の範囲内では点線に囲まれた成分がこの条件を満たす成分である。また、δ_ｓＨＲは高解像度画像をサンプリングするためのδ関数列である。

数式（１０）、数式（１１）の条件を満たすｗ_ｔは、連立一次方程式を解くことで求められる。消去するエイリアシング成分がＭ個であり、ｓ番目のエイリアシング成分の位置ずれ因子をｈ＝ｈ（ｓ），ｋ＝ｋ（ｓ）を用いて

と表すならば、解くべき連立一次方程式は行列を用いて、

のように書くことが出来る。この連立一次方程式は、Ｎ≧２Ｍ＋１ならば解くことができる。ここで、Ｒｅは複素数の実部を、Ｉｍは複素数の虚部を抽出する操作を表す。以上、数式（１４）よりｗ_ｔを求め数式（１２）に代入することで、高解像度画像を合成することができる。

＜画質推定方法＞
次に、上述の方法で画像を合成する際の画質を推定する方法について説明する。つまり、実際の合成処理を行うことなく合成後の画像の画質を定量的に示す値を導出する方法について説明する。

数式（１４）においてＮ＞２Ｍ＋１ならば、解は（Ｎ−２Ｍ−１）の自由度を持つ。ここで位置合わせ済み画像Ｉ’_ｔに撮像素子の特性などの起因するノイズｎ’_ｔが含まれると考えた場合、ノイズの影響を最小にするｗ_ｔを選ぶことが望ましいことが推定される。

このノイズの影響の度合いが”画質”に影響することになるため、第１実施形態では、最適なｗ_ｔを選んだ場合にノイズの影響の度合いがどのようになるかを計算することを考えることにする。数式（１４）の解を数式（１２）に代入することで生成できるＩ_ＨＲのうち、ノイズｎ_ｔ由来の成分をｎ_ＨＲとおく。ノイズの影響の度合いを、ノイズ成分ｎ_ＨＲの画像内での二乗和の統計平均とするならば、

のようになる。低解像度画像のノイズ特性が同じならば、

を最小化するｗ_ｔが、数式（１５）により表わされるノイズの影響の度合いを最小にする。したがって、数式（１６）を最小化する｛ｗ_１，ｗ_２，…，ｗ_Ｎ｝を求め、数式（１５）に代入することで、合成される高解像度画像のノイズの量を推定することができる。

数式（１４）を解いて求めたｗ_ｔが、（Ｎ−２Ｍ−１）個のパラメータ｛ｂ_１，ｂ_２，…ｂ_{Ｎ−２Ｍ−１}｝と、（Ｎ−２Ｍ）個の定数｛ｗ_０，ｔ，ｗ_１，ｔ，ｗ_２，ｔ，…ｗ_{Ｎ−２Ｍ−１，ｔ}｝を用いて

と書けるとする。このとき数式（１７）を数式（１６）に代入したときに、数式（１６）を最小にするパラメータ｛ｂ_１，ｂ_２，…ｂ_{Ｎ−２Ｍ−１}｝の組を求める。数式（１６）の｛ｂ_１，ｂ_２，…ｂ_{Ｎ−２Ｍ−１}｝での偏微分が０になるという条件で連立方程式をたて、行列で表すと、

となる。数式（１８）を解いて｛ｂ_１，ｂ_２，…ｂ_{Ｎ−２Ｍ−１}｝を求め、数式（１７）、数式（１５）と代入し計算することで画質を表す定量値を導出することができる。

＜撮像装置の構成＞
図１は、第１実施形態の撮像装置の構成を示したブロック図である。１０１は撮像部であり、撮像制御部１０７から指示を受けて画像を撮像する。なお、最初の撮像はシャッターボタンに相当する撮像指示部１０９から撮像制御部１０７に撮像指示がなされることで連続的な撮像動作が開始される。撮像された画像はバッファ１０２に格納される。バッファ１０２に格納された画像は順次、画像記録部１１０に記録される。また、撮像画像が１枚目の場合、バッファ内の画像は基準画像を格納するバッファ１０３へとコピーされる。

１０４は位置ずれ算出部であり、バッファ１０２及びバッファ１０３に格納されている画像を読み込み、画像間の相対的な位置ずれを算出する。１０５は画質推定部であり、位置ずれ算出部１０４で算出した画像間の相対的な位置ずれを用いて、高解像度画像を合成したときの画質を推定し、パラメータ設定部１０６にて指定された条件を満たすか判定する。また、推定された画質に関する情報をユーザに通知するため、画質に関する情報は表示部１０８に表示される。撮像制御部１０７は、画質推定部１０５による判定を参照し、条件を満たしていなければ再度撮像を行う。

＜撮像装置の動作＞
図２は、第１実施形態の撮像装置の処理手順を示すフローチャートである。

ステップＳ２０１では、撮像を行うにあたり、パラメータ設定部１０６により画質推定部１０５に対して、撮像終了条件となるいくつかのパラメータが設定される。ここで設定されるパラメータは、合成画像における拡大倍率やノイズ特性、撮像部１０１の撮像系固有の光学特性などであり、詳細は後述する。

ステップＳ２０２では、ユーザーによるシャッターボタンの押下などの撮像指示を検出する。そして、シャッターボタンが押下されると、ステップＳ２０３にて撮像制御部１０７を介して撮像部１０１に対して撮像の指示が出される。ステップＳ２０４にて撮像部１０１は撮像を行い、画像をバッファ１０２に格納する。ステップＳ２０５では、新たにバッファ１０２に格納された画像が画像記録部１１０に記録される。

ステップＳ２０６では、撮像した画像が１枚目かどうか判定し、１枚目の画像ならばステップＳ２０７にて、バッファ１０２に格納された画像を、基準画像を格納するバッファ１０３にコピーする。そして、ステップＳ２０８では、位置ずれ算出部１０４は今回撮像した画像と基準画像との間の相対的な位置ずれを算出する。さらに、ステップＳ２０９では、算出された位置ずれとパラメータ設定部１０６により設定されたパラメータとを用いて画質を推定する。なお、画質の推定方法については後述する。

ステップＳ２１０では、推定した画質の情報を表示部１０８に表示し、ステップＳ２１１では、終了条件を満たしているか判定を行う。終了条件を満たしていれば、一連の撮像処理を終了する。満たしていないならばステップＳ２１２にて、最大撮像枚数に達しているか判定する。達しているならばステップＳ２１３にて、目標画質に到達しなかったことを表示し、一連の撮像処理を終了する。達していないならばステップＳ２０３に戻り、一連の処理を繰り返す。

なお、上述の説明では画像の画像記録部１１０への記録をステップＳ２０５にて行ったが、撮像した画像がバッファ１０２に格納されてから、次の撮像が指示されるまでの間ならば、どのタイミングで行っても構わない。

＜位置ずれ算出方法＞
次に位置ずれ算出部１０４における位置ずれ算出方法について説明する。第１実施形態では位置ずれが平行移動で記述できると仮定する。図８は位置ずれ算出の処理の流れを表すフローチャートである。

ステップＳ８０１では、位置ずれ算出部１０４は、バッファ１０２より基準画像を読み込む。ここでは、バッファの１枚目に格納されている画像とする。ステップＳ８０２では、位置ずれを算出する対象となる参照画像をバッファより読み込む。ここでは、バッファの２枚目に格納されている画像とする。

ステップＳ８０３では、参照画像を基準画像に対して縦横にずらし、各位置での基準画像との差分二乗和を計算し、位置ずれ量に対する差分二乗和の変化をマップにする。そして、ステップＳ８０４では、このマップにおける最小値の近傍において２次式によるフィッティングを行い、マップをフィッティングした関数が極小値を持つ位置ずれ量を求める。これが、算出された画像の位置ずれとなる。以上の処理を、全ての参照画像に対して行って処理を完了する。

＜画質推定部＞
以下では、画質推定部１０５における画質推定方法について説明する。図６は画質推定部１０５のブロック図である。画質推定部１０５では、位置ずれ算出部１０４で算出した位置ずれと、パラメータ設定部１０６によって設定されるパラメータである撮像系ＯＴＦ（光学伝達関数）、拡大倍率、撮像画像ノイズ特性、目標画質を入力として受ける。また、画質推定によって算出したノイズ指標（前述のノイズが高解像度画像に影響する度合い）と、画質を達成したか否かの判断を出力する。なお、ＯＴＦは点像分布関数のフーリエ変換に相当する。

まず、画質推定部１０５は、位置ずれ算出部１０４から位置ずれの入力を受け付け、エイリアシング成分消去部６０１でエイリアシング成分を消去できる重みのつけ方を、連立一次方程式の解として算出する。連立一次方程式は位置ずれと消去するエイリアシング成分から数式（１４）に基づいて、連立一次方程式生成部６０２にて生成する。なお、消去するエイリアシング成分の選択は、消去対象エイリアシング成分選択部６０９にて、撮像系のＯＴＦと拡大倍率から算出されるが詳細については後述する。生成した連立一次方程式は連立一次方程式解計算部６０３で解を計算する。求めた解は、ノイズ指標最小化部６０４に送られて、ここで解のうちノイズ指標を最小化するものを求める。

ノイズ指標最小化部６０４では、数式（１８）に基づいて連立一次方程式生成部６０５にて連立方程式を生成し、これを連立一次方程式解計算部６０６で計算することでノイズ指標を最小化する重みを求める。重みと補間カーネル、撮像画像ノイズ特性をもとに、数式（１５）に基づいてノイズ指標計算部６０７にてノイズ指標を算出する。ここで言う重みとは数式（１５）においてｗ_ｔに相当し、ノイズ特性とはｎ’_ｔ（ｘ，ｙ）の統計的性質に、補間カーネルとはｃ（ｘ，ｙ）に相当する。補間カーネルは撮像系ＯＴＦと拡大倍率をもとに補間カーネル生成部６１０にて生成するが詳細については後述する。算出したノイズ指標は表示部１０８に出力されるとともに、画質判定部６０８に送られ目標画質と比較され、画質が達成できるか判断、出力される。

次に画質推定部１０５で行われる画質推定の手順について説明する。図７は画質推定の処理フローチャートである。まず、ステップＳ７０１では、消去対象のエイリアシング成分の選択を行う。そして、ステップＳ７０２では、選択したエイリアシング成分と、外部から取得した位置ずれを用いて、エイリアシング成分を消去するための連立一次方程式を生成する。ステップ７０３では、ステップＳ７０２にて生成した連立一次方程式の解を求める。ステップＳ７０４では、ステップＳ７０３にて求めた解よりノイズ最小化のための連立一次方程式を生成する。ステップＳ７０５では、ステップＳ７０４にて生成した連立一次方程式の解を計算する。

ステップＳ７０６では、撮像系のＯＴＦと拡大倍率をもとに補間カーネルを生成する。ステップＳ７０７では、補間カーネルとステップＳ７０５にて求めた解を用いてノイズ指標を算出する。ステップＳ７０８で算出したノイズ指標を出力する。ステップＳ７０９では、目標画質を閾値として算出したノイズ指標と比較を行い、画質が当該閾値以上であるか否かを判断する。ステップＳ７１０では、判断結果を出力する。

＜パラメータと画質条件達成の判定＞
ここでは、画質推定処理におけるパラメータとして、撮像系ＯＴＦ、拡大倍率、撮像画像ノイズ特性、目標画質を用いる。拡大倍率とは入力低解像度画像に対して何倍のサンプリング周波数で高解像度画像を生成するかを決める値である。

まず、撮像系ＯＴＦと拡大倍率は、消去対象エイリアシング成分選択部にて消去対象のエイリアシング成分の選択に用いられる。ここでは、あるエイリアシング成分に対応する周波数の位置にあるδ関数に、撮像系のＯＴＦを畳みこんだ時に、拡大倍率によって求められる高解像度画像のナイキスト周波数内では値が非０になるという条件で、消去対象のエイリアシング成分を選択する。

また、撮像系のＯＴＦと拡大倍率は、補間カーネル生成部６１０での補間カーネルの生成に用いられる。具体的には、リサンプリングに際してのぼけがナイキスト周波数付近で０となるように、拡大倍率に基づいて決定する。このぼけのフーリエ変換をＢとすると、補間カーネルのフーリエ変換は撮像系ＯＴＦを用いて（Ｂ／撮像系ＯＴＦ）と算出される。これは、いったん撮像系ＯＴＦの影響を取り除いた後に、Ｂというアンチエイリアシングのためのぼけをかけるという意味である。

撮像画像ノイズ特性は、ノイズ指標計算部６０７にてノイズ指標の算出に用いられる。これは、数式（１５）のｎ’_ｔ（ｘ，ｙ）の統計的な性質に相当し、ここから数式（１５）の値を計算する。なお、ここでは全ての撮像画像で撮像画像ノイズ特性は等しいものとする。

目標画質とはノイズ指標計算部６０７で計算されるノイズ指標と画質判定部６０８で比較される値であり、算出したノイズ指標の値がこの目標画質より大きくなれば、画質条件は達成されたとみなす。一例として高解像度画像の各画素の画素値の誤差が１程度になる画質に相当する目標画質は、画素数と等しい数値になる。

＜ユーザーインターフェースの例＞
図９は、第１実施形態に係る撮像装置のユーザーインターフェースの例を示す図である。９０１はシャッターボタンであり、撮像指示部１０９に対応する。９０２は表示パネルであり、表示部１０８に対応する。ここには、例えば、撮像中の画像と拡大倍率９０３、連続撮像した枚数９０４、推定画質に対応するノイズ量９０５が表示される。

つまり、ユーザーは、表示パネル９０２上に表示されるノイズ量９０５を視認することで、その時点で取得済みの撮像画像により画像合成を行った際の画質を知ることができる。また、撮像の自動終了をもって、所望の画質に達したことを知ることができる。

以上説明したように、第１実施形態に係る撮像装置によれば、実際の高解像度画像の合成処理を行うことなく、撮像画像から生成され得る高解像度画像の画質の定量値を導出することが可能となる。そして、当該画質に関する情報を、連続撮影時にユーザあるいは機器に提供することが可能となる。

（第２実施形態）
第２実施形態では、基準画像と参照画像との間の位置ずれを、撮像装置に取り付けられた姿勢センサーによって導出する例について説明する。

図１０は、第２実施形態に係る撮像装置の構成を示したブロック図である。位置ずれ算出部１０４の代わりに位置ずれ検出部１００１を備える点が図１と異なる。位置ずれ検出部１００１は、撮像装置の姿勢に関する情報（姿勢情報）をセンサー（加速度センサーなど）から受信し、当該姿勢情報に基づいて撮像画像における位置ずれを求める機能部である。例えば、フォーカスが無限遠に設定されている場合、ｘ、ｙ方向の画角をθ_ｘ、θ_ｙと、ｘ、ｙ方向の角度の変化をΔθ_ｘ、Δθ_ｙ、ｘ、ｙ方向の画素数をＭ，Ｎとすると、ｘ、ｙ方向の位置ずれΔｘ、Δｘはそれぞれ、

を計算することで求められる。なお、θ_ｘ、θ_ｙは、撮像素子の大きさ、撮像光学系の焦点距離などの情報を用いて公知の方法で求めることが出来る。

以上説明したように、第２実施形態によれば、位置ずれを姿勢センサーを用いて算出する。これにより、撮像画像に基づいて位置ずれの算出を行うことなく、画像合成時の画質の推定が可能となる。

（第３実施形態）
第３実施形態では、撮像した画像のうち高解像度画像の合成に適した画像を選択し、選択した画像による合成画像の画質を推定する。

図１１は、第３実施形態に係る撮像装置の構成を示したブロック図である。画像選択部１１０１が追加されている点が図１と異なる。画像選択部１１０１はバッファ１０２より読み込んだ画像を、位置ずれ算出部１０４が算出した位置ずれ情報を用いて、バッファ１０３から読み込んだ基準画像と位置合わせする。その後、位置ずれの量が所定の位置ずれ閾値より小さい画像のみろ合成画像の生成に使用する想定する。

画像選択部の処理について述べる。画像選択部では具体的には、ｎ番目の撮像画像を位置合わせし、バイキュービック法などで補間、リサンプリングして、位置合わせ済みリサンプリング画像Ｉ”_ｎを生成する。１番目の撮像画像を基準画像として、

を満たすｎ番目の撮像画像Ｉ”_ｎのみを選び出す処理を行う。このときｋは画像を選び出すための閾値である。また、左辺は基準画像と位置合わせ済みリサンプリング画像の差分の全画素での絶対値平均である。

撮像時に画像が単純な平行移動しかしていない場合、位置合わせを行った画像は基準画像と近い画像になる。一方、撮像時に被写体の動きや、光源の変化、大気のゆらぎ、手ぶれなどで高解像度画像の合成に適さない変化をしてしまった場合、位置合わせを行っても位置合わせを行った画像は基準画像とはある程度異なった画像になる。従って、数式（２１）の左辺の値は大きくなる。この性質を用いて、閾値ｋを用いて判定することで高解像度画像の合成に適した画像の選択を行うことができる。

サンプリング位置のずれと補間による誤差が、基準画像の１画素シフトによる変動内に収まると考えると、ｋは基準画像の全変動ノルムの値より少し大きい程度が妥当である。ただし、その他の適当な値を設定しても構わない。また、数式（２１）の左辺も必ずしもＬ１ノルムである必要はなく、Ｌ２ノルムやそれらの二乗など、適当なものを用いて構わない。

なお、上述の説明においては１枚目の撮像画像を基準画像に用いるとしたが、１枚目の画像が画像合成に不適当な画像である可能性もある。これを解決するために、基準画像の候補として複数枚をバッファしておき、１枚目の基準画像による判定では何枚撮像しても数式（２１）の条件を満たせないならば、２枚目の基準画像を判定に用いるというような構成をとってもよい。

また、画像選択の精度を向上させるために、位置ずれ算出部にて求めた位置ずれから、サブピクセル単位でのサンプリング位置のずれを求め、これにより画像枚に数式（２１）のｋを定める構成にしても構わない。具体的には、サンプリング位置のずれが大きい場合、エイリアシングの影響によって数式（２１）の左辺評価値が大きくなると考えられるので、ｋを大きい値にする。サンプリング位置のずれが小さい場合、その逆でｋを小さい値にするとよい。

図１２は、画像選択の処理フローチャートである。なお、ステップＳ１２０１〜Ｓ１２０７は第１実施形態と同様に撮像処理と位置ずれ算出処理を行う。ただしこの時、画像の記録はまだ行わない。ステップＳ１２０８では、画像選択部１１０１は、現在のバッファ内の画像と基準画像を位置合わせした後、前述の所定の閾値と比較する。そして、ステップＳ１２０９では、画像合成に適した画像か判定し、適した画像ならばステップ１２１０へ進みバッファ内の画像を画像記録部に保存する。一方、画像合成に適した画像でないと判定した場合、ステップＳ１２１４に進む。なお、ステップＳ１２１１〜Ｓ１２１２にて第１実施形態と同様に画質の推定と表示を行い、ステップＳ１２１３〜Ｓ１２１５では第１実施形態と同様の終了判定と終了処理及び継続処理を行う。

以上説明したように、第３実施形態によれば、複数の撮像画像の中から合成に適切な画像のみを選択し、選択した撮像画像を合成した場合の画質を推定することができる。これにより、例えば、撮像した画像の中に高解像度画像の合成に適さないものが含まれていたため実際の合成画像の画質が推定した画質を下回るというような事例を回避することができる。なお、上述の説明では画像合成に適するかの判定を画像全体に対して行ったが、画像を分割して領域毎に判定を行い、領域毎に画質の推定を行っても構わない。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 撮像装置により連続的に取得されるＮ枚（Ｎは２以上の整数）の撮像画像を合成処理することにより得られる高解像度画像の画質を推定する情報処理装置であって、
   Ｎ枚の撮像画像を取得する取得手段と、
   前記Ｎ枚の撮像画像の中から１枚の基準画像を選択する選択手段と、
   前記基準画像を除く（Ｎ−１）枚の撮像画像の各々について、前記基準画像との間の位置ずれ量を導出する導出手段と、
   前記合成処理において、前記（Ｎ−１）枚の撮像画像の各々に対して導出された位置ずれ量に起因して発生することになるエイリアシング成分の和の絶対値が最小となるような前記（Ｎ−１）枚の撮像画像の各々に対する重み値を算出し、該重み値を使用して合成処理した場合の前記高解像度画像の画質を推定する推定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記推定手段は、
   前記重み値を、更に、前記撮像装置の撮像系ＯＴＦ（光学伝達関数）の情報と前記合成処理における拡大倍率の情報とを用いて算出し、
   前記画質を、前記撮像系ＯＴＦの情報と前記拡大倍率の情報とを用いて生成される補間カーネルと、前記撮像画像のノイズ特性の情報とに基づいて推定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記推定手段によって推定された画質の情報をユーザに通知するための表示手段を更に備えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記推定手段によって推定された画質が予め設定された閾値以上になった場合に前記撮像装置による連続的な撮像を停止する制御手段を更に備えることを特徴とする請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記導出手段は、前記Ｎ枚の撮像画像を撮像した際の前記撮像装置の姿勢情報に基づいて前記位置ずれ量を導出することを特徴とする請求項１乃至４の何れか一項に記載の情報処理装置。
6. 撮像装置により連続的に取得されるＮ枚（Ｎは２以上の整数）の撮像画像を合成処理することにより得られる高解像度画像の画質を推定する情報処理装置の制御方法であって、
   取得手段が、Ｎ枚の撮像画像を取得する取得工程と、
   選択手段が、前記Ｎ枚の撮像画像の中から１枚の基準画像を選択する選択工程と、
   導出手段が、前記基準画像を除く（Ｎ−１）枚の撮像画像の各々について、前記基準画像との間の位置ずれ量を導出する導出工程と、
   推定手段が、前記合成処理において、前記（Ｎ−１）枚の撮像画像の各々に対して導出された位置ずれ量に起因して発生することになるエイリアシング成分の和の絶対値が最小となるような前記（Ｎ−１）枚の撮像画像の各々に対する重み値を算出し、該重み値を使用して合成処理した場合の前記高解像度画像の画質を推定する推定工程と、
   を備えることを特徴とする情報処理装置の制御方法。
7. コンピュータを請求項１乃至５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images