JP2013118514A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】画像のノイズが増加することを抑制しつつ、被写界深度を拡大できるようにする。
【解決手段】被写体像を結像させる撮影光学系の結像面に配置されたマイクロレンズアレイと、マイクロレンズアレイのうちの１つにつき複数の光電変換部を含む単位画素を、垂直および水平に配列した固体撮像素子と、複数の画像のうちの１つを基準画像として、基準画像から特徴点を検出する特徴点検出部と、複数の画像のうちの基準画像を除く他の画像ごとに特徴点に対応する対応点を検出する対応点検出部と、対応点の位置の画像を特徴点の位置の画像へ変換する変換部と、変換部により他の画像を変換した画像を、基準画像に合成する合成部とを備える。
【選択図】 図６

Description

本発明は、撮影光学系と固体撮像素子のマイクロレンズアレイのピッチとで規定される被写界深度よりも深い被写界深度を有する画像を取得する撮像装置の制御方法に関するものである。

従来の一般的な撮像装置の露出状態は、ＩＳＯ感度、シャッター速度、絞りの３つの露出パラメータによって規定される。

そして、例えば動きの速い被写体をぶれずにうつすために高速シャッターを適用して光の積分時間を縮めた分は、ＩＳＯ感度を上げたり、絞りを開放側に制御したり、という残り２つの露出パラメータにより画像の明るさを補償する制御が行われるのが通常である。このうち、ＩＳＯ感度を上げるという制御は、画像のノイズを増加させてしまう。さらに、絞りを開放側に制御するという制御は、合焦状態にあると認められる被写体までの距離範囲（すなわち被写界深度）を浅くしてしまう。

このような課題に対処する方法として、特許文献１には次のような技術が開示されている。特許文献１によれば、同一の被写体を、焦点位置を変えて撮影した複数の画像を合成する技術が周知と記載されている。

また、特許文献２によれば、２次元焦点面の特定の部分を介して通過する光線の集合に対して、複数の光センサーを配置して、前記２次元焦点面の前記特定の部分のところに互いに異なった光線を検出する光学装置と、互いに異なった光センサーで検出された光と、光を検出する各々の光センサーのロケーションを特徴として持つこの検出された光の前記２次元焦点面に対する入射角との関数として、合成された再結像画像を計算するようにプログラムされたプロセッサと、を備えるシステムが開示されている。

特開平１１−１８５０１８号公報 特表２００８−５１５１１０号公報

しかし、特許文献１の方法では求める被写界深度の画像を得るために複数回の撮影が必要となる。また、特許文献２の方法では、仮想のアパーチャーを通過した光を光センサーで検出することにより、複数回の撮影は不要となっているが、再結像には４次元フーリエ変換などの周波数ドメインでの処理が必要となり、撮影後の処理時間増加が懸念される。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、簡易な処理で被写界深度を拡大できる撮像装置及び撮像装置の制御方法を提供することである。

本発明に係わる撮像装置は、被写体像を結像させる撮影光学系の結像面に配置されたマイクロレンズアレイと、前記マイクロレンズアレイのうちの１つにつき複数の光電変換部を含む単位画素を、垂直および水平に配列した固体撮像素子と、前記複数の画像のうちの１つを基準画像として、該基準画像から特徴点を検出する特徴点検出手段と、複数の画像のうちの前記基準画像を除く他の画像ごとに前記特徴点に対応する対応点を検出する対応点検出手段と、前記対応点の位置の画像を前記特徴点の位置の画像へ変換する変換手段と、前記変換手段により前記他の画像を変換した画像を、前記基準画像に合成する合成手段と、を備えることを特徴とする。

本発明によれば、簡易な処理で被写界深度を拡大することが可能となる。

本発明の第１の実施形態に係る撮像装置の構成を表すブロック図。 第１の実施形態に係る固体撮像素子の撮像面構成を表す平面図。 第１の実施形態に係る光線図の一例。 第１の実施形態に係る光線図の一例。 第１の実施形態に係る撮像装置の制御を表すフローチャート。 第１の実施形態を説明するための光線図の一例。 第１の実施形態に係る撮像装置の制御を表すサブフローチャート。 第１の実施形態に係る撮像装置の制御を表すサブフローチャート。 第２の実施形態に係る撮像装置の制御を表すフローチャート。

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
被写界深度とは、式（１）にしたがって見積もることができる。

（ａ−ｆ）²／（ｆＤ／δ−ａ） …（１）
ここで、ａは撮影光学系の合焦距離、ｆは撮影光学系の焦点距離、Ｄは撮影光学系の口径、δは許容錯乱円である。特許文献１のように、固体撮像素子が単位マイクロレンズと光電変換部とが１対１に対応したものであれば許容錯乱円δは一意に決まる固定値なので、被写界深度は撮影光学系の合焦距離、焦点距離、絞りによって決まる。さらに、画角や合焦物体、すなわちシーンを固定すれば絞りのみに依存する。しかしながら特許文献２では、固体撮像素子のマイクロレンズに対して複数の光電変換部が対応していることで、被写界深度を拡大する可能性があることが示されている。

上記の従来技術に対して本実施形態では、１つのマイクロレンズに複数の光電変換部が対応する撮像素子を用いて得られる単位マイクロレンズ毎の電気信号を合成することで、被写界深度の深い画像を生成することを特徴とする。

まず、本発明の第１の実施形態に係る撮像装置の全体構成について説明する。図１は、本発明の第１の実施形態に係る撮像装置の全体構成を表すブロック図である。図１において、１は、絞り１００やメカニカルシャッターを含むレンズ等の撮影光学系である。２は、撮影光学系１によって結像された被写体像を光電変換し電気信号として取り出す固体撮像素子である。固体撮像素子２は、単位画素上に設けられたマイクロレンズアレイ等の集光機能、単位画素内に設けられたフォトダイオード等の光電変換部でなされる光電変換機能、光電変換部からの電気信号を画像信号として転送する信号転送機能とを備える。このうち、信号転送機能に関しては、電荷転送を伴うＣＣＤ型や画素ごとに増幅アンプを持つＡｃｔｉｖｅ−ＣＭＯＳ型など、光電変換部からの電気信号を転送できるものであれば、いかなる構成も適用可能である。本実施形態に用いる固体撮像素子２は、集光機能と光電変換機能に特徴があるので、ここに詳述する。

まず、被写体像は、撮影光学系１によって、固体撮像素子２の結像面に配置されたマイクロレンズアレイ上に結像される。マイクロレンズアレイは、単位マイクロレンズがＮ行×Ｍ列分配列されている。一方、固体撮像素子２は、単位マイクロレンズにつき、複数のフォトダイオード（以下、ＰＤと称する。）を持つ。同一のマイクロレンズに対応する複数のＰＤは、ＰＤそれ自体とは極性の異なる半導体領域によってそれぞれ電気的に分離されており、前述の信号転送機能により独立した電気信号として取り出すことができる。本実施形態ではこれらの電気信号を、後述の処理プロセスによって合成することで被写界深度を拡大した画像信号として出力することを特徴とする。

図２は、このような固体撮像素子２の撮像面図である。単位マイクロレンズＭＬ（ｎ，ｍ）を４行×６列備えたアレイであり（ｎおよびｍは、単位マイクロレンズの座標を表す。）、その後方に、単位マイクロレンズにつき４５個（奇数個）のＰＤを備えている。垂直もしくは水平方向の断面には７個のＰＤが存在していることになる。（ｎ，ｍ）は同様に、当該ＰＤが属する単位マイクロレンズの座標を表す。ＰＤの後ろの添え字は図面左上から数えた、単位マイクロレンズ内でのＰＤ番号を表すものであり、ＰＤ２２（ｎ，ｍ）はちょうど単位マイクロレンズ内４５個のＰＤの中心のＰＤである。単位マイクロレンズＭＬ（ｎ，ｍ）に含まれるＰＤの個数は全く任意であって４５個は一例にすぎないが、多いほどに被写界深度拡大の効果は大きい。ただし、その分位置合わせなどの計算量は増加する傾向にあるので、適切に設定するとよい。

次に、被写界深度拡大の原理について述べる。そもそも被写界深度が浅い、という現象は、撮影光学系１の絞り１００を通過した光線の収差が元となって、固体撮像素子２が、収差をどれだけ含んだ光線であるかを区別することなく、空間的に有限区間積分受光していることが要因である。これは、図２で、単位マイクロレンズＭＬ（ｎ，ｍ）につき、ＰＤ０（ｎ，ｍ）〜ＰＤ４４（ｎ，ｍ）の４５個のＰＤの信号を分離せず加算した状態と同等である。絞り１００の口径を小さくして、光線の収差を削減すれば、同等に空間的積分受光しても合焦状態にあるとみなせる被写体の距離範囲は比較的広くなり、被写界深度が深い、と称されるのである。

従来は、固体撮像素子２の積分受光範囲は固定の状態にある（例えば、図２のように単位マイクロレンズにつき複数のＰＤに分離しない、など）と考えられてきたので、このような被写界深度に関する課題は専ら撮影光学系１の特性として受け入れられていた。もしくは、撮影光学系１の絞り１００の口径を絞ることによって回避されてきた。これに対し、特許文献２のように、マイクロレンズアレイや光センサーに特徴を与える技術傾向がある。本実施形態では、図２等の、単位マイクロレンズにつき、少なくとも中心のＰＤが他の複数のＰＤと分離されている構成により、被写界深度を拡大できる可能性のあることを提案する。

図３は、撮影光学系１の絞り１００が比較的開放に近い状態であって、絞り１００の口径を通過するにあたって多くの光線成分がマイクロレンズアレイＭＬ（ｎ，ｍ）上に結像されていることを示す光線図である。一方、図４は、図３に比して絞り１００の口径を絞った状態にあって、マイクロレンズアレイＭＬ（ｎ，ｍ）上に結像される光線の角度範囲が狭いことを示す光線図である。図３および図４は、いずれも、光軸を含み、固体撮像素子２の垂直もしくは水平方向に平行な平面を、その断面として表示したものである。したがって、図３および図４にはまた、マイクロレンズＭＬ（ｎ，ｍ）の後方に備えた光電変換部としてのフォトダイオードＰＤが断面内に７個存在している。単位マイクロレンズにつき、この７個は略等分されている。

以下、図３および図４において、マイクロレンズアレイの一つ、ＭＬ（ｎ，ｍ）を通過した光線がＰＤ０（ｎ，ｍ）〜ＰＤ４４（ｎ，ｍ）に入射する過程に着目する。図３では、ＭＬ（ｎ，ｍ）に入射する光線の角度範囲が広い分だけ、ＭＬ（ｎ，ｍ）を通過した光線がＰＤ０（ｎ，ｍ）〜ＰＤ４４（ｎ，ｍ）に入射する角度範囲も広い。すなわち、ＰＤ０（ｎ，ｍ）〜ＰＤ４４（ｎ，ｍ）まで略均等に光線が入射していく。これに対し、図４では、ＭＬ（ｎ，ｍ）に入射する光線の角度範囲が狭いため、ＭＬ（ｎ，ｍ）を通過した光線がＰＤに入射する角度範囲も狭い。このような場合例えば、ＭＬの重心に近いＰＤ２２（ｎ，ｍ）付近のＰＤに感光範囲が集中することとなる。同様の現象は図３においても同様であり、仮にＰＤ２２（ｎ，ｍ）付近のＰＤだけでＮ行×Ｍ列分の画像を生成すれば、図４におけるＮ行×Ｍ列の画像と同程度の被写界深度となることが期待される。

図３においてさらに、ＰＤｘ（ｎ，ｍ）（ただしｘ≠２２）のＮ行×Ｍ列の画像をＰＤ２２（ｎ，ｍ）の画像に位置合わせして合成すれば、絞り１００の口径を図３同等に開放した程度まで、信号レベルを向上することができる。本発明の着想は、以上のような原理にある。実際に位置合わせを行うための手法については、フロー説明の中で詳述する。

再び図１において、３は固体撮像素子２のアナログ電気信号をサンプリングするための相関二重サンプリング（ＣＤＳ）回路、４はサンプリングされたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器である。前述の通り、単位マイクロレンズにつき４５個のＰＤに対応する信号を処理し、デジタル画像信号とする。デジタル化された画像信号は、４５個のＰＤに対応する画像信号ごとに、画像メモリ８に記憶される。そして、信号処理回路７により、ホワイトバランス補正、ガンマ補正をはじめとした各種信号処理が施される。信号処理回路７はまた、ＰＤ２２（ｎ，ｍ）に対応する画像信号を基準として、それを除くＰＤに対応する画像信号ＰＤｋ（ｎ，ｍ）（ｋ≠２２）を変換したうえで単位マイクロレンズの座標（ｎ，ｍ）ごとに加算合成する合成処理も行う。合成処理の施された画像信号は、記録媒体１０に記録される。記録回路９は、記録媒体１０とのインターフェイス回路を指す。合成処理の施された画像信号は、表示回路インターフェイス１１を通して液晶ディスプレーなどの画像表示装置１２に直接表示することもできる。画像表示装置１２は、このような合成処理の有無にとらわれず、これから撮像しようとする画面を連続的にライブで表示するライブビュー表示や、記録した動画の再生表示も可能である。

タイミング発生回路５は、駆動回路６を通してレンズの絞り１００、メカニカルシャッター、固体撮像素子２などの撮像系を駆動する。さらに、撮像系の駆動ひいては固体撮像素子２の出力信号に同期して相関二重サンプリング回路３、Ａ／Ｄ変換器４を駆動・制御する。

システム制御部１３は、揮発性メモリ１４に一時記憶されたプログラムにより撮像装置全体を制御する。また、本実施形態に特有の特徴点検出部１６をさらに備えており、基準画像ＰＤ２２（ｎ，ｍ）から、位置合わせの基準となる特徴点を検出する。対応点検出部１７は、特徴点に対応する点を対応点として検出する。これらの処理の詳細はフロー説明で述べる。１５は、当該処理実行時に転送されるべきプログラム、各種データを格納した不揮発性メモリである。

本実施形態において、被写界深度の拡大処理を含む撮像装置の制御について説明する。図５は、このときの詳細な制御を示すフローである。

図１に図示しないスイッチによりメイン電源がオンされ、次にシステム制御部１３の電源がオンされる（ステップＳ５０１）。次に、メカニカルシャッターを開き、固体撮像素子２に駆動設定信号を与える（ステップＳ５０２）。これにより、ライブの画像を画像表示装置１２に連続的に映し出すモードが実行可能となると同時に、連続的に取得される画像を使って測光し、撮影に使用する露出を調整する、いわゆる自動露出調整動作（ＡＥ）も可能となる（ステップＳ５０３）。すなわち、システム制御部１３は、撮像系からデジタル化された画像信号を画像メモリ８に取得して信号処理回路７に露出演算を行わせる。例えば画像信号から抽出した輝度情報を画面のエリア別に重み付け演算して、現状よりも何段明るくすればよいか（暗くすればよいか）を演算する。システム制御部１３は当該演算結果を受けて撮影光学系１の絞り１００を駆動することで次フレームから適切な明るさの画像を得る。固体撮像素子２に電子シャッター機能がある場合は、同時にシャッター速度を変更してもよい。

次に、２段階のストロークを有するシャッターレリーズボタン（図１に図示していない）のファーストストロークのＯＮが行われたことを契機として（ステップＳ５０４）、被写体にピントが合うように焦点調節用レンズを自動的に駆動する焦点位置調整、いわゆるオートフォーカス（ＡＦ）が開始される（ステップＳ５０５）。ＡＦでは、まず、撮影光学系１の焦点調節用レンズを複数ステップ駆動して複数枚の画像信号を得る。システム制御部１３は、それぞれの画像信号に演算処理を施して、被写体に最も焦点の合った焦点調節用レンズの位置を決定する。さらに、この検出結果を受けて、撮影光学系１の焦点調節用レンズを駆動することで次フレームから最適なピントの画像を得る。なお、撮像系とは別に設けた測距用センサー（図１に図示していない。）の信号から被写体距離を直接計測して、焦点調節用レンズを駆動する方式を用いてもよい。いずれの方式にしても、被写体までの距離情報が取得できる。

そして、シャッターレリーズボタンのセカンドストロークのＯＮが行われると（ステップＳ５０６）、前述のＡＥで決定した露出条件およびＡＦで決定した焦点位置にて、撮影動作を行う（ステップＳ５０７）。撮影動作完了後、固体撮像素子２の電気信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる。また、読み出した画像信号は、ＰＤｋ（ｎ，ｍ）のｋごとにＮ行×Ｍ列の４５枚の画像として、メモリ８に一時記憶される（ステップＳ５０８）。

なお、これらの画像ＰＤｋ（ｎ，ｍ）は、撮影光学系１の絞り１００のいかなる部位を主に通過した光かを表示することが可能である。本実施形態は、このような情報を利用しての処理は行わないが、原理を理解する助けとなるので説明する。

図６は、単位マイクロレンズＭＬ（ｎ，ｍ）内のＰＤに到達する光を、像側から逆設計し、水平軸を含み固体撮像素子２の撮像面に垂直な断面で表示した光線図の一例である。図６によると、単位マイクロレンズＭＬ（ｎ，ｍ）の中心に配置するＰＤ２２は、絞り１００の中心部位を通過した光線を受光する。たとえ絞り１００が開放状態にあったとしても、ＰＤ２２は小絞りで撮影したのと同等の領域の光しか受光していないため、これらの集合である画像ＰＤ２２は、それだけで評価すると被写界深度は小絞り同等に深い。一方、単位マイクロレンズＭＬ（ｎ，ｍ）どうしの境界線に近い光電変換部ＰＤ１９やＰＤ２５などは、撮影光学系１の絞り１００の端部に近い領域を通過した光を受光する。

前述のＡＥでは、実際の撮影に使用する絞り値とシャッター速度および必要に応じてＩＳＯ感度、の組み合わせを設定する。シャッター速度優先ＡＥモードの下、高速シャッターを適用してＡＥが行われれば、照明条件が暗いなどのシーンによっては、被写界深度の浅くなる開放付近の絞りや高ゲインを伴う高ＩＳＯ感度等に設定されることは既述の通りである。そこで、本実施形態では、設定された撮影光学系１の絞り１００に関する情報と被写体までの距離情報とを勘案し、被写界深度がどの程度あるか（ステップＳ５０９）、および被写体までの距離情報の多くがその内に入っているか、すなわち許容深度内にあるか否かを判断する（ステップＳ５１０）。例えば後方被写界深度は、ａを撮影光学系１の合焦距離、ｆを撮影光学系１の焦点距離、Ｄを撮影光学系１の絞り１００の口径、δを許容錯乱円として、前述した式（１）にて与えられる。

ステップＳ５１０において、被写体の多くが、合焦距離ａから式（１）以内のずれに入らないと判断された場合、後述する被写界深度の拡大処理を行う。式（１）以内のずれに入ると判断された場合は、信号処理・記録処理（ステップＳ５１５）を経て終了する。

被写界深度の拡大処理は、大まかに分けると３つのステップがある。第１のステップは、基準画像ＰＤ２２（ｎ，ｍ）および基準画像を除く画像ＰＤｋ（ｎ，ｍ）（ｋ≠２２）から特徴点を検出するステップであり（ステップＳ５１１）、特徴点検出部１６によって実現される。

特徴点検出部１６の構成としては、種々のコーナー検出器を用いることができる。コーナー検出器には様々なオペレータが提案されているが、どのオペレータを用いるかは、本発明の骨子に重大な影響を与えない。Ｍｏｒａｖｅｃオペレータによれば、基準画像ＰＤ２２（ｎ，ｍ）の各画素（ｎ，ｍ）につき、周囲画素との差分二乗和Δ（ｎ，ｍ）を、式（２）にしたがって評価していく。

Δ（ｎ，ｍ）＝ΣｉΣｊ（ＰＤ２２（ｎ，ｍ）−ＰＤ２２（ｎ±ｊ，ｍ±ｉ））² …（２）
これが予め設定された閾値を超えた画素（ｎ，ｍ）が特徴点としてＲＡＭ１４に登録される。以上により、被写体の角やエッジの交差などの特徴的なコーナーが、特徴点として検出される。

第２のステップは、基準画像ＰＤ２２（ｎ，ｍ）を除く画像ＰＤｋ（ｎ，ｍ）（ｋ≠２２）から、上記の特徴点に対応する点を対応点として検出するステップであり（ステップＳ５１２）、対応点検出部１７によって実現される。

対応点検出部としては、画像ＰＤｋ（ｎ，ｍ）（ｋ≠２２）のある領域に探索領域を設定し、特徴点ごとに、当該特徴点座標の周辺で類似性の高い点を判断するブロックマッチングやＫＬＴ法をはじめとして、種々の特徴点追跡手法が用いられる。

詳細をサブルーチンとして、図７に示す。まずステップＳ７０１において、対応点検出対象の画像を選択する。次に、ステップＳ７０２において、選択した画像の中から探索領域を設定する。これは、最も単純には、選択した画像を垂直および水平に等分割したうちの一つのエリアを探索領域とすることができる。探索領域の設定は、選択した画像を網羅できるまで、順に継続する。次にステップＳ７０３において、選択画像Ｉ（ｘ，ｙ）という連続二次元関数として、その微分画像行列

…（３）
を求める。ステップＳ７０４において、式（３）の固有値を算出し、それが予め設定された閾値よりも大きいものについて（ステップＳ７０５）、求めた固有ベクトルを対応点の追跡結果としてＲＡＭ１４に登録する（ステップＳ７０６）。ステップＳ７０５において、予め設定した閾値よりも小さい場合は、同じ探索領域から次の特徴点について再度固有値を確認していく。選択画像における当該探索領域での検出が完了するまで（ステップＳ７０７）、探索領域を設定し、対応点を検出する。選択画像における全探索領域での検出が完了したら、ｋを変更して他の画像を選択し、同様に対応点を検出する。全画像について対応点検出が完了すると（ステップＳ７０８）、対応点検出を終了する。

一般に特徴点追跡は、異なるフレーム間で特徴点がどのように動いたかを記述するための手法として適用されるので、早い動きを伴う被写体に対しては、判断ミスも起こしやすい。それに比べ、本実施形態への適用事例は、単位マイクロレンズにおける配置ごとに定義された画像ＰＤｋ（ｎ，ｍ）（ｋ≠２２）から同じく単位マイクロレンズにおける中心のＰＤ信号について定義された基準画像ＰＤ２２（ｎ，ｍ）の特徴点を探索するものであって、両画像のシャッター時刻が等しいのであるから、判断ミスも少ないという利点がある。

第３のステップは、上記の対応点を特徴点に移すための変換処理（ステップＳ５１３）および当該変換後の画像を加算合成する処理（ステップＳ５１４）であり、信号処理回路７の合成処理部によって、画像ＰＤｋ（ｎ，ｍ）（ｋ≠２２）ごとに行われる。

上記の変換処理（ステップＳ５１３）の詳細をサブルーチンとして、図８に示す。まずステップＳ８０１において、変換処理対象の画像を選択する。次に、前述の対応点を用いて、基準画像を除く他の画像ＰＤｋの座標系（ｎ，ｍ）と、その変換目標画像ＰＤｋ’の座標系（ｎ’，ｍ’）とを結び付ける関数ｆ，ｇを特定する（ステップＳ８０２）。

ｎ’＝ｆ（ｎ，ｍ） …（４）
ｍ’＝ｇ（ｎ，ｍ） …（５）
ｆおよびｇは、非線形な任意の関数としたので、例えば多項式展開する場合も、その次数を大きく設定すれば求めるべき未知数の数が増え、多数の対応点を用いて連立方程式を解く必要性が出てくる。導出ができなかった場合は（ステップＳ８０３において、Ｎｏの場合は）、対応点検出の際に固有値の大きかったものから対応点を追加で読み出し（ステップＳ８０４）、再度未知数の算出を行う。

一方、図６に示した瞳分割構造は光軸対称であるうえ、ｆおよびｇは、好ましくは単位マイクロレンズ内で中心に配置したＰＤの電気信号を画像信号とした基準画像ＰＤ２２（ｎ，ｍ）への変換関数であるから、光軸対称な関数を仮定することができる。数学的にこのことは、ｆおよびｇが、ｙ０、ｘ０をそれぞれ中心画素のｙ座標値、中心画素のｘ座標値（中心座標値）として、変数である（ｎ−ｙ０）および（ｍ−ｘ０）に対し偶関数（偶数次の式）であることが言える。そのため、
ｆ（ｎ，ｍ）＝ΣｉΣｊａｉ（ｎ−ｙ０）^２ｉ（ｍ−ｘ０）^２ｊ …（６）
ｇ（ｎ，ｍ）＝ΣｉΣｊｂｉ（ｎ−ｙ０）^２ｉ（ｍ−ｘ０）^２ｊ …（７）
を仮定することができて、未知数ａｉおよびｂｉを求める計算負荷を小さくすることができる。なお、例えば高い次数を設定するなど、このような関数を求める過程が厳密であるほどに精度が高まる可能性は十分にあるが、無用に次数を増やすよりも、下記に述べる対応点を除く内挿処理を破たんなく行うことも、精度向上にとって重要である。そのため、バランスをとりながら設定するとよい。

すなわち、変換処理は求めた変換関数にしたがって対応点の変換処理を実行した（ステップＳ８０５）後に、対応点を除く点の内挿処理を行う（ステップＳ８０６）。内挿処理を行う理由は、変換関数ｆおよびｇによっては、変換目標画像ＰＤｋ’の各画素（ｎ’，ｍ’）に対応する基準画像を除く画像ＰＤｋの画素（ｎ，ｍ）が存在しない場合があり、その場合に穴埋めを行う必要があるためである。主に用いられる内挿方法には、最近接内挿法（ニアレストネイバー）、共一次内挿法（バイリニア）などがある。全画像について、対応点の変換処理と対応点を除く点の内挿処理が完了すると（ステップＳ８０７）、変換処理を終了する。

最後に、変換済み画像ＰＤｋ’ を式（８）にしたがい座標ごとに加算合成する（ステップＳ５１４）。

ＰＤ２２（ｎ，ｍ）＋ΣｋＰＤｋ’（ｎ’，ｍ’） …（８）
次いで信号処理回路７により、式（８）で得られた画像に対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録回路９を通して記録媒体１０に記録されて全ての動作が完了する（ステップＳ５１５）。

以上に述べた第１の実施形態によれば、複数回の撮影を要することなく、また周波数ドメインでの処理を要することなく、被写界深度の拡大が可能となる。

（第２の実施形態）
第１の実施形態では、特徴点検出部１６が基準画像ＰＤ２２（ｎ，ｍ）の全ての座標位置から特徴点を検出し、対応点検出部１７が、基準画像を除く画像ＰＤより、基準画像から検出した全ての特徴点に対応する対応点を検出した。しかし、これらの処理は、瞳分割の特性や被写界深度の概念を考慮すればより簡略化することができる。すなわち合焦距離にあると考えられる像については、基準画像ＰＤ２２（ｎ，ｍ）より検出した特徴点と、基準画像を除く画像ＰＤｋ（ｎ，ｍ）（ｋ≠２２）より検出した対応点との座標ずれはほとんど生じていないと考えることができる。これは、合焦距離にあると考えられる被写体は被写界深度内にあるということからも当然成立する。

そこで本実施形態では、撮影光学系１の被写界深度に関する情報とＡＦ等で設定された合焦距離に関する情報とを照合し、合焦距離に対応する座標については、対応点の検出範囲をを粗に検出する。このことにより、対応点検出や合成処理に伴う位置合わせ処理も簡略化できる。

図９は、このときの詳細な制御を示し、図７の対応点検出に代わるサブルーチンである。図７との差は、ステップＳ９０３において、設定した探索領域に存在する被写体の距離が許容深度内にあるか否かを判断することである。探索領域が主に被写界深度外の距離にある被写体から成っている場合のみ、選択領域から対応点を検出する。探索領域が主に被写界深度内の距離にある被写体から成っていると判断された場合は対応点検出を省略して、次の探索領域を設定する。以上に述べた第２の実施形態によれば、被写界深度拡大における処理の簡略化が可能となる。

なお、第２の実施形態における考え方は様々な変更形態に適用される。例えば、位置合わせ処理にのみ活用することを考えるならば、次のような方法も考えられる。まず、特徴点検出処理および対応点検出処理は第１の実施形態の通り実行する。そして、対応点検出された画素の位置合わせ処理を実行する際の信頼性指標として、撮影光学系１の被写界深度に関する情報とＡＦ等で設定された合焦距離に関する情報との照合結果を勘案する。そして、実際に位置合わせを実行するか否かを決定する。

以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず適用可能である。また、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (8)

1. 被写体像を結像させる撮影光学系の結像面に配置されたマイクロレンズアレイと、
   前記マイクロレンズアレイのうちの１つにつき複数の光電変換部を含む単位画素を、垂直および水平に配列した固体撮像素子と、
   複数の画像のうちの１つを基準画像として、該基準画像から特徴点を検出する特徴点検出手段と、
   前記複数の画像のうちの前記基準画像を除く他の画像ごとに前記特徴点に対応する対応点を検出する対応点検出手段と、
   前記対応点の位置の画像を前記特徴点の位置の画像へ変換する変換手段と、
   前記変換手段により前記他の画像を変換した画像を、前記基準画像に合成する合成手段と、
   を備えることを特徴とする撮像装置。
2. 前記マイクロレンズアレイのうちの１つに含まれる複数の光電変換部のうち、少なくとも１つの光電変換部が、前記撮影光学系の口径の中心部を通過した光線を受光することを特徴とする請求項１に記載の撮像装置。
3. 前記１つの光電変換部の集合である画像信号を前記基準画像とすることを特徴とする請求項２に記載の撮像装置。
4. 前記マイクロレンズアレイのうちの１つに含まれる前記複数の光電変換部の個数は奇数個であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記変換手段による変換に用いる変換関数は、前記固体撮像素子の中心に対して対称な関数であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記変換手段による変換に用いる変換関数は、前記固体撮像素子の中心座標値との差分を変数とした偶数次の多項式であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記基準画像を除く他の画像ごとに、前記特徴点が前記撮影光学系の被写界深度内に含まれるか否かを判断する判断手段をさらに備え、前記対応点検出手段は、前記特徴点が前記被写界深度内に含まれるか否かに応じて、前記対応点の検出範囲を設定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 被写体像を結像させる撮影光学系の結像面に配置されたマイクロレンズアレイと、前記マイクロレンズアレイのうちの１つにつき複数の光電変換部を含む単位画素を、垂直および水平に配列した固体撮像素子とを有する撮像装置の制御方法であって、
   複数の画像のうちの１つを基準画像として、該基準画像から特徴点を検出する特徴点検出ステップと、
   前記複数の画像のうちの前記基準画像を除く他の画像ごとに前記特徴点に対応する対応点を検出する対応点検出ステップと、
   前記対応点の位置の画像を前記特徴点の位置の画像へ変換する変換ステップと、
   前記変換ステップにより前記他の画像を変換した画像を、前記基準画像に合成する合成ステップと、を備えることを特徴とする撮像装置の制御方法。

Images