JP2015014686A - 撮像装置 - Google Patents

Abstract

【課題】視差を有しかつ焦点の異なる複数の画像信号から安定した合成画像を生成する。【解決手段】被写体からの光を集光する撮像光学系２と、該撮像光学系２により集光された光を撮像する撮像素子と、該撮像素子の複数画素を各々が覆うように配置されたマイクロレンズを複数配列してなるマイクロレンズアレイと、前記撮像光学系の瞳位置に配置され、透過する光を複数の異なる焦点位置に集光させるように空間的に焦点距離を変化させる焦点距離変更部４とを備える撮像装置１を提供する。【選択図】図１

Description

本発明は、撮像装置に関するものである。

従来、光軸が異なり、かつ、焦点位置の異なる２つの撮像部を用いて、焦点距離の異なる複数の画像を取得し、取得された画像を合成する撮像装置が知られている（例えば、特許文献１参照。）。
特許文献１の撮像装置は、２つの撮像部による撮像タイミングを異ならせることにより、視差ズレを低減しようとするものである。

特開２０１２−４５０５３号公報

しかしながら、２つの撮像部を被写体に対して移動させつつ異なる撮像タイミングで撮像するものであるため、被写体が大きく移動する場合や変則的に移動する場合に、各撮像部により取得される画像間に位置ズレを生じ、安定した画像合成を行うことができないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、視差を有しかつ焦点の異なる複数の画像信号から安定した合成画像を生成することができる撮像装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像光学系と、該撮像光学系により集光された光を撮像する撮像素子と、該撮像素子の複数画素を各々が覆うように配置されたマイクロレンズを複数配列してなるマイクロレンズアレイと、前記撮像光学系の瞳位置に配置され、透過する光を複数の異なる焦点位置に集光させるように空間的に焦点距離を変化させる焦点距離変更部とを備える撮像装置を提供する。

本態様によれば、撮像光学系によって集光された被写体からの視差を有する光は、焦点距離変更部を透過することによって複数の焦点位置に集光されるように空間的に焦点距離を変化させられた後に、マイクロレンズアレイの各マイクロレンズによって、該マイクロレンズが被覆する複数の画素にそれぞれ入射される。すなわち、視差を有しかつ被写体の深さ方向に異なる位置から発せられた光が、マイクロレンズによって異なる画素に結像されることになる。

したがって、同等の深さ方向位置から発せられた光が集光された画素からの画像信号を集めることにより、焦点位置の異なる複数枚の画像を生成することができる。
この場合に、本態様によれば、同じ撮像タイミングで取得された画像信号から複数枚の画像を生成するので、被写体が移動する場合においても安定した合成画像を生成することが可能となる。

上記態様においては、前記撮像素子において、前記マイクロレンズ毎に、共通する焦点距離の光が入射された画素からの信号を抽出して複数枚の画像信号を生成する画像生成部と、該画像生成部により生成された複数枚の画像信号の位置合わせを行う位置合わせ部と、該位置合わせ部により相互に位置合わせされた複数枚の画像信号を合成して合成画像を生成する画像合成部とを備えていてもよい。

このようにすることで、撮像素子により取得された信号から、画像生成部によって複数枚の画像信号が生成され、位置合わせ部によって位置合わせが行われ、画像合成部により合成画像が生成される。同時に取得された視差および焦点位置の異なる画像を合成するので、移動する被写体に対しても安定した合成画像を取得することができる。

また、本発明の他の態様は、被写体からの光を撮像する撮像素子と、該撮像素子の異なる領域に、視差を有しかつ焦点位置の異なる像を結像させる光を入射させる撮像光学系と、前記撮像素子の異なる領域において取得された複数枚の画像信号の位置合わせを行う位置合わせ部と、該位置合わせ部により相互に位置合わせされた複数枚の画像信号を合成して合成画像を生成する画像合成部とを備える撮像装置を提供する。

本態様によれば、被写体からの光は、撮像光学系によって視差を有しかつ焦点位置の異なる像を結像させる光として、撮像素子の異なる領域にそれぞれ入射される。そして、撮像素子の異なる領域において取得された複数枚の画像信号は、位置合わせ部によって位置合わせされた後に、画像合成部により合成画像が生成される。同時に取得された視差および焦点位置の異なる画像を合成するので、移動する被写体に対しても安定した合成画像を取得することができる。

上記態様においては、前記撮像光学系が、前記被写体からの光を集光する撮像レンズと、該撮像レンズと前記撮像素子との間に配置され、前記撮像レンズにより集光された光が分割されて入射される、焦点距離の異なる２以上の瞳分割光学系とを備えていてもよい。
また、上記態様においては、前記光学系が、前記被写体からの光が入射される位置に光軸を異ならせて並列に配置されかつ焦点距離の異なる２以上の微小光学系を備えていてもよい。

また、上記態様においては、前記位置合わせ部が、複数枚の前記画像信号の各々に対して注目画素を中心とする複数画素からなる局所領域を設定する局所領域設定部と、該局所領域設定部により、各前記画像信号について設定された局所領域の周波数成分を共通する周波数成分に調整する周波数調整部と、該周波数調整部により、周波数成分が調整された各前記画像信号の局所領域間のマッチング処理を行うマッチング部と、該マッチング部によるマッチング処理の結果に基づいて、前記複数枚の画像信号を変形する画像変形部とを備えていてもよい。

このようにすることで、位置合わせ部による画像信号の位置合わせに際して、局所領域設定部により各画像信号において複数画素からなる局所領域が設定され、周波数調整部により局所領域の周波数成分が共通する周波数成分に調整された後にマッチング部により局所領域間のマッチング処理が行われる。撮像素子の異なる領域には視差を有しかつ焦点位置の異なる光が結像されているので、共通の周波数成分に調整することで、マッチング部によるマッチング処理を行い易くすることができる。そして、マッチング処理により複数の画像信号間の対応点が検出されるので、対応点を用いた座標変換によって画像信号を変形することにより、複数枚の画像信号の位置合わせを精度よく行うことができる。

また、上記態様においては、前記画像合成部が、複数枚の前記画像信号について合焦判定に必要な評価値を画素毎に算出する評価値算出部と、該評価値算出部により算出された前記評価値を用いて、前記画像信号を合成するための合成マスクを生成する合成マスク生成部と、該合成マスク生成部により生成された合成マスクを用いて、複数枚の画像信号を画素毎に重み付け加算する加算部とを備えていてもよい。

このようにすることで、評価値算出部により算出された合焦判定に必要な評価値を用いて、合成マスク生成部により合成マスクが生成され、加算部において複数枚の画像信号が合成マスクを用いて重み付け加算される。これにより、複数枚の画像信号の合焦の度合いに応じた比率で画像信号が合成された合成画像が生成される。

また、上記態様においては、前記周波数調整部が、複数枚の前記画像信号の対応する局所領域の周波数成分を比較する比較部と、該比較部による比較結果に基づいて作成されたフィルタを、複数枚の前記画像信号の対応する局所領域に作用させるフィルタ処理部とを備えていてもよい。

このようにすることで、比較部による比較結果に基づいて、周波数成分の違いに応じたフィルタ係数を有するフィルタが作成され、作成されたフィルタを用いてフィルタ処理を行うことにより、簡易に複数枚の前記画像信号の対応する局所領域の周波数成分を共通する周波数成分に調整することができる。

また、上記態様においては、前記位置合わせ部が、前記光学系の光軸からの距離に応じて、複数枚の前記画像信号に対応する局所領域の探索範囲を設定する探索範囲設定部を備え、前記マッチング部が、前記探索範囲設定部により設定された探索範囲に基づいて前記局所領域を探索し、探索された局所領域を用いてマッチング処理を行ってもよい。
このようにすることで、広い範囲にわたって局所領域を探索することなく、効率よく局所領域を探索してマッチング処理を迅速に行うことができる。

また、上記態様においては、前記比較部が、複数枚の前記画像信号に対応する前記局所領域の周波数成分の差分を算出する差分演算部と、該差分演算部により算出された差分が所定の閾値より大きいか否かを判定する判定部とを備え、前記フィルタ作成部が、前記判定部により前記差分が閾値以下であると判定された周波数成分のみを抽出するフィルタを作成してもよい。

このようにすることで、差分演算部により、複数枚の画像信号の対応する局所領域の周波数成分の差分が算出され、判定部により差分が大きいか否かが判定される。そして、フィルタ作成部において、対応する局所領域間で近似する周波数成分のみを抽出するフィルタが作成され、複数枚の画像信号に共通に存在する周波数成分の信号のみを用いて精度よく位置合わせ処理を行うことができる。

また、上記態様においては、前記周波数調整部が、複数枚の前記画像信号の対応する局所領域の周波数成分のヒストグラムを算出するヒストグラム算出部と、該ヒストグラム算出部により算出されたヒストグラムに基づいてフィルタを作成するフィルタ作成部と、該フィルタ作成部により作成されたフィルタを、複数枚の前記画像信号の対応する局所領域に作用させるフィルタ処理部とを備えていてもよい。

このようにすることで、ヒストグラム算出部により算出されたヒストグラムにより、対応する局所領域の周波数成分の比較を容易に行うことができ、周波数調整を行うためのフィルタをフィルタ作成部により簡易に作成することができる。

本発明によれば、視差を有しかつ焦点の異なる複数の画像信号から安定した合成画像を生成することができるという効果を奏する。

本発明の第１の実施形態に係る撮像装置を示す全体構成図であり、（ａ）遠位からの光、（ｂ）近位からの光の光路をそれぞれ示す図である。 図１の撮像装置に備えられた焦点距離変更部の一例を示す（ａ）正面図、（ｂ）Ｃ−Ｃ断面図である。 図１の撮像装置に備えられた撮像部を示す図である。 本発明の第２の実施形態に係る撮像装置を示す全体構成図である。 図４の撮像装置に備えられた位置合わせ部の詳細を示すブロック図である。 図４の撮像装置に備えられた調整部の詳細を示すブロック図である。 図５の位置合わせ部に備えられた変形部による座標変換処理を示す図である。 図４の撮像装置に備えられた画像合成部の詳細を示すブロック図である。 図８の画像合成部に備えられた合成マスク算出部により算出される合成マスクの一例を示す図である。 図１の撮像装置に備えられる撮像光学系の変形例を示す斜視図である。 図１の撮像装置に備えられる撮像光学系の他の変形例を示す斜視図である。 図１０の撮像光学系により取得される画像信号の例を示す図である。 図５の位置合わせ部に備えられた調整部の変形例を説明する（ａ）一方の画像信号、（ｂ）他方の画像信号のヒストグラムである。 図１３の調整部による周波数変換を行う際の周波数帯域の２つの例を示す図である。

本発明の第１の実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１（ａ），（ｂ）に示されるように、被写体からの光を集光する撮像光学系２と、該撮像光学系２により集光された光を撮像する撮像部３と、撮像光学系２の瞳位置に配置され、透過する光を複数の異なる焦点位置に集光させるように空間的に焦点距離を変化させる焦点距離変更部４とを備えている。

焦点距離変更部４は、図２（ａ），（ｂ）に示されるように、曲率の異なるレンズ４ａ，４ｂを備え、撮像光学系２の瞳位置に配置されることにより、瞳位置を通過する光を、焦点位置を光軸方向に異ならせた２つの光に変更するようになっている。すなわち、被写体の同一点から発せられ撮像光学系２によって集光される光は、瞳位置を通過することにより光軸方向の異なる位置に集光させられる２種類の光に変化させられる。

言い換えると、図１（ａ）および図１（ｂ）に示されるように、被写体の異なる深さ位置Ａ，Ｂから発せられた２つの光の内の一方（Ａ）は、瞳位置に配置された一方のレンズ４ａを通過することにより撮像部３に結像され、他方の光（Ｂ）は、他方のレンズ４ｂを通過することにより同じ撮像部３に結像されるようになっている。

撮像部３は、図３に示されるように、複数の画素５ａ，５ｂを配列してなるＣＣＤ等の撮像素子５と、該撮像素子５の撮像面側に複数画素５ａ，５ｂ（図３では２つの画素）を各々が被覆するように配置されたマイクロレンズ６ａを複数配列してなるマイクロレンズアレイ６とを備えている。各マイクロレンズ６ａによって被覆される画素５ａ，５ｂの配列方向は、焦点距離変更部４におけるレンズ４ａ，４ｂの配列方向に一致している。

このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１によれば、被写体から発せられた光の内、撮像光学系２から比較的遠い位置Ａにおいて発生した光は撮像光学系２によって集光されると、その瞳位置に配置されている焦点距離変更部４のレンズ４ａを通過し、残りの撮影光学系２を経てマイクロレンズ６ａによって集光され撮像素子５の撮像面に結像される。また、被写体から発せられた光の内、撮像光学系２から比較的近い位置Ｂにおいて発生した光も、撮像光学系２によって集光されると、その瞳位置に配置されているレンズ４ｂを通過し、残りの撮影光学系２を経てマイクロレンズ６ａによって集光され、撮像素子５の撮像面に結像される。

この場合に、２種類の光は、瞳位置の異なる領域を通過させられることによって瞳分割されて視差を生じているので、マイクロレンズ６ａに入射されると撮像素子５の異なる位置に結像される。各マイクロレンズ６ａは２つの画素５ａ，５ｂを被覆するように設けられているので、２種類の光はそれぞれ別個の画素５ａ，５ｂに結像される。その結果、視差を有しかつ焦点位置の異なる２種類の光を同時に撮像素子５によって撮像することができる。

そして、被写体の同等の焦点位置からの光が入射された画素から出力される信号をそれぞれ集めることにより、２枚の画像信号を取得することができる。したがって、撮像タイミングを異ならせて撮像している従来の撮像装置と比較すると、取得されたこれらの画像を位置合わせして合成することにより、動く被写体に対しても安定した合成画像を得ることができるという利点がある。

なお、本実施形態においては、瞳位置に２つのレンズ４ａ，４ｂを配置することとしたが、これに限定されるものではなく、任意の数のレンズを配置することができる。この場合に、各マイクロレンズ６ａによって被覆される画素５ａ，５ｂの数は、瞳位置のレンズ４ａ，４ｂの数の倍数になっている必要があり、例えば、瞳位置のレンズ４ａ，４ｂの数をＮとすると、各マイクロレンズ６ａによって被覆される画素５ａ，５ｂの数ｐは、ｐ＝ｋＮ（ｋは１以上の整数。）であればよい。

次に、本発明の第２の実施形態に係る撮像装置１０について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１０は、図４に示されるように、第１の実施形態に係る撮像装置１に加えて、撮像部３において取得された画像信号をデジタル信号に変換するＡ／Ｄ変換器１１と、該Ａ／Ｄ変換器１１によりデジタル信号に変換された画像信号を記憶するバッファ１２と、該バッファ１２から転送された画像信号を処理して２枚の画像信号を生成する信号処理部１３と、該信号処理部１３において生成された２枚の画像信号を位置合わせする位置合わせ部１４と、該位置合わせ部１４において位置合わせされた２枚の画像を合成する画像合成部１５と、これらを制御する制御部１６とを備えている。

図中の符号１７は、バッファ１２に記憶された画像信号に基づいて、画像信号中の輝度レベルや図示しない輝度センサを用いて、入射光量を調節するために図示しない絞りや撮像素子５の電子シャッタ速度等を制御する撮像制御部である。

また、符号１８は、操作者により操作されるシャッタボタン等を含む外部Ｉ／Ｆである。例えば、シャッタボタンを半押し状態とすることにより、プリ撮影モードとなって撮像制御部１７による撮像素子５等の制御が行われ、シャッタボタンを全押し状態とすることにより、本撮影モードとなって、撮像制御部１７により定められた露光条件に基づく被写体の撮影が行われるようになっている。

信号処理部１３は、バッファ１２に記憶された画像信号から２枚の画像信号を抽出するようになっている。第１の実施形態に係る撮像装置１によれば、各マイクロレンズ６ａが２つの画素５ａ，５ｂを被覆しており、視差を有しかつ焦点位置の異なる２種類の光を同時に別々の画素５ａ，５ｂで撮影しているので、同種の画素５ａ，５ｂからの信号だけを抜き出すことにより視差を有しかつ焦点位置の異なる２種類の画像信号が生成される。

位置合わせ部１４は、図５に示されるように、信号処理部１３において生成された２種類の画像信号の各々から局所領域を抽出する局所領域抽出部（局所領域設定部）１９と、該局所領域抽出部１９において抽出された局所領域に対して周波数成分の調整を行う調整部（周波数調整部）２０と、該調整部２０において周波数成分が調整された局所領域の画像信号を記憶するバッファ２１と、該バッファ２１に記憶された画像信号に対して局所領域毎に公知のマッチング処理を行うマッチング部２２と、該マッチング部２２におけるマッチング処理により算出された対応点の情報を用いて２つの画像信号の位置合わせを行う変形部（画像変形部）２３とを備えている。

局所領域抽出部１９は、各画像信号内の注目画素を中心とする、例えば、１６×１６画素の領域の画像信号を抽出するようになっている。
調整部２０は、２枚の画像信号の局所領域毎にフーリエ変換を行って、局所領域の周波数成分を算出するようになっている。そして、調整部２０は、図６に示されるように、算出された周波数成分の差分を下式（１）のように算出する比較部３５を備えている。

Ｆ（ｕ，ｖ）＝｜Ｇ_１（ｕ，ｖ）−Ｇ_２（ｕ，ｖ）｜ （１）
ここで、Ｆ（ｕ，ｖ）は局所領域の周波数空間上の座標（ｕ，ｖ）における周波数成分の差分を表している。また、Ｇ_１（ｕ，ｖ），Ｇ_２（ｕ，ｖ）は、それぞれ１枚目および２枚目の画像信号に対する局所領域の周波数成分を示している。

そして、調整部２０は、比較部（差分演算部、判定部）３５により算出された差分に基づいて下式（２）のように周波数特性の処理を行う。この周波数特性の処理のために調整部２０は、図６に示されるように、実空間で作用するフィルタを作成するフィルタ作成部３６と、該フィルタ作成部３６により作成されたフィルタに基づいて、調整処理を行うフィルタ処理部３７とを備えてもよい。

Ｆ（ｕ，ｖ）＞Ｋ の場合、Ｇ_１（ｕ，ｖ）＝０，Ｇ_２（ｕ，ｖ）＝０
Ｆ（ｕ，ｖ）≦Ｋ の場合、Ｇ_１（ｕ，ｖ）＝Ｇ_１（ｕ，ｖ），Ｇ_２（ｕ，ｖ）＝Ｇ_２（ｕ，ｖ）
（２）
ここで、Ｋは所定の閾値である。

例えば、ある被写体に対して１枚目の画像はピントが合っており、２枚目の画像はピントが合っていない場合には、局所領域の周波数成分は高周波成分において大きな差があり、中低周波成分においてはほとんど差が見られない。したがって、差分が閾値Ｋを上回る高周波成分については信号値をゼロとし、差分が閾値Ｋ以下となる中低周波成分以下の信号についてはそのまま採用する。これにより、２枚の画像信号に共通に存在する中低周波成分によって、精度よく位置合わせを行うことが可能となる。

調整部２０は、上記のようにして調整処理が行われた画像信号に対して逆フーリエ変換を行うことにより、実空間の画像信号に変換するようになっている。
バッファ２１は、調整部２０により周波数成分が調整された２枚の画像信号を一時的に記憶するようになっている。

バッファ２１に記憶された２枚の画像信号の局所領域毎に、マッチング部２２によってマッチング処理が行われることにより、２枚の画像信号間において対応点が算出されるようになっている。
平坦部等のテクスチャ情報の少ない箇所では対応点の信頼性が低くなるため、画像信号からエッジ量を抽出し、エッジ量が所定の値よりも大きい座標の対応点のみを用いることが好ましい。

例えば、マッチング処理によって算出された対応点の座標をそれぞれ（ｘ，ｙ）、（ｘ‘，ｙ’）とし、エッジ量をそれぞれ、ｅ_１（ｘ，ｙ）、ｅ_２（ｘ’，ｙ’）とすると、
ｅ_１（ｘ，ｙ）＞Ｄ、かつ、ｅ_２（ｘ’，ｙ’）＞Ｄを満たす座標の対応点のみを抽出する。ここで、Ｄは所定の閾値を示す。

マッチング部２２において抽出された対応点の情報は変形部２３に転送されるようになっている。
変形部２３においては、図７に示されるように、一方の画像信号Ｇ１における注目画素の周囲の４点の座標をそれぞれ（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）、（ｘ_４，ｙ_４）とし、画像信号Ｇ２における上記４点の対応点の座標をそれぞれ（ｘ_１’，ｙ_１’）、（ｘ_２’，ｙ_２’）、（ｘ_３’，ｙ_３’）、（ｘ_４’，ｙ_４’）とする。

そして、数１に示される式（３）のように座標変換行列を算出する。

ここで、ａ_１１〜ａ_３３は射影変換の行列要素を表しており、４つの座標変換の関係が分かれば倍率の自由度を除き、一意に求めることができる。ここでは倍率を１に設定している。
そして、変形部２３は、上記数１に示された座標変換行列を一方の画像信号Ｇ１に適用して座標変換を行い、画像信号Ｇ２に対して位置合わせが行われた画像信号Ｇ１’を算出するようになっている。

画像合成部１５は、図８に示されるように、位置合わせ部１４から出力された画像信号から評価値を算出する評価値算出部２４と、該評価値算出部２４により算出された評価値に基づいて合成処理に用いる合成マスクを作成する合成マスク算出部（合成マスク生成部）２５と、該合成マスク算出部２５において作成された合成マスクを用いて２枚の画像信号を合成する重み付け加算部２６とを備えている。

評価値算出部２４は、評価値として、例えば、数２の式（４）により、画像信号Ｇ１’および画像信号Ｇ２におけるコントラスト値Ｃ_１’（ｘ，ｙ），Ｃ_２（ｘ，ｙ）を算出するようになっている。

ここで、ｇ_１’（ｘ，ｙ∈ω）_ｍａｘおよびｇ_１’（ｘ，ｙ∈ω）_ｍｉｎは、一方の画像信号Ｇ１’の領域ωにおける画素値の最大値および最小値、ｇ_２（ｘ，ｙ∈ω）_ｍａｘおよびｇ_２（ｘ，ｙ∈ω）_ｍｉｎは、他方の画像信号Ｇ２の領域ωにおける画素値の最大値および最小値を示している。

合成マスク算出部２５は、評価値算出部２４において算出された評価値から、２枚の画像信号の合成処理に用いる合成マスクを生成するようになっている。
具体的には、合成マスク算出部２５は、評価値算出部２４において算出された評価値であるコントラスト値Ｃ_１’（ｘ，ｙ），Ｃ_２（ｘ，ｙ）の比Ｅ_１（ｘ，ｙ）を数３の式（５）に示されるように算出するとともに、その比Ｅ_１（ｘ，ｙ）を用いて各マスク値Ｍ（ｘ，ｙ）を数４の式（６）に示されるように作成するようになっている。

ここで、εは比Ｅ（ｘ，ｙ）の分母がゼロになることを防ぐための微小定数でありε＞０である。
また、Ｊ_１，Ｊ_２は所定の定数（０＜Ｊ_１＜Ｊ_２）である。Ｊ_２−Ｊ_１の値が小さくなると、Ｍ（ｘ，ｙ）の値は０．１の２値に近づいていく。図９はマスク値Ｍ（ｘ，ｙ）を図示したものである。

重み付け加算部２６は、画像信号ｇ_１’（ｘ，ｙ），ｇ_２（ｘ，ｙ）に対して、合成マスク算出部２５により算出された合成マスクを用いて、下式（７）の処理を行うことにより、画像信号ｇ_１’（ｘ，ｙ），ｇ_２（ｘ，ｙ）を合成して合成画像ｇ（ｘ，ｙ）を生成するようになっている。
ｇ（ｘ，ｙ）＝Ｍ（ｘ，ｙ）ｇ_１’（ｘ，ｙ）＋（１−Ｍ（ｘ，ｙ））ｇ_２（ｘ，ｙ）
（７）

このように構成された本実施形態に係る撮像装置１０によれば、２枚の画像信号ｇ_１（ｘ，ｙ），ｇ_２（ｘ，ｙ）を共通する周波数成分によって位置合わせすることにより、焦点位置の異なる２枚の画像信号ｇ_１（ｘ，ｙ），ｇ_２（ｘ，ｙ）を精度よく合成することができる。また、本実施形態に係る撮像装置１０によれば、２枚の画像信号ｇ_１（ｘ，ｙ），ｇ_２（ｘ，ｙ）をマッチング処理を用いて位置合わせを行うことにより、視差を有する２枚の画像信号ｇ_１（ｘ，ｙ），ｇ_２（ｘ，ｙ）を精度よく合成することができる。

その結果、同時に取得され、視差を有しかつ焦点位置の異なる２枚の画像信号ｇ_１（ｘ，ｙ），ｇ_２（ｘ，ｙ）を精度よく合成することで、被写体が移動する場合においても安定した合成画像を生成することができるという効果を奏する。

また、本実施形態においては、撮像光学系２の瞳位置に配置するレンズ４ａ，４ｂとマイクロレンズアレイ６とによって視差を有しかつ焦点位置の異なる２つの被写体の像を同時に撮像素子５上に形成することとしたが、これに代えて、図１０に示されるように、光軸を平行にして並列に配列された焦点距離の異なる４つの微小光学系３０ａ〜３０ｄからなる光学系３０を採用してもよい。

また、図１１に示されるように、撮像レンズ３１と記撮像素子５との間に配置され、撮像レンズ３１により集光された光が分割されて入射される、焦点距離の異なる２つの瞳分割光学系３１ａ，３１ｂを有する撮像光学系３２を採用してもよい。
例えば、図１０の撮像光学系３０を採用することにより、図１２に示されるように、微小光学系３０ａ〜３０ｄに対応する撮像素子５上の領域に、同一の被写体について、視差を有しかつ焦点位置の異なる４つの像Ｄ１〜Ｄ４を同時に形成することができる。

また、撮像素子５として、カラーフィルタを備えるカラーＣＣＤを採用してもよい。この場合に、周波数成分の調整は、画像信号がＲＧＢ信号である場合にはＧ信号を用いて行ってもよいし、ＲＧＢ信号をＹＣｂＣｒ信号に変換してＹ信号を用いて行ってもよい。

また、周波数成分の差分が所定の閾値より小さい場合にその周波数成分を採用することにより、周波数成分の調整を行うこととしたが、これに代えて、周波数ヒストグラムを用いて行ってもよい。図１３に周波数ヒストグラムの一例を示す。図中、符号Ｔは所定の閾値である。画像信号Ｇ１，Ｇ２においてはノイズの影響等により、高周波成分にノイズ信号が含まれる場合がある。

したがって、図１３（ａ）に示される一方の画像信号Ｇ１の周波数ヒストグラムにおいて、閾値Ｔ以下の度数を有する周波数ｆ_１をノイズ成分であると見なすことができ、周波数ｆ_２が有効な最大の周波数成分であると見なすことができる。図１３（ｂ）に示される他方の画像信号Ｇ２の周波数ヒストグラムにおいても有効な最大の周波数成分が周波数ｆ_２である場合には、共通の周波数成分として周波数ｆ_２を選択する。

そして、周波数変換を行う際の周波数帯域を、例えば、図１４（ａ）に示されるような選択された周波数ｆ_２を超えないように、あるいは図１４（ｂ）に示されるような周波数ｆ_２を中心とした所定範囲（例えば、半値幅ｅ）の帯域となるように設定する。設定された帯域以外の周波数成分を抑圧した後に、逆フーリエ変換を行い、実空間の画像信号に変換することにすればよい。

また、マッチング処理の探索範囲はユーザが任意に決めてもよいし、複数の瞳分割光学系３１ａ，３１ｂの光軸間の距離に比例して決定してもよい。
また、本実施形態においては、評価値算出部２４がコントラスト値Ｃ_１’（ｘ，ｙ），Ｃ_２（ｘ，ｙ）を評価値として算出することとしたが、鮮鋭度Ｓを算出してもよい。
鮮鋭度Ｓは数５の式（８）によって算出することができる。

また、上記態様においては、合成マスク算出部２５が、評価値の比によってマスク値Ｍ（ｘ，ｙ）を算出することとしたが、これに代えて、下式（９）に示されるように、評価値の差によってマスク値Ｍ（ｘ，ｙ）を算出してもよい。
Ｅ（ｘ，ｙ）＝Ｃ_１’（ｘ，ｙ）−Ｃ_２（ｘ，ｙ） （９）

また、重み付け加算部２６がマスク値Ｍ（ｘ，ｙ）を用いて画像信号ｇ_１’（ｘ，ｙ），ｇ_２（ｘ，ｙ）に重み付けをして合成することとしたが、重み付け係数を用いることなく、画像信号ｇ_１’（ｘ，ｙ），ｇ_２（ｘ，ｙ）のいずれかを採用してもよい。
また、２枚の画像信号を取得して合成する場合について説明したが、３枚以上の画像信号を合成してもよい。この場合には、いずれかに２枚の画像信号を合成した後、合成後の画像信号と他の合成前の画像信号とを用いて合成を行うことを繰り返せばよい。

１，１０ 撮像装置
２，３０，３２ 撮像光学系
４ 焦点距離変更部
５ 撮像素子
５ａ，５ｂ 画素
６ マイクロレンズアレイ
６ａ マイクロレンズ
１３ 信号処理部（画像生成部）
１４ 位置合わせ部
１５ 画像合成部
１９ 局所領域抽出部（局所領域設定部）
２０ 調整部（周波数調整部）
２２ マッチング部
２３ 変形部（画像変形部）
２４ 評価値算出部
２５ 合成マスク算出部（合成マスク生成部）
２６ 重み付け加算部（加算部）
３０ａ〜３０ｄ 微小光学系
３１ 撮像レンズ
３１ａ，３１ｂ 瞳分割光学系
３５ 比較部、差分演算部、判定部
３７ フィルタ処理部

Claims (11)

1. 被写体からの光を集光する撮像光学系と、
   該撮像光学系により集光された光を撮像する撮像素子と、
   該撮像素子の複数画素を各々が覆うように配置されたマイクロレンズを複数配列してなるマイクロレンズアレイと、
   前記撮像光学系の瞳位置に配置され、透過する光を複数の異なる焦点位置に集光させるように空間的に焦点距離を変化させる焦点距離変更部とを備える撮像装置。
2. 前記撮像素子において、前記マイクロレンズ毎に、共通する焦点距離の光が入射された画素からの信号を抽出して複数枚の画像信号を生成する画像生成部と、
   該画像生成部により生成された複数枚の画像信号の位置合わせを行う位置合わせ部と、
   該位置合わせ部により相互に位置合わせされた複数枚の画像信号を合成して合成画像を生成する画像合成部とを備える請求項１に記載の撮像装置。
3. 被写体からの光を撮像する撮像素子と、
   該撮像素子の異なる領域に、視差を有しかつ焦点位置の異なる像を結像させる光を入射させる撮像光学系と、
   前記撮像素子の異なる領域において取得された複数枚の画像信号の位置合わせを行う位置合わせ部と、
   該位置合わせ部により相互に位置合わせされた複数枚の画像信号を合成して合成画像を生成する画像合成部とを備える撮像装置。
4. 前記撮像光学系が、前記被写体からの光を集光する撮像レンズと、該撮像レンズと前記撮像素子との間に配置され、前記撮像レンズにより集光された光が分割されて入射される、焦点距離の異なる２以上の瞳分割光学系とを備える請求項３に記載の撮像装置。
5. 前記撮像光学系が、前記被写体からの光が入射される位置に光軸を異ならせて並列に配置されかつ焦点距離の異なる２以上の微小光学系を備える請求項３に記載の撮像装置。
6. 前記位置合わせ部が、
   複数枚の前記画像信号の各々に対して注目画素を中心とする複数画素からなる局所領域を設定する局所領域設定部と、
   該局所領域設定部により各前記画像信号について設定された局所領域の周波数成分を共通する周波数成分に調整する周波数調整部と、
   該周波数調整部により周波数成分が調整された各前記画像信号の局所領域間のマッチング処理を行うマッチング部と、
   該マッチング部によるマッチング処理の結果に基づいて、前記複数枚の画像信号を変形する画像変形部とを備える請求項２から請求項５のいずれかに記載の撮像装置。
7. 前記画像合成部が、
   複数枚の前記画像信号について合焦判定に必要な評価値を画素毎に算出する評価値算出部と、
   該評価値算出部により算出された前記評価値を用いて、前記画像信号を合成するための合成マスクを生成する合成マスク生成部と、
   該合成マスク生成部により生成された合成マスクを用いて、複数枚の画像信号を画素毎に重み付け加算する加算部とを備える請求項２から請求項６のいずれかに記載の撮像装置。
8. 前記周波数調整部が、
   複数枚の前記画像信号の対応する局所領域の周波数成分を比較する比較部と、
   該比較部による比較結果に基づいて作成されたフィルタを、複数枚の前記画像信号の対応する局所領域に作用させるフィルタ処理部とを備える請求項６に記載の撮像装置。
9. 前記位置合わせ部が、前記光学系の光軸からの距離に応じて、複数枚の前記画像信号に対応する局所領域の探索範囲を設定する探索範囲設定部を備え、
   前記マッチング部が、前記探索範囲設定部により設定された探索範囲に基づいて前記局所領域を探索し、探索された局所領域を用いてマッチング処理を行う請求項６に記載の撮像装置。
10. 前記比較部が、複数枚の前記画像信号に対応する前記局所領域の周波数成分の差分を算出する差分演算部と、該差分演算部により算出された差分が所定の閾値より大きいか否かを判定する判定部とを備え、
    前記フィルタ作成部が、前記判定部により前記差分が閾値以下であると判定された周波数成分のみを抽出するフィルタを作成する請求項８に記載の撮像装置。
11. 前記周波数調整部が、
    複数枚の前記画像信号の対応する局所領域の周波数成分のヒストグラムを算出するヒストグラム算出部と、
    該ヒストグラム算出部により算出されたヒストグラムに基づいてフィルタを作成するフィルタ作成部と、
    該フィルタ作成部により作成されたフィルタを、複数枚の前記画像信号の対応する局所領域に作用させるフィルタ処理部とを備える請求項６に記載の撮像装置。

Images