JP2015111793A5 - 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、プログラム及び記録媒体に関し、特に撮影後に画像信号から任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られたＬＦデータ（Light Field Data）は、隣り合う画素が異なる方向から入射した光束を記録しており、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離の焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の焦点距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

上述した瞳分割した光束を記録した画像信号は、撮影後に複数の被写体距離に合焦した再構成画像を生成することができるが、全ての被写体距離においてユーザにとって好適な再構成画像が得られるわけではない。従って、生成した再構成画像が所望する被写体に合焦した画像であるか否かを、ユーザは再構成画像が生成されるまで判断することができなかった。

本発明は、上述の問題点に鑑みてなされたものであり、瞳分割された光束を記録した画像信号について、その内容を容易に把握可能な画像を提示する画像処理装置、撮像装置、制御方法、プログラム及び記録媒体を提供することを目的とする。

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に被写体距離を変更した再構成画像を生成可能なＬＦデータを記録するデジタルカメラ（撮像装置）と、再構成画像を受信して印刷出力可能なプリンタに、本発明を適用した例を説明する。しかし、本発明の画像処理装置は複数の機器に機能が分離されて構成される必要はない。本発明は、撮影後に任意の被写体距離に合焦した再構成画像を生成可能なＬＦデータから任意の被写体距離に合焦した再構成画像を生成し、提示（印刷や表示）することが可能な任意の機器に適用可能である。

また、本明細書において「ＬＦデータ」とは、後述するように各マイクロレンズに対して撮像素子の複数の光電変換素子が割り当てられているマイクロレンズアレイを用いた撮影により得られた画像データを示す。１つのマイクロレンズに対して割り当てられた複数の光電変換素子の各々は、撮像光学系の射出瞳の異なる領域を通過した光束を受光する。即ち、ＬＦデータにおいて、１つのマイクロレンズに対して割り当てられた光電変換素子の出力に対応する画素は、隣り合う画素で像が連続しないことになる。このため本実施形態のＬＦデータは、撮影後に所定の被写体距離に合焦した画像を生成する処理が実行されることで、隣り合う画素で像が連続する画像に変換される。本明細書では、このように撮影後に被写体距離を決定し、ＬＦデータから該被写体距離に合焦した画像を生成することを「リフォーカス」あるいは「再構成」と表現するものとする。

ＲＯＭ１０２は、例えば不揮発性メモリである。ＲＯＭ１０２は、各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等を記憶する。本実施形態においてＲＯＭ１０２には、撮影時の不図示の光学系に係る焦点位置等の設定条件に対応した、再構成画像の生成時に参照されるテーブル等の情報が記憶される。

再構成部１０５は、ＬＦデータから任意の被写体距離に対応する被写体に合焦した再構成画像を生成する。再構成画像の生成方法は、例えば同一の入射方向に対応する画像を生成して位置合わせをして重ね合わせることにより行われてもよいし、任意の被写体距離の再構成面において、各画素を通過した光束を記録した信号を加算して行われるものであってもよい。

本実施形態では再構成部１０５は、ＬＦデータから再構成画像を生成可能な被写体距離の範囲内に予め設定された数の被写体距離について再構成画像を生成する。生成された再構成画像は画像評価部１０６によりコントラスト状態が評価され、該コントラスト状態の評価結果に基づいて再構成部１０５は送信する複数の再構成画像を決定する。本実施形態では送信する再構成画像は、生成した再構成画像のうち、最も高いコントラストを示す画像、最も低いコントラストを示す画像、そしてこれらの中間となるコントラストを示す画像の３つが選択されるものとする。しかしながら、本発明の実施はこれに限られるものではなく、選択される再構成画像は、ユーザにより指定された条件の画像を含むように選択されるものであってもよいし、任意の被写体条件を満たす画像を含むように選択されるものであってもよい。また、例えば画像が示す被写界深度の深さに応じて選択されるものであってもよい。この場合、再構成部１０５は被写体距離だけに限らず、再構成画像の生成において使用するＬＦデータの画素を、限定した瞳領域を通過した光束に対応したものに制限する変更を行うことで様々な被写界深度の深さを示す再構成画像を生成してもよい。なお、被写界深度の深さについては、コントラスト状態のように撮影範囲に含まれる被写体による影響はない。即ち、被写界深度の深さは撮影時の光学条件が決定されれば、予め判明する情報である。従って、例えば被写界深度が最も深い画像、最も浅い画像、及び中間の画像を送信するものとして決定する場合、各画像の生成に必要な条件はＲＯＭ１０２に予め記録しておくことができる。つまり、この場合、画像評価部１０６による画質評価をすることなく、再構成部１０５は送信する再構成画像のみを生成することが可能である。

Claims (11)

1. 画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有する
   ことを特徴とする画像処理装置。
2. 同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を統合した１つの画像信号を取得する取得手段と、
   前記取得手段により取得された前記１つの画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有する
   ことを特徴とする画像処理装置。
3. 前記生成手段により生成された再構成画像について、所定の画質パラメータを評価する評価手段をさらに有し、
   前記生成手段は、予め定められた生成条件に基づいて、前記複数の再構成画像を含む所定数の再構成画像を生成し、
   前記評価手段は、前記所定数の再構成画像の各々について前記所定の画質パラメータを評価し、
   前記提示手段は、前記評価手段による評価結果に基づいて、前記所定数の再構成画像の中から前記複数の再構成画像を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成条件が互いに異なる複数の再構成画像は、コントラスト状態が互いに異なる再構成画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成条件が互いに異なる複数の再構成画像は、被写界深度の深さが互いに異なる再構成画像であることを特徴とする請求項１または２に記載の画像処理装置。
6. 撮像光学系と、
   前記撮像光学系を通過した光束を瞳分割し、画素の各々が通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を出力する撮像手段と、
   前記撮像手段により撮像された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を、該画像を一覧可能な状態で提示する外部装置に送信する送信手段と、を有する
   ことを特徴とする撮像装置。
7. 異なる位置に配置された複数の撮像光学系と、
   同一時間に同一被写体を前記複数の撮像光学系を介して撮像し、得られた複数の画像信号を統合した１つの画像信号を出力する撮像手段と、
   前記撮像手段により撮像された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を、該画像を一覧可能な状態で提示する外部装置に送信する送信手段と、を有する
   ことを特徴とする撮像装置。
8. 画像処理装置の取得手段が、画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程において取得された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成工程と、
   前記画像処理装置の提示手段が、前記生成工程において生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示工程と、を有する
   ことを特徴とする画像処理装置の制御方法。
9. 画像処理装置の取得手段が、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を統合した１つの画像信号を取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程において取得された前記１つの画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成工程と、
   前記画像処理装置の提示手段が、前記生成工程において生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示工程と、を有する
   ことを特徴とする画像処理装置の制御方法。
10. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。