JP2014155121A5 - - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影により得られた出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮像時に被写体空間の光の２次元強度分布と光線の入射角とを示す情報（光照射野情報：Light Field Information）をデータ（ＬＦデータ：Light Field Data）として記録するものがある。このようにして得られたＬＦデータは、所定の演算を行うことにより、任意の被写体距離に合焦した画像（再構成画像）を生成することができる（非特許文献１、２）。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を取得する取得手段と、同一時間について得られた画像間の像の位相差を検出する第１の検出手段と、同一の視点につき異なるタイミングに撮像して得られた画像間の位相差を検出する第２の検出手段と、取得手段により得られた画像のうちの少なくとも一部の画像を、第１の検出手段及び第２の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、生成手段による出力画像の生成条件を設定する設定手段と、を有し、生成手段は、設定手段により設定された出力画像の生成条件の情報に従って、合成に用いる画像と解消する位相差とを選択して出力画像を生成することを特徴とする。

・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の分割瞳領域を通過した画素で生成される複数（瞳分割数）の分割瞳画像について、生成する被写体距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。

なお、再構成画像の生成において合成部３１５は、合焦する被写体距離に存在する被写体像が位相差なく重なるように、複数の分割瞳画像を該被写体像を基準に位置合わせして合成を行う。本実施形態の画像処理部１０３では、合成時の位置合わせに必要な分割瞳画像間それぞれの位相差の情報を、時間内位相差検出部３１１及び同一瞳内位相差検出部３１３から取得する。

また本実施形態では、各マイクロレンズ２０に割り当てられた画素群から１つずつ画素を抽出して輝度画像を生成している。このようにして生成された輝度画像は、撮像光学系２０２をマイクロレンズ２０に割り当てられた画素の数に分割した限定的な分割瞳領域を通過する、所謂絞り状態で得られた光束に対応している。即ち、被写界深度が深いため、様々な被写体距離に存在する被写体像について位相差が検出できる。しかしながら、本発明の実施において各被写体の位相差検出のために生成される輝度画像はこれに限られず、少なくとも２種類の分割瞳領域に対応する輝度画像が位相差検出のために用いられればよい。

〈低照度シーン〉
低照度シーンにおいて被写体を明るくとらえた画像を得るためには、露光量を多くする必要がある。しかしながら、露光量を増加させるために１回の撮影に係る露光時間を長くすると手ブレの影響を受けて得られる画像にボケが生じる。一般的には撮像光学系２０２の焦点位置の逆数よりも露光時間が長くなった場合、１回の撮影に係る露光中にブレの影響を受ける。このため通常の撮像装置では、１回の露光時間が撮像光学系２０２の焦点位置の逆数よりも短い撮影を複数回行い、得られた複数の画像を合成することでブレを軽減しつつ被写体像の明るさを確保した画像を撮影する方法が採られている（電子手ブレ補正）。

Claims (15)

1. 複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を取得する取得手段と、
   同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出手段と、
   同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出手段と、
   前記取得手段により得られた画像のうちの少なくとも一部の画像を、前記第１の検出手段及び前記第２の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、
   前記生成手段による前記出力画像の生成条件を設定する設定手段と、を有し、
   前記生成手段は、前記設定手段により設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記設定手段により特定の被写体の焦点状態を保持する設定がなされた場合に、少なくとも前記第１の検出手段により検出された位相差を解消するように合成を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記設定手段により撮影時の手ブレの影響を解消する設定がなされた場合に、少なくとも前記第２の検出手段により検出された位相差を解消するように合成を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記設定手段により長秒露光撮影に相当する画像を生成する設定がなされた場合に、前記取得手段により取得された画像のうち、一部の視点につき複数のタイミングに撮像して得られた画像を、前記出力画像の生成において合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記設定手段により合焦している被写体が強調された画像を生成する設定がなされた場合に、前記取得手段により取得された画像のうち、像の視差量が相対的に大きい関係にある複数の視点につき撮像して得られた画像を、少なくとも同一のタイミングに得られた画像間での像の位相差を解消することなく合成して前記出力画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 予め定められた複数の時間帯に撮像された画像をグループとし、各グループについて少なくとも一部の視点につき撮像して得られた画像を画像間の像の位相差を解消して合成し、得られた合成画像を解析することで被写体ブレに係る情報を取得する解析手段をさらに有し、
   前記生成手段は、前記設定手段により被写体ブレの影響を解消する設定がなされた場合に、前記解析手段により得られた前記被写体ブレに係る情報に応じて前記被写体ブレの影響を解消した前記出力画像を生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段により取得された画像について、特定の被写体の像を検出する検出手段をさらに有し、
   前記生成手段は、前記検出手段により検出された前記特定の被写体の像の位相差が解消されるように合成を行う
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記取得手段により取得された画像のうちの少なくとも一部の画像を、同一のタイミングについて得られた画像の前記第１の検出手段により検出された位相差を解消するように合成した後、該合成により得られた画像について前記第２の検出手段により検出された位相差を解消するように合成して前記出力画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記取得手段により取得された画像が、該画像を撮像した撮像装置が固定された状態で撮像した画像である場合に、前記取得手段により取得された画像のうちの少なくとも一部の画像を、異なるタイミングに撮像して得られた画像について像の位相差を解消する位置合わせを行うことなく合成した後、該合成により得られた画像について前記第１の検出手段により検出された位相差を解消するように合成して前記出力画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記同一被写体を異なる視点につき撮像して得られた複数の画像は、画素の各々が撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号から、同一の分割瞳領域を通過した光束に対応する画素を結合させることで各々得られることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を出力する撮像手段と、
    前記撮像手段により出力された、同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出手段と、
    前記撮像手段により出力された、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出手段と、
    前記撮像手段により出力された画像のうちの少なくとも一部の画像を、前記第１の検出手段及び第２の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、
    前記生成手段による前記出力画像の生成条件を設定する設定手段と、を有し、
    前記生成手段は、前記設定手段により設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
    ことを特徴とする撮像装置。
12. 画像処理装置の取得手段が、複数のタイミングのそれぞれについて、異なる視点につき撮像して得られた複数の画像を取得する取得工程と、
    前記画像処理装置の第１の検出手段が、同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出工程と、
    前記画像処理装置の第２の検出手段が、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出工程と、
    前記画像処理装置の生成手段が、前記取得工程において得られた画像のうちの少なくとも一部の画像を、前記第１の検出工程及び前記第２の検出工程の少なくともいずれかにおいて検出された位相差を解消するように合成して出力画像を生成する生成工程と、
    前記画像処理装置の設定手段が、前記生成工程における前記出力画像の生成条件を設定する設定工程と、を有し、
    前記生成手段は前記生成工程において、前記設定工程において設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
    ことを特徴とする画像処理装置の制御方法。
13. 撮像装置の撮像手段が、複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像し、得られた複数の画像を出力する撮像工程と、
    前記撮像装置の第１の検出手段が、前記撮像工程において出力された、同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出工程と、
    前記撮像装置の第２の検出手段が、前記撮像工程において出力された、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出工程と、
    前記撮像装置の生成手段が、前記撮像工程において出力された画像のうちの少なくとも一部の画像を、前記第１の検出工程及び第２の検出工程の少なくともいずれかにおいて検出された位相差を解消するように合成して出力画像を生成する生成工程と、
    前記撮像装置の設定手段が、前記生成工程における前記出力画像の生成条件を設定する設定工程と、を有し、
    前記生成手段は前記生成工程において、前記設定工程において設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
    ことを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. コンピュータに、請求項１３に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。