JP2015111793A5 - 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 - Google Patents

画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2015111793A5
JP2015111793A5 JP2013253608A JP2013253608A JP2015111793A5 JP 2015111793 A5 JP2015111793 A5 JP 2015111793A5 JP 2013253608 A JP2013253608 A JP 2013253608A JP 2013253608 A JP2013253608 A JP 2013253608A JP 2015111793 A5 JP2015111793 A5 JP 2015111793A5
Authority
JP
Japan
Prior art keywords
image
reconstructed images
imaging
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013253608A
Other languages
English (en)
Other versions
JP2015111793A (ja
JP6271981B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2013253608A priority Critical patent/JP6271981B2/ja
Priority claimed from JP2013253608A external-priority patent/JP6271981B2/ja
Publication of JP2015111793A publication Critical patent/JP2015111793A/ja
Publication of JP2015111793A5 publication Critical patent/JP2015111793A5/ja
Application granted granted Critical
Publication of JP6271981B2 publication Critical patent/JP6271981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像処理装置、撮像装置、制御方法、プログラム及び記録媒体に関し、特に撮影後に画像信号から任意の被写体距離に合焦した画像を生成する技術に関する。
近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。
非特許文献1では、マイクロレンズアレイを介して撮像素子の各画素(光電変換素子)に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法(Light Field Photography)が開示されている。このようにして得られたLFデータ(Light Field Data)は、隣り合う画素が異なる方向から入射した光束を記録しており、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離の焦点面における1点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の焦点距離に合焦した画像のピクセルを擬似的に生成(再構成)することができる。
上述した瞳分割した光束を記録した画像信号は、撮影後に複数の被写体距離に合焦した再構成画像を生成することができるが、全ての被写体距離においてユーザにとって好適な再構成画像が得られるわけではない。従って、生成した再構成画像が所望する被写体に合焦した画像であるか否かを、ユーザは再構成画像が生成されるまで判断することができなかった。
本発明は、上述の問題点に鑑みてなされたものであり、瞳分割された光束を記録した画像信号について、その内容を容易に把握可能な画像を提示する画像処理装置、撮像装置、制御方法、プログラム及び記録媒体を提供することを目的とする。
[実施形態]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に被写体距離を変更した再構成画像を生成可能なLFデータを記録するデジタルカメラ(撮像装置)と、再構成画像を受信して印刷出力可能なプリンタに、本発明を適用した例を説明する。しかし、本発明の画像処理装置は複数の機器に機能が分離されて構成される必要はない。本発明は、撮影後に任意の被写体距離に合焦した再構成画像を生成可能なLFデータから任意の被写体距離に合焦した再構成画像を生成し、提示(印刷や表示)することが可能な任意の機器に適用可能である。
また、本明細書において「LFデータ」とは、後述するように各マイクロレンズに対して撮像素子の複数の光電変換素子が割り当てられているマイクロレンズアレイを用いた撮影により得られた画像データを示す。1つのマイクロレンズに対して割り当てられた複数の光電変換素子の各々は、撮像光学系の射出瞳の異なる領域を通過した光束を受光する。即ち、LFデータにおいて、1つのマイクロレンズに対して割り当てられた光電変換素子の出力に対応する画素は、隣り合う画素で像が連続しないことになる。このため本実施形態のLFデータは、撮影後に所定の被写体距離に合焦した画像を生成する処理が実行されることで、隣り合う画素で像が連続する画像に変換される。本明細書では、このように撮影後に被写体距離を決定し、LFデータから該被写体距離に合焦した画像を生成することを「リフォーカス」あるいは「再構成」と表現するものとする。
ROM102は、例えば不揮発性メモリである。ROM102は、各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等を記憶する。本実施形態においてROM102には、撮影時の不図示の光学系に係る焦点位置等の設定条件に対応した、再構成画像の生成時に参照されるテーブル等の情報が記憶される。
再構成部105は、LFデータから任意の被写体距離に対応する被写体に合焦した再構成画像を生成する。再構成画像の生成方法は、例えば同一の入射方向に対応する画像を生成して位置合わせをして重ね合わせることにより行われてもよいし、任意の被写体距離の再構成面において、各画素を通過した光束を記録した信号を加算して行われるものであってもよい。
本実施形態では再構成部105は、LFデータから再構成画像を生成可能な被写体距離の範囲内に予め設定された数の被写体距離について再構成画像を生成する。生成された再構成画像は画像評価部106によりコントラスト状態が評価され、該コントラスト状態の評価結果に基づいて再構成部105は送信する複数の再構成画像を決定する。本実施形態では送信する再構成画像は、生成した再構成画像のうち、最も高いコントラストを示す画像、最も低いコントラストを示す画像、そしてこれらの中間となるコントラストを示す画像の3つが選択されるものとする。しかしながら、本発明の実施はこれに限られるものではなく、選択される再構成画像は、ユーザにより指定された条件の画像を含むように選択されるものであってもよいし、任意の被写体条件を満たす画像を含むように選択されるものであってもよい。また、例えば画像が示す被写界深度の深さに応じて選択されるものであってもよい。この場合、再構成部105は被写体距離だけに限らず、再構成画像の生成において使用するLFデータの画素を、限定した瞳領域を通過した光束に対応したものに制限する変更を行うことで様々な被写界深度の深さを示す再構成画像を生成してもよい。なお、被写界深度の深さについては、コントラスト状態のように撮影範囲に含まれる被写体による影響はない。即ち、被写界深度の深さは撮影時の光学条件が決定されれば、予め判明する情報である。従って、例えば被写界深度が最も深い画像、最も浅い画像、及び中間の画像を送信するものとして決定する場合、各画像の生成に必要な条件はROM102に予め記録しておくことができる。つまり、この場合、画像評価部106による画質評価をすることなく、再構成部105は送信する再構成画像のみを生成することが可能である。

Claims (11)

  1. 画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
    前記生成手段により生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有する
    ことを特徴とする画像処理装置。
  2. 同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を統合した1つの画像信号を取得する取得手段と、
    前記取得手段により取得された前記1つの画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
    前記生成手段により生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有する
    ことを特徴とする画像処理装置。
  3. 前記生成手段により生成された再構成画像について、所定の画質パラメータを評価する評価手段をさらに有し、
    前記生成手段は、予め定められた生成条件に基づいて、前記複数の再構成画像を含む所定数の再構成画像を生成し、
    前記評価手段は、前記所定数の再構成画像の各々について前記所定の画質パラメータを評価し、
    前記提示手段は、前記評価手段による評価結果に基づいて、前記所定数の再構成画像の中から前記複数の再構成画像を決定する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記生成条件が互いに異なる複数の再構成画像は、コントラスト状態が互いに異なる再構成画像であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記生成条件が互いに異なる複数の再構成画像は、被写界深度の深さが互いに異なる再構成画像であることを特徴とする請求項1または2に記載の画像処理装置。
  6. 撮像光学系と、
    前記撮像光学系を通過した光束を瞳分割し、画素の各々が通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を出力する撮像手段と、
    前記撮像手段により撮像された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
    前記生成手段により生成された前記複数の再構成画像を、該画像を一覧可能な状態で提示する外部装置に送信する送信手段と、を有する
    ことを特徴とする撮像装置。
  7. 異なる位置に配置された複数の撮像光学系と、
    同一時間に同一被写体を前記複数の撮像光学系を介して撮像し、得られた複数の画像信号を統合した1つの画像信号を出力する撮像手段と、
    前記撮像手段により撮像された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
    前記生成手段により生成された前記複数の再構成画像を、該画像を一覧可能な状態で提示する外部装置に送信する送信手段と、を有する
    ことを特徴とする撮像装置。
  8. 画像処理装置の取得手段が、画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得工程と、
    前記画像処理装置の生成手段が、前記取得工程において取得された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成工程と、
    前記画像処理装置の提示手段が、前記生成工程において生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
  9. 画像処理装置の取得手段が、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を統合した1つの画像信号を取得する取得工程と、
    前記画像処理装置の生成手段が、前記取得工程において取得された前記1つの画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成工程と、
    前記画像処理装置の提示手段が、前記生成工程において生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
  10. コンピュータを、請求項1乃至5のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  11. 請求項10に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013253608A 2013-12-06 2013-12-06 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 Active JP6271981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013253608A JP6271981B2 (ja) 2013-12-06 2013-12-06 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013253608A JP6271981B2 (ja) 2013-12-06 2013-12-06 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体

Publications (3)

Publication Number Publication Date
JP2015111793A JP2015111793A (ja) 2015-06-18
JP2015111793A5 true JP2015111793A5 (ja) 2017-01-19
JP6271981B2 JP6271981B2 (ja) 2018-01-31

Family

ID=53526354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013253608A Active JP6271981B2 (ja) 2013-12-06 2013-12-06 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP6271981B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867595B2 (ja) * 2006-11-13 2012-02-01 カシオ計算機株式会社 撮影制御装置、撮影制御方法およびプログラム
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5875839B2 (ja) * 2011-11-21 2016-03-02 オリンパス株式会社 プレノプティックカメラ

Similar Documents

Publication Publication Date Title
JP5898501B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
JP2013201752A5 (ja)
JP2014155121A5 (ja)
JP2017055310A5 (ja)
JP2015138200A5 (ja) 焦点調節装置及び焦点調節方法
JP2014146023A5 (ja)
JP2014153890A5 (ja)
JP2015144416A5 (ja)
JP2014153890A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2014056065A5 (ja)
JP2013115717A5 (ja)
US20170028648A1 (en) 3d data generation apparatus and method, and storage medium
WO2015080164A1 (ja) 焦点検出装置および撮像装置
JP2020036310A5 (ja)
EP3002940A1 (en) Imaging apparatus and imaging method
JP2016018116A5 (ja)
JP2017102637A5 (ja)
JP5583242B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
JP2014122957A5 (ja)
JP2014155071A5 (ja)
JP2015080179A5 (ja)
JP2014155008A5 (ja)
EP3194886A1 (en) Positional shift amount calculation apparatus and imaging apparatus
JP2015111793A5 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
US9936121B2 (en) Image processing device, control method of an image processing device, and storage medium that stores a program to execute a control method of an image processing device