JP2019004297A

JP2019004297A - 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法

Info

Publication number: JP2019004297A
Application number: JP2017117190A
Authority: JP
Inventors: 洋平堀川; Yohei Horikawa; 友貴植草; Tomotaka Uekusa; 武志小川; Takeshi Ogawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-06-14
Filing date: 2017-06-14
Publication date: 2019-01-10
Anticipated expiration: 2037-06-14
Also published as: JP7134601B2

Abstract

【課題】動画撮影中に静止画撮影を行う場合において、所定の露光量を得るためにフレーム間加算を行うと、絞りや焦点距離の変位によって不自然な画像になってしまうという課題があった。【解決手段】ライトフィールド情報を記述したライトフィールドデータを取得する取得手段と、仮想的な撮影条件を含む撮影条件を決定する決定手段と、前記ライトフィールドデータに対して前記決定手段で決定された撮影条件に基づいて、データの並び替え及び抽出の少なくとも１つを含む再構成処理を行う画像処理手段と、前記画像処理手段によりそれぞれ処理された複数フレームのライトフィールドデータを合成して新たなライトフィールドデータを生成する合成手段と、を有し、前記合成手段によって合成される前記複数フレームは、撮影条件の一部が同じであるように前記画像処理手段によって処理されていることを特徴とする。【選択図】図１

Description

本発明は、被写体の３次元空間を光線の強度分布と角度分布に対応する情報（ライトフィールド情報）として取得し、該ライトフィールド情報を処理する画像処理装置に関する。

ＣＭＯＳ等の撮像素子を用いて静止画像あるいは動画像を得るデジタルカメラにおいて、動画撮影中に静止画の撮影を行う技術が開示されている（特許文献１）。この特許文献１にかかわる技術では、動画撮影中に一時的に静止画撮影モードに切り替えることで動画撮影中の静止画撮影を可能としている。

一方、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって取得し１回の撮影で任意の焦点面での画像データ（リフォーカス画像）を生成する技術が開示されている（特許文献２）。

特開２００６−３４５４８５号公報特開２００７−００４４７１号公報

しかしながら、上記特許文献１においては動画撮影中に静止画撮影モードに切り替えて静止画記録を行うため、動画記録が中断されてしまうという問題がある。また、動画記録を中断させずに動画フレームを抜出して静止画を生成する場合は、動画記録のフレームレートに依存した露光時間の静止画を得ることになるという問題がある。

この課題を解決する為には、動画の複数フレームを加算合成することで擬似的に露光時間を変えた静止画を生成することが考えられる。しかし、動画撮影中に撮影条件が変化していた場合、それらの画像を合成すると不自然な画像となってしまうという問題がある。

本発明は上記の問題点に鑑み、動画撮影中に静止画を撮影する場合において、動画記録のフレームレートに依存しない露光時間で良好な静止画像を取得することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、ライトフィールド情報を記述したライトフィールドデータを取得する取得手段と、仮想的な撮影条件を含む撮影条件を決定する決定手段と、前記ライトフィールドデータに対して前記決定手段で決定された撮影条件に基づいて、データの並び替え及び抽出の少なくとも１つを含む再構成処理を行う画像処理手段と、前記画像処理手段によりそれぞれ処理された複数フレームのライトフィールドデータを合成して新たなライトフィールドデータを生成する合成手段と、を有し、前記合成手段によって合成される前記複数フレームは、撮影条件の一部が同じであるように前記画像処理手段によって処理されていることを特徴とする。

本発明によれば、動画撮影中の静止画撮影において、動画記録を中断することなく、動画記録フレームレートに依存しない露光時間で良好な静止画像を生成することが可能となる。

本発明の第１の実施形態に係わる画像処理装置を適用した撮像装置の構成を示すブロック図である。図１の撮像装置が有する撮像素子の構成を説明するための図である。本発明の第１の実施形態における異なる絞りで撮影された像の分割画素への投影を表す図である。本発明の第１の実施形態における動画撮影のフローを示したフローチャートである。本発明の第１の実施形態における静止画生成処理のフローを示したフローチャートである。本発明の第１の実施形態における合成画像の光学条件および合成画像の露光時間を示した模式図である。本発明の第２の実施形態における静止画生成処理のフローを示したフローチャートである。本発明の第２の実施形態における再構成部１０６のサブブロックを示したブロック図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下においては、本発明の実施形態として、本発明に係わる画像処理装置を撮像装置に適用した例を示す。本発明に係わる画像処理装置が適用可能な撮像装置としては、再構成により焦点位置、絞り（被写界深度）などの異なる撮影条件の画像を生成することが可能なデータが得られるライトフィールドカメラ、多眼カメラがある。

本実施形態では、動画撮影中に静止画像の撮影が可能な撮像装置について説明を行うが、複数の画像を合成して一枚の画像を生成する撮像装置も含まれる。

（第１の実施形態）
図１は、本実施形態による画像処理装置を適用した撮像装置１００の構成を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１において、１０１はフォーカスレンズを含む撮影光学系であり、被写体からの光を複数のレンズ群および絞りを介して撮像素子１０２に導き、撮像素子１０２の撮像面上に被写体の光学像を形成する。撮影光学系１０１に含まれるフォーカスレンズは、不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動され、これによりピントの位置を調節することが可能である。

撮像素子１０２の撮像面には複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の光電変換部（画素配列）が備えられている。各マイクロレンズは撮影光学系１０１の射出瞳上を通る光束を瞳分割し、複数の光電変換部は前記マイクロレンズによって瞳分割された光束をそれぞれ受光するように構成されている。そのため、当該撮像素子１０２を用いることによって、複数の光電変換部（分割画素）の出力からリフォーカス可能な画素データを得ることができる。撮像素子１０２の詳細な構成については後述する。

Ａ／Ｄ変換器１０３は、撮像素子１０２からのアナログ信号をデジタル信号に変換するための変換器である。Ａ／Ｄ変換器１０３は、変換したデジタル信号を画像処理部１０４に出力する。

画像処理部１０４は、内部に後述する焦点検出部１０５、再構成部１０６、画像合成部１０７を含む画像処理機能を有する回路及びプログラム群で構成される。画像処理部１０４は、システム制御部１０８からの制御命令に基づいてＡ／Ｄ変換部１０３から出力される撮像データに所定の画像処理を行い、記録用および表示用の画像データを生成する。所定の画像処理とは、具体的には、ベイヤー配列で入力された撮像データに対して同時化処理、画素欠陥補正処理、ホワイトバランス処理、色空間変換処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行う。処理後の画像を表示部１１０および記録部１１１に出力する。同時化処理、画素欠陥補正処理、ホワイトバランス処理、色空間変換処理、ガンマ処理、ノイズリダクション等のデジタル信号処理の詳細については周知である為、ここでは詳細に説明を行わない。

また、画像処理部１０４は後述の画像合成部１０７において生成されたベイヤー配列の合成画像に対して撮像用画素と同様の処理を行い、表示部１１０および記録部１１１に出力を行う。

焦点検出部１０５は、Ａ／Ｄ変換部１０３を介して得られた撮像データを用いた所定の演算を行い、レンズ位置調節に用いる評価値を算出するための回路およびプログラムで構成される。焦点検出部１０５により算出された評価値はシステム制御部１０８を介してレンズ駆動命令へと変換され、撮影光学系１０１の駆動に用いられる。焦点検出部１０５の詳細な動作については後述する。

再構成部１０６は、Ａ／Ｄ変換部１０３を介して得られた撮像データ（ライトフィールドデータ）の並び替えや抽出処理などを含む再構成処理によって、実際の撮影された撮影条件および仮想的な撮影条件におけるライトフィールドデータを生成する。例えば、物理的な焦点面及び物理的な焦点面とは異なる焦点面（仮想焦点面）に対応したライトフィールドデータを生成することができる。また、再構成部１０６に現像処理まで行わせるモードである場合には、同等の角度情報であるデータを集めて有る視点画像としたり、角度情報をキャンセルするようにデータ同士を合成する処理を含む現像処理をライトフィールドデータに対してさらに施す。再構成部１０６の詳細な動作については後述する。

画像合成部１０７は、再構成部１０６で生成された複数のライトフィールドデータを合成し、１枚の静止画像に対応するライトフィールドデータを生成する。画像合成部１０７の詳細な動作についても後述する。

システム制御部１０８はシステム全体の動作制御を行うほか、画像処理によって得られたデータや、撮影光学系１０１のレンズ位置情報の取得等を行い、各ブロック間のデータ仲介役としても機能する。なお、システム制御部１０８が実行する制御プログラムは予め不図示のメモリに格納されている。また、本実施形態では、操作部１０９からの入力受付、撮影光学系１０１の駆動や光学条件の習得、ＬＦデータの再構成部１０６への加算条件の設定等を行う。具体的な制御については後述する。

操作部１０９は撮像装置１００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作部１０９を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。操作部１０９による操作入力は、システム制御部１０８に出力される。

表示部１１０はＬＣＤ等のディスプレイであり、システム制御部１０８から転送される撮影時の画像や記録部１１１に記憶された画像データ、および各種設定画面などを表示する。記録部１１１は、ＳＤカードやＣＦカードなどの記録媒体に対して、システム制御部１０８を介して転送される画像データの記録や、記録データの読み出しを行う。

次に、具体的な撮像素子１０２の構成について図２を用いて説明する。

図２（ａ）はマイクロレンズの下に複数の光電変換部を備える単位画素セル２００の配列を表している。単位画素セル２００は後述のカラーフィルタ２０２を有しており、分光感度の異なるＲ、Ｇ、Ｂの単位画素セル２００をベイヤー状に配列している。

図２（ｂ）は、単位画素セル２００の正面図であり、本実施形態では、水平垂直各々８分割された光電変換部を備えている。ここでは、水平方向への分割をＡからＨの座標であらわしており、垂直方向への分割を１から８の座標で表している。

図２（ｃ）は、単位画素セル２００を図２（ｂ）のＰとＰ‘で結んだ破線部を断面から見た図であり、マイクロレンズ２０１の下にカラーフィルタ２０２を備え、下部に光電変換部１Ａ〜１Ｈを有している。マイクロレンズ２０１によって集光された光束はカラーフィルタ２０２を介し、異なる射出瞳を通った光束として瞳分割され分割画素に結像される。

次に、図３を用いて、分割画素に結像される瞳分割された光束について説明を行う。

図３（ａ）は主光学系の射出瞳を水平方向８分割にした際の光束について、説明した図である。被写界に存在する被写体を３００、主光学系を３０１、最大開口径の上線を３０３、下線を３０５、最大開口径の半分の開口径の上線を３０２、下線を３０４とする。

図３（ｂ）は単位画素セル２００上に結像される開口径別の像を示した図である。上線３０３、下線３０５とした光束は、３０７の範囲に被写体３００が結像される。上線３０２、下線３０４とした光束は、３０６の範囲に被写体３００が結像される。

なお、図３（ｂ）の結像範囲は、垂直方向に水平方向と同じ範囲の光束を制限した場合について表している。

このように制限された光束は分割画素の受光範囲と密接に関係する。これは分割画素の加算範囲を変更することで、制限された光束によって生成された画像を生成することが可能であることを示している。

また、マイクロレンズ２０１の下に存在する分割画素を全て加算することで加算後のデータでは各分割画素の持つ角度情報がキャンセルされ、分割画素を有さない通常の撮像装置と同様の画像を得ることが可能である。

図４は、動画撮影中における静止画撮影処理動作のフローチャートを示す図である。

撮像装置１００（システム制御部１０８）は、操作部１０９へのスイッチ操作により動画撮影開始操作が実行されると、図４のフローチャートに従った動画撮影処理動作を実行する。

ステップＳ４０１では、システム制御部１０８は、オートフォーカス、自動露出等の予備動作を行う。ステップＳ４０１で撮影の予備動作が完了すると、システム制御部１０８は、処理動作をステップＳ４０２に進める。

ステップＳ４０２では、システム制御部１０８による制御の下、動画撮影フレームに応じたシャッタースピードで露光が行われ、撮像素子１０２から撮影対象領域（有効画素領域）の画素信号が出力される。ステップＳ４０２で露光動作が完了すると、システム制御部１０８は処理動作をステップＳ４０３に進める。

ステップＳ４０３では、画像処理部１０４が撮像素子１０２およびＡ／Ｄ変換機１０３によって取得された撮影対象領域の撮像データに対して所定の画像処理を施し、記録用および表示用の画像データを生成する。ステップＳ４０３で画像処理が完了するとシステム制御部１０８は処理動作をステップＳ４０４に進める。

ステップＳ４０４では、システム制御部１０８は、動画撮影中に操作部１０９へのスイッチ操作により静止画撮影操作が行われたか否かを判定する。ステップＳ４０４で静止画撮影操作が行われたと判定した場合は、システム制御部１０８は処理動作をステップＳ４０５に進め静止画撮影操作が行われなかったと判定した場合は、ステップＳ４０６に進める。

ステップＳ４０５の処理動作について図６を用いて説明を行う。図６は、動画撮影中の静止画撮影処理動作を模式的に示した図である。図６（ａ）は撮影時間に対する絞りの有効径の変化の一例、図６（ｂ）は動画記録フレームレートが１２０ｆｐｓの場合の記録フレーム、図６（ｃ）は動画撮影中の静止画記録フレームの一例を示す。本実施形態に係わる画像処理装置は、動画撮影（記録）が終了した後、記録された動画データの所定数のフレームを合成して静止画データを生成する。その際、所定数の動画フレームの絞りに代表される光学条件を同等にするため、動画データのフレーム画像を再構成し、合成画像を生成する。なお、動画撮影中に変化する撮影条件としては絞りの有効径（被写界深度）以外にも焦点面、ズーム倍率（ズームポジション）などが考えられ、それら複数の撮影条件のうちの少なくとも１つに基づいて合成フレーム数および再構成の条件は決定されればよい。

ステップＳ４０５では、画像合成部１０７が、予め設定されたシャッタースピードや露出補正値（静止画撮影条件）と動画記録フレームレートから静止画生成時の合成フレーム数を算出し、決定する。図６（ｂ）、（ｃ）に示すように動画記録のフレームレートが１２０ｆｐｓ、シャッタースピードが１／３０秒の静止画６０６を撮影するようにユーザあるいはシステム制御部１０８から設定されたとする。この場合には、合成フレーム数は動画記録フレーム６０８から６１１の４フレームとなる。このような動画中の有効径の急峻な変化は、例えば動画撮影中に被写体に対するフォーカスの信頼性を表す評価値が閾値以下になってしまった場合、撮像装置の動作としてフォーカス位置のスキャンモードに入る場合がある。その際にはオートフォーカスの検出をしやすいように絞りを開放側に設定するため発生する場合が存在する。

また、露出補正が＋１、すなわち１段分明るく補正した静止画６０７を撮影する場合は、合成フレーム数は動画記録フレーム６１２，６１３の２フレームとなる。合成フレームとして選定される動画記録フレームは静止画撮影操作時のフレーム以降、合成フレーム数だけ選定される。ステップＳ４０５で画像合成部１０７により静止画を生成するために合成だけフレーム数が決定されると、システム制御部１０８は処理動作をステップＳ４０６に進める。

ステップＳ４０６では、画像処理部１０４が現在処理している動画フレームが、ステップＳ４０５で画像合成部１０７が選定した合成対象のフレームであるか否かを選定する。ステップＳ４０６でシステム制御部１０８は、現在の処理フレームが合成対象フレームであると判定された場合、ステップＳ４０７に進め、合成対象フレームでないと判定された場合は、ステップＳ４０８に進める。

ステップＳ４０７では、画像合成部１０７が、合成対象フレームにマーカーを付ける。図６の場合は、動画フレーム６００から６０３および６０４から６０５にマーカーが付与される。

これにより、動画撮影後の静止画像の生成のために合成される動画フレームが容易に抽出される。ステップＳ４０７でマーカー処理が完了すると、システム制御部１０８は、処理動作をステップＳ４０８に進める。

ステップＳ４０８では、画像処理部１０４によって生成された動画像が記録部１１１によって記録されると同時に表示部１１０に表示される。

ステップＳ４０９では、システム制御部１０８は、不図示のスイッチ操作によって動画撮影の停止操作が行われたか否かを判定する。ステップＳ４０９で動画撮影の停止操作が行われたと判定した場合は、システム制御部１０８は、処理動作をステップＳ４１０に進める。一方、ステップＳ４０９で停止操作が行われなかった場合には、処理動作をステップＳ４０１に戻し、次のフレーム処理を開始させる。

ステップＳ４１０では、システム制御部１０８は動画撮影中に静止画撮影が行われたか否かを判定する。静止画撮影が行われていた場合は、処理動作をステップＳ４１１に進め、静止画撮影が行われていなかった場合には、動画撮影動作を終了する。

ステップＳ４１１では、再構成部１０６で再構成されたＬＦデータに対して画像合成部１０７が複数フレームの画像合成を行う。その後、画像処理部１０４によって静止画の生成を行い、表示部１１０による表示や記録部１１１による記録を行って、動画撮影フローを終了する。

ステップＳ４１１の詳細な動作について図５を用いて説明する。

ステップＳ５００で、システム制御部１０８は出力される静止画を生成するための仮想的な撮影条件を決定する。仮想的な撮影条件は焦点面（焦点位置）、絞り（被写界深度）、ズーム倍率（ズームポジション）などの少なくとも１つを含む。これらの撮影条件は、ユーザから操作部１０８を介して予め設定されるものでもよいし、シーン判別等によりシステム制御部１０８が自動的に決定するものでもよい。本実施形態では絞りが仮想的な撮影条件として決定される例を示す。このときステップＳ５００では、合成対象フレームの中で最小の絞り値（最大の開口）を検出し光束の制限する範囲を決定し、Ｓ５０１に進む。これは、光束の一部を制限することで小さな絞り値による画像を容易に生成するためである。ただし、本発明はこれに限ったものではなく、深度拡大により見かけ上の有効径を大きくする技術を用いる場合は、最初のフレームを基準フレームとして有効径を設定しても良い。また、得られる静止画の表示あるいは記録されるデータ形式がＬＦデータ（ライトフィールド情報）か、ＹＵＶ等の現像された後の画像データか、の設定もステップＳ５００で決定する。

ステップＳ５０１で、再構成部１０６は、ステップＳ５００で決定した仮想的な撮影条件に基づいて分割画素を処理する。ここで出力する静止画のデータ形式の設定がＬＦデータである場合には、ステップＳ５００で決定された撮影条件に基づいてデータの並び替え及びまたは抽出処理を含む再構成処理を行う。例えば撮影時の物理的な焦点面とステップＳ５００で決定された仮想的な焦点面が異なれば、仮想的な焦点面での光束の到達点にしたがって、画素を並び替える。また、例えば仮想的な撮影条件として、撮影時の絞り値よりも絞った絞り値（深い被写界深度）に決定された場合には、制限された光束に対応する信号を抽出する。また、静止画の出力の設定がＬＦデータではなく現像後の画像になっている場合、上記のようにして得られたＬＦデータを複数フレーム分の加算処理の前あるいは後で現像する。現像後の画像で記録すると、ＬＦデータで記録するのに比べて、データ量が小さい。

ステップＳ５０２では、ステップＳ５０１で生成したフレーム単位のデータを複数フレーム分合成する。合成するフレームの数は、ステップＳ４０５で決定した数である。ＬＦデータで記録する設定である場合には、ＬＦデータ同士で角度情報が対応するデータ同士を加算し、現像された画像で記録する設定である場合には、現像した画像同士で加算する。

ステップＳ５０３で、システム制御部１０８は、予め設定された合成対象の枚数分フレーム加算が完了したかどうかを判定し、加算が終わっていると判定した場合にはＳ５０４へ進む。加算が終わっていない場合には加算が終わるまでステップＳ５０１に戻り同様の処理を行う。

ステップＳ５０４では、画像処理部１０４は、静止画記録の設定に基づき画像合成部１０７から出力された画素値に基づいて画像処理を行い、表示部１１０に表示あるいは、記録部１１１に記録を行って静止画生成処理動作を終了する。ＬＦデータで記録する場合、画素欠陥や可逆圧縮処理などを行い、現像処理は行わずに記録する。現像後の画像データを記録する場合、同時化処理、ホワイトバランス処理、ガンマ処理、色空間変換処理、ノイズリダクション処理などを行い表示部１１０に出力する、あるいは符号化、圧縮処理を行ってＪＰＥＧ形式で記録する。

以上の通り、本実施形態では、ＬＦデータとして撮像データを取得する撮像装置の動画撮影中の静止画撮影において、動画記録を中断することなく、動画記録フレームレートに依存しない露光時間で良好な静止画像を生成することが可能となる。

（第２の実施形態）
第１の実施形態では、有効径の異なるフレーム間の加算について説明を行った。しかしながら、ユーザーの支持によって動画撮影中にズームポジション（ズーム倍率）が変化する場合が存在する。

第２の実施形態では、ズームポジションが異なる、つまり焦点距離の異なる複数のフレーム間の加算について説明を行う。

Ｆナンバーは、有効径と焦点距離の比で定義される。具体的にはＦナンバーをＦ、有効径をＤ、焦点距離をｆとしたとき、下記式（１）であらわされる。
Ｆ＝ｆ／Ｄ．．．（１）

例えば、Ｆ２．０通しのズームレンズにおいて、ｆが３５ｍｍと７０ｍｍの場合では、同等の分割画素の受光範囲で有効径が１７．５ｍｍと３５ｍｍとなることを表している。

つまり、実施形態１の図３（ｂ）では、３０６及び３０７の説明を射出瞳の直径の違いとして説明を行ったが、同様に３０６をｆ３５ｍｍのＦ２．０、３０７をｆ７０ｍｍのＦ４．０と考えることが可能である。これは、分割画素の選択範囲を異ならせることで、ズームポジションの変位によって異なる有効径の撮影画像を、同一有効径の画像に変換することが可能なことを表している。ここでいう有効径とは、入射瞳の大きさを示している。

第２の実施形態では、再構成部１０６の構成を、図８で示すように画角調整機能を有する画角調整部８００および焦点調節機能及び深度調節機能を有する深度調整部８０１とすることで、ズームポジションの変位をかんがみたＬＦデータの再構成処理を行う。

画角調整部８００は、ズームポジションの変位による画角を調整し、深度調整部８０１に出力する。具体的には、光学中心を切り出し中心としたトリミング回路である。

深度調整部８０１は、前述のＦおよびｆに基づいて、画角調整部８００から入力された画像に対して、有効径を同一条件に調整する回路である。具体的には、システム制御部１０８の指示に基づいて分割画素の出力範囲の選択、もしくは分割画素の加算範囲の選択及び加算を行う。

なお、分割画素の出力範囲の選択のみを行い、後段で別フレームの画像を加算する際には、拡大縮小処理を行って図３（ｂ）の３０７相当の受光範囲であるように再構成することが望ましい。

例えば、ｆ＝７０ｍｍのときに３０６の範囲に受光した像は有効径１７．５ｍｍ相当であり、ｆ＝３５ｍｍのときの３０７の範囲に受光した像と同一の有効径である。つまり、有効径である入射瞳の口径を一方に合わせるために制限することは、射出瞳の口径を制限することになる。同一の光学条件のフレーム間加算を行うためには、各分割画素の受光する射出瞳の位置を同一に揃える必要がある。そのため、制限された分割画素の範囲を拡大縮小することで前記課題を解決することが可能となる。

次に、具体的な有効径の条件を同一条件に調整する手順について図７のフローチャートを用いて説明する。

図７のフローチャートは、第１の実施形態で説明を行った図４の静止画生成処理Ｓ４１１のサブルーチンである。

ステップＳ７００では、システム制御部１０８はマーカーのつけられた合成対象のフレームの中で最も小さい画角を検出するとともに、有効径が同一であるように開口径の範囲を検出する。

ステップＳ７０１では、システム制御部１０８は、ステップＳ７００で求められた最も小さな画角を基準として画角調整部８００にトリミング範囲を設定する。画角調整部８００は設定されたトリミング範囲に基づいて入力されたＬＦデータに対してトリミング処理を行いステップＳ７０２に進む。

ステップＳ７０２では、システム制御部１０８は、ステップＳ７００で求められた開口径の範囲に基づいて深度調整部８０１に分割画素の選択範囲と拡大縮小の設定、処理を行い、ステップＳ７０３に進む。

ステップＳ７０３では、画像合成部１０７は再構成された画像を別フレームの画像と加算する。

ステップＳ７０４では、システム制御部１０８は、予め設定された合成対象の枚数分フレーム加算が完了したかどうかを判定し、加算が終わっていると判定した場合にはＳ７０５へ進む。、加算が終わっていない場合には加算が終わるまでステップＳ７０１に戻り同様の処理を行う。

ステップＳ７０５では、画像処理部１０４は、静止画記録の設定に基づき画像合成部１０７から出力された画素値に基づいて画像処理を行い、表示部１１０に表示あるいは、記録部１１１に記録を行って静止画生成処理動作を終了する。ＬＦデータで記録する場合、画素欠陥や可逆圧縮処理などを行い、現像処理などは行わずに記録する。現像後の画像データを記録する場合、同時化処理、ホワイトバランス処理、ガンマ処理、色空間変換処理、ノイズリダクション処理などを行い表示部１１０に出力する、あるいは符号化、圧縮処理を行ってＪＰＥＧ形式で記録する。

このように処理することで、ズームポジションの変位をかんがみたＬＦデータの再構成が可能となり、動画撮影中の静止画撮影において、動画記録を中断することなく、動画記録フレームレートに依存しない露光時間で良好な静止画像を取得することが可能となる。

なお、本実施形態では常に再構成処理を行う構成で説明を行ったがこれに限らない。、例えば絞りや焦点距離による有効径の変化があるかどうかをシステム制御部１０８で判定し、有効径が変わっていない場合には再構成処理をせずに合成を行っても良い。

また、本実施形態では本発明を適用した撮像装置について説明を行ったがそれに限ったものではなく、例えば動画像データを外部記憶装置から読み出して処理を行う画像処理装置に適用しても良い。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらない。携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機、車載センサ、ドローンなど、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

Claims

ライトフィールド情報を記述したライトフィールドデータを取得する取得手段と、
仮想的な撮影条件を含む撮影条件を決定する決定手段と、
前記ライトフィールドデータに対して前記決定手段で決定された撮影条件に基づいて、データの並び替え及び抽出の少なくとも１つを含む再構成処理を行う画像処理手段と、
前記画像処理手段によりそれぞれ処理された複数フレームのライトフィールドデータを合成して新たなライトフィールドデータを生成する合成手段と、を有し、
前記合成手段によって合成される前記複数フレームは、撮影条件の一部が同じであるように前記画像処理手段によって処理されていることを特徴とする画像処理装置。
前記撮影条件は、焦点面、絞り値、ズーム倍率の少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
前記画像処理手段は、前記ライトフィールドデータに対して前記データの再構成処理を行うモードと、再構成処理がなされた前記ライトフィールドデータにさらに現像処理を行うモードとを有することを特徴とする請求項１または２に記載の画像処理装置。
前記合成手段は、前記複数フレームのライトフィールドデータを、角度情報が対応するデータ同士で加算することで合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記ライトフィールドデータを取得する取得手段は、
マイクロレンズの下に光束を分割するように分割画素を備える撮像素子で撮像された撮像されたデータを前記ライトフィールドデータとして取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記決定手段は、前記複数のフレームの中で最も絞り値の大きいフレームに合わせることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記画像処理手段は、画角調整機能を備えることを特徴とした請求項１乃至６のいずれか１項に記載の画像処理装置および撮像装置。
前記複数のフレームは動画像データのフレームであって、
予め設定された前記動画像データのフレームレートに基づいて選択されることを特徴とした請求項１乃至７のいずれか１項に記載の画像処理装置および撮像装置。
ライトフィールド情報を記述したライトフィールドデータを取得する取得手段と、
仮想的な絞り値を含む絞り値を決定する決定手段と、
前記ライトフィールドデータに対して前記決定手段で決定された絞り値に基づいて、データの抽出を含む再構成処理を行う画像処理手段と、
前記画像処理手段によりそれぞれ処理されたデータを合成して新たなデータを生成する合成手段と、を有し、
前記合成手段によって合成される前記複数フレームは、撮影条件の一部が同じであるように前記画像処理手段によって処理されていることを特徴とする画像処理装置。
前記画像処理手段は、前記ライトフィールドデータの焦点面及びズーム倍率の少なくとも１つを調整する、焦点調節機能および画角調整機能の少なくとも１つを備えることを特徴とした請求項９に記載の画像処理装置。
ライトフィールド情報を記述したライトフィールドデータを取得する取得ステップと、
仮想的な撮影条件を含む撮影条件を決定する決定ステップと、
前記ライトフィールドデータに対して前記決定ステップで決定された撮影条件に基づいて、データの並び替え及び抽出の少なくとも１つを含む再構成処理を行う画像処理ステップと、
前記画像処理ステップによりそれぞれ処理された複数フレームのライトフィールドデータを合成して新たなライトフィールドデータを生成する合成ステップと、を有し、
前記合成ステップによって合成される前記複数フレームは、撮影条件の一部が同じであるように前記画像処理ステップによって処理されていることを特徴とする画像処理装置の制御方法。
ライトフィールド情報を記述したライトフィールドデータを取得する取得ステップと、
仮想的な絞り値を含む絞り値を決定する決定ステップと、
前記ライトフィールドデータに対して前記決定ステップで決定された絞り値に基づいて、データの抽出を含む再構成処理を行う画像処理ステップと、
前記画像処理ステップによりそれぞれ処理されたデータを合成して新たなデータを生成する合成ステップと、を有し、
前記合成ステップによって合成される前記複数フレームは、撮影条件の一部が同じであるように前記画像処理ステップによって処理されていることを特徴とする画像処理装置の制御方法。
請求項１１または１２に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
コンピュータに、請求項１１または１２に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。