JP2021005759A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】被写体が存在する被写体領域のうちのリフォーカス処理の対象として適した有効被写体領域を判定する技術を提供する。【解決手段】所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間の像ずれ量分布を生成する第１の生成手段と、前記所定の撮影範囲において被写体が存在する被写体領域を検出する検出手段と、前記像ずれ量分布に基づいて前記被写体領域のうちの有効被写体領域を判定する判定手段であって、像ずれが第１の程度よりも小さい領域を含むように前記有効被写体領域を判定する、判定手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図９

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像を用いて、合焦位置を変更したリフォーカス画像を生成する画像処理方法が特許文献１に開示されている。特に、特許文献１では、遠近競合やオクルージョンの影響を考慮してコントラスト分布を生成し、リフォーカス処理を行うことで、画質品位の低下を防ぐ方法が開示されている。

また、特許文献２では、リフォーカス処理を行う際に、ユーザーからの指示を受けることなく、焦点位置を決定し、画像のリフォーカス処理を行う方法が開示されている。具体的には、縮小画像に対して被写体検出を行い、被写体が検出された領域で算出されたデフォーカス量をもとに、リフォーカス処理を行う方法が開示されている。

特開２０１７−１６３３０８号公報 特開２０１６−０４６７７７号公報

しかしながら、特許文献２に開示された方法では、被写体がリフォーカス可能範囲内に存在しているかを考慮していないため、リフォーカス可能範囲外に被写体がいる場合であっても、リフォーカス処理を実施してしまう場合がある。また、特許文献２に開示された方法では、遠近競合やオクルージョンの影響を考慮していないため、被写体によっては画質品位が低下する可能性がある。

本発明はこのような状況に鑑みてなされたものであり、被写体が存在する被写体領域のうちのリフォーカス処理の対象として適した有効被写体領域を判定する技術を提供することを目的とする。

上記課題を解決するために、本発明は、所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間の像ずれ量分布を生成する第１の生成手段と、前記所定の撮影範囲において被写体が存在する被写体領域を検出する検出手段と、前記像ずれ量分布に基づいて前記被写体領域のうちの有効被写体領域を判定する判定手段であって、像ずれが第１の程度よりも小さい領域を含むように前記有効被写体領域を判定する、判定手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、被写体が存在する被写体領域のうちのリフォーカス処理の対象として適した有効被写体領域を判定することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像装置の概略構成図。 画素配列の概略図。 （Ａ）画素の概略平面図、（Ｂ）画素の概略断面図。 画素と瞳分割の概略説明図。 画素内部の光強度分布例を示す図。 瞳強度分布を例示する図。 撮像素子と瞳分割の概略説明図。 デフォーカス量と、像ずれ量の概略関係図。 リフォーカス処理のフローチャート。 瞳ずれによるシェーディングを示す図。 撮像画像を例示する図。 撮像画像のコントラスト分布（撮像コントラスト分布）を例示する図。 第１視点画像のコントラスト分布（第１視点コントラスト分布）を例示する図。 第２視点画像のコントラスト分布（第２視点コントラスト分布）を例示する図。 視点画像間の視差と遠近競合の概略関係図。 第１視点画像と第２視点画像のコントラスト差分量分布を示す図。 撮像画像の補正コントラスト分布を例示する図。 第１視点画像と第２視点画像の像ずれ量分布を例示する図。 図９のステップＳ４に示す有効領域の判定の処理のフローチャート。 高コントラスト領域判定を行った結果の一例を示す図。 リフォーカス可能範囲を判定した結果の一例を示す図。 有効領域の判定結果の一例を示す図。 図９のステップＳ５に示す被写体領域の判定の処理のフローチャート。 被写体領域の判定を行った結果の一例を示す図。 有効被写体領域の判定結果の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下の実施形態では、本発明をデジタルカメラ等の撮像装置に適用した場合について説明するが、本発明は以下の実施形態で説明する画像処理を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。

＜＜第１の実施形態＞＞
図１は本実施形態に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６（オートフォーカス補助光源）は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

カメラ本体部の制御部を構成するＣＰＵ１２１（中央演算処理装置）は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。本実施形態では、撮像素子１０７により撮像され、画像処理回路１２５により処理された画像データとして複数の視点画像やそれらを撮像素子１０７内や画像処理回路１２５内で合成した合成画像を表示部１３１やフラッシュメモリ１３３に表示・記録する。

［撮像素子］
本実施形態における撮像素子の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ軸方向とし、上下方向をｙ軸方向とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向と定義する。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示したものである。

本実施形態では、図２に示した２列×２行の画素群２００は、第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上の位置に配置されている。また、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に配置されている。また、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は、ｘ軸方向に２分割（Ｎｘ分割）、ｙ軸方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。

図２に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像素子１０７から、以下の画像を取得可能である。すなわち、表示部１３１での表示やフラッシュメモリ１３３への記録などにも用いる撮像画像（合成画像）および分割数２（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施形態の撮像素子では、画素の周期Ｐを約５μｍ（マイクロメートル）とし、画素数Ｎを横６７２０列×縦４４８０行＝約３０１０万画素とする。また、副画素の列方向周期Ｐ_Ｓを約２．５μｍとし、副画素数Ｎ_Ｓを横１３４４０列×縦４４８０行＝約６０２０万画素とする。

図２に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。

図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ軸方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ軸方向に２分割（Ｎｘ分割）、ｙ軸方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ）の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割された第１光電変換部３０１（ｎ型層）と第２光電変換部３０２（ｎ型層）から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、各画素や各光電変換部などで、カラーフィルタ３０６の分光透過率を変えても良いし、カラーフィルタを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、撮像素子１０７における画素構造と瞳分割との対応関係を示す概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ軸方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ軸方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。

２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）は、概ね光学的に共役な関係になっている。詳細には、各々が、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）で、それぞれ、受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第Ｎ_ＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。

図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対（左右対称的）に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

本実施形態の撮像素子と瞳分割との対応関係を示した概略図を図７に示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。撮像素子の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）は、それぞれ結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。

ＬＦデータから、画素毎に２×１分割された第１副画素２０１と第２副画素２０２の中から特定の副画素の信号を選択することで、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した視点画像を生成できる。例えば、画素毎に、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。

また、ＬＦデータ（入力画像）から、画素毎に、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。

以上のように本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。

［デフォーカス量と像ずれ量の関係］
本実施形態の撮像素子により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と、像ずれ量との関係について、以下に説明する。

図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量について概略的に示す関係図である。撮像面６００には撮像素子（不図示）が配置され、図４、図７の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。

被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

［リフォーカス処理］
本実施形態では、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後に、フォーカス位置を修正（変更）するリフォーカス処理を行う。本実施形態では、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）を用いたシフト合成処理によるリフォーカス処理を行う。なお、リフォーカス処理に加え、特許文献１に開示されているように、像ずれ差分量分布を算出し、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御を行ってもよい。

以下、本実施形態の撮像素子により取得されたＬＦデータ（入力画像）から、撮影後に、フォーカス位置やボケ感が修正された処理画像（出力画像）を生成する画像処理方法について、図９を用いて説明する。図９は、有効被写体領域を考慮したリフォーカス処理の概略図を示す。図９は、入力となる多視点画像をもとに、有効被写体領域の判定を行い、有効被写体領域から所定像ずれ量を算出し、リフォーカス処理を行う。有効被写体領域の判定を行うことにより、ユーザーからの指示を受けることなく、リフォーカスの効果が得られる被写体を高精度に検出し、リフォーカスを実施することが可能となる。なお、図９の処理は、ＣＰＵ１２１と画像処理回路１２５によって実行される。

［多視点画像と撮像画像］
図９のステップＳ１で、本実施形態の撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する。

ステップＳ１において、まず、本実施形態の撮像素子により取得されたＬＦデータ（入力画像）を入力する。もしくは、予め本実施形態の撮像素子により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いても良い。

ステップＳ１において、次に、結像光学系の異なる瞳部分領域毎に、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（１）により生成する。

本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割の例である。図２に例示した画素配列に対応したＬＦデータ（入力画像）から、画素毎に、ｘ軸方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択する。よって、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像と第２視点画像（第Ｎ_ＬＦ視点画像）を生成する。

ここで、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１０に、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図１０（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１０（Ｂ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。同様に、図１０（Ｃ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ毎に生じる。

必要に応じて、各視点画像のシェーディングを改善するために、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に、それぞれ、ＲＧＢ毎に、シェーディング補正処理（光学補正処理）を行っても良い。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理などを行っても良い。

図９のステップＳ１において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する。列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（２）により生成する。

本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割の例である。図２に例示した画素配列に対応した入力画像から、画素毎にｘ軸方向２分割された第１副画素２０１と第２副画素２０２の信号を全て合成し、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理などを行っても良い。図１１に、本実施形態のデモザイキング処理された撮像画像を例示する。中央に人物（人形）が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。

以上のように本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成する。そして、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。しかしこれに限らず、本実施形態も他の実施形態も、公知の技術により複数の視点画像及びそれらの合成画像を取得できるものであれば適用出来る。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像素子１０７とみなす構成でもよい。また、図１の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

［コントラスト分布］
図９のステップＳ２で、本実施形態の撮像画像（合成画像）と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施形態のコントラスト分布は、視点画像間の差に応じた調整が行われる。

ステップＳ２において、まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙを、式（３Ａ）により生成する。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点輝度信号Ｙｋを、式（３Ｂ）により生成する。

ステップＳ２において、次に、空間周波数の高周波成分を抽出する２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）を式（４Ａ）より生成する。２次元バンドパスフィルタを｛Ｆ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）｜−ｎ_ＢＰＦ≦ｊ_ＢＰＦ≦ｎ_ＢＰＦ、−ｍ_ＢＰＦ≦ｉ_ＢＰＦ≦ｍ_ＢＰＦ｝とする。同様に、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）を式（４Ｂ）より生成する。

本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割の例である。ｘ軸方向（瞳分割方向）の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ軸方向（瞳分割方向と直交する方向）の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタを構成する例を示す。すなわち、２次元バンドパスフィルタをＦ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）とする。瞳分割方向であるｘ軸方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）には、ｘ軸方向の空間周波数の高周波成分を抽出するため、例えば、０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］などの１次元バンドパスフィルタを用いることができる。

ここで、１次微分型フィルタ［１、２、０、−２、−１］と２次微分型フィルタ［１、０、−２、０、１］を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分に０点が存在するため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。よって、本実施形態では、１次微分型フィルタと２次微分型フィルタ（一般には、異なる次数の微分型フィルタ）を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。

必要に応じて、［１、２、０、−２、−１］などの１次微分型フィルタ、［１、０、−２、０、１］などの２次微分型フィルタ、高次微分型フィルタや、より一般的な１次元バンドパスフィルタを用いても良い。瞳分割方向と直交する方向であるｙ軸方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）には、ｙ軸方向の高周波ノイズを抑制するため、例えば、［１、１、１、１、１］や［１、４、６、４、１］などの高周波カット（ローパス）フィルタを用いることができる。必要に応じて、ｘ軸方向とｙ軸方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行っても良い。本実施形態では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

ステップＳ２において、次に、Ｙ_０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を、撮像輝度信号Ｙ（ｊ，ｉ）により規格化した、規格化撮像高周波信号ｄＺ（ｊ，ｉ）を、式（５Ａ）により生成する。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）を、式（５Ｂ）により生成する。分母のＹ_０＞０との最大値判定は、０割を防止するためである。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制しても良い。

ステップＳ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γとして、撮像コントラスト分布Ｃ（ｊ，ｉ）を、式（６Ａ）により生成する。式（６Ａ）の１行目で、撮像輝度信号Ｙ（ｊ，ｉ）が、低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が０に設定される。式（６Ａ）の３行目で、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が、コントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が１に設定される。それ以外の場合は、式（６Ａ）の２行目で、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される。

以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値が、０に近いとコントラストが低く、１に近いとコントラストが高いことを示す。撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは１．５以上２．５以下が望ましい。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））を撮像コントラスト分布としても良い。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、式（６Ｂ）により生成する。

本実施形態の撮像コントラスト分布Ｃ（ｊ，ｉ）の分布例を図１２に、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）の分布例を図１３に、第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の分布例を図１４に、それぞれ、例示する。図１２から図１４に示す分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、０近傍の黒い部分はｘ軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。

本実施形態における複数の視点画像（第１視点画像と第２視点画像）間の視差と、遠近競合やオクルージョンとの関係を、図１５を用いて説明する。図１５において、撮像面６００に本実施形態の撮像素子（不図示）が配置され、図４、図７、図８と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

図１５（Ａ）は、被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合が生じている例である。この例を、結像光学系の第１瞳部分領域５０１を通過する光束と、第２瞳部分領域５０２を通過する光束に、それぞれ、分けたものを、図１５（Ｂ）、図１５（Ｃ）に示す。

図１５（Ｂ）では、被写体ｑ１からの光束は、第１瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像し、手前の被写体ｑ２からの光束は、第１瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子の各画素の第１副画素２０１で受光される。第１副画素２０１の受光信号から、第１視点画像が生成される。第１視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１が重ならずに、異なる位置で撮影される。第１視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じていない例である。

一方、図１５（Ｃ）では、被写体ｑ１からの光束は、第２瞳部分領域５０２を通過し、合焦状態で像ｐ１に結像する。そして、手前の被写体ｑ２からの光束は、第２瞳部分領域５０２を通過し、デフォーカス状態でボケ像Γ２に広がり、撮像素子の各画素の第２副画素２０２で受光される。第２副画素２０２の受光信号から、第２視点画像が生成される。第２視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって撮影される。第２視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じている例である。

図１５の例は、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第１視点画像と第２視点画像とで遠近競合やオクルージョンが生じている状態が異なる。すなわち、第１視点画像と第２視点画像間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。

本実施形態の第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の差分量分布Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）を図１６に例示する。図１６に示す分布例では、右側の［−１、１］の範囲のグレースケール表示にて、第１視点画像のコントラストと第２視点画像のコントラスト間の差（第１視点コントラスト分布と第２視点コントラスト分布の差分量）の大小の指標を表している。図１６のグレースケールにおいて、値が０近傍の灰色部分は、第１視点画像のコントラストと第２視点画像のコントラスト間の差が小さい領域を示している。一方、図１６のグレースケールにおいて、値が１近傍の白い部分は、第１視点画像のコントラスト値が１に近く、第２視点画像のコントラスト値が０に近いことを示している。また、図１６のグレースケールにおいて、値が−１近傍の黒い部分は、第２視点画像のコントラスト値が１に近く、第１視点画像のコントラスト値が０に近いことを示している。

図１６において、第１視点画像のコントラストと第２視点画像のコントラスト間の差が大きい白い領域、又は、黒い領域として、人物（人形）の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が、検出されている。また、遠近競合やオクルージョンを生じている領域以外に、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域など、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。これらの検出領域では、第１視点画像と第２視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ、撮影されている。そのため、第１視点画像と第２視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。

これらの空間周波数成分が異なる複数被写体像の混成領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。したがって、本実施形態では、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜を用いて、空間周波数成分が異なる複数被写体像の混成領域の検出を行う。そして、検出された混成領域での先鋭化や平滑化などの画像処理を抑制して行う。これにより、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。

本実施形態では、ステップＳ２において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出するために、コントラスト差分量分布を生成する。詳細には、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を生成する。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制した補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を生成する。

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づく。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく分布である。補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせた分布であり、よって、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制した分布である。

本実施形態の補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の分布例を図１７に、例示する。図１７に示す分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、０近傍の黒い部分はｘ軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。図１２に示した撮像コントラスト分布Ｃ（ｊ，ｉ）に対して、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜が大きい領域でのコントラスト値が抑制されている。

本実施形態では、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）として、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜に対して単調減少な線形関数を用いた。しかしこれに限られるものではなく、必要に応じて、より一般的な関数を用いても良い。

以上のように本実施形態では、撮像画像と複数の視点画像から、視点画像毎のコントラスト間の差に応じて、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を生成する。本実施形態のコントラスト分布は、視点画像毎のコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が大きい。また、本実施形態のコントラスト分布は、所定の空間周波数帯域における撮像画像の空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい。また、本実施形態のコントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きい。

２回目以降の処理で、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、以下を行うことが望ましい。すなわち、生成された補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を、記録される画像データと関連付けてフラッシュメモリ１３３等の記録媒体などに記録することが望ましい。

［像ずれ量分布］
図９のステップＳ３において、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上である各位置（ｊ，ｉ）で、第１視点画像と第２視点画像（複数の視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき像ずれ量分布を生成する。なお、本実施形態はこれに限らず、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。

ステップＳ３では、まず、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１から、式（３Ｂ）により生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、第２視点画像Ｉ_２から、式（３Ｂ）により生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整しても良い。

ステップＳ３では、次に、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上の各位置（ｊ，ｉ）において、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを相対的に瞳分割方向（列方向）にシフトさせ、信号の一致度を表す相関量を算出する。所定値とは、例えば、０．２とする。そして、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。一方、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満である各位置（ｊ，ｉ）は、像ずれ量の算出から除外する。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化することができる。

位置（ｊ，ｉ）を中心として、行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）とする。シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）を、式（８Ａ）により算出し、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）を、式（８Ｂ）により算出する。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。

補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＳ（ｊ，ｉ）＝０とする。必要に応じて、０以外の値を設定しても良い。

本実施形態の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の分布例を図１８に、例示する。図１８では、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２以上で、像ずれ量が算出されている領域は、右側の［−６、６］の範囲のグレースケール表示にて、第１視点画像と第２視点画像との間の像ずれ量を１ピクセル単位で表している。マイナス（−）符号の黒側の部分は、前ピン状態の領域を、０付近の灰色の部分は、合焦近傍の領域を、プラス（＋）符号の白側の部分は、後ピン状態の領域を、示している。また、図１８の分布例の表示では、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外され、Ｍ_ＤＩＳ（ｊ，ｉ）＝０と設定された領域に関しては、灰色で表示している。

以上のように本実施形態では、複数の視点画像から、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。

２回目以降の処理で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を、記録される画像データと関連付けてフラッシュメモリ１３３等の記録媒体などに記録することが望ましい。

必要に応じて、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離などに応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換しても良い。

［有効被写体領域を考慮した所定像ずれ量の算出］
次に、図９のステップＳ４からＳ７において、所定像ずれ量ｐの算出を行う。所定像ずれ量ｐは、リフォーカス処理、つまり、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）を用いたシフト合成処理を行う際の、第１視点画像と第２視点画像のシフト量に相当する。

特許文献１では、リフォーカス処理により修正を行いたい像ずれ量を、ユーザーが所定像ずれ量として設定する必要がある。そのため、複数のＬＦデータに対して処理をする場合に、ユーザーが１枚ずつリフォーカス効果を確認し、リフォーカス処理により修正を行いたい像ずれ量を、所定像ずれ量として指定する必要がある。

また、特許文献２では、縮小画像に対して被写体検出を行い、被写体が検出された領域から算出されたデフォーカス量をもとに、リフォーカス処理を行っている。これにより、ユーザーからの指示なしに、リフォーカス処理が行えるが、リフォーカス可能範囲外に存在する被写体に対しても、リフォーカス処理を行ってしまう可能性がある。また、特許文献２では遠近競合やオクルージョンの影響を考慮していないため、被写体によっては画質品位が低下する可能性がある。

本実施形態では、リフォーカス処理により効果が得られる被写体が存在する有効被写体領域を判定し、有効被写体領域から所定像ずれ量を算出することにより、ユーザーからの指示を受けることなく、リフォーカスの効果が得られる被写体を高精度に検出し、リフォーカスを実施することが可能となる。

有効被写体領域の判定は、リフォーカスの効果が得られる有効領域の判定結果と、被写体が存在する被写体領域の判定結果をもとに行う。以下、図９を用いて、有効被写体領域の判定から、有効被写体領域をもとに所定像ずれ量を算出するまでの処理を説明する。

最初に、図９のステップＳ４において、高コントラスト、かつ、リフォーカス可能範囲の領域を含む、リフォーカス処理の効果が得られる有効領域の判定を行う。

次に、図９のステップＳ５において、被写体検出処理を行い、被写体が存在する被写体領域の判定を行う。

図９のステップＳ６では、図９のステップＳ４、Ｓ５での判定結果をもとに、有効被写体領域の判定を行う。有効被写体領域とは、リフォーカス処理の効果が得られる有効領域であり、かつ、被写体が存在する被写体領域である領域を意味する。つまり、有効被写体領域の判定により、リフォーカス処理の効果が得られる被写体を検出することができる。

図９のステップＳ７では、ステップＳ６で判定した有効被写体領域の補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）と像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）をもとに、所定像ずれ量の算出を行う。これにより、リフォーカス処理の効果が期待できる被写体に対して、リフォーカス処理を行うのに適した所定像ずれ量を算出することができる。

以下、図９のステップＳ４からＳ７の詳細な手順について説明する。

最初に、図９のステップＳ４を、図１９を用いて説明する。図１９は、図９のステップＳ４に示す有効領域の判定の処理のフローチャートである。

図１９のステップＳ４０１において、入力画像を複数の領域に分割する。例えば、本実施形態では、画素数が横６７２０列×縦４４８０行であるため、一例として横６５０列×縦６５０行の領域を、横方向に１０ブロック、縦方向に６ブロックで分割する。なお、分割サイズは、この大きさのブロックに限らず、任意の大きさで良い。また、全画素領域に対して端から端までブロックを敷き詰めても、本実施形態のように画素領域の一部領域に対して、ブロックを敷き詰めてもよい。本実施形態で分割したブロックは後述の図２０に実線で図示している。

図１９のＳ４０２において、図１９のステップＳ４０１で分割した領域に対して、それぞれ高コントラスト領域判定を行う。高コントラスト領域判定は、図１７に示した補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を用いて判定を行う。例えば、分割された横６５０列×縦６５０行の領域それぞれに対して、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の平均値を算出し、算出された領域のコントラスト平均値がある所定値以上の場合、その領域を高コントラスト領域と判定する。

高コントラスト領域判定を行った結果の一例を図２０に示す。図２０は、図１７に示したコントラスト分布に重ねて、分割した領域を実線の枠で、高コントラスト領域と判定された領域を「ＯＫ」の文字で示している。図２０において、横１０ブロック、縦６ブロックの領域分割がなされ、コントラスト平均値が所定値以上の領域が、高コントラスト領域と判定され、「ＯＫ」の文字が示されている。

なお、本実施形態では、領域毎に補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の平均値を算出して、領域のコントラスト平均値が所定値以上かを判定しているが、高コントラスト領域判定の方法は、この方法に限らない。例えば、領域に含まれるコントラスト値が所定値以上の画素の割合をもとに、高コントラスト領域判定を行ってもよい。また、領域におけるコントラスト値が所定値以上の画素に対してグルーピングを行い、グルーピングした画素が所定値以上の広さ（画素数）となる場合に、その領域が高コントラスト領域であると判定してもよい。

次に、図１９のステップＳ４０３からＳ４０６において、リフォーカス可能範囲の判定を行う。最初にＳ４０３において、分割した領域の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）から像ずれ量のヒストグラムを算出する。

本実施形態では、像ずれ量分布を［−６、６］の範囲で作成しているため、下記のように分類して、それぞれの範囲の像ずれ量を示す画素の出現頻度を算出する。一例として、像ずれ量範囲［−６、−３］を示す前ピンのリフォーカス可能範囲外、（−３、−１）を示す前ピンのリフォーカス可能範囲内、［−１、１］を示すリフォーカス判定不能領域。また、像ずれ量範囲（１、３）を示す後ピンのリフォーカス可能範囲内、［３、６］を示す後ピンのリフォーカス可能範囲外の５種類に分類を行う。

本実施形態では、後述のシフト合成処理によるリフォーカスにおいて、所定像ずれ量ｐに最も近い偶数ｐｅを用いて画素シフトを実施するため、ここでは、２画素シフトを実施する像ずれ量の範囲（−３、−１）、（１、３）をリフォーカス可能範囲内と定義した。

なお、リフォーカス可能範囲内の定義は、上記定義に限らず、実施するリフォーカス処理により、効果が得られる像ずれ量の範囲であればいずれでもよい。

次に、図１９のステップＳ４０４において、図１９のステップＳ４０３で作成したヒストグラムをもとに、リフォーカス可能範囲内の像ずれ量を示す画素が所定数以上含まれる場合に、リフォーカス可能範囲内領域と判定する。

また、図１９のステップＳ４０５において、ステップＳ４０４の処理でリフォーカス可能範囲内と判定されず、リフォーカス可能範囲外を示す所定値範囲の像ずれ量を示す画素が所定数以上含まれる場合に、リフォーカス可能範囲外領域と判定する。

また、図１９のステップＳ４０６において、ステップＳ４０４、Ｓ４０５の処理でリフォーカス可能範囲内と、リフォーカス範囲外のいずれにも判定されなかった領域は、リフォーカス判定不能領域と判定する。

ここでの判定不能領域は、コントラストが得られず、像ずれ量が算出できない領域のことを指す。例えば、人物の目にはコントラストがあるため、像ずれ量を算出できるが、人物の頬はコントラストがないため、像ずれ量を算出できない。このような場合、人物の目に設定された分割領域は、リフォーカス可能範囲内と判定される一方で、人物の頬に設定された分割領域は、リフォーカス判定不能領域と判定される。

なお、本実施形態では、像ずれ量算出から除外された画素を、像ずれ量０として像ずれ量分布を作成している。この方法により、後述の像ずれ量分布を補正コントラスト分布Ｍ_ＣＯＮで重みづけ加算をして所定像ずれ量ｐを算出する際に、コントラストがなく像ずれ量が算出できない画素の影響を受けずに所定像ずれ量ｐを算出することができる。一方で、上記のリフォーカス判定不能領域内には、コントラストがなく像ずれ量が算出できない領域に加え、高コントラストで合焦状態である領域も含まれている。そのため、この方法に限らず、コントラストがなく像ずれ量が算出できない領域には無効値を入力し、コントラストがなく像ずれ量が算出できない領域と、高コントラストで合焦している領域とを区別してもよい。このとき、像ずれ量が無効値の領域をフォーカス判定不能領域と設定し、像ずれ量が［−１、１］の範囲を示す領域を合焦判定領域と設定してもよい。また、合焦判定領域を用いて、後述の図２３のステップＳ５４の検出被写体合焦判定を行ってもよい。

なお、被写体によっては１つの分割領域内に、前ピンのリフォーカス可能範囲内の像ずれ量を示す画素が所定数以上含まれ、かつ、後ピンのリフォーカス可能範囲外の像ずれ量を示す画素が所定数以上含まれる場合がある。例えば、奥行き方向に複数の人物が並び、ピント位置が２人の間に存在するような場合が考えられる。

このとき、分割領域内に２人の人物が入ってしまうと、前ピンを示す像ずれ量と、後ピンを示す像ずれ量が分割した領域内に混在してしまい、後述の図９のステップＳ７における所定像ずれ量算出において誤差原因となってしまう。そのため、図１９のステップＳ４０３とＳ４０４の間に、ヒストグラムから分割領域の信頼性を評価するステップを設けてもよい。

例えば、上で述べたように、前ピンを示す像ずれ量の画素と、後ピンを示す像ずれ量の画素がそれぞれ所定数以上、分割領域内に存在する場合、信頼性が低いと判定する。

また、像ずれ量が算出されているものの、ノイズの影響が大きく像ずれ量の信頼性が低い場合についても、前ピンを示す像ずれ量の画素と、後ピンを示す像ずれ量の画素がそれぞれ所定数以上存在するかを判定することで確認ができる。

以上の方法により、信頼性が低いと判定された分割領域を所定像ずれ量の算出に用いると、誤差原因となってしまうため、信頼性が低い分割領域を、リフォーカス可能範囲外の領域と判定することで、所定像ずれ量の算出から除外することができる。

以上、図１９のステップＳ４０３からＳ４０６の処理によって、リフォーカス可能範囲を判定した結果の一例を図２１に示す。図２１には、図２０と同様に、分割した領域が実線の枠で示されている。図２１には、図１９のステップＳ４０４でリフォーカス可能範囲内と判定された分割領域には「ＯＫ」が示されている。また、図１９のステップＳ４０５でリフォーカス可能範囲外と判定された分割領域には「ＮＧ」が示されている。また、図１９のステップＳ４０６でリフォーカス判定不能領域と判定された分割領域は空欄となっている。

次に、図１９のステップＳ４０７からＳ４０９において、分割領域が、有効分割領域、無効分割領域、ブランク分割領域のいずれかを判定する。

最初に、図１９のステップＳ４０７において、有効分割領域の判定を行う。有効分割領域は、図１９のステップＳ４０２で高コントラストと判定され、かつ、図１９のステップＳ４０４でリフォーカス可能範囲内と判定された分割領域を指す。

一例として、有効分割領域は、図２０で「ＯＫ」と示され、かつ、図２１で「ＯＫ」と示されている分割領域が該当する。

有効分割領域は、高コントラスト、かつ、リフォーカス可能範囲で、リフォーカス処理により効果が得られる分割領域に該当する。

図１９のステップＳ４０８では、無効分割領域の判定を行う。無効分割領域は、図１９のステップＳ４０５でリフォーカス可能範囲外領域と判定された分割領域に該当する。

無効分割領域は、リフォーカス可能範囲外（上で述べた信頼性を評価するステップで信頼性が低いと判定された分割領域を含む）で、所定像ずれ量の算出に用いると誤差原因となってしまう分割領域が該当する。

図１９のステップＳ４０９では、ブランク分割領域の判定を行う。ブランク分割領域は、有効分割領域にも、無効分割領域にも該当しない分割領域を指す。

図１９のステップＳ４０７からＳ４０９で判定した結果を、図２２に示す。図２２には、点線の枠で分割領域が示され、有効分割領域と判定された領域には「ＯＫ」が、無効分割領域と判定された領域には「ＮＧ」が示されている。また、ブランク分割領域は空欄となっている。

図１９のステップＳ４１０では、有効分割領域、無効分割領域、ブランク分割領域の判定結果をもとに、有効領域の判定を行う。有効領域は、有効分割領域を少なくとも１つ以上含み、無効分割領域は含まない、複数の分割領域から構成される。このとき、ブランク分割領域は含んでいても、含んでいなくてもよい。

一例として、図２２に実線の枠により領域８１１〜８１３を示している。領域８１１は、９つの分割領域から構成され、そのうち８つが有効分割領域、１つがブランク分割領域となっている。そのため、領域８１１は有効領域と判定される。また、領域８１２は、６つの有効分割領域、１つのブランク分割領域、２つの無効分割領域から構成され、無効分割領域を含んでいるため、有効領域とはならない。また、領域８１３は、３つの有効分割領域、２つのブランク分割領域、４つの無効分割領域から構成され、無効分割領域を含んでいるため、有効領域とはならない。

このように、有効領域は、１つ以上の有効分割領域を含むことによりリフォーカス処理により効果が得られる領域となるように設定される。また、有効領域は、無効分割領域を含まないように設定されているため、有効領域を用いることで、誤差原因を排除して所定像ずれ量の算出を行うことができる。

本実施形態では、有効領域の判定のために、補正コントラスト分布Ｍ_ＣＯＮと、像ずれ量分布Ｍ_ＤＩＳをあらかじめ用意したが、分布は生成せずに、分割領域毎にコントラスト値と像ずれ量を算出しながら順次処理を進めてもよい。

また、有効分割領域と、無効分割領域とは別に、ブランク分割領域を設け、有効分割領域と、ブランク分割領域から有効領域を定義している。これにより、被写体の一部が高コントラストで、一部にコントラストがなく像ずれ量が算出できないような場合にも、被写体に対して有効領域を設定することができる。

なお、図２２の一例では、横３ブロック、縦３ブロックの枠を定義しているが、有効領域判定を行う領域は、このサイズに限らない。また、形状も正方形に限らず、横５ブロック、縦３ブロックといった長方形に設定してもよい。

次に、図９のステップＳ５において、被写体領域の判定を行う。図２３は、図９のステップＳ５に示す被写体領域の判定の処理のフローチャートである。

本実施形態における被写体領域の判定は、図１９に示した有効領域の判定と同様に、入力画像を複数の分割領域に分割して実施する。図２３のステップＳ５１において、入力画像を複数の分割領域に分割する。

図２３のステップＳ５２では、隣接して配置される複数の分割領域（隣接する２以上の分割領域のセット）に対して被写体検出処理を行う。例えば横３ブロック、縦３ブロックの枠を入力画像端から順番に設定し、被写体検出を実施する。

なお、被写体検出は、図１９のステップＳ４０２で判定した高コントラスト領域を少なくとも１つ含む領域に対して行ってもよい。検出対象領域が高コントラスト領域を含むことにより、像ずれ量が算出可能な被写体に限定して検出することができる。

なお、被写体検出は、あらかじめ人の顔や目を設定して検出を行っても、ユーザーが被写体を決定するような入力インターフェイスを設けて、ユーザーが設定した被写体を検出してもよい。例えば、ユーザーが特定の人物の顔を入力し、入力された人物の顔を検出してもよい。

また、被写体検出は、簡易的に、補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を用いて、コントラスト平均値が高い分割領域を選択してもよい。

また、被写体検出は、図１９のＳ４０３で行ったように、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）からヒストグラムを作成し、リフォーカス可能範囲内の像ずれ量を示す画素の出現頻度が高い分割領域を選択してもよい。

図２３のステップＳ５３において、被写体が検出された領域を被写体領域として判定を行う。

図２４に図２３のステップＳ５３で被写体領域の判定を行った結果の一例を示す。図２４では、人物（人形）を検出した被写体領域９０１と９０２が示されている。

次に、図２３のステップＳ５４において、検出された被写体が合焦状態であるかを判定する検出被写体合焦判定を行う。図２３のステップＳ５３で検出された被写体に対して、被写体領域内に少なくとも１つの高コントラスト領域が含まれる場合は、高コントラスト領域を用いて、後述の所定像ずれ量ｐを算出し、検出被写体が合焦状態であるかを判定する。また、被写体領域内に高コントラスト領域が１つも含まれない場合は、コントラストがなく像ずれ量の算出ができない被写体と判断し、検出被写体候補から除外してもよい。また、検出被写体合焦判定により、検出被写体が合焦状態であると判定された場合は、リフォーカス処理が不要と判断し、図９のＳ６からＳ８の処理を行わずに終了する。また、複数の被写体が検出され、合焦状態であると判定された被写体と、非合焦状態であると判定された被写体とが存在する場合は、ユーザーにそのことを通知し、リフォーカス処理を実施するかをユーザーに選択させてもよい。以下、被写体領域９０１及び９０２は、非合焦状態であるものとして説明を進める。

次に、図９のステップＳ６において、有効被写体領域の判定を行う。有効被写体領域は、リフォーカス効果が得られる有効領域、かつ、被写体が写っている被写体領域で定義される領域を指す。

図２５に、有効被写体領域の判定結果の一例を示す。図２５は、図２２に示した有効領域の判定結果と、図２４に示した被写体領域の判定結果をもとに判定された有効被写体領域である。図２４に示された被写体領域９０１、９０２に対応する図２２の領域８１１、８１２のうち、領域８１１は有効領域と判定されているのに対し、領域８１２は有効領域ではない。そのため、図２２の領域８１１及び図２４の被写体領域９０１に対応している図２５の領域１００１が、有効被写体領域と判定される。

なお、ここでは、有効領域の判定結果と、被写体領域の判定結果をもとに、有効被写体領域の決定を行ったが、被写体領域に対して、有効分割領域を１つ以上含み、かつ、無効分割領域を含まないことを判定してもよい。

また、被写体領域の判定を行い、有効分割領域を１つ以上含むことを判定し、無効分割領域が含まれる場合は無効分割領域を除いた分割領域を有効被写体領域と判定してもよい。

一例として、図２２に示した領域８１２において、上段中央と、中段左のブロックが無効分割領域と判定されているため、これらのブロックを除いた７ブロックを有効被写体領域と判定し、所定像ずれ量の算出を行う。

なお、ここでは、有効被写体領域が１つに決まるような例を示したが、被写体によっては、図９のステップＳ６の有効被写体領域の判定処理において、２以上の有効被写体領域が判定されてしまう場合がある。

このように、２以上の有効被写体領域が存在する場合は、いずれの被写体に対してリフォーカス処理を行えばよいか、ユーザーの意図を判定することが難しいため、後述のシフト合成処理を実施しない、もしくは、所定像ずれ量を０に設定する。

なお、２以上の有効被写体領域が存在する場合に、それぞれの有効被写体領域で、後述の方法でシフト合成処理に用いる画素シフト量ｐｅの算出を行い、すべての画素シフト量ｐｅが同じである場合は、シフト合成処理を実施してもよい。

これは、シフト合成処理の効果が画素シフト量ｐｅの値に大きく依存するため、すべての有効被写体領域において、同じ画素シフト量ｐｅが算出されていれば、どの被写体に対してもリフォーカス効果が得られるためである。

このとき、所定像ずれ量は、すべての有効被写体領域の平均値をとってもよい。また、有効被写体領域のうち、最もコントラスト平均値が高い有効被写体領域を選択してもよい。また、それぞれの有効被写体領域のコントラスト平均値、もしくは、被写体検出確率により、それぞれの有効被写体領域の所定像ずれ量を重みづけ加算して、所定像ずれ量を算出してもよい。

また、２以上の有効被写体領域の画素シフト量ｐｅが異なる場合に、後述のシフト合成処理を実施しない、もしくは、所定像ずれ量を０に設定してもよい。

なお、２以上の有効被写体領域が存在する場合に、そのことをユーザーに通知し、ユーザー指示に従って２以上の有効被写体領域のうちの１つを選択してもよい。この場合、選択された有効被写体領域について、後述するＳ７における所定像ずれ量の算出が行われる。

なお、ユーザーに２以上の有効被写体領域が存在することを表示する際に、それぞれの有効被写体領域の像ずれ量、または、画素シフト量ｐｅをもとにグルーピングを行い表示してもよい。

なお、２以上の有効被写体領域が存在し、撮影時のオートフォーカス枠（オートフォーカスのための焦点検出領域）を示す情報を取得できる場合は、オートフォーカス枠に最も近い有効被写体領域を選択してもよい。この場合、選択された有効被写体領域について、後述するＳ７における所定像ずれ量の算出が行われる。オートフォーカス枠に近い有効被写体領域を選択することにより、よりユーザーが狙っていた被写体に近い有効被写体領域を用いてリフォーカス処理を行うことができる。

次に、図９のステップＳ７において、所定像ずれ量の算出を行う。所定像ずれ量の算出は、図９のステップＳ６で判定した有効被写体領域の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を補正コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）で重みづけ加算して、有効被写体領域の像ずれ量の加重平均を算出することにより行われる。

像ずれ量を単純平均するのではなく、コントラスト値で重みづけして加重平均を算出することにより、より高コントラスト箇所で、信頼性が高く、リフォーカス処理を実施したい箇所に対してリフォーカス処理を行える所定像ずれ量を算出することができる。

なお、分割領域のサイズを大きく設定し、リフォーカス可能範囲の像ずれ量を広く設定した場合、有効被写体領域内において、画素シフトが異なる箇所が混在する場合がある。

例えば、人物が奥行き方向に並んでいて、有効被写体領域内に２人の人物が存在している。手前の人物では２画素シフトが望ましいのに対し、奥の人物では４画素シフトが望ましいといった場合である。

このとき、有効被写体領域内のピント位置に近い人物のみを抽出して所定像ずれ量を算出してもよい。これは、ピント位置が既にユーザーが意図する被写体の近くにいる確率が高いためである。また、それぞれの被写体でコントラスト平均値を算出し、コントラストが高い被写体を選択してもよい。

また、有効被写体領域を画素シフト量に応じて分割し、それぞれの分割した有効被写体領域を表示部１３１に表示し、ユーザーがいずれかの分割した有効被写体領域を選択してもよい。

最後に、図９のステップＳ８において、図９のステップＳ７で算出した所定像ずれ量をもとに、有効被写体領域の像ずれを小さくするように複数の視点画像をシフト合成するリフォーカス処理を行うことにより、リフォーカス画像を生成する。ステップＳ８では、ステップＳ７で算出した所定像ずれ量をもとに行うシフト合成処理に加え、特許文献１に開示されているように、像ずれ差分量分布を算出し、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御を行ってもよい。

以上説明したように、第１の実施形態によれば、撮像装置は、撮像画像のコントラスト分布に対してコントラストを低下させる補正を行うことにより補正コントラスト分布を生成する（図９のステップＳ２）。この時、撮像装置は、所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間のコントラスト差が大きい位置ほど大きな補正を行う。また、撮像装置は、複数の視点画像の間の像ずれ量分布を生成する（図９のステップＳ３）。そして、撮像装置は、補正コントラスト分布及び像ずれ量分布に基づいて有効領域を判定し（図９のステップＳ４）、撮影範囲において被写体が存在する被写体領域を検出する（図９のステップＳ５）。そして、撮像装置は、被写体領域であると共に有効領域でもある領域を有効被写体領域として判定する（図９のステップＳ６）。

これにより、被写体が存在する被写体領域のうちのリフォーカス処理の対象として適した有効被写体領域を判定することが可能となる。

なお、上の説明では、撮像装置は、補正コントラスト分布及び像ずれ量分布の両方に基づいて有効被写体領域の判定を行ったが、補正コントラスト分布及び像ずれ量分布のうちの一方にのみ基づいて有効被写体領域の判定を行ってもよい。例えば、撮像装置は、像ずれ量分布に基づいて、像ずれが第１の程度よりも小さい領域（リフォーカス可能範囲内領域）を含むように有効被写体領域を判定してもよい。或いは、撮像装置は、補正コントラスト分布に基づいて、コントラストが所定の程度よりも高い領域（高コントラスト領域）を含むように有効被写体領域を判定してもよい。

ここで言う「程度」の大小は、必ずしも像ずれ量分布及び補正コントラスト分布における数値そのものの大小と一致するとは限らない。「程度」と数値との関係は、像ずれ量分布及び補正コントラスト分布の構成に応じて適宜定まるものである。例えば、図１８に示す像ずれ量分布の構成によれば、（−３、−１）の範囲に含まれる数値は［−６、−３］の範囲に含まれる数値よりも大きいが、前者の方が後者よりも小さい像ずれに対応する。そのため、図１９のステップＳ４０３〜Ｓ４０４では、リフォーカス可能範囲内領域を判定するために、［−６、−３］よりも数値的に大きい（−３、−１）の範囲内の画素が、リフォーカス可能範囲内の像ずれ量を示す画素として扱われている。

また、本実施形態では、有効被写体領域を考慮して算出した所定像ずれ量をもとに、リフォーカス処理を行ったが、特許文献１に開示されているように、本実施形態で算出した所定像ずれ量を用いて、コントラスト分布および像ずれ量分布に応じた先鋭化または、平滑化の画像処理のみを実施しても良い。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０７…撮像素子、１２１…ＣＰＵ、１２４…撮像素子駆動回路、１２５…画像処理回路、１２６…フォーカス駆動回路、１２８…絞りシャッタ駆動回路、１２９…ズーム駆動回路、１３１…表示部、１３２…操作部、１３３…フラッシュメモリ

Claims (17)

1. 所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間の像ずれ量分布を生成する第１の生成手段と、
   前記所定の撮影範囲において被写体が存在する被写体領域を検出する検出手段と、
   前記像ずれ量分布に基づいて前記被写体領域のうちの有効被写体領域を判定する判定手段であって、像ずれが第１の程度よりも小さい領域を含むように前記有効被写体領域を判定する、判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記所定の撮影範囲に対応する撮像画像のコントラスト分布に対してコントラストを低下させる補正を行うことにより補正コントラスト分布を生成する第２の生成手段であって、前記複数の視点画像の間のコントラスト差が大きい位置ほど大きな補正を行う、第２の生成手段を更に備え、
   前記判定手段は、コントラストが第２の程度よりも高く、かつ像ずれが前記第１の程度よりも小さい領域を含むように、前記像ずれ量分布及び前記補正コントラスト分布に基づいて前記有効被写体領域を判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、コントラストが前記第２の程度よりも高く、かつ像ずれが前記第１の程度よりも小さい領域を含み、像ずれが前記第１の程度よりも大きい領域を含まないように、前記像ずれ量分布及び前記補正コントラスト分布に基づいて前記有効被写体領域を判定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の撮影範囲に対応する撮像画像のコントラスト分布に対してコントラストを低下させる補正を行うことにより補正コントラスト分布を生成する第２の生成手段であって、前記複数の視点画像の間のコントラスト差が大きい位置ほど大きな補正を行う、第２の生成手段を更に備え、
   前記判定手段は、
   前記補正コントラスト分布に基づいて、前記所定の撮影範囲の複数の分割領域のうちの、コントラストが第２の程度よりも高い第１の分割領域を判定し、
   前記像ずれ量分布に基づいて、前記複数の分割領域のうちの、像ずれが前記第１の程度よりも小さい第２の分割領域と、像ずれが前記第１の程度よりも大きい第３の分割領域とを判定し、
   前記第１の分割領域であると共に前記第２の分割領域でもある有効分割領域を含み、前記第３の分割領域である無効分割領域を含まないように、前記有効被写体領域を判定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の生成手段は、前記補正コントラスト分布に基づいて、コントラストが第３の程度よりも低い領域については前記第１の程度よりも小さい第４の程度よりも小さい像ずれを示すように前記像ずれ量分布を生成し、
   前記判定手段は、前記複数の分割領域のうちの、像ずれが前記第４の程度よりも小さい分割領域については、前記第２の分割領域ではなく第４の分割領域として判定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記検出手段は、前記複数の分割領域のうちの隣接する２以上の分割領域のセットに対して被写体検出処理を行い、前記セットにおいて被写体が検出された場合に前記セットを前記被写体領域として検出する
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記判定手段は、前記被写体領域を構成する前記２以上の分割領域の前記セットが前記有効分割領域を含み、かつ前記無効分割領域を含まない場合に、前記被写体領域を前記有効被写体領域として判定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記有効被写体領域の像ずれを小さくするように前記複数の視点画像をシフト合成することによりリフォーカス画像を生成する第３の生成手段を更に備える
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記有効被写体領域の像ずれを小さくするように前記複数の視点画像をシフト合成することによりリフォーカス画像を生成する第３の生成手段と、
   前記像ずれ量分布及び前記補正コントラスト分布に基づいて、前記有効被写体領域の像ずれ量をコントラスト値で重みづけ加算して前記有効被写体領域の像ずれ量の加重平均を算出する算出手段と、
   を更に備え、
   前記第３の生成手段は、前記加重平均に従って前記複数の視点画像をシフト合成する
   ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
10. 前記検出手段により複数の前記被写体領域が検出され、前記判定手段により前記複数の前記被写体領域のうちの２以上が前記有効被写体領域として判定された場合に、２以上の前記有効被写体領域のうちの１つを選択する選択手段と、
    前記選択手段により選択された前記有効被写体領域の像ずれを小さくするように前記複数の視点画像をシフト合成することによりリフォーカス画像を生成する第３の生成手段と、
    を更に備えることを特徴とする請求項７に記載の画像処理装置。
11. 前記複数の視点画像を生成するための撮影におけるオートフォーカスのための焦点検出領域を示す情報を取得する取得手段を更に備え、
    前記選択手段は、前記２以上の前記有効被写体領域のうちの前記焦点検出領域に最も近い有効被写体領域を選択する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記選択手段は、ユーザー指示に従って前記２以上の前記有効被写体領域のうちの１つを選択する
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 所定の撮影範囲に対応する撮像画像のコントラスト分布に対してコントラストを低下させる補正を行うことにより補正コントラスト分布を生成する生成手段であって、前記所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間のコントラスト差が大きい位置ほど大きな補正を行う、生成手段と、
    前記所定の撮影範囲において被写体が存在する被写体領域を検出する検出手段と、
    前記補正コントラスト分布に基づいて前記被写体領域のうちの有効被写体領域を判定する判定手段であって、コントラストが所定の程度よりも高い領域を含むように前記有効被写体領域を判定する、判定手段と、
    を備えることを特徴とする画像処理装置。
14. 請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    前記複数の視点画像を生成するための撮像を行う撮像手段と、
    を備えることを特徴とする撮像装置。
15. 画像処理装置が実行する画像処理方法であって、
    所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間の像ずれ量分布を生成する第１の生成工程と、
    前記所定の撮影範囲において被写体が存在する被写体領域を検出する検出工程と、
    前記像ずれ量分布に基づいて前記被写体領域のうちの有効被写体領域を判定する判定工程であって、像ずれが第１の程度よりも小さい領域を含むように前記有効被写体領域を判定する、判定工程と、
    を備えることを特徴とする画像処理方法。
16. 画像処理装置が実行する画像処理方法であって、
    所定の撮影範囲に対応する撮像画像のコントラスト分布に対してコントラストを低下させる補正を行うことにより補正コントラスト分布を生成する生成工程であって、前記所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間のコントラスト差が大きい位置ほど大きな補正を行う、生成工程と、
    前記所定の撮影範囲において被写体が存在する被写体領域を検出する検出工程と、
    前記補正コントラスト分布に基づいて前記被写体領域のうちの有効被写体領域を判定する判定工程であって、コントラストが所定の程度よりも高い領域を含むように前記有効被写体領域を判定する、判定工程と、
    を備えることを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。