JP2017098929A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】複数の視差画像から生成した合成画像に発生するボケ領域を精度良く検出することが可能な画像処理装置および画像処理方法の提供。
【解決手段】複数の視差画像の合成比率が異なる複数の合成画像について予め定められた評価値を算出する。複数の視差画像を合成して得られる合成画像に生じるボケ領域を、合成画像のそれぞれから得られる複数の評価値に基づいて検出する。
【選択図】図４

Description

本発明は画像処理装置および画像処理方法に関する。

従来、共通の被写体を複数の撮像系で撮影して得られる複数の画像を合成することにより、単一の画像を得る複眼撮像装置が提案されている。
特許文献１では、２つの撮像系でサンプリング点を空間位相で１／２ピッチずらして同一の被写体を撮影し、得られた画像を合成することで、１つの撮像系で撮影した場合よりも高解像度な画像を得る構成が開示されている。

また、撮影レンズの射出瞳を複数の瞳領域に分割し、複数の視差画像を同時に撮影可能な撮像装置が提案されている。
特許文献２では、１つのマイクロレンズを複数の光電変換部で共有する構成の画素が２次元配列された撮像素子を用いた撮像装置が開示されている。１つのマイクロレンズを共有する個々の光電変換部は、撮影レンズの射出瞳のうち、異なる瞳領域に対応するため、各画素において同じ位置の光電変換部で得られる信号群から複数の視差画像を生成することができる。

各撮影光学系の光軸がずれて視差を有する場合、複数の画像を合成する合成比率を変えることにより、ボケ補正を行うことが可能である。
このことについて、ステレオカメラの機能構成を模式的に示した図１８を用いて説明する。撮影光学系６０１、６０２は一次元方向（ここでは水平方向）に配置され、その光軸の輻輳角はθである。撮像素子６０３は撮影光学系６０１が形成する像を、撮像素子６０４は撮影光学系６０２が形成する像を、それぞれ撮像する。

撮像素子６０３、６０４はモザイク状もしくはストライプ状のカラーフィルタを備える。画像処理回路６０５、６０６は撮像素子６０３、６０４が生成する画素信号にホワイトバランス調整処理やデモザイク処理などを適用してカラー画像を生成する。画像合成処理回路６０７は画像処理回路６０５、６０６が生成した２つの画像を合成し、合成画像を生成する。

特許第３４７８７９６号公報 米国特許第４４１０８０４号明細書

輻輳角θを有する、撮影光学系６０１、６０２の光軸が距離ｋ２で交差するものとする。この場合、距離ｋ１、ｋ３では光軸が交差せず、撮影光学系６０１、６０２に視差が生じる。そのため、距離ｋ１、ｋ３に位置する被写体は、画像処理回路６０５、６０６が生成する画像で異なる位置に存在する。

図１９において、７０１は撮影光学系６０１を通じて得られた画像、７０２は撮影光学系６０２を通じて得られた画像、７０３は画像７０１、７０２を合成比率１：１で合成した合成画像を示している。また、被写体ｏ１〜ｏ３はそれぞれ図１８に示した距離ｋ１〜ｋ３に存在するものとする。撮影光学系６０１、６０２の光軸が距離ｋ２で交差するため、画像７０１、７０２における被写体ｏ２の位置は同一であり、合成画像７０３においても画像ずれは生じない。距離ｋ２を基準距離と呼ぶ。

しかし、撮影光学系６０１、６０２の視差の影響により、画像７０１、７０２における被写体ｏ１およびｏ３の水平方向の位置が異なる。そのため、合成画像７０３では画像ずれが発生する。なお、複数の撮影光学系が水平方向だけでなく垂直方向にも配置されていれば、水平方向および垂直方向の両方で画像ずれが現れる。

合成画像７０３では被写体ｏ２に被写体ｏ１が重なっているが、これは画像７０２において被写体ｏ２に被写体ｏ１が重なっているからである。そのため、被写体ｏ１および被写体ｏ２については画像７０１と７０２の合成比率を２：０に変更し、被写体ｏ３については画像７０１と７０２の合成比率を１：１で合成すると、合成画像７０４が得られる。

合成する画像間に生じる視差の影響により、合成画像において、基準距離およびその近傍に存在する被写体ｏ２と、被写体ｏ２より近くに存在する被写体ｏ１とが重なる場合、合成比率を変更することで、被写体の重なりを軽減することができる。合成画像において、基準距離およびその近傍に位置する被写体の像に、この被写体より手前に位置する被写体の像が合成されて生じるボケ領域を削減又は除去する処理をボケ補正と呼ぶ。

しかしながら、画像７０１と７０２の全体について一律に合成比率を変更すると、補正が不要な領域に不自然なぼけが発生したり、ノイズが増加したりする。この問題を解決するには、補正が必要なボケ領域を精度良く検出する必要があるが、従来、そのような技術は提案されていなかった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、視差画像から生成した合成画像に発生するボケ領域を精度良く検出可能な画像処理装置および画像処理方法を提供することを目的とする。

上述の目的は、複数の視差画像を取得する取得手段と、複数の視差画像を合成して合成画像を生成する合成手段と、合成によって合成画像に生じるボケ領域を検出する第１の検出手段と、を有し、第１の検出手段は、複数の視差画像の合成比率が異なる複数の合成画像のそれぞれから得られる複数の評価値に基づいてボケ領域を検出することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、視差画像から生成した合成画像に発生するボケ領域を精度良く検出可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係るデジタルカメラの機能構成例を示すブロック図 実施形態に係る画像処理部の機能構成例を示すブロック図 実施形態における撮像素子の画素配置例を模式的に示す図 第１実施形態における合成画像生成処理に関するフローチャート 合成によるボケが生じている画像と、像ずれ量のマップの例を示す模式図 画素の構成を模式的に示した平面図および断面図 図６に示した画素構造と瞳分割との対応関係を示した概略説明図 （ａ）撮像素子と瞳分割との対応関係を示した図、（ｂ）はデフォーカス量と像ずれ量の関係を示す図 視差画像と合成によるボケの発生について説明するための図 実施形態によるボケ補正の効果を示す図 結像光学系の射出瞳距離と撮像素子の設定瞳距離との差が像高の大きな画素における瞳分割に与える影響を模式的に示した図 第２実施形態におけるボケ領域検出処理に関するフローチャート 第２実施形態のボケ領域検出を説明するための図 第３実施形態に係る補正パラメータ調整処理に関するフローチャート 第３実施形態で表示するパラメータ調整画面の例の模式図 第３実施形態で表示するパラメータ調整画面の例の模式図 第３実施形態で表示するパラメータ調整画面の別の例の模式図 従来の複眼撮像装置の構成例を示すブロック図 被写体位置と合成画像上での画像ずれとの関係を示す模式図

以下、本発明の例示的な実施形態について、添付の図面に基づいて詳細に説明する。なお、以下では本発明に係る画像処理装置の一例として、視差画像を生成可能なデジタルカメラについて説明するが、本発明においては視差画像を生成するための構成は必須ではない。例えば、予め記録されている視差画像を記憶装置などから取得するなど、視差画像をなんらかの方法で取得できればよい。従って、本発明はパーソナルコンピュータ、携帯電話機、ゲーム機などを含む、任意の電子機器において実施可能である。

●（第１実施形態）
（デジタルカメラ１００の機能構成例）
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。絞り２４０を有する撮影レンズ２３０は、着脱可能であってもなくてもよい。撮像素子１１０は、１つのマイクロレンズを複数の光電変換部で共有する構成の画素が２次元配列された構成を有する。Ａ／Ｄ変換器１２０は撮像素子１１０が出力するアナログ信号をディジタル信号（ＲＡＷデータ）に変換する。ＲＡＷデータは、画像処理部１３０、カメラ信号処理部１４０を介して、あるいはカメラ信号処理部１４０をだけを介して、メモリ１９０に書き込まれる。

画像処理部１３０はＡ／Ｄ変換器１２０から出力されるＲＡＷデータや、メモリ１９０に記憶されているＲＡＷデータに対し、デモザイク処理、色変換処理など予め定められた画像処理を適用し、画像データを生成する。また、画像処理部１３０は、画像データに対して必要に応じて符号化処理や復号処理を適用する。

カメラ信号処理部１４０はデジタルカメラ１００の動作全体を制御する。カメラ信号処理部１４０は例えばプログラムを実行可能な１つ以上のプロセッサ（ＣＰＵ）と、プログラムや設定値などを記憶する記憶装置と、メモリとを有してよい。カメラ信号処理部１４０は、プログラムを１つ以上のプロセッサで実行することにより、後述する画像合成処理をはじめとしたデジタルカメラ１００の機能を実現する。

表示部２２０は例えばＬＣＤの表示装置を有し、メモリ１９０に記憶された表示用の画像データ、ＧＵＩデータなどを表示する。動画撮影を行い、得られた動画を表示部２２０でリアルタイム表示することにより、ライブビュー機能を実現することができる。

メモリ１９０は静止画像や動画像、各種の設定、ＧＵＩデータ、撮像素子１１０の欠陥画素情報などの記憶に用いられる。
必要に応じて設けられる姿勢センサ１９５はデジタルカメラ１００の姿勢を検出するセンサであり、例えば加速度センサやジャイロセンサであってよい。姿勢センサ１９５の出力は、手振れ補正に用いられてもよい。

操作部２１０はユーザがデジタルカメラ１００に指示を入力するための入力デバイス群である。スイッチ、ボタン、キー、タッチパネル、ダイヤルのような物理的な操作部材だけでなく、音声入力や視線入力を受け付ける部材が含まれてもよい。本実施形態のデジタルカメラ１００では、操作部２１０に含まれるレリーズボタンのハーフストロークでＯＮになるスイッチ（ＳＷ１）と、フルストロークでＯＮになるスイッチ（ＳＷ２）を有している。

ＳＷ１のＯＮは撮影準備動作の開始指示である。撮影準備動作には、ＡＦ（オートフォーカス）処理およびＡＥ（自動露出）処理が含まれる。ＡＥ処理やＡＦ処理は、例えばライブビュー表示用の画像から得られる情報に基づいてカメラ信号処理部１４０が実施することができる。

また、ＳＷ２のＯＮは記録用画像の撮影動作の開始指示である。記録用画像は表示用画像と解像度が異なる以外は同様に生成され、メモリ１９０に格納される。そして、カメラ信号処理部１４０は、必要に応じて画像処理部１３０で符号化処理を行ったのち、記録形式に応じたデータファイルに格納してメディアＩＦ１５０を通じてメモリカードなどの記録媒体１６０に記録する。

（画像処理部１３０の概要）
図２は、画像処理部１３０のうち、複数の視差画像から合成画像を生成する処理に関する機能を模式的に示している。距離検出部１３１は複数の視差画像から被写体距離の情報を検出する。ボケ領域検出部１３３は、複数の視差画像において合焦している領域およびその周辺領域の中のボケ領域（合焦被写体よりも手前の被写体がボケた領域）を検出する。合成比率算出部１３４は、複数の視差画像の画素位置ごとの合成比率を決定する。画像合成部１３２は、合成比率算出部１３４が算出した合成比率に基づいて複数の視差画像を合成し、合成画像を生成する。後述するように、画像の合成は重み付け加算による。

なお、画像処理部１３０はＦＰＧＡやＡＳＩＣのようなハードウェアによって実現されてもよいし、少なくとも一部の機能がＣＰＵによってソフトウェアを実行することによって実現されてもよい。また、ソフトウェアを実行するＣＰＵは、カメラ信号処理部１４０が有するＣＰＵであってもよい。

（撮像素子１１０の画素配列）
図３は、撮像素子１１０における画素の配置例を模式的に示す図であり、画素が横４画素×縦４画素配列された領域を代表的に示している。撮像素子１１０は、撮影光学系１０１の瞳領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく複数の画像信号を生成可能に構成されている。具体的には、各画素の光電変換領域が水平方向（瞳分割方向）に２分割されており、各光電変換領域が副画素として機能する。従って、図３は、副画素が横８画素×縦４画素配列された領域とも言うことができる。

本実施形態において、図３の左上の２×２の画素群２００は、撮像素子１１０に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、図２の右上の画素に代表的に示すように、各画素は、横２×縦１に等分割された光電変換部を有しており、左半分の光電変換部が第１副画素２０１、右半分の光電変換部が第２副画素２０２として利用可能である。副画素２０１の出力を取得して得られる１つの画像と、副画素２０２の出力を取得して得られる１つの画像とが、１組の視差画像を構成する。したがって、デジタルカメラ１００は１回の撮影によって２つの視差画像を生成することができる。また、各画素の第１副画素２０１と第２副画素２０２で得られる信号を加算することで、１つの通常画素として利用することができる。なお、副画素を水平方だけでなく垂直方向にも設けてもよい。

図２に示した４×４の撮像画素（８×４の副画素）の配列を撮像素子１１０の撮像面に多数配置することにより、撮像画像を取得しつつ、画面の様々な位置を焦点検出領域として用いた撮像面位相差検出方式の焦点検出を行うことができる。本実施形態では、画素のピッチ（周期）Ｐが縦横とも４μｍで、画素数Ｎは、横５５７５×縦３７２５＝約２０７５万画素であるものとする。また、副画素の縦方向のピッチＰは撮像画素と同じであるが、横方向のピッチＰ_ＡＦは２μｍであり、従って副画素数Ｎ_ＡＦが横１１１５０×縦３７２５＝約４１５０万画素であるものとする。

（合成画像生成処理）
次に、本実施形態のデジタルカメラ１００が、複数の視差画像から合成画像を生成する動作について、図２および、図４のフローチャートを用いて説明する。
図４（ａ）は、合成画像生成処理の全体を示すフローチャートである。
Ｓ４０１で、画像処理部１３０は、複数の視差画像（視差画像ＡおよびＢ）をメモリ１９０、記録媒体１６０または外部装置などから取得し、距離検出部１３１および画像合成部１３２に供給する。

Ｓ４０２で画像合成部１３２は、Ｓ４０１で取得した視差画像Ａと視差画像Ｂを基準合成比率１：１で合成し、合成画像Ｃを生成する。
Ｓ４０３で距離検出部１３１とボケ領域検出部１３３とにより、視差画像Ａ、視差画像Ｂ、およびＳ４０２で生成した合成画像Ｃから、合焦距離およびその近傍に位置する被写体の領域に含まれるボケ領域を検出する。このボケ領域は、合焦している被写体よりも手前に位置する被写体に起因するものである。Ｓ４０３におけるボケ領域の検出処理の詳細については後述する。

Ｓ４０４で、画像処理部１３０は、Ｓ４０３でボケ領域が検出されたか否かを判定し、検出されたと判定されればＳ４０６へ、検出されたと判定されなければＳ４０５へ処理を進める。Ｓ４０５で、画像処理部１３０は、Ｓ４０３で生成した合成画像Ｃを合成処理の結果として出力して、合成画像の生成処理を終了する。

一方、Ｓ４０６で合成比率算出部１３４は、視差画像Ａと視差画像Ｂの画素ごとの合成比率を決定する。Ｓ４０３においてボケ領域が検出されている場合、ボケ領域に対する視差画像Ａ、視差画像Ｂの合成比率が検出されている。従って、合成比率算出部１３４は、ボケ領域についてはＳ４０３で検出された合成比率を用いる。

ボケ領域以外については、ボケ領域から所定距離以上の画素については、視差画像Ａと視差画像Ｂとの合成比率を基準合成比率（１：１）とし、所定距離未満の画素については、ボケ領域の合成比率と基準合成比率とを距離に応じて線形補間して算出する。なお、ある画素についてのボケ領域からの距離は、その画素とボケ領域の外縁を形成する画素との最短距離とすることができるが、これに限定されない。合成比率の変化をなだらかにして画質劣化を目立たなくする境界処理の方法に制限は無く、第２実施形態で説明するようなテーブル関数を用いる方法であってもよい。に合成比率算出部１３４が画素ごとの合成比率を決定すると、画像処理部１３０は処理をＳ４０７に進める。

Ｓ４０７で画像合成部１３２は、合成比率算出部１３４で決定された合成比率を用いて視差画像Ａと視差画像Ｂを合成し、合成画像Ｄを生成する。画像処理部１３０は、Ｓ４０７で生成した合成画像Ｄを合成処理の結果として出力し、合成画像の生成処理を出力する。

なお、補正したボケ領域（補正領域）を示す指標を重畳した合成画像Ｄを、合成比率の調整用ＧＵＩとともに表示部２２０に表示し、ボケ領域ごとにユーザが合成比率を調整できるように構成してもよい。この場合、カメラ信号処理部１４０は、調整用ＧＵＩの操作に応じた合成比率に基づいて合成画像Ｄを再生成するように画像処理部１３０（画像合成部１３２）を制御する。

次に、Ｓ４０３で行うボケ領域検出処理の詳細について図４（ｂ）のフローチャートを用いて説明する。
Ｓ５０１で、距離検出部１３１は、視差画像Ａと視差画像Ｂからデフォーカスマップを生成する。デフォーカスマップは、画像の領域ごとあるいは画素ごとのデフォーカス量を表す情報である。デフォーカス量は画像を撮像した装置から被写体までの距離にも対応するため、デフォーカスマップの生成は被写体距離情報の生成ともいえる。

デフォーカスマップは公知の任意の方法によって生成することができる。例えば距離検出部１３１は、視差画像Ａおよび視差画像Ｂをそれぞれ複数の領域に分割し、対応する分割領域内の画素値の相関量が最大となる相対移動量（シフト量、像ずれ量）を、その領域に対する位相差として検出する。そして、距離検出部１３１は、位相差（視差量、像ずれ量）に係数を適用してデフォーカス量に変換することで、領域ごとのデフォーカス量を示すデフォーカスマップを生成する。位相差をデフォーカス量に変換する係数は、撮影光学系の口径情報、視差画像Ａ，Ｂの感度分布の重心間隔などに基づいて予め求めた値を用いることができる。ここで、本実施形態では被写体距離情報としてデフォーカスマップを用いるが、上述したようにデフォーカス量と像ずれ量（位相差）は一対一に対応しているため、像ずれ量の分布を示す像ずれマップをデフォーカスマップの代わりに用いてもよい。さらには、デフォーカス量を被写体距離に換算した被写体距離の距離マップをデフォーカスマップの代わりに用いてもよい。なぜなら、本実施形態においては被写体距離情報によって被写体のボケ具合を検出しようとしており、この点ではいずれのマップの形態でも検出可能だからである。

図５（ａ）は、合成画像Ｃの例を、図５（ｂ）は、視差画像Ａおよび視差画像Ｂを１１×１１画素の領域に分割し、各領域について検出した位相差（像ずれ量）を、位相差が小さいほど輝度が低いグレースケールで視覚化した例を、それぞれ示している。各領域で検出した位相差を係数によってデフォーカス量に変換すると、デフォーカスマップが得られる。

Ｓ５０２で距離検出部１３１は、Ｓ５０１で生成したデフォーカスマップから、デフォーカス量が予め定められた値以下の領域と、その周辺領域とを選択し、合焦している被写体の領域とその周辺領域を検出する。デフォーカス量が予め定められた値以下の領域がなければ、距離検出部１３１はボケ領域の検出なしと判定し、ボケ領域検出処理を終了する。

例えば、デフォーカスマップから焦点深度内の領域を選択する場合、本実施形態では１画素が２つの副画素を有する構成のため、撮影光学系の絞り値（Ｆ値）をＦ、許容錯乱円をδとすると、デフォーカス量（絶対値）≦２Ｆδの領域を選択すればよい。なお、１画素がＮ×Ｎの副画素を有する場合、デフォーカス量（絶対値）≦ＮＦδの領域を選択すればよい。

Ｓ５０３でボケ領域検出部１３３は、Ｓ５０２で選択した領域のそれぞれについて、ボケ領域が含まれている否かを検出する。具体的には、まず、画像合成部１３２で、視差画像Ａと視差画像Ｂの合成比率をα：（２．０−α）として、０≦α≦２．０の範囲でαの値を変化させて複数の合成画像Ｋ（α）を生成する。なお、合成画像Ｋ（α）は、Ｓ５０２で選択された領域についてのみ生成すればよいが、全領域について生成してもよい。

そして、ボケ領域検出部１３３は、Ｓ５０２で選択した領域のそれぞれをさらに分割した小領域ごとに、個々のＫ（α）について、Ｓ４０２で生成した合成画像Ｃとの画素値の差分絶対値和を評価値として算出し、評価値を積分する。また、ボケ領域検出部１３３は、評価値が最大となるαの値を小領域ごとに記憶する。なお、αをどのような刻みで変化させるかは例えば画像処理部１３０の処理能力や、合成画像に求められる画質などに基づいて決定することができる。αを細かい刻みで変化させれば精度の良い合成が可能であるが、処理時間や処理負荷が増加する。

予め定められた数の合成画像Ｋ（α）について、各小領域における評価値を積分したら、ボケ領域検出部１３３は、積分値が所定の閾値以上の小領域を検出する。ここで検出される小領域は、合成比率を基準合成比率１：１から変化させたことによって評価値が有意に変化した領域、すなわち合焦度合いが有意に変化した領域であり、図１９で説明した、合成比率を変化させることによるボケ補正が有効な領域に相当する。

そして、Ｓ５０５でボケ領域検出部１３３は、Ｓ５０４で検出した小領域ごとに、評価値（画素値の差分絶対値和）が最大となるαの値を対応付けて記憶する。このαは、その小領域に対するボケ補正の効果が最も得られる合成比率α：（２−α）を示す。

本実施形態によれば、複数の視差画像から合成比率を変えて生成した複数の合成画像の差分に基づく評価値を算出し、合成比率の変化に伴う評価値の変化に基づいて、視差画像から生成した合成画像に発生するボケ領域を精度良く検出することができる。そのため、補正が必要な領域については領域ごとに適切な補正を適用することができるほか、補正が不要な領域に補正が適用されることによる画質劣化を防止できる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。
図３に示した１つの撮像画素（ここでは２００Ｇとする）を、撮像素子の受光面側（＋ｚ側）から見た平面図を図６（ａ）に示し、図６（ａ）のａ−ａ断面を−ｙ側から見た断面図を図６（ｂ）に示す。

図６に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。

各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、第１副画素２０１と第２副画素２０２とでカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略してもよい。

画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。

光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１１０の外部へ排出される。

光電変換部３０１と光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図６に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図を図７に示す。図７では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図６に対して反転させている。

図７で、第１副画素２０１の第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね共役関係になっており、第１副画素２０１で受光可能な瞳領域を表している。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。

図７で、第２副画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね共役関係になっており、第２副画素２０２で受光可能な瞳領域を表している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、図７で、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１副画素２０１と第２副画素２０２）を合わせた、画素２００Ｇ全体で受光可能な瞳領域である。

入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズが約１〜２μｍ程度なのに対し、マイクロレンズの集光スポットも約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある図７の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、受光率分布（瞳強度分布）となる。

本実施形態の撮像素子と瞳分割との対応関係を示した概略図を図８（ａ）に示す。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各（撮像）画素に、撮像面８００からそれぞれ異なる角度で入射し、２×１分割された光電変換部３０１および３０２（副画素２０１および２０２）で受光される。なお、本実施形態は、瞳領域が水平方向に２つに瞳分割されているが、必要に応じて、垂直方向に瞳分割を行ってもよいし、さらに多分割してもよい。

撮像素子１１０には、撮影光学系の第１瞳部分領域５０１を通過する光束を受光する第１副画素２０１と、第１瞳部分領域と異なる撮影光学系の第２瞳部分領域５０２を通過する光束を受光する第２副画素２０２を有する画素が配列されている。従って、画素は、撮影光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域５００を通過する光束を受光する。

上述の通り、複数の第１副画素２０１で得られる信号から視差画像Ａを生成し、複数の第２副画素２０２から得られる信号から視差画像Ｂを生成する。必要に応じて、視差画像Ａおよび視差画像Ｂにデモザイキング処理（デベイヤー処理）を行ってもよい。なお、画素ごとに第１副画素２０１と第２副画素２０２で得られる信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成することもできる。

（デフォーカス量と像ずれ量の関係）
以下、本実施形態の撮像素子により取得される視差画像のデフォーカス量と像ずれ量との関係について説明する。
図８（ｂ）に、デフォーカス量と視差画像Ａと視差画像Ｂ間の像ずれ量の概略関係図を示す。撮像面８００に撮像素子１１０（不図示）が配置され、図７、図８（ａ）と同様に、撮影光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄの大きさ｜ｄ｜は、被写体の結像位置から撮像面８００までの距離である。また、デフォーカス量ｄが負（ｄ＜０）の場合は、被写体の結像位置が撮像面８００より被写体側にある前ピン状態、正（ｄ＞０）の場合は、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を意味する。そして、被写体の結像位置が撮像面８００にある合焦状態で、デフォーカス量ｄの大きさは０となる。図８（ｂ）で、被写体８０１は合焦状態（ｄ＝０）にあり、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、撮像面８００より被写体側の位置で一度集光する。そして、その後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、それを受光する複数の画素のそれぞれで第１副画素２０１（第２副画素２０２）により電気信号に変換される。そして、第１副画素２０１群（第２副画素２０２群）の信号から視差画像Ａ（視差画像Ｂ）が生成される。よって、視差画像Ａ（視差画像Ｂ）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。

被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。同様に、視差画像Ａと視差画像Ｂ間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加していく。後ピン状態（ｄ＞０）の場合、視差画像Ａと視差画像Ｂ間の被写体像の像ずれ方向が前ピン状態と反対となることをのぞき、デフォーカス量の大きさ｜ｄ｜と被写体像のボケ幅、像ずれ量ｐとの関係は同様である。

したがって、視差画像Ａと視差画像Ｂ、もしくは、視差画像Ａと視差画像Ｂを加算した撮像信号のデフォーカス量の大きさの増加に伴い、視差画像Ａと視差画像Ｂ間の像ずれ量の大きさが増加する。

（ボケ補正）
ここで、視差画像の合成画像において発生する、合焦被写体よりも手前に存在する被写体のボケた像が合成されることにより合焦被写体の像の画質が低下する現象が、視差画像の合成比率を変えることによって補正（抑制）できる原理について、再度説明する。
図９は、図８と同様に、撮影光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割されている状態で、被写体ｑ１に合焦している状態を示している。

図９（ａ）に示すように、撮像面８００において、被写体ｑ１の合焦した像ｐ１に、被写体ｑ１より手前に位置する被写体ｑ２のボケた像Γ１＋Γ２が重なっていることが分かる。つまり、視差画像Ａと視差画像Ｂを合成比率１：１で合成した画像では、被写体ｑ１の像のうち、被写体ｑ２の像が重なった部分がぼやけ、画質が低下する。

図９（ａ）を、第１瞳部分領域５０１に対応する視差画像Ａと、第２瞳部分領域５０２に対応する視差画像Ｂに相当する像に分離して示したのが図９（ｂ）と図９（ｃ）である。
図９（ｂ）に示すように、第１瞳部分領域５０１から第１副画素２０１（光電変換部３０１）に入射する光束によって形成される視差画像Ａでは、被写体ｑ１の像ｐ１に、被写体ｑ２の像Γ１が重ならない。
一方、図９（ｃ）に示すように、第２瞳部分領域５０２から第２副画素２０２（光電変換部３０２）に入射する光束によって形成される視差画像Ｂでは、被写体ｑ１の像ｐ１に、被写体ｑ２の像Γ２が重なっている。

なお、被写体ｑ１の像ｐ１近傍においてコントラスト評価値を求めた場合、図９（ｂ）に示す視差画像Ａの方が、図９（ｃ）に示す視差画像Ｂよりも大きな値となる。従って、同距離に存在する被写体像の領域に対するコントラスト評価値の差から、至近側に存在する被写体のボケた像の影響の程度を検出できる。なお、コントラスト評価値は、合焦度合いを表す評価値の一例である。

したがって、像ｐ１の近傍においては、視差画像Ａの重みまたは割合が視差画像Ｂの重みまたは割合よりも大きくなるような合成比率を用いることで、手前に存在する被写体のボケた像の重畳によって合焦被写体の像の画質が低下する現象を補正（抑制）できる。

（補正処理の具体例）
次に、合成比率を変更した画像合成の具体的な手法の例について説明する。
ｊ，ｉを整数として、視差画像Ａ（および視差画像Ｂ）の行方向ｊ番目、列方向ｉ番目の座標を（ｊ，ｉ）とし、座標（ｊ，ｉ）における視差画像Ａの画素値をＡ（ｊ，ｉ）、視差画像Ｂの画素値をＢ（ｊ，ｉ）とする。また、ここでは説明及び理解を容易にするために、補正を行う領域Ｒが、行方向で座標［ｊ１，ｊ２］、列方向で座標［ｉ１，ｉ２］の範囲の矩形領域であるとするが、領域Ｒの形状に制限はない。

画像合成部１３２は、まず、領域Ｒの境界幅σを設定し、以下の式（１）により、領域Ｒと境界幅σに応じたテーブル関数Ｔ（ｊ，ｉ）を算出する。なお、異なる領域Ｒは異なる境界幅σを有してもよい。
テーブル関数Ｔ（ｊ，ｉ）は、領域Ｒの内側で１、外側で０となり、境界幅σの範囲で、概ね１から０に連続的に変化する。

次に画像合成部１３２は、実係数ｗ（−１≦ｗ≦１）とし、式（２Ａ）により視差画像Ａ（ｊ，ｉ）の重み係数Ｗａ（ｊ，ｉ）を、式（２Ｂ）により視差画像Ｂ（ｊ，ｉ）の重み係数Ｗｂ（ｊ，ｉ）を算出する。

次に画像合成部１３２は、Ａ（ｊ，ｉ）、Ｂ（ｊ，ｉ）、Ｗａ（ｊ，ｉ）、Ｗｂ（ｊ，ｉ）から、式（３）により、合成画像Ｉの画素値Ｉ（ｊ，ｉ）を生成する。

視差画像を相対的にシフトさせて合成することで、リフォーカス画像を生成することが可能である。従って、合成画像を生成する際に視差画像を相対的にシフトさせることで、リフォーカス処理を合わせて実行することができる。この場合、式（４Ａ）もしくは式（４Ｂ）により、リフォーカス画像Ｉｓの画素値Ｉｓ（ｊ，ｉ）を生成することができる。
なお、ｓは視差画像ＡとＢの相対的なシフト量である。なお、第１実施形態においても本実施形態で説明した方法で補正を行うことができる。

図１０（ａ）に、７００で示す領域における合焦被写体（鳥）に、手前に存在する花びらのボケた像が重畳している合成画像の例を、図１０（ｂ）にボケ補正後の合成画像の例をそれぞれ示す。鳥のくちばしや目、羽における補正前のかすみが、ボケ補正によって軽減されていることがわかる。

必要に応じて、ボケ調整処理を行わない所定領域以外では、撮影光学系のボケ形状を変化させないために、複数の視差画像ごとの重み係数（第１重み係数、第２重み係数）を、概ね均等に加算し、出力画像を生成することが望ましい。

（瞳ずれ）
次に、図１１を用いて、画素と光軸との距離が瞳分割に与える影響について説明する。
図１１（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１１０の設定瞳距離Ｄｓが同じ場合を示している。この場合は、像高が小さい（光軸近くに位置する）画素および像高が大きい（光軸から離れて位置する）画素のいずれでも、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね均等に瞳分割される。

図１１（ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い（Ｄｌ＜Ｄｓ）場合を示している。この場合、撮像素子の周辺部の画素では、結像光学系の射出瞳４００と撮像素子１１０の入射瞳とにずれが生じ、結像光学系の射出瞳４００が、平面図で示すように不均一に分割されてしまう。図１１（ｂ）の例では、第１瞳部分領域５０１に対応した視差画像Ａの実効絞り値が、第２瞳部分領域５０２に対応した視差画像Ｂの実効絞り値より小さい（明るい）値となる。反対側の像高では、逆に、第１瞳部分領域５０１に対応した視差画像Ａの実効絞り値が、第２瞳部分領域５０２に対応した視差画像Ｂの実効絞り値より大きい（暗い）値となる。

図１１（ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い（Ｄｌ＞Ｄｓ）場合を示している。この場合も、Ｄｌ＜Ｄｓの場合と同様、撮像素子の周辺部の画素では、結像光学系の射出瞳４００と撮像素子１１０の入射瞳とにずれが生じ、結像光学系の射出瞳４００が不均一に分割されてしまう。図１１（ｃ）の例では、第１瞳部分領域５０１に対応した視差画像Ａの実効絞り値が、第２瞳部分領域５０２に対応した視差画像Ｂの実効絞り値より大きい（暗い）値となる。反対側の像高では、逆に、第１瞳部分領域５０１に対応した視差画像Ａの実効絞り値が、第２瞳部分領域５０２に対応した視差画像Ｂの実効絞り値より小さい（明るい）値となる。

瞳ずれにより撮像素子の周辺部の画素で瞳分割が不均一になると、視差画像Ａと視差画像Ｂの実効Ｆ値も不均一になる。そのため、視差画像Ａと視差画像Ｂの一方のボケの拡がりが大きくなり、他方のボケの拡がりが小さくなる。

そのため、必要に応じて、複数の視差画像のうち、実効絞り値が最も小さい視差画像の重みまたは割合を最も小さく、もしくは、実効絞り値が最も大きい視差画像の重みまたは割合を最も大きくするように合成比率を決定し、瞳ずれの影響を抑制してもよい。

（ボケ領域検出処理）
本実施形態は、図４（ａ）に示した合成画像生成処理のうち、特にボケ領域検出処理において第１の実施形態と異なる。従って、以下では本実施形態におけるボケ領域検出処理について説明する。

図１２は本実施形態におけるボケ領域検出処理に関するフローチャートである。第１の実施形態と同様の処理については図４（ｂ）と同じ参照数字を付してある。
Ｓ５０１およびＳ５０２で距離検出部１３１は第１実施形態と同様に、デフォーカスマップの生成およびデフォーカスマップに基づく領域選択を行う。デフォーカス量が選択条件に該当する領域がなければ、距離検出部１３１はボケ領域検出処理を終了する。

次にＳ６０１〜Ｓ６０３でボケ領域検出部１３３は、第１実施形態におけるＳ５０３と同様に、視差画像Ａと視差画像Ｂ像の合成比率を変更した合成画像Ｋ（α）を生成する。そして、ボケ領域検出部１３３は、個々の合成画像Ｋ（α）について、Ｓ５０２で選択した領域（以下、評価領域という）それぞれについて、合焦度合いを表す評価値としてコントラスト評価値を求める。

コントラスト評価値は公知の方法のいずれかで算出することができる。例えば、ボケ領域検出部１３３は、コントラスト評価値を求める画像（評価領域）にバンドパスフィルタを適用して評価帯域の成分を抽出し、評価帯域の成分に微分フィルタを適用して隣接画素の差分値を算出する。そして、ボケ領域検出部１３３は、算出した差分値の最大値を評価領域の各ラインについて検出し、その積算値を評価領域のコントラスト評価値とすることができる。

全ての合成画像Ｋ（α）について、評価領域のコントラスト評価値を算出したら、ボケ領域検出部１３３は処理をＳ６０４に進める。Ｓ６０４でボケ領域検出部１３３は、個々の評価領域について算出したコントラスト評価値の変化量（最大値−最小値）を算出する。

そして、Ｓ６０５でボケ領域検出部１３３は、
（１）コントラスト評価値の変化量が閾値以上で、かつ
（２）視差画像の一方の合成比率を徐々に高め、視差画像の他方の合成比率を徐々に低めた合成画像Ｋ（α）について、コントラスト評価値が単調増加または単調減少している、評価領域を選択する。合成比率を変化させたことでコントラスト評価値に一定以上の差が生じた領域は、合成比率を変えることによって合焦度合いが変化している領域であり、ボケの補正が有効な領域（合成によってボケが生じている領域）と考えられる。したがって、（１）の条件だけでもある程度の精度で補正対象とするボケ領域を検出できるが、（２）の条件をさらに考慮することで、合成によってボケが生じている領域であることをより精度良く検出できる。なお、（１）の判定に用いる閾値は実験的に予め求めておくことができる。なお、撮影感度、被写体輝度などの組み合わせに応じて閾値を変化させてもよい。

図１３は、図５（ｂ）の領域Ｍ，Ｎについての、合成比率とコントラスト評価値との関係を示している。領域Ｍ，Ｎはいずれも焦点深度内の領域であるが、領域Ｍには合成によるボケが生じず、領域Ｎには合成によるボケが生じている。図５（ｂ）の横軸は、視差画像Ａに対する視差画像Ｂの合成比率、縦軸がコントラスト評価値を示す。ここでは、視差画像Ｂの合成比率が０から１の範囲（視差画像Ａの合成比率が２から１の範囲）を示している。

合成によるボケが生じていない領域Ｍのコントラスト評価値は視差画像Ｂの合成比率にかかわらず一定であるが、合成によるボケが生じている領域Ｎのコントラスト評価値は、視差画像Ｂの合成比率の単調増加に応じて単調減少していることが分かる。

Ｓ６０６でボケ領域検出部１３３は、評価領域ごとに、コントラスト評価値が最大となる合成画像Ｋ（α）の合成比率を記憶する。この合成比率は個々の評価領域でボケ補正の効果が最も得られる合成比率を示す。

ボケ領域検出処理で検出されたボケ領域がある場合の合成比率の決定ならびに合成画像の生成処理については、上述した方法もしくは第１実施形態で説明した方法で行うことができるため、説明を省略する。

本実施形態によれば、複数の視差画像から合成比率を変えて生成した複数の合成画像の合焦度合いを表す評価値の変化に基づいて、視差画像から生成した合成画像に発生するボケ領域を精度良く検出することができる。そのため、第１実施形態の効果に加え、画素の差分に基づいて検出しづらい状況においても、補正対象領域を精度良く検出することができるという効果を有する。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、第１および第２実施形態において検出された補正対象領域についてのボケ補正のパラメータをユーザが調整するための構成に関する。なお、本実施形態も第１および第２実施形態と同様、図１および図２に示したデジタルカメラ１００で実施可能なため、画像処理装置の機能構成に関する説明は省略する。

図１４は、本実施形態に係るパラメータ調整処理の手順を示すフローチャートである。パラメータ調整処理は、表示制御手段としてのカメラ信号処理部１４０が有するＣＰＵがプログラムを実行することによって実現することができる。なお、図１４に示す処理は、例えば図４（ａ）のＳ４０３においてボケ領域検出処理が終了し、Ｓ４０４でボケ領域が検出されたと判定された際に実行することができる。

Ｓ１００２でカメラ信号処理部１４０は、Ｓ４０２で生成した合成画像Ｃを、Ｓ４０３のボケ領域検出処理で検出されたボケ領域が識別できるように、パラメータ調整用のＧＵＩとともに表示部２２０に表示させる。図１５（ａ）に、Ｓ１００２で表示する補正パラメータ調整画面９００の例を模式的に示す。

補正パラメータ調整画面９００には、合成画像９７０の表示領域と、ＧＵＩの表示領域が含まれる。合成画像９７０の表示倍率は変更可能であってもよい。合成画像９７０では、検出されたボケ領域が識別できるように、指標を重畳表示したり、色や輝度を変更したり、点滅させたり、特定の色で塗りつぶしたり、といった強調表示９７２を行う。なお、他の方法で強調表示を行ってもよい。なお、近接したボケ領域（例えば外縁間の最短距離が予め定められた閾値以下（例えば１０画素以下）のボケ領域）は１つのグループとして取り扱うこともできる。近接したボケ領域をグループ化することで、複数のボケ領域についての補正パラメータの調整を一括して行うことを可能にできる。なお、グループとして取り扱うボケ領域はユーザが変更可能であってもよいし、ユーザが所望のボケ領域をグループとして指定することができてもよい。

なお、補正パラメータ調整画面９００の操作は、操作部２１０が有するキーやボタン、タッチパネルなどを用いて行うものとするが、外部接続される入力機器を用いてもよい。パーソナルコンピュータで実施する場合にはキーボードやマウスなどを用いてもよい。

検出領域表示チェックボックス９１０がチェックされると、カメラ信号処理部１４０は画像処理部１３０に対して合成画像９７０におけるボケ領域を強調表示するように指示する。また、検出領域表示チェックボックス９１０のチェックが外されると、カメラ信号処理部１４０は画像処理部１３０に対して合成画像９７０におけるボケ領域の強調表示を行わないよう指示する。ユーザはチェックを外して強調表示を解除することで、パラメータの調整の効果を確認したり、ボケ領域の画像を確認したりすることができる。

合成比率調整ツール９２０は、合成画像９７０を生成する際の視差画像Ａと視差画像Ｂの合成比率を手動で変更するためのＧＵＩである。例えばスライダ９２１が左端にある場合は視差画像Ａの合成比率が最大（２．０）、視差画像Ｂの合成比率が最小（０）で、スライダ９２１が右端にある場合は視差画像Ａの合成比率が最小（０）、視差画像Ｂの合成比率が最大（２．０）となる。スライダ９２１を左右に操作することで、ユーザは合成比率を任意の値に設定できる。なお、Ｓ１００２で表示する合成画像が合成画像Ｃでなく、合成画像Ｄの場合には、選択されている画素に対応する合成比率に連動してスライダ９２１の表示位置を変化させる。

なお、合成比率調整ツール９２０は、スライダ９２１に限定されず、合成比率を数値で直接入力して指定するＧＵＩなど、値を入力可能な他の任意のＧＵＩを用いることができる。

画素指定ツール９３０は、パラメータ調整を反映させる領域を選択するためのＧＵＩ群である。鉛筆ボタン９３１、ブラシボタン９３２は合成画像９７０の領域を指定するためのツールの例である。半径スライダ９３３は、ブラシの大きさを指定するためのＧＵＩである。図１５（ａ）の例では、鉛筆ボタン９３１が操作され、鉛筆状のカーソル９８０が表示されている。

なお、パラメータ調整を反映させる領域は、他の方法でも選択できる。例えば図１６（ａ）では、範囲指定ツール９４０として、矩形領域ボタン９４１、円形領域ボタン９４２、フリー領域ボタン９４３が示されている。図１６（ａ）の例では、矩形領域ボタン９４１が選択され、カーソルのドラッグ操作によって矩形領域を指定している状態を示している。指標９８４により、ユーザは選択される範囲を確認することができる。

画素指定ツール９３０や範囲指定ツール９４０による画像領域の指定操作や、指定操作に対してカメラ信号処理部１４０が行う視覚的なフィードバックは一般的な画像処理ソフトウェアで知られているものと同様であってよいため、詳細に関する説明は省略する。

また、パラメータ調整を反映させる領域は、グループを指定することによっても選択できる。図１６（ｂ）の例では、グループ指定ツール９５０が含まれている。検出されたボケ領域のうち、グループ化されているもののリスト９５１が表示され、対応するグループのチェックボックスをチェックしたりチェックを外したりすることで、グループ単位の選択、非選択が可能である。
なお、ここで説明した領域指定ツール９３０、９４０、９５０は単なる例であり、他の方法で画像の領域を指定するツールが含まれてもよい。

なお、カーソルがボケ領域外（補正パラメータを調整できない領域）を指している際には、図１５（ｂ）に示すように、カーソル９８０に選択不能であることを示す指標９８１を重畳表示させてもよい。

設定ボタン９６０が操作されると、カメラ信号処理部１４０は、操作時に指定されている画像の範囲とそれに対する合成比率の設定を保存する。
キャンセルボタン９６２が操作されると、カメラ信号処理部１４０は、未保存の調整内容を破棄して処理を終了する。
完了ボタン９６４が操作されると、カメラ信号処理部１４０は、未保存の調整内容を保存して処理を終了する。

一般的なデジタルカメラは、デジタルカメラの姿勢を検出可能なセンサ（姿勢センサ１９５）を有している。例えば手振れ補正に用いられるセンサを兼用することもあれば、姿勢検出用に独立したセンサを有することもある。そして、撮影画像の例えばメタデータに関する情報を記録する。例えば、Exif規格では、画像の付属情報として、画像の０番目の行と０番目の列が目で見たときの画像の上、下、右、左のどちら側になるかを示す情報を画像方向(Orientation)として記録することが規定されている。一方、撮影画像の再生時にカメラ信号処理部１４０は、撮影画像の向きと、現在のデジタルカメラの姿勢との関係に応じて、ユーザが正しい向きで画像を見られるよう、必要に応じて画像を回転してから表示する。

そのため、例えば水平位置と、水平位置から１８０°回転した位置で撮影された画像のように、撮影時の視点位置の相対関係が逆転している画像であっても、同じ向きに表示されるため、見た目はで区別することはできない。従って、図１５および図１６に示した補正パラメータ調整画面９００において、特定の視差画像（例えば視差画像Ａ）の比率を高めたい場合に、スライダ９２１を左右どちらに移動したらよいか把握することが難しい。

従って、例えば図１５や図１６に示した補正パラメータ調整画面９００において、スライダ９２１の移動方向と、合成比率が高まる視差画像との関係を明示することで、ユーザが意図に沿った合成比率を指定することを可能にすることができる。例えば、図１５（ａ）に示した補正パラメータ調整画面９００に、スライダ９２１の移動方向と、移動によって合成比率が高まる視差画像との関係を明示させた例を図１７に示す。

具体的にはカメラ信号処理部１４０は、例えば視差画像ＡおよびＢのメタデータを参照して撮像時のデジタルカメラの姿勢を判定する。カメラ信号処理部１４０は例えば、水平位置（０°）、水平位置から９０度右回転した縦位置（９０°）、水平位置から９０度左回転した縦位置（２７０°）、水平位置から１８０°回転した横位置（１８０°）のいずれかを判定する。なお、カメラ信号処理部１４０は、デジタルカメラの姿勢の代わりに、画像の方向を判定してもよい。

そして、カメラ信号処理部１４０は、視差画像Ａ，Ｂの撮影時および現在のデジタルカメラ１００の姿勢に応じて、撮影時の画像の上下左右の関係が維持されて表示されるよう、必要に応じて画像処理部１３０によって合成画像Ｃを回転させる。そして、カメラ信号処理部１４０は、合成画像を含んだ補正パラメータ調整画面９００を表示部２２０に表示する。この際、カメラ信号処理部１４０は、合成比率調整ツール９２０のスライダ９２１の可動範囲の両端に、スライダ９２１の移動によって合成比率が高まる視差画像を特定する情報（左、右、上、下のいずれか）を表示する。これによりユーザは、撮影時の画像の向きを意識することなく、表示された合成画像とスライダ９２１とを見ながら、所望の視差画像の合成比率を容易に調整することが可能になる。

図１７（ａ）〜（ｄ）において、デジタルカメラ１００の現在の姿勢は正位置（水平位置）であるものとする。また、各図の右側には、撮影時のデジタルカメラ１００の姿勢と、撮像素子１１０の副画素２０１，２０２の位置関係を模式的に示している。

図１７（ａ）は、撮影時のデジタルカメラ１００が正位置（水平位置）である場合を示している。この場合、撮像時と表示時の撮像装置の姿勢が等しいため、合成画像９７０は回転されずに表示される。また、スライダ９２１の可動範囲の左端に「左」、右端に「右」が表示されている。これによりユーザは、スライダ９２１を中央から左側に移動させると、左側の第１副画素２０１で撮影された視差画像Ａの合成比率が高くなり、右側に移動させると、右側の第２副画素２０２で撮影された視差画像Ｂの合成比率が高くなることがわかる。

図１７（ｂ）は、撮影時のデジタルカメラ１００が正位置から右に９０°回転した縦位置である場合を示している。この場合、合成画像９７０は右に９０°回転されて表示される。また、スライダ９２１の可動範囲の左端に「上」、右端に「下」が表示されている。これによりユーザは、スライダ９２１を中央から左側に移動させると、上側の第１副画素２０１で撮影された視差画像Ａの合成比率が高くなり、右側に移動させると、下側の第２副画素２０２で撮影された視差画像Ｂの合成比率が高くなることがわかる。

図１７（ｃ）は、撮影時のデジタルカメラ１００が正位置から１８０°回転した横位置である場合を示している。この場合、合成画像９７０は１８０°回転されて表示される。また、スライダ９２１の可動範囲の左端に「右」、右端に「左」が表示されている。これによりユーザは、スライダ９２１を中央から左側に移動させると、右側の第１副画素２０１で撮影された視差画像Ａの合成比率が高くなり、右側に移動させると、左側の第２副画素２０２で撮影された視差画像Ｂの合成比率が高くなることがわかる。

図１７（ｄ）は、撮影時のデジタルカメラ１００が正位置から左に９０°（右に２７０°）回転した縦位置である場合を示している。この場合、合成画像９７０は左に９０°回転されて表示される。また、スライダ９２１の可動範囲の左端に「下」、右端に「上」が表示されている。これによりユーザは、スライダ９２１を中央から左側に移動させると、下側の第１副画素２０１で撮影された視差画像Ａの合成比率が高くなり、右側に移動させると、上側の第２副画素２０２で撮影された視差画像Ｂの合成比率が高くなることがわかる。

なお、表示後にユーザが画像を回転させた場合、現在のデジタルカメラ１００の姿勢に加え、ユーザ操作による回転量を考慮して、スライダ９２１の移動によって合成比率が高まる視差画像を特定する情報を表示することができる。

図１５に戻り、Ｓ１００４でカメラ信号処理部１４０は、補正パラメータ調整画面９００のＧＵＩ操作を通じて、補正範囲の調整があったか否かを判定する。調整があったと判定されれば、カメラ信号処理部１４０はＳ１００６で調整後の範囲を記憶する。調整があったと判定されなければ、カメラ信号処理部１４０は処理をＳ１００８に進める。

Ｓ１００８でカメラ信号処理部１４０は、補正パラメータ調整画面９００のＧＵＩ操作を通じて、合成比率の調整があったか否かを判定する。調整があったと判定されれば、カメラ信号処理部１４０はＳ１０１０で調整後の合成比率を反映した合成画像を画像処理部１３０に生成させ、補正パラメータ調整画面９００における合成画像９７０の表示を更新し、処理をＳ１０１２に進める。この際、Ｓ１００２と同様、ボケ領域の強調表示も行う。なお、Ｓ１０１０における合成画像の生成処理は、図４におけるＳ４０６、Ｓ４０７と同様の処理で実現することができる。

Ｓ１００８で、合成比率の調整があったと判定されなければ、カメラ信号処理部１４０は処理をＳ１０１２に進める。

Ｓ１０１２でカメラ信号処理部１４０は、補正パラメータ調整画面９００で設定ボタン９６０が操作されたか否かを判定する。設定ボタン９６０が操作されたと判定されれば、カメラ信号処理部１４０は、Ｓ１０１４で操作時に指定されている画像の範囲とそれに対する合成比率の設定を保存して、処理をＳ１０１６に進める。設定ボタン９６０が操作されたと判定されなければ、カメラ信号処理部１４０は処理を直ちにＳ１０１６に進める。

Ｓ１０１６でカメラ信号処理部１４０は、補正パラメータ調整画面９００でキャンセルボタン９６２が操作されたか否かを判定する。キャンセルボタン９６２が操作されたと判定されれば、カメラ信号処理部１４０は処理をＳ１０１８に進め、未保存の調整内容を破棄して処理を終了する。キャンセルボタン９６２が操作されたと判定されなければ、カメラ信号処理部１４０は処理をＳ１０２０に進める。

Ｓ１０２０でカメラ信号処理部１４０は、補正パラメータ調整画面９００で完了ボタン９６４が操作されたか否かを判定する。完了ボタン９６４が操作されたと判定されれば、カメラ信号処理部１４０は処理をＳ１０２２に進め、未保存の調整内容を保存して処理を終了する。完了ボタン９６４が操作されたと判定されなければ、カメラ信号処理部１４０は処理をＳ１００４に戻す。

以上説明したように、本実施形態によれば、ユーザがボケ補正のパラメータを容易に調整することが可能になり、ユーザが希望するボケ補正を実現することができる。特に、ボケ領域単位で補正パラメータを調整できるため、ユーザの細かな要求に応じた補正が実現できる。

（その他の実施形態）
上述の実施形態では、デフォーカス量が小さい領域をまず抽出し、抽出した領域についてボケ領域を検出していた。しかし、まず差分やコントラスト評価値に基づいて合焦度合いの変化が条件を満たす領域を検出した後、デフォーカス量が小さい領域をボケ領域として検出してもよい。この場合、差分絶対値和の積分値が大きすぎる小領域はデフォーカス量による選択から除外してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１１０…撮像素子、１２０…Ａ／Ｄ変換、２３０…レンズ、２４０…絞り、１３０…画像処理部、２０１…距離検出部、２０２…画像合成部、２０３…前ボケ検出部、２０４…合成比率算出部、２０５…表示部。

Claims (19)

1. 複数の視差画像を取得する取得手段と、
   複数の視差画像を合成して合成画像を生成する合成手段と、
   前記合成によって前記合成画像に生じるボケ領域を検出する第１の検出手段と、を有し、
   前記第１の検出手段は、前記複数の視差画像の合成比率が異なる複数の合成画像それぞれから得られる複数の評価値に基づいて前記ボケ領域を検出することを特徴とする画像処理装置。
2. 前記第１の検出手段は、前記複数の視差画像の合成比率が異なる複数の合成画像について、前記合成比率の変化に伴う前記複数の評価値の変化に基づいて前記ボケ領域を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の評価値が、前記複数の合成画像の差分に基づく評価値を含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の評価値が、合焦度合いを表す評価値を含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記合焦度合いを表す評価値が、コントラスト評価値であることを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の視差画像から、前記合成画像における焦点深度内の領域を検出する第２の検出手段をさらに有し、
   前記第１の検出手段は、前記焦点深度内の領域を含む領域について前記ボケ領域を検出することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記第１の検出手段は、
   前記焦点深度内の領域を含む領域を複数の小領域に分割し、
   前記小領域ごとに前記評価値を算出し、
   前記小領域ごとに前記ボケ領域か否かを判定する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記ボケ領域のボケを補正した合成画像を生成するための合成比率を決定する決定手段をさらに有し、
   前記合成手段は、前記決定手段が決定した合成比率を用いて前記複数の視差画像を合成し、前記ボケを補正した合成画像をさらに生成する、
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
9. 前記決定手段は、前記ボケを補正した合成画像を生成するための合成比率として、前記ボケ領域についてはボケを補正するための合成比率を、前記ボケ領域以外の領域の少なくとも一部については、予め定められた基準合成比率を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記ボケ領域と、前記基準合成比率が決定される領域との間の領域についての合成比率が連続的に変化するように、前記ボケを補正した合成画像を生成するための合成比率を決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記決定手段は、前記ボケ領域に対する合成比率を、該ボケ領域についての合焦度合いが、前記複数の視差画像を予め定められた基準合成比率で合成した合成画像における合焦度合いと最も異なる合成画像を生成するために用いた合成比率に基づいて決定することを特徴とする請求項８から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記第１の検出手段が検出した前記ボケ領域の範囲と、前記合成手段で該ボケ領域に対して用いる合成比率との少なくとも一方をユーザが変更するための調整画面を表示装置に表示させる表示制御手段をさらに有することを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記表示制御手段は、前記第１の検出手段が前記ボケ領域を検出した合成画像を、検出した前記ボケ領域が識別できるように前記調整画面に表示させることを特徴とする請求項１２に記載の画像処理装置。
14. 前記表示制御手段は前記調整画面に、前記複数の視差画像の合成比率を変更するためのＧＵＩを、該ＧＵＩの移動方向と、前記複数の視差画像の合成比率の変化との関係を示す表示とともに表示することを特徴とする請求項１２または請求項１３に記載の画像処理装置。
15. 前記表示制御手段は、前記複数の視差画像が撮影された際の撮像装置の姿勢と、前記画像処理装置の姿勢との関係とに応じて、前記複数の視差画像の合成比率の変化との関係を示す表示の内容を変更することを特徴とする請求項１４に記載の画像処理装置。
16. 前記第１の検出手段が検出した前記ボケ領域のうち、最短距離が予め定めた閾値以下の複数のボケ領域を、１つのグループとして取り扱うことを特徴とする請求項１から請求項１５のいずれか１項に記載の画像処理装置。
17. 前記複数の視差画像を生成可能な撮像手段と、
    請求項１から請求項１６のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
18. 複数の視差画像を合成して合成画像を生成可能な画像処理装置が実行する画像処理方法であって、
    複数の視差画像を取得し、
    前記複数の視差画像の合成比率が異なる複数の合成画像を生成し、
    前記複数の合成画像のそれぞれから得られる複数の評価値に基づいて、前記複数の視差画像を合成した合成画像に生じるボケ領域を検出する、
    ことを特徴とする画像処理方法。
19. コンピュータを、請求項１から請求項１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。