JP2016090975A - 距離検出装置、撮像装置、距離検出方法、およびプログラム - Google Patents

Abstract

【課題】高精度な距離検出を高速に行える距離検出装置を提供する。
【解決手段】結像光学系の射出瞳内の第１の瞳領域を通過した光束に基づく第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に基づく第２の画像データと、前記第１の瞳領域と前記第２の瞳領域を内包する第３の瞳領域を通過した光束に基づく第３の画像データのうち、少なくとも前記第１および第３の画像データに基づき被写体までの距離情報を検出する距離検出装置であって、前記第１の画像データと第３の画像データとの像ズレ量である第１の像ズレ量を取得し、前記第１の像ズレ量に基づき、前記第１の画像データの像形状を修正した第１の修正画像データを生成し、前記第１の修正画像データと、前記第２の画像データまたは前記第３の画像データとに基づく像ズレ量である第３の像ズレ量を取得する。
【選択図】図４

Description

本発明は、距離検出装置に関し、特にデジタルカメラやデジタルビデオカメラなどに用いられる距離検出装置に関するものである。

デジタルスチルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう。）を配置し、位相差方式で被写体までの距離を検出するようにした固体撮像素子が特許文献１に提案されている。測距画素は、複数の光電変換部を備え、撮影レンズの瞳上の異なる領域を通過した光束が、異なる光電変換部に導かれるように構成される。

各測距画素に含まれる光電変換部により生成された電気信号から、異なる瞳領域を通過した光束により生成される光像（以下、それぞれ「Ａ像」、「Ｂ像」とも呼ぶ。）に基づく画像データ（以降、Ａ像に基づく画像データをＡ像データ、Ｂ像に基づく画像データをＢ像データと呼ぶ。）が取得される。このＡ像データとＢ像データの相対的な位置ズレ量である視差量（像ズレ量ともいう）が算出される。

視差量の算出には、テンプレートマッチングと呼ばれる領域ベースの対応点探索技術が多く用いられる。従来のテンプレートマッチングでは、Ａ像データまたはＢ像データの一方の画像データを基準画像データとして用い、他方の画像データを参照画像データとして用いる。基準画像データ上に、注目点を中心とする基準領域（基準ウィンドウともいう）を設定すると共に、参照画像データ上にて注目点と対応する参照点に対しても参照領域（参照ウィンドウともいう）を設定する。参照点を順次移動させながら、基準領域内の画像データと参照領域内の画像データの相関が最も高くなる参照点を探索する。この相関が最も高くなる参照点のことを、対応点と呼ぶ。注目点と対応点の相対的な位置ズレ量を用いて視差量が算出される。一般に、探索領域のサイズを小さくすると、局所演算に起因する視差量の算出誤差が発生するため、比較的大きな領域サイズ（例えば、９画素×９画素など）が用いられている。

算出した視差量に変換係数を掛けてデフォーカス量に変換することで、被写体までの距離を算出できる。このような測距手法によると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。

測距精度は、視差量を正確に求めることで向上する。視差量の誤差が発生する要因の１つに、光量バランスの崩れが上げられる。光量バランスの崩れは、撮影レンズのレンズ枠などによる光束のケラレや測距画素感度の角度特性などにより、Ａ像とＢ像の光量比が像高に応じて変化する現象である。

特許文献２では、像高が高くなった時に撮影レンズの口径食によって生じるＡ像とＢ像の光量バランスの崩れを補正する技術が開示されている。

特許第４０２７１１３号公報 特開２００４−１９１６２９号公報

上述の特許文献２では、取得した画像データに対して線像分布関数に基づき生成したフィルタを畳込み演算することで、口径食によって生じるＡ像とＢ像の形状の非対称性を修正している。

Ａ像の像形状の修正に用いるフィルタを、Ａ像に対するＢ像の像ズレ量に応じて生成することで、より精度良くＡ像の像形状を修正することができる。また、Ｂ像の像形状の修正に用いるフィルタを、Ｂ像に対するＡ像の像ズレ量に応じて生成することで、より精度良くＢ像の像形状を修正することができる。したがって、Ａ像とＢ像の非対称性を精度良く修正するためには、Ａ像を基準とした像ズレ量とＢ像を基準とした像ズレ量を算出する必要があり、演算量が増えるという課題がある。

そこで本発明は、高精度な距離検出を高速に行える距離検出装置を提供することを目的とする。

本発明の第一態様は、結像光学系の射出瞳内の第１の瞳領域を通過した光束に基づく第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に基づく第２の画像データと、前記第１の瞳領域と前記第２の瞳領域を内包する第３の瞳領域を通過した光束に基づく第３の画像データのうち、少なくとも前記第１および第３の画像データに基づき被写体までの距離情報を検出する距離検出装置であって２つの画像データの間の像ズレ量を取得する取得手段と、像ズレ量に基づいて画像データの像形状を修正する像修正手段と、を有し、前記取得手段によって、前記第１の画像データと第３の画像データとの像ズレ量である第１の像ズレ量を取得し、前記像修正手段によって、前記第１の像ズレ量に基づき、前記第１の画像データの像形状を修正した第１の修正画像データを生成し、前記取得手段によって、前記第１の修正画像データと、前記第２の画像データまたは前記第３の画像データとに基づく像ズレ量である第３の像ズレ量を取得する。

本発明の第二態様は、結像光学系の射出瞳内の第１の瞳領域を通過した光束に基づく第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に基づく第２の画像データと、前記第１の瞳領域と前記第２の瞳領域を内包する第３の瞳領域を通過した光束に基づく第３の画像データのうち、少なくとも前記第１および第３の画像データに基づき被写体までの距離情報を検出する距離検出装置が行う距離検出方法であって、前記第１の画像データと前記第３の画像データとの像ズレ量である第１の像ズレ量を取得する第１取得ステップと、前記第１の像ズレ量に基づき、前記第１の画像データの像形状を修正した第１の修正画像データを生成する第１像修正ステップと、前記第１の修正画像データと、前記第２の画像データまたは前記第３の画像データとに基づく像ズレ量である第３の像ズレ量を取得する第３取得ステップと、を含む。

本発明では、被写体までの距離を算出する距離検出装置において、演算量を削減しつつも高精度に像ズレ量を算出することにより、高精度かつ高速に被写体距離を検出することができる。

実施形態１に係る距離検出装置を備えたデジタルカメラの構成図。 光電変換部が受光する光束の説明図。 Ａ像とＢ像が並進非対称となる理由とその補正方法を説明する図。 実施形態１における距離検出処理の流れを説明する図。 ２つの画像間の像ズレ量の取得方法を説明する図。 像形状修正処理のための像ズレ量算出を高速化できる理由を説明する図。 実施形態２における撮像素子および距離算出処理を説明する図。 実施形態３における距離検出処理の流れを説明する図。 実施形態４における撮像素子を説明する図。 デジタルカメラの動作を示すフローチャート。

以下、図を参照しながら本発明の実施形態について詳細に説明する。以下の説明では、本発明の距離検出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

（実施形態１）
＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態に係る距離検出装置１１０を備えたデジタルカメラ１００を示す図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離検出装置１１０、画像生成部（不図示）、レンズ駆動制御部（不図示）が、カメラ筐体１３０の内部に配置され、構成される。距離検出装置１１０は、さらに、像ズレ量取得部１０２、像修正部１０４、距離変換部１０６から構成される。距離検出装置１１０は論理回路を用いて構成することができる。距離検出装置１１０の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を結像光学系１２０の予定焦点面に配置された撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）、絞り（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。尚、図１（Ａ）中には、結像光学系１２０の光軸１４０が示されている。本発明書中では光軸１４０はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸１４０と垂直な軸とする。

ここで、このデジタルカメラ１００の動作例について説明しておく。ただし、以下は、あくまで一例である。図１０はデジタルカメラ１００のメイン電源が入り、シャッターボタン（不図示）が所謂半押しされた後の動作フローを説明する図である。まず、ステップＳ１００１にて、デジタルカメラ１００は、結像光学系１２０の情報（焦点距離、絞り値など）を読み出し、メモリ部（不図示）に保存する。次に、デジタルカメラ１００は、ステップＳ１００２、Ｓ１００３、Ｓ１００４の処理を行い、焦点調節を行う。すなわち、ステップＳ１００２では、撮像素子１０１から出力される画像データに基づき、図４を用いて後述する距離検出手順を用いてデフォーカス量が算出される。ステップＳ１００３では、算出されたデフォーカス量に基づき、結像光学系１２０が合焦状態かどうか判別される。合焦していない場合は、ステップＳ１００４にて、レンズ駆動制御部がデフォーカス量に基づき結像光学系１２０内のフォーカスレンズを合焦位置へ駆動したのち、ステップＳ１００２へ戻る。ステップＳ１００３にて合焦していると判定された場合は、ステップＳ１００５にて、シャッターボタン（不図示）の操作によりシャッターがレリーズ（所謂全押し）されたか否かの判定が行われる。レリーズされていないと判定された場合は、ステップＳ１００２へ戻り、上述の処理を繰り返す。ステップＳ１００５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から画像データを読み出し、メモリ部（不図示）に保存する。メモリ部に保存された画像データに画像生成部が現像処理を施すことで、観賞用画像を生成することができる。また、メモリ部に保存された画像データに、図４を用いて後述する距離検出手順を適用することで、観賞用画像と対応した距離画像（距離分布）を生成することができる。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像データが生成される。以下、本実施形態における撮像素子１０１について、図１を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０が複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。撮像素子１０１の全ての画素が画素群１５０として構成されてもよいし、撮像素子１０１の一部のみに画素群１５０が離散的に配置され、その他は通常の撮像用画素のみで構成された画素群が配置されても構わない。

図１（Ｃ）は、画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１を含む。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１７０、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。

＜距離検出の原理説明＞
本実施形態の、距離検出装置１１０における距離検出の原理について説明する。

まず、図２（Ａ）（Ｂ）を用いて撮像素子１０１内の第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について説明する。図２（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される緑画素１５０Ｇ１のみについて示した概略図である。図２（Ａ）（Ｂ）においては、説明のために光軸１４０がマイクロレンズ１７０の中心を通るように図示している。

マイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳内の第１の瞳領域２１０を通過した光束が第１の光電変換部に入射する。一方、射出瞳内の第２の瞳領域２２０を通過した光束は、第２の光電変換部１６２に入射する。

複数の画素に含まれる複数の第１の光電変換部は、受光した光束を光電変換して第１の画像データ（Ａ像データ）を生成する。また同様に、複数の画素に含まれる複数の第２の光電変換部は、受光した光束を光電変換して第２の画像データ（Ｂ像データ）を生成する。従って、第１の画像データから、第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像（Ａ像）の強度分布を得ることができる。同様に、第２の画像データから第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像（Ｂ像）の強度分布を得ることができる。第１の画像データと第２の画像データを合成した第３の画像データ（Ａ＋Ｂ像データ）は、図２（Ａ）に示す第１の瞳領域２１０と第２の瞳領域２２０を内包する第３の瞳領域２３０を通過した光束が撮像素子１０１上に形成する像（Ａ＋Ｂ像）の強度分布となる。

図２（Ｂ）は光軸１４０と撮像素子１０１の交点（いわゆる中心像高）から、結像光学系１２０の射出瞳１３０を見た図である。第１の瞳領域２１０の重心位置を２１１で示し、第２の瞳領域２２０の重心位置を２２１で示し、第３の瞳領域２３０の重心位置を２３１で示している。本実施形態においては、第１の重心位置２１１は、第３の重心位置２３
１から第１の軸２００に沿って＋ｘ方向に沿って偏心（シフト）している。一方、第２の重心位置２２１は、第３の重心位置２３１から第１の軸３００に沿って、第１の重心位置２１１とは逆の方向に偏心（シフト）している。本実施形態においては、第１の光電変換部１６１を緑画素１５０Ｇ１のｘｙ面内の中心から−ｘ方向にシフトしているため、第１の重心位置２１１は第１の軸に沿って＋ｘ方向に偏心している。一方、第２の光電変換部１６２を緑画素１５０Ｇ１のｘｙ面内の中心から＋ｘ方向にシフトしているため、第２の重心位置２２１は第１の軸に沿って−ｘ方向に偏心している。

第１の画像データ（Ａ像データ）と第２の画像データ（Ｂ像データ）の相対的な位置ズレ量である像ズレ量は、被写体までの距離に応じた量となる。よって、第１の画像データと第２の画像データ間の像ズレ量を後述の手法によって算出することで、被写体までの距離を得ることができる。なお、距離検出装置１１０が出力する距離情報は、フォーカス位置からの相対距離であってもよいし、撮影時の撮像装置からの絶対距離であってもよい。また、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量や像ズレ量など実空間の距離に換算できる量で表されてもよい。

図２（Ｂ）において、第１の瞳領域２１０はｘ座標が正の領域とし、第２の瞳領域２２０はｘ座標が負の領域として図示したが、実際には受光層１８２に到達する光は、光の回折現象により一定の拡がりを有する。また、受光層１８２内部におけるキャリアのクロストークによっても、一定の拡がりを有する。すなわち、ｘ座標が負の領域を通過した光束が第２の光電変換部１６２に入射する場合においても、第１の光電変換部１６１は低感度ながらも受光感度を有する。従って、第１の瞳領域と第２の瞳領域は明確に区分することはできず、重複した領域を有することになる。本実施形態においては、便宜的に第１の瞳領域と第２の瞳領域を明確に区分した形で説明する。

＜Ａ像とＢ像の像形状が非対称になる要因並びに像形状の修正方法＞
以下、Ａ像とＢ像の像形状が非対象になる要因について、図３（Ａ）〜３（Ｅ）を参照しながら詳細に説明する。

図３（Ａ）は、画素感度の入射角度依存性を示している。横軸は、画素へ入射する光線がｚ軸となす角度であり、縦軸は、画素感度を示している。また、実線３０１は第１の光電変換部１６１の感度を、破線３０２は第２の光電変換部１６２の感度を示している。

図３（Ｂ）は、光電変換部が図３（Ａ）に示す感度の入射角度依存性を有する際の、線像分布関数を示している。実線３１１は第１の瞳領域２１０を通過した光束の線像分布関数（第１の線像分布関数）であり、破線３１２は第２の瞳領域２２０を通過した光束の線像分布関数（第２の線像分布関数）である。図３（Ｂ）から、第１の線像分布関数３１１と第２の線像分布関数３１２が並進対称性を有さないことが分かる。像ズレ量の算出では並進対称性が重要であることから、以下では単に対称性といった場合は並進対称性を指すものとする。例えば、第１の線像分布関数３１１と第２の線像分布関数３１２は非対称な形状である、などと表現する。

第１の線像分布関数３１１と第２の線像分布関数３１２の形状が非対称になる主な要因として、結像光学系１２０のレンズ枠などによるケラレの影響が挙げられる。一般に、中心像高における射出瞳１３０の形状は、図２（Ｂ）に示すように円形になる。したがって射出瞳１３０をｘ方向に分割した第１の瞳領域２１０と第２の瞳領域２２０は並進対称性を有さない。図３（Ｂ）に示すように、各瞳領域２１０，２２０の形状を反映して、線像分布関数３１１，３１２の形状は、非対称な形状になる。

Ａ像は、第１の線像分布関数３１１の形状を反映した像形状となる。また、Ｂ像は、第２の線像分布関数３１２の形状を反映した像形状となる。したがって、Ａ像とＢ像は、結像光学系１２０のレンズ枠などのケラレにより、非対称な像形状を有することになる。すなわち、Ａ像に基づく第１の画像データと、Ｂ像に基づく第２の画像データの像形状は、非対称になる。

Ａ像とＢ像間における像形状の非対称性を修正する方法の１つとして、第１の画像データ（Ａ像）と第２の線像分布関数に基づくフィルタの畳込み積分を行い、第２の画像データ（Ｂ像）と第1の線像分布関数に基づくフィルタの畳込み積分を行う方法がある。図３
（Ｃ）に、被写体の輝度分布を実線３２０にて示している。図３（Ｄ）は、図３（Ｃ）に示す被写体を撮影した画像データを示す。図３（Ｄ）における実線３３１は第１の画像データであり、破線３３２は第２の画像データである。第１の画像データと第２の画像データに対して像形状の非対称性を修正した結果を、図３（Ｅ）に示す。図３（Ｅ）において、実線３４１は第１の修正画像データであり、破線３４２は第２の修正画像データである。図３（Ｅ）から、第１の修正画像データと第２の修正画像データが対称形状を有することが分かる。

説明のために、第１の画像データと第２の画像データの両方の像形状を修正する例を示したが、第１の画像データにのみ像形状の修正処理を行っても構わない。いずれの場合においても、Ａ像とＢ像間の類似度をより高めるためには、像形状修正フィルタを生成する前に、第１の画像データと第２の画像データの間の像ズレ量（以降、暫定像ズレ量）を算出することが必要である。これは、線像分布関数の形状は、像ズレ量に依存して変化するためである。予め暫定像ズレ量を算出しておくことで、第１の修正画像データと第２の修正画像データ間の類似度が高くなり、高精度に像ズレ量の算出を行うことができる。

なお、ここでは線像分布関数を用いて像形状修正フィルタを生成する例を説明したが、点像分布関数を用いても同様に像形状の修正処理が行える。

＜距離検出手順の説明＞
以下、本実施形態の距離検出手順について、図４（Ａ）（Ｂ）を参照しながら詳細に説明する。図４（Ａ）は、撮像素子１０１にて画像データを取得し、デフォーカス量を算出するまでの処理の流れを説明するフローチャートであり、図４（Ｂ）はデータの流れを示す図である。

ステップＳ４０１では、撮像素子１０１にて第１の画像データ（Ａ像データ）４１１及び第２の画像データ（Ｂ像データ）４１２を取得し、距離検出装置１１０に伝送する。

ステップＳ４０２は撮像素子１０１から伝送された画像データに基づき、第３の画像データ（Ａ＋Ｂ像データ）４１３を生成するための工程である。本工程では、画像生成部が、第１の画像データ４１１と第２の画像データ４１２を合成し、第３の画像データ４１３を生成する。第１の画像データ４１１は、第１の瞳領域２０１（図２（Ｂ）参照）を主として通過した光束による像であり、第２の画像データ４１２は、第２の瞳領域２２０を主として通過した光束による像である。従って、第１の画像データ４１１と第２の画像データ４１２を加算することで第３の瞳領域２３０を通過した光束による像の強度分布を表す第３の画像データ４１３を生成することができる。後述するステップＳ４０３における第１の像ズレ量取得工程にて相関度を正しく算出するためには、相互相関演算を行う画像データ間で画素値の範囲が略等しいことが望まれる。従って、望ましくは第１の画像データ４１１と第２の画像データ４１２の加算平均によって第３の画像データ４１３を生成することが好ましい。

ステップＳ４０３（第１の像ズレ量取得工程）では、像ズレ量取得部１０２が、第１の画像データ４１１に対する第３の画像データ４１３の相対的な位置ズレ量である第１の像ズレ量４１４を取得する。ここで、２つの画像データの間の像ズレ量の算出方法について、図５を用いて説明する。図５は像ズレ量算出方法を説明する図であり、第１の画像データ４１１と第３の画像データ４１３を縦に並べて示している。像ズレ量取得部１０２は、第１の画像データ４１１に対して、注目点５１０を設定し、注目点５１０を中心に基準領域５２０を設定する。一方、像ズレ量取得部１０２は、第３の画像データ４１３に対して、注目点５１０と対応する位置に参照点５１１を設定し、参照点５１１を中心に参照領域５２１を設定する。像ズレ量取得部１０２は、参照点５１１を所定の探索範囲内で、第１の軸（図２（Ｂ）の第１の軸２００）に沿って順次移動させながら、基準領域５２０内の第１の画像データ４１１と参照領域５２１内の第３の画像データ４１３の相関度を算出する。像ズレ量取得部１０２は、最も類似度の高い参照点５１１を、注目点５１０に対応する対応点として決定する。注目点５１０と対応点間の相対的な位置ズレ量が像ズレ量となる。第１の画像データ４１１における注目点５１０を順次移動させながら対応点の探索を行うことで、第１の画像データ４１１内の各データ位置における像ズレ量を算出することができる。相関値の算出方法は公知の手法を用いることができ、例えば、基準領域５２０内の画像データと参照領域５２１内の画像データの差の２乗和を評価値とするＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる手法を用いることができる。以上の説明の通り、本実施形態の第１の像ズレ量取得工程Ｓ４０３においては、第１の画像データ４１１に基準領域を設定し、第３の画像データ４１３に参照領域を設定して、第１の像ズレ量４１４の算出を行っている。

ステップＳ４０４（第１の修正像生成工程）では、像修正部１０４が、ステップＳ４０３にて取得された第１の像ズレ量４１４に基づき、第１の画像データ４１１の像形状を修正する。像修正部１０４は、まず、第１の像ズレ量４１４と対応する第２の線像分布関数（第２の瞳領域を通過した光束の線像分布関数）に基づいて、像形状修正用フィルタを生成する。そして、像修正部１０４は、このフィルタを第１の画像データ４１１に適用することにより、第１の修正画像データ（Ａ’像データ）４１５を生成する。

ステップＳ４０５（第２の像ズレ量取得工程）では、像ズレ量取得部１０２が、第２の画像データ４１２に対する第３の画像データ４１３の相対的な位置ズレ量である第２の像ズレ量４１６を取得する。像ズレ量の算出方法は、ステップＳ４０３と同様の手順により行うことができる。

ステップＳ４０６（第２の修正像生成工程）では、像修正部１０４が、ステップＳ４０５にて取得した第２の像ズレ量４１６に基づき、第２の画像データ４１２の像形状を修正する。像修正部１０４は、まず、第２の像ズレ量４１６と対応する第１の線像分布関数（第１の瞳領域を通過した光束の線像分布関数）に基づいて、像形状修正用フィルタを生成する。そして、像修正部１０４は、このフィルタを第２の画像データ４１２に適用することにより、第２の修正画像データ（Ｂ’像データ）４１７を生成する。

ステップＳ４０７（第３の像ズレ量算出工程）では、像ズレ量取得部１０２が、第１の修正画像データ（Ａ’像データ）４１５と第２の修正画像データ（Ｂ’像データ）４１７の間の相対的な位置ズレ量である第３の像ズレ量４１８を取得する。像ズレ量の算出方法は、ステップＳ４０３と同様の手順により行うことができる。なお、２つの修正像の像形状は対称であるため、像ズレ量算出の基準はどちらであっても構わない。

ステップＳ４０８（距離変換工程）では、距離変換部１０６が、第３の像ズレ量４１８を、結像光学系１２０の焦点位置と撮像素子１０１（予定焦点面）の間の距離であるデフォーカス量（距離情報）４１９へ変換する。距離変換部１０６は、所定の変換係数を用い
て、第３の像ズレ量４１８からデフォーカス量４１９への変換を行う。第３の像ズレ量４１８をｄ、変換係数である基線長をｗ、撮像素子１０１から射出瞳１３０までの距離をＬ、デフォーカス量をΔＬとしたとき、以下の数式１により第３の像ズレ量ｄをデフォーカス量ΔＬに変換することができる。

なお、基線長ｗは、図２（Ｂ）に示した第１の重心位置２１１と第２の重心位置２２１
間の距離である。

本実施形態では数式１を用いて第３の像ズレ量４１８をデフォーカス量ΔＬに変換したが、数式１にてｗ＞＞ｄとの近似より、以下の数式２によりデフォーカス量ΔＬを求めてもよい。

本実施形態の距離変換工程Ｓ４０８では、第３の像ズレ量４１８をデフォーカス量へ変換したが、デフォーカス量と被写体までの距離は結像光学系１２０の結像関係を用いて容易に変換可能である。したがって、距離変換工程Ｓ４０８において、デフォーカス量を被写体距離へ変換しても構わないし、第３の像ズレ量を直接被写体距離へ変換しても構わない。いずれの場合でも、第３の像ズレ量を精度よく算出することで、被写体までの距離を高精度に算出することができる。

＜像形状の修正に必要な像ズレ量取得の演算量を削減できる理由＞
まず、第１の画像データの像形状を修正するために必要な像ズレ量について説明する。図６（Ａ）は、第１の画像データ４１１と第２の画像データ４１２を縦に並べて示している。第１の画像データについて像形状を修正するためには、各画素について第１の画像データを基準とした像ズレ量（以降、像ズレ量１Ａとする）が必要となる。第１の画像データを基準とした像ズレ量とは、第１の画像データの画素（例えば、位置６１１Ａの画素）を基準とした、当該画素に対応する第２の画像データにおける画素（例えば、位置６１２Ｂの画素）の相対的な位置である。

一方、第２の画像データの像形状を修正する際に、像ズレ量１Ａを用いると、誤った像ズレ量を用いて像形状を修正することになる。例えば、位置６１１Ａでの像ズレ量１Ａは、上述のように第１の画像データの位置６１１Ａと第２の画像データの位置６１２Ｂの相対的位置であり、第２の画像データの位置６１１Ｂ（位置６１１Ａと同じ座標）での像ズレ量とは異なる。したがって、第２の画像データの像形状を修正するためには、各画素について第２の画像データを基準とした像ズレ量（以降、像ズレ量１Ｂ）が必要となる。第２の画像データを基準とした像ズレ量とは、第２の画像データの画素（例えば、位置６１１Ｂの画素）を基準とした、当該画素に対応する第１の画像データにおける画素（例えば、位置６１３Ａの画素）の相対的な位置である。

このように、第１の画像データ４１１の像形状を修正するためには、第１の画像データ４１１を基準とした像ズレ量が必要となる。また、第２の画像データ４１２の像形状を修正するためには、第２の画像データ４１２を基準とした像ズレ量が必要となる。以上から、第１の画像データ４１１と第２の画像データ４１２を修正するためには、像ズレ量を２回算出する必要がある。一方で、像ズレ量１Ａと像ズレ量１Ｂは、像形状修正フィルタを生成するためのみに用いられるので、できるだけ簡易な演算であることが望まれる。

次に、本実施形態の距離検出手順において、第１及び第２の修正画像データの生成に必要な第１及び第２の像ズレ量の演算量を削減できる理由について説明する。

本実施形態の距離検出手順において、ステップＳ４０３の第１の像ズレ量算出工程では、第１の画像データ４１１を基準としたときの第３の画像データ４１３の相対的な位置ズレ量（第１の像ズレ量）が取得される。図６（Ｂ）では、射出瞳１３０と撮像素子１０１を模式的に示している。第１の像ズレ量４１４は、第１の瞳の重心位置２１１の像面上での位置と、第３の瞳の重心位置２３１の像面上での位置の間の長さ６０１となる。一方、第１の画像データ４１１と第２の画像データ４１２間の相対的な位置ズレ量は、第１の瞳の重心位置２１１の像面上での位置と第２の瞳の重心位置２２１の像面上での位置の間の長さ６０３となる。これら２つの長さ６０１、６０３の比較から、デフォーカス量が同じ場合の像ズレ量は、第１の像ズレ量６０１の方が短く約半分であることが分かる。これは、第２の像ズレ量を示す長さ６０２についても同様である。すなわち、本実施形態のステップＳ４０３、ステップＳ４０５においては、第３の画像データ４１３に対して参照点を設定し、像ズレ量の算出を行っているため、同じデフォーカス量であっても、像ズレ量が小さくなる。したがって、対応点を探索するために、参照点を順次移動させる範囲（探索範囲）を狭く設定することができるため、より少ない演算量で第１の像ズレ量４１４と第２の像ズレ量４１６を算出することができる。

本実施形態の距離検出手順の第３の像ズレ量取得工程Ｓ４０７では、図５を用いて説明したように、注目点５１０を順次移動させながら各画素について第３の像ズレ量４１８が算出される。さらに第３の像ズレ量４１８をデフォーカス量４１９に変換している。したがって、各画素位置に対応したデフォーカス量分布を算出することができる。また一方で、第３の画像データ４１３に対して、画像生成部において所定の現像処理を施すことで、観賞用の画像を生成することができる。観賞用画像中の被写体のボケ量は、デフォーカス量に応じて発生する。したがって、観賞用画像に対してデフォーカス量に応じた画像処理を行うことで、例えば撮影後にピント位置を変更するリフォーカス処理を行うことができる。なお、数式２にて説明したように、第３の像ズレ量とデフォーカス量は比例関係にあると近似できる。したがって、第３の像ズレ量からデフォーカス量への変換に係る工程を省き、観賞用画像に対して第３の像ズレ量に応じた画像処理を行っても構わない。その際には、図４（Ａ）の被写体距離検出手順において、ステップＳ４０１からステップＳ４０７までの工程のみを行えばよい。

いずれの場合においても、本実施形態の距離検出装置は、第１の画像データ及び第２の画像データの像形状を修正するために必要な像ズレ量算出に係る演算量を削減し、より高速に被写体までの距離を高精度に算出することができる。

（実施形態１の変形例）
上記の説明では、Ａ像およびＢ像の両方の像形状を修正しているが、いずれか一方のみの像形状を修正しても良い。例えば、Ａ像のみ修正する場合は、図４（Ａ）のフローチャートにおいて、ステップＳ４０５およびＳ４０６の処理が省略され、ステップＳ４０７においては、像修正後のＡ像（Ａ’像）と、像修正していないＢ像との間で像ズレ量が算出される。Ａ像の像修正処理によって２つの像形状の類似度が高まる。したがって、精度の良い像ズレ量（第３の像ズレ量）算出が可能となる。また、Ａ像とＡ＋Ｂ像の間の像ズレ量を算出することで、Ａ像とＢ像の間の像ズレ量を算出するよりも演算量を削減でき、処理の高速化が図れる。

（実施形態２）
本実施形態は、実施形態１と比較して撮像素子の構成が異なり、またそれに伴って距離
検出方法も異なる。

本実施形態に係るデジタルカメラ１００は、実施形態１の撮像素子１０１の代わりに、図７（Ａ）に示す構成の撮像素子７０１を備える。図７（Ａ）の撮像素子７０１は、画素群７５０が離散的に配置され構成される。画素群７５０は、画素群７５０の緑画素の位置に測距画素７５０Ｄ１と測距画素７５０Ｄ２が配置されている。また、画素群１５０の青画素と赤画素の位置には、通常の撮像用画素（測距機能を有さない画素）である赤画素７５０Ｒと青画素７５０Ｂを備えている。また、撮像素子７０１は、画素群７５０が配置されない領域に、通常の撮像用画素のみで構成された画素群が配置されている。もっとも、撮像素子７０１の全てが画素群７５０から構成されても構わない。

測距画素７５０Ｄ１には、第１の光電変換部１６１が配置されている。第１の光電変換部１６１は、実施形態１で説明したように、射出瞳１３０内の第１の瞳領域２１０（図２（Ａ）（Ｂ））を通過した光束を受光および光電変換して第１の画像データを生成する。測距画素７５０Ｄ２には、第３の光電変換部１６３が配置されている。第３の光電変換部１６３は、撮像用画素と略等しい開口面積を有し、射出瞳１３０内の第３の瞳領域２３０（図２（Ａ）（Ｂ））を通過した光束を受光および光電変換して第３の画像データを生成する。この結果、第３の光電変換部１６３により生成される第３の画像データは、第３の瞳領域２３０を通過した光束が形成する像の強度分布となる。

本実施形態における距離検出手順における処理の流れとデータの流れを、それぞれ図７（Ｂ）および図７（Ｃ）に示す。図７（Ａ）に示す撮像素子７０１を用いた場合には、実施形態１（図４（Ａ））と比較して、第３の画像データ生成工程Ｓ４０２、第２の像ズレ量取得工程ステップＳ４０５、第２の修正像生成工程ステップＳ４０５を省くことができる。以下では、重複した説明をできるだけ避け、実施形態１における距離検出手順から変更が有る部分について主に説明する。

ステップ７０１では、撮像素子７０１にて第１の画像データ（Ａ像）４１１および第３の画像データ（Ａ＋Ｂ像）４１３を取得し、距離検出装置１１０に伝送する。ステップＳ７０３（第１の像ズレ量算出工程）は、実施形態１における第１の像ズレ量算出工程Ｓ４０３と同様である。

ステップＳ７０４（第１の修正像生成工程）では、像修正部１０４が、ステップＳ７０３にて取得した第１の像ズレ量４１４に基づき、第１の修正画像データの生成を行う。本工程では、像修正部１０４は、第１の像ズレ量４１４と対応する第２の線像分布関数（第２の瞳領域を通過した光束の線像分布関数）に基づき生成した像形状修正用フィルタを第１の画像データ４１１に適用して、第１の修正画像データ４１５を生成する。この際、第３の瞳領域を通過した光束によるＡ＋Ｂ像（第３の画像データ）４１３の形状と略一致するように像形状修正用フィルタを生成すればよい。

ステップＳ７０７（第３の像ズレ量取得工程）では、像ズレ量取得部１０２が、第１の修正画像データ４１５と第３の画像データ４１３間の相対的な位置ズレ量である第３の像ズレ量４１８を取得する。像ズレ量の算出方法は、図５を用いて説明した手法と同様の手法を用いることができる。

ステップＳ７０８（距離変換工程）では、距離変換部１０６が、第３の像ズレ量４１８を撮像素子７０１から結像光学系１２０の焦点までの距離であるデフォーカス量（距離情報）４１９への変換する。より具体的には、距離変換部１０６は、数式１または数式２の変換式に基づいて、第３の像ズレ量４１８をデフォーカス量へ変換する。この際、第３の像ズレ量取得工程Ｓ７０７において、第１の修正画像データ４１５と第３の画像データ４
１３間の像ズレ量を取得していることを考慮して、基線長ｗとして、第１の重心位置２１１と第３の重心位置２３１間の距離を用いる。

このような距離検出手順を用いることで、本実施形態は、デフォーカス量の算出に係る工程数を減らすことができ、より高速に被写体までの距離を算出することができる。また、第３の像ズレ量算出工程Ｓ４０７では、実施形態１で図６（Ｂ）を用いて説明したのと同様の理由により、参照点５１１の探索範囲を狭く設定することができ、より高速に被写体までの距離を算出することができる。

本実施形態においては、画素群７５０と対応した位置のデフォーカス量分布を所得することができる。また、撮影用画素により生成された画像データに対して、画像生成部において所定の現像処理を行うことで観賞用画像を生成することができる。したがって、撮像素子１０１を用いた場合と同様に、観賞用画像に対してデフォーカス量分布を用いた画像処理を行うことができる。

なお、撮像素子７０１から生成される第３の画像データ４１３と第１の画像データ４１１の差をとることにより、第２の画像データ４１２を生成することができる。したがって、撮像素子７０１を有するデジタルカメラ１００においても、実施形態１と同様の距離検出手順を行うことができる。すなわち、図４（Ａ）の距離検出手順のステップＳ４０２を、第２の画像データ４１２を生成する工程に置き換えれば、実施形態１と同様の距離検出手順が本実施形態のデジタルカメラ１００でも実施できる。また逆に、撮像素子１０１を有する実施形態１のデジタルカメラ１００において、本実施形態における距離検出手順を実行できることも明らかであろう。

（実施形態３）
本実施形態に係るデジタルカメラは、実施形態２と同様の構成を有する。本実施形態に係るデジタルカメラは図７（Ａ）に示す撮像素子７０１を有する。本実施形態では、距離検出手順が実施形態２と比較して一部異なっている。

実施形態２の距離検出手順（図７（Ｂ））では、第１および第３の画像データ（Ａ像およびＡ＋Ｂ像）４１１，４１３を用いて距離が検出されるが、第２および第３の画像データ（Ｂ像およびＡ＋Ｂ像）４１２、４１３を用いても同様に距離が検出できる。ところで、撮像素子７０１面内の像高によっては、結像光学系１２０のレンズ枠などの口径食（ケラレ）により、第１の瞳領域２１０と第２の瞳領域２２０の面積に差がでるため、取得した画像データのＳＮ比（信号雑音比）が低下する恐れがある。このような場合には、第１の瞳領域２１０の面積と第２の瞳領域２２０の面積に応じて、第１の画像データ４１１と第２の画像データ４１３のどちらを用いて距離検出するかを切り替えることが望ましい。

本実施形態における距離検出手順のフローチャートを図８に示す。図８のフローチャートにおいて、図７（Ｂ）と同じ符号を付した工程は、実施形態２と同様であるので、説明を省略する。ステップＳ８０１では、像ズレ量取得部１０２は、第１の瞳領域２１０の面積と第２の瞳領域２２０の面積の比較を行い、その後の処理フローを切り替える。像ズレ量取得部１０２は、第１の瞳領域２１０の面積が第２の瞳領域２２０の面積よりも大きい場合には、ステップＳ７０３の工程に処理を進める。一方、像ズレ量取得部１０２は、第１の瞳領域２１０の面積が第２の瞳領域２２０の面積よりも小さい場合には、ステップＳ８０２に処理を進める。第１の瞳領域２１０と第２の瞳領域２２０のどちらが大きいかは、結像光学系１２０が決まれば画素ごとにあらかじめ求められる。したがって、像ズレ量取得部１０２は、画素ごとに第１の瞳領域２１０と第２の瞳領域２２０のどちらが大きいかをあらかじめ記憶しておく。なお、このような理由から、ステップＳ８０１は、像ズレ量算出対象の画素位置に応じてその後の処理フローを切り替える判定と捉えることもでき
る。

ステップＳ８０２では、第２の画像データ（Ｂ像データ）４１２を生成する工程である。画像生成部が、第３の画像データ（Ａ＋Ｂ像データ）４１３と第１の画像データ（Ａ像データ）４１１の差を取ることにより、第２の画像データ（Ｂ像データ）４１２を取得できる。ステップＳ８０３およびＳ８０４は、第１の画像データ４１１の代わりに第２の画像データ４１２を用いることを除けば、ステップＳ７０３およびＳ７０４の処理と同様である。

本実施形態によれば、第１の画像データ４１１と第２の画像データ４１２のうち、ＳＮ比が高い画像データを用いて第３の像ズレ量４１８を取得することができるため、実施形態２よりも高精度に第３の像ズレ量４１８を取得することができる。また、実施形態１と比較すると、第２の画像データの生成処理を一部省略できるので、処理を高速化することができる。

本実施形態では、撮像素子７０１を有するデジタルカメラを用いて処理を行う例を説明したが、撮像素子１０１を有するデジタルカメラにおいても本実施形態の距離検出手順を採用することも可能である。

（実施形態４）
本実施形態は、実施形態１と比較して撮像素子の構成が異なり、またそれに伴って距離検出方法も異なる。

本実施形態に係るデジタルカメラ１００は、実施形態１の撮像素子１０１の代わりに、図９（Ａ）に示す構成の撮像素子９０１を備える。撮像素子９０１は、２行×２列の画素群９５０が複数配列されて構成される。画素群９５０は、対角方向に緑画素９５０Ｇ１及び９５０Ｇ２が、他の２画素に赤画素９５０Ｒ及び青画素９５０Ｂが配置され、構成されている。

画素群９５０内の各画素の受光層には、４つの光電変換部（第１の光電変換部９６１、第２の光電変換部９６２、第４の光電変換部９６４、第５の光電変換部９６５）が行列状に配置されている。第１の光電変換部９６１は、受光した光束を光電変換して画像データを生成する。第１の光電変換部９６１から得られる画像データを、画像データ９７１と称する。同様に第２の光電変換部９６２は画像データ９７２を、第４の光電変換部９６４は画像データ９７４を、第５の光電変換部９６５は画像データ９７５を生成する。

図９（Ｂ）は、図２（Ｂ）と同様に結像光学系１２０の射出瞳１３０を示す図である。画素群９５０が備える各画素は、受光部に４つの光電変換部を備えている。この結果、画像データ９７１は、第１の瞳領域９８１を通過した光束が撮像素子９０１上に形成する像の強度分布となる。同様に画像データ９７２は第２の瞳領域９８２を、画像データ９７４は第４の瞳領域９８４を、画像データ９７５は第５の瞳領域９８５を、それぞれ通過した光束による像の強度分布となる。

本実施形態における第１の瞳領域９８１と第４の瞳領域９８４を足し合わせた領域が、実施形態１における第１の瞳領域２１０に相当する。したがって、本実施形態における画像データ９７１と画像データ９７４を合成した画像データ（第１の合成画像データと称する）は、実施形態１における第１の画像データに相当する。同様に、本実施形態における画像データ９７２と画像データ９７５を合成した画像データ（第２の合成画像データと称する）は、実施形態１における第２の画像データに相当する。また、４つの画像データ９７１，９７２，９７４，９７５を合成した画像データ（第３の合成画像データと称する）
は、実施形態１における第３の画像データに相当する。

実施形態１の距離検出手順（図４（Ａ））における第１〜第３の画像データとして、本実施形態における第１〜第３の合成画像データを用いることで、被写体までの距離情報を検出することができる。

また、本実施形態における４つの光電変換部から得られる４つの画像データのうち、任意の２つの画像データを用いて距離検出を行うことができる。例えば、画像データ９７１を第１の画像データとし、画像データ９７２を第２の画像データとして用いることができる。この際、画像データ９７１と画像データ９７２を合成した画像データを、第３の画像データとして用いることができる。あるいは、４つの画像データ９７１，９７２，９７４，９７５を合成した画像データを第３の画像データとして用いることもできる。第３の画像データは、少なくとも選択された２つの画像データを合成したものであれば、任意であって良い。すなわち、第３の画像データに対応する瞳領域が、第１の画像データに対応する瞳領域と第２の画像データに対応する瞳領域を内包していればよい。

第１の画像データおよび第２の画像データとして用いる画像データの組み合わせを変えることで、２つの画像データの視差の方向を変えることができる。例えば、画像データ９７１と画像データ９７２を用いる場合には、第１の瞳領域９８１と第２の瞳領域９８２の重心間を結ぶ方向（第１の軸２００の方向）に視差が生じる。したがって、第１の軸２００方向にコントラスト変化を有する被写体について高精度に距離を検出することができる。一方、第１の軸２００と垂直な方向にのみコントラスト変化を有する被写体については、距離検出精度が低下するおそれがある。このような場合に、例えば、画像データ９７１と画像データ９７４とを用いて距離検出を行うことで、精度の良い距離検出が可能となる。なお、画像データ９７１と画像データ９７５のように斜め方向に並んだ瞳領域を通過した光束に基づく画像を用いても同様に距離検出ができる。被写体のコントラストに応じて距離算出に用いる画像データの組み合わせを変えることで、被写体のコントラスト変化の方向によらず、被写体までの距離を高精度に算出することができる。

（その他の実施例）
上述した本発明の距離検出装置及び方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 距離検出装置， １０２ 像ズレ量取得部， １０４ 像修正部

Claims (14)

1. 結像光学系の射出瞳内の第１の瞳領域を通過した光束に基づく第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に基づく第２の画像データと、前記第１の瞳領域と前記第２の瞳領域を内包する第３の瞳領域を通過した光束に基づく第３の画像データのうち、少なくとも前記第１および第３の画像データに基づき被写体までの距離情報を検出する距離検出装置であって
   ２つの画像データの間の像ズレ量を取得する取得手段と、
   像ズレ量に基づいて画像データの像形状を修正する像修正手段と、
   を有し、
   前記取得手段によって、前記第１の画像データと前記第３の画像データとの像ズレ量である第１の像ズレ量を取得し、
   前記像修正手段によって、前記第１の像ズレ量に基づき、前記第１の画像データの像形状を修正した第１の修正画像データを生成し、
   前記取得手段によって、前記第１の修正画像データと、前記第２の画像データまたは前記第３の画像データとの像ズレ量である第３の像ズレ量を取得する、
   距離検出装置。
2. 前記像修正手段は、前記第１の像ズレ量と対応する前記第２の瞳領域を通過した光束の点像分布関数または線像分布関数に基づき像形状修正フィルタを生成し、前記像形状修正フィルタを前記第１の画像データに対して畳込み積分することで、前記第１の修正画像データを生成する、
   請求項１に記載の距離検出装置。
3. 前記取得手段によって、前記第２の画像データと前記第３の画像データとの像ズレ量である第２の像ズレ量を更に取得し、
   前記像修正手段によって、前記第２の像ズレ量に基づき、前記第２の画像データの像形状を修正した第２の修正画像データを更に生成し、
   前記取得手段は、前記第１の修正画像データと前記第２の修正画像データとの像ズレ量を前記第３の像ズレ量として取得する、
   請求項１または２に記載の距離検出装置。
4. 前記像修正手段は、前記第２の像ズレ量と対応する前記第１の瞳領域を通過した光束の点像分布関数または線像分布関数に基づき像形状修正フィルタを生成し、前記像形状修正フィルタを前記第２の画像データに対して畳込み積分することで、前記第２の修正画像データを生成する、
   請求項３に記載の距離検出装置。
5. 前記結像光学系の予定焦点面の面内において、前記第１の瞳領域の面積が、前記第２の瞳領域の面積よりも大きい場合には、前記第１の像ズレ量の取得および前記第１の修正画像データの生成を行い、
   前記第１の瞳領域の面積が、前記第２の瞳領域の面積よりも小さい場合には、前記第２の像ズレ量の取得および前記第２の修正画像データの生成を行い、
   前記取得手段は、前記第１の修正画像データまたは前記第２の修正画像データのいずれか一方と、前記第３の画像データとの像ズレ量を前記第３の像ズレ量として取得する、
   請求項３または４に記載の距離検出装置。
6. 所定の変換係数を用いて、前記第３の像ズレ量を前記結像光学系の焦点位置と予定焦点面の間の距離であるデフォーカス量に変換する変換手段を更に備える、
   請求項１から５のいずれか１項に記載の距離検出装置。
7. 前記結像光学系と、
   前記第１の瞳領域、前記第２の瞳領域、前記第３の瞳領域のうち、少なくとも２つの瞳領域を通過した光束を受光する少なくとも２つの光電変換部を有する撮像素子と、
   請求項１から６のいずれか１項に記載の距離検出装置と、
   を備える撮像装置。
8. 結像光学系の射出瞳内の第１の瞳領域を通過した光束に基づく第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に基づく第２の画像データと、前記第１の瞳領域と前記第２の瞳領域を内包する第３の瞳領域を通過した光束に基づく第３の画像データのうち、少なくとも前記第１および第３の画像データに基づき被写体までの距離情報を検出する距離検出装置が行う距離検出方法であって、
   前記第１の画像データと前記第３の画像データとの像ズレ量である第１の像ズレ量を取得する第１取得ステップと、
   前記第１の像ズレ量に基づき、前記第１の画像データの像形状を修正した第１の修正画像データを生成する第１像修正ステップと、
   前記第１の修正画像データと、前記第２の画像データまたは前記第３の画像データとに基づく像ズレ量である第３の像ズレ量を取得する第３取得ステップと、
   を含む、距離検出方法。
9. 前記第１像修正ステップでは、前記第１の像ズレ量と対応する前記第２の瞳領域を通過した光束の点像分布関数または線像分布関数に基づき像形状修正フィルタを生成し、前記像形状修正フィルタを前記第１の画像データに対して畳込み積分することで、前記第１の修正画像データを生成する、
   請求項８に記載の距離検出方法。
10. 前記第２の画像データと前記第３の画像データとの像ズレ量である第２の像ズレ量を取得する第２取得ステップと、
    前記第２の像ズレ量に基づき、前記第２の画像データの像形状を修正した第２の修正画像データを生成する第２像修正ステップと、
    を更に含み、
    前記第３取得ステップでは、前記第１の修正画像データと前記第２の修正画像データの間の像ズレ量を、前記第３の像ズレ量として取得する、
    請求項８または９に記載の距離検出方法。
11. 前記第２像修正ステップでは、前記第２の像ズレ量と対応する前記第１の瞳領域を通過した光束の点像分布関数または線像分布関数に基づき像形状修正フィルタを生成し、前記像形状修正フィルタを前記第２の画像データに対して畳込み積分することで、前記第２の修正画像データを生成する、
    請求項１０に記載の距離検出方法。
12. 前記結像光学系の予定焦点面の面内において、前記第１の瞳領域の面積が、前記第２の瞳領域の面積よりも大きい場合には、前記第２取得ステップおよび前記第２像修正ステップとを行わずに、前記第１取得ステップおよび前記第１像修正ステップを行い、
    前記第１の瞳領域の面積が、前記第２の瞳領域の面積よりも小さい場合には、前記第１取得ステップおよび前記第１像修正ステップとを行わずに、前記第２取得ステップおよび前記第２像修正ステップを行い、
    前記第３取得ステップでは、前記第１の修正画像データまたは前記第２の修正画像データのいずれか一方と、前記第３の画像データとの像ズレ量を、前記第３の像ズレ量として取得する、
    請求項１０または１１に記載の距離検出方法。
13. 所定の変換係数を用いて、前記第３の像ズレ量を前記結像光学系の焦点位置と予定焦点面の間の距離であるデフォーカス量に変換する変換ステップを更に含む、
    請求項８から１２のいずれか１項に記載の距離検出方法。
14. 請求項８から１３のいずれかに１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
    

Images