JP2015203756A - 視差量算出装置、距離算出装置、撮像装置および視差量算出方法 - Google Patents

Abstract

【課題】簡易な演算にて、像ズレの方向が斜めになることに起因する視差量算出誤差を低減可能な測距技術を提供する。
【解決手段】結像光学系の射出瞳内の第１の瞳領域を通過した光束に対応する第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に対応する第２の画像データに基づいて、前記第１の画像データと前記第２の画像データ間の相対的な位置ズレ量である第１の視差量を算出する視差量算出部を備える視差量算出装置であって、前記第２の瞳領域は、前記第１の瞳領域の部分領域である、視差量算出装置。
【選択図】図３

Description

本発明は、視差量算出装置、距離算出装置、撮像装置および視差量算出方法に関し、特にデジタルスチルカメラやデジタルビデオカメラなどの撮像装置に用いられる視差量算出装置、距離算出装置、撮像装置および視差量算出方法に関する。

デジタルスチルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう。）を配置し、位相差方式で被写体までの距離を検出するようにした固体撮像素子が特許文献１に提案されている。測距画素は、複数の光電変換部を備え、撮影レンズの瞳上の異なる領域を通過した光束が、異なる光電変換部に導かれるように構成される。

各測距画素に含まれる光電変換部により生成された電気信号から、異なる瞳領域を通過した光束により生成される光像（以下、それぞれ「Ａ像」、「Ｂ像」とも呼ぶ。）に基づく画像データ（以降、Ａ像に基づく画像データをＡ像データ、Ｂ像に基づく画像データをＢ像データと呼ぶ。）が取得される。このＡ像データとＢ像データの相対的な位置ズレ量である視差量（像ズレ量ともいう）が算出される。

視差量の算出には、テンプレートマッチングと呼ばれる領域ベースの対応点探索技術が多く用いられる。従来のテンプレートマッチングでは、Ａ像データまたはＢ像データの一方の画像データを基準画像データとして用い、他方の画像データを参照画像データとして用いる。基準画像データ上に、注目点を中心とする基準領域（基準ウィンドウともいう）を設定すると共に、参照画像データ上にて注目点と対応する参照点に対しても参照領域（参照ウィンドウともいう）を設定する。参照点を順次移動させながら、基準領域内の画像データと参照領域内の画像データの相関が最も高くなる参照点を探索する。この相関が最も高くなる参照点のことを、対応点と呼ぶ。注目点と対応点の相対的な位置ズレ量を用いて視差量が算出される。一般に、探索領域のサイズを小さくすると、局所演算に起因する視差量の算出誤差が発生するため、比較的大きな領域サイズ（例えば、９画素×９画素など）が用いられている。

算出した視差量に変換係数を掛けてデフォーカス量に変換することで、被写体までの距離を算出できる。このような測距手法によると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。

測距精度は、視差量を正確に求めることで向上する。視差量の誤差が発生する要因の１つに、光量バランスの崩れが上げられる。光量バランスの崩れは、撮影レンズのレンズ枠などによる光束のケラレや測距画素感度の角度特性などにより、Ａ像とＢ像の光量比が像高に応じて変化する現象である。

特許文献２では、像高が高くなった時に撮影レンズの口径食によって生じるＡ像とＢ像の光量バランスの崩れを補正する技術が開示されている。

特許第４０２７１１３号公報 特開２００４−１９１６２９号公報

上述の特許文献２では、口径食によって生じるＡ像とＢ像の光量バランスの崩れを、射出瞳の形状情報に基づき補正している。

一方、撮影レンズの口径食は、Ａ像とＢ像の光量バランスの崩れの要因となるだけではなく、像ズレ方向が斜めになる要因ともなる。撮像素子の中心像高においてＡ像とＢ像の像ズレ方向が横方向であっても、周辺像高（特に対角方向の像高）においては、撮影レンズの口径食と収差（例えば、歪曲収差やコマ収差など）により、像ズレ方向が斜めになることがある。その場合、周辺画角においても、中心像高における対応点の探索方向と同じ方向に参照点を移動させながら対応点の探索を行うと、被写体によっては視差量ひいては被写体距離に算出誤差が発生する。上述の特許文献２に開示されているような、口径食によって生じる光量バランスの崩れを補正するのみでは、像ズレ方向が斜めになることに起因する誤差を抑制することはできない。

そこで本発明は、簡易な演算にて、像ズレの方向が斜めになることに起因する視差量算出誤差を低減可能な測距技術を提供することを目的とする。

本発明に係る視差量算出装置は、結像光学系の射出瞳内の第１の瞳領域を通過した光束に対応する第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に対応する第２の画像データに基づいて、前記第１の画像データと前記第２の画像データ間の相対的な位置ズレ量である第１の視差量を算出する視差量算出部を備える視差量算出装置であって、前記第２の瞳領域は、前記第１の瞳領域の部分領域であることを特徴とする。

また、本発明に係る視差量算出方法は、視差量算出装置が行う視差量算出方法であって、結像光学系の射出瞳内の第１の瞳領域を通過した光束に対応する第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に対応する第２の画像データを取得する取得ステップと、前記第１の画像データおよび前記第２の画像データに基づいて、前記第１の画像データと前記第２の画像データ間の相対的な位置ズレ量である第１の視差量を算出する算出ステップと、を含み、前記第２の瞳領域は、前記第１の瞳領域の部分領域である、ことを特徴とする。

本発明では、簡易な演算によって、Ａ像とＢ像の像ズレの方向が斜めになることに起因する視差量算出誤差を低減し、視差量を高精度に算出することができる。

視差量算出装置を備えたデジタルカメラの構成を示す図。 光電変換部が受光する光束について説明する図。 第一の実施形態の視差量算出処理の流れを示すフローチャート。 視差量算出方法を説明する図。 受光感度分布およびその重心を説明する図。 周辺像高において像ズレ方向が斜めになる理由を説明する図。 第一の実施形態において高精度に視差量算出が行える理由を説明する図。 撮像素子の構成の変形例を示す図。 距離算出装置を備えたデジタルカメラの構成を示す図。 第二の実施形態の被写体距離算出処理の流れを示すフローチャート。 デジタルカメラの動作を示すフローチャート。

（第一の実施形態）
以下、図を参照しながら本発明の第一の実施形態について詳細に説明する。以下の説明では、本発明の視差量算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態にかかる視差量算出装置１１０を備えたデジタルカメラ１００を示す。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、視差量算出部１０２、画像生成部（不図示）、レンズ駆動制御部（不図示）が、カメラ筐体１３５の内部に配置され、構成される。視差量算出装置１１０は、視差量算出部１０２から構成される。視差量算出部１０２は論理回路を用いて構成することができる。視差量算出部１０２の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を結像光学系１２０の予定結像面に配置された撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）、絞り（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。尚、図１（Ａ）には、結像光学系１２０の光軸１４０が示される。本明細書中では光軸１４０はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸１４０と垂直な軸とする。

ここで、このデジタルカメラ１００の動作例について説明しておく。図１１はデジタルカメラ１００のメイン電源が入り、シャッターボタン（不図示）が所謂半押しされた後の動作フローを説明する図である。まず、ステップＳ１１０１にて結像光学系１２０の情報（焦点距離、絞り値など）を読み出し、メモリ部（不図示）に保存する。次に、ステップＳ１１０２〜Ｓ１１０４の処理を行い、焦点調節を行う。すなわち、ステップＳ１１０２では、撮像素子１０１から出力される画像データに基づき、図３を用いて後述する視差量算出手順を用いて視差量を算出する。ステップＳ１１０３では、算出した視差量に基づき、結像光学系１２０が合焦状態かどうか判別する。合焦していない場合は、ステップＳ１１０４にて、レンズ駆動制御部により視差量に基づき結像光学系１２０内のフォーカスレンズを合焦位置へ駆動したのち、ステップＳ１１０２へ戻る。ステップＳ１１０３にて合焦していると判定された場合は、ステップＳ１１０５にて、シャッターボタン（不図示）の操作によりシャッターがレリーズ（所謂全押し）されたか否かの判定を行う。レリーズされていないと判定された場合は、ステップＳ１１０２へ戻り、上述の処理を繰り返す。ステップＳ１１０５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から画像データを読み出し、メモリ部（不図示）に保存する。メモリ部に保存された画像データに画像生成部により現像処理を施すことで、観賞用画像を生成することができる。なお、ここで説明した処理はデジタルカメラ１００の一つの動作例に過ぎない。また、メモリ部に保存された画像データに、図３を用いて後述する視差量算出手順を適用することで、観賞用画像と対応した視差量画像（視差量分布）を生成することができる。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像データが生成される。以下、本実施形態における撮像素子１０１について、図１（Ｂ），１（Ｃ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、測距機能を有する測距画素２００Ｄ１及び２００Ｄ２を一部に備えた２行×２列の測距画素群２００が複数配列され、さらに撮像機能を有する撮像画素群（不図示）が複数配列されて、構成される。測距画素群２００は、対角方向に測距画素２００Ｄ１及び２００Ｄ２、他の２画素に赤画素２００Ｒ及び青画素２００Ｂが配置され、構成されている。一方、撮像画素群は、対角方向に２つの緑画素を備え、他の２画素に赤画素と青画素を備えた、いわゆるベイヤー配列を有する。測距画素群２００からは、主として視差量の算出に用いる画像データが出力される。一方、撮像画素群からは、主として観賞用画像の生成に用いる画像データが出力される。撮像素子１０１から出力される画像データは、視差量算出部１０２に入力される。

図１（Ｃ）は、測距画素群２００のＩ−Ｉ’断面及びＪ−Ｊ’断面を模式的に示した図である。各画素は受光層２０４と導光層２０５から構成される。受光層２０４には、受光した光を光電変換するための光電変換部が配置される。導光層２０５には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ２０３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。測距画素２００Ｄ１には、第１の光電変換部２０１が配置される。測距画素２００Ｄ２には、第２の光電変換部２０２が配置される。赤画素２００Ｒと青画素２００Ｂには、撮像画素群と同じ光電変換部が配置される。

＜視差量算出（距離計測）の原理説明＞
本実施形態にかかる視差量算出装置における視差量算出について説明する。なお、視差量は被写体の距離に応じて定まるので、以下は距離計測の原理の説明を兼ねる。

まず、図２を用いて撮像素子１０１内の第１の光電変換部及び第２の光電変換部が受光する光束について説明する。図２（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される測距画素２００Ｄ１についてのみ示した概略図である。また、図２（Ｂ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される測距画素２００Ｄ２についてのみ示した概略図である。図２においては、説明のために光軸１４０がマイクロレンズ２０３の中心を通るように図示している。

マイクロレンズ２０３は、射出瞳１３０と受光層２０４が光学的に共役関係になるように配置している。その結果、図２（Ａ）に示すように、射出瞳１３０内の第２の瞳領域３２０を通過した光束が第１の光電変換部２０１に入射する。一方、図２（Ｂ）に示すように、射出瞳内の第３の瞳領域３３０を通過した光束は、第２の光電変換部２０２に入射する。

複数の第１の光電変換部２０１は、受光した光束を光電変換して第２の画像データを生成する。また同様に、複数の第２の光電変換部２０２は、受光した光束を光電変換して第３の画像データを生成する。従って、第２の画像データから、第２の瞳領域３２０を主に通過した光束が撮像素子１０１上に形成する像（Ａ像）の強度分布を得ることができる。同様に、第３の画像データから第３の瞳領域３３０を主に通過した光束が撮像素子１０１上に形成する像（Ｂ像）の強度分布を得ることができる。第２の画像データと第３の画像データを合成した第１の画像データは、図２（Ａ）及び図２（Ｂ）に示す第２の瞳領域３２０と第３の瞳領域３３０を合成した第１の瞳領域３１０を通過した光束が撮像素子１０１上に形成する像（ＡＢ像）の強度分布となる。従って、第２の瞳領域及び第３の瞳領域は、第１の瞳領域の部分領域となる。

また、図２（Ｃ）は光軸１４０と撮像素子１０１の交点（いわゆる中心像高）から、結
像光学系１２０の射出瞳１３０を見た図である。第２の瞳領域３２０の重心位置を３２１で示し、第３の瞳領域３３０の重心位置を３３１で示し、第１の瞳領域３１０の重心位置を３１１で示している。本実施形態においては、第２の重心位置３２１は、第１の重心位置３１１から第１の軸３００に沿って＋ｘ方向に沿って偏心（シフト）している。一方、第３の重心位置３３１は、第１の重心位置３１１から第１の軸３００に沿って、第２の重心位置３２１とは逆の方向に偏心（シフト）している。本実施形態においては、第１の光電変換部２０１を測距画素２００Ｄ１のｘｙ面内の中心から−ｘ方向にシフトして配置しているため、第２の重心位置３２１は第１の軸に沿って＋ｘ方向に偏心している。一方、第２の光電変換部２０２を測距画素２００Ｄ２のｘｙ面内の中心から＋ｘ方向にシフトして配置しているため、第３の重心位置３３１は第１の軸に沿って−ｘ方向に３３２に偏心している。

第１の画像データ（ＡＢ像データ、すなわちＡ像とＢ像の合成像のデータ）と第２の画像データ（Ａ像データ）の相対的な位置ズレ量である第１の視差量は、被写体までの距離に応じた量となる。また、第１の画像データ（ＡＢ像データ）と第３の画像データ（Ｂ像データ）の相対的な位置ズレ量である第２の視差量は、被写体までの距離に応じた量となる。よって、第１の視差量及び第２の視差量を後述の手法によって算出することで、被写体までの距離に応じた視差量を得ることができる。

なお、図２（Ａ）〜（Ｃ）において、第２の瞳領域はｘ座標が正の領域とし、第３の瞳領域はｘ座標が負の領域として図示したが、実際には受光層２０４に到達する光は、光の回折現象により一定の拡がりを有する。また、受光層２０４内部における電気的なクロストークによっても、受光層２０４に到達する光は、一定の拡がりを有する。すなわち、ｘ座標が負の領域を通過した光束が測距画素２００Ｄ１に入射する場合においても、測距画素２００Ｄ１は低感度ながらも受光感度を有する。その為、第２の瞳領域３２０を通過する光束の光量分布に測距画素２００Ｄ１の受光感度を乗じた分布と、第３の瞳領域３３０を通過する光束の光量分布に測距画素２００Ｄ２の受光感度を乗じた分布は、勾配を有するなだらかな分布となる。従って、第２の瞳領域と第３の瞳領域は明確に区分することはできず、重複した領域を有することになる。本実施形態においては、便宜的に第２の瞳領域と第３の瞳領域を明確に区分した形で説明する。図２（Ｃ）を用いて説明した重心位置の算出方法及び定義については、図５を用いて後述する。

＜視差量算出手順の説明＞
以下、本実施形態の視差量算出手順について、図３（Ａ）を参照しながら詳細に説明する。図３（Ａ）は、撮像素子１０１にて画像データを取得し、視差量を算出するまでの処理フローを説明する図である。

まず、ステップＳ４０１では、視差量算出部１０２は、撮像素子１０１から第２の画像データ（Ａ像データ）及び第３の画像データ（Ｂ像データ）を取得する。ステップＳ４０２で視差量算出部１０２は、第２の画像データ及び第３の画像データを合成して第１の画像データ（ＡＢ像データ）を取得する。すなわち、本実施形態では、第２の画像データおよび第３の画像データは撮像素子１０１から取得され、第１の画像データは視差量算出部１０２における演算によって取得される。

第２の画像データは、第２の瞳領域３２０を主として通過した光束による像（Ａ像）を表し、第３の画像データは、第３の瞳領域３３０を主として通過した光束による像（Ｂ像）を表す。従って、第２の画像データと第３の画像データを加算することで第１の瞳領域３１０を通過した光束による像（ＡＢ像）の強度分布を表す第１の画像データを生成することができる。後述するステップＳ４０３における第１の視差量算出工程にて相関値を正しく算出するためには、相互相関演算を行う画像データ間で画素値の範囲が略等しいこと
が望まれる。従って、第２の画像データと第３の画像データの加算平均（算術平均）を用いて第１の画像データを生成することが好ましい。

次にステップＳ４０３（第１の視差量算出工程）において、視差量算出部１０２は第１の画像データ（ＡＢ像データ）に対する第２の画像データ（Ａ像データ）の相対的な位置ズレ量である第１の視差量の算出を行う。第１の視差量の算出方法について、図４を用いて説明する。図４は第１の視差量の算出方法を説明する図であり、第１の画像データ６０１、第２の画像データ６０２、撮影被写体６００を示している。視差量算出部１０２は、第１の画像データ６０１に対して、注目点６１０を設定し、注目点６１０を中心に基準領域６２０を設定する。一方、第２の画像データ６０２に対して、注目点６１０と対応する位置に参照点６１１を設定し、参照点６１１を中心に参照領域６２１を設定する。視差量算出部１０２は、参照点６１１を所定の視差量探索範囲を対象として、第１の軸（中心像高での瞳領域重心の偏心方向）に沿って順次移動させながら、注目点６１０に対応する対応点を探索する（一次元探索）。具体的には、視差量算出部１０２は、基準領域６２０内の第１の画像データと参照領域６２１内の第２の画像データの相関値を算出し、最も相関の高い参照点６１１を注目点６１０の対応点として決定する。本実施形態において、前述の視差量探索範囲は、視差量算出を行いたい最大視差量と最小視差量から決めている。例えば最大視差量は被写体までの距離が無限遠時の視差量と設定し、最小視差量は結像光学系１２０の最小撮影距離に相当する視差量と設定する。従って、視差量探索範囲は、最大視差量と最小視差量の範囲とすればよい。注目点６１０と対応点間の相対的な位置ズレ量が第１の視差量となる。注目点６１０を順次移動させながら対応点の探索を行うことで、第１の画像データ内の各データ位置（各測距画素位置）における第１の視差量を算出することができる。

相関値の算出方法は公知の任意の手法を用いることができる。例えば、基準領域６２０内の画像データと参照領域６２１内の画像データの差の２乗和を評価値とするＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる手法を用いることができる。以上の説明の通り、本実施形態の第１の視差量算出工程においては、第１の画像データに基準領域を設定し、第２の画像データに参照領域を設定して、第１の視差量の算出を行っている。なお、上記ステップＳ４０３の第１の視差量算出工程の説明では、第１の画像データ（ＡＢ像データ）に対する第２の画像データ（Ａ像データ）の相対的な位置ズレ量を算出する方法について述べた。しかし、第１の画像データ（ＡＢ像データ）に対する第３の画像データ（Ｂ像データ）の相対的な位置ズレ量を算出しても構わない。また、撮像素子１０１の＋ｘ側の領域と−ｘ側の領域とで、第２の画像データと第３の画像データを入れ替えて第１の視差量を算出しても構わない。画像データのＳＮ比を考慮すると、結像光学系１２０の口径食を考慮して、第２の画像データと第３の画像データの内、各瞳領域を通過する光束の光量が高い画像データについて第１の画像データとの視差量を算出することが望ましい。

＜像ズレ方向が斜めになる要因とその影響を抑制可能な理由＞
像ズレ方向が斜めになる要因について図６を用いて説明する。
第１の要因として、結像光学系１２０の口径食が挙げられる。図６（Ａ）は、撮像素子１０１を上面から見た様子を模式的に示した図である。結像光学系１２０の光軸１４０と撮像素子１０１の交点である第１の位置８０１から、結像光学系１２０の射出瞳１３０を見た図が図６（Ｂ）である。また、撮像素子１０１の周辺像高である第２の位置８０２から、結像光学系１２０の射出瞳１３０を見た図が図６（Ｃ）である。以下では、Ａ像を形成する光束が通過する瞳領域を領域８１０、Ｂ像を形成する光束が通過する瞳領域を領域８２０であるとして説明する。第１の位置８０１においては（図６（Ｂ））、射出瞳１３０は円形のために領域８１０の重心位置８１１から領域８２０の重心位置８２１に向かうベクトル８３０はｘ軸（第１の軸）と平行になる。すなわち、像ズレ方向はｘ方向となる
。一方、第２の位置８０２においては、（図６（Ｃ））、射出瞳１３０は口径食により一部がケラれ、異方性の強い形状となる。従って、重心位置８１１から重心位置８２１に向かうベクトル８４０は、ｘ成分とｙ成分を有するベクトルとなる。すなわち、像ズレ方向は第１の位置８０１とは異なり、斜め方向になる。このように、像ズレ方向が斜めになる一因として口径食が挙げられる。

第２の要因は、結像光学系１２０の収差が挙げられる。図６（Ｄ）は、像ズレ方向が斜めになる要因の１つである歪曲収差について説明する図である。図６（Ｄ）において、実線８５０は、格子状の被写体を示しており、破線８５１は、被写体の像を示している。結像光学系１２０の歪曲収差により、格子状の被写体８５０は、樽型に歪曲した被写体像８５１となる。歪曲収差が発生すると、第２の位置８０２における射出瞳１３０上の重心位置８１１を通過した光線は、撮像素子１０１上にて−ｙ方向によりシフトした位置に到達する。一方、第２の位置８０２における射出瞳１３０上の重心位置８２１を通過した光線は、撮像素子１０１上にて＋ｙ方向によりシフトした位置に到達する。従って、周辺像高である第２の位置８０２では、歪曲収差によっても像ズレ方向が斜めになる。また、周辺像高においては、歪曲収差の他に、コマ収差によっても像ズレ方向が斜めになる。このように、像ズレ方向が斜めになる一因として収差が挙げられる。

上記２つの要因により、周辺像高における像ズレ方向は、中心像高とは異なり斜め方向になる。以下、図３（Ａ）を用いて説明した視差量を算出する処理により、像ズレ方向が斜めになる影響を抑制し、高精度に視差量を算出できる理由について図７を用いて説明する。

図７は、図６（Ａ）の第２の位置８０２から見た射出瞳１３０を示す図である。第２の瞳領域３２０の重心位置３２１は＋ｙ方向に偏心しており、第３の瞳領域３３０の重心位置３３１は−ｙ方向に偏心している。また、第１の瞳領域３１０の重心位置３１１は、射出瞳１３０の重心位置と等しい。図７では、第２の画像データと第３の画像データ間の像ズレ方向のｙ成分が９０１として示され、第１の画像データと第２の画像データ間の像ズレ方向のｙ成分が９０２として示されている。

図４を用いて説明した対応点探索処理では、探索領域をｘ軸（第１の軸）に沿った方向にとっている。したがって、第２の画像データ（Ａ像データ）と第３の画像データ（Ｂ像データ）間の視差量算出を行う場合には、図７に示すように像ズレ方向のｙ成分９０１が大きいと、算出される相関値が小さくなり対応点を誤算出してしまう。一方、本実施形態の視差量の算出方法においては、第１の画像データ（ＡＢ像データ）と第２の画像データ（Ａ像データ）間の視差量を算出している。図７に示すように、第１の重心位置３１１と第２の重心位置３２１間像ズレ方向のｙ成分９０２は、第２の重心位置３２１および第３の重心位置３３１間の像ズレ方向のｙ成分９０１と比べて小さい。したがって、像ズレ方向が斜めになる影響を抑制でき、算出される相関値がより大きくなるので、より高精度に対応点の探索および視差量の算出ができる。上記説明では、第１の画像データと第２の画像データの場合について説明したが、第１の画像データと第３の画像データを用いる場合にも、同様の理由により像ズレ方向が斜めになる影響を抑制し、より高精度に対応点の探索および視差量の算出ができる。

なお、図４に示す対応点探索方法では、参照点６１１を第１の軸に沿って移動させながら相関値の算出をしている（一次元探索）が、参照点６１１第１の軸と垂直な第２の軸方向にも移動させて相関値の算出を行ってもよい（二次元探索）。この場合には、ｙ成分９０２が９０１と比べて小さくなるため、対応点を探索する範囲が狭くなり、より少ない演算量で視差量を算出することができる。

本実施形態にかかる視差量算出装置では、図４を用いて説明したように、注目点６１０を順次移動させながら、第１の視差量を算出している。従って、各測距画素２００Ｄ１に対応した画素位置の視差量分布を算出することができる。また一方で、撮像画素群により取得した画像データに対して、所定の現像処理を施すことで観賞用画像も同時に取得することができる。観賞用画像中の被写体のボケ量は、被写体までの距離に応じて発生する。また、視差量は被写体までの距離に応じた量である。従って、撮影後の観賞用画像に対して本実施形態にかかる視差量算出装置により算出した視差量分布に応じた画像処理を行うことで、例えば、撮影後にピント位置を変更するリフォーカス処理を行うことができる。

また、第１の視差量をオートフォーカス処理に用いることも好ましい。この場合、第１の視差量を算出する際、必ずしも注目点６１０を順次移動させる必要はない。例えば、一つまたは数個の固定の注目点６１０を設定し、第１の視差量をある特定の測距画素位置についてのみ算出しても構わない。結像光学系１２０のフォーカスレンズの繰り出し量を、第１の視差量に応じた量とし、特定の測距画素位置についてのみ第１の視差量を算出することで、より高速に結像光学系１２０を所望の被写体に合焦させることができる。

いずれの場合においても、本実施例の視差量算出装置は、像ズレ方向が斜めになる影響を抑制し、高精度に視差量を算出することができるため、より適切な画像処理及び合焦処理が可能となる。

＜視差量算出方法の別の形態＞
本実施形態における視差量算出手順の別の形態について、図３（Ｂ）および図３（Ｃ）を参照して説明する。

まず、図３（Ｂ）に示す視差量算出の変形例について説明する。ステップＳ４０１からステップＳ４０３の処理は、図３（Ａ）における処理と同じであるため説明を省略する。次に、ステップＳ４０４の第２の視差量算出工程において、視差量算出部１０２は、第１の画像データ（ＡＢ像データ）と第３の画像データ（Ｂ像データ）間の相対的な位置ズレ量である第２の視差量を算出する。より具体的には、視差量算出部１０２は、第１の画像データに対して前述の注目点を設定し、第３の画像データに対して前述の参照点を設定し、対応点の探索を行うことで、第２の視差量を算出する。

図３（Ｂ）に示す視差量算出手順では、第１の画像データと第２の画像データと第３の画像データに基づき、第１の視差量と第２の視差量を算出している。第１の視差量と第２の視差量の符号の整合性を考慮しつつ、これら２つの視差量を加算または加算平均（算術平均）することで、撮像素子１０１にて画像データを生成する際に発生するノイズの影響を抑制し、より高精度に視差量を算出することができる。

また、視差量算出手順の更なる変形例として、図３（Ｃ）に示す方法を採用することもできる。図３（Ｃ）の処理は、図３（Ｂ）の処理と比較してステップＳ４０５の視差量探索範囲決定工程が追加されている点で異なる。ステップＳ４０５は、後段の第２の視差量算出工程における視差量探索範囲を決定するための工程である。結像光学系１２０の設計値及び撮像素子１０１の感度特性から、第１の視差量と第２の視差量の比は、予め予測することができる。従って、視差量算出部１０２は、ステップＳ５０２にて算出された第１の視差量に基づき、ステップＳ４０５において、第２の視差量を探索する為の視差量探索範囲を設定する。ステップＳ４０４において、第２の視差量を探索するための視差量探索範囲を第１の視差量に基づき限定することで、対応点の探索に係る演算量を削減することができ、より高速に第２の視差量を算出することができる。

視差量探索範囲決定工程は、対応点探索処理において一次元探索ではなく二次元探索を
行う場合にも適用できる。二次元探索を用いる場合は、探索範囲を決定（限定）することで、演算量をより削減することができる。

＜撮像素子の別の形態（１）＞
図１に示す撮像素子１０１の代わりに、図８（Ａ）（Ｂ）に示す撮像素子１００１を採用してもよい。図８（Ａ）（Ｂ）に示す測距画素群２００は、図１に示す撮像素子１０１の測距画素２００Ｄ１の位置に、測距画素２１０Ｄ１が配置されている。測距画素２１０Ｄ１には、撮像画素と略等しい開口面積を有する第１の光電変換部２１１が配置されている。この結果、複数の測距画素２１０Ｄ１により生成される第１の画像データは、第１の瞳領域３１０（図２）を通過した光束が撮像素子１００１上に形成する像の強度分布となる。

図８（Ａ）（Ｂ）に示す撮像素子１００１を用いた場合、図３（Ａ）〜３（Ｃ）におけるステップＳ４０２の画像生成処理を省くことができ、より高速に視差量の算出が可能となる。また、図３（Ｂ）及び図３（Ｃ）に示す視差量算出手順を用いる場合には、ステップＳ４０２の代わりに、第１の画像データから第２の画像データを減算して、第３の画像データを生成する処理を行う。このようにして生成した第１の画像データと第２の画像データと第３の画像データを用いて、第１の視差量及び第２の視差量を算出することができる。

図８（Ａ）（Ｂ）に示す撮像素子１００１を用いた場合、取得される第１の画像データは、広い開口面積を有する第１の光電変換部により生成される画像データである。従って、図８（Ａ）（Ｂ）の撮像素子により取得される第１の画像データは、高いＳＮ比を有する画像データとなり、例えば暗所においてもノイズの影響を低減した視差量の算出が可能となる。

＜撮像素子の別の形態（２）＞
図１に示す撮像素子１０１の代わりに、図８（Ｃ）（Ｄ）に示す撮像素子１００２を採用してもよい。図８（Ｃ）（Ｄ）に示す画素群１１００は、測距機能と撮像機能の両方の機能を併せ持った画素から構成されている。図８（Ｃ）（Ｄ）の撮像素子１００２は、２行×２列の画素群１１００が複数配置され、構成される。画素群１１００の対角方向には緑画素１１００Ｇ１及び緑画素１１００Ｇ２が配置され、他の２画素に赤画素１１００Ｒと青画素１１００Ｂが配置される。

画素群１１００内の各画素には、第１の光電変換部１１０１と第２の光電変換部１１０２の２つの光電変換部が配置される。図８（Ｃ）のＩ−Ｉ’断面を模式的に示したのが図８（Ｄ）である。導光層１１０５には、各画素に対応した波長帯域を通過するカラーフィルタ（不図示）、マイクロレンズ２０３、画像読み出し用及び画素駆動用の配線（不図示）などから構成される。また、受光層１１０４には、受光した光を光電変換するための光電変換部（第１の光電変換部１１０１と第２の光電変換部１１０２）が２つ配置される。マイクロレンズ２０３により、受光層１１０４と射出瞳１３０は光学的に共役関係になるように配置している。従って、図２を用いた説明と同様の原理で、複数の第１の光電変換部１１０１は第２の瞳領域３２０を主として通過した光束を光電変換し、第２の画像データを生成する。また、複数の第２の光電変換部１１０２は第３の瞳領域３３０を主として通過した光束を光電変換し、第３の画像データを生成する。

図８（Ｃ）（Ｄ）の撮像素子１００２にて生成された第２の画像データと第３の画像データに基づき、本実施形態の視差量算出方法（図３）を適用することで、第１の視差量（及び第２の視差量）を算出することができる。

図８（Ｃ）（Ｄ）に示した撮像素子１００２においては、測距機能を有する画素が高密度に配置されている。従って、本実施形態の視差量算出装置により、空間分解能（撮像素子１００２と平行な面内における）が高く、高精度な視差量分布を得ることができる。さらに、図４を用いて説明した基準領域６２０及び参照領域６２１内に、より多くの画素が内包されるため、局所演算に起因する視差量の算出誤差を低減することができる。また、一方で、画素群１１００内の各画素は撮像機能も有しているため、第１の画像データに対して所定の現像処理を施すことで、観賞用画像も同時に生成することができる。観賞用画像に対して高密度かつ高精度な視差量分布を用いた画像処理を行うことで、例えば、前述のリフォーカス処理をより適切に行うことができる。

（第二の実施形態）
以下、図を参照しながら本発明の第二の実施形態について詳細に説明する。第二の実施形態は、第一の実施形態に記載の視差量算出部を備えた距離算出装置である。

以下の説明では、距離算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラ及び撮像素子の構成＞
図９は、本実施形態に係る距離算出装置１２１０を備えたデジタルカメラ１２００である。図１のデジタルカメラ１００の構成に加えて、デジタルカメラ１２００は、距離算出部１０３が、カメラ筐体１３５の内部に配置され、構成される。距離算出装置１２１０は、視差量算出部１０２及び距離算出部１０３から構成される。視差量算出部１０２及び距離算出部１０３は論理回路を用いて構成することができる。視差量算出部１０２及び距離算出部１０３の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

本実施形態の撮像素子１０１は、第一の実施形態にて図８（Ｃ）（Ｄ）を用いて説明した画素配置を有する。複数の第１の光電変換部１１０１は、第２の瞳領域３２０を通過した光束を主として受光し、第２の画像データを生成する。一方、複数の第２の光電変換部１１０２は、第３の瞳領域３３０を通過した光束を主として受光し、第３の画像データを生成する。

＜距離算出方法＞
以下、本実施形態にかかる距離算出手順について、図５及び図１０を参照しながら詳細に説明する。図５（Ａ）は画素の受光感度の入射角度特性を表す図であり、図５（Ｂ）（Ｃ）は受光感度を射出瞳上に投影した受光感度分布を示す図である。図１０（Ａ）〜（Ｃ）は、３種類の距離算出処理を示すフローチャートである。

まず、図１０（Ａ）に記載の距離算出方法について説明する。ステップＳ１３０１では、視差量算出部１０２が、第１の画像データ（ＡＢ像データ）と第２の画像データ（Ａ像データ）の視差量（第１の視差量）を算出する。ステップＳ１３０１の処理は、図３（Ａ）の処理と同様であるため、説明は省略する。

ステップＳ１３０２では、距離算出部１０３が、変換係数を用いて視差量を被写体距離へ変換する為の処理を行う。変換係数の算出方法について図５を用いて説明する。

図５（Ａ）は、画素の受光感度入射角度特性を示している。横軸は画素へ入射する光の入射角度（ｘｚ面に射影した光線とｚ軸とが成す角度）、縦軸は受光感度を示している。
実線７０１は、第１の光電変換部の受光感度と第２の光電変換部の受光感度を加算した受光感度（以降、合算受光感度）を示している。破線７０２は、第１の光電変換部の受光感度（第１の受光感度）を示している。図５（Ｂ）は、合算受光感度を、光軸１４０と撮像素子１０１の交点である第１の位置（撮像素子１０１の中心像高）から見た射出瞳１３０に投影して、射出瞳１３０上の受光感度分布として表現した図である。図５（Ｃ）は、同様に、第１の受光感度の射出瞳１３０上の受光感度分布として表現した図である。以下では、合算受光感度を射影した受光感度分布を合算受光感度分布と呼び、第１の受光感度を射影した受光感度分布を第１の受光感度分布と呼ぶ。図５（Ｂ）（Ｃ）では、色が薄くなるほど受光感度が高いことを示している。

前述の通り、画素内を伝搬する光は光の回折現象により一定の拡がりを有する。従って、図５（Ｃ）に示す通り、第２の瞳領域は、なだらかな勾配を有する分布となり、明確な境界は持たない。ただし、第１の受光感度が閾値以上の領域が、合算受光感度が当該閾値以上の領域の部分領域であれば、第２の瞳領域は第１の瞳領域の部分領域であるといえる。第１の受光感度分布は第１の光電変換部のｘｙ面内の断面領域に依存する。従って、第１の光電変換部のｘｙ面内領域が、第１の光電変換部と第２の光電変換部を重ねて描画したｘｙ面内領域の部分領域であれば、第２の瞳領域は第１の瞳領域の部分領域であるといえる。これは、第３の瞳領域についても同様である。

図５（Ｂ）における符号７１１は、第１の瞳領域の重心位置である第１の重心位置を示す。同様に、図５（Ｃ）における符号７１２は、第２の瞳領域の重心位置である第２の重心位置を示す。第１の重心位置７１１は、図５（Ｂ）に示す合算受光感度分布の重心位置を、射出瞳１３０の範囲内にて算出した位置である。一方、第２の重心位置７１２は、図５（Ｃ）に示す第１の受光感度分布の重心位置を、射出瞳１３０の範囲内にて算出した位置である。重心位置７１２は、重心位置７１１から第１の軸に沿って＋ｘ方向に偏心している。重心位置７１１と重心位置７１２間の距離７１３は基線長と呼ばれ、視差量をデフォーカス量に変換するための変換係数として用いられる。なお、第３の瞳領域の重心位置である第３の重心位置（不図示）を算出するためには、第２の光電変換部の受光感度を、射出瞳１３０へ射影して得られる第３の受光感度分布を用いればよい。

図１０（Ａ）のステップＳ１３０２（距離算出工程）では、変換係数である基線長に基づき、第１の視差量をデフォーカス量へ変換する。第１の視差量をｄ、基線長をｗ、撮像素子１０１から射出瞳１３０までの瞳距離をＬとしたときデフォーカス量ΔＬは数式１を用いて第１の視差量をデフォーカス量に変換することができる。

結像光学系１２０の射出瞳１３０は像高に応じて口径食が発生する。口径食により、重心位置７１１及び重心位置７１２の相対的な位置関係は像高に応じて変化するため、基線長ｗは像高に応じて異なる値となる。従って、第１の視差量を精度良くデフォーカス量に変換するためには、基線長ｗを像高の関数とすることが望ましい。

なお、本実施例では数式１を用いて第１の視差量をデフォーカス量に変換したが、数式１にて基線長ｗが視差量ｄに比べて十分大きいとの仮定に基づき、

としてゲイン値Ｇａｉｎを算出し、

で表されるように視差量ｄにゲイン値Ｇａｉｎを掛けてデフォーカス量に変換してもよい。数式３を用いることで視差量からデフォーカス量への変換を容易に行うことができ、被写体距離の算出に係る演算量を削減することができる。また、視差量からデフォーカス量への変換に、変換用のルックアップテーブルを用いてもよい。この場合にも、被写体距離の算出に係る演算量を削減することができる。いずれの場合においても、第１の視差量からデフォーカス量に変換する際には、像高に応じた変換係数または変換テーブルを保持することが望ましい。なお、本実施例中では、デフォーカス量を撮像素子１０１から結像光学系の焦点面までの距離として説明している。

本実施形態の距離算出工程Ｓ３０２では、視差量をデフォーカス量に変換している。デフォーカス量と被写体距離は、結像光学系１２０の結像関係を用いて変換可能である。従って、本実施形態のステップＳ１３０２において、視差量を直接被写体距離へ変換しても構わない。いずれの場合においても、視差量を正確に算出することで、精度良くデフォーカス量や被写体距離を算出することができる。

本実施形態に係る距離算出装置１２１０は、視差量算出部１０２内において、図３に示した視差量算出手順を行っている。そして、距離算出部１０３が、視差量算出部１０２にて算出した視差量に基づいて被写体距離を算出している。本実施形態によると、像ズレ方向が斜めになる影響を低減し、高精度に視差量の算出が可能となるため、被写体距離を高精度に算出することができる。

本実施形態にかかる距離算出装置１２１０により算出した被写体距離を用いて、例えば、高精度にオートフォーカスによる合焦動作を行うことができる。また、他の例として、被写体距離に応じた画像処理を観賞用画像に対して施すことで、撮影後にピント位置を変更するリフォーカス処理を行うことができる。いずれの例においても、本実施形態にかかる距離算出装置１２１０においては、像ズレ方向が斜めになる影響を低減し、高精度に被写体距離を算出することができるため、撮影時または撮影後に行う被写体距離の応じた処理をより適切に行うことができる。

本実施形態における撮像素子１０１の別の形態として、図１（Ｂ）（Ｃ）や図８（Ａ）（Ｂ）に記載の画素配置及び構成を備えた撮像素子を用いても構わない。いずれの場合においても、本実施形態にかかる距離算出装置を用いることで、像ズレ方向が斜めになる影響を低減し、高精度に被写体距離を算出することができる。

＜距離算出手順の変形例＞
以下、距離算出手順の変形例について、図１０（Ｂ）（Ｃ）を参照しながら詳細に説明する。図１０（Ｂ）（Ｃ）はいずれも、第１の視差量だけでなく第２の視差量も用いて被写体距離を算出する距離算出手順である。

まず、図１０（Ｂ）に記載の手順について説明する。ステップＳ１３０３は、視差量算出部１０２が、第１の視差量および第２の視差量を算出する。ステップＳ１３０３の処理は、図３（Ｂ）あるいは図３（Ｃ）の処理と同様であるため、説明は省略する。

ステップＳ１３０４では、距離算出部１０３が、第１の視差量と第２の視差量を合成し、第３の視差量を算出する。第１の視差量は、第１の画像データ（ＡＢ像データ）に対す
る第２の画像データ（Ａ像データ）の相対的な位置ズレ量である。また、第２の視差量は、第１の画像データ（ＡＢ像データ）に対する第３の画像データ（Ｂ像データ）の相対的な位置ズレ量である。従って、第１の視差量から第２の視差量を減算することで、第２の画像データ（Ａ像データ）と第３の画像データ（Ｂ像データ）間の視差量としての第３の視差量を算出することができる。ここで、減算をしているのは、第１の視差量と第２の視差量が、像ズレ方向を考慮した符号付きの数値として表されているためである。第３の視差量は、第１の視差量の絶対値と第２の視差量の絶対値の和として求めることもできる。

ステップＳ１３０５では、距離算出部１０３が、変換係数を介して第３の視差量をデフォーカス量に変換する距離算出工程を行う。本形態における第３の視差量は、第２の画像データと第３の画像データ間の視差量である。従って、重心位置７１２と前述した第３の重心位置間の距離を基線長として、前述の数式１にて第３の視差量をデフォーカス量に変換する。この際、ｄには第１の視差量ではなく、第３の視差量を代入する。

一般に、位相差方式の被写体距離検出においては、基線長が長いほど被写体距離の検出精度が向上する。本形態の距離算出装置１２１０は、第３の視差量に基づき被写体距離を算出している。第３の視差量と対応する基線長は第１の視差量と対応する基線長よりも長いため、本形態の距離算出装置１２１０は、像ズレ方向が斜めになる影響を抑制しつつ、基線長が長いために、より高精度に視差量を算出することができる。従って、本形態の距離算出装置１２１０においては、より高精度に被写体距離を算出することができる。

次に、図１０（Ｃ）に記載の被写体距離算出手順について説明する。ステップＳ１３０３の処理は図１０（Ｂ）と同様であり、視差量算出部１０２が第１の視差量および第２の視差量を算出する。ステップＳ１３０６では、距離算出部１０３が、第１の視差量に対応した基線長（第１の変換係数）を用いて第１のデフォーカス量を算出する。またステップＳ１３０７では、距離算出部１０３が、第２の視差量に対応した基線長（第2の変換係数
）を用いて第２のデフォーカス量を算出する。なお、第２の視差量に対応した基線長は、前述の第３の重心位置と重心位置７１１間の距離を用いれば良い。ステップＳ１３０８において、距離算出部１０３が、第１のデフォーカス量と第２のデフォーカス量の加算平均（算出平均）をとることにより、デフォーカス量の最終結果を得る。このように、第１の視差量と第２の視差量の両方を用いることで、画像データを生成する際に発生するノイズの影響を抑制し、高精度な測距が可能となる。

＜実装例＞
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。

また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。

得られた距離情報（視差量、デフォーカス量、距離）は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能記録媒体は、いずれも本発明の範疇に含まれる。

１０２ 視差量算出部
１１０ 視差量算出装置

Claims (19)

1. 結像光学系の射出瞳内の第１の瞳領域を通過した光束に対応する第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に対応する第２の画像データと、に基づいて、前記第１の画像データと前記第２の画像データ間の相対的な位置ズレ量である第１の視差量を算出する視差量算出部を備える視差量算出装置であって、
   前記第２の瞳領域は、前記第１の瞳領域の部分領域である、
   視差量算出装置。
2. 前記視差量算出部は、第１の軸に沿った探索範囲を対象として、前記第１の画像データと前記第２の画像データの対応点を探索することにより前記第１の視差量を算出し、
   前記第１の軸は、前記結像光学系の光軸と予定結像面の交点における、前記第１の瞳領域の重心位置と前記第２の瞳領域の重心位置の偏心方向である、
   請求項１に記載の視差量算出装置。
3. 前記視差量算出部は、前記第１の画像データと、前記射出瞳内の第３の瞳領域を通過した光束に対応する第３の画像データと、に基づいて、前記第１の画像データと前記第３の画像データ間の相対的な位置ズレ量である第２の視差量を算出し、
   前記第３の瞳領域は、前記第２の瞳領域とは異なる、前記第１の瞳領域の部分領域であり、
   前記結像光学系の光軸と予定結像面の交点における前記第３の瞳領域の重心位置が、前記第１の瞳領域の重心位置から前記第２の瞳領域の重心位置とは逆の方向に偏心している、
   請求項１または２に記載の視差量算出装置。
4. 前記視差量算出部は、前記第１の視差量と前記第２の視差量に基づいて、第３の視差量を算出する、
   請求項３に記載の視差量算出装置。
5. 前記視差量算出部は、前記第１の視差量に基づいて、前記第２の視差量を算出する際の探索範囲を決定する、
   請求項３または４に記載の視差量算出装置。
6. 請求項１から５のいずれか１項に記載の視差量算出装置と、距離算出部を備えた距離算出装置であって、
   前記距離算出部は、前記第１の視差量に基づいて、被写体までの距離である被写体距離または前記結像光学系の予定結像面から結像面までの距離であるデフォーカス量を算出する、
   距離算出装置。
7. 前記距離算出部は、所定の変換係数を用いて、前記第１の視差量を前記被写体距離または前記デフォーカス量に変換する、
   請求項６に記載の距離算出装置。
8. 請求項３から５のいずれか１項に記載の視差量算出装置と、距離算出部を備えた距離算出装置であって、
   前記距離算出部は、前記第１の視差量と前記第２の視差量に基づいて、被写体までの距離である被写体距離または前記結像光学系の予定結像面から結像面までの距離であるデフォーカス量を算出する、
   距離算出装置。
9. 前記距離算出部は、所定の変換係数を用いて、前記第１の視差量と前記第２の視差量に基づく第３の視差量を前記被写体距離または前記デフォーカス量に変換する、
   請求項８に記載の距離算出装置。
10. 前記距離算出部は、
    第１の変換係数を用いて、前記第１の視差量を第１の被写体距離または第１のデフォーカス量に変換し、
    第２の変換係数を用いて、前記第２の視差量を第２の被写体距離または第２のデフォーカス量に変換し、
    前記第１の被写体距離または前記第１のデフォーカス量と、前記第２の被写体距離または前記第２のデフォーカス量に基づいて、前記被写体距離または前記デフォーカス量を算出する、
    請求項８に記載の距離算出装置。
11. 結像光学系と、請求項１から５のいずれか１項に記載の視差量算出装置と、前記第１の瞳領域を通過した光束を受光する第１の光電変換部と前記第２の瞳領域を通過した光束を受光する第２の光電変換部とを備える撮像素子と、を有する、
    撮像装置。
12. 前記視差量算出部は、前記第１の画像データと、前記射出瞳内の第３の瞳領域を通過した光束に基づく第３の画像データと、に基づいて、前記第１の画像データと前記第３の画像データ間の相対的な位置ズレ量である第２の視差量を算出し、
    前記第３の瞳領域は、前記第２の瞳領域とは異なる、前記第１の瞳領域の部分領域であり、
    前記結像光学系の光軸と予定結像面の交点における前記第３の瞳領域の重心位置が、前記第１の瞳領域の重心位置から前記第２の瞳領域の重心位置とは逆の方向に偏心しており、
    前記視差量算出部は、前記第１の光電変換部から前記第１の画像データを取得し、前記第２の光電変換部から前記第２の画像データを取得し、前記第１の画像データから前記第２の画像データを減算することにより、前記第３の画像データを取得する、
    請求項１１に記載の撮像装置。
13. 結像光学系と、請求項３から５のいずれか１項に記載の視差量算出装置と、前記第２の瞳領域を通過した光束を受光する第２の光電変換部と前記第３の瞳領域を通過した光束を受光する第３の光電変換部を備える撮像素子と、を有する、
    撮像装置。
14. 前記視差量算出部は、前記第２の光電変換部から前記第２の画像データを取得し、前記第３の光電変換部から前記第３の画像データを取得し、前記第２の画像データと前記第３の画像データを加算することにより、前記第１の画像データを取得する、
    請求項１３に記載の撮像装置。
15. 結像光学系と、請求項６から１０のいずれか１項に記載の距離算出装置と、前記第１の瞳領域を通過した光束を受光する第１の光電変換部と前記第２の瞳領域を通過した光束を受光する第２の光電変換部とを備える撮像素子と、を有する、
    撮像装置。
16. 前記視差量算出部は、前記第１の画像データと、前記射出瞳内の第３の瞳領域を通過した光束に基づく第３の画像データと、に基づいて、前記第１の画像データと前記第３の画
    像データ間の相対的な位置ズレ量である第２の視差量を算出し、
    前記第３の瞳領域は、前記第２の瞳領域とは異なる、前記第１の瞳領域の部分領域であり、
    前記結像光学系の光軸と予定結像面の交点における前記第３の瞳領域の重心位置が、前記第１の瞳領域の重心位置から前記第２の瞳領域の重心位置とは逆の方向に偏心しており、
    前記視差量算出部は、前記第１の光電変換部から前記第１の画像データを取得し、前記第２の光電変換部から前記第２の画像データを取得し、前記第１の画像データから前記第２の画像データを減算することにより、前記第３の画像データを取得する、
    請求項１５に記載の撮像装置。
17. 結像光学系と、請求項８から１０のいずれか１項に記載の距離算出装置と、前記第２の瞳領域を通過した光束を受光する第２の光電変換部と前記第３の瞳領域を通過した光束を受光する第３の光電変換部を備える撮像素子と、を有する、
    撮像装置。
18. 前記視差量算出部は、前記第２の光電変換部から前記第２の画像データを取得し、前記第３の光電変換部から前記第３の画像データを取得し、前記第２の画像データと前記第３の画像データを加算することにより、前記第１の画像データを取得する、
    請求項１７に記載の撮像装置。
19. 視差量算出装置が行う視差量算出方法であって、
    結像光学系の射出瞳内の第１の瞳領域を通過した光束に対応する第１の画像データと、前記射出瞳内の第２の瞳領域を通過した光束に対応する第２の画像データと、を取得する取得ステップと、
    前記第１の画像データおよび前記第２の画像データに基づいて、前記第１の画像データと前記第２の画像データ間の相対的な位置ズレ量である第１の視差量を算出する視差量算出ステップと、
    を含み、
    前記第２の瞳領域は、前記第１の瞳領域の部分領域である、
    視差量算出方法。

Images