JP2015197512A - 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 - Google Patents

Abstract

【課題】高速かつ高精度な測距が可能となる距離検出装置を提供する。
【解決手段】結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部４１と、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、第１の信号と第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理部４２と、を有する距離検出装置４０。
【選択図】図１

Description

本発明は、距離検出装置、撮像装置、距離検出方法及び視差量検出装置に関するものである。

デジタルカメラに適用可能な距離検出技術として、撮像素子の一部の画素に測距機能を持たせ、位相差方式で検出するようにした距離検出技術が知られている。この画素は、結像光学系の瞳上の異なる領域をそれぞれ通過した光束を受光する複数の光電変換部を備え、各光電変換部で生成される像信号のズレ量を推定し、デフォーカス量を算出することで測距を行う。

複数の光電変換部の瞳透過率分布が互いに異なる分布を有すると、像信号が互いに異なる形状となり、像信号のズレ量の推定精度が低下し、測距精度が低下する。特許文献１には、一対の像信号の両方に像信号修正フィルタを施すことで像形状を修正し、測距精度を向上させる手法が記載されている。

特許第３２４０６４８号公報

像信号修正フィルタを一対の像信号の両方に施す場合、特に、タップ数（セル数）が大きいフィルタを用いると、像信号修正処理の処理時間が増加し、測距速度が低下する。
本発明は、上記課題に鑑み、高速で高精度な測距を行うことができる距離検出装置、距離検出方法、または高速かつ高精度に視差量を検出する視差量検出装置を提供することを目的とする。

本発明の距離検出装置は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部と、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする。

また、本発明の距離検出方法は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出工程と、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理工程と、を有することを特徴とする。

また、本発明の視差量検出装置は、結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号のうちいずれか一つの信号を、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、フィルタ処理する信号処理部と、前記信号処理部によってフィルタ処理された前記いずれか一方の信号と、前記第１の信号と前記第２の信号のうち前記いずれか一方の信号とは異なる信号と、のズレ量に対応する視差量を算出する視差量算出部と、を有することを特徴とする。

本発明によれば、高速かつ高精度な測距が可能となる距離検出装置、距離検出方法、または高速かつ高精度に視差量を検出する視差量検出装置を提供することができる。

実施形態１に係る距離検出装置を有する撮像装置の一例を示す模式図 測距画素の感度特性と瞳領域を説明する図 点像分布関数を示す模式図 実施形態１に係る距離検出方法のフローの一例を示す図 実施形態１に係る信号修正処理を行い、変形された点像分布関数を示す図 実施形態１に係る撮像素子の周辺部にある測距画素と、その測距画素の瞳領域を説明する図 実施形態３に係る距離検出方法のフローの一例を示す図

（実施形態１）
＜距離検出装置＞
以下の説明では、本発明の距離検出装置を備えた撮像装置の一例として、デジタルスチルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置は、デジタルビデオカメラやデジタル距離計測器などにも適用することができる。なお、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

図１（ａ）は、本実施形態の距離検出装置４０を有する撮像装置の模式図である。この撮像装置は、距離検出装置４０の他に、撮像素子１０と結像光学系２０と記録装置３０とを有する。さらに、撮像装置は、結像光学系２０の合焦のための駆動機構、シャッター、観賞用画像生成手段、画像確認用の液晶等のディスプレイ等を有している。

図１（ｂ）は、撮像素子１０の一例を示す模式図である。撮像素子１０は、光電変換部１１、１２を含む画素１３を複数有している。撮像素子１０は具体的には、ＣＭＯＳセンサ（相補型金属酸化物半導体を用いたセンサ）や、ＣＣＤセンサ（電荷結合素子を用いたセンサ）等の固体撮像素子を用いることができる。

図１（ｃ）は、画素１３の一例を示す断面模式図である。画素１３の光電変換部１１、１２は基板１４内に形成されている。画素１３はマイクロレンズ１５を有している。

図１に示すように、結像光学系２０は、外界の被写体の像を撮像素子１０の面上に結像する。撮像素子１０は、結像光学系２０の射出瞳２１を透過した光束を、マイクロレンズ１５を介して画素１３の光電変換部１１または光電変換部１２で取得し、電気信号に変換する。具体的には、射出瞳２１の第１の瞳領域を通過した光束は各画素１３の光電変換部１１で電気信号に変換され、射出瞳２１の第１の瞳領域とは異なる第２の瞳領域を通過した光束は各画素１３の光電変換部１２で電気信号に変換される。画素１３は、電気信号を距離検出装置４０に出力するために、フローティングディフュージョン（ＦＤ）部、ゲート電極、配線等を備えている。

距離検出装置４０は、例えば、ＣＰＵ、メモリを含む信号処理基板で構成され、ＣＰＵがプログラムを実行することによりその機能を実現する。信号処置基板は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。

距離検出装置４０は、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応する第１の信号と、第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部４１を有している。なお、第１の信号は、各画素の光電変換部１１で生成された各電気信号の集まりの信号であって、この信号において各画素の位置と各画素の光電変換部１１で生成された各電気信号とが対応付けられている。また、第２の信号は、各画素の光電変換部１２で生成された各電気信号の集まりの信号であって、この信号において各画素の位置と各画素の光電変換部１２で生成された各電気信号とが対応付けられている。また、第１の信号に対してノイズ除去やフィルタ処理した後の信号が、結像光学系２０の射出瞳２１の第１の瞳領域を通過した光束に対応している信号であれば、第１の信号に含まれる。第２の信号についても同様に定義する。

距離検出装置４０は、距離算出部４１の他に、信号処理部４２、ズレ量算出部４３、フィルタ生成部４４を備える。信号処理部４２は、第１の瞳領域に対応する光学伝達関数と第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、第１の信号と第２の信号のうちいずれか一つの信号をフィルタ処理する機能を有している。ズレ量算出部４３は、第１の信号と第２の信号のズレ量を算出する機能を有している。フィルタ生成部４４は、ズレ量算出部４３で算出されたズレ量に基づき、信号処理部４２のフィルタ処理時に使用するフィルタを生成する機能を有している。

記録装置３０は、読み出した信号あるいは演算結果を記録する機能を有している。

本発明の距離検出装置において、画素１３のような複数の光電変換部を有する構成では、光電変換部１１、１２で取得した信号を合算することで、単一の光電変換部を有する画素と同等の画像信号を作成することができる。撮像素子１０の全画素にこのような画素１３を配置してもよいし、一部の画素に画素１３を配置して単一の光電変換部を有する画素と複数の光電変換部を有する画素１３とを両方有する構成であってもよい。後者の構成では、画素１３で測距を行い、残りの画素で被写体の画像を取得することができる。なお、画素１３の配置は、撮像素子１０の中で離散的に配置されていてもよく、Ｘ方向とＹ方向で異なる間隔で配置されていてもよい。

＜距離検出方法＞
本発明においては、画素１３の大きさに対して、結像光学系２０と撮像素子１０の間の距離が長い。このため、結像光学系２０の射出瞳２１上の異なる位置を通過した光束は、異なる入射角の光束として撮像素子１０の面上に入射する。光電変換部１１、１２には、射出瞳２０の形状や撮像素子１０上における光電変換部１１、１２の位置に応じて、所定の角度範囲２２（図１（ａ））からの光束が入射する。入射した光束に対する光電変換部１１、１２の感度特性を、角度に応じて射出瞳上に射影したときの射出瞳上の感度分布を瞳透過率分布という。このときの瞳透過率分布の重心位置を瞳重心という。瞳重心は、以下の式１で算出することができる。式１において、ｒは射出瞳２１上の座標であり、ｔは光電変換部１１、１２の瞳透過率分布を表し、積分範囲は射出瞳２１上の領域である。

また、光電変換部で受光される光束が通過する領域のうち、瞳重心を含み、光電変換部の感度が高い角度範囲から入射する光束が通過する射出瞳２０上の領域を瞳領域という。また、２つの瞳領域の瞳重心を結ぶ方向を瞳分割方向という。本実施形態においては、瞳分割方向はｘ方向であり、この方向を第１の方向とし、ｘ方向に垂直なｙ方向を第２の方向とする。

図２（ａ）は、ｘｚ平面内において入射した光束に対する、光電変換部１１の感度特性５１と光電変換部１２の感度特性５２を示す。横軸は、ｘｚ平面内における入射光束とｚ軸が成す角度を示し、縦軸は感度を表している。αは、画素に入射する主光線の入射角度である。入射角度は、撮像素子の面内方向と垂直な方向（Ｚ方向）を基準とする。画素１３が撮像素子１０の中央に位置する場合は、αはゼロであり、画素１３が周辺部に位置する場合は、αはゼロ以外の値である。

図２（ｂ）は、結像光学系２０の射出瞳２１、光電変換部１１に対応する瞳透過率分布６１と瞳重心７１と瞳領域８１（第１の瞳領域）を示した図である。瞳領域８１は、射出瞳２１の中心から＋ｘ方向（第１の方向）に偏心した瞳領域である。各画素１３の光電変換部１１は、主として瞳領域８１を通過した光束を受光するように構成されている。この構成により、瞳領域８１を通過した光束に対応する第１の信号Ｓ_１が得られる。

図２（ｃ）は、結像光学系２０の射出瞳２１、光電変換部１２に対応する、瞳透過率分布６２と瞳重心７２と瞳領域８２（第２の瞳領域）を示した図である。瞳領域８２は、射出瞳２１の中心から−ｘ方向に偏心した瞳領域である。各画素１３の光電変換部１２は、主として瞳領域８２を通過した光束を受光するように構成されている。この構成により、瞳領域８１を通過した光束に対応する第２の信号Ｓ_２が得られる。

信号Ｓ_ｊ（ｊ＝１または２）は、以下の式２で記述できる。

ｆは被写体の光量分布、＊は畳み込み積分を表している。添え字ｊは、１または２を表す。ＰＳＦ_ｊは、被写体からの光束が信号Ｓ_ｊとして取得される際の、結像光学系２０や撮像素子１０による劣化度合いを表す伝達関数であり、点像分布関数という。ＰＳＦ_１とＰＳＦ_２の形状の差が、信号Ｓ_１とＳ_２の形状差を決定する。Ｆはフーリエ変換を表し、Ｆｆは被写体の光量分布ｆをフーリエ変換したものである。ｉＦＦＴは逆フーリエ変換を表している。

ＯＴＦ_ｊは、点像分布関数ＰＳＦ_ｊがフーリエ変換された伝達関数であり、光学伝達関数という。ＯＴＦ_ｊは、空間周波数領域において、振幅伝達関数ＭＴＦ_ｊを振幅項に、位相伝達関数ＰＴＦ_ｊを位相項に有する関数として表される。ＭＴＦ_ｊ及びＰＴＦ_ｊは、それぞれ伝達に伴う各空間周波数成分の振幅及び位置の変化量を決定する関数である。なお、ＯＴＦ_ｊ、ＭＴＦ_ｊ、ＰＴＦ_ｊは、それぞれ第ｊの瞳領域に対応する光学伝達関数、第ｊの瞳領域に対応する振幅伝達関数、第ｊの瞳領域に対応する位相伝達関数である。ｊは１または２である。

この信号Ｓ_１と信号Ｓ_２のｘ方向（第１の方向）における信号のズレ量から、被写体の距離を算出する。このズレ量は公知の方法により求められる。例えば、一対の信号（Ｓ_１、Ｓ_２）のうち、片方の信号をｘ方向にずらしながら相関演算を行い、最も相関が高いときのズレ量を算出することで求められる。求めたズレ量から、公知の方法により、デフォーカス量を求め、被写体の距離を算出することができる。

ところで、ＰＳＦと同様に、ＭＴＦ_１とＭＴＦ_２、ＰＴＦ_１とＰＴＦ_２とが互いに異なる特性を有していると、信号Ｓ_１とＳ_２は異なる形状となる。また、点像分布関数ＰＳＦ_ｊは信号Ｓ_ｊに対応して求められ、結像光学系２０の光学特性（焦点距離や絞り、デフォーカス量等）、画素１３の感度特性や撮像素子１０上の位置などによって変動する。ＯＴＦ_ｊ、ＭＴＦ_ｊ、ＰＴＦ_ｊについても同様である。

図３（ａ）、（ｂ）は、ＰＳＦ_１及びＰＳＦ_２を示したものであり、縦軸及び横軸はそれぞれｘ座標、ｙ座標を表している。各図は、値が大きいほど白く記されている。図３（ｃ）はＰＳＦ_１及びＰＳＦ_２のｘ方向の断面図を示したものであり、実線はＰＳＦ_１、破線ＰＳＦ_２を表している。光学系の枠などによる光束のケラレや光電変換部１１、１２の感度の角度依存性が異なることにより、ＰＳＦ_１とＰＳＦ_２、あるいはＭＴＦ_１とＭＴＦ_２、あるいはＰＴＦ_１とＰＴＦ_２は、それぞれ互いに異なる形状を有する関数となる。この場合、第１の信号Ｓ_１と第２の信号Ｓ_２のズレ量を算出する際に、誤差が生じやすくなる。このため、距離検出の精度が低下する。

これを防ぐためには、像信号修正フィルタを用いて、ズレ量の算出の誤差を低減するための前処理が行われる。本発明は、その前処理に関するもので、その前処理の処理時間を短縮するためのものである。以下に、本発明の距離検出方法に基づいて、この前処理について説明する。

図４は、距離検出装置４０で行われる、被写体までの距離を検出する距離検出方法のフローチャートの一例を示す。この距離検出方法は、暫定ズレ量の算出工程と像信号の修正工程（信号処理工程）と距離の算出工程を有する。本実施形態では、前工程とは、暫定ズレ量の算出工程と像信号の修正工程（信号処理工程）を指す。

＜暫定ズレ量の算出工程＞
まず、図４（ａ）で示すように、ズレ量算出部４３は、第１の信号Ｓ_１と第２の信号Ｓ_２から、暫定的なズレ量を算出する（ステップＳ１０）。ズレ量は、上述した公知の方法によって求めることができる。

＜像信号の修正工程＞
次に、図４（ａ）で示すように、信号処理部４２は、第１の信号Ｓ_１にのみ、像信号修正処理を行う（ステップＳ２０）。Ｓ２０によって、修正信号ＣＳ_１が生成される。なお、本実施形態では、第１の信号Ｓ_１に像信号修正処理を施す例を示して説明するが、第２の信号Ｓ_２にのみ像信号修正処理を施してもよい。

像修正処理Ｓ２０は、図４（ｂ）で示すように、像信号修正フィルタの作成工程（ステップＳ２１）と修正信号の生成工程（ステップＳ２２）を有する。Ｓ２１では、フィルタ生成部４４がＳ１０で算出した暫定ズレ量を基に像信号修正フィルタを作成する。例えば、暫定ズレ量の大きさに応じたフィルタデータ（セル値）を予め保持しておき、暫定ズレ量の大きさに基づき、それに対応したフィルタデータを呼び出すことで作成する。次に、信号処理部４２が、第１の信号Ｓ_１にＳ２１で生成した像信号修正フィルタを畳み込み積分することで修正信号ＣＳ_１を生成する。

なお、この処理で使用される像信号修正フィルタは以下のような特性を有する。すなわち、像信号修正フィルタは、ｘ方向にＡｘ、ｙ方向にＡｙ（Ａｘ及びＡｙは２以上の整数）のセル数を有する２次元フィルタである。また、像信号修正フィルタは、光学伝達関数ＯＴＦ_ｊに基づいて作成される。より具体的には、像信号修正フィルタは、第１の瞳領域に対応する光学伝達関数ＯＴＦ_１の逆関数と第２の瞳領域に対応する光学伝達関数ＯＴＦ_２に基づいて作成され、像信号修正フィルタＩＣＦは、以下の式３で表される。

ＰＧ_１、ＰＧ_２はそれぞれ、ＰＳＦ_１、ＰＳＦ_２の重心位置のデフォーカスに伴う移動量を、各空間周波数に対する位相量に換算した位相項である。ＩＣＦは、周波数空間において、ＯＴＦ_１の逆関数とＯＴＦ_２の積（ＯＴＦ_２／ＯＴＦ_１）に、位相項ＰＧ_１とＰＧ_２を追加した関数で表される。式３は、以下、式４乃至７で表すことができる。

ＨＭ及びＨＰは、ＩＣＦの周波数空間における振幅項と位相項である。ＰＧは、実空間におけるＰＳＦ_１とＰＳＦ_２の重心位置間の距離を、周波数空間における各空間周波数に対する位相量に換算した位相調整項である。ＰＧは、像信号修正処理により像信号が重心間距離分だけ動くことを防ぐために加えている。また、ＰＧは、実空間において空間周波数によらず一定の値を有する項であり、信号の形状には影響しない項である。なお、式３は他の式の形に変形してもよい。いずれの変形式も、本発明にかかる像信号修正フィルタの実施形態に含まれるものである。

上述したように、ＩＣＦは、結像光学系２０の状態（焦点距離や絞り、デフォーカス量）撮像素子１０上の画素１３の位置などの測距条件に応じて決定される。各条件に対応するフィルタデータを予め保持しておき、条件に応じてフィルタデータを読み出すことでＩＣＦを得る。また、上記の他には、代表的な暫定ズレ量に対応するフィルタデータのみを保持しておき、代表値以外の暫定ズレ量に対しては、予め保持してあるフィルタデータ間を補間することでフィルタを作成してもよい。あるいは、フィルタデータを関数で近似し、関数の各係数を保持してもよい。例えば、フィルタのセル値を、フィルタ内の位置を変数とするｎ次関数（ｎは正の整数）で近似し、関数の各係数を保持しておく。次に測距条件に応じて係数を読み出し、フィルタを作成する。このような方法により、保持するフィルタデータ量を削減でき、フィルタ保持用の記録容量を低減できる。

像信号修正処理されて生成された修正信号ＣＳ_１は、式２、４乃至７を用いて、式８で表わされる。

この結果、修正信号ＣＳ_１に対応する振幅伝達関数はＭＴＦ_２となり、位相伝達関数はＰＴＦ_２と信号の形状に影響しないＰＧとの和となる。

修正信号ＣＳ_１は、ＰＳＦ_１を変形した点像分布関数ＣＰＳＦ_１を用いると、式９のように記述できる。なお、ＣＰＳＦ_１の形状が修正信号ＣＳ_１の形状を決定する。

図５（ａ）は、ＣＰＳＦ_１を示したものであり、縦軸及び横軸はそれぞれｘ座標、ｙ座標を表しており、図３（ａ）、（ｂ）と同じく、値が大きいほど白く記されている。図５（ｂ）はＣＰＳＦ_１及びＰＳＦ_２のｘ方向の断面図を示したものであり、実線はＣＰＳＦ_１、破線ＰＳＦ_２（図３（ｃ）の破線と同じ）を表している。図５（ｂ）から分かるように、修正信号ＣＳ_１と第２の信号Ｓ_２は、互いに形状が近い信号となり、ズレ量が高精度に算出することができる。このため、後述する距離算出工程によって被写体の距離を高精度に算出することができる。なお、式２でｉ＝２を代入した式と、式８を比べると、修正信号ＣＳ_１と第２の信号Ｓ_２との差分は、位相調整項ＰＧの有無であることから、互いに形状が近い信号であることが分かる。

さらに、上記のような像信号修正フィルタを用いることで、像信号修正処理を片方の像信号（第１の信号Ｓ_１）に対してのみ行うだけで、もう一方の像信号（第２の信号Ｓ_２）の形状に近い修正信号を得ることができる。そのため、像信号修正処理の計算負荷を減らすことができ、高速な前処理が可能となる。

＜距離の算出工程＞
そして、図４（ａ）で示すように、距離算出部４１は、修正信号ＣＳ_１と第２の信号Ｓ_２のｘ方向（第１の方向）におけるズレ量から、被写体の距離を算出する（ステップＳ３０）。このズレ量は、暫定ズレ量算出処理（Ｓ１０）と同じ方法を用いることができ、ズレ量算出部４３によって算出される。また、被写体の距離は、例えば、式１０により、デフォーカス量ΔＬを求め、結像光学系２０の結像関係から算出される。ｄはズレ量、Ｌは射出瞳２１と撮像素子１０までの距離、ｗは基線長を表している。

あるいは、ズレ量ｄとデフォーカス量ΔＬを結び付ける変換係数を予め算出しておき、検出したズレ量と変換係数を用いてデフォーカス量ΔＬを算出してもよい。あるいは、ズレ量と被写体距離を結びつける変換係数を用いて、被写体の距離を直接算出してもよい。撮影条件や撮像面上における光電変換部の位置に応じて基線長を算出する演算を省くことができ、高速な距離算出が可能となる。

＜ノイズヘの対応＞
像信号修正処理Ｓ２０は、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。一般的に信号Ｓにはノイズが含まれる。ノイズは、例えば光電変換部で受光した光を電気信号に変換する際に発生する。第１の信号Ｓ_１にノイズδｎが含まれる場合の修正信号ＣＳ_１は、式１１のように記載できる。

δｎ・ＭＴＦ_２／ＭＴＦ_１の項は、修正信号ＣＳ_１に及ぼすノイズの影響を表す項であり、ＭＴＦ_２／ＭＴＦ_１が大きいほど、ノイズδｎの影響が大きくなることを表している。特にＭＴＦ_２／ＭＴＦ_１が１より大きくなると、ノイズが増幅され、修正信号ＣＳ_１が大きく劣化する。そのため、ＭＴＦ_１とＭＴＦ_２のうち大きい方が分母となるように、像信号修正する信号を選択することが望ましい。ＭＴＦの比較は、ＰＳＦ_１とＰＳＦ_２の和で規格化したＰＳＦ_ｊをフーリエ変換して得られる関数の振幅項ＭＴＦ_１とＭＴＦ_２とで行う。ＭＴＦが大きいと、光電変換部で取得される信号が増大し、信号のＳ／Ｎがよくなる。このため、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、Ｓ／Ｎがよい方の信号を選択し、その信号のみを像信号修正処理を行うことでノイズの影響を軽減することができる。

例えば、図６（ａ）のように、撮像素子１０の周辺部においては、画素１３に含まれる光電変換部１１、１２のうち、撮像素子１０の中心から遠くに位置する光電変換部１１で取得した信号を像信号修正処理することが望ましい。これは、以下の理由による。図６（ｂ）のように、画素１３には、傾いた（＋θｘｚの角度を有する）光が多く入射する。図６（ｃ）、（ｄ）のように、結像光学系２０の枠によるケラレの影響が増え、射出瞳２１の形状が変形する。光電変換部１１は射出瞳２１の広い瞳領域１８１を、光電変換部１２は射出瞳２１の狭い瞳領域１８２を通過した光束を受光する。このように、画素１３においては、撮像素子１０の中心から遠くに位置する光電変換部ほど、瞳領域が広くなり、ＭＴＦは向上し、信号のＳ／Ｎは向上する。このため、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、画素１３に含まれる光電変換部１１、１２のうち、撮像素子１０の中心から遠くに位置する光電変換部１１で取得した信号を像信号修正処理することでノイズの影響を軽減することができる。

＜その他の像信号修正フィルタ＞
像信号修正フィルタＩＣＦは、振幅項ＨＭあるいは位相項ＨＰのいずれか一方の項を有するフィルタであってもよい。つまり、像信号修正フィルタＩＣＦは、式１２、式１３のように、周波数空間における振幅あるいは位相のみを補正するフィルタを用いてもよい。

このようなフィルタを用いても、第１の信号Ｓ_１を形成する振幅伝達関数あるいは位相伝達関数のいずれか一方を、第２の信号Ｓ_２を形成する振幅伝達関数あるいは位相伝達関数に近づけることで、ズレ量の誤差を軽減することができる。式１２、式１３で表されるフィルタも第１の瞳領域に対応する光学伝達関数と第２の瞳領域に対応する光学伝達関数とに基づくフィルタである。

本実施形態において、実空間でフィルタを信号に畳み込み積分することで修正信号を生成する処理方法について示したが、周波数空間で像信号修正処理を行ってもよい。周波数空間におけるフィルタデータ（式４における逆フーリエ変換ｉＦＦＴの括弧内のデータ）を予め保持しておく。次に、取得した信号Ｓ_１をフーリエ変換し、周波数空間における修正信号ＦＳ_１を生成する。修正信号ＦＳ_１にフィルタを乗算し、逆フーリエ変換することで修正信号ＣＳ_１を生成することができる。フィルタを施す際に、畳み込み積分するよりも計算負荷を軽減することができ、高速かつ高精度な測距が可能となる。

また、像信号修正フィルタＩＣＦを構成する各伝達関数は、上述した関数でなくても、他の関数で近似した関数を用いてもよい。各伝達関数を多項式等で近似した関数を用いてもよい。これらの方法で像信号修正フィルタＩＣＦを生成しても、前述の像信号修正の効果を得ることができる。

＜測距結果＞
本発明の距離検出装置の測距結果は、例えば、結像光学系の焦点検出に用いることができる。本発明の距離検出装置によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系の焦点位置とのズレ量を知ることができる。結像光学系の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。本実施形態の距離検出装置を備えてデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を構成でき、距離検出装置の距離検出結果に基づき、光学系の焦点検出を行うことができる。また、本発明の距離検出装置を用いて距離マップを生成することができる。

（実施形態２）
本実施形態では、実施形態１とは異なる像信号修正フィルタを用いる例について説明する。それ以外は実施形態１と同じであるので、以下では、本実施形態で用いる像信号修正フィルタについて述べる。

本実施形態の像信号修正フィルタＩＣＦは、ＭＴＦ_１が小さいほど修正効果が小さく、ＭＴＦ_１が大きいほど修正効果が大きくなる、振幅調整項ＭＭを有している。具体的には、像信号修正フィルタＩＣＦは式１４、式１５のように記載できる。

Ｋは調整係数であり、正の実数である。Ｋの大きさによって各空間周波数成分の振幅及び位相の補正効果を調整することができる。ＭＭはＭＴＦ_１が小さくなると小さな値となる。像信号修正フィルタＩＣＦが、このようなＭＭを有することで、ＭＴＦ_１が大きい空間周波数成分（信号Ｓ_１の主成分）は像信号修正効果が得られ、ＭＴＦ_１が小さい空間周波数成分ではノイズの影響を抑えることができる。

調整係数Ｋは、信号Ｓ_１のＳ／Ｎに応じて変更してもよい。例えば、図４のＳ２０の像信号修正処理において、像信号修正フィルタの生成工程Ｓ２１において、信号のＳ／Ｎを元に調整係数Ｋの大きさを調整する係数調整処理を行ってもよい。信号Ｓ_１のＳ／Ｎがよいときは、調整係数Ｋを小さい値（最小０）にし、Ｓ／Ｎが悪い時は、調整係数Ｋを大きい値にする。信号のＳ／Ｎに応じて、ノイズの影響を調整することができ、より高精な像信号修正及び測距が可能となる。これらの方法を備えた像信号修正処理を行うことにより、ノイズの影響を抑えることができ、前述と同様に、高速かつ高精度な測距が可能となる。

本実施形態においても実施形態１と同じく、周波数空間で像信号修正処理を行ってもよいし、第２の信号Ｓ_２を像信号修正処理してもよい。また、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。

（実施形態３）
本実施形態は、実施形態１に対して距離検出装置が、ズレ量算出部４３によって算出されたズレ量の大きさを基に、像信号修正処理を行うか否かを判定する判定部（不図示）をさらに有している。本実施形態の距離検出方法を、図７に示す。

第１の信号Ｓ_１と第２の信号Ｓ_２の形状差は、デフォーカス量が大きく、ズレ量が大きいほど大きくなる。そのため、ズレ量が大きいとき、ズレ量の検出誤差が大きくなり、測距精度が悪化する。一方、ズレ量が小さいと、ズレ量の検出誤差は小さくなるため、測距精度は維持される。そのため、図７のように、第１の信号Ｓ_１と第２の信号Ｓ_２の暫定ズレ量の大きさが閾値に対して大きいか否かを判定する判定処理工程（ステップＳ４０）を暫定ズレ量の算出工程Ｓ１０の後に設ける。

ズレ量が閾値よりも大きい場合は、実施形態１と同じ像信号修正処理（Ｓ２０）を行い、その後距離算出処理工程（Ｓ３０）を行う。一方、ズレ量が閾値以下である場合は、像信号修正処理（Ｓ２０）は行わず、暫定ズレ量をズレ量として距離算出処理工程（Ｓ３０）を行う。なお、Ｓ４０の判定処理工程において、閾値の大きさは、ズレ量の検出誤差と許容誤差との比較によって決定することができる。ズレ量の許容誤差は、目標とする測距精度と距離検出装置の構成や用途によって決定される。

このような判定工程を設けることによって、被写体の概略の距離（デフォーカス量）に応じて適切な測距を行うことができ、より高速かつ高精度な測距を行うことができる。

本実施形態においても実施形態１と同じく、周波数空間で像信号修正処理を行ってもよいし、第２の信号Ｓ_２を像信号修正処理してもよい。また、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。

（実施形態４）
上述した実施形態では被写体の距離を算出する例について示したが、ズレ量に対応する視差量を検出する視差量検出装置にも本発明を提供することができる。例えば、視差量検出装置では、ズレ量に基づいて、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。なお、視差量とは、２つの信号のズレ量であってもよく、またはそれらに関連した物理量であってもよい。

この視差量検出装置は、実施形態１の距離検出装置４０の距離算出部４１の代わりに、２つの信号のズレ量に対応する視差量を算出する視差量算出部を有する構成とすれば、その他の構成は距離検出装置４０と同じでよい。なお、２つの信号とは、具体的には、第１の信号と第２の信号のうち像信号修正処理された一方の信号と、第１の信号と第２の信号のうち像信号修正処理されない他方の信号である。さらに、視差量検出装置は、視差量（ズレ量）に応じて、所定の視差量の被写体を画像から抽出する抽出部を有していてもよい。

本実施形態の視差量検出方法は、図４（ａ）のフローチャートにおいて、距離算出処理Ｓ３０の代わりに視差量算出処理を行うようにすれば、その他の処理工程は、図４（ａ）、（ｂ）と同じでよい。なお、視差量の算出は、式１０を用いてデフォーカス量を算出してもよいし、信号のズレ量を算出してもよいし、それらに関連した物理量を算出するようにしてもよい。

本実施形態においても、第１の信号と第２の信号のうちいずれか一方の信号にだけ、像信号修正フィルタを用いたフィルタ処理を施すため、高速で高精度に視差量を検出することができる。

また、この視差量検出装置も実施形態１乃至３の距離検出装置と同様に撮像装置の一部として用いることができる。

本実施形態においても実施形態１と同じく、周波数空間で像信号修正処理を行ってもよい。また、第１の信号Ｓ_１と第２の信号Ｓ_２のうち、Ｓ／Ｎがよい方の信号を像信号修正処理することが望ましい。

（実施形態５）
本発明は、距離検出装置や視差量検出装置の他にコンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離の算出あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。

本実施形態のプログラムは、距離検出装置、視差量検出装置またはそのいずれかを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることで上記の機能が実現し、高速で高精度な距離検出、視差量検出が可能なものとすることができる。

また、本実施形態のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。

具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、距離検出装置、視差量検出装置、撮像装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

４０ 距離検出装置
４１ 距離算出部
４２ 信号処理部

Claims (22)

1. 結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出部と、
   前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理部と、を有することを特徴とする距離検出装置。
2. 前記いずれか一つの信号は、第１の信号であり、
   前記フィルタは、前記第１の瞳領域に対応する光学伝達関数の逆関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタであることを特徴とする請求項１に記載の距離検出装置。
3. 前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
   前記フィルタは、前記第２の瞳領域に対応する位相伝達関数と前記第１の瞳領域に対応する位相伝達関数との差を示す関数を位相項に有するフィルタであることを特徴とする請求項２に記載の距離検出装置。
4. 前記フィルタは、位相調整するための項を前記位相項に有すること特徴とする請求項３に記載の距離検出装置。
5. 前記いずれか一つの信号は、前記第１の信号であり、
   前記フィルタは、下記式で示す関数を前記位相項に有することを特徴とする請求項４に記載の距離検出装置。
   
   ただし、ＰＴＦ_１は前記第１の瞳領域に対応する位相伝達関数であり、ＰＴＦ_２は前記第２の瞳領域に対応する位相伝達関数であり、ＰＧは位相調整項であって実空間において空間周波数によらず一定の値を有する項である。
6. 前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
   前記フィルタは、前記第１の瞳領域に対応する振幅伝達関数と前記第２の瞳領域に対応する振幅伝達関数との比の値を示す関数を前記振幅項に有するフィルタであることを特徴とする請求項１乃至５のいずれか１項に記載の距離検出装置。
7. 前記いずれか一つの信号は、前記第１の信号であり、
   前記フィルタは、前記第２の瞳領域に対応する振幅伝達関数を前記第１の瞳領域に対応する振幅伝達関数で除した関数を前記振幅項に有するフィルタであることを特徴とする請求項６に記載の距離検出装置。
8. 前記第１の瞳領域に対応する振幅伝達関数は、前記第２の瞳領域に対応する振幅伝達関数よりも大きいことを特徴とする請求項７に記載の距離検出装置。
9. 前記第１の信号は、前記第２の信号よりもＳ／Ｎがよいことを特徴とする請求項７又は８に記載の距離検出装置。
10. 前記フィルタは、下記式で示す関数を前記振幅項に有することを特徴とする請求項７乃至９のいずれか１項に記載の距離検出装置。
    
    ただし、ＭＴＦ_１は前記第１の瞳領域に対応する振幅伝達関数であり、ＭＴＦ_２は前記第２の瞳領域に対応する振幅伝達関数であり、Ｋは調整係数であって正の実数である。
11. 前記調整係数は、前記第１の信号のＳ／Ｎがよいほど小さい値となることを特徴とする請求項１０に記載の距離検出装置。
12. 前記第１の信号と前記第２の信号に基づきズレ量を算出するズレ量算出部を有していることを特徴とする請求項１乃至１１のいずれか１項に記載の距離検出装置。
13. 前記ズレ量が閾値より大きい場合、前記信号処理部は、前記第１の信号と前記第２の信号とをフィルタ処理することを特徴とする請求項１２に記載の距離検出装置。
14. 前記ズレ量に基づき前記フィルタを生成するフィルタ生成部を有することを特徴とする請求項１２又は１３に記載の距離検出装置。
15. 前記第１の瞳領域と前記第２の瞳領域とを有する結像光学系と、
    前記第１の信号と前記第２の信号とを取得する撮像素子と、
    請求項１乃至１４のいずれか１項に記載の距離検出装置と、を有する撮像装置。
16. 結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と、前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号と、に基づき、被写体の距離を算出する距離算出工程と、
    前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、前記第１の信号と前記第２の信号のうちいずれか一つの信号をフィルタ処理する信号処理工程と、を有することを特徴とする距離検出方法。
17. 結像光学系の射出瞳の第１の瞳領域を通過した光束に対応する第１の信号と前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に対応する第２の信号のうちいずれか一つの信号を、前記第１の瞳領域に対応する光学伝達関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタを用いて、フィルタ処理する信号処理部と、
    前記信号処理部によってフィルタ処理された前記いずれか一方の信号と、前記第１の信号と前記第２の信号のうち前記いずれか一方の信号とは異なる信号と、のズレ量に対応する視差量を算出する視差量算出部と、を有することを特徴とする視差量検出装置。
18. 前記いずれか一つの信号は、第１の信号であり、
    前記フィルタは、前記第１の瞳領域に対応する光学伝達関数の逆関数と前記第２の瞳領域に対応する光学伝達関数とに基づくフィルタであることを特徴とする請求項１８に記載の視差量検出装置。
19. 前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
    前記フィルタは、前記第２の瞳領域に対応する位相伝達関数と前記第１の瞳領域に対応する位相伝達関数との差を示す関数を位相項に有するフィルタであることを特徴とする請求項１８に記載の視差量検出装置。
20. 前記フィルタは、周波数空間において、振幅項と位相項を有する関数で表され、
    前記フィルタは、前記第１の瞳領域に対応する振幅伝達関数と前記第２の瞳領域に対応する振幅伝達関数との比の値を示す関数を前記振幅項に有するフィルタであることを特徴とする請求項１８に記載の視差量検出装置。
21. 前記第１の瞳領域と前記第２の瞳領域とを有する結像光学系と、
    前記第１の信号と前記第２の信号とを取得する撮像素子と、
    請求項１８乃至２０のいずれか１項に記載の視差量検出装置と、を有する撮像装置。
22. 前記撮像素子は、複数の画素を有し、
    前記複数の画素のうち少なくとも一つの画素は、前記第１の信号を生成する第１光電変換部と前記第２の信号を生成する第２光電変換部とを有し、
    前記信号処理部は、前記フィルタを用いて、前記第１光電変換部と前記第２光電変換部のうち前記撮像素子の中心から遠い位置にある光電変換部によって生成される信号をフィルタ処理することを特徴とする請求項１５又は２１に記載の撮像装置。