JP2019009511A - 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム - Google Patents

Abstract

【課題】簡易な処理により結像光学系の色収差を補正した精度のよい被写体距離を求める。
【解決手段】被写体までの距離に応じた視差を有する第１の画像信号と第２の画像信号、及び複数の色情報を含む第３の画像信号とに基づき、被写体までの距離に対応する距離情報を生成する距離情報生成装置であって、前記第１の画像信号と前記第２の画像信号の視差に基づき、前記距離情報を生成する距離情報生成部と、前記第１の画像信号と前記第２の画像信号の撮影に用いられた結像光学系の色収差を表す色収差情報を取得する色収差情報取得部と、前記第３の画像信号から前記複数の色情報毎に生成されるコントラスト評価値と、前記色収差情報とに基づき、前記距離情報生成部にて生成した前記距離情報を補正する距離情報補正部と、を備える。
【選択図】図４

Description

本発明は、距離情報生成装置に関し、特にデジタルカメラやデジタルビデオカメラ等の撮像装置に用いられる距離情報生成装置に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、観賞用画像信号と同時に複数の画素位置にて撮像装置から被写体までの距離（以降、被写体距離と呼ぶ）を取得できる測距機能を備えた撮像装置が提案されている。

例えば、２つの撮像装置を並置し、位相差方式で被写体までの距離を検出するようにしたステレオ撮像装置が、特許文献１に提案されている。特許文献１に記載のステレオ撮像装置は、２つの撮像装置からそれぞれ出力される画像信号間の相対的な位置ズレ量（いわゆる視差量）を、相互相関演算を用いて検出し、所定の変換係数を介して、被写体距離に変換している。また、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出するようにした固体撮像素子が特許文献２に提案されている。特許文献２に記載の測距方式は、撮像面にて位相差方式の測距を行うため、撮像面位相差測距方式と呼ばれる。撮像面位相差測距方式では、撮像装置が備える結像光学系の異なる瞳領域を通過した光束により生成される像に基づく２つの画像信号を取得することができる。２つの画像信号間の視差量を、ステレオ撮像装置の視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、２つの画像信号を合成することで、観賞用画像信号を生成することができる。

いずれの方式であっても、撮像装置が備える結像光学系の焦点距離などの光学係数を用いて、視差量を被写体距離に変換している。

特許第３８５５８１２号公報 特許第５４７６８１０号公報

このような撮像装置は結像光学系を用いて被写体の像を撮像素子上に形成している。そのため、被写体の色によっては、検出した被写体距離に結像光学系の色収差（軸上色収差、倍率色収差）による誤差が生じる場合がある。例えば、被写体が青色の場合には、青色の波長に応じた位置に被写体の像が形成されるため、青色の波長に応じた変換係数を用いて、視差量を被写体距離に変換する必要がある。この時の変換係数を誤ると、検出した被写体距離を誤ってしまう。

特許文献２においては、分光感度特性が互いに異なる撮像画素（例えば、青画素、緑画素、赤画素）から出力された画像信号において、異なる分光感度特性を有する撮像画素から出力された信号値の比を用いて、撮影光学系の色収差を補正している。しかしながら、視差量を取得するための相互相関演算の結果と、信号値の比は、必ずしも一致するとは限らない為、色収差の補正が不十分となる恐れがある。

本発明はこのような課題を考慮してなされたものであり、その目的は、簡易な処理によ
り結像光学系の色収差を補正して、被写体距離を精度良く検出可能な技術を提供することにある。

本発明の第一の態様は、
被写体までの距離に応じた視差を有する第１の画像信号と第２の画像信号、及び複数の色情報を含む第３の画像信号とに基づき、被写体までの距離に対応する距離情報を生成する距離情報生成装置であって、
前記第１の画像信号と前記第２の画像信号の視差に基づき、前記距離情報を生成する距離情報生成部と、
前記第１の画像信号と前記第２の画像信号の撮影に用いられた結像光学系の色収差を表す色収差情報を取得する色収差情報取得部と、
前記第３の画像信号から前記複数の色情報毎に生成されるコントラスト評価値と、前記色収差情報とに基づき、前記距離情報生成部にて生成した前記距離情報を補正する距離情報補正部と、
を備えることを特徴とする。

本発明の第二の態様は、
被写体までの距離に応じた視差を有する第１の画像信号と第２の画像信号、及び複数の色情報を含む第３の画像信号とに基づき、被写体までの距離に対応する距離情報を生成する距離情報生成方法であって、
前記第１の画像信号と前記第２の画像信号の視差に基づき、前記距離情報を生成する距離情報生成ステップと
前記第１の画像信号と前記第２の画像信号の撮影に用いられた結像光学系の色収差を表す色収差情報を取得する色収差情報取得ステップと
前記第３の画像信号から前記複数の色情報毎に生成されるコントラスト評価値と、前記色収差情報とに基づき、前記距離情報生成部にて生成した前記距離情報を補正する距離情報補正ステップと、
を含むことを特徴とする。

本発明によれば、簡易な処理により結像光学系の色収差を補正して、被写体距離を精度良く検出できる。

第１の実施形態に係る距離情報生成装置を備える撮像装置の構成を示す図 第１の実施形態における撮像素子の構成を示す図 撮像面位相差測距方式を説明する図 第１の実施形態における距離情報生成（補正）方法を説明する図 変形例における距離情報生成（補正）方法を説明する図 結像光学系の軸上色収差を説明する図 第２の実施形態における撮像素子の構成を示す図 第２の実施形態における距離情報生成（補正）方法を説明する図 第２の実施形態における撮像素子の構成を示す図 色収差誤差の低減効果を説明する図 第２の実施形態の変形例における撮像素子の構成を示す図 第２の実施形態の変形例における距離情報生成（補正）方法を説明する図

［第１の実施形態］
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。以下の説明では、本実施形態の距離情報生成装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラの構成＞
図１（Ａ）は、デジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離情報生成装置１１０、画像生成部（不図示）、画像信号格納部（不図示）、情報格納部１７０が、カメラ筐体１９０の内部に配置され、構成される。距離情報生成装置１１０は、ＡＳＩＣ（特定用途向け集積回路）などの論理回路を用いて構成することができる。また距離情報生成装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、本明細書中では、ｚ軸を、結像光学系１２０の光軸１４０と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。撮像素子１０１は、結像光学系１２０の予定焦点面に配置される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は撮像素子１０１により光電変換され、被写体像に基づく画像信号が生成される。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子１０１について、図１（Ｂ）〜（Ｃ）、及び図２（Ａ）〜（Ｄ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行ｘ２列の撮像画素群１５０と、２行×２列の測距用画素群１６０とを、複数配列することで構成される。撮像画素群１５０と測距用画素群１６０の数は同数であってもよいし、いずれか一方が他方よりも多くてもよい。

撮像画素群１５０は、分光感度特性が異なる複数種類の撮像用画素を含んで構成される。具体的には、撮像画素群１５０は、対角方向に緑画素１５０Ｇ１と１５０Ｇ２、他の２画素に赤画素１５０Ｒと１５０Ｂが配置され構成される。撮像画素群１５０は、青・緑・赤の３つの色情報を含むカラー画像信号（第３の画像信号）を出力する。

測距用画素群１６０は、対角方向に第１測距用画素１６１が配置され、他の２画素に第２測距用画素１６２が配置され構成される。測距用画素群１６０が備える第１の測距用画素１６１と第２の測距用画素１６２は、測距用の画像信号である第１の画像信号と第２の画像信号を出力する。

図２（Ａ）は、撮像用画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は導光層１５４と受光層１５５から構成される。導光層１５４には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１５１、所定の波長帯域の光を通過させるカラーフィルタ１５２、画像読み出し用及び画素駆動用の配線（不図示）などが配置
される。カラーフィルタ１５２は、青、緑、赤の３種類からなり、青画素１５０Ｂ、緑画素１５０Ｇ１及び１５０Ｇ２、赤画素１５０Ｒの分光感度は図２（Ｂ）に示す特性を有する。受光層１５５には、受光した光を光電変換するための光電変換部１５３が配置される。

図２（Ｃ）は、測距用画素群１６０のＪ−Ｊ’断面を模式的に示した図である。受光層１５５には、光電変換部１５３が配置される。導光層１６４は、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１５１、光電変換部１５３に入射する光を制限するための遮光部１６３、画像読み出し用及び画素駆動用の配線（不図示）などが配置されている。測距用画素群１６０には、受光量を増やすためにカラーフィルタが配置されていない。第１測距用画素１６１と第２測距用画素１６２の分光感度は、光電変換部１５３の分光感度と赤外カットフィルタ―の分光感度を掛け合わせた分光感度特性となる。図２（Ｄ）は第１測距用画素１６１と第２測距用画素１６２の分光感度を示しており、青画素１５０Ｂと緑画素１５０Ｇ１と赤画素１５０Ｒの分光感度を加算したのと同等の分光感度を有する。

＜撮像面位相差測距方式による距離計測＞
本実施形態の撮像素子１０１が備える第１の測距用画素１６１及び第２の測距用画素１６２が受光する光束について、図３（Ａ）を用いて説明する。

図３（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中の第１の測距用画素１６１および第２の測距用画素１６２について示した概略図である。図３（Ａ）に示したマイクロレンズ１５１は、射出瞳１３０と受光層１５５とが光学的に共役関係になるように配置されている。結像光学系１２０の射出瞳１３０を通過した光束は、マイクロレンズ１５１により集光されて光電変換部１５３に導かれるが、一部の光は導光層１６４内の遮光部１６３により遮られる。その結果、図３（Ａ）に示す通り、第１測距用画素１６１が備える光電変換部１５３は射出瞳内の第１の瞳領域３１０を通過した光束を主に受光し、第２測距用画素が備える光電変換部１５３は射出瞳内の第２の瞳領域３２０を通過した光束を主に受光する。簡略化のために、図３（Ａ）では第１の瞳領域３１０と第２の瞳領域３２０が完全に異なるように描いているが、これらの瞳領域は少なくとも一部の領域が異なっていれば、一部の領域が重複していてもかまわない。

撮像素子１０１が備える複数の第１の測距用画素１６１は、第１の瞳領域３１０を通過した光束を主に受光し、第１の画像信号を出力する。また同時に、撮像素子１０１が備える複数の第２の測距用画素１６２は、第２の瞳領域３２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から、第１の瞳領域３２０を通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。また第２の画像信号から、第２の瞳領域３２０を通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（いわゆる視差量）は、デフォーカス量（あるいは被写体距離）に応じた値となる。視差量とデフォーカス量の関係について、図３（Ｂ）、３（Ｃ）、３（Ｄ）を用いて説明する。図３（Ｂ）、３（Ｃ）、３（Ｄ）は本実施形態の撮像素子１０１、結像光学系１２０について示した概略図である。図中の符号３１１は第１の瞳領域３１０を通過する第１の光束を示し、符号３２１は第２の瞳領域３２０を通過する第２の光束を示す。

図３（Ｂ）は合焦時の状態を示しており、第１の光束３１１と第２の光束３２１が撮像素子１０１上で収束している。この時、第１の光束３１１により形成される第１の画像信号と第２の光束３２１により形成される第２の画像信号間の視差量は０となる。

図３（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の視差量は０とはならず、負の値を有する。

図３（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図３（Ｃ）と図３（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系の結像関係（幾何関係）にしたがった位置ズレが生じることが分かる。第１の画像信号と第２の画像信号間の位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

結像光学系１２０は、色収差を有する。図６は結像光学系１２０の軸上色収差を説明する概略図である。符号６０１は青波長領域の光束を表し、符号６０２は緑波長領域の光束を表し、符号６０３は赤波長領域の光束を表している。物点６１０から生じた光は、結像光学系１２０により集光され、図６に示すように波長に応じた位置に結像する。そのため、検出した視差量をデフォーカス量あるいはデジタルカメラ１００から被写体までの距離（被写体距離）に変換する際には、後述の補正方法を用いて、軸上色収差を補正する必要がある。

＜距離情報生成装置の説明＞
本実施形態の距離情報生成装置について説明する。図４（Ａ）は、本実施形態の距離情報生成装置１１０の概要構成を表すブロック図であり、図４（Ｂ）〜４（Ｄ）は距離情報生成装置１１０の動作を示すフローチャートである。

距離情報生成装置１１０は、距離情報生成部４１０にて距離情報Ｉｒｄを生成し、色収差情報取得部４２０にて結像光学系１２０の色収差情報Ｉｃｏを取得している。さらに、距離情報補正部４３０にて距離情報Ｉｒｄの補正を行うことで補正距離情報Ｉｃｄを生成し、出力している。以下では、距離情報生成部４１０、色収差情報取得部４２０、距離情報補正部４３０にて行う処理内容について説明する。

距離情報生成処理Ｓ４１０において、距離情報生成部４１０は、撮像素子１０１または画像信号格納部のいずれかから、第１の画像信号Ｓ１と第２の画像信号Ｓ２を取得し、距離情報生成処理Ｓ４１０により被写体距離を表す距離情報Ｉｒｄを生成する。以下では、距離情報Ｉｒｄとしてデフォーカス量を生成するものとして、距離情報生成処理Ｓ４１０内の具体的な処理内容について図４（Ｃ）を用いて説明する。

ステップＳ４１１では、距離情報生成部４１０が、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。結像光学系１２０の周辺画角ではヴィネッティングにより、第１の瞳領域３１０と第２の瞳領域３２０の形状が異なることに起因して、第１の画像信号Ｓ１と第２の画像信号Ｓ２間で光量バランスが崩れる。ステップＳ４１１では、情報格納部１７０に格納された光量補正値を用いて、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。なお、必ずしも情報格納部１７０に格納された光量補正値を用いる必要はなく、例えば、ステップＳ４１１にて第１の瞳領域３１０と第２の瞳領域３２０の面積比から光量補正値を生成したのち、光量補正を行っても構わない。

ステップＳ４１２では、撮像素子１０１にて付加されたノイズを低減するための処理を
行う。具体的には、第１の画像信号Ｓ１と第２の画像信号Ｓ２に対して、バンドパスフィルタを用いたフィルタ処理を行う。一般に、空間周波数が高い高周波領域ほど、ＳＮ比（信号成分とノイズ成分の比）が低くなり、相対的にノイズ成分が多くなる。従って、高周波になるほど透過率が低くなるいわゆるローパスフィルタを用いることができる。なお、ステップＳ４１１における光量補正は、結像光学系１２０の製造誤差などにより設計値通りになるとは限らない。そのため、さらに直流成分（空間周波数＝０となる成分）の透過率が０であり、且つ高周波成分の透過率が低いバンドパスフィルタを用いることが望ましい。

ステップＳ４１３では、距離情報生成部４１０が、第１の画像信号Ｓ１と第２の画像信号間Ｓ２の視差量を算出する。具体的には、距離情報生成部４１０は、第１の画像信号Ｓ１内に、注目点を設定し、注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定画素の長方形（正方形を含む）である。距離情報生成部４１０は、次に第２の画像信号Ｓ２内に、参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は照合領域と同一の大きさおよび形状である。距離情報生成部４１０は、参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ１と、参照領域内に含まれる第２の画像信号Ｓ２間の相関度を算出し、最も相関が高い参照点を注目点に対応する対応点とする。注目点と対応点間の相対的な位置のズレ量が、注目点における視差量である。距離情報生成部４１０は、注目点を順次移動させながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法としては公知の手法を用いることができる。例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Normalized Cross-Correlation）と呼ばれる手法や、画像信号間の差の二乗和を評価するＳＳＤ（Sum of Squared Difference）や、差の絶対値和を評価するＳＡＤ（Sum
of Absolute Difference）を用いることができる。

ステップＳ４１４では、距離情報生成部４１０が、所定の変換係数を用いて視差量を撮像素子１０１から結像光学系１２０の焦点までの距離であるデフォーカス量へ変換する。所定の変換係数をＫ、デフォーカス量をΔＬ、視差量をｄとしたとき、下記式（１）により視差量ｄをデフォーカス量ΔＬに変換することができる。

ΔＬ＝Ｋ ×ｄ・・・（１）

距離情報生成処理Ｓ４１０を複数の画素位置にて行うことで、複数の画素位置のデフォーカス量を距離情報として含む距離情報Ｉｒｄを生成することができる。

色収差情報取得部４２０は、色収差情報取得処理Ｓ４２０により、結像光学系１２０の色収差量に係る情報である色収差情報Ｉｃｏを、情報格納部１７０より取得する。情報格納部１７０には、色収差情報Ｉｃｏとして、青波長領域用の色収差情報Ｉｃｏｂと緑波長領域用の色収差情報Ｉｃｏｇと赤波長領域用の色収差情報Ｉｃｏｒが格納されている。青波長領域用の色収差情報はＩｃｏｂ、青画素１５０Ｂの分光感度特性（図２（Ｂ））で重み付き平均（加重平均）した軸上色収差量を用いることができる。また、緑波長領域用の色収差情報Ｉｃｏｇと赤波長領域用の色収差情報Ｉｃｏｒも同様に、各波長領域に対応する画素の分光感度特性（緑波長領域であれば緑画素１５０Ｇ１、赤波長領域であれば赤画素１５０Ｒ）で加重平均した軸上色収差量を用いればよい。なお、結像光学系１２０の軸上色収差量は、所定の波長のベストピント位置からの相対的な距離で構わない。所定の波長としては、例えば視感度が最大となる波長や緑画素１５０Ｇ１の分光感度が最も高い波長などを選ぶことができる。

ここでは、色収差情報取得部４２０は情報格納部１７０から色収差情報Ｉｃｏを取得す
るものとして説明したが、その他の情報ソースから色収差情報Ｉｃｏを取得してもよい。例えば、撮像装置１００が交換レンズ（結像光学系１２０）を利用し、交換レンズ内に色収差情報Ｉｃｏが格納されている場合には、色収差情報取得部４２０は交換レンズから色収差情報Ｉｃｏを取得すればよい。あるいは、色収差情報取得部４２０は、通信（無線通信または有線通信）によって、外部の装置から結像光学系１２０の色収差情報Ｉｃｏを取得してもよい。

距離情報補正処理Ｓ４３０において、距離情報補正部４３０は、距離情報Ｉｒｄの補正を行い、補正距離情報Ｉｃｄを生成する。距離情報Ｉｒｄの補正を行うために、距離情報生成部４１０から取得した距離情報Ｉｒｄと、色収差情報取得部４２０から取得した色収差情報Ｉｃｏと、撮像素子１０１から取得したカラー画像信号Ｓ３を用いる。以下では、距離情報補正部４３０内の具体的な処理内容について図４（Ｄ）を用いて説明する。

ステップＳ４３１では、距離情報補正部４３０が、青色波長領域と緑色波長領域と赤色波長領域の各波長領域について、距離情報Ｉｒｄを生成する際にどの程度寄与があったかを表す寄与率を算出する。第１の画像信号Ｓ１と第２の画像信号Ｓ２間の視差が生じる方向（本実施形態ではｘ方向）に沿ったコントラスト変化が大きい色情報ほど、寄与率は高くなる。青色のコントラスト変化の大きさを評価するためには、カラー画像信号Ｓ３から青画素１５０Ｂにより形成された画像信号を抽出し、コントラスト変化の大きさＣｂを生成する。同様に、緑画素１５０Ｇ１と１５０Ｇ２により形成された画像信号と、赤画素１５０Ｒにより形成された画像信号についても、順次コントラスト変化の大きさＣｇとＣｒを生成する。色情報毎のコントラスト変化の大きさＣｂ、Ｃｇ、Ｃｒを用いて、各色情報の寄与率を以下式（２）により生成する。色情報毎の寄与率ＣＴＢｂ、ＣＴＢｇ、ＣＴＢｒが、コントラスト評価値に相当する。

青波長領域の寄与率ＣＴＢｂ＝Ｃｂ／（Ｃｂ＋Ｃｇ＋Ｃｒ）
緑波長領域の寄与率ＣＴＢｇ＝Ｃｇ／（Ｃｂ＋Ｃｇ＋Ｃｒ） ・・・（２）
赤波長領域の寄与率ＣＴＢｒ＝Ｃｒ／（Ｃｂ＋Ｃｇ＋Ｃｒ）

次に、コントラスト変化の大きさ（Ｃｂ，Ｃｇ，Ｃｒ）の生成方法について具体的に説明する。以下では、青画素１５０Ｂにより形成された画像信号Ｓ３ｂについてコントラスト変化の大きさＣｂを生成する場合を例に説明する。

まず、画像信号Ｓ３ｂに注目点を設定し、注目点を中心とする照合領域を設定する。ここで設定する照合領域は、ステップＳ４１３にて用いた照合領域を同じ領域サイズであることが望ましい。

照合領域内に含まれる画像信号Ｓ３ｂから、ｘ方向に沿った信号列を抽出し、画素値の標準偏差を算出する。信号列を抽出する位置を、照合領域内でｙ方向に順次移動することで、標準偏差を複数求める。複数の標準偏差の和（あるいは加算平均）を、青波長領域に対応するコントラスト変化の大きさＣｂとする。同様の処理を緑画素１５０Ｇ１と１５０Ｇ２により生成された画像信号と、赤画素１５０Ｒにより生成された画像信号にも行うことで、コントラスト変化の大きさＣｇとＣｒを生成することができる。

なお、ステップＳ４３１においては、ｘ方向に沿った信号列を抽出し、画素値の標準偏差を生成することが望ましい。これは、第１の瞳領域３１０の重心位置と第２の瞳領域３２０の重心位置がｘ方向に沿って偏心しているため、コントラスト変化の大きさを評価すべき方向はｘ方向に限定することが望ましいためである。換言すれば、標準偏差の生成には、視差が生じる方向（すなわち、第１および第２の瞳領域の偏心方向）に沿った信号列
を用いることが好適である。視差が生じる方向は、視差を求める際の探索方向とも表現できる。ｙ方向は、このようなｘ方向と直交する方向である。視差が生じる方向が本実施形態と異なる場合には、適宜調整すればよい。

ステップＳ４３２では、距離情報補正部４３０が、色収差情報取得部４２０から取得した色収差情報Ｉｃｏと、各色情報からの寄与率（ＣＴＢｂ、ＣＴＢｇ、ＣＴＢｒ）を用いて、軸上色収差を補正するための補正値Ｃｄｅｆを生成する。具体的には、色収差情報Ｉｃｏが含む各波長領域の色収差情報（Ｉｃｏｂ、Ｉｃｏｇ、Ｉｃｏｒ）を、対応する波長領域の寄与率を重みとして合成した値を補正値Ｃｄｅｆとして求める。すなわち、以下の式（３）に示すように、色情報毎の寄与率ＣＴＢｂ、ＣＴＧｇ、ＣＴＧｒを重み係数とした色収差情報Ｉｃｏｂ、Ｉｃｏｇ、Ｉｃｏｒの重み付け平均値として、補正値Ｃｄｅｆが生成される。

補正値Ｃｄｅｆ
＝Ｉｃｏｂ×ＣＴＢｂ＋Ｉｃｏｇ×ＣＴＢｇ＋Ｉｃｏｒ×ＣＴＢｒ ・・・（３）

ステップＳ４３３では、距離情報補正部４３０が、ステップＳ４３２にて生成した補正値Ｃｄｅｆを用いて、距離情報生成部４１０が生成した距離情報Ｉｒｄの補正を行い、補正距離情報Ｉｃｄを生成する。補正値Ｃｄｅｆは、所定の波長を基準とした軸上色収差量を、各波長領域からの寄与率で重み付き平均した値である。さらに距離情報Ｉｒｄはデフォーカス量を含む情報である。従って、補正距離情報Ｉｃｄは、距離情報Ｉｒｄから補正値Ｃｄｅｆを減算した値を用いることができる。すなわち、補正距離情報Ｉｃｄは、以下の式（４）にしたがって求めることができる。

補正距離情報Ｉｃｄ ＝ Ｉｒｄ−Ｃｄｅｆ ・・・（４）

本実施形態の距離情報補正部４３０は、軸上色収差により色毎にピント位置が異なる影響を補正し、同じ被写体距離にある被写体は同じデフォーカス量になるように補正した値を補正距離情報Ｉｃｄとして生成している。なお、距離情報補正部４３０にて軸上色収差を補正したデフォーカス量を、さらに結像光学系１２０の結像関係を用いてデジタルカメラ１００から被写体までの距離に変換した上で、補正距離情報Ｉｃｄとして生成しても構わない。すでに軸上色収差は補正されているため、デフォーカス量から被写体距離への変換には、結像光学系１２０の近軸量を用いればよい。

＜寄与率の算出にコントラスト変化の大きさを用いる理由＞
各波長領域からの寄与率を算出する際に、コントラスト変化の大きさを用いることが好適な理由について、説明する。

撮像素子１０１にて取得する第１の画像信号Ｓ１と第２の画像信号Ｓ２が以下式（５）で表されるように分離できるとする。

Ｓ１＝Ａ１＋Ａ２
Ｓ２＝Ｂ１＋Ｂ２ ・・・（５）

画像信号Ａ１と画像信号Ｂ１は、波長領域１の画像信号の対であり、視差量ｄ１を有するとする。また、画像信号Ａ２と画像信号Ｂ２は、波長領域２の画像信号の対であり、視
差量ｄ２を有するとする。

第１の画像信号Ｓ１と第２の画像信号Ｓ２間の相関を評価するためにＳＳＤ（差の二乗和）を用いる。画像信号Ａ１と画像信号Ｂ１は、視差量ｄ１を有するので、２つの画像信号間のＳＳＤ値ＳＳＤ１は、式（６）となる。

さらに、画像信号Ａ２と画像信号Ｂ２は、視差量ｄ２を有するので、２つの画像信号間のＳＳＤ値ＳＳＤ２は、式（７）となる。

式６及び式７において、ｄ１とｄ２は、各画像信号の対における視差量を表している。ＳＳＤ値は画像信号の差の二乗和であるため、ａ１は、画像信号Ａ１と画像信号Ｂ１の少なくとも一方のコントラスト変化の大きさの二乗に比例する。同様に、ａ２は画像信号Ａ２と画像信号Ｂ２の少なくとも一方のコントラスト変化の大きさの二乗に比例する。

第１の画像信号Ｓ１と第２の画像信号Ｓ２間のＳＳＤ値は、画像信号Ｓ１が画像信号Ａ１と画像信号Ａ２の合成画像であり、さらに画像信号Ｓ２が画像信号Ｂ１と画像信号Ｂ２の合成画像であることを考慮すると、以下式（８）のように近似できる。

ここで、式（８）に式（６）と式（７）を代入して整理すると式（９）のようになる。

式（９）から分かるように、視差量ｄ１を有する画像信号の対Ａ１とＢ１と、視差量ｄ２を有する画像信号の対Ａ２とＢ２が、それぞれ合成された画像の視差は、距離量ｄ１とｄ２をａ_１ ^１／２とａ_２ ^１／２の合成比率で合成した値となる。ここで、ａ_１ ^１／２は画像信号Ａ１のコントラスト変化の大きさであり、ａ_２ ^１／２の画像信号Ａ２のコントラスト変化の大きさであり、いずれも画像信号と同じ次元を有する値である。すなわち、波長領域毎の寄与率を算出する際には、ステップＳ４３１にて説明したように、照合領域内に含まれる信号列の標準偏差を用いて算出したコントラスト変化の大きさを用いればよいことが分かる。なお、上記説明では、画像信号間の相関を評価するためにＳＳＤを用いているが、ＳＡＤやＮＣＣを用いた場合でも同様に、コントラスト変化の大きさを用いて合成比率を算出することができる。

図１０（Ａ）〜１０（Ｃ）は、本実施形態の距離情報生成装置による、色収差補正誤差
の低減効果を説明する図である。図１０（Ａ）は、デジタルカメラ１００と撮影対象である被写体１０１０を示している。被写体１０１０はデジタルカメラ１００より５ｍ離れた位置に配置されている。被写体１０１０の反射スペクトルを示しているのが、図１０（Ｂ）である。図１０（Ｂ）において、横軸は波長であり、縦軸は反射スペクトルを最大値＝１となるように規格化した値を示している。図１０（Ｃ）は、デジタルカメラ１００が被写体１０１０を撮影した時の、結像光学系１２０のデフォーカス量を示している。この時、従来のように、青画素の画素値、緑画素の画素値、赤画素の画素値の比を用いて色収差の補正を行うと、推定した被写体距離=４．８６ｍとなり、２．７％の誤差が生じる。一
方、本実施形態の距離情報生成装置１１０による色収差の補正では、補正後の被写体距離＝４．９５ｍとなり、誤差１．１％と従来に比べて誤差を低減することができる。このように、本実施形態の距離情報生成装置１１０は、波長領域毎のコントラスト変化の大きさを標準偏差を用いて各波長からの寄与率を生成することで、結像光学系１２０の色収差に起因する誤差を低減することができる。なお、デジタルカメラ１００が備える結像光学系１２０の焦点距離は１４ｍｍであり、被写体距離＝５．３ｍの位置に合焦している。

各波長からの寄与率を精度よく生成するためには、画素値の１次に比例する値を用いてコントラスト変化の大きさを評価することが望ましい。上記の説明では標準偏差を用いてコントラスト変化の大きさを評価しているが、ｘ方向の１次微分フィルタを施した後の絶対値を照合領域内で加算した値を用いてもよい。ただし、撮像素子１０１内の画素欠陥や、低照度のノイズの影響を考慮すると、標準偏差のように統計値に基づく値を用いることが望ましい。本実施形態の撮像素子１０１は、距離情報を生成するための測距用画素群１６０と、色情報を生成するための撮像画素群１５０は、異なる画素位置に配置されている。そのため、距離情報補正部４３０内にて、測距画素群１６０における色情報を、カラー画像信号Ｓ３の補間処理（例えば、バイリニア補間またはバイキュービック補間）により生成した上で、波長領域毎の寄与率を算出しても構わない。

本実施形態の距離情報生成装置１１０は、カラー画像信号Ｓ３を用いて生成した各波長領域からの寄与率を用いて、結像光学系１２０の色収差の影響を補正している。そのため、色情報毎に距離情報を算出する必要が無く、より少ない演算量で距離情報を生成することができる。また、各波長領域の色情報を統合した画像信号を用いて距離情報を生成しているため、撮像素子にて付加されるノイズの影響が少なく、高精度な距離情報を生成することができる。すなわち、本実施形態の距離情報生成装置１１０は、高精度な距離情報を少ない演算量で生成することができる。

＜距離情報生成装置１１０の変形例＞
結像光学系１２０が有する色収差によっては、波長領域毎に射出瞳の位置や大きさが異なる場合がある。そのような場合には、ピント位置だけではなく、視差量をデフォーカス量に変換するための係数も波長領域毎に異なる。

本実施形態における距離情報補正部４３０は、波長ごとにピント位置が異なる影響だけではなく、視差量をデフォーカス量に変換するための係数が波長毎に異なる影響も補正しても構わない。

以下では、距離情報補正部４３０が、視差量をデフォーカス量に変換するための係数（変換係数）も補正する場合の処理内容について説明する。図５（Ａ）は、本例における距離情報生成装置１１０の動作を示すフローチャートである。

本変形例では、まず、ステップＳ４２０において、色収差情報取得部４２０は、情報格納部１７０より色収差情報Ｉｃｏを取得する。本変形例に係る情報格納部１７０には、色収差情報Ｉｃｏとして、波長領域毎に２種類の情報が格納されている。１つ目は軸上色収
差量であり、２つ目は視差量をデフォーカス量に変換する変換係数である。すなわち、情報格納部１７０には、波長領域毎の軸上色収差量に係る色収差情報（Ｉｃａｂ，Ｉｃａｇ、Ｉｃａｒ）に加えて、波長領域毎の変換係数に係る情報が格納されている。波長領域毎の変換係数に係る情報は、例えば、青波長領域の変換係数Ｋｂ、緑波長領域の変換係数Ｋｇ、緑波長領域の変換係数Ｋｒである。

次に、距離情報生成処理Ｓ５１０において、距離情報生成装置１１０は距離情報を生成する。距離情報生成処理Ｓ５１０において、距離情報補正部４３０は、色収差情報を考慮して変換係数Ｋを補正した上で、視差量ｄを距離情報Ｉｒｄに変換し、さらに軸上色収差を考慮して距離情報Ｉｒｄを補正して補正距離情報Ｉｃｄを生成する。以下では、距離情報補正部４４０内の具体的な処理内容について図５（Ｂ）を用いて説明する。なお、ステップＳ４１１〜Ｓ４１３およびＳ４３１は、図４（Ｃ），４（Ｄ）における同じ符号を有する処理と同様であるため、ステップＳ５１１以降の処理内容について説明する。

ステップＳ５１１では、距離情報補正部４３０が、軸上色収差補正値の算出と、変換係数の補正とを行う。軸上色収差補正値Ｃｄｅｆの算出は、上述した処理と同様に、式（３）にしたがって行われる。補正後の変換係数Ｋｃは、色収差情報取得部４２０から取得した色収差情報Ｉｃｏと、ステップＳ５１１にて生成した色情報毎の寄与率（ＣＴＢｂ、ＣＴＢｇ、ＣＴＢｒ）を用いて、以下の式（１０）にしたがって決定される。

補正変換係数Ｋｃ＝Ｋｂ×ＣＴＢｂ＋Ｋｇ×ＣＴＢｇ＋Ｋｒ×ＣＴＢｒ ・・（１０）

ステップＳ５１２では、距離情報補正部４３０が、色収差の影響を補正しつつ、視差量をデフォーカス量ΔＬに変換している。具体的には、距離情報補正部４３０は、ステップＳ５１１にて生成した軸上色収差補正値Ｃｄｅｆと変換係数補正値Ｋｃを用いて、以下式（１１）により、デフォーカス量ΔＬを求める。

ΔＬ＝Ｋｃ ×ｄ − Ｃｄｅｆ ・・・（１１）

ステップＳ５１３では、距離情報補正部４３０が、デフォーカス量を被写体距離に変換している。デフォーカス量から被写体距離への変換には、結像光学系１２０の結像関係を用いて変換することができる。例えば、結像光学系１２０の焦点距離、主点位置を用いて変換することができる。

なお、一般的に結像光学系１２０は、波長領域毎に異なる像面湾曲を有する。従って、本実施形態の距離情報生成装置１１０が備える色収差情報取得部４２０は、情報格納部１７０から、波長領域毎の結像光学系１２０の画角依存性（例えば、像面湾曲）を含む色収差情報Ｉｃｏを取得しても構わない。その場合には、画素位置毎に距離情報補正処理を行えばよい。

［第２の実施形態］
以下、図を参照しながら本発明の第２の実施形態について詳細に説明する。以下の説明では、本実施形態の距離情報生成装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

本実施形態のデジタルカメラ１００は、結像光学系１２０、撮像素子７０１、距離情報
生成装置７１０、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。すなわち、本実施形態のデジタルカメラ１００は、第１の実施形態（図１）と比較して、撮像素子１０１の代わりに撮像素子７０１を備える構成となっている。さらに、距離情報生成装置１１０の代わりに距離情報生成装置７１０を備える構成となっている。距離情報生成装置７１０は、論理回路を用いて構成することができる。距離情報生成装置７１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

＜撮像素子の構成＞
撮像素子７０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系１２０を介して撮像素子７０１上に結像した被写体像は、撮像素子７０１により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子７０１について、図７（Ａ）〜（Ｂ）を用いてより詳細に説明する。

図７（Ａ）は、撮像素子７０１のｘｙ断面図である。図７（Ａ）の撮像素子７０１は、２行×２列の画素群７５０が複数配列され、構成される。画素群７５０は、対角方向に緑画素７５０Ｇ１と緑画素７５０Ｇ２が配置され、他の２画素に赤画素７５０Ｒと青画素７５０Ｂが配置されている。

図７（Ｂ）は、画素群７５０のＩ−Ｉ’断面を模式的に示した図である。各画素は、受光層７５５に、受光した光を光電変換するための２つの光電変換部（第１の光電変換部７５１と第２の光電変換部７５２）が配置される。マイクロレンズ１５１は、射出瞳１３０と受光層７５５とが光学的に共役関係になるように配置されている。その結果、第１の光電変換部７５１は、第１の光束３１１を主に受光し、第２の光電変換部７５２は、第２の光束３２１を主に受光する。

第１の光電変換部７５１は、受光した光束を光電変換して電気信号を生成する。同様に、第２の光電変換部７５２は、受光した光束を光電変換して電気信号を生成する。撮像素子７０１の各画素の第１の光電変換部７５１が生成した電気信号の集合により、第３の画像信号が生成される。同様に、撮像素子７０１の各画素の第２の光電変換部７５２が生成した電気信号の集合により、第４の画像信号が生成される。第３の画像信号から、第１の光束３１１が撮像素子７０１上に形成する像の強度分布を得ることができ、第４の画像信号から第２の光束３２１が撮像素子７０１上に形成する像の強度分布を得ることができる。また、画素群７５０は、青・緑・赤の各波長領域に対応するカラーフィルタを備えているため、第３の画像信号と第４の画像信号は、３つの色情報を含んでいる。すなわち、本実施形態の撮像素子７０１は、各画素が撮像機能と測距機能を兼ね備えている。

＜距離情報生成装置の説明＞
本実施形態の距離情報生成装置について説明する。図８（Ａ）は、本実施形態の距離情報生成装置７１０の概要構成を表すブロック図であり、図８（Ｂ）は距離情報生成装置７１０の動作を示すフローチャートである。

距離情報生成装置７１０は、第１の実施形態の距離情報生成装置と比較し、画像生成部７２０をさらに備えている。距離情報生成装置７１０は、撮像素子７０１から第３の画像信号Ｓ３と第４の画像信号Ｓ４を取得し、距離情報Ｉｒｄを補正した補正距離情報Ｉｃｄを生成し、出力する。

距離情報生成部４１０、色収差情報取得部４２０、距離情報補正部４３０が行う処理内容は、第１の実施形態と同様であるため、説明は省略する。以下では、画像生成部７２０が行う処理内容について説明する。

画像生成部７２０は、撮像素子７０１から第３の画像信号Ｓ３と第４の画像信号Ｓ４を取得し、画像生成処理Ｓ７２０により、第１の画像信号Ｓ１と第２の画像信号Ｓ２を生成する。以下では、図８（Ｃ）を用いて、画像生成部７２０における、画像生成処理Ｓ７２０の処理内容について説明する。

ステップＳ７２１は、画像生成部７２０が第３の画像信号Ｓ３と第４の画像信号Ｓ４の、デモザイキングを行う。青色の画像信号を生成するために、青色の画素値がない画素位置（赤画素１５０Ｒと緑画素１５０Ｇ１と緑画素１５０Ｇ２の画素位置）について、近傍の青画素１５０Ｂの輝度値を用いた補間により画像信号の画素値を生成する。緑画素及び赤画素についても、同様に補間処理を用いて、各波長領域の画像信号を生成する。補間処理には、例えば、バイリニア補間やバイキュービック補間が利用できる。デモザイキングにより、各画素位置にて、青・緑・赤の３チャンネルの色情報を含む画像信号を生成している。

ステップＳ７２２は、画像生成部７２０が、ステップＳ７２１にて生成した第３の画像信号Ｓ３から第１の画像信号Ｓ１を生成している。同様にステップＳ７２１にて生成した第４の画像信号Ｓ４から第２の画像信号Ｓ２を生成している。第１の画像信号Ｓ１および第２の画像信号Ｓ２は、それぞれ第３の画像信号Ｓ３および第４の画像信号Ｓ４に対応する輝度画像信号である。第１の画像信号Ｓ１を生成するために、以下の式（１２）を第１の画像信号Ｓ１の各画素に適用することにより、第１の画像信号Ｓ１を生成している。ここで、ＩｂはステップＳ７２１にて生成した第３の画像信号Ｓ３に含まれる青波長領域の輝度値である。同様に、ＩｇはステップＳ７２１にて生成した第３の画像信号Ｓ３に含まれる緑波長領域の輝度値であり、ＩｒはステップＳ７２１にて生成した第３の画像信号Ｓ３に含まれる赤超領域の輝度値である。

第１の画像信号の信号値＝Ｉｂ／４＋Ｉｇ／２＋Ｉｒ／４ ・・・（１２）

第２の画像信号Ｓ２も、第１の画像信号Ｓ１と同様に、ステップＳ７２１にて生成した第４の画像信号Ｓ４を用いて、生成することができる。

距離情報生成部４１０は、画像生成部７２０が生成した第１の画像信号Ｓ１と第２の画像信号Ｓ２を用いて、距離情報生成処理Ｓ４１０により距離情報Ｉｒｄを生成している。色収差情報取得部４２０は、色収差情報取得処理Ｓ４２０により、色収差情報Ｉｃｏを取得している。距離情報補正部４３０は、距離情報補正処理Ｓ４３０により、距離情報Ｉｒｄの色収差に起因する影響を補正した補正距離情報Ｉｃｄを生成し、出力している。

本実施形態のデジタルカメラ１００においては、撮像素子７０１が備える各画素群は、色情報と距離情報の両方を取得可能な構成となっている。そのため、距離情報を算出した画素位置と、色情報を取得した画素位置の間でズレが少なく、より精度よく結像光学系１２０の色収差を補正することができる。

＜撮像素子の変形例＞
撮像素子７０１が備える各画素は、受光層７５５に２つの光電変換部を備えているが、図１１を用いて説明する撮像素子１１０１のように、１つの画素中に３つの光電変換部を備えていても構わない。

図１１（Ａ）は、撮像素子１１０１のｘｙ断面図である。図１１（Ａ）の撮像素子１１０１は、画素群１１５０が複数配列され、構成される。図１１（Ｂ）は、画素群１１５０を説明する図である。画素群１１５０は、画素１１５９が４行×４列に配置されている。図１１（Ｂ）中のＲは赤画素、Ｇは緑画素、Ｂは青画素、Ｗは白画素を示している。赤画素、緑画素、青画素は図２（Ｂ）に示す分光感度をそれぞれ有する。白画素は図２（Ｄ）に示す分光感度を有する。各画素１１５９は、分光感度が異なる以外は、同じ構造を有する。図１１（Ｃ）は、Ｉ−Ｉ’断面を模式的に示した図である。画素１１５９は、受光層１１５５に３つの光電変換部（第１の光電変換部１１５１、第２の光電変換部１１５２、第３の光電変換部１１５３）が配置される。

第１の光電変換部１１５１は、受光した光束を光電変換して電気信号を生成する。同様に、第２の光電変換部１１５２と第３の光電変換部１１５３も、それぞれ受光した光束を光電変換して電気信号を生成する。

各画素の第１の光電変換部１１５１が生成した電気信号の集合により、第４の画像信号が生成される。各画素の第２の光電変換部１１５２が生成した電気信号の集合により、第５の画像信号が生成される。さらに、各画素の第３の光電変換部１１５３が生成した電気信号の集合により、第３の画像信号が生成される。

第４の画像信号から、第１の光束３１１が撮像素子７０１上に形成する像の強度分布を得ることができ、第５の画像信号から、第２の光束３２１が撮像素子７０１上に形成する像の強度分布を得ることができる。さらに、第３の画像信号から、射出瞳１３０の中央部分を主に通過した光束が撮像素子１１０１上に形成する像の強度分布を得ることができる。

図１２（Ａ）は、画素１１５９が３つの光電変換部を備える場合の、距離情報生成装置１１１０の概要構成を示すブロック図であり、図１２（Ｂ）は距離情報生成装置１１１０の動作を示すフローチャートである。

距離情報生成装置７２０と異なり、距離情報生成装置１１１０は、撮像素子１１０１から第４の画像信号Ｓ４と第５の画像信号Ｓ５を取得し、距離情報Ｉｒｄを補正した補正距離情報Ｉｃｄを生成し、出力する。

距離情報生成装置１１１０が備える画像生成部１１２０は、第４の画像信号Ｓ４と第５の画像信号Ｓ５を取得し、画像生成処理Ｓ１１２０により、第１の画像信号Ｓ１と第２の画像信号Ｓ２を生成する。画像生成処理Ｓ１１２０以外の処理は上記と同様であるため、以下では、図１２（Ｃ）を用いて、画像生成部１１２０における画像生成処理Ｓ１１２０について説明する。

ステップＳ１１２１は、画像生成部１１２０が第４の画像信号Ｓ４と第５の画像信号Ｓ５の補間処理を行う。白画素の画像信号を生成するために、白画素の画素値が無い画素位置（赤画素、緑画素、青画素の画素位置）について、近傍の白画素の輝度値を用いた補間により画像信号の画素値を生成する。補間処理には、例えば、バイリニア補間やバイキュービック補間を利用できる。ｘ方向に視差を探索することを考慮すると、視差の探索方向と垂直なｙ方向に線形内挿を用いることが望ましい。

受光層７５５が３つの光電変換部を備える場合、第１の光束３１１が通過する第１の瞳領域３１０と、第２の光束３２１が通過する第２の瞳領域３２０を、より離すことができる。その結果、距離情報をより高精度に生成することができる。

［第３の実施形態］
距離情報生成装置７１０を備えるデジタルカメラ１００の別の形態として、図９に示すデジタルカメラ９００の構成を用いてもよい。

図９（Ａ）において、９００は本実施形態の距離情報生成装置７１０を備えたデジタルカメラである。デジタルカメラ９００は、第１の結像光学系９２０ａ、第２の結像光学系９２０ｂ、撮像素子９０１ａ、撮像素子９０１ｂ、距離情報生成装置７１０、情報格納部１７０、画像生成部（不図示）、レンズ駆動制御部（不図示）を、カメラ筐体１９０内部に有する。第１の結像光学系９２０ａと第２の結像光学系９２０ｂは、デジタルカメラ９００の撮影レンズであり、被写体の像を撮像面である撮像素子９０１ａと撮像素子９０１ｂに形成する機能を有する。第１の結像光学系９２０ａは、複数のレンズ群、並びに絞りから構成され、撮像素子９０１ａから所定距離離れた位置に射出瞳９３０ａを有する。第２の結像光学系９２０ｂは、複数のレンズ群、並びに絞りから構成され、撮像素子９０１ｂから所定距離離れた位置に射出瞳９３０ｂを有する。

撮像素子９０１ａと撮像素子９０１ｂはＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成された撮像素子である。図９（Ｂ）は撮像素子９０１ａのｘｙ断面図である。図９（Ｂ）の撮像素子９０１ａは、撮像素子１０１が備える撮像画素群１５０と同様の画素群が複数配列され、構成される。同様に、撮像素子９０１ｂにも、撮像素子１０１が備える撮像画素群１５０と同様の画素群が複数配列され、構成される。

撮像素子９０１ａが備える光電変換部１５３は、受光した光束を光電変換部して電気信号を生成する。撮像素子９０１ａの各画素の光電変換部１５３が生成した電気信号の集合により、第３の画僧信号が生成される。同様に、撮像素子９０１ｂが備える光電変換部１５３は、受光した光束を光電変換部して電気信号を生成する。撮像素子９０１ｂの各画素の光電変換部１５３が生成した電気信号の集合により、第４の画僧信号が生成される。

第１の結像光学系９２０ａと撮像素子９０１ａの組と、第２の結像光学系９２０ｂと撮像素子９０１ｂの組は、所定の基線長だけ離れて配置されている。第３の画像信号と第４の画像信号は、被写体を異なる視点から略同時に撮影した画像信号の組となり、被写体距離に応じた視差量を有するようになる。また、撮像素子９０１ａと撮像素子９０１ｂが備える各画素は、青・緑・赤の各波長領域に対応するカラーフィルタを備えているため、第３の画像信号と第４の画像信号は、３つの色情報を含んでいる。すなわち、デジタルカメラ９００は、カラー画像信号の撮像機能と測距機能とを備えている。

距離情報生成装置７１０は、撮像素子９０１ａから取得した第３の画像信号と撮像素子９０１ｂから取得した第４の画像信号を用いて、結像光学系９２０ａと結像光学系９２０ｂの色収差の影響を補正した距離情報Ｉｃｄを生成し、出力している。デジタルカメラ１００とは異なり、デジタルカメラ９００では、結像光学系９２０ａと結像光学系９２０ｂの倍率色収差の影響を主として補正する。すなわち、デジタルカメラ９００が備える情報格納部１７０には、結像光学系９２０ａと結像光学系９２０ｂの倍率色収差量が色収差情報として格納されている。

本実施形態のデジタルカメラ９００は、光軸９４０ａと光軸９４０ｂを離れた位置に配置することで、同じ被写体を異なる視点から撮像している。光軸９４０ａと光軸９４０ｂを大きく離すことで、被写体距離当たりの視差量変化を大きくすることができる。

（その他の実施例）
上述したデジタルカメラ１００は、自律的に行動計画を作成可能なロボットや自動車が
外部環境を認識するための情報取得手段として用いることができる。デジタルカメラ１００は、色収差の影響を低減した距離情報とカラー画像信号を取得できるため、外部環境をより安定して認識することができる。上述したデジタルカメラ１００は、ロボットや自動車などの移動体に搭載して利用することも好適である。

上記の説明では、距離情報として撮像装置から被写体までの距離を求めているが、距離情報は被写体までの距離に対応する情報であればその他の情報であってもかまわない。たとえば、距離情報としてデフォーカス量を採用してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 距離情報生成装置
４１０ 距離情報生成部
４２０ 色収差情報取得部
４３０ 距離情報補正部

Claims (15)

1. 被写体までの距離に応じた視差を有する第１の画像信号と第２の画像信号、及び複数の色情報を含む第３の画像信号とに基づき、被写体までの距離に対応する距離情報を生成する距離情報生成装置であって、
   前記第１の画像信号と前記第２の画像信号の視差に基づき、前記距離情報を生成する距離情報生成部と、
   前記第１の画像信号と前記第２の画像信号の撮影に用いられた結像光学系の色収差を表す色収差情報を取得する色収差情報取得部と、
   前記第３の画像信号から前記複数の色情報毎に生成されるコントラスト評価値と、前記色収差情報とに基づき、前記距離情報生成部にて生成した前記距離情報を補正する距離情報補正部と、
   を備える距離情報生成装置。
2. 前記距離情報補正部は、
   前記色情報毎のコントラスト評価値を重み係数とした、前記色収差情報に含まれる前記色情報毎の色収差量の重み付き平均値を求め、
   当該重み付き平均値を用いて、前記距離情報生成部にて生成した前記距離情報を補正する、
   ことを特徴とする請求項１に記載の距離情報生成装置。
3. 前記距離情報補正部は、前記第３の画像信号に設定される照合領域内であり且つ対象の色情報を表す画像信号の第１の方向に沿ったコントラスト変化の大きさを、第２の方向の異なる位置について複数求め、当該複数のコントラスト変化の大きさを統合することにより前記色情報ごとのコントラスト評価値を生成し、
   前記第１の方向は、前記第１の画像信号と前記第２の画像信号の間の視差を求める際の探索方向であり、
   前記第２の方向は、前記第１の方向と直交する方向である、
   ことを特徴とする請求項１または２に記載の距離情報生成装置。
4. 前記第１の方向に沿ったコントラスト変化の大きさは、前記画像信号から第１の方向に沿って抽出された信号列の標準偏差である、
   ことを特徴とする請求項３に記載の距離情報生成装置。
5. 前記第１の方向に沿ったコントラスト変化の大きさの統合は、前記第１の方向に沿ったコントラスト変化の大きさを加算または加算平均することにより行われる、
   ことを特徴とする請求項３または４に記載の距離情報生成装置。
6. 前記距離情報生成部は、前記コントラスト評価値と前記色収差情報とに基づいて前記視差を前記距離情報に変換する変換係数を決定し、当該決定された変換係数を用いて前記視差から前記距離情報を生成する、
   ことを特徴とする請求項１から５のいずれか１項に記載の距離情報生成装置。
7. 前記第１の画像信号は、前記第３の画像信号に含まれる複数の色情報に所定の重み係数を掛けて合成した画像信号である、
   ことを特徴とする請求項１から６のいずれか１項に記載の距離情報生成装置。
8. 前記距離情報は、前記被写体までの距離、またはデフォーカス量である、
   ことを特徴とする請求項１から７のいずれか１項に記載の距離情報生成装置。
9. 結像光学系と、結像光学系の予定焦点面に配置される撮像素子と、請求項１から７のいずれか１項に記載の距離情報生成装置とを備えた撮像装置であって
   前記撮像素子は、
   前記第３の画像信号を出力し、且つ互いに分光感度特性が異なる複数種類の撮像用画素と、
   前記第１の画像信号を出力する第１の測距用画素と、
   前記第２の画像信号を出力する第２の測距用画素と、を備え
   前記第１の測距用画素は、前記結像光学系の射出瞳内の第１の瞳領域を通過した光束を受光する第１の光電変換部を備え、
   前記第２の測距用画素は、前記結像光学系の射出瞳内であって第１の瞳領域とは少なくとも一部の領域が異なる第２の瞳領域を通過した光束を受光する第２の光電変換部を備えており
   前記距離情報生成装置が備える前記距離情報補正部は、前記第１の画像信号と前記第２の画像信号から求められる前記距離情報を、前記結像光学系の軸上色収差量を用いて補正する、
   ことを特徴とする撮像装置。
10. 結像光学系と、結像光学系の予定焦点面に配置される撮像素子と、請求項１から７のいずれか１項に記載の距離情報生成装置とを備えた撮像装置であって
    前記撮像素子は、
    互いに分光感度特性が異なる複数種類の第１の画素を備え
    前記第１の画素は、前記結像光学系の射出瞳内の第１の瞳領域を通過した光束を受光する第１の光電変換部と
    前記結像光学系の射出瞳内であって第１の瞳領域とは少なくとも一部の領域が異なる第２の瞳領域を通過した光束を受光する第２の光電変換部を備えており
    前記第１の光電変換部は、前記第３の画像信号を出力し、前記第２の光電変換部は、第４の画像信号を出力し、
    前記第１の画像信号は、前記第３の画像信号に含まれる複数の色情報に所定の重み係数を掛けて合成した画像信号であり
    前記第２の画像信号は、前記第４の画像信号に含まれる複数の色情報に所定の重み係数を掛けて合成した画像信号であり
    前記距離情報生成装置が備える前記距離情報補正部は、前記第１の画像信号と前記第２の画像信号から求められる前記距離情報を、前記結像光学系の軸上色収差量を用いて補正する、
    ことを特徴とする撮像装置。
11. 第１の結像光学系と、第１の結像光学系の予定焦点面に配置される第１の撮像素子と、第２の結像光学系と、第２の結像光学系の予定焦点面に配置される第２の撮像素子と、請求項１から７のいずれか１項に記載の距離情報生成装置とを備えた撮像装置であって
    前記第１の撮像素子は、互いに分光感度特性が異なる複数種類の第１の画素を備え
    前記第２の撮像素子は、互いに分光感度特性が異なる複数種類の第２の画素を備え
    前記複数種類の第１の画素は、前記第３の画像信号を出力し、前記複数種類の第２の画素は、第４の画像信号を出力し、
    前記第１の画像信号は、前記第３の画像信号に含まれる複数の色情報に所定の重み係数を掛けて合成した画像信号であり
    前記第２の画像信号は、前記第４の画像信号に含まれる複数の色情報に所定の重み係数を掛けて合成した画像信号であり
    前記距離情報生成装置が備える前記距離情報補正部は、前記第１の画像信号と前記第２の画像信号から求められる前記距離情報を、前記第１の結像光学系または前記第２の結像光学系の倍率色収差量を用いて補正する、
    ことを特徴とする撮像装置。
12. 結像光学系と、前記結像光学系の予定焦点面に配置される撮像素子と、請求項１から７のいずれか１項に記載の距離情報生成装置とを備えた撮像装置であって
    前記撮像素子は、
    互いに分光感度特性が異なる複数種類の第１の画素を備え
    前記第１の画素は、前記結像光学系の射出瞳内の第１の瞳領域を通過した光束を受光する第１の光電変換部と
    前記結像光学系の射出瞳内であって第１の瞳領域とは少なくとも一部の領域が異なる第２の瞳領域を通過した光束を受光する第２の光電変換部と
    前記結像光学系の射出瞳内であって第１の瞳領域および第２の瞳領域とは少なくとも一部の領域が異なる第３の瞳領域を通過した光束を受光する第３の光電変換部を備えており
    前記第１の画像信号は、前記第１の光電変換部からの出力に基づき生成される画像信号であり
    前記第２の画像信号は、前記第２の光電変換部からの出力に基づき生成される画像信号であり
    前記第３の画像信号は、前記第３の光電変換部からの出力に基づき生成される画像信号であり
    前記距離情報生成装置が備える前記距離情報補正部は、前記第１の画像信号と前記第２の画像信号から求められる前記距離情報を、前記結像光学系の軸上色収差量を用いて補正する、
    ことを特徴とする撮像装置。
13. 請求項９から１２のいずれか１項に記載の撮像装置を搭載することを特徴とする移動体。
14. 被写体までの距離に応じた視差を有する第１の画像信号と第２の画像信号、及び複数の色情報を含む第３の画像信号とに基づき、被写体までの距離に対応する距離情報を生成する距離情報生成方法であって、
    前記第１の画像信号と前記第２の画像信号の視差に基づき、前記距離情報を生成する距離情報生成ステップと
    前記第１の画像信号と前記第２の画像信号の撮影に用いられた結像光学系の色収差を表す色収差情報を取得する色収差情報取得ステップと
    前記第３の画像信号から前記複数の色情報毎に生成されるコントラスト評価値と、前記色収差情報とに基づき、前記距離情報生成ステップにおいて生成した前記距離情報を補正する距離情報補正ステップと、
    を含む距離情報生成方法。
15. 請求項１４に記載の方法の各ステップをコンピュータに実行させるためのプログラム。