JP2019078626A - 距離検出装置、撮像装置、距離検出方法、及びプログラム - Google Patents

Abstract

【課題】視差量を検出する対象画素（代表画素）を被写体の色に基づいて選択する技術を提供する。【解決手段】第１の視点から撮影された第１の画像Ｓ１、及び第１の視点と異なる第２の視点から撮影された第２の画像Ｓ２を取得する取得手段と、第１の画像から被写体の色に基づいて代表画素を選択する選択手段５１１と、第２の画像において代表画素に対応する位置を検出することにより、代表画素の位置に対応する被写体の距離を検出する検出手段５１２と、を備えることを特徴とする距離検出装置１１０。【選択図】図５

Description

本発明は、距離検出装置、撮像装置、距離検出方法、及びプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラなどの撮像装置において、観賞用画像信号を取得する機能に加えて、複数の画素位置において撮像装置から被写体までの距離（以下、「被写体距離」と呼ぶ）を取得する測距機能を備える構成が提案されている。

例えば、特許文献１は、２つの撮像装置を並置し、位相差方式で被写体距離を検出するように構成したステレオ撮像装置を開示している。特許文献１に記載のステレオ撮像装置は、２つの撮像装置からそれぞれ出力される画像信号間の相対的な位置ズレ量（いわゆる視差量）を、相互相関演算を用いて検出し、所定の変換係数を介して、被写体距離に変換している。

また、特許文献２は、撮像素子の一部又は全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出するように構成した固体撮像素子を開示している。特許文献２に記載の測距方式は、撮像面にて位相差方式の測距を行うため、撮像面位相差測距方式と呼ばれる。撮像面位相差測距方式では、撮像装置が備える結像光学系の異なる瞳領域を通過した光束により生成される像に基づく２つの画像信号を取得することができる。２つの画像信号間の視差量を、ステレオ撮像装置の視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで、被写体距離を取得することができる。また、撮像面位相差測距方式では、２つの画像信号を合成することで、観賞用画像信号を生成することができる。

上記の測距方式では、画素毎に複数回の相互相関演算を用いる必要があるため、演算量が非常に多い。特許文献３は、画像信号を画素値の類似性に基づいて複数のセグメントに分割するセグメンテーションを行い、セグメント毎に視差量を算出することで演算量を削減することを提案している。

上記のいずれの測距方式においても、撮像装置が備える結像光学系の焦点距離などの光学係数を用いて、視差量を被写体距離に変換する処理が行われる。

特開２００３−２６９９１７号公報 特開２０１１−００７８８２号公報 国際公開第２０１３／０７３１６７号

上記の撮像装置は、結像光学系を用いて被写体の像を撮像素子上に形成する。そのため、被写体の色によっては、検出した被写体距離に結像光学系の色収差による誤差が生じる場合がある。例えば、同距離に青色の被写体と赤色の被写体があった場合に、それぞれ青色と赤色の波長に応じた位置に被写体の像が形成される。そのため、これら２つの被写体の距離は、色収差量に従って、相互に異なる距離と判定されてしまう。特許文献２によれば、分光感度特性が互いに異なる撮像画素（例えば、青画素、緑画素、赤画素）から出力された画像信号において、異なる分光感度特性を有する撮像画素から出力された信号値の比を用いて、結像光学系の色収差が補正される。しかしながら、特許文献２の補正処理は、色収差の影響を補正できるものの、分光感度特性を有する画素から出力された信号値を用いても正しい被写体の波長分布を得ることは困難であるため、補正誤差が残存する可能性がある。

色収差の量は、光の波長、即ち被写体の色に応じて変化する。そのため、検出した被写体距離における色収差に起因する誤差は、被写体の色の影響を受ける。しかしながら、従来、視差量を検出する対象画素（代表画素）を被写体の色に基づいて選択する技術は存在しなかった。例えば、特許文献３では、ＳＩＦＴやＳＵＲＦなどを用いて代表画素が選択されており、被写体の色に基づく選択は行われていない。

本発明はこのような状況に鑑みてなされたものであり、視差量を検出する対象画素（代表画素）を被写体の色に基づいて選択する技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の視点から撮影された第１の画像、及び前記第１の視点と異なる第２の視点から撮影された第２の画像を取得する取得手段と、前記第１の画像から被写体の色に基づいて代表画素を選択する選択手段と、前記第２の画像において前記代表画素に対応する位置を検出することにより、前記代表画素の位置に対応する前記被写体の距離を検出する検出手段と、を備えることを特徴とする距離検出装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、視差量を検出する対象画素（代表画素）を被写体の色に基づいて選択することが可能となる。

デジタルカメラ１００の構成を示す図。 撮像素子１０１のｘｙ断面図。 （Ａ）撮像画素群１５０のＩ−Ｉ’断面を模式的に示した図、（Ｂ）撮像画素群１５０の分光感度を示す図、（Ｃ）測距用画素群１６０のＪ−Ｊ’断面を模式的に示した図、（Ｄ）測距用画素群１６０の分光感度を示す図。 第１の測距用画素１６１及び第２の測距用画素１６２が受光する光束について説明する図。 視差量とデフォーカス量の関係について説明する図。 結像光学系１２０の軸上色収差を説明する概略図。 （Ａ）距離情報生成装置１１０の概略構成を表すブロック図、（Ｂ）距離情報生成装置１１０の動作を示すフローチャート。 （Ａ）カラー画像信号ＳＣを示す図、（Ｂ）（Ｃ）カラー画像信号ＳＣが複数のセグメントに分割された状態を示す図。 距離情報生成処理の詳細を示すフローチャート。 距離情報補正処理の詳細を示すフローチャート。 （Ａ）撮像素子９０１のｘｙ断面図、（Ｂ）画素群９５０のＩ−Ｉ’断面を模式的に示した図。 距離情報生成装置１０１０の概要構成を表すブロック図。 （Ａ）距離情報生成装置１０１０の動作を示すフローチャート、（Ｂ）画像生成処理の詳細を示すフローチャート。 デジタルカメラ１２００の構成を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
＜デジタルカメラ１００の構成＞
図１Ａは、距離検出装置の一例であるデジタルカメラ１００の構成を示す図である。なお、本実施形態の距離検出装置はデジタルカメラに限定されず、他の種類の電子装置、例えばパーソナルコンピュータなどであってもよい。

デジタルカメラ１００は、カメラ筐体１９０を有し、カメラ筐体１９０の内部には、撮像素子１０１、結像光学系１２０、情報格納部１７０、及び制御装置１８０が配置されている。制御装置１８０は、距離情報生成装置１１０、ＣＰＵ１８１、ＲＯＭ１８２、ＲＡＭ１８３、画像生成部１８４、及び画像信号格納部１８５を含む。距離情報生成装置１１０は、論理回路により実装することもできるし、ＣＰＵ１８１、ＲＯＭ１８２、及びＲＡＭ１８３により実装することもできる。後者の場合、ＣＰＵ１８１がＲＯＭ１８２に格納されたプログラムをＲＡＭ１８３に展開して実行することにより、距離情報生成装置１１０の機能が実現される。画像生成部１８４の実装も同様である。

結像光学系１２０は、デジタルカメラ１００の撮影レンズを含み、被写体の像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は、一般的に複数のレンズを含むが、ここでは簡略化のために１枚のレンズとして図示している。結像光学系１２０は、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、以下の説明においては、ｚ軸を、結像光学系１２０の光軸１４０と平行の軸とする。また、ｘ軸とｙ軸は互いに垂直であり、且つ光軸１４０と垂直な軸とする。

＜撮像素子１０１の構成＞
撮像素子１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などから構成され、撮像面位相差測距方式による測距機能を有する。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像信号が生成される。取得した画像信号に対して、画像生成部１８４により現像処理を施すことで、観賞用画像信号を生成することができる。また、生成した観賞用画像信号を画像信号格納部１８５に格納することができる。以下、本実施形態における撮像素子１０１について、図１Ｂ、及び図２（Ａ）〜（Ｄ）を用いてより詳細に説明する。

図１Ｂは、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の撮像画素群１５０と、２行×２列の測距用画素群１６０とを、複数配列することで構成される。

撮像画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され構成される。撮像画素群１５０は、青・緑・赤の３つの色情報を含むカラー画像信号（第３の画像信号）を出力する。ただし、本実施形態の色情報は、これら３つの色情報に限定されない。例えば、補色となる信号や近赤外情報等が取得できるような構成でも構わない。以下では、青・緑・赤の３つの色情報のケースについてのみ説明するが、他の色情報を用いても同様に考えることができる。

測距用画素群１６０は、対角方向に第１の測距用画素１６１が配置され、他の２画素に第２の測距用画素１６２が配置され構成される。測距用画素群１６０が備える第１の測距用画素１６１と第２の測距用画素１６２は、それぞれ、測距用画像信号である第１の画像信号と第２の画像信号とを出力する。ここでは、撮像画素群１５０の画素と測距用画素群１６０の画素とは別の画素となっているが、測距用画素群１６０の各画素にカラーフィルタを置き、カラー画像信号と測距用画像信号とを兼ねることも可能である。

図２（Ａ）は、撮像画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は、導光層１５４と受光層１５５から構成される。導光層１５４には、画素へ入射した光束を光電変換部１５３へ効率良く導くためのマイクロレンズ１５１、所定の波長帯域の光を通過させるカラーフィルタ１５２、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。カラーフィルタ１５２は、青、緑、赤の３種類からなり、青画素１５０Ｂ、緑画素１５０Ｇ１及び１５０Ｇ２、赤画素１５０Ｒの分光感度は、それぞれ図２（Ｂ）に示す特性を有する。受光層１５５には、受光した光を光電変換するための光電変換部１５３が配置される。

図２（Ｃ）は、測距用画素群１６０のＪ−Ｊ’断面を模式的に示した図である。各画素は、導光層１６４と受光層１５５から構成される。受光層１５５には、光電変換部１５３が配置される。導光層１６４には、画素へ入射した光束を光電変換部１５３へ効率良く導くためのマイクロレンズ１５１、光電変換部１５３に入射する光を制限するための遮光部１６３、画像読み出し用及び画素駆動用の配線（不図示）などが配置されている。測距用画素群１６０には、受光量を増やすためにカラーフィルタが配置されていない。第１の測距用画素１６１と第２の測距用画素１６２の分光感度は、光電変換部１５３の分光感度と赤外カットフィルタの分光感度を掛け合わせた分光感度特性となる。図２（Ｄ）は、第１の測距用画素１６１と第２の測距用画素１６２の分光感度を示しており、青画素１５０Ｂと緑画素１５０Ｇ１と赤画素１５０Ｒの分光感度を加算したような分光感度が示されている。

＜撮像面位相差測距方式の距離計測原理＞
図３Ａを参照して、本実施形態の撮像素子１０１が備える第１の測距用画素１６１及び第２の測距用画素１６２が受光する光束について説明する。図３Ａは、結像光学系１２０の射出瞳１３０と、撮像素子１０１中の第１の測距用画素１６１及び第２の測距用画素１６２について示した概略図である。図３Ａに示したマイクロレンズ１５１は、射出瞳１３０と受光層１５５とが光学的に共役関係になるように配置されている。結像光学系１２０の射出瞳１３０を通過した光束は、マイクロレンズ１５１により集光されて光電変換部１５３に導かれるが、一部の光は導光層１６４内の遮光部１６３により遮られる。その結果、図３Ａに示す通り、第１の測距用画素１６１が備える光電変換部１５３は、射出瞳１３０内の第１の瞳領域３１０を通過した光束を主に受光する。そして、第２の測距用画素１６２が備える光電変換部１５３は、射出瞳１３０内の第２の瞳領域３２０を通過した光束を主に受光する。

撮像素子１０１が備える複数の第１の測距用画素１６１は、第１の瞳領域３１０を通過した光束を主に受光し、第１の画像信号を出力する。また同時に、撮像素子１０１が備える複数の第２の測距用画素１６２は、第２の瞳領域３２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から、第１の瞳領域３１０を通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。また、第２の画像信号から、第２の瞳領域３２０を通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号との間の相対的な位置ズレ量（いわゆる視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量の関係について、図３Ｂを用いて説明する。図３Ｂは、本実施形態の撮像素子１０１及び結像光学系１２０について示した概略図である。図中の符号３１１は、第１の瞳領域３１０を通過する第１の光束を示し、符号３２１は、第２の瞳領域３２０を通過する第２の光束を示す。

図３Ｂの上段は、合焦時の状態を示しており、第１の光束３１１と第２の光束３２１が撮像素子１０１上で収束している。この時、第１の光束３１１により形成される第１の画像信号と第２の光束３２１により形成される第２の画像信号との間の視差量は０となる。図３Ｂの中段は、像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束３１１により形成される第１の画像信号と第２の光束３２１により形成される第２の画像信号との間の視差量は０とはならず、負の値を有する。図３Ｂの下段は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束３１１により形成される第１の画像信号と第２の光束３２１により形成される第２の画像信号との間の相対的な位置ズレ量は０とはならず、正の値を有する。

図３Ｂの中段と下段との比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系１２０の結像関係（幾何関係）に従った位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との間の位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

結像光学系１２０は、色収差を有する。図４は、結像光学系１２０の軸上色収差を説明する概略図である。符号４０１は青波長領域の光束を表し、符号４０２は緑波長領域の光束を表し、符号４０３は赤波長領域の光束を表している。物点４１０から生じた光は、結像光学系１２０により集光され、図４に示すように波長に応じた位置に結像する。そのため、検出した視差量をデフォーカス量又はデジタルカメラ１００から被写体までの距離（被写体距離）に変換する際には、軸上色収差を補正する必要がある。

＜距離情報生成装置１１０の動作＞
本実施形態の距離情報生成装置１１０について説明する。図５（Ａ）は、距離情報生成装置１１０の概略構成を表すブロック図であり、図５（Ｂ）は、距離情報生成装置１１０の動作を示すフローチャートである。

距離情報生成装置１１０において、セグメンテーション部５１０は、セグメント情報Ｉｓｉを生成し、代表画素選択部５１１は、各セグメントの代表画素を選択して代表画素情報Ｉｓｐを生成する。更に、距離情報生成部５１２は、代表画素情報Ｉｓｐに従って距離情報Ｉｒｄを生成し、距離情報補正部５１３は、セグメント情報Ｉｓｉを用いて距離情報Ｉｒｄの補正を行うことで補正距離情報Ｉｃｄを生成する。

図５（Ｂ）を参照して、セグメンテーション部５１０、代表画素選択部５１１、距離情報生成部５１２、距離情報補正部５１３が行う処理内容について説明する。

Ｓ５１０で、セグメンテーション部５１０は、撮像素子１０１又は画像信号格納部１８５からカラー画像信号ＳＣを取得し、セグメント情報Ｉｓｉを生成する。図６（Ａ）〜（Ｃ）を参照して、Ｓ５１０のセグメント情報生成処理の一例を説明する。図６（Ａ）は、カラー画像信号ＳＣを表している。セグメンテーション部５１０は、各画素のカラー情報を比較し、近傍画素間で似たカラー情報を持った複数の画素を１つの集合（セグメント又はＳｕｐｅｒｐｉｘｅｌと呼ぶ）として表現する。

図６（Ｂ）は、カラー画像信号ＳＣが複数のセグメントに分割された状態を表している。このようにセグメンテーションする方法として、ＷａｔｅｒＳｈｅｄアルゴリズムやＳｕｐｅｒｐｉｘｅｌ Ｓｅｇｍｅｎｔａｔｉｏｎアルゴリズムが挙げられる。図６（Ｂ）のように物体（オブジェクト）内に複数のセグメントを保持していてもよいが、セグメントを統合し、物体の形状に沿ったより大きなセグメントを生成してもよい。大きなセグメントを生成する場合、後段処理の演算量が少なくて済むというメリットがある。図６（Ｃ）は、物体毎にセグメントを割り当てた状態を表している（線種の違いでセグメントを表現している）。小サイズのセグメントを統合することにより、図６（Ｃ）に示すような大きなセグメントを生成することができる。また、図６（Ｃ）に示すような大きなセグメントを直接生成する方法として、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの技術分野で盛んに検討されている方法を使用することもできる。セグメントを生成するために、カラー情報に加え、形状情報等を用いてもよい。また、教師付き学習を用いたセグメンテーション方法も知られている。セグメンテーション方法は、ここで記載した方法に限定されず、同距離にある可能性の高い画素集合、又は同一物体に属する可能性の高い画素集合を選択可能な任意のセグメンテーション方法を利用することができる。

Ｓ５２０で、代表画素選択部５１１は、カラー画像信号ＳＣとセグメント情報Ｉｓｉを用いて、代表画素情報Ｉｓｐを生成する。ここでは、代表画素選択部５１１は、Ｓ５１０で得られたセグメント情報Ｉｓｉが示す複数のセグメントの各々について、距離情報生成（距離の検出）に適した代表画素を選択する。また、距離を検出するために相互相関演算を行う際には、一般的には複数の画素からなる領域（画素領域）が演算対象となるため、代表画素選択部５１１は、代表画素に加えてその近傍の画素領域も選択する。但し、本実施形態においては、特に断らない限り、「代表画素」とその近傍の「画素領域」とを厳密に区別する必要はない。例えば、代表画素と画素領域とを区別せずに画素領域のみを選択するアルゴリズムを採用した構成は、本実施形態において説明する代表画素及び画素領域を選択する構成に含まれる。なぜならば、選択された画素領域に含まれる画素のいずれかが、実質的に代表画素の役割を果たすからである。

代表画素の選択方法として、例えば次に説明する６つの選択方法のいずれか、又はその任意の組み合わせを用いることができる。

第１の選択方法は、コントラストに基づく選択方法である。距離情報生成の詳細に関しては後述するが、距離情報生成では第１の画像信号Ｓ１と第２の画像信号Ｓ２の一部画素領域近傍の相互相関演算により距離の算出（検出）が行われる。しかし、コントラストが低い領域では、正しい視差に対応しない領域同士の相関結果と正しい視差に対応する領域同士の相関結果との間にあまり差がでない。そのため、コントラストが高い領域に基づいて距離の算出を行うことが望ましい。カラー画像信号ＳＣにおいてある領域のコントラストが高い場合、第１の画像信号Ｓ１及び第２の画像信号Ｓ２の対応する領域においてもコントラストが高いと考えられる。そこで、代表画素選択部５１１は、例えばカラー画像信号ＳＣのセグメント内に候補の画素領域を設定し、その画素領域内の画素値の分散値σを計算する。分散値σが所定の閾値Ｔσ以上（σ≧Ｔσ）であれば、その領域は高コントラスト領域と判断し、その領域から代表画素を選択する。即ち、代表画素選択部５１１は、コントラストが閾値以上の領域から代表画素を選択する。また、代表画素選択部５１１は、σが高いほど距離情報生成に適した領域であることを示すような値への変換を行ってもよい。或いは、代表画素選択部５１１は、セグメント内の複数の画素領域間でコントラストを比較し、最もコントラストの高い領域の画素、又は高いものから順番に所定の数の領域の画素を代表画素として選択してもよい。コントラストが高い領域を選択する方法は、どのような方法でも構わない。

第２の選択方法は、繰り返しパターンに関する選択方法である。視差が生じる方向（本実施形態ではｘ軸方向）に繰り返しパターンがある場合には、正しくない視差の領域同士で高い相関結果が得られる可能性が高くなる。そのため、繰り返しパターンでない領域から代表画素を選択することが望ましい。繰り返しパターンの存在は、候補の画素領域として選択された領域の近傍（例えば、この領域周辺の、想定される最大視差量の範囲内）に類似する画素パターンが存在するか否かに基づいて判定される。代表画素選択部５１１は、カラー画像信号ＳＣの候補の画素領域から最大視差量の範囲で移動した同サイズで異なる画素領域との相関値を比較し、相関の高い異なる画素領域があった場合には、繰り返しパターンが存在すると判断する。その他、フーリエ変換等を行って周期性を検出する方法も挙げられる。或いは、高コントラスト領域の検出と同様に閾値を設けて二値で評価値を算出してもよいし、繰り返しパターン度を連続値で表現してもよい。或いは、代表画素選択部５１１は、繰り返しパターンに該当しない可能性が高い画素領域ほど高順位になるように繰り返しパターン度に基づいて複数の画素領域を順位付けし、上位から順番に所定の数の領域の画素を代表画素として選択してもよい。繰り返しパターン検出方法はどのような方法でも構わない。

第３の選択方法は、セグメントの境界に関する選択方法である。図６（Ｂ）及び図６（Ｃ）に示すように、本実施形態では、複数のセグメントのうちの少なくとも１つのセグメントの境界が被写体の色の境界を含むようにセグメンテーションが行われる。そのため、セグメントの境界付近は、距離情報の境界付近である可能性が高い。その場合、第１の画像信号Ｓ１と第２の画像信号Ｓ２で対応する領域（即ち、相関結果が高い領域）が得られない可能性がある。これは、視差によっていずれかの画像信号でのみ取得できない物体領域（オクルージョン領域）が発生するためである。そのため、代表画素選択部５１１は、セグメントの境界付近の領域以外の領域から、代表画素（及びその近傍の画素領域）を選択する。換言すると、代表画素選択部５１１は、セグメントの境界の近傍からは代表画素を選択しない。具体的基準の一例として、代表画素選択部５１１は、代表画素の近傍の画素領域がすべてセグメント内に含まれるように、代表画素を選択する。或いは、代表画素選択部５１１は、セグメントの境界から代表画素までの距離（画素数）が所定距離以上になるように代表画素を選択してもよい。或いは、繰り返しパターンの検出と同様に、セグメントの境界からの遠近を、閾値を設けて二値で評価したり、セグメントの境界度合い等の連続値で評価したりする方法を採用してもよい。

第４の選択方法は、彩度に関する選択方法である。代表画素選択部５１１は、カラー画像信号ＳＣの情報を用いて、無彩色に近い領域から代表画素を選択する。これにより、色収差の影響を軽減することができる。色収差に関する距離情報補正処理の詳細は後述するが、距離情報補正処理においては、青、緑、赤の各カラーフィルタを通過した情報の各色のコントラスト変化の情報を用いた補正が行われる。例えば、赤単色で表現されるような画素領域から代表画素が選択された場合、代表画素及び近傍の画素領域は、青、緑の情報はほとんど持たない状態である。しかし、図２（Ｂ）で示した通り、赤という情報であったとしても、広い波長域を持ち、どの波長成分の情報が主であるかを判別する際の誤差が大きくなってしまう。そのため、無彩色に近い領域、即ち、一般的には各色の情報を十分持っている領域を選択することが望ましい。これは、青、緑、赤以外のカラーフィルタを用いる場合も同様である。一例として、代表画素選択部５１１は、ＲＧＢの情報をＬａｂ色空間等の等色色空間に変換する。この場合、彩度Ｃ（Ｌａｂ色空間であれば、√（ａ^２＋ｂ^２））が小さい値であればあるほど、無彩色に近くなる。そこで、例えば、代表画素選択部５１１は、対応する被写体の彩度が閾値以下であるように代表画素を選択する。彩度Ｃは、閾値評価や連続値評価、ランキング評価に用いることができる。例えば、代表画素選択部５１１は、セグメント内で、彩度Ｃの平均値が最小の画素領域を選択することができる。これにより、補正処理の誤差が低減され、後述する補正距離情報Ｉｃｄの精度が向上する。

第５の選択方法は、色の同一性に関する選択方法である。多くのセグメントでほぼ同一色と見なせる代表画素及び画素領域が選択できた場合には、それらのセグメントにおいて、色収差に関する距離情報補正処理の補正量を同一とすることができる。そのため、距離情報補正処理の演算量を削減することができる。同一色を識別する方法として、基準となる色を決めそこからの色差を用いて評価する方法が挙げられる。一例として、代表画素選択部５１１は、ＲＧＢ情報をＬａｂ色空間に変換する。基準となる色がＬ’，ａ’，ｂ’であった場合、色差Ｅは、√（（Ｌ−Ｌ’）^２＋（ａ−ａ’）^２＋（ｂ−ｂ’）^２）と表すことができる。色差Ｅは、小さいほど基準色に似ていることを示す。この値を用いて、各セグメント内の画素で基準色に対しての近さを、二値、連続値、ランキングなどで評価することができる。例えば、代表画素選択部５１１は、２つの代表画素それぞれの位置に対応する被写体の色の差が閾値以下であるように、代表画素の選択を行う。また、別の方法として、すべての画素のＲＧＢ値をＬａｂ色空間に変換し、Ｌａｂの値でクラスタリングを行い、似たＬａｂ値を持つものをグルーピングし、そのグループ毎に同一の補正量を用いることができる。クラスタリング方法は、Ｋ−ｍｅａｎｓクラスタリング等、どのような方法でも構わない。

第６の選択方法は、光学系の色収差に関する選択方法である。光学設計では、色収差をある波長域で抑えるように設計することが可能である。例えば、緑〜赤にかけての波長域で色収差を抑えることができる光学系だった場合には、代表画素選択部５１１は、被写体のＲＧＢ情報において緑〜赤を持つ代表画素及び画素領域を選択する。具体的な選択方法は、例えば前述のようにＬａｂ色空間に変換するなど、どのような方法でも構わない。例えば、代表画素選択部５１１は、第１の画像信号Ｓ１及び第２の画像信号Ｓ２の撮影に用いられた光学系において色収差が小さい特定色と、代表画素の位置に対応する被写体の色との差が閾値以下であるように、代表画素を選択することができる。代表画素選択部５１１は、情報格納部１７０から、特定色を示す情報を取得することができる。この場合、広い波長域が選択されることになるが、色収差の影響による誤差は小さいので、補正後の誤差をより小さくできる。或いは、色収差の影響による誤差が小さいので、補正自体を省略することもできる。これにより、距離情報の精度を維持したまま演算量を削減することができる。例として緑〜赤の波長域について説明したが、光学系の設計に制限はない。利用用途が定まっているのであれば、その利用用途において設計できることが望ましい。また、既存の光学系においても、色収差量が分かれば同様に代表画素の選択対象とする波長域を設定することが可能である。

代表画素選択部５１１は、代表画素をセグメント毎に複数選択してもよい。例えば、代表画素選択部５１１は、採用された選択方法（上記の６つの選択方法など）に関する条件を満たす画素がセグメント内に複数存在する場合、これら複数の画素を代表画素として選択する。或いは、代表画素選択部５１１は、それぞれの条件に閾値を設け、「条件をすべて満たす」や「条件をいくつか満たす」などの場合に代表画素を選択してもよい。或いは、代表画素選択部５１１は、各条件に重みを付け、全条件の合計の閾値に基づいて代表画素を選択してもよい。或いは、代表画素選択部５１１は、条件に最も合致する１点だけを代表画素として選択してもよい。セグメント内のいずれの画素も条件を満たさない場合には、代表画素選択部５１１は、そのセグメントは信頼できる距離情報が得られないと判断して、代表画素を選択しなくても構わない。この場合、そのセグメントについては、距離情報が生成されない。また、シーンや目的に応じて、これらの条件を追加又は変更してもよい。セグメント内で代表画素が複数選択された場合、距離情報補正部５１３は、距離情報補正後に、セグメント内の複数の距離情報を統合する処理を行う。統合処理の詳細については後述する。

なお、本実施形態において、Ｓ５１０のセグメント情報生成処理は省略可能である。セグメント情報生成処理が行われない場合、代表画素選択部５１１は、カラー画像信号ＳＣの各セグメントの代わりに、カラー画像信号ＳＣに対して代表画素の選択を行う。この場合であっても、上記の６つの選択方法は、セグメント間の関係を条件に含む部分を除き、セグメントを行う場合と同様に利用することができる。例えば、代表画素選択部５１１は、第４の選択方法（彩度に関する選択方法）に基づき、カラー画像信号ＳＣにおいて無彩色に近い領域から代表画素を選択することができる。

次に、Ｓ５３０で、距離情報生成部５１２は、距離情報生成処理を行う。距離情報生成部５１２は、撮像素子１０１又は画像信号格納部１８５から、第１の画像信号Ｓ１と第２の画像信号Ｓ２を取得する。そして、距離情報生成部５１２は、Ｓ５２０において生成された代表画素情報Ｉｓｐに従って、被写体距離を表す距離情報Ｉｒｄを生成する。以下では、距離情報Ｉｒｄとしてデフォーカス量を生成するものとする。

図７を参照して、距離情報生成処理の詳細について説明する。以下の処理は、代表画素情報Ｉｓｐに従って、関連する画素領域のみについて行えばよい。しかし、状況に応じて、すべての画素について距離情報生成処理が行われる場合があっても構わない。

Ｓ７０１で、距離情報生成部５１２は、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。結像光学系１２０の周辺画角ではヴィネッティングにより、第１の瞳領域３１０と第２の瞳領域３２０の形状が異なることに起因して、第１の画像信号Ｓ１と第２の画像信号Ｓ２との間で光量バランスが崩れる。Ｓ７０１では、距離情報生成部５１２は、情報格納部１７０に格納された光量補正値を用いて、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。なお、必ずしも情報格納部１７０に格納された光量補正値を用いる必要はなく、例えば、距離情報生成部５１２は、第１の瞳領域３１０と第２の瞳領域３２０の面積比から光量補正値を生成したのち、光量補正を行っても構わない。

Ｓ７０２で、距離情報生成部５１２は、撮像素子１０１により付加されたノイズを低減するための処理を行う。具体的には、距離情報生成部５１２は、第１の画像信号Ｓ１と第２の画像信号Ｓ２に対して、バンドパスフィルタを用いたフィルタ処理を行う。一般に、空間周波数が高い高周波領域ほど、ＳＮ比（信号成分とノイズ成分の比）が低くなり、相対的にノイズ成分が多くなる。従って、高周波になるほど透過率が低くなるローパスフィルタを用いることができる。なお、Ｓ７０１における光量補正は、結像光学系１２０の製造誤差などにより設計値通りになるとは限らない。そのため、Ｓ７０２では、直流成分（空間周波数＝０となる成分）の透過率が０となり、且つ高周波成分の透過率が低いバンドパスフィルタを用いることが望ましい。

Ｓ７０３で、距離情報生成部５１２は、第１の画像信号Ｓ１と第２の画像信号Ｓ２との間の視差量を算出（検出）する。具体的には、距離情報生成部５１２は、第１の画像信号Ｓ１内に、代表画素情報Ｉｓｐが示す代表画素に対応した注目点を設定し、注目点を中心とする照合領域を設定する。従って、上で説明した代表画素選択部５１１がカラー画像信号ＳＣから代表画素を選択する処理は、実質的には、第１の画像信号Ｓ１から代表画素を選択する役割も持つ。照合領域は、代表画素選択部５１１が選択した画素領域に対応し、例えば、注目点を中心とした一辺が所定画素の長方形である。セグメントの形に合わせ、照合領域を変形しても構わない。次に、距離情報生成部５１２は、第２の画像信号Ｓ２内に参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は、照合領域と同一の大きさ及び形状である。距離情報生成部５１２は、参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ１と、参照領域内に含まれる第２の画像信号Ｓ２との間の相関度を算出し、最も相関が高い参照点を、注目点に対応する対応点として検出する。注目点と対応点との間の相対的な位置のズレ量が、注目点における視差量である。距離情報生成部５１２は、注目点を代表画素情報Ｉｓｐに従って順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法としては任意の公知の手法を用いることができる。例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法を用いることができる。或いは、画像信号間の差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、差の絶対値和を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。

Ｓ７０４で、距離情報生成部５１２は、所定の変換係数を用いて視差量を撮像素子１０１から結像光学系１２０の焦点までの距離であるデフォーカス量へと変換する。所定の変換係数をＫ、デフォーカス量をΔＬ、視差量をｄとしたとき、下記の式（１）により視差量ｄをデフォーカス量ΔＬに変換することができる。
ΔＬ＝Ｋ×ｄ ・・・（１）

Ｓ７０３及びＳ７０４の処理を複数の代表画素それぞれについて行うことで、複数の画素位置のデフォーカス量を距離情報として含む距離情報Ｉｒｄを生成することができる。

次に、Ｓ５４０で、距離情報補正部５１３は、距離情報補正処理を行う。即ち、距離情報補正部５１３は、距離情報Ｉｒｄの補正を行い、補正距離情報Ｉｃｄを生成する。距離情報Ｉｒｄの補正を行うために、距離情報補正部５１３は、セグメンテーション部５１０が生成したセグメント情報Ｉｓｉと、撮像素子１０１又は画像信号格納部１８５から取得したカラー画像信号ＳＣとを用いる。

図８を参照して、距離情報補正処理の詳細について説明する。

Ｓ８０１で、距離情報補正部５１３は、情報格納部１７０から色収差情報を取得する。情報格納部１７０には、色収差情報Ｉｃｏとして、青波長領域用の色収差情報Ｉｃｏｂ、緑波長領域用の色収差情報Ｉｃｏｇ、及び赤波長領域用の色収差情報Ｉｃｏｒが格納されている。青波長領域用の色収差情報Ｉｃｏｂとして、青画素１５０Ｂの分光感度特性（図２（Ｂ））で重み付け平均した軸上色収差量を用いることができる。緑波長領域用の色収差情報Ｉｃｏｇと赤波長領域用の色収差情報Ｉｃｏｒも同様に、各波長領域に対応する画素の分光感度特性（緑波長領域であれば緑画素１５０Ｇ１、赤波長領域であれば赤画素１５０Ｒ）で重み付け平均した軸上色収差量を用いることができる。なお、結像光学系１２０の軸上色収差量は、所定の波長のベストピント位置からの相対的な距離で構わない。所定の波長としては、例えば視感度が最大となる波長や緑画素１５０Ｇ１の分光感度が最も高い波長などを選ぶことができる。

Ｓ８０２乃至Ｓ８０４で、距離情報補正部５１３は、距離情報Ｉｒｄにおける色収差起因誤差を補正する。距離情報Ｉｒｄの補正を行うために、距離情報補正部５１３は、色収差情報Ｉｃｏと、撮像素子１０１又は画像信号格納部１８５から取得したカラー画像信号ＳＣとを用いる。

具体的には、Ｓ８０２で、距離情報補正部５１３は、距離情報生成部５１２による距離情報Ｉｒｄの生成時に、各波長領域（青色波長領域、緑色波長領域、赤色波長領域）がどの程度寄与したかを表す寄与率を算出する。第１の画像信号Ｓ１と第２の画像信号Ｓ２との間の視差が生じる方向（ｘ方向）に沿ったコントラスト変化が大きい色情報ほど、寄与率は高くなる。コントラスト変化の大きさを評価するために、距離情報補正部５１３は、カラー画像信号ＳＣから、青画素１５０Ｂにより形成された画像信号を抽出し、コントラスト変化の大きさＣｂを生成する。同様に、距離情報補正部５１３は、緑画素１５０Ｇ１及び１５０Ｇ２により形成された画像信号と、赤画素１５０Ｒにより形成された画像信号とについても、コントラスト変化の大きさＣｇ及びＣｒを生成する。距離情報補正部５１３は、色情報毎のコントラスト変化の大きさＣｂ、Ｃｇ、Ｃｒを用いて、各色情報の寄与率を次の式（２）により生成する。
青波長領域の寄与率ＣＴＢｂ＝Ｃｂ／（Ｃｂ＋Ｃｇ＋Ｃｒ）
緑波長領域の寄与率ＣＴＢｇ＝Ｃｇ／（Ｃｂ＋Ｃｇ＋Ｃｒ） ・・・（２）
赤波長領域の寄与率ＣＴＢｒ＝Ｃｒ／（Ｃｂ＋Ｃｇ＋Ｃｒ）

ここで、コントラスト変化の大きさＣｂ、Ｃｇ、Ｃｒの生成方法について具体的に説明する。以下では、青画素１５０Ｂにより形成された画像信号ＳＣｂを用いる場合を例に説明する。まず、距離情報補正部５１３は、画像信号ＳＣｂに注目点を設定し、注目点を中心とする照合領域を設定する。ここで設定する照合領域は、Ｓ７０３において用いた照合領域と同じ領域サイズであることが望ましい。距離情報補正部５１３は、照合領域内に含まれる画像信号ＳＣｂから、ｘ方向に沿った信号列を抽出し、画素値の標準偏差を算出する。距離情報補正部５１３は、信号列を抽出する位置を照合領域内でｙ方向に順次移動することで、複数の標準偏差を算出する。距離情報補正部５１３は、複数の標準偏差の和を、青波長領域に対応するコントラスト変化の大きさＣｂとする。距離情報補正部５１３は、同様の処理を緑画素１５０Ｇ１及び１５０Ｇ２により生成された画像信号ＳＣｇと、赤画素１５０Ｒにより生成された画像信号ＳＣｒにも行うことで、コントラスト変化の大きさＣｇ及びＣｒを生成することができる。なお、Ｓ８０２においては、ｘ方向に沿った信号列を抽出し、画素値の標準偏差を生成することが望ましい。これは、第１の瞳領域３１０の重心位置と第２の瞳領域３２０の重心位置がｘ方向に沿って偏心しているため、コントラスト変化の大きさを評価すべき方向はｘ方向に限定することが望ましいためである。

Ｓ８０３で、距離情報補正部５１３は、色収差情報Ｉｃｏと、各色情報からの寄与率（ＣＴＢｂ、ＣＴＢｇ、ＣＴＢｒ）を用いて、軸上色収差に対応する補正値Ｃｄｅｆを生成する。具体的には、色収差情報Ｉｃｏが含む各波長領域の色収差情報（Ｉｃｏｂ、Ｉｃｏｇ、Ｉｃｏｒ）を、対応する波長領域の寄与率を重みとして合成した値が補正値Ｃｄｅｆとなる。即ち、距離情報補正部５１３は、以下の式（３）を用いて補正値Ｃｄｅｆを生成する。
補正値Ｃｄｅｆ
＝Ｉｃｏｂ×ＣＴＢｂ＋Ｉｃｏｇ×ＣＴＢｇ＋Ｉｃｏｒ×ＣＴＢｒ ・・・（３）

Ｓ８０４で、距離情報補正部５１３は、Ｓ８０３において生成した補正値Ｃｄｅｆを用いて、距離情報生成部５１２が生成した距離情報Ｉｒｄを補正する。補正値Ｃｄｅｆは、所定の波長を基準とした軸上色収差量を、各波長領域からの寄与率で重み付け平均した値である。また、距離情報Ｉｒｄは、デフォーカス量を含む情報である。従って、距離情報補正部５１３は、距離情報Ｉｒｄから補正値Ｃｄｅｆを減算することで、距離情報Ｉｒｄを補正することができる。

なお、ここではＳ８０２乃至Ｓ８０４を参照して距離情報Ｉｒｄにおける色収差起因誤差の補正について説明したが、色収差起因誤差の補正方法は、ここで説明した方法に限定されない。例えば、寄与率や補正値の算出は、別の算出方法により行っても構わない。例えば、距離情報補正部５１３は、特許文献２に記載されているように、異なる分光感度特性を有する撮像画素から出力された信号値の比のみを用いて結像光学系１２０の色収差を補正してもよい。この場合、コントラスト変化に基づいて寄与率を算出する場合と比べて精度は落ちるが、演算量が少ない。

Ｓ８０５で、距離情報補正部５１３は、Ｓ８０４で補正された距離情報Ｉｒｄを用いて各セグメント内の距離統合を行い、補正距離情報Ｉｃｄを生成する。セグメント内で代表画素が１点の場合には、距離情報補正部５１３は、セグメント内のすべての画素で代表画素の距離情報を用いることができる。セグメント内で代表画素が複数ある場合には、距離情報補正部５１３は、平均値や中央値など何らかの統計量を用いてセグメント内のすべての画素の距離情報を得ることができる。なお、セグメント内ですべて同等の距離値を用いる必要はない。例えば、距離情報補正部５１３は、セグメント内が同一平面であると仮定して、複数の代表画素の距離情報を用いて平面フィッティングを行い、その際の各画素の距離値をセグメント内の各画素に割り当てることができる。平面以外の形状、例えば球面や任意曲面などを用いてもよい。また、距離情報補正部５１３は、隣接セグメントとの関係性を考慮して、距離値を補正することができる。例えば、隣接セグメントが同一オブジェクトに属する可能性が高い場合には、隣接セグメントの境界における距離はほぼ同一である可能性が高い。また、法線ベクトルが隣接セグメント間で近い値になる可能性が高い。また、曲面でフィッティングした場合には、隣接セグメントとの境界が滑らかに（面の傾きの変化が接続している状態で）接続されるように距離情報を定めることができる。こうした制約を各セグメントに与えることで、フィッティングの際の精度を向上させたり、代表画素が１点の場合でもセグメント内の距離変化を表現したりすることが可能となる。セグメント内の距離統合処理は上記の方法に限定されず、補正された代表画素の距離情報から他の画素の距離情報を推定可能な任意の方法を用いることができる。また、すべての画素で距離情報を得る必要はない。例えば、事前に各領域の信頼度を算出しておき、信頼できない画素については距離情報を与えないということが考えられる。また、アプリケーションによっては、代表画素以外の距離情報が必要ないケースも考えられる。その場合には、距離情報補正部５１３は、Ｓ８０５の処理を省略し、Ｓ８０４において補正された距離情報Ｉｒｄを、最終的な補正距離情報Ｉｃｄとして用いてもよい。

上の説明では、距離情報補正部５１３は、軸上色収差により色毎にピント位置が異なる影響を補正し、同じ被写体距離にある被写体は同じデフォーカス量になるように補正した値を補正距離情報Ｉｃｄとして生成している。しかし、距離情報補正部５１３は、軸上色収差を補正したデフォーカス量を、更に結像光学系１２０の結像関係を用いてデジタルカメラ１００から被写体までの距離に変換した値を、補正距離情報Ｉｃｄとして生成してもよい。変換前に軸上色収差は補正されているため、デフォーカス量から被写体距離への変換には、結像光学系１２０の近軸量を用いればよい。

また、上の説明では、距離情報補正部５１３が実行する距離情報補正処理の例示的なステップについて述べたが、他の補正処理を同時に行っても構わない。他の補正処理の例として、システム全体のキャリブレーションよる補正が挙げられる。

本実施形態の距離情報生成装置１１０は、カラー画像信号ＳＣを用いて生成した各セグメントの代表画素についてのみ距離情報生成処理（Ｓ５３０）を行うため、演算量を減らすことができる。また、距離情報生成装置１１０は、カラー画像信号ＳＣを用いて無彩色に近い画素を代表画素として選択したり、多くのセグメントでほぼ同一色と見なせる代表画素を選択したりする。これにより、光学系の色収差による誤差の補正精度を向上させたり、補正のための演算量を削減したりすることができる。

デジタルカメラ１００は、最終的に得られた補正距離情報Ｉｃｄを用いて、結像光学系１２０や撮像素子１０１に対するフィードバックを行うことができる。補正距離情報Ｉｃｄは、例えばＡｕｔｏ Ｆｏｃｕｓ機能に活用することができる。デジタルカメラ１００の光学系コントロール部（不図示）及び撮像素子コントロール部（不図示）、又はこれらのいずれか一方は、任意の画角における補正距離情報Ｉｃｄに応じた移動量を計算する。デジタルカメラ１００のフォーカスユニット駆動部（不図示）及び撮像素子駆動部（不図示）、又はこれらのいずれか一方は、算出された移動量に基づき、結像光学系１２０内のレンズ又は撮像素子１０１を移動させる。デジタルカメラ１００は、色収差の影響を低減した距離情報を得ることができるため、１回のフィードバックでより正確にピントを合わせることができる。

また、自律的に行動計画を作成可能なロボットや自動車が外部環境を認識するための情報として、補正距離情報Ｉｃｄを活用することができる。そのようなロボット又は自動車は、補正距離情報Ｉｃｄを、外部環境認識部（不図示）により外部環境認識データに変換する。行動計画作成部（不図示）は、外部環境認識データ及び事前に与えてある目的に応じた行動計画を作成する。アクチュエータ（不図示）及びアクチュエータ制御部（不図示）は、行動計画に従って自律移動を実現する。アクチュエータには、原動機、電気モータ、タイヤ、及び脚機構などが含まれる。デジタルカメラ１００は、カラー画像信号ＳＣ、及び色収差の影響を低減した補正距離情報Ｉｒｄを取得できるため、外部環境をより安定して認識することができる。

以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、第１の画像信号Ｓ１及び第２の画像信号Ｓ２に基づいて被写体距離を検出する際に、被写体の色に基づいて代表画素を選択する。これにより、被写体距離における色収差起因誤差の補正精度を向上させたり、補正のための演算量を削減したりすることが可能になる。

［第２の実施形態］
第２の実施形態では、第１の実施形態で説明した撮像素子１０１（図１Ａ及び図１Ｂ）とは異なる構成を持つ撮像素子を用いる場合について説明する。本実施形態において、デジタルカメラ１００の基本的な構成は第１の実施形態と同様である（図１Ａ参照）。しかしながら、図１Ａにおいて、デジタルカメラ１００は、撮像素子１０１の代わりに図９（Ａ）に示す撮像素子９０１を備える。また、デジタルカメラ１００は、距離情報生成装置１１０の代わりに、図１０に示す距離情報生成装置１０１０を備える。距離情報生成装置１０１０は、論理回路により実装することもできるし、ＣＰＵ１８１、ＲＯＭ１８２、及びＲＡＭ１８３により実装することもできる。後者の場合、ＣＰＵ１８１がＲＯＭ１８２に格納されたプログラムをＲＡＭ１８３に展開して実行することにより、距離情報生成装置１０１０の機能が実現される。以下、主に第１の実施形態と異なる点について説明する。

＜撮像素子９０１の構成＞
撮像素子９０１は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する。結像光学系１２０を介して撮像素子９０１上に結像した被写体像は、撮像素子９０１により光電変換され、被写体像に基づく画像信号が生成される。取得した画像信号に対して、画像生成部１８４により現像処理を施すことで、観賞用画像信号を生成することができる。また、生成した観賞用画像信号を画像信号格納部１８５に格納することができる。以下、本実施形態における撮像素子９０１について、図９（Ａ）〜（Ｂ）を用いてより詳細に説明する。

図９（Ａ）は、撮像素子９０１のｘｙ断面図である。図９（Ａ）の撮像素子９０１は、２行×２列の画素群９５０が複数配列され構成される。画素群９５０では、対角方向に緑画素９５０Ｇ１と緑画素９５０Ｇ２が配置され、他の２画素に赤画素９５０Ｒと青画素９５０Ｂが配置されている。必ずしもこの配置、この色である必要はなく、何らかの形で色情報を持っていればどのような形でも構わない。以下では、上記配置の場合について詳細を説明する。

図９（Ｂ）は、画素群９５０のＩ−Ｉ’断面を模式的に示した図である。図９（Ｂ）において、図２（Ａ）と同一又は同様の構成要素には図２（Ａ）と同一の符号を付す。各画素では、受光層９５５に、受光した光を光電変換するための２つの光電変換部（第１の光電変換部９５１と第２の光電変換部９５２）が配置される。マイクロレンズ１５１は、射出瞳１３０と受光層９５５とが光学的に共役関係になるように配置されている。その結果、図３Ａと同様、第１の光電変換部９５１は、第１の光束３１１を主に受光し、第２の光電変換部９５２は、第２の光束３２１を主に受光する。

第１の光電変換部９５１は、受光した光束を光電変換して電気信号を生成する。同様に、第２の光電変換部９５２は、受光した光束を光電変換して電気信号を生成する。撮像素子９０１の各画素の第１の光電変換部９５１が生成した電気信号の集合から、第３の画像信号が生成される。同様に、撮像素子９０１の各画素の第２の光電変換部９５２が生成した電気信号の集合から、第４の画像信号が生成される。第３の画像信号から、第１の光束３１１が撮像素子９０１上に形成する像の強度分布を得ることができ、第４の画像信号から、第２の光束３２１が撮像素子９０１上に形成する像の強度分布を得ることができる。また、画素群９５０は、青・緑・赤の各波長領域に対応するカラーフィルタを備えているため、第３の画像信号と第４の画像信号は、３つの色情報を含んでいる。即ち、本実施形態の撮像素子９０１は、各画素が撮像機能と測距機能を兼ね備えている。

＜距離情報生成装置１０１０の動作＞
本実施形態の距離情報生成装置１０１０について説明する。図１０は、本実施形態の距離情報生成装置１０１０の概要構成を表すブロック図であり、図１１（Ａ）は、距離情報生成装置１０１０の動作を示すフローチャートである。図１０において、図５（Ａ）と同一又は同様の構成要素には図５（Ａ）と同一の符号を付す。図１１（Ａ）において図５（Ｂ）と同一又は同様の処理が行われるステップには図５（Ｂ）と同一の符号を付す。

距離情報生成装置１０１０は、第１の実施形態の距離情報生成装置１１０と比較し、画像生成部１０２０を更に備えている。距離情報生成装置１０１０は、撮像素子９０１から第３の画像信号Ｓ３と第４の画像信号Ｓ４を取得し、距離情報Ｉｒｄを補正した補正距離情報Ｉｃｄを生成する。また、距離情報生成装置１０１０は、カラー画像信号ＳＣとして、第３の画像信号Ｓ３又は第４の画像信号Ｓ４を用いる。或いは、カラー画像信号ＳＣは、第３の画像信号Ｓ３及び第４の画像信号Ｓ４を合成した観賞用のカラー画像（即ち、図３Ａに示す第１の瞳領域３１０を通過した光束及び第２の瞳領域３２０を通過した光束から生成されたカラー画像）であってもよい。

セグメンテーション部５１０、代表画素選択部５１１、距離情報生成部５１２、距離情報補正部５１３が行う処理内容は、第１の実施形態と同様であるため、説明は省略する。以下では、画像生成部１０２０が行う処理内容について説明する。

画像生成部１０２０は、撮像素子９０１から第３の画像信号Ｓ３と第４の画像信号Ｓ４を取得し、第１の画像信号Ｓ１と第２の画像信号Ｓ２を生成する。以下では、図１１（Ｂ）を用いて、図１１（Ａ）のＳ１０２０における画像生成処理について説明する。

Ｓ１０２１で、画像生成部１０２０は、第３の画像信号Ｓ３及び第４の画像信号Ｓ４のデモザイキングを行う。画像生成部１０２０は、青画素による画像信号を生成するために、赤画素９５０Ｒと緑画素９５０Ｇ１と緑画素９５０Ｇ２の画素位置については、近傍の青画素９５０Ｂの輝度値を用いて線形補間により画像信号の画素値を生成する。緑画素及び赤画素についても同様に、画像生成部１０２０は、補間処理（例えば、バイリニア補間又はバイキュービック補間）を用いて、各波長領域の画像信号を生成する。デモザイキングにより、各画素位置にて、青・緑・赤の３チャンネルの色情報を含む画像信号が生成される。

Ｓ１０２２で、画像生成部１０２０は、Ｓ１０２１においてデモザイキングされた第３の画像信号Ｓ３から、第１の画像信号Ｓ１を生成する。同様に、画像生成部１０２０は、Ｓ１０２１においてデモザイキングされた第４の画像信号Ｓ４から第２の画像信号Ｓ２を生成する。画像生成部１０２０は、第１の画像信号Ｓ１を生成するために、以下の式（４）を第１の画像信号Ｓ１の各画素に適用する。ここで、ＩｂはＳ１０２１においてデモザイキングされた第３の画像信号Ｓ３に含まれる青波長領域の輝度値である。同様に、ＩｇはＳ１０２１においてデモザイキングされた第３の画像信号Ｓ３に含まれる緑波長領域の輝度値であり、ＩｒはＳ１０２１においてデモザイキングされた第３の画像信号Ｓ３に含まれる赤波長領域の輝度値である。
第１の画像信号の信号値＝Ｉｂ／４＋Ｉｇ／２＋Ｉｒ／４ ・・・（４）

第２の画像信号Ｓ２についても、第１の画像信号Ｓ１と同様に、Ｓ１０２１においてデモザイキングされた第４の画像信号Ｓ４を用いて生成することができる。

距離情報生成部５１２は、画像生成部１０２０が生成した第１の画像信号Ｓ１と第２の画像信号Ｓ２を用いて、距離情報Ｉｒｄを生成する。本実施形態のデジタルカメラ１００においては、撮像素子９０１が備える各画素群は、色情報と距離情報の両方を取得可能な構成となっている。そのため、距離情報を算出した画素位置と、色情報を取得した画素位置との間でズレが少なく、より精度よく結像光学系１２０の色収差を補正することができる。

［第３の実施形態］
第３の実施形態では、２つの撮像素子を用いて視点の異なる２つの画像信号を生成する構成について説明する。以下で、主に第２の実施形態と異なる点について説明する。

図１２（Ａ）は、第３の実施形態に係るデジタルカメラ１２００の構成を示す図である。図１２（Ａ）において、図１Ａと同一又は同様の構成要素には図１Ａと同一の符号を付す。デジタルカメラ１２００は、第１の結像光学系１２２０ａ、第２の結像光学系１２２０ｂ、撮像素子１２０１ａ、撮像素子１２０１ｂ、情報格納部１７０、及び制御装置１８０を有する。制御装置１８０は、第２の実施形態と同様、図１０に示す距離情報生成装置１０１０を備える。第１の結像光学系１２２０ａと第２の結像光学系１２２０ｂは、デジタルカメラ１２００の撮影レンズを含み、被写体の像を撮像面である撮像素子１２０１ａと撮像素子１２０１ｂに形成する機能を有する。第１の結像光学系１２２０ａは、複数のレンズ及び絞りを含み、撮像素子１２０１ａから所定距離離れた位置に射出瞳１２３０ａを有する。第２の結像光学系１２２０ｂは、複数のレンズ及び絞りを含み、撮像素子１２０１ｂから所定距離離れた位置に射出瞳１２３０ｂを有する。

撮像素子１２０１ａと撮像素子１２０１ｂは、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などから構成される。図１２（Ｂ）は、撮像素子１２０１ａのｘｙ断面図である。図１２（Ｂ）において、図１Ｂと同一又は同様の構成要素には図１Ｂと同一の符号を付す。撮像素子１２０１ａは、撮像画素群１５０が複数配列されて構成される。撮像素子１２０１ｂの構成は、撮像素子１２０１ａと同様である。

撮像素子１２０１ａの撮像画素群１５０の各画素の光電変換部１５３は、受光した光束を光電変換して電気信号を生成する。撮像素子１２０１ａの各画素の光電変換部１５３が生成した電気信号の集合により、第３の画像信号Ｓ３が生成される。同様に、撮像素子１２０１ｂの撮像画素群１５０の各画素の光電変換部１５３は、受光した光束を光電変換して電気信号を生成する。撮像素子１２０１ｂの各画素の光電変換部１５３が生成した電気信号の集合により、第４の画像信号Ｓ４が生成される。

第１の結像光学系１２２０ａ及び撮像素子１２０１ａの組と、第２の結像光学系１２２０ｂ及び撮像素子１２０１ｂの組は、所定距離だけ離れて配置されている。そのため、第３の画像信号Ｓ３と第４の画像信号Ｓ４とは、被写体を異なる視点からほぼ同時に撮影した画像信号の組となり、被写体距離に応じた視差量を有するようになる。また、撮像素子１２０１ａと撮像素子１２０１ｂが備える各画素は、青・緑・赤の各波長領域に対応するカラーフィルタを備えているため、第３の画像信号Ｓ３と第４の画像信号Ｓ４は、３つの色情報を含んでいる。即ち、デジタルカメラ１２００は、カラー画像信号の撮像機能と測距機能とを備えている。

距離情報生成装置１０１０は、撮像素子１２０１ａから取得した第３の画像信号Ｓ３と撮像素子１２０１ｂから取得した第４の画像信号Ｓ４とを用いて、結像光学系１２２０ａと結像光学系１２２０ｂの色収差の影響を補正した補正距離情報Ｉｃｄを生成する。第２の実施形態と同様、図１０のカラー画像信号ＳＣとして、第３の画像信号Ｓ３又は第４の画像信号Ｓ４を用いることができる。或いは、カラー画像信号ＳＣは、第３の画像信号Ｓ３及び第４の画像信号Ｓ４を合成したカラー画像信号であってもよい。デジタルカメラ１００とは異なり、デジタルカメラ１２００では、結像光学系１２２０ａと結像光学系１２２０ｂの倍率色収差の影響を主として補正する。即ち、デジタルカメラ１２００が備える情報格納部１７０には、結像光学系１２２０ａと結像光学系１２２０ｂの倍率色収差量が色収差情報として格納されている。

本実施形態のデジタルカメラ１２００は、光軸１２４０ａと光軸１２４０ｂを離れた位置に配置することで、同じ被写体を異なる視点から撮像している。光軸１２４０ａと光軸１２４０ｂを大きく離すことで、被写体距離当たりの視差量変化を大きくすることができる。即ち、より高精度に距離情報を取得することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…撮像素子、１１０…距離情報生成装置、１２０…結像光学系、１７０…情報格納部、１８０…制御装置、５１０…セグメンテーション部、５１１…代表画素選択部、５１２…距離情報生成部、５１３…距離情報補正部

Claims (14)

1. 第１の視点から撮影された第１の画像、及び前記第１の視点と異なる第２の視点から撮影された第２の画像を取得する取得手段と、
   前記第１の画像から被写体の色に基づいて代表画素を選択する選択手段と、
   前記第２の画像において前記代表画素に対応する位置を検出することにより、前記代表画素の位置に対応する前記被写体の距離を検出する検出手段と、
   を備えることを特徴とする距離検出装置。
2. 前記選択手段は、前記代表画素の位置に対応する前記被写体の彩度が閾値以下であるように、前記被写体の色に基づいて前記代表画素を選択する
   ことを特徴とする請求項１に記載の距離検出装置。
3. 前記取得手段は、前記第１の画像及び前記第２の画像の撮影に用いられた光学系において色収差が小さい特定色を示す情報を更に取得し、
   前記選択手段は、前記特定色と前記代表画素の位置に対応する前記被写体の色との差が閾値以下であるように、前記被写体の色に基づいて前記代表画素を選択する
   ことを特徴とする請求項１に記載の距離検出装置。
4. 前記第１の画像を複数の領域に分割する分割手段を更に備え、
   前記選択手段は、前記複数の領域の各々から前記代表画素を選択する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の距離検出装置。
5. 前記分割手段は、前記複数の領域のうちの第１の領域の境界が前記被写体の色の境界を含むように、前記第１の画像を前記複数の領域に分割し、
   前記選択手段は、前記第１の領域から前記代表画素を選択する場合、前記第１の領域の境界の近傍からは前記代表画素を選択しない
   ことを特徴とする請求項４に記載の距離検出装置。
6. 前記選択手段は、前記代表画素の位置に対応する前記被写体の色と第２の代表画素の位置に対応する前記被写体の色との差が閾値以下であるように、前記第１の画像から前記被写体の色に基づいて前記代表画素及び前記第２の代表画素を選択し、
   前記検出手段は、前記第２の代表画素の位置に対応する前記被写体の距離を更に検出する
   ことを特徴とする請求項１に記載の距離検出装置。
7. 前記第１の画像を、第１の領域及び第２の領域を含む複数の領域に分割する分割手段を更に備え、
   前記選択手段は、前記第１の領域から前記代表画素を選択し、前記第２の領域から前記第２の代表画素を選択する
   ことを特徴とする請求項６に記載の距離検出装置。
8. 前記選択手段は、前記第１の画像においてコントラストが閾値以上の領域から前記代表画素を選択する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の距離検出装置。
9. 前記選択手段は、前記第１の画像において前記代表画素を含む第３の領域の近傍に前記第３の領域に類似する画素パターンが存在しないように、前記代表画素を選択する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の距離検出装置。
10. 前記第１の視点は、前記第１の画像及び前記第２の画像の撮影に用いられた光学系の射出瞳の第１の瞳領域に対応し、
    前記第２の視点は、前記射出瞳の第２の瞳領域に対応し、
    前記取得手段は、前記第１の瞳領域を通過した光束及び前記第２の瞳領域を通過した光束から生成されたカラー画像を更に取得し、
    前記選択手段は、前記カラー画像に基づいて前記被写体の色を識別する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の距離検出装置。
11. 前記検出手段により検出された前記代表画素の位置に対応する前記被写体の前記距離の、前記第１の画像及び前記第２の画像の撮影に用いられた光学系の色収差に起因する誤差を補正する補正手段を更に備える
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の距離検出装置。
12. 請求項１乃至１１のいずれか１項に記載の距離検出装置と、
    前記第１の画像及び前記第２の画像を撮影する撮像手段と、
    を備えることを特徴とする撮像装置。
13. 距離検出装置が実行する距離検出方法であって、
    第１の視点から撮影された第１の画像、及び前記第１の視点と異なる第２の視点から撮影された第２の画像を取得する取得工程と、
    前記第１の画像から被写体の色に基づいて代表画素を選択する選択工程と、
    前記第２の画像において前記代表画素に対応する位置を検出することにより、前記代表画素の位置に対応する前記被写体の距離を検出する検出工程と、
    を備えることを特徴とする距離検出方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の距離検出装置の各手段として機能させるためのプログラム。