JP2015050494A - 撮像装置 - Google Patents

Abstract

【課題】
モノクロカメラの撮像装置を用いた場合と同等程度以上の距離測定精度を担保するカラー情報を取得可能な撮像装置を提供する。
【解決手段】
複数種類の受光素子の第１の撮像素子と、第１の撮像素子と並列に配置され、複数種類の受光素子の第２の撮像素子と、を有し、複数種類の受光素子は、第１グループと第２グループに属する種類の受光素子に分類され、第２グループに属する種類の受光素子は、受光素子の感応するスペクトル域が第１グループに属する受光素子の感応するスペクトル域に含まれる受光素子であり、第１、２の撮像素子は、複数の受光素子からなる配列を１つのセルとしたときに、配列の直行する２方向に沿ってセルのパターンが繰り返し現れるように構成され、第１グループに属する種類の受光素子は、それぞれセル内の少なくとも１つの行又は列において、行方向又は列方向に同種類の受光素子が連続的に配置されている。
【選択図】 図１

Description

本発明は、撮像装置、特に、複数種類の光スペクトルを受光する受光素子から構成されたイメージセンサに関する。

本技術分野の背景技術として、特許文献１がある。この特許文献１には、「A sensing array for color imaging includes individual luminance- and chrominance-sensitive elements that are so intermixed that each type of element (i.e., according to sensitivity characteristics) occurs in a repeated pattern with luminance elements dominating the array.」と記載されている。

また、ステレオカメラを用いて距離を算出する技術として特許文献２がある。

米国特許第3971065号公報 特開2003-322521号公報

特許文献２のようなステレオカメラは、距離を測定し、物体を認識するセンサとして用いられている。

ステレオカメラが有する２つ受光素子は、モノクロ撮像素子であってもカラー受光素子であってもよい。「ステレオカメラの撮像画像をユーザに視覚的に見やすく表示すること」と「色相に特徴のある物体の認識性能を向上すること」の２つを目的とする場合は、カラーの受光素子を用いることが効果的であり、ニーズがある。

しかしながら、例えば特許文献１に示すカラーの受光素子を用いると、モノクロ撮像素子を用いた場合に比べて距離測定性能が落ちてしまうという問題がある。

これは以下の２つが主要な原因である。
（１）受光素子が感光する光量がモノクロの受光素子に比べて低下することにより、信号のＳＮ比が悪化する。
（２）デモザイキング処理によって偽色が発生し信号に誤差を生じる、あるいは画像の間引き処理を行うことによって画像の横方向の解像度が低下する。

まず、（１）に関して説明する。特許文献１に示される一般的なカラーのイメージセンサでは、色信号を取得するために、可視光領域の中の特定スペクトルの光を透過させるカラーフィルターが用いられている。このカラーフィルターは入射光が受光素子に到達するまでの間の経路に配置されており、可視光入射光のうち特定スペクトル以外の光を透過させないため、受光素子が感応する光量が落ちてしまう。これにより受光素子の出力する信号のＳＮ比は、可視光領域全体のスペクトルを透過させるモノクロの受光素子に比べて低下してしまう。このように、ＳＮ比の悪化した画像信号を入力としてステレオマッチングと呼ばれる処理を行って距離を計測する場合、マッチングに失敗し的外れの距離を出力する確率が増え、さらにマッチングがおおよそ正しい場合であっても、１画素未満の微小な画素精度のスケールにおいて誤差が増大し、この影響によって距離計測精度が悪化してしまう。

次に、（２）に関して説明する。特許文献１に示される一般的なカラーのイメージセンサでは、各受光素子が前述のように可視光領域の特定のスペクトルの光を感光するように構成されているものであって、例えば各受光素子は赤（Ｒ）に感光するか、緑（Ｇ）に感光するか、青（Ｂ）に感光するかいずれかであって、ひとつの受光素子がＲＧＢすべての色信号を取得することはできない。このため、任意の受光素子の位置における色情報を取得するために、その位置の受光素子の信号と周囲の受光素子の信号を用いて色信号を補間演算して復元することが一般に行われる。このような色復元のための補間演算処理はデモザイキング処理と呼ばれる。しかしながら復元された色信号は、該当の受光素子の位置における実際の色とずれてしまう。このように実際と異なる色に復元されることは偽色と呼ばれる。色のずれの程度は、受光素子に入射する光のスペクトル特性に加えて、受光素子が占める空間位置に依存する。したがって、２つのイメージセンサにある一点から光がそれぞれ入射する状況を考えた場合に、光が入射する受光素子の位置における色信号は２つのイメージセンサの間で一致しない。

一方、ステレオカメラでは左右の受光素子の信号値を比較して一致する点を探索するマッチング処理を行うことで、距離を算出する装置であるから、距離測定に誤差を生じることがわかる。このような偽色の影響を軽減するためにレンズと撮像素子の間には光学ローパスフィルタを貼付することが一般的であるが、画像がぼけることにより解像感が落ちる別の問題を生じ、本質的な問題の解決にはなっていない。

このようなデモザイキングの処理を行わないで距離を算出する方法を考えることもできる。

たとえば、特許文献１に示される受光素子の配置パターンではＧに感光する受光素子が最もイメージセンサ上の空間に占める割合が高く、このＧの受光素子の出力する輝度信号のみを用いてマッチング処理を行う方法が考えられる。しかしながら、この場合、Ｇの受光素子のみからなる素子配列はすべての受光素子からなる素子配列に比べて分解能は1/2に落ちる。ステレオカメラでは、画像の横方向の解像度が落ちると、距離の計測分解能が落ちてしまう。したがって、特許文献１に示されるカラーのイメージセンサを使う限り、デモザイキング処理によってステレオカメラの距離計測に誤差を生じる、あるいは間引き処理によって計測分解能が低下し距離計測精度が低下する、という問題を生じる。

本発明は、このような課題を考慮してなされたものであり、カラー情報を取得可能な撮像装置においてモノクロカメラの撮像装置を用いた場合と同等程度以上の距離測定精度を担保する撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、複数種類の受光素子から構成される第１の撮像素子と、第１の撮像素子と並列に配置され、複数種類の受光素子から構成される第２の撮像素子と、を有し、複数種類の受光素子は、第１グループに属する種類の受光素子と第２グループに属する種類の受光素子とに分類され、第２グループに属する種類の受光素子は、受光素子の感応するスペクトル域が第１グループに属する受光素子の感応するスペクトル域に含まれる受光素子であり、第１の撮像素子及び第２の撮像素子は、複数の受光素子からなる配列を１つのセルとしたときに、配列の直行する２方向に沿ってセルのパターンが繰り返し現れるように構成され、第１グループに属する種類の受光素子は、それぞれセル内の少なくとも１つの行又は列において、行方向又は列方向に同種類の受光素子が連続的に配置されており、第２グループに属する受光素子は、第１グループの受光素子によって配置されていない行又は列に配置された、構成とする。

カラー情報を取得可能な撮像装置においてモノクロカメラの撮像装置を用いた場合と同等程度以上の距離測定精度を担保することができる。

本発明に係る撮像装置の構成を示す図である。 本発明に係る撮像素子の受光素子配列の一例を示す図である。 本発明に係る撮像素子の受光素子配列の他例を示す図である。 本発明に係る撮像素子の受光素子配列の他例を示す図である。 本発明に係る撮像素子の受光素子配列の他例を示す図である。 本発明に係る撮像装置のＣの受光素子のみを抽出する方法を示す図である。 本発明に係る撮像素子のＣの受光素子の位置における色を推定する方法を示す図である。 本発明に係る撮像素子の左右の輝度画像を用いたステレオマッチング方法を示す図である。

以下、実施例を図面を用いて説明する。

本実施例では、物体を検知および認識する機能を有する撮像装置であるステレオカメラ装置100の例を説明する。

まず、図１を用いて本実施例のステレオカメラ装置100の構成の概要を説明する。

撮像装置であるステレオカメラ装置100は、一対の撮像部である右カメラ101と、その右カメラ101と並列に配置された左カメラ102と、を備えており、右カメラ101と左カメラ102は、それぞれカメラ前方の景色を撮像するＣＣＤ、ＣＭＯＳ等の撮像素子（右撮像素子103、左撮像素子104）を有している。右撮像素子103および左撮像素子104は、可視光のスペクトル全域に感応する受光素子１種と、可視光のうち赤色・緑色、青色のスペクトル域にそれぞれ感応する受光素子３種の計４種類の受光素子から形成されている。これらの受光素子をそれぞれＣ（クリア）の受光素子、Ｒ（赤）の受光素子、Ｇ（緑）の受光素子、Ｂ（青）の受光素子と呼ぶものとする。

各画素の受光素子は、外界からそれぞれ右カメラ101、左カメラ102に入射する入射光105、106を受光し、光を検出して電荷を発生させる光電変換を行うことで電荷を蓄えるようになっている。

右撮像素子103および左撮像素子104は、以上のようにして各画素で得られた電気信号をA/Dコンバータ107および108に出力する。A/Dコンバータ107および108は、アナログの電気信号を256階調などの所定の輝度階調でそれぞれデジタル信号に変換する処理を行い、画像データ107aおよび108aを出力する。A/Dコンバータ107および108による画像データの出力タイミングは右カメラ101、左カメラ102の間で同期されており、一定の時間間隔で出力されるようになっている。

また、右撮像素子103のA/Dコンバータ107は画像データ107aを輝度画像生成部109およびカラー画像生成部111に出力するのに対して、左撮像素子104のA/Dコンバータ108は画像データ108aを輝度画像生成部にのみ出力する。

輝度画像生成部109および110は、A/Dコンバータ107および108により出力された画像データのうち、Ｃの受光素子の信号のみを抽出して右輝度画像109aおよび左輝度画像110aをそれぞれ生成し、ステレオマッチング部112に出力する。

カラー画像生成部111は、A/Dコンバータ107により出力された画像データ107aのうち、Ｃの受光素子の各位置において、周辺の受光素子の信号を参照して色を補完算出し、輝度画像生成部109の出力する右輝度画像109aと同サイズで、かつ右輝度画像109aの各画素に対応する色データが格納されているカラー画像111aを出力する。

ステレオマッチング部112は、輝度画像生成部109より出力された右輝度画像109aと輝度画像生成部110より出力された左輝度画像110aを用いてステレオマッチング処理を行い、右輝度画像109aと同サイズで右輝度画像109aの各画素ごとに視差が格納されている視差画像を出力する。ステレオマッチング処理とは、右カメラの輝度画像と左カメラの輝度画像を入力として視差を算出する処理であり、視差とは左右カメラによる対象物の見えのずれ量を表すものであり、三角測量の原理より距離に容易に変換することのできる量である。

物体領域抽出部113は、ステレオマッチング部112により出力された視差画像をもとに物体領域を抽出する。

物体認識部114は、物体領域抽出部113によって抽出された物体領域において、カラー画像生成部111によって出力されたカラー画像111aを参照することにより、物体の認識を行い、物体認識結果を出力する。

ここで、カラー画像生成部111が右カメラ101を通過する側にのみ存在しているために右カメラ101側の処理と左カメラ102側の処理が非対称になっている理由を説明する。

これは、ステレオマッチング部112においては右輝度画像109aを基準として各画素の視差が格納された視差画像を生成しているためであり、この場合、物体認識部114においても右輝度画像109aを基準として各画素の色が格納されているカラー画像を生成することによって、右輝度画像109aおよび視差画像の各画素に対応した色を抽出することが可能になるためである。右カメラ101の画像を基準とするか、左カメラ102の画像を基準とするかは任意であるため、カラー画像生成部111を左カメラ102側に移し、合わせてステレオマッチング部112を左画像を基準として視差画像を生成するように前記構成を変更してもよく、同等の効果が得られる。

次に、図２(a)を用いてステレオカメラ装置100の右撮像素子103および左撮像素子104の構成について詳細に説明する。

図２(a)は右撮像素子103と左撮像素子104における受光素子の配置を示した図である。図に示すように、Ｃの受光素子（第１グループに属する種類の受光素子）は横方向に連続的に配置されており、Ｒ、Ｇ、Ｂの受光素子（第２グループに属する種類の受光素子）は横方向に交互順番に配置されており、Ｃの受光素子とＣ以外の受光素子は縦方向に交互に配置されている。あるいは、セル201の繰り返し構造によって受光素子が配置されているとも表現できる。ここで、セルとは複数画素からなるひとまとまりの集合とし、繰り返し構造とは、セルを撮像素子の横方向および縦方向に並べることによって撮像素子全体の画素配置が決まる構造とする。つまり、複数の受光素子からなる配列を１つのセル201としたときに、配列の直行する２方向（縦方向、横方向）に沿ってセル201のパターンが繰り返し現れるように構成されている。

このような繰り返し構造を表現できるセルは複数種類定義できるが、セルを構成する画素数がもっとも少ないセルはただひとつに決定することができる。このようなセルを最小繰り返しセルと呼ぶことにし、以降、最小繰り返しセルによって撮像素子の配置を表現する。セル201は最小繰り返しセルとなっている。

図２(a)に示した撮像素子の構成のポイントは、最小繰り返しセル201の中において、Ｃの受光素子を横方向に連続的に並べ、可視光に含まれる特定スペクトルに感応するＲ、Ｇ、Ｂ受光素子をセル内のＣの受光素子が占めていない位置において横方向に不連続的に並べていることである。このように最小繰り返しセルを設定すると、撮像素子全体においてＣの受光素子は必ず横方向に連続的な配置になっていることがわかる。このようにＣの受光素子の横方向の解像度を低下させない配置にし、後述するステレオマッチング部112においてこのＣの受光素子の信号のみを用いることによって、距離計測精度をモノクロ素子を用いた場合と同等程度に保つことが可能になる。

一方でＣの受光素子は縦方向には元の画像解像度の1/2になっており、これにより、すべての受光素子の信号を用いてステレオマッチングを行う場合に比べて、出力される距離データの縦方向の空間分解能は2/1になる。セル201において、Ｒ、Ｇ、Ｂのカラー信号用の受光素子を不連続的に１列に並べるようにしている理由は、そうでない場合にＣの受光素子の縦方向の空間分解能が1/3以下に低下してしまうためであり、可能な限り縦方向の空間分解能を低下させないためである。

ただし、出力される距離データの縦方向の空間分解能の低下は距離計測精度の低下に比べてほとんど問題にならない場合が多いため、縦方向の空間分解能を低下させる代わりに横方向の計測分解能を同等に確保するということが本特許のポイントである。

本実施形態における撮像素子は図２(a)の配置パターンであるが、これはあくまで配置パターンの１例である。たとえば図２(b)、図２(c)において示すような撮像素子203および205における受光素子の配置も構成例として有効であり、これらの配置は図２(a)に示した配置よりも色再現性を向上することを目的としたものである。図２(b)の撮像素子203は、最小繰り返しセル202によって特徴づけられる配置パターンを有する。図２(a)の配置と異なる点は、ＲＧＢそれぞれの受光素子の縦方向の空間分解能が撮像素子上の空間位置によらず一定となっていることである。具体的には、セル202が6x3領域になっており、Ｒ，Ｇ，Ｂの受光素子が縦方向にも配置された領域となる。これにより、図２(a)の配置では色復元した際に縦方向にシャギーが目立つ懸念があるが、図２(b)の配置ではより自然な色復元が可能である。

図２(c)の撮像素子205は、最小繰り返しセル204によって特徴付けられる配置パターンを有している。図２(a)の配置と異なる点は、最小繰り返しセル内でＣの受光素子が一列を占めるのに対して、ＲＧＢなどのカラーの受光素子が２列を占めており、かつ２列の空間内においてモザイク状に配置されており、Ｇの受光素子はＲ、Ｂの受光素子に対して２倍の空間解像度をもっている点である。上記２列の空間内のカラーの受光素子の配置方法はカラー撮像素子における受光素子の配置方法であるベイヤパターンと同一である。ベイヤパターンは、人間の目が緑の波長に敏感であることを利用してＧの受光素子が多く配置されているため、人間にとって色再現性の高い色復元が可能な配列である。

さらに別の配置例では、図２(d)に示すような配置も考えられる。撮像素子207は、最小繰り返しセル206によって特徴づけられる配置パターンを有する。図２(a)の配置と異なる点は、最小繰り返しセル206内において、可視光と波長が異なる電磁波のスペクトル域で感知するＡの受光素子（第１グループに属する種類の受光素子）が１列横方向に連続的に配置されている点である。可視光と波長が異なる電磁波とは、例を挙げると赤外線、あるいはミリ波などである。このような配置とし、後述するステレオマッチング部112においてＣとＡの受光素子の信号のみを用いることによって、可視光だけでは撮像が困難なシーンにおいても対象物を撮像でき、距離を計測可能になることが期待される。たとえば、夜間などに人など対象物体の距離を計測する、あるいは遠方の物体の距離を計測することが容易になることが期待される。

次に、図３を用いてステレオカメラ装置100の輝度画像生成部109、110の処理を詳細に説明するが、輝度画像生成部109と輝度画像生成部110の処理内容は同一であるため、輝度画像生成部109を例として説明する。

輝度画像生成部109は、A/Dコンバータ107によって出力される画像データ107aから、図３に示すようにＣの受光素子のみから構成される画像ライン301を抽出して、これらの画像ライン301の輝度信号を縦方向に並べて輝度画像109aを生成する。このとき、Ｃの受光素子は横方向に連続的に配置されているため、輝度画像109aの横方向の解像度は画像データ107aの解像度と同一である。

またこのとき、本実施形態における画像データ107aでは、Ｃの受光素子はＣでない受光素子と縦方向に交互に配置されているようになっているため、輝度画像109aの縦方向の解像度は画像データ107aの解像度の1/2となっている。

次に図４を用いてステレオカメラ装置100のカラー画像生成部111の処理を詳細に説明する。

カラー画像生成部111は、A/Dコンバータ107によって出力される画像データ107aにおいて、図４に示すようなＣの受光素子のみから構成される画像ライン301の各画素の位置における色信号を周辺3x3領域の画素の信号を元に算出し、画像ライン301の色信号を縦方向に並べてカラー画像111aを生成する。このとき、カラー画像111aの横方向および縦方向の解像度は右輝度画像109aと一致するようになっている。

色信号の算出方法を具体的に説明する。いま、画像ライン301上のある画素401の色信号（Ｒ、Ｇ、Ｂ）を算出するときを考えると、周辺3x3領域402の画素の信号値R1、R2、G1、G2、B1、B2、C0を用いて、画素401における色信号（Ｒ、Ｇ、Ｂ）を以下の式１を用いて算出する。
R = 1.000Y + 1.402V
G = 1.000Y - 0.344U - 0.714V （１）
B = 1.000Y + 1.772U
このとき、上記Y、U、Vは以下の式２で表される。

Y = C0
U = -0.169Rm - 0.331Gm + 0.500Bm （２）
V = 0.500Rm - 0.419Gm - 0.081Bm
このとき、Rm、Gm、 Bmはそれぞれ以下である。
Rm = (R1+R2)/2
Gm = (G1+G2)/2
Bm = (B1+B2)/2
上記のようにＲＧＢ−ＹＵＶ変換式を用いて、かつ色相はＲＧＢの受光素子の信号から計算し、輝度成分はＣの受光素子の信号を用いて、画素401における色信号を復元することによってSN比の高い信号が得られる。

この方法による色信号の算出はあくまで実施形態のひとつである。例えば、より簡略的に色復元を行うには、以下のように周辺3x3領域内のRGBの各色信号の平均を取る算出方法も考えられる。
R = (R1+R2)/2
G = (G1+G2)/2
B = (B1+B2)/2
さらに、周辺の領域を3x3の領域ではなく、より広い領域として算出するなど、様々な方法で色復元をしてもよい。

次に図５を用いてステレオカメラ装置100のステレオマッチング部112の処理を詳細に説明する。

ステレオマッチング部112は、Ｃの受光素子の信号のみから画像が構成された右輝度画像109aの各画素について対応する左輝度画像110aの画素を検出し、対応する画素間の位置ずれを算出するステレオマッチング処理を行う。このように、ステレオマッチング処理ではＲＧＢの受光素子の信号を用いずに、ＳＮ比が良くデモザインキングによる偽色の影響を受けないＣの受光素子の信号のみを用いることで、モノクロの撮像素子を用いた場合と同程度の計測精度を確保することができる。

図５において、例として、ある光源505からの光506および507がそれぞれ右カメラのレンズ503および左カメラのレンズ504を通過して右輝度画像109aの画素508および左輝度画像110aの画素509に対応する位置に結像している場合において、ステレオマッチング処理により画素508の視差を算出する処理について説明する。

このときステレオマッチング処理は、右輝度画像109aの画素508に対応する左輝度画像110aの画素509を検出するため、画素508の信号と左輝度画像110aのエピポーラライン510上の各画素の信号とを比較して最も信号が近い画素を対応する画素として検出する。信号の近さを算出する指標は様々な指標が考えられるが、例えば、左右の画素の信号値の差分の絶対値であるＡＤ（Absolute Difference）の指標を用いると、そのエピポーラライン510上でこのＡＤが最も小さくなる画素が対応する画素と判断されるようになっている。

このとき仮に対応の算出結果が正しく、右輝度画像109aの画素508と左輝度画像110aの画素509が対応しているとみなされた場合の画素508に対応する視差は、画素508と画素509の横方向の座標の差分として算出される。以上のようにして視差を算出する処理を右輝度画像109aのすべての画素について行うことで、ステレオマッチング部112は、右輝度画像109aの各画素に対応する視差が格納されている視差画像を生成する。

本実施形態では、ステレオマッチング処理は左右間の画素の信号値を比較してマッチングする方法を説明したが、複数画素からなる領域の信号値を比較してマッチングしてもよく、より安定的に正しくマッチング処理を行うために有効な方法である。この場合、たとえば画素508の周辺3x3の領域511の信号と左輝度画像110aのエピポーラライン510上の各画素の周辺3x3の領域の信号とを比較して最も信号が近い画素を対応する画素として検出する。信号の近さはたとえばＳＡＤ(Sum of Absolute Differences)の指標を用いて計算することができる。

なお、本発明は、屋内・屋外監視用カメラ、車載用カメラ、医療用カメラ、暗視カメラ、望遠カメラ、顕微鏡などに応用できる。

また、受光素子が感応するスペクトル領域は可視光だけでなく、赤外線、ミリ波など異なるスペクトル領域の信号を感応できる受光素子としたイメージセンサを構成することもできる。これにより夜間や遠方における色復元・距離計測精度の向上が期待される。

100 ステレオカメラ装置
101 右カメラ
102 左カメラ
103 右撮像素子
104 左撮像素子
105、106 入射光
107、108 A/Dコンバータ
109、110 輝度画像生成部
111 カラー画像生成部
112 ステレオマッチング部
113 物体領域抽出部
114 物体認識部
201 セル

Claims (8)

1. 複数種類の受光素子から構成される第１の撮像素子と、
   前記第１の撮像素子と並列に配置され、複数種類の受光素子から構成される第２の撮像素子と、を有し、
   前記複数種類の受光素子は、第１グループに属する種類の受光素子と第２グループに属する種類の受光素子とに分類され、
   前記第２グループに属する種類の受光素子は、受光素子の感応するスペクトル域が前記第１グループに属する受光素子の感応するスペクトル域に含まれる受光素子であり、
   前記第１の撮像素子及び前記第２の撮像素子は、複数の受光素子からなる配列を１つのセルとしたときに、配列の直行する２方向に沿って前記セルのパターンが繰り返し現れるように構成され、
   前記第１グループに属する種類の受光素子は、それぞれ前記セル内の少なくとも１つの行又は列において、行方向又は列方向に同種類の受光素子が連続的に配置されており、
   前記第２グループに属する受光素子は、前記第１グループの受光素子によって配置されていない行又は列に配置された、ことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記第１グループに属する受光素子は、可視光スペクトル全域を受光する受光素子１種類を含む撮像装置。
3. 請求項１記載の撮像装置において、
   前記第１グループに属する受光素子は、可視光と波長が異なる電磁波のスペクトル域を受光する受光素子１種類を含む撮像装置。
4. 請求項３記載の撮像装置において、
   前記可視光と波長が異なる電磁波のスペクトル域を受光する受光素子は、赤外線を受光する受光素子である撮像装置。
5. 請求項１記載の撮像装置において、
   前記第２グループに属する受光素子は、Ｒ、Ｇ、Ｂをそれぞれ受光する受光素子３種類を含む撮像装置。
6. 請求項１記載の撮像装置において、
   前記第２グループに属する受光素子は、Ｃ、Ｍ、Ｙをそれぞれ受光する受光素子３種類を含む撮像装置。
7. 請求項１記載の撮像装置において、
   前記第１の撮像素子と前記第２の撮像素子の前記第１グループの受光素子の信号のみを用いてステレオマッチング処理を行い、視差計算を行い、視差画像を生成するステレオマッチング部と、
   前記第１の撮像素子又は前記第２の撮像素子から取得した画像データに対して、ある受光素子位置における光の強度は前記受光素子位置における受光素子の信号より求め、光の周波数特性は前記受光素子位置を中心とする周辺の前記第２グループの受光素子の信号より求めて色データを算出し、カラー画像を生成するカラー画像生成部と、を有する撮像装置。
8. 請求項７記載の撮像装置において、
   前記視差画像に基づいて物体を認識する物体領域を抽出する物体領域抽出部と、
   前記物体領域において、前記カラー画像に基づき前記物体を認識する物体認識部と、を有する撮像装置。