JP2009284188A - カラー撮像装置 - Google Patents

Abstract

【課題】被写体の３次元座標情報およびそのカラー情報を有する高精度のカラー３次元画像データの生成を可能とする。
【解決手段】カラー撮像装置１は、被写体１６を複数の視点から同時に撮影するものであって、同一平面上にカラー撮像領域１３ｄとモノクローム撮像領域１３ａ、１３ｂ、１３ｃとを設けた撮像素子１３と、カラー撮像領域１３ｄおよびモノクローム撮像領域１３ａ、１３ｂ、１３ｃそれぞれに被写体の像を結像する光学系１１と、モノクローム撮像領域１３ａ、１３ｂ、１３ｃで撮影して得たモノクローム画像情報に基づいて被写体１６の３次元座標を算出する３次元座標算出部９と、カラー撮像領域１３ｄで撮影して得た被写体１６のカラー画像情報を３次元座標にテクスチャとして貼り付ける合成部１５とを備えている。
【選択図】図１

Description

本発明は、カラー撮像装置に関し、特に、被写体を複数の視点で撮影して得たモノクロームおよびカラーの２次元画像に基づいてカラー３次元画像データを生成するカラー撮像装置に関する。

近年、物体の３次元座標の測定およびその物体のカラー映像表示の要求が高まっている。従来では、物体をモノクロームのステレオカメラにより撮影して得た視差のある複数の２次元画像を用いて、ステレオ視の原理により３次元座標を生成する技術が知られている。特に、視差の異なる３枚以上の２次画像から物体の３次元座標を生成する場合は多眼ステレオカメラと呼ぶ場合もある。

この３次元座標を精度よく生成するには、ステレオカメラを構成する各カメラについての、物体に対する位置、姿勢ならびにカメラパラメータの正確な情報が必要である。

さらに、物体のカラー映像表示を行うためには、モノクロームの２次元の画像を撮影するカメラのほかに、カラーの２次元画像を撮影するカメラを用意し、モノクロームのステレオカメラによって得られる３次元座標に、カラーのカメラによる２次元画像を対応づける必要がある。しかし、３次元座標を生成するためのステレオカメラと、カラーの２次元画像を取得するためのカメラとの間で、撮影位置および撮影条件等を合わせることは極めて困難である。このため、高精度なカラー３次元画像データを得ることは極めて困難であった。

この課題に対し、３次元座標に、カラーの２次元画像情報を容易に対応づける方法が提案されている。すなわち、ステレオカメラに備えた一方の撮像素子で３次元座標のためのモノクロームの２次元画像ＱＡを取得し、他方の撮像素子でカラーの２次元画像ＱＢを１回の撮影によって同時に取得する。そして、カラーの２次元画像ＱＢから生成されたモノクロームの２次元画像と、２次元画像ＱＡとから３次元座標を生成した後、その３次元座標にカラーの２次元画像ＱＢを貼り付けている（例えば、特許文献１参照）。

この方法によれば、カラーの２次元画像ＱＢが、３次元座標を求めるときのモノクロームの２次元画像と、３次元画像に対応づけるカラーの２次元画像とを兼ねているため、３次元座標とカラーの２次元画像との対応関係が既知となり、３次元座標にカラーの２次元画像ＱＢを貼り付ける際の位置合わせを容易にすることができる。
特開２００１−１６６２１号公報

しかしながら、この従来のカラー撮像装置では、視差画像を取得するためにモノクローム用ＣＣＤと、それとは別にカラー用ＣＣＤが用いられているため、高精度の視差画像を得ることができなかった。すなわち、このカラー用ＣＣＤ面上における各画素には、レッド（以下、「Ｒ」と記す）、グリーン（以下、「Ｇ」と記す）、ブルー（以下、「Ｂ」と記す）のいずれかが割り当てられており、１つの画素からは１色のみの画像データが得られる。このため、上下、左右または斜めに配置されている複数の画素の値を補間して１つの画素の輝度値（モノクローム）を生成し、この画素の輝度値とモノクローム用ＣＣＤの１つの画素の輝度値とを対応させるようにするため、補間による誤差が必然的に発生するために、高精度の３次元座標を得ることができなかった。

また、別の方法として、２つのカラー用ＣＣＤを用いて視差画像を得る方法、すなわち、近傍のＲ、Ｇ、Ｂの各色の画像から１つの輝度値を生成するようにして視差画像を得る方法も考えられる。この場合でも、同様に補間により視差画像の解像度が落ちるため、高精度の３次元座標を生成することができなかった。

本発明は、上記課題を解決するためになされたものであり、被写体の３次元座標情報およびそのカラー情報を有する高精度のカラー３次元画像データの生成を可能とするカラー撮像装置を提供することを目的とする。

上述したような目的を達成するために、本発明のカラー撮像装置は、被写体を複数の視点から撮影するカラー撮像装置であって、カラー撮像領域と複数のモノクローム撮像領域とを同一平面上に有する撮像素子と、前記カラー撮像領域および前記複数のモノクローム撮像領域のそれぞれに前記被写体の像を結像する複数の光学系と、前記複数のモノクローム撮像領域のそれぞれで撮影して得た複数のモノクローム画像情報に基づいて前記被写体の３次元座標を算出する３次元座標算出部と、前記カラー撮像領域で撮影して得たカラー画像情報を前記座標算出部で得られた３次元座標に対応させて、カラー３次元画像データを生成する合成部と、を備えたことを特徴とする。

この構成によれば、複数のモノクローム撮像領域とカラー撮像領域とを同一平面上に配置しているため、カメラキャリブレーションを行うときの外部パラメータである回転行列、平行移動行列などの射影行列の未知のパラメータを削減することができる。例えば、４つの撮像系それぞれに係る回転行列には３つの未知のパラメータがあり、合計１２個となるが、同一平面上にカラー撮像領域と複数のモノクローム撮像領域とを設けた撮像素子では各回転行列はすべて等しくなるために、未知のパラメータの数を１２個から３個に削減することができ、カメラキャリブレーションの精度を向上させることができる。これにより、同じ被写体を撮影して得た互いに視差を有する複数の視差画像を精度のよい座標で比較することができ、照合精度を高めることができる。さらに、キャリブレーションの精度を高めたことで精度の高い座標生成が可能となり、この３次元座標にカラー画像情報をテクスチャとして貼り付けする際のテクスチャマッピング精度も座標の精度を向上したことにより高めることができる。このようにして、被写体の３次元座標、およびそのカラー情報を有する高精度のカラー３次元画像データを生成することができる。

また、前記撮像素子は１つのカラー撮像領域と３つのモノクローム撮像領域とを有し、前記カラー撮像領域および前記モノクローム撮像領域が２行２列に配置されていることが好ましい。

この構成によれば、さらに、３つのモノクローム撮像領域の中から２つを選択して上下方向、左右方向で撮影された方向の異なる視差画像を得ることができ、異なる基線方向での視差画像の探索が可能となる。したがって、被写体におけるテクスチャが方向特性を有する場合であっても、探索画像の変化を検出することができ、ステレオマッチングの精度を高めることができる。

また、前記撮像素子は、１つの前記カラー撮像領域と、少なくとも２つの前記モノクローム撮像領域とを有し、前記少なくとも２つのモノクローム撮像領域は、前記１つのカラー撮像領域に対して対称となる位置に配置されていることが好ましい。

この構成によれば、さらに、２つの視差画像を撮影したときの光軸間の基線長を長くすることができるため３次元座標を生成する精度を向上させることができる。

また、前記撮像素子は１つのカラー撮像領域と８つのモノクローム撮像領域とを有し、前記カラー撮像領域および前記モノクローム撮像領域が３行３列に配置されており、前記カラー撮像領域が中心に配置され、前記モノクローム撮像領域が前記カラー領域の周囲に配置されていることが好ましい。

この構成によれば、８つのモノクローム撮像領域の中から多数の基線長や基線方向の組み合わせができ、上下方向、左右方向、斜め方向で多数の異なる視差画像の探索が可能となる。このため、被写体におけるテクスチャが方向特性を有する場合であっても探索画像の変化を検出することができ、ステレオマッチングの精度を高めることができる。

また、前記カラー撮像領域の受光面には、レッド、グリーンおよびブルーのカラーフィルタがベイヤー配列に配置されていることが好ましい。

この構成によれば、さらに、ベイヤー配列されている各色画素のうち、近傍にある同色の画素を補間演算することで容易に不足するカラー画像情報を得ることができる。

また、前記複数の光学系の光軸上に少なくとも１つの光量調整フィルタを有し、前記モノクローム画像情報の出力レベルと前記カラー画像情報の出力レベルとが略一致するように、前記複数の撮像領域に入射する各光量が調節されていることが好ましい。

この構成によれば、さらに、撮像素子上にある受光感度の異なるモノクローム撮像領域とカラー撮像領域とを同じ露光時間で露光しても、モノクローム画像情報の出力レベルとカラー画像情報の出力レベルとを略同レベルに揃えることができる。

また、前記複数のモノクローム撮像領域で撮影して得た前記モノクローム画像情報の出力レベルを、所定の出力レベルに調整する第１の出力調整部と、前記カラー撮像領域で撮像して得た前記カラー画像情報の出力レベルを前記所定の出力レベルに調整する第２の出力調整部とを備えることが好ましい。

この構成によれば、さらに、撮像素子上にある受光感度の異なるモノクローム撮像領域とカラー撮像領域とを同じ時間で露光しても、モノクローム画像情報の出力レベルとカラー画像情報の出力レベルとを同レベルに揃えることができる。さらに、光量調節フィルタをなくすことができ、コストを低減することができる。

また、第１の露光時間で前記被写体を撮影する第１の露光モードと、前記第１の露光時間より短い時間に設定された第２の露光時間で前記被写体を撮影する第２の露光モードと、を備え、前記第１の露光モードでは前記カラー撮像領域で前記被写体を撮影し、前記第２の露光モードでは前記モノクローム撮像領域で前記被写体を撮影することが好ましい。

これによれば、さらに、撮像素子上にある受光感度の異なるモノクローム撮像領域とカラー撮像領域とを同じ時間で露光しても、モノクローム画像情報の出力レベルとカラー画像情報の出力レベルとを略同レベルに揃えることができる。さらに、光量調節フィルタをなくすことができ、コストを低減できる。さらには、第２の露光時間を第１の露光時間に対して独立に設定することができるため、例えば第１の露光時間のみを長くすることにより、カラー画像情報の出力を下げることなく、モノクローム撮像領域での短時間撮影を可能にし、撮影して得られたモノクローム画像では利用者の手振れ、被写体振れの影響を抑えることができる。これにより、カラー画像情報の信号のＳ／Ｎを確保すると共に、ステレオマッチングするときの照合精度を高めることができ、３次元座礁の生成精度を高めることができる。

また、前記カラー撮像領域上に前記被写体の像を結像する前記光学系のレンズ径は、前記モノクローム撮像領域上に前記被写体の像を結像する前記光学系のレンズ径よりも小さく、前記カラー撮像領域の大きさは、前記複数のモノクローム撮像領域の大きさよりも小さいことが好ましい。

この構成によれば、さらに、モノクローム撮像領域とカラー撮像領域との間に隙間を設けることができ、撮像素子にカラーフィルタを塗布する際にモノクローム撮像領域とカラー撮像領域との境界領域での位置合わせ精度に余裕を持たせることができる。これにより、撮像素子を容易に製造することができ、製造する際のコストを下げることができる。さらには、レンズ径の小型化に基づく短焦点距離化により被写界深度を深くすることができ、立体の被写体を撮影するときにカラー画像のボケを抑えることができる。これにより、３次元座標にカラー画像情報を貼り付けるカラー画像を広い距離範囲で高精細に撮影することができる。

本発明によれば、被写体の３次元座標およびそのカラー情報を有する高精度のカラー３次元画像データの生成を可能とするカラー撮像装置を提供することができる。

本発明のカラー撮像装置は、同じ被写体を複数の視点から同時に撮影して、被写体のカラー３次元画像データを生成するものであって、カラー撮像領域と複数のモノクローム撮像領域とを設けた撮像素子と、カラー撮像領域および複数のモノクローム撮像領域それぞれに被写体の像を結像する複数の光学系とを備え、複数のモノクローム撮像領域それぞれで撮影して得た複数のモノクローム画像情報に基づいて被写体の３次元座標を算出した後、カラー撮像領域で撮影して得たカラー画像情報を被写体のテクスチャとして３次元座標に貼り付けることを特徴とする。

これにより、撮像素子上にカラー撮像領域とモノクローム撮像領域とを形成しているため、カメラキャリブレーションを行うときの外部パラメータである回転行列、平行移動行列などの射影行列の未知のパラメータの数を大幅に削減することができる。これにより、カメラキャリブレーションの精度を高めることで精度の高い座標生成が可能となり、高精度の３次元座標の生成およびカラー画像情報を３次元座標に貼り付けする際のマッピングの精度を高めることができる。

これらのことから、カラー撮像装置は３次元座標情報およびそのカラー情報を有する高精度のカラー３次元画像データを生成することができ、被写体の自由視点映像や立体撮像用の画像データを出力ことができる。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
まず、本発明の実施の形態１におけるカラー撮像装置１の構成について図１および図２を参照して説明する。

図１は本発明の実施の形態１におけるカラー撮像装置１の構成を示すブロック図、図２は撮像素子１３の画素構成例を示す図である。

図１に示すように、本実施の形態１におけるカラー撮像装置１は、撮像部２と、Ａ／Ｄ変換部３と、画像記憶部４と、画像処理部５とを備えている。

撮像部２は、レンズアレイ１１、光量調節フィルタ１２、撮像素子１３を備えている。

レンズアレイ１１は、被写体像を後述する撮像素子１３の同一面上に形成されたモノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄそれぞれに結像するレンズとしての４つの光学系１１ａ、１１ｂ、１１ｃ、１１ｄを有し、光学系１１ａ、１１ｂ、１１ｃ、１１ｄが一体成型されている。なお、複数の光学系を一体成型したレンズアレイ１１を用いたが、各光学系１１ａ、１１ｂ、１１ｃ、１１ｄを別個に実装した構成であってもよい。

撮像素子１３には、撮像面上にモノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとが、同一面積でかつ長方形、即ち２行２列に配置されている。すなわち、３つのモノクローム撮像領域１３ａ、１３ｂ、１３ｃがＬ字状に配置され、これらのモノクローム撮像領域１３ａ、１３ｂ、１３ｃのすべてに近接してカラー撮像領域１３ｄが配置されている。撮像素子１３からは、モノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄそれぞれで被写体１６を撮影して得た画像情報１００が出力される。よって、４つの各撮像領域を含む画像情報１００は、一旦、後述する画像記憶部４に全体画像として記憶され、画像処理部５により各撮像領域ごとに切り出して読み出される。

このような構成によれば、３つのモノクローム撮像領域で撮影して得られる画像の中から２つを選択して組み合わせて、異なる視差画像を得ることができる。例えば、被写体１６のテクスチャに方向特性があっても上下方向、左右方向の異なる方向の視差画像を選択することが可能となる。これにより、被写体１６のテクスチャに対して２つの視差方向からの探索ができ、ステレオマッチングの精度を高めることができる。

さらに、撮像素子１３では、撮像面上、すなわち同一平面上にモノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとを設けた構成のため、カメラキャリブレーションを行うときの外部パラメータである回転行列、平行移動行列などの射影行列の未知のパラメータの数を大幅に削減することができる。これにより、カメラキャリブレーションの精度を高めることで精度の高い座標生成が可能となり、高精度の３次元座標の生成およびカラー画像情報を３次元座標に貼り付けする際のマッピングの精度を高めることができる。

撮像素子１３としては、公知のＣＣＤやＣＭＯＳなどを使用することができる。

また、モノクローム撮像領域１３ａには、図２（ａ）に示すように、被写体１６の濃淡を検出可能な画素Ｙがｕ方向およびｖ方向に画素ピッチｐで配置されている。同様に、モノクローム撮像領域１３ｂ、１３ｃにおいても被写体の濃淡を検出可能な画素Ｙがｕ方向およびｖ方向に画素ピッチｐで配置されている。

また、カラー撮像領域１３ｄには、図２（ｂ）に示すように、受光面にはベイヤー配列でレッド、グリーンおよびブルーのカラーフィルタを配置している。すなわち、被写体１６の濃淡を検出可能な画素Ｙがｕ方向およびｖ方向に画素ピッチｐで配置され、各画素上にはＲ、ＧおよびＢのカラーフィルタがベイヤー配列で塗布されている。この構成によれば、各画素において必要とする色情報は、カラーフィルタのベイヤー配置から、近傍にある画素の輝度情報を補間演算することで容易に得ることができる。

Ｒのカラーフィルタは、主に赤色の波長の光を透過させるために設計されたフィルタである。同様に、Ｇのカラーフィルタは、主に緑色の波長の光を透過させるために設計されたフィルタで、Ｂのカラーフィルタは、主に青色の波長の光を透過させるために設計されたフィルタである。これにより、カラー撮像領域１３ｄでは被写体１６のカラー情報を検出することができる。

光量調節フィルタ１２は、モノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄの露光時間を同じにしたときに、モノクローム撮像領域から得られるモノクローム画像の出力レベルと、カラー撮像領域から得られるカラー画像の出力レベルとを揃えるためのものである。各出力レベルを揃えることにより、カラー撮像領域からの出力に対し、モノクローム撮像領域の出力が飽和することを防ぐことができる。光量調節フィルタ１２は、モノクローム撮像領域１３ａ、１３ｂ、１３ｃと光学系１１ａ、１１ｂ、１１ｃとの間にそれぞれ配置される。光量調節フィルタ１２としては、公知のＮＤフィルタを使用することができる。なお、光量調節フィルタ１２は、レンズ１１ａ、１１ｂ、１１ｃの前面（被写体側）に配置しても同様の効果が得られる。

Ａ／Ｄ変換部３は、モノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄの各画像領域で撮影して得られるアナログ画像情報１００をデジタルの画像情報に変換する。

画像記憶部４は、４つの撮像領域の画像情報を含むデジタル化された画像情報を、一旦、全体画像として記憶する。

画像処理部５は、校正部６と、カメラパラメータ記憶部７と、前処理部８と、３次元座標算出部９と、デモザイク処理部１０と、合成部１５とを備えている。

この構成により、画像記憶部４に記憶されている４つの撮像領域で撮影して得た画像情報を撮像領域ごとに切り出して読み出し、出荷時や撮影前などにカメラキャリブレーションで推定されたカメラパラメータを用いて画像歪を除去する。その後、被写体１６の３次元座標およびそのカラー情報を有するカラー３次元画像データを生成する。

校正部６は、出荷時や撮影前などにカメラキャリブレーションによってレンズ歪曲、レンズの焦点距離、レンズ間の相対的な位置関係などのカメラパラメータを事前に測定し、４つ撮像系における各カメラパラメータをカメラパラメータ記憶部７に記憶する。

カメラキャリブレーションでは、基準となるチャートを使用して計測し、所定のカメラモデルに基づいてカメラパラメータを推定する。これにより、世界座標における被写体１６上の座標Ｍ_Ｗと、撮像面上における画像座標ｍとの対応がとれるようにしている。例えば、基準となるチャートとして既知の世界座標を有するチェッカーチャートを用い、このチェッカーチャートの座標とカラー撮像装置１で撮影して得られた画像の格子点座標とをカメラモデルを導入して対応させ、カメラパラメータを推定する。パラメータ推定するときに、評価関数を定義し、最適化アルゴリズムとして、例えば、公知の勾配法（最急降下法）、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ法などを用いることができる。

また、カメラモデルとして、ピンホールカメラモデルが知られており、このカメラモデルを用いた場合には、つぎの（１）式の関係式が得られることが知られている。

ここで、ｓはスカラー量、ｍ_ｉは撮像面上の画像座標（２次元）、Ｍ_wは世界座標（３次元空間）、Ａ_ｉは射影行列、Ｒ_ｉは回転行列、ｔ_ｉは平行移動行列であり、撮像系ごとに関係式が適用される。例えば、４つの撮像系の場合ｉは１〜４となる。また、各射影行列Ａ_ｉにおいて、ｆ_ｉは焦点距離、ｋ_ｕおよびｋ_ｖは１／画素ピッチｐ、θは画素配列傾き、ｕ０およびｖ０は各撮像領域の画像中心（光軸）である。本実施の形態１における撮像素子１３では、方向ｕおよび方向ｖにおいて画素ピッチがｐである正方形の画素を配列するため、画素配列傾きθは９０度である。

これらのパラメータにおいて、焦点距離ｆ_ｉ、画像中心（ｕ０、ｖ０）、画素ピッチｐなどを内部パラメータ、各撮像系の座標系と世界座標系との位置関係を決定する回転行列Ｒ_ｉ、平行移動行列ｔ_ｉなどを外部パラメータと呼ばれている。これらの内部パラメータ、外部パラメータを推定することで、世界座標（任意の３次元空間座標）における被写体上の座標Ｍ_ｗと、カラー撮像装置１における撮像素子１３の撮像面上における画像座標ｍ_ｉとの対応をとることが可能となる。

モノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとを同じ撮像素子１３の同一平面上に形成しているため、カメラキャリブレーションを行うときの外部パラメータである回転行列Ｒ_ｉ、平行移動行列ｔ_ｉなどの射影行列に係る未知のパラメータを削減することができる。例えば、４つの撮像系それぞれに係る回転行列Ｒ_ｉには３つの未知のパラメータがあり、合計１２個となるが、撮像素子１３の撮像面において同一平面上に設けられたモノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとからモノクローム画像情報とカラー画像情報とを得るため、各回転行列はＲ_１＝Ｒ_２＝Ｒ_３＝Ｒ_４と等しくなり、未知のパラメータの数を１２個から３個に削減することができる。これにより、カメラキャリブレーションの精度を高めることができ、ステレオマッチングするときの照合精度高めることができる。さらには、カメラキャリブレーションの精度の向上により精度の高い座標生成が可能となり、３次元座標にカラー画像を貼り付けする際のテクスチャマッピングの精度を高めることができる。

前処理部８は、画像記憶部４に記憶されている全体画像からモノクロ画像情報を順次に切り出して読み出し、カメラパラメータ記憶部７に記憶した内部パラメータ、外部パラメータなどを用いてステレオマッチングが可能な形態、例えば、平行化座標系（３次元）を決定し、それに基づき撮影部２で被写体１６を撮影して得たモノクローム画像情報の画像座標を平行化された画像座標に変換する。これにより、被写体１６を撮影して得た画像全域にわたって平行化補正されたモノクローム画像情報を得る。

３次元座標算出部９は、平行化補正された２つのモノクローム画像情報の組み合わせに基づき、被写体１６の３次元座標を生成する。３次元座標の算出方法の詳細については後述する。

デモザイク処理部１０では、画像記憶部４に記憶されている全体画像からカラー画像情報を切り出して読み出し、カラー撮像領域１３ｄ上の各画素位置で被写体１６のカラー情報を検出可能にするため、例えば近傍画素の内挿補間により、所定の画素位置で不足する色情報を算出する。すなわち、カラー撮像領域１３ｄには、図２（ｂ）に示すようなベイヤー配列でＲ、ＧおよびＢのカラーフィルタが塗布されているため、１つの画素からはＲ、Ｇ、Ｂのいずれかの色情報しか得られない。そのため、所定の画素で不足する他の色情報を近傍の画素の内挿補間により得る。例えば、図２（ｂ）に示すように、Ｂ画素の位置でＧ成分のカラー情報を検出する場合には、上下、左右にある４画素（Ｇ）の内挿補間によりＧ成分情報を算出する。同様に、Ｒ成分のカラー情報を検出する場合には、斜め方向に配置されている４画素（Ｒ）の内挿補間によりＲ成分情報を算出する。これにより、Ｂ画素の位置で、Ｒ成分情報、Ｇ成分情報、Ｂ成分情報を得ることができる。このような演算をカラー撮像領域１３ｄ上の全画素の位置で行うことにより、カラー撮像領域１３ｄ上の全画素の位置で被写体１６のカラー情報を検出することができる。カラー情報の高解像度化のためには、その他の様々な公知のデモザイク方法も利用することができる。

合成部１５は、カメラパラメータ記憶部７に記憶した内部パラメータ、外部パラメータなどを用いて、デモザイク処理されたカラー画像情報を、３次元座標算出部２６で生成された３次元座標の位置に対応させる。対応するカラー画像情報をテクスチャとして３次元座標に貼り付けを行う。すなわち、合成部１５では、被写体１６を撮像部２で撮影して得られる被写体像の中で、３次元空間座標の所定の位置Ｍ_Ｗに対応するカラー撮像領域１３ｄ上に結像された画像座標ｍにおけるデモザイク処理されたカラー画像情報を検出し、テクスチャとして貼り付けすることでカラー３次元画像データを生成する。

つぎに、図３および図４を参照しながら、図１の撮像部２の構成および３次元空間座標中の被写体の座標を算出する方法について説明する。図３は３次元空間座標中における被写体座標の算出方法を説明する図、図４は被写体１６までの距離の算出方法を説明する図である。

図３に示すように、光学系１１ａ、１１ｂ、１１ｃ、１１ｄの各主点Ａ、Ｂ、Ｃ、Ｄは略同一平面上に構成されており、その平面と略平行に撮像素子１３の撮像面が配置されているとする。また、撮像素子１３の撮像面上に、光学系１１ａの光軸を基準とするモノクローム撮像領域１３ａ、光学系１１ｂの光軸を基準とするモノクローム撮像領域１３ｂ、光学系１１ｃの光軸を基準とするモノクローム撮像領域１３ｃ、光学系１１ｄの光軸を基準とするカラー撮像領域１３ｄが構成されている。

つぎに、このモノクロームおよびカラー撮像領域の座標系について説明する。図３では、撮像素子１３をレンズアレイ１１が設けられている側とは反対の背面側から見た構成を示している。各撮像領域１３ａ、１３ｂ、１３ｃ、１３ｄでは、撮像領域の、例えば、図面右下の位置を原点（０，０）とする２次元座標系を設定している。

すなわち、図３に示すように、撮像領域１３ａでは図面において、左方向が正となる水平ラインｘａ軸、上方向が正となる垂直ラインｙａ軸を設定している。同様に、撮像領域１３ｂでは左方向が正となる水平ラインｘｂ軸、上方向が正となる垂直ラインｙｂ軸を設定している。撮像領域１３ｃでは左方向が正となる水平ラインｘｃ軸、上方向が正となる垂直ラインｙｃ軸を設定している。撮像領域１３ｄでは左方向が正となる水平ラインｘｄ軸、上方向が正となる垂直ラインｙｄ軸を設定している。

図３において、モノクローム撮像領域１３ａ上の１４ａは光学系１１ａの光軸との交点、モノクローム撮像領域１３ｂ上の１４ｂは光学系１１ｂの光軸との交点、モノクローム撮像領域１３ｃ上の１４ｃは光学系１１ｃの光軸との交点、カラー撮像領域１３ｄ上の１４ｄは光学系１１ｄの光軸との交点である。各モノクローム撮影領域１３ａ、１３ｂ、１３ｃおよびカラー撮影領域１３ｄそれぞれの座標系において、それらと光軸１４ａ、１４ｂ、１４ｃ、１４ｄと交差する点が同じ座標となるように構成されている。ここで、光軸１４ａ、１４ｂ、１４ｃ、１４ｄとの交点の座標それぞれは撮像領域の画像中心とする。

つぎに、３次元空間座標中の被写体１６の座標を算出する方法について説明する。

図３に示す光学系１１ａの主点Ａを原点（０，０，０）とすると３次元空間座標系は、図３に示すようにモノクローム撮像領域１３ａのｘａ軸と平行で正負の符号が逆の軸をＸ軸、モノクローム撮像領域１３ａのｙａ軸と平行で正負の符号が同一の軸をＹ軸、光学系１１ａの光軸に平行で、光学系１１ａに対し撮像素子１３と逆方向を正とする軸をＺ軸に設定している。３次元座標算出部９（図１）は、この３次元空間座標中の被写体１６の座標を算出する。

具体的には、図３に示すように、被写体１６の一点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）の像は、Ｚｐが有限の場合には視差の影響により、各撮影領域の異なる座標ｐａ、ｐｂ、ｐｃ、ｐｄに結像する。３次元座標の算出方法では、濃淡を示す光が結像する撮像領域間の比較、すなわち、ここでは、モノクローム撮像領域１３ａとモノクローム撮像領域１３ｂで撮影して得た2つの被写体像の比較により行う。なお、モノクローム撮像領域１３ａとモノクローム撮像領域１３ｃで撮影して得た2つの被写体像を比較してもよい。この組み合わせの選択方法については後述する。

光学系１１ａおよび光学系１１ｂの位置は、３次元空間座標においてＸ座標のみが異なる。このため、モノクローム撮像領域１３ａにおける被写体１６の一点Ｐに対応した像の座標ｐａ（ｘｐａ，ｙｐａ）と、モノクローム撮像領域１３ｂにおける被写体１６の一点Ｐに対応した像の座標ｐｂ（ｘｐｂ，ｙｐｂ）とを比べると、ｘｐａとｘｐｂについてはその値が視差の影響でずれを生じ、ｙｐａとｙｐｂとについてはその値が等しい。

すなわち、モノクローム撮影領域１３ａの座標ｐａ（ｘｐａ，ｙｐａ）上の像を選択すると、この像に対応するモノクローム撮像領域１３ｂ上の座標ｐｂ（ｘｐｂ，ｙｐｂ）は、後述するように、視差によるｘｐａに対してのずれ量Ｓからｘｐｂを求めることによって特定することができる。このずれ量Ｓは、モノクローム撮像領域１３ａおよびモノクローム撮像領域１３ｂで撮影して得られる画像情報に基づいて、エリアベースマッチング法などの従来のステレオマッチング技術により求めることができる。

さらに、ずれ量Ｓが求まれば、被写体１６の一点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）における座標Ｚｐは、被写体距離と視差との関係を用いて、つぎの（２）式で求めることができる。

ここで、図４に示すように、視差つまり被写体像のずれ量ＳはＳ＝Ｓａ＋Ｓｂとなる。また、ｔａｂは光学系１１ａと光学系１１ｂとの光軸間の距離、ｆは結像距離つまり図３の光学系１１ａの主点Ａとモノクローム撮像領域１３ａでの光軸位置１４ａとの距離である。

図４により、被写体１６の一点Ｐの座標Ｘｐは、幾何計算により、つぎの（３）式で求めることができる。

したがって、（２）式のＺｐの関係式を用いて、（３）式はつぎの（４）式のように変形される。

同様に、被写体１６の一点Ｐの座標Ｙｐは、幾何計算により、つぎの（５）式で求めることができる。

さらに、（２）式のＺｐの関係式を用いて、（５）式は（６）式のように変形される。

前述の通り、光軸間の距離ｔａｂ、ずれ量Ｓおよびｙ０ａは既知であり、ｙｐａは選択した位置のｙ座標である。このため、ｙ０ａ−ｙｐａも算出可能である。したがって、座標Ｙｐの値を求めることができる。

このようにして、被写体１６の一点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）の３次元座標を算出することができる。同様の計算により、被写体全体の３次元座標についても求めることができ、被写体１６の３次元形状を得ることができる。

つぎに、合成部１５でのカラー画像の貼り付け方法について説明する。

図３に示すように、被写体１６の一点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）から発せられる光はカラー撮像領域１３ｄ上の座標ｐｄ（ｘｐｄ、ｙｐｄ）に結像している。幾何計算により、座標ｐｄ（ｘｐｄ、ｙｐｄ）のｘｐｄは、つぎの（７）式で求めることができる。

ただし、ｔａｄｘは光学系１１ａと光学系１１ｄとの光軸間の距離のうち、Ｘ軸方向での距離である。同様に、ｙｐｄは、幾何計算により、つぎの（８）式で求めることができる。

ただし、ｔａｄｙは光学系１１ａと光学系１１ｄとの光軸間の距離のうち、Ｙ軸方向での距離である。

以上により、カラー撮影領域１３ｄにおいては、（７）式および（８）式で求めた位置ｐｄ（ｘｐｄ，ｙｐｄ）に、被写体１６の一点Ｐの像が結像していることになる。このようにして、被写体１６の一点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）に対応してカラー撮像領域１３ｄ上に結像する位置を算出することができる。同様により、被写体１６全体について、カラー撮像領域１３ｄ上に結像する位置を算出することができる。

したがって、被写体１６の各点に対応してカラー撮像領域１３ｄ上に結像する画像座標を求めることができるため、この被写体像が結像した画像座標における色情報を３次元座標に貼り付ければ、被写体１６の各点の色を得ることができる。被写体１６の全体について、同様の計算をすることにより、被写体１６の色を得ることができる。合成部１５（図１）は、このカラー撮像領域１３ｄ上に結像する画像座標における色情報を座標Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）に貼り付けを行い、カラー３次元画像データを生成する処理を行っている。

なお、（７）式および（８）式の算出値に対応する画素が撮像領域上に存在しない場合は、近傍する画素の内挿補間もしくは外挿補間により被写体像を算出することができる。

つぎに、図５および図６を参照しながら、カラー撮像装置１の動作の手順について説明する。図５は本発明の実施の形態におけるカラー撮像装置１の動作の手順を示すフローチャート図、図６は撮像素子１３の撮像領域の配置例を示す図である。

カラー撮像装置１は、出荷時や撮影前などにカメラキャリブレーションを行う。すなわち、カラー撮像装置１は校正部６で校正するときの基準となるチェッカーチャートを撮影し、既知のチェッカーチャートの座標と対応する画像の格子点座標とをカメラモデルに代入し、カメラパラメータを推定する。推定されたカメラパラメータ（内部パラメータ、外部パラメータ、歪みパラメータ）をカメラパラメータ記憶部７に記憶する。これにより、カラー撮像装置１は、撮影時にはカメラパラメータ記憶部７に記憶されているカメラパラメータを使用して、撮影画像の補正を行ない、画像歪を除去することができる。ここでは、出荷時など撮影の前に行うカメラキャリブレーションなどの予め実施する処理はフローチャート図には図示せず、撮影時からの動作について説明する。

まず、カラー撮像装置１は被写体１６を撮影し（Ｓ１００）、撮影して得られた画像情報１００をＡ／Ｄ変換部３で一括してＡ／Ｄ変換し、４つの撮像領域を１つの全体画像として画像記憶部４に記憶する。

つぎに、前処理部８では、カメラパラメータ記憶部７に記憶されている内部パラメータ、外部パラメータ、歪みパラメータを用いて、画像記憶部４に記憶されている全体画像の中から３つあるモノクローム画像情報を撮像領域ごとに分割して読み出し、ステレオマッチングが可能な形態、すなわち、平行化座標系（２次元）の画像座標に変換する（Ｓ１０２）。これにより、３つあるモノクローム画像それぞれを平行化補正して視差検出に適した画像に変換する。

つぎに、カラー撮像装置１は、前処理部８で平行化補正されたモノクローム画像情報に基づき、被写体１６におけるテクスチャ特性に対応して検出する視差画像の組み合わせを選択する（Ｓ１０４）。

具体的には、図６に示すように、撮像素子１３では３つのモノクローム撮像領域１３ａ、１３ｂ、１３ｃをＬ字状に配置し、３つのモノクローム撮像領域１３ａ、１３ｂ、１３ｃのすべてに近接するように１つのカラー撮像領域１３ｄを配置している。この３つのモノクローム撮像領域１３ａ、１３ｂ、１３ｃで撮影して得られた画像の中から２つを選択して組み合わせることにより、上下方向ＤＢ、左右方向ＤＡで撮影された視差画像を得ることができ、異なる２つの基線方向の視差探索が可能となる。

例えば、被写体１６において基線方向ＤＡと平行なライン状のテクスチャを有する場合には、基線方向ＤＡの視差探索において、探索方向と模様（ライン状のテクスチャ）の方向とが同一であることに起因して視差探索時の模様の変化が無いために視差の検出が困難となる。しかしながら、基線方向ＤＢの視差探索ではラインと垂直方向の視差探索が可能となるため、視差探索時の模様の変化を得ることができ、正確な視差量を検出することができる。つまり、複数の基線方向の探索を可能とすることで、様々な被写体１６のテクスチャに対してより正確な視差探索が可能となる。

具体的な基線方向の探索としては、モノクローム撮像領域１３ａとモノクローム撮像領域１３ｂとの視差画像を選択すれば基線方向ＤＡの視差探索が可能となる。同様に、モノクローム撮像領域１３ａとモノクローム撮像領域１３ｃとの視差画像を選択すれば基線方向ＤＢの視差探索が可能となる。

このように、カラー撮像装置１は、前処理部８で平行化補正されたモノクローム画像情報に基づき、被写体１６のテクスチャの特性に対応して検出する視差画像の組み合わせを選択することで異なる基線方向の視差探索を可能とし、被写体１６におけるステレオマッチング演算時の誤照合が低減され、照合精度を高めることができる。

つぎに、図５に戻り、カラー撮像装置１は、３次元座標算出部９で被写体１６の３次元座標を生成する（Ｓ１０６）。すなわち、基線方向ＤＡの視差探索で３次元座標を生成する場合には、撮像部２のモノクローム撮像領域１３ａとモノクローム撮像領域１３ｂで被写体１６を撮影して得られた２つのモノクローム画像情報に基づき、被写体１６の一点の３次元座標を生成する。これを被写体１６のすべての座標で行う。なお、基線方向ＤＢの視差探索で３次元座標を生成する場合には、撮像部２のモノクローム撮像領域１３ａとモノクローム撮像領域１３ｃで被写体１６を撮影して得られた２つのモノクローム画像情報に基づき、被写体１６の一点の３次元座標を生成する。すべての座標の生成が完了したか否かを判断し（Ｓ１０８）、すべての座標の生成が完了した場合（ＹＥＳ）にはステップＳ１１０に進む。一方、すべての座標の生成が完了していない場合（ＮＯ）にはステップＳ１０６に戻り、ステップＳ１０６およびステップＳ１０８を繰り返し実行する。

つぎに、カラー撮像装置１は、デモザイク処理部１０により、画像記憶部４に記憶されている全体画像からカラー画像情報を切り出して読み出し、各画素位置で不足する他の色情報を近傍の画素の内挿補間などの手法により補間し、高精細のカラー画像情報を得る（Ｓ１１０）。例えば、図２（ｂ）に示すように、Ｂ画素の位置でＧ成分のカラー情報を検出する場合には、上下、左右にある４画素（Ｇ）の内挿補間によりＧ成分情報を算出する。同様に、Ｒ成分のカラー情報を検出する場合には、斜め方向に配置されている４画素（Ｒ）の内挿補間によりＲ成分情報を算出する。これにより、Ｂ画素の位置で、他のＲ成分情報、Ｇ成分情報を得ることができる。このような演算をカラー撮像領域１３ｄ上の全画素の位置で行うことにより、カラー撮像領域１３ｄ上の全画素の位置で被写体１６のカラー情報を検出する。

つぎに、カラー撮像装置１は、合成部１５により、３次元座標算出部９で生成された３次元座標にカラー情報を貼り付けし、カラー３次元画像データを生成する（Ｓ１１２）。

以上のように、本発明の実施の形態１によれば、カラー撮像装置１は、光学系１１ａ、１１ｂ、１１ｃ、１１ｄで被写体１６の像を撮像素子１３の撮像面の同一平面上に形成されたモノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄそれぞれに結像し、このモノクローム撮像領域１３ａ、１３ｂ、１３ｃで被写体１６を撮影して得た複数のモノクローム画像情報に基づいて被写体１６の３次元座標を算出し、カラー撮像領域１３ｄで撮影して得たカラー画像情報からデモザイク処理して得られる高精細のカラー画像情報からカラー情報を取得し、３次元座標にカラー情報を貼り付けする。

これにより、撮像素子１３の同一平面上にカラー撮像領域１３ｄとモノクローム撮像領域１３ａ、１３ｂ、１３ｃとを形成しているため、カメラキャリブレーションを行うときの外部パラメータである回転行列、平行移動行列などの射影行列の未知のパラメータの数を削減することができる。これにより、カメラキャリブレーションの精度を高めることができ、高精度の３次元座標の生成およびカラー画像情報を３次元座標に貼り付けする際のテクスチャマッピングの精度を高めることができる。

これらのことから、カラー撮像装置１は３次元座標情報およびそのカラー情報を有する高精度のカラー３次元画像データを生成することができ、被写体１６の自由視点映像や立体撮像用の画像データを出力ことができる。

なお、カラー撮像装置１を４眼撮像系としたがこれに限定されない。例えば、カラー撮像装置１を９眼撮像系とすることができる。具体的には、図７に示すように、撮像素子２０では、１つのカラー撮像領域２０ｉを中心として、カラー撮像領域２０ｉに関して対称となるように近接させてモノクローム撮像領域２０ａ〜２０ｈを配置している。このような構成により、視差画像を撮影したときの光軸間の基線長を長くすることができるため、３次元座標を生成するときの精度を向上させることができる。

さらに、８つのモノクローム撮像領域２０ａ〜２０ｈをカラー撮像領域２０ｉに関して対称となるように近接させて配置したことで、モノクローム撮像領域２０ａ〜２０ｈの中から２つを選択して組み合わせることにより、多数の基線長や基線方向での組み合わせが可能となり、例えば、モノクローム撮像領域２０ａを基準とすると、基線方向の異なる組合せは左右方向ＤＡ、上下方向ＤＢ、斜め方向ＤＣ〜ＤＥの５パターンあり、基線長の異なる組合せは左右方向ＤＡで２パターン、上下方向ＤＢで２パターンある。合計７パターンの視差画像を少なくとも得ることができる。異なる基線長や、異なる基線方向の視差画像の選択により視差探索するときのステレオマッチングの精度を高めることができる。これにより、撮像素子２０を用いれば３次元座標情報を精度よく生成することができる。

（実施の形態２）
つぎに、図８〜図１１を参照しながら、本発明の実施の形態２におけるカラー撮像装置３０について説明する。図８は本発明の実施の形態２におけるカラー撮像装置３０の構成を示すブロック図、図９は撮像部３１の構成例を示すブロック図、図１０は撮像部３１の露光動作を説明するためのタイミングチャート図、図１１は撮像素子１３の入出力特性を説明する図である。図８〜図１１において、実施の形態１におけるカラー撮像装置１と同じ構成要素については同じ符号を付して説明する。

実施の形態１におけるカラー撮像装置１（図１）では、モノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとで受光感度が異なるため、光量調節フィルタ１２を使用して露光量を調節し、撮像素子１３のモノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄを同じ露光時間で露光しても、モノクローム撮像領域１３ａ、１３ｂ、１３ｃで撮影して得た出力とカラー撮像領域１３ｄで撮影して得た出力とを同じ出力レベルに揃えるようにしていた。

本実施の形態２では、撮像部３１において、この光量調節フィルタ１２を用いることなく、受光感度が異なるモノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとからそれぞれ出力される出力レベルを揃えるようにした点が異なる。

このために、図８に示すように、本実施の形態２におけるカラー撮像装置３０は、Ａ／Ｄ変換部３と、画像記憶部４と、画像処理部５と、撮像部３１と、絞り部３２と、駆動部３３と、第１の調整部３４と、第２の調整部３５とを備えている。

絞り部３２では、撮像素子１３の撮像面に露光される光量を調節する。絞り部３２として、公知の機構式のシャッターを使用することができる。なお、撮像素子１３に備えられている電子シャッター機能との併用により、受光する露光量を調節するようにしてもよい。

駆動部３３では、カラー撮像装置３０で被写体１６を撮影するときに、露光に係る各種タイミング信号を発生する。

第１の調整部３４は、画像記憶部４に記憶されている全体画像のうち、モノクローム撮像領域１３ａ、１３ｂ、１３ｃそれぞれで被写体１６を撮影して得たモノクロ画像情報を切り出して読み出し、その出力を所定の出力になるように調整する。同様に、第２の調整部３５は、画像記憶部４に記憶されている全体画像のうち、カラー撮像領域１３ｄで被写体１６を撮影して得たカラー画像情報を切り出して読み出し、その出力を所定の出力になるように調整する。

これにより、図９に示すように、撮像部３１では、レンズアレイ１１を通過した光で受光感度が異なるモノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄで直接に露光しても、モノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとからそれぞれ得られる出力のレベルを揃えることができる。

具体的には、図１０に示すように、撮像素子１３では、駆動部３３から出力される駆動信号（Ｂ）により電子シャッター機能を動作させ、駆動信号（Ｂ）が「Ｌ」レベルのときにレンズアレイ１１からの光を受光する。ここでは、露光時間ｔ_０の間だけ、モノクローム撮像領域１３ａ、１３ｂ、１３ｃおよびカラー撮像領域１３ｄで光を受光する。この駆動信号（Ｂ）は、周期Ｔで繰り返す同期信号（Ａ）に同期している。ここで、周期Ｔで１回の撮影を行えば静止画像を得ることができ、周期Ｔで繰り返し撮影すれば動画像が得られる。

絞り部３２では、撮像素子１３において露光時間ｔ_０の間だけ露光されたとき、モノクローム画像情報の入出力特性が図１１に示すような直線１０４となるように光量を絞る。さらに、撮像素子１３の出力レベルを微調整する場合には第１の調整部３４を併用し、出力を直線１０４の特性になるよう調整する。第１の調整部３４として、公知の増幅器を使用することができ、増幅率を設定することで出力レベルを調整することができる。

さらに、第２の調整部３５では、例えば、図１１に示すような信号１０３の特性で出力されるカラー画像情報の出力を信号１０４の特性になるように調整する。これにより、カラーフィルタにより減光されて受光感度が低下しているカラー画像情報の出力を信号１０４と同じ特性にすることができる。第２の調整部３５として、公知の増幅器を使用することができ、増幅率を設定することで出力レベルを調整することができる。

以上のように、本発明の実施の形態２によれば、カラー撮像装置３０は、モノクローム撮像領域１３ａ、１３ｂ、１３ｃとカラー撮像領域１３ｄとを同じ露光時間ｔ_０で露光しても、モノクローム画像情報の出力とカラー画像情報の出力とを同レベルに揃えることができる。これにより、モノクローム画像情報の出力飽和を防止するための光量調節フィルタ１２をなくすことができ、コストを低減することができる。

なお、図１２および図１３に示すように、露光時間を制御する方法によってもモノクローム画像情報とカラー画像情報との出力を揃えることができる。すなわち、図１２のタイミングチャート図に示すように、カラー撮像装置３０は、第１の露光時間ｔ_０で被写体１６を撮影する第１の露光モードと、第１の露光時間ｔ_０より短い時間に設定された第２の露光時間ｔ_１で（ｔ_０＞ｔ_１）被写体１６を撮影する第２の露光モードとを備え、第１の露光時間ｔ_０ではカラー撮像領域１３ｄで撮影し、第２の露光時間ｔ_１ではモノクローム撮像領域１３ａ、１３ｂ、１３ｃで撮影する。

この場合には、まず、第１の露光モードにおいて、カラー撮像領域１３ｄで撮影して得られる出力が図１３に示すような直線１０５の入出力特性が得られるように調整する。

すなわち、カラー撮像装置３０では、カラー撮像領域１３ｄで第１の露光時間ｔ_０の間だけ光を受光したときに、出力が図１３に示すような直線１０５の特性になるように、絞り部３２を調節する。微調整を行う場合には、第２の調整部３５を併用し、出力を直線１０５の特性になるように調整する。

つぎに、カラー撮像装置３０は、第２の露光モードに切り替え、電子シャッター機能により、モノクローム撮像領域１３ａ、１３ｂ、１３ｃを露光したときに、出力が直線１０５の特性になるように第２の露光時間ｔ_１を調整する。微調整を行う場合には、第１の調整部３４を併用し、出力を直線１０５の特性に合わせるように調整する。これにより、感度が高いモノクローム撮像領域１３ａ、１３ｂ、１３ｃで撮影して得られる出力レベルが図１３に示すような直線１０６であっても、直線１０５の特性に調整することができる。

このように、露光時間を制御することで、モノクローム画像情報の出力とカラー画像情報の出力とを同じレベルに揃えることができる。よって、光量調節フィルタ１２をなくすことができ、コストを低減することができる。

さらには、第２の露光時間ｔ_１を第１の露光時間ｔ_０に対して独立に設定が可能となり、カラー画像信号１０１の出力レベルを下げることなく、モノクローム撮像領域１３ａ、１３ｂ、１３ｃで短時間撮影をすることができる。これによって、撮像部３１で被写体１６を撮影して得た画像では、撮影時の手振れや被写体１６の動作による被写体振れの影響を抑えることができる。これにより、カラー画像情報の信号のＳ／Ｎを低下させることなくステレオマッチングするときの照合精度を高めることができ、高精度のカラー３次元画像データを生成することができる。

なお、図１２に示すタイミングチャート図では、第１の露光時間ｔ_０で被写体１６を撮影する第１の露光モードに続き、第１の露光時間ｔ_０より短い時間に設定された第２の露光時間ｔ_１で（ｔ_０＞ｔ_１）被写体１６を撮影する第２の露光モードを実行しているが、これに限定されない。第２の露光モードに続いて第１の露光モードを実行しても、上述した同様の効果を得ることができる。

また、第１の露光モードと第２の露光モードとの間には画像データを出力するための休止期間を設けている。この休止期間をできるだけ短くすることにより、カラー撮像装置３０で撮影するときに被写体１６のモノクローム情報とカラー情報の画像としてのずれを小さくすることができ、カラー画像情報と視差画像との対応が容易になる。これにより、３次元座標に貼り付けするカラー画像情報のマッピング精度を向上させることができる。

また、撮像素子４０において、モノクローム撮像領域４０ａ、４０ｂ、４０ｃとカラー撮像領域４０ｄとの間に隙間Ｇａを設けるため、図１４（ａ）に示すように、レンズアレイ４１において、カラー撮像領域４０ｄ上に被写体１６の像を結像する光学系４１ｄのレンズ径Ｒｂをモノクローム撮像領域４０ｃ上に被写体１６の像を結像する光学系４１ｃのレンズ径Ｒａより小さくすることができる。ここで、モノクローム撮像領域４０ａ上に被写体１６の像を結像する光学系４１ａ（図示しない）、モノクローム撮像領域４０ｂ上に被写体１６の像を結像する光学系４１ｂ（図示しない）としたとき、光学系４１ａおよび光学系４１ｂのレンズ径はＲａとする。

このような構成によれば、さらに、モノクローム撮像領域４０ｃの大きさよりカラー撮像領域４０ｄの大きさを小さくすることができるため、図１４（ｂ）に示すように、撮像素子４０において、モノクローム撮像領域４０ａ、４０ｂ、４０ｃとカラー撮像領域４０ｄとの間に隙間Ｇａを設けることができ、撮像素子４０にカラーフィルタを塗布する際に、モノクローム撮像領域４０ａ、４０ｂ、４０ｃとカラー撮像領域４０ｄとの境界領域での位置合わせ精度に余裕を持たせることができる。これにより、撮像素子４０を容易に製造することができ、製造する際のコストを下げることができる。さらには、レンズ径Ｒｂを小さくすることで焦点距離ｆｂ（ｆｂ＜ｆａ）が短くなり被写界深度を深くすることができる。これにより、立体の被写体１６を撮影するときにカラー画像のボケを抑えることができるようになるため、３次元座標に貼り付けるカラー画像情報を広い距離範囲で高精細に撮影することができる。

また、図１５に示すように、デジタルカメラ５０にカラー撮像装置１、３０を応用することができる。例えば、デジタルカメラ５０は、被写体１６を撮像するカラー撮像装置１と、利用者の操作指示を入力する操作部５１と、操作部５１から設定に応じて撮像装置全体を統括制御するシステム制御部５２と、カラー撮像装置１の出力画像を表示する表示部５３と、カラー撮像装置１の出力画像を記憶する記憶部５４とを備えている。これにより、デジタルカメラ５０は、カラー撮像装置１で被写体１６を撮影してカラー３次元画像データを生成し、このカラー３次元画像データを表示部５３で表示、または、記憶部５４に記憶することが容易にできる。なお、カラー撮像装置１をカラー撮像装置３０に置き換えてもよい。

また、本発明の実施の形態１、２におけるカラー撮像装置１、３０は、デジタルスチルカメラ、デジタルビデオカメラ、監視カメラ、携帯電話、携帯情報端末装置、立体テレビなどにも入力機能として応用することが可能である。

また、本発明の具体的な構成は、上述した本実施の形態１、２に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明によれば、同じ被写体を複数の視点から撮影して被写体の３次元座標情報およびそのカラー情報を有するカラー３次元画像データを生成することができ、特に、高精度の３次元データの生成を可能とするカラー撮像装置などとして有用である。

本発明の実施の形態におけるカラー撮像装置の構成を示すブロック図 同カラー撮像装置における撮像素子の画素構成例を示す図 同カラー撮像装置における３次元空間座標中における被写体座標の算出方法を説明する図 同カラー撮像装置における被写体までの距離の算出方法を説明する図 同カラー撮像装置の動作の手順を示すフローチャート 同カラー撮像装置における撮像素子の撮像領域の配置例を示す図 同カラー撮像装置における撮像素子の他の撮像領域の配置例を示す図 本発明の実施の形態２におけるカラー撮像装置の構成を示すブロック図 同カラー撮像装置における撮像部の構成例を示すブロック図 同カラー撮像装置における撮像部の露光動作を説明するためのタイミングチャート 同カラー撮像装置における撮像素子の入出力特性を説明する図 同カラー撮像装置における撮像部の露光動作を説明するためのタイミングチャート 同カラー撮像装置における撮像素子の入出力特性を説明する図 同カラー撮像装置における他の撮像部の構成例を示す図 同カラー撮像装置の応用例の構成を示すブロック図

符号の説明

１，３０ カラー撮像装置
２，３１ 撮像部
３ Ａ／Ｄ変換部
４ 画像記憶部
５ 画像処理部
６ 校正部
７ カメラパラメータ記憶部
８ 前処理部
９ ３次元座標算出部
１０ デモザイク処理部
１１，４１ レンズアレイ
１１ａ，１１ｂ，１１ｃ，１１ｄ，４１ｃ，４１ｄ 光学系
１２ 光量調節フィルタ
１３，２０，４０ 撮像素子
１３ａ，１３ｂ，１３ｃ，２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅ，２０ｆ，２０ｇ，２０ｈ，４０ａ，４０ｂ，４０ｃ モノクローム撮像領域
１３ｄ，２０ｉ，４０ｄ カラー撮像領域
１４ａ，１４ｂ，１４ｃ，１４ｄ 交点
１５ 合成部
１６ 被写体
３２ 絞り部
３３ 駆動部
３４ 第１の調整部
３５ 第２の調整部
５０ デジタルカメラ
５１ 操作部
５２ システム制御部
５３ 表示部
５４ 記憶部
１００ 画像情報

Claims (9)

1. 被写体を複数の視点から撮影するカラー撮像装置であって、
   カラー撮像領域と複数のモノクローム撮像領域とを同一平面上に有する撮像素子と、
   前記カラー撮像領域および前記複数のモノクローム撮像領域のそれぞれに前記被写体の像を結像する複数の光学系と、
   前記複数のモノクローム撮像領域のそれぞれで撮影して得た複数のモノクローム画像情報に基づいて前記被写体の３次元座標を算出する３次元座標算出部と、
   前記カラー撮像領域で撮影して得たカラー画像情報を前記座標算出部で得られた３次元座標と対応させて、カラー３次元画像データを生成する合成部と、
   を備えたことを特徴とするカラー撮像装置。
2. 前記撮像素子は１つのカラー撮像領域と３つのモノクローム撮像領域とを有し、前記カラー撮像領域および前記モノクローム撮像領域が２行２列に配置されていることを特徴とする請求項１に記載のカラー撮像装置。
3. 前記撮像素子は、１つの前記カラー撮像領域と、少なくとも２つの前記モノクローム撮像領域とを有し、前記少なくとも２つのモノクローム撮像領域は、前記１つのカラー撮像領域に対して対称となる位置に配置されていることを特徴とする請求項１に記載のカラー撮像装置。
4. 前記撮像素子は１つのカラー撮像領域と８つのモノクローム撮像領域とを有し、前記カラー撮像領域および前記モノクローム撮像領域が３行３列に配置されており、前記カラー撮像領域が中心に配置され、前記モノクローム撮像領域が前記カラー領域の周囲に配置されていることを特徴とする請求項３に記載のカラー撮像装置。
5. 前記カラー撮像領域の受光面には、レッド、グリーンおよびブルーのカラーフィルタがベイヤー配列に配置されていることを特徴とする請求項１から請求項４のいずれか１項に記載のカラー撮像装置。
6. 前記複数の光学系の光軸上に少なくとも１つの光量調整フィルタを有し、前記モノクローム画像情報の出力レベルと前記カラー画像情報の出力レベルとが略一致するように、前記複数の撮像領域に入射する各光量が調節されていることを特徴とする請求項１から請求項５のいずれか１項に記載のカラー撮像装置。
7. 前記複数のモノクローム撮像領域で撮影して得た前記モノクローム画像情報の出力レベルを所定の出力レベルに調整する第１の出力調整部と、
   前記カラー撮像領域で撮像して得た前記カラー画像情報の出力レベルを前記所定の出力レベルに調整する第２の出力調整部と、
   を備えたことを特徴とする請求項１から請求項５のいずれか１項に記載のカラー撮像装置。
8. 第１の露光時間で前記被写体を撮影する第１の露光モードと、前記第１の露光時間より短い時間に設定された第２の露光時間で前記被写体を撮影する第２の露光モードと、を備え、
   前記第１の露光モードでは前記カラー撮像領域で前記被写体を撮影し、前記第２の露光モードでは前記モノクローム撮像領域で前記被写体を撮影することを特徴とする請求項１から請求項５のいずれか１項に記載のカラー撮像装置。
9. 前記カラー撮像領域上に前記被写体の像を結像する前記光学系のレンズ径は、前記モノクローム撮像領域上に前記被写体の像を結像する前記光学系のレンズ径よりも小さく、
   前記カラー撮像領域の大きさは、前記複数のモノクローム撮像領域の大きさよりも小さいことを特徴とする請求項１から請求項５のいずれか１項に記載のカラー撮像装置。

Images