JP2007295113A - 撮像装置 - Google Patents

Abstract

【課題】広画角を実現しつつ、高精度な測距が可能で、かつ視認性に優れた撮像装置を提供する。
【解決手段】複数の光学系１１ａ、１１ｂと、これらに対応した複数の撮像領域を含む固体撮像素子１２とを備えたカメラモジュール１と、複数の光学系２１ａ、２１ｂと、これらに対応した複数の撮像領域を含む撮像素子２２とを備えたカメラモジュール２と、複数の光学系３１ａ、３１ｂと、これらに対応した複数の撮像領域を含む撮像素子３２とを備えたカメラモジュール３と、撮像素子１２、２２、３２から出力される複数の画像信号を取得する信号取得部と、各画像信号を演算処理する演算処理部とを備え、カメラモジュール１、２、３が分担して被写体を撮像する。
【選択図】図２

Description

本発明は、対象物までの距離を高精度に測定する撮像装置に関する。

対象物までの距離を測定するシステムとして、双眼測距システムが知られている。双眼測距システムは、対象となる前方風景を、左右又は上下に設置した２つの撮像装置により撮像し、左右画像又は上下画像における２つの画像の視差を利用して対象物までの距離を測定するというものである。

双眼測距システムは、自動車の車間距離の測定や、カメラの自動焦点システムに用いられている。また、双眼測距システムには、対象物を撮像素子上に結像させる双眼光学系である双眼光学装置が設けられている。双眼光学装置としては、左右各々の画像を結像する一対のレンズを用いて、対象物を左右各々に１個設けられた撮像素子に結像する装置が知られている（例えば特許文献１参照）。
特開平４―４３９１１号公報

しかしながら、前記のような従来の撮像装置では、より広いエリアに存在する対象物までの距離を計測するには、光学系を広画角にする必要があった。

一方、通常光学系を広画角にすれば、周辺部の画像の歪み（歪曲）が著しく大きくなることが知られている。また、複数個の光学系間の視差の抽出には、画像のブロックマッチングを行うことになる。前記のような歪みのある状態で、画像のブロックマッチングを行う場合、近距離被写体では歪みの小さな被写体と歪みの大きな被写体とを同一物として認識する必要がある。このことは、歪曲収差の大きい光学系（例えば、広角の光学系）で、三角測量の原理を利用する測距をする場合において、測距の精度を劣化させる一因となっている。

そこで、従来は画像の歪曲を補正する処理を行い、画像の歪みを取り除いてから、画像のブロックマッチング処理をするようにしてきた。ところが、本処理においては、歪曲補正により画像周辺部の像の解像度が劣化してしまう。この画像周辺部の像の解像度の劣化についても、周辺部の測距精度を低下させる要因となっている。

さらに、従来の広角の光学系を使った測距システムでは、前記のように周辺部の画像が大きく歪んでしまい、この画像を平面状の表示装置に表示したものを人間が直感的に認識することは困難であった。

本発明は前記のような従来の問題を解決するためのものであり、広画角を実現しつつ、高精度な測距が可能で、かつ視認性に優れた撮像装置を提供することを目的とする。

前記目的を達成するために、本発明の撮像装置は、複数の光学系と前記各光学系に対応した複数の撮像領域とを備えたカメラモジュールと、前記各撮像領域から出力される複数の画像信号を取得する信号取得部と、前記各画像信号を演算処理する演算処理部とを備え、前記カメラモジュールが複数個配置されており、前記各カメラモジュールが分担して被写体を撮像することを特徴とする。

本発明によれば、広画角を実現しつつ、高精度な測距が可能で、かつ視認性に優れた撮像装置を実現することができる。

本発明は、複数のカメラモジュールを備えているので、広画角を実現しつつ、高精度な測距が可能で、かつ視認性に優れた撮像装置を実現することができる。

前記本発明の撮像装置においては、前記複数のカメラモジュールは、隣接した前記各カメラモジュールの視野が重複するように配置されていることが好ましい。この構成によれば、画像の連続性を損なわないようにすることができる。

また、前記複数のカメラモジュールは、隣接する前記各カメラモジュールの前記光学系の光軸が、被写体側に向かうにつれて広がるように配置されたカメラモジュールを含んでいることが好ましい。この構成によれば、より広い画角を得るのに有利になる。

また、前記各カメラモジュール毎に、前記各カメラモジュールから出力される複数の画像から少なくとも一つの画像を選択し、前記選択した画像を合成して広画角の画像を生成することが好ましい。この構成によれば、広画角の１つの画像を得ることができる。

また、前記演算処理部は、前記生成した画像の少なくとも一部を略台形状に変形することが好ましい。また、前記変形した画像は、略平面状の表示装置に表示されることが好ましい。これらの構成によれば、擬似的な立体感を作り出すことができ、略平面状の表示装置においても、被写体の位置等の視認性を向上させることができる。

また、前記各カメラモジュールの前記各光学系は、緑域帯域の光線専用に設計していることが好ましい。この構成によれば、少ない枚数のレンズで高解像度を実現することができ、視覚による画像と同様の画像に対して、距離情報を抽出することができる。

また、各カメラモジュールの前記各光学系は、赤外線帯域の光線専用に設計していることが好ましい。この構成によれば、少ない枚数のレンズで高解像度を実現することができ、赤外線画像による昼夜の使用も可能になる。

また、前記各カメラモジュールは、緑域帯域の光線専用に設計した前記光学系と、赤外線帯域の光線専用に設計した前記光学系とを備えていることが好ましい。この構成によれば、可視画像による昼間の使用、赤外線画像による夜間の使用を両立する撮像装置を実現できる。

以下、本発明の一実施の形態について、図面を参照しながら説明する。図１は、本発明の一実施の形態に係る撮像装置の斜視図である。説明の便宜のために、図示したようなＸＹＺ直交座標系を設定している。図２は、図１の構成のＸＺ面における断面図である。図１に示した撮像装置は、第１のカメラモジュール１、第２のカメラモジュール２、第３のカメラモジュール３を備えている。これらはフレーム４に、所定の角度で設置固定されている。第１から第３のカメラモジュール１−３は、いずれも複眼構成である。

図２において、第１のカメラモジュール１は、光学系１１ａ及び光学系１１ｂを備えている。これらは、例えば光学レンズや回折レンズなどで構成されている。鏡筒１０内の基板１３上に、光学系１１ａ、１１ｂに対応した複数の撮像領域を備えた固体撮像素子１２が配置されている。また、鏡筒１０内には、光線を分離する役割の遮光壁１４が立設している。

第２、第３のカメラモジュール２、３についても、同様の構成である。すなわち、第２のカメラモジュール２は、光学系２１ａ、２１ｂを備えており、鏡筒２０内に、固体撮像素子２２、基板２３、及び遮光壁２４を備えている。第３のカメラモジュール３は、光学系３１ａ、３１ｂを備えており、鏡筒３０内に、固体撮像素子３２、基板３３、及び遮光壁３４を備えている。

被写体距離の算出方法については、第１から第３のカメラモジュール１−３のいずれについても同様である。このため、第１のカメラモジュール１を例に説明する。第１のカメラモジュール１は、２つの光学系１１ａ、１１ｂにより、固体撮像素子１２上に像を結像する。この際、遮光壁１４によって、光学系１１ａによる像と、光学系１１ｂによる像とが影響を及ぼし合わない構成になっている。

結像した２つの像は、電気信号に変換されて後段の画像処理部（図２では図示せず）に転送される。画像処理部では、画像を複数のブロックに分割し、パターンマッチングを行うことにより、２つの画像上の視差分布を抽出する。得られた視差に基づいて、三角測量の原理を利用して、対象物までの距離を得ることができる。以下、図面を参照しながら、具体的に説明する。

まず、図３を用いて、複眼構成のカメラモジュールにおける測距について説明する。図３は、本実施の形態に係る複眼構成のカメラモジュールにおける三角測量について説明する図である。図３において、１５は有限距離に設置された被写体、１６ａは光学系１１ａにより固体撮像素子１２上に結像された像、１６ｂは光学系１１ｂにより固体撮像素子１２上に結像された像である。１７ａは光学系１１ａの光軸、１７ｂは光学系１１ｂの光軸、１８ａは光学系１１ａの撮像中心、１８ｂは光学系１１ｂの撮像中心である。

光学系１１ａの光軸１７ａ上にある有限距離の被写体１５が発する光線は、光学系１１ａで集光され、固体撮像素子１２上に像１６ａとして結像する。同様に、被写体１５が発した光線は、光学系１１ｂで集光され、固体撮像素子１２上に像１６ｂとして結像する。ところが、被写体１５は光学系１１ｂの光軸１７ｂ上から離れた位置にある。このため、被写体１５は固体撮像素子１２上の撮像中心１８ｂから視差（Δ）分だけ離れた位置に像１６ｂを結像する。

ここで、図３において、被写体１５から光学系１１ａ、１１ｂの主点までの距離は、被写体距離に近似した値であるので、これを被写体距離ｚとする。さらに、２つの光学系１１ａと光学系１１ｂとの間の撮像中心間距離である基線長をＤ、光学系１１ａ、１１ｂの焦点距離をｆ（光学系１１ａ、１１ｂとも同一とする）、視差量をΔとすると、以下の式（１）に示した近似式が成立する。

式（１） Δ＝Ｄ・ｆ／ｚ

したがって、視差Δを抽出すれば、式（１）を変形して被写体距離ｚを抽出す
ることができる。

また、カメラモジュールは、光線の波長を制限することが望ましい。図４に、緑色帯域に透過特性を有するフィルタの特性図を示している。これを、光学系１１ａ、１１ｂと被写体１５との間、又は光学系１１ａ、１１ｂと固体撮像素子１２との間に設置することにより、緑色帯域のみを検出するカメラモジュールを実現することができる。

この場合の光学系１１ａ、１１ｂは、緑色帯域の光線専用にした設計で十分である。この例では、すべての波長に対して適切な性能を実現しようとした光学系（カラー対応の光学系）に比べ、少ない枚数のレンズで高解像度を実現することができる。また、緑色帯域の画像情報は、通常のカメラ処理では輝度情報として取り扱われるものであり、最も視覚に高感度である。このため、光学系を緑色帯域の光線専用にすると、視覚による画像と同様の画像に対して、距離情報を抽出することができる。

次に、図５は赤外線帯域に透過特性を有するフィルタの特性図を示している。図４に示した特性のフィルタに代えて、図５に示す透過特性の光学フィルタを用いてもよい。この場合の光学系１１ａ、１１ｂは、赤外線帯域の光線専用にした設計で十分である。したがって、この構成においても、図４のフィルタを使った構成と同様に、すべての波長に対して適切な性能を実現しようとした光学系（カラー対応の光学系）に比べ、少ない枚数のレンズで高解像度を実現することができる。

また、図５に示す透過特性の光学フィルタは、赤外線帯域の光線を透過するため、カメラモジュールは、赤外線帯域の光線を検出することができる。このため、赤外線光源をカメラモジュール付近に設置し照射することにより、人間にはほとんど明かりを感じさせることなく、夜間の使用も可能になる。

図１、２に示した構成では、第１から第３のカメラモジュール１−３が、Ｘ方向に並んで配置されている。各カメラモジュールは、フレーム４に接着剤やビス等で固定されている。さらに、フレーム４は、フレーム４に形成した穴（図示せず）等により、車体等に取り付けることができる。

各カメラモジュール間の光学系の光軸方向は異なっている。より具体的には、第１のカメラモジュール１の光学系１１ａ、１１ｂの光軸と、第２のカメラモジュール２の光学系２１ａ、２１ｂの光軸とは、被写体側に向かうにつれて広がるようになっている。同様に、第１のカメラモジュール１の光学系１１ａ、１１ｂの光軸と、第３のカメラモジュール２の光学系３１ａ、３１ｂの光軸とは、被写体側に向かうにつれて広がるようになっている。

この構成により、画像としては第１のカメラモジュール１の１つの光学系１１ａ（又は１１ｂ）、第２のカメラモジュール２の１つの光学系２１ａ（又は２１ｂ）、及び第３のカメラモジュール３の１つの光学系３１ａ（又は３１ｂ）の画像を結合することにより、Ｘ方向に広い画角を得ることができる。

測距結果としても、第１のカメラモジュール１、第２のカメラモジュール２、及び第３のカメラモジュール３の測距結果を結合することにより、Ｘ方向に広い画角を得ることができる。また、画像、測距結果を合成することにより、Ｘ方向に広い画角を有する測距カメラを実現することも可能である。

次に、本実施の形態に係る撮像装置の画像処理の流れを図６から図１３を参照しながら説明する。図６は、本実施の形態に係る撮像装置の処理のブロック図を示している。ｓ１ａは第１のカメラモジュール１の第１の画像処理部、ｓ１ｂは第２のカメラモジュールの第１の画像処理部、ｓ１ｃは第３のカメラモジュールの第１の画像処理部である。

ｓ２ａは第１のカメラモジュール１のステレオ処理部、ｓ２ｂは第２のカメラモジュール２のステレオ処理部、ｓ２ｃは第３のカメラモジュール３のステレオ処理部である。ｓ３は画像結合処理部、ｓ４は第２の画像処理部、ｓ５は表示装置への出力である。

第１の画像処理部ｓ１ａ、ｓ１ｂ、ｓ１ｃは、対応するカメラモジュールの固体撮像素子からの信号を取り込む処理を行う。ステレオ処理部ｓ２ａ、ｓ２ｂ、ｓ２ｃは、取り込まれた画像からブロック毎の視差を抽出し、その視差に該当する距離を算出する。

画像結合処理部ｓ３は、複数個（本実施の形態では３個）の画像を結合し、１つの画像を形成する。第２の画像処理部ｓ４は、画像結合処理部ｓ３で結合された画像のトリミングを行い、ステレオ処理部ｓ２ａ、ｓ２ｂ、ｓ２ｃで得られた測距結果に基づいて画像合成したり、画像合成した結果に測距の結果を重ね合わせたりし、表示装置に表示可能な形式に整える処理を行う。

すなわち、本実施の形態の画像処理部は、各カメラモジュールの各撮像領域から出力される各画像信号を取得する信号取得部と、信号取得部で取得した画像信号を演算処理する演算処理部とを含んでいる。そして、画像結合までの間においては、各カメラモジュールのそれぞれに演算処理部が対応している。

以上のような構成において、各処理部の流れを具体的に説明する。図７は、本実施の形態に係る第１の画像処理部ｓ１ａ、ｓ１ｂ、ｓ１ｃ（図６）の処理流れを示すブロック図である。ｓ１０は画像取得、ｓ１１はキャリブレーション、ｓ１２はトリミングである。画像取得ｓ１０は、固体撮像素子からの信号を取り込み、画像処理部内のメモリーに配列することにより、画像の演算処理が可能な状態にする。

次に、キャリブレーションｓ１１では、原点補正、歪曲補正、及び感度補正を行う。原点補正は、得られた画像の原点を、初期化処理によって得られた原点を基準とする座標に変換することである。初期化処理とは、カメラモジュールの組立直後に、カメラモジュールが有する光学系の光軸と固体撮像素子との交点（原点）を検出する作業のことである。原点は、光学系毎に存在し、第１のカメラモジュール１の例では、光学系１１ａ、１１ｂのそれぞれに対応した原点がある。

さらに、得られた画像はその光学系が有する歪曲収差により、通常、樽型等の歪曲を有する。歪曲補正により、その歪曲量を実際の像、又は設計値から得られる歪曲値に基づいて補正し、歪曲のない画像に補正する。

トリミングｓ１２では、ｓ１１の原点補正により付け替えられた原点に対して、所定のサイズに画像を切り出し、別のメモリー領域に格納する。各光学系のそれぞれに原点が存在するので、このトリミングは、１つのカメラモジュールに存在する光学系の個数と同一の回数繰り返すことになる。

図８は、本実施の形態に係るステレオ処理部ｓ２ａ、ｓ２ｂ、ｓ２ｃ（図６）における処理の流れを示すブロック図である。ｓ２０はブロック分割、ｓ２１は視差抽出、ｓ２２は距離演算である。ブロック分割ｓ２０では、ｓ１２（図７）でトリミング処理した２つの画像のうち、光学系１１ａにより得られた画像を、６４画素×６４画素から８画素×８画素までの範囲内のサイズのブロックに分割する。このブロックサイズは、ブロック内に特徴的な形状を含む最小単位が望ましく、撮像エリアの大きさ、主に検出する被写体の距離、焦点距離などによって異なる。

視差抽出ｓ２１では、前記のブロックからあるブロックを選定し、かつ同サイズのブロックを光学系１１ｂより得られた画像から選定し、これらの２つのブロックが被写体の同一部分を撮像したものであると仮定する。

さらに、光学系１１ｂより得られた画像上のブロック枠を所定の方向に、所定の画素数毎移動し、移動毎に２つのブロックの評価値を計算する。この評価値は、２つのブロックが酷似している場合、極値をとる関数が選択されており、この評価値の挙動を確認することにより、視差を抽出することが可能である。すなわち、光学系１１ａに対応した画像のあるブロックの位置と、このブロックと酷似した光学系１１ｂに対応した画像のブロックの位置との比較により、視差を算出することができる。

距離演算ｓ２２では、この得られた視差量Δを前記の式（１）に代入すること
により、ブロック毎の被写体距離ｚを演算する。

なお、ここでは整数画素単位で視差を抽出することを説明したが、より高い精度で視差を抽出する必要がある場合は、単位画素間を補間することにより、１画素以下の画素情報を作り出し、１画素以下の単位で視差を抽出してもよい。例えば、周辺の４つの画素を使っての線形補間することが挙げられる。

図９は、本実施の形態に係る画像結合処理部ｓ３（図６）の処理流れを示すブロック図である。ｓ３０は画像選択、ｓ３１は画像変換、ｓ３２は画像結合である。画像選択ｓ３０では、複数あるカメラモジュールのそれぞれの画像出力から画像の結合処理を行う画像を、あらかじめ規定している条件で選択する。より具体的には、各カメラモジュール毎に、各カメラモジュールから出力される複数の画像のうち少なくとも一つの画像を選択する。

次に、画像変換ｓ３１を行う。ここでの処理については、図１０を用いて説明する。図１０は、複数の画像を１つの画像に結合する手法を説明する図である。図１０において、５１は第１のカメラモジュール１より得られた結合に用いる画像、５２は第２のカメラモジュール２より得られた結合に用いる画像、５３は第３のカメラモジュール３より得られた結合に用いる画像である。

５４は、第１のカメラモジュール１より得られた画像５１と平行に設置した仮想平面である。点Ｏは撮影者の位置である。第１のカメラモジュール１より得られた画像５１の左端の点Ｐ１ａは、直線Ｏ−Ｐ１ａを仮想平面５４方向に延長し、仮想平面５４との交点Ｑ１ａに移される。さらに、画像５１の右端の点Ｐ１ｂは、直線Ｏ−Ｐ１ｂを仮想平面５４方向に延長し、仮想平面５４との交点Ｑ１ｂに移される。

同様のことを、第２のカメラモジュール２より得られた画像５２、第３のカメラモジュール３より得られた画像５３についても行う。すなわち、点Ｐ２ａは交点Ｑ２ａに、点Ｐ２ｂは交点Ｑ２ｂに、点Ｐ３ａは交点Ｑ３ａに、点Ｐ３ｂは交点Ｑ３ｂに、それぞれに移される。

これにより、図１１に示したような３つの画像を結合した１枚の画像を得ることができる。６１は画像５１を仮想平面５４に投影した画像、６２は画像５２を仮想平面５４に投影した画像、６３は画像５３を仮想平面５４に投影した画像である。図１１の波線部は、画像の連続性を考慮して処理を行った際の隣接画像との重複部分である。

図１２は、本実施の形態に係る第２の画像処理部の処理流れを示すブロック図である。ｓ４０は結合画像のトリミング、ｓ４１は画像合成である。結合画像のトリミングｓ４０において、画像結号処理部ｓ３（図６、９）で得られた結合画像（図１１）をトリミングする。

図１３に、第２の画像処理部ｓ４（図６、図１２）によるトリミング領域を示している。図１３の一点鎖線で示した領域がトリミングする領域である。このトリミングにより、３つの画像が結合された広画角の画像６４を得ることができる。

次に、図１２の画像合成ｓ４１において、画像６４とステレオ処理部ｓ２ａ、ｓ２ｂ、ｓ３ｃ（図６、図８）から得られた測距結果を合成し、１つの画像とする。この際の手法の一例としては、測距結果を画像結号処理部ｓ３（図６、９）の処理と同様の処理を行い１つの画像に合成した後、図１２のｓ４０で得られた図１３の画像６４と合成することが考えられる。また、この手法に限るものではなく、他の手法を用いてもよい。

一方、図１２のｓ４０のトリミングをしないことも考えられる。この場合、図１１に示すように、中央部は画像の歪みがほとんどなく、周辺部（第２のカメラモジュール２の画像の右端、第３のカメラモジュール３の画像の左端）は、略台形状に変形した画像を得ることができる。この画像を平面状の表示装置に表示することにより、擬似的に３次元的に被写体を認識することができる。このため、被写体の立体感、位置関係を把握しやすい視認性の優れた画像を得ることができる。

次に、複数のカメラモジュールの取り付け角を、図１４を用いて説明する。図１４は、本実施の形態に係る撮像装置の一部についての側面図である。５ａは第１のカメラモジュール１の光学系１１ａの視野（画角）、５ｂは第１のカメラモジュールの光学系１１ｂの視野である。６ａは第２のカメラモジュール２の光学系２１ａの視野、６ｂは第２のカメラモジュールの光学系２１ｂの視野である。

７ａは第１のカメラモジュール１の光学系１１ａの光軸、７ｂは第１のカメラモジュール１の光学系１１ｂの光軸、８ａは第２のカメラモジュール２の光学系２１ａの光軸、８ｂは第２のカメラモジュール２の光学系２１ｂの光軸である。

前記の通り、測距は、各カメラモジュールの２つの光学系で撮像した画像間の視差を算出する必要がある。したがって、第１のカメラモジュール１が測距できる視野は、視野５ａと視野５ｂとが重複している部分である。この部分の画角は、各光学系の画角と同一のαである。

また、第２のカメラモジュール２の場合も同様で、測距できる視野は、視野６ａと視野６ｂとの重複部分であり、この部分の画角はαである。

さらに、第１のカメラモジュール１と第２のカメラモジュール２とのなす角をγ、第１のカメラモジュール１と第２のカメラモジュール２との測距視野の重なり部分の角度をβとすると、これらの定数には下記の式（２）の関係式が成立する。

式（２）γ＝α−β

したがって、各カメラモジュールは、式（２）の関係を満足する様にフレーム４に取り付けされている。なお、この重なり量が少なければ、より広い画角を実現できるが、製造時に求められる精度が厳しくなる。

従来の広画角のステレオカメラにおいては、画角を大きくすることにより、視野の周辺部で歪曲収差が著しく大きくなる。これは、視差を抽出するためのパターンマッチング処理を高精度で行うことの妨げとなり、視野中央部に比べ周辺部の測距精度を劣化させる大きな要因となっていた。

一方、本実施の形態の構成は、複数のカメラモジュールで分担して、広角化を図るというものである。このため、カメラモジュールを３個備えた構成では、各カメラモジュールとして、従来の構成のステレオカメラの約１／３の画角のカメラモジュールを用いることができるため、良好な測距が可能である。

また、画角が小さいため、歪曲収差も小さくなる。このため、高精度で視差を抽出することができ、結果として、高精度の測距を広画角視野内で実現することができることになる。

本実施の形態においては、３個のカメラモジュールをＸ方向に並べた構成を説明したが、カメラモジュールを２個並べた構成でもよく、４個又はそれ以上をＸ方向に並べた構成でも同様の効果が得られる。

この場合、複数のカメラモジュールの組み合わせを変化させることにより、種々の画角に対応することが可能になる。したがって、単一のカメラモジュールを量産しておき、この単一のカメラモジュールの組み合わせを変化させて、各種仕様の撮像装置のラインナップを形成することが可能となる。このことにより、量産効果による低コスト化も実現できることになる。

また、本実施の形態では、カメラモジュールをＸ方向に１列に並べた例で説明したが、Ｙ方向にも並べることにより、Ｘ方向の画角だけではなく、Ｙ方向の画角も拡大することができる。

また、本実施の形態では、１つのカメラモジュールに２つの光学系を備えた例を説明してきたが、１つのカメラモジュールが備える光学系は、３個以上であってもよい。この場合、１つのカメラモジュールにおいて、Ｙ方向にも光学系を複数配置するようにすれば、複数のカメラモジュールをＸ方向のみに一列に並べた構成であっても、Ｙ方向にも大きな画角を実現できる。さらに、測距を行う画像の組み合せが複数になるため、それぞれの測距結果を平均処理等の演算をすることにより、測距の精度を向上させることができる。

さらに、４眼の複眼方式のカメラモジュールを複数個並べた構成にすれば、昼夜兼用の撮像装置も実現できる。この例について、図１５を用いて説明する。図１５は、本実施の形態の別の例に係る撮像装置の斜視図である。各カメラモジュール８１、８２、８３は、それぞれ４個の光学系を備えた複眼方式のカメラモジュールである。カメラモジュール８１の光学系７１ａ、７１ｃ、カメラモジュール８２の光学系７２ａ、７２ｃ、及びカメラモジュール８３の光学系７３ａ、７３ｃは、緑色帯域の光線のみを検出する光学系である。

カメラモジュール８１の光学系７１ｂ、７１ｄ、カメラモジュール８２の光学系７２ｂ、７２ｄ、及びカメラモジュール８３の光学系７３ｂ、７３ｄは、赤外帯域の光線のみを検出する光学系である。図示はしていないが、各カメラモジュールの内部には、図２の構成と同様に、各光学系による像同士が影響を及ぼし合わないように遮光壁を設けている。

また、各カメラモジュール８１、８２、８３の内部には、各光学系に対応した撮像領域を含む固体撮像素子（図示せず）が配置されている。さらに、緑色帯域の光線のみを抽出するためには、光学系と被写体との間、又は光学系と固体撮像素子との間に図４（緑色帯域抽出用）に示した特性のフィルタを挿入し、赤外帯域の光線のみを抽出するためには、光学系と被写体との間、又は光学系と固体撮像素子との間に図５（赤外帯域抽出用）に示した特性のフィルタを挿入する。

この構成によれば、昼間は緑色帯域の光線のみを抽出する光学系で撮像した画像に基づき測距でき、夜間は赤外帯域の光線のみを抽出する光学系で撮像した画像に基づき測距できるので、昼夜兼用の撮像装置を実現できる。

なお、図１５では、各カメラモジュールが４眼の複眼方式の例で説明したが、４眼以上の偶数個の光学系を備えた構成でも同様の効果が得られる。

以上のように本発明によれば、広画角でありながら測距精度の高い撮像装置を実現できるので、本発明は、モバイル機器用、監視カメラ用、車載用の撮像装置として有用である。

本発明の一実施の形態に係る撮像装置の構成図。 図１に示した撮像装置の断面図。 本発明の一実施の形態に係る複眼構成のカメラモジュールにおける三角測量について説明する図。 本発明の一実施の形態に係る緑色帯域に透過特性を有するフィルタの特性図。 本発明の一実施の形態に係る赤外線帯域に透過特性を有するフィルタの特性図。 本発明の一実施の形態に係る撮像装置の処理のブロック図。 本発明の一実施の形態に係る第１の画像処理部の処理流れを示すブロック図。 本発明の一実施の形態に係るステレオ処理部の処理流れを示すブロック図。 本発明の一実施の形態に係る画像結合処理部の処理流れを示すブロック図。 本発明の一実施の形態に係る複数の画像を１つの画像に結合する手法を説明する図。 本発明の一実施の形態に係る３つの画像を１つの画像に結合した結果を示す図。 本発明の一実施の形態に係る第２の画像処理部の処理流れを示すブロック図。 本発明の一実施の形態に係る第２の画像処理部のトリミング領域を示す図。 本発明の一実施の形態に係る撮像装置の一部の側面図。 本発明の一実施の形態に係る昼夜兼用構成の撮像装置の構成図。

符号の説明

１，８１ 第１のカメラモジュール
２，８２ 第２のカメラモジュール
３，８３ 第３のカメラモジュール
４ フレーム
７ａ，１７ａ 光学系１１ａの光軸
７ｂ，１７ｂ 光学系１１ｂの光軸
８ａ 光学系２１ａの光軸
８ｂ 光学系２１ｂの光軸
１１ａ，１１ｂ 第１のカメラモジュールの光学系
１２，２２，３２ 固体撮像素子
１３，２３，３３ 基板
２１ａ、２１ｂ 第２のカメラモジュールの光学系
３１ａ、３１ｂ 第３のカメラモジュールの光学系

Claims (9)

1. 複数の光学系と前記各光学系に対応した複数の撮像領域とを備えたカメラモジュールと、
   前記各撮像領域から出力される複数の画像信号を取得する信号取得部と、
   前記各画像信号を演算処理する演算処理部とを備え、
   前記カメラモジュールが複数個配置されており、前記各カメラモジュールが分担して被写体を撮像することを特徴とする撮像装置。
2. 前記複数のカメラモジュールは、隣接した前記各カメラモジュールの視野が重複するように配置されている請求項１に記載の撮像装置。
3. 前記複数のカメラモジュールは、隣接する前記各カメラモジュールの前記光学系の光軸が、被写体側に向かうにつれて広がるように配置されたカメラモジュールを含んでいる請求項１又は２に記載の撮像装置。
4. 前記各カメラモジュール毎に、前記各カメラモジュールから出力される複数の画像から少なくとも一つの画像を選択し、前記選択した画像を合成して広画角の画像を生成する請求項１から３のいずれかに記載の撮像装置。
5. 前記演算処理部は、前記生成した画像の少なくとも一部を略台形状に変形する請求項４に記載の撮像装置。
6. 前記変形した画像は、略平面状の表示装置に表示される請求項５に記載の撮像装置。
7. 前記各カメラモジュールの前記各光学系は、緑域帯域の光線専用に設計している請求項１から６のいずれかに記載の撮像装置。
8. 前記各カメラモジュールの前記各光学系は、赤外線帯域の光線専用に設計している請求項１から６のいずれかに記載の撮像装置。
9. 前記各カメラモジュールは、緑域帯域の光線専用に設計した前記光学系と、赤外線帯域の光線専用に設計した前記光学系とを備えている請求項１から６のいずれかに記載の撮像装置。

Images