JP2023127089A - ステレオ画像処理装置 - Google Patents

Abstract

【課題】簡単な構造のステレオ画像処理装置を実現する。【解決手段】ステレオ画像を処理するステレオ画像処理装置であって、対象物の像を反射する複数の反射部と、対象物を撮影する１つのカメラを備え、カメラは複数の反射部により１度だけ反射した像を検出することを特徴とするステレオ画像処理装置。【選択図】図１

Description

本発明は、ステレオ画像処理装置に関する。

３次元的に物体を認識するための装置として、ステレオ画像処理装置（以下、ステレオカメラと呼ぶ）が知られている。ステレオカメラは、異なる位置に配置した複数のカメラの画像の写り方の違いを利用して、三角法に基づき複数の画像間の視差を検出し、その視差を用いて物体の奥行きや位置を検出するものであり、対象物の位置を正確に検出することができる。

一方でステレオカメラは、レンズやセンサを搭載したカメラモジュールを２つ用いる必要があるため、コストの課題がある。このような課題に対して、特許文献１、特許文献２が提案されている。

特許文献１では、温度変化に伴うレンズの歪み変化や取付具の取付位置変化に影響されず、かつ安価なステレオカメラを提供する、という課題に対して、被写体に対して視差を有する画像を取得するステレオカメラにおいて、直交する方向に偏光方向が異なる視差を有する２つの画像の光路を１つに重ね合わせるクロスプリズム２０５及び偏光ビームスプリッタ等を含む偏光合波手段と、少なくとも２つの偏光方向の輝度を検出する撮像素子２０２と、重ね合わさった画像を撮像素子２０２に結像させるレンズ２０４とを有する、としている。

また、特許文献２では、三次元撮像装置において、単一の撮像手段を用いて比較的簡単な構成でありながら充分な視差のある複数の画像を得ることの出来るようにする、という課題に対して、一つの撮像素子１と、その互いに異なる二つの撮像領域１ａ、１ｂに対して斜め外側を向くように設けられた一対の撮像素子側ミラー５ａ、５ｂと、これに対応してその外側に斜め前方を向くように配置され被写体からの光をその対応する撮像素子側ミラー５ａ、５ｂへ反射する一対の被写体側ミラー６ａ、６ｂと、これ等５ａ、５ｂ、６ａ、６ｂにより反射された同じ被写体からの光を撮像素子１の互いに異なる撮像領域１ａ、１ｂに結像する一対のレンズ３ａ、３ｂと、各撮像素子側ミラー５ａ、５ｂとレンズ３ａ、３ｂとの間に設けられた一対の絞り４ａ、４ｂからなる、としている。

特開２０００－２２７３３２号公報 特開２０１４－１９９２４１号公報

特許文献１、特許文献２には、少なくとも３つの課題がある。１つ目の課題に関して、特許文献１、特許文献２は、光学系を合理化することでカメラモジュールを１つにしている。一方で特許文献１は高価なプリズムを用いており、また特許文献２は４つのミラー部を用いるため、コストの課題は依然として残る。

２つ目の課題は、ミラーの大型化が挙げられる。特許文献１、特許文献２ともに２回の反射が必要となるためステレオカメラ内の光路長が長くなり、大型のミラーを用いなければ、これらの構成を実現できない。

３つ目の課題は耐環境性が挙げられる。ミラーが回転すると、反射光線はミラー回転量の２倍回転する。このため反射数が多くなることは耐環境性の観点からは望ましくない。

本発明は、上記のような課題に鑑みてなされたものであり、簡便な構造のステレオ画像処理装置を提供するものである。

以上のことから本発明においては、「ステレオ画像を処理するステレオ画像処理装置であって、対象物の像を反射する少なくとも１つ以上の反射部と、対象物を撮影する１つのカメラを備え、カメラは複数の反射部により１度だけ反射した像を検出することを特徴とするステレオ画像処理装置」としたものである。

また本発明においては、「ステレオ画像を処理するステレオ画像処理装置であって、対象物の像を反射する第１の反射部と第２の反射部と、対象物を撮影するカメラを備え、カメラの撮像部のセンサ上に入射する光であって、第１の反射部と第２の反射部に入射する光線からなる領域を第１の領域、第１の反射部に入射する光線を第１の仮想視点に延長したときの線からなる領域を第２の領域、第２の反射部に入射する光線を第２の仮想視点に延長したときの線からなる領域を第３の領域、第２の領域と第３の領域とを含む最小の凸領域を第４領域としたとき、第１の領域と第４の領域で構成される領域の外側にカメラの撮像部のレンズ瞳位置が配置されることを特徴とするステレオ画像処理装置」としたものである。

本発明に係るステレオ画像処理装置によれば、簡便な構造のステレオ画像処理装置を提供することができる。本発明の実施例によれば、具体的には低コスト、小型、耐環境性の高いステレオ画像処理装置とすることができる。

実施例１に係るステレオ画像処理装置の光学系の例を示す構成図。 垂直軸の正の位置から見た状態の光線を示す図。 水平軸の正の位置から見た状態の光線を示す図。 図２Ａ、図２Ｂにおける各光線により領域を区分した図。 図２Ａ、図２Ｂにおける各光線により領域を区分した図。 カメラモジュール２内のセンサ１００で対象物５を検出した画像Ｐ０例を示す図。 実施例１に係るステレオ画像処理装置の処理方法を示す図。 画像Ｐ３と画像Ｐ４のステレオ視共通領域（平面一致）を示す図。 画像Ｐ３と画像Ｐ４のステレオ視共通領域（平面不一致）を示す図。 平面ミラーの形状例を示す図。 センサを縦方向に配置したときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 ガラス板などを介して筐体外部の像を検出する例を示す図。 ステレオカメラ１０の構造部品の配置例を示す立体図。 ステレオカメラ１０の構造部品の配置例を示す平面図。 実施例２に係るステレオ画像処理装置の光学系の例を示す構成図。 実施例２に係るステレオ画像処理装置の検出画像を示す図。 主光線が奥行方向のマイナス側から入射する場合を示す図。 主光線が奥行方向のマイナス側から入射する場合を示す図。 センサを縦方向に配置したときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 実施例３に係るステレオ画像処理装置の光学系の例を示す構成図。 実施例３に係るステレオ画像処理装置の検出画像を示す図。 実施例３に係るステレオ画像処理装置の別の光学系の例を示す構成図。 実施例３に係るステレオ画像処理装置の別の光学系の例を示す構成図。 センサを縦方向に配置したときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 実施例４に係るステレオ画像処理装置の光学系の例を示す構成図。 実施例４に係るステレオ画像処理装置の検出画像を示す図。 センサを縦方向に配置したときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 実施例５に係るステレオ画像処理装置の光学系の例を示す構成図。 実施例５に係るステレオ画像処理装置の検出画像の例を示す構成図。 センサを縦方向に配置したときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。 ステレオカメラを奥行の軸に対して９０度回転させたときの画像例を示す図。

以下、添付図面を参照して本発明の実施例について説明する。

なお、添付図面では、機能的に同じ要素は同じ番号で表示している。また添付図面は本開示の原理に則った実施例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

本実施例では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

図１は、本発明の実施例１に係るステレオカメラ１０の光学系の構成例を示す図である。ステレオカメラ１０は、レンズ９９とセンサ１００から構成されるカメラモジュール２と、２つの平面ミラー４０Ｒ、平面ミラー４０Ｌにより構成され、さらにはカメラモジュール２で取得した画像を処理する演算部３を含むものとして構成することができる。ここでカメラモジュール２の主光線は、距離ｄのところで平面ミラー４０Ｒ、平面ミラー４０Ｌの境界部と交わるように配置されている。

ここで特許文献１、特許文献２では、ミラーの反射回数が２回のため、ステレオカメラの撮像方向とカメラの向いている方向が同じ方向を向いている。それに対し、本実施例のステレオカメラ１０では、ミラーの反射回数を１回としているため、ステレオカメラ１０の撮像方向とカメラモジュール２の向いている方向が略反転していることに特徴がある。そして、ミラーの反射回数が１回のため、特許文献１、特許文献２に対して耐環境性が高いという効果がある。

本実施例では、図１に示すような垂直、水平、奥行の軸を定義する。本実施例のステレオカメラ１０では、この奥行方向の距離を測定するものとする。

そして、本実施例のステレオカメラ１０は、１つのカメラモジュール２で２つの視点の画像を検出するため、２つの仮想視点（図示せず）に向かう２つの光軸ＯＡを定義する。ここでは平面ミラー４０Ｒを反射する光軸ＯＡ１と、平面ミラー４０Ｌを反射する光軸ＯＡ２とする。なお、ステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２は略平行である。ここで、ステレオカメラ１０外の光軸とは、平面ミラー４０Ｒと平面ミラー４０Ｌで反射する前の光軸とする。また、ステレオカメラ１０内の光軸とは、平面ミラー４０Ｒ、平面ミラー４０Ｌとカメラモジュール２の間の光軸とする。

本発明の基本構成例を示す図１によれば、本発明は「ステレオ画像を処理するステレオ画像処理装置であって、対象物の像を反射する少なくとも１つ以上の反射部４０Ｒ、４０Ｌと、撮影対象物を撮影する１つのカメラ９９を備え、カメラ９９は反射部４０Ｒ、４０Ｌにより１度だけ反射した像を検出する。」ように構成されたものである。なお図１において平面ミラー４０Ｒと平面ミラー４０Ｌは、一体物として構成することができるが、反射部としては２つを有している。

図２Ａ、図２Ｂを参照して、光軸と画角の関係を説明する。図２Ａはステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２からなる断面で見たとき（垂直軸の正の位置から見た状態）の光線、図２Ｂは光軸ＯＡ２上かつステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２からなる断面に対して垂直な断面で見たとき（水平軸の正の位置から見た状態）の光線を示している。ここでは、点線はカメラモジュール２に向かう光線を示している。

なお、図２Ａ、図２Ｂでは、垂直、水平、奥行の軸の定義例として、例えば路上９（あるいは図示せぬ車両）にステレオカメラ１０を設置して、路上９を走行する車両５までの距離を測定しようとするときに、前方車両までの距離を奥行き方向、２つの平面ミラーの配置方向を水平方向として撮影することを示している。本明細書における以下の説明は、この配置事例を基準配置例として行うものとし、配置例が相違する場合には、適宜その旨を図示表記する。

図２Ａ、図２Ｂに示すように、垂直・水平画角の光線（図中点線）は平面ミラー４０Ｌと平面ミラー４０Ｒを反射して、カメラモジュール２内のレンズ９９を経て、センサ１００に結像する。

ここで、カメラモジュール２に入射する光線であって、平面ミラー４０Ｒ、平面ミラー４０Ｌに向かう光線（図中点線）を延長した線を一点鎖線で示している。そして、一点鎖線の略交わる点を、平面ミラー４０Ｒについての仮想視点ＶＰ１、平面ミラー４０Ｌについての仮想視点ＶＰ２と定義する。

この仮想視点ＶＰ１、仮想視点ＶＰ２は、実効的なカメラモジュール２の位置を示している。これは、光線は平面ミラー４０Ｒと平面ミラー４０Ｌを反射するため、仮想視点ＶＰ１と仮想視点ＶＰ２から、それぞれ検出していることと同様となる。厳密には仮想視点ＶＰ１、仮想視点ＶＰ２はカメラモジュール２のレンズ９９の瞳位置相当となる。実際のレンズでは瞳位置は画角に応じて異なるため、仮想視点ＶＰ１、仮想視点ＶＰ２は一点に重ならないが、そのずれ量はミリメートルオーダと小さいため、例えば数メートル以上の距離を測定する場合は一点とみなしてよい。

本実施例のステレオカメラ１０は、図２Ｂに示すように、ステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面と、ステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面でなす角が所定角度αとなっていることが特徴である。もし、この２つの平面が一致するようにすると、カメラモジュール自身がセンサ上に結像されるため、利用できる画素数が低下する。このため、本実施例ではこの２つの面のなす角を所定角度αとすることで、平面ミラーを１回反射するだけで奥行方向の像を効率良く検出することができる。

なお、この構成では図２Ｂに示すように、カメラモジュール２の瞳位置は平面ミラー４０Ｌの法線４０ＭＡと平面ミラー４０Ｒの法線（図視せず）で構成される平面よりも下側に配置される。

図３Ａ、図３Ｂは、図２Ａ、図２Ｂにおける各光線により領域を区分した図である。ここで、平面ミラー４０Ｒ（第１の反射部）と平面ミラー４０Ｌ（第２の反射部）に入射する光線からなる領域を第１の領域Ｒ１、平面ミラー４０Ｒ（第１の反射部）に入射する光線を仮想視点ＶＰ１（第１の仮想視点）に延長したときの線（一点鎖線）からなる領域を第２の領域Ｒ２、平面ミラー４０Ｌ（第２の反射部）に入射する光線を仮想視点ＶＰ２（第２の仮想視点）に延長したときの線（一点鎖線）からなる領域を第３の領域Ｒ３、第２の領域Ｒ２と第３の領域Ｒ３とを含む最小の凸領域を第４領域Ｒ４としたとき、本発明では第１の領域Ｒ１と第４の領域Ｒ４で構成される領域Ｒの外側にカメラモジュール２のレンズ瞳位置を配置したものである。本実施例では、第１の領域Ｒ１と第４の領域Ｒ４で構成される領域の垂直方向の外側にカメラモジュール２は配置されている。

図４は、カメラモジュール２内のセンサ１００で対象物５を検出した画像Ｐ０を示している。なお、対象物５は図２の水平、奥行軸の断面に平行（ステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２からなる平面とも平行）な路上９上にあると仮定する。

画像Ｐ０は、分割線ＳＬで水平方向の画像領域ＩＭ１（第１のセンサ領域）と画像領域ＩＭ２（第２のセンサ領域）に２分割される。また、本実施例の特徴として路面９は、センサ上で斜めに検出される。これは、図２Ｂに示したステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面とステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面でなす角度が所定角度αとなっているためである。本実施例のステレオカメラ１０は画像内の画像領域ＩＭ１と画像領域ＩＭ２で反対方向に傾くことが特徴となる。なお、傾く方向についてはカメラモジュール２の配置位置に依って異なる。例えば、第１の領域Ｒ１と第４の領域Ｒ４で構成される領域Ｒに対して、下側に配置した場合は、図４のようになる。そして上側に配置した場合は、路面９は中央部分が凸形状となる。

ここで、本光学系構成の特徴について説明するため、図１および図２に示した下記パラメータを考える。これらのパラメータは、ステレオカメラ１０のステレオ視画角θ、平面ミラー４０Ｌと平面ミラー４０Ｒのなす角度γ、カメラモジュール２とミラー間距離ｄとした場合、本実施例のステレオカメラ１０は、カメラモジュール２の必要画角が（θ－β＋１８０）度以上、基線長Ｂが２×ｄ×ｓｉｎ（１８０－γ）、必要ミラーサイズ（水平方向）がｄ×｛ｓｉｎ（９０－γ／２）＋ｃｏｓ（９０－γ／２）×ｔａｎ（θ－γ／２＋９０）｝以上となる。

ここで必要画角、必要ミラーサイズについて等号が成り立つには、平面ミラー４０Ｒと平面ミラー４０Ｌのミラー面を接続し、所定角度αをゼロに近づけたときである。そして、この条件から離れるにつれ、必要画角、必要ミラーサイズは大きくしなければならない。

図５を参照して、ステレオカメラ１０の処理装置並びに処理方法を説明する。ステレオカメラ１０は、例えば自動車や二輪車などの車両に搭載され、車両から周囲の立体物（他の自動車、建物、歩行者など）までの距離を検出するのに用いられる。以下では、車両にステレオカメラ１０が搭載される場合を例として説明するが、これに限定される趣旨ではない。

ステレオカメラ１０は、カメラモジュール２により得られた画像に基づき、周囲の立体物を検知し、必要に応じて警報を発することができるように構成される。

本実施例のステレオカメラ１０における演算部３は、一例として、画像処理部２００、ステレオ視差画像生成部３００、ステレオ視立体物検知部５００、及び警報制御部７００とを備えて構成される。

ステレオカメラ１０では、カメラモジュール２内のセンサ１００により図４に例示した画像Ｐ０が検出されている。画像Ｐ０は、演算部３の最初の処理機能である画像処理部２００に与えられ、そして、画像Ｐ０は画像分離手段６０により仮想視点ＶＰ１、仮想視点ＶＰ２に応じて、２つの画像Ｐ１（第１の検出画像）と画像Ｐ２（第２の検出画像）に分離される。

画像処理部２００は、一例として、さらにアフィン処理手段２０ａ、２０ｂ、輝度補正手段２１ａ、２１ｂ、画素補間手段２２ａ、２２ｂ、及び輝度情報生成手段２３ａ、２３ｂを備えて構成される。画像処理部２００は、画像Ｐ１及び画像Ｐ２の夫々に対して、これらの所定の画像処理を適用し、ステレオ視差画像生成部３００に供給する。

まずアフィン処理手段２０ａは、画像Ｐ１にアフィン処理を適用する。アフィン処理は、例えば線形の座標変換処理であるが、非線形の演算を含むものであってもよい。このアフィン処理を行った結果として、アフィン処理手段２０ａは画像Ｐ３（第３の画像）を取得する。同様に、アフィン処理手段２０ｂは、画像Ｐ２にアフィン処理を適用して画像Ｐ４（第４の画像）を取得する。

本実施例では、アフィン処理手段２０ａ、アフィン処理手段２０ｂにより図４に示す画像の傾きを補正する。ここでは画像Ｐ１（第１の検出画像）と画像Ｐ２（第２の検出画像）で反対方向の傾き処理が行われる。これにより、画像Ｐ３と画像Ｐ４の水平軸が平行となるため、各ラインでマッチング処理を実行することができるため、視差処理が簡易に実行できるようになる。

輝度補正手段２１ａは、画像Ｐ３の各画素の輝度を補正する。例えば、画像Ｐ３内の各画素のゲインの違い等に基づいて、画像Ｐ３の各画素の輝度の補正が行われる。同様に、輝度補正手段２１ｂは画像Ｐ４の各画素の輝度を補正する。

画素補間手段２２ａは、画像Ｐ３に対してデモザイキング処理を行う。例えば、ＲＡＷ画像からカラー画像への変換が行われる。同様に、画素補間手段２２ｂは、画像Ｐ４に対してデモザイキング処理を行う。

輝度情報生成手段２３ａは、画像Ｐ３の輝度情報を生成する。例えば、カラー画像を表す情報を、視差画像を生成するための輝度情報に変換する。同様に、輝度情報生成手段２３ｂは、画像Ｐ４の輝度情報を生成する。

次にステレオ視差画像生成部３００は、得られた画像Ｐ３、Ｐ４のうち、ステレオ視共通領域の画像を利用して、ステレオ視差画像を生成する。ここで、ステレオ視共通領域について説明する。図６Ａ、図６Ｂは、画像Ｐ３と画像Ｐ４のステレオ視共通領域を、平面一致の場合と平面不一致の場合について示したものである。

図６Ａは、ステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面とステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面が一致する場合を示している。上述したようにこの場合、カメラモジュール２自身がセンサ上に結像されるため、利用できる画素数が低下するが、ここでは説明を簡単にするため画素数低下は議論しないものとする。

そして、図６Ｂはステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面とステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面でなす角度が所定角度αの場合（平面不一致）を示している。

図６Ａに対して図６Ｂは、点線で示す画像Ｐ３、一点鎖線で示す画像Ｐ４が反対方向に傾く。このため、斜線領域で示す画像Ｐ３、画像Ｐ４のステレオ視共通領域ＣＡが角度αに応じて変化することがわかる。ステレオ視共通領域の観点では、角度αは小さいことが望ましい。ただし、画像Ｐ３もしくは画像Ｐ４で検出される片方の画像で下側を検知したいなどの要求に応じて、角度αを設定してもよい。

図５のステレオ視差画像生成部３００では、画像Ｐ３、Ｐ４のうち、ステレオ視共通領域ＣＡの画像を利用して、ステレオ視差画像を生成する。ステレオ視差画像生成部３００は、露光調整部２１０、感度調整部２２０を備え、カメラモジュール２の露光量、感度等についてのカメラモジュール２へのフィードバック制御を実行することができる。

また、ステレオ視差画像生成部３００は更に、２つの画像の幾何補正を行う幾何補正部２３０、左右の画像のマッチング処理を行うマッチング部２４０、画素シフト量を演算する画素シフト量演算部２６０、を備える。画素シフト量演算部２６０は、アフィン処理手段２０ａ、２０ｂとともに画素シフト補正処理部を構成する。

ステレオ視立体物検知部５００は、ステレオ視差画像生成部３００で生成されたステレオ視差画像に従い、ステレオ視領域における立体物の検知を行う。また、検知された立体物に対し、ステレオマッチングを適用して視差を検出すると共に、立体物の種別（歩行者、自転車、車両、建物など）を識別する。

立体物を検知するとともに、立体物の種別を識別することにより、更に予防安全に利用する種別を特定する。車両が検知された場合、その検知結果は先行車の追従制御や、緊急時のブレーキ制御などに利用することができる。検知された立体物が歩行者や自転車の場合には、緊急ブレーキ制御や、警報の制御を実行することができる。これら検知した物体に対して距離を計測するとともに時系列にトラッキングしている対象物の移動速度を推定することで、より適切な警報や制御を警報制御部７００で実施することができる。

以上のような光学系、処理方法により、１つのカメラモジュールと２つの平面ミラーのみでステレオカメラを実現できる。これにより、低コスト、小型、耐環境性という従来の課題を解決することができる。

ここで、本実施例の検出方式は原理的にレンズの射影方式には依存しない。例えば通常のレンズの射影である中心射影（ｆｔａｎθ）や魚眼レンズの射影である正射影（ｆｓｉｎθ）、等距離射影（ｆθ）、等立体射影（２ｆｓｉｎ（θ／２））、立体射影（２ｆｔａｎ（θ／２））であってもよい。ただし、これら射影の中で最も効率良くステレオ視を実現できるのは、等距離射影（ｆθ）である。以下、その理由について説明する。

他の射影の場合、センサ上の２つの光軸ＯＡ１と光軸ＯＡ２はレンズ光軸（レンズ中心から延びる軸）から等距離にあるため、解像度が等しい。一方で、２つの画像Ｐ３、画像Ｐ４の右側（または左側）領域の画像はレンズ光軸からの距離が一致しないため、レンズ解像度が異なる。異なる解像度では視差誤差が発生しやすいという課題がある。例えば画角に応じて解像度を変化させるデジタルフィルタを用いて処理を行うことで視差誤差を低減することもできるが、視差の精度は２つの画像Ｐ３、Ｐ４のうち解像度の低い方で決まるため、結果として距離の測定精度が下がる。

それに対し、等距離射影（ｆθ）ではレンズ光軸からの位置に依らず、解像度は一定である。このため、２つの画像Ｐ３、画像Ｐ４の右側（または左側）の解像度が一致する。これにより、最も効率良くステレオ視を実現できるのである。そして、ミラーの傾きずれが発生した場合には回転ずれ角度を検出画像内の全画像に対する固定値として補正できる利点がある。

また、本実施例では四角形のミラー形状で説明したがミラーの形状は限定されない。例えば、小型化を図るために平面ミラーの形状を例えば図７のような形状としても良い。このような形状となる理由は、カメラモジュール２の瞳位置と平面ミラー４０Ｌ（または平面ミラー４０Ｒ）間の距離が画角に依って必要なミラーサイズが異なるためである。例えばカメラモジュール２内のレンズ９９のレンズ瞳位置と平面ミラー４０Ｌ（または平面ミラー４０Ｒ）間の距離が近い場合にはミラー部は小さく、遠い場合にはミラー部は大きくなる。

さらに、本実施例では横長のセンサを横方向に配置したが、図８Ａのようにセンサ１００を縦方向に配置してもよい。この場合には、垂直方向（図中縦方向）の画角を広角化できる利点がある。そして、ステレオカメラを奥行の軸に対して例えば９０度回転させてもよい。その場合には、図８Ｂ、図８Ｃのような画像が得られる。図４と図８Ａの場合には、水平方向の視差を検出したが、図８Ｂ、図８Ｃの場合には、垂直方向の視差を検出する。図８Ｂは垂直方向の画角を広角化できる利点がある。また、図８Ｃは水平方向の画角を広角化できる利点がある。

一方で、センサの検出がローリングシャッタ方式の場合には、検出の高速性の観点で、良い検出方法がある。例えばセンサ検出としてセンサ長手方向に走査し、それをセンサ短手方向に検出を繰り返す場合には、図４や図８Ｂが検出の高速性の観点で有利となる。図４や図８Ｂでは、長手方向の検出信号を用いて視差が検出される。このため視差を検出する２つの画像の検出時間のずれは小さい。一方で、図８Ａや図８Ｂの場合には、短手方向の検出信号を用いて視差検出を行うため、検出時間のずれが図４や図８Ｂに比べて大きくなってしまう。検出時間のずれが小さいければ、ステレオカメラ１０を搭載した車や二輪などの高速走行時に高い測距精度が得られる。

そして、本実施例ではステレオ視の画角を大きくする観点から、センサ１００上の２つの視点を等分したが、これには限定されない。図２Ａの平面ミラー４０Ｒ、平面ミラー４０Ｌをカメラモジュール２に対して、水平方向にずらすことで仮想視点ＶＰ１または仮想視点ＶＰ２の画角を大きくできる。例えば、車載ステレオカメラで左車線を走行する車両の走行状況を把握する場合、交差点では左折、右折に依って検出が必要な角度が異なる。これに対応するため、平面ミラー４０Ｒ、平面ミラー４０Ｌをカメラモジュールに対して、水平方向にずらしてもよい。

さらに本実施例では、２つのミラーは平面であった。一方で、視野の広角化を図るために、ミラーを曲面にしても良い。このような構成とすることで、広角レンズを用いずに広角のステレオカメラを実現することができる。

また、曲面とすることで、ステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面とステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面の角度を小さくすることができる。これにより、２つの画像の傾きを小さくすることができ、ステレオ視共通領域ＣＡを大きくすることができる。なお、曲面の方向は１次元方向でも、２次元方向でも同様の効果を得ることができる。

一方で、曲面ミラーよりも平面ミラーの方が距離の測定精度は高い。この理由としては、収差の影響がある。曲面ミラーの場合、センサ上の１画素を構成する光線束に対して、異なる傾きとなるため、収差が発生する。これにより、解像度が低下する。もう一つの理由としては、曲面ミラーはミラーの回転ずれ、位置ずれに対するロバスト性が低い。平面ミラーは位置にほとんど依存しないが、曲面ミラーは位置の依存性が大きい。このため、実用を考慮すると、ロバスト性の高い平面ミラーが望ましい。

そして、本実施例ではカメラモジュール２と２つの平面ミラー４０Ｒ、平面ミラー４０Ｌの構成で説明したが、光学系一部もしくは全部を筐体の中に入れ、ガラス板などを介して筐体外部の像を検出しても良い。この場合、ガラス板の反射による迷光の影響を考慮し、ガラス板を光軸に対して傾けてもよい。

特に、図９に示すようにガラス板６５をステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面に対して、９０度から傾けることで反射した迷光を効率的に回避することができる。それに対して垂直方向の軸で傾ける場合には、水平画角が大きいため、回避するにはガラスを大きく傾けなければならず、ガラスによる屈折の影響や筐体の大きさが課題となる。

このため、例えば図８Ａのようにセンサ１００を縦方向に配置した場合は、ガラス板６５をステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２に対して、水平方向に傾けることで反射した迷光を効率的に回避することができる。センサが垂直方向よりも水平方向に長い場合には、透明媒体を水平方向の軸で傾け、センサが垂直方向よりも水平方向に短い場合には、ガラス板６５（透明媒体）を垂直方向の軸で傾ける。

そして、本実施例では、平面ミラー４０Ｒ、平面ミラー４０Ｌを２つのミラーとして配置したが、一体型で成形してもよい。

図１０Ａ、図１０Ｂは、本実施例のステレオカメラ１０の構造部品の配置図を示している。図１０Ａは立体形状であり、図１０Ｂは平面図である。ここではカメラモジュール２、平面ミラー４０Ｒ、平面ミラー４０Ｌを保持具１９８で保持している。また、これら部品を筐体２９８およびガラス板６５で保護するような構成となっている。

ステレオカメラ１０は、カメラモジュール２、平面ミラー４０Ｒ、平面ミラー４０Ｌを保持具１９８に取り付けることで、これら部品を安定して固定することができ、温度変化や経時変化による影響を低減することができる。なお、図１０Ａ、図１０Ｂではステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面に対してカメラを下側に配置したが、上側に配置しても同様の効果が得られる。

図１１は、本発明の実施例２に係るステレオカメラ１０の光学系の構成図である。本実施例のステレオカメラ１０は、実施例１と同様にミラーの反射回数が１回であることが特徴である。

ここではステレオカメラ１０を実現する２つの光軸を以下のように定義する。平面ミラー３０Ｒを反射する光軸ＯＡ３と平面ミラー３０Ｌを反射する光軸ＯＡ４とする。本実施例ではステレオカメラ１０内の光軸ＯＡ３と光軸ＯＡ４で作られる平面と、ステレオカメラ１０外の光軸ＯＡ３と光軸ＯＡ４で作られる平面が略一致する。実施例１では、第１の領域Ｒ１と第４の領域Ｒ４で構成される領域の垂直方向の外側にカメラモジュールは配置されていたが、本実施例のステレオカメラ１０では水平方向の外側にカメラモジュールが配置されている点が異なる。

図１１を参照して、光軸と画角の関係を説明する。図１１は、ステレオカメラ１０外の光軸ＯＡ３と光軸ＯＡ４からなる断面で見たとき（垂直軸の正の位置から見た状態）の構成を示している。ここでは、点線はカメラモジュール２に向かう光線を示している。

図１１に示すように、垂直・水平画角の光線（図中点線）は平面ミラー３０Ｒと平面ミラー３０Ｌを反射して、カメラモジュール２内のレンズ９９を経て、センサ１００に結像する。ここで、カメラモジュール２に入射する光線であって、平面ミラー３０Ｒ、平面ミラー３０Ｌに向かう光線（点線）を延長した線を一点鎖線で示している。

そして、一点鎖線の略交わる点を仮想視点ＶＰ３、仮想視点ＶＰ４と定義する。この仮想視点ＶＰ３、仮想視点ＶＰ４は実効的なカメラモジュール２の位置を示している。これは、光線は平面ミラー３０Ｒと平面ミラー３０Ｌを反射するため、仮想視点ＶＰ３と仮想視点ＶＰ４から、それぞれ検出していることと同様となる。このため、本実施例では水平方向の２つの仮想視点ＶＰ３と仮想視点ＶＰ４から検出した像を用いて対象物までの距離と位置を検出する。図１１の場合、基線長Ｂの方向に対して垂直方向となる基準軸ＳＡ３、基準軸ＳＡ４と光軸ＯＡ３、光軸ＯＡ４が異なっている。この場合であっても初期画角がずれているだけで距離の測定は可能である。

図１２は、カメラモジュール２内のセンサ１００で検出した画像Ｐ０を示している。画像Ｐ０は、分割線ＳＬで水平方向に２分割される。実施例１では画像が傾いて検出されたが、本実施例の構成では、ステレオカメラ１０内の光軸ＯＡ３と光軸ＯＡ４とステレオカメラ１０外の光軸ＯＡ３と光軸ＯＡ４で作られる平面が略一致しているため、画像が傾かない。このため、本実施例は実施例１に対して、ステレオ視共通領域ＣＡを大きくすることができる。

実施例１では画像が傾くため、視差を検出するために必要な垂直位置が画像Ｐ０内で異なる。この場合、ローリングシャッタのセンサを用いると画像ＩＭ１と画像ＩＭ２で対象物の検知位置ずれが起こり、検出時間がずれるため、高速走行時の視差誤差が発生する。例えば、図４の画像ＩＭ１と画像ＩＭ２の車両右側位置の垂直方向位置が異なることを示している。一方で、本実施例の構成では、画像が傾かないことから、ローリングシャッタのセンサを用いても仮想視点ＶＰ３と仮想視点ＶＰ４の検出時間ずれが小さいため、高速走行時の視差誤差は発生しにくい利点がある。

本実施例では、画像Ｐ０に対して実施例１の図５と同様の処理を行うことで、１つのカメラモジュールと２つの平面ミラーのみでステレオカメラを実現できる。これにより、低コスト、小型、耐環境性という従来の課題を解決することができる。

なお、図１１に示すステレオカメラ１０の平面ミラー３０Ｒと平面ミラー３０Ｌの位置と角度は限定されない。例えば、図１３Ａ、図１３Ｂのように光軸ＯＡ３と光軸ＯＡ４と基線長Ｂの方向が垂直となるようにしてもよい。図１３Ａはカメラモジュールの主光線が奥行方向のマイナス側から入射する場合、図１３Ｂはカメラモジュール２の主光線が奥行方向のプラス側から入射する場合、を示している。

ここで、図１３Ａに示すように光軸ＯＡ３が平面ミラー３０Ｒを反射した光軸ＯＡ３の水平軸に対する角度を角度θ３、平面ミラー３０Ｒからカメラモジュール２の瞳までの光軸ＯＡ３の距離をｄ３とする。また、光軸ＯＡ４が平面ミラー４０Ｒを反射した光軸ＯＡ４の水平軸に対する角度を角度θ４、平面ミラー４０Ｒからカメラモジュール２の瞳までの光軸ＯＡ４の距離をｄ４とする。ここで、光軸ＯＡ３と光軸ＯＡ４と基線長Ｂの方向が垂直となるようにするには、ｄ１（１＋ｓｉｎθ１）＝ｄ２（１＋ｓｉｎθ２）とすればよい。

なお、本実施例では平面ミラー３０Ｒと平面ミラー３０Ｌを近づけて配置したが、平面ミラー３０Ｒと平面ミラー３０Ｌを離して配置することで、基線長を変えることが可能となる。これにより、遠方検出も実現できる。

そして、本実施例では横長のセンサを横方向に配置したが、図１４Ａのようにセンサ１００を縦方向に配置してもよい。この場合には、垂直方向（図中縦方向）の画角を広角化できる利点がある。そして、ステレオカメラ１０を奥行の軸に対して例えば９０度回転させてもよい。その場合には、図１４Ｂ、図１４Ｃのような画像が得られる。図１２と図１４Ａの場合には、水平方向の視差を検出したが、図１４Ｂ、図１４Ｃの場合には、垂直方向の視差を検出する。図１４Ｂは垂直方向の画角を広角化できる利点がある。また、図１４Ｃは水平方向の画角を広角化できる利点がある。

さらに本実施例では、２つのミラーは平面であった。一方で、視野の広角化を図るために、ミラーを曲面にしても良い。このような構成とすることで、広角レンズを用いずに広角のステレオカメラを実現することができる。また、曲面とすることで、ステレオカメラ１０内の光軸ＯＡ３と光軸ＯＡ４で作られる平面とステレオカメラ１０外の光軸ＯＡ３と光軸ＯＡ４で作られる平面の角度を小さくすることができる。これにより、２つの画像の傾きを小さくすることができ、ステレオ視共通領域ＣＡを大きくすることができる。

なお、曲面の方向は１次元方向でも２次元方向でも同様の効果を得ることができる。ただし、曲面ミラーよりも平面ミラーの方が距離の測定精度は高い。この理由としては、収差の影響がある。曲面ミラーの場合、センサ上の１画素を構成する光線束に対して、異なる傾きとなるため、収差が発生する。これにより、解像度が低下する。もう一つの理由としては、曲面ミラーはミラーの回転ずれ、位置ずれに対するロバスト性が低い。平面ミラーは位置にほとんど依存しないが、曲面ミラーは位置の依存性が大きい。このため、実用を考慮すると、ロバスト性の高い平面ミラーが望ましい。

また、平面ミラー３０Ｒと平面ミラー３０Ｌの大きさは限定されない。例えば、カメラモジュール２に近い方の平面ミラー３０Ｌは遠い方の平面ミラー３０Ｒに対して小型化することができる。また、平面ミラーの大きさも非対称であってもよい。これにより、ステレオカメラ装置の小型化が実現できる。

図１５は、本発明の実施例３に係るステレオカメラ１０の光学系の構成図である。本実施例のステレオカメラ１０は、実施例１と同様にミラーの反射回数が１回であることが特徴である。

ここではステレオカメラを実現する２つの光軸を以下のように定義する。平面ミラー６０Ｒを反射する光軸ＯＡ５と平面ミラー６０Ｌを反射する光軸ＯＡ６とする。実施例１では、ステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面とステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面でなす角度が所定角度αとなっていたが、本実施例ではステレオカメラ１０内の光軸ＯＡ５と光軸ＯＡ６で作られる平面とステレオカメラ１０外の光軸ＯＡ５と光軸ＯＡ６で作られる平面が略一致することが異なる。本実施例の場合、ステレオカメラ１０の撮像方向とカメラモジュール２の向いている方向が略反転している。

図１５を参照して、光軸と画角の関係を説明する。図１５は、ステレオカメラ１０外の光軸ＯＡ５と光軸ＯＡ６からなる断面で見たとき（垂直軸の正の位置から見た状態）の構成を示している。ここでは、点線はカメラモジュール２に向かう光線を示している。

図１５に示すように、垂直・水平画角の光線（図中点線）は平面ミラー６０Ｒと平面ミラー６０Ｌを反射して、カメラモジュール２内のレンズ９９を経て、センサ１００に結像する。ここで、カメラモジュール２に入射する光線であって、平面ミラー６０Ｒ、平面ミラー６０Ｌに向かう光線（点線）を延長した線を一点鎖線で示している。そして、一点鎖線の略交わる点を仮想視点ＶＰ５、仮想視点ＶＰ６と定義する。

この仮想視点ＶＰ５、仮想視点ＶＰ６は実効的なカメラモジュール２の位置を示している。これは、光線は平面ミラー６０Ｒと平面ミラー６０Ｌを反射するため、仮想視点ＶＰ５と仮想視点ＶＰ６から、それぞれ検出していることと同様となる。このため、本実施例では水平方向の２つの仮想視点ＶＰ５と仮想視点ＶＰ６から検出した像を用いて対象物までの距離と位置を検出する。

本実施例では、カメラモジュール２自身がセンサ上で結像しないような画角の光線となるように平面ミラー６０Ｒ、平面ミラー６０Ｌの位置と角度が定められている。

ここで、図１５に示す本実施例の構成では、平面ミラー６０Ｒに入射する（光軸ＯＡ５を含む）光線とそれを延長した光線からなる領域（点線および一点鎖線で示される範囲）と平面ミラー６０Ｌに入射する（光軸ＯＡ６を含む）光線とそれを延長した光線からなる領域（点線および一点鎖線で示される範囲）の間にカメラモジュール２内のレンズ９９の瞳位置があることが特徴となる。

図１５では、平面ミラー６０Ｒと平面ミラー６０Ｌは、互いに分離され離れた位置に配置されている。この結果、カメラ９９は３つの方向からの光線を受光することが可能になる。このうちの２つは、平面ミラー６０Ｒと平面ミラー６０Ｌからのものであり、残りの１つはカメラ９９の正面の方向（記号Ｂの方向）である。但し、図１５の場合、通常であればカメラ９９の正面の方向は、ステレオカメラ本体のケースにより覆われているので、この方向からの入光は存在しない。

図１６は、カメラモジュール２内のセンサ１００で検出した画像Ｐ０を示している。画像Ｐ０は、分割線ＳＬ１、分割線ＳＬ２で水平方向に３分割されて、３つの画像領域が形成されたことを示している。平面ミラー６０Ｒ、６０Ｌからの反射光を受光する両端の画像領域には対象物５が投影されているが、中央の画像領域では受光がないためにこの状態では対象物は映っていない。なお、図１６における画像領域は、撮像部のセンサ上に、第１のセンサ領域、第２のセンサ領域、第３のセンサ領域の少なくとも３領域のセンサ領域があることを意味している。

なお実施例１では画像が傾いて検出されたが、本実施例の構成では、ステレオカメラ１０内の光軸ＯＡ５と光軸ＯＡ６とステレオカメラ１０外の光軸ＯＡ５と光軸ＯＡ６で作られる平面が略一致しているため、画像が傾かない。

本実施例では、画像Ｐ０に対して、画像分岐手段６０により両端の画像領域から画像ＩＭ１と画像ＩＭ２を生成し、実施例１の図５と同様の処理を行うことで、１つのカメラモジュールと２つの平面ミラーのみでステレオカメラを実現できる。これにより、低コスト、小型、耐環境性という従来の課題を解決することができる。

本実施例ではステレオカメラ１０内の光軸ＯＡ５と光軸ＯＡ６で作られる平面とステレオカメラ１０外の光軸ＯＡ５と光軸ＯＡ６で作られる平面が一致するようにしているため、カメラモジュール２の分だけ画角が小さくなってしまう。一方で、カメラモジュールが小型であればその影響は非常に小さくなるため、実施例１と同様の効果が得られる。

本発明では、図１６の中央の画像領域についても積極的に利用して画像形成を行うものである。例えばステレオカメラ１０を図１７Ａ、図１７Ｂのように構成し、認識などの処理を行うことで画素を有効に使うことが可能である。

図１７Ａの構成例では、カメラ９９の正面の方向にあるステレオカメラ本体のケースに穴３０をあけて、外光を取り込むようにしている。図１７Ａによれば画像ＩＭ１、画像ＩＭ２でステレオ視する方向（奥行方向のプラス側）に対して、画像ＩＭ３は反対の方向を検出することができる。例えば、自動車や二輪車などでは安全を担保するため、前方だけでなく後方を検知することが望ましい。

図１７Ａのように検出することで、前方だけでなく後方を検出することが可能となる。このようにすることで、例えば画像ＩＭ３を用いて後方・側方の自動車や二輪車などを検出可能となる。また、画像ＩＭ１、画像ＩＭ２（前方）と画像ＩＭ３（後方）の画像を比較することで、車両のロール、ピッチ、ヨー方向の傾きを検知することができる。特に二輪車では自動車に対してロール、ピッチ、ヨー方向の傾きが大きくなるため、正確な警報や制御を行うためにはそれらを検知する必要があり、本情報を用いてそれら情報を得ることができる。

さらに例えば、画像ＩＭ３を用いて自動車車内をモニタリングすることも可能である。この情報を用いて、ドライバの状態、顔認証によるエンジン始動、車内の置き忘れ検知などの機能を追加することができる。また、二輪車であれば、この情報を用いて、所有者かどうかの判断を行い、盗難防止などの機能を追加することも可能である。これらの機能を実現するために例えばレンズ９９は内周部と外周部で特性を変えてもよい。この場合、ステレオ視する領域（画像ＩＭ１、ＩＭ２）は遠方の解像度が高い、単眼視する領域（ＩＭ３）は近傍の解像度が高いようにしてもよい。

図１７Ｂは、カメラ９９の正面の方向に平面ミラー４２９を設置したものである。平面ミラー４２９が向かう方向に応じて、前後以外の多方面の監視が可能となる。例えば、平面ミラー４２９を用いて、画像ＩＭ３で垂直方向のマイナス側を検出することでステレオカメラ１０に対して近傍の対象物や路面を検出することができる。さらに平面ミラー４２９を用いて、画像ＩＭ３で垂直方向のプラス側を検出することで交通信号や標識を認識することも可能である。

そして、本実施例では横長のセンサを横方向に配置したが、図１８Ａのようにセンサ１００を縦方向に配置してもよい。この場合には、垂直方向（図中縦方向）の画角を広角化できる利点がある。そして、ステレオカメラ１０を奥行の軸に対して例えば９０度回転させてもよい。その場合には、図１８Ｂ、図１８Ｃのような画像が得られる。図１６と図１８Ａの場合には、水平方向の視差を検出したが、図１８Ｂ、図１８Ｃの場合には、垂直方向の視差を検出する。図１８Ｂは垂直方向の画角を広角化できる利点がある。また、図１８Ｃは水平方向の画角を広角化できる利点がある。

さらに、図１５に示す本実施例ではカメラモジュール２、平面ミラー６０Ｒ、平面ミラー６０Ｌを同一平面（奥行方向と水平方向で形成される平面）としているが、カメラモジュール２が垂直方向にずれた構成でも同様の効果が得られる。この場合には、図１に近い構成となる。

また、カメラモジュール２の結像レンズは図１と同様の理由により等距離射影が望ましい。一方で、等距離射影よりも、中心画角で像が圧縮され、広角側で像が拡大される射影とすることで画像ＩＭ１、画像ＩＭ２でステレオ視する視野を拡大することができる。例えば、一般的な射影の場合、中心射影（ｆｔａｎθ）や立体射影（２ｆｔａｎ（θ／２））のような広角側である。

実施例３で説明したステレオ画像処理装置は、「対象物５の像を反射する第一の反射部６０Ｒ、第二の反射部６０Ｌと、対象物５を撮影する撮像部９９を備え、撮像部９９のセンサ上は、第１のセンサ領域ＩＭ１、第２のセンサ領域ＩＭ２、第３のセンサ領域ＩＭ３の少なくとも３領域のセンサ領域があり、第３のセンサ領域ＩＭ３は第１のセンサ領域ＩＭ１と第２のセンサ領域ＩＭ２の間に挟まれており、第１のセンサ領域ＩＭ１には、対象物５からの光であって第１の反射部６０Ｒで反射された光が入射し、第２のセンサ領域ＩＭ２には、対象物５からの光であって第２の反射部６０Ｌで反射された光が入射することを特徴とする」ように構成されたものである。

図１９は、本発明の実施例４に係るステレオカメラ１０の光学系の構成例を示す図である。本実施例のステレオカメラ１０は、実施例１と同様にミラーの反射回数が１回であることが特徴である。

ここでは平面ミラー７０Ｒを反射する光軸をＯＡ７、平面ミラー７０Ｌを反射する光軸をＯＡ８とする。実施例１では、ステレオカメラ１０内の光軸ＯＡ１と光軸ＯＡ２で作られる平面とステレオカメラ１０外の光軸ＯＡ１と光軸ＯＡ２で作られる平面でなす角度が所定角度αとなっていたが、本実施例ではステレオカメラ１０内の光軸ＯＡ７と光軸ＯＡ８で作られる平面とステレオカメラ１０外の光軸ＯＡ７と光軸ＯＡ８で作られる平面が略一致することが異なる。また、実施例３ではステレオカメラ１０の撮像方向とカメラモジュール２の向いている方向が略反転していたのに対し、本実施例のステレオカメラ１０は撮像方向とカメラモジュール２の向いている方向が略一致していることが異なる。

図１９を参照して、光軸と画角の関係を説明する。図１９は、ステレオカメラ１０外の光軸ＯＡ７と光軸ＯＡ８からなる断面で見たとき（垂直軸の正の位置から見た状態）の構成を示している。ここでは、点線はカメラモジュール２に向かう光線を示している。

図１９に示すように、垂直・水平画角の光線（図中点線）は平面ミラー７０Ｒと平面ミラー７０Ｌを反射して、カメラモジュール２内のレンズ９９を経て、センサ１００に結像する。ここで、カメラモジュール２に入射する光線であって、平面ミラー７０Ｒ、平面ミラー７０Ｌに向かう光線（点線）を延長した線を一点鎖線で示している。

そして、一点鎖線の略交わる点を仮想視点ＶＰ７、仮想視点ＶＰ８と定義する。この仮想視点ＶＰ７、仮想視点ＶＰ８は実効的なカメラモジュール２の位置を示している。これは、光線は平面ミラー７０Ｒと平面ミラー７０Ｌを反射するため、仮想視点ＶＰ７と仮想視点ＶＰ８から、それぞれ検出していることと同様となる。このため、本実施例では水平方向の２つの仮想視点ＶＰ７と仮想視点ＶＰ８から検出した像を用いて対象物までの距離と位置を検出する。本実施例では、カメラモジュール２の広角部を用いてステレオ視を行うことが特徴となる。

図２０は、カメラモジュール２内のセンサ１００で検出した画像Ｐ０を示している。画像Ｐ０は、分割線ＳＬ１、分割線ＳＬ２で水平方向に３分割されて、３つの画像領域が形成されたことを示している。平面ミラー７０Ｒ、７０Ｌからの反射光を受光する両端の画像領域、および中央の画像領域では対象物５が投影されている。なお、図２０における画像領域は、撮像部のセンサ上に、第１のセンサ領域、第２のセンサ領域、第３のセンサ領域の少なくとも３領域のセンサ領域があることを意味している。

実施例１では画像が傾いて検出されたが、本実施例の構成では、ステレオカメラ１０内の光軸ＯＡ７と光軸ＯＡ８とステレオカメラ１０外の光軸ＯＡ７と光軸ＯＡ８で作られる平面が略一致しているため、画像が傾かない。

ここで、図１９に示す本実施例の構成では、平面ミラー７０Ｒに入射する（光軸ＯＡ７を含む）光線とそれを延長した光線からなる領域（点線および一点鎖線で示される範囲）と平面ミラー７０Ｌに入射する（光軸ＯＡ８を含む）光線とそれを延長した光線からなる領域（点線および一点鎖線で示される範囲）の間にカメラモジュール２内のレンズ９９の瞳位置があることが特徴となる。

本実施例では、画像Ｐ０に対して、画像分岐手段６０により画像ＩＭ１と画像ＩＭ２を生成し、実施例１の図５と同様の処理を行うことで、１つのカメラモジュールと２つの平面ミラーのみでステレオカメラを実現できる。これにより、低コスト、小型、耐環境性という従来の課題を解決することができる。

本実施例の画像ＩＭ１、画像ＩＭ２、画像ＩＭ３は異なる解像度であってもよい。例えばレンズ９９の周辺部と中央部で異なる解像度としてもよい。レンズ９９の周辺部の解像度を高くすることで、遠方にある対象物の距離の測定が可能となる。そして、レンズ９９の中央部の解像度を低くして広角化することが可能となる。また、逆に中央部の解像度を高くすることで、単眼視ではあるが遠方にある対象物の検出が可能となる。そして、レンズ９９の周辺部の解像度を低くして広角化することが可能となる。

そして、本実施例では横長のセンサを横方向に配置したが、図２１Ａのようにセンサ１００を縦方向に配置してもよい。この場合には、垂直方向（図中縦方向）の画角を広角化できる利点がある。そして、ステレオカメラ１０を奥行の軸に対して例えば９０度回転させてもよい。その場合には、図２１Ｂ、図２１Ｃのような画像が得られる。図２０と図２１（Ａ）の場合には、水平方向の視差を検出したが、図２１Ｂ、図２１Ｃの場合には、垂直方向の視差を検出する。図２１Ｂは垂直方向の画角を広角化できる利点がある。また、図２１Ｃは水平方向の画角を広角化できる利点がある。

さらに、実施例３同様にミラーを使うことでステレオカメラ１０に対して近傍の対象物、路面、交通信号、標識などのステレオカメラ１０に対して上下方向の情報を画像ＩＭ３で検出することができる。

そして、図１９に示す本実施例ではカメラモジュール２、平面ミラー７０Ｒ、平面ミラー７０Ｌを同一平面（奥行方向と水平方向で形成される平面）としているが、カメラモジュール２が垂直方向にずれた構成でも同様の効果が得られる。

また、カメラモジュール２の結像レンズは実施例１と同様の理由により等距離射影が望ましい。一方で、等距離射影よりも、中心画角で像が圧縮され、広角側で像が拡大される射影とすることで画像ＩＭ１、画像ＩＭ２でステレオ視する視野を拡大することができる。例えば、一般的な射影の場合、中心射影（ｆｔａｎθ）や立体射影（２ｆｔａｎ（θ／２））のような広角側である。

図２２は、本発明の実施例５に係るステレオカメラ１０の光学系の構成例を示す図である。本実施例のステレオカメラ１０は、片側は平面ミラーを用いていないことが実施例４と異なる点である。ここではステレオカメラを実現する２つの光軸を以下のように定義する。カメラモジュールに入射する光軸をＯＡ９、平面ミラー８０を反射する光軸をＯＡ１０とする。

図２２を参照して、光軸と画角の関係を説明する。図２２は、ステレオカメラ１０外の光軸ＯＡ９と光軸ＯＡ１０からなる断面で見たとき（垂直軸の正の位置から見た状態）の構成を示している。ここでは、点線はカメラモジュール２に向かう光線を示している。

図２２に示すように、垂直・水平画角の光線（図中点線）は平面ミラー８０を反射して、カメラモジュール２内のレンズ９９を経て、センサ１００に結像するものと、直接レンズ９９を経て、センサ１００に結像するものがある。ここで、カメラモジュール２に入射する光線であって、平面ミラー８０に向かう光線を延長した線を一点鎖線で示している。

そして、一点鎖線の略交わる点を仮想視点ＶＰ１０と定義する。この仮想視点ＶＰ９、仮想視点ＶＰ１０は実効的なカメラモジュール２の位置を示している。これは、光線は平面ミラー８０を反射するため、仮想視点ＶＰ１０から検出していることと同様となる。このため、本実施例では水平方向の２つの仮想視点ＶＰ９と仮想視点ＶＰ１０から検出した像を用いて対象物までの距離と位置を検出する。

本実施例では、たった一枚の平面ミラー８０を用いてステレオ視を実現することが特徴となる。本実施例の場合、図中の基線長Ｂの方向に対して垂直方向となる基準軸ＳＡ９、基準軸ＳＡ１０と光軸ＯＡ９、光軸ＯＡ１０が異なっている。この場合であっても初期画角がずれているだけで距離の測定は可能である。

図２３は、カメラモジュール２内のセンサ１００で検出した画像Ｐ０を示している。画像Ｐ０は、分割線ＳＬで水平方向に２分割される。実施例１では、画像ＩＭ１と画像ＩＭ２は略等分されていたが、本実施例の画像ＩＭ１と画像ＩＭ２の大きさが異なることが特徴となる。実際には、平面ミラー８０を大きくすることで画像ＩＭ１、画像ＩＭ２の大きさを合わせることができるが、ステレオカメラ１０の小型化とならない。このため、本実施例では平面ミラー８０を所定のサイズとし、画像ＩＭ１と画像ＩＭ２の大きさが異なる構成となっている。

そして本実施例では、画像Ｐ０に対して画像分岐手段６０により画像ＩＭ１と画像ＩＭ２を生成し、実施例１の図５と同様の処理を行うことで、１つのカメラモジュールと平面ミラーのみでステレオカメラを実現できる。これにより、低コスト、小型、耐環境性という従来の課題を解決することができる。

なお、本実施例の画像分岐手段６０で、画像ＩＭ１の必要部分だけを抜き出して、視差を検出してもよい。このようにすることで、ステレオ処理画像生成部での処理が低減される利点がある。

そして、本実施例では横長のセンサを横方向に配置したが、図２４Ａのようにセンサ１００を縦方向に配置してもよい。この場合には、垂直方向（図中縦方向）の画角を広角化できる利点がある。そして、ステレオカメラを奥行の軸に対して例えば９０度回転させてもよい。その場合には、図２４Ｂ、図２４Ｃのような画像が得られる。図２３と図２４Ａの場合には、水平方向の視差を検出したが、図２４Ｂ、図２４Ｃの場合には、垂直方向の視差を検出する。図２４Ｂは垂直方向の画角を広角化できる利点がある。また、図２４Ｃは水平方向の広角化できる利点がある。また、図２４Ａ、図２４Ｂでは、水平方向の片側を広角に検出できる。例えば、車載ステレオカメラで左車線を走行する車両の走行状況を把握する場合、交差点では左折、右折に依って検出が必要な角度が異なる。これに対応方向に広角化することもできる。また、図２４Ｂ、図２４Ｃの場合、下側を検知することができるため、近傍の検出が可能となる。

本発明は上記した実施形態に限定されるものではなく、上記以外の様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０：ステレオカメラ
２０ａ：アフィン処理手段
２０ｂ：アフィン処理手段
３０Ｒ：ミラー
３０Ｌ：ミラー
４０Ｒ：ミラー
４０Ｌ：ミラー
６０：画像分離手段
３００：ステレオ視差画像生成部
５００：ステレオ視立体物検知部

Claims (13)

1. ステレオ画像を処理するステレオ画像処理装置であって、
   対象物の像を反射する少なくとも１つ以上の反射部と、前記対象物を撮影する１つのカメラを備え、
   前記カメラは前記の反射部により１度だけ反射した像を検出することを特徴とするステレオ画像処理装置。
2. ステレオ画像を処理するステレオ画像処理装置であって、
   対象物の像を反射する第１の反射部と第２の反射部と、前記対象物を撮影するカメラを備え、
   前記カメラの撮像部のセンサ上に入射する光であって、前記第１の反射部と前記第２の反射部に入射する光線からなる領域を第１の領域、前記第１の反射部に入射する光線を第１の仮想視点に延長したときの線からなる領域を第２の領域、前記第２の反射部に入射する光線を第２の仮想視点に延長したときの線からなる領域を第３の領域、前記第２の領域と前記第３の領域とを含む最小の凸領域を第４領域としたとき、
   前記第１の領域と第４の領域で構成される領域の外側に前記カメラの撮像部のレンズ瞳位置が配置されることを特徴とするステレオ画像処理装置。
3. 請求項２に記載のステレオ画像処理装置であって、
   前記第１の反射部を反射し、前記カメラ上の第１のセンサ領域で検出された第１の検出画像と、前記第２の反射部を反射し、前記カメラ上の第２のセンサ領域で検出された第２の検出画像について、前記第１の検出画像と前記第２の検出画像から前記対象物までの距離を求めることを特徴とするステレオ画像処理装置。
4. 請求項３に記載のステレオ画像処理装置であって、
   前記第１の検出画像と前記第２の検出画像に対して幾何補正を行った後の第１の幾何補正画像と第２の幾何補正画像の間の視差を検出して物体までの距離を求めるとともに、
   前記幾何補正は、前記第１の検出画像と前記第２の検出画像で略反対方向の傾き処理が行われることを特徴とするステレオ画像処理装置。
5. 請求項３に記載のステレオ画像処理装置であって、
   前記第１のセンサ領域と前記第２のセンサ領域は、前記カメラ上のセンサ面の水平に並ぶことを特徴とするステレオ画像処理装置。
6. 請求項２に記載のステレオ画像処理装置であって、
   前記ステレオ画像処理装置で撮像する方向と、前記カメラのレンズが向いている方向は略反対であることを特徴とするステレオ画像処理装置。
7. 請求項２に記載のステレオ画像処理装置であって、
   前記カメラは、前記第１の反射部の法線と前記第２の反射部の法線で構成される平面よりも下側もしくは上側に配置されることを特徴とするステレオ画像処理装置。
8. 請求項２に記載のステレオ画像処理装置であって、
   前記第１の反射部と前記第２の反射部の大きさは、水平方向の位置に応じて大きくまたは小さくなることを特徴とするステレオ画像処理装置。
9. 請求項２に記載のステレオ画像処理装置であって、
   前記第１の反射部と前記第２の反射部、前記カメラに加えて、透過媒体を備え、
   前記透過媒体は、前記センサが水平方向に長い場合には前記ステレオ画像処理装置の主光線に対して水平方向の軸に傾き、前記センサが垂直方向に長い場合には前記ステレオ画像処理装置の主光線に対して垂直方向の軸に傾く、ことを特徴とするステレオ画像処理装置。
10. 請求項２に記載のステレオ画像処理装置であって、
    前記カメラは、結像レンズとセンサから構成されており、
    前記結像レンズの射影は、等距離射影であることを特徴とするステレオ画像処理装置。
11. 請求項２に記載のステレオ画像処理装置であって、
    透明媒体を備え、前記カメラは、結像レンズとセンサから構成されており、
    前記センサが垂直方向よりも水平方向に長い場合には、透明媒体を水平方向の軸で傾け、前記センサが垂直方向よりも水平方向に短い場合には、透明媒体を垂直方向の軸で傾けることを特徴とするステレオ画像処理装置。
12. 請求項２に記載のステレオ画像処理装置であって、
    対象物の像を反射する第１の反射部と第２の反射部は、一体に形成されていることを特徴とするステレオ画像処理装置。
13. 請求項２に記載のステレオ画像処理装置であって、
    対象物の像を反射する第１の反射部と第２の反射部は、分離して離れた位置に配置されていることを特徴とするステレオ画像処理装置。

Images