JP2004258266A - Stereoscopic adapter and distance image input device using the same - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a compact and light-weight stereoscopic adapter for photographing an object at a far distance at a wide angle, and a distance image input device using the same. <P>SOLUTION: The stereoscopic adapter 101 attached to the front of the imaging optical system 102A of an imaging apparatus 102 in order to take a stereoscopic picture is constituted of: an optical path splitting device 11 receiving light from the same object by a plurality of parts separated at a specified distance and guiding the received light to the imaging optical system of the imaging apparatus; and a plurality of wide conversion lenses 101C for reducing the received luminous flux, and the imaging apparatus is installed between the plurality of wide conversion lenses. Then, the distance image input device 100 is constituted of the stereoscopic adapter, the imaging apparatus and a distance image processor 103 performing processing including three-dimensional reconstitution from the stereoscopic picture taken by the imaging apparatus and providing three-dimensional distance information. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

（２） レクティフィケーション処理部１０３Ｂ
ワールド座標系で定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕ^Ｌ，ｖ^Ｌ）、右画像内での位置を（ｕ^Ｒ，ｖ^Ｒ）とし、左画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する左カメラＬのワールド座標系における位置Ｃ_Ｌ（左カメラ座標系の原点）と、右画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する右カメラＲのワールド座標系における位置Ｃ_Ｒ（右カメラ座標系の原点）を考えることができる。このとき、ワールド座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕ^Ｌ，ｖ^Ｌ）へ射影される変換式と、同一の点から右（ｕ^Ｒ，ｖ^Ｒ）へ射影される変換式は、以下のように書くことができる。
【００４８】
【数２】

【００４９】
一方、撮像装置１０２の撮像光学系１０２Ａの光学レンズなどのレンズディストーションが三次元計測の要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）及び式（４）は、以下に示すような式（５）及び式（６）で表現することができる。これらの式では、レンズディストーションを表現するのにラディアルディストーション（Ｒａｄｉａｌ Ｄｉｓｔｏｒｔｉｏｎ）とタンジェンシャルディストーション（Ｔａｎｇｅｎｔｉａｌ Ｄｉｓｔｏｒｔｉｏｎ）を表したものであるが、勿論これら以外のディストーション表現であっても良い。
【００５０】
【数３】

【００５１】
【数４】

【００５２】
以降、説明を簡単にするために、式（１）で表されるピンホールカメラモデルを中心に説明する。
【００５３】
上記のように、左カメラＬと右カメラＲに基づいてワールド座標系Ｗ内の点Ｐ（ｘ，ｙ，ｚ）とその左画像と右画像への射影点（ｕ^Ｌ，ｖ^Ｌ）と（ｕ^Ｒ，ｖ^Ｒ）を考えるが、一般的なステレオカメラシステムと同様に、これらの対応する点同士が、必ずしも同一の縦方向の座標値ｖを有するとは限らない。即ち、ｖ^Ｌ＝ｖ^Ｒであるとは限らないわけである。この条件が成立しないと、後述する三次元再構成部１０３Ｃでのステレオマッチング（対応点探索）に膨大な計算量を有することになる。従って、例えば文献Ｅ． Ｔｒｕｃｃｏ ａｎｄ Ａ． Ｖｅｒｒｉ， Ｉｎｔｒｏｄｕｃｔｏｒｙ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９８に述べられているように、レクティフィケーションの処理を行うのが一般的である。具体的には、図７に示されるように、ステレオアダプタ１０１で得られる１枚の画像中の左画像領域と右画像領域で、左画像領域にある各画素（ｕ^Ｌ，ｖ^Ｌ）の右画像領域における対応点が、同一の縦画像座標となるように、左画像領域と右画像領域の両方を座標変換する。例えばその方法は、以下のように書くことができる。
【００５４】
【数５】

【００５５】
【数６】

【００５６】
【数７】

【００５７】
【数８】

【００５８】
【数９】

【００５９】
【数１０】

【００６０】
このように、回転変換を考えることにより、レクティフィケーションを実現することができる。
【００６１】
【数１１】

【００６２】
［レクティフィケーション処理ステップ］
具体的なステップは、以下の通りである。
【００６３】
【数１２】

【００６４】
【数１３】

【００６５】
ここではレクティフィケーション処理の一手法を説明したが、勿論この方法には各種の手法がある。その変形に関しては文献Ｅ． Ｔｒｕｃｃｏ ａｎｄ Ａ． Ｖｅｒｒｉ， Ｉｎｔｒｏｄｕｃｔｏｒｙ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９８に示されているので、ここでは詳しく述べない。また本説明では、レンズのディストーションが小さいとしてレクティフィケーション処理を説明してきたが、式（５）や式（６）で示されるようなレンズディストーションがある場合には、それらを予め除去してレクティフィケーション処理をすることができることは明白である。例えば、レンズディストーション除去を含めた処理を考えると、具体的なステップは以下の通りである。
【００６６】
［ディストーション除去を含むレクティフィケーションステップ］
【数１４】

【００６７】
【数１５】

【００６８】
以上、レクティフィケーション処理の数学的基本を説明してきたが、図５におけるレクティフィケーション処理部１０３Ｂでは、このような数学的手法に基づいて、ステレオアダプタ１０１と撮像装置１０２で撮影された画像を左右の画像である左画像２０３と右画像２０４を生成する機能を有する。
【００６９】
（３） 三次元再構成部１０３Ｃ
三次元再構成部１０３Ｃでは、上記レクティフィケーション処理部１０３Ｂが生成した左画像２０３および右画像２０４を利用して、左画像２０３の各画素点に対応する右画像２０４の対応点を探索し、その対応点間の関係に基づいて、三次元距離画像２０５を生成する機能を有する。
【００７０】
ここでは、その方法を説明する。先に説明したように、レクティフィケーション処理部１０３Ｂからの出力である画像では、左画像２０３の各ラインと右画像２０４の同一ラインを扱うとき、左画像２０３のそのライン上の画素に対応する点は、右画像２０４の同一ライン上になければならないという必要条件を与えるものである。この必要条件は、一般的に、エピポーラライン拘束条件と呼ばれる。この三次元再構成部１０３Ｃでは、この条件を利用しながら左画像２０３の各画素点に対応する右画像２０４内の画素点を探索することをまず行う。
【００７１】
これらの手法に関しては、参考文献：松山他編、コンピュータビジョン：技術評論と将来展望、新技術コミュニケーションズ、１９９８， ｐｐ． １２３−１３７に表されるように、いわゆるステレオマッチングの手法では、ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの手法とｆｅａｔｕｒｅ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの両方の手法が考えられる。本三次元再構成部１０３Ｃでは、この何れを利用しても良い。ここでは、簡単のために、ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの手法を採用して三次元再構成を行う方法について解説する。
【００７２】
【数１６】

【００７３】
類似度（あるいは非類似度）の定義としては、１）局所領域（ウィンドウ）内の各画素間の差の絶対値の和（ＳＡＤ）、２）局所領域内の各画素間の差の２乗和（ＳＳＤ）、３）局所領域内の各画素間の正規化相関（ＮＣＣ）などがあり、ＳＡＤあるいはＳＳＤの場合には、その値を最小とするもの、ＮＣＣの場合には正規化相関を最大とするものによって、最適な対応点とするわけである。
【００７４】
【数１７】

【００７５】
【数１８】

【００７６】
というようにすることも可能である。このように信頼度を考慮する場合には、勿論、未対応点を有する画素が左画像２０３あるいは右画像２０４に存在することもあり得る。
【００７７】
【数１９】

【００７８】
【数２０】

【００７９】
このようにして三次元再構成部１０３Ｃでは、左画像２０３の画素に対応する三次元座標値（ｘ，ｙ，ｚ）を計算することができる。ここで、（ｘ，ｙ，ｚ）は、レクティフィケーション処理で利用したレクティフィケーション座標系Ｒｅｃｔを基準とした三次元座標値である。
【００８０】
今までの説明では、左画像２０３の各画素を標準として対応点探索と三次元再構成を行ってきたが、勿論、右画像２０４を標準として対応点探索と三次元再構成を行うことも容易である。また、車両３００の振動等により画像のぶれが生じる影響が大のときには、手ぶれ防止機能を付加して、画像のぶれ補正を行った後に、三次元再構成を行うことが考えられる。このために、振動を検知するジャイロセンサや加速度センサを付加する。この場合には、手ぶれ補正機能により、キャリブレーション時の光学中心情報が変動することが想定される。しかし、そのずれ量は、上記ジャイロセンサや加速度センサの手ぶれ補正情報から算出できる量であるので、そのずれ量分をレクティフィケーション処理部１０３Ｂで補正をかけることが可能である。または、ステレオアダプタ１０１装着時の画像フレームの変動量等を検知することにより、ジャイロセンサ、加速度センサ等の補正量に相当する情報を取得することも可能である。
【００８１】
図１０の（Ａ）及び（Ｂ）は、このようにして算出された距離画像を示したものである。即ち、図１０の（Ａ）は撮影された画像であり、図１０の（Ｂ）はその画像から距離を算出した結果を示す図であって、輝度が高いほど距離が近いことを示す。
【００８２】
このようにして、三次元再構成部１０３Ｃは、三次元座標値（ｘ，ｙ，ｚ）から構成される三次元距離画像２０５を生成する。この三次元距離画像２０５は、次に物体認識部１０３Ｄに送出される。また、物体認識部１０３Ｄが、視差画像を直接利用する場合には、三次元距離画像２０５の代わりに視差画像を送出しても良い。
【００８３】
（４） 物体認識部１０３Ｄ
三次元距離画像２０５が、三次元再構成部１０３Ｃで生成された後、物体認識部１０３Ｄは、その三次元距離画像２０５内に含まれる各種物体を検出あるいは認識する。図１１は、前方車載カメラに対する物体認識部１０３Ｄの構成例を表したものである。
【００８４】
この物体認識部１０３Ｄは、例えば車が道路上を走行している場合に、車前方にある道路領域２１０と非道路領域２１１を抽出する道路抽出部１０３Ｄ１、道路領域２１０内から道路面にある二次元物体を抽出する道路面内物体抽出部１０３Ｄ２、及び、三次元距離画像２０５内から抽出された道路領域２１０と非道路領域２１１とを利用して、道路面にない障害物物体を認識する障害物認識部１０３Ｄ３から構成され、そして、道路面内物体抽出部１０３Ｄ２から物体データ２０６Ａを出力し、障害物認識部１０３Ｄ３から物体データ２０６Ｂを出力するものである。
【００８５】
いま、三次元再構成部１０３Ｃが出力した三次元点の集合をＡ_ａｌｌとする。このとき、道路抽出部１０３Ｄ１では、まず車前方にある領域の一部を抽出し、その中から滑らかな平面あるいは曲面を抽出する。この方法としては、例えば三次元距離画像２０５の各三次元座標値ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）について、その近傍の値を求めて法線ベクトルｎ_ｉを推定する。そして、その法線ベクトルｎ_ｉのヒストグラムを作成し、そのヒストグラム中のピークとなる主法線ベクトルｎを求める。このようにして求めた主法線ベクトルｎが道路面の主法線ベクトルであると仮定する。このように主法線ベクトルｎが求まったところで、ｎを法線とするような三次元座標点ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）を三次元距離画像２０５を構成する全データの集合Ａ_ａｌｌから選択する。即ち、各三次元座標ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）に対して、
ｎ^ｔｐ_ｉ＝ｄ …（２７）
で平面を近似し、その中の未知パラメータｄを異常値を除去しながら推定する方法を採用する。このようにしてｎとｄを推定した後、各点ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）がこの道路を記述する平面内にあるかどうかを判定することになる。その判定方法としては、フィッティング誤差であるεが
ε＝｜ｎ^ｔｐ_ｉ−ｄ｜＜ｔｈｒｅｓｈｏｌｄ …（２８）
なる閾値ｔｈｒｅｓｈｏｌｄの範囲にあるものは、道路面内にあると判定する。このようにして得られた三次元点の集合をＡ_ｒｏａｄとする。またＡ_ｒｏａｄの集合にノイズ成分が含まれている場合には、適切なノイズフィルタを適用してノイズ除去した道路面内の点の集合をＡ_ｒｏａｄと再定義する。
【００８６】
道路面内物体抽出部１０３Ｄ２では、道路面内の点集合Ａ_ｒｏａｄの中から、道路の特徴として重要となるランドマークなどを抽出する。これらランドマークとしては、白線などのレーン情報、レーン内にある各種文字コードなどである。これらを認識するために、まず道路面内物体抽出部１０３Ｄ２では、点集合Ａ_ｒｏａｄに対応するレクティフィケーションが施された左画像２０３あるいは右画像２０４からレーンや文字コードに対応する画像特徴を抽出する。この方法については、例えば塙他、自動車用ステレオ画像認識装置の実用化、第３回動画像処理実利用化ワークショップ， ２００２， ｐｐ．１０６−１１０、または、大塚他、エッジ方向成分を用いたレーンマーク認識、第３回動画像処理実利用化ワークショップ， ２００２， ｐｐ．９６−１０１などに紹介されているので、その方法の詳細についてはここでは詳しく述べない。ただし、本方式では、最初に道路面が三次元構造として抽出されているので、道路面以外にあるレーンに似た画像特徴や文字コードなどを誤って抽出する確率が少なくなっていることが特徴である。そして、このように画像から抽出された道路特徴（白線や文字コードなど）は、その特徴とともに三次元データとして表現できるというメリットがあるわけである。このことについては後述する。
【００８７】
次にＡ_ｒｏａｄの補集合として、非道路領域の点の集合を
【数２１】

として定義する。この非道路領域Ａ_{ｎｏｎ−ｒｏａｄ}に対して処理を施して、障害物などの物体認識をするのが障害物認識部１０３Ｄ３である。障害物認識部１０３Ｄ３では、非道路領域２１１以外の障害物を三次元点群データにより解析する。具体的には、Ａ_{ｎｏｎ−ｒｏａｄ}内の三次元データをクラスタ分析することにより解析することになる。この方法には、以下のような方法がある。
【００８８】
まず、非道路領域２１１内の点集合Ａ_{ｎｏｎ−ｒｏａｄ}を細かく分割して、小領域の部分集合群｛Ｂ_ｉ｝
【数２２】

を構成する。これは、例えば画像処理で良く用いられるｂｌｏｂの形で構成されるわけである。例えば、図１２の（Ａ）に示されるように、画像処理で良く用いられるｂｌｏｂ群で構成される。図１２の（Ａ）において、距離に基づいて抽出された領域であるＢ_ｉが、領域ｂｌｏｂ群２１２として表現され、同一の濃淡レベルは距離を表すとすると、本来は同一物体内の領域が、図に示す通り、分割される可能性があるわけである。
【００８９】
そこで、この部分集合Ｂ_ｉの属性情報を算出する。この属性情報としては、例えば、位置、色、グレー階調などである。これらの属性パラメータをベクトルの形ｑ_ｉで表現する（ここでｉは領域に関するインデックスであり、ｑ_ｉはｍ次元ベクトルである。）そしてこの属性に関しては、その平均値と分布の広がりを表す共分散行列も付与することにする。例えば、Ｂ_ｉの属性の中の位置に関する平均値は重心となり、その共分散行列は位置に関する２次モーメント（ｍｏｍｅｎｔ ｏｆ ｉｎｅｒｔｉａ）となるわけである。このとき、これら小領域Ｂ_ｉと小領域Ｂ_ｊが統合できるかを、
【数２３】

このようにして、いったん小領域に分割した後、領域の統合処理や膨張処理を行うことで、道路面内に無い物体を領域として分離しかつ分類することができるわけである。こうして得られた領域は、その領域の属性が物体データとして送出される。図１２の（Ａ）で統合された領域を、図１２の（Ｂ）に示す。この図１２の（Ｂ）において、参照番号２１３は、統合された領域ｂｌｏｂ群で物体を構成した場合を示している。
【００９０】
（５） キャリブレーション部１０３Ｅ
キャリブレーション部１０３Ｅは、レクティフィケーション処理部１０３Ｂ、三次元再構成部１０３Ｃ、物体認識部１０３Ｄで必要となる各種パラメータを主にオフラインで推定する処理部である。即ち、ステレオアダプタ１０１を車両３００などに最初に設置したり、その設置位置を変更した際にのみ行う処理を担当する。
【００９１】
【数２４】

【００９２】
一方、三次元再構成部１０３Ｃで使用される式（２４），式（２５），式（２６）で使用される各種固定パラメータも、本キャリブレーション部１０３Ｅで算出される。
【００９３】
また、物体認識部１０３Ｄで使用されるパラメータとしては、車体とステレオアダプタ１０１との位置関係に関するパラメータがある。即ち、物体認識部１０３Ｄで、撮像装置座標系に基づいて計測あるいは認識された物体や障害物の位置は、以下に述べる位置関係に関するキャリブレーション結果に基づいて、車両３００からの距離や相対的な位置として算出することができるようになる。つまり、レクティフィケーション処理部１０３Ｂで説明したワールド座標系と車両３００が規定する座標系を同一なものにするように、撮像装置１０２と車両３００間の位置関係を規定するものである。こうしたパラメータの算出は、以下のような方法を採用すれば良い。即ち、ステレオアダプタ１０１を介して撮像装置１０２で撮影された画像を処理するわけである。つまり、車体あるいは車体外にある車体に対して相対的な場所が既知な特徴点を撮像装置１０２で撮影することにより、撮像装置１０２と車体との相対的な位置関係を推定するものである。
【００９４】
ステレオアダプタ１０１などのステレオ撮影装置を利用して、車体（車両３００）に相対する障害物や物体を認識および位置姿勢推定を正確に行うためには、ステレオ撮影装置の車体（車両３００）に対する相対的な位置姿勢を正確に行う必要がある。
【００９５】
これを行う方法としては、車両３００と撮像装置１０２の取り付け設計値に基づく方法が最も容易であることは明白である。即ち、車両３００の基準座標系と撮像装置１０２が規定する座標系間の座標変換パラメータが設計値で与えられれば良い。この理想的な場合に、例えば、車両３００の最前方のバンパ中央を車両３００の基準座標系として、この座標系をＭ（ｘ^Ｍ，ｙ^Ｍ，ｚ^Ｍ）で表し、撮像装置１０２の座標系（ステレオ撮影装置の場合には、レクティフィケーションで基準となる座標系）をＳ（ｘ^Ｓ，ｙ^Ｓ，ｚ^Ｓ）で表すとすれば、撮像装置座標系Ｓから車両基準座標系Ｍへの座標変換を式：
【数２５】

で表すことが可能となる。ここで（_ＭＲ_Ｓ，_ＭＴ_Ｓ）は３×３の回転行列と三次元並進ベクトルを表す。このような座標変換が求まれば、撮像装置１０２の座標系Ｓで計測されたデータは、車両３００が基準とする座標系Ｍでの表現が可能となるので、例えば、撮像装置１０２を基準として計測した障害物までの距離情報に関しても、同様に車両３００が基準とする座標系の原点から障害物までの距離として表現することができるわけである。即ち、障害物が撮像装置１０２の座標系で（ｘ^Ｓ，ｙ^Ｓ，ｚ^Ｓ）と表されれば、式（３２）を利用することで車両座標系での位置（ｘ^Ｍ，ｙ^Ｍ，ｚ^Ｍ）にすることが可能となり、例えば車両座標系Ｍの原点から障害物までの距離は、
【数２６】

と表現できるわけで、これらを利用すれば、処理装置１０３内で先に説明されたような各種の距離表現や警告に利用することができるわけである。
【００９６】
しかしながら、撮像装置１０２を車両３００に正確に取り付ける設計値が得られている場合には、上記のような方法を採用することができるが、車両３００に任意に取り付ける場合や、設計値が必ずしも正確ではない場合には、正確なキャリブレーション処理を施す必要がある。このように、撮像装置１０２の取り付けの設計値が正確に与えられない場合のキャリブレーション処理について、これから説明する。
【００９７】
具体的には、これらを求める方法としては、図１３の（Ａ）に参照番号２１４，２１５，２１６で示すように、（１）車両３００に関するＣＡＤモデルを利用する方法、（２）特別なキャリブレーション治具を車両３００に簡易的に取り付ける方法、（３）車両３００を正確な位置に駐車して路上に配置されたキャリブレーションマーカを利用する方法が考えられる。
【００９８】
例えば、車両３００のＣＡＤモデルを利用する場合について、図１３の（Ａ）を参照して解説する。
【００９９】
図１３の（Ａ）において、特徴抽出部１０３Ｅ１において、ステレオアダプタカメラ１１６で撮影された後レクティフィケーション処理を行ったステレオ画像２１７を画像処理して、キャリブレーションに必要な特徴データを抽出および算出する。その後、位置姿勢推定部１０３Ｅ２により、この特徴抽出部１０３Ｅ１が出力する特徴データ２１８と車両ＣＡＤモデル２１４とを用いて、撮像装置１０２と車両３００間の相対的位置姿勢を推定する。そして、この位置姿勢推定部１０３Ｅ２は、その推定した撮像装置１０２と車両３００間の相対的位置姿勢情報を、式（３２）で表現されるような座標変換パラメータ２１９として算出することになる。
【０１００】
本形態では、車両ＣＡＤモデル２１４を利用する方法を説明するが、ここでは簡単のために、撮像装置１０２は車両３００の前方を観察するカメラであるとして、これからその方法を説明する。これは、図１３の（Ｂ）にあるように、車両ボンネットなど前部にある特徴点あるいはマーク点などを画像処理方法によって抽出および認識するわけである。この特徴点としては、曲面構成で曲率が急に変化する点、ヘッドランプ上部のエッジ部、あるいは曲線や直線成分であっても良い。これらは、車両ＣＡＤモデル２１４から車両座標系で規定された正確な位置座標が予めわかっているわけである。いま、これらｎ個の特徴点の車両座標系Ｍでの座標値を
【数２７】

また、直線や曲線などの場合には、例えば文献Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ， Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， ｅｄｉｔｅｄ ｂｙ Ｓ． Ｎｏｆ， Ｃｈａｐｔｅｒ １４， Ｊｏｈｎ Ｗｉｌｅｙ， １９９９のような方法で画像内からそれらを抽出して、線分あるいは曲線分として表現できる形で抽出する。こうして、左画像２０３あるいは右画像２０４から得られた特徴点は、その画像内位置座標が特徴データ２１８として表現されることになる。
【０１０１】
【数２８】

【０１０２】
例えば文献：Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ， Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， ｅｄｉｔｅｄ ｂｙ Ｓ． Ｎｏｆ， Ｃｈａｐｔｅｒ １４， Ｊｏｈｎ Ｗｉｌｅｙ， １９９９、あるいは文献：Ｒ． Ｈａｒａｌｉｃｋ ａｎｄ Ｌ． Ｓｈａｐｉｒｏ． ”Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ ”， Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ， Ｖｏｌ ２， １９９２の方法で、撮像装置１０２の座標系Ｓと車両座標系Ｍの間の座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を求めることができる。この作業は、位置姿勢推定部１０３Ｅ２が担当する。その方法に関しては、上記の文献に詳しく説明されているので、ここでは詳細には述べない。
【０１０３】
一方、ステレオ画像２１７を撮影する撮像装置１０２の左画像２０３あるいは右画像２０４に車両３００の前方が撮影できないような場合には、車両３００にキャリブレーション治具を取り付けることで、同様に撮像装置１０２と車両３００間の座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を算出することができる。即ち、図１４に示すように、例えば車両３００の前方にキャリブレーション治具１１７を装着し、そのキャリブレーション治具１１７を、撮像装置１０２で撮影することで座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を算出するわけである。この際、キャリブレーション治具１１７には、キャリブレーション用のマーカ１１８が設置されており、その座標値は車両座標系Ｍで既知となるように設計されている。
【０１０４】
【数２９】

【０１０５】
【数３０】

【０１０６】
以上、説明してきたように、キャリブレーション部１０３Ｅは、撮像装置１０２に関わるキャリブレーションや、レクティフィケーションで必要となるパラメータの算出や、撮像装置１０２の座標系と車両３００が規定する座標系間のキャリブレーションなどを行う。
【０１０７】
以上のように、ソフトウェア処理によりキャリブレーションを行い、三次元再構成、即ち距離画像２０５を取得し、物体認識等の処理を行う。
【０１０８】
従って、この実施の形態には、本発明の効果のほかに、次のような特有の効果がある。
【０１０９】
ステレオアダプタ１０１は、単体の撮像素子１０２Ｂに像を結像するため、複数の撮像装置１０２を用いる場合に比べて同期を取る必要がなく、電気的な構成を簡略化できる。特に車載用途を考慮した場合には、撮像装置１０２の個数を減らすことができるため、消費電力を削減できると共に、撮像装置１０２の個数分の小型、軽量化を可能とすることができる。また、露出調整、ホワイトバランス、ＣＣＤやＣＭＯＳ素子ごとの特性の違いなどを考慮する必要なく、ステレオ画像２０１を得ることができる。
【０１１０】
また、次の効果も存在する。ワイドコンバージョンレンズ１０１Ｃは、広い画角を撮影する必要があり、一般に大口径となり、重量が重くなり、システム全体に占める体積も大きい。このワイドコンバージョンレンズ１０１Ｃ間に撮像装置１０２を配置することで、直線上に重量のある部材が配置されるため、この軸上付近に取り付け部を設けることで、重心を考慮した配置が可能になると共に、撮像装置１０２が突出することなく、小型の距離画像入力装置１００を実現することができる。
【０１１１】
なお、この実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１１２】
例えば、図１８の（Ａ）及び（Ｂ）に示すように、上記ワイドコンバージョンレンズ１０１Ｃと一次折り曲げミラー１０１Ａならびに二次折り曲げミラー１０１Ｂの代わりに、凹屈折面１０１Ｄ１、凸反射面１０１Ｄ２、凹反射面１０１Ｄ３、平面１０１Ｄ４からなるパワープリズム１０１Ｄを用いても良い。この場合は、ミラーの代わりに一体となった光学プリズムを用いるため、面間の関係が常に一定保たれ、衝撃等が加わった場合にも、面ごとの角度、間隔の変動が無く、距離画像２０５の算出で重要になる撮像装置１０２やステレオアダプタ１０１のパラメータの変動を抑制することができる。勿論、同様の効果を得られる面構成であれば、凹凸、曲率などは異なっていても構わない。
【０１１３】
パワープリズム１０１Ｄは、一体のプリズム・撮影装置保持具１０１Ｅに取り付けられている。撮像装置１０２もプリズム・撮影装置保持具１０１Ｅに取り付けられる。
【０１１４】
勿論、パワープリズム１０１Ｄではなく、単体のレンズとプリズムの組み合わせにより、同等の光学系を構成しても光学的には同等の効果が得られることはいうまでもない。
【０１１５】
また、図１や図４、図１８の（Ａ）及び（Ｂ）などに示すように、露出制御装置１２などはステレオアダプタ１０１の二次折り曲げミラー１０１Ｂの背面に配置することで、より省スペースなステレオアダプタとすることもできる。
【０１１６】
更に、制御装置１０４、測距レーダ１１０、照度センサ１１１、外部カメラ１１２、ＧＰＳ１１３、ＶＩＣＳ１１４、外部通信装置１１５、表示装置１０８、警告装置１０６、ハンドル，シフト，アクセルなどを含む運転装置１０７、物体認識装置１０５などを連携させることで、より高度な撮像と、状況に応じたロバストな距離画像計測を実現することができる。
【０１１７】
一例としては、露出制御装置１２は、制御装置１０４に接続され、制御装置１０４で算出される照度センサ１１１、ＧＰＳ１１３、時刻等のデータから算出される露出指示値の入力を受け、これらと撮像素子１０２Ｂからの輝度情報により、露出条件を設定するように構成されていても良い。
【０１１８】
［第２の実施の形態］
次に、本発明のステレオアダプタ１０１と距離画像入力装置１００の第２の実施の形態を説明する。
【０１１９】
本実施の形態は、光路延長光学系を用いたものである。
【０１２０】
第１の実施の形態と同様に、距離画像入力装置１００は、被写体４００を撮影する撮像装置１０２と、撮像装置１０２の先端に付けられるステレオアダプタ１０１と、被写体４００の距離画像２０５を計測する距離画像処理装置１０３とからなる。
【０１２１】
また、撮像装置１０２も第１の実施の形態と同様の構成からなる。
【０１２２】
撮像装置１０２には、ステレオアダプタ１０１が装着される。ステレオアダプタ１０１は、光路分割装置１１を有する。光路分割装置１１は、撮像装置１０２の撮像光学系１０２Ａの前に取り付けられる。光路分割装置１１は、図１９に示すように、離間して配置された一次折り曲げミラー１０１Ａと、負パワーレンズ群１０１Ｆ、正パワーレンズ群１０１Ｇ、二次折り曲げミラー１０１Ｂからなる。
【０１２３】
その他の構成は、上記第１の実施の形態と同様である。
【０１２４】
次に、本実施の形態の作用を述べる。
【０１２５】
ワイドコンバージョンレンズ１０１Ｃを通り、図１９に示すような光路分割装置１１の離間して配置された光束２，３を受光する一次折り曲げミラー１０１Ａにより反射された被写体像は、負パワーレンズ群１０１Ｆにより平行光束に近い形になり、次に配置された正パワーレンズ群１０１Ｇで復元された後に、撮像光学系１０２Ａ前に配置され、光束を撮像光学系１０２Ａに導くよう偏向する二次折り曲げミラー１０１Ｂにより撮像光学系１０２Ａに入射するように導かれる。
【０１２６】
これにより、撮像素子１０２Ｂに異なる２視点からの画像、即ちステレオ画像２０１を結像することができる。
【０１２７】
光路延長光学系の作用により、基線長を従来のステレオアダプタに比べて延長することが可能となる。
【０１２８】
また、撮像装置１０２の取り付け位置をワイドコンバージョンレンズ１０１Ｃの間にすることで、重量バランスに優れ、小型化したステレオアダプタ１０１を構成することが可能となる。
【０１２９】
車載用に積載することを考慮すると、特に室内の場合にはフロントウインド、サイドウインド、リアウインドの視野を妨げることなく設置することが必要となり、装置の基線長をミラー構成だけのステレオアダプタ１０１で行う場合に比べてより小さな投影面積になるように装置を構成することが必要となる。
【０１３０】
このとき、本実施の形態の構成をとることにより、一次光学系で広角に入射した光束を一次折り曲げミラーで折り曲げた後、光路延長光学系によりほぼ平行の光線として延伸することで基線長部分を伸ばし、二次折り曲げミラーに導き、撮像光学系１０２Ａで撮影することで、広角化や基線長を長くすることで大きくなるミラーサイズを抑制し、装置の投影面積を減少することができる。
【０１３１】
また、基線長が伸びた部分には、図１９に示すように距離画像処理装置１０３や露出制御装置１２を配置することも可能であり、トータルのスペースの減少に貢献できる。なお、図では露出制御装置１２を２つに分割しているが、一方だけで露出制御装置１２を配置できるのであれば、他方には他の装置を配置することも可能なことは勿論である。
【０１３２】
なお、本第２の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１３３】
例えば、凹，凸レンズ群（パワーレンズ群１０１Ｆ，１０１Ｇ）による光路延長光学系の代わりに、図２０に示すように、一次結像光学系１０１Ｈ、両端で相似の画像を伝送することができるイメージガイド１０１Ｉを有する光学系とし、一次結像光学系１０１Ｈの結像を、イメージガイド１０１Ｉの入射面に、イメージガイド１０１Ｉの出射面を撮像光学系１０２Ａで撮影するように構成しても良い。これにより、基線長をレンズの構成によらず自在に設置することが可能になると共に、位置関係を精密に規定すべき一次結像光学系連接部材１０１Ｊによって、複数の一次結像光学系１０１Ｈの位置と、一次結像光学系１０１Ｈとイメージガイド１０１Ｉの入射面との位置を規定し、また、二次結像光学系連接部材１０１Ｋにより、イメージガイド１０１Ｉの出射面と撮像光学系１０２Ａならびに撮像装置１０２の位置とを規定すれば良く、光路延長光学系の位置ずれや、ミラーの角度の変動などを考慮する必要がなくなるため、耐衝撃性、耐環境性に優れたステレオアダプタ１０１を提供することができる。
【０１３４】
また、レンズ系を用いずに、第一折り曲げミラー１０１Ａを凸面に、第２折り曲げミラー１０１Ｂを凹面で構成することによっても上記光路延長光学系を用いた場合と同様の効果を得ることができる。
【０１３５】
また、光路延長光学系として結像をリレーするリレー光学系を用いても良い。
【０１３６】
距離画像の算出については、上記第１の実施例と同様である。
【０１３７】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。
【０１３８】
この実施の形態は、シリンドリカルレンズを用いたものである。
【０１３９】
上記第１及び第２の実施の形態と同様の部分に関しては割愛する。
【０１４０】
ステレオアダプタ１０１については、第１、第２の実施の形態に準拠する。本実施の形態に係るステレオアダプタ１０１は、図２１の（Ａ）に示すように、ステレオアダプタ１０１の出射位置、即ち撮像装置１０２の撮像光学系１０２Ａの前面に、撮像素子１０２Ｂの垂直走査方向に合わせた方向に曲率を持ち、正のパワーを持つシリンドリカルレンズ１０１Ｌを有している。
【０１４１】
また、本実施の形態に係る距離画像入力装置１００では、距離画像処理装置１０３が上記第１の実施の形態で説明した構成に加え、インターレース補間処理装置１８を有している。
【０１４２】
次に、本実施の形態の作用を説明する。
図２１の（Ｂ）に示すように、通常のステレオアダプタ１０１による結像は、上下方向にけられが生じているが、被写体像の縦横比は変化しない。一方、本実施の形態の被写体像は、図２１の（Ｃ）に示すように、縦方向に拡大された画像となる。
【０１４３】
このステレオ（ビデオ）画像２０１は、フレームメモリ１３に入力され、インターレース補間処理装置１８に入力、処理された後、レクティフィケーション装置１４による左右画像２０３，２０４の切り出しとレクティフィケーション処理を実施されて、左右画像２０３，２０４のマッチングが距離算出装置１５で行われる。
【０１４４】
インターレース補間処理装置１８は、インターレースボケを補間処理して取り除く。
【０１４５】
インターレースボケは、インターレーススキャン方式の撮像素子を用いた撮像装置１０２を用いた場合、フィールド間の時差により、動きのある被写体がずれて撮影されて、すだれ状にボケてしまうことを指す。
【０１４６】
これを防ぐために、フィールドごとの画像とすると、垂直走査方向の解像度が１／２になってしまう。
【０１４７】
本実施の形態では、シリンドリカルレンズ１０１Ｌにより、光学的に縦方向に２倍以上に拡大して撮像することで、同一画角に対して２倍以上の走査線数で撮影することを可能とし、走査線間引き処理などでインターレースボケを除去しても、シリンドリカルレンズ１０１Ｌを用いない元のフレーム画像と同等の解像度を持ったステレオ画像２０１を撮影することを可能とする。
【０１４８】
この処理により、ステレオ画像２０１のマッチングに用いる情報量を減らすことなくインターレースボケが有ったとしても良好な距離画像２０５を算出することが可能となる。
【０１４９】
なお、この実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１５０】
例えば、図２２の（Ａ）に斜視図を、（Ｂ）に２面図を示すように、ステレオアダプタ１０１の先端に、負のパワーを上記シリンドリカルレンズ１０１Ｌと同じ方向に持つ視野拡大用シリンドリカルレンズ１０１Ｍを設けても良い。この場合、この視野拡大用シリンドリカルレンズ１０１Ｍにより、縦方向が圧縮されて光路が伝送されるため、ステレオアダプタ１０１の厚さを薄くすることが可能となる。シリンドリカルレンズ１０１Ｌと視野拡大用シリンドリカルレンズ１０１Ｍのパワーは前者のほうが大きい場合はインターレースボケの解消に、後者が大きい場合は視野拡大に効果的である。
【０１５１】
勿論、ワイドコンバージョンレンズ１０１Ｃを用いても、縦画角に関しては同様の効果を得ることができる。
【０１５２】
［第４の実施の形態］
次に、第４の実施の形態について説明する。
【０１５３】
第１乃至第３の実施の形態と共通の部分は割愛する。
【０１５４】
図２３の（Ａ）に示すように、画面を上下に２分割し、片側には、光路延長手段１０１Ｎを介して、ワイドコンバージョンレンズ１０１Ｃを有し、他方の側には、一次折り曲げミラー１０１Ａと二次折り曲げミラー１０１Ｂからなる光路分割装置１１を有する。なお、光路分割装置１１と光路延長手段１０１Ｎとの間には、遮光板１０１Ｏを設けても良い。
【０１５５】
光路延長手段１０１Ｎは、２枚のミラー（一次偏向ミラー１０１Ｎ１，二次偏向ミラー１０１Ｎ２）からなり、ワイドコンバージョンレンズ１０１Ｃを光路分割装置１１の視野を妨げない位置に配置すると共に、視野の反転を防ぐ。
【０１５６】
また、一次偏向ミラー１０１Ｎ１の角度により、ワイドコンバージョンレンズ１０１Ｃの光軸１０１Ｃ１が上下分割された視野の画角の中央になるように傾けて配置されると共に、光軸方向を光路分割装置１１による分割された視野の画角のほぼ中央の光線４に平行になるように配置する。
【０１５７】
光路分割装置他の光学系は、上記第１乃至第３の実施の形態と同様に構成される。
【０１５８】
次に、本第４の実施の形態の作用を説明する。
ワイドコンバージョンレンズ１０１Ｃを透過した被写体４００からの光束５は、一次偏向ミラー１０１Ｎ１で反射され、二次偏向ミラー１０１Ｎ２に入射する。二次偏向ミラー１０１Ｎ２は、上下に分割された撮像光学系１０２Ａの画角の半分の領域に被写体４００からの光束５を入射し、図２３の（Ｂ）に示すように、画像の略半分の領域（上側領域）に、広角の二次元画像を結像する。
【０１５９】
また、光路分割装置１１からの光束２，３は、ワイドコンバージョンレンズ１０１Ｃの光束とは異なる画像の略半分の領域（下側領域）にステレオ画像２０１を結像する。
【０１６０】
以上の構成により、広い視野範囲を持つ二次元画像と、距離画像を算出することのできるステレオ画像２０１とが、同期して１枚の撮像素子１０２Ｂ上に結像し撮影される。
【０１６１】
なお、本実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１６２】
例えば、ワイドコンバージョンレンズ１０１Ｃの光軸が、上下方向に分割した撮像光学系１０２Ａの光軸１０２Ａ１の延長線上に略一致するように設置されると共に、光束の通らない略下方半分を切り欠いた形状とすることで、光軸ずれによる（特に非点収差や歪曲収差）の悪化を抑制し、レクティフィケーション処理の処理量の低減を図っても良い。
【０１６３】
このような変形例においては、ワイドコンバージョンレンズ１０１Ｃの質量とサイズを小さくすることも可能であり、より小型軽量な距離画像入力装置１００を得ることができる。
【０１６４】
また、これら光路分割装置１１、光路延長手段１０１Ｎ、撮像装置１０２を内蔵する筐体内に、距離画像処理装置１０３や露出制御装置１２も内蔵しても良く、また、図２４に示すように、外付けであってもかまわない。
【０１６５】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１６６】
以上の第１乃至第４の各実施の形態のステレオアダプタ１０１及び距離画像入力装置１００は、撮像装置１０２の個数が少なく、また、広角の画像を長い基線長１５０ｍｍから５００ｍｍ程度にしてもコンパクトに実現可能である。この基線長長さは撮像装置１０２が対角画角５０度から６０度程度で、６４０×４８０画素のＶＧＡサイズ相当の場合に、数メートルから数十メートルの被写体４００の距離画像２０５を入力するのに好適な基線長である。これは、車載用途に用いることを可能とし、例えば、図２３や図２４に示すように、車両の天井３０１にフロントガラス３０２を通して撮像するようルームミラー３０３が装着される位置に、各実施の形態に記載したような距離画像入力装置１００を装着し、ルームミラー３０３自体は距離画像入力装置１００に対してピボット３０４等で位置変更可能に取り付けることもできる。
【０１６７】
また、撮像装置１０２の個数が少なくて済み、消費電力を小さく抑え、また電気回路規模を小さくできるため省電力化が可能であると共に、図２の（Ａ）に示したような複数の撮像装置１０２の撮像素子１０２Ｂ間での特に同期の問題を考慮する必要なくステレオ画像２０１が得られる。また、複数の撮像装置１０２で入力した画像を伝送する過程で異なるノイズがのり易いという問題についても単一カメラで視差画像撮像が実施できるため解決可能である。また、対ノイズシールドケーブルなどを半数に減らせることから、車内の限られたハーネス取りまわし領域を節約し、伝送系の軽量化にも効果があることは特に車載用とに於いて好適である。
【０１６８】
また、左右に分割するステレオアダプタ１０１について説明してきたが、図２５の（Ａ）に示すように、ミラー１０１Ａ，１０１Ｂを傾けて配置し、左右方向だけでなく、上下方向にも互い違いに光束を折り曲げるように構成することで、左右視差でありながら上下に画面を分割する光学系を用いて、各実施の形態に記載のステレオアダプタ１０１を実現しても良い。
【０１６９】
この場合に撮影されるステレオ画像２０１は、図２５の（Ｂ）に示す形になる。
【０１７０】
また、図４のワイドコンバージョンレンズ１０１Ｃを防塵保護フィルタに変更する、あるいはワイドコンバージョンレンズ１０１Ｃの前面に防塵保護フィルタを配設するなどして、ステレオアダプタ自体を防塵防滴性を持たせても良い。このようにすることで、車外への設置や、クリーニングの簡便性を向上することができ、より信頼性の高い距離画像２０５の入力を実現することが可能となる。
【０１７１】
なお、以上の第１乃至第４の実施の形態に於いて、図４の（Ｂ）のようにＷ字型のミラー配置をした場合には、図３または図４の（Ａ）に示したアダプタと比べ、左右視野が入れ替わった形のステレオ画像２０１が得られるため、視野反転装置（図示しない）を距離画像処理装置１０３に設け、左画像２０３と右画像２０４とを入れ替える処理を実施しても良い。勿論、視野反転装置を設ける代わりに、距離算出装置１５内のアルゴリズムの変更により、視差計算の手法を変更して対処するようにしても同様の効果が得られることは言うまでもない。
【０１７２】
また、上記レンズ、ミラー、フィルタの表面は、超親水処理コートを施しても良く、また、ステレオアダプタ１０１ならびに撮像光学系１０２Ａを気密処理し、乾燥窒素などを封入しても良い。
【０１７３】
さらに、ステレオアダプタ１０１の各光学素子にヒータを設けたり、車載の曇り止めデフロスタの気流を導くダクトや、独自に温風ヒータを一体化させるなどして、結露を防止したりしても良い。
【０１７４】
これにより、防露、防曇、水滴による結像性能の劣化を防ぐよう構成しても良い。
【０１７５】
また、冷却用のファンを設けたり、ステレオアダプタ１０１の筐体自体をヒートシンクとして用い、熱歪みや電子回路の誤動作を防ぐように構成しても良い。
【０１７６】
また、ステレオアダプタ１０１の光路に相当する部分は反射防止塗装を施すが、それ以外の部分は耐環境性を考慮して、赤外を反射するような塗装にしても良く、また、車種により問題となるフロントガラスなどへの映り込みを防ぐために、黒色塗装を施すようにしても良い。
【０１７７】
なお、以上の第１乃至第４の実施の形態に於いて、さらに撮像装置１０２は近赤外画像への切替え装置を持ち、車載の照度センサ１１１の輝度情報やＧＰＳ１１３の時刻情報、場所情報を参照して、切り替えるようにしても良い。さらには、上記夜間撮影の切り替えについては、ヘッドライトスイッチの切り替えに連動させるようにするなどの処置をしても良い。
【０１７８】
更に、撮像装置１０２の撮像素子１０２ＢにＣＣＤを用いると夜間の対向車ヘッドライトや、街路灯、前方車両のストップランプなどの高輝度の光源の影響でスミアが発生する。これを防ぐために、ＣＭＯＳなどの撮像素子１０２Ｂを採用しても良く、また、ＣＣＤにおいても高輝度光源の認識を行い、スミアの影響領域をセグメントし、距離画像２０５出力のエラーを防ぐように、視差算出のためのマッチング探索領域に含めないようにするよう処理を行っても良い。
【０１７９】
これらにより、夜間での距離画像入力をより良好に実施することが可能となる。
【０１８０】
また、撮像装置１０２の露出調整に於いて、図３に示すようにステレオアダプタ１０１による撮像画像（ステレオ画像２０１）に塗りつぶしで表現しているケラレ領域が存在する場合には、その領域の画面に占める割合、その領域の露出判定への寄与度を元に標準の撮影装置の露光調整より暗く写るように露出補正をしてステレオ画像２０１を撮影しても良い。これは、画面通常中央部の輝度から露出を算定するカメラに対し特に有効であり、さらには、露出の計測領域を任意に変更できる場合には、ケラレ領域以外の領域を測光することで露出決定するように撮影装置の露光調整を実施してもかまわない。
【０１８１】
さらに、晴天時や、明るい曇天などに於いては、画面上方、即ち、一般に空の領域になるようなる領域に関して、その領域の感度を落としたり、高ダイナミックレンジ（スーパーラチチュード）のアルゴリズムを調整したり、その部分に対して、透過率が下がるフィルタ（ＮＤフィルタ等）を挿入しても良く、また、ステレオ画像２０１の下方側を重点的に露光調整に用いるようにしても良い。
【０１８２】
このようにすることで、空の明るさの影響を受けずに、距離画像２０５を重点的に出力したい領域の撮影を良好に行うようにしても良い。
【０１８３】
また、走行車線の選択に応じて、得られたレーン情報や、ＧＰＳ１１３の情報などを元に、対向車線を認識し、その領域に対して、上記空の領域に対するのと同様の処理を行うことで、夜間の対向車ヘッドライトなどの影響を減じるように構成してももちろん構わない。
【０１８４】
また、ステレオアダプタ１０１を車載し、フロントガラスから撮影する際に、遮光部材を用いて、撮影する光束を妨げない形でステレオアダプタ前方の開口部とフロントガラス間を遮光し、外光により照らされたダッシュボードの写りこみや、室内光の写りこみなどを防いでも良い。また、その領域だけ、反射防止膜を十分に実施することはもちろん良い。
【０１８５】
さらに、フロントガラス前方には通常ワイパの有効領域ではない領域、例えば、フロントガラスの上方左右隅や、センタのルームミラー設置位置などにステレオアダプタ１０１を設置する場合には、別途ステレオアダプタ用にワイパを設け、ガラス面の水滴や汚れを定期的に除去するようにしても良い。その際、ワイパによる拭き取り時の画像は、距離画像算出には用いないようにしても良い。
【０１８６】
（付記）
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１８７】
（１） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取り付けるステレオアダプタであり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系と、
受光する光束を縮小する複数の縮小光学系と、
を具備し、
上記撮像装置は、上記複数の縮小光学系の間に設置されることを特徴とするステレオアダプタ。
【０１８８】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。ここで、上記撮影装置は、これらの実施の形態では撮像装置１０２が該当するが、ビデオカメラ、スチルカメラ、デジタルスチルカメラなども含む。また、縮小光学系とは、全体として負のパワーを持つレンズ群で構成された光学系であり、実施の形態では、ワイドコンバージョンレンズ１０１Ｃに相当する。
【０１８９】
（作用）
複数の縮小光学系により、広角に捉えられた被写体の光を、複数の受光する部位で受光し、撮像光学系に導光光学系で導き、複数の縮小光学系の間に設置した撮像装置により撮影する。
【０１９０】
（効果）
導光光学系により、被写体の像が縮小光学系の間に設置した撮像装置に導かれ、撮影されるので、大口径で、重量、サイズが大きくなる縮小光学系の間に撮像装置を設置できるのでステレオアダプタと撮像装置を含めた距離画像入力装置を小さく構成することができると共に、装置のモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０１９１】
（２） 上記導光光学系として、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記一次折り曲げミラーの前面に負のパワーを持つ上記縮小光学系は、上記導光光学系による光軸分割方向に光軸を一致するよう設置されることを特徴とする（１）に記載のステレオアダプタ。
【０１９２】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。
【０１９３】
（作用）
縮小光学系は、一次折り曲げ光学系と二次折り曲げ光学系により分割される光軸分割方向に合わせた方向に、光軸を合わせて設置される。
【０１９４】
（効果）
カメラの視野を分割して得られた視野の光軸分割方向に合わせて縮小光学系が設置されるので、角度偏心の影響を減らした光学系として設置することが可能になるため、諸収差を良好に補正することができる。
【０１９５】
（３） 上記縮小光学系は、パワープリズムの一部であり、上記導光光学系を兼ねた負パワーの屈折面、負パワーの反射面、正パワーの反射面、からなることを特徴とする（１）又は（２）に記載のステレオアダプタ。
【０１９６】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。
【０１９７】
（作用）
パワープリズムで構成された屈折反射面により縮小光学系として作用する。
【０１９８】
（効果）
各面が組み合わせミラー、レンズと異なり、単一のプリズムで構成されるため、振動、温度変化に強く、カメラに対する光学系の変化が小さなステレオアダプタを提供できる。
【０１９９】
（４） 上記ステレオアダプタは、上記パワープリズムを保持する一体の構造体を持ち、ここに、上記撮像装置が固定されていることを特徴とする（３）に記載のステレオアダプタ。
【０２００】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。
【０２０１】
（作用）
プリズムの保持が一体の構造体で構成され、そこに直接撮像装置が固定される。
【０２０２】
（効果） プリズムの保持部と、撮像装置の保持部が一体なので、機械的なずれが生じる部材が最小限であり、耐衝撃性、耐環境性が高いステレオアダプタが構成され、距離精度や、再構成のためのカメラパラメータがずれにくい距離画像入力装置を得ることができる。
【０２０３】
（５） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付け、同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を持つステレオアダプタにおいて、
上記導光光学系として、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記一次折り曲げミラーと二次折り曲げミラーとの間に光路延長手段を設けたことを特徴とするステレオアダプタ。
【０２０４】
（６） 上記光路延長手段は、リレーレンズ系であることを特徴とする（５）に記載のステレオアダプタ。
【０２０５】
（７） 上記光路延長手段は、少なくとも１枚のレンズから構成される負のパワーを持つ第１群と、少なくとも１枚のレンズから構成される正のパワーを持つ第２群と、から構成されることを特徴とする（６）に記載のステレオアダプタ。
【０２０６】
（対応する発明の実施の形態）
この発明に関する実施の形態は第２の実施の形態が対応する。
【０２０７】
（作用）
レンズ系により一次折り曲げミラーで折り曲げられた光束が負パワーの第１群により平行光束に変換され、所望の距離伝送された後に正パワーの第２群によりカメラに入射する光束に戻される。
【０２０８】
（効果）
所望の距離平行光束で伝送されるため、複数の視点間の基線長を延長してもミラーや光学系のサイズを大きくすることなく、ステレオアダプタを構成することができる。
【０２０９】
（８） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタであり、
複数の一次結像レンズと、
上記一次結合レンズと同数のイメージガイドと、
二次結像レンズと、
を具備し、
同一被写体からの光を所定距離離間した上記一次結像レンズで上記イメージガイドの一端に結像させ、
それら複数のイメージガイドの他端を束ね、
上記二次結像レンズで上記イメージガイド端を撮像することを特徴とするステレオアダプタ。
【０２１０】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０２１１】
（作用）
複数の一次結像レンズで結像した像はおのおののイメージガイドで伝送され、イメージガイドの他端に現れる。イメージガイドはここで束ねて配置されており、同一面上に像が表示される。この像を二次結像レンズで撮像する。
【０２１２】
（効果）
基線長を自在に設定し、かつ、複数の視点の画像を伝送する場合でも、視野制限が少ない形で複数視点のステレオ画像を得ることができ、ミラーの位置ずれもないため、耐衝撃性にも優れる。
【０２１３】
（９） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタであり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を具備し、
上記導光光学系は、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記一次折り曲げミラーは凸面で構成され、
上記二次折り曲げミラーは凹面で構成されることを特徴とするステレオアダプタ。
【０２１４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０２１５】
（作用）
一次折り曲げミラーで光束は平行光束に近くなり、二次折り曲げミラーで復元される。
【０２１６】
（効果）
一次折り曲げミラーと二次折り曲げミラーの間隔を延長することが可能となり、ミラーサイズを大きくすることなく、より長い基線長のステレオアダプタを提供することができる。
【０２１７】
（１０） 上記導光光学系として、凹屈折面、凸反射面、凹反射面を持つ屈曲光路パワープリズムを用いたことを特徴とする（９）に記載のステレオアダプタ。
【０２１８】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０２１９】
（作用） 凹屈折面と凸反射面で広い画角の光束を平行光束に近い形にし、凹反射面で復元する。
【０２２０】
（効果） 凸反射面と、凹反射面の間隔を延長することが可能となり、プリズムサイズを大きくすることなく、より長い基線長のステレオアダプタを提供することができる。
また、各屈折、反射面を一体で整形することが可能なので、位置ずれが生じず、耐衝撃性、耐環境性に優れたステレオアダプタを提供することができる。
【０２２１】
（１１） 上記一次折り曲げミラーと、二次折り曲げミラーが略Ｗ字型に配置され、
一次折り曲げミラーへの入射側に向けて、二次折り曲げミラーが光束を反射し、撮像装置で撮像するように構成されたことを特徴とする（２）乃至（７）、（９）、（１０）の何れかに記載のステレオアダプタ。
【０２２２】
（対応する実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３と、第４の実施の形態が対応する。
【０２２３】
（作用）
被写体の光を、複数の受光する部位で受光し、Ｗ字型に配置された一次折り曲げミラーで複数視点の中央方向に折り曲げた光束を、二次折り曲げミラーで一次折り曲げミラーの入射側に戻る方向に反射し、撮像光学系に入射して撮像装置で撮影する。
【０２２４】
（効果）
二次折り曲げミラーよりも大きい一次折り曲げミラーや、縮小光学系や、シリンドリカルレンズなどを先端に配置して、それらによって生じる空いた領域にカメラを設置できるので、ステレオアダプタとカメラを含めた距離画像入力装置を小さく構成することができるとともに、装置のモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０２２５】
（１２） （１）乃至（１１）の何れかに記載のステレオアダプタと、
上記ステレオアダプタが取り付けられた撮像装置と、
上記撮像装置で撮影したステレオ画像より三次元再構成を含む処理を行い、三次元距離情報を提供する距離画像処理装置と、
を具備することを特徴とする距離画像入力装置。
【０２２６】
（１３） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタを持つ距離画像入力装置であり、
上記ステレオアダプタは、同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を備え、
上記導光光学系は、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
上記撮像装置の撮像素子（例えばＣＣＤ）の垂直走査方向に正のパワーを持つシリンドリカルレンズを上記ステレオアダプタの出射部に備え、
更に、インターレース補間装置と距離画像演算装置とを具備することを特徴とする距離画像入力装置。
【０２２７】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第３の実施の形態が対応する。
【０２２８】
（作用）
ステレオアダプタからの光束が、シリンドリカルレンズで縦方向に伸ばされる。
【０２２９】
（効果）
縦画角に対して薄型のステレオアダプタを用いたときにも、撮像装置の画角を有効に用いることができるとともに、インタレース画像の補間処理を行った場合でも、実質解像度の低下を防ぐことができ、高精細な画像を得ることが可能となる。
【０２３０】
（１４） ステレオ画像を撮影するため、撮像装置の撮像光学系の前方に取付けるステレオアダプタを持つ距離画像入力装置であり、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系を持ち、上記導光光学系は、一次折り曲げミラーと二次折り曲げミラーとを複数持ち、
一組の一次折り曲げ、二次折り曲げミラーでは、画角を上下に分割した略半分の領域に直視画像を結像し、一方は二組の一次折り曲げミラーと二次折り曲げミラーとでステレオ視することを特徴とする距離画像入力装置。
【０２３１】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２３２】
（作用）
第１の組の一次折り曲げミラーと二次折り曲げミラーにより、撮像光学系の半分の画角に直視の画像を導き、残り２組の一次折り曲げミラーと二次折り曲げミラーにより、左右の視野を持ったステレオ画像が撮像光学系に入射し、ステレオ視する。
【０２３３】
（効果）
上下に分割した視野で、片側は直視の画像が、片側は二視点からのステレオ画像が撮影できる。
【０２３４】
（１５） 直視側の光軸方向は、ステレオ視側の光軸方向に略一致するように、一次折り曲げミラー、二次折り曲げミラーの相対角度を撮像装置の縦画角の１／４以下の範囲に設定したことを特徴とする（１４）に記載の距離画像入力装置。
【０２３５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２３６】
（作用）
一次折り曲げミラーと二次折り曲げミラーがカメラの縦画角の１／４以下の範囲で平行な状態からずれて設置されてステレオ視側に傾いた方向の光束が、結像する。
【０２３７】
（効果）
直視とステレオ視の視野がほぼ一致して撮影可能になり、両者の画像の対応をとった画像を撮影することが可能となる。
【０２３８】
（１６） 上記直視側に縮小光学系を持つことを特徴とする（１４）又は（１５）に記載の距離画像入力装置。
【０２３９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２４０】
（作用）
直視側に縮小光学系により、広画角の二次元画像を撮影する。
【０２４１】
（効果）
ステレオアダプタで得られる距離画像の視野の狭さを補間する二次元画像を広画角で撮影することができる。
【０２４２】
（１７）上記縮小光学系はステレオ撮影側に光軸が有り、非対称の形状となっていることを特徴とする（１６）に記載の距離画像入力装置。
【０２４３】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第４の実施の形態が対応する。
【０２４４】
（作用）
縮小光学系の光軸が、撮像装置の光軸に近接して設置されるとともに、ステレオアダプタ側の光学系が非対称に切り取られている。
【０２４５】
（効果）
縮小光学系と撮像装置の光軸とが略一致することになり、諸収差の乱れを抑制すると共に、縮小光学系を切り欠いたため、光学系を小型軽量に提供することができる。また、上下の直視とステレオ視の視差を減少することができる。
【０２４６】
（１８） 上記一次折り曲げミラーと二次折り曲げミラーとが略Ｗ字型に配置され、
上記一次折り曲げミラーへの入射側に向けて、上記二次折り曲げミラーが光束を反射し、撮像装置で撮像するように構成されたことを特徴とする（１３）乃至（１７）の何れかに記載の距離画像入力装置。
【０２４７】
（対応する実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３と、第４の実施の形態が対応する。
【０２４８】
（作用）
被写体の光を、複数の受光する部位で受光し、Ｗ字型に配置された一次折り曲げミラーで複数視点の中央方向に折り曲げた光束を、二次折り曲げミラーで一次折り曲げミラーの入射側に戻る方向に反射し、撮像光学系に入射して撮像装置で撮影する。
【０２４９】
（効果）
二次折り曲げミラーよりも大きい一次折り曲げミラーや、縮小光学系や、シリンドリカルレンズなどを先端に配置して、それらによって生じる空いた領域にカメラを設置できるのでステレオアダプタとカメラを含めた距離画像入力装置を小さく構成することができると共に、装置のモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０２５０】
（１９） 左右の視野を入れ替える視野反転装置を更に具備することを特徴とする（１８）に記載の距離画像入力装置。
【０２５１】
（対応する実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３と、第４の実施の形態が対応する。
【０２５２】
（作用）
被写体の光を、複数の受光する部位で受光し、Ｗ字型に配置された１次折り曲げミラーで複数視点の中央方向に折り曲げた光束を、二次折り曲げミラーで一次折り曲げミラーの入射側に戻る方向に反射し、撮像光学系に入射して撮像装置で撮影する。撮像された画像の左右視野は、視野反転装置により、左右視野の位置処理をした上で距離画像処理を実施する。
【０２５３】
（効果）
従来の距離画像処理装置を用いたままで視差の反転を防ぎ、そのままの回路処理プログラム構成で距離画像を算出することができる。
【０２５４】
（２０） 撮像装置と、
同一被写体からの光を所定距離離間した複数の部位で受光し、上記受光した各々の光を上記撮像装置の撮像光学系に導く導光光学系と、
上記撮像装置を挟んで配置された、受光する光束を縮小する複数の縮小光学系と、
を具備することを特徴とするステレオアダプタカメラ。
【０２５５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１と、第２と、第３の実施の形態が対応する。ここで、上記撮影装置は、これらの実施の形態では撮像装置１０２が該当するが、ビデオカメラ、スチルカメラ、デジタルスチルカメラなども含む。また、縮小光学系とは、全体として負のパワーを持つレンズ群で構成された光学系であり、実施の形態では、ワイドコンバージョンレンズ１０１Ｃに相当する。
【０２５６】
（作用）
複数の縮小光学系により、広角に捉えられた被写体の光を、複数の受光する部位で受光し、撮像光学系に導光光学系で導き、複数の縮小光学系の間に設置した撮像装置により撮影する。
【０２５７】
（効果）
導光光学系により、被写体の像が縮小光学系の間に設置した撮像装置に導かれ、撮影されるので、大口径で、重量、サイズが大きくなる縮小光学系の間に撮像装置を設置できるのでステレオアダプタと撮像装置を含めたステレオアダプタカメラを小さく構成することができると共に、該ステレオアダプタカメラのモーメントを小さくできるため、振動、加速度を受けたときにも剛性の高い構造にすることができる。
【０２５８】
【発明の効果】
以上詳述したように、本発明によれば、遠距離の被写体を広角に撮影できる小型軽量なステレオアダプタ、及びそのようなステレオアダプタを用いた距離画像入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るステレオアダプタ及び距離画像入力装置を適用したステレオアダプタ撮像システムの構成を示す図である。
【図２】従来のステレオ撮影装置でのステレオ撮影を説明するための図である。
【図３】ステレオアダプタを用いた場合のステレオ撮影を説明するための図である。
【図４】（Ａ）は一般的なステレオアダプタの構成を示す図であり、（Ｂ）は第１の実施の形態に係るステレオアダプタの構成を示す図である。
【図５】ソフトウェア的処理による距離画像処理装置の構成を示す図である。
【図６】（Ａ）はステレオアダプタの視野を示す図であり、（Ｂ）はその展開図である。
【図７】レクティフィケーション処理を説明するための図である。
【図８】レクティフィケーション処理における座標変換方法を説明するための図である。
【図９】ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの手法を説明するための図である。
【図１０】（Ａ）は撮影された画像を示す図であり、（Ｂ）はその画像から距離を算出した結果を示す図である。
【図１１】物体認識部の構成を示す図である。
【図１２】（Ａ）は距離に基づく領域ｂｌｏｂ群を説明するための図であり、（Ｂ）はｂｌｏｂ統合化によって抽出された物体を説明するための図である。
【図１３】（Ａ）はキャリブレーション部の構成を示す図であり、（Ｂ）は車両ボンネットなど前部にある特徴点を説明するための図である。
【図１４】車両へのキャリブレーション治具の装着状態を示す図である。
【図１５】キャリブレーション治具を撮影した場合の特徴点を説明するための図である。
【図１６】路面にキャリブレーションマーカを配置した場合のキャリブレーションマーカと車両の位置関係を示す図である。
【図１７】路面に配置したキャリブレーションマーカを撮影した場合の特徴点を説明するための図である。
【図１８】第１の実施の形態に係るステレオアダプタの変形例を示す図である。
【図１９】本発明の第２の実施の形態に係るステレオアダプタの構成を示す図である。
【図２０】第２の実施の形態に係るステレオアダプタの変形例を示す図である。
【図２１】（Ａ）は本発明の第３の実施の形態に係るステレオアダプタの構成を示す図、（Ｂ）は通常のステレオアダプタによる撮像画像を示す図であり、（Ｃ）は第３の実施の形態に係るステレオアダプタによる撮像画像を示す図である。
【図２２】第３の実施の形態に係るステレオアダプタの変形例を示す図である。
【図２３】（Ａ）は本発明の第４の実施の形態に係るステレオアダプタの構成を示す図であり、（Ｂ）は第４の実施の形態に係るステレオアダプタによる撮像画像を示す図である。
【図２４】第４の実施の形態に係るステレオアダプタの変形例を示す図である。
【図２５】第１乃至第４の実施の形態に係るステレオアダプタに適用可能な変形を説明するための図であって、（Ａ）はその構成を、（Ｂ）は撮像画像をそれぞれ示す図である。
【符号の説明】
１１…光路分割装置、１２…露出制御装置、１３…フレームメモリ、１４…レクティフィケーション装置、１５…距離算出装置、１６…距離画像出力、１７…キャリブレーション装置、１８…インターレース補間処理装置、１００…距離画像入力装置、１０１…ステレオアダプタ、１０１Ａ…一次折り曲げミラー、１０１Ｂ…二次折り曲げミラー、１０１Ｃ…ワイドコンバージョンレンズ、１０１Ｃ１…光軸、１０１Ｄ…パワープリズム、１０１Ｄ１…凹屈折面、１０１Ｅ…プリズム・撮影装置保持具、１０１Ｆ…負パワーレンズ群、１０１Ｇ…正パワーレンズ群、１０１Ｈ…一次結像光学系、１０１Ｉ…イメージガイド、１０１Ｊ…一次結像光学系連接部材、１０１Ｋ…二次結像光学系連接部材、１０１Ｌ…シリンドリカルレンズ、１０１Ｍ…視野拡大用シリンドリカルレンズ、１０１Ｎ…光路延長手段、１０１Ｎ１…一次偏向ミラー、１０１Ｎ２…二次偏向ミラー、１０１Ｏ…遮光板、１０２…撮像装置、１０２Ａ…撮像光学系、１０２Ａ１…光軸、１０２Ｂ…撮像素子、１０３…距離画像処理装置、１０３Ａ…フレームメモリ、１０３Ｂ…レクティフィケーション処理部、１０３Ｃ…三次元再構成部、１０３Ｄ、…物体認識部、１０３Ｅ…キャリブレーション部、１０４…制御装置、１０５…物体認識装置、１１６…ステレオアダプタカメラ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a stereo adapter mounted in front of an imaging optical system of an imaging device for capturing a stereo image, and a distance image for calculating three-dimensional distance information from a stereo image from the imaging device equipped with such a stereo adapter. The present invention relates to an input device.
[0002]
[Prior art]
Conventionally, by connecting to an imaging optical system of an imaging device, light from the same subject is received at two separated portions, and each received light is guided to an imaging optical system of the imaging device, thereby forming a stereo image. Stereo adapters that enable imaging (stereo shooting) are used, and various configurations of such stereo adapters have been proposed.
[0003]
For example, a stereo adapter having a pattern projection unit that projects a predetermined pattern onto a subject (for example, see Patent Document 1), and a stereo adapter in which a cylindrical lens or a wide conversion lens is detachably installed on the front surface have been proposed (for example, , Patent Document 2).
[0004]
Also, an endoscope for binocular vision using an image guide has been proposed (for example, see Patent Document 3).
[0005]
The configuration of the mirror of the stereo adapter is disclosed, for example, in Patent Document 4.
[0006]
Further, an adapter for trinocular stereo has been proposed (for example, see Patent Document 5).
[0007]
[Patent Document 1]
JP 2000-236332 A
[0008]
[Patent Document 2]
JP-A-9-327042
[0009]
[Patent Document 3]
JP-A-4-016812
[0010]
[Patent Document 4]
Japanese Utility Model Publication No. 53-112426
[0011]
[Patent Document 5]
JP 2001-305682 A
[0012]
[Problems to be solved by the invention]
However, in order to capture a wide-angle image of a distant subject, the projection device and the mirror become large, and it has been difficult to make the stereo adapter small and lightweight.
[0013]
The present invention has been made in view of the above points, and has as its object to provide a small and lightweight stereo adapter capable of shooting a distant subject at a wide angle, and a range image input device using such a stereo adapter. I do.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, a stereo adapter according to the first aspect of the present invention includes:
It is a stereo adapter attached to the front of the imaging optical system of the imaging device for capturing a stereo image,
A light guiding optical system that receives light from the same subject at a plurality of sites separated by a predetermined distance, and guides each of the received light to an imaging optical system of the imaging device;
A plurality of reduction optical systems for reducing a light beam to be received;
With
The imaging device is provided between the plurality of reduction optical systems.
[0015]
The stereo adapter according to the second aspect of the present invention is the stereo adapter according to the first aspect,
In the light guide optical system, a primary bending mirror and a secondary bending mirror are arranged in a substantially W shape,
The secondary bending mirror reflects a light beam toward the incident side to the primary bending mirror, and is configured to capture an image with the imaging device.
[0016]
Further, in order to achieve the above object, a distance image input device according to the invention of claim 3 is provided.
A stereo adapter according to the invention of claim 1 or 2,
An imaging device to which the stereo adapter is attached,
A range image processing device that performs a process including three-dimensional reconstruction from a stereo image captured by the imaging device, and provides three-dimensional distance information,
It is characterized by having.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
[First Embodiment]
FIG. 1 is a diagram illustrating a configuration of a stereo adapter imaging system to which a stereo adapter and a range image input device according to a first embodiment of the present invention are applied. This stereo adapter imaging system will be described as an example mounted on a vehicle.
[0019]
That is, the stereo adapter imaging system includes a range image input device 100, a control device 104, an object recognition device 105, a warning device 106, a driving device 107, a display device 108, a vehicle speed sensor 109, a ranging radar 110, an illuminance sensor 111, It comprises an external camera 112, a GPS (Global Positioning System) 113, a VICS (Congestion Information Acquisition Device) 114, and an external communication device 115.
[0020]
Here, the range image input device 100 measures a stereo adapter camera 116 including an imaging device 102 for photographing the subject 400, a stereo adapter 101 attached to the tip of the imaging device 102, and a distance image 205 of the subject 400. And a distance image processing device 103.
[0021]
The imaging device 102 includes an imaging optical system 102A, a shooting aperture adjustment device (not shown), a shooting focus adjustment device (not shown), and a shooting shutter speed adjustment, similarly to a general video camera, digital still camera, or the like. It comprises a device (not shown), an image sensor 102B (see FIG. 3), and a sensitivity adjusting device (not shown). Further, a stereo adapter 101 is attached to the imaging device 102.
[0022]
This stereo adapter 101 has an optical path splitting device 11. The optical path splitting device 11 is mounted in front of the imaging optical system 102A of the imaging device 102 so that images of the subject 400 from different viewpoints can be formed on the imaging device 102B.
[0023]
That is, in the conventional stereo photographing device, as shown in FIG. 2, the same subject 400 is observed from different viewpoints CL and CR by a plurality of photographing devices 102. In this case, an independent pair of single subject images 1 is obtained. On the other hand, in the stereo adapter 101, the plurality of luminous fluxes 2 and 3 are bent by the mirror of the optical path splitting device 11 as shown in FIG. . That is, as shown in FIG. 3, the subject image reflected by the primary bending mirror 101A that receives the light beams 2 and 3 from the object 400 that is spaced apart is arranged in front of the imaging optical system 102A and captures the light beam. The light is guided so as to be incident on the imaging optical system 102A by the secondary bending mirror 101B that deflects the light to be guided to the optical system 102A. Thus, images from two different viewpoints, that is, a stereo image 201 can be formed on the image sensor 102B.
[0024]
The stereo image 201 thus captured by the imaging device 102, that is, captured by the image sensor 102B, is supplied to the distance image processing device 103 as shown in FIG. Then, the image is processed by the distance image processing device 103 to become a three-dimensional distance image 205, which is output to the control device 104 and the object recognition device 105.
[0025]
Note that the term “distance image” in this specification means an image having distance information in pixels of a subject image.
[0026]
Further, the stereo adapter 101 has wide conversion lenses 101C having negative power on the front of the optical path splitting device 11, respectively, and has an effect of shortening the focal length of the imaging optical system 102A.
[0027]
That is, as shown in FIG. 4A, the light beam is generally bent so that the image pickup device 102 is arranged with the object side facing, but in the present embodiment, the light beam is bent in FIG. As shown in (2), the secondary bending mirror 101B is disposed so as to bend the light beam in the incident direction of the light beam from the subject 400 to the primary bending mirror 101A, and the imaging device 102 is disposed between the plurality of wide conversion lenses 101C. Will be placed.
[0028]
Reference numeral 12 denotes an exposure control device. The exposure control device 12 includes the above-described photographic aperture adjustment device, photographic focus adjustment device, photographic shutter speed adjustment device, and sensitivity adjustment device included in the imaging device 102 (all of which are shown in the drawing). Connected). The exposure control device 12 is connected to the control device 104, and controls the imaging device 102 according to the exposure value calculated based on the luminance information from the image sensor 102B.
[0029]
As described above, the stereo image 201 captured by the image sensor 102B is input to the distance image processing device 103. The stereo image 201 is input to the frame memory 13 and becomes a digital image 202.
[0030]
The output of the frame memory 13 is input to the rectification device 14. The rectification device 14 outputs the left image 203 and the right image 204 to the distance calculation device 15. The distance calculation device 15 outputs a three-dimensional distance image 205 to the object recognition device 105 through the distance image output 16. Also, a two-dimensional image (stereo image 201), a distance image 205, and the like are output to the control device.
[0031]
Note that a calibration device 17 is separately provided in the distance image processing device 103, and a rectification parameter is provided for the rectification device 14, a distance calculation parameter is provided for the distance calculation device 15, and an object recognition An object recognition parameter is output to the device 105.
[0032]
The object recognizing device 105 recognizes an object or an object region therein using the input three-dimensional distance image 205 and outputs object data 206 as a result.
[0033]
Each device in the distance image processing device 103 may be realized by software on a computer.
[0034]
The control device 104 has a role of controlling the image information and the vehicle information. For example, the control device 104 displays a result processed by the distance image processing device 103 on the display device 108, or displays a distance obtained by the distance image processing device 103. By analyzing the information and the information from the vehicle speed sensor 109 and the like, a warning can be issued to the warning device 106 and the driving device 107 can be controlled to prompt the driver to drive safely. The warning device 106 includes a voice device, a vibration device, or the like. For example, the voice device is a voice from a speaker or the like, and the vibration device issues a warning to a driver by vibration of a driver's seat.
[0035]
As described above, according to the stereo adapter imaging system, since it is not directly related to the present invention, the detailed description is omitted, but the image information obtained from the stereo adapter 101 and the range image input device 100 according to the present embodiment and various The vehicle information obtained from the sensors and the like can be integrated, and the driver can be prompted to drive safely by displaying image information on the display device 108, warning on the warning device 106, controlling the driving device 107, and the like.
[0036]
Next, the operation of the present embodiment will be described.
When the imaging device 102 starts shooting, the imaging device 102B outputs an image. The exposure control device 12 receives the luminance information of the image, and controls a photographing shutter speed adjusting device (not shown), a photographing aperture adjusting device (not shown), a sensitivity adjusting device (not shown), and the like of the image pickup device 102. , So that an appropriate video image is shot.
[0037]
Then, the light beam that has passed through the wide conversion lens 101C installed at two different viewpoints is reflected by the primary folding mirror 101A and the secondary folding mirror 101B, and enters the imaging optical system 102A.
[0038]
By the imaging optical system 102A, a stereo image 201 of the subject 400 is formed on the image sensor 102B and photographed. The captured stereo image 201 is input to the distance image processing device 103. That is, the stereo image 201 is input to the frame memory 13 of the distance image processing device 103, and becomes a digital image 202 having a predetermined resolution.
[0039]
The distance image processing device 103 calculates a distance image from the stereo image 201. That is, the rectification device 14 cuts out the regions of the left and right images 203 and 204, and performs deformation processing based on information of the calibration device 17 by removing distortion of the image and transforming the viewpoint so that the epipolar lines of the stereo image 201 match. Do. The distance calculation device 15 performs stereo matching processing on the left image 203 and the right image 204 generated in this way, and calculates the parallax of each pixel of the left image 203 and the right image 204. Using the parameters from the calibration device 17, the parallax is converted into a distance to generate a distance image.
[0040]
Although the hardware configuration has been described above, the calculation of the distance image by software processing will be described in more detail below with reference to FIG.
[0041]
The processing inside the distance image processing device 103 is referred to as a processing unit. That is, the frame memory 13 corresponds to the frame memory 103A, and the processing in the rectification device 14 corresponds to the rectification processing unit 103B. In addition, since the distance image 205 is obtained as a result of the three-dimensional reconstruction, the processing in the distance calculation device 15 is referred to as a three-dimensional reconstruction in the three-dimensional reconstruction unit 103C below. The processing in the object recognition device 105 corresponds to the object recognition unit 103D, and the processing in the calibration device corresponds to the calibration unit 103E.
[0042]
That is, the image captured by the imaging device 102 via the stereo adapter 101 is temporarily stored in the frame memory 103A in the processing device 103. At this time, when the imaging device 102 sends out an analog signal, it is converted into a digital signal in the frame memory 103A. When the imaging device 102 transmits a digital signal, the digital signal is stored as it is as a digital signal. Then, the digital image 202 that is the image of the stored digital signal is sent to the rectification processing unit 103B. The rectification processing unit 103B converts the supplied digital image 202 into an image that facilitates stereo correspondence, and sends the result as a left image 203 and a right image 204 to the three-dimensional reconstruction unit 103C. I do. The three-dimensional reconstruction unit 103C performs a corresponding point search for each pixel of the left image 203 and the right image 204, and creates a parallax image or a three-dimensional distance image 205 using the correspondence. Then, the object recognizing unit 103D uses the parallax image or the three-dimensional distance image 205 to recognize an object or an object region therein, and outputs object data 206 as a result.
[0043]
On the other hand, the calibration unit 103E calculates the characteristic parameters of the imaging device 102 and the stereo adapter 101 required by the rectification processing unit 103B, the three-dimensional reconstruction unit 103C, and the object recognition unit 103D. Then, the characteristic parameters of the imaging device 102 and the characteristic parameters of the stereo adapter 101 (rectification parameters 207) required for the rectification are passed to the rectification processing unit 103B, and are sent to the three-dimensional reconstruction unit 103C. The characteristic parameters (three-dimensional reconstruction parameter 208) of the stereo adapter 101 necessary for distance measurement are transferred. On the other hand, parameters (parameters for object recognition 209) that specify a parallax image and a distance image are passed to the object recognition unit 103D.
[0044]
(1) Mathematical preparation
Hereinafter, the details of each unit configuring the processing apparatus 103 will be described. Before starting the description of these units, the basics of the three-dimensional reconstruction when the stereo adapter 101 is used are described. Give a mathematical explanation.
[0045]
First, when an image is captured by the imaging device 102 using the stereo adapter 101, the image is formed as an image by an imaging device 102B (for example, a semiconductor device such as a CCD or a CMOS) in the imaging device 102 and an image signal is generated. It becomes. This image signal is an analog or digital signal, but becomes digital image data in the processing device 103. The digital data can be expressed as a two-dimensional array, but it goes without saying that a two-dimensional array having a honeycomb structure such as hexagonal close packing may be used. In the case of an interlaced image, a shift between even and odd fields may occur in one frame. If this shift affects processing, the image may be halved in the vertical direction. , And even and odd fields are separately processed, so that the influence of the shift can be solved without lowering the distance resolution. Furthermore, it is also conceivable to calculate the difference between the images in the time-series direction, perform moving object detection and the like, and process only the region of the moving object to increase the speed. Here, for the sake of simplicity, it is assumed that the pixels of the image defined by the frame memory 103A in the processing device 103 can be defined in a square or rectangular lattice shape.
[0046]
Now, the coordinate system of the image is defined as (u, v). At this time, a world coordinate system is defined to define the stereo adapter 101 and the imaging device 102. For example, the world coordinate system may be considered as a reference coordinate system defined by the vehicle body and the vehicle 300 (this reference coordinate system will be described later in detail). This world coordinate system is W. When the image position in the frame memory 103A when the point P (x, y, z) defined in the world coordinate system is photographed via the stereo adapter 101 is (u, v), actually, An image captured by the stereo adapter 101 as shown in FIG. 6A has two frame memories as if they were two imaging devices (cameras) as shown in FIG. 6B. It can be expanded to a normal stereo camera as if. For example, consider modeling the optical characteristics of the stereo adapter 101, the imaging device 102, and the frame memory 103A with a pinhole camera.
[0047]
That is, the coordinate system of the pinhole camera model related to the left image 203 is set to the left camera coordinate system L, and the coordinate system of the pinhole camera model related to the right image 204 is set to the right camera coordinate system R. A point in the left camera coordinate system L is represented by (x ^L , Y ^L , Z ^L ), The corresponding point of the image (u ^L , V ^L ), The point in the right camera coordinate system R is (x ^R , Y ^R , Z ^R ), The corresponding point of the image (u ^R , V ^R ) Then u ^L , V ^L , U ^R , V ^R Is the camera position C in FIGS. 6A and 6B. _L , C _R While taking into account
(Equation 1)

(2) Rectification processing unit 103B
Let the position of the point P (x, y, z) defined in the world coordinate system in the left image be (u ^L , V ^L ), The position in the right image is (u ^R , V ^R ), The position C in the world coordinate system of the left camera L corresponding to the imaging device 102 and the frame memory 103A assumed for the left image. _L (The origin of the left camera coordinate system) and the position C in the world coordinate system of the right camera R corresponding to the imaging device 102 and the frame memory 103A assumed for the right image. _R (The origin of the right camera coordinate system). At this time, the point P (x, y, z) on the world coordinate system W is leftward (u ^L , V ^L ), And from the same point to the right (u ^R , V ^R ) Can be written as:
[0048]
(Equation 2)

[0049]
On the other hand, when the lens distortion of the optical lens of the imaging optical system 102A of the imaging apparatus 102 cannot be ignored with respect to the required accuracy of three-dimensional measurement, it is necessary to consider an optical system including the lens distortion. In this case, the above equations (3) and (4) can be expressed by the following equations (5) and (6). In these expressions, a radial distortion (Radial Distortion) and a tangential distortion (Tangential Distortion) are used to express the lens distortion. However, other distortion expressions may be used.
[0050]
[Equation 3]

[0051]
(Equation 4)

[0052]
Hereinafter, for the sake of simplicity, the description will focus on the pinhole camera model represented by equation (1).
[0053]
As described above, based on the left camera L and the right camera R, the point P (x, y, z) in the world coordinate system W and its projection point (u) on the left and right images ^L , V ^L ) And (u ^R , V ^R ), These corresponding points do not always have the same vertical coordinate value v as in a general stereo camera system. That is, v ^L = V ^R Is not always the case. If this condition is not satisfied, an enormous amount of calculation is required for stereo matching (corresponding point search) in the three-dimensional reconstruction unit 103C described later. Thus, for example, reference Trucco and A. As described in Verri, Introduction Technology for 3-D Computer Vision, Prentice Hall, 1998, rectification processing is generally performed. Specifically, as shown in FIG. 7, each pixel (u) in the left image area is a left image area and a right image area in one image obtained by the stereo adapter 101. ^L , V ^L ), Both the left image area and the right image area are coordinate-transformed so that the corresponding points in the right image area have the same vertical image coordinates. For example, the method can be written as:
[0054]
(Equation 5)

[0055]
(Equation 6)

[0056]
(Equation 7)

[0057]
(Equation 8)

[0058]
(Equation 9)

[0059]
(Equation 10)

[0060]
Thus, rectification can be realized by considering rotation conversion.
[0061]
[Equation 11]

[0062]
[Rectification processing step]
The specific steps are as follows.
[0063]
(Equation 12)

[0064]
(Equation 13)

[0065]
Here, one method of the rectification process has been described, but of course, there are various methods in this method. The deformation is described in reference E. Trucco and A. Verri, Introductory Technologies for 3-D Computer Vision, Prentice Hall, 1998, and will not be described in detail here. Also, in this description, the rectification processing has been described assuming that the distortion of the lens is small. However, if there is a lens distortion as shown in Expressions (5) and (6), these are removed in advance and the rectification Obviously, the fiction processing can be performed. For example, when considering processing including lens distortion removal, specific steps are as follows.
[0066]
[Rectification step including distortion removal]
[Equation 14]

[0067]
(Equation 15)

[0068]
The mathematical basis of the rectification process has been described above. The rectification processing unit 103B in FIG. 5 converts an image captured by the stereo adapter 101 and the imaging device 102 based on such a mathematical method. It has a function of generating a left image 203 and a right image 204 as left and right images.
[0069]
(3) Three-dimensional reconstruction unit 103C
The three-dimensional reconstruction unit 103C uses the left image 203 and the right image 204 generated by the rectification processing unit 103B to search for a corresponding point of the right image 204 corresponding to each pixel point of the left image 203, It has a function of generating a three-dimensional distance image 205 based on the relationship between the corresponding points.
[0070]
Here, the method will be described. As described above, in the image output from the rectification processing unit 103B, when each line of the left image 203 and the same line of the right image 204 are handled, the pixels corresponding to the pixels on the line of the left image 203 are handled. The points provide the requirement that they must be on the same line in the right image 204. This requirement is commonly referred to as an epipolar line constraint. The three-dimensional reconstruction unit 103C first searches for a pixel point in the right image 204 corresponding to each pixel point of the left image 203 while using this condition.
[0071]
For these methods, see References: Matsuyama et al., Computer Vision: Technical Review and Future Prospects, New Technology Communications, 1998, pp. As represented by 123-137, in the so-called stereo matching method, both an area-based matching method and a feature-based matching method are conceivable. The three-dimensional reconstruction unit 103C may use any of these. Here, for simplicity, a method of performing three-dimensional reconstruction using an area-based matching technique will be described.
[0072]
(Equation 16)

[0073]
The similarity (or dissimilarity) is defined as 1) the sum of the absolute values of the differences between the pixels in the local region (window) (SAD), and 2) the square of the difference between the pixels in the local region. Sum (SSD), 3) Normalized correlation (NCC) between each pixel in the local area, and the like. In the case of SAD or SSD, the value is minimized. In the case of NCC, the normalized correlation is calculated. The optimum corresponding point is determined by the maximum value.
[0074]
[Equation 17]

[0075]
(Equation 18)

[0076]
It is also possible to do so. When the reliability is taken into account in this way, pixels having uncorresponding points may exist in the left image 203 or the right image 204, of course.
[0077]
[Equation 19]

[0078]
(Equation 20)

[0079]
In this way, the three-dimensional reconstruction unit 103C can calculate three-dimensional coordinate values (x, y, z) corresponding to pixels of the left image 203. Here, (x, y, z) is a three-dimensional coordinate value based on the rectification coordinate system Rect used in the rectification process.
[0080]
In the description so far, the corresponding point search and the three-dimensional reconstruction have been performed using each pixel of the left image 203 as a standard. However, it is easy to perform the corresponding point search and the three-dimensional reconstruction using the right image 204 as a standard. It is. When the effect of image blurring due to vibration of the vehicle 300 or the like is great, it is conceivable to perform a three-dimensional reconstruction after adding a camera shake preventing function and performing image blur correction. For this purpose, a gyro sensor or an acceleration sensor for detecting vibration is added. In this case, it is assumed that the optical center information at the time of calibration varies due to the camera shake correction function. However, since the shift amount is an amount that can be calculated from the camera shake correction information of the gyro sensor or the acceleration sensor, the shift amount can be corrected by the rectification processing unit 103B. Alternatively, it is also possible to acquire information corresponding to a correction amount of a gyro sensor, an acceleration sensor, and the like by detecting a fluctuation amount of an image frame when the stereo adapter 101 is mounted.
[0081]
FIGS. 10A and 10B show the distance images calculated in this manner. That is, FIG. 10A is a photographed image, and FIG. 10B is a diagram showing a result of calculating a distance from the image, where the higher the luminance, the closer the distance.
[0082]
Thus, the three-dimensional reconstruction unit 103C generates the three-dimensional distance image 205 including the three-dimensional coordinate values (x, y, z). The three-dimensional distance image 205 is then sent to the object recognition unit 103D. In the case where the object recognition unit 103D directly uses the parallax image, the parallax image may be transmitted instead of the three-dimensional distance image 205.
[0083]
(4) Object recognition unit 103D
After the three-dimensional range image 205 is generated by the three-dimensional reconstruction unit 103C, the object recognition unit 103D detects or recognizes various objects included in the three-dimensional range image 205. FIG. 11 illustrates a configuration example of the object recognition unit 103D for the front vehicle-mounted camera.
[0084]
The object recognizing unit 103D includes, for example, a road extracting unit 103D1 that extracts a road area 210 and a non-road area 211 in front of the car when the car is traveling on a road. An obstacle that recognizes an obstacle object that is not on the road surface by using the in-road object extraction unit 103D2 that extracts a three-dimensional object, and the road area 210 and the non-road area 211 extracted from the three-dimensional distance image 205. The object recognition unit 103D3 outputs object data 206A from the road surface object extraction unit 103D2, and outputs object data 206B from the obstacle recognition unit 103D3.
[0085]
Assume that the set of three-dimensional points output by the three-dimensional reconstruction unit 103C is A _all And At this time, the road extracting unit 103D1 first extracts a part of the area in front of the vehicle, and extracts a smooth plane or curved surface from the part. As this method, for example, each three-dimensional coordinate value p of the three-dimensional distance image 205 is used. _i = (X _i , Y _i , Z _i ), A value in the vicinity thereof is obtained to obtain a normal vector n _i Is estimated. And the normal vector n _i And a main normal vector n that becomes a peak in the histogram is obtained. It is assumed that the main normal vector n thus obtained is the main normal vector of the road surface. When the main normal vector n is obtained in this way, a three-dimensional coordinate point p such that n is the normal line _i = (X _i , Y _i , Z _i ) Is a set A of all data constituting the three-dimensional distance image 205 _all Choose from That is, each three-dimensional coordinate p _i = (X _i , Y _i , Z _i ),
n ^t p _i = D (27)
And a method of estimating an unknown parameter d therein while removing an abnormal value. After estimating n and d in this way, each point p _i = (X _i , Y _i , Z _i ) Is in the plane describing this road. As a determination method, ε which is a fitting error is
ε = | n ^t p _i −d | <threshold (28)
Those that are within the range of the threshold threshold are determined to be within the road surface. The set of three-dimensional points obtained in this way is denoted by A _load And Also A _load If a set of points contains a noise component, the set of points on the road surface from which noise has been removed by applying an appropriate noise filter _load Is redefined.
[0086]
In the road surface object extraction unit 103D2, the point set A in the road surface _load , Landmarks and the like that are important as features of the road are extracted. These landmarks include lane information such as white lines, and various character codes in the lanes. In order to recognize these, first, the road surface object extraction unit 103D2 uses the point set A _load Then, an image feature corresponding to a lane or a character code is extracted from the left image 203 or the right image 204 to which rectification has been performed. This method is described in, for example, Hanawa et al., Practical Use of Automotive Stereo Image Recognition Apparatus, Third Rotational Image Processing Practical Use Workshop, 2002, pp. 106-110, or Otsuka et al., Lane Mark Recognition Using Edge Direction Components, Third Rotation Image Processing Realization Workshop, 2002, pp. 147-64. 96-101 etc., the details of the method will not be described here in detail. However, in this method, since the road surface is first extracted as a three-dimensional structure, the probability of erroneously extracting image features or character codes similar to lanes other than the road surface is reduced. It is. The road features (white lines, character codes, etc.) extracted from the image in this way have the merit that they can be expressed as three-dimensional data together with the features. This will be described later.
[0087]
Then A _load Set of points in the non-road area as the complement of
(Equation 21)

Is defined as This non-road area A _non-road The obstacle recognition unit 103D3 performs processing on the object and recognizes an object such as an obstacle. The obstacle recognition unit 103D3 analyzes obstacles other than the non-road area 211 by using three-dimensional point cloud data. Specifically, A _non-road The three-dimensional data inside is analyzed by cluster analysis. This method includes the following methods.
[0088]
First, the point set A in the non-road area 211 _non-road Is divided into small groups, and a subset group of small areas ｛B _i ｝
(Equation 22)

Is composed. This is configured in the form of a blob often used in image processing, for example. For example, as shown in FIG. 12A, it is composed of a blob group often used in image processing. In FIG. 12A, a region B, which is an area extracted based on the distance, _i Is expressed as a region blob group 212, and assuming that the same gray level represents a distance, the region within the same object may be divided as shown in the figure.
[0089]
Therefore, this subset B _i Is calculated. The attribute information includes, for example, a position, a color, and a gray gradation. These attribute parameters are represented by the vector form q _i (Where i is an index for the area and q _i Is an m-dimensional vector. For this attribute, a covariance matrix representing the average value and the spread of the distribution is also given. For example, B _i The mean value for the position in the attribute is the center of gravity, and its covariance matrix is the moment of inertia for the position. At this time, these small areas B _i And small area B _j Can be integrated?
[Equation 23]

In this way, once the area is divided into small areas, an object that is not on the road surface can be separated and classified as an area by performing area integration processing and expansion processing. In the region thus obtained, the attribute of the region is transmitted as object data. The region integrated in FIG. 12A is shown in FIG. In FIG. 12B, reference numeral 213 indicates a case where an object is configured by an integrated area blob group.
[0090]
(5) Calibration unit 103E
The calibration unit 103E is a processing unit that mainly estimates offline various parameters required by the rectification processing unit 103B, the three-dimensional reconstruction unit 103C, and the object recognition unit 103D. That is, it is in charge of processing that is performed only when the stereo adapter 101 is first installed on the vehicle 300 or the like or when the installation position is changed.
[0091]
(Equation 24)

[0092]
On the other hand, various fixed parameters used in the equations (24), (25), and (26) used in the three-dimensional reconstruction unit 103C are also calculated in the calibration unit 103E.
[0093]
The parameters used in the object recognition unit 103D include parameters relating to the positional relationship between the vehicle body and the stereo adapter 101. That is, the position of the object or obstacle measured or recognized by the object recognition unit 103D based on the imaging device coordinate system is determined by the distance or relative position from the vehicle 300 based on a calibration result regarding a positional relationship described below. It can be calculated as a position. That is, the positional relationship between the imaging device 102 and the vehicle 300 is defined so that the world coordinate system described in the rectification processing unit 103B and the coordinate system defined by the vehicle 300 are the same. The following method may be used to calculate these parameters. That is, an image captured by the imaging device 102 via the stereo adapter 101 is processed. That is, the relative position relationship between the imaging device 102 and the vehicle body is estimated by photographing a feature point whose location relative to the vehicle body or the vehicle body outside the vehicle body is known by the imaging device 102.
[0094]
In order to accurately recognize an obstacle or an object facing the vehicle body (vehicle 300) and accurately estimate the position and orientation using a stereo photographing device such as the stereo adapter 101, the relative position of the stereo photographing device with respect to the vehicle body (vehicle 300) is required. It is necessary to perform accurate position and orientation accurately.
[0095]
Obviously, the easiest way to do this is based on the mounting design values of the vehicle 300 and the imaging device 102. That is, it is only necessary that the coordinate conversion parameters between the reference coordinate system of the vehicle 300 and the coordinate system defined by the imaging device 102 be given as design values. In this ideal case, for example, the center of the frontmost bumper of the vehicle 300 is set as the reference coordinate system of the vehicle 300, and this coordinate system is set to M (x ^M , Y ^M , Z ^M ), And the coordinate system of the image capturing apparatus 102 (in the case of a stereo image capturing apparatus, a coordinate system serving as a reference in rectification) is represented by S (x ^S , Y ^S , Z ^S ), The coordinate transformation from the imaging device coordinate system S to the vehicle reference coordinate system M is represented by the following equation:
(Equation 25)

Can be expressed by here( _M R _S , _M T _S ) Represents a 3 × 3 rotation matrix and a three-dimensional translation vector. If such coordinate conversion is obtained, the data measured in the coordinate system S of the imaging device 102 can be expressed in the coordinate system M with the vehicle 300 as a reference. Similarly, the measured distance information to the obstacle can be expressed as the distance from the origin of the coordinate system based on the vehicle 300 to the obstacle. That is, the obstacle is represented by (x ^S , Y ^S , Z ^S ), The position (x) in the vehicle coordinate system is obtained by using equation (32). ^M , Y ^M , Z ^M ), For example, the distance from the origin of the vehicle coordinate system M to the obstacle is
(Equation 26)

If these are used, it can be used for various distance expressions and warnings as described above in the processing device 103.
[0096]
However, when a design value for accurately attaching the imaging device 102 to the vehicle 300 is obtained, the above-described method can be adopted. However, when the image pickup device 102 is arbitrarily attached to the vehicle 300 or the design value is not always accurate. If not, it is necessary to perform an accurate calibration process. The calibration process in the case where the design value of the mounting of the imaging device 102 is not accurately given will be described below.
[0097]
Specifically, as a method for obtaining these, as shown by reference numerals 214, 215, and 216 in FIG. 13A, (1) a method using a CAD model related to the vehicle 300, (2) a special calibration There are a method of simply attaching the jig to the vehicle 300 and a method of (3) parking the vehicle 300 at an accurate position and using a calibration marker arranged on the road.
[0098]
For example, a case where a CAD model of the vehicle 300 is used will be described with reference to FIG.
[0099]
In FIG. 13A, the feature extraction unit 103E1 performs image processing on a stereo image 217 that has been photographed by the stereo adapter camera 116 and then subjected to rectification processing to extract and calculate feature data necessary for calibration. I do. Thereafter, the position and orientation estimation unit 103E2 estimates the relative position and orientation between the imaging device 102 and the vehicle 300 using the feature data 218 output by the feature extraction unit 103E1 and the vehicle CAD model 214. Then, the position / posture estimation unit 103E2 calculates the estimated relative position / posture information between the imaging device 102 and the vehicle 300 as the coordinate conversion parameter 219 as represented by Expression (32).
[0100]
In the present embodiment, a method using the vehicle CAD model 214 will be described. However, for the sake of simplicity, it is assumed here that the imaging device 102 is a camera that observes the front of the vehicle 300, and the method will be described below. In this method, as shown in FIG. 13B, feature points or mark points at the front such as a vehicle hood are extracted and recognized by an image processing method. This characteristic point may be a point where the curvature changes abruptly in the curved surface configuration, an edge portion above the headlamp, or a curved or linear component. In these, accurate position coordinates defined in the vehicle coordinate system are known from the vehicle CAD model 214 in advance. Now, the coordinate values of these n feature points in the vehicle coordinate system M are
[Equation 27]

Further, in the case of a straight line or a curve, for example, reference Kosaka and A.K. C. Kak, Stereo vision for industrial applications, Handbook of Industrial Robotics, Second Edition, edited by S.K. These are extracted from the image by a method such as Nof, Chapter 14, John Wiley, 1999, and are extracted in a form that can be expressed as a line segment or a curve segment. In this manner, the feature points obtained from the left image 203 or the right image 204 are represented by the position coordinates in the image as the feature data 218.
[0101]
[Equation 28]

[0102]
For example, reference: A. Kosaka and A.K. C. Kak, Stereo vision for industrial applications, Handbook of Industrial Robotics, Second Edition, edited by S.K. Nof, Chapter 14, John Wiley, 1999; Haralick and L. Shapiro. According to the method of “Computer and Robot Vision”, Addison Wesley, Vol 2, 1992, coordinate conversion parameters between the coordinate system S of the imaging device 102 and the vehicle coordinate system M ( _M R _S , _M T _S ). This operation is performed by the position and orientation estimation unit 103E2. The method is described in detail in the above-mentioned document, and will not be described here in detail.
[0103]
On the other hand, when it is not possible to photograph the front of the vehicle 300 on the left image 203 or the right image 204 of the imaging device 102 that captures the stereo image 217, a calibration jig is attached to the vehicle 300, and similarly, the imaging device 102 Transformation parameters between the vehicle and the vehicle 300 ( _M R _S , _M T _S ) Can be calculated. That is, as shown in FIG. 14, for example, a calibration jig 117 is mounted in front of the vehicle 300, and the calibration jig 117 is photographed by the imaging device 102 so that the coordinate conversion parameters ( _M R _S , _M T _S ) Is calculated. At this time, a calibration marker 118 is provided on the calibration jig 117, and its coordinate value is designed to be known in the vehicle coordinate system M.
[0104]
(Equation 29)

[0105]
[Equation 30]

[0106]
As described above, the calibration unit 103 </ b> E performs the calibration relating to the imaging device 102, the calculation of the parameters required for the rectification, and the calculation between the coordinate system of the imaging device 102 and the coordinate system defined by the vehicle 300. Perform calibration and so on.
[0107]
As described above, calibration is performed by software processing, three-dimensional reconstruction, that is, a distance image 205 is obtained, and processing such as object recognition is performed.
[0108]
Therefore, this embodiment has the following specific effects in addition to the effects of the present invention.
[0109]
Since the stereo adapter 101 forms an image on the single image sensor 102B, there is no need to synchronize as compared with the case where a plurality of image pickup devices 102 are used, and the electrical configuration can be simplified. In particular, when an in-vehicle application is taken into consideration, the number of imaging devices 102 can be reduced, so that power consumption can be reduced and the size and weight can be reduced by the number of imaging devices 102. Further, the stereo image 201 can be obtained without having to consider exposure adjustment, white balance, and differences in characteristics between CCDs and CMOS elements.
[0110]
The following effects also exist. The wide conversion lens 101C needs to capture a wide angle of view, and generally has a large aperture, a large weight, and a large volume in the entire system. By arranging the imaging device 102 between the wide conversion lenses 101C, a heavy member is arranged on a straight line. By providing a mounting portion near this axis, the arrangement considering the center of gravity becomes possible. At the same time, it is possible to realize a small distance image input device 100 without projecting the imaging device 102.
[0111]
It is to be noted that each configuration of the present embodiment can be variously modified and changed.
[0112]
For example, as shown in FIGS. 18A and 18B, instead of the wide conversion lens 101C and the primary folding mirror 101A and the secondary folding mirror 101B, a concave refracting surface 101D1, a convex reflecting surface 101D2, and a concave reflecting surface are used. A power prism 101D including a plane 101D3 and a plane 101D4 may be used. In this case, since the integrated optical prism is used instead of the mirror, the relationship between the surfaces is always kept constant. Changes in parameters of the imaging device 102 and the stereo adapter 101, which are important in the calculation of 205, can be suppressed. Of course, the unevenness, the curvature, and the like may be different as long as the surface configuration can obtain the same effect.
[0113]
The power prism 101D is attached to the integrated prism / photographing device holder 101E. The imaging device 102 is also attached to the prism / photographing device holder 101E.
[0114]
Of course, it is needless to say that an equivalent optical effect can be obtained even if an equivalent optical system is formed by a combination of a single lens and a prism instead of the power prism 101D.
[0115]
Also, as shown in FIGS. 1 and 4, and FIGS. 18A and 18B, the exposure control device 12 and the like are disposed on the back surface of the secondary folding mirror 101B of the stereo adapter 101, thereby saving more space. It can also be a stereo adapter.
[0116]
Further, a control device 104, a ranging radar 110, an illuminance sensor 111, an external camera 112, a GPS 113, a VICS 114, an external communication device 115, a display device 108, a warning device 106, a driving device 107 including a steering wheel, a shift, an accelerator, etc., an object recognition. By linking the device 105 and the like, it is possible to realize more advanced imaging and robust distance image measurement according to the situation.
[0117]
As an example, the exposure control device 12 is connected to the control device 104, receives an input of an exposure instruction value calculated from data such as the illuminance sensor 111, the GPS 113, and time calculated by the control device 104, and receives them from the image sensor. The exposure condition may be set based on the luminance information from 102B.
[0118]
[Second embodiment]
Next, a second embodiment of the stereo adapter 101 and the range image input device 100 of the present invention will be described.
[0119]
In the present embodiment, an optical path extending optical system is used.
[0120]
As in the first embodiment, the range image input device 100 includes an imaging device 102 that captures an image of a subject 400, a stereo adapter 101 attached to the tip of the imaging device 102, and a distance that measures a distance image 205 of the subject 400. And an image processing device 103.
[0121]
The imaging device 102 has the same configuration as that of the first embodiment.
[0122]
A stereo adapter 101 is attached to the imaging device 102. The stereo adapter 101 has an optical path splitting device 11. The optical path splitting device 11 is attached before the imaging optical system 102A of the imaging device 102. As shown in FIG. 19, the optical path splitting device 11 includes a primary folding mirror 101A spaced apart, a negative power lens group 101F, a positive power lens group 101G, and a secondary folding mirror 101B.
[0123]
Other configurations are the same as those of the first embodiment.
[0124]
Next, the operation of the present embodiment will be described.
[0125]
The subject image reflected by the primary folding mirror 101A that receives the light fluxes 2 and 3 disposed apart from the optical path splitting device 11 as shown in FIG. 19 through the wide conversion lens 101C is parallelized by the negative power lens group 101F. After being restored to the shape close to the light beam and being restored by the next disposed positive power lens group 101G, the image is taken by the secondary bending mirror 101B that is arranged before the imaging optical system 102A and deflects so as to guide the light beam to the imaging optical system 102A. The light is guided to enter the optical system 102A.
[0126]
Thus, images from two different viewpoints, that is, a stereo image 201 can be formed on the image sensor 102B.
[0127]
By the operation of the optical path extending optical system, the base line length can be extended as compared with a conventional stereo adapter.
[0128]
Further, by setting the mounting position of the imaging device 102 between the wide conversion lenses 101C, it is possible to configure the stereo adapter 101 which is excellent in weight balance and small in size.
[0129]
In consideration of mounting on a vehicle, especially in the case of indoors, it is necessary to install the front window, side windows, and rear window without obstructing the field of view. It is necessary to configure the apparatus so as to have a smaller projection area than in the case of performing the operation.
[0130]
At this time, by adopting the configuration of the present embodiment, the light flux incident at a wide angle by the primary optical system is bent by the primary bending mirror, and then extended as a substantially parallel light beam by the optical path extending optical system, so that the base line length portion is reduced. By extending the mirror and guiding it to the secondary bending mirror, and taking an image with the imaging optical system 102A, it is possible to suppress the mirror size, which is increased by widening the angle or increasing the base line length, and reduce the projection area of the apparatus.
[0131]
Further, as shown in FIG. 19, the distance image processing device 103 and the exposure control device 12 can be arranged in the portion where the base line length is extended, which can contribute to the reduction of the total space. Although the exposure control device 12 is divided into two in the figure, if the exposure control device 12 can be arranged by only one, it is a matter of course that another device can be arranged on the other. .
[0132]
It is to be noted that various modifications and changes can be made to each configuration of the second embodiment.
[0133]
For example, instead of an optical path extending optical system using concave and convex lens groups (power lens groups 101F and 101G), as shown in FIG. 20, a primary imaging optical system 101H, an image guide capable of transmitting similar images at both ends. An optical system having 101I may be configured so that the image formed by the primary imaging optical system 101H is photographed on the incident surface of the image guide 101I and the exit surface of the image guide 101I is photographed by the imaging optical system 102A. Thereby, the base line length can be freely set regardless of the lens configuration, and the plurality of primary imaging optical systems 101H are connected by the primary imaging optical system connecting member 101J whose positional relationship should be precisely defined. The position and the position of the primary imaging optical system 101H and the entrance surface of the image guide 101I are defined, and the exit surface of the image guide 101I, the imaging optical system 102A, and the imaging device are defined by the secondary imaging optical system connecting member 101K. The stereo adapter 101 having excellent shock resistance and environmental resistance can be provided because it is only necessary to define the position of the optical system 102 and it is not necessary to consider the positional deviation of the optical path extending optical system and the fluctuation of the angle of the mirror. Can be.
[0134]
In addition, the same effect as in the case of using the optical path extending optical system can be obtained by configuring the first bending mirror 101A with a convex surface and the second bending mirror 101B with a concave surface without using a lens system.
[0135]
Further, a relay optical system that relays an image may be used as the optical path extending optical system.
[0136]
The calculation of the distance image is the same as that in the first embodiment.
[0137]
[Third Embodiment]
Next, a third embodiment of the present invention will be described.
[0138]
In this embodiment, a cylindrical lens is used.
[0139]
Parts similar to those in the first and second embodiments are omitted.
[0140]
The stereo adapter 101 conforms to the first and second embodiments. As shown in FIG. 21A, the stereo adapter 101 according to the present embodiment is provided at the emission position of the stereo adapter 101, that is, on the front surface of the imaging optical system 102A of the imaging device 102, in the vertical scanning direction of the imaging device 102B. It has a cylindrical lens 101L having a curvature in the combined direction and having a positive power.
[0141]
In the range image input device 100 according to the present embodiment, the range image processing device 103 includes an interlace interpolation processing device 18 in addition to the configuration described in the first embodiment.
[0142]
Next, the operation of the present embodiment will be described.
As shown in FIG. 21B, the image formed by the normal stereo adapter 101 is vertically blurred, but the aspect ratio of the subject image does not change. On the other hand, the subject image of the present embodiment is an image enlarged in the vertical direction as shown in FIG.
[0143]
The stereo (video) image 201 is input to the frame memory 13, input to the interlace interpolation processing device 18, and processed, after which the rectification device 14 cuts out the left and right images 203 and 204 and performs rectification processing. Thus, the matching of the left and right images 203 and 204 is performed by the distance calculation device 15.
[0144]
The interlace interpolation processing device 18 interpolates and removes interlace blur.
[0145]
Interlace blur refers to the fact that when an imaging device 102 using an image sensor of an interlace scan method is used, a moving subject is photographed with a shift due to a time difference between fields, and is blurred in a blind shape.
[0146]
In order to prevent this, if an image is formed for each field, the resolution in the vertical scanning direction will be halved.
[0147]
In the present embodiment, by using a cylindrical lens 101L to optically magnify and image twice or more in the vertical direction, it is possible to shoot with twice or more scanning lines for the same angle of view, Even if interlace blur is removed by a scanning line thinning process or the like, it is possible to capture a stereo image 201 having the same resolution as an original frame image without using the cylindrical lens 101L.
[0148]
By this processing, it is possible to calculate a good distance image 205 even if there is an interlace blur without reducing the amount of information used for matching of the stereo images 201.
[0149]
It is to be noted that each configuration of the present embodiment can be variously modified and changed.
[0150]
For example, as shown in a perspective view of FIG. 22 (A) and a two-sided view of FIG. 22 (B), a field-of-view expanding cylindrical lens having negative power at the tip of the stereo adapter 101 in the same direction as the cylindrical lens 101L. 101M may be provided. In this case, since the optical path is transmitted while being compressed in the vertical direction by the field-of-view expanding cylindrical lens 101M, the thickness of the stereo adapter 101 can be reduced. When the power of the cylindrical lens 101L and the power of the cylindrical lens 101M for enlarging the field of view are larger, the interlaced blur is effectively eliminated when the former is larger, and the field of view is expanded when the latter is larger.
[0151]
Of course, the same effect can be obtained for the vertical angle of view even when the wide conversion lens 101C is used.
[0152]
[Fourth Embodiment]
Next, a fourth embodiment will be described.
[0153]
Parts common to the first to third embodiments are omitted.
[0154]
As shown in (A) of FIG. 23, the screen is divided into upper and lower parts, a wide conversion lens 101C is provided on one side via an optical path extending means 101N, and a primary folding mirror 101A is provided on the other side. An optical path splitting device 11 including a secondary bending mirror 101B is provided. Note that a light shielding plate 101O may be provided between the optical path splitting device 11 and the optical path extending means 101N.
[0155]
The optical path extending unit 101N includes two mirrors (primary deflecting mirror 101N1 and secondary deflecting mirror 101N2), and arranges the wide conversion lens 101C at a position that does not obstruct the field of view of the optical path splitting device 11, and also prevents the field of view from being reversed. .
[0156]
Also, the optical axis 101C1 of the wide conversion lens 101C is disposed so as to be inclined at the center of the angle of view of the vertically divided field of view by the angle of the primary deflection mirror 101N1, and the optical axis direction is divided by the optical path dividing device 11. It is arranged so as to be parallel to the light ray 4 substantially at the center of the angle of view of the set visual field.
[0157]
The other optical systems of the optical path splitting device are configured in the same manner as in the first to third embodiments.
[0158]
Next, the operation of the fourth embodiment will be described.
The light beam 5 from the subject 400 transmitted through the wide conversion lens 101C is reflected by the primary deflection mirror 101N1, and is incident on the secondary deflection mirror 101N2. The secondary deflecting mirror 101N2 impinges the light beam 5 from the subject 400 on a half area of the angle of view of the imaging optical system 102A, which is divided into upper and lower parts, and as shown in FIG. A wide-angle two-dimensional image is formed in an area (upper area).
[0159]
The light beams 2 and 3 from the optical path splitting device 11 form a stereo image 201 in a substantially half region (lower region) of an image different from the light beam of the wide conversion lens 101C.
[0160]
With the above configuration, a two-dimensional image having a wide visual field range and a stereo image 201 from which a distance image can be calculated are synchronously formed on one image sensor 102B and photographed.
[0161]
It should be noted that various modifications and changes can be made to each configuration of the present embodiment.
[0162]
For example, a configuration in which the optical axis of the wide conversion lens 101C is installed so as to substantially coincide with the extension of the optical axis 102A1 of the imaging optical system 102A divided in the vertical direction, and a substantially lower half where a light beam does not pass is cut out. By doing so, deterioration of the optical axis (particularly, astigmatism and distortion) may be suppressed, and the amount of rectification processing may be reduced.
[0163]
In such a modification, the mass and size of the wide conversion lens 101C can be reduced, and the smaller and lighter range image input device 100 can be obtained.
[0164]
Further, a distance image processing device 103 and an exposure control device 12 may be built in a housing containing the light path splitting device 11, the light path extending means 101N, and the imaging device 102, and as shown in FIG. It may be attached.
[0165]
Although the present invention has been described based on the above embodiments, the present invention is not limited to the above embodiments, and various modifications and applications are possible within the scope of the present invention. is there.
[0166]
The stereo adapter 101 and the range image input device 100 of each of the first to fourth embodiments have a small number of image pickup devices 102 and are compact even when a wide-angle image has a long base line length of about 150 mm to 500 mm. It is feasible. When the imaging apparatus 102 has a diagonal angle of view of about 50 to 60 degrees and is equivalent to a VGA size of 640 × 480 pixels, a distance image 205 of the subject 400 of several meters to several tens of meters is input. Is a suitable base length. This makes it possible to be used for in-vehicle use. For example, as shown in FIGS. 23 and 24, each of the embodiments is provided at a position where a room mirror 303 is mounted so as to capture an image through a windshield 302 on a ceiling 301 of a vehicle. And the rear-view mirror 303 itself can be attached to the distance image input device 100 by a pivot 304 or the like so as to be changeable.
[0167]
In addition, the number of imaging devices 102 can be reduced, power consumption can be reduced, and the size of an electric circuit can be reduced, so that power can be saved. In addition, a plurality of imaging devices as illustrated in FIG. A stereo image 201 can be obtained without having to consider particularly the problem of synchronization between the 102 image pickup devices 102B. Further, the problem that different noises are likely to be generated in the process of transmitting the images input by the plurality of imaging devices 102 can be solved because parallax image imaging can be performed by a single camera. In addition, since it is possible to reduce the number of noise shield cables and the like by half, it is possible to save a limited harness routing area in the vehicle and to reduce the weight of the transmission system.
[0168]
Also, the stereo adapter 101 that splits left and right has been described, but as shown in FIG. 25A, the mirrors 101A and 101B are arranged at an angle so that light beams are alternately not only in the left and right directions but also in the vertical direction. The stereo adapter 101 described in each of the embodiments may be realized by using an optical system that divides a screen up and down while having a parallax between right and left by being bent.
[0169]
The stereo image 201 captured in this case has a shape shown in FIG.
[0170]
Further, the stereo adapter itself may be provided with dust-proof and drip-proof properties by changing the wide conversion lens 101C of FIG. 4 to a dust-proof protective filter, or by disposing a dust-proof protective filter on the front surface of the wide conversion lens 101C. . By doing so, it is possible to improve the easiness of installation outside the vehicle and cleaning, and it is possible to input the distance image 205 with higher reliability.
[0171]
In the first to fourth embodiments described above, when a W-shaped mirror arrangement is provided as shown in FIG. 4B, the arrangement shown in FIG. 3 or FIG. Since a stereo image 201 in which the left and right visual fields are interchanged is obtained as compared with the adapter, a visual field reversing device (not shown) is provided in the distance image processing device 103, and a process of exchanging the left image 203 and the right image 204 is performed. Is also good. Needless to say, the same effect can be obtained by changing the parallax calculation method by changing the algorithm in the distance calculation device 15 instead of providing the visual field reversing device.
[0172]
The surfaces of the lenses, mirrors, and filters may be coated with a superhydrophilic treatment, or the stereo adapter 101 and the imaging optical system 102A may be hermetically sealed and sealed with dry nitrogen or the like.
[0173]
Further, a condensation may be prevented by providing a heater for each optical element of the stereo adapter 101, a duct for guiding an air flow of a defroster mounted on the vehicle, or a hot air heater independently.
[0174]
Thereby, the configuration may be such that the image forming performance is prevented from deteriorating due to dew proofing, defogging and water droplets.
[0175]
Further, a cooling fan may be provided, or the housing of the stereo adapter 101 may be used as a heat sink to prevent thermal distortion and malfunction of the electronic circuit.
[0176]
The portion corresponding to the optical path of the stereo adapter 101 is coated with an anti-reflection coating, but the other portions may be coated so as to reflect infrared rays in consideration of environmental resistance. Black paint may be applied to prevent reflection on a windshield or the like.
[0177]
In the above-described first to fourth embodiments, the imaging device 102 further includes a switching device for near-infrared images, and transmits the brightness information of the on-vehicle illuminance sensor 111, the time information of the GPS 113, and the location information. It may be switched by referring to. Further, the switching of the nighttime photographing may be performed by interlocking with the switching of the headlight switch.
[0178]
Furthermore, when a CCD is used as the image sensor 102B of the image pickup device 102, smear is generated due to the influence of a high-luminance light source such as an oncoming vehicle headlight, a street light, or a stop lamp of a preceding vehicle at night. In order to prevent this, an image pickup device 102B such as a CMOS may be employed. In addition, the CCD recognizes a high-intensity light source, segments an area affected by smear, and prevents an error in the output of the distance image 205. Processing may be performed so as not to be included in the matching search area for parallax calculation.
[0179]
As a result, it is possible to more favorably input a distance image at night.
[0180]
In addition, in the exposure adjustment of the imaging device 102, if there is a vignetting region represented by a fill in the image captured by the stereo adapter 101 (stereo image 201) as shown in FIG. The stereo image 201 may be photographed by performing exposure correction based on the occupation ratio and the contribution of the region to the exposure determination so that the image is darker than the exposure adjustment of the standard photographing apparatus. This is particularly effective for a camera that calculates the exposure from the luminance of the center of the screen, and if the measurement area of the exposure can be changed arbitrarily, the exposure is determined by metering the area other than the vignetting area. The exposure adjustment of the photographing apparatus may be performed in such a manner as to perform the adjustment.
[0181]
Further, in fine weather, bright cloudy weather, and the like, the sensitivity of the upper part of the screen, that is, an area that generally becomes an empty area, may be reduced, or an algorithm of a high dynamic range (super latitude) may be adjusted. Alternatively, a filter (for example, an ND filter) having a reduced transmittance may be inserted into that portion, or the lower side of the stereo image 201 may be used for exposure adjustment with emphasis.
[0182]
By doing so, it is possible to favorably shoot the area in which the distance image 205 is to be output with priority without being affected by the brightness of the sky.
[0183]
Also, in accordance with the selection of the traveling lane, the oncoming lane is recognized based on the obtained lane information, the information of the GPS 113, and the like, and the same processing as that for the empty area is performed on the area. Thus, the configuration may be such that the influence of oncoming vehicle headlights at night is reduced.
[0184]
Also, when the stereo adapter 101 is mounted on a vehicle and an image is taken from the windshield, the light is shielded between the opening in front of the stereo adapter and the windshield using a light shielding member so as not to hinder the light flux to be photographed, and is illuminated by external light. It may also prevent reflection of the dashboard and reflection of indoor light. In addition, it is of course good that the antireflection film is sufficiently implemented only in that region.
[0185]
Further, when the stereo adapter 101 is installed in an area that is not an effective area of a normal wiper in front of the windshield, for example, in the upper left and right corners of the windshield or at a position where a center mirror is installed, a separate wiper for the stereo adapter is provided. May be provided to periodically remove water droplets and dirt on the glass surface. At this time, the image at the time of wiping by the wiper may not be used for the distance image calculation.
[0186]
(Note)
From the above specific embodiments, inventions having the following configurations can be extracted.
[0187]
(1) A stereo adapter attached to the front of the imaging optical system of the imaging device for capturing a stereo image,
A light guiding optical system that receives light from the same subject at a plurality of sites separated by a predetermined distance, and guides each of the received light to an imaging optical system of the imaging device;
A plurality of reduction optical systems for reducing a light beam to be received;
With
A stereo adapter, wherein the imaging device is installed between the plurality of reduction optical systems.
[0188]
(Corresponding Embodiment of the Invention)
Embodiments according to the present invention correspond to the first, second, and third embodiments. Here, the image capturing apparatus corresponds to the image capturing apparatus 102 in these embodiments, but also includes a video camera, a still camera, a digital still camera, and the like. Further, the reduction optical system is an optical system composed of a lens group having negative power as a whole, and corresponds to the wide conversion lens 101C in the embodiment.
[0189]
(Action)
By the plurality of reduction optical systems, the light of the subject captured at a wide angle is received by a plurality of light receiving parts, guided to the imaging optical system by the light guide optical system, and the imaging device installed between the plurality of reduction optical systems. Shoot.
[0190]
(effect)
The light guide optical system guides the image of the subject to the imaging device installed between the reduction optical systems and captures the image. Therefore, the imaging device can be installed between the reduction optical systems having a large diameter and a large weight and size. Therefore, the distance image input device including the stereo adapter and the imaging device can be configured to be small, and the moment of the device can be reduced, so that the structure can have high rigidity even when subjected to vibration or acceleration.
[0191]
(2) The light guide optical system has a plurality of primary bending mirrors and secondary bending mirrors,
The stereo according to (1), wherein the reduction optical system having negative power on the front surface of the primary folding mirror is installed so that an optical axis coincides with an optical axis division direction by the light guide optical system. adapter.
[0192]
(Corresponding Embodiment of the Invention)
Embodiments according to the present invention correspond to the first, second, and third embodiments.
[0193]
(Action)
The reduction optical system is installed with the optical axis aligned in the direction corresponding to the optical axis split direction divided by the primary bending optical system and the secondary bending optical system.
[0194]
(effect)
Since the reduction optical system is installed according to the optical axis split direction of the field of view obtained by dividing the camera's field of view, it becomes possible to install as an optical system with reduced influence of angular eccentricity, Correction can be made well.
[0195]
(3) The reduction optical system is a part of a power prism, and includes a refracting surface of negative power, a reflecting surface of negative power, and a reflecting surface of positive power, which also serve as the light guiding optical system. The stereo adapter according to (1) or (2).
[0196]
(Corresponding Embodiment of the Invention)
Embodiments according to the present invention correspond to the first, second, and third embodiments.
[0197]
(Action)
The refracting and reflecting surface constituted by the power prism functions as a reduction optical system.
[0198]
(effect)
Since each surface is composed of a single prism, unlike a combination mirror and lens, it is possible to provide a stereo adapter that is resistant to vibration and temperature changes and has small changes in the optical system with respect to the camera.
[0199]
(4) The stereo adapter according to (3), wherein the stereo adapter has an integral structure holding the power prism, and the imaging device is fixed thereto.
[0200]
(Corresponding Embodiment of the Invention)
Embodiments according to the present invention correspond to the first, second, and third embodiments.
[0201]
(Action)
The holding of the prism is constituted by an integral structure, on which the imaging device is directly fixed.
[0202]
(Effect) Since the holding portion of the prism and the holding portion of the imaging device are integrated, a member that causes mechanical displacement is minimized, and a stereo adapter having high shock resistance and high environmental resistance is configured. It is possible to obtain a range image input device in which camera parameters for reconstruction are less likely to shift.
[0203]
(5) In order to capture a stereo image, it is mounted in front of the imaging optical system of the imaging device, receives light from the same subject at a plurality of portions separated by a predetermined distance, and captures each of the received light with the imaging device. In a stereo adapter with a light guiding optical system leading to the optical system,
The light guide optical system has a plurality of primary bending mirrors and secondary bending mirrors,
A stereo adapter comprising an optical path extending means provided between the primary bending mirror and the secondary bending mirror.
[0204]
(6) The stereo adapter according to (5), wherein the optical path extending means is a relay lens system.
[0205]
(7) The optical path extending means includes a first group having at least one lens and having negative power, and a second group having at least one lens and having positive power. The stereo adapter according to (6), wherein:
[0206]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the second embodiment.
[0207]
(Action)
The light beam bent by the primary bending mirror by the lens system is converted into a parallel light beam by the first group of negative power, and after being transmitted by a desired distance, returned to the light beam incident on the camera by the second group of positive power.
[0208]
(effect)
Since the light beam is transmitted by a desired distance parallel light beam, a stereo adapter can be configured without increasing the size of the mirror and the optical system even if the base line length between a plurality of viewpoints is extended.
[0209]
(8) A stereo adapter attached to the front of the imaging optical system of the imaging device to capture a stereo image,
A plurality of primary imaging lenses;
The same number of image guides as the primary coupling lens,
A secondary imaging lens,
With
Light from the same subject is imaged on one end of the image guide by the primary imaging lens separated by a predetermined distance,
Bundle the other ends of these multiple image guides,
A stereo adapter, wherein the image guide end is imaged by the secondary imaging lens.
[0210]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the second embodiment.
[0211]
(Action)
The images formed by the plurality of primary imaging lenses are transmitted by the respective image guides and appear at the other ends of the image guides. The image guides are bundled and arranged here, and an image is displayed on the same surface. This image is captured by a secondary imaging lens.
[0212]
(effect)
Even when the base line length is set freely and images from multiple viewpoints are transmitted, stereo images from multiple viewpoints can be obtained with little restriction on the field of view. Is also excellent.
[0213]
(9) A stereo adapter attached to the front of the imaging optical system of the imaging device to capture a stereo image,
A light guide optical system that receives light from the same subject at a plurality of portions separated by a predetermined distance and guides each of the received lights to an imaging optical system of the imaging device,
The light guide optical system has a plurality of primary bending mirrors and secondary bending mirrors,
The primary folding mirror is composed of a convex surface,
A stereo adapter, wherein the secondary folding mirror has a concave surface.
[0214]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the second embodiment.
[0215]
(Action)
The light beam becomes closer to a parallel light beam by the primary bending mirror, and is restored by the secondary bending mirror.
[0216]
(effect)
The distance between the primary folding mirror and the secondary folding mirror can be extended, and a stereo adapter having a longer baseline can be provided without increasing the mirror size.
[0219]
(10) The stereo adapter according to (9), wherein a bent optical path power prism having a concave refraction surface, a convex reflection surface, and a concave reflection surface is used as the light guide optical system.
[0218]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the second embodiment.
[0219]
(Operation) The concave refracting surface and the convex reflecting surface convert a light beam having a wide angle of view into a shape close to a parallel light beam, and restore the light beam on the concave reflecting surface.
[0220]
(Effect) The distance between the convex reflecting surface and the concave reflecting surface can be extended, and a stereo adapter having a longer baseline can be provided without increasing the prism size.
Further, since each refraction and reflection surface can be integrally formed, a stereo adapter which does not cause displacement and has excellent impact resistance and environmental resistance can be provided.
[0221]
(11) The primary bending mirror and the secondary bending mirror are arranged in a substantially W shape,
(2) to (7), (9), (10), wherein the secondary bending mirror reflects the light beam toward the incident side to the primary bending mirror and captures an image with the imaging device. The stereo adapter according to any one of the above.
[0222]
(Corresponding embodiment)
Embodiments according to the present invention correspond to the first, second, third, and fourth embodiments.
[0223]
(Action)
A direction in which the light of the subject is received at a plurality of light-receiving portions, and a light beam bent toward the center of a plurality of viewpoints by a W-shaped primary folding mirror is returned to the incident side of the primary folding mirror by a secondary folding mirror. And is incident on the imaging optical system to be photographed by the imaging device.
[0224]
(effect)
A primary folding mirror larger than the secondary folding mirror, a reduction optical system, a cylindrical lens, etc. can be placed at the tip, and the camera can be installed in the vacant area created by them, so distance image input including the stereo adapter and camera Since the device can be made smaller and the moment of the device can be made smaller, a structure with high rigidity can be obtained even when subjected to vibration or acceleration.
[0225]
(12) The stereo adapter according to any one of (1) to (11),
An imaging device to which the stereo adapter is attached,
A range image processing device that performs a process including three-dimensional reconstruction from a stereo image captured by the imaging device, and provides three-dimensional distance information,
A distance image input device comprising:
[0226]
(13) A range image input device having a stereo adapter mounted in front of an imaging optical system of an imaging device for capturing a stereo image,
The stereo adapter includes a light guide optical system that receives light from the same subject at a plurality of sites separated by a predetermined distance, and guides each of the received lights to an imaging optical system of the imaging device.
The light guide optical system has a plurality of primary bending mirrors and secondary bending mirrors,
A cylindrical lens having a positive power in a vertical scanning direction of an image pickup device (for example, a CCD) of the image pickup device is provided on an output section of the stereo adapter;
Further, a range image input device comprising an interlace interpolation device and a range image calculation device.
[0227]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the third embodiment.
[0228]
(Action)
The luminous flux from the stereo adapter is extended in the vertical direction by a cylindrical lens.
[0229]
(effect)
Even when a thin stereo adapter is used for the vertical angle of view, the angle of view of the imaging device can be used effectively, and even when interpolation processing of an interlaced image is performed, a reduction in the substantial resolution is prevented. And a high-definition image can be obtained.
[0230]
(14) A range image input device having a stereo adapter attached to the front of the imaging optical system of the imaging device for capturing a stereo image,
A light guide optical system that receives light from the same subject at a plurality of portions separated by a predetermined distance and guides each of the received light to an imaging optical system of the imaging device, wherein the light guide optical system is a primary bending mirror And multiple secondary folding mirrors,
With a set of primary bending mirrors and secondary bending mirrors, a direct-view image is formed in an approximately half area where the angle of view is divided into upper and lower parts, and one of them is viewed stereoscopically with two sets of primary bending mirrors and secondary bending mirrors. A distance image input device characterized by the above-mentioned.
[0231]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the fourth embodiment.
[0232]
(Action)
The first set of primary folding mirrors and secondary folding mirrors led a direct-view image to half the angle of view of the imaging optical system, and the remaining two sets of primary folding mirrors and secondary folding mirrors provided left and right visual fields. A stereo image enters the imaging optical system and is viewed in stereo.
[0233]
(effect)
In a vertically divided field of view, one side can capture a direct-view image, and one side can capture a stereo image from two viewpoints.
[0234]
(15) The relative angle between the primary folding mirror and the secondary folding mirror is set to be equal to or less than ４ of the vertical angle of view of the imaging device so that the optical axis direction on the direct viewing side substantially matches the optical axis direction on the stereo viewing side. The distance image input device according to (14), wherein the distance image input device is set to:
[0235]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the fourth embodiment.
[0236]
(Action)
The primary fold mirror and the secondary fold mirror are set out of a parallel state within a range of not more than の of the vertical angle of view of the camera, and a light beam in a direction inclined toward the stereoscopic view forms an image.
[0237]
(effect)
It becomes possible to take a picture when the visual fields of the direct view and the stereo view substantially coincide with each other, and it is possible to take an image corresponding to both images.
[0238]
(16) The range image input device according to (14) or (15), further comprising a reduction optical system on the direct viewing side.
[0239]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the fourth embodiment.
[0240]
(Action)
A two-dimensional image with a wide angle of view is captured on the direct viewing side by a reduction optical system.
[0241]
(effect)
A two-dimensional image for interpolating the narrowness of the field of view of the distance image obtained by the stereo adapter can be captured at a wide angle of view.
[0242]
(17) The range image input device according to (16), wherein the reduction optical system has an optical axis on the stereo shooting side and has an asymmetric shape.
[0243]
(Corresponding Embodiment of the Invention)
An embodiment according to the present invention corresponds to the fourth embodiment.
[0244]
(Action)
The optical axis of the reduction optical system is set close to the optical axis of the imaging device, and the optical system on the stereo adapter side is cut off asymmetrically.
[0245]
(effect)
Since the optical axis of the reduction optical system and the optical axis of the imaging device are substantially coincident with each other, disturbance of various aberrations is suppressed, and the optical system can be provided in a small and light weight because the reduction optical system is notched. Further, it is possible to reduce the parallax between the upper and lower direct vision and the stereo vision.
[0246]
(18) The primary folding mirror and the secondary folding mirror are arranged in a substantially W shape,
(13) to (17), wherein the secondary folding mirror is configured to reflect a light beam toward an incident side to the primary folding mirror and capture an image with an imaging device. Range image input device.
[0247]
(Corresponding embodiment)
Embodiments according to the present invention correspond to the first, second, third, and fourth embodiments.
[0248]
(Action)
A direction in which the light of the subject is received at a plurality of light-receiving portions, and a light beam bent toward the center of a plurality of viewpoints by a W-shaped primary folding mirror is returned to the incident side of the primary folding mirror by a secondary folding mirror. And is incident on the imaging optical system to be photographed by the imaging device.
[0249]
(effect)
A primary fold mirror larger than the secondary fold mirror, a reduction optical system, a cylindrical lens, etc. are placed at the tip, and a camera can be installed in the vacant area created by them, so a range image input device including a stereo adapter and a camera Can be made small and the moment of the device can be made small, so that the structure can be made highly rigid even when subjected to vibration and acceleration.
[0250]
(19) The range image input device according to (18), further including a visual field reversing device that switches between left and right visual fields.
[0251]
(Corresponding embodiment)
Embodiments according to the present invention correspond to the first, second, third, and fourth embodiments.
[0252]
(Action)
The light of the subject is received at a plurality of light receiving portions, and the light beam bent in the center direction of the plurality of viewpoints by the primary bending mirror arranged in a W shape returns to the entrance side of the primary bending mirror by the secondary bending mirror. The light is reflected in the direction, enters the imaging optical system, and is photographed by the imaging device. The left and right visual fields of the captured image are subjected to position processing of the left and right visual fields by a visual field reversing device and then subjected to distance image processing.
[0253]
(effect)
It is possible to prevent the inversion of parallax while using the conventional distance image processing apparatus, and calculate the distance image with the circuit processing program configuration as it is.
[0254]
(20) an imaging device;
A light guiding optical system that receives light from the same subject at a plurality of sites separated by a predetermined distance, and guides each of the received light to an imaging optical system of the imaging device;
A plurality of reduction optical systems arranged to sandwich the imaging device, for reducing a light beam to be received,
A stereo adapter camera comprising:
[0255]
(Corresponding Embodiment of the Invention)
Embodiments according to the present invention correspond to the first, second, and third embodiments. Here, the image capturing apparatus corresponds to the image capturing apparatus 102 in these embodiments, but also includes a video camera, a still camera, a digital still camera, and the like. Further, the reduction optical system is an optical system composed of a lens group having negative power as a whole, and corresponds to the wide conversion lens 101C in the embodiment.
[0256]
(Action)
By the plurality of reduction optical systems, the light of the subject captured at a wide angle is received by a plurality of light receiving parts, guided to the imaging optical system by the light guide optical system, and the imaging device installed between the plurality of reduction optical systems. Shoot.
[0257]
(effect)
Since the light guide optical system guides the image of the subject to the imaging device installed between the reduction optical systems and captures the image, the imaging device can be installed between the reduction optical systems having a large diameter, a large weight, and a large size. Therefore, the stereo adapter camera including the stereo adapter and the imaging device can be configured to be small, and the moment of the stereo adapter camera can be reduced, so that a structure having high rigidity even when subjected to vibration or acceleration can be achieved. .
[0258]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide a small and lightweight stereo adapter capable of photographing a distant subject at a wide angle, and a range image input device using such a stereo adapter.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a stereo adapter imaging system to which a stereo adapter and a range image input device according to a first embodiment of the present invention are applied.
FIG. 2 is a diagram for explaining stereo shooting with a conventional stereo shooting device.
FIG. 3 is a diagram for explaining stereo shooting when a stereo adapter is used.
FIG. 4A is a diagram illustrating a configuration of a general stereo adapter, and FIG. 4B is a diagram illustrating a configuration of a stereo adapter according to the first embodiment;
FIG. 5 is a diagram showing a configuration of a range image processing apparatus by software processing.
FIG. 6A is a view showing a field of view of a stereo adapter, and FIG. 6B is a developed view thereof.
FIG. 7 is a diagram illustrating a rectification process.
FIG. 8 is a diagram for explaining a coordinate conversion method in the rectification process.
FIG. 9 is a diagram for explaining an area-based matching technique.
10A is a diagram illustrating a captured image, and FIG. 10B is a diagram illustrating a result of calculating a distance from the image.
FIG. 11 is a diagram illustrating a configuration of an object recognition unit.
FIG. 12A is a diagram for explaining a region blob group based on a distance, and FIG. 12B is a diagram for explaining an object extracted by blob integration.
13A is a diagram illustrating a configuration of a calibration unit, and FIG. 13B is a diagram illustrating a feature point at a front portion such as a vehicle hood.
FIG. 14 is a diagram illustrating a state in which a calibration jig is mounted on a vehicle.
FIG. 15 is a diagram for explaining characteristic points when a calibration jig is photographed.
FIG. 16 is a diagram illustrating a positional relationship between a calibration marker and a vehicle when the calibration marker is arranged on a road surface.
FIG. 17 is a diagram for explaining feature points when a calibration marker arranged on a road surface is photographed.
FIG. 18 is a diagram showing a modification of the stereo adapter according to the first embodiment.
FIG. 19 is a diagram illustrating a configuration of a stereo adapter according to a second embodiment of the present invention.
FIG. 20 is a diagram showing a modification of the stereo adapter according to the second embodiment.
21A is a diagram illustrating a configuration of a stereo adapter according to a third embodiment of the present invention, FIG. 21B is a diagram illustrating a captured image using a normal stereo adapter, and FIG. FIG. 10 is a diagram showing a captured image obtained by the stereo adapter according to the embodiment.
FIG. 22 is a diagram showing a modification of the stereo adapter according to the third embodiment.
FIG. 23A is a diagram illustrating a configuration of a stereo adapter according to a fourth embodiment of the present invention, and FIG. 23B is a diagram illustrating an image captured by the stereo adapter according to the fourth embodiment; is there.
FIG. 24 is a diagram showing a modification of the stereo adapter according to the fourth embodiment.
FIGS. 25A and 25B are diagrams illustrating a modification applicable to the stereo adapter according to the first to fourth embodiments, where FIG. 25A illustrates the configuration and FIG. 25B illustrates a captured image, respectively. It is.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Optical path division apparatus, 12 ... Exposure control apparatus, 13 ... Frame memory, 14 ... Rectification apparatus, 15 ... Distance calculation apparatus, 16 ... Distance image output, 17 ... Calibration apparatus, 18 ... Interlace interpolation processing apparatus, 100 ... Distance image input device, 101 ... Stereo adapter, 101A ... Primary folding mirror, 101B ... Secondary folding mirror, 101C ... Wide conversion lens, 101C1 ... Optical axis, 101D ... Power prism, 101D1 ... Concave refraction surface, 101E ... Prism Image capturing apparatus holder, 101F: negative power lens group, 101G: positive power lens group, 101H: primary imaging optical system, 101I: image guide, 101J: primary imaging optical system connecting member, 101K: secondary imaging optical system Connecting member, 101L ... cylindrical lens, 101 ... a cylindrical lens for expanding the field of view, 101N ... optical path extending means, 101N1 ... primary deflecting mirror, 101N2 ... secondary deflecting mirror, 101O ... light shielding plate, 102 ... imaging device, 102A ... imaging optical system, 102A1 ... optical axis, 102B ... imaging Element, 103: Range image processing device, 103A: Frame memory, 103B: Rectification processing unit, 103C: Three-dimensional reconstruction unit, 103D, ... Object recognition unit, 103E: Calibration unit, 104: Control device, 105 ... Object recognition device, 116: Stereo adapter camera.

Claims (3)

It is a stereo adapter attached to the front of the imaging optical system of the imaging device for capturing a stereo image,
A light guiding optical system that receives light from the same subject at a plurality of sites separated by a predetermined distance, and guides each of the received light to an imaging optical system of the imaging device;
A plurality of reduction optical systems for reducing a light beam to be received;
With
A stereo adapter, wherein the imaging device is installed between the plurality of reduction optical systems. In the light guide optical system, a primary bending mirror and a secondary bending mirror are arranged in a substantially W shape,
The stereo adapter according to claim 1, wherein the secondary bending mirror is configured to reflect a light beam toward the incident side to the primary bending mirror and capture an image with the imaging device. A stereo adapter according to claim 1 or 2,
An imaging device to which the stereo adapter is attached,
A range image processing device that performs a process including three-dimensional reconstruction from a stereo image captured by the imaging device, and provides three-dimensional distance information,
A distance image input device comprising:

Images