JP2004257837A - Stereo adapter imaging system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To perform three-dimensional distance measurement based on the stereo measurement utilizing a stereo adapter having substantially stubborn mechanical structure, and to provide safety traveling of a vehicle on the basis of the information thereof. <P>SOLUTION: A stereo adapter imaging system mounted on the vehicle to perform the distance measurement is composed of an imaging apparatus 102 having an imaging optical system, the stereo adapter 101 for introducing an image viewed from a plurality of visual points to one imaging system so that the imaging device 102 takes a parallax image, a processing device 103 for performing the processing including three-dimensional reconstruction from the parallax image taken by the imaging device 102 and for providing the three-dimensional distance information, and a controller 104 for controlling the imaging device 102 and the processing device 103. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

（２） レクティフィケーション処理部１０３Ｂ
ワールド座標系で定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕ^Ｌ，ｖ^Ｌ）、右画像内での位置を（ｕ^Ｒ，ｖ^Ｒ）とし、左画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する左カメラＬのワールド座標系における位置Ｃ_Ｌ（左カメラ座標系の原点）と、右画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する右カメラＲのワールド座標系における位置Ｃ_Ｒ（右カメラ座標系の原点）を考えることができる。このとき、ワールド座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕ^Ｌ，ｖ^Ｌ）へ射影される変換式と、同一の点から右（ｕ^Ｒ，ｖ^Ｒ）へ射影される変換式は、以下のように書くことができる。
【００３９】
【数２】

【００４０】
一方、撮像装置１０２の撮像光学系１０２Ａの光学レンズなどのレンズディストーションが三次元計測の要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）及び式（４）は、以下に示すような式（５）及び式（６）で表現することができる。これらの式では、レンズディストーションを表現するのにラディアルディストーション（Ｒａｄｉａｌ Ｄｉｓｔｏｒｔｉｏｎ）とタンジェンシャルディストーション（Ｔａｎｇｅｎｔｉａｌ Ｄｉｓｔｏｒｔｉｏｎ）を表したものであるが、勿論これら以外のディストーション表現であっても良い。
【００４１】
【数３】

【００４２】
【数４】

【００４３】
以降、説明を簡単にするために、式（１）で表されるピンホールカメラモデルを中心に説明する。
【００４４】
上記のように、左カメラＬと右カメラＲに基づいてワールド座標系Ｗ内の点Ｐ（ｘ，ｙ，ｚ）とその左画像と右画像への射影点（ｕ^Ｌ，ｖ^Ｌ）と（ｕ^Ｒ，ｖ^Ｒ）を考えるが、一般的なステレオカメラシステムと同様に、これらの対応する点同士が、必ずしも同一の縦方向の座標値ｖを有するとは限らない。即ち、ｖ^Ｌ＝ｖ^Ｒであるとは限らないわけである。この条件が成立しないと、後述する三次元再構成部１０３Ｃでのステレオマッチング（対応点探索）に膨大な計算量を有することになる。従って、例えば文献Ｅ． Ｔｒｕｃｃｏ ａｎｄ Ａ． Ｖｅｒｒｉ， Ｉｎｔｒｏｄｕｃｔｏｒｙ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９８に述べられているように、レクティフィケーションの処理を行うのが一般的である。具体的には、図７に示されるように、ステレオアダプタ１０１で得られる１枚の画像中の左画像領域と右画像領域で、左画像領域にある各画素（ｕ^Ｌ，ｖ^Ｌ）の右画像領域における対応点が、同一の縦画像座標となるように、左画像領域と右画像領域の両方を座標変換する。例えばその方法は、以下のように書くことができる。
【００４５】
【数５】

【００４６】
【数６】

【００４７】
【数７】

【００４８】
【数８】

【００４９】
【数９】

【００５０】
【数１０】

【００５１】
このように、回転変換を考えることにより、レクティフィケーションを実現することができる。
【００５２】
【数１１】

【００５３】
［レクティフィケーション処理ステップ］
具体的なステップは、以下の通りである。
【００５４】
【数１２】

【００５５】
【数１３】

【００５６】
ここではレクティフィケーション処理の一手法を説明したが、勿論この方法には各種の手法がある。その変形に関しては文献Ｅ． Ｔｒｕｃｃｏ ａｎｄ Ａ． Ｖｅｒｒｉ， Ｉｎｔｒｏｄｕｃｔｏｒｙ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９８に示されているので、ここでは詳しく述べない。また本説明では、レンズのディストーションが小さいとしてレクティフィケーション処理を説明してきたが、式（５）や式（６）で示されるようなレンズディストーションがある場合には、それらを予め除去してレクティフィケーション処理をすることができることは明白である。例えば、レンズディストーション除去を含めた処理を考えると、具体的なステップは以下の通りである。
【００５７】
［ディストーション除去を含むレクティフィケーションステップ］
【数１４】

【００５８】
【数１５】

【００５９】
以上、レクティフィケーション処理の数学的基本を説明してきたが、図５におけるレクティフィケーション処理部１０３Ｂでは、このような数学的手法に基づいて、ステレオアダプタ１０１と撮像装置１０２で撮影された画像を左右の画像である左画像２０３と右画像２０４を生成する機能を有する。
【００６０】
（３） 三次元再構成部１０３Ｃ
三次元再構成部１０３Ｃでは、上記レクティフィケーション処理部１０３Ｂが生成した左画像２０３および右画像２０４を利用して、左画像２０３の各画素点に対応する右画像２０４の対応点を探索し、その対応点間の関係に基づいて、三次元距離画像２０５を生成する機能を有する。
【００６１】
ここでは、その方法を説明する。先に説明したように、レクティフィケーション処理部１０３Ｂからの出力である画像では、左画像２０３の各ラインと右画像２０４の同一ラインを扱うとき、左画像２０３のそのライン上の画素に対応する点は、右画像２０４の同一ライン上になければならないという必要条件を与えるものである。この必要条件は、一般的に、エピポーラライン拘束条件と呼ばれる。この三次元再構成部１０３Ｃでは、この条件を利用しながら左画像２０３の各画素点に対応する右画像２０４内の画素点を探索することをまず行う。
【００６２】
これらの手法に関しては、参考文献：松山他編、コンピュータビジョン：技術評論と将来展望、新技術コミュニケーションズ、１９９８， ｐｐ． １２３−１３７に表されるように、いわゆるステレオマッチングの手法では、ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの手法とｆｅａｔｕｒｅ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの両方の手法が考えられる。本三次元再構成部１０３Ｃでは、この何れを利用しても良い。ここでは、簡単のために、ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの手法を採用して三次元再構成を行う方法について解説する。
【００６３】
【数１６】

【００６４】
類似度（あるいは非類似度）の定義としては、１）局所領域（ウィンドウ）内の各画素間の差の絶対値の和（ＳＡＤ）、２）局所領域内の各画素間の差の２乗和（ＳＳＤ）、３）局所領域内の各画素間の正規化相関（ＮＣＣ）などがあり、ＳＡＤあるいはＳＳＤの場合には、その値を最小とするもの、ＮＣＣの場合には正規化相関を最大とするものによって、最適な対応点とするわけである。
【００６５】
【数１７】

【００６６】
【数１８】

【００６７】
というようにすることも可能である。このように信頼度を考慮する場合には、勿論、未対応点を有する画素が左画像２０３あるいは右画像２０４に存在することもあり得る。
【００６８】
【数１９】

【００６９】
【数２０】

【００７０】
このようにして三次元再構成部１０３Ｃでは、左画像２０３の画素に対応する三次元座標値（ｘ，ｙ，ｚ）を計算することができる。ここで、（ｘ，ｙ，ｚ）は、レクティフィケーション処理で利用したレクティフィケーション座標系Ｒｅｃｔを基準とした三次元座標値である。
【００７１】
今までの説明では、左画像２０３の各画素を標準として対応点探索と三次元再構成を行ってきたが、勿論、右画像２０４を標準として対応点探索と三次元再構成を行うことも容易である。また、車両３００の振動等により画像のぶれが生じる影響が大のときには、手ぶれ防止機能を付加して、画像のぶれ補正を行った後に、三次元再構成を行うことが考えられる。このために、振動を検知するジャイロセンサや加速度センサを付加する。この場合には、手ぶれ補正機能により、キャリブレーション時の光学中心情報が変動することが想定される。しかし、そのずれ量は、上記ジャイロセンサや加速度センサの手ぶれ補正情報から算出できる量であるので、そのずれ量分をレクティフィケーション処理部１０３Ｂで補正をかけることが可能である。または、ステレオアダプタ１０１装着時の画像フレームの変動量等を検知することにより、ジャイロセンサ、加速度センサ等の補正量に相当する情報を取得することも可能である。
【００７２】
図１０の（Ａ）及び（Ｂ）は、このようにして算出された距離画像を示したものである。即ち、図１０の（Ａ）は撮影された画像であり、図１０の（Ｂ）はその画像から距離を算出した結果を示す図であって、輝度が高いほど距離が近いことを示す。
【００７３】
このようにして、三次元再構成部１０３Ｃは、三次元座標値（ｘ，ｙ，ｚ）から構成される三次元距離画像２０５を生成する。この三次元距離画像２０５は、次に物体認識部１０３Ｄに送出される。また、物体認識部１０３Ｄが、視差画像を直接利用する場合には、三次元距離画像２０５の代わりに視差画像を送出しても良い。
【００７４】
（４） 物体認識部１０３Ｄ
三次元距離画像２０５が、三次元再構成部１０３Ｃで生成された後、物体認識部１０３Ｄは、その三次元距離画像２０５内に含まれる各種物体を検出あるいは認識する。図１１は、前方車載カメラに対する物体認識部１０３Ｄの構成例を表したものである。
【００７５】
この物体認識部１０３Ｄは、例えば車が道路上を走行している場合に、車前方にある道路領域２１０と非道路領域２１１を抽出する道路抽出部１０３Ｄ１、道路領域２１０内から道路面にある二次元物体を抽出する道路面内物体抽出部１０３Ｄ２、及び、三次元距離画像２０５内から抽出された道路領域２１０と非道路領域２１１とを利用して、道路面にない障害物物体を認識する障害物認識部１０３Ｄ３から構成され、そして、道路面内物体抽出部１０３Ｄ２から物体データ２０６Ａを出力し、障害物認識部１０３Ｄ３から物体データ２０６Ｂを出力するものである。
【００７６】
いま、三次元再構成部１０３Ｃが出力した三次元点の集合をＡ_ａｌｌとする。このとき、道路抽出部１０３Ｄ１では、まず車前方にある領域の一部を抽出し、その中から滑らかな平面あるいは曲面を抽出する。この方法としては、例えば三次元距離画像２０５の各三次元座標値ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）について、その近傍の値を求めて法線ベクトルｎ_ｉを推定する。そして、その法線ベクトルｎ_ｉのヒストグラムを作成し、そのヒストグラム中のピークとなる主法線ベクトルｎを求める。このようにして求めた主法線ベクトルｎが道路面の主法線ベクトルであると仮定する。このように主法線ベクトルｎが求まったところで、ｎを法線とするような三次元座標点ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）を三次元距離画像２０５を構成する全データの集合Ａ_ａｌｌから選択する。即ち、各三次元座標ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）に対して、
ｎ^ｔｐ_ｉ＝ｄ …（２７）
で平面を近似し、その中の未知パラメータｄを異常値を除去しながら推定する方法を採用する。このようにしてｎとｄを推定した後、各点ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）がこの道路を記述する平面内にあるかどうかを判定することになる。その判定方法としては、フィッティング誤差であるεが
ε＝｜ｎ^ｔｐ_ｉ−ｄ｜＜ｔｈｒｅｓｈｏｌｄ …（２８）
なる閾値ｔｈｒｅｓｈｏｌｄの範囲にあるものは、道路面内にあると判定する。このようにして得られた三次元点の集合をＡ_ｒｏａｄとする。またＡ_ｒｏａｄの集合にノイズ成分が含まれている場合には、適切なノイズフィルタを適用してノイズ除去した道路面内の点の集合をＡ_ｒｏａｄと再定義する。
【００７７】
道路面内物体抽出部１０３Ｄ２では、道路面内の点集合Ａ_ｒｏａｄの中から、道路の特徴として重要となるランドマークなどを抽出する。これらランドマークとしては、白線などのレーン情報、レーン内にある各種文字コードなどである。これらを認識するために、まず道路面内物体抽出部１０３Ｄ２では、点集合Ａ_ｒｏａｄに対応するレクティフィケーションが施された左画像２０３あるいは右画像２０４からレーンや文字コードに対応する画像特徴を抽出する。この方法については、例えば塙他、自動車用ステレオ画像認識装置の実用化、第３回動画像処理実利用化ワークショップ， ２００２， ｐｐ．１０６−１１０、または、大塚他、エッジ方向成分を用いたレーンマーク認識、第３回動画像処理実利用化ワークショップ， ２００２， ｐｐ．９６−１０１などに紹介されているので、その方法の詳細についてはここでは詳しく述べない。ただし、本方式では、最初に道路面が三次元構造として抽出されているので、道路面以外にあるレーンに似た画像特徴や文字コードなどを誤って抽出する確率が少なくなっていることが特徴である。そして、このように画像から抽出された道路特徴（白線や文字コードなど）は、その特徴とともに三次元データとして表現できるというメリットがあるわけである。このことについては後述する。
【００７８】
次にＡ_ｒｏａｄの補集合として、非道路領域の点の集合を
【数２１】

として定義する。この非道路領域Ａ_{ｎｏｎ−ｒｏａｄ}に対して処理を施して、障害物などの物体認識をするのが障害物認識部１０３Ｄ３である。障害物認識部１０３Ｄ３では、非道路領域２１１以外の障害物を三次元点群データにより解析する。具体的には、Ａ_{ｎｏｎ−ｒｏａｄ}内の三次元データをクラスタ分析することにより解析することになる。この方法には、以下のような方法がある。
【００７９】
まず、非道路領域２１１内の点集合Ａ_{ｎｏｎ−ｒｏａｄ}を細かく分割して、小領域の部分集合群｛Ｂ_ｉ｝
【数２２】

を構成する。これは、例えば画像処理で良く用いられるｂｌｏｂの形で構成されるわけである。例えば、図１２の（Ａ）に示されるように、画像処理で良く用いられるｂｌｏｂ群で構成される。図１２の（Ａ）において、距離に基づいて抽出された領域であるＢ_ｉが、領域ｂｌｏｂ群２１２として表現され、同一の濃淡レベルは距離を表すとすると、本来は同一物体内の領域が、図に示す通り、分割される可能性があるわけである。
【００８０】
そこで、この部分集合Ｂ_ｉの属性情報を算出する。この属性情報としては、例えば、位置、色、グレー階調などである。これらの属性パラメータをベクトルの形ｑ_ｉで表現する（ここでｉは領域に関するインデックスであり、ｑ_ｉはｍ次元ベクトルである。）そしてこの属性に関しては、その平均値と分布の広がりを表す共分散行列も付与することにする。例えば、Ｂ_ｉの属性の中の位置に関する平均値は重心となり、その共分散行列は位置に関する２次モーメント（ｍｏｍｅｎｔ ｏｆ ｉｎｅｒｔｉａ）となるわけである。このとき、これら小領域Ｂ_ｉと小領域Ｂ_ｊが統合できるかを、
【数２３】

このようにして、いったん小領域の分割した後、領域の統合処理や膨張処理を行うことで、道路面内に無い物体を領域として分離しかつ分類することができるわけである。こうして得られた領域は、その領域の属性が物体データとして送出される。図１２の（Ａ）で統合された領域を、図１２の（Ｂ）に示す。この図１２の（Ｂ）において、参照番号２１３は、統合された領域ｂｌｏｂ群で物体を構成した場合を示している。
【００８１】
（５） キャリブレーション部１０３Ｅ
キャリブレーション部１０３Ｅは、レクティフィケーション処理部１０３Ｂ、三次元再構成部１０３Ｃ、物体認識部１０３Ｄで必要となる各種パラメータを主にオフラインで推定する処理部である。即ち、ステレオアダプタ１０１を車両３００などに最初に設置したり、その設置位置を変更した際にのみ行う処理を担当する。
【００８２】
【数２４】

【００８３】
一方、三次元再構成部１０３Ｃで使用される式（２４），式（２５），式（２６）で使用される各種固定パラメータも、本キャリブレーション部１０３Ｅで算出される。
【００８４】
また、物体認識部１０３Ｄで使用されるパラメータとしては、車体とステレオアダプタ１０１との位置関係に関するパラメータがある。即ち、物体認識部１０３Ｄで、撮像装置座標系に基づいて計測あるいは認識された物体や障害物の位置は、以下に述べる位置関係に関するキャリブレーション結果に基づいて、車両３００からの距離や相対的な位置として算出することができるようになる。つまり、レクティフィケーション処理部１０３Ｂで説明したワールド座標系と車両３００が規定する座標系を同一なものにするように、撮像装置１０２と車両３００間の位置関係を規定するものである。こうしたパラメータの算出は、以下のような方法を採用すれば良い。即ち、ステレオアダプタ１０１を介して撮像装置１０２で撮影された画像を処理するわけである。つまり、車体あるいは車体外にある車体に対して相対的な場所が既知な特徴点を撮像装置１０２で撮影することにより、撮像装置１０２と車体との相対的な位置関係を推定するものである。
【００８５】
ステレオアダプタ１０１などのステレオ撮影装置を利用して、車体（車両３００）に相対する障害物や物体を認識および位置姿勢推定を正確に行うためには、ステレオ撮影装置の車体（車両３００）に対する相対的な位置姿勢を正確に行う必要がある。
【００８６】
これを行う方法としては、車両３００と撮像装置１０２の取り付け設計値に基づく方法が最も容易であることは明白である。即ち、車両３００の基準座標系と撮像装置１０２が規定する座標系間の座標変換パラメータが設計値で与えられれば良い。この理想的な場合に、例えば、車両３００の最前方のバンパ中央を車両３００の基準座標系として、この座標系をＭ（ｘ^Ｍ，ｙ^Ｍ，ｚ^Ｍ）で表し、撮像装置１０２の座標系（ステレオ撮影装置の場合には、レクティフィケーションで基準となる座標系）をＳ（ｘ^Ｓ，ｙ^Ｓ，ｚ^Ｓ）で表すとすれば、撮像装置座標系Ｓから車両基準座標系Ｍへの座標変換を式：
【数２５】

で表すことが可能となる。ここで（_ＭＲ_Ｓ，_ＭＴ_Ｓ）は３×３の回転行列と三次元並進ベクトルを表す。このような座標変換が求まれば、撮像装置１０２の座標系Ｓで計測されたデータは、車両３００が基準とする座標系Ｍでの表現が可能となるので、例えば、撮像装置１０２を基準として計測した障害物までの距離情報に関しても、同様に車両３００が基準とする座標系の原点から障害物までの距離として表現することができるわけである。即ち、障害物が撮像装置１０２の座標系で（ｘ^Ｓ，ｙ^Ｓ，ｚ^Ｓ）と表されれば、式（３２）を利用することで車両座標系での位置（ｘ^Ｍ，ｙ^Ｍ，ｚ^Ｍ）にすることが可能となり、例えば車両座標系Ｍの原点から障害物までの距離は、
【数２６】

と表現できるわけで、これらを利用すれば、処理装置１０３内で先に説明されたような各種の距離表現や警告に利用することができるわけである。
【００８７】
しかしながら、撮像装置１０２を車両３００に正確に取り付ける設計値が得られている場合には、上記のような方法を採用することができるが、車両３００に任意に取り付ける場合や、設計値が必ずしも正確ではない場合には、正確なキャリブレーション処理を施す必要がある。このように、撮像装置１０２の取り付けの設計値が正確に与えられない場合のキャリブレーション処理について、これから説明する。
【００８８】
具体的には、これらを求める方法としては、図１３の（Ａ）に参照番号２１４，２１５，２１６で示すように、（１）車両３００に関するＣＡＤモデルを利用する方法、（２）特別なキャリブレーション治具を車両３００に簡易的に取り付ける方法、（３）車両３００を正確な位置に駐車して路上に配置されたキャリブレーションマーカを利用する方法が考えられる。
【００８９】
例えば、車両３００のＣＡＤモデルを利用する場合について、図１３の（Ａ）を参照して解説する。
【００９０】
図１３の（Ａ）において、特徴抽出部１０３Ｅ１において、ステレオアダプタカメラ１１６で撮影された後レクティフィケーション処理を行ったステレオ画像２１７を画像処理して、キャリブレーションに必要な特徴データを抽出および算出する。その後、位置姿勢推定部１０３Ｅ２により、この特徴抽出部１０３Ｅ１が出力する特徴データ２１８と車両ＣＡＤモデル２１４とを用いて、撮像装置１０２と車両３００間の相対的位置姿勢を推定する。そして、この位置姿勢推定部１０３Ｅ２は、その推定した撮像装置１０２と車両３００間の相対的位置姿勢情報を、式（３２）で表現されるような座標変換パラメータ２１９として算出することになる。
【００９１】
本形態では、車両ＣＡＤモデル２１４を利用する方法を説明するが、ここでは簡単のために、撮像装置１０２は車両３００の前方を観察するカメラであるとして、これからその方法を説明する。これは、図１３の（Ｂ）にあるように、車両ボンネットなど前部にある特徴点あるいはマーク点などを画像処理方法によって抽出および認識するわけである。この特徴点としては、曲面構成で曲率が急に変化する点、ヘッドランプ上部のエッジ部、あるいは曲線や直線成分であっても良い。これらは、車両ＣＡＤモデル２１４から車両座標系で規定された正確な位置座標が予めわかっているわけである。いま、これらｎ個の特徴点の車両座標系Ｍでの座標値を
【数２７】

また、直線や曲線などの場合には、例えば文献Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ， Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， ｅｄｉｔｅｄ ｂｙ Ｓ． Ｎｏｆ， Ｃｈａｐｔｅｒ １４， Ｊｏｈｎ Ｗｉｌｅｙ， １９９９のような方法で画像内からそれらを抽出して、線分あるいは曲線分として表現できる形で抽出する。こうして、左画像２０３あるいは右画像２０４から得られた特徴点は、その画像内位置座標が特徴データ２１８として表現されることになる。
【００９２】
【数２８】

【００９３】
例えば文献：Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ， Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， ｅｄｉｔｅｄ ｂｙ Ｓ． Ｎｏｆ， Ｃｈａｐｔｅｒ １４， Ｊｏｈｎ Ｗｉｌｅｙ， １９９９、あるいは文献：Ｒ． Ｈａｒａｌｉｃｋ ａｎｄ Ｌ． Ｓｈａｐｉｒｏ． ”Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ ”， Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ， Ｖｏｌ ２， １９９２の方法で、撮像装置１０２の座標系Ｓと車両座標系Ｍの間の座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を求めることができる。この作業は、位置姿勢推定部１０３Ｅ２が担当する。その方法に関しては、上記の文献に詳しく説明されているので、ここでは詳細には述べない。
【００９４】
一方、ステレオ画像２１７を撮影する撮像装置１０２の左画像２０３あるいは右画像２０４に車両３００の前方が撮影できないような場合には、車両３００にキャリブレーション治具を取り付けることで、同様に撮像装置１０２と車両３００間の座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を算出することができる。即ち、図１４に示すように、例えば車両３００の前方にキャリブレーション治具１１７を装着し、そのキャリブレーション治具１１７を、撮像装置１０２で撮影することで座標変換パラメータ（_ＭＲ_Ｓ，_ＭＴ_Ｓ）を算出するわけである。この際、キャリブレーション治具１１７には、キャリブレーション用のマーカ１１８が設置されており、その座標値は車両座標系Ｍで既知となるように設計されている。
【００９５】
【数２９】

【００９６】
【数３０】

【００９７】
以上、説明してきたように、キャリブレーション部１０３Ｅは、撮像装置１０２に関わるキャリブレーションや、レクティフィケーションで必要となるパラメータの算出や、撮像装置１０２の座標系と車両３００が規定する座標系間のキャリブレーションなどを行う。
【００９８】
次に、図１における表示装置１０８の表示例について説明する。
即ち、表示装置１０８は、処理装置１０３により、撮影された画像に対して前述した三次元再構成等の処理を行って抽出した道路の平面あるいは曲面形状を、図１８に示すように、その表示部１０８Ａ上に表示するものであり、更にこのとき、車両３００から等間隔離れた道路面上の点群を直線あるいは曲線Ｌ１，Ｌ２，Ｌ３でスーパーインポーズ表示する。さらに、処理装置１０３によってその道路上の前方を走る車両Ｔ１，Ｔ２等を認識することで、該表示装置１０８は、その前方車両を外包する楕円を表示すると共に、前方車両Ｔ１，Ｔ２等までの距離を表示する。
【００９９】
また、処理装置１０３が信号や標識等を認識し、図１９に示すように表示部１０８Ａの一部に設けた拡大表示エリア１０８Ａ１にそれを拡大表示したり、処理装置１０３がレーンを認識し、図２０に示すようにフロントガラスに矢印等のマーク１０８Ｂ１，１０８Ｂ２を投影表示して、運転者が見落とし易い情報を視覚的に提供するようにしても良い。
【０１００】
このような表示形態によると、運転者に視覚的な情報を提供できるため、安全走行を促すことができる。また、客観的な距離情報を表示するため、運転者の錯覚等のあやまりを低減でき、危険を早い段階で回避することができる。
【０１０１】
なお、この発明の実施の形態は、当然、各種の変形、変更が可能である。
【０１０２】
例えば、図１８に示したような直線あるいは曲線Ｌ１等の数は何本でも良く、車両Ｔ１等は障害物や人間等でも良い。また、外包する楕円は長方形であっても良く、距離表示は数字の他に色等の表現でも良い。外包する楕円または長方形は必ずしも必要ではなく、Ｌ１等の表現のみでも良い。さらに、図２１に示すように、認識した道路上にグリッドを表示する形態も考えられる。また、図２２に示すように車両３００（前方を走る車両Ｔ１，Ｔ２等及び自車Ａ１）を上方から表示する形態や、図２３に示すように横から表示する形態が考えられる。また、本実施の形態では、二次元の表示であるが、当然、俯瞰図のような三次元表示も可能である。
【０１０３】
さらに、表示装置１０８の表示部としては、図２０に参照番号１０８Ｃで示すように、カーナビゲーション装置の画面を用いることなどが考えられるが、当然、ヘッドアップディスプレイや、ヘッドマウンドディスプレイ等の専用のディスプレイを用いる方法も考えられる。また、ルームミラーの一部や、図２０に参照番号１０８Ｄで示すように、メーター類の脇に表示部を組み込むという手段も考えられる。
【０１０４】
また、図２４に示すように、様々な情報を組み合わせた表示の形態も考えられる。即ち、地図情報１０８Ａ２や、信号や標識等の認識結果を表示する部分１０８Ａ３を、車外を撮影した画像１０８Ａ４と組み合わせて提示する方法も考えられる。また、警告メッセージ等を表示する部分１０８Ａ５、モード等を切り換えることのできる部分１０８Ａ６が備わっていても良い。
【０１０５】
また、図２１，図２２，図２３の他に三次元空間内において、代表距離位置平面に車両Ｔ１，Ｔ２等の二次元画像を表示するようにしても良い。これにより、奥行き情報がより明確になり、物体の認識がし易くなる。
【０１０６】
［第２の実施の形態］
次に、本発明の第２の実施形態を説明する。上記第１の実施の形態では、ステレオ再構成された距離画線を用いて、物体認識する方法に関して説明したが、本第２の実施の形態では、さらにステレオ画像であることを有効に利用した物体認識部の方法について説明する。即ち、物体認識部１０３Ｄの別の実施形態について解説する。
【０１０７】
図２５は、本実施の形態における物体認識部１０３Ｄの構成を表したものである。即ち、本実施の形態においては、三次元再構成部１０３Ｃが出力した三次元距離画像２０５と同時に、ステレオアダプタ１０１あるいはステレオカメラが撮影した後にレクティフィケーションされた左画像２０３あるいは右画像２０４も物体認識部１０３Ｄに入力する。この本物体認識部１０３Ｄ内部には、レクティフィケーションされた左画像２０３あるいは右画像２０４の少なくとも一つを入力し、その画像の領域を分割する画像領域分割部１０３Ｄ４と、この画像領域分割部１０３Ｄ４が生成した領域データ２２０と上記入力された三次元距離画像２０５とを処理して、物体領域を抽出する物体抽出部１０３Ｄ５とが構成され、この物体抽出部１０３Ｄ５は、障害物や物体のデータである物体データ２０６を出力するものである。
【０１０８】
上記画像領域を分割する方法は、例えばＳｐｌｉｔ−ａｎｄ−Ｍｅｒｇｅ法、Ｓｐｅｄｇｅ−ａｎｄ−Ｍｅｄｇｅ法など、数多く知られている。本実施の形態では、このうちの何れの方法であってもかまわない。
【０１０９】
特に車載カメラでの応用では、前方の障害物検知が重要となるので、障害物の境界線を極めて正確に求める必要がない場合が多い。そのような場合には、例えば、図２６の（Ａ）に示されるような縦方向の直線あるいは曲線に感度のあるエッジ抽出フィルタをかけたものと、図２６の（Ｂ）に示されるような横方向の直線あるいは曲線に感度のあるエッジ抽出フィルタをかけたものと、の両者から得られるエッジを統合して、領域の境界線を構成し、それらの境界線で囲まれる領域に分割する方法で、領域分割することでも良い。例えば、図２７の（Ａ）のような原画像に、縦方向エッジ抽出フィルタをかけた結果を図２７の（Ｂ）に、横方向エッジ抽出フィルタをかけた結果を図２７の（Ｃ）に、エッジを統合した結果を図２７の（Ｄ）に、そして領域抽出した結果を図２７の（Ｅ）に示す。なお、図２７の（Ｂ）及び（Ｃ）で、抽出されたエッジは、正の強度を持つエッジと負の強度を持つエッジとで色を変えて表現してある。また、図２７の（Ｅ）で示される分割された領域は、異なる色でその領域を表現している。
【０１１０】
このようにして得られた領域抽出された領域データ２２０と上記三次元再構成部１０３Ｃが算出した三次元距離画像２０５とに基づいて、物体抽出部１０３Ｄ５は、三次元距離画像２０５に含まれる物体データ２０６を算出することを行う。この方法は、領域抽出された各領域Ｒ_ｉ（ｉ＝１，２，…，ｎ）について、その領域内に含まれる三次元距離画像２０５の測距点を集める方法である。いま、これらの点をｐ_ｊ（ｉ＝１，２，…，ｍ）とする。このとき、ｐ_ｊの中にある異常値を取り除いた後、領域Ｒ_ｉに関する平面あるいは曲面のフィッティングを行う。こうしてフィッティングされた平面あるいは曲面をもって、領域が固有する表面形状を近似するわけである。このようにして得られた三次元表面形状をさらに統合しながら、三次元距離画像２０５を物体あるいは障害物レベルで統合する処理を行い、物体あるいは障害物の検知および認識を行うことになる。このようにすれば、予め三次元距離画像２０５を簡単な方法で、分割やグルーピングすることができるので、高速に物体認識を行うことができるようになる。
【０１１１】
また、以上の方法では、路面の認識や標識やレーンマーカなどの認識について詳細には説明しなかったが、その方法は前述した第１の実施の形態で説明した方法と同様である。
【０１１２】
さらにここでは、路面上のレーンや白線検知の方法に関しても説明する。本実施の形態では、その方法について画像からレーンで抽出する方法と、ステレオ画像を利用した方法について説明する。
【０１１３】
図２８は、その構成を示したものである。即ち、この場合の物体認識部１０３Ｄは、左画像２０３あるいは右画像２０４の二次元画像を入力して画像変換する画像変換部１０３Ｄ６、この画像変換部１０３Ｄ６によって変換された画像にエッジフィルタを適用して、路面上の白線候補を抽出するエッジ抽出部１０３Ｄ７、このエッジ抽出部１０３Ｄ７によって抽出されたエッジが、路面上のレーンであるかを判定する白線判定部１０３Ｄ８、この白線判定部１０３Ｄ８によって判定されて白線として認定された白線成分を、元の画像座標に変換する逆画像変換部１０３Ｄ９から構成される。
【０１１４】
ここで、左画像２０３あるいは右画像２０４の二次元画像を入力して視点に基づいた画像変換する画像変換部１０３Ｄ６では、路面上の白線が、画像内でほぼ垂直方向に並ぶような変換を施すものである。具体的な例は、原画像の横軸をｃ、縦軸をｒとする。このとき具体的な画像変換としては、極座標変換がある。例えば、図２９の（Ａ）及び（Ｂ）に示されるような画像領域〔ｃｍｉｎ，ｃｍａｃ］×［ｒｍｉｎ，ｒｍａｘ］とし、極座標の原点を（ｃ０，ｒ０）として、その原点からの距離ｄと角度ｔ＝ｔｈｅｔａとする。このとき、（ｄ，ｔ）を座標変換された極座標の横軸と縦軸にとると、車前方にある白線は、ほぼ垂直方向に配列される。
【０１１５】
例えば、図２７の（Ａ）に示される原画像の下部である白線が存在する部分を切り出し、その部分（図３０の（Ａ））を上記のような極座標変換を行うと、図３０の（Ｂ）に示すような極座標表現画像が生成できる。
【０１１６】
次に、エッジ抽出部１０３Ｄ７では、この極座標表現画像に縦方向のエッジに敏感なエッジフィルタを施すことによりエッジ成分の抽出を行う。例えば、図３０の（Ｂ）に示される画像にこのようなエッジ抽出フィルタをかけると、図３１の（Ａ）に示されるエッジが抽出される。こうして、ある方向にのみ敏感なエッジ抽出フィルタをかけることで、路面上の影の影響やノイズなどに強いエッジ抽出フィルタを構成することができる。
【０１１７】
こうして抽出されたエッジ画像について、白線であると判定できるエッジを判定するのは白線判定部１０３Ｄ８である。例えば、この白線判定部１０３Ｄ８では、エッジ強度が正負反転しているほぼ平行であるようなエッジ部分を抽出し、それらの部分群が白線としてある長さ以上存在し、角度方向が存在し得るかなどの、エッジの属性を判断することにより、白線であるかどうかの判定をするわけである。このように白線判定された部分を、図３１の（Ｂ）内の太線で示す。
【０１１８】
こうして白線判定部１０３Ｄ８で認定された白線は、元の画像の座標系への逆変換され、白線データ２０６Ｃが得られる。この逆変換は、逆画像変換部１０３Ｄ９が担当する。こうして変換されたものを図３２に示す。この図３２においては、判定された白線が、白線画像１０８Ａ７として原画像に重畳表示されている。
【０１１９】
このように、極座標変換のような画像変換を用いることで、白線に対応するようなエッジ成分を効率的に抽出することができ、かつその判定も容易になるという効果がある。
【０１２０】
以上説明してきた方法は、左あるいは右画像２０３，２０４から白線を算出する方法である。勿論この方法は、左画像２０３と右画像２０４の両方に適用すると、同一の白線が左画像２０３と右画像２０４内から抽出されることになる。即ち、それらの対応をとることにより、上記第１の実施の形態で説明したように白線部分の三次元再構成を行うことが可能となり、そうして三次元再構成されたデータに基づき、路面の三次元情報を計測することができる。またさらに、左画像２０３あるいは右画像２０４で誤って認識された白線部分の誤認識判定にも利用することができるので、車両誘導の有効な効果を得ることができる。
【０１２１】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１２２】
例えば、上記ステレオアダプタ１０１の取り付け方法は、その取り付け箇所によって縦置き、横置き等様々な形態が考えられ、例えば、ピラー等に装着するときは、上記ステレオアダプタ１０１を縦に付けても良い。これにより、車両の形状に適した取り付け方法となり、また、縦置きにすることによって横方向の画角が広がることや、基線長を縦にすることによって縦方向に特徴分布を有した対象物体の認識が容易になる、車両の縦構造物を有効に利用して省スペースな設置が可能、などの効果がある。
【０１２３】
また、上記撮像装置１０２は、夜間にヘッドライトを点灯させることによって、その感度を変化させるように構成することが考えられる。あるいは、この処理は、照度センサ等のセンサ類での検出結果に基づいて行っても良い。また、ヘッドライトをハイビームにすることによって、撮像装置１０２の撮像距離を変化させても良い。
【０１２４】
車載応用の場合には、車速に応じて観測する画像範囲を変更することが必要になる。例えば高速では、画角を狭くして遠方の障害物を詳細に観察することにより、障害物までのより正確な距離を算出することが重要となる。低速では、逆に画角を広くして画像を処理して、広角に存在する障害物を検知することが重要となる。このように、車速の変化に応じた画角の変化に対応しながらも、処理する画像領域内の解像度を出来るだけ変更しない方法としては（すなわち処理する範囲内の画素数をほぼ一定にするには）、撮影装置内に含まれる撮像素子数（画素数）を増加させておき、その読み出す画素のサンプリングを変化させる、いわゆる電子ズームの方法が有効である。このような電子ズームのズーム値あるいは画像内処理範囲、すなわち実際的には撮影される画角を、車速に応じて変化させて距離計測を行うことを、本ステレオアダプタ撮影装置に適用することも可能である。こうした車速による制御を行うことで、障害物検知をよりロバストあるいは正確に行うことができるようになる。
【０１２５】
また、ステレオアダプタ撮影装置では、本来は左右２台分の画像を一枚の画像として撮像することになるため、撮影画角によっては、画像の上下部分で、三次元再構成に不要となる画像領域が存在することがある。こうした不必要な処理領域は、もちろん撮影装置で入力する必要がないわけである。例えば撮像素子としてＣＣＤあるいはＣＭＯＳなどを利用する場合に、その有効範囲だけを走査しながら素子の電気出力を、フレームメモリなどに転送する場合には、こうした不要処理領域を除いた矩形領域のみをフレームメモリなどに転送することも可能である。こうした転送を行うことで、車載応用のステレオアダプタ撮影装置では、転送量を減少させることが可能となり、処理速度を向上させることができる。
【０１２６】
また、上記表示装置１０８については、運転操作等によって表示形式が変化しても良い。例えば、シフトレバーをバックギアに入れたときには、表示部１０８Ａは車両後方の映像を流し、ハンドルを左に切ったときには、車両左前方向の映像を流す等が考えられる。
【０１２７】
なお、キャリブレーション部１０３Ｅにおいて、キャリブレーション結果を保存するようなメモリ等の記憶部材を具備しても良い。
【０１２８】
また、上記ステレオアダプタ１０１に用いられるレンズ、ミラー、フィルタの表面は、酸化チタン等の超親水処理コートを施しても良く、また、ステレオアダプタ１０１ならびに撮像装置１０２の撮影レンズを気密処理し、乾燥窒素などを封入しても良い。
【０１２９】
さらに、ステレオアダプタ１０１の各光学素子にヒータを設けたり、車載の曇止めデフロスタの気流を導くダクトや、独自に温風ヒータを一体化させるなどして、結露を防止したりしても良い。
【０１３０】
これにより、防露、防曇、水滴による結像性能の劣化を防ぐよう構成しても良い。
【０１３１】
また、冷却用のファンを設けたり、ステレオアダプタ１０１の筐体自体をヒートシンクとして用い、熱歪みや電子回路の誤動作を防ぐように構成しても良い。
【０１３２】
また、ステレオアダプタ１０１の光路に相当する部分は反射防止塗装を施すが、それ以外の部分は耐環境性を考慮して、赤外を反射するような塗装にしても良く、また、車種により問題となるフロントガラスなどへの映り込みを防ぐために、黒色塗装を施すようにしても良い。
【０１３３】
なお、以上の実施の形態で説明した各種処理や表示形態は、ステレオアダプタ１０１だけではなく、複数のカメラを用いたシステムにも同様に適用でき、同様の効果が得られることは言うまでもない。
【０１３４】
（付記）
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１３５】
（１） 車両に装着し、距離計測を行うステレオアダプタ撮像システムにおいて、
撮像光学系を有する撮像装置と、
上記撮像装置で視差画像を撮影するために、複数視点から見た像を１つの上記撮影光学系に導くステレオアダプタと、
上記撮像装置で撮影した視差画像より三次元再構成を含む処理を行い、三次元距離情報を提供する処理装置と、
上記撮像装置及び処理装置を制御する制御装置と、
を具備することを特徴とするステレオアダプタ撮像システム。
【０１３６】
（作用効果）
この（１）に記載のステレオアダプタ撮像システムによれば、機械的構造が本質的に頑強なステレオアダプタを利用したステレオ計測に基づく三次元距離計測を行い、その情報をもとに車両の安全走行を提供できる。また、悪環境下でも利用可能な車載の三次元計測装置を実現することができる。
【０１３７】
（２） 上記ステレオアダプタは、車外に装着されていることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１３８】
（作用効果）
この（２）に記載のステレオアダプタ撮像システムによれば、ステレオアダプタを車外に装着することによって、フロントガラス等の写りこみをなくし、安定した画像の取得が行える。
【０１３９】
（３） 上記ステレオアダプタは、車内に装着されていることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４０】
（作用効果）
この（３）に記載のステレオアダプタ撮像システムによれば、ステレオアダプタを車内に装着することによって、安定した環境で画像の取得が行える。
【０１４１】
（４） 上記処理装置は、
上記撮像装置から得られた情報から距離を算出する距離算出部と、
この距離算出部による距離算出結果から三次元再構成を行う三次元再構成部と、
を有することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４２】
（作用効果）
この（４）に記載のステレオアダプタ撮像システムによれば、撮像装置から得られたステレオ画像に対して距離算出の処理を行い、その結果を基に三次元再構成等の処理を行う。
【０１４３】
（５） 上記制御装置は、上記処理装置から得られた処理結果を画面に表示する表示装置を有することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４４】
（作用効果）
この（５）に記載のステレオアダプタ撮像システムによれば、処理装置から得られた処理結果、例えば、三次元距離画像等の結果を画面に表示することができる。
【０１４５】
（６） 上記制御装置は、車載センサの情報を受け取ることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４６】
（作用効果）
この（６）に記載のステレオアダプタ撮像システムによれば、車両情報を提供する車載センサの情報を受け取り、状況に応じてシステムを制御することができる。
【０１４７】
（７） 上記制御装置は、外部通信装置の情報を受け取ることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４８】
（作用効果）
この（７）に記載のステレオアダプタ撮像システムによれば、外部通信装置の情報を受け取り、システムを制御することができる。
【０１４９】
（８） 上記制御装置は、運転者に警告を発する警告装置を更に有することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１５０】
（作用効果）
この（８）に記載のステレオアダプタ撮像システムによれば、安全走行を促すため、運転者に警告を発することができる。
【０１５１】
（９） 上記表示装置は、車外の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５２】
（作用効果）
この（９）に記載のステレオアダプタ撮像システムによれば、運転者の死角となるような箇所も含めた車外の道路環境を表示することができる。
【０１５３】
（１０） 上記表示装置は、車両前方の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５４】
（作用効果）
この（１０）に記載のステレオアダプタ撮像システムによれば、車外前方の道路環境を運転者に知らせることができる。
【０１５５】
（１１） 上記表示装置は、車両後方の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５６】
（作用効果）
この（１１）に記載のステレオアダプタ撮像システムによれば、車外後方の道路環境を運転者に知らせることができる。
【０１５７】
（１２） 上記表示装置は、車両側方の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５８】
（作用効果）
この（１２）に記載のステレオアダプタ撮像システムによれば、車両側方の道路環境を運転者に知らせることができる。
【０１５９】
（１３） 上記表示装置は、距離情報を撮影画像に重畳することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１６０】
（作用効果）
この（１３）に記載のステレオアダプタ撮像システムによれば、三次元距離画像等の結果を撮影した画面に重畳することによって、運転者に視覚的な情報を提供することができる。
【０１６１】
（１４） 上記車載センサは、車速センサであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６２】
（作用効果）
この（１４）に記載のステレオアダプタ撮像システムによれば、車両の状況を検出し、それに応じた情報を運転者に提供できる。
【０１６３】
（１５） 上記車載センサは、測距レーダであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６４】
（作用効果）
この（１５）に記載のステレオアダプタ撮像システムによれば、前車などとの距離を検出し、それに応じた情報を運転者に提供できる。
【０１６５】
（１６） 上記車載センサは、照度センサであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６６】
（作用効果）
この（１６）に記載のステレオアダプタ撮像システムによれば、車両の状況を検出し、それに応じた情報を運転者に提供できる。
【０１６７】
（１７） 上記車載センサは、外部カメラであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６８】
（作用効果）
この（１７）に記載のステレオアダプタ撮像システムによれば、車両の状況を検出し、それに応じた情報を運転者に提供できる。
【０１６９】
（１８） 上記車載センサは、グローバル・ポジショニング・システム （ＧＰＳ）であることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１７０】
（作用効果）
この（１８）に記載のステレオアダプタ撮像システムによれば、車両の位置を検出し、それに応じた情報を運転者に提供できる。
【０１７１】
（１９） 上記車載センサは、Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ （ＶＩＣＳ）であることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１７２】
（作用効果）
この（１９）に記載のステレオアダプタ撮像システムによれば、交通情報を検出し、それに応じた情報を運転者に提供できる。
【０１７３】
（２０） 上記警告装置は、距離計測結果に基づいて警告を発生することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１７４】
（作用効果）
この（２０）に記載のステレオアダプタ撮像システムによれば、処理装置から得られた障害物との距離計測結果に基づき運転者に警告を発生する。
【０１７５】
（２１） 上記警告装置は、表示部を用いて警告を発生する警告発生表示部を有することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１７６】
（作用効果）
この（２１）に記載のステレオアダプタ撮像システムによれば、表示部を用いて警告を表示し、運転者に安全運転を促すことができる。
【０１７７】
（２２） 上記警告装置は、音声を用いて警告を発生する音声発生装置を有することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１７８】
（作用効果）
この（２２）に記載のステレオアダプタ撮像システムによれば、音声を用いて運転者に警告を発することができる。
【０１７９】
（２３） 上記警告装置は、振動を用いて警告を発生する振動発生装置を有することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１８０】
（作用効果）
この（２３）に記載のステレオアダプタ撮像システムによれば、振動を用いて運転者に警告を発することができる。
【０１８１】
（２４） 上記音声発生装置は、スピーカを用いて警告を発生することを特徴とする（２２）に記載のステレオアダプタ撮像システム。
【０１８２】
（作用効果）
この（２４）に記載のステレオアダプタ撮像システムによれば、車両あるいは、システムに搭載されたスピーカを用いて音声を発生する。
【０１８３】
（２５） 上記振動発生装置は、運転席のシートを振動させることを特徴とする（２３）に記載のステレオアダプタ撮像システム。
【０１８４】
（作用効果）
この（２５）に記載のステレオアダプタ撮像システムによれば、運転席のシートを振動させることで運転者に警告を発する。
【０１８５】
（２６） 上記撮像装置は、車速に応じて画角を調整することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１８６】
（作用効果）
この（２６）に記載のステレオアダプタ撮像システムによれば、車速に応じて画角を調節することで、処理すべき画像範囲の大きさを一定にしながら、三次元再構成や物体認識を行うことができるので、よりロバストで正確な物体認識を実現することができる。特に車両の速度が大きいときには、遠方の物体についても詳細な三次元距離画像を生成することができるので、ロバストな物体認識を実現することができる。
【０１８７】
【発明の効果】
以上詳述したように、本発明によれば、機械的構造が本質的に頑強なステレオアダプタを利用したステレオ計測に基づく三次元距離計測を行い、その情報をもとに車両の安全走行を提供できるステレオアダプタ撮像システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るステレオアダプタ撮像システムの構成を示す図である。
【図２】ステレオアダプタの構成を説明するための図である。
【図３】ステレオアダプタカメラの車両への取り付け位置を示す図である。
【図４】ステレオアダプタの前面にカバーを取り付けた構成を示す図である。
【図５】処理装置の構成を示す図である。
【図６】（Ａ）はステレオアダプタの視野を示す図であり、（Ｂ）はその展開図である。
【図７】レクティフィケーション処理を説明するための図である。
【図８】レクティフィケーション処理における座標変換方法を説明するための図である。
【図９】ａｒｅａ−ｂａｓｅｄ ｍａｔｃｈｉｎｇの手法を説明するための図である。
【図１０】（Ａ）は撮影された画像を示す図であり、（Ｂ）はその画像から距離を算出した結果を示す図である。
【図１１】物体認識部の構成を示す図である。
【図１２】（Ａ）は距離に基づく領域ｂｌｏｂ群を説明するための図であり、（Ｂ）はｂｌｏｂ統合化によって抽出された物体を説明するための図である。
【図１３】（Ａ）はキャリブレーション部の構成を示す図であり、（Ｂ）は車両ボンネットなど前部にある特徴点を説明するための図である。
【図１４】車両へのキャリブレーション治具の装着状態を示す図である。
【図１５】キャリブレーション治具を撮影した場合の特徴点を説明するための図である。
【図１６】路面にキャリブレーションマーカを配置した場合のキャリブレーションマーカと車両の位置関係を示す図である。
【図１７】路面に配置したキャリブレーションマーカを撮影した場合の特徴点を説明するための図である。
【図１８】表示装置の表示例を示す図である。
【図１９】表示装置の別の表示例を示す図である。
【図２０】表示装置の他の表示例を示す図である。
【図２１】表示装置の更に別の表示例を示す図である。
【図２２】表示装置の他の表示例を示す図である。
【図２３】表示装置の別の表示例を示す図である。
【図２４】表示装置の更に別の表示例を示す図である。
【図２５】本発明の第２の実施の形態に係るステレオアダプタ撮像システムにおける物体認識部の構成を示す図である。
【図２６】（Ａ）は縦方向エッジ抽出フィルタを示す図であり、（Ｂ）は横方向エッジ抽出フィルタを示す図である。
【図２７】（Ａ）は原画像を、（Ｂ）は縦方向エッジ抽出フィルタをかけた結果を、（Ｃ）は横方向エッジ抽出フィルタをかけた結果を、（Ｄ）はエッジを統合した結果を、（Ｅ）は領域抽出した結果をそれぞれ示す図である。
【図２８】路面上の白線検知を行う場合の物体認識部の構成を示す図である。
【図２９】極座標変換を説明するための図である。
【図３０】（Ａ）は図２７の（Ａ）の原画像の下部を切り出した図であり、（Ｂ）は（Ａ）を極座標変換した極座標表現画像を示す図である。
【図３１】（Ａ）は図３０の（Ｂ）に示される画像にエッジ抽出フィルタをかけた結果を示す図であり、（Ｂ）は白線と判定結果を示す図である。
【図３２】認定された白線を元の画像の座標系へ逆変換した結果を示す図である。
【符号の説明】
１０１…ステレオアダプタ、１０１Ａ−１，１０１Ａ−２，１０１Ｂ−１，１０１Ｂ−２…ミラー、１０２…撮像装置、１０２Ａ…撮像光学系、１０２Ｂ…撮像素子、１０３…処理装置、１０３Ａ…フレームメモリ、１０３Ｂ…レクティフィケーション処理部、１０３Ｃ…三次元再構成部、１０３Ｄ…物体認識部、１０３Ｄ１…道路抽出部、１０３Ｄ２…道路面内物体抽出部、１０３Ｄ３…障害物認識部、１０３Ｄ４…画像領域分割部、１０３Ｄ５…物体抽出部、１０３Ｄ６…画像変換部、１０３Ｄ７…エッジ抽出部、１０３Ｄ８…白線判定部、１０３Ｄ９…逆画像変換部、１０３Ｅ…キャリブレーション部、１０３Ｅ１…特徴抽出部、１０３Ｅ２…位置姿勢推定部、１０４…制御装置、１０６…警告装置、１０６Ａ…音声装置、１０６Ｂ…振動装置、１０８…表示装置、１０８Ａ…表示部、１０８Ａ１…拡大表示エリア、１０８Ｂ１，１０８Ｂ２…マーク、１０８Ａ２…地図情報、１０８Ａ３…信号や標識等の認識結果を表示する部分、１０８Ａ４…車外を撮影した画像、１０８Ａ５…警告メッセージ等を表示する部分、１０８Ａ６…モード等を切り換えることのできる部分、１０８Ａ７…白線画像、１１６…ステレオアダプタカメラ、１１６Ａ…カバー、３００…車両。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a stereo adapter imaging system that performs distance measurement using a vehicle-mounted camera equipped with a stereo adapter.
[0002]
[Prior art]
Various technologies have been proposed for in-vehicle cameras (for example, see Patent Documents 1 to 3).
[0003]
Patent Document 1 discloses a technique for configuring a two-lens stereo camera, in which a camera is fixed to both ends of a special and robust camera chassis, and the chassis is fixed to a vehicle body with a gap between a windshield and the windshield. I have. According to this technique, it is possible to prevent direct sunlight and to prevent twisting due to temperature.
[0004]
Further, Patent Literature 2 discloses a technique of mapping an image obtained from a camera to a spatial model of a three-dimensional space based on camera parameters. With this technique, a three-dimensional image can be provided easily.
[0005]
Further, Patent Literature 3 has an obstacle detecting / projecting / light receiving unit which is disposed at a distance of a base line from a moving object, and emits a light beam so as to intersect each other from the light emitting unit. Distance / speed detecting means for receiving the reflected light from the light receiving unit and detecting the distance between the moving body and the obstacle and the relative speed of the two, and from the detection output of the distance / speed detecting means to the base line of the relative speed. A distance / velocity prediction device including a calculation unit for calculating a vertical component is disclosed.
[0006]
[Patent Document 1]
Japanese Patent No. 3148749
[0007]
[Patent Document 2]
Japanese Patent No. 3286306
[0008]
[Patent Document 3]
Japanese Patent No. 3214932
[0009]
[Problems to be solved by the invention]
However, in the technology disclosed in Patent Document 3 described above, it is necessary to mount a special sensor such as a light beam on a vehicle, and there is a problem that the cost is high. In addition, many conventional in-vehicle cameras use a binocular stereo camera, and have the following problems.
[0010]
(1) Stereo camera synchronization problem: In order to synchronize two cameras, it was necessary to use a complicated circuit configuration and a special camera.
[0011]
(2) Image sensor sensitivity variation problem: The brightness and color of the same subject are different between left and right images taken by a stereo camera due to variations in the sensitivity and the like of two cameras, especially image sensors such as CCD and CMOS. Because of differences, it has been difficult to achieve accurate and robust stereo matching.
[0012]
(3) Mechanical strength problem: Since two stereo cameras are arranged at intervals of a baseline, in a vehicle environment, the position of the two stereo cameras may be displaced in a bad environment such as high temperature and high humidity. There is a problem that displacement such as deflection is likely to occur, and there is a problem that mechanical strength is weak if two cameras are simply arranged. In order to solve this problem in the prior art, a robust and special mounting jig for securely fixing the camera even at high temperature and high humidity was required.
[0013]
(4) Calibration problem: There is a problem that camera calibration becomes complicated because two stereo cameras are used.
[0014]
The present invention has been made in view of the above points, and performs three-dimensional distance measurement based on stereo measurement using a stereo adapter whose mechanical structure is inherently robust, and performs safe driving of a vehicle based on the information. It is an object of the present invention to provide a stereo adapter imaging system that can provide a stereo adapter.
[0015]
[Means for Solving the Problems]
To achieve the above object, a stereo adapter imaging system according to the first aspect of the present invention is a stereo adapter imaging system that is mounted on a vehicle and performs distance measurement.
An imaging device having an imaging optical system;
A stereo adapter that guides images viewed from a plurality of viewpoints to one imaging optical system in order to capture a stereo image with the imaging device;
A processing device that performs processing including three-dimensional reconstruction from a stereo image captured by the imaging device, and provides three-dimensional distance information,
A control device for controlling the imaging device and the processing device;
It is characterized by having.
[0016]
The stereo adapter imaging system according to the second aspect of the present invention is the stereo adapter imaging system according to the first aspect of the present invention, wherein the control device displays on a screen a processing result obtained from the processing device. It is characterized by having a device.
[0017]
The stereo adapter imaging system according to the third aspect of the present invention is the stereo adapter imaging system according to the first aspect, wherein the control device further includes a warning device that issues a warning to a driver. I do.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0019]
[First Embodiment]
FIG. 1 is a diagram illustrating a configuration of a stereo adapter imaging system according to a first embodiment of the present invention. The stereo adapter imaging system includes a stereo adapter 101, an imaging device 102, a processing device 103, a control device 104, It comprises an input device 105, a warning device 106, a driving device 107, a display device 108, a vehicle speed sensor 109, a ranging radar 110, an illuminance sensor 111, an external camera 112, a GPS 113, a VICS 114, and an external communication device 115.
[0020]
Here, as shown in FIG. 2, the stereo adapter 101 is mounted in front of an imaging optical system 102A inside an imaging device 102 such as a camera, and is used to form a parallax image 201 on an imaging device 102B. The light from the same subject 1 is received by two light receiving portions (mirrors 101A-1 and 101A-2) separated by a predetermined distance, and each of the received light is guided to an imaging optical system 102A of the imaging device 102. A system (mirrors 101B-1, 101B-2) is provided.
[0021]
Note that the configuration of the stereo adapter 101 is not limited to such a structure, and various modifications and changes are naturally possible. For example, the mirrors 101 </ b> B- 1 and 101 </ b> B- 2 may be turned upside down, and at that time, the imaging device 102 is positioned in the direction of the subject 1.
[0022]
By using such a stereo adapter 101, it is possible to easily capture a stereo image using a general imaging device not for capturing a stereo image. Further, since the stereo adapter 101 has a higher mechanical strength than a method of capturing a stereo image using two imaging devices, left and right images can always be stably acquired. Further, by performing imaging with one imaging device such as a CCD or a CMOS, it is possible to suppress sensitivity variations caused by two imaging devices, and it is possible to reduce the time and labor required for calibration due to the installation of two imaging devices. Complexity such as positioning can be reduced.
[0023]
In the present embodiment, the stereo adapter camera 116 is configured by the stereo adapter 101 and the imaging device 102 (or the processing device 103 in addition thereto). As shown in FIG. 3, the stereo adapter camera 116 can be mounted at any position inside the vehicle 300 and outside the vehicle 300 (the position shown by hatching). When mounted outside the vehicle 300, it can be mounted on the hood, pillars, headlights, or the like of the vehicle, and can be photographed from various directions outside the vehicle. At this time, durability is improved by performing processing such as drip-proof, anti-fouling, and heat rays on the stereo adapter camera 116. In addition, when it is mounted inside the vehicle 300, it can be mounted on a dash boat, a room mirror, or the like, and is a mounting portion having a characteristic of being resistant to dirt and the like.
[0024]
According to the present embodiment, it is possible to photograph the outside of the vehicle 300 from various directions, and there is an effect of eliminating blind spots of the driver. Further, the stereo adapter imaging system can acquire three-dimensional distance information, as will be described later in detail, and can warn the driver of danger based on the distance to the target object and encourage safe driving.
[0025]
It is to be noted that various modifications and changes can be made to the embodiment of the present invention.
[0026]
For example, the stereo adapter camera 116 can be mounted in places other than those shown by hatching in FIG. 3, and the number of the stereo adapter cameras 116 may be increased or decreased. It may be. In addition, as shown in FIG. 4, for use outside the vehicle, by attaching a cover 116A such as a glass cover or a plastic cover in front of the mirror, it is possible to take measures against dirt such as dust, rain, and dew. Further, these covers 116A may be provided with an opening / closing mechanism, or a device such as a wiper or an air duct.
[0027]
On the other hand, the processing device 103 performs processing such as three-dimensional reconstruction from an image captured from the imaging device 102 through the stereo adapter 101, and creates a three-dimensional distance image and the like. The control device 104 has a role of controlling the image information and the vehicle information. For example, the control device 104 displays a result processed by the processing device 103 on the display device 108, and displays the distance information and the vehicle speed sensor obtained by the processing device 103. By analyzing the information 109 and the like, a warning can be issued to the warning device 106 or the driving device 107 can be controlled to prompt the driver to drive safely. The input device 105 can switch the mode and the like by giving an instruction to the control device 104 using an input device such as a remote controller, for example.
[0028]
Further, the warning device 106 includes a voice device 106A, a vibration device 106B, and the like. For example, the voice device 106A issues a voice from a speaker or the like, and the vibration device 106B issues a warning to a driver by vibration of a driver's seat.
[0029]
According to the present embodiment, the image information obtained from the stereo adapter 101 and the vehicle information can be integrated, and driving can be performed by displaying the image information on the display device 108, warning by the warning device 106, controlling the driving device 107, and the like. Can encourage safe driving.
[0030]
In the present embodiment, the stereo adapter 101, the imaging device 102, the processing device 103, and the like have been described as being configured as separate device units. However, it is a matter of course that various modifications can be considered as such a device configuration. it can.
[0031]
For example, the stereo adapter 101, the imaging device 102, the processing device 103, and the like are integrated as a unit, and are responsible for a portion that outputs object data and the like after capturing an image. Communication with the control device 104 is not only wired but also wireless. It is possible to communicate. As wireless communication, not only a general communication protocol but also Blue Tooth or IR communication that enables local communication may be used.
[0032]
FIG. 5 illustrates a configuration of the processing device 103. In the present embodiment, the processing device 103 includes a frame memory 103A, a rectification processing unit 103B, a three-dimensional reconstruction unit 103C, an object recognition unit 103D, and a calibration unit 103E.
[0033]
That is, the image captured by the imaging device 102 via the stereo adapter 101 is temporarily stored in the frame memory 103A in the processing device 103. At this time, when the imaging device 102 sends out an analog signal, it is converted into a digital signal in the frame memory 103A. When the imaging device 102 transmits a digital signal, the digital signal is stored as it is as a digital signal. Then, the digital image 202 that is the image of the stored digital signal is sent to the rectification processing unit 103B. The rectification processing unit 103B converts the supplied digital image 202 into an image that facilitates stereo correspondence, and sends the result as a left image 203 and a right image 204 to the three-dimensional reconstruction unit 103C. I do. The three-dimensional reconstruction unit 103C performs a corresponding point search for each pixel of the left image 203 and the right image 204, and creates a parallax image or a three-dimensional distance image 205 using the correspondence. Then, the object recognizing unit 103D uses the parallax image or the three-dimensional distance image 205 to recognize an object or an object region therein, and outputs object data 206 as a result.
[0034]
On the other hand, the calibration unit 103E calculates the characteristic parameters of the imaging device 102 and the stereo adapter 101 required by the rectification processing unit 103B, the three-dimensional reconstruction unit 103C, and the object recognition unit 103D. Then, the characteristic parameters of the imaging device 102 and the characteristic parameters of the stereo adapter 101 (rectification parameters 207) required for the rectification are passed to the rectification processing unit 103B, and are sent to the three-dimensional reconstruction unit 103C. The characteristic parameters (three-dimensional reconstruction parameter 208) of the stereo adapter 101 necessary for distance measurement are transferred. On the other hand, parameters (parameters for object recognition 209) that specify a parallax image and a distance image are passed to the object recognition unit 103D.
[0035]
(1) Mathematical preparation
Hereinafter, the details of each unit configuring the processing apparatus 103 will be described. Before starting the description of these units, the basics of the three-dimensional reconstruction when the stereo adapter 101 is used are described. Give a mathematical explanation.
[0036]
First, when an image is captured by the imaging device 102 using the stereo adapter 101, the image is formed as an image by an imaging device 102B (for example, a semiconductor device such as a CCD or a CMOS) in the imaging device 102 and an image signal is generated. It becomes. This image signal is an analog or digital signal, but becomes digital image data in the processing device 103. The digital data can be expressed as a two-dimensional array, but it goes without saying that a two-dimensional array having a honeycomb structure such as hexagonal close packing may be used. In the case of an interlaced image, a shift between even and odd fields may occur in one frame. If this shift affects processing, the image may be halved in the vertical direction. , And even and odd fields are separately processed, so that the influence of the shift can be solved without lowering the distance resolution. Furthermore, it is also conceivable to calculate the difference between the images in the time-series direction, perform moving object detection and the like, and process only the region of the moving object to increase the speed. Here, for the sake of simplicity, it is assumed that the pixels of the image defined by the frame memory 103A in the processing device 103 can be defined in a square or rectangular lattice shape.
[0037]
Now, the coordinate system of the image is defined as (u, v). At this time, a world coordinate system is defined to define the stereo adapter 101 and the imaging device 102. For example, the world coordinate system may be considered as a reference coordinate system defined by the vehicle body and the vehicle 300 (this reference coordinate system will be described later in detail). This world coordinate system is W. When the image position in the frame memory 103A when the point P (x, y, z) defined in the world coordinate system is photographed via the stereo adapter 101 is (u, v), actually, An image captured by the stereo adapter 101 as shown in FIG. 6A has two frame memories as if they were two imaging devices (cameras) as shown in FIG. 6B. It can be expanded to a normal stereo camera as if. For example, consider modeling the optical characteristics of the stereo adapter 101, the imaging device 102, and the frame memory 103A with a pinhole camera.
[0038]
That is, the coordinate system of the pinhole camera model related to the left image 203 is set to the left camera coordinate system L, and the coordinate system of the pinhole camera model related to the right image 204 is set to the right camera coordinate system R. A point in the left camera coordinate system L is represented by (x ^L , Y ^L , Z ^L ), The corresponding point of the image (u ^L , V ^L ), The point in the right camera coordinate system R is (x ^R , Y ^R , Z ^R ), The corresponding point of the image (u ^R , V ^R ) Then u ^L , V ^L , U ^R , V ^R Is the camera position C in FIGS. 6A and 6B. _L , C _R While taking into account
(Equation 1)

(2) Rectification processing unit 103B
Let the position of the point P (x, y, z) defined in the world coordinate system in the left image be (u ^L , V ^L ), The position in the right image is (u ^R , V ^R ), The position C in the world coordinate system of the left camera L corresponding to the imaging device 102 and the frame memory 103A assumed for the left image. _L (The origin of the left camera coordinate system) and the position C in the world coordinate system of the right camera R corresponding to the imaging device 102 and the frame memory 103A assumed for the right image. _R (The origin of the right camera coordinate system). At this time, the point P (x, y, z) on the world coordinate system W is leftward (u ^L , V ^L ), And from the same point to the right (u ^R , V ^R ) Can be written as:
[0039]
(Equation 2)

[0040]
On the other hand, when the lens distortion of the optical lens of the imaging optical system 102A of the imaging apparatus 102 cannot be ignored with respect to the required accuracy of three-dimensional measurement, it is necessary to consider an optical system including the lens distortion. In this case, the above equations (3) and (4) can be expressed by the following equations (5) and (6). In these expressions, a radial distortion (Radial Distortion) and a tangential distortion (Tangential Distortion) are used to express the lens distortion. However, other distortion expressions may be used.
[0041]
[Equation 3]

[0042]
(Equation 4)

[0043]
Hereinafter, for the sake of simplicity, the description will focus on the pinhole camera model represented by equation (1).
[0044]
As described above, based on the left camera L and the right camera R, the point P (x, y, z) in the world coordinate system W and its projection point (u) on the left and right images ^L , V ^L ) And (u ^R , V ^R ), These corresponding points do not always have the same vertical coordinate value v as in a general stereo camera system. That is, v ^L = V ^R Is not always the case. If this condition is not satisfied, an enormous amount of calculation is required for stereo matching (corresponding point search) in the three-dimensional reconstruction unit 103C described later. Thus, for example, reference Trucco and A. As described in Verri, Introduction Technology for 3-D Computer Vision, Prentice Hall, 1998, rectification processing is generally performed. Specifically, as shown in FIG. 7, each pixel (u) in the left image area is a left image area and a right image area in one image obtained by the stereo adapter 101. ^L , V ^L ), Both the left image area and the right image area are coordinate-transformed so that the corresponding points in the right image area have the same vertical image coordinates. For example, the method can be written as:
[0045]
(Equation 5)

[0046]
(Equation 6)

[0047]
(Equation 7)

[0048]
(Equation 8)

[0049]
(Equation 9)

[0050]
(Equation 10)

[0051]
Thus, rectification can be realized by considering rotation conversion.
[0052]
[Equation 11]

[0053]
[Rectification processing step]
The specific steps are as follows.
[0054]
(Equation 12)

[0055]
(Equation 13)

[0056]
Here, one method of the rectification process has been described, but of course, there are various methods in this method. The deformation is described in reference E. Trucco and A. Verri, Introductory Technologies for 3-D Computer Vision, Prentice Hall, 1998, and will not be described in detail here. Also, in this description, the rectification processing has been described assuming that the distortion of the lens is small. However, if there is a lens distortion as shown in Expressions (5) and (6), these are removed in advance and the rectification Obviously, the fiction processing can be performed. For example, when considering processing including lens distortion removal, specific steps are as follows.
[0057]
[Rectification step including distortion removal]
[Equation 14]

[0058]
(Equation 15)

[0059]
The mathematical basis of the rectification process has been described above. The rectification processing unit 103B in FIG. 5 converts an image captured by the stereo adapter 101 and the imaging device 102 based on such a mathematical method. It has a function of generating a left image 203 and a right image 204 as left and right images.
[0060]
(3) Three-dimensional reconstruction unit 103C
The three-dimensional reconstruction unit 103C uses the left image 203 and the right image 204 generated by the rectification processing unit 103B to search for a corresponding point of the right image 204 corresponding to each pixel point of the left image 203, It has a function of generating a three-dimensional distance image 205 based on the relationship between the corresponding points.
[0061]
Here, the method will be described. As described above, in the image output from the rectification processing unit 103B, when each line of the left image 203 and the same line of the right image 204 are handled, the pixels corresponding to the pixels on the line of the left image 203 are handled. The points provide the requirement that they must be on the same line in the right image 204. This requirement is commonly referred to as an epipolar line constraint. The three-dimensional reconstruction unit 103C first searches for a pixel point in the right image 204 corresponding to each pixel point of the left image 203 while using this condition.
[0062]
For these methods, see References: Matsuyama et al., Computer Vision: Technical Review and Future Prospects, New Technology Communications, 1998, pp. As represented by 123-137, in the so-called stereo matching method, both an area-based matching method and a feature-based matching method are conceivable. The three-dimensional reconstruction unit 103C may use any of these. Here, for simplicity, a method of performing three-dimensional reconstruction using an area-based matching technique will be described.
[0063]
(Equation 16)

[0064]
The similarity (or dissimilarity) is defined as 1) the sum of the absolute values of the differences between the pixels in the local region (window) (SAD), and 2) the square of the difference between the pixels in the local region. Sum (SSD), 3) Normalized correlation (NCC) between each pixel in the local area, and the like. In the case of SAD or SSD, the value is minimized. In the case of NCC, the normalized correlation is calculated. The optimum corresponding point is determined by the maximum value.
[0065]
[Equation 17]

[0066]
(Equation 18)

[0067]
It is also possible to do so. When the reliability is taken into account in this way, pixels having uncorresponding points may exist in the left image 203 or the right image 204, of course.
[0068]
[Equation 19]

[0069]
(Equation 20)

[0070]
In this way, the three-dimensional reconstruction unit 103C can calculate three-dimensional coordinate values (x, y, z) corresponding to pixels of the left image 203. Here, (x, y, z) is a three-dimensional coordinate value based on the rectification coordinate system Rect used in the rectification process.
[0071]
In the description so far, the corresponding point search and the three-dimensional reconstruction have been performed using each pixel of the left image 203 as a standard. However, it is easy to perform the corresponding point search and the three-dimensional reconstruction using the right image 204 as a standard. It is. When the effect of image blurring due to vibration of the vehicle 300 or the like is great, it is conceivable to perform a three-dimensional reconstruction after adding a camera shake preventing function and performing image blur correction. For this purpose, a gyro sensor or an acceleration sensor for detecting vibration is added. In this case, it is assumed that the optical center information at the time of calibration varies due to the camera shake correction function. However, since the shift amount is an amount that can be calculated from the camera shake correction information of the gyro sensor or the acceleration sensor, the shift amount can be corrected by the rectification processing unit 103B. Alternatively, it is also possible to acquire information corresponding to a correction amount of a gyro sensor, an acceleration sensor, and the like by detecting a fluctuation amount of an image frame when the stereo adapter 101 is mounted.
[0072]
FIGS. 10A and 10B show the distance images calculated in this manner. That is, FIG. 10A is a photographed image, and FIG. 10B is a diagram showing a result of calculating a distance from the image, where the higher the luminance, the closer the distance.
[0073]
Thus, the three-dimensional reconstruction unit 103C generates the three-dimensional distance image 205 including the three-dimensional coordinate values (x, y, z). The three-dimensional distance image 205 is then sent to the object recognition unit 103D. In the case where the object recognition unit 103D directly uses the parallax image, the parallax image may be transmitted instead of the three-dimensional distance image 205.
[0074]
(4) Object recognition unit 103D
After the three-dimensional range image 205 is generated by the three-dimensional reconstruction unit 103C, the object recognition unit 103D detects or recognizes various objects included in the three-dimensional range image 205. FIG. 11 illustrates a configuration example of the object recognition unit 103D for the front vehicle-mounted camera.
[0075]
The object recognizing unit 103D includes, for example, a road extracting unit 103D1 that extracts a road area 210 and a non-road area 211 in front of the car when the car is traveling on a road. An obstacle that recognizes an obstacle object that is not on the road surface by using the in-road object extraction unit 103D2 that extracts a three-dimensional object, and the road area 210 and the non-road area 211 extracted from the three-dimensional distance image 205. The object recognition unit 103D3 outputs object data 206A from the road surface object extraction unit 103D2, and outputs object data 206B from the obstacle recognition unit 103D3.
[0076]
Assume that the set of three-dimensional points output by the three-dimensional reconstruction unit 103C is A _all And At this time, the road extracting unit 103D1 first extracts a part of the area in front of the vehicle, and extracts a smooth plane or curved surface from the part. As this method, for example, each three-dimensional coordinate value p of the three-dimensional distance image 205 is used. _i = (X _i , Y _i , Z _i ), A value in the vicinity thereof is obtained to obtain a normal vector n _i Is estimated. And the normal vector n _i And a main normal vector n that becomes a peak in the histogram is obtained. It is assumed that the main normal vector n thus obtained is the main normal vector of the road surface. When the main normal vector n is obtained in this way, a three-dimensional coordinate point p such that n is the normal line _i = (X _i , Y _i , Z _i ) Is a set A of all data constituting the three-dimensional distance image 205 _all Choose from That is, each three-dimensional coordinate p _i = (X _i , Y _i , Z _i ),
n ^t p _i = D (27)
And a method of estimating an unknown parameter d therein while removing an abnormal value. After estimating n and d in this way, each point p _i = (X _i , Y _i , Z _i ) Is in the plane describing this road. As a determination method, ε which is a fitting error is
ε = | n ^t p _i −d | <threshold (28)
Those that are within the range of the threshold threshold are determined to be within the road surface. The set of three-dimensional points obtained in this way is denoted by A _load And Also A _load If a set of points contains a noise component, the set of points on the road surface from which noise has been removed by applying an appropriate noise filter _load Is redefined.
[0077]
In the road surface object extraction unit 103D2, the point set A in the road surface _load , Landmarks and the like that are important as features of the road are extracted. These landmarks include lane information such as white lines, and various character codes in the lanes. In order to recognize these, first, the road surface object extraction unit 103D2 uses the point set A _load Then, an image feature corresponding to a lane or a character code is extracted from the left image 203 or the right image 204 to which rectification has been performed. This method is described in, for example, Hanawa et al., Practical Use of Automotive Stereo Image Recognition Apparatus, Third Rotational Image Processing Practical Use Workshop, 2002, pp. 106-110, or Otsuka et al., Lane Mark Recognition Using Edge Direction Components, Third Rotation Image Processing Realization Workshop, 2002, pp. 147-64. 96-101 etc., the details of the method will not be described here in detail. However, in this method, since the road surface is first extracted as a three-dimensional structure, the probability of erroneously extracting image features or character codes similar to lanes other than the road surface is reduced. It is. The road features (white lines, character codes, etc.) extracted from the image in this way have the merit that they can be expressed as three-dimensional data together with the features. This will be described later.
[0078]
Then A _load Set of points in the non-road area as the complement of
(Equation 21)

Is defined as This non-road area A _non-road The obstacle recognition unit 103D3 performs processing on the object and recognizes an object such as an obstacle. The obstacle recognition unit 103D3 analyzes obstacles other than the non-road area 211 by using three-dimensional point cloud data. Specifically, A _non-road The three-dimensional data inside is analyzed by cluster analysis. This method includes the following methods.
[0079]
First, the point set A in the non-road area 211 _non-road Is divided into small groups, and a subset group of small areas ｛B _i ｝
(Equation 22)

Is composed. This is configured in the form of a blob often used in image processing, for example. For example, as shown in FIG. 12A, it is composed of a blob group often used in image processing. In FIG. 12A, a region B, which is an area extracted based on the distance, _i Is expressed as a region blob group 212, and assuming that the same gray level represents a distance, the region within the same object may be divided as shown in the figure.
[0080]
Therefore, this subset B _i Is calculated. The attribute information includes, for example, a position, a color, and a gray gradation. These attribute parameters are represented by the vector form q _i (Where i is an index for the area and q _i Is an m-dimensional vector. For this attribute, a covariance matrix representing the average value and the spread of the distribution is also given. For example, B _i The mean value for the position in the attribute is the center of gravity, and its covariance matrix is the moment of inertia for the position. At this time, these small areas B _i And small area B _j Can be integrated?
[Equation 23]

In this way, once the small region is divided, by performing the region integration process and the expansion process, an object that is not on the road surface can be separated and classified as a region. In the region thus obtained, the attribute of the region is transmitted as object data. The region integrated in FIG. 12A is shown in FIG. In FIG. 12B, reference numeral 213 indicates a case where an object is configured by an integrated area blob group.
[0081]
(5) Calibration unit 103E
The calibration unit 103E is a processing unit that mainly estimates offline various parameters required by the rectification processing unit 103B, the three-dimensional reconstruction unit 103C, and the object recognition unit 103D. That is, it is in charge of processing that is performed only when the stereo adapter 101 is first installed on the vehicle 300 or the like or when the installation position is changed.
[0082]
(Equation 24)

[0083]
On the other hand, various fixed parameters used in the equations (24), (25), and (26) used in the three-dimensional reconstruction unit 103C are also calculated in the calibration unit 103E.
[0084]
The parameters used in the object recognition unit 103D include parameters relating to the positional relationship between the vehicle body and the stereo adapter 101. That is, the position of the object or obstacle measured or recognized by the object recognition unit 103D based on the imaging device coordinate system is determined by the distance or relative position from the vehicle 300 based on a calibration result regarding a positional relationship described below. It can be calculated as a position. That is, the positional relationship between the imaging device 102 and the vehicle 300 is defined so that the world coordinate system described in the rectification processing unit 103B and the coordinate system defined by the vehicle 300 are the same. The following method may be used to calculate these parameters. That is, an image captured by the imaging device 102 via the stereo adapter 101 is processed. That is, the relative position relationship between the imaging device 102 and the vehicle body is estimated by photographing a feature point whose location relative to the vehicle body or the vehicle body outside the vehicle body is known by the imaging device 102.
[0085]
In order to accurately recognize an obstacle or an object facing the vehicle body (vehicle 300) and accurately estimate the position and orientation using a stereo photographing device such as the stereo adapter 101, the relative position of the stereo photographing device with respect to the vehicle body (vehicle 300) is required. It is necessary to perform accurate position and orientation accurately.
[0086]
Obviously, the easiest way to do this is based on the mounting design values of the vehicle 300 and the imaging device 102. That is, it is only necessary that the coordinate conversion parameters between the reference coordinate system of the vehicle 300 and the coordinate system defined by the imaging device 102 be given as design values. In this ideal case, for example, the center of the frontmost bumper of the vehicle 300 is set as the reference coordinate system of the vehicle 300, and this coordinate system is set to M (x ^M , Y ^M , Z ^M ), And the coordinate system of the image capturing apparatus 102 (in the case of a stereo image capturing apparatus, a coordinate system serving as a reference in rectification) is represented by S (x ^S , Y ^S , Z ^S ), The coordinate transformation from the imaging device coordinate system S to the vehicle reference coordinate system M is represented by the following equation:
(Equation 25)

Can be expressed by here( _M R _S , _M T _S ) Represents a 3 × 3 rotation matrix and a three-dimensional translation vector. If such coordinate conversion is obtained, the data measured in the coordinate system S of the imaging device 102 can be expressed in the coordinate system M with the vehicle 300 as a reference. Similarly, the measured distance information to the obstacle can be expressed as the distance from the origin of the coordinate system based on the vehicle 300 to the obstacle. That is, the obstacle is represented by (x ^S , Y ^S , Z ^S ), The position (x) in the vehicle coordinate system is obtained by using equation (32). ^M , Y ^M , Z ^M ), For example, the distance from the origin of the vehicle coordinate system M to the obstacle is
(Equation 26)

If these are used, it can be used for various distance expressions and warnings as described above in the processing device 103.
[0087]
However, when a design value for accurately attaching the imaging device 102 to the vehicle 300 is obtained, the above-described method can be adopted. However, when the image pickup device 102 is arbitrarily attached to the vehicle 300 or the design value is not always accurate. If not, it is necessary to perform an accurate calibration process. The calibration process in the case where the design value of the mounting of the imaging device 102 is not accurately given will be described below.
[0088]
Specifically, as a method for obtaining these, as shown by reference numerals 214, 215, and 216 in FIG. 13A, (1) a method using a CAD model related to the vehicle 300, (2) a special calibration There are a method of simply attaching the jig to the vehicle 300 and a method of (3) parking the vehicle 300 at an accurate position and using a calibration marker arranged on the road.
[0089]
For example, a case where a CAD model of the vehicle 300 is used will be described with reference to FIG.
[0090]
In FIG. 13A, the feature extraction unit 103E1 performs image processing on a stereo image 217 that has been photographed by the stereo adapter camera 116 and then subjected to rectification processing to extract and calculate feature data necessary for calibration. I do. Thereafter, the position and orientation estimation unit 103E2 estimates the relative position and orientation between the imaging device 102 and the vehicle 300 using the feature data 218 output by the feature extraction unit 103E1 and the vehicle CAD model 214. Then, the position / posture estimation unit 103E2 calculates the estimated relative position / posture information between the imaging device 102 and the vehicle 300 as the coordinate conversion parameter 219 as represented by Expression (32).
[0091]
In the present embodiment, a method using the vehicle CAD model 214 will be described. However, for the sake of simplicity, it is assumed here that the imaging device 102 is a camera that observes the front of the vehicle 300, and the method will be described below. In this method, as shown in FIG. 13B, feature points or mark points at the front such as a vehicle hood are extracted and recognized by an image processing method. This characteristic point may be a point where the curvature changes abruptly in the curved surface configuration, an edge portion above the headlamp, or a curved or linear component. In these, accurate position coordinates defined in the vehicle coordinate system are known from the vehicle CAD model 214 in advance. Now, the coordinate values of these n feature points in the vehicle coordinate system M are
[Equation 27]

Further, in the case of a straight line or a curve, for example, reference Kosaka and A.K. C. Kak, Stereo vision for industrial applications, Handbook of Industrial Robotics, Second Edition, edited by S.K. These are extracted from the image by a method such as Nof, Chapter 14, John Wiley, 1999, and are extracted in a form that can be expressed as a line segment or a curve segment. In this manner, the feature points obtained from the left image 203 or the right image 204 are represented by the position coordinates in the image as the feature data 218.
[0092]
[Equation 28]

[0093]
For example, reference: A. Kosaka and A.K. C. Kak, Stereo vision for industrial applications, Handbook of Industrial Robotics, Second Edition, edited by S.K. Nof, Chapter 14, John Wiley, 1999; Haralick and L. Shapiro. According to the method of “Computer and Robot Vision”, Addison Wesley, Vol 2, 1992, coordinate conversion parameters between the coordinate system S of the imaging device 102 and the vehicle coordinate system M ( _M R _S , _M T _S ). This operation is performed by the position and orientation estimation unit 103E2. The method is described in detail in the above-mentioned document, and will not be described here in detail.
[0094]
On the other hand, when it is not possible to photograph the front of the vehicle 300 on the left image 203 or the right image 204 of the imaging device 102 that captures the stereo image 217, a calibration jig is attached to the vehicle 300, and similarly, the imaging device 102 Transformation parameters between the vehicle and the vehicle 300 ( _M R _S , _M T _S ) Can be calculated. That is, as shown in FIG. 14, for example, a calibration jig 117 is mounted in front of the vehicle 300, and the calibration jig 117 is photographed by the imaging device 102 so that the coordinate conversion parameters ( _M R _S , _M T _S ) Is calculated. At this time, a calibration marker 118 is provided on the calibration jig 117, and its coordinate value is designed to be known in the vehicle coordinate system M.
[0095]
(Equation 29)

[0096]
[Equation 30]

[0097]
As described above, the calibration unit 103 </ b> E performs the calibration relating to the imaging device 102, the calculation of the parameters required for the rectification, and the calculation between the coordinate system of the imaging device 102 and the coordinate system defined by the vehicle 300. Perform calibration and so on.
[0098]
Next, a display example of the display device 108 in FIG. 1 will be described.
That is, the display device 108 displays the plane or curved shape of the road extracted by performing the above-described three-dimensional reconstruction or the like on the captured image by the processing device 103 as shown in FIG. This is displayed on the unit 108A, and at this time, a point group on the road surface at an equal distance from the vehicle 300 is superimposed and displayed by straight lines or curves L1, L2, and L3. Further, by recognizing the vehicles T1, T2, and the like running ahead on the road by the processing device 103, the display device 108 displays an ellipse surrounding the vehicle in front, and displays the ellipses surrounding the vehicles T1, T2, and the like. Display distance.
[0099]
Further, the processing device 103 recognizes a signal, a sign, or the like, and displays it in an enlarged display area 108A1 provided in a part of the display unit 108A as shown in FIG. 19, or the processing device 103 recognizes a lane, As shown in FIG. 20, marks 108B1 and 108B2 such as arrows may be projected and displayed on the windshield to visually provide information that is easily overlooked by the driver.
[0100]
According to such a display mode, visual information can be provided to the driver, so that safe driving can be encouraged. In addition, since objective distance information is displayed, it is possible to reduce a driver's illusion and the like, and to avoid danger at an early stage.
[0101]
It is to be noted that various modifications and changes can be made to the embodiment of the present invention.
[0102]
For example, the number of straight lines or curves L1 and the like as shown in FIG. 18 may be any number, and the vehicle T1 and the like may be obstacles or people. Further, the ellipse to be wrapped may be a rectangle, and the distance display may be represented by a color or the like in addition to the numeral. The ellipse or rectangle to be wrapped is not necessarily required, and only the expression such as L1 may be used. Further, as shown in FIG. 21, a form in which a grid is displayed on the recognized road may be considered. In addition, a form in which the vehicle 300 (vehicles T1, T2, etc. running in front and the own vehicle A1) are displayed from above as shown in FIG. 22 or a form in which the vehicle 300 is displayed from the side as shown in FIG. Further, in the present embodiment, the display is a two-dimensional display, but a three-dimensional display such as an overhead view is naturally possible.
[0103]
Further, as a display unit of the display device 108, as shown by reference numeral 108C in FIG. 20, it is conceivable to use a screen of a car navigation device. A method using a display is also conceivable. In addition, it is also conceivable to incorporate a display unit into a part of a room mirror or a meter or the like as shown by reference numeral 108D in FIG.
[0104]
Further, as shown in FIG. 24, a display form in which various pieces of information are combined is also conceivable. That is, a method of presenting the map information 108A2 and the portion 108A3 displaying the recognition result such as a signal and a sign in combination with the image 108A4 photographing the outside of the vehicle is also conceivable. Further, a portion 108A5 for displaying a warning message or the like and a portion 108A6 for switching modes or the like may be provided.
[0105]
In addition to FIGS. 21, 22, and 23, a two-dimensional image of the vehicle T1, T2, or the like may be displayed on a representative distance position plane in a three-dimensional space. As a result, the depth information becomes clearer, and the object can be easily recognized.
[0106]
[Second embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment, the method of recognizing an object using the stereo reconstructed distance object has been described. However, in the second embodiment, a stereo image is effectively used. The method of the object recognition unit will be described. That is, another embodiment of the object recognition unit 103D will be described.
[0107]
FIG. 25 illustrates a configuration of the object recognition unit 103D according to the present embodiment. That is, in the present embodiment, at the same time as the three-dimensional distance image 205 output by the three-dimensional reconstruction unit 103C, the left image 203 or the right image 204 rectified after photographing by the stereo adapter 101 or the stereo camera is also an object. Input to the recognition unit 103D. The object recognition unit 103D receives at least one of the rectified left image 203 and right image 204, and divides the region of the image into an image region division unit 103D4 and an image region division unit 103D4. A region extraction unit 103D5 for processing the region data 220 generated by the above and the input three-dimensional distance image 205 to extract an object region is configured. It outputs certain object data 206.
[0108]
There are many known methods for dividing the image area, for example, a split-and-merge method, a speed-and-medge method, and the like. In the present embodiment, any of these methods may be used.
[0109]
Particularly, in the case of application to an in-vehicle camera, it is often not necessary to determine the boundary line of the obstacle very accurately because the detection of an obstacle in front is important. In such a case, for example, a vertical straight line or a curved line as shown in FIG. 26A is subjected to a sensitive edge extraction filter, and a vertical straight line or a curved line as shown in FIG. A method in which the edges obtained from both a horizontal straight line or a curved line that has been subjected to a sensitive edge extraction filter are integrated to form a boundary of an area, and divided into areas surrounded by the boundary. In this case, the area may be divided. For example, the result of applying a vertical edge extraction filter to the original image as shown in FIG. 27A is shown in FIG. 27B, and the result of applying the horizontal edge extraction filter is shown in FIG. 27 (D) shows the result of integrating the edges, and FIG. 27 (E) shows the result of region extraction. In FIGS. 27B and 27C, the extracted edges are represented by different colors between edges having a positive intensity and edges having a negative intensity. The divided areas shown in FIG. 27E represent the areas with different colors.
[0110]
Based on the region data 220 obtained as described above and the three-dimensional distance image 205 calculated by the three-dimensional reconstruction unit 103C, the object extraction unit 103D5 determines the object included in the three-dimensional distance image 205. The calculation of the data 206 is performed. In this method, each of the extracted regions R _i This is a method of collecting the distance measurement points of the three-dimensional range image 205 included in the area (i = 1, 2,..., N). Now, these points are p _j (I = 1, 2,..., M). At this time, p _j After removing outliers in the area R _i Makes a flat or curved surface fitting. The plane shape or curved surface fitted in this way approximates the surface shape unique to the region. While further integrating the three-dimensional surface shapes obtained in this way, a process of integrating the three-dimensional range image 205 at the object or obstacle level is performed, and detection and recognition of the object or obstacle are performed. In this way, since the three-dimensional distance image 205 can be divided and grouped in advance by a simple method, object recognition can be performed at high speed.
[0111]
In the above method, the recognition of the road surface and the recognition of the sign, the lane marker, and the like are not described in detail, but the method is the same as the method described in the first embodiment.
[0112]
Further, here, a method of detecting a lane on a road surface and a white line will be described. In the present embodiment, a method of extracting a lane from an image and a method of using a stereo image will be described.
[0113]
FIG. 28 shows the configuration. That is, the object recognizing unit 103D in this case receives the two-dimensional image of the left image 203 or the right image 204 and converts the image, and applies an edge filter to the image converted by the image converting unit 103D6. The edge extraction unit 103D7 extracts white line candidates on the road surface, the white line determination unit 103D8 determines whether the edge extracted by the edge extraction unit 103D7 is a lane on the road surface, and the white line determination unit 103D8 determines the edge. And an inverse image conversion unit 103D9 that converts a white line component recognized as a white line into the original image coordinates.
[0114]
Here, the image conversion unit 103D6 that inputs a two-dimensional image of the left image 203 or the right image 204 and performs image conversion based on the viewpoint performs a conversion such that white lines on the road surface are arranged in a substantially vertical direction in the image. Things. In a specific example, the horizontal axis of the original image is c and the vertical axis is r. At this time, as a specific image conversion, there is a polar coordinate conversion. For example, an image area [cmin, cmac] × [rmin, rmax] as shown in FIGS. 29A and 29B, the origin of the polar coordinates is (c0, r0), and the distance d from the origin is The angle t is assumed to be theta. At this time, if (d, t) is taken on the horizontal axis and the vertical axis of the polar coordinates subjected to the coordinate conversion, the white lines in front of the vehicle are arranged in a substantially vertical direction.
[0115]
For example, when a portion where a white line is present, which is a lower portion of the original image shown in FIG. 27A, is cut out and the portion ((A) in FIG. 30) is subjected to the above-described polar coordinate conversion, (FIG. A polar coordinate expression image as shown in B) can be generated.
[0116]
Next, the edge extraction unit 103D7 extracts an edge component by applying an edge filter sensitive to vertical edges to the polar coordinate expression image. For example, when such an edge extraction filter is applied to the image shown in FIG. 30B, the edge shown in FIG. 31A is extracted. In this way, by applying a sensitive edge extraction filter only in a certain direction, it is possible to configure an edge extraction filter that is strong against the influence of shadows on the road surface and noise.
[0117]
It is the white line determination unit 103D8 that determines an edge that can be determined as a white line in the edge image thus extracted. For example, the white line determination unit 103D8 extracts substantially parallel edge portions in which the edge intensities are inverted in the positive / negative direction, and whether those partial groups exist as a white line for a certain length or more, and whether there is an angular direction. By determining the attribute of the edge, for example, it is determined whether the edge is a white line. The portion determined as a white line in this way is indicated by a thick line in FIG.
[0118]
Thus, the white line recognized by the white line determination unit 103D8 is inversely transformed into the coordinate system of the original image, and white line data 206C is obtained. This inverse conversion is performed by the inverse image conversion unit 103D9. FIG. 32 shows the result of the conversion. In FIG. 32, the determined white line is superimposed on the original image as a white line image 108A7.
[0119]
As described above, by using an image conversion such as a polar coordinate conversion, an edge component corresponding to a white line can be efficiently extracted, and the determination thereof can be easily performed.
[0120]
The method described above is a method of calculating a white line from the left or right image 203, 204. Of course, if this method is applied to both the left image 203 and the right image 204, the same white line will be extracted from the left image 203 and the right image 204. That is, by taking these measures, it is possible to perform three-dimensional reconstruction of the white line portion as described in the first embodiment, and based on the three-dimensionally reconstructed data, 3D information can be measured. Further, the present invention can be used for erroneously recognizing a white line portion erroneously recognized in the left image 203 or the right image 204, so that an effective effect of vehicle guidance can be obtained.
[0121]
Although the present invention has been described based on the above embodiments, the present invention is not limited to the above embodiments, and various modifications and applications are possible within the scope of the present invention. is there.
[0122]
For example, the stereo adapter 101 can be attached in various forms such as vertical and horizontal depending on the attachment location. For example, when the stereo adapter 101 is attached to a pillar or the like, the stereo adapter 101 may be attached vertically. As a result, the mounting method becomes suitable for the shape of the vehicle.In addition, the vertical angle of view increases the horizontal angle of view, and the base line length increases the length of the target object having the characteristic distribution in the vertical direction. The advantages are that recognition is easy, space-saving installation is possible by effectively using the vertical structure of the vehicle, and the like.
[0123]
Further, it is conceivable that the imaging device 102 is configured to change its sensitivity by turning on a headlight at night. Alternatively, this processing may be performed based on the detection result of sensors such as an illuminance sensor. Further, the imaging distance of the imaging device 102 may be changed by setting the headlight to a high beam.
[0124]
In the case of in-vehicle application, it is necessary to change the image range to be observed according to the vehicle speed. For example, at high speeds, it is important to calculate a more accurate distance to an obstacle by narrowing the angle of view and observing the distant obstacle in detail. At low speeds, on the contrary, it is important to process images with a wide angle of view and detect obstacles existing at a wide angle. As described above, as a method of responding to the change of the angle of view corresponding to the change of the vehicle speed and not changing the resolution in the image area to be processed as much as possible (that is, to make the number of pixels in the processing range almost constant) In other words, a so-called electronic zoom method in which the number of imaging elements (the number of pixels) included in the imaging device is increased and the sampling of pixels to be read out is changed is effective. Such distance measurement by changing the zoom value of the electronic zoom or the in-image processing range, that is, the angle of view actually taken according to the vehicle speed may be applied to the stereo adapter photographing apparatus. It is possible. By performing such control based on the vehicle speed, obstacle detection can be performed more robustly or accurately.
[0125]
In addition, since the stereo adapter photographing device originally captures two left and right images as one image, depending on the photographing angle of view, the upper and lower parts of the image may not be necessary for three-dimensional reconstruction. Regions may exist. Such unnecessary processing areas need not be input by the photographing apparatus. For example, when using a CCD or CMOS as an image sensor, when transferring the electrical output of the device to a frame memory while scanning only its effective range, only a rectangular area excluding such unnecessary processing area is framed. It is also possible to transfer to a memory or the like. By performing such a transfer, the amount of transfer can be reduced and the processing speed can be improved in the stereo adapter photographing apparatus for in-vehicle applications.
[0126]
The display format of the display device 108 may be changed by a driving operation or the like. For example, when the shift lever is put into the reverse gear, the display unit 108A plays an image behind the vehicle, and when the steering wheel is turned to the left, an image in the front left direction of the vehicle is played.
[0127]
Note that the calibration unit 103E may include a storage member such as a memory for storing a calibration result.
[0128]
The surfaces of the lens, mirror, and filter used in the stereo adapter 101 may be coated with a superhydrophilic treatment such as titanium oxide, and the stereo adapter 101 and the photographic lens of the imaging device 102 are air-tightly processed and dried. Nitrogen or the like may be sealed.
[0129]
Further, a condensation may be prevented by providing a heater for each optical element of the stereo adapter 101, a duct for guiding the airflow of the anti-fog defroster mounted on the vehicle, or a hot air heater independently.
[0130]
Thereby, the configuration may be such that the image forming performance is prevented from deteriorating due to dew proofing, defogging and water droplets.
[0131]
Further, a cooling fan may be provided, or the housing of the stereo adapter 101 may be used as a heat sink to prevent thermal distortion and malfunction of the electronic circuit.
[0132]
The portion corresponding to the optical path of the stereo adapter 101 is coated with an anti-reflection coating, but the other portions may be coated so as to reflect infrared rays in consideration of environmental resistance. Black paint may be applied to prevent reflection on a windshield or the like.
[0133]
Note that the various processes and display modes described in the above embodiments can be applied not only to the stereo adapter 101 but also to a system using a plurality of cameras, and it is needless to say that the same effects can be obtained.
[0134]
(Note)
From the above specific embodiments, inventions having the following configurations can be extracted.
[0135]
(1) In a stereo adapter imaging system mounted on a vehicle and measuring distance,
An imaging device having an imaging optical system;
A stereo adapter that guides images viewed from a plurality of viewpoints to one imaging optical system in order to capture a parallax image with the imaging device;
A processing device that performs processing including three-dimensional reconstruction from the parallax image captured by the imaging device, and provides three-dimensional distance information,
A control device for controlling the imaging device and the processing device;
A stereo adapter imaging system comprising:
[0136]
(Effect)
According to the stereo adapter imaging system described in (1), the three-dimensional distance measurement based on the stereo measurement using the stereo adapter having an essentially robust mechanical structure is performed, and the vehicle is driven safely based on the information. Can be provided. Further, it is possible to realize an in-vehicle three-dimensional measuring device that can be used even in a bad environment.
[0137]
(2) The stereo adapter imaging system according to (1), wherein the stereo adapter is mounted outside a vehicle.
[0138]
(Effect)
According to the stereo adapter imaging system described in (2), by mounting the stereo adapter outside the vehicle, reflection of a windshield or the like is eliminated, and a stable image can be obtained.
[0139]
(3) The stereo adapter imaging system according to (1), wherein the stereo adapter is mounted inside a vehicle.
[0140]
(Effect)
According to the stereo adapter imaging system described in (3), an image can be obtained in a stable environment by mounting the stereo adapter in the vehicle.
[0141]
(4) The processing device
A distance calculation unit that calculates a distance from information obtained from the imaging device;
A three-dimensional reconstruction unit that performs three-dimensional reconstruction from the distance calculation result by the distance calculation unit,
The stereo adapter imaging system according to (1), comprising:
[0142]
(Effect)
According to the stereo adapter imaging system described in (4), distance calculation processing is performed on a stereo image obtained from the imaging device, and processing such as three-dimensional reconstruction is performed based on the result.
[0143]
(5) The stereo adapter imaging system according to (1), wherein the control device includes a display device that displays a processing result obtained from the processing device on a screen.
[0144]
(Effect)
According to the stereo adapter imaging system described in (5), a processing result obtained from the processing device, for example, a result such as a three-dimensional distance image can be displayed on the screen.
[0145]
(6) The stereo adapter imaging system according to (1), wherein the control device receives information of a vehicle-mounted sensor.
[0146]
(Effect)
According to the stereo adapter imaging system described in (6), it is possible to receive the information of the on-board sensor that provides the vehicle information and control the system according to the situation.
[0147]
(7) The stereo adapter imaging system according to (1), wherein the control device receives information of an external communication device.
[0148]
(Effect)
According to the stereo adapter imaging system described in (7), the information of the external communication device can be received and the system can be controlled.
[0149]
(8) The stereo adapter imaging system according to (1), wherein the control device further includes a warning device that issues a warning to a driver.
[0150]
(Effect)
According to the stereo adapter imaging system described in (8), a warning can be issued to the driver to encourage safe driving.
[0151]
(9) The stereo adapter imaging system according to (5), wherein the display device includes a display unit that displays a road environment outside the vehicle.
[0152]
(Effect)
According to the stereo adapter imaging system described in (9), it is possible to display the road environment outside the vehicle including the location that may be the blind spot of the driver.
[0153]
(10) The stereo adapter imaging system according to (5), wherein the display device has a display unit that displays a road environment ahead of the vehicle.
[0154]
(Effect)
According to the stereo adapter imaging system described in (10), the driver can be notified of the road environment ahead of the vehicle.
[0155]
(11) The stereo adapter imaging system according to (5), wherein the display device includes a display unit that displays a road environment behind the vehicle.
[0156]
(Effect)
According to the stereo adapter imaging system described in (11), the driver can be notified of the road environment behind the vehicle.
[0157]
(12) The stereo adapter imaging system according to (5), wherein the display device includes a display unit that displays a road environment on a side of the vehicle.
[0158]
(Effect)
According to the stereo adapter imaging system described in (12), the driver can be notified of the road environment on the side of the vehicle.
[0159]
(13) The stereo adapter imaging system according to (5), wherein the display device superimposes distance information on a captured image.
[0160]
(Effect)
According to the stereo adapter imaging system described in (13), the driver can be provided with visual information by superimposing a result such as a three-dimensional range image on the captured screen.
[0161]
(14) The stereo adapter imaging system according to (6), wherein the on-vehicle sensor is a vehicle speed sensor.
[0162]
(Effect)
According to the stereo adapter imaging system described in (14), the situation of the vehicle can be detected, and information corresponding to the situation can be provided to the driver.
[0163]
(15) The stereo adapter imaging system according to (6), wherein the on-vehicle sensor is a ranging radar.
[0164]
(Effect)
According to the stereo adapter imaging system described in (15), it is possible to detect a distance from a preceding vehicle or the like and provide information corresponding to the distance to the driver.
[0165]
(16) The stereo adapter imaging system according to (6), wherein the on-vehicle sensor is an illuminance sensor.
[0166]
(Effect)
According to the stereo adapter imaging system described in (16), the situation of the vehicle can be detected, and information corresponding to the situation can be provided to the driver.
[0167]
(17) The stereo adapter imaging system according to (6), wherein the on-vehicle sensor is an external camera.
[0168]
(Effect)
According to the stereo adapter imaging system described in (17), the situation of the vehicle can be detected, and information corresponding to the situation can be provided to the driver.
[0169]
(18) The stereo adapter imaging system according to (6), wherein the on-vehicle sensor is a global positioning system (GPS).
[0170]
(Effect)
According to the stereo adapter imaging system described in (18), the position of the vehicle can be detected, and information corresponding to the position can be provided to the driver.
[0171]
(19) The stereo adapter imaging system according to (6), wherein the in-vehicle sensor is a Vehicle Information and Communication System (VICS).
[0172]
(Effect)
According to the stereo adapter imaging system described in (19), traffic information can be detected and information corresponding to the traffic information can be provided to the driver.
[0173]
(20) The stereo adapter imaging system according to (8), wherein the warning device generates a warning based on a distance measurement result.
[0174]
(Effect)
According to the stereo adapter imaging system described in (20), a warning is issued to the driver based on the distance measurement result to the obstacle obtained from the processing device.
[0175]
(21) The stereo adapter imaging system according to (8), wherein the warning device has a warning generation display unit that generates a warning using a display unit.
[0176]
(Effect)
According to the stereo adapter imaging system described in (21), a warning can be displayed using the display unit, and the driver can be prompted to drive safely.
[0177]
(22) The stereo adapter imaging system according to (8), wherein the warning device includes a sound generation device that generates a warning using a sound.
[0178]
(Effect)
According to the stereo adapter imaging system described in (22), a warning can be issued to the driver using sound.
[0179]
(23) The stereo adapter imaging system according to (8), wherein the warning device includes a vibration generating device that generates a warning using vibration.
[0180]
(Effect)
According to the stereo adapter imaging system described in (23), a warning can be issued to the driver using vibration.
[0181]
(24) The stereo adapter imaging system according to (22), wherein the sound generation device generates a warning using a speaker.
[0182]
(Effect)
According to the stereo adapter imaging system described in (24), sound is generated using a vehicle or a speaker mounted on the system.
[0183]
(25) The stereo adapter imaging system according to (23), wherein the vibration generator vibrates a driver's seat.
[0184]
(Effect)
According to the stereo adapter imaging system described in (25), a warning is issued to the driver by vibrating the driver seat.
[0185]
(26) The stereo adapter imaging system according to (1), wherein the imaging device adjusts an angle of view according to a vehicle speed.
[0186]
(Effect)
According to the stereo adapter imaging system described in (26), by adjusting the angle of view according to the vehicle speed, it is possible to perform three-dimensional reconstruction and object recognition while keeping the size of the image range to be processed constant. Therefore, more robust and accurate object recognition can be realized. Particularly when the speed of the vehicle is high, a detailed three-dimensional range image can be generated even for a distant object, so that robust object recognition can be realized.
[0187]
【The invention's effect】
As described in detail above, according to the present invention, a three-dimensional distance measurement based on stereo measurement using a stereo adapter having a mechanical structure that is inherently robust is performed, and a safe driving of the vehicle is provided based on the information. A stereo adapter imaging system that can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a stereo adapter imaging system according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a stereo adapter.
FIG. 3 is a diagram showing a mounting position of a stereo adapter camera to a vehicle.
FIG. 4 is a diagram showing a configuration in which a cover is attached to a front surface of a stereo adapter.
FIG. 5 is a diagram illustrating a configuration of a processing apparatus.
FIG. 6A is a view showing a field of view of a stereo adapter, and FIG. 6B is a developed view thereof.
FIG. 7 is a diagram illustrating a rectification process.
FIG. 8 is a diagram for explaining a coordinate conversion method in the rectification process.
FIG. 9 is a diagram for explaining an area-based matching technique.
10A is a diagram illustrating a captured image, and FIG. 10B is a diagram illustrating a result of calculating a distance from the image.
FIG. 11 is a diagram illustrating a configuration of an object recognition unit.
FIG. 12A is a diagram for explaining a region blob group based on a distance, and FIG. 12B is a diagram for explaining an object extracted by blob integration.
13A is a diagram illustrating a configuration of a calibration unit, and FIG. 13B is a diagram illustrating a feature point at a front portion such as a vehicle hood.
FIG. 14 is a diagram illustrating a state in which a calibration jig is mounted on a vehicle.
FIG. 15 is a diagram for explaining characteristic points when a calibration jig is photographed.
FIG. 16 is a diagram illustrating a positional relationship between a calibration marker and a vehicle when the calibration marker is arranged on a road surface.
FIG. 17 is a diagram for explaining feature points when a calibration marker arranged on a road surface is photographed.
FIG. 18 is a diagram illustrating a display example of the display device.
FIG. 19 is a diagram showing another display example of the display device.
FIG. 20 is a diagram illustrating another display example of the display device.
FIG. 21 is a diagram showing still another display example of the display device.
FIG. 22 is a diagram illustrating another display example of the display device.
FIG. 23 is a diagram showing another display example of the display device.
FIG. 24 is a diagram showing still another display example of the display device.
FIG. 25 is a diagram illustrating a configuration of an object recognition unit in the stereo adapter imaging system according to the second embodiment of the present invention.
26A is a diagram illustrating a vertical edge extraction filter, and FIG. 26B is a diagram illustrating a horizontal edge extraction filter.
27A shows an original image, FIG. 27B shows a result obtained by applying a vertical edge extraction filter, FIG. 27C shows a result obtained by applying a horizontal edge extraction filter, and FIG. (E) is a diagram showing a result of region extraction.
FIG. 28 is a diagram illustrating a configuration of an object recognition unit when detecting a white line on a road surface.
FIG. 29 is a diagram for describing polar coordinate conversion.
30A is a view obtained by cutting out a lower portion of the original image of FIG. 27A, and FIG. 30B is a view showing a polar coordinate expression image obtained by performing a polar coordinate conversion of FIG.
31A is a diagram illustrating a result obtained by applying an edge extraction filter to the image illustrated in FIG. 30B, and FIG. 31B is a diagram illustrating a white line and a determination result.
FIG. 32 is a diagram illustrating a result of inversely converting a recognized white line into a coordinate system of an original image.
[Explanation of symbols]
101: stereo adapter, 101A-1, 101A-2, 101B-1, 101B-2: mirror, 102: imaging device, 102A: imaging optical system, 102B: imaging device, 103: processing device, 103A: frame memory, 103B ··· Rectification processing unit, 103C ··· three-dimensional reconstruction unit, 103D ··· object recognition unit, 103D1 ··· road extraction unit, 103D2 ··· road surface object extraction unit, 103D3 ··· obstacle recognition unit, 103D4 ··· image area division unit 103D5: object extraction unit, 103D6: image conversion unit, 103D7: edge extraction unit, 103D8: white line determination unit, 103D9: inverse image conversion unit, 103E: calibration unit, 103E1: feature extraction unit, 103E2: position and orientation estimation unit, 104: control device, 106: warning device, 106A: audio device, 106B: Moving device, 108 ... Display device, 108A ... Display unit, 108A1 ... Enlarged display area, 108B1, 108B2 ... Mark, 108A2 ... Map information, 108A3 ... Part to display recognition results such as signals and signs, 108A4 ... Image, 108A5: a portion for displaying a warning message, etc., 108A6, a portion capable of switching modes, etc., 108A7, a white line image, 116, a stereo adapter camera, 116A, a cover, and 300, a vehicle.

Claims (3)

In a stereo adapter imaging system mounted on a vehicle and measuring distance,
An imaging device having an imaging optical system;
A stereo adapter that guides images viewed from a plurality of viewpoints to one imaging optical system in order to capture a stereo image with the imaging device;
A processing device that performs processing including three-dimensional reconstruction from a stereo image captured by the imaging device, and provides three-dimensional distance information,
A control device for controlling the imaging device and the processing device;
A stereo adapter imaging system comprising: The stereo adapter imaging system according to claim 1, wherein the control device has a display device that displays a processing result obtained from the processing device on a screen. The stereo adapter imaging system according to claim 1, wherein the control device further includes a warning device that issues a warning to a driver.

Images