JP2015190921A - 車両用ステレオ画像処理装置 - Google Patents

Abstract

【課題】車両走行中にステレオカメラの位置ずれの有無を診断し、位置ずれに起因する誤認識による車両制御の不具合発生を未然に回避する。【解決手段】ステレオ画像処理部７及び認識処理部９による白線検出は、画像平面における道路の幅方向の輝度変化を評価して白線の候補となる点群を抽出し、左右の白線候補点の視差を算出して実空間座標に変換して白線モデルを生成する。カメラ位置ずれ診断部１０は、ステレオカメラ２の基準画像と比較画像との間の同一水平ラインにおける左白線の視差と右白線の視差との相違に基づく診断値を算出してカメラ位置ずれの有無を判断する。カメラ位置ずれが発生している場合には、車両制御装置２０に制御機能の停止やフェールセーフ制御への移行を指示し、また、ユーザにディーラの整備工場等への入庫点検を促す警報を出力する。【選択図】図１

Description

本発明は、車両に搭載したステレオカメラで撮像した画像を処理して走行環境を３次元的に認識する車両用ステレオ画像処理装置に関する。

近年、自動車等の車両においては、カメラで前方の走行環境を撮像して画像処理により走行環境を認識する技術が採用されている。特に、ステレオカメラを用いて同一対象を異なる視点から撮像し、得られる視差（距離データ）から対象を３次元的に認識するステレオ画像処理の技術を採用することにより、前方障害物に対する衝突回避や、先行車に対する追従制御、ふらつき及び車線逸脱に対する警報制御や操舵制御等のドライバに対する各種支援制御が実用化されている。

このようなステレオカメラは、例えば２台１組のカメラを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定して構成されており、その取り付け位置にずれが生じると、それぞれのカメラの撮像方向がずれてしまい、先行車を認識できない、距離データの精度が悪化する等の現象が発生する。

このため、特許文献１には、ステレオカメラの前方に調整用のチャートを設置して、この調整用チャートの撮像画像を処理してステレオカメラの位置ずれを調整することにより、距離データの信頼性向上を図る技術が開示されている。

特開２００４−１３２８７０号公報

しかしながら、特許文献１に開示されているような従来の技術は、工場における車両出荷時や市場でのディーラ等の整備工場における点検時に、車両を停止してステレオカメラの位置ずれの有無を調べて調整を行うものであり、ユーザの実使用環境下ではステレオカメラに位置ずれが発生しているか否かを検知することは困難である。

本発明は上記事情に鑑みてなされたもので、車両走行中にステレオカメラの位置ずれの有無を診断し、位置ずれに起因する誤認識による車両制御の不具合発生を未然に回避することのできる車両用ステレオ画像処理装置を提供することを目的としている。

本発明による車両用ステレオ画像処理装置は、車両に搭載したステレオカメラの撮像画像を処理して走行環境を３次元的に認識する車両用ステレオ画像処理装置であって、前記ステレオカメラの撮像画像から自車両の左右に対をなして存在する類似物を検出してそれぞれをマッチング処理し、画像の同一水平ラインにおける左側の類似物の視差と右側の類似物の視差とを算出する左右類似物検出部と、前記同一水平ラインの左側の類似物の視差と右側の類似物の視差との相違に基づく診断値を算出し、この診断値を予め設定した閾値と比較して前記ステレオカメラの機械的な位置ずれを診断するカメラ位置ずれ診断部とを備える。

本発明によれば、車両走行中にステレオカメラの位置ずれの有無を診断し、位置ずれに起因する誤認識による車両制御の不具合発生を未然に回避することができる。

車両用ステレオ画像処理装置の構成図 エピポーララインを示す説明図 ステレオマッチングの説明図 白線検出の説明図 基準画像及び比較画像の白線位置を示す説明図 図５の基準画像及び比較画像から求めた左右白線の視差を表す説明図 図５の基準画像及び比較画像から認識された白線を示す説明図 カメラ位置ずれが発生した場合の基準画像及び比較画像の白線位置を示す説明図 図８の基準画像及び比較画像から求めた左右白線の視差を表す説明図 図８の基準画像及び比較画像から認識された白線を示す説明図 図５の基準画像及び比較画像から求めた左右白線の高さを表す説明図 図８の基準画像及び比較画像から求めた左右白線の高さを表す説明図

以下、図面を参照して本発明の実施の形態を説明する。
図１において、符号１は、自動車等の車両に搭載され、対象物を異なる視点から撮像するステレオカメラ２の撮像画像を処理して対象物の３次元位置を測距し、車外の走行環境を３次元的に認識するステレオ画像処理装置を示している。このステレオ画像処理装置１は、ステレオカメラ２の撮像画像に対する処理機能として、Ａ／Ｄ変換部３、光軸調整部４、粗調整部５、距離補正部６、ステレオ画像処理部７、認識処理部９を主として、距離データメモリ８ａ及び画像データメモリ８ｂを備えている。

また、ステレオ画像処理装置１は、市場での実使用時に発生するステレオカメラ２の機械液な位置ズレを検出する機能として、カメラ位置ずれ診断部１０を備えている。ステレオカメラ２は、本実施の形態においては、ＣＣＤやＣＭＯＳ等の撮像素子を有し、シャッター速度可変で互いに同期した１組のカメラ２ａ，２ｂで構成され、カメラ２ａ，２ｂで撮像した車外の画像をステレオ画像処理して車外の物体の３次元位置を測距する。

周知のように、ステレオ法による対象物の３次元位置の測距は、カメラ２ａ，２ｂで撮像した２つの画像に対して、２つの画像上の同一点の対応位置を求めるステレオマッチング（対応点探索）処理を主としている。この対応点探索は、一般に、エピポーラライン上の１次元探索として実施される。

すなわち、図２（ａ）に示すように、カメラ２ａ，２ｂをカメラモデルで示し、それぞれの視点（レンズ中心）をＣ1，Ｃ2、それぞれの投影面（画像平面）をＩＭ1，ＩＭ2とするとき、３次元空間上の点Ｐに注目すると、注目点Ｐは、カメラ２ａの投影面ＩＭ1上では点Ｐ1で観測され、カメラ２ｂの投影面ＩＭ2上では点Ｐ2で観測される。

対応点探索は、一方の投影面ＩＭ1上の点Ｐ1に対応する点を他方の投影面ＩＭ2上から探すことであるが、点Ｐ1に対応する投影面ＩＭ2上の点は、カメラ配置の幾何学的な関係から点Ｐ1，Ｃ1，Ｃ2からなる平面と投影面ＩＭ2とが交わってできる直線Ｌep（エピポーラライン）上にある。このエピポーララインＬepは、投影面ＩＭ1上においても同様に存在し、対応点探索はエピポーララインＬep上の１次元探索に帰着することになる。

この場合、エピポーララインＬepを画像の走査線と一致させることにより、探索処理を簡素化することができる。このため、本実施の形態においては、図２（ｂ）に示すように、カメラ２ａ，２ｂの投影面ＩＭ1，ＩＭ2を平行に配置して両者のエピポーララインＬepを画像の水平走査線Ｌｈと一致させるようにしている。

より詳細には、ステレオカメラ２は、水平方向の右側に配置したカメラ２ａと左側に配置したカメラ２ｂとの互いの光軸を平行にして撮像面を一致させ、更に、互いの撮像面の横軸方向（水平走査線方向）を一致させた（互いに回転していない）カメラ配置となるように機械的及び電気的に調整されている。このようなステレオカメラ２は、２台のカメラ２ａ，２ｂを所定の基線長を持って固定したカメラユニットとして形成され、例えば車室内上部のフロントウィンドウ内側のルームミラー近傍に設置されている。

尚、本実施の形態においては、右側のカメラ２ａは、対応点探索の基準となる基準画像を撮像し、左側のカメラ２ｂは、対応点探索を行う比較画像を撮像する。以下では、基準画像（右画像）を撮像する右側のカメラ２ａをメインカメラ２ａ、比較画像（左画像）を撮像する左側のカメラ２ｂをサブカメラ２ｂと適宜記載する。

各カメラ２ａ，２ｂで撮像されたアナログ画像は、それぞれ、Ａ／Ｄ変換部３で所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。このデ゛ジタル化された画像データは、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とするｉ−ｊ座標系で表現され、メインカメラ２ａから基準画像データが得られ、サブカメラ２ｂから比較画像データが得られる。

光軸調整部４は、カメラの撮像エリアに対して、認識で利用する処理エリアの位置を調整する。ステレオカメラ２の取り付け位置は、車両毎のばらつきによって一対のカメラ（２ａ，２ｂ間で車体に対する光軸の向き（画像中心の向き）がピッチ方向及びヨー方向にばらつくことが避けられない。このため、各カメラの撮像エリアに対して認識処理の対象する処理エリアを、例えば、工場出荷時に調整用チャートを撮像して算出した校正パラメータを用いる等して移動させ、カメラ光軸のズレを修正する。

尚、校正パラメータは、各カメラ２ａ，２ｂの位置的なずれに起因した画像の認識エリアの光軸方向のずれ、及び一対の画像データの並進・回転方向のずれを校正するパラメータであり、光軸調整部４は、予め設定された大きさの認識エリアを、各カメラの撮像エリア内でヨー方向及びピッチ方向に所定の移動量だけ平行移動させる。

粗調整部５は、カメラユニット製造時の機械的な調整では補償しきれないカメラ２ａ，２ｂ間の位置ずれを画像上で補償する。例えば、工場出荷時に、メインカメラ２ａの画像に対するサブカメラ２ｂの画像の並進・回転方向のずれを調べてアフィン変換のパラメータをメモリに記憶させる。そして、このアフィン変換パラメータを用いてサブカメラ２ｂの画像を所定の並進量、回転角だけ幾何学的に移動させることにより、メインカメラ２ａの画像に対するサブカメラ２ｂの画像の並進・回転方向のずれを修正する。

距離補正部６は、カメラの光学的な歪みに起因した画像データの歪みを補正するため、基準画像データと比較画像データとをそれぞれ補正する。具体的には、基準画像、比較画像のそれぞれの画像データを構成する画素点の座標が、予め算出された補正パラメータに基づいて画像平面上でシフトされる。この補正によって、基本的に、個々のカメラ２ａ，２ｂの光学的な歪みに起因した画像の歪みが補正され、この歪みによる距離データの誤差が補正される。

尚、補正パラメータは、例えば、工場出荷時に調整用チャートを撮像し、この調整用チャートから検出した特徴点の画像平面上の座標と、特徴点に対応する目標座標との差分から決定される。ここで、目標座標とは、光学的な歪みが全く存在しないような理想的なカメラで調整用チャートを撮像した場合に検出される座標であり、例えば、調整用チャートのパターンと、この調整用チャートとカメラとの間の距離及びカメラの焦点距離とに基づいて算出することができる。

この光軸調整部４及び粗調整部５における画像データの校正と、距離補正部６における画像データの補正とにより、基準画像と比較画像とにおけるエピポーララインの一致が保証される。そして、１フレーム相当の一対の画像データが後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８ｂに格納される。

ステレオ画像処理部７は、基準画像と比較画像との対応位置のずれ量（視差）をステレオマッチング処理により求める。このステレオマッチング処理としては、例えば周知の領域探索法を用いることができ、基準画像と比較画像との相関度が評価される。本実施の形態においては、相関度の評価関数として、基準画像の小領域（ブロック）と比較画像の小領域（ブロック）との間のピクセル値の差分（絶対値）の総和（SAD:Sum of Absolute Difference）を演算する。ピクセル値としては、一般的に、各画素の輝度値を用いることが多い。

ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取るブロック間の水平方向のシフト量により、視差が与えられる。シティブロック距離ＣＢは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（１）式に示すように、基準画像の探索ブロックＭ(i,j)と比較画像の探索ブロックＳ(i,j)とのＳＡＤ値を、ｉ軸（エピポーラライン）上を所定のシフト値ずつずらしながら演算することにより得られる。
ＣＢ＝Σ│Ｍ(i,j)−Ｓ(i,j)│ …（１）

以上のＳＡＤ演算では、例えば４×４画素の探索ブロックを対象として、基準画像の探索ブロック（メインブロック）に対して比較画像の探索ブロック（サブブロック）の位置を水平走査線上を１画素ずつずらしながらＳＡＤ演算を行うと、図３に示すように、シティブロック距離が最小値Ｃ0となる点がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められる。この一致点におけるメインブロックとサブブロックとの１画素単位のずれ量（水平走査方向のメインブロックの位置ｉmとサブブロックの位置ｉsとの差）は、１画素単位の分解能を有する視差ｄ（ピクセル視差）を与え、このブロック毎に算出された視差ｄの集合が距離画像を形成する距離データとして、距離データメモリ８ａに保存される。

尚、このピクセル視差に基づく距離情報は、対象物までの距離が大きくなるにつれて分解能が低下するため、必要に応じて１画素単位以下の分解能のサブピクセルレベルでの視差を求める処理を行う。

認識処理部９は、距離データメモリ８ａに保存された距離データを用いて、実空間での距離を得ると共に各種認識処理を行う。例えば、所定の閾値内にある距離データをグループ化するグルーピング処理を行い、道路白線、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。

認識した各データは、実空間の３次元座標におけるそれぞれの位置が演算される。具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、三角測量の原理に基づく下記の（２）〜（４）式により、距離画像上の点（ｉ，ｊ，ｄ）が実空間上の点（ｘ，ｙ，ｚ）に座標変換される。
ｘ＝ＣＤ／２＋ｚ・ｗｉ・(ｉ−ｉｖ)／ｆ …（２）
ｙ＝ｚ・ｗｊ・(ｊ−ｊｖ)／ｆ＋ＣＡＨＭ …（３）
ｚ＝ＣＤ・ｆ／(ｄ・ｗｉ) …（４）
但し、ＣＤ ：カメラ間隔（基線長）
ＣＡＨＭ：原点からカメラ中心（レンズ中心）までの高さ
ｆ ：レンズの焦点距離
ｄ ：視差（ピクセル数）
ｗｉ ：画素ピッチ（水平方向）
ｉｖ ：光軸位置（自車両正面の無限遠点のｉ座標）
ｗｊ ：画素ピッチ（垂直方向）
ｊｖ ：光軸位置（自車両正面の無限遠点のｊ座標）

そして、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出した幅の中心位置を用いて、その車両の存在する中心位置が演算される。更に、立体物データにおいては、自車両からの距離の各軸方向の変化から自車両に対する相対速度が演算され、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度が演算される。

こうして得られた各情報、すなわち、道路の白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。このような認識処理部９からの白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等は、車両制御装置２０に入力される。車両制御装置２０は、認識処理部９からの情報に基づいて、障害物との衝突を防止するプリクラッシュブレーキ制御、追従機能付きクルーズ制御、ふらつき及び車線逸脱に対する警報制御や操舵制御等のドライバに対する運転支援制御を指令する。

このような運転支援制御においては、対象物の３次元位置を正確に把握することが重要であり、そのため、定期的なメンテナンス等によってステレオカメラ２の位置精度を出荷時の状態に維持する必要がある。しかしながら、悪路走行等の振動の激しい走行環境に曝される場合や長期的にメンテナンスがなされていない場合には、ステレオカメラ２を構成するカメラ２ａ，２ｂの間に位置ずれが生じ、対象物の３次元位置を正確に把握することが困難となって制御性の悪化を招く虞がある。

特に、道路の白線の認識結果に基づくクルーズ制御や車線逸脱防止制御等では、道路の白線形状を適正に認識することが困難となり、制御そのものが破綻する虞がある。このため、カメラ位置ずれ診断部１０は、ステレオカメラ２を構成するカメラ２ａ，２ｂ間に、回転方向や並進方向で位置ずれが生じているか否かを診断し、位置ずれが生じていると判断した場合には、ステレオ画像処理による走行環境の認識結果に基づく車両制御システムの関連機能の停止やフェールセーフ制御への移行により、安全を確保する。

尚、診断の過程において、ノイズの影響等によってカメラ位置ずれが発生していると判断して車両制御システムの関連機能を停止させた後、所定期間に渡って正常と判断される状態が継続した場合には、システムを復帰させるようにしても良い。

カメラ２ａ，２ｂ間の位置ずれは、走行環境中の基準となる対象物を利用することで検出することができる。この基準の対象物としては、道路付帯の固定物が考えられるが、中でも、自車両が走行する道路において、自車両の左右に対をなして設置された類似物、例えば、道路面上の左右の白線、左右のガードレール、左右の縁石（側壁）等を利用することができる。

これらの左右の類似物は、エピポーララインを水平走査線（水平ライン）と一致させる本実施の形態のステレオ画像処理においては、同じ距離の部分が同一の水平ライン上に写し出される。このため、左右に対をなす類似物が存在する場合、左右の類似物の視差を同一水平ラインで比較することにより、カメラ２ａ，２ｂ間に位置ずれが発生しているか否かを判断することができる。

特に、白線は道路面上に存在する比較的高輝度の対象物であり、多くの場合、オクルージョン等の影響を受けることなく左右一対で検出することができる。従って、本実施の形態においては、正常であれば同一の水平ライン上に同じ距離にある左右の白線が映し出されるという事実を基準として、カメラ２ａ，２ｂ間の位置ずれの有無を診断する。

尚、本実施の形態のカメラ位置ずれ診断に用いる白線は、車両が走行する車両通行帯を区分する線を総称するものであり、単一線、二重線等の多重線、実線、破線等を問わず、更に、黄色線等をも含むものとして、自車両の両側（左右）に検出される白線を診断の基準とする。

ここで、ステレオ画像処理部７及び認識処理部９による左右の白線検出機能、すなわち左右の類似物を検出する左右類似物検出部としての機能について説明する。道路の白線は、画像平面における道路の幅方向の輝度変化を評価して白線の候補となる点群を抽出し、この白線候補の点群の時系列データを処理することで検出することができる。

例えば、図４に示すように、画像平面上を車幅方向内側から外側へ探索し、、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を白線開始点Ｐｓとして検出する。また、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点）を白線終了点Ｐｅとして検出する。

そして、白線開始点Ｐｓと白線終了点Ｐｅとの間の中間の所定領域を白線候補点として抽出し、ステレオマッチングによって求めた白線候補点の視差を実空間の座標に変換する。そして、単位時間当たりの車両移動量に基づく白線候補点の空間座標位置の時系列データを処理して左右の白線を近似する白線モデルを算出する。本実施の形態においては、白線モデルとして、ＸＹＺ座標空間におけるＸＺ平面上の形状を表現した近似モデルに、ＹＺ平面上の高さを表す近似モデルを加えるようにしており、白線を３次元的に把握することができる。

ＸＺ平面上の白線形状は、例えば、ハフ変換によって求めた直線成分を連結した近似モデルや、以下の（５），（６）式に示すように、左右の白線のｘ方向位置ｘｌ，ｘｒを距離ｚの２次式で近似した近似モデルを用いて表現することができる。
ｘｌ＝Ａｌ・ｚ²＋Ｂｌ・ｚ＋Ｃｌ …（５）
ｘｒ＝Ａｒ・ｚ²＋Ｂｒ・ｚ＋Ｃｒ …（６）

（５），（６）式における係数Ａｌ，Ｂｌ，Ｃｌ，Ａｒ，Ｂｒ，Ｃｒは、左右の白線候補点の実空間座標（ｘ，ｚ）に対して最小二乗法を適用して同定される。係数Ａｉ，Ａｒは、それぞれ左右の白線の曲率成分、係数Ｂｌ，Ｂｒは、それぞれ左右の白線の自車両の幅方向における傾き成分（ヨー角成分）、係数Ｃｌ，Ｃｒは、それぞれ左右の白線の自車両の幅方向における位置成分を表している。

また、ＹＺ平面上の左右白線の高さｙｌ，ｙｒは、例えば、以下の（７）、（８）式に示すように、距離ｚに対する一次式の直線近似で求めることができる。この一次式の係数ａｌ，ａｒ，ｂｉ，ｂｒは、白線候補点の実空間座標（ｙ，ｚ）に対して最小二乗法を適用することで同定される。
ｙｌ＝ａｌ・ｚ＋ｂｌ …（７）
ｙｒ＝ａｒ・ｚ＋ｂｌ …（８）

このような白線に対して、カメラ位置ずれ診断部１０では、基準画像と比較画像との間の左白線の視差と右白線の視差との相違に基づく診断値を算出してカメラ位置ずれの有無を判断する。カメラ位置ずれが発生していると判断した場合には、認識処理部９で算出される白線モデルや他車両等の位置情報は誤認識による誤った情報であるため、車両制御装置２０に制御機能の停止やフェールセーフ制御への移行を指示し、また、ユーザにディーラの整備工場等への入庫点検を促す警報を出力する。

カメラ位置ずれが発生しているか否かは、同一水平ラインにおける左右白線の視差の相違に基づく診断値を用いて判断する。具体的には、以下の（ａ）〜（ｃ）に示すような診断値を算出し、これらの診断値を、単独で或いは適宜組み合わせて用いることにより、カメラ位置ずれが発生しているか否かを判断する。以下では、説明を簡単にするため、道路が平坦で道路幅が一定の直線路を走行し、且つ車両位置（カメラ位置）が左右白線の中心で車両が左右白線と平行な場合を例に取って説明する。

（ａ）同一視差を与える左右白線の画像座標値の差による診断値
カメラ２ａ，２ｂ間に位置ずれが無い場合、図５に示すように、左右の白線ＷＬｌ，ＷＬｒは、カメラ２ａの基準画像とカメラ２ｂの比較画像とで視差分だけ水平方向にずれて写し出される。ここで、図５において、基準画像の座標ｊ1の右白線ＷＬｒ上の地点Ａと、座標ｊ2（ｊ2＞ｊ1）の左白線ＷＬｌ上の地点Ｂとに着目すると、カメラ２ａから近い地点Ａは、画像の下方位置に撮像され、カメラ２ａから遠い地点Ｂは、画像の上方（光軸付近）に撮像される。

これに対して、比較画像では、地点Ａは座標ｊ1で水平方向（ｉ軸方向）に視差ｄａだけずれた右白線ＷＬｒ上の位置Ａ1に撮像され、地点Ｂは座標ｊ2で水平方向（ｉ軸方向）に視差ｄｂだけずれた左白線ＷＬｌ上の位置Ｂ1に撮像される。このような関係を画像垂直座標（ｊ座標）と視差ｄとの関係で示すと、図６のような関係となる。

図６において、地点Ａの視差ｄａは地点Ｂの視差ｄｂに対してｄａ＞ｄｂであり、且つ同一地点（同じｊ座標値の水平ライン）で左白線ＷＬｌの視差と右白線ＷＬｒの視差とは同じ値となる。換言すれば、同じ視差値を与える左白線ＷＬｌのｊ座標値と右白線ＷＬｒのｊ座標値とは同じ値となる。このような関係の視差値を用いて実空間の距離ｚ及び車幅方向の座標値ｘを算出して白線の近似式を生成すると（前述の（２）〜（６）式参照）、図７に示すような白線位置が算出される。

図７では、カメラ位置にずれが生じていないため、地点Ａにおける車両中心（カメラ２ａ，２ｂの中心）から左白線ＷＬｌまでの横位置Ｘｌａ及び右白線ＷＬｒまでの横位置Ｘｒａ、地点Ｂにおける車両中心から左白線ＷＬｌまでの横位置Ｘｌｂ及び右白線ＷＬｒまでの横位置Ｘｒｂは、全て同じ値となり（Ｘｌａ＝Ｘｒａ＝Ｘｌｂ＝Ｘｒｂ）、白線が正しく認識されていることがわかる。

一方、カメラ２ａ，２ｂ間に位置ずれが生じている場合、例えば、カメラ２ｂがカメラ２ａに対して上方向にずれてしまった場合には、図８に示すように、カメラ２ａの基準画像における右白線ＷＬｒ上の地点Ａは、カメラ２ｂの比較画像では、本来の対応位置Ａ1よりも画像下方に下がった位置Ａ1’に撮像される。同様に、地点Ｂも、比較画像においては、本来の対応位置Ｂ1よりも画像下方に下がった位置Ｂ2に撮像される。

すなわち、カメラ２ｂがカメラ２ａに対して上方向にずれてしまった場合、基準画像の座標ｊ1上の地点Ａに対する比較画像の真の対応点である位置Ａ1は、座標ｊ1a（ｊ1a＜ｊ1）に移動する。また、基準画像の座標ｊ2上の地点Ｂに対する比較画像の真の対応点である位置Ｂ1は、座標ｊ2b（ｊ2b＜ｊ2）に移動する。このため、真のエピポーララインが本来の水平ラインからずれて傾くことになる。

しかしながら、ステレオマッチングは、エピポーララインが水平ライン上にあるものとして実施されるため、基準画像のｊ1座標の地点Ａに対する比較画像の対応点は、同じｊ1座標上の位置Ａ2として視差ｄａ’が算出され、また、基準画像のｊ2座標の地点Ｂに対する比較画像の対応点は、同じｊ2座標上の位置Ｂ2として視差ｄｂ’が算出される。その結果、右白線の地点Ａの視差ｄａ’は本来の視差ｄａよりも小さく算出され、左白線の地点Ｂの視差ｄｂ’は本来の視差ｄｂよりも大きく算出されてしまい、画像垂直座標と視差との関係は、図９に示すように、左右白線で一致せずに異なる特性となってしまう。

図９の画像垂直座標と視差との関係では、同じｊ座標値の水平ラインでは、左白線ＷＬｌの視差よりも右白線ＷＬｒの視差のほうが小さく（遠く）なり、同じ視差値では、左白線ＷＬｌのｊ座標値よりも右白線ＷＬｒのｊ座標値のほうが小さくなる。この関係から実空間の距離ｚ及び車幅方向の座標値ｘを求めて白線の近似式を生成すると、図１０に示すような白線形状となり、本来は直線形状である左右白線が進行方向右側にカーブしているような形状として誤認識されてしまう。

従って、カメラ位置ずれ診断部１０では、同一水平ラインにおける左右白線の視差の相違に基づく診断値として、同じ視差値を与える左白線のｊ座標値と右白線のｊ座標値との差Δｊｄを算出する。そして、この診断値Δｊｄを予め設定したカメラ位置ずれの許容値である閾値ｔｈｊと比較し、Δｊｄ≦ｔｈｊのときには、正常であると判定し、Δｊｄ＞ｔｈｊのとき、カメラ位置ずれが発生していると判断する。

尚、診断値Δｊｄは、例えば、任意の距離に対応する視差、或いは、近距離、中距離、遠距離等の複数の地点における視差に対応して、所定フレーム数分の平均値を取る等して算出される。また、条件によっては、同じ水平ライン上の左右白線の視差の差分を、直接、診断値として用いることも可能である。

（ｂ）左右白線の高さの差による診断値
前述の図６で説明したように、カメラ位置ずれが発生していない場合には、同一地点（同じｊ座標値の水平ライン）で左白線ＷＬｌの視差と右白線ＷＬｒの視差とは同じ値となる。従って、左右白線ＷＬｌ，ＷＬｒの距離ｚと高さｙとの関係を、前述の（７），（８）式による一次関係として算出すると、図１１に示すように、地点Ａ，Ｂでの高さが同じで、高さと距離との関係を表す直線の傾きａｉ，ａｒが０となり（平坦な道路）、距離ｚに対して高さｙが一定で左右白線ＷＬｌ，ＷＬｒで同じ高さの関係となる。

一方、カメラ位置ずれが発生している（カメラ２ｂがカメラ２ａに対して上方向にずれている）場合には、図９に示すように、同じｊ座標値の水平ラインでは左白線ＷＬｌの視差よりも右白線ＷＬｒの視差のほうが小さく、同じ視差値では左白線ＷＬｌのｊ座標値よりも右白線ＷＬｒのｊ座標値のほうが小さくなる。このため、左右白線ＷＬｌ，ＷＬｒの実空間における高さｙと距離ｚとの関係は、図１２に示すように、左白線ＷＬｌと右白線ＷＬｒとの高さと距離の関係が、それぞれ所定の傾きを持った直線で示され、同じ距離では左白線ＷＬｌの方が右白線ＷＬｒよりも高く算出される。

従って、距離が同じ条件での左白線の高さと右白線の高さとの差Δｙｄを、同一水平ラインにおける左右白線の視差の相違に基づく診断値として算出し、カメラ位置ずれが発生しているか否かを判断する。診断値Δｙｄを予め設定したカメラ位置ずれの許容値である閾値ｔｈｙと比較し、Δｙｄ≦ｔｈｙのときには、正常であると判定し、Δｙｄ＞ｔｈｙのとき、カメラ位置ずれが発生していると判断する。

この場合においても、診断値Δｙｄは、例えば、任意の距離に対応する視差、或いは、近距離、中距離、遠距離等の複数の地点における視差に対応して、所定フレーム数分の平均値を取る等して算出される。

（ｃ）白線の高さと距離との関係を表す直線の傾きによる診断値
図１２の関係は、カメラ位置ずれが発生した場合には、平坦な道路であって、左右白線の高さと距離との関係が傾きａl，ａｒを有する直線となることを意味している。この傾きａｌ，ａｒは、実際に存在する道路の前後方向の勾配や横断方向の勾配（カント）によって上限値があり、また、実際の道路の形状から左右の傾きａｌ，ａｒは正負の極性が同一である必要がある。従って、傾きａl，ａｒを診断値として、上限値や極性を比較することで、カメラ位置ずれの発生を判断することができる。

このように本実施の形態においては、ステレオカメラ２を構成するカメラ２ａ，２ｂ間に、回転方向や並進方向で位置ずれが生じているか否かを診断する際、道路の左右の白線を基準として用い、それぞれをマッチング処理して得られる同一水平ラインにおける左白線の視差と右白線の視差との相違に基づく診断値を算出する。そして、この診断値を予め設定した閾値と比較することで、カメラ２ａ，２ｂ間に位置ずれが発生しているか否かを判断するようにしている。

これにより、ステレオカメラに位置ずれが生じているにも拘わらず、白線や他車両等の位置情報の認識結果を車両制御に適用して不具合が発生することを未然に防止することができ、安全を確保することができる。

１ ステレオ画像処理装置
２ ステレオカメラ
２ａ カメラ（メインカメラ）
２ｂ カメラ（サブカメラ）
７ ステレオ画像処理部（左右類似物検出部）
９ 認識処理部（左右類似物検出部）
１０ カメラ位置ずれ診断部
２０ 車両制御装置
Ｌep エピポーラライン
ｄ 視差
ｚ 距離
Δｊｄ，Δｙｄ，ａl，ａｒ 診断値

Claims (5)

1. 車両に搭載したステレオカメラの撮像画像を処理して走行環境を３次元的に認識する車両用ステレオ画像処理装置であって、
   前記ステレオカメラの撮像画像から自車両の左右に対をなして存在する類似物を検出してそれぞれをマッチング処理し、画像の同一水平ラインにおける左側の類似物の視差と右側の類似物の視差とを算出する左右類似物検出部と、
   前記同一水平ラインの左側の類似物の視差と右側の類似物の視差との相違に基づく診断値を算出し、この診断値を予め設定した閾値と比較して前記ステレオカメラの機械的な位置ずれを診断するカメラ位置ずれ診断部と
   を備えることを特徴とする車両用ステレオ画像処理装置。
2. 前記類似物は、道路面上の白線であることを特徴とする請求項１記載の車両用ステレオ画像処理装置。
3. 前記診断値として、同一視差を与える前記左側の類似物の画像垂直座標値と前記右側の類似物の画像垂直座標値との差を用いることを特徴とする請求項１又は２記載の車両用ステレオ画像処理装置。
4. 前記診断値として、前記視差に基づく実空間の距離が同じ条件での前記左側の類似物の実空間における高さと前記右側の類似物の実空間における高さとの差を用いることを特徴とする請求項１又は２記載の車両用ステレオ画像処理装置。
5. 前記診断値として、前記左側の類似物及び前記右側の類似物の実空間における高さと距離との関係を直線近似したときの直線の傾きを用いることを特徴とする請求項１又は２記載の車両用ステレオ画像処理装置。

Images