JP2020047059A - 車両の走行環境検出装置及び走行制御システム - Google Patents

Abstract

【課題】ステレオカメラの画像に一時的な画像異常が発生しても対象物の距離情報に基づく走行制御を継続可能として、制御の冗長性、ロバスト性を向上する。【解決手段】画像異常検出部３でカメラ１ａ，１ｂの何れか一方の画像に異常が検出された場合、画像異常検出部３は、ステレオ画像処理部４によるステレオ画像処理を停止させるとともに、単眼画像処理部６に、カメラ１ａ，１ｂのうちの正常な方の画像を用いた単眼処理の実行を指示する。単眼画像処理部６は、カメラ１ａ，１ｂのうちの正常な方の画像に画像特徴記憶部５に記憶されているステレオ画像の処理結果に基づく画像特徴量を適用して対象物の距離を算出することで、対象物の距離情報に基づく走行制御を継続可能とする。【選択図】図１

Description

本発明は、車両の外部環境を撮像した車外画像に基づいて車両の走行環境を認識する車両の走行環境検出装置及び走行制御システムに関する。

自動車等の車両においては、カメラで前方の車外風景を撮像して画像処理により走行環境を認識し、前方障害物に対する衝突回避や、先行車に対する追従制御、ふらつき及び車線逸脱に対する警報制御や操舵制御等のドライバに対する各種支援制御が実用化され、またドライバの運転操作を必要としない自動運転の技術が実用化されつつある。

このような自動運転を含む走行制御においては、走行環境中の対象物までの距離を精度良く検出することが重要となる。例えば、特許文献１には、第１のセンサの画角から外れ、第２のセンサの画角内に移動した物体を、その前に記憶した物体の特徴量に基づいて物体との相対距離を求めることにより、自動車の周囲の物体を精度良く検知する技術が開示されている。

特開２００８−１２３４６２号公報

しかしながら、カメラ画像を用いた走行制御では、画像認識に異常を検出した場合、制御を継続することが困難となり、冗長性、ロバスト性の観点から対策が必要となる。特に、対象物までの距離を算出可能なステレオカメラでは、ステレオ画像の一方に他方の画像には写っていない物体が写っている場合、例えば、ステレオカメラを車室内に設置する場合にガラスの汚れやワイパで払拭しきれない雨滴が一方の画像に写っている場合があり、ステレオマッチングで画像間の対応位置を検出できない画像異常が一時的に発生する場合がある。このようなステレオカメラの画像異常が発生すると、画像異常が一時的なものであっても対象物の距離情報に基づく走行制御が中断してしまい、制御安定性が失われる虞がある。

本発明は上記事情に鑑みてなされたもので、ステレオカメラの画像に一時的な画像異常が発生しても対象物の距離情報に基づく走行制御を継続可能として、制御の冗長性、ロバスト性を向上することのできる車両の走行環境検出装置及び走行制御システムを提供することを目的としている。

本発明の一態様による車両の走行環境検出装置は、車両の外部環境を撮像した車外画像に基づいて車両の走行環境を認識する車両の走行環境認識装置であって、前記車外画像をステレオカメラで撮像し、前記ステレオカメラで撮像した一対の画像をステレオ画像処理して前記走行環境における対象物を認識し、前記対象物の距離情報を算出するステレオ画像処理部と、前記ステレオカメラで撮像した一対の画像のうちの何れか一方に発生する画像異常を検出する画像異常検出部と、前記ステレオ画像処理部で認識した前記対象物の画像上の特徴量を記憶する画像特徴記憶部と、前記画像異常検出部で前記画像異常が検出されたとき、前記ステレオカメラの一対の画像のうちの正常な方の単眼画像に前記対象物の特徴量を適用して、前記対象物の距離情報を算出する単眼画像処理部とを備える。

本発明の一態様による車両の走行制御システムは、前記態様による車両の走行環境検出装置における前記ステレオ画像処理部で算出した距離情報に基づいて、加減速及び操舵を含む走行制御を実施する第１走行制御部と、前記単眼画像処理部で算出した距離情報に基づいて、加減速及び操舵を含む走行制御を実施する第２走行制御部とを備える。

本発明によれば、ステレオカメラの画像に一時的な画像異常が発生しても対象物の距離情報に基づく走行制御を継続することが可能となり、制御の冗長性、ロバスト性を向上することができる。

車両の走行制御システムを示す構成図 ステレオカメラによる測距の説明図 距離が異なる対象物の撮像面への投影を示す説明図 対象物の大きさと距離の関係を示す説明図 路面高さの算出を示す説明図 ステレオ画像処理情報を併用した単眼画像の測距を示す説明図 走行制御切換処理を示すフローチャート

以下、図面を参照して本発明の実施の形態を説明する。図１において、符号１００は、車両（図示省略）の走行制御システムを示し、車両の走行環境を検出する走行環境検出装置１０と、走行環境検出装置１０からの情報に基づく運転支援や自動運転を含む走行制御を実行する走行制御装置５０とを主要部として構成されている。走行環境検出装置１０は、ステレオカメラ１で車外風景を撮像した車外画像を処理して対象物までの距離を算出し、算出した距離に基づいて認識される対象物の大きさや形状等の情報を走行制御装置５０に出力する。

走行環境検出装置１０は、本実施の形態においては、ステレオカメラ１を構成する２台のカメラ１ａ，１ｂの画像に対してステレオ画像処理を行う処理系統と、正常にステレオ画像処理を実施できない場合に、カメラ１ａ，１ｂの何れか正常な方の画像に対して、正常時に記憶したステレオ画像処理情報を併用した単眼画像処理を行う処理系統とを有している。具体的には、走行環境検出装置１０は、ステレオカメラ１、画像検出部２ａ，２ｂ、画像異常検出部３、ステレオ画像処理部４、画像特徴記憶部５、単眼画像処理部６を備えている。

ステレオカメラ１は、ＣＣＤやＣＭＯＳ等の撮像素子を有するシャッタ同期の１組のカメラ１ａ，１ｂから構成されている。本実施の形態においては、カメラ１ａ，１ｂは、互いの光軸を平行にして撮像面を一致させ、更に、互いの撮像面の横軸方向（水平走査線方向）を一致させた（互いに回転していない）配置となるように機械的及び電気的に調整されている。このようなステレオカメラ１は、２台のカメラ１ａ，１ｂを所定の基線長を持って固定したカメラユニットとして形成され、例えば車室内上部のフロントウィンドウ内側のルームミラー近傍に設置されている。

画像検出部２ａ，２ｂは、カメラ１ａ，１ｂに対して前処理及び各種補正処理を行ってステレオ画像処理の元画像を検出する。この元画像は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とするｉ−ｊ座標系で表現され、一方をステレオ画像処理の際の基準画像、他方を比較画像として、入力画像メモリの所定のアドレスに、一対のカメラ画像（デジタル画像）が記憶される。

例えば、カメラ１ａ，１ｂに対する前処理として、画像検出部２ａ，２ｂは、カメラ１ａ，１ｂの電子シャッター制御、アンプのゲイン・オフセットの制御及び調整、ルックアップテーブル（ＬＵＴ）によるγ補正等を含む輝度補正やシェーディング補正等を行う。また、画像検出部２ａ，２ｂは、画像処理座標の設定、画像サイズ調整、アドレス制御等における各種パラメータを設定するパラメータ設定、一対の撮像画像に対応してレンズ歪を含む光学的な位置ズレを補正するためのアフィン補正、ノイズ除去処理等を行うフィルタ補正等の補正処理を行う。

画像異常検出部３は、画像検出部２ａ，２ｂで検出したカメラ１ａ，１ｂの各画像に対して、異常の有無を検出する。ここで検出する画像の異常は、ステレオ画像処理を正常に実施することが困難となる異常であり、例えば、一方のカメラの撮像画像に、フロントガラスの汚れやワイパで払拭しきれない雨滴等が写されてしまい、ステレオマッチングで許容範囲を超えるミスマッチングが発生するような画像を画像異常として検出する。

画像異常検出部３は、カメラ１ａ，１ｂの画像に異常が検出されない場合、ステレオ画像処理部４にステレオ画像処理の実行を指示する。一方、カメラ１ａ，１ｂの何れか一方の画像に異常が検出された場合には、画像異常検出部３は、ステレオ画像処理部４のステレオ画像処理を停止させるとともに、単眼画像処理部６に、カメラ１ａ，１ｂのうちの正常な方の画像を用いた単眼処理の実行を指示する。

ステレオ画像処理部４は、画像検出部２ａ，２ｂで検出したカメラ１ａ，１ｂの一対の画像に対してステレオマッチング処理を行い、対象物までの距離を算出する。周知のように、ステレオ法による距離計測では、図２に示すようにステレオカメラ１で撮像した基準画像に対する比較画像の対応点のズレ量（視差）をｄ（ｄ＝比較画像側の画素ズレ量ｄｐL＋基準画像側の画素ズレ量ｄｐR）、基準画像を撮像する基準カメラと比較画像を撮像する比較カメラとの光軸間隔（基線長）をＬ、レンズの焦点距離をｆとすると、レンズ中心から対象物Ｐまでの距離Ｚは、以下に示すように、三角測量の原理による（１）式の関係から導かれる（２）式により求めることができる。
Ｚ：Ｌ＝ｆ：ｄｐ…（１）
Ｚ＝Ｌ×ｆ／ｄｐ…（２）

ステレオ画像処理部４は、ステレオマッチング処理により基準画像と比較画像との対応位置の画素ずれ量（視差）を求め、距離データを有する距離画像を生成する。ステレオマッチング処理としては、例えば周知の領域探索法を用いて基準画像と比較画像との相関度を評価し、その評価関数として、基準画像の小領域（メインブロック）と比較画像の小領域（サブブロック）との間のピクセル値の差分（絶対値）の総和（SAD:Sum of Absolute Difference）を演算する。

そして、ＳＡＤが最小となる位置がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められ、一致点におけるメインブロックとサブブロックとの１画素単位のずれ量（水平走査方向のメインブロックの位置とサブブロックの位置との差）が１画素単位の分解能を有する視差（ピクセル視差）を与える。このブロック毎に算出された視差の集合は、距離画像を形成する距離データとして保存される。

尚、ピクセル値としては、一般的に、各画素の輝度値を用いることが多い。また、ピクセル視差に基づく距離情報は、対象物までの距離が大きくなるにつれて分解能が低下するため、必要に応じて１画素単位以下の分解能のサブピクセルレベルでの視差を求める処理を行う。

距離画像上の点は、自車両の車幅方向すなわち左右方向をＸ軸、車高方向をＹ軸、車長方向すなわち距離方向をＺ軸とする実空間上の点に座標変換される。ステレオ画像処理部４は、距離画像及び元画像を用いて、自車両の前方を走行する先行車両や障害物等の対象物を３次元的に認識し、距離情報を用いて対象物の大きさを検出する。対象物の大きさは、同一対象物の等距離にある部位間の水平方向の距離として検出し、例えば、先行車両のブレーキランプ間の距離や左右端の間の距離を先行車両の大きさとして検出し、白線の太さ（幅）を白線の大きさとして検出する。

同一対象物の等距離にある部位間の大きさ（幅）は、距離Ｚを用いて正確に算出することができる。すなわち、図３に示すように、カメラの撮像素子の撮像面上では、距離Ｚ1にある大きさ（幅）Ｘ1の対象物と、距離Ｚ2（Ｚ2＞Ｚ1）にある大きさ（幅）Ｘ2の対象物とは、同じ大きさθ0の像として投影されるため、対象物の大きさを知るためには、距離が分かっている必要がある。

図４に示すように、対象物の距離Ｚ0と大きさＸ0は、カメラの焦点距離ｆと撮像の大きさθ0との関係に等しく、これらの関係は（３）式に示される。従って、（３）式から導かれる（４）式により、距離Ｚ0（視差ｄｐ）が既知の対象物に対して、大きさＸ0を正確に算出することができる。
Ｚ0：Ｘ0＝ｆ：θ0 …（３）
Ｘ0＝Ｚ0×θ0／ｆ＝Ｌ×θ0／ｄｐ …（４）

また、ステレオ画像処理部４は、自車両が走行する道路の白線（車線）を認識する処理を行う。車線としての道路白線は、白線の候補となる点群を画像から抽出し、その候補点を結ぶ直線や曲線を算出することにより認識される。例えば、画像上に設定された白線検出領域内において、水平方向（車幅方向）に設定した複数の探索ライン上で輝度が所定以上変化するエッジの検出を行って探索ライン毎に１組の白線開始点及び白線終了点を検出し、白線開始点と白線終了点との間の中間の領域を白線候補点として抽出する。

そして、単位時間当たりの車両移動量に基づく白線候補点の空間座標位置の時系列データを処理して左右の白線を近似するモデルを算出し、このモデルにより、白線を認識する。白線の近似モデルとしては、ハフ変換によって求めた直線成分を連結した近似モデルや、２次式等の曲線で近似したモデルを用いることができる。

本実施の形態においては、道路上の物体や白線等の対象物は、距離に応じて道路面の高さを表す路面モデルに基づいて検出される。距離Ｚhの道路面上の点Ｐの高さｈ（Ｙ座標値）は、ステレオカメラ１の基線長Ｌ、カメラレンズの焦点距離ｆ、視差ｄｐから算出される距離Ｚに対して、図５に示すような鉛直方向の位置関係から導かれる以下の（５）式に示す一次式によって求めることができる。
ｈ＝Ｚh×ｗj×(ｊ−ｊv)／ｆ＋ＣＡＭ_Ｈ …（５）
但し、ｗj ：画素ピッチ（垂直方向）
ｊv ：光軸位置（自車両正面の無限遠点のｊ座標）
ＣＡＭ_Ｈ：原点からカメラ中心（レンズ中心）までの高さ

（５）式の一次式の係数は、各点Ｐの座標（ｙ，ｚ）を計算して得られる点列に最小二乗法を適用することで同定され、以下の（６）式に示すような傾きＨａ及び切片Ｈｂを有する一次式によって路面モデルが形成される。
Ｙ＝Ｈａ×Ｚ＋Ｈｂ …（６）

そして、ステレオ画像処理部４は、上述の路面モデルを用いて抽出した路面高さ以上の物体や白線等の対象物に対して、対象物までの距離と画像上の特徴量とを関連付けて画像特徴記憶部５に記憶する。例えば、先行車両までの距離と先行車両の画像上の輝度、明度、彩度、形状とを関連付けて画像特徴記憶部５に記憶し、また、白線の輝度、白線幅、路面傾斜（路面高さ）、車線幅等を、各点の距離と関連付けて記憶する。

単眼画像処理部６は、カメラ１ａ，１ｂのうちの片方のカメラで撮像した単眼画像を用いて、自車両前方の物体や道路の白線を認識する。単眼画像処理部６は、ステレオ画像の処理結果に基づく画像特徴量を単眼画像に適用した処理と、単眼画像のみの処理とを並列的に実施する。

単眼画像に画像特徴量を適用した処理では、画像異常が発生する直前までに算出したステレオ画像処理による対象物の大きさＸ0（距離Ｚ0）を用いて対象物の距離を算出する。すなわち、図６に破線で示すように、ステレオ画像処理によって大きさＸ0の対象物を検出している場合、単眼カメラの撮像画像から同じ対象物を特定することにより、単眼画像で大きさθの像として投影された対象物の距離Ｚを、（３）式に準じる以下（７）式から導かれる（８）式によって算出する。
Ｚ：Ｘ0＝ｆ：θ …（７）
Ｚ＝Ｘ0×ｆ／θ …（８）

単眼画像上の対象物がステレオ画像処理によって検出した大きさＸ0の対象物と同一か否かは、画像特徴記憶部５に記憶されている画像特徴量を用いたパターンマッチング等によって判断する。例えば、単眼画像上の先行車両の輝度、明度、彩度、形状がステレオ画像で得られる画像特徴量と略同じである場合、単眼画像上の先行車両は、ステレオ画像で算出した大きさＸ0の対象物と同一である判断する。尚、単眼画像における白線の距離は、ステレオ画像処理によって算出した路面モデルを用いて算出する。

一方、単眼画像のみによる対象物の距離は、周知の技術を用いて算出ことができる。例えば、画像のエッジ抽出やパターンマッチング、画像のオプティカルフロー等により、単眼画像上で対象物の領域を抽出し、カメラの設置位置や角度から画像上の各画素がどの距離の位置に対応するかを表す距離変換テーブルを用いて、画像上の領域の位置を実空間上の位置に変換する。

単眼画像処理部６における処理は、画像異常検出部３で異常が検出された後の経過時間に応じて切り換えられる。画像異常を検出した後、所定の設定時間（漸減時間）Ｔeが経過するまでは、例えば、以下の（９）式に示すように、単眼画像に画像特徴量を適用して算出される距離Ｚ3と単眼画像のみから算出した距離Ｚ4とを経過時間ｔに応じて重み付けして距離Ｚを算出する漸減処理が実施され、漸減時間Ｔeに達した後は、単眼画像のみから距離Ｚ4を算出する処理が実施される。
Ｚ＝(Ｔe−ｔ)／Ｔe×Ｚ3＋ｔ／Ｔe×Ｚ4 …（９）

この漸減処理では、当初はステレオ画像処理の処理結果が大きく反映されて比較的精度の高い距離値を得ることができるが、時間経過とともに走行環境が変化して画像特徴記憶部５に記憶されている画像特徴量のデータが古くなり、制御に適しなくなる。このため、漸減処理を実施する漸減時間Ｔeは、走行環境の変化や車両の走行状態等を考慮した適切な時間に設定される。

以上の走行環境検出装置１０に対して、走行環境検出装置１０からの情報に基づいて走行制御を行う走行制御装置５０は、ステレオ画像処理と単眼画像処理との２つの画像処理系統に対応して、第１走行制御部５１と第２走行制御部５２とを備えている。

第１走行制御部５１は、ステレオ画像処理部４からの情報に基づいて、自動運転を含む周知の走行制御を実施する。例えば、第１走行制御部５１は、ステレオ画像処理で認識した障害物に対する衝突回避制御、目標経路に沿った自動走行制御、目標経路や先行車両に追従して走行する追従走行制御、車線からの逸脱を防止する車線逸脱防止制御、ふらつき及び車線逸脱に対する警報制御等を実行する。

第２走行制御部５２は、基本的に第１走行制御部５１と同様の制御を行うが、距離情報の精度が相対的に低くなるため、第１走行制御部５１と比較して限定的な制御となる。例えば、第２走行制御部５２は、自動運転やドライバに対する運転支援を制限して、制御作動範囲を狭くしたり、実質的な制御を停止して警報に止める等の処理を行う。

以上の走行制御は、具体的には、図７のフローチャートに示す走行制御切換処理によって切り換えられる。次に、走行制御システム１００における走行制御切換処理について、図７に示すフローチャートを用いて説明する。

この走行制御切換処理は、先ず、最初のステップＳ１においてステレオカメラ１を構成するカメラ１ａ，１ｂの画像に、ステレオマッチングを正常に実行できない画像異常が生じているか否かを調べる。その結果、カメラ１ａ，１ｂの画像が共に正常である場合には、ステップＳ１からステップＳ２へ進み、カメラ１ａ，１ｂの何れか一方の画像に異常が生じている場合、ステップＳ１からステップＳ９へ進む。

画像異常によってステップＳ９へ進んだ場合には、正常な方のカメラ画像を用いて単眼画像処理を行い、その単眼画像処理に基づく走行制御を実施する。一方、カメラ１ａ，１ｂの画像が共に正常である場合、ステップＳ２では、カメラ１ａ，１ｂの画像を用いたステレオ画像処理を行い、このステレオ画像処理で得られた対象物の三次元情報に基づく走行制御を実施する。

次に、ステップＳ２からステップＳ３へ進み、対象物の画像上の特徴量を、ステレオ画像処理によって得られた対象物の距離情報と関連付けて記憶する。そして、ステップＳ４でカメラ１ａ，１ｂの画像に異常が生じていないかを調べる。カメラ１ａ，１ｂの画像が共に正常である場合には、ステップＳ２へ戻ってステレオ画像処理に基づく走行制御を実施し、カメラ１ａ，１ｂの何れか一方の画像に異常が生じた場合、ステップＳ５Ａ，Ｓ５Ｂを並列的に処理する。

ステップＳ５Ａは、画像異常が発生する直前までに得られたステレオ画像処理に基づく画像特徴量を単眼画像に適用して距離を算出する処理であり、前述したように、ステレオ画像処理によって既知となった対象物の大きさＸ0を用いて、対象物の距離を算出する。また、ステップＳ５Ｂは、単眼画像のみを用いて距離を算出する処理であり、画像のエッジ抽出、パターンマッチング、オプティカルフロー等から距離を算出する。

その後、ステップＳ６へ進み、漸減処理により算出した距離情報に基づいて走行制御を実施する。そして、ステップＳ７でカメラ１ａ，１ｂの画像異常が一時的な異常であり、その後、正常に復帰したか否かを調べる。

カメラ１ａ，１ｂの画像が正常に復帰した場合、ステップＳ２へ戻ってステレオ画像処理を再開し、カメラ１ａ，１ｂの画像が正常に復帰していない場合は、ステップＳ８で画像異常が発生した後の経過時間が漸減時間に達したか否かを調べる。漸減時間に達していない場合は、ステップＳ８からステップＳ６へ戻って漸減処理を継続し、漸減時間に達した場合、ステップＳ８からステップＳ９へ進んで単眼画像処理に基づく走行制御に切り換える。

このように本実施の形態においては、画像異常検出部３でステレオカメラ１を構成するカメラ１ａ，１ｂの何れか一方の画像に異常が検出した場合、ステレオ画像処理部４によるステレオ画像処理を停止させるとともに、単眼画像処理部６において、カメラ１ａ，１ｂのうちの正常な方の画像に画像特徴記憶部５に記憶されているステレオ画像の処理結果に基づく画像特徴量を適用して対象物の距離を算出する。これにより、ステレオカメラの画像に一時的な画像異常が発生しても対象物の距離情報に基づく走行制御を継続することが可能となり、制御の冗長性、ロバスト性を向上することができる。

１ ステレオカメラ
１ａ，１ｂ カメラ
２ａ，２ｂ 画像検出部
３ 画像異常検出部
４ ステレオ画像処理部
５ 画像特徴記憶部
６ 単眼画像処理部
１０ 走行環境検出装置
５０ 走行制御装置
５１ 走行制御部
５２ 走行制御部
１００ 走行制御システム

Claims (5)

1. 車両の外部環境を撮像した車外画像に基づいて車両の走行環境を認識する車両の走行環境認識装置であって、
   前記車外画像をステレオカメラで撮像し、前記ステレオカメラで撮像した一対の画像をステレオ画像処理して前記走行環境における対象物を認識し、前記対象物の距離情報を算出するステレオ画像処理部と、
   前記ステレオカメラで撮像した一対の画像のうちの何れか一方に発生する画像異常を検出する画像異常検出部と、
   前記ステレオ画像処理部で認識した前記対象物の画像上の特徴量を記憶する画像特徴記憶部と、
   前記画像異常検出部で前記画像異常が検出されたとき、前記ステレオカメラの一対の画像のうちの正常な方の単眼画像に前記対象物の特徴量を適用して、前記対象物の距離情報を算出する単眼画像処理部と
   を備えることを特徴とする車両の走行環境検出装置。
2. 前記画像特徴記憶部は、前記対象物の特徴量を、前記対象物の距離情報と関連付けて記憶することを特徴とする請求項１に記載の車両の走行環境検出装置。
3. 前記単眼画像処理部は、前記画像異常が検出される前に前記画像特徴記憶部に記憶された前記特徴量に基づいて前記単眼画像上の対象物を特定し、特定した対象物の距離情報を算出することを特徴とする請求項１又は２に記載の車両の走行環境検出装置。
4. 前記単眼画像処理部は、前記特徴量を適用して算出した距離情報に対して、前記単眼画像のみから算出した距離情報を前記画像異常が検出された後の経過時間に応じて重み付けすることにより、前記対象物の距離情報を算出することを特徴とする請求項１〜３の何れか一項に記載の車両の走行環境検出装置。
5. 前記ステレオ画像処理部で算出した距離情報に基づいて、加減速及び操舵を含む走行制御を実施する第１走行制御部と、
   前記単眼画像処理部で算出した距離情報に基づいて、加減速及び操舵を含む走行制御を実施する第２走行制御部と
   を備えることを特徴とする車両の走行制御システム。

Images