JP2005090974A - 先行車認識装置 - Google Patents

Abstract

【課題】センサフュージョンで自車前方の先行車を認識する先行車認識装置において、画像処理を簡単で計算量が少ない演算で行うようにして安価に形成する。
【解決手段】クラスタリング処理手段によるスキャニングレーザレーダ２の測距結果のクラスタリングに基づき、先行車領域決定手段によって先行車領域を決定し、エッジ画像計算処理手段により単眼カメラ３の少なくとも先行車領域の撮影画像を情報圧縮したエッジ二値画像の情報に加工し、このエッジ二値画像の情報を、エッジ二値画像情報収集手段によって画像特徴量情報として収集し、この情報と判定基準の画像特徴量情報との比較により、撮影画像の相関演算や輪郭線抽出のような計算量が多い複雑な画像処理を行うことなく、認識判定手段が先行車領域を先行車として認識し、さらに、判定基準更新手段が判定基準の画像特徴量情報を更新し、予測位置更新手段が先行車位置の予測を更新する。
【選択図】図１

Description

本発明は、自車前方を探査する測距センサの測距結果と、自車前方を撮影する画像センサの撮影画像とに基づき、自車前方の先行車を認識するセンサフュージョンの先行車認識装置に関するものである。

いわゆるオートクルーズ機能により先行車に追従走行する車両等にあっては、被害軽減自動ブレーキ機能を備え、自車と、その前方の先行車との距離、相対速度等から衝突の危険性を予測し、衝突が避けられないと判断した場合に、自動的にブレーキ制御を介入して衝突時に自車を減速（速度低下）し、被害を軽減することが試みられている。

この場合、走行中に自車前方の先行車を認識して捕捉し続ける必要があるが、既存のオートクルーズ用、すなわち、ＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）用のセンサは、レーザレーダ、ミリ波レーダ等の測距センサ、或いは、ＣＣＤステレオカメラのような撮像センサのいずれか１つからなり、いわゆる単一センサ構成である。

そのため、既存のＡＣＣセンサを搭載した場合、センサの情報が十分でなく、その測距結果又は撮影結果に基づいて先行車を精度よく認識できるのは、自車前方の先行車とその他のものとの判別が容易な高速道路等の理想的な走行環境下に限られる。

そこで、測距センサの測距結果と画像センサの撮影画像とに基づき、いわゆるセンサフュージョンで自車前方の先行車を認識する先行車認識装置として、例えば、つぎの（１）〜（３）の装置が提案されている。

（１）測距センサとしてのスキャニング型レーザレーダ装置と、画像センサとしてのビデオカメラを用いた画像処理装置とを組み合わせ、ビデオカメラの撮影画像（車両前方画像）のうちのレーザレーダ装置の測距結果から検出した画像処理領域を画像処理し、先行車を認識する車両用環境認識装置（例えば、特許文献１参照。）。

（２）測距センサとしてのレーダ装置の自車前方の測距結果から自車と先行車との車間距離を求め、この車間距離と画像センサとしてのＴＶカメラの自車前方の撮影映像とから、先行車の大きさを計測して先行車の車種（２輪車、４輪車）を判別し、この判別に基づいて先行車を認識する移動車の前方認識装置（例えば、特許文献２参照。）。

（３）測距センサとしてのＦＭ−ＣＷレーダ（例えばＦＭ−ＣＷミリ波レーダ）の信号を処理して自車前方の先行車の距離、車速を計測し、その計測結果を、画像センサとしての車載用カメラの撮影画像の情報に基づいて確実にし、先行車を認識する画像情報を利用したＦＭ−ＣＷレーダシステム（例えば、特許文献３参照。）。

なお、自車前方の先行車でなく、自車前方の走行車線を、測距センサとしてのレーザレーダ（光レーダ）の信号と、画像センサとしての画像入力部の信号とに基づくセンサフュージョンによって認識する先行車認識装置（車両障害物検出装置）も提案されている（例えば、特許文献４参照。）。

特開平７−１２０５５５号公報 特開平７−１８２４８４号公報 特開平６−２３１３９８号公報 特開平７−１９２１１７号公報

前記（１）〜（３）の従来装置等は、測距センサの測距結果と画像センサの撮影画像との組み合わせにより先行車を検出して認識するため、単一センサ構成のＡＣＣの場合より先行車の認識精度は向上するが、つぎに説明するように、極めて高価になり、実用的でない問題がある。

すなわち、前記（１）〜（３）の装置等における撮影画像の画像処理は、周知のコンピュータ画像処理と同様、撮影画像から、直接、エッジ検出や輪郭線抽出が行われ、その際、撮影画像の輝度データが画素当たり８ビット程度であることから、これらの輝度データをそのまま用いる相関演算やスネーク（Ｓｎａｋｅ）の輪郭線抽出のような複雑で計算量の極めて多い演算が必要になる。

そのため、従来のこの種の先行車認識装置は、大規模、高価な画像処理のハードウエアを要し、前記したように極めて高価になって実用的でない。

また、測距センサにＦＭ−ＣＷレーダ、ミリ波レーダのような特殊な電波レーダを用いると、電波レーダが汎用のスキャニングレーザレーダに比して高価であるため、一層高価になる問題もある。

本発明は、測距センサの測距結果と画像センサの撮影画像とに基づくセンサフュージョンで自車前方の先行車を認識する先行車認識装置において、画像処理を簡単で計算量が少ない演算で行うようにして安価に形成することを目的とし、さらには、測距センサに電波レーダより安価なレーザレーダを用いて一層安価に形成することも目的とする。

上記した目的を達成するために、本発明の先行車認識装置は、自車前方を探査する測距センサの測距結果と、自車前方を撮影する画像センサの撮影画像とに基づき、自車前方の先行車を認識するセンサフュージョンの先行車認識装置において、前記測距結果がほぼ等しい測距点をクラスタリングして前記測距センサの探査範囲に測距距離別のクラスタ領域を形成するクラスタリング処理手段と、前記探査範囲のほぼ予測された先行車位置のクラスタ領域を先行車領域に決定する先行車領域決定手段と、前記撮影画像の少なくとも前記先行車領域の水平エッジ、垂直エッジの少なくともいずれか一方のエッジ画像を二値化処理し、前記水平エッジ、前記垂直エッジの少なくともいずれか一方のエッジ二値画像を形成するエッジ画像計算処理手段と、前記エッジ二値画像の情報を前記先行車領域の画像特徴量情報として収集するエッジ二値画像情報収集手段と、この収集手段が収集した前記画像特徴量情報と判定基準の画像特徴量情報とを比較し、両画像特徴量情報がほぼ一致するときに前記先行車領域を前記先行車として認識する認識判定手段と、この判定手段が前記先行車を認識する毎に、前記エッジ二値画像情報収集手段が収集した画像特徴量情報と前記判定基準の画像特徴量情報との差の情報を前記判定基準の画像特徴量情報に加算して前記判定基準の画像特徴量情報を更新する判定基準更新手段と、前記認識判定手段が前記先行車を認識する毎に、前記先行車領域の位置変移に基づいて前記先行車位置の予測を更新する位置予測更新手段とを備えたことを特徴とする（請求項１）。

また、本発明の先行車認識装置は、エッジ二値画像情報収集手段に代えてエッジヒストグラム収集手段を備え、この手段により、エッジ二値画像の水平方向、垂直方向の少なくともいずれか一方のエッジヒストグラムを先行車領域の画像特徴量情報として収集するようにしたことを特徴とする（請求項２）。

さらに、本発明の先行車認識装置は、エッジ二値画像情報収集手段に代えてコードリスト収集手段を備え、この手段により、エッジ二値画像の水平方向、垂直方向の少なくともいずれか一方向のエッジヒストグラムを、ピーク点とそれ以外の点とでビット値が異なるビット列のエッジコードリストに変換し、該エッジコードリストを先行車領域の画像特徴量情報として収集するようにしたことを特徴とする（請求項３）。

つぎに、本発明の先行車認識装置は、エッジ二値画像情報収集手段に代えて左右対称度検出収集手段を備え、この手段により、垂直エッジのエッジ二値画像の情報、エッジヒストグラム、エッジコードリストの少なくともいずれか１つから、先行車領域の画像エッジの左右対称度を検出し、該左右対称度を前記先行車領域の画像特徴量情報として収集するようにしたことを特徴とする（請求項４）。

また、本発明の先行車認識装置は、エッジ二値画像情報収集手段に代えて上下平行線ペア検出収集手段を備え、この手段により、水平エッジのエッジ二値画像の情報、エッジヒストグラム、エッジコードリストの少なくともいずれか１つから、先行車領域の画像エッジの上下平行線ペアを検出し、該上下平行線ペアを前記先行車領域の画像特徴量情報として収集することを特徴とする（請求項５）。

また、本発明の先行車認識装置は、エッジ二値画像情報収集手段に代えて特定個所情報収集手段を備え、この手段により、先行車領域の測距結果と、エッジ二値画像の情報、エッジヒストグラム、エッジコードリストの少なくともいずれか１つとから、先行車領域のナンバープレート又はタイヤの矩形状部分を特定個所として検出し、前記特定個所の形状、大きさ等の特定個所情報を前記先行車領域の画像特徴量情報として収集するようにしたことを特徴とする（請求項６）。

そして、測距センサがスキャニングレーザレーダからなることが好ましく（請求項７）、さらに、画像センサが単眼カメラからなることか好ましい（請求項８）。

また、位置予測更新手段が、先行車領域の位置変移に基づくカルマンフイルタ処理により、先行車位置を予測して更新することが実用的である（請求項９）。

まず、請求項１の発明によれば、クラスタリング処理手段による測距センサの測距結果に基づくクラスタリングと、先行車領域決定手段の先行車領域の決定とにより、測距センサの前記探査範囲において、先行車の前回までの位置から予測された先行車位置にほぼ位置するクラスタ領域が、先行車のクラスタ領域として検出され、このクラスタ領域が先行車領域に決定される。

また、エッジ画像計算処理手段により、画像センサの少なくとも先行車領域の撮影画像の水平エッジ、垂直エッジの少なくともいずれか一方のエッジ画像が二値化処理されてエッジ二値画像の情報に加工され、そのエッジ二値画像の情報が、エッジ二値画像情報収集手段によって、前記先行車領域の画像特徴量情報として収集され、収集された画像特徴量情報が判定基準の画像特徴量情報にほぼ一致することを条件に、認識判定手段が前記先行車領域を先行車として認識する。

さらに、先行車領域を先行車として認識するときは、判定基準更新手段により、エッジ二値画像情報収集手段が収集した画像特徴量情報と判定基準の画像特徴量情報との差が判定基準の画像特徴量情報に加算され、先行車の最新の位置に応じて判定基準の画像特徴量情報が更新され、また、予測位置更新手段により、先行車の最新の位置に基づいて先行車位置の予測が更新される。

そのため、画像センサの例えば画素当たり８ビット程度の撮影画像が画素当たり１ビットのエッジ二値画像の情報に情報圧縮され、このエッジ二値画像の情報をその領域の画像特徴量情報として、この画像特徴量情報と判定基準の画像特徴量情報とを比較するだけの計算量が少なく簡単な画像処理により、撮影画像の輝度データをそのまま用いる複雑で計算量の極めて多い相関演算やスネークの輪郭線抽出等を行うことなく、先行車を検出して認識することができ、小規模、安価な画像処理のハードウエアを用いた安価で実用的な構成により、測距センサの測距結果と画像センサの撮影画像とに基づくセンサフュージョンで先行車を精度よく認識することができる。

つぎに、請求項２の発明によれば、エッジ二値画像情報収集手段に代わるエッジヒストグラム収集手段により、エッジ画像計算処理手段のエッジ二値画像の情報に代えて、このエッジ二値画像を水平方向、垂直方向の少なくともいずれか一方向のエッジヒストグラムを、画像特徴量情報として収集することができる。

この場合、ヒストグラムの画像特徴量情報により、画像エッジの特徴が強調されて明確になる。

そして、画像センサの撮影画像が情報圧縮されたエッジ二値画像の情報に加工され、このエッジ二値画像の情報の先行車のエッジヒストグラムの画像特徴量情報と、前回までの先行車のエッジヒストグラムに基づく判定基準の画像特徴量情報とを比較する計算量が少なく簡単な画像処理により、先行車を一層精度よく認識することができ、小規模、安価な画像処理のハードウエアを用いて先行車を精度よく認識することができる安価な構成のセ
ンサフュージョンの先行車認識装置を提供することができる。

また、請求項３の発明によれば、請求項１のエッジ二値画像情報収集手段に代わるコードリスト収集手段により、前記エッジヒストグラムを、例えば、そのピーク点で論理１（以下、「１」という）のビットになり、それ以外の点で論理０（以下、「０」という）のビットになるビット列のエッジコードリストにコード変換してさらに情報圧縮し、このコードリストの画像特徴量情報と前回までのコードリストの画像特徴量情報とのいわゆるコード比較に基づき、エッジヒストグラムより計算量が少なく簡単な処理で先行車を精度よく認識することができ、一層小規模で安価な画像処理のハードウエアを用いて先行車を精度よく認識することができ、安価で一層実用的な構成のセンサフュージョンの先行車認識装置を提供することができる。

さらに、請求項４の発明によれば、車両の画像であれば、その大部分が左右対称になることに着目し、請求項１のエッジ二値画像情報収集手段に代えて左右対称度検出収集手段を備え、この左右対称度検出収集手段により、垂直エッジのエッジ二値画像、エッジヒストグラム、エッジコードリストの少なくともいずれか１つから、前記先行車領域の画像エッジの左右対称度を検出し、この検出結果の左右対称度が高くなることから先行車を認識することができる。

この場合も、画像センサの撮影画像が、画素当たりのビット数が少ない情報圧縮されたエッジ二値画像に加工され、このエッジ二値画像の情報、そのエッジヒストグラム、エッジコードリストの画像特徴量情報と、判定基準の画像特徴量情報とを比較する計算量が少なく簡単な画像処理により、小規模、安価な画像処理のハードウエアを用いて先行車を精度よく認識することができる。

さらに、請求項５の発明によれば、画像センサの撮影画像が車両画像であれば、その画像中に、少なくとも先行車の車両上部の水平エッジと車両下部の水平エッジとが上下平行線ペアとして出現し、車両以外の撮影画像であれば、このような上下平行線ペアが出現しないことに着目し、先行車領域における水平エッジのエッジ二値画像、エッジヒストグラム、エッジコードリストのすくなくとも１つから、先行車領域の上下平行線ペアを検出し、先行車を認識することができる。

この場合も、画像センサの撮影画像が、情報圧縮されたエッジ二値画像の情報に加工され、このエッジ二値画像の情報、そのエッジヒストグラム、エッジコードリストの画像特徴量情報と、判定基準の画像特徴量情報とを比較する計算量が少なく簡単な画像処理により、小規模、安価な画像処理のハードウエアを用いて先行車を精度よく検出することができる。

つぎに、請求項６の発明によれば、画像センサの撮影画像において、先行車の特定個所のナンバープレート、タイヤが車両特有の矩形状になることに着目し、エッジ二値画像情報収集手段に代わる特定個所情報収集手段により、測距センサの先行車領域の測距結果と、エッジ二値画像の情報、エッジヒストグラム、そのコードリストの少なくともいずれか１つとから、先行車のナンバープレート又はタイヤの矩形状部分を特定個所として検出し、その個所の形状、大きさ等の特定個所情報を先行車領域の画像特徴量情報として収集し、先行車を認識することができ、この場合も、画像センサの撮影画像のエッジ二値画像の情報、エッジヒストグラム、エッジコードリストの画像特徴量情報と、判定基準の画像特徴量情報とを比較する計算量が少なく簡単な画像処理により、小規模、安価な画像処理のハードウエアを用いて先行車を精度よく認識することができる。

つぎに、装置を小型かつ安価に形成するため、測距センサが電波レーダより安価な汎用のスキャニングレーザレーダからなることが好ましく（請求項７）、画像センサが単眼カメラからなることが実用的で好ましい（請求項８）。

また、測距センサの測距結果から先行車のクラスタ領域（先行車領域）を精度よく決定するため、位置予測更新手段が、先行車領域の位置変移に基づくカルマンフイルタ処理により、先行車位置を予測して更新することが実用的である（請求項９）。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図６にしたがって詳述する。

＜＜一実施形態＞＞
まず、一実施形態について、図１〜図５にしたがって詳述する。

図１は車両（自車）１に搭載された先行車認識装置のブロック図、図２は図１の動作説明用のフロチャート、図３は図１のスキャニングレーザレーダ２の測距結果の先行車領域の説明図、図４は図１の単眼カメラの撮像画像上の先行車領域の説明図、図５は先行車領域の撮影画像からのエッジ二値画像の形成説明図である。

（構成）
図１の先行車認識装置は、測距センサとして、電波レーダに比して安価な汎用のスキャニングレーザレーダ２を備え、画像センサとして、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ３を備える。

そして、自車１のエンジン始動後、スキャニングレーザレーダ２はレーザパルスを掃引照射して自車前方をくり返し探査し、自車前方の測距結果の信号を自車１のマイクロコンピュータ構成の制御ＥＣＵ４に出力し、単眼カメラ３は自車前方を連続的に撮像し、その撮影画像の例えば画素当たり８ビットの輝度データの信号を制御ＥＣＵ４に出力する。

また、制御ＥＣＵ４は、予め設定された先行車認識プログラムを実行することにより、つぎの（ａ）〜（ｇ）の各手段を備える。

（ａ）クラスタリング処理手段
この手段は、スキャニングレーザレーダ２の探査毎に、その測距結果をクラスタリングし、スキャニングレーザレーダ２の探査範囲の各パルス照射点（測距点）を、計測距離の差が設定された誤差範囲内になる、測距結果がほぼ等しい近隣のパルス照射点同士の塊（クラスタ）にグループ化し、スキャニングレーザレーダ２の探査範囲に計測距離別のクラスタ領域を形成する。

（ｂ）先行車領域決定手段
この手段は、スキャニングレーザレーダ２の最新の探査結果のクラスタ領域と、不揮発性のメモリユニット５に書き換え自在に保持された先行車位置の予測領域とを比較し、予測領域にほぼ等しいクラスタ領域、換言すれば、探査範囲のほぼ予測された先行車位置のクラスタ領域を、先行車領域に決定する。

（ｃ）エッジ画像計算処理手段
この手段は、例えば画像微分二値化処理により、単眼カメラ３の撮影画像の少なくとも先行車領域の水平エッジ、垂直エッジの少なくとも一方のエッジ画像を形成し、このエッジ画増を二値化処理して、前記撮影画像の例えば画素当たり８ビットの輝度データを、画素当たり１ビットの情報量が少ない水平エッジ、垂直エッジの少なくともいずれか一方のエッジ二値画像の情報に変換する。

（ｄ）エッジ二値画像情報収集手段
この手段は、前記エッジ二値画像の情報を、先行車領域の画像特徴量（ベクトル量）の情報、すなわち、画像特徴量情報として収集する。

（ｅ）認識判定手段
この手段は、エッジ二値画像情報収集手段が収集した画像特徴量情報と、メモリユニット５に書き換え自在に保持された判定基準の画像特徴量情報とを比較し、両画像特徴量情報がほぼ一致するときは、先行車領域が今までと同じ先行車の捕捉によって生じた領域であって、その領域が先行車であること、換言すれば、同じ先行車の捕捉継続中であることを認識し、両画像特徴量情報が一致しないときは、先行車領域が今までとは別の先行車、又は、車両以外の物体（障害物）の捕捉によって生じた領域であって、先行車の入れ替わり、或いは、先行車の見失い等が発生し、その領域が前回までの先行車でないことを認識する。

そして、前回までと同じ先行車であることを認識したときは、その認識結果を、例えば図示省略した追従走行制御、衝突回避制御のＥＣＵに通知し、先行車領域の測距結果や画像認識結果等に基づく周知の追従走行制御、衝突回避のブレーキ介入制御を可能にする。

また、先行車の入れ替わりや見失いが発生したときは、その認識結果を、前記の追従走行制御、衝突回避制御のＥＣＵに通知し、例えば、前記の追従走行制御、衝突回避のブレーキ介入制御を禁止して誤制御の発生を防止する。

（ｆ）判定基準更新手段
この手段は、認識判定手段が前回までと同じ先行車を認識する毎に、エッジ二値画像情報収集手段が収集した画像特徴量情報と判定基準の画像特徴量情報との差を判定基準の画像特徴量情報に加算し、判定基準の画像特徴量情報を先行車の挙動にしたがって更新する。

具体的には、エッジ二値画像情報収集手段が今回収集した時刻ｔの画像特徴量情報をＸｔ、メモリユニット５に保持されている前回までの画像特徴量情報をＰｔとし、更新された次回の（時刻ｔ＋１の）判定基準の画像特徴量情報をＰｔ＋１とすると、つぎの＜１＞式の演算によって次回の画像特徴量情報Ｐｔ＋１を求めて予測し、メモリユニット５の画像特徴量情報Ｐｔを画像特徴量情報Ｐｔ＋１に書き換えて更新する。なお、＜１＞式中のｋは、いわゆるヒス係数であり、０〜１の適当な値（０＜ｋ＜１）に設定される。

Ｐｔ＋１＝Ｐｔ＋ｋ×（Ｘｔ−Ｐｔ）＝ｋ×Ｘｔ＋（１−ｋ）×Ｐｔ ＜１＞式

そして、同じ先行車を認識する毎に、メモリユニット５の判定基準の画像特徴量情報を、＜１＞式にしたがって書き換えることにより、判定基準の画像特徴量情報は、次回の先行車位置の予測範囲を示す。

なお、前記の認識判定手段は、次回の収集画像特徴量情報Ｘｔ＋１と判定基準の画像特徴量情報Ｐｔ＋１との差が基準量以下であれば、同一の先行車の捕捉継続中であることを認識し、収集画像特徴量情報Ｘｔ＋１と画像特徴量情報Ｐｔ＋１との差が前記基準量以上になって画像特徴量情報Ｘｔ＋１が画像特徴量情報Ｐｔ＋１と大きく異なると、先行車を認識できないと判断する。

（ｇ）位置予測更新手段
この手段は、認識判定手段が先行車を認識したときに、探査範囲における先行車領域の位置変移に基づいてメモリユニット５の先行車位置の予測を更新する。

具体的には、この実施形態の場合、今回までの同一の先行車についての先行車領域の位置の情報に基づき、周知のカルマンフイルタ処理により、次回のその先行車についての先行車領域の位置を予測し、この予測の結果により、メモリユニット５の先行車位置の予測を書き換えて更新する。

（動作）
つぎに、図２のステップＳ１〜Ｓ１１のフローチャートを参照して、図１の装置の動作について説明する。

まず、自車１の走行中、制御ＥＣＵ４は前記の先行車認識プログラムを実行し、図２のステップＳ１によりスキャニングレーザレーダ２の測距結果の信号を取り込み、同図のステップＳ２により単眼カメラ３の撮影画像の輝度データの信号を取り込む。

そして、図２のステップＳ３において、制御ＥＣＵ４のクラスタリング処理手段がスキャニングレーザレーダ２の探査毎に測距結果をクラスタリングし、スキャニングレーザレーダ２の探査範囲の各パルス照射点（測距点）を、計測距離の差が設定された誤差範囲内になる近隣のパルス照射点同士のクラスタにグループ化し、探査範囲に計測距離別のクラスタ領域を形成する。

このとき、先行車の各所の測距点は、測距結果の車間距離がほぼ等しくなることから、１つのクラスタ領域を形成し、この領域が後述の先行車領域になる。

つぎに、図２のステップＳ４において、制御ＥＣＵ４の先行車領域決定手段が、メモリユニット５の先行車位置の最新の予測に基づき、例えば図３に示すように、スキャニングレーザレーダ２の探査範囲Ｌのほぼ予測された先行車位置のクラスタ領域を検出して当該クラスタ領域を先行車領域Ａに決定する。

つぎに、図２のステップＳ５により、制御ＥＣＵ４のエッジ画像計算処理手段が単眼カメラ３の撮影画像の輝度データを画像微分二値化処理し、エッジ二値画像の情報に加工する。

このとき、例えば図４の撮影画像Ｐ全体の輝度データを画像微分二値化処理してもよいが、処理の簡素化等を図って極力安価に先行車を検出するため、ステップＳ４の先行車領域の決定結果に基づき、スキャニングレーザレーダ２と単眼カメラ３の座標原点とを合わせ、少なくとも図４の撮影画像Ｐ中の白枠で囲んだ先行車領域Ａの部分の輝度データを水平方向、垂直方向に画像微分二値化処理することで、図５に示すように、例えば撮影画像の先行車領域Ａの水平エッジ、垂直エッジのエッジ二値画像の情報を形成する。

具体的には、先行車領域Ａの撮影画像の例えば画素当たり８ビットの輝度データを微分処理して水平エッジ、垂直エッジのすくなくともいずれか一方の画素当たり８ビットのエッジ画像を形成し、このエッジ画像を二値化処理することにより、水平エッジの画素については水平エッジの存在を示すフラグを「１」にセットし、垂直エッジの画素については垂直エッジの存在を示すフラグを「１」にセットし、単眼カメラ３の撮影画像の少なくとも先行車領域Ａにつき、水平エッジ、垂直エッジのすくなくともいずれか一方の画素当たり１ビットの図５のエッジ二値画像の情報を形成する。

この場合、先行車領域Ａの画素あたり８ビットの撮影画像が画素当たり１ビットのエッジ二値画像に加工され、情報量が１／８に圧縮されて以降の画像処理の計算量の低減が図られる。

なお、エッジ二値画像の情報は水平エッジ、垂直エッジのいずれか一方のエッジ二値画像の情報であってもよいが、先行車検出精度を向上するため、この実施形態においては、水平、垂直の両エッジのエッジ二値画像の情報であり、図５では、水平エッジのエッジ二値画像の灰色部分にハッチングを施し、白色の垂直エッジのエッジ二値画像の部分と、水平エッジの部分とを区別して示している。

また、水平エッジとは水平方向に伸びた輝度エッジであり、画像垂直方向の輝度微分から検出され、垂直エッジとは垂直方向に伸びた輝度エッジであり、画像水平方向の輝度微分から検出される。

つぎに、図２のステップＳ６により、制御ＥＣＵ４のエッジ二値画像情報収集手段が、先行車領域Ａのエッジ二値画像の情報を、先行車領域Ａの画像特徴量情報として収集し、図２のステップＳ７により、制御ＥＣＵ４の認識判定手段が、エッジ二値画像情報収集手段によって収集された画像特徴量情報と、メモリユニット５に書き換え自在に保持された最新の判定基準の画像特徴量情報とを比較する。

このとき、判定基準の画像特徴量情報が、前記＜１＞式の演算によって前回までの先行車の画像特徴量の共通点を強調した情報になることから、先行車領域Ａが前回までと同じ先行車の領域であれば、収集した画像特徴量情報が判定基準の画像特徴量情報とほぼ等しくなり、先行車領域Ａが前回までと同じ先行車の領域でなければ、収集した画像特徴量情報が判定基準の画像特徴量情報と大きく異なる。

そして、先行車領域Ａが今までと同じ先行車の領域であって、収集した画像特徴量情報と判定基準の画像特徴量情報とがほぼ一致するときは、先行車領域Ａを今までと同じ先行車であるとして認識する。

さらに、同じ先行車を認識すると、図２のステップＳ８からステップＳ９に移行し、先行車を引き続き捕捉していること（捕捉中であること）を、追従走行制御のＥＣＵや自動ブレーキ制御のＥＣＵ等に通知し、先行車領域Ａの測距結果や画像認識結果等に基づく追従走行制御、衝突回避のブレーキ介入制御等を許可する。

一方、先行車が別の車と入れ替わったり、先行車を見失ったりしたときは、収集した画像特徴量情報と判定基準の画像特徴量情報とが大きく異なることから、先行車領域Ａが、今までと異なる先行車か、車両以外の物の領域であると判定し、図２のステップＳ８からステップＳ１０に移行し、追従走行制御のＥＣＵや自動ブレーキ制御のＥＣＵ等に、前回までの先行車を認識していない旨を通知し、前記の追従走行制御、衝突回避のブレーキ介入制御等を禁止して誤制御を防止する。

さらに、ステップＳ９又はステップＳ１０の通知後、ステップＳ１１に移行し、認識判定手段が前回と同じ先行車を認識したときは、その認識毎に、前記＜１＞式の演算により次回の判定基準の画像特徴量情報を形成し、この情報によってメモリユニット５の判定基準の画像特徴量情報を先行車の挙動に追従して更新し、かつ、位置予測更新手段により、先行車領域Ａの探査範囲での位置変移に基づいて次回の先行車位置の予測を更新する。

この先行車位置の予測は、先行車領域Ａの探査範囲での前回までの位置変移に基づく周知のカルマンフイルタ処理により、次回の先行車位置を予測して更新することが、予測精度等の面から好ましい。

一方、認識判定手段が前回と同じ先行車を認識しないときは、例えば、メモリユニット５の判定基準の画像特徴量情報や先行車位置の予測を初期状態にリセットして図２の処理をくり返す。

そして、スキャニングレーザレーダ２の探査範囲に測距距離別のクラスタ領域を形成して先行車領域Ａを決定したため、単眼カメラ３の撮影画像に４輪車の本来の先行車だけでなく、隣の車線の４輪車や２輪車、路側の反射板等が含まれ、単眼カメラ３の撮影画像だけでは先行車の認識が困難な場合にも、スキャニングレーザレーダ２の測距結果との組み合わせにより、センサフュージョンで先行車を精度よく認識することができる。

さらに、例えば画素当たり８ビットの撮影画像の少なくとも先行車領域の部分を、画素当たり１ビットのエッジ二値画像の情報に加工して画像情報量を少なくし、このエッジ二値画像の情報をその領域の画像特徴量情報とし、この画像特徴量情報と判定基準の画像特徴量情報とを比較する、計算量が少なく簡単な画像処理により、小規模、安価な画像処理のハードウエアを用いた構成で先行車を認識することができる。

したがって、安価かつ実用的な構成により、測距センサの測距結果と画像センサの撮影画像とに基づくセンサフュージョンで先行車を精度よく認識することができる。

そのため、価格が重視される、いわゆる普及車クラスの車両等にもこの先行車認識装置を搭載し、誤制御のない追従走行制御、衝突回避のブレーキ介入制御等を実現して交通安全に貢献することができる。

＜＜他の実施形態＞＞
つぎに他の実施形態について、図６の特徴量情報の説明図を参照して詳述する。

前記一実施形態の場合、図４の制御ＥＣＵ４にエッジ二値画像情報収集手段を備え、先行車領域の画像特徴量情報として、エッジ画像計算処理手段により形成された先行車領域Ａの水平エッジ、垂直エッジの少なくともいずれか一方のエッジ二値画像の情報を収集し、認識判定手段により、エッジ二値画像情報収集手段が収集した画像特徴量情報と判定基準の画像特徴量情報とを比較し、両画像特徴量情報がほぼ一致するときに先行車領域Ａを先行車として認識するようにしたが、前記のエッジ二値画像情報収集手段に代えて、つぎの（ｉ）〜（ｖ）の各手段のいずれかを備えた場合にも、前記一実施形態と同様の効果を得ることができる。

（ｉ）エッジヒストグラム収集手段
この手段は、前記図２のステップＳ６において、エッジ画像計算処理手段が形成したエッジ二値画像の情報を、図６に示すように、水平方向、垂直方向それぞれに加算し、それぞれの方向のエッジ発生度数のヒストグラムである水平エッジヒストグラムＨａ、垂直エッジヒストグラムＶａを形成し、エッジヒストグラムＨａ、Ｖａを先行車領域Ａの画像特徴量情報として収集する。

そして、このエッジヒストグラム収集手段を備えた場合、認識判定手段により、エッジヒストグラム収集手段が収集したエッジヒストグラムＨａ、Ｖａと、図１のメモリユニット５に判定基準のエッジ二値画像の情報の代わりに書き換え自在に記憶した判定基準の水平、垂直エッジヒストグラムとを比較し、それらの頻度パターンがほぼ同一であれば、先行車領域Ａが前回までと同一の先行車であると認識し、大きく異なれば、先行車領域Ａが前回までとは異なる先行車又は車両以外のものであると認識する。

具体的には、エッジヒストグラムＨａ，Ｖａそれぞれの実験等によって定めた一定値以上のピーク点間距離（間隔）の比が、同一の車両であればほぼ同じになることから、例えば、図６のエッジヒストグラムＨａ、Ｖａそれぞれの間隔Ｗｈ、間隔Ｗｖの比について、収集した今回のそれらの比が、前回までのそれらの比である、判定基準の水平、垂直エッジヒストグラムの間隔Ｗｈ、間隔Ｗｖの比とほぼ等しくなるか否かによって、先行車領域Ａが前回までと同一の先行車か否かを判定して認識する。

この場合、エッジヒストグラムＨａ、Ｖａによって画像エッジの特徴が強調されるため、先行車領域Ａが前回までのと同一の先行車の領域か否かの判定が、一層精度よく行える利点もある。

なお、エッジヒストグラムＨａ、Ｖａのいずれか一方から認識してもよく、この場合は、計算量が一層少なくなる等の利点がある。

（ｉｉ）コードリスト収集手段
この手段は、前記エッジ二値画像のエッジヒストグラムＨａ、Ｖａを、ピーク点で「１」のビット値になり、それ以外の点で「０」のビット値になる、図６のシリアルビット列の水平エッジピークコードＨｂ、垂直エッジピークコードＶｂのエッジコードリストにコード変換し、このエッジコードリストを先行車領域Ａの画像特徴量情報として収集する。

なお、図６のエッジピークコードＨｂ、Ｖｂの黒塗りのビットＢが「１」のビット値であり、白抜きのビットＢが「０」のビットである。

そして、このコードリスト収集手段を備えた場合、認識判定手段により、コードリスト収集手段が収集したコードＨｂ、Ｖｂのエッジコードリストと、図１のメモリユニット５に書き換え自在に記憶した判定基準のエッジコードリスト（前回のコードＨｂ、Ｖｂのエッジコードリスト）とを比較し、それらのコードがほぼ同一であれば、先行車領域Ａが前回までと同一の先行車であると認識し、大きく異なれば、先行車領域Ａが前回までとは異なる先行車又は車両以外のものであると認識する。

この場合、エッジヒストグラムＨａ、Ｖａをコード化して扱うため、コンピュータの処理負担が極めて少なくなり、処理能力が小さく極めて安価な構成でも迅速に先行車の認識が行える利点もある。

（ｉｉｉ）左右対称度検出収集手段
この手段は、エッジ画像計算処理手段により形成した先行車領域Ａの垂直エッジのエッジ二値画像の情報、垂直エッジヒストグラムＶａ、該エッジヒストグラムＶａをビット列にコード変換して形成した垂直エッジピークコードＶｂ（エッジコードリスト）の少なくともいずれか１つの画像左右方向の対称度から、先行車領域Ａの画像エッジの左右対称度を検出し、この左右対称度を先行車領域Ａの画像特徴量情報として収集する。

具体的には、例えば、先行車領域Ａを左側半分と右側半分とに分ける中央線（センターライン）より左側の「１」又はピーク値の画素と、中央線より右側のほぼ対称位置の「１」又はピーク値の画素との水平距離の等しさの程度（例えば完全に等しいときを１００パーセントとする対称性）を求め、それらの領域Ａ全体の平均を左右対称度として検出し、先行車領域Ａの画像特徴量情報として収集する。

そして、この左右対称度検出収集手段を備えた場合、認識判定手段により、左右対称度検出収集手段が収集した左右対称度と、図１のメモリユニット５に書き換え自在に記憶した判定基準の左右対称度（前回までの左右対称度の平均）とを比較し、両対称度がほぼ同一であれば、先行車領域Ａが前回までと同一の先行車であると認識し、大きく異なれば、先行車領域Ａが前回までとは異なる先行車又は車両以外のものであると認識する。

なお、垂直エッジのエッジ二値画像の情報、垂直エッジヒストグラムＶａ、そのエッジコードリストの複数（２又は３（全部））の画像左右方向の対称度から認識するときは、例えば、それらの対称度の多数決処理又は平均によって画像左右方向の対称度を決定すればよい。

（ｉｖ）上下平行線ペア検出収集手段
この手段は、エッジ画像計算処理手段により形成した先行車領域Ａの水平エッジのエッジ二値画像の情報、水平エッジヒストグラムＨａ、該エッジヒストグラムＨａをコード変換して形成した水平エッジピークコードＨｂ（エッジコードリスト）の少なくともいずれか１つから、先行車領域Ａの上下平行線ペアを検出し、該上下平行線ペアを先行車領域Ａの画像特徴量情報として収集する。

具体的には、先行車領域Ａにおいて、多くの場合、一番上の水平エッジのラインが、先行車の車両上部のルーフエッジ等の特徴的な水平エッジのラインであり、一番下の水平エッジのラインが、先行車の車両下部の床やバンパーエッジ等の特徴的な水平エッジのラインであることから、例えば、先行車領域Ａの水平エッジが一定長以上連続する一番上の水平エッジ線と一番下の水平エッジ線とを、検出対象の上下平行線ペアとして収集する。

そして、この上下平行線ペア検出収集手段を備えた場合、認識判定手段により、上下平行線ペア検出収集手段が収集した上下平行線ペアと、図１のメモリユニット５に判定基準のエッジ二値情報の代わりに書き換え自在に記憶した判定基準の上下平行線ペア（前回までの上下平行線ペアの平均）とを、例えば、位置、長さ等について比較し、両上下平行線ペアがほぼ同一であれば、先行車領域Ａが前回までと同一の先行車であると認識し、大きく異なれば、先行車領域Ａが前回までとは異なる先行車又は車両以外のものであると認識する。

なお、実験等に基づき、先行車領域Ａの他の２水平エッジ線を、検出対象の上下平行線ペアに設定して収集してもよいのは勿論である。

また、エッジ二値画像の情報、エッジヒストグラムＨａ、エッジピークコードＨｂの複数（２又は３（全部））から上下平行線ペアを検出するときは、例えば、それらの多数決処理又は平均によって上下平行線ペアを決定すればよい。

（ｖ）特定個所情報収集手段
この手段は、ナンバープレートやタイヤの位置、大きさが、車種等によって異なることが多い点に着目し、先行車領域Ａの各部の測距結果の位置情報と、エッジ画像計算処理手段によって形成したエッジ二値画像の情報、該エッジ二値画像の情報を加算して形成したエッジヒストグラム、該ヒストグラムをコード変換して形成したエッジコードリストの少なくともいずれか１つとから、先行車領域Ａのナンバープレート又はタイヤの矩形状を特定個所として検出し、この特定箇所の位置、大きさ等の特定情報を前記先行車領域の画像特徴量情報として収集する。

そして、この特定個所情報収集手段を備えた場合、認識判定手段により、特定個所情報収集手段が収集した先行車領域Ａのナンバープレート又はタイヤの矩形状の特定情報と、図１のメモリユニット５に書き換え自在に記憶した判定基準のナンバープレート又はタイヤの矩形状（前回までのナンバープレート又はタイヤの平均の矩形状）の特定情報とを比較し、両特定情報がほぼ同一であれば、先行車領域Ａが前回までと同一の先行車であると認識し、大きく異なれば、先行車領域Ａが前回までとは異なる先行車又は車両以外のものであると認識する。

本発明は、上記した両実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。

例えば、測距センサは、スキャニングレーザレーダでなく、同様のスキャニング式の安価な超音波レーダであってもよく、場合によっては、ミリ波レーダ等の電波レーダ等であってもよい。また、撮像センサは、単眼カメラに限られるものではない。

さらに、制御ＥＣＵ４の先行車認識プログラムの実行に基づく各手段の処理手順等が、両実施形態と異なっていてもよいのも勿論である。

ところで、自車１の装備部品数を少なくするため、図１のセンサ２、３等を追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。

この発明の一実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図１のスキャニングレーザレーダの測距結果から決定された先行車領域の説明図である。 図１の単眼カメラの撮影画像上の図３の先行車領域の説明図である。 図１の制御ＥＣＵのエッジ二値画像の情報の形成説明図である。 この発明の他の実施形態の画像特徴量情報の説明図である。

符号の説明

１ 自車
２ スキャニングレーザレーダ
３ 単眼カメラ
４ 制御ＥＣＵ
５ メモリユニット
Ａ 先行車領域
Ｈａ，Ｖａ ヒストグラム
Ｈｂ，Ｖｂ エッジピークコード

Claims (9)

1. 自車前方を探査する測距センサの測距結果と、自車前方を撮影する画像センサの撮影画像とに基づき、自車前方の先行車を認識するセンサフュージョンの先行車認識装置において、
   前記測距結果がほぼ等しい測距点をクラスタリングして前記測距センサの探査範囲に測距距離別のクラスタ領域を形成するクラスタリング処理手段と、
   前記探査範囲のほぼ予測された先行車位置のクラスタ領域を先行車領域に決定する先行車領域決定手段と、
   前記撮影画像の少なくとも前記先行車領域の水平エッジ、垂直エッジの少なくともいずれか一方のエッジ画像を二値化処理し、前記水平エッジ、前記垂直エッジの少なくともいずれか一方のエッジ二値画像を形成するエッジ画像計算処理手段と、
   前記エッジ二値画像の情報を前記先行車領域の画像特徴量情報として収集するエッジ二値画像情報収集手段と、
   前記エッジ二値画像情報収集手段が収集した前記画像特徴量情報と判定基準の画像特徴量情報とを比較し、両画像特徴量情報がほぼ一致するときに前記先行車領域を前記先行車として認識する認識判定手段と、
   前記認識判定手段が前記先行車を認識する毎に、前記エッジ二値画像情報収集手段が収集した画像特徴量情報と前記判定基準の画像特徴量情報との差の情報を前記判定基準の画像特徴量情報に加算して前記判定基準の画像特徴量情報を更新する判定基準更新手段と、
   前記認識判定手段が前記先行車を認識する毎に、前記先行車領域の位置変移に基づいて前記先行車位置の予測を更新する位置予測更新手段とを備えたことを特徴とする先行車認識装置。
2. 請求項１に記載の先行車認識装置において、
   エッジ二値画像情報収集手段に代えてエッジヒストグラム収集手段を備え、
   該エッジヒストグラム収集手段により、エッジ二値画像の水平方向、垂直方向の少なくともいずれか一方向のエッジヒストグラムを先行車領域の画像特徴量情報として収集するようにしたことを特徴とする先行車認識装置。
3. 請求項１に記載の先行車認識装置において、
   エッジ二値画像情報収集手段に代えてコードリスト収集手段を備え、
   該コードリスト収集手段により、エッジ二値画像の水平方向、垂直方向の少なくとも一方向のエッジヒストグラムを、ピーク点とそれ以外の点とでビット値が異なるビット列のエッジコードリストに変換し、該エッジコードリストを先行車領域の画像特徴量情報として収集するようにしたことを特徴とする先行車認識装置。
4. 請求項１に記載の先行車認識装置において、
   エッジ二値画像情報収集手段に代えて左右対称度検出収集手段を備え、
   該左右対称度検出収集手段により、垂直エッジのエッジ二値画像の情報、エッジヒストグラム、エッジコードリストの少なくともいずれか１つから、先行車領域の画像エッジの左右対称度を検出し、該左右対称度を前記先行車領域の画像特徴量情報として収集するようにしたことを特徴とする先行車認識装置。
5. 請求項１に記載の先行車認識装置において、
   エッジ二値画像情報収集手段に代えて上下平行線ペア検出収集手段を備え、
   該上下平行線ペア検出収集手段により、水平エッジのエッジ二値画像の情報、エッジヒストグラム、エッジコードリストの少なくともいずれか１つから、先行車領域の画像エッジの上下平行線ペアを検出し、該上下平行線ペアを前記先行車領域の画像特徴量情報として収集することを特徴とする先行車認識装置。
6. 請求項１に記載の先行車認識装置において、
   エッジ二値画像情報収集手段に代えて特定個所情報収集手段を備え、
   該特定個所情報収集手段により、先行車領域の測距結果と、エッジ二値画像の情報、エッジヒストグラム、エッジコードリストの少なくともいずれか１つとから、先行車領域のナンバープレート又はタイヤの矩形状部分を特定個所として検出し、前記特定個所の形状、大きさ等の特定個所情報を前記先行車領域の画像特徴量情報として収集するようにしたことを特徴とする先行車認識装置。
7. 測距センサがスキャニングレーザレーダからなることを特徴とする請求項１〜６のいずれかに記載の先行車認識装置。
8. 画像センサが単眼カメラからなることを特徴とする請求項１〜７のいずれかに記載の先行車認識装置。
9. 位置予測更新手段が、先行車領域の位置変移に基づくカルマンフイルタ処理により、先行車位置を予測して更新することを特徴とする請求項１〜８のいずれかに記載の先行車認識装置。

Images