JP2006004188A - 障害物認識方法及び障害物認識装置 - Google Patents

Abstract

【課題】ミリ波レーダ等の探査結果を利用することなく、撮像装置の自車前方の撮影画像から自車前方の衝突の可能性がある停止中の先行車等の静止状態の障害物を、自車の走行状態による誤認識が生じないようにして、確実に認識する。
【解決手段】自車１に搭載された単眼カメラ（撮像装置）３の自車前方の撮影画像の垂直エッジのヒストグラムを算出し、このヒストグラムのピーク点の軌跡のトラッキング画像を形成し、自車１の旋回半径から自車１の直進走行状態を検出したときに限り、前記ピーク点の軌跡の車幅方向の広がりの時間変化特性から衝突予測時間を算出し、この衝突予測時間に基づいて自車前方の衝突可能性がある静止状態の障害物を認識する。
【選択図】図１

Description

本発明は、自車に搭載された撮像装置の自車前方の撮影画像から、自車前方の停止中の先行車等の静止状態の障害物を認識する障害物検出方法及び障害物検出装置に関するものである。

一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両においては、いわゆる被害軽減自動ブレーキ機能等を実現するため、単体のセンサとして、或いは、スキャン式レーザレーダと組み合わせたセンサフュージョンの自車前方検出センサとして、車両（自車）に撮像装置が搭載される。

そして、この撮像装置の時系列の撮影画像のエッジ画像につき、オプティカルフローを検出して先行車等の自車前方の障害物を認識することが提案されている（例えば、特許文献１参照。）。

また、前記のセンサフュージョンの場合、レーザレーダの探査及び撮像装置の撮影により自車前方の情報を得て衝突の可能性がある先行車等の自車前方の障害物を認識することが提案されている（例えば、特許文献２参照。）。

なお、このセンサーフュージョンの障害物認識について、本出願人は、例えばレーザレーダの探査結果の反射点の位置と撮像装置の撮影画像のエッジ画像の矩形領域との照合から、自車前方の先行車を認識する認識方法を、既に出願している（特許文献３参照。）。

一方、この撮像装置の撮影画像の白線認識処理により、自車走行車線の隣の車線等との境界の白線（自車白線）を検出して認識することも提案されている（例えば、特許文献４参照。）。

また、前記のスキャン式レーザレーダを搭載した場合、その反射波の受信と、自車速とに基き、自車前方の障害物までの相対距離、その障害物の相対速度等を検出することで、衝突の可能性がある障害物の認識が行なえることは、よく知られており、周知である。

ところで、前記の障害物認識にあっては、安全性の向上を図る等の観点から、とくに、信号待ち等の何らかの理由で停止中の先行車等の自車前方の静止状態の障害物を確実に認識することが重要である。

特開平１１−３５３５６５号公報（段落［００２２］−［００２５］、［００４８］、図１） 特開平７−１８２４８４号公報（段落［０００６］−［００１０］、図１） 特開２００３−８４０６４号公報（段落［００２５］、［００４６］、図１） 特開平９−９１４４０号公報（段落［０００９］、［００１０］、図１）

前記従来の各障害物認識の場合、自車に搭載した撮像装置の撮影画像から障害物を認識するときには、自車が直進走行するものとして衝突の可能性を判断するため、カーブ路の走行や右左折、進路変更等によって自車が旋回運動するときに、自車前方の障害物の誤認識が生じ易く、この誤認識に基づき、不用意に自動ブレーキが動作してドライバ等に不快感を与える等の問題がある。

また、レーザレーダの探査結果も利用して衝突の可能性が高い障害物を認識する前記のセンサフュージョン等の場合は、レーザレーダが反射波を受信しなくなること等から、自車が旋回運動したときの自車前方の障害物の誤認識を低減し得るが、先行車等の障害物の後部左右両端のリフレクタが泥等で覆われていたり、始めからあるいは破損等によって無かったりすると、障害物に接近してもレーザレーダが反射波を受信せず、レーザレーダの探査からは障害物未検知状態のままになり、自車前方の衝突可能性がある障害物を確実に認識できない問題がある。

この問題を解消するため、レーザレーダに代えてミリ波レーダを用いることが考えられるが、ミリ波レーダは高価であり、この種の障害物認識にミリ波レーダを用いることは、主にコストの面から実用的でない。

本発明は、ミリ波レーダ等の探査結果を利用することなく、撮像装置の自車前方の撮影画像から自車前方の衝突の可能性がある停止中の先行車等の静止状態の障害物を、自車の走行状態による誤認識が生じないようにして、確実に認識することを目的とする。

上記した目的を達成するために、本発明の障害物認識方法は、自車に搭載された撮像装置によって自車前方を撮影し、前記撮像装置の撮影画像の垂直エッジのヒストグラムを算出して該ヒストグラムのピーク点を検出し、前記ピーク点の軌跡のトラッキング画像を形成し、自車の旋回半径から自車が直進走行状態か否かを判別し、該判別に基づいて自車の直進走行状態を検出したときに限り、前記ピーク点の軌跡の車幅方向の広がりの時間変化特性から衝突予測時間を算出し、前記衝突予測時間に基づいて自車前方の衝突可能性がある静止状態の障害物を認識することを特徴としている（請求項１）。

また、本発明の障害物認識方法は、垂直エッジのヒストグラムのピーク点の軌跡の位置と、白線認識処理によって検出した自車走行車線の白線の位置との比較に基づき、自車走行車線内に位置する有効なピーク点の軌跡を検出し、衝突予測時間を算出する時間変化特性を、少なくとも前記有効なピーク点の軌跡の車幅方向の広がりの時間変化特性に制限したことを特徴としている（請求項２）。

さらに、本発明の障害物認識方法は、撮影画像に設定した処理領域内の垂直エッジの画像位置及びヒストグラムのピーク点の軌跡から、前記垂直エッジのワールド座標系での自車走行方向の距離、高さ及び車幅方向の位置の座標を算出し、算出した前記ワールド座標系の各座標から垂直エッジの画像位置を再変換して求め、衝突予測時間を算出する時間変化特性を、少なくとも前記再変換により求めた画像位置が前記処理領域内に位置する垂直エッジのヒストグラムのピーク点の軌跡の車幅方向の広がりの時間変化特性に制限したことも特徴とし（請求項３）、トラッキング画像の画像中心座標の軌跡の左、右両側に垂直エッジのヒストグラムのピーク点の軌跡が位置することを衝突予測時間の算出許可条件とし、前記衝突予測時間を算出する時間変化特性を、少なくとも前記両側のピーク点の軌跡の時間変化特性の平均特性に制限したことも特徴としている（請求項４）。

また、本発明の障害物認識方法は、少なくとも撮影画像の垂直エッジのヒストグラムのピーク点が複数個であることを特徴とし（請求項５）、撮像装置が単眼カメラであることも特徴としている（請求項６）。

つぎに、本発明の障害物認識装置は、自車に搭載されて自車前方を撮影する撮像装置と、該撮像装置の撮影画像を処理して自車前方の衝突可能性がある静止した障害物を認識する画像処理認識部とを備え、前記画像処理認識部に、前記撮像装置の撮影画像の垂直エッジのヒストグラムを算出して該ヒストグラムのピーク点を検出するエッジピーク点検出手段と、前記ピーク点の軌跡のトラッキング画像を形成するトラッキング画像形成手段と、自車の旋回半径から自車が直進走行状態か否かを判別する走行状態判別手段と、前記走行状態判別手段の判別に基づいて自車の直進走行状態を検出したときに限り、前記ピーク点の軌跡の車幅方向の広がりの時間変化特性から衝突予測時間を算出する衝突予測時間演算手段と、前記衝突予測時間に基づいて自車前方の衝突可能性がある静止状態の障害物を認識する認識処理手段とを設けたことを特徴としている（請求項７）。

また、本発明の障害物認識装置は、画像処理認識部に、垂直エッジのヒストグラムのピーク点の軌跡の位置と、白線認識処理によって検出した自車走行車線の白線の位置との比較に基づき、自車走行車線内に位置する有効なピーク点の軌跡を検出する有効軌跡検出手段を設け、衝突予測時間演算手段により、衝突予測時間を算出する時間変化特性を、少なくとも前記有効な軌跡の車幅方向の広がりの時間変化特性に制限するようにしたことを特徴としている（請求項８）。

さらに、本発明の障害物認識装置は、画像処理認識部に、撮影画像に設定した処理領域内の垂直エッジの画像位置及びヒストグラムのピーク点の軌跡から、前記垂直エッジのワールド座標系での自車走行方向の距離、高さ及び車幅の座標を算出し、算出した前記ワールド座標系の各座標から垂直エッジの画像位置を再変換して求める座標変換処理手段を設け、衝突予測時間演算手段により、前記衝突予測時間を算出する時間変化特性を、少なくとも前記再変換により求めた画像位置が前記処理領域内に位置する垂直エッジのヒストグラムのピーク点の軌跡の車幅方向の広がりの時間変化特性に制限するようにしたことも特徴とし（請求項９）、衝突予測時間演算手段により、トラッキング画像の画像中心座標の軌跡の左、右両側に垂直エッジのヒストグラムのピーク点の軌跡が位置することを衝突予測時間の算出許可条件とし、前記衝突予測時間を算出する時間変化特性を、少なくとも前記両側のピーク点の軌跡の時間変化特性の平均特性に制限するようにしたことも特徴としている（請求項１０）。

また、本発明の障害物認識装置は、少なくとも撮影画像の垂直エッジのヒストグラムのピーク点が複数個であることを特徴とし（請求項１１）、撮像装置が単眼カメラであることも特徴としている（請求項１２）。

まず、請求項１、７の構成によれば、撮像装置の撮影画像につき、垂直エッジのヒストグラムのピーク点の時間変化の軌跡が検出されて、その軌跡のトラッキング画像が形成され、このとき、前記ピーク点の軌跡が障害物の垂直エッジのヒストグラムのピーク点の軌跡であれば、自車が障害物に近づくことによって撮影画像中の障害物が大きくなることから、その軌跡が車幅方向（水平方向）に広がる。

そして、自車の旋回半径から自車が直進走行状態であることを検出したときに限り、前記ピーク点の軌跡の車幅方向の広がりの時間変化特性から、自車前方の障害物が静止状態であるとして、その障害物と自車との相対的な接近の速さを検出して衝突予測時間を算出することができ、この予測時間の大きさから、衝突の可能性がある静止状態の障害物が認識される。

この場合、カーブ路の走行や右左折、進路変更等によって自車が旋回運動するときには、障害物の認識は行われず、ミリ波レーダ等の探査結果を利用しない安価な構成で、撮像装置の自車前方の撮影画像から自車前方の衝突の可能性がある停止中の先行車等の静止状態の障害物を、自車の走行状態による誤認識が生じないようにして確実に認識することができ、認識の信頼性が向上し、不用意に自動ブレーキが動作してドライバ等に不快感を与える等することがない。

つぎに、請求項２、８の構成によれば、少なくとも垂直エッジのヒストグラムのピーク点のうちの自車走行車線内に位置する自車前方の障害物として有効なピーク点の軌跡についてのみ衝突予測時間を算出するようにしたため、自車走行車線外の不要な垂直エッジの前記ピーク点を省いて認識処理が行なえ、誤認識を一層確実に防止することができ、衝突の可能性がある静止状態の障害物を一層確実に認識することができ、認識の信頼性等が一層向上する。

また、請求項３、９の構成によれば、撮影画像に設定した処理領域内の垂直エッジであって、撮影画像の座標系からワールド座標系に座標変換した後、ワールド座標系から撮影画像の座標系に再変換したときに前記処理領域内に位置する自車前方の静止状態の障害物の垂直エッジのみを選択し、衝突予測時間を算出する時間変化特性を、少なくとも選択した垂直エッジのヒストグラムのピーク点の軌跡の車幅方向の広がりの時間変化特性に制限したため、静止状態の障害物の垂直エッジについてのみ前記のピーク点の軌跡の時間変化特性から衝突予測時間を算出し、衝突の可能性がある静止状態の障害物を極めて確実に認識することができ、認識の信頼性等がさらに一層向上する。

また、請求項４、１０の構成によれば、自車前方の障害物が停止中の先行車等の静止状態の障害物であれば、自車が直進走行して前方の障害物に接近することにより、その垂直エッジのヒストグラムのピークの軌跡がトラッキング画像の画像中心座標の軌跡の左右に生じるため、トラッキング画像の画像中心座標の軌跡の左、右両側に垂直エッジのヒストグラムのピーク点の軌跡が位置することを衝突予測時間の算出許可条件とすることにより、静止状態の障害物のピーク点を選択し、選択した両側のピーク点の軌跡の時間変化特性の平均から、自車の走行状態に基づく誤認識を防止して衝突の可能性がある静止状態の障害物をさらに一層確実に認識することができ、認識の信頼性等がさらに一層向上する。

つぎに、請求項５、１１の構成によれば、少なくとも撮影画像の垂直エッジのヒストグラムのピーク点を複数個とすることで、実際の走行環境下での障害物の認識に適した構成とすることができ、また、請求項６、１２の構成によれば、撮像装置を単眼カメラとしたため、いわゆるステレオカメラを搭載する場合等に比して小型かつ安価になり、小型かつ安価な構成で障害物の認識が行なえる利点もある。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図８にしたがって詳述する。

図１は自車１に搭載されたセンサフュージョンの障害物認識装置のブロック図、図２は図１の撮影画像、垂直エッジヒストグラムの時間変化の説明図、図３、図４、図９は後述のトラッキング画像の一例、他の例、さらに他の例の説明図である。

また、図５は後述の座標変換の説明図、図６、図７はそれぞれ処理領域の説明図であり、図８は図１の動作説明用のフローチャートである。

そして、図１の障害物認識装置は、電波レーダに比して安価な汎用のスキャン式レーザレーダ２と、撮像装置としての小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ３とを備え、レーザレーダ２と単眼カメラ３が自車１に搭載されたセンサフュージョンの自車前方検出センサを形成する。

また、この障害物認識装置は、自車速を検出する車輪速センサ構成の車速センサ４及び、自車１の旋回状態を検出するためのヨーレートセンサ５、舵角センサ６等の自車状態検出用の各種センサ等も備える。

そして、自車１のエンジン始動後、レーザレーダ２はレーザパルスを車幅方向に掃引照射して送信し、自車前方をくり返し探査し、探査結果の信号をマイクロコンピュータ構成の制御ＥＣＵ７に出力し、単眼カメラ３は自車前方を連続的に撮像して撮影画像の信号を制御ＥＣＵ７に出力する。

つぎに、制御ＥＣＵ７はメモリユニット８等に予め設定された障害物認識プログラムを実行し、例えば、レーザレーダ２の探査結果と単眼カメラ３の撮影画像とに基づくセンサフュージョンの障害物認識処理と、単眼カメラ３の撮影画像に基づく静止状態の障害物の認識処理とを行って、両方の認識処理の少なくともいずれか一方によって衝突可能性がある障害物を認識したときに、ブレーキユニット９を自動ブレーキ制御し、警報ユニット１０によりブザー音やランプ点灯或いは音声出力やメッセージ表示等で自動ブレーキがかかったことをドライバ等に警報する。

そして、センサフュージョンの障害物認識処理は、前記特許文献２（特開平７−１８２４８４号公報）、特許文献３（特開２００３−８４０６４号公報）に記載のような従来からの周知のセンサフュージョンの障害物認識処理と同様であり、具体的には、前記特許文献２に記載の処理と同様、レーザレーダの探査結果から検出した自車と自車前方の障害物との距離を考慮して、撮像装置の撮影画像（エッジ画像）のパターンマッチング等によって障害物を認識する処理、或いは、前記特許文献４に記載の処理と同様、レーザレーダの探査結果の反射点の位置と撮像装置の撮影画像のエッジ画像の矩形領域との照合から障害物を認識する処理である。

つぎに、単眼カメラ３の撮影画像に基づく静止状態の障害物の認識処理を行なうため、制御ＥＣＵ７は、単眼カメラ３の撮影画像を処理して自車前方の衝突可能性がある静止した障害物を認識する画像処理認識部を形成し、この画像処理認識部はつぎの（ａ）〜（ｅ）の各手段を備える。

（ａ）エッジピーク点検出手段
この手段は、単眼カメラ３の時々刻々の撮影画像の垂直エッジのヒストグラムを算出し、そのヒストグラムのピーク点を検出し、最新の一定期間の検出結果をメモリユニット８に書き換え自在に蓄積保持する。

（ｂ）トラッキング画像形成手段
この手段は、メモリーユニット８に保持された時系列のピーク点の検出結果に基き、各時刻のピーク点をプロットして、前記ヒストグラムのピーク点の軌跡のトラッキング画像を形成する。

なお、自車走行環境において、自車前方の障害物やガードレール、道路標識等の非障害物に複数個の垂直エッジが存在することから、通常、垂直エッジのヒストグラムのピーク点及びその軌跡は複数個であり、また、障害物、非障害物の走行の有無等にしたがって軌跡の長さや方向（向き）等が異なる。

（ｃ）走行状態判別手段
この手段は、車速センサ４の自車速の検出及び、ヨーレートセンサ５、舵角センサ６のヨーレート、舵角の検出に基いて、時々刻々の自車１の推定自車旋回半径を演算して検出監視し、その旋回半径が予め設定された所定値以上か否かの比較検出に基き、自車１が直進走行状態か否かを判別する。

（ｄ）衝突予測時間演算手段
この手段は、走行状態判別手段の判別に基づいて自車の直進走行状態を検出したときに限り、前記のトラッキング画像のピーク点の軌跡の車幅方向の広がりの時間変化特性から衝突予測時間を算出する。

（ｅ）認識処理手段
この手段は、算出された衝突予測時間に基づいて自車前方の衝突可能性がある停止中の先行車等の静止状態の障害物を認識し、この認識に基いてブレーキユニット９の自動ブレーキ制御、警報ユニット１０の警報出力制御を行なう。

また、この実施形態においては、衝突の可能性がある静止状態の障害物を極めて正確に認識するため、前記の衝突予測時間演算手段により、トラッキング画像の画像中心座標の軌跡の左、右両側に垂直エッジのヒストグラムのピーク点の軌跡が位置することを衝突予測時間の算出許可条件とし、衝突予測時間を算出する時間変化特性を、少なくとも前記両側のピーク点の軌跡の時間変化特性の平均特性に制限する。さらに、認識対象の障害物を自車前方の静止状態のものに制限するため、制御ＥＣＵ７が形成する画像処理認識部は、つぎの（ｆ）、（ｇ）の手段も備える。

（ｆ）有効軌跡検出手段
この手段は、垂直エッジのヒストグラムのピーク点の軌跡の位置と、白線認識処理によって検出した自車走行車線の白線の位置との比較に基づき、自車走行車線内に位置する有効なピーク点の軌跡を検出する。

（ｇ）座標変換処理手段
この手段は、撮影画像に設定したいわゆる画像注視領域（以下、ＲＯＩ領域という）を処理領域とし、この領域内の垂直エッジの画像位置及びヒストグラムのピーク点の軌跡から、実際の走行系の座標であるワールド座標系での前記垂直エッジの個所の自車走行方向の距離、高さ及び車幅方向の位置の座標を算出し、算出した前記ワールド座標系の各座標から垂直エッジの画像位置を再変換して求める。

そして、この実施形態にあっては、走行状態判別手段が自車１の直進走行状態を検出したときに限り、有効軌跡検出手段によって検出された自車前方の有効な軌跡であり、かつ、座標変換処理手段の再変換によって検出した静止状態の障害物のピーク点の軌跡であって、前記の算出許可条件を満足する同障害物のピーク点の軌跡についてのみ、左右両側のピーク点の軌跡の時間変化特性の平均特性から衝突予測時間を算出し、この衝突予測時間から衝突可能性がある障害物を認識する。

つぎに、上記各手段による障害物認識の具体的な処理について説明する。

まず、自車１の走行中に単眼カメラ３の撮影画像Ｐｉが例えば図２に示すように時間変化し、自車１の走行によって、障害物である停止中の先行車Ａが相対的に自車１に接近するにしたがって撮影画像Ｐｉの先行車Ａが大きくなる。

なお、図２のｔ−６、ｔ−５、ｔ−４、ｔ−３、ｔ−２、ｔ−１、ｔは撮影時刻を示し、Ｗは撮影画像のほぼ中央部分に予め設定された所定の大きさのＲＯＩ領域を示す。

そして、各時刻の撮影画像Ｐｉの少なくともＲＯＩ領域Ｗの部分がエッジピーク点検出手段により加工され、この加工により、各撮影画像Ｐｉは輝度の垂直成分の時間変化の大きさにしたがって垂直のエッジ画像に変換された後二値化され、さらに、二値化された垂直成分のエッジ画像が水平方向に加算されて図２の垂直のヒストグラムＧが算出され、このヒストグラムＧの各ピーク点ｐが検出される。

このとき、先行車Ａについては左右方向でもある車幅方向（水平方向）の両端部等の特徴部分に大きなピーク点ｐが発生し、各ピーク点ｐの発生位置は時間経過にしたがって広がる方向に移動する。

さらに、トラッキング画像形成手段が各時刻のヒストグラムＧの各ピーク点ｐを重ねて各ピーク点ｐの軌跡のトラッキング画像Ｐｔを形成する。

図３は各ピーク点ｐを白色で示したトラッキング画像Ｐｔの一例を示し、この画像Ｐｔはほぼ先行車Ａの左右両側端部のピーク点ｐの軌跡ａ、ｂのみを含み、両軌跡ａ、ｂが、時間の経過にしたがって、換言すれば、先行車Ａが相対的に接近するにしたがって、ほぼ「ハ」の字状に車幅方向に広がるという特徴的な時間変化特性を示す。

なお、時間軸を上向きにとれば、前記の「ハ」の字を上下逆さまにした状態で車幅方向に広がる軌跡になる。

さらに、自車１が直進走行して停止中の先行車Ａに接近する場合、前記の左右両側の「ハ」の字状の時間変化特性の軌跡は、例えば図４のトラッキング画像Ｐｔに示すように、ほぼ画像中央の画像中心座標（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）の垂線状の軌跡の左、右両側に位置し、このことは、先行車Ａ以外の衝突予測対象の障害物についても同様である。

なお、図３、図４のａ、ｂはピーク点ｐの軌跡であり、前記の画像中心座標（ＦＯＥ）は画像内の無限遠点または消失点である。

また、図４において、ｃは画像中心座標（ＦＯＥ）の軌跡、図中の矢印線ｘはピーク点ｐの画像中心座標（ＦＯＥ）からの距離を示し、図中の矢印線ｄｘ／ｄｔは後述の衝突予測時間の算出に用いられる軌跡ａ、ｂの時間変化のベクトルである。

つぎに、誤認識を防止するため、少なくとも走行状態判別手段が、センサ４〜６の検出に基いて算出した自車１の旋回半径（推定自車旋回半径）から、自車１がカーブ路の走行や右左折、進路変更等を行なっておらず、直進走行状態であることを判別したときに限り、衝突予測時間演算手段により衝突予測時間を算出する。

つぎに、図５を参照して、前記の衝突予測時間の算出について説明する。

まず、図５は自車１の接近による画像状態変化を説明する模式図であり、自車１の走行を上から見た平面図に相当し、同図の左右が自車１の走行方向であって、自車１は右端部の停止中の先行車Ａに向かって直進走行する。

そして、前後する時刻ｔｎ、ｔｎ＋１に自車１の単眼カメラ３が先行車Ａを撮影すると、自車１の走行に基づき、図５の矢印線の撮影光路等からも明らかなように、撮影の距離や画像の大きさが変化し、このとき、直進走行する自車１の走行方向（前後方向）において、単眼カメラ３のレンズ位置を自車位置＜ｏ＞、この位置＜ｏ＞から微小な一定距離ｆ後方の撮影画像Ｐｉが得られる位置を撮像面位置＜ｆ＞、自車前方の先行車Ａの後部左右端のピークエッジｐの位置を障害物停止位置＜ａ＞とすると、図５の時刻ｔｎ、ｔｎ＋１の位置変化からも明らかなように、自車位置＜ｏ＞、撮像面位置＜ｆ＞は時間変化するが、障害物停止位置＜ａ＞は時間変化しない固定の位置である。

また、時刻ｔｎの自車位置＜ｏ＞と障害物停止位置＜ａ＞との実距離をＺ、時刻ｔｎ＋１の自車位置＜ｏ＞と障害物停止位置＜ａ＞との実距離をＺ１とすると、距離Ｚ、Ｚ１が時刻ｔｎ、ｔｎ＋１のいわゆる車間距離であり、その差ΔＺ（＝Ｚ−Ｚ１）が時刻ｔｎから時刻ｔｎ＋１の間の自車１の走行距離である。

さらに、撮像面位置＜ｆ＞の点ｑ及び障害物停止位置＜ａ＞の点Ｑを通るカメラ光軸の位置が撮影画像Ｐｉの前記画像中心座標（ＦＯＥ）の位置に相当する。

つぎに、ワールド座標系を、自車１の走行方向をＺ軸方向、車幅方向（水平方向）をＸ軸方向、高さ方向をＹ軸方向とする３次元のＸＹＺ座標系とし、撮影座標系を、撮像面位置＜ｆ＞において、水平方向をｘ軸方向、高さ方向をｙ軸方向とする二次元のｘｙ座標系とする。

そして、説明を簡単にするため、時刻ｔｎに、障害物停止位置＜ａ＞の座標（Ｘ、Ｙ、Ｚ）のピーク点ｐ（Ｘ、Ｙ、Ｚ）が、撮像面位置＜ｆ＞の座標（ｘ、ｙ）にピーク点ｐ（ｘ、ｙ）として撮像され、それから微小時間後の時刻ｔｎ＋１に、障害物停止位置＜ａ＞の座標（Ｘ１、Ｙ１、Ｚ１）のピーク点ｐ１が、撮像面位置＜ｆ＞の座標（ｘ１、ｙ１）のピーク点ｐ１として撮像されたとすると、図５からも明らかなように、時刻ｔｎのＸ軸の車幅方向成分（水平成分）について、つぎの（１）式が成り立つ。

Ｘ／Ｚ＝ｘ／ｆ （１）式

この（１）式を時間微分すると、つぎの（２）式を得る。

（ｄｘ／ｄｔ）・Ｚ＋ｘ・（ｄＺ／ｄｔ）＝ｆ・（ｄＸ／ｄｔ） （２）式
そして、自車１の直進走行により単眼カメラ３がカメラ光軸に沿って並進運動（前進運動）するときには、（１）式、（２）式中のＸは一定値で変わらず、Ｘ＝Ｘ１になることから、（２）式の右辺が０となり、つぎの（３）式が求まる。

（ｄｘ／ｄｔ）・Ｚ＋ｘ・（ｄＺ／ｄｔ）＝０ （３）式

ここで、ｄｘ／ｄｔ（＝ｘ１−ｘ）＝ｕとして、（３）式を整理すると、つぎの（４）式を得る。

（ｄＺ／ｄｔ）＝−（ｕ・Ｚ／ｘ） （４）式

そして、（４）式に基き、自車１の衝突予測時間Ｔｚを、つぎの（５）式にしたがって撮影画像上から算出することができる。

Ｔｚ＝−{Ｚ／（ｄＺ／ｄｔ）}＝ｘ／ｕ （５）式

すなわち、衝突予測時間演算手段は、例えば図４のトラッキング画像Ｐｔの各ピーク点ｐ（ｘ、ｙ）の軌跡の車幅方向（ｘ軸方向）の広がりの時間変化特性から、図中の矢印線のｘ、ｕ（＝ｄｘ／ｄｔ）を求め、前記（５）式の演算から衝突予測時間Ｔｚを算出する。

なお、衝突予測時間Ｔｚは、例えば、前記軌跡の新たなピーク点ｐ（ｘ、ｙ）が得られる毎に算出して更新され、また、前記軌跡が複数個ある場合、全部または一部（１個の場合を含む）の軌跡について算出される。

つぎに、認識処理手段により、例えば、設定された認識基準時間と算出された衝突予測時間Ｔｚとを比較し、衝突予測時間Ｔｚが認識基準時間以下になると、認識処理手段が、衝突の可能性がある停止中の先行車Ａ等の静止状態の障害物が前方に存在することを認識し、この認識に基いてブレーキユニット９に自動ブレーキ制御を指令し、警報ユニット１０を注意を促す警報出力に制御する。

なお、前記衝突予測時間演算手段によって複数個の衝突予測時間Ｔｚが算出されるときは、例えば、それらの平均時間と認識基準時間との比較から衝突の可能性が判断される。

そして、走行状態判別手段により、自車１が直進走行状態であることを判別したときに限って前記の障害物認識を行うことにより、自車１がカーブ路を走行したり、右左折、進路変更等を行なったりするときに、自車の走行方向とずれた方向の車両等を自車前方の衝突の可能性がある障害物として誤認識することがない。

なお、自車前方の先行車Ａ等の障害物を静止状態のものとして認識するのは、走行状態の障害物も認識対象とすれば、前記のＸ＝Ｘ１等が成立しなくなって距離Ｚ等が求まらなくなり、障害物の誤認識等が生じるからである。

ところで、認識精度の向上を図るため、走行状態判別手段が自車１の直進走行状態を検出すると、この実施形態の場合、衝突予測時間Ｔｚを計算する前に、有効軌跡検出手段により、トラッキング画像Ｐｔの各ピーク点ｐの軌跡の位置（画像上の座標位置）と、例えば、エッジ画像Ｐｔの画像情報を用いた白線認識処理から検出した自車走行車線の白線の位置（画像上の座標位置）との比較に基づき、エッジ画像Ｐｔの自車走行車線外の不要なピーク点ｐを除き、エッジ画像Ｐｔの自車走行車線内に位置する有効なピーク点ｐの軌跡のみを検出する。

なお、白線認識処理は、例えば、前記特許文献４（特開平９−９１４４０号公報）に記載の画像パターンマッチング（画像データ比較）等の公知の白線認識処理と同様の処理である。

そして、有効軌跡検出手段の検出に基づき、衝突予測時間Ｔｚを算出する時間変化特性を、少なくとも前記の有効な軌跡の車幅方向の広がりの時間変化特性に制限する。

さらに、この実施形態にあっては、停止中の先行車Ａ等の自車前方の静止状態の障害物のみを認識対象とするため、座標変換処理手段により、まず、撮影画像ＰｉのＲＯＩ領域Ｗ内の垂直エッジの画像位置及びヒストグラムのピーク点ｐの軌跡から、その垂直エッジのワールド座標系での３次元座標を求め、先行車Ａ等の障害物の自車１からの距離及び高さ、水平位置の３次元座標を算出する。

具体的には、つぎのようにして算出する。

まず、ワールド座標系の例えば（Ｚｓ、Ｙｓ、Ｘｓ）＝（１００ｍ、０．７ｍ、０ｍ）の基準座標点Ｓより、この座標点Ｓを含むＸＹ平面内で実験等によって設定長さだけＹ軸方向、Ｘ軸方向に広げた範囲が、ワールド座標系でのＲＯＩ領域であり、この領域を単眼カメラ３で撮影した図６の枠線領域が撮影座標系の二次元のＲＯＩ領域Ｗである。

このとき、基準座標点Ｓの距離Ｚｓはこの処理で認識したい距離より長くなるように、例えば１００ｍに設定され、高さＹｓは認識対象の障害物が車両主体なので、一般的な車両の高さに相当する、例えば０．７ｍに設定され、水平位置Ｘｓは自車進行方向に障害物が存在すると仮定して０ｍに設定される。

一方、図６の撮影座標系において、ｓ＊は基準座標点Ｓに対応する座標点であり、この座標点ｓ＊の上下、左右のα、βが、前記のＹ軸方向、Ｘ軸方向に広げた範囲に対応するｙ、ｘ軸方向の幅である。

なお、この認識処理にあっては障害物である先行車１の上端、下端のエッジを必ずしも捉える必要はない、換言すれば、先行車１の他の部分の垂直エッジからも認識できるので、前記のｙ軸方向の幅αは処理時間等を考慮した適当な長さであってよいが、垂直エッジが安定して得られるようにするため、ｘ軸方向の幅βはＲＯＩ領域Ｗ内に先行車１の左右端が極力含まれる長さにする。

つぎに、例えば図５の時刻ｔｎ、ｔｎ＋１のピーク点ｐ、ｐ１の軌跡からの垂直エッジの位置の距離Ｚ、水平位置Ｘへの換算を、図５から求まるつぎの換算式の計算で行なう。

すなわち、図５において、ｘ＝ｆ・（Ｘ／Ｚ）、ｘ１＝ｆ・（Ｘ１／Ｚ１）であり、また、先行車Ａが停止中とする条件に基き、Ｘ＝Ｘ１、Ｚ１＝Ｚ−ΔＺになることから、つぎの（６）式が成り立つ。

（ｘ／ｘ１）＝（Ｘ／Ｚ）／（Ｘ／（Ｚ−ΔＺ））＝１−（ΔＺ／Ｚ） （６）式

そして、この（６）式に基き、距離Ｚを求めるつぎの（７）式が換算式として得られる。

Ｚ＝（ΔＺ・ｘ１）／（ｘ１−ｘ） （７）式

この（７）式における自車１の移動距離ΔＺは、Ｖｓを自車速［ｍ／ｓ］、Ｔ（＝［ｔｎ＋１］―［ｔｎ］）を撮影画像（フィールド画像）のサンプリングタイム［ｓ］とすると、ΔＺ＝Ｖｓ・Ｔから求まる。

また、（７）式から距離Ｚが求まると、つぎの（８）式の換算式の計算から水平位置Ｘが求まる。

Ｘ＝Ｚ・（ｘ／ｆ） （８）式

さらに、時刻ｔｎの垂直エッジの高さＹも、その撮影座標の位置ｙと（７）式から求めた距離Ｚに基き、つぎの（９）式の換算式の計算から求まる。

Ｙ＝Ｚ・（ｙ／ｆ） （９）式

そして、前記の換算の計算により、垂直エッジのワールド座標系での距離、高さ、水平位置の座標（Ｚ、Ｙ、Ｘ）を算出する。

つぎに、算出した座標（Ｚ、Ｙ、Ｘ）を、例えば（８）式、（９）式の逆の演算等から画像座標（ｘ、ｙ）に再変換し、この再変換で得られた画像座標（ｘ、ｙ）が例えば図６のＲＯＩ領域Ｗ内に位置するか否かを判別する。

このとき、先行車Ａ等の障害物が静止状態であれば、障害物の走行移動がないため、前記の再変換で得られた画像座標（ｘ、ｙ）はＲＯＩ領域Ｗ内に位置するが、障害物が走行状態（正、逆いずれの走行状態も含む）であれば、障害物の走行移動によって計算式のΔＺ等が実際の距離と一致しなくなり、前記の再変換で得られた画像座標（ｘ、ｙ）がＲＯＩ領域Ｗ外の座標になる。

そして、衝突予測時間Ｔｚを算出する時間変化特性を、前記の再変換で得られた画像座標（ｘ、ｙ）がＲＯＩ領域Ｗ内に位置する垂直エッジのヒストグラムのピーク点の軌跡の車幅方向の広がりの時間変化特性に制限することにより、認識対象を、停止中の先行車Ａ等の自車前方の静止状態の障害物に確実に制限する。

なお、認識精度を高める場合は、図７に示すように、ＲＯＩ領域Ｗ内に破線ｌａ、ｌｂの内側の検出範囲を設定し、その検出範囲内に位置する軌跡にさらに制限するようにしてもよい。

つぎに、自車１が直進走行して停止中の先行車Ａ等の静止状態の障害物に接近する場合、例えば図４に示した「ハ」の字状の時間変化特性の軌跡が画像中央の垂線状の画像中心座標（ＦＯＥ）の軌跡の左、右両側に位置することに着目し、この実施形態においては、さらに、衝突予測時間演算手段により、例えば前記図４のトラッキング画像Ｐｔの画像中心座標（ＦＯＥ）の軌跡ｃの左、右両側それぞれに垂直エッジのヒストグラムのピーク点の軌跡がそれぞれ少なくとも１個以上位置することを衝突予測時間Ｔｚの算出許可条件とし、衝突予測時間Ｔｚを算出する時間変化特性を、少なくとも前記軌跡ｃの左右の両側のピーク点ｐの軌跡の時間変化特性の平均特性に制限する。

なお、軌跡ｃの左右の両側それぞれにピーク点ｐの軌跡が複数個ある場合は、例えば、左側、右側それぞれについて平均特性を求め、さらに、その両平均特性の平均特性を、衝突予測時間Ｔｚを算出する時間変化特性とする。

そして、以上の各制限を施して衝突予測時間Ｔｚを算出し、警報を発生するため、画像処理認識部としての制御ＥＣＵ７は、例えば図８のフローチャートに示すように動作する。

すなわち、自車１の走行中に図８のステップＳ１において、走行状態判別手段により、自車１が直進走行中か否かを判断し、直進走行状態のときに限りつぎのステップＳ２に進む。

そして、自車１が直進走行状態であれば、ステップＳ２、Ｓ３、Ｓ４により、単眼カメラ３から得られた最新の撮影画像Ｐｉに基き、垂直エッジのヒストグラム、そのピーク点ｐを検出し、最新のトラッキング画像Ｐｔを形成する。

つぎに、図８のステップＳ５に移行し、有効軌跡検出手段によって自車白線内の有効なピーク点ｐの軌跡を選択し、衝突予測時間Ｔｚを算出する時間変化特性を、有効な軌跡の車幅方向の広がりの時間変化特性に制限する。

つぎに、図８のステップＳ６に移行し、座標変換処理手段の座標変換、再変換によってＲＯＩ領域Ｗ内に位置する垂直エッジのピーク点を検出し、衝突予測時間Ｔｚを算出する時間変化特性を、さらに、検出したピーク点の軌跡の車幅方向の広がりの時間変化特性に制限し、認識対象を、停止中の先行車Ａ等の自車前方の静止状態の障害物に確実に制限する。

つぎに、図８のステップＳ７に移行し、衝突予測時間演算手段により、さらに、トラッキング画像Ｐｔの画像中心座標（ＦＯＥ）の軌跡の左、右両側に位置する垂直エッジのヒストグラムのピーク点の軌跡を衝突予測時間Ｔｚの算出許可条件に合致した軌跡として選択し、衝突予測時間Ｔｚを算出する時間変化特性を、さらに、前記両側のピーク点の軌跡の時間変化特性の平均特性に制限する。

そして、ステップＳ５〜Ｓ７の制限の結果残ったピーク点ｐの軌跡に基き、図８のステップＳ８により、画像中心座標（ＦＯＥ）の軌跡の左、右両側に位置するもの別の平均特性を平均して得られた時間特性から衝突予測時間Ｔｚを算出し、ステップＳ９によって衝突の可能性が高いか否かを判別し、衝突の可能性が高い先行車Ａ等の障害物を認識したときに、ステップＳ１０に移行してブレーキユニット９、警報ユニット１０を制御し、自動ブレーキ、その警報出力を行なう。

その結果、この実施形態の場合は、極めて正確に、衝突の可能性が高い先行車Ａ等の障害物に対してのみ自動ブレーキ、その警報出力を行なうことができ、自動ブレーキの誤動作が極めて少なくなり、例えば、図９のトラッキング画像Ｐｔのように、いずれのピーク点ｐの軌跡も「ハ」の字の特性を示さない走行環境下では、自動ブレーキがかからず、ドライバに不快感等を与えることもない。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記実施形態では、自車１の直進素行状態の制限下、有効軌跡検出手段によって検出された自車前方の有効な軌跡であり、かつ、座標変換処理手段の再変換によって検出した静止状態の障害物のピーク点の軌跡であって、衝突予測時間演算手段の前記の算出許可条件を満足するピーク点ｐの軌跡についてのみ、左右両側のピーク点の軌跡の時間変化特性の平均特性から衝突予測時間Ｔｚを算出したが、これらの手段のいずれか１または２の制限によって衝突予測時間Ｔｚを算出してもよく、これらの場合も、衝突可能性が高い自車前方の静止状態の障害物の認識精度は、従来より十分に向上するのは勿論である。

また、制御ＥＣＵ７の各手段の構成、処理手順等が前記実施形態と異なっていてもよく、さらに、撮像装置、ＣＣＤの単眼カメラに限られるものではなく、場合によっては、ステレオカメラであってもよい。

つぎに、前記実施形態では、センサフュージョンの認識処理と併用される場合に適用したが、本発明は、自車１が搭載する撮像装置の撮影画像からの障害物認識のみを行なう場合にも同様に提供することができ、この場合は、本発明の認識処理の結果のみの基づいて自動ブレーキの制御等が行なわれる。

そして、本発明の認識結果は、自動ブレーキ制御以外の車両の種々の走行制御に用いることができるのは勿論である。

ところで、自車１の装備部品数を少なくするため、例えば図１の単眼カメラ３を追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。

この発明の実施形態のブロック図である。 図１の撮影画像、垂直エッジヒストグラムの時間変化の説明図である。 図１のトラッキング画像の一例の説明図である。 図１のトラッキング画像の他の例の説明図である。 図１の座標変換の説明図である。 図１の処理領域の説明図である。 図１の処理領域の他の例の説明図である。 図１の動作説明用のフローチャートである。 図１のトラッキング画像のさらに他の例の説明図である。

符号の説明

１ 自車
３ 単眼カメラ
７ 制御ＥＣＵ
Ａ 先行車
Ｐｉ 撮影画像
Ｐｔ トラッキング画像
Ｇ ヒストグラム
ｃ 画像中心座標
ｐ ピーク点

Claims (12)

1. 自車に搭載された撮像装置によって自車前方を撮影し、
   前記撮像装置の撮影画像の垂直エッジのヒストグラムを算出して該ヒストグラムのピーク点を検出し、
   前記ピーク点の軌跡のトラッキング画像を形成し、
   自車の旋回半径から自車が直進走行状態か否かを判別し、
   該判別に基づいて自車の直進走行状態を検出したときに限り、前記ピーク点の軌跡の車幅方向の広がりの時間変化特性から衝突予測時間を算出し、
   前記衝突予測時間に基づいて自車前方の衝突可能性がある静止状態の障害物を認識することを特徴とする障害物認識方法。
2. 垂直エッジのヒストグラムのピーク点の軌跡の位置と、白線認識処理によって検出した自車走行車線の白線の位置との比較に基づき、自車走行車線内に位置する有効なピーク点の軌跡を検出し、
   衝突予測時間を算出する時間変化特性を、少なくとも前記有効なピーク点の軌跡の車幅方向の広がりの時間変化特性に制限したことを特徴とする請求項１に記載の障害物認識方法。
3. 撮影画像に設定した処理領域内の垂直エッジの画像位置及びヒストグラムのピーク点の軌跡から、前記垂直エッジのワールド座標系での自車走行方向の距離、高さ及び車幅方向の位置の座標を算出し、
   算出した前記ワールド座標系の各座標から垂直エッジの画像位置を再変換して求め、
   衝突予測時間を算出する時間変化特性を、少なくとも前記再変換により求めた画像位置が前記処理領域内に位置する垂直エッジのヒストグラムのピーク点の軌跡の車幅方向の広がりの時間変化特性に制限したことを特徴とする請求項１または２に記載の障害物認識方法。
4. トラッキング画像の画像中心座標の軌跡の左、右両側に垂直エッジのヒストグラムのピーク点の軌跡が位置することを衝突予測時間の算出許可条件とし、
   前記衝突予測時間を算出する時間変化特性を、少なくとも前記両側のピーク点の軌跡の時間変化特性の平均特性に制限したことを特徴とする請求項１〜３のいずれかに記載の障害物認識方法。
5. 少なくとも撮影画像の垂直エッジのヒストグラムのピーク点が複数個であることを特徴とする請求項１〜４のいずれかに記載の障害物認識方法。
6. 撮像装置が単眼カメラであることを特徴とする請求項１〜５のいずれかに記載の障害物認識方法。
7. 自車に搭載されて自車前方を撮影する撮像装置と、該撮像装置の撮影画像を処理して自車前方の衝突可能性がある静止した障害物を認識する画像処理認識部とを備え、
   前記画像処理認識部に、
   前記撮像装置の撮影画像の垂直エッジのヒストグラムを算出して該ヒストグラムのピーク点を検出するエッジピーク点検出手段と、
   前記ピーク点の軌跡のトラッキング画像を形成するトラッキング画像形成手段と、
   自車の旋回半径から自車が直進走行状態か否かを判別する走行状態判別手段と、
   前記走行状態判別手段の判別に基づいて自車の直進走行状態を検出したときに限り、前記ピーク点の軌跡の車幅方向の広がりの時間変化特性から衝突予測時間を算出する衝突予測時間演算手段と、
   前記衝突予測時間に基づいて自車前方の衝突可能性がある静止状態の障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
8. 画像処理認識部に、垂直エッジのヒストグラムのピーク点の軌跡の位置と、白線認識処理によって検出した自車走行車線の白線の位置との比較に基づき、自車走行車線内に位置する有効なピーク点の軌跡を検出する有効軌跡検出手段を設け、
   衝突予測時間演算手段により、衝突予測時間を算出する時間変化特性を、少なくとも前記有効な軌跡の車幅方向の広がりの時間変化特性に制限するようにしたことを特徴とする請求項７に記載の障害物認識装置。
9. 画像処理認識部に、撮影画像に設定した処理領域内の垂直エッジの画像位置及びヒストグラムのピーク点の軌跡から、前記垂直エッジのワールド座標系での自車走行方向の距離、高さ及び車幅方向の位置の座標を算出し、算出した前記ワールド座標系の各座標から垂直エッジの画像位置を再変換して求める座標変換処理手段を設け、
   衝突予測時間演算手段により、前記衝突予測時間を算出する時間変化特性を、少なくとも前記再変換により求めた画像位置が前記処理領域内に位置する垂直エッジのヒストグラムのピーク点の軌跡の車幅方向の広がりの時間変化特性に制限するようにしたことを特徴とする請求項７または８に記載の障害物認識装置。
10. 衝突予測時間演算手段により、トラッキング画像の画像中心座標の軌跡の左、右両側に垂直エッジのヒストグラムのピーク点の軌跡が位置することを衝突予測時間の算出許可条件とし、前記衝突予測時間を算出する時間変化特性を、少なくとも前記両側のピーク点の軌跡の時間変化特性の平均特性に制限するようにしたことを特徴とする請求項７〜９のいずれかに記載の障害物認識装置。
11. 少なくとも撮影画像の垂直エッジのヒストグラムのピーク点が複数個であることを特徴とする請求項７〜１０のいずれかに記載の障害物認識装置。
12. 撮像装置が単眼カメラであることを特徴とする請求項７〜１１のいずれかに記載の障害物認識装置。