JP2002334330A

JP2002334330A - 車両認識装置

Info

Publication number: JP2002334330A
Application number: JP2001139459A
Authority: JP
Inventors: Yuichi Koike; 雄一小池; Toshihiro Yamamura; 智弘山村; Yukinori Nishida; 雪徳西田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-05-10
Filing date: 2001-05-10
Publication date: 2002-11-22

Abstract

(57)【要約】【課題】道路の継ぎ目などの車両以外の敷設物を車両
と誤認識することなく、車両を高精度で認識することが
できる車両認識装置を提供する。【解決手段】自車両の前方を撮像して前方画像データを
形成するビデオカメラと、このビデオカメラで形成した
前方画像データを画像処理装置６に供給して、自車線上
では水平エッジを複数検出して、水平エッジ密集領域を
車両候補領域とし、この車両候補領域で垂直エッジを検
出して車両認識ウインドウを設定して自車線の先行車を
認識するが、隣接車線上では、垂直エッジを複数検出し
て垂直エッジ密集領域の移動方向で車両候補領域とする
か否かを判断し、車両候補領域で水平エッジを検出した
ときに隣接車線車両候補領域として設定して隣接車線車
両を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両前方の前方画
像データを撮像して、この前方画像データに基づいて自
車線や隣接車線の先行車両を認識するようにした車両認
識装置に関する。

【０００２】

【従来の技術】従来の車両認識装置としては、本出願人
が先に提案した特開平８−３２９３９７号公報に記載さ
れているものが知られている。この従来例は、撮像手段
で前方道路を撮像し、撮像した前方道路画像に微分画像
処理を施して微分画像を作成し、作成した微分画像の参
照領域内において車両の特徴を反映する縦エッジの特徴
量と横エッジの特徴量とを夫々算出し、算出した特徴量
を用いて相間演算することによって車両の特徴を示すエ
ッジを強調し、強調されたエッジ特徴量を用いて車両を
検出するように構成されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例にあっては、縦エッジの特徴量及び横エッジの特徴
量を強調させた後に車両を検出するようにしているの
で、道路の継ぎ目などの車両以外の敷設物も車両として
検出してしまうおそれがあり、車両認識精度を高精度化
することができないという未解決の課題がある。

【０００４】そこで、本発明は、上記従来例の未解決の
課題に着目してなされたものであり、車両認識精度を高
精度化することができる車両認識装置を提供することを
目的としている。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に係る車両認識装置は、自車両の前方を撮
像して前方画像データを形成する撮像手段と、該撮像手
段で形成した前方画像データから水平エッジを複数検出
する水平エッジ検出手段と、前記撮像手段で形成した前
方画像データから垂直エッジを複数検出する垂直エッジ
検出手段と、前記水平エッジ検出手段及び垂直エッジ検
出手段で検出した水平エッジ及び垂直エッジが密集して
いる領域を抽出して、当該領域を車両存在候補領域とす
る車両存在候補領域検出手段と、該車両存在領域候補検
出手段で検出した車両存在候補領域で車両認識処理を行
う車両認識手段とを備えている。

【０００６】また、請求項２に係る車両認識装置は、請
求項１に係る発明において、前記車両存在候補領域検出
手段は、水平エッジ検出手段及び垂直エッジ検出手段の
何れか一方のエッジ検出手段で検出したエッジの密集度
を測定するエッジ密集度測定手段と、該エッジ密集度測
定手段で測定したエッジ密集度に基づいて密集領域を抽
出する密集領域抽出手段と、該密集領域抽出手段で抽出
した密集領域内で、他方のエッジ検出手段でエッジ検出
したときに密集領域を車両存在候補領域として決定する
車両存在候補領域決定手段とを備えている。

【０００７】さらに、請求項３に係る車両認識装置は、
請求項２に係る発明において、前記密集度測定手段は水
平エッジ検出手段で検出した水平エッジの密集度を測定
するように構成されている。さらにまた、請求項４に係
る車両認識装置は、請求項２に係る発明において、前記
密集度測定手段は垂直エッジ検出手段で検出した垂直エ
ッジの密集度を測定するように構成されている。

【０００８】なおさらに、請求項５に係る車両認識装置
は、請求項２に係る発明において、前記撮像手段で形成
した前方撮像データに基づいて自車線領域と隣接車線領
域とを識別する車線識別手段を有し、前記車両存在候補
領域検出手段は、前記車線識別手段で識別した自車線領
域では前記密集度測定手段で水平エッジ検出手段で検出
した水平エッジの密集度を測定した後に垂直エッジ検出
手段で垂直エッジを検出し、隣接車線領域では前記密集
度測定手段で垂直エッジ検出手段で検出した垂直エッジ
の密集度を測定した後に水平エッジ検出手段で水平エッ
ジを検出するように構成されている。

【０００９】また、請求項６に係る車両認識装置は、請
求項２に係る発明において、前記撮像手段で形成した前
方撮像データに基づいて自車線領域と隣接車線領域とを
識別する車線識別手段を有し、前記車両存在候補領域検
出手段は、前記車線識別手段で識別した隣接車線領域
で、垂直エッジ密集領域が存在するか否かを判定する密
集領域存在判定手段と、該密集領域存在判定手段の判定
結果が垂直エッジ密集領域が存在するものであるときに
垂直エッジ密集領域の移動方向を検出する移動方向検出
手段と、該移動方向検出手段で検出した移動方向が所定
方向であるときに隣接車線車両候補として決定する隣接
車線車両候補決定手段と、該隣接車線車両候補決定手段
で隣接車線車両候補を決定したときに水平エッジ検出手
段で水平エッジを検出したときに車両存在候補領域とし
て決定する車両存在候補領域決定手段とを備えている。

【００１０】さらに、請求項７に係る車両認識装置は、
請求項１乃至６の何れかの発明において、前記水平エッ
ジ検出手段は、所定の長さ以上の水平エッジのみを検出
するように構成されている。さらにまた、請求項８に係
る車両認識装置は、請求項１乃至７の何れかの発明にお
いて、前記垂直エッジ検出手段は、所定の長さ以上の垂
直エッジのみを検出するように構成されている。

【００１１】

【発明の効果】請求項１に係る車両認識装置によれば、
撮像された前方画像データの画像全域から夫々複数の水
平エッジ及び垂直エッジを検出し、検出した水平エッジ
及び垂直エッジが密集する領域を車両存在候補領域とし
て決定するので、安定して車両候補を検出することがで
き、車両認識精度を向上させることができるという効果
が得られる。

【００１２】また、請求項２に係る車両認識装置によれ
ば、撮像された前方画像データの画像全域から水平エッ
ジ及び垂直エッジの何れか一方のエッジを検出してその
密集度を測定することにより一方のエッジ密集領域を抽
出し、抽出した密集領域について他方のエッジを検出す
ることにより抽出したエッジ密集領域を車両存在候補領
域として決定するので、車両存在候補領域を正確に決定
することができるという効果が得られる。

【００１３】さらに、請求項３に係る車両認識装置によ
れば、撮像された前方画像データの画像全域から先行車
後面の左右位置を特定し、その後、上下位置を特定する
ようにしているので、最も重要な自車両直前の先行車を
正確に検出することができると共に、車両後面のみを効
率的に検出して車両距離等の算出精度を向上させること
ができるという効果が得られる。

【００１４】さらにまた、請求項４に係る車両認識装置
によれば、撮像された前方画像データの画像全域から先
行車後面の上下位置を特定し、その後、左右位置を特定
するようにしているので、自車走行車線に隣接する車線
の先行車を正確に検出することができ、隣接車線からの
割込車両を正確に検出することができるという効果が得
られる。

【００１５】なおさらに、請求項５に係る車両認識装置
によれば、自車線領域においては先行車後面の左右位置
を特定してから上下位置を特定し、隣接車線においては
先行車後面の上下位置を特定してから左右位置を特定す
るので、自車線及び隣接車線の先行車を正確に検出する
ことができるという効果が得られる。また、請求項６に
係る車両認識装置によれば、隣接車線の先行車を検出す
る場合に、垂直エッジ密集領域が存在するときに、この
垂直エッジ密集領域の移動方向を検出し、この移動方向
が所定方向であるときに隣接車線車両候補として決定す
るので、隣接車線の車両候補をより正確に検出すること
ができるという効果が得られる。

【００１６】さらに、請求項７に係る車両認識装置によ
れば、水平エッジ検出手段で、所定長さ未満の水平エッ
ジを検出しないようにしているので、微小過ぎるエッジ
成分を排除して車両によるエッジ成分のみを精度良く検
出することができるという効果が得られる。さらにま
た、請求項８に係る車両認識装置によれば、垂直エッジ
検出手段で、所定長さ未満の垂直エッジを検出しないよ
うにしているので、微小過ぎるエッジ成分を排除して車
両によるエッジ成分のみを精度良く検出することができ
るという効果が得られる。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態を図面
について説明する。図１は本発明の一実施形態を示す概
略構成図であって、図中、１は乗用車等の車両であっ
て、車室内におけるフロントガラス２の上端における左
右の中央位置内側に車両前方の画像を撮像する撮像手段
としてのＣＣＤカメラ，ＣＭＯＳカメラ等のビデオカメ
ラ３が配設され、車両前端部に車両前方の車両や障害物
等に対する相対距離を検出する車間距離センサとしての
レーザレーダ距離計４が配設され、さらに例えば変速機
の出力側にその出力回転速度を検出する車速センサ５が
配設されている。

【００１８】ここで、レーザレーダ距離計４は、前方に
赤外光パルスを電波し、前方にある反射物（通常、先行
車の後端）で反射された反射波を計測し、反射波の到達
時間により先行車までの車間距離を検出する左、中央、
右の３つのヘッドを有して、夫々の方向に所定の指向角
を付けて配置され、各ヘッドから夫々距離検出値ＬＬ、
ＬＣ、ＬＲが出力される。

【００１９】そして、ビデオカメラ３で撮像した前方画
像データが画像処理装置６に入力されて、この画像処理
装置６で前方画像データに対して所定の画像処理を行っ
て先行車を認識し、その認識結果が車間距離検出装置７
に出力される。この車間距離検出装置７には、レーザレ
ーダ距離計４で検出した車間距離ＬＬ、ＬＣ及びＬＲ、
車速センサ５で検出した自車速Ｖｓも入力され、これら
と先行車の認識結果とに基づいて最も確からしい車間距
離を検出し、車間距離検出値Ｌを出力する。この車間距
離検出装置７から出力される車間距離検出値Ｌは、例え
ば、先行車への接近度合いが大きい場合に、運転者へ注
意を促す接近報知システムや、アクセルやブレーキを自
動操作して車間距離が走行車速に応じた目標車間距離に
一致するように車間距離制御する追従走行制御システム
等に入力され、接近度合いの報知判断や車間距離制御に
利用される。

【００２０】画像処理装置６では、図２〜図４に示す画
像認識処理を実行して、自車線及び隣接車線の先行車を
正確に検出する。すなわち、画像処理装置６では、図２
に示す画像認識処理を、例えば１００ｍｓｅｃに１回の
周期に設定されたタイマ割込処理として実行する。この
画像認識処理は、先ず、ステップＳ１で、ビデオカメラ
３で撮像された１フレーム分の前方画像データを読込
み、次いでステップＳ２に移行して、前方画像データに
基づいて道路認識を行って自車線と隣接車線との識別を
行う。

【００２１】この車線識別は、図５に示すように、路面
１１の白線１２の車幅方向中央位置でのビデオカメラ３
の路面からの高Ｈ₀の位置に原点を有する３次元のカメ
ラ座標系（Ｘ，Ｙ，Ｚ）１４と、消失点座標を（ｘ₀，
ｙ₀）とする２次元の画像座標系（ｘ，ｙ）１５とを定
義したときに、図６（ａ）に示す水平面及び図６（ｂ）
に示す垂直面を表す道路の三次元形状、車両位置、車両
姿勢を夫々表す道路パラメータを用いたレーンマーカモ
デルを設定し、このレーンマーカモデルを画像座標系に
変換して図７に示す画像座標系のレーンマーカモデルを
設定する。

【００２２】そして、ビデオカメラ３の焦点距離に対応
した定数をｆ、車両の左側に位置する白線と車両中心
（ビデオカメラ３の取付位置）との距離をＡ、車両前方
の道路曲率をＢ、カメラ座標系におけるＺ＝０の白線の
接線方向に対する車両のヨー角βを表すパラメータを
Ｃ、道路平面に対する車両のピッチ角αを表すパラメー
タをＤ、白線間距離をＥとし、走行車線上の自車両の位
置をａ、道路曲率をｂ、走行車線に対する相対ヨー角を
ｃ、走行車線との相対ピッチ角をｄ、車線幅をｅ、道路
白線に対応する番号をｉ（自然数）としたときに、レー
ンマーカモデル式は、下記（１）式で表すことができ
る。

【００２３】ｘ_i＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ …………（１）ここで、ａ＝−Ａ／Ｈ₀，ｂ＝−ＢＨ₀ｆ²，ｃ＝−Ｃ
ｆ＋ｘ₀，ｄ＝−Ｄｆ＋ｙ₀，ｅ＝Ｅ／Ｈ₀で表され
る。したがって、前方画像データにおいて、初回は初期
設定で、２回目からは前フレームの処理結果に基づいて
複数の小ウインドウを設定し、各小ウインドウにおいて
前回検出されたレーンマーカモデル近傍のエッジ点を探
索し、このエッジ点をもって白線候補点とし、検出され
た白線候補点群に対して、誤差が最少となるような前記
パラメータａ〜ｅを最小二乗法を用いて決定し、得られ
たｉ＝０及びｉ＝１のレーンマーカモデルをもって自車
線として認識し、ｉ＝１及びｉ＝２のレーンマーカモデ
ルをもって隣接車線として認識する。

【００２４】次いで、ステップＳ３に移行して、自車線
上の車両候補検出処理を行い、次いでステップＳ４に移
行して、隣接車線上の車両候補検出処理を行い、次いで
ステップＳ５に移行して、自車線上に先行車があるか否
かを判定し、先行車がある場合にはステップＳ６に移行
して、先行車位置、車間距離を算出し、これをＲＡＭ等
の記憶装置に設けた先行車記憶領域に更新記憶してから
ステップＳ７に移行し、自車線上に先行車がないときに
はそのままステップＳ７に移行する。

【００２５】ステップＳ７では、隣接車線上に先行車が
あるか否かを判定し、隣接車線上に先行車があるときに
はステップＳ８に移行して、後述する図４の隣接車線上
の車両候補検出処理で記憶装置の隣接車両情報記憶領域
に記憶される隣接車線上の先行車の移動方向を読出し、
次いでステップＳ９に移行して、隣接車線上の先行車が
追い越し車両であるか自車線への割込車両であるかを判
定する。この場合の判定は、レーンマーカと平行に隣接
車線の先行車が移動している場合には追い越し車両と判
定し、レーンマーカと交差し自車線領域に移動している
場合には割込車両と判定する。

【００２６】このステップＳ９の判定結果が割込車両で
あるときにはステップＳ１０に移行して、割込車両であ
るか否かを表す割込車両フラグＣＲＦを“１”にセット
してからステップＳ１２に移行し、ステップＳ９の判定
結果が追い越し車両であるときにはステップＳ１１に移
行して、割込車両フラグＣＲＦを“０”にリセットして
からステップＳ１２に移行する。

【００２７】ステップＳ１２では、記憶装置の先行車記
憶領域及び隣接車記憶領域に記憶されている先行車との
車間距離や車両候補フラグＶＦ、隣接車両候補フラグＮ
ＲＦ、割込車両フラグＣＲＦを車間距離検出装置７に出
力してからタイマ割込処理を終了して所定のメインプロ
グラムに復帰する。また、ステップＳ７の判定結果が隣
接車線車両が存在しない場合は直接ステップＳ１２にジ
ャンプする。

【００２８】一方、前記ステップＳ３の自車線上の車両
候補検出処理は、図３に示すように、先ず、ステップＳ
２１で、図８（ａ）に示す前方画像データに対して、図
８（ｂ）に示すように、自車線を形成する白線に対応し
て、中央部で一番高い高さとなり、両サイド部で高さが
低くなる所定幅の複数の水平エッジ検出ウインドウを設
定ＨＷを設定する。

【００２９】次いで、ステップＳ２２に移行して、ステ
ップＳ２１で設定した各水平エッジ検出ウインドウＨＷ
の各々から水平エッジを検出する。このとき、検出する
水平エッジは、所定長さ以上のもののみを検出対象とす
る。ここで、水平エッジの検出は、各水平エッジ検出ウ
インドウＨＷ内で、前方撮像データを図９に示すような
水平エッジ検出用Ｓｏｂｅｌフィルタで走査することに
よって水平エッジを検出する。

【００３０】次いで、ステップＳ２３に移行して、検出
領域内での水平エッジの密集度を測定する。この水平エ
ッジの密集度の測定は、水平エッジ検出ウインドウＨＷ
をさらに細かい領域に細分し、細分化した領域に含まれ
る水平エッジ本数を測定することにより実施し、水平エ
ッジ本数が所定値以上の細分化領域を水平エッジ密集領
域として設定する。

【００３１】次いで、ステップＳ２４に移行して、水平
エッジ密集領域が存在するか否かを判定し、水平エッジ
密集領域が存在しない場合には、ステップＳ２５に移行
して、車両候補の存在及び不存在を表す車両候補フラグ
ＶＦを車両不存在を表す“０”にリセットしてから自車
線上の車両候補検出処理を終了し、水平エッジ密集領域
が存在する場合には、ステップＳ２６に移行する。

【００３２】このステップＳ２６では、図８（ｃ）に示
すように、水平エッジ密集領域を全て含むように車両存
在認識用の矩形領域ＲＡを設定し、次いでステップＳ２
７に移行して、図８（ｃ）に示すように、矩形領域ＲＡ
内に垂直エッジを検出するための所定高さの複数の垂直
エッジ検出ウインドウＶＷを設定する。次いで、ステッ
プＳ２８に移行して、設定した各垂直エッジ検出ウイン
ドウＶＷの各々から垂直エッジを検出する。このとき、
検出する垂直エッジは所定長さ以上のもののみを検出対
象とする。この垂直エッジの検出は、各垂直エッジ検出
ウインドウＶＷ内で、前方撮像データを図１０に示すよ
うな垂直エッジ検出用Ｓｏｂｅｌフィルタで走査するこ
とによって垂直エッジを検出する。

【００３３】次いで、ステップＳ２９に移行して、垂直
エッジ検出ウインドウＶＷ内に垂直エッジが複数存在す
るか否かを判定し、垂直エッジが複数存在しない場合に
は、ステップＳ３０に移行して、車両候補の有無を表す
車両候補判定フラグを“０”にリセットしてから自車線
上の車両候補検出処理を終了し、垂直エッジが複数存在
する場合にはステップＳ３１に移行する。

【００３４】このステップＳ３１では、矩形領域ＲＡ内
に車両が存在しているものと判断して矩形領域ＲＡを車
両存在候補領域として設定し、次いでステップＳ３２に
移行して、車両存在候補領域から最下点に位置する水平
エッジを車両下影候補として抽出し、次いでステップＳ
３３に移行して、矩形領域ＲＡ内で検出した水平エッジ
のうち左右両端に位置する垂直エッジを２本抽出する。

【００３５】次いで、ステップＳ３４に移行して、図８
（ｄ）に示すように、ステップＳ３２で抽出した車両下
影候補とステップＳ３３で抽出した左右端点垂直エッジ
をもとに、これらを含むやや大きなウインドウを車両認
識ウインドウとして設定してから自車線上の車両候補検
出処理を終了する。この図３の車両候補検出処理におい
て、ステップＳ２１及びＳ２２の処理が水平エッジ検出
手段に対応し、ステップＳ２３の処理が密集度測定手段
に対応し、ステップＳ２４〜Ｓ２６の処理が密集領域抽
出手段に対応し、ステップＳ２７及びＳ２８の処理が垂
直エッジ検出手段に対応し、ステップＳ２９〜Ｓ３１の
処理が車両存在候補領域検出手段に対応し、ステップＳ
３２〜Ｓ３４の処理が車両認識手段に対応している。

【００３６】また、前記ステップＳ４の隣接車線上の車
両候補検出処理は、図４に示すように、先ず、ステップ
Ｓ４１で、図１１（ａ）に示す前方画像データにおける
隣接車線領域について境界となる白線に対応して、幅が
異なり、且つ高さが等しい複数の垂直エッジ検出ウイン
ドウＶＷｎ設定し、次いでステップＳ４２に移行して、
各々の垂直エッジ検出ウインドウＶＷｎから垂直エッジ
を検出する。このとき、検出する垂直エッジは、所定長
さ以上のもののみを検出対象とする。この垂直エッジの
検出も、前述した図１０に示すような垂直エッジ検出用
Ｓｏｂｅｌフィルタで前方撮像データを走査することに
より垂直エッジを検出する。

【００３７】次いでステップＳ４３に移行して、検出領
域内での垂直エッジの密集度を測定する。この垂直エッ
ジの密集度の測定は、垂直エッジ検出ウインドウＶＷｎ
をさらに細かい領域に細分し、細分化した領域に含まれ
る水平エッジ本数を測定することにより実施し、水平エ
ッジ本数が所定値以上の細分化領域を水平エッジ密集領
域として設定する。

【００３８】次いで、ステップＳ４４に移行して、垂直
エッジ密集領域が存在するか否かを判定し、垂直エッジ
密集領域が存在しない場合には、ステップＳ４５に移行
して、隣接車両候補の存在及び不存在を表す隣接車両候
補フラグＮＲＦを車両不存在を表す“０”にリセットし
てから隣接車線上の車両候補検出処理を終了し、垂直エ
ッジ密集領域が存在する場合には、ステップＳ４６に移
行する。

【００３９】このステップＳ４６では、垂直エッジ密集
領域の移動方向を測定し、この移動方向を記憶装置の隣
接車両情報記憶領域に更新記憶する。この移動方向の測
定は、前回の隣接車線上の車両候補検出処理における垂
直エッジ密集領域と今回の垂直エッジ密集領域との位置
変化を検出することにより測定することができる。次い
で、ステップＳ４７に移行して、垂直エッジ密集領域の
移動方向が前方撮像データの中心線側に向かっているか
否かを判定し、中心線側に向かっていないときにはステ
ップＳ４８に移行して、隣接車線車両候補の有無を表す
隣接車線車両候補フラグＮＲＦを隣接車線車両候補がい
ないことを表す“０”にリセットしてから隣接車線上の
車両候補検出処理を終了し、中心線側に向かっていると
きには、ステップＳ４９に移行する。

【００４０】このステップＳ４９では、垂直エッジ密集
領域を隣接車線車両候補として設定すると共に、隣接車
線車両候補フラグＮＲＦを“１”にセットしてからステ
ップＳ５０に移行し、隣接車線車両候補となる垂直エッ
ジ密集領域を含む隣接車線車両候補領域について高さが
異なり、且つ幅が等しい複数の水平エッジ検出ウインド
ウＨＷｎ設定し、次いでステップＳ５１に移行して、各
々の水平エッジ検出ウインドウＨＷｎから水平エッジを
検出する。このとき、検出する水平エッジは、所定長さ
以上のもののみを検出対象とする。この水平エッジの検
出も、前述した図９に示すような水平エッジ検出用Ｓｏ
ｂｅｌフィルタで前方撮像データを走査することにより
水平エッジを検出する。

【００４１】次いでステップＳ５２に移行して、水平エ
ッジが存在するか否かを判定し、水平エッジが存在しな
い場合には、ステップＳ５３に移行して、隣接車線車両
候補フラグＮＲＦを“０”にリセットしてから自車線上
の車両候補検出処理を終了し、水平エッジが存在する場
合には、ステップＳ５４に移行して、隣接車両存在領域
候補であると判断して隣接車線候補フラグＮＲＦを
“１”にセットしてから隣接車線上の車両候補検出処理
を終了する。

【００４２】この図４の車両候補検出処理において、ス
テップＳ４１及びＳ４２の処理が垂直エッジ検出手段に
対応し、ステップＳ４３の処理が密集度測定手段に対応
し、ステップＳ４４〜Ｓ４６の処理が密集領域抽出手段
に対応し、ステップＳ４６の処理が移動方向検出手段に
対応し、ステップＳ４７〜Ｓ４９の処理が隣接車線車両
候補決定手段に対応し、ステップＳ５０及びＳ５１の処
理が水平エッジ検出手段に対応し、ステップＳ５２〜Ｓ
５４の処理が車両存在候補領域検出手段に対応してい
る。

【００４３】次に、上記実施形態の動作を説明する。
今、自車両が走行車線と追い越し車線とを有する片側２
車線の道路で走行車線を走行しており、自車線及び隣接
車線に先行車が存在しない場合には、画像処理装置６で
ビデオカメラ３で撮像した前方画像データを読込んだと
きに、この前方画像データは、図１２に示すように、白
線ＷＬ０及びＷＬ１で囲まれる自車線が中央部に、その
右側に白線ＷＬ１及びＷＬ２で囲まれる隣接する追い越
し車線が表示される。

【００４４】この状態では、レーンマーカモデルを使用
した道路認識処理することにより、白線ＷＬ０、ＷＬ１
及びＷＬ２を検出し、これらに基づいて白線ＷＬ０及び
ＷＬ１で挟まれる自車線ＳＬと、白線ＷＬ１及びＷＬ２
で挟まれる隣接車線ＮＬとを認識する。そして、自車線
上の車両候補検出処理及び隣接車線上の車両候補検出処
理を行ったときに、自車線上の車両候補検出処理では、
複数の水平エッジ検出ウインドウＨＷを設定したとき
に、各々の水平エッジ検出ウインドウで水平エッジを検
出してから水平エッジの密集度を測定したときに、水平
エッジ密集領域が存在しないので、車両候補が存在しな
いものと判断してステップＳ２４からステップＳ２５に
移行して車両候補フラグＶＦを車両不存在を表す“０”
にリセットする。

【００４５】同様に隣接車線上の車両候補検出処理で
は、複数の垂直エッジ検出ウインドウＶＷｎを設定した
ときに、各々の垂直エッジ検出ウインドウで垂直エッジ
を検出してから垂直エッジの密集度を測定したときに、
垂直エッジ密集領域が存在しないので、ステップＳ４４
からステップＳ４５に移行して、隣接車線車両候補フラ
グＮＲＦを“０”にリセットする。

【００４６】このため、図２の画像認識処理において、
自車線上に先行車が存在せず、隣接車線にも先行車が存
在しないものと判断されて、自車線上及び隣接車線上に
先行車が存在しないことを表す先行車情報を接近警報シ
ステムや追従走行制御システムに送出する。この自車線
及び隣接車線に先行車が存在しない走行状態で、自車線
の先行車に追いつくと、ビデオカメラ３で撮像した前方
撮像データに図８（ａ）に示すように白線ＷＬ０及びＷ
Ｌ１で挟まれる自車線領域ＳＡに先行車ＰＶが存在する
状態となる。

【００４７】この状態で、自車線上の車両候補検出処理
を実行すると、図８（ｂ）に示すように、白線ＷＬ０及
びＷＬ１に応じた高さで等しい幅の複数の水平エッジ検
出ウインドウＨＷ０〜ＨＷ９を設定し、これら各水平エ
ッジ検出ウインドウＨＷ０〜ＨＷ９で所定長さ以上の水
平エッジを検出する。このとき、水平エッジ検出ウイン
ドウＨＷ３〜ＨＷ６には先行車が表示されていることに
より、水平エッジが密集することになり、水平エッジの
密集度が高くなる。

【００４８】このため、ステップＳ４４で水平エッジ密
集領域が存在することにより、ステップＳ４６に移行し
て、水平エッジ密集領域を全て含む図８（ｃ）に示す車
両存在認識用の矩形領域ＲＡを設定し、次いで、設定し
た矩形領域ＲＡ内に複数の垂直エッジ検出ウインドウＶ
Ｗ０〜ＶＷ３を設定し（ステップＳ４７）、これら垂直
エッジ検出ウインドウＶＷ０〜ＶＷ３の夫々について垂
直エッジを検出する（ステップＳ４８）。

【００４９】このとき、垂直エッジ検出ウインドウＶＷ
０〜ＶＷ３に先行車画像が存在することにより、垂直エ
ッジが検出されるので、矩形領域ＲＡを車両存在候補領
域として設定し（ステップＳ５１）、次いで車両下影候
補となる最下点水平エッジを抽出すると共に、矩形領域
ＲＡ内で検出した垂直エッジのうち左右両端に位置する
垂直エッジを２本抽出する（ステップＳ５２，Ｓ５
３）。

【００５０】そして、図８（ｄ）に示すように、抽出さ
れた車両下影候補と垂直エッジをもとに、これらを含ん
でやや大きめのウインドウを車両認識ウインドウＲＷと
して設定する（ステップＳ５４）。このようにして自車
線上の車両候補検出処理で、先行車が認識されると、図
２の車両認識処理において、ステップＳ５で先行車が存
在するものと判断されて、ステップＳ６に移行し、車両
最下端のｙ座標ｙｂ_OLDと走行車線との相対ピッチ角ｄ
と、路面からビデオカメラ３の高さＨ₀とに基づいて下
記（２）式に従って先行車までの車間距離Ｌ_IMGを算出
し、この車間距離Ｌ_IMGと前方撮像データから読取った
先行車の左右端部位置ｘ_L，ｘ_Rとを記憶装置の先行車
情報記憶領域に更新記憶する。

【００５１】Ｌ_IMG＝ｆＨ₀／（ｙｂ_OLD−ｄ） …………（２）次いで、ステップＳ７に移行して隣接車線車両が存在す
るか否かを判定するが、隣接車線車両が存在しないの
で、直接ステップＳ１２に移行して、記憶装置に記憶さ
れている先行車情報を車間距離検出装置７に出力する。
この車間距離検出装置７では、レーザレーダ距離計４で
測定した車間距離ＬＬ，ＬＣ，ＬＲと画像認識装置６か
ら入力された先行車との車間距離Ｌ_IMGとの差分ΔＬ
Ｌ，ΔＬＣ及びΔＬＲを算出し、これら差分ΔＬＬ，Δ
ＬＣ及びΔＬＲの内最も小さい値を与える車間距離をＬ
Ｌ〜ＬＲから選択することにより、先行車までの車間距
離Ｌを確定する。

【００５２】そして、確定した車間距離Ｌを接近報知シ
ステムや追従走行制御システムに出力することにより、
接近度合いの報知判断や車間距離制御に利用される。と
ころが、ビデオカメラ３で撮像した前方撮像データに道
路継ぎ目が表示されているときには、水平エッジが密集
する水平エッジ密集領域を検出した後に、垂直ウインド
ウを設定したときに、垂直エッジを検出することができ
ず、ステップＳ２９からステップＳ３０に移行して、車
両候補フラグＶＦを“０”にリセットすることにより、
車両として誤認識することを確実に防止することができ
る。

【００５３】また、図１１（ａ）に示すように、隣接車
線ＮＲＬに先行車が存在する場合には、図２に示す車両
認識処理におけるステップＳ４で、図４に示す隣接車線
上の車両候補検出処理を行うことにより、先ず、図１１
（ｂ）に示すように複数の垂直エッジ検出ウインドウＶ
Ｗｎ０〜ＶＷｎ５を設定し（ステップＳ４１）、次いで
各垂直エッジ検出ウインドウＶＷｎ０〜ＶＷｎ５の夫々
について垂直エッジを検出し（ステップＳ４２）、さら
に垂直エッジ検出ウインドウＶＷｎ０〜ＶＷｎ５をさら
に細分化して垂直エッジ密集度を測定する（ステップＳ
４３）。

【００５４】このとき、隣接車線ＮＲＬ上に車両が存在
するので、垂直エッジ密集領域が存在するので、前回の
処理時における垂直エッジ密集領域の座標情報と、今回
の垂直エッジ密集領域の座標情報とから垂直エッジ密集
領域の移動方向を計測する（ステップＳ４６）。そし
て、この垂直エッジ密集領域の移動方向が図１１（ｂ）
において隣接車線ＮＲＬに沿う方向又は自車線ＳＬに近
づく方向であるときには、ステップＳ４９に移行して、
垂直エッジ密集領域の全てを含む領域を隣接車線車両候
補領域として設定する（ステップＳ４９）。

【００５５】次いで、図１１（ｃ）に示すように、隣接
車線車両候補領域について複数の水平エッジ検出ウイン
ドウＨＷｎ０〜ＨＷｎ３を設定し（ステップＳ５０）、
次いで設定した各水平エッジ検出ウインドウＨＷｎ０〜
ＨＷｎ３について所定長さ以上の水平エッジを検出する
（ステップＳ５１）。このとき、水平エッジが検出され
ないときには、車両候補ではないものと判断して隣接車
線車両候補フラグＮＦを“０”にリセットしてから隣接
車線上の車両候補検出処理を終了するが、水平エッジが
検出されたときには、車両存在候補領域であると判断し
て隣接車線車両候補フラグＮＲＦを“１”にセットして
から隣接車線上の車両候補検出処理を終了する。

【００５６】このように、隣接車線車両候補フラグＮＲ
Ｆが“１”にセットされると、図２の車両認識処理にお
いて、ステップＳ７からステップＳ８に移行して、隣接
車両情報記憶領域に記憶されている移動方向を読出し、
次いで、移動方向が自車線ＳＬ方向であるときに割込車
両であると判断してステップＳ１０に移行し、割込車両
候補フラグＣＲＦを“１”にセットしてからステップＳ
１２に移行する。

【００５７】このため、共に“１”にセットされた隣接
車両候補フラグＮＲＦ及び割込車両候補フラグＣＲＦが
車間距離検出装置７に出力されることにより、この車間
距離検出装置７で、割込車両候補フラグＣＲＦによって
右側からの割込車両の存在を認識し、これに応じてレー
ザレーダ距離計４における割込車両側のヘッドで検出し
た車間距離ＬＲを読込み、これを割込車両車間距離ＬＲ
ｃとして確定し、確定した車間距離Ｌを接近報知システ
ムや追従走行制御システムに出力することにより、接近
度合いの報知判断や車間距離制御に利用される。

【００５８】また、隣接車線車両候補の移動方向が自車
線ＳＬ方向ではないとき即ち隣接車線ＮＲＬに沿った方
向であるときには、追い越し車両であると判断してステ
ップＳ９からステップＳ１１に移行して、割込車両候補
フラグＣＲＦを“０”にリセットしてからステップＳ１
２に移行し、“１”にセットされた隣接車両候補フラグ
ＮＲＦ及び“０”にリセットされた割込車両候補フラグ
ＣＲＦが車間距離検出装置７に出力されることにより、
この車間距離検出装置７で、先行車両及び割込車両が存
在しないことを認識して、中央のヘッドで検出した車間
距離ＬＣを車間距離Ｌとして確定し、確定した車間距離
Ｌを接近報知システムや追従走行制御システムに出力す
ることにより、接近度合いの報知判断や車間距離制御に
利用される。

【００５９】一方、隣接車線上の車両候補検出処理で、
垂直エッジ密集領域の存在が検出されないときや、垂直
エッジ密集領域が存在するがこの垂直エッジ密集領域の
移動方向が設定された移動方向と異なるときには車両候
補なしと判断されて夫々隣接車両候補フラグＮＲＦが
“０”にリセットされ、また垂直エッジ密集領域の移動
方向が設定方向であるが、水平エッジ検出ウインドウＨ
Ｗｎを設定したときに水平エッジが検出されないときに
は、ノイズであって車両候補なしと判断して隣接車両候
補フラグＮＲＦを“０”にリセットする。

【００６０】このため、車間距離検出装置７で隣接車両
が存在しないものと認識して、例えば中央のヘッドで検
出した車間距離ＬＣを車間距離Ｌとして確定し、確定し
た車間距離Ｌを接近報知システムや追従走行制御システ
ムに出力することにより、接近度合いの報知判断や車間
距離制御に利用される。さらに、自車両が追い越し車線
を走行しているときには、自車線ＳＬの左側に白線が検
出されて、隣接車線が認識されることにより、ビデオカ
メラ３から図１１（ａ）〜（ｃ）において、中心線で線
対称の前方撮像データが出力され、これが画像処理装置
６に入力されることにより、この隣接車線ＮＬＬについ
て上記と同様の車両候補検出処理が行われて、追い越し
車両であるか割込車両であるかが判断され、割込車両で
あるときには割込車両フラグＣＬＦが“１”にセットさ
れることにより、車間距離検出装置７で左側のヘッドで
検出される車間距離ＬＬを選択し、これを車間距離ＬＬ
ｃとして接近報知システムや追従走行制御システムに出
力することにより、接近度合いの報知判断や車間距離制
御に利用される。

【００６１】同様に、片側３車線の中央車線を走行して
いる場合には、ビデオカメラ３で撮像された前方撮像デ
ータに自車線ＳＬの左右に夫々隣接車線ＮＬＬ及びＮＲ
Ｌが表示されることにより、自車線ＳＬでの先行車を検
出する他に、隣接車線ＮＬＬ及びＮＲＬの車両候補を検
出して、割込車両の有無を判断することができる。この
ように、自車線上の先行車については前方撮像データに
基づいて先ず先行車項面の左右位置を特定し、その後に
上下位置を特定することにより、最も重要な自車直前の
先行車の検出を正確に行うことができると共に、先行車
項面のみを効率的に検出して車間距離等の算出精度を向
上させることができる。

【００６２】また、隣接車線上の先行車については前方
撮像データに基づいて先ず車両の垂直エッジを検出する
ため、自車両の側面から前方撮像データ内に進入する割
込車両を効率的に高精度で検出することができる。しか
も、自車線領域と隣接車線領域の双方で必要な領域での
み、正しく先行車、隣接車両の検出を行うので、検出精
度を向上させることができると共にデータ処理量を減少
させることができる。

【００６３】さらに、水平エッジ及び垂直エッジを検出
する際に、微小過ぎるエッジ成分を排除するので、車両
によるエッジ成分のみを精度良く検出することができ
る。なお、上記実施形態においては、撮像手段としてビ
デオカメラ３を適用した場合について説明したがこれに
限定されるものではなく、デジタルスチルカメラを適用
して静止撮像データを撮影するようにしてもよい。

【００６４】また、上記実施形態においては、画像処理
装置６と車間距離検出装置７とを備えている場合につい
て説明したが、これに限定されるものではなく、画像処
理装置６と車間距離検出装置７とを１つのマイクロコン
ピュータで構成して、車両認識処理及び車間距離選択処
理の双方を行うようにしてもよく、さらには接近報知シ
ステムや追従走行制御システムの処理装置で車両認識処
理や車間距離選択処理を行うようにしてもよい。

【００６５】さらに、上記実施形態においては、先行車
との車間距離をレーザレーダ距離計によって測定する場
合について説明したが、これに限定されるものではな
く、ミリ波レーダを使用した距離計や超音波を利用した
距離計等の任意の距離計を適用することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態を示す概略構成図である。

【図２】画像処理装置で実行する車両認識処理手順の一
例を示すフローチャートである。

【図３】図２の自車線上の車両候補検出処理手順の具体
例を示すフローチャートである。

【図４】図２の隣接車線上の車両候補検出処理手順の具
体例を示すフローチャートである。

【図５】道路認識を行う際の設定座標系を示す説明図で
ある。

【図６】カメラ座標系における白線の対応図である。

【図７】認識された白線と数式の対応図である。

【図８】自車線上の車両候補を認識する手順を示す説明
図である。

【図９】水平エッジを検出する水平エッジ検出オペレー
タである。

【図１０】垂直エッジを検出する垂直エッジ検出オペレ
ータである。

【図１１】隣接車線上の車両候補を認識する手順を示す
説明図である。

【図１２】先行車両が存在しない状態での前方撮像デー
タを示す説明図である。

【符号の説明】

１自車両２フロントガラス３ビデオカメラ４レーザレーダ距離計５車速センサ６画像処理装置７車間距離検出装置１１路面１２白線１４カメラ座標系１５画像座標系ＳＬ自車線ＮＲＬ隣接車線ＨＷ０〜ＨＷ９水平エッジ検出ウインドウＶＷ０〜ＶＷ３垂直エッジ検出ウインドウＲＡ矩形領域ＲＷ車両認識ウインドウＶＷｎ０〜ＶＷｎ５垂直エッジ検出ウインドウＨＷｎ０〜ＨＷｎ３水平エッジ検出ウインドウ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 ２５０Ｇ０６Ｔ 7/60 ２５０Ａ３００３００Ａ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者西田雪徳神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内Ｆターム(参考） 5B057 AA16 BA11 CA16 CB17 CE06 DA07 DA08 DA12 DA16 DC16 DC36 5H180 AA01 CC04 DD02 DD07 EE15 FF23 FF27 FF32 LL01 LL04 5L096 BA04 CA02 DA02 FA06 FA35 FA64 FA67 FA69 GA01 HA08 JA14

Claims

【特許請求の範囲】

【請求項１】自車両の前方を撮像して前方画像データ
を形成する撮像手段と、該撮像手段で形成した前方画像
データから水平エッジを複数検出する水平エッジ検出手
段と、前記撮像手段で形成した前方画像データから垂直
エッジを複数検出する垂直エッジ検出手段と、前記水平
エッジ検出手段及び垂直エッジ検出手段で検出した水平
エッジ及び垂直エッジが密集している領域を抽出して、
当該領域を車両存在候補領域とする車両存在候補領域検
出手段と、該車両存在領域候補検出手段で検出した車両
存在候補領域で車両認識処理を行う車両認識手段とを備
えたことを特徴とする車両認識装置。
【請求項２】前記車両存在候補領域検出手段は、水平
エッジ検出手段及び垂直エッジ検出手段の何れか一方の
エッジ検出手段で検出したエッジの密集度を測定するエ
ッジ密集度測定手段と、該エッジ密集度測定手段で測定
したエッジ密集度に基づいて密集領域を抽出する密集領
域抽出手段と、該密集領域抽出手段で抽出した密集領域
内で、他方のエッジ検出手段でエッジ検出したときに密
集領域を車両存在候補領域として決定する車両存在候補
領域決定手段とを備えていることを特徴とする請求項１
記載の車両認識装置。
【請求項３】前記密集度測定手段は水平エッジ検出手
段で検出した水平エッジの密集度を測定するように構成
されていることを特徴とする請求項２記載の車両認識装
置。
【請求項４】前記密集度測定手段は垂直エッジ検出手
段で検出した垂直エッジの密集度を測定するように構成
されていることを特徴とする請求項２記載の車両認識装
置。
【請求項５】前記撮像手段で形成した前方撮像データ
に基づいて自車線領域と隣接車線領域とを識別する車線
識別手段を有し、前記車両存在候補領域検出手段は、前
記車線識別手段で識別した自車線領域では前記密集度測
定手段で水平エッジ検出手段で検出した水平エッジの密
集度を測定した後に垂直エッジ検出手段で垂直エッジを
検出し、隣接車線領域では前記密集度測定手段で垂直エ
ッジ検出手段で検出した垂直エッジの密集度を測定した
後に水平エッジ検出手段で水平エッジを検出するように
構成されていることを特徴とする請求項２記載の車両認
識装置。
【請求項６】前記撮像手段で形成した前方撮像データ
に基づいて自車線領域と隣接車線領域とを識別する車線
識別手段を有し、前記車両存在候補領域検出手段は、前
記車線識別手段で識別した隣接車線領域で、垂直エッジ
密集領域が存在するか否かを判定する密集領域存在判定
手段と、該密集領域存在判定手段の判定結果が垂直エッ
ジ密集領域が存在するものであるときに垂直エッジ密集
領域の移動方向を検出する移動方向検出手段と、該移動
方向検出手段で検出した移動方向が所定方向であるとき
に隣接車線車両候補として決定する隣接車線車両候補決
定手段と、該隣接車線車両候補決定手段で隣接車線車両
候補を決定したときに水平エッジ検出手段で水平エッジ
を検出したときに車両存在候補領域として決定する車両
存在候補領域決定手段とを備えていることを特徴とする
請求項２記載の車両認識装置。
【請求項７】前記水平エッジ検出手段は、所定の長さ
以上の水平エッジのみを検出するように構成されている
ことを特徴とする請求項１乃至６の何れかに記載の車両
認識装置。
【請求項８】前記垂直エッジ検出手段は、所定の長さ
以上の垂直エッジのみを検出するように構成されている
ことを特徴とする請求項１乃至７の何れかに記載の車両
認識装置。