JP2005157875A - 車両認識方法及び車両認識装置 - Google Patents

Abstract

【課題】レーザレーダの受信結果から先行車の左右端部の片方しか検出できないときにも、画像センサの撮影画像の画像処理結果とレーザレーダの受信処理結果との組み合わせにより先行車を認識する。
【解決手段】画像センサの撮影画像から先行車の左右端部の画像側候補位置を検出し、レーザレーダの反射点の受信結果から前記左右端部のレーダ側候補領域を検出したときに、両方の画像側候補位置が画像上のレーダ側候補領域に位置することにより、両方の画像側候補位置を左右端部の検出位置に決定して先行車を認識し、前記左右端部の両方の画像側候補位置及び片方のレーダ側候補領域を検出したときに、両方の画像側候補位置のいずれか一方が前記片方のレーダ側候補領域に位置して他方が画像上に設定した左、右窓領域のいずれかに位置することにより、両方の画像側候補位置を前記左右端部の検出位置に決定して前記先行車を認識する。
【選択図】図４

Description

本発明は、画像センサの自車前方の撮影画像の画像処理結果及びレーザーレーダの自車前方の受信処理結果から自車前方の先行車両の左右端部を検出して先行車両を認識する車両認識方法及び車両認識装置に関する。

従来、車両走行を自動制御するため、自車にＣＣＤカメラ等の画像センサ及びレーザレーダを搭載し、画像センサの撮影画像の画像処理によるエッジ検出と、レーザレーダによる反射物体の検出との組み合わせにより、自車前方の先行車等の物体を検出して認識することが提案されている（例えば、特許文献１参照。）。

また、ＡＳＶと呼ばれる先進安全自動車（Ａｄｖａｎｃｅｄ Ｓａｆｅｔｙ Ｖｅｈｉｃｌｅ）等の車両において、先行車の走行状態に応じた追従走行、自動ブレーキ等の走行、制動に関連した制御を行うため、自車に前記の画像センサ及びレーザレーダを搭載し、画像センサの撮影画像の画像処理からの認識とレーザレーダの受信処理からの認識との組み合わせ（融合）により、自車の走行中に、自車前方の先行車を精度よく認識して捕捉することが提案されている（例えば、非特許文献１参照。）。

つぎに、このＡＳＶ等の既提案の車両認識について説明する。

まず、認識の前提となる自車の走行環境及び画像センサ、レーザレーダの座標系について、図７を参照して説明する。

図７は自車の走行環境及び画像センサ、レーザレーダの座標系の説明図であり、同図に示すように、平坦な道路１のレーンマーク（白線）２によって区切られた車線（レーン）３を自車が走行し、その前方を先行車４が走行しているものとする。

このとき、自車の画像センサであるカメラの３次元（Ｘ、Ｙ、Ｚ）座標系は、カメラのレンズ中心を原点Ｏとし、カメラ光軸をＺ軸にとり、このＺ軸に直交する車幅方向（左右方向）のＸ軸、車高方向のＹ軸を、画像面（撮影画像面）５の２次元（ｘ、ｙ）座標系のｘ軸、ｙ軸に平行にとる。

また、自車のレーザレーダの３次元（ＸＲ、ＹＲ、ＺＲ）座標系は、その受光部を原点、レーザ光軸をＺＲ軸、鉛直方向の軸をＹＲ軸、水平方向の軸をＸＲ軸とする座標系であり、（Ｘ、Ｙ、Ｚ）座標系に回転ベクトルＲの回転操作、並進ベクトルＴの並進操作をしたものである。

つぎに、カメラの撮影画像の画像処理に基づく車両認識について説明する。

まず、カメラの時々刻々の撮影画像（入力画像）の微分画像を形成し、この微分画像につき、先行車４の左右端部を含む横長の領域を設定し、この領域の輝度（濃度）を垂直方向に加算して垂直エッジ画像を形成し、同様に、先行車４の上下端部を含む縦長の領域を設定し、この領域の輝度を水平方向に加算して水平エッジ画像を形成する。

そして、垂直エッジ画像と水平エッジ画像の対称のエッジピーク位置から、画像上で先行車４を認識し、その上下左右の中央の車両センタ位置を検出して先行車４を捕捉する。

つぎに、レーザレーダの反射点の受信処理に基づく車両認識について説明する。

まず、自車に搭載されたレーザレーダは例えばスキャン式であり、自車前方に視野角θ（θは例えば１２度〜２０度）で左右方向に走査しながらレーザをパルス照射する。

このパルス照射のレーザが先行車４の左右端部のリフレクタや道路１のガードレールのリフレクタ等によって反射し、これらの反射波を受信したレーザレーダは、その受信処理により、レーザパルスの送信角度、送受信時間差等に基づいてリフレクタ等の反射点の位置を検出し、対称位置の対の反射点から先行車４の左右端部を検出して先行車４を認識する。

ところで、レーザレーダの場合、反射点の受信処理結果からは上下方向の検出は行えないため、先行車４の左右端部を縦長の領域として先行車４を認識する。

つぎに、撮影画像の画像処理側の認識とレーザレーダの受信処理側の認識との融合に基づく、先行車４の認識について説明する。

まず、撮影画像の画像処理側の先行車４の左右端部の検出等から、画像上で先行車４を認識し、この認識の精度を判定するため、図８の認識精度判定の説明図に示すように、（ｘ、ｙ）座標系の画像上に、撮影画像の画像処理側から検出した先行車４の左右端部を含む画像側認識領域６ｐと、レーザレーダの受信処理に基づく先行車４の左右端部の縦長の領域を含むレーダ側認識領域６ｒとを設定する。

そして、評価領域６ｐ、６ｒをカバーする横幅を１．０とし、このとき、図８のように認識領域６ｐ、６ｒの重なっている部分の幅が０．７、その左右の重なっていない部分の幅が０．１（左）、０．２（右）であれば、評価値０．４（＝０．７−０．１−０．２）を求め、認識領域６ｐ、６ｒの左右方向の重なり比から認識精度を評価し、画像上での先行車４の認識とこの評価とから、撮影画像の画像処理側の認識とレーザレーダの受信処理側の認識とを融合して最終的に先行車４を認識する。なお、前記の評価値は１．０に近づく程認識精度が高いことを示す。

特開２００３−４４９９５号公報（段落番号［００２１］、［００５０００５２］、図１） 山田、伊東、西岡、「画像処理とレーザレーダの融合による走行環境認識方法の検討」、自動車技術会学術講演会前刷集９５２、社団法人 自動車技術会、１９９５年５月（１９９５−５）、ｐ．２３９−２４２（項目「３．１．」、「３．２．」、「４．３．（２）」、Ｆｉｇ．１、Ｆｉｇ．５）

前記従来の車両認識においては、画像センサの撮影画像の画像処理に基づく認識結果と、レーザレーダの受信処理に基づく認識結果とを、画像上で照合して融合するため、必ず、画像センサの撮影画像の画像処理によって先行車４の左右端部の両方を検出し、かつ、レーザレーダの受信処理からも先行車４の左右端部の両方を検出する必要がある。

そのため、先行車４の片方のリフレクタが破損したり、先行車４の片方のリフレクタに泥が付着したりして、レーザレーダの受信処理から先行車４の左右端部のいずれか一方しか検出できない場合は、前記の照合が行えなくなり、画像センサの撮影画像の画像処理の結果単独で先行車４を認識するしかなく、認識の信頼性が極端に低下する問題がある。

本発明は、レーザレーダの受信処理から先行車の左右端部の片方しか検出できないときにも、その結果を利用し、画像センサの撮影画像の画像処理結果とレーザレーダの受信処理結果とに基づいて先行車を認識するようにし、認識の信頼性を向上することを目的とし、さらには、認識状態をドライバ等に報知することも目的とする。

上記した目的を達成するために、本発明の車両認識方法は、自車前方を撮影する画像センサの撮影画像を画像処理して自車前方の先行車の左右端部の画像側候補位置を検索し、自車前方を探査するレーザレーダの反射点の受信結果から前記左右端部のレーダ側候補領域を検索し、前記両検索により前記左右端部の両方の画像側候補位置及び前記左右端部の両方のレーダ側候補領域を検出したときに、前記両方のレーダ側候補領域が画像上の前記両方の画像側候補位置に位置することにより、前記両方の画像側候補位置を前記左右端部の検出位置に決定して前記先行車を認識し、前記両検索により前記両方の画像側候補位置及び前記左右端部のいずれか片方のレーダ側候補領域を検出したときに、画像上の前記片方のレーダ側候補領域から左方向、右方向に車両横幅相等の設定距離離れた位置に端部検出用の左窓領域、右窓領域それぞれを設定し、該設定に基づき、前記両方の画像側候補位置のいずれか一方が前記片方のレーダ側候補領域に位置して前記両方の画像側候補位置の他方が前記左窓領域、前記右窓領域のいずれかに位置することにより、前記両方の画像側候補位置を前記左右端部の検出位置に決定して前記先行車を認識することを特徴としている（請求項１）。

また、本発明の車両認識方法は、画像センサの撮影画像の画像処理により、前記撮影画像の垂直エッジ画像を形成し、該垂直エッジ画像のエッジピークの位置から画像側候補位置を検索することを特徴としている（請求項２）。

さらに、本発明の車両認識方法は、先行車の左右端部の両方の画像側候補位置及び前記左右端部の両方のレーダ側候補領域の検出に基づく前記先行車の認識と、前記左右端部の両方の画像側候補位置及び前記左右端部のいずれか片方のレーダ側候補領域の検出に基づく前記先行車の認識とを、区別して報知することを特徴としている（請求項３）。

つぎに、本発明の車両認識装置は、自車前方を撮影する画像センサと、自車前方を探査するレーザレーダと、前記画像センサの撮影画像を画像処理して自車前方の先行車の左右端部の画像側候補位置を検索する画像側検索手段と、前記レーザレーダの反射点の受信結果から前記左右端部のレーダ側候補領域を検索するレーダ側検索手段と、前記画像側検索手段が前記左右端部の両方の画像側候補位置を検出し、前記レーダ側検索手段が前記左右端部の両方のレーダ側候補領域を検出したときに、前記両方の画像側候補位置と前記両方のレーダ側候補領域とを画像上で照合し、前記両方の画像側候補位置が前記両方のレーダ側候補領域に位置することにより、前記両方の画像側候補位置を前記左右両端部の検出位置に決定する主決定手段と、前記画像側検索手段が前記両方の画像側候補位置を検出し、前記レーダ側検索手段が前記左右端部のいずれか片方のレーダ側候補領域を検出したときに、画像上の前記片方のレーダ側候補領域から左方向、右方向に車両横幅相等の設定距離離れた位置に端部検出用の左窓領域、右窓領域それぞれを設定する窓領域設定手段と、該窓領域設定手段の設定に基づき、前記両方の画像側候補位置のいずれか一方が前記片方のレーダ側候補領域に位置した状態で前記両方の画像側候補位置の他方が前記左窓領域、前記右窓領域のいずれかに位置するか否かを検査し、該検査により前記両方の画像側候補位置の他方が前記両窓領域のいずれかに位置することを検出したときに前記両方の画像側候補位置を前記左右端部の検出位置に決定する補助決定手段と、前記主決定手段、前記補助決定手段の検出位置の決定に基づいて前記先行車を認識する認識処理手段とを備えたことを特徴としている（請求項４）。

また、本発明の車両認識装置は、画像側検索手段により、画像センサの撮影画像を画像処理して前記撮影画像の垂直エッジ画像を形成し、該垂直エッジ画像のエッジピークの位置から画像側候補位置を検索するようにしたことを特徴としている（請求項５）。

さらに、本発明の車両認識装置は、先行車の左右端部の両方の画像側候補位置及び前記左右端部の両方のレーダ側候補領域の検出に基づく前記先行車の認識と、前記左右端部の両方の画像側候補位置及び前記左右端部のいずれか片方のレーダ側候補領域の検出に基づく前記先行車の認識とを、区別して報知する認識状態報知手段を備えたことをことを特徴としている（請求項６）。

まず、請求項１、４の構成によれば、先行車の左右のリフレクタが正常で先行車の左右端部の両方のレーダ側候補領域が検出されるときは、画像上で、左右端部の両方の画像側候補位置がレーダ側候補領域に位置することを条件に、先行車の左右端部を、画像センサの撮影画像の画像処理結果、レーザレーダの受信処理結果の両方から、精度よく検出することができ、そのときの両方の画像側候補位置を先行車の左右端部の検出位置に決定して先行車を極めて精度よく認識することができる。

また、先行車にリフレクタの破損やリフレクタへの汚泥の付着等が発生し、先行車の左右端部のいずれか片方のレーダ側候補領域しか検出されないときは、画像上の片方のレーダ側候補領域から左方向、右方向に車両横幅相等の設定距離離れた位置に端部検出用の左窓領域、右窓領域それぞれを設定し、両方の画像側候補位置のいずれか一方が片方のレーダ側候補領域に位置し、かつ、両方の画像側候補位置の他方が左窓領域、右窓領域のいずれかに位置することを条件として、先行車の左右端部を、画像センサの撮影画像の画像処理結果、レーザレーダの受信処理結果の両方から検出することができ、そのときの両方の画像側候補位置を先行車の左右端部の検出位置に決定して先行車を精度よく認識することができる。

したがって、先行車にリフレクタの破損やリフレクタへの汚泥の付着等が発生し、レーザレーダの受信結果から先行車の左右端部の片方しか検出できないときにも、その検出結果を利用し、画像センサの撮影画像の画像処理結果、レーザレーダの受信処理結果の両方から先行車を精度よく認識することができる。

そのため、常に、画像センサの撮影結果、レーザレーダの受信結果の両方から先行車を精度よく認識することができ、この種の車両認識の信頼性を著しく向上することができる。

また、請求項２、５の構成によれば、画像センサの撮影画像の画像処理により、撮影画像の垂直エッジ画像を形成したため、先行車の左右端部が垂直エッジ画像の左右にエッジピークとして明瞭に出現し、実用的な構成により、両エッジピークの位置から先行車の左右端部の両方の画像側候補位置を精度よく検出することができる。

さらに、請求項３、６の構成によれば、先行車の左右のリフレクタが正常で先行車の左右端部の両方のレーダ側候補領域が検出され、両方のレーダ側候補領域を用いて先行車を認識している状態と、先行車にリフレクタの破損やリフレクタへの汚泥の付着等が発生して先行車の左右端部のいずれか片方のレーダ側候補領域しか検出されず、片方のレーダ側候補領域を用いて先行車を認識している状態とを区別して報知することができるため、認識状態をドライバ等に報知して一層の信頼性等の向上を図ることができる。

つぎに、本発明をより詳細に説明するため、その一実施形態について、図１〜図６にしたがって詳述する。

図１は車両認識装置のブロック図、図２は図１の単眼カメラの画像処理の説明図、図３（ａ）、（ｂ）は図１のレーザレーダの反射点の受信処理の説明図、図４は図１の動作説明用のフローチャートであり、図５、図６は片方のレーダ側候補領域しか検出しないときの走行状態図、認識処理の説明図である。

＜構成＞
まず、図１の車両認識装置の構成について説明する。

図１のＡＳＶ等の自車７は、自車前方を撮影する画像センサとしてのＣＣＤカメラ構成の単眼カメラ８、自車前方を探査する例えばスキャン式のレーザレーダ９を搭載する。

そして、単眼カメラ８は自車７の前方を連続的に撮影し、レーザレーダ９は自車７の前方の前記視野角θの範囲を左右に走査しつつレーザをパルス照射して反射波を受信することをことをくり返す。

また、自車７は、単眼カメラ８の撮影画像の情報、レーザレーダ９の受信結果の情報が入力されるマイクロコンピュータ構成の制御ＥＣＵ１０を備える。

この制御ＥＣＵ１０は、予め設定された先行車認識処理プログラムを実行することにより、つぎの（ａ）〜（ｆ）の各手段を備える。

（ａ）画像側検索手段
この手段は、単眼カメラ８の撮影画像を画像処理し、自車７の前方の例えば図７の先行車４の左右端部の画像側候補位置を検索し、この実施形態においては、同様にして先行車４の上下端部の画像側候補位置も検索する。

具体的には、単眼カメラ８の撮影画像の画像処理により、カメラ８の撮影画像（入力画像）の微分画像を２値化処理した（ｘ、ｙ）座標の図２の２値画像Ｐに、カメラ８の焦点位置等に基づいて、先行車４の左右端部を含む横長の垂直エッジ側注視領域Ｖａを設定し、この注視領域Ｖａの各垂直線分（垂直エッジの線分）につき、線分毎に輝度（画像濃度）を加算して垂直エッジ分布図Ｐｖを形成する。

そして、先行車４の左右端部の垂直エッジが、左右対称位置の対のピークエッジになることから、垂直エッジ分布図Ｐｖの左右端部のエッジピーク位置ｘ（Ｌ）、ｘ（Ｒ）を画像上の先行車４の左右端部の画像側候補位置として検出する。

同様にして、２値画像Ｐに、先行車４の上下端部を含む縦長の水平エッジ側注視領域Ｈａを設定し、この注視領域Ｈａの各水平線分（水平エッジの線分）につき、線分毎に輝度（画像濃度）を加算して水平エッジ分布図Ｐｈを形成する。

そして、先行車４の上下端部の水平エッジが、上下対称位置の対のピークエッジになることから、水平エッジ分布図Ｐｈの上下端部のエッジピーク位置ｙ（Ｕ）、ｙ（Ｄ）を画像上の先行車４の上下端部の画像側候補位置として検出する。

（ｂ）レーダ側検索手段
この手段は、レーザレーダ９の反射点の受信結果から先行車４の左右端部のレーダ側候補領域を検索する。

具体的には、例えば図３（ａ）の走行状態の一例の説明図に示すように、道路１を自車７が走行し、その前方を、先行車４ａ又は先行車４ｂ（先行車４ａは先行車４が自車７に近い場合を示し、先行車４ｂは先行車４が自車７から遠い場合を示す）が走行している場合、自車７に搭載されたレーザレーダ９は、自車前方に、図中の視野角θ（θ：１２度〜２０度）で左右方向に走査しながらレーザをパルス照射し、このパルス照射のレーザが、先行車４ａ、４ｂの後ろ側の左右端部のリフレクタ４（Ｌ）、４（Ｒ）や、道路１のガードレール１１のリフレクタ１２等によって反射し、これらの反射波を受信したレーザレーダ９が、レーザパルスの送信角度、送受信時間差等に基づき、例えば図３（ｂ）の検出状態の説明図に示すように、リフレクタ４（Ｌ）、４（Ｒ）、１２等の反射点の位置を検出する。なお、図３（ｂ）の４（Ｌ）＊、４（Ｒ）＊はリフレクタ４（Ｌ）、４（Ｒ）の反射点、１２＊はリフレクタ１２の反射点であり、４＊は先行車４ａのいわゆるボディー反射の反射点である。

そして、レーザレーダ９の受信結果が入力されるレーダ側検索手段は、レーザレーダ９の受信結果が図７のＹ、ＹＲ軸方向に値を持たないので、先行車４ａ、４ｂの対の反射点４（Ｌ）＊、４（Ｒ）＊のＸ、ＸＲ軸方向の位置から、先行車４ａ、４ｂの左右端部、すなわち先行車４の左右端部を検出し、それぞれの検出位置に後述の縦長のレーダ側候補領域を設定する。

（ｃ）主決定手段
この手段は、画像側検索手段が先行車４の左右端部の両方の画像側候補位置を検出し、しかも、先行車４の左右端部の両方のリフレクタ４（Ｌ）、４（Ｒ）に破損、汚れ等がなく、レーダ側検索手段が先行車４の左右端部の両方のレーダ側候補領域を検出したときに、両方の画像側候補位置と両方のレーダ側候補領域とを画像上で照合し、両方の画像側候補位置と両方のレーダ側候補領域との重合により、両方の画像側候補位置を先行車４の左右両端部の検出位置に決定する。

（ｄ）窓領域設定手段
この手段は、画像側検索手段が先行車４の左右端部の両方の画像側候補位置を検出するが、先行車４の左右端部のいずれか一方のリフレクタ４（Ｌ）、４（Ｒ）に破損、汚れ等があり、レーダ側検索手段が先行車４の左右端部のいずれか片方のレーダ側候補領域しか検出し得ないときに、画像上の片方のレーダ側候補領域から左方向、右方向に車両横幅に相等する設定距離離れた位置それぞれに、後述の端部検出用の左窓領域１３（Ｌ）、右窓領域１３（Ｒ）それぞれを設定する。

（ｅ）補助決定手段
この手段は、窓領域設定手段の設定に基づき、先行車４の両方の画像側候補位置のいずれか一方が片方のレーダ側候補領域に位置した状態で、両方の画像側候補位置の他方が左窓領域１３（Ｌ）、右窓領域１３（Ｒ）のいずれかに位置するか否かを検査し、この検査により両方の画像側候補位置の他方が両窓領域１３（Ｌ）、１３（Ｒ）のいずれかに位置することを検出したときに、両方の画像側候補位置を先行車４の左右端部の検出位置に決定する。

（ｆ）認識処理手段
この手段は、主決定手段、補助決定手段の検出位置の決定に基づき、画像上で先行車４の左右端部を検出して先行車４を認識し、この認識の結果を、例えば、図示省略された追従走行制御又は自動ブレーキ制御のＥＣＵに供給する。

なお、先行車４の認識は、例えば、先行車４の左右端部の検出位置から、図２のエッジピーク位置ｘ（Ｌ）、ｘ（Ｒ）の中点に相当する位置のｘ座標を検出し、画像上の先行車４の上下端部の画像側候補位置から図２のエッジピーク位置ｙ（Ｕ）、ｙ（Ｄ）の中点に相当する位置のｙ座標を検出し、先行車４の上下左右の車両センタの画像上の位置（ｘ、ｙ）を検出することによって行われる。

このとき、検出したエッジピーク位置ｘ（Ｌ）、ｘ（Ｒ）、ｙ（Ｕ）、ｙ（Ｄ）及び左右端部のレーダ側候補領域に基づいて、画像上に図８の画像側認識領域６ｐ、レーダ側認識領域６ｒを設定し、画像上の先行車４の認識精度を評価するようにしてもよい。

さらに、自車７は認識状態報知手段を形成する報知ユニット１４を備える。

このユニット１４は、例えば、制御ＥＣＵ１０の主、補助決定手段の決定フラグに基づき、制御ＥＣＵ１０の認識処理手段が主、補助決定手段のいずれの決定に基づいて先行車４を認識したかを識別することにより、先行車４の左右端部の両方の画像側候補位置及び左右端部の両方のレーダ側候補領域の検出に基づく先行車４の認識（主認識）と、先行車４の左右端部の両方の画像側候補位置及び左右端部のいずれか片方のレーダ側候補領域の検出に基づく先行車４の認識（補助認識）とを区別して検出する。

そして、検出した認識状態を表示して報知するときは、例えば、自車７のダッシュボードの状態表示パネルに、主、補助認識によって文字、図形を変えたり、それらの色を変えたり、それらを点滅したりする。また、検出した認識状態を音、音声で報知するときは、主、補助認識によって自車７のスピーカ等から出力する音、メッセージ等を変える。

＜動作＞
つぎに、前記の構成に基づく、図１の車両認識装置の動作について、図４のフローチャート等を参照して説明する。

まず、自車７の走行中、単眼カメラ８は自車７の前方を連続的に撮影し、レーザレーダ９は自車７の前方の前記視野角θの範囲を左右に走査しつつレーザをパルス照射して反射波を受信することをことをくり返す。

そして、例えば撮影画像が得られる毎に、画像側検索手段が先行車４の左右端部の両方、上下端部の両方の画像側候補位置を検索して検出し、このとき、先行車４の左右端部の両方のリフレクタ４（Ｌ）、４（Ｒ）に破損、汚れ等がなく、レーダ側検索手段が先行車４の左右端部の両方のレーダ側候補領域を検出すると、図４のステップＳ１からステップＳ２を介してステップＳ３に移行し、主決定手段により、両方の画像側候補位置と両方のレーダ側候補領域とを画像上で照合し、両方の画像側候補位置が両方のレーダ側候補領域に位置することを条件に、両方の画像側候補位置を先行車４の左右両端部の検出位置に決定する。

さらに、図４のステップＳ４により、認識処理手段がステップＳ３の主決定手段の決定に基づき、画像上で先行車４を認識するとともに、図８の評価方法で認識精度を評価してステップＳ５に移行し、このステップＳ５により、認識結果を追従走行制御又は自動ブレーキ制御のＥＣＵに供給する。

また、図４のステップＳ６により、報知ユニット１４が、先行車４の左右端部の両方の画像側候補位置及び左右端部の両方のレーダ側候補領域の検出に基づく先行車４の主認識状態であることを報知する。

そして、自車７が走行を停止するまで、ステップＳ６からステップＳ７を介してステップＳ１に戻り、このステップＳ１から処理をくり返す。

つぎに、例えば図５に示すように先行車４の左側のリフレクタ４（Ｌ）の破損又はリフレクタ４（Ｌ）への泥の付着が発生し、図６に示すように、画像側認識領域６ｐの先行車４の左右両端部の画像側候補位置（エッジピーク位置）ｘ（Ｌ）、ｘ（Ｒ）には垂直エッジピーク１５（Ｌ）、１５（Ｒ）が生じ、画像側検索手段が先行車４の左右端部の両方の画像側候補位置（エッジピーク位置）ｘ（Ｌ）、ｘ（Ｒ）を検出するが、レーダ側検索手段が先行車４の左右端部の両方のレーダ側候補領域１６（Ｌ）、１６（Ｒ）のうちの例えば右側の片方のレーダ側候補領域１３（Ｒ）しか検出しない状態になると、図４のステップＳ２からステップＳ８を介してステップＳ９に移行する。

このとき、図６に示すように画像上の片方のレーダ側候補領域１３（Ｒ）から左方向、右方向に車両横幅に相等する設定距離離れた位置それぞれに、端部検出用の所定の大きさの左窓領域１６（Ｌ）、右窓領域１６（Ｒ）それぞれを設定する。

そして、ステップＳ９からステップＳ１０に移行し、補助決定手段により、画像側候補位置（エッジピーク位置）ｘ（Ｌ）、ｘ（Ｒ）のいずれか一方が片方のレーダ側候補領域１３（Ｒ）に位置した状態で、両方の画像側候補位置（エッジピーク位置）ｘ（Ｌ）、ｘ（Ｒ）の他方が左窓領域１６（Ｌ）、右窓領域１６（Ｒ）のいずれかに位置するか否かを検査し、図６のように画像側候補位置ｘ（Ｒ）がレーダ側候補領域１３（Ｒ）に位置して画像側候補位置ｘ（Ｌ）が左窓領域１３（Ｌ）に位置すると、ステップＳ１０からステップＳ１１に移行して両方の画像側候補位置ｘ（Ｌ）、ｘ（Ｒ）から先行車４を認識した後、ステップＳ５に移行し、ステップＳ５、Ｓ６により先行車４の認識結果の出力、認識常態の報知を行う。

なお、画像側候補位置（エッジピーク位置）ｘ（Ｌ）、ｘ（Ｒ）が共に検出されない場合及び、レーダ側候補領域１３（Ｌ）、１３（Ｒ）が共に検出されない場合は、認識を行わない。

したがって、先行車４のリフレクタ４（Ｌ）、４（Ｒ）のいずれかの破損又はリフレクタ４（Ｌ）、４（Ｒ）のいずれかへの泥の付着が発生し、レーダ側候補領域１３（Ｌ）、１３（Ｒ）のいずれか一方が検出されないときにも、検出された他方のレーダ側候補領域１３（Ｒ）、１３（Ｌ）を用いて、単眼カメラ８の撮影画像（輝度画像）の画像処理結果と、レーザレーダ９の反射点の受信処理結果との組み合わせにより、先行車４を精度よく認識することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、画像センサは単眼カメラ８に限られるものではなく、ステレオカメラ等であってもよい。

ところで、自車７の装備部品数を少なくするため、単眼カメラ８、レーザレーダ９等は追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。

一実施形態のブロック図である。 図１の単眼カメラの画像処理の説明図である。 （ａ）、（ｂ）は図１のレーザレーダの反射点の受信処理の説明図である。 図１の動作説明用のフローチャートである。 図１の自車が片方のレーダ側候補領域しか検出しないときの走行状態図である。 図５の走行状態のときの図１の認識処理の説明図である。 従来例の画像センサ、レーザレーダの座標系の説明図である。 従来例の認識評価の説明図である。

符号の説明

４、４ａ、４ｂ 先行車
７ 自車
８ 単眼カメラ
９ レーザレーダ
１０ 制御ＥＣＵ
１３（Ｌ）、１３（Ｒ） 窓領域
１４ 報知ユニット
１６（Ｌ）、１６（Ｒ） レーダ側候補領域
ｘ（Ｌ）、ｘ（Ｒ） 画像側候補位置（エッジピーク位置）

Claims (6)

1. 自車前方を撮影する画像センサの撮影画像を画像処理して自車前方の先行車の左右端部の画像側候補位置を検索し、
   自車前方を探査するレーザレーダの反射点の受信結果から前記左右端部のレーダ側候補領域を検索し、
   前記両検索により前記左右端部の両方の画像側候補位置及び前記左右端部の両方のレーダ側候補領域を検出したときに、
   前記両方の画像側候補位置が画像上の前記両方のレーダ側候補領域に位置することにより、前記両方の画像側候補位置を前記左右端部の検出位置に決定して前記先行車を認識し、
   前記両検索により前記両方の画像側候補位置及び前記左右端部のいずれか片方のレーダ側候補領域を検出したときに、
   画像上の前記片方のレーダ側候補領域から左方向、右方向に車両横幅相等の設定距離離れた位置に端部検出用の左窓領域、右窓領域それぞれを設定し、
   該設定に基づき、前記両方の画像側候補位置のいずれか一方が前記片方のレーダ側候補領域に位置して前記両方の画像側候補位置の他方が前記左窓領域、前記右窓領域のいずれかに位置することにより、前記両方の画像側候補位置を前記左右端部の検出位置に決定して前記先行車を認識することを特徴とする車両認識方法。
2. 画像センサの撮影画像の画像処理により、前記撮影画像の垂直エッジ画像を形成し、該垂直エッジ画像のエッジピークの位置から画像側候補位置を検索することを特徴とする請求項１に記載の車両認識方法。
3. 先行車の左右端部の両方の画像側候補位置及び前記左右端部の両方のレーダ側候補領域の検出に基づく前記先行車の認識と、前記左右端部の両方の画像側候補位置及び前記左右端部のいずれか片方のレーダ側候補領域の検出に基づく前記先行車の認識とを、区別して報知することを特徴とする請求項１または２に記載の車両認識方法。
4. 自車前方を撮影する画像センサと、
   自車前方を探査するレーザレーダと、
   前記画像センサの撮影画像を画像処理して自車前方の先行車の左右端部の画像側候補位置を検索する画像側検索手段と、
   前記レーザレーダの反射点の受信結果から前記左右端部のレーダ側候補領域を検索するレーダ側検索手段と、
   前記画像側検索手段が前記左右端部の両方の画像側候補位置を検出し、前記レーダ側検索手段が前記左右端部の両方のレーダ側候補領域を検出したときに、前記両方の画像側候補位置と前記両方のレーダ側候補領域とを画像上で照合し、前記両方の画像側候補位置が画像上の前記両方のレーダ側候補領域に位置することにより、前記両方の画像側候補位置を前記左右両端部の検出位置に決定する主決定手段と、
   前記画像側検索手段が前記両方の画像側候補位置を検出し、前記レーダ側検索手段が前記左右端部のいずれか片方のレーダ側候補領域を検出したときに、画像上の前記片方のレーダ側候補領域から左方向、右方向に車両横幅相等の設定距離離れた位置に端部検出用の左窓領域、右窓領域それぞれを設定する窓領域設定手段と、
   該窓領域設定手段の設定に基づき、前記両方の画像側候補位置のいずれか一方が前記片方のレーダ側候補領域に位置した状態で前記両方の画像側候補位置の他方が前記左窓領域、前記右窓領域のいずれかに位置するか否かを検査し、該検査により前記両方の画像側候補位置の他方が前記両窓領域のいずれかに位置することを検出したときに前記両方の画像側候補位置を前記左右端部の検出位置に決定する補助決定手段と、
   前記主決定手段、前記補助決定手段の検出位置の決定に基づいて前記先行車を認識する認識処理手段とを備えたことを特徴とする車両認識装置。
5. 画像側検索手段により、画像センサの撮影画像を画像処理して前記撮影画像の垂直エッジ画像を形成し、該垂直エッジ画像のエッジピークの位置から画像側候補位置を検索するようにしたことを特徴とする請求項４に記載の車両認識装置。
6. 先行車の左右端部の両方の画像側候補位置及び前記左右端部の両方のレーダ側候補領域の検出に基づく前記先行車の認識と、前記左右端部の両方の画像側候補位置及び前記左右端部のいずれか片方のレーダ側候補領域の検出に基づく前記先行車の認識とを、区別して報知する認識状態報知手段を備えたことをことを特徴とする請求項４または５に記載の車両認識装置。

Images