JP2005329779A - 障害物認識方法及び障害物認識装置 - Google Patents

Abstract

【課題】従来より極めて簡単で昼と夜等との区別のないセンサフュージョンの認識処理により、レーダ探査とカメラ撮影の座標のずれの影響なく、自車前方の障害物を精度よく認識する。
【解決手段】カメラの撮影画像の候補領域の水平、垂直の最新エッジヒストグラムと、予測移動範囲内で平行移動する各倍率の水平、垂直の参照エッジヒストグラムとの水平、垂直の個別残差和、及び統合残差和の最小値を検出し、少なくとも両個別残差和の最小値の倍率が等しいか否かにより候補対象が路面上の路面垂直物か否かを判別し、統合残差和の最小値の倍率を障害物のカメラ側検出倍率として検出し、カメラ側検出倍率が相対距離の変化から算出した障害物のレーダ側検出倍率に等しくなるか否かにより候補対象が検出有効物か検出無効物かを判別し、候補対象が路面垂直物、かつ、検出有効物であると判別したときに、候補領域の画像から障害物を認識する。
【選択図】図２

Description

本発明は、レーダによる自車前方の探査と、カメラによる自車前方の撮影とのセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物検出方法及び障害物検出装置に関するものである。

一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両においては、いわゆる被害軽減自動ブレーキ機能を実現するため、自車前方の先行車や標識等の障害物を認識することが要求される。

しかしながら、従来のＡＣＣ搭載車両においては、ＡＣＣの自車前方の情報を得るセンサが、レーザレーダやミリ波レーダといった単一センサで構成されるため、障害物の認識が高速道路などの比較的認識し易いシーンでしか行なえない不都合がある。

そこで、複数のセンサを利用したセンサフュージョンの認識処理により、認識性能を向上して前記の不都合を解消し、種々の走行シーンで自車前方の障害物を認識することが考えられ、従来、レーザレーダとビデオカメラとを組み合わせ、ビデオカメラの撮影画像（車両前方画像）のうちのレーザレーダの測距結果から検出した画像処理領域を画像処理して先行車を認識することが提案されている（例えば、特許文献１参照。）。

また、レーダの自車前方の測距結果から自車と先行車等の前方物票との距離を検出し、カメラの自車前方の撮影映像から前方物票の画像パターンを検出し、検出した距離を考慮にいれた画像パターンマッチングにより、前方物票を認識することも提案されている（例えば、特許文献２参照。）。

さらに、測距センサとしてのＦＭ−ＣＷレーダ（例えばＦＭ−ＣＷミリ波レーダ）の信号を処理して自車前方の先行車の距離、車速を計測し、その計測結果の精度を画像センサとしての車載用カメラの撮影画像の情報に基づいて向上し、先行車を認識することも提案されている（例えば、特許文献３参照。）。

なお、同様のセンサフュージョンの認識処理により、自車前方の先行車でなく、走行車線を認識することも提案されている（例えば、特許文献４参照。）。

特開平７−１２０５５５号公報（段落［０００２］及び［０００７］〜［００１３］、図２） 特開平７−１８２４８４号公報（段落［０００６］及び［００１１］、図１、図９） 特開平６−２３１３９８号公報（段落［０００５］及び［００１０］、図１） 特開平７−１９２１１７号公報（段落［００１１］〜［００１５］、図１）

前記従来提案のセンサフュージョンの認識処理の場合、主に、つぎの（Ｉ）〜（ＩＩＩ）の問題点がある。

（Ｉ）レーダ探査とカメラ撮影の座標のずれの影響を避けることができず、認識精度の向上が図られない。

すなわち、この種の認識処理のように、レーダとカメラのような別個独立の複数個のセンサの探査、検出の結果を利用する場合、これらの探査、検出の座標をセンサ間で厳密に調整（キャリブレーション）して一致させることは難しい。なぜなら、各センサがまったく同時刻のデータをサンプリングするのではなく、各センサの探査、検出に数十ミリ秒（ｍｓ）程度のずれがあるからである。

そして、レーダの探査とカメラの撮影の座標のキャリブレーションずれ（誤差）にロバストな認識処理手法は発明されておらず、上記したようにレーダ探査とカメラ撮影の座標のずれの影響を避けることができず、認識精度の向上が図られない。

（ＩＩ）画像処理が複雑で大型、高価な構成になる。

すなわち、カメラの撮影画像の画像処理においては、従来、周知のコンピュータ画像処理と同様、撮影画像から直接にエッジ検出や輪郭線抽出が行われ、その際、撮影画像の輝度データが画素当たり８ビット程度であることから、これらの輝度データをそのまま用いる相関演算やスネーク（Ｓｎａｋｅ）の輪郭線抽出のような複雑で計算量の極めて多い演算を要し、大規模なハードウェアが必要になり、大型かつ複雑で高価な構成になる。

（ＩＩＩ）昼と夜等との撮影画像の差異の認識処理への影響が避けられない。

すなわち、同じシーンの同じ障害物の撮影画像であっても、例えば図２２の（ａ）、（ｂ）の昼間、夜間の自車前方の先行車の撮影画像Ｐａ、Ｐｂに示すように、昼と夜等とでカメラの撮影画像が全く異なることから、例えば、昼と夜等との区別なく、カメラの撮影画像から障害物の同じ特徴量を抽出して同様の認識処理を行なうと、昼と夜等とで認識の精度等に差が生じ、昼と夜等との撮影画像の差異の認識処理への影響が避けられない。

そこで、昼と夜等とで認識処理を変えることが考えられるが、昼と夜等とを区別することが困難であるのは勿論、昼と夜等とで認識処理を変えるとすれば、その分、画像処理を含む認識処理が複雑で大型、高価な構成になることから、実用的でない。

本発明は、測距センサとしてのレーダの測距結果と画像センサとしてのカメラの撮影画像とに基づくセンサフュージョンにより、従来より極めて計算量の少ない画像処理を行なって、レーダ探査とカメラ撮影の座標のずれの影響を受けることなく、昼と夜等との区別のない同じ認識処理で自車前方の障害物を精度よく認識することを目的とする。

上記した目的を達成するために、本発明の障害物認識方法は、レーダによる自車前方の測距とカメラによる自車前方の撮影とに基くセンサフュージョンの認識処理により、自車前方の先行車を含む障害物を認識する障害物認識方法において、前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定し、前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測し、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを、水平、垂直の最新エッジヒストグラムとして算出し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内でそれぞれ前記横軸方向に平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと各倍率の前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の個別残差和、及び該両個別残差和を加算した統合残差和それぞれの最小値を検出し、少なくとも前記両個別残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、前記統合残差和が最小値になる倍率を前記障害物のカメラ側検出倍率として検出し、前記カメラ側検出倍率が前記相対距離の変化から算出した前記障害物のレーダ側検出倍率に等しくなるか否かにより、前記候補対象が、前記先行車等の検出有効物か、前記先行車等の水しぶき、前記レーダの付着ごみ等の検出無効物かを判別し、前記両個別残差和の最小値の倍率が等しくなって前記候補対象が前記路面垂直物であると判別し、かつ、前記カメラ側検出倍率が前記レーダ側検出倍率に等しくなって前記候補対象が記検出有効物であると判別したときに、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴としている（請求項１）。

また、本発明の障害物認識方法は、前記の請求項１記載の障害物認識方法において、水平と垂直の個別残差和の最小値が設定された路側物検出のしきい値より小さいことを特徴とし（請求項２）、候補対象が路面上の路面垂直物か否かの判別条件に、統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平と垂直の個別残差和の最小値が等しい状態になるときに、前記候補対象が前記路面垂直物であると判別することを特徴とし（請求項３）、既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とし（請求項４）、水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし（請求項５）、少なくとも水平、垂直の個別残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とし（請求項６）、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の統合残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の統合残差和の最小値の倍率のずれを補正し、補正後の前記各撮影画像の統合残差和の最小値の倍率からカメラ側検出倍率を検出することを特徴とし（請求項７）、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴としている（請求項８）。

つぎに、本発明の障害物認識方法は、レーダによる自車前方の測距と、カメラによる自車前方の撮影とに基くセンサフュージョンの認識処理により、自車前方の先行車を含む障害物を認識する障害物認識方法において、前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定し、前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測し、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出し、前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換し、前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出し、算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴としている（請求項９）。

また、本発明の障害物認識方法は、前記の請求項９記載の障害物認識方法において、前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直のエッジヒストグラムを変換して形成されることを特徴とし（請求項１０）、水平、垂直のエッジヒストグラムが、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし（請求項１１）、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出することを特徴としている（請求項１２）。

つぎに、本発明の障害物認識装置は、自車前方を測距するレーダと、自車前方を撮影するカメラと、前記レーダの測距情報及び前記カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定する候補領域設定手段と、前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測する相対距離計測手段と、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを、水平、垂直の最新エッジヒストグラムとして算出し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内でそれぞれ横軸方向に平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと各倍率の前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の個別残差和、及び該両個別残差和を加算した統合残差和それぞれの最小値を検出する残差和演算手段と、少なくとも前記両個別残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する第１の対象判別手段と、前記統合残差和が最小値になる倍率を前記障害物のカメラ側検出倍率として検出する倍率検出手段と、前記カメラ側検出倍率が前記相対距離の変化から算出した前記障害物のレーダ側検出倍率に等しくなるか否かにより、前記候補対象が、前記先行車等の検出有効物か、前記先行車等の水しぶき、前記レーダの付着ごみ等の検出無効物かを判別する第２の対象判別手段と、前記両個別残差和の最小値の倍率が等しくなって前記第１の対象判別手段が前記路面垂直物であると判別し、かつ、前記カメラ側検出倍率が前記レーダ側検出倍率に等しくなって前記第２対象判別手段が前記検出有効物であると判別したときに、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴としている（請求項１３）。

また、本発明の障害物認識装置は、前記の請求項１３記載の障害物認識装置において、第１の対象判別手段の水平と垂直の個別残差和の最小値が設定された路側物検出のしきい値より小さいことを特徴とし（請求項１４）、第１の対象判別手段の判別条件に統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平と垂直の個別残差和の最小値の倍率が等しい状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とし（請求項１５）、ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とし（請求項１６）、ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし（請求項１７）、残差和演算手段により、少なくとも水平、垂直の個別残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とし（請求項１８）、倍率検出手段により、最新の撮影画像が得られる毎に、該最新の撮影画像を含む連続する複数枚の撮影画像の少なくとも統合残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の統合残差和の最小値の倍率のずれを補正し、補正後の前記各撮影画像の統合残差和の最小値の倍率からカメラ側検出倍率を検出するようにしたことを特徴とし（請求項１９）、ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴としている（請求項２０）。

つぎに、本発明の障害物認識装置は、自車前方を測距するレーダと、自車前方を撮影するカメラと、前記レーダの測距情報及び前記カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定する候補領域設定手段と、前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測する相対距離計測手段と、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出するヒストグラム演算手段と、前記ヒストグラム演算手段により算出された前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換するコード化手段と、前記コード化手段により前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出するピーク位置間隔演算手段と、前記ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴としている（請求項２１）。

また、本発明の障害物検出装置は、前記の請求項２１記載の障害物認識装置において、ピーク位置間隔演算手段の前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直の画像エッジのヒストグラムを変換して形成されることを特徴とし（請求項２２）、ヒストグラム演算手段により、水平、垂直の画像エッジのヒストグラムを、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成するようにしたことを特徴とし（請求項２３）、ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出するようにしたことを特徴としている（請求項２４）。

まず、請求項１、１３の構成によれば、レーダの測距結果のクラスタリング処理よって自車前方の障害物を検出する候補領域が設定され、また、その測距結果から自車と前記候補領域の障害物の候補対象との相対距離が計測される。

さらに、候補対象特徴量の情報として、カメラの最新の撮影画像の前記候補領域の水平、垂直の二値化された画像エッジの最新エッジヒストグラムが算出される。

このとき、候補対象が路面上に立設した先行車等の障害物であれば、相対距離の変化に伴って撮影画像上の候補対象が水平、垂直の両方向に同率で拡大または縮小変化するが、候補対象が路面のマンホールの蓋やキャッツアイ（鋲）等であれば、相対距離の変化に伴う候補対象の撮影画像上での拡大縮小の変化率が水平、垂直で異なり、候補対象が障害物のような路面垂直物か否かによって、水平方向と垂直方向のヒストグラムの変化が異なる。

つぎに、更新自在に保持された既記憶の以前の水平、垂直のヒストグラムをそれぞれ横軸方向（位置方向）に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムが形成され、各倍率の両方向の参照エッジヒストグラムを予測移動範囲内で横軸方向に平行移動してレーダ測距とカメラ撮影の座標ずれ等の誤差の影響を吸収しつつ、水平、垂直の最新エッジヒストグラムと各倍率の参照エッジヒストグラムとの個別残差和及び統合残差和が算出される。

そして、候補対象が障害物であれば、撮影画像の候補対象が水平、垂直の両方向に同倍率で拡大縮小変化し、前記の水平、垂直の個別残差和及び統合残差和の倍率特性は、最新エッジヒストグラムに最も近似した倍率の個別残差和及び統合残差和が極小値（最小値）となる二次曲線状（双曲線状）の特性になり、しかも、水平、垂直の前記極小値を与える倍率が等しくなる。

一方、候補対象が障害物でなく、路面のマンホールの蓋やキャッツアイ等であれば、候補対象が水平、垂直方向に同倍率で変化せず、前記の水平、垂直の個別残差和及び統合残差和の倍率特性は二次曲線状になるとは限らず、しかも、水平、垂直の最小値の倍率は異なる。

そのため、算出された水平と垂直のエッジヒストグラムの個別残差和の極小値（最小値）の倍率が等しくなるか否かの判別により、候補対象が路面上の障害物等の路面垂直物か否かを判別することができる。

さらに、路面垂直物が先行車等の障害物（検出有効物）であれば、レーダ測距に基づいて設定された候補領域内に障害物が捕捉され、このとき、前記統合残差和が最小になる障害物のカメラ側検出倍率と、レーダ測距結果に基づく相対距離変化から算出される障害物のレーダ側検出倍率とがほぼ等しくなる。

一方、レーダ測距によって先行車等の水しぶき、前記レーダの付着ごみ等の障害物でない検出無効物が路面垂直物として捕捉されたときは、前記の水平、垂直の個別残差和及び統合残差和の倍率特性が二次曲線状にならず、カメラ側検出倍率とレーダ側検出倍率とが異なることから、両検出倍率の一致、不一致により、路面垂直物が検出有効物か検出無効物かを判別することができる。

したがって、水平と垂直のヒストグラムの個別残差和の最小値の倍率が等しくなるか否かにより、候補領域の候補対象が路面上に存在する障害物等の路面垂直物か否かを判別し、さらに、カメラ側検出倍率とレーダ側検出倍率の一致、不一致から、路面垂直物が障害物か否かを判別することにより、候補領域の候補対象が路面上の障害物等の路面垂直物であってカメラ側検出倍率とレーダ側検出倍率が一致することを条件に、その路面垂直物が先行車等の障害物であって、候補領域が適正領域であることを検出し、この候補領域の画像から障害物を認識することができる。

この場合、カメラの撮影画像のエッジ検出の相関演算やスネーク（Ｓｎａｋｅ）の輪郭線抽出のような複雑で計算量の極めて多い演算は不要であり、簡単で計算量が少ない二値化された画像エッジの水平、垂直のヒストグラムの演算を行なえばよく、画像処理が簡単で計算量の極めて少ない画像処理の演算で済み、大規模なハードウェアが不要で、小型かつ簡単で安価な構成で画像処理が行なえる。

そして、レーダとカメラの座標のずれが自動的に考慮されて認識され、前記のずれにロバストであり、さらに、昼と夜とで特徴量を変えなくてよい。

つぎに、請求項２、１４の構成によれば、道路標識等の路側物であれば、記憶情報と観測情報が大きく変化し、統合残差和の最小値がしきい値以上になることから、路側物を障害物として誤認識することがなく、認識精度が向上する。

また、請求項３、１５の構成によれば、候補対象が路面垂直物か否かの判別を、算出された水平と垂直のヒストグラムの個別残差和の最小値の倍率が等しくなるか否かだけでなく、統合残差和の倍率特性が二次曲線状の特性になるか否かも加味して行なうため、判別精度が向上して認識精度が向上する。

つぎに、請求項４、１６の構成によれば、各回の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、それぞれの以前の水平、垂直の各最新エッジヒストグラムを重み付け加算平均し、候補対象特徴量の以前の履歴（時間的なヒステリシス）を加味して形成されるため、撮影画像の突発的、過渡的な変動の影響等を受けることなく、水平、垂直の各参照エッジヒストグラムが安定に形成され、認識の一層の安定性、信頼性の向上が図られる。

つぎに、請求項５、１７の構成によれば、水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることにより、情報量が少ない具体的な構成に形成される。

つぎに、請求項６、１８の構成によれば、少なくとも水平、垂直の個別残差和が最小値になる倍率が最小二乗法の演算により推定して検出されるため、各倍率の計算の刻み幅をある程度広くして処理負担を一層軽減しつつ、前記最小値の倍率を精度よく検出することができる。

つぎに、請求項７、１９の構成によれば、最新の撮影画像が得られる毎に、その撮影画像を含む連続する複数枚の撮影画像の統合残差和の最小値の倍率の時間変化を検出し、この検出に基いて前記各撮影画像の統合残差和の最小値の倍率のずれを補正し、補正後の各撮影画像の統合残差和の最小値の倍率からカメラ側検出倍率を検出したため、カメラ側検出倍率に対する画像情報量が多くなって倍率検出精度が向上し、候補対象の遠近によらず、カメラ側検出倍率のばらつきを低減して障害物の認識精度を一層向上することができる。

つぎに、請求項８、２０の構成によれば、障害物が自車のかなり前方にあって、撮影画像の候補領域が小さくなるときに、撮影画像の候補領域の画像が横軸方向及び縦軸方向に拡大され、拡大後の候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムが算出されるため、とくに自車から離れていてカメラに小さく写る遠距離の障害物についても、十分な画像情報を得て水平、垂直の最新エッジヒストグラムを算出し、精度よく認識することができる。

つぎに、請求項９、２１の構成によれば、水平、垂直の画像エッジのヒストグラムに代えて、両ヒストグラムをコードに変換した水平、垂直のエッジピークコードのピーク位置間隔の今回と前回との差に基き、候補領域が障害物を捕捉した適正領域であるか否かを判別し、この判別に基き、候補領域の画像から障害物を認識することができる。

この場合、画像エッジのヒストグラムのまま処理するよりエッジピークコードに変換して処理する方が情報量が少なくなるため、障害物認識の処理負担が軽減される等の効果がある。

つぎに、請求項１０、２２の構成によれば、請求項９、２１の構成において、前回の水平、垂直のエッジピークコードが、前回までの水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた水平、垂直の画像エッジのヒストグラムから形成されるため、請求項４、１６の構成の場合と同様の効果が得られる。

つぎに、請求項１１、２３の構成によれば、請求項５、１７の構成の場合と同様、情報量が少ない具体的な構成に形成される。

つぎに、請求項１２、２４の構成によれば、請求項９、２１の構成において、前記の請求項８、２０と同様、とくに自車から離れてカメラに小さく写る障害物についても、十分な画像情報を得て、障害物の認識を一層精度よく行うことができる。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図２１にしたがって詳述する。

（第１の実施形態）
まず、水平、垂直の画像エッジのヒストグラムを用いて認識する第１の実施形態について、図１〜図１１を参照して説明する。

図１は車両（自車）１に搭載された障害物認識装置のブロック図、図２は動作説明用のフロチャート、図３はレーザレーダ２の測距結果に基づく候補領域検出の説明図、図４は単眼カメラ３の撮影画像のエッジ画像処理の説明図、図５は図４のエッジ画像から得られたエッジヒストグラムの１例の説明図である。

また、図６は画像処理の説明図、図７、図８は倍率計算説明用の走行模式図、カメラ撮影倍率の模式図であり、図９は水平、垂直の個別残差和、統合残差和の１例の特性図、図１０は図２の一部の詳細なフローチャート、図１１は計算された倍率の１例の特性図である。

（構成）
図１の障害物認識装置は、自車前方を探査する測距用のレーダとして、電波レーダに比して安価な汎用のスキャニングレーザレーダ２を備え、自車前方を撮影するカメラ（画像センサ）として、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ３を備える。なお、レーザレーダ２に代えてミリ波レーダ等の電波レーダを備えてもよいのは勿論である。

そして、イグニッションキーによる自車１のエンジン始動後、レーザレーダ２はレーザパルスを掃引照射して自車前方をくり返し探査し、自車前方の測距結果の信号を自車１のマイクロコンピュータ構成の制御ＥＣＵ４に出力し、単眼カメラ３は自車前方を連続的に撮像し、その撮影画像の例えば画素当たり８ビットの輝度データの信号を制御ＥＣＵ４に出力する。

この制御ＥＣＵ４はメモリユニット５とともに認識演算部６を形成し、前記のエンジンスタートに基づき、予め設定された図２のステップＳ１〜Ｓ６の障害物認識プログラムを実行し、ソフトウエア構成のつぎの（ａ）〜（ｈ）の各手段を備える。

（ａ）候補領域設定手段
この手段は、レーザレーダ２の最新の測距結果をクラスタリング処理して自車前方に障害物の候補領域を設定する。具体的には、レーザレーダ２の多数個の反射点の距離計測データに基き、距離の近い反射点同士をクラスタリング処理し、図３（ａ）の単眼カメラ３の撮影画像Ｐの画面図に示すように、レーザレーダ２の探査範囲内に、枠線で囲まれた１又は複数個のクラスタ領域Ｃ１、Ｃ２、Ｃ３を形成し、そのうちの障害物の特徴に適合したクラスタ領域（ここではクラスタ領域Ｃ１）を先行車等の障害物の候補領域Ｃｃに設定する。

このとき、図３（ｂ）のレーダ測距領域の模式図に示すように、通常は、候補領域Ｃｃによって、図中の枠で囲んだ先行車等の自車前方の障害物が捕捉される。

（ｂ）相対距離計測手段
この手段は、候補領域Ｃｃの測距結果から自車１と候補領域Ｃｃの障害物の候補対象αとの時々刻々の相対距離Ｚを計測する。

（ｃ）ヒストグラム演算手段
この手段は、単眼カメラ３の最新の撮影画像Ｐの候補対象特徴量としての候補領域Ｃｃの水平、垂直の二値化された画像エッジのヒストグラムを、水平、垂直の最新エッジヒストグラムＹ、Ｘとして算出し、さらに、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムＹｍ、Ｘｍを設定範囲の各倍率Ｋ、（０＜Ｋｍｉｎ≦Ｋ≦Ｋｍａｘ、Ｋｍｉｎ：最小値、Ｋｍａｘ：最大値）でそれぞれの横軸方向に拡大縮小して各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ（＝Ｋ・Ｙｍ）、Ｘｒ（＝Ｋ・Ｘｍ）を算出する。

このとき、制御ＥＣＵ４の計算処理の負担を軽減して高速化を図るため、水平、垂直の最新エッジヒストグラムＹ、Ｘは、カメラの最新の撮影画像Ｐを微分して二値化した水平、垂直それぞれの画像エッジ情報の加算により形成される。

具体的には、撮影画像Ｐが得られるフレーム毎に、最新の撮影画像Ｐの候補領域Ｃｃの８ビット／画素の輝度データを水平、垂直両方向に微分二値化処理し、図４に示すように、候補領域Ｃｃの８ビット／画素の?画像を同図のエッジ画像（灰色部分が水平エッジ、白色部分が垂直エッジ）に変換し、このエッジ画像を２値化して先行車等の障害物を候補対象αとする水平、垂直の１ビット／画素の画像エッジ情報を得る。

さらに、図５に示すように、水平、垂直の画像エッジ情報を、水平の画像エッジについては水平方向に、垂直の画像エッジについては垂直方向にそれぞれ加算し、横軸を垂直方向、水平方向それぞれの画素位置とする水平、垂直の最新エッジヒストグラムＹ、Ｘを形成する。

つぎに、図６に示すように候補対象特徴量としての既記憶の水平、垂直の二値化された画像エッジのヒストグラム（既記憶エッジヒストグラム）Ｙｍ、Ｘｍは、両ヒストグラムＹｍ、Ｘｍをそれぞれの横軸方向（位置方向）にＫ倍して形成する水平、垂直の各倍率Ｋの参照エッジヒストグラムＹｒ、Ｘｒの突発的な変動の影響等を抑えるため、以前に算出された既フレームの水平、垂直の各エッジヒストグラムの重み付け加算平均により形成する。

ところで、倍率Ｋと相対距離Ｚとはつぎの関係がある。

すなわち、図７の走行模式図に示すように、障害物としての先行車７の相対距離Ｚが、時刻ｔにＺ、時刻ｔ＋ΔｔにＺ＋ΔＺになり、図８の撮影模式図において、実際の車幅Ｗが、単眼カメラ３の撮影面上で時刻ｔ、ｔ＋Δｔに車幅Ｋ・ω、ωになるとすると、相対距離Ｚ、Ｚ＋ΔＺはそれぞれ単眼カメラ３のレンズ焦点から先行車７までの距離であり、単眼カメラ３のレンズ焦点からＣＣＤ受光面（像面）までの距離をＣｆとした場合、つぎの（１）式、（２）式が成立し、相対距離Ｚと倍率Ｋとの関係が（３）式で表される。

Ｃｆ：ω＝（Ｚ＋ΔＺ）：Ｗ （１）式

Ｃｆ：Ｋ・ω＝Ｚ：Ｗ （２）式

Ｚ＝ΔＺ／（Ｋ−１） （３）式

また、Ｋｍｉｎ、Ｋｍａｘは、つきの（４）式、（５）式のように設定する。これらの式において、Ｚは相対距離、ΔＺ＿ｍａｘは相対距離Ｚの最大変化量（自車１が最大加速で先行車７が最大減速の状態での変化量）、ΔＺ＿ｍｉｎは相対距離Ｚの最小変化量（自車１が最大減速で先行車７が最大加速の状態での変化量）であり、前記の最大加速、最大減速はそれぞれ実験等に基いて設定される。

Ｋｍａｘ ＝ １ ＋ ΔＺ＿ｍａｘ ／ Ｚ （４）式

Ｋｍｉｎ ＝ １ ＋ ΔＺ＿ｍｉｎ ／ Ｚ （５）式

（ｄ）残差和演算手段
この手段は、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを、例えば図６の予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動して水平、垂直それぞれの最新エッジヒストグラムＹ、Ｘと各倍率Ｋの参照エッジヒストグラムＹｒ、Ｘｒとの差の絶対値和からなる水平、垂直の個別残差和Ｖｙ、Ｖｘ、及び両個別残差和Ｖｙ、Ｖｘを加算した統合残差和Ｖそれぞれを算出し、例えば、図９（ａ）、（ｂ）、（ｃ）に示す、それぞれの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを求める。

なお、図９のＫｙ０、Ｋｘ０、Ｋ０は最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを与える倍率Ｋである。

ところで、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動するのは、つぎの理由に基く。

すなわち、自車１に振動によるピッチング運動がなく、さらに、レーザレーダ２の出力から常に時間遅れなく正確な位置を検出できるのであれば、参照エッジヒストグラムＹｒ、Ｘｒの平行移動は不要であるが、実際には、レーザレーダ２の測距時刻と、単眼カメラ３の撮影時刻とを厳密に一致させることは困難であり、さらに、自車１が振動などによって縦方向にピッチングすることから、これらに起因したレーザレーダ２と単眼カメラ３との座標軸のずれ等を吸収して倍率Ｋ０ｙ、Ｋ０ｘ、Ｋ０等を正確に検出するには、予測される範囲内で参照エッジヒストグラムＹｒ、Ｘｒを平行移動して倍率Ｋ０ｙ、Ｋ０ｘ等の位置を探索することが必要だからである。

そして、予測移動範囲Ｍｙ、Ｍｘは、前記の振動によるピッチング運動等を考慮し、実験等に基いて設定され、参照エッジヒストグラムＹｒ、Ｘｒが予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動される。

なお、予測移動範囲Ｍｘは、具体的には、自車１のピッチング角度範囲と相対距離Ｚとで決まり、相対距離Ｚによって変化し、予測移動範囲Ｍｙは、自車１のヨーイング角度範囲と、候補対象αの予想される横移動範囲と、相対距離Ｚとで決まり、相対距離Ｚによって変化する。

そして、候補領域Ｃｃが、マンホールの蓋や鋲、路面標示等の路面物を間違って囲むものでなく、先行車等の路面垂直物を囲むものであれば、レーダ探査平面とカメラ撮像平面とが一致し、このとき、残差和Ｖｙ、Ｖｘ、Ｖの倍率特性のグラフは、前記の図９（ａ）〜（ｃ）の双曲線状、すなわち、極小値を有する下に凸の二次曲線状になり、しかも、倍率Ｋｙ０、Ｋｘ０は等しくなる（Ｋｙ０＝Ｋｘ０）が、マンホールの蓋や鋲、路面標示等を誤って囲むものであれば、候補領域Ｃｃが正しくなく、レーダ探査平面とカメラ撮像平面とが同じ平面に属さないため、残差和Ｖｙ、Ｖｘ、Ｖの倍率特性のグラフは、前記の下に凸の二次曲線状にならず、倍率Ｋｙ０、Ｋｘ０はＫｙ０≠Ｋｘ０になる。

そこで、この手段により、残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを求め、それらのときの倍率Ｋｙ０、Ｋｘ０、Ｋ０ｃ（＝Ｋ０）を検出する。

（ｅ）第１の対象判別手段
この手段は、少なくとも水平と垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０が等しい状態（Ｋｙ０＝Ｋｘ０）になるか否かにより、候補対象αが路面上の路面垂直物か否かを判別する。

（ｆ）倍率検出手段
この手段は、統合残差和Ｖが最小値Ｖｍｉｎになる倍率Ｋ０を障害物のカメラ側検出倍率Ｋ０ｃとして検出する。

そして、障害物でない路側物であれば、記憶情報と観測情報が大きく変化して統合残差和Ｖの最小値Ｖｍｉｎが所定の路側物検出のしきい値Ｖａ以上になることから、路側物による誤認識を防止して認識精度を向上する場合は、路側物しきい値Ｖａより小さい最小値Ｖｍｉｎのみをカメラ側検出倍率Ｋ０ｃとして検出することが好ましい。

（ｇ）第２の対象判別手段
この手段は、カメラ側検出倍率Ｋ０ｃが相対距離Ｚの変化から算出した障害物のレーダ側検出倍率Ｋ０ｒに等しい状態（Ｋ０ｃ＝Ｋ０ｒ）になるか否かにより、候補対象αが、先行車等の検出有効物か、先行車等の水しぶき、レーザレーダ２の付着ごみ等の検出無効物かを判別する。

すなわち、候補対象αが先行車等の水しぶき、レーザレーダ２の付着ごみ等の検出無効物であれば、実際には障害物は存在しなにもかかわらず、レーザレーダ２の探査からは候補対象αを障害物として誤認識してしまうため、レーザレーダ２から観測したレーダ側検出倍率Ｋ０ｒと、撮影画像から計測したカメラ側検出倍率Ｋ０ｃとが同値にならなければ（Ｋ０ｃ≠Ｋ０ｒであれば）、候補対象αを検出無効物であると判別し、Ｋ０ｃ＝Ｋ０ｒのときにのみ、候補対象αを検出有効物と判別し、誤認識を防止する。

（ｈ）認識処理手段
この手段は、前記の路面垂直物かつ検出有効物の判別により候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から候補対象αを障害物として認識する。

すなわち、Ｋｘ０＝Ｋｙ０、かつ、Ｋ０ｃ＝Ｋ０ｒになることから、レーザレーダ２の探査に基く測距結果が正しく、候補領域Ｃｃが間違いなく障害物の領域であると判断し、候補領域Ｃｃの画像から候補対象αを障害物として認識する。

（動作）
つぎに、認識演算部６の動作について、図２等を参照して説明する。

自車１のエンジン始動後、図２のステップＳ１により、候補領域設定手段がクラスタリング処理を実行し、時々刻々の先行車７等の障害物の領域とみなされる候補領域Ｃｃを設定し、同時に、相対距離計測手段が時々刻々の相対距離Ｚを計測する。

また、図２のステップＳ２により、ヒストグラム演算手段が時々刻々の（フィールド毎の）撮影画像Ｐを画像微分二値化処理してその画像エッジ情報を得、以降の計算処理において、８ビット／画素の輝度値をそのままを用いるのでなく、１ビット／画素のエッジ情報を利用するようにして、情報量を１／８に低減し、計算量を少なくする。

そして、図２のステップＳ３により、ヒストグラム演算手段が、フィールド毎に水平、垂直の最新エッジヒストグラムＹ、Ｘ及び各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを算出し、前記のクラスタリング処理によって設定された領域Ｃｃについての候補対象αの画像上での特徴量（ベクトル）を計算する。

このとき、倍率Ｋは、前記の（４）式、（５）式の演算に基いて設定された最大値Ｋｍａｘ〜最小値Ｋｍｉｎの範囲で変化し、その単位変化の幅（計算刻み幅Ｋ＿ｓｔｅｐ）は、制御ＥＣＵ４の処理負担等を考慮して、例えば０．０４に設定される。

また、時刻ｔ、ｔ＋１、…における垂直の最新エッジヒストグラムＸを今回の候補対象特徴量（ベクトル）Ｘｔ、Ｘｔ＋１、…とし、各時刻ｔ、ｔ＋１、…にメモリユニット５に更新自在に保持される既記憶エッジヒストグラムＸｍを、それぞれ前回までの特徴量（ベクトル）Ｐｔ、Ｐｔ＋１、…とすると、特徴量Ｐｔ、Ｐｔ＋１、…は、撮影画像Ｐの時間的連続性（相関性）等を考慮して以前に算出された既フレームの垂直の各エッジヒストグラムの重み付け加算平均により、突発的な変動の影響等を抑えて算出され、更新自在に最新のものに書き換えられて保持される。

具体的には、例えば時刻ｔ＋１の既記憶エッジヒストグラムＸｍの特徴量Ｐｔ＋１は、時刻ｔの最新エッジヒストグラムＸｔ、特徴量Ｐｔに基づくつぎの（６）式の重み付け加算平均により算出されて時刻ｔ＋１まで保持される。なお、同式中のＨは、０＜Ｈ＜１の適当な値に設定されたヒス係数である。

Ｐｔ＋１＝Ｈ×Ｘｔ＋（１−Ｈ）×Ｐｔ （６）式

なお、水平の既記憶エッジヒストグラムＹｍも、前記と同様にして時間的にヒステリシスを持たせて更新しながら保持される。

そして、各時刻の候補対象特徴量としての水平、垂直のエッジヒストグラム（Ｙｔ、Ｘｔ）、（Ｙｔ＋１、Ｘｔ＋１）、…が、保持されていた候補対象特徴量としての水平、垂直の既記憶エッジヒストグラムＰｔ（＝Ｙｍｔ、Ｘｍｔ）、Ｐｔ＋１（＝Ｙｍｔ＋１、Ｘｍｔ＋１）、…と大きく異なるときには、候補対象αとして前回と違うものを認識したか、或いは、何らかの原因で候補対象αの画像上の特徴が局所的に変わったと判定することができる。

つぎに、前記の各時刻の候補対象特徴量Ｐｔ、Ｐｔ＋１、…に基く残差和Ｖｙ、Ｖｘ、Ｖ及び最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎは、ステップＳ３において、残差和演算手段が計算する。

この計算の処理は、具体的には、例えば図１０のステップＱ１〜Ｑ１１からなり、ステップＱ１により、初期値Ｋｍｉｎから漸増可変される倍率ＫがＫｍｉｎ≦Ｋ≦Ｋｍａｘに探索範囲に設定されていることを確認すると、ステップＱ２により、その倍率Ｋでの垂直の個別残差和Ｖｘを計算し、ステップＱ３により、計算した個別残差和Ｖｘが、計算開始時に初期値にセットされた最小値Ｖｘ＿ｍｉｎより小さいか否かを判別し、Ｖｘ＜Ｖｘ＿ｍｉｎであれば、ステップＱ４に移行し、最小値Ｖｘ＿ｍｉｎを計算した個別残差和Ｖｘに更新し、垂直の検出倍率Ｋｘ０をその倍率Ｋに更新する。

さらに、ステップＱ５により、その倍率Ｋでの水平の個別残差和Ｖｙを計算し、ステップＱ６により、計算した個別残差和Ｖｙが、計算開始時に初期値にセットされた最小値Ｖｙ＿ｍｉｎより小さいか否かを判別し、Ｖｙ＜Ｖｙ＿ｍｉｎであれば、ステップＱ７に移行し、最小値Ｖｙ＿ｍｉｎを計算した個別残差和Ｖｙに更新し、水平の検出倍率Ｋｙ０もその倍率Ｋに更新する。

つぎに、ステップＱ８により、その倍率Ｋにおいて計算した個別残差和Ｖｘ、Ｖｙに基き、統合残差和Ｖ（＝Ｖｘ＋Ｖｙ）を計算し、ステップＱ９により、計算した統合残差和Ｖが計算開始時に初期値にセットされた最小値Ｖｍｉｎより小さいか否かを判別し、Ｖｙ＜Ｖｍｉｎであれば、ステップＱ１０に移行して最小値Ｖｍｉｎを計算した統合残差和Ｖに更新し、検出倍率Ｋ０をその倍率Ｋに更新する。

そして、ステップＱ１１により、倍率ＫをＫ＋Ｋ＿ｓｔｅｐにステップ可変して漸増し、この状態で、ステップＱ１に戻ってこのステップＱ１から処理をくり返し、ステップＱ３により、Ｖｘ≧Ｖｘ＿ｍｉｎに変化して個別残差和Ｖｘの最小値Ｖｘ０を検出すると、ステップＱ４をパスしてステップＱ５に移行し、同様に、ステップＱ６により、Ｖｙ≧Ｖｙ＿ｍｉｎに変化して個別残差和Ｖｙの最小値Ｖｙ０を検出すると、ステップＱ７をパスしてステップＱ８に移行する。

さらに、ステップＱ９により、Ｖ≧Ｖｍｉｎに変化して統合残差和Ｖの最小値Ｖ０を検出すると、そのときの残差和Ｖｙ、Ｖｘ、Ｖ及び最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを候補対象αの特徴量として検出するとともに倍率Ｋｙ０、Ｋｘ０、Ｋ０を検出し、図１０の処理を終了する。

なお、ステップＱ３、Ｑ６、Ｑ９においては、各倍率Ｋの垂直、水平の参照エッジヒストグラムＸｒ、Ｙｒを、前記の予測移動範囲Ｍｘ、Ｍｙ内でそれぞれの横軸ｘ、ｙ方向に平行移動して各残差和Ｖｘ、Ｖｙ、Ｖが算出される。

そして、算出結果等に基き、候補領域Ｃｃが適正な領域の場合、残差和Ｖｙ、Ｖｘ、Ｖの倍率Ｋの実測特性として、例えば図１１に示す二次曲線特性が得られた。

そして、図１０の処理を終了すると、図２のステップＳ３からステップＳ４に移行し、第１の対象判別手段により、ステップＳ３で得られた最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎの倍率Ｋｙ０、Ｋｘ０が等しい（Ｋｙ０＝Ｋｘ０）状態か否かから、候補対象物αが路面垂直物か否かを判別し、倍率検出手段により、ステップＳ３で得られた倍率Ｋ０をカメラ側検出倍率Ｋ０ｃとして検出する。

また、第２の対象判別手段により、相対距離Ｚの前回からの変化に基き、前記の（３）式からもとまる倍率Ｋをレーダ側検出倍率Ｋ０ｒとして検出し、Ｋ０ｃ＝Ｋ０ｒになるか否かから、候補対象αが、先行車等の検出有効物か、先行車等の水しぶき、レーザレーダ２の付着ごみ等の検出無効物かを判別する。

さらに、路面垂直物（Ｋｙ０＝Ｋｘ０）かつ検出有効物（Ｋ０ｃ＝Ｋ０ｒ）の判別が行われたときにのみ、認識処理手段により、候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から候補対象αを障害物（図２では車両（先行車））として認識する。

つぎに、ステップＳ５に移行し、この実施形態においては、認識精度を一層向上するため、先行車等の障害物の候補領域Ｃｃについて、今回の観測位置をもとにカルマンフィルタを用いて次回の観測位置を予測してメモリユニット５に書き換え自在に保持し、例えば、次回のステップＳ１の処理において、この予測位置と実際に観測された位置との誤差から候補領域Ｃｃの妥当性を検討し、誤差が大きすぎるときには、候補領域Ｃｃを無効にしてレーダクラスタ検出をロバストにする。

また、今回得られた各特徴量と次回計算される特徴量とを比較等するために、今回得られた各特徴量をメモリユニット５に書き換え自在に保持し、例えば、ステップＳ３において、算出された特徴量と保持された前回の特徴量との比較から、算出された特徴量の妥当性を検討し、誤差が大きすぎる場合は、算出された特徴量を無効にして認識精度の向上を図る。

そして、ドライバの操作による制御モードの切り換え、又は、自車１のエンジン停止により、認識処理を終了するまで、ステップＳ５からステップＳ６を介してステップＳ１、Ｓ２の処理に戻り、各ステップＳ１〜Ｓ６の処理をくり返し、時々刻々の先行車７等の障害物を認識する。

この実施形態の場合、上記した構成、動作に基づき、つぎの（１）〜（３）等の効果が生じる。

（１）レーザレーダ２、単眼カメラ３のセンサ間のキャリブレーションずれに対して強い。
すなわち、水平のエッジヒストグラムＹは水平方向（ｘ軸方向）の位置ずれに対してほとんど形状が変化しない。また、垂直のエッジヒストグラムＸは垂直方向（ｙ軸方向）の位置ずれ（ピッチング）に対してほとんど形状が変化しない。

これら二つのエッジヒストグラムＹ、Ｘの特徴に基き、レーザレーダ２、単眼カメラ３のセンサ間の位置ずれ（座標のずれ）に起因した誤認識をきわめて良好に低減することができ、センサ間のキャリブレーションずれに対して強い構成のセンサフュージョンにより、先行車等の障害物を精度よく認識することができる。

（２）単眼カメラ３の撮影画像Ｐの画像処理の計算が簡単で容易である。
すなわち、エッジヒストグラムＹ、Ｘの計算は、単純な加算のみであり、複雑な相関演算やスネークの輪郭線抽出を行なうテンプレートマッチングの画像処理等に比べて計算量が少なく、簡単で容易であることから、制御ＥＣＵ４のコンピュータの処理負担が少なく、障害物認識の画像処理を、計算量が少なく、簡単かつ容易で安価な構成により行なうことができる。

（３）昼夜共通の処理で障害物の認識が行なえる。
すなわち、例えば前記の図２２の（ａ）、（ｂ）の昼間、夜間の撮影画像Ｐａ、Ｐｂの自車前方の車両（先行車７）について、つぎの表１に示すように、昼間の画像Ｐａからは、矩形らしさ、左右対称性、車両端垂直線分、水平線分の判別が行なえるが、夜間の画像Ｐｂからは、左右の対称性を除き、これらの判別は行なえない。なお、表１の○は判別可能、×は判別不能を示す。

そこで、この実施形態においては、とくに単眼カメラ３の撮影画像Ｐの画像処理において、いわゆる見た目の形状に着目するのではなく、画像パターンの時間方向の連続性に着目し、水平、垂直のエッジヒストグラムＹ、Ｘの残差和Ｖｙ、Ｖｘ、Ｖ（＝Ｖｙ＋Ｖｘ）の倍率特性のグラフ形状から路面垂直面らしさを判定し、かつ、レーザレーダ２の測距の探査結果からの倍率Ｋ０ｒの検出と撮影画像からの倍率Ｋ０ｃとの一致（データ整合）とから、候補領域Ｃｃの正誤を判別してその候補対象αから先行車７等の障害物を認識したため見た目の形状からの認識の差によらず、昼夜等の別なく同じ認識処理を行なって障害物を精度よく認識することができる。

その結果、レーザレーダ２と単眼カメラ３とのセンサフュージョンの認識処理により、画像処理の計算量が少ない安価な構成で先行車７等の自車前方の障害物を昼夜の別なく、どのような走行シーンでも正確に認識することができ、従来にない画期的な障害物認識を実現することができ、車両の安全システムの普及に寄与し、交通安全に貢献することができる。

なお、多くの場合、倍率Ｋ０はＫｘ０＝Ｋｙ０のときにはＫ０＝Ｋｘ０＝Ｋｙ０になり、Ｋｘ０≠Ｋｙ０のときにはＫ０＝Ｋｘ０になるが、Ｋ０＝Ｋｙ０にならないこともある。

例えばマンホールの蓋が相対的に接近するような場合には、垂直エッジの倍率Ｋｘ０は、Ｋｘ０＝Ｋ０を満足し、かつ、レーダ側倍率Ｋ０ｒとも一致するが、水平エッジヒストグラムの倍率Ｋｙ０は倍率Ｋ０、Ｋ０ｒに一致しなくなることから、倍率Ｋ０を計算せず、倍率Ｋ０の代わりに倍率Ｋｘ０を使って障害物認識の判定をすることも考えられるが、走行中にはＫｘ０＝Ｋｙ０になるような事態も生じ、この場合には、倍率Ｋｘ０を用いるのみでは障害物の誤認識が生じる。

そして、倍率Ｋｘ０よりも倍率Ｋ０を用いる方が、より多くのデータから認識することになって前記の誤認識の程度が低くなることから、倍率Ｋｙ０、Ｋｘ０及びＫ０を用いて認識することにより、認識の信頼性が著しく向上する。

（第２の実施形態）
つぎに、第２の実施形態について、図１２〜図１５を参照して説明する。

この実施形態においては、前記の倍率Ｋに基く縮小拡大の計算精度が認識精度に直接影響することから、以下に説明する構成を、前記第１の実施形態と異ならせる。

すなわち、候補対象αの相対距離Ｚ等によらず、倍率Ｋの刻み幅Ｋ＿ｓｔｅｐを同条件にして縮小拡大の計算を行なうと、候補対象αが相対的に遠くに位置して相対距離Ｚが遠距離になるほど、候補領域Ｃｃの画像が小さくなって障害物の認識精度が低下する。

具体的には、まず、自車前方の２５ｍより遠距離に停止した先行車７に自車１が一定速度で接近して停止する間に、倍率Ｋの刻み幅Ｋ＿ｓｔｅｐを同条件にして、倍率Ｋｙ０、Ｋｘ０、Ｋ０の時間変化を、その１００倍の水平、垂直、水平垂直統合の拡大率（Ｋ×１００）の時間変化として測定したところ、図１２（ａ）、（ｂ）、（ｃ）の実測特性が得られた。 それらの図において、ｙは水平（倍率Ｋｙ０）の拡大率特性、ｘは垂直（倍率Ｋｘ０）の拡大率特性、ｘｙは水平垂直統合（Ｋ０ｃ）の拡大率特性であり、ｒは比較のためのレーザレーダ２の測距結果に基く倍率Ｋ０ｒの拡大率特性である。

そして、図１２（ａ）〜（ｃ）からも明らかなように、例えば同図（ａ）の破線円で囲んだ２５ｍ以遠では拡大率（換言すれば倍率Ｋ）のばらつきが大きくなり、その結果、相対距離Ｚが遠距離になる程、障害物の認識精度が低下する。

また、刻み幅Ｋ＿ｓｔｅｐによっては、前記の同条件の縮小拡大の計算を行なう場合、図１３の倍率計算精度の説明図に示すように、とくに撮影画像Ｐの候補領域Ｃｃが小さくなるときに、例えば図中の拡大率９０〜９９で水平、垂直のヒストグラムＹ、Ｘがほとんど同一になる事態が生じ、このとき、図中の残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率特性に示すように、実線枠で囲んだ拡大率９０〜９９の範囲では最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎがほぼ等しくなり、真の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの拡大率（倍率Ｋ）が求まらなくなって障害物の認識精度が低下する。

これらの不都合を解消するため、無条件に倍率Ｋの刻み幅Ｋ＿ｓｔｅｐを極力小さくして高い計算精度を確保し、前記の真の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率Ｋを確実に求めるようにしようとすると、候補対象αが相対的に接近するにしたがって処理する画像パターンが大きくなり、膨大な量の計算が必要になって制御ＥＣＵ４の負担が過大になる。

そこで、この実施形態にあっては、候補対象αが相対的に接近しても膨大な計算を行なうことなく、候補対象αの相対的な位置によらず、前記の真の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率が確実に求まるようにし、画像処理の計算量を減らして障害物の認識精度を向上する。

そのため、前記の残差和演算手段により、少なくとも水平、垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０を、最小二乗法の演算により推定して検出し、最終的に、統合残差和Ｖの最小値Ｖｍｉｎの倍率Ｋ０を求める。

具体的には、倍率Ｋの刻み幅Ｋ＿ｓｔｅｐは、制御ＥＣＵ４の処理能力等を考慮して処理負担が過剰にならない適当な大きさ、例えば０．０４に設定し、設定した刻み幅Ｋ＿ｓｔｅｐでの倍率Ｋの変化に基いて前記第１の実施形態と同様にして各倍率Ｋの残差和｛Ｖ｝（｛Ｖ｝はＶｙ、ＶｘまたはＶｙ、Ｖｘ、Ｖを示す）を測定値として求める。

また、図１４に示すような相対距離Ｚによって異なる特性の拡大率｛Ｋ｝（＝Ｋ×１００）と残差和｛Ｖ｝の二次関数曲線の複数個のグラフ（最小二乗法の係数決定用のグラフ）のモデルをメモリユニット５に記憶して用意しておく。

図１４において、Ｗ（１５）、Ｗ（３０）、Ｗ（５０）は拡大中心位置からの距離が画像上で１５、３０、５０画素（ピクセル）それぞれの位置（相対距離Ｚに対応）の残差和の二次曲線モデルであり、それぞれ、Ｋ＜１の縮小側とＫ＞１の拡大側とは等価であって対称に変化する。

なお、拡大中心位置は水平、垂直のエッジヒストグラムＹ、Ｘの中心位置であり、水平のエッジヒストグラムＹの上下端のｙ座標［上、下］を［ｙｕ、ｙｄ］とした場合、エッジヒストグラムＹの拡大中心位置（ｙ座標）は（ｙｕ＋ｙｄ）÷２であり、垂直のエッジヒストグラムＸの左右端のｘ座標［左、右］を［ｘｌ、ｘｒ］とした場合、エッジヒストグラムＸの拡大中心位置（ｘ座標）は（ｘｌ＋ｘｒ）÷２である。

そして、相対距離Ｚ等に基いて適当なモデルを選択し、そのモデルの係数を、周知の最小二乗法の演算によって推定する。

すなわち、選択したモデルが、つぎの（７）式の拡大率｛Ｋ｝の二次曲線関数ｆ（｛Ｋ｝）で表されるとする。

｛Ｖ｝＝ｆ（｛Ｋ｝）＝ａ・｛Ｋ｝^２＋ｂ・｛Ｋ｝＋ｃ （７）式

このとき、最小値｛Ｖ｝（＝Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎ）の拡大率｛Ｋ０｝（＝Ｋｙ０×１００、Ｋｘ０×１００、Ｋ０×１００）は二次曲線関数ｆ（｛Ｋ｝）の頂点（最小値の点）の｛Ｋ｝座標値であり、それをＫｅとすると、Ｋｅ＝−ｂ／（２・ａ）である。

そして、選択したモデルの二次曲線に対する各拡大率｛Ｋ｝の測定値｛Ｖ｝の誤差をｅとし、その総和ΣｅをＥとすると、つぎの（８）式が成立する。

Ｅ＝Σｅ＝（ａ・｛Ｋ｝^２＋ｂ・｛Ｋ｝＋ｃ−｛Ｖ｝）^２ （８）式

さらに、（８）式から、つぎの数１の（９）式、数２の（１０）式、数３の（１１）式が得られる。

そして、（９）式〜（１１）式に基き、ｂ／ａ推定のつぎの（１２）式が得られる。なお、同式中のＡ、Ｂは、Ａ＝Σ｛Ｋ｝^２Σ｛Ｖ｝−ｎΣ（｛Ｋ｝^２｛Ｖ｝）、Ｂ＝ｎΣ（｛Ｋ｝・｛Ｖ｝）−Σ｛Ｋ｝Σ｛Ｖ｝である。

ｂ／ａ＝｛Ａ・（Σ｛Ｋ｝^２Σ（｛Ｋ｝・｛Ｖ｝）−Σ｛Ｋ｝^３Σ｛Ｖ｝）−Ｂ・（Σ｛Ｋ｝^４Σ｛Ｖ｝−Σ｛Ｋ｝^２Σ（｛Ｋ｝^２・｛Ｖ｝））｝／｛Ｂ・（Σ｛Ｋ｝^３Σ｛Ｖ｝−Σ（｛Ｋ｝^２・｛Ｖ｝）Σ｛Ｋ｝）−Ａ・（Σ（｛Ｋ｝・｛Ｖ｝）Σ｛Ｋ｝−Σ｛Ｋ｝^２Σ｛Ｖ｝）｝ （１２）式

したがって、残差和演算手段により、第１の実施形態の場合と同様にして各倍率Ｋの残差和Ｖｙ、Ｖｘを求めた後、（１２）式の演算から最小二乗法でｂ／ａを推定し、この推定に基き、前記の頂点（極点）の｛Ｋ｝座標値Ｋｅを求めて残差和Ｖｙ、ＶｘまたはＶｙ、Ｖｘ、Ｖの最小値｛Ｖ０｝（＝Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎまたはＶｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ，Ｖｍｉｎ）の拡大率｛Ｋ０｝（＝Ｋｅ）を推定し、この推定に基いて、真の倍率Ｋｙ０、Ｋｘ０，Ｋ０を検出する。

この場合、実際の倍率Ｋは０．０４倍刻みで計算するが、この計算結果に基づく前記の最小二乗法の推定演算により、等価的に、さらに細かい刻みで倍率Ｋを変えた状態で拡大率Ｋｙ０、Ｋｘ０を推定し、これらの推定に基づき、最終的に、同様の細かい刻みで最小値Ｖｍｉｎの真の拡大率Ｋ０を推定することができ、画像処理の計算量を少なくして制御ＥＣＵ４の負担を軽減しつつ、倍率Ｋｙ、Ｋｘ、Ｋの実際の刻み幅より一層細かい精度で、候補対象αの相対的な位置によらず、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの真の倍率Ｋｘ０、Ｋｙ０、Ｋ０を確実に求めることができ、画像処理の計算量を減らして障害物の認識精度を一層向上することができる。

そして、実験したところ、図１５の（ａ）、（ｂ）、（ｃ）の結果が得られた。

これらの図において、ｙ、ｘ、ｘｙは、刻み幅０．０４の倍率可変に基き、前記の推定を行なわずに求めた水平、垂直、水平垂直統合の拡大率特性であり、それぞれ障害物の相対距離Ｚが遠距離のときには検出した拡大率が大きくばらつき、しかも、真の倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）が求められない平坦部分が生じている。これに対して、ｙ！、ｘ！、ｘｙ！は、この実施形態の場合の特性であり、刻み幅０．０４の倍率可変と前記の推定との組み合わせに基き、等価的に、刻み幅が０．０４より小さくなることから、いずれも相対距離Ｚが遠距離のときに検出したする拡大率のばらつきが大幅に低減され、しかも、真の倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）が確実に求められ、前記の平坦部分が生じることもない。

したがって、この実施形態の場合、制御ＥＣＵ４の画像処理負担を軽減しつつ、障害物の認識性能を一層向上することができ、例えば、この認識結果に基いて自車１の自動ブレーキシステムを制御することにより、交通事故の著しい低減効果等が期待できる。

（第３の実施形態）
つぎに、第３の実施形態について、図１６、図１７を参照して説明する。

この実施形態にあっては、前記したように、拡大率計算精度がそのまま障害物の認識性能に影響し、とくに相対距離Ｚが遠距離になると、候補対象αの画像が小さくなって倍率計算精度の確保が難しくなり、検出した拡大率のばらつきが大きくなって認識性能が低下することから、これを改善するため、倍率計算のプロセスそのものに時間的連続性を持たせて、拡大率検出、すなわち、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出に用いる情報を、連続する複数フレームから多数得るようにし、候補対象αの遠近によらず、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出のばらつきを低減し、とくに候補対象αが遠くに位置したときの倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出のばらつきを低減することで、障害物の認識性能をさらに向上する。

ところで、図１６は連続する時刻ｔ−２、ｔ−１、ｔの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの各残差和の倍率特性の時間変化を示し、この図１６からも明らかなように、連続するフレーム間においては、実線ｙ、ｘ、ｘｙの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの特性線はほぼ同じ形状を保持することから、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率特性は、連続する数フレーム間ではほぼ同じであるとみなすことができる。

なお、さらに多数の連続フレーについて、同様の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率特性のグラフを求めたところ、図１７の結果が得られた。同図において、各破線ｙが水平のグラフ、各実線ｘが垂直のグラフ、実線ｘｙが水平垂直の統合のグラフであり、これらのグラフも図１６と同様の時間変化の傾向を示す。

そこで、この第３の実施形態においては、前記の第１または第２の実施形態の構成において、倍率検出手段により、最新の撮影画像が得られる毎に、その撮影画像を含む連続する複数枚の撮影画像の少なくとも統合残差和Ｖの最小値Ｖｍｉｎの倍率Ｋ０の時間変化を検出し、この検出に基づいて各撮影画像の倍率Ｋ０のずれを補正し、補正後の各撮影画像の倍率Ｋ０からカメラ側検出倍率Ｋ０ｃを検出する。

具体的には、単眼カメラ３の撮影により、最新の１フレームの撮影画像が得られる毎に、このフレームの撮影画像の情報と、その直前のフレームの撮影画像の情報とに基き、第１または第２の実施形態と同様にして、各残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎに対応する倍率Ｋｙ０、Ｋｘ０、Ｋ０を求め、これらの情報を、少なくとも設定された数フレームの間、図１のメモリユニット５に保持する。

このとき、Ｖｔ（Ｋ）を時刻ｔでの水平、垂直の探索倍率Ｋｙ（またはＫｘ）の残差和とすると、時刻ｔの撮影画像についての水平のエッジヒストグラムは、最小値Ｖｙ＿ｍｉｎが Ｖｔ（Ｋｙ０）であり、同様に、時刻ｔの撮影画像についての垂直のエッジヒストグラムは、最小値Ｖｘ＿ｍｉｎが Ｖｔ（Ｋｘ０）である。

また、連続するフレーム間では、残差和Ｖｙ、Ｖｘ、Ｖｘｙと倍率Ｋとの二次曲線のグラフ形状はよく似ており、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの頂点位置だけがΔＫ平行移動したものとみなせる。

そして、時刻ｔ、ｔ−１の２フレームについては、垂直のエッジヒストグラムであれば、Ｖｘｔ−１（Ｋｘ−ΔＫｘ） ＝ Ｖｘｔ（Ｋｘ）という制約式が成立し、この式をテイラー展開し、二次以上の項を微少であるとして無視し、かつ、時間変動が微少であるとして、δｔ→０とすれば、最終的に、倍率変化ΔＫｘについて、つぎの数４の（１３）式が得られる。

同様にして、水平のエッジヒストグラムの倍率変化ΔＫｙについて、Ｖｙｔ−１（Ｋｙ−ΔＫｙ） ＝ Ｖｙｔ（Ｋｙ）という制約式が成立し、つぎの数５の（１４）式が得られる。

なお、これらのテイラー展開による動き量の検出は、画像の周知のオプティカルフローの勾配法の動き検出と同様である。

そこで、前記の第１、第２の実施形態と同様にして、例えば、時刻ｔ−１、ｔの撮影画像から時刻ｔにおける残差和と倍率Ｋの二次曲線のグラフを得て時刻ｔの倍率Ｋｘ０［ｔ］、Ｋｙ０［ｔ］を求め、同様に、時刻ｔ、ｔ＋１の撮影画像から時刻ｔ＋１における残差和と倍率Ｋの二次曲線のグラフを得て時刻ｔ＋１の倍率Ｋｘ０［ｔ＋１］、ｋｙ０［ｔ＋１］を求める。

さらに、倍率検出手段により、前記の（１３）式、（１４）式の関係から、時刻ｔの倍率Ｋｘ０［ｔ］、Ｋｙ０［ｔ］と、時刻ｔ＋１の倍率Ｋｘ０［ｔ＋１］、ｋｙ０［ｔ＋１］との時間変化量（移動量）ΔＫｘ、ΔＫｙを求め、この時間変化量ΔＫｘ、ΔＫｙに基づき、例えば、倍率Ｋｘ０［ｔ］ｔ、Ｋｙ０［ｔ］を時刻ｔ＋１の倍率に補正し、補正後の倍率Ｋｘ０［ｔ］、Ｋｙ０［ｔ］、Ｋｘ０［ｔ＋１］、ｋｙ０［ｔ＋１］の平均から時刻ｔ＋１の倍率Ｋｙ０、Ｋｘ０を求め、最終的に、最小値Ｖｍｉｎの倍率Ｋ０を求めてカメラ側検出倍率Ｋ０ｃとする。

この場合、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出に用いる情報が、連続する複数フレームから多数得られるため、候補対象αの遠近によらず、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出のばらつきを低減することができ、とくに、候補対象αが遠く、その撮影画像が小さくなるときの検出精度が向上してそのばらつきを低減し、障害物の認識性能をさらに向上することができる。

（第４の実施形態）
つぎに、第４の実施形態について、図１８を参照して説明する。

前記第１〜３の実施形態において、とくに遠方の障害物については、矩形の候補領域Ｃｃが小さくなり、エッジヒストグラムＸ、Ｙが小さくなることから、連続するフレーム間でその小さい情報同士を比較すると、第１の対象判別手段による最適倍率（拡大率）の探索が容易でなく倍率計算の誤差が大きくなる。

そこで、この実施形態においては、候補対象αの画像が小さくなるときの倍率計算のばらつきを抑えて認識性能の向上を図るため、前記各実施形態において、ヒストグラム演算手段により、候補領域Ｃｃの基準寸法に対する縮小率に応じて候補領域Ｃｃの画像を水平、垂直の両方向に拡大し、拡大後の候補領域Ｃｃの水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムＹ、Ｘを算出する。

具体的には、例えば図１８に示す時刻ｔ−１、ｔの連続２フレームの撮影画像Ｐｔ−１、Ｐｔに、相対距離Ｚに応じた大きさの候補領域Ｃｃが含まれ、これらの候補領域Ｃｃにおいて、例えば車両リフレクタの横幅として検出される検出クラスタ幅、又はエッジヒストグラムＹ、Ｘの少なくとも一方の車両の特徴的なピークの間隔と、それらの基準の幅、間隔との比較に基き、候補領域Ｃｃの基準寸法に対する縮小率を検出する。

さらに、検出した縮小率に応じて候補領域Ｃｃの画像を拡大処理し、図１８に示すように拡大後の画像につき、エッジヒストグラム＜Ｙ＞、＜Ｘ＞を求める。なお、縮小率が１より大きくなるときは、実質的に候補領域Ｃｃの画像を縮小処理する。

このとき、とくに相対距離Ｚが遠距離の候補領域Ｃｃの候補対象αについては、画像を拡大して情報を多くしてアンチエイリアシング処理した最新エッジヒストグラム＜Ｙ＞、＜Ｘ＞が求められる。

そして、相対距離Ｚが遠距離の候補領域Ｃｃの候補対象αについても、解像度の高い最新エッジヒストグラム＜Ｙ＞、＜Ｘ＞を得ることができるため、この最新エッジヒストグラム＜Ｙ＞、＜Ｘ＞と既記憶の参照エッジヒストグラムとに基き、残差和演算手段により前記各実施形態と同様にして残差和Ｖｙ、Ｖｘ、Ｖを求めることにより、とくに、相対距離Ｚが遠距離の候補領域Ｃｃの候補対象αについての残差和演算手段での倍率計算の誤差を低減できる。

ところで、この実施形態においては、アンチエイリアシング処理をさらに良好に行なうため、拡大処理した画像にカルマンフイルタ等を用いた平滑化の処理を施し、図１８に示すように平滑化処理後の画像から最新エッジヒストグラム＜＜Ｙ＞＞、＜＜Ｘ＞＞を求め、いわゆる拡大アンチエイアシング処理されたエッジヒストグラム＜＜Ｙ＞＞、＜＜Ｘ＞＞に基いて残差和Ｖｙ、Ｖｘ、Ｖを求める。

したがって、残差和演算手段での倍率計算の誤差をきわめて良好に低減して車両認識性能を一層向上することができ、例えば自動ブレーキシステムに適用した場合の交通事故の一層の低減が期待できる。

（第５の実施形態）
つぎに、第５の実施形態について、図１９〜図２１を参照して説明する。

この実施形態の場合、コンピュータの処理負担の軽減等を図るため、図１の認識演算部６において、前記第１〜４の実施形態と異なり、ヒストグラム演算手段により、単眼カメラ３の最新の撮影画像の候補領域Ｃｃの候補対象特徴量として、例えば水平、垂直の最新エッジヒストグラムＹ、Ｘを算出すると、新たに設けたコード化手段により、両エッジヒストグラムＹ、Ｘそれぞれをピークレベルか否かにより二値化して図１９に示す水平、垂直のエッジピークコードＹＣ、ＸＣに変換する。

さらに、前記のコード化手段により両エッジピークコードＹＣ、ＸＣが得られる毎に、新たに設けたピーク位置間隔演算手段により、両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔につき、前回の両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔に対する拡大縮小率を算出する。

そして、認識処理手段において、ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値（連続する数フィールド間の差）が所定の認識しきい値以下になることから、候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から障害物を認識する。

すなわち、図２０に示す候補領域の適否の説明図のように、候補領域Ｃｃが路面垂直の適正な領域Ｃｃ（ｔｒｕｅ）であって候補対象αが障害物であれば、例えば単眼カメラ３の破線矢印方向の撮影に基き、少なくとも、撮影画像の水平の各ピークエッジの間隔（幅）の時間変化比（今回の間隔／前回の間隔）はほぼ同じになる（相対距離Ｚによっては変わらない）が、候補領域Ｃｃが路面の間違った領域Ｃｃ（ｆａｌｓｅ）であって候補対象αがマンホールの蓋等であれば、同様の破線矢印の撮影画像の水平の各ピークエッジの間隔（幅）の時間変化比は位置によって異なる。

そして、両エッジピークコードＹＣ、ＸＣが得られる毎に、今回の両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔につき、前回の両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔に対する拡大縮小率（前記の時間変化比）を算出してそれらの累積値を求める。

この処理を、設定された連続数フィールドの間くり返すと、例えば図２１のピーク間隔の差の累積値の実測図に示すように、適正な領域Ｃｃ（ｔｒｕｅ）の累積値Δ（ｔｒｕｅ）は認識しきい値Δ（ｒｅｆ）より小さく、間違った領域Ｃｃ（ｆａｌｓｅ）の累積値Δ（ｆａｌｓｅ）は認識しきい値Δ（ｒｅｆ）より大きくなる。

そこで、認識処理手段において、ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値Δ（ｒｅｆ）以下になることから、候補領域Ｃｃが適正領域であることを検出し、その後は、前記第１〜４の実施形態と同様の処理を行なって候補領域Ｃｃの画像から障害物を認識する。なお、認識しきい値Δ（ｒｅｆ）は実験等によって設定される。

したがって、この実施形態の場合は、エッジヒストグラムＹ、Ｘに代えて、よりデータ量が少ないエッジピークコードＹＣ、ＸＣに基いて障害物を認識することができ、制御ＥＣＵ４のコンピュータの処理負担を一層軽減することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、測距センサとしてのレーダは、スキャニングレーザレーダでなく、同様のスキャニング式の安価な超音波レーダであってもよく、場合によっては、ミリ波レーダ等の電波レーダ等であってもよい。また、撮像センサとしてのカメラは、単眼カメラに限られるものではない。

さらに、制御ＥＣＵ４の障害物認識の処理プログラム等が図２、図１０と異なっていてもよいのも勿論である。

ところで、自車１の装備部品数を少なくするため、図１のレーザレーダ２、単眼カメラ３等を追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。

この発明の第１の実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図１のレーダ測距結果に基づく候補領域検出の説明図である。 図１のカメラ撮影画像のエッジ画像処理の説明図である。 図４のエッジ画像から得られたエッジヒストグラムの１例の説明図である。 図１の画像処理の説明図である。 図１の倍率計算説明用の走行模式図である。 図１の倍率計算説明用のカメラ撮影倍率の模式図である。 図１の個別残差和、統合残差和の１例の特性図である。 図２の一部の詳細なフローチャートである。 図１の計算された倍率の１例の特性図である。 この発明の第２の実施形態の拡大率の処理前の時間変化特性の１例の説明図である。 この発明の第２の実施形態の倍率計算精度の説明図である。 この発明の第２の実施形態の拡大率演算のモデル特性の説明図である。 この発明の第２の実施形態の拡大率の処理後の時間変化特性の１例の説明図である。 この発明の第３の実施形態の残差和の時間変化特性の１例の説明図である。 この発明の第３の実施形態の残差和の時間変化特性の他の例の説明図である。 この発明の第４の実施形態の画像処理の説明図である。 この発明の第５の実施形態のピークエッジコード生成の説明図である。 この発明の第５の実施形態の画像処理の説明図である。 この発明の第５の実施形態のピーク間隔の差の累積値の時間変化特性の説明図である。 昼間と夜間の撮影画像の１例の説明図である。

符号の説明

１ 自車
２ スキャニングレーザレーダ
３ 単眼カメラ
４ 制御ＥＣＵ
５ メモリユニット
６ 認識演算部

Claims (24)

1. レーダによる自車前方の測距とカメラによる自車前方の撮影とに基くセンサフュージョンの認識処理により、自車前方の先行車を含む障害物を認識する障害物認識方法において、
   前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定し、
   前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測し、
   候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを、水平、垂直の最新エッジヒストグラムとして算出し、
   候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、
   各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内でそれぞれ前記横軸方向に平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと各倍率の前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の個別残差和、及び該両個別残差和を加算した統合残差和それぞれの最小値を検出し、
   少なくとも前記両個別残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、
   前記統合残差和が最小値になる倍率を前記障害物のカメラ側検出倍率として検出し、
   前記カメラ側検出倍率が前記相対距離の変化から算出した前記障害物のレーダ側検出倍率に等しくなるか否かにより、前記候補対象が、前記先行車等の検出有効物か、前記先行車等の水しぶき、前記レーダの付着ごみ等の検出無効物かを判別し、
   前記両個別残差和の最小値の倍率が等しくなって前記候補対象が前記路面垂直物であると判別し、かつ、前記カメラ側検出倍率が前記レーダ側検出倍率に等しくなって前記候補対象が記検出有効物であると判別したときに、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴とする障害物認識方法。
2. 水平と垂直の個別残差和の最小値の倍率が設定された路側物検出のしきい値より小さいことを特徴とする請求項１記載の障害物認識方法。
3. 候補対象が路面上の路面垂直物か否かの判別条件に、統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平と垂直の個別残差和の最小値が等しい状態になるときに、前記候補対象が前記路面垂直物であると判別することを特徴とする請求項１または２に記載の障害物認識方法。
4. 既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とする請求項１〜３のいずれかに記載の障害物認識方法。
5. 水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項１〜４のいずれかに記載の障害物認識方法。
6. 少なくとも水平、垂直の個別残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とする請求項１〜５のいずれかに記載の障害物認識方法。
7. 最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の統合残差和の最小値の倍率の時間変化を検出し、
   該検出に基づいて前記各撮影画像の統合残差和の最小値の倍率のずれを補正し、
   補正後の前記各撮影画像の統合残差和の最小値の倍率からカメラ側検出倍率を検出することを特徴とする請求項１〜６のいずれかに記載の障害物認識方法。
8. 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
   拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴とする請求項１〜７のいずれかに記載の障害物認識方法。
9. レーダによる自車前方の測距と、カメラによる自車前方の撮影とに基くセンサフュージョンの認識処理により、自車前方の先行車を含む障害物を認識する障害物認識方法において、
   前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定し、
   前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測し、
   候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出し、
   前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して候補対象特徴量としての水平、垂直のエッジピークコードに変換し、
   前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出し、
   算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴とする障害物認識方法。
10. 前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直のエッジヒストグラムを変換して形成されることを特徴とする請求項９記載の障害物認識方法。
11. 水平、垂直の画像エッジのヒストグラムが、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項９または１０に記載の障害物認識方法。
12. 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
    拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出することを特徴とする請求項９〜１１のいずれかに記載の障害物認識方法。
13. 自車前方を測距するレーダと、
    自車前方を撮影するカメラと、
    前記レーダの測距情報及び前記カメラの撮影画像情報が入力される認識演算部とを備え、
    前記認識演算部に、
    前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定する候補領域設定手段と、
    前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測する相対距離計測手段と、
    候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを、水平、垂直の最新エッジヒストグラムとして算出し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、
    各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内でそれぞれ横軸方向に平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと各倍率の前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の個別残差和、及び該両個別残差和を加算した統合残差和それぞれの最小値を検出する残差和演算手段と、
    少なくとも前記両個別残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する第１の対象判別手段と、
    前記統合残差和が最小値になる倍率を前記障害物のカメラ側検出倍率として検出する倍率検出手段と、
    前記カメラ側検出倍率が前記相対距離の変化から算出した前記障害物のレーダ側検出倍率に等しくなるか否かにより、前記候補対象が、前記先行車等の検出有効物か、前記先行車等の水しぶき、前記レーダの付着ごみ等の検出無効物かを判別する第２の対象判別手段と、
    前記両個別残差和の最小値の倍率が等しくなって前記第１の対象判別手段が前記路面垂直物であると判別し、かつ、前記カメラ側検出倍率が前記レーダ側検出倍率に等しくなって前記第２対象判別手段が前記検出有効物であると判別したときに、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
14. 第１の対象判別手段の水平と垂直の個別残差和の最小値が設定された路側物検出のしきい値より小さいことを特徴とする請求項１３記載の障害物認識装置。
15. 第１の対象判別手段の判別条件に統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平と垂直の個別残差和の最小値の倍率が等し状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とする請求項１３または１４に記載の障害物認識装置。
16. ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とする請求項１３〜１５のいずれかに記載の障害物認識装置。
17. ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項１３〜１６のいずれかに記載の障害物認識装置。
18. 残差和演算手段により、少なくとも水平、垂直の個別残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とする請求項１３〜１７のいずれかに記載の障害物認識装置。
19. 倍率検出手段により、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の少なくとも統合残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の統合残差和の最小値の倍率のずれを補正し、補正後の前記各撮影画像の統合残差和の最小値の倍率からカメラ側検出倍率を検出するようにしたことを特徴とする請求項１３〜１８のいずれかに記載の障害物認識装置。
20. ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴とする請求項１３〜１９のいずれかに記載の障害物認識装置。
21. 自車前方を測距するレーダと、
    自車前方を撮影するカメラと、
    前記レーダの測距情報及び前記カメラの撮影画像情報が入力される認識演算部とを備え、
    前記認識演算部に、
    前記レーダの最新の測距結果をクラスタリング処理して前記障害物の候補領域を設定する候補領域設定手段と、
    前記候補領域の測距結果から自車と前記候補領域の前記障害物の候補対象との相対距離を計測する相対距離計測手段と、
    候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出するヒストグラム演算手段と、
    前記ヒストグラム演算手段により算出された前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換するコード化手段と、
    前記コード化手段により前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出するピーク位置間隔演算手段と、
    前記ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
22. ピーク位置間隔演算手段の前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直の画像エッジのヒストグラムを変換して形成されることを特徴とする請求項２１記載の障害物認識装置。
23. ヒストグラム演算手段により、水平、垂直の画像エッジのヒストグラムを、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成するようにしたことを特徴とする請求項２１または２２に記載の障害物認識装置。
24. ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッのヒストグラムを算出するようにしたことを特徴とする請求項２１〜２３のいずれかに記載の障害物認識装置。