JP2005332120A - 障害物認識方法及び障害物認識装置 - Google Patents

Abstract

【課題】自車に搭載した障害物探査用のカメラの自車前方の撮影画像の従来より極めて計算量の少ない画像処理により、路面上の障害物と路面のマンホールの蓋やキャッツアイ（鋲）等とを画像上で確実に区別して自車前方の障害物を精度よく認識する。
【解決手段】カメラの撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、この領域の候補対象特徴量としての水平、垂直の最新エッジヒストグラムと、各倍率の水平、垂直の参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直の残差和の最小値を算出し、両残差和が最小値になる倍率が等しいか否かにより、候補対象が路面上の路面垂直物か否かを判別し、路面垂直物の判別により、候補領域が路面上の適正領域であることを検出して候補領域の画像から障害物を認識する。
【選択図】図２

Description

本発明は、自車に障害物探査用のカメラを搭載し、このカメラの自車前方の撮影画像の画像処理により、自車前方の先行車等の障害物を認識する障害物検出方法及び障害物検出装置に関するものである。

一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両においては、いわゆる被害軽減自動ブレーキ機能を実現するため、自車前方の先行車や標識等の障害物を認識することが要求される。

この要求に応えるため、従来、障害物探査用センサとして単眼カメラ等のカメラのみを搭載し、その撮影画像の画像処理によって自車前方の車両を認識することが提案されている（例えば、特許文献１参照。）。

一方、複数のセンサを利用したセンサフュージョンで自車前方の障害物を認識するため、従来、レーザレーダとビデオカメラとを組み合わせ、ビデオカメラの撮影画像（車両前方画像）のうちのレーザレーダの測距結果から検出した画像処理領域を画像処理して先行車を認識することが提案されている（例えば、特許文献２参照。）。

また、レーダの自車前方の測距結果から自車と先行車等の前方物票との距離を検出し、カメラの自車前方の撮影映像から前方物票の画像パターンを検出し、検出した距離を考慮にいれた画像パターンマッチングにより、前方物票を認識することも提案されている（例えば、特許文献３参照。）。

さらに、測距センサとしてのＦＭ−ＣＷレーダ（例えばＦＭ−ＣＷミリ波レーダ）の信号を処理して自車前方の先行車の距離、車速を計測し、その計測結果の精度を画像センサとしての車載用カメラの撮影画像の情報に基づいて向上し、先行車を認識することも提案されている（例えば、特許文献４参照。）。

特開２００３−１７８２９１号公報（段落［０００１］及び［００２５］〜［００５６］、図１〜図８） 特開平７−１２０５５５号公報（段落［０００２］及び［０００７］〜［００１３］、図２） 特開平７−１８２４８４号公報（段落［０００６］及び［００１１］、図１、図９） 特開平６−２３１３９８号公報（段落［０００５］及び［００１０］、図１）

前記のように自車に障害物探査用のカメラを搭載し、このカメラの自車前方の撮影画像を画像処理して先行車等の自車前方の障害物を認識する従来の障害物認識の場合、撮影画像の画像処理において、周知のコンピュータ画像処理と同様、撮影画像から直接にエッジ検出や輪郭線抽出が行われ、その際、撮影画像の輝度データが画素当たり８ビット程度であることから、これらの輝度データをそのまま用いる相関演算やスネーク（Ｓｎａｋｅ）の輪郭線抽出のような複雑で計算量の極めて多い演算を要し、大規模なハードウェアが必要になり、大型かつ複雑で高価な構成になる問題がある。

さらに、撮影画像に路面のマンホールの蓋やキャッツアイ（鋲）等が含まれる場合に、従来は、路面上に立設した障害物と前記の路面のマンホールの蓋やキャッツアイ（鋲）を、画像上で区別することは困難であり、そのため、前記の路面のマンホールの蓋やキャッツアイ（鋲）を障害物として誤認識する事態が発生する問題がある。

一方、前記従来のセンサフュージョンで自車前方の障害物を認識する場合は、とくに、レーダ探査とカメラ撮影の座標をセンサ間で厳密に調整（キャリブレーション）して一致させることは難く、それらの座標ずれの影響を避けることができず、しかも、複数のセンサを搭載するため、高価になる。

本発明は、自車に障害物探査用のカメラを搭載し、このカメラの自車前方の撮影画像の従来より極めて計算量の少ない画像処理により、路面上の障害物と路面のマンホールの蓋やキャッツアイ（鋲）等とを画像上で確実に区別して自車前方の障害物を精度よく認識することを目的とし、さらに、障害物の相対的な接近、離隔を認識し、障害物の接近を報知することも目的とする。

上記した目的を達成するために、本発明の障害物認識方法は、自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値の和からなる水平、垂直の残差和の最小値を算出し、前記両残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、前記路面垂直物の判別により、前記候補領域が路面上の適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴としている（請求項１）。

また、本発明の障害物認識方法は、前記の請求項１記載の障害物認識方法において、水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えたことを特徴とし（請求項２）、候補対象が路面上の路面垂直物か否かの判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値が等しい状態になるときに、前記候補対象物が前記路面垂直物であると判別することを特徴とし（請求項３）、既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とし（請求項４）、水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし（請求項５）、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とし（請求項６）、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正することを特徴とし（請求項７）、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴としている（請求項８）。

さらに、本発明の障害物認識方法は、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出することを特徴とし（請求項９）、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知することを特徴としている（請求項１０）。

つぎに、本発明の障害物認識方法は、自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出し、前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して候補対象特徴量としての水平、垂直のエッジピークコードに変換し、前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出し、算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴としている（請求項１１）。

また、本発明の障害物認識方法は、前記の請求項１１記載の障害物認識方法において、前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直のエッジヒストグラムを変換して形成されることを特徴とし（請求項１２）、水平、垂直のエッジヒストグラムが、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし（請求項１３）、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出することを特徴としている（請求項１４）。

そして、本発明の障害物認識方法は、撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、障害物の候補領域が複数個設定されることも特徴としている（請求項１５）。

つぎに、本発明の障害物認識装置は、自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域を設定する候補領域設定手段と、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを水平、垂直の最新エッジヒストグラムとして算出し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内でそれぞれ横軸方向に平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと各倍率の前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の残差和の最小値を検出する残差和演算手段と、前記両残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する対象判別手段と、前記路面垂直物の判別により、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴としている（請求項１６）。

また、本発明の障害物認識装置は、前記の請求項１６記載の障害物認識装置において、対象判別手段の水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えるようにしたことを特徴とし（請求項１７）、対象判別手段の判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とし（請求項１８）、ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とし（請求項１９）、ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし（請求項２０）、残差和演算手段により、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とし（請求項２１）、倍率検出手段により、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正するようにしたことを特徴とし（請求項２２）、ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴としている（請求項２３）。

さらに、本発明の障害物検出装置は、撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、候補領域設定手段によって障害物の候補領域が複数個設定されることを特徴とし（請求項２４）、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出するようにしたことを特徴としている（請求項２５）。

つぎに、本発明の障害物認識装置は、自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定する候補領域設定手段と、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出するヒストグラム演算手段と、前記ヒストグラム演算手段により算出された前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換するコード化手段と、前記コード化手段により前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出するピーク位置間隔演算手段と、前記ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴としている（請求項２６）。

また、本発明の障害物検出装置は、前記の請求項２６記載の障害物認識装置において、ピーク位置間隔演算手段の前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直の画像エッジのヒストグラムを変換して形成されることを特徴とし（請求項２７）、ヒストグラム演算手段により、水平、垂直の画像エッジのヒストグラムを、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成するようにしたことを特徴とし（請求項２８）、ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッのヒストグラムを算出するようにしたことを特徴としている（請求項２９）。

そして、本発明の障害物検出装置は、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知するようにしたことも特徴としている（請求項３０）。

まず、請求項１、１６の構成によれば、自車に搭載されたカメラの撮影画像につき、水平、垂直の二値化された画像エッジのヒストグラムを求める計算量の少ない画像処理を施すことにより、障害物の画像に水平、垂直の画像エッジが含まれることから、撮影画像の水平、垂直の両ヒストグラムの積が極大値になる個所から障害物の候補領域を設定することができる。

また、候補対象が路面上に立設した先行車等の障害物であれば、自車との相対距離の変化に伴って撮影画像上の候補対象が水平、垂直の両方向に同率で拡大または縮小変化するが、候補対象が路面のマンホールの蓋やキャッツアイ（鋲）等であれば、前記相対距離の変化に伴う候補対象の撮影画像上での拡大縮小の変化率が水平、垂直で異なり、候補対象が障害物のような路面垂直物か否かによって、候補対象特徴量の情報として算出された候補領域の水平、垂直の最新エッジヒストグラムの変化が異なる。

そして、更新自在に保持された既記憶の以前の水平、垂直のヒストグラムをそれぞれ拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムが形成され、各倍率の両方向の参照エッジヒストグラムを予測移動範囲内で横軸方向に平行移動して水平、垂直の最新エッジヒストグラムと各倍率の参照エッジヒストグラムとの残差和が算出される。

このとき、候補対象が障害物であれば、撮影画像の候補対象が水平、垂直の両方向に同倍率で拡大縮小変化し、前記の水平、垂直の残差和の倍率特性は、最新エッジヒストグラムに最も近似した倍率の残差和が極小値（最小値）となる二次曲線状（双曲線状）の特性になり、しかも、水平、垂直の前記極小値は等しくなる。

一方、候補対象が障害物でなく、路面のマンホールの蓋やキャッツアイ等であれば、候補対象が水平、垂直方向に同倍率で変化せず、水平、垂直の残差和の倍率特性は二次曲線状になるとは限らず、しかも、水平、垂直の最小値の倍率が異なる。

そのため、算出された水平と垂直のエッジヒストグラムの残差和の極小値（最小値）が等しくなるか否かの判別により、候補対象が路面上の障害物等の路面垂直物か否かを判別することができ、この判別に基き、候補領域の候補対象が路面上の障害物であって、候補領域が適正領域であることを検出することを条件に、この領域の画像から障害物を確実に認識することができる。

この場合、カメラの撮影画像のエッジ検出の相関演算やスネーク（Ｓｎａｋｅ）の輪郭線抽出のような複雑で計算量の極めて多い演算は不要であり、画像処理が簡単で計算量の極めて少ない二値化された画像エッジの水平、垂直のヒストグラムの演算で済み、大規模なハードウェアが不要で、小型かつ簡単で安価な構成で画像処理が行なえる。

つぎに、請求項２、１７の構成によれば、道路標識等の路側物であれば、記憶情報と観測情報が大きく変化し、統合残差和の最小値がしきい値以上になることから、路側物を障害物として誤認識することがなく、認識精度が向上する。

また、請求項３、１８の構成によれば、候補対象が路面垂直物か否かの判別を、算出された水平と垂直のヒストグラムの残差和の最小値が等しくなるか否かだけでなく、水平、垂直の個別の残差和を総合した統合残差和の倍率特性が二次曲線状の特性になるか否かも加味して行なうため、判別精度が向上して認識精度が向上する。

つぎに、請求項４、１９の構成によれば、各回の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、それぞれの以前の水平、垂直の各最新エッジヒストグラムを重み付け加算平均し、候補対象特徴量の以前の履歴（時間的なヒステリシス）を加味して形成されるため、撮影画像の突発的、過渡的な変動の影響等を受けることなく、水平、垂直の各参照エッジヒストグラムが安定に形成され、認識の一層の安定性、信頼性の向上が図られる。

つぎに、請求項５、２０の構成によれば、水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることにより、情報量が少ない具体的な構成に形成される。

つぎに、請求項６、２１の構成によれば、少なくとも水平、垂直の個別残差和が最小値になる倍率が最小二乗法の演算により推定して検出されるため、各倍率の計算の刻み幅をある程度広くして処理負担を一層軽減しつつ、前記最小値の倍率を精度よく検出することができる。

つぎに、請求項７、２２の構成によれば、最新の撮影画像が得られる毎に、その撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、この検出に基いて前記各撮影画像の両残差和の最小値の倍率のずれを補正したため、両残差和の最小値の倍率に対する画像情報量が多くなって倍率検出精度が向上し、候補対象の遠近によらず、検出倍率のばらつきを低減して障害物の認識精度を一層向上することができる。

つぎに、請求項８、２３の構成によれば、障害物が自車のかなり前方にあって、撮影画像の候補領域が小さくなるときに、撮影画像の候補領域の画像が横軸方向及び縦軸方向に拡大され、拡大後の候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムが算出されるため、とくに自車から離れていてカメラに小さく写る遠距離の障害物についても、十分な画像情報を得て水平、垂直の最新エッジヒストグラムを算出し、精度よく認識することができる。

つぎに、請求項９、２４の構成によれば、自車と障害物との相対距離の変化によって水平、垂直の前記の残差和が最小値になる倍率が増、減変化することから、この倍率の時間変化から障害物の相対的な接、離の状態を検出することができる。

さらに、請求項１０、２５の構成によれば、前記の倍率の増加の時間変化傾向から障害物の相対的な接近を報知してドライバに警報することができる。

つぎに、請求項１１、２６の構成によれば、水平、垂直の画像エッジのヒストグラムに代えて、両ヒストグラムをコードに変換した水平、垂直のエッジピークコードのピーク位置間隔の今回と前回との差に基き、候補領域が障害物を捕捉した適正領域であるか否かを判別し、この判別に基き、候補領域の画像から障害物を認識することができる。

この場合、画像エッジのヒストグラムのまま処理するよりエッジピークコードに変換して処理する方が情報量が少なくなるため、障害物認識の処理負担が軽減される等の効果がある。

つぎに、請求項１２、２７の構成によれば、請求項１０、２４の構成において、前回の水平、垂直のエッジピークコードが、前回までの水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた水平、垂直の画像エッジのヒストグラムから形成されるため、請求項４、１９の構成の場合と同様の効果が得られる。

つぎに、請求項１３、２８の構成によれば、請求項５、２０の構成の場合と同様、情報量が少ない具体的な構成に形成される。

つぎに、請求項１４、２９の構成によれば、前記の請求項８、２３と同様、とくに自車から離れてカメラに小さく写る障害物についても、十分な画像情報を得て、障害物の認識を一層精度よく行うことができる。

さらに、請求項１５、３０の構成によれば、候補領域を複数個とし、各候補領域について前記各請求項の障害物認識を行なうことができ、実際の走行状況下に適した構成で障害物を良好に認識することができる。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図２２にしたがって詳述する。

（第１の実施形態）
まず、水平、垂直の画像エッジのヒストグラムを用いて認識する第１の実施形態について、図１〜図１２を参照して説明する。

図１は車両（自車）１に搭載された障害物認識装置のブロック図、図２は動作説明用のフロチャート、図３は単眼カメラ２の撮影画像Ｐの一例の説明図、図４は撮影画像Ｐのエッジ画像処理の説明図、図５は図４のエッジ画像から得られたエッジヒストグラムの１例の説明図、図６は候補領域の設定の説明図である。

また、図７はエッジヒストグラムの画像処理の説明図、図８、図９は倍率計算説明用の走行模式図、カメラ撮影倍率の模式図であり、図１０は水平、垂直の残差和、その統合残差和の１例の特性図、図１１は図２の一部の詳細なフローチャート、図１２は計算された倍率の１例の特性図である。

（構成）
図１の障害物認識装置は、自車前方を撮影する前方探査用のカメラ（画像センサ）として、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ２を備え、イグニッションキーによる自車１のエンジン始動後、単眼カメラ２により自車前方を連続的に撮像し、その撮影画像の例えば画素当たり８ビットの輝度データの信号を自車１のマイクロコンピュータ構成の制御ＥＣＵ３に入力する。

この制御ＥＣＵ３はメモリユニット４とともに認識演算部５を形成し、前記のエンジンスタートに基づき、予め設定された図２のステップＳ１〜Ｓ６の障害物認識プログラムを実行し、ソフトウエア構成のつぎの（ａ）〜（ｅ）の各手段を備える。

（ａ）候補領域設定手段
この手段は、単眼カメラ２の撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域、例えば図３の単眼カメラ２の撮影画像Ｐの画面図に示す候補領域Ｃｃを設定する。

具体的には、例えば前記特許文献１（特開２００３−１７８２９１号公報）に記載の手法と同様の手法により、撮像画像Ｐに画像中央部の視野（ＦＯＶ；Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）を含む水平方向に長い注視領域を設定し、その注視領域における各画素の輝度から水平、垂直の画像エッジのヒストグラム積を演算し、その極大点を導出することで矩形の候補領域Ｃｃを抽出して設定する。

このとき、制御ＥＣＵ３の計算処理の負担を軽減して高速化を図るため、水平、垂直の画像エッジのヒストグラムは、撮影画像Ｐを微分して二値化した水平、垂直それぞれの画像エッジ情報の加算により形成する。

すなわち、毎フレームの撮影画像Ｐの８ビット／画素の輝度データを水平、垂直両方向に微分二値化処理し、図４に示すように、候補領域Ｃｃの８ビット／画素の?画像を同図のエッジ画像（灰色部分が水平エッジ、白色部分が垂直エッジ）に変換し、このエッジ画像を２値化して先行車等の障害物を候補対象αとする水平、垂直の１ビット／画素の画像エッジ情報を得る。

さらに、図５に示すように、水平、垂直の画像エッジ情報を、水平の画像エッジについては水平方向に、垂直の画像エッジについては垂直方向にそれぞれ加算し、横軸をそれぞれの画素位置とする水平、垂直の画像エッジのヒストグラム、すなわち、後述のヒストグラム演算手段により算出される水平、垂直の最新エッジヒストグラムＹ、Ｘを形成する。

つぎに、図６の候補領域Ｃｃ設定の説明図に示すように、撮影画像Ｐの画像中央部の視野（ＦＯＶ ）を含む水平方向に長い注視領域は、図中の白枠の矩形領域Ｃａであり、この領域Ｃａ内で垂直エッジ成分を垂直に加算（投影）した垂直のエッジヒストグラムＸ、水平エッジ成分を水平方向に加算した水平のエッジヒストグラムＹの積が図中のＹ・Ｘである。

そして、この積Ｙ・Ｘに空間フィルタをかけて平滑化したものが図４のフイルタ出力Ｆ（Ｙ・Ｘ）であり、この出力Ｆ（Ｙ・Ｘ）中の極大点部分に着目することにより、図中の白塗りの矩形の候補領域Ｃｃを抽出して設定し、この例では、走行状況に応じた左車線、右車線の車両の２個（複数個）の候補領域Ｃを設定する。

（ｂ）ヒストグラム演算手段
この手段は、候補対象特徴量としての候補領域Ｃｃの最新エッジヒストグラムＸ、Ｙを算出し、候補対象特徴量としてメモリユニット４に更新自在に保持された既記憶の水平、垂直の画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小し
て前記各倍率の水平、垂直の参照エッジヒストグラムを算出する。

そして、図７に示すように前記の既記憶の水平、垂直の二値化された画像エッジのヒストグラム（既記憶エッジヒストグラム）をＹｍ、Ｘｍとし、両ヒストグラムＹｍ、Ｘｍをそれぞれの横軸方向（位置方向）にＫ倍して形成する水平、垂直の各倍率Ｋの参照エッジヒストグラムをＹｒ、Ｘｒとすると、既記憶エッジヒストグラムＹｍ、Ｘｍは、各倍率Ｋの参照エッジヒストグラムＹｒ、Ｘｒの突発的な変動の影響等を抑えるため、以前に算出された既フレームの水平、垂直の各エッジヒストグラムの重み付け加算平均によって算出する。

さらに、既記憶エッジヒストグラムＹｍ、Ｘｍを設定範囲の各倍率Ｋ、（０＜Ｋｍｉｎ≦Ｋ≦Ｋｍａｘ、Ｋｍｉｎ：最小値、Ｋｍａｘ：最大値）でそれぞれの横軸方向に拡大縮小することにより、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ（＝Ｋ・Ｙｍ）、Ｘｒ（＝Ｋ・ＸＹｍ）を算出する。

ところで、倍率Ｋと相対距離Ｚとはつぎの関係がある。

すなわち、図８の走行模式図に示すように、障害物としての先行車６の相対距離Ｚが、時刻ｔにＺ、時刻ｔ＋ΔｔにＺ＋ΔＺになり、図９の撮影模式図において、実際の車幅Ｗが、単眼カメラ２の撮影面上で時刻ｔ、ｔ＋Δｔに車幅Ｋ・ω、ωになるとすると、相対距離Ｚ、Ｚ＋ΔＺはそれぞれ単眼カメラ２のレンズ焦点から先行車６までの距離であり、単眼カメラ２のレンズ焦点からＣＣＤ受光面（像面）までの距離をＣｆとした場合、つぎの（１）式、（２）式が成立し、相対距離Ｚと倍率Ｋとの関係が（３）式で表される。

Ｃｆ：ω＝（Ｚ＋ΔＺ）：Ｗ （１）式

Ｃｆ：Ｋ・ω＝Ｚ：Ｗ （２）式

Ｚ＝ΔＺ／（Ｋ−１） （３）式

また、Ｋｍｉｎ、Ｋｍａｘは、つきの（４）式、（５）式のように設定する。これらの式において、Ｚは相対距離、ΔＺ＿ｍａｘは相対距離Ｚの最大変化量（自車１が最大加速で先行車６が最大減速の状態での変化量）、ΔＺ＿ｍｉｎは相対距離Ｚの最小変化量（自車１が最大減速で先行車６が最大加速の状態での変化量）であり、前記の最大加速、最大減速はそれぞれ実験等に基いて設定される。

Ｋｍａｘ ＝ １ ＋ ΔＺ＿ｍａｘ ／ Ｚ （４）式

Ｋｍｉｎ ＝ １ ＋ ΔＺ＿ｍｉｎ ／ Ｚ （５）式

（ｃ）残差和演算手段
この手段は、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを、例えば図７の予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動して水平、垂直それぞれの最新エッジヒストグラムＹ、Ｘと各倍率Ｋの参照エッジヒストグラムＹｒ、Ｘｒとの差の絶対値和からなる水平、垂直の残差和（以下、個別残差和という）Ｖｙ、Ｖｘ、及び両個別残差和Ｖｙ、Ｖｘを加算した統合残差和Ｖそれぞれを算出し、例えば、図１０の（ａ）、（ｂ）、（ｃ）に示す、それぞれの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを求める。

なお、図１０のＫｙ０、Ｋｘ０、Ｋ０は最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率Ｋである。

ところで、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動するのは、自車１の振動によるピッチング運動等による測定（撮影）のフレーム間の座標軸のずれ等を吸収して倍率Ｋ０ｙ、Ｋ０ｘ、Ｋ０等を正確に検出するためである。

そして、予測移動範囲Ｍｙ、Ｍｘは、前記の振動によるピッチング運動等を考慮し、実験等に基いて設定され、参照エッジヒストグラムＹｒ、Ｘｒが予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動される。

なお、予測移動範囲Ｍｘは、具体的には、自車１のピッチング角度範囲と相対距離Ｚとで決まり、相対距離Ｚによって変化し、予測移動範囲Ｍｙは、自車１のヨーイング角度範囲と、候補対象αの予想される横移動範囲と、相対距離Ｚとで決まり、相対距離Ｚによって変化し、相対距離Ｚは候補領域Ｃｃの画面上の位置から求められる。

そして、候補領域Ｃｃが、マンホールの蓋や鋲、路面標示等の路面物を間違って囲むものでなく、先行車等の路面垂直物を囲むものであれば、残差和Ｖｙ、Ｖｘ、Ｖの倍率特性のグラフは、前記の図１０の（ａ）〜（ｃ）の双曲線状、すなわち、極小値を有する下に凸の二次曲線状になり、しかも、倍率Ｋｙ０、Ｋｘ０は等しくなる（Ｋｙ０＝Ｋｘ０）が、マンホールの蓋や鋲、路面標示等を誤って囲むものであれば、候補領域Ｃｃが正しくなく、残差和Ｖｙ、Ｖｘ、Ｖの倍率特性のグラフは、前記の下に凸の二次曲線状にならず、倍率Ｋｙ０、Ｋｘ０はＫｙ０≠Ｋｘ０になる。

そこで、この手段により、残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを求め、それらのときの倍率Ｋｙ０、Ｋｘ０、Ｋ０を検出する。

なお、倍率Ｋ０を検出するのは、この実施形態においては、候補対象αが前記の路面垂直物か否かの判別条件に、統合残差和Ｖの倍率特性のグラフ形状を加味するためであり、この判別条件の加味が不要であれば、倍率Ｋ０を検出しなくてよい。

（ｄ）対象判別手段
この手段は、少なくとも水平と垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０が等しい状態（Ｋｙ０＝Ｋｘ０）になるか否かにより、候補対象αが路面上の路面垂直物か否かを判別するものであり、この実施形態においては、判別精度をより向上するため、統合残差和Ｖの倍率特性のグラフ形状が極小値を有する下に凸の二次曲線状か否かの判別を加え、統合残差和Ｖの倍率特性のグラフ形状が極小値を有する下に凸の二次曲線状で、倍率Ｋｙ０、Ｋｘ０が等しい状態（Ｋｙ０＝Ｋｘ０）になれば、候補対象αが路面上の路面垂直物であると判別する。

なお、路面垂直物であっても、障害物でない道路標識等の路側物であれば、記憶情報と観測情報が大きく変化して統合残差和Ｖの最小値Ｖｍｉｎが所定の路側物検出のしきい値Ｖａ以上になることから、路側物による誤認識を防止して認識精度を一層向上するため、倍率Ｋｙ０、Ｋｘ０が、路側物しきい値Ｖａより小さい最小値Ｖｍｉｎになるときの倍率であることも、前記の路面垂直物であるとの判別の条件に加えることが好ましい。

（ｅ）認識処理手段
この手段は、前記の路面垂直物の判別により候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から候補対象αを障害物として認識する。

すなわち、Ｋｘ０＝Ｋｙ０になることから、候補領域Ｃｃが間違いなく障害物の領域であると判断すると、候補領域Ｃｃの画像から候補対象αを障害物として認識する。

（動作）
つぎに、認識演算部５の動作について、図２等を参照して説明する。

自車１のエンジン始動後、候補領域設定手段が動作し、図２のステップＳ１により時々刻々の（フィールド毎の）撮影画像Ｐを画像微分二値化処理してその画像エッジ情報を得、以降の計算処理において、８ビット／画素の輝度値をそのままを用いるのでなく、１ビット／画素のエッジ情報を利用するようにして、計算量を１／８に低減する。

そして、図２のステップＳ２により、フィールド毎に水平、垂直の最新エッジヒストグラムＹ、Ｘを算出してそれらの積から候補領域Ｃｃを設定する。

つぎに、ヒストグラム演算手段が動作し、ステップＳ３の画像特徴量の計算により、フィールド毎に算出した水平、垂直の最新エッジヒストグラムＹ、Ｘ及び各倍率Ｋの水平、垂直の参照ヒストグラムＹｒ、Ｘｒに基き、候補領域Ｃｃについての候補対象αの画像上での特徴量（ベクトル）を計算する。

このとき、倍率Ｋは、前記の（４）式、（５）式の演算に基いて設定された最大値Ｋｍａｘ〜最小値Ｋｍｉｎの範囲で変化し、その単位変化の幅（計算刻み幅Ｋ＿ｓｔｅｐ）は、制御ＥＣＵ３の処理負担等を考慮して、例えば０．０４に設定される。

また、時刻ｔ、ｔ＋１、…における垂直の最新エッジヒストグラムＸを今回の候補対象特徴量（ベクトル）Ｘｔ、Ｘｔ＋１、…とし、各時刻ｔ、ｔ＋１、…にメモリユニット４に更新自在に保持される既記憶エッジヒストグラムＸｍを、それぞれ前回までの特徴量（ベクトル）Ｐｔ、Ｐｔ＋１、…とすると、特徴量Ｐｔ、Ｐｔ＋１、…は、撮影画像Ｐの時間的連続性（相関性）等を考慮して以前に算出された既フレームの垂直の各エッジヒストグラムの重み付け加算平均により、突発的な変動の影響等を抑えて算出され、更新自在に最新のものに書き換えられて保持される。

具体的には、例えば時刻ｔ＋１の既記憶エッジヒストグラムＸｍの特徴量Ｐｔ＋１は、時刻ｔの最新エッジヒストグラムＸｔ、特徴量Ｐｔに基づくつぎの（６）式の重み付け加算平均により算出されて時刻ｔ＋１まで保持される。なお、同式中のＨは、０＜Ｈ＜１の適当な値に設定されたヒス係数である。

Ｐｔ＋１＝Ｈ×Ｘｔ＋（１−Ｈ）×Ｐｔ （６）式

なお、水平の既記憶エッジヒストグラムＹｍも、前記と同様にして時間的にヒステリシスを持たせて更新しながら保持される。

そして、各時刻の候補対象特徴量としての水平、垂直のエッジヒストグラム（Ｙｔ、Ｘｔ）、（Ｙｔ＋１、Ｘｔ＋１）、…が、保持されていた候補対象特徴量としての水平、垂直の既記憶エッジヒストグラムＰｔ（＝Ｙｍｔ、Ｘｍｔ）、Ｐｔ＋１（＝Ｙｍｔ＋１、Ｘｍｔ＋１）、…と大きく異なるときには、候補対象αとして前回と違うものを認識したか、或いは、何らかの原因で候補対象αの画像上の特徴が局所的に変わったと判定することができる。

つぎに、前記の各時刻の候補対象特徴量Ｐｔ、Ｐｔ＋１、…に基く残差和Ｖｙ、Ｖｘ、Ｖ及び最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎは、ステップＳ３において、残差和演算手段が計算する。

この計算の処理は、具体的には、例えば図１１のステップＱ１〜Ｑ１１からなり、ステップＱ１により、初期値Ｋｍｉｎから漸増可変される倍率ＫがＫｍｉｎ≦Ｋ≦Ｋｍａｘに探索範囲に設定されていることを確認すると、ステップＱ２により、その倍率Ｋでの垂直の個別残差和Ｖｘを計算し、ステップＱ３により、計算した個別残差和Ｖｘが、計算開始時に初期値にセットされた最小値Ｖｘ＿ｍｉｎより小さいか否かを判別し、Ｖｘ＜Ｖｘ＿ｍｉｎであれば、ステップＱ４に移行し、最小値Ｖｘ＿ｍｉｎを計算した個別残差和Ｖｘに更新し、垂直の検出倍率Ｋｘ０をその倍率Ｋに更新する。

さらに、ステップＱ５により、その倍率Ｋでの水平の個別残差和Ｖｙを計算し、ステップＱ６により、計算した個別残差和Ｖｙが、計算開始時に初期値にセットされた最小値Ｖｙ＿ｍｉｎより小さいか否かを判別し、Ｖｙ＜Ｖｙ＿ｍｉｎであれば、ステップＱ７に移行し、最小値Ｖｙ＿ｍｉｎを計算した個別残差和Ｖｙに更新し、水平の検出倍率Ｋｙ０もその倍率Ｋに更新する。

つぎに、ステップＱ８により、その倍率Ｋにおいて計算した個別残差和Ｖｘ、Ｖｙに基き、統合残差和Ｖ（＝Ｖｘ＋Ｖｙ）を計算し、ステップＱ９により、計算した統合残差和Ｖが計算開始時に初期値にセットされた最小値Ｖｍｉｎより小さいか否かを判別し、Ｖｙ＜Ｖｍｉｎであれば、ステップＱ１０に移行して最小値Ｖｍｉｎを計算した統合残差和Ｖに更新し、検出倍率Ｋ０をその倍率Ｋに更新する。

そして、ステップＱ１１により、倍率ＫをＫ＋Ｋ＿ｓｔｅｐにステップ可変して漸増し、この状態で、ステップＱ１に戻ってこのステップＱ１から処理をくり返し、ステップＱ３により、Ｖｘ≧Ｖｘ＿ｍｉｎに変化して個別残差和Ｖｘの最小値Ｖｘ０を検出すると、ステップＱ４をパスしてステップＱ５に移行し、同様に、ステップＱ６により、Ｖｙ≧Ｖｙ＿ｍｉｎに変化して個別残差和Ｖｙの最小値Ｖｙ０を検出すると、ステップＱ７をパスしてステップＱ８に移行する。

さらに、ステップＱ９により、Ｖ≧Ｖｍｉｎに変化して統合残差和Ｖの最小値Ｖ０を検出すると、そのときの残差和Ｖｙ、Ｖｘ、Ｖ及び最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを候補対象αの特徴量として検出するとともに倍率Ｋｙ０、Ｋｘ０、Ｋ０を検出し、図１０の処理を終了する。

なお、ステップＱ３、Ｑ６、Ｑ９においては、各倍率Ｋの垂直、水平の参照エッジヒストグラムＸｒ、Ｙｒを、前記の予測移動範囲Ｍｘ、Ｍｙ内でそれぞれの横軸ｘ、ｙ方向に平行移動して各残差和Ｖｘ、Ｖｙ、Ｖが算出される。

そして、算出結果等に基き、候補領域Ｃｃが適正な領域の場合、残差和Ｖｙ、Ｖｘ、Ｖの倍率Ｋの実測特性として、例えば図１２に示す二次曲線特性が得られた。

そして、図１１の処理を終了すると、図２のステップＳ３からステップＳ４に移行し、対象判別手段により、ステップＳ３で得られた最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎの倍率Ｋｙ０、Ｋｘ０が等しい（Ｋｙ０＝Ｋｘ０）状態か否かから、候補対象物αが路面垂直物か否かを判別し、路面垂直物（Ｋｙ０＝Ｋｘ０）の判別が行われたときにのみ、認識処理手段により、候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から候補対象αを障害物（図２では車両（先行車））として認識する。

つぎに、ステップＳ５に移行し、この実施形態においては、認識精度を一層向上するため、先行車等の障害物の候補領域Ｃｃについて、今回の観測位置をもとにカルマンフィルタを用いて次回の観測位置を予測してメモリユニット４に書き換え自在に保持し、例えば、次回のステップＳ２の処理において、この予測位置と実際に観測された位置との誤差から候補領域Ｃｃの妥当性を検討し、誤差が大きすぎるときには、候補領域Ｃｃを無効にしてクラスタ検出をロバストにする。

また、今回得られた各特徴量と次回計算される特徴量とを比較等するために、今回得られた各特徴量をメモリユニット４に書き換え自在に保持し、例えば、ステップＳ３において、算出された特徴量と保持された前回の特徴量との比較から、算出された特徴量の妥当性を検討し、誤差が大きすぎる場合は、算出された特徴量を無効にして認識精度の向上を図る。

そして、ドライバの操作による制御モードの切り換え、又は、自車１のエンジン停止により、認識処理を終了するまで、ステップＳ５からステップＳ６を介してステップＳ１、Ｓ２の処理に戻り、各ステップＳ１〜Ｓ６の処理をくり返し、時々刻々の先行車６等の障害物を認識する。

なお、上記の処理は候補領域Ｃｃが複数個の場合、各候補領域Ｃｃについて行なわれる。

この実施形態の場合、上記した構成、動作に基づき、つぎの（１）、（２）等の効果が生じる。

（１）自車１に障害物探査用の単眼カメラ２のみを搭載する安価な構成で、自車前方の先行車等の障害物の精度の高い認識が行える。

（２）単眼カメラ２の撮影画像Ｐの画像処理の計算が簡単で容易である。

すなわち、エッジヒストグラムＹ、Ｘの計算は、単純な加算のみであり、複雑な相関演算やスネークの輪郭線抽出を行なうテンプレートマッチングの画像処理等に比べて計算量が少なく、簡単で容易であることから、制御ＥＣＵ３のコンピュータの処理負担が少なく、障害物認識の画像処理を、計算量が少なく、簡単かつ容易で安価な構成により行なうことができる。

したがって、単眼カメラ２のみを搭載し、その撮影画像の画像処理の計算量が少ない安価な構成で、従来にない画期的な障害物認識を実現することができ、車両の安全システムの普及に寄与し、交通安全に貢献することができる。

なお、多くの場合、倍率Ｋ０はＫｘ０＝Ｋｙ０のときにはＫ０＝Ｋｘ０＝Ｋｙ０になり、Ｋｘ０≠Ｋｙ０のときにはＫ０＝Ｋｘ０になるが、Ｋ０＝Ｋｙ０にならないこともある。

例えばマンホールの蓋が相対的に接近するような場合には、垂直エッジの倍率Ｋｘ０は、Ｋｘ０＝Ｋ０を満足し、かつ、レーダ側倍率Ｋ０ｒとも一致するが、水平エッジヒストグラムの倍率Ｋｙ０は倍率Ｋ０、Ｋ０ｒに一致しなくなることから、倍率Ｋ０を計算せず、倍率Ｋ０の代わりに倍率Ｋｘ０を使って障害物認識の判定をすることも考えられるが、走行中にはＫｘ０＝Ｋｙ０になるような事態も生じ、この場合には、倍率Ｋｘ０を用いるのみでは障害物の誤認識が生じる。

そして、倍率Ｋｘ０よりも倍率Ｋ０を用いる方が、より多くのデータから認識することになって前記の誤認識の程度が低くなることから、倍率Ｋｙ０、Ｋｘ０及びＫ０を用いて認識することにより、認識の信頼性が著しく向上する。

（第２の実施形態）
つぎに、第２の実施形態について、図１３〜図１６を参照して説明する。

この実施形態においては、前記の倍率Ｋに基く縮小拡大の計算精度が認識精度に直接影響することから、以下に説明する構成を、前記第１の実施形態と異ならせる。

すなわち、候補対象αの相対距離Ｚ等によらず、倍率Ｋの刻み幅Ｋ＿ｓｔｅｐを同条件にして縮小拡大の計算を行なうと、候補対象αが相対的に遠くに位置して相対距離Ｚが遠距離になるほど、候補領域Ｃｃの画像が小さくなって障害物の認識精度が低下する。

具体的には、まず、自車前方の２５ｍより遠距離に停止した先行車６に自車１が一定速度で接近して停止する間に、倍率Ｋの刻み幅Ｋ＿ｓｔｅｐを同条件にして、倍率Ｋｙ０、Ｋｘ０、Ｋ０の時間変化を、その１００倍の水平、垂直、水平垂直統合の拡大率（Ｋ×１００）の時間変化として測定したところ、図１３の（ａ）、（ｂ）、（ｃ）の実測特性が得られた。 それらの図において、ｙは水平（倍率Ｋｙ０）の拡大率特性、ｘは垂直（倍率Ｋｘ０）の拡大率特性、ｘｙは水平垂直統合（Ｋ０ｃ）の拡大率特性であり、ｒは比較のためのレーザレーダ２の測距結果に基く倍率Ｋ０ｒの拡大率特性である。

そして、図１３の（ａ）〜（ｃ）からも明らかなように、例えば同図の（ａ）の破線円で囲んだ２５ｍ以遠では拡大率（換言すれば倍率Ｋ）のばらつきが大きくなり、その結果、相対距離Ｚが遠距離になる程、障害物の認識精度が低下する。

また、刻み幅Ｋ＿ｓｔｅｐによっては、前記の同条件の縮小拡大の計算を行なう場合、図１４の倍率計算精度の説明図に示すように、とくに撮影画像Ｐの候補領域Ｃｃが小さくなるときに、例えば図中の拡大率９０〜９９で水平、垂直のヒストグラムＹ、Ｘがほとんど同一になる事態が生じ、このとき、図中の残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率特性に示すように、実線枠で囲んだ拡大率９０〜９９の範囲では最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎがほぼ等しくなり、真の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの拡大率（倍率Ｋ）が求まらなくなって障害物の認識精度が低下する。

これらの不都合を解消するため、無条件に倍率Ｋの刻み幅Ｋ＿ｓｔｅｐを極力小さくして高い計算精度を確保し、前記の真の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率Ｋを確実に求めるようにしようとすると、候補対象αが相対的に接近するにしたがって処理する画像パターンが大きくなり、膨大な量の計算が必要になって制御ＥＣＵ３の負担が過大になる。

そこで、この実施形態にあっては、候補対象αが相対的に接近しても膨大な計算を行なうことなく、候補対象αの相対的な位置によらず、前記の真の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率が確実に求まるようにし、画像処理の計算量を減らして障害物の認識精度を向上する。

そのため、前記の残差和演算手段により、少なくとも水平、垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０を、最小二乗法の演算により推定して検出し、最終的に、統合残差和Ｖの最小値Ｖｍｉｎの倍率Ｋ０を求める。

具体的には、倍率Ｋの刻み幅Ｋ＿ｓｔｅｐは、制御ＥＣＵ３の処理能力等を考慮して処理負担が過剰にならない適当な大きさ、例えば０．０４に設定し、設定した刻み幅Ｋ＿ｓｔｅｐでの倍率Ｋの変化に基いて前記第１の実施形態と同様にして各倍率Ｋの残差和｛Ｖ｝（｛Ｖ｝はＶｙ、ＶｘまたはＶｙ、Ｖｘ、Ｖを示す）を測定値として求める。

また、図１５に示すような相対距離Ｚによって異なる特性の拡大率｛Ｋ｝（＝Ｋ×１００）と残差和｛Ｖ｝の二次関数曲線の複数個のグラフ（最小二乗法の係数決定用のグラフ）のモデルをメモリユニット４に記憶して用意しておく。

図１５において、Ｗ（１５）、Ｗ（３０）、Ｗ（５０）は拡大中心位置からの距離が画像上で１５、３０、５０画素（ピクセル）それぞれの位置（相対距離Ｚに対応）の残差和の二次曲線モデルであり、それぞれ、Ｋ＜１の縮小側とＫ＞１の拡大側とは等価であって対称に変化する。

なお、拡大中心位置は水平、垂直のエッジヒストグラムＹ、Ｘの中心位置であり、水平のエッジヒストグラムＹの上下端のｙ座標［上、下］を［ｙｕ、ｙｄ］とした場合、エッジヒストグラムＹの拡大中心位置（ｙ座標）は（ｙｕ＋ｙｄ）÷２であり、垂直のエッジヒストグラムＸの左右端のｘ座標［左、右］を［ｘｌ、ｘｒ］とした場合、エッジヒストグラムＸの拡大中心位置（ｘ座標）は（ｘｌ＋ｘｒ）÷２である。

そして、相対距離Ｚ等に基いて適当なモデルを選択し、そのモデルの係数を、周知の最小二乗法の演算によって推定する。

すなわち、選択したモデルが、つぎの（７）式の拡大率｛Ｋ｝の二次曲線関数ｆ（｛Ｋ｝）で表されるとする。

｛Ｖ｝＝ｆ（｛Ｋ｝）＝ａ・｛Ｋ｝^２＋ｂ・｛Ｋ｝＋ｃ （７）式
このとき、最小値｛Ｖ｝（＝Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎ）の拡大率｛Ｋ０｝（＝Ｋｙ０×１００、Ｋｘ０×１００、Ｋ０×１００）は二次曲線関数ｆ（｛Ｋ｝）の頂点（最小値の点）の｛Ｋ｝座標値であり、それをＫｅとすると、Ｋｅ＝−ｂ／（２・ａ）である。

そして、選択したモデルの二次曲線に対する各拡大率｛Ｋ｝の測定値｛Ｖ｝の誤差をｅとし、その総和ΣｅをＥとすると、つぎの（８）式が成立する。

Ｅ＝Σｅ＝（ａ・｛Ｋ｝^２＋ｂ・｛Ｋ｝＋ｃ−｛Ｖ｝）^２ （８）式
さらに、（８）式から、つぎの数１の（９）式、数２の（１０）式、数３の（１１）式が得られる。

そして、（９）式〜（１１）式に基き、ｂ／ａ推定のつぎの（１２）式が得られる。なお、同式中のＡ、Ｂは、Ａ＝Σ｛Ｋ｝^２Σ｛Ｖ｝−ｎΣ（｛Ｋ｝^２｛Ｖ｝）、Ｂ＝ｎΣ（｛Ｋ｝・｛Ｖ｝）−Σ｛Ｋ｝Σ｛Ｖ｝である。

ｂ／ａ＝｛Ａ・（Σ｛Ｋ｝^２Σ（｛Ｋ｝・｛Ｖ｝）−Σ｛Ｋ｝^３Σ｛Ｖ｝）−Ｂ・（Σ｛Ｋ｝^４Σ｛Ｖ｝−Σ｛Ｋ｝^２Σ（｛Ｋ｝^２・｛Ｖ｝））｝／｛Ｂ・（Σ｛Ｋ｝^３Σ｛Ｖ｝−Σ（｛Ｋ｝^２・｛Ｖ｝）Σ｛Ｋ｝）−Ａ・（Σ（｛Ｋ｝・｛Ｖ｝）Σ｛Ｋ｝−Σ｛Ｋ｝^２Σ｛Ｖ｝）｝ （１２）式

したがって、残差和演算手段により、第１の実施形態の場合と同様にして各倍率Ｋの残差和Ｖｙ、Ｖｘを求めた後、（１２）式の演算から最小二乗法でｂ／ａを推定し、この推定に基き、前記の頂点（極点）の｛Ｋ｝座標値Ｋｅを求めて残差和Ｖｙ、ＶｘまたはＶｙ、Ｖｘ、Ｖの最小値｛Ｖ０｝（＝Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎまたはＶｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ，Ｖｍｉｎ）の拡大率｛Ｋ０｝（＝Ｋｅ）を推定し、この推定に基いて、真の倍率Ｋｙ０、Ｋｘ０，Ｋ０を検出する。

この場合、実際の倍率Ｋは０．０４倍刻みで計算するが、この計算結果に基づく前記の最小二乗法の推定演算により、等価的に、さらに細かい刻みで倍率Ｋを変えた状態で拡大率Ｋｙ０、Ｋｘ０を推定し、これらの推定に基づき、最終的に、同様の細かい刻みで最小値Ｖｍｉｎの真の拡大率Ｋ０を推定することができ、画像処理の計算量を少なくして制御ＥＣＵ３の負担を軽減しつつ、倍率Ｋｙ、Ｋｘ、Ｋの実際の刻み幅より一層細かい精度で、候補対象αの相対的な位置によらず、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの真の倍率Ｋｘ０、Ｋｙ０、Ｋ０を確実に求めることができ、画像処理の計算量を減らして障害物の認識精度を一層向上することができる。

そして、実験したところ、図１６の（ａ）、（ｂ）、（ｃ）の結果が得られた。

これらの図において、ｙ、ｘ、ｘｙは、刻み幅０．０４の倍率可変に基き、前記の推定を行なわずに求めた水平、垂直、水平垂直統合の拡大率特性であり、それぞれ障害物の相対距離Ｚが遠距離のときには検出した拡大率が大きくばらつき、しかも、真の倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）が求められない平坦部分が生じている。これに対して、ｙ！、ｘ！、ｘｙ！は、この実施形態の場合の特性であり、刻み幅０．０４の倍率可変と前記の推定との組み合わせに基き、等価的に、刻み幅が０．０４より小さくなることから、いずれも相対距離Ｚが遠距離のときに検出したする拡大率のばらつきが大幅に低減され、しかも、真の倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）が確実に求められ、前記の平坦部分が生じることもない。

したがって、この実施形態の場合、制御ＥＣＵ３の画像処理負担を軽減しつつ、障害物の認識性能を一層向上することができ、例えば、この認識結果に基いて自車１の自動ブレーキシステムを制御することにより、交通事故の著しい低減効果等が期待できる。

（第３の実施形態）
つぎに、第３の実施形態について、図１７、図１８を参照して説明する。

この実施形態にあっては、前記したように、拡大率計算精度がそのまま障害物の認識性能に影響し、とくに相対距離Ｚが遠距離になると、候補対象αの画像が小さくなって倍率計算精度の確保が難しくなり、検出した拡大率のばらつきが大きくなって認識性能が低下することから、これを改善するため、倍率計算のプロセスそのものに時間的連続性を持たせて、拡大率検出、すなわち、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出に用いる情報を、連続する複数フレームから多数得るようにし、候補対象αの遠近によらず、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出のばらつきを低減し、とくに候補対象αが遠くに位置したときの倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出のばらつきを低減することで、障害物の認識性能をさらに向上する。

ところで、図１７は連続する時刻ｔ−２、ｔ−１、ｔの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの各残差和の倍率特性の時間変化を示し、この図１７からも明らかなように、連続するフレーム間においては、実線ｙ、ｘ、ｘｙの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの特性線はほぼ同じ形状を保持することから、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率特性は、連続する数フレーム間ではほぼ同じであるとみなすことができる。

なお、さらに多数の連続フレーについて、同様の最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率特性のグラフを求めたところ、図１８の結果が得られた。同図において、各破線ｙが水平のグラフ、各実線ｘが垂直のグラフ、実線ｘｙが水平垂直の統合のグラフであり、これらのグラフも図１７と同様の時間変化の傾向を示す。

そこで、この第３の実施形態においては、前記の第１または第２の実施形態の構成において、倍率検出手段により、最新の撮影画像が得られる毎に、その撮影画像を含む連続する複数枚の撮影画像の残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎ、Ｖｍｉｎの倍率Ｋｙ０、Ｋｘ０、Ｋ０の時間変化を検出し、この検出に基づいて各撮影画像の倍率Ｋｙ０、Ｋｘ０、Ｋ０のずれを補正する。

具体的には、単眼カメラ２の撮影により、最新の１フレームの撮影画像が得られる毎に、このフレームの撮影画像の情報と、その直前のフレームの撮影画像の情報とに基き、第１または第２の実施形態と同様にして、各残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎに対応する倍率Ｋｙ０、Ｋｘ０、Ｋ０を求め、これらの情報を、少なくとも設定された数フレームの間、図１のメモリユニット４に保持する。

このとき、Ｖｔ（Ｋ）を時刻ｔでの水平、垂直の探索倍率Ｋｙ（またはＫｘ）の残差和とすると、時刻ｔの撮影画像についての水平のエッジヒストグラムは、最小値Ｖｙ＿ｍｉｎが Ｖｔ（Ｋｙ０）であり、同様に、時刻ｔの撮影画像についての垂直のエッジヒストグラムは、最小値Ｖｘ＿ｍｉｎが Ｖｔ（Ｋｘ０）である。

また、連続するフレーム間では、残差和Ｖｙ、Ｖｘ、Ｖｘｙと倍率Ｋとの二次曲線のグラフ形状はよく似ており、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの頂点位置だけがΔＫ平行移動したものとみなせる。

そして、時刻ｔ、ｔ−１の２フレームについては、垂直のエッジヒストグラムであれば、Ｖｘｔ−１（Ｋｘ−ΔＫｘ） ＝ Ｖｘｔ（Ｋｘ）という制約式が成立し、この式をテイラー展開し、二次以上の項を微少であるとして無視し、かつ、時間変動が微少であるとして、δｔ→０とすれば、最終的に、倍率変化ΔＫｘについて、つぎの数４の（１３）式が得られる。

同様にして、水平のエッジヒストグラムの倍率変化ΔＫｙについて、Ｖｙｔ−１（Ｋｙ−ΔＫｙ） ＝ Ｖｙｔ（Ｋｙ）という制約式が成立し、つぎの数５の（１４）式が得られる。

なお、これらのテイラー展開による動き量の検出は、画像の周知のオプティカルフローの勾配法の動き検出と同様である。

そこで、前記の第１、第２の実施形態と同様にして、例えば、時刻ｔ−１、ｔの撮影画像から時刻ｔにおける残差和と倍率Ｋの二次曲線のグラフを得て時刻ｔの倍率Ｋｘ０［ｔ］ｔ、Ｋｙ０［ｔ］を求め、同様に、時刻ｔ、ｔ＋１の撮影画像から時刻ｔ＋１における残差和と倍率Ｋの二次曲線のグラフを得て時刻ｔ＋１の倍率Ｋｘ０［ｔ＋１］、ｋｙ０［ｔ＋１］を求める。

さらに、倍率検出手段により、前記の（１３）式、（１４）式の関係から、時刻ｔの倍率Ｋｘ０［ｔ］、Ｋｙ０［ｔ］と、時刻ｔ＋１の倍率Ｋｘ０［ｔ＋１］、ｋｙ０［ｔ＋１］との時間変化量（移動量）ΔＫｘ、ΔＫｙを求め、この時間変化量ΔＫｘ、ΔＫｙに基づき、例えば、倍率Ｋｘ０［ｔ］、Ｋｙ０［ｔ］を時刻ｔ＋１の倍率に補正し、補正後の倍率Ｋｘ０［ｔ］、Ｋｙ０［ｔ］、Ｋｘ０［ｔ＋１］、ｋｙ０［ｔ＋１］の平均から時刻ｔ＋１の倍率Ｋｙ０、Ｋｘ０を求め、最終的に、最小値Ｖｍｉｎの倍率Ｋ０を求める。

この場合、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出に用いる情報が、連続する複数フレームから多数得られるため、候補対象αの遠近によらず、倍率Ｋｙ０、Ｋｘ０、Ｋ０（＝Ｋ０ｃ）の検出のばらつきを低減することができ、とくに、候補対象αが遠く、その撮影画像が小さくなるときの検出精度が向上してそのばらつきを低減し、障害物の認識性能をさらに向上することができる。なお、簡単に構成する場合等には、少なくとも個別残差和Ｋｙ０、Ｋｘ０の補正演算を行なうのみでもよい。

（第４の実施形態）
つぎに、第４の実施形態について、図１９を参照して説明する。

前記第１〜３の実施形態において、とくに遠方の障害物については、矩形の候補領域Ｃｃが小さくなり、エッジヒストグラムＸ、Ｙが小さくなることから、連続するフレーム間でその小さい情報同士を比較すると、対象判別手段による最適倍率（拡大率）の探索が容易でなく倍率計算の誤差が大きくなる。

そこで、この実施形態においては、候補対象αの画像が小さくなるときの倍率計算のばらつきを抑えて認識性能の向上を図るため、前記各実施形態において、ヒストグラム演算手段により、候補領域Ｃｃの基準寸法に対する縮小率に応じて候補領域Ｃｃの画像を水平、垂直の両方向に拡大し、拡大後の候補領域Ｃｃの水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムＹ、Ｘを算出する。

具体的には、例えば図１９に示す時刻ｔ−１、ｔの連続２フレームの撮影画像Ｐｔ−１、Ｐｔに、相対距離Ｚに応じた大きさの候補領域Ｃｃが含まれ、これらの候補領域Ｃｃにおいて、例えば車両リフレクタの横幅として検出される検出クラスタ幅、又はエッジヒストグラムＹ、Ｘの少なくとも一方の車両の特徴的なピークの間隔と、それらの基準の幅、間隔との比較に基き、候補領域Ｃｃの基準寸法に対する縮小率を検出する。

さらに、検出した縮小率に応じて候補領域Ｃｃの画像を拡大処理し、図１９に示すように拡大後の画像につき、エッジヒストグラム＜Ｙ＞、＜Ｘ＞を求める。なお、縮小率が１より大きくなるときは、実質的に候補領域Ｃｃの画像を縮小処理する。

このとき、とくに相対距離Ｚが遠距離の候補領域Ｃｃの候補対象αについては、画像を拡大して情報を多くしてアンチエイリアシング処理した最新エッジヒストグラム＜Ｙ＞、＜Ｘ＞が求められる。

そして、相対距離Ｚが遠距離の候補領域Ｃｃの候補対象αについても、解像度の高い最新エッジヒストグラム＜Ｙ＞、＜Ｘ＞を得ることができるため、この最新エッジヒストグラム＜Ｙ＞、＜Ｘ＞と既記憶の参照エッジヒストグラムとに基き、残差和演算手段により前記各実施形態と同様にして残差和Ｖｙ、Ｖｘ、Ｖを求めることにより、とくに、相対距離Ｚが遠距離の候補領域Ｃｃの候補対象αについての残差和演算手段での倍率計算の誤差を低減できる。

ところで、この実施形態においては、アンチエイリアシング処理をさらに良好に行なうため、拡大処理した画像にカルマンフイルタ等を用いた平滑化の処理を施し、図１８に示すように平滑化処理後の画像から最新エッジヒストグラム＜＜Ｙ＞＞、＜＜Ｘ＞＞を求め、いわゆる拡大アンチエイリアシング処理されたエッジヒストグラム＜＜Ｙ＞＞、＜＜Ｘ＞＞に基いて残差和Ｖｙ、Ｖｘ、Ｖを求める。

したがって、残差和演算手段での倍率計算の誤差をきわめて良好に低減して車両認識性能を一層向上することができ、例えば自動ブレーキシステムに適用した場合の交通事故の一層の低減が期待できる。

ところで、前記第１〜４の実施形態において、自車１と障害物との相対距離Ｚの変化によって候補領域Ｃｃの水平、垂直の残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎになる倍率Ｋｙ０、Ｋｘ０、Ｋ０が増、減変化することから、例えば、最新の一定時間の倍率Ｋｙ０、Ｋｘ０、Ｋ０をメモリユニット４に更新自在に保持し、前記の認識処理手段により、メモリユニット４の倍率Ｋｙ０、Ｋｘ０、Ｋ０４の時間変化傾向から障害物の相対的な接、離の状態を検出し、障害物の相対的な接近を報知してドライバに警報するようにしてもよく、この場合は、自車１の運転支援性能の向上が図られて交通事故の一層の低減効果等が期待できる。

（第５の実施形態）
つぎに、第５の実施形態について、図２０〜図２２を参照して説明する。

この実施形態の場合、コンピュータの処理負担の軽減等を図るため、図１の認識演算部６において、前記第１〜４の実施形態と異なり、ヒストグラム演算手段により、単眼カメラ２の最新の撮影画像の候補領域Ｃｃの候補対象特徴量として、例えば水平、垂直の最新エッジヒストグラムＹ、Ｘを算出すると、新たに設けたコード化手段により、両エッジヒストグラムＹ、Ｘそれぞれをピークレベルか否かにより二値化して図２０に示す水平、垂直のエッジピークコードＹＣ、ＸＣに変換する。

さらに、前記のコード化手段により両エッジピークコードＹＣ、ＸＣが得られる毎に、新たに設けたピーク位置間隔演算手段により、両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔につき、前回の両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔に対する拡大縮小率を算出する。

そして、認識処理手段において、ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値（連続する数フィールド間の差）が所定の認識しきい値以下になることから、候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から障害物を認識する。

すなわち、図２１に示す候補領域の適否の説明図のように、候補領域Ｃｃが路面垂直の適正な領域Ｃｃ（ｔｒｕｅ）であって候補対象αが障害物であれば、例えば単眼カメラ２の破線矢印方向の撮影に基き、少なくとも、撮影画像の水平の各ピークエッジの間隔（幅）の時間変化比（今回の間隔／前回の間隔）はほぼ同じになる（相対距離Ｚによっては変わらない）が、候補領域Ｃｃが路面の間違った領域Ｃｃ（ｆａｌｓｅ）であって候補対象αがマンホールの蓋等であれば、同様の破線矢印の撮影画像の水平の各ピークエッジの間隔（幅）の時間変化比は位置によって異なる。

そして、両エッジピークコードＹＣ、ＸＣが得られる毎に、今回の両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔につき、前回の両エッジピークコードＹＣ、ＸＣの各ピーク位置間隔に対する拡大縮小率（前記の時間変化比）を算出してそれらの累積値を求める。

この処理を、設定された連続数フィールドの間くり返すと、例えば図２２のピーク間隔の差の累積値の実測図に示すように、適正な領域Ｃｃ（ｔｒｕｅ）の累積値Δ（ｔｒｕｅ）は認識しきい値Δ（ｒｅｆ）より小さく、間違った領域Ｃｃ（ｆａｌｓｅ）の累積値Δ（ｆａｌｓｅ）は認識しきい値Δ（ｒｅｆ）より大きくなる。

そこで、認識処理手段において、ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値Δ（ｒｅｆ）以下になることから、候補領域Ｃｃが適正領域であることを検出し、その後は、前記第１〜４の実施形態と同様の処理を行なって候補領域Ｃｃの画像から障害物を認識する。なお、認識しきい値Δ（ｒｅｆ）は実験等によって設定される。

なお、上候補領域Ｃｃが複数個の場合、各候補領域Ｃｃについて上記の処理が行なわれる。

したがって、この実施形態の場合は、エッジヒストグラムＹ、Ｘに代えて、よりデータ量が少ないエッジピークコードＹＣ、ＸＣに基いて障害物を認識することができ、制御ＥＣＵ３のコンピュータの処理負担を一層軽減することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、撮像センサとしてのカメラは単眼カメラに限られるものではない。

さらに、制御ＥＣＵ３の候補領域設定の画像処理及び障害物認識処理のプログラム等が図２、図１０等と異なっていてもよいのも勿論である。

ところで、自車１の装備部品数を少なくするため、単眼カメラ２等を追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。

この発明の第１の実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図１の単眼カメラの撮影画像の１例の説明図である。 図３の撮影画像のエッジ画像処理の説明図である。 図４のエッジ画像から得られたエッジヒストグラムの１例の説明図である。 図１の単眼カメラの撮影画像からの候補領域設定の説明図である。 図１の画像処理の説明図である。 図１の倍率計算説明用の走行模式図である。 図１の倍率計算説明用のカメラ撮影倍率の模式図である。 図１の個別残差和、統合残差和の１例の特性図である。 図２の一部の詳細なフローチャートである。 図１の計算された倍率の１例の特性図である。 この発明の第２の実施形態の拡大率の処理前の時間変化特性の１例の説明図である。 この発明の第２の実施形態の倍率計算精度の説明図である。 この発明の第２の実施形態の拡大率演算のモデル特性の説明図である。 この発明の第２の実施形態の拡大率の処理後の時間変化特性の１例の説明図である。 この発明の第３の実施形態の残差和の時間変化特性の１例の説明図である。 この発明の第３の実施形態の残差和の時間変化特性の他の例の説明図である。 この発明の第４の実施形態の画像処理の説明図である。 この発明の第５の実施形態のピークエッジコード生成の説明図である。 この発明の第５の実施形態の画像処理の説明図である。 この発明の第５の実施形態のピーク間隔の差の累積値の時間変化特性の説明図である。

符号の説明

１ 自車
２ 単眼カメラ
３ 制御ＥＣＵ
４ メモリユニット
５ 認識演算部

Claims (30)

1. 自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、
   前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、
   前記候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、
   候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、
   各倍率の水平、垂直の前記参照ヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値の和からなる水平、垂直の残差和の最小値を算出し、
   前記両残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、
   前記路面垂直物の判別により、前記候補領域が路面上の適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴とする障害物認識方法。
2. 水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えたことを特徴とする請求項１記載の障害物認識方法。
3. 候補対象が路面上の路面垂直物か否かの判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、前記候補対象が前記路面垂直物であると判別することを特徴とする請求項１または２に記載の障害物認識方法。
4. 既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とする請求項１〜３のいずれかに記載の障害物認識方法。
5. 水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項１〜４のいずれかに記載の障害物認識方法。
6. 水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とする請求項１〜５のいずれかに記載の障害物認識方法。
7. 最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、
   該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正することを特徴とする請求項１〜６のいずれかに記載の障害物認識方法。
8. 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
   拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴とする請求項１〜７のいずれかに記載の障害物認識方法。
9. 請求項１〜８のいずれかに記載の障害物認識方法において、
   候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出することを特徴とする障害物認識方法。
10. 請求項９に記載の障害物認識方法において、
    各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知することを特徴とする障害物認識方法。
11. 自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、
    前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して候補対象特徴量としての水平、垂直のエッジピークコードに変換し、
    前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出し、
    算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴とする障害物認識方法。
12. 前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直のエッジヒストグラムを変換して形成されることを特徴とする請求項１１記載の障害物認識方法。
13. 水平、垂直の画像エッジのヒストグラムが、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項１１または１２に記載の障害物認識方法。
14. 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
    拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出することを特徴とする請求項１１〜１３のいずれかに記載の障害物認識方法。
15. 撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、障害物の候補領域が複数個設定されることを特徴とする請求項１〜１４のいずれかに記載の障害物認識方法。
16. 自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域を設定する候補領域設定手段と、
    前記候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、
    各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の残差和の最小値を検出する残差和演算手段と、
    前記両残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する対象判別手段と、
    前記路面垂直物の判別により、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
17. 対象判別手段の水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えるようにしたことを特徴とする請求項１６記載の障害物認識装置。
18. 対象判別手段の判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とする請求項１６または１７に記載の障害物認識装置。
19. ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とする請求項１６〜１８のいずれかに記載の障害物認識装置。
20. ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項１６〜１９のいずれかに記載の障害物認識装置。
21. 残差和演算手段により、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とする請求項１６〜２０のいずれかに記載の障害物認識装置。
22. 倍率検出手段により、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正するようにしたことを特徴とする請求項１６〜２１のいずれかに記載の障害物認識装置。
23. ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴とする請求項１６〜２２のいずれかに記載の障害物認識装置。
24. 請求項１６〜２３に記載の障害物認識装置において、
    候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出するようにしたことを特徴とする障害物認識装置。
25. 請求項２４に記載の障害物認識装置において、
    各候補領域の水平、垂直の残差和が最小値になる参照ヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知するようにしたことを特徴とする障害物認識装置。
26. 自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムを算出するヒストグラム演算手段と、
    前記両ヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定する候補領域設定手段と、
    前記候補領域の前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換するコード化手段と、
    前記コード化手段により前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出するピーク位置間隔演算手段と、
    前記ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
27. ピーク位置間隔演算手段の前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直の画像エッジのヒストグラムを変換して形成されることを特徴とする請求項２６記載の障害物認識装置。
28. ヒストグラム演算手段により、水平、垂直の画像エッジのヒストグラムを、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成するようにしたことを特徴とする請求項２６または２７に記載の障害物認識装置。
29. ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッのヒストグラムを算出するようにしたことを特徴とする請求項２６〜２８のいずれかに記載の障害物認識装置。
30. 撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、候補領域設定手段によって障害物の候補領域が複数個設定されることを特徴とする請求項１６〜２９のいずれかに記載の障害物認識装置。