JP2005332120A - 障害物認識方法及び障害物認識装置 - Google Patents

障害物認識方法及び障害物認識装置 Download PDF

Info

Publication number
JP2005332120A
JP2005332120A JP2004148726A JP2004148726A JP2005332120A JP 2005332120 A JP2005332120 A JP 2005332120A JP 2004148726 A JP2004148726 A JP 2004148726A JP 2004148726 A JP2004148726 A JP 2004148726A JP 2005332120 A JP2005332120 A JP 2005332120A
Authority
JP
Japan
Prior art keywords
vertical
horizontal
image
obstacle
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004148726A
Other languages
English (en)
Other versions
JP4407921B2 (ja
Inventor
Hitoomi Takizawa
仁臣 滝澤
Toshio Ito
敏夫 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2004148726A priority Critical patent/JP4407921B2/ja
Publication of JP2005332120A publication Critical patent/JP2005332120A/ja
Application granted granted Critical
Publication of JP4407921B2 publication Critical patent/JP4407921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自車に搭載した障害物探査用のカメラの自車前方の撮影画像の従来より極めて計算量の少ない画像処理により、路面上の障害物と路面のマンホールの蓋やキャッツアイ(鋲)等とを画像上で確実に区別して自車前方の障害物を精度よく認識する。
【解決手段】カメラの撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、この領域の候補対象特徴量としての水平、垂直の最新エッジヒストグラムと、各倍率の水平、垂直の参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直の残差和の最小値を算出し、両残差和が最小値になる倍率が等しいか否かにより、候補対象が路面上の路面垂直物か否かを判別し、路面垂直物の判別により、候補領域が路面上の適正領域であることを検出して候補領域の画像から障害物を認識する。
【選択図】図2

Description

本発明は、自車に障害物探査用のカメラを搭載し、このカメラの自車前方の撮影画像の画像処理により、自車前方の先行車等の障害物を認識する障害物検出方法及び障害物検出装置に関するものである。
一般に、ACCと呼ばれる車両走行支援システム(Adaptive Cruise Control)等を搭載した車両においては、いわゆる被害軽減自動ブレーキ機能を実現するため、自車前方の先行車や標識等の障害物を認識することが要求される。
この要求に応えるため、従来、障害物探査用センサとして単眼カメラ等のカメラのみを搭載し、その撮影画像の画像処理によって自車前方の車両を認識することが提案されている(例えば、特許文献1参照。)。
一方、複数のセンサを利用したセンサフュージョンで自車前方の障害物を認識するため、従来、レーザレーダとビデオカメラとを組み合わせ、ビデオカメラの撮影画像(車両前方画像)のうちのレーザレーダの測距結果から検出した画像処理領域を画像処理して先行車を認識することが提案されている(例えば、特許文献2参照。)。
また、レーダの自車前方の測距結果から自車と先行車等の前方物票との距離を検出し、カメラの自車前方の撮影映像から前方物票の画像パターンを検出し、検出した距離を考慮にいれた画像パターンマッチングにより、前方物票を認識することも提案されている(例えば、特許文献3参照。)。
さらに、測距センサとしてのFM−CWレーダ(例えばFM−CWミリ波レーダ)の信号を処理して自車前方の先行車の距離、車速を計測し、その計測結果の精度を画像センサとしての車載用カメラの撮影画像の情報に基づいて向上し、先行車を認識することも提案されている(例えば、特許文献4参照。)。
特開2003−178291号公報(段落[0001]及び[0025]〜[0056]、図1〜図8) 特開平7−120555号公報(段落[0002]及び[0007]〜[0013]、図2) 特開平7−182484号公報(段落[0006]及び[0011]、図1、図9) 特開平6−231398号公報(段落[0005]及び[0010]、図1)
前記のように自車に障害物探査用のカメラを搭載し、このカメラの自車前方の撮影画像を画像処理して先行車等の自車前方の障害物を認識する従来の障害物認識の場合、撮影画像の画像処理において、周知のコンピュータ画像処理と同様、撮影画像から直接にエッジ検出や輪郭線抽出が行われ、その際、撮影画像の輝度データが画素当たり8ビット程度であることから、これらの輝度データをそのまま用いる相関演算やスネーク(Snake)の輪郭線抽出のような複雑で計算量の極めて多い演算を要し、大規模なハードウェアが必要になり、大型かつ複雑で高価な構成になる問題がある。
さらに、撮影画像に路面のマンホールの蓋やキャッツアイ(鋲)等が含まれる場合に、従来は、路面上に立設した障害物と前記の路面のマンホールの蓋やキャッツアイ(鋲)を、画像上で区別することは困難であり、そのため、前記の路面のマンホールの蓋やキャッツアイ(鋲)を障害物として誤認識する事態が発生する問題がある。
一方、前記従来のセンサフュージョンで自車前方の障害物を認識する場合は、とくに、レーダ探査とカメラ撮影の座標をセンサ間で厳密に調整(キャリブレーション)して一致させることは難く、それらの座標ずれの影響を避けることができず、しかも、複数のセンサを搭載するため、高価になる。
本発明は、自車に障害物探査用のカメラを搭載し、このカメラの自車前方の撮影画像の従来より極めて計算量の少ない画像処理により、路面上の障害物と路面のマンホールの蓋やキャッツアイ(鋲)等とを画像上で確実に区別して自車前方の障害物を精度よく認識することを目的とし、さらに、障害物の相対的な接近、離隔を認識し、障害物の接近を報知することも目的とする。
上記した目的を達成するために、本発明の障害物認識方法は、自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値の和からなる水平、垂直の残差和の最小値を算出し、前記両残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、前記路面垂直物の判別により、前記候補領域が路面上の適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴としている(請求項1)。
また、本発明の障害物認識方法は、前記の請求項1記載の障害物認識方法において、水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えたことを特徴とし(請求項2)、候補対象が路面上の路面垂直物か否かの判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値が等しい状態になるときに、前記候補対象物が前記路面垂直物であると判別することを特徴とし(請求項3)、既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とし(請求項4)、水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし(請求項5)、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とし(請求項6)、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正することを特徴とし(請求項7)、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴としている(請求項8)。
さらに、本発明の障害物認識方法は、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出することを特徴とし(請求項9)、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知することを特徴としている(請求項10)。
つぎに、本発明の障害物認識方法は、自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出し、前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して候補対象特徴量としての水平、垂直のエッジピークコードに変換し、前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出し、算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴としている(請求項11)。
また、本発明の障害物認識方法は、前記の請求項11記載の障害物認識方法において、前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直のエッジヒストグラムを変換して形成されることを特徴とし(請求項12)、水平、垂直のエッジヒストグラムが、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし(請求項13)、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出することを特徴としている(請求項14)。
そして、本発明の障害物認識方法は、撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、障害物の候補領域が複数個設定されることも特徴としている(請求項15)。
つぎに、本発明の障害物認識装置は、自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域を設定する候補領域設定手段と、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを水平、垂直の最新エッジヒストグラムとして算出し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内でそれぞれ横軸方向に平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと各倍率の前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の残差和の最小値を検出する残差和演算手段と、前記両残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する対象判別手段と、前記路面垂直物の判別により、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴としている(請求項16)。
また、本発明の障害物認識装置は、前記の請求項16記載の障害物認識装置において、対象判別手段の水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えるようにしたことを特徴とし(請求項17)、対象判別手段の判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とし(請求項18)、ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とし(請求項19)、ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とし(請求項20)、残差和演算手段により、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とし(請求項21)、倍率検出手段により、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正するようにしたことを特徴とし(請求項22)、ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴としている(請求項23)。
さらに、本発明の障害物検出装置は、撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、候補領域設定手段によって障害物の候補領域が複数個設定されることを特徴とし(請求項24)、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出するようにしたことを特徴としている(請求項25)。
つぎに、本発明の障害物認識装置は、自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定する候補領域設定手段と、候補対象特徴量としての前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムを算出するヒストグラム演算手段と、前記ヒストグラム演算手段により算出された前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換するコード化手段と、前記コード化手段により前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出するピーク位置間隔演算手段と、前記ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴としている(請求項26)。
また、本発明の障害物検出装置は、前記の請求項26記載の障害物認識装置において、ピーク位置間隔演算手段の前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直の画像エッジのヒストグラムを変換して形成されることを特徴とし(請求項27)、ヒストグラム演算手段により、水平、垂直の画像エッジのヒストグラムを、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成するようにしたことを特徴とし(請求項28)、ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッのヒストグラムを算出するようにしたことを特徴としている(請求項29)。
そして、本発明の障害物検出装置は、各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知するようにしたことも特徴としている(請求項30)。
まず、請求項1、16の構成によれば、自車に搭載されたカメラの撮影画像につき、水平、垂直の二値化された画像エッジのヒストグラムを求める計算量の少ない画像処理を施すことにより、障害物の画像に水平、垂直の画像エッジが含まれることから、撮影画像の水平、垂直の両ヒストグラムの積が極大値になる個所から障害物の候補領域を設定することができる。
また、候補対象が路面上に立設した先行車等の障害物であれば、自車との相対距離の変化に伴って撮影画像上の候補対象が水平、垂直の両方向に同率で拡大または縮小変化するが、候補対象が路面のマンホールの蓋やキャッツアイ(鋲)等であれば、前記相対距離の変化に伴う候補対象の撮影画像上での拡大縮小の変化率が水平、垂直で異なり、候補対象が障害物のような路面垂直物か否かによって、候補対象特徴量の情報として算出された候補領域の水平、垂直の最新エッジヒストグラムの変化が異なる。
そして、更新自在に保持された既記憶の以前の水平、垂直のヒストグラムをそれぞれ拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムが形成され、各倍率の両方向の参照エッジヒストグラムを予測移動範囲内で横軸方向に平行移動して水平、垂直の最新エッジヒストグラムと各倍率の参照エッジヒストグラムとの残差和が算出される。
このとき、候補対象が障害物であれば、撮影画像の候補対象が水平、垂直の両方向に同倍率で拡大縮小変化し、前記の水平、垂直の残差和の倍率特性は、最新エッジヒストグラムに最も近似した倍率の残差和が極小値(最小値)となる二次曲線状(双曲線状)の特性になり、しかも、水平、垂直の前記極小値は等しくなる。
一方、候補対象が障害物でなく、路面のマンホールの蓋やキャッツアイ等であれば、候補対象が水平、垂直方向に同倍率で変化せず、水平、垂直の残差和の倍率特性は二次曲線状になるとは限らず、しかも、水平、垂直の最小値の倍率が異なる。
そのため、算出された水平と垂直のエッジヒストグラムの残差和の極小値(最小値)が等しくなるか否かの判別により、候補対象が路面上の障害物等の路面垂直物か否かを判別することができ、この判別に基き、候補領域の候補対象が路面上の障害物であって、候補領域が適正領域であることを検出することを条件に、この領域の画像から障害物を確実に認識することができる。
この場合、カメラの撮影画像のエッジ検出の相関演算やスネーク(Snake)の輪郭線抽出のような複雑で計算量の極めて多い演算は不要であり、画像処理が簡単で計算量の極めて少ない二値化された画像エッジの水平、垂直のヒストグラムの演算で済み、大規模なハードウェアが不要で、小型かつ簡単で安価な構成で画像処理が行なえる。
つぎに、請求項2、17の構成によれば、道路標識等の路側物であれば、記憶情報と観測情報が大きく変化し、統合残差和の最小値がしきい値以上になることから、路側物を障害物として誤認識することがなく、認識精度が向上する。
また、請求項3、18の構成によれば、候補対象が路面垂直物か否かの判別を、算出された水平と垂直のヒストグラムの残差和の最小値が等しくなるか否かだけでなく、水平、垂直の個別の残差和を総合した統合残差和の倍率特性が二次曲線状の特性になるか否かも加味して行なうため、判別精度が向上して認識精度が向上する。
つぎに、請求項4、19の構成によれば、各回の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、それぞれの以前の水平、垂直の各最新エッジヒストグラムを重み付け加算平均し、候補対象特徴量の以前の履歴(時間的なヒステリシス)を加味して形成されるため、撮影画像の突発的、過渡的な変動の影響等を受けることなく、水平、垂直の各参照エッジヒストグラムが安定に形成され、認識の一層の安定性、信頼性の向上が図られる。
つぎに、請求項5、20の構成によれば、水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることにより、情報量が少ない具体的な構成に形成される。
つぎに、請求項6、21の構成によれば、少なくとも水平、垂直の個別残差和が最小値になる倍率が最小二乗法の演算により推定して検出されるため、各倍率の計算の刻み幅をある程度広くして処理負担を一層軽減しつつ、前記最小値の倍率を精度よく検出することができる。
つぎに、請求項7、22の構成によれば、最新の撮影画像が得られる毎に、その撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、この検出に基いて前記各撮影画像の両残差和の最小値の倍率のずれを補正したため、両残差和の最小値の倍率に対する画像情報量が多くなって倍率検出精度が向上し、候補対象の遠近によらず、検出倍率のばらつきを低減して障害物の認識精度を一層向上することができる。
つぎに、請求項8、23の構成によれば、障害物が自車のかなり前方にあって、撮影画像の候補領域が小さくなるときに、撮影画像の候補領域の画像が横軸方向及び縦軸方向に拡大され、拡大後の候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムが算出されるため、とくに自車から離れていてカメラに小さく写る遠距離の障害物についても、十分な画像情報を得て水平、垂直の最新エッジヒストグラムを算出し、精度よく認識することができる。
つぎに、請求項9、24の構成によれば、自車と障害物との相対距離の変化によって水平、垂直の前記の残差和が最小値になる倍率が増、減変化することから、この倍率の時間変化から障害物の相対的な接、離の状態を検出することができる。
さらに、請求項10、25の構成によれば、前記の倍率の増加の時間変化傾向から障害物の相対的な接近を報知してドライバに警報することができる。
つぎに、請求項11、26の構成によれば、水平、垂直の画像エッジのヒストグラムに代えて、両ヒストグラムをコードに変換した水平、垂直のエッジピークコードのピーク位置間隔の今回と前回との差に基き、候補領域が障害物を捕捉した適正領域であるか否かを判別し、この判別に基き、候補領域の画像から障害物を認識することができる。
この場合、画像エッジのヒストグラムのまま処理するよりエッジピークコードに変換して処理する方が情報量が少なくなるため、障害物認識の処理負担が軽減される等の効果がある。
つぎに、請求項12、27の構成によれば、請求項10、24の構成において、前回の水平、垂直のエッジピークコードが、前回までの水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた水平、垂直の画像エッジのヒストグラムから形成されるため、請求項4、19の構成の場合と同様の効果が得られる。
つぎに、請求項13、28の構成によれば、請求項5、20の構成の場合と同様、情報量が少ない具体的な構成に形成される。
つぎに、請求項14、29の構成によれば、前記の請求項8、23と同様、とくに自車から離れてカメラに小さく写る障害物についても、十分な画像情報を得て、障害物の認識を一層精度よく行うことができる。
さらに、請求項15、30の構成によれば、候補領域を複数個とし、各候補領域について前記各請求項の障害物認識を行なうことができ、実際の走行状況下に適した構成で障害物を良好に認識することができる。
つぎに、本発明をより詳細に説明するため、その実施形態について、図1〜図22にしたがって詳述する。
(第1の実施形態)
まず、水平、垂直の画像エッジのヒストグラムを用いて認識する第1の実施形態について、図1〜図12を参照して説明する。
図1は車両(自車)1に搭載された障害物認識装置のブロック図、図2は動作説明用のフロチャート、図3は単眼カメラ2の撮影画像Pの一例の説明図、図4は撮影画像Pのエッジ画像処理の説明図、図5は図4のエッジ画像から得られたエッジヒストグラムの1例の説明図、図6は候補領域の設定の説明図である。
また、図7はエッジヒストグラムの画像処理の説明図、図8、図9は倍率計算説明用の走行模式図、カメラ撮影倍率の模式図であり、図10は水平、垂直の残差和、その統合残差和の1例の特性図、図11は図2の一部の詳細なフローチャート、図12は計算された倍率の1例の特性図である。
(構成)
図1の障害物認識装置は、自車前方を撮影する前方探査用のカメラ(画像センサ)として、小型かつ安価なモノクロCCDカメラ構成の単眼カメラ2を備え、イグニッションキーによる自車1のエンジン始動後、単眼カメラ2により自車前方を連続的に撮像し、その撮影画像の例えば画素当たり8ビットの輝度データの信号を自車1のマイクロコンピュータ構成の制御ECU3に入力する。
この制御ECU3はメモリユニット4とともに認識演算部5を形成し、前記のエンジンスタートに基づき、予め設定された図2のステップS1〜S6の障害物認識プログラムを実行し、ソフトウエア構成のつぎの(a)〜(e)の各手段を備える。
(a)候補領域設定手段
この手段は、単眼カメラ2の撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域、例えば図3の単眼カメラ2の撮影画像Pの画面図に示す候補領域Ccを設定する。
具体的には、例えば前記特許文献1(特開2003−178291号公報)に記載の手法と同様の手法により、撮像画像Pに画像中央部の視野(FOV;Field Of View)を含む水平方向に長い注視領域を設定し、その注視領域における各画素の輝度から水平、垂直の画像エッジのヒストグラム積を演算し、その極大点を導出することで矩形の候補領域Ccを抽出して設定する。
このとき、制御ECU3の計算処理の負担を軽減して高速化を図るため、水平、垂直の画像エッジのヒストグラムは、撮影画像Pを微分して二値化した水平、垂直それぞれの画像エッジ情報の加算により形成する。
すなわち、毎フレームの撮影画像Pの8ビット/画素の輝度データを水平、垂直両方向に微分二値化処理し、図4に示すように、候補領域Ccの8ビット/画素の?画像を同図のエッジ画像(灰色部分が水平エッジ、白色部分が垂直エッジ)に変換し、このエッジ画像を2値化して先行車等の障害物を候補対象αとする水平、垂直の1ビット/画素の画像エッジ情報を得る。
さらに、図5に示すように、水平、垂直の画像エッジ情報を、水平の画像エッジについては水平方向に、垂直の画像エッジについては垂直方向にそれぞれ加算し、横軸をそれぞれの画素位置とする水平、垂直の画像エッジのヒストグラム、すなわち、後述のヒストグラム演算手段により算出される水平、垂直の最新エッジヒストグラムY、Xを形成する。
つぎに、図6の候補領域Cc設定の説明図に示すように、撮影画像Pの画像中央部の視野(FOV )を含む水平方向に長い注視領域は、図中の白枠の矩形領域Caであり、この領域Ca内で垂直エッジ成分を垂直に加算(投影)した垂直のエッジヒストグラムX、水平エッジ成分を水平方向に加算した水平のエッジヒストグラムYの積が図中のY・Xである。
そして、この積Y・Xに空間フィルタをかけて平滑化したものが図4のフイルタ出力F(Y・X)であり、この出力F(Y・X)中の極大点部分に着目することにより、図中の白塗りの矩形の候補領域Ccを抽出して設定し、この例では、走行状況に応じた左車線、右車線の車両の2個(複数個)の候補領域Cを設定する。
(b)ヒストグラム演算手段
この手段は、候補対象特徴量としての候補領域Ccの最新エッジヒストグラムX、Yを算出し、候補対象特徴量としてメモリユニット4に更新自在に保持された既記憶の水平、垂直の画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小し
て前記各倍率の水平、垂直の参照エッジヒストグラムを算出する。
そして、図7に示すように前記の既記憶の水平、垂直の二値化された画像エッジのヒストグラム(既記憶エッジヒストグラム)をYm、Xmとし、両ヒストグラムYm、Xmをそれぞれの横軸方向(位置方向)にK倍して形成する水平、垂直の各倍率Kの参照エッジヒストグラムをYr、Xrとすると、既記憶エッジヒストグラムYm、Xmは、各倍率Kの参照エッジヒストグラムYr、Xrの突発的な変動の影響等を抑えるため、以前に算出された既フレームの水平、垂直の各エッジヒストグラムの重み付け加算平均によって算出する。
さらに、既記憶エッジヒストグラムYm、Xmを設定範囲の各倍率K、(0<Kmin≦K≦Kmax、Kmin:最小値、Kmax:最大値)でそれぞれの横軸方向に拡大縮小することにより、各倍率Kの水平、垂直の参照エッジヒストグラムYr(=K・Ym)、Xr(=K・XYm)を算出する。
ところで、倍率Kと相対距離Zとはつぎの関係がある。
すなわち、図8の走行模式図に示すように、障害物としての先行車6の相対距離Zが、時刻tにZ、時刻t+ΔtにZ+ΔZになり、図9の撮影模式図において、実際の車幅Wが、単眼カメラ2の撮影面上で時刻t、t+Δtに車幅K・ω、ωになるとすると、相対距離Z、Z+ΔZはそれぞれ単眼カメラ2のレンズ焦点から先行車6までの距離であり、単眼カメラ2のレンズ焦点からCCD受光面(像面)までの距離をCfとした場合、つぎの(1)式、(2)式が成立し、相対距離Zと倍率Kとの関係が(3)式で表される。
Cf:ω=(Z+ΔZ):W (1)式
Cf:K・ω=Z:W (2)式
Z=ΔZ/(K−1) (3)式
また、Kmin、Kmaxは、つきの(4)式、(5)式のように設定する。これらの式において、Zは相対距離、ΔZ_maxは相対距離Zの最大変化量(自車1が最大加速で先行車6が最大減速の状態での変化量)、ΔZ_minは相対距離Zの最小変化量(自車1が最大減速で先行車6が最大加速の状態での変化量)であり、前記の最大加速、最大減速はそれぞれ実験等に基いて設定される。
Kmax = 1 + ΔZ_max / Z (4)式
Kmin = 1 + ΔZ_min / Z (5)式
(c)残差和演算手段
この手段は、各倍率Kの水平、垂直の参照エッジヒストグラムYr、Xrを、例えば図7の予測移動範囲My、Mx内でそれぞれの横軸y、x方向に平行移動して水平、垂直それぞれの最新エッジヒストグラムY、Xと各倍率Kの参照エッジヒストグラムYr、Xrとの差の絶対値和からなる水平、垂直の残差和(以下、個別残差和という)Vy、Vx、及び両個別残差和Vy、Vxを加算した統合残差和Vそれぞれを算出し、例えば、図10の(a)、(b)、(c)に示す、それぞれの最小値Vy_min、Vx_min、Vminを求める。
なお、図10のKy0、Kx0、K0は最小値Vy_min、Vx_min、Vminの倍率Kである。
ところで、各倍率Kの水平、垂直の参照エッジヒストグラムYr、Xrを予測移動範囲My、Mx内でそれぞれの横軸y、x方向に平行移動するのは、自車1の振動によるピッチング運動等による測定(撮影)のフレーム間の座標軸のずれ等を吸収して倍率K0y、K0x、K0等を正確に検出するためである。
そして、予測移動範囲My、Mxは、前記の振動によるピッチング運動等を考慮し、実験等に基いて設定され、参照エッジヒストグラムYr、Xrが予測移動範囲My、Mx内でそれぞれの横軸y、x方向に平行移動される。
なお、予測移動範囲Mxは、具体的には、自車1のピッチング角度範囲と相対距離Zとで決まり、相対距離Zによって変化し、予測移動範囲Myは、自車1のヨーイング角度範囲と、候補対象αの予想される横移動範囲と、相対距離Zとで決まり、相対距離Zによって変化し、相対距離Zは候補領域Ccの画面上の位置から求められる。
そして、候補領域Ccが、マンホールの蓋や鋲、路面標示等の路面物を間違って囲むものでなく、先行車等の路面垂直物を囲むものであれば、残差和Vy、Vx、Vの倍率特性のグラフは、前記の図10の(a)〜(c)の双曲線状、すなわち、極小値を有する下に凸の二次曲線状になり、しかも、倍率Ky0、Kx0は等しくなる(Ky0=Kx0)が、マンホールの蓋や鋲、路面標示等を誤って囲むものであれば、候補領域Ccが正しくなく、残差和Vy、Vx、Vの倍率特性のグラフは、前記の下に凸の二次曲線状にならず、倍率Ky0、Kx0はKy0≠Kx0になる。
そこで、この手段により、残差和Vy、Vx、Vの最小値Vy_min、Vx_min、Vminを求め、それらのときの倍率Ky0、Kx0、K0を検出する。
なお、倍率K0を検出するのは、この実施形態においては、候補対象αが前記の路面垂直物か否かの判別条件に、統合残差和Vの倍率特性のグラフ形状を加味するためであり、この判別条件の加味が不要であれば、倍率K0を検出しなくてよい。
(d)対象判別手段
この手段は、少なくとも水平と垂直の個別残差和Vy、Vxが最小値Vy_min、Vx_minになる倍率Ky0、Kx0が等しい状態(Ky0=Kx0)になるか否かにより、候補対象αが路面上の路面垂直物か否かを判別するものであり、この実施形態においては、判別精度をより向上するため、統合残差和Vの倍率特性のグラフ形状が極小値を有する下に凸の二次曲線状か否かの判別を加え、統合残差和Vの倍率特性のグラフ形状が極小値を有する下に凸の二次曲線状で、倍率Ky0、Kx0が等しい状態(Ky0=Kx0)になれば、候補対象αが路面上の路面垂直物であると判別する。
なお、路面垂直物であっても、障害物でない道路標識等の路側物であれば、記憶情報と観測情報が大きく変化して統合残差和Vの最小値Vminが所定の路側物検出のしきい値Va以上になることから、路側物による誤認識を防止して認識精度を一層向上するため、倍率Ky0、Kx0が、路側物しきい値Vaより小さい最小値Vminになるときの倍率であることも、前記の路面垂直物であるとの判別の条件に加えることが好ましい。
(e)認識処理手段
この手段は、前記の路面垂直物の判別により候補領域Ccが適正領域であることを検出して候補領域Ccの画像から候補対象αを障害物として認識する。
すなわち、Kx0=Ky0になることから、候補領域Ccが間違いなく障害物の領域であると判断すると、候補領域Ccの画像から候補対象αを障害物として認識する。
(動作)
つぎに、認識演算部5の動作について、図2等を参照して説明する。
自車1のエンジン始動後、候補領域設定手段が動作し、図2のステップS1により時々刻々の(フィールド毎の)撮影画像Pを画像微分二値化処理してその画像エッジ情報を得、以降の計算処理において、8ビット/画素の輝度値をそのままを用いるのでなく、1ビット/画素のエッジ情報を利用するようにして、計算量を1/8に低減する。
そして、図2のステップS2により、フィールド毎に水平、垂直の最新エッジヒストグラムY、Xを算出してそれらの積から候補領域Ccを設定する。
つぎに、ヒストグラム演算手段が動作し、ステップS3の画像特徴量の計算により、フィールド毎に算出した水平、垂直の最新エッジヒストグラムY、X及び各倍率Kの水平、垂直の参照ヒストグラムYr、Xrに基き、候補領域Ccについての候補対象αの画像上での特徴量(ベクトル)を計算する。
このとき、倍率Kは、前記の(4)式、(5)式の演算に基いて設定された最大値Kmax〜最小値Kminの範囲で変化し、その単位変化の幅(計算刻み幅K_step)は、制御ECU3の処理負担等を考慮して、例えば0.04に設定される。
また、時刻t、t+1、…における垂直の最新エッジヒストグラムXを今回の候補対象特徴量(ベクトル)Xt、Xt+1、…とし、各時刻t、t+1、…にメモリユニット4に更新自在に保持される既記憶エッジヒストグラムXmを、それぞれ前回までの特徴量(ベクトル)Pt、Pt+1、…とすると、特徴量Pt、Pt+1、…は、撮影画像Pの時間的連続性(相関性)等を考慮して以前に算出された既フレームの垂直の各エッジヒストグラムの重み付け加算平均により、突発的な変動の影響等を抑えて算出され、更新自在に最新のものに書き換えられて保持される。
具体的には、例えば時刻t+1の既記憶エッジヒストグラムXmの特徴量Pt+1は、時刻tの最新エッジヒストグラムXt、特徴量Ptに基づくつぎの(6)式の重み付け加算平均により算出されて時刻t+1まで保持される。なお、同式中のHは、0<H<1の適当な値に設定されたヒス係数である。
Pt+1=H×Xt+(1−H)×Pt (6)式
なお、水平の既記憶エッジヒストグラムYmも、前記と同様にして時間的にヒステリシスを持たせて更新しながら保持される。
そして、各時刻の候補対象特徴量としての水平、垂直のエッジヒストグラム(Yt、Xt)、(Yt+1、Xt+1)、…が、保持されていた候補対象特徴量としての水平、垂直の既記憶エッジヒストグラムPt(=Ymt、Xmt)、Pt+1(=Ymt+1、Xmt+1)、…と大きく異なるときには、候補対象αとして前回と違うものを認識したか、或いは、何らかの原因で候補対象αの画像上の特徴が局所的に変わったと判定することができる。
つぎに、前記の各時刻の候補対象特徴量Pt、Pt+1、…に基く残差和Vy、Vx、V及び最小値Vy_min、Vx_min、Vminは、ステップS3において、残差和演算手段が計算する。
この計算の処理は、具体的には、例えば図11のステップQ1〜Q11からなり、ステップQ1により、初期値Kminから漸増可変される倍率KがKmin≦K≦Kmaxに探索範囲に設定されていることを確認すると、ステップQ2により、その倍率Kでの垂直の個別残差和Vxを計算し、ステップQ3により、計算した個別残差和Vxが、計算開始時に初期値にセットされた最小値Vx_minより小さいか否かを判別し、Vx<Vx_minであれば、ステップQ4に移行し、最小値Vx_minを計算した個別残差和Vxに更新し、垂直の検出倍率Kx0をその倍率Kに更新する。
さらに、ステップQ5により、その倍率Kでの水平の個別残差和Vyを計算し、ステップQ6により、計算した個別残差和Vyが、計算開始時に初期値にセットされた最小値Vy_minより小さいか否かを判別し、Vy<Vy_minであれば、ステップQ7に移行し、最小値Vy_minを計算した個別残差和Vyに更新し、水平の検出倍率Ky0もその倍率Kに更新する。
つぎに、ステップQ8により、その倍率Kにおいて計算した個別残差和Vx、Vyに基き、統合残差和V(=Vx+Vy)を計算し、ステップQ9により、計算した統合残差和Vが計算開始時に初期値にセットされた最小値Vminより小さいか否かを判別し、Vy<Vminであれば、ステップQ10に移行して最小値Vminを計算した統合残差和Vに更新し、検出倍率K0をその倍率Kに更新する。
そして、ステップQ11により、倍率KをK+K_stepにステップ可変して漸増し、この状態で、ステップQ1に戻ってこのステップQ1から処理をくり返し、ステップQ3により、Vx≧Vx_minに変化して個別残差和Vxの最小値Vx0を検出すると、ステップQ4をパスしてステップQ5に移行し、同様に、ステップQ6により、Vy≧Vy_minに変化して個別残差和Vyの最小値Vy0を検出すると、ステップQ7をパスしてステップQ8に移行する。
さらに、ステップQ9により、V≧Vminに変化して統合残差和Vの最小値V0を検出すると、そのときの残差和Vy、Vx、V及び最小値Vy_min、Vx_min、Vminを候補対象αの特徴量として検出するとともに倍率Ky0、Kx0、K0を検出し、図10の処理を終了する。
なお、ステップQ3、Q6、Q9においては、各倍率Kの垂直、水平の参照エッジヒストグラムXr、Yrを、前記の予測移動範囲Mx、My内でそれぞれの横軸x、y方向に平行移動して各残差和Vx、Vy、Vが算出される。
そして、算出結果等に基き、候補領域Ccが適正な領域の場合、残差和Vy、Vx、Vの倍率Kの実測特性として、例えば図12に示す二次曲線特性が得られた。
そして、図11の処理を終了すると、図2のステップS3からステップS4に移行し、対象判別手段により、ステップS3で得られた最小値Vy_min、Vx_minの倍率Ky0、Kx0が等しい(Ky0=Kx0)状態か否かから、候補対象物αが路面垂直物か否かを判別し、路面垂直物(Ky0=Kx0)の判別が行われたときにのみ、認識処理手段により、候補領域Ccが適正領域であることを検出して候補領域Ccの画像から候補対象αを障害物(図2では車両(先行車))として認識する。
つぎに、ステップS5に移行し、この実施形態においては、認識精度を一層向上するため、先行車等の障害物の候補領域Ccについて、今回の観測位置をもとにカルマンフィルタを用いて次回の観測位置を予測してメモリユニット4に書き換え自在に保持し、例えば、次回のステップS2の処理において、この予測位置と実際に観測された位置との誤差から候補領域Ccの妥当性を検討し、誤差が大きすぎるときには、候補領域Ccを無効にしてクラスタ検出をロバストにする。
また、今回得られた各特徴量と次回計算される特徴量とを比較等するために、今回得られた各特徴量をメモリユニット4に書き換え自在に保持し、例えば、ステップS3において、算出された特徴量と保持された前回の特徴量との比較から、算出された特徴量の妥当性を検討し、誤差が大きすぎる場合は、算出された特徴量を無効にして認識精度の向上を図る。
そして、ドライバの操作による制御モードの切り換え、又は、自車1のエンジン停止により、認識処理を終了するまで、ステップS5からステップS6を介してステップS1、S2の処理に戻り、各ステップS1〜S6の処理をくり返し、時々刻々の先行車6等の障害物を認識する。
なお、上記の処理は候補領域Ccが複数個の場合、各候補領域Ccについて行なわれる。
この実施形態の場合、上記した構成、動作に基づき、つぎの(1)、(2)等の効果が生じる。
(1)自車1に障害物探査用の単眼カメラ2のみを搭載する安価な構成で、自車前方の先行車等の障害物の精度の高い認識が行える。
(2)単眼カメラ2の撮影画像Pの画像処理の計算が簡単で容易である。
すなわち、エッジヒストグラムY、Xの計算は、単純な加算のみであり、複雑な相関演算やスネークの輪郭線抽出を行なうテンプレートマッチングの画像処理等に比べて計算量が少なく、簡単で容易であることから、制御ECU3のコンピュータの処理負担が少なく、障害物認識の画像処理を、計算量が少なく、簡単かつ容易で安価な構成により行なうことができる。
したがって、単眼カメラ2のみを搭載し、その撮影画像の画像処理の計算量が少ない安価な構成で、従来にない画期的な障害物認識を実現することができ、車両の安全システムの普及に寄与し、交通安全に貢献することができる。
なお、多くの場合、倍率K0はKx0=Ky0のときにはK0=Kx0=Ky0になり、Kx0≠Ky0のときにはK0=Kx0になるが、K0=Ky0にならないこともある。
例えばマンホールの蓋が相対的に接近するような場合には、垂直エッジの倍率Kx0は、Kx0=K0を満足し、かつ、レーダ側倍率K0rとも一致するが、水平エッジヒストグラムの倍率Ky0は倍率K0、K0rに一致しなくなることから、倍率K0を計算せず、倍率K0の代わりに倍率Kx0を使って障害物認識の判定をすることも考えられるが、走行中にはKx0=Ky0になるような事態も生じ、この場合には、倍率Kx0を用いるのみでは障害物の誤認識が生じる。
そして、倍率Kx0よりも倍率K0を用いる方が、より多くのデータから認識することになって前記の誤認識の程度が低くなることから、倍率Ky0、Kx0及びK0を用いて認識することにより、認識の信頼性が著しく向上する。
(第2の実施形態)
つぎに、第2の実施形態について、図13〜図16を参照して説明する。
この実施形態においては、前記の倍率Kに基く縮小拡大の計算精度が認識精度に直接影響することから、以下に説明する構成を、前記第1の実施形態と異ならせる。
すなわち、候補対象αの相対距離Z等によらず、倍率Kの刻み幅K_stepを同条件にして縮小拡大の計算を行なうと、候補対象αが相対的に遠くに位置して相対距離Zが遠距離になるほど、候補領域Ccの画像が小さくなって障害物の認識精度が低下する。
具体的には、まず、自車前方の25mより遠距離に停止した先行車6に自車1が一定速度で接近して停止する間に、倍率Kの刻み幅K_stepを同条件にして、倍率Ky0、Kx0、K0の時間変化を、その100倍の水平、垂直、水平垂直統合の拡大率(K×100)の時間変化として測定したところ、図13の(a)、(b)、(c)の実測特性が得られた。 それらの図において、yは水平(倍率Ky0)の拡大率特性、xは垂直(倍率Kx0)の拡大率特性、xyは水平垂直統合(K0c)の拡大率特性であり、rは比較のためのレーザレーダ2の測距結果に基く倍率K0rの拡大率特性である。
そして、図13の(a)〜(c)からも明らかなように、例えば同図の(a)の破線円で囲んだ25m以遠では拡大率(換言すれば倍率K)のばらつきが大きくなり、その結果、相対距離Zが遠距離になる程、障害物の認識精度が低下する。
また、刻み幅K_stepによっては、前記の同条件の縮小拡大の計算を行なう場合、図14の倍率計算精度の説明図に示すように、とくに撮影画像Pの候補領域Ccが小さくなるときに、例えば図中の拡大率90〜99で水平、垂直のヒストグラムY、Xがほとんど同一になる事態が生じ、このとき、図中の残差和Vy、Vx、Vの最小値Vy_min、Vx_min、Vminの倍率特性に示すように、実線枠で囲んだ拡大率90〜99の範囲では最小値Vy_min、Vx_min、Vminがほぼ等しくなり、真の最小値Vy_min、Vx_min、Vminの拡大率(倍率K)が求まらなくなって障害物の認識精度が低下する。
これらの不都合を解消するため、無条件に倍率Kの刻み幅K_stepを極力小さくして高い計算精度を確保し、前記の真の最小値Vy_min、Vx_min、Vminの倍率Kを確実に求めるようにしようとすると、候補対象αが相対的に接近するにしたがって処理する画像パターンが大きくなり、膨大な量の計算が必要になって制御ECU3の負担が過大になる。
そこで、この実施形態にあっては、候補対象αが相対的に接近しても膨大な計算を行なうことなく、候補対象αの相対的な位置によらず、前記の真の最小値Vy_min、Vx_min、Vminの倍率が確実に求まるようにし、画像処理の計算量を減らして障害物の認識精度を向上する。
そのため、前記の残差和演算手段により、少なくとも水平、垂直の個別残差和Vy、Vxが最小値Vy_min、Vx_minになる倍率Ky0、Kx0を、最小二乗法の演算により推定して検出し、最終的に、統合残差和Vの最小値Vminの倍率K0を求める。
具体的には、倍率Kの刻み幅K_stepは、制御ECU3の処理能力等を考慮して処理負担が過剰にならない適当な大きさ、例えば0.04に設定し、設定した刻み幅K_stepでの倍率Kの変化に基いて前記第1の実施形態と同様にして各倍率Kの残差和{V}({V}はVy、VxまたはVy、Vx、Vを示す)を測定値として求める。
また、図15に示すような相対距離Zによって異なる特性の拡大率{K}(=K×100)と残差和{V}の二次関数曲線の複数個のグラフ(最小二乗法の係数決定用のグラフ)のモデルをメモリユニット4に記憶して用意しておく。
図15において、W(15)、W(30)、W(50)は拡大中心位置からの距離が画像上で15、30、50画素(ピクセル)それぞれの位置(相対距離Zに対応)の残差和の二次曲線モデルであり、それぞれ、K<1の縮小側とK>1の拡大側とは等価であって対称に変化する。
なお、拡大中心位置は水平、垂直のエッジヒストグラムY、Xの中心位置であり、水平のエッジヒストグラムYの上下端のy座標[上、下]を[yu、yd]とした場合、エッジヒストグラムYの拡大中心位置(y座標)は(yu+yd)÷2であり、垂直のエッジヒストグラムXの左右端のx座標[左、右]を[xl、xr]とした場合、エッジヒストグラムXの拡大中心位置(x座標)は(xl+xr)÷2である。
そして、相対距離Z等に基いて適当なモデルを選択し、そのモデルの係数を、周知の最小二乗法の演算によって推定する。
すなわち、選択したモデルが、つぎの(7)式の拡大率{K}の二次曲線関数f({K})で表されるとする。
{V}=f({K})=a・{K}+b・{K}+c (7)式
このとき、最小値{V}(=Vy_min、Vx_min、Vmin)の拡大率{K0}(=Ky0×100、Kx0×100、K0×100)は二次曲線関数f({K})の頂点(最小値の点)の{K}座標値であり、それをKeとすると、Ke=−b/(2・a)である。
そして、選択したモデルの二次曲線に対する各拡大率{K}の測定値{V}の誤差をeとし、その総和ΣeをEとすると、つぎの(8)式が成立する。
E=Σe=(a・{K}+b・{K}+c−{V}) (8)式
さらに、(8)式から、つぎの数1の(9)式、数2の(10)式、数3の(11)式が得られる。
そして、(9)式〜(11)式に基き、b/a推定のつぎの(12)式が得られる。なお、同式中のA、Bは、A=Σ{K}Σ{V}−nΣ({K}{V})、B=nΣ({K}・{V})−Σ{K}Σ{V}である。
b/a={A・(Σ{K}Σ({K}・{V})−Σ{K}Σ{V})−B・(Σ{K}Σ{V}−Σ{K}Σ({K}・{V}))}/{B・(Σ{K}Σ{V}−Σ({K}・{V})Σ{K})−A・(Σ({K}・{V})Σ{K}−Σ{K}Σ{V})} (12)式
したがって、残差和演算手段により、第1の実施形態の場合と同様にして各倍率Kの残差和Vy、Vxを求めた後、(12)式の演算から最小二乗法でb/aを推定し、この推定に基き、前記の頂点(極点)の{K}座標値Keを求めて残差和Vy、VxまたはVy、Vx、Vの最小値{V0}(=Vy_min、Vx_minまたはVy_min、Vx_min,Vmin)の拡大率{K0}(=Ke)を推定し、この推定に基いて、真の倍率Ky0、Kx0,K0を検出する。
この場合、実際の倍率Kは0.04倍刻みで計算するが、この計算結果に基づく前記の最小二乗法の推定演算により、等価的に、さらに細かい刻みで倍率Kを変えた状態で拡大率Ky0、Kx0を推定し、これらの推定に基づき、最終的に、同様の細かい刻みで最小値Vminの真の拡大率K0を推定することができ、画像処理の計算量を少なくして制御ECU3の負担を軽減しつつ、倍率Ky、Kx、Kの実際の刻み幅より一層細かい精度で、候補対象αの相対的な位置によらず、最小値Vy_min、Vx_min、Vminの真の倍率Kx0、Ky0、K0を確実に求めることができ、画像処理の計算量を減らして障害物の認識精度を一層向上することができる。
そして、実験したところ、図16の(a)、(b)、(c)の結果が得られた。
これらの図において、y、x、xyは、刻み幅0.04の倍率可変に基き、前記の推定を行なわずに求めた水平、垂直、水平垂直統合の拡大率特性であり、それぞれ障害物の相対距離Zが遠距離のときには検出した拡大率が大きくばらつき、しかも、真の倍率Ky0、Kx0、K0(=K0c)が求められない平坦部分が生じている。これに対して、y!、x!、xy!は、この実施形態の場合の特性であり、刻み幅0.04の倍率可変と前記の推定との組み合わせに基き、等価的に、刻み幅が0.04より小さくなることから、いずれも相対距離Zが遠距離のときに検出したする拡大率のばらつきが大幅に低減され、しかも、真の倍率Ky0、Kx0、K0(=K0c)が確実に求められ、前記の平坦部分が生じることもない。
したがって、この実施形態の場合、制御ECU3の画像処理負担を軽減しつつ、障害物の認識性能を一層向上することができ、例えば、この認識結果に基いて自車1の自動ブレーキシステムを制御することにより、交通事故の著しい低減効果等が期待できる。
(第3の実施形態)
つぎに、第3の実施形態について、図17、図18を参照して説明する。
この実施形態にあっては、前記したように、拡大率計算精度がそのまま障害物の認識性能に影響し、とくに相対距離Zが遠距離になると、候補対象αの画像が小さくなって倍率計算精度の確保が難しくなり、検出した拡大率のばらつきが大きくなって認識性能が低下することから、これを改善するため、倍率計算のプロセスそのものに時間的連続性を持たせて、拡大率検出、すなわち、倍率Ky0、Kx0、K0(=K0c)の検出に用いる情報を、連続する複数フレームから多数得るようにし、候補対象αの遠近によらず、倍率Ky0、Kx0、K0(=K0c)の検出のばらつきを低減し、とくに候補対象αが遠くに位置したときの倍率Ky0、Kx0、K0(=K0c)の検出のばらつきを低減することで、障害物の認識性能をさらに向上する。
ところで、図17は連続する時刻t−2、t−1、tの最小値Vy_min、Vx_min、Vminの各残差和の倍率特性の時間変化を示し、この図17からも明らかなように、連続するフレーム間においては、実線y、x、xyの最小値Vy_min、Vx_min、Vminの特性線はほぼ同じ形状を保持することから、最小値Vy_min、Vx_min、Vminの倍率特性は、連続する数フレーム間ではほぼ同じであるとみなすことができる。
なお、さらに多数の連続フレーについて、同様の最小値Vy_min、Vx_min、Vminの倍率特性のグラフを求めたところ、図18の結果が得られた。同図において、各破線yが水平のグラフ、各実線xが垂直のグラフ、実線xyが水平垂直の統合のグラフであり、これらのグラフも図17と同様の時間変化の傾向を示す。
そこで、この第3の実施形態においては、前記の第1または第2の実施形態の構成において、倍率検出手段により、最新の撮影画像が得られる毎に、その撮影画像を含む連続する複数枚の撮影画像の残差和Vy、Vx、Vの最小値Vy_min、Vx_min、Vmin、Vminの倍率Ky0、Kx0、K0の時間変化を検出し、この検出に基づいて各撮影画像の倍率Ky0、Kx0、K0のずれを補正する。
具体的には、単眼カメラ2の撮影により、最新の1フレームの撮影画像が得られる毎に、このフレームの撮影画像の情報と、その直前のフレームの撮影画像の情報とに基き、第1または第2の実施形態と同様にして、各残差和Vy、Vx、Vの最小値Vy_min、Vx_min、Vminに対応する倍率Ky0、Kx0、K0を求め、これらの情報を、少なくとも設定された数フレームの間、図1のメモリユニット4に保持する。
このとき、Vt(K)を時刻tでの水平、垂直の探索倍率Ky(またはKx)の残差和とすると、時刻tの撮影画像についての水平のエッジヒストグラムは、最小値Vy_minが Vt(Ky0)であり、同様に、時刻tの撮影画像についての垂直のエッジヒストグラムは、最小値Vx_minが Vt(Kx0)である。
また、連続するフレーム間では、残差和Vy、Vx、Vxyと倍率Kとの二次曲線のグラフ形状はよく似ており、最小値Vy_min、Vx_min、Vminの頂点位置だけがΔK平行移動したものとみなせる。
そして、時刻t、t−1の2フレームについては、垂直のエッジヒストグラムであれば、Vxt−1(Kx−ΔKx) = Vxt(Kx)という制約式が成立し、この式をテイラー展開し、二次以上の項を微少であるとして無視し、かつ、時間変動が微少であるとして、δt→0とすれば、最終的に、倍率変化ΔKxについて、つぎの数4の(13)式が得られる。
同様にして、水平のエッジヒストグラムの倍率変化ΔKyについて、Vyt−1(Ky−ΔKy) = Vyt(Ky)という制約式が成立し、つぎの数5の(14)式が得られる。
なお、これらのテイラー展開による動き量の検出は、画像の周知のオプティカルフローの勾配法の動き検出と同様である。
そこで、前記の第1、第2の実施形態と同様にして、例えば、時刻t−1、tの撮影画像から時刻tにおける残差和と倍率Kの二次曲線のグラフを得て時刻tの倍率Kx0[t]t、Ky0[t]を求め、同様に、時刻t、t+1の撮影画像から時刻t+1における残差和と倍率Kの二次曲線のグラフを得て時刻t+1の倍率Kx0[t+1]、ky0[t+1]を求める。
さらに、倍率検出手段により、前記の(13)式、(14)式の関係から、時刻tの倍率Kx0[t]、Ky0[t]と、時刻t+1の倍率Kx0[t+1]、ky0[t+1]との時間変化量(移動量)ΔKx、ΔKyを求め、この時間変化量ΔKx、ΔKyに基づき、例えば、倍率Kx0[t]、Ky0[t]を時刻t+1の倍率に補正し、補正後の倍率Kx0[t]、Ky0[t]、Kx0[t+1]、ky0[t+1]の平均から時刻t+1の倍率Ky0、Kx0を求め、最終的に、最小値Vminの倍率K0を求める。
この場合、倍率Ky0、Kx0、K0(=K0c)の検出に用いる情報が、連続する複数フレームから多数得られるため、候補対象αの遠近によらず、倍率Ky0、Kx0、K0(=K0c)の検出のばらつきを低減することができ、とくに、候補対象αが遠く、その撮影画像が小さくなるときの検出精度が向上してそのばらつきを低減し、障害物の認識性能をさらに向上することができる。なお、簡単に構成する場合等には、少なくとも個別残差和Ky0、Kx0の補正演算を行なうのみでもよい。
(第4の実施形態)
つぎに、第4の実施形態について、図19を参照して説明する。
前記第1〜3の実施形態において、とくに遠方の障害物については、矩形の候補領域Ccが小さくなり、エッジヒストグラムX、Yが小さくなることから、連続するフレーム間でその小さい情報同士を比較すると、対象判別手段による最適倍率(拡大率)の探索が容易でなく倍率計算の誤差が大きくなる。
そこで、この実施形態においては、候補対象αの画像が小さくなるときの倍率計算のばらつきを抑えて認識性能の向上を図るため、前記各実施形態において、ヒストグラム演算手段により、候補領域Ccの基準寸法に対する縮小率に応じて候補領域Ccの画像を水平、垂直の両方向に拡大し、拡大後の候補領域Ccの水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムY、Xを算出する。
具体的には、例えば図19に示す時刻t−1、tの連続2フレームの撮影画像Pt−1、Ptに、相対距離Zに応じた大きさの候補領域Ccが含まれ、これらの候補領域Ccにおいて、例えば車両リフレクタの横幅として検出される検出クラスタ幅、又はエッジヒストグラムY、Xの少なくとも一方の車両の特徴的なピークの間隔と、それらの基準の幅、間隔との比較に基き、候補領域Ccの基準寸法に対する縮小率を検出する。
さらに、検出した縮小率に応じて候補領域Ccの画像を拡大処理し、図19に示すように拡大後の画像につき、エッジヒストグラム<Y>、<X>を求める。なお、縮小率が1より大きくなるときは、実質的に候補領域Ccの画像を縮小処理する。
このとき、とくに相対距離Zが遠距離の候補領域Ccの候補対象αについては、画像を拡大して情報を多くしてアンチエイリアシング処理した最新エッジヒストグラム<Y>、<X>が求められる。
そして、相対距離Zが遠距離の候補領域Ccの候補対象αについても、解像度の高い最新エッジヒストグラム<Y>、<X>を得ることができるため、この最新エッジヒストグラム<Y>、<X>と既記憶の参照エッジヒストグラムとに基き、残差和演算手段により前記各実施形態と同様にして残差和Vy、Vx、Vを求めることにより、とくに、相対距離Zが遠距離の候補領域Ccの候補対象αについての残差和演算手段での倍率計算の誤差を低減できる。
ところで、この実施形態においては、アンチエイリアシング処理をさらに良好に行なうため、拡大処理した画像にカルマンフイルタ等を用いた平滑化の処理を施し、図18に示すように平滑化処理後の画像から最新エッジヒストグラム<<Y>>、<<X>>を求め、いわゆる拡大アンチエイリアシング処理されたエッジヒストグラム<<Y>>、<<X>>に基いて残差和Vy、Vx、Vを求める。
したがって、残差和演算手段での倍率計算の誤差をきわめて良好に低減して車両認識性能を一層向上することができ、例えば自動ブレーキシステムに適用した場合の交通事故の一層の低減が期待できる。
ところで、前記第1〜4の実施形態において、自車1と障害物との相対距離Zの変化によって候補領域Ccの水平、垂直の残差和Vy、Vxが最小値Vy_min、Vx_min、Vminになる倍率Ky0、Kx0、K0が増、減変化することから、例えば、最新の一定時間の倍率Ky0、Kx0、K0をメモリユニット4に更新自在に保持し、前記の認識処理手段により、メモリユニット4の倍率Ky0、Kx0、K04の時間変化傾向から障害物の相対的な接、離の状態を検出し、障害物の相対的な接近を報知してドライバに警報するようにしてもよく、この場合は、自車1の運転支援性能の向上が図られて交通事故の一層の低減効果等が期待できる。
(第5の実施形態)
つぎに、第5の実施形態について、図20〜図22を参照して説明する。
この実施形態の場合、コンピュータの処理負担の軽減等を図るため、図1の認識演算部6において、前記第1〜4の実施形態と異なり、ヒストグラム演算手段により、単眼カメラ2の最新の撮影画像の候補領域Ccの候補対象特徴量として、例えば水平、垂直の最新エッジヒストグラムY、Xを算出すると、新たに設けたコード化手段により、両エッジヒストグラムY、Xそれぞれをピークレベルか否かにより二値化して図20に示す水平、垂直のエッジピークコードYC、XCに変換する。
さらに、前記のコード化手段により両エッジピークコードYC、XCが得られる毎に、新たに設けたピーク位置間隔演算手段により、両エッジピークコードYC、XCの各ピーク位置間隔につき、前回の両エッジピークコードYC、XCの各ピーク位置間隔に対する拡大縮小率を算出する。
そして、認識処理手段において、ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値(連続する数フィールド間の差)が所定の認識しきい値以下になることから、候補領域Ccが適正領域であることを検出して候補領域Ccの画像から障害物を認識する。
すなわち、図21に示す候補領域の適否の説明図のように、候補領域Ccが路面垂直の適正な領域Cc(true)であって候補対象αが障害物であれば、例えば単眼カメラ2の破線矢印方向の撮影に基き、少なくとも、撮影画像の水平の各ピークエッジの間隔(幅)の時間変化比(今回の間隔/前回の間隔)はほぼ同じになる(相対距離Zによっては変わらない)が、候補領域Ccが路面の間違った領域Cc(false)であって候補対象αがマンホールの蓋等であれば、同様の破線矢印の撮影画像の水平の各ピークエッジの間隔(幅)の時間変化比は位置によって異なる。
そして、両エッジピークコードYC、XCが得られる毎に、今回の両エッジピークコードYC、XCの各ピーク位置間隔につき、前回の両エッジピークコードYC、XCの各ピーク位置間隔に対する拡大縮小率(前記の時間変化比)を算出してそれらの累積値を求める。
この処理を、設定された連続数フィールドの間くり返すと、例えば図22のピーク間隔の差の累積値の実測図に示すように、適正な領域Cc(true)の累積値Δ(true)は認識しきい値Δ(ref)より小さく、間違った領域Cc(false)の累積値Δ(false)は認識しきい値Δ(ref)より大きくなる。
そこで、認識処理手段において、ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値Δ(ref)以下になることから、候補領域Ccが適正領域であることを検出し、その後は、前記第1〜4の実施形態と同様の処理を行なって候補領域Ccの画像から障害物を認識する。なお、認識しきい値Δ(ref)は実験等によって設定される。
なお、上候補領域Ccが複数個の場合、各候補領域Ccについて上記の処理が行なわれる。
したがって、この実施形態の場合は、エッジヒストグラムY、Xに代えて、よりデータ量が少ないエッジピークコードYC、XCに基いて障害物を認識することができ、制御ECU3のコンピュータの処理負担を一層軽減することができる。
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、撮像センサとしてのカメラは単眼カメラに限られるものではない。
さらに、制御ECU3の候補領域設定の画像処理及び障害物認識処理のプログラム等が図2、図10等と異なっていてもよいのも勿論である。
ところで、自車1の装備部品数を少なくするため、単眼カメラ2等を追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。
この発明の第1の実施形態のブロック図である。 図1の動作説明用のフローチャートである。 図1の単眼カメラの撮影画像の1例の説明図である。 図3の撮影画像のエッジ画像処理の説明図である。 図4のエッジ画像から得られたエッジヒストグラムの1例の説明図である。 図1の単眼カメラの撮影画像からの候補領域設定の説明図である。 図1の画像処理の説明図である。 図1の倍率計算説明用の走行模式図である。 図1の倍率計算説明用のカメラ撮影倍率の模式図である。 図1の個別残差和、統合残差和の1例の特性図である。 図2の一部の詳細なフローチャートである。 図1の計算された倍率の1例の特性図である。 この発明の第2の実施形態の拡大率の処理前の時間変化特性の1例の説明図である。 この発明の第2の実施形態の倍率計算精度の説明図である。 この発明の第2の実施形態の拡大率演算のモデル特性の説明図である。 この発明の第2の実施形態の拡大率の処理後の時間変化特性の1例の説明図である。 この発明の第3の実施形態の残差和の時間変化特性の1例の説明図である。 この発明の第3の実施形態の残差和の時間変化特性の他の例の説明図である。 この発明の第4の実施形態の画像処理の説明図である。 この発明の第5の実施形態のピークエッジコード生成の説明図である。 この発明の第5の実施形態の画像処理の説明図である。 この発明の第5の実施形態のピーク間隔の差の累積値の時間変化特性の説明図である。
符号の説明
1 自車
2 単眼カメラ
3 制御ECU
4 メモリユニット
5 認識演算部

Claims (30)

  1. 自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、
    前記候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、
    候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、
    各倍率の水平、垂直の前記参照ヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値の和からなる水平、垂直の残差和の最小値を算出し、
    前記両残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、
    前記路面垂直物の判別により、前記候補領域が路面上の適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴とする障害物認識方法。
  2. 水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えたことを特徴とする請求項1記載の障害物認識方法。
  3. 候補対象が路面上の路面垂直物か否かの判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、前記候補対象が前記路面垂直物であると判別することを特徴とする請求項1または2に記載の障害物認識方法。
  4. 既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とする請求項1〜3のいずれかに記載の障害物認識方法。
  5. 水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項1〜4のいずれかに記載の障害物認識方法。
  6. 水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とする請求項1〜5のいずれかに記載の障害物認識方法。
  7. 最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、
    該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正することを特徴とする請求項1〜6のいずれかに記載の障害物認識方法。
  8. 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
    拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴とする請求項1〜7のいずれかに記載の障害物認識方法。
  9. 請求項1〜8のいずれかに記載の障害物認識方法において、
    候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出することを特徴とする障害物認識方法。
  10. 請求項9に記載の障害物認識方法において、
    各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知することを特徴とする障害物認識方法。
  11. 自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、
    前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して候補対象特徴量としての水平、垂直のエッジピークコードに変換し、
    前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出し、
    算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識することを特徴とする障害物認識方法。
  12. 前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直のエッジヒストグラムを変換して形成されることを特徴とする請求項11記載の障害物認識方法。
  13. 水平、垂直の画像エッジのヒストグラムが、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項11または12に記載の障害物認識方法。
  14. 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
    拡大後の前記候補領域の水平、垂直の画像エッジのヒストグラムを算出することを特徴とする請求項11〜13のいずれかに記載の障害物認識方法。
  15. 撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、障害物の候補領域が複数個設定されることを特徴とする請求項1〜14のいずれかに記載の障害物認識方法。
  16. 自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域を設定する候補領域設定手段と、
    前記候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、
    各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の残差和の最小値を検出する残差和演算手段と、
    前記両残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する対象判別手段と、
    前記路面垂直物の判別により、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
  17. 対象判別手段の水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えるようにしたことを特徴とする請求項16記載の障害物認識装置。
  18. 対象判別手段の判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とする請求項16または17に記載の障害物認識装置。
  19. ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とする請求項16〜18のいずれかに記載の障害物認識装置。
  20. ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項16〜19のいずれかに記載の障害物認識装置。
  21. 残差和演算手段により、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とする請求項16〜20のいずれかに記載の障害物認識装置。
  22. 倍率検出手段により、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正するようにしたことを特徴とする請求項16〜21のいずれかに記載の障害物認識装置。
  23. ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴とする請求項16〜22のいずれかに記載の障害物認識装置。
  24. 請求項16〜23に記載の障害物認識装置において、
    候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出するようにしたことを特徴とする障害物認識装置。
  25. 請求項24に記載の障害物認識装置において、
    各候補領域の水平、垂直の残差和が最小値になる参照ヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知するようにしたことを特徴とする障害物認識装置。
  26. 自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、
    前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムを算出するヒストグラム演算手段と、
    前記両ヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定する候補領域設定手段と、
    前記候補領域の前記両ヒストグラムそれぞれをピークレベルか否かにより二値化して水平、垂直のエッジピークコードに変換するコード化手段と、
    前記コード化手段により前記両エッジピークコードが得られる毎に、今回の前記両エッジピークコードのピーク位置間隔につき、前回の前記両エッジピークコードのピーク位置間隔に対する拡大縮小率を算出するピーク位置間隔演算手段と、
    前記ピーク位置間隔演算手段により算出した拡大縮小率の時間軸方向の差の積算値が所定の認識しきい値以下になることから、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記障害物を認識する認識処理手段とを設けたことを特徴とする障害物認識装置。
  27. ピーク位置間隔演算手段の前回の水平、垂直のエッジピークコードが、以前の水平、垂直の画像エッジのヒストグラムを重み付け加算平均して得られた既記憶の水平、垂直の画像エッジのヒストグラムを変換して形成されることを特徴とする請求項26記載の障害物認識装置。
  28. ヒストグラム演算手段により、水平、垂直の画像エッジのヒストグラムを、カメラの撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成するようにしたことを特徴とする請求項26または27に記載の障害物認識装置。
  29. ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の画像エッのヒストグラムを算出するようにしたことを特徴とする請求項26〜28のいずれかに記載の障害物認識装置。
  30. 撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所が複数箇所であって、候補領域設定手段によって障害物の候補領域が複数個設定されることを特徴とする請求項16〜29のいずれかに記載の障害物認識装置。
JP2004148726A 2004-05-19 2004-05-19 障害物認識方法及び障害物認識装置 Expired - Fee Related JP4407921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004148726A JP4407921B2 (ja) 2004-05-19 2004-05-19 障害物認識方法及び障害物認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004148726A JP4407921B2 (ja) 2004-05-19 2004-05-19 障害物認識方法及び障害物認識装置

Publications (2)

Publication Number Publication Date
JP2005332120A true JP2005332120A (ja) 2005-12-02
JP4407921B2 JP4407921B2 (ja) 2010-02-03

Family

ID=35486755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004148726A Expired - Fee Related JP4407921B2 (ja) 2004-05-19 2004-05-19 障害物認識方法及び障害物認識装置

Country Status (1)

Country Link
JP (1) JP4407921B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5725161B2 (ja) * 2011-03-31 2015-05-27 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9135823B2 (en) 2012-11-20 2015-09-15 Denso Corporation Object type determination apparatus
CN113486837A (zh) * 2021-07-19 2021-10-08 安徽江淮汽车集团股份有限公司 针对低通度障碍物的自动驾驶控制方法
JP7113935B1 (ja) * 2021-04-05 2022-08-05 三菱電機株式会社 路面検出装置および路面検出方法
CN115410370A (zh) * 2022-08-31 2022-11-29 南京慧尔视智能科技有限公司 一种异常停车检测方法、装置、电子设备及存储介质
CN118276585A (zh) * 2024-03-28 2024-07-02 北京晶品特装科技股份有限公司 机器人自动避障目标识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5725161B2 (ja) * 2011-03-31 2015-05-27 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9135823B2 (en) 2012-11-20 2015-09-15 Denso Corporation Object type determination apparatus
JP7113935B1 (ja) * 2021-04-05 2022-08-05 三菱電機株式会社 路面検出装置および路面検出方法
CN113486837A (zh) * 2021-07-19 2021-10-08 安徽江淮汽车集团股份有限公司 针对低通度障碍物的自动驾驶控制方法
CN115410370A (zh) * 2022-08-31 2022-11-29 南京慧尔视智能科技有限公司 一种异常停车检测方法、装置、电子设备及存储介质
CN118276585A (zh) * 2024-03-28 2024-07-02 北京晶品特装科技股份有限公司 机器人自动避障目标识别方法

Also Published As

Publication number Publication date
JP4407921B2 (ja) 2010-02-03

Similar Documents

Publication Publication Date Title
JP4407920B2 (ja) 障害物認識方法及び障害物認識装置
JP4753765B2 (ja) 障害物認識方法
JP4919036B2 (ja) 移動物体認識装置
US10922561B2 (en) Object recognition device and vehicle travel control system
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
JP6614247B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2002197444A (ja) 車両の走行路認識装置
US10422871B2 (en) Object recognition apparatus using a plurality of object detecting means
JP2016148962A (ja) 物体検知装置
JPH07129898A (ja) 障害物検出装置
US11514683B2 (en) Outside recognition apparatus for vehicle
US8160300B2 (en) Pedestrian detecting apparatus
JP3729025B2 (ja) 歩行者検知装置
KR20080004834A (ko) 차선 인식을 위한 영상 처리 방법 및 시스템
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP3823782B2 (ja) 先行車両認識装置
JP4407921B2 (ja) 障害物認識方法及び障害物認識装置
JP6431299B2 (ja) 車両周辺監視装置
EP3287948A1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
EP3896387B1 (en) Image processing device
JP2007233469A (ja) 物体検出装置及びその方法
JP4151631B2 (ja) 物体検出装置
CN113869607A (zh) 一种安全行驶预测优化方法、装置、设备和存储介质
JP2001101420A (ja) 障害物検出装置及びその方法
JP2007272461A (ja) 運動推定装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141120

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees