JP2002114117A - 車間距離推定装置 - Google Patents

車間距離推定装置

Info

Publication number
JP2002114117A
JP2002114117A JP2000306936A JP2000306936A JP2002114117A JP 2002114117 A JP2002114117 A JP 2002114117A JP 2000306936 A JP2000306936 A JP 2000306936A JP 2000306936 A JP2000306936 A JP 2000306936A JP 2002114117 A JP2002114117 A JP 2002114117A
Authority
JP
Japan
Prior art keywords
inter
vehicle
vehicle distance
image
reference edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000306936A
Other languages
English (en)
Inventor
Toshihiro Yamamura
智弘 山村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000306936A priority Critical patent/JP2002114117A/ja
Publication of JP2002114117A publication Critical patent/JP2002114117A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】レーダとカメラとを搭載する車両にあって、カ
メラから得た画像に基づいて正確な車間距離の推定を行
う。 【解決手段】レーダ車間距離DLが所定値L1未満にな
ったら、カメラ画像における前方車両のリヤバンパ下端
部を水平エッジHEとして検出し、そのY座標YEと無
限遠点Y座標Y0とをそのときの車間距離DL(=出力
車間距離Dout)と関連づけて記憶し、レーダ車間距
離DLが所定値L2未満となったら、前回の出力車間距
離Doutと今回の水平エッジY座標YEと無限遠点Y
座標Y0十を用いて推定車間距離DCを算出する。水平
エッジHEの両横にはピッチ角検出ウインドウを設定
し、その水平濃度平均値の上下ずれから、ピッチ角変化
を算出し、無限遠点Y座標Y0を補正する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えばレーダと
カメラとを備え、カメラが捉えた画像から、自動制動な
どのために前方車両との車間距離を推定する車間距離推
定装置に関するものである。
【0002】
【従来の技術】このような車間距離推定装置としては、
例えば特公平6−34280号公報に記載されるものが
ある。この車間距離推定装置は、前方車両の画像を記憶
し、この画像をスケーリングして、前方車両の画像を追
尾し、そのときの前方車両の変位から当該前方車両まで
の車間距離を推定するものである。また、本出願人が先
に提案した特開平10−143799号公報に記載され
る車間距離推定装置は、前方車両の一部をテンプレート
として記憶し、過去数回分のスケーリングの実績から現
在の前方車両の画像位置をおおよそ予測し、その位置に
切り出したウインドウに一致するようにテンプレートを
スケーリングして車間距離を推定するものである。ま
た、例えば特開平10−97699号公報に記載される
車間距離推定装置は、水平エッジと垂直エッジとで囲ま
れる領域に前方車両(障害物)があると想定して、その
領域までの距離から前方車両までの車間距離を推定する
ものである。
【0003】また、例えば本出願人が先に提案した特開
平11−44533号公報に記載される車間距離設定装
置は、レーザレーダが前方車両までの車間距離を検出し
ている間に、当該前方車両の一部をテンプレートとして
記憶し、レーザレーダが前方車両までの車間距離を検出
できなくなったら、CCDカメラで捉えた画像の中に、
テンプレートに最も類似する画像領域を相関処理によっ
て求め、その中心の位置までの距離を車間距離として推
定するものである。
【0004】なお、カメラとレーダとを併用する車間距
離推定装置は、以下の理由からカメラで撮像された画像
から前方車両までの車間距離を推定する。例えばレーザ
レーダやミリ波レーダでは、比較的遠距離(〜100m
程度)までの車間距離を検出するためにレーザ光やミリ
波を伝播する範囲に制限があり、逆に自車両の極く近傍
(10m以内)では検出可能範囲が狭くなる。一方、マ
イクロ波レーダや超音波センサでは、自車両近傍でも比
較的広い検出範囲があるものの、検出可能な距離が短い
ため、遠くにある前方車両に対しては車間距離が検出で
きない。これらの欠点を補うため、カメラで撮像された
画像から前方車両までの車間距離を推定するのである。
【0005】
【発明が解決しようとする課題】しかしながら、前記特
公平6−34280号公報に記載される車間距離推定装
置のように、カメラで撮像される前方車両の外形を検出
するものでは、前方車両との車間距離が短い場合に、前
方車両外形が画像からはみ出してしまい、車両外形が検
出できなくなって車間距離を推定することができなくな
るという問題がある。
【0006】また、テンプレートマッチングで必要とな
るスケーリングは、計算量の増大と、処理コストの増大
につながる。また、テンプレートに最も類似する画像領
域を求めているうちに、画像の明るさなどの変化によっ
て、求めた画像領域が、本来のテンプレート相当の画像
領域を異なる方向に移動してしまう恐れがある。また、
これらとは個別に、カメラによる画像は、例えば制動時
に車両がピッチ運動することによって変化し、前方車両
の画像にも歪みが生じる恐れがある。このようなピッチ
運動による画像への影響を補正する発明として、特開平
10−40499号公報に記載される従来技術がある。
この従来技術は、カメラで捉えた前方画像中の道路左右
のレーンマーカ(白線)を検出し、このレーンマーカと
カメラの相対位置関係からカメラのピッチ角を推定し、
それを用いて前方車両までの車間距離を補正するもので
ある。しかしながら、この従来技術でも、前方車両まで
の車間距離が短い場合には、前方車両の画像によって前
方道路のレーンマーカが遮蔽されて検出できなくなる恐
れがあり、そのようなときにはピッチ角を検出できず、
車間距離の補正もできないことになる。
【0007】本発明は、これらの諸問題を解決すべく開
発されたものであり、カメラが捉えた画像の中から、最
も検出し易い横エッジからなる基準エッジ画像を検出
し、その基準エッジ画像と、レーダで検出された車間距
離とを関連づけて記憶し、次に検出した基準エッジ画像
と同等の画像の位置と前記基準エッジ画像の位置とから
求まる上下方向への変位量から車間距離を推定すること
によって、車間距離を容易に推定することができ、また
車両のピッチ運動による影響を、簡易にして且つ精度よ
く補正することができる車間距離推定装置を提供するこ
とを目的とするものである。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明のうち請求項1に係る車間距離推定装置は、
自車両から前方車両までの車間距離を検出する車間距離
検出手段と、自車両の前方の画像を撮像する撮像手段
と、前記撮像手段の画像から、少なくとも前方車両の一
部を含む基準エッジ画像を検出する基準エッジ画像検出
手段と、前記撮像手段の画像における前記基準エッジ画
像の上下方向の位置を検出する基準エッジ画像上下方向
位置検出手段と、前記基準エッジ画像検出手段が以前に
基準エッジ画像を検出したときの車間距離検出手段で検
出された車間距離と、そのときに前記基準エッジ画像上
下方向位置検出手段で検出された基準エッジ画像の上下
方向の位置と現在の基準エッジ画像の上下方向の位置と
から、現在の前方車両までの車間距離を算出する車間距
離算出手段とを備えたことを特徴とするものである。
【0009】また、本発明のうち請求項2に係る車間距
離推定装置は、前記請求項1の発明において、前記基準
エッジ画像検出手段で検出する基準エッジ画像は、横方
向に長手の横エッジであり、前記基準エッジ画像をなす
横エッジが検出される領域の外側にピッチ運動量検出領
域を設定するピッチ運動量検出領域設定手段と、このピ
ッチ運動量検出領域における画像の上下方向への変化か
ら自車両のピッチ運動量を算出するピッチ運動量算出手
段とを備えると共に、前記車間距離算出手段は、前記ピ
ッチ運動量算出手段で算出された自車両のピッチ運動量
を用いて前記前方車両までの車間距離を補正することを
特徴とするものである。
【0010】また、本発明のうち請求項3に係る車間距
離推定装置は、前記請求項2の発明において、前記ピッ
チ運動量検出領域設定手段は、前記基準エッジ画像をな
す横エッジの両横に一対のピッチ運動量検出領域を設け
ると共に、前記ピッチ運動量算出手段は、前記一対のピ
ッチ運動量検出領域の夫々における画像の上下方向への
変化から自車両のピッチ運動量を算出することを特徴と
するものである。
【0011】また、本発明のうち請求項4に係る車間距
離推定装置は、前記請求項2又は3の発明において、前
記ピッチ運動量算出手段は、前記ピッチ運動量検出領域
の横方向の平均濃度値の上下分布を求め、その平均濃度
値の上下分布の変化から画像の上下方向への変化を検出
することを特徴とするものである。
【0012】
【発明の効果】而して、本発明のうち請求項1に係る車
間距離推定装置によれば、少なくとも前方車両の一部を
含む基準エッジ画像を検出可能とすると共に、基準エッ
ジ画像の上下方向の位置を検出可能とし、以前に基準エ
ッジ画像を検出したときに検出された車間距離と、その
ときに検出された基準エッジ画像の上下方向の位置と現
在の基準エッジ画像の上下方向の位置とから、現在の前
方車両までの車間距離を算出する構成としたため、自車
両前方の画像の中で、車間距離に応じて、上下方向に移
動する前方車両の基準エッジ画像と、検出される車間距
離とを関連づけすることにより、検出される基準エッジ
画像の上下方向への移動量から車間距離を推定すること
が可能となり、車間距離の推定が容易になる。
【0013】また、本発明のうち請求項2に係る車間距
離推定装置によれば、前方車両の一部を含む基準エッジ
画像を、横方向に長手の横エッジとすることにより、例
えば前方車両のリヤバンパのように濃淡差の大きい横エ
ッジからなる基準エッジ画像を検出し易くなる。そし
て、この基準エッジ画像をなす横エッジが検出される領
域の外側にピッチ運動量検出領域を設定し、このピッチ
運動量検出領域における画像の上下方向への変化から自
車両のピッチ運動量を算出し、この自車両のピッチ運動
量を用いて前方車両までの車間距離を補正する構成とし
たため、個別のピッチ運動量センサを設けることなく、
確実且つ速やかに車間距離を補正し、その分だけ車間距
離の推定精度を向上することができる。
【0014】また、本発明のうち請求項3に係る車間距
離推定装置によれば、基準エッジ画像をなす横エッジの
両横に一対のピッチ運動量検出領域を設けると共に、こ
の一対のピッチ運動量検出領域の夫々における画像の上
下方向への変化から自車両のピッチ運動量を算出する構
成としたため、自車両のロール運動によるノイズを除去
し、より正確にピッチ運動量を検出して、その分だけ車
間距離の推定精度を向上することができる。
【0015】また、本発明のうち請求項4に係る車間距
離推定装置によれば、ピッチ運動量検出領域の横方向の
平均濃度値の上下分布を求め、その平均濃度値の上下分
布の変化から画像の上下方向への変化を検出する構成と
したため、ピッチ運動量検出領域の画像の上下方向への
変化を容易に検出することができ、その分だけピッチ運
動量を正確且つ速やかに検出することができる。
【0016】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図1は本発明の車間距離設定装置
を展開した自動制動装置付き車両のシステム構成図であ
る。前輪1F及び後輪1Rへの制動力は、ホイールシリ
ンダ3F、3Rへの制動流体圧を、制動流体圧制御装置
3からの指令値に基づいて制動流体圧アクチュエータで
創成することによって制御される。なお、本実施形態に
おいて非駆動輪である前輪1Fには車輪速センサ2が設
けられており、その車輪速センサ2で検出された車輪速
を車速として検出するように構成されている。
【0017】一方、キャビンのフロントガラス寄りに
は、撮像手段としてのCCDカメラ5が設けられてい
る。このCCDカメラ5は、上下方向に20°程度の画
角を有する。従って、相当の急制動時に、車体がノーズ
ダイブしても、前方車両を撮像し続けることが可能であ
る。このCCDカメラ5で撮像された自車両前方の画像
は、画像処理装置6に取り込まれ、ここで必要な画像処
理が施される。なお、CCDカメラ5で撮像することか
ら、自車両前方の前方車両が遠くにあるとき、つまり車
間距離が大きいときには、撮像される前方車両の画像が
小さいことから、それを検出しにくいという特性があ
る。
【0018】また、車両の前方には、車間距離検出手段
としてのレーザレーダ7が設けられている。そして、こ
のレーザレーダ7はコントローラ機能を具備したもので
あり、このレーザレーダ7では、検出した自車両前方の
距離情報から前方車両の検出と、その前方車両までの測
距、即ち車間距離の検出が行われる。なお、レーザレー
ダ7は、限られたパワーでより遠方まで測距する必要が
あるため、上下方向の検出角度は3〜4°程度である。
そのため、車両が大きくノーズダイブすると、前方車両
を検出できなくなる可能性がある。また、前述したよう
に、レーザレーダ7の特性として、遠くにある前方車両
は正確に検出できるが、前方車両が近すぎると、検出範
囲の狭さから、かえって車間距離を正確に検出できない
ことがある。
【0019】そして、車間距離検出装置11は、前記車
輪速センサ4で検出された車速、画像処理装置6で撮像
された自車両前方の画像情報、レーザレーダ7で検出さ
れた前方車両情報並びに車間距離を読込み、前記自車両
前方の画像情報から推定車間距離DCを算出し、それを
前記制動流体圧制御装置に向けて出力する。この算出さ
れた推定車間距離DCを読込んだ制動流体圧制御装置で
は、例えば自車両の前方に、それまでの前方車両と異な
る車両が割り込み、車間距離Distが急変した場合など
に、自車両が、その前方車両に衝突するのを回避すべ
く、目標減速度又は目標制動力を設定し、その目標減速
度又は目標制動力が達成されるように制動流体圧を制御
する。なお、このような制動流体圧制御については、例
えば特開平7−144588号公報に記載されるものを
適用することができる。
【0020】次に、前記車間距離検出装置11で行われ
る推定車間距離DC算出のための演算処理を示す図3の
フローチャートの前に、本実施形態で行う車間距離推定
の概略構成について図2を用いて説明する。本実施形態
では、CCDカメラ5で捉えた自車両前方画像から、前
方車両の基準エッジ画像として水平エッジ(横エッジ)
を検出し、その水平エッジまでの車間距離と、その垂直
座標位置(上下方向位置)とを用い、新たに検出された
水平エッジの垂直座標位置に応じて車間距離の推定を行
う。水平エッジとしては、底部が影になって濃淡差が大
きく表れるリヤバンパの下部を捉える。また、これと同
時に、自車両のピッチ角(ピッチ運動量)を検出し、そ
のピッチ角に応じて推定車間距離の補正を行う。しかし
ながら、前述のようにCCDカメラ5による自車両前方
の画像において、車間距離が大きいときには、前方車両
の検出が困難であることから、前記レーザレーダ5で検
出される車間距離DLが所定値L1以上であるときに
は、CCDカメラ5からの画像情報に基づく車間距離の
推定(水平エッジ検出及びピッチ角補正の処理)を行わ
ない。勿論、出力はレーザレーダ5で検出された車間距
離DLとなる。これに対し、前記レーザレーダ5で検出
される車間距離DLが前記所定値L1から、それより小
さい所定値L2までの間では、CCDカメラからの画像
情報に基づく車間距離の推定(水平エッジ検出及びピッ
チ角補正の処理)を行いながら、出力としてはレーザレ
ーダ5で検出された車間距離DLを出力する。一方、前
記レーザレーダで検出される車間距離DLが前記所定値
L2未満か、若しくはレーダロスト(前方車両までの車
間距離を検出できないの意)である場合には、CCDカ
メラからの画像情報に基づく車間距離の推定(水平エッ
ジ検出及びピッチ角補正の処理)を行い、その算出値で
ある推定車間距離DCを出力する。なお、前記レーザレ
ーダ5では、前方車両をロスとした場合に、ロストを意
味する“0”が出力される。
【0021】次に、推定車間距離DCを算出すると共
に、最終的な車間距離を出力するための図2の演算処理
について説明する。この車間距離検出装置11は、例え
ばマイクロコンピュータなどの演算処理装置を備えてお
り、その演算処理装置内で所定のサンプリング時間(こ
の場合は100msec. )毎にタイマ割込処理される。な
お、このフローチャートでは、特に通信のためのステッ
プを設けていないが、例えばフローチャート中で得られ
た情報は随時記憶装置に記憶されるし、必要な情報は随
時記憶装置から読出される。また、各装置間も相互通信
を行っており、必要な情報は、主として制御を司ってい
る装置から常時読み込まれ、送られてきた情報は、随時
記憶装置に記憶される。
【0022】この演算処理のステップS1では、同ステ
ップ内で行われる個別の演算処理に従って、前記画像処
理装置6からCCDカメラ5で撮像した自車両前方の全
画面情報を読込み、ディジタルフィールドなどからなる
配列に入力する。本実施形態では、例えば図6に示すよ
うに、全画像の左下隅部を原点とし、右上方に向けて、
横座標(水平座標)をX座標、縦座標(垂直座標)をY
座標として、各画素毎に色合い、明度、輝度等の情報を
記憶する。
【0023】次にステップS2に移行して、前記レーザ
レーダ7で検出された前方車両までの車間距離DL、車
輪速センサ4で検出された車速Vを読込む。次にステッ
プS3に移行して、後述する図4の制御マップに従っ
て、推定開始車間距離所定値L1を設定する。次にステ
ップS4に移行して、前記ステップS2で読込んだレー
ダ車間距離DLが前記推定開始車間距離所定値L1以上
であるか否かを判定し、当該レーダ車間距離DLが推定
開始車間距離所定値L1以上である場合にはステップS
5に移行し、そうでない場合にはステップS6に移行す
る。
【0024】前記ステップS6では、後述する図5の演
算処理に従って、水平エッジ検出処理を行ってからステ
ップS7に移行する。前記ステップS7では、前記ステ
ップS2で読込んだレーダ車間距離DLが予め設定され
た推定車間距離出力開始所定値L2以上であるか否かを
判定し、当該レーダ車間距離DLが推定車間距離出力開
始所定値L2以上である場合には前記ステップS5に移
行し、そうでない場合にはステップS8に移行する。な
お、推定車間距離出力開始所定値L2は前記推定開始車
間距離所定値L1より小さいものとする。
【0025】前記ステップS8では、後段に詳述する算
出方法に従って、推定車間距離DCを算出してからステ
ップS9に移行する。前記ステップS9では、出力車間
距離Doutに前記推定車間距離DCを設定してからス
テップS10に移行する。一方、前記ステップS5で
は、出力車間距離Doutにレーダ車間距離DLを設定
してから前記ステップS10に移行する。
【0026】前記ステップS10では、同ステップ内で
行われる個別の演算処理に従って、前記ステップS5又
はステップS9で設定された出力車間距離Doutの出
力を行ってからステップS11に移行する。前記ステッ
プS11では、出力車間距離Dout、水平エッジ位置
YE、無限遠点座標Y0、分布S(Y)を記憶してから
メインプログラムに復帰する。
【0027】次に、前記ステップS3で用いられる図4
の制御マップについて説明する。前述したように、本実
施形態では、前記レーザ車間距離DLが前記推定開始車
間距離所定値L1未満になったときに推定車間距離DC
の算出を開始し、当該レーザ車間距離DLが前記推定車
間距離出力開始所定値L2未満になったときに推定車間
距離DCの出力を開始する。今、前方車両の車速が一定
であるとすると、自車両の車速Vが大きいほど、前方車
両との相対速度によって、自車両が前方車両に近づく速
度が大きくなる。つまり、より早く前方車両に接近する
ことを意味する。従って、自車両の車速Vが大きいほ
ど、前記推定開始車間距離所定値L1未満となってか
ら、推定車間距離出力開始車間距離所定値L2未満とな
るまでの時間が短い可能性が高い。これは、例えば場合
によっては、二つの所定値の間で必要な車間距離と前方
車両、即ち基準エッジ画像である水平エッジの位置との
相関を十分に得ることができないことを意味する。本実
施形態では、両者の相関に従って車間距離を推定するの
で、車間距離と水平エッジの位置との相関が十分にとれ
るように、車速Vが大きいほど、推定開始車間距離所定
値L1を大きく設定する。図4では、車速Vが低速所定
値V0 以下の領域では推定開始車間距離所定値L1は比
較的小さな所定値L10 一定であり、車速Vが高速所定
値V1 以上の領域では推定開始車間距離所定値L1は比
較的大きな所定値L11 一定であり、二つの所定値の間
で、車速Vの増加に伴って推定開始車間距離所定値L1
がリニアに増加するようになっている。
【0028】なお、前記推定車間距離出力開始所定値L
2は、前記レーザレーダ7の検出能力から決定される。
つまり、レーザレーダ7だけで、前方車両までの車間距
離をほぼ確実に且つ精度よく検出可能な最長車間距離
を、当該所定値L2に設定すればよい。次に、前記図3
の演算処理のステップS6で行われる水平エッジ検出処
理のための演算処理について、図5のフローチャートを
用いて説明する。
【0029】この演算処理では、まずステップS601
で、同ステップ内で行われる個別の演算処理に従って、
前記配列に入力された画像に対し、水平エッジを検出す
るためのフィルタ処理を施す。具体的には、例えば下記
1式のような垂直ソーベル演算子を施し、更に絶対値処
理を施すことにより、水平なエッジ成分のみを抽出する
ことができる。
【0030】 1 2 1 垂直ソーベル演算子 0 0 0 ……… (1) −1 −2 −1 次にステップS602に移行して、同ステップ内で行わ
れる個別の演算処理に従って、水平エッジ検出ウインド
ウHEWの設定を行う。この水平エッジ検出ウインドウ
HEWは、例えば図6に示すように、前方車両で最も濃
淡差が大きく且つ光の影響を受けにくいリヤバンパの下
部近傍に設定する。即ち、このリヤバンパの下部におい
て、濃淡差が最も大きく生じる部分、つまり影との境界
線が、求める水平エッジになる。この水平エッジ検出ウ
インドウHEWの設定は、既に水平エッジを検出してい
るか否か、つまり水平エッジ検出の連続処理か又は初期
処理かによってやや異なる。
【0031】水平エッジ検出初期処理の場合には、以下
のようにして水平エッジ検出ウインドウHEWを設定す
る。即ち、この水平エッジ検出ウインドウHEWは、前
述のように、前方車両のリヤバンパ下部に設定すべきも
のであり、前方車両の大きさは、或る程度、限定でき、
しかもその前方車両のリヤバンパの高さも、或る程度、
限定できることから、当該前方車両までの車間距離が分
かれば、当該ウインドウHEWの下側の境界線を、或る
程度、限定することができる。即ち、例えば図6の画像
においては、前方車両は、車間距離が大きければ大きい
ほど、小さく、且つ上方に捉えられる。このため、前記
レーダ車間距離DLに基づいて前方車両の位置と大きさ
が検出できるので、その前方車両の後方面の位置する路
面から所定の高さの部分に水平エッジ検出ウインドウH
EWの下側境界線を設定する。また、上側境界線は、実
測値で、前記下側境界線から1m程度上方の位置に設定
する。また、水平エッジ検出ウインドウHEWの幅は、
大型の前方車両でも、その後方面全域にウインドウが設
定されるように、大きめに設定してよい。また、レーザ
レーダ7には、前方車両が自車両に対してどれぐらい横
方向にずれているか、所謂前方車両の横位置を検出する
機能があるので、当該前方車両の横位置に応じて水平エ
ッジ検出ウインドウHEWを横方向にずらして設定して
もよい。
【0032】これに対して、水平エッジ検出連続処理の
場合は、前回検出した水平エッジの周りに、比較的小さ
な上下幅を持たせた水平エッジ検出ウインドウHEWを
設定すればよい。次にステップS603に移行して、同
ステップ内で行われる個別の演算処理に従って、前記ス
テップS601のフィルタ処理によって明瞭となった水
平エッジHEを、前記ステップS602で設定された水
平エッジ検出ウインドウHEW内部に検出する。具体的
には、前記水平エッジ検出ウインドウHEW内の横方向
に濃度値を平均し、その濃度値の平均値が所定値を超え
且つ最大となる位置を水平エッジHEとして検出する。
【0033】次にステップS604に移行して、同ステ
ップ内で行われる個別の演算処理に従って、例えば図7
に示すように、前記ステップS603で検出した水平エ
ッジHEの垂直座標値YE、即ち上下方向位置を算出す
る。次にステップS605に移行して、同ステップ内で
行われる個別の演算処理に従って、例えば図8に示すよ
うに、前記ステップS603で検出した水平エッジHE
の左右(横)幅WHEを検出し、その横方向端点座標X
L、XRを算出する。
【0034】次にステップS606に移行して、同ステ
ップ内で行われる個別の演算処理に従って、ピッチ角
(ピッチ運動量)検出ウインドウを設定する。この実施
形態では、例えば図8に示すように、前記水平エッジH
Eの左端点座標XLの左方の上下方向全領域及び右端点
座標XRの右方の上下方向全領域を、夫々、ピッチ角検
出領域LPAW、RPAWに設定する。つまり、前記水
平エッジHEの両横に一対のピッチ運動量検出領域が設
定されることになる。
【0035】次にステップS607に移行して、同ステ
ップ内で行われる個別の演算処理に従って、前記各ピッ
チ角検出領域LPAW、RPAWの夫々の水平(横方
向)平均濃度値分布S(Y)を算出する。例えば、図9
は、左方ピッチ角検出領域LPAWであり、その水平平
均濃度値を縦座標、即ちY座標に沿って示したのが水平
平均濃度値分布S(Y)になる。
【0036】次にステップS608に移行して、同ステ
ップ内で行われる個別の演算処理に従って、前記水平平
均濃度値分布S(Y)の相関計算によりピッチ角変化d
Pを算出する。具体的には、例えば図9に示すように、
記憶されている前回の水平平均濃度値分布S0 (Y)と
今回の水平平均濃度値分布S(Y)との相関計算を行
い、両者のずれをピッチ角変化dPとする。なお、図
は、左方ピッチ角検出領域LPAWのピッチ角変化であ
るので、左方ピッチ角変化dPLとして表した。右方ピ
ッチ角検出領域RPAWでも、同様にして右方ピッチ角
変化dPRを算出する。
【0037】次にステップS609に移行して、同ステ
ップ内で行われる個別の演算処理に従って、前記ステッ
プS608で算出した左右ピッチ角検出領域LPAW、
RPAWにおけるピッチ角変化dPL、dPRを用い
て、無限遠点Y座標Y0を算出する。具体的には、前記
ステップS608で算出された左右ピッチ角変化dP
L、dPRは、直接Y座標のずれを表しており、平均的
なピッチ角変化は左右ピッチ角変化dPL、dPRの和
の半分値であるから、記憶されている前回の無限遠点Y
座標Y00 にピッチ角変化平均値(dPL+dPR)/
2を和して今回の無限遠点Y座標Y0となる。なお、無
限遠点とは、前記CCDカメラ5で撮像された自車両前
方画像の消失点である。
【0038】次にステップS610に移行して、同ステ
ップ内で行われる個別の演算処理に従って、前記ステッ
プS604で算出した水平エッジY座標YE及び無限遠
点Y座標Y0を出力してから、前記図3の演算処理のス
テップS7に移行する。次に、前記図3の演算処理のス
テップS8で行われる推定車間距離DCの算出方法につ
いて、図7、図10を用いて説明する。
【0039】図10は、自車両と前方車両との相対関係
を側方から模式的に示している。また、図7は、CCD
カメラ5によって捉えられた前方車両を含む自車両前方
画像である。夫々の図中の符号は以下の通り。 Hc :CCDカメラ取付け高さ He :前方車両の水平エッジ(リヤバンパ下端部)の
路面からの高さ dH :CCDカメラ取付け高さと水平エッジの高さの
差 dH=Hc−He ……… (2) DL :レーザレーダで検出された前方車両までの車間
距離 D0 :レーザレーダとCCDカメラとの取付け位置の
前後方向距離 DC’:CCDカメラから前方車両後端までの距離 DC’=DL+D0 ……… (3) Y0 :自車両前方画像における無限遠点のY座標値 YE :自車両前方画像における水平エッジのY座標値 dY :自車両前方画像における水平エッジの無限遠点
からの相対Y座標値 dY=Y0−YE ……… (4) ここで、CCDカメラによるY座標値“1”あたりの角
度分解能をΔθとすると、図7、図10の幾何学的関係
より、下記5式が成立する。
【0040】 dY=dH/DC’/Δθ ……… (5) 前記2式〜4式を変形して、下記6式を得る。 He=Hc−(Y0−YE)・Δθ・(DL+D0) ……… (6) 変形して、下記7式を得る。 DL=(Hc−He)/(Y0−YE)/Δθ−D0 ……… (7) 従って、CCDカメラ5で捉えた自車両前方画像から無
限遠点Y座標Y0及び水平エッジY座標YEを求め、そ
のときのレーダ車間距離DLが得られれば、前記6式か
ら、検出している水平エッジの路面からの高さHeが分
かる。逆に、CCDカメラ5で捉えた自車両前方画像か
ら無限遠点Y座標Y0及び水平エッジY座標YEを求
め、予め水平エッジの路面からの高さHeが分かってい
れば、前記7式よりレーダ車間距離DL(算出されるの
は推定車間距離DC)を求めることができる。本実施形
態では、レーダ車間距離DLが前記車間距離推定開始所
定値L1から推定車間距離出力開始所定値L2までの間
に、当該レーダ車間距離DLを用いて、前記6に従って
前方車両の水平エッジの路面からの高さHeを求めてお
き、レーザ車間距離DLが推定車間距離出力開始所定値
L2以下になるか、或いはレーダがロストしたら、この
前方車両の水平エッジの路面からの高さHeを用いて、
自車両前方画像の無限遠点Y座標Y0及び水平エッジY
座標YEから前記レーダ車間距離DLの代わりに推定車
間距離DCを算出する。
【0041】なお、前記求めた水平エッジの路面からの
高さHeが、常識的な所定範囲(例えば0〜1m)に存
在しない場合には、前方車両ではなく、別の物体を誤検
出している可能性があるため、検出結果を棄却し、CC
Dカメラによる車間距離推定を停止するようにしてもよ
い。本実施形態では、前回に出力され且つ記憶されてい
る出力車間距離Dout0を用いて、下記8式に従って
推定車間距離DCを算出するようにした。
【0042】 DC=Dout0 ・(Y00 −YE0 )/(Y0−YE)−D0……… (8) このように、本実施形態の車間距離推定装置によれば、
車間距離に応じて、レーザレーダ7で検出された車間距
離DLと、CCDカメラ5による自車両前方画像の前方
車両水平エッジ高さHeから求まる推定車間距離DCと
を使い分けて出力することにより、安定した車間距離出
力が可能となる。
【0043】また、水平エッジの両横に設定された一対
のピッチ角検出ウインドウLPAW、RPAWの上下方
向への変化から、ロール分を除去して自車両のピッチ角
を検出することができ、このピッチ角を用いて無限遠点
の高さを補正することで、ピッチ角変化による自車両前
方画像の歪みを補正し、個別のピッチ運動量センサを設
けることなく、確実且つ速やかに車間距離を補正し、推
定車間距離DCの算出精度を向上することができる。な
お、個別のピッチ運動量センサを用いないことによるメ
リットは、単にコスト的に有利である以外にも、以下の
ようなメリットがある。即ち、ピッチ角センサは車体に
取付けられるが、実際に検出したいのはカメラのピッチ
角であり、カメラの車体側取付け精度が悪いと、カメラ
のピッチ角を正確に検出できない。また、センサ信号の
ノイズを除去するためにフィルタリング処理を施すと、
一般的に応答性が低下し、特に撮像された画像フレーム
毎にピッチ角補正を行うことを考慮すると、極めて影響
度が大きい。また、特に車体前後の路面からの高さを、
例えばレーザ距離計などで検出し、その高さの差或いは
比からピッチ角を検出する場合には、路面の微妙な凹凸
の影響によって、車体のピッチ角を正確に検出できない
という問題もある。
【0044】また、車間距離の推定開始する車間距離
(所定値L1)を、車速の増大に応じて、大きく設定す
るようにしているので、車速が高く、前方車両への接近
度合いが大きい場合でも、車間距離と前方車両エッジ位
置との相関をとりやすく、画像からの推定車間距離の算
出を安定させることができる。また、ピッチ角検出ウイ
ンドウLPAW、RPAWの水平濃度平均値分布S
(Y)を用い、その相関から簡易に上下方向への変化を
検出し、もって速やかにピッチ角変化を検出することが
可能となる。なお、ウインドウ内でのピッチ角変化は、
周知のように、ウインドウ内の或る部分をテンプレート
として切り取り、そのテンプレートをパターンマッチン
グ法によって探索、抽出し、その移動量からピッチ角変
化を求める方法もある。
【0045】以上より、前記レーザレーダ7が、本発明
の車間距離検出手段を構成し、以下同様に、前記CCD
カメラ5及び画像処理装置6が撮像手段を構成し、前記
図3の演算処理のステップS6で行われる図5の演算処
理のステップS601〜ステップS603が基準エッジ
画像検出手段を構成し、前記図3の演算処理のステップ
S6で行われる図5の演算処理のステップS604が基
準エッジ画像上下方向位置検出手段を構成し、前記図3
の演算処理のステップS8が車間距離算出手段を構成
し、前記図3の演算処理のステップS6で行われる図5
の演算処理のステップS605、ステップS606がピ
ッチ運動量検出領域設定手段を構成し、前記図3の演算
処理のステップS6で行われる図5の演算処理のステッ
プS607、ステップS608がピッチ運動量算出手段
を構成している。
【0046】なお、前記下記実施形態では、夫々の演算
処理装置にマイクロコンピュータを用いたが、これに代
えて各種の論理回路を用いることも可能である。また、
レーザレーダに代えて、ミリ波レーダなどの各種のレー
ダを使用してもよい。
【図面の簡単な説明】
【図1】本発明の車間距離推定装置の一実施形態を示す
車両構成図である。
【図2】図1の実施形態の車間距離推定装置の作用の概
略説明図である。
【図3】車間距離検出の演算処理の一例を示すフローチ
ャートである。
【図4】図3の演算処理で用いられる制御マップであ
る。
【図5】図3の演算処理で行われるマイナプログラムの
フローチャートである。
【図6】図5の演算処理で設定される水平エッジ検出ウ
インドウの説明図である。
【図7】図5の演算処理で算出される無限遠点から水平
エッジまでの相対距離の説明図である。
【図8】図5の演算処理で設定されるピッチ角検出ウイ
ンドウの説明図である。
【図9】図5の演算処理で設定される水平濃度平均値と
その相関計算で求まるピッチ角変化によるずれの説明図
である。
【図10】自車両と前方車両との側方からの模式図であ
る。
【符号の説明】
1F、1Rは車輪 2は車輪速センサ 5はCCDカメラ 6は画像処理装置 7はレーザレーダ 11は車間距離検出装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/60 180 G06T 7/60 180B // G08G 1/16 G08G 1/16 E

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 自車両から前方車両までの車間距離を検
    出する車間距離検出手段と、自車両の前方の画像を撮像
    する撮像手段と、前記撮像手段の画像から、少なくとも
    前方車両の一部を含む基準エッジ画像を検出する基準エ
    ッジ画像検出手段と、前記撮像手段の画像における前記
    基準エッジ画像の上下方向の位置を検出する基準エッジ
    画像上下方向位置検出手段と、前記基準エッジ画像検出
    手段が以前に基準エッジ画像を検出したときの車間距離
    検出手段で検出された車間距離と、そのときに前記基準
    エッジ画像上下方向位置検出手段で検出された基準エッ
    ジ画像の上下方向の位置と現在の基準エッジ画像の上下
    方向の位置とから、現在の前方車両までの車間距離を算
    出する車間距離算出手段とを備えたことを特徴とする車
    間距離推定装置。
  2. 【請求項2】 前記基準エッジ画像検出手段で検出する
    基準エッジ画像は、横方向に長手の横エッジであり、前
    記基準エッジ画像をなす横エッジが検出される領域の外
    側にピッチ運動量検出領域を設定するピッチ運動量検出
    領域設定手段と、このピッチ運動量検出領域における画
    像の上下方向への変化から自車両のピッチ運動量を算出
    するピッチ運動量算出手段とを備えると共に、前記車間
    距離算出手段は、前記ピッチ運動量算出手段で算出され
    た自車両のピッチ運動量を用いて前記前方車両までの車
    間距離を補正することを特徴とする請求項1に記載の車
    間距離推定装置。
  3. 【請求項3】 前記ピッチ運動量検出領域設定手段は、
    前記基準エッジ画像をなす横エッジの両横に一対のピッ
    チ運動量検出領域を設けると共に、前記ピッチ運動量算
    出手段は、前記一対のピッチ運動量検出領域の夫々にお
    ける画像の上下方向への変化から自車両のピッチ運動量
    を算出することを特徴とする請求項2に記載の車間距離
    推定装置。
  4. 【請求項4】 前記ピッチ運動量算出手段は、前記ピッ
    チ運動量検出領域の横方向の平均濃度値の上下分布を求
    め、その平均濃度値の上下分布の変化から画像の上下方
    向への変化を検出することを特徴とする請求項2又は3
    に記載の車間距離推定装置。
JP2000306936A 2000-10-06 2000-10-06 車間距離推定装置 Pending JP2002114117A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000306936A JP2002114117A (ja) 2000-10-06 2000-10-06 車間距離推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000306936A JP2002114117A (ja) 2000-10-06 2000-10-06 車間距離推定装置

Publications (1)

Publication Number Publication Date
JP2002114117A true JP2002114117A (ja) 2002-04-16

Family

ID=18787528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000306936A Pending JP2002114117A (ja) 2000-10-06 2000-10-06 車間距離推定装置

Country Status (1)

Country Link
JP (1) JP2002114117A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514382A (ja) * 2003-08-18 2006-04-27 フィコ ミロールス,エセ ア 自動車の外部環境を監視するためのシステム及び方法
JP2006318271A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車載画像処理装置、および画像処理方法
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法
JP2014167397A (ja) * 2013-02-28 2014-09-11 Fujifilm Corp 車両間距離算出装置およびその動作制御方法
US20210001850A1 (en) * 2018-03-01 2021-01-07 Jaguar Land Rover Limited Vehicle control method and apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514382A (ja) * 2003-08-18 2006-04-27 フィコ ミロールス,エセ ア 自動車の外部環境を監視するためのシステム及び方法
JP2006318271A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車載画像処理装置、および画像処理方法
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法
JP2014167397A (ja) * 2013-02-28 2014-09-11 Fujifilm Corp 車両間距離算出装置およびその動作制御方法
US20210001850A1 (en) * 2018-03-01 2021-01-07 Jaguar Land Rover Limited Vehicle control method and apparatus
US11958485B2 (en) * 2018-03-01 2024-04-16 Jaguar Land Rover Limited Vehicle control method and apparatus

Similar Documents

Publication Publication Date Title
JP3671825B2 (ja) 車間距離推定装置
JP3718747B2 (ja) 車両用走行制御装置
US11062152B2 (en) Road plane output with lateral slope
JP3630100B2 (ja) 車線検出装置
US6489887B2 (en) Lane-keep assisting system for vehicle
US8259174B2 (en) Camera auto-calibration by horizon estimation
EP2422320B1 (en) Object detection device
US10740592B2 (en) Three-dimensional object ground-contact determining apparatus
US20040066285A1 (en) Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus
JPH09264954A (ja) レーダを用いた画像処理システム
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JP2001160137A (ja) 監視システムの距離補正装置、および監視システムの消失点補正装置
JPH11203445A (ja) 車両用画像処理装置
US10853666B2 (en) Target object estimating apparatus
JP2005148817A (ja) 車両用画像処理装置
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US11833968B2 (en) Imaging system and method
JPH06229759A (ja) 画像を用いた前方車両の距離速度推定装置
US10953885B2 (en) Road surface detecting apparatus
JP3925285B2 (ja) 走行路環境検出装置
JP7071154B2 (ja) 道路境界検出装置
JP3600314B2 (ja) 車両の外部環境認識装置
EP1236126A1 (en) System and method for detecting obstacles to vehicle motion
JP3235831B2 (ja) ステレオ式車外監視装置
JP2002104113A (ja) 後方監視装置