JP2015079388A - 車間距離測定装置、車間距離測定方法、およびプログラム - Google Patents

車間距離測定装置、車間距離測定方法、およびプログラム Download PDF

Info

Publication number
JP2015079388A
JP2015079388A JP2013216787A JP2013216787A JP2015079388A JP 2015079388 A JP2015079388 A JP 2015079388A JP 2013216787 A JP2013216787 A JP 2013216787A JP 2013216787 A JP2013216787 A JP 2013216787A JP 2015079388 A JP2015079388 A JP 2015079388A
Authority
JP
Japan
Prior art keywords
vehicle
inter
camera
straight line
vehicle distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013216787A
Other languages
English (en)
Other versions
JP6199693B2 (ja
Inventor
育郎 佐藤
Ikuro Sato
育郎 佐藤
伊野 智行
Satoyuki Ino
智行 伊野
玉津 幸政
Yukimasa Tamatsu
玉津  幸政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso IT Laboratory Inc
Original Assignee
Denso Corp
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso IT Laboratory Inc filed Critical Denso Corp
Priority to JP2013216787A priority Critical patent/JP6199693B2/ja
Publication of JP2015079388A publication Critical patent/JP2015079388A/ja
Application granted granted Critical
Publication of JP6199693B2 publication Critical patent/JP6199693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 路面形状が非平面の場合であっても車間距離を適切に求めることができる車間距離測定装置及び方法を提供する。【解決手段】車間距離測定装置は、車両に搭載されたカメラと、車両の走行中にカメラにて逐次撮影された画像に基づいて、先行車両との車間距離を求める制御部とを備え、制御部は、画像中から先行車両の下端を識別し、カメラの光学中心と下端とを結ぶ直線を求め、求めた直線のデータを記憶部に記憶し、逐次撮影される画像に基づいてカメラの運動パラメタを求め、カメラの運動パラメタに基づいて車両が通過した道路の起伏を求め、起伏のデータと直線のデータとに基づいて直線が道路と交差する位置を求め、その交差した位置と直線を求めたときのカメラの位置とに基づいて、先行車両との車間距離を求める。【選択図】 図5

Description

本発明は、車両前方に搭載した単眼カメラを用いて、先行車両までの車間距離を求める技術に関する。
従来から、単眼カメラを用いて車間距離を求めるための様々な方法が提案されている。特許文献1は、画像内における先行車両の幅、先行車両の下端(接地点)、車線の消失点の測定から、先行車両の実幅の算出を介して車間距離を求める方法を開示している。この方法によれば、先行車両の下端がカメラの視野外になる状況においても頑健に車間距離を求めることが出来る。
特開2013−109455号公報
特許文献1に記載された方法は、路面とカメラとの実距離と先行車両の実幅の比が、画像から得られる先行車両の下端と車線の消失点のピクセル距離と先行車両のピクセル幅の比に等しいという仮定に基づいて車間距離を求めるものである。すなわち、図11(b)に示すように、先行車両の背面に、後輪の下端から上向きにカメラの高さだけ移動した点を点Aと呼ぶこととすると、カメラと点Aを通るベクトルCと平行な複数の直線は、透視投影平面において同一の消失点を持つことが知られている。その消失点は、図11(a)に示すように、点Aを透視投影した点と一致する。自車両と先行車両が走行する路面が同一平面である場合は、ベクトルCと車線は平行であるため、上記の仮定が成立する。
しかし、自車両と先行車両が走行する路面形状が非平面かつ未知である場合には、この手法は以下の理由で使用が不可能となる。図12(b)のように、路面が湾曲している場合を考えると車線は曲線となり、直線と直線の交点として定義される消失点は定まらない(図12(a)参照)。仮に車線の接線の消失点を求めることが可能であったとしても、ベクトルCに対して平行な接線を発見することは、路面形状が既知でない限り不可能である。以上の理由から、特許文献1に記載の手法は、非平面な路面形状においては安定的に車間距離を求められない。
これまでに知られている車間距離の測定方法はいずれも、路面が平坦であることを前提としたものであり、路面が非平面であることを考慮したものは知られておらず、特許文献1と同様の課題を有していた。
本発明は、上記背景に鑑み、路面形状が非平面の場合であっても車間距離を適切に求めることができる車間距離測定装置及び方法を提供することを目的とする。
本発明の車間距離測定装置は、車両に搭載されたカメラと、前記車両の走行中に前記カメラにて逐次撮影された画像に基づいて、先行車両との車間距離を求める制御部とを備え、前記制御部は、前記画像中から先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求め、求めた直線のデータを記憶部に記憶し、逐次撮影される前記画像に基づいて前記カメラの運動パラメタを求め、前記カメラの運動パラメタに基づいて車両が通過した道路の起伏を求め、前記起伏のデータと前記直線のデータとに基づいて前記直線が前記道路と交差する位置を求め、その交差した位置と前記直線を求めたときのカメラの位置とに基づいて、先行車両との車間距離を求める。
このようにカメラの運動パラメタに基づいて車両が通過した道路の起伏を求め、求めた起伏を考慮したうえで、先行車両の下端を臨む直線と道路とが交差する位置を求める構成により、道路が平坦でない場合であっても車間距離を適切に求めることができる。
本発明の車間距離測定装置において、前記制御部は、前記先行車両の中にある2点間の画像内での距離を求め、前記2点間の画像内での距離と前記車間距離とに基づいて、前記2点間の実距離を求めて記憶部に記憶しておき、前記2点間の実距離を記憶した後は、逐次撮影される画像内の前記2点間の距離と前記記憶部に記憶された実距離とに基づいて、前記先行車両との車間距離を求めてもよい。
このように先行車両の中にある2点間の実距離(現実の空間における実際の距離)を求めて記憶しておき、この実距離を用いて車間距離を求める構成により、実距離が求まった後は、カメラにて撮影した画像から直ちに車間距離を求めることができる。
本発明の車間距離測定装置において、前記制御部は、前記カメラにて撮影した複数の画像のそれぞれから前記画像内に映る先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求める処理を行い、求めた複数の直線のデータを記憶部に記憶し、前記複数の直線を用いて先行車両との車間距離を求めてもよい。
このように逐次撮影される画像を用いて、カメラの光学中心と先行車両の下端とを結ぶ複数の直線を求め、複数の直線を用いて車間距離を求めることにより、車間距離の算出精度を高めることができる。
本発明の車間距離測定装置において、前記制御部は、前記複数の直線が前記カメラの光学中心と前記先行車両の下端との間で互いに交差する場合には、当該直線のデータを記憶部から消去してもよい。
逐次撮影される画像を用いて求められるカメラの光学中心と先行車両の下端を結ぶ複数の直線は、先行車両がバックしない限り、カメラの光学中心と先行車両の下端との間においては互いに交差することはない。複数の直線が互いに交差している場合には、画像処理の過程で誤差を含んでいると考えられるので、その直線のデータを除外することにより、車間距離算出の精度の低下を防止できる。
本発明の車間距離測定装置において、前記制御部は、前記直線と前記道路とが交差する位置が見つかるまでは、前記直線とカメラの光学中心の道路からの高さとから、先行車両との車間距離を求めてもよい。
この構成により、先行車両の下端までの直線と道路とが交差する点が求まる前には、道路の起伏を考慮しない大まかな車間距離を求めることができ、安全運転に資することができる。
本発明の車間距離測定装置において、前記制御部は、車間距離を求める処理を直線区間において行ってもよい。
直線区間においては、カメラと先行車両の下端とを結ぶ直線の方向と、道路の起伏を求める方向とが一致するので、適切に車間距離を求めることができる。
本発明の車間距離測定方法は、車両に搭載されたカメラを備えた車間距離測定装置によって、先行車両との車間距離を求める方法であって、前記カメラが前記車両の走行中に画像を撮影するステップと、前記車間距離測定装置が前記画像中から先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求め、求めた直線のデータを記憶部に記憶するステップと、前記車間距離測定装置が逐次撮影される前記画像に基づいて前記カメラの運動パラメタを求め、前記カメラの運動パラメタに基づいて車両が通過した道路の起伏を求めるステップと、前記起伏のデータと前記直線のデータとに基づいて前記直線が前記道路と交差する位置を求め、その交差した位置と前記直線を求めたときのカメラの位置とに基づいて、先行車両との車間距離を求めるステップとを備える。また、本発明のプログラムは、車間距離測定方法の各ステップを車間距離測定装置に実行させるプログラムである。
本発明によれば、道路が平坦でない場合であっても、先行車両との車間距離を適切に求めることができる。
実施の形態の車間距離測定装置の構成を示す図である。 カメラが車両に搭載された例を示す図である。 カメラの軌跡と地面点の軌跡を示す図である。 (a)カメラの光学中心と先行車両の下端とを結ぶ直線Lを示す図である。(b)カメラの光学中心と先行車両の下端とを結ぶ直線Lを示す図である。 (a)地面点の軌跡、および直線Lを、世界座標系にプロットした図である。(b)地面点の軌跡、および直線Lを、世界座標系にプロットした図である。 本実施の形態の車間距離測定方法の動作を示すフローチャートである。 車幅を用いた車間距離測定の動作を示すフローチャートである。 画像から検出された車両の左端、右端、下端の座標の算出例を示す図である。 複数の時刻において求めた直線から車間距離を求める例を示す図である。 道路の高低差(Y成分)をも考慮して車間距離を求める例を示す図である。 (a)従来技術にかかる車間距離測定方法を説明するための図である。(b)従来技術にかかる車間距離測定方法を説明するための図である。 (a)従来技術の問題点を説明するための図である。(b)従来技術の問題点を説明するための図である。
以下、本発明の実施の形態に係る車間距離測定装置について図面を参照しながら詳細に説明する。
[車間距離測定装置の構成]
図1は、車間距離測定装置10の構成を示す図である。車間距離測定装置10は、車両に搭載されたカメラ11と、制御部12と、出力部13とを備えている。カメラ11は、例えば、CCDカメラである。
図2は、カメラ11の設置位置を示す図である。カメラ11は、車両の先端(フロントバンパー)に設置される。カメラ11の地面からの高さをHとし、本書では、カメラ11の光学中心の鉛直下方向の地面を地面点という。
カメラ11の車両への設置に際して、カメラ11の光軸(Z軸)が車両の進行方向と一致し、カメラ11によって撮影された画像の横軸(X軸)が地面と平行になるように、カメラ11の設置角度等が調整される。この結果、画像の縦軸(Y軸)は、地面に垂直な方向に一致する。このカメラ11は、車両が走行している間に画像を撮影して、その撮影した画像を制御部12に入力する。
制御部12は、図示しないCPU、ROM、RAM等からなるマイクロコンピュータの他、カメラ11から出力された画像をデジタル画像に変換するためのA/D変換器や、変換されたデジタル画像を保存する画像メモリ等を備えている。なお、画像メモリは、複数の画像を保存可能な記憶容量を有している。制御部12は、例えば、ROMに記憶されているプログラムに従って、カメラ11にて撮影された画像に基づき、先行車両との車間距離を算出する。このようなプログラムも本発明の範囲に含まれる。
出力部13は、先行車両との車間距離のデータを出力する機能を有する。出力部13は、例えば、ユーザに対して車間距離のデータを表示するモニタであってもよいし、他の車載機器に対して車間距離のデータを出力する通信インターフェースであってもよい。
[制御部の機能]
制御部12は、カメラ11にて撮影した画像に基づいて先行車両との車間距離を求める機能を有する。制御部12は、大きく分けて、以下の3つの機能を有する。
(1)車両が通過した道路の起伏を求める機能
(2)道路の起伏のデータを用いて車間距離および先行車両の車幅を求める機能
(3)車幅のデータを用いて車間距離を求める機能
以下、それぞれの機能について順番に説明する。
(1)車両が通過した道路の起伏を求める機能
制御部12は、カメラ11にて逐次撮影された画像を解析することにより、カメラ11の運動パラメタを求める。移動する単眼カメラ11の画像からカメラ11の位置および姿勢を求める方法は、例えば、S. Lovegroveら、「Accurate Visual Odometry from a Rear Parking Camera」2011 IEEE Intelligent Vehicles Symposiumの技術を用いることができる。
カメラ11は、地面点から高さHの場所において車両に固定されているので、走行しながらカメラ11の運動パラメタを毎フレーム求めることで、カメラ11と地面点の軌跡を作成することが出来る。
図3は、カメラ11の軌跡と地面点の軌跡を示す図である。図3においては、初期の時刻におけるカメラ11の位置を原点、光軸方向をZ軸、地面方向をY軸とし、X軸は右手座標系によって定めている(世界座標系)。YZ平面上で記述された地面点の軌跡は、地面の起伏を示しており、これにより、車両が通過した道路の起伏が分かる。なお、カメラ11座標系から世界座標系への変換については、後述する。
(2)道路の起伏のデータを用いて車間距離および先行車両の車幅を求める機能
制御部12は、カメラ11にて撮影した画像から、先行車両の下端を識別し、その画像座標を求める。この画像座標を用いて、図4(a)に示すように、カメラ11の光学中心と先行車両の下端とを結ぶ直線Lを求める。続いて、カメラ11にて撮影した次のフレームの画像から、同様に、カメラ11の光学中心と先行車両の下端とを結ぶ直線Lを求める。図4(b)に示すように、自車両および先行車両が前方に進んでいるので、先に求めた直線Lとは異なる直線が求まる。
図5(a)及び図5(b)は、地面点の軌跡、および直線Lを、世界座標系にプロットした図である。図5(a)に示す状態では、先行車両の下端がある方向は分かるものの、何m先の位置に先行車両があるのかを確定することはできない。
図5(b)に示すように、時刻t1までに記述された地面点の軌跡と、過去の時刻t0における直線Lとが交差したとすると、この交点は、時刻t0で観測された先行車両の下端があった位置であることが分かる。したがって、制御部12は、時刻t1に求められた交点の位置と、時刻t0におけるカメラ11の光学中心の位置とに基づいて車間距離を求めることができる。図5(b)から分かるように、本実施の形態の車間距離測定の原理は、地面を「測量」しつつ進むことで、過去の(時刻t0における)車間距離を測定するというものである。
なお、車間距離を求める処理は、車両が直線区間を走行していることが好ましい。直線区間においては、道路の起伏を「測量」する方向と、先行車両の下端を臨む方向が一致するためである。
制御部12は、車間距離が求まると、求めた車間距離と先行車両の画像内における車幅とに基づいて、先行車両の実際の車幅(以下、「実幅」という)を算出する。車両の実幅は、次の要領で算出する。時刻t0における先行車両の右端と左端の画像平面上での長さをwとする。地面点の軌跡と時刻t0における直線Lの交点の世界座標を(XG,YG,ZGTとする。この交点の座標を、時刻t0におけるローカル座標系に戻したものを(XL,YL,ZLTとする。先行車両の車幅の実幅Wは、W=(w/f)・ZLによって求められる。
そして、制御部12は、先行車両の実幅のデータを制御部12内のRAM等の記憶部に記憶しておく。
(3)車幅のデータを用いて車間距離を求める機能
制御部12は、RAMに記憶された実幅のデータを用いて車間距離を求める。具体的には、車幅の実幅をWとし、画像内における車幅をw、カメラ11の焦点距離をfとすると、車間距離ZLは、ZL=f・(W/w)で求めることができる。
上式において、カメラ11の焦点距離fと先行車両の車幅Wは既知であるので、画像内での先行車両の車幅wを求めれば、直ちに、車間距離を求めることができる。したがって、先行車両の実幅Wのデータを記憶した後は、上記(2)の方法を使って先行車両との車間距離を求める必要がなくなる。
なお、上記(2)で説明した方法では、先行車両を最初に発見した時から、自車両が先行車両を最初に発見した時点での先行車両の位置に到達するまで(最初の交点が出来るまで)は、距離の測定を行うことができない。制御部12は、最初の交点が発見されるまでは、自車と先行車両が走行する路面は平面であると仮定して、先行車両の下端座標から車間距離の推定をしてもよい。すなわち、制御部12は、先行車両の下端座標を見下ろす角度とカメラ11の高さHとから、三角関数により、先行車両までの距離を容易に求めることができる。
[車間距離測定装置の動作]
図6は、本実施の形態の車間距離測定方法の動作を示すフローチャートである。
車間距離測定装置10は、カメラ11にて進行方向の画像を撮影し、その画像を制御部12に入力する(S10)。制御部12は、カメラ11から入力された画像を解析して、カメラ11の運動パラメタを求める(S11)。
ここで、カメラ11の運動パラメタを求める具体的な方法について説明する。まず、制御部12は、カメラ11によって撮影された画像を取り込み、画像メモリに保存する。画像メモリに新たなデジタル画像が保存されると、そのデジタル画像における特徴点として、物体の角等を抽出する。そして、異なるタイミングで画像メモリに保存された2つの画像において、同一の特徴点を対応付けることにより、その特徴点の動きベクトルに相当するオプティカルフローを算出する。このオプティカルフローの算出方法として、例えばLK法が挙げられる、LK法は特徴点を中心とする画像内の小領域と相関の高いもう一つの画像内の小領域の勾配法による探索を行うものである。なお、ここでは、物体の角等の点を特徴点として算出する例を挙げたが、他の手法によって特徴点を算出することも可能である。
次に、カメラ11の運動パラメタを推定する。カメラ11は車両に搭載されており、車両の並進運動及び回転運動に伴い、カメラ11も同様に並進運動及び回転運動を行う。このため、カメラ11の並進運動量ならびに回転移動量から、車両の運動パラメタを推定できる。
カメラ11の運動パラメタは、以下の式に示すカメラ11の3次元の並進移動量V=(Vx,Vy,Vz)と、回転移動量Ω=(Ωxyz)と、静止点の座標(x,y)と、そのオプティカルフローv=(vx,vy)との良く知られた関係式から求めることができる。なお、fは、カメラ11の焦点距離である。
ここで、無限遠点(FOE)の定義式(xF,yF)=(f・Vx/Vz,f・Vy/Vz)を用いると、以下の式が成立する。なお、無限遠点(FOE)とは、放射状に広がる静止物体の特徴点のオプティカルフローの中心点を示すものである。
上式で示される数式を解くことで、カメラ11の並進移動の方向を表す無限遠点(xF,yF)、ならびにカメラ11の回転移動によって生成されるオプティカルフローの成分を除去したオプティカルフロー(ux,uy)を求めることができる。
なお、上記の数式1、数式2は静止点に対してのみ成立するものであり、移動点やアウトライア(誤対応により誤って算出された外れ値)を持つ点では、式の誤差が大きな値をとると考えられる。このため、無限遠点(xF,yF)及びオプティカルフロー(ux,uy)を求める際には、ロバスト推定による解法を用いることが望ましい。ロバスト推定として、例えば、M推定(参考文献:P. J. Huber and E. M. Ronchetti,「Robust Statistics, 2nd Edition」Wiley Interscience,2009.)の適応が考えられる。
また、カメラ11の運動パラメタ(カメラ11の回転移動により生じた成分を除去したオプティカルフロー)は、車両に取り付けられた車速センサやヨーレートセンサなどの検出値を用いて、算出することも可能である。また、無限遠点は、公知のように、RANSAC法やクラスタリング法などの手法により、特徴点における移動点と静止点とを分離し、分離した静止点のオプティカルフローから求めるようにしてもよい。
次に、FOE座標から、カメラ11のフレーム間並進移動量(ΔX,ΔY,ΔZ)を求める。フレーム間の車速をVとして観測したとき、次の連立方程式により(ΔX,ΔY,ΔZ)が求まる。
自車両と先行車両との車間距離を測定するためには、カメラ11座標系を世界座標系に変換して、計算を行う必要がある。ここで、カメラ11座標系(ローカル座標系)と世界座標系との関係について説明する。本実施の形態では、車間距離測定装置10が、先行車両を最初に検知した時刻におけるカメラ11の位置を世界座標系の原点とし、カメラ11の光軸方向をZ軸、鉛直下方向をY軸と定め、X軸は右手座標系によって定める。
時刻tにおける世界座標系に対するカメラ11の姿勢は、次の式で与えられる。
また、時刻tにおける世界座標系におけるカメラ11の位置は次式によって与えられる。ただし、Rは回転行列である。下付きのCはカメラの光学中心の位置を示す。
次に、車間距離測定装置10は、カメラ11のフレーム間並進移動量(ΔX,ΔY,ΔZ)に基づいて、道路の起伏(地面点の軌跡)のデータを作成する(S12)。地面点は、カメラ11から距離Hだけ下(Y軸のプラス方向)にあるので、カメラ11のy座標値に対してHを加算することによって地面点の位置を求めることができる。この処理をフレーム毎に行うことにより、道路の起伏(地面点の軌跡)を描くことができる。
ローカル座標系において、時刻t0の地面点を記述するベクトル(0,H,0)Tを世界座標系に変換すると、以下の式で表される。下付きのGは地面点の位置を示す。
また、車間距離測定装置10は、入力された画像から先行車両を識別する(S13)。例えば、画像からHOG特徴を抽出し、得られた特徴量に対してサポートベクトルマシンなどのパターン識別器を適応する。HOG特徴は、N. Dalal and B. Triggs「Histograms of oriented gradients for human detection」CVPR 2005.に詳しく紹介されている。
次に、図8に示すように、画像から検出された車両の左端のx座標、右端のx座標、下端のy座標を算出する。画像座標は、横方向をx、縦方向をy、単位をピクセル、原点を光軸の通過点とする。左端の求め方は、例えば、識別器を当てた窓の左の端の近傍のうち、輝度勾配の変化の最も大きな箇所としてよい。または、前のフレームと現在のフレームの間の、先行車両の画像平面上の移動量(オプティカルフロー)を求めることにより、前のフレームの左端の座標を現在のフレームに移動させてもよい。
次に、車間距離測定装置10は、下端座標を使ってローカル座標系における直線Lを算出する。直線Lの方向は、透視投影モデルを使って、(xF,yF,f)Tで表現できる(直線Lは光学中心=カメラ座標系における原点を通る)。
直線Lは、ローカル座標系において、光学中心(0,0,0)Tと(xF,yF,f)Tを通る直線であるから、(0,0,0)Tを始点、(xF,yF,f)Tを終点とするベクトルの世界座標への変換を考え、以下の式により世界座標系における式に変換できる。
車間距離測定装置10は、車両が進行するに伴って道路の起伏のデータを求め、求めたデータを用いて直線Lと道路とが交差したか否かを判定する(S15)。道路が直線Lと交差していない場合には(S15でNO)、車間距離測定装置10は、カメラ11にて撮像された画像を用いて道路の起伏のデータを求める処理を行う。
直線Lと道路とが交差した場合には、交差した位置と最初に先行車両を識別したときのカメラ11の位置に基づいて、先行車両との車間距離を求める(S16)。本実施の形態では、最初に先行車両を検知した位置を世界座標の原点としているので、直線Lと道路とが交差した位置のZ座標値を車間距離とする(図5(b)参照)。
続いて、車間距離測定装置10は、最初に先行車両を検知したときの画像に映る先行車両の車幅と、求められた車間距離とに基づいて、先行車両の実際の車幅を求める。
図7は、車幅を用いた車間距離測定の動作を示すフローチャートである。車間距離測定装置10は、カメラ11にて撮像された画像を入力すると(S20)、入力された画像の中から先行車両を識別する(S21)。車間距離測定装置10は、撮影画像から識別された先行車両が実幅を測定した先行車両と同じであるか否かを判定する。その結果、先行車両が実幅を測定した先行車両と同じでなかった場合には(S22でNO)、図6に示したフローにより、車間距離および実幅を求める。
一方、先行車両が実幅を測定した先行車両と同じ場合には、車間距離測定装置10は、先行車両の画像内における幅を求め(S23)、画像内における幅wと実幅Wとを用いて、先行車両との車間距離を求める(S24)。
以上、本実施の形態の車間距離測定装置10の構成について説明した。本実施の形態の車間距離測定装置10は、カメラ11にて撮影した画像から道路の起伏を求め、道路の起伏を考慮して、先行車両の下端を臨む直線Lと道路との交点を求めているので、道路が平坦でない場合であっても、先行車両との車間距離を適切に求めることができる。
以上、本発明の車間距離測定装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。本実施の形態の車間距離測定装置10では、時刻t0における先行車両の下端までの距離を求める例について説明したが、複数の時刻において、先行車両の下端までの距離を求め、その平均をとってもよい。例えば、図9に示すように、3つの時刻において求めた車間距離1〜3の平均をとる。
なお、図9から分かるように、直線L1〜L3は、先行車両がバックしたときには交差する可能性があるが、通常であれば交差しない。複数の時刻に求めた直線Lが互いに交差しているような場合には、画像解析の過程に誤差があった可能性があるので、そのような直線を除外して、車間距離の測定を行うことが好ましい。
上記した実施の形態では、先行車両の車幅の実幅を求め、これに基づいて車間距離を測定する例について説明したが、実距離を求めるのは車幅でなくてもよい。例えば、先行車両のテールランプの間隔でもよいし、バックミラーの間隔でもよい。
上記した実施の形態では、直線Lと道路とが交差した位置のZ座標値を車間距離として求める例について説明したが、図10に示すように、道路の高低差(Y成分)をも考慮して、車間距離を求めることとしてもよい。
上記した実施の形態では、カメラ11の運動パラメタを求める際に車両の走行速度Vを用いる例を挙げたが、車両の走行速度Vを用いないで運動パラメタを求めてもよい。具体的には路面のオプティカルフローを使うことで、フレーム間のカメラ11の実移動量を推定することが可能である。これには、例えば、S. Lovegroveら「Accurate Visual Odometry from a Rear Parking Camera」2011 IEEE Intelligent Vehicles Symposiumに記載された方法を採用することができる。
上記した実施の形態では、先行車両の実幅に基づいて車間距離を求めているが、ノイズ等の影響により、時系列でみたときの変動が大きい場合には、カルマンフィルタを用いて平滑化することとしてもよい。時刻tにおける状態を
とする。ここでZは光軸方向の車間距離である。Q(t)を距離の観測値(上記実施の形態の出力)とする。加速度A(t)は平均0、分散CAを持つ正規分布に従う乱数とする。観測誤差を平均0、分散CVを持つ正規分布に従う乱数とする。以下の式を用いることで、カルマンフィルタの適応により、平滑化された車間距離が求まる。
以上に説明したとおり、本発明によれば、道路の傾斜や凹凸等の起伏を考慮して先行車両の下端の位置を特定することで、道路が平坦でない場合でも車間距離を適切に求めることができ、車間距離を測定する装置として有用である。
10 車間距離測定装置
11 カメラ
12 制御部
13 出力部

Claims (8)

  1. 車両に搭載されたカメラと、
    前記車両の走行中に前記カメラにて逐次撮影された画像に基づいて、先行車両との車間距離を求める制御部と、
    を備え、
    前記制御部は、
    前記画像中から先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求め、求めた直線のデータを記憶部に記憶し、
    逐次撮影される前記画像に基づいて前記カメラの運動パラメタを求め、前記カメラの運動パラメタに基づいて車両が通過した道路の起伏を求め、前記起伏のデータと前記直線のデータとに基づいて前記直線が前記道路と交差する位置を求め、その交差した位置と前記直線を求めたときのカメラの位置とに基づいて、先行車両との車間距離を求める車間距離測定装置。
  2. 前記制御部は、
    前記先行車両の中にある2点間の画像内での距離を求め、前記2点間の画像内での距離と前記車間距離とに基づいて前記2点間の実距離を求めて記憶部に記憶しておき、
    前記2点間の実距離を記憶した後は、逐次撮影される画像内の前記2点間の距離と前記記憶部に記憶された実距離とに基づいて、前記先行車両との車間距離を求める請求項1に記載の車間距離測定装置。
  3. 前記制御部は、
    前記カメラにて撮影した複数の画像のそれぞれから前記画像内に映る先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求める処理を行い、求めた複数の直線のデータを記憶部に記憶し、
    前記複数の直線を用いて先行車両との車間距離を求める請求項1または2に記載の車間距離測定装置。
  4. 前記制御部は、前記複数の直線が前記カメラの光学中心と前記先行車両の下端との間で互いに交差する場合には、当該直線のデータを記憶部から消去する請求項3に記載の車間距離測定装置。
  5. 前記制御部は、前記直線と前記道路とが交差する位置が見つかるまでは、前記直線とカメラの光学中心の道路からの高さとから、先行車両との車間距離を求める請求項1ないし4のいずれかに記載の車間距離測定装置。
  6. 前記制御部は、車間距離を求める処理を直線区間において行う請求項1ないし5のいずれかに記載の車間距離測定装置。
  7. 車両に搭載されたカメラを備えた車間距離測定装置によって、先行車両との車間距離を求める車間距離測定方法であって、
    前記カメラが、前記車両の走行中に画像を撮影するステップと、
    前記車間距離測定装置が、前記画像中から先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求め、求めた直線のデータを記憶部に記憶するステップと、
    前記車間距離測定装置が、逐次撮影される前記画像に基づいて前記カメラの運動パラメタを求め、前記カメラの運動パラメタに基づいて車両が通過した道路の起伏を求めるステップと、
    前記車間距離測定装置が、前記起伏のデータと前記直線のデータとに基づいて前記直線が前記道路と交差する位置を求め、その交差した位置と前記直線を求めたときのカメラの位置とに基づいて、先行車両との車間距離を求めるステップと、
    を備える車間距離測定方法。
  8. 車両に搭載されたカメラを備えた車間距離測定装置によって、先行車両との車間距離を求めるためのプログラムであって、前記車間距離測定装置に、
    前記カメラにて前記車両の走行中に撮影された画像を入力するステップと、
    前記画像中から先行車両の下端を識別し、前記カメラの光学中心と前記下端とを結ぶ直線を求め、求めた直線のデータを記憶部に記憶するステップと、
    逐次撮影される前記画像に基づいて前記カメラの運動パラメタを求め、前記カメラの運動パラメタに基づいて車両が通過した道路の起伏を求めるステップと、
    前記起伏のデータと前記直線のデータとに基づいて前記直線が前記道路と交差する位置を求め、その交差した位置と前記直線を求めたときのカメラの位置とに基づいて、先行車両との車間距離を求めるステップと、
    を実行させるプログラム。
JP2013216787A 2013-10-17 2013-10-17 車間距離測定装置、車間距離測定方法、およびプログラム Active JP6199693B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013216787A JP6199693B2 (ja) 2013-10-17 2013-10-17 車間距離測定装置、車間距離測定方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013216787A JP6199693B2 (ja) 2013-10-17 2013-10-17 車間距離測定装置、車間距離測定方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015079388A true JP2015079388A (ja) 2015-04-23
JP6199693B2 JP6199693B2 (ja) 2017-09-20

Family

ID=53010753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013216787A Active JP6199693B2 (ja) 2013-10-17 2013-10-17 車間距離測定装置、車間距離測定方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6199693B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105203034A (zh) * 2015-07-29 2015-12-30 四川大学 一种基于单目摄像头三维测距模型的测高测面积方法
JP2019191741A (ja) * 2018-04-20 2019-10-31 株式会社Soken 区画線認識装置
JP2020118575A (ja) * 2019-01-25 2020-08-06 株式会社デンソーアイティーラボラトリ 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP2021081368A (ja) * 2019-11-21 2021-05-27 株式会社デンソーアイティーラボラトリ 距離画像生成装置、モデル生成装置、車間距離算出装置、距離画像生成方法とそのプログラム
JP2022050311A (ja) * 2020-12-21 2022-03-30 ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334799A (ja) * 1994-06-10 1995-12-22 Nissan Motor Co Ltd 車間距離検出装置
JPH0948298A (ja) * 1995-08-09 1997-02-18 Mitsubishi Motors Corp 走行路における対象物位置計測方法
JP2001266160A (ja) * 2000-03-22 2001-09-28 Toyota Motor Corp 周辺認識方法および周辺認識装置
US20060212215A1 (en) * 2005-03-15 2006-09-21 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
JP2013002883A (ja) * 2011-06-14 2013-01-07 Honda Motor Co Ltd 測距装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334799A (ja) * 1994-06-10 1995-12-22 Nissan Motor Co Ltd 車間距離検出装置
JPH0948298A (ja) * 1995-08-09 1997-02-18 Mitsubishi Motors Corp 走行路における対象物位置計測方法
JP2001266160A (ja) * 2000-03-22 2001-09-28 Toyota Motor Corp 周辺認識方法および周辺認識装置
US20060212215A1 (en) * 2005-03-15 2006-09-21 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
JP2013002883A (ja) * 2011-06-14 2013-01-07 Honda Motor Co Ltd 測距装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105203034A (zh) * 2015-07-29 2015-12-30 四川大学 一种基于单目摄像头三维测距模型的测高测面积方法
JP2019191741A (ja) * 2018-04-20 2019-10-31 株式会社Soken 区画線認識装置
JP7078444B2 (ja) 2018-04-20 2022-05-31 株式会社Soken 区画線認識装置
JP2020118575A (ja) * 2019-01-25 2020-08-06 株式会社デンソーアイティーラボラトリ 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP7145770B2 (ja) 2019-01-25 2022-10-03 株式会社デンソーアイティーラボラトリ 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP2021081368A (ja) * 2019-11-21 2021-05-27 株式会社デンソーアイティーラボラトリ 距離画像生成装置、モデル生成装置、車間距離算出装置、距離画像生成方法とそのプログラム
JP2022050311A (ja) * 2020-12-21 2022-03-30 ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP6199693B2 (ja) 2017-09-20

Similar Documents

Publication Publication Date Title
KR102629651B1 (ko) 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출
US9987898B2 (en) Predictive suspension control for a vehicle using a stereo camera sensor
JP5804185B2 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP6199693B2 (ja) 車間距離測定装置、車間距離測定方法、およびプログラム
JP5075672B2 (ja) 対象物検出装置及び方法
JP5023186B2 (ja) 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
JP2002352225A (ja) 障害物検出装置及びその方法
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP2015011032A (ja) 3次元物体形状及び姿勢の推定並びに追跡の方法及び装置
JP2013257872A (ja) 視差図からの対象追跡方法及びシステム
WO2018058355A1 (zh) 汽车可行驶区域实时检测方法和系统
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP6241172B2 (ja) 自車位置推定装置及び自車位置推定方法
JP2009139325A (ja) 車両用走行路面検出装置
JP4256992B2 (ja) 障害物検出装置
JP3897337B2 (ja) 路肩検出装置及び方法
JPWO2019123582A1 (ja) 物体情報生成装置及び物体情報生成プログラム
JP5832850B2 (ja) 車線監視システム及び車線監視方法
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
JP4106163B2 (ja) 障害物検出装置及びその方法
JP5472928B2 (ja) 対象物検出装置及び方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170824

R150 Certificate of patent or registration of utility model

Ref document number: 6199693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250