JP2004246436A

JP2004246436A - Obstacle detector and obstacle detection method

Info

Publication number: JP2004246436A
Application number: JP2003033126A
Authority: JP
Inventors: Kenji Furukawa; 賢司古川; Ryuzo Okada; 隆三岡田; Kazunori Onoguchi; 一則小野口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-02-12
Filing date: 2003-02-12
Publication date: 2004-09-02
Anticipated expiration: 2023-02-12
Also published as: JP4015036B2

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem in a method of detecting an obstacle by use of one TV camera that it is difficult to early and stably detect the obstacle which gets close from far at high speed. <P>SOLUTION: This obstacle detector comprises a means 111 for setting a plurality of obstacle candidate areas in a time series image and detecting the moving track of each obstacle candidate areas; a means 103 for selecting a set of moving tracks of two obstacle candidate areas; a means 104 for calculating the evaluation value of the set of moving tracks; a means 105 for accumulating an evaluation value calculated for the set of moving tracks; a means 106 for calculating the evaluation value of every moving track based on the accumulated evaluation value; and a means 107 for determining whether or not the moving track concerned is the moving track of the obstacle according to the calculated evaluation value. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車などの移動体に取り付けられたＴＶカメラによって撮影される画像内で検出された、複数の運動軌跡から、自車両の走行の障害となる物体を判別する障害物検出装置および障害物検出方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、単一のＴＶカメラを用いる方式が提案されている。単一のＴＶカメラは車両への設置が容易であり、台数も一台で済み、構成装置が安価なものとなる。
【０００３】
単一のＴＶカメラを用いる方式として、水平な直線成分であるエッジ線を前方の車両の接地線として検出する方式（特開平７−２８０５１７、特開平７−２８９７５）がある。この手法では、検出されたエッジ線が路面上のペイントや、アスファルトの継ぎ目、隣接する車両等の陰影などの可能性もあるため、誤検出を起こす場合がある。
【０００４】
これに対して、岡田らは「仮想平面追跡法を用いた単眼車載カメラによる障害物検出」、電子情報通信学会技術研究報告書，Ｖｏｌ．１０１，Ｎｏ．３０２，ｐｐ．２９−−３６，２００１において、仮想的にシーン内に配置した路面と障害物に相当する複数の面を画像内で追跡し、追跡結果と現在の画像が最も良く一致する仮想平面を選択することにより障害物か路面かを区別している。この手法は、路面と障害物の運動視差を利用した手法であり実際の道路シーンに適用しやすく、また、局所的な情報に基づく点の対応付けではなく、平面を追跡しているため安定性が向上する。しかし、画像内で検出された多数の平面の追跡を行う必要があるため、計算量が多く、迅速な処理に適さない点が問題となる。
【０００５】
また１台のＴＶカメラを用い路面と障害物の運動視差に着目して、障害物を高速かつ安定に検出する手法も提案されている（非特許文献２参照）。この手法では、まず画像中の水平線を障害物の候補領域として検出し、候補領域をフレーム間で安定かつ高速に追跡する。次に、３つ以上の候補領域を一組とする候補領域の組の追跡結果を用いて、それら候補領域があらかじめ設定した複数の平面のどれに属するか判定し、その判定結果から障害物を検出しその位置を推定している。
【０００６】
しかしこの手法は、候補領域組の路面と障害物の運動視差の違いを時系列で累積することにより、安定して路面と障害物を区別するものであるので、候補領域組の数が少なかったり、一つの候補領域数の生存時間が短かったりすると、運動視差に大きな違い現れるまでに時間がかかり、障害物の判定が遅れるという問題がある。このような状況として、障害物が遠方にある場合や、障害物が高速に接近する場合などが挙げられる。障害物が遠方にある時、画像中の水平線の本数は少なく、３つ以上の候補領域から候補領域組生成すると、候補領域組数はさらに少なくなるか、候補領域組が検出できないという場合がある。
【０００７】
また、障害物が高速に接近するような状況では、候補領域組の生存時間が短くなってしまう。つまり、この手法がもっとも有効であるのは、近距離で低速な障害物が接近するような渋滞時であり、障害物が遠方から高速に接近するような状況においては、障害物の判定をしたときにはすでに障害物が自車両から近距離にあり危険であるという問題がある。
【０００８】
【特許文献１】
特開平７−２８０５１７号公報
【特許文献２】
特開平７−２８９７５号公報
【０００９】
【非特許文献１】
岡田、谷口、小野口、｀｀仮想平面追跡法を用いた単眼車載カメラによる障害物検出’’，電子情報通信学会技術研究報告書，Ｖｏｌ．１０１，Ｎｏ．３０２，ｐｐ．２９−−３６，２００１
【非特許文献２】
岡田、小野口 ”低速車間制御のための単眼画像処理システム”、電子情報通信学会技術研究報告書、Ｖｏｌ．１０２、Ｎｏ．５３１、ｐｐ．６９−７４、２００２
【００１０】
【発明が解決しようとする課題】
以上説明した通り、従来の方法による一台のＴＶカメラを用い路面と障害物の運動視差に注目して、障害物を高速かつ安定に検出する手法で、遠方から高速に接近する車両を早期に検出するためには、障害物候補領域の組が遠方でも生成され、かつ候補領域組の生存時間が短い場合でも、路面と障害物の運動視差に顕著な違いが現れるような枠組みが必要となる。
【００１１】
本発明は、一台のＴＶカメラを用い路面と障害物の運動視差に注目して障害物を検出する手法を改良し、遠方から高速に接近する障害物の早期判別を可能とする、障害物判別装置およびその方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、少なくとも２つの障害物候補領域の運動軌跡の組を選択する手段と、選択された運動軌跡の組が同一の垂直面または水平面に属するか否かの評価値を計算する手段と、当該運動軌跡の組について計算された評価値を累積する手段と、その累積された評価値に基づいて運動軌跡毎の評価値を計算する手段と、計算された評価値にしたがって当該運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１３】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、少なくとも２つの障害物候補領域の運動軌跡の組を選択する手段と、選択された運動軌跡の組が同一の垂直面または水平面に属するか否かの評価値を計算する手段と、当該運動軌跡の組について計算された評価値を累積する手段と、その累積された評価値に基づいて運動軌跡毎の評価値を計算する手段と、前記運動軌跡検出手段により検出された複数の運動軌跡の画像内の位置と動きから類似する運動軌跡のグループを生成する手段と、そのグループに含まれる複数の運動軌跡について計算された評価値に従って当該グループに含まれる複数の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１４】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、検出された複数の運動軌跡の画像内の位置と動きから類似する運動軌跡のグループを生成する手段と、そのグループに含まれる少なくとも２つの障害物候補領域の運動軌跡の組を選択する手段と、選択された運動軌跡の組が同一の垂直面または水平面に属するか否かの評価値を計算する手段と、当該運動軌跡の組について計算された評価値を累積する手段と、その累積された評価値に基づいて運動軌跡毎の評価値を計算する手段と、当該グループに含まれる複数の運動軌跡について計算された評価値に従って当該グループに含まれる複数の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１５】
また本発明においては、前記評価値計算手段は、選択された運動軌跡の組が所定の条件を満たす場合にのみ評価値を計算するものとし、前記評価値累積手段は、当該運動軌跡の組が所定の条件を満たさず、前記評価値計算手段で評価値が計算されない期間の長さに応じて当該運動軌跡組について累積された評価値を変更することを特徴とする。
【００１６】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出するステップと、少なくとも２つの障害物候補領域の運動軌跡の組を選択するステップと、選択された運動軌跡の組が同一の垂直面または水平面に属するか否かの評価値を計算するステップと、当該運動軌跡の組について計算された評価値を累積するステップと、その累積された評価値に基づいて運動軌跡毎の評価値を計算するステップと、計算された評価値にしたがって当該運動軌跡が障害物の運動軌跡であるか否かを判定するステップとを具備する障害物検出方法を提供する。
【００１７】
【発明の実施の形態】
以下、図面を用いて本発明の一実施形態を説明する。
【００１８】
図１は本実施形態の基本的な構成例を示している。以下では、車両進行方向の後方、側方の障害物を検出するための後側方監視装置及び方法を例として述べる。
【００１９】
運動軌跡検出部１１１では、ＴＶカメラ１１０から車両の後方、側方等を撮像した時系列画像を取得し、この画像内に障害物候補領域を設定しフレーム間で追跡しその運動軌跡を求める。運動軌跡入力部１０１では、運動軌跡検出部１１１からこの運動軌跡を得る。類似運動軌跡グループ生成部１０２では、画像内の位置と方向ベクトルに類似性が見られる運動軌跡のグルーピングを行う。運動軌跡組選択部１０３では、あらかじめ設定した複数の平面のうち、少なくとも一つの平面に適合する動きと推測される、２つ以上の運動軌跡を一組とする、運動軌跡の組を選択する。
【００２０】
平面評価値計算部１０４では、運動軌跡組が、複数の平面の内でどの平面に属するかの指標となる評価値を計算する。時系列評価値累積部１０５では、運動軌跡組が存在する間は評価値を時系列で累積し、運動軌跡組が存在しない間はその時間に応じて、評価値を減衰させる。周辺評価値累積部１０６では、運動軌跡が属する、すべての運動軌跡組の評価値を累積し、その運動軌跡の評価値とする。障害物運動軌跡判定部１０７では、運動軌跡ごとに累積された平面評価値が所定の条件を満たすとき、その運動軌跡が障害物の運動軌跡であると判断する。有効障害物判定部１０８では、類似運動軌跡グループ内の障害物運動軌跡の個数が所定の条件を満たすとき、グループ内の障害物運動軌跡を有効障害物と判定する。
【００２１】
図２に車両等の移動体とＴＶカメラの配置例を示す。ＴＶカメラ２０１は、道路面２０４が画像上では下になり、撮像方向は車両進行方向に対して逆向き（後方）で、光軸２０３が道路面２０４と平行かつ、進行方向に平行に取り付けられているものとする。これ以外の設置方法についても同様の方法が適用できる。
【００２２】
図３には、車両等の移動体がＴＶカメラを搭載して障害物検出を行なう場合の画像撮像態様例を示す。ＴＶカメラを搭載した車両３０２は、図面右方向に進行しており、車両の後方（図面左方向）を撮像する方向にＴＶカメラが設置されている。図面上、斜線で示された領域はＴＶカメラの画像撮像領域３０１を示す。撮像領域３０１には、隣の車線（センターライン側）を走行する車両３０３や車両３０４が撮像される。本発明では、このような状況で撮影された画像から、自車両３０２の走行にとって危険または障害となりうる他車両３０３、３０４等の存在を検出する。
【００２３】
以下、図１の構成要件について、個別に詳述する。運動軌跡検出部１１１では、ＴＶカメラ１１０等の画像撮像手段から得られた時系列画像を構成するフレーム内の直線成分、特に水平線成分の周辺の領域を障害物候補領域として抽出し、フレーム間でこの候補領域の動きを追跡する。例えば、一般の車両には道路と車両の接地線やバンパー、フロント、ナンバープレート、ウインドウ、天井などの水平線を含む構成部分が多い。現在仮定しているカメラ配置では、自車両に後続する他車両を前方から撮像することとなるので、他車両に属するこれらの水平線は撮像された画像内でも水平線となる。また他車両に属する水平線のうち、最もが路面に近い部分（撮像された画面における最も下方部分）が車両の接地線と一致すると考えると、その路面に最も近い水平線の上部に他車両が存在するので、これら水平線の画面内の上部領域を障害物候補領域として追跡する。この水平線の画像上での座標をフレーム毎に運動軌跡として出力する。以下では水平線を検出する場合について説明するが、同様の方法を適用して垂直線その他の方向の直線成分を検出することも可能である。
【００２４】
具体的には、道路面の遠方を画面内の消失点と考えて、消失点（直線状の道路の無限遠方点）よりも画面内下方の領域を検出領域とする。画面内の「水平線」は画像内の垂直方向のエッジ（画面内上下方向に画素輝度変化が大きい部分）として捉えることができるので、このような垂直方向のエッジを検出する。例えば特定の水平線候補により分離された画面内上下近傍の２領域の平均的な輝度値などの特徴量を比較することにより、水平線を特定することができる。そしてその水平線を含む矩形の画面内上部領域を障害物候補領域として抽出する。抽出された障害物候補領域については、次フレーム画像における同位置及びその周辺領域を探索して類似の画像領域を探して、障害物候補領域の移動先を求める。
【００２５】
図４には、特定の画面内で複数の障害物候補領域が検出された様子を示す。図４は車両後側方を撮像したフレーム画像であり、自車両の後側方を走行する車両４０５や、道路面に描かれた路面表示４０４、白線４０３などが撮像されている。この画像について、上述したような手法により、水平線を検出する。図４において、水平線を含む画面内領域である矩形が障害物候補領域４０２を表し、その矩形領域の底辺の太い線が検出した水平線４０１を表す。なお運動軌跡検出部は、画像中から水平線、障害物候補領域、移動体を検出、追跡できるものであるならば、この方法に限定されるものではない。
【００２６】
次に類似運動軌跡グループ生成部１０２では、運動軌跡検出部１１１で検出され、運動軌跡入力部１０１に入力された複数の障害物候補領域の運動軌跡（追跡結果）から、画面内の位置と障害物候補領域の移動方向（方向ベクトル）が類似している複数の障害物候補領域を同一のグループとする。
【００２７】
以下では、運動軌跡組選択部１０３と、平面評価値計算部１０４と、時系列評価値累積部１０５と、周辺評価値累積部１０６、障害物運動軌跡判定部１０７と、有効障害物判定部１０８、障害物位置推定部１１２について詳しく述べる。
【００２８】
運動軌跡組選択部１０３では、複数の障害物候補領域が垂直、水平のいずれかの平面に属するかの判定を行うために、まず、現在追跡中の運動軌跡から水平方向（画面内横方向）の位置が近い２つの運動軌跡を「運動軌跡組」として選択する。この方法により画面内の水平線を含む少なくとも２つの運動軌跡を検出すれば、運動軌跡組を構成することができるので、従来方法よりも自車両遠方での運動軌跡組の生成が可能となる。ここでは、運動軌跡組が、路面と、路面と車両の進行方向に垂直な平面（以下垂直平面と呼ぶ）の２つの平面のどちらに属するかを判定する場合について述べる。
【００２９】
図５（ａ）は、運動軌跡組が、垂直平面（例えば車両後部や前部の複数領域）に属する場合の説明図であり、図５（ｂ）は、運動軌跡組が路面（例えば隣接車両の陰）に属する場合の説明図である。
【００３０】
図５（ａ）で時刻ｔにおける垂直面５０２ａが図面左方向に進行し、時刻ｔ＋ΔｔにＹ１’の位置に到達したとする（５０３ａ）。注目している運動軌跡の組が共にそれらの垂直面（５０２ａ、５０３ａ）内に属するものと仮定する。時刻ｔの垂直面５０２ａの下側の運動軌跡の縦方向の位置ｙ１と上側の運動軌跡の縦方向の位置ｙ２が、時刻ｔ＋Δｔの垂直面５０３ａの下側の運動軌跡の縦方向の位置ｙ１’と上側の運動軌跡の縦方向の位置ｙ２’に変化したとする。図５（ａ）のように、カメラ位置５０１からこれらのＹ１、Ｙ２、Ｙ１’、Ｙ２’の道路面への投影位置までの水平方向の距離をそれぞれ、Ｙ１、Ｙ２、Ｙ１’、Ｙ２’とすると、すべての運動軌跡がある一つの垂直平面内にあるため、運動軌跡組の高さは変わらないことから、以下の関係が成り立つ。
【００３１】
Ｙ２’／Ｙ１’ ＝Ｙ２／Ｙ１（式１）
したがって、画像中に含まれる複数の運動軌跡の組（運動軌跡組）を道路面に投影させたとき、式１の関係を満たす場合には、それらの複数の運動軌跡の組が垂直面に含まれると判定することができる。
【００３２】
一方、図５（ｂ）のように、注目している運動軌跡の組（５０２ｂ、５０３ｂ）が共に水平平面（道路面内）に属する場合を仮定する。このときカメラ位置５０１からこれらの運動軌跡組の位置までの水平方向の距離をそれぞれＹ１、Ｙ２、Ｙ１’、Ｙ２’とすると、これらの位置がすべて路面に属するため、道路面内の運動軌跡組間の距離は変わらないことから、以下の関係が成り立つ。
【００３３】
Ｙ２’− Ｙ１’ ＝Ｙ２− Ｙ１（式２）
したがって画像中に含まれる複数の運動軌跡の組が式２の関係を満たす場合には、それらの複数の運動軌跡の組みが水平面（道路面内）に含まれると判定することができる。
【００３４】
運動軌跡組選択部１０３では、さらに、運動軌跡組の動きが、上記のどちらの平面の動きにも適合しないことを検証する。以下のいずれか１つ以上を用いて判断基準として検討する。
【００３５】
１．運動軌跡組の縦方向の動きの大きさが消失点に近づくに従って単調に減少していない。
【００３６】
２．運動軌跡組の縦方向の動きが同じ（類似の）方向ではない。
【００３７】
３．運動軌跡組の上下の位置関係が追跡の前後で変化（逆転）している。
【００３８】
４．運動軌跡組の水平方向の速度が大きく異なる。
【００３９】
５．運動軌跡組の垂直方向の距離が離れすぎている。
これらいずれかの判断基準を満たす場合、この運動軌跡組については無効と判断し、今後の処理を行わない。
【００４０】
これらの判断基準のうち、特定の判断基準を優先的に用いることもできる。例えば運動軌跡組の画面内の上下の位置関係が時刻の変化と共に逆転する場合（上記判断基準３．の場合）には、複数の運動軌跡はそれぞれ独立に運動している（あるいは運動していない（静止状態））と明らかに認められるから、上記３．の判断基準を優先的に用いることにより「以降の処理を行なわない」とする判断を簡易、迅速に処理することも可能である。
【００４１】
また「運動軌跡組の画面内縦方向の動きが同じ方向ではない（上記判断基準２．の場合）」という判断基準と、「運動軌跡組の水平方向の速度が大きく異なる（上記判断基準４．の場合）」という判断基準は、共に運動軌跡の運動（方向ベクトル）の類似性を判定するものであるから、同種の処理ステップ内でまとめて判定することもできる。
【００４２】
平面評価値計算部１０４では、運動軌跡組の動きが水平面（路面）と垂直面のどちらに適合するかの評価値の計算を行う。具体的には、運動軌跡の動きの垂直面に関する拘束（式１）に対する適合度と、路面に関する拘束（式２）に対する適合度を計算する。垂直面への適合度Ｓｖは以下のように計算する。
【００４３】
Ｓｖ＝｜Ｙ２’−（Ｙ２／Ｙ１）×Ｙ１’ ｜（式３）
もし、運動軌跡組が垂直面に近い面に属するならば、Ｓｖの値は零に近い値を示す。運動軌跡組が完全に垂直面に属するならば、（式１）よりＳｖの値は零になる。逆に運動軌跡組が垂直面に属さなければＳｖは零よりも大きな値になる。一方、水平面（路面）への適合度Ｓｈは以下のように計算する。
【００４４】
Ｓｈ＝｜Ｙ２’−｛（Ｙ２−Ｙ１）＋Ｙ１’ ｝｜（式４）
もし、運動軌跡組が水平面に近い面に属するならば、Ｓｈの値は零に近い値を示す。運動軌跡組が完全に水平面（路面）に属するならば、（式２）よりＳｈの値は零になる。逆に運動軌跡組が水平面に属さなければ、Ｓｈは零よりも大きな値になる。
【００４５】
垂直面への適合度Ｓｖ、水平面への適合度Ｓｈは、それぞれ絶対値が小さいほど各平面に関する拘束に適合していると判定されるので、下式のように、これらの値の差分として、路面と、垂直面のどちらに属するかの指標となる評価値Ｓを定義する。
【００４６】
Ｓ＝Ｓｈ − Ｓｖ（式５）
評価値Ｓは、正の方向に大きくなるほど、垂直面に近い性質を表し、負の方向に大きくなるほど路面に近い性質を表す。
【００４７】
時系列評価値累積部１０５では、運動軌跡組が存在する期間の評価値を時系列で累積する。Ｓ、Ｓｈ、Ｓｖ等の評価値は、取得される画像の精度、自車両の動き、路面の状態等により誤差を生ずるものであるから、Ｓの値が所定の正のしきい値よりも大きい場合にのみ垂直面に属すると判断し、Ｓの値が所定の負のしきい値よりも小さい場合にのみ路面に属すると判断し、Ｓの絶対値が所定の正のしきい値よりも小さい場合には、いずれの面に含まれるか判断しないという基準を用いることにより、評価値Ｓを安定に評価することが可能となる。
【００４８】
すなわち、ある運動軌跡組の評価値Ｓの値が正であるならば垂直面、Ｓの値が負であるならば路面である可能性が高いが、道路面への投影位置（または道路面上の位置）であるＹ１、Ｙ２、Ｙ１’、Ｙ２’には誤差が含まれているため、Ｓの絶対値が小さい時は、運動軌跡組が垂直面に属するか、路面に属するかの判断は難しくなる。
【００４９】
そのため運動軌跡組が複数のフレーム画像において複数回観測されたとき、それぞれのフレーム画像で求められた評価値Ｓを累積する（足し合わせる）手法を採用する。これにより、観測回数が多い運動軌跡組ほど、評価値の大きさが累積するため、常に垂直面（または水平面）の評価と判定され続けることにより、垂直面と路面の違いが顕著に観測されることとなる。
【００５０】
また時系列評価値累積部１０５では、運動軌跡組が存在しない間はその時間の長さに応じて、評価値を減衰（減点）させる処理を行なう。例えば、同一の垂直面内または路面内に属さない運動軌跡組が選択されて正しくない評価値が計算される場合がある。この場合には、誤った評価値Ｓが累積されるため、属する平面が路面か垂直面かを評価値Ｓの累積値からは正しく判断できない。この場合には、ある運動軌跡組が選ばれて評価値Ｓが計算された後に、一定期間継続してその運動軌跡組が選択されないときには、その空白時間に応じて評価値Ｓの値を減衰させる処理を行なう。誤った運動軌跡組が選択される頻度は少ないので、評価値Ｓに誤りが蓄積されるのを防ぐことが可能となる。
【００５１】
周辺評価値累積部１０６では、運動軌跡組の評価値Ｓから、さらに運動軌跡ごとの評価値の計算を行う。運動軌跡の評価値Ｓｔは、その運動軌跡が属するすべての運動軌跡組の評価値Ｓを加算することによって計算される。運動軌跡組の連続観測回数が少なく、個々の運動軌跡組の評価値が小さく信頼性が低い場合においても、その運動軌跡が関係するすべての運動軌跡組の評価値を累積することによって、ＳＮ比が向上し評価値の信頼性が上がる。この評価値を用いれば、運動軌跡生成の比較的早い段階で、当該運動軌跡が属する平面が、路面であるか垂直面であるかの判断が可能である。
【００５２】
障害物運動軌跡判定部１０７では、運動軌跡ごとに路面か、垂直面かの判定を行う。運動軌跡の評価値Ｓｔの絶対値があるしきい値以上でかつ正の値を持つとき、その運動軌跡を垂直面、すなわち障害物の候補と判断する。一方、運動軌跡の評価値Ｓｔの絶対値があるしきい値以上でかつ負の値を持つとき、その運動軌跡を路面、すなわち路面上の表示である、障害物ではないと判定する。これにより、特に自車両に対して高速に接近する障害物（後続車両）の早期検出が可能となる。
【００５３】
有効障害物判定部１０８では、類似運動軌跡グループ生成部２で生成されたグループそれぞれについて、グループ内に含まれる運動軌跡のうち障害物運動軌跡または路面運動軌跡のいずれと判定されたか、グループ内に含まれる運動軌跡について、障害物運動軌跡の数と路面運動軌跡の数とを比較して多数決を行い、グループ内の障害物運動軌跡が有効か無効かの判断を行う。
【００５４】
グループ内の運動軌跡数をＮｔ、そのうち路面と判断された運動軌跡数をＮｒ、障害物と判断された運動軌跡数をＮｏとし、Ｎｔがある閾以上でかつ、ＮｏがＮｒより大きいときそのグループ内の障害物運動軌跡を有効障害物とする。これにより追跡の失敗等により誤って判断された少数の障害物運動軌跡を削除し、安定して障害物を検出することが可能となる。
【００５５】
このようにして有効障害物判定を行なう場合の画像処理の適用例を図６に基づいて説明する。図６において、画面内の矩形領域が運動軌跡検出部１１１で検出された運動軌跡を表し、矩形内に×印が入っている領域６０１が障害物運動軌跡判定部１０７において障害物運動軌跡と判定された領域、入っていない領域６０２が障害物運動軌跡判定部１０７において路面運動軌跡と判定された領域である。グループ生成部１０２でグループ判定されたグループ１（６０３）内には、本来障害物運動軌跡と判定されるべきであるが、検出誤差等の影響により誤って路面と判断された領域６０５が存在する。またグループ生成部１０２でグループ判定されたグループ２（６０４）内には、本来路面運動軌跡と判定されるべきであるが、誤って障害物と判断された領域６０６が混在している。このような場合であっても、グループ１内に含まれる運動軌跡は障害物運動軌跡と判定された領域が多く含まれており、グループ１内の障害物運動軌跡は多数決によってすべて有効障害物と判定される。またグループ２内には路面運動軌跡と判定された領域が多く含まれており、グループ２内の誤った障害物領域は多数決によって全体として有効障害物と判定されない。これにより、障害物の誤検出を防ぐことができる。
【００５６】
障害物位置推定部１１２では、注目するフレーム画像に含まれる障害物領域のうち、最も画面下方向に位置する有効障害物領域を障害物の接地線と決定する。さらに、ＴＶカメラの路面に対する取り付け位置や角度、ＴＶカメラの内部パラメータが既知であれば、画像内の障害物位置を用いて自車両から障害物までの距離を計算することができる。また現在注目するフレーム画像でフレーム外に接地線がはみ出してしまった等の場合には、画面内で接地線を検出することができない。この場合は過去のフレームにおいて検出済みの接地線について、障害物の過去における運動の連続性を用いて、現在の接地線の位置を推定することにより、さらに安定して接地線を推定することが可能である。なお本発明の一実施形態に限定されるものではない。
（変更例１）
平面評価値計算部４において、道路面に投影した座標を用いて適合度の計算を行っているが、どの平面に投影した座標を用いてもよい。たとえば路面に垂直な平面に投影した座標を用いて適合度を計算してもよい。
（変更例２）
有効障害物判定部８において、グループ内の障害物運動軌跡が有効か無効かの判断を多数決によって行っているが、さらにグループ内の各運動軌跡の評価値Ｓｔを足し合わせることによって、グループごとの評価値を計算し、この評価値が閾値を超えたとき、グループ内の障害物運動軌跡を有効障害物と判定してもよい。
（変更例３）
本発明と、非特許文献２に記載の手法の実現する装置を併せて具備し、本発明の手法と統合して障害物の検出を行ってもよい。たとえば、遠距離（画像上の消失点付近）では２つ運動軌跡から運動軌跡組を検出し、近距離（画像上の下の方）では、３つ以上の運動軌跡から運動軌跡組を検出し、距離に応じてその結果を使い分けることによって、遠方ではより早期に障害物を検出し、近距離ではより安定して障害物を検出することが可能である。
（変更例４）
有効障害物判定部１０８は、あるグループに含まれる運動軌跡の判定数の多数決により、グループ内の障害物運動軌跡が有効か否かを判定し、グループ内の運動軌跡を全て有効な（または無効な）障害物運動軌跡と判定し、障害物位置推定部１１２は、障害物の接地線を推定するとしたが、以下のように変更を加えても良い。
【００５７】
例えば、有効障害物判定部１０８では、あるグループに含まれる運動軌跡の判定数の多数決により、グループ内の障害物運動軌跡が有効か否かを判定する。判定の結果、障害物運動軌跡と認定された場合には、グループ全体として有効障害物と判定することなく、障害物位置推定部１１２では、グループに含まれる運動軌跡のうち、画面中最も下方向に位置する障害物運動軌跡の障害物領域を障害物の接地線と決定することとする。
【００５８】
このように構成を変更することにより、あるグループに含まれる運動軌跡のうち、障害物運動軌跡と判定された領域の結果を利用して、より安定的に障害物の接地線を決定することができる。
（変更例５）
以上の実施例においては、グループ生成部１０２の処理と障害物運動軌跡判定部１０７の処理を独立、並列的に行なっていた。しかし障害物運動軌跡判定の処理に先立ちグループ生成を行なうことも可能である。具体的には図７に示すような構成となる。図７においては、運動軌跡検出部１１１で検出された障害物候補領域の運動軌跡が入力部１０１を介して入力される。ここで始めに各運動軌跡の画面内の位置と運動ベクトルとから類似する運動軌跡を示す複数の運動軌跡のグループを形成する。そして形成されたグループに含まれる障害物候補領域の運動軌跡について障害物運動軌跡判定の処理を行なう。
【００５９】
特にグループ生成部１０２と運動軌跡選択部１０３とで、共通する処理（運動軌跡の画面内の位置が近接しているか否かを評価する、運動軌跡の運動ベクトルの類似性を評価するなど）が存在するので、グループ生成部１０２での処理結果を運動軌跡選択部１０３で援用することも可能である。重複する処理を回避することで、高速化を図ることができる。
【００６０】
【発明の効果】
本発明によれば、一台のＴＶカメラを用い路面と障害物の運動視差に注目して障害物を検出する手法において、遠方から高速に接近する障害物であっても、早期に安定して検出することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】一実施形態の車両とカメラ配置の関係を車両の横から示した図である。
【図３】一実施形態の車両とカメラ配置の関係を車両の上から示した図である。
【図４】障害物運動軌跡追跡部によって検出された運動軌跡の説明図である。
【図５】平面評価値の計算に用いる垂直面及び路面の拘束式の説明図である。
【図６】有効障害物判定部の説明図である。
【図７】本発明の別の実施携帯の構成を示すブロック図である。
【符号の説明】
１０１運動軌跡入力部
１０２類似運動軌跡グループ生成部
１０３運動軌跡組選択部
１０４平面評価値計算部
１０５時系列評価値累積部
１０６周辺評価値累積部
１０７障害物運動軌跡判定部
１０８有効障害物判定部
１１０ＴＶカメラ
１１１運動軌跡検出部
１１２障害物位置推定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an obstacle detection device and an obstacle detection device that determines an object that is an obstacle to travel of a host vehicle from a plurality of motion trajectories detected in an image captured by a TV camera attached to a moving body such as an automobile. It relates to an object detection method.
[0002]
[Prior art]
As a means for detecting an obstacle around a vehicle such as an automobile, a method using a single TV camera has been proposed. A single TV camera can be easily installed in a vehicle, requires only one unit, and the constituent devices are inexpensive.
[0003]
As a method using a single TV camera, there is a method (JP-A-7-280517, JP-A-7-28975) in which an edge line, which is a horizontal linear component, is detected as a ground line of a vehicle ahead. In this method, erroneous detection may occur because the detected edge line may be a paint on a road surface, a seam of asphalt, a shadow of an adjacent vehicle, or the like.
[0004]
On the other hand, Okada et al., "Obstacle Detection Using a Monocular In-Vehicle Camera Using Virtual Plane Tracking Method", IEICE Technical Report, Vol. 101, No. 302, pp. 29--36, 2001, tracking a road surface virtually arranged in a scene and a plurality of surfaces corresponding to obstacles in an image, and selecting a virtual plane in which the tracking result and the current image best match. Is used to distinguish between an obstacle and a road surface. This method is based on the motion parallax between the road surface and obstacles and is easy to apply to actual road scenes. In addition, since it tracks planes instead of associating points based on local information, it is stable. Is improved. However, since it is necessary to track a large number of planes detected in the image, there is a problem in that the amount of calculation is large and the method is not suitable for quick processing.
[0005]
In addition, a technique has been proposed in which a single TV camera is used to pay attention to the motion parallax between the road surface and the obstacle, and to detect the obstacle at high speed and in a stable manner (see Non-Patent Document 2). In this method, first, a horizontal line in an image is detected as a candidate area for an obstacle, and the candidate area is tracked between frames at high speed in a stable manner. Next, using the tracking result of a set of candidate areas that includes three or more candidate areas as a set, it is determined to which of a plurality of preset planes the candidate areas belong, and an obstacle is determined from the determination result. It detects and estimates its position.
[0006]
However, this method stably distinguishes the road surface and the obstacle by accumulating the difference in the motion parallax between the road surface and the obstacle in the candidate region set in a time series, so that the number of candidate region sets is small. If the survival time of one candidate region is short, it takes time until a large difference appears in the motion parallax, and there is a problem that the determination of an obstacle is delayed. Such a situation includes a case where the obstacle is far away, a case where the obstacle approaches at high speed, and the like. When the obstacle is far away, the number of horizontal lines in the image is small, and when generating candidate area sets from three or more candidate areas, the number of candidate area sets may be further reduced or the candidate area sets may not be detected. .
[0007]
Further, in a situation where an obstacle approaches at a high speed, the survival time of the candidate area set is shortened. In other words, this method is most effective when traffic is congested such that a low-speed obstacle approaches in a short distance, and in a situation where the obstacle approaches high-speed from a distance, the obstacle is determined. Sometimes, there is a problem that the obstacle is dangerous because the obstacle is already close to the vehicle.
[0008]
[Patent Document 1]
JP-A-7-280517
[Patent Document 2]
JP-A-7-28975
[0009]
[Non-patent document 1]
Okada, Taniguchi, Onoguchi, 障害 Obstacle Detection Using a Monocular In-Vehicle Camera Using Virtual Plane Tracking Method '', IEICE Technical Report, Vol. 101, No. 302, pp. 29--36, 2001
[Non-patent document 2]
Okada, Onoguchi "Monocular image processing system for low-speed inter-vehicle control", IEICE Technical Report, Vol. 102, no. 531 pp. 69-74, 2002
[0010]
[Problems to be solved by the invention]
As described above, using a single TV camera according to the conventional method, focusing on the motion parallax between the road surface and the obstacle, and detecting the obstacle at high speed and in a stable manner. In order to detect, even if the set of obstacle candidate areas is generated at a long distance, and even if the survival time of the candidate area set is short, a framework that makes a noticeable difference in the motion parallax between the road surface and the obstacle is necessary. .
[0011]
The present invention improves the method of detecting an obstacle by focusing on the motion parallax between the road surface and the obstacle using a single TV camera, and enables early identification of an obstacle approaching at a high speed from a distance. An object of the present invention is to provide a discriminating apparatus and a method thereof.
[0012]
[Means for Solving the Problems]
The present invention sets a plurality of obstacle candidate areas including a straight line component in a time-series image input from an image input means, and detects a motion trajectory of the obstacle candidate area; and at least two obstacle candidate areas. Means for selecting a set of motion trajectories of a region, means for calculating an evaluation value as to whether the selected set of motion trajectories belong to the same vertical plane or horizontal plane, and evaluation calculated for the set of motion trajectories Means for accumulating values, means for calculating an evaluation value for each motion trajectory based on the accumulated evaluation values, and determining whether or not the motion trajectory is a motion trajectory of an obstacle according to the calculated evaluation value. An obstacle detection device comprising: a determination unit;
[0013]
Also, the present invention sets a plurality of obstacle candidate areas including a linear component in a time-series image input from the image input means, and detects a movement trajectory of the obstacle candidate area; and at least two obstacles Means for selecting a set of motion trajectories of the candidate region; means for calculating an evaluation value as to whether the selected set of motion trajectories belong to the same vertical plane or horizontal plane; Means for accumulating the evaluation value, means for calculating an evaluation value for each motion trajectory based on the accumulated evaluation value, and position and motion in a plurality of motion trajectories detected by the motion trajectory detection means in the image. Means for generating a group of similar motion trajectories, and whether the plurality of motion trajectories included in the group are obstacle motion trajectories according to the evaluation values calculated for the plurality of motion trajectories included in the group Providing an obstacle detection apparatus comprising means for determining whether.
[0014]
Further, the present invention sets a plurality of obstacle candidate areas including a linear component in the time-series image input from the image input means, and detects a motion trajectory of the obstacle candidate area; and Means for generating a group of similar motion trajectories from the position and motion of the motion trajectory in the image, means for selecting a set of motion trajectories of at least two obstacle candidate regions included in the group, and a selected motion trajectory Means for calculating whether or not the set belongs to the same vertical plane or horizontal plane, means for accumulating the evaluation values calculated for the set of motion trajectories, and movement based on the accumulated evaluation values. Means for calculating an evaluation value for each trajectory, and whether or not the plurality of trajectories included in the group are the trajectories of obstacles according to the evaluation values calculated for the plurality of trajectories included in the group Providing an obstacle detection apparatus comprising means for determining.
[0015]
Further, in the present invention, the evaluation value calculating means calculates an evaluation value only when the selected set of motion trajectories satisfies a predetermined condition, and the evaluation value accumulating means determines that the set of motion trajectories is It is characterized in that the evaluation value accumulated for the set of motion trajectories is changed according to the length of the period during which the predetermined value is not satisfied and the evaluation value is not calculated by the evaluation value calculating means.
[0016]
In addition, the present invention sets a plurality of obstacle candidate areas including a linear component in a time-series image input from an image input unit, and detects a motion trajectory of the obstacle candidate area; Selecting a set of motion trajectories of the candidate area; calculating an evaluation value as to whether the selected set of motion trajectories belong to the same vertical plane or horizontal plane; Accumulating the evaluation value, calculating the evaluation value for each motion trajectory based on the accumulated evaluation value, and determining whether or not the motion trajectory is the motion trajectory of the obstacle according to the calculated evaluation value And an obstacle detection method.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 shows a basic configuration example of the present embodiment. In the following, a rear-side monitoring device and method for detecting obstacles on the rear and side in the vehicle traveling direction will be described as an example.
[0019]
The motion trajectory detection unit 111 obtains a time-series image of the rear, side, and the like of the vehicle from the TV camera 110, sets an obstacle candidate area in this image, tracks between frames, and obtains the motion trajectory. The motion trajectory input unit 101 obtains the motion trajectory from the motion trajectory detection unit 111. The similar motion trajectory group generation unit 102 groups motion trajectories that have similarities between the position in the image and the direction vector. The motion trajectory set selection unit 103 selects a motion trajectory set that includes two or more motion trajectories, which are assumed to be motions that match at least one plane, from among a plurality of preset planes.
[0020]
The plane evaluation value calculation unit 104 calculates an evaluation value serving as an index of which plane the motion trajectory group belongs to among a plurality of planes. The time-series evaluation value accumulating unit 105 accumulates the evaluation values in a time series while the motion trajectory set exists, and attenuates the evaluation value according to the time while the motion trajectory set does not exist. The peripheral evaluation value accumulating unit 106 accumulates the evaluation values of all the motion trajectory groups to which the motion trajectory belongs, and sets the accumulated values as the evaluation values of the motion trajectories. When the plane evaluation value accumulated for each motion trajectory satisfies a predetermined condition, the obstacle motion trajectory determination unit 107 determines that the motion trajectory is the motion trajectory of the obstacle. When the number of obstacle movement trajectories in the similar movement trajectory group satisfies a predetermined condition, the effective obstacle determination unit 108 determines the obstacle movement trajectory in the group as an effective obstacle.
[0021]
FIG. 2 shows an arrangement example of a moving body such as a vehicle and a TV camera. The TV camera 201 is mounted such that the road surface 204 is downward on the image, the imaging direction is opposite (rearward) to the vehicle traveling direction, and the optical axis 203 is parallel to the road surface 204 and parallel to the traveling direction. It is assumed that A similar method can be applied to other installation methods.
[0022]
FIG. 3 shows an example of an image capturing mode when a moving body such as a vehicle carries a TV camera to detect an obstacle. The vehicle 302 equipped with a TV camera is traveling in the right direction in the drawing, and the TV camera is installed in a direction for capturing an image behind the vehicle (left direction in the drawing). In the drawing, a hatched area indicates an image capturing area 301 of the TV camera. In the imaging area 301, an image of a vehicle 303 or a vehicle 304 traveling on an adjacent lane (center line side) is captured. In the present invention, the presence of other vehicles 303, 304, etc., which may be a danger or an obstacle to the running of the host vehicle 302, is detected from an image captured in such a situation.
[0023]
Hereinafter, the components of FIG. 1 will be described in detail. The motion trajectory detection unit 111 extracts a linear component in a frame constituting a time-series image obtained from an image capturing unit such as the TV camera 110, particularly an area around a horizontal line component as an obstacle candidate area, and extracts the area between the frames. The movement of the candidate area is tracked. For example, a general vehicle has many components including a horizontal line such as a ground line between a road and a vehicle, a bumper, a front, a license plate, a window, and a ceiling. In the currently assumed camera arrangement, another vehicle following the host vehicle is imaged from the front, so that these horizontal lines belonging to the other vehicle are also horizontal lines in the captured image. In addition, when it is considered that a portion of the horizon belonging to another vehicle closest to the road surface (the lowest portion in the imaged screen) coincides with the ground line of the vehicle, another vehicle exists above the horizon closest to the road surface. Therefore, the upper region in the screen of these horizontal lines is tracked as an obstacle candidate region. The coordinates of this horizontal line on the image are output as a motion trajectory for each frame. Hereinafter, a case where a horizontal line is detected will be described. However, it is also possible to detect a vertical line and other straight line components by applying a similar method.
[0024]
Specifically, considering the far side of the road surface as a vanishing point in the screen, an area below the vanishing point (a point at infinity of a straight road) in the screen is set as a detection area. Since the “horizontal line” in the screen can be regarded as a vertical edge in the image (a portion where the pixel luminance change is large in the vertical direction in the screen), such a vertical edge is detected. For example, a horizontal line can be specified by comparing feature amounts such as average luminance values of two areas near and below the screen separated by a specific horizontal line candidate. Then, a rectangular upper area including the horizontal line in the screen is extracted as an obstacle candidate area. For the extracted obstacle candidate area, the same position in the next frame image and its surrounding area are searched for a similar image area, and the destination of the obstacle candidate area is obtained.
[0025]
FIG. 4 shows a state where a plurality of obstacle candidate areas are detected in a specific screen. FIG. 4 is a frame image of the rear side of the vehicle, in which a vehicle 405 running on the rear side of the own vehicle, a road surface display 404 drawn on a road surface, a white line 403, and the like are imaged. With respect to this image, a horizontal line is detected by the method described above. In FIG. 4, a rectangle that is an in-screen region including a horizontal line represents an obstacle candidate region 402, and a thick line at the bottom of the rectangular region represents a detected horizontal line 401. Note that the motion trajectory detection unit is not limited to this method as long as it can detect and track a horizontal line, an obstacle candidate area, and a moving object from an image.
[0026]
Next, in the similar motion trajectory group generation unit 102, the position on the screen and the obstacle are determined from the motion trajectories (tracking results) of the plurality of obstacle candidate areas detected by the motion trajectory detection unit 111 and input to the motion trajectory input unit 101. A plurality of obstacle candidate areas in which the moving directions (direction vectors) of the object candidate areas are similar are set as the same group.
[0027]
In the following, the motion trajectory group selection unit 103, the plane evaluation value calculation unit 104, the time series evaluation value accumulation unit 105, the peripheral evaluation value accumulation unit 106, the obstacle motion trajectory determination unit 107, and the effective obstacle determination unit 108 The obstacle position estimating unit 112 will be described in detail.
[0028]
In order to determine whether the plurality of obstacle candidate areas belong to any of a vertical plane and a horizontal plane, the motion trajectory group selection unit 103 first determines a horizontal direction (horizontal direction in the screen) from the currently tracked motion trajectory. Are selected as a “movement trajectory group”. If at least two motion trajectories including a horizontal line in the screen are detected by this method, a motion trajectory set can be formed, so that it is possible to generate a motion trajectory set farther from the vehicle than the conventional method. Here, a case will be described in which it is determined whether the set of motion trajectories belongs to a road surface or a plane perpendicular to the road surface and the traveling direction of the vehicle (hereinafter, referred to as a vertical plane).
[0029]
FIG. 5A is an explanatory diagram when the set of motion trajectories belongs to a vertical plane (for example, a plurality of areas at the rear and front of the vehicle), and FIG. FIG.
[0030]
In FIG. 5A, it is assumed that the vertical plane 502a at time t advances leftward in the drawing and reaches the position of Y1 'at time t + Δt (503a). It is assumed that both sets of motion trajectories of interest belong to their vertical planes (502a, 503a). The vertical position y1 of the lower motion trajectory at the time t and the vertical position y2 of the upper motion trajectory at the time t are the vertical position y1 'of the lower motion trajectory at the time t + Δt. It is assumed that the position has changed to the vertical position y2 'of the upper motion trajectory. As shown in FIG. 5A, the horizontal distances from the camera position 501 to the projection positions of these Y1, Y2, Y1 ', and Y2' on the road surface are represented by Y1, Y2, Y1 ', and Y2', respectively. Then, since all the motion trajectories are in one vertical plane, the height of the motion trajectory set does not change, so the following relationship holds.
[0031]
Y2 ′ / Y1 ′ = Y2 / Y1 (formula 1)
Therefore, when a set of a plurality of motion trajectories (a set of motion trajectories) included in an image is projected on a road surface, if the relationship of Expression 1 is satisfied, the set of the plurality of motion trajectories is included in a vertical plane. Can be determined.
[0032]
On the other hand, as shown in FIG. 5B, it is assumed that the set (502b, 503b) of the movement trajectories of interest both belong to a horizontal plane (in the road surface). At this time, assuming that the horizontal distances from the camera position 501 to the positions of these sets of motion trajectories are respectively Y1, Y2, Y1 ', and Y2', these positions all belong to the road surface. Since the distance between them does not change, the following relationship holds.
[0033]
Y2′−Y1 ′ = Y2−Y1 (formula 2)
Therefore, when the set of a plurality of motion trajectories included in the image satisfies the relationship of Expression 2, it can be determined that the set of the plurality of motion trajectories is included in a horizontal plane (in a road surface).
[0034]
The motion trajectory set selection unit 103 further verifies that the motion of the motion trajectory set does not match the motion of either plane described above. It is examined as a criterion using one or more of the following.
[0035]
1. The magnitude of the vertical motion of the motion trajectory set does not decrease monotonically as it approaches the vanishing point.
[0036]
2. The vertical motion of the motion trajectory set is not in the same (similar) direction.
[0037]
3. The vertical positional relationship of the set of motion trajectories changes (reverse) before and after tracking.
[0038]
4. The horizontal velocities of the motion trajectory sets differ greatly.
[0039]
5. The vertical distance of the motion trajectory set is too large.
If any of these determination criteria is satisfied, this motion trajectory set is determined to be invalid, and no further processing is performed.
[0040]
Of these criteria, a specific criteria can be preferentially used. For example, when the vertical positional relationship in the screen of the motion trajectory set reverses with a change in time (in the case of the above-described criterion 3), the plurality of motion trajectories are independently moving (or not moving). (Stationary state)). By using the criterion of (1) preferentially, it is possible to simply and quickly perform the determination that “the subsequent processing is not performed”.
[0041]
Further, the criterion that “the vertical movements of the set of motion trajectories in the screen are not in the same direction (in the case of the above criterion 2.)” and the criterion “the horizontal speed of the set of motion trajectories differ greatly” ) Is for judging the similarity of the motions (direction vectors) of the motion trajectories, and thus can be judged together in the same type of processing step.
[0042]
The plane evaluation value calculation unit 104 calculates an evaluation value indicating whether the motion of the set of motion trajectories matches the horizontal plane (road surface) or the vertical plane. Specifically, the degree of conformity to the constraint (Equation 1) on the vertical plane of the motion of the motion trajectory and the degree of conformity to the constraint (Equation 2) on the road surface are calculated. The degree of conformity Sv to the vertical plane is calculated as follows.
[0043]
Sv = | Y2 '-(Y2 / Y1) * Y1' | (Equation 3)
If the set of motion trajectories belongs to a plane close to the vertical plane, the value of Sv indicates a value close to zero. If the set of motion trajectories completely belongs to the vertical plane, the value of Sv becomes zero according to (Equation 1). Conversely, if the set of motion trajectories does not belong to the vertical plane, Sv has a value larger than zero. On the other hand, the degree of conformity Sh to a horizontal plane (road surface) is calculated as follows.
[0044]
Sh = | Y2 '-｛(Y2-Y1) + Y1'｝ | (Equation 4)
If the set of motion trajectories belongs to a surface close to the horizontal plane, the value of Sh indicates a value close to zero. If the set of motion trajectories completely belongs to the horizontal plane (road surface), the value of Sh becomes zero according to (Equation 2). Conversely, if the set of motion trajectories does not belong to the horizontal plane, Sh has a value larger than zero.
[0045]
Since the degree of conformity Sv to the vertical plane and the degree of conformity Sh to the horizontal plane are determined to be smaller as the absolute value is more suitable for the constraint on each plane, the difference between these values is expressed as: An evaluation value S, which is an index as to which one of the road surface and the vertical surface belongs, is defined.
[0046]
S = Sh−Sv (Equation 5)
The evaluation value S indicates a property closer to a vertical plane as the evaluation value S increases in the positive direction, and indicates a property closer to the road surface as the evaluation value S increases in the negative direction.
[0047]
The time-series evaluation value accumulating unit 105 accumulates the evaluation values in a period in which the motion trajectory set exists in a time-series manner. Since the evaluation values such as S, Sh, and Sv cause errors due to the accuracy of the acquired image, the movement of the own vehicle, the state of the road surface, and the like, the value of S is larger than a predetermined positive threshold value. It is determined that the vehicle belongs to a vertical plane only when the value of S is smaller than a predetermined negative threshold value, and is determined to belong to the road surface only when the value of S is smaller than a predetermined negative threshold value, and the absolute value of S is smaller than a predetermined positive threshold value. In this case, it is possible to stably evaluate the evaluation value S by using a criterion of not determining which surface is included.
[0048]
That is, if the value of the evaluation value S of a certain set of motion trajectories is positive, there is a high possibility of a vertical plane, and if the value of S is negative, there is a high possibility of a road surface. , Y1, Y2, Y1 ′, and Y2 ′ include an error. When the absolute value of S is small, it is determined whether the set of motion trajectories belongs to the vertical plane or the road surface. It becomes difficult.
[0049]
Therefore, when the motion trajectory set is observed a plurality of times in a plurality of frame images, a method of accumulating (adding) the evaluation values S obtained in each of the frame images is employed. As a result, the larger the number of movement trajectories, the larger the evaluation value is, so that the evaluation of the vertical plane (or the horizontal plane) is always continued, so that the difference between the vertical plane and the road surface is remarkably observed. It will be.
[0050]
Further, the time-series evaluation value accumulating unit 105 performs a process of attenuating (deducting) the evaluation value according to the length of time while the motion trajectory set does not exist. For example, a set of motion trajectories that do not belong to the same vertical plane or road surface may be selected and an incorrect evaluation value may be calculated. In this case, since the erroneous evaluation values S are accumulated, it cannot be correctly determined from the accumulated value of the evaluation values S whether the plane to which the vehicle belongs is a road surface or a vertical surface. In this case, after a certain motion trajectory set is selected and the evaluation value S is calculated, if the motion trajectory set is not continuously selected for a certain period of time, the value of the evaluation value S is attenuated according to the blank time. Perform processing. Since the frequency of selecting an incorrect motion trajectory set is low, it is possible to prevent errors from being accumulated in the evaluation value S.
[0051]
The peripheral evaluation value accumulating unit 106 further calculates an evaluation value for each motion trajectory from the evaluation value S of the motion trajectory set. The evaluation value St of the motion trajectory is calculated by adding the evaluation values S of all the motion trajectory groups to which the motion trajectory belongs. Even when the number of continuous observations of the motion trajectory set is small and the evaluation value of each motion trajectory set is small and the reliability is low, the SN ratio is obtained by accumulating the evaluation values of all the motion trajectory sets related to the motion trajectory set. And the reliability of the evaluation value increases. By using this evaluation value, it is possible to determine whether the plane to which the motion trajectory belongs is a road surface or a vertical surface at a relatively early stage of the motion trajectory generation.
[0052]
The obstacle movement trajectory determination unit 107 determines whether the movement trajectory is a road surface or a vertical surface. When the absolute value of the evaluation value St of the motion trajectory is equal to or greater than a certain threshold value and has a positive value, the motion trajectory is determined as a vertical plane, that is, an obstacle candidate. On the other hand, when the absolute value of the evaluation value St of the motion trajectory is equal to or more than a certain threshold value and has a negative value, it is determined that the motion trajectory is not an obstacle which is a display on the road surface, that is, a display on the road surface. This enables early detection of an obstacle (a following vehicle) approaching the own vehicle at a high speed.
[0053]
The effective obstacle determination unit 108 determines whether each of the groups generated by the similar motion trajectory group generation unit 2 is determined to be an obstacle motion trajectory or a road surface trajectory among the motion trajectories included in the group. For the included motion trajectories, a majority decision is made by comparing the number of obstacle motion trajectories with the number of road surface motion trajectories, and it is determined whether the obstacle motion trajectories in the group are valid or invalid.
[0054]
The number of motion trajectories in a group is Nt, the number of motion trajectories determined to be a road surface is Nr, the number of motion trajectories determined to be an obstacle is No, and when Nt is equal to or greater than a certain threshold and No is larger than Nr, the group. The trajectory of the movement of the obstacle inside is defined as an effective obstacle. As a result, it is possible to delete a small number of obstacle motion trajectories erroneously determined due to tracking failure or the like, and to stably detect an obstacle.
[0055]
An application example of the image processing when the effective obstacle determination is performed in this manner will be described with reference to FIG. In FIG. 6, a rectangular area in the screen represents the motion trajectory detected by the motion trajectory detection unit 111, and an area 601 with a cross in the rectangle is determined as an obstacle motion trajectory by the obstacle motion trajectory determination unit 107. The excluded area and the area 602 that does not enter are the areas determined by the obstacle motion trajectory determination unit 107 as the road surface motion trajectory. In the group 1 (603) determined by the group generation unit 102 as a group, there is an area 605 which should be originally determined to be an obstacle motion trajectory, but is incorrectly determined to be a road surface due to the influence of a detection error or the like. . In the group 2 (604) determined by the group generation unit 102 as a group, an area 606 which should be determined to be a road motion trajectory but is erroneously determined to be an obstacle is mixed. Even in such a case, the motion trajectory included in the group 1 includes many areas determined to be the obstacle motion trajectory, and the obstacle motion trajectory in the group 1 is all determined as a valid obstacle by majority vote. Is determined. In addition, the group 2 includes many areas determined to be the road motion trajectory, and an erroneous obstacle area in the group 2 is not determined as a valid obstacle as a whole by majority vote. Thereby, erroneous detection of an obstacle can be prevented.
[0056]
The obstacle position estimating unit 112 determines an effective obstacle area located at the lowermost part of the screen among the obstacle areas included in the frame image of interest as a ground line of the obstacle. Furthermore, if the mounting position and angle of the TV camera with respect to the road surface and the internal parameters of the TV camera are known, the distance from the vehicle to the obstacle can be calculated using the obstacle position in the image. Further, in the case where the ground line protrudes outside the frame in the currently focused frame image, the ground line cannot be detected in the screen. In this case, it is possible to more stably estimate the ground line by estimating the position of the current ground line using the continuity of the motion of the obstacle in the past with respect to the ground line detected in the past frame. It is possible. Note that the present invention is not limited to one embodiment of the present invention.
(Modification 1)
Although the plane evaluation value calculation unit 4 calculates the degree of conformity using the coordinates projected on the road surface, the coordinates projected on any plane may be used. For example, the fitness may be calculated using coordinates projected on a plane perpendicular to the road surface.
(Modification 2)
The effective obstacle determination unit 8 determines whether the obstacle motion trajectory in the group is valid or invalid by majority decision, and further adds up the evaluation value St of each motion trajectory in the group, thereby obtaining a value for each group. An evaluation value may be calculated, and when the evaluation value exceeds a threshold, an obstacle motion trajectory in the group may be determined as an effective obstacle.
(Modification 3)
An apparatus for realizing the technique described in Non-Patent Document 2 may be provided together with the present invention, and an obstacle may be detected by integrating the technique with the technique of the present invention. For example, at a long distance (near the vanishing point on the image), a set of motion trajectories is detected from two motion trajectories, and at a short distance (lower on the image), a set of motion trajectories is detected from three or more motion trajectories. By selectively using the result according to the distance, it is possible to detect an obstacle earlier in a distant place and more stably to detect an obstacle in a short distance.
(Modification 4)
The effective obstacle determination unit 108 determines whether or not the obstacle motion trajectory in the group is valid, based on the majority decision of the number of motion trajectories included in a certain group, and determines whether all the motion trajectories in the group are valid (or invalid). Although it is determined that the obstacle motion trajectory is determined and the obstacle position estimating unit 112 estimates the ground line of the obstacle, a change may be made as follows.
[0057]
For example, the effective obstacle determination unit 108 determines whether or not the obstacle motion trajectory in the group is valid based on a majority decision of the number of motion trajectories included in a certain group. As a result of the determination, if the movement trajectory is determined to be an obstacle, the obstacle position estimating unit 112 does not determine the entire group as an effective obstacle, and the obstacle position estimating unit 112 selects the lowest one of the movement trajectories included in the group on the screen. Is determined as the ground line of the obstacle.
[0058]
By changing the configuration in this way, it is possible to more stably determine the ground line of the obstacle using the result of the area determined to be the obstacle motion trajectory among the motion trajectories included in a certain group. it can.
(Modification 5)
In the above embodiment, the processing of the group generation unit 102 and the processing of the obstacle motion trajectory determination unit 107 are performed independently and in parallel. However, it is also possible to perform group generation prior to the obstacle motion trajectory determination processing. Specifically, the configuration is as shown in FIG. In FIG. 7, the motion trajectory of the obstacle candidate area detected by the motion trajectory detection unit 111 is input via the input unit 101. First, a group of a plurality of motion trajectories indicating similar motion trajectories is formed from the position of each motion trajectory in the screen and the motion vector. Then, an obstacle motion trajectory determination process is performed on the motion trajectory of the obstacle candidate area included in the formed group.
[0059]
In particular, the group generation unit 102 and the motion trajectory selection unit 103 perform common processing (e.g., evaluating whether or not the position of the motion trajectory in the screen is close, and evaluating the similarity of the motion vector of the motion trajectory). Since it exists, the processing result of the group generation unit 102 can be used by the motion trajectory selection unit 103. By avoiding redundant processing, speeding up can be achieved.
[0060]
【The invention's effect】
According to the present invention, in a method of detecting an obstacle by focusing on the motion parallax between the road surface and the obstacle using one TV camera, even an obstacle approaching from a long distance and at a high speed can be stably early. It is possible to detect.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a diagram illustrating a relationship between a vehicle and a camera arrangement according to the embodiment from the side of the vehicle.
FIG. 3 is a diagram illustrating a relationship between a vehicle and a camera arrangement according to the embodiment from above the vehicle.
FIG. 4 is an explanatory diagram of a motion trajectory detected by an obstacle motion trajectory tracking unit.
FIG. 5 is an explanatory diagram of a constraint equation of a vertical plane and a road surface used for calculating a plane evaluation value.
FIG. 6 is an explanatory diagram of an effective obstacle determination unit.
FIG. 7 is a block diagram showing a configuration of another embodiment of the present invention.
[Explanation of symbols]
101 Motion trajectory input unit
102 Similar motion trajectory group generation unit
103 Motion trajectory group selection unit
104 Plane evaluation value calculation unit
105 Time series evaluation value accumulator
106 Peripheral evaluation value accumulator
107 Obstacle motion trajectory determination unit
108 Effective obstacle judgment unit
110 TV camera
111 Motion trajectory detector
112 Obstacle Position Estimation Unit

Claims

Means for setting a plurality of obstacle candidate areas including a straight line component in the time-series image input from the image input means and detecting a motion trajectory of the obstacle candidate area; and a motion trajectory of at least two obstacle candidate areas Means for selecting a set of motion trajectories, means for calculating an evaluation value as to whether the selected set of motion trajectories belong to the same vertical plane or horizontal plane, and accumulating the evaluation values calculated for the set of motion trajectories Means, means for calculating an evaluation value for each motion trajectory based on the accumulated evaluation value, and means for determining whether or not the motion trajectory is a motion trajectory of an obstacle according to the calculated evaluation value. An obstacle detection device comprising:

Means for setting a plurality of obstacle candidate areas including a straight line component in the time-series image input from the image input means and detecting a motion trajectory of the obstacle candidate area; and a motion trajectory of at least two obstacle candidate areas Means for selecting a set of motion trajectories, means for calculating an evaluation value as to whether the selected set of motion trajectories belong to the same vertical plane or horizontal plane, and accumulating the evaluation values calculated for the set of motion trajectories Means, means for calculating an evaluation value for each motion trajectory based on the accumulated evaluation value, and a motion trajectory similar to a plurality of motion trajectories detected by the motion trajectory detection means from positions and motions in the image. Means for generating a group, and determining whether or not the plurality of trajectories included in the group are the trajectories of obstacles according to the evaluation values calculated for the plurality of trajectories included in the group Obstacle detection apparatus comprising a stage.

Means for setting a plurality of obstacle candidate areas including a linear component in the time-series image input from the image input means, and detecting a motion trajectory of the obstacle candidate area; Means for generating a group of similar motion trajectories from the position and the motion of the object, means for selecting a set of motion trajectories of at least two obstacle candidate areas included in the group, and a set of selected motion trajectories being the same. Means for calculating an evaluation value as to whether or not it belongs to a vertical plane or a horizontal plane; means for accumulating evaluation values calculated for the set of motion trajectories; evaluation value for each motion trajectory based on the accumulated evaluation values And a means for determining whether or not the plurality of trajectories included in the group are the trajectories of obstacles according to the evaluation values calculated for the plurality of trajectories included in the group Comprising an obstacle detection device.

The evaluation value calculation means calculates an evaluation value only when the selected set of motion trajectories satisfies a predetermined condition, and the evaluation value accumulation means determines that the set of motion trajectories does not satisfy a predetermined condition. 4. The obstacle detecting device according to claim 1, wherein the evaluation value accumulated for the set of motion trajectories is changed according to the length of a period during which the evaluation value is not calculated by the evaluation value calculating means. .

Setting a plurality of obstacle candidate areas including a linear component in the time-series image input from the image input means, and detecting a motion trajectory of the obstacle candidate area; and a motion trajectory of at least two obstacle candidate areas Selecting a set of motion trajectories; calculating an evaluation value as to whether the selected set of motion trajectories belongs to the same vertical plane or horizontal plane; and accumulating the evaluation values calculated for the set of motion trajectories. Calculating an evaluation value for each motion trajectory based on the accumulated evaluation value, and determining whether or not the motion trajectory is a motion trajectory of an obstacle according to the calculated evaluation value. An obstacle detection method comprising: