JP2012146146A - 移動物体検出装置 - Google Patents

Abstract

【課題】レーダを用いることなく、車両に搭載された撮影手段によって撮影された画像から、車両の進行方向を横切る移動物体を精度良く検出すること。
【解決手段】車両の進行方向に対応する、画像の無限遠点とビデオカメラ１０の焦点とを結ぶ線分と、車両から見た移動物体の実際の動きベクトルの向きに対応する、各特徴点の消失点とビデオカメラ１０の焦点とを結ぶ線分がなす角度を、車両の進行方向に対する各特徴点の相対的進入角度として算出する。そして、算出した各特徴点の相対的進入角度が所定の閾値θ_th以上であるかにより、移動物体が、車両の進路を横切る進路横断移動物体であるか否かを判定する。
【選択図】図５

Description

本発明は、車両に搭載された撮影手段を用いて、車両の進行方向を横切る移動物体を検出する移動物体検出装置に関する。

公道において、歩行者や自転車などが、車両の進路を横断する際に発生する死傷事故の件数が、交通死傷事故全体の件数の中で大きな割合を占めていることが知られている。

そのため、例えば特許文献１には、画像入力部を搭載した車両が移動している状況下で、その移動方向に対して横切るように移動する画像中の物体を検出できるようにした装置が開示されている。

この特許文献１に記載された装置では、入力された動画像から、画像上での速度ベクトルの分布状態を示すオプティカルフローを算出し、そのオプティカルフローから水平方向の速度ベクトル成分の大きさの最小値を求めて、無限遠点方向をわり出す。そして、その無限遠点方向を基準にして、オプティカルフローの水平方向の速度ベクトル成分の極性から移動物体を検出する。つまり、特許文献１の記載の装置は、車両の走行方向を横切ろうとしている移動物体の速度ベクトルの水平方向の成分は、車両の自己運動によって生じる背景の速度ベクトルの水平方向成分と極性が異なることを利用し、車両の走行方向を横切ろうとしている移動物体を検出するのである。

また、先行車両や対向車両などは除外しつつ、歩行者、路側構造物、停止車両、自車に対して横断方向に走行している車両などを検出するようにした装置が、特許文献２に記載されている。

この装置は、カメラとレーザレーダとを備え、まずレーダによって検出されるオブジェクトの位置及び速度に基づき、自車両前方の処理対象となるオブジェクトを抽出する。そして、抽出されたオブジェクトを対象として、カメラによって撮像された画像において、そのオブジェクトの特徴点の動きベクトルと、理論上の背景ベクトルとの向き及び大きさを比較することにより、動きベクトルが移動物体又は静止物体のいずれによるものかを検出する。

特開平７−２４９１２７号公報 特開２００８−１７１１４１号公報

特許文献１に記載された装置では、自車両の走行方向を横切ろうとしている移動物体が、自車両の進行方向に沿ったラインを超えてしまうと、その移動物体の検出が非常に困難になるという問題がある。これは、移動物体が、自車両の進行方向に沿ったライン（自車両と無限遠点とを結んだライン）を超えた後は、移動物体の速度ベクトルの水平方向成分と、背景の速度ベクトルの水平方向成分との極性が同じになってしまうためである。従って、移動物体が、未だ自車両の進行方向の近傍にいるにも係らず、その移動物体を検出することができない事態が発生する虞が生じる。

また、特許文献２に記載された装置では、レーザレーダにより、自車両の進行方向前方に存在し、相対速度が所定値以下のオブジェクトを処理対象として抽出するため、歩行者等を比較的精度良く検出することができるが、カメラに加えて、レーザレーダが必要となるという問題がある。

本願発明は、上述した点に鑑みてなされたものであり、レーダを用いることなく、車両に搭載された撮影手段によって撮影された画像から、車両の進行方向を横切る移動物体を精度良く検出することが可能な移動物体検出装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の移動物体検出装置は、
車両の進行方向を撮影するように、車両に搭載される撮影手段と、
撮影手段によって撮影された画像において、特徴点を抽出するとともに、抽出された各特徴点のオプティカルフローを算出するオプティカルフロー算出手段と、
オプティカルフロー算出手段によって算出された各特徴点のオプティカルフローから、当該オプティカルフローの延長線上に存在する各特徴点の消失点を定める消失点算出手段と、
撮影手段によって撮影された画像における無限遠点と撮像手段の焦点とを結ぶ線分と、各特徴点の消失点と撮像手段の焦点とを結ぶ線分がなす角度を、車両の進行方向に対する各特徴点の相対的進入角度として算出する角度算出手段と、
角度算出手段によって算出された相対的進入角度が閾値以上である場合に、対応する特徴点により示される移動物体が、車両の進行方向を横切る移動物体であると判定する判定手段と、を備えることを特徴とする。

後に詳細に説明するが、車両から見た移動物体の実際の動きベクトル（３次元空間における動きベクトル）は、移動物体を撮影した画像における、その移動物体の消失点と撮影手段の焦点とを結んだ線分と平行になる。そして、移動物体が車両の進行方向を横切る場合には、移動物体の実際の動きベクトルの方向と、車両の進行方向とが、平行とはならず、ある角度を持つことになる。

そのため、請求項１の移動物体検出装置では、車両の進行方向に対応する、画像の無限遠点と撮像手段の焦点とを結ぶ線分と、車両から見た移動物体の実際の動きベクトルの向きに対応する、各特徴点の消失点と撮像手段の焦点とを結ぶ線分がなす角度を、車両の進行方向に対する各特徴点の相対的進入角度として算出する。そして、算出した各特徴点の相対的進入角度が所定の閾値角度以上であるか否か判定する。これにより、移動物体が、車両の進行方向を横切る移動物体であるか否かを判別することができる。さらに、このような相対的進入角度を用いることにより、車両の進行方向を越えた移動物体も、車両の進行方向を横切る移動物体として判定することが可能となる。

請求項２に記載したように、消失点算出手段は、画像における無限遠点から水平に伸びる仮想の水平線と、オプティカルフローの延長線との交点を、各特徴点の消失点として求めることが好ましい。傾きの無い平坦な地面を想定すると、無限遠点及び消失点は、地平線上に存在することになる。このため、無限遠点から水平に伸びる仮想の水平線と、オプティカルフローの延長線との交点を、各特徴点の消失点とすることができる。このように、簡易的に各特徴点の消失点を定めることにより、消失点を算出するための演算量を低減することができる。

請求項３に記載したように、少なくとも、消失点算出手段によって算出された各特徴点の消失点の位置から、同じ消失点を共有する特徴点同士を、同じ移動物体を示す特徴点としてグルーピングするグルーピング手段を備え、判定手段は、グルーピングされた特徴点によって示される移動物体に関して、車両の進行方向を横切る移動物体であるか否かを判定することが好ましい。このように、同じ移動物体を示す特徴点同士をグルーピングすることにより、車両の進行方向を横切る移動物体がいくつあるか明らかにすることができる。また、同じ消失点を共有するとの条件で特徴点をグルーピングすることにより、オプティカルフローに混在するアウトライア（誤対応により誤って算出された外れ値）を除去することができる。

請求項４に記載したように、車両の進行方向における、当該車両と各特徴点との距離がゼロとなるまでの衝突時間を、各特徴点について算出する衝突時間算出手段を備え、グルーピング手段は、衝突時間が所定の時間幅に属する特徴点同士を、同じ移動物体を示す特徴点としてグルーピングすることが好ましい。同じ移動物体を示す特徴点であれば、類似する衝突時間を有するためである。そして、同じ消失点を共有するとの条件に加え、衝突時間の類似性もグルーピングの条件として採用することにより、アウトライアの除去をより確実に行うことができる。さらに、衝突時間が明らかとなることにより、衝突時間の長短から、そのときの状況の緊急度合なども判別することが可能になる。

さらに、請求項５に記載したように、グルーピング手段は、所定の距離範囲内に存在する特徴点同士を、同じ移動物体を示す特徴点としてグルーピングするようにしても良い。同じ移動物体を示す特徴点同士は、互いに近接した位置に存在するためである。

請求項６に記載したように、判定手段において、車両の進行方向を横切る移動物体であるとの判定結果が得られたとき、車両の運転者に対して警報を発する警報手段を備え、警報手段は、判定手段によって車両の進行方向を横切る移動物体と判定された移動物体の数に応じて、警報の態様を変化させても良い。例えば、移動物体の数だけ警告音を発したりするようにしても良い。これにより、車両の乗員に対して、車両の前方を横切る移動物体が存在するということだけでなく、その移動物体の数に関する情報も提供することができる。

請求項７に記載したように、判定手段において、車両の進行方向を横切る移動物体との判定結果が得られたとき、車両の運転者に対して警報を発する警報手段を備え、警報手段は、衝突時間判定手段により算出された衝突時間の長短に応じて、警報の態様を変化させるようにしても良い。これにより、車両の乗員に対して、車両の前方を横切る移動物体が存在するということだけでなく、その移動物体と衝突する可能性がある時間に関する情報も提供することができる。

請求項８に記載した移動物体検出装置では、判定手段は、車両の進行方向を横切る移動物体として、撮像手段の焦点と無限遠点を結ぶ線分を延長したラインを横切る前の横断前移動物体と、横切った後の横断後移動物体とを判定対象とする。換言すれば、本発明による移動物体検出装置では、相対的進入角度を用いて、移動物体が車両の進行方向を横切る移動物体か否かを判定しているので、横断前移動物体だけでなく、横断後移動物体も対象として判定することが可能となる。

請求項９に記載した移動物体検出装置では、オプティカルフロー算出手段は、車両の運動に伴う撮影手段の回転方向の移動により生じる成分を除去したオプティカルフローを算出する。撮影手段が、車両という移動体に搭載される場合、特に撮影手段の回転方向の移動により生じる成分が、移動物体のオプティカルフローを算出する上で、大きな誤差要因となるためである。

本発明の実施形態による移動体検出装置の構成を示す構成図である。 移動体検出装置において実行される処理の流れを示すフローチャートである。 無限遠点（ＦＯＥ）について説明するための説明図である。 （ａ），（ｂ）は、相対的進入角度について説明するための説明図である。 ビデオカメラによって撮影された画像から、各特徴点の相対的進入角度を求める方法について説明するための説明図である。 接近移動物体の分類について説明するためのものであり、（ａ）は、ビデオカメラの予測進路を表す直線を横断する前の状態の移動物体を表し、（ｂ）は、ビデオカメラの予測進路を表す直線を横断した後の状態の移動物体を表し、（ｃ）は、ビデオカメラの予測進路を表す直線を横断しない状態の移動物体を表す。 （ａ）〜（ｃ）は、それぞれ、図６（ａ）〜（ｃ）に示す３状態の移動物体を画像に透視投影した際の様子を示す図である。 （ａ）〜（ｃ）は、特徴点のグルーピング処理について説明するための説明図である。

以下、本発明の実施形態による移動体検出装置について、図面に基づいて詳細に説明する。

図１に示すように、本実施形態における移動体検出装置１００は、車両に搭載された、撮影手段としてのビデオカメラ１０、及びビデオカメラ１０によって撮影された画像を処理する画像処理ＥＣＵ２０とを備えている。

ビデオカメラ１０は、例えば、ＣＣＤカメラによって構成され、車両の車室内の天井付近や車両の先端（フロントバンパー）に設置される。この車両への設置に際して、ビデオカメラ１０の光軸（Ｚ軸）が車両の進行方向と一致し、ビデオカメラ１０によって撮影された画像の横軸（Ｘ軸）が地面と平行になるように、ビデオカメラ１０の設置角度等が調整される。この結果、画像の縦軸（Ｙ軸）は、地面から垂直な方向に一致する。このビデオカメラ１０は、車両が走行している間、定期的に画像を撮影して、その撮影した画像を画像処理ＥＣＵ２０に出力する。

画像処理ＥＣＵ２０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータの他、ビデオカメラ１０から出力された画像をデジタル画像に変換するためのＡ／Ｄ変換器や、変換されたデジタル画像を保存する画像メモリ等を備えている。なお、画像メモリは、複数の画像を保存可能な記憶容量を有している。

この画像処理ＥＣＵ２０は、予め記憶されているプログラムに従って、各種の処理を実行する。例えば、画像処理ＥＣＵ２０は、ビデオカメラ１０から時系列に出力される複数の画像における、同一特徴点の変化から、画像に含まれる各々の特徴点のオプティカルフローを算出する。そして、主として静止物体の特徴点のオプティカルフローに基づいて、画像の無限遠点（ＦＯＥ）の位置を算出する。また、移動物体の特徴点のオプティカルフローから、その移動物体の消失点を算出する。さらに、画像のＦＯＥ位置及び移動物体の消失点位置を用いて、その移動物体が、車両の進路方向を横切る移動物体であるか判別する。このようにして、画像処理ＥＣＵ２０が、車両の進路方向を横切る移動物体であると判別すると、その判別結果が、制御装置３０に出力される。

制御装置３０は、例えば、画像処理ＥＣＵ２０により、車両の進路方向を横切る移動物体があると判別されると、その旨を車両の運転者に報知したり、移動物体との衝突を回避するために、車両に制動力を発生させるようにブレーキ装置を制御したりするものである。

次に、図２のフローチャートに基づいて、画像処理ＥＣＵ２０において実行される各種の処理について詳しく説明する。なお、図２のフローチャートに示す処理は、車両のエンジンがオンされたり、車両が走行を開始したりしたときに、繰り返し実行されるものである。

まず、ステップＳ１００では、ビデオカメラによって撮影された画像を取り込み、画像メモリに保存する。続くステップＳ１１０では、画像メモリに新たなデジタル画像が保存されると、そのデジタル画像における特徴点として、物体の角等を抽出する。そして、異なるタイミングで画像メモリに保存された２つのデジタル画像において、同一の特徴点を対応付けることにより、その特徴点の動きベクトルに相当するオプティカルフローを算出する。このオプティカルフローの算出方法として、例えばＬＫ法が挙げられる、ＬＫ法は特徴点を中心とする画像内の小領域と相関の高いもう一つの画像内の小領域の勾配法による探索を行うものである。

なお、上述した例では、物体の角等の点を特徴点として算出するものであったが、他の手法によって特徴点を算出することも可能である。

ステップＳ１２０では、ビデオカメラ１０の運動パラメタを推定する。ビデオカメラ１０は車両に搭載されており、車両の並進運動及び回転運動に伴い、ビデオカメラ１０も同様に並進運動及び回転運動を行う。このため、ステップＳ１２０では、ビデオカメラ１０の並進運動量ならびに回転移動量から、運動パラメタを推定する。

ここで、本実施形態の移動体検出装置は、車両の進行方向（進路）を横切る進路横断移動物を検知するものであるが、移動物体が進路横断移動物体か否かを判別する上で重要な技術的意味を持つ相対的進入角度（詳しくは、後述する）は、その定義より、ビデオカメラ１０における座標系が並進運動することを前提としている。換言すれば、オプティカルフローに、ビデオカメラ１０の回転運動による成分が含まれていると、上記の相対的進入角度を精度良く算出することができず、進路横断移動物体の判別精度も低下することになる。そのため、ステップＳ１１０において算出したオプティカルフローから、ビデオカメラの回転運動によって生じた成分を除去する必要があり、そのために、ビデオカメラ１０の運動パラメタを推定するのである。

ビデオカメラ１０の運動パラメタは、以下の数式１に示す、ビデオカメラ１０の３次元の並進移動量V = (V_x, V_y, V_z)と、回転移動量Ω=(Ω_x, Ω_y, Ω_z)と、静止点の座標 (x, y, z)と、そのオプティカルフロー v = (v_x, v_y)との良く知られた関係式から求めることができる。なお、ｆは、ビデオカメラ１０の焦点距離である。

ここで、無限遠点（ＦＯＥ）の定義式 (x_F, y_F) = (fVx/Vz, fVy/Vz)を用いると、以下の数式２が成立する。なお、無限遠点（ＦＯＥ）とは、図３に示すように、放射状に広がる静止物体の特徴点のオプティカルフローの中心点を示すものである。

数式２で示される数式を、特徴点の数ぶんの連立方程式として解くことで、ビデオカメラ１０の並進移動の方向を表す無限遠点（x_F, y_F)、ならびにビデオカメラ１０の回転移動によって生成されるオプティカルフローの成分を除去したオプティカルフロー (u_x, u_y) を求めることができる。

なお、上記の数式１、数式２は静止点に対してのみ成立するものであり、移動点やアウトライア（誤対応により誤って算出された外れ値）を持つ点では、式の誤差が大きな値をとると考えられる。このため、無限遠点（x_F, y_F)及びオプティカルフロー (u_x, u_y)を求める際には、ロバスト推定による解法を用いることが望ましい。ロバスト推定として、例えば、Ｍ推定（参考文献：P. J. Huber and E. M. Ronchetti, "Robust Statistics, 2nd Edition", Wiley Interscience, 2009.）の適応が考えられる。

あるいは、ビデオカメラ１０の運動パラメタ（カメラの回転移動により生じた成分を除去したオプティカルフロー）は、車両に取り付けられた車速センサやヨーレートセンサなどの検出値を用いて、算出することも可能である。また、無限遠点は、公知のように、ＲＡＮＳＡＣ法やクラスタリング法などの手法により、特徴点における移動点と静止点とを分離し、分離した静止点のオプティカルフローから求めるようにしても良い。

ステップＳ１２０の処理により、ビデオカメラ１０の並進移動の方向を表す無限遠点（x_F, y_F)、及びビデオカメラ１０の回転運動によって生じた成分を除去したオプティカルフロー(u_x, u_y)が求まると、次に、ステップＳ１３０において、特徴点のフィルタリング処理を行う。

この特徴点のフィルタリング処理では、まず、カメラの回転運動により生じるオプティカルフローの成分を除去したオプティカルフロー(u_x, u_y)を使って、特徴点ごとに相対的進入角度を算出する。

この相対的進入角度について、図４（ａ），（ｂ）を参照して説明する。

図４（ａ）に示すように、ビデオカメラ１０の前方を横切ろうとする進路横断移動物体があった場合、その進路横断移動物体の運動は、車両から見ると、つまり並進運動するビデオカメラ１０の座標系で表現すると、ビデオカメラ１０の進行方向に対してある角度を持った運動として記述することができる。本実施形態では、図４（ｂ）に示すように、この角度を「相対的進入角度」と呼ぶこととする。

静止している点は速度０の移動物体と見なすことができ、相対的進入角度は０度となる。一方、図４（ａ），（ｂ）に示すように、並進移動するビデオカメラ１０の進路を横断する進路横断移動物体の相対的進入角度は０度より大きくなるため、適切な閾値θ_thを設定することで、静止点との区別が可能となる。

例えば、車両が低速で移動する場合は、高速で移動する場合と比べて、相対的進入角度が大きくなる。従って、相対的進入角度は、とりわけ低速走行時において、進路横断移動物体と静止物体とを分離するよい指標であると言える。ただし、相対的進入角度の算出精度は、ビデオカメラ１０の解像度によって変化するので、これを踏まえて、進路横断移動物体を判別するための閾値を設定することが好ましい。

一例として、相対的進入角度の閾値は対象とする車両の速度ならびに検出対象の速度から、以下のように設定することができる。例えば、対象とする車両速度の上限をVmax、道路を直角に横断する検出対象の速度の下限をWminとした場合、相対的進入角度の閾値はarctan(Wmin/Vmax)を下回るように設定すればよい。例えば、Vmax=20km/h, Wmin=4km/hの時、arctan(Wmin/Vmax)=11.3°程度であるので、相対的進入角度の閾値を10°と設定することは合理的である。但し、この閾値は、進路横断移動物体の検出を行う車両速度の上限や、相対的進入角度の算出精度などから、さらに小さい角度に設定しても良い。

次に、ビデオカメラ１０によって撮影された画像から、各特徴点の相対的進入角度を求める方法について説明する。図５に示すように、進路横断移動物体をビデオカメラ１０で撮影すると、その進路横断移動物体を透視投影した画像が得られる。なお、ビデオカメラ１０の撮影画像にレンズ歪みによる影響がある場合には、正しく透視投影された画像とならないため、レンズ歪みの影響を除去するための歪み補正処理を実行することが望ましい。

進路横断移動物体の運動を剛体の並進運動と仮定すると、進路横断移動物体のオプティカルフローは、消失点と呼ばれる点を中心に放射状に広がる方向を持つ。この消失点は、進路横断移動物体とビデオカメラ１０が無限の時間等速直線運動を継続した結果、進路横断移動物体が消失する無限遠点を示している。

そして、図５から明らかなように、車両から見た進路横断移動物体の実際の動きベクトル（３次元空間における動きベクトル）は、その進路横断移動物体を撮影した画像における、進路横断移動物体の消失点とビデオカメラ１０の焦点とを結んだ線分と平行になる。このため、車両の進行方向に対応する、ＦＯＥとカメラ焦点とを結ぶ線分と、車両から見た移動物体の実際の動きベクトルの向きに対応する、各特徴点の消失点とカメラ焦点とを結ぶ線分がなす角度が、車両の進行方向に対する各特徴点の相対的進入角度を表すことになる。換言すれば、進路横断移動物体の消失点とカメラ焦点とＦＯＥとを頂点とする三角形の焦点側の角度は、進路横断移動物体の相対的進入角度を表すことになる。

ビデオカメラ１０の焦点距離ｆは既知であるため、ＦＯＥと進路横断移動物体の消失点を求めることによって、相対的進入角度を求めることが可能となる。相対的進入角度は数式３で与えられる。

なお、Ｐ_Fはビデオカメラ焦点を原点とした場合のＦＯＥ座標（x_F, y_F, f）、Ｐ_∞は消失点座標（x_∞, y_∞, f）である。

ＦＯＥ座標（x_F, y_F, f）は、ステップＳ１２０において算出されている。消失点座標（x_∞, y_∞, f）は、以下のようにして算出することができる。

まず、図５に示すように、ビデオカメラ１０によって撮影された画像において、y=y_Fの直線を地平線と呼ぶこととする。傾きのない平坦な地面を想定すると、ＦＯＥ及び消失点は地平線上に存在することになる。このため、消失点は、回転成分の除去されたオプティカルフローの延長線と地平線との交点となる。従って、各特徴点ごとに、その座標とオプティカルフロー(u_x, u_y)から、消失点を求めることができる。このように、簡易的に各特徴点の消失点を定めることにより、消失点を算出するための演算量を低減することができる。

ただし、各特徴点の消失点は、他の手法によってより高精度に算出しても良い。例えば、各特徴点のオプティカルフローを延長した延長線の交点をそれぞれ求め、近接した位置に存在する交点をグループ化し、そのグループ化した交点位置の中心とみなせる位置を消失点として定めても良い。

このようにして特徴点ごとに相対的進入角度を算出すると、次に、ステップＳ１３０において、車両の進路を横切る進路横断移動物体の候補点となる特徴点と、それ以外の特徴点とを分離する、フィルタリング処理を実行する。

本実施形態においては、車両の進路を横切る進路横断移動物体を検知対象とする。このような進路横断移動物体は、車両が進行方向に移動している場合には、時間の経過とともに、Ｚ軸（カメラの光軸）方向においてビデオカメラ１０に接近する接近移動物体となる。

ここで、接近移動物体は、図６（ａ）〜（ｃ）に示すように、３種類に分類することが出来る。図６（ａ）に示すpre-crossing（横断前移動物体）は、ビデオカメラ１０の予測進路を表す直線を横断する前の状態の移動物体を表す。図６（ｂ）に示すpost-crossing（横断後移動物体）は、ビデオカメラ１０の予測進路を表す直線を横断した後の状態の移動物体を表す。図６（ｃ）に示すnever-crossing（非横断移動物体）は、ビデオカメラ１０の予測進路を表す直線を横断しない状態の移動物体を表す。

本実施形態では、pre-crossingとpost-crossingを進路横断移動物体と定義し、検出の対象とする。never-crossingを検出対象としない理由は、例えば車道の横の歩道の歩行者などがnever-crossingに当てはまる可能性があり、この対象に対して運転者に警報を与える必要性は低いと考えられるからである。なお、相対的進入角度が非零である限りにおいて、never-crossingを検出対象に含めることも可能ではある。

図６（ａ）〜（ｃ）に示す３状態の移動物体は、ビデオカメラ１０によって図７（ａ）〜（ｃ）のように画像に透視投影される。ここで、図７（ａ）に示すpre-crossingの状態は、ＦＯＥ座標（ｘ座標：x_F）、消失点座標（ｘ座標：x_∞）、特徴点の座標（ｘ座標：x）、ならびに相対的進入角度θに関して、以下の数式４に示す関係が成り立つ。

また、図７（ｂ）に示すpost-crossingの状態は、ＦＯＥ座標、消失点座標、特徴点の座標、ならびに相対的進入角度に関して、以下の数式５に示す関係が成り立つ。

さらに、図７（ｃ）に示すnever-crossingの状態は、ＦＯＥ座標、消失点座標、特徴点の座標、ならびに相対的進入角度に関して、以下の数式６に示す関係が成り立つ。

これらの関係を利用することで、ＦＯＥ座標、消失点座標、特徴点の画像座標、及び相対的進入角度から、各特徴点に関して、３状態の移動物体の内、いずれの状態の移動物体を示すものであるかを区別することが可能となる。ステップＳ１３０のフィルタリング処理では、pre-crossingまたはpost-crossingと分類された特徴点を、進路横断移動物体を示す候補点と判定する。この候補点は、次に述べるステップＳ１４０のグルーピング処理の入力（対象）となる。

ステップＳ１４０では、進路横断移動物体を示す候補点となった特徴点を、種々の条件で同一の進路横断移動物体を示すとみなし得る特徴点を抽出して、グルーピングする。進路横断物体の候補点は、それだけではただの点の集まりに過ぎないため、進路横断移動物体に関する情報（個数、相対的進入角度、衝突時間など）が分かりづらい。また、オプティカルフローには、アウトライアと呼ばれる誤対応により誤って算出された外れ値が混入することが少なからずある。そこで候補点を移動物体ごとにまとめ、かつアウトライアを除去する目的でグルーピングを施すのである。

グルーピングを行う第１の条件は、特徴点が互いに近傍に存在することである。この近傍判定は、図８（ａ）に示すように、候補点である特徴点ごとに、各特徴点を中心とする正方の領域を与え、これらの正方領域の重なりが生じる特徴点は、互いに近傍にあるとみなし、グループ化する。一方、正方領域が他の特徴点の正方領域と重なりを持たない孤立点は、アウトライアとみなし、グループ化の対象から除外する。

グルーピングを行う第２の条件は、相対的進入角度が実質的に一致することである。図５に示すように、同一移動物体の特徴点は、消失点を共有し、その結果、相対的進入角度が実質的に一致するためである。

この相対的進入角度の一致判定では、図７（ｂ）に示すように、近傍判定されたグループごとに消失点座標の分布状態を求め、その分布状態から、同一の消失点を共有するとみなされる特徴点と、同一の消失点を共有するとはみなされない特徴点とを統計的に区分けする。その他にも、例えば、消失点座標の分布位置から真の消失点位置を推定し、その消失点と特徴点を結ぶ直線とオプティカルフローとの角度誤差などに基づき、同一の消失点を共有する特徴点と、同一の消失点を共有しない特徴点とに区分けしても良い。そして、同一の消失点を共有しない特徴点は、例えばアウトライアによる特徴点であり、グループ化の対象から除外する。一方、同一の消失点を共有する特徴点は、相対的進入角度が一致するものと判定する。

グルーピングを行う第３の条件は、各特徴点の衝突時間Ｔが類似していることである。ここで、衝突時間Ｔは、ビデオカメラ１０の前方（Ｚ＞０）に存在する物体が、画像平面に到達するまでの時間（実質的に、車両と衝突するまでの時間）として定義される。この衝突時間Ｔは、ビデオカメラ１０の回転移動により生じるオプティカルフローの成分が除去されたオプティカルフロー(u_x, u_y)及び消失点座標（ x_∞, y_∞）を用いて、下記の数式７により算出することができる。

すなわち、数式７により、特徴点ごとに衝突時間Ｔを求めることが可能である。具体的には、上述した第１、２の条件によりグループ化された特徴点ごとに、消失点座標、特徴点座標、オプティカルフロー(u_x, u_y)を数式７に代入して、衝突時間Ｔを算出する。なお、衝突時間Ｔは、オプティカルフローの算出誤差を考慮し、ある範囲を持った時間として算出される。

ここで、同一の移動物体の衝突時間Ｔは、その物体の部位により多少のずれはあるものの、道路上の一般的な検出対象（人、自転車、車両など）を考慮する限り、類似していると考えるのが自然である。従って、条件１，２によりグループ化された特徴点を対象として、各特徴点ごとに求めた衝突時間Ｔに関して、図８（ｃ）に示すように、衝突時間Ｔの類似判定を行う。すなわち、あらかじめ設定した時間幅ΔＴのエラーバーを与え、エラーバーの範囲で衝突時間Ｔが一致すれば衝突時間Ｔが類似すると判定し、エラーバーの範囲で衝突時間Ｔが一致しない特徴点があれば、グループから除外する。

このように、本実施形態では、グルーピングの条件として複数の条件を用いているので、アウトライアの除去をより確実に行うことができる。さらに、進路横断移動物体の衝突時間Ｔが明らかとなることにより、衝突時間の長短から、そのときの状況の緊急度合なども判別することが可能になる。

続くステップＳ１５０では、ステップＳ１４０のグルーピング処理によりグループ化された特徴点があるか否かを判定する。この判定処理において、グループ化された特徴点があると判定された場合には、車両の進路を横切る進路横断移動物体があるとみなし、ステップＳ１６０の処理に進む。一方、グループ化された特徴点がないと判定された場合には、再びステップＳ１００から上述した処理を繰り返す。

ステップＳ１６０では、制御装置３０に対して、運転者に対する警報や、車両において自動的に制動を行う制御などを実行するように指示され、それにより、制御装置３０は、警報や車両の制御を実行する。この警報処理において、検出されたグループの個数にしたがって、警報の態様を変化させてもよい。例えば、検出された進路横断移動物体の個数分だけ、警報音を鳴らしてもよい（３個の進路横断移動物体が検出された場合、「ピピピ、間、ピピピ、間、…」、と鳴らすなど。）。また、警報の煩わしさ回避のために警報音回数に上限を設けてもよい。あるいは、検出された進路横断移動物体の個数によって、警報音の周波数を変化させても良い。これらにより、運転者に対して、進路横断移動物体が存在するということだけでなく、その進路横断移動物体の数に関する情報も提供することができる。

また、同一グループの特徴点の衝突時間Ｔの平均値を算出し、これを、移動物体の衝突時間として、その衝突時間の長短によって警報の態様を変化させても良い。例えば、モニタによる警報装置の場合、衝突時間に応じてモニタ上の進路横断物体を囲う矩形の点滅速度を変化させたりしても良い。これにより、車両の運転者に対して、移動物体と衝突する可能性がある時間に関する情報も提供することができる。

１０ ビデオカメラ
２０ 画像処理ＥＣＵ
３０ 制御装置
１００ 移動体検出装置

Claims (9)

1. 車両の進行方向を撮影するように、車両に搭載される撮影手段と、
   前記撮影手段によって撮影された画像において、特徴点を抽出するとともに、抽出された各特徴点のオプティカルフローを算出するオプティカルフロー算出手段と、
   前記オプティカルフロー算出手段によって算出された各特徴点のオプティカルフローから、当該オプティカルフローの延長線上に存在する各特徴点の消失点を定める消失点算出手段と、
   前記撮影手段によって撮影された画像における無限遠点と前記撮像手段の焦点とを結ぶ線分と、前記各特徴点の消失点と前記撮像手段の焦点とを結ぶ線分がなす角度を、前記車両の進行方向に対する各特徴点の相対的進入角度として算出する角度算出手段と、
   前記角度算出手段によって算出された相対的進入角度が閾値以上である場合に、対応する特徴点により示される移動物体が、前記車両の進行方向を横切る移動物体であると判定する判定手段と、を備えることを特徴とする移動物体検出装置。
2. 前記消失点算出手段は、前記画像における無限遠点から水平に伸びる仮想の水平線と、前記オプティカルフローの延長線との交点を、前記各特徴点の消失点として求めることを特徴とする請求項１に記載の移動物体検出装置。
3. 少なくとも、前記消失点算出手段によって算出された各特徴点の消失点の位置から、同じ消失点を共有する特徴点同士を、同じ移動物体を示す特徴点としてグルーピングするグルーピング手段を備え、
   前記判定手段は、グルーピングされた特徴点によって示される移動物体に関して、前記車両の進行方向を横切る移動物体であるか否かを判定することを特徴とする請求項1又は２に記載の移動物体検出装置。
4. 前記車両の進行方向における、当該車両と各特徴点との距離がゼロとなるまでの衝突時間を、各特徴点について算出する衝突時間算出手段を備え、
   前記グルーピング手段は、前記衝突時間が所定の時間幅に属する特徴点同士を、同じ移動物体を示す特徴点としてグルーピングすることを特徴とする請求項３に記載の移動物体検出装置。
5. 前記グルーピング手段は、所定の距離範囲内に存在する特徴点同士を、同じ移動物体を示す特徴点としてグルーピングすることを特徴とする請求項３又は４に記載の移動物体検出装置。
6. 前記判定手段において、前記車両の進行方向を横切る移動物体との判定結果が得られたとき、前記車両の運転者に対して警報を発する警報手段を備え、
   前記警報手段は、前記判定手段によって前記車両の進行方向を横切る移動物体と判定された移動物体の数に応じて、警報の態様を変化させることを特徴とする請求項３乃至５のいずれかに記載の移動物体検出装置。
7. 前記判定手段において、前記車両の進行方向を横切る移動物体との判定結果が得られたとき、前記車両の運転者に対して警報を発する警報手段を備え、
   前記警報手段は、前記衝突時間判定手段により算出された衝突時間の長短に応じて、警報の態様を変化させることを特徴とする請求項４又は５に記載の移動物体検出装置。
8. 前記判定手段は、前記車両の進行方向を横切る移動物体として、前記撮像手段の焦点と無限遠点を結ぶ線分を延長したラインを横切る前の横断前移動物体と、横切った後の横断後移動物体とを判定することを特徴とする請求項１乃至７のいずれかに記載の移動物体検出装置。
9. 前記オプティカルフロー算出手段は、前記車両の運動に伴う前記撮影手段の回転方向の移動により生じるフロー成分を除去したオプティカルフローを算出することを特徴とする請求項１乃至８のいずれかに記載の移動物体検出装置。

Images