JP2007523427A

JP2007523427A - 通過車両をダイナミックなバックグランドから頑強な情報フュージョンを使用して検出するための装置および方法

Info

Publication number: JP2007523427A
Application number: JP2006554140A
Authority: JP
Inventors: コマニチドリン; ツゥイン; ペルコファーマーティン; コーラートルステン
Original assignee: Siemens AG; Siemens Corporate Research Inc
Current assignee: Siemens AG; Siemens Corporate Research Inc
Priority date: 2004-02-19
Filing date: 2005-02-11
Publication date: 2007-08-16
Also published as: US7248718B2; WO2005081189A1; EP1716540A1; DE602005003926T2; EP1716540B1; DE602005003926D1; US20050196020A1; KR20060112692A

Abstract

通過車両を検出するための装置および方法が開示される。複数の画像フレームを含みビデオシーケンスが受信される。画像強度が測定され、画像の動きが各画像フレームで評価される。バックグランドダイナミクスを表す仮説が定式化される。測定された画像強度と動き評価は、バックグランドダイナミクスが所定の画像フレームで妨害されているか否かの決定に使用される。バックグランドダイナミクスが妨害されている場合、バックグランドダイナミクスの妨害が通過車両によって引き起こされているか否かの決定に動き一貫性が使用される。

Description

関連出願の相互参照
本出願は、米国暫定出願番号60/545781、2004年2月19日出願の優先権を主張するものであり、この刊行物全体を参照する。

技術分野
本発明は、通過車両の検出装置および検出方法に関するものであり、より詳細には、通過車両をダイナミックなバックグランドから頑強な情報フュージョンを使用して検出する装置および方法に関する。

背景技術
マシン視覚ベースの障害物検出および追跡は、自律型車両システムでの重要な要素である。典型的な運転シーンでは、障害物は車両、歩行者、および道路面上を移動または起立するいずれかの対象物を含む。障害物検出の目的は、移動対象物を運転シーンから分離することであり、障害物は車両、歩行者、および道路面上を移動または起立するいずれかの対象物を含む。このような情報は多くの自動車適用で、例えば適応型クルーズコントロール、前方衝突回避および車線逸脱警告で必要とされる。個別対象物の検出および追跡結果を融合することにより、運転環境を十分に認知することができる。

運転者支援のために設計された単眼視覚システムでは、単一カメラが自車の内側に取り付けられており、前方道路シーンの連続画像をキャプチャする。視覚の中央野にある車両を検出するために種々の車両検出方法が開発された。このような方法は通過車両検出に使用することができる。通過車両検出では、自車の左または右を通過する車両、および高速で視野に入る車両が検出される。通過車両検出は、運転環境を理解する点で重要な役割を演じる。追い越し車両が引き起こし得る潜在的危険運転状況が存在するので、通過車両をモニタし、検出することが重要である。

通過車両はそれが視野に入る前に検出する必要があり、しかも部分的にしか可視でないから、出現情報を完全に信頼することはできない。しかし特徴的な光学的フローが通過車両により発生される。従って動き情報は、通過車両検出において重要な糸口となる。光学的フローを使用するいくつかの公知の障害物検出方法が通過車両検出に使用されている。これらの方法では、カメラパラメータと車両速度から計算された予測フローフィールドが、動き評価から計算された実際の画像フローと比較される。実際のフローが予測フローと一致しない場合に障害物が断定される。この方法は、強いノイズが存在せず、照明変化も存在しないときに良好に動作する。しかし特定の状況では、構造的ノイズおよび強い照明が存在するのはまったく一般的なものであり、これらはスプリアス画像フィーチャを引き起こし、フロー評価を信頼できないものにする。頑強に動き評価を行うことのできる通過車両検出方法が必要である。

発明の概要
本発明は、通過車両の検出装置および検出方法に関する。複数の画像フレームを含むビデオシーケンスが受信される。画像強度が測定され、画像の動きが各画像フレームごとに評価される。バックグランドダイナミクスを表す仮説モデルが定式化される。測定された画像強度と動きの評価は、バックグランドダイナミクスが所定の画像フレームで妨害されているか否かの決定に使用される。バックグランドダイナミクスが妨害されていれば、動き一貫性が使用され、バックグランドダイナミクスの妨害が通過車両によるものであるか否かが決定される。

図面の簡単な説明
次に、図面を参照しながら本発明の有利な実施形態について以下で詳しく説明する。図中、同じ要素には同じ参照符号が付されている。
図1は、本発明による、通過車両の検出装置のシステムブロック回路図である。
図2は、通過車両を示す、本発明の画像フレームのシーケンスを表す図である。
図3は、本発明による、通過車両の検出方法のフローブロックチャートである。
図4は、本発明の例としての画像フレームと、2つのサブウィンドウに通過車両の動き一貫性を示す図である。
図5は、本発明の状態遷移の許容経路を示す図である。
図6は、通過車両を検出するのに使用される本発明の検出ツリーを示す図である。
図7は、可変帯域幅密度フュージョンを使用して分析ウィンドウ内を検出する本発明の例を示す図である。
図8は、本発明による通過車両検出を示す図である。
図9は、極端な照明変化を受ける通過車両の検出を示す図である。
図10は、図9に示された画像フレ―ムに関連する、画像ミスマッチエラーとフロー評価データを示す線図である。

実施例
本発明は、バックグランドから通過車両を検出する装置および検出する方法に関する。図1は、本発明を実現するための装置のブロック回路図を示す。カメラ102が道路およびその周囲の画像をキャプチャするのに使用される。典型的な道路画像で予期されるように、画像は建物、樹木、および家のようなバックグランド画像と道路を走行する車両を含む。画像はプロセッサ104に供給される。プロセッサ104は画像強度と画像の動きを分析し、シーンダイナミクスにおける変化を検出する。変化が検出されると、本発明により仮説検査が実行され、シーン変化が通過車両によるものであるか否かが決定される。

加えて仮説検査は、シーン変化が通過車両によるものであり、ノイズ、照明変化、またはバックグランド運動による他の条件によるものではないことを実証するために実行される。通過車両が十分な一致レベルで識別されると、この車両は出力装置106を介して識別される。出力装置106は出力信号を供給し、この出力信号はユーザに通過車両の存在を指示する。この出力信号は音響信号、または他の形式の警報信号とすることができる。出力装置106は、検出された車両を表示するディスプレイを含むこともできる。ディスプレイは、カメラ102により撮影された画像を表示する。この画像は、検出され、追跡されている車両を指示するために強調される。この画像はデータベース108に記憶することができる。

本発明は、視野に入り、警報をトリガする車両のイベントをリアルタイムで検出するものである。とりわけ可変帯域幅密度フュージョンを使用する頑強な動き評価スキームが、通過車両の検出に使用される。これについては後で詳細に説明する。車両の通過は散発性のイベントであり、これはシーンの形状を時々変化させる。図2は、画像フレーム202-208のシーケンスを示し、これらの画像は適時に連続してキャプチャされる。車両210が時間t2-t3の間に視野に入ると、この車両は局所的フォアグランドレイヤーを形成し、このレイヤーは一時的に道路シーンをブロックする。画像出現と、サブウィンドウ212に配置されたエントリーポイント周囲の画像の動きの両方が道路シーンダイナミクスから逸脱する。通過車両の検出では、所定のエントリーポイント周囲のシーンダイナミクスにおける変化の検出が1つの側面である。

本発明によれば3つの問題が、通過車両の検出のために取り扱われる：すなわち、道路シーンおよび通過車両のダイナミクスのモデリング、通過車両検出および評価関連フィーチャに対する決定ルールの導出、および仮説検査に含まれる統計量が取り扱われる。この方法のハイレベルフローチャートが図3に示されている。道路シーンおよび通過車両のダイナミクスは、画像強度とエントリーポイント周囲の画像の動きをモデリングすることにより表される。車両通過のイベントに対して、車両運動に一時的一貫性がインポーズされる。画像強度と、エントリーポイントに配置された分析ウィンドウ内の画像の動きがモニタされる。分析ウィンドウ内のシーンダイナミクスの変化が検出される。仮説検査で使用される関連のパラメータは検出結果に応じて更新される。

通過車両が存在しなければ、視覚的道路シーン、すなわちバックグランドは視野内を、カメラが自車と共に移動するのと同じように一定に移動する。車両速度とカメラ距離が既知であれば、画像の動きとバックグランドシーンの画像強度は時間に関して予測可能である。言い替えると、バックグランドシーンはカメラパラメータとカメラの動きにより規定されるダイナミックモデルに従う。時間ｔでの画像強度をI(x,t)により、動きベクトルをv(x,t)により表す。ここでxは画像ピクセルの空間座標である。ダイナミックバックグランドの仮説は次のように表される：
Hroad: I(x+v(x, t)・δt, t-δt)=I(x,t) + n_I (1)
v(x, t) = h(x, Vo(t), θ)
真の画像の動きv(x, t)は、車両速度Voとカメラパラメータθにより表される。明度が一定の条件の下では、画像強度は真の動きにより定められる先行フレームから予測可能である。しかしながら、明度の一定性は実際には照明が変化するため頻繁に妨害を受ける。加えて、強度は種々の画像ノイズによっても影響を受ける。従ってノイズ項n_tが、強度の変動を考慮するために採用される。このシーンダイナミクスでの仮説は、領域固有の制限を有利に改善する。

通過車両が視野に入ると、バックグランドシーンのダイナミクスが妨害を受ける。式(1)からバックグランドダイナミクスの妨害を、画像強度と画像の動きについての仮説を検査することによって検出することができる。しかし妨害は車両通過以外の条件、例えば強い照明変化および構造的ノイズの下でも発生し得る。妨害が実際に通過車両により引き起こされたことを確認するために、同様に通過車両により引き起こされた領域固有の制限を利用することが必要である。

車両の出現と速度の多様性を考慮すると、通過車両のダイナミクスは車両運動に一貫性が存在することを強調することにより特徴付けられる。図4に示すように、動き一貫性を記述するために、通過車両の動きパターンが2つのサブウィンドウAとBにより研究される。これらのサブウィンドウは、通過車両が進むこととなる軌跡に沿っている。通過車両が視野に入ると、この車両はAまたはBに到着する。Bに到着する車両に対しては、この車両はAに最初に到着しなければならない。従ってバックグランドダイナミクスの妨害はサブウィンドウAで、サブウィンドウBより前に発生する。

反対にこのような一貫性は、シーンまたはバックグランドダイナミクスの妨害が、突然の照明変化、構造的ノイズおよび影のような不規則イベントの結果である場合には存在しない。従って、通過車両についてなされる仮説により、一貫性の動きを備えるイベントを、不規則イベントから区別することができる。不規則イベントは異常値とも称される。図5を参照すると、SAとSBがそれぞれサブウィンドウAとBの状態変数として示されている。Rは動きと強度が道路ダイナミクスに従う状態を表し、Vは道路ダイナミクスが妨害される状態を表す。

車両通過のイベントは、RRから始まりVVで終わるSASBの状態遷移の連続として表される。図5に示すように、一貫性イベントは、状態遷移の許容経路の集合によって区別される。
Ｈvehicle：ρ＝｛RR→VR→…→VV｝ (2)
通過車両の検出の際には、種々異なる状況、例えば道路シーン、異常値および車両が分析ウィンドウで遭遇する。決定ツリーはこれらの状況を、ツリー形態で表される一連の仮説検査をソートすることにより明瞭にする。図6は、通過車両を検出するのに使用される本発明の検出ツリーを示す図である。画像の動きおよび画像強度が、道路シーンのダイナミックモデルに対して検査される。一貫性検査は、シーンダイナミクスを妨害する状況で実行される。通過車両に対する決定ルールは次のように要約される：
(バックグランドダイナミクスが妨害される)∧(一貫性が満たされる) (3)
道路シーンの真の動きv(x,t)は式（１）により決められる。観察された画像の動きが評価されると、バックグランドダイナミクス上での仮説検査は次のように表現される：
(||v^(x,t)-v(x,t)||≧Tmotion)∨(||R(x,t)||≧Tresidual) (4)
であればバックグランドダイナミクスが妨害されている。
ここでR(x,t)＝I(x,t)・σt, t-σt)-I(x,t)は動き補償の余りであり、予測された画像と実際の画像とのミスマッチを反映する。動きと余りを検査することにより、すべての事例が2つの群に分類される。すなわちバックグランドダイナミクスに従う事例と、バックグランドダイナミクスを妨害する事例である。

さらなる検査が妨害事例を分類するために実行されるが、正確な初期分類のために状況を忠実に反映する信頼性のある動き評価v(x,t)を得ることが重要である。本発明は頑強な動き評価アルゴリズムを使用するものであり、このアルゴリズムは変数帯域幅密度フュージョン(VBDF)と空間時間的フィルタリングを使用する。

動き評価に信頼性がない場合、余り検査はバックグランドシーンの識別をサポートする。いくつかの事例で、バックグランドの存在は動きによって識別することができないが、残りの画像を検査することにより簡単に識別できる。閾値T_motion、T_residualは許容される状態遷移ρと同様に決定ツリー解決の一部である。これを解決するには2つの手段がある。すなわちオフライン学習とオンライン学習である。オンライン決定ツリー学習によって、システムはシーンダイナミクスの緩慢な変化に適合できるようになる。T_residualを例に取ると、オンライン学習は、オンラインで計算される余りデータ｛R(x, T), R(x, T-1), R(x, T-2),...}をモデル化することにより達成することができる。ノンパラメトリックな密度評価とモード検出技術をデータのクラスタ化に使用することができ、ガウス混合モデルを得ることができ、モデルを時間に関して更新することができる。オンラインで学習された混合モデルは、新たな観察R(x, T+1)から状況を予測するのに使用することができる。

一貫性検査は、バックグランドダイナミクスが妨害される状況で実行される。この検査の目的は、構造的ノイズおよび突然の照明変化によって引き起こされた異常値を除外することである。式(2)で通過車両に公式化された仮説から、決定ルールは次のように表現される：
通過車両
{…S_A(t-2)S_B(t-2), S_A(t-1)S_B(t-1), S_A(t)S_B(t)} ∈ P
異常値
{…S_A(t-2)S_B(t-2), S_A(t-1)S_B(t-1), S_A(t)S_B(t)} not∈ P (5)
上に説明したように、本発明は頑強な動き評価アルゴリズムを使用して、バックグランドダイナミクスが妨害されているか否かを決定する。明度が一定であると仮定すると、所定の画像位置に対する動きベクトルは次の線形式を解くことにより計算される。
∇xI(x,t)・v＝-∇tI(x,t) (6)
バイアスされる最小二乗解は次のとおりである：
v^＝（A^TA + βI）^-1A^Tb (7)
ここでAは、局所領域にある空間画像勾配∇x^Iにより定義されるマトリクスであり、ｂは時間的画像勾配∇x^Iで構成されるベクトルである。動き評価の不確実性を記述するために、その共分散は次のように定義される：

ここでNは局所領域のピクセル数、σ²は画像ノイズの評価された分散である。不信頼フロー評価は、大きなトレースを有する共分散マトリクスに関連する。この情報は頑強なフュージョンに対して重要である。

v^を計算するマルチスケール階層フレームワークとその共分散CはD.Comanisiu著、"Nonparametric information fusion for motion estimation", CVPR 2003, Vol. 1, pp. 59-66に記載されており、これを参考文献として取り入れる。すべての画像フレームに対して、初期動きベクトルが分析ウィンドウ内の種々の空間的位置で評価される。結果として、空間と時間の共分散｛v_x,t, C_x,t｝を有する動き評価のシーケンスが得られる。

初期動き評価は構造的ノイズと照明変化にセンシティブである。構造的ノイズと照明変化は動き評価に異常値を生じさせる。この異常値を克服するために、空間時間的フィルタリングが初期動き評価で実行される。これはいわゆる可変帯域幅密度フュージョン(VBDF)技術を用いて行われる。VBDFは、データの最有意ノードを位置決めすることのできる融合技術であり、異常値に対して頑強である。初期動き評価v_x,tと共分散C_x,tを、多重の空間および時間的位置x=｛x₁,…,x_n｝、t=｛T,T-1,…T-M｝で規定すれば、VBDFがT番目のフレームの分析ウィンドウ内で優勢な動きを得るために適用される。

VBDFは以下の平均シフト手続きによって実現される。最初にポイントごとに密度推定量が混合関数により定義される。

ここでa_x,tはデータセットでの重み付けスキームを定義し、K(v; v_i, C_i)は中心v_iと帯域幅C_iでのガウスカーネルである。位置ｖでの可変帯域幅平均シフトベクトルは次式により与えられる：

平均シフトベクトルの反復計算は、ｖからスタートし、局所最大値、すなわち密度評価のモードf(v; {v_x,t})に収斂する軌跡を回復する。
vo=v
v_j+1＝v_j+m(v_j) (j≧0)
ｖｊ→モード(v; {v_x,t, C_x,t}) ｊ→∞として (11)
f(v; {v_x,t, C_x,t})をマルチモードで処理するために、一連の分析帯域幅C^l _x,t=C_x,t + a_lI(a₀>a₁>…>0)が使用され、これにより多重平滑化密度評価f (v; {v_x,t,, C^l _x,t})が得られる。密度評価におけるモード数は、比較的に大きな分析帯域幅が採用されると低下する。初期スケールでa₀は、密度f (v;{v_x,t, C⁰ _x,t})が1つのモード、mode₀＝mode(v; {v_x,t, C⁰ _x,t})だけを有するような大きさにセットされる。このモードは、VBDFのスタートポイントvに対して不変である。次にモードポイントはスケールを介して伝播する。各スケールで、VBDFは最後のスケールから、現在のスケールに対するモードを位置決めする初期ポイントとして発見されたモードポイントを使用する。
mode_l = mode(mode_l-1; {v_x,t, C^l _x,t}) (l = 1,2,…) (12)
このモードポイントは最有意サンプル評価に、a_jが減少するにつれ収斂する。収斂ポイントは、フレームTの分析ウィンドウ内の優勢な動きを規定する。図7は、分析ウィンドウ内で結う瀬名動きを得るために使用するVBDFの2つの例を示す。すべてのフレームに対して初期動き評価は、分析ウィンドウ内の9つの等間隔位置で計算される。5つの連続フレームからの初期評価はVBDFへの入力として使用される。指数忘却がこれら初期動き評価を時間的に重み付けするために使用される。図7に示された結果は、フュージョンアルゴリズムが異常値に対して頑強であることを示す。

図8は、通過車両が検出された画像フレームの例を示す。各例は検出結果と、評価された動きベクトルを示す。見て分るとおり、種々の形状の車両が、視覚的照明変化、影および構造的ノイズに関係なく検出される。図9と10は、自車のフロントガラス上のキラキラによるノイズによって強く汚染されたビデオの検出結果を表す画像フレームを示す。構造的ノイズは、実際のフローと、それらの予測からの画像との大きなミスマッチを引き起こす。

ここで付言しておくと、通過車両の検出方法に対する実施例についてこれまで述べてきたけれども、当業者であれば上述の説明に基づき種々の変形を施すことができる。したがって、特許請求の範囲に記載された本発明の枠内にある既述の個々の実施形態において変更を行えることは自明である。

図1は、本発明による、通過車両の検出装置のシステムブロック回路図である。図2は、通過車両を示す、本発明の画像フレームのシーケンスを表す図である。図3は、本発明による、通過車両の検出方法のフローブロックチャートである。図4は、本発明の例としての画像フレームと、2つのサブウィンドウに通過車両の動き一貫性を示す図である。図5は、本発明の状態遷移の許容経路を示す図である。図6は、通過車両を検出するのに使用される本発明の検出ツリーを示す図である。図7は、可変帯域幅密度フュージョンを使用して分析ウィンドウ内を検出する本発明の例を示す図である。図8は、本発明による通過車両検出を示す図である。図9は、極端な照明変化を受ける通過車両の検出を示す図である。図10は、図9に示された画像フレ―ムに関連する、画像ミスマッチエラーとフロー評価データを示す線図である。

Claims

通過車両を検出する方法であって、
複数の画像フレームからなるビデオシーケンスを受信するステップ；
各画像フレームにおいて画像強度を測定し、画像の動きを評価するステップ；
バックグランドダイナミクスを表す仮説モデルを定式化するステップ；
測定された画像強度と動きの評価を使用して、バックグランドダイナミクスが所定の画像フレームで妨害されているか否かの決定するステップ；
バックグランドダイナミクスが妨害されていれば、動き一貫性を使用して、バックグランドダイナミクスの妨害が通過車両によるものであるか否かを決定するステップ；
以上のステップを有することを特徴とする方法。
請求項1記載の方法であって、
バックグランドダイナミクスを表す仮説モデルは、画像強度についての仮説と、画像の動きについての仮説を含む方法。
請求項1記載の方法であってさらに：
測定された画像強度と予測される画像強度との差が閾値よりも上の場合に、バックグランドダイナミクスが妨害されたことを決定するステップを有する方法。
請求項3記載の方法であって、
予測される画像強度は、バックグランドダイナミクスを表す仮説モデルによって決定される方法。
請求項3記載の方法であって、
予測される画像の動きは、自車の動きとカメラパラメータによって決定される方法。
請求項3記載の方法であって、
測定された画像の動きは、頑強な動き方法によって得られる方法。
請求項3記載の方法であってさらに：
測定された動きのうち、妨害されたバックグランドダイナミクスに関連する動きが動き一貫性を有するか否かを決定するステップ；
動き一貫性が存在する場合、妨害は通過車両によるものであると決定するステップ；
を有する方法。
請求項7記載の方法であって、測定された動きのうち、妨害されたバックグランドダイナミクスに関連する動きが動き一貫性を有するか否かを決定するステップはさらに：
第1サブウィンドウと第2サブウィンドウを、バックグランドダイナミクスが妨害された画像フレームに適用し、動きのシーケンスが妨害を引き起こすか否かを決定するステップ；
妨害されたバックグランドダイナミクスの動きの軌跡を、どちらのサブウィンドウが最初に、画像の動きにおける変化を指示したかを決定することによって決定するステップ；
第1サブウィンドウが画像の動きにおける変化を最初に受けた場合、バックグランドダイナミクスの妨害は通過車両によって生じたものであると決定するステップ；
を有する方法。
請求項8記載の方法であって、
第1サブウィンドウおよび第2サブウィンドウにおける動きは、頑強な評価方法を使用して測定する方法。
請求項9記載の方法であって、
頑強な動き評価は、画像フローと、マルチ画像フレームに関連する分析ウィンドウ内の離散的サンプリングポイントにおける前記画像フローの共分散を計算することによって実行される方法。
請求項9記載の方法であって、
頑強な動き評価は、動きフローと、離散的サンプリングポイントにおける当該動きフローの共分散を指数的に重み付けすることによって実行される方法。
請求項9記載の方法であって、
頑強な動き評価は、離散的サンプリングポイントにおける画像フローを空間時間的フィルタリングすることによって実行される方法。
請求項12記載の方法であって、
空間時間的フィルタリングは、可変密度帯域幅フュージョンとマルチスケール平均シフトを使用して実行される方法。
請求項13記載の方法であって、
可変密度帯域幅フュージョンとマルチスケール平均シフトは異常値を破棄し、最有意サンプル評価を見出す方法。
請求項13記載の方法であって、
第1分析ウィンドウと第2分析ウィンドウで測定された動きは、可変密度帯域幅フュージョンとマルチスケール平均シフトにより得られた最有意サンプル評価によって決定される方法。
請求項1記載の方法であって、
ビデオシーケンスは自車に取り付けられたカメラから受信される方法。
請求項1記載の方法であって、
動きの軌跡は、自車の車両速度とカメラパラメータを使用して決定される方法。
通過車両を検出する装置であって、バックグランドダイナミクスの画像フレームのビデオシーケンスをキャプチャするための少なくとも1つのカメラと、該少なくとも1つのカメラと通信するプロセッサとを有し、
該プロセッサは次のステップを実行する：
i)各画像フレームにおいて画像強度を測定し、画像の動きを評価するステップ；
ii)バックグランドダイナミクスを表す仮説モデルを定式化するステップ；
iii)測定された画像強度と動きの評価を使用して、バックグランドダイナミクスが所定の画像フレームで妨害されているか否かの決定するステップ；
iv)バックグランドダイナミクスが妨害されていれば、動き一貫性を使用して、バックグランドダイナミクスの妨害が通過車両によるものであるか否かを決定するステップ；
ことを特徴とする装置。
請求項18記載の装置であって、
バックグランドダイナミクスを表す仮説モデルは、画像強度についての仮説と、画像の動きについての仮説を含む装置。
請求項18記載の装置であって、プロセッサはさらに次のステップを実行する：
測定された画像強度と予測される画像強度との差が閾値よりも上の場合に、バックグランドダイナミクスが妨害されたことを決定するステップを実行する装置。
請求項20記載の装置であって、
予測される画像強度は、バックグランドダイナミクスを表す仮説モデルによって決定される装置。
請求項20記載の装置であって、
予測される画像の動きは、自車の動きとカメラパラメータによって決定される装置。
請求項20記載の装置であって、
測定された画像の動きは、頑強な動き方法によって得られる装置。
請求項20記載の装置であって、プロセッサはさらに次のステップを実行する：
測定された動きのうち、妨害されたバックグランドダイナミクスに関連する動きが動き一貫性を有するか否かを決定するステップ；
動き一貫性が存在する場合、妨害は通過車両によるものであると決定するステップ；
を実行する装置。
請求項24記載の装置であって、
測定された動きのうち、妨害されたバックグランドダイナミクスに関連する動きが動き一貫性を有するか否かを決定するステップはさらに：
第1サブウィンドウと第2サブウィンドウを、バックグランドダイナミクスが妨害された画像フレームに適用し、動きのシーケンスが妨害を引き起こすか否かを決定するステップ；
妨害されたバックグランドダイナミクスの動きの軌跡を、どちらのサブウィンドウが最初に、画像の動きにおける変化を指示したかを決定することによって決定するステップ；
第1サブウィンドウが画像の動きにおける変化を最初に受けた場合、バックグランドダイナミクスの妨害は通過車両によって生じたものであると決定するステップ；
を有する装置。
請求項25記載の装置であって、
第1サブウィンドウおよび第2サブウィンドウにおける動きは、頑強な評価方法を使用して測定する装置。
請求項26記載の装置であって、
頑強な動き評価は、画像フローと、マルチ画像フレームに関連する分析ウィンドウ内の離散的サンプリングポイントにおける前記画像フローの共分散を計算することによって実行される装置。
請求項26記載の装置であって、
頑強な動き評価は、動きフローと、離散的サンプリングポイントにおける当該動きフローの共分散を指数的に重み付けすることによって実行される装置。
請求項26記載の装置であって、
頑強な動き評価は、離散的サンプリングポイントにおける画像フローを空間時間的フィルタリングすることによって実行される装置。
請求項29記載の装置であって、
空間時間的フィルタリングは、可変密度帯域幅フュージョンとマルチスケール平均シフトを使用して実行される装置。
請求項30記載の装置であって、
可変密度帯域幅フュージョンとマルチスケール平均シフトは異常値を破棄し、最有意サンプル評価を見出す装置。
請求項30記載の装置であって、
第1分析ウィンドウと第2分析ウィンドウで測定された動きは、可変密度帯域幅フュージョンとマルチスケール平均シフトにより得られた最有意サンプル評価によって決定される装置。
請求項18記載の装置であって、
ビデオシーケンスは自車に取り付けられたカメラから受信される装置。
請求項18記載の装置であって、
動きの軌跡は、自車の車両速度とカメラパラメータを使用して決定される装置。