JP2014011797A - 通路の交差点上の静止物体の検出（方法、システム、および、プログラム） - Google Patents

Abstract

【課題】 通路の交差点上の静止物体の存在を自動的に検出すること。
【解決手段】 前景物体画像特徴が、背景減算マスクの適用により入力ビデオから抽出され、オプティカルフロー画像特徴が、抽出された前景物体画像特徴により定められる入力ビデオ画像データの領域から抽出される。推定された動き特徴が、下位物体が動いていることを示した場合、下位物体の支配的移動方向が判定される。支配的移動方向が第２の交差通路の向きと平行である場合には、静止物体が交差する第２の通路上の通行を妨害していることを示すイベント警報は生成されない。推定された動き特徴が、下位物体が静止していることを、又は判定された支配的移動方向が第２の通路と平行ではないことを示す場合には、前景物体領域の外観が判定され、前景物体領域が抽出された前景物体画像特徴を含んでいる間、静止状態タイマが稼働する。
【選択図】 図１

Description

本発明の実施形態は、鉄道線路上で平面交差する車道の交差点を含む、通路の交差点内の静止物体の存在を自動的に検出するためにコンピュータビジョン技術を適用することに関する。

平面交差、すなわち鉄道線路と車道及び歩道との交差点には安全上の問題がある。動いている鉄道列車は大きな慣性を有しており、通常、停止するまでに長い移動距離を必要とする。線路上の故障車両及び平面交差上に放置されたその他の静止物体は、深刻な交通安全上の脅威をもたらし、動いている鉄道列車とそうした物体との衝突により引き起こされる事故は、往々にして生命及び財産の著しい損失をもたらす。典型的には、列車の機関士が、平面交差上の物体が静止しており動いている列車に衝突することになると認識する頃には、衝突を回避するよう措置を講じて列車を停止させるには遅すぎる。

従って、そのような平面交差内に位置する静止物体によって引き起こされる衝突の危険を判断するために様々な自動警報システムが提案され又は実施されている。このようなシステムは、列車の運転手又は交差点から離れたところにいるその他の関係者に対して十分に早く警告を与え、人員を平面交差に派遣して物体を除去させる、又は列車の機関士に通知して列車が交差点に進入する前に停止するように列車を停止させ始めるなどの回避措置を可能にすることができる。しかしながら、そのような早期警告システムには様々な限界がある。例えば、そのようなシステムの能力は、交差点のビデオフィードを検閲し、問題の位置を突き止めて排除するのに必要な決定を下すのに人間の知覚に頼ることによる限界があり得る。膨大なカメラ配列から得られるビデオ場面を見張るために利用することができる人員の数は、一般に予算及びその他のリソースの制限により限られ、そしてまた１人の人間の監視者が所与のビデオ画面内の脅威を知覚する能力にも同様に限界がある。監視ビデオを見張るプロセスはリソースを消費するものであり、保安要員の雇用には高い費用がかかり、また、そのようなシステムが関心事象を検出する効率も人間の理解力の制約による限界がある。

インテリジェント視覚的監視の分野では、この問題に対して、コンピュータビジョン技術を適用して、線路上に存在するビデオストリーム内で可視の特定の静止物体を自動的に検出することにより対処しようとしている。しかしながら、このようなシステムの実世界条件における有効性には限界があり、フォールスポジティブ検出率の高さ又は真の事象の検出精度が低率であることがこのようなシステムの有用性及び信頼性を制限することがある。

本発明は、通路の交差点上の静止物体の存在を自動的に検出することを目的とする。

本発明の実施形態において、方法は、第１の通路と第２の通路との平面交差のシーンからの入力ビデオ画像データにコンピュータビジョン技術を適用して、第１の通路と第２の通路との交差点内の静止物体の存在を自動的に検出する。より具体的には、処理装置は、背景減算マスクの適用により前景物体画像特徴を抽出し、かつ、抽出された前景物体画像特徴により定められる入力ビデオ画像データの領域からオプティカルフロー画像特徴を抽出して、有形データストレージ媒体に記録する。処理装置は、前景物体画像特徴の動き特徴を推定することにより、抽出された前景物体画像特徴の「下位物体（ｕｎｄｅｒｌｙｉｎｇ ｏｂｊｅｃｔ）」が動いているか又は静止しているか判断する。推定された動き特徴が、下位物体が動いていることを示した場合には、処理装置は、下位物体の支配的移動方向を抽出されたオプティカルフロー画像特徴の関数として判定する。下位物体の判定された支配的移動方向が第１の通路に交差した第２の通路の向きと平行である場合には、プロセスはリセットされ、静止物体が交差する第２の通路上の通行を妨害していることを示すイベント警報は生成されない。推定された動き特徴が、下位物体が静止していることを示すか、又は、その物体が動いており、かつ、第２の通路の向きと平行でない下位物体の判定された支配的移動方向を有することを示す場合には、前景物体領域の初期外観が判定され、静止状態タイマが開始され稼働され、このタイマは、前景物体領域が抽出された前景物体画像特徴を含んでいる間、稼働するものである。従って、イベント警報は、開始された静止状態タイマが、判定された前景物体領域の外観が抽出された前景物体画像特徴を含んでいる間に閾値に達した場合に、生成される。

別の実施形態において、システムは、処理装置と、コンピュータ可読メモリと、プログラム命令を有する有形のコンピュータ可読ストレージ媒体とを有し、処理装置は、格納されたプログラム命令を実行すると、第１の通路と第２の通路との平面交差のシーンからの入力ビデオ画像データにコンピュータビジョン技術を適用して、第１の通路と第２の通路との交差点内の静止物体の存在を自動的に検出する。より具体的には、処理装置は、背景減算マスクの適用により前景物体画像特徴を抽出し、かつ、抽出された前景物体画像特徴により定められる入力ビデオ画像データの領域からオプティカルフロー画像特徴を抽出して、有形データストレージ媒体に記録する。処理装置は、前景物体画像特徴の動き特徴を推定することにより、抽出された前景物体画像特徴の下位物体が動いているか又は静止しているか判断する。推定された動き特徴が、下位物体が動いていることを示した場合には、処理装置は、下位物体の支配的移動方向を抽出されたオプティカルフロー画像特徴の関数として判定する。下位物体の判定された支配的移動方向が第１の通路に交差した第２の通路の向きと平行である場合には、プロセスはリセットされ、静止物体が交差する第２の通路上の通行を妨害していることを示すイベント警報は生成されない。推定された動き特徴が、下位物体が静止していることを示すか、又はその物体が動いており、かつ、第２の通路の向きと平行でない下位物体の判定された支配的移動方向を有することを示す場合には、前景物体領域の初期外観が判定され、静止状態タイマが開始され稼働され、このタイマは、前景物体領域が抽出された前景物体画像特徴を含んでいる間、稼働するものである。従って、イベント警報は、開始された静止状態タイマが、判定された前景物体領域の外観が抽出された前景物体画像特徴を含んでいる間に閾値に達した場合に、生成される。

別の実施形態において、プログラム（製品）は、コンピュータ可読プログラム・コードが具体化された有形のコンピュータ可読ストレージ媒体を有し、コンピュータ可読プログラム・コードは命令を含み、この命令は、コンピュータ処理装置により実行されると、コンピュータ処理装置が、第１の通路と第２の通路との平面交差のシーンからの入力ビデオ画像データにコンピュータビジョン技術を適用して、第１の通路と第２の通路との交差点内の静止物体の存在を自動的に検出するようにさせる。より具体的には、処理装置は、背景減算マスクの適用により前景物体画像特徴を抽出し、かつ、抽出された前景物体画像特徴により定められる入力ビデオ画像データの領域からオプティカルフロー画像特徴を抽出して、有形データストレージ媒体に記録する。処理装置は、前景物体画像特徴の動き特徴を推定することにより、抽出された前景物体画像特徴の下位物体が動いているか又は静止しているか判断する。推定された動き特徴が、下位物体が動いていることを示した場合には、処理装置は、下位物体の支配的移動方向を抽出されたオプティカルフロー画像特徴の関数として判定する。下位物体の判定された支配的移動方向が第１の通路に交差した第２の通路の向きと平行である場合には、プロセスはリセットされ、静止物体が交差する第２の通路上の通行を妨害していることを示すイベント警報は生成されない。推定された動き特徴が、下位物体が静止していることを示すか、又は、その物体が動いており、かつ、第２の通路の向きと平行でない下位物体の判定された支配的移動方向を有することを示す場合には、前景物体領域の初期外観が判定され、静止状態タイマが開始され稼働され、このタイマは、前景物体領域が抽出された前景物体画像特徴を含んでいる間、稼働するものである。従って、イベント警報は、開始された静止状態タイマが、判定された前景物体領域の外観が抽出された前景物体画像特徴を含んでいる間に閾値に達した場合に、生成される。

本発明のこれら及び他の特徴は、添付の図面と関連して解釈される以下の本発明の種々の態様の詳細な説明からより容易に理解されるであろう。

コンピュータビジョン技術を適用して通路の交差点内の静止物体の存在を自動的に検出する本発明の実施形態のブロック図である。 本発明の実施形態による、通路の交差点シーンからの画像データのコンピュータビジョン技術解析を示す写真及びグラフ図である。 本発明による、検出される物体ブロブの可能な移動の２Ｄ回転方向に関して割り当てられた対応する番号付き方向矢印について与えられた方向ヒストグラムのグラフ図である。 本発明の実施形態による、通路の交差点シーンからの画像データのコンピュータビジョン技術解析を示す写真及びグラフ図である。 本発明による、抽出されたデータ値に対する物体の状態の関係のグラフ図である。 本発明の実施形態のコンピュータシステムの実装形態のブロック図である。

図面は、必ずしも縮尺通りに描かれているわけではない。図面は、単なる概略的表現であり、本発明の特定のパラメータを描写することを意図したものではない。図面は、単に本発明の典型的な実施形態を示すことを意図したものであり、従って本発明の範囲を限定するものとみなすべきではない。図中、同様の符号は同様の要素を表わす。

当業者であればわかるように、本発明の態様は、システム、方法又は「コンピュータ・プログラム」（製品）として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形式を取ることができ、これらは全て本明細書において一般的に「回路」、「モジュール」又は「システム」と呼ばれる。さらに、本発明の態様は、具体化されたコンピュータ可読プログラム・コードを有する１つ又は複数のコンピュータ可読媒体において具体化されたコンピュータ・プログラム（製品）の形式を取ることができる。

１つ又は複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁、赤外線若しくは半導体のシステム、装置、若しくはデバイス、又はこれらの任意の適切な組み合わせとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、１つ又は複数の配線を有する電気接続、携帯型コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。本文書の文脈においては、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスにより又はこれらとの関連で用いられるプログラムを収容し又は格納することができる任意の有形媒体とすることができる。

コンピュータ可読信号媒体は、ベースバンドにおいて又は搬送波の一部として、コンピュータ可読プログラム・コードが具体化された伝搬データ信号を含むことができる。こうした伝搬信号は、電磁気、光又はこれらの任意の適切な組み合わせを含むが、これらに限定されない、様々な形式のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、かつ、命令実行システム、装置若しくはデバイスにより又はこれらとの関連で用いられるプログラムを通信し、伝搬し、又は搬送することができる、任意のコンピュータ可読媒体とすることができる。

コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、ＲＦ等、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない、任意の適切な媒体を用いて送信することができる。

本発明の態様についての動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラム言語及び「Ｃ」プログラム言語又は同様のプログラム言語等の従来の手続き型言語を含む、１つ又は複数のプログラム言語の任意の組み合わせで記述することができる。プログラム・コードは、全体をユーザのコンピュータ上で実行するか、独立型ソフトウェア・パッケージとして一部をユーザのコンピュータ上で実行するか、一部をユーザのコンピュータ上で実行し一部をリモート・コンピュータ上で実行するか、又は、全体をリモート・コンピュータ若しくはサーバ上で実行することができる。後者のシナリオにおいては、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続することができ、又は外部コンピュータへの接続を（例えば、インターネット・サービス・プロバイダを用いてインターネットを通じて）構築することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム（製品）のフローチャート及び／又はブロック図を参照して以下で説明される。フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図のブロックの組み合わせは、コンピュータ・プログラム命令により実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生成し、コンピュータ又は他のプログラム可能データ処理装置のプロセッサにより実行された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実施するための手段を生成するようにさせることができる。

また、これらのコンピュータ命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスが特定の様式で機能するように指令することができるコンピュータ可読媒体に格納し、それにより、そのコンピュータ可読媒体に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装する命令を含むプログラム（製品）を製造するようにさせることもできる。

また、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスにロードして、そのコンピュータ、他のプログラム可能データ処理装置、又はその他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実施するためのプロセスを提供するようにすることもできる。

インテリジェント視覚的監視は、コンピュータビジョン技術を適用して、ビデオストリームデータ内の特定の事象を自動的に検出すること、例えば平面交差シーン内で線路を横断する静止又は移動物体を検出することなどを包含する。しかしながら、線路交差点の環境は、自動化ビデオ監視の実施に対して多くの課題を提示する。例えば、幾つかの従来技術の手法は、動作検出警報又はトリップワイヤ警報を設定して移動物体を捕捉するといった直接的な物体の検出及び追跡プロセスに背景モデリングを用いる。これらの背景モデリング技術の性能は、後続の画像フレーム内で注目シーンが遭遇する可変の照明条件、例えば、そのシーンを通って移動するヘッドライトによって生じる照明の変化、ヘッドライト又はその他の光源をフレーム毎に一時的に遮る列車車両又はその他の移動物体の間欠的な妨害による照明の変化、及び、雨、反射、影などの環境条件の変化による照明の変化などに起因して信頼性が低いか又は誤りを犯しやすいことがある。

通過列車の機関車又は貨車と類似の大きさ又は外観を有する線路横断中の大型車もまた、自動化プロセスが横断中の自動車を列車の貨車及び機関車から首尾よく区別することに関して困難をもたらすことがある。幾つかの手法は、対象物のクラシファイアを直接的に構築して、シーン内の横断中の自動車又は列車車両の場所を突き止めるが、これらの方法は、可能性のあるすべての自動車又は列車車両の型式及びモデルを網羅することはできないかもしれないという意味で拡張性の問題に直面する。２次元（２Ｄ）背景モデリング手法にも限界があり、一般に列車とトレーラトラック及び／又はバスのような大型車とを高信頼で区別することができない。

図１は、コンピュータビジョン技術を適用して通路の交差点内の静止物体の存在を自動的に検出するための、本発明による方法、システム又はプロセスの１つの実施形態を示す。１０４において、「第１の通路（例えば道路）」と「第２の通路（例えば線路）」との平面交差シーンからの入力ビデオ画像データ１０２に応答して、入力ビデオフレーム１０２から２つのタイプの特徴データが抽出され、有形データストレージ媒体１０３に記録される。第１の前景物体画像特徴は、背景減算マスク（ＢＧＳ（ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）マスクと呼ばれることもある）の適用により抽出される。幾つかの実施形態において、これは混合ガウス分布モデル法に基づいて決定されるが、その他の方法によって実行することもできる。このＢＧＳマスクは、シーンの関心領域（ＲＯＩ、ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の内側のピクセルが背景設定に属するのか（従ってゼロでマークされる）又は前景物体とされるのか（１でマークされる）を示す。このマスクは一般に物体ブロブを実際の「下位物体（ｕｎｄｅｒｌｙｉｎｇ ｏｂｊｅｃｔ）」の上位集合として定義するが、その理由は、物体ブロブが物体並びに物体の影及び幾らかの周囲エリアの両方をカバーするからである。

１０４において抽出される第２の特徴はオプティカルフローであり、これは連続するフレーム間での各ピクセルの動きについての密なフローマップであり、これは一般に、抽出された前景ブロブデータと同一の広がりをもつ又はこれにより定められる入力ビデオ画像データの部分又は領域からのみ抽出される。図２は、下位物体（自動車２０５）を含むよう示されたビデオフレーム画像シーン２０６の関心領域の範囲を定めるブロブ２０４から抽出された、密なオプティカルフロー・フィールド２０２の一例を示す。ピクセル「ｐ」のオプティカルフィールドは、一般に運動ベクトル（ｕ＿ｐ，ｖ＿ｐ）として表すことができ、ここで「ｕ＿ｐ」は「ｐ」のオプティカルフローベクトルのｘ成分（又は水平成分）を表わし、「ｖ＿ｐ」は通常、フローベクトルのｙ成分（又は垂直成分）を表わす。連続するフレームにわたってピクセルが静止している場合には、そのオプティカルフローは（０，０）となり、密なオプティカルフロー・フィールド２０２における明るい領域２０８により示され、静止していない場合には、（ｕ＿ｐ，ｖ＿ｐ）は非ゼロ値を有することになり、暗い領域２１０により示される。幾つかの実施形態は、変分フロー法を用いてオプティカルフローを計算するが、種々の方法を実行してオプティカルフロー特徴を計算することができる。

１０４においてＢＧＳマスクプロセスにより抽出された前景データ特徴は、サイズ及びアスペクト比を有する定められた領域内で前景ブロブを一般に定める。関心のある静止物体のサイズ又はアスペクト比に合致しないサイズ又はアスペクト比を有するブロブは、ユーザ指定の基本設定に従って１０６における前置フィルタリング段階でフィルタにかけられて除外され、一例において、ビデオ画像シーンの縮尺内で横断中の歩行者又は車と合致するには小さすぎるブロブ、又は可能性のある最大限のトラック又はバスであるとしても大きすぎるブロブ等が除去される。１０６におけるアスペクト比の前置フィルタリングは、変わった形状を有するブロブ、例えばアスペクト比が３より大きいブロブ、又は検出されたブロブにより表わされる物体が車、歩行者又はその他の横断中の関心物体ではなさそうであることを示す何らかのその他の形状属性を有するブロブは例外として除去される。従って、前置フィルタリング・ステップ１０６は、他の従来技術プロセスにおいては擬似警報をトリガしかねないスプリアスデータ及び明らかに誤った検出の入力をデータ解析におけるいずれかの早い時点で除去して、改善された効率をもたらす。

従って、前置フィルタを通過した前景ブロブが１０６において検出された場合、プロセスは、検出された前景ブロブ内に下位物体が存在すると判断し、その下位物体が動いているかどうかを１１０において前景ブロブの動き特徴を推定することにより判断する。本実施形態においては、前景ブロブのフレームデータから、累積オプティカルフロー統計量がオプティカルフローのヒストグラムとして１１０において収集され、このヒストグラムは、物体を含むＢＧＳ前景領域の「静止」エリアを表わす、オプティカルフロー絶対値がゼロであるピクセルの頻度を表わす第１のビンと、それぞれの方向に各々が向いたオプティカルフローを有するピクセルの頻度を表わす複数のその他のビンとを含む。

図３は、１から８までの方向ヒストグラムが、検出される物体ブロブの可能な移動の２Ｄ回転方向に関して４５度の増分で割り当てられた対応する番号付き方向矢印について与えられた１つの実施形態を示す（８つの方向矢印は各々、物体がその上を移動する表面に対して概ね平行である）。他の実施形態は、より多くの又はより少ない方向ヒストグラムを利用することができることが理解されるであろう。一般に、ヒストグラムデータは、１１０においてＢＧＳマスクエリア２０４（図２）上においてのみ収集され、１つの態様において、これは物体の隣接エリアによって導入されるノイズを最小化するためである。物体の静止エリアが、ＢＧＳ前景マスクが寄与する合計エリアに近い（ほぼ同じか又はそれより大きい）場合には、その物体は静止状態にあると１１０において宣言され、そうでない場合（第１のビンのエリアがその他のビンの合計エリア未満である場合）には、前景ブロブによって表わされる物体は動いているとみなされる。

移動物体。１１０において、物体が動いていると判断された場合には、その支配的な移動方向が１１２において判断される。一例において、支配的移動方向は、そのすべてのオプティカルフローすなわち異なる方向のビンの各々の方向ビンの頻度の算術平均として計算され、これが図４に示される平均フロー矢印判定４０２を生成する。他の実施形態は、他の技法又は重み付けスキームを用いることができる。１１４において、判定された支配的移動方向４０２が交差通路の向き（本例においては線路４０４）と比較され、その物体が平行方向に移動しているか否かが判断される。４０２が４０４と平行であるならば、そのことは、検出された下位物体は通路（列車の線路）を横断しているのではなく、おそらく交差通路上を移動する物体、要するに線路に沿って移動している列車車両又はその他の鉄道車両であることを示すことになる。従って、この物体が横断中に静止してしまうことに関する懸念はなく、この物体についてのさらなる考慮又は解析は中止することができ、プロセスは１１５においてリセットされ、１０４における入力ビデオ画像１０２のさらなる解析のために開始に戻る。

しかしながら、１１４においてターゲット物体の支配的移動方向４０２が列車の線路の向き４０４と平行ではないと判断された場合には、物体を追跡して、その物体が動き続けるか（交差点を通過して前進することにより交差点をから離れるため）又はその代りに平面交差エリア内で停止（静止）することになるか判断するために、ブロブの解析が１１６において継続する。

静止物体。１１６において、前景物体の関心領域の外観を判定し、静止状態タイマをトリガして、抽出された前景物体画像特徴の下位物体ブロブが静止したままであり前景物体領域の判定された外観が固定したままであるか（より具体的には、交差エリア内にあり、従って衝突の危険を引き起こす可能性があるか）が判断される。このプロセスは、１１０における交差点内の静止物体の存在の判定に対して応答するものであり、また１０８において物体（動いているものもそれ以外のものも）の存在が示されない場合にもトリガすることができる。１つの実装においては、１１６において色ヒストグラムが用いられ、物体の静止領域上に適用される。さらに、物体の静止領域は、直近の静止ピクセルを含むように１１６において更新される。これがその物体が静止している状態の（ピクセルデータの更新後）最初の観察である場合には、タイマが開始される。そうではなく、その前の静止状態の静止観察が最後の（現在の）ピクセルデータ更新の以前に行われていた場合には、既に開始していたタイマが継続される。タイマは、前景物体領域の判定された外観が抽出された前景物体画像特徴を含んでいる間は、１１８においてタイマ値がユーザ定義の時間閾値を満たすまで稼働し、このとき下位物体は少なくとも選択された閾値時間にわたって交差エリア内で静止したままであり、是正処置を取るべきであることを示す。それに応じて、平面交差領域内の停止／放置物体を示すイベントが１１９においてトリガされる。

混合物体。「混合物体（ｂｌｅｎｄｅｄ ｏｂｊｅｃｔ）」は、長時間静止していることにより背景の一部である（又は「背景に癒合した（ｈｅａｌｅｄ ｉｎｔｏ）」）とＢＧＳモジュールが判断してしまう前景物体を指し、このことはＢＧＳ法に共通する避けられない問題であり、交差エリア内に物体が存在しないという偽の判断をもたらしかねない。図５に示されるように、物体がビデオ画像データ内のシーンに入る前は、特徴抽出プロセス（例えば、図１の１０４における）からの出力は前景物体データを見出さず（「ｎｏ ＦＧ」）、有意な又は閾値レベルのオプティカルフローデータも見出さない（「ｎｏ ＯＦ」）。物体がシーンに入ると、プロセスは１０４においてブロブデータから生成されたＦＧ及びＯＦの両データを通じて物体の存在を判断する。物体が停止して静止したままであれば、ＯＦデータは静止状態に移行し、本質的に「ｎｏ ＯＦ」であり、その一方でＢＧＳプロセスは物体を「見」続ける（ＦＧデータは依然として存在する）。しかしながら、１１８において静止状態タイマの閾値をトリガするのに十分な時間にわたってシーン内で静止したままの物体が、１１８においてタイマ判定を満足させて１１９においてイベント警報がトリガされる前に、背景に「癒合し」又はとけ込む（ｌｅａｒｎｅｄ ｉｎｔｏ）場合もある。従来技術の手法の下では、ＦＧデータが背景に癒合した場合には、抽出されたデータはタイマが静止状態閾値に到達する前の時点でもはや物体の存在を示さなくなり、従ってタイマは稼働を停止し、閾値時間を満たさないことになるので、１１９においてイベント警報をトリガし損ねる。

本発明の実施形態は、この問題に対して、予め記録された静止領域の外観データを抽出し、抽出されたデータを用いて、１１８でトリガされたタイマが稼働している間に１２０において画像の現在領域の外観を計算することによって対処する。これら２つの外観が類似しており（これらが１２２においてある距離尺度閾値内で合致する）、かつ、静止物体の存在が１０８において前もって判定されていた場合には、プロセスは、たとえその物体データが１２０における現在領域外観の判定の時点で介在期間中に背景に癒合したとしても、１１６において初期判定された外観内に前景物体が依然として存在していると判断する。図５に示されるように、ＢＧＳデータはＦＧから背景に移行せずに「静止」に移行し、さもなければ背景に癒合していたであろうＦＧデータであっても、タイマがイベント警報トリガ閾値まで進むように維持し続ける。

１２０における予め記録された静止領域の外観データを抽出して画像の現在領域の外観を判定するステップ、及び、１２２における初期外観とのマッチングステップは、開始された静止状態タイマの稼働中に、反復的又は繰返しの周期的ベースを含めていつでも何回でも行うことができる。予め記録されたデータ１０３を１２０において用いることにより、１１６での初期外観判定における前景物体の判定が従来技術ではよくある癒合点を越えてプロセス内で持続するので、１２０において判定された現在の画像を以前に記録された静止物体のつづきとして用いることにより、タイマは１１８において稼働し続けることができ、条件を満足した場合には１１９においてイベント警報をトリガすることができる。

従って、本発明の実施形態は、背景減算の結果のみに基づく従来技術の手法と比べて改善された、鉄道線路平面交差上の停止物体を高信頼検出する性能を提供する。実施形態はまた、道路の交差点、高速道路の流入ランプ及び流出ランプ、並びに、他の物体の予測移動経路又は投影移動経路内の静止物体を認識することが有用であるその他のエリアといった様々なその他の通路の交差を背景として実装することもできる。

本発明による静止状態解析は、標的物体が実際の前景物体であるという証拠のみならず、これが平面交差又は他の重要なエリア上で実際に静止していることの証拠を提供する。これは、物体が動いているか否かのいかなる判定とも独立して前景物体を検出する従来技術の手法と対照的である。代わりに、物体の移動方向は、本発明の実施形態が、その物体が交差通路のむしろ一部であるのか（例えば、鉄道線路に沿って移動する通過列車の車両）、又は、そうではなく交差通路の移動物体との衝突を回避するために追跡すべきその他の車、歩行者等であるのかを判断することを補助する。静止状態及び移動方向解析はまた、静止物体イベント判定をトリガするのに必要な期間にわたる物体の判定に影響を及ぼすことがある周期的なヘッドライトの遮断並びにその他の照明及び画像データ品質における変化を、実時間及び履歴シーン・データの両方から現在領域の外観を計算することにより効果的に扱うことができ、それにより癒合による物体追跡の損失はその他の物体存在検出の突然の損失が防止される。

ここで図６を参照すると、本発明の実施形態の例示的なコンピュータ化された実装は、ビデオデータ入力を与えるビデオデータ入力デバイス１０２（カメラ、ハードドライブ、ネットワークポート等）と通信するコンピュータシステム又はその他のプログラム可能デバイス５２２を含み、図１乃至図５に関して上述したようにコンピュータビジョン技術を適用して通路交差内の静止物体の存在を自動的に検出する。命令５４２は、コンピュータ可読メモリ５１６内のコンピュータ可読コードの中に、又はコンピュータネットワーク・インフラストラクチャ５２６を通して中央処理装置（ＣＰＵ）５３８によってアクセスされるコンピュータ可読ストレージシステム５３２若しくはその他の有形コンピュータ可読ストレージ媒体の中に常駐する。従って、命令は、処理装置５３８によって実装されると、処理装置５３８に画像データのコンピュータビジョン技術解析を実行させて、上述のように通路交差内の静止物体の存在を検出させる。

本発明の実施形態は、本発明の処理ステップを加入、広告、及び／又は料金ベースで実行することもできる。すなわち、サービスプロバイダは、コンピュータ可読プログラム・コードをコンピュータシステム５２２に組み込んで、コンピュータシステム５２２が画像データのコンピュータビジョン技術解析を行い、上述のように通路交差内の静止物体の存在を検出できるようにすることを提案することができる。サービスプロバイダは、１人又はそれ以上の顧客に対して本発明の処理ステップを行うコンピュータシステム５２２、ネットワーク環境５２６又はその一部のようなコンピュータ・インフラストラクチャの作成、維持、及びサポートなどを行うことができる。それと引き替えに、サービスプロバイダは、加入及び又は料金の合意の下で顧客から支払いを受けることができ、及び／又は、サービスプロバイダは、１又はそれ以上の第三者に対する広告コンテンツの売上から支払いを受けることができる。サービスは、（１）プログラム・コードを有形のコンピュータ可読媒体デバイス５２０又は５３２からコンピュータデバイス５２２のようなコンピューティング・デバイス上にインストールすること、（２）１つ又はそれ以上のコンピューティング・デバイスをコンピュータ・インフラストラクチャに追加すること、及び（３）コンピュータ・インフラストラクチャが本発明の処理ステップを行うことを可能にするようにコンピュータ・インフラストラクチャの１つ又はそれ以上の既存のシステムを組み込むこと及び／又は修正すること、の１つ又はそれ以上を含むことができる。

ここで用いられる用語は、特定の実施形態のみを説明するためものであり、本発明を限定することを意図するものではない。ここで用いられる場合、単数形の不定冠詞（「ａ」、「ａｎ」）及び定冠詞（「ｔｈｅ」）は、文脈が明らかにそうではないことを示していない限り、複数形も含むことが意図される。「含む」及び／又は「含んだ」という用語は、本明細書において用いられる場合、言及した特徴、整数、ステップ、動作、要素、及び／又は構成成分の存在を指定するが、１つ又は複数のその他の特徴、整数、ステップ、動作、要素、構成成分、及び／又はそれらの群の存在又は追加を排除するものではないこともさらに理解されるであろう。特許請求の範囲も含めて本明細書において説明され、図面で示されるような特定の例及び要素は、一意の形容詞によって他のものと区別するか又それ以外の方法で識別することができる（例えば、「第１の」要素は、複数の要素のうちの別の「第２の」又は「第３の」の要素と区別され、「一次」は「二次」のもの又は「別の」項目と区別される、など）。そのような識別形容詞は、一般に混乱又は不確実性を減らすために用いられるものであり、特許請求の範囲をいずれかの特定の例証された要素又は実施形態に限定するものとしても、又はいかなる請求要素、限定又はプロセス・ステップのいかなる優先順位、順序付け又はランク付けをも意味するものとしても解釈されるべきではない。

以下の特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等物は、明確に特許請求されている他の特許請求された要素と組み合わせてその機能を実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例証及び説明の目的で提示されたものであるが、網羅的であることを意図するものでもなく、開示された形態の発明に限定することを意図するものでもない。本発明の範囲及び思想から逸脱することのない多くの修正及び変形が、当業者には明らかであろう。実施形態は、本発明の原理及び実際の適用を最も良く説明するように、及び、当業者が、企図される特定の使用に適するように種々の修正を伴う種々の実施形態について本発明を理解することを可能にするように、選択され、説明された。

１０２：ビデオデータ入力デバイス
２０４：ブロブ（ＢＧＳマスクエリア）
２０５：下位物体（自動車）
２０６：ビデオフレーム画像シーン
２０８：明るい領域
２１０：暗い領域
４０２：支配的移動方向
４０４：線路
５１６：コンピュータ可読メモリ
５２０：有形コンピュータ可読媒体デバイス
５２２：コンピュータシステム
５２６：コンピュータネットワーク・インフラストラクチャ
５３２：コンピュータ可読ストレージシステム
５３８：中央処理装置（ＣＰＵ）
５４２：命令

Claims (20)

1. コンピュータビジョン技術を適用して、コンピュータに以下の各ステップを実行させて、第１の通路と第２の通路との交差点内の静止物体の存在を自動的に検出するための方法であって、
   第１の通路と第２の通路との平面交差のシーンからの入力ビデオ画像データに応答して、処理装置が、背景減算マスクの適用により前景物体画像特徴を抽出し、かつ、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域からオプティカルフロー画像特徴を抽出して、有形データストレージ媒体に記録するステップと、
   前記処理装置が、前記前景物体画像特徴の動き特徴を推定することにより、前記抽出された前記物体画像特徴の下位物体が動いているか又は静止しているか判断するステップと、
   前記推定された動き特徴が、前記下位物体が動いていることを示した場合に、前記処理装置が、前記下位物体の支配的移動方向を前記抽出されたオプティカルフロー画像特徴の関数として判定するステップと、
   前記下位物体の前記判定された支配的移動方向が前記第１の通路に交差した前記第２の通路の向きと平行である場合に、前記処理装置が、プロセスをリセットし、イベント警報を生成しないステップと、
   前記推定された動き特徴が、前記下位物体が静止していることを示すか、又は前記物体が動いており、かつ、前記下位物体の前記判定された支配的移動方向が前記第１の通路に交差した前記第２の通路の前記向きと平行でないことを示した場合に、前記処理装置が、
   前記前景物体領域の初期外観を判定するステップと、
   前記前景物体領域が前記抽出された前景物体画像特徴を含んでいる間稼働する静止状態タイマを開始して稼働させるステップと、
   前記開始された静止状態タイマが、前記判定された前景物体領域の外観が前記抽出された前景物体画像特徴を含んでいる間に閾値に達した場合に、前記イベント警報を生成するステップであって、前記イベント警報は、静止物体が前記交差する第２の通路上の通行を妨害していることを示すステップと、
   を含む方法。
2. 前記処理装置が前記前景物体領域の外観を判定するステップ、及び、前記静止状態タイマを開始して稼働させるステップが、
   前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域についての予め記録された静止領域外観データを、前記有形データストレージ媒体に記録された前記前景物体画像特徴及び前記オプティカルフロー画像特徴から抽出するステップと、
   前記抽出された予め記録された静止領域外観データを用いて、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域について現在の外観を判定するステップと、
   前記タイマの稼働中に前記抽出された前景物体画像特徴が背景にとけ込み、かつ、前記現在の領域外観が前記初期領域外観と距離尺度閾値内で合致する場合に、前記開始されたタイマを稼働させたまま保持するステップと
   をさらに含む、請求項１に記載の方法。
3. 前記処理装置が前記前景物体画像特徴の前記動き特徴を推定するステップが、
   前記前景物体画像特徴についてのフレームデータから、オプティカルフロー統計量を、前記下位物体の静止エリアを表わす、オプティカルフロー絶対値がゼロであるピクセルの頻度を累積する第１のビンと、複数の異なるそれぞれの方向の各々に向いたオプティカルフローを有するピクセルの頻度を各々が累積する複数のその他のビンとを含むヒストグラムとして収集するステップと、
   前記第１のビンの累積頻度により表わされる前記物体を含む前記前景領域のエリアが、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度により表わされるエリアの合計と少なくともほぼ同じである場合に、前記抽出された前景物体画像特徴の前記下位物体は静止していると判断するステップと、
   前記累積された第１のビンの頻度により表わされる前記前景領域のエリアが、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度により表わされるエリアの合計未満の場合に、前記抽出された前景物体画像特徴の前記下位物体は動いていると判断するステップと
   を含む、請求項２に記載の方法。
4. 前記下位物体の前記支配的移動方向が、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度の算術平均として判定される、請求項３に記載の方法。
5. 前記抽出された前景データにより定められる前記入力ビデオ画像データの前記領域の前記外観を判定することが、前記第１のビンの前記累積された静止頻度により表わされる前記前景領域の前記エリアにわたって色ヒストグラムを実装して適用するステップを含む、請求項４に記載の方法。
6. 前記処理装置が前記背景減算マスクの適用により前記前景ブロブ領域の物体画像特徴を抽出するステップが、混合ガウス分布モデル法に基づいて背景減算マスク特徴を決定することを含む、請求項５に記載の方法。
7. 前記処理装置が前記オプティカルフロー画像特徴を抽出することが、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの前記領域内のピクセルについて変分フローのオプティカルフロー特徴を決定することを含む、請求項５に記載の方法。
8. 前記処理装置が、前記前景物体画像特徴の動き特徴を推定することにより、前記抽出された前景物体画像特徴の前記下位物体が動いているか又は静止しているか判断するステップの前に、前記背景減算マスクにより抽出された前記前景物体画像特徴から定められる前景ブロブが所定のサイズ又はアスペクト比の値と合致しないサイズ又はアスペクト比を有する場合に、
   前記前景物体画像特徴をフィルタリングによって除外するステップと、
   前記プロセスをリセットするステップと、
   前記イベント警報を生成しないステップと
   をさらに含む、請求項５に記載の方法。
9. 処理装置、コンピュータ可読メモリ、及びコンピュータ可読有形ストレージ媒体を含むコンピュータシステムにコンピュータ可読プログラム・コードを組み込むステップをさらに含み、前記コンピュータ可読プログラム・コードは、前記コンピュータ可読有形ストレージ媒体上で具体化され、かつ、命令を含み、前記命令は、前記コンピュータ可読メモリを介して前記処理装置により実行されると、前記処理装置に、
   前記前景物体画像特徴及び前記オプティカルフロー画像特徴を抽出して前記有形データストレージ媒体に記録するステップと、
   前記抽出された前景物体画像特徴の前記下位物体が動いているか又は静止しているか判断するステップと、
   前記動いている下位物体の前記支配的移動方向を判定するステップと、
   前記判定された前記動いている下位物体の支配的移動方向が前記第１の通路に交差した前記第２の通路の向きと平行である場合に、プロセスをリセットし、イベント警報を生成しないステップと、
   前記前景物体領域の初期外観を判定するステップと、
   静止状態タイマを開始して稼働させるステップと、
   前記静止した下位物体、及び、前記第１の通路に交差した前記第２の通路の向きと平行ではない前記判定された支配的移動方向を有する前記動いている物体に対して、前記イベント警報を生成するステップと、
   を実行させる、
   請求項５に記載の方法。
10. コンピュータ可読メモリ及び有形コンピュータ可読ストレージ媒体と通信する処理装置を含むシステムであって、
    前記処理装置は、前記有形コンピュータ可読ストレージ媒体上に格納された前記プログラム命令を前記コンピュータ可読メモリを介して実行すると、
    第１の通路と第２の通路との平面交差のシーンからの入力ビデオ画像データに応答して、背景減算マスクの適用により前景物体画像特徴を抽出し、かつ、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域からオプティカルフロー画像特徴を抽出して、有形データストレージ媒体に記録し、
    前記前景物体画像特徴の動き特徴を推定することにより、前記抽出された前記物体画像特徴の下位物体が動いているか又は静止しているか判断し、
    前記推定された動き特徴が、前記下位物体が動いていることを示した場合に、前記下位物体の支配的移動方向を前記抽出されたオプティカルフロー画像特徴の関数として判定し、
    前記下位物体の前記判定された支配的移動方向が前記第１の通路に交差した前記第２の通路の向きと平行である場合に、プロセスをリセットし、イベント警報を生成せず、
    前記推定された動き特徴が、前記下位物体が静止していることを示すか、又は前記物体が動いており、かつ、前記下位物体の前記判定された支配的移動方向が前記第２の通路の前記向きと平行でないことを示した場合に、
    前記前景物体領域の初期外観を判定し、
    前記前景物体領域が前記抽出された前景物体画像特徴を含んでいる間稼働する静止状態タイマを開始して稼働させ、
    前記開始された静止状態タイマが、前記判定された前景物体領域の外観が前記抽出された前景物体画像特徴を含んでいる間に閾値に達した場合に、前記イベント警報を生成し、
    前記イベント警報は、静止物体が前記交差する第２の通路上の通行を妨害していることを示す、
    システム。
11. 前記処理装置は、前記コンピュータ可読ストレージ媒体上に格納された前記プログラム命令を前記コンピュータ可読メモリを介して実行すると、さらに、
    前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域についての予め記録された静止領域外観データを、前記有形データストレージ媒体に記録された前記前景物体画像特徴及び前記オプティカルフロー画像特徴から抽出し、
    前記抽出された予め記録された静止領域外観データを用いて、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域について現在の外観を判定し、
    前記タイマの稼働中に前記抽出された前景物体画像特徴が背景にとけ込み、かつ、前記現在の領域の外観が前記初期領域の外観と距離測定閾値内で合致する場合に、前記開始されたタイマを稼働させたまま保持する
    ことにより、前記前景物体領域の外観を判定し、前記静止状態タイマを開始して稼働させる、請求項１０に記載のシステム。
12. 前記処理装置は、前記コンピュータ可読ストレージ媒体上に格納された前記プログラム命令を前記コンピュータ可読メモリを介して実行すると、さらに、
    前記前景物体画像特徴についてのフレームデータから、累積オプティカルフロー統計量を、前記下位物体の静止エリアを表わす、オプティカルフロー絶対値がゼロであるピクセルの頻度を累積する第１のビンと、複数の異なるそれぞれの方向に各々が向いたオプティカルフローを有するピクセルの頻度を各々が累積する複数のその他のビンとを含むヒストグラムとして収集し、
    前記第１のビンの累積頻度により表わされる前記物体を含む前記前景領域のエリアが、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度により表わされるエリアの合計と少なくともほぼ同じである場合に、前記抽出された前景物体画像特徴の前記下位物体は静止していると判断し、
    前記累積された第１のビンの頻度により表わされる前記前景領域のエリアが、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度により表わされるエリアの合計未満の場合に、前記抽出された前景物体画像特徴の前記下位物体は動いていると判断する
    ことにより前記前景物体画像特徴の前記動き特徴を推定する、請求項１１に記載のシステム。
13. 前記処理装置は、前記コンピュータ可読ストレージ媒体上に格納された前記プログラム命令を前記コンピュータ可読メモリを介して実行すると、前記下位物体の前記支配的移動方向を、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度の算術平均として判定する、請求項１２に記載のシステム。
14. 前記処理装置は、前記コンピュータ可読ストレージ媒体上に格納された前記プログラム命令を前記コンピュータ可読メモリを介して実行すると、
    前記前景物体画像特徴の動き特徴を推定することにより、前記抽出された前景物体画像特徴の前記下位物体が動いているか又は静止しているか判断するステップの前に、前記背景減算マスクにより抽出された前記前景物体画像特徴から定められる前景ブロブが所定のサイズ又はアスペクト比の値と合致しないサイズ又はアスペクト比を有する場合に、
    前記前景物体画像特徴をフィルタリングによって除外し、
    前記プロセスをリセットし、
    前記イベント警報を生成しない、
    請求項１３に記載のシステム。
15. 前記処理装置は、前記コンピュータ可読ストレージ媒体上に格納された前記プログラム命令を前記コンピュータ可読メモリを介して実行すると、
    前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの前記領域内のピクセルについて変分フローのオプティカルフロー特徴を決定することにより、前記オプティカルフロー画像特徴を抽出する、請求項１４に記載のシステム。
16. コンピュータ可読プログラム・コードが具体化されたコンピュータ・プログラムであって、前記コンピュータ可読プログラム・コードは命令を含み、この命令は、コンピュータ処理装置により実行されると、前記コンピュータ処理装置が、
    第１の通路と第２の通路との平面交差のシーンからの入力ビデオ画像データに応答して、背景減算マスクの適用により前景物体画像特徴を抽出し、かつ、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域からオプティカルフロー画像特徴を抽出して、有形データストレージ媒体に記録し、
    前記前景物体画像特徴の動き特徴を推定することにより、前記抽出された前記物体画像特徴の下位物体が動いているか又は静止しているか判断し、
    前記下位物体が動いていると判断された場合に、前記下位物体の支配的移動方向を前記抽出されたオプティカルフロー画像特徴の関数として判定し、
    前記下位物体の前記判定された支配的移動方向が前記第１の通路に交差した前記第２の通路の向きと平行である場合に、プロセスをリセットし、イベント警報を生成せず、
    前記下位物体が静止しているか、又は、前記物体が動いており、かつ、前記下位物体の前記判定された支配的移動方向が前記第２の通路の前記向きと平行でないと判断された場合に、
    前記前景物体領域の初期外観を判定し、
    前記前景物体領域が前記抽出された前景物体画像特徴を含んでいる間稼働する静止状態タイマを開始して稼働させ、
    前記開始された静止状態タイマが、前記判定された前景物体領域の外観が前記抽出された前景物体画像特徴を含んでいる間に閾値に達した場合に、前記イベント警報を生成し、
    前記イベント警報は、静止物体が前記交差する第２の通路上の通行を妨害していることを示す、
    ようにさせる、プログラム。
17. 前記コンピュータ可読プログラム・コード命令は、コンピュータ処理装置により実行されると、さらに、前記コンピュータ処理装置が、
    前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域についての予め記録された静止領域外観データを、前記有形データストレージ媒体に記録された前記前景物体画像特徴及び前記オプティカルフロー画像特徴から抽出し、
    前記抽出された予め記録された静止領域外観データを用いて、前記抽出された前景物体画像特徴により定められる前記入力ビデオ画像データの領域についての現在の外観を判定し、
    前記タイマの稼働中に前記抽出された前景物体画像特徴が背景にとけ込み、かつ、前記現在の領域の外観が前記初期領域の外観と距離測定閾値内で合致する場合に、前記開始されたタイマを稼働させたまま保持する
    ことにより、前記前景物体領域の外観を判定し、前記静止状態タイマを開始して稼働するようにさせる、請求項１６に記載のプログラム。
18. 前記コンピュータ可読プログラム・コード命令は、コンピュータ処理装置により実行されると、さらに、前記コンピュータ処理装置が、
    前記前景物体画像特徴についてのフレームデータから、累積オプティカルフロー統計量を、前記下位物体の静止エリアを表わす、オプティカルフロー絶対値がゼロであるピクセルの頻度を累積する第１のビンと、複数の異なるそれぞれの方向の各々が向いたオプティカルフローを有するピクセルの頻度を各々が累積する複数のその他のビンとを含むヒストグラムとして収集し、
    前記第１のビンの累積頻度により表わされる前記物体を含む前記前景領域のエリアが、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度により表わされるエリアの合計と少なくともほぼ同じである場合に、前記抽出された前景物体画像特徴の前記下位物体は静止していると判断し、
    前記累積された第１のビンの頻度により表わされる前記前景領域のエリアが、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度により表わされるエリアの合計未満の場合に、前記抽出された前景物体画像特徴の前記下位物体は動いていると判断する
    ことにより、前記前景物体画像特徴の前記動き特徴を推定するようにさせる、請求項１７に記載のプログラム。
19. 前記コンピュータ可読プログラム・コード命令は、コンピュータ処理装置により実行されると、さらに、前記コンピュータ処理装置が、前記下位物体の前記支配的移動方向を、前記複数のその他の異なるそれぞれの方向のビンの前記累積頻度の算術平均として判定するようにさせる、請求項１８に記載のプログラム。
20. 前記コンピュータ可読プログラム・コード命令は、コンピュータ処理装置により実行されると、前記前景物体画像特徴の動き特徴を推定することにより、前記抽出された前景物体画像特徴の前記下位物体が動いているか又は静止しているか判断するステップの前に、前記背景減算マスクにより抽出された前記前景物体画像特徴から定められる前景ブロブが所定のサイズ又はアスペクト比の値と合致しないサイズ又はアスペクト比を有する場合に、さらに、前記コンピュータ処理装置に、
    前記前景物体画像特徴をフィルタリングによって除外し、
    前記プロセスをリセットし、
    前記イベント警報を生成しない
    ようにさせる、請求項１９に記載のプログラム。