JP2008515286A - 監視システムのための対象物特性マップ - Google Patents

Abstract

入力動画列は、対象物情報を取得するために入力動画列を処理し、少なくとも１つの対象物特性マップを上記対象物情報に基いて構築することによって処理されてもよい。また、対象物特性マップは、様々なイベント、特に動画監視に関係するイベントを検知するために用いられてもよい。

Description

本発明は、動画監視に関する。より詳細には、本発明の具体的な実施形態は、コンテクスト依存の動画に基づく監視システムに関する。

多くの企業、及び銀行、商店、空港等のその他の施設は、セキュリティシステムを利用している。このようなシステムの中には、動画に基づくシステムで、ビデオカメラのような検知装置がその感知領域内で画像を取得し記録するものがある。例えば、ビデオカメラは、そのレンズの視野範囲内のあらゆるものの動画記録を提供する。このような動画画像は、人間のオペレータによって監視されたり、後で見直されたりすることがある。近年の進歩によって、このような動画画像は、自動化されたシステムによっても監視できるようになっており、それによって検出率が向上し、人間の作業の手間を省くことができる。

多くの場合において、早い、遅い、高い、平らな、広い、狭い等の相対的な修飾語句を用いて、またこれらの形容詞を定量化することなく対象物の検出を指定することが望ましい。同様に、その場面の特性に適合することが最新式の監視システムには望ましいが、現在のシステムでは、たとえ同一のシステムが何年間も同一の場面を監視していたとしても、そのようなことはできない。

本発明の実施形態は、自動抽出とコンテクスト情報の使用ができるようにするものである。さらに、本発明の実施形態は、動いている対象物に関するコンテクスト情報を提供する。このコンテクスト情報は、コンテクスト依存のイベント検知を可能にするために用いられることができ、対象物検知、追跡及び分類の性能を向上させ、動画監視システムの誤認警報率を低下させることができる。

特に、本発明に係る動画処理システムは、入力動画列（video sequence）を受け取り、入力動画列中の１または２以上の対象物（target）に関する情報を出力するためのアップストリーム動画処理装置と、アップストリーム動画処理装置に連結され、出力情報の少なくとも一部を受信し、少なくとも１つの対象物特性マップ（target
property map）を構築する対象物特性マップ構築装置（target property map builder）と、を備える。

さらに本発明の実施形態では、動画処理の方法は、対象物の情報を取得するために入力動画列を処理し、対象物の情報に基づいて少なくとも１つの対象物特性マップを構築する段階と、含むようにしてもよい。

さらに、本発明は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせの形で具体化されてもよい。

（定義）
以下の定義は、上述の開示を通じて適用できる。

「動画（video）」は、アナログ及び／またはデジタル形式で表現される動画を示す。動画は、例えば、テレビジョン、映画、ビデオカメラまたは他の監視物からのイメージシーケンス及びコンピュータで生成されたイメージシーケンスを含む。

「フレーム（frame）」は、動画内の特定の画像または他の個別のユニットを示す。

「オブジェクト（object）」は、動画に関係する項目を示す。オブジェクトは、例えば、人、乗り物、動物、及び物理的な対象を含む。

「対象物（target）」は、オブジェクトのコンピュータモデルを示す。対象物は、画像処理を介して導き出されることができる。また、対象物とオブジェクトとは、一対一で対応している。

「対象物インスタンス（target instance）」または「インスタンス（instance）」は、フレーム内のオブジェクトの観測を示す。

「アクティビティ（activity）」は、１または２以上の動き及び／または１または２以上のオブジェクトの動きの１または２以上の複合物を示す。アクティビティは、例えば、入退出、停止、移動、上昇、下降、拡大及び縮小を含む。

「ロケーション（location；場所）」は、アクティビティが起こり得る空間を示す。ロケーションは、例えば、状況に基づくものであってもよく、あるいは、画像に基づくものであってもよい。状況に基づくロケーションは、例えば、公共スペース、商店、小売店、事務所、倉庫、ホテルの部屋、ホテルのロビー、建物のロビー、カジノ、バス停留所、駅、空港、港、バス、電車、航空機及び船を含む。画像に基づくロケーションは、例えば、動画画像、動画画像中の線、動画画像中の領域、画像、動画画像中の長方形の区画及び動画画像中の多角形の区画を含む。

「イベント（event）」は、アクティビティに関与する１または２以上のオブジェクトを示す。イベントは、ロケーション（場所）及び／または時間に対して参照されてもよい。

「コンピュータ」は、構造化された入力を受け取り、予め定められた規則に基づいて構造化された入力を処理し、処理の結果を出力として生成することが可能な任意の装置を示す。コンピュータは、例えば、一般的な用途のコンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、双方向テレビジョン、コンピュータと双方向テレビジョンとの複合的に組み合わせたもの、及びコンピュータ及び／またはソフトウェアをエミュレートするためのアプリケーション特有のハードウェアを含む。コンピュータは、単一のプロセッサ、または並列に動作及び／または並列にではなく動作することができる複数のプロセッサを有してもよい。コンピュータはまた、コンピュータ間で情報の送信あるいは受信を行うためにネットワークを介して互いに接続された２または３以上のコンピュータを示す。このようなコンピュータは、例えば、ネットワークによって連結されたコンピュータを介して情報を処理するための分散コンピュータシステムを含む。

「コンピュータ読み取り可能な媒体」は、コンピュータによってアクセス可能なデータを記憶するために用いられる任意の記憶装置を示す。コンピュータ読み取り可能な媒体は、例えば、磁気ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ及びＤＶＤ等の光ディスク、磁気テープ、メモリチップ、及び電子メールの送受信またはネットワークへのアクセスに用いられるコンピュータ読み取り可能な電子データを搬送するための搬送波を含む。

「ソフトウェア」は、コンピュータを動作させるための予め定められた規則を示す。ソフトウェアは、例えば、ソフトウェア、コードセグメント、命令、コンピュータプログラム及びプログラムされた論理回路を含む。

「コンピュータシステム」は、コンピュータを有するシステムを示し、そのコンピュータは、コンピュータを動作させるためのソフトウェアを具体化したコンピュータ読み取り可能な媒体を備える。

「ネットワーク」は、多くのコンピュータと通信機器によって接続された関連装置とを示す。ネットワークは、ケーブル等の常時接続や電話や他の通信リンクを通じて行われるような一時的な接続を含む。ネットワークは、例えば、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、及びインターネットとイントラネット等のネットワークの組み合わせを含む。

「検知装置」は、視覚情報を取得するための任意の装置を示す。例えば、カラー及びモノクロカメラ、ビデオカメラ、有線テレビ（ＣＣＴＶ）カメラ、電荷結合素子（ＣＣＤ）センサ、アナログ及びデジタルカメラ、ＰＣカメラ、ウェブカメラ、及び赤外線画像装置を含む。特に具体的に記載されていない場合は、「カメラ」は、任意の検知装置を示すものとする。

「ブロブ（blob）」は、一般的に画像の中（通常、動画のコンテクストの中）の任意のオブジェクトを示す。ブロブは、例えば、動いているオブジェクト（例えば、人や車）及び静止したオブジェクト（例えば、バッグ、家具や商店の棚にある消費財等）を含む。

「対象物特性マップ（target property map）」は、対象物特性のマッピング、または対象物特性の画像位置に対する写像である。対象物特性マップは、対象物特性の記録及びモデリング、または各画像位置における１以上の対象物特性の写像によって構築される。例えば、画像位置（ｘ，ｙ）における幅のモデルは、位置（ｘ，ｙ）の画素を通過する全ての対象物の幅を記録することによって取得されてもよい。モデルは、かかる記録を表すため、及び統計情報を提供するために用いられてもよい。ここで、統計情報は、位置（ｘ，ｙ）における対象物の幅の平均や、平均からの標準偏差等を含むものであってもよい。各画像位置につき１つの、このようなモデルの集まりが、対象物特性マップと呼ばれる。

本発明は、一般的な監視システムの一部を備えてもよい。図１に、実現可能性の高い実施形態を示す。対象物特性情報は、検知部（１１）、追跡部（１２）及び分類部（１３）のモジュールにより動画列から抽出される。これらのモジュールは、既知の技術を利用してもよく、あるいはまだ発見されていない技術として利用してもよい。結果として得られる情報は、イベント検知部モジュール（１４）に渡され、イベント検知部モジュール（１４）は、ユーザ（１５）によって脅威があると判断された特性に対し、観測された対象物特性を照合する。例えば、ユーザは、グラフィカルユーザインタフェース（ＧＵＩ）（１５）やシステムの他の入出力（Ｉ／Ｏ）インタフェースを用いて、そのような脅威がある特性を特定することができる可能性がある。対象物特性マップ構築装置（１６）は、アップストリームコンポーネント（１１、１２及び１３）によって抽出されたデータを監視し、モデル化し、さらに、それらのコンポーネントに情報を提供する。データモデルは、単一の対象物特性や１以上の対象物特性の写像に基づくものであってもよい。データモデルは、平均的な特性値や正規分布モデルと同じくらい簡単なものであってもよい。複雑なモデルは、与えられた対象物特性の集合に合わせたアルゴリズムに基づいて生成されてもよい。例えば、モデルは、（対象物の大きさの平方根）／（カメラまでの対象物の距離）の比率を測定するものであってもよい。

（対象物特性マップのトレーニング）
対象物特性マップを備えるモデルは、それらが使用されることができる前の観測に基づいて構築されてもよく、一の選択的な実施形態においては、対象物特性モデルは、予め決定されてシステムに提供されてもよい。次の考察では、モデルは処理の一部として構築される場合について扱うが。他の手続は、同様にこの実施形態に関連する。例えば、状況的な情報は、システム障害の後で、永続的な記憶装置から状況的な情報の多くがリロードできるように、定期的に永続的な記憶装置に保存されても良い。本実施形態は、予め保存された外部の情報源から初期モデル情報を提供する。

モデルが構築される本発明の実施形態においては、モデルの正当性を示すために、統計的に有意な量のデータが観測された後にのみ、モデルが「成熟した（mature）」とラベルされる。まだ成熟していないモデルに対する問い合わせには応答されない。この方針により、システムはモデルが成熟するまで初期状態モード（default
mode）の状態にある。モデルが成熟したとき、モデルは、図１に示すような、関連するアルゴリズムコンポーネントの決定処理プロセスに組み込まれることが可能な情報を提供するようにしてもよい。このような新しい証拠が利用できることにより、アルゴリズムコンポーネントは、より良い決定をすることが可能となる。

トレーニングに用いるのに全ての対象物またはそれらのインスタンスが必要というわけではない。対象物特性を収集するアップストリームコンポーネント（１１、１２及び１３）が失敗することがあり、モデルは、不完全なデータから保護されることが重要である。この問題に関する１つの技術は、対象物特性の品質を入念に分析するアルゴリズムを考案することである。本発明のたの実施形態においては、対象物及び対象物インスタンスの品質に疑いがあるときは、それらを却下する単純なアルゴリズムが用いられる。後者の方法では、対象物特性マップが成熟するまでの時間が延長されると考えられる。しかしながら、多くの動画監視システムが現場を監視するのには長期に渡る時間がかかることから、このオプションは魅力的である。

図２は、本発明の一実施形態にかかる対象物特性マップの構築アルゴリズムのフローチャートである。かかるアルゴリズムは、例えば、図１に示す対象物特性マップ構築装置（１６）において実装されてもよい。アルゴリズムは、ブロック２０１において、対象物特性マップのサイズ（一般に、画像のサイズに対応する）に対応する行列を適切に初期化することによって開始されることができる。ブロック２０２においては、次の対象物が検討されることができる。この部分の処理は、ブロック２０３おける、フィルタリングされた対象物インスタンスのバッファの初期化とともに開始されてもよい。また、バッファはリングバッファであってもよい。その後、処理はブロック２０４に進み、検討中の対象物の次のインスタンス（バッファに格納されている）がアドレス指定される。ブロック２０５において、対象物が終了した、即ち、対象物のインスタンスが全て検討されたか否かが判断される。対象物が終了した場合、処理はブロック２１０（以下で述べる）に進む。一方、対象物が終了していない場合、対象物が悪い、即ち、最新のインスタンスが、アップストリーム処理による対象物の処理やラベリングまたは識別の重大な誤りを示している場合を判定するためにブロック２０６に進む。この場合、処理はブロック２０２へ戻って次の対象物の検討を行う。そうでない場合は、処理はブロック２０７に進み、検討中の特定のインスタンスが悪いインスタンスか否か、即ち、最新のインスタンスが、アップストリーム処理による対象物の処理やラベリングまたは識別において制限された不一致を示しているか否かを判断することができる。もし悪いインスタンスが見つかった場合は、そのインスタンスは無視され、処理はブロック２０４に進んで次の対象物インスタンスを検討する。見つからない場合は、ブロック２０４に戻って次の対象物インスタンスを検討する前に、処理はブロック２０８に進み、フィルタリングされた対象物インスタンスのバッファを更新することができる。

ブロック２０５（上述した）に続いて、アルゴリズムはブロック２０９に進むことができ、対象物インスタンスがもしあれば、どの対象物インスタンスが「成熟している」かが判断される。本発明の一実施形態においては、バッファが一杯であることが分かった場合に、バッファ内の最も古い対象物インスタンスに「成熟している」というマークがつけられてもよい。対象物の全てのインスタンスが検討されていた場合（即ち、対象物が終了した場合）、バッファ内の全ての対象物インスタンスに「成熟している」というマークがつけられてもよい。

処理はブロック２１０に進み、成熟した対象物インスタンスに対応するマップのロケーション（位置）において、対象物特性マップモデルが更新されることができる。このマップの更新に続いて、ブロック２１１で、処理は、各モデルが成熟しているか否かを判断する。特に、与えられたロケーションに対する対象物インスタンスの数が、成熟するのに必要なインスタンスの予め定められた数よりも大きい場合、マップロケーションに「成熟している」というマークをつけることができる。上述したように、成熟したロケーションのみが、問い合わせに対処する（addressing）のに用いられることができる。

図２に関して、本発明の実施形態の３つの可能な実装は、２０１、２０６、２０７及び２０８のラベルが付されたアルゴリズム構成要素の実装において異なるようにしてもよい。

第１の実装は、直接的に利用可能な対象物特性、例えば、これに限られないが、幅、高さ、大きさ、動く方向、及び対象物の入出範囲に対し対象物特性マップを提供するのに有用であるかもしれない。これは、バッファ更新を行うブロック２０８のみを、この実装の異なるインスタンスを処理するように変更することによって達成される。

第２の実装は、複数の対象物特性の働き、例えば、速度（位置の変化／時間の変化）、慣性（位置の変化／対象物の大きさ）、アスペクト比（対象物の幅／対象物の高さ）、稠密度（対象物の外周／対象物の面積）、及び加速度（位置の変化率／時間の変化）に対し対象物特性マップを提供するのに有用であるかもしれない。この場合、ブロック２０１（マップ初期化）及び２０８は、この実装の異なるインスタンスを処理するように変更されることができる。

第３の実装は、各対象物自身の履歴のコンテクストにおける現在の対象物特性をモデルとする対象物特性マップを提供するのに有用であるかもしれない。これらのマップは、アップストリームコンポーネントを改善するのに役立ち、以下に限られないが、検知誤りマップ、追跡誤りマップ及び分類誤りマップを含むことができる。かかる実装は、モジュール２０１、２０６（対象物インスタンスのフィルタリング）、２０７（対象物フィルタリング）及び２０８をこの実装の異なるインスタンスを処理するように変更する必要があるかもしれない。

（対象物特性マップの使用）
図２に関連して、上述したアルゴリズムは、対象物特性マップを構築し、維持するために用いられることができる。しかしながら、マップを監視システムにとって有用なものとするためには、システムに対して情報を提供することも可能でなければならない。図３は、本発明の一実施形態にかかる、対象物特性マップに対しコンテキストな情報を取得するための問い合わせを行うためのアルゴリズムのフローチャートを示す。

図３のアルゴリズムは、ブロック３１において、次の対象物を検討することによって開始されることができる。その後ブロック３２に進み、要求された対象物特性マップが定義されているか否かを判断する。もしされてないければ、対象物についての情報は利用できず、処理はブロック３１に戻って次の対象物の検討を行う。

要求された対象物特性マップが利用可能であると判断される場合、処理は、ブロック３３で、次の対象物インスタンスの検討を行うことができる。ブロック３４において、対象物が終了していることをインスタンスが示している場合、処理はブロック３１に戻り、次の対象物を検討する。これは、現在の対象物の全てのインスタンスが検討された場合である。対象物が終了していない場合、処理はブロック３５に進むことができ、検討中の対象物インスタンスの位置における対象物特性マップモデルが成熟しているか否かを判断することができる。もし成熟していない場合、処理はブロック３３に戻り、次に対象物インスタンスの検討を行う。一方、成熟している場合、処理はブロック３６に進み、対象物コンテクストを更新することができる。対象物のコンテクストは、このアルゴリズムによって維持される対象物特性マップとの一致の度合いを記録することによって更新される。ブロック３６に続いて、処理はブロック３７に進み、対象物特性コンテクストに基づく対象物の正常特性を決定する。各対象物のコンテクストは、対象物特性マップモデルによって予測される振る舞いあるいは観測結果と矛盾するような動きをしたか否かを判断するために維持される。最後に、ブロック３７に続いて、処理はブロック３１に戻り、次の対象物の検討が行われる。

上述したように、本発明のいくつかの実施形態は、機械読取可能な媒体上のソフトウェア命令の形式で実装されてもよい。かかる実施形態を図４に示す。図４のコンピュータシステムは、少なくとも１つのプロセッサ４２を含むことができ、プロセッサ４２は、例えば、オペレーティングシステムソフトウェア等を格納することができるシステムメモリ４１と結合される。システムは、さらに、付加メモリ４３を含むことができ、付加メモリ４３は、例えば、様々なアプリケーションを実行するためのソフトウェア命令を含むことができる。システムは、また、１以上の入力／出力（Ｉ／Ｏ）デバイス４４を含む。入力／出力デバイス４４は、例えば、キーボード、マウス、トラックボール、プリンタ、ディスプレイ、ネットワーク接続等であるが、これに限られない。本発明は、システムメモリ４１または付加メモリ４３に格納されることができるソフトウェア命令として実装されてもよい。このようなソフトウェア命令は、取り外し可能な媒体、あるいは遠隔媒体（例えば、コンパクトディスク、フレキシブルディスク等であるが、これに限られない）に格納されてもよく、入力／出力デバイス４４（例えば、フレキシブルディスクドライブ等、但しこれに限られない）を通じて読出し可能であってもよい。さらに、ソフトウェア命令は、入力／出力デバイス４４、例えばネットワーク接続を経由してコンピュータシステムに伝送可能であっても良い。この場合、ソフトウェア命令を含む信号を、機械読取可能な媒体と考えることができる。

以上多様な実施形態に関連して、本発明の詳細を記述したが、当業者であれば、広範囲における本発明から変更例及び修正例に想到し得ることは上述の内容から明らかである。従って、本発明は、特許請求の範囲に記載したように、本発明の真の精神の範疇内において各種の変更例または修正例に渡って保護することを意図するものである。

本発明の実施形態を含むコンテンツ分析システムのフローチャートを示す。 本発明の一実施形態に係る対象物特性マップのトレーニングを説明するフローチャートを示す。 本発明の一実施形態に係る対象物特性マップの使用を説明するフローチャートを示す。 本発明の実施形態の実装に用いることができるシステムのブロック図を示す。

Claims (19)

1. 入力動画列を受け取り、前記入力動画列の中の１または２以上の対象物に関する情報を出力するためのアップストリーム動画処理装置と；
   前記アップストリーム動画処理装置と連結され、前記出力された情報の少なくとも一部を受信し、少なくとも１つの対象物特性マップを構築する対象物特性マップ構築装置と；
   を備えることを特徴とする、動画処理システム。
2. 前記アップストリーム動画処理装置は、
   前記入力動画列を受信するための検知装置と、
   前記検知装置の出力に連結される追跡装置と、
   前記追跡装置の出力に連結される分類装置と、
   を備え、
   前記分類装置の出力が前記対象物特性マップ構築装置の入力に連結されることを特徴とする、請求項１に記載の動画処理システム。
3. 前記対象物特性マップ構築装置の出力を受信し、１または２以上の検知されたイベントを出力するように連結されるイベント検知装置をさらに備えることを特徴とする、請求項１に記載の動画処理システム。
4. 前記イベント検知装置に連結され、１または２以上の前記イベント検知装置に関連するイベントを提供するイベント指定インタフェースをさらに備えることを特徴とする、請求項３に記載の動画処理システム。
5. 前記イベント指定インタフェースは、グラフィカルユーザインタフェースを備えることを特徴とする、請求項４に記載の動画処理システム。
6. 前記対象物特性マップ構築装置は、前記アップストリーム動画処理装置に対するフィードバックを提供することを特徴とする、請求項１に記載の動画処理システム。
7. 前記対象物特性マップ構築装置は、少なくとも１つのバッファを備えることを特徴とする、請求項１に記載の動画処理システム。
8. 対象物情報を取得するために入力動画列を処理する段階と、
   前記対象物情報に基づいて少なくとも１つの対象物特性マップを構築する段階と、
   を備えることを特徴とする、動画処理方法。
9. 前記入力動画列を処理する段階は、
   少なくとも１つの対象物を検知する段階と、
   少なくとも１つの対象物を追跡する段階と、
   少なくとも１つの対象物を分類する段階と、
   を備えることを特徴とする、請求項８に記載の動画処理方法。
10. 前記少なくとも１つの対象物特性マップを構築する段階は、
    与えられた対象物について、前記対象物の少なくとも１つのインスタンスを検討する段階と、
    前記対象物の少なくとも１つのインスタンスをフィルタリングする段階と、
    前記対象物の少なくとも１つのインスタンスが完成されているか否かを判断する段階と、
    を備えることを特徴とする、請求項８に記載の動画処理方法。
11. 前記少なくとも１つの対象物特性マップを構築する段階は、
    前記対象物の少なくとも１つのインスタンスが完成されている場合に、前記対象物のインスタンスが完成されている少なくとも１つの位置に対応する少なくとも１つのマップモデルを更新する段階をさらに備えることを特徴とする、請求項１０に記載の動画処理方法。
12. 前記少なくとも１つの対象物特性マップを構築する段階は、
    前記少なくとも１つの対象物特性マップの少なくとも１つのモデル構築部が完成されているか否かを判断する段階をさらに備えることを特徴とする、請求項１１に記載の動画処理方法。
13. 少なくとも１つの対象物特性に基づいて少なくとも１つのイベントを検知する段階をさらに備えることを特徴とする、請求項８に記載の動画処理方法。
14. 前記少なくとも１つのイベントを検知する段階は、
    与えられた対象物について、前記対象物の少なくとも１つの特性を少なくとも１つの特性と比較する段階を備えることを特徴とする、請求項１３に記載の動画処理方法。
15. 前記比較する段階は、ユーザ定義の判断基準を用いることを特徴とする、請求項１４に記載の動画処理方法。
16. イベント検知のための少なくとも１つのユーザ定義の判断基準を取得する段階をさらに備えることを特徴とする、請求項１３に記載の動画処理方法。
17. プロセッサによって実行されるとき、請求項８に記載の方法をプロセッサに実行させる命令を含む、コンピュータ読み取り可能な媒体。
18. コンピュータシステムと、
    請求項１７に記載のコンピュータ読み取り可能な媒体と、
    を備えることを特徴とする、動画処理システム。
19. 入力動画列を生成するための少なくとも１つのカメラと、
    請求項１８に記載の動画処理システムと、
    を備えることを特徴とする、動画監視システム。

Images