JP2008538870A - ビデオプリミティブを使用するビデオ監視システム - Google Patents

Abstract

ビデオ監視システムは、ビデオプリミティブを取り出し、ビデオプリミティブからイベント識別子を使用してイベント発生を取り出す。本システムは、取り出したイベント発生に基づいて、アラームなどの応答を実行することができる。
【選択図】図２２

Description

発明の分野

本発明は、ビデオプリミティブ（ｖｉｄｅｏ ｐｒｉｍｉｔｉｖｅ）を使用する自動的なビデオ監視のシステムに関する。

参考文献

読み手の便宜のため、本明細書中に言及した参考文献を以下に列挙しておく。本明細書において、中括弧内の数字は対応する参考文献を表す。列挙した参考文献は、参照することにより組み込まれている。

以下の参考文献は、動いている対象物の検出について記載している。

｛１｝ 「リアルタイムビデオからの動いている対象物の検出及び分類（Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｒｏｍ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｄｅｏ）」（Ａ．Ｌｉｐｔｏｎ、Ｈ．Ｆｕｊｉｙｏｓｈｉ、Ｒ．Ｓ．Ｐａｔｉｌ）（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＷＡＣＶ '９８． Ｐｒｉｎｃｅｔｏｎ，ＮＪ，１９９８、ｐ．８〜１４）

｛２｝ 「適応追跡を使用してのサイト内の動作の分類及び監視（Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｔｒａｃｋｉｎｇ ｔｏ Ｃｌａｓｓｉｆｙ ａｎｄ Ｍｏｎｉｔｏｒ Ａｃｔｉｖｉｔｉｅｓ ｉｎ ａ Ｓｉｔｅ）」（Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎら）（ＣＶＰＲ、ｐ．２２〜２９、１９９８年６月）

｛３｝ 「リアルタイムビデオからの動いている対象物の分類及び追跡（Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｒｏｍ Ｒｅａｌ−ｔｉｍｅ Ｖｉｄｅｏ）」（ＡＪ．Ｌｉｐｔｏｎ、Ｈ．Ｆｕｊｉｙｏｓｈｉ、Ｒ．Ｓ．Ｐａｔｉｌ）（ＩＵＷ、ｐ．１２９〜１３６，１９９８年）

｛４｝ 「スマートカメラのための、動いている対象物の検出及びイベント認識アルゴリズム（Ｍｏｖｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｅｖｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｓｍａｒｔ Ｃａｍｅｒａｓ）」（ＴＪ．Ｏｌｓｏｎ、Ｆ．Ｚ．Ｂｒｉｌｌ）（ＩＵＷ、ｐ．１５９〜１７５、１９９７年５月）

以下の参考文献は、人の検出及び追跡について記載している。

｛５｝ 「オプティカルフローの局所適用による剛体運動対非剛体運動の分析（Ｌｏｃａｌ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｔｏ Ａｎａｌｙｓｅ Ｒｉｇｉｄ Ｖｅｒｓｕｓ Ｎｏｎ− Ｒｉｇｉｄ Ｍｏｔｉｏｎ）」（Ａ．Ｊ．Ｌｉｐｔｏｎ）（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｃｏｒｆｕ，Ｇｒｅｅｃｅ、１９９９年９月）

｛６｝ 「画像系列のリアルタイム処理によるバスの乗車及び下車人数の計測（Ｃｏｕｎｔｉｎｇ ｐｅｏｐｌｅ ｇｅｔｔｉｎｇ ｉｎ ａｎｄ ｏｕｔ ｏｆ ａ ｂｕｓ ｂｙ ｒｅａｌ−ｔｉｍｅ ｉｍａｇｅ−ｓｅｑｕｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ）」（Ｆ．Ｂａｒｔｏｌｉｎｉ、Ｖ．Ｃａｐｐｅｌｌｉｎｉ、Ａ．Ｍｅｃｏｃｃｉ）（ＩＶＣ、１２（１）：３６〜４１、１９９４年１月）

｛７｝ 「動いている人の追跡及び人数計測（Ｔｒａｃｋｉｎｇ ａｎｄ ｃｏｕｎｔｉｎｇ ｍｏｖｉｎｇ ｐｅｏｐｌｅ）」（Ｍ．Ｒｏｓｓｉ、Ａ．Ｂｏｚｚｏｌｉ）（ＩＣＩＰ９４、ｐ．２１２〜２１６、１９９４年）

｛８｝ 「Ｐｆｉｎｄｅｒ：人体のリアルタイム追跡（Ｐｆｉｎｄｅｒ： Ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ ｈｕｍａｎ ｂｏｄｙ）」（ＣＲ．Ｗｒｅｎ、Ａ．Ａｚａｒｂａｙｅｊａｎｉ、Ｔ．Ｄａｒｒｅｌｌ、Ａ．Ｐｅｎｔｌａｎｄ）（Ｖｉｓｍｏｄ、１９９５年）

｛９｝ 「アクティブリニアカメラによる歩行者の人数計測（Ｒｅａｌ−Ｔｉｍｅ Ｐｅｄｅｓｔｒｉａｎ Ｃｏｕｎｔｉｎｇ ｂｙ Ａｃｔｉｖｅ Ｌｉｎｅａｒ Ｃａｍｅｒａｓ）」（Ｌ．Ｋｈｏｕｄｏｕｒ、Ｌ．Ｄｕｖｉｅｕｂｏｕｒｇ、Ｊ．Ｐ．Ｄｅｐａｒｉｓ）（ＪＥＩ、５（４）：４５２〜４５９、１９９６年１０月）

｛１０｝ 「人を発見するための確率論手法（Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｅｔｈｏｄｓ ｆｏｒ Ｆｉｎｄｉｎｇ Ｐｅｏｐｌｅ）」（Ｓ．Ｉｏｆｆｅ、Ｄ．Ａ．Ｆｏｒｓｙｔｈ）（ＩＪＣＶ、４３（１）：４５〜６８、２００１年６月）

｛１１｝ 「ＢｒａＭＢＬｅ：ベイジアン型マルチブロブ追跡器（ＢｒａＭＢＬｅ： Ａ Ｂａｙｅｓｉａｎ Ｍｕｌｔｉｐｌｅ−Ｂｌｏｂ Ｔｒａｃｋｅｒ）」（Ｍ．Ｉｓａｒｄ、Ｊ．ＭａｃＣｏｒｍｉｃｋ）（ＩＣＣＶ、２００１年）

以下の参考文献は、ブロブの分析について記載している。

｛１２｝ 「人の動きの視覚的分析：調査（Ｔｈｅ Ｖｉｓｕａｌ Ａｎａｌｙｓｉｓ ｏｆ Ｈｕｍａｎ Ｍｏｖｅｍｅｎｔ： Ａ Ｓｕｒｖｅｙ）」（Ｄ．Ｍ．Ｇａｖｒｉｌａ）（ＣＶＩＵ、７３（１）：８２〜９８、１９９９年１月）

｛１３｝ 「視覚的なイベント検出（Ｖｉｓｕａｌ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ）」（Ｎｉｅｌｓ Ｈａｅｒｉｎｇ、Ｎｉｅｌｓ ｄａ Ｖｉｔｏｒｉａ Ｌｏｂｏ）（Ｖｉｄｅｏ Ｃｏｍｐｕｔｉｎｇ Ｓｅｒｉｅｓ、Ｅｄｉｔｏｒ Ｍｕｂａｒａｋ Ｓｈａｈ、２００１年）

以下の参考文献は、トラック、車、及び人のブロブの分析について記載している。

｛１４｝ 「ビデオ監視システム：ＶＳＡＭ最終報告（Ａ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ ａｎｄ Ｍｏｎｉｔｏｒｉｎｇ： ＶＳＡＭ Ｆｉｎａｌ Ｒｅｐｏｒｔ）」（Ｃｏｌｌｉｎｓ、Ｌｉｐｔｏｎ、Ｋａｎａｄｅ、Ｆｕｊｉｙｏｓｈｉ、Ｄｕｇｇｉｎｓ、Ｔｓｉｎ、Ｔｏｌｌｉｖｅｒ、Ｅｎｏｍｏｔｏ、Ｈａｓｅｇａｗａ）（Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＲＩ−ＴＲ−００−１２，Ｒｏｂｏｔｉｃｓ Ｉｎｓｔｉｔｕｔｅ，Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ、２０００年５月）

｛１５｝ 「リアルタイムビデオからの動いている対象物の分類及び追跡（Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｒｏｍ Ｒｅａｌ−ｔｉｍｅ Ｖｉｄｅｏ）」（Ｌｉｐｔｏｎ、Ｆｕｊｉｙｏｓｈｉ、Ｐａｔｉｌ）（９８ Ｄａｒｐａ ＩＵＷ、１９９８年１１月２０〜２３日）

以下の参考文献は、１人の人間のブロブ及びその輪郭の分析について記載している。

｛１６｝ 「Ｐｆｉｎｄｅｒ：人体のリアルタイム追跡（Ｐｆｉｎｄｅｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ Ｈｕｍａｎ Ｂｏｄｙ）」（ＣＲ．Ｗｒｅｎ、Ａ．Ａｚａｒｂａｙｅｊａｎｉ、Ｔ．Ｄａｒｒｅｌｌ、Ａ．Ｐ．Ｐｅｎｔｌａｎｄ）（ＰＡＭＩ、ｖｏｌ １９、ｐ．７８０〜７８４、１９９７年）

以下の参考文献は、動きベースの分割を含めてブロブの内部運動について記載している。

｛１７｝ 「時空フロー曲線を使用しての長期・長距離時空運動の理解（Ｌｏｎｇ−Ｒａｎｇｅ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｕｓｉｎｇ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｆｌｏｗ Ｃｕｒｖｅｓ）」（Ｍ．Ａｌｌｍｅｎ、Ｃ．Ｄｙｅｒ）（Ｐｒｏｃ．ＩＥＥＥ ＣＶＰＲ、Ｌａｈａｉｎａ，Ｍａｕｉ，Ｈａｗａｉｉ、ｐ．３０３〜３０９、１９９１年）

｛１８｝ 「方向一貫性フローの蓄積による監視・追跡可能な動きの検出（Ｄｅｔｅｃｔｉｎｇ Ｓａｌｉｅｎｔ Ｍｏｔｉｏｎ ｂｙ Ａｃｃｕｍｕｌａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌｌｙ Ｃｏｎｓｉｓｔｅｎｔ Ｆｌｏｗ）」（Ｌ．Ｗｉｘｓｏｎ）（ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．Ｍａｃｈ．Ｉｎｔｅｌｌ．、ｖｏｌ． ２２、ｐ．７７４〜７８１、２０００年８月）

発明の背景

公共空間のビデオ監視は非常に普及し、一般社会に受け入れられている。しかしながら、従来のビデオ監視システムでは、膨大な量のデータが生成され、ビデオ監視データを分析するうえでの大きな問題につながっている。

ビデオ監視データを分析することができるように、ビデオ監視データの量を低減するニーズが存在している。

ビデオ監視データをフィルタリングして、ビデオ監視データのうちの必要な部分を識別するニーズが存在している。

発明の概要

本発明の目的は、ビデオ監視データの分析を行うことができるように、ビデオ監視データの量を低減することである。

本発明の目的は、ビデオ監視データをフィルタリングして、ビデオ監視データのうちの必要な部分を識別することである。

本発明の目的は、ビデオ監視データからのイベントの自動的な検出に基づいてリアルタイムのアラームを生成することである。

本発明の目的は、監視センサーからの、ビデオ以外のデータを統合して、探索能力を高めることである。

本発明の目的は、監視センサーからの、ビデオ以外のデータを統合して、イベント検出能力を高めることである。

本発明は、ビデオ監視の製造品、方法、システム、及び装置を含んでいる。

本発明の製造品は、ビデオプリミティブに基づいてビデオ監視システムを動作させるコードセグメントを備えている、ビデオ監視システムのソフトウェア、を備えているコンピュータ可読媒体、を含んでいる。

本発明の製造品は、アーカイブされているビデオプリミティブにアクセスするためのコードセグメントと、アクセスしたアーカイブされているビデオプリミティブからイベント発生を取り出すためのコードセグメントとを備えている、ビデオ監視システムのソフトウェア、を備えているコンピュータ可読媒体、を含んでいる。

本発明のシステムは、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含んでいるコンピュータシステム、を含んでいる。

本発明の装置は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含んでいるコンピュータ、を含んでいる。

本発明の製造品は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体、を含んでいる。

更に、本発明の上記の目的及び利点は例示的なものであり、本発明によって達成することのできる目的及び利点のすべてを網羅してはいない。従って、本明細書に具体化されている本発明と、当業者に明らかであろう任意の変更形態として変更された本発明の両方について、本発明の上記及びその他の目的及び利点は、本明細書における説明から明らかであろう。

定義

「ビデオ」は、アナログ形式若しくはデジタル形式、又はその両形式において表されている動画像を意味する。ビデオの例としては、動画、ビデオカメラ又はその他の監視・観察装置（ｏｂｓｅｒｖｅｒ）からの画像系列、コンピュータによって生成される画像系列が挙げられる。

「フレーム」は、ビデオ内の特定の画像又はその他の不連続な単位を意味する。

「監視対象物」は、ビデオ内の監視対象の物体を意味する。監視対象物の例としては、人、車両、動物、物理的対象物が挙げられる。

「動作（ａｃｔｉｖｉｔｙ）」は、１つ以上の監視対象物の１つ以上の振る舞い若しくは１つ以上の複合的な振る舞い、又はその両方を意味する。動作の例としては、入力する、終了する、停止する、移動する、上昇する、下降する、成長する、縮小する、が挙げられる。

「監視対象場所」は、動作が起こりうる空間を意味する。監視対象場所は、例えば、シーンベースの監視対象場所又は画像ベースの監視対象場所である。シーンベースの監視対象場所の例としては、公共空間、店舗、小売空間、オフィス、倉庫、ホテルの部屋、ホテルのロビー、建物のロビー、カジノ、バス停留所、列車の駅、空港、港、バス、列車、飛行機、船が挙げられる。画像ベースの監視対象場所の例としては、ビデオ画像、ビデオ画像内の線、ビデオ画像内の領域、ビデオ画像の長方形セクション、ビデオ画像の多角形セクションが挙げられる。

「イベント」は、１つ以上の監視対象物が動作を行うことを意味する。イベントは、監視対象場所若しくは時間、又はその両方に関連して記述することができる。

「コンピュータ」は、構造化入力（ｓｔｒｕｃｔｕｒｅｄ ｉｎｐｕｔ）を受け取り、その構造化入力を所定の規則に従って処理し、処理の結果を出力として生成することのできる任意の装置を意味する。コンピュータの例としては、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、双方向テレビ、コンピュータと双方向テレビのハイブリッドな組合せ、コンピュータ若しくはソフトウェア、又はその両方をエミュレートするための用途に固有なハードウェア、が挙げられる。コンピュータは、１つのプロセッサ、又は複数のプロセッサ（並列若しくは非並列、又はその両方において動作する）を備えていることができる。更に、コンピュータは、コンピュータ間で情報を送信又は受信するためにネットワークを経由して互いに接続されている２つ以上のコンピュータも意味する。そのようなコンピュータの例としては、ネットワークによってリンクされている複数のコンピュータを経由して情報を処理する分散型コンピュータシステムが挙げられる。

「コンピュータ可読媒体」は、コンピュータによってアクセス可能なデータを格納するために使用される任意の記憶装置を意味する。コンピュータ可読媒体の例として、磁気ハードディスク、フロッピーディスク、光ディスク（例：ＣＤ−ＲＯＭ、ＤＶＤ）、磁気テープ、メモリチップ、搬送波（コンピュータ可読電子データを載せる搬送波、例えば、電子メールの送受信時やネットワークへのアクセス時に使用される搬送波）、が挙げられる。

「ソフトウェア」は、コンピュータを動作させるための所定の規則である。ソフトウェアの例としては、ソフトウェア、コードセグメント、命令、コンピュータプログラム、プログラムロジックが挙げられる。

「コンピュータシステム」は、コンピュータを備えているシステムであって、コンピュータが、自身を動作させるためのソフトウェアを具体化しているコンピュータ可読媒体を備えている、システム、を意味する。

「ネットワーク」は、通信装置・設備によって接続されている複数のコンピュータ及び関連付けられる装置を意味する。ネットワークには、永久的な接続（ケーブルなど）と、一時的な接続（電話又はその他の通信リンクを通じて形成される接続など）とが含まれる。ネットワークの例としては、インターネット（例：Ｉｎｔｅｒｎｅｔ）、イントラネット、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、ネットワークの組合せ（例：インターネットとイントラネット）が挙げられる。

以下では、本発明の実施形態について図面を使用して更に詳しく説明する。図面において、同一参照数字は同一の要素を表している。

詳細な説明

本発明の自動ビデオ監視システムは、例えば、市場調査或いはセキュリティを目的として、監視対象場所を監視するシステムである。本システムは、専用の監視コンポーネントを有する専用のビデオ監視システムとすることができ、或いは、既存のビデオ監視機器から供給される監視ビデオを利用するように装備を加えることができる。本システムは、生のデータ源からの、又は記録済み媒体からのビデオデータを分析することができる。本システムは、ビデオデータをリアルタイムで処理することができ、後から犯罪イベントを極めて迅速に検出できるように、取り出したビデオプリミティブを格納することができる。本システムは、分析に対して所定の応答（例：アラームメカニズムを起動する、別のセンサーシステムを起動する）をとることができる。更に、本システムは、別の監視システムコンポーネントと統合することができる。本システムは、例えば、セキュリティレポート又は市場調査レポートを生成する目的で使用することができる。これらのレポートは、オペレータが必要に応じて編成することができ、オプションとして、Ｗｅｂベースの双方向インタフェース、又はその他のレポート生成メカニズムを通じて提示することができる。

イベント識別子（ｅｖｅｎｔ ｄｉｓｃｒｉｍｉｎａｔｏｒ）を使用することによって、システムを構成・設定するうえでの最大限の柔軟性がオペレータに提供される。イベント識別子は、１つ以上の監視対象物（その記述はビデオプリミティブに基づいている）と、１つ以上のオプションの空間属性、若しくは１つ以上のオプションの時間属性、又はその両方と、によって識別される。例えば、オペレータは、「午後１０：００〜午前６：００の間」且つ「１５分以上」にわたる「現金自動預払機」空間内の「人」監視対象物として、イベント識別子（本例においては「うろつき」イベントと称する）を定義することができる。イベント識別子は、修飾されたブール演算子と組み合わせて、更に複雑なクエリーを形成することができる。

本発明のビデオ監視システムは、一般に普及している周知のコンピュータビジョン手法を利用しているが、本発明のビデオ監視システムは、現時点では存在しない独自且つ新規の特徴をいくつか備えている。例えば、現在のビデオ監視システムでは、情報交換の主たる情報として大量のビデオ画像を使用する。本発明のシステムは、主たる情報としてビデオプリミティブを使用し、代表的なビデオ画像を付帯証拠として使用する。更に、本発明のシステムは、（手動で、半自動的に、又は自動的に）較正することができ、その後、ビデオ画像から自動的にビデオプリミティブを推測することができる。更に、本システムは、以前に処理したビデオを最初から処理する必要なしに、そのビデオを更に分析することができる。本システムは、以前に処理したビデオを分析することによって、以前に記録されたビデオプリミティブに基づいて推測分析を実行することができ、これにより、コンピュータシステムの分析速度が大幅に向上する。

ビデオプリミティブを使用することにより、ビデオの格納要件も大幅に低減することができる。なぜなら、イベント検出・応答サブシステムでは検出を例証する目的にのみビデオを使用するためである。その結果として、ビデオを低品質で格納或いは送信することができる。１つの可能な実施形態においては、常時ではなく、動作が検出されたときにのみ、ビデオを格納又は送信することができる。別の可能な実施形態においては、格納又は送信するビデオの品質を、動作が検出されたかどうかに応じたものとすることができる。すなわち、動作が検出されたときには高品質（高フレームレート若しくは高ビットレート、又はその両方）で、それ以外のときには低品質で、ビデオを格納又は送信することができる。別の例示的な実施形態においては、ビデオの格納及びデータベースを、例えばデジタルビデオレコーダー（ＤＶＲ）によって個別に扱うことができ、ビデオ処理サブシステムは、データを格納するかと格納時の品質とを制御するのみでよい。別の実施形態においては、ビデオ監視システム（又はそのコンポーネント）は、ビデオ管理装置（例：デジタルビデオカメラ、ネットワークビデオサーバ、ＤＶＲ、又はネットワークビデオレコーダー（ＮＶＲ））に搭載されている処理デバイス（例：汎用プロセッサ、ＤＳＰ、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ、その他のデバイス）上に実装することができ、デバイスからストリーミングされるビデオの帯域幅をシステムによって調整することができる。高品質のビデオ（高ビットレート又は高フレームレート）は、監視対象の動作が検出されたときにのみ、ＩＰビデオネットワークを通じて送信するのみでよい。この実施形態においては、インテリジェント装置からのプリミティブを、物理的に異なる監視対象場所における複数の動作推測アプリケーションに、ネットワークを経由して同時配信（ｂｒｏａｄｃａｓｔ）することができる。これにより、単一のカメラネットワークが、分散処理によって多目的のアプリケーションを提供できる。

図２２は、ビデオ監視システムの実施形態の１つの構成を示している。ブロック２２１は、生の（圧縮されていない）デジタルビデオ入力を表している。この入力は、例えば、アナログビデオ信号のアナログ−デジタルキャプチャによって、又はデジタルビデオ信号を復号化することによって得ることができる。ブロック２２２は、ビデオ監視システムの主たるコンポーネント〔ビデオコンテンツ分析（ブロック２２５）、動作推測（ブロック２２６）〕を収容しているハードウェアプラットフォームを表している。このハードウェアプラットフォームは、それ以外のコンポーネントとして、オペレーティングシステム（ブロック２２３）と、ビデオをストリーミング又は格納するため、任意の利用可能な圧縮方式（ＪＰＥＧ、ＭＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４、Ｗａｖｅｌｅｔ、その他）を使用して生のデジタルビデオを圧縮するビデオエンコーダ（ブロック２２４）と、データ（ビデオ、圧縮されたビデオ、アラート、ビデオプリミティブなど）を維持する記憶メカニズム（ブロック２２７）（この記憶装置は、例えば、ハードディスク、オンボードＲＡＭ、オンボードＦＬＡＳＨメモリ、又はその他の記憶媒体とすることができる）と、通信層（ブロック２２８）（例えば、データをパケット化する、若しくはデジタル化する、又はその両方を行って、通信チャネル（ブロック２２９）を通じて送信することができる）、を含んでいるとよい。

通信チャネル２２９に接続されているネットワークの別のノードには、計算プラットフォームに属す別のソフトウェアコンポーネントを配置することができる。ブロック２２１０は、ビデオ監視規則を作成するためのユーザインタフェースである規則管理ツールを示している。ブロック２２１１は、アラート及びレポートをユーザに表示するアラートコンソールを示している。ブロック２２１２は、更なる事後処理のためにアラート、プリミティブ、及びビデオを格納する記憶装置（ＤＶＲ、ＮＶＲ、ＰＣなど）を示している。

ハードウェアプラットフォーム（ブロック２２２）上のコンポーネントは、任意のビデオキャプチャ装置、ビデオ処理装置、又はビデオ管理装置〔例：ビデオカメラ、デジタルビデオカメラ、ＩＰビデオカメラ、ＩＰビデオサーバ、デジタルビデオレコーダー（ＤＶＲ）、ネットワークビデオレコーダー（ＮＶＲ）、ＰＣ、ラップトップ、その他の装置〕における、任意の処理ハードウェア（汎用プロセッサ、マイクロコントローラ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又はその他の処理デバイス）上に実装することができる。この構成では、複数の異なる可能な動作モードが存在する。

１つのモードにおいては、システムは、特定のイベントを探すようにプログラムされている。そのようなイベントが起こると、アラートを通信チャネル（ブロック２２９）を経由して別のシステムに送信する。

別のモードにおいては、ビデオ装置からビデオをストリーミングし、その一方で、ビデオ装置がビデオデータを分析する。イベントが起こると、アラートを通信チャネル（ブロック２２９）を経由して送信する。

別のモードにおいては、ビデオの符号化及びストリーミングを、コンテンツ分析及び動作推測によって調整する。動作が存在しない（プリミティブが生成されていない）ときには、ビデオをストリーミングしない（又は低品質、低ビットレート、低フレームレート、低解像度のビデオをストリーミングする）。何らかの動作が存在する（プリミティブが生成されている）ときには、高品質、高ビットレート、高フレームレート、高解像度のビデオをストリーミングする。イベント推測によって監視対象イベントが検出されると、極めて高い品質、ビットレート、フレームレート、及び解像度のビデオをストリーミングする。

別の動作モードにおいては、情報をオンボード記憶装置（ブロック２２７）に格納する。格納するデータは、（生又は圧縮された）デジタルビデオ、ビデオプリミティブ、アラート、又はその他の情報から構成することができる。格納するビデオの品質も、プリミティブ又はアラートの存在によって制御することができる。プリミティブ及びアラートが存在するときには、高品質、高ビットレート、高フレームレート、高解像度のビデオを格納することができる。

図２３は、ビデオ監視システムの実施形態の別の構成を示している。ブロック２３１は、生の（圧縮されていない）デジタルビデオ入力を表している。この入力は、例えば、アナログビデオ信号のアナログ−デジタルキャプチャによって、又はデジタルビデオ信号を復号化することによって得ることができる。ブロック２３２は、ビデオ監視システム（ブロック２３５）の分析コンポーネントを収容しているハードウェアプラットフォームを表している。このハードウェアプラットフォームは、それ以外のコンポーネントとして、オペレーティングシステム（ブロック２３３）と、ビデオをストリーミング又は格納するため、任意の利用可能な圧縮方式（ＪＰＥＧ、ＭＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４、Ｗａｖｅｌｅｔ、その他）を使用して生のデジタルビデオを圧縮するビデオエンコーダ（ブロック２３４）と、データ（ビデオ、圧縮されたビデオ、アラート、ビデオプリミティブなど）を維持する記憶メカニズム（ブロック２３６）（この記憶装置は、例えば、ハードディスク、オンボードＲＡＭ、オンボードＦＬＡＳＨメモリ、又はその他の記憶媒体とすることができる）と、通信層（ブロック２３７）（例えば、データをパケット化する、若しくはデジタル化する、又はその両方を行って、通信チャネル（ブロック２３８）を通じて送信することができる）、を含んでいることができる。図２３に示した本発明の実施形態においては、動作推測コンポーネント（ブロック２３１１）は、通信チャネル２３８が接続されているネットワークに接続されている個別のハードウェアコンポーネント（ブロック２３９）上に示してある。

このネットワークの別のノード（ブロック２３９）には、計算プラットフォームに属す別のソフトウェアコンポーネントも配置することができる。ブロック２３１０は、ビデオ監視規則を作成するためのユーザインタフェースである規則管理ツールを示している。ブロック２３１２は、アラート及びレポートをユーザに表示するアラートコンソールを示している。ブロック２３１３は記憶装置を示しており、この記憶装置は、同じハードウェアプラットフォームに物理的に配置する〔例：ハードディスク、フロッピーディスク、その他の磁気ディスク、ＣＤ、ＤＶＤ、その他の光ディスク、ＭＤ、その他の光磁気ディスク、固体記憶装置（ＲＡＭ、ＦＬＡＳＨ ＲＡＭなど）、その他の記憶装置〕ことができ、或いは、個別の記憶装置（例：外部ディスクドライブ、ＰＣ、ラップトップ、ＤＶＲ、ＮＶＲ、又はその他の記憶装置）とすることができる。

ハードウェアプラットフォーム（ブロック２２２）上のコンポーネントは、任意のビデオキャプチャ装置、ビデオ処理装置、又はビデオ管理装置〔例：ビデオカメラ、デジタルビデオカメラ、ＩＰビデオカメラ、ＩＰビデオサーバ、デジタルビデオレコーダー（ＤＶＲ）、ネットワークビデオレコーダー（ＮＶＲ）、ＰＣ、ラップトップ（ノート）、その他の装置〕における、任意の処理プラットフォーム（汎用プロセッサ、マイクロコントローラ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、又はその他の任意の処理プラットフォーム）上に実装することができる。バックエンドハードウェアプラットフォーム（ブロック２３９）上のコンポーネントは、任意の処理装置〔例：ＰＣ、ラップトップ、シングルボードコンピュータ、ＤＶＲ、ＮＶＲ、ビデオサーバ、ネットワークルータ、ハンドヘルドデバイス（テレビ電話、ページャ、又はＰＤＡ）〕における任意の処理ハードウェア（汎用プロセッサ、マイクロコントローラ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、又はその他の任意のデバイス）上に実装することができる。この構成では、複数の異なる可能な動作モードが存在する。

１つのモードにおいては、システムは、特定のイベントを探すように、バックエンド装置（又はバックエンド装置に接続されている任意の他の装置）上にプログラムされている。ビデオ処理プラットフォーム（ブロック２３２）上のコンテンツ分析モジュール（ブロック２３５）は、バックエンド処理プラットフォーム（ブロック２３９）に送信されるプリミティブを生成する。イベント推測モジュール（ブロック２３１１）は、規則に違反しているかを判定してアラートを生成し、このアラートをアラートコンソール（ブロック２３１２）に表示する、又は後から分析できるように記憶装置（ブロック２３１３）に格納することができる。

別のモードにおいては、ビデオプリミティブ及びビデオを、後から分析できるようにバックエンドプラットフォーム上の記憶装置（２３１３）に格納することができる。

別のモードにおいては、格納するビデオの品質、ビットレート、フレームレート、解像度を、アラートによって調整することができる。アラートが存在するときには、高品質、高ビットレート、高フレームレート、高解像度においてビデオを格納することができる。

別のモードにおいては、ビデオプリミティブを、通信チャネルを経由して後から分析できるようにビデオ処理装置（ブロック２３２内のブロック２３６）に格納することができる。

別のモードにおいては、ビデオ処理装置（ブロック２３２内のブロック２３６）に格納するビデオの品質は、プリミティブの存在によって調整することができる。プリミティブが存在するとき（何かが起きているとき）には、格納するビデオの品質、ビットレート、フレームレート、解像度を高めることができる。

別のモードにおいては、ビデオを、ビデオプロセッサからエンコーダ（２３４）を経てネットワーク上の別の装置に、通信チャネル２３８を経由してストリーミングすることができる。

別のモードにおいては、ビデオの品質をコンテンツ分析モジュール（２３５）によって調整することができる。プリミティブが存在しない（何も起きていない）ときには、ビデオをストリーミングしない（又は低品質、低ビットレート、低フレームレート、低解像度のビデオをストリーミングする）。動作が存在するときには、高品質、高ビットレート、高フレームレート、高解像度のビデオをストリーミングする。

別のモードにおいては、ストリーミングするビデオの品質、ビットレート、フレームレート、解像度を、アラートの存在によって調整することができる。バックエンドのイベント推測モジュール（ブロック２３１１）は、監視対象イベントを検出すると、ビデオ（又は高品質、高ビットレート、高フレームレート、高解像度のビデオ）を要求する信号又はコマンドをビデオ処理コンポーネント（ブロック２３２）に送ることができる。ビデオ圧縮コンポーネント（ブロック２３４）及び通信層（ブロック２３７）は、この要求を受け取ったとき、圧縮パラメータ及びストリーミングパラメータを変更することができる。

別のモードにおいては、ビデオ処理装置（ブロック２３２内のブロック２３６）に格納するビデオの品質を、アラートの存在によって調整することができる。バックエンドプロセッサ（ブロック２３９）上のイベント推測モジュール（ブロック２３１１）は、アラートを生成するとき、記憶装置（２３８）に格納するビデオの品質、ビットレート、フレームレート、解像度を高めるように、通信チャネル（ブロック２３８）を経由してビデオプロセッサハードウェア（ブロック２３２）にメッセージを送ることができる。

図２４は、図２３に記載した構成の拡張を示している。ビデオコンテンツ分析の機能とバックエンドの動作推測の機能を分けることにより、後からアプリケーションを結合する（ａｐｐｌｉｃａｔｉｏｎ ｂｉｎｄｉｎｇ）プロセスを通じて、多目的のインテリジェントなビデオ監視システムを使用可能にすることができる。インテリジェントカメラの１つのネットワークにおいて、ビデオプリミティブの単一のストリームを、組織の（複数の異なる物理位置における）複数の異なる部門における個別のバックエンドアプリケーションに同時配信し、複数の機能を達成することができる。これが可能であるのは、プリミティブのストリームが特定の適用分野に関するものではなく、プリミティブのストリームには、シーン内で進行している事象すべてに関する情報が含まれているためである。図２４に示した例は、小売環境に関連しているが、概略的な原理を例示したものであり、任意の他の適用分野及び任意の他の監視機能に適用することができる。ブロック２４１は、１つの施設内、又は複数の施設にまたがる、１台以上のビデオカメラのインテリジェントネットワークを示している。ネットワークに接続されているカメラの中の処理装置、ビデオサーバ、ネットワークルータ、ＤＶＲ、ＮＶＲ、ＰＣ、ラップトップ、或いは任意の他のビデオ処理装置に、１つ以上のコンテンツ分析コンポーネントを配置することができる。これらのコンテンツ分析コンポーネントから、プリミティブのストリームを、物理的に異なる領域に属している（様々な目的に使用される）バックエンドプロセッサ（ブロック２４２〜２４５）上の動作推測モジュールに、標準ネットワークを経由して同時配信する。バックエンドプロセッサは、コンピュータ、ラップトップ、ＤＶＲ、ＮＶＲ、ネットワークルータ、ハンドヘルドデバイス（電話、ページャ、ＰＤＡ）、又はその他のコンピューティング装置に配置することができる。この分散化の１つの利点は、あらゆるアプリケーションのあらゆる処理を行うようにプログラムしなくてはならない中央の処理アプリケーションが必要ないことである。もう１つの利点はセキュリティであり、組織の１つの部門が、ネットワーク内の他の部門がアクセスできないようにローカルに格納されている規則に基づいて動作推測を行うことができる。

ブロック２４２においては、物理的セキュリティ用途として、境界線侵害或いは器物破損等がなかったかを判定する、或いは重要な資産を保護する目的で、インテリジェントカメラネットワークからのプリミティブのストリームを分析する。当然ながら、これらの用途は単なる例示であり、任意の他の用途が可能である。

ブロック２４３においては、損失防止用途として、発送センター（ｌｏａｄｉｎｇ ｄｏｃｋ）を監視する、顧客又は従業員の窃盗を監視する、倉庫を監視する、或いは在庫を追跡する目的で、インテリジェントカメラネットワークからのプリミティブのストリームを分析する。当然ながら、これらの用途は単なる例示であり、任意の他の用途が可能である。

ブロック２４４においては、公共安全性・信頼性の用途として、駐車場内を大きすぎる速度で移動する人又は車両を監視する、人の転倒・落下を監視する、或いは設備内及び周囲の多数の人々を監視する目的で、インテリジェントカメラネットワークからのプリミティブのストリームを分析する。当然ながら、これらの用途は単なる例示であり、任意の他の用途が可能である。

ブロック２４５においては、ビジネスインテリジェンス（ｂｕｓｉｎｅｓｓ ｉｎｔｅｌｌｉｇｅｎｃｅ）の用途として、行列の長さを監視する、買物客の行動を追跡する、行動のパターンを学習する、或いは建物管理業務（例：人が存在しないときに照明及び暖房を管理する）を行う目的で、インテリジェントカメラネットワークからのプリミティブのストリームを分析する。当然ながら、これらの用途は単なる例示であり、任意の他の用途が可能である。

図２５は、使用可能な複数のインテリジェント装置が接続されているネットワーク（ブロック２５１）を示している。ブロック２５２は、ネットワークを通じてプリミティブをストリーミングすることのできるコンテンツ分析コンポーネントを搭載しているＩＰカメラである。ブロック２５３は、コンテンツ分析コンポーネントと動作推測コンポーネントの両方を搭載しているＩＰカメラであり、これらのコンポーネントは、規則に関して直接プログラムすることができ、ネットワークアラートを直接生成する。ブロック２５４は、標準的なアナログカメラであり、インテリジェントコンポーネントを搭載していないが、ビデオのデジタル化及び圧縮と、コンテンツ分析及び動作推測とを実行するＩＰビデオ管理プラットフォーム（ブロック２５６）に接続されている。このプラットフォームは、ビュー固有の規則に関してプログラムすることができ、プリミティブのストリームとアラートとをネットワークを経由して送信することができる。ブロック２５５は、別の装置からのプリミティブストリームを取り込んでアラートを生成することのできる動作推測コンポーネントを備えたＤＶＲである。ブロック２５７は、ワイヤレスネットワーク通信を行うことのできるハンドヘルドＰＤＡであり、動作推測アルゴリズムを搭載しており、ネットワークからビデオプリミティブを受け取ってアラートを表示することができる。ブロック２５８は、完全にインテリジェントなビデオ分析システムであり、アナログ又はデジタルのビデオストリームを受け取ってコンテンツ分析及び動作推測を実行し、一連のアラートコンソール上にアラートを表示することができる。

別の例としては、本発明のシステムは、独自のシステムタスク設定（ｔａｓｋｉｎｇ）を提供する。現在のビデオシステムは、機器制御ディレクティブ（ｅｑｕｉｐｍｅｎｔ ｃｏｎｔｒｏｌ ｄｉｒｅｃｔｉｖｅｓ）を使用しており、ユーザは、ビデオセンサーを配置することができ、従来のいくつかの高度なシステムにおいては、監視対象領域又は監視対象外領域を除外することができる。機器制御ディレクティブは、ビデオカメラの位置、向き、及びフォーカスを制御するための命令である。本発明のシステムでは、主たるタスク設定メカニズムとして、機器制御ディレクティブではなく、ビデオプリミティブに基づくイベント識別子を使用する。イベント識別子及びビデオプリミティブを使用することにより、システムから有用な情報を取り出すための方法として、従来のシステムよりもずっとわかりやすい方法がオペレータに提供される。「カメラＡを左に４５度パンする」といった機器制御ディレクティブを用いてシステムをタスク設定するのではなく、本発明のシステムは、「人が制限区域Ａに入る」など、ビデオプリミティブに基づく１つ以上のイベント識別子を使用して、わかりやすい方法においてタスク設定することができる。

本発明を市場調査に使用する場合、本発明によって実行することのできるタイプのビデオ監視の例として、店内の人を数える、店のある部分の人を数える、店内の特定の場所に立ち止まった人を数える、人が店内にいた時間を測定する、人が店のある部分にいた時間を測定する、店内の行列の長さを測定する、が挙げられる。

本発明をセキュリティに使用する場合、本発明によって実行することのできるタイプのビデオ監視の例として、誰かが制限区域に入ったことを判定し、関連付けられる画像を格納する、普通ではない時間に人が領域に入ったことを判定する、棚の空間及び保管空間に変化が起こり、それが権限なく行われた可能性があることを判定する、飛行機に乗っている乗客が操縦席に近づいたことを判定する、人が入口（ｓｅｃｕｒｅ ｐｏｒｔａｌ）をふさぐことを判定する、空港内に持ち主のないカバンが存在していることを判定する、資産の窃盗が起きたことを判定する、が挙げられる。

１つの例示的な適用分野は、出入管理であり、例えば、人がフェンスを乗り越える、或いは禁止区域に入った場合にそれを検出する、誰かが正しくない方向に移動した場合にそれを検出する（例：空港において出口から制限区域に入る）、監視対象領域内で検出された監視対象物の数が、ＲＦＩＤタグ、又は入場時のカードスワイプに基づいて予測される数に一致しない（許可されていない人が存在することを示す）場合にそれを判定する、が挙げられる。この機能は、住宅用途においても有用であり、この場合、ビデオ監視システムは、人の動きとペットの動きとを区別することができ、従って、間違ったアラームのほとんどが排除される。なお、多くの住宅用途においては、プライバシーが懸念されることがあり、例えば、別の人間が家庭を遠隔的に監視して、家の中に何があるか、家の中で何が起きているかを見ることができる状態を、住宅の所有者が望まないことがある。従って、そのような用途において使用されるいくつかの実施形態においては、ビデオの処理をローカルに実行することができ、必要なとき（例えば、これに限定されないが、犯罪行為又はその他の危険な状況が検出されたとき）にのみ、オプションのビデオ又はスナップショットを１つ以上の遠隔の監視ステーションに送ることができる。

別の例示的な適用分野は、資産監視である。資産監視は、シーンから監視対象物が持ち去られた（例えば、博物館から芸術品が持ち出された）場合にそれを検出することを意味する。小売環境においては、資産監視はいくつかの側面を持つことがあり、例えば、１人の人がある商品を疑わしいほど大量に購入した場合にそれを検出する、人が入口から出る、特にショッピングカートを押しながら入口から出ることを判定する、人が商品に一致しない値札を付けている、例えば、最も高価な種類のコーヒーを袋に入れているが、より安価な種類の値札が付いていることを判定する、人が大きな箱を持って発送センターを出た場合にそれを検出する、が挙げられる。

別の例示的な適用分野は、安全性を目的とする分野である。例えば、店内或いは駐車場内で人が転倒・落下した場合にそれを検出する、駐車場内で車が大きすぎる速度で走行していることを検出する、列車又は地下鉄の駅において、駅に列車が来ていないときにホームの端に人が近づきすぎていることを検出する、人がレールの上にいることを検出する、列車が動き始めたときに列車のドアに人がはさまっていることを検出する、施設に入る人及び施設から出る人の数を計測することにより正確な人数を認識する（これは緊急の場合に非常に重要なことがある）、が挙げられる。

別の例示的な適用分野は、交通監視である。例えば、特に橋やトンネルなどの場所において車両が停止した場合にそれを検出する、駐車禁止区域に車両が駐車した場合にそれを検出する、が挙げられる。

別の例示的な適用分野は、テロ防止である。この分野としては、前述した用途のいくつかに加えて、空港のコンコースに監視対象物が置き去られた、フェンス越しに監視対象物が投げ込まれた、或いは線路に監視対象物が置かれている場合にそれを検出する、重要な設備の周囲をうろついている人又は周回する車両を検出する、港又は開放水域において船舶に高速で接近するボートを検出する、が挙げられる。

別の例示的な適用分野は、場合によっては家庭における病人及び高齢者の世話である。例えば、人が倒れた場合にそれを検出する、不自然な挙動（例：長時間にわたり台所に入らない人など）を検出する、が挙げられる。

図１は、本発明のビデオ監視システムの平面図を示している。コンピュータシステム１１は、コンピュータ可読媒体１３を有するコンピュータ１２を備えており、コンピュータ可読媒体１３は、本発明に従ってコンピュータ１２を動作させるソフトウェアを具体化している。コンピュータシステム１１は、１つ以上のビデオセンサー１４と、１つ以上のビデオレコーダー１５と、１つ以上の入力／出力（Ｉ／Ｏ）装置１６とに接続されている。ビデオ監視データを直接記録することができるように、オプションとして、ビデオセンサー１４をビデオレコーダー１５に接続することもできる。コンピュータシステムは、オプションとして、別のセンサー１７に接続される。

ビデオセンサー１４は、ソースビデオをコンピュータ１１に提供する。各ビデオセンサー１４は、例えば、直接接続（例：デジタルカメラのＦｉｒｅＷｉｒｅインタフェース）又はネットワークを使用して、コンピュータシステム１１に接続することができる。ビデオセンサー１４は、本発明を導入する前から存在しているものでよく、或いは、本発明の一部として導入することができる。ビデオセンサー１４の例としては、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カムコーダー、ＰＣカメラ、Ｗｅｂカメラ、赤外線ビデオカメラ、ＣＣＴＶカメラが挙げられる。

ビデオレコーダー１５は、コンピュータシステム１１からのビデオ監視データを受け取って記録する、若しくは、ソースビデオをコンピュータシステム１１に提供する、又はこの両方を行う。各ビデオレコーダー１５は、例えば、直接接続又はネットワークを使用して、コンピュータシステム１１に接続することができる。ビデオレコーダー１５は、本発明を導入する前から存在しているものでよく、或いは、本発明の一部として導入することができる。コンピュータシステム１１におけるビデオ監視システムは、ビデオレコーダー１５がビデオをいつ記録するかと品質設定とを制御することができる。ビデオレコーダー１５の例としては、ビデオテープレコーダー、デジタルビデオレコーダー、ネットワークビデオレコーダー、ビデオディスク、ＤＶＤ、コンピュータ可読媒体、が挙げられる。更に、システムは、ネットワークを通じてストリーミングするビデオの帯域幅及び品質を、ビデオエンコーダ及びストリーミングプロトコルを制御することによって調整することもできる。監視対象動作が検出されたときには、高ビットレート、高フレームレート、又は高解像度の画像を符号化してストリーミングすることができる。

Ｉ／Ｏ装置１６は、コンピュータシステム１１への入力を提供し、コンピュータシステム１１からの出力を受け取る。Ｉ／Ｏ装置１６を使用することにより、コンピュータシステム１１をタスク設定することができ、また、コンピュータシステム１１からのレポートを生成することができる。Ｉ／Ｏ装置１６の例としては、キーボード、マウス、スタイラス、モニター、プリンタ、別のコンピュータシステム、ネットワーク、アラーム、が挙げられる。

別のセンサー１７は、コンピュータシステム１１への追加の入力を提供する。別のセンサー１７のそれぞれは、例えば、直接接続又はネットワークを使用して、コンピュータシステム１１に接続することができる。別のセンサー１７は、本発明を導入する前から存在しているものでよく、或いは、本発明の一部として導入することができる。別のセンサー１７の例としては、以下に限定されないが、動きセンサー、光学仕掛け線、バイオメトリクスセンサー、ＲＦＩＤセンサー、カードベース又はキーパッドベースの認証システム、が挙げられる。別のセンサー１７の出力は、コンピュータシステム１１、記録装置、記録システムのうちの少なくとも１つによって記録することができる。

図２は、本発明のビデオ監視システムのフローチャートを示している。以下では、本発明の様々な側面について図１０〜図１５を参照しながら例示してあり、これらの図は、食料品店の監視に適用される本発明のビデオ監視システムの例を示している。

ブロック２１においては、ビデオ監視システムを、図１を参照しながら説明したように構成する。各ビデオセンサー１４をビデオ監視の監視対象場所に向ける。コンピュータシステム１１を、ビデオ機器１４，１５からのビデオ供給系統に接続する。ビデオ監視システムは、既存の機器を使用して、又はその監視対象場所に新たに導入する機器を使用して、実施することができる。

ブロック２２においては、ビデオ監視システムを較正する。較正は、ブロック２１においてビデオ監視システムを構成した時点で行う。ブロック２２の結果として、ビデオ監視システムは、ビデオセンサーによって提供されるビデオ画像において、様々な場所における特定の監視対象物（例：人）のおよその絶対寸法及び絶対速度を決定することができるようになる。システムの較正は、手動較正、半自動較正、及び自動較正を使用して行うことができる。較正については、ブロック２４の説明の後に更に説明する。

図２のブロック２３においては、ビデオ監視システムをタスク設定する。タスク設定は、ブロック２２における較正の後に行い、オプションである。ビデオ監視システムのタスク設定では、１つ以上のイベント識別子を指定する。タスク設定を行わない場合、ビデオ監視システムは、図４のブロック４５におけるようにいかなるアクションも実行することなく、ビデオプリミティブ及び関連付けられるビデオ画像を検出してアーカイブする。

図３は、ビデオ監視システムをタスク設定してイベント識別子を決定するステップ群のフローチャートを示している。イベント識別子は、オプションとして１つ以上の空間属性若しくは１つ以上の時間属性、又はその両方と相互作用する１つ以上の監視対象物を意味する。イベント識別子は、ビデオプリミティブ（動作記述メタデータとも称する）に基づいて記述される。ビデオプリミティブの設計基準としては、ビデオストリームからリアルタイムで取り出すことができること、ビデオからの関連する情報のすべてを含んでいること、表現が簡潔であること、が挙げられる。

ビデオプリミティブがビデオストリームからリアルタイムで取り出されることは、システムがリアルタイムのアラートを生成できるようにするうえでと、実際に生成するうえで望ましい。なぜなら、ビデオによって連続的な入力ストリームが提供されるため、システムの処理が遅れることはできないためである。

ビデオプリミティブは、ビデオからの関連情報のすべてを含んでいるべきである。なぜなら、ビデオプリミティブを取り出す時点では、ユーザによって定義された規則をシステムが認識していないためである。従って、ユーザによって指定された任意のイベントを、ビデオに戻って再分析する必要なしに検出することができるだけの情報を、ビデオプリミティブに含める必要がある。

簡潔な表現も、複数の理由により望ましい。提案する本発明の１つの目標は、監視システムの記憶装置の再利用時間を延長することである。このことは、良好な品質のビデオを常時格納する代わりに、動作記述メタデータと、上述したように動作の存在に応じた品質でのビデオとを格納することによって、達成される。従って、ビデオプリミティブが簡潔であるほど、より多くのデータを格納することができる。更には、ビデオプリミティブの表現が簡潔であるほど、データアクセスが高速になり、これにより、犯罪探索の速度を高めることができる。

実際のビデオプリミティブの内容は、用途と、監視対象になり得るイベントとに応じたものとすることができる。以下では、いくつかの例示的な実施形態を説明する。

ビデオプリミティブの例示的な実施形態としては、シーン及びビデオの全体を記述するシーン／ビデオ記述子が挙げられる。概略的には、この記述子には、シーンの外観の詳細な記述（例：空、木の葉、人工物、水などの位置）、若しくは、気象条件の詳細な記述（例：降雨、霧などの有無）、又はその両方を含めることができる。ビデオ監視アプリケーションの場合、例えば、全体的な画面（ビュー）の変化は重要なことがある。一例として、記述子は、突然の照明の変化を記述することができる。或いは、記述子は、カメラの動き、特に、カメラが動き始めた、又は動きを停止したことを示すことができ、後者の場合、カメラが前の画面或いは少なくとも以前に既知であった画面に戻ったかを示すことができる。或いは、記述子は、供給されるビデオの品質の変化（例：突然にノイズが増す、或いは暗くなる）（ビデオ供給系統が不正に操作されたことを示しうる）を示すことができる。或いは、記述子は、水域における水位の変化を示すことができる〔この最後の問題に対する具体的な方法に関する更なる情報については、例えば、参照することにより本明細書に組み込まれている同時係属中の米国特許出願第１０／９５４，４７９号明細書（出願日：２００４年１０月１日）を参照されたい〕。

ビデオプリミティブの別の例示的な実施形態としては、供給されるビデオに写される監視対象物の観察可能な属性を記述する監視対象物記述子が挙げられる。監視対象物に関するどの情報を格納するかは、適用分野と利用可能な処理能力とに応じて決定することができる。例示的な監視対象物記述子として一般的な特性が挙げられ、例えば、以下に限定されないが、大きさ、形状、境界線、位置、軌跡、動きの速度及び方向、動きの特徴性及びその特徴、色、堅さ、表面組織・質感（ｔｅｘｔｕｒｅ）、分類、のうちの１つ以上である。更に、監視対象物記述子には、用途及びタイプに固有な更なる情報を含めることができる。この情報としては、人間に関しては、皮膚の色の存在及び割合（ｐｒｅｓｅｎｃｅ ａｎｄ ｒａｔｉｏ ｏｆ ｓｋｉｎ ｔｏｎｅ）、性別及び人種の情報、人の形状及び姿勢を記述する何らかの人体モデルが挙げられる。車両に関しては、タイプ〔例：トラック、スポーツユーティリティビークル（ＳＵＶ）、セダン、二輪車など〕、製造メーカー、型式、ナンバープレートが挙げられる。更に、監視対象物記述子には、動作、例えば、以下に限定されないが、監視対象物を運ぶ、走る、歩く、立つ、腕を上げる、を含めることもできる。いくつかの動作（例：話す、戦う、ぶつかる）は、別の監視対象物を記述することもある。更に、監視対象物記述子には、個人識別情報、例えば、以下に限定されないが、顔、歩き方を含めることもできる。

ビデオプリミティブの別の例示的な実施形態としては、ビデオの各領域の動きの方向を記述するフロー記述子が挙げられる。そのような記述子を使用することにより、例えば、禁止されている方向への動きを検出することによって、パスバックイベントを検出することができる（この問題に対する具体的な方法に関する更なる情報については、例えば、参照することにより本明細書に組み込まれている同時係属中の米国特許出願第１０／７６６，９４９号明細書（出願日：２００４年１月３０日）を参照されたい）。

プリミティブは、ビデオ以外のソース、例えば、音声センサー、熱センサー、圧力センサー、カードリーダー、ＲＦＩＤタグ、バイオメトリクスセンサーからのものでもよい。

分類は、監視対象物を特定のカテゴリ又はクラスに属しているものとして識別することを意味する。分類の例としては、人、犬、車両、警察車両、個々の人、特定のタイプの監視対象物、が挙げられる。

大きさは、監視対象物の寸法属性を意味する。大きさの例としては、大きい、中程度、小さい、平たい、６フィートより高い、１フィートより短い、３フィートより広い、４フィートより薄い、およそ人間の大きさ、人間より大きい、人間より小さい、およそ車の大きさ、およその寸法（ピクセル単位）を持つ画像内の長方形、画像のピクセルの数、が挙げられる。

位置は、監視対象物の空間属性を意味する。位置の例としては、ピクセル座標での画像の位置、何らかの世界座標系での実世界の絶対位置、大きな建造物又は別の監視対象物に対する位置、が挙げられる。

色は、監視対象物の色彩属性を意味する。色の例としては、白、黒、灰、赤、ＨＳＶ値の範囲、ＹＵＶ値の範囲、ＲＧＢ値の範囲、平均ＲＧＢ値、平均ＹＵＶ値、ＲＧＢ値のヒストグラム、が挙げられる。

堅さは、監視対象物の形状不変性属性を意味する。堅くない監視対象物（例：人、動物）の形状は、フレーム間で変化することがあるが、堅い監視対象物（例：車両、家）の形状は、フレーム間でほとんど変化しないままである（回転によるわずかな変化を除く）

表面組織・質感は、監視対象物のパターン属性を意味する。表面組織・質感の例としては、自己相似性、スペクトルパワー、直線性、粗さ、が挙げられる。

内部運動は、監視対象物の堅さの尺度を意味する。相当に堅い監視対象物の一例は車であり、車は多量の内部運動を示さない。相当に柔らかい監視対象物の一例は、手足を揺らしている人であり、多量の内部運動を示す。

動きは、自動的に検出することのできる動きを意味する。動きの例としては、監視対象物の出現、監視対象物の消失、監視対象物の垂直方向の動き、監視対象物の水平方向の動き、監視対象物の周期的な動き、が挙げられる。

監視・追跡可能な動き（ｓａｌｉｅｎｔ ｍｏｔｉｏｎ）は、自動的に検出することができ、いくらかの期間にわたり追跡することのできる動きを意味する。そのような運動中の監視対象物は、明らかに目的を持った動きを示す。監視・追跡可能な動きの例としては、１つの場所から別の場所に動く、移動して別の監視対象物と相互作用する、が挙げられる。

監視・追跡可能な動きの特徴は、監視・追跡可能な動きの特性を意味する。監視・追跡可能な動きの特徴の例としては、軌跡、画像空間内の軌跡の長さ、３次元表現の環境内での軌跡のおよその長さ、画像空間内の監視対象物の時間の関数としての位置、３次元表現の環境内での時間の関数としての監視対象物のおよその位置、軌跡の持続時間、画像空間内での速度（例：速度及び方向）、３次元表現の環境内でのおよその速度（例：速度及び方向）、ある速度における持続時間、画像空間内での速度の変化、３次元表現の環境内でのおよその速度変化、速度変化の持続時間、動きの停止、動きが停止している持続時間、が挙げられる。速度は、特定の時刻における監視対象物の速さ及び方向を意味する。軌跡は、監視対象物を追跡することができる間の、又はある時間期間の間の、監視対象物の一連の一対の特性（位置、速度）を意味する。

シーン変化は、ある時間期間にわたり変化しているものと検出することのできる、シーンの領域を意味する。シーン変化の例としては、静止している監視対象物がシーンから離れる、監視対象物がシーンに入って静止状態となる、シーン内で監視対象物の位置が変化する、監視対象物の外観（例：色、形状、大きさ）が変化する、が挙げられる。

シーン変化の特徴は、シーン変化の特性を意味する。シーン変化の特徴の例としては、画像空間内でのシーン変化の大きさ、３次元表現の環境内でのシーン変化のおよその大きさ、シーン変化が起こった時刻、画像空間内のシーン変化の位置、３次元表現の環境内でのシーン変化のおよその位置、が挙げられる。

事前定義モデルは、先験的に既知である、監視対象物のモデルを意味する。事前定義モデルの例としては、大人、子供、車両、セミトレーラー、が挙げられる。

図１６ａは、本発明の実施形態によるビデオ監視システムの例示的なビデオ分析部分を示している。図１６ａにおいて、ビデオセンサー〔例：ビデオカメラ（ただしこれに限定されない）〕１６０１は、ビデオ分析サブシステム１６０３にビデオストリーム１６０２を提供することができる。ビデオ分析サブシステム１６０３は、ビデオストリーム１６０２の分析を実行してビデオプリミティブを導くことができ、このビデオプリミティブは、プリミティブ記憶装置１６０５に格納することができる。プリミティブ記憶装置１６０５は、ビデオ以外のプリミティブを格納する目的にも使用することができる。ビデオ分析サブシステム１６０３は、更に、上述したように、ビデオ記憶装置１６０４へのビデオストリーム１６０２の全体又は一部の格納に関して、例えば、ビデオの品質若しくは量、又はその両方を制御することができる。

次に図１６ｂを参照し、ビデオプリミティブ１６１と、ビデオ以外のプリミティブ１６１（別のセンサーが存在する場合）とが利用可能になると、システムはイベントを検出することができる。ユーザは、規則１６３と対応する応答１６１７とを規則・応答定義インタフェース１６２を使用して定義することによってシステムをタスク設定する。規則はイベント識別子に変換され、システムは、対応するイベント発生を取り出す（１６５）。検出されたイベント発生１６６によって、ユーザによって定義された応答１６７がトリガーされる。応答には、ビデオ記憶装置１６８（図１６ａにおけるビデオ記憶装置１６０４と同じもの、又は別のものでもよい）からの、検出されたイベントのビデオのスナップショットを含めることができる。ビデオ記憶装置１６８は、ビデオ監視システムの一部とすることができ、或いは、個別の記録装置１５とすることができる。応答の例としては、システムのディスプレイ上の視覚的アラート若しくは音声アラート、又はその両方を起動する、その監視対象場所における視覚的アラームシステム若しくは音声アラームシステム、又はその両方を起動する、サイレントアラームを起動する、高速応答メカニズムを起動する、ドアを施錠する、セキュリティサービスに連絡する、ネットワーク〔例：インターネット（これに限定されない）〕を通じてデータ（例：画像データ、ビデオデータ、ビデオプリミティブ、分析されたデータ、のうちの１つ以上）を別のコンピュータシステムに転送又はストリーミングする、そのようなデータを指定されているコンピュータ可読媒体に保存する、何らかの別のセンサー又は監視システムを起動する、コンピュータシステム１１若しくは別のコンピュータシステム又はその両方をタスク設定する、コンピュータシステム１１若しくは別のコンピュータシステム又はその両方に指示を発する、のうちの１つ以上が挙げられ、ただしこれらに限定する必要はない。

プリミティブデータは、データベースに格納されているデータと考えることができる。データベースの中のイベント発生を検出するためには、効率的なクエリー言語が必要である。本発明のシステムの実施形態は、動作推測言語を含んでいることができ、以下ではこの言語について説明する。

リレーショナルデータベースの従来のクエリー方式では、格納されている様々なタイプのデータに対してユーザが柔軟なクエリーを作成できるように、ブール二分木構造（Ｂｏｏｌｅａｎ ｂｉｎａｒｙ ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に従うことがしばしばある。リーフノードは、通常では「特性 関係 値」の形であり、この場合、特性は、データの何らかの重要な特徴（時間、名称など）であり、関係は、通常では数値演算子（「＞」、「＜」、「＝」など）であり、値は、その特性の有効な状態である。ブランチノードは、通常では、単項ブール論理演算子又は二項ブール論理演算子（「ＡＮＤ」、「ＯＲ」、「ＮＯＴ」など）を表す。

これらの手法は、本発明の実施形態におけるように、動作クエリー作成方式の基礎を形成することができる。ビデオ監視アプリケーションの場合、特性は、ビデオストリーム中に検出される監視対象物の特徴〔例：大きさ、速度、色、分類（人、車両）〕とすることができ、或いは、特性は、シーン変化特性とすることができる。図１７は、そのようなクエリーを使用する例を示している。図１７ａにおいては、「赤色の車両を示す（Ｓｈｏｗ ｍｅ ａｎｙ ｒｅｄ ｖｅｈｉｃｌｅ）」というクエリー１７１が提示されている。このクエリーは、２つの「特性 関係 値」（又は単純に「特性」）のクエリーに分解することができ、それぞれ、監視対象物の分類が車両であるか（１７３）と、監視対象物の色が主として赤であるか（１７４）とを判定する。これらの２つのサブクエリーを、ブール演算子「ＡＮＤ」１７２と組み合わせることができる。同様に、図１７ｂにおいては、「カメラが動き始めたとき、又は動きを停止したときを示す（Ｓｈｏｗ ｍｅ ｗｈｅｎ ａ ｃａｍｅｒａ ｓｔａｒｔｓ ｏｒ ｓｔｏｐｓ ｍｏｖｉｎｇ）」というクエリーは、特性のサブクエリー「カメラが動き始めた（ｈａｓ ｔｈｅ ｃａｍｅｒａ ｓｔａｒｔｅｄ ｍｏｖｉｎｇ）」１７７及び「カメラが動きを停止した（ｈａｓ ｔｈｅ ｃａｍｅｒａ ｓｔｏｐｐｅｄ ｍｏｖｉｎｇ）」１７８と、ブール演算子「ＯＲ」１７６との組合せとして表現することができる。

本発明の実施形態では、このタイプのデータベースクエリー方式を２つの例示的な方法において拡張することができ、２つの方法とは、（１）基本のリーフノードを、シーン内の空間的動作を記述する動作検出子（ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｏｒ）によって拡張する、（２）ブール演算子のブランチノードを、空間的相互関係、時間的相互関係、及び監視対象物の相互関係を指定する修飾子によって拡張する、である。

動作検出子は、ビデオのシーンの領域に関連する挙動に対応する。動作検出子は、監視対象物がシーン内の監視対象場所と相互作用する状況を記述する。図１８は、３つの例示的な動作検出子を示している。図１８ａは、仮想ビデオ仕掛け線（ｖｉｒｔｕａｌ ｖｉｄｅｏ ｔｒｉｐｗｉｒｅ）を使用したときに境界線を特定の方向に横切る挙動を表している（そのような仮想ビデオ仕掛け線を実施する方法に関する更なる情報については、例えば、米国特許第６，６９６，９４５号明細書を参照されたい）。図１８ｂは、ある時間期間にわたり線路上をうろついている挙動を表している。図１８ｃは、壁の一画から何かを持ち去る挙動を表している〔これを行うための例示的な方法については、米国特許出願第１０／３３１，７７８号「ビデオシーンのバックグラウンドでの処理 − 変化の検出及び分類（Ｖｉｄｅｏ Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｍａｉｎｔｅｎａｎｃｅ − Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ＆ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」（出願日：２００３年１月３０日）を参照されたい〕。別の例示的な動作検出子としては、落下する人を検出する、方向又は速度を変える人を検出する、領域に入る人を検出する、正しくない方向に進む人を検出する、が挙げられる。

図１９は、動作検出子のリーフノード（本例においては仕掛け線を横切る）を単純な特性クエリーと組み合わせて、赤い車両がビデオ仕掛け線を横切る（１９１）場合にそれを検出する方法の例を示している。特性クエリー１７２，１７３，１７４と、動作検出子１９３とを、ブール演算子「ＡＮＤ」１９２と組み合わせる。

クエリーを、修飾されたブール演算子〔組合せ子（ｃｏｍｂｉｎａｔｏｒ）〕と組み合わせることにより、更なる柔軟性を加えることができる。例示的な修飾子としては、空間修飾子、時間修飾子、監視対象物修飾子、カウンタ修飾子が挙げられる。

空間修飾子は、ブール演算子を、シーン内の隣接する／隣接していない子動作（すなわち、例えば図１９においては、ブール演算子の下に示してあるブール演算子の引数）に対してのみ適用させることができる。例えば、動作間の距離が５０ピクセルより小さい場合にのみ「ＡＮＤ」が適用されることを指定する目的で、「ＡＮＤ ５０ピクセル以内（ａｎｄ − ｗｉｔｈｉｎ ５０ ｐｉｘｅｌｓ ｏｆ）」を使用することができる。

時間修飾子は、ブール演算子を、指定された時間期間以内、そのような時間期間の外側、又はある時間範囲内に起こる子動作に対してのみ適用させることができる。イベントの時間的な順序も指定することができる。例えば、最初の子動作の後、１０秒以内に２番目の子動作が起こった場合にのみ「ＡＮＤ」が適用されることを指定する目的で、「ＡＮＤ ２番目は最初の１０秒以内（ａｎｄ − ｆｉｒｓｔ ｗｉｔｈｉｎ １０ ｓｅｃｏｎｄｓ ｏｆ ｓｅｃｏｎｄ）」を使用することができる。

監視対象物修飾子は、ブール演算子を、同じ監視対象物又は異なる監視対象物に関連して起こる子動作に対してのみ適用させることができる。例えば、２つの子動作が同じ特定の監視対象物に関連している場合にのみ「ＡＮＤ」が適用されることを指定する目的で、「ＡＮＤ 同じ監視対象物に関連する（ａｎｄ − ｉｎｖｏｌｖｉｎｇ ｔｈｅ ｓａｍｅ ｏｂｊｅｃｔ）」を使用することができる。

カウンタ修飾子は、１つ以上の条件が所定の回数だけ満たされた場合にのみブール演算子をトリガーさせることができる。カウンタ修飾子は、一般的には、数値の関係（例：「少なくともｎ回」、「ちょうどｎ回」、「最大でｎ回」）を含んでいる。例えば、「ＯＲ」演算子のサブクエリーのうちの少なくとも２つが真でなければならないことを指定する目的で、「ＯＲ 少なくとも２回（ｏｒ − ａｔ ｌｅａｓｔ ｔｗｉｃｅ）」を使用することができる。カウンタ修飾子の別の使用としては、「同じ人が少なくとも５個の商品を棚からとった場合にアラートを発行する」などの規則を導入することができる。

図２０は、組合せ子の使用例を示している。この例において、必要な動作クエリーは、「左折違反を犯した赤い車両を見つける（ｆｉｎｄ ａ ｒｅｄ ｖｅｈｉｃｌｅ ｍａｋｉｎｇ ａｎ ｉｌｌｅｇａｌ ｌｅｆｔ ｔｕｒｎ）」２０１である。左折違反は、動作記述子と修飾されたブール演算子とを組み合わせることによって捕捉することができる。１つの仮想仕掛け線を使用して、脇道から出てくる監視対象物を検出する（１９３）ことができ、別の仮想仕掛け線を使用して、道路を左方向に移動する監視対象物を検出することができる。これらを、修飾された「ＡＮＤ」演算子２０２によって組み合わせることができる。標準のブール演算子「ＡＮＤ」によって、動作１９３と動作２０５は、その両方が検出されなければならない。監視対象物修飾子２０３は、両方の仕掛け線を同じ監視対象物が横切ったかを調べ、時間修飾子２０４は、最初に下から上への仕掛け線を横切り（１９３）、その後１０秒以内に右から左への仕掛け線を横切った（２０５）かを調べる。

この例は、組合せ子の効果も示している。理論的には、単純な動作検出子及び組合せ子を使用せずに、左折に対して個別の動作検出子を定義することが可能である。しかしながら、この検出子は柔軟性に欠け、任意の旋回角度及び旋回方向に対応することが難しく、更には、起こりうるあらゆるイベントに対して個別の検出子を書くことは手間がかかる。これに対して、組合せ子と単純な検出子とを使用することにより、大きな柔軟性が得られる。

単純な動作の組合せとして検出することのできる複合動作の別の例としては、車が駐車し、その車から人が降りてくる、或いは、複数の人がグループを形成して道をふさぐ場合が挙げられる。組合せ子は、異なるタイプのプリミティブや異なるソースのプリミティブを組み合わせることもできる。例として、「照明を消す前に部屋の中の人を示す（ｓｈｏｗ ａ ｐｅｒｓｏｎ ｉｎｓｉｄｅ ａ ｒｏｏｍ ｂｅｆｏｒｅ ｔｈｅ ｌｉｇｈｔｓ ａｒｅ ｔｕｒｎｅｄ ｏｆｆ）」、「カードを通すことを行わずにドアから入る人を示す（ｓｈｏｗ ａ ｐｅｒｓｏｎ ｅｎｔｅｒｉｎｇ ａ ｄｏｏｒ ｗｉｔｈｏｕｔ ａ ｐｒｅｃｅｄｉｎｇ ｃａｒｄ−ｓｗｉｐｅ）」、「監視対象領域内の監視対象物の数が、ＲＦＩＤタグリーダーによって予測されるよりも多い（すなわち、ＲＦＩＤタグのない不正な監視対象物が領域内に存在する）場合にそれを示す（ｓｈｏｗ ｉｆ ａｎ ａｒｅａ ｏｆ ｉｎｔｅｒｅｓｔ ｈａｓ ｍｏｒｅ ｏｂｊｅｃｔｓ ｔｈａｎ ｅｘｐｅｃｔｅｄ ｂｙ ａｎ ＲＦＩＤ ｔａｇ ｒｅａｄｅｒ）」などの規則が挙げられる。

組合せ子は、任意の数のサブクエリーを組み合わせることができ、別の組合せ子を任意の深さに組み合わせることもできる。一例として、図２１ａ及び図２１ｂに示したように、車が左折し（２１０１）、その後に右折する（２１０４）場合を検出する規則が挙げられる。左折２１０１は、方向仕掛け線２１０２及び２１０３によって検出することができ、右折２１０４は、方向仕掛け線２１０５及び２１０６によって検出することができる。左折は、仕掛け線の動作検出子２１１２及び２１１３（それぞれ、仕掛け線２１０２及び２１０３に対応する）を、監視対象物修飾子「同一（ｓａｍｅ）」２１１７と時間修飾子「２１１２が２１１３の前（２１１２ ｂｅｆｏｒｅ ２１１３）」２１１８とを有する「ＡＮＤ」組合せ子２１１１によって連結することにより表すことができる。同様に、右折は、仕掛け線の動作検出子２１１５及び２１１６（それぞれ、仕掛け線２１０５及び２１０６に対応する）を、監視対象物修飾子「同一（ｓａｍｅ）」２１１９と時間修飾子「２１１５が２１１６の前（２１１５ ｂｅｆｏｒｅ ２１１６）」２１２０とを有する「ＡＮＤ」組合せ子２１１４によって連結することにより表すことができる。同じ監視対象物が最初に左折した後に右折したことを検出するため、左折検出子２１１１と右折検出子２１１４とを、監視対象物修飾子「同一（ｓａｍｅ）」２１２２と時間修飾子「２１１１が２１１４より前（２１１１ ｂｅｆｏｒｅ ２１１４）」２１２３とを有する「ＡＮＤ」組合せ子２１２１によって連結する。最後に、検出した監視対象物が車両であるように、ブール演算子「ＡＮＤ」２１２５を使用して、左折・右折検出子２１２１と特性クエリー２１２４とを組み合わせる。

これらのすべての検出子は、オプションとして、時間属性と組み合わせることができる。時間属性の例として、１５分ごと、午前９：００から午後６：３０の間、５分未満、３０秒を超える、週末中に、が挙げられる。

図２のブロック２４において、ビデオ監視システムを動作させる。本発明のビデオ監視システムは、自動的に動作し、シーン内の監視対象物のビデオプリミティブを検出及びアーカイブし、イベント識別子を使用してイベント発生をリアルタイムで検出する。更に、適切なアクション（例：アラームを起動する、レポートを生成する、出力を生成する）をリアルタイムで実行する。レポート及び出力は、システムにローカルに、又はネットワーク（例：インターネット）を経由してシステム以外の場所において、表示する、若しくは格納する、又はその両方を行うことができる。図４は、ビデオ監視システムを動作させるステップ群のフローチャートを示している。

ブロック４１において、コンピュータシステム１１が、ビデオセンサー１４若しくはビデオレコーダー１５、又はその両方からソースビデオを取得する。

ブロック４２において、ソースビデオからビデオプリミティブをリアルタイムで取り出す。オプションとして、１つ以上の別のセンサー１７からビデオ以外のプリミティブを取得する、若しくは取り出す、又はその両方を行って、本発明において使用することができる。図５は、ビデオプリミティブの取り出しを示している。

図５は、ビデオ監視システムのためのビデオプリミティブを取り出すステップ群のフローチャートを示している。ブロック５１及びブロック５２は平行に動作し、任意の順序で、又は同時に実行することができる。ブロック５１において、動きを通じて監視対象物を検出する。このブロックには、フレーム間の動きをピクセルレベルで検出する任意の動き検出アルゴリズムを使用することができる。一例として、参考文献｛１｝に説明されている３つのフレーム区別手法を使用することができる。検出した監視対象物をブロック５３に転送する。

ブロック５２においては、変化を通じて監視対象物を検出する。このブロックには、バックグラウンドモデルからの変化を検出する任意の変化検出アルゴリズムを使用することができる。このブロックでは、フレーム内の１つ以上のピクセルがフレームのバックグラウンドモデルに一致しないために、それらのピクセルがフレームのフォアグラウンド内であるとみなされる場合に、監視対象物を検出する。一例として、確率論的バックグラウンドモデリング手法（例：動的な適応的バックグラウンド減算）を使用することができ、この手法は、参考文献｛１｝と、米国特許出願第０９／６９４，７１２号明細書（出願日：２０００年１０月２４日）とに記載されている。検出した監視対象物をブロック５３に転送する。

ブロック５１の動き検出手法とブロック５２の変化検出手法は、相補的な手法であり、それぞれの手法は他方の手法の足りない部分を補う。オプションとして、ブロック５１及びブロック５２について説明した手法として、追加の検出方式若しくは代替の検出方式、又はその両方を使用することができる。追加の検出方式或いは代替の検出方式としては、参考文献｛８｝に記載されている、人を見つけるためのＰｆｉｎｄｅｒ検出方式、肌の色を検出する方式、顔の検出方式、モデルベースの検出方式、が挙げられる。そのような追加の検出方式若しくは代替の検出方式、又はその両方の結果を、ブロック５３に提供する。

オプションとして、ビデオセンサー１４が動く（例：スイープ、ズーム、平行移動のうちの少なくとも１つを行うビデオカメラ）場合、ビデオを安定化（ｓｔａｂｉｌｉｚａｔｉｏｎ）する入力をブロック５１及びブロック５２に提供する追加のブロックを、ブロック５１とブロック５２との間のブロックの前に挿入することができる。ビデオの安定化は、アフィン変換又は射影変換によるグローバル動き補償（ａｆｆｉｎｅ ｏｒ ｐｒｏｊｅｃｔｉｖｅ ｇｌｏｂａｌ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）によって達成することができる。例えば、米国特許出願第０９／６０９，９１９号（出願日：２０００年７月３日）（現在の米国特許第６，７３８，４２４号）明細書（参照することにより本明細書に組み込まれている）に記載されている画像アラインメントを使用して、ビデオの安定化を得ることができる。

ブロック５３において、ブロブを生成する。ブロブとは、一般的にはフレーム内の監視対象物である。ブロブの例としては、動いている監視対象物（例：人、車両）、消費財（例：家具）、衣料品、小売棚の商品、が挙げられる。ブロブは、ブロック３２及びブロック３３からの、検出された監視対象物を使用して生成する。このブロックには、ブロブを生成する任意の手法を使用することができる。動き検出及び変化検出からブロブを生成する例示的な手法では、接続コンポーネント方式（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔｓ ｓｃｈｅｍｅ）を使用する。例えば、参考文献｛１｝に記載されている形態・接続コンポーネントアルゴリズムを使用することができる。

ブロック５４においては、ブロブを追跡する。このブロックには、ブロブを追跡する任意の手法を使用することができる。例えば、カルマンフィリタリング或いはＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムを使用することができる。別の例としては、例えば参考文献｛１｝に記載されているテンプレートマッチング手法を使用することができる。更なる例として、参考文献｛５｝に記載されている複数仮説カルマン追跡器（ｍｕｌｔｉ−ｈｙｐｏｔｈｅｓｉｓ Ｋａｌｍａｎ ｔｒａｃｋｅｒ）を使用することができる。更に別の例としては、米国特許出願第０９／６９４，７１２号（出願日：２０００年１０月２４日）明細書に記載されているフレーム間追跡手法を使用することができる。例えば、監視対象場所が食料品店である場合、追跡することのできる監視対象物の例として、動いている人、在庫商品、在庫商品の移動装置（例：ショッピングカート、台車）が挙げられる。

オプションとして、ブロック５１〜ブロック５４を、通常の技術を有する者に公知である任意の検出・追跡方式に置き換えることができる。そのような検出・追跡方式の例は、参考文献｛１１｝に記載されている。

ブロック５５において、追跡している監視対象物の軌跡のそれぞれを分析し、軌跡が監視・追跡可能であるかを判定する。軌跡が監視・追跡可能ではない場合、その軌跡は、不安定な動きを示す監視対象物を表している、或いは、大きさ又は色が不安定である監視対象物を表しており、システムは、対応する監視対象物を拒否し、それ以上は分析しない。軌跡が監視・追跡可能である場合、その軌跡は、監視対象である可能性のある監視対象物を表している。軌跡が監視・追跡可能であるか否かは、特徴性の測度を軌跡に適用することによって判定する。軌跡が監視・追跡可能であるか否かを判定するための手法は、参考文献｛１３｝及び参考文献｛１８｝に記載されている。

ブロック５６においては、各監視対象物を分類する。監視対象物の分類として、各監視対象物の一般的なタイプを求める。分類は、様々な手法によって行うことができ、そのような手法の例として、ニューラルネットワーク分類子を使用する（参考文献｛１４｝）、線形識別分類子（ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｔａｎｔ ｃｌａｓｓｉｆｉｅｒ）を使用する（参考文献｛１４｝）、が挙げられる。分類の例は、ブロック２３に関して説明した例と同じである。

ブロック５７においては、ブロック５１〜ブロック５６からの情報と、必要であれば追加の処理とを使用して、ビデオプリミティブを識別する。識別されるビデオプリミティブの例は、ブロック２３について説明した例と同じである。一例として、大きさに関して、システムは、ブロック２２における較正から得られる情報をビデオプリミティブとして使用することができる。較正からの情報は、システムが監視対象物のおよその大きさを決定するうえで十分なものである。別の例として、システムは、ブロック５４において測定される速度をビデオプリミティブとして使用することができる。

ブロック４３においては、ブロック４２からのビデオプリミティブをアーカイブする。ビデオプリミティブは、コンピュータ可読媒体１３又は別のコンピュータ可読媒体にアーカイブすることができる。ビデオプリミティブとともに、ソースビデオからの関連するフレーム又はビデオ画像をアーカイブすることができる。このアーカイブステップはオプションであり、リアルタイムでのイベント検出のみにシステムを使用する場合、アーカイブステップをスキップすることができる。

ブロック４４においては、イベント識別子を使用して、ビデオプリミティブからイベント発生を取り出す。ビデオプリミティブはブロック４２において求められ、イベント識別子は、ブロック２３においてシステムのタスク設定から決定される。イベント識別子を使用することにより、ビデオプリミティブをフィルタリングし、イベント発生が起きたかを判定する。例えば、イベント識別子は、午前９：００〜午後５．００の間に人が「正しくない方向」に移動して領域に入る、と定義される「正しくない方向」イベントを探すことができる。イベント識別子は、図５に従って生成されるビデオプリミティブのすべてを調べ、午前９：００〜午後５．００の間のタイムスタンプと、「人」又は「人のグループ」としての分類と、領域の内側の位置と、「正しくない」動きの方向とを特性として有するビデオプリミティブが存在するかを判定する。イベント識別子は、上述したような別のタイプのプリミティブを使用する、若しくは、複数のビデオソースからのビデオプリミティブを組み合わせる、又はその両方を行って、イベント発生を検出することもできる。

ブロック４５においては、ブロック４４において取り出したイベント発生のそれぞれに対して、適切なアクションを実行する。図６は、ビデオ監視システムによってアクションを実行するステップ群のフローチャートを示している。

ブロック６１においては、イベント発生を検出したイベント識別子によって決まる応答を実行する。応答（存在時）は、ブロック３４においてイベント識別子のそれぞれに対して識別される。

ブロック６２においては、起こったイベント発生のそれぞれに対して動作レコードを生成する。動作レコードとしては、例えば、監視対象物の軌跡の詳細、監視対象物の検出時刻、監視対象物の検出位置、使用したイベント識別子の記述又は定義が挙げられる。動作レコードには、イベント識別子によって必要とされる情報（例：ビデオプリミティブ）を含めることができる。更に、動作レコードには、イベント発生に関与する１つ以上の監視対象物若しくは１つ以上の領域、又はその両方の代表的なビデオ又は静止画像も含めることができる。動作レコードは、コンピュータ可読媒体に格納する。

ブロック６３においては、出力を生成する。この出力は、ブロック４４において取り出したイベント発生と、ブロック４１からのソースビデオの直接供給とに基づく。出力は、コンピュータ可読媒体に格納する、コンピュータシステム１１又は別のコンピュータシステムに表示する、又は、別のコンピュータシステムに転送する。システムが動作するにつれて、イベント発生に関する情報が集められ、オペレータは、この情報をリアルタイムで見ることを含めて、いつでも見ることができる。情報を受け取る形態の例としては、コンピュータシステムのモニター上の表示、プリントアウト、コンピュータ可読媒体、双方向Ｗｅｂページ、が挙げられる。

出力には、アナログビデオ送信手段又はネットワークビデオストリーミングのいずれかによって送信される、ブロック４１からのソースビデオの直接供給からの表示を含めることができる。例えば、ソースビデオを、コンピュータシステムのモニターのウィンドウ、又は閉回路モニター（ｃｌｏｓｅｄ−ｃｉｒｃｕｉｔ ｍｏｎｉｔｏｒ）に表示することができる。更に、出力には、イベント発生に関与する監視対象物若しくは領域、又はその両方が強調されるようにグラフィックによって印を付けたソースビデオを含めることができる。システムが犯罪分析モードにおいて動作する場合、ビデオレコーダーからのビデオを使用することができる。

出力には、オペレータの要件若しくはイベント発生、又はその両方に基づく、オペレータを対象とする１つ以上のレポートを含めることができる。レポートの例としては、起こったイベント発生の数、イベント発生が起こったシーン内の位置、イベント発生が起こった時刻、各イベント発生の代表的な画像、各イベント発生の代表的なビデオ、生の統計データ、イベント発生の統計情報（例：回数、頻度、場所、日時）、人が読むことのできるグラフィック表示、のうちの１つ以上、が挙げられる。

図１３及び図１４は、図１５の食料品店における通路の例示的なレポートを示している。図１３及び図１４においては、ブロック２２においていくつかの領域が識別されており、それに応じて画像内にラベルが付されている。図１３における領域は図１２における領域と一致しており、図１４における領域は別の領域である。システムは、領域内に立ち止まる人を探すようにタスク設定されている。

図１３において、この例示的なレポートは、ラベル、グラフィック、統計情報、及び統計情報の分析が含まれるように書き込まれている、ビデオからの画像である。例えば、コーヒーとして識別されている領域は、統計情報として、領域内の平均顧客人数が２人／時間、領域内の平均滞留時間が５秒である。システムは、この領域を「コールド」領域（この領域には多くの商業活動が存在しないことを意味する）と判定している。別の例として、炭酸飲料として識別されている領域は、領域内の平均顧客人数が１５人／時間、領域内の平均滞留時間が２２秒である。システムは、この領域を「ホット」領域（この領域には大量の商業活動が存在することを意味する）と判定している。

図１４において、この例示的なレポートは、ラベル、グラフィック、統計情報、及び統計情報の分析が含まれるように書き込まれている、ビデオからの画像である。例えば、通路の後ろの領域は、平均顧客人数が１４人／時間であり、低通行量であると判定されている。別の例として、通路の正面の領域は、平均顧客人数が８３人／時間であり、高通行量であると判定されている。

図１３又は図１４において、オペレータが特定の領域又は特定の領域に関する更なる情報を望むならば、ポイントアンドクリック式インタフェースにより、領域若しくは動作、又はその両方の、システムによって検出及びアーカイブされている代表的な静止画像及びビデオ画像を切り替えることができる。

図１５は、食料品店における通路の別の例示的なレポートを示している。この例示的なレポートには、ラベルと軌跡を示す印とが含まれるように書き込まれている、ビデオからの画像と、書き込まれている画像を説明するテキストとが含まれている。この例のシステムは、複数の領域について、監視対象物の軌跡の長さ、位置、及び時刻と、監視対象物が静止していた時刻及び監視対象場所と、オペレータによって指定された、軌跡と領域の相関関係と、監視対象物の分類（人以外、１人、２人、３人、又はそれ以上の人）と、を探索するようにタスク設定されている。

図１５のビデオ画像は、軌跡が記録された時間期間からのものである。３つの監視対象物のうち２つの監視対象物は、それぞれ１人の人と分類されており、１つの監視対象物は、人以外として分類されている。各監視対象物には、ラベル、すなわち、Ｐｅｒｓｏｎ ＩＤ １０３２、Ｐｅｒｓｏｎ ＩＤ １０３３、Ｏｂｊｅｃｔ ＩＤ ３２００１が割り当てられている。Ｐｅｒｓｏｎ ＩＤ １０３２については、システムは、その人が領域内で５２秒滞留し、円によって示されている位置に１８秒滞留したことを判定した。Ｐｅｒｓｏｎ ＩＤ １０３３については、システムは、その人が領域内で１分８秒滞留し、円によって示されている位置に１２秒滞留したことを判定した。Ｐｅｒｓｏｎ ＩＤ １０３２及びＰｅｒｓｏｎ ＩＤ １０３３の軌跡は、書き込まれている画像に含まれている。Ｏｂｊｅｃｔ ＩＤ ３２００１については、システムはこの監視対象物を更には分析せず、監視対象物の位置をＸで示した。

図２のブロック２２を再び参照し、較正は、ビデオセンサー又はビデオレコーダーからの画像を使用して、（１）手動で、又は（２）半自動的に行う、或いは、ビデオセンサー又はビデオレコーダーからの画像を使用して（３）自動的に行うことができる。画像が必要である場合、コンピュータシステム１１によって分析するソースビデオは、較正に使用したソースビデオを取得したビデオセンサーからのビデオである。

手動較正の場合、オペレータが、各ビデオセンサー１４の向き及び内部パラメータと、監視対象場所に対する各ビデオセンサー１４の配置とを、コンピュータシステム１１に提供する。コンピュータシステム１１は、オプションとして、監視対象場所のマップを維持することができ、ビデオセンサー１４の配置をそのマップ上に示すことができる。マップは、環境の２次元表現又は３次元表現とすることができる。更に、手動較正では、監視対象物のおよその大きさと相対的な位置とを決定するための十分な情報をシステムに提供する。

或いは、手動較正の場合、オペレータは、センサーからのビデオ画像に、大きさが既知である監視対象物（例：人）の外観を表すグラフィックを書き込むことができる。少なくとも２つの異なる監視対象場所においてオペレータが画像に書き込むことができるならば、システムは、およそのカメラ較正情報を推測することができる。

半自動較正及び自動較正の場合、カメラパラメータやシーンジオメトリの情報は必要ない。半自動較正及び自動較正では、シーン内の様々な領域における監視対象物の大きさを近似するため探索テーブルが生成される、又は、カメラの内部較正パラメータ及び外部較正パラメータが推測される。

半自動較正の場合、ビデオソースとオペレータからの入力とを組み合わせて使用して、ビデオ監視システムが較正される。半自動的に較正するビデオセンサーの視野の中に、１人の人を入れる。コンピュータシステム１１は、その人に関するソースビデオを受け取り、その人の大きさをそのデータに基づいて自動的に推測する。ビデオセンサーの視野の中に人が写っている監視対象場所の数が増すほど、及び、ビデオセンサーの視野の中に人が写っている時間が長いほど、半自動較正の精度が高まる。

図７は、ビデオ監視システムの半自動較正のフローチャートを示している。ブロック７１は、代表的な監視対象物を様々な軌跡でシーンを移動させることを除いて、ブロック４１と同じである。代表的な監視対象物は、様々な速度で移動させることができ、様々な位置で静止させることができる。例えば、代表的な監視対象物をビデオセンサーにできるだけ近くまで動かした後、ビデオセンサーからできるだけ遠くに動かす。代表的な監視対象物によるこの動きは、必要に応じて繰り返すことができる。

ブロック７２〜ブロック７５は、それぞれ、ブロック５１〜ブロック５４と同じである。

ブロック７６においては、シーン全体の中で代表的な監視対象物を監視する。追跡している安定的な（又は少なくとも最も安定的な）監視対象物のみが、シーン内の較正監視対象物である。安定的な監視対象物が観察されているシーン内の各ポイントにおいて、その監視対象物の大きさを収集し、その情報を使用して較正情報を生成する。

ブロック７７においては、シーン全体の中の複数の異なる領域において代表的な監視対象物の大きさを識別する。代表的な監視対象物の大きさを使用して、シーン内の様々な領域における類似する監視対象物のおよその大きさを求める。この情報を用いて、画像内の様々な領域における代表的な監視対象物の代表的な見かけの大きさを求める探索テーブルを生成する、又は、カメラの内部較正パラメータ及び外部較正パラメータを推測する。出力の例として、画像の様々な領域に表示される棒状の図形（ｓｔｉｃｋ−ｓｉｚｅｄ ｆｉｇｕｒｅ）は、システムによって適切な高さであると判定された監視対象物を示している。図１１は、そのような棒状の図形を示している。

自動較正の場合、各ビデオセンサーの視野内の監視対象場所に関する情報をコンピュータシステム１１が求める学習段階を実行する。自動較正時、コンピュータシステム１１は、シーンの代表的な監視対象物の統計的に有意なサンプリングを得るうえで十分な、代表的な時間期間（例：数分、数時間）にわたる監視対象場所のソースビデオを受け取り、代表的な見かけの大きさ及び監視対象場所を推測する。

図８は、ビデオ監視システムの自動較正のフローチャートを示している。ブロック８１〜ブロック８６は、図７におけるブロック７１〜ブロック７６と同じである。

ブロック８７においては、ビデオセンサーの視野の中の追跡可能な領域を識別する。追跡可能な領域とは、監視対象物を容易に、若しくは正確に、又は容易且つ正確に追跡することのできる、ビデオセンサーの視野の中の領域を意味する。追跡不能領域は、監視対象物を容易には追跡できない、正確に追跡できない、追跡するのが困難である、のうちの１つ以上が該当する、ビデオセンサーの視野の中の領域を意味する。追跡不能領域は、不安定な領域又は監視・追跡可能ではない領域とみなすことができる。監視対象物を追跡することが難しい原因としては、監視対象物が小さすぎる（例：所定のしきい値よりも小さい）、現れている時間が短すぎる（例：所定のしきい値よりも短い）、監視・追跡可能ではない（例：無目的の）動きを示す、が挙げられる。追跡可能な領域は、例えば、参考文献｛１３｝に記載されている手法を使用して識別することができる。

図１０は、食料品店の通路において判定された追跡可能な領域を示している。通路の向こう側の端の領域は、監視・追跡可能ではないと判定される。なぜなら、この領域に現れている混乱体（ｃｏｎｆｕｓｅｒ）が多すぎるためである。混乱体とは、ビデオ内の、追跡を混乱させるものを意味する。混乱体の例としては、舞っている葉、雨、部分的に隠されている監視対象物、正確に追跡するには出現時間が短すぎる監視対象物、が挙げられる。対照的に、通路のこちら側の領域は、監視・追跡可能であると判定される。なぜなら、この領域では追跡が良好であると判定されるためである。

ブロック８８においては、シーン全体の中の複数の異なる領域において監視対象物の大きさを識別する。監視対象物の大きさを使用して、シーン内の様々な領域における類似する監視対象物のおよその大きさを求める。ヒストグラム或いは統計上の中央値を用いるなどの手法を使用して、監視対象物の代表的な見かけの高さ及び幅を、シーン内の監視対象場所の関数として求める。代表的な監視対象物は、シーンの画像の１つの部分において代表的な見かけの高さ及び幅を持つ。この情報を使用して、画像内の様々な領域における監視対象物の代表的な見かけの大きさを求める探索テーブルを生成する、又は、カメラの内部較正パラメータ及び外部較正パラメータを推測することができる。

図１１は、図１０の食料品店の通路における代表的な監視対象物の代表的な大きさを識別するステップを示している。代表的な監視対象物は人であると想定し、それに応じてラベルによって識別する。監視・追跡可能な領域において検出された人の平均高さ及び平均幅のプロットを通じて、人の代表的な大きさを求める。この例においては、プロットＡは平均的な人の平均高さについて求めたものであり、プロットＢは、１人、２人、及び３人の平均幅について求めたものである。

プロットＡにおいては、ｘ軸はブロブの高さ（単位：ピクセル）を表しており、ｙ軸は、特定の高さ（ｘ軸上に識別されている）が識別された回数を表している。プロットＡの線のピークは、シーン内の指定された領域内のブロブの最も一般的な高さに一致し、この例の場合、ピークは、指定された領域内の立っている人の平均高さに一致する。

人が互いにさほど接近していないグループとして移動すると想定し、プロットＡに似た、幅についてのグラフを、プロットＢとして生成する。プロットＢにおいては、ｘ軸はブロブの幅（単位：ピクセル）を表しており、ｙ軸は、特定の幅（ｘ軸上に識別されている）が識別された回数を表している。プロットＢの線のピークは、複数のブロブの平均幅に一致している。ほとんどのグループの人数が１人であると想定すると、最大のピークは最も一般的な幅に対応し、これは、指定された領域内の１人の人の平均幅に一致する。同様に、２番目に大きいピークは、指定された領域内の２人の人の平均幅に一致し、３番目に大きいピークは、指定された領域内の３人の人の平均幅に一致する。

図９は、本発明のビデオ監視システムの追加のフローチャートを示している。この追加の実施形態においては、システムは、アーカイブされているビデオプリミティブをイベント識別子を使用して分析し、例えばソースビデオ全体を再処理する必要なしに、追加のレポートを生成する。ソースビデオのビデオプリミティブは、本発明に従ってソースビデオを処理した後の任意のタイミングにおいて、図４のブロック４３においてアーカイブされる。この追加の実施形態においては、ビデオの内容を比較的短時間で再分析することができる。なぜなら、ビデオプリミティブのみを再処理し、ビデオソースを再処理しないためである。これにより、現在の最新のシステムよりも効率が大幅に高まりる。なぜなら、ビデオ画像データを処理することは計算処理量が極めて多いのに対し、ビデオから取り出した小さなサイズのビデオプリミティブを分析することは計算処理量が極めて少ないためである。一例として、「最近２ヶ月間において領域Ａに１０分以上立ち止まった人の数」というイベント識別子を生成することができる。追加の実施形態を使用すると、最近２ヶ月間のソースビデオを再処理する必要がない。代わりに、最近２ヶ月間のビデオプリミティブのみを再処理すればよく、これは、大幅に効率的なプロセスである。

ブロック９１は、図２におけるブロック２３と同じである。

ブロック９２において、アーカイブされているビデオプリミティブにアクセスする。ビデオプリミティブは、図４のブロック４３においてアーカイブされている。

ブロック９３及びブロック９４は、図４におけるブロック４４及びブロック４５と同じである。

本発明は、例示的な用途として、小売陳列の効果を測定することによって、小売空間を分析する目的に使用することができる。陳列棚の商品及びその他の商品の両方の販売が促進されるように、商品をできるだけ目立つようにする目的で、多くの予算が小売陳列に投入される。本発明のビデオ監視システムは、これらの小売陳列の効果を測定するように構成することができる。

この例示的な用途の場合、ビデオセンサーの視野を目的の小売陳列付近の空間に向けることによって、ビデオ監視システムを構築する。タスク設定時、オペレータは、目的の小売陳列付近の空間を表している領域を選択する。オペレータは、その領域に入って測定可能な減速を示す、又は感知可能な時間にわたり停止する、人の大きさの監視対象物を監視するように、識別子を定義する。

ビデオ監視システムは、いくらかの時間期間にわたり動作した後、市場分析のためのレポートを提供することができる。このレポートには、小売陳列付近で速度を落とした人の数、小売陳列で止まった人の数、小売陳列に興味を示した人の時間の関数としての内訳（例：週末において関心を示した人数、夜において関心を示した人数）、小売陳列に関心を示した人のビデオスナップショット、を含めることができる。ビデオ監視システムから得られた市場調査情報を、店舗における販売情報及び店舗における顧客記録と組み合わせることにより、分析者が小売陳列の効果を正しく把握できるようにすることができる。

本明細書において説明した実施形態及び例は、本発明を制限することのない一例である。

本発明を好ましい実施形態に関連して詳しく説明したが、当業者には、上記の説明から、本発明の広い側面に本発明から逸脱することなく変更及び修正を行うことができることが明らかであろう。従って、請求項に定義されている本発明は、本発明の真の概念に含まれる変更及び修正のすべてをその範囲に含むものとする。

本発明のビデオ監視システムの平面図を示している。 本発明のビデオ監視システムのフローチャートを示している。 ビデオ監視システムをタスク設定するステップ群のフローチャートを示している。 ビデオ監視システムを動作させるステップ群のフローチャートを示している。 ビデオ監視システムのためのビデオプリミティブを取り出すステップ群のフローチャートを示している。 ビデオ監視システムによってアクションを実行するステップ群のフローチャートを示している。 ビデオ監視システムの半自動較正のフローチャートを示している。 ビデオ監視システムの自動較正のフローチャートを示している。 本発明のビデオ監視システムの追加のフローチャートを示している。 食料品店の監視に適用されている本発明のビデオ監視システムの例を示している。 食料品店の監視に適用されている本発明のビデオ監視システムの例を示している。 食料品店の監視に適用されている本発明のビデオ監視システムの例を示している。 食料品店の監視に適用されている本発明のビデオ監視システムの例を示している。 食料品店の監視に適用されている本発明のビデオ監視システムの例を示している。 食料品店の監視に適用されている本発明のビデオ監視システムの例を示している。 本発明の実施形態によるビデオ分析サブシステムのフローチャートを示している。 本発明の実施形態によるイベント発生検出・応答サブシステムのフローチャートを示している。 例示的なデータベースクエリーを示している。 例示的なデータベースクエリーを示している。 本発明の様々な実施形態による例示的な動作検出子を示しており、「仕掛け線を横切る」を検出する。 本発明の様々な実施形態による例示的な動作検出子を示しており、「うろつく」を検出する。 本発明の様々な実施形態による例示的な動作検出子を示しており、「窃盗」を検出する。 本発明の実施形態による動作検出子のクエリーを示している。 本発明の実施形態による、動作検出子と、修飾子の付いたブール演算子とを使用する例示的なクエリーを示している。 複数レベルの組合せ子と、動作検出子と、特性クエリーとを使用する例示的なクエリーを示している。 複数レベルの組合せ子と、動作検出子と、特性クエリーとを使用する例示的なクエリーを示している。 本発明の実施形態によるビデオ監視システムの例示的な構成を示している。 本発明の実施形態によるビデオ監視システムの別の例示的な構成を示している。 本発明の実施形態によるビデオ監視システムの別の例示的な構成を示している。 本発明の実施形態の例示的な構成において使用することのできるネットワークを示している。

Claims (26)

1. 入力ビデオ系列を分析し、少なくとも１つのビデオプリミティブを導くビデオコンテンツ分析モジュールと、
   前記入力ビデオ系列を受け取って、圧縮されたビデオを出力するビデオ符号器と、
   を備えている、ビデオ処理装置。
2. 前記ビデオコンテンツ分析モジュールに接続されている記憶モジュールであって、ビデオプリミティブと少なくとも１つのビデオフレームとから成る群のうちの少なくとも一方を格納する、前記記憶モジュール、
   を更に備えている、請求項１に記載のビデオ処理装置。
3. 前記ビデオコンテンツ分析モジュールと前記ビデオ符号器とに接続されている通信モジュールであって、前記圧縮されたビデオと少なくとも１つのビデオプリミティブとから成る群のうちの少なくとも一方の通信を容易にする、前記通信モジュール、
   を更に備えている、請求項１に記載のビデオ処理装置。
4. 前記ビデオコンテンツ分析モジュールに接続されており、少なくとも１つのイベントを検出するイベント推測モジュール、
   を更に備えている、請求項１に記載のビデオ処理装置。
5. 前記イベント推測モジュールが、更に、少なくとも１つのアラートを生成する、請求項４に記載のビデオ処理装置。
6. 前記ビデオ符号器と前記イベント推測モジュールとに接続されている通信モジュールであって、前記圧縮されたビデオと少なくとも１つのアラートとから成る群のうちの少なくとも一方の通信を容易にする、前記通信モジュール、
   を更に備えている、請求項５に記載のビデオ処理装置。
7. 前記ビデオ符号器と前記イベント推測モジュールとに接続されており、前記圧縮されたビデオの通信を容易にする通信モジュール、
   を更に備えている、請求項４に記載のビデオ処理装置。
8. 前記イベント推測モジュールに接続されている通信モジュールであって、少なくとも１つのイベント規則を受け取り、前記少なくとも１つのイベント規則を前記イベント推測モジュールに提供する、前記通信モジュール、
   を更に備えている、請求項４に記載のビデオ処理装置。
9. 請求項４に記載の前記ビデオ処理装置と、
   前記ビデオ処理装置から遠隔に位置しており前記ビデオ処理装置に接続されている規則管理ツールであって、少なくとも１つのイベント規則を前記イベント推測モジュールに提供する、前記規則管理ツールと、
   を備えている、ビデオ分析システム。
10. 前記ビデオ処理装置から遠隔に位置しているアラートユニットであって、圧縮されたビデオとアラートとから成る群のうちの少なくとも一方を受け取るように接続されている、前記アラートユニット、
    を更に備えている、請求項９に記載のビデオ分析システム。
11. 前記ビデオ処理装置から遠隔に位置している記憶モジュールであって、圧縮されたビデオとビデオプリミティブとアラートとから成る群のうちの少なくとも１つを受け取るように接続されている、前記記憶モジュール、
    を更に備えている、請求項９に記載のビデオ分析システム。
12. 請求項１に記載の前記ビデオ処理装置と、
    前記ビデオ処理装置から遠隔に位置しており前記ビデオ処理装置に接続されているイベント推測ユニットであって、前記ビデオ処理装置によって生成される前記少なくとも１つのビデオプリミティブに基づいて少なくとも１つのイベントを検出する、前記イベント推測ユニットと、
    を備えている、ビデオ分析システム。
13. 前記ビデオ処理装置から遠隔に位置しており前記イベント推測モジュールに接続されている規則管理ツールであって、少なくとも１つのイベント規則を前記イベント推測モジュールに提供する、前記規則管理ツール、
    を更に備えている、請求項１２に記載のビデオ分析システム。
14. 前記ビデオ処理装置から遠隔に位置しているアラートユニットであって、圧縮されたビデオとアラートとから成る群のうちの少なくとも一方を受け取るように接続されている、前記アラートユニット、
    を更に備えている、請求項１２に記載のビデオ分析システム。
15. 前記ビデオ処理装置から遠隔に位置している記憶モジュールであって、圧縮されたビデオとビデオプリミティブとアラートとから成る群のうちの少なくとも１つを受け取るように接続されている、前記記憶モジュール、
    を更に備えている、請求項１２に記載のビデオ分析システム。
16. 少なくとも２つの請求項１に記載の前記ビデオ処理装置であって、該ビデオ処理装置の各々の前記少なくとも１つのビデオプリミティブが結合されて１つのビデオプリミティブストリームにされる、前記少なくとも２つの前記ビデオ処理装置と、
    前記ビデオ処理装置から遠隔に位置している少なくとも２つのイベント推測ユニットであって、それぞれが前記ビデオ処理装置に接続されており前記１つのビデオプリミティブストリームを受け取り、それぞれが、前記１つのビデオプリミティブストリームに基づいて少なくとも１つのイベントを検出する、前記少なくとも２つのイベント推測ユニットと、
    を備えている、ビデオ分析システム。
17. 前記少なくとも２つのイベント推測ユニットの各々が、異なるタイプのイベントを検出するようにされている、請求項１６に記載のビデオ分析システム。
18. ビデオ系列の中に１つ以上の動作が存在しているか否かを検出するステップと、
    ビデオ系列を符号化して符号化されたビデオを得るステップと、
    前記符号化されたビデオを送信するステップと、
    を含んでおり、
    前記符号化するステップと前記送信するステップとから成る群のうちの少なくとも一方のステップが、前記検出するステップの少なくとも１つの結果に依存する、ビデオ処理の方法。
19. 前記検出するステップが、
    前記ビデオ系列を分析して、ビデオプリミティブと検出されたビデオイベントとから成る群のうちの少なくとも一方を取得するステップ、
    を含んでいる、請求項１８に記載の方法。
20. 前記検出するステップにおいて、前記ビデオ系列の中に少なくとも１つの動作が存在するものと判定された場合にのみ、前記送信するステップが実行される、請求項１８に記載の方法。
21. 前記検出するステップにおいて、前記ビデオ系列の中に少なくとも１つの動作が存在するものと判定された場合にのみ、前記符号化するステップが実行される、請求項２０に記載の方法。
22. 前記符号化するステップのパラメータが、前記検出するステップの少なくとも１つの結果に基づいて調整される、請求項１８に記載の方法。
23. 前記送信するステップのパラメータが、前記検出するステップの少なくとも１つの結果に基づいて調整される、請求項１８に記載の方法。
24. 前記符号化するステップのビットレート、前記符号化するステップのフレームレート、前記送信するステップのビットレート、前記送信するステップのフレームレート、前記符号化するステップの解像度、前記送信するステップの解像度、から成る群のうちの少なくとも１つが、前記検出するステップの少なくとも１つの結果に基づいて調整される、請求項１８に記載の方法。
25. 命令を含んでいるコンピュータ可読媒体であって、前記命令がコンピュータシステムによって実行されることに起因して、前記コンピュータシステムが、請求項１８に記載の前記方法を実施する、コンピュータ可読媒体。
26. 請求項２５に記載の前記コンピュータ可読媒体と、
    前記コンピュータ可読媒体に接続されているコンピュータであって、前記コンピュータ可読媒体に含まれている前記命令を実行する、前記コンピュータと、
    を備えている、ビデオ処理システム。

Images