JP2008538665A - ビデオプリミティブを用いたビデオ監視システム - Google Patents

Abstract

ビデオ監視システムがセットアップされ、較正され、タスク割り当てが行われ、運用される。システムは、ビデオプリミティブを抽出し、イベント判別子を使ってビデオプリミティブからイベント発生を抽出する。システムは、抽出されたイベント発生に基づいて、警報などの応答を引き受けることができる。
【選択図】 図１６ａ

Description

本発明は、ビデオプリミティブを用いた自動ビデオ監視のシステムに関する。

参照文献

読者の便宜のため、以下に本明細書で参照する参照文献を列挙する。本明細書では、｛｝で括った数字で個々の参照文献を指す。列挙する参照文献は、参照により、本明細書に組み込むものである。

以下の参照文献には、移動目標検出について記載されている。
｛１｝Ａ．Ｌｉｐｔｏｎ、Ｈ．ＦｕｊｉｙｏｓｈｉおよびＲ．Ｓ．Ｐａｔｉｌ、「Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｒｏｍ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｄｅｏ」、ＩＥＥＥ ＷＡＣＶ ’９８予稿集、プリンストン、ニュージャージ州、１９９８年、８〜１４頁。
｛２｝Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎら、「Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｔｒａｃｋｉｎｇ ｔｏ Ｃｌａｓｓｉｆｙ ａｎｄ Ｍｏｎｉｔｏｒ Ａｃｔｉｖｉｔｉｅｓ ｉｎ ａ Ｓｉｔｅ」、ＣＶＰＲ、２２〜２９頁、１９９８年６月。
｛３｝Ａ．Ｊ．Ｌｉｐｔｏｎ、Ｈ．Ｆｕｊｉｙｏｓｈｉ、Ｒ．Ｓ．Ｐａｔｉｌ、「Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｒｏｍ Ｒｅａｌ−ｔｉｍｅ Ｖｉｄｅｏ」、ＩＵＷ、１２９〜１３６頁、１９９８年。
｛４｝Ｔ．Ｊ．ＯｌｓｏｎおよびＦ．Ｚ．Ｂｒｉｌｌ、「Ｍｏｖｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｅｖｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｓｍａｒｔ Ｃａｍｅｒａｓ」、ＩＵＷ、１５９〜１７５頁、１９９７年５月。

以下の参照文献には、人間の検出と追跡について記載されている。
｛５｝Ａ．Ｊ．Ｌｉｐｔｏｎ、「Ｌｏｃａｌ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｔｏ Ａｎａｌｙｓｅ Ｒｉｇｉｄ Ｖｅｒｓｕｓ Ｎｏｎ−Ｒｉｇｉｄ Ｍｏｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、コルフ、ギリシャ、１９９９年９月。
｛６｝Ｆ．Ｂａｒｔｏｌｉｎｉ、Ｖ．Ｃａｐｐｅｌｌｉｎｉ、およびＡ．Ｍｅｃｏｃｃｉ、「Ｃｏｕｎｔｉｎｇ ｐｅｏｐｌｅ ｇｅｔｔｉｎｇ ｉｎ ａｎｄ ｏｕｔ ｏｆ ａ ｂｕｓ ｂｙ ｒｅａｌ−ｔｉｍｅ ｉｍａｇｅ−ｓｅｑｕｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ」、ＩＶＣ、１２（１）：３６〜４１頁、１９９４年１月。
｛７｝Ｍ．ＲｏｓｓｉおよびＡ．Ｂｏｚｚｏｌｉ、「Ｔｒａｃｋｉｎｇ ａｎｄ ｃｏｕｎｔｉｎｇ ｍｏｖｉｎｇ ｐｅｏｐｌｅ」、ＩＣＩＰ９４、２１２〜２１６頁、１９９４年。
｛８｝Ｃ．Ｒ．Ｗｒｅｎ、Ａ．Ａｚａｒｂａｙｅｊａｎｉ、Ｔ．Ｄａｒｒｅｌｌ、およびＡ．Ｐｅｎｔｌａｎｄ、「Ｐｆｉｎｄｅｒ： Ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ ｈｕｍａｎ ｂｏｄｙ」、Ｖｉｓｍｏｄ、１９９５年。
｛９｝Ｌ．Ｋｈｏｕｄｏｕｒ、Ｌ．Ｄｕｖｉｅｕｂｏｕｒｇ、Ｊ．Ｐ．Ｄｅｐａｒｉｓ、「Ｒｅａｌ−Ｔｉｍｅ Ｐｅｄｅｓｔｒｉａｎ Ｃｏｕｎｔｉｎｇ ｂｙ Ａｃｔｉｖｅ Ｌｉｎｅａｒ Ｃａｍｅｒａｓ」、ＪＥＩ、５（４）：４５２〜４５９頁、１９９６年１０月。
｛１０｝Ｓ．Ｉｏｆｆｅ、Ｄ．Ａ．Ｆｏｒｓｙｔｈ、「Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｅｔｈｏｄｓ ｆｏｒ Ｆｉｎｄｉｎｇ Ｐｅｏｐｌｅ」、ＩＪＣＶ、４３（１）：４５〜６８頁、２００１年６月。
｛１１｝Ｍ．ＩｓａｒｄおよびＪ．ＭａｃＣｏｒｍｉｃｋ、「ＢｒａＭＢＬｅ： Ａ Ｂａｙｅｓｉａｎ Ｍｕｌｔｉｐｌｅ−Ｂｌｏｂ Ｔｒａｃｋｅｒ」、ＩＣＣＶ、２００１年。

以下の参照文献には、ブロブ分析について記載されている。
｛１２｝Ｄ．Ｍ．Ｇａｖｒｉｌａ、「Ｔｈｅ Ｖｉｓｕａｌ Ａｎａｌｙｓｉｓ ｏｆ Ｈｕｍａｎ Ｍｏｖｅｍｅｎｔ： Ａ Ｓｕｒｖｅｙ」、ＣＶＩＵ、７３（１）：８２〜９８頁、１９９９年１月。
｛１３｝Ｎｉｅｌｓ ＨａｅｒｉｎｇおよびＮｉｅｌｓ ｄａ Ｖｉｔｏｒｉａ Ｌｏｂｏ、「Ｖｉｓｕａｌ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ」、Ｖｉｄｅｏ Ｃｏｍｐｕｔｉｎｇ Ｓｅｒｉｅｓ、Ｍｕｂａｒａｋ Ｓｈａｈ編集、２００１年。

以下の参照文献には、トラック、乗用車、人々のブロブ分析について記載されている。
｛１４｝Ｃｏｌｌｉｎｓ、Ｌｉｐｔｏｎ、Ｋａｎａｄｅ、Ｆｕｊｉｙｏｓｈｉ、Ｄｕｇｇｉｎｓ、Ｔｓｉｎ、Ｔｏｌｌｉｖｅｒ、Ｅｎｏｍｏｔｏ、およびＨａｓｅｇａｗａ、「Ａ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ ａｎｄ Ｍｏｎｉｔｏｒｉｎｇ： ＶＳＡＭ Ｆｉｎａｌ Ｒｅｐｏｒｔ」、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＲＩ−ＴＲ−００−１２、カーネギーメロン大学ロボット研究所、２０００年５月。
｛１５｝Ｌｉｐｔｏｎ、Ｆｕｊｉｙｏｓｈｉ、およびＰａｔｉｌ、「Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｒｏｍ Ｒｅａｌ−ｔｉｍｅ Ｖｉｄｅｏ」、９８ Ｄａｒｐａ ＩＵＷ、１９９８年１１月２０〜２３日。

以下の参照文献には、１人の人のブロブとその輪郭の分析について記載されている。
｛１６｝Ｃ．Ｒ．Ｗｒｅｎ、Ａ．Ａｚａｒｂａｙｅｊａｎｉ、Ｔ．Ｄａｒｒｅｌｌ、およびＡ．Ｐ．Ｐｅｎｔｌａｎｄ、「Ｐｆｉｎｄｅｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ Ｈｕｍａｎ Ｂｏｄｙ」、ＰＡＭＩ、第１９巻、７８０〜７８４頁、１９９７年。

以下の参照文献には、任意の運動ベースの区分化を含めて、ブロブの内部運動について記載されている。
｛１７｝Ｍ．ＡｌｌｍｅｎおよびＣ．Ｄｙｅｒ、「Ｌｏｎｇ−Ｒａｎｇｅ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｕｓｉｎｇ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｆｌｏｗ Ｃｕｒｖｅｓ」、ＩＥＥＥ ＣＶＰＲ予稿集、ラハイナ、マウイ島、ハワイ州、３０３〜３０９頁、１９９１年。
｛１８｝Ｌ．Ｗｉｘｓｏｎ、「Ｄｅｔｅｃｔｉｎｇ Ｓａｌｉｅｎｔ Ｍｏｔｉｏｎ ｂｙ Ａｃｃｕｍｕｌａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌｌｙ Ｃｏｎｓｉｓｔｅｎｔ Ｆｌｏｗ」、ＩＥＥＥ会報、Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、７７４〜７８１頁、２０００年８月。

発明の背景

公共空間のビデオ監視が大いに普及し、一般社会に受け入れられている。残念ながら、従来のビデオ監視システムは、非常に膨大な量のデータを生じるため、扱いにくい問題は、結果としてビデオ監視データの分析となる。

ビデオ監視データの分析を行うことができるように、ビデオ監視データの量を低減する必要がある。

ビデオ監視データの所望の部分を識別するために、ビデオ監視データをフィルタにかける必要がある。

発明の概要

本発明の一目的は、ビデオ監視データの分析を行うことができるようにビデオ監視データの量を低減することである。

本発明の一目的は、ビデオ監視データの所望の部分を識別するために、ビデオ監視データをフィルタにかけることである。

本発明の一目的は、ビデオ監視データからのイベントの自動検出に基づいて、リアルタイムの警報を生成することである。

本発明の一目的は、サーチ能力の改善のために、ビデオ以外の監視センサからのデータを統合することである。

本発明の一目的は、イベント検出能力の改善のために、ビデオ以外の監視センサからのデータを統合することである。

本発明は、ビデオ監視の製造品、方法、システム、および装置を含む。

本発明の製造品は、ビデオプリミティブに基づいてビデオ監視システムを動作させるコードセグメントを備える、ビデオ監視システムのソフトウェアを備えるコンピュータ可読媒体を含む。

本発明の製造品は、アーカイブされたビデオプリミティブにアクセスするコードセグメントと、アクセスしたアーカイブビデオプリミティブからイベント発生を抽出するコードセグメントを備える、ビデオ監視システムのソフトウェアを備えるコンピュータ可読媒体を含む。

本発明のシステムは、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含むコンピュータシステムを含む。

本発明の装置は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含むコンピュータを含む。

本発明の製造品は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含む。

さらに、本発明の上記の目的および利点は、本発明によって達成され得る目的および利点を例示するものであり、これらを網羅するものではない。よって、本発明の上記その他の目的および利点は、本明細書で例示するものも、当業者には明らかな任意の変形を考慮して変更されるものも、本明細書の説明を読めば明らかになるであろう。

定義

「ビデオ」とは、アナログおよび／またはデジタル形式で表される動画をいう。ビデオの例には、テレビ、映画、ビデオカメラその他の観測装置からの画像シーケンス、コンピュータ生成画像シーケンスなどが含まれる。

「フレーム」とは、ビデオ内の個々の画像その他の個別単位をいう。

「オブジェクト」とは、ビデオ内の対象となる項目をいう。オブジェクトの例には、人、車両、動物、物理的対象などが含まれる。

「アクティビティ」とは、１つまたは複数のオブジェクトの１つまたは複数の動作および／または１つまたは複数の複合動作をいう。アクティビティの例には、入る、出る、止まる、動く、上がる、下がる、伸びる、縮むなどが含まれる。

「場所」とは、アクティビティが発生し得る空間をいう。場所は、例えば、場面ベースの、または画像ベースのものとすることができる。場面ベースの場所の例には、公共空間、店舗、小売スペース、事務所、倉庫、ホテルの部屋、ホテルのロビー、建物のロビー、カジノ、バス停留所、鉄道駅、空港、港、バス、列車、飛行機、船などが含まれる。画像ベースの場所の例には、ビデオ画像、ビデオ画像内の線、ビデオ画像内の区域、ビデオ画像の長方形の区画、ビデオ画像の多角形の区画などが含まれる。

「イベント」とは、アクティビティに関与する１つまたは複数のオブジェクトをいう。イベントは、場所および／または時刻との関連で参照され得る。

「コンピュータ」とは、構造化入力を受け入れ、所定の規則に従って構造化入力を処理し、処理の結果を出力として生成することのできる任意の装置をいう。コンピュータの例には、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、対話型テレビ、コンピュータと対話型テレビの一体型機、コンピュータおよび／またはソフトウェアをエミュレートする特定用途向けハードウェアなどが含まれる。コンピュータは、単一のプロセッサを有することも、複数のプロセッサを有することもでき、複数のプロセッサは、並列に、かつ／または非並列に動作することができる。また、コンピュータは、コンピュータ間で情報を送受信するために、ネットワークを介して相互に接続された２台以上のコンピュータも指す。かかるコンピュータの一例には、ネットワークでリンクされたコンピュータを介して情報を処理する分散コンピュータシステムが含まれる。

「コンピュータ可読媒体」とは、コンピュータによってアクセス可能なデータを格納するのに使用される任意の記憶装置をいう。コンピュータ可読媒体の例には、磁気ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭやＤＶＤなどの光ディスク、磁気テープ、メモリチップ、Ｅメールの送受信や、ネットワークへのアクセスに際して使用されるものなど、コンピュータ可読電子データを搬送するのに使用される搬送波などが含まれる。

「ソフトウェア」とは、コンピュータを動作させるための所定の規則をいう。ソフトウェアの例には、ソフトウェア、コードセグメント、命令、コンピュータプログラム、プログラム化論理などが含まれる。

「コンピュータシステム」とは、コンピュータを有するシステムをいい、その場合、コンピュータは、コンピュータを動作させるソフトウェアを実施するコンピュータ可読媒体を備える。

「ネットワーク」とは、通信設備によって接続されている多数のコンピュータと関連付けられる機器をいう。ネットワークは、ケーブルなどの永久接続、または電話その他の通信リンクを介して行われるものなどの一時接続を伴う。ネットワークの例には、インターネットなどの相互接続ネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットとイントラネットなどネットワークの組み合わせが含まれる。

本発明の実施形態を、図面によってさらに詳細に説明する。図面において同じ参照番号は同じ特徴を指す。

発明の詳細な説明

本発明の自動ビデオ監視システムは、例えば、市場調査や警備などの目的で場所を監視するためのものである。このシステムは、特定用途向けに作られた監視機器を備える専用ビデオ監視設備とすることもでき、監視ビデオフィードを利用する、既存のビデオ監視装置への後付設備とすることもできる。このシステムは、ライブソースからの、または記録された媒体からのビデオデータを分析することができる。このシステムは、リアルタイムでビデオデータを処理し、後で超高速のフォレンジックイベント検出を可能にするように、抽出されたビデオプリミティブを格納することができる。このシステムは、データを記録する、警報機構を作動させる、別のセンサシステムを作動させるなど、分析に対する所定の応答を有し得る。また、このシステムは、他の監視システム構成要素と統合することもできる。このシステムは、例えば、オペレータの必要に応じてカスタマイズすることができ、任意選択で、対話式Ｗｅｂベースインターフェースや、他の報告機構によって提示することもできる、警備報告や市場調査報告などを生成するのに使用され得る。

オペレータには、イベント判別子を使ったシステム構成に際して、最大限の柔軟性が提供される。イベント判別子は、（その記述がビデオプリミティブに基づくものである）１つまたは複数のオブジェクトを、１つまたは複数の任意選択の空間属性、および／または１つまたは複数の任意選択の時間属性と共に用いて識別される。例えば、オペレータは、（本例で「徘徊」イベントと呼ぶ）イベント判別子を、「１０：００ＰＭから６：００ＡＭまでの間」、「１５分超の期間」にわたって、「現金自動預入支払機」の所にいる「人」オブジェクトとして定義することができる。イベント判別子を、修飾されたブール演算子と組み合わせて、より複雑な問い合わせを形成することができる。

本発明のビデオ監視システムは、パブリックドメインから得た公知のコンピュータビジョン技術を利用するものであるが、本発明のビデオ監視システムは、現在利用することのできない、いくつかの独自で、新規な特徴を有する。例えば、現在のビデオ監視システムは、情報交換の１次産品として大量のビデオ画像を使用する。本発明のシステムは、１次産品としてビデオプリミティブを使用し、代表的なビデオ画像を付帯証拠として使用する。また、本発明のシステムは、（手動、半自動、または自動で）較正され、その後、ビデオ画像からビデオプリミティブを自動的に推論することもできる。このシステムは、さらに、以前に処理したビデオを、そのビデオを完全に再処理する必要もなく分析することもできる。以前に処理したビデオを分析することによって、システムは、以前に記録したビデオプリミティブに基づいて推論分析を行うことができ、コンピュータシステムの分析速度を大幅に改善する。

また、ビデオプリミティブの使用は、ビデオの記憶所要量も大幅に低減し得る。これは、イベント検出応答サブシステムが、ビデオを、検出を示すためだけに使用するからである。その結果、ビデオは、より低い品質で格納され得る。可能な実施形態では、ビデオは、常時ではなく、アクティビティが検出されるときに限って格納されてもよい。別の可能な実施形態では、格納されるビデオの品質が、アクティビティが検出されるかどうかによって決まってもよい。すなわち、ビデオは、アクティビティが検出されるときには高品質で（高いフレーム速度および／またはビット速度）で、その他のときには低品質で格納され得る。別の例示的実施形態では、ビデオの記憶とデータベースが、例えば、デジタルビデオレコーダ（ＤＶＲ）などによって別に処理され、ビデオ処理サブシステムは、データが格納されるかどうかと、どんな品質で格納されるかを制御するだけでもよい。

別の例として、本発明のシステムは、独自のシステムタスク割り当てを提供する。現在のビデオシステムは、装置制御指示文を使って、ユーザが、ビデオセンサを位置決めすることを可能にし、いくつかの洗練された従来のシステムでは、対象領域または非対象領域にマスキングすることを可能にする。装置制御指示文は、ビデオカメラの位置、向き、および焦点を制御する命令である。本発明のシステムは、装置制御指示文の代わりに、１次タスク割り当て機構として、ビデオプリミティブに基づくイベント判別子を使用する。イベント判別子とビデオプリミティブを用いれば、オペレータに、システムから有用な情報を抽出するための、従来のシステムよりもずっと直観的な手法が提供される。本発明のシステムでは、システムに「カメラＡを左に４５°パンする」などの装置制御指示文でタスクを割り当てるのではなく、「人が制限区域Ａに入る」など、ビデオプリミティブに基づく１つまたは複数のイベント判別子を用いた、人間が直観的に理解する態様でタスク割り当てが行われ得る。

本発明を市場調査に使用する場合、本発明を用いて行われ得る種類のビデオ監視の例は、店内の人々を数える、店の一部にいる人々を数える、店内の特定の場所で立ち止まる人々を数える、店内で人々がどれ程の時間を過ごすか測定する、店の一部で人々がどれ程の時間を過ごすか測定する、店内の線の長さを測定するなどである。

本発明を警備に使用する場合、本発明を用いて行われ得る種類のビデオ監視の例は、誰かが制限区域に入ったときを判定し、関連付けられる画像を格納する、人が異常な時刻に区域に入ったときを判定する、許可されていない可能性のある棚スペースと格納スペースの変化が発生したときを判定する、航空機に搭乗している乗客が操縦室に接近したときを判定する、人々が保護された入口をテールゲートして（前の人との間隔を空けずに）通ったときを判定する、空港内に放置されたバッグがあるかどうか判定する、資産の盗難があるかどうか判定するなどである。

適用分野の一例がアクセス制御であり、これには、例えば、人がフェンスを乗り越えたかどうか、または禁止区域に入ったかどうか検出する、誰かが誤った方向に移動したかどうか（例えば、空港で、出口を通って保護区域に入るなど）検出する、対象区域内で検出されるオブジェクトの数が、入場のためのＲＦＩＤタグまたはカード読み取りに基づく期待される数と一致せず、無許可の人員の存在を指示しているかどうか判定するなどが含まれ得る。また、これは、ビデオ監視システムが人とペットの動きを区別することができ、よって、誤った警報の大部分を無くすことのできる住居の適用例でも役立ち得る。多くの住居適用例では、プライバシーが問題となり得ることに留意されたい。例えば、住宅所有者は、別の人に住宅を遠隔で監視させ、住宅内に何があり、住宅内で何が起こっているか見られるのを望まないこともある。したがって、かかる適用例で使用されるいくつかの実施形態では、ビデオ処理がローカルで行われ、必要なとき（例えば、それだけに限らないが、犯罪活動やその他の危険な状況の検出など）に限り、任意選択のビデオまたはスナップ写真が、１つまたは複数のリモート監視所に送られてもよい。

別の適用分野の例が、資産監視である。これは、場面からオブジェクトが持ち去られるかどうか、例えば、芸術品が美術館から取り除かれるかどうか検出することを意味し得る。小売環境では、資産監視にはいくつかの態様が考えられ、例えば、１人の人が、疑わしいほど多数の所与の品物を取るかどうか検出する、人が、入口を通って出るかどうか、特に、ショッピングカートを押しながらこれを行うかどうか判定する、人が、品物に適合しない値札を添付するかどうか、例えば、袋に、最も高価な種類のコーヒを、より安価な種類のものの値札を使って詰めるなどを判定する、あるいは、人が、大きな箱と共に荷積み場所を離れるかどうか検出するなどが含まれ得る。

別の適用分野の例が、安全のためである。これには、例えば、人が、店舗や駐車場などで、滑って転ぶかどうか検出する、車が駐車場でスピードを出しすぎているかどうか検出する、駅に列車が停車していないときに、人が、鉄道または地下鉄駅のホームの縁に近づきすぎているかどうか検出する、人がレール上にいるかどうか検出する、列車が動き始めるときに、人が列車のドアに挟まっているかどうか検出する、施設に出入りする人の数を数えて、緊急時に非常に重要になり得る正確な人数を記録するなどが含まれ得る。

別の適用分野の例が、交通監視である。これには、車両が、特に、橋やトンネルのような場所で停止したかどうか検出する、あるいは車両が駐車禁止区域で駐車するかどうか検出するなどが含まれ得る。

別の適用分野の例が、テロ行為の防止である。これには、前述の適用例のいくつかに加えて、オブジェクトが空港のコンコースに置き忘れられているかどうか、オブジェクトがフェンスを超えて投げ入れられるかどうか、あるいはオブジェクトが線路上に放置されているかどうか検出する、重要なインフラストラクチャ周辺での人の徘徊または車両の巡回を検出する、あるいは、港湾または開放水域内の船に接近する、高速で移動するボートを検出するなどが含まれ得る。

別の適用分野の例が、たとえ自宅であっても、病人と高齢者の介護の場合である。これには、例えば、人が転ぶかどうか検出する、あるいは、人が、長期間台所に入らないなどの異常な行動を検出するなどが含まれ得る。

図１に、本発明のビデオ監視システムの平面図を示す。コンピュータシステム１１は、本発明に従ってコンピュータ１２を動作させるソフトウェアを実施するコンピュータ可読媒体１３を有するコンピュータ１２を備える。コンピュータシステム１１は、１つまたは複数のビデオセンサ１４と、１つまたは複数のビデオレコーダ１５と、１つまたは複数の入力／出力（入出力）装置１６に結合されている。また、ビデオセンサ１４は、任意選択で、ビデオ監視データの直接記録のために、ビデオレコーダ１５にも結合することもできる。コンピュータシステムは、任意選択で、他のセンサ１７にも結合されている。

ビデオセンサ１４は、コンピュータシステム１１にソースビデオを提供する。各ビデオセンサ１４は、例えば、直接接続（ファイアワイヤデジタルカメラインターフェースなど）やネットワークなどを使って、コンピュータシステム１１に結合することができる。ビデオセンサ１４は、本発明の導入前にあってもよく、本発明の一部として導入することもできる。ビデオセンサ１４の例には、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カメラ一体型ビデオ、ＰＣカメラ、Ｗｅｂカム、赤外線ビデオカメラ、ＣＣＴＶカメラなどが含まれる。

ビデオレコーダ１５は、記録するためにコンピュータシステム１１からビデオ監視データを受け取り、および／または、コンピュータシステム１１にソースビデオを提供する。各ビデオレコーダ１５は、例えば、直接接続やネットワークなどを使ってコンピュータシステム１１に結合することができる。ビデオレコーダ１５は、本発明の導入前にあってもよく、本発明の一部として導入することもできる。コンピュータシステム１１内のビデオ監視システムは、ビデオレコーダ１５が、ビデオを、いつ、どんな品質設定で記録するか制御し得る。ビデオレコーダ１５の例には、ビデオテープレコーダ、デジタルビデオレコーダ、ビデオディスク、ＤＶＤ、コンピュータ可読媒体などが含まれる。

入出力装置１６は、コンピュータシステム１１に入力を提供し、コンピュータシステム１１から出力を受け取る。入出力装置１６は、コンピュータシステム１１にタスクを割り当て、コンピュータシステム１１から報告を生成するのに使用され得る。入出力装置１６の例には、キーボード、マウス、スタイラス、モニタ、プリンタ、別のコンピュータシステム、ネットワーク、警報装置などが含まれる。

その他のセンサ１７は、コンピュータシステム１１に別の入力を提供する。その他の各センサ１７は、例えば、直接接続やネットワークなどを使ってコンピュータシステム１１に結合することができる。その他のセンサ１７は、本発明の導入前に終了することもでき、本発明の一部として導入することもできる。別のセンサ１７の例には、それだけに限らないが、動きセンサ、光学式仕掛け線、生体測定センサ、ＲＦＩＤセンサ、カード式またはキーパッド式の許可システムなどが含まれる。その他のセンサ１７の出力は、コンピュータシステム１１、記録装置、および／または記録システムによって記録され得る。

図２に、本発明のビデオ監視システムの流れ図を示す。本発明の様々な態様を、食料品店の監視に適用された本発明のビデオ監視システムの例が示されている図１０〜１５を参照して例示する。

ブロック２１で、図１について論じたように、ビデオ監視システムがセットアップされる。各ビデオセンサ１４が、ビデオ監視の場所に向けられる。コンピュータシステム１１は、ビデオ装置１４、１５からのビデオフィードに接続される。ビデオ監視システムは、既存の装置、またはその場所に新規に設置される装置を使って実施され得る。

ブロック２２で、ビデオ監視システムが較正される。ビデオ監視システムが、ブロック２１から所定の位置に置かれた後で、較正が行われる。ブロック２２の結果、ビデオ監視システムは、ビデオセンサによって提供されるビデオ画像内の様々な場所における特定のオブジェクト（人など）のおおよその実寸と速さを判定することができるようになる。システムは、手動較正、半自動較正、および自動較正を使って較正され得る。較正については、ブロック２４の考察後にさらに説明する。

図２のブロック２３で、ビデオ監視システムにタスクが割り当てられる。タスク割り当ては、ブロック２２の較正後に行われ、任意選択である。ビデオ監視システムへのタスク割り当ては、１つまたは複数のイベント判別子の指定を伴う。タスク割り当てを行わない場合、ビデオ監視システムは、図４のブロック４５と同様に、処置を講じずに、ビデオプリミティブと関連付けられるビデオ画像を検出し、アーカイブする動作を行う。

図３に、イベント判別子を決定するためのビデオ監視システムへのタスク割り当ての流れ図を示す。イベント判別子とは、任意選択で、１つまたは複数の空間属性および／または１つまたは複数の時間属性と相互作用する１つまたは複数のオブジェクトをいう。イベント判別子は、ビデオプリミティブ（アクティビティ記述メタデータともいう）に関して記述される。ビデオプリミティブ設計基準の中には、リアルタイムでビデオストリームから抽出され得る能力、ビデオからのすべての関連情報を含めること、表現の簡潔さが含まれる。

ビデオストリームからのビデオプリミティブのリアルタイム抽出は、システムが、リアルタイムの警告を生成することを可能にするのに求められるものであり、そのためには、ビデオは連続する入力ストリームを提供するので、システムは後れを取ってはならない。

また、ビデオプリミティブは、ビデオからのすべての関連情報を含む必要がある。というのは、ビデオプリミティブの抽出時には、ユーザ定義の規則がシステムに知られていないからである。したがって、ビデオプリミティブは、ビデオに戻って、これを再分析すること必要とせずに、ユーザによって指定される任意のイベントを検出することのできる情報を含む必要がある。

また、複数の理由で、簡潔な表現も求められる。提案する発明の一目標は、監視システムの記憶再利用時間を延長することである。これは、高品質ビデオを常時格納することを、アクティビティ記述メタデータと、前述のような、アクティビティの有無に応じた品質を有するビデオを格納することで置き換えることによって達成され得る。したがって、ビデオプリミティブが簡潔であるほど、より多くのデータが格納され得る。加えて、ビデオプリミティブ表現が簡潔であるほど、データアクセスは高速になり、これは、ひいては、フォレンジックサーチを加速し得る。

ビデオプリミティブの厳密な内容は、用途と、潜在的な対象イベントによって異なり得る。以下で、いくつかの例示的実施形態について説明する。

ビデオプリミティブの一例示的実施形態は、全般的な場面とビデオを記述する、場面／ビデオ記述子を含み得る。一般に、これは、空、葉、人造物、水などの場所といった場面の様相、および／または、降水、霧の有無などの気象条件の詳細な記述を含み得る。ビデオ監視用途では、例えば、全体図における変化が重要となり得る。記述子の例は、突然の照明の変化を記述し得る。これらの記述子は、カメラの動き、特に、カメラが動き始め、または動きを停止したことを示し、後者の場合には、カメラが、その以前の視野または少なくとも以前に知っていた視野に戻ったかどうかを示すこともある。これらの記述子は、ビデオフィードの品質の変化、例えば、ビデオフィードに、突然、雑音が生じ、またはビデオフィードが暗くなり、潜在的にフィードの改ざんを示しているかどうかなどを示すこともある。あるいは、これらの記述子は、水域に沿った喫水線の変化を示すこともある（この後者の問題の具体的手法の詳細については、例えば、参照により本明細書に組み込まれる、２００４年１０月１日に出願した、同時係属の米国特許出願第１０／９５４４７９号明細書などを参照し得る）。

ビデオプリミティブの別の例示的実施形態は、ビデオフィードに見られるオブジェクトの観測可能な属性に言及するオブジェクト記述子を含み得る。オブジェクトに関してどんな情報が格納されるかは、適用分野と、利用可能な処理機能に左右され得る。オブジェクト記述子の例には、それだけに限らないが、サイズ、形状、外周、位置、軌道、動きの速さと方向、動きの顕著性と特徴、色、剛性、テクスチャ、および／または分類を含む一般的特性が含まれ得る。また、オブジェクト記述子は、さらに若干の用途と種類に特有の情報も含み得る。人間では、これには、肌の色合い、性別、および人種情報の有無と割合、人間の形状とポーズを記述する何らかの人体モデルが含まれ、車両では、車種（トラック、ＳＵＶ、セダン、バイクなど）、メーカ、型式、ナンバープレートの番号が含まれ得る。また、オブジェクト記述子は、それだけに限らないが、オブジェクトを持ち運ぶ、走る、歩く、立ち上がる、両腕を上げるなどを含むアクティビティも含み得る。また、話す、戦う、衝突するなどのいくつかのアクティビティは、他のオブジェクトにも言及し得る。またオブジェクト記述子は、それだけに限らないが、顔や歩調などを含む識別情報も含み得る。

ビデオプリミティブの別の例示的実施形態は、ビデオのあらゆる領域の動きの方向を記述するフロー記述子を含み得る。かかる記述子は、例えば、禁止された方向への任意の動きを検出することにより、パスバックイベントを検出するのに使用され得る（この後者の問題の具体的手法の詳細については、例えば、参照により本明細書に組み込まれる、２００４年１月３０日に出願した、同時係属の米国特許出願第１０／７６６９４９号明細書などを参照し得る）。

また、プリミティブは、オーディオセンサ、熱センサ、圧力センサ、カード読取装置、ＲＦＩＤタグ、生体測定センサなどの非ビデオソースからももたらされ得る。

分類とは、オブジェクトの、特定のカテゴリまたはクラスに属するものとしての識別をいう。分類の例には、人、犬、車両、パトカー、個人、特定の種類のオブジェクトなどが含まれる。

サイズとは、オブジェクトの寸法属性をいう。サイズの例には、大、中、小、均一、６フィート（約１８２．８８ｃｍ）より高い、１フィート（約３０．４８ｃｍ）より短い、３フィート（約９１．４４ｃｍ）より幅広い、４フィート（約１２１．９２ｃｍ）より薄い、ほぼ人間のサイズ、人間より大きい、人間より小さい、ほぼ車のサイズ、おおよその画素単位の寸法を有する画像中の長方形、画素数などが含まれる。

位置とは、オブジェクトの空間属性をいう。位置は、例えば、画素座標で表される画像位置、ある世界座標系における実世界の絶対位置、陸標または別のオブジェクトに対する位置などとすることができる。

色とは、オブジェクトの色属性をいう。色の例には、白、黒、グレー、赤、ＨＳＶ値の範囲、ＹＵＶ値の範囲、ＲＧＢ値の範囲、平均ＲＧＢ値、平均ＹＵＶ値、およびＲＧＢ値のヒストグラムなどが含まれる。

剛性とは、オブジェクトの形状一貫性属性をいう。非剛性オブジェクト（人々や動物など）の形状は、フレームごとに変化し、剛性オブジェクト（車両や住宅など）の形状は、（おそらく、回転によるわずかな変化を除いて）フレームごとにほぼ不変のままとし得る。

テクスチャとは、オブジェクトのパターン属性をいう。テクスチャの例には、自己相似性、スペクトルパワー、直線性、粗さなどが含まれる。

内部運動とは、オブジェクトの剛性の尺度をいう。相当に剛性を有するオブジェクトの一例が車であり、車は、あまり大きな量の内部運動を示さない。相当に剛性のないオブジェクトの一例が、揺れ動く腕と脚を有する人であり、人は、大きな量の内部運動を示す。

動きとは、自動的に検出され得る任意の動きをいう。動きの例には、オブジェクトの出現、オブジェクトの消失、オブジェクトの垂直移動、オブジェクトの水平移動、オブジェクトの周期的運動などが含まれる。

顕著な動きとは、自動的に検出され、ある期間にわたって追跡され得る任意の動きをいう。このような動くオブジェクトは、明らかに、意図的な動きを示す。顕著な動きの例には、ある場所から別の場所へ移動する、動いて別のオブジェクトと相互作用するなどが含まれる。

顕著な動きの特徴とは、顕著な動きの特性をいう。顕著な動きの特徴の例には、軌道、画像空間内での軌道の長さ、環境の３次元表現内での軌道のおおよその長さ、時間の関数としての画像空間内でのオブジェクトの位置、時間の関数としての環境の３次元表現内でのオブジェクトのおおよその位置、軌道の期間、画像空間内での速度（速さと方向など）、環境の３次元表現内でのおおよその速度（速さと方向など）、ある速度での期間、画像空間内での速度の変化、環境の３次元表現での速度のおおよその変化、速度の変化の期間、動きの休止、動きの休止の期間などが含まれる。速度とは、特定の時刻におけるオブジェクトの速さと方向をいう。軌道とは、オブジェクトが追跡され得る限りの長さにわたる、またはある期間にわたるオブジェクトの（位置，速度）対の集合である。

場面変化とは、ある期間におよぶ変化として検出され得る場面の任意の領域をいう。場面変化の例には、場面を去る静止オブジェクト、場面に入り、静止状態になるオブジェクト、場面内で位置を変えるオブジェクト、外観（色、形状、サイズなど）を変えるオブジェクトなどが含まれる。

場面変化の特徴とは、場面変化の特性をいう。場面変化の特徴の例には、画像空間内での場面変化のサイズ、環境の３次元表現内での場面変化のおおよそのサイズ、場面変化が発生した時刻、画像空間内での場面変化の場所、環境の３次元表現内での場面変化のおおよその場所などが含まれる。

事前定義モデルとは、オブジェクトの先験的に知られているモデルをいう。事前定義モデルの例には、大人、子供、車両、セミトレーラなどが含まれ得る。

図１６ａに、本発明の一実施形態によるビデオ監視システムのビデオ分析部分の例を示す。図１６ａでは、ビデオセンサ（例えば、それだけに限らないが、ビデオカメラなど）１６０１が、ビデオ分析サブシステム１６０３にビデオストリーム１６０２を提供し得る。次いで、ビデオ分析サブシステム１６０３は、ビデオストリーム１６０２の分析を行ってビデオプリミティブを導出し、それらのビデオプリミティブが、プリミティブ記憶１６０５に格納され得る。プリミティブ記憶１６０５は、非ビデオプリミティブの格納にも使用され得る。ビデオ分析サブシステム１６０３は、さらに、前述のように、ビデオ記憶１６０４内のビデオストリーム１６０２の全部または部分の記憶、例えば、ビデオの品質および／または量を制御し得る。

次に、図１６ｂを参照すると、ビデオおよび、他のセンサがある場合には、非ビデオプリミティブ１６１が利用可能になると、システムは、イベントを検出し得る。ユーザは、規則応答定義インターフェース１６２を使って規則１６３と対応する応答１６４を定義することによってシステムにタスクを割り当てる。規則はイベント判別子に変換され、システムは、対応するイベント発生１６５を抽出する。検出されるイベント発生１６６は、ユーザ定義の応答１６７をトリガする。応答は、ビデオ記憶１６８（図１６ａのビデオ記憶１６０４と同じであっても、同じでなくてもよい）からの検出イベントのビデオのスナップ写真を含み得る。ビデオ記憶１６８は、ビデオ監視システムの一部とすることもでき、別個の記録装置１５とすることもできる。応答の例には、それだけに限らないが、システムディスプレイ上で視覚および／または音声警告を作動させる、その場所で視覚および／または音声警報を作動させる、無音警報を作動させる、高速応答機構を作動させる、ドアをロックする、セキュリティサービスに連絡する、データ（画像データ、ビデオデータ、ビデオプリミティブ、および／または分析済みデータなど）を、それだけに限らないが、インターネットなどのネットワークを介して、別のコンピュータシステムに転送する、かかるデータを指定されたコンピュータ可読媒体に保存する、他の何らかのセンサまたは監視システムを作動させる、コンピュータシステム１１および／または別のコンピュータシステムにタスクを割り当てる、ならびに／またはコンピュータシステム１１および／または別のコンピュータシステムに指図するなどが含まれ得る。

プリミティブデータは、データベースに格納されたデータと考えられ得る。プリミティブデータ内のイベント発生を検出するために、効率のよい問い合わせ言語が必要とされる。本発明のシステムの実施形態は、以下で説明するアクティビティ推論言語を含み得る。

従来のリレーショナルデータベース問い合わせスキーマは、しばしば、ユーザが、様々な種類の格納データに関して柔軟な問い合わせを作成することができるように、ブール２分木構造に従う。葉ノードは、普通、「特性 関係 値」の形式のものであり、特性とは、（時刻や名前など）データの何らかの重要な特徴であり、関係とは、普通、数値演算子（「＞」、「＜」、「＝」など）であり、値とは、その特性の有効な状態である。分岐ノードは、普通、「ＡＮＤ」、「ＯＲ」、「ＮＯＴ」などの単項または２項ブール論理演算子を表す。

これは、本発明の実施形態の場合と同様に、アクティビティ問い合わせ定式化スキーマの基礎を形成し得る。ビデオ監視用途の場合、特性は、サイズ、速さ、色、分類（人間、車両）といった、ビデオストリームで検出されるオブジェクトの特徴とすることもでき、あるいは、場面変化特性とすることもできる。図１７に、かかる問い合わせの使用例を示す。図１７ａでは、問い合わせ「赤い車両を示せ」１７１が提示される。これは、オブジェクトの分類が車両であるかどうか１７３と、その色が主として赤であるかどうか１７４を検査する２つの「特性 関係 値」（または単に「特性」）問い合わせに分解される。これら２つの副問い合わせは、ブール演算子「ＡＮＤ」１７２で組み合わされ得る。同様に、図１７ｂでは、問い合わせ「カメラが動きを開始し、または停止したときを示せ」が、特性副問い合わせ、「カメラは動きを開始しているか」１７７と、「カメラは動きを停止しているか」１７８のブール「ＯＲ」１７６組み合わせとして表され得る。

本発明の実施形態は、この種のデータベース問い合わせスキーマを、次の２つの例示的な態様で拡張し得る。すなわち、（１）基本の葉ノードは、場面内の空間アクティビティを記述するアクティビティ検出子を用いて増補され、（２）ブール演算子分岐ノードは、空間、時間およびオブジェクトの相互関係を指定する修飾子を用いて増補され得る。

アクティビティ検出子は、ビデオ場面の区域に関連する挙動に対応する。アクティビティ検出子は、オブジェクトが、場面内の場所とどのように相互作用し得るか記述する。図１８に、３つのアクティビティ検出子の例を示す。図１８ａには、仮想ビデオ仕掛け線を使って、特定の方向に外周を横切る挙動が表されている（かかる仮想ビデオ仕掛け線がどのようにして実施され得るかの詳細については、例えば米国特許第６６９６９４５号明細書を参照し得る）。図１８ｂには、線路上をある期間にわたって徘徊する挙動が表されている。図１８ｃには、壁の一部から何かを取り去る挙動が表されている（これがどのようにしてなされ得るかの手法例については、２００３年１月３０日に出願された、「Ｖｉｄｅｏ Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｍａｉｎｔｅｎａｎｃｅ − Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ＆ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」という名称の、米国特許出願第１０／３３１７７８号明細書を参照し得る）。他のアクティビティ検出子の例には、人が転ぶのを検出する、人が方向または速さを変更するのを検出する、人がある区域に入るのを検出する、または人が誤った方向に進むのを検出するなどが含まれ得る。

図１９に、赤い車両がビデオ仕掛け線１９１を横切るかどうか検出するために、アクティビティ検出子葉ノード（この場合、仕掛け線横断）が、どのようにして単純な特性問い合わせと組み合わされ得るかの一例を示す。特性問い合わせ１７２、１７３、１７４およびアクティビティ検出子１９３は、ブール「ＡＮＤ」演算子１９２と組み合わされる。

問い合わせを修飾されたブール演算子（結合子）と組み合わせれば、さらに柔軟性が加わる。修飾子の例には、空間、時間、オブジェクト、およびカウンタ修飾子などが含まれる。

空間修飾子は、ブール演算子を、場面内で近接している／近接していない子アクティビティ（すなわち、図１９などでブール演算子の下に示されるブール演算子の引き数）だけに作用させ得る。例えば、「ＡＮＤ から５０画素以内」は、「ＡＮＤ」が、アクティビティ間の距離が５０画素未満の場合にのみ適用されることを意味するのに使用され得る。

時間修飾子は、ブール演算子を、相互から指定された期間内に、かかる期間外に、またはある範囲内の時刻に発生する子アクティビティにのみ作用させ得る。また、各イベントの時間順序も指定され得る。例えば、「ＡＮＤ 第２から１０秒以内に第１」は、「ＡＮＤ」が、第２の子アクティビティが、第１の子アクティビティ後１０秒以内に発生する場合に限って適用されることを意味するのに使用され得る。

オブジェクト修飾子は、ブール演算子を、同じオブジェクトまたは異なるオブジェクトが関与して発生する子アクティビティだけに作用させ得る。例えば、「ＡＮＤ 同じオブジェクトが関与する」は、「ＡＮＤ」が、２つの子アクティビティに、同じ特定のオブジェクトが関与する場合に限って適用されることを意味するのに使用され得る。

カウンタ修飾子は、ブール演算子を、（１つまたは複数の）条件が所定の回数満たされた場合に限ってトリガさせ得る。カウンタ修飾子は、一般に、「少なくともｎ回」、「厳密にｎ回」、「多くともｎ回」などの数値関係を含み得る。例えば、「ＯＲ 少なくとも２回」は、「ＯＲ」演算子の副問い合わせの少なくとも２つが真でなければならないことを意味するのに使用され得る。カウンタ修飾子の別の用法は、「同じ人が、棚から少なくとも５個の品物を取った場合に警告する」のような規則を実施するものである。

図２０に、結合子の使用例を示す。ここで、必要とされるアクティビティ問い合わせは、「違法な左折を行う赤い車両を見つける」２０１というものである。違法な左折は、アクティビティ記述子と修飾されたブール演算子の組み合わせによって捕捉され得る。１つの仮想仕掛け線を使って、脇道から出てくるオブジェクト１９３が検出され、別の仮想仕掛け線を使って、道に沿って左へ進むオブジェクト２０５が検出され得る。これらは、修飾された「ＡＮＤ」演算子２０２によって組み合わされ得る。標準のブール「ＡＮＤ」演算子は、アクティビティ１９３と２０５の両方が検出されるべきことを保証する。オブジェクト修飾子２０３は、同じオブジェクトが両方の仕掛け線を横切ったことをチェックし、時間修飾子２０４は、まず、下から上への仕掛け線１９３が横切られ、続いて、その後１０秒以内に、右から左への仕掛け線２０５が横切られたことをチェックする。

また、この例は、結合子の能力を示すものでもある。理論的には、単純なアクティビティ検出子と結合子を利用せずに、左折に別個のアクティビティ検出子を定義することは可能である。しかしながら、この検出子は柔軟性がなく、任意の回転角度および方向に対応するのを困難にするはずであり、また、すべての潜在的イベントに別々の検出子を書くのも面倒であろう。これに対して、結合子と単純な検出子を使用すれば、大きな柔軟性がもたらされる。

より単純な検出子の組み合わせとして検出され得る複合アクティビティの別の例には、駐車する車と車から降りる人や、グループを形成する複数の人々、テールゲーティングなどが含まれ得る。また、これらの結合子は、異なる種類とソースのプリミティブを組み合わせることもできる。例としては、「明かりが消される前に室内にいる人を示せ」、「直前にカードを読み取らせずにドアから入る人を示せ」、「対象区域に、ＲＦＩＤタグ読取装置によって予期されるより多くのオブジェクトがあるかどうか（すなわち、ＲＦＩＤタグのない違法なオブジェクトがその区域にあることを）示せ」などの規則が含まれ得る。

結合子は、任意の数の副問い合わせを組み合わせることができ、他の結合子を、任意の深さまで組み合わせることさえもできる。一例が、図２１ａと２１ｂに示す、車が左折し２１０１、次いで、右折する２１０４かどうか検出する規則である。左折２１０１は、方向仕掛け線２１０２、２１０３を用いて検出され、右折２１０４は、方向仕掛け線２１０５、２１０６を用いて検出され得る。左折は、それぞれ、仕掛け線２１０２と２１０３に対応する、仕掛け線アクティビティ検出子２１１２と２１１３が、オブジェクト修飾子「同じ」２１１７と時間修飾子「２１１３の前に２１１２」２１１８を伴う「ＡＮＤ」結合子２１１１で接続されたものとして表され得る。同様に、右折は、それぞれ、仕掛け線２１０５と２１０６に対応する仕掛け線アクティビティ検出子２１１５と２１１６が、オブジェクト修飾子「同じ」２１１９と時間修飾子「２１１６の前に２１１５」２１２０を伴う「ＡＮＤ」結合子２１１４で接続されたものとして表され得る。最初に左折し、次いで右折する同じオブジェクトを検出するために、左折検出子２１１１と右折検出子２１１４は、オブジェクト修飾子「同じ」２１２２と時間修飾子「２１１４の前に２１１１」２１２３を伴う「ＡＮＤ」結合子２１２１で接続される。最後に、検出されたオブジェクトが車両であることを確認するために、ブール「ＡＮＤ」演算子２１２５を使って、左折と右折の検出子２１２１と特性問い合わせ２１２４が組み合わされる。

これらすべての検出子は、任意選択で、時間属性と組み合わされ得る。時間属性の例には、１５分毎、９：００ＰＭから６：３０ＡＭまでの間、５分未満、３０秒より長い間、週末にかけてなどが含まれる。

図２のブロック２４で、ビデオ監視システムが運用される。本発明のビデオ監視システムは、自動的に動作し、場面内のオブジェクトのビデオプリミティブを検出してアーカイブし、イベント判別子を使ってリアルタイムでイベント発生を検出する。加えて、警報を作動させる、報告を生成する、出力を生成するなどの処置が、適宜、リアルタイムで講じられる。報告と出力は、システムに対してローカルで、またはインターネットなどのネットワークを介して別の場所で表示され、かつ／または格納され得る。図４に、ビデオ監視システムの動作の流れ図を示す。

ブロック４１で、コンピュータシステム１１は、ビデオセンサ１４および／またはビデオレコーダ１５からソースビデオを獲得する。

ブロック４２で、ビデオプリミティブが、ソースビデオからリアルタイムで抽出される。任意選択で、非ビデオプリミティブが、１つまたは複数のその他のセンサ１７から獲得され、かつ／または抽出され、本発明と共に使用されてもよい。ビデオプリミティブの抽出を図５で示す。

図５に、ビデオ監視システムでのビデオプリミティブ抽出の流れ図を示す。ブロック５１と５２は、並列に動作し、任意の順序で、または同時に行われ得る。ブロック５１では、動きによってオブジェクトが検出される。このブロックでは、画素レベルでフレーム間の動きを検出する任意の動き検出アルゴリズムが使用され得る。一例として、｛１｝で論じられている３フレーム差分技法を使用することができる。検出されたオブジェクトは、ブロック５３に送られる。

ブロック５２では、変化によってオブジェクトが検出される。このブロックでは、背景モデルからの変化を検出する任意の変化検出アルゴリズムが使用され得る。このブロックでは、フレーム内の１つまたは複数の画素が、そのフレームの背景モデルに適合しないため、フレームの前景にあるものとみなされる場合に、オブジェクトが検出される。一例として、｛１｝と、２０００年１０月２４日に出願された米国特許出願第０９／６９４７１２号明細書に記載されている、動的適応背景減法などの確率的背景モデル化技法が使用され得る。検出されたオブジェクトは、ブロック５３に送られる。

ブロック５１の動き検出技法と、ブロック５２の変化検出技法は、相補的な技法であり、各技法が、有利には、他方の技法における不備に対処する。任意選択で、ブロック５１と５２について論じている技法に、追加の、かつ／または代替の検出方式を使用することもできる。追加の、かつ／または代替の検出方式の例には、｛８｝に記載されている人々を見つけるＰｆｉｎｄｅｒ検出方式、肌の色合い検出方式、顔検出方式、モデルベースの検出方式などが含まれる。かかる追加の、かつ／または代替の検出方式の結果は、ブロック５３に提供される。

任意選択で、ビデオセンサ１４が動きを有する場合（例えば、掃引、ズーム、および／または変換を行うビデオカメラなど）、ブロック５１と５２の間のブロックの前に追加のブロックを挿入して、ブロック５１と５２にビデオ安定化のための入力を提供することもできる。ビデオ安定化は、アフィン変換による、または射影的な大域的動き補償によって達成され得る。例えば、参照により本明細書に組み込まれる、２０００年７月３日に出願された米国特許出願第０９／６０９９１９号、現在の米国特許第６７３８４２４号明細書に記載されている画像整合などを使って、ビデオ安定化が獲得され得る。

ブロック５３で、ブロブが生成される。一般に、ブロブとは、フレーム内の任意のオブジェクトである。ブロブの例には、人や車両などの動くオブジェクト、家具、衣料品、小売商品などの消費者製品などが含まれる。ブロブは、ブロック３２と３３からの検出オブジェクトを使って生成される。このブロックでは、ブロブを生成する任意の技法が使用され得る。動き検出と変化検出からブロブを生成する技法の一例は、連結成分方式を使用する。例えば、｛１｝に記載されている、形態学および連結成分アルゴリズムなどが使用され得る。

ブロック５４で、ブロブが追跡される。このブロックでは、ブロブを追跡する任意の技法が使用され得る。例えば、カルマンフィルタリングまたは圧縮アルゴリズムなどが使用され得る。別の例として、｛１｝に記載されているような、テンプレートマッチング技法も使用され得る。別の例として、｛５｝に記載されている、多重仮説カルマントラッカも使用され得る。別の例として、２０００年１０月２４日に出願された米国特許出願第０９／６９４７１２号明細書に記載されているフレームごとの追跡技法も使用され得る。場所が食料品店である例では、追跡され得るオブジェクトの例には、動く人々、在庫商品、ショッピングカートや台車などの在庫移動器具などが含まれる。

任意選択で、ブロック５１〜５４は、当業者に知られている任意の検出および追跡方式で置き換えることもできる。かかる検出および追跡方式の一例が、｛１１｝に記載されている。

ブロック５５で、追跡されるオブジェクトの各軌道が分析されて、その軌道が顕著であるかどうか判定される。軌道が顕著でない場合、軌道は不安定な動きを呈するオブジェクトを表し、または不安定なサイズまたは色のオブジェクトを表し、対応するオブジェクトは拒絶され、それ以上システムによって分析されなくなる。軌道が顕著である場合、その軌道は、潜在的に対象とされるオブジェクトを表す。軌道が顕著であるか、それとも顕著でないかは、その軌道に顕著性尺度を適用することによって判定される。軌道が顕著であるか、それとも顕著でないか判定する技法は、｛１３｝と｛１８｝に記載されている。

ブロック５６で、各オブジェクトが分類される。各オブジェクトの一般的な種類は、オブジェクトの分類として決定される。分類は、いくつかの技法によって実行することができ、かかる技法の例には、ニューラルネットワーク分類子を使用するもの｛１４｝や、線形判別分類子を使用するもの｛１４｝などが含まれる。分類の例は、ブロック２３で論じたものと同じである。

ブロック５７で、ブロック５１〜５６からの情報と、必要に応じて追加の処理を使って、ビデオプリミティブが識別される。識別されるビデオプリミティブの例は、ブロック２３で論じたものと同じである。一例として、サイズには、システムは、ブロック２２での較正から獲得される情報をビデオプリミティブとして使用することができる。較正から、システムは、オブジェクトのおおよそのサイズを判定するのに十分な情報を有する。別の例として、システムは、ブロック５４から測定される速度をビデオプリミティブとして使用することもできる。

ブロック４３で、ブロック４２からのビデオプリミティブがアーカイブされる。ビデオプリミティブは、コンピュータ可読媒体１３または別のコンピュータ可読媒体にアーカイブされ得る。ビデオプリミティブと一緒に、ソースビデオからの関連付けられるフレームまたはビデオ画像もアーカイブされ得る。このアーカイブするステップは、任意選択である。すなわち、システムがリアルタイムイベント検出だけに使用される場合、アーカイブするステップは、省略され得る。

ブロック４４で、ビデオプリミティブから、イベント判別子を使って、イベント発生が抽出される。ビデオプリミティブは、ブロック４２で決定され、イベント判別子は、ブロック２３におけるシステムへのタスク割り当てから決定される。イベント判別子は、ビデオプリミティブをフィルタにかけて、イベント発生が発生したかどうか判定するのに使用される。例えば、イベント判別子は、９：００ＡＭから５：００ＰＭまでの間に、ある区域に「誤進入」する人と定義される「誤進入」イベントを見つけることもできる。イベント判別子は、図５に従って生成されるすべてのビデオプリミティブをチェックし、９：００ＡＭから５：００ＰＭまでの間のタイムスタンプ、「人」または「人々の集まり」という分類、その区域内の位置、および「誤った」運動方向という特性を有するビデオプリミティブの有無を判定する。また、イベント判別子は、前述のような、他の種類のプリミティブを使用してもよく、かつ／または複数のビデオソースからのビデオプリミティブを組み合わせてイベント発生を検出してもよい。

ブロック４５で、ブロック４４で抽出された各イベント発生ごとに、適宜、処置が講じられる。図６に、ビデオ監視システムでの処置の流れ図を示す。

ブロック６１で、イベント発生を検出したイベント判別子によって指図されるように応答が引き受けられる。応答は、もしあれば、ブロック３４でイベント判別子ごとに識別される。

ブロック６２で、発生した各イベント発生ごとに、アクティビティレコードが生成される。アクティビティレコードは、例えば、オブジェクトの軌道の詳細、オブジェクトの検出時刻、オブジェクトの検出位置、用いられたイベント判別子の記述または定義などを含む。アクティビティレコードは、イベント判別子によって必要とされる、ビデオプリミティブなどの情報を含み得る。また、アクティビティレコードは、イベント発生に関与する（１つまたは複数の）オブジェクトおよび／または（１つまたは複数の）区域の代表的なビデオまたは静止画像も含み得る。アクティビティレコードは、コンピュータ可読媒体上に格納される。

ブロック６３で、出力が生成される。出力は、ブロック４４で抽出されたイベント発生と、ブロック４１からのソースビデオの直接供給に基づくものである。出力は、コンピュータ可読媒体上に格納され、コンピュータシステム１１または別のコンピュータシステムに表示され、あるいは別のコンピュータシステムに転送される。システムが動作する際、イベント発生に関する情報が収集され、この情報は、オペレータによって、リアルタイムを含めて、いつでも確認され得る。情報を受け取る形式の例には、コンピュータシステムのモニタ上の表示、ハードコピー、コンピュータ可読媒体、対話式Ｗｅｂページなどが含まれる。

出力は、ブロック４１からのソースビデオの直接供給からの表示を含み得る。例えば、ソースビデオは、コンピュータシステムのモニタのウィンドウ上に表示することも、閉回路モニタ上に表示することもできる。さらに、出力は、イベント発生に関与するオブジェクトおよび／または区域を強調表示するグラフィックスでマークされたソースビデオを含むこともできる。システムがフォレンジック分析モードで動作している場合、ビデオは、ビデオレコーダから供給されてもよい。

出力は、オペレータおよび／またはイベント発生の要件に基づく、オペレータのための１つまたは複数の報告を含み得る。報告の例には、発生したイベント発生の数、イベント発生が発生した場面内の位置、イベント発生が発生した時刻、各イベント発生の代表的画像、各イベント発生の代表的ビデオ、生の統計データ、イベント発生の統計（数量、頻度、場所、時刻など）、および／または人間可読グラフィック表示などが含まれる。

図１３と１４に、図１５の食料品店内の通路についての報告例を示す。図１３と１４では、ブロック２２においていくつかの区域が識別され、画像内でしかるべくラベル付けされる。図１３内の各区域は図１２内の各区域と一致し、図１４内の各区域は、これらとは異なる。システムに、この区域内で立ち止まる人々を探すようタスクが割り当てられる。

図１３では、報告例は、ラベル、グラフィックス、統計情報、および統計情報の分析を含むように指定が書き込まれたビデオからの画像である。例えば、コーヒと識別されている区域は、この区域の平均顧客数が２人／時間であり、この区域の平均滞留時間が５秒であるという統計情報を有する。システムは、この区域が、「冷たい」領域である、すなわち、この領域ではあまり商業アクティビティが生じてないと判定した。別の例として、炭酸飲料と識別されている区域は、この区域の平均顧客数が１５人／時間であり、この区域の平均滞留時間が２２秒であるという統計情報を有する。システムは、この区域が、「熱い」領域である、すなわち、この領域には大量の商業アクティビティが生じていると判定した。

図１４では、報告例は、ラベル、グラフィックス、統計情報、および統計情報の分析を含むように指定が書き込まれたビデオからの画像である。例えば、通路の奥の区域は、平均顧客数が１４人／時間であり、人通りが少ないと判定されている。別の例として、通路の手前の区域は、平均顧客数が８３人／時間であり、人通りが多いと判定されている。

図１３または図１４で、オペレータが任意の特定の区域または任意の特定の区域に関するより多くの情報を求める場合、ポイントアンドクリックインターフェースにより、オペレータは、システムが検出し、アーカイブしている領域および／またはアクティビティの代表的な静止画像とビデオ画像をナビゲートすることができる。

図１５に、食料品店内の通路の別の報告例を示す。この報告例は、ラベルと、軌道指示と、指定付きの画像を記述するテキストを含むように指定が書き込まれたビデオからの画像を含む。例示のシステムには、いくつかの区域で、オブジェクトの軌道の長さ、位置および時間、オブジェクトが動かなかった時間と場所、オペレータによって指定される軌道と区域との相関関係、およびオブジェクトの分類が人以外か、１人か、２人か、３人以上かをサーチするタスクが割り当てられている。

図１５のビデオ画像は、軌道が記録された期間からのものである。３つのオブジェクトのうち、２つのオブジェクトは、それぞれ、１人であると分類され、１つのオブジェクトは、人以外であると分類されている。各オブジェクトには、ラベル、すなわち、人ＩＤ１０３２、人ＩＤ１０３３、およびオブジェクトＩＤ３２００１が割り当てられる。人ＩＤ１０３２について、システムは、この人が、この区域内で５２秒、○で指定される位置で１８秒過ごしたと判定した。人ＩＤ１０３３について、システムは、この人が、この区域内で１分８秒、○で指定される位置で１２秒過ごしたと判定した。人ＩＤ１０３２と人ＩＤ１０３３の軌道は、指定付き画像内に含まれる。オブジェクトＩＤ３２００１について、システムは、それ以上このオブジェクトを分析せず、このオブジェクトの位置を×で示した。

図２のブロック２２に戻って、較正は、（１）手動、（２）ビデオセンサまたはビデオレコーダからの画像を使った半自動、あるいは（３）ビデオセンサまたはビデオレコーダからの画像を使った自動とすることができる。画像が必要とされる場合、コンピュータシステム１１によって分析されるべきソースビデオは、較正に使用されたソースビデオを獲得したビデオセンサからのものであると想定される。

手動較正では、オペレータは、コンピュータシステム１１に、ビデオセンサ１４のそれぞれの向きと内部パラメータ、ならびに各ビデオセンサ１４のその場所に対する配置を提供する。コンピュータシステム１１は、任意選択で、その場所の地図を維持することができ、ビデオセンサ１４の配置は、地図上に示され得る。地図は、環境の２次元または３次元表現とすることができる。加えて、手動較正は、システムに、オブジェクトのおおよそのサイズと相対的位置を決定するのに十分な情報も提供する。

代替として、手動較正では、オペレータが、センサからのビデオ画像に、人など、知られているサイズのオブジェクトの外観を表すグラフィックを用いて指定を書き込むこともできる。オペレータが、画像内の少なくとも２つの異なる場所に指定を書き込み得る場合、システムは、おおよそのカメラ較正情報を推論することができる。

半自動および自動較正では、カメラパラメータの知識も場面配置の知識も不要である。半自動および自動較正から、場面内の様々な区域におけるオブジェクトのサイズを近似するようにルックアップ表が生成され、またはカメラの内部と外部のカメラ較正パラメータが推論される。

半自動較正では、ビデオ監視システムは、ビデオソースをオペレータからの入力と組み合わせて使って較正される。半自動較正されるべきビデオセンサの視界に１人の人が配置される。コンピュータシステム１１は、その１人に関するソースビデオを受け取り、このデータに基づいて人のサイズを自動的に推論する。その人が見られるビデオセンサの視界内の場所数が増大し、その人が、ビデオセンサの視界内で見られる期間が長くなるに従って、半自動較正の正確さが向上する。

図７に、ビデオ監視システムの半自動較正の流れ図を示す。ブロック７１は、典型的なオブジェクトが、様々な軌道で場面を移動することを除いて、ブロック４１と同じである。典型的なオブジェクトは、様々な速度を有し、様々な位置で静止し得る。例えば、典型的なオブジェクトは、可能な限りビデオセンサに近づき、次いで、可能な限りビデオセンサから遠ざかる。典型的なオブジェクトによるこの動きは、必要に応じて繰り返され得る。

ブロック７２〜２５は、それぞれ、ブロック５１〜５４と同じである。

ブロック７６で、典型的なオブジェクトが、場面の至るところで監視される。追跡される唯一の（または少なくとも最も）安定したオブジェクトは、場面内の較正オブジェクト（すなわち、場面を移動する典型的なオブジェクト）であるものと仮定される。安定したオブジェクトのサイズは、それが観測される場面内のあらゆる地点について収集され、この情報を使って、較正情報が生成される。

ブロック７７で、典型的なオブジェクトのサイズが、場面全体の様々な区域について特定される。典型的なオブジェクトのサイズを使って、場面内の様々な区域における類似のオブジェクトのおおよそのサイズが決定される。この情報を用いて、画像内の様々な区域における典型的なオブジェクトの典型的な見かけ上のサイズにマッチするルックアップ表が生成され、あるいは内部と外部のカメラ較正パラメータが推論される。サンプル出力として、システムが適切な高さとして決定したものを、画像の様々な区域内の棒型の人物の表示で示す。かかる棒型の人物が、図１１に示されている。

自動較正では、コンピュータシステム１１が、各ビデオセンサの視界内の場所に関する情報を判定する学習フェーズが行われる。自動較正の間、コンピュータシステム１１は、その場面に典型的なオブジェクトの統計的に有意なサンプリングを獲得し、それによって、典型的な見かけ上のサイズと場所を推論するのに十分な、代表的な期間（数分間、数時間、または数日間など）にわたって、その場所のソースビデオを受け取る。

図８に、ビデオ監視システムの自動較正の流れ図を示す。ブロック８１〜８６は、図７のブロック７１〜７６と同じである。

ブロック８７で、ビデオセンサの視界内の追跡可能領域が識別される。追跡可能領域とは、オブジェクトが、容易に、かつ／または正確に追跡され得る、ビデオセンサの視界内の領域をいう。追跡不能領域とは、オブジェクトが、容易に、かつ／または正確に追跡されず、かつ／または追跡するのが困難な、ビデオセンサの視界内の領域をいう。追跡不能領域を、不安定または非顕著領域と呼ぶこともできる。オブジェクトは、そのオブジェクトが小さすぎるために（所定の閾値より小さいなど）、あまりにも短時間しか出現しないために（所定の閾値より短いなど）、あるいは顕著でない動きを示すため（意図的でないなど）に、追跡するのが難しいこともある。追跡可能領域は、例えば、｛１３｝に記載されている技法などを使って識別され得る。

図１０に、食料品店内の通路について決定された追跡可能領域を示す。通路の向こう側の区域は、この区域内にあまりにも多くの混乱要素が見えるため、顕著でないと判定されている。混乱要素とは、追跡方式を混乱させるビデオ内のものをいう。混乱要素の例には、風に揺れる葉、雨、一部が遮られて見えないオブジェクト、正確に追跡するにはあまりにも短期間しか現れないオブジェクトなどが含まれる。これに対して、通路のこちら側の区域は、この区域では良好な軌道が判定されるため、顕著であると判定されている。

ブロック８８で、場面全体の様々な区域でのオブジェクトのサイズが識別される。オブジェクトのサイズは、場面内の様々な区域における類似のオブジェクトのおおよそのサイズを決定するのに使用される。ヒストグラムや統計的中央値を使用するなどの技法を使って、オブジェクトの典型的な見かけ上の高さと幅が、場面内の場所の関数として求められる。場面の画像のある部分では、典型的なオブジェクトは、典型的な見かけ上の高さと幅を持ち得る。この情報を用いて、画像内の様々な区域におけるオブジェクトの典型的な見かけ上のサイズにマッチするルックアップ表が生成され、または内部と外部のカメラ較正パラメータが推論され得る。

図１１に、図１０の食料品店の通路内の典型的なオブジェクトの典型的なサイズの識別を示す。典型的なオブジェクトは、人々であるものと想定され、ラベルによってしかるべく識別される。人々の典型的なサイズは、顕著な領域で検出される人々の平均身長と平均幅のグラフによって決定される。例では、グラフＡが、平均的な人の平均身長について求められ、グラフＢが、１人、２人、および３人の人の平均的な幅について求められる。

グラフＡでは、ｘ軸に、ブロブの高さを画素数で示し、ｙ軸に、発生する、ｘ軸上で識別される個々の高さの例の数を示す。グラフＡの線のピークは、場面の指定領域内で最も一般的なブロブの高さに対応し、この例では、ピークは、指定領域に立つ人の平均身長に対応する。

人々がゆるくまとまったグループとして進むものと仮定して、グラフＡに類似のグラフが、幅についてグラフＢとして生成される。グラフＢでは、ｘ軸に、ブロブの幅を画素数で示し、ｙ軸に、発生する、ｘ軸上で識別される個々の幅の例の数を示す。グラフＢの線の各ピークは、いくつかのブロブの平均幅に対応する。大部分のグループがただ１人の人を含むものと仮定すると、最大のピークが、最も一般的な幅に対応し、これが、指定領域内の人１人の平均幅に対応する。同様に、２番目に大きいピークは、指定領域内の人２人の平均幅に対応し、３番目に大きいピークは、指定領域内の人３人の平均幅に対応する。

図９に、本発明のビデオ監視システムの追加の流れ図を示す。この追加の実施形態では、システムは、アーカイブされたビデオプリミティブをイベント判別子と共に分析して、例えば、ソースビデオ全体を見直す必要もなく、追加の報告を生成する。本発明に従ってビデオソースが処理された後の任意のときに、ソースビデオのビデオプリミティブが、図４のブロック４３でアーカイブされる。追加の実施形態では、ビデオプリミティブだけが見直され、ビデオソースは、再処理されないため、ビデオコンテンツが、比較的短時間で再分析され得る。これは、現在の最新のシステムに優る大幅な効率改善を提供する。というのは、ビデオ画像データの処理は、極めて計算上に高くつくが、ビデオから抜粋された小規模なビデオプリミティブを分析すれば、極めて計算上に安くつくからである。一例として、「最近２ヶ月間に区域Ａにおいて１０分より長く立ち止まった人の数」というイベント判別子が生成され得る。この追加の実施形態では、最近２ヶ月間のソースビデオが見直される必要はない。そうではなく、最近２ヶ月間のビデオプリミティブが見直されるだけでよく、これは、大幅に効率のよいプロセスである。

ブロック９１は、図２のブロック２３と同じである。

ブロック９２で、アーカイブされたビデオプリミティブにアクセスされる。ビデオプリミティブは、図４のブロック４３でアーカイブされる。

ブロック９３と９４は，図４のブロック４４と４５と同じである。

用途の一例として、本発明は、小売陳列の効率性を評価することによって、小売市場空間を分析するのに使用され得る。小売陳列には、陳列商品と副次的商品両方の販売を促進するためにできるだけ人目を引こうと、多額の金が投入される。本発明のビデオ監視システムは、これらの小売陳列の効率性を評価するように構成され得る。

この適用例では、ビデオ監視システムが、ビデオセンサの視界を、所望の小売陳列の周囲の空間に向けてセットアップされる。タスク割り当て時に、オペレータは、所望の小売陳列の周囲の空間を表す区域を選択する。判別子として、オペレータは、その区域に入り、測定可能な速度の低下を示し、または相当の時間にわたって立ち止まる人の大きさのオブジェクトを監視しようとすることを定義する。

ある期間にわたって動作した後、ビデオ監視システムは、市場分析の報告を提供し得る。報告には、この小売陳列の周囲で歩調をゆるめた人の数、この小売陳列で立ち止まった人の数、この小売陳列に興味を示した人の、時間の関数としての内訳、例えば、何人が週末にかけて興味を示したかや、何人が夕方に興味を示したかなど、この小売陳列に興味を示した人のビデオスナップ写真が含まれ得る。ビデオ監視システムから獲得される市場調査情報は、店の売上情報および店の顧客記録と組み合わされて、分析者による小売陳列の有効性の理解を向上させることができる。

本明細書で論じている実施形態および例は、非限定的な例である。

本発明は、好ましい実施形態に関して詳細に説明されており、以上の説明より、本発明のより一般的な態様から逸脱することなく変更および改変を加えることができ、したがって、特許請求の範囲で定義される本発明は、かかるすべての変更および改変を、本発明の真の趣旨に含まれるものとして包含するものであることが、当業者には明らかであろう。

本発明のビデオ監視システムを示す平面図である。 本発明のビデオ監視システムを示す流れ図である。 ビデオ監視システムのタスク割り当てを示す流れ図である。 ビデオ監視システムの動作を示す流れ図である。 ビデオ監視システムのビデオプリミティブの抽出を示す流れ図である。 ビデオ監視システムでの処置を示す流れ図である。 ビデオ監視システムの半自動較正を示す流れ図である。 ビデオ監視システムの自動較正を示す流れ図である。 本発明のビデオ監視システムを示す追加の流れ図である。 食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。 食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。 食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。 食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。 食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。 食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。 本発明の一実施形態によるビデオ分析サブシステムを示す流れ図である。 本発明の一実施形態によるイベント発生検出応答サブシステムを示す流れ図である。 データベース問い合わせの例を示す図である。 本発明の様々な実施形態による、仕掛け線横断を検出するアクティビティ検出子の例を示す図である。 本発明の様々な実施形態による、徘徊を検出するアクティビティ検出子の例を示す図である。 本発明の様々な実施形態による、盗難を検出するアクティビティ検出子の例を示す図である。 本発明の一実施形態によるアクティビティ検出子問い合わせを示す図である。 本発明の一実施形態による、アクティビティ検出子と修飾子を伴うブール演算子を使った問い合わせの例を示す図である。 複数レベルの結合子と、アクティビティ検出子と、特性問い合わせとを使った問い合わせの例を示す図である。 複数レベルの結合子と、アクティビティ検出子と、特性問い合わせとを使った問い合わせの例を示す図である。

Claims (40)

1. 少なくとも１つのビデオまたは非ビデオプリミティブに基づいて１つまたは複数のイベント発生を抽出するステップを備えるビデオ監視方法。
2. 入力ビデオシーケンスから少なくとも１つのビデオプリミティブを導出するステップをさらに備える、請求項１に記載のビデオ監視方法。
3. 前記抽出するステップが、
   前記少なくとも１つのビデオまたは非ビデオプリミティブに少なくとも１つの問い合わせを適用する工程を備える、請求項１に記載のビデオ監視方法。
4. 前記少なくとも１つの問い合わせを適用する工程が、
   前記少なくとも１つのビデオまたは非ビデオプリミティブに少なくとも２つの副問い合わせを適用することと、
   前記少なくとも２つの副問い合わせの結果に少なくとも１つの結合子を適用することと、
   を備える、請求項３に記載のビデオ監視方法。
5. 前記結合子が、ブール演算子を備える、請求項４に記載のビデオ監視方法。
6. 前記結合子が、修飾子をさらに備える、請求項５に記載のビデオ監視方法。
7. 前記修飾子が、時間修飾子と、空間修飾子と、オブジェクト修飾子と、カウンタ修飾子からなるグループから選択される、請求項６に記載のビデオ監視方法。
8. 前記少なくとも１つの問い合わせが、少なくとも１つのアクティビティ記述子問い合わせを備える、請求項３に記載のビデオ監視方法。
9. 前記少なくとも１つの問い合わせが、少なくとも１つの特性問い合わせを備える、請求項３に記載のビデオ監視方法。
10. 前記少なくとも１つの問い合わせが、
    少なくとも３つの副問い合わせと、
    少なくとも２つの結合子と、
    を備える少なくとも１つの多層問い合わせを備える、請求項３に記載のビデオ監視方法。
11. アーカイブから少なくとも１つのビデオまたは非ビデオプリミティブを検索するステップをさらに備える、請求項１に記載のビデオ監視方法。
12. 前記ビデオプリミティブが、場面／ビデオ記述子と、オブジェクト記述子と、フロー記述子からなるグループから選択される種類のビデオプリミティブのうち少なくとも１つを備える、請求項１に記載のビデオ監視方法。
13. コンピュータシステム上で実行されると、前記コンピュータシステムに、請求項１に記載の方法を実施させる命令を含むコンピュータ可読媒体。
14. 前記抽出する命令が、前記少なくとも１つのビデオまたは非ビデオプリミティブに少なくとも１つの問い合わせを適用する命令を備える、請求項１３に記載のコンピュータ可読媒体。
15. 前記問い合わせが、特性問い合わせと、アクティビティ記述子問い合わせと、複数の副問い合わせを組み合わせることによって形成される問い合わせからなるグループのうちの少なくとも１つを備える、請求項１４に記載のコンピュータ可読媒体。
16. 請求項１に記載のビデオ監視方法を備えるビデオベースの警備方法。
17. 請求項１に記載のビデオ監視方法を備えるビデオベースの安全化方法。
18. 請求項１に記載のビデオ監視方法を備えるビデオベースの交通監視方法。
19. 請求項１に記載のビデオ監視方法を備えるビデオベースの市場調査分析方法。
20. ビデオシーケンスから抽出される少なくとも１つのビデオプリミティブを保存するステップと、
    前記ビデオシーケンスの少なくとも一部分を保存するステップであり、前記ビデオシーケンスの前記少なくとも一部分を保存する手段が前記ビデオシーケンスの分析によって決まる前記ステップと
    を備えるビデオ監視方法。
21. 前記ビデオシーケンスの前記少なくとも一部分が、前記ビデオシーケンスの品質より低い品質で保存される、請求項２０に記載のビデオ監視方法。
22. 前記ビデオシーケンスの少なくとも一部分を保存する前記ステップが、
    少なくとも１つのアクティビティが検出される前記ビデオシーケンスの部分だけを保存する工程
    を備える、請求項２０に記載のビデオ監視方法。
23. 前記ビデオシーケンスの少なくとも一部分を保存する前記ステップが、
    検出アクティビティを含む前記ビデオシーケンスの部分を、検出アクティビティを含まない前記ビデオシーケンスの部分より高い品質で保存する工程
    を備える、請求項２０に記載のビデオ監視方法。
24. コンピュータシステムによって実行されると、前記コンピュータシステムに、請求項２０に記載の方法を実施させる命令を含むコンピュータ可読媒体。
25. 請求項２０に記載のビデオ監視方法を備えるビデオベースの警備方法。
26. 請求項２０に記載のビデオ監視方法を備えるビデオベースの安全化方法。
27. 請求項２０に記載のビデオ監視方法を備えるビデオベースの交通監視方法。
28. 請求項２０に記載のビデオ監視方法を備えるビデオベースの市場調査分析方法。
29. ビデオ監視システムであって、
    ビデオシーケンスを提供する少なくとも１つのビデオソースを含む少なくとも１つのセンサと、
    前記ビデオシーケンスを分析するビデオ分析サブシステムであり、少なくとも１つのビデオプリミティブを導出する前記ビデオ分析サブシステムと、
    前記少なくとも１つのビデオプリミティブを格納する少なくとも１つの記憶設備と、
    を備えるビデオ監視システム。
30. 前記少なくとも１つの記憶設備が、少なくとも１つの非ビデオプリミティブを格納する、請求項２９に記載のビデオ監視システム。
31. 前記ビデオ分析サブシステムが、前記少なくとも１つの記憶設備内の前記ビデオシーケンスの少なくとも一部分の記憶を制御するようになっている、請求項２９に記載のビデオ監視システム。
32. 前記ビデオ分析サブシステムが、前記少なくとも１つの記憶設備に格納されるべき前記ビデオシーケンスの少なくとも一部分のビデオ品質を制御するようになっている、請求項３１に記載のビデオ監視システム。
33. 前記少なくとも１つの記憶設備に結合されたイベント発生検出応答サブシステムと、
    前記ビデオ分析サブシステムに、イベント分析規則と検出イベントへの応答からなるグループから選択される少なくとも１つの入力を提供する、前記アクティビティイベント分析サブシステムに結合された規則応答定義インターフェースと、
    をさらに備える、請求項２９に記載のビデオ監視システム。
34. 前記イベント発生検出応答サブシステムが、前記少なくとも１つの記憶設備に格納された少なくとも１つのビデオまたは非ビデオプリミティブを使って、前記イベント分析規則を適用するようになっている、請求項３３に記載のビデオ監視システム。
35. 請求項２９に記載のビデオ監視システムを備えるビデオベースの警備システム。
36. アクセス制御と、資産監視と、テロ行為防止からなるグループから選択される少なくとも１つの機能を実行するようになっている、請求項３５に記載のビデオベースの警備システム。
37. 請求項２９に記載のビデオ監視システムを備えるビデオベースの安全化システム。
38. 潜在的に危険な状況の検出と、病人の監視と、高齢者の監視からなるグループから選択される少なくとも１つの機能を実行するようになっている、請求項３７に記載のビデオベースの安全化システム。
39. 請求項２９に記載のビデオ監視システムを備えるビデオベースの交通監視システム。
40. 請求項２９に記載のビデオ監視システムを備えるビデオベースの市場調査分析システム。

Images