JP2009134688A - センサデータ内の活動の地理分布に基づく時間のセグメント化 - Google Patents

Abstract

【課題】現場の様々な地理的領域における時間および活動レベルに応じてビデオストリームをセグメント化するためのアルゴリズムを提供する。
【解決手段】左側のペインに、セキュリティビデオ応用例に組み入れられたヒートマップがある。センサで検出された累積活動がコード化されている。右上のペインには、異なるサイズの４つのビデオストリームからのビューが示されている。右下のビューには、人間の動作方向が示されている。また、色矢印および色斜線部分は、マルチストリームビデオディスプレイで現在見ることができるカメラを示す。下部ペインでは、タイムラインが事象をフラグで要約している。
【選択図】図１

Description

本発明は、現場（locality）の様々な地理的領域における時間および活動（activity）レベルに応じてビデオストリーム（video stream）をセグメント化するためのアルゴリズムに関する。即ち、観察パターンを識別する方法、複数のセンサの出力から現場の活動パターンを可視化する方法、プログラム、システム、及び装置に関する。特有の活動パターンを有する時間セグメントを認識することによって、システムは、活動の概要を経時的により良く提示することができる。

ビデオ監視システムを含む、活動を識別するために使用されうるセンサは、商業、工業、および居住環境で使用されうる。しかし、特にビデオストリームの数が増大すると監視する人間の注意力により、かかるシステムの費用効果および有効性が制約される。非特許文献１では、各顧客によって持ち込まれる品目に基づいて、ストアを通る経路を推測することに基づく小売場面におけるそのような分析について説明している。非特許文献２では、無線周波数識別タグ（RFID）を用いて、スーパーマーケットを通る経路を収集し、いくつかの典型的な行動を識別するために、経路をセグメント化している。

米国特許出願公開２００６／０２８４９７８号明細書 米国特許出願公開２００６／０２８８２８８号明細書 米国特許出願公開２００６／０２８４９７６号明細書 米国特許第７１４３０８３号明細書 「タグチーム：スーパーマーケットの買い物客のパターンの追跡（Tag Team: Tracking the Patterns of Supermarket Shoppers)」、[online]、２００５年、ノーリッジ・アットマーク・ワートン（Knowledge@Wharton）、[平成20年2月15日検索]、インターネット<http://knowledge.wharton.upenn.edu/article.cfm?articleid=1208> Ｊ．ラーソン（J.Larson）、Ｅ．ブラッドロー（E.Bradlow）、およびＰ．フェーダ（P.Fader）、「店内でのスーパーマーケット買い物パターンの調査（An Exploratory Look at In-Store Supermarket Shopping Patterns）」、ペンシルバニア大学（University of Pennsylvania）のウォートンスクールオブビジネス（Wharton School of Bisiness） デミルジャン・ディー．（Demirdjian,D.）、トルマー・ケー．（Tollmar,K.）、コイル・ケー（Koile,K.）、チェッカ・エヌ．（Checka,N.）、およびダレリ・ティー．（Darrell,T.）、「ロケーションアウェアコンピューティングのための活動マップ（Activity maps for location-aware computing）」、ＩＥＥＥコンピュータバージョンのアプリケーションについてのワークショップ議事録（Proceeding of IEEE Workshop on Applications of Computer Version）、２００２年 ポリクリ・エフ．（Porikli,F.）、「マルチカメラ監視：オブジェクトベースの要約アプローチ(Muti-Camera Surveillance: Object-Based Summarization Approach)」、[online]、２００３年、[平成20年2月15日検索]、インターネット<http://www.merl.com/papers/docs/TR2003-145.pdf> スタウファー・シー．（Stauffer,C.）およびグリムソン・ダブリュー．イー．（Grimson,W.E.）、「リアルタイム追跡を用いた活動パターンの学習（Learning Patterns of Activity Using Real Time Tracking)」、ＩＥＥＥ パターンマッチングと機械知能についての研究論文（IEEE Transaction on Pattern Matching and Machine Intelligence）、２２巻、第８号、２０００年、p.745-757 シャン・ティー．（Xiang,T.）およびゴン・エス．（Gong,S.）の「活動ベースビデオコンテント軌道の表示およびセグメント化（Activity Based Video Content Trajectory Representation and Segmentation）」、ＢＭＶＣ議事録（Proceedings of BMVC）、２００４年、p.177-186 サンティーニ・エス．（Santini,S.）、「ウェブカメラを用いた都市部における交通流の分析（Analysis of traffic flow in urban areas using web cameras）」、ＩＥＥＥコンピュータバージョンのアプリケーションについてのワークショップ議事録（Proceeding of IEEE Workshop on Applications of Computer Version）、２０００年 ピンガリ・ジー．（Pingali,G.）、オパラッハ・エー．（Opalach,A.）、およびカールボム・アイ．（Carlbom,I.）、「時空間活動マップによるマルチメディア検索（Multimedia retrieval through spatio-temporal activity maps）」、ＡＣＭマルチメディア議事録（Proceeding of ACM Multimedia）、２００１年、p.129-136

本発明は、現場の様々な地理的領域における時間および活動レベルに応じてビデオストリームをセグメント化するためのアルゴリズムを提供する。

本発明の第１の態様は、観察パターンを識別する方法であって、（ａ）現場を複数の地理的現場に分割するステップであって、複数のセンサ各々が、前記現場内の前記地理的現場のうちの少なくとも１つまたは複数において検知することができる、前記分割するステップと、（ｂ）前記１つまたは複数の地理的現場において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別するステップと、（ｃ）時間帯にわたって活動分布に基づいて１つまたは複数の時間的活動セグメントを識別するステップと、（ｄ）前記１つまたは複数の時間的活動セグメントに基づいて観察パターンを識別するステップとを含む。

本発明の第２の態様は、上記第１の態様において、ステップ（ｃ）が、（ｅ）１つまたは複数の潜在的な時間的境界を識別するステップと、（ｆ）前記１つまたは複数の潜在的な時間的境界の前後の活動分布を決定して、活動の変化を計算するステップと、（ｇ）前記活動の変化の１つまたは複数のピークの場所を特定するステップと、（ｈ）場所が特定された前記１つまたは複数のピークを１つまたは複数の閾値に基づいてフィルタにかけるステップと、（ｉ）前記１つまたは複数のフィルタ済みのピークに基づいて時間的活動セグメントを識別するステップとをさらに含んでもよい。

本発明の第３の態様は、上記第２の態様において、ステップ（ｊ）をさらに含み、他の境界から予め定義された最小セグメント長以内に境界がないこと、および、最強ピークのみが境界内のピークとみなされうることからなる群から前記閾値が選択されてもよい。

本発明の第４の態様は、上記第１の態様において、ヒートマップを表示することによって活動量を示すステップをさらに含んでもよい。

本発明の第５の態様は、上記第１の態様において、前記時間帯が、分布関数によって分布長にわたってフィルタをかけられたチャンク長に基づいてもよい。

本発明の第６の態様は、上記第５の態様において、前記チャンク長が、下限値である約１分と、上限値である約１０分との間であってもよい。

本発明の第７の態様は、上記第５の態様において、前記分布関数がポアソン分布であり、前記分布長が、下限値である前記チャンク長の約２倍と、上限値である前記チャンク長の約２０倍との間であってもよい。

本発明の第８の態様は、現場の活動パターンを複数のセンサの出力から可視化する方法であって、前記現場を複数の地理的現場に分割するステップであって、複数のセンサ各々が、前記現場内の地理的現場のうちの少なくとも１つまたは複数において検知することができる、前記分割するステップと、１つまたは複数の前記地理的現場において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別するステップと、時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別するステップと、前記識別された時間的活動セグメントに基づいて前記活動パターンを表示するステップとを含む。

本発明の第９の態様は、上記第８の態様において、前記活動パターンをヒートマップとして描写するステップと、前記ヒートマップに基づいて活動を選択するステップと、１つまたは複数のキーフレーム内に前記複数のセンサ出力のうちの１つまたは複数を表示するステップとをさらに含んでもよい。

本発明の第１０の態様は、上記第８の態様において、前記ヒートマップの床配置図として前記活動を描写するステップと、前記床配置図に基づいて時間的活動セグメントを選択するステップと、１つまたは複数のキーフレーム内に前記複数のセンサ出力のうちの１つまたは複数を表示するステップとをさらに含んでもよい。

本発明の第１１の態様は、上記第８の態様において、マップが、１つまたは複数のセンサの地理的位置を示すために使用され、コードが、前記センサ位置を表示するために使用され、前記コードが、前記センサ出力を描写するために前記可視化に使用されるコードと相関してもよい。

本発明の第１２の態様は、上記第９又は１０の態様において、前記表示を拡大すること、および前記センサ出力に対応する前記ビデオセグメントを再生することからなる群から選択されたコマンドを開始するためにキーフレームを選択することが使用されてもよい。

本発明の第１３の態様は、上記第８の態様において、前記時間帯が、分布関数によって分布長にわたってフィルタをかけられたチャンク長に基づいてもよい。

本発明の第１４の態様は、上記第１３の態様において、前記チャンク長が、下限値である約１分と、上限値である約１０分との間でもよい。

本発明の第１５の態様は、上記第１３の態様において、前記分布関数がポアソン分布であり、前記分布長が、下限値である前記チャンク長の約２倍と、上限値である前記チャンク長の約２０倍との間でもよい。

本発明の第１６の態様は、コンピュータに、複数のセンサ出力から活動パターンを可視化させる機能を実現するためのプログラムであって、現場を複数の地理的現場に分割するステップであって、複数のセンサ各々が、前記現場内の少なくとも１つまたは複数の地理的現場において検知することができる、前記分割するステップと、１つまたは複数の地理的現場において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別するステップと、時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別するステップと、前記識別された時間的活動セグメントに基づいて前記活動パターンを表示するステップとを含む。

本発明の第１７の態様は、上記第１６の態様において、前記活動パターンをヒートマップとして描写するステップと、前記ヒートマップに基づいて活動を選択するステップと、１つまたは複数のキーフレーム内に前記センサ出力のうちの１つまたは複数を表示するステップとをさらに含んでもよい。

本発明の第１８の態様は、複数のセンサ出力から活動パターンを可視化するシステムであって、複数の表示領域を含む表示装置と、前記現場を複数の地理的現場に分割すること、前記地理的現場のうちの１つまたは複数において１つまたは複数の物体の活動を検出すること、活動分布を時間帯にわたって識別すること、および選択された時間的活動セグメントを識別することができるコンピュータオーサリングアシスタントと、前記活動パターンを前記選択された時間的活動セグメントに基づいて表示することができる表示制御装置とを含む。

本発明の第１９の態様は、上記第１８の態様において、前記コンピュータオーサリングアシスタントが、さらに、前記活動パターンをヒートマップとして描写すること、および前記ヒートマップに基づいて活動を選択することができ、前記表示制御装置が、さらに、１つまたは複数のキーフレーム内に前記複数のセンサ出力のうちの１つまたは複数を表示することができる。

本発明の第２０の態様は、複数のセンサ出力から活動パターンを可視化するシステムであって、１組または複数組のパラメータを指定することができ、前記１組または複数組のパラメータを原始コードに転送することができ、かつ、現場を複数の地理的現場に分割するための一連のタスクに前記原始コードをコンパイルすることができる１つまたは複数のプロセッサであって、複数のセンサ各々が、前記地理的現場のうちの少なくとも１つまたは複数において検知して、１つまたは複数の地理的現場において１つまたは複数の物体の活動を識別し、１つまたは複数の地理的現場においての１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別し、時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別し、および前記時間的活動セグメントに基づいて前記活動パターンを可視化することができる、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって処理されるときに、システムが、１組または複数組のパラメータを指定するステップと、１組または複数組のパラメータを原始コードに転送するステップと、複数のセンサ出力から前記活動バターンの前記可視化を生成するための一連のタスクに前記原始コードをコンパイルするステップとを実行するようにするオペレーションを記憶した機械可読媒体とを含む。

本発明の第２１の態様は、複数のセンサ出力から活動パターンを可視化する装置であって、１組または複数組のパラメータを指定することができ、前記１組または複数組のパラメータを原始コードに転送することができ、かつ、現場を複数の地理的現場に分割するための一連のタスクに前記原始コードをコンパイルすることができる１つまたは複数のプロセッサであって、複数のセンサ各々が、前記地理的現場のうちの少なくとも１つまたは複数において検知して、１つまたは複数の地理的現場において１つまたは複数の物体の活動を識別し、１つまたは複数の地理的現場においての１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別し、時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別し、および前記時間的活動セグメントに基づいて前記活動パターンを可視化することができる、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって処理されるときに、システムが、１組または複数組のパラメータを指定するステップと、１組または複数組のパラメータを原始コードに転送するステップと、複数のセンサ出力から前記活動バターンの前記可視化を生成するための一連のタスクに前記原始コードをコンパイルするステップとを実行するようにするオペレーションを記憶した機械可読媒体とを含む。

本発明の様々な実施形態では、アルゴリズムおよびインタフェースが、録画データ内の活動を分析する。本発明の一実施形態では、録画データは、複数の場所にある複数のカメラからのビデオストリームとすることができる。本発明の一実施形態では、センサからデータを収集する目的は、監視されている現場における活動パターンを理解することでありうる。本発明の一実施形態では、活動パターンを理解することは、将来の活動を予測するのに有用となりうる。本発明の一実施形態では、活動パターンを理解することは、活動が周期的でありうる場合の活動（例えば、日毎または週毎に変化する活動）を予測するのに有用となりうる。本発明の一実施形態では、活動パターンを理解することは、異常な活動（例えば、所与の期間に標準からはずれる活動）を識別するのに有用となりうる。本発明の一実施形態では、活動パターンを理解することは、活動の事後分析に有用となりうる。

本発明の一実施形態では、活動が特有でありうる時間セグメントを識別することによってこれらの分析形態が支援されうる。このようなセグメントは、活動の周期性を認識するために、あるいは活動を経時的により全体的に解釈するために使用されうる。異常な活動が識別されるべき状況では、セグメント化により、ある期間中での共通する活動を、より的確に表現することができる。

本発明の一実施形態では、入力手段、出力手段、プロセッサ、記憶手段を有するコンピュータを使用して複数のセンサの出力から現場の活動パターンを可視化する方法が実施される。該コンピュータは、例えば、ビデオファイル等のデータやユーザの指示情報等を入力する入力部、プロセッサによる実行の際の作業領域を形成すると共にプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果を表示画面上に表示する表示部（ディスプレイ）、及びデータを通信網などに出力する出力部などを含む。プロセッサは、プログラム（ソフトウェア）を読み出し実行することにより、処理対象のデータ等に対し当該プログラムの手順に対応した処理をする。

本発明の一実施形態では、様々な活動パターンを可視化するために、時間が活動に基づいてセグメント化される。本発明の様々な代替実施形態では、時間が、複数センサからの内容（context）で活動に基づいてセグメント化される。本発明の一実施形態では、時間が、複数カメラからの内容で活動に基づいてセグメント化される。本発明の様々な実施形態では、センサによって検出された動作は、量子化されうるとともに、データ供給をセグメント化するために使用されうる。本発明の一実施形態では、カメラの視野にある動作は、量子化されうるとともに、データ供給をセグメント化するために使用されうる。本発明の様々な実施形態では、センサネットワークによって検出された動作は、量子化されうるとともに、データ供給をセグメント化するために使用されうる。本発明の一実施形態では、ビデオネットワークの視野にある動作は、量子化されうるとともに、データ供給をセグメント化するために使用されうる。

活動に基づいて時間をセグメント化することは、複数センサまたは複数カメラからの内容によるよりも、単一センサまたは単一カメラからの内容による方が、より簡素になりうる。何十または何百ものカメラが広いスペースをカバーするビデオ監視システムなどのセンサネットワークの場合、活動の測定をより高度化する必要がある。これは、すべてのセンサにまたがる活動の総和など、空間内の活動を単一に測定するためである。活動パターンを見逃してしまい、全領域を動き回る１０人を、その領域内の１つの特定の現場で動く１０人と見なす可能性が潜在的にあるためである。

マルチカメラビデオ監視は、ビデオ内の空間および物体（object）追跡の幾何モデルを用いて、複数のカメラにまたがる物体の動作（movement）を追うことができる。このプロセスにより、１つまたは複数の物体の移動とそれらの経時的な位置とを表示することになる。この表示は、活動に基づいて時間をセグメント化するために使用されうる。時間セグメントが確立されると、それらは、可視化（visualization）され、活動の経時的な変化の理解や、原始データ（例えばビデオストリームの特定部分）を選択するためのインデックスとして役立つように使用されうる。

単一物体の動作に基づくビデオのセグメント化は、当技術分野で公知である。これらのセグメント化アルゴリズムのうちのいくつかは、ビデオをセグメント化するために、動作のタイプを分類している（非特許文献３、非特許文献４参照）。特定の物体の動作が分類されうるように、多量の保存ビデオを分析して共通の物体動作パターンを学習することについても検討されてきている（非特許文献５、非特許文献６参照）。しかし、これらにおいて、セグメント化の目的は、個々の追跡物体の活動を特定し且つ特徴付けることであり、すべての物体の集団活動を特徴付けることではなかった。

非特許文献７では、大都市圏における道路交通監視を手助けするために、ビデオフレーム内の物体の集団行動を分析している。しかし、異なる集団行動の挙動に基づいて時間をセグメント化するものではない。

ビデオ内の活動の概観を提示する取組みは、集団行動を可視化するという目的を有することができる（非特許文献８）。ここでは、ヒートマップをビデオの検索インタフェースとして使用する（特許文献４参照）。しかし、ビデオを活動に基づいてセグメント化しようとするものではなく、異なる時間間隔に対する異なる可視化を提示してはいない。さらに、ある場所での活動から選択するためのメニューを使用していない。

本発明の一実施形態では、地理空間が監視されてモデル化することができ、具体的には、空間が監視されて格子（grid）に分割することができる（面積は２次元格子に分割され、体積は３次元格子に分割される）。モデルの各部分内での活動の変化が、時間セグメントを決定するために監視されうる。本発明の一実施形態では、活動のヒストグラムが比較されうる。ここで、格子の各部分の活動値は、ヒストグラム内の一要素である。

本発明の一実施形態では、分析期間を特有の時間窓にセグメント化することが、３つの段階、すなわち、センサネットワークまたはビデオカメラネットワークで活動を識別すること、この活動を時間および空間で認識しかつ拡張すること、および、活動パターンで境界を認識することを含むことができる。本発明の一実施形態では、まず、複数のセンサ各々が現場内の少なくとも１つまたは複数の地理的現場（geographic locality）で検知することができる、複数の地理的現場に現場を分割し、次に、複数の地理的現場のうちの１つまたは複数において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別することによって、観察パターンが決定されうる。時間的活動セグメントが、時間帯にわたって活動分布に基づいて決定され、観察パターンを識別するために使用されうる。本発明の一実施形態では、潜在的な時間的境界を識別し、次いで、潜在的な時間的境界の前後の活動分布を決定し、活動の変化のただ１つのピークの場所が時間的活動セグメント内で特定されることによって時間的活動セグメントが識別されうる。本発明の様々な実施形態では、様々な閾値が、活動の変化のピーク数を限定するために使用することができ、これによって時間的活動セグメント当たり１つのピークという要件を満たす。本発明の一実施形態では、セグメントは、センサデータ内の活動を可視化しかつこれにアクセスするためのユーザインタフェース設計の基準となりうる。

（活動の識別）
本発明の一実施形態では、センサネットワークまたはビデオカメラネットワークでカバーされる空間における活動を識別しかつその場所を特定することを、第１のステップとすることができる。本発明の一実施形態では、活動の測定の収集は多くの方法で行うことができ、ビデオ、ＲＦＩＤ事象、動作センサ、熱センサ、音センサ、臭気センサ、圧力センサなどでの人間追跡がある。本発明の一実施形態では、前述したビデオ内の移動物体とその位置を識別するためのアルゴリズムが利用されうる。本発明の一実施形態では、時間的活動セグメントの要件が、空間における活動の＜位置，時間＞対を有するものとすることができる。

（時間および空間における活動の拡張）
空間における活動の量およびタイプは、高度に可変でありうる。この変化は、活動期間を認識しようとするときの生物体の総数および位置の統計を計算するときに、高レベルのノイズをもたらす可能性がある。本発明の一実施形態では、この変化による影響は、特有の活動期間を認識しようとするときに、認識した活動を時間および空間にわたって拡張することによって低減されうる。

本発明の一実施形態では、活動を経時的に拡張するために、時間次元が、小さいチャンク長（chunk length）（例えば５分チャンク）に分割され、観察された活動があれば、１次元の分布長で経時的に拡張される（例えば、観察事象を取り囲む３０分におよぶポアソン分布が解析されるように、分布関数をポアソン分布とすることができ、分布長を３０分とすることができる）。本発明の様々な実施形態では、他のチャンク長、分布関数および分布長が使用されてもよい。例えば、チャンク長が、約１分〜約１０分であり、分布長が、チャンク長の約２倍〜約２０倍であってもよい。

本発明の一実施形態では、空間内の活動を拡張するために、観察された活動を、観察に近い地理的要素に割り当てることができる。本発明の一実施形態では、地理的要素は、単純な立方格子によってモデル化されうる。本発明の一実施形態では、地理的要素は、単純な２次元格子によってモデル化されうる。本発明の一実施形態では、活動を格子に割り当てるために、物体各々の観察が、中心が物体の計算位置である３次元の現場にわたって拡張される。本発明の一実施形態では、活動を格子に割り当てるために、物体各々の観察が、中心が物体の計算位置である２次元の現場にわたって拡張される。本発明の一実施形態では、計算効率化のために、現場を立方形とすることができる。本発明の一実施形態では、計算効率化のために、現場を正方形とすることができる。現場の各辺を６メートルとすることができる。本発明の様々な実施形態では、他の形状およびサイズを使用することもできる。物体が１つの格子要素内に完全に存在する場合、物体の活動の１００％をその要素に割り当てることができる。そうでない場合、各格子要素内にある物体の一部をその要素に割り当てることができる。したがって、物体が２つの格子要素間の境界に観察された場合、その２つの要素各々に活動の５０％を与えることができる。

（活動パターンにおける境界の認識）
本発明の一実施形態では、観察された活動が時間および空間にわたって拡張された後、境界の認識を開始することができる。本発明の一実施形態では、活動を経時的に拡張するために使用されるチャンクサイズに等しい間隔で境界が識別されうる。本発明の様々な実施形態では、このサイズの倍数が使用されてもよい。

本発明の一実施形態では、活動の潜在的な境界前までの一定期間、および潜在的な境界の後の同じ長さの期間で、活動が計算されうる。これにより、各格子要素に対して計算を行うことができる。活動の前後の計算は各々、潜在的な境界の前後のいくつかの時間窓に割り当てられた活動の加重和とすることができる。本発明の一実施形態では、前後の６つの時間チャンクの偶数加重が使用されうる。格子要素に対するこれらの２つの値の差を、その時のその格子要素に対する活動の変化とすることができる。すべての格子要素にわたる絶対差の和を、その時に空間全体をまたがる活動の変化の基準とすることができる。

本発明の一実施形態では、全空間の活動の変化が各潜在的な境界で計算された後、基準のピークの場所が境界を選択するために特定されうる。本発明の一実施形態では、他の境界かあら予め定義された最小セグメント長以内に境界がないように境界を選択することができる。本発明の一実施形態では、予め定義された最小セグメント長を６０分とすることができる。本発明の一実施形態では、選択された境界の予め定義された最小セグメント長以内にあるピーク、また、境界として選択されなかった高レベルの変化のピークから予め定義された最小セグメント長以内にあるピークは考慮されない。これらのルールに基づいてピークにフィルタがかけられた後、予め定義された最低活動レベルを超える残差ピークに基づいて時間帯がセグメント化される。

（活動パターンの可視化およびそれへのアクセス）
活動に基づいて時間が期間にセグメント化された後、これらのセグメントは、経時的活動の変化の理解を容易にするために、対話的可視化に使用されうる。

可視化は、様々な時間セグメント内の活動のヒートマップからなる。各ヒートマップ内の活動の可視化は、時間セグメントの長さに基づいて正規化される。このようにして、可視化において、異なる長さのセグメント間の同一平均レベルの経時的活動が、同じように見える。これらのヒートマップは、セグメントの初めのビデオの中に、時間セグメントの期間の場所での活動に対してインデックスを設けるためにも使用される。

（定義）
「現場」という用語は、本明細書では、センサにより監視されている３次元の体積または２次元の面積を指して用いられる。「地理的現場」という用語は、本明細書では、現場の一部を構成する３次元の体積または２次元の面積を指して用いられる。「地理的分布（geographic distribution）」という用語は、本明細書では、現場における人間または物体の経時的動作を指して用いられる。「センサ」という用語は、本明細書では、視覚、聴覚、嗅覚および圧力または反動力のセンシングを含む、現場における経時的動作を検出する方法を指して用いられる。「センサ出力」という用語は、本明細書では、ビデオ出力または音声出力を生成する視覚および／または音声検出器、薬品および臭気を検出するために用いられる漏れ検出器または大気圧イオン化検出器、物体の重力および非重力的力を検出するために用いられる圧力検出器などの非限定的な例を含むセンサによってもたらされる結果を指して用いられる。「物体」という用語は、固体物質、液体物質およびガス状物質を含み、人間および物理的物体は固体物体の例示であり、液体または気体は物体の代替形態を表す。「活動」という用語は、１つまたは複数の地理的現場内の物体を検出するセンサを参照して用いられる。「動作」という用語は、１つまたは複数の別の地理的現場へ経時的に移動する、１つまたは複数の地理的現場内の物体を指して用いられる。

（実施例）
最初のアルゴリズムは、セキュリティビデオブラウザおよびプレーヤに実装されかつ含まれている。活動および関心を決定するための他のアルゴリズム、セグメント化、および活動の代替可視化については開発中である。

本発明の好ましい実施形態について、図に基づいて詳細に説明する。

図１および図４は、ヒートマップが組み入れられたセキュリティビデオ応用例での可視化を示す。ヒートマップは、左側のペイン内にある。図２および図５は、ヒートマップのうちの３つを拡大して示している。時間帯がヒートマップ上に示されており、ユーザは、ヒートマップ内のポイントをクリックして、その場所を見ることができるカメラを選択し、その時間セグメントの最初からビデオの再生を開始することができる。

本発明の一実施形態では、活動の場所を理解するために、ユーザは、時間セグメントの期間のある場所での活動の中から選択することができる。本発明の一実施形態では、時間セグメント内のその場所での活動がクラスタ化され、パイ（放射状）メニューの階層として表示される。図３および図６は、時間帯中の特定場所での活動を選択するためのメニューを示す。本発明の一実施形態では、場所での活動のクラスタ化は、時間に基づくことができる。本発明の様々な代替実施形態では、場所での活動のクラスタ化は、活動の特徴（例えば、人間、物体の色、動作のタイプ）に基づくことができる。活動を選択するためのメニューは、センサ出力に対応するビデオからのキーフレームを含むことができる。キーフレームは、全ビデオフレームまたはセンサ出力に対応する領域を示すことができる。

さらに、詳細に説明すると、図４に示されている可視化のイメージ図である図１では、 セキュリティビデオ応用例に組み入れられたヒートマップが、左側のペイン内にある。センサで検出された累積活動が、キーでコード化されている。ヒートマップ内の色を表すために、黒（塗り潰し）は赤色に対応し、左から右への斜線シェーディングは黄色に対応し、右から左への斜線シェーディングは緑色に対応し、クロスハッチシェーディングは青色に対応している。ヒートマップ内の色は、様々なレベルの活動を表しており、赤は多い活動量を表し、黄および緑は中程度の活動量を表し、青は少ない活動量を表す。この４色のいずれでもない領域だけが、最小閾値未満の活動を有する。

右上のペインには、異なるサイズの４つのビデオストリームからのビュー（view）が示されている。大きいビデオストリーム（カメラ「ホール０８」）は、ユーザがヒートマップにおいて選択した領域を最も良く示している。他の３つのビデオストリームは、ユーザが選択した領域付近からのビデオを示す。４つのビデオストリームはすべて、ユーザが、図３および図６に示されているメニューで選択することによって選択した時間からの録画ビデオを示す。

右下のビューには、人間の動作方向が示されている。色矢印および色斜線部分は、マルチストリームビデオディスプレイで現在見ることができるカメラを示す。マップ内の色は、ビデオディスプレイを構成する色に対応する。

下部ペインでは、タイムラインが事象をフラグで要約しており、フラグは様々な監視カメラの位置と相互に関連している。

図２は、図５のイメージ図である。図１の左側ペイン内に示されているヒートマップのうちの３つを拡大して示している。示されているヒートマップでは、本発明の一実施形態による活動パターンに基づいて時間をセグメント化することによって決定された様々な時間間隔を表す。各ヒートマップは、対応する時間間隔に対する累積活動を示す。

図３は、図６のイメージ図である。ユーザがヒートマップ上のあるポイントをクリックするのに応答して表示される放射状メニューを示している。床配置図内の位置はクリックの位置で選択され、時間間隔は選択されたヒートマップで選択される。メニューは、選択位置周辺の時間間隔の間の活動を代表する選択されたキーフレームを示す。これらのキーフレームは、それらで全時間間隔をカバーするように選択される。キーフレームの左下にある時間は、時間間隔の始まりからの相対的時間を分および秒で示す。キーフレームの右上にあるラベルは、活動を捕らえたカメラを示す。

図４は、セキュリティビデオ応用例に組み入れられた可視化を示す図である。ヒートマップが左側のペイン内にある。

アプリケーションウィンドウの右上のペインには、異なるサイズの４つのビデオストリームからのビューが示されている。大きいビデオストリーム（カメラ「ホール１０８」）は、ユーザがヒートマップで選択した領域を最も良く示している。他の３つのビデオストリームは、ユーザが選択した領域付近からのビデオを示す。４つのビデオストリームはすべて、ユーザが、図６に示されているメニューで選択することによって選択した時間からの録画ビデオを示す。

右下のビューには、ビデオカメラの視界方向が示されている。色矢印および色斜線部分は、マルチストリームビデオディスプレイで現在見ることができるカメラを示す。マップ内の色は、ビデオディスプレイを構成する色に対応する。

下部ペインでは、タイムラインで現在のビデオ再生位置を示す。

図５は、図４の左側ペイン内に示されているヒートマップのうちの３つを拡大して示す図である。示されているヒートマップは、時間を本発明の一実施形態による活動パターンに基づいてセグメント化することによって決定された様々な時間間隔を表す。各ヒートマップは、対応する時間間隔に対する累積活動を示す。

図６は、ユーザがヒートマップ上のあるポイントをクリックするのに応答して表示される放射状メニューを示す図である。床配置図の位置はクリックの位置で選択され、時間間隔は選択されたヒートマップで選択される。メニューは、選択位置周辺の時間間隔の間の活動を代表する選択されたキーフレームを示す。これらのキーフレームは、完全ビデオフレーム、または検出された活動に対応するビデオフレームの領域を表示してもよい。これらのキーフレームは、これらで全時間間隔をカバーするように選択される。キーフレームの左下にある時間は、時間間隔の始まりからの相対的時間を分および秒で示す。キーフレームの右上にあるラベルは、活動を捕らえたカメラを示す。

本発明の様々な実施形態は、コンピュータ分野の技術者には明らかであるように、この開示の教示に従ってプログラムされたプロセッサを用いて実施されうる。適切なソフトウェアコーディングが、ソフトウェア分野の技術者には明らかであるように、この開示の教示に基づいて熟練したプログラマによって容易に作成されうる。本発明は、当分野の技術者には容易に明らかであるように、集積回路の製作および／または適切な構成要素回路網の相互接続によっても実施されうる。

様々な実施形態は、本明細書に提示した特徴のいずれかを実行するように汎用または専用の演算プロセッサ／装置をプログラムするために使用されうる、命令および／または情報が保存された１つまたは複数の記憶媒体とすることができるコンピュータプログラム製品を含む。記憶媒体は、限定されるものではないが、下記のうちの１つまたは複数を含むことができる。すなわち、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ホログラフィック記憶装置、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ，ＥＥＰＲＯＭ、ＤＲＡＭ、ＰＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気または光カード、およびナノシステム（分子メモリＩＣを含む）を含む任意のタイプの物理的媒体、紙または紙ベースの媒体、ならびに命令および／または情報を保存するのに適した任意のタイプの媒体または装置。様々な実施形態は、全部または一部分が１つまたは複数の公共および／または個人のネットワークを通じて伝送されうるコンピュータプログラム製品を含み、伝送は、本明細書に提示されている特徴のいずれかを実行するために１つまたは複数のプロセッサによって使用されうる命令および／または情報を含む。様々な実施形態において、伝送は、複数の別個の伝送を含むことができる。

この開示は、本発明の結果を利用して、プロセッサのハードウェアを制御し、かつコンピュータおよび／またはプロセッサが人間のユーザまたは他の装置と対話できるようにする、１つまたは複数のコンピュータ可読媒体に保存されるソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、インタフェースドライバ、オペレーティングシステム、実行環境／コンテナ、ユーザインタフェースおよびアプリケーションを含むことができるが、それらに限定されるものではない。

コードの実行は、直接または間接であることができる。コードは、コンパイル言語、インタプリタ言語、および他のタイプの言語を含むことができる。クレーム文言によって特に限定されない限り、機能用のコードおよび／またはコードセグメントの実行および／または伝送は、機能を実行するローカルまたはリモートの他のソフトウェアまたは装置への呼出しを含むことができる。呼出しは、機能を実行するライブラリモジュール、デバイスドライバ、インタフェースドライバおよびリモートソフトウェアへの呼出しを含むことができる。呼出しは、分散システムおよびクライアント／サーバシステムにおける呼出しを含むことができる。

図４に示されている可視化のイメージ図である。 図５のイメージ図である。 図６のイメージ図である。 セキュリティビデオ応用例に組み入れられたヒートマップが左側のペイン内にある可視化を示す図である。 図４の左側ペイン内に示されているヒートマップのうちの３つを拡大して示す図である。 ユーザがヒートマップ上のあるポイントをクリックするのに応答して表示される放射状メニューを示す図である。

Claims (21)

1. 観察パターンを識別する方法であって、
   （ａ）現場を複数の地理的現場に分割するステップであって、複数のセンサ各々が、前記現場内の前記地理的現場のうちの少なくとも１つまたは複数において検知することができる、前記分割するステップと、
   （ｂ）前記１つまたは複数の地理的現場において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別するステップと、
   （ｃ）時間帯にわたって活動分布に基づいて１つまたは複数の時間的活動セグメントを識別するステップと、
   （ｄ）前記１つまたは複数の時間的活動セグメントに基づいて観察パターンを識別するステップと、
   を含む方法。
2. ステップ（ｃ）が、
   （ｅ）１つまたは複数の潜在的な時間的境界を識別するステップと、
   （ｆ）前記１つまたは複数の潜在的な時間的境界の前後の活動分布を決定して、活動の変化を計算するステップと、
   （ｇ）前記活動の変化の１つまたは複数のピークの場所を特定するステップと、
   （ｈ）場所が特定された前記１つまたは複数のピークを１つまたは複数の閾値に基づいてフィルタにかけるステップと、
   （ｉ）前記１つまたは複数のフィルタ済みのピークに基づいて時間的活動セグメントを識別するステップと、をさらに含む、請求項１に記載の方法。
3. ステップ（ｊ）をさらに含み、他の境界から予め定義された最小セグメント長以内に境界がないこと、および、最強ピークのみが境界内のピークとみなされうることからなる群から前記閾値が選択される、請求項２に記載の方法。
4. ヒートマップを表示することによって活動量を示すステップをさらに含む、請求項１に記載の方法。
5. 前記時間帯が、分布関数によって分布長にわたってフィルタをかけられたチャンク長に基づいている、請求項１に記載の方法。
6. 前記チャンク長が、下限値である約１分と、上限値である約１０分との間である、請求項５に記載の方法。
7. 前記分布関数がポアソン分布であり、前記分布長が、下限値である前記チャンク長の約２倍と、上限値である前記チャンク長の約２０倍との間である、請求項５に記載の方法。
8. 複数のセンサの出力から現場の活動パターンを可視化する方法であって、
   前記現場を複数の地理的現場に分割するステップであって、複数のセンサ各々が、前記現場内の地理的現場のうちの少なくとも１つまたは複数において検知することができる、前記分割するステップと、
   １つまたは複数の前記地理的現場において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別するステップと、
   時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別するステップと、
   前記識別された時間的活動セグメントに基づいて前記活動パターンを表示するステップと、
   を含む方法。
9. 前記活動パターンをヒートマップとして描写するステップと、
   前記ヒートマップに基づいて活動を選択するステップと、
   １つまたは複数のキーフレーム内に前記複数のセンサ出力のうちの１つまたは複数を表示するステップと、をさらに含む、請求項８に記載の方法。
10. 前記ヒートマップの床配置図として前記活動を描写するステップと、
    前記床配置図に基づいて時間的活動セグメントを選択するステップと、
    １つまたは複数のキーフレーム内に前記複数のセンサ出力のうちの１つまたは複数を表示するステップと、をさらに含む、請求項８に記載の方法。
11. マップが、１つまたは複数のセンサの地理的位置を示すために使用され、コードが、前記センサ位置を表示するために使用され、前記コードが、前記センサ出力を描写するために前記可視化に使用されるコードと相関する、請求項８に記載の方法。
12. 前記表示を拡大すること、および前記センサ出力に対応する前記ビデオセグメントを再生することからなる群から選択されたコマンドを開始するためにキーフレームを選択することが使用されうる、請求項９又は１０に記載の方法。
13. 前記時間帯が、分布関数によって分布長にわたってフィルタをかけられたチャンク長に基づいている、請求項８に記載の方法。
14. 前記チャンク長が、下限値である約１分と、上限値である約１０分との間である、請求項１３に記載の方法。
15. 前記分布関数がポアソン分布であり、前記分布長が、下限値である前記チャンク長の約２倍と、上限値である前記チャンク長の約２０倍との間である、請求項１３に記載の方法。
16. コンピュータに、複数のセンサ出力から活動パターンを可視化させる機能を実現するためのプログラムであって、
    現場を複数の地理的現場に分割するステップであって、複数のセンサ各々が、前記現場内の少なくとも１つまたは複数の地理的現場において検知することができる、前記分割するステップと、
    １つまたは複数の地理的現場において１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別するステップと、
    時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別するステップと、
    前記識別された時間的活動セグメントに基づいて前記活動パターンを表示するステップと、
    を含むプログラム。
17. 前記活動パターンをヒートマップとして描写するステップと、
    前記ヒートマップに基づいて活動を選択するステップと、
    １つまたは複数のキーフレーム内に前記センサ出力のうちの１つまたは複数を表示するステップと、をさらに含む、請求項１６に記載のプログラム。
18. 複数のセンサ出力から活動パターンを可視化するシステムであって、
    複数の表示領域を含む表示装置と、
    前記現場を複数の地理的現場に分割すること、前記地理的現場のうちの１つまたは複数において１つまたは複数の物体の活動を検出すること、活動分布を時間帯にわたって識別すること、および選択された時間的活動セグメントを識別することができるコンピュータオーサリングアシスタントと、
    前記活動パターンを前記選択された時間的活動セグメントに基づいて表示することができる表示制御装置と、を含むシステム。
19. 前記コンピュータオーサリングアシスタントが、さらに、前記活動パターンをヒートマップとして描写すること、および前記ヒートマップに基づいて活動を選択することができ、
    前記表示制御装置が、さらに、１つまたは複数のキーフレーム内に前記複数のセンサ出力のうちの１つまたは複数を表示することができる、請求項１８に記載のシステム。
20. 複数のセンサ出力から活動パターンを可視化するシステムであって、
    １組または複数組のパラメータを指定することができ、前記１組または複数組のパラメータを原始コードに転送することができ、かつ、現場を複数の地理的現場に分割するための一連のタスクに前記原始コードをコンパイルすることができる１つまたは複数のプロセッサであって、複数のセンサ各々が、前記地理的現場のうちの少なくとも１つまたは複数において検知して、１つまたは複数の地理的現場において１つまたは複数の物体の活動を識別し、１つまたは複数の地理的現場においての１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別し、時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別し、および前記時間的活動セグメントに基づいて前記活動パターンを可視化することができる、１つまたは複数のプロセッサと、
    １つまたは複数のプロセッサによって処理されるときに、システムが、１組または複数組のパラメータを指定するステップと、１組または複数組のパラメータを原始コードに転送するステップと、複数のセンサ出力から前記活動バターンの前記可視化を生成するための一連のタスクに前記原始コードをコンパイルするステップとを実行するようにするオペレーションを記憶した機械可読媒体と
    を含む、システム。
21. 複数のセンサ出力から活動パターンを可視化する装置であって、
    １組または複数組のパラメータを指定することができ、前記１組または複数組のパラメータを原始コードに転送することができ、かつ、現場を複数の地理的現場に分割するための一連のタスクに前記原始コードをコンパイルすることができる１つまたは複数のプロセッサであって、複数のセンサ各々が、前記地理的現場のうちの少なくとも１つまたは複数において検知して、１つまたは複数の地理的現場において１つまたは複数の物体の活動を識別し、１つまたは複数の地理的現場においての１つまたは複数の物体の活動を検出したことに基づいて活動分布を識別し、時間帯にわたって前記活動分布に基づいて時間的活動セグメントを識別し、および前記時間的活動セグメントに基づいて前記活動パターンを可視化することができる、１つまたは複数のプロセッサと、
    １つまたは複数のプロセッサによって処理されるときに、システムが、１組または複数組のパラメータを指定するステップと、１組または複数組のパラメータを原始コードに転送するステップと、複数のセンサ出力から前記活動バターンの前記可視化を生成するための一連のタスクに前記原始コードをコンパイルするステップとを実行するようにするオペレーションを記憶した機械可読媒体と
    を含む、装置。