JP2008537380A

JP2008537380A - インテリジェントなカメラ選択および対象追跡

Info

Publication number: JP2008537380A
Application number: JP2008503184A
Authority: JP
Inventors: ビューラー，クリストファー; キャノン，ハワード，アイ
Original assignee: インテリヴィドコーポレイション
Priority date: 2005-03-25
Filing date: 2006-03-24
Publication date: 2008-09-11
Anticipated expiration: 2026-03-24
Also published as: EP2328131A3; US20100002082A1; EP2328131B1; US8174572B2; JP4829290B2; AU2011201215A1; US8502868B2; EP1872345A2; AU2006338248A1; EP2328131A2; DE602006020422D1; US20120206605A1; EP1872345B1; CA2601477C; WO2007094802A2; CA2601477A1; AU2011201215B2; AU2006338248B2; WO2007094802A3; ATE500580T1

Abstract

多数の供給源からビデオを生成するための方法およびシステムは、最も関連した供給源を指定するためにインテリジェンスを使用し、それらの隣接表示、及び／又はそれらのビデオストリームの生成を容易にする。

Description

本発明は、ビデオ監視ためのコンピュータベースの方法およびシステムに関し、より具体的には、多数のカメラにわたって対象物を追跡できるコンピュータ援用監視システムに関する。

関連出願に対する相互参照
本出願は、２００５年３月２５日に出願された米国仮特許出願第６０／６６５，３１４号の優先権および恩典を主張しており、係る出願の全開示は参照により本明細書に組み込まれる。

背景情報
現在のセキュリティの高まり、及びカメラ装置のコストの低下により、閉回路テレビ（closed-circuit television：ＣＣＶＴ）の監視システムの使用が増加している。係るシステムは、多種多様な環境において犯罪を減少させ、事故を防止し、且つ一般にセキュリティを増大させる可能性を有する。

監視システムのカメラの数が増加するにつれて、処理および解析されるべき情報量も増加する。コンピュータ技術は、この未処理データの処理タスクを軽減することに役立ち、新しいタイプの監視装置、即ちコンピュータ援用監視（computer-aided surveillance：ＣＡＳ）システムがもたらされた。ＣＡＳ技術は、種々の用途に開発されている。例えば、軍隊はコンピュータ援用画像処理を用いて、戦闘機のパイロット及び他の兵員に自動標的および他の援助を提供する。更に、ＣＡＳは、スイミングプール、商店、及び駐車場のような環境において活動を監視するために適用されている。

ＣＡＳシステムは、対象物（例えば、人々、在庫品目等）が一連の監視ビデオフレームに現れるように、それらを監視する。特に有用な監視タスクの１つは、監視領域における対象物の動きの追跡である。より正確な追跡情報を得るために、ＣＡＳシステムは、一連のビデオフレームで表される画像の基本要素に関する知識を利用することができる。

単純な監視システムは、ディスプレイ装置に接続された単一のカメラを使用する。より複雑なシステムは、多数のカメラ及び／又は多数のディスプレイを有することができる。小売店および倉庫で使用されることが多いタイプのセキュリティディスプレイは、例えば、所有物の様々なビューを提供するために、単一のモニタに表示されるビデオ画像を周期的に切り換える。刑務所および軍事施設のような、より警備の厳重な施設は、それぞれが関連するカメラの出力を示す一群のビデオディスプレイを使用する。小売店、カジノ、及び空港の大部分は極めて大きいので、対象となる全領域を十分にカバーするために多くのカメラが必要とされる。更に、理想的な条件下であってさえも、単一カメラの追跡システムは一般に、カメラの視野から出る監視対象物を見失う。

視覚情報により人間の係員に負担をかけ過ぎるのを防止するために、多数のこれらシステム用のディスプレイコンソールは一般に、利用可能な全ビデオデータ画像の一部のみを表示する。そういうものだから、多くのシステムは、利用可能なビデオデータ画像のどれが表示されるかを決定するために、間取図、及び／又は典型的な訪問者の活動に関する係員の知識に依存する。

残念ながら、位置のレイアウト、典型的な訪問者の挙動、及び種々のカメラ間の空間的関係の知識を発達させることは、トレーニングを課し、大幅になる可能性があるコスト障壁をもたらす。店のレイアウト、カメラ位置、及び典型的な往来パターンの詳細な知識を持たない場合、係員は、どのカメラ（単数または複数）が最も良好なビューを提供するかを実際に予想することができず、バラバラで大抵不完全なビジュアル記録という結果になる。更に、不法行為または不審な活動（例えば、侵入者、万引きしそうな人等）の証拠として使用されるべきビデオデータは、法的手続において信頼されるべき追加の認証、連続性の基準、及び証拠書類の基準を満たす必要がある。多くの場合、犯罪活動は複数のカメラの視野にまたがる可能性があり、或る程度の時間にわたって任意のカメラの視野から外れる可能性がある。日付、時間、及び位置情報で適切に注釈を付けられておらず、一時的中断または空間的障害物を含むビデオは、事件または犯罪の証拠として信頼できない可能性がある。

発明の概要
本発明は概して、表示および／またはビデオキャプチャのために関連したビデオデータストリームを選択するために、ビデオカメラの位置の間で既知の又は推測された関係をモデル化、及び利用するビデオ監視システム、データ構造、及びビデオ編集技術を提供する。双方の既知の物理的関係、即ち、例えば第１のカメラが第２のカメラからのコーナーの周りに直接的に配置されていること、及び観察された関係（例えば、人々が最も一般的に追従する移動経路を示す履歴データ）は、被写体（対象物）が移動する可能性がある潜在的な「次の」カメラのインテリジェントな選択と提示を容易にすることができる。従って、このインテリジェントなカメラ選択は、システムのユーザが観察された特性の任意の詳細な知識を有する必要性を低減または除去することができ、かくしてトレーニングコストを低下させ、対象物を見失うことを最小限にし、ビデオの証拠的価値を増大させる。

従って、本発明の一態様は、ユーザインターフェース及びカメラ選択モジュールを含むビデオ監視システムを提供する。ユーザインターフェースは、一次ビデオ監視カメラによりキャプチャされたビデオ画像データを表示する一次カメラウィンドウ枠、及び一次カメラウィンドウ枠に隣接した２つ以上のカメラウィンドウ枠を含む。隣接するカメラウィンドウ枠のそれぞれは、一組の二次ビデオ監視カメラの１つによりキャプチャされたビデオデータを表示する。一次カメラウィンドウ枠に表示されたビデオデータに応答して、カメラ選択モジュールは、二次ビデオ監視カメラの組を決定し、場合によっては、隣接するカメラウィンドウ枠において、及び／又は互いに対して二次ビデオ監視カメラの組により生成されたビデオデータの位置を求める。どのカメラが二次ビデオ監視カメラの組に含まれているかを決定することは、一次ビデオ監視カメラと一組のビデオ監視カメラとの間の空間的関係に基づくことができ、及び／又はカメラ間の統計的関係（移行の尤度の測定基準（likelihood-of-transition metric）等）から推測され得る。

いくつかの実施形態において、一次カメラウィンドウ枠に示されるビデオ画像データは、２つ以上の小区域に分割され、二次ビデオ監視カメラの組の選択は、小区域の１つの選択に基づき、その選択は、例えば入力装置（例えば、ポインタ、マウス、又はキーボード）を用いて実行され得る。いくつかの実施形態において、入力装置を用いて、人、在庫の品目、又は物理的場所のような、ビデオ内の関心のある対象物を選択することができ、二次ビデオ監視カメラの組は選択された対象物に基づくことができる。また、入力装置を用いて、二次カメラからのビデオデータ画像を選択することができ、かくしてカメラ選択モジュールは、一次カメラウィンドウ枠のビデオデータ画像を選択された二次カメラのビデオ画像と置き換え、それ故に、一次カメラウィンドウ枠に表示するための二次ビデオデータ画像の新たな組を選択する。選択された対象物が移動する場合（人が店の中を歩く等）、二次ビデオ監視カメラの組は、選択された対象物の移動（即ち、方向、速度等）に基づくことができる。また、二次ビデオ監視カメラの組は、選択された対象物の画像品質に基づくこともできる。

本発明の別の態様は、ビデオ監視データ画像を表示するためのユーザインターフェースを提供する。ユーザインターフェースは、一次ビデオデータ画像および複数の隣接したビデオウィンドウ枠を表示するための一次ビデオウィンドウ枠を含み、複数の隣接したビデオウィンドウ枠のそれぞれは、一組の利用可能な二次ビデオデータ画像から選択された二次ビデオデータ画像のサブセットの１つを表示する。サブセットは、一次ビデオデータ画像により決定される。利用可能な二次ビデオデータ画像の数は、隣接したビデオウィンドウ枠の数より大きくすることができる。ビデオデータ画像の隣接したビデオウィンドウ枠への割り当ては、任意に行われることができ、又は代わりに履歴データ、観察、又はオペレータの選択に基づいたビデオデータ画像のランキングに基づくことができる。

本発明の別の態様は、表示するためのビデオデータ画像を選択するための方法を提供し、一次ビデオデータ画像ウィンドウ枠に一次ビデオデータ画像を表示し、一次ビデオウィンドウ枠において関心のある対象物のしるしを受け取り、関心のあるしるしに応じて二次ビデオウィンドウ枠に二次ビデオデータ画像を表示することを含む。選択された対象物の動きが検出され、その動きに基づいて、二次ビデオウィンドウ枠からのデータ画像が、一次ビデオウィンドウ枠のデータ画像に取って代わる。新たな二次ビデオ画像が、二次ビデオウィンドウ枠に表示するために選択される。場合によっては、一次ビデオデータ画像は変更されず、新たな二次ビデオ画像が別の二次ビデオデータ画像に単純に取って代わる。

新たな二次ビデオデータ画像は、対象物が一次ビデオデータ画像から二次に移行する可能性（likelihood：確度、公算、尤度）を表す移行の尤度の測定基準ような統計的尺度に基づいて決定され得る。移行の尤度の測定基準は例えば、場合によっては利用可能なデータ画像のサブセットを表す一組の候補ビデオデータ画像を定義し、各画像に隣接確率を割り当てることにより決定され得る。いくつかの実施形態において、隣接確率は、所定の規則、及び／又は履歴データに基づくことができる。隣接確率は、利用可能なデータ画像の数、又はマトリクスが解析に使用されている時間、又は双方に基づいた次元からなることができる多次元マトリクスで格納されることができる。マトリクスは、例えば、内部に包含される隣接確率に基づいて、多数のサブマトリクスに更にセグメント化され得る。

本発明の別の態様は、監視ビデオを編集する方法を提供する。その方法は、ビデオデータ画像源として一次ビデオデータ画像を用いて監視ビデオを生成し、ビデオデータ画像源を一次ビデオデータ画像から二次ビデオデータ画像に変更し、二次ビデオデータ画像から監視ビデオを鎖状につなぐことを含む。場合によっては、一次ビデオデータ画像の観察者は、一次ビデオデータ画像から二次ビデオデータ画像への変更を指示し、一方、場合によっては、変更は、一次ビデオデータ画像内での動きに基づいて自動的に引き起こされる。監視ビデオは、監視ビデオの観察者、及び／又はビデオデータ画像を供給するビデオカメラからキャプチャされた音声で強化されることができ、テキスト又は他の視覚的な合図でも強化され得る。

本発明の別の態様は、ビデオ監視システムにおけるカメラの視野間の関係を記述するためのＮ×Ｍマトリクスとして編成されたデータ構造を提供し、この場合、Ｎは、観察される対象物が現時点で位置する視野を有する第１の組のカメラを表し、Ｍは、観察される対象物が移動する可能性が高い視野を有する第２の組のカメラを表す。マトリクスのエントリは、第１の組のカメラと第２の組のカメラとの間の移行確率（例えば、対象物が第１のカメラから第２のカメラに移動する可能性）を表す。いくつかの実施形態において、移行確率は、時間ベースのパラメータ（例えば、指数関数的到着率のような時間成分を含む確率的関数）を含むことができ、場合によっては、ＮとＭは等しくするこができる。

別の態様において、本発明は、上記の段落に記載された方法を実行するためにコンピュータ可読命令が組み入れられたコンピュータ可読媒体を有する製品を含む。特に、本発明の方法の機能は、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、ＰＲＯＭ、ＥＰＲＯＭ、ＣＤ−ＲＯＭ、又はＤＶＤ−ＲＯＭのようなコンピュータ可読媒体に埋め込まれ得る。技術の機能は、任意の数のコンピュータ可読命令、又は例えば、フォートラン、パスカル、Ｃ、Ｃ＋＋、Ｊａｖａ（Ｒ）、Ｃ＃、Ｔｃｌ、ベーシック、及びアセンブリ言語のような言語でコンピュータ可読媒体に埋め込まれ得る。更に、コンピュータ可読命令は、例えば、スクリプト、マクロで書かれるか、又は市販のソフトウェア（例えば、エクセル又はビジュアルベーシック等）に機能的に埋め込まれ得る。データ、規則、及びデータ構造の記憶は、上述した方法を実行する際に使用するための１つ又は複数のデータベースに格納され得る。

本発明の他の態様および利点は、以下の図面、詳細な説明、及び特許請求の範囲から明らかになり、それらの全ては、単なる例示のために本発明の原理を示す。

図面において、同じ参照符号は一般に、種々の図面を通して同じ要素を指す。また、図面は、一定の縮尺に従う必要がなく、代わりに概して本発明の原理を示すことに重点が置かれている。

詳細な説明
コンピュータ援用追跡
インテリジェントなビデオ解析システムは、多くの応用形態を有する。リアルタイムの応用形態では、係るシステムを用いて、立入禁止区域または危険地域において人を検出し、高価品目の盗難を報告し、駐車場において襲撃者になりそうな人の存在を示し、通路に液体がこぼれていることを警告し、両親から離れた子供の場所を見つけ、又は買い物客が不正な返品を行っているか否かを判定することができる。犯罪科学の応用形態では、インテリジェントなビデオ解析システムを用いて、関心のある人々または出来事あるいは誰の挙動が特定の特性をみたしているかを探索し、監視下にある人々に関する統計値を収集し、小売店において会社の方針に従わないことを検出し、犯罪者の顔の画像を検索し、万引き犯人を起訴するための一連の証拠を集めて整理し、又は個人の買い物習慣に関する情報を収集することができる。これらのタスクを達成するための１つの重要なツールは、人が監視区域を通過する際にその人を追跡し、監視下にあるその人の時間の完全な記録を生成する能力である。

図１を参照すると、本発明の一実施形態によれば、アプリケーション画面１００は、カメラ位置のリスト１０５を含み、リスト１０５の各要素は、関連するビデオデータ画像を生成するカメラと関連がある。カメラ位置は、例えば、番号（カメラNo.２）、位置（reception（受付）、ＧＰＳ座標）、対象物（宝石類）、又はそれらの組合せによって識別され得る。いくつかの実施形態において、リスト１０５は、行動探知機、熱感知器、ドアセンサ、売り場専用端末装置、無線ＩＣタグ（ＲＦＩＤ）センサ、近接型カードセンサ、バイオメトリックセンサ等のようなカメラ以外のセンサ装置を含むこともできる。また、画面１００は、リスト化されたカメラ位置１０５の１つから選択され得る一次ビデオデータ画像１１５を表示するための一次カメラウィンドウ枠１１０も含む。一次ビデオデータ画像１１５は、特定の時間に関心のあるビデオ情報をユーザに表示する。場合によっては、一次データ画像１１５は、生のデータ画像（即ち、ユーザは、活動がリアルタイム又はほぼリアルタイムで生じている際の活動を閲覧している）を表すことができ、一方、他の場合では一次データ画像１１５は、以前に記録された活動を表す。ユーザは、カメラ番号を選択することにより、又は関心のある人または出来事に気がつき、ポインタ又は他の係る入力装置を用いてそれを選択することにより、又は監視領域において位置（例えば、「Entrance（入口）」）を選択することにより、リスト１０５から一次ビデオデータ画像１１５を選択することができる。いくつかの実施形態において、一次ビデオデータ画像１１５は、１つ又は複数のセンサノードから受信されたデータに基づいて自動的に選択され、例えば、特定のカメラで活動を検出することにより、規則に基づく選択の発見的方法を評価することにより、予め定義されたスケジュール（例えば、特定の順番またはランダム）に従って一次ビデオデータ画像を変更することにより、警戒状態の存在を判断することにより、及び／又は任意のプログラム可能な基準に従うことにより、自動的に選択される。

また、アプリケーション画面１００は、画面上に、ユーザが閲覧するために多数の二次データ画像を選択することを可能にする一組のレイアウトアイコン１２０、及びそれらの位置のレイアウトも含む。例えば、６つの隣接画面を示すアイコンの選択により、ビデオデータ画像が一次カメラウィンドウ枠１１０に表示されるカメラに「隣接」するものとして特定されるカメラからのビデオデータ画像を表示する６つの隣接ビデオウィンドウ枠１３０を有する隣接カメラ領域１２５を構成するように、システムに命令される。各ウィンドウ枠（一次ウィンドウ枠１１０と隣接ウィンドウ枠１３０の双方）は、異なるサイズと形状にすることができ、場合によっては表示されている情報に依存する。各ウィンドウ枠１１０、１３０は、恐らくは異なるフレームレート、符号化、解像度、又は再生速度で任意の光源（例えば、可視光、赤外線、サーマル）からのビデオを表示することができる。また、システムは、日付／時間の表示器、カメラの識別子、カメラの位置、視覚的解析結果、対象物の表示器（例えば、価格、ＳＫＵ番号、製品名）、警告メッセージ、及び／又は地理情報システム（ＧＩＳ）のデータのような情報を、ビデオウィンドウ枠１１０、１３０の上に重ね合わせることもできる。

いくつかの実施形態において、ビデオウィンドウ枠１１０、１３０内の対象物は、１つ又は複数の分類基準に基づいて分類される。例えば、小売店の設定では、特定の商品が、概して盗難に起因して売渡し時点よりも前に商品が消失する率を表す商品逸失率に割り当てられ得る。商品逸失の統計値（一般に、売上数量または売上金額の割合として表される）を用いることにより、異常に高い商品逸失率を有する対象物が、係る対象物にユーザの注意を集中させるために明るい色、アウトライン又は他の注釈を用いてビデオウィンドウ枠１１０、１３０で強調表示され得る。場合によっては、ユーザに提供されるビデオウィンドウ枠１１０、１３０は、係る商品の異常に高い集中状態、又は商品の近くにいる一人または複数の不審な人々の集まりに基づいて選択され得る。一例として、それらの比較的小さいサイズ及び高い価格に起因して、特定のひげ剃り用かみそりのカートリッジは、高い盗難品目であることが知られている。上述した技術を用いることにより、係るカートリッジを収容する陳列棚が、関心のある対象物として識別され得る。陳列棚の近くに店の顧客がいない場合、陳列棚を監視しているカメラからのビデオ画像は、任意のディスプレイ１１０、１３０に表示される必要はない。しかしながら、顧客が陳列棚の近くにいる場合、システムは、陳列棚の付近の一時的な対象物（店の顧客と考えられる）を識別し、隣接カメラ領域１２５のビデオ画像１３０の１つをそのカメラからの表示と置き換える。ユーザが顧客の挙動を怪しいと判断する場合、ユーザは、そのデータ画像を一次ビデオウィンドウ枠１１０に配置するようにシステムに命令することができる。

個々の隣接するカメラからのビデオデータ画像は、隣接カメラ領域１２５内のビデオデータ画像の選択と配置の双方を制御する１つ又は複数の規則に従って、隣接カメラ領域１２５のビデオウィンドウ枠１３０内に配置され得る。例えば、監視のために合計１８台のカメラが使用される場合、隣接カメラ領域１２５には６つのデータ画像のみが表示され得るが、１８台のカメラのそれぞれは、ビデオを通じて追跡されている対象が一次カメラの視野から他の１７台の各カメラの視野まで移行する可能性（確度）に基づいてランク付けされ得る。移行の最も高い６つ（又は選択された画面レイアウトによる他の数）の確度を有するカメラが特定され、特定された各カメラからのビデオデータ画像が、隣接カメラ領域１２５内の利用可能なビデオデータウィンドウ枠１３０に配置される。

場合によっては、ビデオデータウィンドウ枠１３０に、選択されたビデオデータ画像を配置することは、任意に決定され得る。いくつかの実施形態において、ビデオデータ画像は、確度のランキング（例えば、最も可能性がある「次のカメラ」が上部の左側に配置され、最も可能性の低いものが下部の右側に配置される）、ビデオデータ画像を供給するカメラ間の物理的関係（例えば、一次データ画像を供給するカメラの左側に配置されたカメラの画像が隣接カメラ領域１２５の左側のウィンドウ枠に表示される）、又は場合によってはユーザの指定した配置パターンに基づいて配置される。いくつかの実施形態において、二次ビデオデータ画像の選択および隣接カメラ領域１２５におけるそれらの配置は、自動化プロセス及び手動式プロセスの組合せである。例えば、各二次ビデオデータ画像は、「移行の尤度」の測定基準に基づいて自動的にランク付けされ得る。

移行の測定基準の一例は、追跡される対象物が一次データ画像１１５を供給するカメラの視野から二次ビデオデータ画像のそれぞれを供給するカメラの視野まで移動する確率である。そして、第１のＮ個のこれらランク付けされたビデオデータ画像が選択され、第１のＮ個の二次ビデオデータウィンドウ枠１３０に（例えば、左回りの順番で）配置され得る。しかしながら、ユーザが、例えば、監視されている特定の具現化形態、建造物、又は対象物に関するユーザの知識に基づいて、自動的に決定されたランキングのいくつかに同意できないかもしれない。このような場合、ユーザは、ランキングにおいてビデオデータ画像を上下に移動することにより、自動的に決定されたランキング（全体または一部）を手動で調整することができる。調整後、第１のＮ個のランク付けされたビデオデータ画像が前述同様に選択され、ランキングは自動的に計算されたランキングと手動で指定されたランキングの組合せを反映する。また、ユーザは、ランク付けされたデータ画像がどのように二次ビデオデータウィンドウ枠１３０に配置されるかに同意できないかもしれない（例えば、ユーザが左回りよりも右回りを好むかもしれない）。この場合、ユーザは、二次画像を特定の二次ビデオデータウィンドウ枠１３０に割り当てることにより、ランク付けされたビデオデータ画像が如何にして二次ビデオデータウィンドウ枠１３０に配置されるかを指定することができる。

隣接カメラ領域１１５に含まれるように一組の二次ビデオデータ画像を選択して配置することは、静的に又は動的に決定され得る。静的な場合、二次ビデオデータ画像の選択と配置は、自動および／または手動の初期化プロセスに従って予め設定され（例えば、システムのインストール中）、（再初期化プロセスが実行されるまで）経時変化しない。いくつかの実施形態において、二次ビデオデータ画像の動的な選択と配置は、１つ又は複数の規則に基づくことができ、場合によっては、時刻、シーンのアクティビティ（活動状態）、及び履歴観察結果のような外部因子に基づいて時間と共に進化することができる。規則は、中央解析および格納モジュール（以下でより詳細に説明される）に格納されるか、又はシステムの全体にわたって分散された処理モジュールに分配され得る。同様に、規則は、予め記録された及び／又は生のビデオデータ画像に対して、中央規則処理エンジン（例えば、前向き連鎖規則モデルを用いる）により適用されるか、又は種々の監視場所またはネットワークに関連付けられた複数の分散型処理モジュールにより適用され得る。

例えば、小売店が開店する際に使用される選択と配置の規則は、小売店が閉店する際に使用される規則とは異なる可能性があり、日中の買物活動と夜間の在庫補充活動との間の往来パターンの差異が反映される。日中、ショッピングフロアのカメラは、倉庫のカメラよりも高くランク付けされ、一方、夜間には、発送センタ、狭い通路、及び／又は倉庫のカメラは、より高くランク付けされ得る。また、選択と配置の規則は、新しい販売促進の陳列に適合するように小売店のレイアウトが修正された場合、高価な商品が追加された場合、及び／又はカメラが追加または移動された場合のような、往来パターンの変化が検出された場合に動的に調整され得る。また、選択と配置の規則は、ユーザが人々または活動に関してビデオデータ画像を見ることに関心があると考えられる場合、人々の存在、又は特定のビデオデータ画像での活動の検出に基づいて変更することもできる。

また、隣接カメラ領域１１５に含まれるデータ画像は、どのカメラが一次ビデオウィンドウ枠１１０で閲覧されているカメラの「隣接物」であるかと考えられる判定に基づくこともできる。特定のカメラの隣接物は一般に、そのカメラに何らかの点で関連付けられる他のカメラ（及び／又は場合によっては、他の検出装置）を含む。一例として、一次カメラを閲覧しているユーザが、一組のカメラの視野間で対象（被写体）が移動することに起因して、その組のカメラを次に又は同時に見たいとする可能性が最も高い場合に、一組のカメラは一次カメラに「隣接」すると見なされ得る。また、１つのカメラにより見られている人または対象物が短時間で他のカメラに現れる（又は現れている）場合、２つのカメラは隣接すると見なされ得る。時間の間隔は、瞬間とすることができ（即ち、２つのカメラの双方が環境の同じ部分を見る）、又は場合によっては、人または対象物が他のカメラに現れる前に遅延があるかもしれない。場合によっては、カメラ間の強い相関を用いて、受信されたビデオ画像に対する（中央に格納された又は分散された）規則の適用に基づいて隣接物を暗示する、及び場合によっては、必要に応じてユーザが暗示された隣接物を手動で変更または削除できる。いくつかの実施形態において、ユーザは手動で隣接物を指定し、それにより他の点では任意であるように思われる隣接物が生成される。例えば、エスカレータの両端に配置された２つのカメラは、物理的に互いに接近していなくてもよいが、人がエスカレータを使用する場合に双方のカメラを一般に通過するので、それらは「隣接」していると見なされる可能性が高い。

また、隣接物は、履歴データ、或いは実際のもの、又はシミュレートされたもの、又は双方の何れかに基づいて決定され得る。一実施形態において、ユーザの活動が観察および測定され、例えば、ユーザが以前の選択に基づいて次ぎを選択する可能性が最も高いビデオデータ画像がどれかを判定する。別の実施形態において、カメラ画像が直接的に解析され、シーンのアクティビティに基づいて隣接物を決定する。いくつかの実施形態において、シーンのアクティビティは、トレーニングデータを用いて構成または抑制され得る。例えば、較正対象物は、監視場所内の様々な位置のいたる所に移動することができる。較正対象物は、色鮮やかなボール、黒と白の格子模様の立方体、レーザ光のドット、又は監視システムにより認識される任意の他の物体のような既知の特性を有する仮想的な任意の物体とすることができる。較正対象物が２つのカメラで同時（又はほぼ同時）に検出される場合、当該カメラは、重なった（又はほぼ重なった）視野を有すると考えられ、ひいては隣接していると見なされる可能性が高い。場合によっては、隣接物は、ユーザによって完全に又は部分的に指定されてもよい。いくつかの実施形態において、隣接物は、「Computerized Method and Apparatus for Determining Field-Of-View Relationship Among Multiple Image Sensors」と題する共同所有された米国の同時係属出願第１０／６６０，９５５号に説明されたような多数のカメラの視野にわたって連続的に相関する対象物のアクティビティによって計算され、当該特許文献の開示の全ては、参照により本明細書に組み込まれる。

隣接カメラ領域に表示されるべき二次カメラを決定するための「隣接性比較」関数の一具現化形態は、以下の擬似コード、即ち、
bool IsOverlap (time)
{
// consider two camera to overlap
// if the transition time is less than 1 second
return time < 1 ;
}
bool CompareAdjacency (prob1, time1, count1, prob2, time2, count2)
{
if (IsOverlap (time1) == IsOverlap (time2))
{
// both overlaps or both not
if (count1 == count2)
return prob1 > prob2 ;
else
return count1 > count2 ;
}
else
{
// one is overlap and one is not, overlap wins
return time1 < time2 ;
}
}
により記述される。

また、隣接物は、ビデオデータウィンドウ枠内に小区域１４０、１４５を画定することによってシーン全体よりも細かい粒度に指定され得る。いくつかの実施形態において、小区域は異なるサイズ（例えば、遠い区域には小さい領域、及びより近い区域には大きな領域）とすることができる。一実施形態において、各ビデオデータウィンドウ枠は、４×４の規則的な格子に配置された１６個の小区域に細分化され、隣接性の計算はこれらの小区域に基づく。小区域は、任意のサイズ又は形状、即ち、ビデオデータウィンドウ枠の大きな面積から個々のピクセルに至るまで、及びまるで完全なカメラの視野のようにすることができ、他のカメラ又は小区域に隣接していると見なされ得る。

小区域は、不変または経時変化することができる。例えば、カメラの視野は１６×１６の格子に配列された２５６個の小区域から開始できる。時間が経つにつれて、小区域の定義は、そのカメラで見られる対象物のサイズと形状の統計値に基づいて改良され得る。観察される対象物が大きい領域において、小区域は、サイズにおいて区域内の対象物に匹敵するまで、大きな小区域へと互いにマージされ得る。逆に、観察される対象物が小さい領域において、小区域は、１対１（又はほぼ１対１）で対象物を表すのに十分に小さくなるまで更に細分化され得る。例えば、多数の隣接する小区域が同じデータをごく普通に提供する場合（例えば、第１の小区域が活動（アクティビティ）を示さない時に、その第１の小区域にすぐ隣接する第２の小区域も活動を示さない場合）、２つの小区域は、少しも粒度を失うことなくマージされ得る。係る手法は、必要な記憶資源および処理資源を低減する。対照的に、単一の小区域が別々に追跡されるべき２つ以上の対象物を含むことが多い場合、小区域はより小さい２つの小区域に分割され得る。例えば、小区域が売り場を監視するカメラの視野を含み、且つ店員と顧客の双方を含む場合、小区域は２つの別個の小区域（１つはカウンタの後ろであり、もう１つはカウンタの前である）に分割されることができる。

また、小区域は画像内容に基づいて画定され得る。例えば、ビデオ画像の特徴（例えば、エッジ、テクスチャ、色）を用いて、意味的に有意義な小区域を自動的に推測することができる。例えば、３つのドアを有する廊下は、ドアのエッジ及び廊下のカーペットのテクスチャを検出することにより、４つの小区域（各ドアに対する１つのセグメント及び廊下に対する１つ）にセグメント化され得る。「Method and Apparatus for Computerized Image Background Analysis」と題する共同所有された米国の同時係属出願第１０／６５９，４５４号に記載されたような、他のセグメンテーション技術も使用されることができ、当該特許出願の開示の全ては、参照により本明細書に組み込まれる。更に、２つの隣接する小区域は、例えば、画像化の遠近法に起因してサイズ及び／又は形状に関して異なることができ、１つのビューで小区域として現れるものは、異なるカメラからの隣接するビューの全体を含むことができる。

また、カメラ間の関係に関して上述された静的および動的な選択と配置の規則は、小区域間の関係にも適用され得る。いくつかの実施形態において、カメラの視野を多数の小区域にセグメント化することにより、ユーザインターフェース内でのより洗練されたビデオ画像の選択と配置の規則が可能になる。一次カメラウィンドウ枠が多数の小区域を含む場合、各小区域は、ビデオデータ画像が隣接ウィンドウ枠に表示され得る１つ又は複数の二次カメラ（又は二次カメラ内の小区域）と関連付けられることができる。例えば、ユーザが一次ビデオウィンドウ枠において廊下のビデオ画像を閲覧している場合、その一次画像に対する二次カメラの大部分は、廊下に沿って配置されている可能性が高い。しかしながら、一次ビデオ画像は、めったに使用されない廊下へのドアのすぐ外側に配置された、廊下の１つの壁にある電灯スイッチをそれ自体が含む識別された小区域を含むことができる。活動が小区域内で検出される（例えば、人が電灯スイッチを付勢する）場合、接続する廊下のカメラへ対象が移行する可能性が増加し、この結果、めったに使用されない廊下のカメラが二次カメラとして選択される（及び場合によっては、一次カメラに隣接する他のカメラよりも高く更にランク付けされ得る）。

図２は、所有物を監視するセンサ装置と、センサ装置から受信されたデータを受信して記録し、且つ注釈を施すためのユーザモジュールと、上述した技術を用いる中央データ解析モジュールとの間における相互作用の１つの例示的な組を示す。センサ装置がデータ（監視カメラの場合のビデオ等）をキャプチャし（ステップ２１０）、そのデータをユーザモジュールに伝達し（ステップ２２０）、場合によっては中央データ解析モジュールに伝達する。ユーザ（又は、自動選択がイネーブルにされている場合にはユーザモジュール）が、一次閲覧ウィンドウ枠で閲覧するためのビデオデータ画像を選択する（ステップ２３０）。一次ビデオウィンドウ枠を監視している間、ユーザはビデオにおいて関心のある対象物を識別し（ステップ２３５）、対象物がカメラの視野を通り過ぎる際に対象物を追跡することができる。次いで、ユーザは、中央データ解析モジュールからの隣接データを要求し（ステップ２４０）、それによりユーザモジュールが隣接するカメラのリスト及びそれらの関連した隣接性ランキングを表示することが可能になる。いくつかの実施形態において、ユーザモジュールは、一次ビデオウィンドウ枠のビデオ画像を選択する前に、隣接データを受信する。隣接データに基づいて、ユーザは二次データ画像を１つ又は複数の隣接データ画像ウィンドウ枠に割り当てる（ステップ２５０）。対象物が監視区域のいたる所を移動する際、ユーザは対象物を追跡し（ステップ２５５）、必要に応じて、隣接ビデオ画像ウィンドウ枠からのビデオ画像の１つが一次データ画像になるように、ユーザモジュールにビデオ画像を交換する（ステップ２６０）ように命令し、新たな二次データ画像の組が隣接ビデオウィンドウ枠に割り当てられる（ステップ２５０）。場合によっては、ユーザは、カメラアングル、焦点、フレームレート等のような１つ又は複数のデータキャプチャのパラメータを変更する（ステップ２６５）ようにセンサ装置に命令を送ることができる。また、データは、隣接確率を改良するためのトレーニングデータとして中央データ解析モジュールに提供され得る。

図３を参照すると、隣接確率は、ｎ×ｎの隣接マトリクス３００として表されることができ、ここでｎはシステムのセンサノード（例えば、完全にビデオ装置からなるシステムのカメラ）の数を表し、マトリクスのエントリは、追跡されている対象物が２つのセンサノード間で移行する確率を表す。この例において、双方の軸は、監視システム内の各カメラを列挙し、水平軸３０５は現在のカメラを表し、垂直軸３１０は、可能性がある「次の」カメラを表す。各セルのエントリ３１５は、対象物が現在のカメラから次のカメラに移行する「隣接確率」を表す。特定の例において、カメラ１で閲覧されている対象物は、カメラ５に関して０．２５の隣接確率を有し、即ち、対象物がカメラ１の視野からカメラ５の視野に移動する可能性が２５％ある。場合によっては、或るカメラに対する確率の和が１００％になり、即ち、或るカメラからの全ての移行が考慮されて予測され得る。他の場合には、いくつかのカメラが監視環境の境界に配置されて、対象物が非監視区域に移行するので、確率は全ての可能性がある移行を表すことができない。

場合によっては、移行確率は、複数（例えば、３つ以上）のカメラ間の移行に関して計算され得る。例えば、隣接マトリクスの１つのエントリが２つのカメラを表すことができ、即ち、確率は、対象物が第１のカメラから第２のカメラに移動し、次いで第３のカメラの方へ移動する可能性を反映し、対象物の挙動、及び各可能な移行の順序間の統計的相関に基づいた条件付き確率という結果になる。カメラが重なる視野を有する実施形態では、カメラ間の移行確率は、２つ以上のカメラから単一のカメラへ、及び／又は単一のカメラから２つのカメラへの移行（例えば、カメラＡの視野により網羅されている場所からカメラＢとＣの双方により網羅されている場所へ人が歩く）を表す移行確率が計算される場合、合計して１よりも大きくなる可能性がある。

いくつかの実施形態において、１つの隣接マトリクス３００を用いて、取り付けられた装置（設備）全体をモデル化することができる。しかしながら、多数の検出装置、追加の小区域を有する具現化形態、及び隣接物が時間または曜日に基づいて変化する具現化形態では、マトリクスのサイズと数は、各新たな検出装置と小区域の追加と共に指数関数的に増大することができる。従って、非常に多くのシナリオ（大きな設備、高度に分散されたシステム、及び非常に多くの関連していない場所を監視するシステム等）が存在し、この場合、多数のより小さいマトリクスを用いて対象物の移行をモデル化することができる。

例えば、マトリクス３００のサブセット３２０は、マトリクス３００の残りの部分から高度に独立しているデータの「クラスタ」を表すように識別され得る（例えば、サブセット内のカメラからサブセット外のカメラへの移行は、たとえあったとしてもほとんどない）。サブセット３２０は、カメラのサブセット間の可能な移行の全てを表すことができ、ひいてはその場所を監視することに責任のあるユーザは、そのサブセットからのデータ画像を閲覧することに関心があるだけでよく、ひいてはマトリクスのサブセット３２０のみを必要とする。この結果、システムの中間処理地点または局所処理地点は、全マトリクス３００を処理するために処理資源または記憶資源を必要としない。同様に、マトリクス２００の大きなセクションは、記憶容量、処理資源、及び／又は伝送帯域幅を更に節約するために除去され得るゼロのエントリを含むことができる。一例は、複数のフロアを有する小売店であり、この場合、フロア間に配置されたカメラの隣接確率は、エスカレータ、階段、及びエレベータに配置されたカメラに限定されることができ、かくしてビルの異なるフロアに配置されたカメラ間の誤った相関の可能性が除去される。

いくつかの実施形態において、中央処理、解析および記憶装置（以下でより詳細に説明される）は、システム内の検出装置（場合によっては中間データ処理装置および記憶装置）から情報を受け取り、局所的な使用のために中間装置および／またはセンサ装置に分散され得る広域隣接性マトリクスを計算する。例えば、ショッピングモールを監視する監視システムは、モール及び駐車場の全体にわたって配置された数百台のカメラ及びセンサ装置を有することができ、装置（及び考えられる種々の記録方式および伝送方式）の数が大きいので、多数の中間記憶装置を必要とする。中央解析装置は、各記憶装置からデータストリームを受け取り、必要に応じてそのデータを再フォーマットし、取り付けられた装置全体にわたって移行確率を記述する「広いモール」マトリクスを計算することができる。そして、このマトリクスは、上述した機能性を提供するように、個々の監視する持ち場に分散され得る。

係る方法は、一般に入手可能なコンピュータ装置を用いて依然として動作させながら、数千台のカメラを組み込む広い都市の隣接マトリクスのような非常に大きな規模に適用され得る。例えば、都市のＣＣＴＶカメラネットワークを用いて、警察は、地下鉄の駅における爆発物の爆発のようなテロリストの攻撃の前、攻撃の最中、場合によっては攻撃の後のテロリストの行動を再現したいと考えるかもしれない。上述した技術を用いることにより、マトリクスの個々のエントリは、システム内の種々の分散された処理ノード、場合によっては記録されるビデオをキャプチャ及び／又は格納する同じ装置に格納された少ない量の情報のみを用いてリアルタイムで計算され得る。更に、マトリクスのほんの一部のみが、常に必要とされ、事件の現場から遠くに配置されたカメラはキャプチャされた任意の関連データを有する可能性は低い。例えば、犯人が入るのに使用した地下鉄の駅がどれかを、当局がわかっているならば、当局は、その最初の解析をその駅の近くのサブネットワークに限定することができる。いくつかの実施形態において、サブネットワークは、例えば、既知のルート及び仮定した移動速度に基づいて周囲のカメラを含むように拡張され得る。広域隣接性マトリクスの適切なエントリが計算され、犯人がサブネットワークの境界に到達するまで追跡を継続し、その点において、新たな隣接性が計算されて追跡を続ける。

係る方法を用いれば、完全なマトリクスは、場合によっては必要とされるかもしれないが、常に格納される（又は計算でさえ行われる）必要はない。適切なサブマトリクスの識別のみがリアルタイムで計算される。いくつかの実施形態において、サブマトリクスは、先験的に存在し、ひいてはエントリは再計算される必要がない。いくつかの実施形態において、マトリクスの情報は、伝送および記憶の助けになるように、及びシステムのセキュリティを強化するように、圧縮および／または暗号化され得る。

同様に、多数の無関係な及び／又は遠い場所を監視する監視システムは、各場所のマトリクスを計算し、その関連した場所に各マトリクスを分配することができる。上記のショッピングモールの例で詳述すると、セキュリティサービスは、遠隔の場所から多数のモールを監視するために雇われることができ、即ち、ビデオを監視するユーザは、任意の監視される場所に物理的に配置されていなくてもよい。こうした場合、第１のモールにおけるカメラの視野から、恐らく数千マイル離れた第２のモールにおける第２のカメラの視野まで即時に移動する対象物の移行確率は、事実上ゼロである。この結果、別個の隣接性マトリクスが各モールに対して計算されて、モールの監視事務所に分配されることができ、その事務所において、局所的ユーザがデータ画像を見て任意の必要な措置をとることができる。マトリクスに対する定期的な更新には、新しい商店またはディスプレイ、新たなカメラの設置、又は他の係る出来事に基づいて更新される移行確率が含まれ得る。多数のマトリクス（例えば、上述したように異なる日および／または時間に対する移行確率を含むマトリクス）が特定の場所に分配され得る。

いくつかの実施形態において、隣接性マトリクスは、予想される移行の宛先として別のマトリクス識別子を含むことができる。例えば、遊園地は一般に、遊園地および駐車場を監視する多数のカメラを有する。しかしながら、駐車場から遊園地への経路が一般に１つ又は２つしかないので、遊園地内の任意の１つのカメラから駐車場内の任意の１つのカメラへの移行確率は、低くなりやすい。全てのカメラ間の移行確率を計算する必要性はほとんどないが、建物とその敷地の全てに関して人が移動する際に人を追跡できる必要が依然としてある。従って、１つのマトリクスで可能な限りのカメラをリストアップする代わりに、２つの独立したマトリクスが導出され得る。例えば、遊園地用の第１のマトリクスは、遊園地からの各カメラ及び駐車場マトリクスの１つのエントリをリストアップする。同様に、駐車場マトリクスは、駐車場からの各カメラ及び遊園地マトリクスのエントリをリストアップする。遊園地と駐車場をつなぐ経路の数がわずかであるので、カメラの比較的小さいサブセットがマトリクス間のかなり大きい移行確率を有する可能性が高い。人が駐車場カメラに隣接する遊園地カメラの視野内に移動する場合、駐車場マトリクスを用いて、駐車場を通る人を追跡することができる。

ムービーキャプチャ
出来事または対象物が複数の検出装置によりキャプチャされる場合、当該装置からのデータ画像からのビデオクリップが、記憶、分配、及び後の証拠としての使用のためにマルチカメラムービーへと編集され得る。図４を参照すると、ビデオ監視データをキャプチャするためのアプリケーション画面４００は、ビデオクリップオーガナイザ４０５、主ビデオ閲覧ウィンドウ枠４１０、一連の制御ボタン４１５、及び時間記録目標４２０を含む。また、いくつかの実施形態において、図１の隣接ビデオウィンドウ枠も含むことができる。

システムは、以前に記録された及び／又は生のビデオを再生するために、及びムービー編集中に一次ビデオデータ画像を選択するために様々な制御を行う。ＶＣＲに酷似して、システムは、ビデオの再生の開始、一時停止、及び停止の制御装置４１５を含む。いくつかの実施形態において、システムは、ユーザがビデオを通じて迅速にナビゲートすることを可能にするように、順方向および逆方向スキャン機能、及び／又はスキップ機能を含むことができる。ビデオの再生速度は、スローモーション（１倍未満の再生速度）から３２倍の実時間速度のような早送り速度までの範囲にわたって変更され得る。また、ビデオにおいて前方または後方へ、ボタンを押すことにより所定の増分（例えば、３０秒）だけ、又は時間または日付を入力することにより任意の時間量だけジャンプするための制御装置も提供される。一次ビデオデータ画像は、二次ビデオデータ画像の１つから新たな画像を選択することにより、又は新たなビデオ画像を直接的に（例えば、カメラ番号または場所により）選択することにより、いつでも変更され得る。いくつかの実施形態において、時間記録目標４２０が、クリップの特定の開始時間と終了時間でムービーを編集することを容易にし、各ビデオクリップの閲覧と編集、及び結果としてのムービーにわたってきめの細かい正確なフレーム制御が可能になる。

上述したように、追跡される対象物４２５が一次カメラから隣接カメラに（又は小区域間で）移行する場合、隣接カメラからのビデオデータ画像は、（自動的に、又は場合によっては、ユーザ選択に応じて）新たな一次ビデオデータ画像になる。新たなビデオ画像に移行すると同時に、第１の画像の記録が停止され、第１のビデオクリップがセーブされる。記録が新たな一次データ画像を用いて再開され、第２のクリップが新たなカメラからのビデオデータ画像を用いて生成される。そして、隣接ビデオ表示ウィンドウ枠は、上述したように新たなビデオデータ画像の組と共に存在する。関心のある出来事が終わった、又は十分な量のビデオがキャプチャされたならば、ユーザは記録を停止する。次いで、種々のクリップのそれぞれが、クリップオーガナイザリスト４０５にリストアップされ、１つのムービーへと連結され得る。対象物がカメラの視野を通じて移動した際の選択に関して、システムがユーザに対して関連したカメラを提示するので、対象物が視野から外れる時間の量が最小限にされ、結果としてのムービーは、出来事の完全で正確な過程（ヒストリ）を提供する。

ムービーの生成プロセスの例として、小売店における不審な人物の場合を考察する。システムの操作者は、最初にその人物を特定し、第１のビデオクリップの編集を開始する「Start Movie（ムービー開始）」ボタンをクリックすることにより、ムービー作成プロセスを開始する。当該人物が店を歩き回る際、その人物は１つの監視カメラから別の監視カメラに移行するであろう。当該人物が第１のカメラから出た後、システムの操作者は、予め計算された隣接確率により最も有望な次のカメラが容易に利用できるように提示された、二次ウィンドウ枠に示されたビデオデータ画像を調査する。嫌疑者が二次画像の１つに現れた場合、システムの操作者はその画像を新たな一次ビデオデータ画像として選択する。この時点で、第１のビデオクリップが終了して格納され、システムは第２のクリップを開始する。第１のビデオクリップのカメラ識別子、開始時間および終了時間が、現在のムービーに関連付けられたビデオクリップオーガナイザ４０５に格納される。二次ビデオデータ画像の選択に関する上記のプロセスは、システムの操作者が不審な人物の調査を完了するために当該人物の十分なビデオを収集するまで継続する。この時点で、システムの操作者が「End Movie（ムービー終了）」ボタンを選択し、ムービーのクリップリストが後の使用のためにセーブされる。ムービーは、取り外し可能なメディアデバイス（例えば、ＣＤ−Ｒ又はＤＶＤ−Ｒ）にエクスポートされ、他の調査と共用され、及び／又は現在または後の監視システムのトレーニングデータとして使用され得る。

リアルタイム又は出来事の後のムービーが完成したならば、ユーザは、音声、テキスト、日付、タイムスタンプ又は他のデータを用いてムービー（又はその一部）に注釈を付けることができる。図５を参照すると、ムービー編集画面５００は、ムービーの編集を容易にする。タイトル５０５のような注釈が全ムービーに関連付けられることができ、特定の出来事（例えば、「対象が上着の左のポケットにカメラを入れる」）に関するスチール写真の追加５１０及び注釈５１５が、個々のクリップに関連付けられ得る。カメラの名称５２０は注釈に含められることができ、各クリップの特定の日付および時間ウィンドウ５２５と結合され得る。「編集」リンク５３０により、ユーザが必要に応じて注釈の一部または全てを編集することが可能になる。

アーキテクチャ
図６を参照すると、上述した技術を用いるビデオ監視システムのトポロジーは、多くのエッジノード６０５ａ〜６０５ｅ（概して６０５）、より少ない数の中間ノード６１０ａと６１０ｂ（概して６１０）、及びシステムの広いデータの再調査と解析用の単一の中央ノード６１５からなる多数の論理層へと構成され得る。各ノードは、検出、処理、記憶、入力、ユーザの対話、及び／又はデータの表示のような、監視システムの１つ又は複数のタスクに割り当てられ得る。場合によっては、単一のノードが２つ以上のタスクを実行することができる（例えば、カメラが、処理能力およびデータ格納、並びに画像検出を行うことを含むことができる）。

エッジノード６０５は概して、カメラ（又は他のセンサ）に対応し、中間ノード６１０は、中央データ格納および解析ノード６１５にデータを提供する記録装置（ＶＣＲ又はＤＶＲ）に対応する。係るシナリオにおいて、中間ノード６１０は処理機能（ビデオ符号化）と記憶機能の双方を実行することができる。ＩＰベースの監視システムにおいて、カメラエッジノード６０５は、検出機能および処理（ビデオ符号化）機能の双方を実行することができるが、中間ノード６１０はビデオ記憶機能のみを実行することができる。ユーザノード６２０ａと６２０ｂ（概して６２０）の追加の層は、一般にコンピュータ端末またはウェブサイト６２０ｂを用いて実施されるユーザのディスプレイと入力に追加され得る。帯域幅の理由で、カメラ及び記憶装置は一般に、ローカルエリアネットワーク（ＬＡＮ）を介して通信するが、ディスプレイ装置および入力装置は、ＬＡＮ又は広域ネットワーク（ＷＡＮ）を介して通信することができる。

検出ノード６０５の例には、アナログカメラ、デジタルカメラ（例えば、ＩＰカメラ、ファイヤーワイヤー（Ｒ）カメラ、ＵＳＢカメラ、高解像度カメラ等）、行動探知機、熱感知器、ドアセンサ、売り場専用端末、無線ＩＣタグ（ＲＦＩＤ）センサ、近接型カードセンサ、バイオメトリックセンサ、並びに他の類似した装置が含まれる。中間ノード６１０には、ビデオスイッチ、分配増幅器、マトリクススイッチ、クワッドプロセッサ、ネットワークビデオエンコーダ、ＶＣＲ、ＤＶＲ、ＲＡＩＤアレイ、ＵＳＢハードドライブ、光ディスク記録装置、フラッシュ記憶装置、画像解析装置、汎用コンピュータ、ビデオエンハンスメント装置、デインターレーサ、スケーラ、並びに他のビデオ又はデータ処理および記憶要素のような処理装置が含まれ得る。中間ノード６１０は、検出ノード６０５によりキャプチャされた際のビデオデータ、及び例えば、処理能力および解析能力を有する他の中間ノード６１０を用いてセンサデータから導出されたデータの双方を記憶するために使用され得る。ユーザノード６２０は、監視システムとの対話を容易にし、パンチルトズーム（pan-tilt-zoom：ＰＺＴ）カメラコントローラ、セキュリティコンソール、コンピュータ端末、キーボード、マウス、ジョグ／シャトルコントローラ、タッチスクリーンインターフェース、ＰＤＡ、並びにビデオとデータをシステムのユーザに提示するための、ビデオモニタ、ＣＲＴディスプレイ、フラットパネルスクリーン、コンピュータ端末、ＰＤＡ等のようなディスプレイを含むことができる。

カメラのようなセンサノード６０５は、単なる例として、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternation Line）、ＳＥＣＡＭ（Sequential Color with Memory）、ＤＶＩ又はＨＤＭＩ接続を用いる非圧縮デジタル信号、及び／又は一般的なコーデックフォーマット（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４又はＨ．２６４）に基づいた圧縮デジタル信号を含む種々のアナログ及び／又はデジタルのフォーマットで信号を提供することができる。信号は、ＬＡＮ６２５及び／又はＷＡＮ６３０（例えば、Ｔ１、Ｔ３、５６Ｋｂ、Ｘ．２５）、ブロードバンド接続（ＩＳＤＮ、フレームリレー、ＡＴＭ）、無線リンク（８０２．１１、ブルートゥースなど）等を介して伝送され得る。いくつかの実施形態において、ビデオ信号は、例えば、信頼できる鍵ペアの暗号化を用いて暗号化され得る。

システム内の異なる要素（ノード）（例えば、カメラ、コントローラ、記録装置、コンソール等）に計算資源を追加することにより、システムの機能は、分散された態様で実行されることができ、よりフレキシブルなシステムトポロジーを可能にする。各カメラ位置（又はカメラ位置の何らかのサブセット）で処理資源を含むことにより、中間位置または中央処理位置にデータが送られる前に、ある種の不要な又は冗長なデータを識別およびフィルタリングすることが容易になり、かくして帯域幅およびデータ記憶の要件が低減される。更に、種々の位置は、不要なデータを識別するために異なる規則を適用することができ、係る規則を実施できる処理資源をそれらの位置に最も近いノードに配置することにより（例えば、カメラが一意の特徴を有する特定の特性（プロパティ）を監視する）、下流のノードで行われた任意の解析は「ノイズ」をほとんど含まない。

本明細書で説明されたようなインテリジェントなビデオ解析システム及びコンピュータ援用追跡システムは、追加の機能および柔軟性をこのアーキテクチャに提供する。中間ノードで処理機能（即ち、ビデオ符号化および単一カメラのビジュアル解析）及びビデオ記憶を実行する係るインテリジェントなビデオ監視システムの例は、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-OF-View」と題する、現在同時係属中の共同所有された米国出願第１０／７０６，８５０号に説明されており、当該特許文献の開示の全ては、参照により本明細書に組み込まれる。係る例において、中央ノードは、マルチカメラビジュアル解析の特徴、並びに生のビデオデータ及び／又はビデオメタデータ及び関連した索引の追加の記憶を提供する。いくつかの実施形態において、ビデオ符号化は、カメラエッジノードで実行され、中央ノードでビデオ記憶が実行され得る（例えば、大きなＲＡＩＤアレイ）。別の代替案は、ビデオ符号化および単一カメラのビジュアル解析の双方をカメラエッジノードに移動する。また、カメラ自体が情報を格納することを含む他の構成も可能である。

図７は、図６のビデオ監視システムのユーザノード６２０、並びに中央解析および記憶ノード６１５を更に示す。いくつかの実施形態において、ユーザノード６２０は、ワシントン州レドモンドのマイクロソフト社からのMicrosoft Windows（Ｒ）ファミリーのオペレーティングシステム、カリフォルニア州クパチーノのアップルコンピュータからのMACINTOSHオペレーティングシステム、サンマイクロシステムズ社からのSUN SOLARISのような多種多様なUnix、及びノースカロライナ州ダラムのRED HAT, INC.からのGNU/Linux（及びその他）のようなオペレーティングシステムを実行できるパーソナルコンピュータ（例えば、インテルのプロセッサを有するＰＣ又はAPPLE MACINTOSH）で動作するソフトウェアとして実施される。また、ユーザノード６２０は、スマートターミナル又はダム端末、ネットワークコンピュータ、無線装置、無線電話、情報家電、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、又は汎用コンピュータとして動作する他のコンピュータデバイス、又は監視システムにおいて端末６２０としてのみ役立つように使用される専用ハードウェアデバイスのようなハードウェアで実施され得る。

ユーザノード６２０は、クライアントアプリケーション７１５を含み、クライアントアプリケーション７１５は、上述したようにアプリケーション画面をレンダリング及び表示するためのユーザインターフェースモジュール７２０、及びビデオデータ画像の識別と表示およびムービーキャプチャの機能を実施するためのカメラ選択モジュール７２５を含む。ユーザノード６２０は、ネットワーク６２５及び６３０を介して、センサノードと中間ノード（図示せず）並びに中央解析および記憶モジュール６１５と通信する。

一実施形態において、中央解析および記憶ノード６１５は、センサノードでキャプチャされるビデオを格納するためのビデオ記憶モジュール７３０、及び隣接確率ならびに格納および隣接性規則の適用、移行確率の計算、及び他の機能のような他の機能性を決定するためのデータ解析モジュール７３５を含む。いくつかの実施形態において、中央解析および記憶ノード６１５は、上述したように、中間ノード及び／又はセンサノードが本明細書で説明された処理能力および記憶能力を有する場合に、どの移行マトリクス（又はマトリクスの部分）が係るノードに分配されるかを決定する。中央解析および記憶ノード６１５は好適には、十分なメモリ、データ記憶装置、及び処理能力を有し、且つサーバークラスのオペレーティングシステム（例えば、SUN Solaris、GNU/Linux、及びMicrosoft Windows（Ｒ）ファミリーのオペレーティングシステム）を実行する１つ又は複数のサーバークラスのコンピュータで実施される。また、システムによってサポートされている装置の能力およびノードの数に依存して、本明細書で説明された以外の他のタイプのシステムハードウェア及びソフトウェアも使用され得る。例えば、サーバーは、サーバーファーム又はサーバーネットワークのような１つ又は複数のサーバーの論理的グループの一部とすることができる。別の例として、多数のサーバーが互いに関連付けられ、又は接続され得るか、或いは多数のサーバーが別個に動作するけれどもデータを共有することができる。一般に大規模なシステムにおけるような更なる実施形態において、監視システムのアプリケーションソフトウェアは、異なるサーバーコンピュータ、同じサーバーコンピュータ、又はいくつかの組合せで動作する種々のコンポーネントで実施され得る。

いくつかの実施形態において、本発明のビデオ監視、対象物追跡およびムービーキャプチャ機能は、ハードウェア又はソフトウェア、或いは汎用コンピュータにおける双方の組合せで実施され得る。更に、係るプログラムは、コンピュータのＲＡＭの部分に取っておかれ、１つ又は複数のデータ画像符号化、データフィルタリング、データ記憶、隣接性計算、及びユーザ対話に影響を及ぼす制御ロジックを提供することができる。係る実施形態において、プログラムは、フォートラン、パスカル、Ｃ、Ｃ^＋＋、Ｃ^＃、Ｊａｖａ（Ｒ）、Ｔｃｌ又はベーシックのような多数の高級言語の任意の１つで書かれ得る。更に、プログラムは、スクリプト、又はマクロで書かれるか、或いはエクセル又はビジュアルベーシックのような市販のソフトウェアに機能的に埋め込まれ得る。更に、ソフトウェアは、コンピュータ内のマイクロプロセッサに送られるアセンブリ言語で実施され得る。例えば、ソフトウェアは、それがＩＢＭＰＣ又はＰＣクローンで動作するように構成される場合、インテル８０ｘ８６アセンブリ言語で実施され得る。ソフトウェアは、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、ＰＲＯＭ、ＥＰＲＯＭ、又はＣＤ−ＲＯＭのような「コンピュータ可読プログラム手段」を含む製品に組み込まれ得る。

本発明は、特定の実施形態に関連して特に図示されて説明されたが、当業者には理解されるように、添付の特許請求の範囲により規定されたような本発明の思想と範囲から逸脱せずに、形態および細部の種々の変更がなされ得る。かくして、本発明の範囲は、添付の特許請求の範囲により示され、従って、特許請求の範囲の等価物の意味と範囲内に入る全ての変更は、包含されることが意図されている。

本発明の一実施形態によるビデオ監視データをキャプチャするためのユーザインターフェースのキャプチャ画面である。本発明の一実施形態によるビデオ監視データをキャプチャするための方法を示すフローチャートである。本発明の一実施形態による隣接マトリクスの図である。本発明の一実施形態によるビデオ監視ムービーを生成するためのユーザインターフェースのキャプチャ画面である。本発明の一実施形態によるビデオ監視ムービーに注釈を施すためのユーザインターフェースのキャプチャ画面である。本発明の一実施形態による多段式監視システムの実施形態のブロック図である。本発明の一実施形態による監視システムのブロック図である。

Claims

ビデオ監視システムであって、
ユーザインターフェースを含み、そのユーザインターフェースが、
一次ビデオ監視カメラによりキャプチャされた一次ビデオデータ画像を表示するための一次カメラウィンドウ枠と、
前記一次カメラウィンドウ枠の近傍にある２つ以上の隣接カメラウィンドウ枠であって、各隣接カメラウィンドウ枠が、一組の二次ビデオ監視カメラの１つによりキャプチャされた二次ビデオデータ画像を表示する、２つ以上の隣接カメラウィンドウ枠と、
前記一次カメラウィンドウ枠に表示された一次ビデオデータに応じて、前記一組の二次ビデオ監視カメラを決定するためのカメラ選択モジュールとを含む、ビデオ監視システム。
前記一組の二次ビデオ監視カメラが、前記一次ビデオ監視カメラと複数のビデオ監視カメラとの間の空間的関係に基づいている、請求項１に記載のシステム。
前記一組の二次ビデオ監視カメラが、前記一次ビデオ監視カメラと複数のビデオ監視カメラとの間の統計的関係に基づいて推測される、請求項１に記載のシステム。
前記一次カメラウィンドウ枠に表示される前記ビデオデータが、２つ以上の小区域に分割される、請求項１に記載のシステム。
前記一組の二次ビデオ監視カメラが、前記２つ以上の小区域の１つの選択に基づいている、請求項４に記載のシステム。
前記一次カメラウィンドウ枠に表示された前記ビデオデータの小区域の選択を容易にするための入力装置を更に含む、請求項４に記載のシステム。
前記一次カメラウィンドウ枠に示された前記ビデオデータ内の関心のある対象物の選択を容易にするための入力装置を更に含む、請求項１に記載のシステム。
前記一組の二次ビデオ監視カメラが、前記一次カメラウィンドウ枠に示された前記ビデオデータ内の前記選択された関心のある対象物に基づいている、請求項７に記載のシステム。
前記一組の二次ビデオ監視カメラが、前記一次カメラウィンドウ枠に示された前記ビデオデータ内の前記選択された関心のある対象物の動きに基づいている、請求項７に記載のシステム。
前記一組の二次ビデオ監視カメラが、少なくとも部分的に移行の尤度の測定基準に基づいている、請求項９に記載のシステム。
前記一組の二次ビデオ監視カメラが、前記一次カメラウィンドウ枠に示された前記ビデオデータ内の前記選択された関心のある対象物の画像品質に基づいている、請求項７に記載のシステム。
前記カメラ選択モジュールが、互いに対して前記２つ以上の隣接カメラウィンドウ枠の配置を更に決定する、請求項１に記載のシステム。
前記カメラ選択モジュールが前記選択された二次ビデオデータ画像を前記一次ビデオデータ画像として指定するように、前記二次ビデオデータ画像の１つを選択し、且つ前記隣接カメラウィンドウ枠に表示されるべき二次ビデオデータ画像の第２の組を決定するための入力装置を更に含む、請求項１に記載のシステム。
ビデオ監視データ画像を表示するためのユーザインターフェースであって、
一次ビデオデータ画像を表示するための一次ビデオウィンドウ枠と、
複数の隣接ビデオウィンドウ枠とを含み、
前記複数の隣接ビデオウィンドウ枠のそれぞれが、一組の利用可能な二次ビデオデータ画像の１つからビデオデータ画像を表示し、前記表示される二次ビデオデータ画像が前記一次ビデオデータ画像により決定される、ユーザインターフェース。
利用可能な二次ビデオデータ画像の数が、隣接ビデオウィンドウ枠の数より大きい、請求項１３に記載のユーザインターフェース。
隣接ビデオウィンドウ枠へのビデオデータ画像の割り当てが、前記ビデオデータ画像のランキングに基づいている、請求項１３に記載のユーザインターフェース。
ディスプレイのビデオデータ画像を選択する方法であって、
一次ビデオデータ画像を一次ビデオデータウィンドウ枠に表示し、
一次ビデオウィンドウ枠における対象物のしるしを受け取り、
前記しるしに応じて二次ビデオデータ画像を二次ビデオデータウィンドウ枠に表示し、
前記二次ビデオデータ画像の示された対象物の動きを検出し、それに基づいて、前記一次ビデオデータウィンドウ枠において前記一次ビデオデータ画像を前記二次ビデオデータ画像と置き換え、及び
前記二次ビデオデータウィンドウ枠に表示するための新たな二次ビデオデータ画像を選択することを含む、ディスプレイのビデオデータ画像を選択する方法。
前記新たな二次ビデオデータ画像が、少なくとも部分的に移行の尤度の測定基準に基づいて決定される、請求項１７に記載の方法。
前記移行の尤度の測定基準が、
一組の候補ビデオデータ画像を定義するステップと、
各候補ビデオデータ画像に対して、前記一次ビデオデータウィンドウ枠で追跡される対象物が前記候補ビデオデータ画像へと移行する可能性を表す隣接確率を割り当てるステップとに従って決定される、請求項１８に記載の方法。
前記隣接確率が所定の規則に従って変化する、請求項１９に記載の方法。
前記候補ビデオデータ画像が、利用可能なデータ画像のサブセットを表し、前記候補ビデオデータ画像が、所定の規則に従って定義されている、請求項１９に記載の方法。
前記隣接確率が多次元マトリクスで格納される、請求項１９に記載の方法。
前記多次元マトリクスが、候補ビデオデータ画像の数に基づいた次元からなる、請求項２２に記載の方法。
前記多次元マトリクスが、時間ベースの次元からなる、請求項２２に記載の方法。
少なくとも部分的に前記隣接確率に基づいて、前記多次元マトリクスをサブマトリクスにセグメント化することを更に含む、請求項２２に記載の方法。
前記隣接確率が、少なくとも部分的に履歴データに基づいている、請求項１９に記載の方法。
監視ビデオを編集する方法であって、
ビデオデータ画像源として一次ビデオデータ画像を用いて監視ビデオを生成し、
しるしを受け取って、前記監視ビデオの前記ビデオ源を前記一次ビデオデータ画像から二次ビデオデータ画像に変更し、及び
前記監視ビデオを前記二次ビデオデータ画像からのビデオデータと連結することを含む、監視ビデオを編集する方法。
前記一次ビデオデータ画像の観察者が、前記一次ビデオデータ画像から前記二次ビデオデータ画像への前記変更を指示する、請求項２７に記載の方法。
前記ビデオ源を変更するための前記しるしが、前記一次ビデオデータ画像内の動きに基づいて自動的に生成される、請求項２７に記載の方法。
前記監視ビデオを音声で強化することを更に含む、請求項２７に記載の方法。
前記音声により、前記一次ビデオデータ画像の観察者の観察結果が記録される、請求項３０に記載の方法。
前記音声が、一次ビデオデータ画像を供給するカメラによりキャプチャされる、請求項３０に記載の方法。
１つ又は複数のテキスト、グラフィクス、及び音声で前記監視ビデオを強化することを更に含む、請求項２７に記載の方法。
監視ビデオを編集するためのコンピュータ可読プログラム部分が組み入れられた製品であって、
ビデオデータ画像源として一次ビデオデータ画像を用いて監視ビデオを生成し、
しるしを受け取って、前記監視ビデオの前記ビデオ源を前記一次ビデオデータ画像から二次ビデオデータ画像に変更し、及び
前記監視ビデオを前記二次ビデオデータ画像からのビデオデータと連結するというコンピュータ可読命令を含む、製品。
ビデオ監視システムのカメラの視野間の関係を記述するためのデータ構造であって、そのデータ構造が、Ｎ×Ｍのマトリクスからなり、Ｎは、観察される対象物が現在の時刻で配置されている視野を有する第１の組のカメラを表し、Ｍは、観察される対象物がその後に現れる可能性が高い視野を有する第２の組のカメラを表し、前記マトリクスのエントリが、第１の組のカメラと第２の組のカメラとの間の移行確率を表す、データ構造。
前記ＮとＭが等しい、請求項３５に記載のデータ構造。
前記移行確率が、観察される対象物が前記第１の組のカメラから前記第２の組のカメラへ移行する可能性からなる、請求項３５に記載のデータ構造。
前記移行確率が、時間ベースのパラメータからなる、請求項３５に記載のデータ構造。
基準カメラの視野における観察される対象物の動きに基づいてカメラを選択するためのモジュールであって、
前記対象物がその後に現れる可能性が高い視野を有するカメラの予測の組、及び前記基準カメラと前記カメラの組との間の移行確率を指定するためのデータベースと、
前記データベースのエントリに基づいて前記カメラの組を選択するための選択モジュールとを含む、モジュール。
前記データベースが、Ｎ×Ｍのマトリクスとして編成されており、Ｎは、観察される対象物が現在の時刻で配置されている視野を有するカメラの基準の組を表し、Ｍが前記予測を表し、前記マトリクスのエントリが、前記移行確率を表す、請求項３９に記載のモジュール。