JP2007525068A - 拡張可能なマルチカメラ分散ビデオ処理および可視化監視システムを提供する方法および装置 - Google Patents

Abstract

実時間マルチカメラ分散ビデオ処理および可視化を実現するための拡張可能なアーキテクチャ。１つの例示的なシステムは、複数の入力ビデオを取り込み記憶するための、少なくとも１つのビデオキャプチャ−記憶システムと、警報状況またはイベントを検出し報告するための、少なくとも１つの視覚ベース警報システムと、理解および応答を迅速化するコンテキストで警報状況を表示するための、少なくとも１つのビデオレンダリングシステム（たとえば、ビデオフラッシュライトシステム）とを備える。このアーキテクチャの１つの利点は、治安部隊の警報状況理解能力を超えることなく、追加のセンサ（たとえば、カメラ、動作センサ、赤外線センサ、化学センサ、生物センサ、温度センサなど）を数多く追加することができるように、それらのシステムがすべて拡張可能なことである。
【選択図】 図１

Description

関連出願の相互参照

[0001]本願は、参考として本明細書に援用する、２００３年６月１９日に出願された米国仮特許出願第６０／４７９９５０号の恩恵を主張するものである。

発明の分野

[0002]本発明の実施形態は一般に、画像処理に関する。本発明は、詳細には、実時間マルチカメラ分散ビデオ処理（ｒｅａｌ−ｔｉｍｅ ｍｕｌｔｉ−ｃａｍｅｒａ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ）および可視化を実現する拡張可能なアーキテクチャに関する。

関連技術の説明

[0003]空港、製油所、軍用基地、原子力発電所、駅、バス停など複雑で警戒を要する施設、ならびに競技場、ショッピングモール、オフィスビルなどの公共施設では、治安部隊はしばしば、支離滅裂な閉回路テレビジョンの映像およびアクセスポイントの状況を示すだけの１９７０年代のセキュリティシステムに足を引っ張られている。たとえば、典型的な監視（モニタリング）用表示装置は、モニタ上の４×４グリッドにシーン（情景）が示される１６ビデオである。脅威の規模と深刻さが高まるにつれて、複雑さおよび危険性の高い戦術的状況に迅速かつより効果的に応答する必要のあることが明らかになってきた。単により多くのカメラ、モニタ、およびセンサを設置するだけでは、治安部隊の状況を理解し適切な行動をとる能力をすぐに超えてしまうこととなる。

[0004]これは、政府が保護し防衛すべき敷地の場合、特に頭の痛い問題である。単に隊員に警戒心をより一層高めるように求めるだけでは、陸海空の軍用基地から長い国境までに及ぶ広大な区域を適度に守ることはできない。さらに、軍隊を配備するときは、その施設をほとんど知らない新人の治安要員（たとえば、予備隊員など）が利用されることもある。

[0005]したがって、理解および応答を迅速化するコンテキストで、警報状況を警戒中の治安部隊に提示することができる、実時間マルチカメラ分散ビデオ処理および可視化を実現する拡張可能なアーキテクチャを提供する方法および装置が求められている。

発明の概要

[0006]一実施形態では、本発明は一般に、実時間マルチカメラ分散ビデオ処理および可視化を実現する拡張可能なアーキテクチャを提供する。１つの例示的なシステムは、複数の入力ビデオを取り込み記憶するための、少なくとも１つのビデオキャプチャ−記憶システムと、警報状況またはイベントを検出し報告するための、少なくとも１つの視覚ベース警報システムと、理解および応答を迅速化するコンテキストで警報状況を表示するための、少なくとも１つのビデオレンダリングシステム（たとえば、ビデオフラッシュライトシステム）とを備える。このアーキテクチャの１つの利点は、治安部隊の警報状況理解能力を超えることなく、追加のセンサ（たとえば、カメラ、動作センサ、赤外線センサ、化学センサ、生物センサ、温度センサなど）を数多く追加することができるように、それらのシステムがすべて拡張可能なことである。

[0007]例示のため、本発明では、高度に拡張可能なビデオレンダリングシステム、たとえば一面のビデオカメラを使用して監視される敷地、区域、またはシーンの没入型遠隔監視を行うための重要なアルゴリズムを統合した、Ｖｉｄｅｏ Ｆｌａｓｈｌｉｇｈｔ（商標）システムの概略を示す。警備員は、異なる方向からの、複数のビデオストリームを用いた、絶えず更新されるライブモデル（ｌｉｖｅ ｍｏｄｅｌ）、たとえば２Ｄまたは３Ｄモデルを使用して、監視される敷地または区域を監視することができる。監視される敷地または区域は、任意の仮想的な視点から遠隔的に監視することができる。観測者は、遠隔から全体的なシーンを確認し、鳥瞰図を取得する、あるいはフライ／ズームインを行い、対象の活動をクローズアップして見ることができる。一実施形態では、監視される敷地または区域の３Ｄ敷地モデルが構築され、それが、複数のビデオストリームを組み合わせるための接着剤（ｇｌｕｅ）として使用される。各ビデオストリームは、復元されたカメラ姿勢を使用してビデオモデルの最上面にオーバーレイされる。背景の３Ｄモデルおよび前景の物体の復元された３Ｄ幾何形状が、そのシーンの仮想ビューを生成するために使用され、様々なビデオストリームがその最上面にオーバーレイされる。

[0008]視覚ベース警報システムを結合することによって、全体的なシステムの監視能力がさらに高まる。この視覚ベース警報システムには、様々な警報検出方法（たとえば、背後に置かれている物体を検出する方法、動作を検出する方法、好ましい流れに反する物体の動きを検出する方法、防御線境界の切れ目を検出する方法、物体の数をカウントする方法など）を配備することができる。視覚ベース警報システムは、潜在的な警報状況を検出すると、その警報状況を報告し、その際、警備員がビデオレンダリングシステムを利用して、速やかに警報状況を閲覧し評価する。

[0009]すなわち、本発明は、武力を増大させるものとして働くツールを提供して、センサ入力を統合し、潜在的な脅威を監視中の警備員に気付かせ、理解および応答を迅速化するコンテキストで情報を提示することによって治安要員の効果を高め、また広範囲に及ぶ訓練を行う必要がなくなるようにする。治安部隊は、戦術的状況をより迅速に理解することができる場合、脅威に集中し、攻撃を防止するまたはその結果を低減させるために必要な行動を上手くとることができる。

[0010]上述の本発明の特徴が詳細に理解できるように、上記で簡潔に概要を示した本発明のより具体的な説明は、添付の図面でいくつか例示されている実施形態を参照することにより得ることができる。ただし、本発明では他の同等に効果的な実施形態を許容することもできるため、添付の図面は、単に本発明の典型的な実施形態を例示するにすぎず、したがって本発明の範囲を限定するものと見なすべきではないことに留意されたい。

[0017]理解を容易にするために、各図に共通する同じ要素を示す際は、可能な限り同じ参照番号を使用している。

好ましい実施形態の詳細な説明

[0018]図１は、本発明の実時間マルチカメラ分散ビデオ処理および可視化を実現する拡張可能なアーキテクチャ１００の全体的なアーキテクチャを示す。一実施形態では、全体的なシステムが、少なくとも１つのビデオキャプチャ−記憶／ビデオサーバシステム１１０と、視覚ベース警報（ｖｉｓｉｏｎ ｂａｓｅｄ ａｌａｒｍ：ＶＢＡ）システム１２０と、ビデオレンダリングシステム、たとえばビデオフラッシュライトシステム１３０と、地理的位置決め可能警報ビジュアライザ（ｇｅｏ−ｌｏｃａｔａｂｌｅ ａｌａｒｍ ｖｉｓｕａｌｉｚｅｒ）１３５とを備えることができる。

[0019]動作中は、複数の入力ビデオ１４１が、ビデオキャプチャ−記憶／ビデオサーバシステム１１０によって受け取られ、取り込まれる。一実施形態では、入力ビデオは、タイムスタンプが付され、記憶装置１４０に記憶される。入力ビデオはまた、視覚ベース警報（ＶＢＡ）システム１２０に供給され、ネットワークトランスポート１４３、たとえばＴＣＰ／ＩＰビデオトランスポートなどを介してビデオレンダリングシステム１３０に供給される。同様に、警報およびメタデータ情報を転送し受信するのに、別の光ネットワークトランスポート１４５、たとえばＴＣＰ／ＩＰ警報およびメタデータトランスポートを利用してもよい。この第２のネットワークトランスポートは、堅牢性を高め、耐障害性アーキテクチャを提供する。ただし、別のトランスポートの使用は、任意選択であり、アプリケーションに特有である。したがって、ＴＣＰ／ＩＰビデオトランスポート、ならびにＴＣＰ／ＩＰ警報およびメタデータトランスポートを単一のトランスポートとして実装することが可能である。

[0020]一実施形態では、地理的位置決め可能警報ビジュアライザ１３５は、警報信号をたとえばＶＢＡから受け取り、また関連するメタデータ、たとえばカメラ座標をまたは各警報信号に関連する他のセンサデータを受け取るように動作する。例を挙げると、ＶＢＡが警報状態を示す警報信号を生成した場合、その警報信号は、複数のメタデータ、たとえば警報状態（監視される区域内で検出された動作など）のタイプ、監視される区域上に現在照準されている１つまたは複数のカメラのカメラ座標、他のセンサメタデータ（赤外線センサによる監視される区域内での赤外線信号の検出、接触センサによる監視される区域内に通じるドアの開放の検出など）を含むことができる。地理的位置決め可能警報ビジュアライザ１３５は、その警報およびメタデータを使用して、すべてのデータを統合し、次いで適切な姿勢の単一ビューを生成し、それによって治安要員が速やかに警報状況を閲覧し評価できるようにする。たとえば、地理的位置決め可能警報ビジュアライザ１３５は、警報ビジュアライザ表示装置（ａｌａｒｍ ｖｉｓｕａｌｉｚｅｒ ｄｉｓｐｌａｙ）上で、注釈付きの警報アイコン、たとえばある区域または物体を取り囲む色付きのボックスを描画することができる。さらに、地理的位置決め可能警報ビジュアライザは、Ｖｉｄｅｏ Ｆｌａｓｈｌｉｇｈｔシステムの視点を、警報領域上でのマウスクリック、あるいは警報情報およびメタデータ情報の自動分析によって制御するのに使用することができる。

[0021]地理的位置決め可能警報ビジュアライザ１３５は、別個のモジュールとして示されているが、そのように限定されるものではないことに留意されたい。すなわち、地理的位置決め可能警報ビジュアライザ１３５を、ＶＢＡシステムまたはビデオレンダリングシステムと一緒に実施することもできる。以下に開示の一実施形態では、この地理的位置決め可能警報ビジュアライザ１３５を、ビデオレンダリングシステム１３０と一緒に実施する。

[0022]本発明の効果的なビデオセキュリティおよび監視アプリケーションは、数百台から数千台のカメラを、実時間の知的処理、１つのシステムに統合された警報およびコンテキストをもつビデオ（ｃｏｎｔｅｘｔｕａｌ ｖｉｄｅｏ）の可視化、記憶、およびアーカイブ機能を用いて処理する必要がある。本発明は、数十枚から数千枚のビデオが、途切れなく実時間で取り込まれ、記憶され、分析され、処理され、警告および警報が遅延なしに生成され、また警報およびビデオが、統合化したビデオ表示ならびに３Ｄモデルおよび２Ｄアイコン化マップを用いて可視化できるという意味で独自の、拡張可能な実時間処理システムである。数千台のカメラの表示装置管理は、必要とされる視点の姿勢およびすべてのカメラ姿勢が与えられている場合に、任意の一時点でどのカメラフィードを表示するかを選択するビデオスイッチャを使用することによって管理される。一実施形態では、Ｖｉｄｅｏ Ｆｌａｓｈｌｉｇｈｔｓ／視覚ベース警報（ＶＦ−ＶＢＡ）システムで通常、エンドツーエンドのモジュール式で拡張可能なアーキテクチャを使用して、数十台から数千台のカメラからの１ギガｂｐｓから１テラｂｐｓのピクセルデータを処理することができる。

[0023]一実施形態では、このアーキテクチャにより、カメラの数が増加するに従って、複数のＶＢＡシステムを配備することが可能になる。ＶＢＡシステムは、中心に置くあるいは分散させることができ、たとえば１組のカメラをサポートするために局所的に配備することができ、あるいは単一のカメラ内に配備することもできる。したがって、各ＶＢＡまたは各ビデオカメラは、シーン内での移動および新たな物体を検出し、それらの３Ｄ幾何形状およびワールドモデルに関する姿勢を復元できるようにする１つまたは複数のスマート画像処理方法を実装することができる。このスマートビデオ処理は、様々な疑わしい挙動を検出するようにプログラムすることができる。たとえば、スマートビデオ処理は、あるシーン内で背後に置かれている物体を検出する、ある場面において移動する物体（人間や車両）が存在するあるいはその物体が誤った方向にまたは好ましくない方向に移動しているのを検出する、ある地域を通過する人間をカウントする、といったようにプログラムすることができる。それらの検出された物体は、３Ｄモデル上で強調表示し、オペレータが自身の視点の方向付けを行う際の手掛りとして使用することができる。このシステムでは、警報活動を最もよく示す仮想的視点まで自動的に移動することもできる。

[0024]図２は、実時間マルチカメラ分散ビデオ処理および可視化を実現する、本発明の拡張可能なシステム２００を示す。具体的には、図２は、このシステムの例示的なハードウェア実装を示している。ただし、図２は、一例として示されているにすぎず、この開示の観点からあるいは異なる適用要件に応答して多くの異なるハードウェア実装が可能であるため、何らかの方法で本発明を限定するものと解釈されるべきではない。

[0025]拡張可能なシステム２００は、少なくとも１つのビデオキャプチャ−記憶／ビデオサーバシステム１１０と、視覚ベース警報（ＶＢＡ）システムまたはＰＣ１２０と、少なくとも１つのビデオレンダリングシステム、たとえばビデオフラッシュライトシステムまたはＰＣ１３０と、複数のセンサ、たとえば固定カメラ、パン／チルト／ズーム（ＰＴＺ）カメラ、または他のセンサ２０５と、アダプタ、スイッチなど様々なネットワーク関連コンポーネントと、モニタなどの入出力装置２５０とを備えている。

[0026]一実施形態では、ビデオキャプチャ−記憶／ビデオサーバシステム１１０は、ビデオ分配増幅器２１２と、１つまたは複数のＱＵＡＤプロセッサ２１４と、デジタルビデオレコーダ（ＤＶＲ）２１６とを備えている。動作においては、ビデオ信号の頑強性を保証し、複数分散能力を提供するため、カメラからの、たとえば固定カメラおよびＰＴＺカメラからのビデオ信号が、ビデオ分配増幅器２１２によって増幅される。一実施形態では、３２個までのビデオ信号を受け取り増幅することができ、その場合は、３２個までのビデオ信号を同時に、ビデオフラッシュライトＰＣおよびＶＢＡ ＰＣ１２０に分配することができる。

[0027]次に、その増幅された信号が、ＱＵＡＤプロセッサ２１４に転送され、そこで、３２個のビデオ信号が８つのビデオ信号にまで減らされる。一実施形態では、その際得られる信号がより解像度の低いビデオ信号でよい場合、４つの信号が１つのビデオ信号にまで減らされる。次に、その８つの信号が、ＤＶＲ２１６によって受け取られ記録される。ビデオは、ＤＶＲ２１６に記録することができ、かつ／またはＤＶＲを単に通過してビデオフラッシュライトＰＣ１３０に到ることに留意されたい。

[0028]ＱＵＡＤプロセッサおよびＤＶＲの使用は、アプリケーションに特有であり、本発明を限定するものと見なすべきではないことに留意されたい。たとえば、システムが完全にデジタル式である場合は、ＱＵＡＤプロセッサおよびＤＶＲを共に省略することができる。言い換えれば、ビデオストリームが、既にデジタルフォーマットになっている場合は、それをビデオフラッシュライトＰＣ１３０に送ることができる。

[0029]ビデオフラッシュライトＰＣ１３０は、プロセッサ２３４、メモリ２３６、および様々な入出力装置２３２、たとえばビデオキャプチャカード、ＵＳＢポート、ネットワークＲＪ４５ポート、シリアルポートなどを備える。ビデオフラッシュライトＰＣ１３０は、様々なビデオ信号を受け取り、監視区域のモデル、たとえば２Ｄまたは３Ｄモデル上に、入力ビデオのうちの１つまたは複数を描画することができる。したがって、監視される区域の実時間ビューがユーザに提供される。２Ｄおよび３Ｄモデル上に複数のビデオを適用することができるビデオレンダリングシステムまたはビデオフラッシュライトシステムの例は、２００２年７月２４日出願の「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｉｍｍｅｒｓｉｖｅ Ｓｕｒｖｅｉｌｌａｎｃｅ」という名称の米国特許出願第１０／２０２５４６号（整理番号１４６２６）、および２００４年２月１３日出願の「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｐｌａｃｉｎｇ Ｓｅｎｓｏｒｓ Ｕｓｉｎｇ ３Ｄ Ｍｏｄｅｌｓ」という名称の米国特許出願第１０／７７９４４４号（整理番号１４９５３）に開示されており、これらの両方を本明細書に参考として援用する。

[0030]視覚警告ＰＣまたはＶＢＡ１３０は、プロセッサ２２４、メモリ２２６、および様々な入出力装置２２２、たとえばビデオキャプチャカード、モジュール式入出力（Ｍｏｄｕｌａｒ Ｉｎｐｕｔ Ｏｕｔｐｕｔ：ＭＩＯ）カード、ネットワークＲＪ４５ポートなどを備える。視覚警告ＰＣ１２０は、様々なビデオ信号を受け取り、１つまたは複数の警報または疑わしい状態を受け取ることができる。具体的には、視覚警告ＰＣは、１つまたは複数の検出方法（たとえば、背後に置かれている物体を検出する方法、動作を検出する方法、好ましい流れに反する物体の動きを検出する方法、防御線境界の切れ目を検出する方法、物体の数をカウントする方法など）を利用する。個々の検出方法の具体的な配備は、アプリケーションに特有であり、たとえば、乗用車用に確保された駐車場内で大型トラックを検出することが警報状態のことも、出口専用に確保された地点に入場する人間を検出することが警報状態のことも、営業時間後ある区域における入場を検出することが警報状態のことも、防護区域内である指定された継続時間を超過する静止物体を検出することが警報状態のこともあり、以下同様である。

[0031]視覚ベース警報システム１２０は、潜在的な警報状況を検出すると、たとえばファイルにイベントのログをとり、かつ／または警報信号をビデオフラッシュライトＰＣ１３０に転送して、その警報状況を報告する。次いで、今度は警備員が、ビデオレンダリングシステムを利用して、速やかに警報状況を閲覧し評価する。

[0032]したがって、ネットワークスイッチ２４６は、ＤＶＲ２１６、ビデオフラッシュライトＰＣ１３０、および視覚ベース警報システム１２０と通信状態にある。これによって、ＤＶＲを、現在のビデオを通過するように、あるいは警報状態に従って、または単に任意の所与の時点での警備員の閲覧選好に応答して以前に取り込まれたビデオを表示するように制御することが可能になる。

[0033]同様にシステム２００は、アダプタ２４２を利用し、それによってビデオフラッシュライトＰＣ１３０がカメラを制御することも可能にする。たとえば、ＰＴＺカメラを、ユーザが選択した特定の姿勢のビデオを提示するように動作させることができる。同様に、選択されたＰＴＺ値を、マトリックススイッチャ２４４に供給することもでき、その場合は、選択された姿勢が１つまたは複数の主要表示モニタ上に表示されることになる。一実施形態では、マトリックススイッチャ２４４は、表示される１２枚のビデオ入力から４枚を選択することができる。したがって、ビデオフラッシュライトＰＣによって供給された描画ビデオストリームに加えて、カメラによって取り込まれた最大解像度のビデオをも見ることができる。

[0034]一実施形態では、任意選択で様々なセンサ２０５が配備される。それらのセンサは、動作センサ、赤外線センサ、化学センサ、生物センサ、温度センサなどを備えることができる。それらのセンサは、視覚警告ＰＣ１２０上のＭＩＯカードと通信状態にある。こうした追加のセンサは、視覚警告ＰＣ１２０によって検出された警報状態の追加の情報または確認（ｃｏｎｆｉｒｍａｔｉｏｎ）を提供する。

[0035]最後に、任意選択の無停電電源供給装置（ＵＰＳ）も配備される。こうした追加の装置は、全体的なシステムに堅牢性を与えるためのものであり、この監視システムによってもたらされるセキュリティ機能が電源喪失によって妨げられなくなる。

[0036]図３は、ビデオレンダリングシステムまたはビデオフラッシュライトＰＣ１３０内に配備された複数のソフトウェアモジュールを示す。ビデオフラッシュライトＰＣ１３０は、３つのソフトウェアモジュールまたはアプリケーション、すなわち、３Ｄビデオビューアまたはレンダリングアプリケーション３１０と、システム監視アプリケーション３２０と、警報ビジュアライザアプリケーション３３０とを利用する。本発明は、様々なソフトウェアモジュールまたはサブモジュールを用いて例示的に記載されているが、そのように限定されるものではない。すなわち、そうしたモジュールによって実施される機能は、個々の実装要件に応じて任意の数のモジュールに配備することができる。

[0037]３Ｄビデオビューアまたはレンダリングアプリケーション３１０は、複数のソフトウェアコンポーネントまたはサブモジュール、すなわち、ビデオキャプチャコンポーネント３１２と、レンダリングエンジンコンポーネント３１３と、３Ｄビューア（ＧＵＩ）３１４と、コマンド受信機コンポーネント３１５と、ＤＶＲ制御コンポーネント３１６と、ＰＴＺ制御コンポーネント３１７と、マトリックススイッチャコンポーネント３１８とを備える。動作においては、ビデオは、ビデオキャプチャコンポーネント３１２によって受け取られ、取り込まれる。ビデオキャプチャコンポーネント３１２はまた、その取込み機能に加えて、同期化の目的でビデオにタイムスタンプを付す。すなわち、このモジュールは複数のビデオストリーム上に作用する、たとえば３Ｄモデル上に複数のビデオストリームを適用するので、ビデオストリームを処理のために同期させることが必要である。

[0038]レンダリングエンジン３１３は、モデル上に複数のビデオストリームをオーバーレイするエンジンである。一般に、このモデルは、３Ｄモデルである。しかし、アプリケーションによっては、２Ｄまたは適応型３Ｄモデルも適用することができる状況もあり得る。２Ｄモデルは、たとえば建物の平面図レイアウトとすることができる。ビデオは、カメラ位置の近傍に示され、必ずしもモデル上にオーバーレイされない。適応型３Ｄモデルでは、ビデオは、観察者がカメラと同様の視角または姿勢からシーンを見る場合は、３Ｄモデル上にオーバーレイされて示されるが、視角または姿勢がカメラとは大きく異なる場合には、カメラ位置の近傍に示される。

[0039]３Ｄビューア（ＧＵＩ）３１４は、様々な閲覧機能の制御を可能にするグラフィカルユーザインターフェイスとして働く。たとえば、３Ｄビューア（ＧＵＩ）３１４は、どのビデオをビデオキャプチャコンポーネント３１２によって取り込むかを制御する。たとえば、ユーザが東方向を指す閲覧選好を指示する入力を行った場合は、西方向からのビデオは取り込まれない。

[0040]さらに、３Ｄビューア（ＧＵＩ）３１４は、姿勢情報（たとえば、姿勢値）をレンダリングエンジン３１３に転送することにより、レンダリングエンジン３１３によってどの姿勢を描画するかを制御する。３Ｄビューア（ＧＵＩ）３１４はまた、ＤＶＲ制御コンポーネント３１６を介してＤＶＲ２１６を、ＰＴＺ制御コンポーネント３１７を介してＰＴＺカメラ２０５を、それぞれ制御する。すなわち、ユーザは、ＤＶＲ制御コンポーネント３１６を介して、ＤＶＲ内に記録されたビデオストリームを選択することができ、ＰＴＺ制御コンポーネント３１７を介して、ＰＴＺカメラのパン／チルト／ズーム機能を制御することができる。たとえば、ユーザは、（たとえば、ｘｙｚ座標の形の）３Ｄモデル上をクリックすることができ、適当なＰＴＺ値が、たとえばＰＴＺ姿勢生成モジュールによって生成され、該当するＰＴＺカメラに送られる。

[0041]コマンド受信機コンポーネント３１５は、警報ビジュアライザアプリケーション３３０へのポートとして働き、ユーザが警報ブラウザ３３２上をクリックすると、コマンド受信機コンポーネント３１５がレンダリングエンジンコンポーネント３１３と相互作用して、該当するビューを表示させる。さらに、コマンド受信機コンポーネント３１５は、古い警報状態が呼び出され、閲覧される場合でも、必要があれば、所望のビューを生成するためにＤＶＲ内の１つまたは複数の記憶済みビデオストリームを取得することもできる。

[0042]最後に、３Ｄビューア（ＧＵＩ）３１４は、マトリックススイッチャ制御コンポーネント３１８と相互作用して、最大解像度のビデオを取得する。すなわち、ユーザは、その最大解像度のビデオをカメラ出力から直接取得することができる。

[0043]警報ビジュアライザアプリケーション３３０は、複数のソフトウェアコンポーネントまたはサブモジュール、すなわち、警報ブラウザ（ＧＵＩ）３３２と、警報状況記憶−更新エンジンコンポーネント３３４と、警報状況受信機コンポーネント３３６と、警報状況処理コンポーネント３３８と、警報状況表示エンジンコンポーネント３３９とを備える。警報ブラウザ（ＧＵＩ）３３２は、ユーザが様々な潜在的な警報状態の閲覧を選択できるようにするグラフィカルユーザインターフェイスとして働く。

[0044]警報状況受信機コンポーネント３３６は、たとえばＶＢＡシステムが受け取った警報状態、または警報データベースから受け取った警報状態のステータスを受け取る。警報状況処理コンポーネント３３８は、ある警報が確認されたか、クリアされたか、応答されたかなどをマークするように働く。次に、警報状況表示エンジンコンポーネント３３９は、警報状態を、たとえば確認済みの警報状態が緑色で示され、未確認の警報状態が赤色で示されるなどする、カラースキームにおいて表示する。最後に、警報状況記憶−更新エンジン３３４は、システム警報データベース３４０を更新する、たとえば確認または応答された警報状態のステータスなどを更新するタスクを課される。警報状況記憶−更新エンジン３３４はまた、視覚警告ＰＣ上の警報状況も更新することができる。

[0045]一実施形態では、システム警報データベース３４０は、すべての視覚警告ＰＣ１２０に分散している。システム警報データベース３４０は、様々な警報状態の情報を、たとえばどの視覚警告ＰＣが警報状態を報告したか、どのようなタイプの警報状態が報告されたか、警報状態の日時はいつか、システム内の任意のＰＣの健康状態はどうかなどの情報を含むことができる。

[0046]システム監視アプリケーション３２０は、複数のソフトウェアコンポーネントまたはサブモジュール、すなわち、システムモニタ（ＧＵＩ）３２２と、健康状態ステータス情報受信機コンポーネント３２４と、健康状態ステータス情報処理コンポーネント３２６と、健康状態ステータス警報−記憶エンジンコンポーネント３２８とを備える。動作においては、システムモニタ（ＧＵＩ）３２２は、複数の視覚警告ＰＣ１２０の健康状態を監視するためのグラフィカルユーザインターフェイスとして働く。たとえば、ユーザは、特定の視覚警告ＰＣ上をクリックして、その健康状態を判定することができる。

[0047]健康状態ステータス情報受信機コンポーネント３２４は、視覚警告ＰＣをｐｉｎｇする、たとえば周期的に、視覚警告ＰＣが良好な健康状態にあるかどうか、それが正常に動作しているかどうかなどを判定するように動作する。エラーが検出された場合、健康状態ステータス情報受信機コンポーネント３２４は、エラーを該当する視覚警告ＰＣに報告する。

[0048]次に、健康状態ステータス情報処理コンポーネント３２６は、エラーのステータスを決定するタスクを課される。たとえば、健康状態ステータス情報処理コンポーネント３２６は、健康状態ステータス警報−記憶エンジン３２８を介して単にエラーのログをとり、かつ／またはたとえば視覚警告ＰＣがオフラインであることにユーザの注意を向けさせる、保守要求をスケジュールするなど、様々な機能をトリガすることができる。

[0049]最後に、ビデオフラッシュライトシステム１３０は、時間同期モジュール３４２、たとえばＴＡＲＤＩＳ時間同期サーバも利用する。このモジュールの目的は、全体のシステム内のすべてのコンポーネントが同じ時間になることを保証することである。すなわち、ビデオフラッシュライトＰＣと視覚警告ＰＣは、時間が同期していなければならない。この時間整合性は、警報状態が適時に適切に報告され、タイムスタンプが付されたビデオが適切に記憶され取り出されることを保証する働きをする。

[0050]図４は、本発明の視覚警告システム１２０内に配備された複数のソフトウェアモジュールを示す。視覚警告システム１２０は、ビデオキャプチャコンポーネント４１１と、ビデオ警報処理エンジンコンポーネント４１２と、コンフィギュレーション（ＧＵＩ）４１３と、処理（ＧＵＩ）４１４と、システム健康状態監視エンジンコンポーネント４１５と、ビデオ警報提示エンジンコンポーネント４１６と、ビデオ警報情報記憶エンジンコンポーネント４１７と、ビデオ警報ＡＶＩ記憶エンジンコンポーネント４１８とを備える視覚警告アプリケーション４１０を利用する。

[0051]動作においては、ビデオは、ビデオキャプチャコンポーネント４１２によって受け取られ、取り込まれる。ビデオキャプチャコンポーネント４１２はまた、それ自体の取込み機能に加えて、同期化の目的でそのビデオにタイムスタンプを付す。

[0052]ビデオ警報処理エンジンコンポーネント４１２は、警報状態を検出する１つまたは複数の警報検出方法を利用するモジュールである。すなわち、ビデオ警報処理エンジンコンポーネント４１２には、背後に置かれている物体を検出する方法、動作を検出する方法、好ましい流れに反する物体の動きを検出する方法、防御線境界の切れ目を検出する方法、物体の数をカウントする方法などの警報検出方法を配備することができる。選択される方法および／または各警報検出方法用に設定される閾値を、コンフィギュレーション（ＧＵＩ）コンポーネント４１３を使用して設定することができる。実際には、どのビデオが取り込まれるかに関するコンフィギュレーションも、コンフィギュレーション（ＧＵＩ）コンポーネント４１３によって制御される。

[0053]視覚警告ＰＣ１２０は、１つまたは複数のネットワークトランスポートを利用し、たとえば、他の装置、たとえばビデオフラッシュライトシステム１３０、分散データベースなどと通信するために、ＨＴＰＰチャネルおよびＯＤＢＣチャネルを利用する。したがって、システム健康状態監視エンジンコンポーネント４１５は、視覚警告ＰＣの全体的な健康状態を監視し、ネットワークチャネルを介してシステム監視アプリケーション３２０からのｐｉｎｇに応答する働きをする。たとえば、システム健康状態監視エンジンコンポーネント４１５は、１つまたは複数のそれ自体の機能に障害が発生したと決定した場合は、それを警報状態として警報情報データベース４２２に報告することができる。

[0054]ビデオ警報提示エンジンコンポーネント４１６は、ネットワークチャネル、たとえばＩＩＳウェブサーバ４２０を介して警報状態を提示するように働く。ビデオフラッシュライトシステム１３０に、その警報状態を転送することができる。さらに、警報状態が検出されることにより、ビデオ警報情報記憶エンジン４１７も、警報情報データベース４２２内にその警報状態のログをとるようになる。さらに、ビデオ警報ＡＶＩ記憶エンジン４１８も、その検出された警報状態に関連した該当するビデオのクリップを、後で要求に応じてそれを取り出すことができるように、ＡＶＩ記憶ファイル４２４上に記憶する。

[0055]一実施形態では、処理（ＧＵＩ）コンポーネントにアクセスして、ＡＶＩ記憶ファイル内に記憶された記憶済みビデオクリップを取り出すことができる。記憶済みビデオクリップの転送を、たとえばユーザが要求に応じて警報ブラウザ３３２上をクリックすることにより手動で実施することができ、または自動的に実行することができ、ある種の重要な警報状態（たとえば、防御線境界の切れ目）では、そのビデオクリップが閲覧のためにビデオフラッシュライトシステムに自動的に引き渡されるようにする。

[0056]最後に、ビデオフラッシュライトシステム１２０は、時間同期モジュール４２６、たとえばＴＡＲＤＩＳ時間同期サーバも利用する。このモジュールの目的は、全体のシステム内のすべてのコンポーネントが同じ時間になることを保証することである。すなわち、ビデオフラッシュライトＰＣと視覚警告ＰＣは、時間が同期していなければならない。この時間整合性は、警報状態が適時に適切に通知され、タイムスタンプが付されたビデオが適切に記憶され取り出されることを保証する働きをする。

[0057]ＣＯＲＢＡは、サードパーティネットワーク通信プログラムであり、実時間位置追跡情報、ＰＴＺ姿勢情報をネットワーク全体に送るために使用する諸機能をその上に構築した。

[0058]図５には、デジタルビデオストリーミングを使用する本発明の例示的なシステム５００を示し、図６には、アナログビデオストリーミングを使用する本発明の例示的なシステム６００を示してある。これらの例示的なシステムは、上記で開示したような一般的な拡張可能なアーキテクチャの例である。すなわち、このアーキテクチャにより、システムで、センサ、ビデオキャプチャ／圧縮ステーション、視覚ベース警告ステーション、およびビデオレンダリングステーション（たとえば、ビデオフラッシュライトレンダリングシステム、または専用警報レンダリングシステム）の数を容易に増やすことが可能になる。すなわち、本発明は、武力を増大させるもの（ｆｏｒｃｅ ｍｕｌｔｉｐｌｉｅｒ）として働くツールを提供して、センサ入力を統合し、潜在的な脅威を監視中の警備員に気付かせ、理解および応答を迅速化するコンテキストで情報を提示することによって治安要員の効果を高め、また広範囲に及ぶ訓練を行う必要がなくなるようにする。治安部隊は、戦術的状況をより迅速に理解することができる場合、脅威に集中し、攻撃を防止するまたはその結果を低減させるために必要な行動を上手くとることができる。

[0059]上記で説明した様々なモジュール、コンポーネント、またはアプリケーションは、物理装置として、または通信チャネルを介してＣＰＵに結合されるサブシステムとして実装できることを理解されたい。別法として、それらのモジュール、コンポーネント、またはアプリケーションを、１つまたは複数のソフトウェアアプリケーションによって（あるいはソフトウェアと、たとえば特定用途向け集積回路（ＡＳＩＣ）を使用するハードウェアとの組合せによっても）体現することができ、その場合は、ソフトウェアが記憶媒体（たとえば、磁気または光学ドライブ、あるいはディスケット）からロードされ、コンピュータのメモリ内でＣＰＵによって操作される。したがって、本発明のこれらのモジュール、コンポーネント、またはアプリケーション（関連するデータ構造も含む）を、コンピュータ読取り可能な媒体または担体（ｃａｒｒｉｅｒ）に、たとえばＲＡＭメモリ、磁気または光学ドライブ、あるいはディスケットなどに記憶することができる。

[0060]本発明は、視覚警告システムのコンテキスト内で開示されているが、警報状態に応答しない、ビデオレンダリングの様々な実施形態を実施することができる。たとえば、ビデオフラッシュライトシステムが、監視される区域における防御線境界の連続的な実時間の「鳥瞰図」、「歩行図」、またはより総称的には「バーチャルツアー図」を提供するように構成されるように、非常に多くのカメラを防御線境界に沿って配備することが可能である。たとえば、このコンフィギュレーションは、鳥が監視される区域における防御線境界に沿って飛び、見下ろしているのと等価である。したがって、ビューが防御線境界の一部分から別の部分に移ると、ビデオフラッシュライトシステムは、他のカメラからの他のビデオは無視しながら、モデル上にオーバーレイする、該当するカメラからの該当するビデオ（たとえば、利用可能なビデオ全体のサブセット）に自動的にアクセスする。言い換えれば、ビデオのサブセットは、ビューが絶えずシフトする限り、絶えず更新される。したがって、警備員の注意力を超えることなく、カメラの数を大幅に増やすことが可能である。

[0061]以上の記載は、本発明の実施形態を対象とするものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の更なる実施形態を考案することもできる。また、その範囲は、添付の特許請求の範囲によって決定される。

本発明の実時間マルチカメラ分散ビデオ処理および可視化を実現するための拡張可能なアーキテクチャの全体的なアーキテクチャの図である。 本発明の実時間マルチカメラ分散ビデオ処理および可視化を実現するための拡張可能なシステムの図である。 本発明のビデオレンダリングまたはビデオフラッシュライトシステム内に配備された複数のソフトウェアモジュールの図である。 本発明の視覚警告システム内に配備された複数のソフトウェアモジュールの図である。 デジタルビデオストリーミングを使用する本発明の例示的なシステムの図である。 アナログビデオストリーミングを使用する本発明の例示的なシステムの図である。

Claims (10)

1. 少なくとも１つのシーンを監視する方法であって、
   複数の入力ビデオを受け取るステップと、
   姿勢パラメタに応答して、前記少なくとも１つのシーンのモデルに前記複数の入力ビデオのサブセットを選択的に適用するステップと
   を含む方法。
2. 前記姿勢パラメタが、警報信号に従って選択される、請求項１に記載の方法。
3. 前記警報信号が、警報検出方法によって生成される、請求項２に記載の方法。
4. 前記少なくとも１つのシーン内に配備された少なくとも１つのセンサから信号を受け取るステップを更に含む、
   請求項１に記載の方法。
5. 前記警報信号に関連する位置を示すために、前記少なくとも１つのシーンの一部分を強調表示するステップを更に含む、
   請求項２に記載の方法。
6. 前記少なくとも１つのシーンの連続的な仮想ビューが提供されるように、前記複数の入力ビデオの前記サブセットが絶えず更新される、請求項１に記載の方法。
7. 前記複数の入力ビデオが、複数のカメラによって提供され、前記複数のカメラのうちの少なくとも１つが、パン／チルト／ズーム（ＰＴＺ）機能を有する、請求項１に記載の方法。
8. 前記複数の入力ビデオの前記サブセットが、前記モデル上にオーバーレイされる、請求項１に記載の方法。
9. 少なくとも１つのシーンを監視する装置であって、
   複数の入力ビデオを提供する複数のカメラと、
   姿勢パラメタに応答して、前記少なくとも１つのシーンのモデルに前記複数の入力ビデオのサブセットを選択的に適用するビデオレンダリングシステムと
   を備える装置。
10. 警報信号を生成する少なくとも１つの視覚ベース警報システムを更に備え、前記姿勢パラメタが、前記警報信号に従って選択される、請求項９に記載の装置。

Images