JP2008502228A - ビデオフラッシュライトを実行する方法およびシステム - Google Patents

ビデオフラッシュライトを実行する方法およびシステム Download PDF

Info

Publication number
JP2008502228A
JP2008502228A JP2007515644A JP2007515644A JP2008502228A JP 2008502228 A JP2008502228 A JP 2008502228A JP 2007515644 A JP2007515644 A JP 2007515644A JP 2007515644 A JP2007515644 A JP 2007515644A JP 2008502228 A JP2008502228 A JP 2008502228A
Authority
JP
Japan
Prior art keywords
video
viewpoint
camera
cameras
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007515644A
Other languages
English (en)
Inventor
スプン サマラセケラ，
キース ハナ，
ハープリート ソウニー，
ラケッシュ クマー，
アイディン アーパ，
ヴィンセント パラガノ，
トーマス ガーマノ，
マノ アガーワル，
Original Assignee
エル‐３ コミュニケーションズ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エル‐３ コミュニケーションズ コーポレイション filed Critical エル‐３ コミュニケーションズ コーポレイション
Publication of JP2008502228A publication Critical patent/JP2008502228A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

没入型監視システムでは、多数のカメラとその他のセンサからのビデオ又はその他のデータが、場面のレンダリング２Ｄ又は３Ｄモデル内にデータを重ね合わせるビデオ処理システムにより処理、表示される。システムは、ユーザが、サイトをそこから見るための視点を選択的に識別することができるように構成された視点セレクタを有する。ビデオ制御システムは、視点を識別するデータを受け取り、その視点に基づいて、その視点からの視界に関連するビデオを生成する複数のカメラのサブセットを自動的に選択し、そのカメラのサブセットからのビデオを、ビデオ処理システムに送信させる。視点が変化するにつれて、ビデオプロセッサと通信を行うカメラが変更されて、新しい位置に関連するビデオを生成するカメラに引き渡される。没入型環境における再生が、タイムスタンプ付きのビデオ記録の同期によりなされる。
【選択図】図７

Description

関連出願
[0002]本出願は、２００４年６月１日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ」という名称の米国仮出願第６０／５７５，８９５号、２００４年６月１日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＷＩＤＥ ＡＲＥＡ ＳＥＣＵＲＩＴＹ ＭＯＮＩＴＯＲＩＮＧ，ＳＥＮＳＯＲ ＭＡＮＡＧＥＭＥＮＴ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」という名称の米国仮特許出願第６０／５７５，８９４号、および２００４年６月１日に出願された、「ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ／ＶＩＳＩＯＮ ＡＬＥＲＴ」という名称の米国仮特許出願第６０／５７６，０５０号の優先権を主張するものである。
発明の分野
[0004]本発明は、一般に、画像処理に関し、より詳細には、特定のサイトまたは環境内のいくつかのカメラからのビデオが、これらのカメラからのビデオを、場面の２Ｄまたは３Ｄモデル上に重ね合わせることによって処理される没入型監視を提供するシステムおよび方法に関する。
発明の背景
[0006]没入型監視システムは、サイトにおける防犯カメラシステムの監視を可能にする。没入型システム内の各カメラのビデオ出力は、そのサイトのレンダリングコンピュータモデルと組み合わされる。これらのシステムは、ユーザが、仮想モデル内をくまなく移動し、各カメラからのリアルタイムのビデオフィードを含む没入型仮想環境に自動的に提示される関連するビデオを見ることができるようにする。かかるシステムの一例が、参照として本明細書に組み込まれている、２００３年５月８日に公開された、米国特許出願公開第２００３／００８５９９２号明細書に記載されているＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムである。
[0007]この種のシステムは、通信帯域幅の問題に遭遇し得る。没入型監視システムは、すべてが同時にビデオを生成する、何十台、何百台、あるいは何千台ものカメラで構成されていてもよい。これは、没入型システムが見られる中央表示ステーション、端末またはその他の表示ユニットに、システムの通信ネットワークを介して流され、または別の方法で送信されるときに、ひとまとめにされて非常に大量のストリーミングデータを構成する。このデータ量に対処するには、すべてのデータを搬送する目的で、多数のケーブルまたは大量の帯域幅を有するその他の接続システムが設けられねばならず、そうでない場合、システムは、データ転送速度の限界に関連する問題に遭遇する可能性があり、警備要員にとって潜在的に重要である何らかのビデオが、表示ステーションまたは端末において全く表示することができずに、監視の有効性を低下させることになりかねない。
[0008]加えて、これまでの没入型システムは、システムのビデオの没入型再生を提供せず、ユーザが、カメラからの現在のビデオを見て、または位置を自由に変えることもできずに以前に表示された没入型画像を再生することを可能にするだけであった。
[0009]また、かかるシステムにおいて、ユーザは、普通、マウスまたはジョイスティックで自分の視点を制御することによって、本質的に無制限にナビゲートする。これは、ユーザに、調査と移動の大幅な自由を与えるものであるが、同時に、ユーザが、見ている場面内でどうしても迷ってしまい、視点を有用な位置に戻すことを難しくするものでもある。
発明の概要
[0011]したがって、本発明の目的は、これらの分野におけるシステムを改善する没入型ビデオシステムのシステムおよび方法を提供することである。
[0012]一実施形態において、本発明は、一般に、特に、参照として本明細書に組み込まれている、米国特許出願公開第２００３／００８５９９２号明細書に記載されているようなシステムにおいて、多数のビデオを、それらを場面の２Ｄまたは３Ｄモデル内で重ね合わせることによって処理するシステムを提供するシステムおよび方法に関するものである。
[0013]本発明の一態様によれば、サイトの監視システムは、それぞれが、そのサイトの個々の部分の個々のビデオを生成する複数のカメラを有する。視点セレクタが、ユーザが、サイトまたはサイトの一部をそこから観察するためのサイト内の視点を選択的に識別することができるように構成されている。ビデオ処理システムが、視点セレクタから視点を示すデータを受け取るように視点セレクタと結合されており、複数のカメラからビデオを受け取るように複数のカメラと結合されている。ビデオ処理システムは、サイトのコンピュータモデルにアクセスすることができる。ビデオ処理システムは、コンピュータモデルから、ビデオの少なくとも１つの少なくとも一部分がコンピュータモデル上に重ね合わされている、その視点からのそのサイトの視界に対応するリアルタイム画像をレンダリングする。ビデオ処理システムは、各画像をリアルタイムでビューアに表示する。ビデオ制御システムが、視点を識別するデータを受け取り、その視点に基づいて、ビデオ処理システムによってレンダリングされたその視点からのサイトの視界に関連するビデオを生成する複数のカメラのサブセットを自動的に選択し、そのカメラのサブセットからのビデオを、ビデオ処理システムに送信させる。
[0014]本発明の別の態様によれば、サイトの監視システムは、それぞれが個々のデータストリームを生成する複数のカメラを有する。各データストリームは、それぞれが、サイトの一部のリアルタイム画像に対応する一連のビデオフレームを含み、各フレームは、そのリアルタイム画像が関連付けられたカメラによって作成された時刻を示すタイムスタンプを有する。レコーダシステムが、各カメラからデータストリームを受け取り、それを記録する。ビデオ処理システムが、レコーダと接続されており、記録されたデータストリームの再生を可能にする。ビデオ処理システムは、記録されたデータストリームの再生時に、サイトのモデルの再生視点からの視界の画像をレンダリングし、それらの画像に、その視界に関連するカメラの少なくとも２つからの記録されたデータストリームを適用するレンダラを有する。ビデオ処理システムは、再生時にレコーダシステムから記録されたデータストリームを受け取るシンクロナイザを含む。シンクロナイザは、各画像が、そのすべてが同時に撮影されたものであるビデオフレームを用いてレンダリングされるように同期された形で、記録されたデータストリームをレンダリング装置に配信する。
[0015]本発明の別の態様によれば、没入型監視システムは、それぞれが、サイトの個々の部分の個々のビデオを生成する複数のカメラを備える。画像プロセッサが、複数のカメラと接続されており、それらからビデオを受け取る。画像プロセッサは、ある視点についてレンダリングされた画像を、サイトのモデルに基づき、その視点に関連する複数のビデオと組み合わせて生成する。表示装置が、画像プロセッサと結合されており、レンダリング画像を表示する。画像プロセッサに結合された視界コントローラが、画像プロセッサに、表示されるべき視点を定義するデータを提供する。また、視界コントローラは、ユーザが視点を選択的に変更することができるようにする、対話型ナビゲーションコンポーネントとも結合されており、そこから入力を受け取る。
[0016]本発明の別の態様によれば、方法は、監視システム内の複数のカメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップを含む。その視野に関連するビデオを生成することができるような場所にある上記カメラの１つ以上のサブグループが識別される。そのカメラのサブグループからのビデオは、ビデオプロセッサに送信される。上記ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成され、画像は、ビデオの少なくとも１つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトのその視点からの視野に対応するものである。画像はビューアに表示され、サブグループに含まれないカメラの少なくとも一部からのビデオは、ビデオレンダリングシステムに送信されず、それによって、ビデオプロセッサに送信されるデータ量が低減される。
[0017]本発明の別の態様によれば、監視システムの方法は、システムのカメラのデータストリームを１つ以上のレコーダに記録するステップを含む。各データストリームは、同期された形式で一緒に記録され、各フレームは、リアルタイム画像が関連付けられたカメラによって作成された時刻を指示するタイムスタンプを有する。レコーダに各カメラの記録されたデータストリームをビデオプロセッサに送信させるために、レコーダとの通信が行われる。記録されたデータストリームが受け取られ、それらのデータストリームのフレームが、そのタイムスタンプに基づいて同期される。入力装置から、各カメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータが受け取られる。ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成され、画像は、ビデオの少なくとも２つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトのその視点からの視野に対応するものである。レンダリングされた各画像ごとに重ね合わされるビデオは、そのすべてが同じ期間を指示するタイムスタンプを有するフレームからのものである。画像はビューアに表示される。
[0018]本発明のさらに別の方法によれば、記録されたカメラのデータストリームは、ビデオプロセッサに送信される。入力装置から、各カメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータが受け取られる。ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成される。各画像は、ビデオの少なくとも２つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトの上記視点からの視野に対応するものである。画像はビューアに表示される。視点および／または視野の変更を示す入力が受け取られる。この入力は、オペレータが、すべての可能な変更のうちの限定された一部である、視点または視点の新しい視野への変更だけを入力することができるように制約される。この限定された一部は、サイトを通るパスに対応する。
[0031]理解を容易にするために、各図に共通な同一要素を指定するのに、可能な限り、同一の参照番号を使用している。
詳細な説明
[0033]効果的な監視保安軍事施設またはその他の機密保護された場所の必要が、かつてないほど差し迫ったものとなっている。効果的な日々の活動が、信頼性の高いセキュリティ、ならびに周辺侵害およびアクセス制御侵害に対する効果的な対応と共に継続される必要がある。ビデオベースの活動および監視機構が、軍事基地およびその他の機密性の高いサイトにおいて、ますます展開されるようになっている。
[0034]例えば、ドイツのハイデルベルクにあるキャンベル兵舎では、５４台のカメラが設置されており、隣接するマークトウェインビレッジ軍宿舎では、１００台を上回るカメラの設置が予定されている。現在のビデオ動作モードは、テレビモニタ上でビデオを見る従来型のモードを可能とするにすぎず、環境の全般的な３Ｄ状況を知ることができない。しかも、通常は、ビデオベースの侵害検知が存在せず、ビデオ映像化が、侵害検知システムに直接接続されていない。
[0035]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴＴＭ Ａｓｓｅｓｓｍｅｎｔ、ＶＦＡ）、警報評価（Ａｌａｒｍ Ａｓｓｅｓｓｍｅｎｔ、ＡＡ）および視覚ベースの警報（Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ａｌａｒｍ、ＶＢＡ）技術を使って、（i）例えば、複数のビデオを、環境の３Ｄモデル上にシームレスに多重化することによる周辺区域の包括的な映像化、ならびに（ii）これらの場所における周辺侵害、放置物体、および徘徊の検知など、堅固な動作検知およびその他のインテリジェント警報を提供することができる。
[0036]本出願では、本明細書における発明が有利に適用され得る環境の例である、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）という名称の没入型監視システムを参照するが、本明細書における発明は、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムとは異なるシステムにおいて、類似の利益を伴って使用されてもよいことを理解すべきである。ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）は、ライブビデオが、サイトの２Ｄまたは３Ｄコンピュータモデル上にマップされ、これと組み合わされるシステムであり、オペレータは、場面のすみずみまで視点を移動させ、その場面空間内の様々な視点から、レンダリング画像と適切に適用されたライブビデオとの組み合わせを見ることができる。
[0037]この種の監視システムでは、カメラが、対象となる区域を包括的にカバーすることができる。ビデオは、連続して記録される。ビデオは、全般的状況の映像化を提供するために、空港その他の場所の３Ｄモデル上にシームレスにレンダリングされる。自動ビデオベース警報（Ａｕｔｏｍａｔｉｃ Ｖｉｄｅｏ−ｂａｓｅｄ Ａｌａｒｍｓ）は、例えば、門やフェンスなどにおけるセキュリティの侵害を検知することができる。ビデオカメラの覆い（Ｂｌａｎｋｅｔ ｏｆ Ｖｉｄｅｏ Ｃａｍｅｒａ、ＢＶＣ）システムは、責任のある個人を継続的に追跡し、警備要員が、セキュリティ侵害の瞬間まで巻き戻し、次いで、時間を早送りしてその個人を現時点まで追うために、空間的かつ時間的に没入してナビゲートすることを可能にする。図１に、ビデオ制御室における従来の動作モードが、どのようにして、全般的なマルチカメラ映像化および効果的な侵害処理のための映像化環境に変換されるかを示す。
[0038]要約すると、ＢＶＣシステムは、次の機能を提供する。単一の統合された表示が、環境の３Ｄモデルに対してシームレスにレンダリングされたリアルタイムのビデオを示す。ユーザは、３Ｄモデルに対する複数のカメラからのビデオを見ながら、その環境をくまなく自由にナビゲートすることができる。ユーザは、迅速かつ直観的に時間を遡り、過去に発生したイベントを見直すことができる。ユーザは、単に、モデルをクリックして、１台または複数のパン／チルト／ズームカメラをその場所に向けるだけで、迅速に、イベントの高解像度ビデオを取得することができる。
[0039]このシステムは、オペレータが、セキュリティ侵害を検知することができるようにし、オペレータが、複数のカメラを用いた追跡によって（１人または複数の）個人を追跡することを可能にする。また、このシステムは、警備要員が、ＦＡ表示を介して、または保管されたビデオクリップとして、現在の場所および警報イベントを見ることも可能にする。
[0040]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）および視覚ベースの警報モジュール
[0041]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）および視覚ベースの警報システムは、以下の４つの異なるモジュールを含む。
ビデオ評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）レンダリング）モジュール
視覚警戒警報モジュール
警報評価モジュール
システム状態情報モジュール
[0042]ビデオ評価モジュール（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））は、３Ｄモデルを覆っているビデオを観察するための統合されたインターフェースを提供する。これは、警備員が、広いサイトをくまなくシームレスにナビゲートし、広い区域内で発生する脅威を迅速に評価することを可能にする。他のどんな指揮統制システムもこのビデオオーバーレイ機能を備えていない。システムは、固定カメラとＰＴＺカメラの両方からのビデオを重ね合わせ、ＤＶＲ（ディジタルビデオレコーダ）モジュールを利用してイベントを記録し、再生する。
[0043]図２に最も的確に示すように、このモジュールは、脅威を評価するための包括的ツールセットを提供する。警報状況は、通常、次の３つの部分に分けられる。
[0044]事前評価：警報が発せられており、その警報をもたらすイベントを評価する必要がある。競合する技術は、ＤＶＲ機器または警報前バッファを使って警報からの情報を格納する。しかしながら、警報前バッファは、しばしば、不十分すぎることがあり、ＤＶＲ機器は、複合制御インターフェースを使ってある特定のカメラからのビデオだけを示すにすぎない。他方、ビデオ評価モジュールは、直観的なＧＵＩを使って、任意の瞬間におけるすべてのビデオストリームを没入して同時に見ることを可能にする。
[0045]ライブ評価：警報が発せられており、その警報を示すライブビデオの位置を迅速に突き止め、状況を評価し、迅速に対応する必要がある。加えて、同時に、その警報を取り巻く区域を監視してさらなる活動の有無をチェックする必要もある。大部分の既存のシステムは、一群の異なるモニタを使ってその場面の表示を提供するものであり、周辺区域を見つけるためにカメラビューを切り換えるには、時間を要し、その場面を熟知している必要がある。
[0046]事後評価：警報状況は終了しており、目標点は、固定カメラの視野外に移動している。場面のすみずみまで目標点を追跡する必要がある。ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）モジュールは、３Ｄモデル上での直観的なマウスクリック制御を使ったＰＴＺカメラの簡単で、迅速な制御を可能にする。ビデオオーバーレイは、図３に示すようなＤＶＲおよびＰＴＺユニットへの制御インターフェースを用いて、高解像度画面上に提示される。
[0047]入力および出力
[0048]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）ビデオ評価モジュールは、知られている形式でコンピュータメモリに入力されている画像データおよびセンサデータを取り出し、初期のモデル構築時に計算されたポーズ推定値を取り出し、それで３Ｄモデルを覆う。要約すると、ビデオ評価モジュールへの入力および出力は、以下の通りである。
[0049]入力
知られている場所に位置している固定カメラからの知られている形式のビデオ。
ＰＴＺカメラの場所からのビデオおよび位置情報。
各カメラのモデルに対する３Ｄポーズ（これらの３Ｄポーズは、システムセットアップ時に校正方法を使って回復される）。
場面の３Ｄモデル（この３Ｄモデルは、既存の３Ｄモデル、市販の３Ｄモデル構築方法、または他の任意のコンピュータモデル構築方法を使って回復される）。
ジョイスティックまたはキーボードを使ってオペレータにより与えられる、またはユーザによって構成された警報によって自動的に制御される所望の表示。
[0050]出力
所望の視界からのフラッシュライト視界を示すメモリ内の画像。
ＰＴＺ位置を制御するＰＴＺコマンド。
過去のイベントに戻ってそれらをプレビューするためのＤＶＲ制御。
[0051]ビデオ評価システムにおける主要機能は以下の通りである。
豊富な３Ｄ状況を提供するための３Ｄサイトモデルの映像化（空間的ナビゲーション）。
ビデオベースの評価を提供するための３Ｄモデル上へのリアルタイムビデオのオーバーレイ。
ビデオをシームレスに取り出し、３Ｄモデル上に重ね合わせるための複数のＤＶＲユニットの同期制御（時間的ナビゲーション）。
単なる３ＤモデルのマウスクリックによるＰＴＺビデオの制御およびオーバーレイ。警備員は、カメラがどこにあるかの特別な知識がなくてもＰＴＺユニットを動かすことができる。システムは、どのＰＴＺユニットが目的の区域を見るのに最も適しているか自動的に決定する。
選択された視点に基づく自動化されたビデオの選択が、システムが、非常に多数のカメラへの仮想アクセスを提供するようにビデオマトリックススイッチを統合することを可能にする。
詳細レベルレンダリングエンジンが、極めて広い３Ｄサイトにまたがるシームレスなナビゲーションを提供する。
[0052]ビデオ評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））のためのユーザインターフェース
[0053]映像化：ビデオ評価モジュールでユーザに提示される表示には、（ａ）３Ｄレンダリング表示と（ｂ）地図差し込み表示の２つがある。３Ｄレンダリング表示は、ビデオオーバーレイを伴ったサイトモデルまたは３Ｄ空間に位置するビデオビルボードを表示する。これは、サイトの詳細な情報を提供する。地図差し込み表示は、カメラフットプリントオーバーレイを伴った、サイトを上から見た図である。この表示は、サイトの全体的状況を提供する。
[0054]ナビゲーション
[0055]好ましい視点によるナビゲーション：サイト全体のナビゲーションは、好ましい視点のサイクルを使って提供される。左右の矢印キーにより、ユーザがこれらの主要視点間を迅速に移動することができる。異なる詳細レベル（その視点における異なるズーム表示レベル）で定義されている、複数のかかる視点サイクルがある。上下の矢印キーを使って、これらのズーム表示レベル間をナビゲートする。
[0056]マウスを使ったナビゲーション：ユーザは、ビデオオーバーレイのいずれかを左クリックして、好ましい視点内のその地点を中心に置くことができる。これは、ユーザが、重なり合うカメラの視野にまたがって移動している移動物体を容易に追跡することができるようにする。ユーザは、ビデオビルボードを左クリックして、好ましい重ね合わされた視点へ移行することができる。
[0057]地図差し込みを使ったナビゲーション：ユーザは、地図差し込みのフットプリントを左クリックして、個々のカメラの好ましい視点に移動することができる。また、ユーザは、マウスを左クリックしてドラッグすることによって、サイトの好ましい縮小表示を獲得するためのフットプリントの組を識別することもできる。
[0058]ＰＴＺ制御
[0059]マウスを用いたＰＴＺの移動：ユーザは、シフトキーを押しながらモデルまたは地図差し込み表示を左クリックして、ＰＴＺユニットを特定の場所へ移動させることができる。次いで、システムは、どのＰＴＺユニットがその地点を見るのに適しているか自動的に判定し、それらのＰＴＺを、その場所が見えるように移動させる。シフトボタンを押しながら、ユーザは、マウスホイールを回転させて、システムが以前に選択していた名目ズーム表示から拡大または縮小することができる。ＰＴＺビデオを見ているとき、システムは、視界の中心を、自動的に基本のＰＴＺ視点に置く。
[0060]ＰＴＺ間の移動：複数のＰＴＺユニットが特定の地点を見ているとき、好ましい視界は、その地点に最も近いＰＴＺユニットに割り当てられるはずである。ユーザは、左右の矢印キーを使って、好ましい視界を、その地点を見ている他のＰＴＺユニットに切り換えることができる。
[0061]鳥瞰図からのＰＴＺの制御：このモードでは、ユーザは、すべての固定カメラビューと、構内の鳥瞰図を見ながらＰＴＺを制御することができる。上下矢印キーを使って、警備員は、鳥瞰図と、ＰＴＺビデオの拡大表示の間を移動することができる。ＰＴＺの制御は、前述のように、シフトキーを押しながらサイトまたは差し込み地図をクリックすることによって行われる。
[0062]ＤＶＲ制御
[0063]ＤＶＲ制御パネルの選択：ユーザは、コントロールキーを押しながらｖを押して、システム内のＤＶＲユニットを制御するためのパネルを表示させることができる。
[0064]ＤＶＲ再生制御：デフォルトでは、ＤＶＲサブシステムは、ビデオ評価ステーション、すなわち、ユーザに没入型表示が示されるビデオステーションにライブビデオを流す。ユーザは、一時停止ボタンを選択して、現時点でビデオを停止させることができる。次いで、ユーザは、ＤＶＲモードに切り換える。ＤＶＲモードで、ユーザは、記録されたビデオの限界に達するまで、時間を前後して同期的に再生することができる。ビデオがＤＶＲモードで再生されている間、ユーザは、前述のナビゲーションの項で述べたようにそのサイトをくまなくナビゲートすることができる。
[0065]ＤＶＲシーク制御：ユーザは、自分がそこへ移動しようとする目的の時刻を指定することによって、すべてのＤＶＲ制御のビデオを所与の時点までシークすることができる。システムは、すべてのビデオをその時点まで移動し、次いで、ユーザが別のＤＶＲコマンドを選択するまで一時停止するはずである。
[0066]警報評価モジュール
[0067]地図ベースのブラウザ／概要
[0068]地図ベースのブラウザは、広い区域のための映像化ツールである。その基本コンポーネントは、センサ（固定カメラ、ＰＴＺカメラ、フェンスセンサ）と記号情報（テキスト、システム状態、境界線、物体の経時的移動）を表す様々なコンポーネントを含む、拡張性があり、ズーム表示可能な正射投影図である。
[0069]この図に付随するのが、その広い視界の表示域の輪郭を描き、その広い視界の視野内にないコンポーネントの状況を表示し、その広い視界の表示域を変更する別の方法を表示することを目的とする、スクロール可能でも、ズーム表示可能でもない地図の縮小されたインスタンスである。
[0070]地図ベースの表示内のコンポーネントは、映像化アプリケーションよる様々な挙動および機能を持つことができる。警報評価では、各コンポーネントは、その視覚コンポーネントが表すセンサの警報状態に基づいて、色を変更し、点滅することができる。センサのところに確認されていない警報があるとき、それは、地図ベースの表示上で赤く点滅する。このセンサのすべての警報が確認されると、そのコンポーネントは赤いままで、点滅しなくなる。そのセンサのすべての警報の安全が確認された後で、そのコンポーネントは、その通常の緑色に戻る。また、各センサは、地図ベースのコンポーネントを介して使用不可にすることもでき、その後、それらのセンサは、再度使用可能にされるまで黄色になる。
[0071]他のモジュールは、ＡＰＩ（アプリケーションプログラムインターフェース）を介してイベントを送ることによって、地図表示内のコンポーネントにアクセスすることができる。警報リストは、多くの警報ステーションにまたがって警報を集約するかかる１つのモジュールであり、警報評価のためのテキストリストとしてユーザに提示される。このＡＰＩを使用して、警報リストは、地図ベースのコンポーネントの状態を変更することができ、かかる変更に際して、コンポーネントは、色を変更し、点滅する。警報リストは、時間、優先度、センサ名、または警報の種類で警報をソートすることができる。また、警報の時刻に発生したビデオを見るようにビデオフラッシュライトを制御することもできる。ビデオベースの警報では、警報リストは、警報を発生させたビデオをビデオ表示ウィンドウに表示し、警報を発生させたビデオをディスクに保存することができる。
[0072]ビデオフラッシュライトとの地図ベースのブラウザ対話
[0073]地図ベースのブラウザ内のコンポーネントは、ＴＣＰ／ＩＰ接続を介して公開されるＡＰＩによって、仮想視界およびビデオフラッシュライト表示へのビデオフィードを制御することができる。これは、ユーザに、ビデオフラッシュライトにおいて３Ｄ場面をナビゲートする別の方法を提供する。仮想視界を変更することに加えて、地図ベースの表示内のコンポーネントは、ＤＶＲを制御し、カメラが、指定された時間量が経過した後で、その場所を変更する仮想ツアーを作成することもできる。この最後の機能は、ビデオフラッシュライトが、３Ｄ場面のすみずみまで人物を追跡するパーソナル化されたツアーを作成することを可能にする。
[0074]地図ベースのブラウザ表示
[0075]警報評価ステーションは、複数のマシンにまたがる複数の警報を統合し、それを警備員に提示する。この情報は、地図表示上の強調表示アイコンと、テキストリスト表示（図４）としてユーザに提示される。地図表示は、警備員が、脅威を、その正しい空間的状況において識別することができるようにする。また、地図表示は、目的の区域を見るビデオを即座に従動させるようビデオ評価ステーションを制御するためのハイパーリンクとしても働く。リスト表示は、ユーザが、警報の種類、警報の時刻に関して警報を評価し、任意の警報での注釈付きビデオクリップを見ることができるようにする。
[0076]主要な機能および仕様
[0077]ＡＡステーションの主要な機能は以下の通りである。
ＡＡステーションは、ユーザに、視覚警戒ステーションからの警報、ドライコンタクト入力、およびシステムに統合されているその他の特定用途向け警報を提示する。
警報が発生している状況を提供するために、記号情報が２Ｄサイト図上に重ね合わされる。
任意の警報に関する詳細情報を取得するために、テキスト情報が、時刻または優先度でソートされて表示される。
ユーザ入力に導かれたその警報特有の視点まで自動的にナビゲートするようＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）ステーションを従動させる。
実際の警報の注釈付きビデオクリップをプレビューする。
後で使用するためにビデオクリップを保存する。
[0078]ユーザは、警報を確認することにより警報を管理し、警報条件が除去された後で、その警報を元に戻すことによって警報を処理する。また、ユーザは、警報を生成せずに発生するよう事前に計画されている活動を可能にするために、特定の警報を使用不可にしてもよい。
[0079]警報評価モジュール用ユーザインターフェース
[0080]映像化
[0081]警報リスト表示は、すべての視覚警戒ステーションと外部警報ソースまたはシステム障害のための警報を単一のリストに統合する。このリストは、リアルタイムで更新される。このリストは、時刻または警報優先度でソートされ得る。
[0082]地図表示は、地図上に、どこで警報が発生しているかを示す。ユーザは、地図の周囲をスクロールし、または差し込み地図を使って区域を選択することができる。地図表示は、マークされた記号領域に警報を割り当てて、警報がどこで発生しているか指示する。これらの領域は、図５に示すように、警報が活動状態であるか否か指示するために色分けされている。警報記号の好ましい色分けは、（ａ）赤：不審な挙動が原因の活動状態にある安全が確認されていない警報、（ｂ）灰色：システムの誤動作に起因する警報、（ｃ）黄：使用不可とされているビデオソース、および（ｄ）緑：警報解除、活動状態の警報なしである。
[0083]ビデオプレビュー：ビデオベースの警報では、活動のプレビュークリップも利用可能である。これらは、ビデオクリップウィンドウでプレビューされ得る。
[0084]警報確認
[0085]リスト表示で、ユーザは、自分が観察していることを指示するために警報を確認することができる。ユーザは、個別に警報を確認することもでき、右クリックしてポップアップメニューを出し、確認を選択することによって、地図表示から特定のセンサに関するすべての警報の安全を確認することもできる。
[0086]警報条件が解決されている場合、ユーザは、リスト表示内の安全確認オプションを選択することによりこれを指示することができる。警報の安全が確認された後で、その警報は、リスト表示から除去される。ユーザは、その領域を右クリックしてポップアップメニューを出し、安全確認オプションを選択することによって、特定のセンサのすべての警報の安全を確認してもよい。これも、リスト表示内のそのセンサのすべての警報を解除する。
[0087]加えて、ユーザは、ポップアップメニューを使い、使用不可オプションを選択することによって、任意のセンサからの警報を使用不可にすることもできる。すべての使用不可とされたソースについて、任意の新しい警報が自動的に確認され、安全が確保される。
[0088]ビデオ評価ステーション制御
[0089]ユーザは、特定のセンサのためのマークされた領域を左クリックすることによって、地図表示から好ましい視界にビデオ評価ステーションを移動させることができる。地図表示制御は、ビデオ評価ステーションに、これを動かすナビゲーションコマンドを送る。ユーザは、通常、ビデオ評価モジュールを使って状況を評価するために、活動状態の警報区域をクリックする。
[0090]フラッシュライトのビデオのシステムアーキテクチャおよびハードウェア実装
[0091]数台または数百台のカメラによる迅速なビデオカメラの覆いシステム（Ｂｌａｎｋｅｔ ｏｆ Ｖｉｄｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａ ｆｅｗ ｃａｍｅｒａｓ ｏｒ ａ ｆｅｗ ｈｕｎｄｒｅｄ ｃａｍｅｒａｓ ｑｕｉｃｋｌｙ）のための、拡張性のあるシステムアーキテクチャが開発されている（図６）。本発明は、フィルタ相互間でデータを流し合うように相互接続され得るモジュラーフィルタを有することに基づくものである。これらのフィルタは、ソース（ビデオ取り込み装置、ＰＴＺ伝達機構、データベース読取り機構など）とすることもでき、変換（動作検知機構、追跡機構などのアルゴリズムモジュール）とすることもでき、シンク（レンダリングエンジン、データベース書込み機構など）とすることもできる。これらは、複数のコンポーネントが並列に実行されることを可能とする固有のスレッディング機能を用いて構築される。これは、システムが、マルチプロセッサプラットフォーム上で利用可能なリソースを最適に使用することができるようにする。
[0092]また、このアーキテクチャは、ネットワークを介してストリーミングデータを送受信することのできるソースとシンクも提供する。これは、システムが、単純な構成変更だけで、複数のＰＣワークステーションにまたがって容易に分散され得るようにする。
[0093]フィルタモジュールは、単純なＸＭＬベースの構成ファイルに基づいて実行時に動的にロードされる。これらは、モジュール間の接続性を定義し、各フィルタ特有の挙動を定義する。これは、インテグレータが、どんなコードも変更せずに、複数のマシンにまたがる多種多様なエンドユーザアプリケーションを迅速に構成することができるようにする。
[0094]システムアーキテクチャの主要な機能は以下の通りである。
[0095]システム拡張性：複数のプロセッサ、複数のマシンにまたがって接続することができる。
[0096]コンポーネントのモジュール性：モジュラーアーキテクチャは、ソフトウェアモジュール間でデータを流す機構を用いて、ソフトウェアモジュール間の明確な分離を維持する。各モジュールは、モジュール間でデータを流すための共通のインターフェースを有するフィルタとして定義される。
[0097]コンポーネントのアップグレード性：システムのコンポーネントを、システムインフラストラクチャの残りの部分に影響を及ぼさずに交換するのが容易である。
[0098]データストリーミングアーキテクチャ：システム内のモジュール間でのデータストリーミングに基づくものである。システム全体の時間の固有の理解を有し、複数のソースからのデータを同期させ、マージすることができる。
[0099]データ記憶アーキテクチャ：プロセッサごとに複数のメタデータストリームを同時に記録し、再生する機能。地図／モデルベースの表示および他のクライアントによって駆動され得る、各ノードにおけるシーク機能および見直し機能を提供する。バックエンドＳＱＬデータベースエンジンで動く。
[00100]本発明のシステムは、一般的にはカメラであるが、煙または火災探知器、動作検知器、ドアオープンセンサ、あるいは様々なセキュリティセンサのいずれかなど他の種類のセンサとすることもできる、システムのセンサとの効率のよい通信を可能にするものである。同様に、センサからのデータは、一般には、ビデオであるが、検知された動きや侵入、火災の警報指示、あるいは他の任意のセンサデータなど、他の種類のデータとすることもできる。
[00101]監視システムの重要な要件は、任意の所与の時刻に観察されているデータを選択できることである。ビデオカメラは、何十、何百または何千ものビデオシーケンスを流すこともある。本明細書の視界選択システムは、このビデオデータ、ならびに他のセンサからのデータを映像化し、管理し、格納し、再生し、解析する手段である。
[00102]視界選択システム
[00103]図７に、ビデオの選択基準を示す。個々のセンサカメラ番号（例えば、カメラ１、カメラ２、カメラ３など）を入力するのではなく、監視データの表示は、表示されるべき監視データの適切なリアルタイム表示を指示するために、システムに、選択された仮想カメラ位置または視点、すなわち、地点およびその地点からの視野を定義するデータセットを提供する視点セレクタ３に基づくものである。仮想カメラ位置は、例えば、ジョイスティックなどの入力装置を備える対話型ステーションなどから受け取られる電子データなどのオペレータ入力から、あるいは、オペレータの制御下にないイベントへの自動化された応答として、警報センサ出力から導出され得る。
[00104]視点が選択されると、次いで、システムは、どのセンサが、その特定の視点の視野に関連しているか自動的に計算する。好ましい実施形態において、システムは、視点セレクタ３と結合されており、そこから仮想カメラ視点を定義するデータを受け取る、ビデオプライオリタイザ／セレクタ５と関連するビデオオーバーレイ区域の視野に、システムのセンサのどのサブセットが現れるか計算する。次いで、システムは、ビデオプライオリタイザ／セレクタ５を介して、選択されたセンサ、すなわち、関連するセンサのサブセットに動的に切り換わり、ビデオスイッチャ７の制御によって、システムのその他のセンサへの切換えを回避する。ビデオスイッチャ７は、多数のビデオまたデータフィード９を生成する、システム内の（カメラを含む）すべてのセンサの入力に結合されている。セレクタ５からの制御に基づいて、ビデオスイッチャ７は、関連するセンサからのデータフィードを搬送する通信リンクをオンにし、その他のセンサからのデータフィードの送信を妨げて、選択された仮想カメラ視点に関連する少数のデータフィード１１の組だけをビデオオーバーレイステーション１３に送信するようにする。
[00105]１つの好ましい実施形態によれば、ビデオスイッチャ７は、ビデオプライオリタイザ／セレクタ５によって、元のより大きい組９からのより少数のビデオフィード１１だけをビデオオーバーレイステーション１３に切り換えるように制御されるアナログマトリックススイッチャである。このシステムは、特に、それらのフィードが、限られた配線の組だけを介して表示用ビデオ評価ステーションに送信されるアナログビデオであるときに使用される。かかるシステムでは、現在の視野に関連していないビデオカメラからのアナログ信号の流れは、ビデオ評価ステーションへの配線に入らないようにオフにされ、関連するカメラからのビデオフィードは、それらの接続配線を通るよう物理的にオンにされる。
[00106]代替として、ビデオカメラは、ディジタルビデオを生成することもでき、これを、ディジタルビデオがネットワークを介してビデオ評価ステーションに流されるように、ビデオ評価ステーションにリンクさせるローカルエリアネットワークに接続されているディジタルビデオサーバに送信することもできる。かかるシステムでは、ビデオスイッチャは、ビデオ評価ステーションの一部であり、ネットワークを介して個々のディジタルビデオサーバと通信を行う。サーバが関連するカメラを有する場合、スイッチャは、サーバに、そのビデオをビデオ評価ステーションに流すよう指図する。ビデオが関連していない場合、スイッチャは、ビデオサーバに、そのビデオを送らないよう求めるコマンドを送る。その結果、ネットワーク上のトラフィックが低減され、関連するビデオを表示のためにビデオステーションに送信する際の効率が上がる。
[00107]ビデオは、米国特許出願公開第２００３／００８５９９２号明細書に開示されているように、場面の２Ｄまたは３Ｄモデルの上にレンダリングされて、すなわち没入型ビデオシステムとして示される。ビデオオーバーレイステーション１３は、システムのサイトの２Ｄまたは、好ましくは、３Ｄモデルを使ってレンダリングシステムによって作成される視界のリアルタイムレンダリング画像と、関連するデータ供給１１、特に、ビデオ映像とを組み合わせることによって、リアルタイムの没入型監視システム表示を構成するビデオを生成する。サイトの２Ｄまたは３Ｄモデルは、一般に、地理空間情報とも呼ばれ、好ましくは、ビデオオーバーレイステーション１３のレンダリングコンポーネントからアクセス可能なデータ記憶装置１５上に格納されている。各画面画像においてレンダリングされて示される関連する地理空間情報は、視点セレクタ３によって決定される。
[00108]ビデオオーバーレイステーション１３は、視野の適切な部分のレンダリング画像に、例えば、テクスチャなどとして、関連するビデオ映像を適用することによって、表示ビデオの各画像を作成する。加えて、地理空間情報が同様に選択される。視点セレクタは、どの地理空間情報が示されるか決定する。
[00109]表示のためのビデオは、レンダリングされ、関連するセンサデータストリームと組み合わされた後で、オペレータに表示されるべき表示装置に送られる。
[00110]これら４つのブロック、すなわち、ビデオセレクタ３、ビデオプライオリタイザ／セレクタ５、ビデオスイッチャ７、およびビデオオーバーレイステーション１３は、潜在的に何千ものカメラビューの表示の処理を実現する。
[00111]これらの機能は、その大部分の機能がソフトウェアによって実行される、単一のコンピュータ化システム上でサポートされてもよく、それぞれのタスクを別々に実行する分散コンピュータ化コンポーネントとしてもよいことを、当業者は容易に理解する。システムが、ネットワークを利用してビデオステーションにビデオを送信する場合、視点セレクタ３、ビデオセレクタ、ビデオスイッチャ７およびビデオオーバーレイ／レンダリングステーションは、すべて、それぞれのソフトウェアモジュールを使って、ビデオステーションコンピュータ自体において表現されることが好ましい。
[00112]システムが、配線ビデオフィード、およびネットワーク化されていない通信またはアナログ通信により多く依存している場合には、各コンポーネントが別個の回路であり、ビデオスイッチャが、ビデオが選択された視野に関連していないときにビデオソースをオフにし、帯域幅を節約するために、配線によってビデオソースの近くの実際の物理的スイッチにリンクされている方がよい。
[00113]同期されたデータ取り込み、再生および表示
[00114]何千ものセンサからのライブデータを映像化する機能では、データを、あたかもそのデータがライブであるかのように再生させることができるようにデータを格納する必要がある。
[00115]大部分のディジタルビデオシステムは、各カメラからのデータを別々に格納する。しかしながら、本実施形態によれば、システムは、ビデオデータを同期して記録し、ビデオデータを同期して読み返し、それを没入型監視（好ましくは、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））表示としてビデオデータを表示するように構成されている。
[00116]図２に、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）における同期されたデータ取り込み、再生および表示のブロック図を示す。レコーダコントローラ１７が、全データの記録の同期を取り、格納されたデータの各フレームは、データ、データが作成された時刻を識別するタイムスタンプを含む。好ましい実施形態では、この同期された記録は、ＤＶＲ機器１９、２１のイーサネット制御によって行われる。
[00117]また、レコーダコントローラ１７は、ＤＶＲ機器の再生も制御し、記録時刻と再生時刻が、全く同じ時刻に開始されるようにする。再生時、レコーダコントローラ１７は、ＤＶＲ機器に、選択された仮想カメラ視点に関連するビデオを、オペレータが選択した時点から開始して再生させる。データは、ローカルネットワークを介してデータシンクロナイザ２３に流され、データシンクロナイザ２３は、データ読取りの任意のリアルタイムスリップを処理するために再生されたデータをバッファし、様々な記録データストリームのすべてのフレームが同じ期間からものになるよう複数のデータストリームを正しく同期させるために、タイムスタンプなどの情報を読み取り、次いで、同期されたデータを、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）などの没入型監視表示システムと、２７に大まかに示す、レンダリングコンポーネント、処理コンポーネント、データ融合コンポーネントなど、システム内の他の任意のコンポーネントに配信する。
[00118]アナログ実施形態では、各カメラからのアナログビデオが回路ラックに導入され、そこで分割される。ビデオの一部は、前述のように、地図表示ステーションに送られる。その他の部分は、他の３つのカメラのビデオと共に、コードボックスを介してレコーダに送られ、そこで４つのビデオフィードすべてを同期された形で格納する。ビデオは記録され、また、現在の視点に関連する場合には、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）による没入型表示へとレンダリングするために、配線を介してビデオステーションに送信される。
[00119]よりディジタルな環境では、それぞれが、おおよそ４から１２台のカメラに接続されているいくつかのディジタルビデオサーバがある。各カメラは、監視システムのネットワークに接続されたディジタルビデオサーバに接続されている。ディジタルビデオサーバは、普通、同じ物理的場所において、各カメラからのビデオを格納するディジタルビデオレコーダ（ＤＶＲ）に接続されている。サーバは、関連する場合には、没入型表示のためのレンダリング画像に適用するために、ビデオをビデオステーションに流し、前述のビデオスイッチャが送らないよう指図する場合には、ビデオを送信しない。
[00120]ライブビデオデータが、前述のように没入型監視表示に適用されるのと同様に、記録された同期データは、オペレータに表示されるリアルタイムの没入型監視再生表示に組み込まれる。オペレータは、場面のモデルをくまなく移動し、自分が選択した視点から、対象となる時間からのビデオまたはその他のデータを使ってレンダリングされた場面を見ることができる。
[00121]レコーダコントローラとデータシンクロナイザは、好ましくは、別個の専用コンピュータ化システムであるが、当業者には容易に理解されるように、１つ以上のコンピュータシステムまたは電子コンポーネントにおいてサポートされてもよく、その機能は、それらのシステムにおいてハードウェアおよび／またはソフトウェアによって実現されてもよい。
[00122]データインテグレータおよび表示
[00123]ビデオセンサ、すなわちカメラ以外に、システムには、何十万もの非ビデオベースのセンサがあってもよい。これらのセンサの映像化および管理も非常に重要である。
[00124]図３に最もよく示されるように、記号データインテグレータ２７は、（ビデオ警報、アクセス制御警報、物体追跡など）様々なメタデータソースからのデータをリアルタイムで収集する。規則エンジン２９は、そこに提供される様々なメタデータ入力の組と所定の応答規則に応じて、複数の情報を組み合わせて複雑な状況判断を生成し、自動化された応答として様々な決定を行う。規則は、例えば、センサの地理位置に基づくものとしてもよく、また、動的なオペレータ入力に基づくものとしてもよい。
[00125]記号情報ビューア３１は、規則エンジン２９の決定をユーザにどのように提示すべきか（例えば、色／アイコンなど）を決定する。次いで、規則エンジン決定の結果を適宜使用して、視界コントローラインターフェースを介してビデオ評価ステーションの視点が制御される。例えば、ある種類の警報が、自動的にオペレータの注意を喚起し、オペレータの表示装置に、即座に、その警報条件を識別するメタデータを送信しているセンサの場所を見る仮想カメラ視点からの没入型監視表示ビューを表示させてもよい。
[00126]このシステムのコンポーネントは、別個の電子ハードウェアとしてもよいが、オペレータ表示端末のところにある、またはそれと共用されているコンピュータシステム内の適切なソフトウェアコンポーネントを使って実現されてもよい。
[00127]制約されたナビゲーション
[00128]没入型監視表示システムは、時間的、空間的にナビゲートする無制限の手段を提供する。しかしながら、通常の使用に際しては、特定の空間的時間的場所だけが、手元のアプリケーションに関連する。したがって、本システムは、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムにおいて制約された空間および時間のナビゲーションを適用する。たとえとして自動車と列車の例を引くことができる。すなわち、列車は、空間内のある決まった軌道に沿って移動することしかできず、自動車は、任意の数の軌道を移動することができる。
[00129]かかる実装形態の一例が、センサでカバーされていない場所を容易に表示できないよう制限することである。これは、ジョイスティックやコンピュータ画面のマウスクリックなど、オペレータにより入力装置を使って提供される所望の視点を解析することによって実施される。システムは、画面内のクリックされた地点を中心とする３Ｄ表示位置の変更を計算することによって、所望の視点を計算する。次いで、システムは、その視点が、見ることのできる、または潜在的に見ることのできるはずのセンサを含むかどうか判定し、かかるセンサがあるという判定に応答して視点を変更する一方、かかるセンサがないという判定に対して、システムは、視点を変更しない。
[00130]また、後述するように、制約された動きの階層も作成されている。
[00131]地図またはイベントベースのナビゲーション
[00132]表示内の各点のマウスクリックやジョイスティックなどによって、没入型ビデオ表示自体の内部をナビゲートするだけでなく、システムは、オペレータが、外部から指図されたイベントを使ってナビゲートすることも可能にする。
[00133]例えば、図４のスクリーンショットに見られるように、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）表示は、レンダリング没入型ビデオ表示３９に加えて、地図表示３７も備えている。地図表示は、その区域の地図だけでなく警報のリスト４１も示す。単に、リスト表示された警報または地図をクリックするだけで、視点が、その場所に対応する新しい視点に即座に変更され、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）表示は、その新しい視点についてレンダリングされる。
[00134]図４で、壁の侵害が検知されると、地図表示３７が色を変え、またはセンサイベントを指示するアイコンが表示される。次いで、オペレータが地図表示３７上でその標識をクリックすると、没入型表示３９の視点が、そのセンサイベントの事前にプログラムされた視点に即座に変更され、次いで、それが表示される。
[00135]ＰＴＺ制御
[00136]画像処理システムは、あらゆるカメラセンサ、ならびに３Ｄモデル内のあらゆる画素の（ｘ，ｙ，ｚ）世界座標を知っている。ユーザがマウスで２Ｄまたは３Ｄ没入型ビデオモデル表示上の点をクリックすると、システムは、その点を中心として視野を見るのに最適なカメラを識別する。
[00137]場合によっては、その場所を見るのに最適な場所に位置しているカメラが、パン／チルト／ズームカメラ（ＰＴＺ）であり、所望の場所を見るのに必要な方向とは異なる方向を指していることもある。そのような場合、システムは、位置パラメータ（例えば、指図されたパン、チルト、センサの機械的パン、チルト、ズーム角度など）を計算し、ネットワークを介してカメラに適切な電気制御信号を送ることによって、ＰＴＺをその場所に向けさせ、ＰＴＺビデオを受け取り、それが没入型監視表示に挿入される。このプロセスの詳細を以下でさらに論じる。
[00138]ＰＴＺハンドオフ
[00139]前述のように、システムは、あらゆるカメラセンサ、ならびに３Ｄモデル内のあらゆる画素の（ｘ，ｙ，ｚ）世界座標を知っている。カメラセンサの位置がわかっているために、システムは、所望の表示要件に基づいてどのセンサを使用すべきか選択することができる。例えば、好ましい実施形態では、場面が複数のＰＴＺカメラを含むときに、システムは、ＰＴＺの場所と目的の地点との地面に投影された２Ｄ（例えば緯度経度など）または３Ｄ座標に、完全にまたは一部に基づいて、１つ以上のＰＴＺを自動的に選択する。
[00140]好ましい実施形態では、システムは、各ＰＴＺから目的物までの距離を、その２Ｄまたは３Ｄ座標に基づいて計算し、その目的物を見るためにその目的物に最も近いＰＴＺを使ようとする。別の規則には、その場面でモデル化されている３Ｄオブジェクトからの遮蔽、ならびにパン、チルト、ズーム値の無効な区域の理由を説明することが含まれ、これらの規則は、どのカメラが、サイト内の特定の選択地点を見るのに最適であるか決定する際に適用される。
[00141]ＰＴＺ校正
[00142]ＰＴＺは３Ｄ場面に合わせた校正を必要とする。この校正は、ＰＴＺから見えるＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）モデル内の３Ｄ（ｘ，ｙ，ｚ）地点を選択することによって行われる。ＰＴＺは、その場所に向けられ、機械的パン、チルト、ズーム値が読み取られ、格納される。これが、そのＰＴＺカメラの場所の周りに分散するモデル内のいくつかの異なる地点において繰り返される。次いで、線形フィットが、各地点に対して、パン、チルトおよびズーム空間それぞれにおいて別個に行われる。ズーム空間は、非線形であることもあり、適合させる前に、製造者検索または経験的検索が行われ得る。線形フィットは、ＰＴＺが動くよう要求される都度、動的に実行される。ＰＴＺが、ある３Ｄ位置を指し示すよう要求されると、そのＰＴＺの場所に対する所望の場所についての、モデル空間におけるパンおよびチルト角度（φ、θ）が計算される。次いで、ＰＴＺの場所に対するすべての校正点についてのφとθが計算される。次いで、線形フィットが、所望の場所に対応するφとθとにより近い校正φとθとにより強く重み付けする重み付き最小二乗法を使って、校正時から格納された機械的パン、チルトおよびズーム値に対して、別々に実行される。
[00143]最小二乗法フィットは、校正φおよびθをｘ座標入力として使用し、ＰＴＺからの測定されたパン、チルトおよびズーム値をｙ座標値として使用する。次いで、最小二乗法フィットは、所与の入力「ｘ」値に出力ｙ値を与えるパラメータを回復する。次いで、所望の地点に対応するφとθが、さらにＰＴＺカメラの機械的指示パン（およびチルト、ズーム）を返すパラメータ化された式（「ｘ」値）を表すコンピュータプログラムに供給される。次いで、これらの求められた値を使って、ＰＴＺユニットの位置、向きおよびズーム表示を制御するためにＰＴＺユニットに送信するのに適した伝記制御信号が決定される。
[00144]没入型監視表示索引付け
[00145]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システム内のビデオおよびその他の情報を統合する利点は、データが、以前は不可能であった方法で索引付けされ得ることである。例えば、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムが、複数のチェックポイントにおいてインストールされているナンバープレート読取りシステムに接続されている場合、（前述の規則ベースのシステムを使った）ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムの単純な問い合わせだけで、その車両のすべてのインスタンスの映像を直ちに示すことができる。通常、これは、非常に手間のかかる作業である。
[00146]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）は、センサの「オペレーティングシステム」である。センサの空間的、アルゴリズム的融合は、監視型アプリケーションにおける検知確率と、目標の正確な識別の確率とを大幅に向上させる。これらのセンサは、ビデオ、音響、地震、磁気、赤外線などを含む、任意の受動型または能動型ものとすることができる。
[00147]図５に、システムのソフトウェアアーキテクチャを示す。本質的に、すべてのセンサ情報が、センサドライバを介してシステムに送られ、これらは、図の最下部に示されている。補助センサ４５は、サイト上で有効な監視を行うための、前述のような任意の能動型／受動型センサである。これらすべてのセンサからの関連情報が、固定カメラ４７およびＰＴＺカメラ４９からのライブビデオと共に、これらすべての情報を融合させるメタデータマネージャ５１に供給される。
[00148]このレベル５１には、システムの基本人工知能を定義する規則ベースの処理がある。規則は、メタデータマネージャ５１の下にある任意の装置４５、４７、または４９を制御することができ、「廊下Ａでいずれかのドアが開けられたときにだけビデオを記録する」、「区域Ｂにおいて、任意の目的物をＰＴＺカメラで自動的に追跡する」、あるいは「ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）に、プロファイルまたは虹彩基準にマッチする人物を密かに観察させ、ズーム表示させる」などの規則とすることができる。
[00149]これらの規則は、（メタデータマネージャの上にあり、メタデータマネージャから表示用データを受け取る）３Ｄレンダリングエンジン５３によってレンダリングされる表示に直接的結果をもたらす。というのは、普通、最後に検証されるのは視覚情報であり、通常、ユーザ／警備員は、目的の物体を密かに観察し、それを拡大表示し、システムによって提供される視覚フィードバックを用いて状況をさらに評価しようとするからである。
[00150]前述のすべての機能は、利用可能なＴＣＰ／ＩＰサービスを用いてリモートで使用され得る。このモジュール５５は、物理的には装置を持たずに、サービスを利用しようとするリモートサイトにＡＰＩを公開する。リモートユーザは、レンダリング画像がリアルタイムでリモートサイトに送られるため、ローカルユーザと同様にアプリケーションの出力を見ることができる。
[00151]また、これは、すべての情報（ビデオセンサ、補助センサおよび空間情報）を１つの移植可能な形式、すなわち、レンダリングリアルタイムのプログラム出力に圧縮する手段でもある。というのは、ユーザが、画面と、キーボードのようなある種の入力装置を除いて、全く装置がなくとも、ローカルで行うのと同様にリモートでこの情報すべてを評価することができるからである。一例として、ハンドヘルドコンピュータを用いてこの情報すべてを評価することなどが挙げられるはずである。
[00152]システムは、システムの様々な表示コンポーネントが、図６に示すように、ユーザに示される表示端末を有する。この表示装置は、特に、オペレータ選択の視点でのレンダリングビデオ監視およびデータを表示させ、その視点を変更し、または別様にシステムを管制するためのマウス、ジョイスティックまたはその他の入力を受け入れるグラフィックユーザインターフェース（ＧＵＩ）を含む。
[00153]視点ナビゲーション制御
[00154]前述の没入型監視システムの設計では、ユーザは、視点に対する制約なしで３Ｄ環境内を自由にナビゲートした。本設計では、ユーザの潜在的視点に対する制約条件があり、それによって、画像品質が向上し、ユーザ対話の複雑度が低減される。
[00155]完全に自由なナビゲーションの欠点の１つが、ユーザが３Ｄ制御（普通は、位置（ｘ，ｙ，ｚ）、回転（ピッチ、方位、ロール）、および視野を含めて、制御すべき７個を超えるパラメータがあるため容易ではない）を熟知していない場合、迷ったり、不満足な視点を生じたりすることになりやすい。そのため、システムは、ユーザが完全な視点を作り出すのを支援する。というのは、各ビデオ投影は、連続した環境のばらばらな部分であり、これらの部分を可能な限りうまく映像化する必要があるからである。支援は、オペレータコンソールを介して、視点階層、クリックによる回転およびズーム表示、地図ベースのナビゲーションなどを提供する形としてもよい。
[00156]視点階層
[00157]視点階層ナビゲーションは、ビデオ投影のばらばらな性質を利用し、本質的には、アプリケーションに応じて、ユーザ対話の複雑度を、７を上回る次元から、おおよそ４以下の次元に低減するものである。これは、環境内の視点階層を作成することによってなされる。この階層を作成する１つの可能な方法は次のとおりである。階層の最下位レベルは、その場面内のカメラ位置および向きと全く同等の視点を表し、おそらく、より大きな状況を取得するためのより広い視野を伴うものである。より上位レベルの視点は、より一層大きいカメラクラスタを示し、階層の最上位ノードは、その場面のすべてのカメラ投影を見る視点を表す。
[00158]この階層がセットアップされると、位置や向きのような絶対パラメータを制御するのではなく、ユーザが場面内のどこを見るべきか簡単に決定し、システムが、この階層を使って、ユーザのために最適な視界を決定し、作成する。また、ユーザは、階層を明示的に上下移動することもでき、ピアノード、すなわち、階層の同じレベルにある横に間隔を置いた視点に移動することもできる。
[00159]すべてのノードが、顧客の必要に応じ、サイト上でのカメラ構成に応じて、前もって慎重に選択されている完全な視点であるため、ユーザは、あまり複雑でない単純な選択だけである視界から別の視界に移動することによって、場面内をナビゲートすることができ、画像品質は、常に、ある制御された閾値を上回る。
[00160]クリックによる回転およびズーム表示
[00161]このナビゲーション方式は、システムのユーザインターフェース装置としてのジョイスティックを必要とせず、マウスが好ましい入力装置である。
[00162]ユーザは、ある視点からの視界として表示される場面を調べているときに、その３Ｄ場面内の目的のオブジェクトをクリックすることによって、その視点をさらに制御することができる。この入力は、視界が回転され、クリックされたオブジェクトは、その視界の中心に置かれるような視点パラメータの変更を生じさせる。オブジェクトが中心に置かれた後で、マウスを使ってさらに入力を行うことにより、そのオブジェクトのズーム表示を行うことができる。このオブジェクト中心のナビゲーションは、ナビゲーションをさらに大幅に直観的なものにする。
[00163]地図ベースの表示およびナビゲーション
[00164]ユーザが、世界のごく一部分を見ているときには、より大きな状況を有する「全体像」を見る、すなわち、サイトの地図を見る必要がある。これは、ユーザが、警報発生に応答して３Ｄ場面の別の部分に迅速に切り換えたいときには、特に有用である。
[00165]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムにおいて、ユーザは、場面の正射投影地図表示にアクセスすることができる。この表示では、様々なセンサを含む場面内のすべてのリソースが、その現在の状況と共に表わされる。また、ビデオセンサも、これらの中に含まれ、ユーザは、この地図表示上の１つ以上のビデオセンサを、その表示されたフットプリントの選択により選択することによって、３Ｄ場面上に所望の最適な視界を作成することができ、システムは、これらすべてのセンサを示す視点に自動的にナビゲートすることによってしかるべく応答する。
[00166]ＰＴＺナビゲーション制御
[00167]パン／チルト／ズーム（ＰＴＺ）カメラは、通常、１つの位置に固定されており、回転し、ズーム表示することができる。ＰＴＺカメラは、前述の項で説明したように、３Ｄ環境に合わせて校正することができる。
[00168]回転およびズーム表示パラメータの導出
[00169]校正が実行されると、３Ｄ環境内の任意の地点の画像が生成され得る。というのは、その地点とＰＴＺカメラの位置が、一意のパン／チルト／ズーム校正を構成する線を生じるからである。ここで、ズームは、特定のサイズ（人間（２ｍまで）、自動車（５ｍまで）、トラック（１５ｍまで）など）を「追跡」するように調整することができ、したがって、ＰＴＺからその地点までの距離に応じて、ＰＴＺは、ズームをしかるべく調整する。ズームは、さらに、状況に応じて、後で調整することもできる。
[00170]ＰＴＺとユーザとの対話の制御
[00171]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムでは、ＰＴＺを備える区域を調べるために、ユーザは、３Ｄ環境のレンダリング画像内のその地点をクリックする。その位置は、ソフトウェアによって、回転角と初期ズーム表示を生成するのに使用される。これらのパラメータは、ＰＴＺコントローラユニットに送られる。ＰＴＺは、その地点に向きを変え、それをズーム表示する。一方で、ＰＴＺユニットは、その直前のパン、チルト、ズームパラメータおよびビデオフィードを送り返す。これらのパラメータは、正確な地点にビデオを投影するために、変換されてＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）座標系に戻され、現在進行中のビデオが投影画像として使用される。したがって、全体の結果は、ＰＴＺが、３Ｄモデル上に投影されたリアルタイム画像と共に、ある地点から別の地点まで旋回する映像となる。
[00172]代替の方法は、３Ｄモデルを使用せずに、キーボードの打ち込みまたは他の任意の入力装置を用いてＰＴＺパン／チルト／ズームを制御することである。これは、ある人物を追跡している間にパンさせたり、チルトさせたりする派生的な動きに役立つことが分かっており、その場合、その人物をクリックし続けるのではなく、ユーザは、事前に割り当てられたキーをクリックする。（例えば、矢印キー左／右／上／下／シフト上／シフト下が、パン左／パン右／チルト上／チルト下／拡大／縮小にマップされ得る）。
[00173]ＰＴＺを制御しながらの場面の映像化
[00174]３ＤモデルのクリックによるＰＴＺの制御および旋回するＰＴＺカメラの映像化については、上記の項で説明している。しかし、この結果をそこから映像化すべき視点は重要となり得る。１つの理想的な方法が、ユーザがそこから場面を見ている視点が、ＰＴＺカメラと同じ位置を有し、ＰＴＺが回転するように回転する、ＰＴＺに「固定された」視点を持つことである。この視野は、普通、ユーザに状況を与える実際のカメラより広い。
[00175]別の有用なＰＴＺ映像化が、視点階層内の上位レベルの視点を選択することである（視点階層参照）。この方法では、複数の固定およびＰＴＺカメラが、１つの視点から映像化され得る。
[00176]複数のＰＴＺ
[00177]場面内に複数のＰＴＺがあるときには、どのＰＴＺをどこで、どんな状況で使用すべきかに関する規則をシステムに課すことができる。これらの規則は、範囲地図、パン／チルト／ズーム図などの形とすることができる。場面内の特定の地点について視界が求められる場合、その地点についての、これらすべての試験に通るＰＴＺの組が、それらをＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）で示したり、ビデオマトリックスビューアに送ったりするなどの結果として生じるプロセスに使用される。
[00178]３Ｄ／２Ｄビルボーディング
[00179]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）のレンダリングエンジンは、通常、映像化のために３Ｄ場面上にビデオを投影する。しかし、特に、カメラの視野が狭すぎ、観察点がカメラと異なりすぎているとき、ビデオが３Ｄ環境に投影されるときに過剰なゆがみが生じる。ビデオを表示しつつも、なお、空間的状況を保持するために、場面に関するビデオフィードを示す方法としてビルボーディングが導入される。ビルボードは、元のカメラの場所に近接して示される。また、カメラのカバーエリアも示され、ビルボードにリンクされる。
[00180]ゆがみは、元の画像と投影画像の間の形状モルフォロジ、画像サイズ差などを含む、複数の尺度によって検出され得る。
[00181]各ビルボードは、本質的に、見る人の視線に対して直角な没入型画像内に吊り下げられた画面として表示され、カメラからその画面上に、通常は、没入型環境内にゆがめられて表示されるはずのビデオが表示される。ビルボードは３Ｄオブジェクトであるため、カメラが視点から遠くなるほど、ビルボードも小さくなり、したがって、空間的状況が正確に保持される。
[00182]何百台ものカメラがあるアプリケーションでも、ビルボーディングは、やはり、実際に有効であることを立証し得る。１６００×１２００の画面では、平均サイズがおおよそ１００×７５である、２５０を超えるビルボードが、１つの場面で見えるはずである。当然ながら、この大きさでは、ビルボードは、場面全体のライブテクスチャとして機能することになる。
[00183]以上は、本発明の実施形態を対象としているが、本発明の基本的な範囲を逸脱することなく本発明の別の実施形態が考案されてもよく、本発明の範囲は、添付の特許請求の範囲によって決定されるものである。
ビデオ制御室における従来の動作モードが、どのようにして、全体的なマルチカメラ映像化および効果的な侵害処理のための映像化環境に変換されるかを示す図である。 脅威を評価するための包括的なツールセットを提供するモジュールを示す図である。 ＤＶＲおよびＰＴＺユニットへの制御インターフェースを用いて高解像度画面上に提示されるビデオオーバーレイを示す図である。 地図表示上の強調表示アイコンとテキストリスト表示としてユーザに提示される情報を示す図である。 警報が活動状態であるか否か指示するために着色されている領域を示す図である。 数台または数百台のカメラによる迅速なビデオカメラの覆いシステムの拡張性のあるシステムアーキテクチャを示す図である。 本発明の視界選択システム（Ｖｉｅｗ Ｓｅｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ）を示す図である。 本発明のシステムにおける、同期されたデータ取り込み、再生および表示を示す図である。 本発明のシステムにおけるデータインテグレータおよび表示を示す図である。 没入型ビデオシステムと共に使用される地図ベースの表示を示す図である。 システムのソフトウェアアーキテクチャを示す図である。

Claims (28)

  1. サイトの監視システムであって、
    それぞれが前記サイトの個々の部分の個々のビデオを生成する複数のカメラと、
    ユーザが、前記サイトまたは前記サイトの一部をそこから見るための前記サイト内の視点を選択的に識別することができるように構成されている視点セレクタと、
    前記複数のカメラから前記ビデオを受け取るように前記複数のカメラに結合されているビデオプロセッサであり、前記サイトのコンピュータモデルにアクセスすることができ、前記コンピュータモデルから、前記ビデオの少なくとも１つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記視点からの前記サイトの視野に対応するリアルタイム画像をレンダリングし、前記画像を、ユーザからリアルタイムで見えるように表示する前記ビデオプロセッサと、
    前記視点に基づいて、前記ビデオプロセッサによってレンダリングされた前記視点からの前記サイトの前記視野に関連するビデオを生成する前記複数のカメラのサブセットを自動的に選択し、前記カメラのサブセットからのビデオを前記ビデオプロセッサに送信させるビデオ制御システムと
    を備える監視システム。
  2. 前記ビデオ制御システムが、前記視野に関連するものとして選択された前記カメラのサブセットから前記ビデオの前記ビデオプロセッサへの送信を可能にし、前記カメラのサブセットに含まれない前記複数のカメラのうちのカメラの少なくとも一部からの前記ビデオの前記ビデオプロセッサへの送信を妨げるビデオスイッチャを含む、請求項１に記載の没入型監視システム。
  3. 前記カメラが、前記カメラの前記ビデオを、ネットワークを介し、１つ以上のサーバを経由して前記ビデオプロセッサに流し、前記ビデオスイッチャが、前記カメラの前記サブセットに含まれない前記カメラの前記ビデオの少なくとも一部の前記ネットワークを介したストリーミングを妨げるように前記サーバと通信を行う、請求項２に記載の没入型監視システム。
  4. 前記カメラが、前記カメラの前記ビデオを、通信回線を介して前記ビデオプロセッサに送信し、前記ビデオスイッチャが、前記カメラのサブセットに含まれない前記カメラの前記ビデオの少なくとも一部の前記通信回線に沿った流れをオフにするアナログマトリックススイッチ装置である、請求項２に記載の没入型監視システム。
  5. 前記ビデオ制御システムが、前記視点と前記複数のカメラのそれぞれとの間の距離を求め、前記視点への最短距離を有する前記カメラを含むように前記カメラの前記サブセットを選択する、請求項１に記載の没入型監視システム。
  6. 前記視点セレクタが、前記ユーザが、表示装置上で前記画像を見ながら、前記コンピュータモデル内の前記視点を識別するためのコンピュータステーションにおける対話型表示である、請求項１に記載の没入型監視システム。
  7. 前記コンピュータモデルが、前記サイトの３Ｄモデルである、請求項１に記載の没入型監視システム。
  8. 前記視点セレクタが、オペレータ入力またはイベントに応答した自動信号を受け取り、受け取ったことに応答して前記視点を第２の視点に変更し、
    前記ビデオ制御システムが、前記第２の視点に基づいて、前記ビデオプロセッサによってレンダリングされた前記第２の視点からの前記サイトの前記視野に関連するビデオを生成する前記複数のカメラの第２のサブセットを自動的に選択し、前記異なるカメラのサブセットからのビデオを前記ビデオプロセッサに送信させる、請求項１に記載の没入型監視システム。
  9. 前記視点セレクタが、前記視点を変更する前記オペレータ入力を受け取り、前記変更が、前記視点の前記第２の視点への連続移動であり、前記連続移動が、前記表示パス外の移動が、前記表示パス外の移動を指図するオペレータ入力があっても抑制されるように、前記視点セレクタによって許可された前記表示パスだけに制約される、請求項８に記載の没入型監視システム。
  10. 前記カメラの少なくとも１つが、制御可能な方向またなズームパラメータを有するＰＴＺカメラであり、前記ビデオ制御システムが、前記ＰＴＺカメラが前記視野に関連するデータを提供するように、前記カメラに、前記ＰＴＺカメラの前記方向またはズームパラメータを調整させるために前記ＰＴＺカメラに制御信号を送信する、請求項１に記載の没入型監視システム。
  11. サイトの監視システムであって、
    それぞれが個々のデータストリームを生成する複数のカメラであり、各データストリームが、それぞれ前記サイトの一部のリアルタイム画像に対応する一連のビデオフレームを含み、各フレームが、前記リアルタイム画像が前記関連付けられたカメラによって作成された時刻を示すタイムスタンプを有する前記カメラと、
    前記カメラから前記データストリームを受け取り、記録するレコーダと、
    前記レコーダと接続されており、前記レコーダからの前記記録されたデータストリームの再生を提供するビデオ処理システムであり、前記記録されたデータストリームの再生時に、前記サイトのモデルの再生視点からの視界の画像をレンダリングし、前記画像に、前記視界に関連する前記カメラの少なくとも２つからの前記記録されたデータストリームを適用するレンダラを有する、前記ビデオ処理システムと
    を備え、
    前記ビデオ処理システムが、再生時に前記レコーダシステムから前記記録されたデータストリームを受け取り、前記記録されたデータストリームを、すべてが同時に撮影されたものであるビデオフレームと共に各画像がレンダリングされるように同期された形で前記レンダラに配信するシンクロナイザを含む、監視システム。
  12. 前記シンクロナイザが、前記データストリームを、前記データストリームの前記ビデオフレームの前記タイムスタンプに基づいて同期させる、請求項１１に記載の没入型監視システム。
  13. 前記レコーダが、前記レコーダに、前記複数のデータストリームを同期された形式で格納させ、同期を可能にするために前記複数のデータストリームの前記タイムスタンプを読み取るコントローラに結合されている、請求項１２に記載の没入型監視システム。
  14. 前記モデルが３Ｄモデルである、請求項１１に記載の没入型監視システム。
  15. それぞれがサイトの個々の部分の個々のビデオを生成する複数のカメラと、
    前記複数のカメラと接続されており、前記複数のカメラの前記ビデオを受け取る画像プロセッサであり、前記サイトのモデルに基づく視点についてレンダリングされ、前記視点に関連する複数の前記ビデオと組み合わされた画像を生成する前記画像プロセッサと、
    前記画像プロセッサに結合されており、前記レンダリング画像を表示する表示装置と、
    前記画像プロセッサに結合されており、前記画像プロセッサに、表示されるべき前記視点を定義するデータを提供する視界コントローラであり、ユーザが、前記視点を選択的に変更できるようにし、前記視点の前記変更を、事前に選択された視点の組だけに制約する対話型ナビゲーションコンポーネントと結合されており、前記ナビゲーションコンポーネントから入力を受け取る前記視界コントローラと
    を備える没入型監視システム。
  16. 前記視界コントローラが、前記視点の表示位置の変更を計算する、請求項１５に記載の没入型監視システム。
  17. 前記ユーザが前記視点を第２の視点に変更するときに、前記視界コントローラが、前記第１の視点に関連する前記ビデオ以外の任意のビデオが前記第２の視点に関連するかどうか判定し、前記視界コントローラによって前記第２の視点に関連すると識別された任意の追加のビデオを使って、前記第２の視点について第２の画像がレンダリングされる、請求項１５に記載の没入型監視システム。
  18. それぞれがサイトの個々の部分の個々のビデオを生成する複数のカメラと、ユーザから見えるように画像を表示する表示装置を備える表示ステーションとを有する没入型監視システムの方法であって、
    前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
    前記視野に関連するビデオを生成することができるような場所にある、前記カメラの１つ以上のサブグループを識別するステップと、
    前記カメラのサブグループからビデオプロセッサに前記ビデオを送信するステップと、
    前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも１つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
    前記画像をビューアに表示するステップと、
    前記サブグループに含まれていない前記カメラの少なくとも一部からの前記ビデオを、前記ビデオレンダリングシステムに送信させず、それによって、前記ビデオプロセッサに送信されるデータ量を低減させるステップと、
    を備える方法。
  19. 前記カメラのサブグループからの前記ビデオが、ネットワークを介して、前記カメラに関連付けられたサーバを経由して前記ビデオプロセッサに送信され、ビデオを送信させないようにすることは、前記ネットワークを介して、前記カメラの前記サブグループに含まれていない前記カメラの少なくとも１つと関連付けられている少なくとも１つのサーバに、前記サーバが、前記少なくとも１つのカメラの前記ビデオを送信しないよう伝えることによって実現される、請求項１８に記載の方法。
  20. 新しい視野および／または新しい視点が定義されるような前記視点および／または前記視野の変更を指示する入力を受け取るステップと、
    前記新しい視野または新しい視点に関連するビデオを生成することのできる前記カメラの第２のサブグループを決定するステップと、
    前記カメラの前記第２のサブグループからの前記ビデオを前記ビデオプロセッサに送信させるステップと、
    をさらに備え、
    前記ビデオプロセッサが、前記コンピュータモデルと前記受け取ったビデオとを使用して、前記新しい視野または新しい視点の新しい画像をレンダリングし、
    前記第２のグループに含まれていない前記カメラの少なくとも一部からのビデオを、前記ビデオプロセッサに送信させない、請求項１８に記載の方法。
  21. 前記第１と第２のグループが、前記カメラの少なくとも１つを共有し、各サブグループが、他方のサブグループに含まれていない前記サブグループの少なくとも１つのカメラを有する、請求項２０に記載の方法。
  22. 前記サブグループが、それぞれ、前記サブグループ内に前記カメラの個々の１つだけを有する、請求項２０に記載の方法。
  23. 前記サブグループ内の前記カメラの１つが、制御可能な方向またはズームを有するカメラであり、前記カメラに、前記カメラの前記方向またはズームを調整させるような制御信号を送信するステップをさらに備える、請求項１８に記載の方法。
  24. それぞれがサイトの一部のリアルタイム画像に対応する一連のビデオフレームの個々のデータストリームをそれぞれが生成する複数のカメラを有するサイトの監視システムの方法であって、
    前記リアルタイム画像が前記関連付けられたカメラによって作成された時刻を指示するタイムスタンプを各フレームが有する前記カメラの前記データストリームを、１つ以上のレコーダに、同期された形式で一緒に記録するステップと、
    前記レコーダに、前記カメラの前記記録されたデータストリームをビデオプロセッサに送信させるために前記レコーダと通信を行うステップと、
    前記記録されたデータストリームを受け取り、前記データストリームの前記タイムスタンプに基づいて前記データストリームの前記フレームを同期させるステップと、
    前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
    前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも２つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
    前記画像をビューアに表示するステップと、
    を備え、
    各レンダリング画像ごとに重ね合わされる前記ビデオが、すべてが同じ期間を指示するタイムスタンプを有するフレームからのものである方法。
  25. 受け取った入力に応答して、前記ビデオが、順方向と逆方向とに選択的に再生される、請求項２４に記載の方法。
  26. 前記再生が、前記レコーダにコマンド信号を送信することによって、前記ビデオプロセッサの場所から制御される、請求項２５に記載の方法。
  27. 視野および／または視点の新しい視野への変更を指図する入力を受け取ることをさらに備え、前記ビデオプロセッサが、前記コンピュータモデルと前記新しい視点および／または視野の前記ビデオから画像を生成する、請求項２４に記載の方法。
  28. それぞれがサイトの一部のリアルタイム画像に対応する一連のビデオフレームの個々のデータストリームをそれぞれが生成する複数のカメラを有するサイトの監視システムの方法であって、
    前記カメラの前記記録されたデータストリームをビデオプロセッサに送信するステップと、
    前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
    前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも２つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
    前記画像をビューアに表示するステップと、
    オペレータが、前記サイトを通るパスに対応するすべての可能な変更のうちの限定された一部である、前記視点または前記視点の新しい視野への変更のみを入力することができるように制約されている、前記視点および／または視野の変更を指示する入力を受け取るステップと、
    を備える方法。
JP2007515644A 2004-06-01 2005-06-01 ビデオフラッシュライトを実行する方法およびシステム Pending JP2008502228A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US57589504P 2004-06-01 2004-06-01
US57589404P 2004-06-01 2004-06-01
US57605004P 2004-06-01 2004-06-01
PCT/US2005/019672 WO2005120071A2 (en) 2004-06-01 2005-06-01 Method and system for performing video flashlight

Publications (1)

Publication Number Publication Date
JP2008502228A true JP2008502228A (ja) 2008-01-24

Family

ID=35463639

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2007515644A Pending JP2008502228A (ja) 2004-06-01 2005-06-01 ビデオフラッシュライトを実行する方法およびシステム
JP2007515645A Pending JP2008502229A (ja) 2004-06-01 2005-06-01 ビデオフラッシュライト／視覚警報
JP2007515648A Pending JP2008512733A (ja) 2004-06-01 2005-06-01 広範囲のセキュリティ監視、センサ管理および状況認識の方法およびシステム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2007515645A Pending JP2008502229A (ja) 2004-06-01 2005-06-01 ビデオフラッシュライト／視覚警報
JP2007515648A Pending JP2008512733A (ja) 2004-06-01 2005-06-01 広範囲のセキュリティ監視、センサ管理および状況認識の方法およびシステム

Country Status (9)

Country Link
US (1) US20080291279A1 (ja)
EP (3) EP1769635A2 (ja)
JP (3) JP2008502228A (ja)
KR (3) KR20070053172A (ja)
AU (3) AU2005251372B2 (ja)
CA (3) CA2569671A1 (ja)
IL (3) IL179783A0 (ja)
MX (1) MXPA06013936A (ja)
WO (3) WO2005120072A2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262133A (ja) * 2005-03-17 2006-09-28 Hitachi Kokusai Electric Inc 監視カメラシステム
JP2012124839A (ja) * 2010-12-10 2012-06-28 Secom Co Ltd 画像監視装置
WO2013129188A1 (ja) * 2012-02-29 2013-09-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129190A1 (ja) * 2012-02-29 2013-09-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129187A1 (ja) * 2012-02-29 2013-09-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211818A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211820A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013210989A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211821A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013210990A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211819A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211822A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013214943A (ja) * 2012-02-29 2013-10-17 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013214944A (ja) * 2012-02-29 2013-10-17 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
US9851877B2 (en) 2012-02-29 2017-12-26 JVC Kenwood Corporation Image processing apparatus, image processing method, and computer program product
JP2020036116A (ja) * 2018-08-28 2020-03-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2021525911A (ja) * 2018-05-30 2021-09-27 ソニー・インタラクティブエンタテインメント エルエルシー マルチサーバクラウド仮想現実（ｖｒ）ストリーミング

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
DE102005062468A1 (de) * 2005-12-27 2007-07-05 Robert Bosch Gmbh Verfahren zur Synchronisation von Datenströmen
US8364646B2 (en) 2006-03-03 2013-01-29 Eyelock, Inc. Scalable searching of biometric databases using dynamic selection of data subsets
US20070252809A1 (en) * 2006-03-28 2007-11-01 Io Srl System and method of direct interaction between one or more subjects and at least one image and/or video with dynamic effect projected onto an interactive surface
CA2643768C (en) * 2006-04-13 2016-02-09 Curtin University Of Technology Virtual observer
US8604901B2 (en) 2006-06-27 2013-12-10 Eyelock, Inc. Ensuring the provenance of passengers at a transportation facility
US8965063B2 (en) 2006-09-22 2015-02-24 Eyelock, Inc. Compact biometric acquisition system and method
US20080074494A1 (en) * 2006-09-26 2008-03-27 Harris Corporation Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods
WO2008042879A1 (en) 2006-10-02 2008-04-10 Global Rainmakers, Inc. Fraud resistant biometric financial transaction system and method
US20080129822A1 (en) * 2006-11-07 2008-06-05 Glenn Daniel Clapp Optimized video data transfer
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US20080122932A1 (en) * 2006-11-28 2008-05-29 George Aaron Kibbie Remote video monitoring systems utilizing outbound limited communication protocols
US8287281B2 (en) 2006-12-06 2012-10-16 Microsoft Corporation Memory training via visual journal
US20080143831A1 (en) * 2006-12-15 2008-06-19 Daniel David Bowen Systems and methods for user notification in a multi-use environment
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US7779104B2 (en) * 2007-01-25 2010-08-17 International Business Machines Corporation Framework and programming model for efficient sense-and-respond system
KR100876494B1 (ko) 2007-04-18 2008-12-31 한국정보통신대학교 산학협력단 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법
WO2008131201A1 (en) 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
ITMI20071016A1 (it) 2007-05-19 2008-11-20 Videotec Spa Metodo e sistema per sorvegliare un ambiente
US8049748B2 (en) * 2007-06-11 2011-11-01 Honeywell International Inc. System and method for digital video scan using 3-D geometry
GB2450478A (en) * 2007-06-20 2008-12-31 Sony Uk Ltd A security device and system
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
US9002073B2 (en) 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
WO2009029757A1 (en) 2007-09-01 2009-03-05 Global Rainmakers, Inc. System and method for iris data acquisition for biometric identification
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
KR101187909B1 (ko) 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
US8208024B2 (en) * 2007-11-30 2012-06-26 Target Brands, Inc. Communication and surveillance system
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
GB2457707A (en) * 2008-02-22 2009-08-26 Crockford Christopher Neil Joh Integration of video information
KR100927823B1 (ko) * 2008-03-13 2009-11-23 한국과학기술원 광역 상황 인식 서비스 대행 장치, 이를 이용한 광역 상황인식 서비스 시스템 및 방법
US20090237492A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced stereoscopic immersive video recording and viewing
FR2932351B1 (fr) * 2008-06-06 2012-12-14 Thales Sa Procede d'observation de scenes couvertes au moins partiellement par un ensemble de cameras et visualisables sur un nombre reduit d'ecrans
WO2009158662A2 (en) 2008-06-26 2009-12-30 Global Rainmakers, Inc. Method of reducing visibility of illimination while acquiring high quality imagery
EP2324460B1 (en) * 2008-08-12 2013-06-19 Google, Inc. Touring in a geographic information system
US20100091036A1 (en) * 2008-10-10 2010-04-15 Honeywell International Inc. Method and System for Integrating Virtual Entities Within Live Video
FR2943878B1 (fr) * 2009-03-27 2014-03-28 Thales Sa Systeme de supervision d'une zone de surveillance
US20120188333A1 (en) * 2009-05-27 2012-07-26 The Ohio State University Spherical view point controller and method for navigating a network of sensors
US20110002548A1 (en) * 2009-07-02 2011-01-06 Honeywell International Inc. Systems and methods of video navigation
EP2276007A1 (en) * 2009-07-17 2011-01-19 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Method and system for remotely guarding an area by means of cameras and microphones.
US20110058035A1 (en) * 2009-09-02 2011-03-10 Keri Systems, Inc. A. California Corporation System and method for recording security system events
US20110063448A1 (en) * 2009-09-16 2011-03-17 Devin Benjamin Cat 5 Camera System
KR101648339B1 (ko) * 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
WO2011059193A2 (en) * 2009-11-10 2011-05-19 Lg Electronics Inc. Method of recording and replaying video data, and display device using the same
EP2325820A1 (en) * 2009-11-24 2011-05-25 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO System for displaying surveillance images
US9430923B2 (en) * 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
US8363109B2 (en) * 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US8803970B2 (en) * 2009-12-31 2014-08-12 Honeywell International Inc. Combined real-time data and live video system
US20110279446A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
DE102010024054A1 (de) * 2010-06-16 2012-05-10 Fast Protect Ag Verfahren zum Zuordnen eines Videobilds der realen Welt zu einem dreidimensionalen Computermodell der realen Welt
CN101916219A (zh) * 2010-07-05 2010-12-15 南京大学 一种片上多核网络处理器流媒体演示平台
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
US10043229B2 (en) 2011-01-26 2018-08-07 Eyelock Llc Method for confirming the identity of an individual while shielding that individual's personal data
BR112013021160B1 (pt) 2011-02-17 2021-06-22 Eyelock Llc Método e aparelho para processar imagens adquiridas usando um único sensor de imagens
US8478711B2 (en) 2011-02-18 2013-07-02 Larus Technologies Corporation System and method for data fusion with adaptive learning
TWI450208B (zh) * 2011-02-24 2014-08-21 Acer Inc ３ｄ計費方法以及具有計費功能之３ｄ眼鏡與播放裝置
WO2012158825A2 (en) 2011-05-17 2012-11-22 Eyelock Inc. Systems and methods for illuminating an iris with visible light for biometric acquisition
KR101302803B1 (ko) * 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
US8970349B2 (en) * 2011-06-13 2015-03-03 Tyco Integrated Security, LLC System to provide a security technology and management portal
US20130086376A1 (en) * 2011-09-29 2013-04-04 Stephen Ricky Haynes Secure integrated cyberspace security and situational awareness system
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
CN103096141B (zh) * 2011-11-08 2019-06-11 华为技术有限公司 一种获取视觉角度的方法、装置及系统
US9210300B2 (en) * 2011-12-19 2015-12-08 Nec Corporation Time synchronization information computation device for synchronizing a plurality of videos, time synchronization information computation method for synchronizing a plurality of videos and time synchronization information computation program for synchronizing a plurality of videos
US9838651B2 (en) * 2012-08-10 2017-12-05 Logitech Europe S.A. Wireless video camera and connection methods including multiple video or audio streams
US9124778B1 (en) * 2012-08-29 2015-09-01 Nomi Corporation Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest
US10262460B2 (en) * 2012-11-30 2019-04-16 Honeywell International Inc. Three dimensional panorama image generation systems and methods
US10924627B2 (en) * 2012-12-31 2021-02-16 Virtually Anywhere Content management for virtual tours
US10931920B2 (en) * 2013-03-14 2021-02-23 Pelco, Inc. Auto-learning smart tours for video surveillance
WO2014182898A1 (en) * 2013-05-09 2014-11-13 Siemens Aktiengesellschaft User interface for effective video surveillance
EP2819012B1 (en) * 2013-06-24 2020-11-11 Alcatel Lucent Automated compression of data
US20140375819A1 (en) * 2013-06-24 2014-12-25 Pivotal Vision, Llc Autonomous video management system
WO2015038039A1 (en) * 2013-09-10 2015-03-19 Telefonaktiebolaget L M Ericsson (Publ) Method and monitoring centre for monitoring occurrence of an event
IN2013CH05777A (ja) * 2013-12-13 2015-06-19 Indian Inst Technology Madras
CN103714504A (zh) * 2013-12-19 2014-04-09 浙江工商大学 一种基于rfid的城市复杂事件追踪方法
JP5866499B2 (ja) * 2014-02-24 2016-02-17 パナソニックＩｐマネジメント株式会社 監視カメラシステム及び監視カメラシステムの制御方法
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10061486B2 (en) * 2014-11-05 2018-08-28 Northrop Grumman Systems Corporation Area monitoring system implementing a virtual environment
US9900583B2 (en) 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh
US9990821B2 (en) * 2015-03-04 2018-06-05 Honeywell International Inc. Method of restoring camera position for playing video scenario
WO2016145443A1 (en) * 2015-03-12 2016-09-15 Daniel Kerzner Virtual enhancement of security monitoring
US9767564B2 (en) 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
CN107094244B (zh) * 2017-05-27 2019-12-06 北方工业大学 可集中管控的智能客流监测装置与方法
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
US11210859B1 (en) * 2018-12-03 2021-12-28 Occam Video Solutions, LLC Computer system for forensic analysis using motion video
EP3989537B1 (en) * 2020-10-23 2023-05-03 Axis AB Alert generation based on event detection in a video feed
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164394A (ja) * 1996-12-02 1998-06-19 Hitachi Ltd 情報伝送方法及び情報記録方法と該方法を実施する装置
JPH10234032A (ja) * 1997-02-20 1998-09-02 Victor Co Of Japan Ltd 監視映像表示装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2000253391A (ja) * 1999-02-26 2000-09-14 Hitachi Ltd パノラマ映像生成システム
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2057961C (en) * 1991-05-06 2000-06-13 Robert Paff Graphical workstation for integrated security system
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
JP3450619B2 (ja) * 1995-12-19 2003-09-29 キヤノン株式会社 通信装置、画像処理装置、通信方法及び画像処理方法
US6002995A (en) * 1995-12-19 1999-12-14 Canon Kabushiki Kaisha Apparatus and method for displaying control information of cameras connected to a network
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US5966074A (en) * 1996-12-17 1999-10-12 Baxter; Keith M. Intruder alarm with trajectory display
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US20020097322A1 (en) * 2000-11-29 2002-07-25 Monroe David A. Multiple video display configurations and remote control of multiple video signals transmitted to a monitoring station over a network
US6583813B1 (en) * 1998-10-09 2003-06-24 Diebold, Incorporated System and method for capturing and searching image data associated with transactions
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6556206B1 (en) * 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6741250B1 (en) * 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US20020140819A1 (en) * 2001-04-02 2002-10-03 Pelco Customizable security system component interface and method therefor
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164394A (ja) * 1996-12-02 1998-06-19 Hitachi Ltd 情報伝送方法及び情報記録方法と該方法を実施する装置
JPH10234032A (ja) * 1997-02-20 1998-09-02 Victor Co Of Japan Ltd 監視映像表示装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2000253391A (ja) * 1999-02-26 2000-09-14 Hitachi Ltd パノラマ映像生成システム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262133A (ja) * 2005-03-17 2006-09-28 Hitachi Kokusai Electric Inc 監視カメラシステム
JP2012124839A (ja) * 2010-12-10 2012-06-28 Secom Co Ltd 画像監視装置
JP2013211819A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211822A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129187A1 (ja) * 2012-02-29 2013-09-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211818A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211820A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013210989A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211821A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013210990A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129188A1 (ja) * 2012-02-29 2013-09-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129190A1 (ja) * 2012-02-29 2013-09-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP2013214943A (ja) * 2012-02-29 2013-10-17 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013214944A (ja) * 2012-02-29 2013-10-17 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
US9851877B2 (en) 2012-02-29 2017-12-26 JVC Kenwood Corporation Image processing apparatus, image processing method, and computer program product
JP2021525911A (ja) * 2018-05-30 2021-09-27 ソニー・インタラクティブエンタテインメント エルエルシー マルチサーバクラウド仮想現実（ｖｒ）ストリーミング
JP7273068B2 (ja) 2018-05-30 2023-05-12 ソニー・インタラクティブエンタテインメント エルエルシー マルチサーバクラウド仮想現実（ｖｒ）ストリーミング
JP2023100769A (ja) * 2018-05-30 2023-07-19 ソニー・インタラクティブエンタテインメント エルエルシー マルチサーバクラウド仮想現実（ｖｒ）ストリーミング
JP7538284B2 (ja) 2018-05-30 2024-08-21 ソニー・インタラクティブエンタテインメント エルエルシー マルチサーバクラウド仮想現実（ｖｒ）ストリーミング
JP2020036116A (ja) * 2018-08-28 2020-03-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP7254464B2 (ja) 2018-08-28 2023-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP7459341B2 (ja) 2018-08-28 2024-04-01 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
AU2005251372A1 (en) 2005-12-15
IL179783A0 (en) 2007-05-15
AU2005322596A1 (en) 2006-07-06
AU2005251371A1 (en) 2005-12-15
WO2005120071A2 (en) 2005-12-15
IL179781A0 (en) 2007-05-15
EP1769636A2 (en) 2007-04-04
WO2005120071A3 (en) 2008-09-18
KR20070041492A (ko) 2007-04-18
MXPA06013936A (es) 2007-08-16
CA2569524A1 (en) 2005-12-15
WO2005120072A3 (en) 2008-09-25
JP2008502229A (ja) 2008-01-24
US20080291279A1 (en) 2008-11-27
KR20070053172A (ko) 2007-05-23
WO2006071259A3 (en) 2008-08-21
EP1759304A2 (en) 2007-03-07
WO2006071259A2 (en) 2006-07-06
EP1769635A2 (en) 2007-04-04
KR20070043726A (ko) 2007-04-25
AU2005251372B2 (en) 2008-11-20
WO2005120072A2 (en) 2005-12-15
CA2569671A1 (en) 2006-07-06
IL179782A0 (en) 2007-05-15
JP2008512733A (ja) 2008-04-24
CA2569527A1 (en) 2005-12-15

Similar Documents

Publication Publication Date Title
JP2008502228A (ja) ビデオフラッシュライトを実行する方法およびシステム
US7633520B2 (en) Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
US20190037178A1 (en) Autonomous video management system
US10019877B2 (en) Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
CN101375599A (zh) 用于执行视频监视的方法和系统
US8289390B2 (en) Method and apparatus for total situational awareness and monitoring
US8502868B2 (en) Intelligent camera selection and object tracking
Milosavljević et al. Integration of GIS and video surveillance
US20070226616A1 (en) Method and System For Wide Area Security Monitoring, Sensor Management and Situational Awareness
EP2499621A1 (en) System and method for annotating video with geospatially referenced data
JP4722537B2 (ja) 監視装置
KR102107189B1 (ko) 3ｄ 화면 상에 지하철 역사의 시설물 이력 관리 및 상태 관리 시스템 및 방법
GB2457707A (en) Integration of video information
MXPA06001363A (en) Method and system for performing video flashlight
CN113573024A (zh) 一种适用于Sharing VAN场站的AR实景监控系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110222