JP2007080262A - ３次元マルチカメラビデオナビゲーション支援システム、３次元マルチカメラビデオナビゲーション支援方法、３次元マルチカメラビデオナビゲーション支援プログラム - Google Patents

Abstract

【課題】２次元表示から没入型３次元環境を生成することによって、３次元マルチカメラビデオのナビゲーションを支援する。
【解決手段】内容解析モジュールは、監視下にある現場の３次元意味論的レイアウトを生成し、レンダリングモジュールは、複数のカメラからのビデオストリームと前記３次元意味論的レイアウトとを３次元没入型環境に統合し、ユーザナビゲーションインターフェースの複数の表示において該ビデオストリームをレンダリングし、ユーザナビゲーションインターフェースは、複数の前記表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、ユーザに実行させる。
【選択図】図１

Description

本発明は、マルチカメラビデオの監視、表示、ナビゲーションの分野に関する。詳細には、本発明は、３次元マルチカメラビデオのナビゲーションを支援するシステム、３次元マルチカメラビデオのナビゲーションを支援する方法、及び、３次元マルチカメラビデオのナビゲーションを支援するプログラムに関する。

近年、多数のビデオ監視システムの台頭が見られるが、該システムの大部分は、複数のカメラからなる。このようなシステムのビデオストリームの可視化（ビジュアライゼーション）は２次元（２−Ｄ）に限られていたため、各カメラが捕捉（キャプチャ）する物理的シーンの空間位置を保安要員が連続的に追跡するには手間が掛かりすぎた。従って、２次元表示から、没入型３次元環境を生成することによって、この難題を解決することが望まれる。この没入型３次元環境において、保安要員は、マウスをクリックして、ナビゲーションを直観的に行い、シーンの隅々まで詳しく調べることができる。
スタウファー Ｃ．（Stauffer C）、グリムソン Ｗ．Ｅ．Ｌ．（Grimson W.E.L）、「リアルタイム追跡によるアクティビティパターン学習（Learning patterns of activity using real-time tracking）、パターン解析及びマシンインテリジェンスに関するＩＥＥＥトランザクション（IEEE Transactions on Pattern Analysis & Machine Intelligence）、２０００年、２２（８）、頁７４７〜７５７ ヴィオラ Ｐ．（Viola P.）、ジョーンズ Ｍ．Ｊ．（Jones M.J.）、スノー Ｄ．（Snow D.）、「モーションパターン及び外観による歩行者検出（ Detecting Pedestrians Using Patterns of Motion and Appearance）」、コンピュータビジョンに関するＩＥＥＥインターナショナルカンファレンス（IEEE International Conference on Computer Vision (ICCV)）、２００３年１０月、Vol. 2、頁７３４〜７４１ カメダ Ｙ．（Kameda Y.）、タケマサ Ｔ．（Takemasa T.）、オオタ Ｙ．（Ohta Y.）、「調査カメラを利用したアウトドアシースルービジョン（Outdoor see-through vision utilizing surveillance cameras）」、混合及び拡張現実に関する第３回ＩＥＥＥ及びＡＣＭインターナショナルシンポジウム（Third IEEE and ACM International Symposium on Mixed and Augmented Reality）、２００４年１１月２〜５日、頁１５１〜１６０

本発明は、上記に鑑み、２次元表示から没入型３次元環境を生成することによって、３次元マルチカメラビデオのナビゲーションを支援することを課題とする。

本発明の種々の実施の形態によって、複数のカメラから捕捉されたビデオストリーム（ビデオ）をユーザに監視させ、ナビゲートさせるユーザナビゲーションインターフェースが提供される。該インターフェースは、３次元没入型環境に複数のカメラからのビデオストリームと意味論的レイアウトとを統合し、ユーザナビゲーションインターフェース上の複数の表示においてビデオストリームをレンダリングする。該ユーザナビゲーションインターフェースは、カメラの空間分布及びカメラの視野を伝達し、ユーザに、プリセットされた視点（ビュー）間で自在にナビゲートさせたり、あるいは、視点（ビュー）を切り替えさせたりする。さらに、ユーザナビゲーションインターフェースは、最大画面解像度の表示で、オブジェクトの最適な視点（ビュー）を有するように、ユーザにビデオストリームの移動オブジェクトを追跡させる。

本発明の第１の態様は、３次元マルチカメラビデオナビゲーションを支援するシステムであって、監視下にある現場の３次元意味論的レイアウトを生成するために動作可能な内容解析モジュールと、複数のカメラからのビデオストリームと前記３次元意味論的レイアウトとを３次元没入型環境に統合し、ユーザナビゲーションインターフェースの複数の表示において該ビデオストリームをレンダリングするために動作可能なレンダリングモジュールと、複数の前記表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、ユーザに実行させるために動作可能なユーザナビゲーションインターフェースと、を含む。

本発明の第２の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせるために動作可能な３次元レイアウト生成モジュールをさらに含む。

本発明の第３の態様は、第２の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記ユーザナビゲーションインターフェースは、さらに、内容ベースモード及び幾何ベースモードの間で、ユーザをシームレスに移行させるために動作可能である。

本発明の第４の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記ビデオストリームにおける移動オブジェクトを検出及び分割するために動作可能な背景差分モジュールと、前記背景差分モジュールからのビデオストリームにおける雑音を除去するために動作可能な形態学的オペレータと、前記ビデオストリームにおける移動オブジェクトを追跡するために動作可能なモーション追跡モジュールと、アルファ混合によって前記ビデオストリームの前景領域を強調するために動作可能な混合モジュールと、の少なくとも１つをさらに含む。

本発明の第５の態様は、第４の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記混合モジュールが、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも１つからアルファ値を直接的に導くために動作可能である。

本発明の第６の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記移動オブジェクトが人間及び人間の顔の少なくとも一方である。

本発明の第７の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記内容解析モジュールが、多次元スケーリングによって意味論的レイアウトを生成するために動作可能である。

本発明の第８の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記レンダリングモジュールが、テクスチャマッピングによって、前記３次元没入型環境に前記ビデオストリームを統合するために動作可能である。

本発明の第９の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記レンダリングモジュールが、さらに、前記ユーザナビゲーションインターフェースにおいて、常に、画面と平行に複数の表示の向きをレンダリングするために動作可能である。

本発明の第１０の態様は、第１の態様の３次元マルチカメラビデオナビゲーション支援システムであって、前記ユーザナビゲーションインターフェースが、さらに、前記移動オブジェクトの位置をユーザに追跡させるために動作可能である。

本発明の第１１の態様は、３次元マルチカメラビデオのナビゲーションを支援する方法であって、監視下にある現場の３次元意味論的レイアウトを生成し、前記３次元意味論的レイアウトと複数のカメラからのビデオストリームとを、３次元没入型環境に統合し、ユーザナビゲーションインターフェースの複数の表示において前記ビデオストリームをレンダリングし、複数の前記表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、前記ユーザナビゲーションインターフェースを介して実行する。

本発明の第１２の態様は、第１１の態様の３次元マルチカメラビデオナビゲーション支援方法であって、前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせることをさらに含む。

本発明の第１３の態様は、第１２の態様の３次元マルチカメラビデオナビゲーション支援方法であって、さらに、前記ユーザナビゲーションインターフェースを介して、内容ベースモード及び幾何ベースモードの間をシームレスに移行する。

本発明の第１４の態様は、第１１の態様の３次元マルチカメラビデオナビゲーション支援方法であって、背景差分によって前記ビデオストリームにおける移動オブジェクトを検出及び分割すること、形態学的オペレーションによって前記ビデオストリームにおける雑音を除去すること、前記ビデオストリームにおける移動オブジェクトを追跡すること、アルファ混合によって前記ビデオストリームの前景領域を強調すること、の少なくとも１つをさらに含む。

本発明の第１５の態様は、第１４の態様の３次元マルチカメラビデオナビゲーション支援方法であって、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも１つからアルファ値を直接的に導くことをさらに含む。

本発明の第１６の態様は、第１１の態様の３次元マルチカメラビデオナビゲーション支援方法であって、多次元スケーリングによって意味論的レイアウトを生成すること、テクスチャマッピングによって前記ビデオストリームを３次元没入型環境に統合すること、の少なくとも一方をさらに含む。

本発明の第１７の態様は、第１１の態様の３次元マルチカメラビデオナビゲーション支援方法であって、前記ユーザナビゲーションインターフェースにおいて、常に、画面と平行に複数の表示の向きをレンダリングする、ことをさらに含む。

本発明の第１８の態様は、第１１の態様の３次元マルチカメラビデオナビゲーション支援方法であって、前記ユーザナビゲーションインターフェースを介して移動オブジェクトの位置を追跡する、ことをさらに含む。

本発明の第１９の態様は、３次元マルチカメラビデオのナビゲーションを支援するプログラムであって、監視下にある現場の３次元意味論的レイアウトを生成するステップと、複数のカメラからのビデオストリームと意味論的レイアウトとを３次元没入型環境に統合するステップと、ユーザナビゲーションインターフェースの複数の表示において前記ビデオストリームをレンダリングするステップと、複数の前記表示の各々の複数の視点から視点を選択することと、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、前記ビデオストリームにおける移動オブジェクトを追跡することと、の少なくとも一方を、ユーザナビゲーションインターフェースを介して実行するステップと、を、コンピュータに実行させる。

本発明の第２０の態様は、３次元マルチカメラビデオのナビゲーションを支援するためのシステムであって、監視下にある現場の３次元意味論的レイアウトを生成する手段と、複数のカメラからのビデオストリームと前記３次元意味論的レイアウトとを３次元没入型環境に統合する手段と、ユーザナビゲーションインターフェースの複数の表示に前記ビデオストリームをレンダリングする手段と、複数の前記表示の各々の複数の視点から視点を選択することと、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、前記ビデオストリームにおける移動オブジェクトを追跡することと、の少なくとも一方を、ユーザナビゲーションインターフェースを介して実行する手段と、を含む。

本発明は、監視下にある現場の３次元意味論的レイアウトを生成し、前記３次元意味論的レイアウトと複数のカメラからのビデオストリームとを、３次元没入型環境に統合し、ユーザナビゲーションインターフェースの複数の表示において前記ビデオストリームをレンダリングし、複数の前記表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、前記ユーザナビゲーションインターフェースを介して実行するようにしているので、２次元表示から没入型３次元環境を生成することができ、これにより、３次元マルチカメラビデオのナビゲーションを支援することができる。

本発明は例によって示されるが、添付図面に限定されない。該添付図面において、同様の構成要素には同様の参照番号が付される。「ある」、「一（の）」、または「いくつかの」実施形態が必ずしも同一実施形態を示しているわけではなく、このような言及は「少なくとも一の」を意味することに留意されたい。

図１は、本発明の一実施形態における３次元マルチカメラビデオ監視（及びナビゲーション）システム１００の例を示す。この図は、構成要素を機能的に分離したものとして描いているが、このような描写は、単に図示を目的としてなされている。この図において描写される構成要素が任意に組み合わされ、別個のソフトウェア、ファームウェア及びハードウェアの少なくとも一の構成要素に分割され得ることは、当業者に明らかである。さらにまた、どのようにして、組み合わされるか、あるいは、分割されるかにかかわらず、このような構成要素は、同じ演算装置または複数の演算装置で実行できること、そして、該複数の演算装置が一以上のネットワークに接続され得ることが、当業者には明らかである。

図１を参照する。内容解析モジュール１０１は、カメラのネットワークから、現場の長期の統計的観察（写真、ビデオストリームなどであってよいが、これらに限定されない）に基づいて、多次元スケーリング（ＭＤＳ）法による監視下で現場の意味論的（セマンチックな）レイアウトを生成する。３次元レイアウト生成モジュール１０２は、カメラのネットワークのサイトマップ（すなわち、幾何学的情報）と内容解析モジュールからのシーン（意味論的レイアウト）とを結合して、ユーザ１１０がナビゲートできるように、ユーザナビゲーションインターフェース１０８上へ３次元没入型環境を生成する。モーション検出のため、前景オブジェクトの分割は、コンピュータビジョンの基本的な問題の一つである。カメラが固定されている場合、モーションキューが、この問題を解決するために広く用いられており、このような解決法は、「背景差分」と称される。複数のカメラのネットワークからのビデオストリームは、移動オブジェクトを検出し、分割するために、背景差分モジュール１０３へ送られる。形態学的オペレータ１０４は、背景差分モジュールの出力から雑音を除去するために任意に使用され得る。雑音除去された後のビデオストリームにおける移動中の人やオブジェクトは、モーション追跡モジュール１０５によって追跡され得る。混合モジュール１０６は、（元のビデオストリームと）局所的にアルファ混合することによってビデオストリームの前景領域を強調（ハイライト）するために用いられる。これにより、ストリームの誤分割の影響を緩和し、モーション検出結果を伝達して、ユーザによるオブジェクトの追跡を支援する。様々なカメラからのビデオストリームの空間分布を示すために、処理されたビデオストリームは、ユーザナビゲーションインターフェース上の複数のビデオ表示装置１０９にレンダリングされ、現場の３次元レイアウトに統合され、テクスチャマッピングを介して、レンダリングモジュール１０７によって、没入型３次元環境を生成する。

図２は、本発明の一実施形態の３次元マルチカメラビデオ監視及びナビゲーションのプロセスの例を示すフローチャートである。この図では、機能的なステップを特定の順序で示しているが、これは、例示を目的としており、該プロセスは、任意の特定の順番やステップの構成に限定されない。当業者は、この図に描かれた様々なステップを省略したり、再構成したり、組み合わせたり、様々な方法で調整したりすることができることを理解するであろう。

図２を参照すると、ステップ２０１において、監視下の現場の３次元意味論的レイアウトが、多次元スケーリング（ＭＤＳ）法によって、まず、生成される。次に、ステップ２０２において、内容解析による意味論的レイアウトとカメラのネットワークのサイトマップ（即ち、幾何学的情報）とを結合し、３次元没入型環境が生成される。ビデオ監視中、ステップ２０３において、複数のカメラのネットワークからのビデオストリームの移動オブジェクトが、背景差分によって、検出され、分割され得る。ステップ２０４において、背景差分モジュールからの出力にある雑音は形態学的オペレータによって任意に除去することが可能である。ステップ２０５において、モーション追跡モジュールは、雑音除去後のストリームにおける移動する人やオブジェクトを追跡するために動作可能である。ステップ２０６において、ビデオストリームの前景領域は、局所的なアルファ混合によって強調（ハイライト）され、ビデオストリームにおける誤分割の影響を緩和し、モーション検出結果を伝達することができる。最後に、ステップ２０７において、処理されたビデオストリームは、テクスチャマッピングによって、没入型３次元環境に統合されて、様々なカメラからのビデオストリームの空間分布を示し、ユーザがユーザナビゲーションインターフェースを介してナビゲートするのを容易にすることができる。ステップ２０３乃至２０７は、サイトの監視期間中、連続的に反復され得る。

従来の方法と比較すると、本発明は、少なくとも以下の利点を享受できる。
●内容ベースの配置（プレースメント）アルゴリズムが採用されるので、建物の幾何学的測定を行わなくても、ビデオストリームのみから、３次元マルチストリームビデオ監視モデルを生成することができる。
●前景分割（セグメンテーション）の結果が（一連の画像からのアクションキーフレームを生成するために使用される）局所的アルファ混合によって可視化される。この場合、分割（セグメンテーション）結果については、境界ボックスやオブジェクト輪郭を使用した場合と同量であるが、境界ボックスやオブジェクト輪郭よりも誤分割に対する耐用性が高い。
●ワープしたビデオモードとビルボードビデオモードとを切り替えることができ、画面実領域（スクリーンリアルエステート）を効率的に使用することができる。
●一連の画像を示す単一画像を生成するかわりに、ビデオストリームを見せることにより、ユーザの注意を前景へ向けることができる。
●背景と前景とのいずれに対してもぼけを生じることなく、鮮明な画像を保つことができる。

いくつかの実施形態において、ＧＭＭ（ガウス混合モデル）ベースの適応背景差分アルゴリズムが、背景差分モジュールによって使用され、ビデオストリームにおける移動オブジェクトを検出し分割することができる。画像の各画素は、ＲＧＢ色空間のいくつかの（通常３乃至５の）ガウス分布を使用してモデリングされる。これによって、システムは、（風で揺れる木のような）変化しやすい背景をモデリングでき、前景オブジェクトまたは、一時的な、背景の変化によって画素の色が変化した時でも、それまでの背景の色分布をそのまま追跡することができる。画素を前景画素または背景画素としてラベリング(分類）するための決定は、各ガウスのエビデンス全体とその分散（バリアンス）とを評価することによって行われる。背景画素は、前景画素よりエビデンスが多く、分散が低いと仮定される。これは、数学的には、ログ(対数）尤度に対して固定された閾値を設定することに等しい。なぜなら、尤度は、エビデンスと分散との比率であるためである。一定割合に達するまで、正規化スコアを降順に合計することによって、分類は達成される。この割合に達するために要求される全てのガウスカーネル（核）は背景とみなされ、それ以外は、前景としてラベリングされる。ＧＭＭベースの移動オブジェクトのモーション検出方法の例示的な出力が、図３Ａに示される。

いくつかの実施の形態において、ベイズ（Ｂａｙｅｓｉａｎ）フレームワークが、廊下に沿って移動オブジェクトを追跡すべく構築され得る。該オブジェクトの位置は、ベイズフィルタにおける隠れ変数である。フィルタが観察するのは、廊下の両側のカメラから検出されたモーションブロブのサイズおよび重心である。直観的に、人やオブジェクトが一方から他方へ移動する時、一端のモーションブロブのスケールは連続的に増加し、これにしたがって、モーションブロブのスケールは他端から減少する。複数の移動オブジェクトを追跡する場合、データに関連した問題を取り扱うために識別追跡が使用され得る。人を追跡する場合、顔検出および皮膚色が、追跡（トラッカー）のロバストを高めるために、さらなる観察オブジェクトとして使用され得る。

全体的な照明変化、動的背景、投影、およびスペックルライトを含む要因によって（これらの要因に限定されるものではないが）、背景差分モジュールから得られる結果は、雑音を含み得る。形態学的オペレータは、小さい領域から雑音を除去するように用いられ、小さな孔に埋め込まれる。この後処理の後でさえ、前景または背景の一部に誤分割が見られることもある。

いくつかの実施の形態において、モーション検出ベースのアルファ混合が混合モジュールとして提供され、このようなエラーの影響を緩和し、モーション検出結果を伝達して、ユーザのオブジェクト追跡を支援する。アルファ値は、前景と背景との分割アルゴリズムからの統計、または、オブジェクト（歩行者、顔）検出アルゴリズムの信頼性スコアから、直接的に導かれる。テクスチャマップのアルファチャネルは、テクスチャにおける各画素の透過値を示す。ビデオストリームがテクスチャマップとして示されるので、図３Ａに示される前景マスクに基づいて、アルファチャネルにおいて、異なる値が異なる領域に割り当てられ、前景を効果的に強調することができる。アルファ混合の例示的な結果は、図３Ｂに示される。ユーザは、容易に混合係数を変更し、背景を明るくして、背景の環境を詳しく調べることができる。均一な色で前景を塗ることとは異なり、このような可視化（ビジュアライゼーション）は、一般的に、関心を持たれるオブジェクトである前景オブジェクトの細部をユーザが識別することを支援する。一方、誤分割が生じても、それほどユーザの気を散らさない。これは、テクスチャのある画像領域の明度(illumination)分散に人間の視覚系が鈍感なためである。アルファ値をセットする、より一般的な方法としては、ＧＭＭモデルから対数尤度を直接使用することであり、この場合、全ての画素の対数尤度は、まず、［０，２５５］の範囲に正規化されなければならない。

いくつかの実施形態では、様々なカメラからのビデオストリームの空間分布を示すために、ビデオレンダリングモジュールは、テクスチャマッピングによって、処理されたビデオストリームを没入型３次元環境に置くことができる。カメラの幾何学的情報が既知である場合、カメラ画像の位置に基づいて図４の３次元レイアウトのスナップショットの例によって示されるように、ビデオストリームは、対応するカメラの検知平面における複数の表示としてレンダリングされ得る。

しかしながら、カメラの検知平面は、このカメラがフォーカスされる場所を適切に示さないかもしれない。例えば、廊下の各端部に取り付けられた２台のカメラが通路全体をカバーする場合、理想的には、これらのカメラの対応する物理的な位置において捕捉されたビデオストリームをペーストすることがより好ましい。しかしながら、本発明はこれに限定されるものではない。内容ベースの表示配置の構想は、２台のカメラが互いに遠くに離間されて取り付けられても、（恐らく異なる視点から）同じシーンを見ている２台のカメラからのビデオストリームが、空間的には近接してレンダリングされるべきであるというものである。異なるカメラからの視野間の類似性を決定するために、日常のオフィス活動のビデオストリームを収集し、フレーム毎にモーションの量を検出することができる。４００フレームの短分割における９台のカメラにわたるモーション検出の結果の例が図５Ａに示されている。異なるカメラ間の相関関係が対のカメラの類似性として使用されることができ、カメラ間の相関マトリックスの例が図５Ｂに示されている。

いくつかの実施形態において、各カメラの視点（ビュー）が高次元空間のある点であると仮定した場合、これらのカメラの視点（ビュー）の低次元多様体を見つけるために、内容解析モジュールによって、多次元スケーリング（ＭＤＳ）法が使用され得る。より詳細には、該多様体が２次元となるようにすることによって、異なるカメラからのビデオストリーム間の類似性の関係を最適に保護する２次元レイアウトを見つけることができる。このレイアウトがカメラの視点（ビュー）の実際のレイアウトと同じであることが望ましい（このレイアウトが、カメラが取り付けられている物理的位置とは異なることに注目されたい）。しかしながら、配向が制限されないので、ＭＤＳ法の解は、同一トポロジーのフリップまたは回転バージョンであってもよい。ＭＤＳによるカメラからのビデオストリームの内容に基づいた３次元レイアウトのスナップショットの例が図６に示されている。

いくつかの実施の形態において、カメラの物理的な位置は、内容ベースのシーン解析に組み合わされてもよい。ユーザは、３次元レイアウト生成モジュールを介して、好みに応じて、組み合わせの重み付けを調節することができる。そして、カメラの画像平面とカメラからのビデオストリームの内容との組み合わせに基づいた３次元レイアウトの例が図７に示されるように、レイアウトは、完全内容ベースから完全幾何学的情報（ジオメトリ）ベースへとシームレス(継ぎ目なし）に移行することができる。ビデオストリームの表示は、図４のビデオストリームと図６のビデオストリームとの表示の間のどこかに配置される。システムは、画面の使用率を最大化するためにビルボードモードへ切り替えることもでき、図８において３次元レイアウトのスナップショットの例が示されているように、これらの表示の配向は全て画面に対して常に平行である。

多くのバーチャルリアリティ（ＶＲ）システムにおいて、マウスドラッグ（フライスルー（鳥瞰的視点））によるナビゲーションは、一つの視点（ビュー）から他の視点（ビュー）への速攻切替には効果的ではない。しかしながら、ユーザは、監視システムにおいて、不適当なアクティビティ（動作）を有するシーンの吟味（スクルーティニィ、凝視）のために、常に、特定の視点（ビュー）へズームインする必要がある。このタスクを容易にするために、本発明は、ビデオ表示がマッピングされる多角形をダブルクリックすることによって特定のビデオ表示の最良の視点へ切り替えるために、レンダリングモジュールによってユーザへインターフェースを提供することができる。これらの視点（ビュー）は、システムのセットアップ中にプリセットされてもよいし、ユーザによって指定されてもよい。ビデオ表示に提示される二つの視点（ビュー）の例が、それぞれ、図９Ａと図９Ｂに示されている。

いくつかの実施の形態において、ユーザは、モーション追跡モジュールによって報告された追跡の結果に基づいた没入型環境でナビゲートすることができる。ユーザは、まず、ある人物に対応するアバターをダブルクリックすることによって、当該人物を追跡の対象とする歩行者として選ぶ。対象とした歩行者が移動している場合、対象とした人物の最適な視点（ビュー）を有する表示に最大の画面解像度が付与されるとともに、画面のそれ以外の部分において示されるモデルや他の表示が没入型環境の知覚をユーザに与えることができるように、ユーザの視点（ビュー）はその人物を追う。対象が移動している場合の視点（ビュー）のシーケンスの例が、図１０Ａ乃至図１０Ｇに示される。

いくつかの実施の形態において、以下の少なくとも２つの方法においてユーザの追跡結果が可視化される。
●アルファ混合によって前景領域を強調（ハイライト）する。：
この可視化（ビジュアライゼーション）は、オブジェクト位置を含む困難な決定を必要としない。従って、自動前景分割アルゴリズムによって生じるエラーに対して耐用性が増す。０．４にセットされたアルファ混合値を有する３次元環境での可視化（ビジュアライゼーション）の例が図１１に示されている。
●追跡されたオブジェクトの位置においてアバターを描画する。：
この種の可視化（ビジュアライゼーション）は、オブジェクトの３次元位置の追跡を含む。建物に関する十分な幾何学的情報があれば、廊下の経線に沿った１次元追跡に低減することができる。バウンディングボックスのスケール（サイズ）は、最も重要な点（観察結果）である。カメラの捕捉レートが十分に高い場合、ユーザは、移動する歩行者の位置を追跡するために、単純な動的モデルを使用することができる。対象毎に追跡（トラッカー）を登録し、歩行者がそのシーンに関係する（インタラクトする）場合に、該追跡を切り替え、分割し、あるいは併合するために、識別可能なデータ関連技術を使用することができる。

このような環境は、一般的なパトロールのために全ての領域の鳥瞰的な視点（ビュー）をユーザに提供することができ、複数の移動する人間やオブジェクトを、全てのカメラにわたって、ユーザが容易に追跡することができるようにする。いかなる異常な事象（イベント）の際も、ユーザは、アクティビティの最良の視点（ビュー）に素早くズームすることができ、デスクトップモニタの最高の解像度においてその領域をじっくり観察することができる。人間やオブジェクトが１台のカメラの視点（ビュー）から外れた時、システムは近隣のカメラからのビデオストリームにおいてそれを捜索し、あるいは、ＣＧ環境を鳥瞰的視野から（フライスルー）追跡する。

いくつかの実施形態において、歩行者検出器が新しい移動オブジェクトを検出することによって、追跡（トラッカー）は開始され得る。合理的に作動し前景分割に依存しない、アダブースト（ＡＤａＢｏｏｓｔ）ベース検出器などの、シングルフレーム歩行者検出器が使用され得る。

本発明の一実施の形態は、コンピュータ技術における当業者に明確であるように、本発明の開示の教示によってプログラムされた従来の汎用または専用のデジタルコンピュータまたはマイクロプロセッサを用いて好適に実現されてもよい。また、当業者に容易に理解されるように、本発明は、汎用または特定用途の集積回路の作成や従来のコンポーネント回路の適切なネットワークの相互接続によって実現されてもよい。

本発明の一実施の形態は、本明細書中に提示された任意の機能を実行するために、コンピュータをプログラムするために使用され得るインストラクションを記憶した記憶媒体であるコンピュータプログラムプロダクトを含む。この機械可読媒体は、フロッピー（登録商標）ディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ及び磁気光学ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気的または光学的カード、ナノシステム（分子メモリＩＣを含む）を含む任意のタイプの１以上のディスクを含んでもよく、インストラクションやデータの記憶に適する任意のタイプの複数の媒体またはデバイスを含んでもよい。しかしながら、本発明はこれらに限定されるものではない。コンピュータ可読媒体のいずれか１つに記憶された状態で、本発明は、汎用コンピュータ・専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の結果を活用して、コンピュータまたはマイクロプロセッサがヒューマンユーザまたは他のメカニズムとインタラクションするのを可能とするためのソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、実行環境やコンテナ、及びアプリケーションを含んでいてもよいが、これに限定されるものではない。

上述された本発明の好ましい実施の形態についての説明は、例示及び説明のみを目的として成されているのであって、これらに本発明のすべてを網羅すること、あるいは、本明細書中に開示された通りの形態に本発明を限定することを意図するものではない。多数の変更及び変形が可能であることは当業者に明らかである。具体的には、「インターフェース」についてのコンセプトが上記に説明されたシステムおよび方法の実施の形態において使用されているが、このようなコンセプトが、ビーン、クラス、メソッド、タイプ、コンポーネント、オブジェクトモデル、および他の好適なコンセプトと同等のコンセプトと互換性をもって使用され得ることが明白である。実施の形態は、本発明の原則とその実践的な応用とを最も良好に説明するために選択され記述されたものであり、他の当業者がこれによって考案される特別な用途に適した種々の変更を行いつつ、種々の実施の形態による本発明を理解することを可能とする。本発明の範囲は、請求の範囲及びそれらと同等のものによって定義付けられることを意図する。

なお、本願明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれる。特許庁の特許ファイルや記録において明らかであるように、何人かによって特許書類もしくは特許開示が複写されることに、著作権所有者は異議を唱えない。しかしながら、これらの場合以外は、すべての著作権を保持する。

本発明の一実施の形態の３次元マルチカメラビデオ監視システムの例を示す図である。 本発明の一実施の形態の３次元マルチカメラビデオ監視のプロセスの例を示すフローチャートである。 本発明の一実施の形態において移動オブジェクトのＧＭＭ（ガウス混合モデル）ベースのモーション検出方法の出力をアルファ混合した場合の結果の例を示す図である。 本発明の一実施の形態において移動オブジェクトのＧＭＭ（ガウス混合モデル）ベースのモーション検出方法の出力をアルファ混合した場合の結果の例を示す図である。 本発明の一実施の形態によるカメラの画像の位置に基づいた３次元レイアウトの例を示すスナップショットである。 本発明の一実施の形態による、４００フレームの短分割（ショートセグメント）で、９台のカメラにわたってモーションを検出する際のプロット（作図）及び相関の例を示す図である。 本発明の一実施の形態による、４００フレームの短分割（ショートセグメント）で、９台のカメラにわたってモーションを検出する際のプロット（作図）及び相関の例を示す図である。 本発明の一実施の形態によるＭＤＳ（多次元スケーリング）によってカメラからのビデオの内容に基づいた３次元レイアウトの例を示すスナップショットである。 本発明の一実施の形態によるカメラの画像平面とカメラからのビデオの内容との組み合わせに基づいた３次元レイアウトの例を示す図である。 本発明の一実施の形態によるビルボード（ｂｏａｒｄ−ｓｈｏｗ）モードのカメラの画像平面に基づいた３次元レイアウトの例を示すスナップショットである。 本発明の一実施の形態によるビデオ表示に対して提案される視点（ビュー）の例を示す図である。 本発明の一実施の形態によるビデオ表示に対して提案される視点（ビュー）の例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態による対象（ターゲット）が移動した場合の視点（ビュー）のシーケンスの例を示す図である。 本発明の一実施の形態によるアルファ混合値が０．４にセットされた３次元環境の可視化（ビジュアライゼーション）の例を示す図である。

符号の説明

１００： ３次元マルチカメラビデオ監視システム
１０１： 内容解析モジュール
１０２： ３次元レイアウト生成モジュール
１０３： 背景差分モジュール
１０４： 形態学的オペレータ
１０５： モーション追跡モジュール
１０６： 混合モジュール
１０７： レンダリングモジュール
１０８： ユーザナビゲーションインターフェース
１０９： ビデオ表示装置

Claims (20)

1. ３次元マルチカメラビデオナビゲーションを支援するシステムであって、
   監視下にある現場の３次元意味論的レイアウトを生成するために動作可能な内容解析モジュールと、
   複数のカメラからのビデオストリームと前記３次元意味論的レイアウトとを３次元没入型環境に統合し、ユーザナビゲーションインターフェースの複数の表示において該ビデオストリームをレンダリングするために動作可能なレンダリングモジュールと、
   複数の前記表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、ユーザに実行させるために動作可能なユーザナビゲーションインターフェースと、
   を含む、３次元マルチカメラビデオナビゲーション支援システム。
2. 前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせるために動作可能な３次元レイアウト生成モジュールをさらに含む、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
3. 前記ユーザナビゲーションインターフェースは、さらに、内容ベースモード及び幾何ベースモードの間で、ユーザをシームレスに移行させるために動作可能である、請求項２に記載の３次元マルチカメラビデオナビゲーション支援システム。
4. 前記ビデオストリームにおける移動オブジェクトを検出及び分割するために動作可能な背景差分モジュールと、
   前記背景差分モジュールからのビデオストリームにおける雑音を除去するために動作可能な形態学的オペレータと、
   前記ビデオストリームにおける移動オブジェクトを追跡するために動作可能なモーション追跡モジュールと、
   アルファ混合によって前記ビデオストリームの前景領域を強調するために動作可能な混合モジュールと、
   の少なくとも１つをさらに含む、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
5. 前記混合モジュールが、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも１つからアルファ値を直接的に導くために動作可能である、請求項４に記載の３次元マルチカメラビデオナビゲーション支援システム。
6. 前記移動オブジェクトが人間及び人間の顔の少なくとも一方である、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
7. 前記内容解析モジュールが、多次元スケーリングによって意味論的レイアウトを生成するために動作可能である、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
8. 前記レンダリングモジュールが、テクスチャマッピングによって、前記３次元没入型環境に前記ビデオストリームを統合するために動作可能である、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
9. 前記レンダリングモジュールが、さらに、前記ユーザナビゲーションインターフェースにおいて、常に、画面と平行に複数の表示の向きをレンダリングするために動作可能である、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
10. 前記ユーザナビゲーションインターフェースが、さらに、前記移動オブジェクトの位置をユーザに追跡させるために動作可能である、請求項１に記載の３次元マルチカメラビデオナビゲーション支援システム。
11. ３次元マルチカメラビデオのナビゲーションを支援する方法であって、
    監視下にある現場の３次元意味論的レイアウトを生成し、
    前記３次元意味論的レイアウトと複数のカメラからのビデオストリームとを、３次元没入型環境に統合し、
    ユーザナビゲーションインターフェースの複数の表示において前記ビデオストリームをレンダリングし、
    複数の前記表示の各々の複数の視点から視点を選択すること、及び、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、ビデオストリームにおける移動オブジェクトを追跡すること、の少なくとも一方を、前記ユーザナビゲーションインターフェースを介して実行する、
    ３次元マルチカメラビデオナビゲーション支援方法。
12. 前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせることをさらに含む、請求項１１に記載の３次元マルチカメラビデオナビゲーション支援方法。
13. さらに、前記ユーザナビゲーションインターフェースを介して、内容ベースモード及び幾何ベースモードの間をシームレスに移行する、請求項１２に記載の３次元マルチカメラビデオナビゲーション支援方法。
14. 背景差分によって前記ビデオストリームにおける移動オブジェクトを検出及び分割すること、
    形態学的オペレーションによって前記ビデオストリームにおける雑音を除去すること、
    前記ビデオストリームにおける移動オブジェクトを追跡すること、
    アルファ混合によって前記ビデオストリームの前景領域を強調すること、
    の少なくとも１つをさらに含む、請求項１１に記載の３次元マルチカメラビデオナビゲーション支援方法。
15. 前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも１つからアルファ値を直接的に導くことをさらに含む、請求項１４に記載の３次元マルチカメラビデオナビゲーション支援方法。
16. 多次元スケーリングによって意味論的レイアウトを生成すること、
    テクスチャマッピングによって前記ビデオストリームを３次元没入型環境に統合すること、
    の少なくとも一方をさらに含む、請求項１１に記載の３次元マルチカメラビデオナビゲーション支援方法。
17. 前記ユーザナビゲーションインターフェースにおいて、常に、画面と平行に複数の表示の向きをレンダリングする、ことをさらに含む請求項１１に記載の３次元マルチカメラビデオナビゲーション支援方法。
18. 前記ユーザナビゲーションインターフェースを介して移動オブジェクトの位置を追跡する、ことをさらに含む請求項１１に記載の３次元マルチカメラビデオナビゲーション支援方法。
19. ３次元マルチカメラビデオのナビゲーションを支援するプログラムであって、
    監視下にある現場の３次元意味論的レイアウトを生成するステップと、
    複数のカメラからのビデオストリームと意味論的レイアウトとを３次元没入型環境に統合するステップと、
    ユーザナビゲーションインターフェースの複数の表示において前記ビデオストリームをレンダリングするステップと、
    複数の前記表示の各々の複数の視点から視点を選択することと、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、前記ビデオストリームにおける移動オブジェクトを追跡することと、の少なくとも一方を、ユーザナビゲーションインターフェースを介して実行するステップと、
    を、コンピュータに実行させる３次元マルチカメラビデオナビゲーション支援プログラム。
20. ３次元マルチカメラビデオのナビゲーションを支援するためのシステムであって、
    監視下にある現場の３次元意味論的レイアウトを生成する手段と、
    複数のカメラからのビデオストリームと前記３次元意味論的レイアウトとを３次元没入型環境に統合する手段と、
    ユーザナビゲーションインターフェースの複数の表示に前記ビデオストリームをレンダリングする手段と、
    複数の前記表示の各々の複数の視点から視点を選択することと、オブジェクトの最良の視点を有する複数の表示において、表示の最大画面解像度で、前記ビデオストリームにおける移動オブジェクトを追跡することと、の少なくとも一方を、ユーザナビゲーションインターフェースを介して実行する手段と、
    を含む、３次元マルチカメラビデオナビゲーション支援システム。