JP2013061937A

JP2013061937A - ステレオカメラ及びステレオディスプレイを組み合わせたやり取り

Info

Publication number: JP2013061937A
Application number: JP2012180309A
Authority: JP
Inventors: Michael Roberts; マイケル・ロバーツ; Zarfulla Zahoor; ザハー・ザルーラ; Chu Maurice; モーリス・チュー
Original assignee: Palo Alto Research Center Inc
Current assignee: Palo Alto Research Center Inc
Priority date: 2011-09-12
Filing date: 2012-08-16
Publication date: 2013-04-04
Also published as: EP2568355A2; EP2568355A3; US20130063560A1; KR20130028878A

Abstract

【課題】ステレオ画像取得機器と３次元（３Ｄ）ディスプレイの間のやり取りを円滑にするシステムを提供する。
【解決手段】システムは、ステレオ画像取得機器、複数の追跡器、事象生成器、事象処理プロセッサ、及び３Ｄディスプレイを含む。動作の間、ステレオ画像取得機器はユーザの画像を取得する。複数の追跡器が、取得された画像に基づいてユーザの動作を追跡する。次いで、事象生成器が、ユーザの動作に関する事象ストリームを生成し、続いて仮想世界クライアントの事象処理プロセッサがこの事象ストリームと、仮想世界内の状態変化をマッピングする。次いで、３Ｄディスプレイが、仮想世界と共に拡張現実を表示する。
【選択図】図１

Description

本開示は、仮想世界サーバシステムと連動する大型ステレオディスプレイに表示される仮想世界内の機械視覚インターフェースを介した、対象物とのやり取りを円滑にするシステム及び技術に関し、この機械視覚インターフェースにより、仮想世界の内部モデルに接続する拡張現実機器を含む様々な機器に、変化をストリーミングすることができる。

複雑な機器でサポートする従来のサービスでは専門の技術者が実際に初心者に付き添いながら、実際に機器を操作して説明、実演していた。しかし、このような方法で初心者を訓練又はサポートする場合は大抵、専門の技術者は初心者及び機器のある遠隔地まで出向かなければならないため、コストがかかり、しかも時間の浪費である可能性がある。

基本的には、遠隔的に専門の技術者と初心者がやり取りすることが、この問題に対する有望な解決策である。しかし、既存の通信技術を用いてやり取りできる情報では、通常このような遠隔的にサポートするサービスには不十分である。例えば、電話会議の間、音声、映像、又は文字情報、又は画像情報が一般に参加者間でやり取りされるが、大抵の場合、機器内の構成部品間の空間的相互関係等の３次元の空間関係の情報（例えば、構成部品がどのように組立てられているか）のやり取りは利用できない。遠隔的なサービスセッションでは、専門の技術者が対象の機器を示し、実際に操作することができないため、これは問題である。さらに、初心者が自分の動作の効果的に伝えることができなければ、その動作は、専門の技術者にとって容易に理解することができない。一般的に、初心者と専門の技術者の間では知識の差に著しい開きがあるため、初心者に自分の動作を口頭で専門の技術者に説明させることは効果的でなく、その逆も同様である。したがって、遠隔的なサービスの作業をどのように行うかということに関してコミュニケーションを図ることは、専門の技術者及び初心者にとって大抵の場合は困難である。

本発明の一実施形態により、ステレオ画像取得機器と３次元（３Ｄ）ディスプレイの間のやり取りを円滑にするシステムが提供される。このシステムは、ステレオ画像取得機器、複数の追跡器、事象生成器、事象処理プロセッサ、及び３Ｄディスプレイを含む。動作の間、ステレオ画像取得機器は、ユーザ及びユーザの周りの１つ以上の対象物の画像を取得する。複数の追跡器は、取得された画像に基づいて、ユーザの動作を追跡する。次いで、複数の事象生成器が、ユーザ動作及び／又はユーザの周囲の動作に関する事象ストリームを生成し、仮想世界クライアント内の事象処理プロセッサが、この事象ストリームと仮想世界の状態変化とをマッピングする。次いで、３Ｄディスプレイが仮想世界を表示する。

本実施形態の変形例では、ステレオ画像取得機器は、深度カメラ又はステレオカメラであり、深度計算用の視差マップを生成することができる。

本実施形態の変形例では、システムは較正モジュールをさらに含み、この較正モジュールは、取得された画像の位置の座標と現実世界の位置の座標をマッピングするよう設定される。

本実施形態の変形例では、複数の追跡機器には、視標追跡機器、頭部追跡機器、
手部追跡機器、及び胴体部追跡機器のうちの１つ以上が含まれる。

本実施形態の変形例では、事象処理プロセッサにより、ユーザがユーザの動作に対応する対象物を操作することができる。

別の変形例では、３Ｄディスプレイがユーザの動作に対応する対象物を表示する。

本実施形態の変形例では、事象処理プロセッサが対象物を操作するための第２の事象ストリームを受信する。

別の変形例では、事象処理プロセッサにより生成される仮想世界モデルへの変化を多数の接続された拡張現実システム又は仮想現実システムへ配信することができる。

図１は、本開示の実施形態による機械視覚インターフェースを組み込んだ例示的な仮想現実システムを示すブロック図である。図２は、本開示の実施形態による例示的な仮想拡張現実システムを示すブロック図である。図３は、本開示の実施形態による大型ステレオディスプレイに表示される仮想世界内の機械視覚インターフェースを介した、対象物とのやり取りを円滑にするコンピュータシステムを示すブロック図である。図４は、本開示の実施形態による大型ステレオディスプレイに表示される仮想世界内の機械視覚インターフェースを介する対象物とのやり取りを円滑にする方法を示すフローチャートである。図５は、本開示の実施形態による拡張現実での共同作業を円滑にするコンピュータシステムを示すブロック図である。

但し、同じ参照番号は、図面全体に渡り対応する部品を示す。さらに、同じ部品の例示が複数ある場合、共通の参照番号からダッシュにより分離された例示番号によりそれらを指定する。

本発明の実施形態により、機械視覚インターフェースを拡張現実システムに組み込むことに関する問題が解決され、コンピュータ装置に慣れていないユーザが、複雑な仮想空間でやり取りを行うことができる。遠隔的なサービスの用途では、ユーザ機械視覚インターフェースを組み込んだ拡張現実システムを介して、遠隔地のユーザが構内のユーザとやり取りできるようにすることが有益である。ステレオカメラとステレオディスプレイを組み合わせることにより、遠隔地のユーザは、目の前のステレオディスプレイから流れ出て現れる対象物に直接触れ操作することができる。仮想現実システムや拡張現実システムは、仮想世界からの情報を生の映像の上に重ね合わせ、遠隔地のユーザは、接続された別の仮想現実システム、又は拡張現実システムのうちのどちらかとの相互やり取りを体験することができる。

ステレオ画像取得機器と３次元（３Ｄ）ディスプレイの間のやり取りを円滑にするシステム、方法、及びコンピュータプログラム製品（ソフトウェア等）の実施形態を説明する。このシステムは、ステレオ画像取得機器、複数の追跡器、事象生成器、事象処理プロセッサ、内部の場面の状態を表示するアプリケーション、及び３Ｄディスプレイを含む。動作の間、ステレオ画像取得機器はユーザの画像を取得する。複数の追跡器は、取得された画像に基づいて、場面の中のユーザ及び／又は対象物の動作を追跡する。次いで、事象生成器が、ユーザの動作に関する事象ストリームを生成し、仮想世界クライアント内の事象処理プロセッサがこの事象ストリームと仮想世界アプリケーションの世界モデル内の状態変化とをマッピングする。次いで、３Ｄディスプレイがアプリケーションの世界モデルを表示する。

続く議論では、仮想環境（「仮想世界」又は「仮想現実」アプリケーションとも呼ばれる）人工現実感が含まれ、それによりユーザが、コンピュータにより生成された空間（３次元空間等）に投影されることは理解されよう。さらに、拡張現実アプリケーション実際の環境の生の、又は間接的な風景を含み、その要素は重ね合わされた、コンピュータで作られた情報（仮想現実アプリケーションの世界モデルに関する捕捉情報、画像又は情報等）により拡張されることも理解されたい。

次いでシステムの実施形態を説明する。図１は、本開示の実施形態による機械視覚インターフェースを組み込んだ例示的な仮想現実システムを示すブロック図である。図１に示す通り、機械視覚インターフェースが、３Ｄディスプレイ１２０の上面に設置されたステレオカメラ１１０の前に立っている（又は座っている）ユーザを感知する。ユーザは、３Ｄメガネ１３０をかけ、右手に赤の手袋１４０、左手に緑の手袋１５０を付けることができる。仮想現実システムは、多数の追跡モジュールを組み込むこともでき、これらの追跡モジュールは、それぞれ、ステレオカメラ１１０、３Ｄメガネ１３０、赤の手袋１４０、及び緑の手袋１５０のサポートを受けてユーザの動作を追跡することができる。例えば、システムは、色の付いた手袋、及び３Ｄメガネの外観を追跡することによりユーザの視標を追跡することで、ユーザの手を追跡することができる。追跡モジュールを追加して手の形及びユーザが行う手のジェスチャ、並びにユーザの体の別の部分の動作を認識することができる。システムは、視標追跡器を介してユーザの視界を近づけることもできる。次いで、これらの動作及びジェスチャを、符号化して事象ストリームを生成し、事象処理プロセッサに供給する。事象処理プロセッサは、仮想現実システムの世界モデルを変更する。

一実施形態では、仮想現実システムは、実際の世界で動かされる対象物の状態を表示する世界モデル、及び世界モデルの状態への変化を多数の仮想世界、即ちサーバに接続する拡張現実クライアントへ配信するサブシステムといった、いくつかの重要な要素を含む。変化を配信するサブシステムは、仮想世界クライアントで生成されるユーザのジェスチャを好適な命令に変換し、その命令で世界モデルの状態を変換してユーザのジェスチャを表示する。仮想世界クライアントは、仮想世界サーバとインターフェースを介して接続し、その状態をサーバにより維持される世界モデルと同期させた状態で、ステレオ描画技術を用いてユーザの前の大型３Ｄディスプレイに世界モデルを表示する。ユーザは、３Ｄメガネを通した異なる視点から描画された世界モデルを見て、対象物が目の前に現れていると錯覚する。

図２は、本開示の実施形態による例示的な仮想―拡張現実システム２００を示すブロック図である。このシステムでは、共有のフレームワークを通して仮想世界クライアント２１４のユーザと、離れた場所の拡張現実クライアント２２０とがネットワーク２１６介してやり取りを行う。サーバシステム２１０は世界モデル２１２を維持し、この世界モデル２１２が実際の環境２１８の中の２２２−１から２２２−Ｎまでの実際の対象物に関する１つ以上のコンピュータ対象物の状態を表示する。そして、これらの対象物は１人以上のユーザにより変更される。サーバシステム２１０は、拡張現実クライアント２２０の１人以上のユーザ、及び／又は仮想世界クライアント２１４の１人以上の別のユーザの動作に関する世界モデルの状態に対するあらゆる変化を、リアルタイムで共有し、これにより拡張現実アプリケーションと仮想現実アプリケーションの間の動的な空間的結合又は「認識」を維持する。

拡張現実クライアント２２０は、カメラ２２８を用いてリアルタイムの映像を取得し、機械視覚モジュール２３０を用いてビデオ画像を処理することができる。拡張現実クライアント２２０はさらに、世界モデル２１２に関する情報又は画像を取得された映像と共に表示することができる。例えば、機械視覚モジュール２３０は、１２２−１から１２２−Ｎまでの実際に関する対象物のコンピュータ支援設計（ＣＡＤ）モデル２２４と連動して動作して、画像の外観をＣＡＤモデル１２４上の対応する外観に関連付けることができる。機械視覚モジュール２３０は、場面の中の幾何学形状をＣＡＤモデル１２４に中継することができる。

表示される対象物を選択する、又は実際の環境２１８特定な領域の風景を変更することにより、ユーザは、拡張現実クライアント２２０とやり取りすることができる。この情報はサーバシステム２１０に中継され、このサーバシステム２１０が必要に応じて世界モデル２１２を更新し、仮想世界クライアント２１４及び拡張現実クライアント２２０の両方のあらゆる変化を反映する命令を配信する。したがって、世界モデル２１２内の対象物の状態に対する変化を仮想世界クライアント２１４及び／又は拡張現実クライアント２２０から受け取ることができる。サーバシステム２１０の状態識別機器２２６が、１つ以上の対象物の状態に対する変化を判定する。

したがって、複数のユーザの仮想世界サーバシステムが、拡張現実アプリケーションと仮想現実アプリケーションとの間の動的な空間的結合を維持して、仮想世界クライアント２１４のユーザと拡張現実クライアント２２０のユーザが、それぞれ自分の環境と相手の環境を用いてやり取りを行うことができる。さらに、２２２−１から２２２−Ｎまでの実際の対象物には、複数の相関する構成部品、即ち互いに空間関係を有する構成部品を有する複雑な対象物も含まれ得る。この複雑な対象物とやり取りを行うことにより、ユーザは世界モデル２１２内の相関した構成部品を分解図に移すことができる。この機能により、システム２００のユーザは、共働して、即ちやり取りして、オンラインの百科事典、オンラインのユーザマニュアル、遠隔的なメンテナンス又はサービス、遠隔的な訓練、及び／又は遠隔的な手術等のアプリケーションの中の内容を変更する、又は生成することができる。

本発明の実施形態により、ステレオ画像取得機器と仮想―拡張現実環境内の３Ｄディスプレイの間のやり取りを円滑にするシステムが提供される。このシステムは、複数の追跡モジュールを含み、それぞれユーザの体の異なる部分の動作を追跡することができる。これらの動作は事象ストリームに符号化され、次いで仮想世界クライアントへ供給される。仮想世界クライアントに組み込まれた事象処理モジュールは、事象ストリームを受け取り、この受け取った事象ストリームに基づいて構内の仮想世界の状態に対する変更を行う。この変更には、仮想世界モデルに関するユーザの視点の調整と、対象物の選択、ドラッギング、及び回転と、が含まれ得る。但し、事象ストリーム内の特定のユーザの動作に対応する個々の事象により、世界モデルの状態変化がもたらしても、もたらさなくてもよい。事象処理モジュールは、追跡モジュールから受け取る着信する事象ストリームを分析し、世界モデルの状態に確実に影響する事象を識別し、それを、状態を変更する命令へ変換し、仮想世界サーバへ送る。

カメラの前のユーザの体の位置やユーザの手によるジェスチャを正確に測定し再生することが重要である。高性能の機械視覚モジュールを用いることで、この精度を実現することができる。ある実施形態では、機械視覚モジュールは、下記の事柄のうちの１つ以上を実行することができる。
・広い焦点距離を有するカメラレンズを使用する。
・ディスプレイの前の空間と位置を正確に較正して、ユーザが３Ｄ仮想モデルと高い精度でやり取りができることを確保する。
・リアルタイムで動作して入ってくる視覚情報をごくわずかなタイムラグで即座に処理することを確保する。
・異なる視点からカメラが感知したときに、写す位置により変化し得るジェスチャごとの手の形を正確に認識する。

一実施形態では、ステレオカメラは視差マップを作成可能であり、この視差マップを、直接取得されたｘ−ｙ座標を提供するビデオ画像と共に分析して深度情報を演算する。一般に、ステレオカメラが十分な入力情報を提供し、システムは画像空間と現実空間をマッピングしてユーザの体の異なる部分を認識する。一実施形態では、独立した較正モジュールが取得された画像の位置と現実世界の位置との予備マッピングを行う。動作の間、ステレオカメラの前の特定な位置にチェッカーボードテスト用の画像が設置される。次いで、較正モジュールは、ステレオカメラからのマークされた位置と共に取得画像を分析し、最小二乗法を実行して画像空間から現実世界の空間への最適な写像変換を決定する。次に、一連の追跡器及びジェスチャ認識器が、較正された位置情報に基づいてユーザの動作、及びユーザが操作した対象物の状態変化を認識し追跡するよう設定される。動作が認識されると、事象生成器が、動作を示す高いレベルの事象を生成し、その事象を仮想世界クライアントへ通信する。続いて仮想空間マッピングモジュールが事象生成器の現実世界の空間と仮想空間をマッピングし、この仮想空間の中で仮想対象物が最終的に表示される。

いくつかの実施形態では、一連の追跡器からの出力情報はモデル結合器により組み合わされる。モデル結合器は、ユーザ及び／又はユーザ周辺（ユーザとの他の対象物を組み合わせる部屋等）の、例えば、ＩＫモデル又はスケルトンといった１つ以上のモデルを含むことができる。結合器は、順方向及び逆方向の運動学モデル等の運動学モデルを追跡器の出力情報に適用して、ユーザと対象物とのやり取りを検知し、その検知結果を特定のアプリケーション用に最適化することができる。モデル結合器を所定の一連の規則により、又は外部インターフェースを介して設定することができる。例えば、ユーザと対象物のやり取りがユーザの手及び上体の動作だけを含む場合は、モデル結合器を人間の上体のモデルを用いて設定することができる。したがって、生成される事象ストリームは、アプリケーション専用であり、そのアプリケーションによってより効率的に処理される。

図３は、本開示の実施形態による、大型ステレオディスプレイに表示された仮想世界内の機械視覚インターフェースを介した、対象物とのやり取り円滑にするコンピュータシステム３００を示すブロック図である。この例示的なシステムでは、ステレオカメラ３０４及び３Ｄディスプレイ３２０の前にユーザ３０２が立っている。ステレオカメラは、ユーザの画像を取得し、その画像を仮想世界クライアント内の追跡モジュールへ送信する。追跡モジュールは、視標追跡器３１２、手部追跡器３１４、頭部追跡器３１６、胴体部追跡器３１８、及び対象物追跡器３１９を含む。較正器３０６もステレオカメラ３０４と接続して、取得された画像の位置と現実世界の位置の予備マッピングを行う。追跡モジュールにより追跡されたユーザの動作及び、対象物の状態変化は、モデル結合器３０７に供給される。このモデル結合モジュールが、複数の追跡モジュールからの出力情報を組み合わせ、アプリケーション専用のモデルを適用してユーザ−対象物のやり取りを検知する。モデル結合器３０７により検知されたユーザ−対象物のやり取り、及び較正器３０６により生成された位置情報は、事象生成器３０８へ送信される。事象生成器３０８が、このやり取りを事象ストリームに変換し、仮想世界サーバへ転送する。次いで、仮想世界サーバ内のマッピングモジュール３１０が現実世界の空間の背景と仮想空間をマッピングして３Ｄディスプレイ３２０に表示する。

図４は、本開示の実施形態による大型ステレオディスプレイに表示される仮想世界内の機械視覚インターフェースを介した、対象物とのやり取りを円滑にする方法を示すフローチャートである。この方法はコンピュータシステム（図２のシステム２００、又は図３のシステム３００等）により実行される。動作の間、コンピュータシステムは、ユーザの画像を取得する（ステップ４１０）。次いで、コンピュータシステムは、取得された画像内の座標と、現実世界の座標とを較正する（ステップ４１２）。次いで、コンピュータシステムは、取得されたビデオ画像に基づいてユーザの動作、及び対象物の状変化を追跡する（ステップ４１４）。続いてコンピュータシステムは、ユーザと対象物のやり取りの事象ストリームを生成する（ステップ４１６）。事象ストリームと仮想世界内の状態変化をマッピングした後（ステップ４１８）、コンピュータシステムは、取得されたビデオ画像に仮想世界を重ね合わせた状態で、拡張現実を表示する（ステップ４２０）。

方法４００のいくつかの実施形態では、ステップを追加すること、又は削除するができる。さらに、これらのステップの順番を入れ替える、及び／又は２つ以上のステップを組み合わせて１つのステップにすることもできる。

例示的システム
図５は、本開示の一実施形態による拡張現実での共同作業を円滑にするコンピュータシステム５００を示すブロック図である。このコンピュータシステムは、１つ以上のプロセッサ５１０、通信インターフェース５１２、ユーザインターフェース５１４、及びこれらの構成部品を１つに接続する１つ以上の信号線５２２を含む。但し、１つ以上の処理ユニット５１０は、並列処理及び／又はマルチスレッド動作をサポートすることができ、通信インターフェース５１２は、持続的通信接続を実行することができ、１つ以上の信号線５２２で通信バスを構成することができる。さらに、ユーザインターフェース５１４は、３Ｄディスプレイ５１６、ステレオカメラ５１７、キーボード５１８、及び／又はマウス等のポインタ５２０を含むことができる。

コンピュータシステム５００内のメモリ５２４は、揮発性メモリ及び／又は不揮発性メモリを含むことができる。メモリ５２４は、オペレーティングシステム５２６を格納し、このオペレーティングシステム５２６は、ハードウェアに依存する作業を実行する種々の基本システムを操作する手順（又は一連の命令）を含む。いくつかの実施形態では、このオペレーティングシステム５２６は、リアルタイムオペレーティングシステムでよい。メモリ５２４は、通信モジュール５２８内の通信手順（又は一連の命令）の格納することができる。これらの通信手順を用いて、１つ以上のコンピュータ、コンピュータを含む機器及び／又はサーバ、コンピュータシステム５００から離れて位置する機器及び／又はサーバと通信することができる。

メモリ５２４は、複数のプログラムモジュール（又は一連の命令）を含むことができ、これらのプログラムモジュールには、追跡モジュール５３０（又は一連の命令）、状態識別モジュール５３２（又は一連の命令）、描画モジュール５３４（又は一連の命令）、更新モジュール５３６（又は一連の命令）、及び／又は生成モジュール５３８（又は一連の命令）が含まれる。但し、これらのプログラムモジュールのうちの１つ以上により、コンピュータプログラム機構を構成することができる。

動作の間、追跡モジュール５３０は通信モジュール５２８を介して１つ以上の入力情報５５０を受信する。次いで、状態識別モジュール５３２が、世界モデル５４０のうちの１つの中の、１つ以上の対象物の状態に対する変化を判定する。いくつかの実施形態では、入力情報５５０は実際の対象物の画像を含み、状態識別モジュール５３２は、１つ以上の任意の場面５４８、所定のオリエンテーション５４６、及び／又は１つ以上のＣＡＤモデル５４４を用いて状態に対する変化を判別することができる。例えば、描画モジュール５３４は、１つ以上のＣＡＤモデル５４４、及び所定のオリエンテーション５４６を用いて、任意の場面５４８を描画することができ、状態識別モジュール５３２は、入力情報５５０を任意の場面５４８と比較することにより、状態に対する変化を判別することができる。あるいは、又はさらに、状態識別モジュール５３２は、所定の対象物の状態５４２を用いて、状態変化を判別することができる。判定された変化に基づいて、更新モジュール５３６は、１つ以上の世界モデル５４０を変更することができる。次いで、世界モデル５４０のうちの１つ以上に基づいて、生成モジュール５３８が、仮想世界クライアント及び／又は拡張現実クライアントに対する命令を生成することができる。

Claims

ユーザの画像を取得するよう設定されたステレオ画像取得機器と、
前記取得された画像に基づいて、前記ユーザの動作を追跡するよう設定された複数の追跡器と、
前記ユーザの動作に関する事象ストリームを生成するよう設定された事象生成器と、
前記事象ストリームと前記仮想世界内の状態変化をマッピングするよう設定された、仮想世界クライアント内の事象処理プロセッサであって、前記ユーザ及び／又は前記ユーザの周囲の１つ以上のモデルに基づいて、前記複数の追跡器からの出力情報を組み合わせるよう設定されたモデル結合器を含む事象処理プロセッサと、
現実世界の場面のモデルを有する仮想現実アプリケーションと、
前記現実世界の場面のモデルを表示するよう設定された１つ以上の３次元（３Ｄ）ディスプレイと、
表示情報を前記現実世界の場面の映像ストリームに重ね合わせるよう設定された１つ以上の拡張現実クライアントと、を含むシステム。
前記ステレオ画像取得機器が、深度計算用の視差マップを生成可能なステレオカメラである、請求項１に記載のシステム。
前記取得された画像内の位置の座標と現実世界の位置の座標をマッピングするよう設定された較正モジュールをさらに含む、請求項１に記載のシステム。
前記事象生成器のために運動学のモデルを前記追跡される動作に適用するモデル組合せモジュールをさらに含む請求項１に記載のシステム。
前記複数の追跡器には、
視標追跡器と、
頭部追跡器と、
手部追跡器と、
胴体部追跡器と、
対象物追跡器と、のうちの１つ以上の追跡器が含まれる、請求項１に記載のシステム。
前記事象処理プロセッサが、前記ユーザの動作に対応する対象物を前記ユーザが操作できるようにさらに設定されている、請求項１に記載のシステム。
前記３Ｄディスプレイが、ユーザの動作に対応する前記対象物を表示するようさらに設定されている、請求項６に記載のシステム。
前記事象処理プロセッサが、対象物を操作するための第２の事象ストリームを受信するよう設定されている、請求項１に記載のシステム。
コンピュータにより実行される方法であって、
コンピュータによりユーザの画像を取得するステップと、
複数の追跡器により、前記ユーザの動作を、前記取得された画像に基づいて、追跡するするステップと、
前記ユーザの動作に関する事象ストリームを生成するステップと、
前記事象ストリームと仮想世界内の状態変化をマッピングするステップと、
前記ユーザ、及び／又は前記ユーザの周囲の１つ以上のモデルに基づいて、前記複の追跡器からの出力情報を組み合わせるステップと、
現実世界の場面のモデルを維持するステップと、
３次元（３Ｄ）ディスプレイを用いて、前記現実世界の場面のモデル、及び前記現実世界の場面の映像ストリームの上に重ね合わせた情報を表示するステップと、を含む方法。
前記ユーザの画像を取得するステップには、深度計算用の視差マップを生成することが含まれる、請求項９に記載の方法。