JP2015506032A - 複数のデバイスにまたがる拡張現実表現 - Google Patents

Abstract

複数のデバイスにまたがる拡張現実表現を生成するための方法および装置が記載される。一実施例において、動作は、仮想物体を生成するステップと、第１のディスプレイを含む現実空間を生成するステップと、第２のディスプレイにおいて、第１のディスプレイを含む現実空間内に仮想物体を提示するステップとを含む。さらなる動作は、仮想物体が現実空間を通って移動する際に、現実空間における仮想物体の位置を追跡するステップと、追跡された位置を用いて、第２のディスプレイにおける仮想物体の提示を更新するステップと、仮想物体の追跡された位置が現実空間における第１のディスプレイの位置と一致するときに、第１のディスプレイに仮想物体を提示するステップとを含む。【選択図】図４

Description

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）は、現実の場所の画像に仮想物体を重ね合わせて見せるための技術を含む。簡単な例において、その画像はレストランを含む街路の風景であり、レストランの画像の上に重ね合わされたレストランの名前を加えることによって、この現実が拡張される。これが拡大されて、メニュー、レビュー、中にいる友人、およびその他の情報が含まれる。画像は画像のビデオシーケンスであってもよい。ユーザがカメラ付き携帯電話である場所を指して、その場所をスマートフォンディスプレイ上で見ることを可能にするスマートフォンアプリケーションが提案または開発されている。このアプリケーションは次いで、たとえばレストラン名など、その場所に関するデータを取得し、スマートフォンディスプレイに示されている現実を、名前、メニュー、レビューなどによって拡張する。

ＡＲ技術は、現実世界のビデオと３次元グラフィックスとを混合するためにも用いられてきた。一例においては、現実の場面のビデオフィードの上に仮想の人間または動物を重ね合わせるためにＡＲが用いられる。いくつかの場合には、現実の場面がカメラによって観察され、次いでその場面の中に立つ人物がジェスチャーをすると、それがカメラによって観察されて、現実の人物と仮想の人物または動物との双方向性を提供するために用いられてもよい。この現実の人物と仮想の人物との交流を現実の人物は直接見ることができないが、拡張現実ビューを示すディスプレイを通じて見ることができる。このビューは現実の場面と、現実の人物と、仮想の人物とを含む。

さらなるＡＲの開発では、場面の中の現実の物体が増強または変換されて、他の仮想の物体または人間と交流する仮想の物体となる。つまり、たとえば現実のキャンディが仮想の爆弾になることもできるし、テレビの現実の映像が仮想的にテレビのチャンネルを表示することもできる。これらのタイプのＡＲ技術は娯楽および新規性を提供する。改善によって、ＡＲ技術はゲームプレイ、訓練および教育に用いられるかもしれない。

添付の図面において、本発明の実施形態は例として示されるものであって、限定として示されるものではない。図面において類似の参照番号は類似の構成要素を示す。

本発明の実施形態に従う、ＡＲ表現に好適な複数のディスプレイを有する現実の場面の図である。 本発明の実施形態に従う、ＡＲキャラクターのサラマンダー（ｓａｌａｍａｎｄｅｒ）がディスプレイから出現したところを示す、複数のディスプレイを有する図１の現実の場面の図である。 本発明の実施形態に従う、ＡＲキャラクターのサラマンダーが現実の場面を横切るところを示す、複数のディスプレイを有する図１の現実の場面の図である。 本発明の実施形態に従う、ＡＲキャラクターのサラマンダーがディスプレイに入るところを示す、複数のディスプレイを有する図１の現実の場面の図である。 本発明の実施形態に従う、複数のディスプレイを有する現実の場面およびその場面の中を動き回る複数のＡＲキャラクターの図である。 本発明の実施形態に従う、複数のディスプレイにまたがってＡＲキャラクターを表現するステップのプロセス流れ図である。 本発明の別の実施形態に従う、複数のディスプレイを含む現実空間においてＡＲキャラクターを表現するステップのプロセス流れ図である。 本発明の実施形態に従う、本開示のプロセスを実施するために好適なコンピュータシステムのブロック図である。 本発明の実施形態に従う、本開示のプロセスを実施するために好適な図８のコンピュータシステムの代替図のブロック図である。

本発明の実施形態に従うと、非ＡＲビューで同じキャラクターを示している画面からＡＲキャラクターが出現してもよい。言い換えると、ＡＲ画面上で、キャラクターが第２の画面から出現するところが示される。同時に第２の画面も、その画面上にキャラクターのいずれかの部分が残っている間は、キャラクターがその画面から出現するところを示す。次いで、キャラクターは現実空間を横切って移動する。この移動は第２の画面で見ることができず、ＡＲ画面のみで見られる。キャラクターは、ＡＲおよび非ＡＲ表示の混合によって示されるとおり、別の第３の画面ともインタラクションしてもよい。キャラクターが画面から画面へと移動する際に、そのキャラクターの属性を含むがそれに限定されないデータも、画面から画面へと移動するか、または１つの画面を支援するデバイスから別の画面を支援するデバイスへと移動してもよい。

図１は、ＡＲ（拡張現実）技術を用いた拡張における複数の画面の間のインタラクションの例を示す。第１の画面１４上に、苔むした岩１２の上に立つサラマンダー１０が提示される。第１の画面は、机１６の上に置かれたタブレットコンピュータのディスプレイである。このサラマンダーは完全にディスプレイ内に含まれているため、ＡＲは伴われていない。サラマンダーは、従来のグラフィックスレンダリング技術を用いて仮想環境における仮想物体として生成されてもよい。サラマンダーは、２次元または３次元技術を用いて生成されてもよい。画面は２次元または３次元提示が可能であってもよい。

図１の現実の場面は、第２のデバイスの第２の画面１８も含み、それはこの場合にはポータブルノート型コンピュータであるが、たとえばデスクトップコンピュータ画面またはテレビなど、あらゆるその他のタイプのディスプレイデバイスが用いられてもよい。これら２つのディスプレイは机１６の上で互いに間隔を置かれており、２つの画面の間にはペンを上に載せた開いた本２０が置かれている。加えて、２つの画面の間にはボタン型キャンディ２２の列がある。

図２において、サラマンダーは第３の画面２４によって提示されるビューの中に示される。第３の画面は、たとえば別のタブレットコンピュータ、携帯電話またはポータブル媒体もしくはゲーム機などの第３のデバイスの部分である。第３のデバイスは、図１に示されるものと同じ机およびスレートコンピュータを示す。このビューは第３のデバイスの裏側のカメラを用いて提供されてもよいし、異なるデバイスで生成されて第３のデバイスに送られてもよい。このビューは、机１６および２つの画面１４、１８ならびに周囲環境を含む。

サラマンダーがディスプレイに残っている限り、第１のデバイスは、第３の画面２４の位置にいる人物が見るものを正確に示してもよい。特定の実施形態によって、このビューはこのデバイス自身のカメラを通じてこのデバイスによって直接生成されてもよいし、ソフトウェアによって描画されてもよい。一実施例において、デバイスの背部のカメラは画面および机の位置を判断し、次いでグラフィックスレンダリングシステムが、ＡＲ技術を用いた第３のディスプレイにおける表示のための拡張された画面表示を含む、第１および第２の画面の拡張バージョンを生成する。

図２に示されるとおり、電話２４を通じたＡＲによって示されるように、サラマンダー１０はタブレット画面１４から机１６の上に出現する。第３の画面において、サラマンダーはＡＲキャラクターとして描画される。第３の画面において、サラマンダーは、たとえば机およびボタン型キャンディなどの現実の物体の状況において表示される仮想物体となっている。

図３においては、電話のディスプレイを通じてＡＲキャラクターとして示されるサラマンダーが現在机の上を歩いている。サラマンダーはボタン型キャンディの列をたどり、それらを仮想的に食べている。図面の左側では、サラマンダーはまだ図１と同様に苔むした岩の上に立っている。このことは、第３のディスプレイにおけるＡＲレンダリングが、第１のディスプレイ１４に実際に示される場面に影響していないことを示す。

図４において、サラマンダー１０は現在ノート型コンピュータディスプレイ１８の端縁をつついている。画面表面の水のシミュレーションは、ＡＲを通じて見ても通じずに見ても波紋を示す。言い換えると、サラマンダーは第２の画面とインタラクションしており、第２の画面に対するこのインタラクションの効果が第３のＡＲ画面に示される。第２および第３のデバイスの間の通信リンクを通じて、サラマンダーのインタラクションがそのリンクを通じて第３のディスプレイに送られてもよい。次いで、第２のディスプレイは図４に示されるとおりの水の波紋を生成するようにされてもよい。次いでＡＲ画面は、第３のデバイスのカメラが第２の画面上に見たものを正確に示してもよいし、ＡＲ技術を用いて波紋を生成して、それがあたかも第２の画面上にあるかのようにＡＲディスプレイ上に提示してもよい。その結果、サラマンダーは電話を通じてしか見られないが、ノート型コンピュータにおける水のシミュレーションの波紋はＡＲなしでも見ることができる。

さらに図４では、図面の左側に見える現実の場面のボタン型キャンディが、机上の元々置かれたところに残っていることが示される。しかしながらＡＲ画面では、キャンディは食べられていてもはや見えない。加えて、第３のＡＲ画面に示されるＡＲ場面においてはサラマンダーが第２の画面に移動しているにもかかわらず、現実の場面ではサラマンダーがなおも第１の画面１４に提示されている。第１の画面への通信リンクを提供することによって、第１の画面がＡＲビューと一致する態様でサラマンダーを提示するようにしてもよい。この場合には、サラマンダーはＡＲキャラクターとして提示されて第１の画面を去っているので、第１の画面はサラマンダー１０のいない苔むした岩１２を提示することになる。

加えて、サラマンダーはＡＲキャラクターとして、キャンディだけでなく本、ノート型コンピュータ、およびノート型コンピュータに表示された水ともインタラクションしたことに留意されたい。加えて、図１から図４を比べると、第３のディスプレイに提示される特定の物品は、第３のディスプレイの位置によって異なる。図３において、ノート型コンピュータのすべておよびボタン型キャンディのすべてはＡＲディスプレイにおいてのみ示される。図４において、ディスプレイは

ＡＲキャラクターの簡単なインタラクションは、さまざまな異なるやり方で向上されてもよい。ＡＲキャラクターとして描画される仮想物体として、ＡＲキャラクターの行動、外観および特徴は、あらゆる特定の適用に適合するように修正されてもよい。サラマンダーが示されているが、あらゆる人物、動物または物体が提示されてもよい。加えて、ＡＲキャラクターは現実物体または他の仮想物体とのインタラクションによって変化してもよい。たとえば、その生物がキャンディに出合うかまたはキャンディを食べるたびに、より高等な生物形態に進化してもよい。ゲームの状況においては、ゲームキャラクターがキャンディを吸収するたびに、より多くの寿命、武器またはキーを得てもよい。

図５は、現実空間と第１のディスプレイに提示される空間との組み合わせにおいて提示されるＡＲ物体の別の実施例を示す。この実施例において、より大きなコンピュータデスクトップディスプレイまたはテレビの形の３次元ディスプレイ２８は、部屋を飛び回る複数の宇宙船を含む場面を提示している。たとえばテレビ画面２８のフレーム内にある第１の宇宙船３０など、宇宙船のいくつかはテレビのディスプレイに提示され得る。テレビの３次元提示能力によっては、画面の面の外側にあるが視聴者またはユーザ３２の視点からはまだ画面の近くにある他の宇宙船３６もテレビは提示し得るかもしれない。

図示されるとおり、ユーザは、たとえばタブレットまたはスレートコンピュータなどの第２のディスプレイ３４を有し、それによってユーザは部屋を飛び回っているように見える追加の宇宙船３６、３８、４０を見ることができる。ユーザが第２のＡＲディスプレイを動かすとき、異なる宇宙船が視界に入り、ユーザがすべての宇宙船を見ることを可能にするが、必ずしも同時にすべてが見えるわけではない。サラマンダーの実施例と同様に、第１の宇宙船３０は画面から出現するところである。この実施例において、この物体は３Ｄテレビのディスプレイに現れ、次いで画面を離れて部屋を飛び回る際にはＡＲの態様でタブレット上で見られてもよい。この物体はテレビ画面に現れてもよく、第１の宇宙船として表現される仮想物体に関して２つのデバイスが互いに通信することを可能にすることによって、出現するところが示されてもよい。

サラマンダーと同様に、宇宙船は単なる例として提供されるものである。たとえば飛行機、鳥、魚、潜水艦、またはあらゆるその他の種類の敵戦闘機など、類似のタイプの物体に対してこの原理が容易に適用されてもよい。訓練の目的のために、同じ原理がフライト（ｆｌｉｇｈｔ）、運転、飛行（ｆｌｙｉｎｇ）、およびその他のタイプの訓練に適用されてもよい。さらに、同じ原理が医学診断情報に適用されてもよいし、教育または学習の目的のために数学的および科学的概念を示すために適用されてもよい。他の実施において、店および友人、ならびにその他多くのタイプの情報を示す現実の街路の場面が提供されてもよい。

上の２つの実施例は、ＡＲキャラクターにさらに多くの特徴を加えることによって向上されてもよい。以下により詳細に説明するとおり、これらの特徴はゲームソフトウェアタイプの構成要素によって生成されてもよい。ＡＲキャラクターは視覚効果に加えて、たとえば足音、エンジン音または声などの音を出すように構成されてもよい。これらの音は、ディスプレイによって提供される空間位置に付加されるべきキャラクターの聴覚的位置を提示するための３次元処理効果によって増強されてもよい。複数のスピーカとともに立体およびサラウンド音響効果を用いることによって、キャラクター音響を、キャラクターがあたかも特定の位置にいるようにしたり、移動しているようにしたりしてもよい。

他の現実および仮想物体とのキャラクターのインタラクションもこのやり方で提示されてもよい。よって、たとえばサラマンダーが現実のボタン型キャンディを仮想的に食べる際に、噛んだり飲み込んだりする音が生成されてもよく、その音があたかもサラマンダーの口の空間位置から出ているように聞こえてもよい。同様に、サラマンダーがノート型ディスプレイ上の水に触って波紋を起こす際に、波打つ水の音が生成されてもよく、その音があたかもノート型コンピュータから出ているように聞こえてもよい。これは、ノート型コンピュータに命令およびデータを送って自身のスピーカから同じ音を出させることによって増強されてもよい。宇宙船の実施例においては、こうした宇宙船が生成し得る音を示唆する多くの異なる独立した音および相互作用的な音が生成されている。

さらに、ＡＲキャラクターは一方の画面から他方の画面に構成要素を運ぶように実現されてもよい。サラマンダーは、苔むした岩から何かを運び、次いでそれを水中に落としてもよい。仮想の人物または乗り物が、広範囲の異なる物品を一方の画面から他方の画面に運んでもよい。これはゲームプレイに用いられてもよいし、２つの機械の間のデータ転送の娯楽的アニメーションとして用いられてもよい。ゲームプレイのシナリオにおいて、１人のユーザがこうしたアニメーションを用いてポイント、寿命、武器またはトークンを受け取ってもよい。

上に提供された２つの実施例は、付加的なユーザインタラクションによってさらに向上されてもよい。ゲームの部分として、プレイヤーは互いのデバイスに向けてＡＲキャラクターを送ってもよい。これは仮想の社会的交流、バトル、構築の形であっても、あらゆるその他の目的のためであってもよい。こうした例において、プレイヤーは人物、動物、乗り物またはその他の物体であってもよいＡＲキャラクターを選択し、次いでそれが他方のプレイヤーのディスプレイに行くように指示してもよい。その物体は他方のプレイヤーに何かを持って行ってもよいし、途中で他の物体とインタラクションしてもよい。

別の例において、ユーザは、タッチスクリーンをスワイプまたはフリックするジェスチャー、コントローラ、またはエアジェスチャーを用いて、ＡＲキャラクターをユーザのデバイスから特定の目標に向けて送るか、またはより一般的な方向に送ってもよい。上述の相互作用的かつ通信的な複数画面ＡＲを用いると、発信ユーザはＡＲキャラクターをユーザ自身のデバイスで見てもよく、他のユーザまたはプレイヤーも彼ら自身のデバイスでＡＲキャラクターを見てもよい。これらのアプローチは、複数のプレイヤーが同じＡＲキャラクターに同時に関与することを可能にするために用いられてもよい。たとえば、宇宙船が主テレビディスプレイ画面を離れた後に、何人かのプレイヤーがその同じ宇宙船を仮想的に撃ってもよい。

図６および図７は、図１から図５の実施例において示されたとおりに複数のディスプレイによってＡＲキャラクターを生成および使用するステップのプロセス流れ図の例である。図６においては、ブロック６０２において、ユーザは複数のディスプレイを有するシステム内の１つのディスプレイからのＡＲ物体の開始を引き起こす。各ディスプレイはそれ自身の処理リソースに結合されてもよいし、別のディスプレイのリソースとリソースを共有してもよい。このシステムは単一の処理システムによって中央で駆動されてもよいし、いくつかの異なる処理システムの間でタスクが共有されてもよい。

ＡＲ物体は上述のとおりのＡＲキャラクターであってもよいし、ＡＲキャラクターとして用いられ得るあらゆる仮想物体であってもよい。コントローラからタッチスクリーンまたは表面、声またはジェスチャー入力システムまで、さまざまな異なるコマンド入力システムのいずれかを用いて、当該キャラクターが開始されてよい。宇宙船の実施例においては、ゲームコントローラが用いられてもよいし、画面ジェスチャーとスレートコンピュータの動きとの組み合わせが用いられてもよい。

ＡＲキャラクターが開始された後、６０４において、システム処理リソースは、システム内の他のディスプレイに関するＡＲキャラクターの仮想位置を決定し、この位置を追跡する。６０６において、仮想位置情報が他のディスプレイに送られてもよい。この情報は、影を示したり、たとえば主要な音響効果、有声化、またはエコーなどの聴覚的指示を生成したり、ユーザのＡＲ体験を向上するその他の効果を提供したりするために他のディスプレイによって用いられてもよい。

６０８において、システムは６０４における位置の追跡を通じて、ＡＲ物体が仮想的にディスプレイに触れたことを判断する。これは図面に示されるディスプレイ２であっても、システム内のあらゆるその他のディスプレイであってもよい。システムは、ディスプレイを含む３次元空間を生成し、次いで現実空間内のＡＲキャラクターの仮想的行動を追跡することによって、これを行い得る。６１０において、システムは影響を受けたディスプレイにおいてＡＲ物体の効果の現実の表示を開始する。上記のサラマンダーの実施例において、サラマンダーは第１のディスプレイにおいてディスプレイを離れるところが示され、第２のディスプレイにおいて波紋をもたらすところが示されてもよい。これらのインタラクションはそれぞれのディスプレイ上に提示されてもよく、かつインタラクションの聴覚的表現、たとえば足音または波打つ水音なども伴っていてもよい。特定の効果を定めるためにディスプレイの処理リソースが用いられてもよいし、別の計算リソースによって決定が行われてもよい。

図７は、複数のディスプレイを用いてＡＲキャラクターまたはその他の仮想物体を提示するステップの代替的プロセスを示す。７０２において、システムは、好適なＡＲキャラクターまたは相互作用的ＡＲデバイスとしての目的を果たす、たとえばサラマンダーもしくは宇宙船またはあらゆるその他の仮想物体などの仮想物体を生成する。７０４において、システムは、少なくとも１つの現実のディスプレイを含む現実空間を生成する。この現実空間は非常に単純であってもよいし、複数の現実物体を有してもよい。現実空間は音源をも含んでもよい。

７０６において、第２のディスプレイにおいて、生成された仮想物体が現実空間に提示される。上記の実施例において、この第２のディスプレイはそれを通じて現実空間を見ることのできる可動ポータブルディスプレイであるが、代替的にそれは固定されたディスプレイであってもよい。仮想物体は、現実空間内のあらゆる所望の位置に提示されてもよい。上述のとおり、ユーザが仮想物体を現実空間に開始または投入してもよいし、第１のディスプレイまたは別のディスプレイから仮想物体が出現してもよい。代替的に、実施に応じて、現実空間のある部分から仮想物体が出現してもよい。

７０８において、システムは仮想物体の位置を追跡する。サイズ、外観、動きおよび音に関する仮想物体の行動も追跡されてもよい。これは、仮想物体の運動を生成するシステム内で行われてもよいし、別個の追跡モジュールで行われてもよい。７１０において、仮想物体が現実空間内で移動および行動する際に、第２のディスプレイにおける仮想物体の提示が更新される。

７１２において、仮想物体の位置が、たとえば第１のディスプレイなどの他の現実物体の位置と比較される。仮想物体の行動および現実物体の性質に依存して、第２のディスプレイにはさまざまな異なるインタラクションが提示されてもよい。ディスプレイ、この場合には第１のディスプレイによって、仮想物体の位置が第１のディスプレイの位置と少なくとも部分的に一致するとき、それらの相対位置に基づいて、仮想物体の少なくとも一部が第１のディスプレイに提示されてもよい。

これらの動作は、たとえば上記の水の波紋の例のように、仮想物体と第１のディスプレイに表示される物品とのインタラクションを提示することなどによって増強されてもよい。インタラクションの効果は、第１の画面および第２の画面の両方に表示されてもよい。第２の画面における表示物体はさらに仮想物体に変換されて、第１のディスプレイの現実空間を越えてもよい。例として、水の波紋は、第２のディスプレイに示されるＡＲの波として、ディスプレイを越えて外の机の上にまで水の波を送ってもよい。

他の現実ディスプレイに関する仮想物体の位置が追跡されるように、追加のディスプレイが用いられてもよい。仮想物体の位置がディスプレイのいずれかと一致するとき、そのディスプレイとのインタラクションが提示されてもよい。その提示はＡＲディスプレイだけでなく、現実空間のディスプレイにも提供されてもよい。これによってＡＲキャラクターのインタラクションの現実感が向上してもよい。

たとえばサラマンダーの実施例におけるボタン型キャンディ、本、およびディスプレイベゼルなど、ディスプレイ以外の他の現実物体も存在してもよい。これらの現実物体とのインタラクションは、そのインタラクションが別のディスプレイにも影響を与えるほど十分に大きいものでない限り、ＡＲディスプレイに限定されてもよい。たとえば、サラマンダーが第３のディスプレイにおいてボタン型キャンディを水中に投げ込むかまたは蹴り込むものであるとき、この現実物体は投げられるときに別の仮想物体に変換されてもよい。それが水を伴うディスプレイに達するとき、仮想物体は表示物体となり、その軌跡および水に飛び込むところは、ＡＲディスプレイと同様に現実空間の第３のディスプレイに提示されてもよい。

同じやり方で、追加の仮想物体が場面に加えられてもよい。宇宙船の実施例においては、いくつかの宇宙船が存在する。同様に、何匹かのサラマンダーまたはサラマンダーに対するその他の仮想物体が存在して、たとえば他のサラマンダー、食物、餌、または捕食者などとインタラクションしてもよい。これらの物体すべての位置が同時に追跡されることによって、ＡＲディスプレイおよび現実空間のディスプレイにインタラクションが提供されてもよい。

上述の動作に、さまざまな異なるユーザ入力およびインタラクションが加えられてもよい。これらの入力は、１つまたは複数の仮想物体とのインタラクションを表現するために用いられてもよく、仮想物体とユーザ入力との対応するインタラクションは、現実空間のディスプレイと同様にＡＲディスプレイにも提示されてもよい。インタラクションを提示するための現実空間の特定のディスプレイは、そのインタラクションと比較したときの現実空間におけるディスプレイの位置によって決まる。たとえディスプレイが遠く離れていても、インタラクションの効果は現実空間におけるディスプレイの位置と一致してもよい。たとえば、サラマンダーが何かを投げるかまたは蹴るものであれば、その仮想物体は長距離を移動するかもしれない。同様に、爆発する宇宙船は広い範囲に炎または破片をまき散らすかもしれない。特定の実施に基づいて特定のユーザ入力が選択されてもよい。それらはとりわけ、仮想物体におけるエアジェスチャー、仮想物体におけるタッチスクリーンジェスチャー、および音声コマンドを含んでもよい。

現実空間に新たなＡＲキャラクターもしくは異なるＡＲキャラクターを新たに開始するため、または新たな仮想物体を生成するために、このプロセスは戻る。図６および図７の動作は他のプロセスと組み合わされてもよく、他の場合のこうした動作が続いている間、繰り返されてもよい。この動作は複数の処理システムによって行われてもよいし、複数のディスプレイを有する単一のシステムによって行われてもよい。

図８は、上記で考察した動作を支援できる計算環境のブロック図である。これらのモジュールおよびシステムはさまざまな異なるハードウェアアーキテクチャにおいて実現されてもよく、図９に示されるものを含む要素を形成する。

コマンド実行モジュール８０１は、中央処理ユニットを含むことによって、コマンドをキャッシュおよび実行し、さらに図示される他のモジュールおよびシステム、ならびに通信インタフェースを通じてリモートシステムにタスクを分散させる。コマンド実行モジュール８０１は、命令スタックと、中間および最終結果を保存するためのキャッシュメモリと、アプリケーションおよびオペレーティングシステムを保存するための大容量メモリとを含んでもよい。加えて、コマンド実行モジュール８０１は、システムに対する中央協調およびタスク割り当てユニットとして働いてもよい。

画面レンダリングモジュール８２１は、ユーザが見るためのＡＲディスプレイを含む１つまたは複数の複数画面に物体を描く。画面レンダリングモジュール８２１は、以下に説明される仮想物体行動モジュール８０４からデータを受け取り、適切な単数または複数の画面に仮想物体、現実物体、表示物体ならびにあらゆるその他の物体および力を描画するように適合されてもよい。よって、仮想物体行動モジュール８０４からのデータは、たとえば仮想物体の位置および動力学、ならびに関連する動き、作用および音響などを定め、画面レンダリングモジュール８２１は、それに従って画面上に仮想物体ならびに関連する物体および環境を描く。

画面レンダリングモジュールはさらに、以下に説明される隣接画面透視モジュール８０７からデータを受け取り、仮想物体および他の画面の間のオーバーラップを示すように適合されてもよい。よって、たとえば仮想物体が第１の画面から第２の画面に移動されるとき、隣接画面透視モジュール８０７は画面レンダリングモジュール８２１にデータを送って、たとえば第２の画面において仮想物体をどのように描画するかを示唆してもよい。

物体およびジェスチャー認識システム８２２は、ユーザの手および腕のジェスチャーを認識および追跡するように適合されてもよい。こうしたモジュールは、手、指、指のジェスチャー、手の動き、およびディスプレイに対する手の位置を認識するために用いられてもよい。たとえば物体およびジェスチャー認識モジュールは、たとえばユーザが仮想物体を複数画面の一方または他方に落とすかもしくは投げるための身体部分ジェスチャーをしたこと、またはユーザが仮想物体を１つの位置から別の位置に移動させるための身体部分ジェスチャーをしたことなどを判断してもよい。物体およびジェスチャー認識システムは、ユーザからのジェスチャーおよびコマンドを検出するために、カメラもしくはカメラアレイ、マイクロホンもしくはマイクロホンアレイ、タッチスクリーンもしくはタッチ表面、またはポインティングデバイス、またはこれらの物品の何らかの組み合わせに結合されてもよい。

物体およびジェスチャー認識システムのタッチスクリーンまたはタッチ表面は、タッチスクリーンセンサを含んでもよい。そのセンサからのデータがハードウェア、ソフトウェア、ファームウェアまたはその組み合わせに供給されることによって、画面または表面におけるユーザの手のタッチジェスチャーを仮想物体の対応する動的行動にマップしてもよい。たとえば画面に対するユーザの指のスワイプ速度など、ユーザの手からの入力に基づいて仮想物体がさまざまな運動量の行動をすることを可能にするために、運動量および慣性係数を定めるためにセンサデータが用いられてもよい。タッチ表面の利益なしに、１つまたは複数のカメラを用いる物体およびジェスチャー認識システムによって類似のコマンドが生成されてもよい。

データ転送および協調モジュール８２３は、システム内のさまざまな計算および表示リソースとともに働いて、仮想物体および効果に関する情報を他のデバイスに送ることによって、それらが他のディスプレイに提示され得るようにする。このモジュールは音声情報も送ることによって、スピーカから聴覚的効果が提示され得るようにししてもよい。データ転送および協調モジュール８２３は、他のデバイスが表示の決定に用いるためのパラメータを送ってもよいし、すぐに表示できる完全に描画されたグラフィカル効果を送ってもよいし、計算タスクがどのように分散されるかに依存して何らかの他の形のデータを送ってもよい。

データ通信モジュール８２５は、システム内のすべてのデバイスが通信することを可能にする有線または無線のデータインタフェースを含む。各デバイスとともに複数のインタフェースが存在してもよい。一実施例において、ＡＲディスプレイは、ＡＲキャラクターに関する詳細なパラメータを送るためにＷｉＦｉを通じて通信する。ＡＲディスプレイはさらに、ユーザコマンドを送るため、およびＡＲディスプレイデバイスを通じて再生するための音声を受け取るためにＢｌｕｅｔｏｏｔｈ（登録商標）を通じて通信する。あらゆる好適な有線または無線デバイス通信プロトコルが用いられてもよい。

仮想物体行動モジュール８０４は、物体速度および方向モジュール８０３からの入力を受け取り、ディスプレイのあらゆる１つまたは複数に示される仮想物体にこうした入力を適用するように適合される。よってたとえば、物体およびジェスチャー認識システムがユーザのジェスチャーを解釈し、ユーザの手の捕捉された動きを認識される動きにマップすることによって、仮想物体追跡モジュールが仮想物体の位置および動きを物体およびジェスチャー認識システムによって認識された動きに関連付け、物体速度および方向モジュール８０３は仮想物体の動きの動力学を捕捉し、仮想物体行動モジュールは物体速度および方向モジュール８０３からの入力を受け取ることによって、物体速度および方向モジュール８０３からの入力に対応する仮想物体の動きを指示するデータを生成する。

他方で、仮想物体追跡モジュール８０６は、ディスプレイに近接する３次元空間において仮想物体が位置すべきところを追跡するように適合されてもよい。たとえば仮想物体追跡モジュール８０６は、仮想物体が画面を横切ったり画面の間を移動したりする際に仮想物体を追跡し、かつその仮想物体の近くにあるあらゆる現実物体または付加的な仮想物体の位置を追跡してもよい。これは、仮想物体の位置が１つまたは複数の画面と一致するかどうかに関する最終的認識を提供するために用いられてもよい。

ＡＲおよび他の物体追跡モジュール８０８は、さまざまな画面上または画面間にあるときのキャラクターの行動を協調させる。たとえば、ＡＲキャラクターが１つの画面から去ったとき、その画面はそのセッションが終わるか、またはＡＲキャラクターの仮想位置がその画面に戻るまではそのキャラクターを示さなくてもよい。これを達成するために、仮想物体行動モジュール８０４によってＡＲキャラクターが生成されるとき、生成するデバイスは仮想物体追跡モジュールからのデータを用いて、他の画面に対する視野におけるそのキャラクターの位置を理解する。これを行うために、隣接画面透視モジュールによって画像データが分析されることによって、デバイス間の距離が推定されてもよい。ＡＲキャラクターの位置を中心とするＡＲキャラクターの寸法を用いて、ＡＲキャラクターが画面に仮想的に触れているかどうかを推定してもよい。代替的には、仮想物体追跡モジュールからのデータを隣接画面透視モジュールによって用いることによって、ＡＲキャラクターの特定の位置を定めてもよい。

デバイス近接検出モジュール８２５を含むか、またはそれに結合されてもよい隣接画面透視モジュール８０７は、１つのディスプレイの別のディスプレイに対する角度および位置を定めるように適合されてもよい。これは、自身のカメラまたはその他のセンサを用いてＡＲディスプレイの位置および動きを定めたり、他のディスプレイの互いに対する位置を観察したりするために用いられてもよい。デバイスが保持されている角度を定めるために加速度計、磁力計、コンパス、またはカメラが用いられてもよく、一方で赤外線エミッタおよびカメラは隣接デバイスのセンサに関する画面デバイスの向きを定めることを可能にしてもよい。このやり方で、隣接画面透視モジュール８０７はそれ自身の画面座標に対する隣接画面の座標を定めてもよい。よって、隣接画面透視モジュールはどのデバイスが互いに近接しているかを定めたり、１つまたは複数の仮想物体を画面を横切って移動させたり画面間で移動させたりするためのさらなる潜在的目標を定めたりしてもよい。隣接画面透視モジュールはさらに、すべての現存する物体および仮想物体を表す３次元空間のモデルに画面の位置を相関させることを可能にしてもよい。

物体速度および方向モジュール８０３は、仮想物体追跡モジュール８０６からの入力を受け取ることによって、移動される仮想物体のたとえば軌跡、速度（線速度または角速度）、運動量（線運動量または角運動量）などの動力学を推定するように適合されてもよい。物体速度および方向モジュール８０３はさらに、たとえば加速、偏向、仮想結合の伸長の程度などを推定することなどによって、あらゆる物理的な力の動力学を推定したり、仮想物体が他の物体とインタラクションするときの仮想物体の動的行動を推定したりするように適合されてもよい。物体速度および方向モジュール８０３はさらに、画像の動き、サイズおよび角度変化を用いて仮想物体の速度を推定してもよい。

運動量および慣性モジュール８０２は、画像の動き、画像サイズ、像平面または３次元空間における物体の角度変化を用いて、空間またはディスプレイにおける物体の速度および方向を推定できる。

３Ｄ画像インタラクションおよび効果モジュール８０５は、仮想物体および現実物体を含む３次元空間を生成し、仮想物体の表示画像とのインタラクションを追跡する。次いで、３Ｄ画像インタラクションおよび効果モジュール８０５は、３次元の現実空間内の物体が１つまたは複数の画面の位置にマップされることを可能にする。（画面の面に向かう、およびそこから遠ざかる）ｚ軸における物体の影響は、これらの物体の互いに対する相対的影響とともに算出できる。たとえば、ユーザのジェスチャーによって投げられる物体は、その仮想物体が画面の面に到着する前に前景の３Ｄ物体によって影響され得る。これらの物体は、投射物の方向もしくは速度を変えるか、またはそれを完全に破壊するかもしれない。物体は、３Ｄ画像インタラクションおよび効果モジュールによって、ディスプレイの１つまたは複数において前景に描画されてもよい。

図９は、たとえばパーソナルコンピュータ、タブレットもしくはスレートコンピュータ、ゲームコンソール、スマートフォン、またはポータブルゲーム機などのコンピュータシステムのブロック図である。コンピュータシステム９００は、情報を通信するためのバスまたはその他の通信手段９０１、および情報を処理するための、バス９０１に結合されたたとえばマイクロプロセッサ９０２などの処理手段を含む。コンピュータシステムは、並列パイプラインを通じて特定的にグラフィックスを描画するためのグラフィックスプロセッサ９０３と、上述のとおりの物理インタラクションを算出するための物理プロセッサ９０５とによって増強されてもよい。これらのプロセッサは中央プロセッサ９０２に組み込まれてもよいし、１つまたは複数の別個のプロセッサとして提供されてもよい。

コンピュータシステム９００はさらに、プロセッサ９０２によって実行されるべき命令および情報を保存するための、バス９０１に結合された、たとえばランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）またはその他の動的データ記憶装置などのメインメモリ９０４を含む。メインメモリはさらに、プロセッサによる命令の実行中に一時変数またはその他の中間情報を保存するために用いられてもよい。コンピュータシステムはさらに、静的情報およびプロセッサに対する命令を保存するための、バスに結合された、たとえばリードオンリメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）またはその他の静的データ記憶装置などの不揮発性メモリ９０６を含んでもよい。

加えて、情報および命令を保存するために、たとえば磁気ディスク、光ディスク、または固体アレイおよびその対応するドライブなどの大容量メモリ９０７が、コンピュータシステムのバスに結合されてもよい。コンピュータシステムはさらに、ユーザに情報を表示するために、たとえば液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）または有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）アレイなどのディスプレイデバイスまたはモニタ９２１にバスを介して結合されてもよい。たとえば、上記で考察したさまざまなビューおよびユーザインタラクションに加えて、インストール状態、動作状態およびその他の情報のグラフィックスおよびテキスト表示がディスプレイデバイス上でユーザに提示されてもよい。

典型的に、プロセッサに情報およびコマンド選択を通信するために、たとえば英数字キー、ファンクションキーおよびその他のキーを有するキーボードなどのユーザ入力デバイスがバスに結合されてもよい。付加的なユーザ入力デバイスは、たとえばマウス、トラックボール、トラックパッド、またはカーソル方向キーなどのカーソル制御入力デバイスを含んでもよく、それらはプロセッサに方向情報およびコマンド選択を通信したり、ディスプレイ９２１におけるカーソルの動きを制御したりするためにバスに結合されてもよい。

カメラおよびマイクロホンアレイ９２３は、上述のとおり、ジェスチャーを観察し、音声およびビデオを記録し、かつ視覚および音声コマンドを受け取るためにバスに結合される。

加えて、通信インタフェース９２５がバス９０１に結合される。通信インタフェースは、モデム、ネットワークインタフェースカード、またはその他の周知のインタフェースデバイス、たとえばイーサネット（登録商標）への結合のために用いられるものなど、トークンリング、または、たとえばローカルもしくは広域ネットワーク（ｌｏｃａｌ ｏｒ ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）（ＬＡＮまたはＷＡＮ）などを支援するための通信リンクを提供する目的のためのその他のタイプの物理的有線もしくは無線アタッチメントなどを含んでもよい。この態様で、コンピュータシステムはさらに、たとえばイントラネットまたはインターネットなどを含む従来のネットワークインフラストラクチャを介して、いくつかの周辺デバイス、他のクライアント、または制御表面もしくはコンソール、またはサーバに結合されてもよい。

特定の実施に対しては、上述の例よりも装備が少ないかまたは多いシステムが好ましいかもしれない。したがって、たとえば価格の制約、性能要求、技術的改善またはその他の状況など、多数の要素に依存して、例示的システム８００および９００の構成は実施ごとに変動するだろう。

実施形態は、以下のいずれかまたはその組み合わせとして実施されてもよい。すなわち、親基板（ｐａｒｅｎｔｂｏａｒｄ）を用いて相互接続された１つまたは複数のマイクロチップまたは集積回路、ハードワイヤード論理、メモリデバイスに保存されてマイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）、および／またはフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）である。「論理（ｌｏｇｉｃ）」という用語は、例として、ソフトウェアまたはハードウェア、および／またはソフトウェアとハードウェアとの組み合わせを含んでもよい。

たとえば実施形態は、たとえばコンピュータ、コンピュータのネットワーク、またはその他の電子デバイスなどの１つまたは複数の機械によって実行されるときに、その１つまたは複数の機械に本発明の実施形態に従う動作を行わせる機械実行可能命令を保存する１つまたは複数の機械読取り可能媒体を含んでもよいコンピュータプログラム製品などとして提供されてもよい。機械読取り可能媒体は、フロッピー（登録商標）ディスケット、光ディスク、ＣＤ−ＲＯＭ（コンパクトディスク・リードオンリメモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｉｅｓ））、および光磁気ディスク、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラマブルリードオンリメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｉｅｓ））、ＥＥＰＲＯＭ（電気的消去可能プログラマブルリードオンリメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｉｅｓ））、磁気または光カード、フラッシュメモリ、または機械実行可能命令を保存するために好適なその他のタイプの媒体／機械読取り可能媒体を含んでもよいが、それに限定されない。

さらに、実施形態はコンピュータプログラム製品としてダウンロードされてもよく、ここでそのプログラムは、通信リンク（例、モデムおよび／またはネットワーク接続）を介して、搬送波またはその他の伝播媒体において具現化されるか、および／またはそれによって変調された１つまたは複数のデータ信号によって、リモートコンピュータ（例、サーバ）から要求コンピュータ（例、クライアント）に転送されてもよい。したがって、本明細書において用いられる機械読取り可能媒体はこうした搬送波を含んでもよいが、それが要求されるわけではない。

「一実施形態」、「実施形態」、「実施形態の例」、「さまざまな実施形態」などに対する参照は、そのように記載される本発明の実施形態が特定の特徴、構造または特性を含んでもよいことを示すが、すべての実施形態が必ずしもその特定の特徴、構造または特性を含むわけではない。さらに、いくつかの実施形態は、他の実施形態に対して記載される特徴のいくつかまたはすべてを有してもよいし、有さなくてもよい。

以下の記載および請求項において、「結合される（ｃｏｕｐｌｅｄ）」という用語およびその派生語が用いられることがある。「結合される」は２つまたは複数の構成要素が互いに協働または相互作用することを示すために用いられるが、それらの構成要素の間に介在する物理的または電気的構成要素はあってもなくてもよい。

請求項において用いられるとき、別様に指定されない限り、一般的な構成要素を説明するために順序を示す形容詞「第１の」、「第２の」、「第３の」などを用いることは、単に類似の構成要素の異なる事例に言及していることを示すものであって、そのように記載される構成要素が、時間、空間、順位、またはあらゆるその他の態様において所与の順序である必要があることを意味することは意図されない。

図面および前述の記載は実施形態の例を与えるものである。記載される構成要素の１つまたは複数が組み合わされて単一の機能的構成要素にされてもよいことを当業者は認識するだろう。代替的に、特定の構成要素が分割されて複数の機能的構成要素にされてもよい。１つの実施形態の構成要素が別の実施形態に加えられてもよい。たとえば、本明細書に記載されるプロセスの順序は変更されてもよく、本明細書に記載される態様に限定されない。さらに、あらゆる流れ図の動作は図示される順序に実施される必要はないし、必ずしもすべての動作が実行される必要はない。加えて、他の動作に依存しない動作は、他の動作と並行して行われてもよい。実施形態の範囲は、決してこれらの特定の実施例によって限定されない。明細書に明確に示されていてもいなくても、たとえば構造、寸法および材料の使用の相違など、多数の変更形が可能である。実施形態の範囲は、少なくとも以下の請求項によって与えられるものと同じ広さである。

図面および前述の記載は実施形態の例を与えるものである。記載される構成要素の１つまたは複数が組み合わされて単一の機能的構成要素にされてもよいことを当業者は認識するだろう。代替的に、特定の構成要素が分割されて複数の機能的構成要素にされてもよい。１つの実施形態の構成要素が別の実施形態に加えられてもよい。たとえば、本明細書に記載されるプロセスの順序は変更されてもよく、本明細書に記載される態様に限定されない。さらに、あらゆる流れ図の動作は図示される順序に実施される必要はないし、必ずしもすべての動作が実行される必要はない。加えて、他の動作に依存しない動作は、他の動作と並行して行われてもよい。実施形態の範囲は、決してこれらの特定の実施例によって限定されない。明細書に明確に示されていてもいなくても、たとえば構造、寸法および材料の使用の相違など、多数の変更形が可能である。実施形態の範囲は、少なくとも以下の請求項によって与えられるものと同じ広さである。本願によれば、以下の構成もまた開示される。
（項目１）
仮想物体を生成するステップと、
第１のディスプレイを含む現実空間を生成するステップと、
第２のディスプレイにおいて、前記第１のディスプレイを含む前記現実空間内に前記仮想物体を提示するステップと、
前記仮想物体が前記現実空間を通って移動する際に、前記現実空間における前記仮想物体の位置を追跡するステップと、
前記追跡された位置を用いて、前記第２のディスプレイにおける前記仮想物体の前記提示を更新するステップと、
前記仮想物体の前記追跡された位置が前記現実空間における前記第１のディスプレイの位置と一致する場合に、前記第１のディスプレイに前記仮想物体を提示するステップと
を含む、方法。
（項目２）
前記現実空間内にさらなる仮想物体を生成するステップと、
前記追跡された位置が前記さらなる仮想物体に近接する場合に、前記第２のディスプレイにおいて前記仮想物体と前記さらなる仮想物体とのインタラクションを提示するステップと
をさらに含む、項目１に記載の方法。
（項目３）
前記第２のディスプレイに前記仮想物体を提示するステップは、前記第２のディスプレイに前記仮想物体に関するデータを転送するステップと、前記第２のディスプレイが前記仮想物体に関する前記データを前記現実空間に関する捕捉データと組み合わせるステップとを含む、請求項１に記載の方法。
（項目４）
前記第２のディスプレイにおいて前記現実空間内に前記仮想物体を提示するステップは、前記追跡された位置が前記第１のディスプレイの前記位置と一致する場合に、前記第１のディスプレイに前記仮想物体を提示するステップを含む、項目１に記載の方法。
（項目５）
前記現実空間における前記仮想物体の音声表現を提示するステップと、前記追跡された位置を用いて前記音声表現を修正するステップとをさらに含む、項目１に記載の方法。

Claims (20)

1. 仮想物体を生成するステップと、
   第１のディスプレイを含む現実空間を生成するステップと、
   第２のディスプレイにおいて、前記第１のディスプレイを含む前記現実空間内に前記仮想物体を提示するステップと、
   前記仮想物体が前記現実空間を通って移動する際に、前記現実空間における前記仮想物体の位置を追跡するステップと、
   前記追跡された位置を用いて、前記第２のディスプレイにおける前記仮想物体の前記提示を更新するステップと、
   前記仮想物体の前記追跡された位置が前記現実空間における前記第１のディスプレイの位置と一致する場合に、前記第１のディスプレイに前記仮想物体を提示するステップと
   を含む、方法。
2. 前記第１のディスプレイに表示物体を提示するステップと、
   前記追跡された位置が前記第１のディスプレイに近接する場合に、前記第２のディスプレイにおいて前記表示物体と前記仮想物体とのインタラクションを提示するステップと、
   前記第１のディスプレイにおいて前記表示物体に対する前記インタラクションの効果を提示するステップと
   をさらに含む、請求項１に記載の方法。
3. 前記表示物体をさらなる仮想物体に変換して、前記さらなる仮想物体を前記第１のディスプレイではなく前記第２のディスプレイに提示するステップをさらに含む、請求項２に記載の方法。
4. 前記現実空間内にさらなる仮想物体を生成するステップと、
   前記追跡された位置が前記さらなる仮想物体に近接する場合に、前記第２のディスプレイにおいて前記仮想物体と前記さらなる仮想物体とのインタラクションを提示するステップと
   をさらに含む、請求項１に記載の方法。
5. 前記インタラクションは、前記仮想物体に対する効果と、前記さらなる仮想物体に対する効果とを含む、請求項１に記載の方法。
6. 前記現実空間は現実物体を含み、前記方法はさらに、前記追跡された位置が前記現実空間における前記現実物体に近接する場合に、前記第２のディスプレイにおいて前記仮想物体と前記現実物体とのインタラクションを提示するステップを含む、請求項１に記載の方法。
7. 前記第２のディスプレイに前記仮想物体を提示するステップは、前記第２のディスプレイに前記仮想物体に関するデータを転送するステップと、前記第２のディスプレイが前記仮想物体に関する前記データを前記現実空間に関する捕捉データと組み合わせるステップとを含む、請求項１に記載の方法。
8. 前記第２のディスプレイにおいて前記現実空間内に前記仮想物体を提示するステップは、前記追跡された位置が前記第１のディスプレイの前記位置と一致する場合に、前記第１のディスプレイに前記仮想物体を提示するステップを含む、請求項１に記載の方法。
9. 前記現実空間における前記仮想物体の音声表現を提示するステップと、前記追跡された位置を用いて前記音声表現を修正するステップとをさらに含む、請求項１に記載の方法。
10. 前記仮想物体とのインタラクションを表すユーザ入力を受け取るステップと、前記第２のディスプレイにおいて前記仮想物体と前記ユーザ入力との前記インタラクションを提示するステップとをさらに含む、請求項１に記載の方法。
11. ユーザ入力を受け取るステップは、前記仮想物体におけるエアジェスチャー、前記仮想物体におけるタッチスクリーンジェスチャー、および音声コマンドのうちの少なくとも１つを受け取るステップを含む、請求項１０に記載の方法。
12. 前記現実空間は３次元空間であり、前記第１のディスプレイは３次元ディスプレイであり、前記第１のディスプレイに前記仮想物体を提示するステップは、前記仮想物体を３次元提示として提示するステップを含む、請求項１に記載の方法。
13. 仮想物体および第１のディスプレイを有する３次元現実空間を生成するための物体速度および方向モジュールと、
    前記仮想物体および前記第１のディスプレイを含む表示範囲を第２のディスプレイに提示するための画面レンダリングモジュールと、
    前記仮想物体が前記現実空間を通って移動する際に前記現実空間における前記仮想物体の位置を追跡し、かつ前記追跡された位置を用いて前記第２のディスプレイにおける前記仮想物体の前記提示を更新するための仮想物体追跡モジュールと、
    前記仮想物体の前記追跡された位置が前記現実空間における前記第１のディスプレイの位置と一致する場合に、前記第１のディスプレイに前記仮想物体を提示するためのデータ転送協調モジュールと
    を含む、装置。
14. 前記物体速度および方向モジュールは、前記第１のディスプレイに対する表示物体を生成し、前記データ転送協調モジュールは、前記第１のディスプレイに前記表示物体を提示し、前記装置はさらに、
    前記仮想物体の前記追跡された位置が前記第１のディスプレイに近接する場合に、前記表示物体と前記仮想物体とのインタラクションを定めるための画像インタラクションおよび効果モジュールを含み、
    前記画面レンダリングモジュールは、前記定められたインタラクションを前記第２のディスプレイに提示する、請求項１３に記載の装置。
15. 前記物体速度および方向モジュールは、前記現実空間内にさらなる仮想物体を生成し、
    前記画像インタラクションおよび効果モジュールは、前記追跡された位置が前記さらなる仮想物体に近接する場合に、前記仮想物体と前記さらなる仮想物体との仮想物体インタラクションを定め、
    前記画面レンダリングモジュールは、前記定められた仮想物体インタラクションを前記第２のディスプレイに提示する、請求項１３に記載の装置。
16. 前記現実空間は現実物体を含み、前記装置はさらに、前記追跡された位置が前記現実空間における前記現実物体に近接する場合に、前記仮想物体と前記現実物体との現実物体インタラクションを定めるためのＡＲ（拡張現実）および他の物体追跡モジュールを含み、前記画面レンダリングモジュールは、前記定められた現実物体インタラクションを前記第２のディスプレイに提示する、請求項１３に記載の装置。
17. 前記第２のディスプレイに対する前記第１のディスプレイの角度および位置を定め、かつ前記第１および第２のディスプレイにおける前記提示を修正するために前記定められた角度および位置を前記画面レンダリングモジュールに提供するための、前記画面レンダリングモジュールに結合された隣接画面透視モジュールをさらに含む、請求項１３に記載の装置。
18. 命令を有する機械読取り可能非一時的媒体であって、前記命令は前記機械によって読取られるときに、
    仮想物体を生成するステップと、
    第１のディスプレイを含む現実空間を生成するステップと、
    第２のディスプレイにおいて、前記第１のディスプレイを含む前記現実空間内に前記仮想物体を提示するステップと、
    前記仮想物体が前記現実空間を通って移動する際に、前記現実空間における前記仮想物体の位置を追跡するステップと、
    前記追跡された位置を用いて、前記第２のディスプレイにおける前記仮想物体の前記提示を更新するステップと、
    前記仮想物体の前記追跡された位置が前記現実空間における前記第１のディスプレイの位置と一致する場合に、前記第１のディスプレイに前記仮想物体を提示するステップと
    を含む動作を前記機械に行わせる、媒体。
19. 前記動作はさらに、
    前記第１のディスプレイに表示物体を提示するステップと、
    前記追跡された位置が前記第１のディスプレイに近接する場合に、前記第２のディスプレイにおいて前記表示物体と前記仮想物体とのインタラクションを提示するステップと、
    前記第１のディスプレイにおいて前記表示物体に対する前記インタラクションの効果を提示するステップと
    を含む、請求項１８に記載の媒体。
20. 前記現実空間は第３のディスプレイを含み、前記動作はさらに、
    前記第３のディスプレイに関する前記仮想物体の前記位置を追跡するステップと、
    前記仮想物体の前記追跡された位置が前記現実空間における前記第３のディスプレイの位置と一致する場合に、前記第３のディスプレイに前記仮想物体を提示するステップと
    を含む、請求項１８に記載の媒体。

Images