JP2018503165A

JP2018503165A - 複合現実の可視化および方法

Info

Publication number: JP2018503165A
Application number: JP2017527315A
Authority: JP
Inventors: アッシュマン，マシュー
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2014-12-04
Filing date: 2015-11-24
Publication date: 2018-02-01
Also published as: EP3227862A1; CN107004303A; WO2016089655A1; US20160163063A1; KR20170092632A

Abstract

複合現実ビューを可視化デバイスのユーザに提供するための技法が開示される。デバイスは、ユーザに、ユーザの環境の現実世界の実時間ビューを、デバイスの表示エリア上で提供する。デバイスはさらに、仮想現実ウィンドウを、ユーザの環境の現実世界の実時間ビュー内に表示すべき位置を決定し、ユーザの環境の現実世界の実時間ビュー内の決定された位置に仮想現実ウィンドウを表示する。デバイスはさらに、１つまたは複数の拡張現実オブジェクトをユーザの環境の現実世界の実時間ビュー内に表示することができる。

Description

[0001] 本発明の少なくとも一実施形態は、仮想現実（VR）および拡張現実（AR）表示システムに関し、より詳細には、表示されるシーンに、ＶＲ、ＡＲ、および／または現実世界の視覚的コンテンツを組み合わせるためのデバイス、および方法に関する。

[0002] 仮想現実（VR）は、様々な現実世界および想像された環境においてユーザの物理的な存在をシミュレートできる、コンピュータでシミュレートされた環境である。従来のＶＲ表示システムは、物理的な現実と最小限のやりとりを有する３次元（3D）コンテンツを表示し、その結果、「切り離された（disconnected）」（しかし、潜在的には無限の）ユーザ体験をもたらす。拡張現実（AR）は、ビデオ、グラフィックス、音など、コンピュータで生成される感覚入力によりその要素が増強された（または補われた）、物理的な現実世界の環境の直接的または間接的な生のビューである。現在のＡＲシステムは、物理的なものおよびオクルージョンに対する表面再構成など３Ｄ拡張を現実世界の理解と統合しようとしている。

[0003] ここで導入されるのは、ＶＲとＡＲコンテンツの組合せを含む、複合現実の視覚的なコンテンツをユーザに提供するための可視化法および可視化デバイス（総称的に、また個々に、「可視化技法」または「技法」）であり、それにより、両タイプの可視化法の利点が提供される。本技法は、ユーザの環境の現実世界のビュー内に、別の世界もしくは環境（すなわち、VR環境）への物理的なウィンドウの錯覚をユーザに提供する。可視化技法は、例えば、スマートフォンもしくはタブレットコンピュータなど、標準のハンドヘルドのモバイルコンピューティングデバイスにより、または頭部搭載型ディスプレイ（HMD）システムなど、専用の可視化デバイスにより実施することができる。

[0004] いくつかの実施形態では、可視化デバイスは、ユーザ（または複数のユーザ）に、デバイスの表示エリア上で、ユーザの（またはデバイスの）環境の現実世界の実時間ビュー（「現実のビュー」）を提供する。デバイスは、ＶＲウィンドウ、またはＶＲ「ポータル」を現実のビュー内でユーザに表示すべき位置を決定し、それがユーザにはその決定された位置に存在するかのように見えるようにＶＲポータルを表示する。いくつかの実施形態では、これは、現実のビューにおける所定の視覚的マーカパターンを検出し、マーカパターンに（例えば、マーカパターン上にVRポータルを重ね合わせることに）基づいてＶＲポータルを配置することにより行われる。デバイスは、次いで、ＶＲポータル内にＶＲシーンを表示し、さらに、ＶＲポータルの外側の、現実のビュー上に重ね合わされた１つまたは複数のＡＲオブジェクトを表示することができる。いくつかの実施形態では、デバイスは、その（またはユーザが保持する／装着するデバイスの）物理的な位置および／または向きの変化を検出することができ、それに応じて、ＶＲポータル、およびＶＲポータル内のコンテンツの見かけ上の（表示された）位置および／または向きを動的に調整する。そのようにすることにより、デバイスは、ＶＲポータルが、別の世界もしくは環境（すなわち、VR環境）への物理的なウィンドウであるという一貫性があり、現実感のある錯覚をユーザに提供する。

[0005] ＶＲコンテンツおよびＡＲコンテンツはそれぞれ、静的もしくは動的なもの、または静的および動的なコンテンツの両方の組合せ（すなわち、ユーザ／デバイスが動かない場合であっても）とすることができる。さらに、表示されるオブジェクトは、ＶＲポータル内の位置から、ＶＲポータル外の位置に移動することができ、その場合、このようなオブジェクトは、それらの表示位置に従って、ＶＲオブジェクトであることからＡＲオブジェクトであることへと、またはその逆に本質的に変化する。

[0006] 本技法の他の態様は、添付図および詳細な説明から明らかになろう。

[0007] この要約は、以下の詳細な説明においてさらに述べられる概念の選択を、簡単化した形で導くために提供されている。この要約は、特許請求される主題の重要な特徴、または本質的な特徴を識別することを意図しておらず、特許請求される主題の範囲を限定するために使用されることも意図していない。

[0008] 本発明の１つまたは複数の実施形態が、添付図面の図で例として限定することなく示されており、図中、同様の参照は同様の要素を示す。

[0009]複合現実可視化デバイスによる複合現実表示の例を示す図である。 [0010]ＶＲウィンドウの位置を特定するのに使用されるターゲット画像の例を示す図である。 [0011]オクルージョン幾何形状とＶＲ画像との間の関係を示す図である。 [0012]複合現実可視化技法がどのように適用され得るかの例を示す図である。複合現実可視化技法がどのように適用され得るかの例を示す図である。複合現実可視化技法がどのように適用され得るかの例を示す図である。複合現実可視化技法がどのように適用され得るかの例を示す図である。 [0013]複合現実可視化デバイスにより実施され得る全体プロセスの例を示す図である。 [0014]複合現実可視化デバイスにより実施され得るプロセスの例をより詳細に示す図である。 [0015]複合現実可視化デバイスの機能的な構成要素の例を示す高水準ブロック図である。 [0016]複合現実可視化デバイスの物理的な構成要素の高水準ブロック図である。

[0017] この記述では、「実施形態」、「一実施形態」、または同様のものに対する参照は、述べられる特定の特徴、機能、構造または特性が、本明細書で導入される技法の少なくとも１つの実施形態に含まれることを意味する。この明細書においてこのようなフレーズが生ずることは、必ずしもすべてが同じ実施形態を参照するものではない。他方で、参照された実施形態はまた、必ずしも互いに矛盾するものではない。

[0018] 本明細書で導入される技法は、例えば、ＨＭＤまたはＡＲ対応モバイルデバイスでなど、従来の画像表示デバイス（例えば、液晶ディスプレイ（LCD））を使用して、現実世界と仮想世界との間の有孔インターフェースのように見える仮想の「ポータル」を作成できるようにし、任意選択のＡＲコンテンツが、ユーザの現実世界ビュー上に重ね合わされる。この技法は、例えば、（とりわけ）ＨＭＤデバイスに関して利点を有しているが、それは、画面の暗い背景が、向上させたコントラスト比を提供するできるためであって、例えば、シーンに光を加えるだけの透明または半透明な表示を有するため、背景にある現実世界のコンテンツを遮ることなく、ＡＲコンテンツを表示するＨＭＤデバイスに対する技術的課題に対処するからである。

[0019] いくつかの実施形態では、複合現実可視化デバイスは、１）６自由度（6DOF）ポジション／位置追跡機能と、平面マーカ画像を認識および追跡する機能ならびに現実世界に対して固定されているように見える複合現実のオーバーレイを提供する機能とを備えるＨＭＤデバイスまたはハンドヘルドのモバイルＡＲ対応デバイス、２）ターゲット画像を表示し、必要な場合、空白もしくは暗いシーンを提示できる画像表示システム、および３）別個の表示システム上で平面マーカ画像の表示をトリガする表示制御インターフェースを含む。オペレーションでは、複合現実可視化技法は、平面マーカ画像を可視化デバイスとは分離された別個の画像表示システム（例えば、LCDモニタ）上で表示させること、可視化デバイスを用いて、平面マーカ画像の位置および向きを認識すること、ならびに画像表示システムが、ＡＲコンテンツとＶＲコンテンツの間の有孔インターフェースもしくは「ポータル」となるように可視化デバイスを動作させることを含むことができる。少なくとも、可視化デバイスがスマートフォンまたはタブレットコンピュータなど、標準のハンドヘルドのモバイルデバイスである実施形態では、複合されたＶＲ／ＡＲコンテンツを、複数のユーザにより同時に見ることができる。

[0020] 図１は、デバイスが、本明細書で導入される複合現実可視化技法を使用するとき、可視化デバイスのユーザが見ることのできる表示の例を概念的に示している。図１の外側の破線枠、およびこの説明のすべての他の図は、可視化デバイス（図示せず）の表示要素の表示エリア境界を、または代替えとしてユーザの視野の境界を表している。実線２は、可視化デバイスのユーザにより占められた部屋の壁、床、および天井の交差部を表している。ユーザが、可視化デバイスを保持する、または装着しているものと想定することができる。表示において、ユーザは、部屋の中の様々な現実世界（物理的な）オブジェクト６を含む自分の環境の現実のビューを見ることができる。少なくとも可視化デバイスがＨＭＤデバイスである場合、表示エリアは透明または半透明とすることができ、したがって、ユーザは、ディスプレイを通して直接自分の環境を見ることができる。スマートフォンまたはタブレット実施形態などの他の実施形態では、ディスプレイ上で提供される現実のビューは、可視化デバイス上の少なくとも１つのカメラからのものである。

[0021] 可視化デバイスはまた、少なくともいくつかの実施形態では、以下で論ずるように、ユーザには、空間中で固定された位置および向きにあるように見えるＶＲウィンドウ（VRポータルとも呼ばれる）３を生成し、ユーザに表示する。可視化デバイスは、いくつかのＶＲオブジェクト４を含むＶＲ環境を表すＶＲウィンドウ３内にＶＲコンテンツを表示する。ＶＲオブジェクト４（図１で示されたものよりも外観ははるかに多様なものであり得る）は、従来の透視技法を用いてレンダリングされて、ＶＲウィンドウ３内で深度の錯覚をユーザに与えることができる。任意選択により、可視化デバイスはまた、ＶＲウィンドウ３の外側に１つまたは複数のＡＲオブジェクト５を生成し、ユーザに表示することもできる。ＶＲ／ＡＲオブジェクト４または５のいずれも動くように見え、またＶＲウィンドウ３の中に、またその外に移動するかのように見えるように表示することができる。

[0022] いくつかの実施形態では、ユーザに表示されるようなＶＲウィンドウ３の位置および向きは、所定の平面マーカ画像もしくはターゲット画像を使用することにより決定される。図２は、ターゲット画像の例を示す。図２では、従来のコンピュータモニタ２１が、ターゲット画像２２を表示している。しかし、モニタ２１は、可視化デバイスの一部ではないことに留意されたい。示された例では、ターゲット画像２２は、その上に大きな文字「Ｑ」を有するモニタの全体の（暗い）表示エリアである。「Ｑ」画像は、水平および垂直軸が共に対称性を欠いているため有利である。対称性は、ターゲット画像の検出された姿勢に曖昧さを生ずるおそれがある。しかし、ターゲット画像は、水平の対称性または垂直の対称のいずれも有していないものが好ましいが、それに代えて、何らかの他の所定の画像とすることも可能であることに留意されたい。例えば、ターゲット画像は、それに代えて、壁もしくは何らかの他の物理的なオブジェクト上にペイントされる、または貼付されることも可能である。あるいは、ターゲット画像は、（可視化デバイス上のカメラにより見られるような）実際の物理的なオブジェクトとすることもできる。さらに、ターゲット画像は、示された実施形態では固定されているが、他の実施形態では、ターゲット画像は、現実世界の環境を物理的に移動することができる。いずれのシナリオにおいても、可視化デバイスは、可視化デバイスに対するターゲット画像の現在のポジションおよび向きを考慮するために、ＶＲウィンドウに表示された位置、サイズ、および形状を絶えず調整することができる。

[0023] 可視化デバイスは、ターゲット画像を使用して、ユーザに表示されるＶＲウィンドウをどこに配置するか、またどのようなサイズおよび向きにするかを決定する。いくつかの実施形態では、可視化デバイスは、ＶＲウィンドウをターゲット画像上に重ね合わせ、ＶＲウィンドウの境界を、ターゲット画像の境界に正確に一致させる、すなわち、それは、ＶＲウィンドウとターゲット画像とを共に位置合せすることになる。他の実施形態では、デバイスは、例えば、ＶＲウィンドウを中心化するための単に基準点としてターゲット画像を使用することができる。

[0024] 加えて、可視化デバイスは、そのローカルな物理的環境内におけるそれ自体の位置と、６ＤＯＦ（すなわち、3つの直交軸のそれぞれに沿った平行移動、およびそれぞれの周りの回転）におけるその運動とを感知する能力を有する。それは、ユーザの位置および視点における変化を反映させるために、ユーザがマーカ画像に対して空間を移動すると、ＶＲウィンドウで表示されるコンテンツを修正するためにこの能力を使用する。例えば、ユーザ（または可視化デバイス）がターゲット画像のより近くに移動した場合、その内部のＶＲウィンドウおよびＶＲコンテンツは、ディスプレイ上で大きくなる。その場合、ユーザがウィンドウに正対して、そこから少し離れて立っているとき、ユーザが実際の（物理的な）ウィンドウの外に多くのものが見えることになるのと同じように、ＶＲウィンドウ内のコンテンツも修正され、オブジェクトのさらなる細部を、および／またはＶＲウィンドウの縁部周りのさらなるオブジェクトを示すことができる。同様に、ユーザが、ターゲット画像から移動して離れた場合、ＶＲウィンドウおよびその内部のＶＲコンテンツは、ディスプレイ上で小さくなり、ＶＲコンテンツは、それに従って修正される。さらに、デバイスが、平面ターゲット画像の直接的な（垂直な）ビューを有しないように、ユーザが横に移動した場合、可視化デバイスは、ＶＲウィンドウの表示される形状およびコンテンツをそれに従って調整することになり、ユーザの視点の変化を考慮して、ＶＲウィンドウが別の環境／世界へのポータルであるという現実感のある錯覚を維持する。

[0025] いくつかの実施形態では、ＶＲウィンドウ内のＶＲコンテンツは、可視化デバイスによって維持される、より大きなＶＲ画像のサブセットである。例えば、より大きなＶＲ画像は、少なくとも表示されるエリア全体、またはユーザの視野を包含するサイズとすることができる。このような実施形態では、可視化デバイスは、ＶＲ画像のその部分がユーザに表示されないように、ＶＲウィンドウの外側のＶＲ画像の部分をマスクする、メッシュもしくはシェーダなどのオクルージョン幾何形状を使用する。オクルージョン幾何形状の例が、オクルージョンメッシュ３１の形態で図３に示されている。ＶＲ画像全体は、いくつかのＶＲオブジェクトを含むが、図１の例で示されるように、少なくとも部分的にＶＲウィンドウ内にあるＶＲオブジェクトだけが、ユーザに見えるようになる。

[0026] 図４Ａから図４Ｄは、複合現実可視化技法がどのように適用され得るかの少し複雑な例を示している。図４では、可視化デバイスは、ターゲット画像（図示せず）の上に、ＶＲシーンを含むＶＲウィンドウ４０を重ね合わせており、したがって、ターゲット画像は、ディスプレイを通してユーザにはもはや見えない。この例のＶＲシーンは、宇宙船４１、惑星４２、および月４３を含む。したがって、ＶＲシーンは、モニタ２１（またはそれに接続されたデバイス）により実際に生成されているのではなく、ユーザにより保持された、または装着された可視化デバイス（図４Ａから図４Ｄで示されていない）により生成され、表示されていることを理解されたい。そうではあるが、可視化デバイスは、例えば、別のデバイスと通信して、その別のデバイスにターゲット画像を表示させることにより、ターゲット画像の表示をトリガするための適切な制御インターフェースを有することができる。

[0027] ＶＲオブジェクト４１から４３までの少なくともいくつかのものを動画化することができる。例えば、宇宙船４１は、図４Ｂおよび図４Ｃで示されるように、ユーザに向けてＶＲウィンドウから外に飛び出すように見えるようにすることができる（破線の矢印、および--の宇宙船の輪郭は、この文書における説明のためだけのものであり、ユーザには表示されない）。ＶＲウィンドウ４０の境界の外側に表示されるオブジェクト、またはそのいずれかの部分は、ＶＲオブジェクトではなく、ＡＲオブジェクトであると見なされる。しかし、ディスプレイ上のそれらの見かけ上の位置、およびユーザからの見かけ上の距離は別として、ＡＲオブジェクトとＶＲオブジェクトの間の機能的な差はなく、それらの間の何らかの差異にユーザが気付くこともない。可視化デバイスにおけるレンダリングハードウェアおよびソフトウェアは、任意のＶＲオブジェクトをＶＲウィンドウ４０の外側にシームレスに移動させることができ（その場合、オブジェクトはARオブジェクトになる）、また任意のＡＲオブジェクトをＶＲウィンドウ４０の内部にシームレスに移動させることができる（その場合、オブジェクトはVRオブジェクトになる）。

[0028] 図４Ｄは、ユーザが、ユーザの左側の離れたポジションからシーンを見ている代替ビューを示しており、ユーザ／デバイスは、平面ターゲット画像の直接（垂直な）ビューを有していない。このビューでは、ＶＲウィンドウ４０の形状、およびその内部のＶＲコンテンツの形状はそれに従って修正されており、ＶＲウィンドウ４０は、別の環境／世界へのポータルであるという現実感のある錯覚を維持する。この例では、ユーザは現在、ＶＲウィンドウの背景の中に、（ユーザは画像を正面に見ていた）図４Ａから図４Ｃの例では隠されていた別の惑星４５を見ることができ、また前景に、さらに多くの第１の惑星４２を見ることができる。さらに宇宙船４１はこの場合、ユーザにより異なる角度から（ARオブジェクトとして）見られる。さらに、ＶＲウィンドウ４０それ自体の形状は、異なる視野角を反映するために、完全な長方形ではなく、わずかに台形となるように変化している。

[0029] 図５は、いくつかの実施形態において、可視化デバイスにより実施される全体プロセスの例を示す。ステップ５０１で、デバイスは、ユーザに、ユーザの環境の現実世界の実時間ビューを提供する。この「現実のビュー」は、ＨＭＤデバイス上の透明または半透明なディスプレイなどを通した直接ビュー、またはカメラにより取得され、次いで、ハンドヘルドのモバイルデバイス上に表示されるなどの間接ビューとすることができる。ステップ５０１と同時に、５０２で、デバイスは、ＶＲウィンドウを、環境の現実世界の実時間ビュー内に表示すべき位置を決定し、ステップ５０３で、ＶＲウィンドウを、その決定された位置に表示する。このプロセスは、上記で述べられたように、連続的に繰り返すことができる。他の実施形態では、ステップの構成が異なる可能性のあることに留意されたい。

[0030] 図６は、いくつかの実施形態による、可視化デバイスのオペレーションの例を、さらに詳細に示している。ステップ６０１で、可視化デバイスは、ターゲット画像の６ＤＯＦ姿勢を推定する。ステップ６０２で次いで、デバイスは、上記で述べられたように、ターゲット画像に位置合せされたオクルージョン幾何形状を作成する。オクルージョン幾何形状は、事実上ＶＲウィンドウを作成する。デバイスは、ステップ６０３で、それ自体の６ＤＯＦカメラ姿勢を、すなわち、それ自体の追跡カメラの６ＤＯＦ位置および向きを推定する。示された実施形態では、デバイスは、次いで、ステップ６０４で、６ＤＯＦカメラ姿勢を用いてその仮想カメラでＶＲウィンドウ内のＶＲシーンをレンダリングし、一方、ステップ６０５で、ＶＲウィンドウの外側に１つまたは複数のＡＲオブジェクトをレンダリングする。ステップ６０４および６０５は、明確にするために、図６では別々に示されているが、単一のレンダリングステップとして実施することができることに留意されたい。さらに、図６のプロセスにおけるステップのシーケンスは、他の実施形態では異なる可能性がある。６ＤＯＦカメラ姿勢は、ターゲット画像の座標系から可視化デバイス上の表示カメラ（例えば、RGBカメラ）の座標系への、またはその逆の推定された姿勢変換（回転および平行移動）である。ターゲット画像の中心は、ターゲット画像の座標系の原点にすることができる。仮想カメラは、グラフィックスソフトウェア、またはハードウェアにより実装されるレンダリングカメラである。推定された６ＤＯＦカメラ姿勢は、生のビデオフィードからの背景画像の前面のシーンに仮想カメラを移動するために使用され、複合されたシーンでコンテンツの錯覚を生成することができる。上記で述べたプロセスは、次いで、ステップ６０３へとループで戻り、その時点から、上記で述べたように連続的に繰り返すことができる。

[0031] 図７は、いくつかの実施形態による、複合現実可視化デバイスのいくつかの機能的な構成要素の例を示す高水準ブロック図である。示された、複合現実可視化デバイス７１は、６ＤＯＦ追跡モジュール７２、アプリケーションレンダリングモジュール７３、１つまたは複数の追跡（ビデオ）カメラ７４、および１つまたは複数の表示（ビデオ）カメラ７５を含む。６ＤＯＦ追跡モジュール７２は、追跡カメラ７４から（また任意選択により、図示されていないIMUから）入力を受け取り、これらの入力に基づいて、カメラ姿勢を連続的に更新する。６ＤＯＦ追跡モジュール７２は、これらの入力に基づいて、ターゲット画像の座標系から、表示カメラの座標系への推定される姿勢変換を表す変換データ（例えば、回転（R）および平行移動（t）など）を生成し、出力する。

[0032] アプリケーション＆レンダリングモジュール７３は、複合現実可視化技法が適用され、例えば、ゲームソフトウェアアプリケーションであり得るアプリケーションコンテキストを生成する。アプリケーション＆レンダリングモジュール７３は、６ＤＯＦ追跡モジュール７２から変換データ（R、t）を受け取り、そのデータならびに表示カメラ７５からの画像データに基づいて、ユーザに表示するために、表示デバイス７６に送られる画像データを生成する。６ＤＯＦ追跡モジュール７２、およびアプリケーションレンダリングモジュール７３は、それぞれ、適切にプログラムされたプログラム可能な回路により、もしくは専用に設計された（「ハードワイヤード」）回路、またはそれらの組合せにより実装することができる。

[0033] 上記で述べたように、複合現実可視化デバイス７１は、例えば、適切に構成された従来のハンドヘルドモバイルデバイス、または専用のＨＭＤデバイスとすることができる。いずれの場合にも、このような可視化デバイスの物理的な構成要素は、図８で示されるようなものとすることができ、図８は、このようなデバイスの高水準の概念的な図を示している。このような可視化デバイスの他の実施形態は、図８で示される構成要素のすべてを含まない可能性のあること、および／または図８で示されていないさらなる構成要素を含み得ることに留意されたい。

[0034] 示された可視化デバイス７１の物理的な構成要素は、以下のそれぞれの１つまたは複数のインスタンスを含む、すなわち、プロセッサ８１、メモリ８２、表示デバイス８３、表示ビデオカメラ８４、深度感知追跡ビデオカメラ８５、慣性計測装置（IMU）８６、および通信デバイス８７であり、すべては相互接続８８によって共に（直接または間接的に）結合される。相互接続８８は、１つまたは複数の導電性トレース、バス、ポイントツーポイント接続、コントローラ、アダプタ、無線リンク、および／または他の従来の接続デバイス、および／また媒体であり得る、または含むことができ、それらの少なくともいくつかは、互いに独立して動作することができる。

[0035] プロセッサ８１は、個々に、および／または集合的に、可視化デバイス７１の全体動作を制御し、様々なデータ処理機能を実施する。さらにプロセッサ８１は、上記で述べた仮想測定ツールを生成し、表示するための少なくともいくつかの計算およびデータ処理機能を提供することができる。各プロセッサ８１は、例えば、１つまたは複数の汎用のプログラム可能なマイクロプロセッサ、デジタル信号プロセッサ（DSP）、モバイルアプリケーションプロセッサ、マイクロコントローラ、特定用途向け集積回路（ASIC）、プログラム可能ゲートアレイ（PGA）、もしくは同様のもの、またはこのようなデバイスの組合せであり得る、またはそれらを含むことができる。

[0036] 本明細書で導入される複合現実可視化技法の諸態様を実行するようにプロセッサ８１を構成するデータおよび命令（コード）９０は、１つまたは複数のメモリ８２に記憶することができる。各メモリ８２は、１つまたは複数の物理的な記憶デバイスであり得る、またはそれらを含むことができ、ランダムアクセスメモリ（RAM）、読出し専用メモリ（ROM）（消去可能およびプログラム可能である）、フラッシュメモリ、小型のハードディスクドライブ、もしくは他の適切なタイプの記憶デバイス、またはこのようなデバイスの組合せの形態とすることができる。

[0037] １つまたは複数の通信デバイス８７は、可視化デバイス７１が、パーソナルコンピュータ、ゲーム機、または遠隔サーバなど、別個の、外部の処理システムからデータおよび／またはコマンドを受け取り、データおよび／またはコマンドをそれらに送ることを可能にする。各通信デバイス８８は、ユニバーサルシリアルバス（USB）アダプタ、ＷｉＦｉ（登録商標）送受信機、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＢｌｕｅｔｏｏｔｈ低エネルギー（BLE）送受信機、イーサネット（登録商標）アダプタ、ケーブルモデム、ＤＳＬモデム、セルラ式送受信機（例えば、3G、LTE／4Gもしくは5G）、ベースバンドプロセッサ、もしくは同様のもの、またはそれらの組合せであり得る、もしくはそれらを含むことができる。

[0038] 表示ビデオカメラ８４は、特に従来のハンドヘルドのモバイルデバイス実施形態において、ユーザの環境の生のビデオフィードを取得して、ユーザの環境の現実のビューを生成する。追跡ビデオカメラ８５は、そのローカルな環境に対する（および特に、ターゲット画像に対する）可視化デバイス７１の動き（平行移動および／または回転）を検出するために使用することができる。追跡カメラ８５の１つまたは複数のものは、深度感知カメラ８５とすることができ、その場合、カメラ８５を使用して、例えば、飛行時間（time-of-flight）原理を適用し、ターゲット画像を含む近傍のオブジェクトへの距離を求めることができる。ＩＭＵ８６は、例えば、デバイス７１の平行移動および／または回転を送るために、１つまたは複数のジャイロスコープおよび／または加速度計を含むことができる。少なくともいくつかの実施形態では、ＩＭＵ８６は、追跡カメラ８５の存在を考慮すると、必要なものではないが、それにもかかわらずよりロバストな推定を提供するために使用することができる。

[0039] 上記で述べた構成要素のいずれも、またはすべては、それらの上記で述べられた機能の観点から、完全に自己完結型のものであるとすることができるが、いくつかの実施形態では、１つまたは複数のプロセッサ８１は、他の構成要素に関連付けられた処理機能の少なくともいくつかを提供することに留意されたい。例えば、追跡カメラ８５に関連付けられた深度検出に対するデータ処理の少なくともいくつかのものは、プロセッサ８１により実施することができる。同様に、ＩＭＵ８６に関連付けられる視線追跡のためのデータ処理の少なくともいくつかのものは、プロセッサ８１により実施することができる。同様に、ＡＲ／ＶＲディスプレイ８３をサポートする画像処理の少なくともいくつかのものは、プロセッサ８１により実施することができ、以下同様である。

[0040] 上記で述べられた、機械で実装されるオペレーションは、ソフトウェアおよび／またはファームウェアによりプログラムされ／構成されたプログラム可能回路により、もしくは全く専用の回路により、またはこのような形態の組合せにより実装することができる。このような専用の回路（もしある場合）は、例えば、１つまたは複数の特定用途向け集積回路（ASIC）、プログラム可能論理デバイス（PLD）、書替え可能ゲートアレイ（FPGA）、システムオンチップシステム（SOC）などの形態とすることができる。

[0041] 本明細書で導入される技法を実装するためのソフトウェアは、機械可読の記憶媒体に記憶することができ、また１つまたは複数の汎用の、または専用のプログラム可能マイクロプロセッサにより実行することができる。「機械可読媒体」という用語は、本明細書で使用される場合、機械（機械は、例えば、コンピュータ、ネットワークデバイス、セルラ式電話、携帯情報端末（PDA）、製造ツール、１つまたは複数のプロセッサを有する任意のデバイスなどとすることができる）によりアクセス可能な形態で情報を記憶できる任意の機構を含む。例えば、機械がアクセス可能な媒体は、記録可能／記録不可能な媒体（例えば、読出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）などを含む。

いくつかの実施形態の例
[0042] 本明細書で導入される技術のいくつかの実施形態は、以下の番号が付された例のように要約される。

[0043] １．可視化デバイスのユーザに、ユーザの環境の現実世界の実時間ビューを可視化デバイスの表示エリア上で提供するステップと、可視化デバイスにおいて、仮想現実ウィンドウを、ユーザの環境の現実世界の実時間ビュー内で表示すべき位置を決定するステップと、可視化デバイスの表示エリア上で、ユーザの環境の現実世界の実時間ビュー内の決定された位置に、仮想現実ウィンドウを表示するステップとを含む方法。

[0044] ２．ユーザの環境以外の第２の環境のシミュレートされたシーンを、可視化デバイスで生成するステップをさらに含み、仮想現実ウィンドウを表示する前記ステップが、仮想現実ウィンドウ内に、第２の環境のシミュレートされたシーンを表示するステップを含む、例１に記載の方法。

[0045] ３．可視化デバイスの物理的な動きを検出するステップをさらに含み、仮想現実ウィンドウを表示する前記ステップが、仮想現実ウィンドウに対する可視化デバイスの視点の変化をシミュレートするために、可視化デバイスにおいて、可視化デバイスの物理的な動きに応じて、仮想現実ウィンドウのコンテンツを修正するステップを含む、例１または例２に記載の方法。

[0046] ４．仮想現実ウィンドウを表示すべき位置を決定する前記ステップが、ユーザの環境における所定のパターンを識別するステップと、所定のパターンに基づいて、仮想現実ウィンドウを表示すべき位置を設定するステップとを含む、例１から３までのいずれか一項に記載の方法。

[0047] ５．仮想現実ウィンドウを表示する前記ステップは、可視化デバイスの視点からの所定のパターン上に、仮想現実ウィンドウを重ね合わせるステップを含む、例１から４までのいずれか一項に記載の方法。

[0048] ６．所定のパターンの位置および向きを検出するステップと、所定のパターンの位置および向きに基づいて、仮想現実ウィンドウに対する表示位置および向きを決定するステップとをさらに含む、例１から５までのいずれか一項に記載の方法。

[0049] ７．可視化デバイスの表示エリア上で、仮想現実ウィンドウの外側に、現実世界の実時間ビュー上に重ね合わされた拡張現実画像を表示するステップをさらに含む、例１から６までのいずれか一項に記載の方法。

[0050] ８．オブジェクトが仮想現実ウィンドウからユーザの環境の現実世界の実時間ビューへと、またはその逆に移動するように見えるように、デバイスにより生成されるオブジェクトを表示エリア上で表示するステップをさらに含む、例１から７までのいずれか一項に記載の方法。

[0051] ９．表示機能を有するデバイスにより、デバイスのユーザによって占められている３次元空間内に位置する第１の領域を識別するステップと、ユーザに、デバイス上で、第１の領域を除く３次元空間の一部の実時間の現実世界ビューを見ることを可能にするステップと、第１の領域を除く３次元空間の一部の実時間の現実世界のビューを見ることをユーザに可能にする前記ステップと同時に、デバイスに、ユーザに対して仮想現実画像を第１の領域で表示させるステップと、デバイスに、ユーザに対して実時間の現実世界のビューを表示させる前記ステップと同時に、デバイスに、ユーザに対してユーザの視点からの３次元空間の第２の領域に拡張現実画像を表示させるステップであり、第２の領域が第１の領域の外側にある、ステップと、デバイスの位置および向きの変化をデバイスによって検出するステップと、表示デバイスの位置および向きの変化に応じて、デバイスにより表示された仮想現実画像の位置または向きを調整するステップとを含む方法。

[0052] １０．第１の領域を識別する前記ステップが、ユーザにより占められる３次元空間における所定の可視マーカパターンを識別するステップを含む、例９に記載の方法。

[0053] １１．デバイスに、仮想現実画像を第１の領域で表示させる前記ステップは、第１の領域が、所定の可視マーカパターンと同じ広がりを持つように、仮想現実画像を第１の領域上に重ね合わせるステップを含む、例９または例１０に記載の方法。

[0054] １２．オブジェクトが第１の領域からから第２の領域へと、またはその逆に移動するかのように見えるように、デバイスにより生成されるオブジェクトをデバイス上で表示するステップをさらに含む、例９から１１までのいずれか一項に記載の方法。

[0055] １３．可視化デバイスであって、表示エリアを有する表示デバイスと、デバイスが位置する環境の画像を取得するためのカメラと、慣性計測装置（IMU）と、表示デバイス、カメラ、およびＩＭＵに結合される少なくとも１つのプロセッサであり、表示デバイスに、デバイスが位置する環境の現実世界の実時間ビューを、表示エリア上で表示させ、仮想現実ウィンドウを現実世界の実時間ビュー内で表示すべき位置を決定し、表示デバイスに、仮想現実ウィンドウを、表示エリア上で現実世界の実時間ビュー内の決定された位置に表示させ、カメラまたはＩＭＵの少なくとも一方からのデータに基づき、デバイスの物理的な動きを検出し、仮想現実ウィンドウに対するユーザの視点の変化をシミュレートするために、デバイスの物理的な動きに応じて、仮想現実ウィンドウのコンテンツを修正するように構成された少なくとも１つのプロセッサとを備える可視化デバイス。

[0056] １４．デバイスは、ハンドヘルドのモバイルコンピューティングデバイスでありまたデバイスが位置する環境の現実世界の実時間ビューは、カメラによって取得される、例１３に記載の可視化デバイス。

[0057] １５．デバイスは、頭部搭載型ＡＲ／ＶＲ表示デバイスである、例１３に記載の可視化デバイス。

[0058] １６．少なくとも１つのプロセッサは、デバイスが位置する環境以外の第２の環境のシミュレートされたシーンを生成するようにさらに構成され、仮想現実ウィンドウを表示することは、仮想現実ウィンドウ内の第２の環境のシミュレートされたシーンを表示することを含む、例１３から１５までのいずれか一項に記載の可視化デバイス。

[0059] １７．少なくとも１つのプロセッサは、表示デバイスに、仮想現実ウィンドウの外側にある現実世界の実時間ビュー上に重ね合わされた拡張現実画像を、表示エリア上で表示させるようにさらに構成される、例１３から１６までのいずれか一項に記載の可視化デバイス。

[0060] １８．少なくとも１つのプロセッサは、オブジェクトを生成し、表示デバイスに、オブジェクトが仮想現実ウィンドウから、デバイスが位置する環境の現実世界の実時間ビューへと、またはその逆に移動するように見えるように、オブジェクトを表示エリア上で表示させるようにさらに構成される、例１３から１７までのいずれか一項に記載の可視化デバイス。

[0061] １９．仮想現実ウィンドウを表示すべき位置を決定することが、ユーザの環境における所定のパターンを識別することと、所定のパターンの位置に基づいて位置を設定することとを含む、例１３から１８までのいずれか一項に記載の可視化デバイス。

[0062] ２０．仮想現実ウィンドウを表示することは、可視化デバイスの視点からの所定のパターンの上に、仮想現実ウィンドウを重ね合わせることを含む、例１３から１９までのいずれか一項に記載の可視化デバイス。

[0063] ２１．可視化デバイスのユーザに、ユーザの環境の現実世界の実時間ビューを可視化デバイスの表示エリア上で提供するための手段と、可視化デバイスにおいて、仮想現実ウィンドウを、ユーザの環境の現実世界の実時間ビュー内で表示すべき位置を決定するための手段と、可視化デバイスの表示エリア上で、ユーザの環境の現実世界の実時間ビュー内の決定された位置に仮想現実ウィンドウを表示するための手段とを備える装置。

[0064] ２２．ユーザの環境以外の第２の環境のシミュレートされたシーンを、可視化デバイスで生成するための手段をさらに備え、仮想現実ウィンドウを表示するための前記手段が、仮想現実ウィンドウ内に、第２の環境のシミュレートされたシーンを表示するための手段を備える、例２１に記載の装置。

[0065] ２３．可視化デバイスの物理的な動きを検出するための手段をさらに備え、仮想現実ウィンドウを表示するための前記手段が、仮想現実ウィンドウに対する可視化デバイスの視点の変化をシミュレートするために、可視化デバイスにおいて、可視化デバイスの物理的な動きに応じて、仮想現実ウィンドウのコンテンツを修正するための手段を備える、例２１または例２２に記載の装置。

[0066] ２４．仮想現実ウィンドウを表示すべき位置を決定するための前記手段が、ユーザの環境における所定のパターンを識別し、所定のパターンに基づいて、仮想現実ウィンドウを表示すべき位置を設定するための手段を備える、例２１から２３までのいずれか一項に記載の装置。

[0067] ２５．仮想現実ウィンドウを表示するための前記手段は、可視化デバイスの視点からの所定のパターン上に、仮想現実ウィンドウを重ね合わせるための手段を備える、例２１から２４までのいずれか一項に記載の装置。

[0068] ２６．所定のパターンの位置および向きを検出するための手段と、所定のパターンの位置および向きに基づいて、仮想現実ウィンドウに対する表示位置および向きを決定するための手段とをさらに備える、例２１から２５までのいずれか一項に記載の装置。

[0069] ２７．可視化デバイスの表示エリア上で、仮想現実ウィンドウの外側に、現実世界の実時間ビュー上に重ね合わされた拡張現実画像を表示するための手段をさらに備える、例２１から２６までのいずれか一項に記載の装置。

[0070] ２８．オブジェクトが仮想現実ウィンドウからユーザの環境の現実世界の実時間ビューへと、またはその逆に移動するように見えるように、デバイスにより生成されるオブジェクトを表示エリア上で表示するための手段をさらに備える、例２１から２７までのいずれか一項に記載の装置。

[0071] 上記で述べられた特徴および機能のいずれかまたはすべてのものは、当業者には明らかであろうが、その他の形で前述されている場合を除き、またはいずれかのこのような実施形態が、その機能もしくは構造により互換性がない場合を除き、互いに組み合わせることができる。物理的な可能性に反していない限り、（ｉ）本明細書で述べられる方法／ステップは、任意のシーケンスおよび／または任意の組合せで実施できること、および（ｉｉ）各実施形態の構成要素は、任意の方法で組み合わせることが可能であると考えられる。

[0072] 主題は、構造的な特徴および／または行為に特有の文言で述べられてきているが、添付の特許請求の範囲で定義される主題は、上記で述べた特有の特徴および行為に必ずしも限定されないことを理解されたい。そうではなくて、上記で述べた特有の特徴および行為は、特許請求の範囲を実施する例として開示されており、他の等価な特徴および行為も、特許請求の範囲に含まれるように意図されている。

Claims

可視化デバイスのユーザに、前記ユーザの環境の現実世界の実時間ビューを前記可視化デバイスの表示エリア上で提供するステップと、
前記可視化デバイスにおいて、前記ユーザの前記環境の前記現実世界の実時間ビュー内で仮想現実ウィンドウを表示すべき位置を決定するステップと、
前記可視化デバイスの前記表示エリア上で、前記ユーザの前記環境の前記現実世界の実時間ビュー内の前記決定された位置に前記仮想現実ウィンドウを表示するステップと
を含む方法。
前記ユーザの前記環境以外の第２の環境のシミュレートされたシーンを、前記可視化デバイスで生成するステップをさらに含み、
前記仮想現実ウィンドウを表示する前記ステップが、前記仮想現実ウィンドウ内に、前記第２の環境の前記シミュレートされたシーンを表示するステップを含む、請求項１に記載の方法。
前記可視化デバイスの物理的な動きを検出するステップをさらに含み、
前記仮想現実ウィンドウを表示する前記ステップが、前記仮想現実ウィンドウに対する前記可視化デバイスの視点の変化をシミュレートするために、前記可視化デバイスにおいて、前記可視化デバイスの前記物理的な動きに応じて前記仮想現実ウィンドウのコンテンツを修正するステップを含む、請求項１または請求項２に記載の方法。
仮想現実ウィンドウを表示すべき位置を決定する前記ステップが、
前記ユーザの前記環境における所定のパターンを識別するステップと、
前記所定のパターンに基づいて、仮想現実ウィンドウを表示すべき前記位置を設定するステップとを含む、請求項１から３までのいずれか一項に記載の方法。
前記仮想現実ウィンドウを表示する前記ステップは、
前記可視化デバイスの視点からの前記所定のパターン上に前記仮想現実ウィンドウを重ね合わせるステップを含む、請求項４に記載の方法。
前記可視化デバイスの前記表示エリア上で、前記仮想現実ウィンドウの外側に、前記現実世界の実時間ビュー上に重ね合わされた拡張現実画像を表示するステップをさらに含む、請求項１から５までのいずれか一項に記載の方法。
オブジェクトが前記仮想現実ウィンドウから前記ユーザの前記環境の前記現実世界の実時間ビューへと、またはその逆に移動するように見えるように、前記デバイスにより生成される前記オブジェクトを前記表示エリア上で表示するステップをさらに含む、請求項１から６までのいずれか一項に記載の方法。
可視化デバイスであって、
表示エリアを有する表示デバイスと、
前記デバイスが位置する環境の画像を取得するためのカメラと、
慣性計測装置（IMU）と、
前記表示デバイス、前記カメラ、および前記ＩＭＵに結合される少なくとも１つのプロセッサであって、
前記表示デバイスに、前記デバイスが位置する前記環境の現実世界の実時間ビューを前記表示エリア上で表示させ、
前記現実世界の実時間ビュー内で仮想現実ウィンドウを表示すべき位置を決定し、
前記表示デバイスに、前記表示エリア上で前記現実世界の実時間ビュー内の前記決定された位置に前記仮想現実ウィンドウを表示させ、
前記カメラまたは前記ＩＭＵの少なくとも一方からのデータに基づき、前記デバイスの物理的な動きを検出し、
前記仮想現実ウィンドウに対するユーザの視点の変化をシミュレートするために、前記デバイスの前記物理的な動きに応じて、前記仮想現実ウィンドウのコンテンツを修正する
ように構成された少なくとも１つのプロセッサと
を備える可視化デバイス。
前記デバイスは、ハンドヘルドのモバイルコンピューティングデバイスであり、前記デバイスが位置する前記環境の前記現実世界の実時間ビューは、前記カメラによって取得される、請求項８に記載の可視化デバイス。
前記デバイスは、頭部搭載型ＡＲ／ＶＲ表示デバイスである、請求項８または請求項９に記載の可視化デバイス。
前記少なくとも１つのプロセッサは、
前記デバイスが位置する前記環境以外の第２の環境のシミュレートされたシーンを生成するようにさらに構成され、
前記仮想現実ウィンドウを表示することは、前記仮想現実ウィンドウ内の前記第２の環境の前記シミュレートされたシーンを表示することを含む、請求項８から１０までのいずれか一項に記載の可視化デバイス。
前記少なくとも１つのプロセッサは、
前記表示デバイスに、前記仮想現実ウィンドウの外側にある前記現実世界の実時間ビュー上に重ね合わされた拡張現実画像を前記表示エリア上で表示させるようにさらに構成される、請求項８から１１までのいずれか一項に記載の可視化デバイス。
前記少なくとも１つのプロセッサは、
オブジェクトを生成し、
前記表示デバイスに、前記オブジェクトが前記仮想現実ウィンドウから、前記デバイスが位置する前記環境の前記現実世界の実時間ビューへと、またはその逆に移動するように見えるように、前記オブジェクトを前記表示エリア上で表示させるようにさらに構成される、請求項８から１２までのいずれか一項に記載の可視化デバイス。
仮想現実ウィンドウを表示すべき位置を決定することが、
前記ユーザの前記環境における所定のパターンを識別することと、
前記所定のパターンの位置に基づいて前記位置を設定することと
を含む、請求項８から１３までのいずれか一項に記載の可視化デバイス。
前記仮想現実ウィンドウを表示することは、前記可視化デバイスの視点からの前記所定のパターン上に前記仮想現実ウィンドウを重ね合わせることを含む、請求項１４に記載の可視化デバイス。