JP2017530438A - 仮想現実環境内における注視に基づく物体配置 - Google Patents

Abstract

現実世界の物理的環境内で動作する頭部装着型ディスプレイ（ＨＭＤ）デバイスは、仮想物体を高い精度で環境内へ配置することができるように、デバイスユーザの投影された注視について、仮想現実環境内の位置との交差点を決定することを可能にするセンサパッケージとともに構成される。センサパッケージからのデータを使用して物理的環境の表面再現を適用し、仮想世界におけるユーザのビュー位置を決定することができる。ビュー位置を起点とする注視線は、外側に向かって投影され、カーソル又は同様のインジケータは、仮想物体、床／地面等のような、仮想世界との注視線の最も近い交点でＨＭＤディスプレイ上にレンダリングされる。ジェスチャ、音声対話又はコントロールの操作といったユーザ入力に応答して、仮想物体は、投影される注視線と仮想現実環境との間の交点に配置される。

Description

頭部装着型ディスプレイ（ＨＭＤ：head mounted display）システム及びハンドヘルドモバイルデバイス（例えばスマートフォン、タブレットコンピュータ等）のような仮想現実コンピューティングデバイスは、ユーザの視野内及び／又はデバイスのカメラの視野内で、ユーザに仮想現実環境を表示するように構成され得る。同様に、モバイルデバイスは、カメラのビューファインダーウィンドウを使用してそのような情報を表示し得る。

この背景技術の記載は、後に続く発明の概要及び詳細な説明についての簡単な背景を紹介するために提供される。この背景は、特許請求に係る主題の範囲を決定するための助けとして用いられるようには意図されておらず、また特許請求に係る主題を、上記で提示される欠点又は問題のいずれか又は全てを解決する実装に限定するものとして見なされるようにも意図されていない。

現実世界の物理的環境内で動作するＨＭＤデバイスは、仮想物体を高い精度で環境内へ配置することができるように、デバイスユーザの投影された注視（gaze）について、仮想現実環境内の位置との交差を決定することを可能にするセンサパッケージとともに構成される。センサパッケージからのデータを使用して物理的環境の表面再現を適用し、仮想世界におけるユーザのビュー位置を決定することができる。ビュー位置を起点とする注視線は、外側に向かって投影され、カーソル又は同様のインジケータは、仮想物体、床／地面等のような、仮想世界との注視線の最も近い交差でＨＭＤディスプレイ上にレンダリングされる。ジェスチャ、音声対話又はコントロール（例えばボタン又は他のユーザインタフェース物体）の操作といったユーザ入力に応答して、仮想物体は、投影される注視線と仮想現実環境との間の交点に配置される。

この注視に基づく仮想物体配置は、様々な用途及び使用シナリオで使用することができ、ビュー位置及び／又は注視を変更することにより、ユーザが容易に仮想環境内の所望の位置に仮想物体を配置することを可能にする。例えばＨＭＤデバイスのユーザは、測量又は地図アプリケーションにおいて仮想世界の地形上に関心点を示すマーカーを配置することができ、あるいはユーザは、ゲームのシナリオでは、アバターやゲームの物体といった仮想物体を、ゲームプレイの一部として仮想世界の特定の位置に配置することができる。

この発明の概要の記載は、詳細な説明において下記で更に説明される概念の選択を簡略化した形で紹介するために提供される。この発明の概要の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、特許請求に係る主題の範囲を決定する際の助けとして使用されるようにも意図されていない。さらに、特許請求に係る主題は、本開示の任意の箇所において示される欠点のいずれか又は全てを解決する実装に限定されない。上述の主題は、コンピュータ制御型装置、コンピュータプロセス、コンピューティングシステムとして実装されてもよく、あるいは１つ以上のコンピュータ読取可能記憶媒体のような製品として実装されてもよいことが認識され得る。これら及び様々な他の特徴は、以下の詳細な説明を読み、関連する図面を見ることから明らかになり得る。

例示の仮想現実環境を示す図であり、その仮想現実環境の一部が、ＨＭＤデバイスのユーザの視野内にレンダリングされる。

ＨＭＤデバイスのユーザが置かれている、例示の現実世界環境を示す図である。

仮想世界内の点と交差するＨＭＤデバイスのビュー位置から投影される、例示の注視線を示す図である。

ユーザ入力に応答して仮想物体が交点に配置される様子を示す図である。

カーソルが、ＨＭＤデバイスユーザの視野内において仮想現実環境内の投影された注視線の交点でレンダリングされる様子を示す図である。

例示の仮想物体が、仮想現実環境内の投影された注視線の交点に配置される様子を示す図である。

カーソルが、ＨＭＤデバイスユーザの視野内において仮想現実環境内の投影された注視線の交点でレンダリングされる様子を示す図である。

例示の仮想物体が、仮想現実環境内の投影された注視線の交点に配置される様子を示す図である。

例示の投影された注視線が下方に回転されている様子を示す図である。

例示の投影された注視線が上方に回転されている様子を示す図である。

ユーザの視野によってクリップされる、例示の大きな仮想物体を示す図である。

物体が視野の上端に対してクリップされないように、回転した注視線を使用して仮想世界内に配置される大きな仮想物体を示す図である。

ユーザの視野によってクリップされる、例示の仮想物体を示す図である。

物体が視野の下端に対してクリップされず、視野内のより中央に配置されるように、回転した注視線を使用して仮想世界内に配置される仮想物体を示す図である。

現実世界環境に関連付けられる表面再現データが、ＨＭＤデバイスによってキャプチャされる様子を示す図である。

ＨＭＤデバイスによってサポートされる例示のユーザインタフェース及びＨＭＤセンサパッケージによって提供される例示のデータを示す図である。

例示の表面再現パイプラインのブロック図である。

ＨＭＤデバイスを使用して実行され得る例示の方法のフローチャートである。 ＨＭＤデバイスを使用して実行され得る例示の方法のフローチャートである。 ＨＭＤデバイスを使用して実行され得る例示の方法のフローチャートである。

仮想現実ＨＭＤデバイスの実施例の透視図である。

仮想現実ＨＭＤデバイスの実施例の機能ブロック図である。

仮想現実ＨＭＤデバイスのコンポーネントとして使用され得る、例示の密閉型バイザーの透視正面図である。 仮想現実ＨＭＤデバイスのコンポーネントとして使用され得る、例示の密閉型バイザーの透視正面図である。

部分的に分解されるときの密閉型バイザーの図である。

密閉型バイザーの極めて細い線の正面図である。

密閉型バイザーの透視背面図である。

例示のコンピューティングシステムを示す図である。

同様の参照番号は、図面内の類似の要素を示す。要素は、別段の定めがない限り、スケーリングされて描かれてはいない。

ユーザは典型的に、対応する現実世界の物理的環境内で（例えば何らかの形の移動を通して）移動することにより、ＨＭＤデバイスによってレンダリングされる仮想現実環境内で調査し、ナビゲートし、移動することができる。図１に図示されるような説明的な例では、ユーザ１０２は、ＨＭＤデバイス１０４を用いて仮想現実環境１００を経験することができる。仮想現実環境１００は、視覚的に３次元（３Ｄ）でレンダリングされ、一部の実装ではオーディオ及び／又は接触感覚／触覚を含み得る。この特定の非限定的な例では、ＨＭＤデバイス１０４上で動作するアプリケーションは、様々なビルやストア等とともに街路を含む仮想現実環境１００をサポートする。ユーザが、図２に図示される物理的な現実世界環境２００内で頭の位置又は向きを替えるか、かつ／又は移動すると、仮想現実環境１００のユーザのビューが変化し得る。（図１の破線エリア１００によって表される）視野は、サイズ及び形を調整することができ、仮想世界における強い存在感をユーザに提供するべくＨＭＤデバイス経験に視覚的に没頭させるように、デバイスの他の特徴を制御することができる。本明細書では、仮想現実環境が図示され、説明されるが、この注視に基づく物体配置を、混合現実環境及びシナリオにも適用することができる。

ＨＭＤデバイス１０４との所与のユーザ経験の過程の間に、様々な新たな仮想物体を仮想現実環境内に導入することができる。アバター、地形（terrain）、マーカー、フラグ、ビル等のように、経験に不可欠な物体、あるいはメニュー、ウィジット、通知等を含む対話的要素のように、経験を強化又は制御するのに使用され得る物体を含め、ＨＭＤデバイス上でサポートされる所与のユーザインタフェース又はユーザ経験を容易にするのに使用され得る、様々な物体のいずれかを導入することができる。

図３に図示されるように、ＨＭＤデバイスのユーザのビュー位置及び／又は注視方向を用いて、ＨＭＤディスプレイ上にレンダリングされる仮想世界内に仮想物体を配置することができる。注視線３０２は、ＨＭＤデバイス１０４のビュー位置から投影される。ビュー位置は、ユーザ１０２の目と、図示されるような順方向の線（ray）３０２の点との間で始まる。線は、仮想現実環境１００へ投じられ、仮想現実環境１００との最も近い交点３０４が決定される。カーソル３０５又は他の適切なインジケータは、典型的に交点において表示される。図４に図示されるように、ＨＭＤデバイス１０４がユーザからの入力４０２を受け取ると、デバイスは仮想物体４０５を交点に配置することができる。ユーザ入力４０２は実装によって異なる可能性があり、例えば感知ジェスチャ、音声コマンド又は言語入力、ＨＭＤデバイスによってサポートされる物理的又は仮想コントロールの操作等を含み得る。

一部の実装では、注視線は、カーソルを視野１１０内のある任意の点でレンダリングすることができるように投影され得る。例えば典型的なシナリオでは、カーソルを視野の中央又は中央近くの固定の場所に置くことができる。視野及びビュー位置は、典型的に、（以下でより詳細に説明されるように）ユーザの頭部の位置と向きを追跡することによって決定されるので、ユーザは、視野を調整するよう、頭部の動きのみを使用して仮想世界内の関心対象の物体上にカーソルを配置することができる。

代替的な実装では、ＨＭＤデバイスは、ユーザの目の位置に応じて、所与の視野内の異なる位置にカーソルをレンダリングすることを可能にするように、注視線を投影するように構成され得る。目の位置は、例えばＨＭＤデバイス１０４に組み込まれ得る内向きのセンサ（inward facing sensor）を使用して検出され得る。そのような目の位置検出は注視追跡と呼ばれ、以下でより詳細に説明される。したがって、ユーザは、これらの代替的な実装において、頭部と目の動きの組合せを使用することによりカーソルを配置することができる。例えばユーザは、頭部の動きを使用して視野内に関心対象の仮想物体を置くことができ、次いで、目の動きを使用して物体の上にカーソルを配置してもよい。

ＨＭＤデバイスは、一部の場合には、固定のカーソル位置と可変のカーソル位置の間を、例えばそれぞれ目の追跡を無効又は有効にすることにより選択するオプションをユーザに提供するようにも構成され得る。例えば視野に対して固定のカーソルは、頭部の動きだけでカーソルを配置する効果的な方法を提供する、幾つかの利用シナリオに適していることがある。他の利用シナリオでは、頭部と目の動きの組合せがより有利であることがある。一般に、固定又は可変のカーソル配置のいずれかの利用により、高い正確性で仮想物体を仮想世界に配置することを可能にすることができる。

図５は、カーソル３０５が、ＨＭＤデバイスのユーザ（ユーザは開示の明確性のために図示されていない）の視野１１０内で仮想現実環境１００内に投影された注視線の交点でレンダリングされる様子を図示している。典型的に、カーソルは、仮想世界内におけるユーザからのカーソルの距離に比例したサイズ（すなわち、より近いほど大きく、離れるほどに小さいサイズ）を使用して、ＨＭＤディスプレイ上に３Ｄで動的にレンダリングされる。図６は、ジェスチャ、音声コマンド又はボタンの押下のようなユーザ入力に応答して、投影された注視線と仮想現実環境の交点に配置される例示の仮想物体６０５を図示している。仮想物体６０５は例示であるよう意図されており、レンダリングされる仮想物体は、図示されるものとサイズ、形及び視野内の位置において異なる可能性がある。

図７は、投影線と仮想現実環境７００との間の交点でレンダリングされているカーソル３０５の別の具体的な例を図示しており、仮想現実環境７００は、起伏があり、波打っていて、丘陵がある地形を有する屋外の景色を含んでいる。図８は、交点に配置される、例示の仮想物体であるフラグ８０５を図示している。

典型的な実装では、ＨＭＤデバイス１０４のための視野１１０は、比較的限られている可能性がある。したがって、仮想現実環境７００に導入されている仮想物体が、ユーザの視野に適合しないか、視野の端（エッジ）でクリップされる可能性がある。これは、ユーザが、例えば比較的大きな仮想物体とやり取りをするときに生じることがあり、ユーザに不快な思いをさせ、かつ／又はユーザ経験の質を低下させることがある。他の状況では、所与の仮想物体は、視野の端に対するクリッピングを招くように、交点から広がっていることがあり、かつ／又はユーザ経験は、仮想物体が視野のより中央に配置されるときにより効率的であり得る。

したがって、一部の実装では、ＨＭＤデバイス１０４は、元の投影からのビュー位置から注視線を回転させるように構成され得る。そのような回転は、一般的に、所与の使用ケースに適合するように任意の方向で（例えば左、右、上、下又はその組合せ）で実行され、回転の角度を変えることができる。図９に例示的に図示されるように、回転は下向きに行われてよい（図９では、元の注視線は参照番号９０５で示され、回転した注視線は参照番号９１０で示されている）。図１０に例示的に図示されるように、回転は上向きに行われてもよい（図１０では、元の注視線は参照番号１００５で示され、回転した注視線は参照番号１０１０で示される）。

図１１は、例示の仮想物体１１０５を示している。例示の仮想物体１１０５は、比較的大きく、元の注視線９０５（図５）と仮想現実環境７００の交点に配置されるときに視野１１０の上部に対してクリップされる。比較として、図１２は、下方に回転した注視線９１０と仮想現実空間７００との交点に配置されるときの仮想物体１１０５を図示している。典型的な実装では、投影線は、視野１１０の下の部分を通って投じられるよう十分に下方に回転される。図示されるように、視野内にはかなり多くの余白があるので、仮想物体１１０５は、視野１１０の上端に対してクリップされることはない。

図１３は、元の注視線１００５（図１０）と仮想現実環境７００内の雲との交点からぶら下がるバナーとして配置される例示の仮想物体１３０５を図示している。図示されるように、物体１３０５は、視野１１００の下端でクリップされ、（幾何学形状によって表されるような）バナー上のコンテンツの一部が視野の外部にある。また、コンテンツは、視野の下の部分に表示されるときにも有効に提示されない可能性があり、このことは、一部の場合にはユーザの不快感を招くことがある。比較として、図１４は、上方に回転した注視線１０１０と仮想現実環境７００との交点に配置される仮想物体１３０５を図示している。図示されるように、仮想物体は、視野１１０の下端に対してクリップされておらず、バナーコンテンツは、視野内のより中央に配置されており、これは、ユーザ経験の有効性を向上させ、一部の状況ではユーザの快適性を向上させることができる。

ＨＭＤデバイス１０４は、図１５に図示されるように、統合センサパッケージ１５０５を使用して、物理的環境内のユーザの位置を感知することにより、表面再現データ１５００を取得するように構成される。以下でより詳細に説明されるように、センサパッケージは、深度センサ又は深度感知カメラシステムを含むことができる。代替的な実装では、適切な立体画像分析技術を使用して深度データを導出することができる。

図１６に図示されるように、センサパッケージ１５０５は、表面再現１６１０を含む様々な機能をサポートすることができる。表面再現を、例えば頭部追跡に用いることができ、仮想世界のビュー位置を決定することができるように、頭部の姿勢を含め、物理的な現実世界環境２００内におけるユーザの頭部の３Ｄ（三次元）位置及び向き１６１５を決定することができる。センサパッケージは、ユーザの注視方向１６２５を特定するために、注視追跡１６２０もサポートすることができる。ユーザの注視方向１６２５は、頭部位置及び向きデータとともに使用され得る。ＨＭＤデバイス１０４は更に、システムメッセージ、プロンプト等を表示することができるだけでなく、ユーザが操作することができるコントロールも提示することができる、ユーザインタフェース（ＵＩ）１６３０を公開するように構成され得る。コントロールは、一部の場合には、仮想的であっても物理的であってもよい。ＵＩ１６３０は、例えば音声コマンド又は自然言語を使用して感知されたジェスチャ及び音声により動作するようにも構成され得る。

図１７は、現実世界環境２００についての表面再現データを取得するための例示の表面再現データパイプライン１７００を図示している。開示される技術は例示であり、特定の実装の要件に応じて他の技術及び方法を利用してもよいことを強調しておく。生の深度センサデータ１７０２を、センサの３Ｄ（３次元）ポーズ推定（pose estimate）に入力する（ブロック１７０４）。センサポーズ追跡を、例えば予測される表面と、現在のセンサ測定値との間のＩＣＰ（iterative closest point）アライメントを使用することによって達成することができる。センサの各深度測定値を、例えば符号付き距離場（ＳＤＦ：signed distance field）として符号化される表面を使用して、体積表現（volumetric representation）へと統合することができる（ブロック１７０６）。ループを使用して、ＳＤＦは、推定フレームへレイキャスト（raycast）され（ブロック１７０８）、深度マップが位置合わせされる高密度表面予測（dense surface prediction）を提供する。したがって、ユーザ１０２が仮想世界を見回すとき、現実世界環境２００に関連付けられる表面再現データを収集して分析し、ユーザの頭部の位置及び向きを決定することができる。

図１８、図１９、図２０は例示の方法のフローチャートである。特に別段の記載がない限り、フローチャートに示され、付随のテキストで説明される方法又はステップは、特定の順序又は順番に制限されない。加えて、これらの方法又はそのステップの一部は、同時に起こるか同時に実行されることも可能であり、実装の要件に応じて、必ずしも全ての方法又はステップを実行する必要はなく、一部の方法又はステップが任意選択で利用され得る。

図１８に図示される方法１８００は、仮想現実環境のレンダリングをサポートするＨＭＤデバイスによって実行され得る。ステップ１８０５において、ＨＭＤデバイスのユーザに隣接する現実世界の物理的環境を説明するセンサデータが取得される。センサデータは、例えばＨＭＤデバイスに統合される深度センサを使用する深度データを含むことができ、あるいは外部センサ又はソースから取得されることも可能である。深度から立体へ画像化分析（Depth-from-stereo imaging analyses）を使用して深度データを作成してもよい。ステップ１８１０において、センサデータを使用して、例えば表面再現を用いて物理的環境の形状（geometry）を再現する。

ステップ１８１５において、物理的環境の再現された形状を使用して、ユーザの頭部の追跡を実行し、仮想現実環境の現在の視野及びビュー位置を決定する。ステップ１８２０において、注視線が、ユーザの注視方向に沿って、ビュー位置から外側へ投影される。また、注視検出は、例えばセンサパッケージ１５０５（図１５）に組み込まれる内向きのセンサを使用して実装されてもよい。

ステップ１８２５において、投影された注視線と仮想現実環境との間の交点が識別される。ステップ１８３０において、ＨＭＤデバイスはユーザインタフェースを公開し、ユーザ入力を受け取る。ユーザインタフェースは、所与の実装のニーズに従って構成されることが可能であり、ユーザによって操作され得る物理又は仮想コントロールを含んでよく、そのようなコントローラは、一部の場合には音声及び／又はジェスチャをサポートし得る。ステップ１８３５において、例えば仮想物体が非常に大きく、視野内に適合することができないときに、一部の場合には、投影線を下方に回転させて、その視野の上端に沿った幾つかの仮想物体（例えば大きな仮想物体）のクリッピングを回避することができる。一部の場合には、回転した投影線は、視野の下の部分を通って投じられる。ステップ１８４０において、ユーザ入力に応答して、仮想物体を交点に配置することができる。

図１９に図示される方法１９００は、１つ以上のプロセッサと、可変の視野を使用して仮想現実環境をレンダリングするためのディスプレイと、センサパッケージと、方法を実施するのに使用され得るソフトウェアコードのようなコンピュータ読取可能命令を記憶する１つ以上のメモリデバイスとを有する、ＨＭＤデバイスによって実行され得る。ステップ１９０５において、表面再現データが、ＨＭＤデバイスに組み込まれるセンサパッケージを使用して生成される。センサパッケージは、深度センサ又はカメラシステムを含み得る。ステップ１９１０において、表面再現データを使用して、仮想現実環境のユーザのビュー位置を動的に追跡する。図１７のパイプラインに図示されるものを含め、様々な適切な表面再現技術を利用することができ、そのような技術では、複数の重なった表面が統合される。

ステップ１９１５において、センサパッケージを使用して、例えば内向きのセンサを使用して、ユーザの注視方向を動的に追跡する。ステップ１９２０において、ユーザの注視方向に沿ってビュー位置から投影される線（ray）と、視野内における仮想現実環境内の点との間の交差を見つける（locate）。ステップ１９２５において、ＨＭＤデバイスを操作して、見つかった交差でカーソルをレンダリングする。レンダリングは典型的に、ユーザが移動して視野及び注視方向が変化すると、仮想現実環境内のカーソル位置が更新されるよう、動的に実行される。配置される仮想物体が視野内でクリップされることになる一部の場合には、ステップ１９３０において、回転した線と仮想現実環境の交点に物体が配置されるときに、その物体が現在の視野の上端によってクリップされないよう、投影線を下方に回転することができる。ステップ１９３５において、ＨＭＤデバイスを操作して、仮想物体を、見つかった交点に配置する。典型的な実装では、この配置は、ＨＭＤデバイスによって公開されるＵＩへのユーザ入力に応答して行われる。

図２０の方法２０００は、現実世界環境で動作しており、かつ仮想現実環境をレンダリングするディスプレイを有しているＨＭＤデバイス上に記憶される命令によって実行され得る。ステップ２００５において、現実世界環境の表面再現モデルが、ＨＭＤデバイス上のセンサパッケージからのデータを使用して動的に生成される。ユーザが現実世界環境内で移動すると、例えばフレームごと又は他の適切な単位でモデルを更新することができる。ステップ２０１０において、センサパッケージからのデータを利用して、ユーザの注視の方向に沿ってユーザのビュー位置から投影される注視線を生成する。

ステップ２０１５において、現在の表面再現モデルを利用して、仮想現実環境のユーザの現在の視野を決定する。ステップ２０２０において、カーソルは、投影される注視線と仮想現実環境との間の交点でレンダリングされる。ステップ２０２５において、ユーザ入力を、例えばＨＭＤデバイスによって公開されるＵＩで受け取る。ステップ２０３０において、配置される仮想物体が視野の外部に広がる場合、投影される注視線を下方に回転させることができる。一部の実装では、回転度（degree）は、視野内の物体の上の空間が遮られないように、仮想物体を配置することを可能にするのに十分なものとする。ステップ２０３５において、受け取ったユーザ入力に応答して、仮想物体を交点に配置する。

次に、様々な例示の実装の詳細に移ると、本構成による仮想現実又は混合現実ディスプレイデバイスは、限定ではないが、ＨＭＤデバイス１０４及び／又は他のポータブル／モバイルデバイスのようなニアアイ（near-eye）デバイスを含め、任意の適切な形をとってよい。図２１は、シースルーの混合現実ディスプレイシステム２１００の１つの特定の実施例を示しており、図２２は、システム２１００の機能ブロック図を示している。しかしながら、一部の実装ではシースルーのディスプレイが使用され得るが、他の実装では、例えばカメラベースのパススルー又は外向きのセンサ（outward facing sensor）を使用する不透明の（すなわち、シースルーではない）ディスプレイが使用されてもよいことを強調しておく。

ディスプレイシステム２１００は、画像がレンズ２１０２を使用して（例えばレンズ２１０２上への投影を使用して、レンズ２１０２へ組み込まれる１つ以上の導波管システムを使用して、かつ／又は任意の他の適切な方法で）表示され得るように、シースルーのディスプレイサブシステム２１０４の一部を形成する１つ以上のレンズ２１０２を備える。ディスプレイシステム２１００は、ユーザによって見られている背景シーン及び／又は物理的環境の画像を取得するように構成される１つ以上の外向きの画像センサ２１０６を更に備え、ユーザからの音声コマンドのような音を検出するように構成される１つ以上のマイクロフォン２１０８を含み得る。外向きの画像センサ２１０６は、１つ以上の深度センサ及び／又は１つ以上の２次元の画像センサを含み得る。代替的な構成では、上記のように、シースルーのディスプレイサブシステムを組み込む代わりに、仮想現実又は混合現実ディスプレイシステムが、外向きの画像センサのためのビューファインダモードを通して、混合現実画像を表示してもよい。

ディスプレイシステム２１００は、上述のように、ユーザの各目の注視方向あるいは焦点の方向又は位置を検出するために構成される注視検出サブシステム２１１０を更に含み得る。注視検出サブシステム２１１０は、任意の適切な方法で、ユーザの目の各々の注視方向を決定するように構成され得る。例えば図示される実施例では、注視検出サブシステム２１１０は、赤外光源のように、光の輝き（glint）をユーザの各眼球から反射させるように構成される１つ以上のグリント源（glint source）２１１２と、内向きのセンサのように、ユーザの各眼球の画像をキャプチャするように構成される１つ以上の画像センサ２１１４を含む。画像センサ２１１４を使用して収集される画像データから決定される、ユーザの眼球及び／又はユーザの瞳孔の位置からの輝きにおける変化は、注視方向を決定するのに使用され得る。

加えて、ユーザの目から投影された注視線が外部ディスプレイと交差する位置を使用して、ユーザが注視している物体（例えば表示された仮想物体及び／実際の背景の物体）を決定することができる。注視検出サブシステム２１１０は、任意の適切な数及び配置の光源及び画像センサを有してよい。一部の実装では、注視検出サブシステム２１１０を省略してもよい。

ディスプレイシステム２１００は、追加のセンサを含んでもよい。例えばディスプレイシステム２１００は、該ディスプレイシステム２１００の位置を決定することを可能にするよう全地球測位システム（ＧＰＳ）サブシステム２１６６を備え得る。これは、ユーザの隣接する物理的環境内に配置され得る建物等のような現実世界の物体を識別することを助けることができる。

ディスプレイシステム２１００は、ユーザが拡張現実ＨＭＤデバイスの一部として該システムを装着しているときにユーザの頭部の動き及び位置／向き／姿勢を検出する、１つ以上の動きセンサ２１１８（例えば慣性センサ、複数軸ジャイロスコープセンサ又は加速度センサ）を更に含み得る。動きデータは、注視検出のために、並びに、外向きの画像センサ２１０６からの画像におけるブレを補正することを助ける画像安定化のために、潜在的には目を追跡する輝きデータ及び外向きの画像のデータとともに使用されてよい。動きデータの使用は、外向きの画像センサ２１０６からの画像データを解決（resolve）することができない場合であっても、注視位置における変化を追跡することを可能にする。

加えて、動きセンサ２１１８、並びにマイクロフォン２１０８及び注視検出サブシステム２１１０もユーザ入力デバイスとして用いられてもよく、これにより、ユーザは、目、首及び／又は頭部のジェスチャを介して、並びに一部の場合には言葉によるコマンドを介して、ディスプレイシステム２１００と対話することができる。図２１及び図２２に図示され、付随するテキストで説明されるセンサは例示の目的で含まれるものであり、拡張現実ＨＭＤデバイスの特定の実装ニーズに合致するように、任意の他の適切なセンサ及び／又はセンサの組合せを使用することができるので、いかなる方法においても限定するものとして意図されていないことが理解され得る。例えば一部の実装では、（例えば心拍及び呼吸数、血圧、脳活動、体温等を検出するための）生体センサ又は（例えば温度、湿度、高度、ＵＶ（紫外）光レベル等を検出するための）環境センサを用いてもよい。

ディスプレイシステム２１００は、論理サブシステム２１２２及びデータストレージサブシステム２１２４を有するコントローラ２１２０を更に含むことができ、コントローラ２１２０は、通信サブシステム２１２６を通して、センサ、注視検出サブシステム２１１０、ディスプレイサブシステム２１０４及び／又は他のコンポーネントと通信する。通信サブシステム２１２６は、ディスプレイシステムが、処理、ストレージ、電力、データ及びサービスといった、リモートに配置されるリソースと連動して動作されることを容易にすることもできる。すなわち、一部の実装において、ＨＭＤデバイスは、異なるコンポーネント及びサブシステムの間でリソース及び能力を分散させることができるシステムの一部として動作され得る。

ストレージサブシステム２１２４は、例えばセンサからの入力を受け取って解釈し、ユーザの位置及び動きを識別し、表面再現及び他の技術を使用して実際の物体を識別し、他のタスクの中でも物体をユーザが見ることができるようにするために物体に対する距離に基づいてディスプレイを暗くする／フェードさせるために、論理サブシステム２１２２によって実行可能な命令を含んでもよい。

ディスプレイシステム２１００は、オーディオを拡張現実経験の一部として用いることができるように、１つ以上のオーディオトランスデューサ２１２８（例えばスピーカ、イヤフォン等）とともに構成される。電力管理サブシステム２１３０は、１つ以上のバッテリ２１３２及び／又は保護回路モジュール（ＰＣＭ）、並びにディスプレイシステム２１００内のコンポーネントに電力を供給するための関連する充電インタフェース２１３４及び／リモート電力インタフェースを含んでもよい。

図示されるディスプレイデバイス１０４及び２１００は説明の目的で示されており、したがって、限定するように意図されていないことが認識されよう。さらに、ディスプレイデバイスが、本構成の範囲から逸脱することなく、図示されるものに対して追加及び／又は代替的なセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含んでもよいことも理解されよう。加えて、ディスプレイデバイス並びにその様々なセンサ及びサブコンポーネントの物理的構成は、本構成の範囲から逸脱することなく、様々な異なる形式をとり得る。

図２３〜図２７は、ＨＭＤデバイスのコンポーネントとして使用され得る仮想又は混合現実ディスプレイシステム２３００の例示の代替的実装を示す。この例では、システム２３００は、シースルーのディスプレイサブシステムに利用される内部光学アセンブリを保護するように構成される、シースルーの密閉型バイザー（see-through sealed visor）２３０２を使用する。バイザー２３０２は典型的に、図２１及び図２２に関連して例示的に説明されるように、センサ、電力管理、コントローラ等を含む頭部装着／保持システム及び他のサブシステムのような、ＨＭＤデバイスの他のコンポーネント（図示せず）とインタフェースする。スナップ、突起及び他の締め具等を含め、適切なインタフェース要素（図示せず）を、バイザー２３０２内に組み込むこともできる。

バイザーは、シースルーの前面シールド２３０４と背面シールド２３０６を含む。これらのシールドは、光学ディスプレイ及び周囲の現実世界環境に対する遮られない視覚を促すよう、透明な物質を使用して形成され得る。着色、鏡面化、反射防止、防曇及び他のコーティング等のような処置を前面及び背面シールドに塗布してもよく、様々な色及び仕上げを用いてもよい、前面及び背面シールドは、図２４で部分的に提示される図内に示されるように、シャーシ２４０５に取り付けられる。図２４では、シールドカバー２４１０が、バイザー２３０２から分解されるように図示されている。

密閉型バイザー２３０２は、操作中及びクリーニングのため通常の取り扱いの間にＨＭＤデバイスを装着して使用するときに、光学ディスプレイサブアセンブリ２５０２（図２５の分解図内に図示される）を含む繊細な内部コンポーネントを物理的に保護することができる。また、バイザー２３０２は、環境要素及びＨＭＤデバイスが落とされ、ぶつけられ、衝撃等を受けることになるダメージから、光学ディスプレイサブアセンブリ２５０２を保護することもできる。光学ディスプレイサブアセンブリ２５０２は、落下又は衝撃により偏向するときにシールドがそのサブアセンブリに接触しないような形で、密閉型バイザー内に取り付けられる。

図２５及び図２７に図示されるように、背面シールド２３０６は、ユーザの鼻及びノーズパッド２７０４（図２７）とインタフェースするよう人間工学的に正しい形で構成され、他の快適な機能を含む（例えば別個のコンポーネントとしてモールドインするか、かつ／又はアドオンする）ことができる。密閉型バイザー２３０２は、一部の場合には、あるレベルの光学ジオプター曲率（すなわち目の処方）を成形シールドに組み込むこともできる。

図２８は、上述の構成、配列、方法又はプロセスのうちの１つ以上を実装するときに使用され得るコンピューティングシステム２８００の非限定的な実施形態を概略的に図示している。ＨＭＤデバイス１０４は、コンピューティングシステム２８００の非限定的な一例であり得る。コンピューティングシステム２８００は、簡略化された形で図示されている。本構成の範囲から逸脱することなく、実質的に任意のコンピュータアーキテクチャを使用してもよいことが理解され得る。異なる実施形態では、コンピューティングシステム２８００は、ディスプレイデバイス、ウェアラブルコンピューティングデバイス、マシンフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えばスマートフォン）等の形をとってもよい。

コンピューティングシステム２８００は、論理サブシステム２８０２及びストレージサブシステム２８０４を含む。コンピューティングシステム２８００は、任意選択で、ディスプレイサブシステム２８０６、入力サブシステム２８０８、通信サブシステム２８１０及び／又は図２８に図示されていない他のコンポーネントを含み得る。

論理サブシステム２８０２は、命令を実行するように構成される１つ以上の物理デバイスを含む。例えば論理サブシステム２８０２は、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造又は他の論理構造の一部である命令を実行するように構成され得る。そのような命令は、タスクを実行し、データ型を実装し、１つ以上のコンポーネントの状態を変換し、あるいは他の方法で所望の結果に到達するよう実装され得る。

論理サブシステム２８０２は、ソフトウェア命令を実行するように構成される１つ以上のプロセッサを含み得る。あるいはまた、論理サブシステム２８０２は、ハードウェア又はファームウェア命令を実行するように構成される１つ以上のハードウェア又はファームウェア論理マシンを含んでもよい。論理サブシステム２８０２のプロセッサは、シングルコアであってもマルチコアであってもよく、そのプロセッサ上で実行されるプログラムは、逐次処理、並列処理又は分散処理のために構成され得る。論理サブシステム２８０２は、任意選択で、協調的処理のためにリモートに配置及び／又は構成され得る２つ以上のデバイス間で分散される個々のコンポーネントを含み得る。論理サブシステム２８０２の態様は、クラウドコンピューティング構成で構成されるリモートアクセス可能なネットワーク化されたコンピューティングデバイスにより仮想化され、実行され得る。

ストレージサブシステム２８０４は、本明細書で説明される方法及び処理を実行するために論理サブシステム２８０２により実行可能なデータ及び／又は命令を保持するよう構成される、１つ以上の物理デバイスを含む。そのような方法及び処理が実装されると、ストレージサブシステム２８０４の状態は−例えば異なるデータを保持するように−変換され得る。

ストレージサブシステム２８０４は、取外し可能媒体及び／又は内蔵デバイスを含み得る。ストレージサブシステム２８０４は、他の中でも特に、光学メモリデバイス（例えばＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多用途ディスク）、ＨＤ−ＤＶＤ（高解像度ＤＶＤ）、Ｂｌｕ−ｒａｙ（登録商標）ディスク等）、半導体メモリデバイス（例えばＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読取専用メモリ）、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能ＲＯＭ）等）及び／又は磁気メモリデバイス（例えばハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭ（磁気抵抗ＲＡＭ）等）を含み得る。ストレージサブシステム２８０４は、揮発性、不揮発性、動的、静的、読取／書込、読取専用、ランダムアクセス、逐次アクセス、位置アドレス可能、ファイルアドレス可能及び／又はコンテンツアドレス可能なデバイスを含み得る。

認識され得るように、ストレージサブシステム２８０４は、１つ以上の物理デバイスを含み、伝搬信号自体は除く。しかしながら、一部の実装では、本明細書で説明される命令の態様は、ストレージデバイス上に格納されるものとは反対に、通信媒体を使用して純粋な信号（例えば電磁気信号、光信号等）によって伝搬されてもよい。さらに、本構成に関するデータ及び／又は他の形式の情報が純粋な信号によって伝搬されてもよい。

一部の実施形態では、論理サブシステム２８０２及びストレージサブシステム２８０４の態様は一緒に、本明細書で説明される機能が成立され得る１つ以上のハードウェア論理コンポーネントに統合されてもよい。そのようなハードウェア論理コンポーネントは、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及び特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及び特定用途向け規格品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム及び結合プログラム可能論理回路（ＣＰＬＤ）を含み得る。

ディスプレイサブシステム２８０６は、ストレージサブシステム２８０４によって保持されるデータの視覚的表現を提示するのに使用され得る。この視覚的表現は、グラフィカルユーザインタフェース（ＧＵＩ）の形式をとってもよい。説明される本方法及び処理が、ストレージサブシステムによって保持されるデータを変更し、したがって、ストレージサブシステムの状態を変換すると、ディスプレイサブシステム２８０６の状態も同様に、元となるデータの変更を視覚的に表すよう変換され得る。ディスプレイサブシステム２８０６は、実質的に任意のタイプの技術を使用する１つ以上のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、一部の場合には論理サブシステム２８０２及び／又はストレージサブシステム２８０４と共有の筐体内で組み合わされてよく、あるいは他の場合には、そのようなディスプレイデバイスは周辺機器のディスプレイデバイスであってもよい。

入力サブシステム２８０８は、含まれるとき、キーボード、マウス、タッチスクリーン又はゲームコントローラといった、１つ以上のユーザ入力デバイスを含むか、これらとインタフェースし得る。一部の実施形態において、入力サブシステムは、選択されたナチュラルユーザインプット（ＮＵＩ）コンポーネントを含むか、これとインタフェースし得る。そのようなコンポーネントは一体型でも周辺機器であってもよく、入力アクションの変換及び／又は処理は、オンボード又はオフボードで処理され得る。例示のＮＵＩコンポーネントは、スピーチ及び／又は音声認識のためのマイクロフォン；マシンビジョン及び／又はジェスチャ認識のための赤外、色、立体及び／又は深度カメラ；動き検出及び／又は意図認識のためのヘッドトラッカ、アイトラッカ、加速度計及び／又はジャイロスコープ；並びに脳活動を評価するための電場感知コンポーネントを含み得る。

通信サブシステム２８１０は、含まれるとき、コンピューティングシステム２８００を１つ以上の他のコンピューティングデバイスと通信的に結合するように構成され得る。通信サブシステム２８１０は、１つ以上の異なる通信プロトコルと互換性のある、有線及び／又は無線の通信デバイスを含み得る。非限定的な例として、通信サブシステムは、無線の電話ネットワーク、あるいは有線又は無線のローカル又はワイドエリアネットワークを介する通信のために構成され得る。一部の実施形態において、通信サブシステムは、コンピューティングシステム２８００が、インターネットのようなネットワークを使用して、他のデバイスへメッセージを送信し、かつ／又は他のデバイスからメッセージを受け取ることを可能にすることができる。

本発明に係る仮想現実環境における注視に基づく物体配置の様々な例示の実施形態を、全ての実施形態の包括的なリストではなく、例として以下に提示する。一例は、仮想現実環境のレンダリングをサポートする頭部装着型ディスプレイ（ＨＭＤ）デバイスによって実行される方法を含み、当該方法は：ＨＭＤデバイスのユーザに隣接する現実世界の物理的環境を示すセンサデータを取得するステップと；センサデータを使用して、物理的環境の形状を再現するステップと；再現された形状を使用して物理的環境内のユーザの頭部及び注視を追跡して、視野及びビュー位置を決定するステップと；ビュー位置から外側に注視線を投影するステップと；投影された注視線と仮想現実環境との間の交差を識別するステップと；ユーザ入力に応答して、現在の視野内の交差に仮想物体を配置するステップと；を含む。

別の例では、センサデータは深度データを含み、深度センサを使用してセンサデータを生成し、表面再現技術を適用して物理的環境の形状を再現するステップを更に含む。別の例において、上記方法は、深度から立体への画像化分析（depth-from-stereo imaging analyses）を使用して深度データを生成するステップを更に含む。別の例において、上記方法は、ＨＭＤデバイスに最も近い、投影された注視線と仮想現実環境との間の交差を識別するステップを更に含む。別の例において、上記方法は、ユーザ入力を受け取るためのユーザインタフェース（ＵＩ）を公開するステップを更に含み、ＵＩは、ユーザコントロールを提供するか、ジェスチャ認識又は音声認識をサポートする。別の例において、上記方法は、配置される仮想物体が視野の端に沿ってクリップされないように、投影された注視線を回転させるステップを更に含む。別の例において、上記方法は、注視線が視野の下の部分を通って投影されるように、回転を実行するステップを更に含む。別の例において、上記方法は、配置される物体を視野内に全体として適合するようにレンダリングすることができないときに、回転を実行するステップを更に含む。別の例において配置される仮想物体は、ユーザインタフェース又はユーザ経験をサポートする対話的要素であり、該対話的要素は、メニュー、ウィジット又は通知のうちの１つである。別の例において、上記方法は、ＨＭＤデバイスに配置される１つ以上の内向きのセンサを使用して、注視方向を決定し、ユーザの注視方向に沿ってビュー位置から注視線を投影するステップを更に含む。

更なる例は、物理的環境においてユーザにより操作可能な頭部装着型ディスプレイ（ＨＭＤ）デバイスを含み、当該ＨＭＤデバイスは：１つ以上のセンサと；ユーザに対して仮想現実環境をレンダリングするためのディスプレイであって、レンダリングされる仮想現実環境の視野が、物理的環境内におけるユーザの頭部の姿勢に少なくとも部分的に依存して変化する、ディスプレイと；センサパッケージと；１つ以上のメモリデバイスであって、１つ以上のプロセッサによって実行されると、センサパッケージを使用して物理的環境の少なくとも一部について表面再現データを生成するステップと、表面再現データを使用して仮想現実環境についてユーザのビュー位置を動的に追跡するステップと、ユーザの注視方向に沿ってビュー位置から投影される線と、現在の視野内における仮想現実環境の点との間の交差を見つける（locating）ステップと；当該ＨＭＤデバイスを操作して、カーソルを交点でレンダリングするステップとを含む方法を実行するコンピュータ読取可能命令を記憶する、１つ以上のメモリデバイスと；を備える。

別の例では、頭部装着型ディスプレイ（ＨＭＤ）デバイスは更に、センサパッケージを使用して注視方向を動的に追跡することを含む。別の例では、頭部装着型ディスプレイ（ＨＭＤ）デバイスは更に、ユーザインタフェース（ＵＩ）を更に含み、ＵＩへのユーザ入力に応答して、仮想物体を交点に配置するように当該ＨＭＤデバイスを操作することを含む。別の例では、頭部装着型ディスプレイ（ＨＭＤ）デバイスは更に、視野又は注視方向が変化すると、カーソルを動的に再配置することを含む。別の例では、頭部装着型ディスプレイ（ＨＭＤ）デバイスは更に、統合される複数の重なる表面（multiple overlapping surface）を作成する容積法（volumetric method）を実施する、表面再現データパイプラインを使用して物理的環境をモデリングすることを含む。別の例では、頭部装着型ディスプレイ（ＨＭＤ）デバイスは更に、ディスプレイ上にレンダリングされるときに、配置される仮想物体が現在の視野の上端によってクリップされないように、投影された線を下方に回転させることを更に含む。

更なる例は、現実世界環境内に配置される頭部装着型ディスプレイ（ＨＭＤ）デバイスの可変の視野内に仮想現実環境をレンダリングするためのコンピュータ実行可能命令を記憶する１つ以上のコンピュータ読取可能メモリを含み、その方法は、ＨＭＤデバイスに組み込まれるセンサパッケージからのデータを使用して、ａ）現実世界環境の表面再現モデルを動的に生成し、ｂ）ＨＭＤデバイスのユーザのビュー位置から投影される注視線を生成するステップと；モデルを使用して、仮想現実環境の視野を決定するステップと；ＨＭＤデバイスへの入力をユーザから受け取るステップと；受け取ったユーザ入力に応答して、視野内において、注視線と仮想現実環境との間の交点に仮想物体を配置するステップとを備える。

別の例において、１つ以上のコンピュータ読取可能メモリは、ユーザの注視方向を追跡するステップと、注視方向に沿ってビュー位置から注視線を投影するステップと、視野内において、注視線と仮想現実環境との間の交点にカーソルをレンダリングするステップとを更に含む。別の例において、１つ以上のコンピュータ読取可能メモリは、配置される仮想物体が視野の外部に広がるときを判断するステップと、該判断に応答して注視線を回転させるステップを更に含む。別の例において、１つ以上のコンピュータ読取可能メモリは、配置される仮想物体によって遮断されていない視野部分を提供するのに十分な角度で注視線を回転させるステップを更に含む。

本主題は、構造的特徴及び／又は方法的動作に特有の言葉で説明されているが、添付の特許請求の範囲で定義される主題は必ずしも、上述の特有の特徴又は動作に限定されないことが理解されよう。むしろ、上述の特有の特徴及び動作は、特許請求の範囲を実装する例示の形として開示されている。

Claims (15)

1. 仮想現実環境のレンダリングをサポートする頭部装着型ディスプレイ（ＨＭＤ）デバイスによって実行される方法であって：
   前記ＨＭＤデバイスのユーザに隣接する現実世界の物理的環境を示すセンサデータを取得するステップと；
   前記センサデータを使用して、前記物理的環境の形状を再現するステップと；
   前記再現された形状を使用して前記物理的環境内の前記ユーザの頭部及び注視を追跡して、視野及びビュー位置を決定するステップと；
   前記ビュー位置から外側に注視線を投影するステップと；
   前記投影された注視線と前記仮想現実環境との間の交点を識別するステップと；
   ユーザ入力に応答して、現在の視野内の前記交点に仮想物体を配置するステップと；
   を含む、方法。
2. 前記センサデータが深度データを含み、
   深度センサを使用して前記センサデータを生成し、表面再現技術を適用して前記物理的環境の形状を再現するステップを更に含む、
   請求項１に記載の方法。
3. 深度から立体への画像化分析を使用して深度データを生成するステップを更に含む、
   請求項１に記載の方法。
4. 前記ＨＭＤデバイスに最も近い、前記投影された注視線と前記仮想現実環境との間の交点を識別するステップを更に含む、
   請求項１に記載の方法。
5. 前記ユーザ入力を受け取るためのユーザインタフェース（ＵＩ）を公開するステップを更に含み、前記ＵＩは、ユーザコントロールを提供するか、ジェスチャ認識又は音声認識をサポートする、
   請求項１に記載の方法。
6. 配置される仮想物体が前記視野の端に沿ってクリップされないように前記投影された注視線を回転させるステップを更に含む、
   請求項１に記載の方法。
7. 前記注視線が前記視野の下の部分を通って投影されるように、前記の回転を実行するステップを更に含む、
   請求項６に記載の方法。
8. 前記視野内に全体として適合するように、前記配置される仮想物体をレンダリングすることができないときに、前記の回転を実行するステップを更に含む、
   請求項６に記載の方法。
9. 前記配置される仮想物体は、ユーザインタフェース又はユーザ経験をサポートする対話的要素であり、該対話的要素は、メニュー、ウィジット又は通知のうちの１つである、
   請求項１に記載の方法。
10. 前記ＨＭＤデバイスに配置される１つ以上の内向きのセンサを使用して、注視方向を決定し、前記ユーザの注視方向に沿って前記ビュー位置から前記注視線を投影するステップを更に含む、
    請求項１に記載の方法。
11. 物理的環境においてユーザにより操作可能な頭部装着型ディスプレイ（ＨＭＤ）デバイスであって：
    １つ以上のセンサと；
    前記ユーザに対して仮想現実環境をレンダリングするためのディスプレイであって、前記レンダリングされる仮想現実環境の視野が、前記物理的環境内における前記ユーザの頭部の姿勢に少なくとも部分的に依存して変化する、ディスプレイと；
    センサパッケージと；
    １つ以上のメモリデバイスであって、前記１つ以上のプロセッサによって実行されると、
    前記センサパッケージを使用して前記物理的環境の少なくとも一部について表面再現データを生成するステップと、
    前記表面再現データを使用して前記仮想現実環境について前記ユーザのビュー位置を動的に追跡するステップと、
    前記ユーザの注視方向に沿って前記ビュー位置から投影される線と、現在の視野内における前記仮想現実環境の点との間の交差を見つけるステップと；
    当該ＨＭＤデバイスを操作して、カーソルを交点でレンダリングするステップと、
    を含む方法を実行するコンピュータ読取可能命令を記憶する、１つ以上のメモリデバイスと；
    を備える、ＨＭＤデバイス。
12. 前記センサパッケージを使用して前記注視方向を動的に追跡することを更に含む、
    請求項１１に記載のＨＭＤデバイス。
13. ユーザインタフェース（ＵＩ）を更に含み、
    前記ＵＩへのユーザ入力に応答して、仮想物体を前記交点に配置するように当該ＨＭＤデバイスを操作することを更に含む、
    請求項１１に記載のＨＭＤデバイス。
14. 前記視野又は注視方向が変化すると、前記カーソルを動的に再配置することを更に含む、
    請求項１１に記載のＨＭＤデバイス。
15. 前記ディスプレイ上にレンダリングされるときに、配置される仮想物体が前記現在の視野の上端によってクリップされないように、前記投影された線を下方に回転させるステップを更に含む、
    請求項１１に記載のＨＭＤデバイス。

Images