JP2017510877A - ヘッドマウントディスプレイにおけるメニューナビゲーション - Google Patents

Abstract

【解決手段】ウェアラブルコンピューティング装置は、仮想現実環境を生成するヘッドマウントディスプレイ（ＨＭＤ）を備える。位置データの生成及び追跡を通じて、１つ以上のメニューナビゲーション要素に対して焦点が追跡され得る。メニューナビゲーション要素の上に焦点が所定期間固定的に位置付けられた後、メニューナビゲーション要素に対応する処理が実行される。【選択図】図１

Description

本発明は、一般に、ヘッドマウントディスプレイ（ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＨＭＤ）を備えたウェアラブル仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：ＶＲ）コンピューティング装置に関する。より具体的には、本発明は、ＨＭＤの視野を利用してメニュー制御機能性を実施することに関する。

ウェアラブルＶＲシステムには、入力装置、センサ、検出器、画像表示装置及び無線通信部品などの様々な要素と共に、画像や音声の処理装置が一体化されている。画像ディスプレイ要素を着用者の目に近づけて置くことにより、人工画像を作成して、現実世界の視野に重畳し、あるいは独自の独特な現実感を創り出すことが可能である。このような画像ディスプレイ要素は、ヘッドマウントディスプレイ（ＨＭＤ）とも呼ばれるシステムに組み込まれる。かかるディスプレイ要素のサイズや着用者の目までの距離に応じて、ディスプレイに提示された人工画像は、着用者の視野を満たすか、またはほぼ満たし得る。

ＨＭＤが組み込まれているＶＲシステムは、動かしやすく軽量であると共に、仮想環境との通信及び対話を行うことが可能である。しかしながら、このようなシステムには、一般に、これらが依然として仮想環境のナビゲーション用に別個のコントローラを使用する必要があるという欠陥がある。この意味では、ほとんどのＨＭＤは、ＶＲ環境に入ることを可能にするゴーグルに過ぎない。当技術分野では、別個のコントローラ装置を導入せずにＶＲ環境のナビゲーション及び制御を行うことが必要とされている。

本発明の実施形態は、ヘッドマウントディスプレイにおけるメニューナビゲーションシステム及びメニューナビゲーション方法を含む。ヘッドマウントディスプレイに関する位置データが生成され得る。焦点の位置が追跡され得る。焦点は、メニューナビゲーション要素の動作範囲内にあると判定され得る。メニューナビゲーション要素に対応する固定タイマーは、焦点がメニューナビゲーション要素の動作範囲内にあると判定されたときに所定期間をカウントダウンするように実行され得る。所定期間が終了すると、メニューナビゲーション要素に対応する機能が実施され得る。

ヘッドマウントディスプレイにおけるメニューナビゲーション方法が提供され得る。かかる方法は、ヘッドマウントディスプレイの位置データをセンサによって生成すること、メニューナビゲーション要素を含む仮想環境内でヘッドマウントディスプレイの焦点の位置を追跡すること、メニューナビゲーション要素の動作範囲内に焦点があると判定すること、メニューナビゲーション要素に対応する固定タイマーを実行することであって、メニューナビゲーション要素の動作範囲内に焦点があるときに固定タイマーが所定期間をカウントダウンすること、及び所定期間が終了したときにメニューナビゲーション要素の対応機能を実施すること、を含み得る。

ヘッドマウントディスプレイにおけるメニューナビゲーションシステムは、位置データを生成するジャイロスコープ、磁力計及び加速度計のうちの少なくとも１つと、メニューナビゲーション要素を含む仮想環境内に焦点を表示するために少なくとも１つのレンズを備えるヘッドマウントディスプレイと、処理装置であって、メモリに記憶された命令を実行することにより、位置データを処理して仮想環境内で焦点の位置を追跡すること、メニューナビゲーション要素の動作範囲内に焦点があると判定すること、メニューナビゲーション要素に対応する固定タイマーを実行することであって、メニューナビゲーション要素の動作範囲内に焦点があるときに固定タイマーが所定期間をカウントダウンすること、及び固定タイマーによって示される所定期間が終了すると、メニューナビゲーション要素に関連付けられた機能性を実行すること、を行う処理装置と、を備え得る。

本発明の別の実施形態は、プログラムが具現化された非一過性コンピュータ可読記憶媒体を提供する。プログラムは、ヘッドマウントディスプレイにおいてメニューナビゲーションを実行するように処理装置によって実行可能である。上記方法は、位置データを生成すること、焦点の位置を追跡すること、及びメニューナビゲーション要素の動作範囲内に焦点があると判定することを含む。メニューナビゲーション要素に対応する固定タイマーが実行される。メニューナビゲーション要素の対応機能は、固定タイマーが終了したときに実施される。

例示的なウェアラブルコンピューティング装置のブロック図である。 着用者を仮想現実環境に完全に没入させるＨＭＤを示す図である。 現実世界の認識を保持しつつＶＲ情報の生成を可能にするＨＭＤを示す図である。 ＨＭＤのレンズディスプレイに表示させた例示的なナビゲーションメニューを示す図である。 ナビゲーションメニュー内の視覚要素を実行するために焦点を使用しているが、それによって仮想ボタンの対応動作が起動されていない様子を示す図である。 ナビゲーションメニュー内の視覚要素を実行するために焦点を使用し、それにより、焦点に関連付けられた領域と仮想ボタンとが対応機能を起動させている様子を示す図である。 ナビゲーションメニュー内の視覚要素を実行するために焦点を使用し、それにより、仮想ボタンの対応機能を焦点が直接起動させている様子を示す図である。 ＶＲ環境における例示的なメニュー選択方法を示す図である。

本発明の実施形態は、ヘッドマウントディスプレイにおけるメニューナビゲーションシステム及びメニューナビゲーション方法を含む。ヘッドマウントディスプレイに関する位置データが生成され得る。焦点の位置が追跡され得る。焦点は、メニューナビゲーション要素の動作範囲内にあると判定され得る。メニューナビゲーション要素に対応する固定タイマーは、焦点がメニューナビゲーション要素の動作範囲内にあると判定されたときに所定期間をカウントダウンするように実行され得る。所定期間が終了すると、メニューナビゲーション要素に対応する機能が実施され得る。

図１は、例示的なウェアラブル仮想現実システム１００のブロック図である。外部コンピューティング装置１１０との通信において、ウェアラブル仮想現実システム１００は、ＵＳＢインターフェース１２０、無線通信インターフェース１３０、ジャイロスコープ１４０、加速度計１５０、磁力計１６０、データ記憶装置１７０、処理装置１８０及びヘッドマウントディスプレイ（ＨＭＤ）２００を備え得る。

ヘッドマウントディスプレイ（ＨＭＤ）２００を用いることにより、その着用者は、現実世界の環境、表示されたコンピュータ生成画像、またはこれら２つの組み合わせを観察することができる。いくつかの実施形態では、ＨＭＤ２００がシースルーディスプレイを備えてもよい。ウェアラブル仮想現実システム１００の着用者は、かかる実施形態においてはＨＭＤ２００を通して見ることが可能となり得るが、ウェアラブル仮想現実システム１００があるにも関わらず、現実世界の環境の一部を観察してもよい。更なる実施形態のＨＭＤ２００は、「拡張現実」の体験を提供するために、視野に重畳される画像を表示するように動作可能であってもよい。ＨＭＤ２００によって表示される画像の一部は、視野内の特定の対象物に関して重畳あるいは表示されてもよい。なお別の実施形態では、ＨＭＤ２００は完全な仮想環境であってもよく、それにより、ウェアラブル仮想現実システム１００の着用者は、現実世界とのあらゆる視覚的な接触から隔離される。

表示画像には、グラフィックス、テキスト及び／または映像が含まれ得る。音声は、対応する音声装置を通じて提供され得る。ＨＭＤによって表示される画像は、対話型ユーザーインターフェースの一部であってもよく、メニュー、選択ボックス、ナビゲーションアイコン、あるいは、着用者がウェアラブルコンピューティング装置の機能を呼び出すかまたはウェアラブルコンピューティング装置と対話することを可能にする他のユーザーインターフェース機能を含んでもよい。ＨＭＤ２００のフォームファクタは、眼鏡、ゴーグル、ヘルメット、帽子、バイザー、ヘッドバンドのフォームファクタであってもよく、あるいは、着用者の頭部の上に、または着用者の頭部から支持可能ないくつかの他の形状のフォームファクタであってもよい。

着用者に仮想画像を表示するために、ＨＭＤは、ディスプレイパネルを照らす発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ：ＬＥＤ）などの光源を有する光学系を備え得る。ディスプレイパネルは、液晶ディスプレイパネル（ＬＣＤ）を含み得る。ディスプレイパネルは、光源から光を空間的に変調することによって光パターンを生成し得る。さらに、画像形成部は、その光パターンから仮想画像を形成する。あるいは、ディスプレイパネルは、シリコン上液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ：ＬＣＯＳ）であってもよく、それにより、液晶層はシリコンバックプレーンの上に位置し得る。

例示的な実施形態のＨＭＤは、重畳しない立体３Ｄ画像を伴う７インチのスクリーンを備えており、それにより、左目が左側の余分の領域（ｅｘｔｒａ ａｒｅａ）を、右目が右側の余分の領域（ｅｘｔｒａ ａｒｅａ）をそれぞれ見る。ＨＭＤは、通常の人間の視覚を模倣するように試みるが、これは１００％重複しているわけではない。例示的な実施形態の視野は、左右９０度（対角１１０度）を超えており、それによって視界の全視野がほぼ満たされる。これにより、現実世界が完全に遮断されて、強い没入感覚が生じ得る。

実施形態は、１２８０×８００（１６：１０のアスペクト比）を利用してもよく、これにより、実質的に６４０×８００、すなわち片目当たり４：５のアスペクト比）が可能となる。両目間の重複部分を全く考慮しない実施形態では、合成後の水平解像度は、実質的に６４０を上回る。各目に対する表示画像はピンクッション型である。それにより、各目について球形のマップ画像が生成される。

ＨＭＤ２００は、外部コンピューティング装置１１０（単数または複数）と通信してもよい。外部コンピューティング装置１１０（単数または複数）には、アプリケーションサーバ、データベース、及び当技術分野において既知である他の外部コンピューティング要素が含まれる。かかる要素には、標準ハードウェアのコンピューティング要素（ネットワークインターフェースや媒体インターフェースなど）、非一過性コンピュータ可読記憶装置（メモリ）、及び命令を実行するかまたはメモリに記憶され得る情報にアクセスするための処理装置が含まれる。

場合によっては、ウェアラブル仮想現実システム１００は、外部コンピューティング装置１１０（単数または複数）と物理的に接続されてもよい。こうした接続は、ＵＳＢインターフェース１２０を介して実装され得る。ＵＳＢインターフェース１２０は、ＵＳＢ準拠ケーブルを経由して外部コンピューティング装置１１０とデータを送受信するために使用され得る。また、ＵＳＢインターフェース１２０を使用して、ウェアラブル仮想現実システム１００に電力を供給してもよい。これにより、外部電源及びそれに関連する任意の電源ケーブルが不要となり得る。場合によっては、ＵＳＢインターフェース１２０経由の電源を実現するために、更なる電源アダプタ（図示せず）が必要となり得る。なお、他の種類のインターフェースを使用してもよいため、ＵＳＢへの言及は例示であることを理解すべきである。このようなインターフェースとしては、ファイヤーワイヤー（ＦｉｒｅＷｉｒｅ（登録商標））、ライトニング（Ｌｉｇｈｔｎｉｎｇ）、及びＨＤＭＩ（登録商標）やＤＶＩなどの他のケーブル接続規格が含まれるが、これらに限定されることはない。

図１のウェアラブル仮想現実システム１００は、無線通信インターフェース１３０を備える。無線通信インターフェース１３０を使用して、外部コンピューティング装置１１０（単数または複数）と無線通信してもよい。また、無線通信インターフェース１３０を使用して、他のウェアラブルコンピューティング装置１００と通信してもよい。無線通信インターフェース１３０は、任意の数の無線通信規格を利用してもよい。これらの無線通信規格は、インターネットなどのパケットベースネットワークを介した双方向のデータ交換に対応している。例示的な通信規格としては、ＣＤＭＡ、ＧＳＭ（登録商標）／ＧＰＲＳ、４Ｇセルラー、ＷｉＭＡＸ、ＬＴＥ及び８０２．１１（ＷｉＦｉ（登録商標））が挙げられる。

ウェアラブル仮想現実システム１００は、３次元軸ジャイロスコープ１４０、加速度計１５０及び磁力計１６０のうちの１つ以上を備え得る。ジャイロスコープ１４０は、角運動量の原則に基づいて方位を測定するために利用され得る。加速度計１５０は、加速の大きさ及び方向をベクトル量として検出するために使用され得る。この結果を使用して方位を検出することができる。これは、荷重の方向の変化により、重力または重力変化、及び振動、衝撃と相関する加速度、しかるべき加速度の変化によって抵抗体の落下を調製する。磁力計１６０は、ウェアラブル仮想現実システム１００に関する磁場障害を識別するために使用され得る。磁力計１６０は、非接触入力または、カメラ無しのジェスチャ入力によって支援することができるだけでなく、ＧＰＳ及びコンパスアプリケーション用に真北を識別するのを支援することができる。上述したものから生成されたデータを利用することにより、地球に対するドリフトを伴わない頭部の絶対方位の追跡を計算してもよい。遅延追従を約１０００Ｈｚで作動させて、応答時間を減少させると共に、知覚される現実感を増加させるようにしてもよい。ウェアラブル仮想現実システム１００のディスプレイを調節して、個々のディスプレイを着用者の目のより遠くに、またはより近くに移動させるようにしてもよい。

ウェアラブル仮想現実システム１００は、データ記憶装置１７０に記憶された非一過性コンピュータ可読命令を実行することによって作動し得る。この場合、処理装置１８０の動作を通じて実行がなされる。図１では、データ記憶装置１７０及び処理装置１８０がウェアラブル仮想現実システム１００に存在するものとして示されているが、これらの要素は外部コンピューティング装置１１０（単数または複数）に配置されてもよく、あるいは、場合によっては、実行可能な動作をウェアラブル仮想現実システム１００と外部コンピューティング装置１１０とに分散させてもよい。また、処理装置１８０とデータ記憶装置１７０の実行可能命令とを用いて、ＵＳＢインターフェース１２０、無線インターフェース１３０、ジャイロスコープ１４０、加速度計１５０及び磁力計１６０の様々な態様を制御してもよい。

図２Ａは、着用者を仮想現実環境に完全に没入させるＨＭＤ２００を示す図である。図２Ａは没入型のゴーグルとして示されているが、他のフォームファクタも可能であり、想定される。図２Ａの要素の動作は、図２Ｂの背景で説明されるものと同様である。図２Ａは、ヘッドマウント支持具２１０を含む。このヘッドマウント支持具２１０により、ウェアラブル仮想現実システム１００（ＨＭＤ２００を含む）を着用者の頭部に取り付けることができる。ＨＭＤ２００は、レンズディスプレイ２２０Ａ及び２２０Ｂをさらに備える。これらのレンズディスプレイは、上記のようにＬＣＤ構成またはＬＣＯＳ構成であってよい。レンズディスプレイ２２０Ａ及び２２０Ｂは、ウェアラブル仮想現実システム１００の内蔵部品であってもよい。

ウェアラブル仮想現実システム１００の製造業者は、図１に示したもののような構成要素を集積化できるようにしてもよく、各種構成要素の相互接続を内部的に統合できるようにしてもよい。他の構成要素をウェアラブル仮想現実システム１００の外部に位置させて、外部コンピューティング装置１１０（単数または複数）へのアクセスまたは物理的接続をより迅速に行うことができるようにしてもよい。ウェアラブル仮想現実システム１００の実施形態は、マイクロホンを備えることにより、ウェアラブル仮想現実システム１００を利用している他の個人との音声通信、または当該システム１００に対する何らかのハンズフリー制御を可能としてもよい。

図２Ｂは、現実世界の認識を保持しつつ仮想現実情報の生成を可能にするＨＭＤ２００を示す図である。このような二重認識は、仮想環境の範囲内に着用者を完全に没入させない（すなわち、現実世界を依然として見ることができ、認識することができる）ことによって提供される。図２ＢのＨＭＤ２００は単純なバンドとして示されているが、他のフォームファクタも可能であり、想定される。図２Ｂの要素の動作は、図２Ａの背景で説明されるものと同様である。

図３は、ＨＭＤ２００のレンズディスプレイ２００に表示させた例示的なナビゲーションメニュー３００を示す図である。ナビゲーションメニュー３００は、任意の種類の視覚要素を含み得る。このような視覚要素には、仮想ボタン３１０、スクロールバー３２０、キー３３０、またはユーザーから入力を受け取るためのその他の周知の要素が含まれる。ナビゲーションメニュー３００は、１つ以上の制御命令に関して定められ得る。この制御命令は、仮想ウェアラブルシステム１００上で実行されているソフトウェアアプリケーションを制御するためのものである。仮想ボタン３１０などの、ナビゲーションメニュー３００の特定の視覚要素を特定の制御命令に関連付けてもよい。それにより、その仮想ボタンが作動すると、それ自体に関連付けられた制御命令が実行され得る。

上述したように、ウェアラブル仮想現実システム１００は、軸ジャイロスコープ１４０、加速度計１５０及び磁力計１６０のうちの１つ以上を備える。前述の構成要素の１つ以上によって生成されたデータは、ナビゲーションメニュー３００の１つ以上の視覚要素を選択または操作に変換され、ＨＭＤ２００によって表示され得る。例えば、ユーザーがウェアラブル仮想現実システム１００を着用しつつ自身の頭部を動かすことにより、ジャイロスコープ１４０、加速度計１５０及び磁力計１６０を用いて空間内の地点を識別して、デスクトップコンピュータの背景で生成され得る２次元空間内のマウスポインタと同様の方法で、３次元空間内に焦点３４０を作成することができる。焦点またはポインタ３４０は、ＨＤＭ２００のレンズ２２０と向かい合うユーザーの目からの視線３５０に対応し得るが（図３の挿入図を参照）、必ずしもそのように対応するとは限らない。

ナビゲーションメニュー３００の各種視覚要素の上に焦点３４０を合わせ、特定の視覚要素（例えば、仮想ボタン３１０）の上への焦点／ポインタ３４０の位置付けを特定期間保持することにより、焦点を合わせた要素の機能性が実行され得る。焦点３４０は、単に仮想ボタン３１０の上に追跡するのみでなくてもよく、その代わりに、既定期間（例えば、３秒）、仮想ボタン３１０または仮想ボタン３１０に関連付けられた領域の上に固定されたままであってもよい。この既定期間は、ソフトウェアアプリケーションの開発者によって設定されてもよく、あるいはユーザーの好みのオプションを通じて制御されてもよい。このオプションは、ウェアラブル仮想現実システム１００またはアプリケーションソフトウェアにおいて、当該システム１００のユーザーによって変更され得る。

図４Ａ〜４Ｃは、ナビゲーションメニュー内の視覚要素を実行するために焦点を使用している様子を示す図である。具体的には、図４Ａは、ナビゲーションメニュー内の要素３１０にまだ固定されていない焦点３４０を示している。このように、仮想ボタンの対応動作は、まだ起動されていない。図４Ａに示すように、焦点３４０は、関連領域４２０を備える。関連領域４２０により、特定の点または当該点に関連付けられた領域の上に焦点３４０を保持する作用が拡張される。図４Ａには円として示されているが、関連領域４２０は、正方形、長方形、または焦点３４０の有効範囲を拡張するその他の形状もしくは構成であってもよい。焦点３４０の関連領域４２０は、ユーザーにとって可視でもよく、半透明でもよく、あるいは不可視でもよい。可視または半透明である場合の関連領域４２０は、色付きであってもよい。このように色を付けることにより、レンズ２２０に表示された仮想環境の背景から当該領域を目立たせて、焦点３４０及び関連領域４２０の範囲をユーザーが明確に理解できるようにする。

仮想ボタン３１０は、焦点３４０の関連領域のように、関連領域（４１０）を備えてもよい。焦点３４０及びその関連領域４２０のように、この領域は、ＨＭＤ２００のレンズ２２０に表示される様に、仮想ボタン３４０または仮想環境に対して、異なる形状、サイズ、色、または可視度もしくは半透明度であってもよい。仮想ボタン３１０の関連領域４１０及び焦点３４０の関連領域４２０は、開発者、初期設定またはユーザー設定によってそれぞれ個別に制御されてもよい。このユーザー設定は、ユーザー設定メニュー（図示せず）を通じて変更され得る。制御可能な機能には、仮想メニュー３００の機能を起動させるのに必要な上述の固定期間のみならず、形状、サイズ、可視度、半透明度が含まれる。

図４Ｂは、焦点４２０に関連付けられた領域４２０が仮想ボタン４１０と重複している様子を示している。これにより、ナビゲーションメニュー３００内の視覚要素が実行され、仮想ボタン３１０の対応機能が起動する。図４Ａと比較すると、図４Ｂは、焦点３４０の関連領域と仮想ボタン３１０の関連領域とが現時点で強調領域４３０に示すように重複していることを示している。強調領域は図４Ｂにおいて図式的に示されているが、これは説明を容易にするためである。強調領域４３０をレンズ２２０の上に表示させる必要はなく、このように表示させることを、ユーザー及び／またはアプリケーション開発者による構成に利用可能な設定としてもよい。焦点３４０の関連領域と仮想ボタン３１０の関連領域とが重複しているため、既定の固定時間の終了と仮想ボタン３１０の関連機能が実行される。この固定時間の通知は、内部時計機能によって制御され得る。この内部時計機能は、メニュー３００の制御を担当するソフトウェアを処理装置に基づいて実行することによって実装され、データ記憶装置１７０に保持される。かかる内部時計機能は、既定期間からカウントダウンするように作動させてもよく、あるいは既定期間までカウントアップするように作動させてもよい。焦点３４０とメニューナビゲーションの要素３１０とが（またはそれらの関連領域４１０と４２０とが）重複している間のみこうしたカウントが発生するように設定されてもよい。このように、既定期間が終了する前に焦点３４０が離れた場合には、機能を起動させなくてもよい。

図４Ｃは、ナビゲーションメニュー内の視覚要素を実行するために焦点を使用し、それにより、仮想ボタンの対応機能を焦点が直接起動させている様子を示す図である。図４Ｂとは異なり、仮想ボタン３１０の関連領域４１０と焦点３４０の関連領域４２０とを利用していない。図４Ｃでは、焦点３４０は、仮想ボタン３１０の上に直接固定される。所望の固定期間が終了すると、ボタンの関連機能が実行される。

図５は、ＶＲ環境における例示的なメニュー選択方法５００を示す図である。この方法は、メモリ１７０に記憶された命令を処理装置１８０によって実行することによって実施され得る。図５のメニュー選択方法５００は、非一過性コンピュータ可読記憶媒体中の実行可能命令として具現化され得る。このような媒体には、ＣＤ、ＤＶＤ、またはハードドライブなどの不揮発性メモリが含まれるが、これらに限定されることはない。記憶媒体の命令は、処理装置（または複数の処理装置）によって実行され得る。これにより、記憶媒体をホストするか、またはそれにアクセスするコンピューティング装置の様々なハードウェア構成要素に当該方法を実施させる。図５において特定されるステップ（及びその順序）は例示的であり、その実行順序を含むが、それに限定されない各種の代替例、均等物またはその派生例を含んでもよい。

ステップ５１０では、ウェアラブルＶＲシステム１００の着用者の頭部の動きに基づいて位置データが生成され得る。位置データは、軸ジャイロスコープ１４０、加速度計１５０及び磁力計１６０のうちの１つ以上によって生成され得る。

前述の構成要素の１つ以上によって生成されたデータは、ステップ５２０にて、焦点またはポインタ３４０の位置データに変換され得る。焦点またはポインタ３４０の位置を、ナビゲーションメニュー３００の１つ以上の視覚要素の背景で表示させてもよく、ＨＭＤ２００によって表示させてもよい。

ステップ５３０にて、焦点またはポインタ３４０がナビゲーションメニュー３００のボタンまたは他の要素の上に現在位置しているかどうかに関して判定がなされる。ナビゲーションメニュー３００の要素の上に位置していない焦点またはポインタ３４０の位置を分析することによって判定がなされた場合、焦点またはポインタに関連付けられた領域がナビゲーションメニュー３００の要素の上に位置しているかどうかに関して、ステップ５４０で更なる判定がなされる。焦点またはポインタの関連領域がナビゲーションメニューの要素の上に位置していないとの判定がステップ５４０でなされた場合、焦点の関連領域が当該要素の関連領域と重複しているかどうかに関して、ステップ５５０でなお更なる判定がなされる。図４Ａに示したように、ステップ５５０にて判定が行われなかった場合、ステップ５１０とステップ５２０とにおいて位置データの生成と焦点の位置の追跡とがそれぞれ継続する。

ステップ５３０での判定が（図４Ｃに対応するように）はいであるか、またはステップ５４０での判定が（図４Ｂに対応するように）はいである場合、ステップ５６０にて固定タイマーの実行が開始され、当該ボタンまたは他の要素に関連付けられた任意の機能性を呼び出すために焦点またはその関連領域がナビゲーションメニューの要素の上に所定期間留まっていたかどうかが決定される。所定の固定時間に達するまで固定タイマーがカウントガウン（またはカウントアップ）しているとき、並行して、ナビゲーションメニューに対する焦点またはその関連領域の移動があったどうかに関して、ステップ５７０で判定が連続してなされる。焦点または関連領域が変わり、ステップ５３０、５４０または５５０の判定が現時点で「いいえ」を（すなわち、移動レジスタを「はい」として）登録するようになった場合、固定タイマーは停止し、ステップ５１０と５２０とにおいて位置データの生成と焦点の追跡とがそれぞれ継続する。所望の固定時間の終了前に位置が変わることは、システム１００のユーザーまたは着用者が、対応するメニュー機能を何も呼び出さないと意図することと相互関連している。

しかしながら、ステップ５７０にて、焦点の移動に関して判定が「いいえ」であった場合、ステップ５８０にて、所定期間の終了に関して、ステップ５８０でなお更なる判定がなされる。まだ所定期間がカウントアップもカウントダウンもされていない場合、ステップ５６０、５７０及び５８０からなるループが継続して、ついに固定期間が終了する。このとき、ナビゲーションメニューの対応機能性がステップ５９０で実行され、方法５００が終了する。

本発明は、様々な装置を用いて動作可能となり得る適用例に実装されてもよい。非一過性コンピュータ可読記憶媒体は、実行用の中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）への命令の提供に関わる１つ以上の任意の媒体を指す。かかる媒体は、多くの形態をとることができる。このような形態には、光学ディスクまたは磁気ディスクなどの不揮発性媒体、及びダイナミックメモリなどの揮発性媒体が含まれるが、これらに限定されることはない。非一過性コンピュータ可読媒体の一般的な形態としては、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、ＣＤ−ＲＯＭディスク、デジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ：ＤＶＤ）、その他の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨＥＰＲＯＭ、及びその他のメモリチップまたはメモリカートリッジが挙げられる。

伝送媒体の様々な形態は、実行用のＣＰＵに対する１つ以上の命令からなる１つ以上のシーケンスを伝達するのに必要とされ得る。バスはデータをシステムＲＡＭに伝達し、ＣＰＵはそこから命令を読み出して実行する。システムＲＡＭによって受け取られた命令は、ＣＰＵによる実行の前か後のいずれかにおいて、必要に応じて固定ディスクに記憶させることができる。加えて、記憶装置の様々な形態が、これを実装するために必要なネットワークインターフェース及びネットワークトポロジと共に実装されてもよい。

様々な実施態様について上記で説明してきたが、それらは単なる例示として提示されたものであり、限定的なものではないことを理解すべきである。これらの説明は、本発明の範囲を本明細書に記載された特定の形態に限定することを意図するものではない。従って、好ましい実施形態の広がり及び範囲は、上述した例示的な実施形態のいずれによっても限定されるべきではない。上記の説明は例示的であり、限定的ではないことを理解すべきである。逆に、本説明は、添付された特許請求の範囲に定められる本発明の思想及び範囲内に含まれ、当業者によって通常認められ得るような、かかる代替例、変形例及び均等物を対象とすることを目的とする。従って、本発明の範囲は、上記の説明を参照して決められるべきではなく、むしろ、添付された特許請求の範囲、及び均等物の全範囲を参照して決められるべきである。

Claims (20)

1. ヘッドマウントディスプレイにおけるメニューナビゲーション方法であって、
   前記ヘッドマウントディスプレイの位置データを生成すること、
   前記ヘッドマウントディスプレイの焦点の位置を追跡することであって、前記焦点の前記位置がメニューナビゲーション要素を含む仮想環境内で追跡されること、
   前記メニューナビゲーション要素の動作範囲内に前記焦点があると判定すること、
   前記ナビゲーション要素に対応する固定タイマーを実行することであって、前記メニューナビゲーション要素の前記動作範囲内に前記焦点があるときに前記固定タイマーが所定期間をカウントダウンすること、及び
   前記固定タイマーによって示される様に前記所定期間が終了すると、前記メニューナビゲーション要素の対応機能を実施すること、を含む方法。
2. 前記位置データを生成することは、ジャイロスコープからのデータを処理することを含む、請求項１に記載の方法。
3. 位置データを生成することは、加速度計からのデータを処理することを含む、請求項１に記載の方法。
4. 位置データを生成することは、磁力計からのデータを処理することを含む、請求項１に記載の方法。
5. 前記焦点は、前記焦点の周囲に関連領域を備えており、前記メニューナビゲーションの前記動作範囲内に前記焦点があると判定することは、前記関連領域が前記メニューナビゲーション要素の前記動作範囲内にあると判定することを含む、請求項１に記載の方法。
6. 前記メニューナビゲーション要素の前記動作範囲は、前記メニューナビゲーション要素の周囲に関連領域を備えており、前記メニューナビゲーションの前記動作範囲内に前記焦点があると判定することは、前記焦点が前記関連領域内にあると判定することを含む、請求項１に記載の方法。
7. 前記焦点及び前記メニューナビゲーション要素は、関連領域をそれぞれ備えており、前記メニューナビゲーションの前記動作範囲内に前記焦点があると判定することは、前記焦点の前記関連領域が前記メニューナビゲーション要素の前記関連領域と重複していると判定することを含む、請求項１に記載の方法。
8. 前記メニューナビゲーション要素に対応する前記固定タイマーを実行することは、前記固定タイマーが実行を開始してから前記焦点が前記動作範囲から移動したかどうかを判定することを含む、請求項１に記載の方法。
9. 前記メニューナビゲーション要素に対応する前記固定タイマーを実行することは、前記焦点が前記メニューナビゲーション要素の前記動作範囲内に留まっていることを確認することをさらに含む、請求項８に記載の方法。
10. 前記メニューナビゲーション要素に対応する前記固定タイマーを実行することは、前記焦点に関連付けられた領域が前記メニューナビゲーション要素の前記動作範囲内に留まっていることを確認することをさらに含む、請求項８に記載の方法。
11. 前記メニューナビゲーション要素に対応する前記固定タイマーを実行することは、前記焦点に関連付けられた領域が前記メニューナビゲーション要素に関連付けられた領域と重複し続けていることを確認することをさらに含む、請求項８に記載の方法。
12. 前記焦点の外観を前記固定タイマーの前記実行中に変えることをさらに含む、請求項１に記載の方法。
13. 前記メニューナビゲーション要素の外観を前記固定タイマーの実行中に変えることをさらに含む、請求項１に記載の方法。
14. 前記焦点に関連付けられた領域の外観を前記固定タイマーの実行中に変えることをさらに含む、請求項１に記載の方法。
15. 前記メニューナビゲーション要素に関連付けられた領域の外観を前記固定タイマーの実行中に変えることをさらに含む、請求項１に記載の方法。
16. 前記焦点と前記メニューナビゲーション要素との外観を前記固定タイマーの実行中に変えることをさらに含む、請求項１に記載の方法。
17. 前記焦点と前記メニューナビゲーション要素に関連付けられた領域との外観を前記固定タイマーの実行中に変えることをさらに含む、請求項１に記載の方法。
18. 前記焦点に関連付けられた領域と前記メニューナビゲーション要素との外観を前記固定タイマーの実行中に変えることをさらに含む、請求項１に記載の方法。
19. プログラムが具現化された非一過性コンピュータ可読記憶媒体であって、前記プログラムは、ヘッドマウントディスプレイにおいてメニューナビゲーション方法を実行するように処理装置によって実行可能であり、前記メニューナビゲーション方法は、
    前記ヘッドマウントディスプレイの位置データを生成すること、
    前記ヘッドマウントディスプレイの焦点の位置を追跡することであって、前記焦点の前記位置がメニューナビゲーション要素を含む仮想環境内で追跡されること、
    前記メニューナビゲーション要素の動作範囲内に前記焦点があると判定すること、
    前記ナビゲーション要素に対応する固定タイマーを実行することであって、前記メニューナビゲーション要素の前記動作範囲内に前記焦点があるときに前記固定タイマーが所定期間をカウントダウンすること、及び
    前記固定タイマーによって示される様に前記所定期間が終了すると、前記ナビゲーション要素の対応機能を実施することを含む、非一過性コンピュータ可読記憶媒体。
20. メニューナビゲーションシステムであって、
    位置データを生成するジャイロスコープ、磁力計及び加速度計のうちの少なくとも１つと、
    メニューナビゲーション要素を含む仮想環境内に焦点を表示するために少なくとも１つのレンズを備えるヘッドマウントディスプレイと、
    処理装置であって、メモリに記憶された命令を実行することにより、
    前記位置データを処理して前記仮想環境内で前記焦点の前記位置を追跡すること、
    前記メニューナビゲーション要素の動作範囲内に前記焦点があると判定すること、
    前記ナビゲーション要素に対応する固定タイマーを実行することであって、前記メニューナビゲーション要素の前記動作範囲内に前記焦点があるときに前記固定タイマーが所定期間をカウントダウンすること、及び
    前記固定タイマーによって示される様に前記所定期間が終了すると、前記メニューナビゲーション要素に関連付けられた機能性を実行すること、を行う前記処理装置と、
    を備えるシステム。