JP2017538218A - 注視対象アプリケーションランチャー - Google Patents

Abstract

アプリケーションランチャーの表示位置を制御する方法のための実施形態が開示される。例示的な方法は、視線追跡カメラを介して注視対象を認識することと、ユーザートリガーに応答して、ディスプレイを介して注視対象においてアプリケーションランチャーを表示することとを含み、アプリケーションランチャーは、起動のために選択可能な複数のアプリケーションを提示する。例示的な方法は、複数のアプリケーションのうちの１つのユーザー選択を認識することと、ディスプレイを介して、注視対象においてアプリケーションランチャーを複数のアプリケーションのうちの選択された１つと置き換えることを更に含む。

Description

[0001] コンピューティングデバイスは、動作を行うためのアプリケーションを実行することができる。コンピューティングデバイスのアプリケーションにアクセスするために、利用可能なアプリケーションのインジケーションを有するユーザーインターフェース要素を選択用に提示することができる。

[0002] コンピューティングデバイス用のアプリケーションランチャーのロケーションを制御する方法のための実施形態が開示される。例示的な方法は、注視対象を認識することと、ユーザートリガーに応答して注視対象においてアプリケーションランチャーを表示することとを含む。本方法は、複数のアプリケーションのうちの１つのユーザー選択を認識することと、注視対象においてアプリケーションランチャーを複数のアプリケーションのうちの選択された１つと置き換えることを更に含む。

[0003] この発明の概要は、詳細な説明において以下で更に説明される概念の抜粋を単純化された形態で紹介するように提供される。この発明の概要は、特許請求される主題の主要な特徴または重要な特徴を特定するように意図されたものでもなければ、特許請求される主題の範囲を限定するように用いられることを意図されたものでもない。更に、特許請求される主題は、本開示の任意の部分におけるありとあらゆる不利な点を解決する実施態様に限定されない。

[0004]コンピューティングデバイスおよび関連するディスプレイとインタラクトするための例示的な環境を示す。 [0005]アプリケーションランチャーの位置を制御するための例示的な方法のフローチャートである。 [0006]図１の例示的な環境におけるヘッドマウントディスプレイデバイスのユーザーの例示的な視野を示す。 [0007]ヘッドマウントディスプレイを通じたユーザーの視野の例示的なタイムラインを示す。 ヘッドマウントディスプレイを通じたユーザーの視野の例示的なタイムラインを示す。 [0008]ディスプレイデバイス上にアプリケーションランチャーを提示するための例示的な環境を示す。 [0009]例示的なコンピューティングシステムのブロック図である。 [0010]ヘッドマウントディスプレイデバイスの例を概略的に示す。

[0011] 本開示のコンピューティングデバイスは、アプリケーション起動を容易にするように構成される。１つの例において、拡張現実コンピューティングデバイスは、ユーザーが見ている注視対象を認識することができる。ユーザートリガーに応答して、拡張現実コンピューティングデバイスは、アプリケーションランチャー（またはアプリケーションランチャーのアフォーダンスまたはプレビュー）の拡張現実画像を、アプリケーションランチャーが注視対象に位置しているように見えるように表示するように構成される。その後、アプリケーションランチャーから起動されたアプリケーションは、アプリケーションランチャーと置き換わることができる。したがって、アプリケーションランチャーのためのロケーションを選択することによって、ユーザーは、その後起動されるアプリケーションのためのロケーションを効率的に選択している。双方の選択は、ユーザーの注視に基づく。別の例では、従来のディスプレイ上へのユーザーの注視が評価され、注視の表示ロケーションにアプリケーションランチャーまたはプレビューが表示され、ユーザー選択に応答して、起動されたアプリケーションがアプリケーションランチャーに置き換わる。

[0012] 拡張現実環境において、アプリケーションランチャーは、ユーザーが、拡張現実体験を抜け出すことなく、「どこからともなく（out of thin air）」または現実世界環境における任意の適切な表面上のオーバーレイとしてアプリケーションを起動することを可能にする。そのような環境において、アプリケーションランチャーは、ランチャーが、ヘッドマウントディスプレイデバイスの動きにかかわらず、現実世界のオブジェクトに対し同じ位置に留まっているように見えるようにワールドロックする（world-lock）ことができる。他の実施態様では、アプリケーションランチャーは、ユーザーと共に動くように見えるようにボディロックする（body-lock）ことができる。いくつかの実施態様では、アプリケーションランチャーは、ワールドロックモードとボディロックモードとの間で切り替えることができる。

[0013] 図１は、ユーザー１０２がコンピューティングデバイス１０４およびヘッドマウントディスプレイデバイス１０６のうちの１つまたは複数とインタラクトしてアプリケーションを起動することができる例示的な環境１００を示す。例えば、アプリケーションは、ヘッドマウントディスプレイデバイス１０６を用いて起動することができる。コンピューティングデバイス１０４は、限定ではないが、ビデオゲームコンソール、ホームエンタテイメントデバイス（例えば、オーディオ／ビデオ受信機）、パーソナルコンピューティングデバイス、ラップトップ、スマートフォン、タブレットコンピューティングデバイス、および／または任意の他の適切なコンピューティングシステムを含む任意の適切なコンピューティングデバイスを含むことができる。ヘッドマウントディスプレイデバイス１０６は、シースルーディスプレイを通じて視認可能な現実世界環境に対する拡張として表示データを提示するためのシースルーディスプレイ等の１つまたは複数の出力デバイスと、オーディオデータを出力するためのスピーカーとを備えることができる。ヘッドマウントディスプレイ（HMD）デバイス１０６は、ＨＭＤデバイスに一体化された、またはＨＭＤデバイスに通信可能に結合された１つまたは複数のセンサーサブシステムを更に含むことができる。例えば、１つまたは複数のセンサーサブシステムは、限定ではないが、視線追跡カメラ（例えば、ヘッドマウントディスプレイデバイスの装着者の眼の画像を捕捉して、装着者の注視対象を特定するように構成された後ろ向きのカメラ）、マイクロフォン、および（例えば、環境の画像を捕捉するための）前向きのカメラを含むことができる。

[0014] コンピューティングデバイス１０４および／またはヘッドマウントディスプレイデバイス１０６は、アプリケーションランチャーおよび／または１つもしくは複数の起動されたアプリケーションを提示するために、ヘッドマウントディスプレイデバイス１０６のディスプレイデバイス１０８および／またはシースルーディスプレイに通信可能に接続することができる。他の実施態様では、アプリケーション起動機能は、ディスプレイデバイス１０８および／またはヘッドマウントディスプレイデバイス１０６の搭載されたコンピューティングシステムによってハンドリングすることができる。また他の実施態様では、アプリケーション起動機能のうちの少なくともいくつかを、リモートコンピューターまたはサービスによってハンドリングすることができる。例示的なアプリケーションランチャー１０９が、環境の壁面に示され、破線は、アプリケーションランチャーが、ヘッドマウントディスプレイデバイス１０６を通じて、環境に対する拡張として視認可能であることを示す。アプリケーションランチャー１０９は、それぞれのユーザーインターフェース要素の選択により起動することができる１つまたは複数のアプリケーションを示す１つまたは複数のアイコンまたは他のユーザーインターフェース要素を含むことができる。

[0015] センサー１１０は、（例えば、環境１００の）ＲＧＢイメージデータ／フレームおよび／または深度画像データ／フレームを捕捉するための、可視光カメラ、赤外線カメラおよび／または可視光／赤外光プロジェクターのうちの１つまたは複数を備えることができる。いくつかの例において、センサー１１０の１つまたは複数のカメラは、ユーザーの注視対象を特定するためにユーザーの眼の画像を捕捉するように構成された視線追跡カメラとすることができる。加えてまたは代替的に、センサー１１０は、（例えば、環境１００から）サウンドを受信するための１つまたは複数の指向性マイクロフォンを備えることができる。

[0016] 図２は、アプリケーションランチャーの位置を制御するための方法２００のフローチャートである。方法２００は、限定ではないが、コンピューティングデバイス１０４、ヘッドマウントディスプレイデバイス１０６、またはリモートコンピューティングデバイスもしくはサービスを含む、任意の適切なコンピューティングデバイスによって実行することができる。２０２において、方法２００は注視対象を認識することを含む。任意の適切な視線追跡技法を実行して注視対象を認識することができる。例えば、視線方向を特定するために、ヘッドマウントディスプレイデバイス１０６の視線追跡カメラおよび／または図１のセンサー１１０の視線追跡カメラがユーザーの眼の画像を捕捉することができる。視線方向は、ユーザーの眼からディスプレイまたは表面（例えば、ヘッドマウントディスプレイデバイス１０６のシースルーディスプレイ、図１のディスプレイデバイス１０８、および／またはプロジェクターが画像を投影することができる表面）に向かって延びるベクトルを含むことができる。視線方向のベクトルがディスプレイに交差するロケーション（例えば、ピクセル座標）は、注視対象（例えば、視線が向けられたディスプレイ上のロケーション）であると特定することができる。他の例において、注視対象は、頭部の動きを追跡することによって認識することができる。そのような例において、「注視」という用語は、本明細書において用いられるとき、頭部を対象とした（head-targeting）注視を指すことができる。

[0017] ２０４において、本方法は、アプリケーションランチャーを表示する要求を示すユーザートリガーを認識することを含む。ユーザートリガーは、コンピューティングデバイスおよび／またはヘッドマウントディスプレイデバイスによって認識可能な任意の適切なユーザー入力を含むことができる。例えば、ユーザートリガーは、（例えば、注視対象を認識するために用いられるような）視線追跡カメラおよび別の撮像デバイス（例えば、図１のセンサー１１０等の、環境を撮像するための可視光カメラ、赤外カメラまたは深度カメラ）のうちの１つまたは複数を介して認識されるジェスチャー（例えば、手、顔および／または身体ジェスチャー）を含むことができる。加えてまたは代替的に、ユーザートリガーは、マイクロフォンおよび１つまたは複数の音声認識モジュール（例えば、コンピューティングデバイスに対しローカルであり、および／またはコンピューティングデバイスに通信可能に接続されたリモートサービス内でローカルである）を介して認識される音声コマンドを含む。更なるまたは代替的な例において、ユーザートリガーは、持続した視線（例えば、トリガー閾値よりも長い持続時間にわたって、ユーザーの注視が注視対象に向けられているおよび／または注視対象が維持されているという認識）を含むことができる。注視対象認識を含むユーザートリガーは、注視がディスプレイ、ユーザーインターフェースおよび／または環境の「空き」領域に向けられていると識別することを含むことができる。例えば、「空き」領域は、ユーザーインターフェース要素を含まない領域、および／または選択可能な現実世界のオブジェクトもしくは表示オブジェクトを含まない領域を含むことができる。

[0018] 加えてまたは代替的に、ユーザートリガーは、ディスプレイデバイス上に表示されるユーザーインターフェース要素に視線が向けられること、制御デバイスまたは他の入力デバイス（例えば、ヘッドマウントディスプレイの外部の制御デバイスおよび／またはアプリケーションを起動するのに用いられるコンピューティングデバイス）上の物理的ボタンの起動、および／または任意の他の適切なユーザー入力を含むことができる。ユーザー入力の任意の組み合わせをユーザートリガーとして認識することができることが理解される。

[0019] ２０６に示されるように、本方法は、ユーザートリガーに応答して注視対象においてアプリケーションランチャー（例えば、図１のアプリケーションランチャー１０９）の位置プレビューを表示することを含むことができる。アプリケーションランチャーの位置プレビューを表示することにより、ユーザーがアプリケーションランチャーの配置を精密に調整する機会を与えることができる。位置プレビューは、プレビューによって示されるロケーションにおけるアプリケーションランチャーの配置が注視対象およびユーザートリガーの意図される結果であることをユーザーが確認することを可能にすることもできる。例えば、位置プレビューは、アプリケーションランチャーの輪郭（例えば、アプリケーションランチャーに対応するユーザーインターフェース要素またはアプリケーションウィンドウの外縁の輪郭）とすることができる。更なる例または代替的な例では、位置プレビューは、アプリケーションランチャーが表示されることになる位置、サイズおよび／または形状のインジケーションを与える、アプリケーションランチャーの半透明バージョン、アプリケーションランチャーのアニメーション、および／またはアプリケーションランチャーの他の形で変更されたバージョン（例えば、異なるサイズ、回転、形状および／または他の特徴を有する）とすることができる。いくつかの例では、位置プレビューの中心を、（位置プレビューが受理された後）アプリケーションランチャーと同じ、ディスプレイのピクセル座標とすることができる。このようにして、プレビューは、表示されることになるアプリケーションランチャーおよび／またはアプリケーションの外観、サイズ、位置および／または他の特徴の近似を与える（例えば、これにより、ユーザーが、起動されることになるアプリケーションが専有する空間量を特定することを可能にする）ことができる。

[0020] ２０８に示すように、方法２００は、確認入力またはプレビュー持続時間の満了が認識されたか否かを判定することを含むことができる。確認入力は、限定ではないが、ユーザートリガーに関して上記で説明した例のうちの１つまたは複数を含む任意の適切なユーザー入力を含むことができる。例えば、確認入力は、ヘッドマウントディスプレイ内に一体化されたおよび／またはヘッドマウントディスプレイに対し遠隔にあるカメラによって認識可能なジェスチャーを含むことができる。加えてまたは代替的に、位置プレビューは、所定の（例えば、製造者によって定義されたおよび／またはユーザー制御による設定内の）プレビュー持続時間を有し、この所定のプレビュー持続時間は、プレビューを確認／キャンセル／調整するユーザー入力なしでプレビューを表示する時間量を定義する。

[0021] ２０８において確認入力が認識されず、プレビュー持続時間が満了していない場合（例えば、２０８における「いいえ」）、本方法は２１０に進み、キャンセルまたは調整入力が認識されるか否かを判定する。キャンセル入力は、アプリケーションランチャー（および関連付けられた位置プレビュー）の提示をキャンセルする意図を示す適切なユーザー入力（例えば、上記で説明したユーザー入力の例のうちの１つまたは複数の任意の組み合わせ）を含むことができる。例えば、キャンセル入力により、ユーザーが誤検出のユーザートリガー認識を示すことを可能にすることができる。調整入力は、位置プレビュー（およびその後表示されるアプリケーションランチャー）の位置を調整するユーザーの意図を識別する、キャンセル入力と異なるユーザー入力を含むことができる。調整入力は、位置プレビューを動かす方向、位置プレビューを動かす量、および／または位置プレビューのエッジ、中心および／または他の部分が配置されるディスプレイ上のロケーションを示すユーザー入力を含むことができる。例えば、ユーザーは、調整が行われることを示すジェスチャーを行い、プレビューの中心が配置される新たなロケーションを注視することができる。

[0022] ２１０においてキャンセルおよび／または調整入力が受信されない場合（例えば、２１０における「いいえ」）、本方法は２１２に進んで現在のロケーションにおけるプレビューの表示を継続し、２０８に戻って確認入力および／またはプレビュー持続時間の満了のチェックを継続することができる。逆に、２１０においてキャンセルおよび／または調整入力が受信される場合（例えば、２１０における「はい」）、本方法は、２１４に進んで現在のロケーションにおけるプレビューの表示を停止することができる。例えば、２１０においてキャンセル入力が認識される場合、プレビューは、ディスプレイから完全に取り除くことができ、本方法は、終了しおよび／または２０２に戻って新たな注視対象を認識することができる。２１０において調整入力が認識される場合、本方法は、２１６に示されるように、プレビューを新たなロケーションに動かすことを含み、２０８に戻って、確認入力および／またはプレビュー持続時間の満了に基づいて、新たなロケーションが受容可能であるか否かを判定することができる。

[0023] ２０８に戻り、確認入力またはプレビュー持続時間の満了が認識される場合（例えば、２０８における「はい」）、本方法は、２１８に進み、アプリケーションランチャーを表示する。例えば、２２０に示すように、位置プレビューをアプリケーションランチャーと置き換え、アプリケーションランチャーの少なくともエッジ、中心または他の部分が、（例えば、２０６において表示される、および／または２１６における新たなロケーションでの）位置プレビューのエッジ、中心または他の部分のそれぞれのロケーションに配置されるようにすることができる。プレビューが表示されない（例えば、２０６〜２１６が実行されない）例において、アプリケーションランチャーは、２０４において認識されたユーザートリガーに直接応答して２１８において表示することができることが理解されよう。例示的なアプリケーションランチャー１０９が図１に示され、更なる例が図４Ａ、図４Ｂおよび図５に関して以下で説明される。また、いくつかの例において、プレビュー持続時間は、確認ではなく、表示している位置プレビューおよびアプリケーションランチャーのキャンセルに関連付けられてもよいことを理解されたい。そのような例では、２０８におけるプレビュー持続時間の満了によって、本方法は２１８ではなく２１４に進むことができる。

[0024] ２１８において表示されるアプリケーションランチャーは、起動のために選択可能な複数のアプリケーションを提示することができる。例えば、アプリケーションランチャーは、コンピューティングデバイスによって実行可能な全てのアプリケーションおよび／またはコンピューティングによって実行可能なアプリケーションのサブセットを表すことができる。後者の例において、アプリケーションのサブセットは、ユーザープリファレンス、コンピューティングデバイスの現在のコンテキスト（例えば、コンピューティングデバイスの環境、コンピューティングデバイスのステータス、日時等）、コンピューティングデバイスの最近のアクティブティ（例えば、開いている、または最近用いられたアプリケーション）、現在の注視対象、ユーザー命令および／または任意の他の適切なパラメーターに基づいて、提示のために自動的に選択することができる。アプリケーションランチャーは、アプリケーションランチャーの境界内で視認可能であるよりも多くのアプリケーションを含むことができ、スクローリングおよび／またはページめくりを用いて、現在起動のために提示されているアプリケーションを変更することができる。

[0025] ２２２において、本方法２００は、アプリケーションランチャーにおけるアプリケーションのユーザー選択を認識することを含む。アプリケーションのユーザー選択は、任意の適切な方式で行うことができ、上記で説明したユーザー入力メカニズムのうちの任意のものを含むことができる。例えば、ユーザーは、特定のアプリケーションを識別する音声コマンドを提供することによって、および／またはそのアプリケーションを識別するアプリケーションランチャー内に表示されるユーザーインターフェース要素に注視を向けることによって、このアプリケーションを識別することができる。別の例として、ユーザーは、１つまたは複数のカメラによって認識されるポインティングジェスチャーを行うことができる。

[0026] ２２４に示すように、本方法は、アプリケーションランチャーを選択されたアプリケーションと置き換えることを含む。例えば、アプリケーションランチャーを選択されたアプリケーションと置き換えることは、注視対象におよび／またはアプリケーションランチャーのロケーションに、選択されたアプリケーションのグラフィカルユーザーインターフェース要素および／またはウィンドウを表示することを含むことができる。アプリケーションランチャーをアプリケーションと置き換えることは、アプリケーションの表示可能な部分（例えば、エッジ、中心、境界等）がアプリケーションランチャーのそれぞれの部分と位置合わせされ、アプリケーションランチャーの代わりに表示されるように、位置プレビューをアプリケーションランチャーと任意選択で置き換えることと同様とすることができる。本明細書において用いられるとき、アプリケーションの起動に適用されるような「起動する」という用語は、アプリケーションを起動すること、および／またはアプリケーションにフォーカスを合わせること／アプリケーションをディスプレイ内に移すこと（例えば、既に実行済みの／現在実行中のアプリケーションにシステム全体のフォーカスを与えるか、または他の形で、アプリケーションを、ディスプレイ上でアプリケーションランチャーによって定義されたロケーションにおいて見えるようにすること）を含むことができる。

[0027] 図３は、図１の環境１００内のヘッドマウントディスプレイデバイス１０６のユーザー１０２の例示的な視野３００を示す。例えば、視野３００は、ヘッドマウントディスプレイデバイス１０６のシースルーディスプレイを通じて視認可能な環境１００の一部を表すことができる。視野内で、ユーザーは、注視線３０２によって示される方向を注視している場合があり、この方向は注視対象３０４に対応することができる。例えば、ユーザーがアプリケーションの起動を意図する場合、注視対象３０４に位置する空の壁を選択することができる。

[0028] 図４Ａ〜図４Ｂは、ヘッドマウントディスプレイ（例えば、図１および図３におけるヘッドマウントディスプレイデバイス１０６のユーザー１０２）のシースルーディスプレイを通じた視野の例示的なタイムライン４００を示す。例えば、時点Ｔ１における視野内で、図１のコンピューティングデバイス１０４、ディスプレイデバイス１０８およびセンサーデバイス１１０等の、環境１００内の現実世界のオブジェクトは、通知アイコン４０２（例えば、天気および新たなメッセージのインジケーションを示す）等の表示された拡張要素と並行して視認可能とすることができる。注視線４０４によって表されるように、ユーザーの注視は、現実世界の環境における壁面に対応する注視対象４０６に向かって方向付けることができる。

[0029] 時点Ｔ２の前に、注視対象４０６でアプリケーションランチャーを表示する意図を示すユーザートリガーが認識される。例えば、ユーザートリガーは、時点Ｔ１と時点Ｔ２との間のある時点において実行および／または認識される場合がある。したがって、アプリケーションランチャーの位置プレビュー４０８は、現実世界の環境に対する拡張として表示することができ、それによって、プレビューが注視対象にセンタリングされる。

[0030] 時点Ｔ３の前に、位置プレビューがアプリケーションランチャーの意図されるロケーションを表すことの確認を示す確認入力が認識される。例えば、確認入力は、時点Ｔ２と時点Ｔ３との間のある時点において実行および／または認識される場合がある。したがって、位置プレビュー４０８は、アプリケーションランチャー４１０と置き換えられる。アプリケーションランチャー４１０は、複数のアイコン４１２を含み、各アイコンは、起動のために選択可能な異なるアプリケーションを識別する。アプリケーションランチャーは、位置プレビューによって以前に占有されていた同じ空間を占有する。

[0031] 時点Ｔ４において、注視線４１４によって示されるユーザーの注視は、アイコン４１２のうちの選択された１つ（例えば、アイコン４１２ａ）に向けられる。アプリケーションのユーザー選択は、時点Ｔ４と時点Ｔ５との間のある時点において実行される。したがって、時点Ｔ５において、アプリケーションランチャーは、選択されたアプリケーション（例えば、選択されたアプリケーションに関連付けられたユーザーインターフェースウィンドウ４１６）と置き換えられる。示される例において、選択されたアプリケーションは、アプリケーションランチャーと同じ境界内に提示されるが、他の構成が提供されてもよい。例えば、ユーザーインターフェースウィンドウ４１６の中心は、アプリケーションランチャー４１０の中心と同じロケーションに位置決めすることができるが、起動されるアプリケーションは、アプリケーションランチャーと異なるサイズ、向きおよび／または形状を有してもよい。

[0032] 図５は、図１の環境１００内のユーザー１０２が、ヘッドマウントディスプレイデバイス１０６および関連付けられたシースルーディスプレイではなく、コンピューティングデバイス１０４およびディスプレイデバイス１０８とインタラクトする例示的なシナリオを示す。図示のように、注視線５０２によって表されるユーザー１０２の注視とユーザートリガーを組み合わせることにより、コンピューティングシステム１０４に、ディスプレイデバイス１０８上にアプリケーションランチャー５０４を表示させることができる。例えば、センサーデバイス１１０は、ユーザー１０２の眼を撮像し、画像をコンピューティングデバイス１０４に送信することができる。コンピューティングデバイス１０４は、画像を解析し、および／または画像を遠隔処理／解析のためにネットワークを介してリモートサービス（例えば、クラウドコンピューティングデバイス）に送信することができる。画像を解析するとき、コンピューティングデバイスは、視線方向を特定し、視線方向をディスプレイデバイス１０８上のロケーションにマッピングして、注視対象を特定することができる。ユーザートリガーおよび／または位置プレビューの確認に応答して、コンピューティングデバイス１０４は、ディスプレイデバイスに、注視対象のロケーションにアプリケーションランチャーを表示する（例えば、アプリケーションランチャーを注視対象にセンタリングする）ように命令することができる。

[0033] 上記で説明した方法およびシステムは、コンピューティングデバイスおよび／またはヘッドマウントディスプレイデバイスのユーザーのために、シームレスなアプリケーション起動体験を提供することができる。アプリケーションランチャー（およびその後選択されるアプリケーション）がユーザーの選択のロケーションに位置決めされることを可能にすることによって、ユーザーは、新たなアプリケーションが、拡張現実環境における既存の表示オブジェクトまたは現実世界のオブジェクトからの干渉の厄介な再配置を行うことなく起動可能であることを確実にすることができる。

[0034] いくつかの実施形態では、本明細書において説明される方法およびプロセスは、１つまたは複数のコンピューティングデバイスのコンピューティングシステムに結びつけることができる。特に、そのような方法およびプロセスは、コンピューターアプリケーションプログラムまたはサービス、アプリケーションプログラミングインターフェース（API）、ライブラリおよび／または他のコンピュータープログラム製品として実装することができる。

[0035] 図６は、上記で説明した方法およびプロセスのうちの１つまたは複数を実行することができるコンピューティングシステム６００の非限定的な実施形態を概略的に示す。コンピューティングシステム６００は、簡略化された形式で示される。コンピューティングシステム６００は、１つまたは複数のヘッドマウントディスプレイデバイス、装着可能なデバイス、パーソナルコンピューター、サーバーコンピューター、タブレットコンピューター、ホームエンタテイメントコンピューター、ネットワークコンピューティングデバイス、ゲーミング機器、モバイルコンピューティングデバイス、モバイル通信デバイス（例えば、スマートフォン）および／または他のコンピューティングデバイスの形態をとることができる。例えば、コンピューティングシステム６００は、図１、図３および図５のコンピューティングデバイス１０４および／またはヘッドマウントディスプレイデバイス１０６を含み、および／またはこれらに含めることができる。

[0036] コンピューティングシステム６００は、論理マシン６０２およびストレージマシン６０４を含む。コンピューティングシステム６００は、任意選択で、表示サブシステム６０６、入力サブシステム６０８、通信サブシステム６１０、および／または図６に示されていない他のコンポーネントを含んでもよい。

[0037] 論理マシン６０２は、命令を実行するように構成された１つまたは複数の物理的デバイスを含む。例えば、論理マシンは、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造または他の論理構造体の一部である命令を実行するように構成することができる。そのような命令は、タスクを実行し、データタイプを実装し、１つまたは複数のコンポーネントの状態を変形し、技術的効果を達成し、または他の形で所望の結果に到達するように実施することができる。

[0038] 論理マシンは、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。加えてまたは代替的に、論理マシンは、ハードウェア命令またはファームウェア命令を実行するように構成された１つまたは複数のハードウェア論理マシンまたはファームウェア論理マシンを含むことができる。論理マシンのプロセッサは、シングルコアまたはマルチコアとすることができ、これらの上で実行される命令は、直列、並列、および／または分散処理のために構成することができる。論理マシンの個々のコンポーネントは、任意選択で、２つ以上の別個のデバイス間で分散させることができ、これらは、遠隔に位置し、および／または協調処理のために構成することができる。論理マシンの態様は、クラウドコンピューティング構成において構成される、リモートでアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化および実行することができる。

[0039] ストレージマシン６０４は、本明細書に記載の方法およびプロセスを実施するように関連論理マシンによって実行可能な命令を保持するように構成された、１つまたは複数の物理的デバイスを含む。そのような方法およびプロセスが実施されるとき、ストレージマシン６０４の状態は、例えば、異なるデータを保持するように変換することができる。

[0040] ストレージマシン６０４は、リムーバブルデバイスおよび／または内蔵デバイスを含むことができる。ストレージマシン６０４は、中でも、光メモリ（例えば、CD、DVD、HD-DVD、ブルーレイディスク等）、半導体メモリ（例えば、RAM、EPROM、EEPROM等）および／または磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM等）を含むことができる。ストレージマシン６０４は、揮発性デバイス、不揮発性デバイス、ダイナミックデバイス、スタティックデバイス、リード／ライトデバイス、リードオンリーデバイス、ランダムアクセスデバイス、連続アクセスデバイス、ロケーションアドレス指定可能デバイス、ファイルアドレス指定可能デバイス、および／またはコンテンツアドレス指定可能デバイスを含むことができる。

[0041] ストレージマシン６０４は、１つまたは複数の物理的デバイスを含むことができることが理解されよう。一方、本明細書に記載の命令の態様は、代替的に、有限の持続時間にわたって物理的デバイスによって保持されない通信媒体（例えば、電磁信号、光信号等）によって伝播することができる。

[0042] 論理マシン６０２およびデータストレージマシン６０４の態様は、共に、１つまたは複数のハードウェア論理コンポーネントに統合することができる。そのようなハードウェア論理コンポーネントは、例えば、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラムおよび特定用途向け集積回路（PASIC/ASIC）、特定プログラムおよび特定用途向け標準製品（PSSP/ASSP）、システムオンチップ（SOC）、および複雑なプログラム可能論理デバイス（CPLD）を含むことができる。

[0043] 「モジュール」、「プログラム」および「エンジン」という用語は、特定の機能を実行するように実施されるコンピューターシステム６００の態様を説明するために用いることができる。いくつかの場合、モジュール、プログラムまたはエンジンは、ストレージマシン６０４によって保持される命令を実行する論理マシン６０２を介してインスタンス化することができる。異なるモジュール、プログラムおよび／またはエンジンは、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、機能等からインスタンス化することができることが理解されよう。同様に、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、機能等によって同じモジュール、プログラムおよび／またはエンジンをインスタンス化することができる。「モジュール」、「プログラム」および「エンジン」という用語は、個々の実行可能なファイル、データファイル、ライブラリ、ドライバー、スクリプト、データベースレコード等、またはそれらのグループを包含することができる。

[0044] 「サービス」という用語は、本明細書において用いられるとき、複数のユーザーセッションにわたって実行可能なアプリケーションプログラムであることが理解されよう。サービスは、１つまたは複数のシステムコンポーネント、プログラム、および／または他のサービスに利用可能であり得る。いくつかの実装態様で、サービスは、１つまたは複数のサーバーコンピューティングデバイスで実行することができる。

[0045] 表示サブシステム６０６は、含まれるとき、ストレージマシン６０４によって保持されるデータの視覚的表現を提示するために用いることができる。この視覚的表現は、グラフィカルユーザーインターフェース（GUI）の形態をとることができる。本明細書に記載の方法およびプロセスが、ストレージマシンによって保持されたデータを変更し、それによって、ストレージマシンの状態を変換するとき、表示サブシステム６０６の状態も同様に、基礎となるデータの変更を視覚的に表すように変換することができる。例えば、図１のヘッドマウントディスプレイデバイス１０６の論理マシンからの命令に応答して、シースルーディスプレイの状態は、ユーザートリガーの認識に応答してこのディスプレイ上でアプリケーションランチャーを表示するように変換することができる。表示サブシステム６０６は、実質的に任意のタイプの技術を使用する１つまたは複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、共用エンクロージャー内の論理マシン６０２および／またはストレージマシン６０４と組み合わせることができ、またはそのようなディスプレイデバイスは、周辺ディスプレイデバイスであってもよい。

[0046] 入力サブシステム６０８は、含まれるとき、キーボード、マウス、タッチ画面、またはゲームコントローラー等の１つまたは複数のユーザー入力デバイスを備えるかまたはそれとインターフェースすることができる。いくつかの実施形態で、入力サブシステムは、選択された自然なユーザー入力（NUI）構成部品を備えるか、またはそれとインターフェースすることができる。そのような構成部品は、一体化されてもよく、または周辺装置であってもよく、入力アクションの変換および／または処理は、ボード上でまたはボード外で処理され得る。例示的なＮＵＩ構成部品は、発話および／または音声認識のためのマイクロフォン、マシンビジョンおよび／またはジェスチャー認識のための赤外線、色、立体、および／または深度カメラ、運動検出および／または意図認識のための頭部トラッカー、アイトラッカー、加速度計、および／またはジャイロスコープ、ならびに脳活動を評価するための電場感知構成部品を含み得る。

[0047] 通信サブシステム６１０は、含まれるとき、コンピューティングシステム６００を１つまたは複数の他のコンピューティングデバイスと通信可能に結合するように構成することができる。通信サブシステム６１０は、１つまたは複数の異なる通信プロトコルと互換性のある有線および／または無線通信デバイスを含み得る。非限定的例として、通信サブシステムは、無線電話網、または有線もしくは無線のローカルもしくはワイドエリアネットワークを介する通信のために構成することができる。いくつかの実施形態で、通信サブシステムは、コンピューティングシステム６００がインターネット等のネットワークを介して、他のデバイスに、および／または他のデバイスから、メッセージを送信および／または受信できるようにすることができる。

[0048] 図７は、シースルーディスプレイ７０２を有する装着可能な眼鏡の形態の図１および図３のＨＭＤデバイス１０６の非限定的な例を示す。ＨＭＤデバイスは、透明、半透明および／または不透明なディスプレイが、見る人の片眼または両眼の前に支持される任意の他の適切な形態をとることができるが理解されよう。更に、本明細書に記載の実施形態は、限定ではないが、モバイルコンピューティングデバイス、ラップトップコンピューター、デスクトップコンピューター、タブレットコンピューター、他の装着可能なコンピューターを含む任意の他の適切なコンピューティングデバイスと共に用いられてもよい。

[0049] ＨＭＤデバイス１０６は、シースルーディスプレイ７０２およびコントローラー７０４を備える。シースルーディスプレイ７０２は、ホログラフィックオブジェクト等の画像がＨＭＤデバイスの装着者の眼に送達されることを可能にすることができる。シースルーディスプレイ７０２は、透明なディスプレイを通じて物理環境を見ている装着者に対し現実世界の物理環境の概観を視覚的に拡張するように構成することができる。１つの例では、ディスプレイは、グラフィカルユーザーインターフェース上に１つまたは複数のＵＩオブジェクトを表示するように構成することができる。いくつかの実施形態では、グラフィカルユーザーインターフェース上に提示されるＵＩオブジェクトは、現実世界の環境の前に重ね合わされた仮想オブジェクトとすることができる。同様に、いくつかの実施形態では、グラフィカルユーザーインターフェース上に提示されるＵＩオブジェクトは、シースルーディスプレイ７０２を通して見た現実世界の環境の現実世界のオブジェクトの要素を組み込むことができる。他の例では、ディスプレイは、ゲーム、ビデオまたは他のビジュアルコンテンツに関連付けられた仮想オブジェクト等の１つまたは複数の他のグラフィカルオブジェクトを表示するように構成することができる。

[0050] 任意の適切なメカニズムを用いてシースルーディスプレイ７０２を介して画像を表示することができる。例えば、シースルーディスプレイ７０２は、レンズ７０６内に位置する画像生成要素（例えば、シースルー有機発光ダイオード（OLED）ディスプレイ等）を備えることができる。別の例として、シースルーディスプレイ７０２は、ＨＭＤデバイス１０６のフレーム内に位置するディスプレイデバイス（例えば、液晶オンシリコン（LCOS）デバイスまたはOLEDマイクロディスプレイ等）を備えることができる。この例において、レンズ７０６は、ディスプレイデバイスから装着者の眼に光を送達するためのライトガイドとしての役割を果たすか、またはこのライトガイドを他の形で備えることができる。そのようなライトガイドは、装着者が物理環境内の物理的オブジェクトを見ることも可能にしながら、装着者が見ている物理的環境内に位置する３Ｄホログラフィック画像を装着者が知覚することを可能にすることができ、これにより混合リアリティ環境を生成する。

[0051] ＨＭＤデバイス１０６は、情報をコントローラー７０４に提供するための様々なセンサーおよび関連システムも備えることができる。そのようなセンサーは、限定ではないが、１つまたは複数の内側を向いたイメージセンサー７０８ａおよび７０８ｂ、１つまたは複数の外側向いたイメージセンサー７１０、慣性計測装置（IMU）７１２、および１つまたは複数のマイクロフォン７２０を含むことができる。１つまたは複数の内側を向いたイメージセンサー７０８ａ、７０８ｂは、装着者の眼からの視線追跡データの形態で画像データを取得するように構成することができる（例えば、センサー７０８ａは、装着者の眼のうちの一方の画像データを取得することができ、センサー７０８ｂは装着者の眼のうちの他方の画像データを取得することができる）。ＨＭＤデバイスは、イメージセンサー７０８ａ、７０８ｂから受信した情報に基づいて、任意の適切な方式で、装着者の各眼の視線方向を特定するように構成することができる。例えば、赤外線光源等の１つまたは複数の光源７１４ａ、７１４ｂは、装着者の各眼の角膜から閃光を反射させるように構成することができる。次に、１つまたは複数のイメージセンサー７０８ａ、７０８ｂは、装着者の眼の画像を捕捉するように構成することができる。イメージセンサー７０８ａ、７０８ｂから収集した画像データから特定される閃光および瞳孔の画像をコントローラー７０４によって用いて、各眼の光軸を特定することができる。この情報を用いて、コントローラー７０４は、装着者が注視している方向を特定するように構成することができる。コントローラー７０４は、装着者が注視している物理的オブジェクトおよび／または仮想オブジェクトの識別情報を更に特定するように構成することができる。

[0052] １つまたは複数の外側を向いたイメージセンサー７１０は、ＨＭＤデバイス１０６が位置する物理的環境から物理的環境データを受信するように構成することができる。外側を向いたイメージセンサー７１０からのデータを用いて、ジェスチャーベースの入力、または視野内の装着者によってもしくは人物もしくは物理的オブジェクトによって行われる他の動き等の、ディスプレイ７０２の視野内の動きを検出することができる。１つの例において、外側を向いたイメージセンサー７１０からのデータを用いて、ディスプレイデバイス上に表示されるＵＩオブジェクトの選択を示すジェスチャー（例えば、指でつねる、拳を握る等）等のＨＭＤデバイスの装着者によって行われる選択入力を検出することができる。外側を向いたセンサーからのデータを用いて、現実世界の環境におけるＨＭＤデバイス１０６の位置／運動追跡を可能にする、方向／ロケーションおよび向きデータを（例えば、撮像環境特徴から）特定することもできる。

[0053] ＩＭＵ７１２は、ＨＭＤデバイス１０６の位置および／または向きデータをコントローラー７０４に提供するように構成することができる。１つの実施形態において、ＩＭＵ７１２は、３軸または３自由度の位置センサーシステムとして構成することができる。この例示的な位置センサーシステムは、例えば、３つの直交軸（例えば、x、y、z）の周りの３Ｄ空間内のＨＭＤデバイス１０６の向きの変化（例えば、ロール、ピッチ、ヨー）を示すかまたは測定する３つのジャイロスコープを備えることができる。ＩＭＵのセンサー信号から導出される向きを用いて、シースルーディスプレイを介して、３自由度の１つまたは複数の仮想ＵＩオブジェクトを表示することができる。

[0054] 別の例において、ＩＭＵ７１２は、６軸または６自由度の位置センサーシステムとして構成することができる。そのような構成は、３つの直交軸に沿ったＨＭＤデバイス１０６のロケーションの変化、および３つの直交軸の周りのデバイスの向きの変化を示すかまたは測定するための３つの加速度計および３つのジャイロスコープを含むことができる。いくつかの実施形態では、外側を向いたイメージセンサー７１０およびＩＭＵ７１２からの位置および向きのデータを併せて用いて、ＨＭＤデバイス１０６の位置および向きを特定することができる。

[0055] ＨＭＤデバイス１０６は、ＧＰＳまたは他のグローバルナビゲーションシステム等の他の適切な測位技法もサポートすることができる。更に、位置センサーシステムの特定の例が説明されたが、任意の他の適切な位置センサーシステムを用いてもよいことが理解されよう。例えば、限定ではないが、任意の数のジャイロスコープ、加速度計、慣性計測装置、ＧＰＳデバイス、バロメーター、磁気計、カメラ（例えば、可視光カメラ、赤外光カメラ、飛行時間深度カメラ、構造化光深度カメラ等）、通信デバイス（例えば、WIFIアンテナ／インターフェース）等を含む、装着者上に取り付けられたおよび／または装着者の外部のセンサーの任意の組み合わせからのセンサー情報に基づいて、頭部の姿勢および／または動きのデータを特定することができる。

[0056] 図７を継続すると、コントローラー７０４は、１つまたは複数の内側を向いたイメージセンサー７０８ａ、７０８ｂによって検出される情報に基づいて経時的に複数の注視サンプルを記録するように構成することができる。注視サンプルごとに、視線追跡情報、およびいくつかの実施形態では、（イメージセンサー７１０および／またはIMU７１２からの）頭部追跡情報を用いて、その注視サンプルの起点および方向ベクトルを推定し、注視がシースルーディスプレイと交わる推定ロケーションを生成することができる。注視サンプルを特定するために用いられる視線追跡情報および頭部追跡情報の例は、注視方向、頭部の向き、注視速度、注視加速度、注視方向の角度変化、および／または任意の他の適切な追跡情報を含むことができる。いくつかの実施形態では、注視追跡は、ＨＭＤデバイス１０６の装着者の両眼について独立して記録することができる。

[0057] 上述したように、ＨＭＤデバイス１０６は、マイクロフォン７２０等の、オーディオデータを捕捉する１つまたは複数のマイクロフォンも備えることができる。いくつかの例では、１つまたは複数のマイクロフォン７２０は、２つ以上のマイクロフォンを含むマイクロフォンアレイを含むことができる。例えば、マイクロフォンアレイは、２つが右レンズの上に位置決めされ、２つがＨＭＤデバイスの左レンズの上に位置決めされた、４つのマイクロフォンを含むことができる。更に、オーディオ出力を、スピーカー７２２等の１つまたは複数のスピーカーを介して装着者に提示することができる。いくつかの実施形態では、マイクロフォンシステムは、シースルーディスプレイ上に表示されたグラフィカルユーザーインターフェース上に提示されるＵＩオブジェクトの選択を示すオーディオフィードバックを提供するように構成することができる。

[0058] コントローラー７０４は、様々なセンサーおよびＨＭＤデバイスのディスプレイと通信する、図６に関して上記でより詳細に論考された、論理マシンおよびストレージマシンを備えることができる。１つの例において、ストレージマシンは、本明細書で説明するように、１つまたは複数の外部スピーカーに、表示された仮想オブジェクトのためのサウンドを提供するように論理マシンによって実行可能な命令を含むことができる。

[0059] 別の例は、視線追跡カメラを介して注視対象を認識することと、ユーザートリガーに応答して、ディスプレイを介して注視対象においてアプリケーションランチャーを表示することであって、アプリケーションランチャーは、起動のために選択可能な複数のアプリケーションを提示する、表示することと、複数のアプリケーションのうちの１つのユーザー選択を認識することと、ディスプレイを介して、アプリケーションランチャーを、注視対象において複数のアプリケーションのうちの選択された１つと置き換えることと、を含む方法を提供する。加えてまたは代替的に、そのような例において、アプリケーションランチャーを複数のアプリケーションのうちの選択された１つと置き換えることは、注視対象において、複数のアプリケーションのうちの選択された１つのグラフィカルユーザーインターフェース要素を表示することを含むことができる。加えてまたは代替的に、そのような例において、ユーザートリガーは、視線追跡カメラおよび別の撮像デバイスのうちの１つまたは複数を介して認識されたジェスチャーを含むことができる。加えてまたは代替的に、そのような例において、ユーザートリガーは、マイクロフォンを介して認識される音声コマンドを含むことができる。加えてまたは代替的に、そのような例において、ユーザートリガーは持続的な注視を含むことができ、加えてまたは代替的に、本方法は、視線追跡カメラを介して、ユーザーの注視がトリガー閾値よりも大きい持続時間にわたって注視対象に向けられていると認識することに応答してユーザートリガーを認識することを更に含むことができる。加えてまたは代替的に、そのような例において、本方法は、アプリケーションランチャーを表示する前に、注視対象においてアプリケーションランチャーの位置プレビューを表示することを更に含むことができる。加えてまたは代替的に、そのような例において、本方法は、ディスプレイを介して、確認入力に応答してアプリケーションランチャーの位置プレビューをアプリケーションランチャーと置き換えることを更に含むことができる。加えてまたは代替的に、そのような例において、ディスプレイはヘッドマウントディスプレイデバイスのシースルーディスプレイを含むことができ、加えてまたは代替的に、視線追跡カメラはヘッドマウントディスプレイデバイスに一体化することができる。加えてまたは代替的に、そのような例において、ディスプレイはヘッドマウントディスプレイデバイスのシースルーディスプレイを含むことができ、加えてまたは代替的に、ユーザートリガーはヘッドマウントディスプレイデバイスの遠隔にある撮像デバイスによって捕捉された画像の解析に基づいて認識することができる。上記で説明した例のうちの任意のものまたは全てを、様々な実施態様において任意の適切な方式で組み合わせることができる。

[0060] 別の例は、視線追跡カメラと、シースルーディスプレイと、論理マシンと、論理マシンによって実行可能な命令を保持するストレージマシンであって、これらの命令は、視線追跡カメラを介して注視対象を認識することと、ユーザートリガーに応答して、シースルーディスプレイを介して注視対象においてアプリケーションランチャーを表示することであって、アプリケーションランチャーは、起動のために選択可能な複数のアプリケーションを提示する、表示することと、複数のアプリケーションのうちの１つのユーザー選択を認識することと、ディスプレイを介して、アプリケーションランチャーを、注視対象において複数のアプリケーションのうちの選択された１つと置き換えることとを行わせる命令である、ストレージマシンとを備えるヘッドマウントディスプレイデバイスを提供する。加えてまたは代替的に、そのような例において、ヘッドマウントディスプレイデバイスは入力サブシステムを更に備えることができ、加えてまたは代替的に、ユーザートリガーは、この入力サブシステムを介して検出することができる。加えてまたは代替的に、そのような例において、ユーザートリガーは、ヘッドマウントディスプレイデバイスおよびヘッドマウントディスプレイデバイスの遠隔にあるカメラのうちの１つまたは複数を介して認識されるジェスチャーを含むことができる。加えてまたは代替的に、そのような例において、ヘッドマウントディスプレイデバイスはマイクロフォンを更に備えることができ、加えてまたは代替的に、ユーザートリガーは、マイクロフォンを介して認識された音声コマンドを含むことができる。加えてまたは代替的に、そのような例において、ユーザートリガーは持続的な注視を含むことができ、加えてまたは代替的に、命令は、視線追跡カメラを介して、注視対象がトリガー閾値よりも大きい持続時間にわたって維持されていると判定することに応答して持続的な注視を認識するように更に実行可能とすることができる。加えてまたは代替的に、そのような例において、アプリケーションランチャーを複数のアプリケーションのうちの選択された１つと置き換えることは、シースルーディスプレイを介して、注視対象において、複数のアプリケーションのうちの選択された１つのグラフィカルユーザーインターフェース要素を表示することを含むことができる。加えてまたは代替的に、そのような例において、命令は、アプリケーションランチャーを表示する前に、シースルーディスプレイを介して、注視対象においてアプリケーションランチャーの位置プレビューを表示するように更に実行可能とすることができる。加えてまたは代替的に、そのような例において、命令は、シースルーディスプレイを介して、確認入力に応答してアプリケーションランチャーの位置プレビューをアプリケーションランチャーと置き換えるように更に実行可能とすることができる。上記で説明した例のうちの任意のものまたは全てを、様々な実施態様において任意の適切な方式で組み合わせることができる。

[0061] 別の例は、視線追跡カメラと、入力サブシステムと、シースルーディスプレイと、論理マシンと、論理マシンによって実行可能な命令を保持するストレージマシンであって、これらの命令は、視線追跡カメラを介して注視対象を認識することと、入力サブシステムを介して検出されたユーザートリガーに応答して、シースルーディスプレイを介して注視対象においてアプリケーションランチャーの位置プレビューを表示することと、入力サブシステムを介して検出された確認入力に応答して、シースルーディスプレイを介して、アプリケーションランチャーの位置プレビューを、起動のために選択可能な複数のアプリケーションを提示するアプリケーションランチャーと置き換えることと、複数のアプリケーションのうちの１つのユーザー選択を認識することと、ディスプレイを介して、アプリケーションランチャーを、注視対象において複数のアプリケーションのうちの選択された１つを置き換えることとを行わせる命令である、ストレージマシンとを備えるヘッドマウントディスプレイデバイスを提供する。加えてまたは代替的に、そのような例において、ユーザートリガーは、持続的な注視を含むことができ、加えてまたは代替的に、命令は、視線追跡カメラを介して、注視対象がトリガー閾値よりも大きい持続時間にわたって維持されていると判定することに応答して持続的な注視を認識するように更に実行可能とすることができる。加えてまたは代替的に、そのような例において、ユーザートリガーは、入力サブシステムを介して認識されたジェスチャーおよび音声コマンドのうちの１つまたは複数を含むことができる。上記で説明した例のうちの任意のものまたは全てを、様々な実施態様において任意の適切な方式で組み合わせることができる。

[0062] 本明細書に記載の構成および／または手法は、実際は本質的に例示であり、多数の変形形態が可能であるので、これらの特定の実施形態または例は限定的な意味で解釈さられるべきではないことが理解されよう。本明細書に記載の特定のルーチンまたは方法は、任意の数の処理戦略のうちの１つまたは複数を表すことができる。したがって、図示および／または記載された様々な動作は、図示および／または記載された順序で、他の順序で、並行して、または省略して、実行することができる。同様に、前述のプロセスの順番は、変更することができる。

[0063] 本開示の対象は、様々なプロセス、システムおよび構成の全ての新しいおよび非自明の組み合わせおよび部分的組み合わせと、本明細書で開示される他の特徴、機能、動作、および／または特性、ならびに、それらの任意のおよび全ての均等物を含む。

Claims (15)

1. 視線追跡カメラを介して注視対象を認識することと、
   ユーザートリガーに応答して、ディスプレイを介して前記注視対象においてアプリケーションランチャーを表示することであって、前記アプリケーションランチャーは、起動のために選択可能な複数のアプリケーションを提示する、表示することと、
   前記複数のアプリケーションのうちの１つのユーザー選択を認識することと、
   前記ディスプレイを介して、前記注視対象において前記アプリケーションランチャーを前記複数のアプリケーションのうちの前記選択された１つと置き換えることと、
   を含む、方法。
2. 前記アプリケーションランチャーを前記複数のアプリケーションのうちの前記選択された１つと置き換えることは、前記注視対象において、前記複数のアプリケーションのうちの前記選択された１つのグラフィカルユーザーインターフェース要素を表示することを含む、請求項１に記載の方法。
3. 前記ユーザートリガーは、前記視線追跡カメラおよび別の撮像デバイスのうちの１つまたは複数を介して認識されたジェスチャーを含む、請求項１に記載の方法。
4. 前記ユーザートリガーは、マイクロフォンを介して認識される音声コマンドを含む、請求項１に記載の方法。
5. 前記ユーザートリガーは持続的な注視を含み、前記方法は、前記視線追跡カメラを介して、前記ユーザーの注視がトリガー閾値よりも大きい持続時間にわたって前記注視対象に向けられていると認識することに応答して前記ユーザートリガーを認識することを更に含む、請求項１に記載の方法。
6. 前記アプリケーションランチャーを表示する前に、前記注視対象において前記アプリケーションランチャーの位置プレビューを表示することを更に含む、請求項１に記載の方法。
7. 前記ディスプレイを介して、確認入力に応答して前記アプリケーションランチャーの前記位置プレビューを前記アプリケーションランチャーと置き換えることを更に含む、請求項６に記載の方法。
8. 前記ディスプレイは、ヘッドマウントディスプレイデバイスのシースルーディスプレイであり、前記視線追跡カメラは、前記ヘッドマウントディスプレイデバイスに一体化される、請求項１に記載の方法。
9. 前記ディスプレイは、ヘッドマウントディスプレイデバイスのシースルーディスプレイであり、前記ユーザートリガーは、前記ヘッドマウントディスプレイデバイスの遠隔にある撮像デバイスによって捕捉された画像の解析に基づいて認識される、請求項１に記載の方法。
10. ヘッドマウントディスプレイデバイスであって、
    視線追跡カメラと、
    シースルーディスプレイと、
    論理マシンと、
    前記論理マシンによって実行可能な命令を保持するストレージマシンであって、前記命令は、
    前記視線追跡カメラを介して注視対象を認識することと、
    ユーザートリガーに応答して、前記シースルーディスプレイを介して前記注視対象においてアプリケーションランチャーを表示することであって、前記アプリケーションランチャーは、起動のために選択可能な複数のアプリケーションを提示する、表示することと、
    前記複数のアプリケーションのうちの１つのユーザー選択を認識することと、
    前記ディスプレイを介して、前記注視対象において前記アプリケーションランチャーを前記複数のアプリケーションのうちの前記選択された１つと置き換えることと、
    を行わせる、ストレージマシンと、
    を備える、ヘッドマウントディスプレイデバイス。
11. 前記ユーザートリガーは、前記ヘッドマウントディスプレイデバイス、および前記ヘッドマウントディスプレイデバイスの遠隔にあるカメラのうちの１つまたは複数を介して認識されるジェスチャーを含む、請求項１０に記載のヘッドマウントディスプレイデバイス。
12. マイクロフォンを更に備え、前記ユーザートリガーは、前記マイクロフォンを介して認識された音声コマンドを含む、請求項１０に記載のヘッドマウントディスプレイデバイス。
13. 前記ユーザートリガーは持続的な注視を含むことができ、前記命令は、前記視線追跡カメラを介して、前記注視対象がトリガー閾値よりも大きい持続時間にわたって維持されていると判定することに応答して前記持続的な注視を認識するように更に実行可能である、請求項１０に記載のヘッドマウントディスプレイデバイス。
14. 前記命令は、前記アプリケーションランチャーを表示する前に、前記シースルーディスプレイを介して、前記注視対象において前記アプリケーションランチャーの位置プレビューを表示するように更に実行可能である、請求項１０に記載のヘッドマウントディスプレイデバイス。
15. 前記命令は、前記シースルーディスプレイを介して、確認入力に応答して前記アプリケーションランチャーの前記位置プレビューを前記アプリケーションランチャーと置き換えるように更に実行可能である、請求項１４に記載のヘッドマウントディスプレイデバイス。