JP2016525743A - ユーザインターフェースナビゲーション - Google Patents

Abstract

視覚要素の階層をナビゲートすることに関する実施形態が開示される。一実施形態において、方法は、２次元平面からディスプレイデバイスを介して１つまたは複数の視覚要素を提示することを含む。ディスプレイの可視領域内にホーム位置が確立される。各要素と他の要素の各々との間の比例サイズ関係が確立される。凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置が決定される。凝視位置はターゲット位置にマッピングされ、ホーム位置に向かうターゲット位置の移動が開始される。ターゲット位置がホーム位置の近くに移動するにつれて、視覚要素の各々が漸進的に拡大され、一方、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持される。

Description

コンテンツの関連部分を検索および選択するために電子コンテンツをナビゲートすることは、一般的なタスクである。多くの例において、コンテンツはコンピューティングデバイスに関連付けられたディスプレイを介してユーザに表示される。コンテンツの集まりがより大きい場合、ユーザディスプレイの限られたスペース内で、コンテンツの全領域および範囲を一度に見ることはできない可能性がある。これらの例では、ユーザは通常、新しいコンテンツを見えるようにするためにスクロールまたはパンすることによって、コンテンツをナビゲートする。いくつかの例では、視標追跡技術を利用して、ディスプレイに対してユーザが凝視している位置を監視すること、およびコンテンツを移動またはスクロールするためにこうした凝視位置を使用することができる。

しかしながら、典型的な視標追跡インターフェースは、ディスプレイを介してコンテンツをナビゲートするときに、直感的かつ心地よいユーザ体験を提供できない場合がある。特にコンテンツが広範な情報の階層を含む場合、こうした視標追跡インターフェースは通常、情報の階層の全領域および範囲をナビゲートするための受け入れ可能なユーザ体験を提供することができない。この欠点は、スマートフォンなどのようにディスプレイが限られたサイズである場合、特に顕著であり得る。

本明細書では、視覚要素の階層をナビゲートするためのシステムおよび方法に関する様々な実施形態が開示されている。たとえば開示された一実施形態は、視覚要素の階層をナビゲートするための方法を提供し、階層は第１の軸および第１の軸に直交する第２の軸を含む２次元平面を備える。方法は、凝視追跡システムを含むディスプレイデバイスのディスプレイシステムを介して、視覚要素のうちの１つまたは複数を提示することを含み、ディスプレイデバイスはコンピューティングデバイスに動作可能に接続されている。

ホーム位置が、ディスプレイデバイスの可視領域内に確立される。視覚要素の各々と平面内の他の視覚要素の各々との間の比例サイズ関係も確立される。方法は、凝視追跡システムから凝視追跡データを受信すること、および、凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置を決定することを含む。方法は、凝視位置を２次元平面内のターゲット位置にマッピングすることをさらに含み、ターゲット位置はホーム位置から第１の軸に沿って離間されて配置される。

方法は、ホーム位置に向けてターゲット位置の移動を開始することを含み、移動は第１の軸に沿った第１の成分を含む。ターゲット位置が第１の軸に沿ってホーム位置の近くに移動するにつれて、方法は、可視領域内に見える視覚要素の各々を漸進的に拡大し、一方、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持することを含む。

この課題を解決する手段は、以下の発明を実施するための形態でより詳細に説明する、概念の選択を簡略化された形で紹介するために提供される。この課題を解決するための手段は、請求する主題の主要な特徴または必須の特徴を識別することは意図されておらず、また、請求する主題の範囲を限定するために使用されることも意図されていない。さらに、請求する主題は、本開示のいずれかの部分に示された任意またはすべての欠点を解決する実装に限定されるものではない。

本開示の実施形態による、視覚要素の階層をナビゲートするためのユーザインターフェースシステムを示す概略図である。 本開示の実施形態による、例示の頭部装着型ディスプレイデバイスを示す図である。 図２の頭部装着型ディスプレイデバイスを装着しているユーザ、壁面取付け型ディスプレイ、およびタブレットコンピュータを保持している別のユーザを含む部屋を示す、概略斜視図である。 ２次元平面からの視覚要素の一部を表示しているディスプレイデバイスの可視領域を示す概略図、および、２次元平面内に配設された視覚要素の階層を示す対応する概略図である。 視覚要素の階層の一部を表示し、ホーム位置および凝視位置を示す、図４のディスプレイデバイスの可視領域を示す概略図である。 可視領域に対して移転された視覚要素面、および相応して拡大された視覚要素を示す、図５のディスプレイデバイスの可視領域を示す概略図である。 可視領域に対してさらに移転された視覚要素面、および相応してさらに拡大された視覚要素を示す、図６のディスプレイデバイスの可視領域を示す概略図である。 可視領域内のホーム位置の上の凝視位置を示す、ディスプレイデバイスの可視領域を示す概略図である。 可視領域に対して下方に移転された視覚要素面、および相応してサイズが修正されない視覚要素を示す、図８のディスプレイデバイスの可視領域を示す概略図である。 本開示の実施形態による、視覚要素の階層をナビゲートするための方法を示すフローチャートである。 本開示の実施形態による、視覚要素の階層をナビゲートするための方法を示すフローチャートである。 コンピューティングデバイスの実施形態を示す簡略図である。

図１は、視覚要素の階層をナビゲートするためのユーザインターフェースシステム１０の一実施形態の概略図を示す。ユーザインターフェースシステム１０は、コンピューティングデバイス２２の大容量ストレージ１８に記憶され得るナビゲーションモジュール１４を含む。ナビゲーションモジュール１４は、メモリ２６内にロードし、以下でより詳細に説明する方法およびプロセスのうちの１つまたは複数を実行するためにコンピューティングデバイス２２のプロセッサ３０によって実行することが可能である。

ユーザインターフェースシステム１０は、コンピューティングデバイス２２に動作可能に接続されたディスプレイデバイスを含むことができる。一例において、ディスプレイデバイスは、有線または無線接続を介してコンピューティングデバイス２２に動作可能に接続された、たとえばスタンドアロン型モニタなどのセパレートディスプレイ３４を含むことができる。以下でより詳細に説明するように、ディスプレイ３４は、１つまたは複数の視覚要素をユーザおよび凝視追跡システム６０に提示するためのディスプレイシステム３６を含むことができる。

他の例において、コンピューティングデバイス２２は、単一デバイスを形成するためにディスプレイ３４に組み込むことができる。こうしたデバイスは、たとえばハンドヘルドスマートフォン、電子リーダー、ラップトップ、ノートブック、およびタブレットコンピュータなどを含むことができる。コンピューティングデバイス２２と分離しているか一体化しているかにかかわらず、様々なフォームファクタを有する多くの他のタイプおよび構成のディスプレイデバイスも使用可能であり、本開示の範囲内にあることを理解されよう。

コンピューティングデバイス２２は、デスクトップコンピューティングデバイス、スマートフォンなどのモバイルコンピューティングデバイス、ラップトップ、ノートブック、またはタブレットコンピュータ、ネットワークコンピュータ、ホームエンターテイメントコンピュータ、インタラクティブテレビジョン、ゲームシステム、または他の好適なタイプのコンピューティングデバイスの形を取ることができる。コンピューティングデバイス２２の構成要素およびコンピューティング面に関する追加の詳細は、図１１を参照しながら以下でより詳細に説明する。

他の例において、ディスプレイデバイスは、混合現実環境５８を作成し得る、頭部装着型ディスプレイ（ＨＭＤ）デバイス３８などの仮想または混合現実対応デバイスの形を取ることができる。これらの例において、ユーザインターフェースシステム１０は、ＨＭＤデバイス３８を介して表示するための仮想環境４２を生成し得る、混合現実表示プログラム４０を含むことができる。仮想環境４２は、ＨＭＤデバイス３８を介して生成および表示される、３次元（３Ｄ）ホログラフィックオブジェクトおよび２次元（２Ｄ）仮想イメージなどの、１つまたは複数の仮想イメージを含むことができる。

コンピューティングデバイス２２は、有線接続を使用してＨＭＤデバイス３８と動作可能に接続すること、あるいはＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、または任意の他の好適な無線通信プロトコルを介した無線接続を採用することができる。たとえばコンピューティングデバイス２２は、ネットワーク４４に通信可能に結合することができる。ネットワーク４４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、有線ネットワーク、無線ネットワーク、パーソナルエリアネットワーク、またはそれらの組み合わせの形を取ることが可能であり、インターネットを含むことができる。加えて、図１に示された例は、ＨＭＤデバイス３８とは分離した構成要素としてコンピューティングデバイス２２を示している。他の例において、コンピューティングデバイス２２はＨＭＤデバイス３８に組み込み可能であることを理解されよう。

次に、図２も参照すると、透過型ディスプレイ５２を備えるウェアラブル眼鏡の形のＨＭＤデバイス２００の一例が示されている。他の例では、ＨＭＤデバイス２００は、透過型、半透過型、または非透過型のディスプレイが視聴者の片眼または両眼の前で支持される、他の好適な形を取り得ることを理解されよう。図１に示されるＨＭＤデバイス３８は、以下でより詳細に説明するようなＨＭＤデバイス２００、または任意の他の好適なＨＭＤデバイスの形を取り得ることも理解されよう。

図１および図２を参照すると、ＨＭＤデバイス３８は、ＨＭＤディスプレイシステム４８、およびホログラフィックオブジェクトなどのイメージをユーザ４６の眼に送達することができる透過型ディスプレイ５２を含む。透過型ディスプレイ５２は、透過型ディスプレイを介して物理環境を見ているユーザ４６に対する物理環境５６の出現を視覚的に増補するように構成することができる。たとえば物理環境５６の出現は、混合現実環境５８を作成するために透過型ディスプレイ５２を介して提示されるグラフィカルコンテンツ（たとえば各々がそれぞれの色および輝度を有する１つまたは複数のピクセル）によって、増補することができる。

透過型ディスプレイ５２は、仮想オブジェクト表現を表示している１つまたは複数の部分的に透明なピクセルを介して、ユーザが物理環境５６内の物理的な現実世界のオブジェクトを見られるように構成することも可能である。図２に示されるように、位置例において、透過型ディスプレイ５２は、レンズ２０４内に配置されたイメージ生成要素（たとえば、シースルー式有機発光ダイオード（ＯＬＥＤ）ディスプレイなど）を含むことができる。別の例として、透過型ディスプレイ５２は、レンズ２０４のエッジ上に光変調器を含むことができる。この例では、レンズ２０４は、光変調器からユーザの眼へと光を送達するための導光器として働くことができる。こうした導光器は、ユーザが見ている物理環境５６内に配置された３Ｄホログラフィックイメージをユーザが知覚できるようにし、一方、物理環境内の物理オブジェクトも見ることができようにするため、結果として混合現実環境を作成することができる。

ＨＭＤデバイス３８は、様々なセンサおよび関連システムも含むことができる。たとえばＨＭＤデバイス３８は、少なくとも１つの内向きセンサ２１２を使用する凝視追跡システム６０を含むことができる。内向きセンサ２１２は、ユーザの眼から凝視追跡データ６４の形でイメージデータを獲得するように構成された、イメージセンサとすることができる。ユーザがこの情報の獲得および使用を承諾すれば、凝視追跡システム６０はこの情報を使用してユーザの眼の位置および／または動きを追跡することができる。

一例において、凝視追跡システム６０は、ユーザの各々の眼の凝視方向を検出するように構成された凝視検出サブシステムを含む。凝視検出サブシステムは、任意の好適な様式でユーザの各々の眼の凝視方向を決定するように構成することができる。たとえば凝視検出サブシステムは、ユーザの各眼の角膜から光のきらめきを反射させるように構成された、赤外光源などの１つまたは複数の光源を含むことができる。次いで１つまたは複数のイメージセンサは、ユーザの眼のイメージをキャプチャするように構成することができる。

イメージセンサから収集したイメージデータから決定されたきらめきおよび瞳孔のイメージを使用して、各眼の光軸を決定することができる。次いでこの情報を使用し、凝視追跡システム６０は、ユーザが凝視している方向および／または物理オブジェクトまたは仮想オブジェクトを決定することができる。凝視追跡システム６０は、ユーザが物理または仮想オブジェクト上のどの地点を凝視しているかを、さらに決定することができる。次いで、こうした凝視追跡データ６４をコンピューティングデバイス２２に提供することができる。凝視検出サブシステムは、任意の好適な数および配置構成の光源およびイメージセンサを有することができることを理解されよう。

ＨＭＤデバイス３８は、物理環境５６から物理環境データ６６を受信するセンサシステムも含むことができる。たとえばＨＭＤデバイス３８は、イメージデータをキャプチャするために光学センサなどの少なくとも１つの外向きセンサ２１６を使用する、光学センサシステム６８を含むことができる。外向きセンサ２１６は、ユーザ４６あるいは視野内の人物または物理オブジェクトによって実行されるジェスチャベースの入力または他の動きなどの、その視野内の動きを検出することができる。外向きセンサ２１６は、物理環境５６および環境内の物理オブジェクトからの、２次元イメージ情報および深度情報をキャプチャすることもできる。たとえば外向きセンサ２１６は、深度カメラ、可視光カメラ、赤外光カメラ、および／または位置追跡カメラを含むことができる。

ＨＭＤデバイス３８は、１つまたは複数の深度カメラを介した深度感知を含むことができる。一例において、各深度カメラは立体視システムの左右のカメラを含むことができる。これらの深度カメラのうちの１つまたは複数からの時間分解イメージは、相互に、および／または可視スペクトルカメラなどの別の光学センサからのイメージに登録可能であり、深度分解ビデオを生成するために組み合わせることが可能である。

他の例において、構造化光深度カメラは、構造化赤外線照明を投影するように、および照明が投影されたシーンから反射される照明を撮像するように、構成可能である。シーンの深度マップは、撮像されたシーンの様々な領域内の隣接フィーチャ間の間隔に基づいて構成可能である。さらに他の例において、深度カメラは、シーン上にパルス状の赤外線照明を投影し、シーンから反射される照明を検出するように構成される、飛行時間型深度カメラの形を取ることができる。本開示の範囲内で、任意の他の好適な深度カメラが使用できることを理解されよう。

外向きセンサ２１６は、ユーザ４６が位置している物理環境５６のイメージをキャプチャすることができる。一例において、混合現実表示プログラム４０は、ユーザ４６を取り巻く物理環境５６をモデル化する仮想環境４２を生成するためにこうした入力を使用する、３Ｄモデリングシステムを含むことができる。

ＨＭＤデバイス３８は、位置データ７６をキャプチャするために１つまたは複数の動きセンサ２２０を使用する位置センサシステム７２も含むことが可能であり、それによってＨＭＤデバイスの動き検出、位置追跡、および／または配向感知が可能となる。たとえば、位置センサシステム７２を使用して、ユーザの頭部の方向、速度、および加速度を決定することができる。位置センサシステム７２は、ユーザの頭部の頭部姿勢配向を決定するために使用することも可能である。一例において、位置センサシステム７２は、６軸または６度の自由位置センサシステムとして構成された慣性測定ユニットを備えることができる。この例の位置センサシステムは、たとえば、３本の直交軸に沿った３次元空間内でのＨＭＤデバイス３８の位置の変化（たとえばｘ、ｙ、ｚ）、および、３本の直交軸を中心とするＨＭＤデバイスの配向の変化（たとえばロール、ピッチ、ヨー）を、示すかまたは測定するための、３つの加速度計および３つのジャイロスコープを含むことができる。

位置センサシステム７２は、ＧＰＳまたは他のグローバルナビゲーションシステムなどの、他の好適な位置決め技法もサポートすることができる。さらに、これまで位置センサシステムの特定の例を説明してきたが、他の好適な位置センサシステムも使用可能であることを理解されよう。いくつかの例において、動きセンサ２２０は、ユーザが首および頭部、あるいは身体のジェスチャを介して、ＨＭＤデバイス３８と対話できるようにする、ユーザ入力デバイスとしても使用可能である。ＨＭＤデバイス３８は、音声データをキャプチャする１つまたは複数のマイクロフォン２２４を含む、マイクロフォンシステム８０も含むことができる。他の例において、音声は、ＨＭＤデバイス３８上の１つまたは複数のスピーカ２２８を介してユーザに提示することができる。

ＨＭＤデバイス３８は、図１１に関して以下でより詳細に考察する、ＨＭＤデバイスの様々なセンサおよびシステムと通信している、論理サブシステムおよびストレージサブシステムを有するプロセッサ２３０も含むことができる。一例において、ストレージサブシステムは、センサから信号入力を受信し、こうした入力を（未処理または処理済みの形で）コンピューティングデバイス２２に転送するため、および、透過型ディスプレイ５２を介してイメージをユーザに提示するための、論理サブシステムによって実行可能な命令を含むことができる。

ＨＭＤデバイス３８および関連するセンサ、ならびに上記で説明され、図１および図２に示された他の構成要素は、例として提供されていることを理解されよう。これらの例は、任意の他の好適なセンサ、構成要素、ならびに／または、センサおよび構成要素の組み合わせが使用可能であるため、いかなる形でも限定的であるものとは意図されていない。したがってＨＭＤデバイス３８は、本開示の範囲を逸脱することなく、追加および／または代替のセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイスなどを含むことができることを理解されよう。さらに、ＨＭＤデバイス３８ならびにその様々なセンサおよびサブコンポーネントの物理構成は、本開示の範囲を逸脱することなく、様々な異なる形を取ることができる。

次に図３〜図９を参照しながら、ユーザインターフェースシステム１０の例示の使用ケースおよび実施形態を説明する。図３は、リビングルーム３０８を含む物理環境内に配置されたユーザ３０４の概略図を提供し、ユーザは、ＨＭＤデバイス２００の形のＨＭＤデバイス３８を介して混合現実環境５８を体験している。以下でより詳細に論じるように、ナビゲーションモジュール１４は、ＨＭＤデバイス２００を介して視覚要素の階層を表示し、ユーザ３０４の凝視追跡を介した階層のナビゲート可能にするように構成可能である。

別のユーザ３１２は、前述のようにユーザインターフェースシステム１０を含み、凝視追跡システムを含む、タブレットコンピュータ３１６を保持することができる。リビングルーム３０８は、ゲームシステム３２４に動作可能に接続できる壁面取付け型ディスプレイ３２０も含むことができる。ゲームシステム３２４および／またはディスプレイ３２０は、前述のようなユーザインターフェースシステム１０および凝視追跡システムも含むことができる。以下での説明では、タブレットコンピュータ３１６に接続されたユーザインターフェースシステム１０の使用ケースについて説明する。任意の好適なディスプレイデバイスも使用可能であることも理解されよう。

図１に示されるように、ナビゲーションモジュール１４は、２Ｄ平面７４全体にわたって要素が配設された視覚要素７０の階層を受信または生成することができる。次に図４を参照すると、２Ｄ平面７４に配設された視覚要素の階層の一例の概略図が提供されている。図４は、２Ｄ平面７４内の視覚要素７０の一部を示している、タブレットコンピュータ３１６などのディスプレイデバイス４０８の可視領域４０４の対応する概略図も示している。以下でより詳細に説明するように、ナビゲーションモジュール１４は、ユーザが、視線を介して１つまたは複数の所望の要素を可視領域４０４内に引き入れることによって、２Ｄ平面７４内の視覚要素７０間を自然にかつ直感的にナビゲートできるようにするものである。

この例において、視覚要素７０はアラームクロックプログラム７８に関し、ＡＭ、ＰＭ、およびＭＩＬ（軍用）の表示、ならびに、アラーム用の時設定を表す列番号および分設定を表す列番号を含む。２Ｄ平面７４内の位置および移動の方向は、横軸Ｘおよび縦軸Ｙで表すことができる。他の例において、視覚要素によって表される任意の好適なデータの階層は、本明細書で説明するようなユーザインターフェースシステム１０を使用してナビゲート可能であることを理解されよう。

図４に示されるように、２Ｄ平面７４内の視覚要素７０は、要素の各々が１つの他の要素のみに直接従属するように、階層状に配置構成される。この例において、視覚要素７０の階層は３つのレベルまたは列Ａ、Ｂ、およびＣを含む。視覚要素ＰＭ、ＡＭ、およびＭＩＬは、すべての他の視覚要素が直接または間接的に従属している頂点要素として説明することができる。たとえば番号５は頂点要素ＡＭに直接従属しており、頂点要素ＰＭおよびＭＩＬに間接的に従属している。加えてこの例では、番号１２などのいくつかの視覚要素７０は、親視覚要素に直接従属していない。

さらにこの例の階層では、各親視覚要素に対して３つ以下の子視覚要素が与えられる。たとえば番号１、２、および３は、親視覚要素ＰＭに対する子視覚要素である。本明細書で説明するユーザインターフェースシステム１０に関連して、視覚要素の階層の多くの他の変形および異なる配置構成が使用可能であることを理解されよう。こうした他の階層は、視覚要素７０よりも少ないかまたは多いレベルを含むことができる。

前述のように、図４は、ディスプレイデバイスの下に示される２Ｄ平面７４内の視覚要素７０の一部を表示している、ディスプレイデバイス４０８の可視領域４０４の概略図を示す。説明を容易にするために、可視領域内に表示される２Ｄ平面の対応部分を示すために、可視領域４０４のインジケーション４０４’およびディスプレイデバイス４０８のインジケーション４０８’が２Ｄ平面７４と重なって提供される。

ナビゲーションを容易にするために、ナビゲーションモジュール１４は、２Ｄ平面７４内の各視覚要素７０と平面内の他の視覚要素の各々との間に、比例サイズ関係を確立することができる。本開示では、２つの視覚要素７０間の「比例サイズ関係」は、可視領域４０４内に表示されるときに、第２の視覚要素の第２のサイズに比例する第１のサイズを有する第１の可視要素として定義される。

たとえば、図４〜図７に示される例において、列Ｂ内の番号７は列Ｂ内の他の番号に対して比例サイズ関係を有する。この比例サイズ関係では、列Ｂ内の番号７および他の番号は同じサイズを有する。さらに、列Ｂ内の視覚要素７０間のこの比例サイズ関係は、ディスプレイ４０８の可視領域４０４内でのそれらの位置または実際に表示されるサイズに関係なく維持される。言い換えれば、列Ｂ内の視覚要素７０は、可視領域４０４内でのそれらの位置に関係なく互いに同じサイズを維持する。本例では、この比例サイズ関係は、列ＡおよびＣ内の視覚要素７０にも当てはまる。

列Ｂ内の視覚要素７０は、列ＡおよびＣ内の視覚要素７０に対しても比例サイズ関係を有する。別の例では、図４〜図７に示されるように、列Ａ内の視覚要素ＰＭ、ＡＭ、およびＭＩＬの各々は、列Ｂ内の視覚要素の各々よりも１５０％大きいものとすることができる。この比例サイズ関係も、可視領域４０４内でのこれらの視覚要素７０の位置または実際のサイズに関係なく維持される。

たとえば、視覚要素ＡＭは、可視領域４０４内のこれらの視覚要素の位置または実際のサイズに関係なく、番号７のサイズよりも１５０％大きいサイズで表示され得る。同様に、列Ｂ内の視覚要素７０の各々は、可視領域４０４内のこれらの視覚要素の位置または表示されるサイズに関係なく、列Ｃ内の視覚要素の各々よりも１２０％大きいものとすることができる。

異なる列の視覚要素７０間で異なるサイズ差分を有する様々な他の比例サイズ関係も使用可能であることを、理解されよう。図４〜図７に示される開示された例において、比例サイズ関係は横軸すなわちＸ軸方向に関して変化することも理解されよう。他の例では、比例サイズ関係は縦軸すなわちＹ軸方向に関して変化することができる。図４〜図７は概略図であり、一定の縮尺でレンダリングされていない可能性があることも理解されよう。

他の例において、ナビゲーションモジュール１４は、可視領域４０４内の中央に表示されるすべての視覚要素７０が同じサイズで表示され得るように構成可能である。これらの例において、視覚要素間の比例サイズ関係は相応に縮尺可能である。一例では、以下でより詳細に説明する、視覚要素７０の漸進的拡大の結果として、可視領域４０４の中央に一貫したサイズの視覚要素が均一に生じることを保証するために、等比級数の和が使用可能である。

図４〜図７で概略的に示すように、またＸ軸に沿って右から左に見ていくと、視覚要素７０は列から列へとサイズが大きくなっている。さらに前述のように、また以下でより詳細に説明するように、視覚要素７０の階層を介してユーザがナビゲートする場合、および、ディスプレイ４０８の可視領域４０４を介して異なる要素が移動するときにそれらのサイズが変化する場合、比例サイズ関係は維持される。有利なことに、このように視覚要素７０間の比例サイズ関係を維持することで、複数レベルの視覚要素の階層を介したナビゲーションの一貫した自然な視覚体験がユーザに提供される。

次に、凝視追跡を介した視覚要素７０の２Ｄ平面７４のナビゲーションを容易にする例が提供される。ここで図５を参照すると、ディスプレイデバイス４０８の可視領域４０４の概略図が提供されている。可視領域４０４は、図４に示された２Ｄ平面７４内に、視覚要素７０の階層の一部を表示している。図５は、ナビゲーションモジュール１４によって確立され、この例では可視領域４０４の中央に配置された、ホーム位置Ｈも示している。他の例では、ホーム位置Ｈは可視領域４０４内のいずれにも配置可能である。図４に示されるように、ホーム位置Ｈは２Ｄ平面７４内の対応する位置にもマッピングされる。

以下でより詳細に説明し、図６および図７に示されるように、ホーム位置Ｈは可視領域４０４に対して示された位置に継続して固定され、一方、視覚要素７０の階層は、ユーザが階層をナビゲートするにつれて、可視領域４０４を介してスクロールまたはパンすることができる。いくつかの例において、ホーム位置Ｈはディスプレイデバイス４０８を見ているユーザに対して表示され得、図示されたように円内のＨによって、または任意の他の好適な様式で示すことができる。他の例では、ホーム位置はユーザに表示されない場合がある。

ディスプレイデバイス４０８の凝視追跡システムは、凝視追跡データ６４をナビゲーションモジュール１４に提供することができる。この凝視追跡データを使用して、ナビゲーションモジュール１４は、ユーザ３１２がディスプレイデバイス４０８の可視領域４０４内で凝視している凝視位置を決定することができる。図５〜図７において、凝視位置５０４は星形によって示され、これはユーザ３１２に対して表示される場合または表示されない場合がある。図４に示されるように、凝視位置５０４は２Ｄ平面７４内の対応するターゲット位置５０４’にもマッピングされる。

この例において、凝視位置５０４および対応するターゲット位置５０４’は、横Ｘ軸および縦Ｙ軸に沿ってホーム位置Ｈから離間される。他の例において、凝視位置５０４および対応するターゲット位置５０４’は、横Ｘ軸のみに沿ってホーム位置Ｈから離間させること（すなわち、ホーム位置Ｈと縦に位置合わせされること）ができることを理解されよう。他の例において、凝視位置５０４および対応するターゲット位置５０４’は、縦Ｙ軸のみに沿ってホーム位置Ｈから離間させること（すなわち、ホーム位置Ｈと横に位置合わせされること）ができる。

２Ｄ平面７４内の凝視位置５０４および対応するターゲット位置５０４’の決定に基づき、ナビゲーションモジュール１４は、ホーム位置Ｈに向かってターゲット位置５０４’の移動を開始するように構成され、こうした移動は一般にアクション矢印Ｍによって示される。さらに、２Ｄ平面７４内のターゲット位置５０４’は２Ｄ平面に「固定」され、結果としてターゲット位置の移動は２Ｄ平面の対応する移動を生じさせることになる。言い換えれば、図４を参照すると、ターゲット位置５０４’がホーム位置Ｈに向かって動くにつれて、２Ｄ平面７４内のすべての視覚要素７０はそれに応じて２Ｄ平面と共に移動する。

ナビゲーションモジュール１４は、３０Ｈｚ、６０Ｈｚ、１２０Ｈｚなどの特定のサンプリングレートまたは周波数、あるいは任意の他の好適なレートに対応する、周期的な間隔で、ユーザの凝視位置を決定するように構成される。各サンプルで、ユーザの凝視位置が以前のサンプルから変更された場合、ナビゲーションモジュール１４は凝視位置５０４および対応するターゲット位置５０４’を更新する。次いでナビゲーションモジュール１４は、ホーム位置に向かうターゲット位置５０４’の移動を開始する。このように、ユーザインターフェースシステム１０は、ユーザの凝視位置５０４にあるかまたはその近くにある２Ｄ平面７４および視覚要素７０がホーム位置Ｈに向かって移動しているように知覚される、ナビゲーション体験を生成することを理解されよう。

一例において、ならびに図４および図５を参照すると、ユーザは、２Ｄ平面７４から番号７を選択することに関心を持つことができる。ユーザは初期に、ターゲット位置５０４’に対応する凝視位置５０４を凝視することができる。次いでターゲット位置５０４’および対応する２Ｄ平面７４上の位置がホーム位置Ｈに向かって移動するにつれて、ユーザの凝視は、図７に示されるように、ユーザの凝視位置５０４がホーム位置Ｈに合致するまで２Ｄ平面上のこの位置に追従することができる。このように、ユーザインターフェースシステム１０は、ユーザが、番号７を可視領域内の中央にあるホーム位置Ｈへと誘導または操縦できるようにする。図６は、図５に示された初期位置と図７に示されたホーム位置Ｈの位置との間の、２Ｄ平面７４の位置および凝視位置５０４を示すことも理解されよう。

加えて、図５〜図７に示されるように、ターゲット位置５０４’がホーム位置Ｈに近づくにつれて、可視領域４０４内に見える視覚要素７０の各々は漸進的に拡大され、一方、各要素と他の各要素との間の比例サイズ関係も維持される。たとえば、番号７は、図５に示された位置から図７に示された位置へと移動するにつれて、サイズが大きくなることを理解されよう。別の例として、視覚要素ＡＭ内の文字Ｍは図５から図６へとサイズが大きくなる。図７では、文字Ｍはディスプレイ４０８の可視領域４０４の外へ移動しているため、もはや見えないことを理解されよう。

いくつかの例において、所与の列内の視覚要素７０のサイズは縦方向に均一であること、およびＸ軸に沿って要素の横位置に対してのみ比例することが可能である。言い換えれば、図４を参照すると、列Ａ内の視覚要素ＰＭ、ＡＭ、およびＭＩＬはすべて、７２ポイントタイプなどの同じサイズを有することができる。同様に、列Ｂ内の視覚要素１〜２３はすべて、２８ポイントタイプなどの同じサイズを有することができる。列Ｃ内の視覚要素０〜５９も、８ポイントタイプなどの同じサイズを有することができる。したがって、視覚要素７０が２Ｄ平面７４内の特定の位置を介して移動するにつれて、各要素はその位置で同じサイズを有することになる。加えて、いくつかの例において、ホーム位置Ｈに到達した各視覚要素７０は同じサイズで表示されることになる。

一例において、視覚要素７０は、ターゲット位置５０４’および２Ｄ平面７４の負のＸ軸方向（言い換えれば、図４〜図７における右から左）の移動に関してのみ、漸進的に拡大される。これに対応して、視覚要素７０は、ターゲット位置５０４’および２Ｄ平面７４の正のＸ軸方向（言い換えれば、図４〜図７における左から右）の移動に関してのみ、漸進的に縮小される。したがってこの例において、可視領域４０４内に表示される視覚要素７０のサイズは、領域内のＸ軸に沿ったその位置に直接関係する。

加えてこの例において、視覚要素７０は、ターゲット位置５０４’および２Ｄ平面７４の正または負のいずれのＹ軸方向（言い換えれば、図４〜図７における上および下）の移動に関しても、サイズ変更またはその他の方法で修正されることはない。たとえば図８および図９を参照すると、ユーザの凝視位置５０４および対応するターゲット位置５０４’が縦方向下方のホーム位置Ｈに向かって移動する場合、視覚要素ＰＭ、ＡＭ、ＭＩＬおよび番号１〜８のサイズは固定されたままであり、互いの比例サイズ関係も維持される。

ナビゲーションモジュール１４は、ホーム位置Ｈからのターゲット位置５０４’の距離に基づいて、ターゲット位置５０４’および２Ｄ平面７４の移動速度を制御するようにも構成可能である。一例において、ナビゲーションモジュール１４は、ホーム位置Ｈからターゲット位置までの距離が減少するにつれて、ホーム位置Ｈへと向かうターゲット位置５０４’の移動速度をそれに比例して低下させることができる。

たとえば図５を参照すると、ホーム位置Ｈに向かって凝視位置５０４に対応するターゲット位置５０４’の移動が開始すると同時に、可視領域４０４内の視覚要素７０に速度４ｃｍ／秒を与えることができる。ターゲット位置５０４’および対応する凝視位置５０４が、図６に示されるホーム位置Ｈにより近い位置に達すると、可視領域４０４内の視覚要素７０には、ホーム位置Ｈまでの減少された距離に比例して、２ｃｍ／秒などのより遅い速度を与えることができる。視覚要素７０の速度は、図５と図６のターゲット位置５０４’間で、線形に減少することも可能である。

図７を参照すると、視覚要素７０の速度は、図６および図７の凝視位置５０４と対応するターゲット位置５０４’との間で、さらに減少することも可能である。ターゲット位置５０４’および対応する凝視位置５０４がホーム位置Ｈに到達したときに、視覚要素７０および２Ｄ平面７４の移動を停止することができる。この点で、また以下でより詳細に説明するように、ユーザはターゲット位置５０４’に関連付けられた視覚要素７０を選択することができる。一例において、ターゲット位置５０４’に最も近い視覚要素７０をターゲット位置に関連付けることができる。図７に示される例では、番号７をターゲット位置５０４’に関連付けることができる。

次いでディスプレイデバイス４０８は、番号７のユーザ選択を示すユーザ入力を受信することができる。このユーザ入力に基づき、次いでナビゲーションモジュール１４は番号７を選択することができる。ユーザ入力は、たとえばユーザからの口頭命令、ユーザの手、頭、身体などによるジェスチャ、連続するまばたきなどの凝視追跡システムによって受信される入力、特定の位置に所定の期間存在する凝視、キーボードまたはマウスなどの別の入力デバイスを介した入力、あるいは任意の他の好適なユーザ入力を、含むことができる。

一例において、ナビゲーションモジュール１４は、ホーム位置周囲の休止領域内にターゲット位置が存在する場合にのみ、ユーザ入力に基づいてターゲット位置５０４’に関連付けられた視覚要素７０を選択するように構成可能である。図７を参照すると、一例において休止領域７０４は、所定の直径を有し、ホーム位置Ｈを取り囲む、円形領域を含むことができる。ターゲット位置５０４’および対応する凝視位置５０４が休止領域７０４内にある場合、ナビゲーションモジュール１４はユーザ入力を介した視覚要素の選択を可能にすることができる。休止領域７０４およびホーム位置Ｈは、可視領域４０４内の任意の好適な位置に配置可能であることを理解されよう。さらに休止領域７０４は、任意の好適なサイズおよび形状とすることができる。

別の例において、ナビゲーションモジュール１４は、ターゲット位置の少なくとも一部が休止領域７０４内にある場合、ホーム位置Ｈに向かうターゲット位置５０４’の移動を開始することを控えるように構成可能である。言い換えれば、ターゲット位置の少なくとも一部が休止領域７０４内にある場合、ホーム位置Ｈに向かうターゲット位置５０４’の移動は中止することができる。たとえば、ターゲット位置５０４’および対応する凝視位置５０４が休止領域７０４の境界を越えると、視覚要素７０および２Ｄ平面７４の移動を中止することができる。

有利なことに、これによって、関連付けられたターゲット位置５０４’が可視領域４０４内の休止領域７０４に到達したときに、ユーザが番号７などの特定の視覚要素７０に焦点をあてることを可能にし、これを支援することができる。さらに、このように休止領域７０４を利用することは、ユーザ３１２が要素を読むか検討するために自分の凝視を移動させるか、またはユーザの眼が衝動または他の不随意の動きを体験した場合に、特定の視覚要素７０の意図しない移動を回避するのに役立つ場合がある。したがって、休止領域７０４は、読みやすくするために動かない視覚要素７０を提供する静止状態を提供することができる。

別の例において、ナビゲーションモジュール１４は、ターゲット位置が休止領域７０４内にある場合、ホーム位置Ｈに向かうターゲット位置５０４’および対応する凝視位置５０４の移動を大幅に遅くするように構成可能である。たとえば、休止領域７０４のすぐ外側では、ホーム位置Ｈに向かうターゲット位置５０４’の速度は１．０ｃｍ／秒とすることができる。ターゲット位置５０４’の少なくとも一部が休止領域７０４内にあれば、ターゲット位置の速度は０．１ｃｍ／秒まで低下させることができる。任意の好適な速度および速度差が使用可能であることを理解されよう。

ユーザは、視覚要素７０の階層を介して横方向にスクロールできることも理解されよう。一例において、ユーザは、図４の番号５などの、ホーム位置Ｈの右側の可視領域４０４内の位置に自分の凝視を固定させることが可能である。ユーザがディスプレイ上のこの位置での凝視を続行すると、２Ｄ平面７４はディスプレイ４０８を横切って右から左へ進み、結果として列Ｃ上の番号は可視領域４０４内に入ることになる。同様にユーザは、図７の番号７の左側などの、ホーム位置Ｈの左側の可視領域４０４内の位置で、凝視を固定させることができる。ユーザがディスプレイ上のこの位置での凝視を続行すると、２Ｄ平面７４はディスプレイ４０８を横切って左から右へ進み、視覚要素７０はこれに応じてサイズを減少させることになる。

再度図６を参照すると、別の例において、凝視位置５０４が示された位置に到達すると、ユーザは自分の凝視を、番号６内の異なる凝視位置５１２にそらすことができる。この時点で、ナビゲーションモジュール１４は、凝視位置５１２および対応する新しいターゲット位置５１２’（図示せず）を使用して、ホーム位置Ｈに向かう新しいターゲット位置５１２’の移動を開始することができる。したがって、対応するターゲット位置５１２’、２Ｄ平面７４、および視覚要素７０も、これに対応して移動する。

ユーザインターフェースシステム１０および前述の様々な実施形態は、ユーザが視覚要素の階層を自然かつ滑らかにナビゲートできるようにするものであり得ることを理解されよう。１本の軸に沿った動きを、視覚要素７０に適用されたズームまたは拡大機能にマッピングすることによって、ユーザインターフェースシステム１０は、階層のすべてのレベルで一貫した要素サイズを提供するように動作可能である。ユーザインターフェースシステム１０は、２Ｄ平面内に表すことが可能な視覚要素の任意の階層と共に使用可能であることも理解されよう。

使用ケースの一例において、ユーザは、たとえばタブレットコンピュータ３１６を介してアラーム時刻を設定するためにアラームクロックプログラム７８をインスタンス化することができる。この例では、ユーザはアラーム時刻を午前７時３０分に設定したい可能性がある。図４を参照すると、ナビゲーションモジュール１４は初期に、２Ｄ平面７４内の視覚要素７０の列Ａを、可視領域４０４内に表示することができる。ＡＭ視覚要素がホーム位置Ｈの上に表示されると、ユーザは、前述のような任意の好適な方法でＡＭを選択することができる。

次にユーザは、たとえば凝視位置５０４および対応するターゲット位置５０４’にある番号７に注目することができる。前述のように、次いでターゲット位置５０４’はホーム位置Ｈに向かって移動することができる。ユーザは番号７の隣の位置を凝視したまま、この位置からホーム位置Ｈへと追従することが可能であり、ここで２Ｄ平面７４内のターゲット位置および視覚要素の移動は中止する。次いでユーザは、番号７を選択することができる。

図７を参照すると、次いでユーザは、自分の凝視を可視領域４０４の右上域に向け、これによって、番号３０が可視領域内で見えるようになるまで視覚要素７０を下方および左にスクロールさせることができる。ユーザは、番号３０またはその近くを凝視し、この位置をホーム位置Ｈまで追従することができる。次いでユーザは、番号３０を選択し、それによってアラーム時刻の午前７時３０分を入力することができる。

図１０Ａおよび図１０Ｂは、本開示の実施形態による、可視要素の階層をナビゲートするための方法１０００のフローチャートを示す。方法１０００の以下の説明は、上記で説明され図１〜図９に示された、ユーザインターフェースシステム１０のソフトウェアおよびハードウェア構成要素を参照しながら提供される。方法１０００は、他の好適なハードウェアおよびソフトウェア構成要素を使用する他のコンテキストでも実行可能であることを理解されよう。

図１０Ａを参照すると、１００２で、方法１０００は、第１の軸および第１の軸に直交する第２の軸を含む２Ｄ平面を備える、視覚要素の階層を提供することを含む。１００６で、方法１０００は、凝視追跡システムを含むディスプレイデバイスのディスプレイシステムを介して、１つまたは複数の視覚要素を提示することを含むことができる。１００８で、視覚要素は、１つまたは複数の頂点要素と、１つまたは複数の頂点要素に従属する複数の従属要素とを含むことが可能であり、各従属要素は視覚要素の１つの他の要素のみに従属する。１０１０で、方法１０００は、ディスプレイデバイスの可視領域内にホーム位置を確立することを含むことができる。

１０１２で、方法１０００は、視覚要素の各々と平面内の他の視覚要素の各々との間に比例サイズ関係を確立することを含むことができる。１０１４で、方法１０００は、凝視追跡システムから凝視追跡データを受信することを含むことができる。１０１８で、方法１０００は、凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置を決定することを含むことができる。１０２２で、方法１０００は、凝視位置を２Ｄ平面内のターゲット位置にマッピングすることを含むことができ、ターゲット位置は第１の軸に沿ってホーム位置から離間される。

１０２６で、方法１０００は、ホーム位置に向かうターゲット位置の移動を開始することを含むことができ、移動は第１の軸に沿った第１の成分を含む。次に図１０Ｂを参照すると、１０３０で、方法１０００は、ターゲット位置がホーム位置のより近くに移動するにつれて、可視領域内で見ることができる視覚要素の各々を漸進的に拡大しながら、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持することを、含むことができる。

１０３４で、方法１０００は、ターゲット位置が第１の軸に沿った第１の方向でホーム位置のより近くに移動するにつれて、視覚要素の各々を漸進的に拡大することを含むことができる。１０３８で、方法１０００は、ターゲット位置が第１の軸に沿った第１の方向とは反対の第２の方向で、ホーム位置のより近くに移動するにつれて、視覚要素の各々を漸進的に縮小することを含むことができる。

１０４２で、方法１０００は、ターゲット位置がホーム位置を取り囲む休止領域内にある場合、ホーム位置に向かうターゲット位置の移動を開始するのを控えることを含むことができる。１０４６で、方法１０００は、ホーム位置からのターゲット位置の距離が減少するにつれて、ホーム位置に向かうターゲット位置の移動速度を比例して低下させることを含むことができる。１０５０で、方法１０００は、ターゲット位置が第２の軸に沿ってホーム位置からも離間され、移動は縦軸に沿った第２の成分をさらに含む場合、ターゲット位置の移動の第２の成分に関して、ディスプレイを介して見ることができる視覚要素の修正を控えることを含むことができる。

１０５８で、方法１０００は、ユーザ入力を受信することを含むことができる。１０６２で、方法１０００は、ユーザ入力に基づいて、ターゲット位置に関連付けられた視覚要素のうちの１つを選択することを含むことができる。１０６６で、方法１０００は、ターゲット位置がホーム位置を取り囲む休止領域内にある場合にのみ、ユーザ入力に基づいてターゲット位置に関連付けられた視覚要素を選択することを含むことができる。

方法１０００は例として提供され、限定的であるものと意図されないことを理解されよう。したがって方法１０００は、図１０Ａおよび図１０Ｂに示された以外の追加および／または代替のステップを含むことができることを理解されよう。さらに、方法１０００は任意の好適な順序で実行可能であることを理解されよう。さらにまた、本開示の範囲を逸脱することなく、１つまたは複数のステップを方法１０００から省略できることを理解されよう。

図１１は、前述の方法およびプロセスのうちの１つまたは複数を実行可能な、コンピューティングシステム１１００の非限定的実施形態を概略的に示す。コンピューティングデバイス２２は、コンピューティングシステム１１００の形を取ることができる。コンピューティングシステム１１００は簡略化された形で示されている。事実上、本開示の範囲を逸脱することなく、いずれのコンピュータアーキテクチャも使用可能であることを理解されよう。様々な実施形態において、コンピューティングシステム１１００は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイスなどの形を取ることができる。前述のように、いくつかの例において、コンピューティングシステム１１００はディスプレイデバイスに組み込むことができる。

図１１に示されるように、コンピューティングシステム１１００は論理サブシステム１１０４およびストレージサブシステム１１０８を含む。コンピューティングシステム１１００は、任意選択により、ディスプレイサブシステム１１１２、通信サブシステム１１１６、センササブシステム１１２０、入力サブシステム１１２２、および／または、図１１に示されていない他のサブシステムおよび構成要素を含むことができる。コンピューティングシステム１１００はコンピュータ可読媒体も含むことが可能であり、コンピュータ可読媒体はコンピュータ可読記憶媒体およびコンピュータ可読通信媒体を含む。コンピューティングシステム１１００は、任意選択により、たとえばキーボード、マウス、ゲームコントローラ、および／またはタッチスクリーンなどの、他のユーザ入力デバイスも含むことができる。さらにいくつかの実施形態において、本明細書で説明する方法およびプロセスは、コンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ、および／または他のコンピュータプログラム製品として、１つまたは複数のコンピュータを含むコンピューティングシステム内に実装することができる。

論理サブシステム１１０４は、１つまたは複数の命令を実行するように構成された１つまたは複数の物理デバイスを含むことができる。たとえば論理サブシステム１１０４は、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、構成要素、データ構造、または他の論理構成の一部である、１つまたは複数の命令を実行するように構成可能である。こうした命令は、タスクを実行するため、データ型を実装するため、１つまたは複数のデバイスの状態を変換するため、あるいは所望の結果に到達するために、実装可能である。

論理サブシステム１１０４は、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。追加または代替として、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成された、１つまたは複数のハードウェアまたはファームウェア論理マシンを含むことができる。論理サブシステムのプロセッサは、シングルコアまたはマルチコアとすることが可能であり、そこで実行されるプログラムは、並列または分散型処理用に構成可能である。論理サブシステムは、任意選択により、リモートに配置すること、および／または協調処理用に構成することが可能な、２つまたはそれ以上のデバイス全体にわたって分散された、個々の構成要素を含むことができる。論理サブシステムの１つまたは複数の態様は、クラウドコンピューティング構成で構成された、リモートアクセスが可能なネットワーク化コンピューティングデバイスによって仮想化および実行が可能である。

ストレージサブシステム１１０８は、本明細書で説明する方法およびプロセスを実装するために、論理サブシステム１１０４による実行が可能なデータおよび／または命令を保持するように構成された、１つまたは複数の物理的な永続デバイスを含むことができる。こうした方法およびプロセスが実装される場合、ストレージサブシステム１１０８の状態は（たとえば異なるデータを保持するために）変換可能である。

ストレージサブシステム１１０８は、取り外し可能媒体および／または組み込み型デバイスを含むことができる。ストレージサブシステム１１０８は、光学メモリデバイス（たとえばＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスクなど）、半導体メモリデバイス（たとえばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）、および／または磁気メモリデバイス（たとえばハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭなど）などを含むことができる。ストレージサブシステム１１０８は、揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、順次アクセス、位置アドレス可能、ファイルアドレス可能、およびコンテンツアドレス可能などの、特徴のうちの１つまたは複数を備える、デバイスを含むことができる。

いくつかの実施形態において、論理サブシステム１１０４およびストレージサブシステム１１０８の態様は、それを介して本明細書で説明する機能を少なくとも部分的に規定することが可能な、１つまたは複数の共通デバイスに統合することができる。こうしたハードウェア論理構成要素は、たとえばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム向けおよび特定用途向けの集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム向けおよび特定用途向け標準製品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム、および複合プログラマブル論理デバイス（ＣＰＬＤ）を含むことができる。

図１１は、本明細書で説明する方法およびプロセスを実装するために実行可能なデータおよび／または命令を記憶するために使用可能な、取り外し可能コンピュータ可読記憶媒体１１２４の形のストレージサブシステム１１０８の態様も示す。取り外し可能コンピュータ可読記憶媒体１１２４は、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、および／またはフロッピーディスクなどの形を取ることができる。

ストレージサブシステム１１０８は、１つまたは複数の物理的な永続デバイスを含むことを理解されよう。これに対して、いくつかの実施形態において、本明細書で説明する命令の態様は、少なくとも限定された期間、物理デバイスによって保持されない純粋な信号（たとえば電磁信号、光信号など）によって一時的に伝搬可能である。さらに、本開示に関連するデータおよび／または他の形の情報は、コンピュータ可読通信媒体を介して純信号によって伝搬可能である。

含まれる場合、ディスプレイサブシステム１１１２を使用して、ストレージサブシステム１１０８によって保持されるデータの視覚表現を提示することができる。前述の方法およびプロセスがストレージサブシステム１１０８によって保持されるデータを変更し、それによってストレージサブシステムの状態を変換する場合、ディスプレイサブシステム１１１２の状態も同様に、基本的なデータの変化を視覚的に表すように変換することができる。ディスプレイサブシステム１１１２は、任意のタイプの技術を事実上使用する１つまたは複数のディスプレイデバイスを含むことができる。こうしたディスプレイデバイスは、共有エンクロージャ内の論理サブシステム１１０４および／またはストレージサブシステム１１０８と組み合わせることができるか、あるいはこうしたディスプレイデバイスは周辺ディスプレイデバイスとすることができる。ディスプレイサブシステム１１１２は、たとえばＨＭＤデバイス３８のディスプレイシステム４８および透過型ディスプレイ５２を含むことができる。

含まれる場合、通信サブシステム１１１６は、コンピューティングシステム１１００を、１つまたは複数のネットワークおよび／または１つまたは複数の他のコンピューティングデバイスに、通信可能に結合するように構成可能である。通信サブシステム１１１６は、１つまたは複数の異なる通信プロトコルに適合可能な、有線および／または無線の通信デバイスを含むことができる。非限定的な例として、通信サブシステム１１１６は、無線電話網、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワークなどを介して通信するように、構成可能である。いくつかの実施形態において、通信サブシステムは、インターネットなどのネットワークを介して、他のデバイスにメッセージを送信すること、および／または他のデバイスからメッセージを受信することを、コンピューティングシステム１１００が実行できるようにすることが可能である。

センササブシステム１１２０は、前述のように異なる物理現象（たとえば可視光、赤外光、音声、加速、配向、位置など）を感知するように構成された、１つまたは複数のセンサを含むことができる。センササブシステム１１２０は、たとえばセンサデータを論理サブシステム１１０４に提供するように構成可能である。前述のように、こうしたデータは、視線追跡情報、イメージ情報、オーディオ情報、周囲照明情報、深度情報、位置情報、動き情報、ユーザ位置情報、および／または、前述の方法およびプロセスを実行するために使用可能な任意の他の好適なセンサデータを、含むことができる。

含まれる場合、入力サブシステム１１２２は、１つまたは複数のセンサ、あるいは、ゲームコントローラ、ジェスチャ入力検出デバイス、音声認識装置、慣性測定ユニット、キーボード、マウス、またはタッチスクリーンなどの、ユーザ入力デバイスを備えるか、またはこれらとインターフェースすることができる。いくつかの実施形態において、入力サブシステム１１２２は、選択された自然なユーザ入力（ＮＵＩ）構成要素を含むか、またはこれとインターフェースすることができる。こうした構成要素は、組み込まれるかまたは周辺装置とすることが可能であり、入力アクションの変換および／または処理は、オンボードまたはオフボードで取り扱うことができる。ＮＵＩ構成要素の例は、会話および／または音声認識用のマイクロフォンと、機械視覚および／またはジェスチャ認識用の赤外線、色、立体、および／または深度カメラと、動き検出および／または意図認識用の頭部追跡装置、眼球追跡装置、加速度計、および／またはジャイロスコープと、脳活動を評価するための電界感知構成要素とを、含むことができる。

「モジュール」という用語は、１つまたは複数の特定の機能を実行するために実装される、ユーザインターフェースシステム１０の態様を説明するために使用可能である。いくつかのケースでは、こうしたモジュールは、ストレージサブシステム１１０８によって保持される命令を実行する論理サブシステム１１０４を介してインスタンス化することができる。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などから、異なるモジュールがインスタンス化可能であることを理解されよう。同様に、同じモジュールが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによってインスタンス化可能である。「モジュール」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベース記録などの、それぞれまたはグループを包含することを意味している。

本明細書で説明する構成および／または手法は、本来例示的なものであり、これらの特定の実施形態または例は、様々な変形が可能であることから、限定的な意味であるものとみなされないことを理解されよう。本明細書で説明する特定のルーチンまたは方法は、任意数の処理ストラテジのうちの１つまたは複数を表すものとすることができる。したがって、図示された様々な動作は、図示された順序で、他の順序で、並行して、または場合によっては省略して、実行可能である。同様に、前述のプロセスの順序は変更可能である。

本開示の主題は、本明細書で開示される、様々なプロセス、システム、および構成、ならびに他の特徴、機能、動作、および／または特性、ならびにそれらのいずれかまたはすべての等価物の、すべての新規かつ非自明の組み合わせおよび下位組み合わせを含む。

Claims (10)

1. 視覚要素の階層をナビゲートするためのユーザインターフェースシステムであって、前記階層は、前記視覚要素を含み、第１の軸および前記第１の軸に直交する第２の軸を含む、２次元平面を備え、前記ユーザインターフェースシステムは、
   コンピューティングデバイスに動作可能に接続されたディスプレイデバイスであって、凝視追跡システム、および、前記視覚要素のうちの１つまたは複数を提示するためのディスプレイシステムを含む、ディスプレイデバイスと、
   前記コンピューティングデバイスのプロセッサによって実行されるナビゲーションモジュールであって、
   ホーム位置を前記ディスプレイデバイスの可視領域内に確立すること、
   前記視覚要素の各々と前記平面内の他の視覚要素の各々との間の比例サイズ関係を確立すること、
   前記凝視追跡システムから凝視追跡データを受信すること、
   前記凝視追跡データを使用して、前記ディスプレイデバイスの前記可視領域内でユーザが凝視している凝視位置を決定すること、
   前記凝視位置を前記平面内のターゲット位置にマッピングすることであって、前記ターゲット位置は前記ホーム位置から前記第１の軸に沿って離間されて配置される、マッピングすること、
   前記ホーム位置に向かう前記ターゲット位置の移動を開始することであって、前記移動は前記第１の軸に沿った第１の成分を含む、開始すること、および、
   前記ターゲット位置が前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に拡大し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持すること、
   を実行するように構成された、ナビゲーションモジュールと、
   を備える、ユーザインターフェースシステム。
2. 前記ナビゲーションモジュールは、前記ターゲット位置が前記第１の軸に沿った前記第１の方向で前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に拡大し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持するように、さらに構成される、請求項１に記載のユーザインターフェースシステム。
3. 前記ナビゲーションモジュールは、前記ターゲット位置が前記第１の軸に沿った第１の方向とは反対の第２の方向で前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に縮小し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持するように、さらに構成される、請求項２に記載のユーザインターフェースシステム。
4. 前記ナビゲーションモジュールは、前記ターゲット位置が前記ホーム位置を取り囲む休止領域内にある場合、前記ホーム位置に向かう前記ターゲット位置の移動を開始するのを控えるようにさらに構成される、請求項１に記載のユーザインターフェースシステム。
5. 前記ナビゲーションモジュールは、前記ホーム位置からの前記ターゲット位置の距離が減少するにつれて、前記ホーム位置に向かう前記ターゲット位置の前記移動の速度を比例して低下させるようにさらに構成される、請求項１に記載のユーザインターフェースシステム。
6. 視覚要素の階層をナビゲートするための方法であって、前記階層は、第１の軸および前記第１の軸に直交する第２の軸を含む２次元平面を備え、
   コンピューティングデバイスに動作可能に接続されたディスプレイデバイスのディスプレイシステムを介して、前記視覚要素のうちの１つまたは複数を提示することであって、前記ディスプレイデバイスは凝視追跡システムを含む、提示すること、
   ホーム位置を前記ディスプレイデバイスの可視領域内に確立すること、
   前記視覚要素の各々と前記平面内の他の視覚要素の各々との間の比例サイズ関係を確立すること、
   前記凝視追跡システムから凝視追跡データを受信すること、
   前記凝視追跡データを使用して、前記可視領域内でユーザが凝視している凝視位置を決定すること、
   前記凝視位置を前記平面内のターゲット位置にマッピングすることであって、前記ターゲット位置は前記ホーム位置から前記第１の軸に沿って離間されて配置される、マッピングすること、
   前記ホーム位置に向かう前記ターゲット位置の移動を開始することであって、前記移動は前記第１の軸に沿った第１の成分を含む、開始すること、および、
   前記ターゲット位置が前記第１の軸に沿って前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に拡大し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持すること、
   を含む、方法。
7. 前記ターゲット位置は、前記ホーム位置から前記第２の軸に沿っても離間されて配置され、前記移動は前記第２の軸に沿った第２の成分をさらに含み、前記方法は、前記ターゲット位置の前記移動の前記第２の成分に関して、前記ディスプレイを介して見ることができる前記視覚要素の修正を控えることをさらに含む、請求項６に記載の方法。
8. 前記視覚要素は、１つまたは複数の頂点要素と、前記１つまたは複数の頂点要素に従属する複数の従属要素とを含み、前記従属要素の各々は前記視覚要素の１つの他の要素のみに直接従属する、請求項６に記載の方法。
9. ユーザ入力を受信すること、および、
   前記ユーザ入力に基づいて、前記ターゲット位置に関連付けられた前記視覚要素のうちの１つを選択すること、
   をさらに含む、請求項６に記載の方法。
10. 前記ターゲット位置が前記ホーム位置を取り囲む休止領域内にある場合、前記ユーザ入力に基づいて前記ターゲット位置に関連付けられた前記視覚要素のうちの前記１つを選択することをさらに含む、請求項９に記載の方法。