JP2021524102A - 予測サッカード着地点に基づく動的グラフィックスレンダリング - Google Patents

Abstract

ヘッドマウントディスプレイ（ＨＭＤ）における眼球運動を予測する方法である。この方法では、複数のサンプル点で、ＨＭＤに配置されている視線追跡システムを用いて、ユーザの眼球運動を追跡する。この方法では、眼球運動に基づいて運動の速度を判定するまた、この方法では、速度が閾値速度に達したとき、ユーザの眼がサッカードにあると判定する。この方法では、サッカードにおける眼の方向に対応する、ＨＭＤのディスプレイ上の着地点を予測する。【選択図】図５Ｂ

Description

本開示は、コンピュータ生成画像に関し、より詳細には、コンピュータ生成グラフィックスのリアルタイムレンダリングに関する。

レンダリングパイプラインにおける仮想現実（ＶＲ）シーンのコンピュータレンダリングは、中央処理装置（ＣＰＵ）及びグラフィック処理ユニット（ＧＰＵ）のリソースを必要とする。ＶＲシーンは、広い表示範囲でレンダリングされ得るが、その表示範囲のより小さい部分のみが表示される。さらに、ＶＲシーンは従来のシーンよりも複雑であり得、また、映像酔いを回避するために画像処理に一層高いフレームレートを必要とすることもあり、その全てが高い消費電力率をもたらす。

電力を節約するために、ディスプレイの一部を他の部分よりも高い解像度で提示し得る。例えば、ユーザが凝視し得る画面の一部は、周辺領域といったユーザが凝視していない他の部分よりも高い解像度で提示され得る。ディスプレイの周辺部分をより低い解像度でレンダリングすることにより、処理リソースが節約でき、ユーザは周辺に焦点を合わせていないので、そうした低解像度でもユーザの視聴体験が低下することはない。しかしながら、ＶＲシーンを見ているユーザの眼球運動は、レンダリングパイプラインを通してフレームが更新されるよりも速い場合がある。このように、眼がコンピュータレンダリングパイプラインよりも速いことにより、ユーザが以前は周辺にあった可能性のあるシーンの一部に移動すると、更新が眼球運動に追いつくまで、その部分は低解像度で提示され得る。これにより、ユーザに対してぼやけた画像がもたらされる。

本開示の実施形態はこのような背景の下になされたものである。

本開示の実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイを見ているユーザに関連するサッカード（saccade:跳躍性眼球運動）の着地点を予測することに関する。本開示のいくつかの発明実施形態が、以下に説明される。

一実施形態において、ＨＭＤにおける眼球運動を予測する方法を開示する。方法は、複数のサンプル点で、ＨＭＤに配置されている視線追跡（あるいは視線トラッキング）システムを用いて、ユーザの眼球運動を追跡することを含む。方法は、眼球運動に基づいて運動の速度を判定することを含む。方法は、速度が閾値速度に達したとき、ユーザの眼がサッカードにあると判定することを含む。方法は、サッカードにおける眼の方向に対応する、ＨＭＤのディスプレイ上の着地点を予測することを含む。

別の実施形態では、ディスプレイを見ているユーザに関連するサッカードの着地点を予測する方法が開示される。この方法は、視線追跡システムを用いてユーザの眼球運動を追跡することを含む。視線追跡システムは、複数のサンプル点での物理的な視聴空間内の眼の向きのデータを収集するように構成されている。追跡中、ユーザの眼は、アプリケーションの実行によって生成されディスプレイに提示される一連のビデオフレームを見ている。この方法は、ユーザの眼が第１のサンプル点においてサッカードにあると識別する。この方法は、サッカード識別後、眼の向きのデータにアクセスすることを含む。眼の向きのデータは、視線追跡システムから収集されたサンプル点のセットに対応し、セットの少なくとも１つのサンプル点は、サッカード中に発生する。方法は、サンプル点のセットの眼の向きのデータに基づいて、サッカードの終わりの物理的な視聴空間における眼の最後の凝視方向を予測することを含む。

別の実施形態では、ＨＭＤにおける眼球運動を予測するためのコンピュータプログラムを格納する非一時的なコンピュータ可読媒体を開示する。コンピュータ可読媒体は、複数のサンプル点で、ＨＭＤに配置されている視線追跡システムを用いて、ユーザの眼球運動を追跡するためのプログラム命令を含む。コンピュータ可読媒体は、眼球運動に基づいて運動の速度を判定するためのプログラム命令を含む。コンピュータ可読媒体は、速度が閾値速度に達したとき、ユーザの眼がサッカードにあると判定するためのプログラム命令を含む。コンピュータ可読媒体は、サッカードにおける眼の方向に対応する、ＨＭＤのディスプレイ上の着地点を予測するためのプログラム命令を含む。

さらに別の実施形態では、プロセッサと、プロセッサに結合されたメモリとを有するコンピュータシステムが開示され、メモリは命令を格納しており、当命令は、コンピュータシステムにより実行されると、ＨＭＤにおける眼球運動を予測する方法をコンピュータシステムに実行させる。この方法は、複数のサンプル点で、ＨＭＤに配置されている視線追跡システムを用いて、ユーザの眼球運動を追跡することを含む。この方法は、眼球運動に基づいて運動の速度を判定することを含む。この方法は、速度が閾値速度に達したとき、ユーザの眼がサッカードにあると判定することを含む。この方法は、サッカードにおける眼の方向に対応する、ＨＭＤのディスプレイ上の着地点を予測することを含む。

本開示の他の態様は、本開示の原理の例として示される添付図面と併せて、下記の発明を実施するための形態から明らかになるであろう。

本開示は、添付図面と併せて、以下の説明を参照することにより、最も良く理解され得る。

本開示の一実施形態による、ＶＲコンテンツとのインタラクティブな体験を提供するように、かつ、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するように構成されているシステムの図であり、いくつかの入力制御がハンドヘルドコントローラを介して提供でき、いくつかの入力制御はカメラを介して実装されるような身体部分の追跡を通じて管理され得る。 本開示の一実施形態による、ＶＲコンテンツとのインタラクティブな体験を提供するように、かつ、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するように構成されているシステムの図であり、編集のためのいくつかの入力制御がハンドヘルドコントローラを介して提供でき、いくつかの入力制御はカメラを介して実装されるような身体部分の追跡を通じて管理され得るものであり、カメラはまた、データをＨＭＤに送信するＲＦエミッタのビーム追跡の目的で、ＨＭＤの動きも追跡する。 本開示の一実施形態による、ＶＲコンテンツとインタラクティブな体験を提供するように、かつ、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するように構成されているシステムの図であり、編集のためのいくつかの入力制御がハンドヘルドコントローラを介して提供でき、いくつかの入力制御は部分的に磁気源を介して実装されるような身体部分の磁気追跡を通じて管理され得る。 開示の実施形態による、実行中のビデオゲームと連動する、３Ｄデジタルコンテンツの編集のための３Ｄ編集空間を提供するための、ＨＭＤの機能の概略図である。 一実施形態による、視線追跡センサを含むＨＭＤの内部を示す、顔がディスプレイハウジングと接触するように設計されている内表面を見ている、一例のディスプレイハウジングの図である。 一実施形態による、視線追跡センサを含むＨＭＤの内部を示す、顔がディスプレイハウジングと接触するように設計されている内表面を見ている、一例のディスプレイハウジングの図である。 一実施形態による、視線追跡センサを含むＨＭＤの内部を示す、顔がディスプレイハウジングと接触するように設計されている内表面を見ている、一例のディスプレイハウジングの図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するように構成されている予測エンジンの図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するのに使用されるリカレントニューラルネットワークの図である。 本開示の一実施形態による、ＨＭＤでＶＲシーンを見ている１人以上のユーザに対するサッカード運動のモデルを構築するのに使用される例示的なニューラルネットワークの図である。 本開示の一実施形態による、眼球運動の完了後に画像がユーザに対してぼやけることにつながる、眼球運動に比べてのフレーム更新の遅れがどのようなものかを示すサッカード予測なしのレンダリングパイプラインの図である。 本開示の一実施形態による、レンダリングパイプラインにおいて高解像度の中心窩領域の更新を進めることによって、眼球運動の完了後に画像がユーザに対して焦点を合わせることにつながる、ＨＭＤのディスプレイを見ているユーザの眼球運動のサッカード予測ありで構成されているレンダリングパイプラインの結果として得られる効果を示す図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザのサッカードの眼の変位及び速度の図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザのサッカードの速度グラフにおける様々なサンプル点での眼の向きのデータのサンプリングの図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するのに使用される１つまたは複数のサンプル点のセットに対する眼の向きのデータの収集の図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するのに使用されるサンプル点のセットに対する眼の向きのデータを一覧表示している表を示す。 本開示の一実施形態による、ユーザの眼（複数可）の速度を判定するのに使用される視線方向ベクトルの図である。 本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測する方法のステップを示すとともに、サッカード中に収集されたサンプル点のセットからの眼の向きのデータを用いて、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点の複数の予測の収束を含む流れ図である。 本開示の様々な実施形態の態様を実行するのに使用することができる例示的なデバイスの構成要素の図である。 開示の実施形態による、ヘッドマウントディスプレイの構成要素を示す図である。 開示の様々な実施形態による、ゲームシステムのブロック図である。

以下の発明を実施するための形態は、例示目的で多くの具体的な詳細を含むが、当業者であれば、以下の詳細に対する多数の変形及び変更が本開示の範囲内にあることを理解するであろう。したがって、後述の本開示の態様は、この説明に続く特許請求の範囲の普遍性を失うことなく、かつ特許請求の範囲に制限を課すことなく記載される。

概して、本開示の様々な実施形態は、ＨＭＤのディスプレイを見ているユーザに関連して定義されたサッカード中かつ／またはその終わりのユーザの眼の視線方向に関連付けられた、ディスプレイ上の着地点を予測するためのシステム及び方法を説明する。具体的には、ユーザの視線がある凝視点から別の凝視点に通常の方法で移動するとき、ユーザの眼球運動を定義するサッカードの測定部分の速度グラフを使用して、サッカード全体の特性を予測することができる。このように、１つまたは複数の眼の方向を速度分析に基づいて予測することができ、眼の方向は、ディスプレイ上の１つまたは複数の着地点に対応する。ディスプレイの標的着地点が分かると、ＨＭＤに表示するためにレンダリングされるフレームは、標的着地点を考慮して更新され得る。例えば、眼球運動が標的着地点での中心窩領域の表示と一致するように、標的着地点でのまたはその周囲の領域に対応する、ディスプレイの中心窩領域が更新され得る。中心窩領域（例えば、眼が焦点を合わせ、向けられる場所）は高解像度でレンダリングされ、中心窩ではない領域（例えば、周辺）はより低い解像度でレンダリングされ得る。

様々な実施形態の上記の概要的な理解とともに、以下、実施形態の例示的な詳細を様々な図面を参照して説明する。

本明細書全体を通して、「ゲーミングアプリケーション」とは、入力コマンドの実行を通して指示される任意のタイプのインタラクティブアプリケーションを表すことを意味する。単なる例示目的で、インタラクティブアプリケーションには、ゲーム、ワード処理、ビデオ処理、ビデオゲーム処理などのためのアプリケーションが含まれる。さらに、ビデオゲームとゲーミングアプリケーションという用語は、置換え可能である。

本明細書全体を通して、ユーザのサッカードへの言及がなされる。一般に、サッカードは、ディスプレイ上のある凝視点から別の凝視点に移動するときになされるユーザの眼（複数可）の急速かつ同時の運動を指す。眼（複数可）のサッカード運動は、一般に、特定の方向になされ、必ずしも回転的に行われるとは限らない。サッカード運動は、毎秒９００度を超えるピーク角速度に達することもあり、２０から２００ミリ秒（ｍｓ）の範囲で持続し得る。サッカード中の眼（複数可）の角変位（度）は、上向きに約９０度までの範囲であり得るが、２０から５０度を超える変位は、頭の動きを伴い得る。

図１Ａは、開示の実施形態による、ゲーミングアプリケーションのインタラクティブなゲームプレイのためのシステムを示す。ユーザ１００は、ＨＭＤ１０２を着用して示され、ＨＭＤ１０２は、眼鏡、ゴーグル、またはヘルメットと同じ様に着用され、インタラクティブゲーミングアプリケーションからのビデオゲームまたはインタラクティブアプリケーションからの他のコンテンツをユーザ１００に表示するように構成されている。ＨＭＤ１０２は、ユーザの眼にごく接近して表示機構を提供することにより、非常に没入感のある体験をユーザに提供する。このように、ＨＭＤ１０２は、ユーザの視野の大部分または全体でさえも占める表示領域をユーザの眼のそれぞれに提供することができる。

図１Ａのシステムは、ユーザの眼（複数可）の運動が、更新された標的着地点におけるディスプレイ上の中心窩領域の提示と一致するように、ＨＭＤ１０２のディスプレイ上の標的着地点を更新するように構成されている。特に、着地点のサッカード予測は、ＨＭＤ１０２、コンピュータ１０６、及びクラウドゲーミングサーバ１１４のうちの１つまたは複数で、単独でまたは組み合わせて実行され得る。予測は、被験者に対して測定されたサッカード（例えば、眼の向きのデータまたはパラメータの収集）に基づいてサッカードのトレーニングモデルを介して生成することによって、及び、ユーザの現在のサッカードの眼の向きのデータを、サッカードのトレーニングされたモデルと比較して、サッカード中かつ／またはその終わりのユーザの視線方向に関連付けられた、ディスプレイ上の着地点を予測することの一方または両方を実行するように構成されている深層学習エンジン１９０を含むサッカード予測エンジン３００によって行われる。

一実施形態では、ＨＭＤ１０２は、コンピュータまたはゲーム機１０６に接続され得る。コンピュータ１０６への接続は、有線または無線であり得る。一部の実装例では、ＨＭＤ１０２はまた、ＨＭＤ１０２及びコンピュータ１０６の両方が接続されているネットワーク１１２を介してなど代替の機構またはチャネルを介してコンピュータと通信し得る。コンピュータ１０６は、以下に限定するものではないが、ゲーム機、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどを含む、当技術分野で知られている汎用または特殊目的の任意のコンピュータであり得る。一実施形態では、コンピュータ１０６は、ゲーミングアプリケーションを実行し、ＨＭＤ１０２によるレンダリングのためにゲーミングアプリケーションからビデオ及びオーディオを出力するように構成され得る。コンピュータ１０６は、ゲーミングアプリケーションを実行することに限定されず、ＨＭＤ１０２によるレンダリングのためにＶＲコンテンツ１９１を出力するインタラクティブアプリケーションを実行するようにも構成され得る。一実施形態では、コンピュータ１０６は、ディスプレイを見ているユーザに関連して定義されるサッカード中かつ／またはその終わりのユーザの眼の視線方向に関連付けられた、ＨＭＤのディスプレイ上の着地点を予測するように構成されている。他の実施形態では、着地点の予測は、ＨＭＤ１０２、コンピュータ１０６、及びクラウドゲーミングサーバ１１４のうちの１つまたは複数によって、単独でまたは組み合わせて実行され得る。

ユーザ１００は、コントローラ１０４を操作して、ゲーミングアプリケーションへの入力を提供し得る。コンピュータ１０６への接続は、有線または無線であり得る。さらに、カメラ１０８は、ユーザ１００が置かれているインタラクティブな環境の１つまたは複数の画像をキャプチャするように構成され得る。これらのキャプチャされた画像を分析して、ユーザ１００、ユーザの一部（例えば、入力コマンドのための手のジェスチャを追跡する）、ＨＭＤ１０２、及びコントローラ１０４の位置及び動きを判定することができる。一実施形態では、コントローラ１０４は、その位置及び向きを判定するために追跡することができる光または他のマーカ要素を含む。さらに、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び向きを判定するために追跡することができる１つまたは複数の光を含み得る。カメラ１０８によって部分的に実装されるような追跡機能は、コントローラ１０４及び／またはユーザ１００の身体部分（例えば、手）の動きを通して生成された入力コマンドを提供する。カメラ１０８は、インタラクティブな環境から音を取り込むための１つまたは複数のマイクロフォンを含み得る。マイクロフォンアレイによって取り込まれた音は、音源の位置を特定するために処理され得る。特定された位置からの音は、この特定された位置からではない他の音を排除するために、選択的に利用または処理することができる。さらに、カメラ１０８は、複数の画像キャプチャデバイス（例えば、立体視可能な一対のカメラ）、ＩＲカメラ、深度カメラ、及びそれらの組み合わせを含むように定義することができる。

別の実施形態では、コンピュータ１０６は、ネットワークを介してクラウドゲーミングプロバイダ１１２と通信するシンクライアントとして機能する。クラウドゲーミングプロバイダ１１２は、ユーザ１０２がプレイしているゲーミングアプリケーションを保持かつ実行する。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８からの入力を、クラウドゲーミングプロバイダに送信し、クラウドゲーミングプロバイダは、この入力を処理して、実行中のゲーミングアプリケーションのゲーム状態に影響を与える。実行中のゲーミングアプリケーションからの、ビデオデータ、オーディオデータ、及び触覚フィードバックデータなどの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、データをさらに処理した後に送信する場合もあれば、データを関連デバイスに直接送信する場合もある。例えば、ビデオストリーム及びオーディオストリームはＨＭＤ１０２に提供される一方、触覚フィードバックデータは振動フィードバックコマンドを生成するのに用いられ、それはコントローラ１０４に提供される。

一実施形態では、ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８は、それら自体が、クラウドゲーミングプロバイダ１１２と通信するためにネットワーク１１０に接続しているネットワーク化されたデバイスであってもよい。例えば、コンピュータ１０６は、通常はビデオゲーム処理を実行するのではなくネットワークトラフィックの通過を促進するルータなどのローカルネットワークデバイスであってもよい。ＨＭＤ１０２、コントローラ１０４、及びカメラ（すなわち画像キャプチャデバイス）１０８によるネットワークへの接続は、有線または無線であり得る。

さらに別の実施形態では、コンピュータ１０６は、ゲーミングアプリケーションの一部を実行でき、ゲーミングアプリケーションの残りの部分は、クラウドゲーミングプロバイダ１１２上で実行され得る。他の実施形態では、ゲーミングアプリケーションの一部はＨＭＤ１０２上でも実行され得る。例えば、コンピュータ１０６からゲーミングアプリケーションをダウンロードする要求は、クラウドゲーミングプロバイダ１１２によって提供され得る。要求の提供中、クラウドゲーミングプロバイダ１１２は、ゲーミングアプリケーションの一部を実行し、ＨＭＤ１０２上でレンダリングするためにゲームコンテンツをコンピュータ１０６に提供し得る。コンピュータ１０６は、ネットワーク１１０を介してクラウドゲーミングプロバイダ１１２と通信し得る。ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８から受信した入力はクラウドゲーミングプロバイダ１１２に送信され、その一方で、ゲーミングアプリケーションはコンピュータ１０６にダウンロードされている。クラウドゲーミングプロバイダ１１２は、入力を処理して、実行中のゲーミングアプリケーションのゲーム状態に影響を与える。実行中のゲーミングアプリケーションからのビデオデータ、オーディオデータ、及び触覚フィードバックデータなどの出力は、それぞれのデバイスへの以降の送信のためにコンピュータ１０６に送信される。

ゲーミングアプリケーションがコンピュータ１０６に完全にダウンロードされると、コンピュータ１０６は、ゲーミングアプリケーションを実行し、クラウドゲーミングプロバイダ１１２上で中断されたところからゲーミングアプリケーションのゲームプレイを再開し得る。ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８からの入力は、コンピュータ１０６によって処理され、ゲーミングアプリケーションのゲーム状態は、ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８から受信した入力に応答して調整される。そのような実施形態では、コンピュータ１０６でのゲーミングアプリケーションのゲーム状態は、クラウドゲーミングプロバイダ１１２でのゲーム状態と同期される。同期は、コンピュータ１０６及びクラウドゲーミングプロバイダ１１２の両方でゲーミングアプリケーションの状態を最新に保つために周期的に行われ得る。コンピュータ１０６は、出力データを、関連するデバイスに直接送信し得る。例えば、ビデオストリーム及びオーディオストリームはＨＭＤ１０２に提供されるのに対して、触覚フィードバックデータは振動フィードバックコマンドを生成するのに用いられ、それはコントローラ１０４に提供される。

図１Ｂは、本開示の一実施形態による、ＶＲコンテンツとのインタラクティブな体験を提供するように、かつ、３Ｄデジタルコンテンツを編集するための３Ｄ編集空間を提供するように構成されているシステムを示す。さらに、システム（例えば、ＨＭＤ１０２、コンピュータ１０６、及び／またはクラウド１１４）は、ユーザの眼（複数可）の運動が、更新された標的着地点のディスプレイ上の中心窩領域（高解像度の領域）の提示と一致するように、ＨＭＤ１０２のディスプレイ上の標的着地点を更新するように構成されている。図１Ｂは、図１Ａに記載されたシステムに類似するが、例えば、ＲＦ信号を介してＨＭＤ１０２へデータ配信を行うように構成されている送信機／受信機（トランシーバ）１１０が追加されている。トランシーバ１１０は、ゲーミングアプリケーションからのビデオ及びオーディオをＨＭＤ１０２にそこでレンダリングを行うために（有線接続または無線接続によって）送信するように構成されている。さらに、トランシーバ１１０は、編集の目的で、３Ｄ編集空間内で３Ｄデジタルコンテンツの画像、ビデオ、及びオーディオを送信するように構成されている。この実装例では、本開示の一実施形態にしたがって、カメラ１０８は、トランシーバ１１０がそのＲＦ電力の大部分（ＲＦ放射パターンを介して供給される）をＨＭＤ１０２に（例えば、データ配信の目的で）ビームステアリングし得るよう、ＨＭＤ１０２の動きを追跡するように構成され得る。

図１Ｃは、本開示の一実施形態による、ＶＲコンテンツとのインタラクティブな体験を提供するように構成されているシステムを示す。さらに、システム（例えば、ＨＭＤ１０２、コンピュータ１０６、及び／またはクラウド１１４）は、ユーザの眼（複数可）の運動が、更新された標的着地点のディスプレイ上の中心窩領域（高解像度の領域）の提示と一致するように、ＨＭＤ１０２のディスプレイ上の標的着地点を更新するように構成されている。図１Ｃは、図１Ａに記載されたシステムと類似するが、ＨＭＤ１０２、コントローラ１０４（例えば、インターフェースコントローラとして構成されている）、または磁気センサ（例えば、手袋、指などといった身体部分に配置されるストリップ）を用いて構成される任意の物体の磁気追跡を可能にするために磁場を放出するように構成されている磁気源１１６が追加されている。例えば、磁気センサは、誘導要素であり得る。特に、磁気センサは、磁気源１１６によって放出される磁場（例えば、強度、向き）を検出するように構成することができる。磁気センサから集められた情報は、３Ｄ編集空間内で実行されるような入力コマンドを提供するために、ＨＭＤ１０２、コントローラ１０４、及び他のインターフェースオブジェクトなどの位置及び／または向きを判定かつ追跡するのに使用することができる。実施形態では、磁気追跡は、カメラ１０８ならびに／またはＨＭＤ１０２、コントローラ１０４及び／または他のインターフェースオブジェクト内の慣性センサを介して実行される追跡と組み合わされる。

一部の実装例では、インターフェースオブジェクト（例えばコントローラ１０４）は、ＨＭＤ１０２に対して追跡される。例えば、ＨＭＤ１０２は、インターフェースオブジェクトを含む画像をキャプチャした外向きカメラを含み得る。他の実施形態では、ＨＭＤ１０２は、インターフェースオブジェクトなどの外部オブジェクトを追跡するために使用されるＩＲエミッタを含み得る。キャプチャされた画像を分析して、ＨＭＤ１０２に対するインターフェースオブジェクトの位置／向きを判定でき、ＨＭＤ１０２の既知の位置／向きを用いて、ローカル環境におけるインターフェースオブジェクトの位置／向き及び／または動きを判定することができるようにする。

ユーザ１００がＨＭＤ１０２に表示されるゲーミングアプリケーションのまたは３Ｄ編集空間の仮想現実シーンとインターフェースする方法は様々なものであり得、インターフェースオブジェクト（例えば、コントローラ１０４）に加えて他のインターフェースデバイスを用いることができる。例えば、様々な種類の片手用コントローラ、ならびに両手用コントローラ１０４を使用することができる。一部の実装例では、コントローラに含まれる光を追跡することによって、またはコントローラ１０４に関連する形状、センサ、及び慣性データを追跡することによって、コントローラ１０４自体を追跡することができる。これらの様々なタイプのコントローラ１０４、またはもっと単純に、行われて１つまたは複数のカメラでキャプチャされる手のジェスチャ、及び磁気センサを使用して、ＨＭＤ１０２上に提示された仮想現実ゲーミング環境とインターフェースすること、制御すること、操作すること、インタラクトすること、及び参加することが可能である。

図２は、開示の実施形態による、ＶＲコンテンツ２９１の生成（例えば、アプリケーション及び／またはビデオゲームの実行など）に関連するＨＭＤ１０２の機能を概念的に示しており、ユーザの眼（複数可）の運動が、更新された標的着地点でのディスプレイ上の中心窩領域（例えば、高解像度領域）の提示と一致するように、ＨＭＤ１０２のディスプレイ上の標的着地点を更新することを含む。着地点のサッカード予測は、ＨＭＤ１０２、コンピュータ１０６、及びクラウドゲーミングサーバ１１４のうちの１つまたは複数によって、単独でまたは組み合わせて実行され得る。実施形態では、ＶＲコンテンツエンジン２２０は、ＨＭＤ１０２上で実行されている。他の実施形態では、ＶＲコンテンツエンジン２２０は、ＨＭＤ１０２に通信可能に結合されている、かつ／またはＨＭＤ１０２と組み合わせてコンピュータ１０６（図示せず）上で実行されている。コンピュータは、ＨＭＤに対してローカルであってもよく（例えば、ローカルエリアネットワークの一部）、または、遠隔に位置し（例えば、広域ネットワーク、クラウドネットワークの一部など）、ネットワークを介してアクセスされてもよい。ＨＭＤ１０２とコンピュータ１０６間の通信は、有線または無線接続プロトコルに従い得る。例では、アプリケーションを実行しているＶＲコンテンツエンジン２２０は、ゲーミングアプリケーションを実行しているビデオゲームエンジンであり得、ゲーミングアプリケーションのゲーム状態を更新する入力を受信するように構成されている。図２の以下の説明は、簡潔さ及び明快さの目的で、ゲーミングアプリケーションを実行しているＶＲコンテンツエンジン２２０の文脈内で説明され、ＶＲコンテンツ２９１を生成可能な任意のアプリケーションの実行を表すことを意図している。ゲーミングアプリケーションのゲーム状態は、オブジェクトの存在及び位置、仮想環境の状況、イベントのトリガ、ユーザプロファイル、表示視点などといった現在のゲームプレイの様々な態様を規定するビデオゲームの様々なパラメータの値によって少なくとも部分的に定義することができる。

図示された実施形態では、ＶＲコンテンツエンジン２２０は、例として、コントローラ入力２６１、オーディオ入力２６２、及びモーション入力２６３を受信する。コントローラ入力２６１は、ハンドヘルドゲーミングコントローラ１０４（例えば、Ｓｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４ 無線コントローラ、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅモーションコントローラ）、またはウェアラブルグローブインターフェースコントローラなどといったウェアラブルコントローラのような、ＨＭＤ１０２とは別個のゲーミングコントローラの操作から定義され得る。例として、コントローラ入力２６１は、方向入力、ボタン押下、トリガ起動、動き、ジェスチャ、またはゲーミングコントローラの操作から処理される他の種類の入力を含み得る。オーディオ入力２６２は、ＨＭＤ１０２のマイクロフォン２５１から、または画像キャプチャ装置２０８に含まれるマイクロフォンもしくはローカルシステム環境内の他の箇所から処理することができる。モーション入力２６３は、ＨＭＤ１０２に含まれるモーションセンサ２５９から、またはＨＭＤ１０２の画像をキャプチャする画像キャプチャデバイス１０８から処理することができる。例えば、ゲーミングアプリケーションを実行する場合、ＶＲコンテンツエンジン２２０は、ゲームエンジンとして動作するコンテンツエンジン２２０の構成にしたがって処理される入力を受信して、ビデオゲームのゲーム状態を更新する。エンジン２２０は、ゲーム状態データを、ユーザに提示されることになるコンテンツを定義するためにゲーム状態データを処理する様々なレンダリングモジュールに出力する。

図示の実施形態では、ビデオレンダリングモジュール２８３は、ＨＭＤ１０２で提示するためにビデオストリームをレンダリングするように定義される。

ＨＭＤ１０２の光学系２７０のレンズは、ＶＲコンテンツ２９１を表示するために構成されている。ＨＭＤ１０２がユーザによって装着されたとき光学系２７０のレンズが表示画面９０４とユーザの眼２６０の間に在るように、表示画面９０４は、光学系２７０のレンズ背部に配置される。そのようにして、ビデオストリームは、表示画面／プロジェクタ機構９０４により提示され、ユーザの眼２６０によって光学系２７０を通して見られ得る。ＨＭＤユーザは、例えば、３Ｄ編集空間で３Ｄデジタルコンテンツを編集する目的で、ＨＭＤを装着することにより、インタラクティブなＶＲコンテンツ２９１（例えば、ＶＲビデオソース、ビデオゲームコンテンツなど）とインタラクトすることを選択し得る。ビデオゲームからのインタラクティブな仮想現実（ＶＲ）シーンは、ＨＭＤの表示画面９０４上にレンダリングされ得る。そのようにして、ゲーム開発中に、ＨＭＤ１０２により、ユーザは、インタラクティブなＶＲシーンを編集かつ確認することが可能となる。また、ゲームプレイ（編集の確認を含む）中、ＨＭＤによって、ユーザは、ユーザの眼にごく近接してＨＭＤの表示機構をプロビジョニングすることによりゲームプレイに完全に没入することが可能となる。コンテンツをレンダリングするためにＨＭＤの表示画面に画定される表示領域は、ユーザの視野の大部分または全体でさえ占有し得る。通常、それぞれの眼は、１つまたは複数の表示画面を表示している光学系２７０の関連するレンズによってサポートされる。

オーディオレンダリングモジュール２８２は、ユーザによって聴取されるオーディオストリームをレンダリングするように構成されている。一実施形態では、オーディオストリームは、ＨＭＤ１０２に関連付けられたスピーカ１５２を通して出力される。スピーカ１５２は、オープンエアスピーカ、ヘッドフォン、またはオーディオを提示することが可能である任意の他の種類のスピーカの形態を取り得ることを理解すべきである。

一実施形態では、ユーザの視線の追跡を可能にするために、視線追跡センサ２６５がＨＭＤ１０２に含まれる。１つの視線追跡センサ２６５のみが含まれているが、図３Ａ〜３Ｃに関して説明するように、ユーザの視線を追跡するために２つ以上の視線追跡センサを用い得ることに留意すべきである。例えば、一部の実施形態では、片方の眼だけが追跡されるが（例えば、１つのセンサを使用して）、他の実施形態では、２つの眼が複数のセンサで追跡される。視線追跡センサ２６５は、カメラ、光学センサ、赤外線センサ、ＥＭＧ（筋電図）センサ、光学反射器センサ、距離センサ、及びオプティカルフローセンサ、ドップラーセンサ、マイクロフォンなどの１つまたは複数であり得る。一般に、センサ２６５は、眼球運動方向の変化、加速度、及び速度などの急速な眼球運動を検出するように構成され得る。例えば、視線追跡カメラは、ユーザの眼の画像をキャプチャし、それらを分析してユーザの視線方向を判定する。一実施形態では、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに影響を与えることができる。例えば、ユーザの眼が特定の方向を見ていると判定された場合、その方向に対するビデオレンダリングを優先または強調することができる。本開示の実施形態では、視線方向及び／または他の眼の向きのデータは、ディスプレイを見ているユーザに関連して定義されたサッカード中かつ／またはその終わりのユーザの眼（複数可）の対応する視線方向に関連付けられている、ＨＭＤのディスプレイ上の着地点を予測するのに使用され得る。サッカード予測は、図４Ａ〜４Ｃに関してさらに説明されるサッカード予測エンジン４００によって実行され得る。サッカード予測エンジン４００はまた、反復的かつ計算集約的な操作を実行するように構成されている深層学習エンジン１９０と連動して動作し得る。具体的には、深層学習エンジン１９０は、ユーザの眼（複数可）の運動が、更新された標的着地点におけるディスプレイ上の中心窩領域（高解像度領域）と一致するように、ＨＭＤ１０２のディスプレイ上の標的着地点を更新するのに使用されるサッカードモデリング及びサッカード予測の機能を含み、実行し得る。ユーザの視線方向は、ヘッドマウントディスプレイに対して、ユーザが置かれている実環境に対して、かつ／またはヘッドマウントディスプレイ上でレンダリングされている仮想環境に対して定義することができることを理解すべきである。視線方向はＨＭＤの画面に対して定義され得るので、視線方向は、画面上の位置に変換され得る。その位置は、フレームに対して高解像度でレンダリングされた中心窩領域の中心であり得る。

大まかに言えば、単独で考える場合、視線追跡センサ２６５によってキャプチャされた画像の分析により、ＨＭＤ１０２に対するユーザの視線方向が提供される。しかしながら、ＨＭＤ１０２の追跡された位置及び向きと組み合わせて考える場合、ＨＭＤ１０２の位置及び向きはユーザの頭の位置及び向きと同義であるので、ユーザの実世界の視線方向も判定され得る。すなわち、ユーザの実世界の視線方向は、ユーザの眼の位置的な運動を追跡することとＨＭＤ１０２の位置及び向きを追跡することから判定することができる。仮想環境の表示をＨＭＤ１０２上でレンダリングするとき、ユーザの実世界の視線方向を適用して、仮想環境におけるユーザの仮想世界の視線方向を判定することができる。

さらに、触覚フィードバックモジュール２８１は、ＨＭＤ１０２、またはＨＭＤユーザによって操作されるコントローラ１０４などの別デバイスのいずれかに含まれる触覚フィードバックハードウェアに信号を供給するように構成されている。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなどといった様々な種類の触感の形態を取り得る。

図３Ａ〜３Ｃは、一実施形態による、視線追跡センサを含むＨＭＤの内部を示す、顔がディスプレイハウジングと接触するように設計されている内表面を見ている、一例のディスプレイハウジングの図を示す。

特に、図３Ａは、顔がディスプレイハウジング１０２ａと接触するように設計されている内表面を見ている、例示的なディスプレイハウジング１０２ａの図を示す。示されるように、インターフェース面１０２ｅは、着用されるとディスプレイハウジング１０２ａがユーザの眼及び眼を囲む顔の特徴を実質的に覆うように、ディスプレイハウジング１０２ａを囲んでいる。これにより、ユーザが光学系１０２ｂを通して見ている領域への光が低減し、したがって、ＨＭＤ１０２によって提供される仮想現実シーンのより現実的な表示が提供される。ディスプレイハウジング１０２ａがユーザの頭に配置されると、ユーザの鼻は、鼻挿入領域１０２ｄ内にスライドするか、またはその中に嵌まり得る。鼻挿入領域１０２ｄは、ディスプレイハウジング１０２ａの下部の、光学系１０２ｂの間の領域である。

フラップ１０２ｃは、ユーザの鼻が少なくとも部分的に鼻挿入領域１０２ｄに配置されたときに動くまたは屈曲するように設計されている。図示されるように、近接センサ２０６は、ディスプレイハウジング１０２ａ内に統合され、鼻挿入領域１０２ｄの領域に向けられ、ユーザの鼻が少なくとも部分的に鼻挿入領域１０２ｄ内に配置されたときに情報をキャプチャするようにする。フラップ１０２ｃは、ユーザの鼻に隣接して嵌まるように設計されており、フラップは、ディスプレイハウジング１０２ａがユーザの顔に配置されたときに、光が光学系１０２ｂ及びユーザの眼に向かって漏れないようにすることを助ける。

また図３Ａに示されるように、近接センサ３０２は、ディスプレイハウジング１０２ａの内表面に統合され、光学系１０２ｂ間に配置されている。したがって、近接センサ３０２の位置は、ユーザの額から離間することになり、インターフェース表面１０２ｅに、より近接し得る。しかしながら、ＨＭＤ１０２におけるユーザの顔の存在は、近接センサ３０２によって感知することができる。さらに、近接センサ３０２はまた、ＨＭＤ１０２が装着されたときのユーザの顔の距離、テクスチャ、画像、及び／または一般的な特性に関する情報も感知することができる。上述のように、近接センサ３０２は、ディスプレイハウジング１０２ａ内で、同じ場所または異なる場所で統合され得る複数のセンサによって定義され得る。

ディスプレイハウジング１０２ａの光学系１０２ｂ間の位置で統合され得る視線検出センサ２６５も示されている。視線検出センサ２６５は、光学系１０２ｂを通して見ているときのユーザの眼球運動を監視するように構成されている。視線検出センサは、ユーザがＶＲ空間において見ている位置を特定するのに使用することができる。さらなる実施形態では、視線検出センサ２６５を使用してユーザの眼を監視する場合、この情報をユーザのアバターの顔に用いて、アバターの顔が、ユーザの眼球運動と同じ様に動く眼を有するようにすることができる。視線検出センサ２６５はまた、ユーザが映像酔いを体験している可能性があるときを監視するためにも使用することができる。

視線検出センサ２６５は、眼の向きに関する１つまたは複数のパラメータをキャプチャするように構成されている。視線検出センサ２６５からの情報を使用して、眼の瞳孔の向きに基づいて、ユーザの眼（複数可）の視線方向（例えば、角度θ）を判定し得る。瞳孔は、光が網膜に入り、網膜に当たることを可能にする眼の中心の開口部である。視線検出センサ２６５は、眼（複数可）を照らすために使用される非可視光（例えば、赤外光）の１つまたは複数の波長のエネルギーを放出する１つまたは複数の光源（図示せず）と連動して機能し得る。例えば、光源は、光エネルギーを眼（複数可）に向ける発光ダイオード（ＬＥＤ）であり得る。視線検出センサ２６５は、瞳孔、角膜、及び／または眼の虹彩からの反射を捕捉するために使用され得る。反射はその後分析されて（例えば、ＨＭＤ１０２のプロセッサ、コンピュータ１０６などによって）、視線方向及び／または瞳孔の向きを判定し、それは、眼（複数可）の視線方向へと翻訳可能である。視線方向（例えば、角度θ）は、ＨＭＤ１０２、及び／または実世界空間に関して参照され得る。視線の向き及び／または方向を判定するために、明瞳孔追跡、暗瞳孔追跡などといった様々な既知の技術が実装され得る。ユーザの瞳孔（複数可）及び／または眼（複数可）の方向及び／または向きを判定するのに用いられる眼の向きのデータをキャプチャするように構成されている、図４Ａに示す１つまたは複数の光源（複数可）４０１及び１つまたは複数の視線検出センサ（複数可）２６５を含む視線追跡システム８２０が示される。

さらに、視線方向に基づいて追加情報が判定され得る。例えば、眼（複数可）の速度及び加速度などの眼球運動データが判定され得る。眼（複数可）の追跡された運動は、ユーザのサッカードを判定するために使用され得る。センサからの情報はまた、ユーザの頭を追跡するのにも使用され得る。例えば、情報は、頭の位置、モーション（動き）、向き、向きの変化に反応し得る。この情報は、実世界環境内の視線方向を判定するために使用され得る。

図３Ｂから３Ｃもまた、視線方向センサ２６５の様々な配置位置を示す、ＨＭＤ１０２の異なる斜視図を示す。例えば、図３Ｂは、眼の視線を捕捉するために、光学系１０２ｂの外側部分に配置された視線検出センサ２６５ａ及び２６５ｂの例である。図３Ｃは、眼の視線を捕捉するために、光学系１０２ｂの間に配置された視線検出センサ２６５ｘ及び２６５ｙを含む。視線検出センサの位置は、ディスプレイハウジング１０２ａ内で異なるものであり得、一般に、ユーザの眼に向けられた表示を提供するように配置される。これらの例示は、視線検出センサがＨＭＤ１０２内の様々な位置に柔軟に配置できることを示すために提供されている。

図４Ａは、本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するように構成されている予測エンジン４００を示す。予測エンジン４００は、前述のように、ＨＭＤ１０２、コンピュータ１０６、及びクラウドゲーミングサーバ１１４のうちの１つまたは複数に配置され得る。

示されるように、視線追跡システム８２０は、ユーザの瞳孔（複数可）及び／または眼（複数可）の視線の方向及び／または向きを判定するように構成されている。視線方向は、ＨＭＤ１０２のディスプレイといったディスプレイに関してのものであり得る。前述のように、視線追跡システム８２０は、１つまたは複数の光源（複数可）４０１及び１つまたは複数の視線検出センサ（複数可）２６５を含む。特に、視線追跡システム８２０からの情報は、１つまたは複数のサンプル点において収集される。例えば、情報は、サッカード中に眼を１回以上サンプリングするのに十分な期間で、周期的に収集され得る。例えば、情報は、特定の瞬間における眼（複数可）の視線方向を含み得る。１つまたは複数のサンプル点における情報は、現在のサンプル点における情報を含めて、後でアクセスするためにストレージ８０６に保持される。

さらに、現在のサンプル点における情報は、入力として予測エンジン４００に送られる。より具体的には、一実施形態において、Δθ速度生成器４１０は、現在のサンプル点４０２からの情報及び前のサンプル点４０３からの情報（ストレージ８０６から送られるか、または生成器４１０によってアクセス可能なバッファ４０５に保持されている）を分析して、眼球運動の速度を判定する。このようにして、速度生成器４１０は、現在のサンプル点４０２からの情報及び前のサンプル点４０３からの情報に基づいて、特定のサンプル点における眼球運動の速度を判定するように構成されている。例えば、情報は特定の時間における視線方向であり得る。別の実施形態では、後方差分の代わりに、速度の中心差分推定が実行される。そのように、検出を遅延させ、前の位置及び次の位置を使用して、速度のより滑らかな推定値を取得することが可能である。これは、サッカード検出を実行する際の誤判定を低減するのに役立ち得る。

速度情報（例えば、ｄθ／ｄｔ）が、サッカード識別子４２０に入力として提供される。ユーザの眼球運動がサッカード内にあるときを判定するために、速度生成器４１０によって様々な技術が用いられ得る。一実施形態では、眼及び／または眼の眼球運動は、速度が閾値に達するかつ／または超えるとき、サッカード内にある。閾値は、眼がサッカードに達していることを必ずしも示すとは限らないノイズの多い情報は避けるように選択される。例えば、閾値は、オブジェクトを追跡するときなど、眼が滑らかな追跡を実行しているときに通常見られる速度を上回るものである。純粋に例示のために、サッカード検出は、１０ｍｓ内に実行され得る。

前に説明したように、サッカードは、ディスプレイ上のある凝視点から別の凝視点に移動するときになされるユーザの眼（複数可）の急速なかつ同時の運動を定義する。サッカード運動は、毎秒９００度を超えるピーク角速度に達でき、２０から２００ミリ秒（ｍｓ）の範囲で持続する。１２０ヘルツ（Ｈｚ）のフレームレートでは、サッカードは、２から２５フレームの範囲で持続し得る。例えば、ＨＭＤは、９０または１２０Ｈｚのレートでリフレッシュして、ユーザの不快感（例えば、映像酔いによる）を最小限に抑える。

眼及び／または眼球運動がサッカードにあると判定されると、予測エンジン４００は、ユーザの視線方向が指しているディスプレイ上の着地点を判定するように構成されている。すなわち、サッカード中の特定の点（例えば、中間点、終わりなど）において、着地点は、図４Ｂに示されるように、予測エンジン４００によって、より具体的には深層学習エンジン１９０によって判定することができる。特に、サンプルセットコレクタ４３０は、現在のサンプル点４０２からの情報を含むように、サンプル点のセットからの情報を収集する。サンプル点のセットから判定された速度情報がさらに判定でき、全速度グラフの少なくとも一部が、ユーザが体験するサッカードに対して生成され得るようにする。速度グラフの一部を含む情報は、着地点を判定するために、深層学習エンジン１９０に入力として提供される。

例えば、図４Ｂは、本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点を予測するために使用される深層学習エンジン１９０としてのリカレントニューラルネットワークを示す。リカレントニューラルネットワークは、長短期記憶（ＬＳＴＭ）モジュール４４０及び全結合された多層ネットワーク４５０（例えば、多層パーセプトロン）を含む。特に、深層学習エンジン１９０は、入力情報４５１（例えば、速度グラフの一部など）を、深層学習エンジン１９０によって生成されかつ／または知られるサッカードのモデルと比較するように構成されている。例えば、分析されているサッカードの一部は、被験者の複数のサッカードから構築された速度グラフと比較される。他の実施形態では、ニューラルネットワークへの入力は、各サンプル点での速度といった速度に加えて、各サンプル点での視線方向、及び各サンプル点での時間の情報を含み得る。そのようにして、ユーザの眼の方向に対応する、ディスプレイ上の着地点は、深層学習エンジン１９０によって構築されかつ／または知られるサッカードモデルに基づいて、サッカード中の任意の点について判定され得る。示されるように、深層学習エンジン１９０の出力４５２は、判定された着地点を指しているユーザの視線方向を示すベクトル（ＸＦ−ｎ）、及び任意選択的に、ユーザの眼が着地点に向けられるときを予測する時間（ｔｎ）パラメータを含む。時間（ｔｎ）パラメータは、サッカードの開始、サッカードが判定される点、サンプル点のサンプルセット４５１における最新のサンプル点などといった１つまたは複数の点を参照し得る。

図４Ｃは、本開示の一実施形態による、被験者の測定されたサッカードに基づいてサッカードモデル及び／またはそれらサッカードモデルにおける速度グラフを構築するために、かつ、例えばＨＭＤのディスプレイ上で着地点の予測を実行するために使用される例示的なニューラルネットワークを示す。着地点は、ディスプレイ（例えば、ＨＭＤの）を見ているユーザに関連して定義されるサッカード中かつ／またはその終わりのユーザの任意の眼の視線方向に関連付けられる。具体的には、サッカード予測エンジン４００の深層学習または機械学習エンジン１９０は、ユーザの眼の向きのデータに関する情報（例えば、視線方向、時間、サッカードの速度グラフの一部など）を入力として受信するように構成されている。深層学習エンジン１９０は、深層学習アルゴリズム、強化学習、または他の人工知能ベースのアルゴリズムを含む人工知能を利用して、前述のように、サッカードモデル、例えばそれらのサッカードモデルに対する速度グラフを構築して、現在ユーザが体験しているサッカードを認識し、サッカード中の任意のポイントで視線方向が指している場所を予測する。

すなわち、学習及び／またはモデリング段階中に、深層学習エンジン１９０は、入力データ（例えば、被験者のサッカードの測定値）を用いて、ユーザの眼（複数可）が指している、ディスプレイの着地点を予測するのに使用することができるサッカードモデル（それらのサッカードモデルに対する速度グラフを含む）を作成する。例えば、入力データは、被験者のサッカードの複数の測定値を含み得、測定値は、深層学習エンジン１９０に供給されると、１つまたは複数のサッカードモデルを作成するように構成されており、サッカードモデルごとに、サッカード認識アルゴリズムを用いて、現在のサッカードがそのサッカードモデルといつ一致するかを識別することができる。

特に、ニューラルネットワーク１９０は、対応するユーザの応答、行動、態度、所望、及び／またはニーズを判定するためにデータセットを分析する自動分析ツールの例を表す。異なるタイプのニューラルネットワーク１９０が可能である。例では、ニューラルネットワーク１９０は、深層学習をサポートする。したがって、ディープニューラルネットワーク、深層畳み込みニューラルネットワーク、及び／または教師ありもしくは教師なしのトレーニングを使用したリカレントニューラルネットワークを実装することができる。別の例では、ニューラルネットワーク１９０は、強化学習をサポートする深層学習ネットワークを含む。例えば、ニューラルネットワーク１９０は、強化学習アルゴリズムをサポートするマルコフ決定プロセス（ＭＤＰ）としてセットアップされる。

一般に、ニューラルネットワーク１９０は、人工ニューラルネットワークなどの相互接続されたノードのネットワークを表す。各ノードは、データからある情報を学習する。相互接続を介して、ノード間で知識を交換することができる。ニューラルネットワーク１９０への入力により、ノードのセットがアクティブ化される。次に、このノードのセットは、他のノードをアクティブ化し、それにより入力に関する知識が伝播される。このアクティブ化プロセスは、出力が提供されるまで、他のノードにわたって繰り返される。

図示されるように、ニューラルネットワーク１９０は、ノードの階層を含む。最下位階層に、入力層１９１が存在する。入力層１９１は、入力ノードのセットを含む。例えば、これらの入力ノードのそれぞれは、対応するサッカード中にある被験ユーザ／被験者の監視（例えば眼の向きのデータ）中に、アクチュエータを介して能動的に収集された、またはセンサにより受動的に収集されたローカルデータ１１５にマッピングされる。

最上位階層には、出力層１９３が存在する。出力層１９３は、出力ノードのセットを含む。出力ノードは、現在体験されているサッカードの情報に関する決定（例えば予測）を表す。前述のように、出力ノードは、ユーザが体験したサッカードを、以前にモデル化されたサッカードと一致させ、さらに、サッカード中かつ／またはその終わりにユーザの視線方向が指している、ディスプレイ（例えばＨＭＤの）の予測着地点を識別し得る。

これらの結果は、適切なサッカードモデル及び所与の入力セットに対するサッカード中かつ／またはその終わりのユーザの視線方向に対応するディスプレイの予測着地点を反復的に判定するように、深層学習エンジン１９０によって用いられるパラメータを改良かつ／または修正するために、前のインタラクション及び被験者の監視から得られた所定かつ真の結果と比較することができる。すなわち、ニューラルネットワーク１９０におけるノードは、パラメータを改良するときにそうした決定をなすために用いることができるサッカードモデルのパラメータを学習する。

特に、隠れ層１９２が、入力層１９１と出力層１９３の間に存在する。隠れ層１９２は、「Ｎ」個の隠れ層を含み、「Ｎ」は、１以上の整数である。次に、隠れ層のそれぞれはまた、隠れノードのセットも含む。入力ノードは、隠れノードと相互接続されている。同様に、隠れノードは、出力ノードと相互接続されているため、入力ノードは、出力ノードと直接相互接続されていない。複数の隠れ層が存在する場合、入力ノードは、最下位の隠れ層の隠れノードと相互接続される。次に、これらの隠れノードは、次の隠れ層の隠れノードと相互接続され、以下同様に続く。次の最上位の隠れ層の隠れノードは、出力ノードと相互接続される。相互接続は、２つのノードを接続する。相互接続は、学習することができる数値の重みを有し、ニューラルネットワーク１９０を入力に適応させて、学習可能にする。

一般に、隠れ層１９２により、入力ノードに関する知識が、出力ノードに対応する全てのタスク間で共有されることが可能となる。そのようにするため、一実装例では、隠れ層１９２を介して入力ノードに変換ｆが適用される。例では、変換ｆは、非線形である。例えば線形整流器関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を含む、様々な非線形変換ｆが利用可能である。

ニューラルネットワーク１９０はまた、最適解を見つけるためにコスト関数ｃを使用する。コスト関数は、所与の入力ｘに関してｆ（ｘ）と定義されたニューラルネットワーク１９０によって出力される予測と、グラウンドトゥルースまたはターゲット値ｙ（例えば見込まれる結果）との偏差を測定する。最適解は、最適解のコストよりコストの低い解がない状況を表す。コスト関数の例として、グラウンドトゥルースラベルが利用可能なデータの場合、予測とグラウンドトゥルースとの平均二乗誤差が挙げられる。学習プロセス中に、ニューラルネットワーク１９０は、誤差逆伝播アルゴリズムを使用して、様々な最適化方法を採用し、コスト関数を最小化するモデルパラメータ（例えば隠れ層１９２内のノード間の相互接続の重み）を学習し得る。このような最適化方法の一例として、確率的勾配降下法が挙げられる。

例では、ニューラルネットワーク１９０におけるトレーニングデータセットは、同じデータドメインに由来し得る。例えば、ニューラルネットワーク１９０は、所与の入力または入力データのセットに基づく被験者の類似するサッカードのパターン及び／または特性を学習するようにトレーニングされる。例えば、データドメインは、眼の向きのデータを含む。別の例では、トレーニングデータセットは、ベースライン以外の入力データを含むように、異なるデータドメインに由来する。このようにして、ニューラルネットワーク１９０は、眼の向きのデータを使用してサッカードを認識でき、または、眼の向きのデータに基づいて所与のサッカードにおけるサッカードモデルを生成するように構成され得る。

図５Ａは、本開示の一実施形態による、眼球運動の完了後に画像がユーザに対してぼやけることにつながる、眼球運動に比べてのフレーム更新の遅れがどのようなものかを示すサッカード予測なしのレンダリングパイプライン５０１を示す。レンダリングパイプライン５０１は、前述のように、ＨＭＤ１０２、コンピュータ１０６、及びクラウドゲーミングサーバ１１４内に、単独でまたは組み合わせて実装され得る。

着地点予測が有効になっていないレンダリングパイプライン５０１が図５Ａに示されているが、本開示の実施形態において、レンダリングパイプライン５０１は、図５Ｂに示すように、サッカード及び眼球運動を識別するために、かつ、サッカード中かつ／またはその終わりにユーザの眼（複数可）２６０の視線方向が指しているディスプレイ（例えばＨＭＤ１０２の）上の着地点を予測する（例えばＯＮにされる）ために、視線追跡情報を分析するように最適化され得ることが理解される。すなわち、図５Ｂにおいて、レンダリングパイプライン５０１は、図５Ｂに関して以下でさらに説明するように、着地点の予測に基づいて中心窩レンダリングを実行するように構成され得る。

特に、レンダリングパイプラインは、中央処理装置（ＣＰＵ）８０２、グラフィックス処理ユニット（ＧＰＵ）８１６、及び両方にアクセス可能なメモリ（例えば、頂点バッファ、インデックスバッファ、深度またはＺバッファ、ディスプレイに送られるレンダリングされたフレームを格納するためのフレームバッファなど）を含む。レンダリングパイプライン（またはグラフィックスパイプライン）は、３Ｄ（３次元）ポリゴンレンダリングプロセスを使用するときなどの、画像をレンダリングするための一般的なプロセスを示す。例えば、レンダリングされた画像に対するレンダリングパイプライン５０１は、ディスプレイにおけるピクセルのそれぞれに対する対応する色情報を出力し、色情報は、テクスチャ及びシェーディング（例えば、色、陰影など）を表し得る。

ＣＰＵ８０２は、一般に、オブジェクトアニメーションを実行するように構成され得る。ＣＰＵ８０２は、３Ｄ仮想環境内のオブジェクトに対応する入力ジオメトリを受信する。入力ジオメトリは、３Ｄ仮想環境内の頂点、及び各頂点に対応する情報として表され得る。例えば、３Ｄ仮想環境内のオブジェクトは、頂点によって定義されるポリゴン（例えば、三角形）として表すことができ、対応するポリゴンの表面は、次に、レンダリングパイプライン５０１を介して処理されて、最終効果（例えば、色、テクスチャ、等）を達成する。ＣＰＵ８０２の動作はよく知られており、本明細書では大まかに説明する。一般に、ＣＰＵ８０２は、１つまたは複数のシェーダ（例えば、計算、頂点など）を実装して、オブジェクトに加えられるかつ／またはオブジェクトによって加えられる力（例えば、重力などの外力、及び動きを誘発するオブジェクトの内力）に応じて、フレームからフレームへオブジェクトアニメーションを実行する。例えば、ＣＰＵ８０２は、３Ｄ仮想環境において、オブジェクトの物理シミュレーション及び／または他の機能を実行する。次に、ＣＰＵ８０２は、ＧＰＵ８１６によって実行されるポリゴン頂点に対する描画コマンドを発行する。

特に、ＣＰＵ８０２によって生成されたアニメーション結果は、頂点バッファに格納でき、それは次に、ポリゴン頂点をレンダリングする目的で、ポリゴン頂点のディスプレイ（例えば、ＨＭＤの）への投影及び投影されたポリゴンのテッセレーションを実行するように構成されているＧＰＵ８１６によってアクセスされる。すなわち、ＧＰＵ８１６は、３Ｄ仮想環境内でオブジェクトを構成するポリゴン及び／またはプリミティブをさらに構築するように構成でき、これには、ポリゴンに対するライティング、シャドウイング、及びシェーディング計算の実行が含まれ、それはシーンに対するライティングに依存する。ビュー錐台の外側のプリミティブを識別して無視するクリッピング、及びシーンにおけるオブジェクトをディスプレイ上に投影するためのラスタ化（例えば、オブジェクトを、ユーザの視点に関連付けられた画像平面に投影する）などの追加の操作が実行され得る。単純なレベルでは、ラスタ化には、各プリミティブを調べ、そのプリミティブの影響を受けるピクセルを判別することが含まれる。プリミティブの断片化を使用して、プリミティブをピクセルサイズのフラグメントに分割でき、各フラグメントは、ディスプレイ内のピクセル及び／またはレンダリングの視点に関連付けられた参照面に対応する。１つまたは複数のプリミティブの１つまたは複数のフラグメントは、ディスプレイ上にフレームをレンダリングするときのピクセルの色に寄与し得る。例えば、所与のピクセルについて、３Ｄ仮想環境内のすべてのプリミティブの所与のピクセルフラグメントが、表示のためのピクセルに結合される。つまり、対応するピクセルに対する全体的なテクスチャ及びシェーディング情報が組み合わされて、ピクセルの最終的なカラー値が出力される。これらのカラー値は、フレームバッファに格納でき、フレームごとにシーンの対応する画像を表示するときに対応するピクセルにスキャンされる。

レンダリングパイプライン５０１は、視線方向及び／または向きの情報をＣＰＵ８０２に提供するように構成されている視線追跡システム８２０を含み得る。この視線方向情報は、中心窩レンダリングを実行する目的で使用でき、中心窩領域は、高解像度でレンダリングされ、ユーザが注視している方向に対応する。図５Ａは、中心窩レンダリングに関するがサッカード予測なしで（すなわち、サッカード予測がオフになっている）構成されているレンダリングパイプライン５０１を示す。すなわち、着地点の予測は実行されず、その結果、ＨＭＤに表示されるフレームは、ユーザの眼球運動と一致しない中心窩領域を有する。なぜなら、特に眼が動いているときは、計算された各中心窩領域は表示の際古いからである。さらに、図５Ａは、シーケンス内のフレーム（例えば、Ｆ１からＦ８）がレンダリングパイプライン５０１からスキャンアウトされる時間を示すタイムライン５２０を示す。フレームＦ１からＦ８のシーケンスも、ディスプレイを見ているユーザのサッカードの一部である。

図５Ａに示すように、レンダリングパイプラインは、視線追跡システム８２０、ＣＰＵ８０２、ＧＰＵ８１６、及びレンダリングされたフレームをディスプレイ８１０にスキャンアウトするためのラスタエンジンによって順番に実行される動作を含むとして示されている。例示のために、レンダリングパイプラインシーケンス５９１〜５９５が示される。スペースの制約のため、フレームＦ３からＦ−２２に対するシーケンスといった他のパイプラインシーケンスは示されない。図５Ａに示す例では、レンダリングパイプライン５０１の構成要素のそれぞれは、同じ周波数で動作する。例えば、視線追跡システム８２０は、１２０Ｈｚで視線方向及び／または向きの情報を出力していてもよく、これは、ＣＰＵ８０２及びＧＰＵ８１６のレンダリングパイプラインが使用するのと同じ周波数であり得る。このように、ユーザの眼（複数可）の視線方向２６０は、レンダリングパイプラインでスキャンアウトされるフレームごとに更新され得る。他の実施形態では、視線追跡システム８２０は同じ周波数で動作しておらず、したがって、視線方向情報は、スキャンアウトされているレンダリングされたフレームと一致しない場合がある。その場合には、視線追跡システム８２０の周波数がＣＰＵ８０２及びＧＰＵ８１６によって使用される周波数よりも低速の場合、視線方向情報は追加の遅延を加え得る。

視線追跡情報は、高解像度でレンダリングされる中心窩領域を判定するために用いられ得る。中心窩領域の外側の領域は、低解像度で表示される。しかしながら、図５Ａに示されるように、サッカード予測がない場合、視線追跡情報を用いてスキャンアウトするフレームを判定するときまでに、少なくとも２フレーム期間、そして最大３フレーム期間が、対応するフレームが視線追跡情報を使用して表示されるまでに経過している。例えば、レンダリングパイプラインシーケンス５９１において、視線追跡情報は、時間ｔ−２０（サッカードの中間点）における第１のフレーム期間で判定され、ＣＰＵ８０２に送られる。時間ｔ−２１における第２のフレーム期間で、ＣＰＵ８０２は、オブジェクトに対して物理シミュレーションを実行し、ポリゴンプリミティブを描画命令と共にＧＰＵ８１６に送る。時間ｔ−２３における第３のフレーム期間で、ＧＰＵは、プリミティブアセンブリを実行して、レンダリングされたフレーム（Ｆ２３）を生成する。さらに、ＧＰＵは、少なくとも２フレーム期間前に判定された、時間ｔ−２０における第１のフレーム期間に送られた視線方向に対応する中心窩領域をレンダリングし得る。中心窩領域を含むフレームＦ２３は、時間ｔ−２３における第４のフレーム期間でスキャンアウトされる。注目すべきは、レンダリングパイプラインシーケンス５９１おいて、時間ｔ−２０で判定された視線追跡情報は、少なくともｔ−２１及びｔ−２２におけるフレーム期間（２フレーム期間）、場合によっては第３のフレーム期間の一部分、古くなっていることである。同様に、パイプラインシーケンス５９２は、時間ｔ−２４でフレームＦ２４をスキャンアウトするが、中心窩領域は、遡って時間ｔ−２１における第１のフレーム期間で定義されたものである。また、パイプラインシーケンス５９３は、時間ｔ−２５でフレームＦ２５をスキャンアウトするが、中心窩領域は、遡って時間ｔ−２２における第１のフレーム期間で定義されたものである。さらに、パイプラインシーケンス５９４は、時間ｔ−２６でフレームＦ２６をスキャンアウトするが、中心窩領域は、遡って時間ｔ−２３における第１のフレーム期間で定義されたものである。また、パイプラインシーケンス５９５は、時間ｔ−２７でフレームＦ２７をスキャンアウトするが、中心窩領域は、遡って時間ｔ−２４における第１のフレーム期間で定義されたものである。

眼２６０は、各レンダリングパイプラインに対して検出されている点（例えば、時間）（例えば、レンダリングパイプラインシーケンス５９１または５９２または５９３の開始時など）を過ぎても動き続けるので、スキャンされるときの対応するレンダリングパイプラインシーケンス（例えば、シーケンス５９５）のフレーム（例えばフレームＦ２７）における中心窩領域は、少なくとも２から３フレーム期間古い（あるいは遅れている）場合がある。例えば、スキャンアウト時のレンダリングされたフレームＦ２７は、ユーザの視線方向と一致しない中心窩領域を有する。特に、ディスプレイ８１０は、時間ｔ−２７におけるフレームＦ２７を示すように示され、サッカード経路５１０（フレームＦ０とＦ２７の間）が、ディスプレイ８１０に重ね合わされ、凝視点Ａ（例えば、方向５０６及びベクトルＸＦ−０）を示し、これはサッカードの始まりに対応する。例示のために、フレームＦ１が、時間ｔ−０でサッカード経路５１０の始まりでスキャンアウトされており、中心窩領域は、凝視点Ａを中心としている。サッカード経路５１０は、サッカードの終わりに対応する凝視点Ｂ、またはサッカードの少なくとも第２の点を含む。例示のために、フレームＦ２７は、時間ｔ−２７でサッカード経路５１０の終わりでスキャンアウトされる。

また、レンダリングパイプライン５０１によって実行されるサッカード経路の予測がないことから、視線追跡システム８２０によって提供される視線方向情報は、少なくとも２または３フレーム期間古くなる。このように、フレームＦ２７は時間ｔ−２７でレンダリングパイプラインシーケンス５９５に対してスキャンアウトされているとき、眼２６０は凝視点Ｂ（眼の方向５０７及びベクトルＸＦ−２７で）を凝視するが、レンダリングパイプラインシーケンス５９５は、時刻ｔ−２４で提供された古い視線方向情報を使用する。すなわち、時間ｔ−２４で判定された視線方向情報は、レンダリングパイプラインシーケンス５９５を伝播して、時間ｔ−２７でスキャンアウトされる。特に、時間ｔ−２４における視線追跡システム８２０は、ディスプレイ８１０上の点５９１を指す視線方向を記録している。このように、時間ｔ−２４において、フレームＦ２４がスキャンアウトされているとき、ユーザの眼２６０は、ディスプレイの点５９１に向けられている。レンダリングされているときのフレームＦ２４の中心窩領域がディスプレイ８１０上に正しく配置されているかどうかは、サッカード中、眼２６０によって受けられた画像は完全に処理されず視聴者においてぼやけて見え得るので、重要ではない場合がある。しかしながら、フレームＦ２７が時間ｔ−２７でディスプレイ８１０上にスキャンアウトされるとき、レンダリングされた中心窩領域５４９が時間ｔ−２４における点５９１の周囲にあると計算されていても、ユーザの眼は凝視点Ｂ（点線領域５９２によって示されるように）を向いている。このように、前述のように、時間ｔ−２７において眼２６０を領域５９２に向けかつ焦点を合わせいるユーザにとって、領域５９２は周辺にあると計算され、より低い解像度でレンダリングされ得るが、古い中心窩領域５４９（眼が向けられていない）は高解像度でレンダリングされるため、フレームＦ２７はぼやけて見える。

図５Ｂは、本開示の一実施形態による、レンダリングパイプラインにおける高解像度の中心窩領域の更新を進めることによって、眼球運動の完了後、画像がユーザに対して焦点を合わせるように、ＨＭＤのディスプレイを見ているユーザの眼球運動のサッカード予測ありで構成されているレンダリングパイプラインの結果的な効果を示す。例えば、図５Ａに示されているレンダリングパイプライン５０１において、ここで、サッカード予測、より具体的には着地点予測を有効にする。すなわち、レンダリングパイプライン５０１は、ここで、サッカード及び眼球運動を識別するため視線追跡情報を分析するように、かつ、サッカード中かつ／またはその終わりにユーザの眼（複数可）２６０の視線方向が指している、ディスプレイ（例えばＨＭＤ１０２の）上の着地点を予測する（例えばＯＮにする）ように最適化される。このように、図５Ｂにおいて、レンダリングパイプライン５０１は、ここで、着地点の予測に基づいて中心窩レンダリングが行われるように構成されている。例示のみを目的として、図５Ｂは、一実施形態におけるサッカード５１０の終わりの着地点の予測を示すが、他の実施形態では、サッカード中の着地点の予測が可能である（例えば、現在のサンプル点を過ぎて３から５フレーム期間、着地点を予測する）。

特に、ディスプレイ８１０は、時間ｔ−２７でフレームＦ２７を提示するように示される。サッカード経路５１０は、ディスプレイ８１０に重ね合わされ、サッカードの始まりに対応する凝視点Ａ（例えば、方向５０６及びベクトルＸＦ−０）を示す。例示のために、フレームＦ１は、時間ｔ−０でサッカード経路５１０の始まりでスキャンアウトされており、中心窩領域は、凝視点Ａを中心とする。サッカード経路５１０は、サッカードの終わりに対応する凝視点Ｂ、またはサッカードの少なくとも第２の点を含む。例示のために、フレームＦ２７は、時間ｔ−２７においてサッカード経路５１０の終わりにスキャンアウトされる。

各フレームがスキャンアウトされるときに、サッカード予測がレンダリングパイプライン５０１内で実行される。一実施形態では、サッカード予測及び／または着地点予測は、ＣＰＵ８０２、ＧＰＵ８１６、または両方の組み合わせ内で実行することができる。別の実施形態では、サッカード予測は遠隔で実行され、レンダリングパイプライン５０１へ入力として送られる。予測が実行されると、ＧＰＵ８１６は、フレームを着地点予測に基づく中心窩領域とともにレンダリングすることができる。特に、ＧＰＵ８１６は、中心窩レンダリングを修正することができ、その結果、図５Ａで前述したような古い視線方向情報に依存する代わりに、予測着地点を用いて中心窩領域の位置を判定する。

特に、凝視点Ｂに対する予測着地点が、ディスプレイ８１０に重ね合わされる。これらの着地点は、前のレンダリングパイプラインシーケンスで判定されたものである。特に、フレームＦ８以降のフレームがスキャンアウトされる時間までに、サッカードにおける予測着地点は、例えば凝視点Ｂに収束している。示されるように、サッカード検出後のある点で（例えば、時間ｔ−５におけるフレームＦ５のスキャンアウト中）、予測が実行される。例えば、予測は、フレームＦ５及び後続のフレームのレンダリングから開始して実行され得る。サッカード５１０は、図５Ａで以前に紹介しており、開始点として凝視点Ａ、及び凝視点Ｂ（例えば、終点、またはサッカード内の事前定義された点−未来の３から５フレーム期間など−として）を含む。

フレームＦ５がスキャンアウトされるとき、予測着地点（例えば、ベクトルＸＦ−５を中心とする）が、凝視点Ｂから離れている、予測中心窩領域５４１として示される。次のレンダリングパイプラインシーケンスでは、フレームＦ６がスキャンアウトされるとき、予測着地点（例えば、ベクトルＸＦ−６を中心とする）が予測中心窩領域５４２として示され、これは、凝視点Ｂに近いが、まだ離れている。予測は収束するため、次のレンダリングパイプラインシーケンスでは、フレームＦ７がスキャンアウトされるとき、予測着地点（ベクトルＸＦ−７を中心とする）が、凝視点Ｂに非常に近い、予測中心窩領域５４３として示される。フレームＦ８がスキャンされるとき、次のレンダリングパイプラインシーケンスに収束が現れ得、予測着地点（例えば、ベクトルＸＦ−８を中心とする）は、凝視点Ｂを中心とする予測中心窩領域５９２（太字）として示される。任意の後続のレンダリングパイプラインシーケンスに対して、中心窩領域５９２は、サッカード５１０のフレームＦ９からＦ２７をレンダリング及びスキャンアウトするときなど、レンダリングに使用され、凝視点Ｂを中心とする。そのようにして、フレームＦ２７がレンダリングされると、凝視点Ｂに対する着地点予測により、中心窩領域５９２は、サッカードの終わりにおいてなどで、ユーザの眼（複数可）２６０の運動と一致する。また、着地点の予測は、フレームＦ８のレンダリング及びスキャンアウトとともに収束するので、フレームＦ９からＦ２７は全て、ユーザの眼（複数可）の運動に備えて、既に中心窩領域５９２を有し得る。このように、予測なしで中心窩領域５４９をレンダリングする代わりに（図５Ａに記載されるように）、標的着地点（例えば、未来の定義されたフレーム期間数、サッカードの終わりなど）は、予測中心窩領域５９２を用いて更新され、眼がその予測着地点に到達したときに、フレームが、その予測着地点を中心とする中心窩領域とともにレンダリングされるようにする。

図６Ａは、本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザのサッカードの眼の変位及び速度を示すグラフ６００Ａを示す。グラフ６００Ａは、サッカード中の眼球運動の角速度（ｄθ／ｄｔ）を示す垂直軸６１０Ａを含む。さらに、グラフ６００Ａは、角変位（θ）を示す別の垂直軸６１０Ｂを含む。グラフ６００Ａは、時間を示す横軸６１５を含み、時間ｔ−０とおおよそｔ−２７及び／またはｔ−２８の間のサッカードにおける時系列を含む。

純粋に例示のために、グラフ６００Ａは、線６３０でサッカードの角変位を示す。以前に紹介したように、サッカードは、ディスプレイ上のある凝視点から別の凝視点に移動するときになされたユーザの眼（複数可）の急速なかつ同時の運動を定義する。示されるように、眼の変位線６３０によって示されるような角運動は、特定の方向（例えば、左から右へ）にある。すなわち、サッカード中、眼の視線方向は、グラフ６００Ａの例では、０度から３０度の間で移動する。

それに対応して、純粋に例示のために、グラフ６００Ａは、線６２０でサッカード中の眼の速度を示す。異なるサッカードの速度グラフは、一般に、線６２０に示されているのと同じ形状に従う。例えば、サッカードの開始時、サッカードの速度は線形進行に従う（例えば、時間ｔ−０とｔ−８の間）。線形進行後、速度は時間ｔ−８とｔ−１７の間などでプラトーになり得る。線６２０の速度グラフは、プラトー後、サッカードの終了まで、例えば、時間ｔ−１７とｔ−２７の間などで、速度の急激な低下を示す。

本開示の実施形態は、現在のサッカードの速度グラフの一部（例えば、線６２０の線形部分）を、モデル化されたサッカード（例えば、深層学習エンジン１９０をトレーニングすると構築される）に一致させる。現在のサッカードの着地点は、サッカード中の任意の点におけるモデル化されたサッカードの着地点に近似でき、現在のサッカードにおいて予測することができる。

図６Ｂは、本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザのサッカードの速度グラフ６００Ｂにおける様々なサンプル点での眼の向き／追跡データのサンプリングを示す。グラフ６００Ｂは、図６Ａのグラフ６００Ａに従い、サッカード中の眼球運動の角速度（ｄθ／ｄｔ）を示す垂直軸６１０Ａ、及び水平軸６１５を含むが、線６２０でサッカードの速度のみを示すように切り離されている。

特に、サッカード中の様々なサンプル点で、視線追跡システム８２０から眼の向き／追跡データが収集される。例示のみを目的として、サンプル点は少なくとも時間ｔ−０、ｔ−１、ｔ−２…ｔ−２７…ｔ−ｎに生じ得る。例えば、線６２０上のサンプル点Ｓ１は、時間ｔ−１における視線追跡データ（例えば、視線方向、速度など）に関連し、サンプル点Ｓ２は、時間ｔ−２における視線追跡データに関連し、サンプル点Ｓ３は、時間ｔ−４における眼の向き／追跡データに関連し、サンプル点Ｓ５は、時間ｔ−５における視線追跡データに関連し、サンプル点Ｓ６は、時間ｔ−６における視線追跡データに関連し、サンプル点Ｓ７は、時間ｔ−７における視線追跡データに関連し、サンプル点Ｓ８は、時間ｔ−８における視線追跡データに関連するなど、である。例として、各サンプル点で収集されたデータは、前述のように、視線方向、時間、及び他の情報を含み得る。データに基づいて、ユーザの眼（複数可）に対する速度情報が判定され得る。一部の実施形態では、速度データは、視線追跡システム８２０から直接収集され得る。

このように、速度線６２０によって示されるサッカード中、少なくともサンプル点Ｓ１からおおよそＳ２７までに対して視線追跡データが収集かつ／または判定される。サンプル点Ｓ１からＳ８は、グラフ６００Ｂで強調されて、図５Ｂで先に示したようにサッカードに対する着地点の予測の収束を示し（例えばサッカード５１０の終わり）、それは、サンプル点Ｓ８に対応するおおよそ時間ｔ−８での収束を示す。

図６Ｃは、本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザの眼（複数可）２６０に関連するサッカードの着地点を予測するために使用される１つまたは複数のサンプル点のセットに対する眼の向き／追跡データの収集を示す。図６Ｃは、ユーザの眼（複数可）のサッカードの着地点を予測するための、図６Ｂのグラフ６００Ｂで紹介したサンプル点での情報の使用を示す。

示されるように、眼の向き／追跡データは、複数のサンプル点６５０（例えば時間ｔ−１からｔ−２７のそれぞれにおけるＳ１からＳ２７）において眼２６０上で視線追跡システム８２０によって収集される。純粋に例示のみを目的として、サッカードは、凝視点Ａと凝視点Ｂの間を０から３０度の間で移動するように示される。

特に、速度データは、サンプル点６５０のそれぞれに対する眼の向き／追跡データから収集かつ／または判定される。サンプル点を強調する丸６４０が拡大して示され、少なくともサンプル点Ｓ１からＳ８を含む。例えば、速度データＶ１はサンプル点Ｓ１と関連し、速度データＶ２はサンプル点Ｓ２と関連し、速度データＶ３はサンプル点Ｓ３と関連し、速度データＶ４はサンプル点Ｓ４と関連し、速度データＶ５はサンプル点Ｓ５と関連し、速度データＶ６はサンプル点Ｓ６と関連し、速度データＶ７はサンプル点Ｓ７と関連し、少なくとも速度データＶ８はサンプル点Ｓ８と関連する。追加データが残りのサンプル点に対して収集かつ／または判定されるが、丸６４０には示されていない。

予測の目的で、ユーザの眼（複数可）がサッカードにあると識別されると、サンプル点のセットからの情報が収集される。例示の目的のために、サッカード識別は、サンプル点Ｓ５と関連する時間ｔ−５で発生可能であり、それはまた未来のフレームＦ８のレンダリングの開始と一致する。一実施形態では、サッカード識別は、眼（複数可）の速度が閾値速度に達するかつ／またはそれを超えると確認される。

サッカード識別後、事前定義された着地点の予測が実行される。具体的には、サンプル点のセットからの情報が識別される。少なくとも、情報には、測定されるかつ／または計算される角速度が含まれる。セットには、現在のサンプル点を含む、事前定義された数のサンプル点が含まれ得る。例えば、セットには、１から１０のサンプル点が含まれ得る。一実施形態では、セットには、エラーを低減するために３から５のサンプル点が含まれ得る。

例示の目的で、セットには、図６Ｃに記載されているように、現在のサンプル点を含む４つのサンプル点が含まれ得る。サンプル点のセットから情報を収集するスライディングウィンドウが示される。例えば、現在のサンプル点Ｓ５に対応するフレーム期間または時間において、ウィンドウ（ｗ１）は、サンプル点Ｓ２からＳ５を含み、これらのサンプル点からのそれぞれの情報（例えば速度）を用いて着地点を予測する。次の現在のサンプル点Ｓ６に対応する次のフレーム期間または時間において、ウィンドウ（ｗ２）は、サンプル点Ｓ３からＳ６を含み、それぞれの情報を用いて更新着地点を予測する。また、次の現在のサンプル点Ｓ７に対応する次のフレーム期間または時間において、ウィンドウ（ｗ３）は、サンプル点Ｓ４からＳ７を含み、それぞれの情報を用いて更新着地点を予測する。収束は、次の現在のサンプル点Ｓ８に対応する次のフレーム期間または時間に発生可能であり、ウィンドウ（ｗ４）はサンプル点Ｓ５からＳ８を含む。

収束は、図５Ｂに関連して以前に説明している。収束の確認は、ウィンドウｗ５...ｗ２７に対してなど着地点の後続の予測をもって発生し得る。一実施形態では、収束が確認されると、予測は停止され得る。

図６Ｄは、本開示の一実施形態による、ＨＭＤのディスプレイを見ているユーザに関連するサッカードの着地点（例えば、サッカードの終わり）を予測するために使用されるサンプル点のセットに対する眼の向きのデータを一覧表示している表６００Ｄを示す。図６Ｄは、凝視点Ｂにおける予測着地点の予測及び収束を示す図５Ｂと連携している。

具体的には、列６６１はウィンドウ指定を示し（例えばｗ１からｗ５）、列６６２はサンプル点のセットを示し、列６６３はサッカードの終わりと一致する予測着地点を示し、ここで角変位は、凝視点Ａにおけるサッカードの開始を基準としており、列６６４は、予測サッカード終了時間（例えば、フレームまたはフレーム期間単位で）を示し、ここで予測終了時間は、凝視点Ａにおけるサッカードの開始時間を基準としている。

例えば、ウィンドウｗ１は、サンプル点Ｓ２からＳ５を含むサンプル点のセットからの情報（例えば、速度）を使用して着地点（サッカードの終了）を予測する。予測着地点に対するユーザの眼（複数可）の予測視線方向は、４２度の角度を持つベクトルＸＦ−５である。予測着地点は、図５Ｂの凝視領域５４１を中心として示される。さらに、サッカードの予測終了時間または持続時間は、フレーム及び／またはフレーム期間Ｆ３８に関連するおおよそ時間ｔ−３８であると予測される。

また、ウィンドウｗ２は、サンプル点Ｓ３からＳ６を含むサンプル点のセットからの情報（例えば速度）を使用して更新着地点（サッカードの終わり）を予測する。予測着地点に対するユーザの眼（複数可）の予測視線方向は、１８度の角度を持つベクトルＸＦ−６である。予測着地点は、図５Ｂの凝視領域５４２を中心として示される。さらに、サッカードの予測終了時間または持続時間は、フレーム及び／またはフレーム期間Ｆ２０に関連するおおよそ時間ｔ−２０であると予測される。

ウィンドウｗ３は、サンプル点Ｓ４からＳ７を含むサンプル点のセットからの情報（例えば、速度）を使用して更新着地点（サッカードの終わり）を予測する。予測着地点に対するユーザの眼（複数可）の予測視線方向は、２８度の角度を持つベクトルＸＦ−７であり、これは、３０度の角度における凝視点Ｂに近接する。予測着地点は、図５Ｂの凝視領域５４３を中心として示され、これは、凝視点Ｂに近接する。さらに、サッカードの予測終了時間または持続時間は、フレーム及び／またはフレーム期間Ｆ２５に関連するおおよそ時間ｔ−２５であると予測される。

ウィンドウｗ４及びｗ５は、予測着地点（例えばサッカードの終わり）の収束を示す。すなわち、これらのウィンドウに関連付けられた予測は、３０度（例えば、凝視点Ａから）の着地点を示す。例えば、ウィンドウ（ｗ４）は、サンプル点Ｓ５からＳ８を用いて着地点を予測する。ユーザの眼（複数可）の予測視線方向及び予測着地点は、３０度の角度を持つベクトルＸＦ−８であり、これは凝視点Ｂに対する角度でもある。サッカードの予測終了時間または持続時間は、フレーム及び／またはフレーム期間Ｆ２７に関連するおおよそ時間ｔ−２７であると予測される。また、ウィンドウ（ｗ５）は、サンプル点Ｓ６からＳ９を用いて、凝視点Ｂにおける３０度と同一の着地点を予測する。サッカードの予測終了時間または持続時間は、フレーム及び／またはフレーム期間Ｆ２７に関連する時間ｔ−２７であり同一である。このように、収束は、ウィンドウ（ｗ４）で発生し、収束の確認は、ウィンドウ（ｗ５）で発生する。後続の予測では、収束した着地点が示されるであろう。

ゲーム機、ＨＭＤ、及びクラウドゲーミングサーバの様々なモジュールの詳細な説明とともに、本開示の一実施形態による、着地点がサッカード中の任意の点またはその終わりで生じ得る、サッカードを体験しているユーザの眼（複数可）の視線方向に関連付けられた、ディスプレイ（例えばＨＭＤの）上の着地点を予測する方法が、ここで、図７の流れ図７００に関連して説明される。前述のように、流れ図７００は、ＨＭＤ、ゲーム機、及びクラウドゲーミングサーバの１つまたは複数で着地点を予測するために含まれる動作のプロセス及びデータフローを示す。特に、流れ図３００の方法は、少なくとも部分的に図１Ａ〜１Ｃ、２及び４Ａ〜４Ｃのサッカード予測エンジン４００によって実行され得る。

７１０で、方法は、複数のサンプル点で、ＨＭＤに配置されている視線追跡システムを用いて、ユーザの少なくとも片方の眼球の運動を追跡することを含む。例えば、少なくとも視線方向を含むように、眼の向き／追跡データが収集され得る。例えば、本開示の一実施形態にしたがって、視線方向は、様々な時間ｔ０からｔ５において図６Ｅに示され得る。図６Ｅでは、時間ｔ０において、視線方向は、ベクトルＸｔ０によって定義され、時間ｔ１において、視線方向は、ベクトルＸｔ１によって定義され、時間ｔ２において、視線方向は、ベクトルＸｔ２によって定義され、時間ｔ３において、視線方向は、ベクトルＸｔ３によって定義され、時間ｔ４において、視線方向は、ベクトルＸｔ４によって定義され、時間ｔ５において、視線方向は、ベクトルＸｔ５によって定義される。

７２０で、方法は、追跡に基づいて運動の速度を判定することを含む。図６Ｅに示すような視線方向ベクトルは、ユーザの眼（複数可）の速度を判定するのに使用され得る。すなわち、眼（複数可）の速度は、２つのサンプル点からの第１の眼または視線方向及び第２の眼または視線方向に基づいて判定され得る。特に、２つのサンプル点の間の視線方向、２つの視線方向の間の角度、及び２つのサンプルの点の間の時間を用いて、２つのサンプル点の間の速度を判定し得る。例えば、２つのサンプル点の間の角度（θ）は、次の式で定義される三角関数を含む多数の手法のうちの１つを使用して判定され得る。例示として、角度（θ）は、一実施形態において、以下の式（１）を使用して、時間ｔｎ及び時間ｔｎ−１で取られた２つのサンプル点の間で判定される。図６Ｅを参照すると、角度θ２は、ベクトルＸｔ１及びＸｔ２から判定でき、角度θ３は、ベクトルＸｔ２及びＸｔ３から判定でき、θ４は、ベクトルＸｔ３及びＸｔ４から判定でき、角度θ５は、ベクトルＸｔ４及びＸｔ５から判定され得る。

式１は、時間ｔｎ及び時間ｔｎ−１で取られた２つのサンプル点の視線方向の間の角度を与える。２つのサンプル点の間で発生する速度を計算するには、以下の式（２）に示すように、角度を２つのサンプル点の間の持続時間であるΔｔで除算する。

速度（１秒あたりの度）=θ／（ｔｎ−ｔｎ−１） （2）

このように、速度（ｖ２）は、ベクトルＸｔ１及びＸｔ２を用いて、時間ｔ１及びｔ２で取られたサンプル点の間で判定することができ、速度（ｖ３）は、ベクトルＸｔ２及びＸｔ３を用いて、時間ｔ２及びｔ３で取られたサンプル点の間で判定することができ、速度（ｖ４）は、ベクトルＸｔ３及びＸｔ４を用いて、時間ｔ３及びｔ４で取られたサンプル点の間で判定することができ、速度（ｖ５）は、ベクトルＸｔ４及びＸｔ５を用いて、時間ｔ４及びｔ５で取られたサンプル点の間で判定することができる。

７３０で、この方法では、一実施形態において、速度が閾値速度に達したとき、ユーザの眼がサッカードにあると判定する。他の実施形態では、ユーザの眼（複数可）がサッカードにあると判定するのに他の方法を使用することができる。前に説明したように、閾値速度は、眼（複数可）が別のタイプの運動（例えば、円滑追跡）を体験している可能性があるときまたはデータにノイズが多いとき、サッカードを識別しないように事前定義されている。

７４０で、この方法では、サッカードにおける眼の方向に対応する、ＨＭＤのディスプレイ上の着地点を予測する。一実施形態では、その方向は、眼の視線方向に対応する。視線方向はＨＭＤの画面に対して定義され得るので、視線方向は、画面上の位置に変換され得る。位置とは、着地点である。着地点は、フレームに対して高解像度でレンダリングされる中心窩領域の中心として使用され得る。一実施形態では、着地点は、サッカード中の任意の点で発生可能であり、眼の中間方向に対応するサッカードの中間点を含む。例えば、一実施形態では、着地点は、現在のフレーム期間を過ぎて事前定義されたフレーム期間の数だけ発生し得る。別の実施形態では、着地点は、サッカードの終わりに発生可能であり、眼の凝視方向に対応する。

着地点の予測は、サンプル点のセットに対する眼球運動を追跡するときの眼の向き／追跡データを収集することを含み得る。すなわち、サンプル点のセットからの情報を用いて、着地点を予測する。眼の向き／追跡データは、ＨＭＤに関する少なくとも眼及び／または視線の方向を含み、セットのうちの少なくとも１つのサンプル点は、サッカード中に発生する。速度情報は、前に説明したように、眼の向き／追跡データから判定でき、速度データも、着地点を予測するために使用され得る。さらに、サンプル点のセットに対する眼の向き／追跡データは、リカレントニューラルネットワーク（例えば深層学習エンジン）に入力として提供される。ニューラルネットワークは、例えば、被験者の複数のサッカードの以前に測定された眼の向きのデータに関してトレーニングされる。一実施形態では、リカレントニューラルネットワークは、長短期記憶ニューラルネットワーク、及び全結合された多層パーセプトロンネットワークを含む。リカレントニューラルネットワークは、サンプル点のセットに対する眼の向きのデータから構築された眼の速度グラフの一部を、被験者の複数のサッカードから構築された眼の速度グラフと比較するように構成され得る。ユーザのサッカードの眼の速度グラフの一部との一致は、リカレントニューラルネットワークにおけるトレーニングされたサッカードを用いてなされ得る。一致がなされると、ユーザのサッカードの１つまたは複数の予測着地点は、トレーニングされたサッカードの１つまたは複数の着地点に近似し得る。このようにして、サッカードの着地点（例えば、サッカードの終わり、またはサッカード中の中間点）は、リカレントニューラルネットワークを使用して、サンプル点のセットからの情報を用いて予測され得る。

さらに、着地点の予測は、異なるサンプル点のセットのデータを用いる後続の予測をもって更新され得る。例えば、第１の現在のサンプル点に関連して、第１の着地点が７４１で予測される。第１の着地点の予測は、第１のサンプル点及び少なくとも１つの前のサンプル点を含む第１のサンプル点のセットの眼の向きのデータに基づく。眼の向きのデータには、ＨＭＤに関する眼及び/または視線方向が含まれる。７４２で、サッカードにおける第１のサンプル点に続く第２の現在のサンプル点に関連して、更新された予測が行われる。着地点の更新は、第２のサンプル点及び少なくとも１つの前のサンプル点（例えば、第１のサンプル点）を含む第２のサンプル点のセットの眼の向きのデータに基づいて、第２の着地点を予測することを含む。

決定ステップ７４３で、方法は、予測着地点の収束があるかどうかを判定する。例えば、２つの予測着地点が閾値測定値内にある（例えば、２つの予測着地点の間のディスプレイ上のデルタ距離）とき、収束は発生し得る。一実施形態では、２つの予測着地点が同一であるとき収束は発生する。

収束がない場合、方法は７４４に進み、別の予測が行われる。具体的には、前のサンプル点に続く次のサンプル点において、次の着地点が、次のサンプル点及び少なくとも１つの前のサンプル点からの眼の向き／追跡データに基づいて予測される。方法は、決定ステップ７４３に戻って、収束があるかどうかを判定する。

一方、収束がある場合、方法は７４５に進み、最後の予測着地点が、サッカード予測の着地点として選択される。すなわち、収束により、最後に計算された着地点が予測着地点として使用される。

一実施形態では、中心窩レンダリングが、予測着地点に基づいて行われ得る。例えば、第１のビデオフレームが、表示するためにレンダリングでき、第１のビデオフレームは、ディスプレイ上の予測着地点を中心とする中心窩領域を含む。中心窩領域は、高解像度でレンダリングされ得る。さらに、ディスプレイの中心窩ではない領域は、ディスプレイの残りの部分を含み、より低い解像度でレンダリングされる。さらに、中心窩領域を有する第１のビデオフレームは、ＨＭＤのディスプレイ上に提示され、眼は、第１のビデオフレームを表示するとき、着地点（すなわち、中心窩領域に対応する）に向けられると予測される。

別の実施形態では、ＨＭＤ上に表示するためにフレームをレンダリングするときの電力消費を削減するために、追加の手段を取り得る。特に、サッカード中、眼球運動が速すぎる場合があるので、ユーザは、レンダリングされ表示される中間フレーム見ることができない場合がある。このようにして、中間ビデオフレームのうちの少なくとも１つのレンダリングは、レンダリングに使用されるコンピューティングリソースを節約するために、終了され得る。すなわち、方法は、第１のビデオフレームの前にレンダリングされる、サッカード中の少なくとも１つのビデオフレームのレンダリングを終了することを含む。

さらに別の実施形態では、ＨＭＤ上に表示するためにフレームをレンダリングするときの電力消費を削減するために別の手段をとり得る。特に、ユーザは、サッカード中レンダリングされ表示される中間フレームを見ることができない場合があるので、ビデオフレーム全体は、より低い解像度でまたは低解像度でレンダリングされ得る。すなわち、そのフレームに対して中心窩領域はレンダリングされない。言い換えれば、方法は、第１のビデオフレームの前にレンダリングされる、サッカード中の少なくとも１つのビデオフレームを低解像度でレンダリングすることを含む。

図８は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス８００の構成要素を示す。例えば、図８は、一実施形態による、ユーザの眼球（複数可）運動が、更新された標的着地点におけるディスプレイ上の中心窩領域の提示と一致するように、ディスプレイ上の標的着地点を予測かつ更新するように構成されているデバイスを実装するのに適した例示的なハードウェアシステムを示す。着地点の予測が、ＨＭＤならびにより従来のディスプレイの文脈両方で実行され得るときの、例示的なデバイス８００が一般に記載される。このブロック図は、開示の実施形態を実施するのに適した、パーソナルコンピュータ、ビデオゲーム機、パーソナルデジタルアシスタント、または他のデジタルデバイスを組み込むことができる、またはそれらであり得るデバイス８００を示す。デバイス８００は、ソフトウェアアプリケーション及び任意選択的にオペレーティングシステムを動作させる中央処理装置（ＣＰＵ）８０２を含む。ＣＰＵ８０２は、１つまたは複数の同種または異種の処理コアで構成され得る。例えば、ＣＰＵ８０２は、１つまたは複数の処理コアを有する１つまたは複数の汎用マイクロプロセッサである。メディア及びインタラクティブエンターテインメントアプリケーション、または前述のようなディスプレイを見ているユーザに関連して定義されるサッカード中かつ／またはその終わりのユーザの眼（複数可）の視線方向に関連付けられたディスプレイ上の着地点の予測を提供するように構成されているアプリケーションなど、高並列かつ計算集中的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを用いて、さらなる実施形態を実装することができる。

メモリ８０４は、ＣＰＵ８０２が使用するアプリケーション及びデータを格納する。ストレージ８０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、かつ、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ−ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含み得る。ユーザ入力デバイス８０８は、１人以上のユーザからのユーザ入力をデバイス８００へ通信するものであり、その例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルレコーダ／カメラもしくはビデオレコーダ／カメラ、ジェスチャを認識する追跡デバイス、及び／またはマイクロフォンが挙げられ得る。ネットワークインターフェース８１４は、デバイス８００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、かつ、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークを介する有線または無線通信を含み得る。オーディオプロセッサ８１２は、ＣＰＵ８０２、メモリ８０４、及び／またはストレージ８０６によって提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合されている。ＣＰＵ８０２、メモリ８０４、データストレージ８０６、ユーザ入力デバイス８０８、ネットワークインターフェース８１０、及びオーディオプロセッサ８１２を含むデバイス８００の構成要素は、１つ以上のデータバス８２２を介して接続されている。

グラフィックスサブシステム８１４がさらに、データバス８２２及びデバイス８００の構成要素と接続されている。グラフィックスサブシステム８１４は、グラフィック処理装置（ＧＰＵ）８１６及びグラフィックメモリ８１８を含む。グラフィックメモリ８１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えばフレームバッファ）を含む。グラフィックメモリ８１８は、ＧＰＵ８１６と同じデバイスに統合する、ＧＰＵ８１６に別個のデバイスとして接続する、かつ／またはメモリ８０４内に実装することができる。画素データは、ＣＰＵ８０２から直接グラフィックメモリ８１８へ提供することができる。代替として、ＣＰＵ８０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ８１６に提供し、ＧＰＵ８１６は、そこから、１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ８０４及び／またはグラフィックメモリ８１８に格納することができる。実施形態において、ＧＰＵ８１６は、シーンの形状、照明、陰影、テクスチャ、モーション（動き）、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ８１６はさらに、シェーダプログラムを実行可能な１つまたは複数のプログラム可能実行ユニットを含み得る。

グラフィックスサブシステム８１４は、グラフィックメモリ８１８からの画像の画素データを周期的に出力して、ディスプレイデバイス８１０に表示させる、または投影システム８４０によって投影させる。ディスプレイデバイス８１０は、デバイス８００からの信号に応じて視覚情報を表示可能である任意のデバイスであり得、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス８００は、ディスプレイデバイス８１０に、例えばアナログ信号またはデジタル信号を提供することができる。

さらに、デバイス８００は、前述のような、視線追跡センサ２６５及び光源（例えば、不可視赤外光を放出する）を含む視線追跡システム８２０を含む。

本明細書で説明される実施形態は、任意のタイプのクライアントデバイス上で実行され得ることを理解すべきである。一部の実施形態では、クライアントデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、または投影システムである。図９では、開示の実施形態による、ヘッドマウントディスプレイ１０２の構成要素を例示する図が示される。ＨＭＤ１０２は、ディスプレイを見ているユーザに関連して定義されるサッカード中かつ／またはその終わりのユーザの眼（複数可）の視線方向に関連付けられた、ＨＭＤのディスプレイ上の着地点を予測するように構成され得る。

ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ９００を含む。メモリ９０２は、ストレージ目的で提供され、揮発性メモリ及び不揮発性メモリの両方を含み得る。ユーザが見得る視覚的インターフェースを提供するディスプレイ９０４が含まれる。ヘッドマウントディスプレイ１０２の電源として、バッテリ９０６が提供される。モーション検出モジュール９０８は、磁力計９１０Ａ、加速度計９１２及びジャイロスコープ９１４などの、様々な種類のモーション検知ハードウェアのいずれかを含み得る。

加速度計は、加速度及び重力誘起反力を測定するデバイスである。様々な方向の加速の大きさ及び方向を検出するために、単軸モデル及び多軸モデルが利用可能である。加速度計を使用して、傾き、振動、及び衝撃を感知する。一実施形態では、３つの加速度計９１２を使用して重力方向が提供され、これにより、２つの角度（世界空間ピッチ及び世界空間ロール）の絶対基準が与えられる。

磁力計は、ヘッドマウントディスプレイ付近の磁場の強度及び方向を測定する。一実施形態において、３つの磁力計９１０Ａが、ヘッドマウントディスプレイ内で使用され、世界空間ヨー角度についての絶対基準を確保する。一実施形態では、磁力計は、±８０マイクロステラの地磁場範囲を有するように設計される。磁力計は金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。磁場は環境内の金属により歪むことがあり、これによりヨー測定に歪みが生じる。必要な場合、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を用いて、較正することができる。一実施形態では、加速度計９１２を磁力計９１０と共に使用して、ヘッドマウントディスプレイ１０２の傾斜角及び方位を取得する。

ジャイロスコープは、角運動量の原理に基づいて、配向を測定または維持するためのデバイスである。一実施形態では、３つのジャイロスコープ９１４は、慣性感知に基づいて、それぞれの軸（ｘ、ｙ、及びｚ）にわたる動きに関する情報を提供する。ジャイロスコープは、高速回転の検出に役立つ。しかしながら、ジャイロスコープは、絶対基準が存在しないと、時間の経過と共にドリフトし得る。このことは、周期的にジャイロスコープを再設定することを必要とし、再設定は、オブジェクトの視覚追跡、加速度計、磁力計などに基づく位置／配向判定といった、他の利用可能な情報を用いて行われ得る。

実環境の画像及び画像ストリームを取り込むために、カメラ９１６が提供される。後面（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ているときユーザから離れる方向を向く）カメラと、前面（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ているときユーザを向く）カメラとを含む２つ以上のカメラが、ヘッドマウントディスプレイ１０２に含まれ得る。さらに、実環境内のオブジェクトの深度情報(depth information)を感知するために、深度カメラ９１８がヘッドマウントディスプレイ１０２に含まれ得る。

一実施形態では、ＨＭＤの前面に統合されたカメラを使用して、安全に関する警告が提供され得る。例えば、ユーザが壁またはオブジェクトに接近している場合、ユーザに警告が与えられ得る。一実施形態では、室内の物理的オブジェクトの外観をユーザに提供して、ユーザにそれらの存在を警告し得る。外観は、例えば仮想環境において重ね合わせられ得る。一部の実施形態では、例えば床に重ね合わせられた参照マーカの表示が、ＨＭＤユーザに提供され得る。例えば、マーカは、ユーザに、ユーザがゲームをプレイしている部屋の中心の場所の参照を提供し得る。これは、例えば部屋の中の壁または他のオブジェクトに衝突しないようにユーザが移動すべき場所の視覚情報をユーザに提供し得る。ユーザがＨＭＤを装着してゲームをプレイする、またはＨＭＤでコンテンツを操作するとき、安全性を高めるために、触覚的警告及び／または音声警告もユーザに提供することができる。

ヘッドマウントディスプレイ１０２は、音声出力を提供するスピーカ２５２を含む。また、周囲環境からの音、ユーザによる発言などを含む実環境からの音声を取り込むために、マイクロフォン２５１が含まれ得る。ヘッドマウントディスプレイ１０２は、ユーザに触覚フィードバックを提供する触覚フィードバックモジュール２８１を含む。一実施形態では、触覚フィードバックモジュール２８１は、触覚フィードバックをユーザに提供することができるように、ヘッドマウントディスプレイ１０２の動き及び／または振動を引き起こすことが可能である。

ＬＥＤ９２６は、ヘッドマウントディスプレイ１０２の状態の視覚的インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源オンなどを示し得る。ヘッドマウントディスプレイ１０２がメモリカードから情報を読み出し、メモリカードに情報を書き込むことを可能にするために、カードリーダ９２８が提供される。周辺デバイスの接続、または他のポータブルデバイス、例えばコンピュータなどの他のポータブルデバイスへの接続を可能にするインターフェースの一例として、ＵＳＢインターフェース９３０が含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態では、ヘッドマウントディスプレイ１０２のより良い接続性を可能にするために、様々な種類のインターフェースのいずれかが含まれ得る。

無線ネットワーク技術を介してインターネットへの接続を可能にするために、Ｗｉ−Ｆｉモジュール９３２が含まれる。また、ヘッドマウントディスプレイ１０２は、他のデバイスへの無線接続を可能にするために、ブルートゥース（登録商標）モジュール９３４を含む。また、他のデバイスへの接続のために通信リンク９３６が含まれてもよい。一実施形態では、通信リンク９３６は、無線通信のために赤外線伝送を利用する。他の実施形態では、通信リンク９３６は、他のデバイスとの通信のために各種の無線または有線伝送プロトコルのいずれかを利用してもよい。

入力ボタン／センサ９３８は、ユーザに対する入力インターフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどといった様々な種類の入力インターフェースのうちのいずれかが含まれ得る。超音波技術を介して他のデバイスとの通信を促進するために、超音波通信モジュール９４０が、ヘッドマウントディスプレイ１０２に含まれ得る。

バイオセンサ９４２は、ユーザからの生理学的データの検出を可能にするために含まれる。一実施形態では、バイオセンサ９４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために、１つ以上のドライ電極を含む。

３次元の物理的環境に配置されたエミッタ（例えば赤外線基地局）からの信号に応答するために、光センサ９４４が含まれる。ゲーム機は、光センサ９４４及びエミッタからの情報を分析して、ヘッドマウントディスプレイ１０２に関する位置及び向きの情報を判定する。

さらに、視線追跡システム８２０が含まれ、これは、ユーザの視線追跡を可能にするように構成される。例えば、システム８２０は、ユーザの眼の画像をキャプチャするための視線追跡カメラ（例えばセンサ）を含み得、キャプチャされた画像はその後、ユーザの視線方向を判定するために分析される。一実施形態では、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに影響を与えることができ、かつ／または、サッカード中またはサッカードの終わりのユーザの視線が向けられるディスプレイ上の着地点を予測することができる。また、中心窩レンダリングにより詳細、より高い解像度を提供すること、中心窩領域に表示されるパーティクルシステム効果のより高い解像度を提供すること、中心窩領域の外側に表示されるパーティクルシステム効果のより低い解像度を提供すること、またはユーザが見ている領域のより高速な更新を提供することなどにより、視線方向のビデオレンダリングを優先または強調することができる。

ヘッドマウントディスプレイ１０２の前述の構成要素は、ヘッドマウントディスプレイ１０２に含まれ得る単なる例示的な構成要素として説明されている。開示の様々な実施形態では、ヘッドマウントディスプレイ１０２は、上記の様々な構成要素の一部を含んでもよいし、または含まなくてもよい。本明細書で説明される本開示の態様を簡易にするために、ここでは記述されていないが当技術分野では既知の他の構成要素が、ヘッドマウントディスプレイ１０２の実施形態にはさらに含まれ得る。

本開示の様々な実施形態では、様々なインタラクティブ機能を提供するために、前述のヘッドマウントデバイスが、ディスプレイに表示されるインタラクティブアプリケーションと併せて利用され得ることが、当業者には理解されよう。本明細書で説明される例示的な実施形態は、限定としてではなく、単に例として提供される。

現在の実施形態のゲームへのアクセス提供など、広範囲な地域にわたり送られるアクセスサービスは、多くの場合、クラウドコンピューティングを使用することに留意すべきである。クラウドコンピューティングは、動的に拡張縮小可能で多くの場合仮想化されたリソースがインターネットを介したサービスとして提供される、コンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＩａａＳ）、Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ（ＰａａＳ）、及びＳｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）などの異なるサービスに分類することができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどの共通のアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに格納される。クラウドという用語は、コンピュータネットワーク図におけるインターネットの描かれ方に基づいたインターネットの隠喩として使われ、複雑なインフラストラクチャを隠し持つことの抽象的概念である。

ゲーム処理サーバ（ＧＰＳ）（または単純に「ゲームサーバ」）は、ゲームクライアントにより、シングルプレーヤ及びマルチプレーヤのビデオゲームをプレイするのに使用される。インターネット上でプレイされる大抵のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレーヤからデータを収集し、収集したデータを他のプレーヤに配信する専用サーバアプリケーションを使用する。これは、ピアツーピア構成よりも効率的かつ効果的であるが、サーバアプリケーションをホストする別個のサーバが必要となる。別の実施形態では、ＧＰＳは、プレーヤ及びそれぞれのゲームプレイデバイスの間の通信を確立して、集中型ＧＰＳに依存せずに情報を交換する。

専用ＧＰＳは、クライアントとは無関係に稼働するサーバである。このようなサーバは、通常、データセンタに配置された専用ハードウェア上で稼働し、より多くの帯域幅及び専用処理能力を提供する。専用サーバは、大抵のＰＣベースマルチプレーヤゲームのゲームサーバをホストするのに、好ましい方法である。大規模なマルチプレーヤオンラインゲームは、ゲームタイトルを所有するソフトウェア会社が通常ホストする専用サーバ上で稼働し、専用サーバがコンテンツを制御かつ更新することを可能にする。

ユーザは、少なくともＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイスにより、リモートサービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、ＰＤＡなどであり得る。一実施形態では、ゲームサーバ上で実行されるネットワークは、クライアントが使用するデバイスの種類を認識し、採用する通信方法を調整する。別の事例では、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、インターネットを介してゲームサーバ上のアプリケーションにアクセスする。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成により実施され得る。本開示はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされたリモート処理デバイスによりタスクが行われる分散型コンピューティング環境においても、実施することができる。

所与のビデオゲームまたはゲーミングアプリケーションは、特定のプラットフォーム及び特定の関連コントローラデバイス用に開発されてもよいことを、理解すべきである。しかしながら、このようなゲームが、本明細書において提示されるようなゲームクラウドシステムを介して利用可能となる場合、ユーザは、異なるコントローラデバイスでビデオゲームにアクセスしている可能性がある。例えば、あるゲームは、ゲーム機及びその関連コントローラ用に開発された可能性があるが、ユーザは、キーボード及びマウスを利用してパーソナルコンピュータから、ゲームのクラウドベースバージョンにアクセスすることができる。このようなシナリオでは、入力パラメータ構成により、ユーザが利用可能なコントローラデバイス（この事例ではキーボード及びマウス）により生成され得る入力からビデオゲームの実行で受入れ可能な入力へのマッピングが定義され得る。

別の例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスし得る。この場合、クライアントデバイス及びコントローラデバイスは、同じデバイス内に一体に統合され、入力は、検出されたタッチスクリーン入力／ジェスチャにより提供される。このようなデバイスでは、入力パラメータ構成により、ビデオゲームのゲーム入力に対応する特定のタッチスクリーン入力が定義され得る。例えば、ユーザがタッチしてゲーム入力を生成することができる、タッチスクリーン上の位置を示すために、ビデオゲームの実行中に、ボタン、方向パッド、または他の種類の入力要素が、表示または重ね合わされ得る。特定の方向のスワイプまたは特定のタッチ動作などのジェスチャも、ゲーム入力として検出され得る。一実施形態では、タッチスクリーン上での制御操作にユーザを慣れさせるために、例えばビデオゲームのゲームプレイを始める前に、ゲームプレイのタッチスクリーンを介して入力を提供する方法を示すチュートリアルがユーザに提供され得る。

いくつかの実施形態では、クライアントデバイスは、コントローラデバイスの接続ポイントとして機能する。すなわち、コントローラデバイスは、無線接続または有線接続を介してクライアントデバイスと通信して、コントローラデバイスからクライアントデバイスへ入力を送信する。今度はクライアントデバイスが、これらの入力を処理し、次いで入力データを、ネットワークを介して（例えばルータなどのローカルネットワークデバイスを介してアクセスされる）、クラウドゲームサーバへ送信し得る。しかしながら、他の実施形態では、コントローラ自体が、このような入力をまずクライアントデバイスを通して通信する必要なく、ネットワークを介して入力を直接クラウドゲームサーバに通信する能力を有するネットワーク化されたデバイスであり得る。例えば、コントローラは、ローカルネットワークデバイス（前述のルータなど）に接続して、クラウドゲームサーバとデータを送受信することができる。このようにして、クライアントデバイスは依然として、クラウドベースのビデオゲームからのビデオ出力を受信して、それをローカルディスプレイにレンダリングする必要はあり得るが、コントローラがクライアントデバイスをバイパスして、ネットワークを介してクラウドゲームサーバに入力を直接送信することを可能にすることによって、入力待ち時間を低減することができる。

一実施形態では、ネットワーク化されたコントローラ及びクライアントデバイスは、特定の種類の入力を直接コントローラからクラウドゲームサーバへ、及び他の種類の入力を、クライアントデバイスを介して送信するように構成することができる。例えば、コントローラ自体とは別の任意の追加のハードウェアまたは処理に依存しない検出による入力は、クライアントデバイスをバイパスして、ネットワークを介して直接コントローラからクラウドゲームサーバへ送信することができる。このような入力には、ボタン入力、ジョイスティック入力、埋込型動作検出入力（例えば加速度計、磁力計、ジャイロスコープ）などが含まれ得る。しかしながら、追加のハードウェアを利用する、またはクライアントデバイスによる処理を要する入力は、クライアントデバイスによりクラウドゲームサーバへ送信され得る。これらには、クラウドゲームサーバへ送信する前にクライアントデバイスにより処理され得る、ゲーム環境から取り込まれたビデオまたはオーディオが含まれ得る。さらに、コントローラの位置及び動作を検出するために、コントローラの動作検出ハードウェアからの入力が、取り込まれたビデオと併せてクライアントデバイスにより処理され、処理された入力はその後、クライアントデバイスによりクラウドゲームサーバへ通信される。様々な実施形態によるコントローラデバイスも、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解すべきである。

特に、図１０は、開示の様々な実施形態による、ゲームシステム１０００のブロック図である。ゲームシステム１０００は、ネットワーク１０１５を介して１つ以上のクライアント１０１０に対し、シングルプレーヤモードまたはマルチプレーヤモードなどで、ビデオストリームを提供するように構成されている。ゲームシステム１０００は、通常、ビデオサーバシステム１０２０及び任意選択のゲームサーバ１０２５を含む。ビデオサーバシステム１０２０は、１つまたは複数のクライアント１０１０に対し、最低限のサービス品質でビデオストリームを提供するように構成されている。例えば、ビデオサーバシステム１０２０は、ビデオゲームの状態またはビデオゲーム内の視点を変更するゲームコマンドを受信し、この状態変更を反映させた更新済ビデオストリームを、最小の遅延時間でクライアント１０１０に提供し得る。ビデオサーバシステム１０２０は、ビデオストリームを、まだ定義されていない形式を含む多種多様な代替的ビデオ形式で提供するように構成され得る。さらに、ビデオストリームは、多種多様なフレームレートでユーザに提示されるように構成されたビデオフレームを含み得る。通常のフレームレートは、毎秒３０フレーム、毎秒８０フレーム、及び毎秒８２０フレームである。しかしながら、開示の代替的実施形態には、より高いまたはより低いフレームレートが含まれる。

本明細書で個別に１０１０Ａ、１０１０Ｂなどと称されるクライアント１０１０には、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲーム機、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、及び／またはハンドヘルドゲームプレイデバイスなどが含まれ得る。通常、クライアント１０１０は、符号化された（すなわち圧縮された）ビデオストリームを受信し、ビデオストリームを復号化し、得られたビデオをユーザ、例えばゲームのプレーヤに提示するように構成されている。符号化されたビデオストリームを受信しかつ／またはビデオストリームを復号化するプロセスは通常、クライアントの受信バッファに個々の映像フレームを格納することを含む。映像ストリームは、クライアント１０１０に統合されたディスプレイ、またはモニタもしくはテレビなどの別個のデバイス上で、ユーザに提示され得る。クライアント１０１０は、任意選択的に、複数のゲームプレーヤをサポートするように構成されている。例えば、ゲーム機は、２人、３人、４人以上の同時プレーヤをサポートするように構成され得る。これらのプレーヤのそれぞれは別個のビデオストリームを受信し得る、または、単一のビデオストリームは、各プレーヤのために特別に生成された、例えば各プレーヤの視点に基づいて生成されたフレームの領域を含み得る。クライアント１０１０は、任意選択的に地理的に分散される。ゲームシステム１０００に含まれるクライアントの数は、１もしくは２から数千、数万、またはそれ以上と大きく変動し得る。本明細書で使用される用語「ゲームプレーヤ」は、ゲームをプレイする人を指すのに用いられ、用語「ゲームプレイデバイス」は、ゲームをプレイするのに使用されるデバイスを指すのに用いられる。いくつかの実施形態では、ゲームプレイデバイスは、協働してユーザにゲーム体験を届ける複数のコンピューティングデバイスを指し得る。例えば、ゲーム機及びＨＭＤは、ビデオサーバシステム１０２０と協働して、ＨＭＤを通して見るゲームを配信し得る。一実施形態では、ゲーム機は、ビデオサーバシステム１０２０からビデオストリームを受信し、ゲーム機は、レンダリングのためにＨＭＤに対し、ビデオストリームまたはビデオストリームの更新を転送する。

クライアント１０１０は、ネットワーク１０１５を介してビデオストリームを受信するように構成されている。ネットワーク１０１５は、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／またはプライベートネットワークなどを含む任意の種類の通信ネットワークであり得る。典型的な実施形態では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して通信される。代替として、ビデオストリームは、独自の規格を介して通信される。

クライアント１０１０の典型的な例には、プロセッサと、不揮発性メモリと、ディスプレイと、復号化ロジックと、ネットワーク通信機能と、入力デバイスとを備えるパーソナルコンピュータが挙げられる。復号化ロジックには、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体に格納されたソフトウェアが含まれ得る。ビデオストリームを復号化（及び符号化）するシステムは、当技術分野において周知のものであり、使用される特定の符号化方式に応じて異なる。

クライアント１０１０は、必須ではないが、受信したビデオを修正するように構成されたシステムを、さらに含み得る。例えば、クライアントは、１つのビデオを別のビデオ上に重ね合わせる、かつ／またはビデオを切り取るなど、さらなるレンダリングを実行するように構成され得る。例えば、クライアント１０１０は、Ｉフレーム、Ｐフレーム、及びＢフレームなどの様々な種類のビデオフレームを受信し、これらのフレームを処理して、ユーザに表示するための画像にするように構成され得る。いくつかの実施形態では、クライアント１０１０のメンバは、ビデオストリームに対しさらなるレンダリング、シェーディング、または３Ｄへの変換などの動作を実行するように構成されている。クライアント１０１０のメンバは任意選択的に、１つより多いオーディオストリームまたはビデオストリームを受信するように構成されている。クライアント１０１０の入力デバイスには、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、動作及び／または位置感知デバイス、マウス、タッチスクリーン、ニューラルインターフェース、カメラ、ならびに／または開発中の入力デバイスなどが含まれ得る。

クライアント１０１０が受信するビデオストリーム（及び任意でオーディオストリーム）は、ビデオサーバシステム１０２０によって生成かつ提供される。本明細書の別の箇所でさらに説明されるように、このビデオストリームは、ビデオフレームを含む（オーディオストリームは、オーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意義に寄与するように構成されている（例えば、ビデオフレームは、適切なデータ構造の画素情報を含む）。本明細書で使用される用語「ビデオフレーム」は、ユーザに示される画像に寄与する、例えば作用するように構成された情報を主に含むフレームを指すのに使用される。「ビデオフレーム」に関する本明細書の教示のほとんどは、「オーディオフレーム」にも適用することができる。

クライアント１０１０は通常、ユーザからの入力を受信するように構成されている。これらの入力は、ビデオゲームの状態を変化させるまたは他の方法でゲームプレイに影響を与えるように構成されているゲームコマンドを含み得る。ゲームコマンドは、入力デバイスを使用して受信することができ、かつ／またはクライアント１０１０上で実行されるコンピューティング命令により自動的に生成され得る。受信されたゲームコマンドは、ネットワーク１０１５を介してクライアント１０１０から、ビデオサーバシステム１０２０及び／またはゲームサーバ１０２５へ通信される。例えば、いくつかの実施形態では、ゲームコマンドは、ビデオサーバシステム１０２０を介してゲームサーバ１０２５へ通信される。いくつかの実施形態では、ゲームコマンドの別個の複製が、クライアント１０１０から、ゲームサーバ１０２５及びビデオサーバシステム１０２０へ通信される。ゲームコマンドの通信は、任意選択的に、コマンドの識別に依存する。ゲームコマンドは、任意選択的に、クライアント１０１０Ａにオーディオストリームまたはビデオストリームを提供するために使用される経路または通信チャネルとは異なる経路または通信チャネルを介して、クライアント１０１０Ａから通信される。

ゲームサーバ１０２５は、任意選択的に、ビデオサーバシステム１０２０とは異なるエンティティにより運用される。例えば、ゲームサーバ１０２５は、マルチプレーヤゲームの発行者により運用され得る。この例では、ビデオサーバシステム１０２０は、任意選択的に、ゲームサーバ１０２５によりクライアントとして見られ、任意選択的に、ゲームサーバ１０２５の視点から、従来技術のゲームエンジンを実行する従来技術のクライアントに見えるように構成されている。ビデオサーバシステム１０２０とゲームサーバ１０２５の通信は、任意選択的に、ネットワーク１０１５を介して生じる。このようにして、ゲームサーバ１０２５は、ゲームサーバシステム１０２０を含む複数のクライアントにゲーム状態情報を送信する従来技術のマルチプレーヤゲームサーバであり得る。ビデオサーバシステム１０２０は、ゲームサーバ１０２５の複数のインスタンスと同時に通信するように構成され得る。例えば、ビデオサーバシステム１０２０は、異なるユーザに複数の異なるビデオゲームを提供するように構成され得る。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１０２５によりサポートされ得る、かつ／または、異なるエンティティにより発行され得る。いくつかの実施形態では、ビデオサーバシステム１０２０のいくつかの地理的に分散されたインスタンスは、複数の異なるユーザにゲームビデオを提供するように構成されている。ビデオサーバシステム１０２０のこれらのインスタンスのそれぞれは、ゲームサーバ１０２５の同じインスタンスと通信し得る。ビデオサーバシステム１０２０と１つ以上のゲームサーバ１０２５の間の通信は、任意選択的に、専用通信チャネルを介して生じる。例えば、ビデオサーバシステム１０２０は、ゲームサーバ１０２５に、これらの２つのシステム間の通信専用の高帯域幅チャネルを介して接続され得る。

ビデオサーバシステム１０２０は、少なくとも、ビデオソース１０３０と、Ｉ／Ｏデバイス１０４５と、プロセッサ１０５０と、非一時的ストレージ１０５５とを備える。ビデオサーバシステム１０２０は、１つのコンピューティングデバイスを含み得る、または、複数のコンピューティングデバイスに分散され得る。これらのコンピューティングデバイスは、任意選択的に、ローカルエリアネットワークなどの通信システムを介して接続される。

ビデオソース１０３０は、例えばストリーミングビデオ、または動画を形成する一連のビデオフレームといった、ビデオストリームを提供するように構成されている。いくつかの実施形態では、ビデオソース１０３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレーヤからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態の複製を保持するように構成されている。このゲーム状態は、ゲーム環境内のオブジェクトの位置、並びに通常は視点を含む。ゲーム状態はまた、オブジェクトの特性、画像、色、及び／またはテクスチャも含み得る。

ゲーム状態は通常、ゲーム規則、ならびに、移動、方向転換、攻撃、焦点の設定、インタラクション、及び／または使用などのゲームコマンドに基づいて保持される。ゲームエンジンの一部は、任意選択的に、ゲームサーバ１０２５内に配置される。ゲームサーバ１０２５は、地理的分散クライアントを使用して複数のプレーヤから受信したゲームコマンドに基づいて、ゲームの状態の複製を保持し得る。これらの場合、ゲーム状態は、ゲームサーバ１０２５によりビデオソース１０３０に提供され、ゲーム状態の複製が格納され、レンダリングが行われる。ゲームサーバ１０２５は、ネットワーク１０１５を介して直接クライアント１０１０からゲームコマンドを受信してもよく、かつ／または、ビデオサーバシステム１０２０を介してゲームコマンドを受信してもよい。

ビデオソース１０３０は通常、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージ１０５５などのコンピュータ可読媒体に格納されたソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成されている。レンダリングロジックの全てまたは一部は、任意選択的に、グラフィック処理ユニット（ＧＰＵ）内に配置される。レンダリングロジックは通常、ゲーム状態及び視点に基づいて、オブジェクト間の３次元空間的関係を判定するように、かつ／または適切なテクスチャなどを適用するように構成された処理段階を含む。レンダリングロジックは、未加工ビデオを生成し、次いで未加工ビデオは、通常、クライアント１０１０へ通信される前に符号化される。例えば、未加工ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ‐１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ‐ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、またはｍｐ３などにしたがって、符号化され得る。符号化プロセスは、リモートデバイス上のデコーダに配信するために任意選択的にパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズには、８００×６００、１２８０×７２０（例えば７２０ｐ）、１０２４×７６８が挙げられるが、任意の他のフレームサイズも使用されてもよい。フレームレートは、１秒あたりのビデオフレームの数である。ビデオストリームは、様々な種類のビデオフレームを含み得る。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上の全てのマクロブロック／画素を更新する情報を含み、一方、Ｐフレームは、そのサブセットを更新する情報を含む。Ｐフレームは通常、Ｉフレームよりデータサイズが小さい。本明細書において使用される用語「フレームサイズ」は、フレーム内の画素数を指すことを意味する。用語「フレームデータサイズ」は、フレームを格納するのに必要なバイト数を指すために使用される。

他の実施形態では、ビデオソース１０３０は、カメラなどの映像記録デバイスを含む。このカメラを使用して、コンピュータゲームのビデオストリームに含めることができる遅延映像またはライブ映像が生成され得る。結果得られるビデオストリームには、レンダリングされた画像と、スチルカメラまたはビデオカメラを使用して記録された画像との両方が、任意で含まれる。ビデオソース１０３０はまた、ビデオストリームに含めるために事前に記録したビデオを格納するように構成されたストレージデバイスも含み得る。ビデオソース１０３０はまた、例えば人といったオブジェクトの動作または位置を検出するように構成された動作または位置感知デバイスと、検出された動作及び／または位置に基づいてゲーム状態の判定またはビデオの生成を行うように構成されたロジックとを含み得る。

ビデオソース１０３０は、任意選択的に、他のビデオ上に配置されるように構成されたオーバーレイを提供するように構成されている。例えば、これらのオーバーレイには、コマンドインターフェース、ログイン指示、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤの映像配信（例えばウェブカメラ映像）が含まれ得る。クライアント１０１０Ａがタッチスクリーンインターフェースまたは視線検出インターフェースを含む実施形態では、オーバーレイには、仮想キーボード、ジョイスティック、及び／またはタッチパッドなどが含まれ得る。オーバーレイの一例では、プレーヤの声がオーディオストリームにオーバーレイされる。ビデオソース１０３０は任意選択的に、１つ以上のオーディオ源をさらに含む

ビデオサーバシステム１０２０が複数のプレーヤからの入力に基づいてゲーム状態を維持するように構成された実施形態では、ビューの位置及び方向を含む視点は、各プレーヤで異なり得る。ビデオソース１０３０は、任意選択的に、各プレーヤの視点に基づいて、別個のビデオストリームを各プレーヤに提供するように構成されている。さらに、ビデオソース１０３０は、クライアント１０１０のそれぞれに、異なるフレームサイズ、フレームデータサイズ、及び／または符号化を提供するように構成され得る。ビデオソース１０３０は、任意選択的に、３−Ｄビデオを提供するように構成されている。

Ｉ／Ｏデバイス１０４５は、ビデオサーバシステム１０２０が、ビデオ、コマンド、情報要求、ゲーム状態、視線情報、デバイス動作、デバイス位置、ユーザ動作、クライアント識別、プレーヤ識別、ゲームコマンド、セキュリティ情報、及び／またはオーディオなどの情報を、送信かつ／または受信するように構成されている。Ｉ／Ｏデバイス１０４５は通常、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１０４５は、ゲームサーバ１０２５、ネットワーク１０１５、及び／またはクライアント１０１０と通信するように構成されている。

プロセッサ１０５０は、本明細書で論述されるビデオサーバシステム１０２０の様々な構成要素内に含まれるロジック、例えばソフトウェアを実行するように構成されている。例えば、プロセッサ１０５０は、ビデオソース１０３０、ゲームサーバ１０２５、及び／またはクライアントクオリファイア１０６０の機能を実行するために、ソフトウェア命令でプログラムされ得る。ビデオサーバシステム１０２０は、任意選択的に、プロセッサ１０５０の複数のインスタンスを含む。プロセッサ１０５０はまた、ビデオサーバシステム１０２０が受信したコマンドを実行するために、または、本明細書において論述されるゲームシステム１０００の様々な要素の動作を調整するように、ソフトウェア命令でプログラムされ得る。プロセッサ１０５０は、１つ以上のハードウェアデバイスを含み得る。プロセッサ１０５０は、電子プロセッサである。

ストレージ１０５５は、非一時的なアナログ及び／またはデジタルのストレージデバイスを含む。例えば、ストレージ１０５５は、ビデオフレームを格納するように構成されたアナログストレージデバイスを含み得る。ストレージ１０５５は、例えばハードドライブ、光学ドライブ、またはソリッドステートストレージといったコンピュータ可読デジタルストレージを含み得る。ストレージ１０５５は、ビデオフレーム、人工フレーム、ビデオフレームと人工フレームの両方を含むビデオストリーム、オーディオフレーム、及び／またはオーディオストリームなどを（例えば適切なデータ構造またはファイルシステムで）格納するように構成されている。ストレージ１０５５は、任意選択的に、複数のデバイスに分散される。いくつかの実施形態では、ストレージ１０５５は、本明細書の別の箇所で論述されるビデオソース１０３０のソフトウェア構成要素を格納するように構成されている。これらの構成要素は、必要に応じてすぐに提供できる形式で格納され得る。

ビデオサーバシステム１０２０は、任意選択的に、クライアントクオリファイア１０６０をさらに備える。クライアントクオリファイア１０６０は、クライアント１０１０Ａまたは１０１０Ｂなどのクライアントの機能をリモートで判定するように構成されている。これらの機能には、クライアント１０１０Ａ自体の機能、ならびにクライアント１０１０Ａとビデオサーバシステム１０２０の間の１つ以上の通信チャネルの機能の両方が含まれ得る。例えば、クライアントクオリファイア１０６０は、ネットワーク１０１５を介して、通信チャネルをテストするように構成され得る。

クライアントクオリファイア１０６０は、手動または自動で、クライアント１０１０Ａの機能を判定（例えば発見）することができる。手動判定は、クライアント１０１０Ａのユーザと通信して、ユーザに機能を提供するように依頼することを含む。例えば、いくつかの実施形態では、クライアントクオリファイア１０６０は、クライアント１０１０Ａのブラウザ内に画像及び／またはテキストなどを表示するように構成されている。一実施形態では、クライアント１０１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント１０１０Ａは、ＨＭＤ上に表示され得るブラウザを有するゲーム機である。表示されるオブジェクトは、ユーザに、クライアント１０１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイの解像度などの情報を入力するように要求する。ユーザにより入力された情報は、クライアントクオリファイア１０６０へ返信される。

自動判定は、例えば、クライアント１０１０Ａ上でエージェントを実行することにより、かつ／またはクライアント１０１０Ａにテストビデオを送信することにより、行われ得る。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたジャバスクリプトなどのコンピューティング命令を含み得る。エージェントは、任意選択的に、クライアントクオリファイア１０６０により提供される。様々な実施形態では、エージェントは、クライアント１０１０Ａの処理機能、クライアント１０１０Ａの復号化及び表示機能、クライアント１０１０Ａとビデオサーバシステム１０２０の間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１０１０Ａのディスプレイの種類、クライアント１０１０Ａ上に存在するファイアウォール、クライアント１０１０Ａのハードウェア、クライアント１０１０Ａ上で実行されるソフトウェア、及び／またはクライアント１０１０Ａ内のレジストリエントリなどを、明らかにすることができる。

クライアントクオリファイア１０６０は、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体に格納されたソフトウェアを含む。クライアントクオリファイア１０６０は、任意選択的に、ビデオサーバシステム１０２０の１つ以上の他の要素とは別個のコンピューティングデバイス上に配置される。例えば、いくつかの実施形態では、クライアントクオリファイア１０６０は、クライアント１０１０とビデオサーバシステム１０２０の複数のインスタンスの間の通信チャネルの特性を判定するように構成されている。これらの実施形態では、クライアントクオリファイアが発見した情報を使用して、クライアント１０１０のうちの１つにストリーミングビデオを配信するのに最適なビデオサーバシステム１０２０のインスタンスを判定することができる。

特定の実施形態は、ディスプレイ上の標的着地点を予測かつ更新することにより、ユーザの眼（複数可）の運動が、更新された標的着地点におけるディスプレイ上の中心窩領域の提示と一致することを明示するために提供されているが、これらは、限定ではなく例として説明されている。本開示を読んだ当業者は、本開示の趣旨及び範囲に含まれる追加の実施形態を実現するであろう。

本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実装例に組み合わされ得る、または組み立てられ得ることを、理解すべきである。したがって、提供される実施例は、いくつかの可能な例にすぎず、様々な要素を組み合わせることでより多くの実装例を定義することが可能な様々な実装例に限定されない。いくつかの例では、いくつかの実装例は、開示されたまたは同等の実装例の趣旨から逸脱することなく、より少ない要素を含んでいてもよい。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成により実施され得る。本開示の実施形態はまた、有線ベースまたは無線のネットワークを介してリンクされるリモート処理デバイスによりタスクが行われる分散型コンピューティング環境においても、実施することができる。

前述の実施形態を念頭に置いて、本開示の実施形態は、コンピュータシステムに格納されたデータを伴う様々なコンピュータ実装動作を用い得ることを、理解すべきである。これらの動作は、物理量の物理的操作を要する動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。開示の実施形態はまた、これらの動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築され得る、または装置は、コンピュータに格納されたコンピュータプログラムにより選択的に有効化または構成される汎用コンピュータであり得る。具体的には、様々な汎用機械を、本明細書の教示にしたがって書かれたコンピュータプログラムと共に使用することができる、または、必要な動作を実行するためにさらに特化した装置を構築するほうがより便利であり得る。

開示は、コンピュータ可読媒体上のコンピュータ可読コードとして具体化することもできる。コンピュータ可読媒体は、データを記憶することができ、その後コンピュータシステムによって読み取ることができる任意のデータ記憶デバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＣＤ‐ＲＷ、磁気テープ、ならびに他の光学式データ記憶デバイス及び非光学式データ記憶デバイスが含まれる。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納かつ実行されるように、ネットワーク接続されたコンピュータシステム上に分散されたコンピュータ可読有形媒体が含まれ得る。

以上のように方法や動作を特定の順序で説明したが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他の維持管理動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、様々な処理関連間隔で処理動作が起こることを可能にしてもよいことを、理解すべきである。

前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてもよい。

Claims (26)

1. ヘッドマウントディスプレイ（ＨＭＤ）における眼球運動を予測する方法であって、
   複数のサンプル点で、前記ＨＭＤに配置されている視線追跡システムを使用してユーザの眼球運動を追跡し、
   前記追跡に基づいて前記運動の速度を判定し、
   前記速度が閾値速度に達したとき、前記ユーザの前記眼がサッカードにあると判定し、
   前記サッカードにおける前記眼の方向に対応する、前記ＨＭＤの前記ディスプレイ上の着地点を予測する、方法。
2. 更に、前記ディスプレイ上の前記着地点を中心とする中心窩領域を有する第１のビデオフレームを表示するためにレンダリングし、
   前記ＨＭＤの前記ディスプレイ上に前記中心窩領域を有する前記第１のビデオフレームを提示し、前記眼は、前記第１のビデオフレームを表示するとき、前記着地点に向けられると予測される、請求項１に記載の方法。
3. 更に、前記サッカード中に、少なくとも１つのビデオフレームであって前記第１のビデオフレームの前にレンダリングされるもののレンダリングを終了する、請求項２に記載の方法。
4. 更に、前記サッカード中に、少なくとも１つのビデオフレームであって前記第１のビデオフレームの前にレンダリングされるものを低解像度でレンダリングする、請求項２に記載の方法。
5. 前記着地点の前記予測では、
   第１のサンプル点において、前記第１のサンプル点及び少なくとも１つの前のサンプル点を含むサンプル点の第１のセットの眼の向きのデータに基づいて、第１の着地点を予測し、前記眼の向きのデータは、前記ＨＭＤに関する眼の方向を含むものであり、
   前記サッカードにおける前記第１のサンプル点に続く第２のサンプル点において、前記第２のサンプル点及び少なくとも１つの前のサンプル点を含むサンプル点の第２のセットの眼の向きのデータに基づいて、第２の着地点を予測することによって、前記着地点を更新する、請求項１に記載の方法。
6. 前記着地点の前記予測では、
   サンプル点のセットに対する前記眼球運動を追跡するとき眼の向きのデータを収集し、前記眼の向きのデータは、前記ＨＭＤに関する眼の方向を含み、前記セットのうちの少なくとも１つのサンプル点は前記サッカード中に発生するものであり、
   前記サンプル点のセットに対する前記眼の向きのデータを、被験者の複数のサッカードの眼の向きのデータに関してトレーニングされたリカレントニューラルネットワークに、入力として提供し、
   前記リカレントニューラルネットワークにおいて、前記サンプル点のセットに対する前記眼の向きのデータから構築された眼の速度グラフの一部を、被験者の前記複数のサッカードから構築された眼の速度グラフと比較し、
   前記リカレントニューラルネットワークにおいて前記着地点を判定する、請求項１に記載の方法。
7. 前記着地点が、前記サッカードの終わりに発生し、前記眼の凝視方向に対応する、請求項６に記載の方法。
8. 前記着地点が、前記サッカードの中間点で発生し、前記眼の中間方向に対応する、請求項６に記載の方法。
9. 前記リカレントニューラルネットワークが、
   長短期記憶ニューラルネットワークと、
   全結合された多層パーセプトロンネットワークと、を備える、請求項６に記載の方法。
10. 前記速度の判定には、
    ２つのサンプル点からの第１の眼の方向および第２の眼の方向に基づいて前記眼の速度を判定することが含まれる、請求項１に記載の方法。
11. コンピュータシステムであって、
    プロセッサと、
    前記プロセッサに結合されて、前記コンピュータシステムによって実行された場合に、前記コンピュータシステムに、ヘッドマウントディスプレイ（ＨＭＤ）における眼球運動を予測する方法を実行させる命令が格納されたメモリと、を有し、前記方法は、
    複数のサンプル点で、前記ＨＭＤに配置されている視線追跡システムを使用してユーザの眼球運動を追跡し、
    前記追跡に基づいて前記運動の速度を判定し、
    前記速度が閾値速度に達したとき、前記ユーザの前記眼がサッカードにあると判定し、
    前記サッカードにおける前記眼の方向に対応する、前記ＨＭＤの前記ディスプレイ上の着地点を予測する、コンピュータシステム。
12. 前記方法は、さらに、
    前記ディスプレイ上の前記着地点を中心とする中心窩領域を有する第１のビデオフレームを表示するためにレンダリングし、
    前記ＨＭＤの前記ディスプレイ上に前記中心窩領域を有する前記第１のビデオフレームを提示し、前記眼は、前記第１のビデオフレームを表示するとき、前記着地点に向けられると予測されるものである、請求項１１に記載のコンピュータシステム。
13. 前記方法は、さらに、
    前記サッカード中に、少なくとも１つのビデオフレームであって前記第１のビデオフレームの前にレンダリングされるもののレンダリングを終了する、請求項１２に記載のコンピュータシステム。
14. 前記方法は、さらに、
    前記サッカード中に、少なくとも１つのビデオフレームであって前記第１のビデオフレームの前にレンダリングされるものを低解像度でレンダリングする、請求項１２に記載のコンピュータシステム。
15. 前記方法において、前記着地点の前記予測では、
    第１のサンプル点において、前記第１のサンプル点及び少なくとも１つの前のサンプル点を含むサンプル点の第１のセットの眼の向きのデータに基づいて、第１の着地点を予測し、前記眼の向きのデータは、前記ＨＭＤに関する眼の方向を含むものであり、
    前記サッカードにおける前記第１のサンプル点に続く第２のサンプル点において、前記第２のサンプル点及び少なくとも１つの前のサンプル点を含むサンプル点の第２のセットの眼の向きのデータに基づいて、第２の着地点を予測することによって、前記着地点を更新する、請求項１１に記載のコンピュータシステム。
16. 前記方法において、前記着地点の前記予測では、
    サンプル点のセットに対する前記眼球運動を追跡するとき眼の向きのデータを収集し、前記眼の向きのデータは、前記ＨＭＤに関する眼の方向を含み、前記セットのうちの少なくとも１つのサンプル点は前記サッカード中に発生するものであり、
    前記サンプル点のセットに対する前記眼の向きのデータを、被験者の複数のサッカードの眼の向きのデータに関してトレーニングされたリカレントニューラルネットワークに入力として提供し、
    前記リカレントニューラルネットワークにおいて、前記サンプル点のセットに対する前記眼の向きのデータから構築された眼の速度グラフの一部を、被験者の前記複数のサッカードから構築された眼の速度グラフと比較し、
    前記リカレントニューラルネットワークにおいて前記着地点を判定する、請求項１１に記載のコンピュータシステム。
17. 前記方法において、
    前記着地点が、前記サッカードの終わりに発生し、前記眼の凝視方向に対応する、請求項１６に記載のコンピュータシステム。
18. 前記方法において、前記リカレントニューラルネットワークが、
    長短期記憶ニューラルネットワークと、
    全結合された多層パーセプトロンネットワークと、を備える、請求項１６に記載のコンピュータシステム。
19. 予測のためのコンピュータプログラムを格納する非一時的なコンピュータ可読媒体であって、
    複数のサンプル点で、ＨＭＤに配置されている視線追跡システムを使用してユーザの眼球運動を追跡するためのプログラム命令と、
    前記追跡に基づいて前記運動の速度を判定するためのプログラム命令と、
    前記速度が閾値速度に達したとき、前記ユーザの前記眼がサッカードにあると判定するためのプログラム命令と、
    前記サッカードにおける前記眼の方向に対応する、前記ＨＭＤの前記ディスプレイ上の着地点を予測するためのプログラム命令と、を有する、コンピュータ可読媒体。
20. 前記ディスプレイ上の前記着地点を中心とする中心窩領域を有する第１のビデオフレームを表示するためにレンダリングし、
    前記ＨＭＤの前記ディスプレイ上に前記中心窩領域を有する前記第１のビデオフレームを提示し、前記眼は、前記第１のビデオフレームを表示するとき、前記着地点に向けられると予測されるものである、請求項１９に記載のコンピュータ可読媒体。
21. 更に、前記サッカード中に、少なくとも１つのビデオフレームのレンダリングであって前記第１のビデオフレームの前にレンダリングされるものを終了する、請求項２０に記載のコンピュータ可読媒体。
22. 更に、前記サッカード中に、少なくとも１つのビデオフレームであって前記第１のビデオフレームの前にレンダリングされるものを低解像度でレンダリングする、請求項２０に記載のコンピュータ可読媒体。
23. 前記着地点の前記予測では、
    第１のサンプル点において、前記第１のサンプル点及び少なくとも１つの前のサンプル点を含むサンプル点の第１のセットの眼の向きのデータに基づいて、第１の着地点を予測し、前記眼の向きのデータは、前記ＨＭＤに関する眼の方向を含むものであり、
    前記サッカードにおける前記第１のサンプル点に続く第２のサンプル点において、前記第２のサンプル点及び少なくとも１つの前のサンプル点を含むサンプル点の第２のセットの眼の向きのデータに基づいて、第２の着地点を予測することによって、前記着地点を更新する、請求項１９に記載のコンピュータ可読媒体。
24. 前記着地点の前記予測では、
    サンプル点のセットに対する前記眼球運動を追跡するとき眼の向きのデータを収集し、前記眼の向きのデータは、前記ＨＭＤに関する眼の方向を含み、前記セットのうちの少なくとも１つのサンプル点は前記サッカード中に発生するものであり、
    前記サンプル点のセットに対する前記眼の向きのデータを、被験者の複数のサッカードの眼の向きのデータに関してトレーニングされたリカレントニューラルネットワークに入力として提供し、
    前記リカレントニューラルネットワークにおいて、前記サンプル点のセットに対する前記眼の向きのデータから構築された眼の速度グラフの一部を、被験者の前記複数のサッカードから構築された眼の速度グラフと比較し、
    前記リカレントニューラルネットワークにおいて前記着地点を判定する、請求項１９に記載のコンピュータ可読媒体。
25. 前記着地点が、前記サッカードの終わりに発生し、前記眼の凝視方向に対応する、請求項２４に記載のコンピュータ可読媒体。
26. 前記リカレントニューラルネットワークが、
    長短期記憶ニューラルネットワークと、
    全結合された多層パーセプトロンネットワークと、を備える、請求項２４に記載のコンピュータ可読媒体。

Images