JP2019533325A - 視線追跡情報に基づく画像領域内の適応パラメータ - Google Patents

Abstract

ディスプレイシステムは、スクリーンを領域に分割し、各領域に異なる組のレンダリング／符号化パラメータを適用する。システムは、ユーザの眼の中心窩によって見られる第１の領域に第１の組のパラメータを適用する。システムはまた、眼の傍中心窩によって見られる第２の領域に第２の組のパラメータを適用し、傍中心窩の外側の眼の領域によって見られる第３の領域に第３の組のパラメータを適用し得る。第１の組のパラメータは比較的高い画像品質を生じさせ、第２の組のパラメータは中間品質を生じさせ、第３の組のパラメータはより低い品質を生じさせるように選択される。結果として、第２の領域および第３の領域は、少ないコンピューティング能力および小さい帯域幅でレンダリング、符号化、および送信することができる。

Description

本発明は、一般に視線追跡に関し、より詳細には視線追跡情報に基づく画像領域内の適応パラメータの使用に関する。

画像はレンダリングされ、符号化され、そして様々な個々のコンテキストでユーザに表示される。特に、画像が１０８０ｐや４Ｋなどの比較的高い解像度を有する場合、または画像がゲームアプリケーションによって生成されたビデオファイルまたはシーンなどのビデオを構成する一連のフレームの一部である場合は、多くの場合、ユーザへの表示用の画像をレンダリングし、符号化し、および送信するプロセスは、大量のコンピューティングリソースを消費する可能性がある。これは、より大きな電力消費およびより長い処理時間などの望ましくない副作用をもたらし得る。

ディスプレイシステムは、異なる組のパラメータを画像の異なる領域に適用する。システムは、ディスプレイスクリーンのスクリーンを見ているユーザの片眼または両眼の視線追跡情報を受け取る。システムは、視線追跡情報に基づいて、第１のスクリーン領域と第２のスクリーン領域とを決定する。一実施形態では、第１のスクリーン領域は、ユーザの眼の中心窩から見たスクリーン一部であり、第２のスクリーン領域は、中心窩の外側の網膜の部分から見たスクリーンの一部である。システムは、第１の組のパラメータを第１の画像領域に適用し、第２の組のパラメータをスクリーンの第２の画像領域に適用することによって、スクリーンに表示するための画像を処理する。第１の画像領域は、第１のスクリーン領域に表示される画像の一部であり、第２の画像領域は、第２の画像領域に表示される画像の一部である。第２の組のパラメータは第１の組のパラメータよりも低い画質を生じさせるが、中心窩の外側の網膜の部分は中心窩よりも感度が低いため、ユーザは低い画質を知覚する可能性は低い。その結果、より少ないコンピューティング能力とより小さい帯域幅で画像を処理することができる。

ディスプレイシステムは、ヘッドマウントディスプレイ（ＨＭＤ）の一部とすることができる。ＨＭＤは、仮想現実（ＶＲ）システム、拡張現実（ＡＲ）システム、複合現実（ＭＲ）システム、またはそれらの組み合わせの一部であり得る。

本発明による実施形態は、特に、システム、記憶媒体、および方法を対象とする添付の特許請求の範囲に開示されており、１つの請求項のカテゴリー、例えばシステムで言及される任意の特徴は別の特許請求の範囲の請求項のカテゴリー、例えば、方法、記憶媒体、またはコンピュータプログラムで請求することができる。添付の特許請求の範囲に記載されている従属関係または参照は、形式的な理由からのみ選択されている。しかしながら、添付の特許請求の範囲で選択された従属関係にかかわらず、請求項およびその特徴の任意の組み合わせが、開示され、かつ請求することができるように、任意の前の請求項（特に、多数項従属）への意図的な参照から生じる任意の主題も請求することができる。特許請求することができる主題は、添付の特許請求の範囲に記載の特徴の組み合わせのみならず、特許請求の範囲における他のあらゆる特徴の組み合わせも含み、特許請求の範囲に記載の各特徴は他のあらゆる特徴または特許請求の範囲における他の特徴の組み合わせと組み合わせることができる。さらに、本明細書に記載または描写されている実施形態および特徴のいずれかは、別々の請求項において、および／または本明細書に記載もしくは描写されている任意の実施形態もしくは特徴と、または添付の請求項の特徴のいずれかとの任意の組み合わせで請求することができる。

一実施形態において、方法は、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信するステップと、
視線追跡情報に基づいてスクリーンの領域に対応する第１のスクリーン領域を決定するステップと、第１のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第１のスクリーン領域とは別のスクリーンの領域に対応する第２のスクリーン領域を決定するステップと、
スクリーン上に表示するための画像を符号化するステップと、符号化は、
第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、第１の画像領域は、第１のスクリーン領域に表示され、
第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、第２の画像領域は、第２のスクリーン領域に表示され、第２の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信するステップとを含み得る。

一実施形態において、第１のスクリーン領域は、眼の中心窩によって見られるスクリーンの領域に対応し得る。
第２のスクリーン領域は、中心窩の外側の眼の網膜の一部によって見られるスクリーンの領域に対応し得る。

第１の組の符号化パラメータは第１の画像解像度を含み得、第２の組の符号化パラメータは第２の画像解像度を含み得、第２の画像解像度は第１の画像解像度よりも低い。
第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み得、第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み得、方法はさらに、
第１の符号化画像領域および第２の符号化画像領域を含むパッキングされた画像を生成するステップを含み得る。

第１の組の符号化パラメータは第１のフレームレートを含み得、第２の組の符号化パラメータは第２のフレームレートを含み得、第２のフレームレートは第１のフレームレートよりも低くてもよい。

方法は、視線追跡情報に基づいて第１のスクリーン領域および第２のスクリーン領域とは別のスクリーンの領域に対応する第３のスクリーン領域を決定するステップをさらに含み得、
スクリーン上に表示するための画像を符号化することは、
第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに含み、第３の画像領域は、第３のスクリーン領域に表示され、第３の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、第２の組の符号化パラメータよりも高い品質をもたらす。

第３のスクリーン領域は、眼の傍中心窩によって見られるスクリーンの領域に対応し得る。
ディスプレイデバイスはバーチャルリアリティヘッドセットであり得る。

本発明の一実施形態において、非一時的コンピュータ可読記憶媒体は、命令を格納し得、命令は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信すること、
視線追跡情報に基づいてスクリーンの領域に対応する第１のスクリーン領域を決定すること、第１のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第１のスクリーン領域とは別のスクリーンの領域に対応する第２のスクリーン領域を決定すること、
スクリーン上に表示するための画像を符号化すること、符号化は、
第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、第１の画像領域は、第１のスクリーン領域に表示され、
第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化すること、第２の画像領域は、第２のスクリーン領域に表示され、第２の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信することを含む処理を実行させ得る。

第１のスクリーン領域は、眼の中心窩によって見られるスクリーンの領域に対応し得る。
第２のスクリーン領域は、中心窩の外側の眼の網膜の一部によって見られるスクリーンの領域に対応し得る。

第１の組の符号化パラメータは第１の画像解像度を含み得、第２の組の符号化パラメータは第２の画像解像度を含み得、第２の画像解像度は第１の画像解像度よりも低い。
第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み得、第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み得、
第１の符号化画像領域および第２の符号化画像領域を含むパッキングされた画像を生成することをさらに含み得る。

第１の組の符号化パラメータは第１のフレームレートを含み得、第２の組の符号化パラメータは第２のフレームレートを含み得、第２のフレームレートは第１のフレームレートよりも低くてもよい。

処理は、
視線追跡情報に基づいて第１のスクリーン領域および第２のスクリーン領域とは別のスクリーンの領域に対応する第３のスクリーン領域を決定することをさらに含み得、
スクリーン上に表示するために画像を符号化することは、
第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに含み得、第３の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、第２の組の符号化パラメータよりも高い品質をもたらす。

第３のスクリーン領域は、眼の傍中心窩によって見られるスクリーンの領域に対応し得る。
ディスプレイデバイスはバーチャルリアリティヘッドセットであり得る。

一実施形態において、システムは、
１つまたは複数のプロセッサと、
命令を格納する非一時的コンピュータ可読記憶媒体であって、命令は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、
ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信すること、
視線追跡情報に基づいてスクリーンの領域に対応する第１のスクリーン領域を決定すること、第１のスクリーン領域は、ユーザの注視点を含み、注視点は、視線追跡情報が捕捉された時点でユーザが見ているスクリーン上の点を表し、
視線追跡情報に基づいて第１のスクリーン領域とは別のスクリーンの領域に対応する第２のスクリーン領域を決定すること、
スクリーン上に表示するための画像を符号化すること、符号化は、
第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、第１の画像領域は、第１のスクリーン領域に表示され、
第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、第２の画像領域は、第２のスクリーン領域に表示され、第２の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、
符号化された画像をスクリーンに表示されるようにディスプレイデバイスに送信することを含む処理を実行させる、非一時的コンピュータ可読記憶媒体と
を備え得る。

処理は、
視線追跡情報に基づいて第１のスクリーン領域および第２のスクリーン領域とは別のスクリーンの領域に対応する第３のスクリーン領域を決定することをさらに含み得、
スクリーン上の表示するために画像を符号化することは、
第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに含み、第３の画像領域は、第３のスクリーン領域に表示され、第３の組の符号化パラメータは第１の組の符号化パラメータよりも低い品質をもたらし、第２の組の符号化パラメータよりも高い品質をもたらす。

一実施形態によるディスプレイデバイスが動作するシステムのブロック図である。 一実施形態による、レンダリング／符号化エンジンのブロック図である。 一実施形態によるヘッドマウントディスプレイの図である。 図３Ａおよび図３Ｂは、一実施形態によるスクリーンを注視している眼を示し、かつ中心窩領域および傍中心窩領域、ならびに中心窩円錐および傍中心窩円錐を示す図である。 一実施形態による、スクリーン上の中心窩領域、傍中心窩領域、および外側領域を示す図である。 一実施形態による、視線追跡情報に基づいて画像領域に適応パラメータを適用するためのプロセスを示すブロック図である。 図５Ａは、一実施形態による、異なる組のレンダリングパラメータを用いて画像の異なる部分をレンダリングするためのプロセスを示すブロック図であり、図５Ｂは、一実施形態による、異なる組の符号化パラメータを用いて画像の異なる部分を符号化するためのプロセスを示すブロック図である。 一実施形態による、異なる組のパラメータを用いて画像の異なる部分をレンダリングおよび符号化するためのプロセスを示すブロック図である。 一実施形態による、異なる組の符号化パラメータを用いて画像の異なる領域を符号化し、次いで画像の符号化画像領域をパッキングされた画像にパッキングする例を示す図である。 一実施形態による、一連の画像を符号化してパッキングする一例を示す。

図面は、本開示の様々な実施形態を例示のみを目的として示している。当業者であれば、本明細書で提供される開示の原理から逸脱することなく、本明細書に例示される構造および方法の代替的な実施形態を使用し得ることを、以下の説明から容易に理解するであろう。

概要
ユーザが連続してスクリーンの異なる領域を注視するユーザおよび画像を含む多くの応用がある。例としては、ビデオゲーム、バーチャルリアリティシーン、ビデオストリーム、拡張現実感投影などが含まれる。

スクリーンを見るとき、ユーザの眼は注視点の周りのスクリーン領域においてより高い解像度に敏感である。注視点は、最も高い視力を提供し、かつ錐体細胞の濃度が最も高い網膜の領域である中心窩と整列している。中心窩を超える網膜の領域では、解像度に対する感度が低下し、中心窩から離れるにつれて視力が低下する。傍中心窩（中心窩を囲む輪状の眼の領域）では、眼は依然として解像度に敏感であるが、中心窩よりも程度は低い。傍中心窩の外側の領域では、眼は解像度の違いにそれほど敏感ではない。

スクリーンに表示されている画像がより高い解像度を有する状況では、画像全体をより高い解像度でレンダリングし、画像全体をより高い解像度で符号化し、適切な高帯域幅の手段を使用して符号化画像を送信することが一般的である。しかし、眼は中心窩および傍中心窩の外側の領域では画像解像度に比較的鈍感であるため、画像全体をより高い解像度でレンダリング、符号化、および送信するプロセスは、コンピューティング能力および帯域幅の不必要な使用をもたらす。

画像全体に対してより高い解像度を使用する代わりに、ディスプレイシステムはディスプレイデバイスのスクリーンを複数の領域に分割し、各領域に異なる組のレンダリング／符号化パラメータを適用する。例えば、ディスプレイシステムは、ユーザの眼の中心窩によって見られるスクリーンの第１の領域（以下、中心窩領域と称する）を識別し、第１の組のパラメータを第１の領域に適用する。第１の組のパラメータは比較的高い画質が生じるように選択される。例えば、第１の組のパラメータは、比較的高いフレームレートおよび解像度を指定し得る。同様に、ディスプレイシステムは、ユーザの眼の傍中心窩によって見られるスクリーンの第２の領域（以下、傍中心窩領域と称する）を識別し、第２の組のパラメータを第２の領域に適用し得る。ディスプレイシステムは、中心窩および傍中心窩の外側のユーザの眼の領域によって見られるスクリーンの第３の領域（以下、外側領域と称する）をさらに識別し、第３の組のパラメータを第３の領域に適用し得る。第２の組のパラメータは、中間画質（例えば、中間フレームレートおよび中間解像度）となるように選択され、第３の組のパラメータは、より低い画質（例えば、より低いフレームレートおよびより低い解像度）となるように選択される。その結果、より少ないコンピューティング能力およびより小さい帯域幅で第２領域および第３の領域をレンダリング、符号化、および送信することができ、それによって、画像のレンダリング、符号化、および送信に使用されるコンピューティング能力および帯域幅の全体量が減少する。

ディスプレイシステムは、視線追跡ユニットから受信した視線追跡情報に基づいて、第１の領域と第２の領域とを識別する。ディスプレイシステムは、視線追跡情報を使用して、ユーザが見ているスクリーン上の点（以下、注視点と称する）を決定する。次に、ディスプレイシステムは、注視点に基づいて中心窩領域、傍中心窩領域、および外側領域の境界を決定することができる。一実施形態では、中心窩領域は、注視点を中心とする、２．５度の視角の半径を有する円であり、傍中心窩領域は、注視点を中心とする、２．５度の視角の内半径および５度の視角の外半径を有する環である。外側領域は、傍中心窩領域の外側半径を超えるスクリーンの部分である。

スクリーン領域の境界を決定した後、ディスプレイシステムは適応的に画像をレンダリングして符号化することができる。さらに、ディスプレイシステムは、ユーザの眼がスクリーンの異なる位置間を移動するときに定期的に更新された視線追跡情報を受信することができ、ディスプレイシステムは更新された視線追跡情報に基づいて注視点およびスクリーン領域の境界を再計算することができる。従って、ユーザにとって、注視点周辺のスクリーンの領域（すなわち中心窩領域）はより高い画質を有するように見え、この領域は眼が画質に対して最も敏感な領域である。傍中心窩領域では、目立った画質劣化なしに中間のパラメータを適用することができ、外側領域では、目立った画質劣化なしに、より低いパラメータを適用することができる。

ユーザの眼がスクリーンを横切って急速に動いているときであっても、視線追跡情報は注視位置の変化に追従することができ、更新された視線追跡情報は、適応パラメータが異なる画像の中心窩および傍中心窩領域に適用されることが可能となるように十分早く伝達される。従って、ユーザがどこを見ているかにかかわらず、画像は高解像度を有するように見える。しかしながら、ディスプレイシステムは、画像の一部をより高品質のパラメータでレンダリングして符号化し、画像の残りの部分は中間品質またはより低品質のパラメータでレンダリングおよび符号化する。

視線追跡情報に基づいて適応パラメータを適用することの正味の効果は、画像データをレンダリングおよび符号化するために使用される全体のコンピューティング能力を低減し、ユーザのディスプレイデバイスによる表示のために画像データを送信するために使用される帯域幅の量を低減することである。

システム概要
図１Ａは、ディスプレイシステム１１０が動作するシステム１００のブロック図である。システム１００は、ＶＲシステム環境、ＡＲシステム環境、ＭＲシステム環境、またはこれらの組み合わせで動作し得る。図１Ａに示すシステム１００は、ディスプレイデバイス１０５（例えば、ヘッドマウントディスプレイ）、撮像装置１３５、および入力インタフェース１４０を含み、これらはそれぞれ、ディスプレイシステム１１０に接続されている。

図１Ａは、１つのディスプレイデバイス１０５、１つの撮像装置１３５、および１つの入力インタフェース１４０を含む例示的なシステム１００を示すが、他の実施形態においては、これらのコンポーネントの任意数がシステム１００内に含まれてもよい。例えば、複数のディスプレイデバイス１０５が存在し、各ディスプレイデバイス１０５が関連する入力インタフェース１４０を有し、かつ１つまたは複数の撮像装置１３５によってモリタリングされ、各ディスプレイデバイス１０５、入力インタフェース１４０、及び撮像装置１３５は、ディスプレイシステム１１０と通信する。代替的な構成では、異なるコンポーネントおよび／または追加のコンポーネントが、システム１００に含まれてもよい。同様に、１つまたは複数のコンポーネントの機能は、本明細書に記載されているものとは異なる方法でコンポーネント間に分散させることができる。例えば、ディスプレイシステム１１０の機能の一部または全部をディスプレイデバイス１０５内に含めることができる。

ディスプレイデバイス１０５は、コンピュータ加工された要素（例えば、２次元または３次元の画像、２次元または３次元の映像、サウンドなど）を有する物理的、現実的な環境の仮想ビューおよび／または拡張されたビューを含むコンテンツをユーザに提示するヘッドマウント型ディスプレイ（ＨＭＤ）である。いくつかの実施形態では、オーディオは、ディスプレイデバイス１０５、ディスプレイシステム１１０、またはその両方から音声情報を受信して、音声情報に基づいて音声データを提示する外部機器（例えば、スピーカおよび／またはヘッドホン）を介して提供される。ディスプレイデバイス１０５のいくつかの実施形態は、図２に関連して以下にさらに説明される。ディスプレイデバイス１０５は、１つまたは複数の硬質本体を含み得、これは互いに剛体的にまたは非剛体的に結合され得る。硬質本体間の剛体的結合によって、結合された硬質本体が単一の硬質物体として機能することができる。これとは対照的に、硬質本体間の非剛体的結合によって、硬質本体が互いに相対的に移動することができる。ディスプレイデバイス１０５は、電子ディスプレイ１１５と、光学系ブロック１１８と、１つまたは複数のロケータ１２０と、１つまたは複数の位置センサ１２５と、慣性測定ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１３０と、視線追跡ユニット１６０とを含む。ディスプレイデバイス１０５のいくつかの実施形態は、本明細書に記載されたものとは異なるコンポーネントを有する。同様に、様々なコンポーネントの機能は、様々な実施形態で本明細書に記載されたものとは異なる方法で、システム１００内の他のコンポーネントの間に分散され得る。例えば、視線追跡ユニット１６０のいくつかの機能は、ディスプレイシステム１１０によって実行されてもよい。

電子ディスプレイ１１５（本明細書ではスクリーンとも称される）は、ディスプレイシステム１１０から受信したデータに従って、ユーザに対して画像を表示する。様々な実施形態では、電子ディスプレイ１１５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼用のディスプレイ）を含み得る。電子ディスプレイ１１５の例としては、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、その他のディスプレイ、或いはこれらの組み合わせが含まれる。

光学系ブロック１１８は、電子ディスプレイ１１５から受信した画像光を拡大し、画像光に関連する光学的エラーを補正し、その補正された画像光が、ディスプレイデバイス１０５のユーザに提示される。様々な実施形態では、光学系ブロック１１８は、１つまたは複数の光学素子を含む。例示的な光学素子は、アパーチャレンズ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または電子ディスプレイ１１５から放出された画像光に影響を与える任意の他の適切な光学素子を含む。さらに、光学系ブロック１１８は、異なる光学素子の組み合わせを含み得る。いくつかの実施形態において、光学系ブロック１１８内の１つまたは複数の光学素子は、部分反射リフレクタ又は反射防止コーティング等の１つまたは複数のコーティングを有し得る。

光学系ブロック１１８による画像光の拡大により、電子ディスプレイ１１５を物理的に小型化、軽量化し、より大型のディスプレイよりも消費電力を小さくすることができる。さらに、拡大によって、表示されるコンテンツの視野を増加させ得る。例えば、表示されるコンテンツの視野は、表示されるコンテンツがユーザの視野のほとんどすべて（例えば、対角１１０°）および場合によってはすべてを使用して提示されるというものである。いくつかの実施形態では、光学系ブロック１１８は、その有効焦点距離が電子ディスプレイ１１５までの間隔よりも大きいように構成され、それによって電子ディスプレイ１１５によって投影される画像光が拡大される。さらに、いくつかの実施形態では、光学素子を追加するか、または光学系ブロック１１８から光学素子を除去することによって、拡大量を調整することができる。

光学系ブロック１１８は、１つまたは複数の種類の光学エラーを補正するように構成され得る。光学エラーの例としては、２次元光学エラー、３次元光学エラー、またはこれらのいくつかの組み合せが含まれる。２次元エラーは２次元で発生する光学収差である。２次元エラーの種類の例としては、樽型歪曲、糸巻型歪曲、縦色収差、横色収差、又は任意の他の種類の２次元光学エラーが含まれる。３次元エラーは、３次元で発生する光学エラーである。３次元エラーの例としては、球面収差、色収差、像面歪曲、非点収差、または任意の他の種類の３次元光学エラーが含まれる。いくつかの実施形態では、表示のために電子ディスプレイ１１５に提供されるコンテンツは予め歪曲され、光学系ブロック１１８は、コンテンツに基づいて生成された電子ディスプレイ１１５からの画像光を受信するときに歪曲を補正する。

ロケータ１２０は、ディスプレイデバイス１０５上の特定の位置に互いに対して、かつディスプレイデバイス１０５上の特定の基準点に対して相対的に配置されたオブジェクトである。ロケータ１２０は、発光ダイオード（ＬＥＤ）、コーナーキューブリフレクタ、反射マーカ、ディスプレイデバイス１０５が動作する環境と対照的なタイプの光源、またはこれらの組み合わせであってもよい。ロケータ１２０がアクティブ（即ち、ＬＥＤまたは他のタイプの発光デバイス）である実施形態では、ロケータ１２０は、可視帯域（３８０ｎｍ〜５７０ｎｍ）、赤外（ＩＲ）帯域（７５０ｎｍ〜１７００ｎｍ）、紫外帯域（１０ｎｍ〜３８０ｎｍ）、電磁スペクトルの他の帯域、またはこれらの任意の組み合わせにおいて光を放出することができる。

いくつかの実施形態では、ロケータ１２０は、ロケータ１２０によって放出されるかまたは反射される光の波長に対して透過的であるか、又はロケータ１２０によって放出されるかまたは反射される光の波長を実質的に減衰させないように十分薄い、ディスプレイデバイス１０５の外面の下に配置される。さらに、いくつかの実施形態において、ディスプレイデバイス１０５の外面または他の部分は、光の可視波長帯域において不透過的である。したがって、ロケータ１２０は、ＩＲ帯域内では透過的であるが、可視帯域においては不透過的である外面の下でＩＲ帯域の光を放出することができる。

ＩＭＵ１３０は、１つまたは複数の位置センサ１２５から受信した測定信号に基づいて高速較正データを生成する電子デバイスである。位置センサ１２５は、ディスプレイデバイス１０５の動きに応答して１つまたは複数の測定信号を生成する。位置センサ１２５の例としては、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適当なタイプのセンサ、ＩＭＵ１３０のエラー訂正に使用されるあるタイプのセンサ、またはそれらの組み合わせが含まれる。位置センサ１２５は、ＩＭＵ１３０の外部に配置されてもよく、ＩＭＵ１３０の内部に配置されてもよく、或いはこれらの組み合わせで配置されてもよい。

１つまたは複数の位置センサ１２５からの１つまたは複数の測定信号に基づいて、ＩＭＵ１３０は、ディスプレイデバイス１０５の初期位置に対するディスプレイデバイス１０５の推定位置を示す高速較正データを生成する。例えば、位置センサ１２５は、並進運動（前方／後方、上方／下方、左側／右側）を測定する複数の加速度計と、回転運動（例えば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープと含む。いくつかの実施形態では、ＩＭＵ１３０は、測定信号を高速サンプリングし、サンプリングされたデータからディスプレイデバイス１０５の推定位置を算出する。例えば、ＩＭＵ１３０は、加速度計から受け取った測定信号を経時的に積分して、速度ベクトルを推定し、速度ベクトルを経時的に積分して、ディスプレイデバイス１０５上の基準点の推定位置を決定する。あるいは、ＩＭＵ１３０は、サンプリングされた測定信号をディスプレイシステム１１０に供給し、ディスプレイシステム１１０は、高速較正データを決定する。基準点は、ディスプレイデバイス１０５の位置を説明するために使用され得る点である。基準点は、一般的に、空間内のある点として定義されてもよいが、実際には、基準点は、ディスプレイデバイス１０５内のある点（例えば、ＩＭＵ１３０の中心）として定義されることが多い。

ＩＭＵ１３０は、ディスプレイシステム１１０から１つまたは複数の較正パラメータを受信する。以下でさらに説明するように、１つまたは複数の較正パラメータは、ディスプレイデバイス１０５の追跡を維持するために使用される。ＩＭＵ１３０は、受信した較正パラメータに基づいて、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整し得る。いくつかの実施形態では、特定の較正パラメータにより、ＩＭＵ１３０は基準点の初期位置を更新し、更新された初期位置が、基準点の次の較正位置に対応するようにする。基準点の初期位置を基準点の次の較正位置として更新することにより、決定された推定位置に関連する累積エラーを減少させるのに役立つ。累積エラーは、ドリフトエラーとも呼ばれ、基準点の推定位置を、経時的に基準点の実際の位置から「ドリフト」させる原因となる。

視線追跡ユニット１６０は、ユーザの眼の動きを追跡する。一般的に、追跡される眼球運動は、眼球の角回転だけでなく、眼球の並進運動、眼球の回旋の変化、または眼球の形状の変化を含むことができる。眼球の角回転は、眼球の角度方向の変化である。眼球の角度方向は、ディスプレイデバイス１０５内でのユーザの凝視の方向に対応しており、ここでは、眼の中心窩（網膜上のくぼみ）と眼の瞳孔の中心との間の軸である中心窩軸の方向と定義される。一般的に、ユーザの眼がある点に固定されると、ユーザの眼の中心窩軸はその点と交差する。眼はまた、瞳孔の中心を通過する軸である瞳孔軸を含み、この軸は角膜表面に垂直である。一般的に、瞳孔軸は中心窩軸と直接的に整列することはない。瞳孔軸と中心窩軸の両方は瞳孔の中心で交差するが、中心窩軸の方向は、瞳孔軸から横方向に約−１°〜８°、縦方向に±４°だけずれる。中心窩軸は、眼球後方に位置する中心窩に対して定義されるため、特定の視線追跡法を用いて中心窩軸を検出することは困難であるかまたは不可能である。従って、いくつかの実施形態において、視線追跡ユニット１６０は、瞳孔軸の方向を検出し、検出された瞳孔軸に基づいて中心窩軸を推定する。あるいは、視線追跡ユニット１６０は、中心窩の位置を直接検出することによって、または眼球の網膜の他の特徴の位置を直接的に検出することによって、中心窩軸を推定する。

眼球の並進運動は、眼の眼窩に対する眼の位置の変化である。いくつかの実施形態では、眼球の並進運動は直接的には検出されないが、検出された角度方向からのマッピングに基づいて近似される。視線追跡ユニット１６０の１つまたは複数のコンポーネントに対する眼球の位置の変化に対応する眼球の並進運動も検出されてもよい。視線追跡ユニット１６０の１つまたは複数のコンポーネントに対する眼球の並進運動は、ユーザの頭部のディスプレイデバイス１０５の位置がシフトしたときに発生し得る。視線追跡ユニット１６０は、瞳孔軸を中心とした眼球の回転である眼球回旋をも検出し得る。視線追跡ユニット１６０は、検出された眼球回旋を使用して、検出された瞳孔軸に基づいて中心窩軸の方向を推定し得る。視線追跡ユニット１６０は、また、スキュー、スケーリング線形変換、または捻り変形（例えば、ねじれ変形による）として近似され得る眼球の形状の変化を追跡し得る。視線追跡ユニット１６０は、瞳孔軸の角度方向、眼球の並進運動、眼球の回旋、および眼球の現在の形状の組み合わせに基づいて中心窩軸を推定し得る。

視線追跡ユニット１６０は、追跡された眼球運動を用いて視線追跡情報を決定する。視線追跡情報は、ユーザの眼の位置および／または向きを記述する。視線追跡ユニット１６０は、決定された視線追跡情報を使用して、注視方向（中心窩の中心と眼の瞳孔の中心とを横断する軸である中心窩軸の方向とも呼ばれる）、注視位置（ユーザが見ている凝視点とも呼ばれる）、注視時間（ユーザが特定の方向を見ている時間）、輻輳角（ユーザの視距離および注視方向が変化したときの２つの眼の間の角度）、ユーザの瞳孔間距離（ＩＰＤ、２つの眼の瞳孔の中心間の距離として定義される）、ユーザの識別、眼の回旋状態、眼の形状、片方または両方の眼の位置に基づくいくつかの他の機能、あるいはそれらの組み合わせなどの視線追跡値をさらに推定し得る。例えば、視線追跡ユニット１６０は、ユーザが無限遠に焦点を合わせているとき、又は例えばユーザから遠く離れた別の物体に焦点を合わせているときに、眼の位置を推定することによってＩＰＤを決定することができる。別の例では、視線追跡ユニット１６０は、ユーザの視距離および注視方向の変化を推定することによって輻輳角を決定する。視線追跡ユニット１６０はまた、瞳孔軸を中心とした眼球の回転を推定することによって眼球の回旋状態を決定することができる。いくつかの実施形態では、視線追跡ユニット１６０は、中心窩軸、瞳孔軸からの中心窩軸の向き、および眼の形状の変化を決定することができる。

視線追跡ユニット１６０は、１つまたは複数の照明源、１つまたは複数の撮像装置、および視線追跡コントローラを含み得る。照明源（照明器とも呼ばれる）は、ユーザの眼の一部を光で照明する。所定の照明パワーは、眼に損傷を与える閾値未満である。照明源は赤外線光源であり得る。赤外線光源の例には、レーザー（例えば、波長可変レーザー、連続発振レーザー、パルスレーザー、赤外線を放射する他の適切なレーザー）、発光ダイオード（ＬＥＤ）、ファイバー光源、赤外線および／または可視光を放射する他の適切な光源、あるいはそれらの組み合わせが含まれる。様々な実施形態において、照明源は可視光または近赤外光を放射し得る。いくつかの実施形態では、１つまたは複数の照明源から放射される光は構造化光パターンである。いくつかの実施形態では、眼球運動中に照明された部分からの信号と照明された部分を囲む他の信号との間の明らかな変化に起因して、照明源によって照明される眼球の一部が、検出を容易にするために選択される。例えば、照明される部分は、最大のコントラスト（例えば、ユーザの強膜または角膜表面の端部からの最強の後方反射または後方散乱を伴う位置）を有し得る。照明される部分は、例えば、強膜の端部、角膜の表面、縁部（ｌｉｍｂｕｓ）（例えば、角膜と強膜の接合部、虹彩と強膜の接合部、虹彩と瞳孔の接合部、または眼の任意の他の適切な接合部）に位置し得る。

撮像装置は、眼の照明された部分からの反射光および／または散乱光を検出する。撮像素子は、検出した光に比例する検出信号を出力する。検出信号は、眼の照明される部分の反射率に対応し、反射率は、ユーザの眼１７０の照明される部分全体の明確なコントラスト変化（例えば、角膜反射のコントラスト変化）と相互に関連がある。一実施形態では、撮像装置は、眼の照明された部分の画像を捕捉するように構成されたカメラを備える。いくつかの実施形態では、検出器は、一点検出（例えば、フォトダイオード、平衡型／整合型フォトダイオード、またはアバランシェフォトダイオード、または光電子増倍管）に基づくか、または一次元検出器アレイもしくは二次元検出器アレイ（例えば、カメラ、線形フォトダイオードアレイ、ＣＣＤアレイ、またはＣＭＯＳアレイ）に基づくものとすることができる。いくつかの実施形態では、視線追跡ユニット１６０は、眼の１つまたは複数の照明された部分から反射された光を捕捉するための複数の検出器を含み得る。

視線追跡ユニット１６０は、１つまたは複数の撮像装置からの捕捉光（例えば、捕捉画像）に基づいて視線追跡情報を決定する。いくつかの実施形態では、視線追跡ユニット１６０は、捕捉された光情報（例えば、眼の反射、眼に投影される構造化光パターンの歪み）を所定のルックアップテーブルまたは所定の眼モデルと比較して視線追跡情報を推定し得る。所定のルックアップテーブルまたは所定の眼モデルは、捕捉された光情報と視線追跡情報との間の関係を記述する。例えば、いくつかの実施形態では、視線追跡ユニット１６０は、ユーザの眼の捕捉画像内で１つまたは複数の照明源からの光の反射の位置を識別し、識別された反射の形状および／または位置と所定のルックアップテーブル（または所定の眼モデル）との比較に基づいて視線追跡情報を決定する。あるいは、眼が構造化光パターンで照明されている場合、視線追跡ユニット１６０は、眼に投影された構造化光パターンの歪みを検出し、検出された歪みと所定のルックアップテーブル（または所定の眼モデル）との比較に基づいて視線追跡情報を推定することができる。視線追跡ユニット１６０は、視線追跡情報を使用して、瞳孔軸、（例えば、中心窩軸に対応する）注視角、眼球の並進運動、眼球の回旋、眼の現在の形状などの他の視線追跡値をさらに推定し得る。別の実施形態では、視線追跡情報を決定するために片方または両方の眼から反射された光を使用する代わりに、視線追跡ユニット１６０は、超音波またはレーダなどの他の眼の位置を決定する方法を使用してもよい。

いくつかの実施形態では、視線追跡ユニット１６０は、ユーザの眼のモデルを記憶し、眼の１つまたは複数の走査と共にモデルを使用して眼の現在の向きを推定する。モデルは、眼の表面の３Ｄモデルまたは眼の一部の３Ｄ体積であり得る。モデルは、例えば、中心窩、傍中心窩、および周中心窩を含む、眼の網膜の異なる部分に対する境界をさらに含む。眼のこれらの部分の境界は、例えば、以下に記載される較正シーケンスにより決定され得る。ユーザの両眼が走査される実施形態では、ディスプレイシステム１１０またはディスプレイデバイス１０５は各眼に対する別々のモデルを記憶し得る。

スクリーン領域を決定する前に、視線追跡ユニット１６０は、眼のモデルを生成または訓練するための較正シーケンスを実行し得る。一実施形態では、視線追跡ユニット１６０は、較正シーケンス中に１つまたは複数の送受信器を用いて眼を繰り返し走査する。例えば、ユーザは、ディスプレイデバイス１０５の電子ディスプレイ１１５に表示された特定の仮想オブジェクトまたは視覚的インジケータを注視するように指示される。ユーザが視覚的インジケータを注視している間に眼の一部が走査され、視線追跡ユニット１６０は、眼の既知の向きにおける眼の走査サンプルを捕捉することが可能となる。これらの走査サンプルを合成してモデルにすることができる。視線追跡ユニット１６０がモデルを生成した後、視線追跡ユニット１６０は続いてユーザの視線を追跡し得る。いくつかの実施形態において、視線追跡ユニット１６０は、視線追跡中にモデルを更新する。

撮像装置１３５は、ディスプレイシステム１１０から受信した較正パラメータに従って低速較正データを生成する。低速較正データは、撮像装置１３５によって検出可能なロケータ１２０の観察位置を示す１つまたは複数の画像を含む。撮像装置１３５は、１つまたは複数のカメラ、１つまたは複数のビデオカメラ、１つまたは複数のロケータ１２０を含む画像を撮像可能な任意の他の機器、またはこれらの組み合わせを含み得る。さらに、撮像装置１３５は、１つまたは複数のフィルタ（例えば、信号対雑音比を高めるために使用される）を含み得る。撮像装置１３５は、撮像装置１３５の視野内でロケータ１２０から出射された、または反射された光を検出するように構成されている。ロケータ１２０が受動的素子（例えば、再帰反射器）を含む実施形態では、撮像装置１３５は、光源を含み得、この光源は、撮像装置１３５内の光源に向けて光を再帰反射するロケータ１２０の一部または全部を照明する。低速較正データは、撮像装置１３５からディスプレイシステム１１０に伝達され、撮像装置１３５は、１つまたは複数の較正パラメータをディスプレイシステム１１０から受信して、１つまたは複数の撮像パラメータ（例えば焦点距離、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタ速度、開口等）を調整する。

入力インタフェース１４０は、ユーザが動作要求をディスプレイシステム１１０に送信することを可能にするためのデバイスである。動作要求は、特定の動作を実行するための要求である。例えば、動作要求は、アプリケーションを開始し、アプリケーションを終了するか、またはアプリケーション内で特定の動作を実行するためのものであり得る。入力インタフェース１４０は、１つまたは複数の入力デバイスを含み得る。入力デバイスの例としては、キーボード、マウス、ゲームコントローラ、または動作要求を受信して、受信した動作要求をディスプレイシステム１１０に伝達するための任意のその他の適切なデバイスが含まれる。入力インタフェース１４０によって受信された動作要求はディスプレイシステム１１０に伝達され、ディスプレイシステム１１０は、動作要求に対応する動作を実行する。いくつかの実施形態では、入力インタフェース１４０は、ディスプレイシステム１１０から受信した命令に従って、ユーザに触覚フィードバックを提供する。例えば、触覚フィードバックは、動作要求が受信されたときに提供されるか、または入力インタフェース１４０が、ディスプレイシステム１１０が動作を実行したときに入力インタフェース１４０に触覚フィードバックを生成させる命令をディスプレイシステム１１０から受信したときに提供される。

ディスプレイシステム１１０は、撮像装置１３５、ディスプレイデバイス１０５、および入力インタフェース１４０のうちの１つまたは複数から受信した情報に従って、ユーザに提示するためのコンテンツをディスプレイデバイス１０５に提供する。図１Ａに示す例では、ディスプレイシステム１１０は、アプリケーションストア１４５、追跡モジュール１５０、エンジン１５５、および画像処理エンジン１６５を含む。ディスプレイシステム１１０のいくつかの実施形態は、図１Ａに関連して説明されたものとは異なるモジュールを有する。同様に、以下にさらに説明する機能は、ディスプレイシステム１１０のモジュール間で、上記のものとは異なる方法で分散され得る。

アプリケーションストア１４５は、ディスプレイシステム１１０による実行のための１つまたは複数のアプリケーションを格納する。アプリケーションは、プロセッサの実行時にユーザに提示するためのコンテンツを生成する命令群である。アプリケーションによって生成されたコンテンツは、ディスプレイデバイス１０５または入力インタフェース１４０の動きを介してユーザから受信した入力に応答的なものであり得る。アプリケーションの例としては、ゲーム用アプリケーション、会議用アプリケーション、ビデオ再生用アプリケーション、またはその他の適切なアプリケーションが含まれる。

追跡モジュール１５０は、１つまたは複数の較正パラメータを用いてシステム１００を較正し、１つまたは複数の較正パラメータを調整して、ディスプレイデバイス１０５の位置または入力インタフェース１４０の位置を決定する際のエラーを低減し得る。例えば、追跡モジュール１５０は、撮像装置１３５の焦点を調整して、ディスプレイデバイス１０５上の観察されたロケータのより正確な位置を得る。さらに、追跡モジュール１５０によって行われる較正は、ＩＭＵ１３０から受信した情報も考慮する。さらに、ディスプレイデバイス１０５の追跡が失われた場合（例えば、撮像装置１３５がディスプレイデバイス１０５上の少なくとも閾値の数のロケータ１２０の視線を喪失した場合）、追跡モジュール１５０は、システム１００の一部または全部を再較正する。

追跡モジュール１５０は、撮像装置１３５からの低速較正情報を用いてディスプレイデバイス１０５の動きを追跡する。例えば、追跡モジュール１５０は、低速較正情報から観察されたロケータとディスプレイデバイス１０５のモデルとを用いてディスプレイデバイス１０５の基準点の位置を決定する。追跡モジュール１５０はまた、高速較正情報からの位置情報を用いて、ディスプレイデバイス１０５の基準点の位置を決定する。さらに、いくつかの実施形態において、追跡モジュール１５０は、高速較正情報、低速較正情報、またはそれらの組み合わせの一部を使用して、ディスプレイデバイス１０５の将来の位置を予測し得る。追跡モジュール１５０は、ディスプレイデバイス１０５の推定されたまたは予測された将来の位置をエンジン１５５に提供する。

エンジン１５５は、システム１００内でアプリケーションを実行し、追跡モジュール１５０からディスプレイデバイス１０５の位置情報、加速度情報、速度情報、予測される将来位置、或いはこれらの組み合わせを受信する。エンジン１５５は、受信した情報に基づいて、ユーザに提供するためにディスプレイデバイス１０５に提供するためのコンテンツを決定する。例えば、受信された情報が、ユーザが左を見たことを示している場合、エンジン１５５は、仮想環境内でユーザの動きをミラーリングした、ディスプレイデバイス１０５のためのコンテンツを生成する。さらに、エンジン１５５は、入力インタフェース１４０から受信した動作要求に応答してディスプレイシステム１１０上で実行されるアプリケーション中のある動作を実行し、その動作が実行されたことをユーザにフィードバックする。提供されたフィードバックは、ディスプレイデバイス１０５を介した視覚的または聴覚的なフィードバックか、又は入力インタフェース１４０を介した触覚フィードバックであり得る。

画像処理エンジン１６５は、（例えば、視線追跡ユニット１６０から）視線追跡情報を受信し、スクリーンをユーザの網膜の異なる部分で見たスクリーンの部分を表す２つ以上のスクリーン領域に分割し、各スクリーン領域に表示されるべき画像の部分に異なる組のパラメータを適用することによってスクリーン上への表示用の画像を処理する。本明細書で言及されるように、スクリーン上への表示用の画像を処理することは、画像をレンダリングすること（例えば、ゲーム内のシーンをレンダリングすること）、画像を符号化すること、または画像をレンダリングして符号化することの組み合わせを含み得る。画像処理エンジン１６５のコンポーネントは、図１Ｂを参照して以下に詳細に説明される。

図１Ａに示す実施形態では、画像処理エンジン１６５は、ＶＲシステム環境、ＡＲシステム環境、ＭＲシステム環境、またはそれらの組み合せで動作し得るシステム１００内で実施される。しかしながら、本明細書に記載されているような画像処理エンジン１６５はまた、視線追跡コンポーネントも含む他の種類のシステムにおいても実施され得る。例えば、他の実施形態では、エンジン１６５は携帯電子機器（例えば、スマートフォンまたはタブレットコンピュータ）上で実施される。この実施形態では、エンジン１６５は、視線追跡情報（例えば、携帯電子機器の前面カメラから捕捉された画像）を受信し、携帯電子機器のスクリーンに表示される画像に適応パラメータを適用する。さらに別の実施形態では、エンジン１６５は、視線追跡を実行することができるコンポーネント（例えば、ラップトップディスプレイのベゼルに組み込まれるか、またはモニタの最上部に取り付けられたカメラなどのユーザと対面するカメラ）を有するラップトップコンピュータまたはデスクトップコンピュータで実施され、かつコンピュータのスクリーン上に表示される画像に適応パラメータを適用する。

図１Ｂは、一実施形態による画像処理エンジン１６５のブロック図である。図１Ｂに示すレンダリング／符号化エンジンは、スクリーン領域モジュール１６２、レンダリングモジュール１６４、および符号化モジュール１６６を含む。代替の構成では、異なるおよび／または追加のコンポーネントがレンダリング／符号化エンジンに含まれてもよい。同様に、コンポーネントのうちの１つまたは複数の機能は、本明細書で説明したものとは異なるやり方でコンポーネント間で分散させてもよい。

スクリーン領域モジュール１６２は、（例えば、視線追跡ユニット１６０から）視線追跡情報を受け取り、中心窩、傍中心窩、および傍中心窩を超える網膜の部分などのユーザの網膜の異なる部分に対応するスクリーン領域を決定する。本明細書で言及されるように、スクリーン領域は、ユーザの網膜の特定の部分で見られるスクリーンの一部である。例えば、スクリーン領域モジュール１６２は、中心窩で見られるスクリーンの一部に対応する第１のスクリーン領域（中心窩領域）、傍中心窩で見られるスクリーンの一部に対応する第２のスクリーン領域（傍中心窩領域）、および、傍中心窩の外側の網膜の部分によって見られるスクリーンの一部に対応する第３のスクリーン領域（外側領域）を決定し得る。

スクリーン領域モジュール１６２は、視線追跡ユニット１６０などの視線追跡コンポーネントから視線追跡情報を受け取る。一実施形態では、視線追跡情報は、視線追跡ユニット１６０によって決定されるようなユーザの眼の角度方向を含む。別の実施形態では、視線追跡情報は、ユーザの眼の１つまたは複数の画像などの追加のまたは異なる情報を含む。スクリーン領域モジュール１６２が視線追跡情報に基づいてスクリーン領域を決定する方法は、図３Ａ〜３Ｃを参照して以下に詳細に説明される。

レンダリングモジュール１６４は、ディスプレイシステム１１０上で実行されているアプリケーションによって生成された情報に基づいて画像をレンダリングする。アプリケーションは、アプリケーションストア１４５に格納されるか、または入力インタフェース１４０を介して他のシステムから受信されてもよい。例えば、ディスプレイシステム１１０は、シーン内の様々な位置に１つまたは複数の仮想オブジェクト（プレーヤキャラクタ、ノンプレーヤキャラクタ、環境オブジェクト、および背景など）を含むシーンを生成するゲームアプリケーションを実行する。モジュール１６４は、画像を２つ以上の画像領域に分割し、対応する一組のレンダリングパラメータを各領域に適用することによって画像をレンダリングする。例えば、上述の例では、レンダリングモジュール１６４は、各画像領域内の仮想オブジェクトを対応する一組のレンダリングパラメータでレンダリングすることによってシーンの画像をレンダリングする。本明細書で言及されるように、画像は、静止画または一連のフレームのうちの１つのフレーム（例えば、ビデオまたはゲームアプリケーションのフレーム）であり得る。

符号化モジュール１６６は、（例えば、レンダリングモジュール１６４または入力インタフェース１４０から）画像を受け取り、送信用に画像を符号化する。モジュール１６６は、画像を２つ以上の画像領域に分割し、対応する一組の符号化パラメータを各領域に適用することによって画像を符号化する。一実施形態では、符号化モジュール１６６は、図６Ａおよび図６Ｂを参照して説明したプロセスに従って画像を符号化する。それらが符号化された後、ディスプレイシステム１１０は、画像をユーザに対して表示させるべくディスプレイデバイス１０５に送信し得る。

本明細書で言及されるように、画像領域は、ディスプレイデバイス１０５のスクリーン上に表示されたときに、ユーザの網膜の特定の部分によって見られる画像の一部である。例えば、モジュール１６４、１６６は、中心窩によって見られる第１の画像領域、傍中心窩によって見られる第２の画像領域、および傍中心窩の外側の網膜の一部によって見られる第３の画像領域に異なる組のパラメータを適用する。いくつかの実施形態では、レンダリングモジュール１６４によってレンダリングされ、かつ／または符号化モジュール１６６によって符号化された画像は、スクリーン全体を網羅するように表示される（すなわち、画像は全画面モードで表示される）。これらの実施形態では、レンダリングモジュール１６４および符号化モジュール１６６を参照して説明された画像領域は、スクリーン領域モジュール１６２を参照して説明されたスクリーン領域と同じ形状および画像内の同じ位置を有する。他の実施形態では、画像はスクリーンの一部に（例えば、スクリーン全体を占有しないウィンドウ内に）表示される。これらの実施形態では、モジュール１６４、１６６は、画像が表示されるべきスクリーンの一部を含み、スクリーンの他の部分を除外するようにスクリーン領域を切り取ることによって画像領域の境界を決定する。

図２は、一実施形態によるヘッドマウントディスプレイ（ＨＭＤ）２００の図である。ＨＭＤ２００は、ディスプレイデバイス１０５の一実施形態であり、かつ前側硬質本体２０５とバンド２１０とを含む。前側硬質本体２０５は、電子ディスプレイ１１５（図２では図示せず）の電子ディスプレイ素子と、光学系ブロック１１８（図２では図示せず）と、ＩＭＵ１３０と、１つまたは複数の位置センサ１２５と、視線追跡ユニット１６０と、ロケータ１２０とを含む。図２に示される実施形態では、位置センサ１２５はＩＭＵ１３０内に配置され、ＩＭＵ１３０および位置センサ１２５はユーザには視認されない。

ロケータ１２０は、前側硬質本体２０５上の固定位置に互いに対して相対的にかつ基準点２１５に対して相対的に配置されている。図２の例では、基準点２１５は、ＩＭＵ１３０の中心に配置されている。ロケータ１２０の各々は、撮像装置１３５によって検出可能な光を放出する。ロケータ１２０またはロケータ１２０の一部は、図２の例では、前側硬質本体２０５の前面２２０Ａ、上面２２０Ｂ、下面２２０Ｃ、右面２２０Ｄ、左面２２０Ｅ上に配置されている。

画像領域における適応パラメータ
図３Ａおよび図３Ｂは、一実施形態による、注視ベクトル３０６によって示される方向にスクリーン３０４を注視しているユーザの眼３０２を示す。最初に図３Ａを参照すると、ユーザの眼３０２、注視ベクトル３０６、およびスクリーン３０４が示されている。図３Ａは、さらに、例えば、視線追跡ユニット１６０によって捕捉された眼の画像に基づいてスクリーン領域モジュール１６２によって生成されたスクリーン上の中心窩領域３０８、傍中心窩領域３１０、および外側領域３１２を示す。

スクリーン領域モジュール１６２は、眼が見ている方向を表す注視ベクトルを決定する。いくつかの実施形態では、スクリーン領域モジュール１６２は、眼球中心（Ａ）、角膜中心（Ｃ）、瞳孔（Ｅ）、および角膜中心と瞳孔中心（ｈ）との間の距離を含む、眼に関連する複数の眼球特性に基づいて注視ベクトルを決定する。一実施形態では、視線追跡ユニット１６０はこれらの眼球特性の推定値を計算し、その推定値を視線追跡情報の一部としてスクリーン領域モジュール１６２に送信する。別の実施形態では、スクリーン領域モジュール１６２は、視線追跡ユニット１６０から眼球の角度方向を受け取り、角回転に基づいて眼モデルに回転を適用することによってこれらの眼球特性を生成する。他の実施形態では、スクリーン領域モジュール１６２は、視線追跡ユニット１６０から眼の中心窩軸を受け取り、中心窩軸の方向を注視ベクトル３０６として使用する。注視ベクトル３０６を決定した後、モジュール１６２は、注視ベクトル３０６とスクリーン３０４との間の交点を計算することによって注視点３１４を決定する。他の実施形態では、注視点３１４は他の手段によって計算される。

３０２として示されるスクリーンの領域は、眼が解像度の差に最も敏感である中心窩領域である。３０４として示される領域は、３０２に最も近い傍中心窩領域であり、傍中心窩領域では眼は解像度の差に対する感度が低い。領域３０２および３０４の外側の領域は、外側画像領域３０６であり、外側画像領域３０６では眼は解像度の差に対する感度が最も低い。

図３Ａに示される実施形態では、スクリーン領域モジュール１６２は、注視点を中心とする所定の半径の円を描くことによって中心窩領域３０８を決定する。同様に、スクリーン領域モジュール１６２は、注視点を中心とする第２の所定の半径の第２の円を描き、中心窩領域を減算して環帯（リング形状）を生成することによって傍中心窩領域３１０を決定する。スクリーン領域モジュール１６２はさらに、中心窩領域３０８および傍中心窩領域３１０によって覆われていないスクリーンの領域として外側領域３１２を決定し得る。

所定の半径を有するスクリーン領域３０８、３１０、３１２を決定するためのこのプロセスは、処理中にスクリーン３０４がユーザの眼３０２から既知の距離を維持する実施形態（例えば、ディスプレイデバイス１０５が図２に示されているＨＭＤ２００のようなヘッドマウントディスプレイである実施形態）において特に有利である。その理由は、例えば、所定の半径は、特定の数値の視角の度数に対応するように選択され、かつ中心窩領域３０８および傍中心窩領域３１０に関する視角の度数は、ユーザの中心窩および傍中心窩の解剖学的境界の推定値を表すように選択することができるからである。例えば、上述のように、所定の半径は、中心窩領域３０８が２．５度の視角の半径に対応し、傍中心窩領域３１０が５．０度の視角の半径に対応するように選択することができる。いくつかの実施形態では、所定の半径は、視線追跡ユニット１６０を参照して上述したユーザの眼モデルに基づいて選択される。

図３Ｂは、図３Ａの眼を示し、さらに一実施形態による中心窩円錐３１６および傍中心窩円錐３１８を示す。図３Ｂに示す実施形態では、中心窩領域および傍中心窩領域は３Ｄ円錐によって画定される。３１６として描かれている円錐形状は中心窩円錐であり、３１８として描かれている円錐形状は傍中心窩円錐である。

図３Ｂに示す実施形態では、スクリーン領域モジュール１６２は、円錐３１６、３１８に基づいてスクリーン領域３０８、３１０を決定する。より具体的には、スクリーン領域モジュール１６２は、図３Ａを参照して上述した方法で眼球特性に基づいて注視ベクトルを決定する。注視ベクトル３０６を決定した後、スクリーン領域モジュール１６２は、注視ベクトル３０６と一致する軸と、角膜中心（Ｃ）の頂点と、軸に対して所定の角度（例えば、２．５度）だけオフセットした円錐面とを有する円錐として中心窩円錐３１６を形成する。同様に、スクリーン領域モジュール１６２は、注視ベクトル３０６と一致する軸と、角膜中心の頂点（Ｃ）と、軸に対して異なる所定の角度（例えば、５度）だけオフセットした円錐面とを有する傍中心窩円錐３１８を形成する。図３Ａを参照して上述した所定の半径と同様に、円錐３１６、３１８を画定する所定の角度は、典型的な人間のユーザの中心窩および傍中心窩の解剖学的境界の推定値を表すように選択することができ、かつ眼モデルに基づくものとすることができる。円錐３１６、３１８を形成した後、スクリーン領域モジュール１６２は、対応する円錐３１６、３１８とスクリーン３０４との間の交点を計算することによって中心窩領域３０８および傍中心窩領域３１０を決定する。スクリーン領域モジュール１６２はさらに、中心窩領域３０８および傍中心窩領域３１０によって覆われていないスクリーンの領域として外側領域３１２を決定し得る。

図３Ｃは、一実施形態によるスクリーン３０４上に現れる中心窩領域３０８、傍中心窩領域３１０、および外側領域３１２を示す。中心窩領域３０８および傍中心窩領域３１０は図３Ａ〜図３Ｃに円として示されているが、他の実施形態では、これらの領域は異なる形状を有することができる。一実施形態では、中心窩領域および傍中心窩領域は、注視点３１４を中心とし、その一辺が図３Ａ〜図３Ｃに示す円形中心窩および傍中心窩領域３０８、３１０と同じ長さの正方形である。別の実施形態では、中心窩領域および傍中心窩領域は長方形である。正方形または長方形の中心窩および傍中心窩領域を使用することは、例えば、画素が直交座標系でインデックス付けされているスクリーン上で正方形領域または長方形領域を形成することがより容易であるという理由から有利である。

いくつかの実施形態では、スクリーン領域モジュール１６２は、層間のより滑らかな移行を提供するために追加の領域を生成する。いくつかの実施形態では、各領域のサイズは、適応的であり、かつ眼の特性におけるノイズ、眼球特性の推定精度、注視ベクトルの方向、またはそれらの任意の組み合わせに基づいて更新され得る。いくつかの実施形態では、各スクリーン領域のサイズは、衝動性運動（ｓａｃｃａｄｅ）（凝視点間の急速な眼球運動）が検出されたときに拡大され、一旦凝視が安定すると再び縮小される。

図４は、一実施形態による、視線追跡情報に基づいて画像領域に適応パラメータを適用するためのプロセスを示すブロック図である。ディスプレイシステム１１０は、視線追跡情報を受信する（４０２）。例えば、システム１１０は、ディスプレイデバイス１０５の視線追跡ユニット１６０からユーザの眼の角度方向を受け取る。システム１１０は、追加的または代替的に、図３Ａを参照して説明したユーザの眼の画像または１つまたは複数の眼球特徴などの他の種類の視線追跡情報を受信する。

視線追跡情報を受信した（４０２）後、システム１１０は視線追跡情報に基づいて２以上のスクリーン領域を決定する（４０４）。例えば、システム１１０は、図３Ａおよび図３Ｂを参照して説明したプロセスの一方または両方を実行して、中心窩領域、傍中心窩領域、および外側領域を決定する（４０４）。他の実施形態では、システム１１０は、異なる数の領域を決定してもよい（４０４）。例えば、システム１１０は、２つの領域（例えば、傍中心窩領域ではなく、中心窩領域および外側領域）を決定し得る。別の例として、システムは、上述のように中心窩領域、傍中心窩領域、および外側領域を決定し、追加的に、ユーザの眼の周中心窩に対応する周中心窩領域（傍中心窩を囲む網膜の一部）を決定し得る。

システム１１０は、画像内の異なる画像領域に異なる組のパラメータを適用することによって画像をレンダリングおよび／または符号化する（４０６）。画像がスクリーン全体に表示される実施形態では、画像領域はスクリーン領域と同一の広がりを持つ。画像がスクリーンの一部に表示される実施形態では、システム１１０は、画像が表示されるスクリーンの一部にスクリーン領域をトリミングすることによって画像領域の境界を決定する。ディスプレイシステム１１０は、画像をスクリーン上に表示されるようにディスプレイデバイス１０５に送信する（４０８）。

図５Ａ〜図５Ｃは、異なる画像領域に異なる組のパラメータを適用することによって画像をレンダリングして符号化するためのプロセスの様々な実施形態を示す。例えば、図４を参照して説明したレンダリング／符号化ステップ４０６として、図５Ａ〜図５Ｃに示す１つまたは複数のプロセスを実行することができる。一実施形態では、図５Ａ〜図５Ｃに示す各プロセスは、画像処理エンジン１６５によって実行される。

最初に図５Ａを参照すると、一実施形態による、異なる組のレンダリングパラメータを用いて画像の異なる部分をレンダリングするためのプロセスを示すブロック図が示されている。ディスプレイシステム１１０は、第１の組のレンダリングパラメータに基づいて第１の画像領域をレンダリングする（５０２）。ディスプレイシステム１１０はまた、第２の組のレンダリングパラメータに基づいて第２の画像領域をレンダリングする。例えば、第１の画像領域は、中心窩によって見られる画像の一部に対応する中心窩領域であり得、第２の画像領域は、中心窩の外側の網膜の部分によって見られる画像の一部に対応する外側領域であり得る。

本明細書で言及されるように、一組のレンダリングパラメータは、画像をレンダリングするためにディスプレイシステム１１０上で実行されるレンダリングプロセスの処理に影響を与える１つまたは複数の係数を指定する。レンダリングパラメータの例は、画像解像度、フレームレート、アンチエイリアシング設定、またはテクスチャ品質を含み得る。レンダリングパラメータの一部またはすべては、レンダリングプロセスがより多くのコンピューティングリソースを消費することを犠牲にしてより高い画質を達成するか、またはより少ないコンピューティングリソースでレンダリングプロセスを実行することを許容して低品質を達成するように調整され得る。一実施形態では、第２の組のレンダリングパラメータは、第１の組のレンダリングパラメータよりも低い画質をもたらす。

画像がレンダリングされた後、ディスプレイシステム１１０はレンダリングされた画像を符号化する（５０６）。図５Ａに示す実施形態では、画像全体が単一の組の符号化パラメータに基づいて符号化される（５０６）。しかしながら、図５Ｂ〜図５Ｃに示す実施形態などの他の実施形態では、ディスプレイシステム１１０は、異なる組の符号化パラメータに基づいて異なる領域のレンダリングされた画像を符号化する（５０６）。

図５Ａには示されていないが、ディスプレイシステム１１０はまた、第３の組のレンダリングパラメータに基づいて第３の画像領域をレンダリングし得る。一実施形態では、第３の画像領域は、傍中心窩によって見られる画像の一部に対応する傍中心窩領域であり得る（この場合、外側領域は、中心窩および傍中心窩の両方の外側の網膜の部分によって見られる画像の一部に対応し得る）。この実施形態では、第３の組のレンダリングパラメータは、中間レベルの画質（すなわち、第１の組のレンダリングパラメータよりも低い画質、および第２の組のレンダリングパラメータよりも高い画質）をもたらす。

より広くは、ディスプレイシステム１１０は、画質レベルを低下させるために提供する異なる組のレンダリングパラメータで中心窩領域、傍中心窩領域、および外側領域（上記の説明では、それぞれ第１の領域、第３の領域、および第２の領域と呼ばれる）をレンダリングすることができる。画像の質に対する眼の感度は、中心窩からの距離と共に減少するので、傍中心窩領域における中間の画像品質および外側領域におけるより低い画像品質は、多くのユーザには感知できない。しかしながら、傍中心窩および外側領域に対する低品質のレンダリングパラメータの使用により、より少ないコンピューティングリソースで画像のレンダリング処理を実行することが可能となり、それはレンダリング処理がより少ない時間で完了し、かつ／またはより少ない電力を消費することを有利に可能にする。従って、異なる組のレンダリングパラメータを用いて異なる画像領域をレンダリングするこのプロセスによって、ディスプレイシステム１１０が、十分に高い画像品質とコンピューティングリソースのより少ない使用との間のバランスをとるレンダリングプロセスを実行することが可能となる。

いくつかの実施形態では、レンダリングされている画像は、アプリケーション（例えば、ゲーム）によって生成されたシーンを描写し、かつシーン内の様々な位置における複数のオブジェクトを含む。一実施形態では、オブジェクトの一部が対応する領域内に現れるかどうかに基づいて、一組のレンダリングパラメータをシーン内のオブジェクトに適用することができる。例えば、ユーザがオブジェクトを見ており、そのオブジェクトの一部が中心窩領域の外側に広がっている場合、ディスプレイシステム１１０は、ユーザがオブジェクトのいくつかの部分における品質の変化を知覚しないように、第１の組のレンダリングパラメータでオブジェクト全体をレンダリングすることができる。

いくつかの実施形態では、シーン内の１つまたは複数のオブジェクトは、オブジェクトとユーザとの間の距離を表す深度値を有する。シーン内の各オブジェクトの深度値は、シーンを生成するアプリケーションによって決定され得る。例えば、ゲームアプリケーションによって生成されたシーン内のオブジェクトの深度値は、シーン内のゲームオブジェクトの位置とプレーヤの視点の位置との間の距離を表し得る。

これらの実施形態では、ディスプレイシステム１１０は、オブジェクトの深度に少なくとも部分的に基づいて、オブジェクトに適用するための一組のレンダリングパラメータを選択し得る。一実施形態では、ユーザが近距離に位置するオブジェクトを見ている場合（例えば、注視点が第１の閾値より低い深度値を有するオブジェクト上に位置している場合）、ディスプレイシステム１１０は、背景オブジェクトが中心窩領域または傍中心窩領域内に存在する場合であっても、背景内に位置するオブジェクト（例えば、第２の閾値より高い深度値を有するオブジェクト）に対してより低品質の組のレンダリングパラメータを適用する。

別の実施形態では、２つの注視ベクトルがユーザの２つの眼に対して別々に決定され、ディスプレイシステム１１０は２つの注視ベクトルの輻輳に基づいてユーザの焦点深度を決定する。この実施形態では、ディスプレイシステム１１０は、焦点深度とシーン内のオブジェクトの深度値との間の深度の差（以下、深度差と呼ぶ）を決定し、システム１１０は、それらのオブジェクトが中心窩領域または傍中心窩領域に存在する場合であっても、深度の差が閾値を超えるオブジェクトに対してより低品質の組のレンダリングパラメータを適用する。

いくつかの実施形態では、ディスプレイシステム１１０は、共に一連のフレームを構成する複数の画像についてレンダリングプロセスを実行する。例えば、画像は、ビデオのフレームまたはゲームアプリケーションのフレームであり得る。これらの実施形態では、ディスプレイシステム１１０は、異なるフレームレートで画像の異なる領域をレンダリングする。一実施形態では、ディスプレイシステム１１０は、１フレームごとに中心窩領域をレンダリングし、１フレームおきに外側領域をレンダリングする。いくつかの実施形態では、ディスプレイシステム１１０は、所与のフレームについてレンダリングされていない領域を補正するために時間的アンチエイリアシングを適用する。

別の実施形態では、ディスプレイシステム１１０は、シーンの内容に基づいてフレーム内の画像領域がレンダリングされる頻度を決定する。例えば、画像領域が連続フレーム間である程度静的に維持しているオブジェクトを含む場合（例えば、背景における雲）、その画像領域は、移動するオブジェクトを含む画像領域よりも低い頻度でレンダリングされ得る。

図５Ｂは、一実施形態による、異なる組の符号化パラメータを用いて画像の異なる部分を符号化するためのプロセスを示すブロック図である。レンダリングされた画像がディスプレイシステム１１０に提供される（５１２）。様々な実施形態において、ディスプレイシステム１１０の記憶媒体に記憶されたレンダリングされた画像（例えば、画像ファイルまたはビデオファイル）、または、入力インタフェース１４０を介してディスプレイシステム１１０で受信されたレンダリングされた画像（例えば、ＹＯＵＴＵＢＥ（登録商標）などのストリーミングサービスからのビデオストリーム）は、ディスプレイシステム１１０上でレンダリングされ得る（例えば、ディスプレイシステム上で実行されるゲームアプリケーションまたは他のアプリケーションの一部として）。

レンダリングされた画像が提供された（５１２）後、ディスプレイシステム１１０は、第１の組の符号化パラメータに基づいて第１の画像領域を符号化する（５１４）。ディスプレイシステム１１０はまた、第２の組の符号化パラメータに基づいて第２の画像領域を符号化する（５１６）。例えば、第１の画像領域は、中心窩によって見られる画像の一部に対応する中心窩領域であり得、第２の画像領域は、中心窩の外側の網膜の部分によって見られる画像の一部に対応する外側領域であり得る。

本明細書で言及されるように、一組の符号化パラメータは、画像をレンダリングするためにディスプレイシステム１１０上で実行される符号化プロセスの処理に影響を与える１つまたは複数の係数を指定する。符号化パラメータの例には、画像解像度、フレームレート、および変換符号化用に使用される変換の種類などの圧縮係数、量子化レベルの数および範囲、クロマサブサンプリング、および色域圧縮が含まれ得る。上述したレンダリングパラメータと同様に、符号化パラメータの一部またはすべては、符号化プロセスがより多くのコンピューティングリソースを消費することを犠牲にしてより高い画質を達成するか、またはより少ないコンピューティングリソースで符号化プロセスを実行することを許容して低品質を達成するように調整され得る。さらに、より高品質の組の符号化パラメータはより大きなファイルサイズを有する符号化画像ファイルをもたらし、より低品質の組の符号化パラメータはより小さいファイルサイズを有する符号化画像ファイルをもたらし得る。一実施形態では、第２の組のレンダリングパラメータは、第１の組のレンダリングパラメータよりも低い画質および小さいファイルサイズをもたらす。

図５Ｂには示されていないが、ディスプレイシステム１１０はまた、第３の組の符号化パラメータに基づいて第３の画像領域を符号化し得る。一実施形態では、第３の画像領域は、傍中心窩によって見られる画像の一部に対応する傍中心窩領域であり得る（この場合、外側領域は、中心窩および傍中心窩の両方の外側の網膜の部分によって見られる画像の一部に対応し得る）。この実施形態では、第３の組のレンダリングパラメータは、中間レベルの画質（すなわち、第１の組の符号化パラメータよりも低い画質、および第２の組の符号化パラメータよりも高い画質）をもたらす。

要するに、画像を符号化するためのこのプロセスを実行するディスプレイシステム１１０は、中心窩領域にはより高品質の符号化パラメータを適用し、傍中心窩領域には中間品質の符号化パラメータを適用し、外側領域にはより低品質の符号化パラメータを適用することができる。上記のように、画像の質に対する眼の感度は、中心窩からの距離と共に減少する。従って、傍中心窩領域における中間品質および外側領域におけるより低い品質は、画像の全体的な画像品質に対するユーザの知覚に悪影響を与える可能性が低い。しかしながら、傍中心窩および外側領域における中間品質および低品質の符号化パラメータの使用により、より少ないコンピューティングリソースで符号化プロセスを実行することが可能となり、したがって、符号化プロセスをより短い時間で完了することができ、かつ／またはより少ない電力を消費することができる。さらに、傍中心窩および外側領域における中間品質および低品質の符号化パラメータの使用により、より小さいファイルサイズを有する符号化画像をもたらし、これは、画像をディスプレイデバイス１０５に送信するときに使用される帯域幅の量を有利に低減する。

図５Ｃは、一実施形態による、異なる組のパラメータを用いて画像の異なる部分をレンダリングおよび符号化するためのプロセスを示すブロック図である。ディスプレイシステム１１０は、第１の組のレンダリングパラメータに基づいて第１の画像領域をレンダリングし（５２２）、第２の組のレンダリングパラメータに基づいて第２の画像領域をレンダリングする（５２４）。画像をレンダリングした後、ディスプレイシステム１１０は、第１の組の符号化パラメータに基づいて第１の画像領域を符号化し（５２６）、第２の組の符号化パラメータに基づいて第２の画像領域を符号化する（５２８）。

一実施形態では、レンダリングステップ５２２、５２４に使用される画像領域は、符号化ステップ５２６、５２８に使用される画像領域と同じである。換言すれば、第１の組の符号化パラメータは、第１の組のレンダリングパラメータでレンダリングされた画像領域に適用され、第２の組の符号化パラメータは、第２の組のレンダリングパラメータでレンダリングされた画像領域に適用される。他の実施形態では、レンダリングステップ５２２、５２４に使用される画像領域は、符号化ステップ５２６、５２８に使用される画像領域とは異なる。例えば、レンダリングステップ５２２、５２４に使用される画像領域は円形であり、（図６Ａおよび図６Ｂを参照して以下に説明される例に示されるように）符号化ステップ５２６、５２８に使用される画像領域は正方形である。

図６Ａは、一実施形態による、異なる組の符号化パラメータを用いて画像の異なる領域を符号化し、次いで画像の画像領域を単一のフレームにパッキングするためのプロセスの一例を示す。ディスプレイシステム１１０は、中心窩領域６０２、傍中心窩領域６０４、および外側領域６０６に分割された画像６０１を符号化する。ディスプレイシステム１１０は、第１の組の符号化パラメータに基づいて中心窩領域６０２を符号化し、第２の組のレンダリングパラメータに基づいて傍中心窩領域６０４を符号化し、第３の組のレンダリングパラメータに基づいて外側領域を符号化する。図６Ａに示される例では、３つの組の符号化パラメータは異なる解像度を指定する。特に、第１の組の符号化パラメータは第１の比較的高い解像度を指定し、第２の組の符号化パラメータはより低い解像度（例えば、第１の解像度の半分）を指定し、第３の組の符号化パラメータはさらに低い解像度（例えば、第１の解像度の４分の１）を指定する。

この符号化プロセスは、３つの符号化画像領域、すなわち符号化中心窩領域６１２、符号化傍中心窩領域６１４、および符号化外側領域６１６を生成する。ディスプレイシステム１１０は、符号化画像領域をまとめて１つのパッキングされた画像６２２にパッキングするパッキング処理を行い、パッキングされた画像６２２をディスプレイデバイス１０５に送信する。パッキングされた画像６２２を受信した後、ディスプレイデバイス１０５は、画像をスクリーン上に表示するために各符号化画像領域をアップスケーリングし合成することによって画像６０１をアンパッキングして再構成する。このようにして符号化画像領域をパッキングすることは、例えば、結果として生じるパッキングされた画像６２２が特定の解像度の画像よりもかなり少ない画素を含むので有利である。例えば、画像６０１が１９２０×１０８０画素の解像度を有する場合、パッキングされた画像６２２は、元の１９２０×１０８０の画像の２００万画素に対して３８万画素を含み、これは各画像を送信するために使用される帯域幅および時間を著しく減少させる。

図６Ｂは、一実施形態による一連の画像を符号化してパッキングする一例を示す。図６Ｂに示す例では、一連の画像は一連のフレームを構成し（例えば、ビデオまたはゲームアプリケーションにおいて）、各組の符号化パラメータは異なる周波数（即ち、異なるフレームレート）を指定する。より具体的には、中心窩領域６５２は、第１の周波数（例えば、１２０Ｈｚ）で符号化され送信され、傍中心窩領域６５４は、第１の周波数より低い第２の周波数（例えば、８０Ｈｚ）で符号化され送信され、外側領域６５６は、第１および第２の周波数より低い第３の周波数（例えば、４０Ｈｚ）で符号化され送信される。

各フレームについて、ディスプレイシステム１１０は画像領域を符号化してパッキングされたフレームにパッキングし、パッキングされたフレームは次にディスプレイデバイス１０５に送信される。フレームにすべての領域が含まれていない場合（例えば、フレームｎ＋１ ６６０Ｂ、フレームｎ＋２ ６６０Ｃ、およびフレームｎ＋４ ６６０Ｅ）、ディスプレイシステム１１０は、各画像領域に関して利用可能な最新のフレームを使用することによって次のフレームを生成する。いくつかの実施形態では、ミスアライメントを補正するために後処理技術が適用される。

図６Ｂは、フレームｎ ６６０Ａからフレームｎ＋４ ６６０Ｅまでの５個のフレームのシーケンスを示す。フレームｎは、中心窩領域６５２Ａ、傍中心窩領域６５４Ａ、および外側領域６５６Ａを含む。フレームｎ＋１ ６６０Ｂでは、中心窩領域６５２Ｂおよび傍中心窩領域６５４Ｂは含まれているが、外側領域は含まれていないので、ディスプレイデバイス１０５に送信されるデータ量は減少する。フレームｎ＋２は、新たに符号化された中心窩領域６５２Ｃを含んでいるが、傍中心窩領域および外側領域を含まないため、データ量はさらに減少する。次に、シーケンスはフレームｎ＋３ ６６０Ｄおよびフレームｎ＋４ ６６０Ｅで同じように繰り返される。そうすることで、ユーザの眼が最も敏感である画像領域（即ち、中心窩領域６５２）が符号化され、各連続するフレームと共に新たに送信される。ユーザの眼がそれほど敏感ではない画像領域（即ち、傍中心窩領域６５４）は、符号化され、３個のフレームのうちの２個のフレームごとに新たに送信される。そして、ユーザの眼の感度がさらに低い画像領域（即ち、外側領域）は、３個のフレームごとに１回符号化されて新たに送信される。これにより、伝達されるデータ量、ひいては各フレームの送信に必要な帯域幅と時間が大幅に削減される。

いくつかの実施形態において、ディスプレイシステム１１０は、所与のフレームについて符号化されずにディスプレイデバイス１０５に送信される領域をレンダリングしない。いくつかの実施形態では、ディスプレイシステム１１０は、シーン内のアクティビティに基づいてどの領域をレンダリングすべきかを決定する。例えば、オブジェクトが画像領域内で静止を維持している場合、その画像領域のレンダリング頻度は、動いているオブジェクトが存在するときよりも低くなり得る。

追加の構成情報
本開示の実施形態の上述の説明は、例示を目的として提示されており、これは網羅的であることを意図するか、または開示された正確な形態への開示を制限することを意図したものではない。当業者であれば、上記の開示を参照して多くの改良及び変形が可能であることを理解することができる。

この説明の一部は、開示の実施形態が情報に対する演算のアルゴリズムおよび記号表現によって記載されている。これらのアルゴリズムの説明や表現は、データ処理技術の当業者によって、作業の内容を他の当業者に効果的に伝達するために一般的に用いられている。これらの演算は、機能的、計算的、または論理的に説明されているが、コンピュータプログラムまたはこれと同等の電気回路、マイクロコードなどによって実施されることが理解される。さらに、これらの演算の配置をモジュールとして参照することは、一般性を失うことなく、時には便利であることも証明されている。説明されている演算およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組合せにより具現化され得る。

本明細書に記載されているステップ、演算又はプロセスのいずれかは、１つまたは複数のハードウェアモジュール又はソフトウェアモジュールで、単独又は他のデバイスと組み合わせて実行又は実施され得る。一実施形態では、ソフトウェアモジュールは、本明細書に記載されているステップ、演算、又はプロセスのいずれか又は全てを実行するためにコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品を用いて実施される。

開示の実施形態は、本明細書における演算を実行するための装置にも関連し得る。この装置は、必要な目的のために特別に構成され得、かつ／またはコンピュータに格納されたコンピュータプログラムによって選択的に活性化または再構成される汎用コンピューティングデバイスを含み得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を格納するのに好適な任意のタイプの媒体に格納され得る。さらに、本明細書中で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を使用したアーキテクチャであり得る。

本開示の実施形態は、本明細書に記載されるコンピューティングプロセスによって生成される製品にも関連し得る。そのような製品は、コンピュータプロセスによって生成される情報を含み得、ここで、情報は、非一時的な有形のコンピュータ可読媒体上に格納され、コンピュータプログラム製品、または本明細書に記載されている他のデータの組み合せの任意の実施形態を含み得る。

最後に、本明細書で使用されている文言は、原則として読みやすさ及び教示の目的のために主に選択されており、本発明の主題を限定し、または制限するために選択されていない。したがって、本開示の範囲は、この詳細な説明によって制限されるものではなく、本明細書に基づいて出願に関して発行される任意の請求項によって限定されるものであることが意図される。従って、実施形態の開示は、以下の特許請求の範囲に記載されている本開示の範囲を限定するものではなく、例示することが意図されている。

Claims (30)

1. 方法であって、
   ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信するステップと、
   前記視線追跡情報に基づいて前記スクリーンの領域に対応する第１のスクリーン領域を決定するステップと、前記第１のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
   前記視線追跡情報に基づいて前記第１のスクリーン領域とは別の前記スクリーンの領域に対応する第２のスクリーン領域を決定するステップと、
   前記スクリーン上に表示するための画像を符号化するステップと、前記符号化は、
   第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、前記第１の画像領域は、前記第１のスクリーン領域に表示され、
   第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、前記第２の画像領域は、前記第２のスクリーン領域に表示され、前記第２の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらし、
   符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信するステップと
   を含む方法。
2. 前記第１のスクリーン領域は、前記眼の中心窩によって見られる前記スクリーンの領域に対応する、請求項１に記載の方法。
3. 前記第２のスクリーン領域は、中心窩の外側の前記眼の網膜の一部によって見られる前記スクリーンの領域に対応する、請求項１に記載の方法。
4. 前記第１の組の符号化パラメータは第１の画像解像度を含み、前記第２の組の符号化パラメータは第２の画像解像度を含み、前記第２の画像解像度は前記第１の画像解像度よりも低い、請求項１に記載の方法。
5. 前記第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み、前記第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み、方法はさらに、
   前記第１の符号化画像領域および前記第２の符号化画像領域を含むパッキングされた画像を生成するステップを含む、請求項４に記載の方法。
6. 前記第１の組の符号化パラメータは第１のフレームレートを含み、前記第２の組の符号化パラメータは第２のフレームレートを含み、前記第２のフレームレートは前記第１のフレームレートよりも低い、請求項１に記載の方法。
7. 前記視線追跡情報に基づいて前記第１のスクリーン領域および前記第２のスクリーン領域とは別の前記スクリーンの領域に対応する第３のスクリーン領域を決定するステップをさらに含み、
   前記スクリーン上に表示するための画像を符号化することは、
   第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに含み、前記第３の画像領域は、前記第３のスクリーン領域に表示され、前記第３の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらし、前記第２の組の符号化パラメータよりも高い品質をもたらす、請求項１に記載の方法。
8. 前記第３のスクリーン領域は、前記眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項７に記載の方法。
9. 前記ディスプレイデバイスはバーチャルリアリティヘッドセットである、請求項１に記載の方法。
10. 命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
    ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信すること、
    前記視線追跡情報に基づいて前記スクリーンの領域に対応する第１のスクリーン領域を決定すること、前記第１のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
    前記視線追跡情報に基づいて第１のスクリーン領域とは別の前記スクリーンの領域に対応する第２のスクリーン領域を決定すること、
    前記スクリーン上に表示するための画像を符号化すること、前記符号化は、
    第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、前記第１の画像領域は、前記第１のスクリーン領域に表示され、
    第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、前記第２の画像領域は、前記第２のスクリーン領域に表示され、前記第２の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、
    符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信することを含む処理を実行させる、コンピュータ可読記憶媒体。
11. 前記第１のスクリーン領域は、前記眼の中心窩によって見られる前記スクリーンの領域に対応する、請求項１０に記載のコンピュータ可読記憶媒体。
12. 前記第２のスクリーン領域は、中心窩の外側の前記眼の網膜の一部によって見られる前記スクリーンの領域に対応する、請求項１０に記載のコンピュータ可読記憶媒体。
13. 前記第１の組の符号化パラメータは第１の画像解像度を含み、前記第２の組の符号化パラメータは第２の画像解像度を含み、前記第２の画像解像度は前記第１の画像解像度よりも低い、請求項１０に記載のコンピュータ可読記憶媒体。
14. 前記第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み、前記第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み、
    前記第１の符号化画像領域および前記第２の符号化画像領域を含むパッキングされた画像を生成することをさらに含む、請求項１０に記載のコンピュータ可読記憶媒体。
15. 前記第１の組の符号化パラメータは第１のフレームレートを含み、前記第２の組の符号化パラメータは第２のフレームレートを含み、前記第２のフレームレートは前記第１のフレームレートよりも低い、請求項１０に記載のコンピュータ可読記憶媒体。
16. 前記処理は、
    前記視線追跡情報に基づいて前記第１のスクリーン領域および前記第２のスクリーン領域とは別のスクリーンの領域に対応する第３のスクリーン領域を決定することをさらに含み、
    前記スクリーン上に表示するために画像を符号化することは、
    第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに含み、前記第３の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらし、前記第２の組の符号化パラメータよりも高い品質をもたらす、請求項１０に記載のコンピュータ可読記憶媒体。
17. 前記第３のスクリーン領域は、前記眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項１６に記載のコンピュータ可読記憶媒体。
18. 前記ディスプレイデバイスはバーチャルリアリティヘッドセットである、請求項１０に記載のコンピュータ可読記憶媒体。
19. システムであって、
    １つまたは複数のプロセッサと、
    命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
    ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信すること、
    前記視線追跡情報に基づいて前記スクリーンの領域に対応する第１のスクリーン領域を決定すること、前記第１のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
    前記視線追跡情報に基づいて第１のスクリーン領域とは別の前記スクリーンの領域に対応する第２のスクリーン領域を決定すること、
    前記スクリーン上に表示するための画像を符号化すること、前記符号化は、
    第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、前記第１の画像領域は、前記第１のスクリーン領域に表示され、
    第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、前記第２の画像領域は、前記第２のスクリーン領域に表示され、前記第２の組の符号化パラメータは、第１の組の符号化パラメータよりも低い品質をもたらし、
    符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信することを含む処理を実行させる、前記非一時的コンピュータ可読記憶媒体と
    を備えるシステム。
20. 前記処理は、
    前記視線追跡情報に基づいて前記第１のスクリーン領域および前記第２のスクリーン領域とは別のスクリーンの領域に対応する第３のスクリーン領域を決定することをさらに含み、
    前記スクリーン上の表示するために画像を符号化することは、
    第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することをさらに含み、前記第３の画像領域は、前記第３のスクリーン領域に表示され、前記第３の組の符号化パラメータは前記第１の組の符号化パラメータよりも低い品質をもたらし、前記第２の組の符号化パラメータよりも高い品質をもたらす、請求項１９に記載のシステム。
21. 方法であって、
    ディスプレイデバイスのスクリーンを見ているユーザの眼の少なくとも１つの画像を含む視線追跡情報を受信するステップと、
    前記視線追跡情報に基づいて前記スクリーンの領域に対応する第１のスクリーン領域を決定するステップと、前記第１のスクリーン領域は、ユーザの注視点を含み、前記注視点は、前記視線追跡情報が捕捉された時点でユーザが見ている前記スクリーン上の点を表し、
    前記視線追跡情報に基づいて前記第１のスクリーン領域とは別の前記スクリーンの領域に対応する第２のスクリーン領域を決定するステップと、
    前記スクリーン上に表示するための画像を符号化するステップと、前記符号化は、
    第１の組の符号化パラメータに基づいて画像の第１の画像領域を符号化すること、前記第１の画像領域は、前記第１のスクリーン領域に表示され、
    第２の組の符号化パラメータに基づいて画像の第２の画像領域を復号化することを含み、前記第２の画像領域は、前記第２のスクリーン領域に表示され、前記第２の組の符号化パラメータは、前記第１の組の符号化パラメータよりも低い品質をもたらし、
    符号化された画像を前記スクリーンに表示されるように前記ディスプレイデバイスに送信するステップと
    を含む方法。
22. 前記第１のスクリーン領域は、前記眼の中心窩によって見られる前記スクリーンの領域に対応する、請求項２１に記載の方法。
23. 前記第２のスクリーン領域は、中心窩の外側の前記眼の網膜の一部によって見られる前記スクリーンの領域に対応する、請求項２１または２２に記載の方法。
24. 前記第１の組の符号化パラメータは第１の画像解像度を含み、前記第２の組の符号化パラメータは第２の画像解像度を含み、前記第２の画像解像度は前記第１の画像解像度よりも低い、請求項２１乃至２３のいずれか１項に記載の方法。
25. 前記第１の画像領域を符号化することは、第１の符号化画像領域を生成することを含み、前記第２の画像領域を符号化することは、第２の符号化画像領域を生成することを含み、方法はさらに、
    前記第１の符号化画像領域および前記第２の符号化画像領域を含むパッキングされた画像を生成するステップを含む、請求項２４に記載の方法。
26. 前記第１の組の符号化パラメータは第１のフレームレートを含み、前記第２の組の符号化パラメータは第２のフレームレートを含み、前記第２のフレームレートは前記第１のフレームレートより低い、請求項２１乃至２５のいずれか１項に記載の方法。
27. 前記視線追跡情報に基づいて前記第１のスクリーン領域および前記第２のスクリーン領域とは別の前記スクリーンの領域に対応する第３のスクリーン領域を決定するステップをさらに含み、
    前記スクリーン上に表示するための画像を符号化することは、
    第３の組の符号化パラメータに基づいて画像の第３の画像領域を符号化することを含み、前記第３の画像領域は、前記第３のスクリーン領域に表示されるべきであり、前記第３の組の符号化パラメータは前記第１の組の符号化パラメータよりも低い品質をもたらし、前記第２の組の符号化パラメータよりも高い品質をもたらし、
    前記第３のスクリーン領域は、任意選択的に前記眼の傍中心窩によって見られる前記スクリーンの領域に対応する、請求項２１乃至２６のいずれか１項に記載の方法。
28. 前記ディスプレイデバイスはバーチャルリアリティヘッドセットである、請求項２１乃至２７のいずれか１項に記載の方法。
29. 命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、請求項２１乃至２８のいずれか１項に記載の方法のすべてのステップを含む方法を実行する処理を実行させる、コンピュータ可読記憶媒体。
30. システムであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに請求項２１乃至２８のいずれか１項に記載の方法のすべてのステップを含む方法を実行させる命令を格納する非一時的コンピュータ可読記憶媒体と
    を備えるシステム。