JP2022517274A - 仮想、拡張、および複合現実システムおよび方法 - Google Patents

Abstract

仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、画像データの不在を決定／検出するステップを含む。本方法はまた、ＧＰＵの一部／コンポーネント／機能をシャットダウンするステップを含む。本方法はさらに、ＧＰＵとＤＢとの間の通信リンクをシャットダウンするステップを含む。さらに、本方法は、ＤＢの一部／コンポーネント／機能をシャットダウンするステップを含む。加えて、本方法は、ＤＢとディスプレイパネルとの間の通信リンクをシャットダウンするステップを含む。本方法はさらにまた、ディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップを含む。

Description

（著作権表示）
本特許文書の開示の一部は、著作権保護を受けるべき資料を含有する。本著作権所有者は、本特許文書または本特許開示を誰が複写しても、それが特許商標局の特許ファイルまたは記録に現れる通りである限りでは異議はないが、その他の場合には、いかなる著作権も全て保有する。

本開示は、仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システムの開発を促進している。ＶＲシステムは、ユーザが体験するためのシミュレートされた環境を作成する。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境内に没入させる。ＶＲシナリオは、典型的には、実際の実世界画像も含むのではなく、コンピュータ生成画像の提示のみを伴う。

ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲実世界環境のビューを提供してもよい。しかしながら、コンピュータ生成画像もまた、ディスプレイ上に提示され、実世界環境を向上させることができる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。ＭＲシステムはまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムにおけるものを上回る相互作用の程度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで双方向性であることができる。

図１は、例示的ＡＲ／ＭＲ場面１を描写し、ユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム２０を特徴とする、実世界公園設定６が見える。これらのアイテムに加え、コンピュータ生成画像もまた、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを含むことができるが、これらの要素１２、１０は、実際には、実世界環境内に存在しない。

種々の光学システムは、ＶＲ、ＡＲ、またはＭＲシナリオを表示するために、画像を種々の深度で生成する。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素の中に仮想画像要素の快適で、自然な感覚で、豊かな提示を促進する、ＶＲ／ＡＲ／ＭＲ技術を生産することは、困難である。例えば、画像データが表示される方法を制御するための制御データを提供するための技法、画像データ内の光学歪曲を補正するための技法、およびユーザの頭部姿勢に基づいて画像データをワーピングさせるための技法を含む、そのようなシステムにおいて画像データを処理するための改良された技法が、必要とされる。ＶＲ／ＡＲ／ＭＲ技術はまた、サイズおよび可搬性問題点、バッテリ寿命問題点、システム過熱問題点、および電力効率的画像レンダリングの重要性を高める、他のシステムおよび光学課題を有する。改良された技法が、これらの問題点に対処するために必要とされる。本明細書に説明されるシステムおよび方法は、これらおよび他の課題に対処するように構成される。

必要とされるものは、旧来の技法および／または他の検討されるアプローチを改良するための技法または複数の技法である。本背景節に説明されるアプローチのうちのいくつかは、追求され得るアプローチであるが、必ずしも、以前に想起または追求されているアプローチではない。

一実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、画像データの不在を決定／検出するステップを含む。本方法はまた、ＧＰＵの一部／コンポーネント／機能をシャットダウンするステップを含む。本方法はさらに、ＧＰＵとＤＢとの間の通信リンクをシャットダウンするステップを含む。さらに、本方法は、ＤＢの一部／コンポーネント／機能をシャットダウンするステップを含む。加えて、本方法は、ＤＢとディスプレイパネルとの間の通信リンクをシャットダウンするステップを含む。本方法はさらにまた、ディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップを含む。

１つ以上の実施形態では、本方法は、フレームデータを再編成し、転送時間を低減させるステップを含む。本方法はまた、ＧＰＵ ＤＰポートが、カスタムＳＴＰメッセージをＤＢに送信するステップを含んでもよい。本方法はまた、ＧＰＵが、ＳＴＰメッセージをＤＢ ＡＵＳメッセージに送信するステップを含んでもよい。ＧＰＵの一部／コンポーネント／機能は、メモリ読取、圧縮、およびカラーセグメント化から成る群から選択されてもよい。ＤＢの一部／コンポーネント／機能は、メモリ書込であってもよい。ディスプレイパネルの一部／コンポーネント／機能は、ビデオＲＡＭおよびＭＩＰＩ受信機から成る群から選択されてもよい。

１つ以上の実施形態では、本方法は、ＧＰＵが、ウェイクアップ信号をＤＢに送信するステップを含む。ＧＰＵは、ＡＵＸ通信リンクを介して、ウェイクアップ信号を送信してもよい。本方法はまた、ＧＰＵが、ウェイクアップ信号をＧＰＵとＤＢとの間の通信リンクに送信するステップを含んでもよい。ＧＰＵの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、ディスプレイパネルの一部／コンポーネント／機能は、非同期して、シャットダウンされてもよい。本方法はまた、ＤＢが、内蔵ライン制御メッセージをディスプレイパネルに送信するステップを含んでもよい。

別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、画像データのフレームを受信するステップを含む。本方法はまた、ＧＰＵが、前の画像データのフレームから変化している、画像データのフレーム内の複数の領域／部分／セクション／タイルを識別するステップを含む。本方法はさらに、ＧＰＵが、複数の領域／部分／セクション／タイルのうちの少なくともいくつかをデータのフレームの開始に移動させ、画像データの並べ替えられたフレームを形成するステップを含む。さらに、本方法は、ＧＰＵが、画像データの並べ替えられたフレームをＤＢに送信するステップを含む。加えて、本方法は、ＧＰＵの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、およびディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、画像データの並べ替えられたフレームをＤＢに送信前に、画像データの並べ替えられたフレームを圧縮するステップを含む。画像データの並べ替えられたフレームは、画像データのフレームより小さくてもよい。本方法はまた、ＤＢが、画像データの並べ替えられたフレームをバッファ内に記憶するステップを含んでもよい。

１つ以上の実施形態では、本方法は、画像データの並べ替えられたフレームのサイズを決定するステップを含む。本方法はさらに、画像データの並べ替えられたフレームが、所定の最大サイズより小さいときのみ、ＧＰＵの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、ディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、画像データの並べ替えられたフレームをＤＢに送信後、ＳＴＰメッセージをＤＢに送信するステップを含む。本方法はさらに、ＧＰＵが、ＳＤＰを介して、ＳＴＰメッセージをＤＢに送信するステップを含んでもよい。

１つ以上の実施形態では、ＧＰＵの一部／コンポーネント／機能は、メモリ読取、圧縮、およびカラーセグメント化から成る群から選択される。ＤＢの一部／コンポーネント／機能は、メモリ書込であってもよい。ディスプレイパネルの一部／コンポーネント／機能は、ビデオＲＡＭおよびＭＩＰＩ受信機から成る群から選択されてもよい。

１つ以上の実施形態では、本方法は、ＧＰＵが、ウェイクアップ信号をＤＢに送信するステップを含む。ＧＰＵは、ＡＵＸ通信リンクを介して、ウェイクアップ信号を送信してもよい。ＧＰＵの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、ディスプレイパネルの一部／コンポーネント／機能は、非同期して、シャットダウンされてもよい。

１つ以上の実施形態では、本方法は、ＤＢが、画像データの並べ替えられたフレームからの画像データのフレームを再構成するステップを含む。本方法はさらに、画像データのフレーム内の複数の領域／部分／セクション／タイル内にない、画像データのフレームの部分を背景色に設定するステップを含んでもよい。本方法はまた、ＤＢが、画像データの並べ替えられたフレームと画像データの前のフレームを混成するステップを含んでもよい。本方法はさらに、ＤＢが、画像データの並べ替えられたフレームと更新された中心窩化領域に関連する画像データを混成するステップを含んでもよい。本方法はまた、ＤＢが、画像データの前のフレームを、画像データの並べ替えられたフレームとそれを混成する前に、マスクするステップを含んでもよい。

１つ以上の実施形態では、本方法は、ＤＢが、画像データの並べ替えられたフレームをスケーリングするステップを含む。本方法はさらに、ＤＢが、スケーリング係数をＧＰＵから受信するステップと、ＤＢが、スケーリング係数を使用して、画像データの並べ替えられたフレームをスケーリングするステップとを含んでもよい。スケーリングは、中心窩化動作の一部であってもよい。本方法はまた、ＤＢが、ある機能を画像データ上で実施するステップを含んでもよく、機能は、ワーピング、ピクセル化された調光、オクルージョン、色収差補正、フレームレート、および拡張から成る群から選択される。本方法はさらに、ＧＰＵの一部／コンポーネント／機能をシャットダウンする前に、画像データの並べ替えられたフレームをＦＩＦＯメモリ内に記憶するステップを含んでもよい。本方法はまた、ＤＢが、内蔵ライン制御メッセージをディスプレイパネルに送信するステップを含んでもよい。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、第１のカラーフィールドを、第１の部分的な第１のカラーフィールドおよび第２の部分的な第１のカラーフィールドに分割するステップを含む。本方法はまた、ＧＰＵが、第２のカラーフィールドを、第１の部分的な第２のカラーフィールドおよび第２の部分的な第２のカラーフィールドに分割するステップを含む。本方法はさらに、ＧＰＵが、第１の部分的な第１のカラーフィールドをＤＢに送信するステップを含む。さらに、本方法は、ＧＰＵが、第１の部分的な第１のカラーフィールドを送信後、第１の部分的な第２のカラーフィールドをＤＢに送信するステップを含む。加えて、本方法は、ＧＰＵが、第１の部分的な第２のカラーフィールドを送信後、第２の部分的な第１のカラーフィールドをＤＢに送信するステップを含む。本方法はまた、ＧＰＵが、第２の部分的な第１のカラーフィールドを送信後、第２の部分的な第２のカラーフィールドをＤＢに送信するステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、第３のカラーフィールドを、第１の部分的な第３のカラーフィールドおよび第２の部分的な第３のカラーフィールドに分割するステップを含む。本方法はまた、ＧＰＵが、第１の部分的な第２のカラーフィールドを送信後、かつ第２の部分的な第１のカラーフィールドを送信前に、第１の部分的な第３のカラーフィールドをＤＢに送信するステップを含んでもよい。本方法はさらに、ＧＰＵが、第２の部分的な第２のカラーフィールドを送信後、第２の部分的な第３のカラーフィールドをＤＢに送信するステップを含んでもよい。本方法はまた、ＧＰＵが、第１の部分的な第１および第２のカラーフィールドおよび第２の部分的な第１および第２のカラーフィールドを、単一の垂直にエンコーディングされたデータセットとして送信するステップを含んでもよい。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、第１のカラーフィールドを、第１の部分的な第１のカラーフィールド、第２の部分的な第１のカラーフィールド、および第３の部分的な第１のカラーフィールドに分割するステップを含む。本方法はまた、ＧＰＵが、第２のカラーフィールドを、第１の部分的な第２のカラーフィールド、第２の部分的な第２のカラーフィールド、および第３の部分的な第２のカラーフィールドに分割するステップを含む。本方法はさらに、ＧＰＵが、第３のカラーフィールドを、第１の部分的な第３のカラーフィールド、第２の部分的な第３のカラーフィールド、および第３の部分的な第３のカラーフィールドに分割するステップを含む。さらに、本方法は、ＧＰＵが、第１の部分的な第１のカラーフィールドをＤＢに送信するステップを含む。加えて、本方法は、ＧＰＵが、第１の部分的な第１のカラーフィールドを送信後、第１の部分的な第２のカラーフィールドをＤＢに送信するステップを含む。本方法はまた、ＧＰＵが、第１の部分的な第２のカラーフィールドを送信後、第１の部分的な第３のカラーフィールドをＤＢに送信するステップを含む。本方法はさらに、ＧＰＵが、第１の部分的な第３のカラーフィールドを送信後、第２の部分的な第１のカラーフィールドをＤＢに送信するステップを含む。さらに、本方法は、ＧＰＵが、第２の部分的な第１のカラーフィールドを送信後、第２の部分的な第２のカラーフィールドをＤＢに送信するステップを含む。加えて、本方法は、ＧＰＵが、第２の部分的な第２のカラーフィールドを送信後、第２の部分的な第３のカラーフィールドをＤＢに送信するステップを含む。本方法はまた、ＧＰＵが、第２の部分的な第３のカラーフィールドを送信後、第３の部分的な第１のカラーフィールドをＤＢに送信するステップを含む。本方法はさらに、ＧＰＵが、第３の部分的な第１のカラーフィールドを送信後、第３の部分的な第２のカラーフィールドをＤＢに送信するステップを含む。さらに、本方法は、ＧＰＵが、第３の部分的な第２のカラーフィールドを送信後、第３の部分的な第３のカラーフィールドをＤＢに送信するステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、第１の部分的な第１、第２、および第３のカラーフィールド、第２の部分的な第１、第２、および第３のカラーフィールド、および第３の部分的な第１、第２、および第３のカラーフィールドを、単一の垂直にエンコーディングされたデータセットとして送信するステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、第１の姿勢データをＤＢに送信するステップと、ＤＢが、第１の姿勢データを使用して、第１の部分的な第１のカラーフィールドをワーピングさせるステップとを含む。本方法はまた、第１の姿勢データを送信後、第２の姿勢データをＤＢに送信するステップと、ＤＢが、第２の姿勢データを使用して、第１の部分的な第２のカラーフィールドをワーピングさせるステップを含む。本方法はさらに、第２の姿勢データを送信後、第３の姿勢データをＤＢに送信するステップと、ＤＢが、第３の姿勢データを使用して、第１の部分的な第３のカラーフィールドをワーピングさせるステップとを含む。さらに、本方法は、第３の姿勢データを送信後、第４の姿勢データをＤＢに送信するステップと、ＤＢが、第４の姿勢データを使用して、第２の部分的な第１のカラーフィールドをワーピングさせるステップとを含む。加えて、本方法は、第４の姿勢データを送信後、第５の姿勢データをＤＢに送信するステップと、ＤＢが、第５の姿勢データを使用して、第２の部分的な第２のカラーフィールドをワーピングさせるステップとを含む。本方法はまた、第５の姿勢データを送信後、第６の姿勢データをＤＢに送信するステップと、ＤＢが、第６の姿勢データを使用して、第２の部分的な第３のカラーフィールドをワーピングさせるステップとを含む。本方法はさらに、第６の姿勢データを送信後、第７の姿勢データをＤＢに送信するステップと、ＤＢが、第７の姿勢データを使用して、第３の部分的な第１のカラーフィールドをワーピングさせるステップとを含む。さらに、本方法は、第７の姿勢データを送信後、第８の姿勢データをＤＢに送信するステップと、ＤＢが、第８の姿勢データを使用して、第３の部分的な第２のカラーフィールドをワーピングさせるステップとを含む。加えて、本方法は、第８の姿勢データを送信後、第９の姿勢データをＤＢに送信するステップと、ＤＢが、第９の姿勢データを使用して、第３の部分的な第３のカラーフィールドをワーピングさせるステップとを含む。

１つ以上の実施形態では、ＧＰＵは、ＡＵＸ通信リンクを通して、第１、第２、第３、第４、第５、第６、第７、第８、および第９の姿勢データのうちの少なくとも１つをＤＢに送信する。ＤＢは、第１の部分的な第１のカラーフィールド、第２の部分的な第１のカラーフィールド、第３の部分的な第１のカラーフィールド、第１の部分的な第２のカラーフィールド、第２の部分的な第２のカラーフィールド、第３の部分的な第２のカラーフィールド、第１の部分的な第３のカラーフィールド、第２の部分的な第３のカラーフィールド、第３の部分的な第３のカラーフィールドのそれぞれを、２回ワーピングしてもよい。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおいて使用するためのデータフォーマットは、第１のシグナリング行を含む。データフォーマットはまた、複数の第１のカラーフィールド行を含む。データフォーマットはさらに、第２のシグナリング行を含む。さらに、データフォーマットは、複数の第２のカラーフィールド行を含む。加えて、データフォーマットは、第３のシグナリング行を含む。データフォーマットはまた、複数の第３のカラーフィールド行を含む。

１つ以上の実施形態では、第１のシグナリング行は、複数の第１のカラーフィールド行のためのある数のアクティブ行を含む。アクティブ行は、画像フレーム間で変化してもよい。第２のシグナリング行は、複数の第２のカラーフィールド行のためのある数のアクティブ行を含んでもよい。第３のシグナリング行は、複数の第３のカラーフィールド行のためのある数のアクティブ行を含んでもよい。第１のシグナリング行は、複数の第１のカラーフィールド行の開始位置を含んでもよい。第２のシグナリング行は、複数の第２のカラーフィールド行の開始位置を含んでもよい。第３のシグナリング行は、複数の第３のカラーフィールド行の開始位置を含んでもよい。第１、第２、および第３のカラーフィールド行は、色情報を伴わずに、強度情報を含んでもよい。第１、第２、および第３のシグナリング行は、強度情報を伴わずに、色情報を含んでもよい。第１、第２、および第３のシグナリング行および複数の第１、第２、および第３のカラーフィールド行は、複数の第１、第２、および第３のカラーフィールド行に対応する画像が表示されるより高速のレートで読み取られてもよい。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ユーザの焦点の面積を検出するステップを含む。本方法はまた、ＧＰＵが、焦点の面積の外側の仮想画像をより低い分解能でレンダリングするステップを含む。本方法はさらに、ＧＰＵが、焦点の面積の内側の仮想画像をより高い分解能でレンダリングするステップを含む。さらに、本方法は、ＧＰＵが、焦点の面積の外側および内側のレンダリングされた仮想画像を１つ以上のＤＢに送信するステップを含む。加えて、本方法は、１つ以上のＤＢが、焦点の面積の外側および内側のレンダリングされた仮想画像をマージし、画像データのフレームを生成するステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、焦点の面積の外側のレンダリングされた仮想画像を第１のＤＢに送信するステップと、ＧＰＵが、焦点の面積の内側のレンダリングされた仮想画像を第２のＤＢに送信するステップと、第１および／または第２のＤＢが、焦点の面積の外側および内側のレンダリングされた仮想画像をマージし、画像データのフレームを生成するステップとを含む。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＦＯＶ内のユーザの手を検出するステップを含む。本方法はまた、ＧＰＵが、ユーザの手の場所に対応する、マスクを生成するステップを含む。本方法はさらに、ＧＰＵが、マスクおよび画像データのフレームをＤＢに送信するステップを含む。さらに、本方法は、ＤＢが、マスクを使用して、画像データのフレームを修正するステップを含む。

１つ以上の実施形態では、マスクは、深度マスクである。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、第１のカラーフィールド画像データをＤＢに、第２のカラーフィールド画像データをＤＢに、および第３のカラーフィールド画像データをＤＢに送信するステップを含む。本方法はまた、ＧＰＵが、第１の姿勢データをＤＢに送信するステップと、ＤＢが、第１の姿勢データを使用して、第１のカラーフィールド画像データをワーピングさせ、ワーピングされた第１のカラーフィールド画像データを生成するステップとを含む。本方法はさらに、ＧＰＵが、第１の姿勢データを送信後、第２の姿勢データをＤＢに送信するステップと、ＤＢが、第２の姿勢データを使用して、第２のカラーフィールド画像データをワーピングさせ、ワーピングされた第２のカラーフィールド画像データを生成するステップとを含む。さらに、本方法は、ＧＰＵが、第２の姿勢データを送信後、第３の姿勢データをＤＢに送信するステップと、ＤＢが、第３の姿勢データを使用して、第３のカラーフィールド画像データをワーピングさせ、ワーピングされた第３のカラーフィールド画像データを生成するステップとを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、パケット姿勢データをＤＢに送信するステップを含み、ＤＢが、第１の姿勢データを使用して、第１のカラーフィールド画像データをワーピングさせるステップは、ＤＢが、第１の姿勢デルタをパケット姿勢および第１の姿勢データから計算するステップを含む。本方法はさらに、ＤＢが、ＤＢがワーピングされた第１のカラーフィールド画像データを生成直後、ワーピングされた第１のカラーフィールド画像データに対応する、第１のカラーフィールド画像の表示を命令するステップを含んでもよい。本方法はまた、ＤＢが、ある機能を第１、第２、および第３のカラーフィールド画像データ上で実施するステップを含んでもよく、機能は、プロジェクタライトフィールド歪曲補償、ピクセル化された調光、オクルージョン、色収差補正、フレームレート、および拡張から成る群から選択される。

１つ以上の実施形態では、本方法は、ＧＰＵが、第３の姿勢データを送信後、第４の姿勢データをＤＢに送信するステップを含む。本方法はまた、ＤＢが第４の姿勢データを使用して、第１のカラーフィールド画像データをワーピングさせ、第２のワーピングされた第１のカラーフィールド画像データを生成するステップを含む。本方法はさらに、ＧＰＵが、第４の姿勢データを送信後、第５の姿勢データをＤＢに送信するステップを含む。さらに、本方法は、ＤＢが、第５の姿勢データを使用して、第２のカラーフィールド画像データをワーピングさせ、第２のワーピングされた第２のカラーフィールド画像データを生成するステップを含む。加えて、本方法は、ＧＰＵが、第５の姿勢データを送信後、第６の姿勢データをＤＢに送信するステップを含む。本方法はまた、ＤＢが、第６の姿勢データを使用して、第３のカラーフィールド画像データをワーピングさせ、第２のワーピングされた第３のカラーフィールド画像データを生成するステップを含む。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、画像データのフレームを取得するステップを含む。本方法はまた、ＧＰＵが、画像データのフレームのあるセクションを識別するステップを含む。本方法はさらに、直接メモリアクセスコントローラが、画像データのさらなる処理を伴わずに、画像データのフレームの識別されたセクションをＤＢに送信するステップを含む。

１つ以上の実施形態では、画像データのフレームのセクションは、非黒色画像データの行である。本方法はまた、ＧＰＵの一部／コンポーネント／機能、ＤＭＡの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、および／またはディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップを含んでもよい。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、第１のフィールドを、第１の部分的な第１のフィールド、第２の部分的な第１のフィールド、および第３の部分的な第１のフィールドに分割するステップを含む。本方法はまた、ＧＰＵが、第２のフィールドを、第１の部分的な第２のフィールド、第２の部分的な第２のフィールド、および第３の部分的な第２のフィールドに分割するステップを含む。本方法はさらに、ＧＰＵが、第３のフィールドを、第１の部分的な第３のフィールド、第２の部分的な第３のフィールド、および第３の部分的な第３のフィールドに分割するステップを含む。さらに、本方法は、ＧＰＵが、第１の部分的な第１のフィールドをＤＢに送信するステップを含む。加えて、本方法は、ＧＰＵが、第１の部分的な第１のフィールドを送信後、第１の部分的な第２のフィールドをＤＢに送信するステップを含む。本方法はまた、ＧＰＵが、第１の部分的な第２のフィールドを送信後、第１の部分的な第３のフィールドをＤＢに送信するステップを含む。本方法はさらに、ＧＰＵが、第１の部分的な第３のフィールドを送信後、第２の部分的な第１のフィールドをＤＢに送信するステップを含む。さらに、本方法は、ＧＰＵが、第２の部分的な第１のフィールドを送信後、第２の部分的な第２のフィールドをＤＢに送信するステップを含む。加えて、本方法は、ＧＰＵが、第２の部分的な第２のフィールドを送信後、第２の部分的な第３のフィールドをＤＢに送信するステップを含む。本方法はまた、ＧＰＵが、第２の部分的な第３のフィールドを送信後、第３の部分的な第１のフィールドをＤＢに送信するステップを含む。本方法はさらに、ＧＰＵが、第３の部分的な第１のフィールドを送信後、第３の部分的な第２のフィールドをＤＢに送信するステップを含む。さらに、本方法は、ＧＰＵが、第３の部分的な第２のフィールドを送信後、第３の部分的な第３のフィールドをＤＢに送信するステップを含む。

１つ以上の実施形態では、本方法は、ＧＰＵが、第１の姿勢データをＤＢに送信するステップと、ＤＢが、第１の姿勢データを使用して、第１の部分的な第１のフィールドをワーピングさせるステップとを含む。本方法はまた、第１の姿勢データを送信後、第２の姿勢データをＤＢに送信するステップと、ＤＢが、第２の姿勢データを使用して、第１の部分的な第２のフィールドをワーピングさせるステップを含む。本方法はさらに、第２の姿勢データを送信後、第３の姿勢データをＤＢに送信するステップと、ＤＢが、第３の姿勢データを使用して、第１の部分的な第３のフィールドをワーピングさせるステップとを含む。さらに、本方法は、第３の姿勢データを送信後、第４の姿勢データをＤＢに送信するステップと、ＤＢが、第４の姿勢データを使用して、第２の部分的な第１のフィールドをワーピングさせるステップとを含む。加えて、本方法は、第４の姿勢データを送信後、第５の姿勢データをＤＢに送信するステップと、ＤＢが、第５の姿勢データを使用して、第２の部分的な第２のフィールドをワーピングさせるステップとを含む。本方法はまた、第５の姿勢データを送信後、第６の姿勢データをＤＢに送信するステップと、ＤＢが、第６の姿勢データを使用して、第２の部分的な第３のフィールドをワーピングさせるステップとを含む。本方法はさらに、第６の姿勢データを送信後、第７の姿勢データをＤＢに送信するステップと、ＤＢが、第７の姿勢データを使用して、第３の部分的な第１のフィールドをワーピングさせるステップとを含む。さらに、本方法は、第７の姿勢データを送信後、第８の姿勢データをＤＢに送信するステップと、ＤＢが、第８の姿勢データを使用して、第３の部分的な第２のフィールドをワーピングさせるステップとを含む。加えて、本方法は、第８の姿勢データを送信後、第９の姿勢データをＤＢに送信するステップと、ＤＢが、第９の姿勢データを使用して、第３の部分的な第３のフィールドをワーピングさせるステップとを含む。

さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ＧＰＵが、画像データのフレームを取得するステップを含む。本方法はまた、ＧＰＵが、視野内のオクルージョンに関連する、オクルージョンデータを取得するステップであって、データは、深度マップデータを含む、ステップを含む。本方法はさらに、ＧＰＵが、画像データのフレームおよびオクルージョンデータをＤＢに送信するステップを含む。さらに、本方法は、ＤＢが、オクルージョンデータを使用した表示の前に、画像データのフレームをマスクするステップを含む。

下記に説明される図面は、例証目的のためだけのものである。図面は、本開示の範囲を限定することを意図するものではない。図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本開示の種々の実施形態の前述および他の利点および目的を得る方法をより深く理解するために、本開示のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされないことを理解した上で、本開示は、付随の図面の使用を通して付加的具体性および詳細とともに記載および説明されるであろう。

図１は、例示的ＡＲシステムを使用した、ＡＲ／ＭＲ場面のユーザのビューを図示する。

図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用する、ユーザを図式的に描写する。 図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用する、ユーザを図式的に描写する。 図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用する、ユーザを図式的に描写する。 図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用する、ユーザを図式的に描写する。

図６は、いくつかの実施形態による、多平面焦点システムの種々の平面を図式的に描写する。

図７は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。

図８は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムの画像生成コンポーネントを図式的に描写する。

図８Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムの画像生成コンポーネントを図式的に描写する。

図９は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイブリッジを図式的に描写する。

図９Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイブリッジを図式的に描写する。

図１０は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムのディスプレイブリッジと併用するためのピクセルエンジンを図式的に描写する。

図１０Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムのディスプレイブリッジと併用するためのピクセルエンジンを図式的に描写する。

図１１は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイパネルを図式的に描写する。

図１２は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するための２つの入力データフォーマットを図式的に描写する。

図１３は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのカラー画像データフォーマットを図式的に描写する。

図１４は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのグレースケール画像データフォーマットを図式的に描写する。

図１５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのカラー画像データのカラーセグメント化を図式的に描写する。

図１５Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのＤＢ内のカラー画像データのカラーセグメント化を図式的に描写する。

図１５Ｂは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのＤＢ内のカラーセグメント化を伴わずに、画像データのパッキングを図式的に描写する。

図１５Ｃは、カラー画像データ１５０２を記憶するためのＲＧＢ３０データフォーマットを図式的に描写する。

図１５Ｄは、１２８ビット整合データとしてＳＲＡＭ内に記憶される、１，４４０ピクセル×１，４４０ピクセルの入力ディスプレイパネル分解能を図式的に描写する。

図１５Ｅは、１２８ビット整合データとしてＳＲＡＭ内に記憶される、５１２ピクセル×５１２ピクセルの入力ディスプレイパネル分解能を図式的に描写する。

図１５Ｆは、１２８ビット整合データとしてＳＲＡＭ内に記憶される、特殊画像のための５１２ピクセル×５１２ピクセルの入力ディスプレイパネル分解能を図式的に描写する。

図１５Ｇは、フレームのカラーセグメント化後のデータ構造を図式的に描写する。

図１６は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイブリッジを通した二次ディスプレイストリームフローを図式的に描写する。

図１６Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイブリッジを通した二次ディスプレイストリームフローを図式的に描写する。

図１７は、いくつかの実施形態による、画像データパケットを図式的に描写する。

図１７Ａは、垂直ブランキングと関連付けられる、ＶＳＣ＿ＥＸＴ＿ＶＥＳＡ ＳＤＰメッセージ１７５０を図式的に描写する。

図１７Ｂは、水平ブランキングと関連付けられる、水平ブランキングＳＤＰメッセージ１７７０を図式的に描写する。

図１８は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイブリッジを通したデータフローを図式的に描写する。

図１９は、いくつかの実施形態による、ビデオストリームを図式的に描写する。

図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。 図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。 図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。 図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。 図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。 図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。 図２０－２４Ａは、いくつかの実施形態による、部分的に暗い低電力モードを図式的に描写する。

図２４Ｂは、いくつかの実施形態による、部分暗化モードに移行し、それを持続する、ディスプレイシステムのＭＩＰＩタイミングを図式的に描写する。

図２５は、いくつかの実施形態による、部分暗化画像データのパッキングを図式的に描写する。

図２６は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイブリッジへの入力およびそこからの出力を図式的に描写する。

図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。 図２７－３１Ｂは、いくつかの実施形態による、ＭＩＰＩ受信機出力データを図式的に描写する。

図３２は、いくつかの実施形態による、完全暗化モード３２００に移行し、それを持続する、ディスプレイシステムのＭＩＰＩタイミングを図式的に描写する。

図３３は、いくつかの実施形態による、ディスプレイシステムの完全暗化モードへの移行、その持続、およびその終了を図式的に描写する。

図３４は、いくつかの実施形態による、パネル自己リフレッシュのためのディスプレイシステムの完全暗化モードへの移行、その持続、およびその終了を図式的に描写する。

図３５は、いくつかの実施形態による、部分暗化低電力モードで動作するＤＢの２つのサイクルのためのＭＩＰＩタイミングを図式的に描写する。

図３６Ａは、いくつかの実施形態による、ＡＲビューを描写する。

図３６Ｂは、いくつかの実施形態による、その上に黒色部分マスクが適用されている、ＡＲビューを描写する。

本開示の種々の実施形態は、単一実施形態または複数の実施形態における、ＶＲ／ＡＲ／ＭＲのためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

ここで、種々の実施形態が、当業者が本開示を実践することを可能にするように、例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意すべきこととして、以下の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、公知のコンポーネント（または方法またはプロセス）を使用して部分的または完全に実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来的公知の均等物を包含する。

本開示による、実施形態は、多くの場合、既製のコンポーネントおよびカスタムコンポーネントの組み合わせに依拠する、ＶＲ／ＡＲ／ＭＲシステムの実装の問題に対処する。ある場合には、既製のコンポーネントは、展開されるべきＶＲ／ＡＲ／ＭＲシステムのある所望の側面を実装するために必要とされる、特徴または性能特性の全てを保有していない。いくつかの実施形態は、展開されるべきＶＲ／ＡＲ／ＭＲシステムの所望の特徴または性能特性に適応させるために、能力を追加し、および／またはリソースを別の目的のために再利用するためのアプローチを対象とする。付随の図および本明細書の議論は、ＶＲ／ＡＲ／ＭＲシステムのための例示的環境、システム、方法、およびコンピュータプログラム製品を提示する。

頭部搭載型視聴覚ディスプレイシステムおよび電力管理システムは、ＡＲ／ＭＲシステムから独立して実装され得るが、下記のいくつかの実施形態は、例証目的のみのために、ＡＲ／ＭＲシステムに関連して説明される。本明細書に説明される電力管理システムはまた、ＶＲシステムでも類似様式で使用され得る。
（問題およびソリューションの概要）

ＶＲ／ＡＲ／ＭＲシステムは、サイズおよび可搬性問題点、バッテリ寿命問題点、システム過熱問題点、処理電力、メモリ、帯域幅、データソース、コンポーネント待ち時間、およびＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る、他のシステムおよび光学課題等の限界を有する。これらの限界は、電力効率的画像レンダリングの重要性を高める。

例えば、いくつかのウェアラブルでは、画像パイプライン内の種々のコンポーネント（例えば、ＧＰＵ、ディスプレイブリッジ、ディスプレイパネル等）は、システムリソース（例えば、処理電力、メモリ、帯域幅、バッテリ寿命）の有意な部分を消費する。さらに、これらのシステムリソース需要は、サイズおよび可搬性問題点およびシステム過熱問題点につながり得る。さらに、コンポーネント待ち時間問題点もまた、ＶＲ／ＡＲ／ＭＲシステム性能に影響を及ぼし得る。例えば、レンダリングされた画像データの最終ワーピングとワーピングされた画像データに対応する画像の表示との間のシステム待ち時間は、アーチファクトをもたらし得る。

種々の実施形態による、電力管理システムは、深度平面または深度平面内のカラーフィールドの非アクティブ化、時間ドメイン電力管理、離散結像モード、低電力深度平面切替、より低い電力の短待ち時間スタンバイ／ウェイクアップ、より低い電力側チャネル、複数のコンポーネント低電力モード、および光源および／またはＳＬＭへの電力の低減等の特徴を含む。

本明細書に説明される実施形態は、種々のＶＲ／ＡＲ／ＭＲシステムと併用するための電力管理システムおよび方法を含む。これらの電力管理システムおよび方法は、画像パイプラインによって消費されるシステムリソースを低減させ、それによって、上記に説明される問題点の多くに対処する。本明細書に説明される実施形態はまた、種々のＶＲ／ＡＲ／ＭＲシステムと併用するための仮想画像ワーピングシステムおよび方法を含む。これらの仮想画像ワーピングシステムおよび方法は、上記に説明される問題点のうちのいくつかに対処する。
（例証的ＶＲ、ＡＲ、および／またはＭＲシステム）

続く説明は、種々の電力管理システムの実施形態が実践され得る、例証的ＶＲ、ＡＲ、および／またはＭＲシステムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム（他のタイプのＶＲ、ＡＲ、および／またはＭＲシステムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

本明細書に開示されるＶＲ／ＡＲ／ＭＲシステムは、コンピュータ生成画像（ビデオ／画像データ）をユーザに提示する、ディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、装着可能であって、これは、有利なこととして、より没入型のＶＲ／ＡＲ／ＭＲ体験を提供し得る。ＶＲ、ＡＲ、および／またはＭＲ仮想画像システム１００の種々のコンポーネントは、図２－５に描写される。仮想画像生成システム１００は、エンドユーザ５０によって装着される、フレーム構造１０２と、ディスプレイサブシステム１１０がエンドユーザ５０の眼の正面に位置付けられるように、フレーム構造１０２によって担持される、ディスプレイサブシステム１１０と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）が、エンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する）ように、フレーム構造１０２によって担持される、スピーカ１０６とを含む。ディスプレイサブシステム１１０は、エンドユーザ５０の眼に、高レベルの画質および３次元知覚を伴い、かつ２次元コンテンツを提示することも可能である、物理的現実に対する拡張として快適に知覚され得る、光パターンを提示するように設計される。ディスプレイサブシステム１１０は、単一コヒーレント場面の知覚を提供する、フレームのシーケンスを、高周波数で提示する。

図示される実施形態では、ディスプレイサブシステム１１０は、「光学シースルー」ディスプレイを採用し、それを通してユーザは、透明（または半透明）要素を介して、直接、実オブジェクトからの光を視認することができる。透明要素は、多くの場合、「コンバイナ」と称され、ディスプレイからの光を実世界のユーザのビューにわたって重畳する。この目的を達成するために、ディスプレイサブシステム１１０は、部分的に透明なディスプレイを含む。いくつかの実施形態では、透明ディスプレイは、電子的に制御されてもよい。いくつかの実施形態では、透明ディスプレイは、セグメント化された調光を含み、透明ディスプレイの１つ以上の部分の透明度を制御してもよい。いくつかの実施形態では、透明ディスプレイは、大域的調光を含み、透明ディスプレイの全体の透明度を制御してもよい。ディスプレイは、周囲環境からの直接光が、ディスプレイを通して、エンドユーザ５０の眼に透過されるように、エンドユーザ５０の眼と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。

図示される実施形態では、画像投影アセンブリは、光を部分的に透明なディスプレイに提供し、それによって、周囲環境からの直接光と組み合わせられ、ディスプレイからユーザの眼５０に透過される。投影サブシステムは、光ファイバ走査ベースの投影デバイスであってもよく、ディスプレイは、その中に投影サブシステムからの走査される光が、例えば、無限遠（例えば、腕の長さ）より近い単一光学視認距離における画像、複数の離散光学視認距離または焦点平面における画像、および／または立体３Ｄオブジェクトを表すために複数の視認距離または焦点平面にスタックされた画像層を生産するように投入される、導波管ベースのディスプレイであってもよい。ライトフィールド内のこれらの層は、ヒト副視覚系に持続的に現れるようにともに十分に近接してスタックされてもよい（すなわち、１つの層が隣接する層の乱信号円錐域内にある）。加えて、または代替として、ピクチャ要素が、２つ以上の層を横断して混成され、それらの層が、より疎らにスタックされる（すなわち、１つの層が隣接する層の乱信号円錐域の外側にある）場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させてもよい。ディスプレイサブシステム１１０は、単眼または両眼用であってもよい。

仮想画像生成システム１００はまた、エンドユーザ５０の頭部５４の位置および移動および／またはエンドユーザ５０の眼位置および眼球間距離を検出するためにフレーム構造１０２に搭載される、１つ以上のセンサ（図示せず）を含んでもよい。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープを含んでもよい。これらのセンサの多くは、その上にそれらが添着されるフレーム１０２が、ひいては、ユーザの頭部、眼、および耳に実質的に固定されるという仮定に基づいて動作する。

仮想画像生成システム１００はまた、ユーザ配向検出モジュールを含んでもよい。ユーザ配向モジュールは、エンドユーザ５０の頭部５４の瞬間位置を検出し（例えば、フレーム１０２に結合されるセンサを介して）、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。エンドユーザ５０の頭部５４の瞬間位置を検出することは、エンドユーザ５０が見ている、具体的実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトに関連して生成されるべき具体的仮想オブジェクトのインジケーションを提供し、その中に仮想オブジェクトが表示されるべき位置のインジケーションをさらに提供する。ユーザ配向モジュールはまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼を追跡してもよい。

仮想画像生成システム１００はまた、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、ディスプレイブリッジチップ、ディスプレイコントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

仮想画像生成システム１００の制御サブシステムは、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、１つ以上のフレームバッファ、および３次元場面データを記憶するための３次元データベースを含んでもよい。ＣＰＵは、全体的動作を制御してもよい一方、ＧＰＵは、３次元データベース内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ内に記憶してもよい。１つ以上の付加的集積回路は、フレームバッファの中へのフレームの読込およびそこからの読出およびディスプレイサブシステム１１０の画像投影アセンブリの動作を制御してもよい。

仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図２－５に図示されるように、仮想画像生成システム１００は、有線導線または無線コネクティビティ１３６等によって、ローカルディスプレイブリッジ１４２、ディスプレイサブシステム１１０、およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１３０を含んでもよい。ローカル処理およびデータモジュール１３０は、フレーム構造１０２（図２）に固定して取り付けられる、ヘルメットまたは帽子５６（図３）に固定して取り付けられる、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図５）等、種々の構成において搭載されてもよい。仮想画像生成システム１００はまた、これらの遠隔モジュール１３２、１３４が、相互に動作可能に結合され、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２へのリソースとして利用可能であるように、有線導線または無線コネクティビティ１３８、１４０等によって、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に動作可能に結合される、遠隔処理モジュール１３２および遠隔データリポジトリ１３４を含んでもよい。

ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２はそれぞれ、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを含んでもよく、その両方とも、可能性として処理または読出後に、ディスプレイサブシステム１１０への通過のために、センサから捕捉された、および／または遠隔処理モジュール１３２および／または遠隔データリポジトリ１３４を使用して入手および／または処理された、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１３２は、データおよび／または画像情報を分析および処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを含んでもよい。遠隔データリポジトリ１３４は、比較的に大規模デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

上記に説明される種々のコンポーネント間の結合１３６、１３８、１４０は、ワイヤまたは光学連通を提供するための１つ以上の有線インターフェースまたはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図２－５に図示されるものと異なり得る。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

いくつかの実施形態では、ユーザ配向モジュールは、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有される一方、ＣＰＵおよびＧＰＵは、遠隔処理モジュール内に含有される。代替実施形態では、ＣＰＵ、ＧＰＵ、またはその一部は、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有されてもよい。３Ｄデータベースは、遠隔データリポジトリ１３４と関連付けられる、またはローカルで配置されることができる。

いくつかのＶＲ、ＡＲ、および／またはＭＲシステムは、個別の深度平面から生じるように現れる画像を生成するための深度平面情報を内蔵する、複数の体積位相ホログラム、表面レリーフホログラム、または光誘導光学要素を使用する。換言すると、回折パターンまたは回折光学要素（「ＤＯＥ」）が、コリメートされた光（略平面波面を伴う光ビーム）が、ＬＯＥに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、光誘導光学要素（「ＬＯＥ」、例えば、平面導波管）内に内蔵される、またはその上にインプリント／エンボス加工されてもよい。ＤＯＥは、特定の深度平面から生じるように現れるように、それを通してＬＯＥから出射する光が輻輳されるように構成される。コリメートされた光は、光学集光レンズ（「集光器」）を使用して生成されてもよい。

例えば、第１のＬＯＥは、光学無限遠深度平面（０ジオプタ）から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。別のＬＯＥは、２メートルの距離（１／２ジオプタ）から生じるように現れる、コリメートされた光を送達するように構成されてもよい。さらに別のＬＯＥは、１メートルの距離（１ジオプタ）から生じるように現れる、コリメートされた光を送達するように構成されてもよい。スタックされたＬＯＥアセンブリを使用することによって、複数の深度平面が、作成され得、各ＬＯＥは、特定の深度平面から生じるように現れる、画像を表示するように構成されることを理解されたい。スタックは、任意の数のＬＯＥを含んでもよいことを理解されたい。しかしながら、少なくともＮ個のスタックされたＬＯＥが、Ｎ個の深度平面を生成するために要求される。さらに、Ｎ、２Ｎ、または３Ｎ個のスタックされたＬＯＥが、ＲＧＢカラー画像をＮ個の深度平面に生成するために使用されてもよい。

３－Ｄ仮想コンテンツをユーザに提示するために、ＶＲ、ＡＲ、および／またはＭＲシステムは、Ｚ方向に（すなわち、ユーザの眼から離れるように直交して）種々の深度平面から生じるように現れるように、仮想コンテンツの画像をユーザの眼の中に投影する。換言すると、仮想コンテンツは、ＸおよびＹ方向（すなわち、ユーザの眼の中心視軸に直交する２Ｄ平面）において変化し得るだけではなく、また、ユーザが、オブジェクトが、非常に近接して、または無限距離に、またはその間の任意の距離にあるように知覚し得るように、Ｚ方向においても変化するように現れ得る。他の実施形態では、ユーザは、複数のオブジェクトを、同時に、異なる深度平面において知覚し得る。例えば、ユーザには、仮想ドラゴンが、無限遠から現れ、ユーザに向かって走って来るように見え得る。代替として、ユーザには、同時に、ユーザから３メートル離れた距離における仮想鳥と、ユーザから腕の長さ（約１メートル）における仮想コーヒーカップとが見え得る。

多平面焦点システムは、画像をユーザの眼からＺ方向における個別の固定距離に位置する複数の深度平面のいくつかまたは全て上に投影することによって、可変深度の知覚を作成する。ここで図６を参照すると、多平面焦点システムは、フレームを固定された深度平面１５０（例えば、図６に示される６つの深度平面１５０）に表示し得ることを理解されたい。ＭＲシステムは、任意の数の深度平面１５０を含むことができるが、１つの例示的多平面焦点システムは、６つの固定された深度平面１５０をＺ方向に有する。仮想コンテンツを６つの深度平面１５０のうちの１つ以上のものに生成する際、３－Ｄ知覚が、ユーザがユーザの眼から可変距離における１つ以上の仮想オブジェクトを知覚するように作成される。ヒトの眼は、遠く離れてあるように現れるオブジェクトより距離がより近いオブジェクトに敏感であることを前提として、より多くの深度平面１５０が、図６に示されるように、眼のより近くに生成される。他の実施形態では、深度平面１５０は、相互から離れるように等距離に設置されてもよい。

深度平面位置１５０は、メートル単位で測定される焦点距離の逆数に等しい屈折力の単位である、ジオプタ単位で測定されてもよい。例えば、いくつかの実施形態では、深度平面１は、１／３ジオプタ離れてもよく、深度平面２は、０．３ジオプタ離れてもよく、深度平面３は、０．２ジオプタ離れてもよく、深度平面４は、０．１５ジオプタ離れてもよく、深度平面５は、０．１ジオプタ離れてもよく、深度平面６は、無限遠（すなわち、０ジオプタ離れる）を表し得る。他の実施形態は、深度平面１５０を他の距離／ジオプタに生成してもよいことを理解されたい。したがって、仮想コンテンツを方略的に設置された深度平面１５０に生成する際、ユーザは、仮想オブジェクトを３次元で知覚することが可能である。例えば、ユーザは、別の仮想オブジェクトが深度平面６における無限遠に現れる間、第１の仮想オブジェクトが深度平面１内に表示されるとき、それを近くにあると知覚し得る。代替として、仮想オブジェクトは、最初に、深度平面６に、次いで、深度平面５に、そして、仮想オブジェクトがユーザの非常に近く現れるまでそのように続くように表示されてもよい。上記の実施例は、例証目的のために有意に簡略化されていることを理解されたい。別の実施形態では、全６つの深度平面は、ユーザから離れるように特定の焦点距離上に集中されてもよい。例えば、表示されるべき仮想コンテンツが、ユーザから０．５メートル離れたコーヒーカップである場合、全６つの深度平面は、コーヒーカップの種々の断面において生成され、ユーザに、コーヒーカップの高粒度の３－Ｄビューを与え得る。

いくつかの実施形態では、ＶＲ、ＡＲ、および／またはＭＲシステムは、多平面焦点システムとして機能し得る。換言すると、全６つのＬＯＥは、光源が画像情報をＬＯＥ１、次いで、ＬＯＥ２、次いで、ＬＯＥ３等に急速に伝達する状態において、６つの固定された深度平面から生じるように現れる画像が、高速で連続して生成されるように、同時に照明されてもよい。例えば、光学無限遠における空の画像を備える、所望の画像の一部が、時間１において投入されてもよく、光のコリメーションを留保するＬＯＥ（例えば、図６からの深度平面６）が、利用されてもよい。次いで、より近い木の枝の画像が、時間２において投入されてもよく、１０メートル離れて深度平面から生じるように現れる画像を作成するように構成される、ＬＯＥ（例えば、図６からの深度平面５）が、利用されてもよい。次いで、ペンの画像が、時間３において投入されてもよく、１メートル離れて深度平面から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。本タイプのパラダイムは、ユーザの眼および脳（例えば、視覚野）が入力を同一画像の全ての部分であると知覚するように、高速時間シーケンシャル方式で繰り返されることができる。

ＶＲ、ＡＲ、および／またはＭＲシステムは、Ｚ軸（すなわち、深度平面）に沿って種々の場所から生じるように現れ、３－Ｄ体験／シナリオのための画像を生成する、画像を投影してもよい（すなわち、光ビームを発散または収束させることによって）。本願で使用されるように、光ビームは、限定ではないが、光源から照射される光エネルギー（可視および不可視光エネルギーを含む）の指向性投影を含む。種々の深度平面から生じるように現れる画像を生成することは、その画像のためのユーザの眼の輻輳・開散運動および遠近調節に一致し、輻輳・開散運動－遠近調節競合を最小限にまたは排除する。

ここで図７を参照すると、ＡＲまたはＭＲシステム７００（以降、「システム７００」と称される）の例示的実施形態が、図示される。システム７００は、スタックされた光誘導光学要素（以降、「ＬＯＥ７９０」と称される）を使用する。システム７００は、概して、１つ以上の画像生成プロセッサ７１０と、１つ以上の光源７２０と、１つ以上のコントローラ／ディスプレイブリッジ（ＤＢ）７３０と、１つ以上の空間光変調器（ＳＬＭ）７４０と、複数の平面焦点システムとして機能する、スタックされたＬＯＥ７９０の１つ以上のセットとを含む。システム７００はまた、眼追跡サブシステム７５０を含んでもよい。

画像生成プロセッサ７１０は、ユーザに表示されるための仮想コンテンツを生成するように構成される。画像生成プロセッサ７１０は、仮想コンテンツと関連付けられる画像またはビデオを、ユーザに３Ｄで投影され得る、フォーマットに変換してもよい。例えば、３Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の一部が、特定の深度平面に表示される一方、その他が、他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、特定の深度平面に生成されてもよい。別の実施形態では、画像生成プロセッサ７１０は、ともに視認されると、仮想コンテンツが、コヒーレントかつ快適にユーザの眼に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。

画像生成プロセッサ７１０はさらに、メモリ７１２と、ＧＰＵ７１４と、ＣＰＵ７１６と、画像生成および処理のための他の回路網とを含んでもよい。画像生成プロセッサ７１０は、所望の仮想コンテンツがシステム７００のユーザに提示されるようにプログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ７１０は、システム７００内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ７１０および他の回路網は、システム７００に結合される、ベルトパック内に格納されてもよい。いくつかの実施形態では、画像生成プロセッサ７１０またはその１つ以上のコンポーネントは、ローカル処理およびデータモジュール（例えば、ローカル処理およびデータモジュール１３０）の一部であってもよい。上記に述べられたように、ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図５）等、種々の構成で搭載されてもよい。

画像生成プロセッサ７１０は、所望の仮想コンテンツと関連付けられる光を投影する、光源７２０と、１つ以上の空間光変調器７４０とに動作可能に結合される。光源７２０は、コンパクトであって、高分解能を有する。光源７２０は、コントローラ／ＤＢ７３０に動作可能に結合される。光源７２０は、種々の幾何学的構成で配置される、色特有ＬＥＤおよびレーザを含んでもよい。代替として、光源７２０は、同様の色のＬＥＤまたはレーザを含んでもよく、１つずつ、ディスプレイの視野の具体的領域にリンクされる。別の実施形態では、光源７２０は、放出面積および位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広面積エミッタを含んでもよい。光源７２０は、図２Ｂでは、直接、システム７００に接続されるが、光源７２０は、光ファイバ（図示せず）を介して、システム７００に接続されてもよい。システム７００はまた、光源７２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。

ＳＬＭ７４０は、種々の例示的実施形態では、反射性（例えば、ＬＣＯＳ、ＦＬＣＯＳ、ＤＬＰ ＤＭＤ、またはＭＥＭＳミラーシステム）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。ＳＬＭ７４０のタイプ（例えば、速さ、サイズ等）は、３Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作する、ＤＬＰ ＤＭＤは、定常システム７００の中に容易に組み込まれ得るが、ウェアラブルシステム７００は、より小さいサイズおよび電力のＤＬＰを使用してもよい。ＤＬＰの電力は、３Ｄ深度平面／焦点面が作成される方法を変化させる。画像生成プロセッサ７１０は、ＳＬＭ７４０に動作可能に結合され、これは、光源７２０からの光を所望の仮想コンテンツでエンコーディングする。光源７２０からの光は、ＳＬＭ７４０から反射する、そこから放出される、またはそれを通して通過するとき、画像情報でエンコーディングされてもよい。

ＳＬＭ７４０からの光は、ＳＬＭ７４０によって１つの深度平面および／または色のための画像データでエンコーディングされた光ビームが、事実上、ユーザの眼への送達のために、単一ＬＯＥ７９０に沿って伝搬されるように、ＬＯＥ７９０に指向される。各ＬＯＥ７９０は、所望の深度平面またはＦＯＶ角位置から生じるように現れる、画像またはサブ画像を、ユーザの網膜上に投影するように構成される。光源７２０およびＬＯＥ７９０は、したがって、空間内の種々の深度平面または位置から生じるように現れる、（同期して、コントローラ／ＤＢ７３０の制御下、ＳＬＭ７４０によってエンコーディングされた）画像を選択的に投影することができる。画像を、光源７２０およびＬＯＥ７９０のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの有効完全ボリュームフレームレートでの６つの深度平面に関して３６０Ｈｚ）で順次投影することによって、システム７００は、同時に３Ｄ画像内に存在するように現れる、仮想オブジェクトの３Ｄ画像を種々の深度平面に生成することができる。

コントローラ／ＤＢ７３０は、画像生成プロセッサ７１０、光源７２０、およびＳＬＭ７４０と通信し、それに動作可能に結合され、ＳＬＭ７４０に、光源７２０からの光ビームを画像生成プロセッサ７１０からの適切な画像情報でエンコーディングするように命令することによって、画像の同期表示を協調させる。システムは、画像生成プロセッサ７１０を含むが、コントローラ／ＤＢ７３０が、いくつかの実施形態ではまた、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６のプロセスを含む、少なくともいくつかの画像生成プロセスを実施してもよい。いくつかの実施形態では、コントローラ／ＤＢ７３０は、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６等の画像生成プロセッサ７１０に示される、１つ以上のコンポーネントを含んでもよい。

システム７００はまた、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される、随意の眼追跡サブシステム７５０を含む。一実施形態では、システム７００は、画像が、ユーザの焦点／遠近調節と一致する、所望の深度平面に生成されるように、眼追跡サブシステム７５０からの入力に基づいて、ＬＯＥ７９０のサブセットを照明するように構成される。例えば、ユーザの眼が、相互に平行である場合、システム７００は、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ７９０を照明してもよい。別の実施例では、眼追跡サブシステム７５０が、ユーザの焦点が、１メートル離れていることを決定する場合、ほぼその範囲内に集束するように構成される、ＬＯＥ７９０が、代わりに、照明されてもよい。

図８は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステム８００の画像生成コンポーネントを図式的に描写する。ＶＲ／ＡＲ／ＭＲシステム８００は、ディスプレイポート（ＤＰ）ソース８０４を有し、ＤＰリンク８１０を介して、ＤＰシンク８０８を有する、ディスプレイブリッジ（ＤＢ）８０６に結合される、グラフィック処理ユニット（ＧＰＵ）８０２を含む。ＧＰＵ８０２は、ＶＲ／ＡＲ／ＭＲシステム８００のベルトパック内に位置してもよく、ＤＢ８０６は、ＶＲ／ＡＲ／ＭＲシステム８００のウェアラブルコンポーネント内に位置してもよく、ＤＰリンク８１０は、光ファイバ系リンクであってもよい。いくつかの実施形態では、ＤＰリンク８１０は、ＰＣＩＥリンクまたは他の、例えば、専有の高速リンクであってもよい。いくつかの実施形態では、ＧＰＵ８０２およびＤＢ８０６は両方とも、ＶＲ／ＡＲ／ＭＲシステム８００のベルトパック内にあってもよい。いくつかの実施形態では、ＧＰＵ８０２およびＤＢ８０６は両方とも、ＶＲ／ＡＲ／ＭＲシステム８００のウェアラブルコンポーネント内にあってもよい。いくつかの実施形態では、ＤＢ８０６は、ＧＰＵ８０２を含んでもよい。ＤＢ８０６はまた、４つのＭＩＰＩリンク８１６を介して、左および右ディスプレイパネル８１２および左および右ライトフィールドチップ８１４に結合される。いくつかの実施形態では、ＭＩＰＩリンク８１６は、ＤＰリンク、ＰＣＩＥリンク、または他の、例えば、専有高速リンクであってもよい。これらの実施形態では、ＤＢ８０６、左および右ディスプレイパネル８１２、および左および右フィールドチップ８１４は、リンクのための適切なポートを含んでもよい。ＤＢ８０６はまた、ＭＩＰＩリンク８１６およびＩ２ＣまたはＳＰＩコネクタ８２０（ＤＢ８０６内のＭＩＰＩ／Ｉ２Ｃ８２２またはＳＰＩ受信機８２４に結合される）を介して、ウェアラブルプロセッサ８１８に結合されてもよい。システム８００内の（すなわち、ＤＢ８０６と、左および右ディスプレイパネル８１２、左および右ライトフィールドチップ８１４、およびウェアラブルプロセッサ８１８との間の）ＭＩＰＩリンク８１６は、送信および受信コンポーネント内のＭＩＰＩ伝送機８３２およびＭＩＰＩ受信機８２４に結合される。ＭＩＰＩリンク８１６は、１つ以上のデータレーン（例えば、４つのビデオデータレーン）と、クロックレーンとを含んでもよい。ＤＢ８０６はまた、メモリ８２６（例えば、スタックされた低電力ＤＤＲメモリまたは内蔵ＤＲＡＭ）と、メモリ８２８（例えば、スタックされたフラッシュメモリ）とを含む。左および右ディスプレイパネル８１２はまた、個別の左および右解凍エンジン８３０を含む。いくつかの実施形態では、ＤＢ８０６は、ピクセル操作のためのビデオプロセッサ（例えば、ピクセルエンジン）を含んでもよい。ビデオプロセッサは、一次パネル（例えば、左および右パネル８１２および／または左および右ライトフィールドチップ８１４）のために、データストリーム（例えば、ＧＰＵ８０２からのビデオストリーム）を通して受信されたデータをカスタマイズする。

図８Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステム８００’の画像生成コンポーネントを図式的に描写する。図８Ａに描写されるＶＲ／ＡＲ／ＭＲシステム８００’は、図８に描写されるＶＲ／ＡＲ／ＭＲシステム８００のコンポーネントの多くを含む。ＶＲ／ＡＲ／ＭＲシステム８００’は、ディスプレイポート（ＤＰ）ソース８０４を有し、ＤＰリンク８１０を介して、ＤＰシンク８０８を有する、ディスプレイブリッジ（ＤＢ）８０６’に結合される、グラフィック処理ユニット（ＧＰＵ）８０２を含む。ＤＢ８０６’はまた、４つのＭＩＰＩリンク８１６を介して、左および右ディスプレイパネル８１２’および左および右ライトフィールドチップ８１４’に結合される。いくつかの実施形態では、ＤＢ８０６’は、ＳＰＩおよび／またはＩ２Ｃコネクタを介して、左および右ディスプレイパネル８１２’および左および右ライトフィールドチップ８１４’に結合されてもよい。加えて、ＤＢ８０６’はさらに、左および右バス（例えば、Ｉ２Ｃバス）８３６を介して、左および右ＬＥＤ／レーザドライバ８３４に結合される。左および右バス８３６はまた、ＤＢ８０６’および左および右ＬＥＤ／レーザドライバ８３４の両方を左および右ディスプレイパネル８１２’に結合する。ＤＢ８０６’はまた、ＤＢ８０６’内のＭＩＰＩ受信機８２４、Ｉ２Ｃ受信機８２２、またはＳＰＩ受信機８４０に結合され得る、ＭＩＰＩリンク８１６、Ｉ２Ｃコネクタ８２０、および／またはＳＰＩコネクタ８３８を介して、ウェアラブルプロセッサ８１８’に結合されてもよい。ＤＢ８０６’はまた、メモリ８２６（例えば、内蔵ＳＲＡＭ）と、メモリ８２８（例えば、スタックされたクワッドＳＰＩフラッシュメモリ）とを含む。

上記に説明されるＭＩＰＩリンク８１６は、双方向性能力（例えば、左および右ディスプレイパネル８１２、８１２’からの読取データ、確認応答、および／または誤差情報をＤＢ８０６、８０６’に返すため）を有してもよい。ＭＩＰＩリンク８１６のレーン０は、ＤＢ８０６、８０６’への伝送のために使用されてもよい一方、他のレーンは、一方向性であってもよい。ＭＩＰＩリンク８１６は、低電力伝送モードの間、ＤＢ８０６、８０６’が、左および右ディスプレイパネル８１２、８１２’から汎用読取を開始するために、ＤＢ８０６、８０６’への伝送のために使用されてもよい。

図９は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのＤＢ９００を図式的に描写する。ＤＢ９００は、画像データの１つ以上のストリームを受信するように構成される、ＤＰ受信機９０２を含む。ＤＰ受信機９０２は、ＤＳＣデコーダ９０４、ＤＤＲコントローラ９０６、ピクセルエンジン９０８、出力ＦＩＦＯ一次および二次ストリーム９１０、およびピクセル分布一次および二次パネル（「ピクセル分布モジュール」）９１２に通信可能に結合され、これは、ひいては、４つのＭＩＰＩチャネル９１４に通信可能に結合される。ＤＢ９００はまた、ＭＩＰＩ受信機９１６と、メモリ９１８（例えば、低電力ＤＤＲスタックダイ）と、ＣＰＵモジュール９２０と、ＲＧＢ／グレースケールセグメント化ブロック９２２とを含み、これは全て、ＤＤＲコントローラ９０６に通信可能に結合される。ＲＧＢ／グレースケールセグメント化ブロック９２２は、本明細書に説明されるように、ＤＳＣデコーダ９０４からのデータを受信し、出力をメモリ９１８’に送信する。ＤＢ９００は、２つのビデオストリームを処理するように構成される。第１のビデオストリーム９２４は、ＤＳＣデコーダ９０４およびＲＧＢ／グレースケールセグメント化ブロック９２２によって処理され、次いで、メモリ９１８への書込のために、ＤＤＲコントローラ９０６に送信される。第２のビデオストリーム９２６は、メモリ９１８への書込のために、直接、ＤＰ受信機９０２からＤＤＲコントローラ９０６に送信される。

図９Ａは、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのＤＢ９００’を図式的に描写する。図９Ａに描写される、ＤＢ９００’は、図９に描写されるＤＢ９００のコンポーネントの多くを含む。ＤＢ９００’は、画像データの１つ以上のストリームを受信するように構成される、ＤＰ受信機９０２を含む。ＤＰ受信機９０２は、ＤＳＣデコーダ９０４、ピクセルエンジン９０８、出力ＦＩＦＯ一次および二次ストリーム９１０、およびピクセル分布一次および二次パネル９１２に通信可能に結合され、これは、ひいては、４つのＭＩＰＩチャネル９１４に通信可能に結合される。ＤＢ９００’はまた、ＭＩＰＩ受信機９１６と、ＲＧＢ／グレースケールセグメント化ブロック９２２とを含み、その両方とも、メモリ９１８’（例えば、ＳＲＡＭ）に結合される。ＲＧＢ／グレースケールセグメント化ブロック９２２は、本明細書に説明されるように、ＤＳＣデコーダ９０４からのデータを受信し、出力をメモリ９１８’に送信する。ＤＢ９００’はさらに、メモリ９１８’に結合される、スプラッシュスクリーン解凍器９２８を含む。ＤＢ９００’は、２つのビデオストリームを処理するように構成される。第１のビデオストリーム９２４は、ＤＳＣデコーダ９０４およびＲＧＢ／グレースケールセグメント化ブロック９２２によって処理され、次いで、メモリ９１８’に書き込まれる。第２のビデオストリーム９２６は、直接、ＤＰ受信機９０２から送信され、メモリ９１８’に書き込まれる。

図１０は、いくつかの実施形態による、ＤＢと併用するためのピクセルエンジン１０００を図式的に描写する。ピクセルエンジン１０００は、カラーフィールドのためのコードを実行し、入力パラメータに基づいて、表示のためのピクセルを生成する、コア１００２を含む。ピクセルエンジン１０００は、カラーフィールドに関する情報をメモリ（例えば、低電力ＤＤＲ）から読み取り、ピクセルを生成する（例えば、一度に１つの出力ライン）。コア１００２は、プログラム可能であって、ＳＲＡＭと、命令ＲＡＭとを含んでもよい。コア１００２はまた、ＡＸＩ通信チャネル１００４（例えば、メモリと通信するため）と、一対のＦＩＦＯ出力１００６（例えば、ディスプレイおよびライトフィールドチップと通信するため）と、二次データパケット／補助データ先入れ先出し（ＳＤＰ／ＡＵＸＦＩＦＯ）入力１００８（例えば、ＤＰソースと通信するため）と、処理するためのピクセルデータを含有するように密結合されたＳＲＡＭ１０１０の二重バンクとを有してもよい。いくつかの実施形態では、ピクセルエンジン１０００は、光学系およびプロジェクタに関連する光学歪曲を補償するステップ、持続ワーピング再投影、フレームレート拡張、動的オクルージョン、セグメント化された中心窩化混成、ピクセル化された調光制御、ピクセル色収差補正、部分的表示サポート、カスタム暗化および部分暗化モード、コンテンツ折畳解除、およびベクトルエンジンを使用した、例えば、カスタム命令を用いた多くの他のＡＲ／ＶＲアルゴリズムを実施するステップに関与してもよい。いくつかの実施形態では、ピクセルエンジン１０００は、頭部姿勢更新を、直接、ＤＢ（例えば、ＤＢ８０６）に通信可能に結合されるセンサまたはウェアラブルプロセッサ８１８によって提供されるセンサデータから計算する。

図１０Ａは、いくつかの実施形態による、ＤＢと併用するためのピクセルエンジン１０００’を図式的に描写する。ピクセルエンジン１０００’は、カラーフィールドのためのコードを実行し、入力パラメータに基づいて、表示のためのピクセルを生成する、コア１００２’を含む。ピクセルエンジン１０００’は、カラーフィールドに関する情報をメモリ（例えば、低電力ＤＤＲまたはＳＲＡＭ）から読み取り、ピクセル（例えば、一度に１つの出力ライン）を生成する。コア１００２’は、プログラム可能であって、ＳＲＡＭと、命令ＲＡＭとを含んでもよい。コア１００２’はまた、ＡＸＩ通信チャネル１００４’（例えば、メモリと通信するため）と、一対のＦＩＦＯ出力１００６’（例えば、ディスプレイおよびライトフィールドチップと通信するため）と、二次データパケット／補助データ先入れ先出し（ＳＤＰ／ＡＵＸＦＩＦＯ）入力１００８’（例えば、ＤＰソースと通信するため）と、処理するためのピクセルデータを含有するように密結合されたＳＲＡＭ１０１０’の二重バンクとを有してもよい。密結合されたＳＲＡＭ１０１０’は、システム内の他のメモリと通信する必要性を低減させる。さらに、コア１００２’は、ＳＲＡＭコントローラおよびＨＳＹＮＣ／ＶＳＹＮＣ／走査ラインインタラプト１０１４への接続１０１２を有してもよい（例えば、ピクセルセグメント化ブロックからの入力を受信するため）。さらに、コア１００２’は、ＡＰＢレジスタバンクと、ＡＰＢ／ＡＸＩスレーブポート１０１８と、ＳＰＩ／Ｉ２Ｃマスタポートとを含んでもよい。ＡＰＢ／ＡＸＩスレーブポート１０１８は、ファームウェアをフラッシュメモリからＤＢにコピーするために使用されてもよい。

いくつかの実施形態では、ピクセルエンジン１０００’は、光学系およびプロジェクタに関連する光学歪曲を補償するステップ、持続ワーピング再投影、フレームレート拡張、動的オクルージョン、セグメント化された中心窩化混成、ピクセル化された調光制御、ピクセル色収差補正、部分的表示サポート、カスタム暗化および部分暗化モード、コンテンツ折畳解除、およびベクトルエンジンを使用した、例えば、カスタム命令を用いた多くの他のＡＲ／ＶＲアルゴリズムを実施するステップに関与してもよい。いくつかの実施形態では、ピクセルエンジン１０００’は、頭部姿勢更新を、直接、ＤＢ（例えば、ＤＢ８０６）に通信可能に結合されるセンサまたはウェアラブルプロセッサ８１８によって提供されるセンサデータから計算する。

図１１は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのディスプレイパネル１１００を図式的に描写する。ディスプレイパネル１１００は、内蔵ラインデコーダ１１０４、部分的画面リフレッシュ論理１１０６、種々のバッファ１１０８、種々のガンマ補正モジュール１１１０、およびディスプレイメモリ１１１２に通信可能に結合される、ＭＩＰＩ受信機１１０２を含む。ＭＩＰＩ受信機１１０２は、ＭＩＰＩ ＤＳＩ－２インターフェース、ＤＰリンクインターフェース、および／または１つ以上のデータレーン（例えば、４つのビデオデータレーン）および１つのクロックレーンを伴う、他の、例えば、専有シリアルリンクと動作するように構成されてもよい。ＭＩＰＩ受信機１１０２は、同期イベントを伴うバーストモード、クロック／レーンデスキューイング、およびレジスタを介した分解能／タイミングの手動構成を含む、種々の特徴を有してもよい。内蔵ラインデコーダ１１０４は、フレームデータの第１のラインを読み取り、その中に内蔵されるデータを抽出するように構成されてもよい。内蔵データは、フレームのための動作モードおよびフォーマットを定義し得る。部分的画面リフレッシュ論理１１０４は、２つのモード、すなわち、ブランク画面および部分的表示（両方とも下記に説明される）で動作するように構成されてもよい。バッファ１１０８は、１つのカラーフィールドの最大待ち時間を有し得る。ガンマ補正モジュール１１１０は、ガンマテーブルをサポートし、８ビット入力ビデオを１０ビット出力に変換し得る。ディスプレイパネル１１００は、テーブル／オフセット同期モジュールと、シーケンサテーブルとを含んでもよい。
（画像データフォーマット）
（セグメント化されたカラーシーケンシャルフォーマット）

図１２は、ＤＰポート（例えば、図８および８ＡにおけるＤＰ ＳＲＣ８０４およびＤＰシンク８０８参照）によって支持され得る、２つの入力データフォーマットを図式的に描写する。上のデータフォーマット１２００は、ＲＧＢ２４ビット色（フィールドあたり８ビット）であって、下のデータフォーマット１２０２は、ＲＧＢ３０ビット色（フィールドあたり１０ビット）である。入力データは、ディスプレイストリーム圧縮（ＤＳＣ）で圧縮されていてもよい。ＤＰポートはまた、シーケンシャルグレースケールデータフォーマット（下記に説明される）をサポートしてもよい。

図１３は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムと併用するためのカラー画像データフォーマットを図式的に描写する。本カラー画像データフォーマットでは、典型的には、３つの原色フィールド１３０２、１３０４、１３０６に編成される、カラー画像データ（例えば、２４ビットまたは３０ビットＲＧＢデータ）は、３つの画像１３１２、１３１４、１３１６に再編成される。３つの画像１３１２、１３１４、１３１６はそれぞれ、３分の１ずつ分割され、各３分の１は、部分的カラーフィールド（例えば、１３１２Ｒ、１３１２Ｇ、１３１２Ｂ）を含む。
（カラーシーケンシャルグレースケールフォーマット）

カラー画像データは、ＧＰＵ内で生成され、３つの画像１３１２、１３１４、１３１６に再編成される。３つの画像１３１２、１３１４、１３１６は、ＤＰを介して、ＧＰＵから、ＤＢに送信されることができる。３つの画像１３１２、１３１４、１３１６へのカラー画像データの再編成は、各カラーフィールド（例えば、部分的カラーフィールド１３１２Ｒ、１３１２Ｇ、１３１２Ｂ）の部分が、画像パイプライン内でより早くＤＢに到着する結果をもたらす。画像データへの本より早いアクセスは、ＤＢが、再編成されたカラー画像データを伴わずに、画像パイプ内より早く画像データに作用を開始することを可能にし得る。

図１４は、３つの部分的カラーフィールドに再編成されている、カラー画像１４０２を図式的に描写する。加えて、３つの部分的カラーフィールドは、３つのシーケンシャルグレースケール画像１４２２、１４２４、１４２６に変換されている。３つのシーケンシャルグレースケール画像１４２２、１４２４、１４２６の位置は、各部分的フィールドの色をエンコーディングするために使用される。カラーフィールドをグレースケールに変換することは、ＧＰＵからＤＢに伝送されるデータの量を低減させ得る。グレースケールへの変換は、ＧＰＵまたはＤＢにおいて生じ得る。
（カラーセグメント化）

図１５は、いくつかの実施形態による、例えば、カラー画像データが、さらなる処理のために、ＧＰＵからＤＢに送信される、ＶＲ／ＡＲ／ＭＲシステムと併用するためのＤＢ内のカラー画像データのカラーセグメント化を図式的に描写する。ＤＢが、カラーシーケンシャルグレースケールフォーマットを示す、レジスタを受信すると、ＤＢは、本明細書に説明されるように、パッキングされたカラー画像データをカラーシーケンシャルグレースケールデータに変換する。ＤＢは、カラー画像データ１５０２を、ＧＰＵから、ＤＰを通して、受信する。次いで、ＤＢは、随意に、カラー画像データ１５０２を３つのフィールド１５１２、１５１４、１５１６にセグメント化する。３つのフィールド１５１２、１５１４、１５１６は、カラーシーケンシャルグレースケールフォーマットへのさらなる処理のために、メモリ、例えば、ＤＤＲ二重バッファメモリ内に記憶される。本セグメント化は、カラー画像データストリームが受信されるにつれて、リアルタイムで生じ得る。カラー画像データ１５０２ストリームを受信する、レジスタはまた、画像データが記憶されるであろうメモリ（例えば、低電力ＤＤＲ）内のアドレスを示してもよい。

図１５Ａは、いくつかの実施形態による、例えば、カラー画像データが、さらなる処理のために、ＧＰＵからＤＢに送信される、ＶＲ／ＡＲ／ＭＲシステムと併用するためのＤＢ内のカラー画像データのカラーセグメント化を図式的に描写する。ＤＢが、カラーシーケンシャルグレースケールフォーマットを示す、レジスタを受信すると、ＤＢは、本明細書に説明されるように、パッキングされたカラー画像データをカラーシーケンシャルグレースケールデータに変換する。ＤＢは、カラー画像データ１５０２を、ＧＰＵから、ＤＰを通して、受信する。次いで、ＤＢまたは随意のセグメント化ハードウェアブロック１５２０は、カラー画像データ１５０２を３つのフィールド１５２２、１５２４、１５２６にセグメント化する。３つのフィールド１５２２、１５２４、１５２６は、９つの出力バッファ（ＢＵＦ０－ＢＵＦ８）内に記憶される。３つのフィールド１５２２、１５２４、１５２６が記憶される、バッファのサブセットは、偶数フレーム（すなわち、ゼロ、２、４、６、…）と奇数フレーム（すなわち、１、３、５、７、…）との間で変動する。セグメント化ブロック１５２０またはＤＢからの着信メッセージは、セグメント化ブロック出力のための現在アクティブなバッファ状態を示す。セグメント化ブロック１５２０は、カラー画像データ１５０２を３つの原色グレースケールフィールド（すなわち、赤色、緑色、青色）に分離する。本セグメント化は、カラー画像データ１５０２ストリームが受信されるにつれて、リアルタイムで生じ得る。

セグメント化ブロック１５２０が、無効にされると、カラー画像データ１５０２は、図１５Ｂに示されるように、到着の時間に合致する数値順序を使用して、ＲＧＢパッキングモードにおいて、９つの出力バッファ（ＢＵＦ０－ＢＵＦ８）にコピーされる。本モードでは、９つの出力バッファ（ＢＵＦ０－ＢＵＦ８）は、セグメント化が存在しないため、順序通りとなる。

カラー画像データ１５０２が、未加工８ビットの形態にあるとき、セグメント化ブロック１５２０は、セグメントデータを記憶する前に、色成分毎に最小有効ビット内に２つの余剰ゼロビットを追加することによって、オンザフライで、ピクセルを未加工１０ビットに変換してもよい。セグメント化が有効にされない場合でも、カラー画像データ１５０２は、システム一貫性のために、未加工１０ビットフォーマットで記憶され得る。

図１５Ｃは、カラー画像データ１５０２を記憶するための「ＲＧＢ３０」データフォーマットを図式的に描写する。図１５Ｄは、１２８ビット整合データとしてＳＲＡＭ内に記憶される、１，４４０ピクセル×１，４４０ピクセルの入力ディスプレイパネル分解能を図式的に描写する。各左および右のセグメント化された色は、８バイトのパディングを伴う、１，８００バイトを含む。図１５Ｄにおけるデータフォーマットを使用して、セグメント化ブロック１５２０は、９つのバッファ毎の開始アドレスが、常時、１２８ビット整合されるであろうと仮定することができる。図１５Ｅは、１２８ビット整合データとしてＳＲＡＭ内に記憶される、５１２ピクセル×５１２ピクセルの入力ディスプレイパネル分解能を図式的に描写する。各左および右のセグメント化された色は、１，１６８バイトのパディングを伴う、６４０バイトを含む。したがって、カラー画像データ１５０２は、依然として、１２８ビット整合データとしてＳＲＡＭ内に記憶されることができる。図１５Ｆは、１２８ビット整合データとしてＳＲＡＭ内に記憶される、特殊画像（例えば、スプラッシュスクリーン）のための５１２ピクセル×５１２ピクセルの入力ディスプレイパネル分解能を図式的に描写する。本特定の実施形態では、左パネルは、５１２色のピクセルを有するが、右パネルは、全て黒色に設定される、５１２ピクセルを有する。図１５Ｅに示されるように、各左および右のセグメント化された「色」は、１，１６８バイトのパディングを伴う、６４０バイトを含む。したがって、カラー画像データ１５０２は、依然として、１２８ビット整合データとしてＳＲＡＭ内に記憶されることができる。１，４４０ピクセル×１，４４０ピクセルおよび５１２ピクセル×５１２ピクセル分解能が、説明されているが、類似データフォーマットも、異なる分解能を有するカラー画像データ１５０２を記憶するために使用されることができる。

図１５Ｇは、フレームのカラーセグメント化後のデータ構造を図式的に描写する。図１５Ｇに示されるデータ構造は、パディングを含まず、したがって、データ構造は、固定された宛先ピッチを有する。すなわち、１つの行から次の行までのバイトアドレス距離は、固定数のバイトを有する。

各カラーフィールドは、３つの別個のバッファを要求し、各バッファは、カラーフィールド画像の３分の１を保持する。３によって均一に除算可能ではない行の数を有する、ディスプレイ分解能に関して、バッファは、バッファの数が３によって均一に除算可能であるように、１つまたは２つの付加的行を含むことができる。余剰行／バッファが、画像メタデータを記憶するために使用されることができる。
（マルチストリームモード）

上記の図９および９Ａに示されるように、ＤＢ９００、９００’は、マルチストリームモードをサポートしてもよく、画像データは、２つのストリーム９２４、９２６を含む。いくつかの実施形態では、ビデオストリーム１ ９２４は、表示のための画像データを含んでもよく、ビデオストリーム２ ９２６は、表示のための画像データを含まず、むしろ、例えば、１つ以上のライトフィールドチップ（例えば、図８および８Ａにおける左および右ライトフィールドチップ８１４）のための構成データを含んでもよい。いくつかの実施形態では、ビデオストリーム２ ９２６はまた、ライトフィールドチップによる使用のために、ピクセルエンジン９０８によって分離される、ライトフィールドパネルデータを含んでもよい。図９および９Ａに示されるように、本構成データは、ＤＤＲコントローラ９０６、メモリ９１８、９１８’、ピクセルエンジン９０８、およびピクセル分布モジュール９１２に通信され、それによって使用されてもよい。いくつかの実施形態では、構成データは、パネル分解能、ライトフィールドコントローラデータ、ワーピングデータ、歪曲データ、オクルージョンデータ、中心窩化領域データ、ブリッジ制御データ、および同等物を含むことができる。

ビデオストリーム１ ９２４およびビデオストリーム２ ９２６は、同期されてもよい。ビデオストリーム２ ９２６は、フレーム毎に部分的ラインをサポートしてもよい。部分的ラインは、ビデオストリーム１ ９２４およびビデオストリーム２ ９２６のタイミングの定義を促進する。部分的ラインは、ブランキングセクションの終了に配置されてもよい。ＤＢは、ビデオストリーム２ ９２６のためのＭＩＰＩ出力を生成し、メモリ９１８、９１８’内の間隔を促進するように構成されてもよい。完全暗化モード（本明細書に説明される）では、ビデオストリーム２ ９２６は、ＤＰソースによって伝送されないであろう。部分暗化モード（本明細書に説明される）では、ＤＢは、ビデオストリーム１ ９２４のための出力を生成し、ビデオストリーム２ ９２６が伝送されるまで、リンクをアクティブに保つように構成されてもよい。ビデオストリーム２ ９２６は、Ｖブランキング毎に１回、ライン位相を偏移させ、２つのストリーム９２４、９２６の同期を促進してもよい。

図１６は、二次ディスプレイストリーム１６００（例えば、ビデオストリーム２ ９２６）およびＤＢを通したそのフローを図式的に描写する。二次ディスプレイストリーム１６００は、左および右ライトフィールドプロセッサを制御するためのライトフィールドプロセッサデータ１６０２と、他のカスタムデータ１６０４とを含む。ライトフィールドプロセッサデータ１６０２およびカスタムデータ１６０４は、プログラマブル行１６０６によって分離される。ＤＢは、カスタムデータ１６０４が、メモリ、例えば、メモリ１６０８（例えば、低電力ＤＤＲメモリ）内に記憶され、ライトフィールドプロセッサデータ１６０２が、ピクセルエンジン１６１０および出力ＦＩＦＯメモリ１６１２を通して、ピクセル分布１６１４（例えば、ピクセル分布モジュール９１２）に送信されるように、プログラマブル行１６０６によって分離されるデータを分裂させる。ピクセル分布１６１４では、ライトフィールドプロセッサデータ１６０２は、ディスプレイパネル（図示せず）への通信のために、ＭＩＰＩリンクに送信される前に、左および右チャネルに分裂される。カスタムデータ１６０４が、特定のフレームのために存在する場合、出力ＭＩＰＩタイミングは、カスタムデータ１６０４に適応し、それによって、ライトフィールドプロセッサデータ１６０２の分解能を低減させるように調節されてもよい。

二次ディスプレイストリーム１６００入力分解能と対応するＭＩＰＩ出力分解能との間には、何ら関係が存在しなくてもよい。二次ディスプレイストリーム１６００に対応する、メモリ９１８、９１８’内の場所は、新しいフレームに関する情報が、前のフレームに関する情報を削除せずに書き込まれ得るように、二重バッファされてもよい。二次ディスプレイストリーム１６００のためのメモリ９１８、９１８’の二重バッファは、選択的にアクティブ化されてもよい。

いくつかの実施形態では、二次ディスプレイストリーム（例えば、ビデオストリーム２ ９２６）は、必要よりも大きい場合がある。その結果、ＤＢは、ディスプレイへの伝送のために、二次ディスプレイストリームを圧縮してもよい。図１６Ａは、二次ディスプレイストリーム１６００’（例えば、ビデオストリーム２ ９２６）およびＤＢを通したそのフローを図式的に描写する。二次ディスプレイストリーム１６００’は、カスタムデータ１６０４’を有する、ライトフィールドプロセッサデータ１６０２’を含む。ライトフィールドプロセッサデータ１６０２’は、メモリ１６０８’（例えば、ＳＲＡＭ）内に記憶されてもよく、そこからライトフィールドプロセッサデータ１６０２’は、ピクセルエンジン１６１０’、出力ＦＩＦＯメモリ１６１２’、およびピクセル分布１６１４’（例えば、ピクセル分布モジュール９１２）を通して送信される。ピクセルエンジン１６１０’は、メモリ１６０８’から、出力に従って、ライトフィールドプロセッサデータ１６０２’内のサブピクセルのみをコピーしてもよい。二次ディスプレイストリーム１６００内のデータ分裂動作を図１６Ａに描写される二次ディスプレイストリーム１６００’から除去することは、ハードウェア設計を簡略化するが、複雑性をピクセルエンジン１６１０’ファームウェア設計に追加する。ビデオストリーム２ ９２６のＭＩＰＩ出力のための最終分解能は、固定されなくてもよい。
（二次データパケット（ＳＤＰ））

表示のための画像データに加え、ビデオストリーム１はまた、ＧＰＵからＤＢへの１つ以上のＳＤＰメッセージを含む。ＶＥＳＡパケットフォーマットを使用する、いくつかの実施形態では、ＳＤＰメッセージは、表示のための任意のビデオ画像データが通信される前に、垂直ブランキングの間、ビデオ画像データ内でエンコーディングされてもよい。ＳＤＰメッセージはまた、水平ブランキングの間、ビデオ画像データ内でエンコーディングされてもよい。ＳＤＰメッセージは、ＤＢによって受信され、バッファ内に記憶される（例えば、ピクセルエンジンによるアクセスのために）。ＳＤＰメッセージは、姿勢データ更新を含んでもよい。

図１７は、いくつかの実施形態による、エンコーディングされた複数のＳＤＰメッセージをその中に有する、大連鎖ＶＳＣ＿ＥＸＴ＿ＶＥＳＡパケット１７００を図式的に描写する。ＳＤＰメッセージの最大２つのＫＢが、その比較的に大サイズに起因して、パケット１７００の垂直ブランキングセグメント１７０２に内蔵されてもよい。他方では、水平ブランキングセグメント１７０４のより比較的に小さいサイズは、より小さいＳＤＰメッセージのみを促進する。図１７は、３つの連鎖パケットに分化され得る、６つの水平ブランキングパケットを描写する。連鎖パケットの使用は、若干より大きいＳＤＰメッセージを可能にする。より小さいＳＤＰメッセージを伴う、実施形態では、連鎖は、要求されない。

図１７Ａは、垂直ブランキングと関連付けられる、ＶＳＣ＿ＥＸＴ＿ＶＥＳＡ ＳＤＰメッセージ１７５０を図式的に描写する。ＶＳＣ＿ＥＸＴ＿ＶＥＳＡ ＳＤＰメッセージ１７５０は、ビデオストリーム１ ９２４内にのみ含まれてもよい。したがって、ＶＳＣ＿ＥＸＴ＿ＶＥＳＡ ＳＤＰメッセージ１７５０は、ビデオストリーム１および２の両方に関する情報を含んでもよい。いくつかの実施形態では、ＶＳＣ＿ＥＸＴ＿ＶＥＳＡ ＳＤＰメッセージ１７５０は、ヘッダ１７５２（２０バイト）と、メインＤＰ制御ブロック１７５４（５バイト）と、ビデオストリーム１および２ １７５６、１７５８に関する部分的ＭＳＡ情報（それぞれ、１８バイト）と、専有データブロック１７６０（可変サイズ、例えば、１７３バイト）とを含む。

図１７Ｂは、水平ブランキングと関連付けられる、水平ブランキングＳＤＰメッセージ１７７０を図式的に描写する。いくつかの実施形態では、水平ブランキングＳＤＰメッセージ１７７０は、ヘッダ１７７２（４バイト）と、タイムスタンプ１７７４（４バイト）と、専有データブロック１７７６（２８バイト）とを含む。
（ＳＤＰおよびＡＵＸメッセージＦＩＦＯメモリ）

図１８は、いくつかの実施形態による、ＤＢ内のＳＤＰメッセージおよび補助（ＡＵＸ）チャネルメッセージからのデータのフローを図式的に描写する。ＤＰは、電力を節約するためにシャットダウンされ得るため（下記に説明される）、種々の構成データは、ＡＵＸチャネルを介して、通信されてもよい。構成データは、ＡＵＸチャネルを介して、レジスタ書込を使用して、通信されてもよい。いくつかの実施形態では、ＡＵＸチャネルは、ＤＰとともに、構成データを通信するために使用される。

図１８は、ＤＰ受信機からのＳＤＰメッセージ１８０２およびＡＵＸチャネル１８０４からの構成データを描写する。ＳＤＰおよびＡＵＸメッセージ１８０２、１８０４は、ＦＩＦＯメモリ１８０６上に記憶される。ＦＩＦＯメモリ１８０６から、ＳＤＰおよびＡＵＸメッセージ１８０２、１８０４は、ピクセルエンジン１８０８に送信され、それによって使用されることができる。
（出力ビデオストリーム圧縮）

ディスプレイパネルのための構成データは、直接、コントローラからディスプレイパネルに最も効率的に通信される。ＤＢが、ＣＰＵとディスプレイパネルとの間に介在される、ＶＲ／ＡＲ／ＭＲシステムでは、構成データは、内蔵信号として、ビデオストリーム内でディスプレイパネルに送信されることができる。

図１９は、構成データを含む、内蔵信号１９０４でインターリーブされた、ピクセルデータ１９０２を伴う、ビデオストリーム１９００を図式的に描写する。内蔵信号１９０４は、ビデオストリーム１９００内の任意の場所に配置されることができる（例えば、開始、中央、終了）。内蔵信号１９０４はまた、完全または部分的行であることができる。

ＤＢは、ＡＵＸチャネルレジスタ書込、ＳＤＰメタデータ、およびビデオストリーム２のカスタムデータセクションから、構成データを受信することができる。ピクセルエンジンは、構成データを受信し、特定のディスプレイパネルに関連する構成データを伴う、内蔵信号を含む、出力ＭＩＰＩストリームを生成するであろう。ＭＩＰＩストリームの出力タイミングは、内蔵シグナリングに一致するように拡張されてもよい。
（完全暗化低電力モード）

いくつかの実施形態では、特定のＶＲ／ＡＲ／ＭＲユーザ姿勢／視野に関しては、仮想画像データが存在しないであろう。したがって、ＧＰＵ出力は、黒色／完全暗化に対して送信されるであろう。ＧＰＵが、完全暗化フレームを検出するとき、ビデオストリーム１ ９２４のための画像パイプラインをシャットダウンすることは、システム電力を節約するであろう。電力節約のソースは、限定ではないが、ＤＰリンク、ＤＰソースプロセッサ、ＤＰソースメモリ、ＤＰ光学リンク、ＧＰＵ圧縮、ＤＢ解凍、ＤＢカラーセグメント化、ＤＢメモリ書込、ピクセルエンジンメモリ読取、ピクセル処理、ＭＩＰＩ伝送機、ＭＩＰＩ受信機、ディスプレイパネルメモリ読取および書込等を含む。ビデオストリーム１ ９２４およびそのディスプレイパネルをオフにすることは、電力を保存するであろう。いくつかの実施形態では、ライトフィールドチップは、以前に受信されたデータから動作し続けるであろう。

ＧＰＵが、完全暗化フレームを検出すると、ＧＰＵは、ＤＰソースＭＣＵに通知する（例えば、「ＳＴＰ」ＳＤＰメッセージまたはメインＤＰリンク上のｋ－コード電力低下シーケンスを介して）。いくつかの実施形態では、ＧＰＵ合成器は、垂直ブランクＳＤＰメッセージを作成し、書き込み、完全暗化モードを開始する。ＤＰソースＭＣＵは、次いで、完全暗化フレームのメモリ転送をＤＰソースパイプラインにバイパスし、ＤＰソースパイプラインコンポーネント（例えば、ＤＳＣエンコーダ）の大部分を低電力モードに設置する。ＤＰソースＭＣＵは、種々のレジスタを無効にし、ディスプレイブリッジおよびディスプレイ等の結像パイプラインの下流コンポーネントをシャットダウンする。

ＧＰＵは、垂直ブランキングの間、ＳＤＰメッセージをＤＢに送信することによって、完全暗化モードを開始してもよい。ＤＰ受信機は、ＳＤＰメッセージをデコーディングし、それ自体を完全暗化低電力モードに置く。ＤＰ受信機はまた、メッセージを送信し、ピクセルエンジンを完全暗化低電力モードに設置する。ＬＰ１１モードに設置されるであろう、ＭＩＰＩデータレーンを含む、結像パイプラインの種々の他のコンポーネントもまた、完全暗化低電力モードに設置される。ＤＰソースＣＰＵは、ＤＰの物理的コンポーネントをシャットダウンするであろう。ディスプレイは、アクティブラインの数をゼロに設定することによって、シャットダウンされてもよい。ディスプレイは、黒色／自己リフレッシュモードに移行してもよい。ＤＰシンクブリッジは、垂直ブランクＳＤＰメッセージを受信後、ウェイクアップ信号を受信するまで、ソースによって送信される任意のデータを考慮しなくてもよい。画像パイプラインの種々のコンポーネントは、前の非暗化画像が、パイプラインを通して処理され、表示されるにつれて、非同期して、シャットダウンされる。いくつかの実施形態では、非フレームデータが、必要とされる限り、ＤＰポートを含む、ディスプレイパイプラインは、シャットダウンモードのままであろう。

ＧＰＵが、完全暗化フレーム後、非完全暗化フレームを検出すると、ＧＰＵは、ウェイクアップシーケンスを開始する。いくつかの実施形態では、ＤＰソースＭＣＵは、ＤＰ伝送機および受信機に電源投入してもよい。ＧＰＵ合成器は、垂直ブランクＳＤＰメッセージを作成し、書き込み、部分的暗化または通常モードのいずれかを開始してもよい。次いで、ＤＰソースＭＣＵは、ＡＵＸチャネルを介して、ウェイクアップメッセージを送信してもよい。ディスプレイは、アクティブラインの数を非ゼロ値に設定することによって、ウェイクアップしてもよい。随意の高速リンク訓練が、生じてもよい。いくつかの実施形態では、高速リンク訓練は、ＤＢ上に記憶されてもよく、記憶された高速リンク訓練は、高速ウェイクアップのために使用されてもよい。

図３２は、いくつかの実施形態による、完全暗化モード３２００に移行し、それを持続する、ディスプレイシステムのＭＩＰＩタイミングを図式的に描写する。システムは、３２１０において、完全暗化モードに移行する。いくつかの実施形態では、ディスプレイパネルは、実際には、自己リフレッシュに作用しているが、黒色ピクセルのみを表示する。したがって、完全暗化モードからの電力節約の有意な部分は、ＭＩＰＩ受信機、メモリ、ＤＢ、光源、および光ファイバ系コネクタのシャットダウンに由来する。

図３３は、いくつかの実施形態による、ディスプレイシステムの完全暗化モード３３００への移行、その持続、およびその終了を図式的に描写する。図３３は、ＤＢからのＭＩＰＩデータ３３１０およびディスプレイ（例えば、ＬＣＯＳ）出力ビデオ３３２０を経時的に描写する。ＭＩＰＩデータ３３１０は、フレーム３ ３３１２において、通常モードから完全暗化に遷移する。ビデオデータは、完全暗化（すなわち、ブランクまたはゼロ）であるが、ＭＩＰＩデータ３３１０は、システムを完全暗化モードに設置するための内蔵制御ラインを含む、完全暗化３３１２の１つのフレームを含む。内蔵制御ラインの受信に応答して、ディスプレイ出力ビデオ３３２０は、フレーム３ ３３２２において、完全暗化フレームを表示する。システムは、次いで、ビデオデータによって要求されるような可変数のフレームにわたって、完全暗化モードを持続する。ＭＩＰＩデータ３３１０のフレームＮ ３３１４では、ＭＩＰＩデータは、通常モードに戻り、それによって、システムをウェイクアップさせる。しかしながら、ディスプレイは、もはやＤＢ ＭＩＰＩ出力と同期されないため、ディスプレイは、最後の黒色フレーム３３２４を表示することによって、通常モードの第１のフレームを考慮しない。Ｎ＋１フレーム３３２６から開始して、ディスプレイ出力ビデオは、ウェイクアップし、同期し、通常モードで動作する。

図３４は、いくつかの実施形態による、パネル自己リフレッシュ３４００のためのディスプレイシステムの完全暗化モードへの移行、その持続、およびその終了を図式的に描写する。図３４は、ＤＢからのＭＩＰＩデータ３４１０およびディスプレイ（例えば、ＬＣＯＳ）出力ビデオ３４２０を経時的に描写する。ＭＩＰＩデータ３４１０は、フレーム３ ３４１２において、パネル自己リフレッシュを開始する。フレーム３ ３４１２ＭＩＰＩデータ３４１０は、パネル自己リフレッシュのためのインジケータ３４３０を含む。パネル自己リフレッシュインジケータの受信に応答して、パネルは、ＭＩＰＩデータ３４１０をその中の１つ以上のバッファに記憶する。ディスプレイ出力ビデオ３４２０は、パネル自己リフレッシュが完了するまで、ＭＩＰＩデータ３４１０のフレーム３ ３４１２に対応する、フレーム３４２２を示す。パネル自己リフレッシュの間、ＳＲＡＭバッファは、ビデオデータがディスプレイパネル内のバッファ内に記憶されるため、シャットダウンされることができる。ＭＩＰＩデータ３４１０のフレームＮ ３４１４では、ＭＩＰＩデータは、通常モードに戻り、それによって、システムをウェイクアップする。しかしながら、ディスプレイは、もはやＤＢ ＭＩＰＩ出力と同期されないため、ディスプレイは、第３のフレーム３４２４の最後のコピーを表示することによって、通常モードの第１のフレームを考慮しない。Ｎ＋１フレーム３４２６から開始して、ディスプレイ出力ビデオは、ウェイクアップし、同期し、通常モードで動作する。ディスプレイパネル自己リフレッシュは、その間、コンテンツが、大抵、定常である、スプラッシュスクリーンの表示の間に生じてもよい。
（部分暗化低電力モード）

部分暗化低電力モードのためのトリガは、特定のＶＲ／ＡＲ／ＭＲユーザ姿勢／視野内の閾値量の非黒色コンテンツの存在である。図２０は、コンテンツが画面２０００の上部２００２にのみ配置される、第１の部分暗化低電力モードを描写する。そのようなコンテンツの実施例は、ステータスバー、バッテリ充電レベル、音量設定等を含む。本モードにおけるＤＰソースは、ＳＤＰメッセージ内に規定された所定の数の行後、電力低下シーケンス（完全暗化低電力モードに関して上記に説明されたものに類似する）を開始するであろう。ＳＤＰメッセージは、第１の部分暗化低電力モードと、フレーム内のアクティブな行の数とを示してもよい。本第１の部分暗化低電力モードは、メモリへのＤＢ書込、メモリからのピクセルエンジンフェッチ、ピクセルエンジン処理、ＭＩＰＩ出力等の量を低減させることによって、電力を保存することができる。

図２１は、コンテンツが画面２１００の上部２１０２および中央２１０４に配置される、第２の部分暗化低電力モードを描写する。本第２の部分暗化低電力モードでは、ＧＰＵは、図２２に示されるように、出力データを再編成し、アクティブ行の数を最小限にしてもよい。図２２では、図２１における画面２１００の中央２１０４におけるコンテンツは、画面２２００の上部２２０２におけるコンテンツに隣接するように変位された画像データ２２０４’として移動されている。画像データを再編成することは、アクティブ行の数を低減させ（図２２Ａに描写される）、それによって、ディスプレイパイプラインコンポーネントの全体的電力消費を低減させる。

上部画像データ２２０２および変位された画像データ２２０４’が、画像パイプラインを通して前進した後、画像パイプラインのコンポーネントは、本明細書に説明されるように、部分暗化低電力モードに置かれ、電力を保存する。ＤＢ内のピクセルエンジンは、画像データのセグメント化を実施し、ＳＤＰからのデータ構成を使用して、変位された画像データ２２０４’を再マッピングし、図２１に示されるソース画像２１００を再形成する。アクティブ行の数を低減させること（図２２Ａ参照）は、ＤＰリンクのより早いシャットダウンを促進する。

図２３は、コンテンツが画面２３００の中央２３０４にのみ配置される、第３の部分暗化低電力モードを描写する。図２１および２２に示されるモードのように、ＧＰＵは、図２４および２４Ａに示されるように、画面２４００の上部に変位された画像データ２４０４’としてそれを移動させることによって、中央データ２３０４を再編成してもよい。

変位された画像データ２４０４’が、画像パイプラインを通して前進した後、画像パイプラインのコンポーネントは、本明細書に説明されるように、部分暗化低電力モードに置かれ、電力を保存する。ＤＢ内のピクセルエンジンは、画像データのセグメント化を実施し、ＳＤＰからの構成データを使用して、変位された画像データ２４０４’を再マッピングし、図２３に示されるソース画像２３００を再形成する。

図２０－２４に描写され、上記に説明される、３つの部分暗化低電力モードでは、ＳＤＰメッセージは、ＤＰ受信機に、アクティブ行の数において、両モードについて知らせる。これは、ＤＰ受信機が、アクティブ行がＧＰＵからＤＢに通信された後、シャットダウンすることを可能にする。圧縮が有効にされる、実施形態では、圧縮は、随意に、アクティブ行の数に応じて、無効にされてもよい。例えば、最小セットの行が、圧縮を有効にするために要求されてもよい、または圧縮は、電力効率を改良するために、単に、ＶＥＳＡ ＤＳＣスライスの数を変動させて、常時、有効にされてもよい。

他の実施形態では、図２２－２４に描写され、上記に説明される、水平パッキングは、垂直パッキングと置換される、または組み合わせられてもよい。いくつかの実施形態では、図２２－２４は、いくつかのモードを図示するが、単一ストリーム上の１つ以上の別個の領域が、データレートを低減させるように圧密化されてもよい。いくつかの実施形態では、別個の領域の数は、他の制約に基づいて、実装をより実践的にするように限定されてもよい。

図２４Ｂは、いくつかの実施形態による、部分暗化モード２４５０に移行し、それを持続する、ディスプレイシステムのＭＩＰＩタイミングを図式的に描写する。システムは、フレーム内の非黒色主題が表示された後、２４５２において、部分暗化モードに移行する。いくつかの実施形態では、ディスプレイパネルは、実際には、自己リフレッシュに作用しているが、黒色ピクセルのみを表示する。したがって、完全暗化モードからの電力節約の有意な部分は、ＭＩＰＩ受信機、メモリ、ＤＢ、光源、および光ファイバ系コネクタのシャットダウンに由来する。部分暗化モード２４５０は、ビデオストリーム１ ９２４にのみ作用し得る。したがって、ビデオストリーム２ ９２６が、部分暗化モード２４５０によって影響されることはあり得ない。
（部分的画面リフレッシュモードのためのカスタムパッキング）

ＡＲ／ＭＲモードでは、潜在的に、実世界からの光に対する修正を表さない、多数の黒色ピクセルが存在する。しかしながら、黒色ピクセルおよび対応する非黒色ピクセルは、単純水平または垂直パッキングが扱いにくいような複雑なパターンで配列され得る。

部分的画面リフレッシュモードのためのカスタムパッキングでは、ＧＰＵは、前のフレームから現在レンダリングされているフレームに変化している、領域／部分／セクション／タイル（例えば、スクエア形状のタイル）のみが、ＤＰを介して、ＧＰＵからＤＢに送信されるように、画像データを再編成してもよい。ＳＤＰメッセージは、部分的画面リフレッシュモードのためのカスタムパッキングが有効にされたこと、ＦＯＶ内の種々の変化されたタイルの場所等を示す、情報を含んでもよい。ＤＢは、ＦＯＶ内の種々の変化されたタイルの場所を使用して、種々の変化されたタイルを出力バッファ内の適切な場所に記憶することができる。

図２５に示されるように、ＧＰＵは、それらが最小数の行の画像データを形成するように、変化されたタイルをパッキングするであろう。ソースフレーム２５０２は、種々の黒色ピクセルと、非黒色ピクセルとを含む、仮想画像を示す。ソースフレーム２５０２を送信することは、ある数（例えば、９６０個）の行がＧＰＵからＤＢに送信されることを要求するであろう。折畳されたフレーム２５０４は、変化された画像データを含む、タイルが、ここで、折畳されたフレーム２５０４の上部にパッキングされることを示す。折畳されたフレーム２５０４を送信することは、より少ない数（例えば、１６０個）の行がＧＰＵからＤＰに送信されることを要求するであろう。圧縮されたフレーム２５０６は、折畳されたフレーム２５０４の上部におけるタイルが、偶数のより少ない行に圧縮されていることを示す。圧縮されたフレーム２５０６を送信することは、偶数のより小さい数（例えば、８０個）の行がＧＰＵからＤＰに送信されることを要求するであろう。タイルの折畳および圧縮されたフレーム２５０６を形成するための結果として生じる折畳されたフレーム２５０４の圧縮は、画像パイプラインの種々のコンポーネントが、フレーム転送／レンダリングインターバルの早期にシャットダウンされ、電力節約を増加させることを可能にする（本明細書に説明されるように）。

本明細書に説明されるように、圧縮されたフレーム２５０６が、送信および処理された後、ＧＰＵは、メインＤＰリンク上でのｋ－コード電力低下シーケンスまたはＤＰＣＤ電力状態コマンドを送信することによって、種々の画像パイプラインコンポーネントのシャットダウンを開始してもよい。シャットダウンは、ＤＰの電力低下を含んでもよい。ＤＰリンクを含む、画像パイプラインコンポーネントの電力低下は、ＧＰＵによって、ＡＵＸチャネルを介してシグナリングされてもよい。ウェイクアップの間、ＧＰＵは、ＤＰリンクドライバに電源投入し、随意に、高速リンク訓練パターンを使用して、リンクを訓練する。

ＧＰＵは、ウェイクアップ時間と、コンポーネントシャットダウンからの電力節約対ウェイクアップ時の電力使用量のコスト利点分析とに基づいて、伝送される行の数が、閾値より小さい場合のみ、画像パイプラインコンポーネントに、シャットダウンを指示するであろう。巡回冗長検査（ＣＲＣ）が、部分的画面リフレッシュモードのためのカスタムパッキングを使用して転送／レンダリングされたフレームの終了時に実施される場合とそうではない場合がある。ＣＲＣ情報は、ＡＵＸチャネルを介して送信されてもよい。
（カスタム部分表示モード／カスタム暗化モード）

部分的画面リフレッシュモードのためのカスタムパッキングは、２つの動作モードを有する。カスタム部分表示モードでは、変化されたタイルは、ＧＰＵからＤＢに送信され、ディスプレイパネルによって表示される。

カスタム暗化モードでは、ＳＤＰメッセージは、具体的背景色（大部分の場合、黒色）を含む。コンテンツに伴う変化タイルに属さない、視野の任意の領域は、具体的背景色に設定される。カスタム暗化モードは、画像全体が、変化するが、少量のタイルのみが、コンテンツを含有するとき、有効にされることができる。換言すると、以前に画像データを含有していた多くのタイルが、現在のフレームでは、黒色に変換されている。最初に、コンテンツを伴わない領域を黒色に設定することによって、実際のコンテンツを伴うタイルのみが、ＧＰＵからＤＢに送信され、それによって、より早いコンポーネントシャットダウンを伴って、画像パイプ内の電力を節約するであろう。ＳＤＰメッセージはまた、暗化または背景タイルの数を含んでもよい。
（混成およびスケーリングのためのカスタムパッキング）

マルチストリーム実装が、サポートされない場合、カスタムパッキングモードが、タイルを送信し、前のフレームからのタイルと混成されてもよい（それにわたってコピーされるのではなく）。スクエアまたはラジオ混成質量が、出力のために新しいおよび前のタイルを混成するために、ＤＢ上に事前にプログラムされてもよい。

タイルはまた、出力フレームバッファにコピーされる前に、スケーリングされてもよい。ＳＤＰメッセージは、タイルをスケーリングする際に使用するためのスケーリング係数を含んでもよい。いくつかの実施形態では、本アプローチは、中心窩化実装のために使用されてもよい。
（カスタムピクセル操作およびレート変換）

ピクセルエンジンは、画像データをワーピングさせ、画像データがレンダリングされた後であるが、画像データに基づく画像がユーザに表示される前に、ユーザ姿勢変化（例えば、高速頭部回転）から生じるアーチファクトを最小限にすることができる。

レート変換を伴わない、カスタムピクセルワーピングの一実施形態では、ＧＰＵは、フレームの開始時に、ＳＤＰをＤＢに送信する。ＳＤＰは、圧縮有効／無効、カスタムパッキング有効／無効、カスタムグレースケールモード有効／無効、パケット姿勢等の情報を含有する。ＧＰＵはまた、画像データをＤＢに送信する。圧縮が、有効にされる場合、ＤＢは、適切なアルゴリズムを使用して、画像データを解凍する。画像データが、カラーセグメント化を要求する場合、ＤＢは、カラーセグメント化を実施し、結果をメモリ内に記憶する。ピクセルエンジンは、ＡＵＸレジスタ書込、ＳＤＰメッセージを介して、または第２のビデオストリームの一部として、構成データを受信する。いくつかの実施形態では、構成データは、更新された頭部姿勢情報を含んでもよい。いくつかの実施形態では、ＤＢは、ＤＢが頭部姿勢更新を生成するために、更新された情報をウェアラブルプロセッサ（例えば、ＩＭＵデータ）から受信してもよい。いくつかの実施形態では、ＩＭＵは、ＤＢブリッジＳＰＩポートに接続されてもよく、ＤＢは、直接、ＩＭＵから、未加工ＩＭＵサンプルにアクセスしてもよい。構成データは、メッセージＦＩＦＯメモリ内に記憶されてもよい。ピクセルエンジンは、フィールドデータを低電力ＤＤＲから読み取り、必要な変換を実施し、出力ピクセルを提供し、ディスプレイパネルを駆動する。ＤＢは、次いで、サポートされるカラーフィールド毎に、上記に説明されるステップを繰り返す。全てのカラーフィールドが、処理された後、ＤＢは、次のフレームに進む。

図２６Ａは、いくつかの実施形態による、レート変換が有効にされないときの、ＤＢへの入力およびそこからの出力（すなわち、ビデオストリーム１ ９２４内の画像データに関連する）を示す。入力画像データが、カラーシーケンシャルモードにおいてフォーマットされなかったため、ＤＢは、画像データ２６０２をセグメント化し、画像データの第１の出力フレーム「ＤＰ出力フレーム０」２６０４をディスプレイパネルに送信する前に、画像データの第１の完全フレーム（「ＤＰ入力フレーム０」）２６０２を受信しなければならない。同様に、ＤＢは、第２の出力フレーム２６０８をディスプレイパネルに送信し得る前に、画像データの第２の完全フレーム２６０６全体を受信しなければならない。これは、各画像データの受信と、ディスプレイパネルへの対応する出力フレームの送信との間に、８．３３ｍｓの待ち時間をもたらす。本遅延は、非理想的である。

図２６Ｂは、いくつかの実施形態による、レート変換が有効にされないときの、ＤＢへの入力およびそこからの出力（すなわち、ビデオストリーム１ ９２４内の画像データに関連する）を示す。入力画像データは、カラーシーケンシャルモードでフォーマットされたため、第１のカラーフィールド（例えば、赤色）画像データ２６０２Ｒは、画像フレームの終了にかなり先立って受信される。故に、第１のカラーフィールド２６０４Ｒに対応する、出力フレーム画像データは、画像パイプライン内でより早く、ディスプレイパネルに送信されることができる。グレースケールカラーセグメント化モードを使用して、待ち時間は、８．３３ｍｓから２．７８ｍｓに低減されることができる。
（レート上方変換）

図２６Ｃは、いくつかの実施形態による、レート変換が有効にされるときの、ＤＢへの入力およびそこからの出力（すなわち、ビデオストリーム１ ９２４内の画像データに関連する）を示す。ＤＢは、画像データを６０Ｈｚで受信するが、画像データを１２０Ｈｚで出力する。いくつかの実施形態では、ＤＢは、画像データを４５Ｈｚで受信するが、画像データを９０Ｈｚで出力する。画像データ周波数にかかわらず、出力画像データは、フレームレートを２倍にする。図２６Ｃに描写される実施形態では、入力画像データは、図２６Ａに描写される実施形態のように、カラーシーケンシャルモードでフォーマットされなかった。故に、ＤＢによる画像データのフレームの受信２６０２と、ＤＢによる画像データのフレームの送信２６０４との間には、８．３３ｍｓの待ち時間が存在する。本レート上方変換画像パイプラインにおける差異は、画像データの出力フレーム２６０４が、速さを２倍にし、有効リフレッシュレートを、６０Ｈｚから、１２０Ｈｚに２倍にする、各カラーフィールドを含み、ピクセルエンジンが、各フィールドが、着信画像をワーピングさせ、２つの出力フレームのそれぞれに関してゼロ待ち時間の効果を有するために、頭部姿勢を更新するであろうことである。図２６Ｃに描写されるパイプラインはまた、画像データのフレームを順次受信するステップの間に、ＤＰオフセグメント２６１０を含み、電力を節約する。ＧＰＵをより低いリフレッシュレート（例えば、６０Ｈｚ）で起動させることもまた、電力を節約する。圧縮が、待ち時間を低減させるために使用されることができる。
（ワーピングを用いたレート上方変換）

図２６Ｄは、いくつかの実施形態による、レート変換およびワーピングが有効にされるときの、ＤＢへの入力およびそこからの出力（すなわち、ビデオストリーム１ ９２４内の画像データに関連する）を示す。図２６Ｄに描写される画像パイプラインは、図２６Ｃに描写される画像パイプラインに類似する。差異は、図２６Ｄがまた、ＳＤＰおよびＡＵＸメッセージがＧＰＵからＤＢ内のピクセルエンジンに送信されていることを示すことである。ＳＤＰおよびＡＵＸメッセージは、より正確な画像レンダリングのために、レンダリングされた画像データをワーピングさせるために使用され得る、現在の姿勢情報を含む。現在の姿勢情報は、１，０００Ｈｚで起動している、ＩＭＵによって提供されてもよい。ＤＢは、ワーピングにおいて使用するために、パケット姿勢および現在の姿勢から、姿勢デルタを算出する。現在の姿勢情報の受信とレンダリングされた画像データのワーピングとの間の時間を最小限にすることは、正確度を増加させる。ＡＵＸチャネルが、ＤＰが電力低下されるとき、ＳＤＰチャネルの代わりに使用される。図２６Ｄに描写されるワーピングはまた、ＳＤＰ／ＡＵＸメッセージ内の歪曲情報を使用して、光学スタック内の種々のコンポーネントの物理的歪曲に対処することができる。

上記の画像パイプラインの全てにおいて、並行した入力の受信、処理、および出力の伝送は、入力と表示との間の待ち時間および画像パイプライン内の遅延を最小限にする。

合成ビデオストリーム２ ９２６は、解凍されたＲＧＢ８８８パッキングデータストリームであり得る。故に、ビデオストリーム２ ９２６のためのレート変換は、２回のフレームレート上方変換のために、データストリームを複製するという単純なものであり得る。
（部分暗化追跡マスク）

いくつかの実施形態では、ＧＰＵは、各フレームをタイルのグループ（例えば、行）にセグメント化し、タイルの特定のグループ（例えば、行）が非黒色コンテンツを有するかどうかを示す、マスクを生成してもよい。ＧＰＵは、マスクを使用して、レンダリング出力を画像パイプラインの下流コンポーネントに生成してもよい。新しいマスクは、新しいフレーム毎に生成されてもよい。画像パイプラインコンポーネントは、動的回路ネットワーク（ＤＣＮ）によって、通信可能に結合されてもよい。

一実施形態では、フレームは、１，７６０行のピクセルを有してもよく、タイルの各行は、１６行のピクセルを有してもよい。本実施形態では、１１０ビットが、各フレーム内の１１０個のタイル行の黒色／非黒色ステータスを記憶するために使用されてもよい。全て黒色のタイル行に対応するビットは、ゼロに設定されることができ、非黒色タイル行に対応するビットは、１に設定されることができる。ビットは、ゼロにデフォルト設定され、タイル行が非黒色であるとき、１に設定されてもよい。ＧＰＵまたは別の画像パイプラインコンポーネントは、これらのビット内の情報を使用して、ＤＣＮ上に送信されるべき非黒色タイル行を選択する。ＧＰＵまたは別の画像パイプラインコンポーネントは、これらのビット内の情報を使用して、本明細書に説明されるように、非黒色タイル行をパッキングおよびパッキング解除してもよい。

本明細書に説明されるように、非黒色タイル行のみを送信し、これらの行をパッキングすることは、限定ではないが、以下を含む、電力最適化を実装する機会を増加させる。
・ディスプレイポートリンク電力を低減させる（例えば、行を送信しない、または行のサブセットのみ）
・ＤＰソースプロセッサメモリ帯域幅および電力を低減させる（例えば、ＤＣＮが全ての黒色ピクセルをＤＲＡＭからフェッチする必要はなく、これは、ＤＲＡＭ帯域幅、ＤＲＡＭ電力、およびＤＣＮ電力を保存する）
・ＤＳＣが完全フレームをＤＰソース上で圧縮する必要性を排除する
・ＤＳＣへのＤＰシンクブリッジが完全フレームを解凍する必要性を排除する
・ＤＰシンクブリッジデバイスが完全フレームのカラーセグメント化を実施する必要性を排除する
・ＤＰシンクブリッジデバイスが完全フレームをＬＰＤＤＲに書き込む必要性を排除し、電力を節約する
・ピクセルエンジンブロックは、完全フレームをＬＰＤＤＲからフェッチする必要はなく、電力を節約するであろう
・ピクセルエンジンは、ピクセル処理を完全フレーム上で実施する必要はなく、電力を節約するであろう
・低減されたシグナリングを用いて、パネルへのＭＩＰＩ－ＴＸ電力を低減させる
・パネル内のＭＩＰＩ－ＲＸ電力を低減させる
・データを記憶し、またはそのＳＲＡＭから読み出す必要がないように防止し、部分的黒色画面をサポートすることによって、パネル電力を低減させる

ＤＣＮは、直接メモリアクセスコントローラ（ＤＭＡ）を含み、任意のプロセッサを伴うことなく、非黒色行をＤＣＮの中にフェッチしてもよい。ＤＭＡは、マスクを読み取り、非黒色行を識別してもよい。非黒色行は、再編成または再構成（例えば、折畳または圧密化）せずに、ＤＣＮおよびＤＰを介して、ディスプレイエンジンに送信され、電力を保存し得る。

本明細書に説明されるように、非黒色行が、フレームの有意な部分を形成する場合、フレームの再構成または部分暗化モードは、電力を保存し得ない。そのようなフレームは、直接、ＤＣＮを介して、ＤＰシンクブリッジに送信され得る。
（付加的側面）

請求される発明に加え、非限定的実施例として、本発明のさらなる実施形態または側面が、本明細書に説明される。

１．仮想、拡張、または複合現実システムにおける方法であって、
ＧＰＵが、画像データのフレームを受信するステップと、
ＧＰＵが、前の画像データのフレームから変化している、画像データのフレーム内の複数の領域／部分／セクション／タイルを識別するステップと、
ＧＰＵが、複数の領域／部分／セクション／タイルのうちの少なくともいくつかをデータのフレームの開始に移動させ、画像データの並べ替えられたフレームを形成するステップと、
ＧＰＵが、画像データの並べ替えられたフレームをＤＢに送信するステップと、
ＧＰＵの一部／コンポーネント／機能をシャットダウンするステップと、
ＧＰＵとＤＢとの間の通信リンクをシャットダウンするステップと、
ＤＢの一部／コンポーネント／機能をシャットダウンするステップと、
ＤＢとディスプレイパネルとの間の通信リンクをシャットダウンするステップと、
ディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップと、
を含む、方法。

２．ＧＰＵが、画像データの並べ替えられたフレームをＤＢに送信前に、画像データの並べ替えられたフレームを圧縮するステップをさらに含む、側面１に記載の方法。

３．画像データの並べ替えられたフレームは、画像データのフレームより小さい、側面１に記載の方法。

４．ＤＢが、画像データの並べ替えられたフレームをバッファ内に記憶するステップをさらに含む、側面１に記載の方法。

５．画像データの並べ替えられたフレームのサイズを決定するステップと、
画像データの並べ替えられたフレームが、所定の最大サイズより小さいときのみ、ＧＰＵの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、ディスプレイパネルの一部／コンポーネント／機能をシャットダウンするステップと、
をさらに含む、側面１に記載の方法。

６．ＧＰＵが、画像データの並べ替えられたフレームをＤＢに送信後、ＳＴＰメッセージをＤＢに送信するステップをさらに含む、側面１に記載の方法。

７．ＧＰＵが、ＳＤＰを介して、ＳＴＰメッセージをＤＢに送信するステップをさらに含む、側面６に記載の方法。

８．ＧＰＵの一部／コンポーネント／機能は、メモリ読取、圧縮、およびカラーセグメント化から成る群から選択される、側面１に記載の方法。

９．ＤＢの一部／コンポーネント／機能は、メモリ書込である、側面１に記載の方法。

１０．ディスプレイパネルの一部／コンポーネント／機能は、ビデオＲＡＭおよびＭＩＰＩ受信機から成る群から選択される、側面１に記載の方法。

１１．ＧＰＵが、ウェイクアップ信号をＤＢに送信するステップをさらに含む、側面１に記載の方法。

１２．ＧＰＵは、ＡＵＸ通信リンクを介して、ウェイクアップ信号を送信する、側面１１に記載の方法。

１３．ＧＰＵの一部／コンポーネント／機能、ＧＰＵとＤＢとの間の通信リンク、ＤＢの一部／コンポーネント／機能、ＤＢとディスプレイパネルとの間の通信リンク、ディスプレイパネルの一部／コンポーネント／機能は、非同期して、シャットダウンされる、側面１に記載の方法。

１４．ＤＢが、画像データのフレームを画像データの並べ替えられたフレームから再構成するステップをさらに含む、側面１に記載の方法。

１５．画像データのフレーム内の複数の領域／部分／セクション／タイル内にない、画像データのフレームの部分を、背景色に設定するステップをさらに含む、側面１に記載の方法。

１６．ＤＢが、画像データの並べ替えられたフレームと前の画像データのフレームを混成するステップをさらに含む、側面１に記載の方法。

１７．ＤＢが、前の画像データのフレームを、画像データの並べ替えられたフレームとそれを混成する前に、マスクするステップをさらに含む、側面１６に記載の方法。

１８．ＤＢが、画像データの並べ替えられたフレームと更新された中心窩化領域に関連する画像データを混成するステップをさらに含む、側面１に記載の方法。

１９．ＤＢが、画像データの並べ替えられたフレームをスケーリングするステップをさらに含む、側面１に記載の方法。

２０．ＤＢが、スケーリング係数をＧＰＵから受信するステップと、
ＤＢが、スケーリング係数を使用して、画像データの並べ替えられたフレームをスケーリングするステップと、
をさらに含む、側面１８に記載の方法。

２１．スケーリングは、中心窩化動作の一部である、側面１８に記載の方法。

２２．ＤＢが、ある機能を画像データ上で実施するステップであって、機能は、ワーピング、ピクセル化された調光、オクルージョン、色収差補正、フレームレート、および拡張から成る群から選択される、ステップをさらに含む、側面１に記載の方法。

２３．ＧＰＵの一部／コンポーネント／機能をシャットダウンする前に、画像データの並べ替えられたフレームをＦＩＦＯメモリ内に記憶するステップをさらに含む、側面１に記載の方法。

２４．ＤＢが、内蔵ライン制御メッセージをディスプレイパネルに送信するステップをさらに含む、側面１に記載の方法。
（ＭＩＰＩ出力データ構成）

本明細書に説明されるように、ＤＢは、ＧＰＵから受信された画像データを処理し、ユーザへの表示のために、処理された画像データをディスプレイパネルに送信する。グレースケールフォーマットでは、ディスプレイパネルは、カラーシーケンシャル表示のために、全ての赤色ピクセルの後に、全ての緑色ピクセル、次いで、全ての青色ピクセルが続く、ＭＩＰＩリンクフォーマットを通して、画像データを受信し、そうでなければ標準的パッキングされたＲＧＢが、使用される。Ｙ×Ｘのディスプレイ分解能と仮定して、ＭＩＰＩ受信機からの出力タイミングは、Ｙ／３×３Ｘとなるであろう。各行は、色の３分の１のみが送信されているため、ピクセルの３分の１を有するであろうが、行の数は、３倍になるであろう。また、シグナリングのための付加的２４行およびＶＳＡ、ＶＢＰ、およびＶＦＰのための３行は、５，３０７行をもたらす。

図２７は、いくつかの実施形態による、サンプルＭＩＰＩ受信機出力データ２７００を描写する。出力データ２７００は、ＶＳＹＮＣ開始パケット２７０２を含み、その後、第１のブランキングパケット／ＶＢＰ２７０４が続き、その後、ピクセルエンジン２７０６によって生成された画像データが続き、その後、第２のブランキングパケット／ＶＦＰ２７０８およびＥＯＴパケット２７１０が続く。

図２８に示されるように、ピクセルエンジンによって生成された画像データ２７０６は、ＨＳＹＮＣ開始パケット２８１２から成り、その後、第１のブランキングパケット／ＨＢＰ２８１４が続き、その後、１行の画像データおよび／または長パケットフォーマット２８１６における内蔵シグナリングデータが続き、その後、第２のブランキングパケット／ＨＦＰ２８１８が続く。

図２９は、圧縮が使用されないときの、いくつかの実施形態による、分化された赤色、緑色、および青色ピクセル行を伴う、ビデオフレームに対応する、サンプルＭＩＰＩ受信機出力データ２９００を描写する。各カラーフィールドは、各行内に４８０ピクセルを伴う、１，７６０個の個々の行を含む。出力データ２９００は、ＶＳＹＮＣ開始パケット２９０２を含み、その後、第１のブランキングパケット／ＶＢＰ２９０４が続き、その後、ピクセルエンジン２９０６によって生成された画像データが続き、その後、第２のブランキングパケット／ＶＦＰ２９０８およびＥＯＴパケット２９１０が続く。ピクセルエンジン２９０６によって生成された画像データは、ＨＳＹＮＣ開始パケット２９１２から成り、その後、第１のブランキングパケット／ＨＢＰ２９１４が続き、その後、１行の画像データおよび／または長パケットフォーマット２９１６における内蔵シグナリングデータが続き、その後、第２のブランキングパケット／ＨＦＰ２９１８が続く。画像データ２９１６は、第１のシグナリング行２９２０を含み、その後、第１のカラー（赤色）フィールド行２９２２が続き、その後、第２のシグナリング行２９２４が続き、その後、第２のカラー（緑色）フィールド行２９２６が続き、その後、第３のシグナリング行２９２８が続き、その後、第３のカラー（青色）フィールド行２９３０が続く。
（完全暗化低電力モード）

完全暗化低電力モード（上記に説明される）では、ＤＢは、ディスプレイパネルに、図３０に示されるように、第１のシグナリング行３０２０を使用して、その低電力モードへの移行を通信するであろう。低電力モードへの移行が、通信された後、ＤＢは、低電力モード（ＬＰ１１）に移行するであろう。ディスプレイパネルはまた、ＭＩＰＩ受信機をＬＰ１１モードに設置することによって、電力を保存し、任意の情報をパネルビデオＲＡＭ内に記憶せず、任意の情報をパネルビデオＲＡＭから読み出さないであろう。

図３８は、完全暗化低電力モードを開始するためにＤＢに通信される、画像フレームデータ３０３０のＭＩＰＩタイミングを図式的に描写する。本明細書に説明されるように、画像フレームデータ３０３０は、通常画像モードのものに類似する。例外は、ＧＰＵが、垂直ブランクＳＤＰメッセージを画像フレームデータ３０３０内に書き込み、完全暗化モードを開始することである。
（部分暗化低電力モード）

種々の部分暗化低電力モード（上記に説明される）では、ＤＢは、図３１に示されるように、カラーフィールド行３１２２、３１２６、３１３０に先行する、対応するシグナリング行３１２０、３１２４、３１２８内のカラーフィールド毎に、部分暗化低電力モードのパラメータ（例えば、低電力モード有効およびアクティブ行の数）を通信するであろう。部分暗化低電力モードのためのフレームのタイミングは、図２９に描写されるカラーフィールドディスプレイに関するものに類似するが、例外は、カラーフィールドあたり画像データを含有する１，７６０行のプログラム可能変数割合のみが、ＭＩＰＩリンクを通して、ＤＢからディスプレイパネルに送信されることである。画像データを含有する、行が、受信された後、ＭＩＰＩリンクは、全ての黒色行の間、低電力またはＬＰ１１モードに置かれ、電力を保存し、各フィールドに先立って、ＬＰ１１を終了する。

図３１Ａは、本明細書に説明されるもの等のいくつかの実施形態による、部分暗化低電力モードで動作するＤＢの２つのサイクルのためのＭＩＰＩタイミング３１５０を図式的に描写する。３１５２では、フレームＮの表示の間、ピクセルエンジンは、フレームＮ＋１のための上位ワイヤ内のアクティブ行の数ために適切な値を設定する。３１５４では、フレームＮの表示の間、ＤＢ ＭＩＰＩシステムは、フレームＮ＋１のためのそれらのワイヤをフェッチおよびラッチする。同様に、３１５６では、フレームＮ＋１の表示の間、ピクセルエンジンは、フレームＮ＋２のための上位ワイヤ内のアクティブ行の数のための適切な値を設定する。３１５８では、フレームＮ＋１の表示の間、ＤＢ ＭＩＰＩシステムは、フレームＮ＋２のためのそれらのワイヤをフェッチおよびラッチする。

図３１Ｂは、いくつかの実施形態による、部分暗化低電力モードから完全暗化低電力に移行するＤＢの２つのサイクルのためのＭＩＰＩタイミング３１５０を図式的に描写する。３１６２では、フレームＮの表示の間、ピクセルエンジンは、フレームＮ＋１のための上位ワイヤ内の完全暗化（すなわち、ゼロ）に対応するアクティブ行の数のための値を設定する。３１６４では、フレームＮの表示の間、ＤＢ ＭＩＰＩシステムは、フレームＮ＋１のためのそれらのワイヤをフェッチおよびラッチする。ワイヤ内の完全暗化値に起因して、フレームＮ＋１は、完全に暗化される。

図３５は、上記に説明されるもの等のいくつかの実施形態による、部分暗化低電力モードで動作するＤＢの２つのサイクルのためのＭＩＰＩタイミング３５００を図式的に描写する。各サイクル／フレームでは、ＤＢが低電力モードで動作している、部分が存在する。本時間の間、ＤＰは、オフにされ、それに応答して、光ファイバ系コネクタもまた、オフにされる。全てのサイクル／フレームの間、ＤＢのこれらの２つのコンポーネントをオフにすることは、システム電力を節約する。いくつかの実施形態では、サイクル／フレームの低電力部分は、サイクルの約半分である。ＤＢのコンポーネントをシャットダウンするための可能性として考えられる理由は、限定ではないが、以下を含む。
１）正常ディスプレイサブシステムがシャットダウンする
２）正常ディスプレイサブシステムが低電力モードに移行する
３）アクティブラインがディスプレイフレーム毎に送信された後、電力の節約が、ラインがシャットダウンされることを要求する、正常動作の間
４）本明細書に説明されるであろうように、要求されたアクティブラインが送信された後の部分暗化モードの間
５）本明細書に説明されるように、完全暗化モードに移行するため
６）本明細書に説明されるように、フレーム繰り返しモードに移行するため
（スケーリングを用いた低減された分解能レンダリング（セクション毎中心窩化レンダリング））

いくつかの実施形態では、ＶＲ／ＡＲ／ＭＲシステムは、ユーザの焦点の面積に対応する仮想画像をより高い分解能でレンダリングする一方、背景仮想画像をより低い分解能でレンダリングするために、セクション毎中心窩化レンダリングを使用して、電力を保存することができる。セクション毎中心窩化レンダリングを使用することは、ＧＰＵ算出およびシステムの電力使用量を低減させ得る。ウェアラブル上のＤＢは、ピクセルエンジンおよび最新眼追跡データを使用して、表示のために、背景および中心窩化コンテンツをより高い分解能でマージする。セクション毎中心窩化レンダリングは、マルチストリーム実装のために最適化される。そのような実装では、各ストリームは、その独自の画像パイプラインと、ＤＢとを有する。代替として、カスタムパッキングが、マルチストリーム実装が利用不可能である場合、複数のストリームが、ＶＥＳＡ ＳＳＴモードでは、単一ビデオストリームを共有するように、使用されることができる。
（動的オクルージョン）

いくつかの実施形態では、ＶＲ／ＡＲ／ＭＲシステムは、例えば、可能性として考えられるパイプライン内の最終段階において、オクルードされる仮想コンテンツを画像パイプラインから排除することによって、電力を保存することができる。ＤＢは、ウェアラブルからの深度マップを使用して、必要に応じて、仮想コンテンツをマスクすることができる（例えば、高速で移動する手によるオクルージョンのため）。ＤＰは、表示の直前に、仮想コンテンツをマスクし、ＧＰＵ上でのマスクと比較して、待ち時間を低減させることができる。ＧＰＵは、依然として、オクルージョンをコンテンツ上で実施するが、パイプライン待ち時間に起因して、全てのものをオクルードすることが不可能である場合がある。レンダリングされたコンテンツは、ＧＰＵからＤＢに送信され、そこで、例えば、３ｍｓ以下の待ち時間で、深度マップを使用してマスクされ、表示のために、ディスプレイパネルに送信される。
（解凍された高帯域幅データ）

解凍された高帯域幅データは、種々のチャネル（例えば、ＶＥＳＡ規格のＭＳＴ）を使用して、ＧＰＵからＤＢに送信されることができる。本解凍された高帯域幅データは、オクルージョン、セグメント化された調光、制御、幾何学的歪曲ＬＵＴ、中心窩化において使用するための組み合わせられたストリームの一部として、送信されることができる。いくつかの実施形態では、第１のビデオストリームは、一次パネルのための圧縮された画像データを伝送するために使用されることができ、第２のビデオストリームは、解凍された高帯域幅データを伝送するために使用されることができる。ＭＩＰＩプリエンファシスサポートが内蔵されたＤＢは、ＲＸ ＥＱ問題点およびディスプレイとＤＢとの間のより大きい距離を補償する。
（オフセットを伴った前のフレームの繰り返し）

いくつかの実施形態では、画像コンテンツは、ユーザの頭部が若干移動するにつれて、フレーム毎に変化せず、むしろ、いくつかのピクセルを上または下に偏移させる。ＧＰＵに全てのピクセルを再び引き出すようにタスクを課すのではなく、オフセットを伴って前のフレームを繰り返すモードは、ＧＰＵが、コンテンツを移動させるために、再レンダリングをバイパスし、すでにＤＢメモリ上に記憶されている、オフセット値を使用して単純変換を実施することを可能にする。本モードでは、ＧＰＵは、頭部姿勢更新のみを使用して、オフセット値を計算し、それによって、あまり多くのデータがウェアラブルに転送されないため、有意なＧＰＵ電力およびＤＰ電力およびファイバ光学系チャネル電力を節約し得る（すなわち、頭部姿勢更新）。
（黒色部分マスク）

図３６Ａは、いくつかの実施形態による、ＡＲビュー３６００を描写する。グラフィカルユーザインターフェース３６１０は、ＡＲシステムが動作するにつれて、変化し得る。しかしながら、グラフィカルユーザインターフェース３６１０の外側のフレームの部分は、典型的には、変化せず、したがって、フレーム３６２０の黒色／無光部分としてレンダリングされるであろう（図３６Ｂ参照）。図３６Ｂに示されるフレーム３６２０の黒色部分は、いくつかの実施形態では、フレーム毎に同一のままであろう。故に、ＤＢは、フレーム３６２０の黒色部分をフェッチしない、またはそれに作用（例えば、ワーピング）しないであろう。フレーム３６２０の黒色部分から作製されるマスクを使用して、ＧＰＵは、ＤＰを経由してＤＢに送信される、行あたりの開始列／終了列対を生成してもよい。それに応答して、ＤＢは、行あたりの開始列と終了列との間の画像情報のみをメモリからフェッチするであろう。本技法は、インターリーブ分割多重アクセス（ＩＤＭＡ）アクティブ時間を実質的に低減させ、これは、ＤＢが低電力モードに移行し得る前の時間を低減させる。

本開示のある側面、利点、および特徴が、本明細書に説明される。必ずしも、全てのそのような利点が、任意の本開示の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本開示は、必ずしも、本明細書に教示または提案され得るような他の利点を達成せずに、本明細書に教示されるような１つの利点または利点のグループを達成または最適化するように、具現化される、または行われてもよい。

実施形態は、付随の図面に関連して説明されている。しかしながら、図は、正確な縮尺で描かれていないことを理解されたい。距離、角度等は、単に、例証的であって、必ずしも、図示されるデバイスの実際の寸法およびレイアウトと正確な関係を持つわけではない。加えて、前述の実施形態は、当業者が、本明細書に説明されるデバイス、システム、方法、および同等物を作製および使用することを可能にするために、詳細なレベルで説明されている。様々な変形例も、可能性として考えられる。コンポーネント、要素、および／またはステップは、改変される、追加される、除去される、または再配列されてもよい。

本明細書に説明されるデバイスおよび方法は、有利なこととして、少なくとも部分的に、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を実施するために、コンピュータのメモリ内に記憶される、コンピュータ実行可能コードを含むことができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つ以上の汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されるためのソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して、実装されることができることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、ハードウェア内に完全に実装されることができる。代替として、または加えて、そのようなモジュールは、完全または部分的に、汎用コンピュータによってではなく、本明細書に説明される特定の機能を実施するように設計される、特殊コンピュータを使用して、実装されることができる。加えて、少なくとも部分的に、コンピュータソフトウェアによって行われる、または行われ得る、方法が、説明される場合、そのような方法は、コンピュータまたは他の処理デバイスによって読み取られると、その方法を行わせる、非一過性コンピュータ可読媒体上に提供され得ることを理解されたい。

ある実施形態は、明示的に説明されているが、他の実施形態も、本開示に基づいて、当業者に明白となるであろう。

本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、光を投影するための任意の光学システムと併用するために好適である。本明細書に説明される種々のプロセッサおよび他の電子コンポーネントはまた、音声コマンドを受信するための任意のオーディオシステムと併用するために好適である。

本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広く適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および図示される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることが意図される。

本開示は、主題デバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの記載された順番で行なわれてもよい。

本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および出版物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的な行為の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

加えて、本開示は、種々の特徴を随意的に組み込む、いくつかの実施例を参照して説明されているが、本開示は、本開示の各変形例に関して検討されるように説明および指示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

また、説明される変形例の任意の随意的な特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える」は、所与の数の要素がそのような請求項で列挙されるにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される実施例および／または本主題の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の用語の範囲のみによって限定されるものとする。

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広範な精神および範囲から逸脱することなく、そこに成され得ることは明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的であると見なされるものとする。

Claims (48)

1. 仮想、拡張、または複合現実システムにおける方法であって、
   ＧＰＵが、画像データの不在を決定／検出することと、
   前記ＧＰＵの一部／コンポーネント／機能をシャットダウンすることと、
   前記ＧＰＵとＤＢとの間の通信リンクをシャットダウンすることと、
   前記ＤＢの一部／コンポーネント／機能をシャットダウンすることと、
   前記ＤＢとディスプレイパネルとの間の通信リンクをシャットダウンすることと、
   前記ディスプレイパネルの一部／コンポーネント／機能をシャットダウンすることと
   を含む、方法。
2. フレームデータを再編成し、転送時間を低減させることをさらに含む、請求項１に記載の方法。
3. 前記ＧＰＵ ＤＰポートが、カスタムＳＴＰメッセージを前記ＤＢに送信することをさらに含む、請求項１に記載の方法。
4. 前記ＧＰＵが、前記ＳＴＰメッセージを前記ＤＢ ＡＵＸメッセージに送信することをさらに含む、請求項３に記載の方法。
5. 前記ＧＰＵの一部／コンポーネント／機能は、メモリ読取、圧縮、およびカラーセグメント化から成る群から選択される、請求項１に記載の方法。
6. 前記ＤＢの一部／コンポーネント／機能は、メモリ書込である、請求項１に記載の方法。
7. 前記ディスプレイパネルの一部／コンポーネント／機能は、ビデオＲＡＭおよびＭＩＰＩ受信機から成る群から選択される、請求項１に記載の方法。
8. 前記ＧＰＵが、ウェイクアップ信号を前記ＤＢに送信することをさらに含む、請求項１に記載の方法。
9. 前記ＧＰＵは、ＡＵＸ通信リンクを介して、前記ウェイクアップ信号を送信する、請求項８に記載の方法。
10. 前記ＧＰＵが、ウェイクアップ信号を前記ＧＰＵとＤＢとの間の通信リンクに送信することをさらに含む、請求項１に記載の方法。
11. 前記ＧＰＵの一部／コンポーネント／機能、前記ＧＰＵとＤＢとの間の通信リンク、前記ＤＢの一部／コンポーネント／機能、前記ＤＢとディスプレイパネルとの間の通信リンク、前記ディスプレイパネルの一部／コンポーネント／機能は、非同期して、シャットダウンされる、請求項１に記載の方法。
12. 前記ＤＢが、内蔵ライン制御メッセージを前記ディスプレイパネルに送信することをさらに含む、請求項１に記載の方法。
13. 仮想、拡張、または複合現実システムにおける方法であって、
    ＧＰＵが、第１のカラーフィールドを、第１の部分的な第１のカラーフィールドおよび第２の部分的な第１のカラーフィールドに分割することと、
    前記ＧＰＵが、第２のカラーフィールドを、第１の部分的な第２のカラーフィールドおよび第２の部分的な第２のカラーフィールドに分割することと、
    前記ＧＰＵが、前記第１の部分的な第１のカラーフィールドをＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第１のカラーフィールドを送信後、前記第１の部分的な第２のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第２のカラーフィールドを送信後、前記第２の部分的な第１のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第１のカラーフィールドを送信後、前記第２の部分的な第２のカラーフィールドを前記ＤＢに送信することと
    を含む、方法。
14. 前記ＧＰＵが、第３のカラーフィールドを、第１の部分的な第３のカラーフィールドおよび第２の部分的な第３のカラーフィールドに分割することと、
    前記ＧＰＵが、前記第１の部分的な第２のカラーフィールドを送信後、かつ前記第２の部分的な第１のカラーフィールドを送信前に、前記第１の部分的な第３のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第２のカラーフィールドを送信後、前記第２の部分的な第３のカラーフィールドを前記ＤＢに送信することと
    をさらに含む、請求項１３に記載の方法。
15. 前記ＧＰＵが、前記第１の部分的な第１および第２のカラーフィールドおよび前記第２の部分的な第１および第２のカラーフィールドを、単一の垂直にエンコーディングされたデータセットとして、送信することをさらに含む、請求項１３に記載の方法。
16. 仮想、拡張、または複合現実システムにおける方法であって、
    ＧＰＵが、第１のカラーフィールドを、第１の部分的な第１のカラーフィールド、第２の部分的な第１のカラーフィールド、および第３の部分的な第１のカラーフィールドに分割することと、
    前記ＧＰＵが、第２のカラーフィールドを、第１の部分的な第２のカラーフィールド、第２の部分的な第２のカラーフィールド、および第３の部分的な第２のカラーフィールドに分割することと、
    前記ＧＰＵが、第３のカラーフィールドを、第１の部分的な第３のカラーフィールド、第２の部分的な第３のカラーフィールド、および第３の部分的な第３のカラーフィールドに分割することと、
    前記ＧＰＵが、前記第１の部分的な第１のカラーフィールドをＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第１のカラーフィールドを送信後、前記第１の部分的な第２のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第２のカラーフィールドを送信後、前記第１の部分的な第３のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第３のカラーフィールドを送信後、前記第２の部分的な第１のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第１のカラーフィールドを送信後、前記第２の部分的な第２のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第２のカラーフィールドを送信後、前記第２の部分的な第３のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第３のカラーフィールドを送信後、前記第３の部分的な第１のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第３の部分的な第１のカラーフィールドを送信後、前記第３の部分的な第２のカラーフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第３の部分的な第２のカラーフィールドを送信後、前記第３の部分的な第３のカラーフィールドを前記ＤＢに送信することと
    を含む、方法。
17. 前記ＧＰＵが、前記第１の部分的な第１、第２、および第３のカラーフィールド、前記第２の部分的な第１、第２、および第３のカラーフィールド、および前記第３の部分的な第１、第２、および第３のカラーフィールドを、単一の垂直にエンコーディングされたデータセットとして送信することをさらに含む、請求項１６に記載の方法。
18. 前記ＧＰＵが、第１の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第１の姿勢データを使用して、前記第１の部分的な第１のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第１の姿勢データを送信後、第２の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第２の姿勢データを使用して、前記第１の部分的な第２のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第２の姿勢データを送信後、第３の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第３の姿勢データを使用して、前記第１の部分的な第３のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第３の姿勢データを送信後、第４の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第４の姿勢データを使用して、前記第２の部分的な第１のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第４の姿勢データを送信後、第５の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第５の姿勢データを使用して、前記第２の部分的な第２のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第５の姿勢データを送信後、第６の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第６の姿勢データを使用して、前記第２の部分的な第３のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第６の姿勢データを送信後、第７の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第７の姿勢データを使用して、前記第３の部分的な第１のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第７の姿勢データを送信後、第８の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第８の姿勢データを使用して、前記第３の部分的な第２のカラーフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第８の姿勢データを送信後、第９の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第９の姿勢データを使用して、前記第３の部分的な第３のカラーフィールドをワーピングさせることと
    をさらに含む、請求項１６に記載の方法。
19. 前記方法は、更新されたワーピングを用いて、ゼロ待ち時間の出現を伴って、フレームレート拡張を実施する、請求項１８に記載の方法。
20. 前記第１から第９の姿勢データのうちの少なくとも１つを調節し、持続ワーピングを実施することをさらに含む、請求項１８に記載の方法。
21. 前記ＤＢが、第１の姿勢データを計算することと、
    前記ＤＢが、前記第１の姿勢データを使用して、前記第１の部分的な第１のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第１の姿勢データを計算後、第２の姿勢データを計算することと、
    前記ＤＢが、前記第２の姿勢データを使用して、前記第１の部分的な第２のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第２の姿勢データを計算後、第３の姿勢データを計算することと、
    前記ＤＢが、前記第３の姿勢データを使用して、前記第１の部分的な第３のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第３の姿勢データを計算後、第４の姿勢データを計算することと、
    前記ＤＢが、前記第４の姿勢データを使用して、前記第２の部分的な第１のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第４の姿勢データを計算後、第５の姿勢データを計算することと、
    前記ＤＢが、前記第５の姿勢データを使用して、前記第２の部分的な第２のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第５の姿勢データを計算後、第６の姿勢データを計算することと、
    前記ＤＢが、前記第６の姿勢データを使用して、前記第２の部分的な第３のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第６の姿勢データを計算後、第７の姿勢データを計算することと、
    前記ＤＢが、前記第７の姿勢データを使用して、前記第３の部分的な第１のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第７の姿勢データを計算後、第８の姿勢データを計算することと、
    前記ＤＢが、前記第８の姿勢データを使用して、前記第３の部分的な第２のカラーフィールドをワーピングさせることと、
    前記ＤＢが、前記第８の姿勢データを計算後、第９の姿勢データを計算することと、
    前記ＤＢが、前記第９の姿勢データを使用して、前記第３の部分的な第３のカラーフィールドをワーピングさせることと
    をさらに含む、請求項１６に記載の方法。
22. 前記ＧＰＵは、ＡＵＸ通信リンクを通して、前記第１、第２、第３、第４、第５、第６、第７、第８、および第９の姿勢データのうちの少なくとも１つを前記ＤＢに送信する、請求項１８に記載の方法。
23. 前記ＤＢは、前記第１の部分的な第１のカラーフィールド、前記第２の部分的な第１のカラーフィールド、前記第３の部分的な第１のカラーフィールド、前記第１の部分的な第２のカラーフィールド、前記第２の部分的な第２のカラーフィールド、前記第３の部分的な第２のカラーフィールド、前記第１の部分的な第３のカラーフィールド、前記第２の部分的な第３のカラーフィールド、前記第３の部分的な第３のカラーフィールドのそれぞれを、２回ワーピングさせる、請求項１８に記載の方法。
24. 仮想、拡張、または複合現実システムにおいて使用するためのデータフォーマットであって、
    第１のシグナリング行と、
    複数の第１のカラーフィールド行と、
    第２のシグナリング行と、
    複数の第２のカラーフィールド行と、
    第３のシグナリング行と、
    複数の第３のカラーフィールド行と
    を備える、データフォーマット。
25. 前記第１のシグナリング行は、前記複数の第１のカラーフィールド行のためのある数のアクティブ行を含む、請求項２４に記載のデータフォーマット。
26. 前記アクティブ行は、画像フレーム間で変化する、請求項２４に記載のデータフォーマット。
27. 前記第１、第２、および第３のシグナリング行および前記複数の第１、第２、および第３のカラーフィールド行は、前記複数の第１、第２、および第３のカラーフィールド行に対応する画像が表示されるより高速のレートで読み取られる、請求項２４に記載のデータフォーマット。
28. 前記第２のシグナリング行は、前記複数の第２のカラーフィールド行のためのある数のアクティブ行を含む、請求項２４に記載のデータフォーマット。
29. 前記第３のシグナリング行は、前記複数の第３のカラーフィールド行のためのある数のアクティブ行を含む、請求項２４に記載のデータフォーマット。
30. 前記第１のシグナリング行は、前記複数の第１のカラーフィールド行の開始位置を含む、請求項２４に記載のデータフォーマット。
31. 前記第２のシグナリング行は、前記複数の第２のカラーフィールド行の開始位置を含む、請求項２４に記載のデータフォーマット。
32. 前記第３のシグナリング行は、前記複数の第３のカラーフィールド行の開始位置を含む、請求項２４に記載のデータフォーマット。
33. 前記第１、第２、および第３のカラーフィールド行は、色情報を伴わずに、強度情報を含む、請求項２４に記載のデータフォーマット。
34. 前記第１、第２、および第３のシグナリング行は、強度情報を伴わずに、色情報を含む、請求項３３に記載のデータフォーマット。
35. 仮想、拡張、または複合現実システムにおける方法であって、
    ユーザの焦点の面積を検出することと、
    ＧＰＵが、前記焦点の面積の外側の仮想画像をより低い分解能でレンダリングすることと、
    前記ＧＰＵが、前記焦点の面積の内側の仮想画像をより高い分解能でレンダリングすることと、
    前記ＧＰＵが、前記焦点の面積の外側および内側の前記レンダリングされた仮想画像を１つ以上のＤＢに送信することと、
    前記１つ以上のＤＢが、前記焦点の面積の外側および内側の前記レンダリングされた仮想画像をマージし、画像データのフレームを生成することと
    を含む、方法。
36. 前記ＧＰＵが、前記焦点の面積の外側の前記レンダリングされた仮想画像を第１のＤＢに送信することと、
    前記ＧＰＵが、前記焦点の面積の内側の前記レンダリングされた仮想画像を第２のＤＢに送信することと、
    前記第１および／または第２のＤＢが、前記焦点の面積の外側および内側の前記レンダリングされた仮想画像をマージし、画像データのフレームを生成することと
    をさらに含む、請求項３５に記載の方法。
37. 仮想、拡張、または複合現実システムにおける方法であって、
    ＦＯＶ内のユーザの手を検出することと、
    ＧＰＵが、前記ユーザの手の場所に対応するマスクを生成することと、
    前記ＧＰＵが、前記マスクおよび画像データのフレームをＤＢに送信することと、
    前記ＤＢが、前記マスクを使用して、前記画像データのフレームを修正することと
    を含む、方法。
38. 前記マスクは、深度マスクである、請求項３７に記載の方法。
39. 仮想、拡張、または複合現実システムにおける方法であって、
    ＧＰＵが、第１のカラーフィールド画像データをＤＢに送信することと、
    前記ＧＰＵが、第２のカラーフィールド画像データを前記ＤＢに送信することと、
    前記ＧＰＵが、第３のカラーフィールド画像データを前記ＤＢに送信することと、
    前記ＧＰＵが、第１の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第１の姿勢データを使用して、前記第１のカラーフィールド画像データをワーピングさせ、ワーピングされた第１のカラーフィールド画像データを生成することと、
    前記ＧＰＵが、前記第１の姿勢データを送信後、第２の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第２の姿勢データを使用して、前記第２のカラーフィールド画像データをワーピングさせ、ワーピングされた第２のカラーフィールド画像データを生成することと、
    前記ＧＰＵが、前記第２の姿勢データを送信後、第３の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第３の姿勢データを使用して、前記第３のカラーフィールド画像データをワーピングさせ、ワーピングされた第３のカラーフィールド画像データを生成することと
    を含む、方法。
40. 前記ＤＢが、機能を前記第１、第２、および第３のカラーフィールド画像データ上で実施することをさらに含み、前記機能は、プロジェクタライトフィールド歪曲補償、ピクセル化された調光、オクルージョン、色収差補正、フレームレート、および拡張から成る群から選択される、請求項３９に記載の方法。
41. 前記ＧＰＵが、パケット姿勢データを前記ＤＢに送信することをさらに含み、
    前記ＤＢが、前記第１の姿勢データを使用して、前記第１のカラーフィールド画像データをワーピングさせることは、前記ＤＢが、第１の姿勢デルタを前記パケット姿勢および前記第１の姿勢データから計算することを含む、請求項３９に記載の方法。
42. 前記ＤＢが、前記ＤＢが前記ワーピングされた第１のカラーフィールド画像データを生成直後、前記ワーピングされた第１のカラーフィールド画像データに対応する、第１のカラーフィールド画像の表示を命令することをさらに含む、請求項３９に記載の方法。
43. 前記ＧＰＵが、前記第３の姿勢データを送信後、第４の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが前記第４の姿勢データを使用して、前記第１のカラーフィールド画像データをワーピングさせ、第２のワーピングされた第１のカラーフィールド画像データを生成することと、
    前記ＧＰＵが、前記第４の姿勢データを送信後、第５の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第５の姿勢データを使用して、前記第２のカラーフィールド画像データをワーピングさせ、第２のワーピングされた第２のカラーフィールド画像データを生成することと、
    前記ＧＰＵが、前記第５の姿勢データを送信後、第６の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第６の姿勢データを使用して、前記第３のカラーフィールド画像データをワーピングさせ、第２のワーピングされた第３のカラーフィールド画像データを生成することと
    をさらに含む、請求項３９に記載の方法。
44. 仮想、拡張、または複合現実システムにおける方法であって、
    ＧＰＵが、画像データのフレームを取得することと、
    前記ＧＰＵが、前記画像データのフレームのセクションを識別することと、
    直接メモリアクセスコントローラが、前記画像データのさらなる処理を伴わずに、前記画像データのフレームの識別されたセクションをＤＢに送信することと
    を含む、方法。
45. 前記画像データのフレームのセクションは、非黒色画像データの行である、請求項４４に記載の方法。
46. 前記ＧＰＵの一部／コンポーネント／機能をシャットダウンすること、
    前記ＤＭＡの一部／コンポーネント／機能をシャットダウンすること、
    前記ＧＰＵとＤＢとの間の通信リンクをシャットダウンすること、
    前記ＤＢの一部／コンポーネント／機能をシャットダウンすること、
    前記ＤＢとディスプレイパネルとの間の通信リンクをシャットダウンすること、および／または
    前記ディスプレイパネルの一部／コンポーネント／機能をシャットダウンすること
    をさらに含む、請求項４４に記載の方法。
47. 仮想、拡張、または複合現実システムにおける方法であって、
    ＧＰＵが、第１のフィールドを、第１の部分的な第１のフィールド、第２の部分的な第１のフィールド、および第３の部分的な第１のフィールドに分割することと、
    前記ＧＰＵが、第２のフィールドを、第１の部分的な第２のフィールド、第２の部分的な第２のフィールド、および第３の部分的な第２のフィールドに分割することと、
    前記ＧＰＵが、第３のフィールドを、第１の部分的な第３のフィールド、第２の部分的な第３のフィールド、および第３の部分的な第３のフィールドに分割することと、
    前記ＧＰＵが、前記第１の部分的な第１のフィールドをＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第１のフィールドを送信後、前記第１の部分的な第２のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第２のフィールドを送信後、前記第１の部分的な第３のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第１の部分的な第３のフィールドを送信後、前記第２の部分的な第１のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第１のフィールドを送信後、前記第２の部分的な第２のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第２のフィールドを送信後、前記第２の部分的な第３のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第２の部分的な第３のフィールドを送信後、前記第３の部分的な第１のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第３の部分的な第１のフィールドを送信後、前記第３の部分的な第２のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、前記第３の部分的な第２のフィールドを送信後、前記第３の部分的な第３のフィールドを前記ＤＢに送信することと、
    前記ＧＰＵが、第１の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第１の姿勢データを使用して、前記第１の部分的な第１のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第１の姿勢データを送信後、第２の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第２の姿勢データを使用して、前記第１の部分的な第２のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第２の姿勢データを送信後、第３の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第３の姿勢データを使用して、前記第１の部分的な第３のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第３の姿勢データを送信後、第４の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第４の姿勢データを使用して、前記第２の部分的な第１のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第４の姿勢データを送信後、第５の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第５の姿勢データを使用して、前記第２の部分的な第２のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第５の姿勢データを送信後、第６の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第６の姿勢データを使用して、前記第２の部分的な第３のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第６の姿勢データを送信後、第７の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第７の姿勢データを使用して、前記第３の部分的な第１のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第７の姿勢データを送信後、第８の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第８の姿勢データを使用して、前記第３の部分的な第２のフィールドをワーピングさせることと、
    前記ＧＰＵが、前記第８の姿勢データを送信後、第９の姿勢データを前記ＤＢに送信することと、
    前記ＤＢが、前記第９の姿勢データを使用して、前記第３の部分的な第３のフィールドをワーピングさせることと
    を含む、方法。
48. 仮想、拡張、または複合現実システムにおける方法であって、
    ＧＰＵが、画像データのフレームを取得することと、
    前記ＧＰＵが、視野内のオクルージョンに関連するオクルージョンデータを取得することであって、前記データは、深度マップデータを含む、ことと、
    前記ＧＰＵが、前記画像データのフレームおよび前記オクルージョンデータをＤＢに送信することと、
    前記ＤＢが、前記オクルージョンデータを使用した表示の前に、前記画像データのフレームをマスクすることと
    を含む、方法。

Images