JP2022516270A - 制御システムおよびレンダリングパイプライン - Google Patents

Abstract

システムは、フィールドディスプレイ用のフィールドテクスチャおよび操縦可能な中心窩ディスプレイ用の中心窩テクスチャをレンダリングするためのレンダリングエンジンと、フィールドテクスチャからフィールドディスプレイ用のフレームを生成するためのフィールド合成器および中心窩テクスチャから中心窩ディスプレイ用のフレームを生成する中心窩合成器を含む合成器と、を含む。システムはさらに、フィールドディスプレイおよび中心窩ディスプレイのデータのうちの１つ以上を含む提示されるものを順序付け、選択するように設計された合成マネージャを含む。【選択図】図１

Description

本発明は、ディスプレイ、より具体的には操縦可能なディスプレイに関する。

ニアアイディスプレイには、広い視野（ＦＯＶ）にわたって高解像度で画像を表示するという競合する要件がある。仮想現実および拡張現実の多くの用途では、視野は９０度より大きくする必要があり、理想的には両眼の視野は１８０度以上に及ぶ。同時に、ディスプレイの解像度は、仮想画像でピクセル化がほとんどまたはまったく知覚されないように、人間の視覚系の解像度と一致している必要がある。１つのシステムにおいて、これら２つの要件を組み合わせると、いくつかの課題が提示される。

さらに、視野全体にわたって十分に高い解像度で広いＦＯＶの画像をユーザに投影できる光学システムも、タイミングの問題のために設計が困難である。

図のリスト
本発明は、限定ではなく例として、添付の図面の図に示され、図面において、同様の参照番号は、同様の要素を指す。

レンダリングエンジンを実装し得るシステムの一実施形態の概要イメージである。

レンダリングエンジンの一実施形態のブロック図である。

レンダリングエンジンおよび合成器システムの一実施形態のブロック図である。

レンダリングエンジンおよび合成器システムの一実施形態のフローチャートである。

中心窩マネージャの一実施形態の論理図である。

図５Ａおよび図５Ｂはシステムにおける視線追跡およびミラー制御の一実施形態のフローチャートである。

タイミングアーキテクチャの実施形態を示すタイミング図である。

同期システムのタイミング図の一実施形態を示す。

レンダリングエンジンで使用され得るコンピュータシステムのブロック図である。

本出願は、中心窩で捉えるディスプレイを含むシステムのための制御システムおよびレンダリングパイプラインを開示する。中心窩ディスプレイは、一実施形態では、より小さく、より高い解像度の画像を表示するように位置付けることができる操縦可能なディスプレイであり、これは、概して、ユーザの網膜中心窩に一致するように位置付けられる。人間の眼は、中心窩ではるかに高い解像度を知覚し、解像度を知覚する能力は、その領域から離れると急速に低下する。したがって、より小さな視野（ＦＯＶ）の高解像度ディスプレイを中心窩領域に向け、残りの視野をより低解像度のディスプレイでカバーすることで、ＦＯＶ全体にわたって高解像度ディスプレイの知覚が提供される。「中心窩で捉えるディスプレイ」または「中心窩ディスプレイ」という用語が本出願で使用され、一実施形態では、ディスプレイは、ユーザの中心窩領域を対象とするが、他の実施形態では、開示される操縦可能なディスプレイは、ユーザの視野内の他の場所に位置付けられ得る。

一実施形態では、中心窩ディスプレイは、より広い視野にわたってより低い解像度のディスプレイを提供するフィールドディスプレイと対になっている。一実施形態では、中心窩ディスプレイの表示領域（位置およびサイズ）に対応する領域がフィールドディスプレイから切り取られ、中心窩ディスプレイとフィールドディスプレイとの間のエッジがブレンドされる。

そのような中心窩で捉える画像を実装する一実施形態は、参照により本明細書に組み込まれる、２０１９年１２月２４日に発行された米国特許第１０，５１４，５４６号に記載されている。

このようなディスプレイを可能にするために、システムは、フィールドディスプレイによって表示される画像を、操縦可能なディスプレイによって表示される画像と、位置だけでなく、明るさおよびトーンも一致させなければならない。ユーザが知覚する不一致がある場合、それは、ユーザ体験を低下させるぼやけ、点滅、または他の光学的アーティファクトとして知覚される可能性がある。一実施形態における本制御システムおよびレンダリングパイプラインは、そのような同期されたプレゼンテーションの作成を可能にする。一実施形態では、フィールドディスプレイおよび中心窩ディスプレイのレンダリングは、非同期的であり得る。一実施形態では、それらは異なるフレームレートを有し得る。ただし、その要素のタイミングは、ユーザがプレゼンテーションをシームレスに知覚するようなタイミングである。この文脈において、「プレゼンテーション」という用語は、フィールドディスプレイと中心窩ディスプレイの組み合わせによって表示され得る、ユーザに表示される視覚画像または一連の画像の視聴者の知覚を示す。

レンダリング、データレート、およびパネル要件を同時に削減しながら、広い視野にわたって高解像度の画像をユーザに提示することができるシステムアーキテクチャにより、拡張および仮想現実システムの新しい用途が可能になる。

本発明の実施形態の以下の詳細な説明は、同様の参照記号が類似の要素を示し、本発明を実施する特定の実施形態を例示として示す添付の図面を参照する。これらの実施形態の説明は、当業者が本発明を実施することを可能にするのに十分詳細である。当業者であれば、他の実施形態を利用し得、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的および他の変更を行い得ることを理解する。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲によってのみ定義される。

図１は、フィールドディスプレイおよび中心窩ディスプレイを含むハイブリッドディスプレイの配置を示している。一実施形態では、フィールドディスプレイ１１０、１１５は、右眼１１５および左眼１１０のための別個のフィールドディスプレイであり得る。別の実施形態では、フィールドディスプレイ１１０、１１５は、両眼にわたる単一のディスプレイであり得る。

フィールドディスプレイ１１０、１１５は、切り欠き１３０、１３５を有し、中心窩ディスプレイ１２０、１２５は、その切り欠きに挿入される。一実施形態では、中心窩ディスプレイ１２０、１２５は、操縦可能であり、ユーザの視線に基づいて位置付けられる。一実施形態では、中心窩ディスプレイ１２０、１２５は、操縦可能であり、その位置は、シーンコンテンツ、環境要素、イベント、および／または他の要因に基づく。

フィールドディスプレイ１１０、１１５と中心窩ディスプレイ１２０、１２５との間にブレンディング１４０、１４５が存在する。ブレンディング１４０、１４５は、フィールドディスプレイ１１０、１１５と中心窩ディスプレイ１２０、１２５との間の遷移がスムーズであり、不快感を与えないことを確実にする。一実施形態では、ブレンディングは、アルファマスクベースのブレンディング、ディザリング、時間的マルチサンプルアンチエイリアシング、空間アンチエイリアシング、ぼかし、ならびに明るさ、色などの調整を含み得る。

一実施形態では、ブレンディング領域１４０、１４５は、サイズおよび／または形状が動的である。一実施形態では、中心窩領域１２０、１２５のサイズおよび／または形状は、調整可能であり得る。一実施形態では、中心窩領域１２０、１２５のサイズおよび／または形状は、シーンコンテンツ、ユーザの挙動、システムのオプトメカニカル特性、視野範囲全体にわたる視線追跡性能などを含む様々な要因のために変更され得る。

図２は、例示的な光学システム２１０、２８０および関連する処理システム２４０の一実施形態を示している。一実施形態では、処理システムは、プロセッサを含むコンピュータシステムに実装され得る。一実施形態では、処理システム２４０は、ディスプレイシステムの一部であり得る。別の実施形態では、処理システム２４０は、光学システムに対してローカルまたはリモートであり得る別個のシステムであり得る。

一実施形態では、ディスプレイ２１０、２８０は、ヘッドマウントディスプレイなどのウェアラブルデバイスに実装され得る。

操縦可能なディスプレイ画像は、右眼の操縦可能なディスプレイ２２０および左眼の操縦可能なディスプレイ２３０を介してユーザの眼に提示される。一実施形態では、操縦可能なディスプレイ２２０、２３０は、操縦可能なディスプレイ画像を、主にユーザの眼の視野の中心に向ける。別の実施形態では、操縦可能なディスプレイは、中心窩画像を、ユーザの眼の視野の中心以外の位置に置き得る。一実施形態では、その位置は、ユーザの頭の位置に対して固定され、１つ以上の環境要素に対して固定され、視線に対して固定され得る、など。一実施形態では、中心窩画像位置は、シーンコンテンツ、環境要素、イベント、および／または他の要因に基づき得る。一実施形態では、以下に説明するように、画像は異なる場所に向けられ得る。操縦可能なディスプレイ画像は、一実施形態では、限られた視野の高解像度画像である。

一実施形態では、操縦可能なディスプレイ画像は、可変解像度画像である。一実施形態では、可変解像度は、ディスプレイの中央で最も高い。一実施形態では、解像度の変化は、中心窩の中心からさらに離れて移動するにつれて低下する、ユーザの眼によって知覚される最大解像度の変化に対応する。一実施形態では、可変解像度画像は、中心に第１の最高解像度ゾーン、および中心から離れた１つ以上の低解像度ゾーンを有する離散的な解像度ゾーンを有する。一実施形態では、低解像度ゾーンは、最高解像度ゾーンと同心である。

一実施形態では、操縦可能なディスプレイは、多焦点ディスプレイであり得る。多焦点ディスプレイでは、一実施形態では、異なる焦点距離にある一連の画像が、ユーザが単一の多焦点画像を知覚するように十分に迅速に表示される。別の実施形態では、多焦点ディスプレイでは、画像は、複数の焦点距離で同時に投影される。いずれの場合も、複数の焦点距離を持つ画像は、単一の多焦点画像としてユーザに知覚される。

一実施形態では、右眼ディスプレイ２２０について以下に説明する要素は、左眼ディスプレイ２３０について複製される。右眼の画像は、第１のディスプレイ要素２２２を使用して作成される。一実施形態では、ディスプレイ要素は、デジタルマイクロミラーデバイス（ＤＭＤ）である。一実施形態では、ディスプレイ要素２２２は、走査型マイクロミラーデバイスである。一実施形態では、ディスプレイ要素２２２は、走査型ファイバデバイスである。一実施形態では、ディスプレイ要素２２２は、有機発光ダイオード（ＯＬＥＤ）である。一実施形態では、ディスプレイ要素２２２は、液晶オンシリコン（ＬＣＯＳ）パネルである。一実施形態では、ディスプレイ要素２２２は、液晶ディスプレイ（ＬＣＤ）パネルである。一実施形態では、ディスプレイ要素２２２は、マイクロ発光ダイオード（μＬＥＤ）パネルである。一実施形態では、ディスプレイ要素は、走査レーザーシステムである。現在使用されている、または将来開発される他のタイプのディスプレイ要素が、本システムで使用され得る。一実施形態では、左眼ディスプレイ２３０は、右眼ディスプレイと一致する。

一実施形態では、ディスプレイ要素２２２は、そのような要素の組み合わせ、またはユーザに表示するための高解像度画像を生成するために使用することができる代替的な要素を含み得る。以下の図３は、ディスプレイ要素のいくつかの実施形態をより詳細に考察される。

一実施形態では、第１のディスプレイ要素２２２は、眼鏡またはゴーグルなどのニアアイデバイスに位置している。一実施形態では、多焦点の操縦可能なディスプレイ２１０の場合、ディスプレイ２２０はまた、画像が表示されている間、多焦点ディスプレイの画像の１つ以上の部分に対して焦点距離を調整する焦点調整器２２３を含み得る。この調整は、一時的なもの、または位置に基づくものでもよい。一実施形態では、米国特許第１０，１８７，６３４号に記載されているＯＰＬＥシステムを使用して、調整可能な多焦点ディスプレイのための焦点調整器２２３を実装し得る。

一実施形態では、操縦可能なディスプレイの焦点および視野は、中間光学要素２２４を使用して設定される。中間光学要素２２４は、レンズ、ミラー、ホログラフィック光学要素、および回折光学要素（ＤＯＥ）を含み得るが、これらに限定されない。

一実施形態では、視野は、サイズおよび／または形状が調整可能であり得る。一実施形態では、中心窩領域のサイズおよび／または形状は、調整可能であり得る。一実施形態では、中心窩領域のサイズおよび／または形状は、シーンコンテンツ、ユーザの挙動、システムのオプトメカニカル特性、視野範囲全体にわたる視線追跡性能などを含む様々な要因のために変更され得る。

一実施形態では、単焦点ディスプレイの場合、ディスプレイ２２０によって表示される仮想画像の焦点は、無限遠に設定される。別の実施形態では、仮想画像の焦点は、無限遠よりも近くに設定される。一実施形態では、仮想画像の焦点を変更することができる。一実施形態では、上で考察されるように、仮想画像は、多焦点であり、同時に知覚される２つ以上の焦点距離を有する。

一実施形態では、操縦可能なディスプレイ画像は、主に、ユーザの眼の視野の中心に向けられる。上で考察されるように、システムは、代替的に、異なる位置に向けられ得る。操縦可能なディスプレイ画像の位置付けは、以下で考察されるように、視線追跡データ、シーンコンテンツ、環境要素、イベントなどに基づき得る。

一実施形態では、操縦可能なディスプレイ画像の視野（ＦＯＶ）は、１度よりも大きい。一実施形態では、操縦可能なディスプレイ画像のＦＯＶは、１度～２０度である。一実施形態では、移動範囲は＋／－２０度であり、視野は２０度であり、合計で６０度の表示範囲となる。

一実施形態では、操縦可能なディスプレイ用に生成された画像データは、視線追跡の不正確さに対処するために画像の表示サイズよりも大きく、ユーザがブレンディングを知覚することができないように中心窩ディスプレイをフィールドディスプレイとブレンドするために必要な領域を提供し、および／または様々なタイプの眼球運動に対して操縦可能なディスプレイを再位置付けするためにかかる時間を考慮し得る。一実施形態では、操縦可能なディスプレイの視野のサイズは、５度より大きい。一実施形態のシステムは、ディスプレイシステムの待ち時間およびフレームの更新の間に発生し得るユーザの視線位置の変化、ならびに視線追跡システムの待ち時間、およびユーザの視線ベクトルがアイトラッカからの更新レポート間で変更できる量を考慮するように設計される。これらの態様を可能にするタイミングについては、以下でより詳しく考察される。

一実施形態では、システムは、２０～２２０度の視野を有するフィールドディスプレイ画像を表示するために、フィールドディスプレイ２８０、または各眼に１つのフィールドディスプレイの対をさらに含む。一実施形態では、フィールドディスプレイは、より低い解像度のディスプレイである。一実施形態では、より低い解像度のディスプレイは、より低いピクセル密度、例えば、視野角あたりより少ないピクセル（ＰＰＤ）を有するディスプレイを指す。この文脈でのＰＰＤという用語は、ディスプレイの１度あたりの平均ピクセルを指す。いくつかの実施形態では、操縦可能なディスプレイは、１度ごとに可変の数のピクセルを有し得る。この実施形態では、操縦可能なディスプレイの外側にある操縦可能なディスプレイのＰＰＤは、フィールドディスプレイのＰＰＤよりも低くてもよい。しかしながら、一実施形態におけるディスプレイの１度あたりの平均ピクセルは、フィールドディスプレイよりも操縦可能なディスプレイの方が高い。いくつかの実施形態では、フィールドディスプレイがより大きいので、フィールドディスプレイには、操縦可能なディスプレイよりも総数の多いピクセルが存在し得る。

一実施形態では、フィールドディスプレイは、操縦可能なディスプレイよりも低い解像度でなくてもよい。一実施形態では、操縦可能なディスプレイとフィールドディスプレイとの間の違いは、より低い解像度に加えて、またはその代わりに、操作可能なディスプレイと比較して、より低い色深度、減少した色域、より低い色解像度、減少したコントラスト、欠如した多焦点アスペクト、異なるシャープネス、またはフィールドディスプレイでの画像の知覚品質を低下させる他のディスプレイの態様、のうちの１つ以上を含み得る。「低グレード」という用語は、フィールドディスプレイによって投影される画像の知覚品質が、操縦可能なディスプレイによって投影される画像の知覚品質よりも低いという、操縦可能なディスプレイとフィールドディスプレイとの違いを指すために使用される。

一実施形態では、操縦可能なディスプレイ画像は、１つ以上の位置付け要素２２６のセットを使用して位置付けられる。一実施形態では、位置付け要素２２６は、操縦可能なミラーを含む。一実施形態では、位置付け要素２２６は、曲面ミラー、フレネル反射器、回折要素のうちの１つ以上を含み得る。一実施形態では、回折要素は、表面レリーフ格子である。一実施形態では、回折要素は、ボリュームホログラムである。

投影アセンブリ２２７は、右眼ディスプレイ２２０からの画像を投影する。

一実施形態では、ディスプレイ２２０はまた、画像をユーザの眼に投影するためのコンバイナ２２８を含む。一実施形態では、コンバイナ２２８は、導波路を含む。一実施形態では、導波路は、多層導波路である。コンバイナ２２８は、操縦可能なディスプレイがユーザの眼に届くことを可能にする他の要素を含み得る。一実施形態では、コンバイナ２２８は、投影アセンブリ２２７からの操縦可能な画像とフィールドディスプレイ画像２８５とを組み合わせて、完全にまたは部分的に透明な光学システムを使用してハイブリッド画像をユーザに提示する。一実施形態では、コンバイナ２２８は、導波路を含む部分的に透明なシステムである。一実施形態では、この部分的に透明なシステムは、平坦であるか、または光強度を有することができる部分的なミラーを含む。一実施形態では、この部分的に透明なシステムは、回折光学要素を含む。一実施形態では、この部分的に透明なシステムは、ホログラフィック光学要素を含む。一実施形態では、この画像は、直視光学システムを介してユーザに提示される。一実施形態では、この部分的に透明なシステムは、光を反射または散乱させるための介在物を含む。

同様の要素のセットが、左眼の操縦可能なディスプレイ２３０に存在する。一実施形態では、右眼の操縦可能なディスプレイ２２０および左眼の操縦可能なディスプレイ２３０は一致している。別の実施形態では、それらは異なる要素を含み得る。一実施形態では、それらは、知覚的に一致するように、すなわち、ユーザがそれらは一致していると知覚するように、ユーザの眼に合わせて調整され得る。一実施形態では、左右のディスプレイ２２０、２３０は、従来知られているように、画像の奥行きの錯覚を作成または強化するために立体視を作成する。

一実施形態では、アイトラッカ２４２は、ユーザの視線ベクトル、例えば、眼が見ている場所を追跡する。一実施形態では、アイトラッカは、カメラベースの視線追跡システム２４２である。一実施形態では、カメラベースの視線追跡システム２４２は、ホログラフィック光学要素を含む。一実施形態では、視線追跡システム２４２は、受光センサを備えた赤外線走査型レーザーである。一実施形態では、赤外線走査型レーザーの視線追跡システム２４２は、ホログラフィック光学要素を含む。一実施形態では、視線追跡システム２４２は、オプティカルフローセンサである。他の視線追跡機構をアイトラッカ２４２に使用し得る。位置計算機２４５は、アイトラッカ２４２からのデータに基づいて、ユーザの視野の中心を決定する。一実施形態では、ユーザの視野の中心は、各眼について決定される。

一実施形態では、操縦可能なディスプレイ２１０の調整可能な位置付け要素２２６、２３６を使用して、アイトラッカ２４２からのデータに基づいて、右眼および左眼の操縦可能なディスプレイ２２０、２３０の位置を調整して、主にユーザの眼の視野の中心に向けて方向付けられるように画像を位置付ける。一実施形態では、調整可能な位置要素２２６、２３６を使用して、右眼および左眼の操縦可能なディスプレイ２２０、２３０を調整して、アイボックスまたは射出瞳をユーザの眼の視野の中心に向けて位置付ける。

一実施形態では、操縦可能なディスプレイ画像の位置は、位置要素２２６の１つであるミラーの角度を変更することによって調整される。一実施形態では、ミラーの角度は、電磁力を使用して変更される。一実施形態では、ミラーの角度は、静電力を使用して変更される。一実施形態では、ミラーの角度は、圧電力を使用して変更される。一実施形態では、位置要素２２６は、画像ソース、または画像を位置付けるために移動されるディスプレイ要素２２２である。別の実施形態では、中心窩画像は、ミラーを使用するのではなく、空間光変調器に実装されたコンピュータ生成ホログラムを使用して操縦される。「操縦」という言葉が使用されているが、一実施形態では、要素が物理的に移動されるわけではない。むしろ、位置要素２２６またはディスプレイ内の要素のうちの１つの反射特性は、ディスプレイ２２０、２３０の出力の場所を変更するように調整される。一実施形態では、これは、空間光変調器（ＳＬＭ）を使用することによって達成される。

一実施形態では、追加のディスプレイ２８０は、通信ロジック２７０、２９０を介して処理システム２４０と通信する。一実施形態では、追加のディスプレイは、フィールドディスプレイ２８５を含む。一実施形態では、追加のディスプレイは、右眼および左眼用の別個のフィールドディスプレイ２８５を含む。一実施形態では、追加ディスプレイ２８０は、ユーザの両眼で見られる単一のフィールドディスプレイ２８５を含み得る。

一実施形態では、追加ディスプレイ２８０は、可変解像度を有し得る。一実施形態では、解像度は、眼によって知覚される最大解像度の低下に対応して、フィールドディスプレイ２８５の中心から離れる方向に低下する。

一実施形態では、追加ディスプレイ２８０は、マイクロＬＥＤ（発光ダイオード）またはマイクロＬＥＤアレイである。一実施形態では、追加ディスプレイ２８０は、ＯＬＥＤ（有機ＬＥＤ）アレイである。一実施形態では、追加ディスプレイ２８０は、走査型レーザーを使用する。一実施形態では、追加ディスプレイ２８０は、ＬＣＤ（液晶ディスプレイ）パネルである。一実施形態では、追加ディスプレイ２８０は、ＬＣＯＳ（液晶オンシリコン）ディスプレイである。一実施形態では、追加ディスプレイは、ＤＬＰ（デジタルライトプロセッシング）ディスプレイである。

一実施形態では、フィールドディスプレイ２８５が別個のシステムである場合、同期信号発生器２９２を使用して、独立した操縦可能なディスプレイ２１０のディスプレイをフィールドディスプレイ２８５のディスプレイと同期させる。これについては、以下でより詳しく考察される。

一実施形態では、同期信号発生器２９２は、ディスプレイのプレゼンテーションを同期させる信号である。一実施形態では、同期信号発生器２９２は、調整可能なミラー、または操縦可能なディスプレイ２１０の他の位置付け要素２２６、２３６をフィールドディスプレイ２８５と同期させるために使用される。一実施形態では、同期信号発生器２９２は、操縦可能なディスプレイの投影アセンブリ２２７、２３７の一部である光源を一時的に無効にするために使用される高速遮断機構を制御する。これにより、ディスプレイ２１０、２８５の同期がもたらされる。このタイミングについては、以下でより詳しく説明する。

一実施形態では、追加ディスプレイ２８０は、遷移がスムーズであり、ユーザに知覚されないことを確実にするために、操縦可能なディスプレイ画像のエッジをフィールドディスプレイ画像とブレンドするためのブレンダシステム２９４を含む。

一実施形態では、フィールドディスプレイ画像は、完全にまたは部分的に透明な光学システムを使用してユーザに提示される。一実施形態では、コンバイナ２２８は、ユーザへのプレゼンテーションのために、操縦可能なディスプレイおよびフィールドディスプレイからの画像を組み合わせる。一実施形態では、コンバイナ２２８は、導波路光学システムを含む部分的に透明なシステムである。一実施形態では、この部分的に透明なシステムは、平坦であるか、または光強度を有することができる部分的なミラーを含む。一実施形態では、この部分的に透明なシステムは、回折光学要素を含む。一実施形態では、この画像は、直視光学システムを介してユーザに提示される。一実施形態では、この部分的に透明なシステムは、光を反射または散乱させるための介在物を含む。

追加ディスプレイ２８０の一実施形態では、ディスプレイサブシステムを使用して、周辺ディスプレイ２８８と呼ばれるモノビジョンの領域に画像を表示する。一実施形態では、周辺ディスプレイ２８８は、右眼および左眼のための２つの別個のディスプレイであり得る。別の実施形態では、片側にのみ周辺ディスプレイ２８８が存在し得る。

一実施形態では、周辺ディスプレイ２８８は、１つ以上の個別のＬＥＤである。一実施形態では、周辺ディスプレイ２８８は、全画面ディスプレイではなく、インジケータ、警告機構、またはフィードバック機構として使用される。周辺ディスプレイ画像は、ユーザの注意を引くため、または情報を巧みに伝達するために使用され得る。例えば、周辺ディスプレイ２８８を使用して、ユーザが実世界のイベントに注意を払うべきであることをユーザに示し得、そうでなければ、ディスプレイシステム２００を使用している間は気付かない場合がある。一実施形態では、そのような周辺ディスプレイ２８８の使用は、任意選択的であり、ユーザによって設定され得る。

一実施形態では、追加ディスプレイサブシステム２８０は、ＦＯＶまたは画像の焦点を操作するための中間光学要素を持たない。別の実施形態では、このサブシステム２８０は、中間光学要素を含む。一実施形態では、中間光学要素は、マイクロレンズアレイを含み得る。

操縦可能なディスプレイ２１０およびフィールドディスプレイ２８５によって表示される画像データは、処理システム２４０によって生成される。一実施形態では、処理システム２４０は、様々なサブシステムがシステムの全処理の異なる面を完了するように、分散されている。一実施形態では、処理システム２４０は、複数のプロセッサを含み得る。

一実施形態では、処理システム２４０は、アイトラッカ２４２を含む。一実施形態では、アイトラッカ２４２は、ユーザの視線ベクトル、例えば、眼が見ている場所を追跡する。一実施形態では、視線追跡システムは、カメラベースの視線追跡システム２４２である。あるいは、アイトラッカ２４２は、赤外線レーザーベースであり得る。位置計算機２４５は、アイトラッカ２４２からのデータに基づいて、ユーザの視野の中心を決定する。

一実施形態では、位置計算機２４５は、ずれ検出システム２６３からのデータをさらに使用する。一実施形態では、ずれ検出２６３は、ユーザの体に対するユーザの頭上のヘッドセット／ゴーグルの移動を検出して、計算された場所からユーザの眼の実際の場所を変位させるずれまたは他のシフトを識別する。一実施形態では、位置計算機２４５は、システムによって使用される計算された場所を調整して操縦可能なディスプレイを位置付けることによって、そのようなずれを補償し得る。一実施形態では、ずれ検出はまた、多焦点ディスプレイの操縦可能なディスプレイ２１０に視差を提供するようにディスプレイが調整されることを確実にするために使用される。

一実施形態における処理システム２４０は、操縦可能なディスプレイ２２０、２３０がそれらの目的の位置にあることを確実にするために、位置要素２２６、２３６の位置付けを検証する位置検証器２４７をさらに含む。一実施形態では、位置要素２２６、２３６は、中心窩ディスプレイを計算位置に設定し、次に、新しい標的位置が設定されるまで中心窩ディスプレイをその位置に維持する局所感知および制御機構を含む。一実施形態では、操縦可能な要素の位置は、光学的感知を使用して感知される。一実施形態では、操縦可能な要素の位置は、磁気位置要素を使用して感知される。一実施形態では、感知機構は、カメラであり得る。一実施形態では、感知機構は、ギアリングであり得る。感知機構は、光学要素の位置を決定することができる別のタイプのセンサであり得る。他の機構を使用して、操縦可能な要素の位置を局所的に感知し得る。

一実施形態では、中心窩位置検証器２４７は、中心窩ディスプレイの実際の位置が、位置要素２２６および２３６のための局所感知および制御機構から実際の位置データを取得し、それらを位置付け器２６５からの標的位置と比較することによって、操縦可能な画像ディスプレイが生成された位置に一致していることを検証する。一実施形態では、中心窩位置検証器２４７が、操縦可能なディスプレイの実際の位置が標的位置の精度閾値内にないことを報告する場合、処理システム２４０は、適切な画像データを提供するようにディスプレイを変更し得る。これについては、以下でより詳しく説明する。

一実施形態では、アイトラッカ２４２からのデータは、眼球運動分類器２６０によって使用されて、眼球運動の方向およびタイプを識別することに基づいて、ユーザの視線ベクトルがどこに移動するかを予測することができる。このデータは、位置付け器２６５によって使用されて、ユーザの視線ベクトルの次の位置に基づいて操縦可能なディスプレイ２２０、２３０を移動させ得る。一実施形態では、位置付け器２６５は、眼球運動分類および視線追跡などのユーザデータを利用して、ディスプレイ２２０、２３０を予測的に位置付け得る。一実施形態では、位置付け器２６５は、分類された眼球運動を使用して、ディスプレイの移動の時間を計り、ユーザによる移動の知覚を最小化させ得る。一実施形態では、位置付け器２６５は、ディスプレイ２２０、２３０の最適な位置付けを識別するために、表示されるフレーム内の次のデータに関するデータをさらに使用し得る。

一実施形態では、位置付け器２６５は、視線ベクトルによって示されない位置にディスプレイ２２０、２３０を位置付け得る。例えば、表示されたフレームデータに関連データが少量しかない場合（例えば、別の暗い画面に蝶が照らされている）、またはフレームの目的が、視聴者に視線を移動させてディスプレイの特定の場所を見るようにさせる場合である。位置の環境的または文脈的な他の理由が使用され得る。別の実施形態では、位置付け器２６５は、中心窩ディスプレイとフィールドディスプレイがうまくブレンドすることを確実にするために、または別の方法で視覚的アーティファクトを低減もしくは排除するために、操縦可能なディスプレイの位置を調整し得る。別の実施形態では、位置付け器２６５は、ディスプレイ画像をシーンの要素または他の外部特徴に一致させるように、操縦可能なディスプレイ２１０を再位置付けし得る。

処理システム２４０は、切り欠きロジック２５０をさらに含み得る。切り欠きロジック２５０は、操縦可能なディスプレイ２２０、２３０の場所を定義し、ディスプレイ場所情報を、関連するフィールドディスプレイ２８５に提供する。フィールドディスプレイ２８５は、このデータを使用して、操作可能なディスプレイに置き換えられたフィールドディスプレイの部分に対応するフィールドディスプレイの切り欠きを含むフィールドディスプレイ画像を生成する。代替的に、画像を「切り欠いて」もよく、すなわち画像全体をレンダリングしてもよく、画像の切り欠いた部分を表示する前に破棄してもよい。

切り欠きがあることで、操縦可能なディスプレイ画像とフィールドディスプレイ画像の間に干渉がないことを確実にする。一実施形態では、切り欠きがある場合、ブレンダロジック２５５は、切り欠きのエッジを、切り欠き領域内に位置付けられた操縦可能な画像のエッジとブレンドして、その遷移がスムーズであることを確実にする。

別の実施形態では、操縦可能なディスプレイ２１０を使用して、フィールド画像上にオーバーレイされたより明るい要素であるスプライトを表示し得る。そのような場合、一実施形態では、切り欠きロジック２５０もブレンダロジック２５５も使用されない。一実施形態では、切り欠きロジック２５０およびブレンダロジック２５５は、必要に応じて選択的にアクティブ化され得る。

一実施形態では、システムが操縦可能なディスプレイ２１０を動かしている間、ディスプレイ要素２２２および２３２は表示されない。一実施形態では、ディスプレイは、操縦可能なディスプレイへの光源を消すことによって、ユーザがディスプレイ２２０、２３０の移動、およびぼやけ、色割れ、明るさの点滅などの関連する視覚的アーティファクトを知覚するのを防ぐために表示されない。一実施形態では、右ディスプレイ２２０および左ディスプレイ２３０は、時間通りの移動のために非同期的に制御され得る。

図示されていない一実施形態では、操縦可能なディスプレイ２１０が表示されない場合、処理システム２４０は、フィールドディスプレイ塗りつぶしロジック２５６を使用して、フィールドディスプレイの切り欠き穴を埋めて、ユーザがディスプレイ内のアーティファクトまたは穴を知覚するのを防ぐ。一実施形態では、塗りつぶしデータは、もともとフィールドディスプレイおよび切り欠きのために生成されたデータに基づく。一実施形態では、塗りつぶしデータは、もともと操縦可能なディスプレイのために生成されたデータに基づく。一実施形態では、塗りつぶしデータは、フィールドディスプレイ２８５および操縦可能なディスプレイ２１０のために生成されたデータの混合である。一実施形態におけるフィールドディスプレイ塗りつぶしロジック２５６は、ぼかし、アンチエイリアシング、ディザリング、アルファブレンドなどを含む様々なフィルタリング技術を使用して、切り欠き穴が異なる表示ソースによって一時的に埋められていることをユーザが知覚しないように塗りつぶしデータを調整する。

一実施形態では、システムは、独立した非同期の追加ディスプレイ２８０と共に非同期の操縦可能なディスプレイ２１０を利用し得る。この場合、一実施形態では、スケジューラおよび同期ロジック２７２が、ディスプレイを同期させる。一実施形態では、独立した追加ディスプレイ２８０は、調整可能なミラー、または操縦可能なディスプレイ２１０の他の位置付け要素と同期している。これにより、ディスプレイが同期される。追加ディスプレイ２８０は、位置付けデータを受信し得る。このプロセスについては、以下でより詳しく説明する。別の実施形態では、追加ディスプレイ２８０および操縦可能なディスプレイ２１０は、同期的であり得る。このような構成では、スケジューラおよび同期ロジック２７２は、排除され得るか、またはそのロジックは、簡略化され得る。

一実施形態では、処理システム２４０は、光学歪み補正システム２７５を含み得る。光学歪み補正システム２７５は、画像を調整して、画像の中心からエッジに向かって増加する歪みを追加し得る。この意図的な歪みは、一実施形態では、ピクセルに歪みを補正させる。一実施形態では、光学歪み補正システム２７５は、画像の中心からエッジに移動する知覚サイズを増加させる。知覚される解像度のこの変化により、操縦可能なディスプレイ画像の同じ角度領域をカバーするために必要なピクセルが少なくなるため、必要な処理の量が削減される。一実施形態では、光学歪み補正システム２７５は、操縦可能なディスプレイ画像に適用される。一実施形態では、そのような光学歪みは、操縦可能なディスプレイ２１０と追加ディスプレイ２８０との間のブレンディングを助け得る。別の実施形態では、光学歪み補正システム２７５を含む操縦可能なディスプレイ２１０は、フィールドディスプレイなしで使用することができる。また、より簡単な光学設計を提供し、ブレンディングの処理を節約する。一実施形態では、そのような可変解像度の大きく歪んだ画像は、中心とエッジとのピクセルサイズの間に大きな比率を有する。このディスプレイの合計ＦＯＶは、非常に大きいものであり得る（１８０度など）。

一実施形態では、光学歪み補正システム２７５は、フィールドディスプレイおよび中心窩ディスプレイに補正を適用する。一実施形態では、フィールドディスプレイの場合、光学補正は、中心窩領域のマスクを作成し、これは、以下で考察されるように、タイミングに応じて、切り欠かれて、中心窩ディスプレイとブレンドされるか、または塗りつぶされる。光学歪み補正システム２７５は、一実施形態では、フィールド光学系の放射状歪み補正、および色補正を適用する。

一実施形態では、光学歪み補正システム２７５は、中心窩領域のエッジをブレンドし、フィールド光学系に放射状歪み補正を適用し、ミラー位置を補正するためにホモグラフィ変換を適用し、中心窩光学系に放射状歪み補正を適用し、色補正を適用する。一実施形態では、フィールド光学系および中心窩光学系に対する別個の放射状歪み補正の適用は、特有のものである。一実施形態では、フィールド光学系の放射状歪み補正は、ルックアップテーブルまたはスプラインフィットを使用して、ミラー（または他の位置要素）の位置に基づいて歪み補正を再中心化する。一実施形態では、ミラー位置を補正するホモグラフィ変換は、較正ステップからのルックアップテーブルまたはスプラインフィット係数を使用する。一実施形態では、ホモグラフィ補正は、ＲＧＢ色によって行われる。

一実施形態では、ロールオフロジック２７７は、ディスプレイのエッジでロールオフを提供する。一実施形態におけるロールオフは、解像度ロールオフ（表示領域のエッジに向かって解像度を低下させること）を含み得る。一実施形態では、これは、光学歪み補正システム２７５による倍率で実装され得る。ロールオフは、一実施形態では、明るさおよび／またはコントラストのロールオフ（エッジに向かって明るさおよび／またはコントラストを低下させること）を含む。このようなロールオフは、ディスプレイのエッジの急激な変化を減らすように設計されている。一実施形態では、ロールオフは、「何もない」にロールオフするように設計され得、それは、完全な明るさ／コントラストからグレーもしくは黒または環境色に徐々に減少する。一実施形態では、ロールオフロジック２７７は、関連するフィールドディスプレイがない場合に、操縦可能なディスプレイ２１０によって使用され得る。一実施形態では、システムにフィールドディスプレイがある場合、ロールオフロジック２７７は、フィールドディスプレイ２８５の一部であり得る。

一実施形態では、操縦可能なディスプレイ２１０が多焦点ディスプレイである場合、焦点セレクタ２６７が、表示のための複数の焦点距離を識別し、各焦点距離に対して適切なディスプレイデータを生成する。一実施形態では、多焦点ディスプレイでは、時系列の画像のセットが異なる焦点距離で表示される。その系列の画像のセットは、高速で表示されるため、ユーザは、複数の焦点距離を持つ単一の画像として知覚する。

一実施形態では、デジタル補正システム２５２は、生成された画像データを補正して、多焦点ディスプレイに起因する歪みを調整する。一実施形態では、デジタル補正システム２５２は、操縦可能なディスプレイ２１０とフィールドディスプレイ２８５との間のブレンディングがシームレスなままとなるように、多焦点ディスプレイに対して各画像のサイズをさらに調整する。

図３は、コントローラおよびレンダリングパイプラインの一実施形態のブロック図である。一実施形態では、ユーザポーズ検出器３１５は、外部カメラ、ジャイロスコープなどの１つ以上のセンサ、動き検出器、および他のセンサのうちの１つ以上を含み得る。一実施形態では、ヘッドセット上の１つ以上のカメラおよび／またはセンサを、ユーザポーズ検出器３１５に使用し得る。これは、インサイドアウト追跡と呼ばれる。代替的に、または追加的に、ヘッドセットの一部ではないカメラおよび／またはセンサが、ユーザポーズ検出器３１５のために使用され得る。

一実施形態では、ユーザポーズ検出器３１５は、「相対」変化検出器および／または絶対ポーズ検出器を含み得る。「相対」変化検出器は、時間の経過に伴うポーズの変化を検出するが、絶対位置測定は、ユーザを３Ｄ空間に置く。ユーザポーズ検出器３１５からのデータは、割り込み発生器３２０、ならびにフィールドディスプレイレンダラ３３０、およびメタデータシステム３９０に渡される。

割り込み発生器３２０は、割り込みを生成し、これは、スケジューラ３８５によって使用されて、フィールドディスプレイレンダラ３３０および中心窩ディスプレイレンダラ３４０を制御する。割り込み発生器３２０は、ポーズ検出器３１５および視線検出器３２５からデータを受信する。入ってくるディスプレイ（シーン）データ３２２は、レンダラ３３０、３４０に渡される。ユーザの視線が動いた場合に中心窩ディスプレイデータを変更する必要があり得るので、視線検出器３２５はまた、スケジューラ３８５によって使用されて中心窩ディスプレイレンダラ３４０を制御するように割り込み発生器３２０に結合される。スケジューラ３８５はまた、他のトリガを使用して、中心窩ディスプレイレンダラ３４０を調整し得る。

視線検出器３２５からのデータもまた、合成マネージャ３８０に提供される。合成マネージャ３８０は、中心窩ディスプレイとフィールドディスプレイの組み合わせを管理して、シームレスな画像をユーザに提示する。一実施形態では、合成マネージャ３８０は、視線検出器３２５からのデータを使用して、中心窩ディスプレイの位置に対応するように、フィールドディスプレイ内の切り欠きの位置付けを可能にする。レンダラ３３０、３４０は、テクスチャをレンダリングする。一実施形態では、中心窩ディスプレイレンダラ３４０は、多焦点中心窩ディスプレイのために複数の深さをレンダリングする。

視線検出器３２５はまた、中心窩ディスプレイ３６５の位置付けを可能にする操縦可能なミラーまたは他の操縦可能な要素の移動を制御する位置検出器およびアクチュエータ３５０にデータを提供する。アクチュエータ３５０は、その要素を移動させて、中心窩ディスプレイ３６５を適切に位置付ける。中心窩検証器３５５は、中心窩ディスプレイ３６５の実際の位置が、画像がレンダリングされた目的の位置付けと一致していることを検証する。

一実施形態では、ＤＬＰ／ＬＣＯＳ／レーザースキャナシステムベースの中心窩ディスプレイの場合、中心窩ディスプレイ３６５の要素の位置が正しくない場合、高速遮断要素３７０は、中心窩ディスプレイ３６５のための照明（ＬＥＤまたはレーザーまたは他の照明源）を遮断することができる。これにより、中心窩ディスプレイ３６５の表示が停止または消灯され、フィールドディスプレイ３６０のみが残る。

一実施形態では、発光ディスプレイ（例えば、ｕＬＥＤまたはＯＬＥＤ）の場合、高速遮断要素３７０は、中心窩ディスプレイ３６５全体を消灯させ得る。一実施形態では、中心窩ディスプレイ３６５のディスプレイを停止することは、ブランク画像データをディスプレイ３６５に送信することを含む。

一実施形態では、高速遮断３７０はまた、データを合成マネージャ３８０に送信し、これは、高解像度の中心窩ディスプレイ３６５が使用できない間、フィールドディスプレイに対する切り欠きをオフにして、完全なフィールドディスプレイを残す。別の実施形態では、切り欠きは、塗りつぶしデータで埋められ得る。一実施形態では、フィールドディスプレイ３６０における切り欠きに対する塗りつぶしデータは、フィールドディスプレイ、中心窩ディスプレイ、またはフィールドディスプレイと中心窩ディスプレイの組み合わせのためにレンダリングされた画像データに基づき得る。

一実施形態では、合成マネージャ３８０は、中心窩検証器３５５からの情報に基づいて、フィールドディスプレイ３６０の切り欠きに表示するのに有効なデータを選択する。中心窩ディスプレイの位置が正しい場合、中心窩ディスプレイレンダラ３４０からの現在の中心窩テクスチャが使用される。

その位置の現在の中心窩テクスチャデータがない場合、一実施形態では、再投影されたフィールドディスプレイデータが使用され得る。場合によっては、以前の中心窩テクスチャデータが使用され得る。合成マネージャ３８０は、切り欠きが存在する場合、それを様々なソースからのデータの正確性および利用可能性に基づいて、データによって満たすことを確実にする。

レンダラ３３０、３４０からのデータは、それぞれの合成器３３５、３４５に送られる。一実施形態では、合成器３３５、３４５は、非同期的であり得る。一実施形態では、レンダラ３３０、３４０は、別個のクロック上にあり、合成器３３５、３４５とは異なる周波数で動作し得る。

フィールドディスプレイ３６０は、右眼および左眼のフィールド画像を表示し、中心窩ディスプレイ３６５は、右眼および左眼の中心窩画像を表示する。一実施形態では、上記のように、中心窩画像および／またはフィールド画像は、複数の焦点面または深さを有し得る。その実施形態では、合成器３３５、３４５によって生成されたフレームデータは、複数の焦点距離に関連付けられた一連の画像要素を含み得る。その順序は、時系列であり得る。別の実施形態では、焦点距離は、時間ではなく位置に基づき得る。一実施形態では、中心窩画像および／またはフィールド画像は、可変焦点を有し得る。

一実施形態では、シンクロナイザ３７５は、フィールドディスプレイおよび中心窩ディスプレイから非同期的に生成されたフレームデータが正しく整列されることを確実にする。一実施形態では、シンクロナイザ３７５は、グラフィック処理ユニットからのタイムスタンプを使用して、様々な時間領域を調和させる。一実施形態では、シンクロナイザ３７５は、システム内で最大の待ち時間でデバイスに同期して、レンダリングの決定を推進する。

一実施形態では、メタデータシステム３９０は、メタデータを生成し、それをレンダリングされたデータ、合成データ、および／またはフレームデータに添付することができる。このメタデータは、様々な方法で使用することができる。一実施形態では、メタデータを使用して、ディスプレイがオンになる直前に遅延更新または再投影を行うことができる。メタデータを使用して、フレームがレンダリングされたときから表示されようとしているときまでの視線、ポーズ、またはミラー位置の変化を考慮することができる。したがって、メタデータシステム３９０は、一実施形態では、ユーザポーズ検出器３１５、視線検出器３２５、位置検出器およびアクチュエータ３５０、ならびに中心窩ディスプレイレンダラ３４０を含む様々なシステムから、データを受信する。

上記のように、１つで実施形態では、合成器３３５、３４５は、レンダラ３３０、３４０とは異なる更新レートで実行される。中心窩ディスプレイレンダラ３４０は、中心窩／フィールド領域をオーバーレンダリングし、メタデータシステム３９０は、レンダリングされたコンテンツに関連する視線、ポーズ、および／またはミラー位置を表すメタデータにそれをタグ付けする。

中心窩データが表示される場合、中心窩ディスプレイ合成器３４５は、メタデータを最新のポーズ、視線、および／または位置の測定値と比較し、その差を使用して、オーバーレンダリングされたテクスチャの適切な部分を選択し、それを中心窩ディスプレイ３６５に送信する。

一実施形態では、メタデータシステム３９０を使用して、１つ以上の関心領域を示し得る。一実施形態では、シーン内のいくつかの点は、シーン内の他の点よりも高い関心領域としてスコアリングされる。これらの関心領域は、有効な注視点をメタデータでタグ付けされたものに制限するために使用され得る。

一実施形態では、メタデータシステム３９０を使用して、中心窩で捉えられたシーン内のいくつかの領域にタグを付け得る。

一実施形態では、メタデータシステム３９０は、ビデオコンテンツを再生するときに、フレームに次に入ってくる情報をスタンプするために使用され得る。これは、パイプラインに変更が生じているかどうかをシステムに通知するのに役立ち得る。

一実施形態では、メタデータは、操縦可能なディスプレイに対する操縦情報を含むことができるので、フレーム情報自体と同じ時間領域でミラー制御システムに送信することができる。

一実施形態では、メタデータは、ミラーの微補正にも使用され得る。

一実施形態では、メタデータシステム３９０は、眼球運動を追跡し続け、かつフレームがレンダリングされてから追跡した履歴データを使用して新しいミラー位置を送信し、および／または遅延更新としてフレーム内のデータをクロップする、局所相対アイトラッカの一部で使用され得る。

一実施形態では、メタデータシステム３９０は、シーン内のいくつかのオブジェクトに遅延更新の優先度を提供し得、例えば、オブジェクトが実世界のオブジェクトに固定される必要がある場合、シーンの残りの部分よりも優先される。

図４Ａは、レンダリングエンジンおよび合成器システムの一実施形態のフローチャートである。システムは、レンダリングエンジン４１０およびダイレクトモード合成器４５０を含む。

一実施形態では、レンダリングエンジン４１０は、それ自体のタイムベースを有し、合成器４５０は、別個のタイムベースを有する。一実施形態では、合成器４５０は、２つのディスプレイ、フィールドディスプレイタイムベース（Ｖｓｙｎｃ－Ｆｉｅｌｄ）および中心窩ディスプレイタイムベース（Ｖｓｙｎｃ－ｆｏｖｅａｌ）に対して別個のタイムベースを有する。これは、一実施形態では、要素のそれぞれが、別個のタイムベースを使用して、異なる速度およびリフレッシュレートで実行することができることを意味する。一実施形態では、別個のタイムベースを有するデータおよびディスプレイは、様々なディスプレイのプレゼンテーション同期を維持する同期ブロックを使用して同期させることができる。この文脈でのプレゼンテーション同期とは、２つのディスプレイから表示されたコンテンツが、ユーザによって同期されていると知覚されることを意味する。

一実施形態では、これはまた、レンダリングエンジン４１０および合成器システム４５０が異なる速度で動作することを可能にする。一実施形態では、合成器４５０は、レンダリングエンジンよりも高速である。一実施形態では、レンダリングエンジン４１０は、毎秒可変数のフレームで動作し、合成器４５０は、２つの異なるフレームレートで動作し、一方はフィールドディスプレイ用であり、もう一方は中心窩ディスプレイ用である。

別の実施形態では、合成器およびレンダリングシステムは、同期され、同じタイムベースで実行される。一実施形態では、すべてのディスプレイは、同期され、同じタイムベースで実行される。一実施形態では、ディスプレイは、それらが同期されたままであることを確実にするために同じクロックで動作する。一実施形態では、ディスプレイは、同じ更新レートで実行し得る。別の実施形態では、一方のディスプレイは、他方のディスプレイのレートの整数倍であるディスプレイ更新レートを有し得る。一実施形態では、一方のディスプレイは、他方のディスプレイの更新レートと非同期的であるディスプレイ更新レートを有し得る。一実施形態では、フィールドディスプレイおよび中心窩ディスプレイは、それぞれ、単一のより大きなディスプレイの一部である。

一実施形態では、レンダリングエンジン４１０は、データを連続的に処理する。レンダリングエンジン４１０は、レンダリングのために新しいディスプレイデータが受信される際に、レンダリングエンジンのタイムベースループ、レンダリングテクスチャ、および任意選択的に多焦点ディスプレイの深さによって駆動される。

一実施形態では、レンダリングエンジン４１０のステレオ投影行列は、割り込み駆動され、新しいポーズが検出されたときに割り込みを受信する。ポーズは、位置および向きを含む、３次元空間でのユーザの場所を定義する。一実施形態では、ポーズは、６つの自由度を有する。新しいポーズが検出されるたびに、割り込みは、レンダリングエンジン４１０のステレオ投影行列に送信される。

一実施形態では、割り込みは、フィールドディスプレイを定義する投影マトリクスの更新をトリガする。フィールドディスプレイの左右のディスプレイは、テクスチャにレンダリングされる。

一実施形態では、ステレオ投影行列への更新はまた、中心窩ビューポートへの更新をトリガする。中心窩ビューポートは、「中心窩領域」と見なされるフィールドディスプレイの領域であり、上で考察されるように、別個のディスプレイである中心窩ディスプレイによって高解像度でレンダリングされる。中心窩ビューポートが更新されると、中心窩ディスプレイの左右の画像／テクスチャおよび深度データの再レンダリングがトリガされる。中心窩の左／右のデータおよびフィールドの左／右のデータ、ならびにビューポートのデータは、ダイレクトモード合成器４５０に渡される。

いくつかの実施形態では、表示されたデータの変更、オペレーティングシステムレベルの変更、シーンコンテンツの変更、環境要素、イベント、および／または他のトリガを含む、様々な他のプロセスが中心窩ビューポートへの更新をトリガすることができる。一実施形態におけるそのようなトリガは、中心窩データのレンダリングを更新する。

新しいポーズによってトリガされることに加えて、レンダリングエンジン４１０は、中心窩状態マシン４５５からのデータに基づいて中心窩ビューポートの更新をトリガし得る。中心窩状態マシン４５５は、ユーザの視線ベクトルが変化したときにレンダリングエンジン４１０および合成器４５０をトリガして、中心窩ディスプレイが正しい位置に位置付けられ、高解像度画像を正しい位置に表示することを確実にするために使用される。

一実施形態では、スケジューラ４４０は、様々な要素を制御し、レンダリングキックオフを介して実際のレンダリングをトリガする。一実施形態では、スケジューラ４４０は、フィールド合成キックオフおよび中心窩合成キックオフからデータを受信する。

一実施形態では、合成器４５０はまた、新しいポーズが検出されたときの割り込みによってトリガされる。一実施形態では、フィールドディスプレイは、新しいポーズデータが受信されると、新しいテクスチャデータが受信されると、またはフィールドディスプレイＶｓｙｎｃ－Ｆｉｅｌｄに対してオフセットがあると、割り込まれる。合成器４５０は、レンダラ４１０からテクスチャおよび中心窩ビューポートデータを受信する。

一実施形態では、フィールドディスプレイタイムベースは、Ｖｓｙｎｃ－Ｆｉｅｌｄであり、これは、一実施形態では、１１ミリ秒（９０Ｈｚ）の周期を有する。一実施形態では、その範囲は、６０Ｈｚ～１８０Ｈｚである。一実施形態では、新しいポーズが検出されると、または新しいレンダリングデータがレンダリングエンジン４１０から受信されると、レンダリングされたシーンは、現在のポーズに基づいて再投影される。

一実施形態では、中心窩マネージャ４５５は、中心窩ディスプレイを駆動し、視線ベクトルが変化したときに中心窩ディスプレイの位置およびコンテンツを更新するために使用される。中心窩マネージャ４５５はまた、視線ベクトルデータをスケジューラに、したがってフィールドディスプレイ合成器に提供するので、フィールドディスプレイ合成器は、中心窩ディスプレイの位置を知る。中心窩マネージャ４５５はさらに、このデータをスケジューラ４４０に提供する。

これにより、フィールドディスプレイ合成器は、中心窩ディスプレイの切り欠き用のフィールドディスプレイの適切な領域を識別し得る。一実施形態では、フィールドディスプレイデータは、中心窩ディスプレイが正しく位置付けられて表示する準備ができている場合、切り欠きされ、中心窩ディスプレイが正しく位置付けられていないか、または表示のための適切なデータがない場合、塗りつぶされる。フィールドディスプレイに切り欠きを位置付けるためのこのデータは、中心窩マネージャ４５５からのデータに基づく。

一実施形態では、レンズ補正が適用される。一実施形態では、レンズ補正は、歪みを補正するためにレンダリングパイプラインのソフトウェア補正を利用することによって単純化された光学系を可能にする。一実施形態では、システムは、動的歪みマップを使用し得る。一実施形態では、補正は、放射状歪み、ピンクッションバレル歪み、色収差、および他の歪みの補正を含み得る。次に、一実施形態では、フィールドフレームが圧縮される。

次に、一実施形態では、フィールドディスプレイスワップチェーンが更新される。一実施形態では、スワップチェーンは、フロントバッファおよびバックバッファを含む物理バッファである。一実施形態では、フィールド合成器は、バックバッファに書き込み、一方で、フロントバッファは、ディスプレイに送信される。一実施形態では、フィールド合成器は、ブランキング期間中に直接、フロントバッファに書き込む。別の実施形態では、スワップチェーンは、表示に使用される仮想フレームバッファである。別の実施形態では、別のタイプのバッファを使用し得、またはレンダリングされた画像を直接投影し得る。

一実施形態では、同期的ではなく同時に、中心窩ディスプレイは、割り込みを受信し、中心窩合成キックオフが合成器をトリガする。一実施形態では、中心窩ディスプレイは、フィールドディスプレイを駆動するＶｓｙｎｃ－Ｆｉｅｌｄと非同期であり得るＶｓｙｎｃ－ｆｏｖｅａｌを使用する。複数の非同期サブシステムを備えたシステムでは、システムがグローバル同期を駆動するサブシステム（複数可）を決定し得る。一実施形態では、システム内で最大の待ち時間を有するディスプレイが、レンダリングの決定、および、その結果として得られる中心窩ディスプレイの再位置付け／更新を駆動する。別の実施形態では、フィールドディスプレイおよび中心窩ディスプレイ合成器は、同期的であり得、例えば、Ｖｓｙｎｃ－ｆｏｖｅａｌは、Ｖｓｙｎｃ－Ｆｉｅｌｄと同じであり得る。別の実施形態では、フィールドディスプレイおよび中心窩ディスプレイは、単一のディスプレイの２つの部分であり得る。この場合、フィールドディスプレイおよび中心窩ディスプレイは、同じＶｓｙｎｃ信号を共有し得る。一実施形態では、単一のディスプレイは、２つの部分を有し得、ディスプレイのフィールド部分および中心窩部分は、互いに光学的に分離されている。一実施形態では、光学的分離は、黒色である領域であり得る。

中心窩マネージャ４５５は、レンダリングエンジン４１０から受信した中心窩レンダリングが有効であるかどうかを判定する。

中心窩レンダリング（一実施形態では、レンダリングエンジン４１０から受信した中心窩ＲＧＢ、ビューポート、およびテクスチャを含む）は、中心窩データがレンダリングされた位置と現在の中心窩位置との間に変化がないか、またはわずかな違いしかない場合に有効である。中心窩レンダリングは、現在の中心窩データでレンダリングされた領域が中心窩ディスプレイの実際の位置と完全に、またはほぼ完全に重なっている場合に有効である。

一実施形態では、中心窩領域は、レンダリングエンジン４１０によってオーバーレンダリングされる。このオーバーレンダリングは、合成器がレンダラよりも高い周波数で動作している場合に役立ち、ミラーのわずかな移動の再現に使用することができる。一実施形態では、これは、不正確なミラー移動または視線追跡にいくらかの柔軟性を提供する。一実施形態では、オーバーレンダリングは、中心窩領域の最大５０％であり得る。一実施形態では、オーバーレンダリングは、予想される眼球運動、例えば、予測的オーバーレンダリングに基づいて、非対称であり得る。一実施形態では、オーバーレンダリングされた領域を使用して、合成器が、ミラーのわずかな移動のためにシーンを再レンダリングすることなく、新しいシーンを合成することを可能にし得る。

一実施形態では、中心窩レンダリングが有効である場合、表示するための高速パスが使用される。

中心窩レンダリングが有効であり、データを表示する時間内に中心窩ディスプレイを正しく位置付けるためにミラー移動を延期する必要がない場合、現在の中心窩テクスチャがサンプリングされる。一実施形態では、システムは、歪み補正を適用し、中心窩フレームを圧縮する。

一実施形態では、歪み補正は、操縦可能なミラーまたはディスプレイ要素によって引き起こされる歪みのソフトウェア補正を提供する。これにより、光学系を簡素化することが可能になる。一実施形態では、歪みのソフトウェア補正は、ミラーまたは他の操縦可能なディスプレイ要素の移動に基づいて歪みの差を補正することができる。一実施形態では、歪みは、ミラー／要素が移動するにつれて変化する。フレームを圧縮する前にデータを事前にワープすることにより、システムは、ソフトウェア歪み補正を使用することができる。一実施形態では、システムは、ミラー／要素の位置付けに基づいて、画像の異なる部分に対して異なる補正を提供することができる。

一実施形態では、システムは、ミラー／要素の位置に基づいて、動的歪みマップを使用し得る。動的歪みマップを作成することにより、システムは、ミラー／要素の既知の位置に基づいて歪み補正を適用することができる。一実施形態では、動的歪みマップは、事前に計算され、ルックアップテーブルに基づいて適用され得る。別の実施形態では、動的歪みマップは、多項式スプラインまたは他の数学的モデルから連続的に評価され得る。

中心窩ディスプレイには、複数の歪みの原因が存在し得る。一実施形態では、ディスプレイパネルと操縦要素との間に光学部品が存在する。光学要素は、操縦位置に依存しない歪みをもたらす。このタイプの歪みは、プロジェクタ歪みと呼ぶことができる。一実施形態では、この歪みは、放射状である。一実施形態では、この歪みは、２Ｄ補間多項式、または別の２Ｄ関数によって記述され得る。この歪みの位置は、中心窩視野に対して固定されている。一実施形態では、ソフトウェア歪み補正を使用して、プロジェクタ歪みを補正することもできる。

操縦位置の変更は、ホモグラフィ行列で記述でき、かつ操縦位置に依存する変換を導入する。このタイプの歪みは、ホモグラフィ変換と呼ぶことができる。一実施形態では、ソフトウェア歪み補正を使用して、ホモグラフィ変換歪みを補正することもできる。

一実施形態では、操縦要素とユーザの眼との間に光学要素が存在する。これらの要素も歪みをもたらす。この歪みは、システムの操縦可能な全範囲に対して固定されており、システムが操縦される際に中心窩視野と共に移動しない。このタイプの歪みは、スキャン歪みと呼ぶことができる。一実施形態では、スキャン歪みは、放射状である。一実施形態では、この歪みは、２Ｄ補間多項式、または別の２Ｄ関数によって記述され得る。

これらの歪みの原因はそれぞれ、独自の補正で補正することができる。一実施形態では、歪みは、表示パネル上の座標を目的の画像上の座標に変換することによって数学的に補正される。一実施形態では、３つの歪みの原因すべてが存在し、プロジェクタの歪みの補正が最初に適用され、続いてホモグラフィ変換が適用される。ホモグラフィ変換は、中心窩ディスプレイパネルの回転のずれも補正する。一実施形態では、スキャン歪みの補正は最後に適用される。

一実施形態では、プロジェクタ歪みとスキャン歪みの両方をさらに複数の放射状歪みに分割することができる。これは、計算効率のため、または光学要素間のずれを考慮するために行われ得る。これらの歪み補正を適用できることにより、光学システムの設計上の制約を緩和することが可能である。一実施形態では、システムの全体の歪みは、中心窩視野のエッジで５０％もの高さであり得、パネルの回転のずれは、最大１８０度であり得る。

一実施形態では、異なる焦点面に対して別個の画像補正が存在する。一実施形態では、画像補正には、歪み補正、色補正、明るさ／ケラレ補正、時間フィルタリング、ぼかし、およびディザリングが含まれる。一実施形態では、これらの補正のすべては、所与の焦点面への１回のパスで適用される。別の実施形態では、これらの補正のうちの１つ以上は、別個にまたは独立して適用される。

一実施形態では、中心窩ディスプレイが多焦点である場合、データは、中心窩ディスプレイの複数の焦点面の間で交互になる。

データは、スワップチェーンのために圧縮される。

次に、中心窩スワップチェーンまたは別のバッファが更新される。

レンダリングが有効であるかどうかの中心窩マネージャの判定に戻ると、中心窩レンダリングが有効であるが、ミラー移動が延期されている場合、一実施形態では、前の中心窩テクスチャがサンプリングされる。一実施形態では、中心窩画像を正しく表示するために必要な時間枠内にミラーが目的の位置に到達してそこに落ち着くことができないため、ミラー移動は延期され得る。一実施形態では、移動コマンドをトリガするイベント期限が見落とされるため、ミラー移動は延期され得る。

ミラー移動が延期されたため、ミラーの投影された新しい位置に基づく更新されたレンダリングは不正確である。したがって、前の中心窩テクスチャがサンプリングされ、フィールドディスプレイの切り欠き位置を、ミラーの遅延した移動に基づいた切り欠きの実際の場所に一致させる。

中心窩レンダリングが、限定されないが次のような様々な理由で有効な場合、ミラーの延期が発生する可能性がある。

更新された中心窩画像がユーザに表示されるときにミラー移動を合わせるためにミラー移動が延期されるパイプライン遅延；

ミラーは新しい位置移動の準備ができていない；

この時点でミラーを移動すると、ユーザの視覚的体験が低下する；

ミラーの位置を決定するために使用されているシーンのコンテンツであり、その対象のコンテンツが最新のレンダリングされた中心窩フレームと位置的に合っていない；

ユーザの視線が以前の場所に戻っている；

誤った視線の移動が検出された；

大きなサッカードが検出されており、システムが大きなミラー移動の準備をしている、またはミラー移動サイズを変更している；

ホストシステムが、ミラー移動メッセージをミラーに送信するタイミング期限を過ぎたことを検出する；

ミラーを移動すべきではないことを示す新しいポーズデータが到着している；

など。

レンダリングが有効であるが、ミラー移動が延期されると、サンプリングされた前の中心窩テクスチャが歪み補正に渡される。

中心窩マネージャが中心窩レンダリングは有効でないと判定した場合、中心窩レンダリングデータを使用することができず、画像を正しい場所に再レンダリングすべきであることを意味する。一実施形態では、レンダリングエンジンが中心窩画像を再レンダリングしなければならないので、これは低速経路と称される。一実施形態では、中心窩ディスプレイは、中心窩画像を表示するために、再投影されたフィールドテクスチャおよび中心窩テクスチャの一方または両方から再サンプリングし得る。一実施形態では、実際の中心窩領域がレンダリングされたデータと重ならない場合、システムは、中心窩ディスプレイをオフにして、フィールドディスプレイのみを利用し得る。一実施形態では、上で考察される高速ＬＥＤ遮断技術が使用される。

上記のように、合成されたフィールドディスプレイデータと中心窩ディスプレイデータの両方がフレームに圧縮される。一実施形態では、右および左の画像データは、単一のディスプレイフレームに圧縮される。一実施形態では、フレーム圧縮フォーマットは、様々であり得る。一実施形態では、フレーム圧縮は、左の画像と右の画像を単一のディスプレイフレームに圧縮し得る。一実施形態では、４つのデータセットすべて（フィールドディスプレイの左と右、中心窩ディスプレイの左と右）を単一のフレームに圧縮し得る。一実施形態では、各データセット（フィールドディスプレイの場合は左と右、中心窩ディスプレイの場合は左と右）は、独自の別個のフレームに圧縮される。

一実施形態では、システムは、フィールドディスプレイおよび中心窩ディスプレイの相対的なサイズを考慮するために、フレーム圧縮のためのカスタムインターレースを使用し得る。一実施形態では、中心窩ディスプレイは、７２０×７２０であり得、一方、フィールドディスプレイは、１２８０×７２０である。フレーム圧縮は、両方を含む２０００×７２０フレームとして圧縮され得る。フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、または他のプロセッサをディスプレイコントローラ内で使用して、表示用のフレームデータを解凍し得る。

一実施形態では、片眼用のフィールドディスプレイおよび中心窩ディスプレイは、それぞれ、単一のディスプレイの一部である。この場合、フィールドディスプレイ画像および中心窩ディスプレイ画像は、単一のより大きなフレームに圧縮し得、より大きなフレームは、ディスプレイパネルのサイズである。例えば、１つの眼用のディスプレイ全体は１２８０×７２０パネルであり得、フィールドディスプレイをパネルの左側の６４０×７２０セクションに圧縮し、中心窩ディスプレイをパネルの右側の６４０×７２０セクションに圧縮し得る。別の実施形態では、フィールドディスプレイと中心窩ディスプレイは、同じ解像度を有しない。別の実施形態では、フィールドディスプレイと中心窩ディスプレイの組み合わせは、ディスプレイパネル全体を使い果たさない。この実施形態では、一実施形態では、未使用のピクセルは、黒であるか、またはシステム内で光学的にブロックされ得、フィールドディスプレイと中心窩ディスプレイとの間の光学的分離を可能にする。一実施形態では、ディスプレイパネルの未使用部分は、物理的にブロックされ得る。これにより、コントラスト比が改善され得る。

使用され得るフレーム圧縮アプローチのいくつかは、次のものを含む。

フィールドのステレオ左／右色（１つのディスプレイフレームへの）；

焦点面０の時間Ｔ０での中心窩のステレオ左／右色（１つのディスプレイフレームへの）を交互に中心窩ディスプレイに送信する；

焦点面１の時間Ｔ１での中心窩のステレオ左／右色（１つのディスプレイフレームへの）を交互に中心窩ディスプレイに送信する。

別の実施形態では、圧縮レベルは異なり得る。例えば、一実施形態では、すべてのレンダリングされたテクスチャ（色＋深さ）が圧縮され、複数のディスプレイを備えた１つのデバイスに一緒に送信される（本質的に、深さから焦点面への変換を含むデバイス上で合成する）。別の実施形態では、すべての合成後のテクスチャが単一のフレームに圧縮され、１つのデバイスに送信される（デバイスは、解凍後にＴ０およびＴ１のフィールドおよび焦点面を順番に提示する）。別の実施形態では、上記の単一時間Ｔ０またはＴ１のすべての合成後のテクスチャは、１つのデバイスに一緒に送信され、ホストは順番に配列する。別の実施形態では、すべての中心窩テクスチャ（複数の平面の場合）は、一緒に圧縮され、時系列で送信されるのではなく、フィールドテクスチャは独立して送信され、デバイスは平面を順番に配列する。一実施形態では、ステレオ左／右のすべての焦点面のテクスチャは、すべて独立して送信される（本質的に圧縮なし）。一実施形態では、圧縮されたフレームデータは、フレーム全体のサブセットのみを含み得る。一実施形態では、フレームデータは、圧縮され得る。

図４Ｂは、中心窩マネージャ４５５の要素の一実施形態のブロック図である。中心窩領域プロセッサ４６０は、システムおよびミラーの機能および待ち時間を説明するシステムデータ４９５、ならびにＶｓｙｎｃまでの現在のミラー位置および時間を含む状態データ４９０、ならびにシステムの現在の状態を説明する他のデータを利用する。一実施形態では、中心窩領域プロセッサ４６０は、予測されたポーズロジック４６５から位置およびベクトルデータ、次のシーン（複数可）用シーンメタデータ４７５、および予測された視線システム４６７から視線ベクトルおよび眼球運動分類を受信する。中心窩領域プロセッサ４６０は、このデータを利用して、中心窩ビューポート４８０、およびミラー制御出力４８５を計算する。

一実施形態では、中心窩領域プロセッサ４６０は、リアルタイム入力を利用して、リアルタイム出力を生成する。しかしながら、中心窩領域プロセッサ４６０は、様々なデータ入力に基づく分析を利用して、中心窩ディスプレイがどこに向けられるべきかを決定することができる。一実施形態では、システムは、機械学習を使用して、中心窩ディスプレイに最適な位置およびデータを計算する。中心窩領域プロセッサ４６０は、高度なフィルタリングを使用して、状態データ、システムデータ、ならびに次のシーンデータ／予測される視線およびポーズデータを含む、利用可能なデータに基づいて、非生産的な移動を排除する。一実施形態では、高度なフィルタリングは、特定のユースケースに固有である。一実施形態では、高度なフィルタリングは、ユーザに固有のものである。一実施形態では、中心窩領域プロセッサは、アーティファクトを低減する／視覚的品質を最適化するために、何をどこに表示するかを決定し得る。中心窩ビューポート４８０、および関連するミラー制御出力４８５を決定する際に、中心窩領域プロセッサによって、ミラー移動の減少、眼精疲労の減少、および電力消費の減少などの他の要因も考慮に入れることができる。

一実施形態では、中心窩領域プロセッサ４６０は、将来、中心窩領域データを特定の場所に表示するなど、ＸＹＺを実行する要求を受信する。中心窩領域プロセッサ４６０は、上記の入力に基づいて、それが何をするか、例えば、時間Ａ’までにＸ’Ｙ’Ｚ’を決定する。このデータは、レンダリングエンジンにフィードバックされ、Ｘ’Ｙ’Ｚ’データをレンダリングして、時間Ａ’までに中心窩ディスプレイで利用できるようにする。

図５Ａ～図５Ｂは、システムにおける視線追跡およびミラー制御の一実施形態のフローチャートである。図５Ａは、ホストＣＰＵおよびアイトラッカのフローの一実施形態を示し、一方、図５Ｂは、対応するヘッドセットマイクロコントローラユニット（ＭＣＵ）およびミラー制御のフローの一実施形態を示している。

プロセスは、新しい視線追跡データが受信されたときにブロック５０５で開始する。ブロック５１０で、データは、フィルタリングされ、新しい視線ベクトルが計算される。

一実施形態では、次にデータが分析される。一実施形態では、眼球運動は分類される。一実施形態では、分類は、サッカードおよびスムーズな追跡などの移動を含み得る。一実施形態では、最後のミラー移動から経過した時間も分析され、システムは、ミラーが移動された場合にユーザ体験が低下するかどうかを決定する。

次に、システムは、ブロック５１５で、ミラーが移動された場合にユーザ体験が低下／改善されるかどうかに基づいて、ミラーを移動するかどうかを決定する。決定がミラーを移動しないことである場合、ブロック５２０で、プロセスは終了する。ミラーは移動されず、表示する新しいフレームは生成されない。

ブロック５１５で決定がミラーを移動することである場合、ブロック５２２でのプロセスは、ミラー移動を延期すべきかどうかを決定する。上で考察されるように、データの制限、物理的な制限、または他の理由により、ミラー移動が延期され得る。ブロック５２２で、プロセスが移動を延期することを決定した場合、ブロック５２４で、ミラー移動は、必要な期間延期される。一実施形態では、ミラー移動は、１つのフレームについて延期され得る。延期が終了した後、プロセスは、ブロック５２５に戻る。移動が延期されない場合、ブロック５２２で、プロセスは、ブロック５２５に直接続く。

ブロック５２５で、プロセスは、新しい中心窩領域データをレンダラに送信する。レンダラは、ブロック５３０で最新の中心窩領域をレンダリングする。これは、一実施形態では、ミラー移動と非同期に行われる。

移動命令が受信されると、一実施形態では、新しい中心窩領域データをレンダラに送信するのと並行して、システムは、ブロック５３５で、新しいミラー座標をヘッドセットに送信する。一実施形態では、ヘッドセットに送信されるデータは、宛先座標と共に、移動ミラーコマンドを含む。一実施形態では、データは、ミラー遅延の長さを指定するミラー移動延期データも含む。ミラー遅延は、ミラー移動が開始されるまでの時間である。一実施形態では、ミラー遅延はまた、中心窩ディスプレイが停止されるまでの時間を含む。この遅延は、移動延期時間と称することができる。

一実施形態では、位置およびミラー遅延（もしあれば）は、眼球運動分類および視線データに基づいて計算される。このデータは、ブロック５３７で、新しいミラー座標と共にヘッドセットＭＣＵおよびミラー制御に送信される。一実施形態では、ミラー移動中に、中心窩ディスプレイは消灯される。

一実施形態では、ミラー移動が中心窩ディスプレイを一時的に利用できなくするので、ブロック５４０で、中心窩ディスプレイのための古い場所にあるフィールドディスプレイの穴が埋められる。一実施形態では、システムは、ミラー移動の大きさ、およびディスプレイプレゼンテーションの積み重ね回数に基づいて、埋めるフィールドディスプレイフレームの数を調べる。一実施形態では、ミラー移動および整定時間の長さは、ルックアップテーブルを使用して計算される。一実施形態では、ミラーの移動が、整定しきい値以内であり、したがって中心窩ディスプレイが使用可能であることを示す、ミラー整定信号が、このループを閉じるためにヘッドセットＭＣＵ（ブロック５８５を参照）から送り返され得る。

一実施形態では、ヘッドセットＭＣＵおよびミラー制御に送信されるデータは、ミラーがその目的地に到達したときを定義する整定基準を含み、中心窩ディスプレイは、ユーザの体験を損なうことなく安全に表示することができる。一実施形態では、この整定基準は、位置精度データ、ならびにミラーが標的宛先の精度限界内になければならない時間を含む。

一実施形態では、整定基準は、動的に設定される。整定基準は、操縦移動のサイズ、視線検出器によって報告される視線変化のサイズ、シーン内のコンテンツなどに基づいて動的に決定され得る。

一実施形態では、フィールドディスプレイの穴を埋める時間の長さが０フレームである場合、フィールドディスプレイがフィールドディスプレイの穴を埋めることはなく、バイパスパスが使用され、ブロック５４２で、ブロック５５５に直接移行する。

一実施形態では、塗りつぶしデータは、レンダリングされたフィールドディスプレイデータ、レンダリングされた中心窩データ、前のフレームからの中心窩データ、再処理されたフィールドディスプレイデータ、または上記のタイプのデータの組み合わせであり得る。

一実施形態では、塗りつぶしは、ブロック５４５で、漸進的な明るさの充填および非充填を利用する。一実施形態では、塗りつぶしは、アンチエイリアシング、空間ディザリング、時間ディザリング、ぼかしなど、ブロック５４５で、１つ以上のフィルタリング方法を使用し得る。フィールドディスプレイを埋めるために使用される様々なフィルタリング方法は、低持続性ディスプレイにおける明るさの急激な変化によって引き起こされるフラッシュなど、塗りつぶしプロセス中の視覚的なアーティファクトを防ぐように設計される。一実施形態では、漸進的なブレンディングは、サッカードのマスキングがロールオフするときにサッカードの終わりに視覚的なアーティファクトを最小限に抑えるために利用される。

低持続性ディスプレイは、フレームのごく一部、例えば、１１ミリ秒のフレームのうちの２ミリ秒でのみオンになり、これは、ヘッドマウントディスプレイのジャダーを防ぐことになる。低持続性フィールドディスプレイからのフラッシュが以前に表示された中心窩フレームに追加されて、眼がこの組み合わせを明るすぎると見なすため、中心窩フレームが表示された直後にフィールドディスプレイが塗りつぶされると、ジャダーによって不要なフラッシュが発生する可能性がある。一実施形態では、このフラッシュは、中心窩ディスプレイが遮断された後、第１のフレームのフィールドディスプレイを埋める明るさを減らすことによって軽減することができる。一実施形態では、その第１のフレームのフィールドディスプレイは、ほんの半分の明るさで埋められる。一実施形態では、フィールドディスプレイの明るさは、第１のフレームについて１０～９０％であり得る。一実施形態では、これは、ユーザが遷移中に均一な明るさを知覚することを意味する。一実施形態では、フィールドディスプレイの明るさは、切り欠きが塗りつぶされるときに、いくつかのフレームにわたって強められる。

ブロック５５０において、一実施形態では、プロセスは、ミラー移動に十分な時間が経過したかどうかを判定する。一実施形態では、この判定は、移動の時間を示すルックアップテーブルに基づいて行われる。そうでない場合、プロセスは、待機し続ける。一実施形態では、待機中、フィールドディスプレイは、上記のように切り欠きなしで表示される。

十分な時間が経過すると、ブロック５５５で、一実施形態では、プロセスは、生成された中心窩画像がミラーの宛先に対して正しいかどうかを判定する。そうでない場合、一実施形態では、プロセスは、前の中心窩フレームからのデータを使用する。別の実施形態では、フィールドデータを使用し得る。一実施形態では、どのデータが使用されるかは、中心窩ミラーの実際の位置に利用可能な最も正確なデータが何であるかに依存し、場所の不一致がないため、それが間違って現れることを確実にする。

中心窩画像が正しいと判定されると、ブロック５６０で、中心窩の穴が新しい場所でフィールドディスプレイから打ち抜かれる。一実施形態では、その「中心窩ディスプレイを有効にする」コマンドは、ブロック５６５でヘッドセットに送信される。一実施形態では、これらの２つの要素、ブロック５６０および５６５は非同期的である。図６のタイミング図は、より多くの詳細を提供する。

図５Ｂに目を向けると、ブロック５７０で、ヘッドセットＭＣＵは、ブロック５３７で、ホストＣＰＵおよびアイトラッカによって送信された移動ミラーコマンドを受信する。

ブロック５７１で、プロセスは、ブロック５３７で判定されるように、ミラー移動を延期すべきかどうかを判定する。その場合、提供されたデータに基づいて、ミラー移動と中心窩ディスプレイの表示が遅延される。

ブロック５７３では、一実施形態では、中心窩ディスプレイは表示されない。一実施形態では、中心窩ディスプレイの照明源が無効にされているため、中心窩ディスプレイは表示されない。中心窩ディスプレイの照明源を無効にすると、事実上、中心窩ディスプレイがオフになる。一実施形態では、中心窩ディスプレイは、ブランク（黒）フレームを送信することによってブランクにすることによって表示されなくてもよい。一実施形態では、中心窩ディスプレイ照明源を無効にするか、または黒いフレームを送信する代わりに、システムは、別の方法で中心窩ディスプレイを表示することを停止することができる。

一実施形態では、ブロック５７５で、中心窩ディスプレイが表示されないことを確実にするのに十分長く移動が遅延される。一実施形態では、遅延は、１．２ミリ秒である。一実施形態では、遅延は、４ミリ秒未満である。一実施形態では、「ミラー移動コマンド」を送信する際の遅延時間は、照明源がオフであることを確実にするのに十分であるため、遅延はない。

さらに、システムは、ブロック５７７で、一実施形態では、このミラー移動のためのミラー移動制御係数を調べる。これらのパラメータは、開始場所、移動のサイズ、および移動の方向に基づく。その方向は、移動の戻りばね力に影響を与える可能性があるため、一実施形態において関連している。一実施形態では、ＰＩＤ（比例、積分、微分）制御ループが使用される。ブロック５８０で、プロセスは、制御ループ係数を更新し、制御ループ内に新しい位置標的を設定する。その後、ミラー移動が始まる。

ブロック５８３で、移動が行われる。一実施形態では、使用される移動は、バンバン制御（ｂａｎｇ－ｂａｎｇ ｃｏｎｔｒｏｌ）と称される、高速移動およびブレーキングである。一実施形態では、短いハードターンオンが移動を開始してノイズフロアを乗り越え、次に制御アルゴリズムが移動を引き継いでミラーを正しく位置付ける。一実施形態では、移動の終わりに、ミラーは残留振動を有し得る。

ブロック５８５で、プロセスは、ミラーが新しい標的宛先に整定したかどうかを判定する。一実施形態では、ミラーは、それがもはや移動していないか、または振動していないときに、整定したと見なされる。一実施形態では、ミラーは、最終位置に対する残りのミラー移動および不正確さが典型的な視聴者の視覚体験を低下させないときに、整定したと見なされる。一実施形態では、１～５分角の移動が整定したと見なされる。上で考察されるたように、一実施形態では、整定したミラーの閾値は、動的である。ミラーが整定すると、ブロック５８７で、プロセスは、「中心窩ディスプレイを有効にする」コマンドが受信されたかどうかを判定する。このコマンドは、ホストＣＰＵおよびアイトラッカから受信され、上で考察されるブロック５６５で送信される。

そうである場合、ブロック５８０で、中心窩ディスプレイの照明源が有効にされる。この時点で、ユーザは、フィールドディスプレイの切り欠きに、正しく位置付けられた中心窩ディスプレイを備えたフィールドディスプレイを見る。

図５Ａおよび図５Ｂは、操縦可能な中心窩ディスプレイの一実施形態における操縦制御のフローチャートである。当業者であれば、同じシステムを他の同様の実施形態に拡張する方法を理解するであろう。上記のように、一実施形態では、操縦可能な要素はミラーではない。一実施形態では、ホストＣＰＵおよびアイトラッカは、ヘッドセットＭＣＵおよびミラー制御と統合されている。

図６および図７は、タイミングアーキテクチャの実施形態を示すタイミング図である。

図６は、アイトラッカシステム、フィールドディスプレイ、中心窩ディスプレイ、中心窩ディスプレイフレームバッファ、および中心窩レンダリングウィンドウによって取られるアクションの相対的なタイミングを示すタイミング図の一実施形態を示している。さらに、ヘッドマウントディスプレイ（ＨＭＤ）へのコマンドおよびユーザビューが示されている。

なお、コマンドの相対的なタイミングは、これらのシステム間の関係に基づいているが、一実施形態では、フィールドディスプレイと中心窩ディスプレイは、別個のクロック上にあり、同期されていない。

図６は、スムーズな追跡タイプの眼球運動について（アイトラッカシステムから）新しい視線ベクトルが報告された後の６０ミリ秒の期間を示している。この図では、ミラー移動に９ミリ秒かかり、この間、フィールドフレーム０が表示され、パンチアウトが埋められ、中心窩フレームは表示されない。見てわかるように、時間２１ミリ秒で中心窩ＬＥＤがオフになり、時間３２ミリ秒で中心窩ＬＥＤが再びオンになり、ミラー移動が完了した後、ミラーが整定したと報告される。

図６は、フィールドディスプレイのデューティサイクルも示している。一実施形態では、フィールドディスプレイは、１１ミリ秒のうち２ミリ秒の間点灯する（例えば、フィールドディスプレイが暗いときは９ミリ秒ある）。このタイプのデューティサイクルは、当技術分野ではディスプレイ用として知られている。一実施形態では、中心窩ディスプレイは、そのようなデューティサイクルなしで連続的に表示される。別の実施形態では、中心窩ディスプレイはまた、フィールドディスプレイが点灯されるのと同じ方法で、フレームの一部についてのみ点灯され得る。

一実施形態では、中心窩ディスプレイは、複数の深さを有し、例えば、それは、多焦点ディスプレイである。一実施形態では、そのような多焦点ディスプレイの場合、深さは順次表示され、例えば、フレーム０の場合、第１のフレーム部分は深さＡであり、第２のフレーム部分は深さＢである。なお、２つのフレーム深さのみが示されているが、多焦点ディスプレイは、３つ以上のフレーム深さを含み得る。多焦点ディスプレイの一実施形態では、フレーム０は深さＡを表示し、フレーム１は深さＢを表示する。

スムーズな追跡とは異なり、サッカードの移動のサイズは大きく変動する。したがって、移動は、複数のフレームに及び得る。これは、中心窩ディスプレイがない複数のフィールドフレームが存在し得ることを意味する。当業者であれば、より長い移動のために図６に示されるフレーム表示タイミングが延長されることを理解するであろう。

図７は、同期システムのタイミング図の一実施形態を示している。一実施形態では、システムは、同期され、すべてのサブシステムは、単一の統合コントローラがシステムのすべての要素を制御するシステムオンチップ上などで、同じタイムベースで実行される。一実施形態では、中心窩ディスプレイは、フレームごとにオフ期間を有する。一実施形態では、操縦可能な要素は、中心窩ディスプレイのオフ期間中に移動され、操縦可能な要素が移動されたときに典型的な視聴者の視覚体験の低下がないようにする。一実施形態では、上で考察されるように、フィールドディスプレイおよび中心窩ディスプレイは、それぞれ単一のより大きなディスプレイの一部である。

図７では、フィールドディスプレイおよび中心窩ディスプレイが同期してリフレッシュされている。さらに、中心窩ディスプレイにはブランキング期間がある。中心窩ディスプレイの操縦可能な要素を移動する必要がある場合、このブランキング期間中に移動する。図７の例では、２２ミリ秒の時点で新しい視線位置が報告されている。操縦可能なディスプレイの中心窩ディスプレイおよびフィールドディスプレイが更新され、新しい視線位置が１フレーム、１１ミリ秒、後で３３ミリ秒で表示されている。この例では、フィールドディスプレイと中心窩ディスプレイの両方のフレームレートは、９０Ｈｚである。

同期ディスプレイはまた、フィールドディスプレイおよび中心窩ディスプレイを互いの整数倍で実行し得る。

図８は、レンダリングエンジンで使用され得るコンピュータシステムのブロック図である。当業者には明らかであろうが、様々なシステムアーキテクチャの他の代替的なシステムも使用され得る。

図８に示されるデータ処理システムは、情報を通信するためのバスまたは他の内部通信手段８４０と、情報を処理するためのバス８４０に結合された処理ユニット８１０と、を含む。処理ユニット８１０は、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、または別のタイプの処理ユニット８１０であり得る。

システムは、一実施形態では、プロセッサ８１０によって実行される情報および命令を記憶するためにバス８４０に結合されたランダムアクセスメモリ（ＲＡＭ）または他の揮発性記憶デバイス８２０（メモリと称される）をさらに含む。メインメモリ８２０はまた、処理ユニット８１０による命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。

システムはまた、一実施形態では、静的情報およびプロセッサ８１０の命令を記憶するためにバス８４０に結合された読み取り専用メモリ（ＲＯＭ）８５０および／または静的記憶デバイス８５０を備える。一実施形態では、システムはまた、磁気ディスクもしくは光ディスクおよびその対応するディスクドライブなどのデータ記憶デバイス８３０、またはシステムに電力が供給されていないときにデータを記憶することができるフラッシュメモリもしくは他の記憶装置を含む。一実施形態では、データ記憶デバイス８３０は、情報および命令を記憶するためにバス８４０に結合されている。

システムはさらに、情報を出力するためにバス８４０を介してバス８４０に結合された陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などの出力デバイス８７０に結合され得る。出力デバイス８７０は、視覚出力デバイス、音声出力デバイス、および／または触覚出力デバイス（例えば、振動など）であり得る。

入力デバイス８７５は、バス８６０に結合され得る。入力デバイス８７５は、ユーザが情報およびコマンド選択を処理ユニット８１０に通信することを可能にするための、英数字および他のキーを含むキーボードなどの英数字入力デバイスであり得る。追加のユーザ入力デバイス８８０をさらに含めてもよい。そのようなユーザ入力デバイス８８０の１つは、マウス、トラックボール、スタイラス、カーソル方向キー、またはタッチスクリーンなどのカーソル制御デバイス８８０であり、方向情報およびコマンド選択を処理ユニット８１０に通信するために、ならびにディスプレイデバイス８７０上の移動を制御するために、バス８６０を介してバス８４０に結合され得る。

任意選択的にコンピュータシステム８００に結合され得る別のデバイスは、ネットワークを介して分散システムの他のノードにアクセスするためのネットワークデバイス８８５である。通信デバイス８８５は、イーサネット、トークンリング、インターネット、またはワイドエリアネットワーク、パーソナルエリアネットワーク、ワイヤレスネットワーク、または他のデバイスにアクセスする他の方法に結合するために使用されるものなど、いくつかの市販のネットワーク周辺デバイスのいずれかを含み得る。通信デバイス８８５はさらに、ヌルモデム接続、またはコンピュータシステム８００と外界との間の接続を提供する任意の他の機構であり得る。

なお、図８に示されるこのシステムのコンポーネントのいずれかまたはすべて、および関連するハードウェアが、本発明の様々な実施形態で使用され得る。

本発明を具体化する特定の機械は、特定の実装形態に従って様々な方法で構成され得ることが当業者によって理解されるであろう。本発明を実装する制御ロジックまたはソフトウェアは、メインメモリ８２０、大容量記憶デバイス８３０、またはプロセッサ８１０に局所的または遠隔的にアクセス可能な他の記憶媒体に記憶することができる。

本明細書に記載のシステム、方法、およびプロセスは、メインメモリ８２０に記憶されたソフトウェアまたは読み取り専用メモリ８５０として実装され、プロセッサ８１０によって実行され得ることが当業者には明らかであろう。この制御ロジックまたはソフトウェアはまた、コンピュータ可読プログラムコードが埋め込まれ、大容量記憶デバイス８３０によって可読であり、プロセッサ８１０を本明細書の方法および教示に従って動作させるためのコンピュータ可読媒体を含む製造品に内在し得る。

本発明はまた、上記のコンピュータハードウェアコンポーネントのサブセットを含むハンドヘルドまたはポータブルデバイスに具体化され得る。例えば、ハンドヘルドデバイスは、バス８４０、プロセッサ８１０、ならびにメモリ８５０および／または８２０のみを収容するように構成され得る。

ハンドヘルドデバイスは、ユーザが利用可能なオプションのセットから選択し得るボタンのセットまたは入力シグナリングコンポーネントを含むように構成され得る。これらは、入力デバイス＃１ ８７５または入力デバイス＃２ ８８０と見なすことができる。ハンドヘルドデバイスはまた、ハンドヘルドデバイスのユーザに情報を表示するための液晶ディスプレイ（ＬＣＤ）またはディスプレイ要素マトリクスなどの出力デバイス８７０を含むように構成され得る。従来の方法を使用して、そのようなハンドヘルドデバイスを実装し得る。そのようなデバイスのための本発明の実装形態は、本明細書で提供される本発明の開示を考えると、当業者には明らかであろう。

本発明はまた、キオスクまたは車両など、上記のコンピュータハードウェアコンポーネントのサブセットを含む専用のアプライアンスに具体化され得る。例えば、アプライアンスは、処理ユニット８１０、データ記憶デバイス８３０、バス８４０、およびメモリ８２０を含み、入出力機構を含まないか、またはユーザが基本的な方法でデバイスと通信することを可能にする小さなタッチスクリーンなどの基本的な通信機構のみを含み得る。一般に、デバイスが専用であるほど、デバイスが機能するために存在する必要のある要素は少なくなる。一部のデバイスでは、ユーザとの通信は、タッチベースの画面または同様の機構を介して行われ得る。一実施形態では、デバイスは、いかなる直接の入力／出力信号を提供しなくてもよいが、ウェブサイトまたはネットワークデバイス８８５を介した他のネットワークベースの接続を介して構成およびアクセスされ得る。

コンピュータシステムとして実装された特定の機械の任意の構成が、特定の実装形態に従って使用され得ることが当業者によって理解されるであろう。本発明を実装する制御ロジックまたはソフトウェアは、プロセッサ８１０に局所的または遠隔的にアクセス可能な任意の機械可読媒体に記憶することができる。機械可読媒体は、機械（例えば、コンピュータ）によって可読な形式で情報を記憶するための任意の機構を含む。例えば、機械可読媒体には、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、または一時的もしくは永続的なデータ記憶に使用できる他の記憶媒体が含まれる。一実施形態では、制御ロジックは、電気的、光学的、音響的、または他の形態の伝搬信号（例えば、キャリア波、赤外線信号、デジタル信号など）などの送信可能なデータとして実装され得る。

前述の明細書では、本発明は、その特定の例示的な実施形態を参照して説明されてきた。しかしながら、添付の特許請求の範囲に記載されている本発明のより広い精神および範囲から逸脱することなく、様々な修正および変更を行うことができることは明らかであろう。したがって、明細書および図面は、限定的な意味ではなく、例示的な意味で見なされるべきである。

Claims (20)

1. システムであって、
   第１のピクセル／度（ＰＰＤ）の解像度を有し、かつ第１の視野を有する操縦可能なディスプレイ画像を位置付けるための中心窩ディスプレイと、
   前記第１の解像度よりも低いＰＰＤを有する第２の解像度を有し、かつ前記第１の視野よりも広い第２の視野を有する、フィールドディスプレイ画像を提供するためのフィールドディスプレイと、
   前記フィールドディスプレイ用のフィールドテクスチャ、および前記中心窩ディスプレイ用の中心窩テクスチャをレンダリングするためのレンダリングエンジンと、
   前記フィールドテクスチャから前記フィールドディスプレイ用のフレームを生成するためのフィールド合成器と、前記中心窩テクスチャから前記中心窩ディスプレイ用のフレームを生成するための中心窩合成器と、を含む合成器と、
   前記フィールドディスプレイおよび前記中心窩ディスプレイの１つ以上のデータを含む提示されるものを順序付け、選択するように設計された合成マネージャと、を備える、システム。
2. 前記中心窩ディスプレイが切り欠きを埋めるように位置付けられている場合、前記フィールドディスプレイから前記切り欠きをトリガするための前記合成マネージャをさらに備える、請求項１に記載のシステム。
3. 前記フィールドディスプレイからの前記切り欠きが、
   現在の中心窩テクスチャデータ、
   以前の中心窩テクスチャデータ、および
   フィールドテクスチャデータ、からの１つ以上のデータで埋められる、請求項２に記載のシステム。
4. 前記フィールドテクスチャデータが、再サンプリングされたフィールドテクスチャデータである、請求項３に記載のシステム。
5. 前記レンダリングエンジンおよび前記合成器が、非同期的である、請求項１に記載のシステム。
6. 中心窩合成器およびフィールド合成器が、非同期的である、請求項５に記載のシステム。
7. 前記レンダリングエンジンおよび前記合成器が、同期的である、請求項１に記載のシステム。
8. 前記中心窩ディスプレイが再位置付けされるべきであると判断すると、前記中心窩ディスプレイを移動させる前に、前記中心窩ディスプレイが整定された後の中心窩ディスプレイの前記移動および再有効化の前に、前記中心窩ディスプレイを高速停止させて、前記中心窩ディスプレイの迅速で小さな再位置付けを可能にすることをさらに含む、請求項１に記載のシステム。
9. 前記中心窩ディスプレイが再位置付けされるべきであると判断すると、移動が延期されるべきであるかどうかを判断することと、前記移動を延期することと、をさらに含む、請求項８に記載のシステム。
10. 前記移動が延期されるとき、前のフレームからの前記中心窩テクスチャが、表示のために再サンプリングされる、請求項９に記載のシステム。
11. 前記合成器によって生成された前記フレームデータにメタデータを添付するためのメタデータシステムをさらに備え、前記メタデータが、前記中心窩画像のレンダリングに使用される、請求項１に記載のシステム。
12. 前記メタデータが、ポーズ、視線、および／または位置の測定値を含み、前記合成器が、最新のポーズ、視線、および／または位置の間でさらに使用するためのものであり、前記メタデータが、前記中心窩テクスチャをクロップするためのものである、請求項８に記載のシステム。
13. 前記操縦可能なディスプレイの光学スタックに歪み補正を提供するためのデジタル補正システムをさらに備える、請求項１に記載のシステム。
14. システムであって、
    第１のタイムベースで、フィールドテクスチャおよび中心窩テクスチャをレンダリングするためのレンダリングエンジンと、
    前記フィールドテクスチャから、フィールドディスプレイ用のフレームを生成するためのフィールド合成器を含む合成器であって、前記フィールド合成器が、前記第１のタイムベースとは異なる第２のタイムベースを有する、合成器と、を備え、
    前記合成器が、中心窩ディスプレイ用のフレームを生成する中心窩合成器を含み、前記中心窩ディスプレイが、ユーザの中心窩領域に対して位置付けられ、かつ前記フィールドディスプレイの切り欠き領域に示される、システム。
15. 前記中心窩ディスプレイの状態および前記中心窩ディスプレイに関連付けられた操縦可能な要素を追跡するための中心窩状態マシンをさらに備え、前記中心窩状態マシンが、前記フィールド合成器にデータを提供して、前記中心窩ディスプレイ領域を切り取るかまたは塗りつぶす、請求項１４に記載のシステム。
16. 前記中心窩領域の塗りつぶしが、ミラーが移動されたときに現在の中心窩テクスチャに基づき、前記ミラーの移動が延期された場合に以前の中心窩テクスチャに基づく、請求項１５に記載のシステム。
17. 前記中心窩ディスプレイの移動が、コンテンツ、関心領域、シーン内の高解像度コンテンツの領域、および／または眼球運動分類に基づくシステム動作による視線予測に基づく、請求項１４に記載のシステム。
18. 前記レンダリングエンジンが、前記中心窩領域のサイズをオーバーレンダリングして、再レンダリングすることなくミラーのわずかな移動を可能にする、請求項１４に記載のシステム。
19. 前記システム内の表示待ち時間を補償するために、前記中心窩ディスプレイのミラーの移動を延期するための合成マネージャをさらに備える、請求項１４に記載のシステム。
20. システムであって、
    第１の表示グレードを有し、かつ第１の視野を有する操縦可能なディスプレイ画像を位置付けるための中心窩ディスプレイと、
    前記第１の表示グレードよりも低いグレードを有する第２の表示グレードを有し、かつ前記第１の視野よりも広い第２の視野を有するフィールドディスプレイ画像を提供するためのフィールドディスプレイと、
    前記フィールドディスプレイ用のフィールドテクスチャおよび前記中心窩ディスプレイ用の中心窩テクスチャをレンダリングするためのレンダリングエンジンと、
    前記フィールドテクスチャから前記フィールドディスプレイ用のフレームを生成するためのフィールド合成器と、前記中心窩テクスチャから前記中心窩ディスプレイ用のフレームを生成するための中心窩合成器と、を含む合成器と、
    前記フィールドディスプレイおよび前記中心窩ディスプレイのデータのうちの１つ以上を含む提示されるものを順序付け、選択するように設計された合成マネージャと、を備える、システム。

Images