JP2022519431A - マルチプロジェクタ表示アーキテクチャ - Google Patents

Abstract

一実施形態では、ヘッドセットディスプレイデバイスは、中央処理装置と、中央処理装置にそれぞれ結合され、画像データを処理するように構成された複数のプロジェクタ集積回路とを含む。各プロジェクタ集積回路は、光エミッタアレイをそれぞれ含む複数の第１の集積回路を含む。各プロジェクタ集積回路は、複数の第１の集積回路に結合された第２の集積回路を含む。第２の集積回路は、幾何学的歪曲または輝度歪曲を補正する、変換された画像データを生成するように構成されたグラフィックスプロセッサを含み、（２）変換された画像データを表示のために複数の第１の集積回路に提供するように構成される。【選択図】図１

Description

優先権
本出願は、２０１９年２月１４日に出願された米国出願第６２／８０５，９２３号、および２０２０年２月７日に出願された米国出願第１６／７８５，３０５号による優先権を主張する。米国出願第６２／８０５，９２３号および米国出願第１６／７８５，３０５号の内容は、あらゆる目的のため、その全体を参照により本明細書に組み込む。

本開示は、一般に、画像を電子ディスプレイに表示することに関する。

ポータブルディスプレイの使用は劇的に増加しており、軽量で電力効率が良いディスプレイの需要が増加している。しかしながら、かかるディスプレイの一部は、出力要件の低減を可能にするため、また身に付けるタイプのディスプレイの場合、より快適に着用できるようにするため、明瞭性、フレーム率、または視野が犠牲になることがある。しかしながら、これらの犠牲によってユーザ体験が損なわれる場合が多い。ディスプレイは、輝度を低減するか、または解像度、色の深み、最大表示フレーム率、もしくは視野を低下させることがあり、それによってかかるディスプレイを使用することの魅力が低減される。フレーム率が低く視野が狭いディスプレイは、特定の用途には全く実用的でないこともある。特に、人工現実体験をユーザに提供するのにディスプレイが使用される場面では、ディスプレイの品質は体験自体の品質の知覚に影響を及ぼす。問題を更に複雑にしているのは、ユーザ体験を高品質にし、それをサポートするのに、高いコンピューティングコストが求められることである。

特定の実施形態では、ヘッドマウントディスプレイシステムのディスプレイは、ディスプレイの導波路構成を通して画像をユーザに提供することによって動作してもよい。画像は、ディスプレイと関連付けられた１つまたは複数のプロジェクタ集積回路によって提供されてもよい。特定の実施形態では、１つまたは複数のプロジェクタがユーザの目のそれぞれと関連付けられる、複数のプロジェクタ集積回路が使用されてもよい。プロジェクタ集積回路は、何らかのレンダリングデータおよび命令をプロジェクタにディスパッチする、中央ヘッドセットＣＰＵによって連係されてもよい。

特定の実施形態では、プロジェクタ集積回路（本明細書では、単に「プロジェクタ」とも呼ばれる）は、いくつかの構成要素を備えてもよい。構成要素は、集積回路であってもよく、また集積回路の形で具体化されてもよい。構成要素は、ワープエンジン、ディスプレイドライバ、およびバックプレーンコントローラを含んでもよい。ワープエンジンは、レンダリングエンジンから受信した特殊なオブジェクトプリミティブとして格納されたフレームデータに対して、初期視認性決定を実施し、フレームデータに適用する幾何学的ワープを決定し、適用するテクスチャマッピングおよびフィルタリングを計算し、他の場合は表示するフレームデータを準備してもよい。ディスプレイドライバは、ワープエンジンから出力される画像に対する処理を実施してもよい。例えば、ディスプレイドライバは、必要に応じて不均一性補正およびディザリングを実施してもよい。バックプレーンコントローラは、画像データを受信し、画像データを表示するように光源に命令してもよい。

特定の実施形態では、プロジェクタの構成要素は、高品質画像を依然として提供しながら、ヘッドマウントディスプレイのディスプレイの性能および電力効率を最適化するように選択された、様々なアーキテクチャで組み合わされてもよい。例えば、ワープエンジンは、ヘッドセット中央処理装置に組み込まれ、いくつかのディスプレイドライバおよびバックプレーンコントローラと関連付けられてもよい。ワープエンジンは、共有集積回路の１つまたは複数のディスプレイドライバに組み込まれてもよい。ワープエンジンは更に、集積回路を共有する、１つまたは複数のバックプレーンコントローラに組み込まれてもよい。プロジェクタを構成する集積回路は、様々なプロセスで製造されてもよく、特定の実施形態では、いわゆる「スタック型」三次元集積回路、または「サイドバイサイド型」２．５次元集積回路であってもよい。

特定の実施形態では、プロジェクタに対して選択されたアーキテクチャは、プロジェクタを構成する集積回路および他の構成要素に対してパッケージングの選択を通知してもよい。例えば、エミッタアレイは、回路基板に搭載される集積回路に接合されてもよい。回路基板は、他の類似の回路とともに、導波路結合器に対するエミッタアレイの位置を調節する機械的アライナに搭載されてもよい。別の例として、エミッタアレイは、他のいくつかの類似の集積回路と回路基板を共有する、集積回路に接合されてもよい。別の例として、エミッタアレイは、いくつかの類似の集積回路の間で共有されるインターポーザに接合される、集積回路に接合されてもよい。インターポーザは回路基板に接合されてもよい。別の例として、エミッタアレイはそれ自体のインターポーザに接合されてもよく、それが、いくつかの類似のインターポーザが接合された集積回路に接合される。別の例として、いくつかのエミッタアレイが集積回路に接合されてもよい。集積回路は、１つまたは複数のワープエンジン、ディスプレイドライバ、またはバックプレーンコントローラを具体化してもよい。

本発明の実施形態は、人工現実システムを含んでもよく、または人工現実システムと併せて実現されてもよい。人工現実は、ユーザに提示する前に何らかの形で調節されている１つの形態の現実であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含んでもよい。人工現実コンテンツは、全て生成されたコンテンツ、またはキャプチャされたコンテンツ（例えば、実世界写真）と組み合わされた生成されたコンテンツを含んでもよい。人工現実コンテンツは、映像、音声、触覚フィードバック、またはそれらの何らかの組合せを含んでもよく、それらのいずれかが、単一チャネルまたは複数チャネルで提示されてもよい（閲覧者に対する三次元効果を作成するステレオ映像など）。それに加えて、いくつかの実施形態では、人工現実は、例えば、人工現実でコンテンツを作り出すのに使用される、および／または人工現実で使用される（例えば、アクティビティを実施する）、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せと関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または人工現実コンテンツを１人または複数の閲覧者に提供することができる他の任意のハードウェアプラットフォームを含む、様々なプラットフォームで実現されてもよい。

本明細書に開示する実施形態は単なる例であり、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書に開示する実施形態の構成要素、要素、特徴、機能、動作、またはステップの全てもしくは一部を含むか、あるいはいずれも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とした添付の特許請求の範囲に開示され、１つのクレーム分類、例えば方法において言及される任意の特徴が、別のクレーム分類、例えばシステムにおいても請求される場合がある。添付の特許請求の範囲における従属または後方参照は、形式上の理由でのみ選択される。しかしながら、任意の先行クレームに対する意図的な後方参照（特に、多項従属）の結果による任意の主題も同様に請求することができ、それによってクレームおよびその特徴の任意の組合せが開示され、添付の特許請求の範囲において選択される従属にかかわらずそれらを請求することができる。請求することができる主題は、添付の特許請求の範囲に提示されるような特徴の組合せだけではなく、特許請求の範囲における特徴の他の任意の組合せも備え、特許請求の範囲で言及される各特徴を、特許請求の範囲における他の任意の特徴または他の特徴の組合せと組み合わせることができる。更に、本明細書に記載または描写する実施形態および特徴のいずれも、別個のクレームで、および／あるいは本明細書に記載もしくは描写する任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のうち任意のものとの任意の組合せで、請求することができる。

例示のヘッドマウントディスプレイおよびディスプレイシステムの断面を示す図である。 例示のディスプレイシステムの等角図である。 ヘッドマウントディスプレイシステムの構成要素の例示のレイアウトを示す図である。 プロジェクタの例示のアーキテクチャを示す図である。 例示のフレームレンダリングタイムラインを示す図である。 例示のバックプレーン集積回路を示す図である。 例示の集積回路レイアウトを示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示のアーキテクチャを示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示のアーキテクチャを示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示のアーキテクチャを示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示のアーキテクチャを示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示の配置を示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示の配置を示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示の配置を示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示の配置を示す図である。 ヘッドマウントディスプレイシステムの構成要素の例示の配置を示す図である。 修正されたサブフレームを生成し表示する例示の方法を示す図である。 例示のコンピュータシステムを示す図である。

人工現実
上述したように、人工現実は、専用に構成されたデバイスによってユーザに対して提示する前に何らかの形で調節される、１つの形態の現実である。本明細書に記載する特定の実施形態の要素は、人工現実デバイスの機能性、効率、および信頼性を改善するのに使用されてもよい。人工現実デバイスは、デジタルシーンを作り出すか、またはコンピュータで生成されたイメージを実世界の視像に重畳してもよい。したがって、人工現実デバイスは、設計者および技術者が、新しい形態の情報、娯楽、または提携方法を提供するためのプラットフォームを提供する。例えば、人工現実デバイスは、ユーザが、見かけ上は直に長距離で通信することを可能にするか、または邪魔にならない形で周囲の環境を通知することによってユーザを支援してもよい。人工現実体験はカスタマイズされる場合が多いので、ユーザの人工現実体験は、十分な明瞭性および利便性を伴って提示された場合、非常に個人的で非常に魅力的なことがある。

人工現実体験が人間の能力を増強することができる１つの手法は、拡張現実または複合現実のように、実世界に追加されたコンピュータ生成画像および／またはテキストを用いるものである。この単純な原理から、様々な説得力がある使用例を考慮することができる。実世界オブジェクトを記述するラベル（例えば、テキスト、グリフなど）または画像は、世界空間内で固定されてもよく（例えば、道路標識として作用する、もしくは自転車専用道路のライブマップを提供する、位置認識ラベル）、または画像は、空間を移動する際に実世界オブジェクトに固定されてもよい（例えば、経路もしくは定員に関する詳細情報を提供する、経路を進行する際のバスに付加されるラベル）。ラベルはまた、ユーザが馴染みのない都市を通行するのを助ける（例えば、最も近いトイレのウェイポイントを作り出す）か、または人混みの中で友人（例えば、別のユーザに固定された社会的認識ウェイポイント）を見つけるのを助けるのに使用することができる。考慮するに値する他の体験は、実世界オブジェクトとの対話に基づいてもよい。例えば、ユーザは、映像を壁またはスクリーン上に「投影」して、映像を再生し、自身または共有拡張空間にアクセスできる他者のみが見ることを可能にすることができる。別の例として、ユーザは、コンピュータ生成テキストを物理的オブジェクトに固定して、拡張現実の本または雑誌として作用するようにすることができる。コンテンツは、オブジェクトに対して表示させることができ（拡張現実外の有形資産をユーザに許可する）、またはユーザに対して固定の関係で表示させることができる（例えば、視像の隅で常に再生されるチュートリアル映像）。提示される媒体は、同じコンテンツ表示空間が同じ物理空間を見ている各個人に関連するコンテンツであることができるように、ユーザに合わせてカスタマイズすることができる。別の例として、ユーザは、アイコンに「触れること」、またはコンピュータ生成画像を手動で「操作すること」によって、コンピュータ生成グラフィックスと対話することができる。これらのグラフィックスは、プロジェクトに取り組んでいる複数のユーザに示して、チームが提携する機会を可能にする（例えば、複数の建築家がともにリアルタイムで三次元デジタル模型製作に取り組む）ことができる。

ヘッドマウントディスプレイ
人工現実デバイスの１つの便利な形状因子はヘッドマウントディスプレイ（ＨＭＤ）である。コンピュータ生成グラフィックスを出力するディスプレイは、直感的で、簡単にアクセス可能で、邪魔にならないものであるべきである。高解像度人工現実グラフィックスをユーザに表示する１つの方策は、ニアアイディスプレイ（ＮＥＤ）を備えるＨＭＤである。ユーザは、コンピュータグラフィックスを表示することができる、バイザー、ヘッドセット、または眼鏡などの装置を着用する。拡張現実または複合現実体験では、コンピュータグラフィックスは、物理的世界の横または上に見えることが可能である。しかしながら、これらのコンピュータグラフィックスのレンダリングは計算集約的である。したがって、ほとんどの場合、レンダリングは、（例えば、ケーブル、もしくはブルートゥースなどの無線通信プロトコルを介して）ＨＭＤに通信可能に取り付けられた高出力コンピュータによって実施される。かかる構成では、ＨＭＤは、嵩張るコード、帯域幅および出力の限定、熱的制限、および他の関連する制約によって限定される。また、これらの制約の限定は強制である。一日中着用するのに十分に快適で効率的であって、更に高度なグラフィックスを表示するのに十分に高出力である、ＨＭＤが望ましい。

図１は、例示のＨＭＤの図を提供している。特に、図１は、いくつかの実施形態による、ＨＭＤ１００およびディスプレイデバイス１１０の断面である。ディスプレイデバイス１１０は、少なくとも１つの導波路構成１１５を含んでもよい。図１は、ユーザがディスプレイデバイス１１０を着用したときに目１２０が位置付けられる位置である、アイボックス１３０を示している。目１２０がアイボックス１３０と位置合わせされている限り、ユーザは、導波路構成１１５によってアイボックス１３０に向かって方向付けられたフルカラー画像または瞳複製を見ることができる。導波路構成１１５は、多くの瞳複製を作成し、アイボックス１３０に方向付けてもよい。例示の目的のため、図１は、単一の目１２０および単一の導波路構成１１５と関連付けられた断面を示している。いくつかの実施形態では、別の導波路構成が、ユーザの別の目１２０に位置するアイボックスに画像光を提供してもよい。

導波路構成１１５は、図１に示されるように、目１２０に近接して位置するアイボックスに画像光を方向付けるように構成されてもよい。導波路構成１１５は、効率的にディスプレイデバイス１１０の重量を最小限に抑えるとともに視野（ＦＯＶ）を拡幅する、１つまたは複数の屈折率を有する、１つまたは複数の材料（例えば、プラスチック、ガラスなど）で構成されてもよい。代替の構成では、ディスプレイデバイス１１０は、導波路構成１１５と目１２０との間に１つまたは複数の光学素子を含んでもよい。光学素子は、例えば、導波路構成１１０から放射される画像光の収差を補正するか、導波路構成１１５から放射される画像光を拡大するか、導波路構成１１５から放射される画像光の他の何らかの光学的調節を行うか、またはそれらの何らかの組合せを実施するように作用してもよい。光学素子の例は、アパーチャ、フレネルレンズ、屈折（例えば、凸および／または凹）レンズ、反射面、フィルタ、あるいは画像光に影響を及ぼす他の任意の好適な光学素子を含んでもよい。導波路構成１１５は、例えば、一組または複数組のブラッグ格子を有する導波路を含んでもよい。

ＨＭＤに使用されてもよいディスプレイの一例の形態は、走査線または一次元（「１Ｄ」）導波路ディスプレイと呼ばれることがある。このディスプレイでは、光源の行がディスプレイの垂直空間（または適切な場合、水平空間）全体を照明するのに使用される光源を生成してもよい。複数の小さい画像が組み合わされて、閲覧者によって知覚される大きい複合画像を形成する。走査素子は、導波路構成要素によって処理される光源光を、表示描画速度（ｄｉｓｐｌａｙ ｄｒａｗ ｒａｔｅ）を最適化するのにエミッタによって使用される生成パターンに対応する特定のパターンで、ユーザの目に対して出力させてもよい。例えば、光源は最初に、表示画像の上部に沿った単一の行のピクセルに対応する色値を提供されてもよい。光は、微小電気機械システム（ＭＥＭＳ）駆動式の振動ミラーによって支援される導波路ベースのプロセスを使用して、アイボックスの適切な区画に伝達されてもよい。短い時間の後、光源は、次の行（例えば、第１行の下）のピクセルに対応する色値を提供されてもよい。画像のこの区画に対する光は、次に、同じプロセスを使用して、色値を適切な位置に位置付けてもよい。走査ディスプレイは、同じエミッタで構成された従来のディスプレイよりも、実行に要する出力が少なくてもよく、熱の発生が少なくてもよい。該ディスプレイは、一部には、走査素子および光学系に使用される材料の品質により、軽量でもあってもよい。ディスプレイのフレーム率はミラーの振動速度に基づいて制限される。

ＨＭＤに使用されてもよいディスプレイの別の例示の形態は、２Ｄ即ち二次元導波路ディスプレイであってもよい。かかるディスプレイでは、（例えば、アレイ状の）垂直および水平成分を含む光源が使用されてもよいので、振動ミラーは不要である。１Ｄの変形例が行ごとにディスプレイを照らさなければならない場合、２Ｄの変形例は、画像の垂直成分を提供するのに振動ミラーに依存しないので、大幅に改善されたフレーム率を提供することができてもよい。フレーム率を更に改善するため、２Ｄ導波路ディスプレイの光源は、ディスプレイシステムに対する駆動命令を提供するコントローラおよび／またはメモリに接合されてもよい。例えば、ディスプレイおよび／またはドライバトランジスタに対する色命令を保持するメモリに接合されてもよい。かかる構成の結果、かかるディスプレイに対する光源は、大幅に高速のフレーム率で動作可能であってもよい。いくつかの実施形態では、ＨＭＤは、特定の色を放射するようにそれぞれ構成された複数の光源を備えてもよい。液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣＯＳ）、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、マイクロＬＥＤ（μＬＥＤ）、デジタルマイクロミラーデバイス（ＤＭＤ）、他の任意の好適なディスプレイ技術、またはそれらの任意の組合せを含むがそれらに限定されない、多くの好適なディスプレイ光源技術が想到される。色は、全内反射経路に沿って光をユーザの目に方向付ける、導波路システムの結合構成要素によって組み合わされてもよい。更に、投影された光は、最初に光源と導波路との間の小さい空気ギャップを通過してから、導波路に組み込まれた結合素子と相互作用することができる。経路は、いくつかの例では、光の部分を全内反射経路からデカップリングして、異なる場所で画像の複数のインスタンス（「瞳複製」）を導波路外に方向付け、ＨＭＤのアイボックスに向ける、格子構造または他のタイプの光デカップリング構造を含むことができる。

ニアアイディスプレイおよび導波路
図１は、例示のＮＥＤの図を提供している。図２は、いくつかの実施例による、ニアアイディスプレイシステム（ＮＥＤ）２００の等角図を示している。いくつかの実施形態では、ＮＥＤ２００はＨＭＤ１００の構成要素であってもよい。代替実施形態では、ＮＥＤ２００は、別のＨＭＤまたは画像光を特定の場所に方向付ける他のシステムの一部であってもよい。

ＮＥＤ２００は、少なくとも１つのプロジェクタ２１０と、導波路２２０と、コントローラ２３０とを含んでもよい。例示の目的のため、図２は、単一の目１２０と関連付けられたＮＥＤ２００を示しているが、いくつかの実施形態では、ＮＥＤ２００とは完全に別個の、もしくは部分的に別個の別のプロジェクタ、導波路、またはコントローラが、画像光をユーザの別の目に提供してもよい。部分的に別個のシステムでは、１つまたは複数の構成要素がそれぞれの目に対する導波路の間で共有されてもよい。いくつかの例では、単一の導波路２２０がユーザの両目に画像光を提供してもよい。また、いくつかの例では、導波路２２０は導波路構成の複数の導波路の１つであってもよい。

プロジェクタ２１０は、１つまたは複数の二次元画像を含む光を生成してもよい。プロジェクタ２１０は、１つまたは複数の光源と、光学系と、光源、光学系、またはプロジェクタ２１０もしくは導波路２２０の他の任意の構成要素によって引き起こされる不均一性および他の誤差に関して放射光を補正する回路とを含んでもよい。プロジェクタ２１０は、少なくとも１つの二次元画像を含む画像光２５５を生成し、導波路２２０の上面２７０上に位置する結合エリア２５０に投影してもよい。画像光２５５は、結合エリア２５０に向かう次元または軸線に沿って伝播してもよい。例えば、プロジェクタ２１０は１つまたは複数のアレイ光源を備えてもよい。本開示は、μＬＥＤのアレイに基づいたディスプレイに言及するが、本明細書に記載される技術およびアーキテクチャは、他の多くの好適なタイプのディスプレイ（例えば、液晶オンシリコン（ＬＣＯＳ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、またはデジタルマイクロミラーデバイス（ＤＭＤ））に適用可能であってもよい。

導波路２２０は、ユーザの目１２０に方向付けられた画像光２４０の形で二次元画像を出力する光導波路であってもよい。導波路２２０は、導波路２２０の上面２７０上および／または本体内に位置する１つもしくは複数の結合要素を含んでもよい、結合エリア２５０で画像光２５５を受信してもよく、受信した画像光２５５を導波路２２０の伝播エリアにガイドしてもよい。結合エリア２５０の結合要素は、例えば、回折格子、ホログラフィック回折格子、１つもしくは複数のカスケード接続された反射器、１つもしくは複数の角柱面要素、ホログラフィック反射器のアレイ、メタ材料表面、またはそれらの何らかの組合せであってもよい。いくつかの構成では、結合エリア２５０の結合要素のそれぞれは、Ｘ軸およびＹ軸寸法に沿って実質的に同じ面積を有してもよく、Ｚ軸に沿ってある距離で分離されてもよい（例えば、上面２７０および下面２８０上にある、または両方とも上面２７０上であるが界面層（図示せず）によって分離される、または下面２８０上にあって界面層で分離される、または両方とも導波路２２０の本体に埋め込まれるが界面層で分離される）。結合エリア２５０は、上面２７０から下面２８０まで延在するものとして理解されてもよい。結合エリア２５０は、第１の格子ベクトルに従って、デカップリング要素の間で導波路２２０の本体に形成される導波路２２０の伝播エリア内へと、受信した画像光を再び方向付けてもよい。

デカップリング要素２６０Ａは、デカップリング要素２６０Ｂを通してデカップリングすることができるように、全内反射された画像光を導波路２２０から再び方向付けてもよい。デカップリング要素２６０Ａは、導波路２２０の上面２７０の一部であるか、それに固着されるか、またはその中に形成されてもよい。デカップリング要素２６０Ｂは、導波路２２０の下面２８０の一部であるか、それに固着されるか、またはその中に形成されてもよく、デカップリング要素２６０Ａはデカップリング要素２６０Ｂに対向し、間に伝播エリアが延在する。デカップリング要素２６０Ａおよび２６０Ｂは、例えば、回折格子、ホログラフィック回折格子、ホログラフィック反射器のアレイなどであってもよく、ともにデカップリングエリアを形成してもよい。いくつかの実施形態では、デカップリング要素２６０Ａおよび２６０Ｂのそれぞれは、Ｘ軸およびＹ軸寸法に沿って実質的に同じ面積を有してもよく、Ｚ軸に沿ってある距離で分離されてもよい。

いくつかの実施形態では、１つまたは複数のコントローラ（コントローラ２３０など）は、プロジェクタ２１０の動作を制御してもよい。コントローラ２３０は、プロジェクタ２１０のディスプレイシステムに対する表示命令を生成してもよい。表示命令は、１つもしくは複数の画像を投影または放射する命令を含んでもよい。いくつかの実施形態では、表示命令はフレーム画像色データを含んでもよい。表示命令は、例えば、図１のＨＭＤ１００に含まれる処理デバイスから、またはそれとの無線もしくは有線通信で受信されてもよい。表示命令は更に、作動システムを活性化させることによって、プロジェクタ２１０を移動させる、または導波路２２０を移動させる命令を含んでもよい。コントローラ２３０は、本開示の他の態様を分かりにくくしないように、本明細書には明示的に示されないハードウェア、ソフトウェア、および／またはファームウェアの組合せを含んでもよい。

マルチプロジェクタヘッドマウントディスプレイ
図３は、ＨＭＤ３００の特定の構成要素の配置を含む、ＨＭＤ３００の一例を示している。例えば、図３は、それぞれの目に対して複数のプロジェクタを有するＨＭＤ３００の配置を示している。上述したように、また本明細書に更に詳細に記載するように、ＨＭＤは、ヘッドセットＣＰＵによって連係される複数のプロジェクタ集積回路（内部構成要素をそれぞれ備える）を備えてもよい。図示される実施形態では、ＨＭＤ３００は、１つのヘッドセットＣＰＵ３１０と４つのプロジェクタ３３０とを含み、各プロジェクタ３３０は１つのワープエンジン３２０を含む。後述するように、ワープエンジン３３０は、迅速に更新されたフレームを生成し、ユーザに対して投影する、ＮＥＤとともに使用されるディスプレイシステムの構成要素であってもよい。特定の実施形態では、ＨＭＤ３００を構成するヘッドセットＣＰＵ３１０およびプロジェクタ３３０は、１つまたは複数の集積回路を通して実現されてもよい。例えば、ヘッドセットＣＰＵ３１０とは別個のプロジェクタ３３０と統合されるものとして示されるが、ワープエンジン３２０は、ヘッドセットＣＰＵ３１０と同じＩＣによって実施される一連の動作として具体化されてもよい。図３に示されるＨＭＤ３００の構成要素の多くの好適な配置が可能であってもよい。

ＨＭＤ３００は、閲覧者のそれぞれの目が、複数のプロジェクタ３３０によって放射される画像を受信するように構成されてもよい。閲覧者のＦＯＶ（および各プロジェクタ３３０の関与の範囲）は分割されてもよい。ＦＯＶは、均等に分割されてもよく、またはいくつかの実施形態では、閲覧者が画像を見るのに時間を費やす可能性が高い範囲に対するバイアスを有して分割されてもよい。更に、各プロジェクタ３３０の関与の範囲は１つまたは複数の他のプロジェクタ３３０と重なり合ってもよい。それぞれの目に２つのプロジェクタ３３０がある場合（図３に図示）、視野は、様々な構成要素の位置およびプロジェクタによって放射される光をユーザに方向付けるのに関与する導波路の構成に基づいて、（図示される実施形態のように）垂直に分割されるか、または水平に分割されてもよい。特定の実施形態では、各ワープエンジン３２０は複数のプロジェクタ３３０に対応してもよい。詳細に後述するように、各プロジェクタは１つまたは複数の色を放射してもよい。例えば、それぞれの目に対して単一のワープエンジン３２０が、または更にはＨＭＤ３００全体に対して単一のワープエンジンがあってもよい。特定の実施形態では、複数のヘッドセットＣＰＵ３１０があってもよい。例えば、ユーザのそれぞれの目に対する画像を処理する１つのヘッドセットＣＰＵ３１０があってもよい。

人工現実に対するレンダリングフレーム
人工現実（例えば、ＡＲ、ＶＲ、ＭＲ）技術は、その始まり以来、ＡＲ／ＶＲ／ＭＲシーンのユーザ視点における急激な変化に応答して、ＡＲ／ＶＲ／ＭＲオブジェクトをレンダリングする際のレイテンシの問題に悩まされてきた。没入型環境を作り出すため、ユーザは、シーンを見るときに目または頭部を諸所に動かせることが必要なことがあり、環境は、ユーザに提示される視像を調節することによって即時に応答するのが必要なことがある。それぞれの目の動きまたは頭部の動きは、シーンのユーザ視点をわずかに変化させることがある。これらの動きは小さいが散発性で、予測が困難なことがある。解決すべき問題は、目／頭部の動きが急に起こることがあり、動きとともに起こる視点の変化を計算に入れるようにシーンの視像を素早く修正する必要があることである。これが十分に素早く行われなかった場合、結果として生じるレイテンシによってユーザが感覚的な不協和を体験し、それが仮想現実酔いもしくは不快感に結び付くか、または少なくとも体験の没入性を損なう場合がある。

したがって、人工現実体験の品質は、人工現実シーンをレンダリングし表示するのに使用される技術の制限によって限定される。ユーザの視点の変化を計算に入れた視像全体の再レンダリング（例えば、ポリゴンから仮想オブジェクトを生成する）は資源集約的なことがあり、比較的低いフレーム率（例えば、６０Ｈｚ、即ち１／６０秒ごとに１回）でしか実行できないことがあり、一部のユーザにとっては検出して現実と判別するのに十分な低速である。例えば、視像は数十の仮想オブジェクトを含んでもよく、それぞれが数百または数千の個々のポリゴンによって提示されてもよい。視点のシフトの影響を適切に決定するには、閲覧者の位置に関する新しい入力情報を用いて数千のポリゴンを再びレンダリングしなければならない。この処理は、相当量の計算能力を要し、３０～６０Ｈｚに限定される場合が多い、レンダラの最大出力を限定する。高フレーム率に達するのに十分な出力を有するレンダラは、商業的に実現不可能な場合が多いか、または消費電力を注意深くモニタリングするのが必要なことがある、ラップトップシステムもしくはＨＭＤを含む可搬型の操作など、特定の使用例に適さない。

より迅速に更新しなければならない（例えば、目の小さい動きに対して調節する）レンダリングプロセスのステップが、ＨＭＤの特殊なＡＳＩＣで、場合によっては目自体のより近くで実施される、仮想シーンのレンダリングおよび再レンダリングの作業負荷を分割するのが有益なことがある。他のより計算集約的なタスク（例えば、ポリゴンから仮想オブジェクトをレンダリングする）は、１つまたは複数の他のレンダリング構成要素によって実施され、更にＨＭＤから除去されてもよい。レンダリング構成要素はＨＭＤと無線または有線通信してもよい。本明細書に記載される実施形態は、作業負荷の分割、ならびに主要レンダリングエンジン、ヘッドマウントディスプレイ、およびそれらの下位構成要素を含む、人工現実システムの特殊な構成要素の設計および実現に関連する。

主要レンダリングエンジン
特定の実施形態では、レンダリングエンジンは閲覧者に対して表示される画像を作成してもよい。レンダリングエンジンは、主要画像フレームを生成する任意の好適な構成要素であってもよい。例えば、レンダリングエンジンは、ラップトップもしくはデスクトップコンピュータ、ビデオゲームコンソール、または他の任意の好適なローカルグラフィックスレンダリングシステムなど、スタンドアロンデバイスのグラフィックス処理装置を備えてもよい。レンダリングエンジンは、携帯電話、タブレット、または他の任意の好適なコンパクトグラフィックスレンダリングシステムなど、ユーザの身体に簡単に着用されるデバイスを備えてもよい。特定の実施形態では、レンダリングエンジンは、複数のポリゴン（もしくはポリゴンの頂点）ならびに関連する色データおよびレンダリング命令によって規定される三次元（「３Ｄ」）モデルに基づいて、インタラクティブグラフィックスのリアルタイムレンダリングが可能であってもよい。レンダリングエンジンは更に、仮想シーンへの閲覧者の視点（例えば、仮想シーンの残りに対するユーザが着用しているＨＭＤの場所）に関する情報を受信してもよい。レンダリングエンジンは、ポリゴンおよび色データを処理し、レンダリングデータを作成してもよい。高品質で複雑な仮想オブジェクトのレンダリングの高い処理要件により、レンダリングエンジンは、比較的低速、例えば３０～６０Ｈｚでフレームをレンダリングすることができてもよい。特定の実施形態では、レンダリングエンジンによって生成されるレンダリングデータは、ピクセル色値、ピクセル色位置、または画像フレームと関連付けられた１つもしくは複数の他のデータプライマリを含んでもよい。

レンダリングエンジンは、レンダリング要求に対する主要レンダリングデータを受信してもよい。主要レンダリングデータは、二次元もしくは三次元モデル、テクスチャ、コンピュータ生成画像をレンダリングする命令、および他の好適な情報を含んでもよい。レンダリングエンジンは、受信した主要レンダリングデータに基づいて、人工現実シーンの態様をレンダリングするステップを実施してもよい。例えば、レンダリングエンジンは、レイトレーシング、ラスタ化、または他の好適な技術を使用して、仮想シーンにおける仮想オブジェクトのどの３Ｄモデルのどのポリゴンがディスプレイのどのピクセルを通して見えるかを決定する、視認性計算を実施してもよい。視認性決定に基づいて、レンダリングエンジンは、シェーディング計算を実施して、各ピクセルに適切な色を決定してもよい。特定の実施形態では、レンダリングエンジンは、圧縮または復元されたストリーミング映像データを処理してもよい。レンダリングエンジンは、ユーザに対して表示する画像を生成するのに人工現実システムの他の構成要素によって使用されてもよい、画像フレームまたは他のデータを作成してもよい。

表面
特定の実施形態では、レンダリングエンジンの出力は、ワープエンジンまたはディスプレイシステムによって使用される、１つまたは複数の特殊なオブジェクトプリミティブ、例えば「表面」を含んでもよい。表面は、人工現実シーンの１つまたは複数の仮想オブジェクトをレンダリングするのに使用される情報を含んでもよい。一例として、レンダリングエンジンは、一般的なレンダリングパイプラインのように、最初に３Ｄモデルから２Ｄ画像をレンダリングすることによって、表面を生成してもよい。レンダリングエンジンは次に、追加の後処理方法を使用して、２Ｄ画像から表面を生成してもよい。別の例として、レンダリングエンジンは、２Ｄ画像のレンダリングのみを対象とした追加ステップを排除して、３Ｄモデルから表面を直接出力してもよい。別の例として、レンダリングエンジンは、３Ｄモデルからワープエンジンに２Ｄ画像を出力してもよい。ワープエンジンは、２Ｄ画像に基づいて、追加の後処理方法を使用して表面を生成してもよい。

表面は、人工現実シーンの１つまたは複数の仮想オブジェクトをレンダリングするのに有用な情報を含んでもよい。情報は、仮想カメラ／閲覧者に対する視像空間の座標系において指定される、シーンにおける表面の場所および／または位置データを含んでもよい。あるいは、表面の場所は、世界空間座標系など、他の任意の好適な座標系で指定されてもよい。表面は更に、１つまたは複数のテクセルアレイによって提示されるテクスチャデータを含んでもよい。したがって、特定の実施形態では、「表面」は、シーン内におけるその場所を指定する変換行列を有する長方形のテクスチャと見なされてもよい。テクセルアレイの各テクセルは、色情報およびテクセルアレイ内の２Ｄ座標（例えば、（ｕ，ｖ）座標で指定される）を有してもよい。特定の実施形態では、各テクセルの色情報は、いくつかの色チャネル（例えば、赤、緑、および青）の強度と、テクセルの透明度（例えば、完全透明、完全不透明、またはそれらの間のどこか）を示すアルファ情報とを示してもよい。他の実施形態では、テクセルの色情報は、透明度を別個に指定することなく、赤、緑、および青の強度を示してもよい。この場合、各色の値は、テクセルの関連する透明度によって前乗算されてもよい（例えば、テクセルが完全に透明でアルファレベルが０の場合、そのテクセルの赤、緑、および青の値は０アルファレベルで乗算することによって全てゼロにされる）。

表面のテクスチャデータは、グラフィックスレンダリングパイプラインの結果に基づいて生成されて、三次元シーンの閲覧者の視点に基づいて、ディスプレイまたは画像のピクセルによって表示されるべき色を最適に決定する技術が具体化されてもよい。特定の実施形態では、性能需要を満たすことができるように（例えば、ワープエンジンが適切な速度でフレームを出力してもよいように）シーンの十分な単純性を確保するため、表面は限定されてもよい（例えば、最大１６の表面または他の任意の好適な数の表面）。したがって、人工現実シーンの特定の仮想オブジェクトがグループ化されてもよい。各表面は、（例えば、ユーザ頭部のＨＭＤが別の位置および／または向きに動くことによって）シーンのユーザ視点が変化した結果として、１つのユニットとして、ともに移動／並進、斜行、拡大縮小、歪曲、または別の形で外見が変化することが予期される、シーン内の１つもしくは複数のオブジェクトまたはポイントのセットの表現であってもよい。

レンダリングエンジンは、１つもしくは複数の有線または無線接続を通してＨＭＤと通信してもよい。特定の実施形態では、ユーザは、ユーザの必要性に基づいて、レンダリングエンジンおよびＨＭＤ１００がどのように通信するかを選択することができてもよい。特定の実施形態では、ワープエンジン（例えば、ワープエンジン３２０）はＨＭＤに組み込まれてもよい。ワープエンジンは、表面および他のレンダリング命令などのデータを、レンダリングエンジンから受信するように構成されてもよい。特定の実施形態では、ワープエンジンおよびディスプレイシステムは、単一の集積回路または集積回路のセットによって動作が共有される、論理ブロックであってもよい。ＨＭＤは更に、追加の画像処理構成要素、移動検出構成要素、配向検出構成要素、アイトラッキング構成要素、熱検出構成要素、他の任意の好適な構成要素、またはそれらの任意の組合せを含む、人工シーンのレンダリングおよび表示を容易にする、追加の構成要素を備えてもよい。

プロジェクタアーキテクチャ
上述したように、本開示は、ＨＭＤの構成要素の設計および配置に関する。１つのかかる構成要素は、本明細書では、「プロジェクタ集積回路」または「プロジェクタ」として記載される。プロジェクタは、主要レンダリングエンジンから受信した画像データをユーザ（例えば、ＨＭＤの着用者）に表示される画像に変換するのに必要な、タスクを取り扱う構成要素を備えてもよい。これらのタスクは、仮想シーンに対するユーザの位置の変化を考慮に入れるように画像データに修正を加えること、画像データの表面をサンプリングしてピクセル色を決定すること、様々な画像処理技術を適用してピクセル色を補正し拡張すること、ピクセル色を光エミッタのアレイに対する命令に変換すること、および（例えば、導波路構成を通して）着用者に光を放射することを含んでもよいが、必ずしもそれらに限定されない。

図４は、ＨＭＤに組み込まれてもよい、プロジェクタ４００（例えば、プロジェクタ３３０）の例示のアーキテクチャを示している。プロジェクタ４００は、ワープおよびバックプレーン制御ＩＣ４０５と、１つまたは複数のバックプレーンコントローラ、例えばμＬＥＤバックプレーンＩＣ４５０、４６０、および４７０とを含んでもよい。図４に示されるアーキテクチャは、単色μＬＥＤアクティブマトリックス４５７をそれぞれ備えた３つのμＬＥＤバックプレーンＩＣ４５０、４６０、および４７０にデータを提供する、単一のワープおよびバックプレーン制御ＩＣ４０５を特徴とする。加えて、または代わりに、他のいくつかの好適な表示技術が使用されてもよい（例えば、ＬＥＤ、ＯＬＥＤ、ＬＣＤ、ＬＣＯＳ、ＤＭＤなど）。μＬＥＤバックプレーンＩＣは、単色μＬＥＤマトリックスの色によって特定されてもよい。例えば、μＬＥＤバックプレーンＩＣ４５０は赤のμＬＥＤマトリックス４５７を備えてもよく、μＬＥＤバックプレーンＩＣ４６０は緑のμＬＥＤマトリックスを備えてもよく、μＬＥＤバックプレーンＩＣ４７０は緑のμＬＥＤマトリックスを備えてもよい。μＬＥＤアクティブマトリックス４５７の色の違い以外は、μＬＥＤバックプレーンＩＣは同一の構成要素を備えてもよい。異なる色のμＬＥＤマトリックスが機能するのを可能にするため、構成の何らかの違いが求められる場合、図示されない場合であっても含まれることが理解されるべきである。

ワープおよびバックプレーン制御ＩＣ
ワープおよびバックプレーン制御ＩＣ４０５は、ワープエンジン４１０とディスプレイドライバＩＣ４２０とを備えてもよい。ワープエンジン４１０は、（例えば、ビットマップファイル形式の形態の）ＲＧＢ色データ４１１入力ストリームを３０～９０Ｈｚの速度（例えば、毎秒３０～９０フレーム）で受信するように構成されてもよい。ワープエンジン４１０によって受信される各フレームに対して、ワープエンジン４１０は数十のサブフレームを準備し出力してもよい。ワープエンジン４１０は、色データを処理し、１２０Ｈｚ～１０ｋＨｚ（例えば、１２０～１０，０００ｓＦＰＳ）の速度で表示される画像のサブフレームを作成してもよい。各サブフレームは、元のフレームをベースとして使用し、フレームの表面に幾何学的ワープを実施して、フレームが作成されてからの仮想シーンに対する閲覧者の位置の変化に合わせて調節してもよい。ワープエンジン４１０によって作成されるサブフレームは、ディスプレイドライバＩＣ４２０に提供されてもよい。ディスプレイドライバＩＣ４２０は、ワープエンジン４１０とμＬＥＤバックプレーンＩＣ４５０、４６０、および４７０との間にインターフェースを提供する。ディスプレイドライバＩＣ４２０はまた、μＬＥＤバックプレーンＩＣの特殊性を考慮に入れて、ディザリングおよび不均一性補正動作を実施してもよい。

ワープエンジン
特定の実施形態では、ワープエンジン４１０は、人工現実システム（例えば、ＨＭＤ）のユーザに示される画像を決定してもよい。特定の実施形態では、ワープエンジン４１０は、画像データおよび他の受信情報に基づいて、画像の１つまたは複数の三次元幾何学的ワープを計算してもよい。これらの動作は、ユーザに表示される画像の品質および／または精度を改善（例えば、空間におけるユーザの物理的位置に対する画像の配置を改善）してもよい。ワープエンジン４１０は４つの上位ブロックを備えてもよい。図４に示されるように、これらのブロックは、制御ブロック４１３、変換ブロック４１５、ピクセルブロック４１７、および表示ブロック４１９を含んでもよい。ワープエンジン４１０の構成要素のうちの１つまたは複数は、１つもしくは複数の高速バス、共有メモリ（例えば、テクスチャメモリ４１４）を介して、または他の任意の好適な方法を通して、通信するように構成されてもよい。特定の実施形態では、ワープエンジン４１０の制御ブロック４１３は、２つ以上の鏡映パイプライン（図示せず）の変換ブロック４１５、ピクセルブロック４１７、および表示ブロック４１９と通信するように構成されてもよい。特定の実施形態では、ワープエンジン４１０の各パイプラインは、ユーザの左目および右目、またはその一部分に対応する別個の表示のために画像を準備する専用のものであってもよい。この通信は、データならびに制御信号、割込み、および他の命令を含んでもよい。パイプラインは、他のものとは独立して動作することができてもよい。

特定の実施形態では、制御ブロック４１３は、入力データストリームをレンダリングエンジンから受信し、ワープエンジン４１０のパイプラインを初期化してフレームを表示に合わせて調節してもよい。特定の実施形態では、入力データストリームは、ＲＧＢデータ４１１および主要レンダリング構成要素からの制御パケットなどのデータを含んでもよい。ＲＧＢデータ４１１および制御パケットは、テクスチャデータおよび位置データを含む１つまたは複数の表面ならびに追加のレンダリング命令などの情報を含んでもよい。制御ブロック４１３は、制御ブロック４１３のテクスチャバッファ４１４を通して、必要に応じてワープエンジン４１０の１つまたは複数の他のブロックにデータを分配してもよい。制御ブロック４１３は、表示される１つまたは複数のフレームに対するパイプライン処理を開始してもよい。特定の実施形態では、ＨＭＤは複数のワープエンジン４１０を備えてもよく、それぞれが独自の制御ブロック４１３を備えてもよい。

特定の実施形態では、ワープエンジン４１０の変換ブロック４１５は、人工現実シーンで表示される表面に対する初期視認性情報を決定してもよい。一般に、変換ブロック４１５は、ディスプレイ上のピクセル位置から光線をキャストし、フィルタコマンド（例えば、双線形または他のタイプの補間技術に基づいたフィルタ処理）を作成して、ピクセルブロック４１７に送ってもよい。変換ブロック４１５は、（例えば、慣性測定ユニット、アイトラッカー、ならびに／または同時ローカリゼーションおよびマッピングなど、任意の好適な追跡／ローカリゼーションアルゴリズムを使用して決定される）ユーザの現在の視点から、表面が位置付けられる人工シーンへのレイキャスティングを実施してもよく、結果を作成してピクセルブロック４１７に送ってもよい。

一般に、変換ブロック４１５は、特定の実施形態に従って、４段階のパイプラインを備えてもよい。変換ブロック４１５の段階は次のように進んでもよい。レイキャスタは、１つまたは複数の整列されたピクセルのアレイ、即ち「タイル」に対応する光束を発行してもよい。光束は、１つまたは複数のディストーションメッシュに従って、人工現実シーンに入る前にワープさせてもよい。ディストーションメッシュは、少なくとも、ＨＭＤのディスプレイまたは導波路から生じる、幾何学的歪曲の影響を補正するように構成されてもよい。変換ブロック４１５は、各タイルの境界ボックスを各表面に対する境界ボックスと比較することによって、各光束がシーンの表面と交差するか否かを決定してもよい。光束が表面と交差しない場合、破棄してもよい。タイル・表面間の交差が検出され、対応するタイル・表面対がピクセルブロック４１７に渡されてもよい。

一般に、ピクセルブロック４１７は、特定の実施形態に従って、タイル・表面対から色値を決定して、ピクセル色値を作成してもよい。各ピクセルの色値は、（例えば、入力データストリームの一部として）制御ブロック４１３によって受信され格納された表面のテクスチャデータからサンプリングされてもよい。ピクセルブロック４１７は、タイル・表面対を変換ブロック４１５から受信し、双線形フィルタ処理をスケジューリングしてもよい。各タイル・表面対に対して、ピクセルブロック４１７は、投影されたタイルが表面と交差する場所に対応する色値を使用して、タイル内のピクセルの色情報をサンプリングしてもよい。特定の実施形態では、ピクセルブロック４１７は、各ピクセルに対して別個に、赤、緑、および青の色成分を処理してもよい。ピクセルブロック４１７は次に、ピクセル色値をワープエンジン４１０の表示ブロック４１９に出力してもよい。

一般に、表示ブロック４１９は、ピクセル色値をピクセルブロック４１７から受信し、データのフォーマットをディスプレイドライバＩＣ４２０に出力するのにより適したものに変換し、１つまたは複数の輝度補正をピクセル色値に適用し、ディスプレイドライバＩＣ４２０に出力するようにピクセル色値を準備してもよい。特定の実施形態では、表示ブロック４１９は、ピクセルブロック４１７によって生成されたタイル順ピクセル色値を、ディスプレイによって必要とされることがある走査線または行順のデータに変換してもよい。輝度補正は、輝度補正、ガンママッピング、および特定のディザリング動作を含んでもよい。特定の実施形態では、表示ブロック４１９は、補正されたピクセル色値を、より高速（例えば、１２０～１０，０００ｓＦＰＳに対応する１２０Ｈｚ～１０ｋＨｚ）でディスプレイドライバＩＣ４２０に提供してもよい。

ディスプレイドライバ集積回路－ディザリングおよび不均一性補正
ワープおよびバックプレーン制御ＩＣ４０５は、様々な画像処理技術を実施するディスプレイドライバ集積回路４２０を備えてもよい。理解を容易にするため、ディスプレイドライバＩＣ４２０は別個の集積回路として考察されるが、ディスプレイドライバＩＣ４２０の要素および機能は、ワープおよびバックプレーン制御ＩＣ４０５に直接組み込まれた類似の構造によって実施されてもよいことに留意されたい。表示ブロック４１９の出力は、ワープおよびバックプレーン制御ＩＣ４０５のディスプレイドライバＩＣ４２０の画像処理ブロック４３０に提供されてもよい。画像処理ブロック４３０は、ワープエンジン４０５の表示ブロック４１９からディスプレイドライバＩＣ４２０に渡されたサブフレーム画像に対して、ディザリングおよび不均一性補正動作を実施してもよい。

画像処理ブロック４３０は、サブフレーム内のピクセル色値に対するディザリングを実施してもよい。サブフレームの各ピクセル（それぞれ、場合によってはμＬＥＤアレイのμＬＥＤに対応する）に対して、画像処理ブロック４３０は、ディスプレイに利用可能な正確さ（例えば、μＬＥＤアレイのμＬＥＤによって再現可能な色の正確さ）と一致するように、デジタルピクセル色値を量子化してもよい。量子化された色は、量子化された値と指定のピクセル色値との違いである誤差を生じることがある。誤差は、μＬＥＤの周りの１つまたは複数のμＬＥＤに伝播されてもよい。この伝播された誤差は、周囲のμＬＥＤの最終色に組み込まれてもよい。特定の実施形態では、誤差は、ワープエンジン４１０から受信される１つもしくは複数の今後のフレームまたはサブフレームに伝播されてもよい。

高いサブフレーム率は、人間の目が通常判別できるよりもはるかに高い速度で作成される個々のサブフレームを含むことがあるので、閲覧者の目は、表示画像を見るときに複数の表示されたサブフレームを統合してもよい。これにより、知覚されるフレームは複合される。例えば、２つ以上のサブフレーム間における（例えば、同じピクセル位置の色の）小さい差は、閲覧者の目によって統合されてもよい。画像処理ブロック４３０は、この解釈プロセスを利用して、１つもしくは複数のピクセル色（例えば、固定のμＬＥＤのアレイ内）の表示の位置および／または時間（例えば、サブフレームの数）を調節して、特定の視覚効果を作成してもよい。かかる効果は、例えば、μＬＥＤアレイのμＬＥＤに物理的に利用可能なものよりも精細なグラデーションで色を表示することを含んでもよい。したがって、単一フレームの空間ディザリングに加えて、ディザリングブロック３４５は、「三次元ディザリング」を実施することができてもよい。三次元ディザリングでは、誤差は、（水平および垂直軸に沿った）２つの空間的次元、および（第１のサブフレームと１つもしくは複数の後続のサブフレームとの間の）時間的次元で伝播されてもよい。

画像処理ブロック４３０はまた、ディスプレイの不均一性を補正してもよい。不均一性は、例えば、非限定的に、１つまたは複数の誤動作するμＬＥＤ（例えば、駆動電流に応答して限定された光しか作成しないかもしくは光を作成しないμＬＥＤ）、ディスプレイの色歪（例えば、駆動電流が増加および／または減少する際に色歪を表示するμＬＥＤ）、ディスプレイの製造誤差、色特異的なμＬＥＤの間で変動するピクセル幾何学形状、色特異的なμＬＥＤの間のピクセル間隔、ならびに他の潜在的な不均一性のホストを含んでもよい。高いサブフレーム率は、ユーザが知覚することなく不均一性を補正する機会を提供してもよい。

特定の実施形態では、一部のタイプの不均一性はワープエンジン４１０によって補正されてもよく、一部のタイプの不均一性は画像処理ブロック４３０によって補正されてもよい。サブフレーム間でのばらつきが少ないことが予期される不均一性は、ワープエンジン４１０によって補正されてもよい。例えば、ディスプレイの導波路または発光構成要素と関連付けられた光学部品によって導入される不均一性は、ワープエンジン４１０によって補正されてもよい。これらの不均一性は、フレームの指定されたピクセル色値にかかわらず一貫して測定されてもよいので、より高出力のワープエンジン４１０によって補正されてもよい。μＬＥＤアレイの誤動作するμＬＥＤによって導入される不均一性は、画像処理ブロック４３０によって補正されてもよい。

特定の実施形態では、様々な不均一性を補正し、色値誤差を伝播するのに必要なマスクは、ディスプレイドライバＩＣ４２０の不均一性メモリ４３３および誤差伝播メモリ４３５にそれぞれ格納されてもよい。特定の実施形態では、不均一性メモリ４３３は、各サブフレーム変換のジャストインタイム計算の必要性を低減する、事前計算されたマスクを格納する７．５ＭＢのバッファであってもよい。特定の実施形態では、誤差伝播メモリ４３５は、以前に計算された誤差伝播値を格納する、ディスプレイドライバＩＣ４２０の５ＭＢのバッファであってもよい。例えば、各ピクセル位置に関して、誤差値の一部分は時間誤差伝播に対して指定されてもよい。次のサブフレームの画像を処理しながら、画像処理ブロック４３０は、いくつかまたは全てのピクセル位置の誤差値を検索してもよい。この指定された過去の誤差値は、現在のサブフレームのディザリングとともに使用されてもよい。時間ディザリングに対して指定された現在のサブフレームからの任意の誤差値は、画像処理ブロック４３０が次のサブフレームをディザリングしている間にアクセスされる、誤差伝播メモリに再び格納されてもよい。画像処理ブロック４３０の出力は、サブフレームに対する１つまたは複数の個々のμＬＥＤ色命令であってもよい。特定の実施形態では、ワープエンジン４１０から受信した画像がまだ単色成分に分割されていない場合、画像処理ブロック４３０、またはディスプレイドライバＩＣ４２０の別の構成要素は、画像が単色μＬＥＤアクティブマトリックス４５７に対応するμＬＥＤバックプレーンＩＣ（例えば、４５０、４６０、または４７０）に渡されてもよいように、色を２つ以上の単色部分に分離してもよい。

画像処理ブロック４３０の出力がディスプレイドライバＩＣ４２０から送られる前に、ディスプレイインターフェースシリアライザ４４０を通過してもよい。ディスプレイインターフェースシリアライザ４４０は、画像処理ブロック４３０から受信した並列化データを、μＬＥＤバックプレーンＩＣ４５０により簡単に送信されてもよい直列化フォーマットに変換してもよい。データを送信前に直列化することで、例えば、ワープおよびバックプレーン制御ＩＣ４０５を各μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０に接続する信号線（例えば、ピン）の数を低減することによって、チップ設計全体の複雑さが低減されてもよい。これは次に、製造誤差の機会を減少させることによって、コストを低減し、歩留まりを増加させる助けとなってもよい。μＬＥＤバックプレーンＩＣ４５０のデシリアライザ４５３は、直列化データストリームを受信し、それを、μＬＥＤバックプレーンＩＣ４５０の残りの構成要素によって使用するのに適した並列化ストリームに戻してもよい。

μＬＥＤバックプレーン集積回路
プロジェクタのμＬＥＤ集積回路は、データおよび制御信号をワープおよびバックプレーン制御ＩＣ４０５から受信し、データおよび制御信号をユーザに表示される光に変換する要素を備えてもよい。図４は、プロジェクタ４００のワープおよびバックプレーン制御ＩＣ４０５ならびにμＬＥＤバックプレーンＩＣ４５０、４６０、および４７０の１つの潜在的な配置を示している。いくつかの実施形態では、図４に示されるように、１つのワープおよびバックプレーン制御ＩＣ４０５は、いくつかのμＬＥＤバックプレーンＩＣ４５０、４６０、および４７０とインターフェース接続するように構成されてもよい。プロジェクタ４００の場合、各μＬＥＤバックプレーンＩＣは異なる単色μＬＥＤアクティブマトリックス４５７を備える（μＬＥＤバックプレーンＩＣ４５０は赤のμＬＥＤアクティブマトリックスを備え、μＬＥＤバックプレーンＩＣ４６０は緑のμＬＥＤアクティブマトリックスを備え、μＬＥＤバックプレーンＩＣ４７０は青のμＬＥＤアクティブマトリックスを備える）。上述したように、これらのμＬＥＤマトリックスから放射された光は、閲覧者のアイボックスに送られる前に導波路システムを通して組み合わされてもよい。いくつかの実施形態では、単一のワープおよびバックプレーン制御ＩＣ４０５が単一のμＬＥＤバックプレーンＩＣ４５０とインターフェース接続してもよい。μＬＥＤバックプレーンＩＣ４５０は次に、単一のμＬＥＤアクティブマトリックスを備えてもよく、それが次いで単色または多色性（例えば、いくつかの層状μＬＥＤアクティブマトリックスで構成される）であってもよい。本明細書で説明するのと同じ原理が全ての想到される組合せに当てはまってもよい。

単一のμＬＥＤバックプレーンＩＣ４５０に関するアーキテクチャについて記載する。同じ概念が、必要に応じて、プロジェクタ４００の残りのμＬＥＤバックプレーンＩＣ（例えば、μＬＥＤバックプレーンプロジェクタＩＣ４６０および４７０）に容易に使用されてもよいことが理解されるべきである。画像データ（例えば、ピクセル色値）は、μＬＥＤバックプレーンＩＣ４５０に送信されてもよい。データが（例えば、ワープおよびバックプレーン制御ＩＣ４０５のシリアライザ４４０によって）直列化されている場合、データは、μＬＥＤバックプレーンＩＣ４５０のデシリアライザ４５３によって逆直列化されてもよい。上述したように、直列化は、データを送信するのに必要なアクティブな信号線の数を低減してもよく、ピン数の観点からより効率的であってもよい。しかしながら、データは次に、逆直列化を要することがあるので、パルス幅変調制御ブロック４５５およびμＬＥＤアクティブマトリックス４５７を含む、μＬＥＤバックプレーンＩＣ４５０の残りの構成要素によって使用されることがある。逆直列化データは、パルス幅変調（ＰＷＭ）制御ブロック４５５に渡されてもよい。

ＰＷＭ制御ブロック４５５は、色データを解釈し、μＬＥＤアクティブマトリックス４５７のμＬＥＤを使用してパルス幅変調を実施するのに必要な制御命令を提供してもよい。特定の実施形態では、ＰＷＭ制御ブロック４５５は、ピクセル色値および他の制御命令を、μＬＥＤアクティブマトリックス４５７によってアクセスされるメモリにロードしてもよい。データがロードされた後、色データおよび命令に従って、μＬＥＤアクティブマトリックス４５７のμＬＥＤが照明されてもよい。例えば、ＰＷＭ制御ブロック４５５は、閲覧者の目が照明されたディスプレイのみを知覚する（例えば、μＬＥＤの明滅は知覚しない）ような十分な高速でμＬＥＤが照明されてもよいように、タイミングおよび色命令を提供してもよい。本開示はＰＷＭを表示規制技術として使用することを記載しているが、光源の照明を制御する他の方策も使用されてもよい。特定の実施形態では、μＬＥＤアクティブマトリックス４５７は、データがワープエンジン４１０によって出力される速度（例えば、１２０Ｈｚ～１０ｋＨｚ、または１２０～１０，０００ｓＦＰＳ）に合わせてサブフレームを受信し表示するように構成されてもよい。

フレームおよびサブフレームのタイミング
本開示は、２つの異なるフレーム率で画像フレームデータを生成し受信する構成要素を想到しているので、以下は、ディスプレイシステム内におけるサブフレーム率（例えば、アップサンプリングされたフレーム）の効果の簡単な説明および例である。図５は、ディスプレイシステムによって受信され表示される、２つのフレームの例示のレンダリングタイムラインを示している。タイムライン５００は、単一のフレームに対する時間量を示す。示されるように、ディスプレイは、毎秒３０～９０フレームの入力フレーム率（３０～９０Ｈｚ）でフレームを受信してもよい。入力フレーム率は、更新またはリフレッシュされたフレームデータが受信される頻度を示してもよい。例えば、フレーム（またはフレームのレンダリングを許可するデータ）は、レンダリングエンジンによってレンダリングされ、ＨＭＤに送られて表示されてもよい。入力フレーム率は、レンダリングされたデータがＨＭＤによって受信される頻度を表してもよい。

タイムライン５１０は、標準的なディスプレイで受信されたフレームに対応して、１つまたは複数の光エミッタ（例えば、ＬＥＤ）が光を放射してもよい時間量を示し、これは光エミッタのオンタイムと呼ばれることがある。ＬＥＤのオンタイムは、電流がＬＥＤによって受信された後に、指定された輝度閾値を超える光をＬＥＤが出力している時間を指すことがある。したがって、タイムライン５１０は、ＬＥＤが光を放射し始めているが指定された輝度では放射していない時間を含まないことがある。特定の実施形態では、標準的なディスプレイにおけるＬＥＤのオンタイムは、６～２８ｍｓ（３５～１６７Ｈｚに対応する）であってもよい。タイムライン５２０は、ＬＥＤのオフタイムを示す。ＬＥＤのオフタイムは、電流がＬＥＤに供給されなくなっているなどの理由で、ＬＥＤが光を放射していない時間を指すことがある。特定の実施形態では、標準的なディスプレイにおけるＬＥＤのオフタイムは、約５ｍｓであってもよい。ＬＥＤのオフタイムの間、レンダリングエンジンからの更新が受信されてもよく、その後のフレームデータが表示のために準備されてもよい。やはりオフタイムの間、フレームデータに対する更新がレンダリングエンジンまたはＨＭＤによって適用されてもよい。これらの更新は、テクスチャデータに対する更新、または可変焦点レンズをシミュレートするのを可能にする調節を含んでもよい（もしくは物理的可変焦点レンズの場合、レンズは適宜動かされてもよい）。

タイムライン５３０は、特定の実施形態によるサブフレームディスプレイに割り当てられる時間量を示す。特定の実施形態では、ディスプレイシステムは、入力フレーム率（例えば、３０～９０Ｈｚ）でフレームを受信し、フレームをいくつかのサブフレームにアップサンプリングしてもよい。サブフレームをアップサンプリングし表示することによって、ディスプレイは、有効なまたは知覚されるフレーム率を増加させてもよい。特定の実施形態では、サブフレーム率は１２０Ｈｚ～１０ｋＨｚであってもよい。サブフレーム率は、具体的には、ディスプレイの光エミッタの応答時間を利用するように構成されてもよい。特定の実施形態では、ディスプレイのＬＥＤは、供給された入力フレーム率でフレームを表示するのに要する時間をはるかに下回る、パワーサイクル時間（例えば、オフからオンになり、再びオフになるまでの時間）を有してもよい。これに基づいて、ディスプレイシステムは、ＬＥＤによって表示される入力フレーム更新の間（例えば、３０～９０Ｈｚよりも高速）に、フレーム画像データを修正するように構成されてもよい。例えば、入力フレーム更新の間には、タイムライン５４０によって示されるように、レンダリングエンジンによって提供されるデータに対して、（例えば、ワープエンジン４１０によって）幾何学的ワーピングが実施されてもよい。幾何学的ワーピングの効果は、アップサンプリングされたサブフレーム率で表示されてもよい。オフタイム（タイムライン５５０によって示される）の間に新しいデータがレンダリングエンジンから受信されてもよいので、ディスプレイシステムによって追加の効果は適用されなくてもよい。

例示の集積回路
本開示は、ワープおよびバックプレーン制御ＩＣ４０５とμＬＥＤバックプレーンＩＣ（例えば、４５０）で使用されてもよい集積回路、ならびに前記集積回路の構成要素の様々な可能な設計を想到する。図６～図７は、バックプレーン制御ＩＣおよびプロジェクタＩＣの例示のアーキテクチャを示している。

バックプレーン制御ＩＣ
図６は、パルス幅変調を用いる、シリコンベースのバックプレーン制御ＩＣおよびアクティブμＬＥＤアレイ（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０）の、例示のブロックレベルレイアウト６００を示している。ブロック６１０は、直列化されたデータ（ワープおよびバックプレーン制御ＩＣ４０５のシリアライザブロック４４０によって直列化されたデータなど）を並列データへと逆直列化するデシリアライザである。逆直列化ブロック６１０は、シリアライザ４４０によって指定されたフォーマットからデータを逆直列化するように特別に構成されてもよい。したがって、逆直列化ブロック６１０およびシリアライザ４４０は、対にされるかまたはコデザインされたものと言うことができる。バックプレーン制御ＩＣ６００は、ＰＷＭを使用して、μＬＥＤアレイ６６０の出力を変調してもよい。タイミングコントローラ（ＴＣＯＮ）基板６５０は、列ドライバ基板６２０およびスキャニング行基板６３０に対するタイミング命令を提供してもよい。ＴＣＯＮ基板６５０は、例えば、ディスプレイドライバから受信した色データストリームによって命令されたような色を提供するのに、特定の光エミッタ（例えば、ＬＥＤ、ＯＬＥＤ、μＬＥＤなど）が照明されなければならない色および／または時間量に関する情報を提供してもよい。特定の実施形態では、タイミングコントローラ（ＴＣＯＮ）基板６５０はいくつかの個々のＴＣＯＮチップを備えてもよい。

ドライバ６２０は、μＬＥＤアクティブアレイ６６０のどのμＬＥＤ列が所与のサブフレームに対して照明されたμＬＥＤを含むかを示す、命令を受信してもよい。スキャニング行基板６３０は、μＬＥＤアクティブアレイ６６０の行を接地する命令（例えば、どの列のどのμＬＥＤを点灯させるかの命令）を受信してもよい。特定の実施形態では、アレイ６６０にはＭ列のμＬＥＤおよびＮ行が存在してもよく、ＭおよびＮは任意の好適な整数であってもよい。例えば、ディスプレイは、３８４０列のμＬＥＤと２１６０行のμＬＥＤ（例えば、４Ｋディスプレイ解像度）を備えてもよい。ディスプレイにとって有利であるとみなされる、より多数または少数のμＬＥＤが含まれてもよい。ＴＣＯＮ基板６５０は、スキャニング行ドライバ６３０にμＬＥＤアレイの行を循環させて、アレイの全てのμＬＥＤが適切な時間に発光することを確保する、タイミング命令を提供してもよい。バイアス電流ミラー６４０は、変動する駆動電流を受信し、ドライバ６２０および６３０によって変調される、μＬＥＤを駆動するのに適切なベース電流を出力してもよい。特定の実施形態では、バックプレーン制御ＩＣおよびアクティブμＬＥＤアレイ６６０は、ガラスベースの薄膜トランジスタバックプレーンとは対照的に、シリコンベースの薄膜トランジスタバックプレーンを用いて実現されてもよい。シリコンベースのバックプレーンは、μＬＥＤバックプレーンＩＣ６００がより小さい形状因子を有して、ディスプレイ品質を犠牲にすることなく製造の効率を向上しコストを低下させることを可能にしてもよい。

プロジェクタ－２．５Ｄおよび３Ｄ ＩＣ
図７は、ディスプレイシステムのプロジェクタ（例えば、プロジェクタ４００）の２つの配置７００および７１０を示している。配置７００および７１０は、機械的に支持し、ＩＣ同士の電気的接続に対応するためにプリント回路基板（ＰＣＢ）に搭載された、ワープおよびバックプレーン制御ＩＣ（例えば、ワープおよびバックプレーン制御ＩＣ４０５）と、いくつかのバックプレーン制御ＩＣ７４０、７５０、および７６０（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０）とを特徴とする。図４と同様に、バックプレーン制御ＩＣはそれぞれ単色μＬＥＤアレイに対応し、したがってそれぞれ、提供する色（例えば、赤、緑、または青）によって指定されてもよい。

配置７００は、３つのバックプレーン制御ＩＣ７４０、７５０、および７６０がワープおよびバックプレーン制御ＩＣ７３０の上に物理的に搭載されている、変形例を示している。ＩＣの垂直スタックが更にＰＣＢ７２０ａに搭載される。このスタック型の変形例は、従来のＩＣと比較して垂直プロファイルが増加しているので、３Ｄ構造と呼ばれることもある。３Ｄ構造では、バックプレーン制御ＩＣ７４０、７５０、および７６０がワープおよびバックプレーン制御ＩＣ７３０と通信し、ＰＣＢ７２０ａに接続することを可能にするため、貫通シリコンビアが使用されてもよい。３Ｄの変形例は、ＩＣのフットプリントを大幅に低減することができるので、従来の２Ｄの変形例（例えば、全てのＩＣが単一面に搭載される）よりも空間効率が良くてもよい。３Ｄの変形例はまた、個々のＩＣが高効率の貫通シリコンビアを通してスタックの他のＩＣと直接通信してもよいので、相互接続の複雑さを低減してもよい。

配置７１０は、３つのバックプレーン制御ＩＣ７４０、７５０、および７６０がインターポーザ７７０上でワープおよびバックプレーン制御ＩＣ７３０の隣に搭載されている、変形例を示している。インターポーザ７７０（ＩＣを有する）が更にＰＣＢ７２０ｂに搭載される。インターポーザ７７０は、２．５Ｄ構成と呼ばれることがある、ＩＣのシミュレートされた３Ｄ構成を可能にしてもよい。インターポーザ７７０は、その上およびＰＣＢ７２０ｂに搭載されたＩＣの接続点を接続する、貫通シリコンビアを有するシリコンインターポーザであってもよい。インターポーザ７７０は、別の例の２Ｄ構成において達成可能であろう速度よりも高速のＩＣ間通信を可能にしてもよい。例えば、使用される製造技術に応じて、インターポーザはより精密な（例えば、ノイズが少ない）接続を可能にしてもよい。インターポーザ７７０のＩＣ間の接続は、ＩＣ自体と同じ材料（シリコンなど）およびプロセスを使用して行われてもよい。インターポーザ７７０とＰＣＢ７２０ｂとの間の接続は、一般的な技術を使用して行われてもよい。２．５Ｄ、即ち「サイドバイサイド型」の変形例は、２Ｄ技術と比較したとき、ＩＣ間の通信の速度を改善し、低減されたフットプリントを有してもよい。２．５Ｄの変形例はまた、純粋な３Ｄの変形例と比較すると、より高い製造歩留まり率を有してもよい。更に、個々のアクティブＩＣは依然として分離することができるので、当然ながら、ＩＣからの熱は２Ｄの変形例と同様の方法で散逸させることができ、大きな問題にはならない。

プロジェクタアーキテクチャ
図７はプロジェクタの構成要素の配置に関する変形を示しているが、図８Ａ～図８Ｄは、異なる集積回路で具体化されるプロジェクタの異なる構成要素に関する変形を含む、ＨＭＤの構成要素の配置に関する変形を示している。図８Ａ～図８Ｄは、ＨＭＤのプロジェクタ（例えば、プロジェクタ４００）およびヘッドセットＣＰＵ（例えば、ヘッドセットＣＰＵ３１０）に対する可能なアーキテクチャを示している。図８Ａ～図８Ｄに示される各構成は、ヘッドセットＣＰＵ、ワープエンジン（例えば、ワープエンジン４１０）、ディスプレイドライバＩＣ（ＤＤＩ）（例えば、ディスプレイドライバＩＣ４２０）、ならびにμＬＥＤバックプレーン制御およびマトリックス（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、または４７０）といった構成要素のそれぞれのうち少なくとも１つを含む。図８Ａ～図８Ｄに表される選択肢は、必要な別個のＩＣの数、ＤＤＩがμＬＥＤバックプレーン制御およびマトリックスとＩＣを共有するか否か、ならびに他の構成要素に対するワープエンジン（例えば、ワープエンジン４１０）の場所という３つの指標に従った、それらの特性の説明によって要約することができる。

図８Ａでは、アーキテクチャ８００ａは３つの別個のタイプのＩＣを含む。１つのＩＣはヘッドセットＣＰＵ８０５である。第２のＩＣ８１５は、ワープエンジン（例えば、ワープエンジン４１０）およびＤＤＩ制御（例えば、ディスプレイドライバＩＣ４２０）を含む。第３のＩＣタイプ８２０ａ、８２０ｂ、および８２０ｃは、μＬＥＤバックプレーン制御およびアクティブマトリックス（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０）を含む。この構成では、プロジェクタ８１０（例えば、プロジェクタ４００）は、単一のチップに統合された、ワープエンジンおよびＤＤＩ制御ＡＳＩＣ８１５と、３つのμＬＥＤバックプレーン制御およびアクティブマトリックスＩＣ８２０ａ、８２０ｂ、および８２０ｃとを備える。したがって、この構成は任意の数のプロジェクタ８１０に対応してもよいが、構成８００ａに示されるヘッドセットＣＰＵ８０５は４つのプロジェクタ８１０に対応している。例えば、それぞれの目が、スクリーンを垂直または水平に分ける、２つの指定されたプロジェクタ８１０を有してもよい。各プロジェクタの作業負荷を分割することで、（より少数のプロジェクタで同じ視野を達成する潜在的なコストまたは複雑さと比較して）コストまたは複雑さを劇的に増加させることなく、ユーザの視野を改善してもよい。

図８Ａに示される各プロジェクタ８１０は、専用のワープエンジンを有する。これは、フレーム／サブフレームのサブセットに対する幾何学的ワープを決定するだけでよいので、ワープエンジンの予期される作業負荷を低減してもよい。別の利点は、ワープエンジンおよびＤＤＩ制御ＡＳＩＣ８１５をμＬＥＤアクティブマトリックス８２０ａ、８２０ｂ、および８２０ｃから分けることによる。ワープエンジンおよびＤＤＩ制御の動作は、上述したように、各ブロックが任意のアナログ構成要素とインターフェース接続する固有の必要性がないので、「デジタルオンリー」と呼ばれることがある。対照的に、μＬＥＤマトリックスはアナログ構成要素であり、そのコントローラはそれと適宜インターフェース接続しなければならない。ワープエンジンおよびＤＤＩ制御ＡＳＩＣ８１５はデジタルオンリー動作に対応するので、ＡＳＩＣ自体は最も適切な製造プロセスを使用して製造されてもよい。例えば、ワープエンジンおよびＤＤＩ制御ＡＳＩＣ８１５は、より小さい構成要素を使用して製造して、アナログ構成要素とのインターフェース接続を含んだ場合よりもＩＣを高出力および／または高電力効率にしてもよい。特定の実施形態では、プロジェクタ８１０は、図７に関して上述したような、２．５Ｄまたは３ＤのＡＳＩＣとして具体化されてもよい。したがって、ワープエンジンおよびＤＤＩ制御ＡＳＩＣ８１５とμＬＥＤ制御およびマトリックスＩＣ８２０ａ、８２０ｂ、および８２０ｃとの間のアクティブ信号接続は、サイドバイサイド型またはスタック型設計のアーキテクチャによって可能にされる短い直接接続を利用してもよい。

多くの標準的なディスプレイ（例えば、ガラスベースのバックプレーンを有するもの）では、ＤＤＩコントローラの動作はディスプレイマトリックスに密接に結び付けられる場合が多いので、ＤＤＩコントローラおよびμＬＥＤコントローラおよびアクティブマトリックスを単一のＩＣに組み込まなければならない。上述したように、特定の実施形態では、μＬＥＤマトリックスはシリコンベースのバックプレーンを使用してもよい。これは、特に２．５Ｄまたは３Ｄ構成の可能性と併せて考慮した場合、μＬＥＤディスプレイに対応する動作ブロックをほぼ任意に分割できる可能性を有する。例えば、アーキテクチャ８００ａに関して示されるように、ワープエンジンおよびＤＤＩコントローラは、μＬＥＤコントローラおよびマトリックスから分離されてもよい。

図８Ｂでは、アーキテクチャ８００ｂも３つの別個のタイプのＩＣを含む。１つのＡＳＩＣ８２５は、ヘッドセットＣＰＵおよびワープエンジン（例えば、ワープエンジン４１０）を含む。第２のＡＳＩＣ８３５は、ＤＤＩ制御（例えば、ディスプレイドライバＩＣ４２０）を含む。また、第３のＡＳＩＣタイプ８４０ａ、８４０ｂ、および８４０ｃは、μＬＥＤバックプレーン制御およびアクティブマトリックス（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０）を含む。図８Ａに示されるアーキテクチャのように、アーキテクチャ８００ｂは、ＩＣの専用化を強化し、最も適切な製造プロセスをＩＣに使用する（例えば、ハイブリッドＩＣと比べてデジタルオンリーＩＣの速度を改善する）のを可能にする。

アーキテクチャ８００ａとは異なり、アーキテクチャ８００ｂは、ヘッドセットＣＰＵと同じＩＣ８２５に組み込まれる、区分されたワープエンジンを特徴とする。アーキテクチャ８００ｂは、単一のワープエンジンを示しているが、同じＡＳＩＣ８５５で動作する複数のワープエンジン（例えば、それぞれの目に１つ、プロジェクタごとに１つなど）に対応することができる。したがって、この構成では、プロジェクタ８３０はＤＤＩコントローラおよびμＬＥＤアクティブマトリックスを含む。区分されたワープエンジンは、ヘッドセットＣＰＵに提供される増加した計算能力へのアクセスを利用してもよい。これは、高速のサブフレーム生成および表示率（例えば、１２０Ｈｚ～１０ｋＨｚ）という目標に対応してもよい。アーキテクチャ８００ｂはまた、製造がより単純、簡単で、より安価なプロジェクタ８３０用のＩＣを可能にしてもよい。更に、アーキテクチャ８００ｂは、上述したように、ＤＤＩコントローラをμＬＥＤバックプレーン制御およびμＬＥＤアクティブマトリックスから区分することの利点の多くを更に提供してもよい。

図８Ｃでは、アーキテクチャ構成８００ｃは２つの別個のＡＳＩＣタイプを含む。１つのＡＳＩＣはヘッドセットＣＰＵ ８４５を含む。第２のＡＳＩＣ８５０ａ、８５０ｂ、および８５０ｃは、ワープエンジン（例えば、ワープエンジン４１０）と、ＤＤＩ制御（例えば、ディスプレイドライバＩＣ４２０）と、μＬＥＤバックプレーン制御およびアクティブマトリックス（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０）とを含む。したがって、このアーキテクチャ構成下のプロジェクタは、単一のチップ上にこれらの構成要素３つ全てを含む。図８Ｃは、独自の単色性μＬＥＤマトリックスをそれぞれ有する別個のプロジェクタを示している。したがって、この構成は、それぞれの目に対して６つのプロジェクタを有するＨＭＤに対応して、ＦＯＶを分割する２つのフルカラーディスプレイを作り出すであろう。

各プロジェクタは、専用ワープエンジンを有し、個々のワープエンジン構成要素の精度および効率を増加させる可能性がある。特定の実施形態では、各ワープエンジンは、それが対応する単色μＬＥＤマトリックスの色チャネルに基づいて最適化されてもよい。例えば、画像の赤色チャネルのみに対して最初の視認性チェックを実施するワープエンジンは、緑色チャネルに対して同じことを行うワープエンジンとは別個に最適化されてもよい。更に、かかるワープエンジンのピクセルブロックによって実施される色混合は、緑色または青色チャネルを考慮しなくてもよいように、高度に最適化されてもよい。アーキテクチャ８００ｃは、製造要件を単純にする２つの別個のタイプのＩＣのみを必要とし、これら２つのタイプのＩＣのみを作り出すことに製造を集中させることができるので、最終的に実行可能ＩＣのより高い歩留まりが促進されてもよい。これはまた、ＨＭＤに統合しなければならないＩＣのタイプを限定するので、統合を単純化することができる。

図８Ｄでは、アーキテクチャ８００ｄはやはり２つの別個のタイプのＩＣを含む。１つのＡＳＩＣ８５５は、ヘッドセットＣＰＵおよびワープエンジン（例えば、ワープエンジン４１０）を含む。第２のＡＳＩＣタイプ８６０ａ、８６０ｂ、および８６０ｃは、ワープエンジン（例えば、ワープエンジン４１０）と、ＤＤＩ制御（例えば、ディスプレイドライバＩＣ４２０）と、μＬＥＤバックプレーン制御およびアクティブマトリックス（例えば、μＬＥＤバックプレーンＩＣ４５０、４６０、および４７０）とを含む。この構成は、単一のワープエンジンを示しているが、同じＡＳＩＣ８５５で動作する複数のワープエンジン（例えば、それぞれの目に１つ、プロジェクタごとに１つなど）に対応することができる。

２つの別個のＩＣのみを組み込むことの利益に加えて、アーキテクチャ８００ｄは、プロジェクタＡＳＩＣ８６０ａ、８６０ｂ、および８６０ｃが、概念的にひとまとめにすることが最も分かりやすい場合がある、ＤＤＩコントローラおよびμＬＥＤマトリックスという構成要素を含むという、更なる利益を有してもよい。各ＤＤＩコントローラは単色μＬＥＤマトリックスと対にされ、ＤＤＩコントローラは、使用される特定のμＬＥＤ色の色チャネルに対応するように最適化されてもよい。例えば、赤のμＬＥＤマトリックスに対応するＤＤＩコントローラは、青のμＬＥＤに対応するように最適化されたＤＤＩコントローラとは別個の、赤のμＬＥＤの色バランスを改善する最適化を有してもよい。配置８００ｄはまた、ヘッドセットＣＰＵと、ワープエンジンＡＳＩＣ８５５と、それぞれ個々のプロジェクタＡＳＩＣ８６０ａ、８６０ｂ、および８６０ｃとの間のデータルーティングの複雑さを低減してもよい。単一の色チャネルのみが各ＤＤＩコントローラに送られるので、アクティブ信号チャネルを通して一度に送られる情報は少ないが、単一のＤＤＩコントローラが複数の単色μＬＥＤアレイに対応する配置に匹敵するスループット速度は依然として達成される。

どのアーキテクチャが特定の用途に最も適しているかの選択は、様々な考慮点によって決まってもよい。例えば、アーキテクチャで使用されてもよい特定のＩＣは、使用されてもよい他のＩＣよりも製造にコストがかかることがある。したがって、所与の構成で使用される高価なＩＣの総数を減少させるのが好ましいことがある。別の例として、上記で考察したように、所与の構成で必要になる固有のＡＳＩＣの数を低減するのが有益なことがある。機能ブロックの役割を実施する追加のＡＳＩＣを設計するのは、困難でコストがかかることがある。２つの別個のＩＣの信頼性が高いサンプルの歩留まりを改善することに労力を集中させることができるように、それらのＩＣのみを設計し製造するのが、よりコスト効率が良いことがある。別の例として、特定のＩＣが他のものよりも高い出力を引き出すことができると判断されてもよい。例えば、４つのワープエンジンを有する構成に必要な出力は、１２個を有する構成よりも少ないと判断されてもよい。更に、単一のＩＣに対するブロックの特定の組合せが、出力要件に影響を及ぼすことがあると判断されてもよい。例えば、ワープエンジンおよびヘッドセットＣＰＵが組み合わされた構成は、ワープエンジンがＤＤＩ制御ならびに／またはμＬＥＤバックプレーン制御およびアクティブマトリックスと組み合わされた構成よりも、高い出力要件を有すると判断されてもよい。別の例として、特定のＩＣによって生じる熱の量が考慮されてもよい。これらの因子全て、および他の任意の好適な因子は、プロジェクタアーキテクチャを設計する際に、また特に、特定の用途に対して別のアーキテクチャではなくあるアーキテクチャを選択する際に考慮されてもよい。

プロジェクタＩＣのパッケージング
図９Ａ～図９Ｅは、上述したプロジェクタの論理構成に対するいくつかのパッケージングの選択肢を示している。更に詳細に記載するように、アーキテクチャ構成８００ａ～８００ｄの選択は、特定のパッケージングの選択肢の選択を通知するか、または要してもよい。図９Ａは、機械的アライナ９０１がＨＭＤの導波路９０５に対して構成要素のスタックの位置を調節することができる、構成を示している。図９Ａは、それぞれ独自の単色性μＬＥＤアレイ９１２を有する、３つのＡＳＩＣ９１３を示している。例えば、図９Ａに示されるパッケージングの選択肢は、単一のプロジェクタに対して、赤色チャネルを表示する１つのＡＳＩＣ９１３および単色性μＬＥＤアレイ９１２と、緑色チャネルを表示する１つのＡＳＩＣ９１３および単色性μＬＥＤアレイ９１２と、青色チャネルを表示する１つのＡＳＩＣ９１３および単色性μＬＥＤアレイ９１２とに対応することができる。μＬＥＤアレイに対する任意の好適な色チャネルが使用されてもよい。同様に、多色性μＬＥＤアレイも使用されてもよい。各単色性μＬＥＤアレイ９１２は、様々なμＬＥＤアレイ９１２から放射される光を単一の画像へと結合する、関連する結合構成要素９１１を有する。ＡＳＩＣ９１３はそれぞれ回路基板９０４に接合され、それが次に機械的アライナ９０１に搭載される。特定の実施形態では、回路基板９１４は、回路９１４が機械的アライナ９０１の制御下で必要に応じて移動することを可能にする、リジッドフレックス回路基板であってもよい。機械的アライナ９０１は、ＨＭＤのコントローラ（例えば、ヘッドセットＣＰＵ）によって制御されてもよい。この実施形態では、機械的アライナ９０１は、各ＡＳＩＣ９１３およびμＬＥＤアレイ９１２を、他のＡＳＩＣ９１３およびμＬＥＤアレイ９１２とは独立して位置付けてもよい。

図９Ｂは、図９Ａに示されるのと同様であるが、機械的アライナ９０１を有さない構成を示している。図９Ｂでは、機械的および電気的支持のため、ＡＳＩＣ９１３はそれぞれ同じ回路基板９１４に搭載される。したがって、図９Ｂは、図９Ａに示される構成に対するより単純な変形を示している。図９Ｂは、上述のＡＳＩＣのパッケージングに対する２Ｄアプローチを示していると言うことができる。ＡＳＩＣ９１３は全て同じ面に、また同じ回路基板９１４に搭載される。したがって、構成は、十分に理解されている製造プロセスを使用して作られて、コストを低減するとともに歩留まりを増加させることができる。しかしながら、２Ｄ構成は、結果として得られる回路がより広い水平空間を占めることを少なくとも含む、多数の知られている制限を有する。手持ち型デバイスおよびＨＭＤでは、この空間が重視されることがあり、したがって２Ｄの解決策は全ての使用例に対して実行可能ではないことがある。更に、ＡＳＩＣ９１３は、配線の複雑さを増加させずに、他のＡＳＩＣ９１３と直接通信することはできない。

図９Ｃは、ＡＳＩＣ９１３をＰＣＢに取り付けるのにインターポーザ９２０が使用される構成を示している。インターポーザ９２０の使用によって、各ＡＳＩＣ９１３が他のＡＳＩＣ９１３とより直接的に通信することが可能になって、配線の複雑さを劇的に増加させることなく通信効率が向上してもよい。この構成では、各μＬＥＤアレイ９１２はＡＳＩＣ９１３と接合される。ＡＳＩＣ９１３は次に、共通のインターポーザ９２０と接合される。共通のインターポーザ９２０は、追加の配線を必要とせずにＡＳＩＣ９１３が直接通信することを可能にする材料で構成されてもよい。インターポーザ９２０は、ＡＳＩＣ９１３が必要に応じて回路基板９１４に直接接続することも可能にする、１つまたは複数の貫通シリコンビア９２５を含んでもよい。この構成は、他の構成よりも更なる構造的支持をＡＳＩＣ９１３に提供してもよく、それによって回路基板の更なる移動が可能になる。図９Ａ～図９Ｃに示される構成は、最も自然には、図８Ｃに示されるアーキテクチャとともに使用されてもよい。その構成では、ワープエンジンおよびＤＤＩ制御は、単一のＡＳＩＣ８５０ａ、８５０ｂ、および８５０ｃの単色μＬＥＤマトリックスに割り当てられる。単一のμＬＥＤマトリックス９１２に接合される、図９Ａ～図９ＣのそれぞれのＡＳＩＣ９１３は、想到されるプロジェクタＩＣを実現してもよい。

図９Ｄは、単一のＡＳＩＣ９３０が複数のμＬＥＤアレイ９１２に接続される構成を示している。上記のように、構成は、特定のμＬＥＤアレイ９１２をＨＭＤの導波路９０５に結合する、各μＬＥＤアレイ９１２の結合構成要素９１１を含む。しかしながら、（例えば、図９Ｃに示される構成のように）μＬＥＤアレイ９１２ごとに割り当てられるＡＳＩＣの代わりに、単一のＡＳＩＣ９３０が複数のμＬＥＤアレイ９１２と関連付けられる。図９Ｄに示される例では、１つのＡＳＩＣ９３０が３つのμＬＥＤアレイ９１２（それぞれが単色性μＬＥＤアレイであってもよい）と関連付けられる。ＡＳＩＣ９３０は、シリコンインターポーザ９３５をそれぞれ通して、μＬＥＤアレイ９１２のそれぞれに結合される。図９Ｄに示される構成は、図８Ａに示されるアーキテクチャとともに使用されたとき、特に有益であってもよい。その構成では、単一のワープエンジンおよびＤＤＩ制御ＡＳＩＣ８１５が、複数のμＬＥＤ制御およびマトリックスＩＣ８２０ａ、８２０ｂ、および８２０ｃとともに使用される。図９Ｄに示される構成は、各色チャネルに対して実施される作業のほとんどを共有し再使用することができるので、ワープエンジンに対する出力要件が最小限で、図８Ａの構成を実現してもよい。これはまた、メモリアクセス時間を減少させ、処理速度を改善する。

図９Ｅは、（図９Ｄのように）シリコンインターポーザを使用することなく、単一のＡＳＩＣ９３０が複数のμＬＥＤアレイ９１２に接合される構成を示している。ＡＳＩＣ９３０は次に、電気的および機械的支持のため、回路基板９１４に接合される。この構成は、上述の構成のいくつかよりも製造が単純であってもよい。したがって、製造コストおよび歩留まりがより簡単に制御されてもよい。特定の実施形態では、より単純な構成は、より高度な製造技術の使用を可能にして、ＡＳＩＣ９３０およびμＬＥＤアレイ９１２の性能を向上させてもよい。

図９Ａ～図９Ｅに関して例証し記載した構成は全て、図８Ａ～図８Ｄに示されるアーキテクチャの構成の特定のものにおいて使用することによって利益を得てもよい。例えば、全ての構成において、ワープエンジンは中央ヘッドセットＣＰＵに含まれてもよい。これにより、ワープエンジンがその規定の動作の多くを実施しているときのメモリ共有を最大にすることが可能であってもよい。例えば、多くのプロジェクタが共有することができる、テクスチャマッピングおよびブレンディング効果が重なり合うことがある。単一のＡＳＩＣまたはＡＳＩＣのレイヤが図９Ａ～図９Ｅに示される場合、（３Ｄの実現例のような）ＡＳＩＣのスタックも適切な修正を含めて使用されてもよいことに留意されたい。更に、追加のＡＳＩＣ、ＩＣ、μＬＥＤアレイ、またはインターポーザなどの追加の構成要素が、図示される構成の能力を更に拡大するため、任意の所与のレイヤに追加されてもよい。例えば、図９Ｄに示される構成では、１つまたは複数の追加の構成要素は、シリコンインターポーザ９３５の上に追加されてもよい。これは、例えば、追加のＡＳＩＣを構成に追加して、μＬＥＤアレイ９１２と通信することを可能にしてもよい。図８Ａ～図８Ｄに示されるアーキテクチャと同様に、様々な考慮点が、別の構成ではなくある構成を選択することに影響してもよい。かかる考慮点は、パッケージングサイズ、製造および組立てコスト、熱分布および散逸、使用電力、弾性、他の任意の好適な考慮点、またはそれらの任意の組合せを含んでもよい。

修正されたサブフレームを生成し表示する例示の方法
図１０は、修正されたサブフレームを生成し表示する例示の方法１０００を示している。方法は、ステップ１０１０で始まってもよく、レンダリングエンジン３００は、主要レンダリング命令に基づいて、表示する仮想オブジェクトを生成してもよい。主要レンダリング命令は、表示するポリゴンのセットおよび関連する色を含んでもよい。レンダリングエンジンは、仮想シーンに対する閲覧者の場所に関する情報に基づいて、初期視認性決定を実施してもよい。レンダリングエンジンは、プロジェクタ４００に組み込まれてもよいワープエンジン４１０によって使用される、上述の表面などの、特殊なオブジェクトプリミティブを作成してもよい。表面は、３Ｄ仮想シーンを表す２Ｄ画像を備えてもよい。レンダリングエンジンは、例えば、３０～９０Ｈｚの速度で、ワープエンジン４１０に表面を提供してもよい。ステップ１０２０で、ワープエンジン４１０は、レンダリングエンジンから受信された仮想オブジェクト（例えば、表面）に基づいて、レンダリングされるフレームに対する画像フレームデータを生成してもよい。ワープエンジン４１０は、仮想シーンを見るユーザの場所に基づいて、表面に対して視認性決定を実施し、１つまたは複数の幾何学的ワープを計算し適用し、色補間および輝度補正を実施し、また別の方法で表示される画像フレームデータを準備してもよい。ワープエンジン４１０は、例えば、１２０Ｈｚ～１０ｋＨｚの速度で、画像フレームデータをディスプレイドライバ４２０に提供してもよい。

ステップ１０３０で、プロジェクタ４０５に組み込まれてもよいディスプレイドライバ４２０は、受信された画像フレームデータに対して画像処理を実施してもよい。例えば、ディスプレイドライバ４２０の画像処理ブロック４３０は、一次元もしくは二次元空間ディザリングまたは時間空間ディザリングを含む、１つまたは複数のディザリング動作を計算し適用してもよい。画像処理ブロック４３０は、μＬＥＤアレイの１つまたは複数のμＬＥＤに対して、色の深みの精度誤差を計算してもよい。画像処理ブロック４３０は、色の深みの精度誤差を、１つもしくは複数の隣接するμＬＥＤおよび／またはフレームの１つもしくは複数の今後のサブフレームに伝播してもよい。別の例として、ディスプレイドライバ４２０の画像処理ブロック４３０は、μＬＥＤアレイにおいて分かっている不均一性に基づいて、フレームデータに対して１つまたは複数の不均一性補正を計算し適用してもよい。ディスプレイドライバ４２０は、処理された画像フレームデータをバックプレーンコントローラに提供して表示させてもよい。

ステップ１０４０で、バックプレーンコントローラ４５０は、命令を生成しμＬＥＤアレイに提供して、μＬＥＤアレイに画像フレームデータを表示させてもよい。特定の実施形態では、ＰＷＭコントローラ４５５は、１２０Ｈｚ～１０ｋＨｚの速度で、μＬＥＤアレイのμＬＥＤを照明させるタイミング命令を生成してもよい。

特定の実施形態は、適切な場合、図１０の方法の１つまたは複数のステップを繰り返してもよい。本開示は、特定の順序で起こるものとして図１０の方法の特定のステップを記載し例証しているが、本開示は、任意の好適な順序で起こる図１０の方法の任意の好適なステップを想到する。更に、本開示は、図１０の方法の特定のステップを含む、表示フレームをアップサンプリングする例示の方法を記載し例証しているが、本開示は、適切な場合、図１０の方法のステップの全てもしくはいくつかを含んでもよい、またはいずれも含まなくてもよい、任意の好適なステップを含む、表示フレームをアップサンプリングする任意の好適な方法を想到する。更に、本開示は、図１０の方法の特定のステップを実施する特定の構成要素、デバイス、またはシステムを記載し例証しているが、本開示は、図１０の方法の任意の好適なステップを実施する、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを想到する。

例示のコンピュータシステム
図１１は、例示のコンピュータシステム１１００を示している。特定の実施形態では、１つまたは複数のコンピュータシステム１１００は、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム１１００は、本明細書に記載または例証される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１１００で稼働するソフトウェアは、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数のステップを実施するか、あるいは本明細書に記載または例証される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１１００の１つもしくは複数の部分を含む。本明細書では、コンピュータシステムに対する言及は、適切な場合、コンピューティングデバイスを包含してもよく、その逆もまた真である。更に、コンピュータシステムに対する言及は、適切な場合、１つまたは複数のコンピュータシステムを包含してもよい。

本開示は、任意の好適な数のコンピュータシステム１１００を想到する。本開示は、任意の好適な物理的形態を取るコンピュータシステム１１００を想到する。一例として、限定ではないが、コンピュータシステム１１００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）もしくはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、移動電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つ以上の組合せであってもよい。適切な場合、コンピュータシステム１１００は、１つもしくは複数のコンピュータシステム１１００を含むか、一体型または分散型であるか、複数の場所にまたがるか、複数の機械にまたがるか、複数のデータセンタにまたがるか、あるいは１つもしくは複数のクラウドコンポーネントを１つまたは複数のネットワークに含んでもよい、クラウドに常駐してもよい。適切な場合、１つまたは複数のコンピュータシステム１１００は、実質的に空間的または時間的な限定なしに、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数のステップを実施してもよい。一例として、限定ではないが、１つまたは複数のコンピュータシステム１１００は、リアルタイムまたはバッチモードで、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数のステップを実施してもよい。１つまたは複数のコンピュータシステム１１００は、適切な場合、異なる時間または異なる場所で、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数のステップを実施してもよい。

特定の実施形態では、コンピュータシステム１１００は、プロセッサ１１０２と、メモリ１１０４と、記憶装置１１０６と、入力／出力（Ｉ／Ｏ）インターフェース１１０８と、通信インターフェース１１１０と、バス１１１２とを含む。本開示は、特定の配置で特定の数の特定の構成要素を有する、特定のコンピュータシステムを記載し例証しているが、本開示は、任意の好適な配置で任意の好適な数の任意の好適な構成要素を有する、任意の好適なコンピュータシステムを想到する。

特定の実施形態では、プロセッサ１１０２は、コンピュータプログラムを構成するものなど、命令を実行するためのハードウェアを含む。一例として、限定ではないが、命令を実行するには、プロセッサ１１０２は、内部レジスタ、内部キャッシュ、メモリ１１０４、または記憶装置１１０６から命令を検索し（もしくは取り出し）、それらを復号し実行し、次に１つまたは複数の結果を、内部レジスタ、内部キャッシュ、メモリ１１０４、または記憶装置１１０６に書き込んでもよい。特定の実施形態では、プロセッサ１１０２は、データ、命令、またはアドレスのための１つもしくは複数の内部キャッシュを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ１１０２を想到する。一例として、限定ではないが、プロセッサ１１０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含んでもよい。命令キャッシュ内の命令は、メモリ１１０４または記憶装置１１０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ１１０２によるそれらの命令の検索を高速化してもよい。データキャッシュ内のデータは、プロセッサ１１０２で実行する命令が動作するメモリ１１０４もしくは記憶装置１１０６内のデータのコピー、プロセッサ１１０２で実行する後続の命令がアクセスするための、またはメモリ１１０４もしくは記憶装置１１０６に書き込むためのプロセッサ１１０２で実行された以前の命令の結果、あるいは他の好適なデータであってもよい。データキャッシュは、プロセッサ１１０２による読出しまたは書込み動作を高速化してもよい。ＴＬＢは、プロセッサ１１０２のための仮想アドレス変換を高速化してもよい。特定の実施形態では、プロセッサ１１０２は、データ、命令、またはアドレスのための１つもしくは複数の内部レジスタを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ１１０２を想到する。適切な場合、プロセッサ１１０２は、１つもしくは複数の論理演算装置（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つもしくは複数のプロセッサ１１０２を含んでもよい。本開示は、特定のプロセッサを記載し例証しているが、本開示は、任意の好適なプロセッサを想到する。

特定の実施形態では、メモリ１１０４は、プロセッサ１１０２が実行する命令、またはプロセッサ１１０２が操作するデータを格納するための、メインメモリを含む。一例として、限定ではないが、コンピュータシステム１１００は、命令を記憶装置１１０６または別のソース（例えば、別のコンピュータシステム１１００など）からメモリ１１０４にロードしてもよい。プロセッサ１１０２は次に、命令をメモリ１１０４から内部レジスタまたは内部キャッシュにロードしてもよい。命令を実行するため、プロセッサ１１０２は、命令を内部レジスタまたは内部キャッシュから検索し、それらを復号してもよい。命令の実行中または実行後、プロセッサ１１０２は、１つまたは複数の結果（中間結果もしくは最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込んでもよい。プロセッサ１１０２は次に、それらの結果のうちの１つまたは複数をメモリ１１０４に書き込んでもよい。特定の実施形態では、プロセッサ１１０２は、１つもしくは複数の内部レジスタまたは内部キャッシュ内、あるいはメモリ１１０４内（記憶装置１１０６または他の場所ではない）の命令のみを実行し、１つもしくは複数の内部レジスタまたは内部キャッシュ内、あるいはメモリ１１０４内（記憶装置１１０６または他の場所ではない）のデータのみを操作する。１つまたは複数のメモリバス（それぞれアドレスバスおよびデータバスを含んでもよい）は、プロセッサ１１０２をメモリ１１０４に結合してもよい。バス１１１２は、後述するように、１つまたは複数のメモリバスを含んでもよい。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサ１１０２とメモリ１１０４との間に常駐し、プロセッサ１１０２の要求によってメモリ１１０４にアクセスするのを容易にする。特定の実施形態では、メモリ１１０４はランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであってもよい。適切な場合、このＲＡＭはダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。更に、適切な場合、このＲＡＭはシングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の好適なＲＡＭを想到する。メモリ１１０４は、適切な場合、１つまたは複数のメモリ１１０４を含んでもよい。本開示は、特定のメモリを記載し例証しているが、本開示は、任意の好適なメモリを想到する。

特定の実施形態では、記憶装置１１０６は、データまたは命令のための大容量記憶装置を含む。一例として、限定ではないが、記憶装置１１０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光学ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つ以上の組合せを含んでもよい。記憶装置１１０６は、適切な場合、取外し可能または取外し不能（または固定）の媒体を含んでもよい。記憶装置１１０６は、適切な場合、コンピュータシステム１１００の内部または外部であってもよい。特定の実施形態では、記憶装置１１０６は不揮発性固体メモリである。特定の実施形態では、記憶装置１１０６は読出し専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的に書き換え可能なＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つ以上の組合せであってもよい。本開示は、任意の好適な物理的形態を取る大容量記憶装置１１０６を想到する。記憶装置１１０６は、適切な場合、プロセッサ１１０２と記憶装置１１０６との間の通信を容易にする、１つまたは複数の記憶装置制御ユニットを含んでもよい。適切な場合、記憶装置１１０６は、１つまたは複数の記憶装置１１０６を含んでもよい。本開示は、特定の記憶装置を記載し例証しているが、本開示は、任意の好適な記憶装置を想到する。

特定の実施形態では、Ｉ／Ｏインターフェース１１０８は、コンピュータシステム１１００と１つまたは複数のＩ／Ｏデバイスとの間で通信するための、１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。コンピュータシステム１１００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含んでもよい。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム１１００との間で通信できるようにしてもよい。一例として、限定ではないが、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つ以上の組合せを含んでもよい。Ｉ／Ｏデバイスは１つまたは複数のセンサを含んでもよい。本開示は、任意の好適なＩ／Ｏデバイス、および該デバイスのための任意の好適なＩ／Ｏインターフェース１１０８を想到する。適切な場合、Ｉ／Ｏインターフェース１１０８は、プロセッサ１１０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動できるようにする、１つもしくは複数のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインターフェース１１０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース１１０８を含んでもよい。本開示は、特定のＩ／Ｏインターフェースを記載し例証しているが、本開示は、任意の好適なＩ／Ｏインターフェースを想到する。

特定の実施形態では、通信インターフェース１１１０は、コンピュータシステム１１００と１つもしくは複数の他のコンピュータシステム１１００または１つもしくは複数のネットワークとの間で通信（例えば、パケットベースの通信など）するための、１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。一例として、限定ではないが、通信インターフェース１１１０は、イーサネットまたは他の有線ベースのネットワークと通信するための、ネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための、無線ＮＩＣ（ＷＮＩＣ）または無線アダプタを含んでもよい。本開示は、任意の好適なネットワーク、およびそのための任意の好適な通信インターフェース１１１０を想到する。一例として、限定ではないが、コンピュータシステム１１００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つもしくは複数の部分、あるいはこれらのうちの２つ以上の組合せを用いて通信してもよい。これらのネットワークのうちの１つまたは複数の１つもしくは複数の部分は、有線または無線であってもよい。一例として、コンピュータシステム１１００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ブルートゥースＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、セルラー電話ネットワーク（例えば、汎欧州デジタル移動体通信システム（ＧＳＭ）ネットワークなど）、または他の好適な無線ネットワーク、あるいはこれらのうちの２つ以上の組合せを用いて通信してもよい。コンピュータシステム１１００は、適切な場合、これらのネットワークのうち任意のものに対する、任意の好適な通信インターフェース１１１０を含んでもよい。通信インターフェース１１１０は、適切な場合、１つまたは複数の通信インターフェース１１１０を含んでもよい。本開示は、特定の通信インターフェースを記載し例証しているが、本開示は、任意の好適な通信インターフェースを想到する。

特定の実施形態では、バス１１１２は、コンピュータシステム１１００の構成要素を互いに結合する、ハードウェア、ソフトウェア、または両方を含む。一例として、限定ではないが、バス１１１２は、アクセラレイテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、低ピン数（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つ以上の組合せを含んでもよい。バス１１１２は、適切な場合、１つまたは複数のバス１１１２を含んでもよい。本開示は、特定のバスを記載し例証しているが、本開示は、任意の好適なバスまたは相互接続を想到する。

本明細書では、コンピュータ可読非一時的記憶媒体は、適切な場合、１つもしくは複数の半導体ベースまたは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光学ディスク、光学ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、他の任意の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つ以上の任意の好適な組合せを含んでもよい。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであってもよい。

本明細書の特定の実施形態は、特定用途向け集積回路を使用するものとして記載されることがあるが、これは単に例示のためであることが理解されるべきである。記載する機能が可能である、または各ＡＳＩＣによる機能を完了するようにプログラムされている、標準的な構成要素または他の集積回路に置き換えられてもよい。

本明細書では、「または」は、文脈による別段の明示または別段の指示がない限り、包括的であって排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、文脈による別段の明示または別段の指示がない限り、「Ａ、Ｂ、または両方」を意味する。更に、「および」は、文脈による別段の明示または別段の指示がない限り、共同および個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、文脈による別段の明示または別段の指示がない限り、「共同的または個別的に、ＡおよびＢ」を意味する。

本開示の範囲は、当業者であれば理解するであろう、本明細書に記載または例証する例示的実施形態に対する全ての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書に記載または例証する例示的実施形態に限定されない。更に、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして、本明細書のそれぞれの実施形態を記載し例証しているが、これらの実施形態はいずれも、当業者であれば理解するであろう、本明細書の任意の箇所に記載または例証される構成要素、要素、特徴、機能、動作、またはステップのうちいずれかの任意の組合せもしくは並べ替えを含んでもよい。更に、添付の特許請求の範囲における、特定の機能を実施するように適合された、配置された、可能である、構成された、可能にされた、動作可能な、または動作する、装置もしくはシステム、あるいは装置もしくはシステムの構成要素に対する言及は、装置、システム、または構成要素がそのように適合されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、それもしくはその特定の機能が活性化されるか、始動されるか、またはロック解除されるか否かにかかわらず、装置、システム、構成要素を包含する。更に、本開示は、特定の利点を提供するものとして特定の実施形態を記載または例証しているが、特定の実施形態は、これらの利点を全く提供しなくても、または一部もしくは全てを提供してもよい。

Claims (20)

1. 中央処理装置と、前記中央処理装置にそれぞれ結合され、画像データを処理するように構成された、複数のプロジェクタ集積回路とを備える、ヘッドセットディスプレイデバイスであって、各プロジェクタ集積回路が、
   光エミッタアレイをそれぞれ備える複数の第１の集積回路と、
   前記複数の第１の集積回路に結合され、（１）幾何学的歪曲または輝度歪曲を補正する、変換された画像データを生成するように構成されたグラフィックスプロセッサを備え、（２）前記変換された画像データを表示のために前記複数の第１の集積回路に提供するように構成された、第２の集積回路と、を備える、ヘッドセットディスプレイデバイス。
2. 前記中央処理装置が、第１のレンダリングデバイスから、前記ヘッドセットディスプレイデバイスによって表示される画像のデータを受信するように構成され、
   前記ヘッドセットディスプレイデバイスが、前記複数のプロジェクタ集積回路を使用して、受信された前記データを処理するように構成され、
   前記複数のプロジェクタ集積回路が、各プロジェクタ集積回路の前記光エミッタアレイを使用して、処理された前記データに基づいて光を作成するように構成された、請求項１に記載のヘッドセットディスプレイデバイス。
3. 前記ヘッドセットディスプレイデバイスが、導波路構成を更に備え、
   各プロジェクタ集積回路の前記光エミッタアレイによって作成された前記光が、前記導波路構成を通して前記ヘッドセットディスプレイデバイスの着用者に向けられる、請求項２に記載のヘッドセットディスプレイデバイス。
4. 前記ヘッドセットディスプレイデバイスによって表示される画像の前記データが、第１の速度で前記第１のレンダリングデバイスから受信され、受信された前記データが、第２の速度で前記複数のプロジェクタ集積回路を使用して処理され、前記第２の速度が前記第１の速度よりも速い、請求項２に記載のヘッドセットディスプレイデバイス。
5. 前記第１のレンダリングデバイスが前記ヘッドセットディスプレイデバイスと無線通信する、請求項２に記載のヘッドセットディスプレイデバイス。
6. 前記第２の集積回路が更に、
   受信された画像データに対して、前記変換された画像データを表示のために前記複数の第１の集積回路に提供する前に、ディザリングまたは不均一性の補正を実施するように構成された、請求項１に記載のヘッドセットディスプレイデバイス。
7. 前記第２の集積回路が、前記ディザリングまたは前記不均一性の補正を実施するように構成されたディスプレイドライバを更に備える、請求項６に記載のヘッドセットディスプレイデバイス。
8. 前記第１の集積回路が、前記変換された画像データに基づいて、前記光エミッタアレイに電力供給する命令を生成して、前記光エミッタアレイの光エミッタに光を作成させるように構成された、前記光エミッタアレイのためのバックプレーンを更に備える、請求項１に記載のヘッドセットディスプレイデバイス。
9. 前記グラフィックスプロセッサが更に、現在の視点に基づいて、変換された画像データを生成するように更に構成された、請求項１に記載のヘッドセットディスプレイデバイス。
10. 前記ヘッドセットディスプレイデバイスが、移動センサまたは配向センサを更に備え、
    前記現在の視点が、前記移動センサまたは前記配向センサから受信されたデータに基づいて決定される、請求項９に記載のヘッドセットディスプレイデバイス。
11. 前記幾何学的歪曲または前記輝度歪曲が、前記ヘッドセットディスプレイデバイスのニアアイディスプレイ光学システムから生じるものである、請求項１に記載のヘッドセットディスプレイデバイス。
12. 前記グラフィックスプロセッサが更に、幾何学的変換を受信された画像データに適用して色収差を補正するように構成された、請求項１に記載のヘッドセットディスプレイデバイス。
13. 前記グラフィックスプロセッサが、
    現在の視点に基づいて、人工現実シーンに表示される仮想オブジェクトの視認性情報を決定するように構成された、変換ブロック、
    決定された視認性情報に基づいて、色値を決定するように構成された、ピクセルブロック、または、
    決定された色値をディスプレイドライバに出力するように準備するように構成された、表示ブロック、を備える、請求項１に記載のヘッドセットディスプレイデバイス。
14. 各光エミッタアレイが単色光エミッタで構成された、請求項１に記載のヘッドセットディスプレイデバイス。
15. 各光エミッタアレイがμＬＥＤを備える、請求項１に記載のヘッドセットディスプレイデバイス。
16. 前記ヘッドセットディスプレイデバイスが４つのプロジェクタ集積回路を備える、請求項１に記載のヘッドセットディスプレイデバイス。
17. 前記ヘッドセットディスプレイデバイスが、前記ヘッドセットディスプレイデバイスの着用者のそれぞれの目に対して複数のプロジェクタ集積回路を備える、請求項１に記載のヘッドセットディスプレイデバイス。
18. 各プロジェクタ集積回路が、前記ヘッドセットディスプレイデバイスの前記着用者の視野の一部分に対して光を生成する、請求項１７に記載のヘッドセットディスプレイデバイス。
19. 第１のレンダリングデバイスから、ヘッドセットディスプレイデバイスによって表示される画像のデータを受信することと、
    各プロジェクタ集積回路の光エミッタアレイを使用して、受信された前記データに基づいて光を作成することと、を含み、
    前記ヘッドセットディスプレイデバイスが、
    中央処理装置と、前記中央処理装置にそれぞれ結合され、画像データを処理するように構成された、複数のプロジェクタ集積回路とを備え、各プロジェクタ集積回路が、
    前記光エミッタアレイをそれぞれ備える複数の第１の集積回路と、
    前記複数の第１の集積回路に結合され、（１）幾何学的歪曲または輝度歪曲を補正する、変換された画像データを生成するように構成されたグラフィックスプロセッサを備え、（２）前記変換された画像データを表示のために前記複数の第１の集積回路に提供するように構成された、第２の集積回路と、を備える、方法。
20. 実行されると、
    第１のレンダリングデバイスから、ヘッドセットディスプレイデバイスによって表示される画像のデータを受信し、
    各プロジェクタ集積回路の光エミッタアレイを使用して、受信された前記データに基づいて光を作成するように、動作可能なソフトウェアを具体化する、１つまたは複数のコンピュータ可読非一時的記憶媒体であって、
    前記ヘッドセットディスプレイデバイスが、
    中央処理装置と、前記中央処理装置にそれぞれ結合され、画像データを処理するように構成された、複数のプロジェクタ集積回路とを備え、各プロジェクタ集積回路が、
    前記光エミッタアレイをそれぞれ備える複数の第１の集積回路と、
    前記複数の第１の集積回路に結合され、（１）幾何学的歪曲または輝度歪曲を補正する、変換された画像データを生成するように構成されたグラフィックスプロセッサを備え、（２）前記変換された画像データを表示のために前記複数の第１の集積回路に提供するように構成された、第２の集積回路と、を備える、１つまたは複数のコンピュータ可読非一時的記憶媒体。

Images