JP2021532469A - フィールド順次ディスプレイにおけるフィールド内サブコードタイミング - Google Patents

Abstract

実施形態は、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法を提供する。異なる第１および第２の色を有する第１および第２のカラーフィールドが、取得される。ワーピングされた第１のカラーフィールドの投影のための第１の時間が、決定される。第１の時間に対応する第１の姿勢が、予測される。第１のカラーフィールド内の第１の色の中の各１つに関して、（ａ）第１のカラーフィールド内の第１の色の中の１つの色を表す入力が、識別され、（ｂ）入力が、複数のフィールドあたり入力を作成する一連のパルスとして再構成され、（ｃ）一連のパルスの各１つが、第１の姿勢に基づいてワーピングされる。ワーピングされた第１のカラーフィールドは、ワーピングされた一連のパルスに基づいて生成される。順次ディスプレイ上のピクセルは、ワーピングされた第１のカラーフィールドを表示する。

Description

（関連出願の相互参照）
本願は、その開示全体がその全体として本明細書に完全に記載される場合と同様にあらゆる目的のために参照することによって本明細書に組み込まれる「Ｉｎｔｒａ−Ｆｉｅｌｄ Ｓｕｂ Ｃｏｄｅ Ｔｉｍｉｎｇ Ｉｎ Ｆｉｅｌｄ Ｓｅｑｕｅｎｔｉａｌ Ｄｉｓｐｌａｙｓ」と題され、２０１８年７月２３日に出願された米国仮特許出願第６２／７０２，１８１号の優先権を主張する。

本願は、その内容が参照することによってその全体として本明細書に組み込まれる「Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｌｏｒ Ｖｉｒｔｕａｌ Ｃｏｎｔｅｎｔ Ｗａｒｐｉｎｇ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｇｅｎｅｒａｔｉｎｇ Ｖｉｒｔｕａｌ Ｃｏｎｔｅｎｔ Ｕｓｉｎｇ Ｓａｍｅ」と題され、２０１８年３月１６日に出願された米国特許出願第第１５／９２４，０７８号に関連する。
（発明の分野）

本開示は、仮想コンテンツのための１つ以上の色コードを異なる幾何学的位置に経時的に投影するフィールド順次ディスプレイシステムと、それを使用して複合現実体験コンテンツを生成する方法とに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」（ＶＲ）または「拡張現実」（ＡＲ）体験のための「複合現実」（ＭＲ）システムの開発を促進しており、デジタル的に再現された画像またはそれらの一部が、現実であるように見える様式、またはそのように知覚され得る様式で、ユーザに提示される。ＶＲシナリオは、典型的に、実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的に、ユーザの周囲の実際の世界の可視化の拡張として、デジタルまたは仮想画像情報の提示を伴う（すなわち、実世界視覚的入力に対する透過性）。故に、ＡＲシナリオは、実世界視覚的入力に対する透過性を伴うデジタルまたは仮想画像情報の提示を伴う。

ＭＲシステムは、典型的に、色データを生成し、それを表示し、それは、ＭＲシナリオの現実性を増加させる。これらのＭＲシステムの多くは、カラー画像に対応する異なる（例えば、原）色または「フィールド」（例えば、赤色、緑色、および青色）でサブ画像を高速連続して順次投影することによって、色データを表示する。カラーサブ画像を十分に高レート（例えば、６０Ｈｚ、１２０Ｈｚ等）で投影することは、平滑なカラーＭＲシナリオをユーザの記憶に配達し得る。

種々の光学システムが、ＭＲ（ＶＲおよびＡＲ）シナリオを表示するために、カラー画像を含む画像を種々の深度において生成する。いくつかのそのような光学システムは、２０１４年１１月２７日に出願された米国実用特許出願第１４／５５５，５８５号（弁理士整理番号第ＭＬ．２００１１．００）（その内容は、参照することによって、全体として記載される場合と同様に、その全体として明示的かつ完全に本明細書に組み込まれる）に説明される。

ＭＲシステムは、典型的に、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると移動するウェアラブルディスプレイデバイス（例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。ユーザの頭部運動がディスプレイデバイスによって検出される場合、表示されているデータは、頭部姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するために更新されることができる。位置の変化は、課題をフィールド順次ディスプレイ技術に提示する。

静止画像を投影することを意図する運動を受けるフィールド順次ディスプレイの画質を改良するための技法および技術が、本明細書において説明される。

例として、頭部装着型ディスプレイデバイスを装着しているユーザが、仮想オブジェクトの仮想表現をディスプレイ上で視認し、仮想オブジェクトが現れるエリアの周囲を歩き回る場合、仮想オブジェクトは、各視点に関してレンダリングされ、ディスプレイ表面との関係とは対照的に、実空間と関係を共有するオブジェクトの周囲を歩き回っているという知覚をユーザに与えることができる。しかしながら、ユーザの頭部姿勢の変化は、変化し、動的ディスプレイシステムからの静止画像投影を維持するために、フィールド順次プロジェクタのタイミングの調節を要求する。

従来のフィールド順次ディスプレイは、単一画像フレームのための色を指定される時系列において投影し得、フィールド間の任意の時差は、静止ディスプレイ上で視認されるとき、気付かれない。例えば、第１の時間に表示される赤色ピクセルおよび１０ｍｓ後に表示される青色ピクセルは、ピクセルの幾何学的位置が判別可能時間量において変化しないので、重複するように見えるであろう。

しかしながら、頭部装着型ディスプレイ等の可動式プロジェクタにおいて、その同じ１０ｍｓインターバルにおける運動は、重複するように意図された赤色および青色ピクセルにおける顕著なシフトに対応し得る。

いくつかの実施形態において、フィールドシーケンス内の個々の画像の色をワーピングすることは、各フレームが頭部姿勢の変化中の所与の時間におけるフィールドの適切な視点に基づくであろうから、画像の知覚を改良することができる。このソリューションを実装するそのような方法およびシステムは、米国特許出願第１５／９２４，０７８号に説明される。

フィールド順次ディスプレイの一般的頭部姿勢変化を補正するために生じるべき具体的フィールドワーピングに加え、所与のフィールドのサブコード自体も、意図される色を表す豊かな画像を適切に伝達するように調節されるべきである。

一実施形態において、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法は、異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することを含む。方法は、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することも含む。方法は、第１の時間に対応する第１の姿勢を予測することをさらに含む。第１のカラーフィールド内の第１の色の中の各１つに関して、方法は、（ａ）第１のカラーフィールド内の第１の色の中の１つの色を表す入力を識別することと、（ｂ）入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、（ｃ）第１の姿勢に基づいて、一連のパルスのうちの各１つをワーピングすることとを含む。方法は、ワーピングされた一連のパルスに基づいて、ワーピングされた第１のカラーフィールドを生成することも含む。加えて、方法は、ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、ワーピングされた第１のカラーフィールドを表示することを含む。

１つ以上の実施形態において、一連のパルスは、第１の時間に中心を置かれた中心パルス、中心パルスの前に生じる第２のパルス、および中心パルスの後に生じる第３のパルスを含む。第２のパルスの減衰相の終了は、中心パルスの成長相の開始と時間的に整列させられ、第３のパルスの成長相の開始は、中心パルスの減衰相の終了と時間的に整列させられる。中心パルスの重心は、第１の時間に生じ、第２のパルスの重心は、第１の時間の前の第２の時間に生じ、第３のパルスの重心は、第１の時間の後の第３の時間に生じる。いくつかの実施形態において、第１の時間と第２の時間との間の差異は、第１の時間と第３の時間との間の差異に等しい。いくつかの実施形態において、中心パルスは、各々が第１の持続時間を有する第１のタイムスロットの組を含み、第２のパルスおよび第３のパルスは、各々が第１の持続時間を上回る第２の持続時間を有する第２のタイムスロットの組を含む。順次ディスプレイ上のピクセルは、第１のタイムスロットの組または第２のタイムスロットの組の一部中、アクティブにされる。いくつかの実施形態において、順次ディスプレイ上のピクセルは、第１のカラーフィールド内の第１の色の中の１つの色に関連付けられた色コードに応じて、中心パルスのタイムスロット中、アクティブにされる。種々の実施形態において、順次ディスプレイ上のピクセルは、第２のパルスにおけるタイムスロットと第３のパルスにおける対応するタイムスロットとのためにアクティブにされる。

１つ以上の実施形態において、方法は、ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することも含み得る。方法は、第２の時間に対応する第２の姿勢を予測することをさらに含み得る。第２のカラーフィールド内の第２の色の中の各１つに関して、方法は、（ａ）第２のカラーフィールド内の第２の色の中の１つの色を表す入力を識別することと、（ｂ）入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、（ｃ）第２の姿勢に基づいて、一連のパルスのうちの各１つをワーピングすることとを含み得る。方法は、ワーピングされた一連のパルスに基づいて、ワーピングされた第２のカラーフィールドを生成することも含み得る。加えて、方法は、ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、ワーピングされた一連のパルスに基づいて、ワーピングされた第２のカラーフィールドを表示することを含み得る。

別の実施形態において、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムは、順次投影のために、異なる第１および第２の色を有する第１および第２のカラーフィールドを受信するためのワーピングユニットを含む。ワーピングユニットは、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定し、第１の時間に対応する第１の姿勢を予測するための姿勢推定器を含む。ワーピングユニットは、第１のカラーフィールド内の第１の色の中の各１つに関して、（ａ）第１のカラーフィールド内の第１の色の中の１つの色を表す入力を識別し、（ｂ）入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成し、（ｃ）第１の姿勢に基づいて、一連のパルスのうちの各１つをワーピングするための変換ユニットも含む。変換ユニットは、ワーピングされた一連のパルスに基づいて、ワーピングされた第１のカラーフィールドを生成するようにさらに構成される。変換ユニットは、ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、ワーピングされた第１のカラーフィールドを表示するようにも構成される。

さらに別の実施形態において、コンピュータプログラム製品は、非一過性コンピュータ読み取り可能な媒体内に具現化され、コンピュータ読み取り可能な媒体は、一続きの命令を記憶しており、一続きの命令は、プロセッサによって実行されると、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法をプロセッサに実行させる。方法は、異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することを含む。方法は、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することも含む。方法は、第１の時間に対応する第１の姿勢を予測することをさらに含む。第１のカラーフィールド内の第１の色の中の各１つに関して、方法は、（ａ）第１のカラーフィールド内の第１の色の中の１つの色を表す入力を識別することと、（ｂ）入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、（ｃ）第１の姿勢に基づいて、一連のパルスのうちの各１つをワーピングすることとを含む。方法は、ワーピングされた一連のパルスに基づいて、ワーピングされた第１のカラーフィールドを生成することも含む。加えて、方法は、ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、ワーピングされた第１のカラーフィールドを表示することを含む。

一実施形態において、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法は、異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することを含む。方法は、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することも含む。方法は、ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することをさらに含む。さらに、方法は、第１の時間における第１の姿勢を予測することと、第２の時間における第２の姿勢を予測することとを含む。加えて、方法は、第１の姿勢に基づいて第１のカラーフィールドをワーピングすることによって、ワーピングされた第１のカラーフィールドを生成することを含む。方法は、第２の姿勢に基づいて第２のカラーフィールドをワーピングすることによって、ワーピングされた第２のカラーフィールドを生成することも含む。

１つ以上の実施形態において、第１のカラーフィールドは、Ｘ、Ｙ場所における第１のカラーフィールド情報を含む。第１のカラーフィールド情報は、第１の色における第１の明度を含み得る。第２のカラーフィールドは、Ｘ、Ｙ場所における第２のカラーフィールド情報を含み得る。第２のカラーフィールド情報は、第２の色における第２の明度を含み得る。

１つ以上の実施形態において、ワーピングされた第１のカラーフィールドは、第１のワーピングされたＸ、Ｙ場所におけるワーピングされた第１のカラーフィールド情報を含む。ワーピングされた第２のカラーフィールドは、第２のワーピングされたＸ、Ｙ場所におけるワーピングされた第２のカラーフィールド情報を含み得る。第１の姿勢に基づいて第１のカラーフィールドをワーピングすることは、第１の変換を第１のカラーフィールドに適用し、ワーピングされた第１のカラーフィールドを生成することを含み得る。第２の姿勢に基づいて第２のカラーフィールドをワーピングすることは、第２の変換を第２のカラーフィールドに適用し、ワーピングされた第２のカラーフィールドを生成することを含み得る。

１つ以上の実施形態において、方法は、ワーピングされた第１および第２のカラーフィールドを順次プロジェクタに送信することと、順次プロジェクタが、ワーピングされた第１のカラーフィールドおよびワーピングされた第２のカラーフィールドを順次投影することとも含む。ワーピングされた第１のカラーフィールドは、第１の時間に投影され得、ワーピングされた第２のカラーフィールドは、第２の時間に投影され得る。

別の実施形態において、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムは、順次投影のために異なる第１および第２の色を有する第１および第２のカラーフィールドを受信するためのワーピングユニットを含む。ワーピングユニットは、それぞれのワーピングされた第１および第２のカラーフィールドの投影のための第１および第２の時間を決定し、それぞれの第１および第２の時間における第１および第２の姿勢を予測するための姿勢推定器を含む。ワーピングユニットは、それぞれの第１および第２の姿勢に基づいて、それぞれの第１および第２のカラーフィールドをワーピングすることによって、ワーピングされた第１および第２のカラーフィールドを生成するための変換ユニットも含む。

さらに別の実施形態において、コンピュータプログラム製品は、非一過性コンピュータ読み取り可能な媒体内に具現化され、コンピュータ読み取り可能な媒体は、一続きの命令を記憶しており、一続きの命令は、プロセッサによって実行されると、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法をプロセッサに実行させる。方法は、異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することを含む。方法は、ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することも含む。方法は、ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することをさらに含む。さらに、方法は、第１の時間における第１の姿勢を予測することと、第２の時間における第２の姿勢を予測することとを含む。加えて、方法は、第１の姿勢に基づいて第１のカラーフィールドをワーピングすることによって、ワーピングされた第１のカラーフィールドを生成することを含む。方法は、第２の姿勢に基づいて第２のカラーフィールドをワーピングすることによって、ワーピングされた第２のカラーフィールドを生成することも含む。

さらに別の実施形態において、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法は、アプリケーションフレームおよびアプリケーション姿勢を取得することを含む。方法は、第１の推定される表示時間におけるアプリケーションフレームの第１のワーピングのための第１の姿勢を推定することも含む。方法は、アプリケーション姿勢および推定される第１の姿勢を使用して、アプリケーションフレームの第１のワーピングを実施し、第１のワーピングされたフレームを生成することをさらに含む。さらに、方法は、第２の推定される表示時間における第１のワーピングされたフレームの第２のワーピングのための第２の姿勢を推定することを含む。加えて、方法は、推定される第２の姿勢を使用して、第１のワーピングフレームの第２のワーピングを実施し、第２のワーピングされたフレームを生成することを含む。

１つ以上の実施形態において、方法は、第２のワーピングされたフレームをほぼ第２の推定される表示時間において表示することを含む。方法は、第３の推定される表示時間における第１のワーピングされたフレームの第３のワーピングのための第３の姿勢を推定することと、推定される第３の姿勢を使用して、第１のワーピングフレームの第３のワーピングを実施し、第３のワーピングされたフレームを生成することとも含み得る。第３の推定される表示時間は、第２の推定される表示時間より後であり得る。方法は、第３のワーピングされたフレームをほぼ第３の推定される表示時間において表示することも含み得る。

別の実施形態において、色割れ（「ＣＢＵ」）アーチファクトを最小化するコンピュータ実装方法は、受信された眼または頭部追跡情報に基づいて、ＣＢＵアーチファクトを予測することを含む。方法は、予測されるＣＢＵアーチファクトに基づいて、カラーフィールドレートを増加させることも含む。

１つ以上の実施形態において、方法は、受信された眼または頭部追跡情報および増加させられたカラーフィールドレートに基づいて、第２のＣＢＵを予測することと、予測される第２のＣＢＵアーチファクトに基づいて、ビット深度を減少させることとを含む。方法は、増加させられたカラーフィールドレートおよび減少させられたビット深度を使用して、画像を表示することも含み得る。方法は、増加させられたカラーフィールドレートを使用して、画像を表示することをさらに含み得る。

本開示の追加のおよび他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

図面は、本開示の種々の実施形態の設計および利用可能性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上で列挙される利点および他の利点および目的を取得する方法をより深く理解するために、上で簡単に説明された本開示の発明を実施するための形態は、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい。本開示は、付随の図面の使用を通して、追加の具体性および詳細とともに記載および説明されるであろう。

図１は、いくつかの実施形態による、ウェアラブルＡＲユーザデバイスを通した拡張現実（ＡＲ）のユーザのビューを描写する。

図２Ａ−２Ｃは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ−２Ｃは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ−２Ｃは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。

図３および４は、いくつかの実施形態による、高速頭部移動に伴うレンダリングアーチファクトを図示する。 図３および４は、いくつかの実施形態による、高速頭部移動に伴うレンダリングアーチファクトを図示する。

図５は、いくつかの実施形態による、例示的仮想コンテンツワーピングを図示する。

図６は、いくつかの実施形態による、図５に図示されるように、仮想コンテンツをワーピングする方法を描写する。

図７Ａおよび７Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。 図７Ａおよび７Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。

図８は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングする方法を描写する。

図９Ａおよび９Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。 図９Ａおよび９Ｂは、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツワーピングおよびその結果を描写する。

図１０は、いくつかの実施形態による、グラフィック処理ユニット（ＧＰＵ）を図式的に描写する。

図１１は、いくつかの実施形態による、プリミティブとして記憶される仮想オブジェクトを描写する。

図１２は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングする方法を描写する。

図１３は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写するブロック図である。

図１４は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツのためのワーピング／レンダリングパイプラインを描写する。

図１５は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングする際の色割れアーチファクトを最小化する方法を描写する。

図１６Ａ−Ｂは、いくつかの実施形態による、頭部姿勢の関数として、フィールドあたり均一サブコードビット深度を表示する、フィールド順次ディスプレイのタイミング側面を描写する。

図１７は、いくつかの実施形態による、フィールド順次ディスプレイ内の別個のフィールドの幾何学的位置を描写する。

図１８Ａは、グレースケールにおける国際照明委員会（ＣＩＥ）１９３１配色を描写する。

図１８Ｂは、いくつかの実施形態による、頭部姿勢の関数として、単一フィールド内の不均一サブコードの幾何学的タイミング側面を描写する。

図１９は、いくつかの実施形態による、フィールド順次ディスプレイ内のフィールドサブコードの幾何学的位置を描写する。

図２０は、いくつかの実施形態による、ピクセルアクティブ化および液晶ディスプレイに関連するタイミング側面を描写する。

図２１は、フィールド順次ディスプレイ内の色のタイミングと一致する色輪郭化効果を描写する。

図２２は、いくつかの実施形態による、色サブコードを共通タイミングまたは共通時間関係に調節することを描写する。

図２３は、いくつかの実施形態による、時間中心に基づいて、ビット深度をフィールド内に生成するための順次パルシングを描写する。

図２４は、非対称サブコード照明の悪影響を描写する。

図２５は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツをワーピングする方法を描写する。

本開示の種々の実施形態は、単一実施形態または複数の実施形態においてソースからの仮想コンテンツをワーピングするためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

種々の実施形態が、ここで、図面を参照して詳細に説明され、当業者が本開示を実践することを可能にするように、本開示の例証的例として提供されるであろう。着目すべきこととして、以下の図および例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、公知のコンポーネント（または方法またはプロセス）を使用して部分的または完全に実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの一部のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。

仮想コンテンツワーピングシステムは、複合現実システムから独立して実装され得るが、下記のいくつかの実施形態は、例証的目的のためにのみ、ＡＲシステムに関連して説明される。さらに、本明細書に説明される仮想コンテンツワーピングシステムは、ＶＲシステムと同じ様式でも使用され得る。
（例証的複合現実シナリオおよびシステム）

続く説明は、ワーピングシステムが実践され得る例証的拡張現実システムに関する。しかしながら、実施形態は、それ自体が他のタイプのディスプレイシステム（他のタイプの複合現実システムを含む）における用途にも適しており、したがって、実施形態が本明細書に開示される例証的システムのみに限定されないことを理解されたい。

複合現実（例えば、ＶＲまたはＡＲ）シナリオは、多くの場合、実世界オブジェクトに関連して仮想オブジェクトに対応する仮想コンテンツ（例えば、カラー画像および音）の提示を含む。例えば、図１を参照すると、拡張現実（ＡＲ）場面１００が、描写され、ＡＲ技術のユーザは、人々、木々、背景における建物、および実世界の物理的コンクリートプラットフォーム１０４を特徴とする実世界の物理的公園状設定１０２を見ている。これらのアイテムに加え、ＡＲ技術のユーザは、物理的コンクリートプラットフォーム１０４上に立っている仮想ロボット像１０６と、マルハナバチの擬人化のように見える、飛んでいる仮想漫画状アバタキャラクタ１０８とも「見ている」と知覚するが、これらの仮想オブジェクト１０６、１０８は、実世界には存在しない。

ＡＲシナリオのように、ＶＲシナリオも、仮想コンテンツを生成／レンダリングするために使用される姿勢を考慮しなければならない。仮想コンテンツを基準のＡＲ／ＶＲディスプレイフレームに対して正確にワーピングし、ワーピングされる仮想コンテンツをワーピングすることは、ＡＲ／ＶＲシナリオを改良すること、または、少なくともＡＲ／ＶＲシナリオを損ねないことができる。

続く説明は、本開示が実践され得る例証的ＡＲシステムに関する。しかしながら、本開示は、それ自体が他のタイプの拡張現実および仮想現実システムにおける用途にも適し、したがって、本開示は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

図２Ａを参照すると、いくつかの実施形態による、ＡＲシステム２００の一実施形態が図示される。ＡＲシステム２００は、投影サブシステム２０８と共に動作させられ、物理的オブジェクトと混合された仮想オブジェクトの画像をユーザ２５０の視野内に提供し得る。このアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して、物理的オブジェクトを含む周囲環境が、見られることができ、それを通して、ＡＲシステム２００は、仮想オブジェクトの画像を生成する。投影サブシステム２０８は、制御サブシステム２０１内に格納され、制御サブシステム２０１は、リンク２０７を通してディスプレイシステム／サブシステム２０４に動作可能に結合される。リンク２０７は、有線または無線通信リンクであり得る。

ＡＲ用途に関して、種々の仮想オブジェクトをそれぞれの物理的オブジェクトに対してユーザ２５０の視野内に空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造を有する多種多様な形態のいずれかをとり得る。仮想オブジェクトの非限定的例は、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計器オブジェクト、または物理的オブジェクトの仮想視覚的表現を含み得る。

ＡＲシステム２００は、ユーザ２５０によって装着されるフレーム構造２０２と、ディスプレイシステム２０４がユーザ２５０の眼の正面に位置付けられるように、フレーム構造２０２によって支持されるディスプレイシステム２０４と、ディスプレイシステム２０４の中に組み込まれた、またはそれに接続されたスピーカ２０６とを含む。図示される実施形態において、スピーカ２０６は、スピーカ２０６がユーザ２５０の外耳道（内またはその周囲）に隣接して位置付けられるように、フレーム構造２０２によって支持される（例えば、イヤーバッドまたはヘッドホン）。

ディスプレイシステム２０４は、ユーザ２５０の眼に２次元および３次元コンテンツの両方を含む周囲環境に対する拡張として快適に知覚され得る光ベースの放射パターンを提示するように設計される。ディスプレイシステム２０４は、一続きのフレームを高周波数で提示し、それは、単一コヒーレント場面の知覚を提供する。この目的を達成するために、ディスプレイシステム２０４は、投影サブシステム２０８と、部分的に透明なディスプレイ画面とを含み、ディスプレイ画面を通して、投影サブシステム２０８が、画像を投影する。ディスプレイ画面は、ユーザ２５０の眼と周囲環境との間のユーザ２５０の視野内に位置付けられる。

いくつかの実施形態において、投影サブシステム２０８は、走査ベースの投影デバイスの形態をとり、ディスプレイ画面は、導波管ベースのディスプレイの形態をとり、ディスプレイの中、投影サブシステム２０８からの走査光が投入され、例えば、無限遠（例えば、腕の長さ）より近い単一光学視認距離における画像、複数の別々の光学視認距離または焦点面における画像、および／または、立体３Ｄオブジェクトを表すための複数の視認距離または焦点面にスタックされた画像層を生成する。明視野内のこれらの層は、ヒト副視覚系に連続しているように見えるように十分に一緒に緊密にスタックされ得る（例えば、１つの層が、隣接する層の混同の円錐内にある）。加えて、または代替として、写真要素が、２つ以上の層にわたって混成され、それらの層がより疎らにスタックされる（例えば、１つの層が、隣接する層の混同の円錐外にある）場合でも、明視野内の層間の遷移の知覚される連続性を増加させ得る。ディスプレイシステム２０４は、単眼または双眼であり得る。走査アセンブリは、光ビームを生成する（例えば、異なる色の光を定義されたパターンで放出する）１つ以上の光源を含む。光源は、多種多様な形態の任意のもの、例えば、ＲＧＢソースの組（例えば、赤色、緑色、および青色光を出力することが可能なレーザダイオード）をとり得、ＲＧＢソースの組は、ピクセル情報またはデータのそれぞれのフレーム内で規定された定義されたピクセルパターンに従って、それぞれ、赤色、緑色、および青色のコヒーレントなコリメートされた光を生成するように動作可能である。レーザ光は、高色飽和を提供し、高度にエネルギー効率的である。光学結合サブシステムは、光学導波管入力装置（例えば、１つ以上の反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズム等）を含み、光学導波管入力装置は、光をディスプレイ画面の端部の中に光学的に結合する。光学結合サブシステムは、光ファイバからの光をコリメートするコリメーション要素をさらに含む。随意に、光学結合サブシステムは、光学変調装置を備え、光学変調装置は、コリメーション要素からの光を光学導波管入力装置の中心における焦点に向かって収束させ、それによって、光学導波管入力装置のサイズが最小化されることを可能にするために構成される。したがって、ディスプレイサブシステム２０４は、１つ以上の仮想オブジェクトの歪まされていない画像をユーザに提示するピクセル情報の一連の合成画像フレームを生成する。ディスプレイサブシステム２０４は、１つ以上の仮想オブジェクトの歪まされていないカラー画像をユーザに提示するピクセル情報の一連のカラー合成サブ画像フレームも生成し得る。ディスプレイサブシステムを説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許出願第１４／２１２，９６１号（弁理士整理番号ＭＬ．２０００６．００）および「Ｐｌａｎａｒ Ｗａｖｅｇｕｉｄｅ Ａｐｐａｒａｔｕｓ Ｗｉｔｈ Ｄｉｆｆｒａｃｔｉｏｎ Ｅｌｅｍｅｎｔ（ｓ） ａｎｄ Ｓｕｂｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｓａｍｅ」と題された第１４／３３１，２１８号（弁理士整理番号ＭＬ．２００２０．００）（その内容は、参照することによって、全体として記載される場合と同様にその全体として明示的かつ完全に本明細書に組み込まれる）に提供される。

ＡＲシステム２００は、ユーザ２５０の頭部の位置（向きを含む）および移動、および／またはユーザ２５０の眼の位置および眼球間距離を検出するために、フレーム構造２０２に搭載された１つ以上のセンサをさらに含む。そのようなセンサは、画像捕捉デバイス、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ等を含み得る。例えば、一実施形態において、ＡＲシステム２００は、頭部装着型変換器サブシステムを含み、頭部装着型変換器サブシステムは、ユーザ２５０の頭部の移動を示す慣性測定値を捕捉するための１つ以上の慣性変換器を含む。そのようなデバイスは、ユーザ２５０の頭部移動についての情報を感知、測定、または収集するために使用され得る。例えば、これらのデバイスは、ユーザの頭部２５０の移動、速度、加速、および／または位置を検出／測定するために使用され得る。ユーザ２５０の頭部の位置（向きを含む）は、ユーザ２５０の「頭部姿勢」としても知られる。

図２ＡのＡＲシステム２００は、１つ以上の前方に面したカメラを含み得る。カメラは、システム２００の前方方向からの画像／ビデオの記録等、任意の数の目的のために採用され得る。加えて、カメラは、環境および環境内の具体的オブジェクトに対するユーザ２５０の距離、向き、および／または角位置を示す情報等、ユーザ２５０が位置する環境についての情報を捕捉するために使用され得る。

ＡＲシステム２００は、ユーザ２５０の眼の角位置（片眼または両眼が向いている方向）、瞬目、および焦点深度（眼収束を検出することによって）を追跡するために、後ろ向きに面したカメラをさらに含み得る。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影し、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別され得る。

拡張現実システム２００は、多種多様な形態のいずれかをとり得る制御サブシステム２０１をさらに含む。制御サブシステム２０１は、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡＳ）、例えば、フィールドＰＧＡＳ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。制御サブシステム２０１は、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）２５１、グラフィック処理ユニット（ＧＰＵ）２５２、および１つ以上のフレームバッファ２５４を含み得る。ＣＰＵ２５１は、システムの全体的動作を制御する一方、ＧＰＵ２５２は、フレームをレンダリングし（すなわち、３次元場面を２次元画像に変換する）、これらのフレームをフレームバッファ２５４内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームバッファ２５４の中へのフレームの読み込みおよび／またはフレームバッファ２５４からのフレームの読み取り、およびディスプレイシステム２０４の動作を制御し得る。フレームバッファ２５４の中への読み込みおよび／またはそれからの読み取りは、動的アドレッシングを採用し得、例えば、フレームは、オーバーレンダリングされる。制御サブシステム２０１は、読み取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）をさらに含む。制御サブシステム２０１は、３次元データベース２６０をさらに含み、それから、ＧＰＵ２５２は、フレームをレンダリングするための１つ以上の場面の３次元データ、および３次元場面内に含まれる仮想音源に関連付けられた合成音データにアクセスすることができる。

拡張現実システム２００は、ユーザ向き検出モジュール２４８をさらに含む。ユーザ向きモジュール２４８は、ユーザ２５０の頭部の瞬間位置を検出し、センサから受信された位置データに基づいて、ユーザ２５０の頭部の位置を予測し得る。ユーザ向きモジュール２４８は、センサから受信された追跡データに基づいて、ユーザ２５０の眼、特に、ユーザ２５０が集中させられている方向および／または距離も追跡する。

図２Ｂは、いくつかの実施形態による、ＡＲシステム２００’を描写する。図２Ｂに描写されるＡＲシステム２００’は、図２Ａに描写され、上で説明されるＡＲシステム２００に類似する。例えば、ＡＲシステム２００’は、フレーム構造２０２と、ディスプレイシステム２０４と、スピーカ２０６と、リンク２０７を通してディスプレイサブシステム２０４に動作可能に結合された制御サブシステム２０１’とを含む。図２Ｂに描写される制御サブシステム２０１’は、図２Ａに描写され、上で説明される制御サブシステム２０１に類似する。例えば、制御サブシステム２０１’は、投影サブシステム２０８と、画像／ビデオデータベース２７１と、ユーザ向きモジュール２４８と、ＣＰＵ２５１と、ＧＰＵ２５２と、３Ｄデータベース２６０と、ＲＯＭと、ＲＡＭとを含む。

制御サブシステム２０１’、したがって、図２Ｂに描写されるＡＲシステム２００’と、図２Ａに描写される対応するシステム／システムコンポーネントとの間の差異は、図２Ｂに描写される制御サブシステム２０１’内のワーピングユニット２８０の存在である。ワーピングユニット２８０は、ＧＰＵ２５２またはＣＰＵ２５１から独立した別個のワーピングブロックである。他の実施形態において、ワーピングユニット２８０は、別個のワーピングブロック内のコンポーネントであり得る。いくつかの実施形態において、ワーピングユニット２８０は、ＧＰＵ２５２の内側にあり得る。いくつかの実施形態において、ワーピングユニット２８０は、ＣＰＵ２５１の内側にあり得る。図２Ｃは、ワーピングユニット２８０が、姿勢推定器２８２と、変換ユニット２８４とを含むことを示す。

ＡＲシステム２００、２００’の種々の処理コンポーネントは、分散型サブシステム内に含まれ得る。例えば、ＡＲシステム２００、２００’は、有線導線または無線接続性２０７等によって、ディスプレイシステム２０４の一部に動作可能に結合されるローカル処理およびデータモジュール（すなわち、制御サブシステム２０１、２０１’）を含む。ローカル処理およびデータモジュールは、フレーム構造２０２に固定して取り付けられる構成、ヘルメットまたは帽子に固定して取り付けられる構成、ヘッドホンに内蔵される構成、ユーザ２５０の胴体に除去可能に取り付けられる構成、またはベルト結合式構成においてユーザ２５０の腰部に除去可能に取り付けられる構成等、種々の構成において搭載され得る。ＡＲシステム２００、２００’は、有線導線または無線接続性等によって、ローカル処理およびデータモジュールに動作可能に結合された遠隔処理モジュールおよび遠隔データリポジトリをさらに含み得、それによって、遠隔モジュールは、互いに動作可能に結合され、ローカル処理およびデータモジュールに対するリソースとして利用可能である。ローカル処理およびデータモジュールは、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、それらの両方は、可能性として処理または読み出し後のディスプレイシステム２０４への通過のために、センサから捕捉されたデータ、および／または、遠隔処理モジュールおよび／または遠隔データリポジトリを使用して入手および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用され得る。遠隔処理モジュールは、データおよび／または画像情報を分析および処理するように構成される１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリは、比較的に大規模デジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態において、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、任意の遠隔モジュールからの完全に自律的使用を可能にする。上で説明される種々のコンポーネント間の結合は、ワイヤまたは光学通信を提供するために、１つ以上の有線インターフェースまたはポート、または無線通信を提供するために、ＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースまたはポートを含み得る。いくつかの実装において、全ての通信は、有線であり得る一方、他の実装において、全ての通信は、光ファイバを除き、無線であり得る。
（問題およびソリューションの要約）

光学システムがカラー仮想コンテンツを生成／レンダリングするとき、それは、ソース基準系を使用し得、ソース基準系は、仮想コンテンツがレンダリングされるときのシステムの姿勢に関連し得る。ＡＲシステムにおいて、レンダリングされる仮想コンテンツは、実際の物理的オブジェクトと所定の関係を有し得る。例えば、図３は、実際の物理的台３１２の上部に位置付けられる仮想植木鉢３１０を含むＡＲシナリオ３００を図示する。ＡＲシステムは、実際の台３１２の場所が既知であるソース基準系に基づいて仮想植木鉢３１０をレンダリングしており、それによって、仮想植木鉢３１０は、実際の台３１２の上部に置かれているかのように見える。ＡＲシステムは、第１の時間において、ソース基準系を使用して、仮想植木鉢３１０をレンダリングし、第１の時間の後の第２の時間において、レンダリングされた仮想植木鉢３１０を出力基準系に表示／投影し得る。ソース基準系と出力基準系とが同じである場合、仮想植木鉢３１０は、意図された場所（例えば、実際の物理的台３１２の上部）に現れるであろう。

しかしながら、ＡＲシステムの基準系が、仮想植木鉢３１０がレンダリングされる第１の時間と、レンダリングされた仮想植木鉢３１０が表示／投影される第２の時間との間の間隙において変化する場合（例えば、高速ユーザ頭部移動に伴って）、ソース基準系と出力基準系との間の不整列／差異は、視覚的アーチファクト／異常／グリッチをもたらし得る。例えば、図４は、実際の物理的台４１２の上部に位置付けられるようにレンダリングされた仮想植木鉢４１０を含むＡＲシナリオ４００を示す。しかしながら、ＡＲシステムは、仮想植木鉢４１０がレンダリングされた後であるが、表示／投影される前、右に急速に移動させられたので、仮想植木鉢４１０は、その意図される位置４１０’（想像線で示される）の右に表示される。したがって、仮想植木鉢４１０は、実際の物理的台４１２の右の空中に浮いているように見える。このアーチファクトは、仮想植木鉢が出力基準系において再レンダリングされると、是正されるであろう（ＡＲシステム運動が中止すると仮定して）。しかしながら、アーチファクトは、依然として、一部のユーザに見え、仮想植木鉢４１０は、予期しない位置に一時的にジャンプすることによって、グリッチとして現れるであろう。このグリッチおよびそのような他のものは、ＡＲシナリオの連続性の錯覚に悪影響を及ぼし得る。

いくつかの光学システムは、仮想コンテンツが生成されたソース基準系から、仮想コンテンツが表示されるであろう出力基準系にソース仮想コンテンツの基準系をワーピングまたは変換するワーピングシステムを含み得る。図４に描写される例において、ＡＲシステムは、出力基準系および／または姿勢を検出および／または予測することができる（例えば、ＩＭＵまたは眼追跡を使用して）。ＡＲシステムは、次いで、ソース基準系からのレンダリングされた仮想コンテンツを出力基準系内のワーピングされた仮想コンテンツにワーピングまたは変換することができる。
（カラー仮想コンテンツワーピングシステムおよび方法）

図５は、いくつかの実施形態による、仮想コンテンツのワーピングを図式的に図示する。光線５１０によって表されるソース基準系（レンダリング姿勢）におけるソース仮想コンテンツ５１２が、光線５１０’によって表される出力基準系（推定される姿勢）におけるワーピングされた仮想コンテンツ５１２’にワーピングされる。図５に描写されるワーピングは、右５２０への頭部回転を表し得る。ソース仮想コンテンツ５１２は、ソースＸ、Ｙ場所に配置されるが、ワーピングされた仮想コンテンツ５１２’は、出力Ｘ’、Ｙ’場所に変換される。

図６は、いくつかの実施形態による、仮想コンテンツをワーピングする方法を描写する。ステップ６１２において、ワーピングユニット２８０は、仮想コンテンツ、ベース姿勢（すなわち、ＡＲシステム２００、２００’の現在の姿勢（現在の基準系））、レンダリング姿勢（すなわち、仮想コンテンツをレンダリングするために使用されるＡＲシステム２００、２００’の姿勢（ソース基準系））、および推定される照明時間（すなわち、ディスプレイシステム２０４が照明されるであろう推定される時間（推定される出力基準系））を受信する。いくつかの実施形態において、ベース姿勢は、レンダリング姿勢より新しい／より最近／より最新であり得る。ステップ６１４において、姿勢推定器２８２が、ベース姿勢およびＡＲシステム２００、２００’についての情報を使用して、推定される照明時間における姿勢を推定する。ステップ６１６において、変換ユニット２８４が、推定される姿勢（推定される照明時間から）およびレンダリング姿勢を使用して、ワーピングされた仮想コンテンツを受信された仮想コンテンツから生成する。

仮想コンテンツが色を含むとき、いくつかのワーピングシステムは、単一の出力基準系（例えば、単一の推定される照明時間からの単一の推定される姿勢）における単一Ｘ’、Ｙ’場所を使用して、カラー画像に対応する／カラー画像を形成するカラーサブ画像またはフィールドの全てをワーピングする。しかしながら、いくつかの投影ディスプレイシステム（例えば、順次投影ディスプレイシステム）は、いくつかのＡＲシステムにおけるもののように、カラーサブ画像／フィールドの全てを同時に投影するわけではない。例えば、各カラーサブ画像／フィールドの投影中、ある程度の遅れが存在し得る。照明時間の差異である、各カラーサブ画像／フィールドの投影中のこの遅れは、高速頭部移動中、カラー干渉縞アーチファクトを最終画像内にもたらし得る。

例えば、図７Ａは、いくつかの実施形態による、いくつかのワーピングシステムを使用したカラー仮想コンテンツのワーピングを図式的に図示する。ソース仮想コンテンツ７１２は、３つのカラーセクション、すなわち、赤色セクション７１２Ｒと、緑色セクション７１２Ｇと、青色セクション７１２Ｂとを有する。この例において、各カラーセクションは、カラーサブ画像／フィールド７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’に対応する。いくつかのワーピングシステムは、光線７１０’’（例えば、緑色サブ画像およびその照明時間ｔ１に対応する基準系７１０’’）によって表される単一の出力基準系（例えば、推定姿勢）を使用して、全３つのカラーサブ画像７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’をワーピングする。しかしながら、いくつかの投影システムは、カラーサブ画像７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’を同時に投影しない。代わりに、カラーサブ画像７１２Ｒ’’、７１２Ｇ’’、７１２Ｂ’’は、３つの若干異なる時間（時間ｔ０、ｔ１、およびｔ２における光線７１０’、７１０’’、７１０’’’によって表される）において投影される。サブ画像の投影中の遅れのサイズは、投影システムのフレーム／リフレッシュレートに依存し得る。例えば、投影システムが、６０Ｈｚ以下（例えば、３０Ｈｚ）フレームレートを有する場合、遅れは、高速移動視認者またはオブジェクトに伴って、カラー干渉縞アーチファクトをもたらし得る。

図７Ｂは、いくつかの実施形態による、図７Ａに描写されるものに類似する仮想コンテンツワーピングシステム／方法によって生成されたカラー干渉縞アーチファクトを図示する。赤色サブ画像７１２Ｒ’’は、図７Ａにおいて光線７１０’’によって表される出力基準系（例えば、推定姿勢）を使用してワーピングされるが、光線７１０’によって表される時間ｔ０において投影されるので、赤色サブ画像７１２Ｒ’’は、意図されるワーピングを行き過ぎるように現れる。この行き過ぎ量は、図７Ｂにおいて、右干渉縞画像７１２Ｒ’’として現れる。緑色サブ画像７１２Ｇ’’は、図７Ａにおいて光線７１０’’によって表される出力基準系（例えば、推定される姿勢）を使用してワーピングされ、光線７１０’’によって表される時間ｔ１において投影されるので、緑色サブ画像７１２Ｇ’’は、意図されるワーピングを用いて投影される。これは、図７Ｂにおいて、中心画像７１２Ｇ’’によって表される。青色サブ画像７１２Ｂ’’は、図７Ａにおいて光線７１０’’によって表される出力基準系（例えば、推定される姿勢）を使用してワーピングされるが、光線７１０’’’によって表される時間ｔ２において投影されるので、青色サブ画像７１２Ｂ’’は、意図されるワーピングに達しないように現れる。この負の行き過ぎ量は、図７Ｂにおいて、左干渉縞画像７１２Ｂ’’として現れる。図７Ｂは、３つの重複するＲ、Ｇ、Ｂカラーフィールド（すなわち、カラーでレンダリングされた身体）を有する身体を含むワーピングされた仮想コンテンツのユーザの感じ方における再構築を図示する。図７Ｂは、赤色右干渉縞画像色割れ（「ＣＢＵ」）アーチファクト７１２Ｒ’’と、中心画像７１２Ｇ’’と、青色左干渉縞画像ＣＢＵアーチファクト７１２Ｂ’’とを含む。

図７Ｂは、例証的目的のために、行き過ぎおよび負の行き過ぎ効果を誇張する。これらの効果のサイズは、投影システムのフレーム／フィールドレートおよび仮想コンテンツと出力基準系（例えば、推定される姿勢）の相対的速度に依存する。これらの行き過ぎおよび負の行き過ぎ効果がより小さいとき、それらは、カラー／レインボー干渉縞として現れ得る。例えば、十分に低速のフレームレートにおいて、野球のボール等の白色仮想オブジェクトは、カラー（例えば、赤色、緑色、および／または青色）干渉縞を有し得る。干渉縞を有する代わりに、サブ画像（例えば、赤色、緑色、および／または青色）に合致する一連のソリッドカラーを伴う仮想オブジェクトは、グリッチをもたらし得る（すなわち、高速移動中、予期しない位置にジャンプし、高速移動後、予期される位置に戻るようにジャンプするように現れる）。そのようなソリッドカラー仮想オブジェクトは、高速移動中、振動するようにも現れ得る。

これらの限界およびその他に対処するために、本明細書に説明されるシステムは、カラーサブ画像／フィールドの数に対応するいくつかの基準系を使用して、カラー仮想コンテンツをワーピングする。例えば、図８は、いくつかの実施形態による、カラー仮想コンテンツをワーピングする方法を描写する。ステップ８１２において、ワーピングユニット２８０が、仮想コンテンツ、ＡＲシステム２００、２００’のベース姿勢（すなわち、現在の姿勢（現在の基準系）、レンダリング姿勢（すなわち、仮想コンテンツ（ソース基準系）をレンダリングするために使用されるＡＲシステム２００、２００’の姿勢）、およびサブ画像／カラーフィールド（Ｒ、Ｇ、Ｂ）ごとの推定される照明時間（すなわち、ディスプレイシステム２０４がディスプレイシステム２０４に関連する各サブ画像（各サブ画像の推定される出力基準系）のために照明される推定される時間）を受信する。ステップ８１４において、ワーピングユニット２８０が、仮想コンテンツを各サブ画像／カラーフィールド（Ｒ、Ｇ、Ｂ）に分割する。

ステップ８１６Ｒ、８１６Ｇ、および８１６Ｂにおいて、姿勢推定器２８２が、ベース姿勢（例えば、現在の基準系）およびＡＲシステム２００、２００’についての情報を使用して、Ｒ、Ｇ、Ｂサブ画像／フィールドのためのそれぞれの推定される照明時間における姿勢を推定する。ステップ８１８Ｒ、８１８Ｇ、および８１８Ｂにおいて、変換ユニット２８４が、それぞれの推定されるＲ、Ｇ、およびＢ姿勢およびレンダリング姿勢（例えば、ソース基準系）を使用して、Ｒ、Ｇ、およびＢのワーピングされた仮想コンテンツを受信された仮想コンテンツサブ画像／カラーフィールド（Ｒ、Ｇ、Ｂ）から生成する。ステップ８２０において、変換ユニット２８４が、順次表示のために、ワーピングされたＲ、Ｇ、Ｂサブ画像／フィールドを組み合わせる。

図９Ａは、いくつかの実施形態による、ワーピングシステムを使用したカラー仮想コンテンツのワーピングを図式的に図示する。ソース仮想コンテンツ９１２は、図７Ａにおけるソース仮想コンテンツ７１２と同じである。ソース仮想コンテンツ９１２は、３つのカラーセクション、すなわち、赤色セクション９１２Ｒと、緑色セクション９１２Ｇと、青色セクション９１２Ｂとを有する。各カラーセクションは、カラーサブ画像／フィールド９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’に対応する。本明細書における実施形態によるワーピングシステムは、光線９１０’、９１０’’、９１０’’’によって表されるそれぞれの出力基準系（例えば、推定される姿勢）を使用して、各対応するカラーサブ画像／フィールド９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’をワーピングする。これらのワーピングシステムは、カラー仮想コンテンツをワーピングするとき、カラーサブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’の投影のタイミング（すなわち、ｔ０、ｔ１、ｔ２）を考慮する。投影のタイミングは、投影のタイミングを計算するために使用される投影システムのフレーム／フィールドレートに依存する。

図９Ｂは、図９Ａに描写されるものに類似する仮想コンテンツワーピングシステム／方法によって生成されたワーピングされたカラーサブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’を図示する。赤色、緑色、および青色サブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’は、光線９１０’、９１０’’、９１０’’’によって表されるそれぞれの出力基準系（例えば、推定される姿勢）を使用してワーピングされ、同一光線９１０’、９１０’’、９１０’’’によって表される時間ｔ０、ｔ１、ｔ２において投影されるので、サブ画像９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’は、意図されるワーピングを用いて投影される。図９Ｂは、３つの重複するＲ、Ｇ、Ｂカラーフィールドを有する身体（すなわち、カラーでレンダリングされた身体）を含むいくつかの実施形態によるワーピングされた仮想コンテンツのユーザの感じ方における再構築を図示する。図９Ｂは、３つのサブ画像／フィールド９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’が、適切な時間に意図されるワーピングを用いて投影されるので、カラーにおける身体の実質的に正確なレンダリングである。

本明細書における実施形態によるワーピングシステムは、単一の基準系を使用する代わりに、投影のタイミング／照明時間を考慮する対応する基準系（例えば、推定される姿勢）を使用して、サブ画像／フィールド９１２Ｒ’、９１２Ｇ’’、９１２Ｂ’’’をワーピングする。その結果、本明細書における実施形態によるワーピングシステムは、カラー仮想コンテンツを異なる色／フィールドの別個のサブ画像にワーピングしながら、ＣＢＵ等のワーピング関連色アーチファクトを最小化する。カラー仮想コンテンツのより正確なワーピングは、より現実的および真実味のあるＡＲシナリオに寄与する。
（例証的グラフィック処理ユニット）

図１０は、一実施形態による、カラー仮想コンテンツを種々のカラーサブ画像またはフィールドに対応する出力基準系にワーピングするための例示的グラフィック処理ユニット（ＧＰＵ）２５２を図式的に描写する。ＧＰＵ２５２は、ワーピングされるべき生成されたカラー仮想コンテンツを記憶するための入力メモリ１０１０を含む。一実施形態において、カラー仮想コンテンツは、プリミティブ（例えば、図１１において、三角形１１００）として記憶される。ＧＰＵ２５２は、コマンドプロセッサ１０１２も含み、それは、（１）カラー仮想コンテンツを入力メモリ１０１０から受信し／読み取り、（２）カラー仮想コンテンツをカラーサブ画像に、それらのカラーサブ画像をスケジューリングユニットに分割し、（３）並列処理のために、スケジューリングユニットをレンダリングパイプラインに沿って波またはワープにおいて送信する。ＧＰＵ２５２は、スケジューラ１０１４をさらに含み、スケジューリングユニットをコマンドプロセッサ１０１２から受信する。スケジューラ１０１４は、レンダリングパイプラインに沿って任意の特定の時間に、コマンドプロセッサ１０１２からの「新しい作業」が送信されるべきか、レンダリングパイプライン内の下流から戻る「古い作業」（下記に説明される）が送信されるべきかも決定する。事実上、スケジューラ１０１４は、ＧＰＵ２５２が種々の入力データを処理する順序を決定する。

ＧＰＵ２５２は、ＧＰＵコア１０１６を含み、それは、スケジューリングユニットを並行して処理するために、いくつかの並行実行可能コア／ユニット（「シェーダコア」）１０１８を有する。コマンドプロセッサ１０１２は、カラー仮想コンテンツをシェーダコア１０１８の数と等しい数（例えば、３２）に分割する。ＧＰＵ２５２は、「先入れ先出し」（「ＦＩＦＯ」）メモリ１０２０も含み、それは、ＧＰＵコア１０１６からの出力を受信する。ＦＩＦＯメモリ１０２０から、出力は、ＧＰＵコア１０１６によるレンダリングパイプラインの追加の処理の中への挿入のために、「古い作業」としてスケジューラ１０１４に戻るようにルーティングされ得る。

ＧＰＵ２５２は、ＦＩＦＯメモリ１０２０からの出力を受信し、表示のために出力をラスタ化するラスタ演算ユニット（「ＲＯＰ」）１０２２をさらに含む。例えば、カラー仮想コンテンツのプリミティブは、三角形の頂点の座標として記憶され得る。ＧＰＵコア１０１６による処理（その間、三角形１１００の３つの頂点１１１０、１１１２、１１１４がワーピングされ得る）後、ＲＯＰ１０２２は、３つの頂点１１１０、１１１２、１１１４によって画定された三角形１１００の内側のピクセル１１１６を決定し、カラー仮想コンテンツ内のそれらのピクセル１１１６を充填する。ＲＯＰ１０２２は、深度試験を仮想コンテンツに実施し得る。カラー仮想コンテンツを処理するために、ＧＰＵ２５２は、異なる原色のサブ画像の並列処理のための１つ以上のＲＯＰ１０２２Ｒ、１０２２Ｂ、１０２２Ｇを含み得る。

ＧＰＵ２５２は、ＲＯＰ１０２２からのワーピングされたカラー仮想コンテンツを一時的に記憶するためのバッファメモリ１０２４も含む。バッファメモリ１０２４内のワーピングされたカラー仮想コンテンツは、出力基準系内の視野の１つ以上のＸ、Ｙ位置における明度／色および深度情報を含み得る。バッファメモリ１０２４からの出力は、ＧＰＵコア１０１６によるレンダリングパイプラインの追加の処理の中への挿入のために、またはディスプレイシステムの対応するピクセル内における表示のために、スケジューラ１０１４に「古い作業」として戻るようにルーティングされ得る。入力メモリ１０１０内のカラー仮想コンテンツの各フラグメントは、少なくとも２回、ＧＰＵコア１０１６によって処理される。ＧＰＵコア１０１６は、三角形１１００の頂点１１１０、１１１２、１１１４を最初に処理し、次いで、三角形１１００の内側のピクセル１１１６を処理する。入力メモリ１０１０内のカラー仮想コンテンツ全てのフラグメントが、ワーピングされ、深度試験される（必要な場合）と、バッファメモリ１０２４は、出力基準系において視野を表示するために必要とされる明度／色および深度情報の全てを含むであろう。
（カラー仮想コンテンツワーピングシステムおよび方法）

頭部姿勢変化を伴わない標準的画像処理において、ＧＰＵ２５２による処理の結果は、それぞれのＸ、Ｙ値（例えば、各ピクセル）における色／明度値および深度値である。しかしながら、頭部姿勢変化に伴って、仮想コンテンツは、頭部姿勢変化に従うようにワーピングされる。カラー仮想コンテンツの場合、各カラーサブ画像が、別個にワーピングされる。カラー仮想コンテンツをワーピングするための既存の方法において、カラー画像に対応するカラーサブ画像は、単一の出力基準系（例えば、緑色サブ画像に対応する）を使用してワーピングされる。上で説明されるように、それは、カラー干渉縞およびＣＢＵ等の他の視覚的アーチファクトをもたらし得る。

図１２は、ＣＢＵ等の視覚的アーチファクトを最小化しながらカラー仮想コンテンツをワーピングする方法１２００を描写する。ステップ１２０２において、ワーピングシステム（例えば、そのＧＰＵコア１０１６および／またはワーピングユニット２８０）は、Ｒ、Ｇ、およびＢサブ画像のための投影／照明時間を決定する。この決定は、フレームレートおよび関連投影システムの他の特性を使用する。図９Ａにおける例において、投影時間は、ｔ０、ｔ１、およびｔ２および光線９１０’、９１０’’、９１０’’’に対応する。

ステップ１２０４において、ワーピングシステム（例えば、そのＧＰＵコア１０１６および／または姿勢推定器２８２）が、Ｒ、Ｇ、およびＢサブ画像のための投影時間に対応する姿勢／基準系を予測する。この予測は、現在の姿勢、システムＩＭＵ速度、およびシステムＩＭＵ加速を含む種々のシステム入力を使用する。図９Ａにおける例において、Ｒ、Ｇ、Ｂの姿勢／基準系は、光線ｔ０、ｔ１、およびｔ２および９１０’、９１０’’、９１０’’’に対応する。

ステップ１２０６において、ワーピングシステム（例えば、そのＧＰＵコア１０１６、ＲＯＰ１０２２、および／または変換ユニット２８４）が、ステップ１２０４において予測されたＲの姿勢／基準系を使用して、Ｒサブ画像をワーピングする。ステップ１２０８において、ワーピングシステム（例えば、そのＧＰＵコア１０１６、ＲＯＰ１０２２、および／または変換ユニット２８４）が、ステップ１２０４において予測されたＧの姿勢／基準系を使用して、Ｇサブ画像をワーピングする。ステップ１２１０において、ワーピングシステム（例えば、そのＧＰＵコア１０１６、ＲＯＰ１０２２、および／または変換ユニット２８４）が、ステップ１２０４において予測されたＢの姿勢／基準系を使用して、Ｂサブ画像をワーピングする。それぞれの姿勢／基準系を使用して別個のサブ画像／フィールドをワーピングすることは、これらの実施形態をカラー仮想コンテンツをワーピングするための既存の方法と区別する。

ステップ１２１２において、ワーピングシステムに動作可能に結合された投影システムが、ステップ１２０２において決定されたＲ、Ｇ、およびＢサブ画像のための投影時間において、Ｒ、Ｇ、Ｂサブ画像を投影する。

上で説明されるように、図１０に描写される方法１０００も、任意のＧＰＵ２５２またはＣＰＵ２５１から独立した別個のワーピングブロック２８０上で実行され得る。さらに別の実施形態において、図１０に描写される方法１０００は、ＣＰＵ２５１上で実行され得る。さらに他の実施形態において、図１０に描写される方法１０００は、ＧＰＵ２５２、ＣＰＵ２５１、および別個のワーピングユニット２８０の種々の組み合わせ／副次的組み合わせ上で実行され得る。図１０に描写される方法１０００は、システムリソース利用可能性に従って特定の時間における種々の実行モデルを使用して実行され得る画像処理パイプラインである。

各カラーサブ画像／フィールドに対応する予測される姿勢／基準系を使用して、カラー仮想コンテンツをワーピングすることは、カラー干渉縞および他の視覚的異常を低減させる。これらの異常を低減させることは、より現実的および没入型の複合現実シナリオをもたらす。
（システムアーキテクチャ概要）

図１３は、いくつかの実施形態による、例証的コンピューティングシステム１３００のブロック図である。コンピュータシステム１３００は、サブシステムおよびデバイスを相互接続する情報を通信するためのバス１３０６または他の通信機構を含み、サブシステムおよびデバイスは、プロセッサ１３０７、システムメモリ１３０８（例えば、ＲＡＭ）、静的記憶デバイス１３０９（例えば、ＲＯＭ）、ディスクドライブ１３１０（例えば、磁気または光学）、通信インターフェース１３１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ１３１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１３１２（例えば、キーボード）、およびカーソル制御等である。

いくつかの実施形態によると、コンピュータシステム１３００は、プロセッサ１３０７がシステムメモリ１３０８内に含まれる１つ以上の一続きの１つ以上の命令を実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス１３０９またはディスクドライブ１３１０等の別のコンピュータ読み取り可能な／使用可能媒体からシステムメモリ１３０８の中に読み込まれ得る。代替実施形態において、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本開示を実装するために使用され得る。したがって、実施形態は、ハードウェア回路および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態において、用語「論理」は、本開示の全部または一部を実装するために使用される任意の組み合わせのソフトウェアまたはハードウェアを意味し得る。

用語「コンピュータ読み取り可能な媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ１３０７に提供することにおいて関与する任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１３１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１３０８等の動的メモリを含む。

一般的形態のコンピュータ読み取り可能な媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）−ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取り得る任意の他の媒体を含む。

いくつかの実施形態において、本開示を実践するための一続きの命令の実行は、単一コンピュータシステム１３００によって実施される。いくつかの実施形態によると、通信リンク１３１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される２つ以上のコンピュータシステム１３００が、互いに協調して、本開示を実践するために要求される一続きの命令を実施し得る。

コンピュータシステム１３００は、通信リンク１３１５および通信インターフェース１３１４を通して、プログラム、例えば、アプリケーションコードを含むメッセージ、データ、および命令を伝送および受信し得る。受信されたプログラムコードは、それが受信されると、プロセッサ１３０７によって実行され、および／または、後の実行のために、ディスクドライブ１３１０または他の不揮発性記憶装置内に記憶され得る。記憶媒体１３３１内のデータベース１３３２は、データインターフェース１３３３を介して、システム１３００によってアクセス可能なデータを記憶するために使用され得る。
（代替ワーピング／レンダリングパイプライン）

図１４は、いくつかの実施形態による、マルチフィールド（カラー）仮想コンテンツのためのワーピング／レンダリングパイプライン１４００を描写する。パイプライン１４００は、２つの側面を具現化する：（１）多段階／結合解除ワーピング、（２）アプリケーションフレームと照明フレームとの間の頻度変動。
（（１）多段階／結合解除ワーピング）

パイプライン１４００は、１つ以上のワーピング段階を含む。１４１２において、アプリケーションＣＰＵ（「クライアント」）が、仮想コンテンツを生成し、それは、アプリケーションＧＰＵ２５２によって１つ以上の（例えば、Ｒ、Ｇ、Ｂ）フレームおよび姿勢１４１４に対して処理される。１４１６において、ワーピング／合成器ＣＰＵおよびそのＧＰＵ２５２が、各フレームに関して第１の推定される姿勢を使用して、第１のワーピングを実施する。パイプライン１４００の後半（すなわち、照明により近い）において、ワーピングユニット１４２０が、各フレームに関して第２の推定される姿勢を使用して、各フレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂに関して第２のワーピングを実施する。第２の推定される姿勢は、第２の推定される姿勢が照明により近いと決定されるので、それぞれの第１の推定される姿勢より正確であり得る。２回ワーピングされたフレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂは、ｔ０、ｔ１、およびｔ２において表示される。

第１のワーピングは、後のワーピングのために仮想コンテンツのフレームを整列させるために使用され得る最良推量であり得る。これは、計算集約的ワーピングであり得る。第２のワーピングは、それぞれの１回ワーピングされたフレームの順次補正ワーピングであり得る。第２のワーピングは、あまり計算集約的ワーピングではなく、姿勢の第２の推定と表示／照明との間の時間を短縮し、それによって、正確度を増加させ得る。
（（２）頻度変動）

いくつかの実施形態において、クライアントまたはアプリケーションと表示または照明との頻度（すなわち、フレームレート）は、合致しないこともある。いくつかの実施形態において、照明フレームレートは、アプリケーションフレームレートの２倍であり得る。例えば、照明フレームレートは、６０Ｈｚであり得、アプリケーションフレームレートは、３０Ｈｚであり得る。

そのような頻度不整合を伴うワーピング問題に対処するために、パイプライン１４００は、フレーム１４１４あたり２組の２回ワーピングされたフレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂ（ｔ０−ｔ２における投影のため）と１４２４Ｒ、１４２４Ｇ、１４２４Ｂ（ｔ３−ｔ５における投影のため）とをアプリケーションＣＰＵ１４１２およびＧＰＵ２５２から生成する。同じフレーム１４１４と第１のワーピングされたフレーム１４１８とを使用して、ワーピングユニット１４２０は、第１および第２の組の２回ワーピングされたフレーム１４２２Ｒ、１４２２Ｇ、１４２２Ｂと１４２４Ｒ、１４２４Ｇ、１４２４Ｂとを順次生成する。これは、アプリケーションフレーム１４１４あたり２倍の数のワーピングされたフレーム１４２２、１４２４を提供する。第２のワーピングは、あまり計算集約的ワーピングではなく、プロセッサ／電力需要および熱生成をさらに低減させ得る。

パイプライン１４００は、２：１の照明／アプリケーション比率を描写するが、その比率は、他の実施形態において、変動し得る。例えば、照明／アプリケーション比率は、３：１、４：１、２．５：１等であり得る。分数比率を伴う実施形態において、直近の生成されたアプリケーションフレーム１４１４が、パイプラインにおいて使用され得る。
（代替の色割れを最小化する方法）

図１５は、いくつかの実施形態による、順次表示のためにマルチフィールド（カラー）仮想コンテンツをワーピングすることにおける色割れ（ＣＢＵ）アーチファクトを最小化する方法１５００を描写する。ステップ１５１２において、ＣＰＵが、眼および／または頭部追跡情報を受信する（例えば、眼追跡カメラまたはＩＭＵから）。ステップ１５１４において、ＣＰＵが、眼および／または頭部追跡情報を分析し、ＣＢＵアーチファクトを予測する（例えば、ディスプレイシステムの特性に基づいて）。ステップ１５１６において、ＣＢＵが予測される場合、方法１５００は、ステップ１５１８に進み、ＣＰＵは、カラーフィールドレートを増加させる（例えば、１８０Ｈｚから３６０Ｈｚに）。ステップ１５１６において、ＣＢＵが予測されない場合、方法１５００は、ステップ１５２６に進み、画像（例えば、分割およびワーピングされたフィールド情報）は、システムデフォルトカラーフィールドレートおよびビット深度（例えば、１８０Ｈｚおよび８ビット）を使用して表示される。

ステップ１５１８においてカラーフィールドレートを増加させた後、システムは、ステップ１５２０において、眼および／または頭部追跡情報を再分析し、ＣＢＵアーチファクトを予測する。ステップ１５２２において、ＣＢＵが予測される場合、方法１５００は、ステップ１５２４に進み、ＣＰＵは、ビット深度を減少させる（例えば、８ビットから４ビットに）。ビット深度を減少させた後、画像（例えば、分割およびワーピングされたフィールド情報）は、増加させられたカラーフィールドレートおよび減少させられたビット深度（例えば、３６０Ｈｚおよび４ビット）を使用して表示される。

ステップ１５２２において、ＣＢＵが予測されない場合、方法１５００は、ステップ１５２６に進み、画像（例えば、分割およびワーピングされたフィールド情報）は、増加させられたカラーフィールドレートおよびシステムデフォルトビット深度（例えば、１８０Ｈｚおよび８ビット）を使用して表示される。

画像（例えば、分割およびワーピングされたフィールド情報）が、調節またはシステムデフォルトカラーフィールドレートおよびビット深度を使用して表示された後、ＣＰＵは、ステップ１５１２に戻り、方法１５００を繰り返す前、ステップ１５２８において、カラーフィールドレートおよびビット深度をシステムデフォルト値にリセットする。

予測されるＣＢＵに応答して、カラーフィールドレートおよびビット深度を調節することによって、図１５に描写される方法１５００は、ＣＢＵアーチファクトを最小化する方法を図示する。方法１５００は、本明細書に説明される他の方法（例えば、方法８００）と組み合わせられ、ＣＢＵアーチファクトをさらに低減させ得る。図１５に描写される方法１５００におけるステップの大部分は、ＣＰＵによって実施されるが、これらのステップの一部または全部は、代わりに、ＧＰＵまたは専用コンポーネントによって実施されることができる。
（フィールド順次ディスプレイシステムにおけるフィールド内サブコードタイミングを使用したカラー仮想コンテンツワーピング）

ここで図１６Ａを参照すると、いくつかの実施形態による、例証的フィールド順次照明シーケンスが、頭部姿勢の変化に対して示される。図９Ａに関連して議論されるように、入力画像１６１０は、３つの色セクション、すなわち、赤色セクションと、緑色セクションと、青色セクションとを有する。各色セクションは、入力画像１６１０のそれぞれの色サブ画像／フィールド１６２０、１６３０、１６４０に対応する。いくつかの実施形態において、ワーピングシステムは、カラー仮想コンテンツをワーピングするとき、カラーフィールドの投影のタイミングｔ_０、ｔ_１、およびｔ_２を考慮する。

赤色−緑色−青色（ＲＧＢ）カラーシステムにおいて、種々の色は、赤色、緑色、および青色カラーフィールドの組み合わせから形成され得る。各色は、赤色、緑色、および青色カラーフィールドのうちの各１つを表す整数を含むコードを使用して表され得る。赤色、緑色、および青色カラーは、各々、８ビットを使用し得、それらは、サブコードに対応する０から２５５の整数値を有する。例えば、赤色カラーは、（Ｒ＝２５５、Ｇ＝０、Ｂ＝０）として表され得、緑色カラーは、（０、２５５、０）として表され得、青色カラーは、（０、０、２５５）として表され得る。種々の陰影は、原色フィールド（赤色、緑色、青色）の量を表す整数の値を修正することによって形成される。これは、下記により詳細に議論される。

図１６Ｂは、各構成カラーフィールドの完全サブコードに関するシグモイド成長／プラトー／減衰形態のフィールドビット深度パターンを示す。例えば、赤色カラーフィールドに関して、完全サブコードは、コード（２５５、Ｘ、Ｙ）を伴う全ての色を含み、ｘおよびｙの各々は、０〜２５５の任意の値をとることができる。シグモイド関数（例えば、フィールドビット深度パターン）１６２０’は、赤色カラーフィールドの完全サブコードに対応し、シグモイド関数１６３０’は、緑色カラーフィールドの完全サブコードに対応し、シグモイド関数１６４０’は、青色カラーフィールドの完全サブコードに対応する。示されるように、シグモイド関数１６２０’、１６３０’、および１６４０’の各々は、シグモイド成長セグメント１６０２、プラトーセグメント１６０４、および減衰セグメント１６０６を有する。

ソース入力画像１６１０を前提とすると、ユーザの頭部が移動するとき、カラーフィールドの赤色、緑色、および青色は、それぞれのフィールドがシーケンス内に位置する所与の時間に対応する適切なワーピングを用いて、表示されるべきである。いくつかの実施形態において、カラーフィールドの所与のビット深度に関して、タイミングは、そのフィールドのために配分されたそのカラーフィールドのディスプレイシーケンスの重心に位置付けられる。例えば、赤色カラーフィールドディスプレイシグモイド関数１６２０’の重心は、第１の時間（ｔ_０）における頭部姿勢位置と整列させられ、緑色カラーフィールドディスプレイシグモイド関数１６３０’の重心は、第１の時間より後の第２の時間（ｔ_１）における頭部姿勢位置と整列させられ、青色カラーフィールドディスプレイシグモイド関数１６４０’の重心は、第１および第２の時間より後の第３の時間（ｔ_２）における頭部姿勢位置と整列させられる。

図１７は、頭部姿勢変化を受けるときのそれぞれのフィールドの不均一タイミングシーケンスに関する幾何学的関係を図示する。赤色、緑色、および青色カラーフィールドに関する幾何学的位置は、互いにオフセットされているが、変化の程度は、頭部姿勢の変化の程度と一致し、所与のピクセルにおいて重複フィールドを伴うより均一画像を提示し、所望の正味カラーフィールドを生成する。

図１６および１７の各々は、構成カラーフィールドの完全サブコードに関するシグモイド成長／プラトー／減衰形態のフィールドビット深度パターンを図示する。

但し、色が等しい構成サブコードの組み合わせとして単に作成されるわけではなく、種々の色が異なる量の赤色、緑色、および青色サブコードを必要とすることを理解されるであろう。例えば、図１８Ａにおいて１８１０によってグレースケールで表される国際照明委員会（ＣＩＥ）１９３１配色を見ると、任意の１つの色は、サブコードによって表される複数のフィールド入力の組み合わせである。図１６Ｂのシグモイド関数１６２０’、１６３０’、および１６４０’は、各フィールド（例えば、スキーム１８１０によってサブコーディングされるような赤色の色に関する（２５５、０、０）、緑色の色に関する（０、２５５、０）、青色の色に関する（０、０、２５５））の最大潜在性を表す。

具体的な色は、そのような均一なサブコードを共有しないこともある。例えば、桃色は、（２５５、１９２、２０３）として表される赤色２５５、緑色１９２、および青色２０３の組み合わせを有し得る一方、橙色は、（２５５、１６５、０）として表される赤色２５５、緑色１６５、および青色０の組み合わせを有し得る。

構成色のサブコードは、可変シグモイド形態を対応して有するであろう。カラーフィールドの赤色を例示的セットとして使用すると、赤色カラーフィールドの種々のサブコードが、シグモイド関数１８２２、１８２４、および１８２６によって、図１８Ｂに図示され、各シグモイド関数は、異なるサブコードに対応する。例えば、シグモイド関数１８２２によって表される赤色の第１のサブコード（例えば、（２５５、１０、１５））は、シーケンスにおけるフィールド時間全体にわたって赤色であり得る一方、シグモイド関数１８２４および１８２６は、シーケンスに配分されたフィールド時間内の空間光変調器のパルス下の所与のピクセルのアクティブ化のより少ない時間に対応する赤色の異なるサブコード（すなわち、それぞれ、第２のサブコード（例えば、（２５５、１００、１００））および第３のサブコード（例えば、（２５５、１５０、２００）））を表す。一般に、ディスプレイ技術において、成長相の開始は、任意のサブコードに共通であるが、減衰部分は、不均一時間から開始する。したがって、特定のシグモイドパターンおよび任意の所与のサブコードの結果として生じる重心は、サブコードがシーケンスにおけるフィールドのタイミングの共通開始時間において開始されるとき、互いに対してシフトされる。

従来のフィールド順次ディスプレイシステムにおいて、サブコードは、サブコードのシグモイドに関する重心が互いにオフセットされるであろうように、共通時間において開始される。図１８Ｂに図示されるように、シグモイド関数１８２２によって表される赤色の第１のサブコードに関する重心は、ｔ_０に現れるが、シグモイド関数１８２４および１８２６によってそれぞれ表される赤色の第２および第３のサブコードに関する重心は、それぞれ、ｔ_０−ｎおよびｔ_{０−ｎ−ｍ}に現れる。グループ化１８５０は、各サブコードが、頭部搭載型ディスプレイデバイスの頭部運動中、効果的視認のためにワーピングされる必要があり得る可能な頭部姿勢位置の範囲を示す。

単一フィールド（すなわち、色）内のサブコードに関する異なる重心時間は、ユーザの頭部姿勢が変化するとき、異なる位置として現れ、それは、そのワーピングがそのサブコードに関するオフセット位置に適用されるであろうから、そのフィールドの任意のワーピングにもかかわらず、そうでなければ生じ得る色内分離をもたらし得る。言い換えると、桃色であるように意図されるピクセルは、頭部姿勢のタイミングがサブコードの重心パターンタイミングに合致しないので、橙色であるように意図されるピクセルから幾何学的にオフセットされ得る。

図１９は、ｔ_０においてユーザの頭部位置がｘ、ｙにあるような種々のサブコード可能性を伴う単一フィールドに関するこの原理をより具体的に図示し、ｔ_０は、シグモイド関数１８２２によって表される第１のサブコードと正しく整列し得るが、それぞれ、シグモイド関数１８２４および１８２６によって表される第２および第３のサブコードに関する特定の重心は、幾何学的空間内において、ｘ_１、ｙ_１およびｘ_２、ｙ_２に対応する。この画像データを搬送する空間光変調器が、共通時間ｔ_０にアクティブになることになっていた場合、シグモイド関数１８２４および１８２６によってそれぞれ表される第２および第３のサブコードに関する画像データを伝達するピクセルの外観は、それらが現れるべき場所からオフセットされて現れるであろう。この問題は、緑色および青色カラーフィールドおよびそれらのそれぞれのサブコードに関して拡張されるとき、同様に悪化させられる。

いくつかの実施形態において、これは、そのシグモイド重心を有する任意の所与の色サブコードが所与の頭部姿勢に関してタイミング調整されることを可能にするように徐々により小さい頭部姿勢サンプルを有することによって補正される。例えば、ｔ_{０−ｎ−ｍ}に関する具体的頭部姿勢が、シグモイド関数１８２６によって表される第３のサブコードに関して計算および適用され得、ｔ_０−ｎに関する新しい具体的頭部姿勢が、シグモイド関数１８２４によって表される第２のサブコードに関して計算および適用され得、ｔ_０に関する具体的頭部姿勢が、シグモイド関数１８２２によって表される第１のサブコードに関して計算および適用され得る。真実味のある拡張現実知覚のために、プロジェクタ周波数は、理想的に、１２０Ｈｚより高速である。３つのフィールドを有するフィールド順次ディスプレイに関して、これは、任意の単一頭部姿勢計算に関して、数ミリ秒しか許さない。各フィールド内の数百のサブコードの各々のための追加の頭部姿勢のサンプリングは、演算能力および所望の形状因子に関して法外にコストがかかり得る。

いくつかの実施形態によると、所与のサブコードに関するシグモイド関数形状は、調合され得る。種々のディスプレイシステムおよび空間光変調器は、入力に瞬時に応答しない媒体およびコンポーネントを採用している。図２０は、いくつかのシステムにおいて生じ得る例示的遅れを図示する。例えば、シリコン上液晶（ＬＣｏＳ）ディスプレイに関して、所与のピクセルがアクティブにされ得るとき、所与の液晶層は、シグモイド形態を開始することにおいて遅延ｔ_ｂを誘発し得る。この遅れは、上で説明されるように、サブコードとともにすでに存在する任意の頭部姿勢変化を悪化させ得るか、または、単一配色のサブコードが画像にわたって帯域を提示する画像の輪郭化をもたらし得る。図２１は、ディスプレイが移動しているときのサブコードのピクセルイネーブルメントであるタイミング問題を受けやすいフィールド順次ディスプレイにおけるそのような画像輪郭化の誇張された効果を図示する。

過剰な演算能力を犠牲にすることなく、これらのタイミング懸念を緩和するために、いくつかの実施形態において、サブコードを表す各シグモイドに関する重心が、共通フィールドの全てのサブコードに関する共通頭部姿勢時間に対応するように時間的に修正される。図２２に描写されるように、共通ソース時間から開始するのではなく、サブコードは、異なる時間において開始され、それらのそれぞれのビット深度シグモイド重心を共通時間ｔ_０において提示する。いくつかの実施形態において、単一または全てのサブコードに関する開始時間は、さらに遠くにオフセットされ、それによって、シグモイドは、ピクセル／応答時間が共通頭部姿勢測定と整列するように、時間ｔ_０−ｔ_ｂにおいて整列するように計算される。言い換えると、空間光変調器に対する全てのフィールド入力値（すなわち、赤色、緑色、青色）の変調およびタイミングは、各サブコードに関する出力光の重心がフィールドチャネル内で同一であるように構築される。

いくつかの実施形態において、単一サブコード入力（図２２の単一シグモイド関数１８２６によって表される第２のサブコード等）を作成するのではなく、一連のパルスが、１つ以上のフィールドあたり入力を作成する。図２３において、中心パルス２３０２は、順次ディスプレイのフレーム内のフィールドのあるタイミング（ｔ_０）に中心を置かれる。すなわち、中心パルスは、ワーピングされたカラーフィールドの投影のための時間（例えば、カラーフィールドをワーピングするために使用される頭部姿勢サンプルの時間）に中心を置かれる。パルス２３０２の重心は、時間ｔ_０にある。

第２のパルス２３０４（但し、第１のパルスと称され得る中心パルス２３０２に対して測定されるので、第２のパルスと称される中心パルス２３０２より前に生じる）は、時間ｔ_０における中心パルス２３０２の重心から測定され、第２のパルス２３０４の減衰相の終了を時間ｔ_０−ｐにおける中心パルス２３０２の成長相の開始と時間的に整列させる。第２のパルス２３０４の重心は、時間ｔ_ｃ２にあり、それは、時間ｔ_０の前の所定の時間量（例えば、図２３ではｔ_０−ｔ_ｃ２）に生じる（すなわち、それに先立った時間に生じる）。

第３のパルス２３０６（中心パルス２３０２後に生じる）は、時間ｔ_０における中心パルス２３０２の重心から測定され、第３のパルス２３０６の成長相の開始を時間ｔ_０＋ｒにおける中心パルス２３０２の減衰相の終了と時間的に整列させる。第３のパルス２３０６の重心は、時間ｔ_ｃ３にあり、それは、時間ｔ_０後の所定の時間量（例えば、図２３ではｔ_ｃ３−ｔ_０）に生じる（すなわち、それより後の時間に生じる）。

いくつかの実施形態において、時間ｔ_ｃ３と時間ｔ_０との間の差異は、時間ｔ_０と時間ｔ_ｃ２との間の差異に等しくあり得る。すなわち、第２のパルス２３０４の重心は、中心パルス２３０２の重心から所定の時間量の前に生じ、第３のパルス２３０６の重心は、中心パルス２３０２の重心から同じ所定の時間量後に生じる。重心のそのような対称性は、フィールドのシーケンス全体を通して、頭部姿勢サンプルを中心としてより均一な分布を伴う選択的ビット深度を作成する。例えば、所望のビット深度のサブコードに関する単一パルスは、頭部姿勢時間を中心とした具体的ビット深度に関する精密なタイミングを要求し；頭部姿勢タイミングの周囲の累積ビット深度に関してより低いパルスを伴って拡散されるビット深度は、１つ以上のパルスのうちの１つのみが頭部姿勢サンプル（例えば、中心パルス２３０２）と時間的に整列させられるであろうから、方向の変化または頭部姿勢変化の可変速度によって色分離を被りにくい。

図２３に描写されるように、第２のパルス２３０４は、ｔ_０−ｐにおいて中心パルス２３０２に付加され、第３のパルス２３０６は、ｔ_０＋ｒにおいて中心パルス２３０２に付加されている。図２３に図示されるように、第２のパルス２３０４の成長相は、時間ｔ_０−ｙにおいて開始し得、第２のパルス２３０４の減衰相は、時間ｔ_０−ｐにおいて終了し得る。すなわち、第２のパルス２３０４は、時間ｔ_０−ｙと時間ｔ_０−ｐとの間に定義され得る。第３のパルス２３０６の成長相は、時間ｔ_０＋ｒにおいて開始し得、第３のパルス２３０６の減衰相は、時間ｔ_０＋ｘにおいて終了し得る。すなわち、第３のパルス２３０６は、時間ｔ_０＋ｒと時間ｔ_０＋ｘとの間に定義され得る。当業者は、第２のパルス２３０４の減衰が、第３のパルス２３０６の成長相より長くまたはより短くあり得、重心を整列させることが、故に、時間における重心場所の意図される結果として生じる等しい分布にもかかわらず、それぞれのｔ_０に対する異なるタイミングを要求し得るので、ｐおよびｒが、必ずしも、等しくないことを理解されるであろう。

図２３は、３つの別々のパルス２３０２、２３０４、２３０６を図示し、それらは、所与の色サブコード（例えば、図２２の単一シグモイド関数１８２６によって表される色サブコード）を表すシグモイド関数の時間ｔ_０における重心から、シグモイド関数の縁に向かって成長する。中心パルス２３０２は、フィールド（すなわち、色）ごとに２５６個の変調ステップを作成するために、第２のパルス２３０４および第３のパルス２３０６と組み合わせて使用される。

図２３に図示されるパルス２３０２、２３０４、２３０６は、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法と併せて使用され得る。例えば、異なる第１および第２の色（例えば、赤色、青色、または緑色のサブコード）を有する第１および第２のカラーフィールド（例えば、赤色、青色、または緑色のうちの１つ以上のもの）が取得されると、ワーピングされる第１のカラーフィールドの投影のための第１の時間が、決定され得る。第１の時間（例えば、時間ｔ_０）に対応する第１の姿勢を予測すると、第１のカラーフィールド内の第１の複数の色の中の各１つの色に関して、第１のカラーフィールド内の第１の複数の色の中のその１つの色を表す入力（例えば、図２２の単一シグモイド関数１８２４によって表される色サブコード）が、識別され得、入力は、１つ以上のフィールドあたり入力を作成する一連のパルス（例えば、第１の時間ｔ_０に中心を置かれた中心パルス２３０２、第２のパルス２３０４、および第３のパルス２３０６）として再構成され得る。一連のパルスのうちの各１つは、第１の姿勢に基づいてワーピングされ得る。そして、ワーピングされた第１のカラーフィールドが、ワーピングされた一連のパルスに基づいて生成され得；順次ディスプレイ上のピクセルは、ワーピングされた一連のパルスに基づいてアクティブにされ、ワーピングされた第１のカラーフィールドを表示し得る。

いくつかの実施形態において、中心パルス２３０２は、中心から外側へ向かって配列された一連の短タイムスロット（ｔｓ_１−１、ｔｓ_１−２、ｔｓ_１−３、ｔｓ_１−４、ｔｓ_１−５、ｔｓ_１−６）を含み得る。すなわち、タイムスロットｔｓ_１−１、ｔｓ_１−２は、時間ｔ_０における重心の隣に形成される。タイムスロットｔｓ_１−３、ｔｓ_１−４、ｔｓ_１−５、ｔｓ_１−６は、時間ｔ_０から外側へ向かって進むようにタイムスロットｔｓ_１−１、ｔｓ_１−２に対して配列される。ディスプレイデバイス上のピクセル（例えば、ＬＣｏＳピクセル）は、各スロット（ｔｓ_１−１、ｔｓ_１−２、ｔｓ_１−３、ｔｓ_１−４、ｔｓ_１−５、ｔｓ_１−６）中、アクティブにされることも、されないこともある。すなわち、順次ディスプレイ上のピクセルは、中心パルス２３０２のタイムスロットの一部中、アクティブにされ得る。順次ディスプレイ上のピクセルは、中心パルス２３０２に関連付けられたサブコードに応じて、アクティブにされ得る。いくつかの実施形態において、タイムスロットの一部のみが、オンにされ得る。例えば、最も低い色コードに関して、中心タイムスロット（例えば、ｔｓ_１−１、ｔｓ_１−２）のみが、オンにされ得る（すなわち、中心タイムスロットのみが、ディスプレイデバイス上のアクティブにされるピクセルをもたらし得る）。色コードがより高いほど、より多くのタイムスロットが、中心から外側へ向かってオンにされ得る。

いくつかの実施形態によると、第２のパルス２３０４および第３のパルス２３０６は、中心パルス２３０２のタイムスロット（ｔｓ_１−１、ｔｓ_１−２、ｔｓ_１−３、ｔｓ_１−４、ｔｓ_１−５、ｔｓ_１−６）より大きいタイムスロットを含み得る。例えば、第２のパルス２３０４は、中心パルス２３０２のタイムスロット（ｔｓ_１−１、ｔｓ_１−２、ｔｓ_１−３、ｔｓ_１−４、ｔｓ_１−５、ｔｓ_１−６）より持続時間が長い（すなわち、より大きい）タイムスロット（ｔｓ_２−１、ｔｓ_２−２、ｔｓ_２−３、ｔｓ_２−４）を含み得る。第２のパルス２３０４のタイムスロット（ｔｓ_２−１、ｔｓ_２−２、ｔｓ_２−３、ｔｓ_２−４）は、より後の時間からより早い時間へ配列され得る。すなわち、タイムスロットｔｓ_２−１は、第２のパルス２３０４内のタイムスロットｔｓ_２−２、ｔｓ_２−３、ｔｓ_２−４に対して時間的に後に生じる。同様に、第３のパルス２３０６は、中心パルス２３０２のタイムスロット（ｔｓ_１−１、ｔｓ_１−２、ｔｓ_１−３、ｔｓ_１−４、ｔｓ_１−５、ｔｓ_１−６）より持続時間が長いタイムスロット（ｔｓ_３−１、ｔｓ_３−２、ｔｓ_３−３、ｔｓ_３−４）を含み得る。第３のパルス２３０６のタイムスロット（ｔｓ_３−１、ｔｓ_３−２、ｔｓ_３−３、ｔｓ_３−４）は、より早い時間からより後の時間へ配列され得る。すなわち、タイムスロットｔｓ_３−１は、第３のパルス２３０６内のタイムスロットｔｓ_３−２、ｔｓ_３−３、ｔｓ_３−４に対して時間的により早く生じる。故に、パルスは、中心パルス２３０２から外側へ向かって成長するように配列され得る。

いくつかの実施形態において、順次ディスプレイ上のピクセルは、第２のパルス２３０４および／または第３のパルス２３０６のタイムスロットの一部中、アクティブにされ得る。タイムスロットが、より高い色コードを作成するために第２のパルス２３０４および第３のパルス２３０６内でオンにされるとき、色コード内の全体的重心を維持するために、第２のパルス２３０４内のスロットと対応する第３のパルス２３０６のスロットとを一緒にオンにするように配慮される。システム制約が隣接するコードのために第２のパルス２３０４または第３のパルス２３０６内の単一のスロットをオンにするように要求する場合（多くの場合、該当する）、重心からの大きすぎる光エネルギーのシフトを防止するために、追加のスロットを短く保つように、または、空間／時間的ディザリングを使用するように配慮される。これは、頭部または眼運動に伴う追加の輪郭化アーチファクトも回避する。

中心パルス２３０２は、デジタル色コードの最小有効ビット（ＬＳＢ）であると考えられ得る一方、第２のパルス２３０４および第３のパルス２３０６は、デジタル色コードの最大有効ビット（ＭＳＢ）に類似する。中心パルス２３０２と第２のパルス２３０４および第３のパルス２３０６との組み合わせは、２５６個の変調ステップを構築するために使用され得る多くの可能な組み合わせをもたらす。

最大明度のために、単一パルスが、中心パルス２３０２、第２のパルス２３０４、および第３のパルス２３０６をマージする、最高変調ステップのために作成される必要があり得る。３つのパルスから１つのパルスへの移行において、より小さいタイムスロットが、ステップサイズを小さく保つために、オンにされ得る。この場合、より小さいスロットが、第２のパルス２３０４の開始時に追加され、より後の時間からより早い時間へ配列され得る。例えば、図２３に図示されるように、タイムスロットｔｓ_２−４（すなわち、第２のパルス２３０４の開始時におけるタイムスロット）は、より後の時間からより早い時間へ配列されたより小さいタイムスロット（ｔｓ_{２−４−１}、ｔｓ_{２−４−２}、ｔｓ_{２−４−３}）に分割され得る。すなわち、タイムスロットｔｓ_{２−４−１}は、第２のパルス２３０４内のタイムスロットｔｓ_{２−４−２}およびｔｓ_{２−４−３}に対して時間的に後に生じる。同様に、より小さいスロットが、第３のパルス２３０６の終了時に追加され、より早い時間からより後の時間へ配列される。例えば、図２３に図示されるように、タイムスロットｔｓ_３−４（すなわち、第３のパルス２３０６の終了時におけるタイムスロット）は、より早い時間からより後の時間へ配列されたより小さいタイムスロット（ｔｓ_{３−４−１}、ｔｓ_{３−４−２}、ｔｓ_{２−４−３}）に分割され得る。すなわち、タイムスロットｔｓ_{３−４−１}は、第３のパルス２３０６内のタイムスロットｔｓ_{３−４−２}およびｔｓ_{３−４−３}に対して時間的により早く生じる。両方の場合において、短タイムスロット（すなわち、ｔｓ_{２−４−１}、ｔｓ_{２−４−２}、ｔｓ_{２−４−３}およびｔｓ_{３−４−１}、ｔｓ_{３−４−２}、ｔｓ_{２−４−３}）は、それらのそれぞれのパルス（すなわち、第２のパルス２３０４および第３のパルス２３０６）のより大きいタイムスロット（すなわち、ｔｓ_２−１、ｔｓ_２−２、ｔｓ_２−３、ｔｓ_２−４およびｔｓ_３−１、ｔｓ_３−２、ｔｓ_３−３、ｔｓ_３−４）と同一方向に配列される。

多くの光変調器（例えば、ＬＣｏＳ、走査ディスプレイ内のレーザ、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、および／または他のディスプレイ技術）は、非対称オンおよびオフ時間を有するので、３つのパルスの長およびパルスの配列は、重心を固定点に保つために、非対称である必要があり得る。オン時間が、オフ時間より長い場合、例えば、重心は、フィールド内で中心時間より後であろう。種々の実施形態によると、３つのパルスの各々は、非対称スロット長および配列と似た様式で構築され得る。

中心パルス２３０２と第２のパルス２３０４と第３のパルス２３０６とのパルス長の組み合わせは、２５６個を上回る可能な組み合わせを生成し得る。これらの組み合わせの一部が、２５６個の変調ステップを作成するために使用される。組み合わせは、所望の明度応答曲線（すなわち、線形ガンマ、標準的赤色／緑色／青色（ｓＲＧＢ）ガンマ）への最近似合致、全ての色コードにわたる重心における最小変動、隣接する色コードに関する重心における最小変動、および温度およびプロセスにわたるその組み合わせに関するより小さい明度変動を含む、いくつかの要因に基づいて選択され得る。

オンおよびオフ時間は、温度、電圧、プロセス、および他の変数に伴って変動し得るので、２５６個の組み合わせの異なる組が、異なる条件のために選定され得る。例えば、温度を冷却するための第１の組は、デバイスが最初にオンにされるときに選定され得、異なる第２の組は、デバイスが加熱され、定常状態温度に到達したときに選定され得る。任意の数の組が、輪郭化を限定し、動作条件にわたって画質を最大化するために使用され得る。

いくつかの実施形態において、図２３におけるビット深度タイミングの対称性質は、サブコード間の干渉（頭部姿勢の左から右への運動方向に応じた）が軽減されるので、過度に明るいまたは過度に暗い画線を防止する。すなわち、サブコードが時間的に調節されず、ユーザがユーザの頭部を特定の方向に移動させた場合、特定のサブコードのビット（色情報を提示する）が、単にサブコードに関するビット深度シグモイド形態の不良タイミングによって、何も現れるように意図されていない場所に現れ得る。図２４に図示されるように、ゾーン２２５０は、頭部運動が、同一フィールド内の２つの他のサブコード２４０２および２４０４が減衰相にあるとき、特定のサブコード２４０６を色を提示するように設置し、および、任意のサブコードの色がユーザに表示されるように意図されないとき、所与の頭部姿勢タイミングサンプルに基づいて不注意にディスプレイピクセルを表示し得る領域を描写する。当業者は、１つ以上のサブコードの所望のビット深度を構築するために、追加の構成が可能なことを理解されるであろう。

図２５は、いくつかの実施形態によるカラー仮想コンテンツをワーピングする方法を描写する。図２５に描写されるステップは、各カラーフィールド（Ｒ、Ｇ、Ｂ）に関して実施され得る。いくつかの実施形態において、図２５に描写されるステップは、ステップ８１６Ｒ、８１６Ｇ、および／または８１６Ｂのサブステップとして実施され得る。

各カラーフィールド（Ｒ、Ｇ、Ｂ）は、サブコードによって表される１つ以上の色を含む。選択されたカラーフィールドの１つ以上の色の中の各色（例えば、サブコード）に関して、ステップ２５０２において、姿勢推定器が、カラーフィールドに関するサブコードを表す入力（例えば、シグモイド）を識別する。ステップ２５０４において、姿勢推定器が、入力を一連のパルス（例えば、３つのパルス）として再構成し、１つ以上のフィールドあたり入力を作成する。ステップ２５０６において、変換ユニットが、第１の姿勢に基づいて、一連のパルスのうちの各１つをワーピングする。ステップ２５０８において、変換ユニットが、ワーピングされた一連のパルスに基づいて、ワーピングされた第１のカラーフィールドを生成する。ステップ２５１０において、変換ユニットが、ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、ワーピングされた第１のカラーフィールドを表示する。同じステップ２５０２−２５１０は、全てのカラーフィールド（Ｒ、Ｇ、Ｂ）に関して実施され得る。

本開示は、本主題のデバイスを使用して実施され得る方法を含む。方法は、そのような好適なデバイスを提供する作用を含み得る。そのような提供は、ユーザによって実施され得る。言い換えると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスし、それに接近し、それを位置付け、それを設定し、それをアクティブにし、それに電源を入れ、または別様にそれを提供するように行為することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われ得る。

本開示の例示的側面が、材料選択および製造に関する詳細とともに、上で記載された。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような追加の行為の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

加えて、本開示は、随意に、種々の特徴を組み込むいくつかの例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われ得、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本開示の精神および範囲から逸脱することなく代用され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

説明される本発明の変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることも想定される。単数形アイテムへの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的に、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数への言及を含む。言い換えると、冠詞の使用は、上記の説明および本開示に関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」等等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的専門用語を使用しなければ、本開示に関連付けられる請求項における用語「〜を備える」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の追加の要素の包含を可能にするものとするか、または、特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示に関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

前述の明細書において、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われ得ることが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (20)

1. 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法であって、前記方法は、
   異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することと、
   ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することと、
   前記第１の時間に対応する第１の姿勢を予測することと、
   前記第１のカラーフィールド内の前記第１の色の中の各１つに関して、
   前記第１のカラーフィールド内の前記第１の色の中の前記１つの色を表す入力を識別することと、
   前記入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、
   前記第１の姿勢に基づいて、前記一連のパルスのうちの各１つをワーピングすることと
   を行うことと、
   前記ワーピングされた一連のパルスに基づいて、前記ワーピングされた第１のカラーフィールドを生成することと、
   前記ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、前記ワーピングされた第１のカラーフィールドを表示することと
   を含む、方法。
2. 前記一連のパルスは、前記第１の時間に中心を置かれた中心パルス、前記中心パルスの前に生じる第２のパルス、および前記中心パルスの後に生じる第３のパルスを含む、請求項１に記載の方法。
3. 前記第２のパルスの減衰相の終了は、前記中心パルスの成長相の開始と時間的に整列させられ、
   前記第３のパルスの成長相の開始は、前記中心パルスの減衰相の終了と時間的に整列させられる、請求項２に記載の方法。
4. 前記中心パルスの重心は、前記第１の時間に生じ、前記第２のパルスの重心は、前記第１の時間の前の第２の時間に生じ、前記第３のパルスの重心は、前記第１の時間の後の第３の時間に生じる、請求項２に記載の方法。
5. 前記第１の時間と前記第２の時間との間の差異は、前記第１の時間と前記第３の時間との間の差異に等しい、請求項４に記載の方法。
6. 前記中心パルスは、各々が第１の持続時間を有する第１のタイムスロットの組を含み、前記第２のパルスおよび前記第３のパルスは、各々が前記第１の持続時間を上回る第２の持続時間を有する第２のタイムスロットの組を含む、請求項２に記載の方法。
7. 前記順次ディスプレイ上の前記ピクセルは、前記第１のタイムスロットの組または前記第２のタイムスロットの組の一部中、アクティブにされる、請求項６に記載の方法。
8. 前記順次ディスプレイ上の前記ピクセルは、前記第１のカラーフィールド内の前記第１の色の中の前記１つの色に関連付けられた色コードに応じて、前記中心パルスのタイムスロット中、アクティブにされる、請求項７に記載の方法。
9. 前記順次ディスプレイ上の前記ピクセルは、前記第２のパルスにおけるタイムスロットと前記第３のパルスにおける対応するタイムスロットとのためにアクティブにされる、請求項７に記載の方法。
10. ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定することと、
    前記第２の時間に対応する第２の姿勢を予測することと、
    前記第２のカラーフィールド内の前記第２の色の中の各１つに関して、
    前記第２のカラーフィールド内の前記第２の色の中の前記１つの色を表す入力を識別することと、
    前記入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、
    前記第２の姿勢に基づいて、前記一連のパルスのうちの各１つをワーピングすることと
    を行うことと、
    前記ワーピングされた一連のパルスに基づいて、前記ワーピングされた第２のカラーフィールドを生成することと、
    前記ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、前記ワーピングされた第２のカラーフィールドを表示することと
    をさらに含む、請求項１に記載の方法。
11. 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムであって、前記システムは、異なる第１および第２の色を有する第１および第２のカラーフィールドを受信するためのワーピングユニットを備え、
    前記ワーピングユニットは、
    ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定し、前記第１の時間に対応する第１の姿勢を予測するための姿勢推定器と、
    変換ユニットと
    を備え、
    前記変換ユニットは、
    前記第１のカラーフィールド内の前記第１の色の中の各１つに関して、
    前記第１のカラーフィールド内の前記第１の色の中の前記１つの色を表す入力を識別することと、
    前記入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、
    前記第１の姿勢に基づいて、前記一連のパルスのうちの各１つをワーピングすることと
    を行うことと、
    前記ワーピングされた一連のパルスに基づいて、前記ワーピングされた第１のカラーフィールドを生成することと、
    前記ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、前記ワーピングされた第１のカラーフィールドを表示することと
    を行う、システム。
12. 前記一連のパルスは、前記第１の時間に中心を置かれた中心パルス、前記中心パルスの前に生じる第２のパルス、および前記中心パルスの後に生じる第３のパルスを含む、請求項１１に記載のシステム。
13. 前記第２のパルスの減衰相の終了は、前記中心パルスの成長相の開始と時間的に整列させられ、
    前記第３のパルスの成長相の開始は、前記中心パルスの減衰相の終了と時間的に整列させられる、請求項１２に記載のシステム。
14. 前記中心パルスの重心は、前記第１の時間に生じ、前記第２のパルスの重心は、前記第１の時間の前の第２の時間に生じ、前記第３のパルスの重心は、前記第１の時間の後の第３の時間に生じる、請求項１２に記載のシステム。
15. 前記中心パルスは、各々が第１の持続時間を有する第１のタイムスロットの組を含み、前記第２のパルスおよび前記第３のパルスは、各々が前記第１の持続時間を上回る第２の持続時間を有する第２のタイムスロットの組を含む、請求項１２に記載のシステム。
16. 前記順次ディスプレイ上の前記ピクセルは、前記第１のタイムスロットの組または前記第２のタイムスロットの組の一部中、アクティブにされる、請求項１５に記載のシステム。
17. 前記順次ディスプレイ上の前記ピクセルは、前記第１のカラーフィールド内の前記第１の色の中の前記１つの色に関連付けられた色コードに応じて、前記中心パルスのタイムスロット中、アクティブにされる、請求項１６に記載のシステム。
18. 前記順次ディスプレイ上の前記ピクセルは、前記第２のパルスにおけるタイムスロットと前記第３のパルスにおける対応するタイムスロットとのためにアクティブにされる、請求項１６に記載のシステム。
19. 前記姿勢推定器は、ワーピングされた第２のカラーフィールドの投影のための第２の時間を決定し、前記第２の時間に対応する第２の姿勢を予測するように構成され、
    前記変換ユニットは、
    前記第２のカラーフィールド内の前記第２の色の中の各１つに関して、
    前記第２のカラーフィールド内の前記第２の色の中の前記１つの色を表す入力を識別することと、
    前記入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、
    前記第２の姿勢に基づいて、前記一連のパルスのうちの各１つをワーピングすることと
    を行うことと、
    前記ワーピングされた一連のパルスに基づいて、前記ワーピングされた第２のカラーフィールドを生成することと、
    前記ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、前記ワーピングされた第２のカラーフィールドを表示することと
    を行うようにさらに構成されている、請求項１１に記載のシステム。
20. 非一過性コンピュータ読み取り可能な媒体内に具現化されたコンピュータプログラム製品であって、前記非一過性コンピュータ読み取り可能な媒体は、一続きの命令を記憶しており、前記一続きの命令は、プロセッサによって実行されると、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法を前記プロセッサに実行させ、
    前記方法は、
    異なる第１および第２の色を有する第１および第２のカラーフィールドを取得することと、
    ワーピングされた第１のカラーフィールドの投影のための第１の時間を決定することと、
    前記第１の時間に対応する第１の姿勢を予測することと、
    前記第１のカラーフィールド内の前記第１の色の中の各１つに関して、
    前記第１のカラーフィールド内の前記第１の色の中の前記１つの色を表す入力を識別することと、
    前記入力を複数のフィールドあたり入力を作成する一連のパルスとして再構成することと、
    前記第１の姿勢に基づいて、前記一連のパルスのうちの各１つをワーピングすることと
    を行うことと、
    前記ワーピングされた一連のパルスに基づいて、前記ワーピングされた第１のカラーフィールドを生成することと、
    前記ワーピングされた一連のパルスに基づいて、順次ディスプレイ上のピクセルをアクティブにし、前記ワーピングされた第１のカラーフィールドを表示することと
    を含む、コンピュータプログラム製品。

Images