JP2018526726A - 動的領域分解能を有する仮想／拡張現実システム - Google Patents

Abstract

仮想画像生成システムおよび方法が、提供される。３次元場面の複数の合成画像フレームが、レンダリングされ、エンドユーザに連続して表示される。表示される画像フレームの各々は、非均一分解能分布を有する。一実施形態において、画像フレームを表示することは、画像フレームを走査することを含み、画像フレームの各々は、スパイラルパターンで走査され、非均一分解能分布は、半径方向に変動し、表示される画像フレームの各々は、異なる分解能を有する複数の個別領域を有する。

Description

本発明は、概して、１人以上のユーザのための双方向仮想または拡張現実環境を促進するように構成されるシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面４が、描写されており、ＡＲ技術のユーザは、背景における人々、木々、建物を特徴とする実世界公園状設定６と、コンクリートのプラットフォーム８とを見る。これらのアイテムに加え、ＡＲ技術のエンドユーザは、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見え、飛んでいる漫画のようなアバタキャラクタ１２とをエンドユーザが「見ている」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術を生成することは、困難である。

ＶＲおよびＡＲシステムは、典型的には、エンドユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）を採用する。エンドユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するように更新されることができる。

例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが現れるエリアの周囲を歩く場合、その３Ｄオブジェクトは、各視点に対して再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、仮想空間内の複数のオブジェクト（例えば、豊かな仮想世界）を提示するために使用される場合、場面を再レンダリングして、エンドユーザの動的に変化する頭部の場所および向きに一致させ、仮想空間において増加した没入感を提供するために、頭部の姿勢の測定が使用されることができる。

ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重ね、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見ることにより、環境内の実オブジェクトからの光を直接視認する
ことができる。多くの場合、「結合器」と称される透明要素は、実世界のエンドユーザのビューの上にディスプレイからの光を重ねる。

ＶＲおよびＡＲシステムは、典型的には、投影サブシステムと、エンドユーザの視野の正面に位置付けられ、投影サブシステムが画像フレームを連続して投影する、ディスプレイ表面とを有する、ディスプレイシステムを採用する。真の３次元システムでは、ディスプレイ表面の深度は、フレームレートまたはサブフレームレートにおいて制御されることができる。投影サブシステムは、その中に１つ以上の光源からの光が異なる色の光を定義されたパターンで放出する、１つ以上の光ファイバと、光ファイバを所定のパターンで走査し、エンドユーザに連続して表示される画像フレームを作成する、走査デバイスとを含み得る。

ＶＲまたはＡＲシステムは、ヒト視覚系と密接にインターフェースをとるので、各画像フレームの分解能は、正しい視覚的刺激を提供するために、ヒトの眼の分解能に一致することのみ必要である。この目的を達成するために、各画像フレームの分解能は、典型的には、ヒトの眼の最大分解能に設定される。しかしながら、任意の特定のシステムの走査周波数は、ソフトウェアおよびハードウェア限界の両方に起因して、画像フレーム分解能の関数であるので（すなわち、それぞれの画像フレームにおける周波数は、グラフィック的にレンダリングされ（ソフトウェア）、実際に、スキャナを介してエンドユーザに提示される（ハードウェア））、画像フレーム分解能をヒトの眼の最大分解能に一致させる試みは、エンドユーザの視聴体験を最適化しないこともある走査周波数をもたらすか、および／またはより高い分解能画像フレームを生成および提示するために要求される増加された処理および走査速度を実装するために必要なＡＲまたはＶＲシステムの法外に高価なコンポーネント類を要求するかのいずれかであり得る制約をＡＲおよびＶＲシステムに課す。

したがって、仮想現実または拡張現実環境において生成され、エンドユーザに提示する画像フレームの全体的分解能および／またはハードウェア／ソフトウェア処理コストを削減する必要性がある。

本発明の実施形態は、１人以上のユーザのために、仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。

本発明の一実施形態によると、仮想画像生成システムを動作させる方法が、提供される。方法は、３次元場面の複数の合成画像フレームをレンダリングすることと、複数の画像フレームをエンドユーザに連続して表示することとを含む。

重要なこととして、表示される画像フレームの各々は、非均一分解能分布を有する。１つの方法では、画像フレームの各々は、非均一分解能分布を伴ってレンダリングされる。別の方法では、表示される画像フレームの各々は、均一分解能分布を伴ってレンダリングされ、その場合、それぞれの画像フレームを表示することは、非均一分解能分布をすでにレンダリングされた画像フレームの中に組み込むことを含む。表示される画像フレームの各々の分解能分布は、エンドユーザの眼の視力分布の傾きに一致する、またはさらにそれより大きい傾きを有し得る。それぞれの画像フレームは、例えば、非均一分解能分布が半径方向に変動するようにスパイラルパターンで、または非均一分解能分布が直線的に変動するようにラスタパターンで、画像フレームを走査することによって表示され得る。

１つの方法では、表示される画像フレームのうちの少なくとも２つは、異なる非均一分解能分布を有する。別の方法では、表示される画像フレームの各々は、異なる分解能を有する複数の個別領域（例えば、少なくとも３つ）を有する。個別領域は、例えば、環状、長方形、または扇形であり得る。さらに別の方法では、複数の個別領域は、最高分解能の領域を含み、その場合、方法はさらに、最高分解能の領域を互いに重複し得る複数の個別領域を有する視野テンプレートから選択することを含み得る。随意の実施形態では、複数の個別領域は、最高分解能の領域およびより低い分解能の領域を含み得、その場合、方法はさらに、より低い分解能の領域内で表示される画像フレームをぼかすことを含み得る。表示される画像フレームは、例えば、より低い分解能の領域内で隣接して表示される画像フレーム内の走査線をディザリングすることによって、またはより低い分解能の領域内で表示される画像フレームの焦点をぼかすことによって、ぼかされ得る。

随意の方法は、エンドユーザの視野内の眼の焦点を推定すること（例えば、エンドユーザの焦点を検出すること、またはエンドユーザの視野内の着目オブジェクトを識別することによって）と、推定される焦点に基づいて、表示される画像フレームの各々のための非均一分解能分布を生成することとを含む。非均一分解能分布の各々は、推定される焦点と一致する最高分解能の領域を有する。エンドユーザの推定される焦点は、エンドユーザの視野内の焦点範囲を提供する許容誤差を有し得、その場合、最高分解能の領域は、焦点範囲と交差し得る。

本発明の第２の実施形態によると、エンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、３次元場面を記憶しているメモリと、３次元場面の複数の合成画像フレームをレンダリングするために構成されている制御サブシステム（グラフィック処理ユニット（ＧＰＵ）を備え得る）と、複数の画像フレームをエンドユーザに連続して表示するために構成されているディスプレイサブシステムとを備えている。

一実施形態では、ディスプレイサブシステムは、エンドユーザの眼の正面に位置付けられるために構成される。別の実施形態では、ディスプレイサブシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含む。投影サブシステムは、画像フレームを部分的に透明なディスプレイ表面上に投影するために構成され、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成される。随意の実施形態では、仮想画像生成システムはさらに、エンドユーザによって装着されるために構成されているフレーム構造を備え、その場合、フレーム構造は、ディスプレイサブシステムを支持する。

重要なこととして、表示される画像フレームの各々は、非均一分解能分布を有する。一実施形態では、制御サブシステムは、画像フレームの各々を非均一分解能分布を伴ってレンダリングするために構成される。別の実施形態では、制御サブシステムは、画像フレームの各々を均一分解能分布を伴ってレンダリングするために構成され、その場合、ディスプレイサブシステムは、非均一分解能分布をすでにレンダリングされた画像フレームの中に組み込むことによって、それぞれの画像フレームを表示するために構成されるであろう。表示される画像フレームの各々の分解能分布は、エンドユーザの眼の視力分布の傾きに一致するか、またはさらにそれより大きい傾きを有し得る。ディスプレイサブシステムは、画像フレームを走査することによって、画像フレームを表示するために構成され得る。例えば、ディスプレイサブシステムは、スパイラルパターンで画像フレームの各々を走査するために構成され得、その場合、非均一分解能分布は、半径方向に変動する、またはラスタパターンで画像フレームを走査するために構成され得、その場合、非均一分解能分布は、直線的に変動する。

一実施形態では、表示される画像フレームのうちの少なくとも２つは、異なる非均一分解能分布を有する。別の実施形態では、表示される画像フレームの各々は、異なる分解能を有する複数の個別領域（例えば、少なくとも３つ）を有する。個別領域の形状は、例えば、環状、長方形、または扇形であり得る。複数の個別領域は、最高分解能の領域を含み得、その場合、制御サブシステムは、最高分解能の領域を互いに重複し得る複数の個別領域を有する視野テンプレートから選択するために構成され得る。複数の個別領域はまた、より低い分解能の領域を含み得、その場合、制御サブシステムは、より低い分解能の領域内で表示される画像フレームをぼかすために構成され得る。例えば、ディスプレイサブシステムが、表示される画像フレームの各々を走査するために構成される場合、ディスプレイサブシステムは、より低い分解能の領域内で隣接して表示される画像フレーム内の走査線をディザリングすることによって、表示される画像フレームをぼかすために構成され得る。または、ディスプレイサブシステムは、より低い分解能の領域内で表示される画像フレームの焦点をぼかすことによって、表示される画像フレームをぼかすために構成され得る。

随意の実施形態では、制御サブシステムは、エンドユーザの視野内の眼の焦点を推定し、推定される焦点に基づいて、表示される画像フレームの各々のための非均一分解能分布を生成するために構成される。非均一分解能分布の各々は、推定される焦点と一致する最高分解能の領域を有し得る。エンドユーザの推定される焦点は、エンドユーザの視野内の焦点範囲を提供する許容誤差を有し得、その場合、最高分解能の領域は、焦点範囲と交差するであろう。仮想画像生成システムはさらに、エンドユーザの焦点を検出するために構成されている１つ以上のセンサを備え得、その場合、制御サブシステムは、検出された焦点から焦点を推定するために構成され得る。または、制御サブシステムは、エンドユーザの視野内の着目オブジェクトを識別することによって、焦点を推定するために構成され得る。

本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。

図面は、本発明の実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点ならびに目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに説明ならびに記載されるであろう。

図１は、従来技術の拡張現実生成デバイスによってエンドユーザに表示され得る３次元拡張現実場面の写真である。 図２は、本発明の一実施形態に従って構築される仮想画像生成システムのブロック図である。 図３は、図２の仮想画像生成システムによって生成される例示的フレームの平面図である。 図４は、フレームを生成するために使用され得る１つの走査パターンである。 図５は、フレームを生成するために使用され得る別の走査パターンである。 図６は、フレームを生成するために使用され得るさらに別の走査パターンの平面図である。 図７は、フレームを生成するために使用され得るさらに別の走査パターンである。 図８Ａは、図２の仮想画像生成システムを装着するために使用され得る１つの技法の図である。 図８Ｂは、図２の仮想画像生成システムを装着するために使用され得る別の技法の図である。 図８Ｃは、図２の仮想画像生成システムを装着するために使用され得るさらに別の技法の図である。 図８Ｄは、図２の仮想画像生成システムを装着するために使用され得るさらに別の技法の図である。 図９ａは、ヒトの眼の中心窩からの角度の関数としての桿体受容体および錐体受容体の数のプロットである。 図９ｂは、ヒトの眼の中心窩からの角度の関数としてのヒトの眼の視力のプロットである。 図１０は、走査原点からの角度の関数としての従来の走査線密度分布のプロットである。 図１１は、走査原点からの角度の関数としての走査線密度分布のプロットであり、走査線密度分布は、図２の仮想画像生成システムによって、図９ｂのヒトの視力分布に一致させられる。 図１２ａは、走査原点からの角度の関数としての従来の走査線密度分布およびスパイラル走査線密度分布のプロットであり、スパイラル走査線密度分布は、焦点が走査エリアの中心にあるとき、図２の仮想画像生成システムによって生成される。 図１２ｂは、走査原点からの角度の関数としての従来の走査線密度分布およびスパイラル走査線密度分布のプロットであり、スパイラル走査線密度分布は、焦点が走査エリアの中心と走査エリアの外側縁との間の途中にあるとき、図２の仮想画像生成システムによって生成される。 図１３は、走査原点からの角度の関数としての従来の走査線密度分布およびスパイラル走査線密度分布のプロットであり、スパイラル走査線密度分布は、焦点が走査エリアの中心と走査エリアの外側縁との間の途中にあるとき、図２の仮想画像生成システムによって５°の許容誤差を伴って生成される。 図１４は、走査原点からの角度の関数としての従来の走査線密度分布、第１の走査線密度分布、および第２の走査線密度分布のプロットであり、第１の走査線密度分布は、図２の仮想画像生成システムによって図９ｂのヒトの視力分布に一致させられ、第２の走査線密度分布は、図９ｂのヒトの視力分布より急峻にされる。 図１５は、走査原点からの角度の関数としての従来の走査線密度分布、第１の走査線密度分布、第２の走査線密度分布、および第３の走査線密度分布のプロットであり、第１の走査線密度分布は、許容誤差を有しておらず、図２の仮想画像生成システムによって図９ｂのヒトの視力分布に一致させられ、第２の走査線密度分布は、５°の許容誤差を有し、図９ｂのヒトの視力分布に一致させられ、第３の走査線密度分布は、５°の許容誤差を有し、図９ｂのヒトの視力分布より急峻にされる。 図１６ａは、図２の仮想画像生成システムによって走査エリアの１つの半径方向場所に高密度分解能領域を伴って生成されるスパイラル走査パターンのプロットである。図１６ｂは、図２の仮想画像生成システムによって走査エリアの別の半径方向場所に高密度分解能領域を伴って生成されるスパイラル走査パターンのプロットである。 図１７ａは、焦点が走査エリアの中心にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるスパイラル走査パターンのプロットである。 図１７ｂは、焦点が走査エリアの周縁にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるスパイラル走査パターンのプロットである。 図１８ａは、焦点が走査エリアの中心にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるラスタ走査パターンのプロットである。 図１８ｂは、焦点が走査エリアの周縁にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるラスタ走査パターンのプロットである。 図１９は、図２の仮想画像生成システムが焦点の場所に基づいて選択し得る、個別領域を有する視野テンプレートのプロットである。 図２０ａは、焦点が図１９の視野テンプレートの中心にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるスパイラル走査パターンのプロットである。 図２０ｂは、焦点が図１９の視野テンプレートの周縁にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるスパイラル走査パターンのプロットである。 図２１は、焦点が図１９の視野テンプレートの周縁にあるとき、図２の仮想画像生成システムによって個別走査線分解能領域を伴って生成されるスパイラル走査パターンのプロットであり、高分解能領域は、扇形である。 図２２は、図２の仮想画像生成システムを動作させ、非均一密度分布を伴う合成画像フレームをレンダリングし、エンドユーザに表示する方法のフロー図である。

続く説明は、仮想現実および／または拡張現実システムにおいて使用されるべきディスプレイシステムおよび方法に関する。しかしながら、本発明は、仮想または拡張現実システムにおける用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されないこともあることを理解されたい。

図２を参照して、本発明に従って構築された仮想画像生成システム１００の一実施形態が、ここで説明されるであろう。仮想画像生成システム１００は、拡張現実サブシステムとして動作させられ、エンドユーザ５０の視野内の物理的オブジェクトと混合された仮想オブジェクトの画像を提供し得る。仮想画像生成システム１００を動作させるときの２つの基本アプローチが存在する。第１のアプローチは、１つ以上の撮像機（例えば、カメラ）を採用し、周囲環境の画像を捕捉する。仮想画像生成システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合させる。第２のアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して周囲環境が見られることができ、その上に仮想画像生成システム１００が、仮想オブジェクトの画像を生成する。

仮想画像生成システム１００および本明細書に教示される種々の技法は、拡張現実ならびに仮想現実サブシステム以外の用途でも採用され得る。例えば、種々の技法は、任意の投影もしくはディスプレイサブシステムに適用され得る。例えば、本明細書に説明される種々の技法は、移動が、頭部ではなく、エンドユーザの手によって行われ得るピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実サブシステムまたは仮想現実サブシステムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなサブシステムに限定されるべきではない。

少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内のそれぞれの物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、本明細書では、仮想タグまたはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとり得る。仮想オブジェクトの非限定的例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。

この目的を達成するために、仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイサブシステム１０４がエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって支持されるディスプレイサブシステム１０４と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって支持されるスピーカ１０６とを備えている。ディスプレイサブシステム１０４は、光ベースの放射パターンを提示するように設計され、光ベースの放射パターンは、エンドユーザ５０の眼５２に、高レベルの画質および３次元知覚を伴って、物理的現実に対する拡張として快適に知覚されることができ、かつ２次元コンテンツを提示可能であり得る。ディスプレイサブシステム１０４は、一続きの合成画像フレームを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

図示される実施形態では、ディスプレイサブシステム１０４は、投影サブシステム１０８と、投影サブシステム１０８が画像を投影する部分的に透明なディスプレイ表面１１０とを備えている。ディスプレイ表面１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。図示される実施形態では、投影サブシステム１０８は、１つ以上の光ファイバ１１２（例えば、単一モード光ファイバ）を含み、それらの各々がその中に光が受け取られる一端１１２ａと、そこから光が部分的に透明なディスプレイ表面１１０に提供される別の端部１１２ｂとを有する。投影サブシステム１０８は、光を生成し（例えば、異なる色の光を定義されたパターンで放出し）、光を光ファイバ１１２の他端１１２ａに通信可能に結合する１つ以上の光源１１４も含み得る。光源１１４は、多種多様な形態のいずれかをとり得、例えば、ＲＧＢレーザの組（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード）であり、ＲＧＢレーザの組は、ピクセル情報またはデータのそれぞれのフレーム内に規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光をそれぞれ生成するように動作可能である。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。

図示される実施形態では、ディスプレイ表面１１０は、導波管ベースのディスプレイの形態をとり、その中に光ファイバ１１２からの光が、光学結合配列（図示せず）を介して投入され、例えば、無限遠より近い単一光学視認距離（例えば、腕の長さ）における画像、複数の離散光学視認距離もしくは焦点面における画像、および／または複数の視認距離もしくは焦点面にスタックされ、立体３Ｄオブジェクトを表す画像層を生成する。明視野内のこれらの層は、ヒト視覚副系に一緒に連続して現れるように十分に近接してスタックされ得る（すなわち、一方の層は、隣接する層の乱信号円錐域内にある）。加えて、または代替として、写真要素が、２つ以上の層を横断して混成され、それらの層がより疎らにスタックされる場合（すなわち、一方の層は隣接する層の乱信号円錐域外にある）でも、明視野内の層間の遷移の知覚される連続性を増加させ得る。ディスプレイサブシステムは、単眼または双眼であり得る。

ディスプレイサブシステム１０４はさらに、制御信号に応答して、光ファイバ１１２を所定のパターンで走査する走査デバイス１１６を備え得る。例えば、図３を参照すると、ピクセル情報またはデータの合成画像フレーム１１８は、１つの図示される実施形態によると、画像、例えば、１つ以上の仮想オブジェクトの画像を提示するためのピクセル情報またはデータを規定する。フレーム１１８は、図式的に図示され、セル１２０ａ−１２０ｍが、水平行または列１２２ａ−１２２ｎに分割される。フレーム１１８の各セル１２０は、セル１２０が対応するそれぞれのピクセルのための複数の色および／または強度の各々のための値を規定し得る。例えば、フレーム１１８は、各ピクセルのために、赤色のための１つ以上の値１２４ａ、緑色のための１つ以上の値１２４ｂ、および青色のための１つ以上の値１２４ｃを規定し得る。値１２４は、各色のためにバイナリ表現、例えば、各色のためにそれぞれの４ビット数として規定され得る。フレーム１１８の各セル１２０は、加えて、振幅を規定する値１２４ｄを含み得る。

フレーム１１８は、１つ以上のフィールド（集合的に１２６）を含み得る。フレーム１１８は、単一フィールドから成り得る。代替として、フレーム１１８は、２つまたはさらにより多くのフィールド１２６ａ−１２６ｂを備え得る。フレーム１１８の完全な第１のフィールド１２６ａのためのピクセル情報は、完全な第２のフィールド１２６ｂのためのピクセル情報の前に規定され得、例えば、アレイ、順序付けられたリスト、または他のデータ構造（例えば、記録、リンクされたリスト）において第２のフィールド１２６ｂのためのピクセル情報の前に生じる。提示サブシステムが３つ以上のフィールド１２６ａ−１２６ｂをハンドリングするように構成されると仮定すると、第３またはさらに第４のフィールドが、第２のフィールド１２６ｂに続き得る。

ここで図４を参照すると、フレーム１１８は、ラスタ走査パターン１２８を使用して生成される。ラスタ走査パターン１２８では、ピクセル１３０（１つのみ指図されている）が、連続して提示される。ラスタ走査パターン１２８は、典型的には、左から右に、（矢印１３２ａ、１３２ｂによって示される）、そして、上から下に（矢印１３４によって示される）ピクセルを提示する。したがって、提示は、右上角から開始し、ラインの終了に到達するまで第１のライン１３６ａを横断して左にトラバースし得る。ラスタ走査パターン１２８は、典型的には、次いで、次の下のラインにおいて左から開始する。提示は、１つのラインの終了から次のラインの開始まで戻るとき、一時的にブラックアウトまたはブランクにされ得る。このプロセスは、最下ライン１３６ｎが、例えば、最右下ピクセルにおいて完了するまで、ライン毎に繰り返される。フレーム１１８が完了すると、新しいフレームが、再び開始され、次のフレームの最上ラインの右に戻る。再び、提示は、次のフレームを提示するために左下から右上に戻る間、ブランクにされ得る。

ラスタ走査の多くの実装は、インターレース走査パターンと称されるものを採用する。インターレースラスタ走査パターンでは、第１および第２のフィールド１２６ａ、１２６ｂからのラインは、インターレースされる。例えば、第１のフィールド１２６ａのラインを提示するとき、第１のフィールド１２６ａのためのピクセル情報は、奇数ラインのためにのみ使用され得る一方、第２のフィールド１２６ｂのためのピクセル情報は、偶数ラインのためにのみ使用され得る。したがって、フレーム１１８（図３）の第１のフィールド１２６ａのラインは全て、典型的には、第２のフィールド１２６ｂのラインの前に提示される。第１のフィールド１２６ａは、第１のフィールド１２６ａのピクセル情報を使用して提示され、ライン１、ライン３、ライン５等を連続して提示し得る。次いで、フレーム１１８（図３）の第２のフィールド１２６ｂは、第２のフィールド１２６ｂのピクセル情報を使用することによって、第１のフィールド１２６ａに続いて提示され、ライン２、ライン４、ライン６等を連続して提示し得る。

図５を参照すると、スパイラル走査パターン１４０が、ラスタ走査パターン１２８の代わりに使用され、フレーム１１８を生成し得る。スパイラル走査パターン１４０は、単一のスパイラル走査ライン１４２から成り得、単一のスパイラル走査ライン１４２は、１つ以上の完全な角度サイクル（例えば、３６０度）を含み得、完全な角度サイクルは、コイルまたはループとして実証され得る。図４に図示されるラスタ走査パターン１２８と同様に、スパイラル走査パターン１４０におけるピクセル情報は、角度が増えるにつれて、各連続的なピクセルの色および／または強度を規定するために使用される。振幅または半径方向値１４６は、スパイラル走査ライン１４２の開始点１４８からの半径方向寸法を規定する。

図６を参照すると、リサージュ走査パターン１５０が、代替として、使用され、フレーム１１８を生成し得る。リサージュ走査パターン１５０は、単一のリサージュ走査ライン１５２から成り得、単一のリサージュ走査ライン１５２は、１つ以上の完全な角度サイクル（例えば、３６０度）を含み得、完全な角度サイクルは、コイルまたはループとして実証され得る。代替として、リサージュ走査パターン１５０は、各々がリサージュ走査ライン１５２をネスト化するように互いに対して位相シフトされる２つ以上のリサージュ走査ライン１５２を含み得る。ピクセル情報は、角度が増えるにつれて、各連続的なピクセルの色および／または強度を規定するために使用される。振幅または半径方向値は、リサージュ走査ライン１５２の開始点１５６からの半径方向寸法１５４を規定する。

図７を参照すると、マルチフィールドスパイラル走査パターン１５８が、代替として、使用され、フレーム１１８を生成し得る。マルチフィールドスパイラル走査パターン１５８は、２つ以上の異なるスパイラル走査ライン（集合的に、１６０）、具体的には、４つのスパイラル走査ライン１６０ａ−１６０ｄを含む。各スパイラル走査ライン１６０のためのピクセル情報は、フレームのそれぞれのフィールドによって規定され得る。有利には、複数のスパイラル走査ライン１６０は、スパイラル走査ライン１６０の各連続するもの間の位相を単にシフトさせることによってネスト化され得る。差異スパイラル走査ライン１６０間の位相は、採用されるであろうスパイラル走査ライン１６０の総数の関数となるはずである。例えば、４つのスパイラル走査ライン１６０ａ−１６０ｄは、９０度位相シフトによって分離され得る。例示的実施形態は、１０の異なるスパイラル走査ライン（すなわち、サブスパイラル）を伴って、１００Ｈｚリフレッシュレートで動作し得る。図５の実施形態と同様に、１つ以上の振幅または半径方向値は、スパイラル走査ライン１６０の開始点１６４からの半径方向寸法１６２を規定する。

図２に戻って参照すると、仮想画像生成システム１００はさらに、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）を備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。

図２に戻って参照すると、仮想画像生成システム１００はさらに、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）を備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。

例えば、一実施形態では、仮想画像生成システム１００は、１つ以上の慣性変換器を含み、エンドユーザ５０の頭部５４の移動を示す慣性尺度を捕捉する、頭部装着型変換器サブシステム１２６を備えている。そのようなものは、エンドユーザ５０の頭部の移動についての情報を感知、測定、または収集するために使用され得る。例えば、そのようなものは、エンドユーザ５０の頭部５４の測定移動、速度、加速度、および／または位置を検出するために使用され得る。

仮想画像生成システム１００はさらに、１つ以上の前向きカメラ１２８を備え、これは、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る。前向きカメラ１２８は、その環境およびその環境内の特定のオブジェクト、に対するエンドユーザ５０の距離および向きを示す情報を捕捉するために使用され得る。頭部装着型であるとき、前向きカメラ１２８は、特に、エンドユーザ５０が位置する環境およびその環境内の特定のオブジェクト、に対するエンドユーザ５０の頭部５４の距離および向きを示す情報を捕捉するために好適である。前向きカメラ１２８は、例えば、頭部の移動、頭部の移動の速度、および／または加速を検出するために採用され得る。前向きカメラ１２８は、例えば、少なくとも部分的に、エンドユーザ５０の頭部５４の向きに基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用され得る。向きは、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）に検出され得る。

仮想画像生成システム１００はさらに、一対の後向きカメラ１２９を備え、エンドユーザ５０の眼５２の移動、瞬き、および焦点深度を追跡する。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影し、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別され得る。仮想画像生成システム１００はさらに、患者の向き検出モジュール１３０を備えている。患者の向きモジュール１３０は、エンドユーザ５０の頭部５４の瞬時位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測し得る。有意には、エンドユーザ５０の頭部５４の瞬時位置の検出は、エンドユーザ５０が見ている特定の実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトのために生成されるべき具体的テキストメッセージの指示を提供し、さらに、テキストメッセージがストリーミングされるべきテキスト領域の指示を提供する。患者の向きモジュール１３０はまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼５２を追跡する。

仮想画像生成システム１００はさらに、多種多様な形態のいずれかをとり得る制御サブシステムを備えている。制御サブシステムは、いくつかのコントローラ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

図示される実施形態では、仮想画像生成システム１００は、中央処理ユニット（ＣＰＵ）１３２と、グラフィック処理ユニット（ＧＰＵ）１３４と、１つ以上のフレームバッファ１３６とを備えている。ＣＰＵ１３２は、全体的動作を制御する一方、ＧＰＵ１３４は、遠隔データリポジトリ１５０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１３６内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームのフレームバッファ１３６の中への読み込みおよび／またはそこからの読み取りならびにディスプレイサブシステム１０４の走査デバイスの動作を制御し得る。フレームバッファ１４６の中への読み込みおよび／またはそこからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。仮想画像生成システム１００はさらに、読み取り専用メモリ（ＲＯＭ）１３８と、ランダムアクセスメモリ（ＲＡＭ）１４０とを備えている。仮想画像生成システム１００はさらに、３次元データベース１４２を備え、そこからＧＰＵ１３４は、フレームをレンダリングするために１つ以上の場面の３次元データにアクセスすることができる。

仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含まれ得る。例えば、図８ａ−８ｄに図示されるように、仮想画像生成システム１００は、有線導線または無線接続性１４６等によって、ディスプレイサブシステム１０４およびセンサに動作可能に結合されるローカル処理およびデータモジュール１４４を備えている。ローカル処理およびデータモジュール１４４は、フレーム構造１０２に固定して取り付けられ（図８ａ）、ヘルメットもしくは帽子５６に固定して取り付けられ（図８ｂ）、ヘッドホン内に埋設され、エンドユーザ５０の胴体５８に除去可能に取り付けられ（図８ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる（図８ｄ）等、種々の構成で搭載され得る。仮想画像生成システム１００はさらに、有線導線または無線接続性１５０、１５２等によって、ローカル処理およびデータモジュール１４４に動作可能に結合される遠隔処理モジュール１４８および遠隔データリポジトリ１５０を備え、これらの遠隔モジュール１４８、１５０は、互いに動作可能に結合され、ローカル処理およびデータモジュール１４４に対してリソースとして利用可能である。

ローカル処理およびデータモジュール１４４は、電力効率的プロセッサまたはコントローラとフラッシュメモリ等のデジタルメモリとを備え得、両方とも、センサから捕捉されたデータ、および／または、おそらく、そのような処理または読み出し後、ディスプレイサブシステム１０４への通過のために遠隔処理モジュール１４８および／または遠隔データリポジトリ１５０を使用して取得ならびに／もしくは処理されたデータの処理、キャッシュ、および記憶を補助するために利用され得る。遠隔処理モジュール１４８は、データおよび／または画像情報を分析ならびに処理するように構成される１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリ１５０は、比較的に大規模なデジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。一実施形態では、全データが記憶され、ローカル処理およびデータモジュール１４４において全計算が行われ、任意の遠隔モジュールからの完全に自律的使用を可能にする。

前述の種々のコンポーネント間の結合１４６、１５２、１５４は、有線もしくは光学通信を提供するための１つ以上の有線インターフェースもしくはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースもしくはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、無線であり得る。なおもさらなる実装では、有線および無線通信の選択は、図８ａ−８ｄに図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択は、限定と見なされるべきではない。

図示される実施形態では、患者の向きモジュール１３０は、ローカル処理およびデータモジュール１４４内に含まれる一方、ＣＰＵ１３２およびＧＰＵ１３４は、遠隔処理モジュール１４８内に含まれるが、代替実施形態では、ＣＰＵ１３２、ＧＰＵ１２４、またはその一部は、ローカル処理およびデータモジュール１４４内に含まれ得る。３Ｄデータベース１４２は、遠隔データリポジトリ１５０に関連付けられることができる。

本発明に重要なこととして、仮想画像生成システム１００は、３次元場面の複数の合成画像フレームをレンダリングし、非均一分解能分布を伴うそれらをエンドユーザ５０に連続して表示する、動的分解能領域技法を行う。例証される実施形態では、表示される画像フレームの各々の分解能分布は、エンドユーザ５０の眼５４の視力分布に一致する、またはさらにそれより急峻である。例えば、図９ａ−９ｂを参照すると、ヒトの眼の網膜上では、光受容体細胞の分布は、桿体細胞５５に対する光受容体曲線、および錐体細胞５７に対する光受容体曲線によって表されるように、非常に非均一である。図９ａに図示されるように、網膜の中心領域（中心窩）（０°）は、錐体細胞の最高密度を含み、網膜の中心領域は、図９ｂにおける視力曲線５９によって図示されるように、最高視力を提供する。錐体細胞の密度、したがって、視力は、中心窩から離れるにつれて領域内で急速に低下する。

故に、仮想画像生成システム１００によって行われる動的分解能領域技法は、エンドユーザ５０の眼５４の予期または推測される焦点と一致するフレームの各々において最高分解能の領域を配置することを試みる。したがって、ハードウェア（スキャナ速度）および／またはソフトウェア制約（フレームレンダリング速度）に起因して、エンドユーザ５０の視野全体を高密度に取り込むフレームを出力することができない仮想画像生成システムのためにも、システムは、エンドユーザ５０の眼５４の焦点が、常時、最高分解能の領域内にあるように、各フレームのプロファイルの分解能を動的に変化させることによって高画質を提供することができることを理解されたい。走査デバイスが各フレームをエンドユーザ５０に提示するために使用される図示される実施形態では、フレーム内の任意の特定の領域の分解能は、その領域内の走査線密度を調節することによって調節され、それによって、画質に実質的損失を伴わずに、フレームをより効率的に表示するであろう。

例えば、均一走査線密度分布６１が図１０におけるように仮定される場合、眼が集中させられない高走査線密度は、無駄となる。特に、集中眼中心窩視力を前提として、眼が７５度視野（±３５度）内の０度に集中させられる場合、走査エリアの中心から離れた周辺領域（例えば、±１０−３５度）における走査線密度は、必要なものより高くなり、フレームの表示に非効率性をもたらすであろう。

代わりに、走査線密度分布６３が、図１１に図示されるように、ヒトの視力分布５９に一致させられる場合、走査エリアの中心から離れた周辺領域における走査線密度は、実質的に低下させられ、それによって、走査線／フレーム要件の制約が有意に緩和されることを可能にすることができる。曲線が図１１におけるヒトの眼の視力分布グラフに適合される場合、結果として生じる方程式は、
となり、ｆは、分布密度であり、θは、中心窩中心からの度単位における角度偏心である。

眼が走査エリアの中心に集中させられる場合、スパイラル走査パターンを仮定すると、走査線密度分布６５は、図１２ａに図示されるように、ヒトの視力分布５９に一致し、眼が走査エリアの中心と走査エリアの外側縁との間の途中に集中させられる場合、スパイラル走査の円対称性に起因して、走査線密度分布６７は、図１２ｂに図示されるように、ヒトの視力分布５９に一致するであろう。着目すべきこととして、図１２ａおよび１２ｂにおけるグラフのＹ−軸上の線密度は、線数／度の「単位」として表される。フレームあたり必要とされる総線は、走査エリアにわたって走査線分布曲線下面積を積分することによって計算されることができる。

したがって、走査線密度分布を動的に変化させる目的は、エンドユーザ５２の眼５４の中心窩を高密度走査領域内に維持することであることを理解されたい。一実施形態では、視野内の眼の焦点が、検出され、高密度走査領域は、それが検出された焦点と一致したままであり、それによって、眼の中心窩を高密度走査領域の中心に維持するように動的に変化させられる。別の実施形態では、高密度走査領域は、それがエンドユーザ５０の視野内で着目オブジェクト（仮想または実際のいずれか）と一致したままであるように動的に変化させられる。この場合、エンドユーザの焦点５０は、着目オブジェクト上にあり、および／またはエンドユーザ５０の視野内の任意の他のオブジェクトは、重要ではないか、または存在しないかのいずれかであり、したがって、これらのエリア内の低下させられた走査分解能で十分となるであろうと仮定される。

中心窩を走査線密度分布の高分解能部分下に保つために、許容誤差が、走査線密度分布内に含まれ、例えば、眼追跡における不正確性および／または眼追跡における待ち時間、頭部姿勢、レンダリング、およびリフレッシュレートを考慮し得る。３００°／秒の最大頭部角速度および６０フレーム／秒更新（眼追跡更新、姿勢、レンダリング、またはリフレッシュレート間で最低速）に対して、１０°の許容誤差（左右５°）が、眼中心窩を走査線密度分布の高分解能部分下に保つために必要とされる。１５０°／秒の最大頭部角速度および６０フレーム／秒更新（眼追跡更新、姿勢、レンダリング、またはリフレッシュレート間で最低速）に対して、５°の許容誤差（左右２．５°）が、眼中心窩を走査線密度分布の高分解能部分下に保つために必要とされる。１０°の許容誤差が図１２ｂの走査線分布グラフ内に含まれる場合、走査線密度分布曲線６７は、図１３に示されるように拡張するであろう。

着目すべきこととして、許容誤差が大きくなるほど、動的領域分解能技法は、あまり効率的ではなくなる。したがって、動的領域分解能技法の効率を最大化するために、仮想画像生成システム１００は、異なる使用例、用途、および／または期間で変動し得る仮定された眼角速度プロファイルに基づいて、許容誤差を動的に変化させ得る。例えば、書籍を読んでいるとき、眼の移動は、３００°／秒よりはるかにゆっくりであり、デジタル絵画を鑑賞しているとき、眼は、その期間にわたってほぼ静止している。許容誤差を動的にすることによって、許容誤差は、時々ゼロに低減させられ、最高有効分解能をもたらすことができる。例えば、以下でさらに議論されるように、許容誤差が０であるとき、動的領域分解能技法が採用されるときの分解能は、動的領域分解能技法が採用されないときの分解能の約２．８倍であり得る。

動的分解能領域技法は、ヒトの視力分布５９に正確に一致させる代わりに、図１４に図示されるように、走査密度分解能分布曲線６９をヒトの視力分布曲線５９より急峻にすることによって、より効率的にされ得る。この方法において、網膜分解能が、中心領域に得られる一方、サブ網膜分解能は、周辺領域に得られる。したがって、非常に高い分解能が、視野内の他の場所におけるより低い分解能を犠牲として、視野の焦点領域内で達成される。

ここで図１５を参照すると、異なる走査線分解能プロファイルを使用するときの動的分解能領域技法の効率が、比較されることができる。ここで示されるように、均一走査線密度を使用する従来の走査技法から生じる走査曲線１７０ａ、許容誤差を伴わずにヒトの視力分布曲線１７２に一致する動的分解能領域技法から生じる走査曲線１７０ｂ、１０°許容誤差を伴ってヒトの視力分布曲線１７２に一致する動的分解能領域技法から生じる走査曲線１７０ｃ、１０°許容誤差を伴ってヒトの視力分布曲線１７２より急峻な動的分解能領域技法から生じる走査曲線１７０ｄが比較される。走査曲線１７０ｂ−１７０ｄのピークまたはプラトーは、ヒトの視力分布曲線１７２のピーク未満であるが、走査曲線１７０ｂ−１７０ｃは、走査曲線１７０ｂ−１７０ｃの傾きが視力分解能曲線の傾きに等しいという点において、ヒトの視力分布曲線１７２に一致し、走査曲線１７０ｄは、走査曲線１７０ｄの傾きがヒトの視力分布曲線１７２の傾きを上回るという点において、ヒトの視力分布曲線１７２より急峻であることに留意されたい。

７０°走査エリアを横断して走査曲線１７０下を積分することは、走査曲線１７０ａに対して７０線数／フレーム、走査曲線１７０ｂに対して２５．２線数／フレーム、走査曲線１７０ｃに対して４１．３線数／フレーム、および走査曲線１７０ｄに対して２０．１線数／フレームをもたらす。これは、動的分解能領域技法のための増加したフレーム／秒（ＦＰＳ）になり、特に、許容誤差を伴わない視力分解能に一致する動的分解能領域技法のためのＦＰＳ（走査曲線１７０ｂ）は、従来の走査技法のためのＦＰＳ（走査曲線１７０ａ）の２．８倍に等しく、１０°許容誤差を伴う視力分解能に一致する動的分解能領域技法のためのＦＰＳ（走査曲線１７０ｃ）は、従来の走査技法のためのＦＰＳ（走査曲線１７０ａ）の１．７倍に等しく、１０°許容誤差を伴う視力分解能より急峻である動的分解能領域技法のためのＦＰＳ（走査曲線１７０ｄ）は、従来の走査技法のためのＦＰＳ（走査曲線１７０ａ）の３．５倍に等しい。

前述に基づいて、動的分解能領域技法を利用することによって、フレームを表示するために要求される要求走査線は、実質的に低減させられ、フレーム走査レートを増加させ、および／または要求されるスキャナ周波数を低下させる潜在性を提供し、それによって、利用可能な機械／光学スキャナ設計オプションを増加させることができることを理解されたい。前述から、フレームレンダリング速度も低減させられることができることも理解されたい。例えば、各フレームは、非均一分解能分布（例えば、視力分解能に一致するもの）を用いてレンダリングされ、次いで、レンダリングされた通りにエンドユーザ５０に正確に表示されることができる。フレームをレンダリングするために要求されるピクセルの数が減少されたので、フレームをレンダリングするために要求される時間の量も、それに応じて、フレーム走査レートの増加および／またはスキャナ周波数の低下を伴い、短縮されることができる。代替として、各フレームは、均一分解能分布を伴ってレンダリングされることができ、その場合、非均一分解能分布は、走査プロセス中、レンダリングされたフレーム内のあるピクセルを無視することによって、フレームの中に組み込まれることができる。

いくつかの動的分解能領域技法の理論および利点が説明されたので、ここで、動的分解能領域技法の実装が、説明されるであろう。

一実施形態では、スパイラル走査パターンが画像フレーム内で使用されると仮定すると、走査線は、図１６ａ−１６ｂに図示されるように、同心線２００として単純に表されることができる。簡略化および明確化の目的のために、６つの同心走査線２００のみが図示されるが、実際は、より多くの走査線が使用され得ることを理解されたい。エンドユーザ５０が視野内の点２０２ａに集中させられていると推測される場合、フレーム内の最高走査線密度は、より高密度に間隔を置かれる走査線２００ｂ−ｄによって表されるように、点２０２ａに隣接して使用され、フレーム内のより低い走査密度は、より疎らに間隔を置かれる走査線２００ａおよび２００ｅ−ｆによって表されるように、点２０２ａから離れた領域で使用されるであろう（図１６ａ）。エンドユーザ５０が、今度は、点２０２ｂに集中させられていると推測される場合、フレーム内の最高走査線密度は、より高密度に間隔を置かれる走査線２００ｄ−ｆによって表されるように、隣接する点２０２ｂに隣接する領域内で使用され、フレーム内のより低い走査密度は、より疎らに間隔を置かれる走査線２００ａ−ｃによって表されるように、点２０２ｂから離れた領域内で使用されるであろう（図１６ｂ）。したがって、最高線密度の領域を動的に移動させ、エンドユーザ５０の焦点に従うことによって、画像フレームの品質は、概して、同一走査線数を使用して増加され得ることを理解されたい。

一実施形態では、走査線密度の相違は、視野にわたり連続的である（すなわち、隣接する対の走査線間の間隔は、互いから異なるであろう）。しかしながら、１つの望ましい実施形態では、視野にわたる走査線密度の相違は、個別的である。すなわち、各画像フレームは、異なる分解能を有する複数の個別領域を有する。

例えば、スパイラル走査パターンを仮定すると、画像フレームは、図１７ａ−１７ｂに図示されるように、５つの環状の個別領域２０４ａ−２０４ｅを有し得る。エンドユーザ５０が点２０６ａによって示される視野の中心に集中させられていると推測される場合、最高分解能領域は、例えば、２０４ａであり、残りの周辺領域２０４ｂ−２０４ｅは、２０４ｂから開始し、次いで、２０４ｃ、次いで、２０４ｄ、最後に、２０４ｅとなる、低下分解能を有するであろう（図１７ａ）。対照的に、エンドユーザ５０が点２０６ｄによって示される視野の周縁に集中させられていると推測される場合、最高分解能領域は、例えば、２０４ｄであり（図１７ｂ）、残りの周辺領域２０４ｂ−２０４ｅは、２０４ｃおよび２０４ｅから開始し、次いで、２０４ｂ、最後に、２０４ａとなる、低下分解能を有するであろう。着目すべきこととして、図１７ａおよび１７ｂに図示される個別領域２０４の分解能プロファイルは、図９ｂに図示される視力分布に従っている。すなわち、個別領域の分解能は、プロファイルの中心からの視力の量に実質的に一致するレートで焦点に関連付けられた最高分解能個別領域から低下するであろう。

別の実施例として、ラスタ走査パターンを仮定すると、画像フレームは、図１８ａ−１８ｂに図示されるように、５つの長方形個別領域２０８ａ−２０８ｉを有し得る。エンドユーザ５０が点２１０ａによって示される視野の中心に集中させられていると推測される場合、最高分解能領域は、例えば、２０８ｅであり、残りの周辺領域２０８ａ−２０８ｄおよび２０８ｆ−２０８ｉは、２０８ｄおよび２０８ｆから開始し、次いで、２０８ｃおよび２０８ｇ、次いで、２０８ｂおよび２０８ｈ、最後に、２０８ａおよび２０８ｉとなるように、低下する分解能（図１８ａ）を有するであろう。対照的に、エンドユーザ５０が点２０８ｃによって示される視野の周縁に集中させられていると推測される場合、最高分解能領域は、例えば、２０８ｃであり（図１８ｂ）、残りの周辺領域２０４ａ−２０４ｂおよび２０４ｄ−２０４ｉは、２０４ｂおよび２０４ｄから開始し、次いで、２０４ａおよび２０４ｅ、次いで、２０４ｆ、次いで、２０４ｇ、次いで、２０４ｈ、最後に、２０４ｉとなる低下する分解能を有するであろう。再び、図１８ａおよび１８ｂに図示される個別領域２０８の分解能プロファイルは、図９ｂに図示される視力分布に従っている。すなわち、個別領域の分解能は、プロファイルの中心からの視力の量に実質的に一致するレートで焦点に関連付けられた最高分解能個別領域から低下するであろう。

一実施形態では、最高分解能の個別領域は、エンドユーザの焦点に基づいて、視野テンプレートから選択され得る。例えば、図１９を参照すると、スパイラル走査パターンをとる視野テンプレート２１２は、５つの環状の個別領域２１４ａ−２１４ｅを含む。図示される実施形態では、個別領域２１４ａ−２１４ｅの各々は、前述の許容誤差を考慮するために、公称サイズ（実線によって表される）から、例えば、１０パーセント拡張されたサイズ（破線によって表される）まで選択的に拡張されることができる。

例えば、エンドユーザ５０の推定される焦点が点２１６ａにおける公称個別領域２１４ａの周縁の近傍にあると仮定すると、拡張される個別領域２１４ａは、図２０ａに図示されるように、最高分解能を伴う領域として選択および表示されるであろう。エンドユーザ５０の実際の焦点が、点２１６ｂにおける公称個別領域２１４ａの周縁のすぐ外側にある場合、焦点２１６ｂは、拡張される個別領域２１４ａが点２１６ｂを覆っているという事実によって、依然として、最高分解能内に含まれるであろう。また、図２０ａに図示されるように、拡張される個別領域２１２ａと重複しない個別領域２１４ｂの部分は、低下させられた分解能において表示されるであろう。言い換えると、公称個別領域２１４ｂの一部（個別領域２１２ａの破線と実線とによって定義される）は、この領域が高分解能個別領域２１４ａの拡張された部分にすでに覆われているので無視されるであろう。残りの個別領域２１２ｃ−２１２ｅは、低下する分解能を伴ってその公称（非拡張）形態で表示されるであろう。

拡張される個別領域２１４ａは、エンドユーザ５０の推定される焦点が視野テンプレート２１０内の公称個別領域２１２ａの外になるまで、最高分解能を伴って表示され続けるであろう。例えば、エンドユーザ５０の推定される焦点が視野テンプレート２１０の個別領域２１２ｂ内の点２１４ｃに変化する場合、拡張される個別領域２１２ｂは、図２０ｂに図示されるように、最高分解能を伴って個別領域として表示されるであろう。また、図２０ｂに図示されるように、拡張される個別領域２１２ｂと重複しない個別領域２１４ａおよび２１４ｃの部分は、低下させられた分解能で表示されるであろう。言い換えると、公称個別領域２１４ａの一部（個別領域２１２ａの破線と実線とによって定義される）および個別領域２１４ｃの一部（個別領域２１２ｃの破線と実線とによって定義される）は、これらの領域が高分解能個別領域２１４ｂの拡張される部分によってすでに覆われているので、無視されるであろう。残りの個別領域２１２ｄ−２１２ｅは、低下する分解能を伴って、その公称（非拡張）形態で表示されるであろう。

随意の実施形態では、表示されるフレームのより低い分解能領域は、エンドユーザ５０に対して視覚的アーチファクトを生成し得る（例えば、エンドユーザ５０が、走査線間の比較的に大きな間隔に起因して、個々の走査線を別々に見ることが可能であり得る）ので、これらのより低い分解能領域は、ぼかされ得る。ぼかしの量は、フレームのより低い分解能領域における分解能低下の量に相応することができる。例えば、低分解能領域の分解能が、最高分解能領域の分解能の４分の１（２５％）である場合、低分解能領域内に表示されるピクセルは、ピクセルのオリジナルサイズの４倍までぼかされることができる。一実施形態では、より低い分解能領域は、隣接する表示されるフレームにおける走査線をディザリングすることによってぼかされることができる。例えば、２つのフィールドがフレーム内でインターレースされる場合、１つのフレームでは、偶数フィールドの走査線が、表示され得、次のフレームでは、奇数フィールドの走査線が、表示され得る。別の実施形態では、より低い分解能領域は、より低い分解能領域内の表示されるフレームの焦点をぼかすことよってぼかされることができる。これは、例えば、エンドユーザ５０の焦点面と異なる焦点面内においてより低い分解能領域の走査線を表示することによって遂行されることができる。

別の随意の実施形態では、スパイラル走査パターンによって生成されるフレームの周縁におけるより高い分解能領域は、フレームの周縁上に、高線密度の可視化帯の形態でアーチファクトを生成し得る。これらのアーチファクトを最小化するために、高分解能環状形の代わりに、高分解能扇状形が、走査されることができる。例えば、図１７ｂに図示されるような高分解能環状領域２０２ｄを走査する代わりに、高分解能扇状領域２０２ｆが、図２１に図示されるような推定される焦点２０６ｂを覆うように走査されることができる。走査デバイス１１６の限界が、より低い分解能で環状領域２０２ｄの残りの扇状領域２０２ｇ（すなわち、高分解能扇状領域２０２ｆの外の扇状領域）を走査することを妨げる場合、走査デバイス１１６は、所望のより低い分解能扇状領域内の走査線の全てを表示することが妨げられ得る。例えば、環状領域２０２ｄ内の特定の３６０度走査線に対して、走査デバイス１１６は、低分解能扇状内の走査線のための光の出力を停止し、高分解能扇状領域２０２ｆ内の同一走査線のための光を出力することができる。次いで、環状領域２０２ｄ内の別の隣接する３６０度走査線に対して、走査デバイス１１６は、３６０度範囲全体にわたって走査線のための光の出力を維持することができる。

仮想画像生成システム１００の構造および機能が説明されたので、合成画像フレームをエンドユーザ５０に表示するために仮想画像生成システム１００によって行われる１つの方法３００が、ここで、図２１に関して説明されるであろう。

この目的を達成するために、ＣＰＵ１３２は、エンドユーザ５０の焦点を推定し（例えば、患者の向き検出モジュール１３０を介して検出するか、または焦点がエンドユーザ５０の視野内の識別された着目オブジェクトと一致すると仮定することのいずれかによって）（ステップ３０２）、推定される焦点と一致する視野テンプレートの個別領域を選択する（ステップ３０４）。仮想画像生成システム１００は、次いで、エンドユーザ５０が、３次元場面を周囲環境内に可視化することを可能にする（ステップ３０６）。これは、例えば、ＣＰＵ１３２が、正面カメラ１２８に、３次元場面の画像データを捕捉するように指示し、ディスプレイサブシステム１０４に、捕捉された画像データをエンドユーザ５０に表示するように指示する、「ビデオシースルー」ディスプレイ、またはエンドユーザが、単に、３次元場面からの光を直接視認することを可能にされる、「光学シースルー」ディスプレイにおいて遂行されることができる。

ＣＰＵ１３２はまた、ＧＰＵ１３４に、エンドユーザ５０の視点からの仮想画像データを生成し、本実施形態では、２次元仮想画像データを３次元仮想場面から合成画像フレームとしてレンダリングするように命令する（ステップ３０８）。一実施形態では、フレームは、例えば、仮想画像データをレンダリングし、ワーピングすることによる任意の待ち時間問題を最小化するために、予測頭部位置に基づいて、レンダリングされ得る。

ＣＰＵ１３２は、次いで、ディスプレイサブシステム１０４に、周囲３次元場面とともに、合成画像フレームをエンドユーザ５０に表示し、それによって、３次元拡張場面を生成するように命令する（ステップ３１０）。１つの方法では、合成画像フレームは、非均一分解能分布を伴って表示され、特に、合成画像フレームは、視野テンプレートから選択された個別領域に対応する、最高分解能領域を伴って表示される。合成画像フレームは、最高分解能領域からのその距離に従って分解能が徐々に低下する個別領域を伴って表示され得る。個別領域の分解能は、例えば、ヒトの眼の視力分布に一致するか、またはさらにそれより急峻であり得る。着目すべきこととして、合成画像フレームが、レンダリングされるとき、均一分解能分布を有する場合、ＣＰＵ１３２は、例えば、ディスプレイサブシステム１０４に、低分解能が所望されるフレームの領域内のあるピクセルを無視するように命令することによって、非均一分解能分布をレンダリングされたフレームの中に組み込むであろう。一方、合成画像フレームが、レンダリングされるとき、視野テンプレートの選択された個別領域に対応する高分解能領域を伴うフレームをレンダリングすることによって非分解能分布を有する場合、ＣＰＵ１３２は、レンダリングされたようにフレームを表示するであろう。

図示される方法では、ディスプレイサブシステム１０４は、例えば、非均一分解能分布が半径方向に変動するようにスパイラルパターンで、または非均一分解能分布が直線的に変動するようにラスタパターンで、合成画像フレームを走査する。個別領域は、スパイラル走査パターンの場合、環状もしくはさらに扇形であるか、またはラスタ走査パターンの場合、長方形であり得る。ＣＰＵ１３２はまた、ディスプレイサブシステム１０４に、より低い分解能領域内の合成画像フレームをぼかすように命令する（例えば、走査線をディザリングする、またはより低い分解能領域の焦点をぼかすことによって）（ステップ３１２）。より低い分解能領域内の合成画像フレームをぼかすステップは、レンダリングおよび表示ステップ後に生じるように、フロー図に図示されるが、ぼかすステップは、レンダリングまたは表示ステップと並行して行われることができることを理解されたい。ＣＰＵ１３２は、次いで、ステップ３０２に戻り、エンドユーザ５０の新しく推定される焦点に応じて、前の合成画像フレーム内の非均一分布と同じまたは異なり得る非均一分布を有する別の合成画像フレームを生成および表示する。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、本明細書に成され得ることが明白となるであろう。例えば、前述のプロセスフローは、特定の順序のプロセスアクションを参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるものとする。

本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。
本発明はさらに、例えば、以下を提供する。
（項目１）
仮想画像生成システムを動作させる方法であって、前記方法は、
３次元場面の複数の合成画像フレームをレンダリングすることと、
前記複数の画像フレームを前記エンドユーザに連続して表示することと
を含み、
前記表示される画像フレームの各々は、非均一分解能分布を有する、方法。
（項目２）
前記画像フレームの各々は、前記非均一分解能分布を伴ってレンダリングされる、項目１に記載の方法。
（項目３）
前記画像フレームの各々は、均一分解能分布を有するようにレンダリングされ、前記それぞれの画像フレームを表示することは、前記非均一分解能分布をすでにレンダリングされた画像フレームの中に組み込むことを含む、項目１に記載の方法。
（項目４）
前記画像フレームを表示することは、前記画像フレームを走査することを含む、項目１に記載の方法。
（項目５）
前記画像フレームの各々は、スパイラルパターンで走査される、項目４に記載の方法。
（項目６）
前記非均一分解能分布は、半径方向に変動する、項目５に記載の方法。
（項目７）
前記画像フレームの各々は、ラスタパターンで走査される、項目４に記載の方法。
（項目８）
前記非均一分解能分布は、直線的に変動する、項目７に記載の方法。
（項目９）
前記表示される画像フレームのうちの少なくとも２つは、異なる非均一分解能分布を有する、項目１に記載の方法。
（項目１０）
前記表示される画像フレームの各々は、異なる分解能を有する複数の個別領域を有する、項目１に記載の方法。
（項目１１）
前記複数の個別領域は、少なくとも３つである、項目１０に記載の方法。
（項目１２）
前記個別領域の各々は、環状である、項目１１に記載の方法。
（項目１３）
前記個別領域の各々は、長方形である、項目１１に記載の方法。
（項目１４）
前記個別領域の各々は、扇形である、項目１１に記載の方法。
（項目１５）
前記複数の個別領域は、最高分解能の領域を含み、前記方法は、前記最高分解能の領域を複数の個別領域を有する視野テンプレートから選択することをさらに含む、項目１１に記載の方法。
（項目１６）
前記視野テンプレート内の複数の個別領域は、互いに重複している、項目１５に記載の方法。
（項目１７）
前記複数の個別領域は、最高分解能の領域およびより低い分解能の領域を含み、前記方法は、前記より低い分解能の領域内で前記表示される画像フレームをぼかすことをさらに含む、項目１１に記載の方法。
（項目１８）
前記表示される画像フレームの各々は、走査され、前記表示される画像フレームをぼかすことは、前記より低い分解能の領域内で隣接して表示される画像フレーム内の走査線をディザリングすることを含む、項目１７に記載の方法。
（項目１９）
前記表示される画像フレームをぼかすことは、前記より低い分解能の領域内で表示される画像フレームの焦点をぼかすことを含む、項目１７に記載の方法。
（項目２０）
前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きに一致する傾きを有する、項目１に記載の方法。
（項目２１）
前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きより大きい傾きを有する、項目１に記載の方法。
（項目２２）
前記エンドユーザの視野内の眼の焦点を推定することと、
前記推定される焦点に基づいて、前記表示される画像フレームの各々のための前記非均一分解能分布を生成することと
をさらに含む、項目１に記載の方法。
（項目２３）
前記非均一分解能分布の各々は、前記推定される焦点と一致する最高分解能の領域を有する、項目２２に記載の方法。
（項目２４）
前記エンドユーザの前記推定される焦点は、前記エンドユーザの視野内の焦点範囲を提供する許容誤差を有し、前記最高分解能の領域は、前記焦点範囲と交差する、項目２３に記載の方法。
（項目２５）
前記焦点を推定することは、前記エンドユーザの焦点を検出することを含む、項目２２に記載の方法。
（項目２６）
前記焦点を推定することは、前記エンドユーザの視野内の着目オブジェクトを識別することを含む、項目２２に記載の方法。
（項目２７）
エンドユーザによる使用のための仮想画像生成システムであって、前記システムは、
３次元場面を記憶しているメモリと、
前記３次元場面の複数の合成画像フレームをレンダリングするために構成されている制御サブシステムと、
前記複数の画像フレームを前記エンドユーザに連続して表示するために構成されているディスプレイサブシステムと
を備え、
前記表示される画像フレームの各々は、非均一分解能分布を有する、仮想画像生成システム。
（項目２８）
前記ディスプレイサブシステムは、前記エンドユーザの眼の正面に位置付けられるために構成されている、項目２７に記載の仮想画像生成システム。
（項目２９）
前記ディスプレイサブシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含み、前記投影サブシステムは、前記画像フレームを前記部分的に透明なディスプレイ表面上に投影するために構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成されている、項目２７に記載の仮想画像生成システム。
（項目３０）
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイサブシステムを支持している、項目２７に記載の仮想画像生成システム。
（項目３１）
前記制御サブシステムは、グラフィック制御サブシステムユニット（ＧＰＵ）を備えている、項目２７に記載の仮想画像生成システム。
（項目３２）
前記制御サブシステムは、前記画像フレームの各々を前記非均一分解能分布を伴ってレンダリングするために構成されている、項目２７に記載の仮想画像生成システム。
（項目３３）
前記制御サブシステムは、前記画像フレームの各々を均一分解能分布を伴ってレンダリングするために構成され、前記ディスプレイサブシステムは、すでにレンダリングされた画像フレームの中に前記非均一分解能分布を組み込むことによって、前記それぞれの画像フレームを表示するために構成されている、項目２７に記載の仮想画像生成システム。
（項目３４）
前記ディスプレイサブシステムは、前記画像フレームを走査することによって、前記画像フレームを表示するために構成されている、項目２７に記載の仮想画像生成システム。
（項目３５）
前記ディスプレイサブシステムは、スパイラルパターンで前記画像フレームの各々を走査するために構成されている、項目３４に記載の仮想画像生成システム。
（項目３６）
前記非均一分解能分布は、半径方向に変動する、項目３５に記載の仮想画像生成システム。
（項目３７）
前記ディスプレイサブシステムは、ラスタパターンで前記画像フレームを走査するために構成されている、項目３４に記載の仮想画像生成システム。
（項目３８）
前記非均一分解能分布は、直線的に変動する、項目３７に記載の仮想画像生成システム。
（項目３９）
前記表示される画像フレームのうちの少なくとも２つは、異なる非均一分解能分布を有する、項目２７に記載の仮想画像生成システム。
（項目４０）
前記表示される画像フレームの各々は、異なる分解能を有する複数の個別領域を有する、項目２７に記載の仮想画像生成システム。
（項目４１）
前記複数の個別領域は、少なくとも３つである、項目４０に記載の仮想画像生成システム。
（項目４２）
前記個別領域の各々は、環状である、項目４０に記載の仮想画像生成システム。
（項目４３）
前記個別領域の各々は、長方形である、項目４０に記載の仮想画像生成システム。
（項目４４）
前記個別領域の各々は、扇形である、項目４０に記載の仮想画像生成システム。
（項目４５）
前記複数の個別領域は、最高分解能の領域を含み、前記制御サブシステムは、前記最高分解能の領域を複数の個別領域を有する視野テンプレートから選択するために構成されている、項目４０に記載の仮想画像生成システム。
（項目４６）
前記視野テンプレート内の複数の個別領域は、互いに重複している、項目４５に記載の仮想画像生成システム。
（項目４７）
前記複数の個別領域は、最高分解能の領域およびより低い分解能の領域を含み、前記制御サブシステムは、前記より低い分解能の領域内で前記表示される画像フレームをぼかすために構成されている、項目４０に記載の仮想画像生成システム。
（項目４８）
前記ディスプレイサブシステムは、前記表示される画像フレームの各々を走査するために構成され、前記より低い分解能の領域内で隣接して表示される画像フレーム内の走査線をディザリングすることによって、前記表示される画像フレームをぼかすために構成されている、項目４７に記載の仮想画像生成システム。
（項目４９）
前記ディスプレイサブシステムは、前記より低い分解能の領域内で前記表示される画像フレームの焦点をぼかすことによって、前記表示される画像フレームをぼかすために構成されている、項目４７に記載の仮想画像生成システム。
（項目５０）
前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きに一致する傾きを有する、項目２７に記載の仮想画像生成システム。
（項目５１）
前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きより大きい傾きを有する、項目２７に記載の仮想画像生成システム。
（項目５２）
前記制御サブシステムは、前記エンドユーザの視野内の眼の焦点を推定し、前記推定される焦点に基づいて、前記表示される画像フレームの各々のための前記非均一分解能分布を生成するために構成されている、項目２７に記載の仮想画像生成システム。
（項目５３）
前記非均一分解能分布の各々は、前記推定される焦点と一致する最高分解能の領域を有する、項目５２に記載の仮想画像生成システム。
（項目５４）
前記エンドユーザの前記推定される焦点は、前記エンドユーザの視野内の焦点範囲を提供する許容誤差を有し、前記最高分解能の領域は、前記焦点範囲と交差する、項目５３に記載の仮想画像生成システム。
（項目５５）
前記エンドユーザの前記焦点を検出するために構成されている１つ以上のセンサをさらに備え、前記制御サブシステムは、前記検出された焦点から前記焦点を推定するために構成されている、項目５２に記載の仮想画像生成システム。
（項目５６）
前記制御サブシステムは、前記エンドユーザの視野内の着目オブジェクトを識別することによって、前記焦点を推定するために構成されている、項目５２に記載の仮想画像生成システム。

Claims (56)

1. 仮想画像生成システムを動作させる方法であって、前記方法は、
   ３次元場面の複数の合成画像フレームをレンダリングすることと、
   前記複数の画像フレームを前記エンドユーザに連続して表示することと
   を含み、
   前記表示される画像フレームの各々は、非均一分解能分布を有する、方法。
2. 前記画像フレームの各々は、前記非均一分解能分布を伴ってレンダリングされる、請求項１に記載の方法。
3. 前記画像フレームの各々は、均一分解能分布を有するようにレンダリングされ、前記それぞれの画像フレームを表示することは、前記非均一分解能分布をすでにレンダリングされた画像フレームの中に組み込むことを含む、請求項１に記載の方法。
4. 前記画像フレームを表示することは、前記画像フレームを走査することを含む、請求項１に記載の方法。
5. 前記画像フレームの各々は、スパイラルパターンで走査される、請求項４に記載の方法。
6. 前記非均一分解能分布は、半径方向に変動する、請求項５に記載の方法。
7. 前記画像フレームの各々は、ラスタパターンで走査される、請求項４に記載の方法。
8. 前記非均一分解能分布は、直線的に変動する、請求項７に記載の方法。
9. 前記表示される画像フレームのうちの少なくとも２つは、異なる非均一分解能分布を有する、請求項１に記載の方法。
10. 前記表示される画像フレームの各々は、異なる分解能を有する複数の個別領域を有する、請求項１に記載の方法。
11. 前記複数の個別領域は、少なくとも３つである、請求項１０に記載の方法。
12. 前記個別領域の各々は、環状である、請求項１１に記載の方法。
13. 前記個別領域の各々は、長方形である、請求項１１に記載の方法。
14. 前記個別領域の各々は、扇形である、請求項１１に記載の方法。
15. 前記複数の個別領域は、最高分解能の領域を含み、前記方法は、前記最高分解能の領域を複数の個別領域を有する視野テンプレートから選択することをさらに含む、請求項１１に記載の方法。
16. 前記視野テンプレート内の複数の個別領域は、互いに重複している、請求項１５に記載の方法。
17. 前記複数の個別領域は、最高分解能の領域およびより低い分解能の領域を含み、前記方法は、前記より低い分解能の領域内で前記表示される画像フレームをぼかすことをさらに含む、請求項１１に記載の方法。
18. 前記表示される画像フレームの各々は、走査され、前記表示される画像フレームをぼかすことは、前記より低い分解能の領域内で隣接して表示される画像フレーム内の走査線をディザリングすることを含む、請求項１７に記載の方法。
19. 前記表示される画像フレームをぼかすことは、前記より低い分解能の領域内で表示される画像フレームの焦点をぼかすことを含む、請求項１７に記載の方法。
20. 前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きに一致する傾きを有する、請求項１に記載の方法。
21. 前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きより大きい傾きを有する、請求項１に記載の方法。
22. 前記エンドユーザの視野内の眼の焦点を推定することと、
    前記推定される焦点に基づいて、前記表示される画像フレームの各々のための前記非均一分解能分布を生成することと
    をさらに含む、請求項１に記載の方法。
23. 前記非均一分解能分布の各々は、前記推定される焦点と一致する最高分解能の領域を有する、請求項２２に記載の方法。
24. 前記エンドユーザの前記推定される焦点は、前記エンドユーザの視野内の焦点範囲を提供する許容誤差を有し、前記最高分解能の領域は、前記焦点範囲と交差する、請求項２３に記載の方法。
25. 前記焦点を推定することは、前記エンドユーザの焦点を検出することを含む、請求項２２に記載の方法。
26. 前記焦点を推定することは、前記エンドユーザの視野内の着目オブジェクトを識別することを含む、請求項２２に記載の方法。
27. エンドユーザによる使用のための仮想画像生成システムであって、前記システムは、
    ３次元場面を記憶しているメモリと、
    前記３次元場面の複数の合成画像フレームをレンダリングするために構成されている制御サブシステムと、
    前記複数の画像フレームを前記エンドユーザに連続して表示するために構成されているディスプレイサブシステムと
    を備え、
    前記表示される画像フレームの各々は、非均一分解能分布を有する、仮想画像生成システム。
28. 前記ディスプレイサブシステムは、前記エンドユーザの眼の正面に位置付けられるために構成されている、請求項２７に記載の仮想画像生成システム。
29. 前記ディスプレイサブシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含み、前記投影サブシステムは、前記画像フレームを前記部分的に透明なディスプレイ表面上に投影するために構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成されている、請求項２７に記載の仮想画像生成システム。
30. 前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイサブシステムを支持している、請求項２７に記載の仮想画像生成システム。
31. 前記制御サブシステムは、グラフィック制御サブシステムユニット（ＧＰＵ）を備えている、請求項２７に記載の仮想画像生成システム。
32. 前記制御サブシステムは、前記画像フレームの各々を前記非均一分解能分布を伴ってレンダリングするために構成されている、請求項２７に記載の仮想画像生成システム。
33. 前記制御サブシステムは、前記画像フレームの各々を均一分解能分布を伴ってレンダリングするために構成され、前記ディスプレイサブシステムは、すでにレンダリングされた画像フレームの中に前記非均一分解能分布を組み込むことによって、前記それぞれの画像フレームを表示するために構成されている、請求項２７に記載の仮想画像生成システム。
34. 前記ディスプレイサブシステムは、前記画像フレームを走査することによって、前記画像フレームを表示するために構成されている、請求項２７に記載の仮想画像生成システム。
35. 前記ディスプレイサブシステムは、スパイラルパターンで前記画像フレームの各々を走査するために構成されている、請求項３４に記載の仮想画像生成システム。
36. 前記非均一分解能分布は、半径方向に変動する、請求項３５に記載の仮想画像生成システム。
37. 前記ディスプレイサブシステムは、ラスタパターンで前記画像フレームを走査するために構成されている、請求項３４に記載の仮想画像生成システム。
38. 前記非均一分解能分布は、直線的に変動する、請求項３７に記載の仮想画像生成システム。
39. 前記表示される画像フレームのうちの少なくとも２つは、異なる非均一分解能分布を有する、請求項２７に記載の仮想画像生成システム。
40. 前記表示される画像フレームの各々は、異なる分解能を有する複数の個別領域を有する、請求項２７に記載の仮想画像生成システム。
41. 前記複数の個別領域は、少なくとも３つである、請求項４０に記載の仮想画像生成システム。
42. 前記個別領域の各々は、環状である、請求項４０に記載の仮想画像生成システム。
43. 前記個別領域の各々は、長方形である、請求項４０に記載の仮想画像生成システム。
44. 前記個別領域の各々は、扇形である、請求項４０に記載の仮想画像生成システム。
45. 前記複数の個別領域は、最高分解能の領域を含み、前記制御サブシステムは、前記最高分解能の領域を複数の個別領域を有する視野テンプレートから選択するために構成されている、請求項４０に記載の仮想画像生成システム。
46. 前記視野テンプレート内の複数の個別領域は、互いに重複している、請求項４５に記載の仮想画像生成システム。
47. 前記複数の個別領域は、最高分解能の領域およびより低い分解能の領域を含み、前記制御サブシステムは、前記より低い分解能の領域内で前記表示される画像フレームをぼかすために構成されている、請求項４０に記載の仮想画像生成システム。
48. 前記ディスプレイサブシステムは、前記表示される画像フレームの各々を走査するために構成され、前記より低い分解能の領域内で隣接して表示される画像フレーム内の走査線をディザリングすることによって、前記表示される画像フレームをぼかすために構成されている、請求項４７に記載の仮想画像生成システム。
49. 前記ディスプレイサブシステムは、前記より低い分解能の領域内で前記表示される画像フレームの焦点をぼかすことによって、前記表示される画像フレームをぼかすために構成されている、請求項４７に記載の仮想画像生成システム。
50. 前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きに一致する傾きを有する、請求項２７に記載の仮想画像生成システム。
51. 前記表示される画像フレームの各々の分解能分布は、前記エンドユーザの眼の視力分布の傾きより大きい傾きを有する、請求項２７に記載の仮想画像生成システム。
52. 前記制御サブシステムは、前記エンドユーザの視野内の眼の焦点を推定し、前記推定される焦点に基づいて、前記表示される画像フレームの各々のための前記非均一分解能分布を生成するために構成されている、請求項２７に記載の仮想画像生成システム。
53. 前記非均一分解能分布の各々は、前記推定される焦点と一致する最高分解能の領域を有する、請求項５２に記載の仮想画像生成システム。
54. 前記エンドユーザの前記推定される焦点は、前記エンドユーザの視野内の焦点範囲を提供する許容誤差を有し、前記最高分解能の領域は、前記焦点範囲と交差する、請求項５３に記載の仮想画像生成システム。
55. 前記エンドユーザの前記焦点を検出するために構成されている１つ以上のセンサをさらに備え、前記制御サブシステムは、前記検出された焦点から前記焦点を推定するために構成されている、請求項５２に記載の仮想画像生成システム。
56. 前記制御サブシステムは、前記エンドユーザの視野内の着目オブジェクトを識別することによって、前記焦点を推定するために構成されている、請求項５２に記載の仮想画像生成システム。