JP2020504319A - 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 - Google Patents

Abstract

拡張現実ディスプレイシステムは、複数の視差的に異なる瞳孔内画像を視認者の眼の中に指向するように構成される。視差的に異なる瞳孔内画像は、仮想オブジェクトの異なる視差ビューを提供し、瞳孔上に異なる角度から衝突する。全体として、画像を形成する光の波面は、連続発散波面に近似し、瞳孔内画像間の視差差量に応じて、ユーザのために選択可能遠近調節キューを提供する。視差差量は、異なる画像のための光を異なる場所から出力する光源を使用して選択され、光出力の場所における空間差は、光が眼まで辿る経路内の差異を提供し、これは、ひいては、異なる視差差量を提供する。有利には、波面発散およびユーザの眼に提供される遠近調節キューは、光出力の場所間の空間分離の量を選択することによって設定され得る、視差差の適切な選択によって変動され得る。

Description

（優先権出願）
本願は、２０１６年１０月２１日に出願された米国仮出願第６２／４１１，４９０号の優先権の利益を主張するものであり、該米国仮出願は、参照により本明細書中に援用される。

（参照による援用）
本願は、以下の特許出願、すなわち米国出願第１４／５５５，５８５号（出願日２０１４年１１月２７日）；米国出願第１４／６９０，４０１号（出願日２０１５年４月１８日）；米国出願第１４／２１２，９６１号（出願日２０１４年３月１４日）；米国出願第１４／３３１，２１８号（出願日２０１４年７月１４日）；米国出願第１５／０７２，２９０号（出願日２０１６年３月１６日）；および米国仮出願第６２／１５６，８０９号（出願日）２０１５年５月４日） の各々の全体を参照により援用するものである。

本開示は、拡張現実および仮想現実結像および可視化システムを含む、光学デバイスに関する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「ＭＲ」シナリオは、一種のＡＲシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオでは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、ＡＲ画像コンテンツを含んでもよい。

図１を参照すると、拡張現実場面１０が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム３０を特徴とする、実世界公園状設定２０が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚するが、これらの要素５０、４０は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＡＲ技術の生産は、困難である。

本明細書に開示されるシステムおよび方法は、ＡＲまたはＶＲ技術に関連する種々の課題に対処する。

いくつかの実施形態では、頭部搭載型ディスプレイシステムが、提供される。ディスプレイシステムは、視認者上に搭載するように構成される、フレームと、光源と、光源からの光を変調するように構成される、空間光変調器と、フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学とを備える。ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される。

いくつかの他の実施形態では、画像コンテンツを表示するための方法が、提供される。本方法は、空間光変調器を提供するステップと、光を空間光変調器に複数の異なる光出力場所から出力するように構成される、光源を提供するステップと、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するステップとを含む。瞳孔内画像はそれぞれ、光源からの光を空間光変調器に出力するステップであって、光は、光源の１つ以上の関連付けられた光出力場所から出力される、ステップと、空間光変調器を用いて、光を変調し、１つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成するステップと、変調された光を眼に伝搬させるステップとによって形成される。瞳孔内画像毎の１つ以上の関連付けられた光出力場所は、瞳孔内画像のその他のための１つ以上の関連付けられた光出力場所と明確に異なる。

さらに他の実施形態では、ディスプレイシステムが、提供される。ディスプレイシステムは、複数の空間的に明確に異なる光出力場所を備える、光源と、光源からの光を変調するように構成される、空間光変調器と、フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学とを備える。ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される。

いくつかの他の実施形態では、画像コンテンツを表示するための方法が、提供される。本方法は、光源と、空間光変調器とを備える、頭部搭載型ディスプレイを提供するステップを含む。本方法はさらに、フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットをディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するステップを含む。

加えて、本開示に説明される主題の種々の革新的側面は、以下の実施形態において実装されてもよい。
１．画像コンテンツを表示するための方法であって、
空間光変調器を提供するステップと、
光を空間光変調器に複数の異なる光出力場所から出力するように構成される、光源を提供するステップと、
仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するステップであって、瞳孔内画像はそれぞれ、
光源からの光を空間光変調器に出力するステップであって、光は、光源の１つ以上の関連付けられた光出力場所から出力される、ステップと、
空間光変調器を用いて、光を変調し、１つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成するステップと、
変調された光を眼に伝搬させるステップと、
によって形成され、瞳孔内画像の各々に対する１つ以上の関連付けられた光出力場所は、瞳孔内画像のその他のための１つ以上の関連付けられた光出力場所と明確に異なる、ステップと、
を含む、方法。
２．１つ以上の関連付けられた発光領域をアクティブ化するステップは、深度平面に基づいて、１つ以上の関連付けられた発光領域を選択するステップを含み、瞳孔内画像のための発光領域間の物理的分離は、深度平面から視認者までの距離の減少に伴って増加する、実施形態１に記載の方法。
３．視差的に異なる画像のそれぞれを形成する光線は、コリメートされ、深度平面は、光学無限遠未満にある、実施形態１−２のいずれかに記載の方法。
４．視差的に異なる瞳孔内画像のセットを投入するステップは、視認者のフリッカ融合閾値を下回る時間フレーム内で行われる、実施形態１−３のいずれかに記載の方法。
５．フリッカ融合閾値は、１秒の１／６０である、実施形態４に記載の方法。
６．眼の視線を追跡するように構成される、眼追跡センサをさらに備え、仮想オブジェクトを表示するステップは、
眼追跡センサを使用して、眼の視線を決定するステップと、
眼の決定された視線に基づいて、瞳孔内画像のためのコンテンツを選択するステップと、
を含む、実施形態１−５のいずれかに記載の方法。
７．空間光変調器からの変調された光を眼に指向するように構成される、投影光学をさらに備える、実施形態１−６のいずれかに記載の方法。
８．瞳孔内画像のための１つ以上の関連付けられた発光領域は、部分的に重複する、実施形態１−７のいずれかに記載の方法。
９．眼の中への瞳孔内画像のうちの少なくとも１つの投入の間、１つ以上の関連付けられた発光領域の位置を変化させるステップをさらに含む、実施形態１−８のいずれかに記載の方法。
１０．実施形態１−９のいずれかに記載の方法を実施するように構成される、ディスプレイシステム。
１１．画像コンテンツを表示するための方法であって、
光源と、
空間光変調器と、
を備える、頭部搭載型ディスプレイを提供するステップと、
フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットをディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するステップと、
を含む、方法。
１２．視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像の個々のものを視認者の眼の中に時間的に連続して投入するステップを含む、実施形態１１に記載の方法。
１３．視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像の複数のものを同時に投入するステップを含む、実施形態１１に記載の方法。
１４．視差的に異なる瞳孔内画像のセットを投入するステップは、複数の瞳孔内画像を一度に時間的に連続して投入するステップを含む、実施形態１３に記載の方法。
１５．瞳孔内画像を形成する光ビームは、コリメートされる、実施形態１１−１４のいずれかに記載の方法。
１６．瞳孔内画像を形成する光ビームは、発散波面を有する、実施形態１１−１４のいずれかに記載の方法。
１７．光源は、複数の選択的にアクティブ化される発光領域を備え、視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像毎に異なる発光領域をアクティブ化するステップを含む、実施形態１１−１６のいずれかに記載の方法。
１８．光源は、複数の明確に異なる光出力場所からの光を出力するように構成され、眼の中への瞳孔内画像のうちの少なくとも１つの投入の間、光出力場所をジッタさせるステップをさらに含む、実施形態１１−１７のいずれかに記載の方法。
１９．実施形態１１−１８のいずれかに記載の方法を実施するように構成される、ディスプレイシステム。
２０．頭部搭載型ディスプレイシステムであって、
視認者上に搭載するように構成される、フレームと、
光源と、
光源からの光を変調するように構成される、空間光変調器と、
フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学と、
を備え、ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
２１．ディスプレイシステムは、個々の瞳孔内画像の表示を時間的に多重化するように構成される、実施形態２０に記載のディスプレイシステム。
２２．ディスプレイシステムは、瞳孔内画像の表示を空間的に多重化するように構成される、実施形態２０−２１のいずれかに記載のディスプレイシステム。
２３．ディスプレイシステムは、複数の空間的に多重化された瞳孔内画像の表示を時間的に多重化するように構成される、実施形態２０−２２のいずれかに記載のディスプレイシステム。
２４．投影光学は、内部結合光学要素と、外部結合光学要素とを備える、導波管を備える、実施形態２０−２３のいずれかに記載のディスプレイシステム。
２５．投影光学は、複数の導波管を備え、各導波管は、複数の導波管の他の導波管と異なる原色の光を出力するように構成される、実施形態２４に記載のディスプレイシステム。
２６．光源は、複数の選択的にアクティブ化される発光領域を備える、実施形態２０−２５のいずれかに記載のディスプレイシステム。
２７．光源は、発光ダイオードアレイおよび空間光変調器のうちの少なくとも１つを含む、実施形態２６に記載のディスプレイシステム。
２８．発光ダイオードアレイは、有機発光ダイオードアレイまたは無機発光ダイオードアレイを備える、実施形態８に記載のディスプレイシステム。
２９．空間光変調器光源は、液晶アレイまたはデジタル光処理（ＤＬＰ）チップを備える、実施形態２７に記載のディスプレイシステム。
３０．ディスプレイシステムは、眼の中への瞳孔内画像のうちの少なくとも１つの投入の間、アクティブ化される発光領域の位置を変化させるように構成される、実施形態２０−２９のいずれかに記載のディスプレイシステム。
３１．光源は、
光エミッタと、
光を空間光変調器に異なる経路に沿って指向するように構成される、アクチュエータと、
を備える、実施形態２０−２５のいずれかに記載のディスプレイシステム。
３２．アクチュエータは、２軸検流計である、実施形態３１に記載のディスプレイシステム。
３３．光源は、ファイバスキャナである、実施形態３１に記載のディスプレイシステム。
３４．光源からの光を変調するように構成される、空間光変調器は、ＬＣＯＳパネルを備える、実施形態２０−３３のいずれかに記載のディスプレイシステム。
３５．眼の視線を追跡するように構成される、眼追跡センサをさらに備え、ディスプレイシステムは、
眼追跡センサを使用して、眼の視線を決定し、
眼の決定された視線に基づいて、瞳孔内画像のためのコンテンツを選択する、
ように構成される、実施形態２０−３４のいずれかに記載のディスプレイシステム。
３６．ディスプレイシステムは、光源の光出力場所と空間光変調器によって提供される画像コンテンツを同期させるように構成される、実施形態２０−３５のいずれかに記載のディスプレイシステム。
３７．光学機構を空間光変調器と投影光学との間にさらに備え、光学機構は、空間光変調器の異なる場所からの光を投影光学に異なる角度で指向するように構成される、実施形態２０−３６のいずれかに記載のディスプレイシステム。
３８．光学機構は、プリズムまたはレンズ構造のうちの１つ以上のものを備える、実施形態３７に記載のディスプレイシステム。
３９．レンズ構造は、レンズレットアレイである、実施形態３８に記載のディスプレイシステム。
４０．ディスプレイシステムであって、
複数の空間的に明確に異なる光出力場所を備える、光源と、
光源からの光を変調するように構成される、空間光変調器と、
フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学と、
を備え、ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
４１．異なる瞳孔内画像のための光源の異なる光出力場所からの光を出力するように構成される、実施形態４０に記載のディスプレイシステム。
４２．視認者の眼からの深度平面の距離に基づいて、光出力場所間の側方分離を変動させるように構成される、実施形態４１に記載のディスプレイシステム。
４３．視認者の眼からの深度平面の距離の増加に伴って、光出力場所間の側方分離を増加させるように構成される、実施形態４１−４２のいずれかに記載のディスプレイシステム。
４４．ディスプレイシステムは、眼の中への瞳孔内画像のうちの少なくとも１つの投入の間、光出力場所を変化させるように構成される、実施形態４１−４２のいずれかに記載のディスプレイシステム。

図１は、ＡＲデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。

図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。

図４Ａ−４Ｃは、曲率と焦点距離との間の関係を図示する。

図５は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

図６Ａは、連続入射波面に対する眼の遠近調節前および遠近調節後状態を図示する。

図６Ｂは、連続入射波面の区分近似に対する眼の遠近調節前および遠近調節後状態を図示する。

図７Ａは、投影システムによって提供される有限焦点距離仮想画像から発出する発散波面に対して遠近調節する眼を図示する。

図７Ｂは、無限遠合焦仮想画像によって形成される波面セグメントを利用して図７Ａの発散波面の近似を形成するためのシステムを図示する。

図８は、図７Ｂの発散波面近似を形成する視差ビューの実施例を図示する。

図９は、図７Ｂの発散波面近似を形成するための投影システムを備える、ディスプレイシステムの実施例を図示する。

図１０は、発光領域のためのサイズ、形状、および分布の実施例を図示する。

図１１Ａは、図７Ｂの発散波面近似を形成するための投影システムの別の実施例を図示する。

図１１Ｂは、図１１Ａの投影システムによって提供される深度平面の範囲の実施例を図示する。

図１２は、投影システムのための光源構成の実施例を図示する。

図１３Ａは、仮想オブジェクトを光学無限遠未満のデフォルト深度平面上に設置するための投影システムの実施例を図示する。

図１３Ｂは、図１３Ａの投影システムによって提供される深度平面の範囲の実施例を図示する。

図１４は、瞳孔内画像の空間的に多重化された表示のために構成される投影システムの実施例を図示する。

図１５は、瞳孔内画像の空間的および時間的に多重化された表示のために構成される投影システムの実施例を図示する。

図１６は、画像コンテンツをユーザの世界のビュー上に重畳するための瞳中継コンバイナ接眼レンズを備える、投影システムの実施例を図示する。

図１７は、眼追跡システムと、瞳エクスパンダを伴うコンバイナ接眼レンズとを備える、ディスプレイシステムの実施例を図示する。

図１８は、眼追跡システムと、非無限遠深度平面を生産するように構成される瞳エクスパンダを伴う瞳中継コンバイナ接眼レンズとを備える、ディスプレイシステムの実施例を図示する。

図１９は、光の伝搬を異なる光出力場所に指向するためのミラーを備える、光源を図示する。

図２０は、ファイバスキャナを備える、光源を図示する。

図２１は、異なる原色に対応する異なる波長の光を出力するためのスタックされた導波管アセンブリを備える、接眼レンズの実施例を図示する。

図２２は、ウェアラブルディスプレイシステムの実施例を図示する。

ヒト視覚系は、画像の若干異なる提示を視認者の左および右眼のそれぞれに提供することによって、ディスプレイによって提示される画像を「３−次元」であるように知覚させられ得る。各眼に提示される画像に応じて、視認者は、画像内の「仮想」オブジェクトを視認者から選択された距離（例えば、ある「深度平面」）にあるように知覚する。しかしながら、単に、画像の異なる提示を左および右眼に提供することは、視認者に不快感を生じさせ得る。本明細書でさらに議論されるように、視認快適性は、視認者が仮想オブジェクトが設置されたその深度平面における実オブジェクトを視認する場合に生じるであろう遠近調節と同様に、眼に画像に対して遠近調節させることによって、増加され得る。

所与の深度平面上の仮想オブジェクトのための適切な遠近調節は、その深度平面上の実オブジェクトから生じる光の波面発散に合致する波面発散を有する光を用いて、画像を眼に提示することによって、誘発され得る。いくつかのディスプレイシステムは、明確に異なる屈折力を有する明確に異なる構造を使用して、適切な波面発散を提供する。例えば、１つの構造は、（仮想オブジェクトを１つの深度平面上に設置するための）具体的量の波面発散を提供してもよく、別の構造は、（仮想オブジェクトを異なる深度平面上に設置するための）異なる量の波面発散を提供してもよい。したがって、物理的構造とこれらのディスプレイシステム内の深度平面との間には、１対１の対応が存在し得る。深度平面毎に別個の構造の必要性に起因して、そのようなディスプレイシステムは、嵩張りおよび／または重くなり得、これは、ポータブル頭部搭載型ディスプレイ等のいくつかの用途にとって望ましくあり得ない。加えて、そのようなディスプレイシステムは、利用され得る異なる屈折力の構造の数に関する実践的限界に起因して、それらが眼から誘発し得る、異なる遠近調節応答の数が限定され得る。

連続波面、例えば、連続発散波面は、眼の中に指向される視差的に異なる瞳孔内画像を投入することによって、近似され得ることが見出されている。いくつかの実施形態では、ディスプレイシステムは、ディスプレイ内の光学構造と遠近調節応答との間の１対１の対応を要求せずに、ある範囲の遠近調節応答を提供し得る。例えば、同一光学投影システムが、視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、所望の深度平面に対応する選択された量の知覚される波面発散を伴う光を出力するために利用されてもよい。これらの画像は、各画像が所与の深度平面上の同一仮想オブジェクトまたは場面の異なる視差ビューであると見なされ得るため、「視差的に異なる」瞳孔内画像と称され得る。これらは、視差差（ｐａｒａｌｌａｘ ｄｉｓｐａｒｉｔｙ）を保有する画像のセットが、片眼、例えば、視認者の右眼の瞳孔の中に投影されるため、「瞳孔内」画像である。ある程度の重複が、生じ得るが、これらの画像を形成する光ビームは、重複を伴わない少なくともいくつかのエリアを有し、瞳孔上に若干異なる角度から衝突するであろう。いくつかの実施形態では、視認者の他方の眼、例えば、左眼は、その独自の視差的に異なる瞳孔内画像のセットを提供されてもよい。各眼の中に投影された視差的に異なる瞳孔内画像のセットは、若干異なり得る、例えば、画像は、各眼によって提供される若干異なる視点に起因して、同一場面の若干異なるビューを示し得る。

あるビューの眼の瞳孔の中に投影された瞳孔内画像のそれぞれを形成する光の波面は、全体として、連続発散波面に近似し得る。本近似された波面の知覚される発散の量は、瞳孔内画像を形成する光の波面が及ぶ角度範囲を変動させる、瞳孔内画像間の視差差量を変動させることによって、変動され得る。好ましくは、本角度範囲は、近似されている連続波面が及ぶ角度範囲を模倣する。いくつかの実施形態では、瞳孔内画像を形成する光の波面は、コリメートまたは準コリメートされる。

いくつかの実施形態では、ディスプレイシステムは、複数の明確に異なる光出力場所からの光を出力するように構成される、光源を利用する。例えば、光源は、複数の選択的にアクティブ化される発光領域を備えてもよく、各領域は、離散光出力場所である。瞳孔内画像間の視差差量は、画像毎の光出力場所を変化させることによって、変動され得る。所与の光出力場所からの光は、ディスプレイシステムを通して眼に１つの経路に沿って伝搬し得、光源上の異なる光出力場所からの光は、ディスプレイシステムを通して眼に異なる経路に沿って伝搬し得ることを理解されたい。その結果、光出力場所の空間差は、光が眼まで辿る経路の差異に変換され得る。異なる経路は、異なる視差差量に対応し得る。有利には、いくつかの実施形態では、視差差量は、光源の光出力場所間の空間変位または分離の量を選択することによって、選択されてもよい。

いくつかの実施形態では、上記に述べられたように、光源は、複数の選択的にアクティブ化される発光領域を備えてもよく、それぞれ、明確に異なる光出力場所に対応する。発光領域は、平面上に配置され、２Ｄ光エミッタアレイを形成してもよい。いくつかの他の実施形態では、光源は、Ｆ−シータ（Ｆ−θまたはＦ−ｔａｎθ）レンズ等の線形転送レンズと、共通または共有光エミッタと、光エミッタによって放出される光を異なる経路に沿ってＦ−シータレンズを通して指向するためのアクチュエータとを備えてもよい。光は、異なる場所における光源から、出射光を像面上に合焦させる、Ｆ−シータレンズを通して出射する。Ｆ−シータレンズから異なる場所に出射する光はまた、像面上の異なる場所に配置され、像面は、仮想２Ｄ光エミッタアレイを提供すると見なされ得る。その結果、光エミッタアレイの個々の領域および線形転送レンズからの光が像面を通して通過する場所は両方とも、本明細書では、光源の光出力場所と称され得る。

いくつかの実施形態では、アクチュエータは、異なる軸上で独立して作動され、光エミッタからの光を所望の伝搬経路に沿って指向させる、複数（例えば、対）のミラーを備える、２軸検流計の一部であってもよい。いくつかの他の実施形態では、光源は、ファイバスキャナを備えてもよく、アクチュエータは、ファイバスキャナのファイバを移動させるように構成される、アクチュエータであってもよい。光源はまた、光源による光の出力とミラーまたはファイバの場所および表示されることになる瞳孔内画像を同期させる、処理モジュールを備える、またはそれと通信してもよい。例えば、ミラーまたはファイバは、既知の経路に沿って移動してもよく、光エミッタは、本明細書でさらに議論されるように、ミラーまたはファイバが特定の瞳孔内画像（およびその画像と関連付けられた視差差）のための所望の光出力場所に対応する位置にあるとき、光を放出するように、処理モジュールによって制御されてもよい。

ディスプレイシステムはまた、光を眼の中に投入するために、空間光変調器を光源と投影光学との間に備えてもよい。空間光変調器は、光源からの光を変調し、その光ストリーム内の画像情報をエンコードし、瞳孔内画像を形成するように構成されてもよい。好ましくは、画像は、同時に、空間光変調器平面の画像を光学無限遠もしくはある他の選定される「ホーム平面」またはその近傍に提供し、また、光源の画像を視認者の瞳孔またはその近傍に提供する、投影光学を通して、眼の中に投入される。したがって、画像コンテンツおよび精密な視差差量の両方が、眼に提供され得る。

いくつかの実施形態では、同一空間光変調器が、光を変調し、眼に提供されることになる種々の瞳孔内画像を形成するために使用されてもよい。いくつかのそのような実施形態では、アクティブ光出力場所（そこから光が所与の時点において能動的に伝搬する、光出力場所）は、空間光変調器による変調と同期されてもよい。例えば、１つの瞳孔内画像に対応する光出力場所のアクティブ化は、空間光変調器内のディスプレイ要素のアクティブ化と同期される、すなわち、それと同時であってもよく、ディスプレイ要素は、特定の発光領域に対応する瞳孔内画像を形成するように構成される。いったん第２の瞳孔内画像に対応する別の光出力場所が、アクティブ化されると、空間光変調器内の適切な、可能性として異なる、ディスプレイ要素が、アクティブ化され、その第２の瞳孔内画像を形成してもよい。付加的瞳孔内画像が、光出力場所のアクティブ化と空間光変調器によって提供される画像コンテンツを同期させることによって形成されてもよい。眼への瞳孔内画像の本時間ベースの順次投入は、時間的多重化または瞳孔内画像の時間的に多重化された表示と称され得る。また、アクティブまたはアクティブ化された光出力場所は、そこから光が光源から瞳孔内画像を形成するために使用される空間光変調器に能動的に伝搬する、場所であることを理解されたい。

いくつかの他の実施形態では、空間多重化が、利用されてもよい。そのような実施形態では、空間光変調器の異なるエリア（例えば、異なるピクセル）は、異なる瞳孔内画像を形成するために専用であってもよい。光学機構が、光が異なる方向に投影光学を通して伝搬するように、空間光変調器と投影光学との間に提供され、異なる領域からの光を指向してもよい。好適な光学機構の実施例は、レンズレットアレイを含む。その結果、異なる瞳孔内画像が、形成され、画像を形成するピクセルの場所によって決定された視差差およびそれらのピクセルからの光の伝搬を指向する光学機構と同時に、眼に提供され得る。いくつかの実施形態では、視差差が空間光変調器と光学機構を併用して設定され得るため、選択的にアクティブ化される発光領域（例えば、点光源）を伴わない光源が、ディスプレイシステムのための光を生成するために利用されてもよい。

いくつかの他の実施形態では、空間および時間的多重化の両方が、利用されてもよい。そのような実施形態では、ディスプレイシステムは、上記の光学機構および空間光変調器の異なるエリア内の異なる瞳孔内画像の形成に加え、選択的にアクティブ化される光出力場所を伴う光源を含んでもよい。視差差は、光出力場所の選択的アクティブ化および光学機構の両方と空間光変調器の異なる場所における異なる瞳孔内画像の同時形成を併用して、提供されてもよい。

時間的多重化を伴う実施形態では、特定の連続波面に近似させるための瞳孔内画像のセットは、好ましくは、非常に急速であって、ヒト視覚系が画像が異なる時間に提供されたことを検出することができないように眼の中に投入される。理論によって限定されるわけではないが、視覚系は、フリッカ融合閾値内に網膜上に形成される画像を同時に存在するように知覚し得る。いくつかの実施形態では、連続波面に近似させることは、瞳孔内画像のセット毎の光のビームを眼の中に連続して投入することを含み得、光のビームの全てを投入するための総持続時間は、フリッカ融合閾値未満であって、これを上回ると、ヒト視覚系は、眼の中に別個に投入されているように画像を知覚するであろう。実施例として、フリッカ融合閾値は、約１秒の１／６０であり得る。画像の各セットは、特定の数の視差ビュー、例えば、２つ以上のビュー、３つ以上のビュー、４つ以上のビュー等から成ってもよく、これらのビューは全て、フリッカ融合閾値内に提供されることを理解されたい。

好ましくは、ディスプレイシステムは、個々の瞳孔内画像を形成する光によって提供される被写界深度が、実質的に無限であって、視覚系が、眼が個々の瞳孔内画像に対して遠近調節不能である、「開ループ」モードで動作する、十分に小射出瞳を有する。いくつかの実施形態では、個々の画像を形成する光ビームは、眼上に入射するとき、約０．５ｍｍ未満の幅または直径を有するエリアを占有する。しかしながら、瞳孔内画像のセットを形成する光ビームは、少なくとも部分的に、重複せず、好ましくは、０．５ｍｍより大きいエリアを画定し、十分な情報を眼の水晶体に提供し、瞳孔内画像を形成する光の波面によって形成される波面近似に基づいて、所望の遠近調節応答を誘発することを理解されたい。

理論によって限定されるわけではないが、光のビームのセットによって画定されたエリアは、それを通して眼が場面を視認する合成開口を模倣すると見なされ得る。瞳孔の正面の十分に小さいピンホールを通して場面を視認することは、ほぼ無限被写界深度を提供することを理解されたい。ピンホールの小開口を前提として、眼の水晶体は、明確に異なる焦点深度を判別するための適正な場面サンプリングを提供されない。ピンホールが拡大するにつれて、付加的情報が、眼の水晶体に提供され、自然光学現象が、限定された焦点深度が知覚されることを可能にする。有利には、光のビームのセットによって画定されたエリアおよび対応する視差的に異なる瞳孔内画像のセットは、無限被写界深度を生産するピンホールより大きくされ得、複数の瞳孔内画像は、上記の拡大されたピンホールによって提供される効果の近似を生産し得る。

本明細書に議論されるように、いくつかの実施形態では、光ビームが瞳孔に向かって伝搬する異なる角度は、光を変調し、画像を形成する、空間光変調器に光を出力する、複数の選択的にアクティブ化される光出力場所を有する光源を使用して、提供されてもよい。光源の異なる光出力場所からの光は、空間光変調器への異なる経路を辿り、これは、ひいては、空間光変調器から投影光学の出力瞳、したがって、視認者の眼への異なる経路を辿るであろうことを理解されたい。その結果、アクティブ光出力場所の側方変位は、空間光変調器から出射し、最終的に、視認者の瞳孔に向かって投影光学を通して伝搬する、光の角度変位に変換される。いくつかの実施形態では、アクティブ化される発光領域間の側方変位の増加は、空間光変調器平面に対して測定されるような角度変位の増加に変換されると理解され得る。いくつかの実施形態では、瞳孔内画像はそれぞれ、光を異なる光出力場所から出力し、それによって、画像のそれぞれを形成する光のビーム間の角度変位を提供することによって形成されてもよい。

いくつかの実施形態では、光源および／または光源の光出力場所は、単一視差画像（瞳孔内画像）ディスプレイエピソード内の位置またはジッタを変化させてもよい。例えば、光源および／または発光領域は、物理的に移動してもよく、および／または異なる光出力場所（例えば、光エミッタのアレイの異なる光エミッタ）は、所望の位置変化を提供しながら、瞳孔内画像を表示するようにアクティブ化されてもよい。変位またはジッタの速度は、空間光変調器上の視差画像の更新レートより高くあり得る。ジッタ変位は、所望の知覚効果に応じて、回旋を含む、任意の方向であってもよい。

いくつかの実施形態では、ディスプレイシステムは、コンバイナ接眼レンズを含んでもよく、これは、仮想画像コンテンツが視認者の世界または周囲環境のビューとともにオーバーレイされることを可能にする。例えば、コンバイナ接眼レンズは、視認者に世界が見えることを可能にする、光学的に透過性の導波管であってもよい。加えて、導波管は、瞳孔内画像を形成する光を受光し、誘導し、最終的に、視認者の眼に出力するために利用されてもよい。導波管は、視認者と世界との間に位置付けられ得るため、導波管によって出力された光は、世界内の深度平面上に設置される仮想画像を形成するように知覚され得る。本質的に、コンバイナ接眼レンズは、視認者が、ディスプレイシステムからの光と世界からの光の組み合わせを受光することを可能にする。

いくつかの実施形態では、ディスプレイシステムはまた、眼追跡システムを含み、視認者の視線方向を検出してもよい。そのような眼追跡システムは、視認者が見ている場所に基づいて、適切なコンテンツが選択されることを可能にする。

有利には、特定の関連付けられた発散を伴う波面を作成する、複数の離散光出力構造からの発散波面を提供するための機構を、恣意的発散量を作成し得る、単一構造に偏移させることによって、システムの物理的サイズおよび複雑性は、低減され得る。すなわち、出力構造のうちのいくつかが、排除され得る。加えて、仮想コンテンツをより多数の深度平面上に設置することも可能性として考えられ得、それらは、各深度平面が所与の波面発散を作成するための専用構造を要求する場合、実践的となるであろう。深度平面の数の本増加は、視認者のためのより現実的かつ快適な視認体験を提供し得る。加えて、いくつかの実施形態では、各空間光変調器ピクセルからの光は、公称上、コリメートされたままであって、それによって、その空間光変調器を有する投影システムとコリメートされたピクセル光を利用するコンバイナ接眼レンズの統合を促進し得る。

ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。

本明細書に議論されるように、「３次元」または「３−Ｄ」としての画像の知覚は、視認者の各眼への画像の若干異なる提示を提供することによって達成され得る。図２は、ユーザに関する３次元画像をシミュレートするための従来のディスプレイシステムを図示する。眼２１０、２２０毎に１つの２つの明確に異なる画像１９０、２００が、ユーザに出力される。画像１９０、２００は、視認者の通視線と平行な光学またはｚ−軸に沿って距離２３０だけ眼２１０、２２０から離間される。画像１９０、２００は、平坦であって、眼２１０、２２０は、単一の遠近調節された状態をとることによって、画像上に合焦し得る。そのような３−Ｄディスプレイシステムは、ヒト視覚系に依拠し、画像１９０、２００を組み合わせ、組み合わせられた画像の深度および／または尺度の知覚を提供する。

しかしながら、ヒト視覚系は、より複雑であって、深度の現実的知覚を提供することは、より困難であることを理解されたい。例えば、従来の「３−Ｄ」ディスプレイシステムの多くの視認者は、そのようなシステムが不快であることを見出す、または深度の感覚を全く知覚しない場合がある。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを「３次元」として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動の移動（例えば、瞳孔が、眼の視線を収束させ、オブジェクトを固視させるための相互に向かって、またはそこから離れるように移動する、眼の回転）は、眼の水晶体および瞳孔の合焦（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、異なる距離における１つのオブジェクトから別のオブジェクトに焦点を変化させることは、「遠近調節−輻輳・開散運動反射」ならびに瞳孔拡張または収縮として知られる関係下、同一距離までの輻輳・開散運動における整合変化を自動的に生じさせるであろう。同様に、輻輳・開散運動における変化は、正常条件下では、水晶体形状および瞳孔サイズの遠近調節における整合変化を誘起するであろう。本明細書に記載されるように、多くの立体視または「３−Ｄ」ディスプレイシステムは、３次元視点がヒト視覚系によって知覚されるように、各眼への若干異なる提示（したがって、若干異なる画像）を使用して、場面を表示する。しかしながら、そのようなシステムは、とりわけ、単に、場面の異なる提示を提供するが、眼が全画像情報を単一の遠近調節された状態において視認すると、「遠近調節−輻輳・開散運動反射」に対抗して機能するため、多くの視認者にとって不快である。遠近調節と輻輳・開散運動との間のより優れた整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し、装着の持続時間の増加に寄与し得る。

図４は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼２１０、２２０からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼２１０、２２０によって遠近調節される。すなわち、眼２１０、２２０は、特定の遠近調節された状態をとり、ｚ−軸に沿って異なる距離においてオブジェクトに合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面のための遠近調節された状態にあるとき合焦するように、関連付けられた焦点距離を有する、深度平面２４０のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼２１０、２２０毎に画像の異なる提示を提供することによってシミュレートされてもよく、画像の提示はまた、異なる深度平面に関して異なる。例証を明確にするために、別個であるように示されるが、眼２１０、２２０の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて重複し得ることを理解されたい。加えて、例証を容易にするために、平坦として示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。

オブジェクトと眼２１０または２２０との間の距離はまた、その眼によって視認されるようなそのオブジェクトからの光の発散の量を変化させ得る。図４Ａ−４Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図４Ａ−４Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成される光場は、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼２１０との間の距離の減少に伴って増加する。その結果、異なる深度平面では、光線の発散度もまた、異なり、発散度は、深度平面と視認者の眼２１０との間の距離の減少に伴って増加する。単眼２１０のみが、例証を明確にするために、図４Ａ−４Ｃおよび本明細書の種々の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得ることを理解されたい。

理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。異なる提示は、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面のための異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または焦点がずれている異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ててもよい。

各深度平面は、関連付けられた波面発散を有するため、特定の深度平面にあるように現れる画像コンテンツを表示するために、いくつかのディスプレイは、その深度平面に対応する発散を伴う光を出力するための屈折力を有する、導波管を利用してもよい。複数の類似するが、異なる屈折力を有する、導波管が、画像コンテンツを複数の深度平面上に表示するために利用されてもよい。例えば、そのようなシステムは、スタック内に形成される複数のそのような導波管を利用してもよい。図５は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム２５０は、画像情報を出力するための複数の導波管２７０、２８０、２９０、３００、３１０を使用して３次元知覚を眼／脳に提供するために利用され得る、導波管のスタック２６０を含む。画像投入デバイス３６０、３７０、３８０、３９０、４００は、画像情報を含有する光を導波管２７０、２８０、２９０、３００、３１０に投入するために利用されてもよい。各導波管２７０、２８０、２９０、３００、３１０は、各導波管が特定の深度平面に対応する事前に設定された量の波面発散を伴う光を出力するような屈折力を提供する、構造（例えば、それぞれ、光学格子および／またはレンズ５７０、５８０、５９０、６００、６１０）を含んでもよい。したがって、各導波管２７０、２８０、２９０、３００、３１０は、画像コンテンツをその導波管によって提供される波面発散の量によって決定された関連付けられた深度平面上に設置する。

しかしながら、導波管と深度平面との間の１対１の対応は、複数の深度平面が所望されるシステム内では、嵩張りかつ重いデバイスにつながり得ることを理解されたい。そのような実施形態では、複数の深度平面は、複数の導波管を要求するであろう。加えて、色画像が所望される場合、各深度平面が、複数の対応する導波管を有し得、原色毎に１つの導波管が、色画像を形成するために要求され得るため、さらにより多数の導波管が、要求され得る。

有利には、種々の実施形態は、オブジェクトまたは場面の異なる視差ビューを提示する瞳孔内画像を形成する、離散光ビームを使用することによって、所望の連続波面に近似させる、より単純なディスプレイシステムを提供し得る。

ここで図６Ａを参照すると、眼２１０の遠近調節前状態と、連続入力波面１０００を受光することに応じた遠近調節後状態とが、図示される。例証ａ）は、視覚系が波面１０００を網膜２１１上に合焦させる前の遠近調節前状態を示す。着目すべきこととして、焦点２１２は網膜２１１上にない。例えば、焦点２１２は、図示されるように、網膜２１１の前方にあり得る。例証ｂ）は、ヒト視覚系が視認者の眼２１０の瞳孔筋肉組織を撓曲させ、波面１０００を網膜２１１上に合焦させた後の遠近調節後状態を示す。図示されるように、焦点２１２は、網膜２１１上にあり得る。

図６Ａの波面１０００等の連続波面は、複数の波面を使用して近似され得ることが見出されている。図６Ｂは、眼２１０の遠近調節前状態と、図６Ａの連続波面１０００の区分近似を受光することに応じた遠近調節後状態とを図示する。図６Ｂの例証ａ）は、眼２１０の遠近調節前状態を示し、例証ｂ）は、遠近調節後状態を示す。近似は、複数の構成波面１０１０ａ、１０１０ｂ、および１０１０ｃを使用して形成されてもよく、それぞれ、別個の光のビームと関連付けられる。本明細書で使用されるように、参照番号１０１０ａ、１０１０ｂ、および１０１０ｃは、光ビームとその光ビームの関連付けられた波面の両方を示し得る。いくつかの実施形態では、構成波面１０１０ａおよび１０１０ｂは、コリメートされた光のビームによって形成されるような平面波面であり得る。例証ｂ）に示されるように、構成波面１０１０ａおよび１０１０ｂによって形成される波面近似１０１０は、眼２１０によって網膜２１１上に合焦され、焦点２１２は、網膜２１１上にある。有利には、遠近調節前および後状態は、図６Ａに示される連続波面１０００によって生じるものに類似する。

連続発散波面は、光学投影システムを使用して形成されてもよいことを理解されたい。図７Ａは、投影システムによって提供される有限焦点距離仮想画像から発出する発散波面に対して遠近調節する眼を図示する。本システムは、空間光変調器１０１８と、焦点距離「Ｆ」および外部停止を伴う投影光学１０２０とを含む。画像は、空間光変調器１０１８によって形成され得、画像情報を含有する空間光変調器１０１８からの光は、投影光学１０２０を通して眼２１０に指向されてもよい。図７Ａに示されるように、空間光変調器１０１８と投影光学１０２０との間の間隔（Ｆ未満）は、発散波面１０００が眼２１０に向かって出力されるように選定されてもよい。図６Ａに関して上記に述べられたように、眼２１０は、次いで、波面１０００を網膜２１１上に合焦させ得る。

図７Ｂは、無限遠合焦仮想画像によって形成される波面セグメントを利用して図７Ａの発散波面の近似を形成するためのシステムを図示する。上記のように、本システムは、空間光変調器１０１８と、投影光学１０２０とを含む。空間光変調器１０１８は、相互に対して偏移される、２つの画像を形成する。空間光変調器１０１８は、Ｆの背面焦点距離を有する、投影光学１０２０の背面焦点面から距離Ｆに設置される。第１の画像に関する画像情報を含有する、光ビーム１０１０ａは、投影光学１０２０を通して眼２１０の中に伝搬する。第２の画像に関する画像情報を含有する、光ビーム１０１０ｂは、投影光学１０２０を通して眼２１０の中への異なる経路を辿る。本明細書に議論されるように、光ビーム１０１０ａおよび１０１０ｂは、光源（図示せず）の異なる領域から放出され、それによって、それらの光ビームに空間光変調器１０１８を異なる角度から照明させ、ひいては、光ビーム１０１０ａおよび１０１０ｂによって形成される画像を相互に対して空間的に偏移させ得る。光ビーム１０１０ａおよび１０１０ｂは、それらの光ビームが、発散波面１０００（図７Ａ）の角度範囲に合致する光ビーム毎の角度範囲を画定するように、空間光変調器から経路に沿って投影光学１０２０を通して眼２１０の中に伝搬する。光ビーム１０１０ａと１０１０ｂとの間の角度分離は、近似される波面発散量の増加に伴って増加することを理解されたい。いくつかの実施形態では、投影光学１０２０および空間光変調器１０１８と投影光学１０２０との間の間隔は、光ビーム１０１０ａおよび１０１０ｂがそれぞれコリメートされるように構成される。

ここで図８を参照すると、図７Ｂの発散波面近似を形成する視差ビューの実施例が、図示される。光ビーム１０１０ａ、１０１０ｂ、および１０１０ｃはそれぞれ、空間内の画像の異なる場所に対応する若干異なる視点からの同一オブジェクトまたは場面の１つのビューの明確に異なる画像を形成することを理解されたい。図示されるように、画像は、異なる時間に連続して眼２１０の中に投入されてもよい。代替として、画像は、光学システムが可能である場合、同時に投入されてもよい、または画像は、本明細書に議論されるように、グループとして投入されることができる。いくつかの実施形態では、画像の全てを形成する光が眼２１０の中に投入される、総持続時間は、視認者のフリッカ融合閾値未満である。例えば、フリッカ融合閾値は、１秒の１／６０であり得、光ビーム１０１０ａ、１０１０ｂ、および１０１０ｃは全て、そのフリッカ融合閾値未満の持続時間にわたって眼２１０の中に投入される。したがって、ヒト視覚系は、これらの画像の全てを統合し、それらは、光ビーム１０１０ａ、１０１０ｂ、および１０１０ｃが、その眼２１０の中に同時に投入されたかのように眼２１０に現れる。光ビーム１０１０ａ、１０１０ｂ、および１０１０ｃは、したがって、波面近似１０１０を形成する。

ここで図９を参照すると、図７Ｂの発散波面近似１０１０を形成するための投影システム１００３を備える、ディスプレイシステム１００１の実施例が、図示される。投影システム１００３は、光を変調し、同一オブジェクトまたは場面の若干異なる視差ビューを示す画像を形成する、空間光変調器１０１８に、光１０１０ａ’および１０１０ｂ’を出力するように構成される、光源１０２６を備える。画像情報を伴う変調された光は、次いで、中継／投影光学１０２０を通して伝搬し、中継／投影光学１０２０によって、光ビーム１０１０ａおよび１０１０ｂとして眼２１０の中に出力される。投影システム１００３はまた、レンズ構造１０１４を含んでもよく、これは、光１０１０ａ’および１０１０ｂ’の放射の空間差を空間光変調器１０１８へのその光の伝搬の角度差に変換するように構成され得る。投影システム１００３はさらに、１）光源１０２６からの光を空間光変調器１０１８に指向し、２）空間光変調器１０１８からの変調された光がビームスプリッタ１０１６を通して中継／投影光学１０２０に後方伝搬することを可能にするように構成される、偏光ビームスプリッタ１０１６を含んでもよい。いくつかの実施形態では、ディスプレイシステム１００１は、眼の視線を監視するように構成される、眼追跡デバイス１０２２、例えば、カメラを含んでもよい。そのような監視は、視認者が見ている方向を決定するために使用されてもよく、これは、その方向に関して適切な画像コンテンツを選択するために使用され得る。好ましくは、眼追跡デバイス１０２２は、視認者の両眼を追跡する、または各眼は、その独自の関連付けられた眼追跡デバイスを含む。その結果、視認者の両眼の輻輳・開散運動が、追跡され得、眼の収束点が、決定され、眼が指向される方向および距離を決定し得る。

光１０１０ａ’および１０１０ｂ’は、本明細書に議論されるように、光源１０２６によって異なる時間に出力され得、空間光変調器１０１８は、光１０１０ａ’および１０１０ｂ’を用いて異なる視差ビューを異なる時間に形成し得、得られた光ビーム１０１０ａおよび１０１０ｂは、眼２１０の中に異なる時間に投入され得ることを理解されたい。

図９を継続して参照すると、光源１０２６は、平面上に実質的に配置される複数の選択的にアクティブ化される光出力場所を有する、２Ｄ光源であってもよい。いくつかの実施形態では、選択的にアクティブ化される光出力場所は、選択的にアクティブ化される発光領域であってもよい。例えば、光源１０２６は、発光ダイオード（ＬＥＤ）アレイ、または光を出力する離散ユニットもしくは光エミッタのアレイを含有する、空間光変調器（例えば、デジタル光処理（ＤＬＰ）デバイス、ＬＣＯＳデバイス等のデジタルマイクロミラーデバイス）であってもよい。ＬＥＤアレイの実施例は、有機発光ダイオード（ＯＬＥＤ）アレイおよび無機発光ダイオード（ＩＬＥＤ）アレイを含む。いくつかの実施形態では、光源１０２６内の個々の発光ダイオードおよび／または光変調器は、発光領域を構成してもよい。いくつかの他の実施形態では、発光ダイオードおよび／または光変調器のグループが、発光領域を形成してもよい。そのような実施形態では、異なる発光領域の発光ダイオードおよび／または光変調器間には、ある程度の重複が存在し得るが、領域は、重複が完全ではないため、明確に異なると見なされ得る。

いくつかの他の実施形態では、光源１０２６は、光を像面上に合焦させ、事実上、仮想２Ｄ光源をその像面上に提供するように構成されてもよい。像面上の異なる場所は、異なる光出力場所であると見なされ得、それらの場所は、作動されるミラーまたはファイバスキャナを使用して、光を像面上のそれらの場所を通して指向し、光エミッタからの光を操向することによって、アクティブ化されてもよい。そのような仮想２Ｄ光源に関するさらなる詳細は、下記の図１９および２０の議論に提供される。

いくつかの実施形態では、空間光変調器１０１８の実施例は、シリコン上液晶（ＬＣＯＳ）パネルを含む。別の実施例として、いくつかの他の実施形態では、空間光変調器１０１８は、ＤＬＰ等の透過液晶パネルまたはＭＥＭＳデバイスを備えてもよい。

図９を継続して参照すると、ディスプレイシステム１００１はまた、ディスプレイシステムによって提供される画像コンテンツのタイミングおよびタイプを決定するための制御システム１０２４を含んでもよい。いくつかの実施形態では、制御システム１０２４は、ディスプレイシステム１００１を制御するためのプログラムを記憶するメモリを伴う、１つ以上のハードウェアプロセッサを備える。例えば、システム１０２４は、光源１０２６の発光領域のアクティブ化、空間光変調器１０１８の個々のピクセル要素の作動、および／または眼追跡デバイス１０２２から受信されたデータに対するディスプレイシステム１００１の解釈ならびに反応を制御するように構成されてもよい。好ましくは、システム１０２４は、所望の深度平面または波面発散のための適切な差量を伴う視差ビューを形成するために、所望の深度平面または波面発散に関する入力を受信し、アクティブ化するための適切な発光領域を計算するように構成される、算出モジュール１０２４ａを含む。加えて、算出モジュール１０２４ａは、空間光変調器１０１８のピクセルの適切な作動を決定し、所望の視差ビューの画像を形成するように構成されてもよい。システム１０２４はまた、光源１０２６の特定の発光領域のアクティブ化と空間光変調器１０１８による光の変調を同期させ、それらのアクティブ化される発光領域に対応する視差ビューを提供するための画像を形成するように構成される、同期モジュール１０２４ｂを含んでもよい。加えて、システム１０２４は、入力を眼追跡デバイス１０２２から受信する、眼追跡モジュール１０２４ｃを含んでもよい。例えば、眼追跡デバイス１０２２は、眼２１０を結像するように構成される、カメラであってもよい。眼追跡デバイス１０２２によって捕捉された画像に基づいて、眼追跡モジュール１０２４ｃは、瞳孔の配向を決定し、眼２１０の通視線を外挿するように構成されてもよい。本情報は、算出モジュール１０２４ａに電子的に伝達されてもよい。算出モジュール１０２４ａは、眼２１０の通視線または視線に基づいて（好ましくは、また、視認者の他方の眼の通視線または視線に基づいて）、画像コンテンツを選択するように構成されてもよい。

光源１０２６は、離散光エミッタのアレイを含み得るため、光エミッタによって形成される発光領域のサイズおよび形状は、光エミッタの選択されたものをアクティブ化することによって、所望に応じて変動され得る。図１０は、発光領域のためのサイズ、形状、および分布の実施例を図示する。図中の明色および暗色エリアは、異なる視差ビューのためにアクティブ化される、異なる放出領域を示すことを理解されたい。実施例ａ）は、水平に離間される、伸長発光領域を示し、これは、水平視差専用駆動遠近調節のために望ましくあり得る。実施例ｂ）は、水平および垂直変位の両方を伴う、円形発光領域を示す。実施例ｃ）は、輝度減少を有する、発光領域を示す。実施例ｄ）は、重複する、発光領域を示す。実施例ｅ）は、アレイを形成する、発光領域を示す。図示される実施例によって示されるように、光源１０２６（図９）は、バイナリ式（単に、オンおよびオフになる）光エミッタおよび／またはグレースケール（選択的に可変強度の光を放出する）を組み込む光エミッタを含んでもよい。いくつかの実施形態では、光源１０２６は、システム１００１のための視差切替レートを超えるレートを含む、超高レートで切り替わる、要素を含んでもよい。例えば、光源１０２６は、異なる瞳孔内画像が異なる時間に表示される実施形態では、視差（瞳孔内）画像が切り替えられるレートより高いレートで光出力をオンおよびオフに切り替える、光出力要素を有してもよい。

再び図９を参照すると、いくつかの実施形態では、制御システム１０２４は、２つの部分、すなわち、１）明視野生成と、２）分解明視野最適化とを含んでもよい。本明細書に議論されるように、波面に近似させるために、適切な画像が、光源１０２６のアクティブ化される発光領域毎に、空間光変調器１０１８上に表示される。これらの画像は、３Ｄ場面がアクティブ化される発光領域内の若干の偏移に対応する複数の若干オフセットされた視点からレンダリングされる、明視野生成ステップの間に作成されることを理解されたい。例えば、５×５明視野を表示するために、３Ｄ場面は、グリッドパターンに配列される、２５の異なる視点から２５回レンダリングされるであろう。グリッドパターン内の視点の場所は、アクティブ化される光源領域の場所に対応し、レンダリングされた画像は、空間光変調器によって形成される画像に対応するであろう。

空間光変調器１０１８によって形成される画像の明度を増加させることが望ましくあり得る。有利には、光エミッタのアレイを備える光源１０２６を利用することは、種々の形状およびサイズを有する発光領域の形成を可能にし、これは、明度を増加させるために利用されてもよい。いくつかの実施形態では、明度は、空間光変調器１０１８によって形成される画像を有意に変化させずに、アクティブ化される発光領域のサイズを増加させることによって、増加され得る。算出モジュール１０２４ａは、分解明視野最適化を使用して、アクティブ化される発光領域のサイズおよび形状を決定するように構成されてもよい。モジュール１０２４ａは、入力焦点スタックをとり、空間光変調器１０１８上ならびに光源１０２６上に表示されることになる一連のパターンを作成するように構成されてもよく、パターンは、最小２乗の意味において焦点スタックに対する所望の近似を作成するように構成される。最適化は、視点のわずかな偏移が知覚された画像を有意に変化させないという事実を利用し、光源１０２６上のより大きいエリアからの照明を利用して発光領域パターンを生成しながら、同一画像を空間光変調器１０１８上に表示することが可能である。

最適化問題は、下記に与えられる、非凸最適化問題として公式化され得る。
式中、射影演算子ρは、４Ｄ明視野から３Ｄ焦点スタックへの線形変換を実施する（偏移および加算アルゴリズムを使用して）。本問題は、逆畳み込み問題に内蔵される非負行列分解である。本問題を解法するアルゴリズムは、交互方向乗数法（ＡＤＭＭ）を使用する。本問題を解法する例示的方法に関する付加的詳細は、付録Ｉに議論される。モジュール１０２４ａは、空間光変調器１０１８によって形成されることになる視差ビューに基づいて、発光領域の適切なサイズおよび形状をリアルタイムで能動的に計算するように構成されることを理解されたい。

いくつかの他の実施形態では、最適化問題は、下記に与えられるように、若干異なる非凸面最適化問題として公式化され得る。
式中、ＡおよびＢは、空間光変調器（例えば、画像を形成するための光源１０２６および空間光変調器１０１８）上に表示されるパターンを表し、ｙは、アルゴリズムの所望の出力である、標的４Ｄ明視野であって、ＡＢ’は、ＡおよびＢが変調器上に示されるときの、空間光変調器パターンを組み合わせ、物理的ディスプレイによって放出される４Ｄ明視野をシミュレートするための演算子である。本問題は、非負行列分解である。本問題を解法するアルゴリズムは、反復最適化技法を使用して、無作為初期推測からのＡおよびＢを精緻化する。

図９を継続して参照すると、ヒト視覚系のフリッカ融合閾値は、依然として同時に投入されているように知覚されながら眼２１０の中に投入され得る、画像の数に時間制約を課すことを理解されたい。例えば、制御システム１０２４の処理帯域幅および光源１０２６の発光領域と空間光変調器１０１８の光変調器を切り替えるための能力は、フリッカ融合閾値によって可能にされる持続時間内に眼２１０の中に投入され得る画像の数を限定し得る。本有限数の画像を前提として、制御システム１０２４は、表示される画像に関する選択を行うように構成されてもよい。例えば、フリッカ融合閾値内において、ディスプレイシステムは、視差的に異なる瞳孔内画像のセットを眼の中に投入することが要求され得、ひいては、各視差ビューは、フルカラー画像を形成するために、種々の原色の画像を要求し得る。いくつかの実施形態では、原色画像を使用するフルカラー画像の形成は、所望の遠近調節応答の解明から分岐される。例えば、理論によって限定されるわけではないが、単色の光を伴う所望の遠近調節応答を誘発することが可能性として考えられ得る。そのような場合では、遠近調節応答を誘発するために使用される視差的に異なる瞳孔内画像は、単色のみにおけるであろう。その結果、他の色の光を使用して視差的に異なる瞳孔内画像を形成することは要求されず、それによって、他のタイプの画像が表示されるためのフリッカ融合閾値内の時間を解放するであろう。例えば、波面により良好に近似させるために、より大きい視差的に異なる瞳孔内画像のセットが、生成されてもよい。

いくつかの他の実施形態では、制御システム１０２４は、ヒト視覚系があまり敏感ではない光の色の画像を表示するために、フリッカ融合閾値内で殆ど時間を費やさないように構成されてもよい。例えば、ヒト視覚系は、緑色光ほど青色光に対して敏感ではない。その結果、ディスプレイシステムは、青色光を用いて形成される画像より多数の緑色光を用いて形成される画像を生成するように構成されてもよい。

ここで図１１Ａを参照すると、図７Ｂの発散波面近似を形成するための投影システム１００３の別の実施例が、図示される。好ましくは、投影システムは、比較的に長い被写界深度を生産し、これは、システム内の限定開口によって制御されてもよい。理論によって限定されるわけではないが、投影システムは、有効瞳直径約０．５ｍｍを伴う画像を眼に提供することは、眼がそのような画像に対して遠近調節不能であるため、ヒト視覚系を「開ループ」モードで動作させるように強制すると考えられる。そのような有効瞳直径を伴う画像を提供することによって、ディスプレイシステムは、無限遠合焦画像のための網膜上のスポットサイズを低減させる。

図１１Ａを継続して参照すると、投影システム１００３は、本明細書に議論されるように、視差差を伴う画像を形成する。画像は、ヒト視覚系の知覚存続より高いレート（例えば、＞６０Ｈｚ）で視認者の眼に急速に交互に提供され得る。本明細書に議論されるように、図示される投影システム１００３は、有限共役面における照明源の画像と無限遠におけるピクセル（画像）源の画像を同時に生産する。加えて、選択的にアクティブ化される発光領域１０２６ａおよび１０２６ｂは、離間され、光学システム瞳の変位を生産し、視認者の瞳孔内で相互に対して視差画像を整合させる。

ここで図１１Ｂを参照すると、図１１Ａの投影システムによって提供される深度平面の範囲の実施例が、図示される。範囲は、光学無限遠における遠方平面から眼２１０により近い近接平面まで及ぶ。光学無限遠における遠方平面は、コリメートされた光ビーム１０１０ａおよび１０１０ｂによって提供されてもよい。近接平面は、本明細書に開示されるように、空間的に変位されたアクティブ化される発光領域を使用して提供されてもよく、ディスプレイシステムによって提供される最近傍深度平面であると理解され得る。いくつかの実施形態では、近接平面と眼２１０の知覚される近接度は、ディスプレイシステムが選択的にアクティブ化される発光領域１０２６ａおよび１０２６ｂが分離されることを可能にしながら、依然として、光源１０２６の鮮明な画像を視認者の瞳孔またはその近傍に形成する、最大距離によって決定され得る、光ビーム１０１０ａと１０１０ｂとの間の最大視差差によって決定され得る。

有利には、本明細書に議論されるように、複数の離散した選択的にアクティブ化される光エミッタを備える、光源１０２６の使用は、広範な瞳または知覚される画像形状、輝度プロファイル、および種々の被写界深度効果を達成するためのアレイ（照明源サイズ、形状、および位置の操作を通して）を生産する能力を提供する。光源１０２６はまた、有利には、遠近調節を駆動しながら、高発光効率を提供するために、所望に応じて、瞳の形状を柔軟かつ双方向に変化させ、水平視差のみ、完全視差、または視差の他の組み合わせに遠近調節する能力を提供する。

ここで図１２を参照すると、投影システム１００３のための光源構成の実施例が、図示される。光源１０２６は、単一固定照明器１０２８と、照明器１０２８から画像を形成するための空間光変調器１０１８への光の出力を調整するための空間光変調器１０３２とを含む。光源１０２６はまた、集光器／コリメータレンズを含み、光を照明器１０２８から空間光変調器１０３２に指向してもよい。空間光変調器１０３２は、所望に応じて、光が通過することを可能または遮断する、ピクセルおよび／またはシャッタを含んでもよい。ピクセルおよび／またはシャッタは、光が通過することを可能にするように作動され得、光が通過するエリアは、発光領域（例えば、発光領域１０２６ａおよび１０２６ｂ）であると見なされることを理解されたい。

ここで図１３Ａを参照すると、仮想オブジェクトを光学無限遠未満のデフォルト深度平面上に設置するための投影システム１００３の実施例が、図示される。図示されるように、投影光学１０２０は、焦点距離「Ｆ」を有してもよく、空間光変調器は、Ｆ未満に位置付けられてもよく、これは、光ビーム１０１０ａおよび１０１０ｂを発散させることによって、システム１００３が遠方深度平面を光学無限遠未満に有するようにバイアスする。光ビーム１０１０ａおよび１０１０ｂが発散する量は、投影光学１０２０に対する空間光変調器１０１８の位置によって決定され得、間隔が近いほど、発散量が多くなる。ある量の発散が、間隔に起因して、デフォルトとして予期されるため、いくつかの実施形態では、瞳孔内画像毎の発光領域１０２６ａおよび１０２６ｂのサイズは、スケーリングアップされてもよく（例えば、ＬＥＤの数を増加させる、瞳孔内画像を形成するとき、空間光変調器を照明するためにアクティブ化される光源照明ピクセルの数を増加させる等によって）、各瞳孔内画像と関連付けられた射出瞳は、０．５ｍｍより大きくてもよい。その結果、視覚系は、開ループモードで機能し得ない。いくつかの実施形態では、発光領域１０２６ａおよび１０２６ｂのサイズは、システム１００３のための所望のデフォルト深度平面に基づいて発光領域１０２６ａおよび１０２６ｂのサイズを変動させるようにプログラムされ得る、制御システム１０２４（図９）によって設定されてもよい。加えて、各瞳孔内画像を形成するための光ビームの断面の幅は、好ましくは、投影光学１０２０が所望の発散を提供するように光に作用するために、投影光学１０２０の光学構造に対して十分に大きい。

ここで図１３Ｂを参照すると、図１３Ａの投影システムによって提供される深度平面の範囲の実施例が、図示される。図示される範囲は、光学無限遠未満のＤの距離における遠方平面から眼２１０に対する近接平面まで及ぶ。遠方平面は、投影光学１０２０に対する空間光変調器の位置の適切な選択によって設定されてもよい。近接平面は、図１１Ｂに関して上記に開示されるように、提供されてもよい。

ここで図１４を参照すると、瞳孔内画像の空間的に多重化された表示のために構成される投影システム１００３の実施例が、図示される。所望の視差差を提供するための発光領域間の空間変位に依拠するのではなく、視差差は、空間光変調器１０１８の異なるエリアを利用して、異なる瞳孔内画像を形成することによって提供されてもよい。光学機構１０１９は、光ビーム１０１０ａおよび１０１０ｂを視認者の眼（図示せず）に向かって出力する、投影光学１０２０に向かって、これらの異なるエリアのそれぞれからの光を異なる角度において指向するように構成される。いくつかの実施形態では、異なる瞳孔内画像を形成するための空間光変調器１０１８のエリアは、インターリーブされてもよい。例えば、異なる瞳孔内画像に関する画像情報を提供するピクセルは、相互にインターリーブされてもよい。光学機構１０１９は、光学機構１０１９が光を受光する異なる場所（例えば、異なるピクセル）をピクセルからの光が投影光学１０２０に入射する異なる角度に変換するように構成されてもよい。いくつかの実施形態では、光学機構１０１９は、レンズレットアレイ等のプリズムおよび／またはレンズ構造を含んでもよい。

空間光変調器１０１８の異なる非重複領域は、異なる瞳孔内画像に関する画像情報を提供するために専用であり得ることを理解されたい。これらの領域は、相互に明確に異なるため、いくつかの実施形態では、同時に作動されてもよい。その結果、複数の瞳孔内画像が、眼に同時に提示されてもよい。これは、有利には、空間光変調器１０１８が画像をリフレッシュするために要求される、速度に関する要件を低減させ得る。上記に議論されるように、連続波面に近似させるための瞳孔内画像のセットの全画像が同時に存在するような知覚を提供するために、これらの画像は全て、フリッカ融合閾値内で提示されなければならない。いくつかの実施形態では、瞳孔内画像のセットの全てまたは複数の画像は、これらの同時に提示される画像の高速順次表示がヒト視覚系が同時に存在するように画像を知覚するために要求されないように、空間光変調器の異なる領域内に同時に提示される。

図示されるように、光源１０２８は、光をレンズ構造１０１４を通して提供し、空間光変調器１０１８を照明する。いくつかの実施形態では、光源１０２８は、任意の選択的にアクティブ化される発光領域を伴わない、単一固定照明器であってもよい。

いくつかの他の実施形態では、光源は、選択的にアクティブ化される発光領域を含んでもよく、これは、有利には、視差差の付加的制御を提供し得る。したがって、投影システムは、空間および時間的多重化の両方を利用してもよい。ここで図１５を参照すると、瞳孔内画像の空間および時間的多重化のために構成される投影システム１００３の実施例が、図示される。投影システム１００３は、光源１０２６を含んでもよく、これは、選択的にアクティブ化される発光領域、例えば、領域１０２６ａおよび１０２６ｂを含んでもよい。本明細書に議論されるように、発光領域間の空間変位は、交互に出力される光ビーム１０１０ａ、１０１０ｂ、１０１０ｃ、および１０１０ｄに視差差を提供するために利用されてもよい。加えて、図１４に関して上記に議論されるように、投影システム１０００は、光学機構１０１９を空間光変調器１０１８と投影光学１０２０との間に含んでもよい。空間光変調器１０１８および光学機構１０１９は、協働し、空間多重化を提供し得る。したがって、単一発光領域による空間光変調器１０１８の照明は、複数の瞳孔内画像を生産し得る。例えば、発光領域１０２６ａのアクティブ化は、空間光変調器１０１８を照明し、これは、同時に、２つの瞳孔内画像に関する画像情報を生成し、画像毎の光ビームは、光学機構１０１９によって異なる方向に指向される。光は、投影光学１０２０に入射し、２つの明確に異なる瞳孔内画像を形成するために、光ビーム１０１０ｂおよび１０１０ｄとして出射する。同様に、発光領域１０２６ｂの後続アクティブ化は、２つの他の瞳孔内画像を形成するための光ビーム１０１０ａおよび１０１０ｄをもたらす。

図１４および１５の両方を参照すると、いくつかの実施形態では、図１１Ａ−１１Ｂおよび１３Ａ−１３Ｂに関して上記に議論されるように、投影光学１０２０に対する空間光変調器１０１８および光学機構１０１９の場所は、光学無限遠未満であり得る、所望のデフォルト「ホーム」深度平面を提供するように選択されてもよい。

本明細書の種々の図に示される投影システム１００３は、オブジェクトをデフォルトとして非無限遠深度平面上に設置しながら、視差駆動遠近調節を採用し、仮想オブジェクトを他の深度平面上に設置する、単一有限焦点距離接眼レンズを利用する、ハイブリッドシステムの一部であってもよい。例えば、投影システム１００３は、遠近調節−輻輳・開散運動不整合に関するヒト視覚系の公差内にあるために光学無限遠に十分に近接し得る、０．３ｄｐｔまたは０．５ｄｐｔにデフォルト深度平面を有するように構成されてもよい。例えば、理論によって限定されるわけではないが、ヒト視覚系は、コンテンツを０．３ｄｐｔの深度平面上の光学無限遠から表示することに快適に耐え得ると考えられる。そのようなシステムでは、光のビーム１０１０ａおよび１０１０ｂは、デフォルト深度平面に対応する波面発散量を有するであろう。有利には、そのような構成は、ディスプレイシステム内のプロセッサ（例えば、グラフィック処理ユニット）上の算出負荷を低減させ得、これは、他の利点の中でもとりわけ、電力消費を低下させ、待ち時間を短縮させ、プロセッサオプションを増加させる利点を提供し得る。

ここで図１６を参照すると、画像コンテンツをユーザの世界のビュー上に重畳するための瞳中継コンバイナ接眼レンズ１０３０を備える、投影システム１００３の実施例が、図示される。好ましくは、接眼レンズ１０３０は、光学的に透過性であって、世界からの光が接眼レンズを通して視認者の眼２１０の中に伝搬することを可能にする。いくつかの実施形態では、接眼レンズ１０３０は、内部結合光学要素７７０と、外部結合光学要素８００とを有する、１つ以上の導波管を備える。内部結合光学要素７７０は、投影光学１０２０からの光を受光し、接眼レンズ１０３０を通して、全内部反射によって、外部結合光学要素８００に伝搬するように、その光を再指向する。外部結合光学要素８００は、光を視認者の眼２１０に出力する。有利には、接眼レンズ１０３０は、投影システム１００３によって提供される画像属性の全てを保存し、したがって、視差ビューの急速切替は、接眼レンズ１０３０を通して正確に描写される。

内部結合光学要素７７０および外部結合光学要素８００は、屈折または反射構造であってもよい。好ましくは、内部結合光学要素７７０および外部結合光学要素８００は、回折光学要素である。回折光学要素の実施例は、表面起伏特徴、体積位相特徴、メタ材料、または液晶偏光格子を含む。

外部結合光学要素８００または接眼レンズ１０３０の一部を形成する他の光学要素は、屈折力を有するように構成されてもよいことを理解されたい。いくつかの実施形態では、屈折力は、近視、遠視、老眼、および乱視等の屈折誤差を含む、眼２１０の屈折誤差を補正するように選定されてもよい。

ここで図１７を参照すると、眼追跡システム１０２２と、瞳エクスパンダ１０３４を伴うコンバイナ接眼レンズ１０３０とを備える、投影システム１００３の実施例が、図示される。瞳エクスパンダは、接眼レンズ１０３０を横断して投影システム瞳を複製する。瞳エクスパンダ１０３４は、眼運動を通して視認者の瞳孔によって横断され得る大エリアを横断して投影システム瞳を複製するため、空間光変調器１０１８によって形成される画像および光源１０２６の発光領域の場所は、眼追跡システム１０２２からの入力に基づいて、リアルタイムで更新されることができる。有利には、本構成は、より快適な視認のためのより大きいアイボックスを可能にし、眼とコンバイナの相対的位置付けおよび瞳孔間距離の変動に関する制限を緩和させる。

ここで図１８を参照すると、眼追跡システム１０２２と、非無限遠深度平面を生産するように構成される瞳エクスパンダ１０３５を伴うコンバイナ接眼レンズ１０３０とを備える、投影システム１００３の実施例が、図示される。いくつかの実施形態では、非無限遠深度平面は、３メートルにあってもよく、これは、無限遠まで約２．５メートルの予算内遠近調節をもたらす。例えば、遠近調節−輻輳・開散運動不整合に関するヒト視覚系の公差を前提として、視認者から無限遠まで約２．５メートルの距離における仮想コンテンツは、殆ど不快感を伴わずに、３メートル深度平面上に設置され得る。そのようなシステムでは、視差的に異なる瞳孔内画像は、可能性として、全て固定「デフォルト」焦点面より視認者に近い、より狭範囲の深度平面のための遠近調節を駆動するために使用されてもよい。いくつかの実施形態では、本システムはまた、眼追跡システム１０２２を組み込み、例えば、視認者の両眼の輻輳・開散運動角度に基づいて、視認者の固視の距離を決定してもよい。

いくつかの実施形態では、光源１０２６は、光投影システムの像面上に形成される仮想光源と置換されてもよい。光投影システムは、光のビームを仮想光源に対応する像面上のエリアを横断して走査させることが可能なアクチュエータを含んでもよい。光源１０２６の離散発光エリアをアクティブ化する能力を模倣するために、投影システムによる光の出力は、アクチュエータの移動と同期され、光を像面上の所望の場所に特定の時間に出力させる。好ましくは、アクチュエータが像面を横断して光のビームを走査可能なレートは、像面上の全ての所望の光出力場所が任意の所与の瞳孔内画像が表示される時間フレームの間にアクセスされ得るように十分に高い。例えば、特定の瞳孔内画像が表示される時間量の間、アクチュエータは、少なくとも１回、好ましくは、複数回、仮想２Ｄ光源に対応する像面のエリアを横断して、光のビームを走査可能であることが好ましい。

図１９は、光の伝搬を異なる光出力場所に指向するためのミラーを備える、光源２０２６を図示する。光源２０２６は、光エミッタ２０２８と、それぞれ、アクチュエータ２０３１および２０３３によって移動される、ミラー２０３０および２０３２とを備える。光エミッタ２０２８の実施例は、ＬＥＤおよびレーザを含む。いくつかの実施形態では、光ファイバケーブルは、遠隔に位置する光エミッタからの光を伝送してもよい。図示されるように、光１０１０ａ’、１０１０ｂ’は、光をエミッタ２０２８からミラー２０３２に伝搬し、これは、光をミラー２０３０に反射させ、これは、次いで、光を反射させ、レンズ２０３４を通して伝搬させ、中間像面１０２６’上に合焦させる。ミラー２０３０および２０３２は、２軸検流計の一部であってもよく、アクチュエータ２０３１および２０３３は、異なる軸、例えば、直交軸に沿って、ミラーを回転させ、それによって、光が像面１０２６’の２つの軸に沿って画定されたエリアに指向されることを可能にする。いくつかの実施形態では、アクチュエータ２０３１、２０３３は、モータであってもよい。レンズ２０３４は、Ｆ−シータ（Ｆ−θまたはＦ−ｔａｎθ）レンズ等の線形転送レンズであってもよく、光を平坦像面１０２６’上に合焦させるように構成されてもよい。いくつかの実施形態では、光線１０１０ａ’、１０１０ｂ’は、光が光源１０２６（例えば、図９参照）から伝搬するであろう類似様式において、像面１０２６’から伝搬する。いくつかの実施形態では、光源２０２６はまた、コリメートレンズ２０３６を含み、光がミラー２０３２に到達する前に、光エミッタ２０２８によって放出される光をコリメートしてもよい。

光源２０２６はまた、好ましくは、光エミッタ２０２８からの光の出力を制御し、アクチュエータ２０３１、２０３３の移動および形成されることになる瞳孔内画像と同期させる、処理モジュール２０３８を含む、またはそれと通信する。例えば、処理モジュール２０３８は、ミラー２０３２、２０３０の移動と光エミッタ２０２８からの光の放射を協調させてもよい。いくつかの実施形態では、ミラー２０３２、２０３０は、アクチュエータ２０３１、２０３３によって、ミラーが移動するように設計される軸上で、往復して持続的に回転または旋回される。光エミッタ２０２８による光の放射（例えば、光のパルス）は、光が中間像面１０２６’上の所望の場所に所与の瞬間に指向されるように、本移動とタイミングが図られ、本場所および時間はまた、表示されることになる瞳孔内画像に基づいて決定された（例えば、特定の光出力場所のアクティブ化は、その特定の光出力場所と関連付けられた視差差を有する、瞳孔内画像の表示と時間的に一致する）。いくつかの実施形態では、光エミッタ２０２８からの光の放射は、光エミッタ２０２８をオン状態とオフ状態との間で切り替えることによって制御される（例えば、それぞれ、電力を光エミッタに供給する、または供給しないことによって）。いくつかの他の実施形態では、光エミッタ２０２８からの光の放射は、選択的に、光が像面１０２６’に到達することを可能にする、または到達しないように遮断する、物理的スイッチを使用して、機械的に制御されてもよい。

ここで図２０を参照すると、光源２０２６は、ファイバスキャナ２０２７を含んでもよい。ファイバスキャナ２０２７は、光エミッタ２０２８と、ファイバ２０４２を移動させる、アクチュエータ２０４０とを含んでもよい。光１０１０ａ’、１０１０ｂ’は、ファイバ２０４２の端部からレンズ２０３４を通して伝搬し、像面２０２６’上に合焦する。アクチュエータ２０４０は、ファイバ２０４２を所定の経路（例えば、円形経路）に沿って既知の速度で移動させ得ることを理解されたい。その結果、処理モジュール２０３８は、光が所望の光出力場所におけるファイバ２０４２から伝搬し、ひいては、表示されることになる瞳孔内画像と同期されるように、ファイバ２０４２の端部からの光の伝搬とファイバ２０４２の移動を同期させるように構成されてもよい。

上記に述べられたように、光源２０２６は、議論されるディスプレイシステムのいずれか内の光源１０２６に取って代わってもよい。例えば、光源２０２６は、図９、１１Ａ、１２、１３Ａ、および１５−１８のいずれかの投影システム１００３またはディスプレイシステム１００１内の光源１０２６の代替となり得る。

ここで図２１を参照すると、異なる原色に対応する異なる波長の光を出力するためのスタックされた導波管アセンブリを備える、接眼レンズ６６０（図１４−１６の接眼レンズ１０３０に対応し得る）の実施例が、図示される。いくつかの実施形態では、導波管アセンブリは、導波管６７０、６８０、および６９０を含む。各導波管は、関連付けられた内部結合光学要素（導波管上の光入力面積とも称され得る）を含み、例えば、内部結合光学要素７００は、導波管６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、導波管６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、導波管６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０のうちの１つ以上のものは、個別の導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい（特に、１つ以上の内部結合光学要素は、反射性偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、その個別の導波管６７０、６８０、６９０の上側主要表面（または次の下側導波管の上部）上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、個別の導波管６７０、６８０、６９０の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過しながら、１つ以上の光の波長を選択的に再指向するような波長選択的である。その個別の導波管６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態では、その個別の導波管６７０、６８０、６９０の他の面積内に配置されてもよいことを理解されたい。

図示されるように、内部結合光学要素７００、７１０、７２０は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受信するようにオフセットされてもよい。例えば、各内部結合光学要素７００、７１０、７２０は、図６に示されるように、光を異なる画像投入デバイス３６０、３７０、３８０、３９０、および４００から受信するように構成されてもよく、光を内部結合光学要素７００、７１０、７２０の他のものから実質的に受信しないように、他の内部結合光学要素７００、７１０、７２０から分離されてもよい（例えば、側方に離間される）。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、垂直に整合され、側方にオフセットされない。

各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素７３０は、導波管６７０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７４０は、導波管６８０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７５０は、導波管６９０の主要表面（例えば、上部主要表面）上に配置される。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられた導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられた導波管６７０、６８０、６９０の上部および底部両方の主要表面上に配置されてもよい、または光分散要素７３０、７４０、７５０は、それぞれ、異なる関連付けられた導波管６７０、６８０、６９０内の上部および底部主要表面の異なるもの上に配置されてもよい。

導波管６７０、６８０、６９０は、例えば、材料のガス、液体、および／または固体層によって離間ならびに分離されてもよい。例えば、図示されるように、層７６０ａは、導波管６７０および６８０を分離してもよく、層７６０ｂは、導波管６８０および６９０を分離してもよい。いくつかの実施形態では、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、導波管６７０、６８０、６９０の直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、導波管６７０、６８０、６９０を形成する材料の屈折率を０．０５以上の、または０．１０もしくはそれを下回る。有利には、より低い屈折率層７６０ａ、７６０ｂは、導波管６７０、６８０、６９０を通して光のＴＩＲ（例えば、各導波管の上部および底部主要表面間のＴＩＲ）を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、導波管の図示されるセット６６０の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。

図２１を継続して参照すると、光線７７０、７８０、７９０が、投影システム１００３（図９および１１−１６）によって、導波管６７０、６８０、６９０上に入射し、その中に投入される。

いくつかの実施形態では、光線７７０、７８０、７９０は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素７００、７１０、７２０はそれぞれ、光が、ＴＩＲによって、導波管６７０、６８０、６９０のうちの個別の１つを通して伝搬するように、入射光を偏向させる。

例えば、内部結合光学要素７００は、第１の波長または波長範囲を有する、光線７７０を偏向させるように構成されてもよい。同様に、伝送される光線７８０は、第２の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向される。同様に、光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７２０によって偏向される。

図２１を継続して参照すると、内部結合される光線７７０、７８０、７９０は、それぞれ、内部結合光学要素７００、７１０、７２０によって偏向され、次いで、それぞれ、導波管６７０、６８０、６９０内でＴＩＲによって伝搬する。光線７７０、７８０、７９０は、次いで、それぞれ、光分散要素７３０、７４０、７５０に衝突する。光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０に向かって伝搬するように、光線７７０、７８０、７９０を偏向させる。

いくつかの実施形態では、光分散要素７３０、７４０、７５０は、直交瞳エクスパンダ（ＯＰＥ）である。いくつかの実施形態では、ＯＰＥは、光を外部結合光学要素８００、８１０、８２０に偏向または分散し、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、例えば、ビームサイズが、すでに所望のサイズである場合、光分散要素７３０、７４０、７５０は、省略されてもよく、内部結合光学要素７００、７１０、７２０は、光を直接外部結合光学要素８００、８１０、８２０に偏向させるように構成されてもよい。いくつかの実施形態では、外部結合光学要素８００、８１０、８２０は、光を視認者の眼２１０（図１５−１６）に指向させる、射出瞳（ＥＰ）または射出瞳エクスパンダ（ＥＰＥ）である。ＯＰＥは、少なくとも１つの軸においてアイボックスの寸法を増加させるように構成されてもよく、ＥＰＥは、ＯＰＥの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。

故に、いくつかの実施形態では、接眼レンズ６６０は、原色毎に、導波管６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、光分散要素（例えば、ＯＰＥ）７３０、７４０、７５０と、外部結合光学要素（例えば、ＥＰ）８００、８１０、８２０とを含む。導波管６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされてもよい。内部結合光学要素７００、７１０、７２０は、（異なる波長の光を受信する異なる内部結合光学要素を用いて）入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波６７０、６８０、６９０内にＴＩＲをもたらすであろう角度で伝搬する。示される実施例では、光線７７０（例えば、青色光）は、前述の様式において、第１の内部結合光学要素７００によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素（例えば、ＯＰＥ）７３０、次いで、外部結合光学要素（例えば、ＥＰ）８００と相互作用する。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、導波管６７０を通して通過し、光線７８０は、内部結合光学要素７１０上に入射し、それによって偏向される。光線７８０は、次いで、ＴＩＲを介して、導波管６８０を辿ってバウンスし、その光分散要素（例えば、ＯＰＥ）７４０、次いで、外部結合光学要素（例えば、ＥＰ）８１０に進むであろう。最後に、光線７９０（例えば、赤色光）は、導波管６９０を通して通過し、導波管６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって、光分散要素（例えば、ＯＰＥ）７５０に、次いで、ＴＩＲによって、外部結合光学要素（例えば、ＥＰ）８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を視認者に外部結合し、視認者はまた、他の導波管６７０、６８０からの外部結合した光も受信する。

ここで図２２を参照すると、ウェアラブルディスプレイシステム６０の実施例が、図示される。ディスプレイシステム６０は、視認者またはユーザ９０の眼毎に投影システム１００３を伴う、図９のディスプレイシステム１００１に対応してもよい。

ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールならびにシステムとを含む。ディスプレイ７０は、フレーム８０に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者９０によって装着可能であって、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、アイウェアと見なされ得る。いくつかの実施形態では、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する）。いくつかの実施形態では、ディスプレイシステムはまた、１つ以上のマイクロホン１１０または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンド（例えば、音声メニューコマンドの選択、自然言語質問等）をシステム６０に提供することを可能にするように構成され、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にし得る。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集してもよい。いくつかの実施形態では、ディスプレイシステムはまた、フレーム８０から別個であって、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等の上）に取り付けられ得る、周辺センサ１２０ａを含んでもよい。周辺センサ１２０ａは、いくつかの実施形態では、ユーザ９０の生理学的状態を特性評価するデータを入手するように構成されてもよい。例えば、センサ１２０ａは、電極であってもよい。

図２２を継続して参照すると、ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３０によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ９０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線コネクティビティによって、ローカルプロセッサおよびデータモジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサと、不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリとを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ等のセンサ（例えば、フレーム８０に動作可能に結合される、または別様にユーザ９０に取り付けられ得る）から捕捉され、および／またはｂ）可能性として、処理または読出後、ディスプレイ７０への通過のために、遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して入手および／または処理されたデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が、相互に動作可能に結合され、ローカル処理およびデータモジュール１４０へのリソースとして利用可能であるように、通信リンク１７０、１８０によって、有線または無線通信リンク等を介して、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つ以上のものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つ以上のものは、フレーム８０に取り付けられてもよい、もしくは有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立型構造であってもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、１つ以上のグラフィックプロセッサを含んでもよく、制御システム１０２４（図９）に対応してもよい。

図２２を継続して参照すると、いくつかの実施形態では、遠隔処理モジュール１５０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、１つ以上の遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツを生成するための情報をローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に提供する。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、遠隔モジュールからの完全に自律的使用を可能にする。

明視野および焦点スタック分解
明視野および焦点スタック分解は、光源１０２６、２０２６および空間光変調器１０１８の出力を含む、ディスプレイシステム１００１の光出力を決定するために利用され得る。分解に関する詳細は、下記に議論される。

１．焦点スタック分解
焦点スタックｙは、それぞれ、瞳および像面に位置する、２つの空間光変調器ＡおよびＢ上に表示されることになる一連の時間多重化されたパターンに分解される。いくつかの実施形態では、空間光変調器ＡおよびＢは、それぞれ、光源１０２６、２０２６および空間光変調器１０１８に対応してもよい。全ての量は、ｍピクセルの垂直分解能、ｎピクセルの水平分解能、およびｓ焦点スライスを有する、焦点スタック
が、単一ベクトル
として表されるであろうように、ベクトル化される。太字記号は、下記では、離散ベクトルのために使用される。別様に規定されない限り、異なるカラーチャネルは、無視され、独立すると仮定される。表１は、本明細書で採用されるテンソル表記および演算子の概要を提供する。

像面Ｂにおける空間光変調器もまた、ｍ×ｎピクセルの分解能を有するが、加えて、ｋ個の時間多重化されたパターンが、それらが視認者によって知覚的に平均されるであろうように、間断なく示され得る。これらの時空間パターンは、全ての空間ピクセルが、ベクトル化され、本行列の行インデックスを形成し、ｋ個の時間ステップが、行列の列インデックスであるように、行列
として表される。同様に、瞳面ＳＬＭＡは、行列
として表され、式中、ｏは、瞳面内のアドレス指定可能なＳＬＭピクセルの総数であって、列インデックスは、再び、時間ステップである。

故に、焦点スタックｙを時間多重化されたパターンのセットに分解する目標は、非凸面最適化問題として書かれ得る。
式中、射影演算子
は、４Ｄ明視野から３Ｄ焦点スタックへの線形変換を実施する（偏移＋加算アルゴリズムを使用して）。本問題は、逆畳み込み問題に内蔵される非負行列分解である。交互方向乗数法（ＡＤＭＭ）（Ｂｏｙｄ ｅｔ ａｌ， ２００１， “Ｄｉｓｔｒｉｂｕｔｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｌｅａｒｎｉｎｇ ｖｉａ ｔｈｅ ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ”， Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ３， １， １−１２２によって説明されるように）は、それを解法するために使用されてもよい。

方程式１は、標準的ＡＤＭＭ形式にするために、等価性問題として書き直され得る。
式中、行列
は、演算子
の行列形式であって、演算子
は、単に、行列を単一１Ｄベクトルにベクトル化する（例えば、ＭａｔｈＷｏｒｋｓ（Ｎａｔｉｃｋ， Ｍａｓｓａｃｈｕｓｅｔｔｓ）から利用可能なソフトウェアＭＡＴＬＡＢによって行われるような列主順を使用して）。

次いで、本系の拡張ラグランジュ法は、以下のように公式化される。
スケーリングされた形式では、本拡張ラグランジュ法は、以下のように書かれる。
式中、
である。

ＡＤＭＭアルゴリズムは、次いで、以下のように反復的に実行される、３つの別個の更新（または近接演算子）から成る。
ここでは、演算子
は、ベクトルを行列に形状変換し、演算子
が行列をベクトル化するために行った内容を元に戻す。方程式５−７は、毎回、前のステップからの最新の出力を使用して、反復的に解法され得る。

１．１ 効率的ｚ−更新
方程式５は、以下の単一線形方程式系として書き直され得る、非制約線形問題である。
本系は、大規模であるが、全ての演算が、無行列関数ハンドルとして表され得、したがって、行列は、明示的に形成されない。種々の異なるソルバが、ｚに関する本系を解法するために使用され得る。例えば、ＭＡＴＬＡＢの非常に単純な同時代数的再構成法（ＳＡＲＴ）が、利用されてもよい。

算出効率を増加させるために、ｚ−更新に関する閉形式解を導出することが望ましいであろう。これは、アルゴリズム全体のリアルタイム実装を促進し得る。閉形式解を導出するための１つのアプローチは、方程式８に関する正規方程式から開始する。
これに関する閉形式解を見出すために、
の逆行列が、導出される。Ｐは、明視野を焦点スタックに変換し、フーリエスライス定理は、プライマリドメイン内の再合焦がフーリエドメイン内のスライシングであると規定しているため、周波数ドメイン内の閉形式解が、導出され得る。本洞察を使用して、以下のように書かれ得る。
ここでは、ｓは、焦点スタック内のスライスの数であって、Ｏ_ｉは、４Ｄ周波数ドメイン内の焦点スライス_ｉに関するスライシング演算子を表す対角行列である。Ｆ_４Ｄおよび
は、それぞれ、離散４Ｄフーリエ変換およびその逆数を表す。

逆行列に関する予期される代数式は、以下である。
そのような閉形式解は、反復が要求されないため、反復アルゴリズムより迅速に解を提供し得ることを理解されたい。なお、十分な算出リソースが利用可能である場合、反復アルゴリズムもまた、好適である。

１．２ 効率的Ａ，Ｂ−更新
Ａ，Ｂ−更新（方程式６）は、非負行列分解（ＮＭＦ）問題である。この場合、これは、最も簡単な可能性として考えられるＮＭＦ問題である。本およびより高度なＮＭＦアプローチのための標準解は、下記の第２項に詳述される。

１．３ カラーチャネルの取扱
上記の導出では、グレースケール分解が、仮定された、または各カラーチャネルは、独立して処理されると仮定された。ある場合には、これは、満足の行く近似を提供し得ない。例えば、２つの色のＳＬＭが、色クロストークを導入し得、これは、上記ではモデル化されない。加えて、いくつかの実施形態では、ディスプレイシステムは、像面におけるグレースケールＬＣｏＳと瞳面におけるカラーＬＥＤまたはＯＬＥＤアレイの組み合わせを使用し得る。この場合、全てのカラーチャネルは、リンクされる。

リンクされたカラーチャネルを考慮する際、ｚ−更新またはｕ−更新のいずれも変化しない。すなわち、これらは、ＡＤＭＭ反復毎にカラーチャネルあたりで独立して算出され得る。しかしながら、行列分解ルーチンＡ，Ｂ−更新は、変化する。各カラーチャネルＡ_{Ｒ，Ｇ，Ｂ}／Ｂ_{Ｒ，Ｇ，Ｂ}を独立して分解する代わりに、単一分解が、以下のように、Ａの全てのカラーチャネルに関して同時に実施される（Ｂは、この場合、カラーチャネルを含有しない）。

２ 行列分解変形
非負行列分解は、行列を非負階数１行列の和に分解する１つのアプローチである。分解問題は、非凸であって、したがって、解は、単純ではない。問題および可能性として考えられる解が、ここで議論されるであろう。

本問題は、行列Ｘを階数１行列の和に分解するものとして述べられ得る。
式中、
である。階数１行列の和は、元の行列の階数Ｋ近似をもたらす。

本問題に対する最小２乗誤差解は、以下の目的関数を最適化することによって見出され得る。
式中、行列のフロベニウスノルムは、
として与えられる。

２．１ 交互最小２乗アプローチ
コスト関数
は、非線形かつ非凸の両方であって、ある数の極小値を伴う。ＡまたはＢのいずれかを固定すると、他の行列の解法は、凸となる。非負制約を考慮しなければ、収束することが予期される、交互最小２乗アプローチが、本分解問題を解法するために採用され得る。本目的のために、各分解行列は、交互様式において他方を固定しながら更新される。個々の更新は、勾配降下法を使用して算出される。
式中、
は、個々の分解行列に対するコスト関数の導関数であって、α_Ａ，Ｂは、その個別のステップ長である。以下の項に示されるように、ステップ長を選定するための１つのアプローチは、更新ルールが乗法になるようなものを選ぶことである。ステップ長について議論する前に、勾配が、検討され、以下のように与えられ得る。
行列形式では、勾配は、以下のように書かれ得る。

２．２ 乗法更新ルール
上記に述べられたように、ステップ長を選定するための重要な点は、最急降下方向を伴うものを組み合わせることによって、加算更新ルール（方程式１５）が単純乗法において書かれ得ることである。ｘ_ｉｊ≧０であって、Ａ，Ｂが正の値で初期化されるという条件下、乗法更新ルールは、分解行列が反復更新プロセス全体を通して正のままであることを提供する。以下のステップ長は、乗法更新ルールをもたらす。
方程式１５、１７、１８の組み合わせは、以下をもたらす。
以下の乗法更新ルールは、方程式１９の簡略化されたバージョンである。
正の値（通常、無作為雑音）のみを含有する初期推測から開始し、データ行列Ｘが非負であると仮定し、これらの更新ルールは、ＡおよびＢを反復プロセス全体を通して正に保つことが予期される。実戦では、小値が、ゼロによる除算を回避するように、除数に加算される。
２．３ 加重非負行列分解
乗法更新ルールは、行列要素ｘ_ｉｊ毎に加重を含むように修正されてもよい。
式中、Ｗは、Ｘと同一サイズの加重行列である。
２．４ 射影ＮＭＦ
射影ＮＭＦは、付加的射影行列Ｐを最適化手順全体を通して固定されたままである目的関数に加算する。
ここでは、ＡおよびＢは、その次元において、前の全射に対して不変のままであるが、
は、
が及ぶ空間内にある。本公式に関する勾配は、以下である。
これは、以下のように行列形式で書かれ得る。
ステップ長を以下のように選定すると、
以下の乗法更新ルールにつながる。

２．５ 射影加重ＮＭＦ
射影ＮＭＦに関して、加重は、明視野に加算され、以下の更新ルールをもたらし得る。

本明細書に説明される、ならびに／または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、無作為アクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、および遠隔データリポジトリ（１６０）のうちの１つ以上のものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）透過され得、種々の形式（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一コンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。

別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一実施形態における組み合わせにおいて実装されてもよい。逆に、単一実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。

とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形式で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実施形態において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

故に、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (44)

1. 頭部搭載型ディスプレイシステムであって、
   視認者上に搭載するように構成されるフレームと、
   光源と、
   前記光源からの光を変調するように構成される空間光変調器と、
   前記フレーム上に搭載され、前記空間光変調器からの光を視認者の眼の中に指向するように構成される投影光学と
   を備え、
   前記ディスプレイシステムは、前記オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
2. 前記ディスプレイシステムは、個々の瞳孔内画像の表示を時間的に多重化するように構成される、請求項１に記載のディスプレイシステム。
3. 前記ディスプレイシステムは、前記瞳孔内画像の表示を空間的に多重化するように構成される、請求項１に記載のディスプレイシステム。
4. 前記ディスプレイシステムは、複数の空間的に多重化された瞳孔内画像の表示を時間的に多重化するように構成される、請求項１に記載のディスプレイシステム。
5. 前記投影光学は、内部結合光学要素と、外部結合光学要素とを備える導波管を備える、請求項５に記載のディスプレイシステム。
6. 前記投影光学は、複数の導波管を備え、各導波管は、前記複数の導波管の他の導波管と異なる原色の光を出力するように構成される、請求項５に記載のディスプレイシステム。
7. 前記光源は、複数の選択的にアクティブ化される発光領域を備える、請求項１に記載のディスプレイシステム。
8. 前記光源は、発光ダイオードアレイおよび空間光変調器のうちの少なくとも１つを備える、請求項７に記載のディスプレイシステム。
9. 前記発光ダイオードアレイは、有機発光ダイオードアレイまたは無機発光ダイオードアレイを備える、請求項８に記載のディスプレイシステム。
10. 空間光変調器光源は、液晶アレイまたはデジタル光処理（ＤＬＰ）チップを備える、請求項８に記載のディスプレイシステム。
11. 前記ディスプレイシステムは、前記眼の中への前記瞳孔内画像のうちの少なくとも１つの投入の間、アクティブ化される発光領域の位置を変化させるように構成される、請求項７に記載のディスプレイシステム。
12. 前記光源は、
    光エミッタと、
    光を前記空間光変調器に異なる経路に沿って指向するように構成されるアクチュエータと
    を備える、請求項１に記載のディスプレイシステム。
13. 前記アクチュエータは、２軸検流計である、請求項１２に記載のディスプレイシステム。
14. 前記光源は、ファイバスキャナを備える、請求項１２に記載のディスプレイシステム。
15. 前記光源からの光を変調するように構成される前記空間光変調器は、ＬＣＯＳパネルを備える、請求項１に記載のディスプレイシステム。
16. 前記眼の視線を追跡するように構成される眼追跡センサをさらに備え、前記ディスプレイシステムは、
    前記眼追跡センサを使用して、前記眼の視線を決定することと、
    前記眼の決定された視線に基づいて、前記瞳孔内画像のためのコンテンツを選択することと
    を行うように構成される、請求項１に記載のディスプレイシステム。
17. 前記ディスプレイシステムは、前記光源の光出力場所と前記空間光変調器によって提供される画像コンテンツとを同期させるように構成される、請求項１に記載のディスプレイシステム。
18. 光学機構を前記空間光変調器と前記投影光学との間にさらに備え、前記光学機構は、前記空間光変調器の異なる場所からの光を異なる角度で投影光学に指向するように構成される、請求項１に記載のディスプレイシステム。
19. 前記光学機構は、プリズムまたはレンズ構造のうちの１つ以上のものを備える、請求項１８に記載のディスプレイシステム。
20. 前記レンズ構造は、レンズレットアレイである、請求項１９に記載のディスプレイシステム。
21. 画像コンテンツを表示するための方法であって、前記方法は、
    空間光変調器を提供することと、
    複数の異なる光出力場所から前記空間光変調器に光を出力するように構成される光源を提供することと、
    仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、前記仮想オブジェクトを深度平面上に表示することであって、前記瞳孔内画像はそれぞれ、
    前記光源からの光を前記空間光変調器に出力することであって、前記光は、前記光源の１つ以上の関連付けられた光出力場所から出力される、ことと、
    前記空間光変調器を用いて、前記光を変調し、前記１つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成することと、
    前記変調された光を前記眼に伝搬させることと
    によって形成され、瞳孔内画像毎の前記１つ以上の関連付けられた光出力場所は、前記瞳孔内画像のうちの他のもののための前記１つ以上の関連付けられた光出力場所と明確に異なる、ことと
    を含む、方法。
22. 前記１つ以上の関連付けられた発光領域をアクティブ化することは、前記深度平面に基づいて、前記１つ以上の関連付けられた発光領域を選択することを含み、前記瞳孔内画像のための発光領域間の物理的分離は、前記深度平面から前記視認者までの距離の減少に伴って増加する、請求項２１に記載の方法。
23. 前記視差的に異なる画像のそれぞれを形成する光線は、コリメートされ、前記深度平面は、光学無限遠未満にある、請求項２１に記載の方法。
24. 視差的に異なる瞳孔内画像のセットを投入することは、前記視認者のフリッカ融合閾値を下回る時間フレーム内で行われる、請求項２１に記載の方法。
25. 前記フリッカ融合閾値は、１秒の１／６０である、請求項２４に記載の方法。
26. 前記眼の視線を追跡するように構成される眼追跡センサをさらに備え、前記仮想オブジェクトを表示することは、
    前記眼追跡センサを使用して、前記眼の視線を決定することと、
    前記眼の決定された視線に基づいて、前記瞳孔内画像のためのコンテンツを選択することと
    を含む、請求項２１に記載の方法。
27. 前記空間光変調器からの変調された光を前記眼に指向するように構成される投影光学をさらに備える、請求項２１に記載の方法。
28. 前記瞳孔内画像のための前記１つ以上の関連付けられた発光領域は、部分的に重複する、請求項２１に記載の方法。
29. 前記眼の中への前記瞳孔内画像のうちの少なくとも１つの投入の間、前記１つ以上の関連付けられた発光領域の位置を変化させることをさらに含む、請求項２１に記載の方法。
30. ディスプレイシステムであって、
    複数の空間的に明確に異なる光出力場所を備える光源と、
    前記光源からの光を変調するように構成される空間光変調器と、
    フレーム上に搭載され、前記空間光変調器からの光を視認者の眼の中に指向するように構成される投影光学と
    を備え、
    前記ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
31. 異なる瞳孔内画像のための前記光源の異なる光出力場所からの光を出力するように構成される、請求項３０に記載のディスプレイシステム。
32. 前記視認者の眼からの前記深度平面の距離に基づいて、前記光出力場所間の側方分離を変動させるように構成される、請求項３０に記載のディスプレイシステム。
33. 前記視認者の眼からの前記深度平面の距離の増加に伴って、前記光出力場所間の側方分離を増加させるように構成される、請求項３０に記載のディスプレイシステム。
34. 前記ディスプレイシステムは、前記眼の中への前記瞳孔内画像のうちの少なくとも１つの投入の間、前記光出力場所を変化させるように構成される、請求項３０に記載のディスプレイシステム。
35. 画像コンテンツを表示するための方法であって、前記方法は、
    頭部搭載型ディスプレイを提供することと、
    フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを前記ディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示することと
    を含む、方法。
36. 前記瞳孔内画像の視差差を変化させることによって、前記仮想オブジェクトが配置される深度平面を変化させることをさらに含む、請求項３５に記載の方法。
37. 視差的に異なる瞳孔内画像のセットを投入することは、前記瞳孔内画像の個々のものを視認者の眼の中に時間的に連続して投入することを含む、請求項３５に記載の方法。
38. 視差的に異なる瞳孔内画像のセットを投入することは、前記瞳孔内画像の複数のものを同時に投入することを含む、請求項３５に記載の方法。
39. 視差的に異なる瞳孔内画像のセットを投入することは、複数の瞳孔内画像を一度に時間的に連続して投入することを含む、請求項３８に記載の方法。
40. 前記瞳孔内画像を形成する光ビームは、コリメートされる、請求項３５に記載の方法。
41. 前記瞳孔内画像を形成する光ビームは、発散波面を有する、請求項３５に記載の方法。
42. 前記ディスプレイは、
    光を変調し、前記瞳孔内画像を形成するように構成される空間光変調器と、
    光を前記空間光変調器に指向するように構成される光源と
    を備える、請求項３５に記載の方法。
43. 前記光源は、複数の選択的にアクティブ化される発光領域を備え、視差的に異なる瞳孔内画像のセットを投入することは、瞳孔内画像の各々に対して異なる発光領域をアクティブ化することを含む、請求項４２に記載の方法。
44. 前記光源は、複数の明確に異なる光出力場所からの光を出力するように構成され、前記眼の中への前記瞳孔内画像のうちの少なくとも１つの投入の間、前記光出力場所をジッタさせることをさらに含む、請求項４２に記載の方法。