JP2017518532A - 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム - Google Patents

Abstract

自由形状光学表示システムのためのいくつかの固有のハードウェア構成および方法が、開示される。自由形状表示システムは、水平視野（ＦＯＶ）または垂直視野を拡張するために、タイル式配置における一次自由形状光学要素および二次自由形状光学要素を含む。システムは、遠近調節−収束衝突を解決しながら、オブジェクトを焦点を合わせてレンダリングするために、中間瞳を生成し、単一の焦点面の焦点距離を変更するか、または複数の焦点面を切り替える、可変焦点合わせシステムを含み得る。システムは、光サンプルを物理的空間内の適切な光線にマップし、プロジェクタのクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツのライトフィールドを生成し得る。タイル式自由形状光学表示システムを作製する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

Description

（関連出願の引用）
本願は、米国仮特許出願第６２／００５，８６５号（２０１４年３月３０日出願、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＴＥＲＥＯＳＣＯＰＹ ＷＩＴＨ Ａ ＦＲＥＥＦＯＲＭ ＯＰＴＩＣＡＬ ＳＹＳＴＥＭ ＷＩＴＨ ＡＤＤＲＥＳＳＡＢＬＥ ＦＯＣＵＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」）の利益を主張する。本願は、米国仮特許出願第６２／００５，８０７号（２０１４年３月３０日出願、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＣＲＥＡＴＩＮＧ ＦＯＣＡＬ ＰＬＡＮＥＳ ＩＮ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」、代理人事件番号ＭＬ ３００１７．００）、米国仮特許出願第６２／００５，８３４５号（２０１４年３月３０日出願、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」、代理人事件番号ＭＬ ３００１６．００）、米国特許出願第１３／３３５，８８４号（２０１１年１２月２２日出願、名称「ＥＲＧＯＮＯＭＩＣ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＤＥＶＩＣＥ ＡＮＤ ＯＰＴＩＣＡＬ ＳＹＳＴＥＭ」）に関連し、該米国特許出願は、米国仮特許出願第６１，４２７，１６２号（２０１０年１２月２４日出願）、国際出願ＰＣＴ／ＵＳ２０１１／０６７０３３（２０１１年１２月２２日出願、名称「Ａｎ Ｅｒｇｏｎｏｍｉｃ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ ａｎｄ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ」、特許協力条約（ＰＣＴ）の下で国際公開）、および米国仮特許出願第６１，４２７，１６２号（２０１０年１２月２４日出願）に対する利益を主張する。

頭部搭載式ディスプレイ（ＨＭＤ）は、長い間、科学的可視化、医学、および軍事訓練、工学設計およびプロトタイプ化、遠隔操作およびテレプレゼンス、ならびに個人用娯楽システムの分野に及ぶ、多くの用途のために非常に貴重であることが証明されている。混合および拡張現実システムでは、光学シースルーＨＭＤは、コンピュータ生成仮想場面を実世界場面のビューと組み合わせる基本アプローチの１つである。典型的には、光学コンバイナを通して、光学シースルー頭部搭載式ディスプレイ（ＯＳＴ−ＨＭＤ）は、実世界ビューの直接的劣化を最小限に維持しながら、コンピュータ生成画像を実世界ビュー上に光学的にオーバーレイする。ＯＳＴ−ＨＭＤは、スマートフォンおよびＰＤＡ（携帯情報端末）等の他の一般的モバイルプラットフォームよりもはるかに多くの魅力的画質および画面サイズをもたらすモバイルディスプレイソリューションを作り出す、大きな潜在性を提示する。技術が広く採用されることを阻む、多くの技術的および実践的難点も存在する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。

デジタルコンテンツ（例えば、部屋の実世界ビューを拡張するために提示される仮想シャンデリアオブジェクト等の３−Ｄコンテンツ、または部屋の実世界ビューを拡張するために提示される平面／平坦仮想油絵オブジェクト等の２−Ｄコンテンツ）を設置するとき、オブジェクトの挙動を制御するための設計選択が、行われ得る。例えば、２−Ｄ油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓアプローチにおけるように）；または、オブジェクトは、世界を中心とし得、その場合、ユーザが、実世界に対してオブジェクトの位置を移動させずに、その頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。

その結果、オブジェクトが、世界を中心として提示されるべきか（すなわち、仮想オブジェクトは、ユーザが、実世界の壁等のそれを包囲する実世界オブジェクトに対してその位置を変化させずに、その身体、頭部、眼をその周囲で移動させ得るように、実世界内の定位置に留まる）、身体、すなわち、胴体を中心として提示されるべきか（その場合、仮想要素は、ユーザが、オブジェクトを移動させずに、その頭部または眼を移動させることができるが、そのような移動は、胴体の移動に追従させられるように、ユーザの胴体に対して固定され得る）、頭部を中心として提示されるべきか（その場合、表示されるオブジェクト（および／またはディスプレイ自体）は、Ｇｏｏｇｌｅ Ｇｌａｓｓを参照して前述のように、頭部の移動に伴って移動させられ得る）、または、以下に説明されるような「中心窩ディスプレイ」構成におけるように、眼を中心として（コンテンツは、眼の位置の関数として回転させられる）、提示されるべきかについて、疑問または設計選択肢が、多くの場合、生じる。

従来の立体ディスプレイは、任意の点上における収束を支援するが、視認者が、ディスプレイ表面上に遠近調節することのみを可能にする両眼視差を提供し、したがって、遠近調節−収束衝突に悩まされる。これらの従来のディスプレイは、多くの場合、遠近調節キューを収束キューから分断し、遠近調節キューを固定された距離に結び付ける。したがって、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いる画像表示立体視のための方法およびシステムの必要性が存在する。

開示されるのは、仮想および拡張現実用途だけではなく、ニアアイディスプレイ、コンピューティング、およびディスプレイ用途、またはさらにテキスト専用ディスプレイ等の他の用途のためにも非常に好適である、視覚的ディスプレイのための方法およびシステムである。いくつかの実施形態は、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのシステムを対象とする。いくつかの実施形態では、システムは、介在要素を伴わずに直接、もしくは１つ以上の介在要素を用いて間接的に、ユーザの眼のための１つ以上の一次自由形状光学要素の中に光線を投入する、画像源を含み得る。一次自由形状光学要素は、いくつかの実施形態では、折り曲げミラーおよび１つ以上の中継レンズと結合される、楔形状の自由形状光学要素を含み得る。いくつかの他の実施形態では、一次自由形状光学要素は、自由形状導波管を含み得る。一次自由形状光学要素は、１つ以上の屈折表面と、１つ以上の反射表面とを備え、最後に、一次自由形状光学要素を出射し、仮想表示コンテンツを形成する前に、投入された光線が、これらの表面間で偏向または反射することを可能にする。

これらの１つ以上の屈折表面もしくは１つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および／または厚さ、透過係数もしくは曲線、１つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一もしくは異なる表面特性を有し得る。システムはさらに、１つ以上の一次自由形状光学要素に動作可能に結合され、水平視野（ＦＯＶ）および／または垂直視野を拡張する、タイル式自由形状光学表示システムを形成する、１つ以上の二次自由形状光学要素を含み得る。システムはまた、画像源、１つ以上の一次自由形状光学要素、および／もしくは１つ以上の二次自由形状光学要素に動作可能に結合され、光線を中継または結合し、画像源から投入された光線ならびに１つ以上の一次および／または二次自由形状光学要素を通過する実世界場面からの光線のある特性を補正もしくは改良する、光学結合レンズまたは光学結合レンズ群を含み得る。

いくつかの実施形態では、自由形状光学表示システムは、自由形状光学要素を含み得る。自由形状光学要素は、１つ以上の屈折表面および１つ以上の反射表面を有する導波管を含み、投入された光線が、最後に、一次自由形状光学要素から出射し、仮想表示コンテンツを形成する前に、これらの表面間で偏向または反射することを可能にし得る。これらの１つ以上の屈折表面もしくは１つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および／または厚さ、透過係数または曲線、１つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一または異なる表面特性を有し得る。

システムはまた、仮想表示コンテンツをレンダリングするために、光線を自由形状光学要素の中に投入するための画像源を含み得る。これらの実施形態のいくつかでは、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、単一の焦点面の焦点距離を変化させる可変焦点合わせシステムを含み得る。いくつかの他の実施形態では、システムは、無明滅レートで複数の焦点面を切り替え、仮想表示コンテンツの少なくとも一部を焦点を合わせてレンダリングする可変焦点合わせシステムを含み得る。システムは、仮想表示コンテンツまたはそのそれぞれの部分を複数の焦点面のうちのいくつかの焦点面上に並行してレンダリングし得る。

システムは、遠近調節−収束衝突を解決するために、遠近調節キューまたは収束キューを固定された距離値に結び付けずに、可変焦点合わせシステムを採用し、遠近調節キューおよび収束キューの両方を変化する焦点距離に対してアドレスする。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得る。

いくつかの実施形態では、自由形状光学表示システムは、コンピューティングデバイスを含み、コンピューティングデバイスは、自由形状光学表示システムを用いてオブジェクトのための仮想コンテンツ表示を再現するために、オブジェクトから反射され、またはオブジェクトのために人工的に作成され、記録された光サンプルから適切な光線を決定する。自由形状光学表示システムは、光線を形成する放射輝度および／または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および画像プロジェクタが、対応する光線を投影し、ライトフィールドをレンダリングする場所を決定し得る。自由形状光学表示システムは、次いで、その対応する画像プロジェクタを用いて、種々の光線を投影し、ライトフィールドを合成し得る。

いくつかの実施形態は、タイル式配置における自由形状光学表示システムを用いて、立体画像を生成する方法を対象とする。方法は、一次垂直視野を画定する一次表示デバイスを識別し、随意に、一次表示デバイスの一次垂直視野を増加させまたは最大化し得る。一次表示デバイスは、１つ以上の自由形状光学要素を含み得る。加えて、または代替として、方法はさらに、随意に、増加させられた二次水平視野または最大化された二次水平視野を有するように二次表示デバイスを構成または考案し得る。

１つ以上の二次自由形状光学要素は、識別され、タイル式配置で一次表示デバイスに取り付けられ、水平視認方向、垂直視認方向、または両方向に拡張された視野を提供するタイル式自由形状表示デバイスを形成し得る。方法はさらに、自由形状光学表示システム内の可変焦点合わせシステムを使用することによって、１つ以上の焦点面の焦点距離を調節し得る。いくつかの実施形態では、方法は、仮想表示コンテンツがレンダリングされる単一の焦点面の焦点距離を調節またはアドレスし得る。いくつかの他の実施形態では、方法は、可変焦点合わせシステムを使用し、それらのそれぞれの焦点距離を有する複数の焦点面を切り替え、仮想表示コンテンツの焦点合わせ要件に従って、焦点距離をアドレスまたは調節し得る。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変更またはアドレスする可変焦点合わせシステムを含み得る。

いくつかの実施形態は、可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法を対象とする。方法は、仮想表示コンテンツの一部を焦点を合わせてレンダリングするために、光学システムにおいて画像源から第１の光信号を受信し、仮想表示コンテンツの一部を焦点を合わせてレンダリングするための第１の焦点面の第１の焦点距離を決定し得る。方法はさらに、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、第１の焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし、少なくとも自由形状光学表示デバイスおよび第１の焦点距離を使用して、第１の光信号を用いて仮想表示コンテンツをレンダリングし得る。

これらの実施形態のいくつかでは、方法はさらに、可変焦点合わせ自由形状光学表示システムの可変焦点合わせシステムを使用することによって、第１の焦点距離をアドレスし得る。第１の焦点距離をアドレスすることは、いくつかの実施形態では、光学システム内のアドレス可能可変焦点合わせ要素の屈折力を変動させ、仮想表示コンテンツをレンダリングするための第１の焦点距離を変更する行為、または、いくつかの他の実施形態では、第１の光信号を用いて仮想表示コンテンツを表示するために、少なくとも部分的に、第１の焦点距離に基づいて、第１の焦点面を複数の平面から識別する行為を含み得る。

いくつかの実施形態は、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法を対象とする。方法は、仮想表示コンテンツ内に仮想オブジェクトをレンダリングするために使用されるべき第１の光線を識別し、第１の光線を画像源の束から自由形状光学表示デバイスに伝送し得る。方法はさらに、自由形状光学表示デバイスを使用することによって、仮想オブジェクトに対応するライトフィールドを合成し、仮想オブジェクトのための仮想表示コンテンツをレンダリングし得る。これらの実施形態のいくつかでは、方法はまた、第１の光線によってレンダリングされるべき仮想オブジェクトを識別し、仮想表示コンテンツ内に仮想オブジェクトをレンダリングするための１つ以上のパラメータを識別もしくは決定し得る。

いくつかの実施形態では、方法は、仮想オブジェクトをレンダリングするために使用されるべき第１の光線を識別し、これは、少なくとも部分的に、遠近調節範囲に基づいて、行われる。加えて、または代替として、方法は、仮想オブジェクトに対応するライトフィールドを合成し得、これは、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、行われる。方法は、したがって、異なる距離に現れる仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方をアドレスし得る。

いくつかの第１の実施形態は、光線を一次自由形状光学要素の中に投入する画像源と、第１のタイル式配置で一次自由形状光学要素に取り付けられ、画像源からの光線を用いて仮想表示コンテンツを表示するためのタイル式自由形状光学表示デバイスを形成する、二次自由形状光学要素と、画像源およびタイル式自由形状光学表示デバイスに動作可能に結合され、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされる焦点面の焦点距離を変化させる可変焦点合わせ要素とを備えているタイル式自由形状光学表示システムを対象とする。

第１の実施形態のいくつかでは、タイル式自由形状光学表示システムはさらに、一次自由形状光学要素および／または二次自由形状光学要素の少なくとも一部に取り付けられ、一次自由形状光学要素および／または二次自由形状光学要素の少なくとも一部を通して実世界場面から放出する光線の品質を改善する、補償レンズを含み得る。加えて、または代替として、一次自由形状光学要素は、１つ以上の中継レンズに動作可能に結合されている自由形状楔を含む。直前の実施形態のいくつかでは、一次自由形状光学要素はさらに、第１の光線を可変焦点合わせ要素から受信する折り曲げ反射体に結合される。

可変焦点合わせ要素はまた、随意に、中間瞳を形成するための液体レンズを含み得る。第１の実施形態のいくつかでは、可変焦点合わせ要素は、中間瞳を形成するための変形可能膜ミラーを含む。これらの直前の実施形態のいくつかでは、可変焦点合わせ要素は、変形可能膜ミラーに動作可能に結合されている結合レンズ群、２つ以上のビームスプリッタを含む。第１の実施形態のいくつかでは、一次自由形状表示要素および二次自由形状表示要素は、同一である２つの視野を提示する。

加えて、または代替として、一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、二次自由形状表示要素は、部分的に、増加させられた一次垂直視野または最大化された一次垂直視野に基づいて、二次垂直視野を画定し、タイル式自由形状光学表示デバイスは、少なくとも部分的に、増加させられた一次垂直視野または最大化された一次垂直視野、および、視野に対する所定の縦横比に基づいて、視野を画定する。第１の実施形態のいくつかでは、一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、二次自由形状表示要素は、増加させられた二次水平視野または最大化された二次水平視野を画定し、タイル式自由形状光学表示デバイスは、少なくとも部分的に、増加させられた一次垂直視野または最大化された一次垂直視野、および、増加させられた二次水平視野または最大化された二次水平視野に基づいて、視野を画定する。

いくつかの第２の実施形態は、自由形状ライトフィールド表示システムを用いてオブジェクトに対する仮想コンテンツ表示を再現するためにオブジェクトから反射され、記録される光サンプルから光線を決定するためのコンピューティングデバイスと、光線を自由形状光学要素の中に投入するためのプロジェクタの束を備えている画像源であって、コンピューティングデバイスはさらに、オブジェクトに対する仮想コンテンツ表示を表示するために、光線からライトフィールドの一部をレンダリングするための１つ以上の光線を決定する、画像源と、画像源と自由形状光学要素との間に位置し、それらに動作可能に結合され、中間瞳を生成するための結合レンズ群とを含む自由形状ライトフィールド表示システムを対象とする。第２の実施形態のいくつかでは、自由形状ライトフィールド表示システムは、自由形状光学要素によって画定される少なくとも中間瞳および射出瞳を使用することによって、ライトフィールドを合成する。

いくつかの第３の実施形態は、タイル式配置における自由形状光学表示機構を用いて立体画像を生成する方法を対象とする。これらの実施形態では、一次自由形状光学要素を備え、一次視野を画定する一次表示デバイスが、識別され得、二次視野を画定し、二次自由形状光学要素を備えている二次表示デバイスもまた、識別され得、一次表示デバイスの一次視野を拡張するタイル式表示デバイスは、少なくとも、二次表示デバイスを一次表示デバイスに統合することによって、考案され得る。

これらの第３の実施形態のいくつかでは、二次表示デバイスおよび一次表示デバイスは、第１のタイル式配置の中に統合され、一次表示デバイスのこめかみ水平視野を拡張する、タイル式表示デバイスを形成する。加えて、または代替として、１つ以上の焦点面の焦点距離は、自由形状光学表示機構内の可変焦点合わせ機構を使用することによって、調節され得る。これらの直前の実施形態のいくつかでは、１つ以上の焦点面の焦点距離は、自由形状光学表示機構内の可変焦点合わせ機構内の変形可能ミラーの屈折力を変えることによって、変更され得る。加えて、または代替として、自由形状光学表示機構の１つ以上の焦点面の１つ以上の焦点距離は、可変焦点合わせ機構を用いて、変更され得る。

第３の実施形態のいくつかでは、一次表示デバイスおよび／または二次表示デバイスは、少なくとも、自由形状光学表示機構によって生成される立体画像に対する焦点面の焦点距離を制御することによって、アドレス可能焦点機能性とともに考案または構成され得る。加えて、または代替として、一次表示デバイスおよび／または二次表示デバイスは、少なくとも、自由形状光学表示機構によって生成される立体画像に対する複数の焦点面を切り替えることによって、アドレス可能焦点機能性とともに考案または構成され得る。これらの直前の実施形態のいくつかでは、複数の焦点面のそれぞれの焦点距離は、可変焦点合わせ機構を用いて、アドレスされ得る。

第３の実施形態のいくつかでは、周囲環境視認の品質は、少なくとも、少なくとも１つの補償レンズを一次表示デバイスの少なくとも一部と統合することによって、改良され得る。加えて、または代替として、少なくとも１つの補償レンズは、自由形状光学表示機構の一次表示デバイスの少なくとも一部を覆う。第３の実施形態のいくつかでは、二次表示デバイスの二次水平視野は、増加させられ、または最大化され得る。加えて、または代替として、一次表示デバイスおよび二次表示デバイスのための第１の配置は、一次視野および／もしくは二次視野に部分的または全体的に基づいて、決定され得る。

直前の実施形態のいくつかでは、自由形状光学表示機構の水平視野または対角線視野は、一次表示デバイスおよび二次表示デバイスを互に隣接して配置する第１の配置を用いて、拡張され得る。第３の実施形態のいくつかでは、一次表示デバイスおよび二次表示デバイスのための第２の配置は、一次視野および／もしくは二次視野に部分的または全体的に基づく。

これらの直前の実施形態のいくつかでは、自由形状光学表示機構の垂直視野または対角線視野は、一次表示デバイスを二次表示デバイスの上に、または二次表示デバイスを一次表示デバイスの上に配置する第２の配置を用いて、拡張され得る。第３の実施形態のいくつかでは、一次表示デバイスおよび二次表示デバイスのための第３の配置は、一次視野および／または二次視野に部分的または全体的に基づいて、決定され得る。これらの直前の実施形態のいくつかでは、第３の配置を伴う自由形状光学表示機構は、少なくとも、二次表示デバイスの二次視野を一次表示デバイスの一次視野とほぼ一致させることまたは正確に一致させることによって、考案され得る。

第３の実施形態のいくつかでは、一次表示デバイスは、一次表示デバイスの一次垂直視野を増加させることまたは最大化することによって、考案され得、二次表示デバイスの二次垂直視野は、増加させられた一次垂直視野または最大化された一次垂直視野と正確にまたはほぼ一致させられ得る。第３の実施形態のいくつかでは、二次表示デバイスは、二次表示デバイスの二次水平視野を増加させることまたは最大化することによって、考案され得る。加えて、または代替として、一次表示デバイスは、第１の光学結合機構を介して第１の画像源と動作可能に結合され、第１の光学結合機構は、可変焦点合わせ機構を含む。

第３の実施形態のいくつかでは、１つ以上の他の二次表示デバイスは、一次表示デバイスと統合され、自由形状光学表示機構の視野をさらに拡張するタイル式表示デバイスを考案し得る。随意に、実世界場面によって放出される光線によって立体画像に導入されるシフトおよび／または歪は、補償レンズの１つ以上の自由形状屈折表面特性を使用することによって、低減または最小化され得る。加えて、または代替として、生成される立体画像の品質は、少なくとも、一次表示デバイスおよび１つ以上の画像源を光学結合光学機構と結合することによって、自由形状光学表示機構によって改良され得る。

いくつかの第４の実施形態は、仮想または拡張現実のための可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法を対象とする。これらの実施形態では、入力光ビームは、光学システムにおいて画像源から受信され得、入力光ビームのための可変焦点機構の焦点距離は、立体画像に対する少なくとも１つの焦点面の位置決めに部分的または全体的に基づいて、変えられ得、入力光ビームは、自由形状光学機構までの変えられた焦点距離を伴う可変焦点機構を使用することによって、可変焦点合わせ自由形状光学システムの少なくとも一部内を伝搬され得、立体画像は、自由形状光学機構を用いて、仮想または拡張現実提示のための少なくとも１つの焦点面上に生成され得る。

これらの第４の実施形態のいくつかでは、入力光ビームは、第１の光学を通して１つ以上のビームスプリッタに伝搬され得、入力光ビームは、１つ以上のビームスプリッタを通して、可変焦点機構に向け直され得る。加えて、または代替として、可変焦点機構の焦点距離は、立体画像に対する１つ以上の焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構の屈折力を変えることによって、変更され得る。随意に、入力光ビームは、変えられた焦点距離を伴う可変焦点機構を用いて、１つ以上のビームスプリッタに戻るように向け直され得、入力光ビームは、１つ以上のビームスプリッタから自由形状光学機構に伝搬され得る。

第４の実施形態のいくつかでは、焦点面を変更するための要件が、自由形状光学表示機構によって生成される立体画像のために識別され得、１つ以上の制御は、要件に部分的または全体的に基づいて、可変焦点機構の焦点距離を変えるために提供され得、可変焦点機構の焦点距離は、１つ以上の制御を用いて、変えられた焦点距離に変えられ得る。これらの直前の実施形態のいくつかでは、入力光ビームは、変えられた焦点距離を伴う可変焦点機構から自由形状光学機構に伝搬され得、立体画像は、自由形状光学機構を用いて、仮想または拡張現実提示のための１つ以上の焦点面上に生成され得る。

第４の実施形態のいくつかでは、立体画像の少なくとも一部を焦点を合わせてレンダリングするための第１の焦点面の第１の焦点距離が、決定され得、遠近調節キューおよび収束キューの両方が、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、第１の焦点距離を用いて、アドレスされ得、立体画像の少なくとも一部は、少なくとも自由形状光学機構および第１の焦点距離を使用することによって、入力光ビームを用いてレンダリングされ得る。これらの実施形態のいくつかでは、第１の焦点距離は、自由形状光学表示機構の可変焦点機構を使用することによって、アドレスされ得る。これらの直前の実施形態のいくつかでは、可変焦点機構内のアドレス可能可変焦点合わせ要素の屈折力は、立体画像の少なくとも一部をレンダリングするための第１の焦点距離を変更するように変動させられ得る。第４の実施形態のいくつかでは、複数の焦点面からの第１の焦点面は、入力光ビームを用いて立体画像の少なくとも一部を表示するための第１の焦点距離に部分的または全体的に基づいて、識別され、第１の焦点距離をアドレスし得る。

いくつかの第５の実施形態は、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法を対象とする。これらの実施形態では、光線束は、画像源から受信され、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成し得、仮想オブジェクトのための情報は、光線束から抽出され得、変調された光線束は、光線束から抽出された情報に部分的または全体的に基づいて、生成され得、仮想オブジェクトのための仮想表示コンテンツは、変調された光線束および自由形状光学表示デバイスを用いて、レンダリングされ得る。

これらの実施形態のいくつかでは、光線束内にレンダリングされるべき仮想オブジェクトは、識別され得、仮想オブジェクトを表示するための１つ以上のパラメータが、次いで、識別または決定され得る。これらの直前の実施形態のいくつかでは、仮想オブジェクトに対応するライトフィールドを合成するための第１の光線が、遠近調節範囲に部分的または全体的に基づいて、識別または決定され得、光線束は、画像源から自由形状光学表示デバイスに伝搬され得る。これらの直前の実施形態のいくつかでは、仮想オブジェクトに対応するライトフィールドは、肉眼遠近調節範囲に部分的または全体的に基づいて、合成され、第１の焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし得、仮想表示コンテンツは、少なくとも、自由形状光学表示デバイスを用いて、生成され得、ヒト観察者に見える仮想表示コンテンツの仮想画像距離は、第１の焦点距離に等しい。

これらの実施形態のいくつかでは、ライトフィールドを合成する行為は、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、行われる。加えて、または代替として、仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方は、可変焦点距離を用いて、アドレスされ得、可変焦点距離は、単一の焦点面の距離値を決定することによって、または異なる焦点距離値を有する複数の焦点面を切り替えることによって変動させられる。第５の実施形態のいくつかでは、光線束は、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束に変調され得る。

加えて、または代替として、情報は、光線束の１つ以上の色、光線束の１つ以上の放射輝度、光線束の１つ以上の深度情報、または任意のそれらの組み合わせのうちの少なくとも１つを含む。１つ以上の決定が、行われ得る。これらの１つ以上の決定は、光線束から抽出された情報に部分的もしくは全体的に基づく変調された光線束が投影されるべき場所の第１の決定、変調された光線束を投影し、仮想表示コンテンツをレンダリングするために使用されるべき画像プロジェクタの第２の決定、または第１の決定および第２の決定の組み合わせのうちの少なくとも１つを含む。

実施形態のいくつかでは、仮想オブジェクトをレンダリングするための１つ以上のパラメータが、識別または決定され得る。これらの直前の実施形態のいくつかでは、１つ以上のパラメータは、１つ以上の屈折表面パラメータ、１つ以上の反射表面パラメータ、または、１つ以上の屈折表面パラメータのうちの少なくとも１つの屈折表面パラメータと１つ以上の反射表面パラメータのうちの少なくとも１つの反射表面パラメータとの組み合わせを含む。加えて、または代替として、変調された光線束は、結合光学アセンブリに伝搬され、中間瞳を生成し得る。随意に、または加えて、変調された光線束は、結合光学アセンブリから自由形状光学表示デバイスに中継され得、変調された光線束は、１つ以上のパラメータに部分的または全体的に基づいて、自由形状光学表示デバイス内の屈折および／または反射を介して、伝搬され得る。

いくつかの第６の実施形態は、一次自由形状光学要素を備え、一次視野を画定する一次表示デバイスと、二次視野を画定し、二次自由形状光学要素を備えている二次表示デバイスと、一次視野を拡張するための一次表示デバイスおよび二次表示デバイスを含むタイル式表示デバイスとを含む立体画像を生成するための自由形状光学表示機構を対象とする。二次表示デバイスおよび一次表示デバイスは、随意に、第１のタイル式配置の中に統合され、一次表示デバイスのこめかみ水平視野を拡張する、タイル式表示デバイスを形成し得る。

自由形状光学表示機構はまた、随意に、自由形状光学表示機構の一次表示デバイスと光学的に結合され、１つ以上の焦点面の焦点距離を調節するための可変焦点合わせ機構を含み得る。加えて、または代替として、自由形状光学表示機構は、自由形状光学表示機構の可変焦点合わせ機構内の変形可能ミラーと動作可能に結合され、１つ以上の焦点面の焦点距離を変更するための屈折力制御を備え得る。これらの第６の実施形態のいくつかでは、可変焦点合わせ機構は、自由形状光学表示機構の１つ以上の１つ以上の焦点面の焦点距離を調節する。一次表示デバイスおよび／または二次表示デバイスは、随意に、アドレス可能焦点機能性を含み、自由形状光学表示機構によって生成される立体画像のための焦点面の焦点距離を制御し得る。加えて、または代替として、一次表示デバイスおよび／または二次表示デバイスは、アドレス可能焦点機能性を含み、自由形状光学表示機構によって生成される立体画像のための複数の焦点面を切り替える。

これらの第６の実施形態のいくつかでは、自由形状光学表示機構は、一次表示デバイスの少なくとも一部と結合される少なくとも１つの補償レンズを含み得、少なくとも１つの補償レンズは、自由形状光学表示機構の一次表示デバイスの少なくとも一部を覆う。一次および二次表示デバイスは、第１の配置、第２の配置、第３の配置、または任意のそれらの組み合わせを含む、１つ以上の配置で配置され得る。第１の配置は、一次表示デバイスと二次表示デバイスとを互に隣接して配置し、自由形状光学表示機構の水平視野または対角線視野を拡張する。

第２の配置は、一次表示デバイスを二次表示デバイス上に、または二次表示デバイスを一次表示デバイス上に配置し、自由形状光学表示機構の垂直視野または対角線視野を拡張する。二次表示デバイスの二次視野を一次表示デバイスの一次視野とほぼまたは正確に一致させる第３の配置は、自由形状光学表示機構の垂直視野または対角線視野を拡張する。第６の実施形態のいくつかでは、自由形状光学表示機構はまた、一次表示デバイスと動作可能に結合される１つ以上の他の二次表示デバイスを含み、さらに、自由形状光学表示機構の視野を拡張させ得る。加えて、または代替として、自由形状光学表示機構は、一次表示デバイスおよび１つ以上の画像源と動作可能に結合される、光学結合光学機構を含み、自由形状光学表示機構によって生成される立体画像の品質を改善し得る。

いくつかの第７の実施形態は、入力光ビームを光学システムの中に放出する画像源と、立体画像に対する少なくとも１つの焦点面の位置決めに部分的または全体的に基づいて、変えられた焦点距離に変えられる焦点距離を有する可変焦点機構と、変えられた焦点距離を伴う可変焦点機構によって向かわせられた入力光ビームを受信し、自由形状光学機構を用いて、仮想または拡張現実提示のために少なくとも１つの焦点面上に立体画像を生成するための自由形状光学機構とを備えている、立体画像を生成するための仮想または拡張現実のための可変焦点合わせ自由形状光学表示システムを対象とする。

可変焦点合わせ自由形状光学表示システムはまた、これらの実施形態のいくつかでは、１つ以上のビームスプリッタを含み、１つ以上のビームスプリッタは、画像源から第１の光学を通して伝搬される入力光ビームを受信し、入力光ビームを可変焦点機構に向け直し得る。加えて、または代替として、可変焦点合わせ自由形状光学表示システムは、屈折力制御機構を含み、屈折力制御機構は、立体画像に対する１つ以上の焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構の屈折力を変え得る。

いくつかの実施形態では、１つ以上のビームスプリッタは、変えられた焦点距離を用いて、入力光ビームを可変焦点機構に戻るように向け直し、入力光ビームは、１つ以上のビームスプリッタから自由形状光学機構に伝搬される。随意に、可変焦点合わせ自由形状光学表示システムは、制御機構を含み、制御機構は、自由形状光学表示機構によって生成される立体画像に対する焦点面を変更するための要件に部分的または全体的に基づいて、可変焦点機構の焦点距離を変えための１つ以上の制御を提供し得る。

これらの直前の実施形態のいくつかでは、可変焦点機構は、自由形状光学機構と動作可能に結合され、入力光ビームを変えられた焦点距離を伴う可変焦点機構から自由形状光学機構に伝搬し、自由形状光学機構は、仮想または拡張現実提示のための１つ以上の焦点面上に立体画像を生成する。これらの第７の実施形態のいくつかでは、可変焦点合わせ自由形状光学表示システムは、立体画像の少なくとも一部を焦点を合わせてレンダリングするための第１の焦点面の第１の焦点距離を決定するための決定機構と、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、第１の焦点距離を用いて遠近調節キューおよび収束キューの両方をアドレスするための可変焦点機構とを含み得、少なくとも、自由形状光学機構を使用することは、入力光ビームおよび第１の焦点距離を用いて、立体画像の少なくとも一部をレンダリングするためである。

いくつかの第８の実施形態は、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成するための光線束を放出するための画像源と、光線束から仮想オブジェクトについての情報を抽出するための抽出機構と、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束を生成するための変調機構と、変調された光線束を用いて、仮想オブジェクトのための仮想表示コンテンツをレンダリングするための自由形状光学表示デバイスとを含む、ライトフィールドディスプレイを生成するための自由形状光学システムを対象とする。

いくつかの実施形態では、自由形状光学システムはさらに、コンピューティングシステムを含み、コンピューティングシステムは、光線束内にレンダリングされるべき仮想オブジェクトを識別し、仮想オブジェクトを表示するための１つ以上のパラメータを識別または決定し得る。１つ以上のパラメータが、仮想オブジェクトをレンダリングするために識別され、または決定され、１つ以上のパラメータは、これらの実施形態のいくつかでは、１つ以上の屈折表面パラメータ、１つ以上の反射表面パラメータ、または、１つ以上の屈折表面パラメータのうちの少なくとも１つの屈折表面パラメータと１つ以上の反射表面パラメータのうちの少なくとも１つの反射表面パラメータとの組み合わせを含む。

これらの実施形態のいくつかでは、コンピューティングシステムはさらに、遠近調節範囲に部分的または全体的に基づいて、仮想オブジェクトに対応するライトフィールドを合成するための第１の光線を識別または決定する。加えて、または代替として、コンピューティングシステムはさらに、肉眼遠近調節範囲に部分的または全体的に基づいて、仮想オブジェクトに対応するライトフィールドを合成し、自由形状光学表示デバイスのための第１の焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし、少なくとも、自由形状光学表示デバイスを用いて、仮想表示コンテンツを生成し、ヒト観察者に見える仮想表示コンテンツの仮想画像距離は、第１の焦点距離に等しい。

随意に、ライトフィールドは、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、合成される。これらの第８の実施形態のいくつかでは、自由形状光学システムは、アドレス機構を含み、仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方を可変焦点距離を用いてアドレスし得、可変焦点距離は、単一の焦点面の距離値を決定することによって、または異なる焦点距離値を有する複数の焦点面を切り替えることによって変動させられる。随意に、変調機構は、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束に光線束を変調する。

加えて、または代替として、情報は、光線束の１つ以上の色、光線束の１つ以上の放射輝度、光線束の１つ以上の深度情報、または任意のそれらの組み合わせのうちの少なくとも１つを含む。これらの第８の実施形態のいくつかでは、自由形状光学システムはまた、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束が投影されるべき場所を決定するための決定機構を含み得る。加えて、または代替として、自由形状光学システムは、変調された光線束を投影し、仮想表示コンテンツをレンダリングするために使用されるべき画像プロジェクタを決定するための決定機構を含み得る。自由形状光学システムはまた、随意に、結合光学アセンブリを備え、変調された光線束を受信し、屈折および／または反射を介して、変調された光線束を自由形状光学表示デバイスに伝搬し、中間瞳を生成し得る。

仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて、立体視を表示する方法およびシステムの追加の詳細は、図１−１４Ｄを参照して以下の発明を実施するための形態に説明される。

図面は、本発明の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載および説明されるであろう。
図１は、いくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのラップアラウンド式システムの概略図を図示する。 図２は、いくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて水立体視を表示するための水平搭載式システムの部分概略図を図示する。 図３は、いくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するための垂直搭載式システムの部分概略図を図示する。 図４Ａ−Ｂは、いくつかの実施形態における、仮想および／または拡張現実のための補償レンズ要素を用いて立体視を表示するためのシステムの自由形状光学要素の部分概略図を図示する。 図４Ａ−Ｂは、いくつかの実施形態における、仮想および／または拡張現実のための補償レンズ要素を用いて立体視を表示するためのシステムの自由形状光学要素の部分概略図を図示する。 図５は、いくつかの実施形態における、タイル式配置におけるいくつかの自由形状光学要素の水平視野（ＦＯＶ）の略図を示す。 図６は、いくつかの実施形態における、水平タイル式配置における２つの自由形状光学要素の垂直および水平視野（ＦＯＶ）の略図を図示する。 図７は、いくつかの実施形態における、水平タイル式配置における２つの自由形状光学要素の垂直および水平視野（ＦＯＶ）の別の略図を図示する。 図８は、いくつかの実施形態における、水平タイル式配置における２つの自由形状光学要素の垂直および水平視野（ＦＯＶ）の別の略図を図示する。 図９Ａは、いくつかの実施形態における、タイル式配置の自由形状光学要素内の一次表示デバイスの簡略化された略図を図示する。 図９Ｂは、いくつかの実施形態における、タイル式配置の自由形状光学要素内の一次表示デバイスの別の簡略化された略図を図示する。 図９Ｃは、いくつかの実施形態における、タイル式配置の自由形状光学要素内の一次表示デバイスの別の簡略化された略図を図示する。 図１０Ａは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの簡略化された略図を図示する。 図１０Ｂは、いくつかの実施形態における、自由形状光学システムを有する別の可変焦点合わせ表示システムの別の簡略化された略図を図示する。 図１１Ａは、いくつかの実施形態における、従来の２次元ディスプレイと比較したライトフィールドディスプレイの簡略化された表現を図示する。 図１１Ｂは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、光線の方向の関数として、光線の放射輝度および色を変調する、自由形状光学を伴うライトフィールドディスプレイの簡略化された略図を図示する。 図１１Ｃは、いくつかの実施形態における、図１１Ｂ内のライトフィールドディスプレイのためのディスプレイ源の簡略化された略図を図示する。 図１１Ｄは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、光線の方向の関数として、光線の放射輝度および色を変調する、自由形状光学を伴うライトフィールドディスプレイの別の簡略化された略図を図示する。 図１２Ａは、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法の高レベル流れ図を図示する。 図１２Ｂ−Ｅは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。 図１２Ｂ−Ｅは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。 図１２Ｂ−Ｅは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。 図１２Ｂ−Ｅは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。 図１３Ａは、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成する方法の高レベル流れ図を図示する。 図１３Ｂは、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。 図１３Ｃ−Ｄは一緒に、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成するためのプロセスの流れ図を図示する。 図１３Ｃ−Ｄは一緒に、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成するためのプロセスの流れ図を図示する。 図１４Ａは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の高レベル流れ図を図示する。 図１４Ｂは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法のより詳細な流れ図を図示する。 図１４Ｃ−Ｄは一緒に、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の別のより詳細な流れ図を図示する。 図１４Ｃ−Ｄは一緒に、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の別のより詳細な流れ図を図示する。

本発明の種々の実施形態は、単一の実施形態またはいくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法、システム、および製造品を対象とする。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

開示されるのは、仮想および拡張現実用途だけではなく、ニアアイ（ｎｅａｒ−ｔｏ−ｅｙｅ）ディスプレイ、コンピューティング、およびディスプレイ用途、またはさらにテキスト専用ディスプレイ等の他の用途のためにも非常に好適である視覚的ディスプレイのための方法およびシステムである。いくつかの実施形態は、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのシステムを対象とする。いくつかの実施形態では、システムは、介在要素を伴わずに直接的に、もしくは１つ以上の介在要素を用いて間接的にユーザの眼のための１つ以上の一次自由形状光学要素の中に光線を投入する画像源を含み得る。一次自由形状光学要素は、いくつかの実施形態では、折り曲げミラーおよび１つ以上の中継レンズと結合される楔形状の自由形状光学要素を含み得る。いくつかの他の実施形態では、一次自由形状光学要素は、自由形状導波管を含み得る。一次自由形状光学要素は、１つ以上の屈折表面と、１つ以上の反射表面とを備え、投入された光線が、最後に一次自由形状光学要素を出て仮想表示コンテンツを形成する前に、これらの表面間で偏向または反射することを可能にする。

これらの１つ以上の屈折表面もしくは１つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および／または厚さ、透過係数もしくは曲線、１つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一もしくは異なる表面特性を有し得る。システムは、タイル式自由形状光学表示システムを形成するために、１つ以上の一次自由形状光学要素に動作可能に結合され、水平視野（ＦＯＶ）および／または垂直視野を拡張する１つ以上の二次自由形状光学要素をさらに含み得る。システムはまた、画像源、１つ以上の一次自由形状光学要素、および／もしくは１つ以上の二次自由形状光学要素に動作可能に結合された光学結合レンズまたは光学結合レンズ群を含み得、それらは、光線を中継または結合し、かつ、１つ以上の一次および／もしくは二次自由形状光学要素を通過する画像源から投入された光線と実世界場面からの光線とのある特性を補正もしくは改良する。

いくつかの実施形態では、自由形状光学表示システムは、自由形状光学要素を含み得る。自由形状光学要素は、１つ以上の屈折表面および１つ以上の反射表面を有する導波管を含み、投入された光線が、最後に、一次自由形状光学要素から出て仮想表示コンテンツを形成する前に、これらの表面間で偏向または反射することを可能にし得る。これらの１つ以上の屈折表面もしくは１つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および／または厚さ、透過係数または曲線、１つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一または異なる表面特性を有し得る。

システムはまた、仮想表示コンテンツをレンダリングするために、光線を自由形状光学要素の中に投入するための画像源を含み得る。これらの実施形態のいくつかでは、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、単一の焦点面の焦点距離を変化させる可変焦点合わせシステムを含み得る。いくつかの他の実施形態では、システムは、無明滅レートで複数の焦点面を切り替え、仮想表示コンテンツの少なくとも一部を焦点を合わせてレンダリングする可変焦点合わせシステムを含み得る。システムは、仮想表示コンテンツまたはそれらのそれぞれの部分を複数の焦点面のうちのいくつかの焦点面上に並行してレンダリングし得る。

システムは、遠近調節−収束衝突を解決するために、遠近調節キュー（ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｕｅ）または収束キュー（ｃｏｎｖｅｒｇｅｎｃｅ ｃｕｅ）を固定された距離値に結び付けずに、可変焦点合わせシステムを採用し、変化する焦点距離を用いて遠近調節キューおよび収束キューの両方をアドレスする。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得る。

いくつかの実施形態では、自由形状光学表示システムは、コンピューティングデバイスを含み、コンピューティングデバイスは、自由形状光学表示システムを用いてオブジェクトに対する仮想コンテンツ表示を再現するために、オブジェクトから反射されるかまたはオブジェクトに対して人工的に作成され、記録された光サンプルから適切な光線を決定する。自由形状光学表示システムは、光線を形成する放射輝度および／または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および、画像プロジェクタが、対応する光線を投影し、ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）をレンダリングする場所を決定し得る。自由形状光学表示システムは、次いで、その対応する画像プロジェクタを用いて、種々の光線を投影し、ライトフィールドを合成し得る。

自由形状表示システムは、一次自由形状光学要素と、１つ以上の二次自由形状光学要素とを含み、仮想または拡張現実のための仮想コンテンツを表示するために、自由形状表示システムの水平視野（ＦＯＶ）または垂直視野を拡張させ得る。一次自由形状および１つ以上の二次自由形状光学要素は、タイル式配置で配置され得る。自由形状表示システムはさらに、可変焦点合わせシステムを含み、中間瞳を生成し得る。可変焦点合わせシステムは、いくつかの実施形態では、単一の焦点面の焦点距離を変化させ得るか、または、いくつかの他の実施形態では、遠近調節−収束衝突を解決しながら、オブジェクトを焦点を合わせてレンダリングするために、複数の焦点面を切り替え得る。自由形状表示システムは、いくつかの実施形態では、光サンプルを物理的空間において適切な光線にマップし、プロジェクタのクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツのライトフィールドを生成し得る。自由形状光学表示システムを作製または使用する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

自由形状表示システムは、一次自由形状光学要素と、１つ以上の二次自由形状光学要素とを含み、仮想または拡張現実のための仮想コンテンツを表示するために、自由形状表示システムの水平視野（ＦＯＶ）または垂直視野を拡張させ得る。一次自由形状および１つ以上の二次自由形状光学要素は、タイル式配置で配置され得る。自由形状表示システムはさらに、可変焦点合わせシステムを含み、中間瞳を生成し得る。可変焦点合わせシステムは、いくつかの実施形態では、単一の焦点面の焦点距離を変化させ得るか、または、いくつかの他の実施形態では、遠近調節−収束衝突を解決しながら、オブジェクトを焦点を合わせてレンダリングするために、複数の焦点面を切り替え得る。自由形状表示システムは、いくつかの実施形態では、光サンプルを物理的空間において適切な光線にマップし、プロジェクタのクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツのライトフィールドを生成し得る。自由形状光学表示システムを作製または使用する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素（または方法もしくはプロセス）のそれらの部分のみ、説明され、そのような公知の構成要素（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。

仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステムが開示される。図１は、いくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのラップアラウンド式表示システムの概略図を図示する。図１に図示されるこれらの実施形態では、ラップアラウンド式表示システムは、頭部または顔外形１０２の周囲に適合する、単眼または双眼ヒト装着式ディスプレイ眼鏡、頭部搭載式ディスプレイ、またはニアアイディスプレイを含み得る。図１に図示されるような表示システムの双眼バージョンは、一対の光誘導デバイス１０４（以降、自由形状導波管プリズムまたは自由形状光学要素と称される）を含み得、各々は、１つ以上の自由形状屈折表面と、１つ以上の反射表面とを含む。

自由形状光学要素１０４のユーザの眼により近い内側物理的表面およびユーザの眼から離れた外側物理的表面は、いずれの表面においても不連続性を有していない２つの連続した平滑表面を含む。これらの２つの物理的表面の各々は、一組の自由形状表面パラメータによって説明される。自由形状光学要素１０４は、内側表面の一部ではない１つ以上の屈折表面を含み得、１つ以上の屈折表面は、１つ以上の異なる組の表面パラメータによって説明され得る。自由形状光学要素１０４はさらに、１つ以上の反射表面を含み得、１つ以上の反射表面は、内側表面または外側表面の一部であることも、そうでないこともあり、同一または１つ以上の異なる組の表面パラメータによって説明され得る。いくつかの実施形態では、表示システムは、複数の自由形状光学要素を含み得、複数の自由形状光学要素は、タイル式配置で配置され、水平視野、垂直視野、または両方を拡張する、
複数の自由形状光学要素は、自由形状光学要素の１つ以上の水平列を有するアレイで配置され得、水平列の各々は、１つ以上の自由形状光学要素を水平配置で有し、互に連動し、水平視野（故に、対角線視野）を拡張する。アレイが垂直配置で配置される複数の列を含むいくつかの実施形態では、垂直配置における自由形状光学要素はまた、互に連動して機能し、垂直視野（故に、対角線視野）を拡張する。これらの複数の自由形状光学要素は、いくつかの実施形態では、１つ以上の一次自由形状光学要素と、１つ以上の二次自由形状光学要素とを含み得る。いくつかの実施形態では、一次自由形状光学要素は、垂直配置（例えば、図３に示される垂直配置）または水平配置（例えば、図２に示される配置）における自由形状導波管を含み得る。いくつかの他の実施形態では、一次自由形状光学要素は、折り畳まれた配置において自由形状楔と、１つ以上の中継レンズとを含み得る（例えば、図９Ａ−Ｂに示される自由形状楔および中継レンズ）。複数の自由形状光学要素はまた、いくつかの実施形態では、自由形状導波管または自由形状楔を含み得る、１つ以上の二次自由形状光学要素を含み得る。

表示システムはまた、光を画像源１１０（例えば、プロジェクタの束）から導波管プリズム１０４の中に適切に投入するための１つ以上の追加の結合光学要素（例えば、結合レンズ１０８、焦点合わせ要素１０６、および／もしくは１つ以上の中継レンズ等）を含み得る。自由形状導波管プリズムおよび結合光学の場所および表面の幾何学的外形は、視認者が画像源１１０から表示されるコンテンツの鮮明かつ拡大された画像を見ることが可能であるように設計され得る。画像源１１０は、微小ディスプレイパネルと、微小ディスプレイ表面において光のテレセントリック性を達成するために使用されるフィールドレンズとを含み得る。

微小ディスプレイパネルは、反射型微小ディスプレイ（例えば、：ＬＣｏＳまたは反射型液晶、ＦＬＣｏＳまたは強誘電反射型液晶、もしくはＤＭＤまたはデジタルＭｉｃｒｏミラーデバイスパネル）または透過型微小ディスプレイ（例えば、：ＬＣＤまたは液晶ディスプレイパネル）または自己放出型微小ディスプレイ（例えば、：ＯＬＥＤまたは有機発光ダイオードパネル）のいずれかであり得る。反射型微小ディスプレイパネルが使用されるいくつかの実施形態では、１つ以上のビームスプリッタ（図示せず）が、照明経路を導入するために、フィールドレンズ（図示せず）の後に使用され得る。画像源１１０と自由形状光学要素１０４との間に、表示システムはさらに、結合レンズ１０８を含み、光学収差を補正し、画像品質を改善し得る。焦点合わせ要素１０６は、いくつかの実施形態では、液体レンズを含む、多焦点要素であり得る。

焦点合わせ要素１０６（例えば、液体レンズ）はまた、１つ以上の結合レンズを含み得る結合レンズ群１０８に統合され得る。いくつかの他の実施形態では、焦点合わせ要素１０６は、変形可能膜ミラー（ＤＭＭ）と、ビーム分割デバイスとを含み得、ビーム分割デバイスは、結合レンズ群（例えば、結合レンズ群１０８）に結合され、表示コンテンツを画像源１１０から受信し、表示コンテンツを自由形状要素に渡す。焦点合わせ要素についてのさらなる詳細は、図１０Ａ−１０Ｂを参照して後続段落に説明されるであろう。

いくつかの実施形態では、二次ディスプレイは、アドレス可能焦点合わせ機能性を有することも、有しないこともある。アドレス可能焦点合わせ機能性が要求または所望されないこともあるこれらの実施形態のいくつかでは、二次ディスプレイは、より大きい全体的視野（ＦＯＶ）、より軽い重量、および／またはよりコンパクトなサイズに有利になるように実装され得る。

図１に図示されるこれらの実施形態では、画像源１１０から発生する光線は、屈折表面１１２を通して自由形状光学要素１０４に進入し、自由形状光学要素１０４の内側表面および外側表面によって３回反射され、次いで、屈折表面１２０を通して伝送され、射出瞳１２２に到達する。これらの実施形態では、３回の反射のうち、表面１１４および１１６からの反射は、ＴＩＲ条件を満たし得、外側表面上の表面１１８からの反射は、ＴＩＲ条件を満たさないこともある。表面１１８からの反射のための反射効率を増加させるために、半透明コーティングを外側表面１１８に塗布することが要求または所望され得る。表面１１４からの反射のためのＴＩＲ条件を維持するために、誘電コーティングが、いくつかの実施形態では、表面１１４に塗布され得る。眼鏡形状因子を確実にするために、自由形状光学要素の内側表面は、いくつかの実施形態では、事前に画定された曲線に近いように拘束され得る。

自由形状光学要素がシースルー光学要素を備えているいくつかの実施形態では、頭部搭載式表示デバイスのシースルー経路は、自由形状光学要素１０４と、自由形状光学要素１０４の外部表面に分離可能または分離不能に取り付けられ得る自由形状シースルー補償レンズ（例えば、図４の参照番号４０８）とを含む。１つ以上の自由形状屈折表面を含む、シースルー補償レンズは、超広角シースルー視野にわたる周囲環境の適切な視認を提供し得る。自由形状光学要素１０４およびシースルー補償レンズはまた、ヒト頭部の人間工学的因子（例えば、頭部または顔外形１０２）と人間工学的に適合するように適切に設計され、眼鏡形態またはヘルメット形態外観、広角シースルー視野、および優れた光学性能を有し得る、軽量、薄型外形、コンパクト、かつシースルーの表示システムのラップアラウンド式設計を可能にし得る。

１つ以上の自由形状屈折表面を含む、補償レンズは、超広角視野にわたる周囲環境の適切な視認を提供する。補償レンズの表面は、補償レンズが自由形状光学要素（例えば、図１の１０４）と組み合わせられると、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるように向上もしくは最適化され得る。自由形状光学要素１０４の取り付けられた表面上の反射が自由形状光学要素１０４内の仮想画像ディスプレイ経路に沿ったＴＩＲ（全内部反射）条件を満たす、いくつかの実施形態では、自由形状光学要素１０４と補償レンズとの間に小空気間隙を維持することが要求または所望され得る。

いくつかの実施形態は、表示システム内にシースルー能力を提供し、ユーザが、視認光学（例えば、自由形状光学要素１０４および自由形状シースルー補償レンズ）を通したユーザの周囲環境と表示デバイス上に表示されるコンテンツとを視認することを可能にする。これらの実施形態のいくつかでは、表示システムは、仮想ビューのＦＯＶより実質的に大きくあり得る（例えば、水平、垂直、または対角線ＦＯＶにおいて１５度を上回ってより大きい）、シースルー視野（ＦＯＶ）をもたらす。この実質的により大きいＦＯＶは、例えば、画像源１１０を頭部の片側により近くなるように移動させ、自由形状光学要素１０４の鮮明な光学開口を拡張すること、自由形状光学要素１０４および補償レンズ上の表面を制御し、光線シフトおよび歪を補正すること、ならびに／または大きなＦＯＶにわたる高シースルー性能を確実にすることを含むいくつかの機構によって提供され得る。

これらの実施形態のいくつかでは、シースルーＦＯＶは、水平方向に１２０度および垂直方向に８０度程度に拡張し得る。表示デバイスのＦＯＶを通したシースルーは、いくつかの実施形態では、ヒトの眼の視野に一致するように拡張され得る。いくつかの実施形態では、画像源上の同一点からの光線は、自由形状光学要素１０４の内側で少なくとも１回交差し得る。光線の交差は、自由形状光学要素１０４内に仮想ディスプレイの中間画像または中間瞳を形成するが、光線交差点は、自由形状光学要素１０４内の光経路の複雑性に起因して、良好に形成されない場合がある。

いくつかの実施形態では、表示デバイスの仮想画像経路は、表示コンテンツを供給するための画像源１１０（例えば、プロジェクタの束、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＤＬＰまたはデジタル光処理等）と、それを通してユーザが表示コンテンツの拡大された画像を視認する人間工学的に成形されたディスプレイ視認光学とを含み得る。ディスプレイ視認光学は、１つ以上の自由形状屈折表面と１つ以上の反射表面とを含む１つ以上の自由形状光学要素を含み得、追加の結合光学も含み得る。導波管プリズムは、ユーザが知覚するための画像を拡大する、ニアアイ視認光学としての役割を果たし得る。

画像源１１０から放出される光線は、自由形状光学要素１０４の第１の屈折表面を介して、自由形状光学要素１０４の中に投入される。光線は、直接画像源１１０から直接的に、または結合レンズ群（例えば、結合レンズ１０８、焦点合わせ要素１０６、および／または１つ以上の中継レンズ等）を通して、プリズムの中に投入され得る。投入された光線は、反射（典型的には、３回以上の反射）を介して、自由形状光学要素１０４を通して伝搬し、次いで、自由形状光学要素１０４の第２の屈折表面を介して、自由形状光学要素１０４から出て結合される。出て行く光線は、伝搬し続け、ユーザが仮想表示コンテンツを視認するためにその眼を向ける、システムの射出瞳に到達する。

光が自由形状光学要素１０４を通して伝搬するとき、反射表面上の全内部反射（ＴＩＲ）条件が満たされる場合、反射を通した光損失は、低減または最小化され得る。したがって、これらの例証される実施形態のいくつかでは、厳密に要求されるわけではないが、反射の全部または大部分がＴＩＲ条件を満たすことが所望される。但し、いくつかの実施形態では、反射表面のうちのいくつか上のＴＩＲ条件を妥協することによって、導波管プリズムの薄型設計を達成することが望ましくあり得る。ＴＩＲ条件が満たされない、デバイスの指定されたシースルーＦＯＶの内側に位置する反射表面のために、半透明コーティングがこれらの表面に塗布され、光学シースルー能力を促進しながら、画像源ユニット１１０から十分な光が射出瞳に到達し、十分に輝度のある画像を生成することを確実にし得る。

表示デバイスのシースルーＦＯＶの外側の反射表面のために、ＴＩＲ条件が満たされない場合、高反射コーティングが、自由形状光学要素１０４の外部表面のうちの少なくともいくつかに塗布され、光損失を低減または最小化し得る。いくつかの実施形態では、画像源１１０は、限定ではないが、反射型液晶（ＬＣｏＳ）表示デバイス、液晶ディスプレイ（ＬＣＤ）パネル、有機発光ディスプレイ（ＯＬＥＤ）、強誘電反射型液晶（ＦＬＣｏＳ）デバイス、デジタルミラーデバイス（ＤＭＤ）、前述のこれら上に構築される微小プロジェクタまたはピコプロジェクタ、レーザプロジェクタまたはファイバスキャナの束等のプロジェクタの束、もしくは任意の他の好適なタイプの微小表示デバイスを含む、画像源として役立ち得る任意のタイプの自己放出または照明型ピクセルアレイを含み得る。

いくつかの実施形態では、自由形状光学要素１０４は、自由形状光学要素１０４内に、ディスプレイＦＯＶからの画像源１１０のシフトを可能にする、長い光学経路を含み得る。ディスプレイＦＯＶからの画像源１１０のこのシフトは、画像源をユーザの前額部またはユーザの頭部の片側に設置し得、例えば、ＨＭＤシステムの正面重量を低減させることによって、より優れた重量平衡を達成し、故に、システムの人間工学的適合を改良し得る。ディスプレイＦＯＶからの画像源１１０のこのシフトは、結合レンズおよびディスプレイをヒトの自然視野から移動させることによって、システム全体の達成可能シースルーＦＯＶを増加させ得る。

加えて、または代替として、自由形状光学要素１０４の形状は、より優れた最適な人間工学的適合のために、ヒト頭部（例えば、頭部または顔曲線もしくは外形１０２）の自然曲線または外形に近いように設計され得る。例えば、自由形状光学要素１０４の形状は、いくつかの実施形態では、一対の８ベースカーブ眼鏡の曲率に近いように湾曲させられ得、自由形状光学要素１０４の形状は、いくつかの他の実施形態では、一対の４ベースカーブ眼鏡の形状因子にほぼ従い得る。さらに、視認方向における自由形状光学要素１０４および補償レンズの全体的厚さは、より薄い光学外形（例えば、３０ｍｍ未満）を達成し、より優れた人間工学的適合およびより魅力的眼鏡状スタイルをもたらす、光学シースルー表示システムのラップアラウンド式設計を達成するように制御され得る。

いくつかの実施形態では、表示システムは、画像源の束を含み、各光サンプルを物理的空間における適切な光線にマップし、適切な光線から放射輝度および／または深度を含む情報を抽出し、立体画像をレンダリングすることによって、ライトフィールドを合成し得る。

図２は、いくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するための水平搭載式システムの部分概略図を図示する。これらの実施形態では、表示システムは、重量分布をユーザの頭部の片側により近くなるようシフトさせるように水平に搭載され得る。より具体的には、表示システムは、自由形状光学要素２０２と、焦点合わせシステム２０４と、結合レンズシステム２０６と、画像源２０８とを含む。図２が示すように、焦点合わせシステム２０４、結合レンズシステム２０６、ならびに画像源２０８は、ユーザの頭部の片側にシフトされ、これらのシステムが視野を遮断することを防止し、さらに、表示システムの重量分布を後側にシフトさせ、より優れた快適性のために、正面が重くなる構成を防止する。

この例証的構成では、画像源２０８（例えば、プロジェクタの束、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＤＬＰまたはデジタル光処理等）は、光線シフトおよび歪を補正し、ならびに／または大きなＦＯＶにわたり高性能を確実にし得る結合レンズシステム２０６の中に表示コンテンツの光線を投入する。結合レンズシステム２０６は、焦点合わせシステム２０４に動作可能に結合され、焦点合わせシステムは、単一の焦点面の仮想表示コンテンツの焦点距離を調節することによって、または異なる焦点距離において複数の焦点面（例えば、６〜２０）を切り替えることによって、表示コンテンツの焦点距離を変化させ得る。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得る。システムは、これらの実施形態のいくつかでは、個々に、またはいくつかの他の実施形態では、これらの焦点面のうちの少なくとも２つを並行してのいずれかにおいて、これらの複数の焦点面をレンダリングし得る。

すなわち、焦点合わせシステム２０４は、遠近調節キューと収束キューとを分断するのではなく、単一の焦点面の焦点距離の動的アドレス能力を提供するか、または無明滅レートで仮想表示コンテンツ内の仮想オブジェクトを複数の焦点面上に並行してレンダリングすることによって、遠近調節キューを固定された焦点距離に結び付けずに遠近調節キューを強いることなく、遠近調節キューと収束キューとを結合し得る。表示システムが、仮想表示コンテンツを複数の焦点面上に並行してレンダリングする、いくつかの実施形態では、２つの直接近隣する焦点面間の分離は、１／７ジオプトリーである。自由形状光学要素２０２は、図１の参照番号１０４と実質的に類似または同じであり、補償レンズも、図１に示されない。焦点合わせシステム２０４は、いくつかの実施形態では、液体ミラーまたは変形可能膜ミラー（ＤＭＤ）を含み得る。

可変深度の知覚を作成するための２つの主な方法がある。すなわち、複数平面焦点システムおよび可変焦点システムである。複数平面焦点システムでは、システムは、画像をｚ方向に固定された深度平面上に投影可能である。可変焦点システムでは、システムは、限定数の深度平面を投影するが、深度平面を空間内で移動させ、３Ｄ知覚を作成する。いくつかの実施形態では、仮想または拡張現実システムは、少なくとも１つの画像生成プロセッサと、少なくとも１つの空間光変調器と、複数のレンズ／光学要素と、１つ以上のビームスプリッタと、１つ以上の可変焦点要素とを含み得る。

画像生成プロセッサは、ユーザに最終的に表示されるべき仮想コンテンツの生成に関与する。画像生成プロセッサは、仮想コンテンツに関連付けられた画像またはビデオを３次元空間内でユーザに投影され得るフォーマットに変換し得る。例えば、３Ｄコンテンツを生成することにおいて、仮想コンテンツは、特定の画像の一部が特定の深度平面上に表示される一方、他が他の深度平面上に表示されるようにフォーマットされる必要があり得る。または、画像は全て、特定の深度平面に生成され得る。または、画像生成プロセッサは、一緒に視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に見えるように、若干異なる画像を右および左眼にフィードするようにプログラムされ得る。

画像生成プロセッサはさらに、メモリと、ＣＰＵ（中央処理ユニット）と、ＧＰＵ（グラフィック処理ユニット）と、画像生成および処理のための他の回路とを含み得る。画像生成プロセッサは、プログラムされ得、所望の仮想コンテンツが、仮想または拡張現実システムのユーザに提示される。いくつかの実施形態では、画像生成プロセッサは、装着式仮想または拡張現実システム内に格納され得ることを理解されたい。他の実施形態では、画像生成プロセッサおよび他の回路は、装着式光学に結合される、ベルトパック内に格納され得る。

焦点合わせ要素（１０６および２０４）は、空間光変調器から生成される投影された光の焦点を所望の深度平面上に合わせるために構成される可変焦点要素（ＶＦＥ）を備えている。ＶＦＥは、多焦点および可変焦点合わせシステムの両方において使用され得ることを理解されたい。したがって、ＶＦＥは、複数のレンズおよびミラーとともに、ユーザの眼に３次元オブジェクトとして知覚されるように、所望の深度平面において、仮想オブジェクトに関連付けられた光を投影するために構成され得る。

可変焦点レンズ要素は、液晶レンズ、電気活性レンズ、可動要素を伴う従来の屈折レンズ、機械的変形ベースのレンズ（可撓性要素が１つ以上のアクチュエータによって撓曲および弛緩され得る、流体充填膜レンズまたはヒトの水晶体に類似するレンズ等）、電気湿潤レンズ、または異なる屈折率を伴う複数の流体等の屈折要素であり得る。可変焦点要素はまた、切り替え可能回折光学要素（ポリマー材料等のホスト媒体が材料内に分散された液晶の微小液滴を有し、電圧が印加されると、その屈折率がもはやホスト媒体のものと一致しないように、分子が再配向し、それによって、高周波数切り替え可能回折パターンを作成する、ポリマー分散液晶アプローチを特徴とするもの等）を備え得る。

一実施形態は、ニオブ酸リチウム等のカー効果ベースの電気活性材料の微小液滴が、ホスト媒体内に分散され、ファイバ走査式ディスプレイまたは走査ミラーベースのディスプレイ等の走査光ディスプレイと結合されると、ピクセルごとまたは線ごとの画像情報の再焦点合わせを可能にする、ホスト媒体を含む。液晶、ニオブ酸リチウム、または他の技術がパターンを提示するために利用される、可変焦点要素構成では、パターン間隔は、可変焦点レンズ要素の焦点力を変化させるだけではなく、さらに、ズームレンズタイプの機能性のために、全体的光学系の焦点力を変化させるために変調され得る。

一実施形態では、複数のレンズは、写真撮影用のズームレンズが焦点をズーム位置から切り離すように構成され得るものと同一方法で、表示画像の焦点が倍率を一定に保ちながら変えられることができるという点において、テレセントリックであり得る。別の実施形態では、レンズは、焦点変化がまた、ズーム変化も伴うであろうように、非テレセントリックであり得る。そのような構成では、そのような倍率変化は、焦点変化と同期するグラフィックシステムからの出力の動的スケーリングを用いて、ソフトウェアにおいて補償され得る。

いくつかの実施形態では、種々のタイプの格子が、種々の焦点要素を実装するために使用され得る。例えば、代理人事件番号ＭＬ３００１６．００下で２０１４年５月３０日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＭＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された米国仮特許出願第６２／００５，８０７号に説明されるＯＰＥ（直交瞳エキスパンダ）格子およびＥＰＥ（射出瞳エキスパンダ）格子が、ＶＦＥを実装するために使用され得る。より具体的には、ＯＰＥ格子およびＥＰＥ格子は、いくつかの実施形態では、折り畳まれたまたは重ね合わせられた様式で層の両側に配置され得る。いくつかの他の実施形態では、ＯＰＥ格子およびＥＰＥ格子は、単一の一体型で空間的に一致する入射層内に配置および記録され、ＯＰＥ格子およびＥＰＥ格子の両方の機能を有する多重化層を形成し得る。前述の複数のそのような層は、互の上にスタックされ、多平面構成を形成し得、各層は、そのそれぞれの焦点距離に関連付けられたそのそれぞれの焦点面をホストし得る。

用語「格子」の使用は、「格子」内の回折構造が、線形回折要素または構造のみを含むことを含意もしくは示唆するものではないことに留意されたい。むしろ、格子（例えば、ＥＰＥ格子、ＯＰＥ格子等）は、線形回折構造、円形回折構造、放射対称回折構造、または任意のそれらの組み合わせを含み得る。ＯＰＥ回折要素およびＥＰＥ回折要素は、光ビームを偏向させることおよび光ビームの焦点を合わせることの両方を行うための線形格子構造および円形または放射対称構造の両方を含み得る。

多平面構成は、より大きい焦点範囲を提供し得、多平面構成内の各層は、オンおよびオフに動的に切り替えられ、視認者に対して異なる焦点距離で見える画像を提示し得る。可変焦点合わせ要素またはシステムについてのさらなる詳細は、２０１４年５月３０日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＣＲＥＡＴＩＮＧ ＦＯＣＡＬ ＰＬＡＮＥＳ ＩＮ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＵＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された米国仮特許出願第６２／００５，８３４号、および代理人事件番号ＭＬ３００１６．００下で２０１４年５月３０日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＵＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された米国仮特許出願第６２／００５，８０７号に説明される。

図３は、いくつかの実施形態における、仮想および／または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するための垂直搭載式システムの部分概略図を図示する。これらの実施形態では、表示システムは、垂直に搭載され、ユーザの頭部の周囲に適合し得る。より具体的には、表示システムは、自由形状光学要素３０８と、焦点合わせシステム３０６と、結合レンズシステム３０４と、画像源３０２とを含む。この例証的構成では、画像源３０２（例えば、プロジェクタの束、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＬＣＤベースのＤＬＰまたはデジタル光処理等）は、光線シフトおよび歪を補正し、および／または大きなＦＯＶにわたる高性能を確実にし得る結合レンズシステム３０４の中に表示コンテンツの光線を投入する。

結合レンズシステム３０４はさらに、焦点合わせシステム３０６に動作可能に結合され得、焦点合わせシステムは、単一の焦点面の焦点距離を調節することによって、または、異なる焦点距離における複数の焦点面焦点面を切り替え、仮想表示コンテンツを複数の焦点面の上にレンダリングすることによって、表示コンテンツの焦点距離をアドレスし得る。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得、システムは、いくつかの実施形態では、個々に、またはいくつかの他の実施形態では、これらの焦点面のうちの少なくとも２つ上に並行して、仮想コンテンツをこれらの複数の焦点面上にレンダリングし得る。自由形状光学要素３０８は、出力光線の射出瞳３１０がユーザの眼を覆うように考案され得る。図３に示されるものと実質的に類似する構成を採用する具体的実施形態の１つでは、射出瞳直径は、１０ｍｍであり得、対角線視野は、５０度であり得、水平視野は、４４．２３度であり得、垂直視野は、２５．７５度であり得る。

図９Ａは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの簡略化された略図を図示する。これらの実施形態では、表示システムは、図９Ａに示されるように、垂直に搭載され、ユーザの頭部の周囲に適合するか、または図２に示されるように、水平に搭載され得る。より具体的には、表示システムは、一次自由形状光学要素９０８と、焦点合わせシステム９０６と、結合レンズシステム９０４と、画像源９０２とを含む。これらの図示される実施形態では、画像源９０２（例えば、プロジェクタの束、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＤＬＰまたはデジタル光処理等）は、光線シフトおよび歪を補正し、ならびに／または大きなＦＯＶにわたる高性能を確実にし得る、結合レンズシステム９０４の中に表示コンテンツの光線を投入する。

結合レンズシステム９０４はさらに、焦点合わせシステム９０６に動作可能に結合され得、焦点合わせシステムは、単一の焦点面の焦点距離を調節することによって、または異なる焦点距離において複数の焦点面焦点面を切り替え、仮想表示コンテンツを焦点面の上にレンダリングすることによって、表示コンテンツの焦点距離をアドレスし得る。いくつかの実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変更またはアドレスする可変焦点合わせシステムを含み得る。一次自由形状光学要素９０８は、出力光線の射出瞳９１０がユーザの眼を覆うように考案され得る。

図９Ｂは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの別の簡略化された略図を図示する。図９Ｂに図示されるこれらの実施形態では、表示システムは、光線を第１の中継レンズ９３４の中に投入する画像源９３２（例えば、プロジェクタの束、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＤＬＰまたはデジタル光処理等）を含み得る。第１の中継レンズ９３４は、仮想表示コンテンツの焦点距離を調節する可変焦点合わせシステム９３６に動作可能に結合される。

可変焦点合わせシステム９３６は、単一の焦点面の仮想表示コンテンツのための焦点距離を調節するか、または異なる焦点距離における複数の焦点面（例えば、６〜２０）焦点面を切り替え、仮想コンテンツを焦点面の上にレンダリングし得る。可変焦点合わせシステム９３６は、したがって、単一の焦点面の焦点距離の動的アドレス能力を提供するか、または無明滅レートで、仮想表示コンテンツ内の仮想オブジェクトを複数の焦点面上に並行してレンダリングすることによって、遠近調節キューを固定された焦点距離に結び付けずに遠近調節キューを強いることなく、遠近調節キューおよび収束キューを、分断するのではなく、結合し得る。表示システムが、仮想表示コンテンツを複数の焦点面上に並行してレンダリングするいくつかの実施形態では、２つの直接近隣する焦点面間の分離は、１／７ジオプトリーである。

可変焦点合わせシステム９３６はさらに、反射体９４０上に光線を伝送する第２の中継レンズ９３８に動作可能に結合され、さらに、反射体９４０は、光線を自由形状楔または自由形状楔形状の光学要素９４２（以降、集合的に、自由形状楔）の中に結合する。いくつかの実施形態では、反射体９４０は、折り曲げミラーアセンブリを含み得る。自由形状楔９４２は、前述の自由形状光学要素に関して説明されたものと実質的に類似する様式で機能する。光線は、自由形状楔９４２内の１つ以上の屈折表面と１つ以上の反射表面との間を伝搬する。

自由形状楔９４２は、射出瞳９４２を生成するために、これらの１つ以上の屈折表面および１つ以上の反射表面のための適切な表面パラメータとともに考案され得る。第１の中継レンズ９３４および中継レンズ９３８の各々は、単一の中継レンズまたはレンズ群を含み、画像を反転させ得る。中継レンズは、したがって、１つ以上の従来のレンズ、色収差補正ダブレット、または円筒形勾配屈折率レンズを含み得る。第１および第２の中継レンズ９３４ならびに９３８は、表示システムのための中間焦点面を生成するために使用され得る。

図９Ｃは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの別の簡略化された略図を図示する。これらの実施形態では、画像源９３２は、仮想表示コンテンツの焦点距離を変化させる可変焦点合わせシステム９３６に動作可能に結合される第１の中継レンズ９３４を通して光線を投入し得る。

可変焦点合わせシステム９３６は、仮想表示コンテンツのための立体視のために、単一の焦点面の仮想表示コンテンツのための焦点距離を変化させるか、または異なる焦点距離における複数の焦点面（例えば、６〜２０）焦点面を切り替え、仮想コンテンツを焦点面の上にレンダリングし得る。光線はさらに、光線を自由形状楔９４２の中に反射および結合する反射体９４０（例えば、折り曲げミラーアセンブリ）に動作可能に結合される第２の中継レンズ９３８に伝送される。反射体９４０は、ゴーグルまたは眼鏡状外観に有利に働くように、光学経路を前額部から眉毛に沿って頭部の片側へ折り曲げ、または転換させる。自由形状楔９４２は、前述の自由形状光学要素に関して説明されるものと実質的に類似する様式で機能する。

加えて、または代替として、補償レンズ要素９４６は、自由形状楔９４２に取り付けられ、補償レンズが自由形状光学要素（例えば、自由形状楔９４２）と組み合わせられると、超広角シースルー視野にわたり、周囲環境の適切な視認を提供し、および／または実世界場面から光線に導入されるシフトおよび歪を最小化または低減させ得る。光線は、自由形状楔９４２内の１つ以上の屈折表面と１つ以上の反射表面との間で伝搬する。自由形状楔９４２は、射出瞳９４２を生成するために、これらの１つ以上の屈折表面および１つ以上の反射表面のための適切な表面パラメータとともに考案され得る。

図１０Ａは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの簡略化された略図を図示する。これらの実施形態では、可変焦点合わせ表示システムは、プロジェクタの束（例えば、ピコプロジェクタ、レーザプロジェクタ等）、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＬＣＤベースのＤＬＰまたはデジタル光処理等のうちの１つ以上のものを含み得る、画像源１００２を含み得る。画像源１００２は、結合レンズ群１００４を通して光線を投入し、結合レンズ群は、結合レンズ群１００４内に液体レンズを含み、中間瞳または中間焦点平面１０１０を形成するように考案され得る。

可変焦点合わせ表示システムは、結合レンズ群１００４内の液体レンズの屈折力を変え、液体レンズの焦点距離を変化させ得る。液体レンズの焦点距離の変化は、中間焦点平面１０１０を効果的に移動させる。表示システムはさらに、液体レンズを駆動し、高速かつ連続した焦点制御を生成し、例えば、高速かつ継続的に焦点面を変更しながら、仮想表示コンテンツを生成し得る。光線は、次いで、自由形状光学要素１００６の中に中継され、１つ以上の自由形状屈折表面と１つ以上の自由形状反射表面との間で伝搬し、仮想表示コンテンツを共役された射出瞳１００８に生成する。

図１０Ｂは、いくつかの実施形態における、別の自由形状光学システムを有する可変焦点合わせ表示システムの別の簡略化された略図を図示する。これらの実施形態では、可変焦点合わせ表示システムは、同じまたは実質的に類似する仮想表示コンテンツを射出瞳１００８に生成する自由形状光学要素１００６を含む。

マイクロディスプレイからの光線は、一対の偏光されたビームスプリッタ１０２６（例えば、Ｘキューブビームスプリッタ）の中に伝搬される。ビームスプリッタ１０２６は、最初に、画像源１０２８から可変焦点合わせ機構内の光学１０２２を通して光線を受信し、光線を変形可能膜ミラーまたは変形可能ミラー１０２４に向かわせ、変形可能ミラー１０２４は、光線をビームスプリッタ１０２６に戻るように反射し、ビームスプリッタ１０２６は、次いで、光線を自由形状光学要素１００６の中に中継する。変形可能ミラー１０２４は、波正面制御および他の光学機能（例えば、光学収差の補正等）を達成するように変形させられ得る、表面（図示せず）を有する。可変焦点合わせ表示システムは、変形可能ミラー１０２４の屈折力を変え、変形可能ミラー１０２４の焦点距離を変化させ得る。

変形可能ミラー１０２４の焦点距離の変化は、中間焦点平面を効果的に移動させる。表示システムはさらに、変形可能ミラーを駆動し、高速かつ連続した焦点制御を生成し、例えば、高速かつ継続的に焦点面を変更しながら、仮想表示コンテンツを生成し得る。光線は、自由形状光学要素１００６の中に中継され、１つ以上の自由形状屈折表面と１つ以上の自由形状反射表面との間を伝搬する。光線は、自由形状光学要素１００６内で反射および偏向し、最終的に、仮想表示コンテンツを共役された射出瞳１００８に生成する。

図１１Ａは、いくつかの実施形態における、従来の２次元ディスプレイと比較したライトフィールドディスプレイの簡略化された表現を図示する。光を等方的に放出する従来の２次元ディスプレイ１００２と異なり、ライトフィールドディスプレイは、１１０４に図式的に図示されるように、異なる色および放射輝度の光サンプルを物理的空間内の適切な光線（例えば、それぞれ、赤色、橙色、黄色、緑色、青色、藍色、および紫色における光線に対する１１０６Ｒ、１１０６Ｏ、１１０６Ｙ、１１０６Ｇ、１１０６Ｂ、１１０６Ｉ、１１０６Ｐ）にマップする。

図１１Ｂは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、光線の方向の関数として、光線の色および放射輝度を変調する自由形状光学を伴う、ライトフィールド表示システムの簡略化された略図を図示する。図１１Ｂに図示されるライトフィールドディスプレイは、クラスタ化された光線束の制御を提供し、方向の関数として、その放射輝度および／または色を変調する。図１１Ｂに図示されるこれらの実施形態では、ライトフィールド表示システムは、光線束１１０８、１１１０、および１１１２を処理し、変調された放射輝度および／または色が、１つ以上の画像源１１５０から放出され、１つ以上の結合レンズ１１０３を有する結合レンズ群１１０７の中に伝搬され、１つ以上の結合レンズ１１０３は、光学収差を補正し、画像品質を改善し、および／または中間瞳１１１１を生成する。

光線は、次いで、自由形状光学要素１１１３の中に中継され、種々の表面パラメータを有する、１つ以上の屈折表面と１つ以上の反射表面との間を反射および偏向し、仮想表示コンテンツを共役された射出瞳１１０９に生成する。図１１Ｂに図示されるライトフィールドディスプレイはまた、適切なライトフィールドコンテンツを表示するために、遠近調節キューを固定された焦点距離に結び付ける必要なく、遠近調節−収束衝突を解決し得る。

ライトフィールド表示システムが頭部搭載式ディスプレイまたはヒト装着式ディスプレイとして実装されるいくつかの実施形態では、ライトフィールド表示システムは、遠近調節−収束衝突を解決し、広角視野を提供し（特に、図２−１０Ｂを参照して前述のように、自由形状光学要素のタイル式配置を用いて）、ライトフィールドディスプレイが眼に近接近しているにもかかわらず、ヒトの眼の自然遠近調節範囲内に仮想表示コンテンツ画像を焦点を合わせて生成する。

画像源１１５０は、変調された光線を放出可能であるマイクロディスプレイまたは表示システムである。図１１Ｃは、そのような画像源の一実施例を図示する。より具体的には、図１１Ｃは、画像プロジェクタの束（１１０８Ｃ、１１１０Ｃ、および１１１２Ｃ）を用いて、物理的空間において、仮想表示コンテンツ内の１つ以上のオブジェクトを表す異なる色および放射輝度を有する異なる光サンプルを適切な光線にマップおよび投入する画像源１１５０Ｃの一実施例を図示する。画像プロジェクタの束（１１０８Ｃ、１１１０Ｃ、および１１１２Ｃ）から放出される光線は、一対のフィールドレンズ群を通して一緒に効果的に混合され、結合レンズ１１０３（図１１Ｂ）および中間瞳１１１１Ｃを通して自由形状要素の中に投入される。ライトフィールド表示システムが頭部搭載式ディスプレイまたはヒト装着式ディスプレイとして実装されるいくつかの実施形態では、ライトフィールド表示システムは、画面を必要とせずに、仮想表示コンテンツをユーザの眼に表示する。

図１１Ｄは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、クラスタ化された光線束の位置および／または方向の関数として、クラスタ化された光線束の放射輝度および／または色を変調する、自由形状光学を伴うライトフィールド表示システムの別の簡略化された略図を図示する。図１１Ｄに図示されるこれらの実施形態では、ライトフィールド表示システムは、コンピューティングシステム（図示せず）を含み、コンピューティングシステムは、１つ以上の仮想オブジェクトの異なる色、放射輝度、および／または深度のこれらの光サンプル（仮想オブジェクトが仮想表示コンテンツ内でこれらの光サンプルを放出する）を適切な光線にマップする。ライトフィールド表示システムはさらに、コンピューティングシステムによって制御される画像プロジェクタの束（例えば、１１０８Ｄ、１１１０Ｄ、および１１１２Ｄ）を使用し得、画像プロジェクタの束は、焦点合わせシステムまたは要素を使用せずに、これらのマップされた光線を中間瞳１１１１Ｄを通して自由形状光学要素１１１４Ｄの中に放出し、最後に、仮想表示コンテンツを射出瞳１１１７Ｄに生成する。

いくつかの実施形態では、画像プロジェクタの束内のプロジェクタの数は、要求または所望される分解能、ヒトの眼の角度分解能、もしくは任意の他の適切な要因に少なくとも部分的に基づいて決定され得る。すなわち、ライトフィールド表示システムは、仮想表示コンテンツ内の仮想オブジェクトを再現するために後に使用される光線を記録または生成するとき、第１の光線を放出する仮想オブジェクトの異なる色、放射輝度、および／または深度の光サンプルを変調またはマップすることによって、第１の光線を決定または識別し得る。そのような記録された情報が提供されると、ライトフィールド表示システムは、光線を形成する放射輝度および／または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および画像プロジェクタが、対応する光線を投影し、ライトフィールドをレンダリングする場所を決定し得る。

図５は、いくつかの実施形態における、タイル式配置におけるいくつかの自由形状光学要素の水平視野（ＦＯＶ）の略図を示す。より具体的には、図５は、一次自由形状光学要素５０２および二次自由形状光学要素５０４の水平配置を図示する。一次自由形状光学要素５０２は、アドレス可能焦点能力を伴い、ユーザ眼と心合わせされた自由形状光学システムである。二次自由形状光学要素５０４もまた、アドレス可能焦点能力の有無を問わない、自由形状光学システムであり、一次ディスプレイ５０２の片側に設置される。

一次自由形状光学要素５０２および二次自由形状光学要素５０４は、一次自由形状光学要素５０２の水平視野５０８および二次自由形状光学要素５０４の水平視野５１０からの寄与を含む、拡張された水平視野５０６を一緒に提供する。一実施形態では、一次自由形状光学要素５０２および二次自由形状光学要素５０４のタイル式水平視野は、６０〜１２０度の範囲内にある。

図６は、いくつかの実施形態における、単眼水平タイル式配置での２つの自由形状光学要素の垂直および水平視野（ＦＯＶ）の略図を図示する。略図は、一次自由形状光学要素によって提供される一次視野６１４と、二次自由形状光学要素によって提供される二次視野６１６とを含む。一次自由形状光学要素は、この略図では、ユーザの鼻側６０２の近傍に配置され、二次自由形状光学要素は、ユーザのこめかみ側６０６の近傍に配置される。

この特定の表現では、一次自由形状光学要素および二次自由形状光学要素は、同一視野および縦横比を有する。これらの実施形態では、一次および二次自由形状光学要素は両方とも、垂直視野６０４を有し、垂直視野６０４は、一次および二次自由形状光学要素のタイル式配置の垂直視野でもある。ヒトの眼によって自然に知覚されるように、このタイル式配置の集合水平視野６１２は、鼻水平視野６０８と、こめかみ水平視野６１０とを含み得る。２つの水平タイル式自由形状光学要素は、図６に図示されるような対角線視野６１８を一緒に提供する。

図７は、いくつかの実施形態における、単眼水平タイル式配置での２つの自由形状光学要素の垂直および水平視野（ＦＯＶ）の別の略図を図示する。より具体的には、図７は、一次および二次自由形状光学要素の別のタイル式配置の視野を図示する。一次自由形状光学要素は、鼻側７０２により近くなるように配置され、垂直視野７０４を有する一次視野７１４を提供する。二次自由形状光学要素は、こめかみ側により近くなるように配置され、同様に、垂直視野７０４を有する二次視野７１６を提供する。これらの実施形態では、一次自由形状光学要素は、垂直視野を増加または最大化するように考案される。

二次自由形状光学要素は、一次自由形状光学要素と同一垂直視野７０４を提供するように考案され、水平視野を増加または最大化するように考案される。縦横比、したがって、一次自由形状光学要素によって提供される水平視野に応じて、いくつかの実施形態では、二次自由形状光学要素はまた、一次自由形状光学要素によって提供される水平視野を所望のまたは要求される縦横比に拡張するように考案され得る。二次自由形状光学要素は、一次視野のそれと異なる縦横比を伴う視野を提供し得る。一次および二次自由形状光学要素のタイル式配置視野は、したがって、図７に図示されるような対角線視野７１８を提供する。ヒトの眼によって自然に知覚されるように、集合水平視野７１２は、鼻水平視野７０８と、こめかみ水平視野７１０とを含み得る。

図８は、いくつかの実施形態における、水平タイル式単眼配置での２つの自由形状光学要素の垂直および水平視野（ＦＯＶ）の別の略図を図示する。より具体的には、図８は、一次および二次自由形状光学要素の別のタイル式配置の視野を図示する。一次自由形状光学要素は、鼻側８０２により近くなるように配置され、垂直視野８０４を有する一次視野８１４を提供する。二次自由形状光学要素は、こめかみ側により近くなるように配置され、同様に、垂直視野８２０を有する二次視野８１６を提供する。これらの実施形態では、一次自由形状光学要素は、垂直視野８０４（例えば、約１３５度）を増加または最大化するように考案される。

二次自由形状光学要素は、水平視野を増加または最大化するように考案される。二次自由形状光学要素は、垂直ＦＯＶ８０４に一致することも、一致しないこともある垂直視野８０６を有する二次視野８１６を提供する。第２の自由形状光学要素は、一次自由形状光学要素によって生成されるそれと同一の縦横比を伴う視野を生成し得、またはそうでなくてもよい。但し、一次および二次自由形状光学要素のタイル式配置の対角線視野８１８は、一次自由形状光学要素の垂直視野８０４および集合水平視野８１２によって画定される。ヒトの眼によって自然に知覚されるように、集合水平視野８１２は、鼻水平視野８０８と、こめかみ水平視野８１０とを含み得る。

図４Ａは、いくつかの実施形態における、補償レンズを有する一次表示デバイスの簡略化された略図を図示する。これらの実施形態では、１つ以上の自由形状屈折表面を含む、補償レンズ４０２は、超広角シースルー視野にわたり周囲環境の適切な視認を提供し得る。補償レンズ４０２の表面は、補償レンズ要素４０２が自由形状光学要素（例えば、自由形状楔４１４）とともに機能するとき、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるように向上もしくは最適化され得る。

図４Ｂは、いくつかの実施形態における、一次表示要素、第２の表示要素、および補償レンズ要素の別の簡略化された略図を図示する。より具体的には、図４Ｂは、一次自由形状表示要素４０４Ｂと、二次自由形状表示要素４０６Ｂとをタイル式配置で図示する。簡略化された略図はさらに、一次ディスプレイ自由形状要素４０４Ｂおよび二次自由形状表示要素４０６Ｂに取り付けられ、それらの少なくとも一部を覆っている、補償レンズ要素４０８Ｂを含む。補償レンズ要素４０８Ｂは、２つの自由形状表示要素とともに機能し、超広角シースルー視野にわたり周囲環境の適切な視認を提供し得る。加えて、または代替として、補償レンズ４０８Ｂの表面は、補償レンズ要素４０８Ｂが自由形状光学要素とともに機能するとき、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるように向上もしくは最適化され得る。

図１２Ａは、いくつかの実施形態における、タイル式配置での自由形状光学表示システムを用いて立体画像を生成する方法の高レベル流れ図を図示する。図１２Ａに図示されるこれらの実施形態では、方法は、１２０２Ａにおいて、一次表示デバイスを識別することを含み得る。これらの実施形態のいくつかでは、一次表示デバイスは、一次垂直視野を画定する。一次視野は、一次水平視野、一次垂直視野、または一次水平視野および一次垂直視野の組み合わせのうちの少なくとも１つを含み得る。加えて、または代替として、一次表示デバイスは、図９Ａの自由形状光学要素９０８または図９Ｂの９４０等の第１の自由形状光学要素を備え得る。一次表示デバイスは、これらの図示される実施形態のいくつかでは、可変焦点要素を含む第１の結合光学システムを介して、第１の画像源（例えば、図９Ａの画像源９０２または図９Ｂの９３２）に結合される。

これらの図示される実施形態のいくつかでは、第１の結合光学システムは、正しい光学収差を補正し、自由形状光学システムによってレンダリングされる仮想表示コンテンツの画像品質を改善するように考案される。一次表示デバイスの一次垂直視野は、随意に、増加させられ、または最大化され得る。いくつかの実施形態では、１２０４Ａにおいて、二次表示デバイスが、考案（まだ考案されていない場合）または識別（すでに存在する場合）され得る。二次表示デバイスは、図９Ａの自由形状光学要素９０８または図９Ｂの９４０等の第２の自由形状光学要素を含む。加えて、または代替として、二次表示デバイスは、増加させられた二次水平視野または最大化された二次水平視野を有し得る。二次表示デバイスの二次垂直視野は、いくつかの実施形態では、第１の表示デバイスの一次垂直視野に正確にまたはほぼ一致し得る。これらの実施形態のいくつかでは、１２０４Ａにおいて識別された二次表示デバイスは、第２の自由形状光学要素を備えている。

タイル式表示デバイスは、二次表示デバイスをタイル式配置で一次デバイスに取り付け、タイル式表示デバイスを形成することによって、考案（すでに存在する場合）または識別（まだ存在しない場合）され得る。図１２Ａにおける１２０６Ａに図示されるこれらの実施形態のいくつかでは、二次表示デバイスは、一次表示デバイスの水平視野を拡張するタイル式配置で、一次デバイスに取り付けられ得る。いくつかの実施形態では、タイル式配置は、二次表示デバイスと一次表示デバイスとが互に隣接して配置される水平配置を含む。いくつかの他の実施形態では、タイル式配置は、二次表示デバイスが一次表示デバイスの上に配置されるか、または一次表示デバイスが二次表示デバイスの上に配置される垂直配置を含む。

加えて、または代替として、１つ以上の他の二次表示デバイスは、タイル式表示デバイスのために、第１のタイル式配置で一次表示デバイスに取り付けられるか、または統合され得る。これらの実施形態のいくつかでは、第１のタイル式配置は、１つ以上の他の二次表示デバイスのうちの少なくともいくつかをタイル式表示デバイスの水平側に取り付けることを含む。いくつかの他の実施形態では、第１のタイル式配置は、１つ以上の他の二次表示デバイスのうちの少なくともいくつかをタイル式表示デバイスの垂直側に取り付けることを含む。さらに他の実施形態では、第１のタイル式配置は、１つ以上の他の二次表示デバイスのうちの少なくともいくつかをタイル式表示デバイスの水平側および垂直側の両方に取り付けることを含む。図１２Ａに図示されるいくつかの実施形態では、タイル式表示デバイスの視野は、要求または所望される縦横比を満たす、集合水平視野および集合垂直視野を画定する。一実施形態では、幅と高さの要求または所望される縦横比は、１６：９である。別の実施形態では、幅と高さの要求または所望される縦横比は、４：３である。別の実施形態では、幅と高さの要求または所望される縦横比は、２．３５：１である。

図１２Ｂ−Ｅは、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を一緒に図示する。図１２Ｂ−Ｅに図示されるこれらの実施形態では、１２０２Ｂにおいて、一次視野を画定し、第１の自由形状光学要素を備えている一次表示デバイスが、識別（すでに存在する場合）または考案（まだ存在しない場合）され得る。一次表示デバイスはまた、プロジェクタの束、１つ以上のピコプロジェクタ、１つ以上の微小プロジェクタ等の第１の画像源に結合され得る。これらの実施形態のいくつかでは、一次表示デバイスは、自由形状光学表示装置のための可変焦点合わせ機構を含み得る。

一次表示デバイスの一次視野は、随意に、１２０４Ｂにおいて、増加させられ、または最大化され得る。一次視野は、いくつかの実施形態では、一次水平視野、一次垂直視野、または一次水平視野および一次垂直視野の組み合わせのうちの少なくとも１つを含み得る。二次表示デバイスが、１２０６Ｂにおいて、識別（すでに存在する場合）または考案（まだ存在しない場合）され得る。二次表示デバイスは、二次視野を画定し、第２の自由形状光学要素を備えている。

図１２Ｂに図示されるこれらの実施形態のいくつかでは、二次視野は、一次視野に正確にまたはほぼ一致し得る。二次視野は、いくつかの実施形態では、二次水平視野、二次垂直視野、または二次水平視野および二次垂直視野の組み合わせのうちの少なくとも１つを含み得る。１２０８Ｂにおいて、二次表示デバイスの二次水平視野は、図１２Ｂに図示されるこれらの実施形態のいくつかでは、随意に、増加させられ、または最大化され得る。参照番号１２１０Ｂは、一次および二次表示デバイスを統合するために使用され得る、３つの配置を生成するための３つの異なるプロセスを図示する。

図１２Ｂ−Ｅに説明される自由形状表示装置は、これらの３つの配置のうちの１つ以上の配置を含み得る。いくつかの実施形態では、第１の配置が、１２１２Ｂにおいて、一次視野および／または二次視野に部分的または全体的に基づいて、一次および二次表示デバイスのために決定され得る。いくつかの実施形態では、第１の配置は、水平配置を含む。

１２１４Ｂにおいて、自由形状表示装置の水平または対角線視野は、一次および二次表示デバイスを互に隣接して配置する、第１の配置を用いて拡張され得る。加えて、または代替として、第２の配置が、１２１６Ｂにおいて、一次視野および／または二次視野に部分的または全体的に基づいて、一次および二次表示デバイスのために決定され得る。いくつかの実施形態では、第２の配置は、垂直配置を含み得る。自由形状表示装置の垂直および／または対角線視野は、１２１８Ｂにおいて、第２の配置を用いて拡張され得る。

いくつかの実施形態では、一次表示デバイスは、二次表示デバイスの上に設置され得る。いくつかの他の実施形態では、二次表示デバイスは、一次表示デバイスの上に設置され得る。加えて、または代替として、第３の配置が、１２２０Ｂにおいて、一次視野および／または二次視野に部分的または全体的に基づいて、自由形状表示装置のために決定され得る。自由形状表示装置は、１２２２Ｂにおいて、二次表示デバイスの二次視野（例えば、二次垂直視野）を一次表示デバイスの一次視野（例えば、一次垂直視野）と少なくとも正確に一致させることまたはほぼ一致させることによって、第３の配置を用いて考案され得る。

一次表示デバイスおよび第２の表示デバイスが、タイル式表示デバイスのために統合された状態で、いくつかの実施形態では、１２２４Ｂにおいて、１つ以上の他の二次表示デバイスが、一次表示デバイスに取り付けられるか、または、それもしくはタイル式表示デバイスと統合され、自由形状表示装置の視野をさらに拡張し得る。いくつかの実施形態では、一次表示デバイスは、アドレス可能焦点能力を有し得る。二次表示デバイスはまた、いくつかの実施形態では、アドレス可能焦点能力を有し得、いくつかの他の実施形態では、アドレス可能焦点能力を有していないこともある。アドレス可能焦点能力についてのさらなる詳細は、以下に説明されるであろう。

自由形状表示装置によって生成される立体画像の品質は、随意に、１２２６Ｂにおいて、少なくとも、一次表示デバイスおよび／または１つ以上の画像源を光学結合光学機構と結合することによって、改良され得る。例えば、結合デバイス（例えば、結合レンズ１０８）は、いくつかの実施形態では、１２２６Ｂにおいて、一次表示デバイスと結合され、光学収差を補正し得る。別の実施例として、一次表示デバイスは、いくつかの実施形態では、１つ以上の自由形状屈折表面を有する補償レンズを含むか、またはそれと統合され、補償レンズは、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させ、ならびに／または周囲環境の視認を提供し得る。

これらの実施形態では、本明細書に説明される自由形状表示装置は、シースルー視野を提供する。これらの実施形態のいくつかでは、補償レンズは、一次表示デバイスまたは一次表示デバイスの自由形状光学要素の少なくとも一部を覆い得る。焦点距離はまた、随意に、１２２７Ｂにおいて、可変焦点機構の屈折力を変えることによって変更され得る。可変焦点機構が変形可能ミラーまたは変形可能膜ミラーを含む、いくつかの実施形態では、焦点距離はまた、随意に、１２２７Ｂにおいて、可変焦点機構の変形可能ミラーまたは変形可能膜ミラーの屈折力を変えることによって変更され得る。

１２２８Ｂにおいて、自由形状表示装置の１つ以上の焦点面の焦点距離は、随意に、可変焦点機構を用いて調節され得る。一次表示デバイスおよび／または二次表示デバイスは、いくつかの実施形態では、随意に、１２３０Ｂにおいて、少なくとも、単一の焦点面の焦点距離を制御および変動させることによって、アドレス可能焦点機能性とともに考案され得る。いくつかの他の実施形態では、一次表示デバイスおよび／または二次表示デバイスはまた、随意に、１２３２Ｂにおいて、少なくとも、複数の焦点面を切り替えることによって、アドレス可能焦点を伴う機能性とともに考案され得る。

これらの後者の実施形態では、複数の焦点面の各々は、固定された焦点距離を有し、アドレス可能焦点機能性は、自由形状表示装置が、立体画像を投影することにおいて、複数の焦点面を切り替えることを可能にする。これらの実施形態のいくつかでは、複数の焦点面のそれぞれの焦点距離は、１２３４Ｂにおいて、可変焦点機構を用いてアドレスされ得る。周囲環境視認の品質は、随意に、１２３６Ｂにおいて、少なくとも、一次表示デバイスの少なくとも一部を伴う少なくとも１つの補償レンズによって改良され得る。補償レンズは、実世界場面と観察者の片眼（単眼自由形状表示装置の場合）または両眼（双眼自由形状表示装置の場合）との間の自由形状表示装置の存在に起因する視認品質の低減を補償するためのものであり、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるための１つ以上の屈折表面を備え、一次、二次、および／もしくは１つ以上の他の二次表示デバイスを補償し、周囲環境の適切な視認を提供し得る。

図１３Ａは、いくつかの実施形態における、自由形状表示装置のためにタイル式配置での可変焦点合わせ機構を用いて立体画像を生成する方法の高レベル流れ図を図示する。これらの実施形態では、入力光ビームは、１３０２Ａにおいて、画像源から受信され得る。画像源は、プロジェクタの束（例えば、ピコプロジェクタ、レーザプロジェクタ等）、微小アレイディスプレイ、ＬＣｏＳまたは反射型液晶、もしくはＬＣＤベースのＤＬＰまたはデジタル光処理等のうちの１つ以上のものを含み得る。入力光ビームの焦点距離は、１３０４Ａにおいて、自由形状表示装置によって生成され、観察者の片眼（単眼自由形状表示装置の場合）または両眼（双眼自由形状表示装置の場合）によって観察される、立体画像のための少なくとも１つの焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構を用いて変えられ得る。

変えられた焦点距離を伴う入力光ビームは、１３０６Ａにおいて、自由形状光学機構に伝搬され得る。立体画像は、次いで、１３０８Ａにおいて、自由形状光学機構を用いて、ヒト観察者への仮想または拡張現実提示のための少なくとも１つの焦点面上に生成または投影され得る。図１３Ａに図示される自由形状表示装置のためのタイル式配置における可変焦点合わせ機構を用いて立体画像を生成する方法についてのさらなる詳細は、図１３Ｂ−Ｄを参照して以下のセクションに提供される。

図１３Ｂは、いくつかの実施形態における、可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法の流れ図を図示する。図１３Ｂに図示されるこれらの実施形態では、第１の光信号が、１３０２Ｂにおいて、光学システムにおいて画像源から受信され得る。これらの実施形態のいくつかでは、画像源は、１つ以上のプロジェクタの束、反射型液晶微小アレイディスプレイ、またはデジタル光処理微小アレイ表示システムを含む。加えて、または代替として、光学システムは、いくつかの実施形態では、図９Ｂの可変焦点合わせシステム９３６または図１０Ａのそれ等の可変焦点合わせシステムを含み得る。いくつかの実施形態では、光学システムは、画像源をさらに含み得、可変焦点合わせ機構は、液体レンズまたは変形可能膜ミラーを含み得、液体レンズまたは変形可能膜ミラーは、１つ以上の中継レンズにさらに結合される。

１３０４Ｂにおいて、第１の焦点距離が、画像源からの第１の光信号のために決定され得る。いくつかの実施形態では、第１の焦点距離は、可変焦点合わせ自由形状光学表示システムによってレンダリングされる仮想表示コンテンツを視認するユーザによって、焦点が合ってレンダリングされる仮想表示コンテンツの部分がユーザからその距離に位置するかのように知覚される焦点面の距離を含む。これらの実施形態のいくつかでは、光学システム内のアドレス可能可変焦点合わせ機構の屈折力は、１３０６Ｂにおいて、第１の光信号のための第１の焦点距離をアドレスするように変動させられ得る。これらの実施形態では、光学システムは、単一の焦点面を含み、単一の焦点面の焦点距離を変化させ、遠近調節キューおよび収束キューを変化する焦点距離に結合する。

これらの実施形態のいくつかでは、アドレス可能可変焦点合わせ要素は、液体レンズを備えている。いくつかの他の実施形態では、アドレス可能可変焦点合わせ要素は、１つ以上の中継レンズにさらに結合される、変形可能膜ミラーを備え得る。代替として、１３０８Ｂにおいて、第１の焦点面が、第１の光信号の第１の画像を表示するために、複数の焦点面から識別され、第１の光信号の第１の焦点距離をアドレスし得る。これらの実施形態では、光学システムは、複数の焦点面を含み、仮想表示コンテンツを複数の焦点面のうちの少なくとも２つ上に並行してレンダリングし、遠近調節キューおよび収束キューを変化する焦点距離に結合し得る。

１３１０Ｂにおいて、収束キューおよび遠近調節キューは両方とも、複数の焦点面間で変動する第１の焦点距離にアドレスされ、位置合わせされ、または関連付けられ得る（集合的に、アドレスされる）。いくつかの実施形態では、収束キューおよび遠近調節キューは両方とも、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、収束キューおよび遠近調節キューの両方を第１の焦点距離と結合することによって、アドレスされ得る。１３１２Ｂにおいて、２次元の第１の画像が、少なくとも第１の焦点距離を使用することによって、視認するために、自由形状光学表示デバイスを使用して、第１の光信号を用いて生成またはレンダリングされ得る。

図１３Ｃ−Ｄは、いくつかの実施形態における、可変焦点合わせ自由形状光学システムを用いて立体画像を生成するためのプロセスの流れ図を一緒に図示する。これらの実施形態では、入力光ビームは、１３０２Ｃにおいて、１３０２Ｂまたは１３０２Ａに関して説明されるものと同じまたは実質的に類似する様式において、画像源から受信され得る。受信された入力光ビームは、１３０４Ｃにおいて、可変焦点機構内の第１の光学を通して１つ以上のビームスプリッタに伝搬され得る。

いくつかの実施形態では、第１の光学は、両凸レンズを含み、受信された入力光ビームを平行光ビームに変換し得る。第１の光学を通過後、入力光ビームは、１３０６Ｃにおいて、１つ以上のビームスプリッタを通して可変焦点機構内の第２の光学に向け直され得る。いくつかの実施形態では、第２の光学は、可変焦点能力または機能性を提供する変形可能ミラー、変形可能膜ミラー、または任意の他の好適な光学を備えている。可変焦点機構の焦点距離は、１３０８Ｃにおいて、立体画像が自由形状表示装置によってレンダリングされるであろう１つ以上の焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構の屈折力を変えることによって変更され得る。

入力光ビームが変えられた焦点距離を伴う可変焦点機構によって処理された後、入力光ビームは、１３１０Ｃにおいて、１つ以上のビームスプリッタに戻るように向け直され得る。焦点面を変更するための要件が、１３１２Ｃにおいて識別され得る。いくつかの実施形態では、要件は、例えば、焦点面または焦点距離が変化する速度（空間的、時間的、または空間的および時間的の両方）、焦点面または焦点距離が継続的にまたは周期的に変化するかどうか、もしくは焦点面または焦点距離の変化に関連付けられた任意の他の要件を含み得る。

１３１２Ｃにおいて識別された要件はまた、いくつかの実施形態では、屈折力が制御されるべき方法を決定するために使用され得る。１つ以上の制御が、１３１４Ｃにおいて、１３１２Ｃにおいて識別された要件に部分的または全体的に基づいて、可変焦点機構の焦点距離を変えるために提供され得る。可変焦点機構の焦点距離は、１３１６Ｃにおいて、変えられた焦点距離に部分的または全体的に基づいて、１つ以上の制御を用いて変えられ得る。変えられた焦点距離を用いて、入力光ビームは、１３１８Ｃにおいて、自由形状光学機構に伝搬され得、立体画像は、１３２０Ｃにおいて、１人以上のヒト観察者のために、仮想または拡張現実提示のために、自由形状光学機構を用いて、１つ以上の焦点面上に生成または投影され得る。

図１４Ａは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の高レベル流れ図を図示する。これらの実施形態では、光線束が、１４０２Ａにおいて、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成するために、画像デバイスから受信され得る。仮想オブジェクトについての情報は、１４０４Ａにおいて、光線束から抽出され得る。例えば、第１の光線を放出する仮想オブジェクトの色、放射輝度、および／または深度が、１４０４Ａにおいて、仮想オブジェクトを仮想表示コンテンツ内に再現するために後に使用される、光線束の記録から抽出され得る。変調された光線束が、１４０６Ａにおいて、光線束から抽出された情報に部分的または全体的に基づいて、生成され得る。仮想表示コンテンツは、次いで、１４０８Ａにおいて、変調された光線束および自由形状光学表示デバイスを用いて、レンダリングされ得る。図１４Ａに図示される自由形状光学システムを用いてライトフィールドディスプレイを生成する方法についてのさらなる詳細は、図１４Ｂ−Ｄを参照して以下に提供されるであろう。

図１４Ｂは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の流れ図を図示する。図１４Ｂに図示されるこれらの実施形態では、方法は、１４０２Ｂにおいて、第１の光線内に表される仮想オブジェクトを識別し、１４０４Ｂにおいて、自由形状表示システム内の第１の光線を用いて仮想オブジェクトを表示するための１つ以上のパラメータを識別もしくは決定し得る。第１の光線のための１つ以上のパラメータは、いくつかの実施形態では、仮想オブジェクトをレンダリングする際の第１の光線の放射輝度、自由形状表示システムによってレンダリングされる仮想コンテンツ表示内の仮想オブジェクトの仮想深度、第１の光線によってレンダリングされる仮想オブジェクトの一部（例えば、１つ以上のピクセル）のための第１の光線の一部の場所、要求または所望される分解能、自由形状表示デバイスの視野、１つ以上の人間工学的パラメータ、自由形状表示デバイスの１つ以上の形状因子、または任意のそれらの組み合わせを含み得る。

１４０６Ｂにおいて、方法は、少なくとも部分的に、ユーザの視覚系の遠近調節範囲に基づいて、仮想オブジェクトに対応するライトフィールドを合成するための第１の光線を決定し得る。これらの実施形態のいくつかでは、方法は、仮想表示コンテンツ内に仮想オブジェクトを再現するために後に使用され得る光線を記録または生成するとき、第１の光線を放出する仮想オブジェクトの異なる色、放射輝度、および／または深度の光サンプルを変調またはマップすることによって、第１の光線を決定し得る。方法は、光線を形成する放射輝度および／または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および画像プロジェクタが対応する光線を投影する場所を決定し得る。１４０８Ｂにおいて、方法は、第１の光線を画像源の束から自由形状光学表示デバイスに伝送し得る。

これらの実施形態のいくつかでは、画像源の束は、複数のプロジェクタを含み、複数のプロジェクタの各々は、１つ以上の光線を投入し、仮想表示コンテンツのライトフィールドを合成する。１４１０Ｂにおいて、方法は、肉眼遠近調節範囲に少なくとも部分的に基づいて、識別された仮想オブジェクトに対応するライトフィールドを合成し得る。これらの実施形態のいくつかでは、方法は、ライトフィールドを合成し、ある遠近調節範囲において遠近調節キューおよび収束キューの両方をアドレスし得る。加えて、または代替として、方法は、仮想オブジェクトの光サンプルをマップすることから決定される第１の光線を使用して、自由形状光学表示デバイスを使用するユーザによって知覚される実世界ビュー上に重ね合わせられた立体ビューをレンダリングすることによって、仮想オブジェクトのためのライトフィールドを合成し得る。１４１２Ｂにおいて、方法はさらに、自由形状光学表示デバイスを用いて、仮想オブジェクトのための第１の仮想表示コンテンツをレンダリングし得る。いくつかの実施形態では、方法は、１４１０Ｂにおいて識別または決定される第１の焦点距離に等しい仮想画像距離に、仮想表示コンテンツをレンダリングし得る。

図１４Ｃ−Ｄは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の別のより詳細な流れ図を一緒に図示する。これらの実施形態では、光線束が、１４０２Ｃにおいて、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成するために、画像源から受信され得る。いくつかの実施形態では、画像源は、いくつかのプロジェクタを含む。これらの実施形態のいくつかでは、画像源内のプロジェクタの数は、仮想表示コンテンツの所望のまたは要求される分解能、ヒトの眼の角度分解能、それらの組み合わせ、または任意の他の好適な要因に部分的または全体的に基づいて、決定され得る。

光線束内の仮想オブジェクトは、１４０４Ｃにおいて、識別され得、仮想オブジェクトのための情報は、１４０６Ｃにおいて、光線束から抽出され得る。これらの実施形態のいくつかでは、抽出される情報は、仮想表示コンテンツ内にレンダリングされるべき仮想オブジェクトの色、放射輝度、および／または深度情報を含み得る。光線束は、いくつかの実施形態では、１４０８Ｃにおいて、光線束から抽出された情報に部分的または全体的に基づいて、変調され得る。

光線束の変調は、いくつかの実施形態では、仮想オブジェクトの異なる色、放射輝度、および／または深度の光サンプルを変調された光サンプルまたは変調された光線束の中にマップするコンピューティングシステムによって行われ得る。１４１０Ｃにおいて、変調された光線束が投影されるべき場所が、光線束から抽出された情報に部分的または全体的に基づいて、決定され得る。１４１２Ｃにおいて、変調された光線または変調された光線束を投影するために使用される画像プロジェクタが、決定され得る。

１４１４Ｃにおいて、画像プロジェクタが、変調された光線または変調された光線束を投影し、ライトフィールドをレンダリングする場所もまた、いくつかの実施形態では、決定され得る。変調された光線束が、次いで、１４１６Ｃにおいて、遠近調節範囲に部分的または全体的に基づいて、仮想オブジェクトに対応するライトフィールドを合成するために生成され得る。いくつかの実施形態では、コンピューティングシステムは、１つ以上の光線束の方向の関数として変調された色、放射輝度、および／または深度を伴う、変調された光線束を生成し得る。１つ以上のパラメータが、１４１８Ｃにおいて、仮想オブジェクトを仮想コンテンツ表示内にレンダリングするために決定され得る。

いくつかの実施形態では、１つ以上のパラメータは、例えば、１つ以上の屈折特性の１つ以上の特性、１つ以上の反射表面の１つ以上の特性、もしくは１つ以上の光学表面の任意の他の好適なパラメータを含む。変調された光線束は、次いで、１４２２Ｃにおいて、に伝搬され、結合光学アセンブリは、中間瞳を形成し、および／または画質を改良し得る。変調された光線束は、１４２４Ｃにおいて、自由形状光学表示デバイスに中継され得、１４２６Ｃにおいて、１４１８Ｃにおいて識別または決定された１つ以上のパラメータに部分的または全体的に基づいて、自由形状光学表示デバイス内で反射および／または屈折され得る。仮想オブジェクトに対応するライトフィールドは、１４２８Ｃにおいて、肉眼遠近調節範囲に部分的または全体的に基づいて、合成され、焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし得る。仮想表示コンテンツは、次いで、１４３０Ｃにおいて、自由形状光学表示デバイスを用いて、仮想オブジェクトのためにレンダリングされ得る。これらの実施形態のいくつかでは、仮想表示コンテンツの仮想画像距離は、焦点距離に等しい。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、本発明のより広範な精神および範囲から逸脱することなく、種々の修正ならびに変更がそこに行われ得ることは明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明されている。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更され得る。本明細書および図面は、故に、制限的意味ではなく、例証的意味におけるものであると見なされる。

Claims (62)

1. タイル式自由形状光学表示システムであって、
   光線を一次自由形状光学要素の中に投入する画像源と、
   前記画像源からの光線を用いて仮想表示コンテンツを表示するためのタイル式自由形状光学表示デバイスを形成するために、第１のタイル式配置で前記一次自由形状光学要素に取り付けられている二次自由形状光学要素と、
   前記画像源および前記タイル式自由形状光学表示デバイスに動作可能に結合されている可変焦点合わせ要素であって、前記可変焦点合わせ要素は、前記仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされる焦点面の焦点距離を変化させる、可変焦点合わせ要素と
   を備えている、タイル式自由形状光学表示システム。
2. 前記一次自由形状光学要素および／または前記二次自由形状光学要素の少なくとも一部に取り付けられている補償レンズをさらに備え、前記補償レンズは、前記一次自由形状光学要素および／または前記二次自由形状光学要素の少なくとも一部を通して実世界場面から放出する光線の品質を改善する、請求項１に記載のタイル式自由形状光学表示システム。
3. 前記一次自由形状光学要素は、１つ以上の中継レンズに動作可能に結合されている自由形状楔を含む、請求項１に記載のタイル式自由形状光学表示システム。
4. 前記一次自由形状光学要素は、折り曲げ反射体にさらに結合され、前記反射体は、前記第１の光線を前記可変焦点合わせ要素から受信する、請求項３に記載のタイル式自由形状光学表示システム。
5. 前記可変焦点合わせ要素は、中間瞳を形成するための液体レンズを含む、請求項１に記載のタイル式自由形状光学表示システム。
6. 前記可変焦点合わせ要素は、中間瞳を形成するための変形可能膜ミラーを含む、請求項１に記載のタイル式自由形状光学表示システム。
7. 前記可変焦点合わせ要素は、前記変形可能膜ミラーに動作可能に結合されている結合レンズ群、２つ以上のビームスプリッタを含む、請求項６に記載のタイル式自由形状光学表示システム。
8. 前記一次自由形状表示要素および前記二次自由形状表示要素は、同一である２つの視野を提示する、請求項１に記載のタイル式自由形状光学表示システム。
9. 前記一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、
   前記二次自由形状表示要素は、前記増加させられた一次垂直視野または最大化された一次垂直視野に部分的に基づいて、二次垂直視野を画定し、
   前記タイル式自由形状光学表示デバイスは、前記増加させられた一次垂直視野または最大化された一次垂直視野、および、前記視野に対する所定の縦横比に少なくとも部分的に基づいて、視野を画定する、
   請求項１に記載のタイル式自由形状光学表示システム。
10. 前記一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、
    前記二次自由形状表示要素は、増加させられた二次水平視野または最大化された二次水平視野を画定し、
    前記タイル式自由形状光学表示デバイスは、前記増加させられた一次垂直視野または最大化された一次垂直視野、および、前記増加させられた二次水平視野または最大化された二次水平視野に少なくとも部分的に基づいて、視野を画定する、
    請求項１に記載のタイル式自由形状光学表示システム。
11. 自由形状ライトフィールド表示システムであって、
    コンピューティングデバイスであって、前記コンピューティングデバイスは、前記自由形状ライトフィールド表示システムを用いてオブジェクトに対する仮想コンテンツ表示を再現するために、オブジェクトから反射され、記録された光サンプルから光線を決定する、コンピューティングデバイスと、
    前記光線を自由形状光学要素の中に投入するためのプロジェクタの束を備えている画像源であって、前記コンピューティングデバイスは、前記オブジェクトに対する前記仮想コンテンツ表示を表示するために、ライトフィールドの一部をレンダリングするための１つ以上の光線を前記光線からさらに決定する、画像源と、
    前記画像源と前記自由形状光学要素との間に位置し、それらに動作可能に結合され、中間瞳を生成する結合レンズ群と
    を備えている、自由形状ライトフィールド表示システム。
12. 前記自由形状ライトフィールド表示システムは、前記自由形状光学要素によって画定される少なくとも前記中間瞳および射出瞳を使用することによって、前記ライトフィールドを合成する、請求項１１に記載の自由形状ライトフィールド表示システム。
13. タイル式配置における自由形状光学表示機構を用いて立体画像を生成する方法であって、
    一次自由形状光学要素を備え、一次視野を画定する一次表示デバイスを識別することと、
    二次視野を画定し、二次自由形状光学要素を備えている二次表示デバイスを識別することと、
    少なくとも前記二次表示デバイスを前記一次表示デバイスに統合することによって、前記一次表示デバイスの一次視野を拡張するタイル式表示デバイスを考案することと
    を含む、方法。
14. 前記二次表示デバイスおよび前記一次表示デバイスは、第１のタイル式配置の中に統合され、前記一次表示デバイスのこめかみ水平視野を拡張する前記タイル式表示デバイスを形成する、請求項１３に記載の方法。
15. 前記自由形状光学表示機構内の可変焦点合わせ機構を使用することによって、１つ以上の焦点面の焦点距離を調節することをさらに含む、請求項１３に記載の方法。
16. 前記自由形状光学表示機構内の可変焦点合わせ機構内の変形可能ミラーの屈折力を変えることによって、前記１つ以上の焦点面の焦点距離を変更することをさらに含む、請求項１５に記載の方法。
17. 前記可変焦点合わせ機構を用いて、前記自由形状光学表示機構の１つ以上の焦点面の１つ以上の焦点距離を調節することをさらに含む、請求項１５に記載の方法。
18. 少なくとも前記自由形状光学表示機構によって生成される立体画像に対する焦点面の焦点距離を制御することによって、アドレス可能焦点機能性を伴う前記一次表示デバイスおよび／または前記二次表示デバイスを考案することをさらに含む、請求項１３に記載の方法。
19. 少なくとも、前記自由形状光学表示機構によって生成される立体画像に対する複数の焦点面を切り替えることによって、アドレス可能焦点機能性を伴う前記一次表示デバイスおよび／または前記二次表示デバイスを考案することをさらに含む、請求項１３に記載の方法。
20. 可変焦点合わせ機構を用いて、前記複数の焦点面のそれぞれの焦点距離をアドレスすることをさらに含む、請求項１９に記載の方法。
21. 少なくとも、少なくとも１つの補償レンズを前記一次表示デバイスの少なくとも一部と統合することによって、周囲環境視認の品質を改善することをさらに含む、請求項１３に記載の方法。
22. 前記少なくとも１つの補償レンズは、前記自由形状光学表示機構の一次表示デバイスの少なくとも一部を覆っている、請求項１３に記載の方法。
23. 前記二次表示デバイスの二次水平視野を増加させることまたは最大化することをさらに含む、請求項１３に記載の方法。
24. 前記一次視野および／または前記二次視野に部分的または全体的に基づいて、前記一次表示デバイスおよび前記二次表示デバイスのための第１の配置を決定することをさらに含む、請求項１３に記載の方法。
25. 前記一次表示デバイスおよび前記二次表示デバイスを互に隣接して配置する前記第１の配置を用いて、前記自由形状光学表示機構の水平視野または対角線視野を拡張することをさらに含む、請求項２４に記載の方法。
26. 前記一次視野および／または前記二次視野に部分的または全体的に基づいて、前記一次表示デバイスおよび前記二次表示デバイスのための第２の配置を決定することをさらに含む、請求項１３に記載の方法。
27. 前記一次表示デバイスを前記二次表示デバイスの上に、または前記二次表示デバイスを前記一次表示デバイスの上に配置する前記第２の配置を用いて、前記自由形状光学表示機構の垂直視野または対角線視野を拡張することをさらに含む、請求項２６に記載の方法。
28. 前記一次視野および／または前記二次視野に部分的または全体的に基づいて、前記一次表示デバイスおよび前記二次表示デバイスのための第３の配置を決定することをさらに含む、請求項１３に記載の方法。
29. 少なくとも、前記二次表示デバイスの二次視野を前記一次表示デバイスの一次視野とほぼ一致させることまたは正確に一致させることによって、前記第３の配置を伴う前記自由形状光学表示機構を考案することをさらに含む、請求項２８に記載の方法。
30. 前記一次表示デバイスの一次垂直視野を増加させることまたは最大化することによって、前記一次表示デバイスを考案することと、
    前記二次表示デバイスの二次垂直視野を増加させられ、または最大化された前記一次垂直視野と正確に一致させることまたはほぼ一致させることと
    をさらに含む、請求項１３に記載の方法。
31. 前記二次表示デバイスの二次水平視野を増加させることまたは最大化することによって、前記二次表示デバイスを考案することをさらに含む、請求項１３に記載の方法。
32. 前記一次表示デバイスは、第１の光学結合機構を介して第１の画像源と動作可能に結合され、前記第１の光学結合機構は、可変焦点合わせ機構を含む、請求項１３に記載の方法。
33. １つ以上の他の二次表示デバイスを統合し、前記自由形状光学表示機構の視野をさらに拡張する前記タイル式表示デバイスを考案することをさらに含む、請求項１３に記載の方法。
34. 補償レンズの１つ以上の自由形状屈折表面特性を使用することによって、実世界場面によって放出される光線によって前記立体画像に導入されるシフトおよび／または歪を低減させることまたは最小化することをさらに含む、請求項１３に記載の方法。
35. 少なくとも、前記一次表示デバイスおよび１つ以上の画像源を光学結合光学機構と結合することによって、前記自由形状光学表示機構によって生成される立体画像の品質を改善することをさらに含む、請求項１３に記載の方法。
36. 仮想または拡張現実のための可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法であって、
    入力光ビームを光学システムにおいて画像源から受信することと、
    前記立体画像に対する少なくとも１つの焦点面の位置決めに部分的または全体的に基づいて、前記入力光ビームのための可変焦点機構の焦点距離を変えることと、
    変えられた焦点距離を伴う前記可変焦点機構を使用することによって、前記入力光ビームを自由形状光学機構に伝搬することと、
    前記自由形状光学機構を用いて、仮想または拡張現実提示のために前記少なくとも１つの焦点面上に前記立体画像を生成することと
    を含む、方法。
37. 前記入力光ビームを第１の光学を通して１つ以上のビームスプリッタに伝搬することと、
    前記１つ以上のビームスプリッタを通して前記可変焦点機構に前記入力光ビームを向け直すことと
    をさらに含む、請求項３６に記載の方法。
38. 前記立体画像に対する１つ以上の焦点面の位置決めに部分的または全体的に基づいて前記可変焦点機構の屈折力を変えることによって、前記可変焦点機構の焦点距離を変更することをさらに含む、請求項３６に記載の方法。
39. 変えられた焦点距離を伴う前記可変焦点機構を用いて、前記１つ以上のビームスプリッタに戻るように前記入力光ビームを向け直すことと、
    前記入力光ビームを前記１つ以上のビームスプリッタから前記自由形状光学機構に伝搬することと
    をさらに含む、請求項３６に記載の方法。
40. 前記自由形状光学表示機構によって生成される立体画像に対する焦点面を変更するための要件を識別することと、
    前記要件に部分的または全体的に基づいて、前記可変焦点機構の焦点距離を変えるための１つ以上の制御を提供することと、
    前記１つ以上の制御を用いて、前記可変焦点機構の焦点距離を変えられた焦点距離に変えることと
    をさらに含む、請求項３６に記載の方法。
41. 前記入力光ビームを前記変えられた焦点距離を伴う前記可変焦点機構から前記自由形状光学機構に伝搬することと、
    前記自由形状光学機構を用いて、仮想または拡張現実提示のために前記１つ以上の焦点面上に前記立体画像を生成することと
    をさらに含む、請求項４０に記載の方法。
42. 前記立体画像の少なくとも一部を焦点を合わせてレンダリングするための第１の焦点面の第１の焦点距離を決定することと、
    遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、前記遠近調節キューおよび前記収束キューの両方を前記第１の焦点距離を用いてアドレスすることと、
    少なくとも前記自由形状光学機構および前記第１の焦点距離を使用することによって、前記入力光ビームを用いて前記立体画像の前記少なくとも一部をレンダリングすることと
    をさらに含む、請求項３６に記載の方法。
43. 前記自由形状光学表示機構の前記可変焦点機構を使用することによって、前記第１の焦点距離をアドレスすることをさらに含む、請求項４２に記載の方法。
44. 前記第１の焦点距離をアドレスする行為は、
    前記可変焦点機構内のアドレス可能可変焦点合わせ要素の屈折力を変動させ、前記立体画像の前記少なくとも一部をレンダリングするための前記第１の焦点距離を変更することを含む、請求項４３に記載の方法。
45. 前記第１の焦点距離をアドレスする行為は、
    前記入力光ビームを用いて前記立体画像の前記少なくとも一部を表示するための前記第１の焦点距離に部分的または全体的に部分的または全体的に基づいて、前記第１の焦点面を複数の焦点面から識別することを含む、請求項４２に記載の方法。
46. 自由形状光学システムを用いてライトフィールドディスプレイを生成する方法であって、
    光線束を画像源から受信し、前記光線束内に仮想オブジェクトのための仮想表示コンテンツを生成することと、
    前記光線束から前記仮想オブジェクトについての情報を抽出することと、
    前記光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束を生成することと、
    前記変調された光線束および自由形状光学表示デバイスを用いて、前記仮想オブジェクトのための仮想表示コンテンツをレンダリングすることと
    を含む、方法。
47. 前記光線束内にレンダリングされるべき仮想オブジェクトを識別することと、
    前記仮想オブジェクトを表示するための１つ以上のパラメータを識別することまたは決定することと
    をさらに含む、請求項４６に記載の方法。
48. 遠近調節範囲に部分的または全体的に基づいて、前記仮想オブジェクトに対応するライトフィールドを合成するための第１の光線を識別することまたは決定することと、
    前記光線束を前記画像源から前記自由形状光学表示デバイスに伝搬することと
    をさらに含む、請求項４７に記載の方法。
49. 肉眼遠近調節範囲に部分的または全体的に基づいて、前記仮想オブジェクトに対応するライトフィールドを合成し、第１の焦点距離を用いて、前記遠近調節キューおよび前記収束キューの両方をアドレスすることと、
    少なくとも前記自由形状光学表示デバイスを用いて、前記仮想表示コンテンツを生成することであって、ヒト観察者に見える前記仮想表示コンテンツの仮想画像距離は、前記第１の焦点距離に等しい、ことと
    をさらに含む、請求項４８に記載の方法。
50. 前記ライトフィールドを合成する行為は、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、行われる、請求項４９に記載の方法。
51. 可変焦点距離を用いて、前記仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方をアドレスすることをさらに含み、前記可変焦点距離は、単一の焦点面の距離値を決定することによって、または異なる焦点距離値を有する複数の焦点面を切り替えることによって変動させられる、請求項４９に記載の方法。
52. 前記光線束から抽出された情報に部分的または全体的に基づいて、前記光線束を変調された光線束に変調することをさらに含む、請求項４６に記載の方法。
53. 前記情報は、前記光線束の１つ以上の色、前記光線束の１つ以上の放射輝度、前記光線束の１つ以上の深度情報、または任意のそれらの組み合わせのうちの少なくとも１つを含む、請求項５２に記載の方法。
54. 前記光線束から抽出された情報に部分的または全体的に基づいて、前記変調された光線束が投影されるべき場所を決定することをさらに含む、請求項５２に記載の方法。
55. 変調された光線束を投影し、前記仮想表示コンテンツをレンダリングするために使用されるべき画像プロジェクタを決定することをさらに含む、請求項５２に記載の方法。
56. 前記仮想オブジェクトをレンダリングするための１つ以上のパラメータを識別することまたは決定することをさらに含む、請求項５２に記載の方法。
57. 前記１つ以上のパラメータは、１つ以上の屈折表面パラメータ、１つ以上の反射表面パラメータ、または、前記１つ以上の屈折表面パラメータのうちの少なくとも１つの屈折表面パラメータと前記１つ以上の反射表面パラメータのうちの少なくとも１つの反射表面パラメータとの組み合わせを含む、請求項５６に記載の方法。
58. 前記変調された光線束を結合光学アセンブリに伝搬し、中間瞳を生成することをさらに含む、請求項５６に記載の方法。
59. 前記変調された光線束を前記結合光学アセンブリから前記自由形状光学表示デバイスに中継することと、
    前記１つ以上のパラメータに部分的または全体的に基づいて、前記自由形状光学表示デバイス内の屈折および／または反射を介して、前記変調された光線束を伝搬することと
    をさらに含む、請求項５６に記載の方法。
60. 仮想または拡張現実のための立体画像を生成するための請求項１３−３５のいずれかに記載の方法を行うための自由形状光学表示機構。
61. 仮想または拡張現実のための立体画像を生成するための請求項３６−４５のいずれかに記載の方法を行うための可変焦点合わせ自由形状光学表示システム。
62. 仮想または拡張現実のためのライトフィールドディスプレイを生成するための請求項４６−５９のいずれかに記載の方法を行うための自由形状光学システム。