JP2022544287A - 3d明視野ディスプレイのための光学設計および最適化技法 - Google Patents

3d明視野ディスプレイのための光学設計および最適化技法 Download PDF

Info

Publication number
JP2022544287A
JP2022544287A JP2022508814A JP2022508814A JP2022544287A JP 2022544287 A JP2022544287 A JP 2022544287A JP 2022508814 A JP2022508814 A JP 2022508814A JP 2022508814 A JP2022508814 A JP 2022508814A JP 2022544287 A JP2022544287 A JP 2022544287A
Authority
JP
Japan
Prior art keywords
array
ini
ray
rays
metric value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022508814A
Other languages
English (en)
Other versions
JPWO2021030430A5 (ja
Inventor
ホン フア,
ヘクン フアン,
Original Assignee
アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティー オブ アリゾナ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティー オブ アリゾナ filed Critical アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティー オブ アリゾナ
Publication of JP2022544287A publication Critical patent/JP2022544287A/ja
Publication of JPWO2021030430A5 publication Critical patent/JPWO2021030430A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/23Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using wavelength separation, e.g. using anaglyph techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lenses (AREA)

Abstract

インテグラルイメージング頭部搭載型ディスプレイ等の高性能明視野ディスプレイを設計および最適化する方法およびフレームワークが、開示される。開示される技法は、そのようなシステムの性能および最適化を特性評価するためのユーザ定義メトリックを可能にする。一設計方法は、アレイ光学系と、複数の要素像を生成するためのアレイディスプレイデバイスと、仮想中心深度平面(CDP)を表す第1の基準平面と、再構築された3D場面を視認するための視認窓を表す第2の基準平面と、人間の眼のモデルを表す光学サブ区分とを含む3次元(3D)ディスプレイデバイスに関する。方法は、アレイディスプレイデバイスにおいて開始する光線をアレイ光学系を通して光学サブ区分まで追跡することと、所定の値内の少なくとも第1のメトリック値を取得するために、1つ以上のパラメータを調節することとを含む。

Description

(関連出願の相互参照)
本願は、2019年8月12日に出願され、「Optical Design and Optimization Techniques for 3D Light Field Displays」と題された米国仮出願第62/885,460号の優先権を主張する。上記のような仮出願の全内容は、参照することによって本書の開示の一部として組み込まれる。
(連邦支援の研究に関する文言)
本発明は、NSFによって与えられた認可番号第1422653号の下で政府の支援を受けて作製された。政府は、本発明においてある権利を有する。
(技術分野)
開示される技術は、概して、3次元(3D)ディスプレイに関し、より具体的に、高性能明視野ディスプレイを設計および最適化する方法およびフレームワークに関する。
従来の立体3次元ディスプレイ(S3D)は、2つのわずかに異なる視認位置から見られる3D場面の両眼視差および他の画像深度キューを用いて、固定距離における2次元(2D)透視画像の対(眼毎に1つずつ)からの3D空間および形状の知覚を刺激する。S3Dタイプディスプレイに関連付けられた重要な限界は、周知の両眼離反運動/遠近調節衝突(VAC)問題である。両眼視では、物体を観察するとき、眼は、像の投影が、両眼の網膜の中心にあるように、水平軸の周囲で回転しなければならない。両眼離反運動は、単一の両眼視を取得または維持するための反対方向への両眼の同時移動である。遠近調節は、その距離が変動するとき、クリアな像を維持するために、または物体に焦点を合わせるために、眼が屈折力を変化させるプロセスである。物体の通常の視認条件下では、異なる距離における物体を見るために眼の焦点を変化させることは、自動的に両眼離反運動および遠近調節を引き起こすであろう。3Dディスプレイの文脈では、VACは、脳が、仮想3D物体の距離(両眼離反運動)と、眼がその物体に焦点を合わせるために要求される焦点距離(遠近調節)との間の一致しないキューを受け取るときに起こる。この問題は、3D場面のための正しい焦点キュー(遠近調節および網膜ぼけ効果を含む)をレンダリングすることができないことに起因する。それは、いくつかのキューの衝突を引き起こし、それは、S3Dディスプレイの視認に関連付けられた種々の視覚的アーチファクトの重要な原因のうちの1つと考えられる。
開示される実施形態は、3次元(3D)ディスプレイに関し、より具体的に、限定ではないが、明視野頭部搭載型ディスプレイを含む高性能明視野ディスプレイの設計および最適化のための方法およびフレームワークに関する。
一例示的実施形態では、インテグラルイメージング(InI)ベースの3次元(3D)ディスプレイシステムを設計する方法である。システムは、アレイ光学系と、複数の要素像を生成することが可能であるアレイディスプレイデバイスと、ディスプレイ上の点源によって放出された光線が、像点を形成するように収束する仮想中心深度平面(CDP)を表す第1の基準平面と、再構築された3D場面を視認するための視認窓を表す第2の基準平面と、人間の眼のモデルを表す光学サブ区分とを含む。システムを設計する方法は、InIベースの3Dシステムにおける明視野に関連付けられた光線の組を追跡することを含み、追跡することは、アレイディスプレイデバイスにおいて開始し、アレイ光学系を通して、アレイディスプレイデバイスおよびアレイ光学系の各要素に関する光学サブ区分まで実行される。方法は、所定の値または値の範囲内の少なくとも第1のメトリック値を取得するために、InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節することをさらに含む。第1のメトリック値は、明視野の光線方向サンプリングに対応する。
開示されるInIベースの3Dシステムでは、明視野は、3D場面によって見掛け上放出される光線の方向を角度的にサンプリングすることによって、3D場面の4D明視野を再構築する。いくつかの実施形態によると、光学設計プロセスは、従来のHMD設計において物体-像共役平面間の2Dマッピングを単純に最適化するのではなく、4D明視野レンダリングにおいて光線位置および光線方向の両方のマッピングを最適化することを含む。
図1Aは、鮮明焦点網膜像を形成するために、マイクロディスプレイ上に2次元(2D)像をレンダリングする従来の頭部搭載型ディスプレイ(HMD)構成の例である。
図1Bは、遠近調節深度が、仮想ディスプレイの距離から変位させられるときの図1Aに示されるような従来のHMD構成を図示する。
図2Aは、第1の遠近調節深度に関する明視野再構築に関するインテグラルイメージングベースのHMD(InI-HMD)の像形成プロセスを図示する例示的構成である。
図2Bは、図2Aの構成および第2の遠近調節深度に対応する像形成を図示する。
図3Aは、インテグラルイメージングベースのHMD(InI-HMD)構成に関する明視野関数および関連付けられた注釈のマッピングを図示する。
図3Bは、InIベースの明視野3Dディスプレイの3D場面を再構築する光学原理を図示する。
図4Aは、視認窓上のフットプリントと、マイクロレンズアレイ(MLA)のレンズレットの結像された開口とを含むInI-HMDシステムの種々の側面の3次元図を図示する。
図4Bは、InI-HMDシステムに関連付けられたマイクロディスプレイ上の要素像(EI)の分割を図示する。
図4Cは、EIと、MLAのレンズレットと、共有される接眼レンズ群とを含むサブシステムを図示する。
図4Dは、仮想中心深度平面(CDP)上の4つのEIの部分的に重複した虚像を図示する。
図4Eは、明確性を強化するためにある特徴が除去された図4Dに図示されるようなCDP上のEIの部分的に重複した虚像を図示する。
図5は、例示的InI-HMDに関する全視野歪みグリッドに対する光線位置の大域的歪みに関する大域的ずれメトリックの効果を図示する。
図6は、例示的InI-HMDシステムに関するその近軸形状からの所与の光線束の光線フットプリントの変形の効果を図示する。
図7Aは、開示される技術に従って設計される両眼InI-HMDシステムの例示的レイアウトを図示する。図7Bは、図7Aの区分の光学レイアウトに関するさらなる詳細を図示する。
図7Cは、サンプリングされたEIおよびレンズレットの一部からの実光線追跡を用いてプロットされたCodeV(登録商標)における統合された表示経路の設計構成を示す。
図8Aは、例示的InI-HMDシステムに関連付けられた表示経路の像コントラストのプロットを図示する。
図8Bは、例示的InI-HMDシステムの視野を覆うサンプリングされたレンズレットの一部に対応する軸上視野点に関する変調伝達関数(MTF)プロットを図示する。
図8Cは、それらの仮想CDPが例示的InI-HMDシステムの視認窓から3ジオプタ~0ジオプタ離れてサンプリングされた中心レンズレットに対応する各EIの軸上視野点に関するMTFプロットを図示する。
図9Aは、例示的InI-HMDシステムに関する全視野を覆う表示経路の歪みグリッドのプロットを図示する。
図9Bは、例示的InI-HMDシステムの瞳収差の最適化前の視認窓におけるフットプリント図を図示する。図9Cは、例示的InI-HMDシステムの瞳収差の最適化後の視認窓におけるフットプリント図を図示する
図10は、ある例示的実施形態による、InIベースの3Dディスプレイシステムを設計するための動作の組を図示する。
図11は、ある例示的実施形態による、インテグラルイメージング光学システムの設計を改良するための動作の組を図示する。
図12は、開示される技術のある側面を実装するために使用され得るデバイスのブロック図を図示する。
両眼離反運動/遠近調節衝突(VAC)問題に対処するためのいくつかの取り組みが、存在し、その中に、インテグラルイメージングベースの(InIベースの)明視野3D(LF-3D)ディスプレイがある。インテグラルイメージングは、概して、マイクロレンズまたは光学開口の2次元アレイを使用することによって、明視野を捕捉および再現する3次元結像技法を指す。この構成は、事前設計された視認窓から見られるアレイ光学系を介して、場面によって見掛け上放出される指向性光線をレンダリングすることによって、3D場面の再構築を可能にする。しかしながら、InIベースのLF-3D頭部搭載型ディスプレイ(HMD)を含む3Dディスプレイシステムの最適化のために好適な体系的な設計アプローチが、不足している。したがって、高性能3Dディスプレイシステムを設計することは、課題のままである。特に、十分に最適化された設計なしで、InI-HMDは、再構築された3D場面の深度および遠近調節キューを正しくレンダリングすることは可能ではなく、品質および快適性の損なわれた像をもたらすであろう。
続く説明では、InI-HMDは、上記のような問題および開示される解決策を例証するための例示的システムとして使用される。しかしながら、開示される実施形態が、明視野をレンダリングするための光学システムが、視認者の頭部上に直接装着されない非頭部搭載型直視タイプ明視野ディスプレイ、1つの角度方向における(典型的に、水平方向における明視野のみをサンプリングする)3D明視野ディスプレイ(水平視差のみをレンダリングするディスプレイとしてより広く公知である、すなわち、マルチビューが、視認窓上で垂直ストライプとして配置される)、または、要素ビューが、プロジェクタまたは結像ユニットのアレイによって発生させられるスーパーマルチビューディスプレイまたは自動立体ディスプレイ等の他のタイプの3Dディスプレイシステムに同様に適用可能であることを理解されたい。
インテグラルイメージングを利用するシステムでは、3D像が、典型的に、像の正面にマイクロレンズアレイ(MLA)を設置することによって表示され、MLAの各レンズレットは、視認角度に応じて、異なって見える。InI-HMDシステムは、MLAの複数の要素によって作成される異なる要素ビューがレンダリングされ、眼の瞳のそれぞれを通して見られることを要求する。したがって、これらの要素ビュー上の複数の空間的に分離されたピクセルによって放出された光線は、眼の瞳によって受け取られ、一体的に合計され、3D再構築された点の知覚を形成し、それは、本質的に、InI-HMDの従来のHMDとの重要な差異である。従来のHMDシステムでは、視認光学系は、単純に、マイクロディスプレイ上の2D像を2D仮想ディスプレイ上に投影し、したがって、単一のピクセルからの光線は、眼の光学系によって一緒に結像され、2D点の知覚を形成する。少なくとも像形成プロセスのこの固有の差異に起因して、従来のHMDに関する既存の光学設計方法は、複数の個々の源からの光線統合を要求する真の3D LF-HMDシステムを設計するために不適正になっている。
開示される実施形態は、他の特徴および利益の中でもとりわけ、(1)実光線追跡を精密に実行するためのLF-3D HMD設計を生成し、(2)再構築された3D場面の明視野を精密にサンプリングおよびレンダリングするための設計を最適化すること(それは、視認者の眼の遠近調節ステータスを促進し、したがって、VAC問題を解決するために重要である)を可能にする改良された光学設計方法を提供する。開示される技術の実施形態では、明視野の光線位置サンプリングおよび/または明視野の光線方向サンプリングの最適化を促進する1つ以上の新しい設計制約またはメトリックが、確立される。例えば、位置サンプリングに関する1つの制約またはメトリックは、再構築された3D場面の収差のFOV全体に対する仮想要素像(EI)の側方位置に関連する大域的歪み(例えば、収差)を考慮する。方向サンプリングに関する別の制約またはメトリックは、それらの近軸形状からの光線フットプリントのずれまたは変形の尺度を提供する。
開示される制約およびメトリックの使用は、光学設計プロセスを改良し、設計者が、(例えば、VAC問題を解決する観点から)生成された像の品質を査定し、光学システムの設計を改良することを可能にする。いくつかの実施形態では、設計プロセス中に開示されるメトリックを最小化することによって、最適な設計が、生成され得る。開示されるメトリックは、達成可能な像品質の査定をさらに提供し、したがって、いくつかの実施形態では、所望の像品質目標が、開示されるメトリックの標的値に基づいて(最小化とは対照的に)、特定の光学システムに関して達成され得る。
図1Aおよび1Bは、マイクロディスプレイ上に2D像をレンダリングする例示的な従来のHMD構成を図示する。他の2Dディスプレイと同様に、各ピクセル値は、ある角度範囲にわたる光線の強度または放射輝度の和を表す。マイクロディスプレイ(図1Aおよび1Bに「ディスプレイ」と標識化される)と眼との間に挿入された接眼レンズは、2D像を単純に拡大し、接眼レンズを介してマイクロディスプレイ平面に光学的に共役な距離において拡大された2D仮想ディスプレイを形成する。したがって、単一のピクセルからの光線の全ては、眼の光学系によって一緒に結像され、2D点の知覚を形成する。図1Aおよび1Bでは、「赤色」および「緑色」標識は、システムを通して伝搬する異なる光線束の図示を促進するために使用される。図1Aに示されるように、目の光学系の遠近調節深度が、仮想ディスプレイの見掛け距離と合致するとき、鮮明焦点網膜像が、形成される。そうでなければ、図1Bに示されるように、遠近調節深度が、仮想ディスプレイの距離から変位させられるとき、等しくぼやけた網膜像が、形成される。
上で説明される2D像形成の性質により、そのようなシステムに関する光学設計プロセスは、マイクロディスプレイ上のピクセルと仮想ディスプレイ上のそれらの対応する像との間の2Dマッピングに焦点を当てることのみを必要とし、最適化方策は、仮想ディスプレイのコントラストおよび分解能を低下させる光学収差、または仮想ディスプレイの幾何学形状を歪める光学収差の制御に集中する。このために、ディスプレイ上の一つ一つのピクセルからの光線が、共通の光路または一続きの光学要素によって結像される。したがって、従来のHMDシステムは、共有される光学構成によってモデル化されることができる。そのようなシステムでは、レンダリングされた点の網膜像は、マイクロディスプレイまたは拡大された仮想ディスプレイ上の単一のピクセルによって放出された光線の投影であり、従来の2D HMDシステムの光学性能がマイクロディスプレイ上の少数の視野位置からの光線によって投影される2D像パターンを特性評価することによって、適正に評価されることを可能にする。
対照的に、LF-HMDは、3D場面によって見掛け上放出された光線の方向を角度的にサンプリングすることによって、3D場面の4D明視野を再構築する。図2Aおよび2Bは、明視野再構築のためのインテグラルイメージングベースのHMD(InI-HMD)の像形成プロセスを図示する例示的構成である。図3Aおよび3Bは、明視野関数の理解を促進するためのさらなる注釈を伴う同じシステムの3次元図を図示する。図2Aに図示されるように、システムは、マイクロディスプレイと、アレイ光学系(例えば、レンズレットアレイ)と、接眼レンズとを含む。図2Aでは、2Dアレイの要素像(EI)は、マイクロディスプレイ上にレンダリングされた3D場面の異なる視点を表す(例えば、要素A1-A3は、再構築された点Aに関して使用され、要素B1-B3は、再構築された点Bに関して使用される)。広く認識されるInI-HMDにおける2つの固有かつ重要な概念的基準平面が、存在する。第1の平面は、マイクロディスプレイ上の点源によって放出された光線が、MLAおよび接眼レンズを通して伝搬した後に像点を形成するように収束する仮想中心深度平面(CDP)である(図3Aもまた参照)。それは、マイクロディスプレイに光学的に共役な視覚空間内の基準平面とみなされる。第2の基準平面は、視認者が再構築された3D場面を観察するエリアを定義する視認窓である。それは、設計上、眼の光学系の入射瞳平面と一致し、従来のHMDにおけるシステムの射出瞳またはアイボックスとして一般的に公知である。
これらのEI上の各ピクセルは、4D明視野関数の位置情報(s,t)を定義する像源と考えられる。MLA等のアレイ光学系は、EIのアレイに関連付けられている、それらの各々は、明視野関数の方向情報(u,v)を定義する(パラメータs、t、u、vを含む4D明視野を図示する図3Aも参照)。各2D EIは、その対応するマイクロレンズレットによって別個の結像経路として結像される。3D点の明視野を再構築するために、複数のピクセル(異なるEI上の各々)によって放出された光線束は、それらの対応するMLA要素によって変調され、再構築の3D位置において交差する。結果として、これらの空間的に分離されたピクセルからの光線は、3D点を一体的に作成し、3D点は、異なる方向に光を放出するように見える。ディスプレイパネル上にEIを正しく配置することによって、異なる視野角および深度に位置する点(例えば、図2Aおよび2Bの点AおよびB)を伴う3D場面の4D明視野が、したがって、対応してレンダリングされることができる。
拡大ビュー構成では、接眼レンズが、小型の3D場面を、仮想空間内の拡張された深度を伴う大きい3Dボリュームにさらに拡大するために挿入される(例えば、図2Aおよび2BのA’およびB’は、それぞれ、再構築された点AおよびBの拡大されたレンダリングである)。真のLF-3D HMDでは、3D点からの複数の要素ビューが、眼の入射瞳上の異なる場所に投影され、これらの要素ビューの網膜像は、空間内に3D点の知覚を一体的に形成する。図2Aに図示されるように、眼が、再構築された点A’の深度において遠近調節されるとき、その対応する要素ピクセル(例えば、ピクセルA1-A3)からの光線は、互いに重複し、網膜上に鮮明に集中させられた像を自然に形成するであろう一方、点Aと異なる深度に位置する点B’を再構築するピクセルからの光線(例えば、ピクセルB1-B3からの光線)は、互いに空間的に変位させられ、網膜ぼけを作成するであろう。点Bの網膜ぼけの見掛けの量は、再構築の深度と眼の遠近調節との間の差異に伴って変動する。図2Bに図示されるように、眼の遠近調節深度が点B’に切り替えられると、点B’の網膜像は、焦点が合った状態になる一方、点A’の網膜像は、ぼやけた状態になる。そのような状況下では、InI-HMDによる再構された3D場面の網膜像は、自然な3D場面を視認する視覚効果を近似するであろう。
上で説明される3D像形成の性質のため、3D点の明視野再構築は、そのそれぞれが、異なる要素像上に位置し、アレイ光学系の異なる光学系ユニットによって結像される、複数の空間的に分離されたピクセルによって放出された光線の積分効果である。各ピクセルは、明視野位置のサンプルを提供し、結像光学系のその対応するユニットは、明視野方向のサンプルを提供する。したがって、光学設計プロセスは、従来のHMD設計において物体-像共役平面の間の2Dマッピングを単純に最適化するのではなく、4D明視野レンダリングにおいて光線位置および方向の両方のマッピングを最適化することを要求する。最適化方策は、仮想ディスプレイのコントラストおよび分解能を低下させる、または2D要素像の幾何学形状を歪める光学収差を適切に制御および評価する(明視野の光線サンプリング側面を考慮する)必要があるのみならず、方向性光線サンプリングの正確度を低下させる光学収差を制御および評価する方法およびメトリックも要求する。
図3Aに図示されるように、異なる要素像上のピクセルは、異なる光学要素を通した異なる光路によって結像される。したがって、LF-HMDシステムは、マルチ構成アレイシステムまたは水平および垂直方向に分配されたサブシステムのアレイによってモデル化される必要がある。サブシステムの各々は、その対応する光学系ユニットと、おそらく接眼レンズ群(存在する場合)とを通した所与の要素像からの1つの単一の結像経路を表す。EIの形状をレンズレットと明確に区別するために、図示の目的のために、円形形状がレンズレットの開口および視認窓上のそれらの対応するフットプリントを表すために使用される一方、正方形開口が本明細書に提供される例におけるレンズレットのために利用されていることに留意されたい。
レンダリングされた3D点の網膜像は、異なる要素像上の複数のピクセルによって放出された投影光線の積分和であり、像の外観は、眼の遠近調節の状態に伴って大きく変動する。したがって、LF-HMDシステムの光学性能は、マイクロディスプレイ上の少数の視野位置からの光線によって投影される2D像パターンを特性評価するのみでは適正に評価されることができず、眼の遠近調節の異なる状態に関する網膜上の積分像を特性評価することによって評価される必要がある。この目的のために、眼モデルが、結像システムの必要な部分である。
図3Aは、視覚空間内の明視野レンダリングの簡略化されたプロセスをさらに図示し、明視野関数の光線位置は、仮想CDP上の投影仮想ピクセル(x,y)によってサンプリングされ、光線方向は、視認窓上のアレイ要素の投影座標(x,y)によって定義される。理論的に、InI-HMDによってレンダリングされた理想的な明視野関数L’(x,y,x,y)では、明視野点を再構築する対応するEIは、仮想CDP上の点源として結像され、それらの光線束は、図3Bに図示されるように、点の側方および縦方向位置において完全に交差し、視認窓上のそれらの対応する視認区域において投影されるであろう。従来のHMDと異なり、3D点を再構築する要素ピクセルによって放出された光線束が、図3Bに示されるように、視認窓における異なる場所の上に投影されることに留意されたい。しかしながら、InI-HMDの結像プロセスの不完全性に起因する明視野関数をレンダリングすることにおける任意のずれは、仮想CDP上の損なわれたEIおよび/または視認窓上に投影される光線束の誤った方向およびフットプリントにつながるであろう。その結果、そのようなずれは、3D場面の損なわれた再構築および視認者によるInI-HMDの低減させられた知覚される像品質につながる。したがって、InI-HMDシステムを設計することにおいて、物体空間内でディスプレイパネルおよびMLAによって物理的にレンダリングされる明視野L(s,t,u,v)は、視覚空間内で目によって視認される明視野L’(x,y,x,y)に正確にマッピングされなければならない。
良好なマッピングを達成するために、(1)ディスプレイパネル上にレンダリングされるEIの各々が仮想CDP上に明確に結像されるように、明視野関数の(s,t)から(x,y)への位置サンプリングマッピングの良好な制御、および、(2)結像されたEIの各々からの光線束が正しい方向およびフットプリントを伴って視認窓上に投影され、したがって、要素ビューが互いに変位を伴わずにうまく統合されるように、明視野関数の(u,v)から(x,y)への方向サンプリングマッピングの良好な制御を取得することが、重要である。
特に、(s,t)から(x,y)への光線位置マッピングを最適化することにおいて、個々の要素間の相互作用に関するさらなる考慮事項が考慮されなければならない。さらに、(u,v)から(x,y)への光線方向マッピングを最適化することは、3D場面の再構築された明視野の方向サンプリングの品質およびディスプレイシステムに対するその効果を精密に評価することが可能な完全に新しい設計メトリックを要求する。
図4A-4Dは、視認窓上のフットプリントおよびMLA(実射出瞳)のレンズレットの結像された開口、およびマイクロディスプレイ上のEIの分割を含むInI-HMDシステムの種々の側面の3次元図を図示する。InI-HMDシステムのうちのいくつかでは、調整可能リレー群等の全体的ディスプレイ性能をさらに改良することが可能であるさらなる光学要素が、表示経路内に追加され得、これは、InI-HMDを設計することにおいてさらなる複雑性を追加するが、依然として、接眼レンズのみから成るシステムと同じ設計方法論に従い得ることに注目するべきである。一般性を損なうことなく、いくつかの事例では、これらの追加された光学要素は、接眼レンズと組み合わせられることができ、本明細書では、「接眼レンズ群」と称される。
図4Aは、視認窓上のフットプリントおよびMLA(実射出瞳)のレンズレットの結像された開口を図示する。LF-HMDシステムは、M×N個のサブシステムに分割されることができ、MおよびNは、それぞれ、水平および垂直方向における、アレイ光学系内の光学系ユニットの合計数またはマイクロディスプレイ上にレンダリングされるEIの数である。図4Bは、マイクロディスプレイ上のEIの分割を図示する。図4Cは、EIと、MLAのレンズレットと、共有される接眼レンズ群とを含むサブシステムを図示する。サブシステムの各々は、EIからのアレイ光学系のその対応する光学系ユニットおよび共有される接眼レンズ群を通した1つの単一の結像経路を表す。各サブシステムの結像経路は、図4Cに図示されるように、主光軸に対して軸外れの非回転対称である。サブシステムの各々は、光学設計ソフトウェアにおいてズーム構成として構成され得る。図4Dは、仮想CDP上のEIの部分的に重複した虚像を図示する。
従来の2D HMD設計では、HMD光学システムは、一般的に、共有される射出瞳(または眼の入射瞳)からマイクロディスプレイに向かって光線を逆に追跡するように構成され、いかなる眼モデルも、必要とされない。対照的に、開示される実施形態によるサブシステムは、光線追跡が、マイクロディスプレイから、または、EIから、視認窓に向かって開始されるように構成される。この方法では、光線追跡の失敗は、視認窓上のアレイ光学系の光学系ユニットの開口のアレイの投影が、従来のHMDにおけるような共通して共有される射出瞳を形成しないという事実に起因して、回避される。加えて、視認者の眼の光学系をエミュレートする理想的なレンズまたは確立された眼モデル(例えば、Arizona眼モデル)が、明視野再構築の網膜像のより良好な最適化収束および便利な査定のために、視認窓と一致するその入射瞳とともに挿入される。標準的眼モデルの使用が、大量生産される製品のための3Dシステムの設計を可能にする一非限定的例であることに留意されたい。いくつかの実施形態では、個別化またはカスタマイズされた眼モデルが、使用され得る。
再び図4A-4Dを参照すると、サブシステム間のズーム構成は、主に、対応する光学系ユニットの表面形状規定および側方位置のみならず、接眼レンズ群の光軸に対する対応するEIの側方位置によっても互いに異なる。一実施形態では、MLAにおける全てのレンズレットは、同じ表面形状を有し、水平および垂直方向の両方において等しいレンズピッチを伴う長方形アレイにおいて配置される。本実施形態に関して、各レンズレットの側方位置(u,v)は、単に、近隣のレンズレット間の変位ΔpMLA、すなわち、レンズピッチpMLAおよびレンズレットの配置によって決定される。図3Aに示されるような同じ座標系に従って、(m,n)としてインデックスされる所与のズーム構成に関して、その対応するレンズレットの側方座標は、以下のように表されることができる。
Figure 2022544287000002
マイクロディスプレイは、各レンズレットに関して1つ、EIのM×N個のアレイに分割されるが、各EIの側方位置およびサイズは、より複雑であり、ディスプレイシステムのいくつかの他の仕様に依存する。例えば、必ずしもMLAの光学的共役ではなく、設計要件に従って光軸に沿って縦方向にシフトされ得る視認窓(例えば、Xが非共役関係を示す図4A参照)は、システム全体を一連のサブシステムに分割および構成することにおいて重要な役割を果たす。結像された開口のアレイが、実際に、視覚空間内に形成され、それは、従来のディスプレイまたは結像システムの意味で射出瞳であると考えられる。しかしながら、視認者の眼をこの射出瞳場所に設置することは、結像された開口が、空間的に分離されているので、視認者が、全てのEIを同時に見ることができないことを示すであろう。EIの全てが、視認窓において適切に見られることができることを確実にするために、マイクロディスプレイは、MLAの対応するレンズレットおよび共有される接眼レンズ群を含むディスプレイ光学系全体を通した各EIの中心の主光線が、視認窓の中心Oにおける光軸(例えば、ディスプレイにおいて開始され、視認窓において収束する図4Bの実線)と交差するであろうように分割される。そのような制約下では、隣接するEI間の変位ΔpEIおよびマイクロディスプレイ上の要素画像のサイズpEIは、等しく、以下のように記載されることができる。
Figure 2022544287000003
式(2)では、gは、ディスプレイパネルとMLAとの間の間隙であり、lは、MLAと中間CDPとの間の間隙であり、zICは、中間CDPと接眼レンズ群との間の間隙であり、z’xpは、接眼レンズ群と接眼レンズ群による結像された視認窓との間の距離を指すために導入され、それは、以下のようにさらに与えられることができる。
Figure 2022544287000004
式(3)では、fepは、接眼レンズ群の等価焦点距離である。したがって、(m,n)としてインデックスされる所与のサブシステムユニットに関して、対応するEIの中心の側方座標は、以下のように表されることができる。
Figure 2022544287000005
視認窓上の光学系全体を通して投影されるEIのピクセルからの光線束のフットプリントサイズd(ビュー密度、すなわち、眼の瞳によって包囲されるビューの合計数を決定する)は、EIの中心点によって放出された光線束(例えば、図4Cの影付き光線束)を追跡することによって決定されることができ、視認窓の全体的サイズDは、ディスプレイ光学系全体を通してEIの縁点の主光線(例えば、図4CのEIの縁において開始される線)を追跡することによって決定されることができる。光線フットプリント直径および全体的視認窓サイズは、以下のように表されることができる。
Figure 2022544287000006
Figure 2022544287000007
式(5)および(6)では、|・・・|は、絶対値記号を表す。
近軸幾何学によると、フットプリント直径および視認窓サイズの両方は、サブシステムのうちの任意のものに関して同じであり、異なるサブシステムの同じ視野物体に対応するフットプリントは、それらが同じ座標(x,y)を共有するように、視認窓上で交差するであろう。例えば、上で言及されるように、各EIの中心の主光線は、xv0(m,n)およびyv0(m,n)の両方が、サブシステムのうちの任意のものに関してゼロに等しくなるように、視認窓の中心において光軸と交差するであろう。
InI-HMDシステムでは、EIは、視認窓から観察される空間的に変位させられた虚像のアレイとして見られる。図4Dは、マイクロディスプレイ上にレンダリングされた4つの近隣のEIが、MLAのそれらの対応するレンズレットおよび共有される接眼レンズを通して結像され、中心の影付き正方形において互いに重複する破線枠によって図示されるように、4つの部分的に重複する仮想EIとして仮想CDP上に投影される単純な例を図示する。図4Eは、図4Dと同じであり、基本原理の理解を促進するために、EIのうちの2つに関連付けられた光線が、除去されている。仮想CDP上の近隣の仮想EIの中心間の変位ΔpEIcは、もはや仮想EIのサイズpEIcに等しくなく、それらの近軸値は、それぞれ、以下のようにさらに表される。
Figure 2022544287000008
Figure 2022544287000009
式(7)および(8)では、ZCDPは、仮想CDPと視認窓との間の距離である。(m,n)としてインデックスされる所与のサブシステムユニットに関して、対応する仮想EIの近軸中心の側方座標は、以下のように表されることができる。
Figure 2022544287000010
式(7)および(9)は、本質的に、サブシステムの各々に関する像寸法および中心位置の近軸計算を提供する。仮想CDP上の仮想EIの像サイズは、通常、近隣の仮想EIの変位をはるかに上回り、したがって、仮想CDP上の仮想EIは、互いに部分的に重複するであろう。図4Dに図示されるように、仮想CDP上の影付き重複エリアは、全ての4つの仮想EIが互いに重複する領域に対応し、EIの各々から1つずつ、4つの特徴的な要素ビューが、視認窓から見られる場面のサブボリュームの明視野を再構築するためにレンダリングされ得る場所である。この性質に起因して、InI-HMDのFOV全体は、個々のEIの各々によってレンダリングされるサブボリュームによってモザイクにされ、したがって、従来のHMDにおけるように簡単に計算されることができない。簡潔にするために、仮想CDP上の縁EIの虚像の中心を参照することによって、ディスプレイシステムの対角線視野(FOV)が、以下のように推定され得る。
Figure 2022544287000011
上記のステップは、LF-HMDシステムをモデル化する開示される方法およびシステムパラメータの一次関係を計算する分析方法を実証する。これらのステップは、従来の2D HMDをモデル化するステップと異なり、適切な最適化方策を開発するために重要である。
前に述べたように、LF-HMDのための最適化方策は、明視野の光線位置サンプリング側面を考慮するために、仮想ディスプレイのコントラストおよび分解能を低下させる、または2D要素像の幾何学形状を歪める光学収差を個々にかつ集合的に適切に制御および評価する必要がある。最適化方策はまた、方向性光線サンプリングの正確度を低下させる光学収差を制御および評価する方法およびメトリックを要求する。
(光線位置サンプリング考慮事項):明視野関数の光線位置サンプリングを最適化することは、仮想ディスプレイのコントラストおよび分解能を低下させる、または2D要素像の幾何学形状を歪める収差に影響を及ぼす光学収差を制御することによって達成されることができる。MLAのそれらの対応するレンズレットおよび接眼レンズ群を通してディスプレイパネルから仮想CDP上の明確に結像されたEIを取得することが、有益である。
光線位置サンプリングに関する開示される実施形態による最適化方策は、多種多様であり、サブシステムの各々によって各EIの結像プロセスを個々に最適化することを含む。例えば、従来のHMDに関する2D像-共役を最適化することにおいて利用可能な最適化制約および性能メトリックが、使用されることができる。厳密な制約および性能メトリックは、InI-HMDに関する光学システムにおいて利用される光学コンポーネントの複雑性に大きく依存して、システム毎に大きく変動する。典型的な制約の例は、限定ではないが、要素厚または隣接する要素間の間隔の最小値および最大値、システムの合計経路長、許容可能なコンポーネントサイズ、光学表面の各々の形状、基準面からの表面サグ偏差、使用されるべき光学材料のタイプ、許容収差の量、または屈折力の量を含む。性能メトリックの例は、限定ではないが、二乗平均平方根(RMS)スポットサイズ、波面誤差、残存収差の量、変調伝達関数、または許容可能な像コントラストを含む。この初期ステムを用いて、個々のEIによって構成されるLFディスプレイのFOV全体は、従来のHMD設計におけるように全体として処理される代わりに、別個に最適化される。しかしながら、EIの各々に関するそのような個々の最適化は、近隣のEI間の対応する接続を見落とし、より重要なこととして、合計FOVに対する仮想EIの相対的位置およびサイズを見落とす。InI-HMDに関して、図4Dに示されるように、仮想CDP上の結像されたEIは、完全に整列させられ、近隣のものと部分的に重複し、近軸関係は、式(7)-(9)によって与えられるであろう。しかしながら、MLAおよび接眼レンズ群の両方によって誘発される像収差は、仮想CDP上の仮想EIを歪め、歪められた仮想EIは、異なる深度の3D場面の明視野を再構築するとき、ビュー収束の潜在的失敗を引き起こすであろう。
EIに誘発される歪みの影響を局所的かつ大域的に考慮するために、最適化中の2つの異なるタイプの制約が、適用されることができる。第1の制約は、単一のEIを表すサブシステムの各々に関する局所歪み収差の制御であり、それは、各ズーム構成に対して光学設計ソフトウェアにおいてすでに利用可能な歪み関連最適化制約を採用することによって、容易に実装されることができる。局所歪み制御のための厳密な制約は、InI-HMDに関する光学システムにおいて利用される光学コンポーネントの複雑性に大きく依存して、システム毎に大きく変動する。歪みに対する典型的な制御の例は、限定ではないが、それらの近軸値からのサンプリングされた物体野の像高さの最大の許容可能なずれ、正規グリッドからの像高さおよび形状差の許容可能なパーセンタイル、異なる物体野の許容可能な倍率差、または所望の形状からの像の許容可能な形状変形等を含む。これらの制御は、典型的に、各サブシステムが、許容可能な局所歪みを伴う像を形成することを確実にするために、各サブシステムへの制約として個々に適用される。各サブシステムにおける歪みのこれらの局所制御は、仮想EIの寸法および形状が、それらの近軸の非歪み像と比較して、閾値レベル内に留まることを確実にする。
第2の制約は、再構築された3D場面のFOV全体に対する仮想EIの側方位置に関連する大域的歪みの制御である。この大域的歪みを最適化するために、マイクロディスプレイ上の各EIの中心物体野の主光線は、特別に追跡されるべきであり、仮想CDP上のその遮断は、抽出され、大域的座標内のその近軸位置と比較して、閾値レベル内に制約される必要がある。(m,n)としてインデックスされる所与のサブシステムに関して、その近軸位置からの仮想CDP上の仮想EIの中心位置の大域的ずれは、対応する制約とともに、可能なメトリックGDによって定量化されることができ、それは、以下のように表されることができる。
Figure 2022544287000012
式(11)におけるGDメトリックは、視認窓から測定される中心物体野の主光線の実位置と理論位置との間の角度ずれを調査する。例えば、図5に図示されるように、GDメトリックの異なる値は、異なる量の歪みに対応し、したがって、システム設計者が、特定のシステムのために好適である適切な標的GD値を選択することを可能にすることができる。例えば、1つの特定のシステムでは(例えば、コンポーネントの費用および品質に起因して)、より多い量の歪みが、許容されることができ、これは、適切な標的GD値の選択に関して設計者に知らせることができる。
メトリックに対応する制約は、したがって、全てのサブシステムを通した全てのEIに関するメトリックの最大値を取得することによって作成されることができる。制約を最適化プロセスに追加し、制約の値を修正することによって、最大の許容される大域的歪みが、調節および最適化されることができる。図5は、1ジオプタにおけるCDPの深度を伴う40°×40°InI-HMDシステムにおいてシミュレートされるバレル歪みおよびキーストン歪みの例を利用することによって、大域的歪みとGDの値との間の全体的相関をさらに実証する。サブ図の各々では、大域的歪みのない完理論的FOVグリッド(黒色の実線)と、歪みの特定のタイプおよび値に対応する歪められたFOVグリッド(灰色でわずかにオフセットされる)との両方が、プロットされ、数字は、EIの合計11×11個のサンプリングされた中心(グリッドの交点)に関して式(11)から計算されたGDの最大値および平均値を表す。例えば、1%のバレル歪みは、わずか0.36°の最大GDをもたらすが、5%のバレル歪みは、1.78°の大きさの最大GDをもたらす。明確なこととして、GDの値は、明視野関数の光線位置を最適化する際、従来の歪みパターン(例えば、バレルまたはピンクッション歪み)または従来と異なるもの(例えば、キーストン歪み)のいずれかとして、EIの中心位置の大域的歪みの良好な制御を提供する。
(光線方向サンプリング考慮事項):LF-HMDの固有の特性に起因して、明視野の光線方向は、そのようなディスプレイシステムを設計することにおいて非常に重要な役割を果たす。光線方向の不正確なサンプリングは、EIの統合に影響を及ぼすのみならず、潜在的に、再構築された明視野標的に関する不均一な数の要素ビュー、したがって、誤って表された焦点キューにもつながるであろう。深刻な瞳収差の場合、視認者の眼の瞳によって包囲される要素ビューの数が、2つ未満になるように低減させられ、それによって、システムが、従来の立体ディスプレイシステムと何ら異ならず、真の明視野を適切にレンダリングすることができないことさえ、可能である。
上記のように、視認窓は、EIの全てが、同時に適切に見られることができることを確実にするために、図3Aに示されるように、全てのEIの中心ピクセルを通した全ての主光線が、光軸と交差する場所である。式(5)によって特徴付けられる要素ビューの各々から投影される光線束のフットプリントは、その近軸寸法が式(6)によって特徴付けられる視認窓を集合的に定義する。LF-HMDを設計することにおいて明視野の光線方向サンプリングを最適化するために、適切な制約が、要素ビューの射出瞳を直接最適化するのではなく、視認窓上に投影される各要素ビューのフットプリントに関して提供されなければならない。明視野関数の理想的な光線方向を伴う、すなわち、瞳収差のないInI-HMDに関して、視認窓における併合されたフットプリント図は、2つの顕著な特性を有するはずである。まず第1に、MLAの対応するレンズレットおよび接眼レンズ群を通過する単一のEI上の異なる物体野からの主光線は、結像された開口の中心において収束し、EIのピクセルアレイに類似する均一な間隔を伴う正規グリッドにおいて視認窓と交差するはずである。第2に、それらの対応するレンズレットおよび接眼レンズを通過する(それら自身のEIに対して)同じ物体野からの主光線は、視認窓において収束するはずであり、これらのピクセルからの光線束のフットプリントは、同じ形状を形成し、視認窓上で互いに完全に重複するはずである。
LF-HMDを設計することにおいて明視野の光線方向サンプリングを最適化するために、視認窓上に投影される各要素ビューのフットプリントに関する適切な制約が、提供されなければならない。最適化中の視認窓に対する光線フットプリントおよび方向に誘発される瞳収差の影響を考慮するために、開示される最適化方策は、(1)視認窓上の所与のEIの任意の所与のピクセルからの光線束の厳密なフットプリントを抽出し、(2)それらの近軸形状および位置からの光線フットプリントの任意のずれを適切に定量化するメトリック関数を確立し、それによって、制約が、最適化プロセス中に適用され、閾値レベル内のずれを制御し得る。
いくつかの実施形態では、各所与の物体野に関して、4つの周辺光線が、最適化プロセス中の網羅的な計算時間を回避するために、レンズレット開口を通してサンプリングされる。視認窓上のこれらの周辺光線の座標は、所与のサブシステムにおける所与のEI上のサンプリングされた視野の光線フットプリントのエンベロープを定義する。(m,n)としてインデックスされるサンプリングされたサブシステムに対応する所与のEI上の(i,j)としてインデックスされるサンプリングされた物体野に関して、その近軸形状からの光線フットプリントの変形は、例えば、以下を使用して、メトリック関数PAによって定量化されることができる。
Figure 2022544287000013
式(12)では、x’およびy’は、それぞれ、水平および垂直に実光線追跡を介して取得される視認窓上の周辺光線の実位置である一方、xおよびyは、視認窓上のそれらの対応する近軸位置である。kは、サンプリングされたサブシステムに対応する所与のEI上のサンプリングされた物体に関する4つの周辺光線のインデックスである。
式(12)におけるメトリックPAは、近軸フットプリントの対角線幅に対する、視認窓上の周辺光線の実位置と理論位置との間の平均ずれ距離の相対的比率を調査することによって、その近軸形状からの所与の光線束の光線フットプリントの変形を定量化する。制約を最適化プロセスに追加し、値を修正することによって、フットプリントの最大の許容されるずれおよび変形、すなわち、InI-HMDの明視野の光線方向に影響を及ぼす瞳収差が、調節および最適化されることができる。
図6は、視認窓上のフットプリント図、瞳収差、およびPAのメトリック関数値間の全体的相関を図示する。単一の制約が、したがって、サンプリングされたサブシステムの各々の上の全てのサンプリングされた物体野からメトリックの最大値を取得することによって作成されることができる。図は、瞳収差の有る場合、およびない場合で、InI-HMDの光軸に中心を置かれたEIの中心視野点に関するシミュレートされた光線フットプリント図をプロットする。簡潔にするために、シミュレーションでは、レンズレットは、理想的なレンズとして扱われ、接眼レンズ群は、瞳収差として適用される異なる収差項および大きさ(例えば、0.25~1波ピークツーバレー(λPV)の球面収差および0.25~1°の傾き)を伴ってモデル化された。具体的に、理論的フットプリントの直径dは、1mmとして設定された。サブ図の各々では、瞳収差のない理論的フットプリント図(実線によって境界される正方形を形成する10×10個の星形点の組)および瞳収差項の特定のタイプおよび値に対応する変形または変位させられたフットプリント図(残りの星形点)の両方が、プロットされた。サブ図の各々の下の数字は、各事例に関する式(12)から計算されるPAの値を表す。瞳収差の存在に起因して、実際のフットプリント図が、それらの理論的フットプリントから大きく変形(例えば、瞳球面収差によって)または変位(例えば、傾きによって)させられ得ることが観察されることができる。式(12)は、フットプリント図に基づいて、PAの観点から瞳収差の深刻度の良好な推定を行う。例えば、0.25λPVの瞳球面収差は、わずか0.059のPAをもたらす一方、1λPVの瞳球面収差は、0.23の大きさのPAをもたらす。
上記のようなメトリックを使用することにおいて、システム設計は、コンポーネントの距離および角度整合、コンポーネントのサイズ(例えば、レンズレットのピッチ、レンズレットの面積、レンズレットおよび/または接眼レンズの表面プロファイル、およびレンズレットアレイおよび/または接眼レンズの開口等)の決定を含む最適な(または、概して、所望の、または標的)設計を決定するように実行されることができる。システムは、システム設計の一部として、光線追跡および最適化を受け得るリレー光学系、光経路を折り曲げることまたは変化させることを行うための要素、およびその他等の追加の光学要素をさらに含むことができる。
図7Aは、開示される設計設定および最適化方法に従って生成される、InI-HMDシステムの両眼設定の例示的レイアウトを図示する。図7Aでは、システムは、視認者の頭部に対して図示される。図7Bは、重要な要素が標識化されるその単眼設定(右眼)に対する図7Aの光学レイアウトに関するさらなる詳細を提供する。図7Aの上側区分は、図7Bと類似する構成に従う。図示されるコンポーネントの距離および特定の数が、開示される技術の理解を促進するために、限定ではなく、例として提供されることに留意されたい。図示されるように、特に着目される表示経路に関する光学系は、3つの主要なサブ区分、すなわち、高分解能マイクロディスプレイ、カスタム設計非球面MLA、カスタム開口アレイを含むマイクロINIユニットと、4つのレンズ(例えば、Optotune(登録商標) EL-10-30調整可能レンズが内側に挟装される既製の球面レンズ)を備えている調整可能リレー群と、自由形態導波管様プリズムとを含む。本質的に、S1-S4として表される4つの自由形態表面によって形成される、導波管様プリズムは、再構築された中間小型場面をさらに拡大し、光を射出瞳または視認窓に向かって投影し、射出瞳または視認窓において、視認者は、拡大された3D場面再構築を見る。
例示的構成に関する設計の最初に、MLAおよびリレー接眼レンズ群は、システムの複雑性に起因して、良好な出発点を取得するために、別個に最適化された。MLA設計の初期反復に関して、特別な注意が、近隣のEI間のクロストークを防止するために、レンズレットの縁を越えないように制約された周辺光線に払われた。レンズレットの2つの表面は、6次までの係数を伴う非球面多項式として最適化された。リレーおよび接眼レンズ群の設計に関する初期反復において、設計は、視認窓から接眼レンズおよびリレーレンズに向かって光線を後方追跡することによって、逆設定された。プリズムの4つの自由形態表面の各々は、x平面対称のXY多項式によって記述され、それらの10次までの係数を用いて最適化された。
MLAおよびリレー接眼レンズ群の両方の初期設計を取得した後、2つの部分は、統合され、7×3個のズーム構成のアレイが、作成された。図7Cは、サンプリングされたEIおよびレンズレットの一部からの実光線追跡を用いてプロットされたCodeV(登録商標)における統合された表示経路の設計構成を示す。視認窓は、自由形態接眼レンズの後方焦点に設置された。仮想CDPの深度に対応する眼の焦点力と同等の焦点距離を伴う理想的なレンズが、EIの網膜像をシミュレートするために、視認窓において挿入された。図では、各EIの中心ピクセルからの光線のみが、追跡された。MLAは、1mmのレンズピッチを伴う17×9個の同一のレンズレットを含み、マイクロディスプレイは、17×9個のEIに分割され、各EIは、125×125個のピクセルを伴う。自由形態プリズムの平面対称性を考慮して、合計FOVの上側半分に関する合計7×3個のサブシステム(MLAの対応するレンズレットを伴うEI)が、サンプリングされ、サンプリングされたサブシステムの分布が、ズームされたレンズレットとして図7Cに示される。各サブシステムでは、EI全体を覆う9つの視野点が、さらにサンプリングされた。さらに、調整可能レンズの様々な屈折力を伴うDOF拡張および仮想CDPの深度を考慮するために、システムは、0、1、および3ジオプタの仮想CDP深度に関するその性能を最適化するようにさらに構成された。視認窓における理想的なレンズおよび調整可能レンズの焦点距離は、したがって、光線を像平面上に正しく集中させるように対応して調節される。要するに、21個のサンプリングされたMLA-EIサブシステムのズームおよび異なる仮想CDP深度に関するズームを組み合わせて、全体的システムは、合計63個のズーム構成および合計567個の視野点を伴ってモデル化された。
図8Aは、3分弧または10サイクル/度(cpd)のナイキスト角周波数において評価された表示経路の全視野を覆うサンプリングされた7×3個のサブシステムの像コントラストをプロットし、仮想CDPは、視認窓から1ジオプタ離れて設定されている。サブシステムの各々では、それらの対応するEI上の5つの物体野が、サンプリングされ、それらのコントラスト値は、円によって表され、特定の場所における各々は、5つの物体野の各々に対応する。FOVの30°×18°全体にわたって、像コントラストの全ては、0.53の平均値を伴って、ナイキスト角周波数において0.2の閾値を十分に上回る。
図8Bは、表示経路のFOV全体を覆う光軸に中心を合わせられたレンズレット(インデックス(9,5))、左上隅のレンズレット(インデックス(1,1))、および右上隅のレンズレット(インデックス(17,1))に対応する3つのEI上の軸上視野点の変調伝達関数(MTF)をプロットする。図7Cは、光軸に中心を合わせられたレンズレット(インデックス(9,5))に対応するが、それらの仮想CDPが、調整可能レンズの屈折力を調節することによって視認窓から3ジオプタ~0ジオプタ離れて調節された3つのEI上の軸上視野点のMTFをさらにプロットする。光学システムが、FOV全体および3ジオプタを上回る深度範囲にわたって均一な像コントラストおよびMTF性能を実証し、像コントラストの低下が、0.15未満のナイキスト角周波数において評価されることが明白である。
図9Aは、設計例の実光線追跡から、サブシステムの各々からの対応するEI上の中心物体野の主光線座標を抽出することによって、全ディスプレイFOVを覆う表示経路のサンプリングされた7×3個のサブシステムの大域的歪みグリッドをさらにプロットし、主光線の近軸座標は、実線グリッドにおいてプロットされ、実際の光線座標は、アスタリスクにおいてプロットされる。表示経路は、折り曲げられた光路に起因して、少量のキーストン歪みを被るが、概して、全ディスプレイ視野に関する大域的歪みは、特に、高次の歪み項を容易に導入する自由形態光学系を伴う設計に関して、比較的に小さい。大域的歪みGDに関する設計標的は、全FOVに対する歪みの約2%に対応する0.75°として設定された。7×3個のサブシステムの全ては、1%未満の全FOVに対する平均歪みに対応する0.22°のGDの平均値を伴う設計標的内で最適化された。
図9Bおよび8Cは、明視野関数の光線方向に関する最適化の前と後との視認窓における光線フットプリント図を比較する。図9Bは、システムの瞳収差を制約する前の実設計設定から、軸上レンズレットの9つのサンプリングされた物体野に関する視認窓上の光線フットプリントのエンベロープ(実線、インデックス(9,5))および右上隅に位置する縁レンズレットの9つの物体野に関するエンベロープ(斜めダッシュを伴う実線、インデックス(17,1))をプロットする。これらの2つのレンズレットに関する光線フットプリントエンベロープは、歪められているだけではなく、大きく分離されている。比較して、図9Cは、最適化後の実設計設定から抽出されたフットプリント図の併合されたエンベロープをプロットする。この場合、MLAの9つのサンプリングされたレンズレットを通した光線フットプリントが、プロットされる(細い実線、インデックス(1,1)、(9,1)、(17,1)、(1,3)、(9,3)、(17,3)、(1,5)、(9,5)、および(17,5))。図8Cは、上で示唆されるように、レンズレットおよび視野にわたって互いに完全に整列させられた近軸計算から取得されたレンズレット上の同じ視野の光線フットプリントの理論的エンベロープを(太い実線において)プロットする。人間の視覚システムは、位置よりも光線方向に対して感受性が低いであろうから、設計標的PAは、0.3として設定された。7×3個のサブシステムのうちの19個は、設計標的を十分に下回る0.145の平均比率を伴う設計標的内で最適化され、これは、0.27未満の実フットプリントの平均処理能力またはサイズずれに対応し、そのうちの投影されたフットプリントのずれおよび変形は、図9Cに示されるように、依然として、許容可能である。
実験では、開示される技術に従って設計されたプロトタイプInI-HMDシステムの試験結果が、視認窓にカメラを設置し、システムを通して表示された場面の実像を捕捉することによって取得された。試験場面は、試験標的として計算的にレンダリングおよび表示された約500mm(2ジオプタ)~1,600mm(0.6ジオプタ)の深度に及ぶ水滴テクスチャを伴う斜壁を含んでいた。マイクロディスプレイ上にレンダリングされた中心の15×7個の要素ビューが、取得され、加えて、場面の近側(約600mm)から、中間部分(約1,000mm)、および遠側(約1,400mm)へカメラの焦点深度を調節すること(それは、近距離から遠距離への眼の遠近調節の調節をシミュレートする)によって、そのような連続的3D場面のレンダリングされた明視野の実捕捉像が、取得された。プロトタイプの仮想CDPは、750mm(1.33ジオプタ)の深度にシフトされ、固定された。カメラ焦点の同じ深度内の3D場面の一部は、標的と比較して、高い忠実度を伴って鮮明に焦点が合ったままであった。対照的に、カメラ焦点深度の外側の3D場面の他の部分は、ぼやけており、3D場面の深度が、カメラ焦点からずれるほど、3D場面の一部は、ぼやけた状態になり、それは、実世界場面から観察するものに類似する。そのような結果は、開示される実施形態に従って設計されたプロトタイプが、高品質な明視野コンテンツをレンダリングし、より重要なこととして、正しい焦点キューをレンダリングし、視認者の眼の遠近調節を促進する能力を明確に実証する。
図10は、ある例示的実施形態による、インテグラルイメージング(InI)ベースの3次元(3D)ディスプレイシステムを設計する方法を実装するために実行され得る動作の組を図示する。方法は、1002において、InIベースの3Dシステムにおける明視野に関連付けられた光線の組を追跡することを含む。システムは、アレイ光学系と、複数の要素像を生成することが可能であるアレイディスプレイデバイスと、ディスプレイ上の点源によって放出された光線が、像点を形成するように収束する仮想中心深度平面(CDP)を表す第1の基準平面と、再構築された3D場面を視認するための視認窓を表す第2の基準平面と、人間の眼のモデルを表す光学サブ区分とを含む。追跡することは、アレイディスプレイデバイスにおいて開始し、アレイ光学系を通して、アレイディスプレイデバイスおよびアレイ光学系の各要素に関する光学サブ区分まで実行される。方法は、1004において、所定の値または値の範囲内の少なくとも第1のメトリック値を取得するために、InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節することをさらに含み、第1のメトリック値は、明視野の光線方向サンプリングに対応する。
一例示的実施形態では、第1のメトリック値は、その近軸フットプリントからの明視野の所与の光線束の光線フットプリントの変形を定量化する。別の例示的実施形態では、第1のメトリック値は、近軸フットプリントの対角線幅に対する、第2の基準平面上の周辺光線の実位置と理論位置との間の平均ずれ距離の相対的比率に従って決定される。なお別の例示的実施形態では、第1のメトリック値は、式(12)に従って決定される。例えば、第1のメトリック値は、光線追跡によって取得される視認窓上の周辺光線の実位置と視認窓上のそれらの対応する近軸位置との差異に基づいて決定されることができる。
別の例示的実施形態によると、上記のような方法では、InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節することは、別の所定の値または値の範囲内の第2のメトリック値をさらに取得するために実行され、第2のメトリック値は、少なくともアレイ光学系の近隣の要素によって誘発される変形を考慮する明視野の光線位置サンプリングに対応する。一例示的実施形態では、第2のメトリック値は、第2の基準平面から測定される中心物体野の主光線の実位置と理論位置との間の角度ずれに従って決定される。また別の例示的実施形態では、第2のメトリック値は、大域的歪み尺度を表す。なおも別の例示的実施形態では、第2のメトリック値は、式(11)に従って決定される。例えば、第2のメトリック値は、その近軸位置からの仮想CDP上の複数の要素像のある仮想要素像の中心位置のずれとして算出される。別の例示的実施形態では、InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節することは、各EIの結像をさらに個々に最適化するために、明視野の光線位置サンプリングに対して実行される。
一例示的実施形態では、InIベースの3Dシステムは、アレイ光学系と第2の基準平面との間に位置付けられた接眼レンズをさらに含み、光線の組を追跡することは、接眼レンズを通して光線の組を追跡することを含む。いくつかの実施形態では、アレイディスプレイデバイスは、マイクロディスプレイデバイスである。いくつかの実施形態では、アレイ光学系は、各々が複数のマイクロレンズを含む1つ以上のレンズレットアレイを備えている。別の実施形態では、InIベースの3Dシステムは、InIベースの頭部搭載型ディスプレイ(InIベースのHMD)システムである。
いくつかの実施形態では、第1または第2のメトリックのうちの一方または両方に関する所定の値または値の範囲は、特定の像品質を達成するように選択される。いくつかの実施形態では、第1または第2のメトリックのうちの一方または両方に関する所定の値または値の範囲は、第1または第2のメトリックに関する最適な設計基準を提供する最大値または最小値を表す。
図11は、ある例示的実施形態による、インテグラルイメージング光学システムの設計を改良するために実行され得る動作の組を図示する。これらの動作は、2次元要素像(EI)のアレイを生成する明視野の方向を角度的にサンプリングするレンズレットアレイを含むインテグラルイメージング光学システムのために実行されることができ、2次元要素像の各々は、3次元(3D)の異なる視点を表す。方法は、1102において、明視野の光線方向サンプリングに対応する第1のメトリックを決定することと、1104において、明視野の光線位置サンプリングに対応する第2のメトリックを決定することと、1106において、第1および第2のメトリックに基づいて、インテグラルイメージング光学システムに関する設計を決定するための光線追跡動作を行うこととを含む。いくつかの実施形態では、光線追跡動作は、対応する値または値の範囲に第1または第2のメトリックを維持することを含む1つ以上の制約に基づいて行われる。
図12は、開示される技術のある側面を実装するために使用され得るデバイス1200のブロック図を図示する。例えば、図12のデバイスは、開示される画像センサに関連付けられた種々のデータおよび信号を受信する処理すること、記憶すること、表示のために提供すること、および/または伝送することを行うために使用されることができる。デバイス1200は、少なくとも1つのプロセッサ1204および/またはコントローラと、プロセッサ1204と通信する少なくとも1つのメモリ1202ユニットと、直接、または間接的に、通信リンク1208を通した他のエンティティ、デバイス、データベース、およびネットワークとのデータおよび情報の交換を可能にする少なくとも1つの通信ユニット1206とを備えている。通信ユニット1206は、1つ以上の通信プロトコルよる、有線および/または無線通信能力を提供し得、したがって、それは、適切な送信機/受信機、アンテナ、回路およびポート、およびデータおよび他の情報の適切な伝送および/または受信のために必要であり得るエンコーディング/デコーディング能力を備え得る。図12の例示的デバイス1200は、本書に開示される改良を適応させるために拡張される光線追跡プログラム(例えば、Code VまたはZemax)を実装するため等、本明細書に開示される種々の計算、方法、またはアルゴリズムを実施するために使用され得るより大きいコンポーネント(例えば、サーバ、コンピュータ、タブレット、スマートフォン等)の一部として統合され得る。
プロセッサ1204は、例えば、ホストコンピュータの全体的動作を制御するための中央処理ユニット(CPU)を含み得る。ある実施形態では、プロセッサ1204は、メモリ1202内に記憶されるソフトウェアまたはファームウェアを実行することによって、これを遂行する。プロセッサ1204は、1つ以上のプログラマブル汎用または専用マイクロプロセッサ、デジタル信号プロセッサ(DSP)、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、グラフィックス処理ユニット(GPU)等、またはそのようなデバイスの組み合わせであり得るか、または、それを含み得る。
メモリ1202は、コンピュータシステムの主要メモリであり得るか、または、それを含むことができる。メモリ1202は、任意の好適な形態のランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、フラッシュメモリ等、またはそのようなデバイスの組み合わせを表す。使用時、メモリ1202は、とりわけ、プロセッサ1204によって実行されると、プロセッサ1204に、本開示される技術のある側面を実装するための動作を実施させる、機械命令の組を含み得る。
種々の開示される実施形態が、種々の光学コンポーネント、電子機器ハードウェアおよび/またはソフトウェアモジュールおよびコンポーネントから成るデバイスにおいて、個々に、または集合的に実装され得ることを理解されたい。これらのデバイスは、例えば、互いに通信可能に接続され、デスクトップおよび/またはラップトップコンピュータからモバイルデバイス等に及び得るプロセッサ、メモリユニット、インターフェースを備え得る。プロセッサおよび/またはコントローラは、記憶媒体上に記憶されるプログラムコードの実行に基づいて、種々の開示される動作を実施することができる。プロセッサおよび/またはコントローラは、例えば、少なくとも1つのメモリと通信し、直接または間接的に、通信リンクを通した他のエンティティ、デバイス、およびネットワークとのデータおよび情報の交換を可能にする少なくとも1つの通信ユニットと通信することができる。通信ユニットは、1つ以上の通信プロトコルよる有線および/または無線通信能力を提供し得、したがって、それは、適切な送信機/受信機、アンテナ、回路およびポート、およびデータおよび他の情報の適切な伝送および/または受信のために必要であり得るエンコーディング/デコーディング能力を備え得る。
本明細書に説明される種々の情報およびデータ処理動作は、一実施形態では、ネットワーク化環境内のコンピュータによって実行されるプログラムコード等のコンピュータ実行可能命令を含むコンピュータ読み取り可能な媒体内で具現化されるコンピュータプログラム製品によって実装され得る。コンピュータ読み取り可能な媒体は、限定ではないが、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)等を含むリムーバブルおよび非リムーバブル記憶デバイスを含み得る。したがって、本願に説明されるコンピュータ読み取り可能な媒体は、非一過性記憶媒体を備えている。概して、プログラムモジュールは、特定のタスクを実施する、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み得る。コンピュータ実行可能命令、関連付けられたデータ構造、およびプログラムモジュールは、本明細書に開示される方法のステップを実行するためのプログラムコードの例を表す。そのような実行可能命令または関連付けられたデータ構造の特定の一続きは、そのようなステップまたはプロセスにおいて説明される機能を実装するための対応する行為の例を表す。
実施形態の前述の説明は、例証および説明の目的のために提示された。前述の説明は、網羅的であることも、本発明の実施形態を開示される精密な形態に限定することも意図しておらず、修正および変形例が、上記の教示に照らして可能であるか、または、種々の実施形態の実践から入手され得る。本明細書に議論される実施形態は、種々の実施形態の原理および性質およびその実践的適用を解説し、当業者が、想定される特定の使用に適するように、種々の実施形態において、および種々の修正を用いて本発明を利用することを可能にするために選定および説明された。動作は、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または順次順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。本明細書に説明される実施形態の特徴は、方法、装置、モジュール、およびシステムのあらゆる可能な組み合わせにおいて組み合わせられ得る。

Claims (20)

  1. インテグラルイメージング(InI)ベースの3次元(3D)ディスプレイシステムを設計する方法であって、前記方法は、
    前記InIベースの3Dシステムにおける明視野に関連付けられた光線の組を追跡することであって、前記システムは、
    アレイ光学系と、
    複数の要素像を生成することが可能であるアレイディスプレイデバイスと、
    仮想中心深度平面(CDP)を表す第1の基準平面であって、前記ディスプレイ上の点源によって放出された光線が、前記CDP上に像点を形成するように収束する、第1の基準平面と、
    再構築された3D場面を視認するための視認窓を表す第2の基準平面と、
    人間の眼のモデルを表す光学サブ区分と
    を含み、
    前記追跡することは、前記アレイディスプレイデバイスにおいて開始し、前記アレイ光学系を通して、前記アレイディスプレイデバイスおよびアレイ光学系の各要素に関する前記光学サブ区分まで実行される、ことと、
    所定の値または値の範囲内の少なくとも第1のメトリック値を取得するために、前記InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節することと
    を含み、
    前記第1のメトリック値は、前記明視野の光線方向サンプリングに対応する、方法。
  2. 前記第1のメトリック値は、前記明視野の所与の光線束の光線フットプリントのその近軸フットプリントからの変形を定量化する、請求項1に記載の方法。
  3. 前記第1のメトリック値は、前記第2の基準平面上の周辺光線の実位置と理論位置との間の平均ずれ距離の前記近軸フットプリントの対角線幅に対する相対的比率に従って決定される、請求項2に記載の方法。
  4. 前記第1のメトリック値は、光線追跡によって取得される前記視認窓上の周辺光線の実位置と前記視認窓上のそれらの対応する近軸位置との差異に基づいて決定される、請求項1に記載の方法。
  5. 前記InIベースの3Dシステムに関連付けられた前記1つ以上のパラメータを調節することは、別の所定の値または値の範囲内の第2のメトリック値をさらに取得するために実行され、前記第2のメトリック値は、少なくとも前記アレイ光学系の近隣の要素によって誘発される変形を考慮する前記明視野の光線位置サンプリングに対応する、請求項1に記載の方法。
  6. 前記第2のメトリック値は、前記第2の基準平面から測定される中心物体野の主光線の実位置と理論位置との間の角度ずれに従って決定される、請求項5に記載の方法。
  7. 前記第2のメトリック値は、大域的歪み尺度を表す、請求項5に記載の方法。
  8. 前記第2のメトリック値は、前記仮想CDP上の前記複数の要素像のある仮想要素像の中心位置のその近軸位置からのずれとして算出される、請求項5に記載の方法。
  9. 前記InIベースの3Dシステムに関連付けられた前記1つ以上のパラメータを調節することは、各要素像の結像をさらに個々に最適化するために、前記明視野の前記光線位置サンプリングに対して実行される、請求項5に記載の方法。
  10. 前記InIベースの3Dシステムは、前記アレイ光学系と前記第2の基準平面との間に位置付けられた接眼レンズをさらに含み、前記光線の組を追跡することは、前記接眼レンズを通して前記光線の組を追跡することを含む、請求項1に記載の方法。
  11. 前記アレイディスプレイデバイスは、マイクロディスプレイデバイスである、請求項1に記載の方法。
  12. 前記アレイ光学系は、各々が複数のマイクロレンズを含む1つ以上のレンズレットアレイを備えている、請求項1に記載の方法。
  13. 前記InIベースの3Dシステムは、InIベースの頭部搭載型ディスプレイ(InIベースのHMD)システムである、請求項1に記載の方法。
  14. 前記第1または前記第2のメトリックのうちの一方または両方に関する前記所定の値または値の範囲は、特定の像品質を達成するように選択される、請求項1または5に記載の方法。
  15. 前記第1または前記第2のメトリックのうちの一方または両方に関する前記所定の値または値の範囲は、前記第1または前記第2のメトリックに関する最適な設計基準を提供する最大値または最小値を表す、請求項1または5に記載の方法。
  16. レンズレットアレイを含むインテグラルイメージング光学システムの設計を改良する方法であって、前記レンズレットアレイは、2次元要素像(EI)のアレイを生成する明視野の方向を角度的にサンプリングし、前記EIの各々は、3次元(3D)の異なる視点を表し、前記方法は、
    前記明視野の光線方向サンプリングに対応する第1のメトリックを決定することと、
    前記明視野の光線位置サンプリングに対応する第2のメトリックを決定することと、
    前記第1および前記第2のメトリックに基づいて、前記インテグラルイメージング光学システムに関する設計を決定するための光線追跡動作を行うことと
    を含む、方法。
  17. 前記光線追跡動作は、対応する値または値の範囲に前記第1または前記第2のメトリックを維持することを含む1つ以上の制約に基づいて行われる、請求項16に記載の方法。
  18. 前記インテグラルイメージング光学システムは、InIベースの頭部搭載型ディスプレイ(InIベースのHMD)を備えている、請求項16に記載の方法。
  19. デバイスであって、前記デバイスは、
    プロセッサと、
    プロセッサ実行可能コードを備えているメモリと
    を備え、
    前記コードは、前記プロセッサによる実行時、
    InIベースの3Dシステムにおける明視野に関連付けられた光線の組を追跡することであって、前記システムは、
    アレイ光学系と、
    複数の要素像を生成することが可能であるアレイディスプレイデバイスと、
    仮想中心深度平面(CDP)を表す第1の基準平面であって、前記ディスプレイ上の点源によって放出された光線が、前記CDP上に像点を形成するように収束する、第1の基準平面と、
    再構築された3D場面を視認するための視認窓を表す第2の基準平面と、
    人間の眼のモデルを表す光学サブ区分と
    を含み、
    前記追跡することは、前記アレイディスプレイデバイスにおいて開始し、前記アレイ光学系を通して、前記アレイディスプレイデバイスおよびアレイ光学系の各要素に関する前記光学サブ区分まで実行される、ことと、
    所定の値または値の範囲内の少なくとも第1のメトリック値を取得するために、前記InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節することと
    を前記プロセッサに行わせ、
    前記第1のメトリック値は、前記明視野の光線方向サンプリングに対応する、デバイス。
  20. 記憶された命令を備えている非一過性コンピュータ読み取り可能な媒体であって、前記命令は、プロセッサによる実行時、インテグラルイメージング(InI)ベースの3次元(3D)ディスプレイシステムを設計する方法を前記プロセッサに実行させ、
    前記命令は、
    前記InIベースの3Dシステムにおける明視野に関連付けられた光線の組を追跡するためのプログラムコードであって、前記システムは、
    アレイ光学系と、
    複数の要素像を生成することが可能であるアレイディスプレイデバイスと、
    仮想中心深度平面(CDP)を表す第1の基準平面であって、前記ディスプレイ上の点源によって放出された光線が、前記CDP上に像点を形成するように収束する、第1の基準平面と、
    再構築された3D場面を視認するための視認窓を表す第2の基準平面と、
    人間の眼のモデルを表す光学サブ区分と
    を含み、
    前記追跡することは、前記アレイディスプレイデバイスにおいて開始し、前記アレイ光学系を通して、前記アレイディスプレイデバイスおよびアレイ光学系の各要素に関する前記光学サブ区分まで実行される、プログラムコードと、
    所定の値または値の範囲内の少なくとも第1のメトリック値を取得するために、前記InIベースの3Dシステムに関連付けられた1つ以上のパラメータを調節するためのプログラムコードと
    を備え、
    前記第1のメトリック値は、前記明視野の光線方向サンプリングに対応する、非一過性コンピュータ読み取り可能な媒体。
JP2022508814A 2019-08-12 2020-08-12 3d明視野ディスプレイのための光学設計および最適化技法 Pending JP2022544287A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962885460P 2019-08-12 2019-08-12
US62/885,460 2019-08-12
PCT/US2020/045921 WO2021030430A1 (en) 2019-08-12 2020-08-12 Optical design and optimization techniques for 3d light field displays

Publications (2)

Publication Number Publication Date
JP2022544287A true JP2022544287A (ja) 2022-10-17
JPWO2021030430A5 JPWO2021030430A5 (ja) 2023-08-21

Family

ID=74570719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508814A Pending JP2022544287A (ja) 2019-08-12 2020-08-12 3d明視野ディスプレイのための光学設計および最適化技法

Country Status (5)

Country Link
US (1) US20220283431A1 (ja)
EP (1) EP4014483A4 (ja)
JP (1) JP2022544287A (ja)
CN (1) CN114556913A (ja)
WO (1) WO2021030430A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516748B (zh) * 2021-07-30 2024-05-28 中山大学 一种集成成像光场显示的实时渲染方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880325B2 (en) * 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
JP6228300B2 (ja) * 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
AU2015227092B2 (en) * 2014-03-05 2019-07-04 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3D augmented reality display
CA3055542A1 (en) * 2017-03-09 2018-09-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and relay optics

Also Published As

Publication number Publication date
US20220283431A1 (en) 2022-09-08
CN114556913A (zh) 2022-05-27
EP4014483A1 (en) 2022-06-22
WO2021030430A1 (en) 2021-02-18
EP4014483A4 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
EP3371972B1 (en) Dynamic display calibration based on eye-tracking
US10939085B2 (en) Three dimensional glasses free light field display using eye location
US10466485B2 (en) Head-mounted apparatus, and method thereof for generating 3D image information
KR102561425B1 (ko) 웨어러블 3d 증강 현실 디스플레이
US9405124B2 (en) Methods and apparatus for light field projection
US11798141B2 (en) Method and apparatus for calibrating augmented reality headsets
US20170295353A1 (en) Compensating 3d stereoscopic imagery
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
Stern et al. Perceivable light fields: Matching the requirements between the human visual system and autostereoscopic 3-D displays
JP2014522591A (ja) 角スライス実像3dディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
JP2013038775A (ja) 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
US10075700B2 (en) Device, method and computer program for 3D rendering
Jo et al. Tomographic projector: large scale volumetric display with uniform viewing experiences
JP2022544287A (ja) 3d明視野ディスプレイのための光学設計および最適化技法
CN108012139B (zh) 应用于真实感近眼显示的图像生成方法和装置
JP2023526212A (ja) コヒーレントコンテキストを用いた、ピース毎の漸次的かつ持続的な較正
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
KR20180016823A (ko) 영상 보정 장치 및 방법
Huang Development and Optimization of Light Field Head-Mounted Displays
JP2022050768A (ja) 要素画像群生成装置及びそのプログラム
JP2016224656A (ja) 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
Song et al. Simulation tools for light-field displays based on a micro-lens array
KR101784208B1 (ko) 다수의 깊이 카메라를 이용한 3차원 디스플레이 시스템 및 방법
Hansen et al. Calibrating, Rendering and Evaluating the Head Mounted Light Field Display
Hansen et al. Rendering the Light Field

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230810