JP2020516959A - 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 - Google Patents

少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 Download PDF

Info

Publication number
JP2020516959A
JP2020516959A JP2020504762A JP2020504762A JP2020516959A JP 2020516959 A JP2020516959 A JP 2020516959A JP 2020504762 A JP2020504762 A JP 2020504762A JP 2020504762 A JP2020504762 A JP 2020504762A JP 2020516959 A JP2020516959 A JP 2020516959A
Authority
JP
Japan
Prior art keywords
slm
projection
image
optical fiber
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020504762A
Other languages
English (en)
Other versions
JP7420707B2 (ja
Inventor
ロガッツ コンスタンティン
ロガッツ コンスタンティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2020516959A publication Critical patent/JP2020516959A/ja
Application granted granted Critical
Publication of JP7420707B2 publication Critical patent/JP7420707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0977Reflective elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/26Optical coupling means
    • G02B6/35Optical coupling means having switching means
    • G02B6/351Optical coupling means having switching means involving stationary waveguides with moving interposed optical elements
    • G02B6/3512Optical coupling means having switching means involving stationary waveguides with moving interposed optical elements the optical element being reflective, e.g. mirror
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3152Modulator illumination systems for shaping the light beam
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2284Superimposing the holobject with other visual information

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Eyeglasses (AREA)
  • Projection Apparatus (AREA)

Abstract

本発明は、視界内に社会的に有害な技術的示唆を一切含むことなく、高い解像度、任意の視野、完全な透明性、無段階のオブジェクト焦点範囲、最小限の目の照明、および耳(3)の後ろのプロジェクタユニットを備えた、小型化されたAR眼鏡に関する。フレームレス眼鏡(1)において、インテグラルイメージングパターンが形成される(11)。マルチモード光ファイバプロジェクタおよびMEMSスイッチロッド(10)によって、個々の画像が、屈折率分布型のクローキング光学系チューブ(12)によって、目のすぐ前に供給され、とりわけ、高解像度のホログラム投影を知覚不可能に供給するためのマルチモード光ファイバプロジェクタと、任意の高さの解像度および視野のためのインテグラルイメージングコンセプトと、極めて高い像生成スループットのための高速なSLM DMDチップ(5)と、フレームレスの眼鏡ガラスに完全に隠されたハードウェアのための屈折率分布型のクローキング光学系(12)と、極めて高い仮想解像度を実現するための、アイトラッキング制御式の適応型の解像度制御と、の組み合わせによって供給される。最適化されたSLMハードウェアならびに屈折率分布が最適化された光ファイバ入口および出口は、さらに眼鏡の画像解像度能力を向上させる。

Description

[1]適用分野
本発明は、通常の眼鏡のように透明であるが、しかしながら眼鏡ガラスを介して見ることができる実際の像に、仮想のオブジェクトまたは像を高解像度で付加的に挿入することができる、AR(拡張現実)眼鏡に関する。特に、本発明は、眼鏡着用者の瞳孔のすぐ前に多数の光ファイバ端部を配置することによって、解像度が動的なライトフィールドを瞳孔に投影するAR眼鏡に関し、光ファイバ線路は、光学的なクローキング装置によって、外部からは不可視であるようにガラスを通って案内され、光学スイッチによって分配することができ、また眼鏡着用者の耳または頭部の後方において、SLMプロセッサは、伝送マトリクス変換された像を光ファイバに結合させ、それによって光ファイバの端部は、瞳孔の手前で完全な部分像を送出する。
[2]従来技術
どのようにAR眼鏡が機能的に構成されるかについて種々のシステムが公知である。この場合、眼鏡ガラス越しの、またはプリズム内の小型のディスプレイの後方反射の旧式のアプローチは大まかに区別される。このアプローチは、このディスプレイの範囲を過度に大きくするか、または可視のセクションを極めて小さくするので、本願において以降では考察しない(例えば、Google GlassまたはMeta 2)。
別のより新たなアプローチでは、像を回折格子によってパネルから浮かび上がらせるフラットな導波体(Waveguide)が利用されている。しかしながら、この技術は非常に制限された視野角しか提供せず、また見通しも悪い(例えばHoloLensまたはMagic Leap)。まだ実現されていない幾つかのより新たなアプローチでは、全体像の、パターン配置された複数の部分区間のうちの1つのライトフィールドが生成される。これらの部分像は、(Magic Leap社の特許権が付与された幾つかのアプローチと同様に)高速に切り替えられる反射プリズム(光学ゲート)のパターンによって、または回折格子(回折格子が埋め込まれた導波体)によって、それらの側から眼鏡ガラスに、続いて目に投影される。また、発振するシングルモード光ファイバを非常に小型の像プロジェクタとして利用することも、Magic Leap社によって提案されている。
別のシステム(UNCのPinlight Display)では、SLM(空間光変調器)を用いて、眼鏡ガラス上の粗面化された複数の点のパターンに波面が偏向される。この場合、粗面化されたそれらの点は、近くで考察すると、ライトフィールド区間のスクリーンのように作用するが、しかしながら外部から照射されている。
アイトラッキングを使用して、観察者に対して、計算機合成ホログラムを目の方向に投影する、3Dモニタが公知である。ここでもまた同様に、SLMを用いて、部分ホログラムが生成され、続いて、それらの部分ホログラムが1つの全体ホログラムに統合される。
[3]従来技術の欠点
上記において紹介した構想は、市販の眼鏡のように可能な限り小さいフレームを備えた外観とは大きく離れている。しかしながら、Google Glassの市場での経験から、眼鏡が毎日利用されるべき場合には、通常の眼鏡との極僅かな差異でさえも、市場での受け入れに関して問題を意味することがはっきりと分かった。個々人の顔の表情およびアイコンタクトは、多くの場合、社会的には繊細過ぎるので、未来の技術によってもそれらを偽装することはできない。さらに、それらの眼鏡は、ピクセル解像度が低く、透過性も制限されており、実際のオブジェクトのように集束せず、限定的な視野しか提供せず、また多くの光が目に入射する。
[4]本発明の利点およびタスク
本発明の利点およびタスクは、模範的にガラスに直接取り付けられたブリッジおよびテンプルを備えた、最大限に小型化されたフレームレスの眼鏡(1)を採用し、その眼鏡にほぼ不可視の光学システム(10)を統合させ、この光学システムが、外部からは不可視であり、また最大限の分解能でインテグラルライトフィールドを目に投影する(少なくとも20K)(48)、ということである。この場合、ライトフィールドの広がりは、眼鏡の視界によってのみ制限されているので、眼鏡を相応に設計すれば、220°の視界も実現できる。ガラスの前面には、LCD減光層が設けられている。さらに、目に向けられた少なくとも2つのビデオカメラと、視野に向けられた2つのビデオカメラと、が取り付けられている(53)。
ガラスは、通常の眼鏡屋が扱うガラスとして形成することができる。やや誇張した表現になるが、あらゆる技術を、耳および頭部の後方において、着用可能なユニット(3)またはモダンの端部に組み込むことができる。
投影されたライトフィールドの像は、必要であれば、考察される各オブジェクトに関して、適合された焦点を供給することができ、これによって、目の輻輳運動と焦点との関係が模倣され、またその際に、頭部を回すことなく、最大限に可能なRetina解像度(47)で、焦点が合わせられたオブジェクトを結像することができる。本特許は、「主流の」AR眼鏡の構造が絶対的に実現されることを示す。しかしながら、これは、ARプライバシの悪夢に、絶対的な信頼性のブロックチェイン構造でもって対処し、またAR眼鏡を究極的なブロックチェインに使用する、「オープンソース」のオペレーションシステムへのパラダイムシフトももたらす。
[5]検索見出し語
ピンホールプロジェクタ、インテグラルイメージング、光学クローキング装置、マルチモードファイバ内視鏡、計算機合成ホログラフィ(CGH)、フォービエイテッドレンダリング、適合的眼球離反運動の不一致、時間領域イメージング、振幅・位相複素変調SLM、Magic Leap、HoloLens、SLM、DMD、DLP、FLCOS、拡張現実AR、複合現実MR、マトリクス光学系、スペックル低減、ピエゾFTIR、エレクトロクロミックミラー、ピンホール眼鏡。
[6]図面のリスト
以下では、図面に図示した複数の実施形態に基づき、本発明を詳細に説明する。
微小電気機械システム(MEMS:Micro Electro Mechanical System)技術またはスイッチングミラーを備えたAR眼鏡の概観を示す。 システム全体の概念図を示す。 マルチモード光ファイバプロジェクタの概念図を示す。 AR眼鏡の解像度が動的なインテグラルイメージングを示す。 眼鏡ガラスにおける勾配光学系クローキングチャネルを示す。 眼鏡ガラスにおける焦点および周囲に関する投影面を示す。 2段階プロジェクタの概念図を示す。 1段階プロジェクタの概念図を示す。 AR眼鏡の較正自動装置を示す。 伝送パターン測定の概念図を示す。
[7]詳細な説明
図面に図示したように、AR眼鏡に関して、後頭部に配置された、複数のSLMライトプロセッサから成るホログラムプロジェクタ(3)において、それぞれが低解像度の部分像(51)を含む、少なくとも300個の光ファイバ投影点(48)が供給される。供給光ファイバは、眼鏡テンプル(9)および眼鏡縁部(62)を通り、眼鏡における投影のために任意に位置決めされる。これによって、複数の部分像またはホログラム(33)を瞳孔に直接的に投影するために、どのようにして投影をパターンとして目の前に直接到達させることができるかについての種々のアプローチ(34)が明らかになる。線状のヴァリエーション(2)では、投影点が眼鏡フレームに配置され、ガラス内の高速スイッチング可能なミラー面(19)が利用される。ここで説明する好適な点状のヴァリエーション(1)では、勾配クローキング光学系(12、69)が利用される。このために、眼鏡ガラス内の光ファイバは、光学的なクローキングチューブを通って案内されるので(12)、ファイバ、またはファイバに取り付けられた終端にあるMEMSスイッチシステム(10、70)は、ガラス内で特にあらゆる方向からも不可視である(66)。したがって、光導体はパターンとして、目のすぐ手前で、ガラス内で目の方向に向かって投影を行うことができる(59)。
眼鏡着用者の視点からは、個々の投影が融合されて、視野を満たす高解像度の1つの全体像(48)になる。3Dの印象は、右側のガラスおよび左側のガラスを通した投影の立体的な分離によって既に生じている。それにもかかわらず、各目にホログラム像を供給することができ、各目は遠くから極めて近くまでシームレスに、ホログラム像に焦点を合わせることができる。これによって初めて、頭部の動きに応じた3D像の動的計算(ジャイロセンサ)と、相応の減光LCDマスク(31、67)の挿入との協働において、完全なホログラム像が現実世界に混入される。光ファイバ投影点(43)が非常に小さいことによって、それらの光ファイバ投影点は、極めて高被写界深度の像を供給するので、プロジェクタは、オブジェクトが非常に近い場合にのみ、焦点を調整すればよい。またこれによって、眼鏡ガラスが、光学系に起因して、通常の眼鏡(66)よりも不透明になることは決してない。反対に、一部のファイバは、並行して、または専らカメラ(25、53)として使用される。光ファイバ毎に、プロセッサまたはコンピュータは、各ファイバ(92)および各点(102)についての較正(87)時に事前に測定された、個々の伝送マトリクス(23、36)に従い、像の一部を変換する。SLM(空間光変調器)(24)は、そこから、正確な光強度分布だけでなく、位相シフト分布も光ファイバ(41)に結合させる光前線(39)を生成する。位相分布も含むこの光前線変換だけで、個々のマルチモード光ファイバ(42)を、それぞれ1つの基本色に対して、光路およびプロジェクタとして利用することができる(44)。像を投影するために、1つのSLMだけを利用するか(83)、連続的に複数のSLMを利用して(76、77)、計算時間を節約する(78、79)、種々の方法を説明する。1つの方法では、一貫して、計算機合成ホログラム、ならびに効果的なホログラムグレースケール生成(ホロプロジェクタ)に焦点が当てられている。第2の方法では、一貫して、伝送およびフォーカシングのための種々のマトリクスの計算用途(マトリクスプロジェクタ)に焦点が当てられており、またこのために、位相シフトを生じさせるための特別な照明を用いる特別に最適化されたSLMが必要とされる。ARアプリケーションは、典型的には、遠い視界内に少数のオブジェクトのみを結像する(46)。プロジェクタは、オブジェクトが存在する光ファイバプロジェクタのみを動的に制御する。目を追跡する(アイトラッキング)ことによって(53)、その時点で焦点合わせされたプロジェクタ(47)のみが付加的に、より高い解像度で応答する。すなわち、人間の視覚は周囲をいずれにせよ、それほど高い解像度で認識しないので、大部分の投影点には、低い解像度(45)しか提供されない。大きい眼球運動(71)に起因して、フォーカシングおよび周囲の投影に対して、少なくとも2つの平行なインテグラルイメージングパターン平面が使用され、それらは、異なる投影角度(74、75)によって、異なるピクセル密度を実現し、また目にとって障害となる照明が生じないようにするために、まさに瞳孔に合わせられる。解像度ならびに作業のこの大幅な低減、および事前に計算されたモジュール回折パターンまたは像パターンの大規模な使用によって初めて、極めて高速のSLMライトプロセッサおよび並列グラフィックプロセッサでもって、結像プロセスを今日既に実現することができる。一連のすべての方法によって、特に投影時の弱いインコヒーレントなレーザ光によって、妨害的なスペックル作用が除外される。クローキングチューブ内のMEMS光ファイバスイッチ(10)によって、光ファイバ素線(8)の数が低減され、これによって、光ファイバの太さおよび解像度が増大される。AR眼鏡にとって最適なホログラムまたはマトリクス投影を実現する技術的な最適化が、SLMチップにおいて行われる。複数の異なる光源を用いたSLMチップの照明、または全体の照明ホログラムによって、また複数の方向に傾斜可能なDMDミラーによって、個々の結合点に対する投影を大幅に最適化することができる。そのようにして、極めて高速なSLMライトプロセッサに関する個々の結像サイクル内で、グレースケールを生成することができる。この場合、DMDチップの毎秒24,000〜32,000のサイクルは、各目に対するインテグラルライトフィールドの個別の各投影(例えば150)について、また各RGB色成分について、60Hzのフレームレートでもって、完全な像を時間的に連続して構築することができる。しかしながら、実際には、通常のARアプリケーションに対しては、はるかに小さい像領域しか利用されない。
技術のさらなる詳細およびヴァリエーションについては、その内容が参照により本願明細書に組み込まれる、独国特許出願明細書第10 2017 003 336.6号を参照されたい。
[8]PV 点ヴァリエーション(11)
このヴァリエーションは、光ファイバの先端が本来ははっきりとしない影しか示さない程度にしか、光学クローキング部から突出しない、非常に小さい光ファイバの先端に基づいて、その名が付けられた。光ファイバの先端が完全にクローキング領域に押し込まれると、先端はもはや全く見てとることができなくなる。このヴァリエーションの魅力は、像がまさに何もないところからガラス内に現れるという、魔法のように思われる効果である。このヴァリエーションは、提供される可能性および自由度を完全に利用することができることから、技術的に特に魅力的である。
クローキング効果:ここで技術的な基礎を成すのはクローキング効果(66)であり、これは、密な光学媒体(68)においては、細い空所(64)を光学的に不可視にすることを可能にする。このことは、空所の周囲を囲む、屈折率が大きく低下した環状の層(69)によって達成され、この場合、周囲の光学媒体は、適切な高さの屈折率(少なくとも1.7)を有していなければならないことが前提とされ、またクローキングされた領域における前述の層は、最小の屈折率(最大で1.5)しか有さない。この場合、光ビームは空所を完全に迂回する(66)。人間は光を常に直線光として解釈するので、空所は認識されない。
完全なクローキングボディは、相応のチューブ(12)であるが、しかしながら、楕円形のようなより複雑な空間も、あらゆる方向から完全にクローキングされる。
非常に多くの光ファイバ:点ヴァリエーションに関して、多数の光ファイバが、眼鏡縁部に配置され、また直接的に眼鏡ガラス内に収まる投影点のパターンを成すように分散される(11)。ガラスの内部に到達するために、複数のクローキングチューブが、相互に並んでガラスを通って案内される(12)。光ファイバは、ガラスチューブに通され、クローキングチューブ内において、約1〜2mmの曲率半径で湾曲され(64)、チューブの孔を通って正確に瞳孔の方向に向けられる(60)。光ファイバ端部は、クローキングチューブの特性と組み合わされることで投影コーンを瞳孔の方向に放出する光学系を有している。このシステムは、ファイバの投影が正確に所望の方向に放射される(59)ことを実現する。プロジェクタの密なパターンは、近ライトフィールド投影の原理によって、1つの関連付けられた像になる(48)。続いて、投影トリミング(50、51)の技術によって、重畳する像から1つの完全な合成像が生成される。
湾曲されたチューブおよび縁部:クローキングチューブは、眼鏡ガラスの湾曲に沿うように湾曲した形状をとる。同様に、ガラス周囲の線路チャネルもクローキングするために、同じ技術がクローキングハーフシェル(61)を用いて適用される。テンプルは、2つのチューブ間の孔を介して取り付けることができる。
複数の投影面:設計の1つのヴァリエーションにとっての重要な条件は、複数の投影面を採用できるようにすることである。このことは、目の大きい運動に起因して、周囲の結像のために必要とされ、また次段落でさらに説明する。このために、異なる投影角度を提供する、第2および第3のパターンを並行して使用することができる。投影ユニットは、目の向きに応じて、どの平面が利用されるかを制御する。
MEMS技術の使用:MEMS技術による実現を進めると、クローキングチューブ内には、複雑なロッド状のマイクロシステム(10、70)が収容され、このマイクロシステム(10、70)は、MEMS、ウェハレベルオプティクスおよびナノオプティクスでの印刷法でもって製造され、また偏向ミラースイッチおよび投影光学系(16)を備えた光導体(14)ならびに制御電子装置(13)から構成されている。
[9]SV 線ヴァリエーション(2)
このヴァリエーションは、個々のガラスボディ間の細い溝に基づいて、その名が付けられた。ただし実際には、張り合わせによってそれらの溝は可視のものではなくなっている。
スイッチング可能なミラー:ここで技術的な基礎を成すのは、2つのガラスボディの間の層を高周波数で反射性にするか、または少なくとも部分反射性にする(19)方法である。これによって、眼鏡縁部に位置決めされた光ファイバプロジェクタ(18)は、その投影を、この鏡面(21)において瞳孔の方向に誘導させることができる。そのような複数のスイッチングミラーによって相互的な相応の切り替えを行うことで、単一のプロジェクタが複数の像を連続的に種々の方向から生成することができる。ミラー層は、ガラスの全幅にわたり延びているので、複数のプロジェクタが並行してY座標に関して複数の像を結像することができる。これによって、個々の像のライトフィールドパターンが目の前方において形成される。考えられるスイッチングミラー方法は以下の通りである:
SV6 漏れ全反射(FTIR:Frustrierte Totale interne Reflektion):内部全反射、または漏れTIRのみが、ピエゾ素子を用いた間隙の拡張によって生じ、このピエゾ素子は、伸張または振動によって間隙を形成する。
SV8 エレクトロクロミックミラー:
エレクトロクロミックミラーのシステムが、ミラー(エレクトロクロミックミラー)として利用される。
[10]プロジェクタの取り付けのヴァリエーション
PA1:演算ユニットは、小型化の度合いに応じて、眼鏡に直接取り付けることができるか(3)、または別個のユニットとして構成することができる。この場合、接続は無線または有線により構成することができる。
PA2:プロジェクタおよび演算ユニットは、1つのユニットとして頭部の後方に配置することができる。
PA3:プロジェクタおよび/または演算ユニットは、ポケットまたはベルト内の1つのユニットとして、身体に配置することができる。演算ユニット自体も、無線によりハンドバック内に保持することができるか、または単純にユーザの周囲最大10メートルの範囲内に保持することができる。
[11]ライトフィールドの投影トリミングのヴァリエーション
インテグラルライトフィールドは、重複する円形の投影(50)を生成する。重複部は、像レンダリングの際に切り抜かれなければならない(クリッピング)(51)。
PB1:アイトラッキングによって、視線方向が正確に検出され、クリッピングフレームが算出される。
PB2:さらに、瞳孔の幅がアイトラッキングカメラ(53)によって検出され、クリッピングフレームが適合される。
PB3:滑らかな遷移:クリッピングの縁部は、巧みにシームレスで円滑に切り取られ、それによって、複数の投影が僅かな誤差で相互に適合される。
[12]カバーマスク機能
AR眼鏡の前面には、高解像度の減光LCDディスプレイ(67)が設けられており、この減光LCDディスプレイ(67)は、眼鏡ガラスを介する完全な視野をカバーする。
透明でない仮想オブジェクトに関する背景カバー:カバーのメイン機能は、挿入された仮想オブジェクトを必要に応じて不透明にし、したがって現実世界を覆うようにすることである。このために、各仮想オブジェクトに対して、それら各仮想オブジェクトに属するマスクが算出される。
[13]周囲の認識およびオブジェクトの認識
ローカルのKIサーバが、パターン認識に使用される。周囲が周囲カメラ(53)を用いてスキャンされ、すべてのオブジェクトがニューラルネットワーク(ディープラーニング)を介して、可能な限り広範に、既知の論理的なオブジェクトに対応付けられる。コンピュータにおいて、ディジタルで解釈された世界が構築され、ユーザインタフェースによってこの世界にアクセスすることができる。この場合、ユーザインタフェースは、オブジェクトに関連付けられて機能することができる。
[14]クローキング光学系のヴァリエーション
クローキング光学系を、種々のやり方で、密なガラス媒体に導入することができる。形状は、正確にチューブである必要はなく、より複雑であるが、それにもかかわらず一貫してクローキングが行える、以下のような形状をとることもできる:
TO1 円形状:クローキングチャネルは、完全なシリンダ形状(12)を有する。
TO2 楕円形状:クローキングチャネルは、完全な楕円形状を有する。
TO3 シェル形状:ガラスの縁部において、クローキング光学系は、その縁部によって満たすことができるシェル形状(61)を有する。
TO4 屈曲あり:この形状は、その均一な形状に加えて、異なる強さで、または均一に湾曲されている。
TO5 全体の格子:この形状は、相応の分岐または交点を有するメッシュまたは格子に形成されている。
TO6:分岐における丸み:各分岐における鋭い移行部が緩やかに丸められている。
クローキング機能は、空所の周囲に位置する、光学密度が低減された複数の異なる層(69)によって生じる、光の均一な偏向によってもたらされる。これらの勾配経過を種々に設定することができる:
GR1 異なる屈折率:層は、相互に調整された異なる屈折率を有する。
GR2 異なる分散値:層は、クローキングの光学的な一貫性を高めるために、相互に調整された異なる分散値を有する。
GR3 非常に厚いまたは薄い層:層は、非常に薄く設計されているか、または非常に厚く設計されている。
GR4 不均一な強さの減少:層の密度(屈折率)または層の厚さは、均一に減少するのではなく、指数関数的にまたは可変に高速で減少する。
GR5 段状または無段状:層は、相互に段状に設計されているか、または層は、相互に段状にならないような厚さの経過を有する。
[15]クローキング光学系の穿孔のヴァリエーション
クローキング部の内部から投影を行うために、クローキングジャケットを貫通させる(穿孔)(69)ことが必要になると考えられる。これを様々なやり方で行うことができる:
TP1 孔:孔(69)は、相応の箇所に相応の角度で設けられる。
TP2 孔の深さ:孔の深さを介して、正確な光学特性は調整される。
TP3 孔の形状:孔の形状によって、特性は変化する。形状は、球状、円錐状、スリット状、楔状または他の形状を有することができる。
TP4 孔の充填:孔は、他の光学媒体で充填されるか、または閉鎖される。
TP5 孔の内側:穿孔は、層の作製の中間段階で行われ、孔は閉鎖され、作製は継続される。穿孔は、内側からのみ作用する。
[16]クローキング光学系の層の作製および穿孔印刷
クローキング光学系を大量生産できるようにするために、全体の格子が層毎にそれぞれ作製される。この場合、UV硬化ポリマー層または相応の屈折率を有する他の材料がそれぞれ設けられる。この段階で、クローキングチューブの投影箇所において光学的な穿孔を行うために、「バブルジェット」のような印刷技術を用いて、それらの箇所に、別の屈折率を有する別のポリマーが噴射される。このポリマーが、この点において、事前に設けられている層を押し退ける。その後、層はUV硬化され、後続の層が設けられる。これらのステップの順序および印刷材料は変更することができる。
PD1 層形成前の印刷:全体の層が形成される前に、穿孔された箇所に印刷が行われる。印刷材料は、この箇所へのコーティングの流入を阻止する流入抑制材料であってよい。
PD2 層形成後の印刷:全体の層が形成された後に、印刷が行われる。
PD3 ドーパントのみの印刷:屈折率を変化させる物質のみが噴射される。
PD4 層形成前後の印刷:事前印刷および事後印刷を組み合わせた印刷が行われ、これには層の中間硬化を含むこともできる。
PD5 さらなる補正印刷:光学的な補正を行うために、層においてさらに別の箇所に印刷が行われる。この印刷が行われなければ、光学的な補正が妨害される恐れがある。
[17]クローキング光学系の嵌め込みのヴァリエーション
クローキングチューブの内部構造を、技術水準に応じて種々に構成することができる。メインタスクは、投影の正確な位置決めおよび光導が行われる撓みである。より高い技術水準では、スイッチおよび分岐もこれに含めることができる。さらに、投影システムならびに記録システムも設置することができる。
TI1 構造:光ファイバが案内され、別の光学素子が取り付けられている、より複雑な保持構造が製造される。
TI2 光学系の嵌め込み:ウェハレベルオプティクスによって形成された導波体、偏向光学系およびレンズを備えた細いマイクロチップが製造され、このマイクロチップは、所望の投影点を正確に生成し、眼鏡縁部における線路が提供される。続いて、眼鏡縁部には、MEMSスイッチおよび光学系を備えた細いICが収容され、このICは、それらの線路に光ファイバ信号を分配する。
TI3 MEMS基板(70):非常に細長いマイクロチップが使用され、このマイクロチップには、電気回路の他に、光学的なスイッチとしての多数のMEMS−DMDマイクロミラー、ならびに光導体およびレンズも集積されている。チップは、IC、MEMS(13)およびウェハレベルオプティクス(15)技術を用いて大量生産することができ、またナノポリマー光学プリンタを用いて洗練することができる。
[18]投影面の説明およびヴァリエーション
ライトフィールドの投影は、目に比較的近い位置において眼鏡ガラスに取り付けられている光ファイバプロジェクタのパターンから成る。眼球における瞳孔(58)は、眼鏡ガラスの比較的近くに位置しており、したがって比較的大きい眼球の回転によって比較的大きくずれる(71)。この大きい目の運動は、右方、左方ならびに上方および下方に行われる。またターゲットの位置は、したがって、視線方向に強く依存する。通常のディスプレイにとっては、これは問題にならない。何故ならば、通常のスクリーンは、各ピクセルを大きい視野角で結像するからである。スクリーンの光は、それが眼鏡ガラスの反射面において反射される場合であっても、あらゆる方向を比較的強く照らし、また目の領域全体を照明する。
根本的に異なるライトフィールド:これに対し、ライトフィールドの個々の投影は、1点から出発して、映写機のように1つの全体の像を瞳孔の方向へと放射する。これは、目に像が現れる原理とは根本的に異なる原理である。この場合、投影角度(74)は限定的なものでしかない。
光ファイバは、太さに応じて、限定的な解像度の像しか伝送せず、この像は続いて、ファイバの端部において20°〜40°の所望の出射角度(74、75)にされる。
これらの投影点は、先ず、人間の目における適切な幅の瞳孔に起因して円形の像に成る。投影の出射角度は、像の解像度密度を決定する。
今まさに焦点が合わせられている領域において、可能な限り高い解像度を有する像を得るために、この方向におけるライトフィールドでは、プロジェクタが非常に小さい角度の投影を供給しなければならない(59)。焦点が合わせられてない領域において、解像度の低い周囲の像を得るために、この方向におけるライトフィールドでは、プロジェクタが大きい角度の投影を供給することができ(60)、これによって、投影を瞳孔の可能な限り広範な視線角度に対して利用することができる。この部分的に小さい投影角度に起因して、ライトフィールドは、眼球の目の動きに正確に合わせて調整されなければならない。これらの状況はまた、少なくとも2つの完全な投影フィールド面を並行して使用する必要性の基礎も成す。一方の面は、焦点合わせされた領域のための面(47)であり、もう一方の面は、残りの焦点合わせされていない周囲を結像するための面(46)である。
MEMS技術による、投影点に直接的に設けられている光学スイッチ、ならびにウェハレベルオプティクス法による最適な光導体の技術によって、異なる解像度に対して使用される投影点の数の制限はなくなる。案内される光ファイバの数は大幅に低減され、それによって束は非常に細くなる。これに対して、個々のファイバをより太くすることができ、また解像度をより高くすることができる。
[19]視野の解像度低減のヴァリエーション
完全な視野をカバーする高解像度のAR眼鏡のための理論的なピクセル解像度は、容易に20〜40メガピクセルに達する。しかしながら幸いなことに、ARホログラム投影は、実際の使用では、従来の像プロジェクタまたはモニタとは根本的に異なる。
AR1 既存のオブジェクトのみ:拡張現実では、視界全体が仮想オブジェクトで完全に覆われることはほぼない。多くの場合、個別化されたオブジェクト(46)が現実世界に挿入される。
AR2 焦点合わせされた領域HQのみ:実際のARの第2の態様は、人間が常に一箇所のみを見ることができ、またその箇所のみが高解像度で焦点が合わせられるので、細部を認識する(47)ということである。全体の残りの周囲は、はるかに低い解像度で認識される(45)。ARホログラムプロジェクタは、アイトラッキングによって、どこに、またどれほどの深さに視線が向けられているかが常に正確に分かる。この情報でもって、プロジェクタは常に、非常に小さい部分を最高の解像度で投影することだけが必要とされる。残りのプロジェクタは、より少ない像サイクルで単純により低い解像度で投影することができる。これによって、さらにフレームレートが大幅に節約される。この種の解像度低減は、周囲に関して、より低い画像周波数、ピクセル解像度、色深度および焦点合わせ能力で行うことができる。
AR3 焦点領域におけるより低い画像レート:第3の態様は、焦点合わせされた比較的動きの少ないオブジェクトに関する繰り返しレートが、高速に動くオブジェクトよりもはるかに低いということである。人間の目は、周囲におけるちらつきしか気づかず、焦点合わせされた領域(47)においては非常に緩慢である。つまり技術的には、繰り返しレートを、焦点合わせされた領域においては低減することができ、動きが速い場合には、解像度を僅かに低減することができる。
AR4 焦点領域のみでの焦点の適合:オブジェクトへの実際の焦点合わせの可能性は、焦点領域においてのみ実現されることが必要とされる。
[20]マトリクスホロプロジェクタおよびハイブリッドプロジェクタ(35)
A1 マトリクスプロジェクタ:変換マトリクスTMは、光学的には、変換ホログラムによって行われるのではなく、純粋にコンピュータにおける計算によって像に適用される。SLMは、光ファイバの端部の手前に像を配置するために、オーソドックスなやり方で利用される。これによって、計算機合成ホログラムの複雑さは低減され、照明システムを備えた専用の最適化されたSLM(83)のみが必要になる。
B1 ハイブリッドプロジェクタ:像として、オーソドックスに利用されるSLMの通常のピクセルパターンが利用される。しかしながら、光ファイバ変換マトリクスを適用するために、第2のSLM面がCGHとして利用され、それによって本物のホログラムが目の前に投影される(76、77)。これは、実現できる最も簡単な使用形態である。何故ならば、CGH(計算機合成ホログラム)(78、79)のための別途の計算能力およびノウハウの使用が極僅かで済むからである。
B2 ハイブリッドプロジェクタ:B1の場合と同様の方式であるが、しかしながら、オブジェクトの目の焦点合わせは省略されない。この場合、第2のSLMは、光ファイバ用のTMだけを変換するのではなく、個々のピクセルの結像深さも付加的に変換する。このための情報は、先行して算出された2D像のZバッファから取り出される。
C1 ホログラムプロジェクタ:Bのヴァリエーションでは、像が依然としてピクセルから従来のOpenGL方式によって直接的に算出されるが、Cのヴァリエーションの像計算は、モデルからホログラムデータを直接的に生成することができ、また干渉パターンも生成することができ、これらが続いて、SLMに伝送される。相応に変調されたRGB色成分レーザでSLMが照射された後になって初めて、結合される光前線が生じる。単一のSLMが利用され(82)、像形成および光ファイバ変換を1つのステップで実施することができる。しかしながら、このために、高周波数で、変換を乗算しなければならないか、またはホログラム(84)が算出されなければならない。
[21]光源およびスペックル低減
E1 コヒーレンスの低減:レーザ光源は、ホログラフィ方式に関してまだなお許容できる程度に、1つまたは複数の異なる態様で、組み合わされて変調される。
1. 光の波長は、相応に限定されて混合されたスペクトルに変調される。
2. 位相はシフトされて均一に混合される(移動拡散板またはマルチモードファイバ)。
3. ビーム相互の角度(平行度)は、相応に限定された範囲で混合される。
これらの変調は、可動拡散板、ピエゾベンダ、音響光学変調器、またはマルチモード光ファイバを介する受動的な通過によって達成することができる。
E3 光ファイバ伝送:マルチモード光ファイバを介する、瞳孔の手前までの、システムを特徴付ける波面の通過は、スペックルの形成を大幅に抑制するコヒーレンス位相混合をもたらす。
E4 一定のホログラムの変化:同一の結果を生じさせるために複数の異なるやり方を実現する回折パターン生成法が像コンテンツに対して利用される場合、像の生成は常に別のパターンのヴァリエーションを利用することができる。乱数発生器は、その都度、次のヴァリエーションを選択することができる。スペックルパターンは、常に1サイクルにしか現れないが、所望の像は各サイクルに残る。
E5 ピエゾシフト:ピエゾ振動式ミラーまたは拡散板によってコヒーレンスが低減される。
[22]分割フィールド、説明およびヴァリエーション
AR眼鏡は、目のすぐ前に位置決めされている光ファイバ投影点の密なパターンを基礎とする。水平方向において最大限に知覚できる220°のアクティブな視野が大きくなるほど、またそのために必要とされる垂直方向の点解像度が高くなるほど、より多くの光ファイバ端部が使用される。しかしながら、使用されるSLMプロジェクタの数に応じて、またプロジェクタの、使用されるホログラムの併用に応じて、それらの光ファイバのうちの少数(2〜32)しか並行して使用されない。また、それらの光ファイバは、高周波で選択されなければならない。これに関する観念的な基礎は、光学スイッチであり、最終的には、種々の形態のスイッチの混合形態が使用される。
第1のスイッチ段階としての結合フィールド:AR眼鏡では、結合フィールド(28)が、ファイバ端部への像の結合のプロセスの他に、ファイバ端部の選択の機能も実現する。この選択は、ホログラム投影では、既に像計算において考慮され、したがって非常に効果的であるが、計算方式に非常に強く組み込まれている。結合フィールド(28)は、しかしながら、ファイバ毎の可能な限り大きい光学系に起因して、選択可能なファイバの数が限定されている。
第2のスイッチ段階:結合フィールドからの光ファイバを、投影出射点までの経路において、必要とされる投影の最終的な数に達するようにするために、種々のやり方で分岐させることができる。これは個々のスイッチおよびツリー構造を介して行うことができる。しかしながら、複数の分岐を備えたスイッチも使用することができる。
能動的なスイッチ:光束を完全に分岐させる能動的なスイッチが最善である。しかしながら多くの技術は、100%弱しか達成できず、その場合、残りの光は許容しなければならないか、または付加的な遮断層によってブロックされなければならない。
MEMS技術:MEMS製造技術では、スキームは、設置されるファイバの数も大幅に低減できるようにさらに最適化することができる。これは、スイッチが出射点のすぐ前に設置されることによって達成される。
スイッチおよび角度:MEMSまたはマイクロ光学系の特に小さい構造形態によって、直接的にクローキングチューブにおいて、能動的なスイッチおよび90°の偏向を組み合わせることができる(16)。90°の偏向は臨界点でもあることから、一石二鳥である。光ファイバ線路が大幅に節約されることによって、ファイバは、より太くすることができ、またそれによって、より高い解像度の像を案内することができる。
周囲ファイバおよび焦点ファイバの組み合わせ:光ファイバが大量に統合される場合、焦点プロジェクタおよび周囲プロジェクタのために光ファイバを統合することができる。すなわち、このタイプのプロジェクタは、結合光学系および出射光学系のみが異なる。その場合、焦点プロジェクタのための煩雑な結合光学系を、より簡潔な周囲プロジェクタのために利用することもできる。
ファイバの統合:焦点プロジェクタおよび周囲プロジェクタを統合するために、2つの光ファイバを1つにマージすることもできる。
スイッチ技術:種々の物理的な方式を、スイッチ設定のために利用することができる。
WT1 ピエゾアクチュエータ:光学系は、物理的に相互にずらされる。つまり、全体のフィールドを、ピエゾアクチュエータでもって広範にずらすことができる。
WT2 FLCD:選択は、FLCD絞りを単純に開閉することによって行うことができる(27)。
WT3 FTIR:調整可能な漏れ全反射または内部全反射FTIR。
WT4 エレクトロクロミックミラー:エレクトロクロミック層による切り替え。
WT5 MEMS:ミラーまたは他の要素のマイクロメカニカル式の回転、降下またはシフト。
WT6 DMD:全体のフィールドとして、または大きいミラーとしてのDMDミラー(16)の傾斜。
スイッチツリー:複数のスイッチシステムを組み合わせることによって、多くの分岐を実現することができる。
WB1 カスケード式のスイッチ:1つのストランドにおいて多数の分岐を有するようにするために(10)、1種類のスイッチを多重に連続して接続することができる。これは、スイッチの種類が、スイッチ端部への信号の転送を殊に効果的に行える場合には殊に効果的である。
WB2 ツリーの分岐:すべてのスイッチ端部がさらに分岐される。
[23]クローキングチューブの嵌め込みにおける特別なスイッチ形状
AR眼鏡は、最後のスイッチを、カスケード式にクローキングチューブ嵌め込み部に取り付けることができ、これをMEMS技術および/またはウェハレベルオプティクス技術で作製することができる(10)。投影光学系は、付加的に、例えばナノ勾配ポリマープリンタでもって、UV硬化ベースで洗練することができる。スイッチは、同様に、約90°の回転を実行することができる。このために、以下の設計のヴァリエーションが有利である。
出力光学系および再結合光学系を備えたDMDミラー:
スイッチの機能は、1つの大きいDMDミラーによって、またはDMDミラーの1つのパターンによって実施される。この場合、ミラーを種々の位置に傾斜させることができる。この場合、個々のミラーは、焦点合わせされたシェル形状を有することができるか、またはミラーアレイは、同様に所望の焦点合わせを実行することができる。傾斜方向に応じて、焦点合わせは異なる結果になると考えられる。
出力を焦点合わせによって、直接的にまたは別の光学系を介して、最終的な投影として利用することができる。ミラーの制御を個別に行う必要はなく、すべてのミラーに対して一緒に行うだけでよい。
波面は、転送時に、再び結合光学系に案内される。拡張およびシステムにおけるより大きい導波体によって、波面をあまり急峻にトリミングしなくて済む。波面を、急峻な全反射ミラーによって、DMDに案内することができる。これに対して、出力された波面は、急峻な角度に起因して、ミラーを通過することができる。
[24]精製された光ファイバ先端
光ファイバの端部に、ナノ光学ポリマープリンタでもって、精密なレンズ光学系を設けることができる。プリンタは、勾配光学系も印刷することができ、また複雑な光波束が妨害されずに、開口部の大きさによって制限される、システム全体の解像度能力が向上するように、ファイバの開口部を拡大および構成することができる。この場合、幾何学は伝送マトリクスによって再び確立されるので、この幾何学の維持に注意する必要はない。
[25]ホログラム最適化FLCOSおよびDMDシステム
公知のSLMシステムは、主に、通常のビデオ投影のために開発されたものである。それらは、CGHの用途にも良好に利用することができる。それにもかかわらず、AR眼鏡に関して、SLMシステムはCGH用途について、また光ファイバ結合のために最適化されるべきである。何故ならば、波面によって、単一の視点しか利用されず、また残りの視点は、通常のプロジェクタとは異なり無関係だからである。
KF2 複素変調されたFLCOS SLM
独立して調整可能である振幅変調および位相変調を達成するために、それぞれが反対方向に偏光を回転させることができる、2つの厚いFLCDの層が使用される。つまり、純粋な位相変調は、両方の層の等しい強さのアクティブ化によって達成することができる。この場合、光の偏光は、先ず、一方の方向に回転され、続いて、再び正確に逆方向に回転される。最終的には、偏光は等しいままである。両方の層の屈折率のみが、したがって位相シフトのみが、活性化の強さに応じて変化する。この場合、両方の層の異なる強さの活性化は、付加的に偏光回転を生じさせ、それと共に振幅変調も生じさせる。
KD2 種々の光源
種々の方向から種々の光源を利用することによって、それらの光源を相応に組み合わせた場合、多くの異なる振幅強度を生じさせることができる。異なる光源は、異なる位相シフトも提供することができ、これによって、異なる位相を有する結合パターンが生成される。
KD3 バイナリ位相変調されたMEMS−SLM
簡略化されたヴァリエーションは、マイクロミラーを2つの位相シフト位置の間で切り替え、例えば利用される波長の0とπとの間でのみ切り替える。第3の状態として、ミラーは依然として完全に傾斜させることができ、それによって、付加的にバイナリ振幅変調器として機能する。
CM1:複数の方向に傾斜するマイクロミラー:ミラーは、2つの方向に傾斜するだけでなく、照明光前線からより多くの異なる位相または振幅を選び出すことができるようにするために、複数の方向に傾斜することができる。

Claims (22)

  1. 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(AR)眼鏡において、
    マルチモード光ファイバ(42)から成る複数の光ファイバプロジェクタ(59)が、被写界深度の大きい仮想像を、眼鏡着用者の少なくとも一方の目に投影し、前記仮想像は、相互に上下左右に並んで配置された個々の投影(48)のパターンから成るインテグラルイメージングであり、前記個々の投影(48)は、前記眼鏡着用者に対しては近くでの観察時には1つの全体投影に統合され、かつそれぞれが前記仮想像の一部(37)であり、各光ファイバ(42)の入射端部には、前記光ファイバ(42)の変換マトリクス(36)による本来の像の変換から決定される複雑なピクセルパターンがコンピュータによって計算される、コンピュータ制御式の空間光変調器(SLM)(24)または他の像生成システムが取り付けられており、光学系は、前記空間光変調器(SLM)によってホログラムまたは複雑な投影として供給され、かつ振幅および相対的な位相シフト(39)を有する波面を、前記光ファイバ(42)に結合し(41)、各光ファイバ(42)の出射端部には、別の光学システムを設けることが可能であり、これにより前記光ファイバ(42)から出射される本来の像が前記眼鏡着用者の目に投影されることを特徴とする、
    拡張現実(AR)眼鏡。
  2. 前記光ファイバプロジェクタ(42)または前記光ファイバプロジェクタ(42)に接続されて延長されたマイクロ光学システムは、眼鏡ガラス内のクローキングチャネルを介して、インテグラルイメージングパターンにとって最適な位置まで直接的に設置されており(64)、勾配光学系によって、前記眼鏡ガラスを通過する光は、前記チャネルを迂回し(66)、前記チャネルは外側からは不可視となり、前記勾配光学系の光学媒体の屈折率の勾配は、前記チャネルの方向において、周囲の高屈折率から低屈折率に低下する(69)、
    請求項1記載の拡張現実(AR)眼鏡。
  3. 複数の光ファイバプロジェクタ端部が眼鏡ガラスの縁部周りに位置決めされており、そこから眼鏡ガラス内に向けられており(18)、前記眼鏡ガラスには、相互に上下に並んでまたは相互に左右に並んで位置する複数の高速切り替え可能なミラー面(19)が設けられており、前記ミラー面(19)は、反射性に切り替えられると、投影を偏向させ(21)、前記眼鏡ガラスから前記目に案内する、
    請求項1記載の拡張現実(AR)眼鏡。
  4. 前記クローキングチャネル内に、マイクロ光学系システム(10)全体が隠されており、前記マイクロ光学系システム(10)は、付加的に、IC回路および/またはMEMSマイクロメカニズムまたはDMDミラーフィールドおよび/または3Dプリントされた勾配マイクロ光学系が集積されている(70、15)、
    請求項2記載の拡張現実(AR)眼鏡。
  5. 前記インテグラルイメージングの投影点は、少なくとも2つのパターン面(47、46)に平行に位置決めされており、各面に対して異なる出射光学系、異なる出射角およびこれによって異なる解像度が設けられている、
    請求項1から4までのいずれか1項記載の拡張現実(AR)眼鏡。
  6. 相互に上下左右に並んで配置された個々の投影点の重畳部を、解像度が効率的なものとなるように適切に相互に切り取ることができ(51)、前記切り取りは、インテグラル投影点の相互の距離(11)が、前記眼鏡着用者の最適なまたは最小の瞳孔サイズとの関係で選択されることによって(58)、かつ/または、投影点の出射光学系が、前記投影が効率的に利用可能な正方形の形状を生成するように形成されていることによって行われ、さらに瞳孔のサイズを測定する少なくとも1つのアイカメラ(53)が取り付けられている、
    請求項1から5までのいずれか1項記載の拡張現実(AR)眼鏡。
  7. 少なくとも1つのSLM(空間光変調器)(24)が視野外に取り付けられており、前記SLM(24)は、少なくとも1つの光源(22)によって照明され、前記SLM(24)によって生成された光前線は、別のSLM面(76)に入射するか、または結合光学系(26)に直接的に入射し、結合フィールド(28)には、結合光学系が接続されている少なくとも1つの光ファイバが配置されており、前記ファイバは、眼鏡テンプル(9)を通って、または別のやり方で、少なくとも一箇所に投影出射点が位置決めされている前記眼鏡ガラスまで案内され(18)、前記投影出射点は、別の光学系、または光学スイッチおよびマイクロ光学系を備えた光導体延長部、またはスイッチおよびマイクロ光学系としてのICロジック(10)およびMEMS素子を備えたチップシステム全体を有することができる、
    請求項1から6までのいずれか1項記載の拡張現実(AR)眼鏡。
  8. AR光ファイバ投影に最適化されたDMDチップSLM(空間光変調器)が、複数のまたは複雑な光源を利用するために使用され、DMDチップにおける複数のマイクロミラーそれぞれを付加的な方向または位置に傾斜または調整することができる、かつ/または、個々のミラーにおいて異なる付加的なミラー構造または回折構造を有し、それによって種々の光源が異なる方向から投影に利用される、
    請求項1から7までのいずれか1項記載の拡張現実(AR)眼鏡。
  9. AR光ファイバ投影に最適化されたFLCOS(強誘電性液晶オンシリコン)SLMでは、その上に設けられたミラーが、独立して調整可能な複数のFLCD(強誘電性液晶ディスプレイ)層を有しており、グレー値および位相シフトが独立して設定される、
    請求項1から8までのいずれか1項記載の拡張現実(AR)眼鏡。
  10. 光を伝送させるために光ファイバが取り付けられていることによって、かつ/または、振動性のピエゾ式に動かされるミラーまたは拡散板が使用されることによって、光源のコヒーレンスが低減される、
    請求項1から9までのいずれか1項記載の拡張現実(AR)眼鏡。
  11. 複数の結合光学系を備えた結合フィールド(28)が第1段階として光ファイバ多重スイッチのように使用され、ホロプロジェクタでは、ホログラム自体を各結合光学系が制御することができ、その一方で、必要とされない光ファイバは、前段に設けられているFLCD(強誘電性液晶ディスプレイ)絞り(27)または他の絞りによって閉じることができる、
    請求項1から10までのいずれか1項記載の拡張現実(AR)眼鏡。
  12. 結合フィールドの後段には、投影点の制御を実現する(10)、能動的な光ファイバ個別スイッチまたは連続的に接続されているスイッチシステムが設けられており、前記投影点は、MEMS素子によって切り替えられるか、DMDミラーまたはエレクトロクロミックミラーまたはピエゾアクチュエータによって切り替えられる、
    請求項1から11までのいずれか1項記載の拡張現実(AR)眼鏡。
  13. 光ファイバ端部には、波面を入射および出射させるために、より高い解像度またはより良好な点光源を生じさせることを可能にする屈折率分布ファイバ拡張部または狭窄部が取り付けられている、
    請求項1から12までのいずれか1項記載の拡張現実(AR)眼鏡。
  14. 拡張現実(AR)眼鏡において、少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に、仮想像を合成するための方法において、
    マルチモード光ファイバ(42)から成る複数の光ファイバプロジェクタ(59)によって、被写界深度の大きい仮想像を、眼鏡着用者の少なくとも一方の目に投影し、前記仮想像は、相互に上下左右に並んで配置された個々の投影(48)のパターンから成るインテグラルイメージングであり、前記個々の投影(48)は、前記眼鏡着用者に対しては近くでの観察時には1つの全体投影に統合され、かつそれぞれが前記仮想像の一部(37)であり、各光ファイバ(42)の入射端部に取り付けられたコンピュータ制御式の空間光変調器(SLM)(24)または他の像生成システムに対して、前記光ファイバの変換マトリクス(36)による本来の像の変換から決定される複雑なピクセルパターンをコンピュータによって計算し、前記空間光変調器(SLM)(24)によってホログラムまたは複雑な投影として供給され、かつ振幅および相対的な位相シフト(39)を有する波面を、光学系(40)によって前記光ファイバ(42)に結合し(41)、前記光ファイバ(42)から出射される本来の像を前記眼鏡着用者の目に投影する、
    ことを特徴とする、仮想像を合成するための方法。
  15. 第1の較正プロセス(87)において、設置されたすべてのマルチモード光ファイバ(92)に対して、ファイバの光混合特性(96)を、すべての色成分および考えられるすべての通過経路(102)に対して別個に測定し、そこから算術的に変換マトリクス(98)を統計的に算出するか、測定を別のデータの形態で記憶して、さらに最適化された使用のために最適化し、通常の投影プロセスにおいては、SLMに必要とされる像または像パターンを、コンピュータによって、結像すべき像自体から、ならびに記憶されている変換マトリクスまたは他の記憶されている最適化された変換情報(84)から統合して算出し、SLMによって、そこから生じた波面(39)をそれぞれ、高速なシーケンスで時間的に連続して、また異なる色成分で、必要とされる投影点に対して生成して、各光ファイバに結合させ、眼鏡ガラスにおいて、必要に応じて別のスイッチ(10)またはミラー面(19)が相応の調整を行い、それによって光を所望の出射点まで誘導する、
    請求項14記載の仮想像を合成するための方法。
  16. 前記光ファイバプロジェクタ(42)または前記光ファイバプロジェクタ(42)に接続されて延長された光チャネルまたは光学システムが、眼鏡ガラス内のクローキングチャネルを介して、インテグラルイメージングパターンにとって最適な位置まで直接的に設置され(64)、勾配光学系によって、前記眼鏡ガラスを通過する光は、前記チャネルを迂回し(66)、前記チャネルは、外側からは不可視となり、光学媒体の屈折率の勾配(69)を、内側の低い屈折率から、周囲のガラスの屈折率になるまで、外側に向かってより高い屈折率になるように、層内でまたはシームレスに構成する、
    請求項14または15記載の仮想像を合成するための方法。
  17. 前記インテグラルイメージングの投影点を、少なくとも2つのパターン面(47、46)において並行して制御し(74、75)、眼鏡着用者によって焦点合わせされた領域を、アイカメラ(53)によって登録し、どれ程の高さの解像度の投影点およびどれ程の低さの解像度の投影点が要求されなければならないかを確定し、各面に対して異なる分解能および色深度をレンダリングすることができる、
    請求項14から16までのいずれか1項記載の仮想像を合成するための方法。
  18. 個々のインテグラルイメージング投影の重畳部を、適切に相互に切り取り(51)、前記切り取りを、瞳孔サイズおよび/または周囲光強度をアイカメラおよびセンサによって求めて、クリッピングフレームの計算に組み込むことによって行い、像レンダリングの間、張り出した像領域は厳格にレンダリングされるか、または円滑に移行しながら一切レンダリングされない、
    請求項14から17までのいずれか1項記載の仮想像を合成するための方法。
  19. 像の生成を、特に、ホログラム方式によって実現し、すなわち、SLM上に結像され、レーザ光または他の光によって照明され、それによって振幅も位相シフトも調整する複雑な波面を生成する、コンピュータにより計算された複雑な回折パターンによって実現し、複数の光源またはより複雑な光前線による前記SLMの照明および最適なSLM構造の利用によって、光ファイバ投影に関する前記ホログラムの品質およびグレースケール深度を向上させることができる、
    請求項14から18までのいずれか1項記載の仮想像を合成するための方法。
  20. 生成された像を、特に、単純なピクセルグラフィックによって実現し、すなわち算出された複雑な振幅パターンおよび位相パターンの直接的な伝送によって、しかしながら、同様に振幅および位相シフトが区別される投影を生成する、最適化されたSLM構造とより複雑な照明とを使用して実現する、
    請求項14から19までのいずれか1項記載の仮想像を合成するための方法。
  21. 光ファイバプロジェクタ最適化DMD−SLMの利用時に、それぞれが専用の複数のまたは複雑な光源と共に、算出されたSLMパターンが、所定の光源からの最適化された混合を生じさせ、結合点における最適な振幅パターンおよび位相シフトパターンを形成する、
    請求項14から20までのいずれか1項記載の仮想像を合成するための方法。
  22. 低い解像度の光ファイバ投影に関して、ホログラム、多数の光源、またはピクセル毎の伝送パターン(96)によってサイクル毎にグレー値が生成され、それによって、高速SLMが多数の周囲投影を達成することができるので、3つの色成分に対しては3つのSLM周期で充分である、
    請求項14から21までのいずれか1項記載の仮想像を合成するための方法。
JP2020504762A 2017-04-06 2018-03-29 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 Active JP7420707B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017003336.6 2017-04-06
DE102017003336 2017-04-06
PCT/EP2018/000140 WO2018184718A1 (de) 2017-04-06 2018-03-29 Augmented-reality(ar)-brille und verfahren zur einmischung virtueller bilder in ein durch mindestens ein brillenglas für einen träger der brille sichtbares bild

Publications (2)

Publication Number Publication Date
JP2020516959A true JP2020516959A (ja) 2020-06-11
JP7420707B2 JP7420707B2 (ja) 2024-01-23

Family

ID=61911507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504762A Active JP7420707B2 (ja) 2017-04-06 2018-03-29 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法

Country Status (10)

Country Link
US (1) US11106038B2 (ja)
EP (1) EP3607382A1 (ja)
JP (1) JP7420707B2 (ja)
KR (1) KR20190132507A (ja)
CN (1) CN110476104A (ja)
BR (1) BR112019020268A2 (ja)
CA (1) CA3056278A1 (ja)
DE (1) DE102018002772A1 (ja)
RU (1) RU2763922C2 (ja)
WO (1) WO2018184718A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11852318B2 (en) 2020-09-09 2023-12-26 Apple Inc. Optical system for noise mitigation
US11960131B2 (en) 2018-02-13 2024-04-16 Apple Inc. Integrated photonics device having integrated edge outcouplers
US12007275B2 (en) 2016-04-21 2024-06-11 Apple Inc. Optical system for reference switching

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3075804A1 (en) * 2017-09-27 2019-04-04 Magic Leap, Inc. Near eye 3d display with separate phase and amplitude modulators
US10901229B2 (en) 2018-05-22 2021-01-26 Microsoft Technology Licensing, Llc Systems and methods of providing visual information with one dimensional pupil expansion
EP3857289A4 (en) * 2018-09-26 2022-07-13 Magic Leap, Inc. GLASSES WITH PIN-HOLE AND SLOT CAMERAS
WO2020069371A1 (en) * 2018-09-28 2020-04-02 Magic Leap, Inc. Method and system for fiber scanning projector with angled eyepiece
WO2020082002A1 (en) * 2018-10-19 2020-04-23 Magic Leap, Inc. Method and system for reducing line separation artifacts in interlaced image projection
NL2021837B1 (en) * 2018-10-19 2020-05-13 Stichting Vu Multimode waveguide imaging
CN110231712A (zh) * 2019-04-29 2019-09-13 成都理想境界科技有限公司 一种增强现实ar眼镜
KR102339590B1 (ko) 2020-01-22 2021-12-14 한국해양과학기술원 증강 현실 시스템 및 그 구현 방법
US11330091B2 (en) 2020-07-02 2022-05-10 Dylan Appel-Oudenaar Apparatus with handheld form factor and transparent display with virtual content rendering
DE102020215663A1 (de) 2020-12-10 2022-06-15 Peter Westphal Vorrichtung zur ortsaufgelösten Distanz- und Geschwindigkeitsmessung
KR102324066B1 (ko) 2020-12-16 2021-11-09 한국해양과학기술원 컨테이너 검수 시스템, 장비 정보 원격 지원 시스템 및 장비 정보 원격 지원 방법
DE102021200231A1 (de) * 2021-01-13 2022-07-14 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer Beugungscharakteristik eines Hologrammelements für eine Datenbrille
CN117120912A (zh) * 2021-04-06 2023-11-24 维耶尔公司 具有混合式显示器的ar系统
CN113413265A (zh) * 2021-06-24 2021-09-21 上海理湃光晶技术有限公司 视功能障碍者视觉辅助方法、系统及智能ar眼镜
GB2610870A (en) * 2021-09-21 2023-03-22 Envisics Ltd Holographic system and pupil expander therefor
CN114924336B (zh) * 2022-04-18 2024-07-12 江苏大学 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法
CN115032731A (zh) * 2022-06-17 2022-09-09 中山吉联光电科技有限公司 一种ar/vr自适应渐变式投影镜的制备方法及ar/vr投影镜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260374A (ja) * 1997-03-19 1998-09-29 Minolta Co Ltd 映像観察装置
JP2006276524A (ja) * 2005-03-29 2006-10-12 Toshiba Corp 投影撮像装置及びその方法
CN204256270U (zh) * 2014-12-02 2015-04-08 王傲立 伸缩式增强现实眼镜
US20150219899A1 (en) * 2014-01-31 2015-08-06 Corey Mack Augmented Reality Eyewear and Methods for Using Same
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805267A (en) * 1996-06-13 1998-09-08 Goldman; Neil Interactive light field for programmed non-visual stimulation and monitoring
US8434909B2 (en) 2007-10-09 2013-05-07 Flex Lighting Ii, Llc Light emitting display with light mixing within a film
GB2462444A (en) * 2008-08-06 2010-02-10 Optyka Ltd Image projection apparatus and method
MX2011007770A (es) * 2009-01-26 2011-11-04 Flex Lighting Ii Llc Iluminacion a traves de peliculas delgadas flexibles.
US8444272B2 (en) * 2010-01-25 2013-05-21 Corning Incorporated Multi-projector system using multiplexed illumination
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
WO2012011893A1 (en) * 2010-07-20 2012-01-26 Empire Technology Development Llc Augmented reality proximity sensing
US9046697B2 (en) * 2012-01-02 2015-06-02 Jgm Associates, Inc. Low-speckle light sources and displays employing multimode optical fiber
WO2013144898A2 (en) * 2012-03-29 2013-10-03 Ecole Polytechnique Federale De Lausanne (Epfl) Methods and apparatus for imaging with multimode optical fibers
US9025086B2 (en) * 2012-04-13 2015-05-05 Red.Com, Inc. Video projector system
AU2013274359B2 (en) * 2012-06-11 2017-05-25 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
AU2014354673B2 (en) * 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2015174794A1 (ko) * 2014-05-15 2015-11-19 이준희 헤드 마운트 디스플레이용 광학 시스템
US9891393B2 (en) * 2014-07-24 2018-02-13 Empire Technology Development Llc Imaging through optical fibers for coupling optimization
CN105929547A (zh) * 2016-07-01 2016-09-07 成都理想境界科技有限公司 近眼显示系统、虚拟现实设备及增强现实设备
KR102246836B1 (ko) * 2016-08-22 2021-04-29 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
KR102222825B1 (ko) * 2016-11-15 2021-03-05 크리얼 에스에이 보정한 단안의 깊이 단서를 갖는 접안 순차 라이트 필드 프로젝터

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260374A (ja) * 1997-03-19 1998-09-29 Minolta Co Ltd 映像観察装置
JP2006276524A (ja) * 2005-03-29 2006-10-12 Toshiba Corp 投影撮像装置及びその方法
US20150219899A1 (en) * 2014-01-31 2015-08-06 Corey Mack Augmented Reality Eyewear and Methods for Using Same
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN204256270U (zh) * 2014-12-02 2015-04-08 王傲立 伸缩式增强现实眼镜

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12007275B2 (en) 2016-04-21 2024-06-11 Apple Inc. Optical system for reference switching
US11960131B2 (en) 2018-02-13 2024-04-16 Apple Inc. Integrated photonics device having integrated edge outcouplers
US11852318B2 (en) 2020-09-09 2023-12-26 Apple Inc. Optical system for noise mitigation

Also Published As

Publication number Publication date
EP3607382A1 (de) 2020-02-12
RU2763922C2 (ru) 2022-01-11
RU2019135236A (ru) 2021-05-06
CA3056278A1 (en) 2018-10-11
US11106038B2 (en) 2021-08-31
DE102018002772A1 (de) 2018-10-11
RU2019135236A3 (ja) 2021-07-27
KR20190132507A (ko) 2019-11-27
BR112019020268A2 (pt) 2020-04-22
JP7420707B2 (ja) 2024-01-23
WO2018184718A1 (de) 2018-10-11
CN110476104A (zh) 2019-11-19
US20200209627A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
JP7420707B2 (ja) 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法
US9964768B2 (en) Head mounted display using spatial light modulator to generate a holographic image
JP7311581B2 (ja) 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ
CN107438796B (zh) 头戴式显示装置、近眼显示装置和方法
JP6938623B2 (ja) 厚い媒体を含む仮想現実、拡張現実、および複合現実システムならびに関連方法
TWI588535B (zh) 可調式焦距平面光學系統
TWI656357B (zh) Display device
JP6286781B2 (ja) 眼鏡型画像表示装置
EP3729173A1 (en) Integrated augmented reality head-mounted display for pupil steering
TW201643503A (zh) 虛擬影像產生器
JP7437498B2 (ja) 中心窩投影を備えるライトフィールド仮想及び複合現実システム
EP3792681B1 (en) Multi-image display apparatus using holographic projection
JP2023551206A (ja) 高解像度ライトフィールド投影装置
TW201928450A (zh) 用於生成大視場之顯示裝置及方法
KR20220145668A (ko) 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
KR20220107753A (ko) 시력 보정 렌즈를 포함하는 디스플레이 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240111

R150 Certificate of patent or registration of utility model

Ref document number: 7420707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150