JP2017522587A - 仮想および拡張現実における焦点面を作成する方法およびシステム - Google Patents

仮想および拡張現実における焦点面を作成する方法およびシステム Download PDF

Info

Publication number
JP2017522587A
JP2017522587A JP2016570027A JP2016570027A JP2017522587A JP 2017522587 A JP2017522587 A JP 2017522587A JP 2016570027 A JP2016570027 A JP 2016570027A JP 2016570027 A JP2016570027 A JP 2016570027A JP 2017522587 A JP2017522587 A JP 2017522587A
Authority
JP
Japan
Prior art keywords
depth plane
user
image data
light
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016570027A
Other languages
English (en)
Other versions
JP6704353B2 (ja
Inventor
ウィリアム ハドソン ウェルチ,
ウィリアム ハドソン ウェルチ,
ロバート ディー. テコルステ,
ロバート ディー. テコルステ,
ヒュンスン チュン,
ヒュンスン チュン,
フイ−チュアン チェン,
フイ−チュアン チェン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2017522587A publication Critical patent/JP2017522587A/ja
Priority to JP2019195867A priority Critical patent/JP6921161B2/ja
Application granted granted Critical
Publication of JP6704353B2 publication Critical patent/JP6704353B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105Holograms with particular structures
    • G02B2027/0107Holograms with particular structures with optical power
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0194Supplementary details with combiner of laminated type, for optical or mechanical aspects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G02B26/005Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0273Diffusing elements; Afocal elements characterized by the use
    • G02B5/0294Diffusing elements; Afocal elements characterized by the use adapted to provide an additional optical effect, e.g. anti-reflection or filter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)
  • Eyeglasses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

構成は、仮想現実および拡張現実体験をユーザに提示するために開示される。システムは、画像データの1つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、画像データの第1のフレームが、第1の深度平面に焦点を合わせられ、画像データの第2のフレームが、第2の深度平面に焦点を合わせられるように、投影された光の焦点を変動させるための可変焦点要素(VFE)とを備え得、第1の深度平面と第2の深度平面との間の距離は、固定されている。

Description

(関連出願の引用)
本願は、米国仮特許出願第62/005,834号(2014年3月30日出願、名称「METHODS AND SYSTEMS FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY」、代理人事件番号ML 30017.00.)からの優先権を主張する。本願は、米国仮特許出願第62/005,807号(2014年3月30日出願、名称「METHODS AND SYSTEMS FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY」、代理人事件番号ML 30016.00)、米国仮特許出願第62/005,865号(2014年3月30日出願、名称「METHODS AND SYSTEMS FOR DISPLAYING STEREOSCOPY WITH A FREEFORM OPTICAL SYSTEM WITH ADDRESSABLE FOCUS FOR VIRTUAL AND AUGMENTED REALITY」、代理人事件番号ML 30018.00.)と相互関連する。本願は、米国特許出願第14/555,585号(2014年11月27日出願、名称「VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS」、代理人事件番号ML 20011.00,)、米国特許出願第14/611,154号(2015年1月30日出願、名称「MULTI−FOCAL DISPLAY SYSTEM AND METHOD」、代理人事件番号20012.00 )、米国特許出願第14/611,162号(2015年1月30日出願、名称「MULTI−FOCAL DISPLAY SYSTEM AND METHOD」、代理人事件番号ML 20013.00. )とも関連する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式においてユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。例えば、図1を参照すると、拡張現実場面(4)が、描写されており、AR技術のユーザには、人々、木々、背景の建物、およびコンクリートのプラットフォーム(1120)を特徴とする実世界の公園のような設定(6)が見える。
これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバターキャラクタ(2)が「見えている」ことを知覚するが、これらの要素(2、1110)は、実世界には存在しない。結論から言うと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間に、仮想画像要素の快適で自然のような感覚の豊かな提示を促進するVRまたはAR技術を生成することは、困難である。
図2Aを参照すると、2つのディスプレイ(10、12)を特徴とする立体視装着式眼鏡(8)タイプ構成が開発されており、2つのディスプレイは、概して、3次元遠近画がヒトの視覚系によって知覚されるように、若干異なる要素の提示を伴う画像を表示するように構成されている。そのような構成は、画像を3次元で知覚するために克服されなければならない、両眼離反運動と遠近調節との間の不整合に起因して、多くのユーザにとって不快であることが見出されている。実際、一部のユーザは、立体視構成に耐えることができない。図2Bは、立体視ディスプレイを通したユーザへの拡張現実提示のための画像を捕捉するように構成される、2つの前方に向けられたカメラ(16、18)を特徴とする、別の対の立体視装着式眼鏡(14)タイプ構成を示す。カメラ(16、18)およびディスプレイの位置は、概して、眼鏡(14)がユーザの頭部上に搭載されると、ユーザの自然な視野を遮断する。
図2Cを参照すると、従来の眼鏡レンズ(22)も保持する眼鏡フレーム(24)に結合される可視化モジュール(26)を特徴とする拡張現実構成(20)が、示される。ユーザは、そのようなシステムを用いて、少なくとも部分的に妨害されていない実世界のビューを見ることができ、ユーザは、デジタル画像が単眼用AR提示のためにAR構成で片眼に提示され得る小型ディスプレイ(28)を有する。図2Dは、帽子またはヘルメット(30)に結合され得る可視化モジュール(32)を有する構成を特徴とする。可視化モジュールは、小型ディスプレイ(34)を通して単眼用拡張デジタル画像をユーザに提示するように構成され得る。図2Eは、可視化モジュール(38)が、画像を捕捉し、また、小型ディスプレイ(40)を通して単眼用拡張デジタル画像をユーザに提示するために利用され得るように、眼鏡の結合と同様の様式でユーザの頭部に取り付け可能なフレーム(36)を含む、別の類似構成を図示する。そのような構成は、例えば、商標名Google Glass(RTM)の下、Google, Inc.(Mountain View, CA)から利用可能である。
これらの構成はいずれも、ユーザにとって快適かつ最大限に有用となるであろう様式で豊かな双眼用の3次元拡張現実体験を提示するために最適ではない。なぜなら、部分的に、従来のシステムがヒトの知覚系の基本的側面(可視化の知覚をユーザにもたらすための網膜の視細胞および脳とのそれらの相互作用を含む)のいくつかに対処できていないからである。
図3を参照すると、角膜(42)、虹彩(44)、レンズ、すなわち、「水晶体」(46)、強膜(48)、脈絡膜層(50)、黄斑(52)、網膜(54)、および脳への視神経路(56)を特徴とする、ヒトの眼の簡略化された断面図(58)が、描写される。黄斑は、網膜の中枢であり、中程度の詳細を見るために利用される。黄斑の中心には、「中心窩」と称される網膜の一部があり、それは、場面の最も細かい詳細を見るために利用され、網膜の任意の他の部分より多くの視細胞(視度あたり約120個の錐体)を含む。
ヒトの視覚系は、受動的センサタイプのシステムではない。それは、環境を能動的に走査するように構成される。画像を捕捉するためのフラットベッドスキャナの使用、または紙から点字を読み取るための指の使用に若干類似する様式において、眼の視細胞は、一定刺激状態に一定に応答するのではなく、刺激の変化に応答して、発火する。したがって、視細胞情報を脳に提示するための運動(フラットベッドスキャナ内で紙片を横断する線形スキャナアレイの運動、または紙に刻印された点字の単語を横断する指の運動のように)が要求される。
実際、眼の筋肉を麻痺させるために利用されたコブラ毒等の物質を用いた実験は、ヒト対象が、その眼が開かれ、毒によって誘発され麻痺した眼で静的場面を視認したまま位置付けられる場合、視覚消失を経験するであろうことを示している。言い換えると、刺激の変化がない場合、視細胞は、脳に入力を提供せず、視覚消失が経験される。これは、正常なヒトの眼が、「マイクロサッカード」と呼ばれる往復移動すること、すなわち、横運動で微動する(dither)ことが観察されていることの少なくとも1つの理由であると考えられる。
前述のように、網膜の中心窩は、視細胞の最大密度を含む。典型的には、ヒトは、その視野全体を通して高分解能可視化能力を持つ知覚を有するとされるが、概して、実際には、中心窩で最近捕捉された高分解能情報の持続的記憶を伴って、ほぼ常時、機械的にさっと見渡す小さな高分解能中枢のみを有する。若干類似する様式において、眼の焦点距離制御機構(毛様体弛緩が、毛様体結合線維の緊張を生じさせ、より離れた焦点距離のためにレンズを平坦化させ、毛様体収縮が、毛様体結合線維の弛緩を生じさせ、レンズがより近い焦点距離のためにより丸い幾何学形状をとることを可能にする様式で水晶体に動作可能に結合される毛様筋)は、標的焦点距離の近側および遠側の両方に、少量の「光屈折ぼけ」と呼ばれるものを周期的に誘発するために、約1/4〜1/2ジオプタだけ往復微動する。これは、針路を常に補正し、固定されたオブジェクトの網膜画像をほぼ焦点が合った状態に保つために役立つ周期的負のフィードバックとして、脳の遠近調節制御回路によって利用される。
脳の可視化中枢はまた、両眼およびその構成要素の互に対する運動から有益な知覚情報を得る。互に対する両眼の両眼離反運動(すなわち、眼の視線を収束させ、オブジェクトに固定するための互に向かって、またはそこから離れる、瞳孔の転動)は、眼のレンズの焦点合わせ(または「遠近調節」)に密接に関連付けられる。正常条件下では、眼のレンズの焦点を変化させること、すなわち、眼を遠近調節させ、異なる距離におけるオブジェクトに焦点を合わせることは、「遠近調節−両眼離反運動反射作用」として知られる関係下、自動的に、同一距離までの両眼離反運動における整合変化を生じさせるであろう。同様に、両眼離反運動の変化は、正常条件下では、遠近調節の整合変化も誘起するであろう。この反射作用に逆らう作用は、(従来の立体視ARまたはVR構成の大部分におけるように)眼疲労、頭痛、または他の形態の不快感をユーザにもたらすことが知られている。
眼を格納する、頭部の移動もまた、オブジェクトの可視化に重要な影響を及ぼす。ヒトは、その頭部を移動させ、その周囲の世界を視覚化する。ヒトは、多くの場合、かなり絶え間なく、頭部を着目オブジェクトに対して再位置付けおよび向け直す。さらに、大部分の人々は、特定のオブジェクトに焦点を合わせるために、その視線が中心から約20度を上回って移動する必要があるとき、その頭部を移動させることを好む(すなわち、人々は、典型的には、「眼の端から」物を見ることを好まない)。ヒトはまた、典型的には、音に連動してその頭部を走査または移動させ、オーディオ信号捕捉を改善し、頭部に対する耳の幾何学形状を利用する。ヒトの視覚系は、「頭部運動視差」と呼ばれるものから優れた深度の手掛かりを得、頭部運動視差は、頭部の運動および眼の両眼離反運動距離の関数として、異なる距離におけるオブジェクトの相対運動に関連する。言い換えると、人がその頭部を横移動させ、あるオブジェクトに対して固定状態を維持する場合、そのオブジェクトからより遠いアイテムは、頭部と同一方向に移動し、そのオブジェクトの正面のアイテムは、頭部運動と反対に移動するであろう。これらは、人に対して物が空間的に環境内のどの場所にあるかの非常に顕著な手掛かりであり、おそらく、立体視と同等に優れている。頭部運動はまた、当然ながら、オブジェクトを見回すためにも利用される。
さらに、頭部および眼の運動は、「前庭眼反射作用」と協調させられ、前庭眼反射作用は、頭部回転中、網膜に対する画像情報を安定化させ、したがって、オブジェクト画像情報を網膜のほぼ中心に保つ。頭部の回転に応答して、眼は、反射的かつ比例的に反対方向に回転させられ、オブジェクトに対する安定した固定状態を維持する。この補償関係の結果として、多くのヒトは、その頭部を往復して振動させながら、本を読むことができる。興味深いことに、本が、頭部がほぼ静止したまま、同一速度で往復してめくられる場合、同じことは、概して、当てはまらない。すなわち、人は、めくられている本を読むことができない可能性が高い。前庭眼反射作用は、頭部と眼との運動協調のうちの1つであり、概して、手の運動のために発達させられていない。このパラダイムは、ユーザの頭部運動が、比較的に直接、眼の運動に関連付けられ得るので、拡張現実システムのために重要であり得、システムは、好ましくは、この関係と協働する準備ができたものであろう。
実際、これらの種々の関係を前提として、デジタルコンテンツ(例えば、部屋の実世界ビューを拡張させるために提示される仮想シャンデリアオブジェクト等の3−Dコンテンツ、または部屋の実世界ビューを拡張させるために提示される平面/平坦仮想油絵オブジェクト等の2−Dコンテンツ)を設置する場合、オブジェクトの挙動を制御するための設計選択が行われ得る。例えば、2−D油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する(例えば、Google Glass(登録商標)アプローチにおけるように);または、オブジェクトは、世界を中心とし得、その場合、オブジェクトは、ユーザが実世界に対してオブジェクトの位置を移動させずにユーザの頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。
したがって、仮想コンテンツを拡張現実システムを用いて提示される拡張現実世界の中に設置する場合、オブジェクトが、世界を中心として提示されるべきか、身体を中心として提示されるべきか、頭部を中心として提示されるべきか、または眼を中心として提示されるべきかについて選定が行われる。頭部中心アプローチでは、仮想オブジェクトは、実世界内の定位置に留まり、ユーザは、実世界の壁等の仮想オブジェクトを包囲する実世界オブジェクトに対してその位置を変化させずに、ユーザの身体、頭部、眼をユーザの周囲で移動させ得る。身体中心アプローチでは、仮想要素は、ユーザの胴体に対して固定され得、ユーザは、仮想要素を移動させずにユーザの頭部または眼を移動させることができるが、仮想要素は、胴体の移動に追従させられる。頭部中心アプローチでは、表示されるオブジェクト(および/またはディスプレイ自体)は、Google Glass(登録商標)を参照して前述のように、頭部の移動に伴って移動させられ得る。眼中心アプローチでは、以下に説明されるような「中心窩ディスプレイ」構成におけるように、コンテンツは、眼の位置の関数として回転させられる。
世界を中心とした構成では、正確な頭部姿勢測定、実世界オブジェクトの正確な表現および/または測定、およびユーザの周囲の幾何学形状等の入力と、頭部姿勢の関数としての拡張現実ディスプレイにおける短待ち時間の動的レンダリングと、概して短い待ち時間の表示とを有することが望ましくあり得る。
上記に列挙される米国特許出願は、典型的なヒトの視覚的構成と協働し、仮想現実および拡張現実用途における種々の課題に対処するためのシステムならびに技法を提示する。これらの仮想現実および/または拡張現実システムの設計は、仮想コンテンツの送達におけるシステムの速度、仮想コンテンツの品質、ユーザの射出瞳距離、システムのサイズおよび可搬性、ならびに他のシステムおよび光学課題を含む多数の課題を提示する。
本明細書に説明されるシステムおよび技法は、典型的なヒトの視覚的構成と協働し、これらの課題に対処するように構成される。
本発明の実施形態は、1人以上のユーザのための仮想現実および/または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一側面では、仮想コンテンツを表示するためのシステムが、開示される。
1つ以上の実施形態では、拡張現実表示システムは、画像データの1つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、画像データの第1のフレームが、第1の深度平面に焦点を合わせられ、画像データの第2のフレームが、第2の深度平面に焦点を合わせられるように、投影された光の焦点を変動させるための可変焦点要素(VFE)とを備え、第1の深度平面と第2の深度平面との間の距離は、固定されている。
1つ以上の実施形態では、第1の深度平面は、第2の深度平面と異なる。1つ以上の実施形態では、空間光変調器は、DLPを備えている。1つ以上の実施形態では、DLPは、360Hzのパワーで動作する。1つ以上の実施形態では、VFEは、変形可能ミラー膜である。
1つ以上の実施形態では、VFEは、フレーム毎に焦点を変動させる。1つ以上の実施形態では、空間光変調器は、高リフレッシュレートディスプレイである。1つ以上の実施形態では、第1の深度平面および第2の深度平面は、同時に知覚される。1つ以上の実施形態では、システムはさらに、一組の光学要素を備え、焦点を合わせられた光をユーザの眼に送達する。
1つ以上の実施形態では、画像データの1つ以上のフレームが、3次元場面のスライスを備えている。1つ以上の実施形態では、画像データの1つ以上のフレームが、時系列様式で提供される。1つ以上の実施形態では、拡張現実表示システムはさらに、画像データの1つ以上のフレームに関連付けられた光を投影するための別の空間光変調器を備えている。
1つ以上の実施形態では、他の空間光変調器は、LCDを備えている。1つ以上の実施形態では、拡張現実システムはさらに、遠近調節追跡モジュールを備え、ユーザの眼の両眼離反運動を追跡し、VFEは、少なくとも部分的に、追跡された両眼離反運動に基づいて、投影された光の焦点を変動させる。1つ以上の実施形態では、第1の深度平面は、光学無限に対応し、第2の深度平面は、光学無限より近い深度平面に対応する。
別の側面では、拡張現実を表示する方法は、画像データの第1のフレームに関連付けられた光を投影することと、画像データの第1のフレームに関連付けられた光の焦点を第1の深度平面に合わせることと、画像データの第2のフレームに関連付けられた光を投影することと、画像データの第2のフレームに関連付けられた光の焦点を第2の深度平面に合わせることとを含み、第1の深度平面は、第2の深度平面と異なり、第1の深度平面および第2の深度平面は、ユーザによって視認されると、同時に知覚される。
1つ以上の実施形態では、ARシステムはさらに、ユーザの眼の両眼離反運動を追跡することを含み、光は、少なくとも部分的に、追跡された両眼離反運動に基づいて、焦点を合わせられる。1つ以上の実施形態では、第1の深度平面は、z方向にユーザから離れた第1の距離に対応し、第2の深度平面は、z方向にユーザから離れた第2の距離に対応し、第1の深度平面と第2の深度平面との間の間隙は、経時的に不変のままである。1つ以上の実施形態では、方法はさらに、画像データの第3のフレームに関連付けられた光を投影することと、画像データの第3のフレームに関連付けられた光の焦点を第1の深度平面に合わせることとを含む。
1つ以上の実施形態では、第1の深度平面は、光学無限に対応する。1つ以上の実施形態では、画像データの第1のフレームおよび画像データの第2のフレームは、連続フレームである。1つ以上の実施形態では、画像データの第1および第2のフレームの焦点は、フレーム毎に変動させられる。1つ以上の実施形態では、方法はさらに、焦点を合わせられた光をユーザの眼に送達することを含む。
1つ以上の実施形態では、画像データの第1および第2のフレームは、3次元場面のスライスを備えている。1つ以上の実施形態では、画像データの第1および第2のフレームは、時系列様式で提供される。1つ以上の実施形態では、第1の深度平面は、光学無限に対応し、第2の深度平面は、光学無限より近い深度平面に対応する。
1つ以上の実施形態では、投影された光は、可変焦点要素を通して焦点を合わせられる。1つ以上の実施形態では、可変焦点要素は、変形可能膜ミラーである。
別の側面では、拡張現実表示システムは、画像データの1つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、ユーザの眼の焦点を決定するための眼追跡システムと、少なくとも部分的に、ユーザの眼の焦点に基づいて、画像データの1つ以上のフレームの少なくとも1つのフレームの焦点を深度平面上に合わせるための一組の光学に結合される、可変焦点要素(VFE)とを備えている。
1つ以上の実施形態では、拡張現実表示システムはさらに、少なくとも部分的に、深度平面が投影される距離に基づいて、画像データの1つ以上のフレームに対応する1つ以上の仮想オブジェクトを可変的にぼかすためのぼかしモジュールを備え、1つ以上の仮想オブジェクトは、深度平面と比較して異なる深度に対応する。1つ以上の実施形態では、空間光変調器は、DLPを備えている。
1つ以上の実施形態では、DLPは、約120Hzのパワーで動作する。1つ以上の実施形態では、画像データの複数のフレームが、深度平面に投影され、画像データの複数のフレームのフレームのうちの1つの少なくとも一部は、ぼかされる。1つ以上の実施形態では、VFEは、光屈折膜レンズを備えている。
1つ以上の実施形態では、空間光変調器は、高リフレッシュレートディスプレイである。1つ以上の実施形態では、拡張現実表示システムはさらに、一組の光学要素を備え、焦点を合わせられた光をユーザの眼に送達する。1つ以上の実施形態では、画像データの1つ以上のフレームが、3次元場面のスライスを備えている。
1つ以上の実施形態では、画像データの1つ以上のフレームが、時系列様式で提供される。1つ以上の実施形態では、深度平面は、少なくとも部分的に、決定された遠近調節に基づいて、ある範囲内でz方向に移動させられる。
別の側面では、拡張現実を表示する方法は、ユーザの眼の焦点を決定することと、画像データのフレームに関連付けられた光を投影することと、少なくとも部分的に、決定されたユーザの眼の焦点に基づいて、画像データのフレームに関連付けられた光の焦点を合わせ、深度平面を生成することと、少なくとも部分的に、ユーザの眼の焦点の変化に基づいて、深度平面をある範囲内でz方向に移動させることとを含む。
1つ以上の実施形態では、方法はさらに、少なくとも部分的に、深度平面が生成される距離に基づいて、画像データの第1のフレーム内の1つ以上の仮想オブジェクトをぼかすことを含み、1つ以上の仮想オブジェクトは、深度平面と比較して異なる深度に対応する。1つ以上の実施形態では、光は、空間光変調器を通して投影される。
1つ以上の実施形態では、空間光変調器は、DLPを備えている。1つ以上の実施形態では、DLPは、約120Hzのパワーで動作する。1つ以上の実施形態では、画像データの複数のフレームが、深度平面に投影され、画像データの複数のフレームのフレームのうちの1つの少なくとも一部は、ぼかされる。
1つ以上の実施形態では、深度平面は、少なくとも部分的に可変焦点要素(VFE)を通して生成される。1つ以上の実施形態では、VFEは、光屈折膜レンズを備えている。1つ以上の実施形態では、空間光変調器は、高リフレッシュレートディスプレイである。
1つ以上の実施形態では、方法はさらに、一組の光学要素を通して光をユーザの眼に送達することを含む。1つ以上の実施形態では、画像データのフレームは、少なくとも3次元場面のスライスを備えている。1つ以上の実施形態では、画像データの1つ以上のフレームが、時系列様式で提供される。
別の側面では、拡張現実表示システムは、少なくとも1つの画像データの1つ以上のフレームに関連付けられた光を投影するために、画像源に動作可能に結合される空間光変調器と、導波管のスタックとを備え、導波管のスタックの第1の導波管は、画像データの1つ以上のフレームに関連付けられた光を受信し、第1の深度平面において知覚されるよう受信された光の少なくとも1つの特性を修正するように構成される、第1の回折光学要素を有し、導波管のスタックの第2の導波管は、画像データの1つ以上のフレームに関連付けられた光を受信し、第2の深度平面において知覚されるよう受信された光の少なくとも1つの特性を修正するように構成される、第2の回折光学要素を有し、第1の深度平面は、第2の深度平面と異なる。
1つ以上の実施形態では、拡張現実表示システムはさらに、眼追跡モジュールを備え、ユーザの眼の遠近調節を決定し、導波管のスタックの導波管は、少なくとも部分的に、ユーザの眼の決定された遠近調節に基づいて、選択される。
1つ以上の実施形態では、空間光変調器は、ファイバ走査デバイス(FSD)を備えている。1つ以上の実施形態では、導波管のスタックは、6つの導波管を備えている。1つ以上の実施形態では、拡張現実表示システムはさらに、少なくとも1つの空間光変調器の第1の空間光変調器と、少なくとも1つの空間光変調器の第2の空間光変調器とを備え、第1の導波管は、第1の空間光変調器から光を受信し、第2の導波管は、第2の空間光変調器から光を受信する。
1つ以上の実施形態では、第1の深度平面および第2の深度平面は、ユーザによって同時に知覚される。1つ以上の実施形態では、少なくとも1つの特徴は、光線がユーザの眼に衝突する、角度を備えている。1つ以上の実施形態では、特徴は、光線をコリメートすることに対応し、コリメートされた光線は、光学無限として知覚される。
1つ以上の実施形態では、特徴は、発散光線を送達することに対応し、発散光線は、光学無限より近い距離で知覚される。1つ以上の実施形態では、少なくとも1つの空間光変調器は、光がフレーム毎に投影される、導波管のスタックの導波管を変動させる。1つ以上の実施形態では、拡張現実表示システムはさらに、一組の光学要素を備え、焦点を合わせられた光をユーザの眼に送達する。1つ以上の実施形態では、画像データの1つ以上のフレームが、3次元場面のスライスを備えている。1つ以上の実施形態では、画像データの1つ以上のフレームが、時系列様式で提供される。
別の側面では、拡張現実を表示する方法は、画像データの第1のフレームに関連付けられた光を投影することと、導波管のスタックの第1の導波管において、画像データの第1のフレームに関連付けられた投影された光を受信することであって、第1の導波管は、第1の回折光学要素を備えている、ことと、画像データの第1のフレームに関連付けられた投影された光を修正することと、修正された光をユーザの眼に送達することであって、画像データの第1のフレームに関連付けられた修正された光は、第1の深度平面で知覚される、こととを含む。
1つ以上の実施形態では、方法はさらに、画像データの第2のフレームに関連付けられた光を投影することと、導波管のスタックの第2の導波管において、画像データの第2のフレームに関連付けられた投影された光を受信することであって、第2の導波管は、第2の回折光学要素を備えている、ことと、画像データの第2のフレームに関連付けられた投影された光を修正することと、修正された光をユーザの眼に送達することであって、画像データの第2のフレームに関連付けられた修正された光は、第2の深度平面で知覚される、こととを含む。
1つ以上の実施形態では、第1の深度平面は、第2の深度平面と異なる。1つ以上の実施形態では、第1の深度平面および第2の深度平面は、同時に知覚される。1つ以上の実施形態では、方法はさらに、ユーザの眼の両眼離反運動を追跡することと、追跡された両眼離反運動に基づいて、ユーザの眼の遠近調節を決定することとを含む。
1つ以上の実施形態では、導波管のスタックの第1の導波管は、少なくとも部分的に、決定された遠近調節に基づいて、選択される。1つ以上の実施形態では、導波管のスタックは、6つの導波管を備えている。1つ以上の実施形態では、投影された光の修正は、光線がユーザの眼に衝突する角度を変えることを含む。1つ以上の実施形態では、投影された光の修正は、光線をコリメートすることを含み、コリメートされた光線は、光学無限として知覚される。
1つ以上の実施形態では、投影された光の修正は、発散光線を送達することを含み、発散光線は、光学無限より近い距離で知覚される。1つ以上の実施形態では、本方法はさらに、導波管のスタックの導波管をフレーム毎に選択することを含む。1つ以上の実施形態では、画像データの1つ以上のフレームが、3次元場面のスライスを備えている。1つ以上の実施形態では、画像データの1つ以上のフレームが、時系列様式で提供される。
さらに別の側面では、可変焦点要素(VFE)は、部分的障壁によって画定された2つの半分を備えている、シールされたレンズチャンバを備え、2つの半分の第1の半分は、第1の屈折率を有する第1の不混和性液体を格納し、2つの半分の第2の半分は、第2の屈折率を有する第2の不混和性液体を格納し、第1の半分の第1の不混和性液体および第2の半分の第2の不混和性液体は、シールされたレンズチャンバの中央に光学界面を形成し、第1の圧電リングは、第1の圧電リングに圧力を加えることが光学界面を修正するように、シールされたレンズチャンバの第1の半分内に位置し、第2の圧電リングは、第2の圧電リングに圧力を加えることが光学界面を修正するように、シールされたレンズチャンバの第2の半分内に位置する。
1つ以上の実施形態では、光学界面は、レンズとして機能し、光学界面は、レンズの焦点を変動させるように可変的に修正される。1つ以上の実施形態では、シールされたレンズチャンバは、空気がない。1つ以上の実施形態では、加えられた圧力は、光学界面の曲率を変更する。
1つ以上の実施形態では、第1の光学界面は、第1の焦点に対応する。1つ以上の実施形態では、第2の光学界面は、第2の焦点に対応する。1つ以上の実施形態では、第1の焦点は、第1の深度平面を生成する。1つ以上の実施形態では、第2の焦点は、第2の深度平面を生成する。1つ以上の実施形態では、第1の不混和性液体の体積は、一定のままである。1つ以上の実施形態では、第2の不混和性液体の体積は、一定のままである。1つ以上の実施形態では、圧力は、機械的手段を通して加えられる。
さらに別の側面では、可変焦点要素(VFE)は、リングベンダーによって画定された2つの半分を備えている、シールされたレンズチャンバを備え、2つの半分の第1の半分は、第1の屈折率を有する第1の不混和性液体を格納し、2つの半分の第2の半分は、第2の屈折率を有する第2の不混和性液体を格納し、リングベンダーは、部分的に、第1の不混和性液体と第2の不混和性液体との間に物理的障壁を作成し、第1の半分の第1の不混和性液体および第2の半分の第2の不混和性液体は、リングベンダーの中心において、リングベンダーに圧力を加えることが光学界面の曲率を修正するように、シールされたレンズチャンバの中央の光学界面を形成する。
1つ以上の実施形態では、光学界面は、レンズとして機能し、光学界面は、レンズの焦点を変動させるように可変的に修正される。1つ以上の実施形態では、シールされたレンズチャンバは、空気がない。1つ以上の実施形態では、加えられた圧力は、光学界面の曲率を変更する。1つ以上の実施形態では、第1の光学界面は、第1の焦点に対応する。
1つ以上の実施形態では、第2の光学界面は、第2の焦点に対応する。1つ以上の実施形態では、第1の焦点は、第1の深度平面を生成する。1つ以上の実施形態では、第2の焦点は、第2の深度平面を生成する。1つ以上の実施形態では、第1の不混和性液体の体積は、一定のままである。1つ以上の実施形態では、第2の不混和性液体の体積は、一定のままである。1つ以上の実施形態では、圧力は、機械的手段を通して加えられる。
さらに別の側面では、方法は、第1の屈折率を有する第1の不混和性液体および第2の屈折率を有する第2の不混和性液体を備えているシールレンズチャンバを提供することと、第1の不混和性液体と第2の不混和性液体との間に光学界面を作成することと、第1の不混和性液体と第2の不混和性液体との間の光学界面の曲率を修正することとを含む。
1つ以上の実施形態では、光学界面は、レンズとして機能し、光学界面は、レンズの焦点を変動させるように可変的に修正される。1つ以上の実施形態では、曲率は、シールされたレンズチャンバの半分に圧力を加えることによって修正され、半分は、第1の不混和性液体または第2の不混和性液体のいずれかを格納する。1つ以上の実施形態では、曲率は、第1の不混和性液体と第2の不混和性液体との間に部分的障壁を形成するリングベンダーに圧力を加えることによって修正される。
1つ以上の実施形態では、シールされたレンズチャンバは、空気がない。1つ以上の実施形態では、第1の光学界面は、第1の焦点に対応する。1つ以上の実施形態では、第2の光学界面は、第2の焦点に対応する。1つ以上の実施形態では、第1の焦点は、第1の深度平面を生成する。
1つ以上の実施形態では、第2の焦点は、第2の深度平面を生成する。1つ以上の実施形態では、第1の不混和性液体の体積は、一定のままである。1つ以上の実施形態では、第2の不混和性液体の体積は、一定のままである。1つ以上の実施形態では、曲率は、シールされたレンズチャンバの半分に機械的手段によって圧力を加えることによって修正され、半分は、第1の不混和性液体または第2の不混和性液体のいずれかを格納する。
本発明の追加のおよび他の目的、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。
図面は、本発明の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載ならびに説明されるであろう。
図1は、例証される実施形態の1つにおける、装着式ARユーザデバイスを通した拡張現実(AR)のユーザのビューを図示する。 図2A−2Eは、装着式ARデバイスの種々の実施形態を図示する。 図2A−2Eは、装着式ARデバイスの種々の実施形態を図示する。 図2A−2Eは、装着式ARデバイスの種々の実施形態を図示する。 図2A−2Eは、装着式ARデバイスの種々の実施形態を図示する。 図2A−2Eは、装着式ARデバイスの種々の実施形態を図示する。 図3は、例証される実施形態の1つにおける、ヒトの眼の断面図を図示する。 図4A−4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。 図4A−4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。 図4A−4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。 図4A−4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。 図5は、多平面焦点システムであるように構成される、拡張現実(AR)システムの一実施形態の平面図を図示する。 図6は、図5のARシステムの一例示的構成の平面図を図示する。 図7は、図5のARシステムにおける複数の深度平面の生成の例示的実施形態を図示する。 図8は、可変平面焦点システムであるように構成される、ARシステムの一実施形態の平面図を図示する。 図9は、図8のARシステムの一例示的構成の平面図を図示する。 図10は、焦点を3つの異なる深度平面に変更する場合の図8のARシステムの平面図を図示する。 図11は、図8のARシステムにおける単一の深度平面の生成の例示的実施形態を図示する。 図12は、ハイブリッドARシステムの例示的構成の平面図を図示する。 図13は、図11のARシステムにおける2つの深度平面の生成の例示的実施形態を図示する。 図14は、導波管のスタックの一実施形態の平面図を図示する。 図15は、複数の深度平面を作成するための導波管のスタックを含む、ARシステムの一実施形態の平面図を図示する。 図16は、単一または複数の深度平面を作成するためにスタックされたPDLC拡散器配置を含む、ARシステムの一実施形態の平面図を図示する。 図17は、図15のスタックされたPDLC拡散器配置を通る光ビームの開口数の増加の例示的実施形態を図示する。 図18は、機械的湿潤レンズVFEの例示的実施形態を図示する。 図19は、機械的湿潤レンズVFEの別の例示的実施形態を図示する。
ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素(または方法もしくはプロセス)を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素(または方法もしくはプロセス)のそれらの部分のみ、説明され、そのような公知の構成要素(または方法もしくはプロセス)の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。
開示されるのは、仮想および/または拡張現実を生成する方法ならびにシステムである。現実的かつ楽しい仮想現実(VR)または拡張現実(AR)体験を提供するために、仮想コンテンツは、仮想コンテンツが現実に設置されているか、または実世界深度から生じているように知覚されるように(従来の2Dディスプレイとは対照的に)、ユーザから離れた様々な深度で提示されなければならない。このアプローチは、異なるオブジェクトを異なる深度で視認するために、眼が常に焦点を変化させるという点において、視覚の実世界体験を厳密に模倣する。例えば、ヒトの眼の筋肉は、近いオブジェクトに焦点を合わせるために「緊張」し、より離れたオブジェクトに焦点を合わせるために「弛緩」する。
実オブジェクトを厳密に模倣するように仮想コンテンツを設置することによって、ユーザの自然生理学的応答(例えば、異なるオブジェクトに対する異なる焦点)は、実質的にそのままであり、それによって、より現実的かつ快適な視認体験を提供する。これは、ユーザに固定された深度平面において仮想コンテンツを視認させ(例えば、Google Glass(登録商標)またはOculus(登録商標)のような2D画面)、ユーザに実世界の実オブジェクトと仮想コンテンツとの間を行ったり来たりさせ、不快感をユーザに生じさせる従来のVRまたはARシステムとは対照的である。本願は、3D仮想コンテンツが様々な深度でユーザによって知覚されるように、3D仮想コンテンツを投影するための種々のARシステムアプローチについて論じる。
図4A−4Dを参照すると、いくつかの一般的構成要素選択肢が、図示される。図4A−4Dの議論に続く詳細な説明の一部では、種々のシステム、下位システム、および構成要素が、ヒトVRおよび/またはARのための高品質で快適に知覚される表示システムを提供する目的に対処するために提示される。
図4Aに示されるように、ユーザの眼の正面に位置付けられる表示システム(62)に結合されたフレーム(64)構造を装着したARシステムユーザ(60)が、描写されている。スピーカ(66)が、描写される構成では、フレーム(64)に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、図示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ(62)は、有線導線または無線接続等によって、ローカル処理およびデータモジュール(70)に動作可能に結合され(68)、ローカル処理およびデータモジュールは、フレーム(64)に固定して取り付けられるか、図4Bの実施形態に示されるように、ヘッドホン内に埋め込まれたヘルメットまたは帽子(80)に固定して取り付けられるか、図4Cの実施形態に示されるような構成でユーザ(60)の胴体(82)に取り外し可能に取り付けられる(例えば、リュック(図示せず)内に設置される)か、または、図4Dの実施形態に示されるように、ベルト結合式構成でユーザ(60)の腰(84)に取り外し可能に取り付けられる等、種々の構成で搭載され得る。
ローカル処理およびデータモジュール(70)は、省電力プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データを処理すること、キャッシュすること、およびデータを記憶することを補助するために利用され得、データは、a)フレーム(64)に動作可能に結合され得るセンサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等)から捕捉され、および/または、b)多分、処理または読み出し後にディスプレイ(62)に渡すために、遠隔処理モジュール(72)および/または遠隔データリポジトリ(74)を使用して取得および/または処理される。ローカル処理およびデータモジュール(70)は、これらの遠隔モジュール(72、74)が、互に動作可能に結合され、ローカル処理およびデータモジュール(70)へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール(72)および遠隔データリポジトリ(74)に動作可能に結合され得る(76、78)。
一実施形態では、遠隔処理モジュール(72)は、データおよび/または画像情報を分析かつ処理するように構成される、1つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。一実施形態では、遠隔データリポジトリ(74)は、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備え得る。一実施形態では、全てのデータは、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールからの完全自律使用を可能にする。
前述のように、3D仮想コンテンツをユーザに提示するために、拡張現実(AR)システムは、z方向に様々な深度で仮想コンテンツを投影する。言い換えると、ユーザに提示される仮想コンテンツは、xおよびy方向に変化する(大部分の2Dコンテンツ同様に)だけではなく、z方向にも変化し、3D深度の知覚を与え得る。したがって、ユーザは、仮想オブジェクトを非常に近くにあるかのように(例えば、実際の机の上に置かれた仮想本)、または無限距離に(例えば、ユーザから離れた非常に遠くの距離にある仮想木)、もしくはその間の任意の距離に知覚し得る。または、ユーザは、複数のオブジェクトを異なる深度平面において同時に知覚し得る。例えば、ユーザは、無限遠から現れ、ユーザに向かって走ってくる仮想ドラゴンを見得る。別の実施形態では、ユーザは、ユーザから1メートル離れた距離における仮想鳥と、ユーザから腕の長さにある仮想コーヒーカップとを同時に見得る。
様々な深度の知覚を作成するために、2つの主要な方法が存在し得る。すなわち、多平面焦点システムおよび可変平面焦点システムである。多平面焦点システムでは、システムは、ユーザから離れたz方向において、仮想コンテンツを固定された深度平面上に投影するように構成される。可変平面焦点システムでは、システムは、1つ以上の深度平面を投影するが、深度平面をz方向に移動させ、3D知覚を作成する。1つ以上の実施形態では、可変焦点要素(VFE)が、光が特定の深度から生じるように見えるように、仮想コンテンツに関連付けられた光の焦点を変化させるために利用され得る。他の実施形態では、異なる焦点に対応するハードウェア構成要素が、以下にさらに詳細に論じられるであろうように、複数の深度平面の知覚を作成するために計画的に採用され得る。VFEは、フレーム毎に光の焦点を変動させ得る。
以下の開示は、多平面焦点および/または可変平面焦点光学要素を使用して3D知覚を作成する、システムの種々の実施形態を検討する。他のアプローチは、多平面焦点システムおよび可変平面焦点システムの側面を組み合わせ得ることを理解されたい。
最初に、図5を参照すると、多平面焦点要素を有するARシステム(500)の例示的実施形態が、図示される。図5に示されるように、ARシステム(500)は、複数の空間光変調器(504)(例えば、図示される実施例では、各眼に対して1つの2つの空間光変調器)と、2つの可変焦点要素(VFE)(510)と、複数の光学要素(506)と、2つのビームスプリッタ(520)と、2つの接眼レンズ光学要素(508)と、画像生成プロセッサ(502)と、グラフィカル処理ユニット(「GPU」)(514)と、中央処理ユニット(「CPU」)(516)と、メモリ(512)とを備えている。他の実施形態は、より多いまたはより少ない構成要素を備え得、上記に列挙される構成要素は、例証目的のためだけのものであり、限定として読み取られるべきではないことを理解されたい。
1つ以上の実施形態では、プロセッサ(502)は、ユーザに最終的に表示されるべき仮想コンテンツの生成に関与する。画像生成プロセッサ(502)は、仮想コンテンツに関連付けられた画像またはビデオを3Dでユーザに投影され得るフォーマットに変換し得る。例えば、3Dコンテンツを生成することにおいて、仮想コンテンツは、特定の画像の一部が、特定の深度平面上に表示される一方、その他が他の深度平面に表示されるようにフォーマットされる必要があり得る。プロセッサ(502)は、画像をスライスし、特定の画像の3Dスライスを提供するように構成され得る。
例えば、ユーザに提示されるべき画像は、背景内に数本の木々を伴う家の画像であるとする。画像は、少なくとも2つの深度平面に分割され得る(例えば、家を含む画像の第1のスライスは、第1の深度平面に投影され、背景を含む画像の第2のスライスは、第2の深度平面に投影される)。1つ以上の実施形態では、プロセッサ(502)は、一緒に視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に見えるように、若干異なる画像を右および左眼にフィードするようにプログラムされ得る。同様に、多くの他の画像操作も、最適視認体験をユーザに提供するために行われ得る。
1つ以上の実施形態では、プロセッサ(502)は、画像を3Dスライスまたはフレームスライスにスライスし得、他の実施形態では、画像は、事前にスライスされ、プロセッサ(502)に関連付けられた1つ以上のデータベースに記憶され得る。用語「スライス」は、特定の仮想場面の画像平面またはフレームスライスを指すために使用されることを理解されたい。言い換えると、単一仮想場面は、複数のフレームスライスまたは平面を備え得る。プロセッサ(502)は、CPU(516)を用いて一組のタスクを実行するように構成され得る。プロセッサ(502)はさらに、メモリ(512)、1つ以上のデータベース(図示せず)、グラフィカル処理ユニット(GPU)、バッテリ(図示せず)等の一組の標準的コンピューティング構成要素を備え得る。GPU(514)は、メモリを迅速に操作および改変し、ディスプレイへの出力のために意図されるフレームバッファ内の画像の作成を加速させるために設計された特殊電子回路である。一緒に、プロセッサ(502)の種々の構成要素は、ARシステム(500)が、必要に応じて、種々のコンピューティングタスクを行うことを可能にする。
プロセッサ(502)は、マイクロプロセッサ/マイクロコントローラ、バッテリ、テレメトリ回路、監視回路、および当業者に公知の他の好適な構成要素等、一組の追加の電子構成要素を備え得る。プロセッサ(502)は、画像、光学、および/または、空間光変調器(504)を命令および制御するためのメモリ(512)内に記憶された好適なプログラムを実行し得る。
いくつかの実施形態では、プロセッサ(502)は、装着式ARシステムのフレーム(例えば、図4Aにおけるフレーム(62))内に格納され得ることを理解されたい。他の実施形態では、画像生成プロセッサおよび他の回路は、装着式光学に結合される、別の構成要素(例えば、図4Dにおけるベルトパック)内に格納され得る。
図5に示されるように、プロセッサ(502)は、所望の仮想コンテンツに関連付けられた光を投影する、空間光変調器(504)に動作可能に結合される。図示される実施形態は、ユーザの各眼に対して1つの2つの空間光変調器を示すが、他の実施形態は、3つ以上の空間光変調器を備えていることも考えられる。さらに別の実施形態では、単一の空間光変調器が、両眼のために使用され得る。前述のように、いくつかの実施形態では、空間光変調器(504)の各々は、特定の仮想画像の若干異なるビューをフィードされ得る。1つ以上の実施形態では、空間光変調器(504)は、光源に接続され得、画像に関連付けられた光を変調させるための回路を備え得る。空間光変調器(504)またはディスプレイは、任意のタイプの光表示デバイスを指し得る。例として、デジタル光処理システム(「DLP」)、デジタルマイクロミラーデバイス(「DMD」)、液晶ディスプレイ(「LCD」)、有機発光ダイオード(「OLED」)、反射型液晶(「LCOS」)、またはファイバスキャナディスプレイ(FSD)が挙げられ得る。ARシステムの種々の実施形態は、例証目的のために、あるタイプの空間光変調器(例えば、DLP、FSD等)を具体的に参照し得るが、任意のタイプの空間光変調器が、以下の実施形態では使用され得、説明される実施形態は、限定として読み取られるべきではないことを理解されたい。
空間光変調器の種々の側面(例えば、速度、サイズ、パワー等)は、システムが3D投影を達成する方法に影響を及ぼし得る。1つ以上の実施形態では、空間光変調器は、DLPであり得る。1つ以上の実施形態では、空間光変調器の組み合わせが、使用され得る(例えば、DLPおよびLCD)。同様に、他の実施形態は、FSD、LCD、OLED、LCOS等を空間光変調器として利用し得る。
図示される実施形態では、空間光変調器(504)は、DLPおよび/またはLCDであり得る。標準的DLP構成は、光をディスプレイまたはユーザに向かって反射するモードと、光をディスプレイまたはユーザから光トラップ等の中に反射するモードとの間でトグルするMEMデバイスおよびマイクロミラーのアレイを使用する。したがって、DLPは、本質的にバイナリである。DLPは、典型的には、パルス幅変調スキームを使用してグレースケール画像を生成し、ミラーが、より明るいピクセルまたは中間輝度のピクセルを作成するために、可変デューティサイクルのための可変時間量の間、「オン」状態のままにされる。
したがって、グレースケール画像を中程度のフレームレートで作成するために、DLPは、はるかに高いバイナリレートで動作する。前述の構成では、そのような設定は、グレースケールマスキングを作成するために良好に機能する。しかしながら、DLP駆動スキームが、バイナリパターンでサブ画像をフラッシュさせるように適合される場合、フレームレートは、数千フレーム/秒と有意に増加させられ得る。これは、数百〜数千の深度平面が60フレーム/秒でリフレッシュされることを可能にする。
Texas Instruments DLPシステムのための典型的パルス幅変調スキームは、構成が2乗から8乗の異なる照明レベルを作成し得るように、8ビットコマンド信号を有する(第1のビットは、ミラーの第1の長さのパルスであり、第2のビットは、第1のものの半分の長さのパルスであり、第3のビットは、同様に半分の長さ等と続く)。一実施形態では、DLPからの背面照明は、DMDの異なるパルスと同期して変動させられるその強度を有することにより、作成されるサブ画像の輝度を等化し得、それは、既存のDMD駆動電子機器が有意により高いフレームレートを生成することを可能にするための実践的アプローチである。
別の実施形態では、DMD駆動電子機器およびソフトウェアに対する直接制御変更が、ミラーが、従来の可変オン時間構成の代わりに、常時、等しいオン時間を有するように利用され得、それは、より高いフレームレートを促進するであろう。別の実施形態では、DMD駆動電子機器は、以下にさらに説明されるであろうように、高ビット深度画像のそれより高いが、バイナリフレームレートより低いフレームレートで低ビット深度画像を提示するように構成され、焦点平面の数を若干増加させながら、焦点平面間におけるある程度のグレースケール混成を可能にし得る。
一実装では、高フレームレートおよびより低い持続性の表示は、より低いフレームレートおよびより高い持続性の表示と組み合わせられ、比較的に高周波数フレーム順次体積表示を構成し得る。一実施形態では、高フレームレート表示は、より低いビット深度を有し、より低いフレームレート表示は、より高いビット深度を有する。これらは、組み合わせられ、画像スライスをフレーム順次方式で提示するために非常に好適である、効果的高フレームレートおよび高ビット深度表示を構成し得る。そのようなアプローチでは、望ましく表される3次元体積は、一連の2次元スライスに機能的に分割される。
または、背面照明される強誘電パネルディスプレイもまた、別の実施形態では、利用され得る。LCDパネルの背面を従来の様式で(すなわち、普通サイズの蛍光灯またはLEDアレイを用いて)照明する代わりに、従来の照明構成は、マスクパターンをLCDの背面上に投影するためのDLPプロジェクタの使用に対応するように除去され得る(一実施形態では、マスクパターンは、DLPが、照明を投影するか、または照明を投影しないかのいずれかであるという点において、バイナリであり得る。以下に説明される別の実施形態では、DLPは、グレースケールマスク画像を投影するために利用され得る)。
図5に示されるように、ARシステム(500)はまた、空間光変調器(504)によって生成される光の焦点を変動させるように構成される、VFE(510)を備えている。図5に示されるように、空間光変調器から放出される光は、複数の深度平面においてユーザによって視認され得るように光の焦点を変動させるように構成されたVFE(510)に向かわせられる。
1つ以上の実施形態では、VFE(510)は、投影された光を所望の深度平面上に集中させる。VFE(510)は、フレーム毎に投影された光の焦点を変動させ得る。深度平面は、ユーザから離れた深度(例えば、z方向における距離)に対応する。VFEが、多平面焦点および可変平面焦点システムの両方において使用されることを理解されたい。したがって、VFEは、複数のレンズおよびミラー(例えば、以下に説明されるであろうような506、508および520)とともに、1つ以上の仮想オブジェクトに関連付けられた光がユーザの眼に3Dとして知覚されるように、1つ以上の仮想オブジェクトに関連付けられた光を所望の深度平面に投影するように構成される。
1つ以上の実施形態では、VFE(510)は、液晶レンズ、電気活性レンズ、可動要素を伴う従来の屈折レンズ、機械的変形ベースのレンズ(流体充填膜レンズ、または可撓性要素がアクチュエータによって撓曲および弛緩されるヒト水晶体に類似するレンズ等)、エレクトロウェッティングレンズ、または異なる屈折率を伴う複数の流体等の屈折要素であり得る。VFEはまた、切り替え可能回折光学要素を備え得る(ポリマー材料等のホスト媒体が材料内に分散された液晶の微小液滴を有し、電圧が印加されると、それらの屈折率がホスト媒体のものともはや一致しないように分子が再配向し、それによって、高周波数切り替え可能回折パターンを作成する、高分子分散型液晶アプローチを特徴とするもの等)。
一実施形態は、ニオブ酸リチウム等のカー効果ベースの電気活性材料の微小液滴が、ホスト媒体内に分散されるホスト媒体を含む。これは、ファイバ走査ディスプレイまたは走査鏡ベースのディスプレイ等の走査光ディスプレイと結合されると、ピクセルごとまたは行ごとベースで画像情報の再焦点合わせを可能にする。液晶、ニオブ酸リチウム、または他の技術が、パターンを表すために利用されるVFE構成では、パターン間隔は、可変焦点レンズ要素の焦点力を変化させるだけではなく、ズームレンズタイプの機能性のために、全体的光学系の焦点力(focal power)を変化させるためにも変調され得る。
一実施形態では、複数のレンズは、写真撮影用のズームレンズが焦点をズーム位置から切り離すように構成され得るのと同一方法で、表示画像の焦点が倍率を一定に保ちながら改変されることができるという点において、テレセントリックであり得る。別の実施形態では、レンズは、焦点変化がた、ズーム変化も伴うであろうように、非テレセントリックであり得る。そのような構成では、そのような倍率変化は、焦点変化と同期するグラフィックシステムからの出力の動的スケーリングを用いて、ソフトウェアにおいて補償され得る。
図5に示されるように、VFE(510)からの焦点を合わせられた光は、光をユーザの眼の方へ向かわせる、複数の光学要素(506)を通して進む。いくつかの実施形態では、ビームスプリッタ(520)が、利用され得る。ビームスプリッタ(520)は、入射光ビームを2つ以上のビームに分割もしくは向かわせる光学デバイスである。1つ以上の実施形態では、ビームスプリッタ(520)は、入射光の半分が反射され、他の半分が全内部反射に起因して伝送されるように構成され得る。図示される実施形態では、ビームスプリッタ(520)は、ビームが接眼レンズ(508)に向かわせられるように、(ARシステムの設計に応じて)ビームを分割するために利用され得る。接眼レンズ(508)は、図5に示されるように、反射された光をビームスプリッタ(520)から受信し、光をユーザの眼の中に向かわせる。
全体的システムアーキテクチャが簡単に説明されたが、種々の光学システムの具体的構成が、ここで説明される。ここで図6を参照すると、ARシステム(600)の例示的実施形態が、説明されるであろう。1つ以上の実施形態では、ARシステム(600)は、DLP(602)と、LCD(604)と、複数の色収差補正レンズ(606)と、ビームスプリッタ(608)と、VFE(610)とを含む。図示されないが、画像生成プロセッサは、仮想コンテンツの一組の2次元スライスを図6に示される光学構成に連続してフィードし得る(例えば、フレームが連続して、時間的に連続して等)。
図6に示される例示的構成では、DLP(602)およびLCD(604)の組み合わせが、高リフレッシュレートおよび高持続性表示を作成するために使用される。ARシステム(600)の他の実施形態は、他の空間光変調器を利用し得、以下の説明は、例証目的のためだけに提供されることを理解されたい。有利には、このアプローチは、システムが高フレームレートおよび高持続性の両方を有することを可能にする(それは、ユーザが複数の深度平面を同時に知覚することを可能にする)。本実施形態では、DLP(602)およびLCD(604)の組み合わせは、360Hzの処理パワーで動作し、それによって、1秒あたり60フレームを生成する(例えば、以下にさらに詳細に説明されるであろうように、6つの深度平面を生成する)。
以下にさらに詳細に説明されるであろうように、DLP/LCDシステムの高フレームレートおよび高持続性は、ユーザによって同時に知覚される、複数の深度平面の作成を可能にする。図示される実施形態は、LCD(604)を使用するが、代替実施形態は、同様に、LCD(604)をDLP(602)とともに使用されないこともあることを理解されたい。OLED、LCOS、FSD等、他の形態の空間変調器も同様に、使用され得ることを理解されたい。
いくつかの実施形態では、DLP(602)は、グレースケール画像(前述のように)を提供することを理解されたい。LCD(604)は、種々の色に関連付けられた光が別の組の色収差補正レンズ(606)を通して投影されるように、色マップを提供する。
図示される実施形態では、DLP(602)からの光は、一組の色収差補正レンズ(606)に向かって投影される。同様に、LCD(604)は、同一または異なる仮想コンテンツに関連付けられた光を投影し、光は、別の組の色収差補正レンズ(606)を通して進む。
色収差補正レンズ(606)は、色収差および球面収差の影響を制限するように設計された光学要素である。言い換えると、色収差補正レンズ(606)は、広いスペクトルの波長にわたって同様に機能する。例えば、色収差補正レンズ(606)は、2つの波長を同一平面上で焦点を合わせるように導くための補正を提供する。色収差補正レンズは、典型的には、2つの異なるタイプの材料から作製され、異なる波長にわたって一定焦点を有する(すなわち、焦点が殆ど変化しない)ように設計される。DLP(602)およびLCD(604)は、複数の波長(例えば、赤色、緑色、青色等)を有する光を投影するので、色収差補正レンズ(606)は、異なる波長の光が実質的に同一焦点に導かれることを確実にするために利用される。図6に示されるように、色収差補正レンズは、光学構成(600)の種々の部分で使用され、光が同一焦点に導かれることを確実にする(例えば、DLP(602)から放出される光、LCD(604)から放出される光、VFE(610)からの光、中間画像平面(614)からの光等)。
図6に示されるように、LCD(604)からの光は、別の組の色収差補正レンズ(606)を通過し、ビームスプリッタ(608)に接近する。図示される実施形態では、ビームスプリッタ(608)は、光ビームがVFE(610)に向かわせられるように光ビームを分割する。DLP(602)は、VFE(610)と同期して機能し、所望のフレームレート(例えば、60フレーム/秒)を提供することを理解されたい。VFE(610)は、フレームの焦点を変動させ、複数の固定された深度平面を生成するように構成される。本実施形態では、VFE(610)は、焦点を迅速に変更し、フレームがDLP(602)およびLCD(604)によって生成される速度に対応可能である変形可能ミラー膜VFEである。一実施形態では、変形可能膜レンズは、変形可能ミラー膜VFE(610)(例えば、Okotech(登録商標)製)等の非常に薄い(例えば、膜の厚さは、約数ミクロンであり得る)反射材料から作製され得る。
VFE(610)からの焦点を合わせられた光は、2つ以上の色収差補正レンズ(606)を通して進行し、中間画像平面(614)を生成する。中間画像平面(614)は、適切な焦点を有する光であるが、ユーザによって視認されることができない。中間画像平面(614)が生成される場所は、VFE(610)の焦点に基づいて、ある範囲内で変動することを理解されたい。
中間画像平面(614)からの光はさらに、それがユーザの眼によって視認され得るように、一組の色収差補正レンズおよび/または拡大要素を通して進み得る。例えば、中間画像平面は、仮想画像の分だけ実画像ではないこともあるので、眼によって処理されるように反転および/または修正される必要があり得る。図6に示されるように、中間画像平面(614)からの光は、眼に送達される前に、別の組の色収差補正レンズおよび/または接眼レンズを通過する。
この例では、眼に最も近い2つの色収差補正レンズ(606)は、中間画像が形成された後、VFEから受信された光をコリメートするように構成されることを理解されたい。したがって、この特定の実施形態では、画像が眼によって視認されると、画像は、無限遠から生じるかのように見えるであろう。コリメートされた光(すなわち、互に平行である光ビーム)は、無限遠から生じるかのように知覚される、画像を生成する。他の例(図示せず)では、VFEが他の深度平面(光学無限平面ではない)上に焦点を合わせられる場合、光線は、典型的には発散し、それによって、ユーザが深度平面をz方向に固定された深度平面(例えば、光学無限より近い)において視認するであろう。
図示される実施形態では、ARシステム(600)は、360Hzの高処理パワーで動作し、60フレーム/秒において6つの深度平面の作成を可能にするDLP(602)(およびLCD(604)を使用する、多平面焦点システムである。本技術的状況において、そのような高性能DLPは、静止ARシステム構成では良好に機能し得るが、技術の進歩が、同一AR構成をポータブルまたは装着式ARシステムに適宜変換することを可能にし得ることを理解されたい。
DLP(602)が360Hz(60フレーム/秒)で動作することを前提として、異なるフレームは、2.8ミリ秒毎に生成され得る。これと高速かつ精密なVFE(610)(前述のような変形可能ミラー膜VFE等)との結合は、複数の深度平面の迅速な生成を可能にする。したがって、VFE(610)の速度は、所望の画像/仮想コンテンツが正しい深度平面に表示されるように、焦点を迅速に変動させるために十分に高速(本実施形態では、2.8ミリ秒以内)でなければならないことを理解されたい。
図7は、図6に関連して論じられる構成等のARシステムが、ユーザに対して複数の固定された深度平面を生成する方法を図示する。図7は、ARシステム(704)およびARシステム(704)のユーザによって視認される6つの深度平面(702)の構成を図示する。図示される実施形態では、6つの深度平面(702)は、ユーザからz方向に様々な距離で間隔を置かれている。いくつかの実施形態では、全6つの深度平面は、深度平面の固定された距離においてユーザによって同時に視認され得る(例えば、ARシステム(600))。他の実施形態では、深度平面の一部のみ、ユーザによってフレーム毎に視認され得るが、深度平面は、常時、ユーザから離れた同一固定距離で生成され得る。
ARシステム(704)(例えば、ARシステム(600)等)および他の多平面焦点システムは、典型的には、固定された深度平面(702)(例えば、図7に示されるような6つの深度平面)においてフレームを表示することを理解されたい。任意の数の深度平面が、同様に使用され得るが、以下の開示は、z方向に6つの固定された深度平面(702)を有するような多平面焦点システムを論じる。仮想コンテンツを6つの深度平面のうちの1つ以上のもの上に生成することにおいて、3D知覚は、ユーザが1つ以上の仮想オブジェクトをその眼から様々な距離で(例えば、z方向に)知覚するように作成される。ヒトの眼が、遠くからであるように見えるオブジェクトより距離がより近いオブジェクトに対してより敏感であるとすると、図7に示されるように、より多くの深度平面(702)が眼により近く生成される。他の実施形態では、深度平面(702)は、互いから等距離だけ離れて設置され得る。
深度平面(702)は、典型的には、焦点距離の単位であるジオプトリーで測定される。例えば、一実施形態では、深度平面1は、1/3ジオプトリーだけ離れ得、深度平面2は、1/2ジオプトリーだけ離れ得、深度平面3は、1ジオプトリーだけ離れ得、深度平面4は、1.5ジオプトリーだけ離れ得、深度平面5は、3ジオプトリーだけ離れ得、深度平面6は、無限遠を表し得る。他の実施形態は、他の距離/ジオプトリーで深度平面を生成し得ることを理解されたい。したがって、仮想コンテンツを計画的に設置された深度平面に生成する場合、ユーザは、仮想オブジェクトを3Dで知覚可能である。
例えば、第1の仮想オブジェクトは、深度平面1上で知覚され得る一方、別の仮想オブジェクトは、深度平面6上の無限遠で発生するように知覚され得る。または、仮想オブジェクトは、仮想オブジェクトがユーザに対して非常に近くに見えるまで、最初に、深度平面6で、次いで、深度平面5で表示される等であり得る(例えば、ユーザに向かって走ってくる仮想モンスター)。別の実施形態では、全6つの深度平面は、ユーザから離れた特定の焦点距離に集中され得る。例えば、表示されるべき仮想コンテンツが、ユーザから1/2メートル離れたコーヒーカップである場合、全6つの深度平面は、コーヒーカップの種々の断面で生成され、ユーザにコーヒーカップの非常に粒度の細かい3Dビューを与え得る。前述の実施例は、例証目的のために非常に簡略化されており、深度平面の多くの他の構成も同様に、想定され得ることを理解されたい。
図6のARシステム(600)の場合、焦点を迅速に変化させるために、変形可能ミラー膜VFE(610)の能力と組み合わせられたDLP(602)およびLCD(604)の高処理パワーは、ユーザから様々な距離において深度平面の迅速な生成を可能にする。これは、表示の持続性と組み合わせられて、同時の複数の深度平面の知覚を与える。例えば、第6の深度平面(例えば、無限遠で焦点を合わせられる)が16ミリ秒で作成されるまで、深度平面1(例えば、1/3ジオプトリーで焦点を合わせられている)が、最初の2.8ミリ秒で作成され得、深度平面2(例えば、1/2ジオプトリーで焦点を合わせられている)が、次の2.8ミリ秒(5.6ミリ秒)で作成される等。
言い換えると、空間光変調器(例えば、DLP(602))が動作する、高速(仮想コンテンツの高速生成を可能にする)は、変形可能ミラー膜VFE610(画像を所望の深度平面に焦点を合わせることにおいて迅速な変化を可能にする)と結合され、複数の深度平面をユーザに迅速に投影可能である多平面焦点システムを提供する。深度平面が生成される高速(全6つの画像平面は、最初の16ミリ秒以内に生成される)を前提として、ヒトの眼は、それらを同時深度平面として知覚する。言い換えると、眼の持続性に起因して、全6つの深度平面は、本質的に、一緒に視認される。
サイズおよび可搬性の制限に起因して、そのような高処理パワー(360Hz)のDLPは、ARシステムの装着式バージョンでは、容易に使用されないこともある。さらに、ARシステム(600)において使用される、変形可能ミラー膜VFEは、非常に薄く、したがって、外部環境における変化に非常に敏感であり得、これは、装着式ARシステムモデルにおける使用を困難にし得る。しかしながら、システム(600)は、他のVFEまたは他の空間光変調器を利用し得、上記の説明と同様に機能し得ることを理解されたい。
ここで図8を参照すると、装着式ARシステム(800)のバージョンの1つの例示的実施形態が、ここで説明される。ARシステム(500)と同様に、ARシステム(800)も、画像生成プロセッサ(802)(例えば、追加の構成要素:GPU(814)、CPU(816)、およびメモリ(812)を伴う)と、空間光変調器(例えば、DLP、LCD、OLED、LCOS、FSD等)(804)と、複数のレンズ/光学要素およびミラー(806)と、VFE(810)と、メニスカスレンズまたは接眼レンズ(808)と、眼追跡サブシステム(820)とを含む。ARシステム(800)は、種々の構成で利用され得ることを理解されたい。構成の1つは、一組の光学要素および空間光変調器をARデバイスの上部に格納するヘルメット構成を指す「水盤」構成(例えば、図4Bに類似するヘルメット形状因子のARデバイス)であり得、光は、空間光変調器および一組の光学を下方に進行し、接眼レンズの上部にフィードされる。他の構成では、一組の光学および空間光変調器は、側面に格納され得(例えば、図4Cに類似する形状因子)、光は、空間光変調器と一組の光学要素とを通して側方に進行し、接眼レンズの側面部分にフィードされる。
ARシステム(800)の構成要素の多くは、前述のARシステム(500)に類似しており、したがって、繰り返されない。前述のように、プロセッサ(802)は、1つ以上の画像スライスもしくはフレームを空間光変調器(804)に提供する。1つ以上の実施形態では、空間光変調器(804)は、DLP、LCD、LCOS、OLED、またはFSDを備え得る。前述のように、ARシステムのポータブルバージョンは、ARシステム(例えば、図6)において使用されるもの等、大型かつ高性能の空間光変調器を収容しないこともあり、したがって、より小さいおよび/またはあまり高性能ではない空間光変調器(例えば、DLP)が、代わりに、利用され得る。図示される実施形態では、DLPは、約120Hzで動作し、60フレーム/秒を生成し得る。
空間光変調器(804)からの光は、次いで、画像が所望の深度平面においてユーザによって視認されるように、VFE(810)によって焦点を合わせられ得る。前述のように、装着式構成において使用されるVFE(810)は、より耐久性があるが、ARシステム(600)において使用されるものより低速でもあり得る。同様に、本実施形態において使用されるVFE(810)は、ARシステム(600)において使用されるような変形可能ミラー膜でないこともあり、むしろ、Optotune(登録商標)またはVarioptic(登録商標)のような企業によって作製されたもの等の光屈折膜レンズであり得る。1つ以上の実施形態では、これらのVFEに関連付けられた膜は、ゴム様テクスチャを有する傾向にあり、それは、ARシステム(500)において使用される変形可能膜ミラーと比較して、VFEをより耐久性のあるものにし、それによって、これらのVFEをARシステムの装着式バージョンのためにより適したものにする。
本実施形態では、フレームが20フレーム/秒でしか生成されないことを前提とすると、VFEは、焦点を20フレーム/秒でしか切り替えない。この目的を達成するために、以下にさらに説明されるであろうように、同時に、全6つの深度平面を一度に表示するのではなく、単一の深度平面が、ユーザの焦点と一致するように生成される。図5と同様に、VFEからの光は、光学要素(806および808)の集合を通して進み、ユーザの眼に伝達される。
前述のように、ARシステム(800)は、可変焦点面システムである。6つの(またはそれを上回る)深度平面を生成するのではなく、システムは、作成された深度平面がユーザの焦点と一致するように、z方向に移動させられ得る単一の深度平面を作成するように構成される。
この目的を達成するために、前述の要素(前述の実施形態にも存在した)に加え、本実施形態は、眼の焦点を追跡するように構成される眼追跡サブシステム(820)も含む。各眼は、別個にかつ他方から独立して追跡され得る。1つ以上の実施形態では、各眼は、専用の眼追跡システムによって追跡され得る。他の実施形態では、両眼が、単一の眼追跡システムによって追跡され得る。別の実施形態では、単一の眼追跡システムは、各眼に対して1つ構成される2つの追跡器を有し得る。眼追跡サブシステム(820)は、VFE(810)がユーザの眼の焦点と一致する平面上に画像の焦点を合わせるように、画像生成プロセッサ(802)および他の回路に物理的または通信可能に結合され得る。
1つ以上の実施形態では、眼追跡サブシステム(820)は、両眼が収束する距離を測定する。例えば、ユーザの眼が互に平行である場合、眼追跡サブシステム(820)は、ユーザの焦点が光学無限にあることを決定し得る。眼追跡サブシステム(820)の他の実施形態は、ユーザの眼の焦点を推定または決定することにおいて、他の方法を使用し得る。眼追跡サブシステム(820)は、処理/制御回路等を備え得、さらに、システムの画像生成プロセッサおよび他の構成要素と通信するように構成されることも理解されたい。システムの構成要素の残りは、上記の前述のシステム(500)と同様である。
ここで図9を参照すると、可変平面焦点システム(例えば、ARシステム(800))の具体的構成(900)が、ここで説明される。本実施形態では、可変平面焦点システム(900)は、DLP(902)と、一組の色収差補正レンズ(904)と、VFE(906)と、ビームスプリッタ(908)と、中間画像平面(940)と、メニスカスレンズ(910)とを含む。
図9に示されるように、種々の仮想画像スライス/フレームスライス(例えば、プロセッサ(図示せず)によってフィードされる)に関連付けられた光は、DLP(902)から投影される。DLP(902)からの光は、一組の色収差補正レンズ(904)(例えば、前述のように、実質的に同一焦点を有するように、異なる波長の光の焦点を修正する)を通して進行し、VFE(906)にフィードされる。
VFE(906)は、前述のように、光が所望の平面から生じているように見えるように光の焦点を合わせる。眼追跡サブシステムは、図9に示されないが、画像は、典型的には、眼追跡サブシステムからの入力に基づいて、作成されることを理解されたい。言い換えると、眼追跡システムからのデータは、VFEに通信され、VFEは、適宜、ユーザの焦点の現在の状態に最も近い深度平面を作成する。
VFE(906)が、適宜、光の焦点を合わせると、光は、次いで、中間画像平面(940)が作成されるように、別の組の色収差補正レンズ(906)を通して進行する。前述のように、中間画像平面(940)に対応する光は、眼によって視認され得る前に修正されなければならず、したがって、いくつかの実施形態では、ビームスプリッタ(908)と、光をユーザの眼に向かわせる、メニスカスレンズまたは接眼レンズ(910)を通して進み得る。
ビームスプリッタ(908)は、光ビームを分割し、光をメニスカス(910)に向かって反射する。メニスカスレンズ(910)は、次いで、光をユーザの眼の中に向かわせる。
図示される実施形態では、ユーザの眼に到達する光は、コリメートされる(例えば、ユーザは、光を光学無限から生じるように知覚する)。当然ながら、異なる深度平面上に焦点を合わせると、光ビームは、代わりに、光学無限より近い深度平面から生じているかのように分散し得る。
ここで図10を参照すると、可変平面焦点システムの例示的一連の構成が、図示される。種々の構成は、図9に関して論じられるものと同一構成要素を備え、したがって、繰り返されない。
図示される実施形態において、(1002)では、VFE(1014c)は、ユーザから0.33メートル離れた深度平面にDLP(1012c)からの光の焦点を合わせる。図10に示されるように、右側の中間画像平面(1016c)は、VFE(1014c)の焦点の変化に基づいて生成される。(1004)では、VFE(1014b)は、ユーザから0.67メートル離れた深度平面にDLP(1012b)からの光の焦点を合わせる。図10に示されるように、中央の中間画像平面(1016b)は、VFE(1014b)の焦点の変化に基づいて生成される。同様に、(1006)では、VFE(1014a)は、光学無限である深度平面にDLP(1012a)からの光の焦点を合わせる。図10に示されるように、中央の中間画像平面(1016b)は、VFE(1014b)の焦点の変化に基づいて生成される。図示される実施形態では、中間画像平面(例えば、1016a、1016b、および1016c)も、VFEが光の焦点を異なる深度平面に変動させるにつれて変動する。
図11は、図8−10に関連して論じられる構成等の可変平面ARシステムが、ユーザに対して側方に平行移動させられ得る単一の深度平面を生成する方法を図示する。図11は、ARシステム(1104)およびARシステム(1104)のユーザによって視認される単一の深度平面(1106)を図示する。図示される実施形態では、単一の深度平面が、生成されるが、単一の深度平面(1102)(フレーム毎)は、z方向にある範囲(1106)内で移動させられ得る。
言い換えると、可変平面焦点システム(例えば、図8−10)は、ユーザの焦点の現在の状態に基づいて、単一の深度平面をある範囲内でz方向に側方に平行移動させる。ユーザの眼が、ユーザに近い物理的オブジェクト上に焦点を合わせられる場合、単一の深度平面は、それがその焦点距離と一致し、仮想オブジェクトがその深度平面に表示されるように移動させられる。例えば、ユーザの眼が弛緩され、空間を見ている(眼が互に平行である)場合、深度平面は、仮想オブジェクトが無限遠から生じているように見えるように、より遠くに移動させられ得る。図11に示されるように、ARシステム(1104)は、ユーザの焦点と一致する単一の深度平面(1102)上に画像の焦点をあわせる。単一の深度平面(1102)は、図11に示されるように、ある範囲(1106)内で(例えば、ユーザに非常に近い所から光学無限まで)ユーザから離れた任意の距離までz方向に移動させられ得る。
1つのみの深度平面が投影される(例えば、60フレーム/秒で)という事実を補償するために、ぼかしソフトウェア技法が、複数の深度平面の知覚を提供するために利用され得る。2つ以上の仮想オブジェクトがユーザに投影されることが意図されていると仮定し、かつ仮想オブジェクトが異なる深度平面にあることを意図されていると仮定すると、システムは、投影された深度平面にない仮想オブジェクトをぼかし得る。言い換えると、両仮想オブジェクトが、単一の深度平面上にレンダリングされるが、1つ(またはそれらのうちの1つ以上)(ユーザの焦点と比較してより近く/より遠くに見えるように意図される)が、ユーザにぼかされて見えるであろう。
例えば、仮想コンテンツが、仮想コーヒーカップと、背景中を飛んでいるドラゴンの両方を含む場合であり、ユーザの眼が机上に焦点を合わせられている場合、単一の深度平面は、ユーザの焦点において生成され、焦点が合った仮想コーヒーカップから成るであろうが、加えて、背景中を飛んでいるぼかされたバージョンのドラゴンも示すであろう。または、ユーザの眼が無限遠に向かって焦点を合わせられている場合、単一の深度平面は、無限遠で生成されるであろうが、ドラゴンは、焦点が合って見え得る一方、コーヒーカップは、ソフトウェアによるぼかしを通してぼかされる。
または、同じ例を継続すると、ユーザの眼がドラゴンの方に向けられる場合、眼追跡システム(820)は、焦点のシフトを検出し(例えば、眼追跡サブシステムは、ユーザの眼の収束の変化を検出し得る)、次いで、焦点が合ったドラゴンをレンダリングし、コーヒーカップをぼかし得るが、この時点で、単一の深度平面は、無限遠に生成される。ヒトの眼は、その焦点を近いオブジェクトから離れたオブジェクトまたはその逆に変化させるために約200〜300ミリ秒かかることを理解されたい。しかしながら、ARシステムは、1秒あたり約60フレームとフレームを迅速に生成するように構成される。したがって、ARシステムは、ヒトの眼と比較して、より高速なペースで動作しているので、ユーザの眼は、焦点面の変化を快適に調節可能である。
したがって、上記の例から理解され得るように、3D知覚を作成するために、可変平面焦点システムは、ユーザの眼の焦点距離と一致する深度平面に投影される、1つの(またはそれを上回る)限定された深度平面を作成する。眼追跡サブシステム(820)を使用することによって、ARシステム(800)は、前述のように、より小さい処理パワーかつより遅いVFEの空間光変調器を使用可能である。
可変平面焦点システムの正確度は、直接、眼追跡サブシステムの正確度および効率とVFE要素の速度とに関連することを理解されたい。眼追跡サブシステム(820)は、ユーザの眼の焦点距離を迅速に測定および決定可能でなければならず、VFE要素は、その距離に精密に、深度平面の焦点を合わせなければならない。これは、上記で詳細に論じられたように、典型的には、装着式ARシステムにおける限界である多くの処理パワーおよび速度を要する。この目的を達成するために、ARシステムのさらに別の実施形態では、ハイブリッドシステムが、3D仮想コンテンツを生成するために使用され得る。
ここで図12を参照すると、図9および10のARシステムに類似するハイブリッド構成が、さらに詳細に説明される。ハイブリッドARシステム(1200)は、図9のARシステム(900)と実質的に同一要素を備えている。簡略化目的のために、ハイブリッドARシステム(1200)の重要な構成要素のみ、説明され、残りの構成要素は、図9のその構成と同様に機能することを認識されたい。
図12に示されるように、DLP(1206)からの光は、仮想コンテンツの2Dスライスに関連付けられた光を投影し得る。光は、次いで、異なる波長の光が、前述のように、実質的に同一焦点に導かれることを確実にするように構成される一組の色収差補正レンズ(1208)を通して進み得る。色収差補正レンズ(1208)からの光は、次いで、長距離VFE要素(1202)および2状態焦点要素(1204)を有するVFEアセンブリに衝突する。
ハイブリッドARシステム(1200)では、単一のVFEを使用するのではなく、システムは、長距離VFE要素(1202)および2状態焦点要素(1204)の両方を利用する。長距離VFE(1202)は、大きな範囲の深度平面に沿って機能するように構成される(図11の可変平面システムに類似する)一方、2状態焦点要素(1204)は、互に小範囲内で2つの深度平面を生成するように構成される(図7の多平面システムに類似する)。
長距離VFE要素(1202)は、例えば、0〜3ジオプトリー等、相対的に大きい焦点範囲が可能であり得る。そのようなVFE(1202)は、例証の目的のために、その時間的応答時間が制限され得る。孤立して使用される場合、そのような長距離VFE(1202)は、動作可能に結合された画像源からの複数の表示されるフレームのコーズにわたって焦点を調節し得るが、動作可能に結合されたディスプレイのリフレッシュレートにおいて、フレーム毎に所望の焦点状態間で変調するために十分に高速ではない場合がある。例えば、長距離VFE(1202)は、ヒトの遠近調節もしくは両眼離反運動の変化に応答して、または表示される体積場面内の要素の運動に応答して、表示焦点を調節し得る。
1204として標識される2状態焦点VFEは、VFE(1202)より焦点状態間をより迅速に切り替えることができるが、その全体焦点範囲(例えば、0〜0.3ジオプトリー)および/または生成し得る焦点状態の数(例えば、2焦点状態)が制限され得るVFEを備え得る。長距離VFE(1202)および2状態VFE1204を直列に設置することによって、それらの全体屈折力は、各VFEの焦点状態が動作可能に結合されたディスプレイの焦点に影響を及ぼすように組み合わせられる。
例えば、2つの深度平面が、1ジオプトリーの距離に作成される必要がある場合、長距離VFE(1202)は、約1ジオプトリーの距離に両深度平面の焦点を合わせるように構成され得る一方、2状態焦点要素(1204)は、2つの深度平面を互の短距離内に生成するように構成され得る(例えば、互いから0.3ジオプトリーの固定された距離)。言い換えると、長距離VFE(1202)は、ユーザから離れたz方向にほぼ正しい距離に2つの深度平面の焦点を合わせる一方、2状態焦点要素(1204)は、2つの深度平面を互との関連で設置する。1つ以上の実施形態では、2つの深度平面間の距離は、固定され得る。組み合わせられたVFE(1202および1204)から出射する光は、次いで、ユーザの眼に衝突する前に、別の組の色収差補正レンズ(1208)および図9のものに類似する残りの組の構成要素(図示せず)を通って進み得る。
ハイブリッドシステム(1200)は、多平面焦点システムおよび可変平面焦点システムの両方の要素を組み合わせる。眼追跡サブシステムおよび/またはVFEにおける欠点を考慮するために、ユーザの眼の追跡に基づいて生成される、単一の深度平面を生成するのではなく、ハイブリッドシステム(1200)は、眼追跡システムによって決定された焦点距離に、互に近接して2つの深度平面を生成する。したがって、ハイブリッドシステム(1200)は、眼追跡サブシステムにおける誤差の許容値を組み込み、1つの深度だけではなく、互に近接する2つの深度平面において仮想コンテンツを投影することによって、欠点を考慮することを理解されたい。ここに説明される2つの深度平面システムは、一例にすぎず、他の実施形態は、全てがユーザの焦点と一致するように投影される3つ以上の深度平面を備え得ることを理解されたい。
例えば、(例えば、眼追跡サブシステムを通して)ユーザの眼が1ジオプトリーの距離に焦点を合わせられていることが決定される場合、単一の深度平面をその距離に生成する代わりに、ハイブリッドシステム(1200)は、代わりに、両方とも1ジオプトリーに近接した2つの深度平面を生成し、その半分が一方の深度平面に見え、他の半分が他方の深度平面に見えるように、仮想コンテンツを分割し得る。したがって、両深度平面は、ユーザによって同時に知覚される(例えば、一方のフレームは、8msにおける深度平面1に生成され、別のフレームは、16msにおける深度平面2に生成される)。これは、ユーザのために快適な視認をもたらし、眼追跡サブシステムに大きく依拠しない。120Hzで動作するDLPが使用されると仮定すると、ハイブリッドARシステム(1200)は、60フレーム/秒で2つの深度平面を生成するように構成され得る。
図13は、図12に関連して論じられる構成等のハイブリッドARシステムが、ユーザに対して側方に平行移動させられ得る、互に関連した2つの深度平面を生成する方法を図示する。図13は、ARシステム(1302)およびARシステム(1302)のユーザによって視認される2つの深度平面(1304)を図示する。図示される実施形態では、2つの深度平面(1304)は、互に固定された距離内で生成され、2つの深度平面(1304)は、ある範囲(1306)内でz方向に側方に平行移動させられ得る。
前述のように、単一の深度平面ではなく、2つの深度平面(1304)を生成することは、単一の深度平面を生成する場合の眼追跡サブシステム(820)における誤差またはVFEの精度を補償し得る。ここでは、所望の深度平面の近似場所が、眼追跡システム(820)を通して決定されると、2つの深度平面は、互に近接近して(例えば、互に関連して固定された距離)作成される。
さらに別の実施形態では、1つ以上のレンズとともにVFEを使用して、複数の深度平面を生成する代わりに、深度平面は、深度平面情報とともに埋め込まれる体積位相ホログラムまたは導波管の使用を通して同様に生成され得る。言い換えると、回折パターン、すなわち、回折光学要素(DOE)が、コリメートされたビームが平面導波管に沿って全内部反射されるにつれて、複数の場所で回折パターンに交差するように、平面導波管内に埋め込まれ得る。
ここで図14を参照すると、各々がそれぞれの導波管内に埋め込まれた異なるDOEを有する導波管(1450)のスタックが、さらに詳細に説明される。導波管のスタック(1450)は、6つの導波管を備え、各々は、各導波管のための別個のDOE(1460a−1460f)および内部結合格子(1452)を有する。導波管の各々は、光を異なる深度平面に回折させる異なるDOEパターンを備えている。
内部結合格子は、導波管(例えば、1460a−1460f)における開口部を指し、それを通して空間光変調器からの光が投入される。図14に示されるように、投入された光は、全内部反射を通して各導波管を通って進行し、異なる角度で異なる場所において導波管の各々における埋め込まれた回折パターンと交差する。この光の一部は、次いで、図15に示されるように、導波管を通してユーザの眼の中に伝送される。
導波管の各々は、埋め込まれた回折パターンに基づいて、異なって光を回折させ得ることを理解されたい。例えば、第1のDOE(1460a)を有する導波管は、内部結合格子(1452)を通して導波管(1460a)の中に投入された任意の画像に関連付けられた光をコリメートし得る。第2のDOE(1460f)を有する別の導波管は、光を1ジオプトリーに対応する深度平面に発散させるように構成され得る。さらに別のDOE(1460e)を有するさらに別の導波管は、光を2ジオプトリーに対応する深度平面に発散させるように構成される等。図14に示されるように、導波管(1460f)から出射する光は、導波管(1460e)から出射する光と比較して、異なる角度に対応する。したがって、導波管内に埋め込まれた種々のDOEは、可変角度で光を放出し、次いで、異なる深度平面から生じているようにユーザによって知覚される。
前述のシステムと比較して、図14のARシステム(1400)との間の重要な差異は、導波管の各々におけるDOEがVFEとしての役割を果たし、それによって、別個のVFEの必要性を取り除くことであることを理解されたい。したがって、有利には、画像スライス(または平面)は、所望の深度平面を生成するために、適切な導波管にフィードされ得る。
例えば、導波管のスタックの第1の導波管は、コリメートされた光を眼に送達するように構成される第1の回折パターンを有し得、これは、光学無限深度平面を表し得る。別の導波管は、1メートルの距離から生じているように見えるように投入された光を送達するように構成され得る。さらに別の導波管は、2メートルの距離から生じているように見えるように投入された光を送達するように構成され得る。スタックされた導波管アセンブリを使用することによって、複数の深度平面が、作成され得、各導波管は、画像を特定の深度平面で表示するように構成されることを理解されたい。任意の数の導波管/ホログラムが使用され得るが、以下の議論は、6つの深度平面を生成するように構成される6つのスタックされたホログラムに焦点を当てることを理解されたい。言い換えると、異なる深度平面状態間で焦点を迅速に切り替えるVFEを使用するのではなく、導波管自体が、VFEとして役立ち、光は、所望の焦点深度に応じて、1つ(またはそれを上回る)導波管の中に投入される。
スタックされた導波管はさらに、1つ以上の導波管がオンもしくはオフにされ得るよう動的であるように構成され得ることを理解されたい。一実施形態では、回折光学要素を有する1つ以上の導波管は、回折光学要素が能動的に回折させる、「オン」状態と、回折光学要素が有意に回折させない、「オフ」状態との間で切り替え可能である。例えば、切り替え可能DOE導波管は、ポリマーが分散された液晶の層を備え得、その中で、微小液滴が、ホスト媒体中に回折パターンを構成し、微小液滴の屈折率は、ホスト材料の屈折率と実質的に合致するように切り替えられることができる(その場合、パターンは、入射光を著しく回折させない)。別の実施形態では、微小液滴は、ホスト媒体のものに合致しない率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折させる)。回折光学要素を有する導波管についてのさらなる詳細は、代理人事件番号ML20011.00の下で2014年11月27日に出願され、「VIRTUAL AND AUGUMENTED REALITY SYSTEMS AND METHODS」と題された米国特許出願第14/555,585号に説明される。
ここで図15を参照すると、埋め込まれた回折誘導要素のスタックを使用する、ARシステム(1400)の例示的実施形態が、ここで説明される。ARシステム(1400)は、概して、プロセッサ(1402)(例えば、追加の構成要素:メモリ(1412)、GPU(1412)、CPU(1416)等も備えている)と、少なくとも1つのFSD(1420)と、FSD回路(1410)と、結合光学(1422)と、回折要素を有する少なくとも一組のスタックされた導波管(1430)とを含む。システム(1400)は、(随意に)眼追跡サブシステム(1450)を含み得る。
ARシステム(1400)の構成要素の多くは、前述のARシステム(500)および(800)に類似し、したがって、繰り返されない。前述のように、プロセッサ(1402)は、図15に示されるように、1つ以上の画像平面を、FSD回路(1420)であり得る空間光変調器に提供する。図示される実施形態では、1つの眼につき1つのFSD(1420)が、使用される。FSD(1420)は、FSD(1420)の機能を促進する、FSD回路(1410)とやりとりする。
他の実施形態は、1つの眼につき複数のFSD(例えば、各導波管に対して1つ)を有し得るが、以下の開示は、図15の例示的実施形態に焦点を当てるであろうことを理解されたい。図示される実施形態は、FSDを空間光変調器として使用するが、任意の他の空間光変調器(例えば、DLP、OLED、LCD、LCOS等)も同様に、使用され得る。
FSD(1420)は、多くの他の空間光変調器と比較して、コンパクトであり、高分解能を有することを理解されたい。したがって、ARシステムの装着式バージョンにおいて有意な有用性を有し得る。そのコアに、FSD(1420)は、画像を送達するために、迅速に振動し、種々のパターンを作成する1つ以上の光ファイバを含む。
1つ以上の実施形態では、FSD(1420)は、単一の光ファイバを備え、または、他の実施形態では、光を複数のチャネルに分割し得る複数の光ファイバを備え得る。そのような実装では、光ファイバは、交互先端、または斜端もしくは研磨先端を有し、光を曲げ、チャネル間に及ぶ光学を減少させ得る。光ファイバは、便利に、リボンケーブルとしてパッケージ化され得る。好適な光学は、チャネルの各々によって生成されるそれぞれの画像の共役を生成し得る。FSD(1420)は、前述のFSD回路(1410)内に、圧電変換器(1438)、および圧電変換器の周りに放射状に配置された一組の電極(図示せず)を含む。
例えば、フレームバッファを介して、圧電変換器に関連付けられたそれぞれの電極に制御信号を印加することは、光ファイバの正面または近位端を発振もしくは振動させ得る。振動のサイズは、任意のまたは種々の少なくとも2軸方向パターンを得るために、印加される駆動信号を介して制御され得る。作成されるパターンは、ラスター走査パターン、渦巻走査パターン、螺旋走査パターン、またはリサージュもしくは図8の走査パターンであり得る。
マルチコアファイバが、表示分解能向上(すなわち、より高い分解能)における役割を果たすように構成され得る。例えば、一実施形態では、別個のピクセルデータが、マルチコアファイバ内の19本のコアの密集束を辿って送信され、そのクラスタが、マルチコアの直径にほぼ等しい渦間のピッチを伴う疎らな渦巻パターンで走査される場合、その周囲の掃引は、同様に周囲を走査される単一のコアファイバの分解能の約19倍である表示分解能を効果的に作成するであろう。
実際、ファイバを互に対してより疎らに位置付けさせることは、効率的タイリング/六角形パターンであるので、より実践的であり得る。例えば、各々が導管内に格納される3本のファイバの19のクラスタ(構成は、拡大または縮小される)等、他のパターンまたは数も、利用され得る。疎らな構成では、マルチコアの走査は、コアが全て緊密に一緒にまとめられ、走査される構成(コアは、走査と重複する結果となる。すなわち、コアが互に近すぎる場合、コアの開口数(「NA」)は、十分に大きくはなく、非常に密接してまとめられたコアは、一緒に幾分ぼやけ、表示のためのスポットを判別可能に作成しない結果となる)とは対照的に、それ自身の局所領域を通してコアのそれぞれを走査する。したがって、分解能増加のために、非常に高密度のタイリングではなく、疎らなタイリングを有することが好ましくあり得る。FSDの機能についてのさらなる詳細は、米国特許出願第14/555,585号に説明される。
したがって、FSD(1420)およびFSD回路(1410)は、高分解能ならびに輝度を伴う、コンパクトな空間光変調器として使用され得る。小スポットサイズに起因して、FSDは、典型的には、入射瞳エキスパンダまたは直交瞳エキスパンダ(図示せず)のような瞳エキスパンダに結合されることを理解されたい。本実施形態は、空間光変調器がFSDであるように説明するが、他の実施形態は、同様に、任意の他の空間光変調器(例えば、DLP、LCD、OLED、LCOS等)を使用し得ることを理解されたい。
図15に示されるように、ARシステム(1400)は、FSD(1420)からの光を導波管アセンブリ(1430)に向かわせるための結合光学(1422)も備えている。結合光学(1422)は、光を導波管アセンブリ(1430)の中に向かわせるために使用される1つ以上の従来のレンズを指し得る。1つ以上の実施形態では、切り替え要素(図示せず)が含まれ得、それは、光を導波管アセンブリ(1430)の特定の導波管に切り替え可能に向かわせる。
導波管アセンブリ(1430)は、次いで、図14に示されるように、画像を所望の深度平面に投影するように構成される。ARシステム(1400)は、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される眼追跡サブシステム(1450)も含み得る。
一実施形態では、特定のDOE格子を有する1つのみの導波管が、眼追跡サブシステム(1450)からの入力に基づいて、オンにされ得る。他の実施形態では、それぞれのDOE格子を有する複数の導波管が、以下に論じられるように、同時にオンにされ得る。
一実施形態では、ARシステム(1400)は、前述のARシステム(600)のように、多平面焦点システムとして機能し得る。言い換えると、全6つのDOE要素(例えば、導波管アセンブリ(1430)の全6つの導波管)が、6つの固定された深度平面が迅速に連続して生成されるように、同時にオンにされ得、FSD(1420)は、画像情報を導波管1、次いで、導波管2、次いで、導波管3等に迅速に伝達する。
例えば、光学無限における空の画像を含む所望の画像の一部が、時間1において投入され得、光のコリメーションを保持する回折格子が、利用され得る。次いで、より近い木の枝の画像が、時間2において投入され得、10メートル離れた深度平面を作成するように構成されるDOEが、利用され得る。次いで、ペンの画像が、時間3において投入され得、1メートル離れた深度平面を作成するように構成されるDOEが、利用され得る。この種類の例は、眼/脳が同一画像の全部分であるよう入力を知覚し、かつ複数の画像平面/スライスがユーザによってほぼ同時に知覚されるように、高速時間順次方式で繰り返されることができる。
前述のように、スタックされた構成(1430)は、動的導波管(静的導波管およびレンズではなく)を利用し、多平面焦点合わせを同時に提供し得る。例えば、3つの同時焦点面の場合、一次焦点平面(例えば、測定された眼遠近調節に基づく)が、ユーザに提示され得、かつ+マージンおよび−マージン(すなわち、1つは、より近い、1つは、より遠い焦点面)が、大焦点範囲を提供するために利用され得、ユーザは、平面が更新されることが必要となる前に、遠近調節することができる。この焦点範囲の増加は、ユーザがより近いまたはより遠い焦点(すなわち、遠近調節測定によって決定されるように)に切り替える場合、時間的利点を提供することができる。次いで、新しい焦点の平面が、ARシステムが遠近調節における変化を補正する間、いずれか一方に切り替わる+および−マージンとともに、中央焦点深度であるように作製され得る。
しかしながら、このシナリオは、FSD(1420)が、複数の導波管の中に投入されるべき異なる画像/画像の一部を迅速に生成するために十分に高速に動作可能であることを前提とする。別の実施形態(図示せず)では、それぞれの回折要素を有する導波管の各々は、別個のFSD(例えば、各々が光を特定の深度平面に対応するそれぞれの導波管上に投入する6つの異なるFSD)を通して光を受信し得る。
言い換えると、各FSDは、DOE1に、空の画像を搬送するFSD1からの光が投入され、DOE2に、木の枝の画像を搬送するFSD2からの光が投入された、DOE3に、ペンの画像を搬送するFSD3からの光が投入される等となるように、合理的速度で動作する。したがって、複数のFSDを有することによって、導波管の全6つの中にフィードされるべき(および、それぞれの導波管に切り替えられるべき、または向かわせられるべき)全画像を迅速に生成する単一のFSDの代わりに、各FSDは、その画像に関連付けられた光をそのそれぞれの導波管にのみ投入するために十分な合理的速度でのみ動作する必要がある。しかしながら、このアプローチは、光学視点から理想的であるが、コンパクトな装着式ARシステム上に実装するには扱いにくいことが分かり得る。
この目的を達成するために、眼追跡システム(1450)は、所望の深度平面(または平面)がユーザの焦点深度と一致するように利用され得る。本実施形態は、前述の可変平面焦点システム(例えば、図11)と幾分類似して機能する。ARシステム(1400)の文脈では、眼追跡システム(1450)からの入力に基づいて、特定の導波管が、画像がユーザの焦点と一致する所望の深度平面に生成されるように、オンにされ得る。
例えば、ユーザの眼が互に平行である(すなわち、無限遠で焦点を合わせられる)ことが決定される場合、ARシステムは、仮想画像がユーザの焦点の現在の状態と一致する光学無限に見えるように、コリメートされた光をユーザの眼に送達するように構成されるDOEを有する導波管をオンにし得る。別の実施例では、眼追跡サブシステム(1450)が、ユーザの眼が1メートルの距離にある焦点に発散していると決定する場合、ほぼその範囲内に焦点を合わせるように構成される別のDOEを有する、別の導波管が、代わりに、オンにされ得る。この特定の実施形態では、1つのみの導波管が、任意の所与の時間でオンにされる(例えば、フレームあたり)一方、DOEの残りは、オフにされることを理解されたい。
または、別の実施形態では、その対応する深度平面が一緒に近接して位置するDOEを有する、2つの導波管が、前述のハイブリッドARシステム(1200)と同様に、同時にオンにされ得る。
さらに別の実施形態では、ユーザの光学の視野を増加させるために、タイリングアプローチが採用され得、2つ(またはそれを上回る)の組のスタックされたDOE導波管が使用され、各々は、対応するFSD(または任意の他のタイプの空間光変調器)を有する。したがって、1組のスタックされた導波管および対応するFSDが、仮想コンテンツをユーザの眼の中心に送達するために使用され、別の組のスタックされた導波管および別の対応するFSDは、仮想コンテンツをユーザの眼の周縁に送達するために使用され得る。
前述と同様に、各導波管のスタックは、各々が6深度平面の各々のために異なるDOEを有する6つの導波管を備え得る。両スタックを一緒に使用することによって、ユーザの視野は、有意に増加させられる。さらに、DOEおよびFSDの2つの異なるスタックを有することは、仮想コンテンツがユーザの眼の中心に投影されることと比較して、若干異なる仮想コンテンツがユーザの眼の周縁に投影されるように、より柔軟性を与える。タイリングアプローチに関するさらなる詳細は、代理人事件番号ML30018下で同時に出願された米国仮特許出願第62/005,865号「Methods and systems for displaying stereoscopy with a freeform opticalsystem with addressable focus for virtual and augumented reality」に説明される。
スタックされたDOE/導波管は、加えて、入射瞳エキスパンダ(EPE)としても機能し、FSDの開口数を増加させることを理解されたい。FSDは、小直径/スポットサイズの光を生成するので、EPEは、ユーザの眼に到達するように、導波管内の光を拡張させる。ARシステム(1400)の他の実施形態では、システムはさらに、EPEに加え、直交瞳エキスパンダを備え、xおよびy方向の両方において光を拡張させ得る。EPEおよびOPEについてのさらなる詳細は、上記で参照された米国仮特許出願第61/909,174号および米国仮特許出願第62/005,807号に説明される。
他のタイプの瞳エキスパンダも同様に、FSD採用システムにおいて使用され得る。FSDは、高分解能、輝度をもたらし、コンパクトであるが、FSDは、小開口数(すなわち、小スポットサイズ)を有する傾向がある。したがって、FSDを空間光変調器として使用するシステムは、典型的には、本質的に、生成される光の開口数を増加させるように機能する、あるタイプの瞳エキスパンダを採用する。いくつかのシステムは、EPEおよび/またはOPEとして機能し、FSDによって生成される光の狭ビームを拡張させる、導波管を使用し得るが、他の実施形態は、拡散器を使用して、光の狭ビームを拡張させ得る。
1つ以上の実施形態では、拡散器は、ファイバの端部をエッチングし、光を散乱させる、わずかな領域を作成することによって作成され得る。別の変形例では、ビーズもしくはサンドブラスティング技法または直接サンディング/スカッフィング技法が、散乱領域を作成するために利用され得る。別の変形例では、回折要素と同様の設計された拡散器が、回折レンズ使用の概念に結び付く望ましいNAを伴うくっきりとしたスポットサイズを維持するように作成され得る。他の変形例では、PDLC拡散器のスタックが、FSDを通して生成される光の開口数を増加させるために使用され得る。
ARシステムのさらに別の実施形態では、FSDは、前述のARシステム(500)またはARシステム(800)に類似するシステム内で使用され得る。しかしながら、FSDの小スポットサイズに対応するために、システムはさらに、FSDを通して生成される光を拡張させる、一組のPDLC拡散器を備えている。
図16を参照すると、一組のPDLC拡散器を使用するARシステム(1500)(例えば、FSDを使用するARシステム(800))の例示的実施形態が、ここで説明される。ARシステムのこの特定の実施形態は、前述の可変平面焦点システム(例えば、ARシステム(800))の全構成要素、すなわち、画像生成プロセッサ(1502)(例えば、追加の構成要素:GPU(1524)、メモリ(1522)、CPU(1526)等を備えている)と、1つ以上のVFE(1510)と、複数のレンズ/光学要素およびミラー(1506)と、メニスカスレンズまたは接眼レンズ(1508)と、眼追跡サブシステム(1514)とを含む。システムは、FSD(1504)も備え、システムはさらに、スタックされたPDLC拡散器配置(1520)を含む。図示されないが、FSD(1504)は、図15に図示されるものと同様に、画像生成プロセッサ(1502)と通信するための標準的FSD回路(図示せず)および他の回路を備え得る。
スタックされたPDLC拡散器(1520)は、PDLC拡散器の1つ以上の層を備えている。PDLC拡散器(1520)のスタックの各PDLC拡散器は、VFE(1510)から生成される焦点を合わせられた光を拡散させ、生成される光ビームの開口数を増加させるように構成される。しかしながら、VFE(1520)がビームの焦点を合わせ得る場所を予測することは困難であり得る。したがって、単一PDLC拡散器を使用するのではなく、システムは、一組のスタックされたPDLC拡散器(1520)を含み、VFEが焦点を合わせ得るある範囲内で画像を拡張させる。PDLC拡散器(1520)のスタックは、PDLCのスタックの1つのみの層が任意の所与の時点(例えば、フレームあたり)でオンにされるように、動的にオンおよびオフにされ得ることを理解されたい。ARシステム(1500)の残りの構成要素は、前述のシステムに関して前述の構成要素と同様に機能し、簡略化目的のために、再び説明されない。
より具体的には、ここで図17を参照すると、小NAを有する光ビーム(1602)が、FSD(1504)によって出力され、所望に応じて、VFE(1510)によって焦点を合わせられる。焦点を合わせられた光は、図17に示されるように、特定のPDLC拡散器層(1520)に衝突し(図示される実施形態では、光は、第5のPDLC層に衝突し)、PDLC拡散器層は、次いで、エキスパンダ(例えば、EPE)としての役割を果たし、焦点を合わせられた光ビームの開口数を増加させる。焦点を合わせられ拡張された光ビームは、次いで、一組の光学レンズ/ミラー(1506)を通して進み、所望の焦点面に画像を生成する。各PDLC層は、電圧を特定のPDLC層に印加することによって変調され得る、拡散および透明モードの両方を有する。1つ以上の実施形態では、単一のPDLC層のみ、フレームあたり拡散モード下にある一方、残りの層は、透明モードにある。他の実施形態は、同時に、一度に(例えば、フレームあたり)2つ以上のPDLC層を起動し得る。
上記の場合のように、スタックされたPDLC層の数は、所望の深度平面の数に対応する(例えば、図17に示されるように、6つ)。光学システムの残り(レンズ、ビームスプリッタ等)は、前述の他のシステム(例えば、ARシステム(800))と同様に機能し、簡略化目的のために、再び説明されない。
一実施形態では、ARシステム(1500)は、VFEが固定された深度平面を作成し、それらの各々が対応するPDLC層によって適切に拡張されるように、ARシステム(500)と同様に、多平面焦点システムとして機能し得る。これは、画像情報を高フレームレートで生成するように構成されるFSD(例えば、図1の360HzDLPに類似する)と、異なる焦点面が高速で連続して作成されるように、焦点を迅速に切り替え可能である、VFE(例えば、ARシステム(500)の変形可能ミラー膜VFEに類似する)とを要求する。前述の要件の両方が満たされると仮定すると、システムは、多平面焦点システムとして機能し得、深度平面1が生成された後、深度平面2が続き、その後、深度平面3が続く等。これはまた、当然ながら、PDLCスタックが、高速VFEに遅れをとらないように種々の層をオンおよびオフに迅速に切り替え可能であることを前提とする。ARシステム(500)における場合のように、固定された深度平面は、ユーザが、複数の焦点面が同時に生成されているようにこれを知覚するように迅速に作成される。
しかしながら、図16に戻って参照すると、別の実施形態では、システムは、眼追跡サブシステム(1514)を使用し、ユーザの焦点を決定し、ユーザの焦点に一致するPDLC層のみをオンにし得る。したがって、このようなシステムは、前述のARシステム(800)と同様に、単一の深度平面のみが任意の所与の時点で作成されるように、可変平面焦点システムとして機能し得る。例えば、眼追跡サブシステム(1514)が、ユーザの眼が光学無限で焦点を合わせられていると決定したと仮定すると、VFE(1510)は、適宜、FSDによって生成される画像光ビームの焦点を合わせ得る。
この焦点を合わせられた光ビームは、次いで、拡張された光ビームを作成するようにスタックされたPDLC(1520)の特定の層に衝突し、これは、次いで、ユーザの眼に到達する前に、残りの光学を通して進む。したがって、可変焦点面様式で動作するとき、眼追跡サブシステムは、VFEから生じる焦点を合わせられた光ビームを適宜拡張させるためにオンにされるべきPDLC層の層を決定するために使用される。
説明される全ての種々のARシステムでは、VFEの速度および機能が、ユーザが仮想オブジェクトを3Dで知覚し得るように、1つ以上の深度平面を生成する効率に直接関連することは、明白である。ARシステム(500)において使用されるVFE(例えば、変形可能ミラー膜VFE)は、高速であり、迅速なペースで焦点を変化させることが可能であるが、前述のように、非常に薄くかつ脆弱であり、したがって、ARシステムの装着式バージョンにおいて使用されるときに課題を呈する。ARシステム(800)において使用されるVFEは、あまり脆弱ではないが、膜レンズVFEほど焦点の迅速な変化に対応可能ではなく、したがって、6つの深度平面ではなく、単一の深度平面の生成につながり、眼追跡システムの使用を要求する。
加えて、現在のVFEでは、典型的には、VFEが焦点を変更する間、遅れを生じさせる、整定時間が存在する。これは、部分的に、VFEが、性質上、弾性である傾向にあり、迅速なペースで焦点を変更するとき、空気/自然環境の存在下必然的に、移動または振動(例えば、1ミリ秒整定時間)し得るからであり得る。整定時間は、VFEの速度および効率に直接影響を及ぼし得る。したがって、高速変化可能であるが、過度に脆弱ではないVFEが、ARシステムにおいて有用であり得る。
この目的を達成するために、圧電材料によって駆動される機械的湿潤レンズVFEが、整定時間を短縮し、VFEの効率を増加させるために作成され得る。図18を参照すると、機械的湿潤レンズVFE(1700)は、シールされたレンズチャンバ(1702)と、異なる屈折率n1およびn2を含む2つの不混和性液体(1704)および(1706)と、第1の圧電リング(1708)と、第2の圧電リング(1710)とを含む。
シールされたレンズチャンバ(1702)は、不混和性液体(1704)および(1706)と圧電リング(1708)および(1710)とを保持する。1つ以上の実施形態では、シールされたレンズチャンバ(1702)は、機械的湿潤レンズ(1700)が外側環境によって最小限の影響を受けるように、空気が全くない。不混和性液体(1704)および(1706)は、その不混和性とそれらのそれぞれの屈折率n1およびn2とに基づいて、選択され得る。選定される液体のタイプは、VFE(1700)の用途に基づいて、変動し得る。
図18に示されるように、液体(屈折率n1およびn2を有する)間の界面は、所望に応じて、焦点を合わるようにさせられ得る光学表面または光学界面(VFE)(1720)として機能する。言い換えると、光学界面(1720)自体が、VFEとして機能し、圧電リングを通して異なる程度の圧力を加えることによって、焦点を迅速に切り替えるために使用され得る。
図示されるように、光学表面(1720)の形状は、対の圧電リング(1708)および(1710)を通して圧力を加えることによって、変動させられ得る。不混和性液体の体積が一定のままであるとすると、光学界面(1720)の形状(例えば、曲率)は、圧電リングのサイズが変更されると、必然的に変化する。圧電リング(1708)および(1710)のサイズの変化は、液体n1およびn2の分布を変化させ、それによって、液体界面の曲率を変化させる。したがって、圧電リング(1708)および(1710)を制御することによって、光学表面(1720)の曲率は、所望に応じて、変動させられ得る。
例えば、図18に示されるように、左側では、圧電リング(1710)のサイズは、圧電リング(1708)より大きい。したがって、液体n2は、押し上げられ、光学表面(1720)に曲率をもたらす。同様に、右側では、圧電リング(1708)のサイズが増加させられる一方、(1710)は、小さいままである。したがって、液体n1は、押し下げられ、光学表面(1720)の反対曲率をもたらす。
さらに別の実施形態では、2つの圧電リング(例えば、図18)を使用するのではなく、機械的湿潤レンズVFEの別の実施形態(1800)が、代わりに、図19に示されるように、単一のリングベンダー(1840)を使用し得る。図19を参照すると、不混和性液体n1およびn2は、同様に、リングベンダー(1840)によって分離される。しかしながら、圧電リングのサイズを増加させるのではなく、リングベンダーは、種々の程度に曲げられ、光学表面(1820)の曲率を変化させ得る。例えば、左側では、リングベンダー(1840)は、リングの内側部分が押し下げられるように曲げられる。これは、液体n2に光学表面(1820)を押し上げさせ、図19の左側に示されるような曲率をもたらす。同様に、右側では、リングベンダー(1840)が、リングの外側部分が押し下げられるように曲げられると、液体n1は、光学表面を押し下げ、図19の右側に示されるような異なる曲率をもたらす。機械的湿潤レンズVFE(1700または1800)は、標準的VFE(例えば、ARシステム(500)、ARシステム(800)、ハイブリッドシステム(1200)、またはARシステム(1500))の代わりに、前述のARシステムのいずれかにおいて使用され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、本発明のより広範な精神および範囲から逸脱することなく、種々の修正ならびに変更がそこに行われ得ることは明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明されている。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更され得る。本明細書および図面は、故に、制限的意味ではなく、例証的意味におけるものであると見なされる。
種々の本発明の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、均等物が置換され得る。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われ得る。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例の各々は、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、個別の構成要素および特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。
本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含み得る。そのような提供は、エンドユーザによって行われ得る。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に行動することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行され得る。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような追加の行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、均等物(本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと)が置換され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
さらに、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「1つの(「a」、「an」)」、「該(said)」、および「前記(the)」という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、対象アイテムの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および均等物等の排他的用語の使用、または「否定的」制限の使用のために、先行の基礎としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および/または対象の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。
例証される実施形態の上記の説明は、排他的であること、または実施形態を開示される精密な形態に限定することを意図するものではない。具体的実施形態および実施例が、例証目的のために本明細書に説明されているが、種々の同等修正が、当業者によって認識されるであろうように、本開示の精神および範囲から逸脱することなく、行われることができる。種々の実施形態の本明細書に提供される教示は、必ずしも、概して上記に説明される例示的ARシステムではなく、仮想またはARもしくはハイブリッドシステムを実装する、および/またはユーザインターフェースを採用する、他のデバイスにも適用されることができる。
例えば、前述の詳細な説明は、ブロック図、概略図、および実施例の使用を介して、デバイスおよび/またはプロセスの種々の実施形態を記載している。そのようなブロック図、概略図、および実施例が、1つ以上の機能および/もしくは動作を含む限り、そのようなブロック図、フロー図、または実施例内の各機能および/もしくは動作は、実装される、個々におよび/または集合的に、広範囲のハードウェア、ソフトウェア、ファームウェア、または事実上任意のそれらの組み合わせによって実装され得ることが、当業者によって理解されるであろう。
一実施形態では、本主題は、特定用途向け集積回路(ASIC)を介して実装され得る。しかしながら、当業者は、本明細書に開示される実施形態は、全体的または部分的に、1つ以上のコンピュータによって実行される1つ以上のコンピュータプログラムとして(例えば、1つ以上のコンピュータシステム上で起動する1つ以上のプログラムとして)、1つ以上のコントローラ(例えば、マイクロコントローラ)によって実行される1つ以上のプログラムとして、1つ以上のプロセッサ(例えば、マイクロプロセッサ)によって実行される1つ以上のプログラムとして、ファームウェアとして、もしくは事実上任意のそれらの組み合わせとして、標準的集積回路内に同等に実装されることができ、ソフトウェアおよび/またはファームウェアのための回路の設計ならびに/もしくはコードの書き込みが、本開示の教示に照らして、十分に当業者の技術の範囲内にあるであろうことを認識するであろう。
論理が、ソフトウェアとして実装され、メモリ内に記憶されると、論理または情報は、任意のプロセッサ関連システムまたは方法による使用もしくはそれと関連した使用のために、任意のコンピュータ読み取り可能な媒体上に記憶されることができる。本開示の文脈では、メモリは、コンピュータおよび/またはプロセッサプログラムを含有もしくは記憶する、電子、磁気、光学、または他の物理的デバイスもしくは手段である、コンピュータ読み取り可能な媒体である。論理および/または情報は、命令実行システム、装置、もしくはデバイスから命令をフェッチし、論理および/または情報に関連付けられた命令を実行することができる、コンピュータベースのシステム、プロセッサ含有システム、または他のシステム等の命令実行システム、装置、またはデバイスによる使用もしくはそれと関連した使用のために、任意のコンピュータ読み取り可能な媒体において具現化されることができる。
本明細書の文脈では、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置、および/またはデバイスによる使用もしくはそれと関連した使用のために、論理および/または情報に関連付けられたプログラムを記憶し得る、任意の要素であることができる。コンピュータ読み取り可能な媒体は、例えば、限定ではないが、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであることができる。コンピュータ読み取り可能な媒体のより具体的実施例(非包括的リスト)として、ポータブルコンピュータディケット(磁気、コンパクトフラッシュ(登録商標)カード、セキュアデジタル、または均等物)、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM、EEPROM、またはフラッシュメモリ)、ポータブルコンパクトディスク読み取り専用メモリ(CDROM)、デジタルテープ、および他の非一過性媒体が挙げられるであろう。
本明細書に説明される方法の多くは、変形例とともに行われることができる。例えば、方法の多くは、追加の行為を含む、いくつかの行為を省略する、および/または例証もしくは説明されるものと異なる順序で行い得る。
上記の種々の実施形態を組み合わせてさらなる実施形態を提供することができる。本明細書中において言及した、および/または出願データシートに列挙した米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願および非特許刊行物は全て、本明細書の具体的教示および定義に矛盾しない限り、それらの全体が引用により本明細書に組み入れられる。上記実施形態の態様は、なおさらなる実施形態を提供するために、種々の特許、出願、および刊行物のシステム、回路、および概念を利用することが必要である場合には、改変することができる。
これらおよび他の変更は、上記の詳細な説明を参照して複数の実施形態について行うことができる。一般的には、以下の特許請求の範囲の中で使用される用語は、本明細書および特許請求の範囲の中で開示される特定の実施形態に特許請求の範囲を限定するように解釈されるべきものではなく、むしろ、そのような特許請求の範囲が得る均等物の完全な範囲とともに、全ての可能な実施形態を含むと解釈されるべきである。したがって、特許請求の範囲は、本開示により限定されない。
さらに、上記で説明される種々の実施形態は、さらなる実施形態を提供するように組み合わせることができる。その上さらなる実施形態を提供するために、種々の特許、出願、および出版物の概念を採用するように、必要であれば、実施形態の側面を修正することができる。
これらおよび他の変更が、上記に詳述される説明に照らして、実施形態に成されることができる。概して、以下の請求項では、使用される用語は、請求項を、本明細書および請求項で開示される具体的実施形態に限定するように解釈されるべきではないが、そのような請求項が権利を持つ均等物の全範囲とともに、全ての可能な実施形態を含むように解釈されるべきである。故に、請求項は、本開示によって限定されない。

Claims (52)

  1. 拡張現実を表示する方法であって、
    画像データの第1のフレームに関連付けられた光を投影することと、
    前記画像データの第1のフレームに関連付けられた光の焦点を第1の深度平面に合わせることと、
    画像データの第2のフレームに関連付けられた光を投影することと、
    前記画像データの第2のフレームに関連付けられた光の焦点を第2の深度平面に合わせることと
    を含み、
    前記第1の深度平面は、前記第2の深度平面と異なり、前記第1の深度平面および前記第2の深度平面は、ユーザによって視認される場合、同時に知覚される、方法。
  2. 前記ユーザの眼の両眼離反運動を追跡することをさらに含み、前記光は、少なくとも部分的に前記追跡された両眼離反運動に基づいて、焦点を合わせられる、請求項1に記載の方法。
  3. 前記第1の深度平面は、z方向に前記ユーザから離れた第1の距離に対応し、前記第2の深度平面は、前記z方向に前記ユーザから離れた第2の距離に対応し、前記第1の深度平面と前記第2の深度平面との間の間隙は、経時的に不変のままである、請求項1に記載の方法。
  4. 画像データの第3のフレームに関連付けられた光を投影することと、
    前記画像データの第3のフレームに関連付けられた光の焦点を前記第1の深度平面に合わせることと
    をさらに含む、請求項2に記載の方法。
  5. 前記第1の深度平面は、光学無限に対応する、請求項2に記載の方法。
  6. 前記画像データの第1のフレームおよび前記画像データの第2のフレームは、連続フレームである、請求項2に記載の方法。
  7. 前記画像データの第1および第2のフレームの焦点は、フレーム毎に変動させられる、請求項2に記載の方法。
  8. 前記焦点を合わせられた光をユーザの眼に送達することをさらに含む、請求項2に記載の方法。
  9. 前記画像データの第1および第2のフレームは、3次元場面のスライスを備えている、請求項2に記載の方法。
  10. 前記画像データの第1および第2のフレームは、時系列様式で提供される、請求項2に記載の方法。
  11. 前記第1の深度平面は、光学無限に対応し、前記第2の深度平面は、光学無限より近い深度平面に対応する、請求項2に記載の方法。
  12. 前記投影された光は、可変焦点要素を通して焦点を合わせられる、請求項2に記載の方法。
  13. 前記可変焦点要素は、変形可能膜ミラーである、請求項12に記載の方法。
  14. 拡張現実を表示する方法であって、
    ユーザの眼の焦点を決定することと、
    画像データのフレームに関連付けられた光を投影することと、
    少なくとも部分的に前記決定されたユーザの眼の焦点に基づいて、前記画像データのフレームに関連付けられた光の焦点を合わせ、深度平面を生成することと、
    少なくとも部分的に前記ユーザの眼の焦点の変化に基づいて、前記深度平面をある範囲内でz方向に移動させることと
    を含む、方法。
  15. 少なくとも部分的に前記深度平面が生成される距離に基づいて、前記画像データの第1のフレーム内の1つ以上の仮想オブジェクトをぼかすことをさらに含み、前記1つ以上の仮想オブジェクトは、前記深度平面と比較して異なる深度に対応する、請求項14に記載の方法。
  16. 前記光は、空間光変調器を通して投影される、請求項14に記載の方法。
  17. 前記空間光変調器は、DLPを備えている、請求項16に記載の方法。
  18. 前記DLPは、約120Hzのパワーで動作する、請求項17に記載の方法。
  19. 画像データの複数のフレームが、前記深度平面に投影され、前記画像データの複数のフレームのフレームのうちの1つの少なくとも一部は、ぼかされる、請求項15に記載の方法。
  20. 前記深度平面は、少なくとも部分的に可変焦点要素(VFE)を通して生成される、請求項14に記載の方法。
  21. 前記VFEは、光屈折膜レンズを備えている、請求項20に記載の方法。
  22. 前記空間光変調器は、高リフレッシュレートディスプレイである、請求項16に記載の方法。
  23. 一組の光学要素を通して前記光を前記ユーザの眼に送達することをさらに含む、請求項14に記載の方法。
  24. 前記画像データのフレームは、少なくとも3次元場面のスライスを備えている、請求項14に記載の方法。
  25. 画像データの1つ以上のフレームが、時系列様式で提供される、請求項24に記載の方法。
  26. 拡張現実を表示する方法であって、
    画像データの第1のフレームに関連付けられた光を投影することと、
    導波管のスタックの第1の導波管において、前記画像データの第1のフレームに関連付けられた前記投影された光を受信することであって、前記第1の導波管は、第1の回折光学要素を備えている、ことと、
    前記画像データの第1のフレームに関連付けられた前記投影された光を修正することと、
    前記修正された光をユーザの眼に送達することであって、前記画像データの第1のフレームに関連付けられた前記修正された光は、第1の深度平面で知覚される、ことと
    を含む、方法。
  27. 画像データの第2のフレームに関連付けられた光を投影することと、
    前記導波管のスタックの第2の導波管において、前記画像データの第2のフレームに関連付けられた前記投影された光を受信することであって、前記第2の導波管は、第2の回折光学要素を備えている、ことと、
    前記画像データの第2のフレームに関連付けられた前記投影された光を修正することと、
    前記修正された光をユーザの眼に送達することであって、前記画像データの第2のフレームに関連付けられた前記修正された光は、第2の深度平面で知覚される、ことと
    をさらに含む、請求項26に記載の方法。
  28. 前記第1の深度平面は、前記第2の深度平面と異なる、請求項27に記載の方法。
  29. 前記第1の深度平面および前記第2の深度平面は、同時に知覚される、請求項27に記載の方法。
  30. 前記ユーザの眼の両眼離反運動を追跡することと、
    前記追跡された両眼離反運動に基づいて、前記ユーザの眼の遠近調節を決定することと
    をさらに含む、請求項26に記載の方法。
  31. 前記導波管のスタックの前記第1の導波管は、少なくとも部分的に前記決定された遠近調節に基づいて、選択される、請求項30に記載の方法。
  32. 前記導波管のスタックは、6つの導波管を備えている、請求項26に記載の方法。
  33. 前記投影された光の修正は、光線が前記ユーザの眼に衝突する角度を変えることを含む、請求項26に記載の方法。
  34. 前記投影された光の修正は、前記光線をコリメートすることを含み、前記コリメートされた光線は、光学無限として知覚される、請求項26に記載の方法。
  35. 前記投影された光の修正は、発散光線を送達することを含み、前記発散光線は、光学無限より近い距離で知覚される、請求項26に記載の方法。
  36. 前記導波管のスタックの導波管をフレーム毎に選択することをさらに含む、請求項26に記載の方法。
  37. 前記画像データの1つ以上のフレームが、3次元場面のスライスを備えている、請求項26に記載の方法。
  38. 前記画像データの1つ以上のフレームが、時系列様式で提供される、請求項26に記載の方法。
  39. 方法であって、
    第1の屈折率を有する第1の不混和性液体および第2の屈折率を有する第2の不混和性液体を備えているシールレンズチャンバを提供することと、
    前記第1の不混和性液体と前記第2の不混和性液体との間に光学界面を作成することと、
    前記第1の不混和性液体と前記第2の不混和性液体との間の前記光学界面の曲率を修正することと
    を含む、方法。
  40. 前記光学界面は、レンズとして機能し、前記光学界面は、前記レンズの焦点を変動させるように可変的に修正される、請求項39に記載の方法。
  41. 前記曲率は、前記シールされたレンズチャンバの半分に圧力を加えることによって修正され、前記半分は、前記第1の不混和性液体または前記第2の不混和性液体のいずれかを格納している、請求項39に記載の方法。
  42. 前記曲率は、前記第1の不混和性液体と第2の不混和性液体との間に部分的障壁を形成するリングベンダーに圧力を加えることによって修正される、請求項39に記載の方法。
  43. 前記シールされたレンズチャンバは、空気がない、請求項39に記載の方法。
  44. 第1の光学界面が、第1の焦点に対応する、請求項39に記載の方法。
  45. 第2の光学界面が、第2の焦点に対応する、請求項39に記載の方法。
  46. 前記第1の焦点は、第1の深度平面を生成する、請求項39に記載の方法。
  47. 前記第2の焦点は、第2の深度平面を生成する、請求項39に記載の方法。
  48. 前記第1の不混和性液体の体積は、一定のままである、請求項39に記載の方法。
  49. 前記第2の不混和性液体の体積は、一定のままである、請求項39に記載の方法。
  50. 前記曲率は、前記シールされたレンズチャンバの半分に機械的手段によって圧力を加えることによって修正され、前記半分は、前記第1の不混和性液体または前記第2の不混和性液体のいずれかを格納している、請求項39に記載の方法。
  51. 前記方法ステップを実装するための手段を有するシステムとして実装される、請求項1−50に記載の方法。
  52. 前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、請求項1−50に記載の方法。
JP2016570027A 2014-05-30 2015-05-29 仮想および拡張現実における焦点面を作成する方法およびシステム Active JP6704353B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019195867A JP6921161B2 (ja) 2014-05-30 2019-10-29 仮想および拡張現実における焦点面を作成する方法およびシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462005834P 2014-05-30 2014-05-30
US62/005,834 2014-05-30
PCT/US2015/033416 WO2015184412A1 (en) 2014-05-30 2015-05-29 Methods and system for creating focal planes in virtual and augmented reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019195867A Division JP6921161B2 (ja) 2014-05-30 2019-10-29 仮想および拡張現実における焦点面を作成する方法およびシステム

Publications (2)

Publication Number Publication Date
JP2017522587A true JP2017522587A (ja) 2017-08-10
JP6704353B2 JP6704353B2 (ja) 2020-06-03

Family

ID=54699942

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016570027A Active JP6704353B2 (ja) 2014-05-30 2015-05-29 仮想および拡張現実における焦点面を作成する方法およびシステム
JP2019195867A Active JP6921161B2 (ja) 2014-05-30 2019-10-29 仮想および拡張現実における焦点面を作成する方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019195867A Active JP6921161B2 (ja) 2014-05-30 2019-10-29 仮想および拡張現実における焦点面を作成する方法およびシステム

Country Status (10)

Country Link
US (3) US10234687B2 (ja)
EP (2) EP3149528B1 (ja)
JP (2) JP6704353B2 (ja)
KR (1) KR102225563B1 (ja)
CN (2) CN112987307B (ja)
AU (1) AU2015266585B2 (ja)
CA (2) CA3114696A1 (ja)
IL (3) IL296027B2 (ja)
NZ (3) NZ764952A (ja)
WO (1) WO2015184412A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161745A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 プロジェクター及びプロジェクターシステム
KR20190079396A (ko) * 2017-12-27 2019-07-05 한국광기술원 스테레오스코픽 환경에서의 초점조절능 판별시스템
JP2019531500A (ja) * 2016-08-12 2019-10-31 オプトチューン アクチェンゲゼルシャフト 浸漬されたレンズ整形器を用いた調整可能非円形流体レンズ
KR20200018180A (ko) * 2018-08-10 2020-02-19 삼성전자주식회사 초점 변조 광학계 및 이를 포함한 홀로그래픽 디스플레이 장치
JP2021516358A (ja) * 2018-03-05 2021-07-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 低遅延瞳孔トラッカーを伴うディスプレイシステム
JP2021516781A (ja) * 2018-03-22 2021-07-08 ライトスペース テクノロジーズ, エスアイエーLightspace Technologies, Sia 3次元画像を表示するニアアイディスプレイ装置および方法
US11300791B2 (en) 2019-08-21 2022-04-12 Magic Leap, Inc. Flat spectral response gratings using high index materials
JP2023515205A (ja) * 2020-02-28 2023-04-12 北京七▲しん▼易維信息技術有限公司 表示方法、装置、端末機器及びコンピュータプログラム
US11815742B2 (en) 2017-11-05 2023-11-14 Optotune Ag Tunable non-round spectacles with immersed lens shaper

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3712680B1 (en) 2014-01-31 2022-07-13 Magic Leap, Inc. Multi-focal display system and method
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
AU2015266670B2 (en) 2014-05-30 2019-05-09 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP3149528B1 (en) 2014-05-30 2023-06-07 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
EP3179289B1 (en) * 2015-12-08 2021-08-11 Facebook Technologies, LLC Focus adjusting virtual reality headset
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
US10877438B2 (en) 2016-01-07 2020-12-29 Magic Leap, Inc. Dynamic fresnel projector
JP6894904B2 (ja) * 2016-01-07 2021-06-30 マジック リープ, インコーポレイテッドMagic Leap,Inc. 深度平面にわたって分配される等しくない数の成分色画像を有する仮想および拡張現実システムおよび方法
IL312473A (en) * 2016-02-11 2024-07-01 Magic Leap Inc Multi-depth planar display system with limited change between depth planes
EP3423877B1 (en) 2016-02-29 2022-10-26 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR20180117181A (ko) * 2016-03-01 2018-10-26 매직 립, 인코포레이티드 상이한 파장들의 광을 도파관들로 입력하기 위한 반사성 스위칭 디바이스
KR20230109789A (ko) 2016-03-04 2023-07-20 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
WO2017165848A1 (en) * 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
WO2018039277A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Diffractive eyepiece
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
WO2018156523A1 (en) 2017-02-21 2018-08-30 Oculus Vr, Llc Focus adjusting multiplanar head mounted display
AU2018234409B2 (en) 2017-03-14 2022-06-30 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
CA3057109A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
AU2018270948B2 (en) 2017-05-16 2022-11-24 Magic Leap, Inc. Systems and methods for mixed reality
CN106950700A (zh) * 2017-05-17 2017-07-14 上海鲲游光电科技有限公司 一种微投影机分离的增强现实眼镜装置
BR112020001056A2 (pt) * 2017-07-27 2020-07-14 Huawei Technologies Co., Ltd. método e dispositivo de visualização multifocal
KR101947372B1 (ko) * 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
CN107656371A (zh) * 2017-10-16 2018-02-02 苏州耐德佳天成光电科技有限公司 具有视度调节功能的光学系统
US10838216B2 (en) * 2018-01-19 2020-11-17 Universal City Studios Llc Virtual reality/augmented reality rapid deployment system
WO2019143688A1 (en) * 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US12072493B2 (en) 2018-03-22 2024-08-27 Lightspace Technologies, SIA Near-eye display apparatus and method of displaying three-dimensional images
CN118573835A (zh) 2018-03-23 2024-08-30 交互数字Vc控股公司 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法
KR102575649B1 (ko) 2018-04-24 2023-09-06 삼성전자주식회사 투시형 디스플레이 장치
JP7301880B2 (ja) 2018-05-04 2023-07-03 ハーマン インターナショナル インダストリーズ インコーポレイテッド ミラーレスヘッドアップディスプレイ
US11536805B2 (en) * 2018-06-25 2022-12-27 Silc Technologies, Inc. Optical switching for tuning direction of LIDAR output signals
CN112585963B (zh) * 2018-07-05 2024-04-09 Pcms控股公司 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN108957754B (zh) 2018-07-27 2021-08-24 京东方科技集团股份有限公司 增强现实设备及显示方法
EP3605189A1 (en) 2018-08-01 2020-02-05 Schott AG Optical layered composite having a coating thickness below a threshold and its application in augmented reality
DE102019211256A1 (de) * 2018-08-01 2020-03-19 Schott Ag Geschichteter optischer verbundwerkstoff, der einen reduzierten gehalt an stark lichtbrechenden schichten aufweist, und seine augmented-reality-anwendung
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
CN110865480A (zh) * 2018-08-27 2020-03-06 成都理想境界科技有限公司 一种图像深度调制模组及其应用
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US10567743B1 (en) 2018-09-24 2020-02-18 Cae Inc. See-through based display method and system for simulators
US10567744B1 (en) 2018-09-24 2020-02-18 Cae Inc. Camera-based display method and system for simulators
CN111435199A (zh) * 2018-12-26 2020-07-21 施轩杰 一种空间显示方案
US10955685B2 (en) * 2018-12-28 2021-03-23 Lightspace Technologies, SIA Volumetric display arrangement and a method for representing content of an image
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
JP2020161923A (ja) * 2019-03-26 2020-10-01 セイコーエプソン株式会社 装着型表示装置
US11287655B2 (en) 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
EP3798687A1 (en) 2019-09-27 2021-03-31 Schott AG Layered optical composite having a reduced content of highly refractive layers and its application in augmented reality
US11703598B2 (en) 2019-11-18 2023-07-18 Silc Technologies, Inc. Steering of LIDAR output signals
GB2588470B (en) * 2020-02-19 2022-01-12 Envisics Ltd Pupil expansion
CN111738967B (zh) * 2020-05-21 2022-01-04 完美世界(北京)软件科技发展有限公司 模型生成方法和装置、存储介质和电子装置
JP2022086074A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置、光学ユニット、虚像表示装置の調整方法及び虚像表示装置の製造方法
CN112835453B (zh) * 2021-03-04 2023-05-09 网易(杭州)网络有限公司 模拟人眼聚焦时界面效果的方法、设备和存储介质
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
KR20230170500A (ko) 2022-06-10 2023-12-19 한화오션 주식회사 가상모델을 활용한 증강현실기반의 선박영상처리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06235885A (ja) * 1993-02-08 1994-08-23 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JPH085955A (ja) * 1994-06-17 1996-01-12 Sanyo Electric Co Ltd 虚像式立体画像表示装置および虚像式立体画像表示方法
JPH09297282A (ja) * 1996-05-01 1997-11-18 Nippon Telegr & Teleph Corp <Ntt> ヘッドマウントディスプレイ装置
JPH1013861A (ja) * 1996-04-24 1998-01-16 Sony Corp 3次元画像表示方法とその表示装置
JPH10239634A (ja) * 1997-02-27 1998-09-11 Minolta Co Ltd 立体映像表示装置
JPH11505627A (ja) * 1995-05-09 1999-05-21 ユニバーシティ オブ ワシントン 光ファイバ点光源を有するバーチャル網膜ディスプレイ
JP2003315728A (ja) * 2002-02-20 2003-11-06 Brother Ind Ltd 画像表示装置
JP2007500874A (ja) * 2003-05-14 2007-01-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 可変形状レンズ
JP2007522526A (ja) * 2004-02-13 2007-08-09 ステレオ ディスプレイ,インコーポレイテッド 可変フォーカスレンズを用いた3次元表示装置
JP2008509438A (ja) * 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
JP2008180759A (ja) * 2007-01-23 2008-08-07 Seiko Epson Corp 表示装置
JP2009519498A (ja) * 2005-12-16 2009-05-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 圧電可変焦点流体レンズおよび焦点化の方法
JP2009180758A (ja) * 2008-01-29 2009-08-13 Brother Ind Ltd 画像表示装置
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011176792A (ja) * 2009-11-16 2011-09-08 Xpandd Inc 複数のプロジェクタ及び統合サーバを用いるdlpリンク・システム
JP2012523788A (ja) * 2009-04-13 2012-10-04 ショースキャン デジタル エルエルシー 動画の撮影及び投影方法及びその装置
WO2013077895A1 (en) * 2011-11-23 2013-05-30 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
JP2013120328A (ja) * 2011-12-08 2013-06-17 Sanyo Electric Co Ltd 投写型映像表示システム、3dメガネ、回転板
WO2013170074A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US20140064655A1 (en) * 2012-08-31 2014-03-06 Ian A. Nguyen Ned polarization system for wavelength pass-through

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1015672A (en) 1911-04-06 1912-01-23 Francis Lafayette Ezell Plow.
JPS5857108A (ja) 1981-09-30 1983-04-05 Fujitsu Ltd 光走査方式
US4472737A (en) 1982-08-31 1984-09-18 Tokyo Shibaura Denki Kabushiki Kaisha Stereographic tomogram observing apparatus
JPH0250118A (ja) * 1988-05-02 1990-02-20 Ricoh Co Ltd ズームレンズ
DE69114790T2 (de) * 1990-08-20 1996-04-18 Sony Corp Direktsicht-Bildwiedergabeapparat.
JPH07261112A (ja) * 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
JP3298082B2 (ja) 1994-12-13 2002-07-02 日本電信電話株式会社 ヘッドマウントディスプレィ装置
JP3246701B2 (ja) 1994-12-28 2002-01-15 日本電信電話株式会社 立体表示装置
US5644369A (en) * 1995-02-24 1997-07-01 Motorola Switchable lens/diffuser
US5764317A (en) 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
US5800530A (en) 1995-08-18 1998-09-01 Rizzo, Iii; Joseph Intra-ocular lens system including microelectric components
JPH09166759A (ja) 1995-12-18 1997-06-24 Olympus Optical Co Ltd 画像表示装置
US6469683B1 (en) 1996-01-17 2002-10-22 Nippon Telegraph And Telephone Corporation Liquid crystal optical device
US5880711A (en) 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
US5729242A (en) 1996-05-08 1998-03-17 Hughes Electronics Dual PDLC-projection head-up display
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
US6046720A (en) 1997-05-07 2000-04-04 University Of Washington Point source scanning apparatus and method
US6377229B1 (en) 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
US6466185B2 (en) * 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US20020163482A1 (en) 1998-04-20 2002-11-07 Alan Sullivan Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures
US6504629B1 (en) 1999-03-23 2003-01-07 Digilens, Inc. Method and apparatus for illuminating a display
US6525847B2 (en) 1999-06-16 2003-02-25 Digilens, Inc. Three dimensional projection systems based on switchable holographic optics
US7555333B2 (en) 2000-06-19 2009-06-30 University Of Washington Integrated optical scanning image acquisition and display
KR100386725B1 (ko) 2000-07-31 2003-06-09 주식회사 대양이앤씨 헤드 마운트 디스플레이용 광학 시스템
JP2002196280A (ja) 2000-10-17 2002-07-12 Olympus Optical Co Ltd 表示装置
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
JP3918487B2 (ja) 2001-07-26 2007-05-23 セイコーエプソン株式会社 立体表示装置及び投射型立体表示装置
WO2003079272A1 (en) 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US7046447B2 (en) * 2003-01-13 2006-05-16 Pc Mirage, Llc Variable focus system
DE10306578A1 (de) 2003-02-17 2004-08-26 Carl Zeiss Anzeigevorrichtung mit elektrooptischer Fokussierung
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
US7751694B2 (en) 2004-02-13 2010-07-06 Angstrom, Inc. Three-dimensional endoscope imaging and display system
GB0407414D0 (en) * 2004-04-01 2004-05-05 1 Ltd Variable focal length lens
US20090040138A1 (en) 2004-06-30 2009-02-12 Takeshi Takahashi Three-Dimensional Image Displaying System
US7116463B2 (en) 2004-07-15 2006-10-03 Optron Systems, Inc. High angular deflection micro-mirror system
AU2005269256B2 (en) 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US8929688B2 (en) 2004-10-01 2015-01-06 University Of Washington Remapping methods to reduce distortions in images
US7784697B2 (en) 2004-12-23 2010-08-31 University Of Washington Methods of driving a scanning beam device to achieve high frame rates
WO2006070308A1 (en) 2004-12-27 2006-07-06 Koninklijke Philips Electronics N.V. Aberration correcting apparatus
JP4950467B2 (ja) 2005-10-03 2012-06-13 キヤノン株式会社 画像表示装置
JP2007267261A (ja) * 2006-03-29 2007-10-11 Toshiba Corp 立体表示装置
KR20080079005A (ko) * 2007-02-26 2008-08-29 삼성전자주식회사 영상표시장치 및 그 밝기조절방법
JP5031452B2 (ja) 2007-06-20 2012-09-19 キヤノン株式会社 画像観察装置及び画像観察システム
US8437587B2 (en) 2007-07-25 2013-05-07 University Of Washington Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator
EP2034338A1 (en) * 2007-08-11 2009-03-11 ETH Zurich Liquid Lens System
JP4906680B2 (ja) 2007-11-02 2012-03-28 キヤノン株式会社 画像表示装置
JP4450076B2 (ja) 2008-01-17 2010-04-14 パナソニック株式会社 三次元画像再生装置
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
JP2010008948A (ja) 2008-06-30 2010-01-14 Shinko Electric Ind Co Ltd 走査型光投影装置
JP2010039219A (ja) 2008-08-05 2010-02-18 Sony Corp 画像表示装置
JP5464839B2 (ja) 2008-10-31 2014-04-09 キヤノン株式会社 画像表示装置
US8087778B2 (en) 2009-02-13 2012-01-03 Adlens Beacon, Inc. Variable focus liquid filled lens mechanism
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
US9164202B2 (en) * 2010-02-16 2015-10-20 Holochip Corporation Adaptive optical devices with controllable focal power and aspheric shape
JP2011077764A (ja) 2009-09-30 2011-04-14 Fujifilm Corp 多次元画像処理装置、多次元画像撮影システム、多次元画像印刷物および多次元画像処理方法
WO2011074572A1 (ja) 2009-12-14 2011-06-23 日本電気株式会社 走査装置、画像表示装置及びその制御方法
JP2011164483A (ja) * 2010-02-12 2011-08-25 Brother Industries Ltd 光源装置、この光源装置を備える光走査型画像表示装置及び網膜走査型画像表示装置
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
JP5895333B2 (ja) * 2010-07-30 2016-03-30 株式会社ニコン 表示装置およびカメラ
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8947784B2 (en) * 2010-10-26 2015-02-03 Optotune Ag Variable focus lens having two liquid chambers
US9529191B2 (en) * 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US8837050B2 (en) * 2011-04-05 2014-09-16 Microvision, Inc. Optical wedge redirection apparatus and optical devices using same
JP6267118B2 (ja) 2011-08-24 2018-01-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 広色域及びエネルギー効率を有する高ダイナミックレンジディスプレイ
JP5875295B2 (ja) 2011-08-30 2016-03-02 キヤノン株式会社 画像表示装置
EP2761362A4 (en) 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
CN105974587B (zh) 2011-11-24 2018-09-28 松下知识产权经营株式会社 头戴式显示器装置
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
JP5919899B2 (ja) * 2012-03-08 2016-05-18 セイコーエプソン株式会社 虚像表示装置及び虚像表示装置の位置調整方法
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ, インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
WO2014053194A1 (en) 2012-10-05 2014-04-10 Vidinoti Sa Annotation method and apparatus
EP2910022B1 (en) * 2012-10-18 2023-07-12 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US20140111616A1 (en) * 2012-10-21 2014-04-24 Ilya Blayvas Structured light 3D scanner with refractive non-absorbing pattern forming element
JP6135095B2 (ja) 2012-11-05 2017-05-31 セイコーエプソン株式会社 虚像表示装置
KR20140075163A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치
JP2014126753A (ja) 2012-12-27 2014-07-07 Seiko Epson Corp ヘッドマウントディスプレイ
US9343020B2 (en) 2013-08-05 2016-05-17 Massachusetts Institute Of Technology Methods and apparatus for visual display
JP6183898B2 (ja) * 2013-10-29 2017-08-23 株式会社Mj・ラボラトリージャパン 液晶シャッタ眼鏡
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP3712680B1 (en) 2014-01-31 2022-07-13 Magic Leap, Inc. Multi-focal display system and method
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
AU2015266670B2 (en) 2014-05-30 2019-05-09 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP3149528B1 (en) 2014-05-30 2023-06-07 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN106662754B (zh) 2014-05-30 2021-05-25 奇跃公司 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
CN109212771A (zh) 2018-11-27 2019-01-15 上海天马微电子有限公司 一种三维显示装置及显示方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06235885A (ja) * 1993-02-08 1994-08-23 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JPH085955A (ja) * 1994-06-17 1996-01-12 Sanyo Electric Co Ltd 虚像式立体画像表示装置および虚像式立体画像表示方法
JPH11505627A (ja) * 1995-05-09 1999-05-21 ユニバーシティ オブ ワシントン 光ファイバ点光源を有するバーチャル網膜ディスプレイ
JPH1013861A (ja) * 1996-04-24 1998-01-16 Sony Corp 3次元画像表示方法とその表示装置
JPH09297282A (ja) * 1996-05-01 1997-11-18 Nippon Telegr & Teleph Corp <Ntt> ヘッドマウントディスプレイ装置
JPH10239634A (ja) * 1997-02-27 1998-09-11 Minolta Co Ltd 立体映像表示装置
JP2003315728A (ja) * 2002-02-20 2003-11-06 Brother Ind Ltd 画像表示装置
JP2007500874A (ja) * 2003-05-14 2007-01-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 可変形状レンズ
JP2007522526A (ja) * 2004-02-13 2007-08-09 ステレオ ディスプレイ,インコーポレイテッド 可変フォーカスレンズを用いた3次元表示装置
JP2008509438A (ja) * 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
JP2009519498A (ja) * 2005-12-16 2009-05-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 圧電可変焦点流体レンズおよび焦点化の方法
JP2008180759A (ja) * 2007-01-23 2008-08-07 Seiko Epson Corp 表示装置
JP2009180758A (ja) * 2008-01-29 2009-08-13 Brother Ind Ltd 画像表示装置
JP2012523788A (ja) * 2009-04-13 2012-10-04 ショースキャン デジタル エルエルシー 動画の撮影及び投影方法及びその装置
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011176792A (ja) * 2009-11-16 2011-09-08 Xpandd Inc 複数のプロジェクタ及び統合サーバを用いるdlpリンク・システム
WO2013077895A1 (en) * 2011-11-23 2013-05-30 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
JP2013120328A (ja) * 2011-12-08 2013-06-17 Sanyo Electric Co Ltd 投写型映像表示システム、3dメガネ、回転板
WO2013170074A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US20140064655A1 (en) * 2012-08-31 2014-03-06 Ian A. Nguyen Ned polarization system for wavelength pass-through

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161745A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 プロジェクター及びプロジェクターシステム
JP2019531500A (ja) * 2016-08-12 2019-10-31 オプトチューン アクチェンゲゼルシャフト 浸漬されたレンズ整形器を用いた調整可能非円形流体レンズ
JP7241678B2 (ja) 2016-08-12 2023-03-17 オプトチューン スウィッツァーランド アクチェンゲゼルシャフト 浸漬されたレンズ整形器を用いた調整可能非円形流体レンズ
US11815742B2 (en) 2017-11-05 2023-11-14 Optotune Ag Tunable non-round spectacles with immersed lens shaper
KR20190079396A (ko) * 2017-12-27 2019-07-05 한국광기술원 스테레오스코픽 환경에서의 초점조절능 판별시스템
KR102002919B1 (ko) 2017-12-27 2019-07-23 한국광기술원 스테레오스코픽 환경에서의 초점조절능 판별시스템
JP7303818B2 (ja) 2018-03-05 2023-07-05 マジック リープ, インコーポレイテッド 低遅延瞳孔トラッカーを伴うディスプレイシステム
JP7544920B2 (ja) 2018-03-05 2024-09-03 マジック リープ, インコーポレイテッド 低遅延瞳孔トラッカーを伴うディスプレイシステム
JP2021516358A (ja) * 2018-03-05 2021-07-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 低遅延瞳孔トラッカーを伴うディスプレイシステム
JP2021516781A (ja) * 2018-03-22 2021-07-08 ライトスペース テクノロジーズ, エスアイエーLightspace Technologies, Sia 3次元画像を表示するニアアイディスプレイ装置および方法
KR102646791B1 (ko) * 2018-08-10 2024-03-13 삼성전자주식회사 초점 변조 광학계 및 이를 포함한 홀로그래픽 디스플레이 장치
KR20200018180A (ko) * 2018-08-10 2020-02-19 삼성전자주식회사 초점 변조 광학계 및 이를 포함한 홀로그래픽 디스플레이 장치
US11300791B2 (en) 2019-08-21 2022-04-12 Magic Leap, Inc. Flat spectral response gratings using high index materials
US11885969B2 (en) 2019-08-21 2024-01-30 Magic Leap, Inc. Flat spectral response gratings using high index materials
JP2023515205A (ja) * 2020-02-28 2023-04-12 北京七▲しん▼易維信息技術有限公司 表示方法、装置、端末機器及びコンピュータプログラム

Also Published As

Publication number Publication date
IL283694B2 (en) 2023-02-01
IL249089A0 (en) 2017-01-31
KR20170015375A (ko) 2017-02-08
IL249089B (en) 2021-06-30
US20200183172A1 (en) 2020-06-11
EP3149528B1 (en) 2023-06-07
EP3149528A4 (en) 2018-01-24
CA2950429A1 (en) 2015-12-03
JP6921161B2 (ja) 2021-08-18
IL296027B2 (en) 2024-08-01
NZ764952A (en) 2022-05-27
CA2950429C (en) 2021-05-25
AU2015266585B2 (en) 2020-05-21
AU2015266585A1 (en) 2017-01-05
US20180095284A1 (en) 2018-04-05
US10234687B2 (en) 2019-03-19
EP3149528A1 (en) 2017-04-05
CN112987307B (zh) 2022-06-28
IL296027A (en) 2022-10-01
IL296027B1 (en) 2024-04-01
EP4235252A1 (en) 2023-08-30
NZ764950A (en) 2022-07-01
CN106537219A (zh) 2017-03-22
JP6704353B2 (ja) 2020-06-03
US10627632B2 (en) 2020-04-21
NZ727365A (en) 2020-11-27
US20190162970A1 (en) 2019-05-30
US11422374B2 (en) 2022-08-23
CN106537219B (zh) 2021-03-16
IL283694B (en) 2022-10-01
CA3114696A1 (en) 2015-12-03
IL283694A (en) 2021-07-29
NZ764960A (en) 2022-05-27
CN112987307A (zh) 2021-06-18
KR102225563B1 (ko) 2021-03-08
WO2015184412A1 (en) 2015-12-03
JP2020024454A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
JP6921161B2 (ja) 仮想および拡張現実における焦点面を作成する方法およびシステム
US9857591B2 (en) Methods and system for creating focal planes in virtual and augmented reality
US11710469B2 (en) Depth based foveated rendering for display systems
JP7096836B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
KR20210078584A (ko) 음향-광학 제어 디바이스를 사용하는 광 프로젝터
CN116194821A (zh) 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统
NZ727365B2 (en) Methods and system for creating focal planes in virtual and augmented reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200512

R150 Certificate of patent or registration of utility model

Ref document number: 6704353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250