CN108139518A - 具有反向角衍射光栅的虚拟/增强现实系统 - Google Patents

具有反向角衍射光栅的虚拟/增强现实系统 Download PDF

Info

Publication number
CN108139518A
CN108139518A CN201680057391.8A CN201680057391A CN108139518A CN 108139518 A CN108139518 A CN 108139518A CN 201680057391 A CN201680057391 A CN 201680057391A CN 108139518 A CN108139518 A CN 108139518A
Authority
CN
China
Prior art keywords
light
display subsystem
optical fiber
slab guide
diffraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680057391.8A
Other languages
English (en)
Other versions
CN108139518B (zh
Inventor
I·L·约
H-C·程
L·E·埃德温
D·廷恰
W·H·韦尔奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN108139518A publication Critical patent/CN108139518A/zh
Application granted granted Critical
Publication of CN108139518B publication Critical patent/CN108139518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/103—Scanning systems having movable or deformable optical fibres, light guides or waveguides as scanning elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0005—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0026—Wavelength selective element, sheet or layer, e.g. filter or grating
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0031—Reflecting element, sheet or layer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0036—2-D arrangement of prisms, protrusions, indentations or roughened surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0066—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form characterised by the light source being coupled to the light guide
    • G02B6/0068—Arrangements of plural sources, e.g. multi-colour light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用于虚拟图像生成系统的显示子系统包括平面波导设备、光纤、被配置用于从光纤的远端发射光的至少一个光源以及光纤安装到其上的机械驱动组件，作为非固定柔性悬臂。驱动组件被配置用于根据扫描图案围绕支点移位光纤的远端，以使得所发射的光从与支点重合的纵轴发散。显示子系统进一步包括被配置用于将来自光纤的光朝向纵轴的光调制设备会聚，以及被配置用于将来自光调制设备的光导向平面波导设备的光波导输入设备，以使得平面波导设备向终端用户显示一个或多个图像帧。

Description

具有反向角衍射光栅的虚拟/增强现实系统
技术领域
本发明通常涉及被配置为促进用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
背景技术
现代计算技术和显示技术已经促进了用于所谓“虚拟现实”体验或者“增强现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实或者可感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。
例如，参考图1，描绘了增强现实场景4，其中，AR技术的用户看见以在背景中的人、树、建筑为特征的真实世界的公园状的设置6以及实体平台8。除了这些项以外，AR技术的终端用户也感知他“看见”站在真实世界的平台8上的机器人雕像10，以及看起来是蜜蜂的化身的正在飞行的卡通式的头像角色12，即使这些元素10、12在真实的世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，开发一项促进虚拟图像元素在其它虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富呈现的VR或AR技术是极具挑战的。
VR和AR系统通常采用至少宽松地耦接到用户头部的头戴式显示器(或头盔式显示器、或智能眼镜)，且因此，当终端用户的头部移动时移动。如果由显示系统检测到终端用户的头部运动，则能更新正在显示的数据以考虑头部姿态(即，用户头部的朝向和/或位置)的变化。
作为示例，如果穿戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象能对每个视点进行重新渲染，给终端用户他或她在占据真实空间的对象周围走动的感知。如果头戴式显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则头部姿态的测量能用于重新渲染场景以匹配终端用户的动态变化的头部位置和方向并提高虚拟空间的沉浸感。
启用AR的头戴式显示器(即，现实和虚拟元素的同时观看)能具有几种不同类型的配置。在通常被称为“视频透视”显示器的一个这样的配置中，照相机捕获真实场景的元素，计算系统将虚拟元素叠加到所捕获的真实场景上，且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户能透视显示系统中的透明(或半透明)元件以直接观看来自环境中的真实对象的光。通常被称为“组合器”的透明元件将来自显示器的光叠加在终端用户的真实世界的观看之上。
VR和AR系统通常采用具有投影子系统和位于终端用户视场前方的显示表面的显示系统，并且投影子系统在显示表面上顺序投影图像帧。在真正的三维系统中，显示表面的深度可以帧速率或子帧速率来控制。投影子系统可以包括一个或多个光纤，其中来自一个或多个光源的光以设定图案发射不同颜色的光到光纤中；以及扫描装置，其以预定图案扫描光纤以创建顺序向终端用户显示的图像帧。
在一个实施例中，显示系统包括一个或多个通常平行于用户的视场的平面波导，且来自光纤的光被注入到该平面波导中。在波导内嵌入一个或多个线性衍射光栅以改变沿着波导传播的入射光的角度。通过改变光的角度超过全内反射(TIR)的阈值，光从波导的一个或多个侧面逸出。线性衍射光栅具有低衍射效率，因此，光每次遇到线性衍射光栅时，只有一部分光能被导出波导。通过在沿着光栅的多个位置处外耦合(outcoupling)光，有效增加显示系统的出射光瞳。显示系统可进一步包括将来自光纤的光进行准直的一个或多个准直元件，以及将准直光光耦合到波导边缘或将来自波导边缘的准直光进行光耦合的一个或多个光耦合元件。
在典型的光纤扫描显示系统中，每个光纤用作振动悬臂，该悬臂从支点扫过较大的偏转以根据设计的扫描图案来扫描光。然而，由于准直光的大偏转，光耦合元件的尺寸必须相对较大，从而增加了显示系统的尺寸。光耦合元件的这种尺寸在堆叠波导结构的情况下变得更加成问题，其需要与距离扫描光纤更远距离的波导相关联的光学元件更大以适应扫描准直光的更大范围。
例如，参考图2，显示系统20的一个实施例包括：一个或多个光源22，其生成以空间和/或时间变化的光的形式编码的图像数据；光耦合到光源22的光纤24；以及对从光纤24的远端出射的光进行准直的准直元件26。显示系统20进一步包括压电元件28，光纤24被安装到压电元件28或安装在压电元件28中，作为非固定柔性悬臂；以及驱动电子器件30，其被电耦合到压电元件22以激活电激励压电元件28，从而导致光纤24的远端以预定的扫描图案振动，创建围绕支点34的偏转32。
显示系统20包括波导设备38，其包括一般平行于终端用户的视场的多个平面波导40a-40e；以及与每个平面波导40相关联的一个或多个衍射光学元件(DOE)42a-42e。源自光纤24的光沿所选择的平面波导40传播且与相应的DOE 42相交，导致部分光朝向终端用户的眼睛从波导设备38的面出射，在取决于所选择的平面波导40的一个或多个观看距离处聚焦。
显示系统20进一步包括以衍射光学元件(DOE)44a-44e形式的光耦合元件，其集成在各平面波导40a-40e的端部内，并将准直光反射到所选择的平面波导40中。可以看出，随着每个DOE 44与光纤24的端部之间的距离增加，各DOE 44的长度必需增加以适应光纤24的偏转角度的增加的线性跨度。由于最大DOE 44(这种情况下指DOE 44e)，这必然增加了波导设备38的尺寸和复杂性。
作为另一个示例，参考图3，显示系统50的另一个实施例与图2的显示系统10类似，除了显示系统50包括以具有DOE 54a-54e的光分布波导52形式的光耦合元件，其将准直光反射到所选择的平面波导40中。分布波导52的宽度必须足够大以适应光纤24的偏转角度的最大线性跨度，从而必然增加波导设备38的尺寸和复杂性。
因此，需要减小用于在虚拟现实或增强现实环境中将来自一个或多个光纤的光耦合到一个或多个平面波导中的光耦合元件的尺寸。
发明内容
本发明的实施例涉及用于促进一个或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。
根据本发明，提供了一种由终端用户使用的用于虚拟图像生成系统的显示子系统。所述虚拟图像生成系统可例如包括存储三维场景的存储器和被配置为渲染所述三维场景的多个合成图像帧的控制子系统，在这种情况下，所述显示子系统可被配置为向所述终端用户顺序显示多个图像帧。
显示子系统包括平面波导装置、光纤以及被配置用于从光纤的远端发射光的至少一个光源。在一个实施例中，所述平面波导设备被配置为位于所述终端用户的眼睛的前方。所述平面波导设备可具有部分透明的显示表面，其被配置为位于所述终端用户的眼睛与周围环境之间的视场中。在一个实施例中，所述显示子系统可进一步包括被配置为由所述终端用户佩戴的框架结构，在这种情况下，所述框架结构可承载平面波导设备。
显示子系统还包括机械驱动组件，光纤安装到机械驱动组件，作为非固定柔性悬臂。驱动组件被配置用于根据扫描图案围绕支点移位光纤的远端，以使得输出/发射的光从与支点重合的纵轴发散。在一个实施例中，机械驱动组件包括光纤被安装到的压电元件以及被配置用于将电信号传送到压电元件的驱动电子器件，由此使光纤根据扫描图案振动。显示子系统可以可选地进一步包括配置用于准直来自光纤的光的准直元件。
显示子系统进一步包括光调制设备，其被配置用于将来自光纤的光朝向纵轴会聚。在一个实施例中，光调制设备被配置用于将光会聚在纵轴上的焦点上。焦点可以例如位于光波导输入设备内，诸如沿着纵轴的光波导输入设备的中心。光调制设备可以例如包括至少一个衍射光栅。每个衍射光栅可以具有与扫描图案的几何形状匹配的衍射图案。例如，如果扫描图案是螺旋扫描图案，则衍射图案可以是螺旋衍射图案。在另一个实施例中，光调制设备包括两个串联的正交衍射光栅，以使得衍射光栅中的一个衍射光栅沿着第一轴衍射光，而另一衍射光栅沿着与第一轴正交的第二轴衍射光。
所述显示子系统进一步包括光波导输入设备，其被配置为将来自光调制设备的光导向所述平面波导设备，以使得所述平面波导设备向所述终端用户显示一个或多个图像帧。在一个实施例中，所述平面波导设备包括多个平面波导，其被配置为在不同焦点处向所述终端用户分别显示图像帧，在这种情况下，所述光波导输入设备可被配置为将光导向所选择的所述多个平面波导。在另一个实施例中，所述光波导输入设备包括分别沿着所述平面波导平行延伸的多个衍射光学元件，且所述多个衍射光学元件将来自所述光调制设备的光分别导向所述平面波导。在又一个实施例中，所述光波导输入设备包括垂直于所述平面波导延伸的分布波导，且所述分布波导包括多个衍射光学元件，所述多个衍射光学元件将来自所述光调制设备的光分别导向所述平面波导。
在具体实施方式、附图以及权利要求中描述本发明的附加及其他目的、特征以及优势。
附图说明
附图示出了本发明的实施例的设计和应用，其中相似的元件由共同的参考标号表示。为了更好的理解如何获得本发明的上述及其它优点和目的，将通过参考其在附图中示出的具体实施例来对以上简要描述的本发明实施更详细的描述。需要理解，这些附图仅描绘了本发明的典型实施例，并不能因此认为限制它的范围，本发明将通过使用附图用附加特征和细节来描述和解释，在附图中：
图1是能够由现有技术增强现实生成装置向终端用户显示的三维增强现实场景的图片；
图2是能够在增强现实生成装置中使用的现有技术显示系统的一个实施例的平面图；
图3是能够在增强现实生成装置中使用的现有技术显示系统的另一实施例的平面图；
图4是根据一个实施例构建的虚拟图像生成系统的框图；
图5是由图4的虚拟图像生成系统生成的示意性帧的平面图；
图6是能够用于生成帧的一个扫描图案的平面图；
图7是能够用于生成帧的另一个扫描图案的平面图；
图8是能够用于生成帧的再一个扫描图案的平面图；
图9是能够用于生成帧的又一个扫描图案的平面图；
图10a是能够用于佩戴图4的虚拟图像生成系统的一种技术的平面图；
图10b能够用于佩戴图4的虚拟图像生成系统的另一种技术的平面图；
图10c能够用于佩戴图4的虚拟图像生成系统的再一种技术的平面图；
图10d能够用于穿戴图4的虚拟图像生成系统的又一种技术的平面图；
图11是在图4的虚拟图像生成系统中使用的显示子系统的一个实施例的平面图；
图12是在图11的显示子系统中使用的主平面波导的一个实施例；
图13a是在图4的虚拟图像生成系统中使用的显示子系统的一个实施例的透视图；
图13b具体示出了光线从一个焦点延伸的图13a的显示子系统的透视图；
图13c具体示出了光线从另一个焦点延伸的图13a的显示子系统的透视图；
图14是在图4的虚拟图像生成系统中使用的显示子系统的另一个实施例的平面图；
图15是在图13的显示子系统中使用的平面波导设备的一个实施例的平面图；
图16是在图13的显示子系统中使用的平面波导设备的另一个实施例的平面图；
图17是图16的平面波导设备的侧视图；
图18a是可用于图13的显示子系统中的光耦合子系统和扫描装置的一个实施例的平面图，特别示出了光束会聚到光波导输入设备的中心中的焦点上；
图18b是图18a的光耦合子系统和扫描装置的平面图，特别示出了光束会聚到光波导输入设备的边缘处的焦点上；
图19是在图13a的光耦合子系统中使用的光波导输入设备的一个实施例的平面图；
图20是在图13a的光耦合子系统中使用的光波导输入设备的另一个实施例的平面图；
图21是可在图18a的光耦合子系统中的光调制设备中使用的螺旋衍射图案的平面图；
图22a是可在图18a的光耦合子系统中使用的光调制设备的一个实施例；以及
图22b是可在图18a的光耦合子系统中使用的光调制设备的另一个实施例。
具体实施方式
以下描述涉及在虚拟现实和/或增强现实系统中使用的显示系统和方法。然而，应当理解，虽然本发明很好地适用于虚拟或增强现实系统中的应用，但是本发明可不限于此。
参考图4，现在将描述根据发明构建的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可用作增强现实子系统，提供与终端用户50的视场中的物理对象混合的虚拟对象的图像。。当操作虚拟图像生成系统100时，有两种基本方法。第一种方法采用一个或多个成像器(例如，照相机)来捕获周围环境的图像。虚拟图像生成系统100将虚拟图像混合到表示周围环境的图像的数据中。第二种方法采用一个或多个至少部分透明的表面，通过该表面能看到周围环境，且虚拟图像生成系统100在该表面上产生虚拟对象的图像。
虚拟图像生成系统100和在此教导的各种技术可用于除增强现实和虚拟现实子系统以外的应用中。例如，各种技术可应用于任何投影或显示子系统，或可应用于微型投影仪，其中可由终端用户的手而不是头部进行移动。因此，虽然在此通常在增强现实子系统或虚拟现实子系统方面进行描述，但是本教导不应当限于这种用途的这种子系统。
至少对于增强现实应用，在相对于终端用户50的视场中的相应物理对象的空间上定位各种虚拟对象是可期望的。虚拟对象(在此也被称为一个或多个虚拟标签或调出(callout))可以采取多种形式中的任何一种，基本上任何种类的数据、信息、概念或逻辑构造能够被表示为图像。虚拟对象的非限制性示例可包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。
为此，虚拟图像生成系统100包括：由终端用户50佩戴的框架结构102；由框架结构102承载的显示子系统104，使得显示子系统104位于终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106位于终端用户50的耳道附近(可选地，另一个扬声器(未示出)位于终端用户50的另一耳道附近以提供立体声/可塑形声音控制)。显示子系统104被设计为向终端用户50的眼睛52呈现基于照片的辐射模式，基于照片的辐射模式可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，且能够呈现二维内容。显示子系统104以高频率呈现合成图像帧序列，提供单个连贯场景的感知。
显示子系统104包括投影子系统108和投影子系统108在其上投影图像的部分透明的显示屏110。显示屏110位于终端用户50的眼睛52与周围环境之间的终端用户50的视场中。
在示例实施例中，投影子系统108采取基于光纤扫描的投影装置的形式，且显现屏110采取基于波导的显示器的形式，来自投影子系统108的扫描光被注入到其中以产生例如在比无限远处(例如，手臂长度)更近的单光学观看距离处的图像，在多个离散的光学观看距离或焦平面的图像，和/或在多个观看距离或焦平面处堆叠的图像层以表示立体3D对象。光场中的这些层可被足够近地堆叠在一起以向人类视觉子系统连续呈现(即，一层在相邻层的混淆锥内)。另外或可选地，即使这些层更稀疏地堆叠(即，一层在相邻层的混淆锥以外)，图片元素可以在两层或多层交叉混合以增加在光场中的层之间的过渡的感知连续性。显示子系统104可以是单目或双目的。
因此，显示子系统104生成向用户呈现一个或多个虚拟对象的图像的像素信息的合成图像帧系列。例如，参照图5，合成图像帧118被示意性地示出，其中单元120a-120m被划分为水平行或线122a-122n。帧118的每个单元120可对单元120所对应的各像素的多个颜色中的每个来指定值和/或强度。例如，帧118可指定每个像素的红色124a的一个或多个值、绿色124b的一个或多个值以及蓝色124c的一个或多个值。值124可被指定为每个颜色的二进制表示，例如，每个颜色相应的4位数。另外，帧118的每个单元120可包括指定幅度的值124d。
帧118可包括一个或多个场，统称为126。帧118可包括单个场。可选地，帧118可包括两个或者甚至多个场126a-126b。可在用于完整第二场126b的像素信息之前指定用于帧118的完整第一场126a的像素信息，例如在第二场126b的像素信息之前以阵列、序列表或其它数据结构(例如，记录、链接表)发生。假定呈现子系统被配置为处理多于两个场126a-126b，则第三或甚至第四场可以跟随第二场126b。
现在参考图6，使用光栅扫描图案128生成帧118。在光栅扫描图案128中，顺序呈现像素130(仅调出一个)。光栅扫描图案128通常从左到右(由箭头132a、132b表示)，然后从上到下(由箭头134表示)呈现像素。因此，呈现可从右上角开始，且从左横穿遍历第一线136a，直到线的末端。然后，光栅扫描图案128通常从下一线的左边开始。当从一个线的末端返回到下一个线的起点时，呈现可被暂时变黑(black out)或留白(blank)。逐行重复这个过程直到完成底线136n，例如在最右下角的像素处。随着帧118被完成，开始新的帧，又回到下一帧的最顶端线的右侧。再次，当从左下角回到右上角呈现下一帧时，呈现可是留白的。
光栅扫描的许多实施方式采用所谓的隔行(interlace)扫描图案。在隔行光栅扫描图案中，来自第一和第二场126a、126b的线被交错。例如，当呈现第一场126a的线时，第一场126a的像素信息可仅用于奇数线，而第二场126b的像素信息可仅用于偶数线。因此，帧118的第一场126a(图5)的所有线通常在第二场126b的线之前被呈现。可使用第一场126a的像素信息来呈现第一场126a以顺序呈现线1、线3、线5等。然后，在第一场126a之后可通过使用第二场126b的像素信息来呈现帧118的第二场126b(图5)以顺序呈现线2、线4、线6等。
参考图7，可用螺旋扫描图案140代替光栅扫描图案128来生成帧118。螺旋扫描图案140可包括单个螺旋扫描线142，螺旋扫描线142可包括可被称为圈或环的一个或多个完整角度周期(例如，360度)。与图6所示的光栅扫描图案128一样，螺旋扫描图案140中的像素信息被用于随角度的增加来指定每个顺序像素的颜色和/或强度。幅度或径向值146指定距螺旋扫描线142的起点148的径向尺寸。
参考图8，可选地，可使用利萨如(Lissajous)扫描图案150来生成帧118。Lissajous扫描图案150可包括单个Lissajous扫描线152，Lissajous扫描线152可包括可被称为圈或环的一个或多个完整角度周期(例如，360度)。可选地，Lissajous扫描图案150可包括两个或多个Lissajous扫描线152，每个相位相对于彼此移位以嵌套Lissajous扫描线152。使用像素信息随角度的增加来指定每个顺序像素的颜色和/或强度。幅度或径向值指定距Lissajous扫描线152的起点156的径向尺寸154。
参考图9，可选地，可使用多场螺旋扫描图案158来生成帧118。多场螺旋扫描图案158包括两个或多个不同螺旋扫描线，统称为160，且具体的是，四个螺旋扫描线160a-160d。每个螺旋扫描线160的像素信息可由帧的各场来指定。有利的是，可简单地通过移位每个连续的螺旋扫描线160之间的相位来嵌套多个螺旋扫描线160。螺旋扫描线160之间的相位差应该是将被采用的螺旋扫描线160的总数的函数。例如，四个螺旋扫描线160a-160d可由90度相位移位分开。一个示例性实施例可用10个不同螺旋扫描线(即，子螺旋)以100Hz刷新频率来操作。与图7的实施例类似，一个或多个幅度或径向值指定距螺旋扫描线160的起点164的径向尺寸162。
返回参考图4，虚拟图像生成系统100进一步包括安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和移动和/或终端用户50的眼睛位置和两眼间距离。这种传感器可包括捕获装置(诸如照相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪。
例如，在一个实施例中，虚拟图像生成系统100包括头戴式传感器(transducer)子系统126，头戴式传感器子系统126包括一个或多个惯性传感器以捕获指示终端用户50的头部54的移动的惯性测量。这可用于感测、测量或收集关于终端用户50的头部移动的信息。例如，这可用于检测终端用户50的头部54的运动、速度、加速度和/或位置测量。
虚拟图像生成系统100进一步包括一个或多个前向照相机128，其可用于捕获关于终端用户50位于其中的环境的信息。前向照相机128可用于捕获指示终端用户50相对于该环境和该环境中的特定对象的距离和方向的信息。当头部佩戴时，前向照相机128特别适于捕获指示终端用户50的头部54相对于终端用户50所处环境和该环境中的特定对象的距离和方向的信息。例如，前向照相机128可以用于检测头部移动、速度和/或头部移动的加速度。例如，前向照相机128可用于例如至少部分地基于终端用户50的头部54的方向来检测或推断终端用户50的关注中心。可在任何方向(例如，相对于终端用户50的参考框架的上/下、左、右)检测方向。
虚拟图像生成系统100进一步包括一对后向照相机129以跟踪终端用户50的眼睛52的移动、眨眼和焦深。例如，这种眼睛跟踪信息可以通过在终端用户的眼睛处投射光，并检测至少一些投影光的返回或反射来识别。
虚拟图像生成系统100进一步包括承受者(patient)方向检测模块130。承受者方向模块130检测终端用户50的头部54的瞬时位置，且可基于从传感器接收的位置数据来预测终端用户50的头部54的位置。重要的是，检测终端用户50的头部54的瞬时位置有助于确定终端用户50正在看的具体实际对象，由此提供将要为该实际对象生成的具体文本消息的指示，并进一步提供文本消息将在文本区域中流式传输的指示。承受者方向模块130还基于从传感器接收的跟踪数据来跟踪终端用户50的眼睛52。
虚拟图像生成系统100进一步包括控制子系统，控制子系统可以采取多种形式中的任何一种。控制子系统包括多个控制器，例如一个或多个微控制器；微处理器或中央处理单元(CPU)；数字信号处理器；图形处理单元(GPU)；其它集成电路控制器，诸如专用集成电路(ASIC)，例如现场PGA(FPGA)的可编程门阵列(PGA)，，和/或可编程逻辑控制器(PLU)。
在所示实施例中，虚拟图像生成系统100包括中央处理单元(CPU)132、图形处理单元(GPU)134以及一个或多个帧缓冲器136。CPU 132控制整体操作，而GPU 134对来自存储在远程数据库150中的三维数据的帧进行渲染(即，将三维场景转化为二维图像)，并将这些帧存储在帧缓冲器136中。尽管未示出，但一个或多个附加集成电路可以控制从帧缓冲器136读入和/或读出帧以及显示子系统104的扫描装置的操作。例如，在帧被过度渲染的情况下，帧缓冲器146的读入和/或读出可采用动态寻址。虚拟图像生成系统100进一步包括只读存储器(ROM)138和随机存取存储器(RAM)140。虚拟图像生成系统100进一步包括三维数据库142，GPU 134能从三维数据库142访问用于渲染帧的一个或多个场景的三维数据。
虚拟图像生成系统100的各种处理部件可被物理地包含在分布式子系统中。例如，如图10a-10d所示，虚拟图像生成系统100包括诸如通过有线导线或无线连接146可操作地耦接到显示子系统104和传感器的本地处理和数据模块144。本地处理和数据模块144可以各种配置来安装，诸如固定地附接到框架结构102(图10a)，固定地附接到头盔或帽子56(图10b)，嵌入头戴式耳机中，可拆卸地附接到终端用户50的躯干58(图10c)，或者以皮带耦接式配置可拆卸地附接到终端用户50的髋部60(图10d)。虚拟图像生成系统100进一步包括诸如通过有线导线或无线连接150、152可操作地耦接到本地处理和数据模块144的远程处理模块148和远程数据库150，以使得这些远程模块148、150可操作地彼此耦接并作为本地处理和数据模块144的可用资源。
本地处理和数据模块144可包括低功耗处理器或控制器以及诸如闪存的数字存储器，这两者都可用于协助处理、高速缓存以及存储从传感器捕获和/或使用远程处理模块148和/或远程数据库150获取和/或处理的数据，能在这样的处理或检索之后传递给显示子系统104。远程处理模块148可包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据库150可包括相对大规模的数字数据存储设施，其可通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块144中存储全部数据并执行全部计算，允许来自任何远程模块的完全自主的使用。
上述各种部件之间的耦接146、152、154可包括用于提供有线通信或光通信的一个或多个有线接口或端口，或者用于提供无线通信的诸如经由RF、微波和IR的一个或多个无线接口或端口。在一些实施中，全部通信可以是有线的，而在其它实施中，全部通信可以是无线的。在更进一步的实施中，有线和无线通信的选择可不同于图10a-10d中所示的。因此，有线或无线通信的具体选择不应被视为限制性的。
在所示实施例中，承受者方向模块130包含在本地处理和数据模块144中，而CPU132和GPU 134包含在远程处理模块148中，但是在替代实施例中，CPU 132、GPU 124或其部分可包含在本地处理和数据模块144中。3D数据库142可与远程数据库150相关联。
现在参考图11和图12，显示屏110包括主波导设备200。主波导设备200包括一个或多个主平面波导202(在图11和图12中仅示出一个)，以及与至少一些主波导202中的每个相关联的一个或多个衍射光学元件(DOE)204(在图11和图12中仅示出一个)。如图12充分示出的，每个主波导202具有第一端206a和第二端206b，第二端206b沿着主波导202的长208与第一端206a相对。每个主波导202具有第一面210a和第二面210b，至少第一和第二面210a、210b(统称为210)沿着主波导202的长208的至少部分，形成至少部分内反射光路(由箭头212a和虚线箭头212b示出，统称为212)。主波导202可采取多种形式，光以小于限定的临界角度照射面210来提供基本全内反射(TIR)。例如，每个主波导202可采取玻璃、熔融二氧化硅、丙烯酸或聚碳酸酯的窗格或平面形式。
DOE 204(在图11和图12中由点划双线示出)可采取中断TIR光路212的多种形式，提供多个光路(由箭头214a和虚线箭头214b示出，统称为214)，在主波导202的内部216与外部218之间沿着主波导202的长206的至少部分延伸。DOE 204可允许明显对象和明显对象的聚焦平面的定位。这可在逐帧、逐子帧或甚至逐像素的基础上实现。
如图12所示，光沿着主波导202传播，至少有一些由TIR传播导致的反射或“反弹(bounce)”。需要注意的是，一些实施方式可在内部光路中采用一个或多个可促进反射的反射器，诸如薄膜、电介质涂层、金属化涂层等。光沿着主波导202的长208传播，且在沿着长208的多个位置处与一个或多个DOE 204相交。DOE 204可并入主波导202内或者邻接或邻近主波导202的一个或多个面210。DOE 204完成至少两个功能。DOE 204改变光的角度，导致部分光逸出TIR，并经由主波导202的一个或多个面210从内部216出射到外部218。DOE 204在一个或多个观看距离处聚焦外耦合光。因此，透过主波导202的面210a看的人能在一个或多个观看距离处看到数字图像。
参考图13a-13c，显示屏110包括分布波导设备222以沿着第一轴(图11a中的垂直线或Y轴)中继光，并沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。例如，分布波导设备222可包括一个或多个分布平面波导224(仅示出一个)和与每个分布平面波导224关联的DOE 226(由双点划线示出)。分布平面波导224在至少一些方面可与主波导202相似或相同，但具有与其不同的方向。同样地，DOE 226在至少一些方面可与DOE 204相似或相同。例如，分布平面波导220和/或DOE 226可分别包括与主波导202和/或DOE 204相同的材料。
中继的和出射光瞳扩展的光从分布波导设备222被光耦合到主波导202中。主波导202沿着优选地垂直第一轴的第二轴(例如，图13a的水平线或X轴)中继光。需要注意的是，第二轴可以是不与第一轴垂直的轴。主波导202沿着第二轴(例如，X轴)扩展光的有效出射光瞳。特别是，分布平面波导224能沿着垂直线或Y轴中继和扩展光，并向主波导202传递该光，其沿着水平线或X轴中继并扩展光。
显示屏110可以在能够被定位得比光学无限远更近的单个聚焦平面处生成图像。如图13b所示，准直光通过全内反射沿着分布平面波导224垂直传播，且在此过程中与DOE226重复相交。DOE 226优选具有低衍射效率(例如，小于50％)。这导致光的一部分(例如，10％)在与DOE 226相交的每个点处被衍射向较大的主平面波导202的边缘，且光的一部分在其原始轨迹上经由TIR沿着分布平面波导224的长向下继续。在与DOE 226相交的每个点处，附加光被衍射向主波导202的入口。通过将入射光分成多个外耦合组，光的出射光瞳在分布平面波导224中由DOE 226垂直扩展。从分布平面波导224外耦合的该垂直扩展光进入主波导202的边缘。
进入主波导202的光经由TIR沿着主波导202水平传播(如图13b所示)。当光经由TIR沿着主波导202的长的至少部分水平传播时，光在多个点处与DOE 204相交。DOE 204可有利地被设计或配置成具有相位轮廓(profile)，该相位轮廓是线性衍射光栅和径向对称衍射透镜的总和。DOE 204可有利地具有低衍射效率。在传播的光与DOE 204之间的相交的每个点处，光的一部分向主波导202的相邻面衍射，允许光逸出TIR，并从主波导202的面出射。另外，DOE 204的径向对称透镜方面向衍射的光赋予聚焦水平，既对单个光束的光波前进行整形(例如，赋予曲率)，又将光束以与设计的聚焦水平匹配的角度进行操纵。如图13b所示，四个光束228a-228d几何延伸到焦点228，且每个光束有利地被赋予在焦点228处具有半径中心的凸波前轮廓以在给定焦平面处产生图像或虚拟对象230a。
参考图13c，显示屏110可生成多焦立体显示、图像或光场。第一组的四个光束228a-228d几何延伸到焦点230a，且每个光束228a-228d有利地被赋予在焦点230a处具有半径中心的凸波前轮廓以在相应的焦平面处产生图像或虚拟对象232a的另一部分。第二组的四个光束228e-228h几何延伸到焦点230b，且每个光束228e-228h有利地被赋予在焦点230b处具有半径中心的凸波前轮廓以在相应的焦平面处产生图像或虚拟对象232b的另一部分。
在图11-13所示的显示子系统104的实施例中，使用单个投影子系统108向显示屏110提供图像数据。如图14所示，与图11-13所示的显示系统相比，显示子系统104可以包括多个投影子系统108a-108e(仅示出五个，统称为108)以向显示屏110提供相应的图像数据。投影子系统108通常沿着显示屏110的边缘234以阵列设置或排列设置。例如，平面波导202的数量与投影子系统108的数量之间可以是一比一(1：1)比率或相关性。
显示子系统104能够使用单个主平面波导202。例如，多个投影子系统108可沿着最靠近终端用户的头部太阳穴的主平面波导202的边缘234以线性阵列设置。每个投影子系统108将编码子图像数据的调制光从不同的相应位置注入到主平面波导202中，因此，生成不同的光路。这些不同的路径可以通过处于不同角度、聚焦水平和/或在出射光瞳处产生不同填充图案的多个DOE将光耦合到主要平面波导202外。出射光瞳处的不同填充图案可有益地用于创建光场显示。堆叠中的或堆叠中的一组层(例如3层)中的每一层可用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如可以采用第一组的三个相邻层以在第一焦深处分别产生红光、蓝光和绿光。可采用第二组的三个相邻层以在第二焦深处分别产生红光、蓝光和绿光。可以采用多组来产生具有各种焦深的全3D或4D彩色图像场。
现在参考图15，每个平面波导202可包括多个DOE 204a-204d(示出四个，每个由双点划线表示，统称为204)。DOE 204沿着与显示屏110的视场大体上平行的轴236堆叠、排列或布置。尽管所示的DOE 204全部位于内部，但在一些实施方式中，一个、多个或甚至全部DOE 204可位于主波导202的外部。
在一些实施方式中，每个DOE 204能够被独立开启或关断。即，能使每个DOE 204被激活，使得相应的DOE 204衍射与该相应的DOE 204相交的显著的一部分光，或能使其不激活，使得相应的DOE 204要么几乎不衍射与相应的DOE 204相交的光，要么仅衍射不显著的一部分光。在上下文中，“显著”意味着当耦合到主波导202外时，人类视觉系统感知足够的光，且“不显著”意味着人类视觉系统不能感知足够的光，或水平足够低以至于被观看者忽略。
可切换DOE 204可一次被开启一个，使得主平面波导202中的仅一个DOE 204激活地衍射主平面波导202中的光，以可感知的量从主平面波导202中的一个或多个面210出射。可选地，两个或多个DOE 204可同时被开启，使得它们的衍射效果被组合。
该组DOE中的每个DOE 204能具有不同的相位图。例如，每个DOE 204能具有各自的相位图，使得每个DOE 204在被开启时将光导向X、Y或Z中的不同位置。例如，DOE 204在其线性光栅方面和/或其径向对称衍射透镜方面可彼此不同。如果DOE 204在其衍射透镜方面彼此不同，则不同的DOE 204(或DOE 204的组合)将在不同光学观看距离(即，不同焦距)处产生子图像。如果DOE 204在其线性光栅方面彼此不同，则不同的DOE 204将产生相对于彼此横向移位的子图像。这样的横向移位能有利地用于创建凹(faveate)显示，以将具有非均匀分辨率或其他非均匀显示参数(例如，亮度、峰值波长、偏振等)的显示图像导向不同的横向位置，以增加扫描图像的尺寸，产生出射光瞳的特性的变化，和/或生成光场显示。可有利地采用横向移位预先形成平铺(tiling)或在生成的图像中实现平铺效果。
例如，当该组中的第一DOE 204被开启时，可在1米的光学观看距离(例如，图13c中的焦点230b)处产生图像，用于观看者看向主波导202的主面或发射面210a。当该组中的第二DOE 204被开启时，可在1.25米的光学观看距离(例如，图13b中的焦点230a)处产生图像，用于观看者看向主波导202的主面或发射面210a。通过以快速时间序列(例如，基于逐帧、子帧、逐行、子行、逐像素或逐子像素)切换示例性DOE 204的开启或关断，以及同步调制由投影子系统108注入到主波导202中的图像数据，形成对观看者来说感知是单个场景的复合多焦立体图像。通过由不同的DOE 204将不同的对象或对象的一部分渲染给中继到观看者眼睛(在图13c中的位置232b处)的子图像，虚拟对象或图像被放置在不同的光学观看距离处，或者虚拟对象或图像能被表示为通过多个聚焦平面延伸的3D立体。
现在参考图16，显示屏110可包括多个平面波导202a-202d(示出四个，统称为202)。主波导202a-200d沿着大体上平行于显示屏110的视场的轴236被堆叠、排列或布置。每个主波导202包括至少一个DOE 204(由点划双线示出，在图16中仅调出一个)。尽管示出的DOE 204全部位于内部，但在一些实施方式中，一个、多个或甚至全部DOE 204可位于主波导202的外部。附加地或可选地，尽管每个平面波导202以单个线性阵列的DOE 204示例，但主波导202中一个或多个可以包括两个或多个堆叠、排列或布置的DOE 204，类似于相对于图15所描述的实施方式。
在图15的实施例中，每个主波导202可类似于DOE 204的操作起作用。也就是说，各个平面波导202的DOE 204可分别具有各自的相位图，各种DOE 204的相位图彼此不同。尽管在图15的实施例中采用了DOE 204的动态切换(例如，开启/关断)，但在图16的实施例中可以避免这种情况。代替或除了动态切换之外，显示系统110可以基于各个相位图选择性地将光路由到主波导202。因此，不是开启具有期望相位图的具体DOE 204，而是显示系统110可将光路由到具有有期望相位图的DOE 204或与具有期望相位图的DOE 204相关联的具体平面波导202。此外，这可以代替DOE 204的动态切换或除了DOE 204的动态切换之外。
在一个示例中，可以选择性地操作投影子系统以基于各个相位图将光选择性地路由到主波导202。在另一个示例中，每个DOE 204能够被独立地开启和关断，类似于关于图15的实施例中切换DOE 204开启和关断所解释的。DOE 204可被开启和关断以基于各个相位图选择性地将光路由到主波导202。
如图16所示，光线从两个主波导202a、202d向外发出。为了便于说明，第一平面波导202a在无限远焦距处产生平面或平坦的波前(由围绕光线240的平线238示出，为了附图清晰起见每种仅调出一个例子)。相反，另一个主波导202d在小于无限远的限定焦距(例如，1米)处产生凸波前(由围绕光线244的弧242示出，为了附图清晰起见每种仅调出一个例子)。如图17所示，主波导202可横向移位呈现和/或光学观看距离，即虚拟对象246a-246c相对于出射光瞳248的不同焦距。
返回参考图11-13，投影子系统108包括产生光的一个或多个光源250(例如，以限定的图案发射不同颜色的光)，响应于控制信号以预定的扫描图案(诸如，上面相对于图5-9所描述的这些)扫描光的扫描装置252，以及将来自扫描装置252的光耦合到显示屏110中的光耦合子系统254。
光源250可采用较多形式中的任何一种，例如一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据在像素信息或数据的各个帧中指定的限定像素图案来分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度且高能效。
扫描装置252包括一个或多个光纤256(例如，单模光纤)，每个光纤具有从光源250接收光到其中的近端256a和从其向部分透明显示屏110提供光的远端256b。扫描装置252进一步包括将光纤256安装到其上的机械驱动组件258。驱动组件258被配置为根据扫描图案使光纤256的远端256b围绕支点260移位，使得输出光从与支点260重合的纵向轴262发散。应当理解的是，尽管显示子系统104已经被描述为使用扫描光纤技术来实现，但是应当理解，显示子系统104可以基于任何显示技术，例如液晶显示(LCD)、数字光处理(DLP)显示等。
驱动组件208包括将光纤256安装到其上的压电元件264，以及被配置为将电信号传送到压电元件264的驱动电子器件266，从而引起光纤256的远端256b根据扫描图案进行振动。因此，光源250和驱动电子器件266的操作以生成图像数据的方式进行协调，该图像数据以空间和/或时间上变化的光的形式编码。
在所示实施例中，压电元件264采取中空管的形式，在这种情况下，光纤256的远端256b通过压电管264被穿过或接收。光纤256的远端256b从压电管264突出，作为非固定柔性悬臂268(图18a和18b所示)。压电管264与四个象限电极(未示出)相关联。例如，电极可电镀在压电管264的外部、外表面或外部周边或直径上。芯电极(未示出)也位于管264的芯、中心、内部周边或内径上。
驱动电子器件266经由导线270电耦合以驱动相对电极对(未示出)独立地在两个轴上弯曲压电管264。光纤256的突出远端顶端具有机械谐振模式。谐振频率取决于光纤256的直径、长度和材料属性。如图18a所示通过在光纤悬臂268的机械谐振的一阶模式附近振动压电管264，引起光纤悬臂268振动，且能围绕支点260扫过较大偏转。通过激发两个轴上的谐振，光纤悬臂268的顶端在填充2D扫描的区域中双轴扫描。通过与光纤悬臂268的扫描同步调制光源250的强度，从光纤悬臂268出射的光形成图像。
如上面简要讨论的，光耦合子系统254将来自扫描装置252的光光耦合到波导设备102。光耦合子系统254包括光波导输入设备272，例如一个或多个反射表面、衍射光栅、反射镜、分色镜或棱镜，以将光耦合到波导设备102的端部。光耦合子系统254附加地或可选地包括准直元件274，其准直来自光纤256的光。
如上面简要讨论的，当光纤256的远端256b围绕支点260振动时，从扫描装置252发射的光最初从纵轴262发散。在光纤256的每个位置处，光最初从远端256b扇出，并且被准直元件274准直为窄光线。在没有修改的情况下，将需要相对较大的光波导输入设备272来适应光纤256的远端256b中的相对大的偏转。
为此，光耦合子系统254包括光调制设备276，该光调制设备276被配置用于将来自准直元件274的光朝向纵轴262会聚，并且在所示实施例中，将光会聚在光波导输入设备272的中心中的焦点278上，如图18a所示。值得注意的是，将光会聚在光波导输入设备272的中心处允许光波导输入设备272的尺寸最小化。也就是说，将光会聚在光波导输入设备272的中心处使光波导输入设备272的边缘处的扫描光路的最坏情况发散跨度最小化。例如，如果光聚焦在光波导输入设备272的前边缘上，如图18b所示，则光波导输入设备272必须做得较大以适应光波导输入设备272的后边缘处的扫描光路的较大发散跨度。
现在参考图19，将描述输入光调制设备276与光波导输入设备272的一个实施例之间的交互。在这种情况下，光波导输入设备272采取分布波导设备222的形式，其具有关于图13a-13c描述的关联的分布波导224和DOE 226a-226e。如图19所示，光调制装置276将来自准直元件274的光会聚在位于DOE 226c处的焦点278上，由此使DOE 226的尺寸最小化。结果，分布波导224的总宽度被最小化。然后，光被有选择地沿着一个或多个主波导202a-202e向下传送。
现在参考图20，DOE 226可以替代地直接结合到主波导设备200中。在这种情况下，DOE 226分别沿着波导设备200的主平面波导202a-202e平行地延伸，以使得DOE 226分别将来自光调制设备276的光沿着主波导202引导。如图20所示，光调制设备276将来自准直元件274的光会聚在位于DOE 226c的焦点278上，从而使DOE 226的尺寸最小化。由于焦点278位于输入光调制设备276的中心处，所以可使DOE 226a和226e的长度相等，以使最差情况的DOE 226最小化。结果，波导设备200的整体尺寸被最小化。
在一个实施例中，光调制设备276包括一个或多个衍射光栅，其中的每一个可以被表征为具有光波长级的周期性结构的光学部件，该光学部件将光分裂并衍射成以不同方向行进的若干光束。衍射光栅可以是透射的或反射的，并且可以由例如表面纳米脊、纳米图案、狭缝等组成，其可以被光刻印刷在基底上。在替代实施例中，光调制设备276可以包括一个或多个透镜。
在所示实施例中，光调制设备276具有与扫描图案的几何形状匹配的衍射图案，以使得光的准直被保持在目标分辨率。例如，如果使用螺旋扫描图案，则衍射图案可以具有衍射元件280的图案，如图21所示。如果使用单个衍射光栅，则每个衍射元件可以将光线282a和282b向内衍射到两个维度(例如，在图22a的情况下，在x和y方向上)，以使得每个衍射元件280a和280b(仅示出两个)将光衍射朝向x-y坐标系的原点处的单个焦点278)。或者，可以使用串联的两个正交衍射光栅276a和276b，以使得一个衍射光栅276a的衍射元件278a和278b沿着x-y坐标系的一个轴衍射相应的光线280a和280b(例如，在图22b的情况下，x方向)，并且另一衍射光栅276b的衍射元件沿着x-y坐标系的另一轴衍射光线280a和280b(例如，在图20b的情况下，y-方向)。
尽管已经示出和描述了本发明的特定实施例，但是应该理解的是，这不意图将本发明限制到这些实施例，并且对于本领域技术人员来说显而易见的是，不脱离本发明的精神和范围的情况下可以进行各种变化和修改。因此，本发明旨在覆盖可以包括在由权利要求所限定的本发明的精神和范围内的替换、修改和等同物。

Claims (17)

1.一种用于由终端用户使用的虚拟图像生成系统的显示子系统，包括：
平面波导设备；
光纤；
至少一个光源，其被配置用于从所述光纤的远端发射光；
机械驱动组件，所述光纤安装到所述机械驱动组件，作为非固定柔性悬臂，所述驱动组件被配置用于根据扫描图案围绕支点移位所述光纤的远端，以使得所发射的光从与所述支点重合的纵轴发散；
光调制设备，其被配置用于将来自所述光纤的光朝向所述纵轴会聚；
光波导输入设备，其被配置用于将来自所述光调制设备的光导向所述平面波导设备，以使得所述平面波导设备向所述终端用户显示一个或多个图像帧。
2.根据权利要求1所述的显示子系统，其中，所述光调制设备被配置用于将所述光会聚在所述纵轴上的焦点上。
3.根据权利要求2所述的显示子系统，其中，所述焦点位于所述光波导输入设备内。
4.根据权利要求1所述的显示子系统，还包括被配置用于准直来自所述光纤的光的准直元件。
5.根据权利要求1所述的显示子系统，其中，所述光调制设备包括至少一个衍射光栅。
6.根据权利要求5所述的显示子系统，其中，所述至少一个衍射光栅中的每一个具有与所述扫描图案的几何形状匹配的衍射图案。
7.根据权利要求6所述的显示子系统，其中，所述扫描图案是螺旋扫描图案，并且所述衍射图案是螺旋衍射图案。
8.根据权利要求1所述的显示子系统，其中，所述光调制设备包括两个串联的正交的衍射光栅，以使得所述衍射光栅中的一个衍射光栅沿着第一轴衍射光，并且所述衍射光栅中的另一个衍射光栅沿着与所述第一轴正交的第二轴衍射光。
9.根据权利要求1所述的显示子系统，其中，所述机械驱动组件包括：压电元件，所述光纤安装到所述压电元件上；以及驱动电子器件，其被配置为将电信号传送到所述压电元件，从而导致所述光纤根据所述扫描图案振动。
10.根据权利要求1所述的显示子系统，其中，所述平面波导设备包括：多个平面波导，其被配置为在不同焦点处向所述终端用户分别显示所述一个或多个图像帧；以及所述光波导输入设备，其被配置为将来自所述光调制设备的光导向所述多个平面波导。
11.根据权利要求10所述的显示子系统，其中，所述光波导输入设备包括分别沿着所述平面波导平行延伸的多个衍射光学元件，所述多个衍射光学元件将来自所述光调制设备的光分别导向所述平面波导。
12.根据权利要求10所述的显示子系统，其中，所述光波导输入设备包括垂直于所述平面波导延伸的分布波导，所述分布波导包括多个衍射光学元件，所述多个衍射光栅将来自所述光调制设备的光分别导向所述平面波导。
13.根据权利要求1所述的显示子系统，其中，所述平面波导设备被配置为位于所述终端用户的眼睛的前方。
14.根据权利要求1所述的显示子系统，其中，所述平面波导设备具有部分透明的显示表面，所述部分透明的显示表面被配置为位于所述终端用户的眼睛与周围环境之间的视场中。
15.根据权利要求1所述的显示子系统，还包括被配置为由所述终端用户佩戴的框架结构，所述框架结构承载所述平面波导设备。
16.一种由终端用户使用的虚拟图像生成系统，包括：
存储器，其存储三维场景；
控制子系统，其被配置为渲染所述三维场景的多个合成图像帧；以及
根据权利要求1所述的显示子系统，所述显示子系统被配置为向所述终端用户顺序显示多个图像帧。
17.根据权利要求16所述的虚拟图像生成系统，其中，所述控制子系统包括图形处理单元(GPU)。
CN201680057391.8A 2015-10-06 2016-10-06 具有反向角衍射光栅的虚拟/增强现实系统 Active CN108139518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562238052P 2015-10-06 2015-10-06
US62/238,052 2015-10-06
PCT/US2016/055823 WO2017062667A1 (en) 2015-10-06 2016-10-06 Virtual/augmented reality system having reverse angle diffraction grating

Publications (2)

Publication Number Publication Date
CN108139518A true CN108139518A (zh) 2018-06-08
CN108139518B CN108139518B (zh) 2024-03-29

Family

ID=58447459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057391.8A Active CN108139518B (zh) 2015-10-06 2016-10-06 具有反向角衍射光栅的虚拟/增强现实系统

Country Status (10)

Country Link
US (3) US10338391B2 (zh)
EP (2) EP4246215A3 (zh)
JP (1) JP7216547B2 (zh)
KR (3) KR102579831B1 (zh)
CN (1) CN108139518B (zh)
AU (2) AU2016336546B2 (zh)
CA (1) CA2998030C (zh)
IL (3) IL258059B2 (zh)
NZ (1) NZ775329A (zh)
WO (1) WO2017062667A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456508A (zh) * 2019-07-30 2019-11-15 成都理想境界科技有限公司 一种近眼显示系统及智能眼镜

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
EP3671317B1 (en) 2015-07-20 2021-11-10 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
CN108139518B (zh) 2015-10-06 2024-03-29 奇跃公司 具有反向角衍射光栅的虚拟/增强现实系统
AU2017209171B2 (en) 2016-01-20 2021-10-21 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
US10187634B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10057488B2 (en) * 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US11231589B2 (en) * 2016-12-08 2022-01-25 Darwin Hu Ultralight wearable display device
US9946075B1 (en) * 2016-12-08 2018-04-17 Darwin Hu See-through display glasses for virtual reality and augmented reality applications
US10371896B2 (en) * 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US9904068B1 (en) * 2017-01-09 2018-02-27 Asml Netherlands B.V. Reducing an optical power of a reflected light beam
CN110753861A (zh) * 2017-06-19 2020-02-04 奇跃公司 动态可致动衍射光学元件
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
KR102556420B1 (ko) * 2017-09-25 2023-07-17 삼성전자주식회사 디스플레이 장치
DE102017122353A1 (de) * 2017-09-26 2019-03-28 Carl Zeiss Ag Optische Übertragungsanordnung zum Übertragen eines Quellbildes
JP7289845B2 (ja) * 2017-11-30 2023-06-12 フンダシオ インスティトゥート デ シエンシィズ フォトニクス 光学内視鏡
FI128044B (en) * 2017-12-22 2019-08-30 Dispelix Oy Laser projector and diffractive display device
US10942355B2 (en) 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
WO2019238872A1 (de) * 2018-06-15 2019-12-19 Continental Automotive Gmbh Gerät zum erzeugen eines virtuellen bildes mit feldpunktabhängiger apertur
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
JP7187987B2 (ja) * 2018-10-31 2022-12-13 セイコーエプソン株式会社 表示装置
CN111751923B (zh) * 2019-03-29 2023-03-10 成都理想境界科技有限公司 一种光纤及扫描光成像显示装置
CN110596895B (zh) * 2019-08-09 2021-10-29 成都理想境界科技有限公司 一种近眼显示装置及投影反馈方法
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN113436343B (zh) * 2021-06-21 2024-06-04 广州博冠信息科技有限公司 用于虚拟演播厅的画面生成方法及装置、介质及电子设备
CN114234825B (zh) * 2021-11-09 2023-10-27 北京航空航天大学 一种基于光纤的柔性可拉伸可穿戴传感器
CN116774476A (zh) * 2022-03-09 2023-09-19 群创光电股份有限公司 电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点
CN103105634A (zh) * 2011-11-15 2013-05-15 乐金显示有限公司 薄的平坦式会聚透镜
US20140140653A1 (en) * 2012-11-16 2014-05-22 Rockwell Collins, Inc. Transparent waveguide display
CN103823267A (zh) * 2012-11-16 2014-05-28 罗克韦尔柯林斯公司 透明波导显示装置
WO2014144526A2 (en) * 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1038663A (en) 1911-10-05 1912-09-17 Gustav Sahmer Door-lock.
USRE18452E (en) 1925-01-02 1932-05-03 Spiral mounted lens disk
US3580661A (en) * 1969-04-10 1971-05-25 Bell & Howell Co Rear projection viewing screen for close viewing
US4274854A (en) 1978-01-13 1981-06-23 Bell Telephone Laboratories, Incorporated Polarization-preserving optical fiber
JPS5857108A (ja) 1981-09-30 1983-04-05 Fujitsu Ltd 光走査方式
US4472737A (en) 1982-08-31 1984-09-18 Tokyo Shibaura Denki Kabushiki Kaisha Stereographic tomogram observing apparatus
JPS6229825A (ja) * 1985-07-29 1987-02-07 Kobe Steel Ltd 排ガス処理方法
US4955687A (en) 1986-07-25 1990-09-11 Pafford Thomas L Fiber optic telescope
JPH079502B2 (ja) * 1986-12-19 1995-02-01 富士通株式会社 グレ−テイングレンズ光学系
KR910002322B1 (ko) 1986-09-20 1991-04-11 후지쓰 가부시끼가이샤 회절격자렌즈 조립체를 구비하고 있는 광학시스템
US5033814A (en) 1989-04-10 1991-07-23 Nilford Laboratories, Inc. Line light source
JPH03198022A (ja) * 1989-12-27 1991-08-29 Matsushita Electric Ind Co Ltd 光ビーム走査装置
JPH05297313A (ja) 1992-04-17 1993-11-12 Canon Inc 半導体レーザ偏向素子
JP3252002B2 (ja) * 1993-02-06 2002-01-28 株式会社堀場製作所 多素子型焦電検出器における分岐・集光素子の製造方法
JP3246701B2 (ja) 1994-12-28 2002-01-15 日本電信電話株式会社 立体表示装置
US5764317A (en) 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
EP0785457A3 (en) 1996-01-17 1998-10-14 Nippon Telegraph And Telephone Corporation Optical device and three-dimensional display device
US5729242A (en) 1996-05-08 1998-03-17 Hughes Electronics Dual PDLC-projection head-up display
US5715337A (en) * 1996-09-19 1998-02-03 The Mirco Optical Corporation Compact display system
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
US6046720A (en) 1997-05-07 2000-04-04 University Of Washington Point source scanning apparatus and method
US5949941A (en) 1997-11-21 1999-09-07 Lucent Technologies Inc. Cladding-pumped fiber structures
US6175669B1 (en) 1998-03-30 2001-01-16 The Regents Of The Universtiy Of California Optical coherence domain reflectometry guidewire
US6377229B1 (en) 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
US6341118B1 (en) 1998-06-02 2002-01-22 Science Applications International Corporation Multiple channel scanning device using oversampling and image processing to increase throughput
US6504629B1 (en) 1999-03-23 2003-01-07 Digilens, Inc. Method and apparatus for illuminating a display
US6294775B1 (en) 1999-06-08 2001-09-25 University Of Washington Miniature image acquistion system using a scanning resonant waveguide
US6525847B2 (en) 1999-06-16 2003-02-25 Digilens, Inc. Three dimensional projection systems based on switchable holographic optics
US6924476B2 (en) * 2002-11-25 2005-08-02 Microvision, Inc. Resonant beam scanner with raster pinch compensation
KR100835639B1 (ko) * 1999-10-29 2008-06-09 마이크로비젼, 인코퍼레이티드 핀치, 타이밍 및 왜곡 보정 기능을 갖는 스캔 디스플레이
JP2002243918A (ja) 2001-02-14 2002-08-28 Olympus Optical Co Ltd 可変焦点レンズ、光学特性可変光学素子及び光学装置
US7555333B2 (en) 2000-06-19 2009-06-30 University Of Washington Integrated optical scanning image acquisition and display
US6845190B1 (en) 2000-11-27 2005-01-18 University Of Washington Control of an optical fiber scanner
US6643065B1 (en) * 2001-01-18 2003-11-04 Donn Michael Silberman Variable spacing diffraction grating
JP3918487B2 (ja) 2001-07-26 2007-05-23 セイコーエプソン株式会社 立体表示装置及び投射型立体表示装置
US6702442B2 (en) * 2002-03-08 2004-03-09 Eastman Kodak Company Monocentric autostereoscopic optical apparatus using resonant fiber-optic image generation
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US7046888B2 (en) 2002-12-18 2006-05-16 The Regents Of The University Of Michigan Enhancing fiber-optic sensing technique using a dual-core fiber
EP1592992B1 (en) * 2003-01-24 2012-05-30 University of Washington Optical beam scanning system for compact image display or image acquisition
US20040179764A1 (en) 2003-03-14 2004-09-16 Noureddine Melikechi Interferometric analog optical modulator for single mode fibers
US20040258341A1 (en) 2003-06-19 2004-12-23 Paolucci Dora M. Optical waveguide with radiation-tuned birefringence
BRPI0413611A (pt) 2003-08-18 2006-10-17 Voith Paper Patent Gmbh procedimento para moer fibras de papel ou fibras de pasta
US7126693B2 (en) 2004-03-29 2006-10-24 Carl Zeiss Meditec, Inc. Simple high efficiency optical coherence domain reflectometer design
US7525541B2 (en) * 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
US8929688B2 (en) 2004-10-01 2015-01-06 University Of Washington Remapping methods to reduce distortions in images
US7784697B2 (en) 2004-12-23 2010-08-31 University Of Washington Methods of driving a scanning beam device to achieve high frame rates
EP1834197A1 (en) 2004-12-27 2007-09-19 Koninklijke Philips Electronics N.V. Aberration correcting apparatus
US7189961B2 (en) 2005-02-23 2007-03-13 University Of Washington Scanning beam device with detector assembly
JP5226528B2 (ja) 2005-11-21 2013-07-03 マイクロビジョン，インク． 像誘導基板を有するディスプレイ
US7953308B2 (en) 2005-12-30 2011-05-31 General Electric Company System and method for fiber optic bundle-based illumination for imaging system
US20080221388A1 (en) 2007-03-09 2008-09-11 University Of Washington Side viewing optical fiber endoscope
US7608842B2 (en) 2007-04-26 2009-10-27 University Of Washington Driving scanning fiber devices with variable frequency drive signals
US8437587B2 (en) 2007-07-25 2013-05-07 University Of Washington Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
JP2010008948A (ja) 2008-06-30 2010-01-14 Shinko Electric Ind Co Ltd 走査型光投影装置
CN102196764B (zh) 2008-10-22 2014-05-07 皇家飞利浦电子股份有限公司 光学扫描探针组件
JP2010152176A (ja) 2008-12-25 2010-07-08 Mitsubishi Electric Corp 投写型表示装置
DE102009017940A1 (de) 2009-04-17 2010-10-21 Storz Endoskop Produktions Gmbh Endoskopisches System
US8184363B2 (en) 2009-08-07 2012-05-22 Northrop Grumman Systems Corporation All-fiber integrated high power coherent beam combination
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102652275B (zh) 2009-12-14 2014-11-12 日本电气株式会社 扫描装置、图像显示装置及其控制方法
US9457412B2 (en) 2009-12-28 2016-10-04 The Board Of Trustees Of The University Of Alabama For And On Behalf Of The University Of Alabama Fabrication method for diamond film coating of drill bit
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
JP5570460B2 (ja) 2010-03-10 2014-08-13 オーエフエス ファイテル，エルエルシー 多芯ファイバ伝送システムおよび多芯ファイバ伝送方法
WO2011123195A1 (en) 2010-03-31 2011-10-06 Sciaky, Inc. Raster methodology, apparatus and system for electron beam layer manufacturing using closed loop control
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
FR2971640B1 (fr) 2011-02-16 2014-04-04 Univ Bordeaux 1 Dispositif de pompage optique.
CN103765502B (zh) 2011-08-24 2017-02-15 杜比实验室特许公司 具有宽色域和能量效率的高动态范围显示器
JP5911238B2 (ja) 2011-09-02 2016-04-27 オリンパス株式会社 光走査デバイス及びこれを備えた内視鏡、顕微鏡、プロジェクター
WO2013044388A1 (en) 2011-09-27 2013-04-04 British Columbia Cancer Agency Branch Scanning optical systems
KR102376368B1 (ko) 2011-11-23 2022-03-17 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9742993B2 (en) 2012-02-16 2017-08-22 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution optical image scanning
US8888275B2 (en) 2012-05-08 2014-11-18 Microvision, Inc. Scanned image projection system employing intermediate image plane
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US10629003B2 (en) 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
EP2870498A4 (en) 2012-07-05 2016-03-02 Martin Russell Harris STRUCTURED LIGHTING MICROSCOPE AND METHOD
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5485480B1 (ja) 2012-08-08 2014-05-07 オリンパスメディカルシステムズ株式会社 ファイバユニット
KR20140075163A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치
JP2014126753A (ja) 2012-12-27 2014-07-07 Seiko Epson Corp ヘッドマウントディスプレイ
JP6434918B2 (ja) 2013-01-15 2018-12-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 超高分解能の走査ファイバディスプレイ
US8873149B2 (en) 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
WO2014151877A1 (en) 2013-03-14 2014-09-25 The Board Of Trustees Of The Leland Stanford Junior University Holographic head-mounted display
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9343020B2 (en) 2013-08-05 2016-05-17 Massachusetts Institute Of Technology Methods and apparatus for visual display
US9763071B2 (en) 2013-09-22 2017-09-12 Ricoh Company, Ltd. Mobile information gateway for use in emergency situations or with special equipment
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP4220999A3 (en) * 2013-11-27 2023-08-09 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9389424B1 (en) 2014-04-02 2016-07-12 Magic Leap, Inc. Methods and systems for implementing a high resolution color micro-display
EP3671317B1 (en) 2015-07-20 2021-11-10 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
CN108139518B (zh) 2015-10-06 2024-03-29 奇跃公司 具有反向角衍射光栅的虚拟/增强现实系统
AU2017209171B2 (en) 2016-01-20 2021-10-21 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
CN109212771A (zh) 2018-11-27 2019-01-15 上海天马微电子有限公司 一种三维显示装置及显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点
CN103105634A (zh) * 2011-11-15 2013-05-15 乐金显示有限公司 薄的平坦式会聚透镜
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20140140653A1 (en) * 2012-11-16 2014-05-22 Rockwell Collins, Inc. Transparent waveguide display
CN103823267A (zh) * 2012-11-16 2014-05-28 罗克韦尔柯林斯公司 透明波导显示装置
WO2014144526A2 (en) * 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456508A (zh) * 2019-07-30 2019-11-15 成都理想境界科技有限公司 一种近眼显示系统及智能眼镜

Also Published As

Publication number Publication date
IL297402B2 (en) 2023-12-01
AU2016336546B2 (en) 2021-09-16
IL297402A (en) 2022-12-01
AU2016336546A1 (en) 2018-05-10
EP4246215A2 (en) 2023-09-20
US20210157146A1 (en) 2021-05-27
US11662585B2 (en) 2023-05-30
IL297402B1 (en) 2023-08-01
IL258059B2 (en) 2023-03-01
US20170097507A1 (en) 2017-04-06
CA2998030A1 (en) 2017-04-13
JP7216547B2 (ja) 2023-02-01
KR102608802B1 (ko) 2023-11-30
EP3359990A4 (en) 2018-10-17
EP3359990A1 (en) 2018-08-15
US10935792B2 (en) 2021-03-02
IL258059B (en) 2022-11-01
AU2021282549A1 (en) 2022-01-06
KR20230006605A (ko) 2023-01-10
KR102579831B1 (ko) 2023-09-15
KR20180066164A (ko) 2018-06-18
EP3359990B1 (en) 2023-09-20
US10338391B2 (en) 2019-07-02
CN108139518B (zh) 2024-03-29
US20190353907A1 (en) 2019-11-21
EP4246215A3 (en) 2023-12-27
IL304501A (en) 2023-09-01
WO2017062667A1 (en) 2017-04-13
JP2019502142A (ja) 2019-01-24
IL258059A (en) 2018-05-31
NZ775329A (en) 2022-07-01
IL304501B1 (en) 2024-04-01
CA2998030C (en) 2022-12-06
KR20230164249A (ko) 2023-12-01
NZ741832A (en) 2021-11-26

Similar Documents

Publication Publication Date Title
CN108139518A (zh) 具有反向角衍射光栅的虚拟/增强现实系统
CN108139587A (zh) 用于在虚拟/增强现实系统中扫描光纤的微透镜准直器
JP7042889B2 (ja) 仮想／拡張現実システムにおける内向き角度を用いてファイバスキャナをコリメートする設計
NZ739170B2 (en) Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
NZ741832B2 (en) Virtual/augmented reality system having optical modulation apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant