CN107850784B - 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计 - Google Patents

虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计 Download PDF

Info

Publication number
CN107850784B
CN107850784B CN201680042281.4A CN201680042281A CN107850784B CN 107850784 B CN107850784 B CN 107850784B CN 201680042281 A CN201680042281 A CN 201680042281A CN 107850784 B CN107850784 B CN 107850784B
Authority
CN
China
Prior art keywords
light
optical fiber
waveguide
display subsystem
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680042281.4A
Other languages
English (en)
Other versions
CN107850784A (zh
Inventor
I·L·约
L·E·埃德温
A·M·舒尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202110494930.7A priority Critical patent/CN113568165B/zh
Publication of CN107850784A publication Critical patent/CN107850784A/zh
Application granted granted Critical
Publication of CN107850784B publication Critical patent/CN107850784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/103—Scanning systems having movable or deformable optical fibres, light guides or waveguides as scanning elements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0028—Light guide, e.g. taper
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/003—Lens or lenticular sheet or layer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Abstract

一种用于虚拟图像生成系统的显示子系统。显示子系统包括平面波导装置和光纤，该光纤具有相对于平面波导设备固定的远侧末端以及靠近远侧末端的开孔。显示子系统进一步包括至少一个光源，其耦合光纤并被配置为从光纤的开孔发射光；以及机械驱动组件，光纤被安装到驱动组件。机械驱动组件被配置为根据扫描图案将光纤的开孔移位。显示子系统进一步包括光学波导输入装置，该光学波导输入装置被配置为将来自光纤的开孔的光引导到平面波导装置，使得平面波导装置向终端用户显示一个或多个图像帧。

Description

虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪 设计
技术领域
本发明总体上涉及被配置为便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可能被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现作为对终端用户周围的实际世界的可视化的增强。
例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设置 6。除了这些项目之外，AR技术的终端用户同样感知到他“看到”站在真实世界平台8上的机器人雕像10，以及正飞行的卡通式化身角色12，通过该化身角色看起来像大黄蜂的化身，即使这些元素10、12在真实世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，并且产生有助于除虚拟或真实世界的图像元素之外的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。
VR和AR系统通常利用至少松散地耦合到用户头部的头戴式显示器 (或头盔式显示器或智能眼镜)，并且因此在终端用户的头部移动时移动。如果显示系统检测到终端用户的头部运动，则可以更新显示的数据，以考虑头部姿态(即用户头部的取向和/或位置)的变化。
作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D) 对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象可以对于每一个视点被重新渲染，给终端用户他或她在占据真实空间的对象周围走动的感觉。如果头戴显示器用于在虚拟空间(例如，丰富的虚拟世界) 内呈现多个对象，则头部姿态的测量可用于重新渲染场景以匹配终端用户的动态变化的头部位置和取向并提供虚拟空间的增强沉浸感。
使能AR(即，现实和虚拟元素的同时观看)的头戴式显示器可以具有几种不同类型的配置。在通常被称为“视频透视”显示器的一个这种配置中，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明)元素以直接观看来自环境中真实对象的光。通常被称为“组合器”的透明元素将来自显示器的光线叠加在终端用户对真实世界的视角之上。
VR和AR系统通常利用具有投影子系统和位于终端用户的视场前方的显示表面的显示系统，并且投影子系统依次将图像帧投影在该显示表面上。在真实的三维系统中，显示表面的深度可以以帧率或子帧率控制。投影子系统可以包括一个或多个光纤，来自一个或多个光源的光以限定的图案发射不同颜色的光到该一个或多个光纤中；以及扫描设备，其以预定图案扫描光纤以创建依次向终端用户显示的图像帧。
在一个实施例中，该显示系统包括一个或多个平面波导，该一个或多个平面波导通常平行于用户的视场，并且来自光纤的光被注入到该平面波导中。一个或多个线性衍射光栅嵌入在波导内以改变沿着波导传播的入射光的角度。通过将光的角度改变为超出全内反射(TIR)的阈值，光从波导的一个或多个侧面逃离。线性衍射光栅具有低的衍射效率，因此每次光遇到线性衍射光栅时，只有一小部分光能被引导出波导。通过沿着光栅在多个位置处将光耦合出，显示系统的出射光瞳有效地增加。显示系统可以进一步包括使来自光纤的光准直的一个或多个准直元件以及将准直的光光学地耦合到波导的边缘或从波导的边缘光学地耦合的一个或多个光学耦合元件。
在典型的光纤扫描显示系统中，每根光纤充当振动悬臂，其从支点扫过较大的偏转，以便根据设计的扫描图案扫描光。然而，由于准直光的大的偏转，光学耦合元件的尺寸必须相对较大，从而增加了显示系统的尺寸。光学耦合元件的该尺寸在堆叠波导结构的情况下变得更成问题，该堆叠的波导结构需要与距扫描光纤更远距离的波导相关联的光学元件以适应扫描准直光的较大跨度。
例如，参考图2，显示系统20的一个实施例包括一个或多个光源22，其生成以空间和/或时间变化的光的形式编码的图像数据；光学地耦合到光源22的光纤24；以及将从光纤24的远端离开的光准直的准直元件26。显示系统20进一步包括压电元件28，光纤24安装到压电元件28或安装在压电元件28中作为固定自由的柔性悬臂；以及驱动电子器件30，其电耦合到压电元件22以激活电激励压电元件28，从而使光纤24的远端以产生围绕支点34的偏转32的预定扫描图案振动。
显示系统20包括波导装置38，该波导装置38包括大体上平行于终端用户的视场的多个平面波导40a-40e；以及与平面波导40中的每一个相关联的一个或多个衍射光学元件(DOE)42a-42e。源自光纤24的光沿着平面波导40中的选定平面波导传播并且与相应的DOE42相交，使光的一部分朝向终端用户的眼睛离开波导装置38的面，其取决于所选的平面波导 40而聚焦在一个或多个观看距离处。
显示系统20进一步包括以衍射光学元件(DOE)44a-44e形式的光学耦合元件，其集成在相应平面波导40a-40e的端部内，并将准直光反射到平面波导40中的选定平面波导中。如可以看出的，随着每一个DOE 44与光纤24的端部之间的距离增加，相应的DOE 44的长度必须增加以便适应光纤24的偏转角度的增加的线性跨度。由于最大的DOE 44，并且在这种情况下，由于DOE 44e，这必然增加了波导装置38的尺寸和复杂性。
作为另一个示例，参考图3，显示系统50的另一个实施例类似于图2 的显示系统10，例外之处在于显示系统50包括以光学分配波导52的形式的光学耦合元件，该光学分配波导52具有将准直光反射到平面波导40中选定的平面波导的DOE 54a-54e。分配波导52的宽度必须足够大以适应光纤24的偏转角的最大线性跨度，从而必然增加波导装置38的尺寸和复杂性。
因此，需要减小用于将来自一个或多个光纤的光耦合到虚拟现实或增强现实环境中的一个或多个平面波导中的光学耦合元件的尺寸。
发明内容
本发明的实施例涉及用于便于一个或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。虚拟图像生成系统可以例如包括存储三维场景的存储器和被配置为渲染三维场景的多个合成图像帧的控制子系统，在这种情况下，显示子系统可以被配置为向终端用户依次显示多个图像帧。
根据本发明，提供了用于供终端用户使用的虚拟图像生成系统的显示子系统。显示子系统包括平面波导装置。在一个实施例中，平面波导装置被配置为定位在终端用户的眼睛的前方。在另一个实施例中，平面波导装置具有部分透明的显示表面，该部分透明的显示表面被配置为定位在终端用户的眼睛和周围环境之间的视场内。在又一个实施例中，显示子系统进一步包括被配置为由终端用户佩戴的框架结构，在该情况下，框架结构承载平面波导装置。
显示子系统进一步包括光纤，该光纤具有相对于平面波导装置固定(例如，安装)的远侧末端和靠近远侧末端的开孔(aperture)。显示子系统进一步包括耦合到光纤并被配置为从光纤的开孔发射光的至少一个光源，以及机械驱动组件，光纤被安装到驱动组件。机械驱动组件被配置为根据扫描图案移动光纤的开孔。在一个实施例中，机械驱动组件包括光纤安装到其上的压电元件，以及被配置为将电信号传送到压电元件的驱动电子器件，从而使光纤根据扫描图案振动(例如，在一阶振动模式中)。
显示子系统进一步包括光学波导输入装置，该光学波导输入装置被配置为将来自光纤的开孔的光引导到平面波导装置，使得平面波导装置向终端用户显示一个或多个图像帧。在一个实施例中，从光纤的开孔发射的光向内会聚到位于光学波导输入装置内的较小区域，诸如例如焦点。
在一个实施例中，平面波导装置包括多个平面波导，该多个平面波导被配置为分别在不同焦点处向终端用户显示一个或多个图像帧，并且光学波导输入装置被配置为将来自光学调制装置的光引导到多个平面波导。光学波导输入装置可以包括分别沿着平面波导平行延伸的多个衍射光学元件，在这种情况下，多个衍射光学元件分别将来自光学调制装置的光引导到平面波导。可替代地，光学波导输入装置可以包括垂直于平面波导延伸的分配波导，在这种情况下，分配波导包括多个衍射光学元件，该多个衍射光学元件分别将来自光学调制装置的光引导到平面波导。
可选地，显示子系统进一步包括配置为将来自光纤的光准直的准直元件，在这种情况下，光学波导输入装置被配置为将来自准直元件的准直光引导到平面波导装置。准直元件可以安装在光纤的开孔上，在这种情况下，准直元件可以采取诸如微透镜的透镜的形式。或者，准直元件可以安装到平面波导装置。
在具体实施方式、附图和权利要求中描述了本发明的附加和其它目的、特征和优点。
附图说明
附图示出了本发明的实施例的设计和利用，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本发明的上述和其它优点和目的，将通过参考在附图中示出的本发明的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，在附图中：
图1是可以由现有增强现实生成设备向终端用户显示的三维增强现实场景的图片；
图2是可以在增强现实生成设备中使用的现有显示系统的一个实施例的平面图；
图3是可以在增强现实生成设备中使用的现有显示系统的另一个实施例的平面图；
图4是根据本发明的一个实施例构建的虚拟图像生成系统的框图；
图5是由图4的虚拟图像生成系统生成的示例性帧的平面图；
图6是可用于生成帧的一个扫描图案的平面图；
图7是可用于生成帧的另一扫描图案的平面图；
图8是可用于生成帧的又一扫描图案的平面图；
图9是可用于生成帧的又一扫描图案的平面图；
图10a是可用于佩戴图4的虚拟图像生成系统的一种技术的平面图；
图10b是可用于佩戴图4的虚拟图像生成系统的另一技术的平面图；
图10c是可用于佩戴图4的虚拟图像生成系统的又一技术的平面图；
图10d是可用于佩戴图4的虚拟图像生成系统的又一技术的平面图；
图11是用于图4的虚拟图像生成系统中的显示子系统的一个实施例的平面图；
图12是用于图11的显示子系统中的主平面波导的一个实施例；
图13a是用于在图4的虚拟图像生成系统中的显示子系统的一个实施例的透视图；
图13b是图13a的显示子系统的透视图，特别示出了从一个焦点延伸的光线；
图13c是图13a的显示子系统的透视图，特别示出了从另一个焦点延伸的光线；
图14是用于在图4的虚拟图像生成系统中的显示子系统的另一个实施例的平面图；
图15是用于图13的显示子系统中的平面波导装置的一个实施例的平面图；
图16是用于图13的显示子系统中的平面波导装置的另一实施例的平面图；
图17是图16的平面波导装置的剖面图；
图18是连接到用于图13的显示子系统中的平面波导装置的扫描设备的一部分的一个实施例的平面图；
图19是图18的扫描设备的一部分的平面图，特别示出了光纤在一阶振动模式中的振动。
图20a是图18的扫描设备的与具有准直元件的一个实施例的光学波导输入装置交互的部分的平面图，特别示出了光束会聚到在光学波导输入装置的中心的焦点上；
图20b是图18的扫描设备的与具有准直元件的另一实施例的光学波导输入装置交互的部分的平面图，特别示出了光束会聚到在光学波导输入装置的中心的焦点上；
图20c是图18的扫描设备的与具有准直元件的一个实施例的光学波导输入装置交互的部分的平面图，特别示出了光束会聚到在光学波导输入装置的边缘处的焦点上；
图21a是可以在图11的显示子系统中使用的光学波导输入装置的一个实施例；以及
图21b是可以在图11的显示子系统中使用的光学波导输入装置的另一个实施例。
具体实施方式
下面的描述涉及在虚拟现实和/或增强现实系统中使用的显示系统和方法。然而，应该理解，虽然本发明使得其很好地适用于虚拟或增强现实系统中的应用，但是本发明在其最广泛的方面可以不受如此限制。
参考图4，现在将描述根据本发明构造的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可以作为增强现实子系统操作，提供与在终端用户50的视场中的物理对象相互混合的虚拟对象的图像。当操作虚拟图像生成系统100时，存在两种基本方法。第一种方法利用一个或多个成像器(例如相机)来捕捉周围环境的图像。虚拟图像生成系统100将虚拟图像相互混合成表示周围环境的图像的数据。第二种方法利用一个或多个至少部分透明的表面，通过该一个或多个至少部分透明的表面可以看到周围环境，并且在该一个或多个至少部分透明的表面上虚拟图像生成系统 100产生虚拟对象的图像。
虚拟图像生成系统100以及在此教导的各种技术可以用于增强现实和虚拟现实子系统以外的应用中。例如，各种技术可以应用于任何投影或显示子系统，或者可以应用于可由终端用户的手而不是头部进行移动的微型投影仪。因此，虽然在此经常在增强现实子系统或虚拟现实子系统方面描述，但是教导不应限于这种使用的这种子系统。
至少对于增强现实应用来说，可能期望相对于终端用户50的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象(在此也被称为虚拟标签或标签或标出(callout))可以采取多种形式中的任何一种，基本上是能够表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。
为此，虚拟图像生成系统100包括由终端用户50佩戴的框架结构102；由框架结构102承载的显示子系统104，使得显示子系统104定位在终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106定位成邻近终端用户50的耳道(可选地，另一个扬声器(未示出)被定位成邻近终端用户50的另一个耳道以提供立体声/可塑形声音控制)。显示子系统104被设计成向终端用户50的眼睛52呈现基于照片的辐射图案，该辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，以及能够呈现二维内容。显示子系统104以高频率呈现合成图像帧序列，其提供对单个相干场景的感知。
显示子系统104包括投影子系统108和部分透明的显示屏110，投影子系统108在该部分透明的显示屏110上投影图像。显示屏110定位在终端用户50的眼睛52和周围环境之间的终端用户50的视场内。
在所示实施例中，投影子系统108采用基于光纤扫描的投影装置的形式，并且显示屏110采取基于波导的显示器的形式，来自投影子系统108 的扫描光注入该基于波导的显示器中以产生例如比无限远更近的单个光学观看距离(例如手臂长度)处的图像、处于多个离散光学观看距离或焦平面处的图像，和/或堆叠在多个观看距离或焦平面处以表示体积3D对象的图像层。光场中的这些层可以足够紧密地堆叠在一起以对人类视觉子系统看起来连续(即，一个层在相邻层的混淆锥内)。另外或可替代地，图片元素可以横跨两个或更多个层混合，以增加光场中层之间的过渡的感知连续性，即使这些层更稀疏地堆叠(即，一个层在相邻层的混淆锥外)。显示子系统104可以是单目的或双目的。
因此，显示子系统104生成像素信息的一系列合成图像帧，其向用户呈现一个或多个虚拟对象的图像。例如，参考图5，合成图像帧118被示意性地示出，其中单元120a-120m被划分成水平行或线122a-122n。帧118 的每一个单元120可以为单元120所对应的相应像素指定多种颜色中的每一种颜色的值和/或强度。例如，帧118可以为每一个像素指定红色124a 的一个或多个值，绿色124b的一个或多个值，以及蓝色124c的一个或多个值。值124可以被指定为针对颜色中每种颜色的二进制表示，例如，针对每种颜色的相应4位数。帧118的每一个单元120可以另外包括指定幅度的值124d。
帧118可以包括一个或多个场(field)，统一为126。帧118可以由单个场组成。可替代地，帧118可以包括两个或甚至更多个场126a-126b。用于帧118的完整的第一场126a的像素信息可以在用于完整的第二场 126b的像素信息之前指定，例如在阵列、有序列表或其它数据结构(例如，记录、链接列表)中的用于第二场126b的像素信息之前发生。假设呈现子系统被配置为处理多于两个场126a-126b，则第三或甚至第四场可以跟随第二场126b。
现在参考图6，使用光栅扫描图案128生成帧118。在光栅扫描图案 128中，依次呈现像素130(仅一个被标出)。光栅扫描图案128通常从左到右(由箭头132a、132b指示)，然后从顶部到底部(由箭头134指示) 呈现像素。因此，呈现可以从右上角处开始并向左横穿第一线136a，直到到达线的末端。光栅扫描图案128然后通常向下从下一线的左边开始。当从一线的末端返回到下一线的开始时，该呈现可以暂时中断(black out) 或消隐(blank)。该过程逐线地重复，直到底线136n被完成，例如在最右下角的像素处。随着帧118完成，开始新的帧，再次返回下一帧的最上面的线的右边。再者，当从左下返回到右上以呈现下一帧时，呈现可能被消隐。
光栅扫描的许多实施方式利用被称为隔行扫描图案的方式。在隔行光栅扫描图案中，来自第一和第二场126a、126b的线是隔行的。例如，当呈现第一场126a的线时，用于第一场126a的像素信息可以仅用于奇数线，而用于第二场126b的像素信息可以仅用于偶数线。因此，帧118(图5) 的第一场126a的所有线通常在第二场126b的线之前呈现。可以使用第一场126a的像素信息依次呈现线1、线3、线5等来呈现第一场126a。然后，可以在第一场126a之后通过使用第二场126b的像素信息依次呈现线2、线4、线6等来呈现帧118(图5)的第二场126b。
参考图7，可以使用螺旋扫描图案140代替光栅扫描图案128来生成帧118。螺旋扫描图案140可以由单个螺旋扫描线142组成，该单个螺旋扫描线142可以包括一个或者多个完整的角周期(例如360度)，其可以被称为线圈或环。与图6所示的光栅扫描图案128一样，螺旋扫描图案140 中的像素信息用于指定每一个顺序像素的颜色和/或强度，作为角度增量。幅度或径向值146指定从螺旋扫描线142的起始点148的径向尺寸。
参考图8，李萨如(Lissajous)扫描图案150可以可替代地用于生成帧118。李萨如扫描图案150可以由单个李萨如扫描线152组成，该单个李萨如扫描线152可以包括一个或多个完整的角周期(例如，360度)，其可以被命名为线圈或环。可替代地，李萨如扫描图案150可以包括两个或更多个李萨如扫描线152，每一个彼此相对相移以嵌套李萨如扫描线152。像素信息用于指定每一个顺序像素的颜色和/或强度，作为角度增量。幅度或径向值指定从李萨如扫描线152的起始点156的径向尺寸154。
参考图9，多场螺旋扫描图案158可以可替代地用于生成帧118。多场螺旋扫描图案158包括两个或更多个不同的螺旋扫描线，统一为160，并且具体地，四个螺旋扫描线160a-160d。用于每一个螺旋扫描线160的像素信息可以由帧的相应场指定。有利地，可简单地通过偏移在螺旋扫描线 160中的每一个连续螺旋扫描线160之间相位来嵌套多个螺旋扫描线160。螺旋扫描线160之间的相位差应该是将利用的螺旋扫描线160的总数的函数。例如，四个螺旋扫描线160a-160d可以通过90度相移来分开。示例性实施例可以通过10个不同的螺旋扫描线(即，子螺旋)以100Hz刷新率操作。类似于图7的实施例，一个或多个幅度或径向值指定从螺旋扫描线 160的起始点164的径向尺寸162。
返回参考图4，虚拟图像生成系统100进一步包括安装到框架结构102 的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和/或终端用户50的眼睛位置和瞳孔间距离。这种传感器可包括图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪)。
例如，在一个实施例中，虚拟图像生成系统100包括头戴式换能器子系统126，该头戴式换能器子系统126包括一个或多个惯性换能器，以捕捉指示终端用户50的头部54的移动的惯性测量。这可以用于感测、测量或收集关于终端用户50的头部运动的信息。例如，这可以用于检测终端用户50的头部54的测量运动、速度、加速度和/或位置。
虚拟图像生成系统100进一步包括一个或多个前向相机128，其可用于捕获关于终端用户50所处的环境的信息。前向相机128可用于捕获指示终端用户50相对于该环境和该环境中的特定对象的距离和取向的信息。当佩戴头部时，前向相机128特别适合于捕获指示终端用户50的头部54相对于终端用户50所处的环境和该环境中的特定对象的距离和取向的信息。前向相机128可以例如用于检测头部运动、速度和/或头部运动的加速度。例如，前向相机128可以用于例如至少部分地基于终端用户50的头部54 的取向来检测或推断终端用户50的关注中心。可以在任何方向(例如相对于终端用户50的参考系向上/向下、向左、向右)检测取向。
虚拟图像生成系统100进一步包括一对后向相机129，以跟踪终端用户50的眼睛52的运动、眨眼和聚焦深度。例如，可以通过将光投影到终端用户的眼睛并检测至少一些投射光的返回或反射来辨别这种眼睛跟踪信息。
虚拟图像生成系统100进一步包括患者取向检测模块130。患者取向模块130检测终端用户50的头部54的即时位置，并且可以基于从传感器接收的位置数据预测终端用户50的头部54的位置。重要的是，检测终端用户50的头部54的即时位置有助于确定终端用户50正在注视的特定实际对象，由此提供待为该实际对象生成的特定文本消息的指示，并且进一步提供文本消息将被流式传输的文本区域的指示。患者取向模块130同样基于从传感器接收的跟踪数据跟踪终端用户50的眼睛52。
虚拟图像生成系统100进一步包括可以采取多种形式中的任何一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器，诸如专用集成电路(ASIC)、例如场PGA(FPGA) 的可编程门阵列(PGA)，和/或可编程逻辑控制器(PLU)。
在所示实施例中，虚拟图像生成系统100包括中央处理单元(CPU) 132、图形处理单元(GPU)134和一个或多个帧缓冲器136。CPU 132控制整体操作，而GPU 134根据存储在远程数据储存库150中的三维数据渲染帧(即，将三维场景转换成二维图像)，并将这些帧存储在帧缓冲器136 中。尽管未示出，一个或多个附加集成电路可以控制帧从帧缓冲器136的读入和/或读出，以及显示子系统104的扫描设备的操作。例如在帧被过度渲染的情况下，读入和/或读出帧缓冲器146可以利用动态寻址。虚拟图像生成系统100进一步包括只读存储器(ROM)138和随机存取存储器 (RAM)140。虚拟图像生成系统100进一步包括三维数据库142，GPU 134 可从该三维数据库142访问用于渲染帧的一个或多个场景的三维数据。
虚拟图像生成系统100的各种处理组件可以物理地包含在分配式子系统中。例如，如图10a-10d中所示，虚拟图像生成系统100包括可操作地 (诸如通过有线引线或无线连接146)耦合到显示子系统104和传感器的本地处理和数据模块144。本地处理和数据模块144可以以各种配置来安装，诸如固定地附接到框架结构102(图10a)，固定地附接到头盔或帽子 56(图10b)，嵌入耳机中，可移除地附接到终端用户50的躯干58(图 10c)，或者以带式耦合方式配置可移除地附接到终端用户50的髋部60(图 10d)。虚拟图像生成系统100进一步包括远程处理模块148和远程数据储存库150，该远程处理模块148和远程数据储存库150诸如通过有线引线或无线连接150、152可操作地耦合到本地处理和数据模块144，使得这些远程模块148、150可操作地彼此耦合并且作为资源可用于本地处理和数据模块144。
本地处理和数据模块144可以包括功率高效的处理器或控制器以及数字存储器(诸如闪速存储器)，这两者都可以用来辅助从传感器捕获和/ 或使用远程处理模块148和/或远程数据储存库150获取和/或处理的数据的处理、高速缓存和存储，可能在这种处理或检索之后传递给显示子系统 104。远程处理模块148可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强力的处理器或控制器。远程数据储存库150可以包括相对大规模的数字数据存储设施，其可以通过互联网或以“云”资源配置中的其它网络配置来获得。在一个实施例中，所有数据都被存储，并且在本地处理和数据模块144中执行所有计算，允许从任何远程模块完全自主使用。
上述各种组件之间的耦合146、152、154可以包括用于提供导线或光学通信的一个或多个有线接口或端口，或者用于提供无线通信的诸如经由 RF、微波和IR的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实施方式中，所有通信可以是无线的。在更进一步的实施方式中，有线和无线通信的选择可以不同于图10a-10d中所示的通信选择。因此，有线或无线通信的特定选择不应被视为限制性的。
在所示实施例中，患者取向模块130包含在本地处理和数据模块144 中，而CPU132和GPU 134包含在远程处理模块148中，但是在替代实施例中，CPU 132、GPU 124或其部分可以包含在本地处理和数据模块144 中。3D数据库142可以与远程数据储存库150相关联。
现在参考图11和图12，显示屏110包括主波导装置200。主波导装置 200包括一个或多个主平面波导202(图11和12中仅示出一个)和与主波导202中的至少一些中的每一个相关联的一个或多个衍射光学元件(DOE) 204(图11和12中仅示出一个)。如图12中最优所示的，每一个主波导 202具有第一端部206a和第二端部206b，第二端部206b沿着主波导202的长度208与第一端206a相对。主波导202中的每一个具有第一面210a 和第二面210b，至少第一和第二面210a、210b(统一为212)沿着主波导 202的长度208的至少一部分形成至少部分内反射的光路(由箭头212a和虚线箭头212b示出，统一为212)。主波导202可以采取为以小于限定的临界角照射面210的光提供基本上全内反射(TIR)的各种形式。主波导 202中的每一个可以例如采取玻璃、熔融石英、丙烯酸或聚碳酸酯的窗格 (pane)或平面的形式。
DOE 204(在图11和图12中用双点划线示出)可以采用中断TIR光路212的多种形式，提供沿着主波导202的长度206的至少一部分延伸的在主波导202的内部216和外部218之间的多个光路(由箭头214a和虚线箭头214b示出，统一为214)。DOE 204可以允许明显对象和用于明显对象的焦平面的定位。这可以基于逐帧、逐个子帧或者甚至逐像素来实现。
如图12中所示，光沿着主波导202传播，其中至少一些反射或“反弹”由TIR传播产生。应注意，一些实施方式可以在内部光路中利用可以促进反射的一个或多个反射器，例如薄膜、电介质涂层、金属化涂层等。光沿着主波导202的长度208传播，并且与一个或多个DOE204在沿着长度 208的各个位置处相交。DOE 204可以包含在主波导202内或邻接或邻近主波导202的一个或多个面210。DOE 204完成至少两个功能。DOE 204 改变光的角度，导致光的一部分逃离TIR，并且经由主波导202的一个或多个面210从内部216出射到外部218。DOE204将耦合出的光在一个或多个观看距离处聚焦。因此，透视主波导202的面210a的人可以在一个或多个观看距离处看到数字图像。
参考图13a-13c，显示屏110包括分配波导装置222，以沿着第一轴(图 11a中的垂直轴或Y轴)中继光，并沿着第一轴(例如Y轴)扩展光的有效出射光瞳。分配波导装置222可以例如包括一个或多个分配平面波导224 (仅示出一个)和与分配平面波导224中的每一个相关联的DOE 226(由双点划线示出)。分配平面波导224在至少一些方面可以与主波导202相似或相同，具有与其不同的取向。类似地，DOE 226在至少一些方面可以与DOE 204相似或相同。例如，分配平面波导220和/或DOE 226可以分别由与主波导202和/或DOE 204相同的材料组成。
中继的和出射光瞳扩展的光从分配波导装置222光学耦合到主波导 202中。主波导202沿着第二轴中继光，在一个实施例中，正交于第一轴 (例如图13a的水平轴或X轴)。值得注意的是，第二轴可以是与第一轴非正交的轴。主波导202沿着该第二轴(例如X轴)扩展光的有效出射光瞳。具体地，分配平面波导224可以沿着垂直或Y轴中继和扩展光，并且将该光传递到主波导202，该主波导202沿着水平轴或X轴中继和扩展光。
显示屏110可以在能够被定位得比光学无限远更近的单个焦平面处生成图像。如图13b中所示，准直光通过全内反射沿着分配平面波导224垂直传播，并且这样做与DOE 226重复相交。在一个实施例中，DOE 226 具有低衍射效率(例如小于50％)。这导致在与DOE226的每一个交点处光的一部分(例如，10％)被衍射朝向较大的主平面波导202的边缘，并且光的一部分在其原始轨迹上经由TIR沿着分配平面波导224的长度继续。在与DOE 226的每一个交点处，附加光被衍射朝向主波导202的入口。通过将入射光分成多个出耦合的集合，光的出射光瞳由DOE 226在分配平面波导224中垂直扩展。耦合出分配平面波导224的该垂直扩展的光进入主波导202的边缘。
进入主波导202的光经由TIR沿着主波导202水平传播(如图13b中所示)。随着光经由TIR沿着主波导202的长度的至少一部分水平传播，光在多个点处与DOE 204相交。DOE204可以有利地被设计或配置成具有相轮廓，该相轮廓是线性衍射光栅和径向对称衍射透镜的总和。DOE 204 可以有利地具有低的衍射效率。在传播的光和DOE 204之间的每一个交点处，光的一部分朝向主波导202的相邻面衍射，允许光逃离TIR，并从主波导202的面出射。DOE 204的径向对称的透镜实施例另外赋予衍射光的聚焦水平，既将单个光束的光波前成形(例如，赋予曲率)，又将光束以与设计的聚焦水平匹配的角度转向。如图13b中所示，四个光束228a-228d 在几何上延伸到焦点228，并且每一个光束有利地被赋予具有在焦点228处的半径中心的凸波前轮廓，以在给定的焦平面处产生图像或虚拟对象 230a。
参考图13c，显示屏110可以生成多焦点体积显示、图像或光场。第一组四个光束228a-228d在几何上延伸到焦点230a，并且每一个光束 228a-228d有利地被赋予具有在焦点230a处的半径中心的凸波前轮廓，以在相应的焦平面处产生图像或虚拟对象232a的另一部分。第二组四个光束 228e-228h在几何上延伸到焦点230b，并且每一个光束228e-228h有利地被赋予具有在焦点230b处的半径中心的凸波前轮廓，以在相应的焦平面处产生图像或虚拟对象232b的另一部分。
在图11-12 、 13a-13c 中所示的显示子系统104的实施例中，单个投影子系统108用于向显示屏110提供图像数据。与在图11-12 、 13a-13c 中所示的显示系统相比，如在图14中所示，显示子系统104可以包括多个投影子系统108a-108e(仅示出五个，统一为108)，以向显示屏110提供相应的图像数据。投影子系统108通常沿着显示屏110的边缘234排列或布置。例如，平面波导202 的数量与投影子系统108的数量之间可以是一对一(1：1)比率或相关性。
显示子系统104可以使得能够使用单个主平面波导202。多个投影子系统108可以例如沿着主平面波导202的最靠近终端用户头部的太阳穴的边缘234以线性阵列设置。每一个投影子系统108将编码子图像数据的调制光从不同的相应位置注入主平面波导202，从而产生不同的光路径。这些不同的路径可以通过多个DOE以不同角度、聚焦水平和/或在出射光瞳处产生的不同填充图案使光耦合出主平面波导202。在出射光瞳处的不同填充图案可以有利地用于创建光场显示。可以利用堆叠中的每个层或堆叠中的一组层(例如3层)来生成相应的颜色(例如红色、蓝色、绿色)。因此，例如，可以利用第一组三个相邻层分别在第一焦深处产生红光、蓝光和绿光。可以利用第二组三个相邻层分别在第二焦深处产生红光、蓝光和绿光。可以利用多个组生成具有不同焦深的全3D或4D彩色图像场。
现在参考图15，每一个平面波导202可以包括多个DOE 204a-204d(四个被示出，每一个都被表示为双点划线，统一为204)。DOE 204沿着大体上平行于显示屏110的视场的轴236堆叠、排列或布置。尽管示出为全部在内部，但在一些实施方式中，DOE 204中的一个、多个或甚至全部可以位于主波导202的外部。
在一些实施方式中，每一个DOE 204能够被独立地接通和断开。也就是说，每一个DOE 204可以被制作为活跃的(active)，使得相应的DOE 204衍射与相应的DOE 204相交的显著(significant)部分光，或者其可以变得不活跃的(inactive)，使得相应的DOE 204完全不衍射与相应的 DOE 204相交的光，或者仅衍射不显著部分的光。在该上下文中“显著”是指当从主波导202耦合出时足够的光能够被人眼视觉系统感知，而“不显著”是指没有足够的光被人类视觉系统感知，或者被观察者忽略的足够低的水平。
可开关控制的DOE 204可一次一个地接通，使得主平面波导202中的仅一个DOE204活跃地衍射主平面波导202中的光，以可感知的量从主平面波导202的一个或多个面210出射。可替代地，两个或更多个DOE 204 可以同时接通，使得它们的衍射效果被组合。
该组DOE中的每一个DOE 204可以具有不同的相位图。例如，每一个DOE 204可以具有相应的相位图，使得每一个DOE 204在接通时将光引导到X、Y或Z中的不同位置。例如，DOE204可以在它们的线性光栅实施例和/或它们的径向对称衍射透镜实施例中彼此变化。如果DOE 204 在它们的衍射透镜实施例中彼此变化，则不同的DOE 204(或DOE 204 的组合)将在不同的光学观看距离(即，不同的焦距)处产生子图像。如果DOE 204在它们的线性光栅实施例中彼此变化，则不同的DOE 204将产生相对于彼此横向偏移的子图像。这种横向偏移可以有利地用于创建小凹显示，以将具有非均匀分辨率或其它非均匀显示参数(例如，亮度、峰值波长、偏振等)的显示图像引导到不同的横向位置，以增加扫描图像的尺寸，以产生出射光瞳特性的变化，和/或以生成光场显示。横向偏移可以有利地用于在所生成的图像中预先形成拼贴或实现拼贴效果。
例如，该组中的第一DOE 204在接通时可以在1米的光学观看距离(例如，图13c中的焦点230b)处产生图像，以供观看者观看主波导202的主面或发射面210a。该组中的第二DOE 204在接通时可以在1.25米的光学观看距离(例如，图13b中的焦点230a)处产生图像，以供观看者观看主波导202的主面或发射面210a。通过以快速时间顺序(例如，基于逐帧、子帧、逐行、子行、逐像素或逐子像素)切换示例性DOE 204接通和断开并且同步地调制由投影子系统108注入到主波导202中的图像数据，形成对观看者感知为单个场景的复合多焦体积图像。通过将不同的对象或对象的部分渲染给由不同的DOE 204中继到观看者的眼睛(在图13c中的位置 232b处)的子图像，虚拟对象或图像被放置在不同的光学观看距离处，或者虚拟对象或图像可以表示为延伸通过多个焦点平面的3D体积。
现在参考图16，显示屏110可以包括多个平面波导202a-202d(示出四个，统一为202)。主波导202a-200d沿着大体上平行于显示屏110的视场的轴236堆叠、排列或布置。主波导202中的每一个包括至少一个DOE 204(由双点划线示出，图16中只有一个被标出)。虽然示为全部在内部，但是在一些实施方式中，DOE 204中的一个、多个或者甚至全部可以在主波导202的外部。另外或可替代地，虽然示出每一个平面波导202具有DOE 204的单个线性阵列，主波导202中的一个或多个可以包括两个或更多个堆叠、排列或布置的DOE 204，类似于关于图15所描述的实施方式。
主波导202中的每一个可以类似于图15的实施例中的DOE 204的操作起作用。也就是说，相应的平面波导202的DOE 204可以各自具有相应的相位图，各个DOE 204的相位图彼此不同。虽然在图15的实施例中利用了DOE 204的动态开关(例如接通/断开)，但是在图16的实施例中可以避免这种情况。代替地或除了动态开关之外，显示系统110可以基于相应的相位图选择性地将光路由到主波导202。因此，显示系统110不是打开具有期望的相位图的特定DOE 204，而是将光路由到具有期望的相位图的DOE 204的特定平面波导202或与具有期望的相位图的DOE 204相关联的特定平面波导202。再次，这可以替代或补充DOE 204的动态切换。
在一个示例中，投影子系统可以被选择性地操作，以基于相应相位图选择性地将光路由到主波导202。在另一个示例中，每一个DOE 204能够独立地接通和断开，类似于参考图15的实施例中接通和断开DOE 204所说明的。DOE 204可以被接通和断开以选择性地基于相应相位图将光路由到主波导202。
如图16中所示，光线从主波导202a、202d中的两个主波导向外发出。为了说明起见，第一平面波导202a在无限远焦距处产生平面或平坦的波前 (由关于光线240的平线238示出，仅为了绘图清晰起见，每一个仅标出一个实例)。相比之下，主波导202d中的另一个在小于无限(例如1米) 的限定焦距处产生凸起的波前(由关于光线244的弧242示出，为了绘图清晰起见，每一个仅标出一个实例)。如图17中所示，主波导202可横向偏移外观和/或光学观察距离-即虚拟对象246a-246c相对于出射光瞳248的不同焦距。
返回参考图11-12 、 13a-13c ，投影子系统108包括产生光的一个或多个光源250(例如以限定的图案发射不同颜色的光)；响应于控制信号以预定的扫描图案(例如诸如以上关于图5-9描述的那些)的扫描设备252；以及将来自扫描设备252的光耦合到显示屏110中的光学耦合子系统254。
光源250可以采取多种形式中的任何一种，例如一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据在像素信息或数据的相应帧中指定的限定像素图案分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度并且高度节能。
扫描设备252包括一个或多个光纤256(例如，单模光纤)，该一个或多个光纤256中的每一个具有近端256a和远端256b，从光源250接收光到该近端256a，以及从该远端256b将光提供给部分透明的显示屏110。如图18中最优所示，光纤256包括开孔256c(以虚线示出)，光从该开孔256c离开光纤256的远端256b。不连续(诸如扭结(kink))的衍射光学元件或反射元件(未示出)可被并入到邻近开孔256c的光纤256中，由此将光从光纤256离轴地引导通过开孔256c。扫描设备252进一步包括光纤256所安装到的机械驱动组件258。驱动组件258被配置为根据扫描图案将光纤256的远端256b移位。
为此，驱动组件208包括光纤256所安装到的压电元件264以及被配置为将电信号传送到压电元件264的驱动电子器件266，由此使得光纤256 的远端256b根据扫描图案振动。因此，光源250和驱动电子器件266的操作以生成以空间和/或时间变化的光的形式编码的图像数据的方式进行协调。
在所示出的实施例中，压电元件264采取中空管的形式，在这种情况下，光纤256的远端256b被穿过压电管264或通过压电管264接纳。光纤 256的远端256b从压电管264突出。压电管264与四象限电极(未示出) 相关联。电极可以例如电镀在压电管264的外部、外表面或外部周边或直径上。芯电极(未示出)同样位于管264的芯部、中心、内部周边或内部直径中。
驱动电子器件266经由导线270电耦合以驱动相对的电极对(未示出) 来独立地在两个轴上弯曲压电管264。光纤256的突出远端256b具有机械谐振模式。谐振频率取决于光纤256的直径、长度和材料特性。通过在光纤256的第一机械谐振模式附近振动压电管264，使光纤256振动。通过刺激两个轴上的谐振，光纤256的远端256b以区域填充2D扫描被双轴扫描。通过与光纤256的扫描同步地调制光源250的强度，从光纤256出射的光形成图像。
值得注意的是，在传统情况下，光纤256的远端256b从压电管264 中突出，作为类似于图2和3中所示的无固定的柔性悬臂，从扫描设备252 发射的光将跨越相对较大的弧度。在没有修改的情况下，将需要相对较大的光学波导输入装置272来适应光纤256的远端256b中的相对大的偏转。
如图18中所示，使用合适的器件将光纤256的远侧末端256d相对于平面波导装置200固定(例如固定到其上)，诸如例如经由延伸部或连接器(未示出)，由此形成固定-固定的悬臂配置(即，光纤256被固定在压电管264和平面波导装置200之间)。因此，因为远侧末端256d被固定到平面波导装置200，所以远侧末端256d没有围绕支点移位，使得输出的光从与支点一致的纵向轴线发散(如图2和3中所示)。相反，包含开孔256c 的光纤256的一部分围绕在远侧末端256d与平面波导装置200之间的固定点弯曲，使得输出的光向内会聚到由衍射光学元件所跨越的相对较小的区域(下面进一步详细描述)。
同样应当注意，开孔256c是无源且刚性的，使得由开孔256c发射的光的角度相对于光纤256在振动时的变化角度具有固定角度。例如，光纤 256在图19中被示出为具有三个不同的偏转，并因此具有三个不同的局部角度。如果所发射的光的角度相对于光纤256的局部角度固定在45度，则光束将指向离轴，但会聚到较小的区域，并且为了说明的目的，会聚到焦点278。
返回参考图11-12 、 13a-13c ，如上面简要讨论的，光学耦合子系统254将来自扫描设备252的光光学地耦合到波导装置102。光学耦合子系统254包括光学波导输入装置272，例如一个或多个反射表面、衍射光栅、反射镜、分色镜或棱镜，以将光光学地耦合到波导装置102的端部。光学耦合子系统 254另外地或可替代地包括将来自光纤256的光准直的准直元件274。如下面将进一步详细描述的，准直元件274可以固定在光纤256上或者相对于光学波导输入装置272固定(例如固定在其上)。
在图20a中所示的一个示例中，准直元件274被安装到光纤256，并且特别地被安装在光纤256的开孔256c内。准直元件274可以包括(诸如通过熔化或抛光)形成在开孔256c内的单个透镜。
不管准直元件274的位置如何，光从准直元件274向内会聚到光学波导输入装置272的中心的焦点278。值得注意的是，将光聚焦在光学波导输入装置272的中心处允许光学波导输入装置272的尺寸最小化。也就是说，将光聚焦在光学波导输入装置272的中心处使扫描光路在光学波导输入装置272的边缘处的最坏情况发散跨度最小化。例如，如图20c所示，如果光聚焦在光学波导输入装置272的前边缘上，则光学波导输入装置272 必须做得更大，以适应扫描光路在光学波导输入装置272的后边缘处的较大的发散跨度。尽管为了说明的目的，光在上面描述为会聚到焦点上，但是应当理解，输出的光可以向内会聚到在光学波导输入装置272内包含的衍射光学元件跨越的相对较小的区域，如下面进一步详细描述的。
现在参考图21a，将描述扫描设备252与光学波导输入装置272的一个实施例之间的交互。在该情况下，光学波导输入装置272采取分配波导装置222的形式，该分配波导装置222具有关于图13a-13c描述的相关联的分配波导224和DOE 226a-226e。如图20a中所示，光从准直元件274 会聚到DOE 226c上，由此使DOE 226的尺寸最小化。结果，分配波导224 的总体宽度被最小化。然后，光被选择性地向下传送到一个或多个主波导 202a-202e。
现在参考图21b，DOE 226可以替代地直接结合到主波导装置200中。在这种情况下，DOE 226分别沿着波导装置200的主平面波导202a-202e 平行地延伸，使得DOE 226分别将来自光学调制装置276的光向下引导到主波导202。如图21b中所示，光从准直元件274会聚到DOE 226c上，由此使DOE 226的尺寸最小化。由于焦点278位于输入光学调制装置276的中心处，所以可以使DOE 226a和226e的长度相等，以便最小化最差情况的DOE 226。结果，波导装置200的总体尺寸被最小化。
虽然已经示出和描述了本发明的特定实施例，但是应该理解，这不旨在将本发明限制到这些实施例，并且对于本领域技术人员来说明显的是，可以进行各种变化和修改，而不脱离本发明的精神和范围。因此，本发明旨在覆盖可以被包括在由权利要求所限定的本发明的精神和范围内的替换、修改和等同物。

Claims (19)

1.一种用于供终端用户使用的虚拟图像生成系统的显示子系统，包括：
平面波导装置；
光纤，其具有相对于所述平面波导装置固定的远侧末端以及靠近所述远侧末端的开孔；
至少一个光源，其耦合到所述光纤并被配置为从所述光纤的所述开孔发射光；
机械驱动组件，其中所述光纤安装至所述驱动组件，所述机械驱动组件被配置为根据扫描图案移动所述光纤的所述开孔；
光学波导输入装置，其被配置为将来自所述光纤的所述开孔的所述光引导到所述平面波导装置，使得所述平面波导装置向所述终端用户显示一个或多个图像帧。
2.根据权利要求1所述的显示子系统，其中所述光纤的所述远侧末端安装到所述平面波导装置。
3.根据权利要求1所述的显示子系统，进一步包括被配置为将来自所述光纤的光准直的准直元件，其中所述光学波导输入装置被配置为将来自所述准直元件的准直光引导到所述平面波导装置。
4.根据权利要求3所述的显示子系统，其中所述准直元件安装在所述光纤的所述开孔上。
5.根据权利要求4所述的显示子系统，其中所述准直元件是透镜。
6.根据权利要求5所述的显示子系统，其中所述透镜是微透镜。
7.根据权利要求3所述的显示子系统，其中所述准直元件安装到所述平面波导装置。
8.根据权利要求1所述的显示子系统，其中从所述光纤的所述开孔发射的所述光向内会聚到焦点。
9.根据权利要求3所述的显示子系统，其中从所述光纤的所述开孔发射的所述光从所述准直元件向内会聚到所述光学波导输入装置的中心处的焦点。
10.根据权利要求1所述的显示子系统，其中所述机械驱动组件包括压电元件，以及被配置为将电信号传送到所述压电元件的驱动电子器件，从而使所述光纤根据所述扫描图案振动，其中所述光纤安装到所述压电元件。
11.根据权利要求10所述的显示子系统，其中所述光纤以一阶振动模式振动。
12.根据权利要求1所述的显示子系统，其中所述平面波导装置包括多个平面波导，所述多个平面波导被配置为分别在不同焦点处向所述终端用户显示所述一个或多个图像帧，并且所述光学波导输入装置被配置为将来自光学调制装置的所述光引导到所述多个平面波导。
13.根据权利要求12所述的显示子系统，其中所述光学波导输入装置包括分别沿着所述平面波导平行延伸的多个衍射光学元件，所述多个衍射光学元件分别将来自所述光学调制装置的所述光引导到所述平面波导。
14.根据权利要求12所述的显示子系统，其中所述光学波导输入装置包括垂直于所述平面波导延伸的分配波导，所述分配波导包括多个衍射光学元件，所述多个衍射光学元件分别将来自所述光学调制装置的所述光引导到所述平面波导。
15.根据权利要求1所述的显示子系统，其中所述平面波导装置被配置为定位在所述终端用户的眼睛的前方。
16.根据权利要求1所述的显示子系统，其中所述平面波导装置具有部分透明的显示表面，所述部分透明的显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场内。
17.根据权利要求1所述的显示子系统，进一步包括被配置为由所述终端用户佩戴的框架结构，所述框架结构承载所述平面波导装置。
18.一种供终端用户使用的虚拟图像生成系统，包括：
存储器，其存储三维场景；
控制子系统，其被配置为渲染所述三维场景的多个合成图像帧；以及
根据权利要求1所述的显示子系统，所述显示子系统被配置为向所述终端用户依次显示所述多个图像帧。
19.根据权利要求18所述的虚拟图像生成系统，其中所述控制子系统包括图形处理单元(GPU)。
CN201680042281.4A 2015-07-20 2016-07-19 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计 Active CN107850784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110494930.7A CN113568165B (zh) 2015-07-20 2016-07-19 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562194746P 2015-07-20 2015-07-20
US62/194,746 2015-07-20
PCT/US2016/043001 WO2017015302A1 (en) 2015-07-20 2016-07-19 Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110494930.7A Division CN113568165B (zh) 2015-07-20 2016-07-19 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计

Publications (2)

Publication Number Publication Date
CN107850784A CN107850784A (zh) 2018-03-27
CN107850784B true CN107850784B (zh) 2021-06-01

Family

ID=57834680

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680042281.4A Active CN107850784B (zh) 2015-07-20 2016-07-19 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计
CN202110494930.7A Active CN113568165B (zh) 2015-07-20 2016-07-19 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110494930.7A Active CN113568165B (zh) 2015-07-20 2016-07-19 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计

Country Status (9)

Country Link
US (1) US10254536B2 (zh)
EP (2) EP3671317B1 (zh)
JP (2) JP6792607B2 (zh)
KR (1) KR102390346B1 (zh)
CN (2) CN107850784B (zh)
AU (2) AU2016296723B2 (zh)
CA (1) CA2991642C (zh)
IL (1) IL256838B2 (zh)
WO (1) WO2017015302A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
EP2842003B1 (en) 2012-04-25 2019-02-27 Rockwell Collins, Inc. Holographic wide angle display
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
AU2015210708B2 (en) 2014-01-31 2020-01-02 Magic Leap, Inc. Multi-focal display system and method
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
EP3198192A1 (en) 2014-09-26 2017-08-02 Milan Momcilo Popovich Holographic waveguide opticaltracker
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
EP3248026B1 (en) 2015-01-20 2019-09-04 DigiLens Inc. Holographic waveguide lidar
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
EP4246215A3 (en) 2015-10-06 2023-12-27 Magic Leap, Inc. Virtual/augmented reality system having reverse angle diffraction grating
US10587848B2 (en) 2016-01-20 2020-03-10 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
EP3398007A1 (en) 2016-02-04 2018-11-07 DigiLens, Inc. Holographic waveguide optical tracker
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US10187634B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10057488B2 (en) * 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
WO2018129398A1 (en) 2017-01-05 2018-07-12 Digilens, Inc. Wearable heads up displays
EP3602167A4 (en) * 2017-03-21 2020-03-04 Magic Leap, Inc. METHOD AND SYSTEM FOR A FIBER SCANNING PROJECTOR
KR102365138B1 (ko) 2017-05-16 2022-02-18 매직 립, 인코포레이티드 혼합 현실을 위한 시스템들 및 방법들
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
GB2566274A (en) * 2017-09-06 2019-03-13 Wave Optics Ltd Display for use in an augmented reality or virtual reality device
JP7399084B2 (ja) 2017-10-16 2023-12-15 ディジレンズ インコーポレイテッド ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法
JP7289845B2 (ja) * 2017-11-30 2023-06-12 フンダシオ インスティトゥート デ シエンシィズ フォトニクス 光学内視鏡
CN111566571B (zh) 2018-01-08 2022-05-13 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
US10690851B2 (en) 2018-03-16 2020-06-23 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US10345519B1 (en) * 2018-04-11 2019-07-09 Microsoft Technology Licensing, Llc Integrated optical beam steering system
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
WO2020069371A1 (en) * 2018-09-28 2020-04-02 Magic Leap, Inc. Method and system for fiber scanning projector with angled eyepiece
WO2020069400A1 (en) * 2018-09-28 2020-04-02 Magic Leap, Inc. Projector integrated with a scanning mirror
CN116559993A (zh) * 2018-10-16 2023-08-08 元平台技术有限公司 具有颜色交叉耦合的显示波导组件
CN111142255A (zh) * 2018-11-02 2020-05-12 成都理想境界科技有限公司 一种ar光学显示模组及显示设备
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
US20200292745A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic Waveguide Backlight and Related Methods of Manufacturing
JP2022535460A (ja) 2019-06-07 2022-08-08 ディジレンズ インコーポレイテッド 透過格子および反射格子を組み込んだ導波路、ならびに関連する製造方法
JP2022543571A (ja) 2019-07-29 2022-10-13 ディジレンズ インコーポレイテッド 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置
US11442222B2 (en) 2019-08-29 2022-09-13 Digilens Inc. Evacuated gratings and methods of manufacturing
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
EP4318082A1 (en) * 2021-03-31 2024-02-07 Sony Group Corporation Image display device
WO2022170287A2 (en) 2021-06-07 2022-08-11 Panamorph, Inc. Near-eye display system
US11940627B2 (en) * 2021-07-09 2024-03-26 Realwear, Inc. Opaque waveguide optical engine assembly for head-mounted device
US11852822B2 (en) * 2021-07-09 2023-12-26 Realwear, Inc. Convertible waveguide optical engine assembly for head-mounted device

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE18452E (en) 1925-01-02 1932-05-03 Spiral mounted lens disk
US4274854A (en) 1978-01-13 1981-06-23 Bell Telephone Laboratories, Incorporated Polarization-preserving optical fiber
US4311999A (en) * 1980-02-07 1982-01-19 Textron, Inc. Vibratory scan optical display
US4955687A (en) 1986-07-25 1990-09-11 Pafford Thomas L Fiber optic telescope
US5033814A (en) 1989-04-10 1991-07-23 Nilford Laboratories, Inc. Line light source
JPH05297313A (ja) * 1992-04-17 1993-11-12 Canon Inc 半導体レーザ偏向素子
US5764317A (en) 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
JPH09149878A (ja) * 1995-11-30 1997-06-10 Seitai Hikari Joho Kenkyusho:Kk 画像計測装置
US5729242A (en) 1996-05-08 1998-03-17 Hughes Electronics Dual PDLC-projection head-up display
US6046720A (en) 1997-05-07 2000-04-04 University Of Washington Point source scanning apparatus and method
JPH10319240A (ja) * 1997-05-22 1998-12-04 Fuji Xerox Co Ltd ヘッドマウンテッドディスプレイ
US5949941A (en) 1997-11-21 1999-09-07 Lucent Technologies Inc. Cladding-pumped fiber structures
US6175669B1 (en) 1998-03-30 2001-01-16 The Regents Of The Universtiy Of California Optical coherence domain reflectometry guidewire
JP3653402B2 (ja) * 1998-05-27 2005-05-25 シャープ株式会社 光送受信モジュール
US6341118B1 (en) 1998-06-02 2002-01-22 Science Applications International Corporation Multiple channel scanning device using oversampling and image processing to increase throughput
US6525847B2 (en) 1999-06-16 2003-02-25 Digilens, Inc. Three dimensional projection systems based on switchable holographic optics
US7555333B2 (en) 2000-06-19 2009-06-30 University Of Washington Integrated optical scanning image acquisition and display
US6845190B1 (en) 2000-11-27 2005-01-18 University Of Washington Control of an optical fiber scanner
US6643065B1 (en) 2001-01-18 2003-11-04 Donn Michael Silberman Variable spacing diffraction grating
US7616986B2 (en) * 2001-05-07 2009-11-10 University Of Washington Optical fiber scanner for performing multimodal optical imaging
JP3918487B2 (ja) 2001-07-26 2007-05-23 セイコーエプソン株式会社 立体表示装置及び投射型立体表示装置
US6702442B2 (en) 2002-03-08 2004-03-09 Eastman Kodak Company Monocentric autostereoscopic optical apparatus using resonant fiber-optic image generation
IL148804A (en) * 2002-03-21 2007-02-11 Yaacov Amitai Optical device
JP2004102189A (ja) * 2002-09-13 2004-04-02 Mitsubishi Cable Ind Ltd 光ファイバ束の製造方法
US6801693B1 (en) * 2002-10-16 2004-10-05 International Business Machines Corporation Optical backplane array connector
US7046888B2 (en) 2002-12-18 2006-05-16 The Regents Of The University Of Michigan Enhancing fiber-optic sensing technique using a dual-core fiber
US7068878B2 (en) * 2003-01-24 2006-06-27 University Of Washington Optical beam scanning system for compact image display or image acquisition
US20040179764A1 (en) 2003-03-14 2004-09-16 Noureddine Melikechi Interferometric analog optical modulator for single mode fibers
JP4675030B2 (ja) * 2003-03-19 2011-04-20 株式会社アマダ レーザ光伝達装置
US20040258341A1 (en) 2003-06-19 2004-12-23 Paolucci Dora M. Optical waveguide with radiation-tuned birefringence
US7126693B2 (en) 2004-03-29 2006-10-24 Carl Zeiss Meditec, Inc. Simple high efficiency optical coherence domain reflectometer design
US7525541B2 (en) 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
WO2006017771A1 (en) 2004-08-06 2006-02-16 University Of Washington Variable fixation viewing distance scanned light displays
US7159994B2 (en) * 2004-08-10 2007-01-09 Disney Enterprises, Inc. System and method for generating a flickering flame effect
US8929688B2 (en) 2004-10-01 2015-01-06 University Of Washington Remapping methods to reduce distortions in images
US7784697B2 (en) 2004-12-23 2010-08-31 University Of Washington Methods of driving a scanning beam device to achieve high frame rates
CN101091122A (zh) 2004-12-27 2007-12-19 皇家飞利浦电子股份有限公司 像差校正设备
US7189961B2 (en) 2005-02-23 2007-03-13 University Of Washington Scanning beam device with detector assembly
US7953308B2 (en) 2005-12-30 2011-05-31 General Electric Company System and method for fiber optic bundle-based illumination for imaging system
DE102006034031B4 (de) * 2006-07-22 2009-01-29 Roland Berger Luftgekühltes Steckerbauteil für einen Lichtwellenleiter
JP2008216625A (ja) * 2007-03-05 2008-09-18 Fuji Xerox Co Ltd 光分岐装置および光伝送システム
US20080221388A1 (en) 2007-03-09 2008-09-11 University Of Washington Side viewing optical fiber endoscope
US7608842B2 (en) 2007-04-26 2009-10-27 University Of Washington Driving scanning fiber devices with variable frequency drive signals
US8437587B2 (en) 2007-07-25 2013-05-07 University Of Washington Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
JP2009223263A (ja) * 2008-03-19 2009-10-01 Anritsu Corp 光モジュール
NO2277025T3 (zh) * 2008-04-30 2018-02-10
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US8133593B2 (en) * 2008-06-26 2012-03-13 Corning Incorporated Pre-form for and methods of forming a hollow-core slotted PBG optical fiber for an environmental sensor
JP2010008948A (ja) 2008-06-30 2010-01-14 Shinko Electric Ind Co Ltd 走査型光投影装置
JP5731389B2 (ja) 2008-10-22 2015-06-10 コーニンクレッカ フィリップス エヌ ヴェ 光学的な走査プローブのアセンブリ
JP2010152176A (ja) 2008-12-25 2010-07-08 Mitsubishi Electric Corp 投写型表示装置
DE102009017940A1 (de) 2009-04-17 2010-10-21 Storz Endoskop Produktions Gmbh Endoskopisches System
US8031993B2 (en) * 2009-07-28 2011-10-04 Tyco Electronics Corporation Optical fiber interconnect device
US8184363B2 (en) 2009-08-07 2012-05-22 Northrop Grumman Systems Corporation All-fiber integrated high power coherent beam combination
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
CN105974513B (zh) * 2009-11-20 2022-10-14 康宁股份有限公司 具有侧面发光的光学光子纤维的照明系统及其制造方法
US9457412B2 (en) 2009-12-28 2016-10-04 The Board Of Trustees Of The University Of Alabama For And On Behalf Of The University Of Alabama Fabrication method for diamond film coating of drill bit
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8725001B2 (en) 2010-03-10 2014-05-13 Ofs Fitel, Llc Multicore fiber transmission systems and methods
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
FR2971640B1 (fr) 2011-02-16 2014-04-04 Univ Bordeaux 1 Dispositif de pompage optique.
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
JP5911238B2 (ja) * 2011-09-02 2016-04-27 オリンパス株式会社 光走査デバイス及びこれを備えた内視鏡、顕微鏡、プロジェクター
CA2850068A1 (en) 2011-09-27 2013-04-04 British Columbia Cancer Agency Branch Scanning optical systems
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
DE102012202177B3 (de) * 2012-02-14 2012-12-27 Trumpf Laser Gmbh + Co. Kg Freistrahloptische Faser-zu-Faser-Kopplungsvorrichtung
US9742993B2 (en) 2012-02-16 2017-08-22 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution optical image scanning
US8888275B2 (en) 2012-05-08 2014-11-18 Microvision, Inc. Scanned image projection system employing intermediate image plane
EP2859403B1 (en) * 2012-06-11 2022-10-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10629003B2 (en) 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
US9885859B2 (en) 2012-07-05 2018-02-06 Martin Russell Harris Structured illumination microscopy apparatus and method
JP5485480B1 (ja) 2012-08-08 2014-05-07 オリンパスメディカルシステムズ株式会社 ファイバユニット
EP2905648A4 (en) * 2012-10-01 2016-06-22 Olympus Corp FIBER OPTIC SCANNING DEVICE
JP2014126753A (ja) 2012-12-27 2014-07-07 Seiko Epson Corp ヘッドマウントディスプレイ
AU2014207545B2 (en) 2013-01-15 2018-03-15 Magic Leap, Inc. Ultra-high resolution scanning fiber display
US8873149B2 (en) 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
WO2014151877A1 (en) 2013-03-14 2014-09-25 The Board Of Trustees Of The Leland Stanford Junior University Holographic head-mounted display
US9417452B2 (en) 2013-03-15 2016-08-16 Magic Leap, Inc. Display system and method
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140375542A1 (en) * 2013-06-25 2014-12-25 Steve Robbins Adjusting a near-eye display device
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN109445095B (zh) * 2013-11-27 2021-11-23 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
AU2015210708B2 (en) 2014-01-31 2020-01-02 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9389424B1 (en) 2014-04-02 2016-07-12 Magic Leap, Inc. Methods and systems for implementing a high resolution color micro-display
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
EP4246215A3 (en) 2015-10-06 2023-12-27 Magic Leap, Inc. Virtual/augmented reality system having reverse angle diffraction grating
US10587848B2 (en) 2016-01-20 2020-03-10 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system

Also Published As

Publication number Publication date
JP7042889B2 (ja) 2022-03-28
IL256838B1 (en) 2023-06-01
EP3326023A4 (en) 2018-12-19
KR20180030681A (ko) 2018-03-23
WO2017015302A1 (en) 2017-01-26
AU2016296723A1 (en) 2018-02-08
IL256838B2 (en) 2023-10-01
US20170038579A1 (en) 2017-02-09
KR102390346B1 (ko) 2022-04-22
CA2991642A1 (en) 2017-01-26
IL256838A (en) 2018-03-29
CN113568165B (zh) 2023-06-06
CN107850784A (zh) 2018-03-27
JP2018528457A (ja) 2018-09-27
JP6792607B2 (ja) 2020-11-25
CA2991642C (en) 2022-05-31
EP3326023B1 (en) 2020-02-26
US10254536B2 (en) 2019-04-09
EP3326023A1 (en) 2018-05-30
EP3671317B1 (en) 2021-11-10
AU2021203635A1 (en) 2021-07-01
EP3671317A1 (en) 2020-06-24
JP2021043454A (ja) 2021-03-18
AU2016296723B2 (en) 2021-03-04
NZ739170A (en) 2021-02-26
CN113568165A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN107850784B (zh) 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计
US11906739B2 (en) Microlens collimator for scanning optical fiber in virtual/augmented reality system
AU2016336546B2 (en) Virtual/augmented reality system having reverse angle diffraction grating
NZ739170B2 (en) Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
NZ741832B2 (en) Virtual/augmented reality system having optical modulation apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant