CN113453774A - 用于增强和虚拟现实显示系统的低运动到光子延迟架构 - Google Patents

用于增强和虚拟现实显示系统的低运动到光子延迟架构 Download PDF

Info

Publication number
CN113453774A
CN113453774A CN201980092669.9A CN201980092669A CN113453774A CN 113453774 A CN113453774 A CN 113453774A CN 201980092669 A CN201980092669 A CN 201980092669A CN 113453774 A CN113453774 A CN 113453774A
Authority
CN
China
Prior art keywords
light
rendered
frame
waveguide
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980092669.9A
Other languages
English (en)
Inventor
L·E·埃德温
A·I·拉塞尔
H·R·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN113453774A publication Critical patent/CN113453774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0916—Adapting the beam shape of a semiconductor light source such as a laser diode or an LED, e.g. for efficiently coupling into optical fibers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of El Displays (AREA)

Abstract

公开了用于增强和虚拟现实系统的低运动到光子延迟的系统和方法。一些系统通过从头戴式显示单元输出光来生成呈现给用户的渲染帧。渲染帧被用户感知为虚拟内容。头戴式显示单元包括方位传感器、被配置为向用户输出光的显示器和处理器。处理器接收虚拟内容的渲染帧，从方位传感器获取方位信息，以及基于用户头部的方位的变化来扭曲或修改虚拟内容的渲染帧。经扭曲的渲染帧随后使用调制光从显示器输出。处理器和方位传感器可以是空间光调制器的一部分，该空间光调制器用于调制用来呈现经扭曲的渲染帧的光。此外，空间光调制器可以是具有低持久度和高占空比的LED阵列。

Description

用于增强和虚拟现实显示系统的低运动到光子延迟架构
优先权
本申请要求以下优先权：2018年12月28日提交的标题为“LOW MOTION-TO-PHOTONLATENCY ARCHITECTURE FOR AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS(用于增强和虚拟现实显示系统的低运动到光子延迟架构)”的美国临时申请号62/786,199；2019年6月6日提交的题为“LOW MOTION-TO-PHOTON LATENCY ARCHITECTURE FOR AUGMENTED ANDVIRTUAL REALITY DISPLAY SYSTEMS(用于增强和虚拟现实显示系统的低运动到光子延迟架构)”的美国临时申请号62/858,215；2019年2月1日提交的标题为“VIRTUAL ANDAUGMENTED REALITY DISPLAY SYSTEMS WITH EMISSIE MICRO-DISPLAYS(具有发射式微显示器的虚拟和增强现实显示系统)”的美国临时申请号62/800,363；以及2019年10月4日提交的标题为“AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH SHARED DISPLAYFOR LEFT AND RIGHT EYES(具有用于左右眼的共享显示器的虚拟和增强现实显示系统)”的美国临时申请号62/911,018。上述申请的全部内容通过引用并入本文。
援引加入
本申请通过引用并入以下各项的全部内容：2018年3月1日公开的美国专利申请公开号2018/0061121；2018年12月14日提交的美国专利申请号16/221065；以及2018年9月27日公开的美国专利申请公开号2018/0275410。
技术领域
本公开涉及显示系统，更具体地，涉及增强现实和虚拟现实显示系统。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。混合现实(或者“MR”)场景是一种AR场景并且通常涉及整合到自然世界中并响应于自然世界的虚拟对象。例如，MR场景可以包括AR图像内容，该AR图像内容看起来被真实世界中的对象阻挡或者另外被感知为与该对象交互。
参考图1，示出了增强现实场景10。AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。用户同样感知到他/她“看到”站在真实世界平台30上的诸如机器人雕像40的“虚拟内容”，以及飞过的卡通式化身角色50，该化身角色看起来是大黄蜂的化身。这些元素50、40是“虚拟的”，因为它们在真实世界中不存在。因为人类的视觉感知系统是复杂的，并且产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的AR技术是具有挑战性的。
发明内容
在一些实施例中，提供了一种头戴式显示系统。所述头戴式显示器包括被配置为生成渲染帧以输出作为虚拟内容的处理系统，以及经由数据链路与处理系统通信的头戴式显示单元。所述头戴式显示单元被配置为将所述渲染帧输出为虚拟内容。此外，所述头戴式显示单元包括方位传感器、显示器以及一个或多个处理器。所述方位传感器被配置为检测与所述头戴式显示单元的方位相关联的方位信息。所述显示器被配置为输出光以呈现所述虚拟内容。所述一个或多个处理器被配置为：经由所述数据链路接收渲染帧；获取与所述头戴式显示单元的所述方位相关联的方位信息；并且扭曲所述渲染帧，其中经扭曲的渲染帧经由所述显示器被输出。
在一些其他实施例中，提供了一种系统。所述系统包括一个或多个处理器；以及存储指令的一个或多个计算机存储介质。当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行包括以下的操作：通过所述系统的第一元件以第一帧速率生成要由所述系统显示的虚拟内容的渲染帧；通过所述第一元件经由硬件连接将所述虚拟内容的渲染帧提供给所述系统的第二元件，所述渲染帧以所述第一帧速率被提供；通过所述第二元件以高于所述第一帧速率的第二帧速率，基于与所述系统相关联的方位信息将每个渲染帧扭曲阈值数量的次数(threshold number of times)；并且经由与所述第二元件通信的显示器以所述第二帧速率输出所述经扭曲的帧。所述显示器输出与第一渲染帧相关联的所述阈值数量的经扭曲的帧，后面跟着与第二后续渲染帧相关联的所述阈值数量的经扭曲的帧。
在其他实施例中，提供了一种方法。所述方法由包括第一元件和第二元件的头戴式显示系统来实现。所述第一元件经由硬件连接与所述第二元件通信。所述方法包括：由第一元件以第一帧速率生成要经由所述头戴式显示系统显示的虚拟内容的渲染帧；由所述第一元件将所述渲染帧提供给第二元件，所述渲染帧以所述第一帧速率提供；通过所述第二元件以高于所述第一帧速率的第二帧速率，基于与所述头戴式显示系统相关联的方位信息将每个渲染帧扭曲阈值数量的次数；并且经由与所述第二元件通信的显示器以所述第二帧速率输出所述经扭曲的帧。所述显示器输出与第一渲染帧相关联的所述阈值数量的经扭曲的帧，后面跟着与第二后续渲染帧相关联的阈值数量的经扭曲的帧。
下面提供了其他示例。
示例1.一种头戴式显示系统，包括：
处理系统，其被配置为生成渲染帧以用于作为虚拟内容输出；
经由数据链路与所述处理系统通信的头戴式显示单元，所述头戴式显示单元被配置为输出所述渲染帧作为虚拟内容，其中，所述头戴式显示单元包括：
方位传感器，所述方位传感器被配置为检测与所述头戴式显示单元的方位相关联的方位信息；
显示器，所述显示器被配置为输出光以呈现所述虚拟内容；以及
一个或多个处理器，所述一个或多个处理器被配置为：
经由所述数据链路接收渲染帧；
获取与所述头戴式显示单元的所述方位相关联的方位信息；以及
扭曲所述渲染帧，其中，经扭曲的渲染帧经由所述显示器被输出。
示例2.根据示例1所述的头戴式显示系统，其中，所述处理系统被配置为以第一帧速率生成渲染帧，并且其中，所述头戴式显示单元被配置为以高于所述第一帧速率的第二帧速率输出所述经扭曲的渲染帧。
示例3.根据示例1所述的头戴式显示系统，其中，所述数据链路包括连接所述处理系统和所述头戴式显示单元的线缆，其中，所述数据链路的带宽限制所述第一帧速率。
示例4.根据示例1所述的头戴式显示系统，其中，所述头戴式显示单元被配置为基于相应的方位信息，将每个渲染帧扭曲阈值数量的次数。
示例5.根据示例1所述的头戴式显示系统，其中，所述一个或多个处理器中的处理器是被配置为基于方位信息来扭曲渲染帧的硬件专用集成电路ASIC。
示例6.根据示例5所述的头戴式显示系统，其中，所述显示器包括空间光调制器，并且其中，所述空间光调制器包括所述硬件ASIC。
示例7.根据示例6所述的头戴式显示系统，其中，所述空间光调制器被配置为基于所述硬件ASIC来调整所述渲染帧的像素。
示例8.根据示例5所述的头戴式显示系统，其中，所述硬件ASIC被配置为将与所述经扭曲的渲染帧对应的信息提供给与所述显示器相关联的空间光调制器。
示例9.根据示例1所述的头戴式显示系统，其中，所述显示器包括微LED的阵列，其中，所述经扭曲的渲染帧的每个像素与一个或多个所述微LED相关联。
示例10.根据示例9所述的头戴式显示系统，其中，所述显示器被配置为对于由所述显示器输出的每个经扭曲的渲染帧，全局地更新所述面板。
示例11.根据示例9所述的头戴式显示系统，其中，所述显示器被配置为通过提供扫描更新来更新所述面板。
示例12.根据示例11所述的头戴式显示系统，其中，所述扫描更新包括各个像素的顺序更新。
示例13.根据示例11所述的头戴式显示系统，其中，所述扫描更新包括同时顺序更新像素组。
示例14.根据示例1所述的头戴式显示系统，其中，所述一个或多个处理器被配置为基于所述头戴式显示单元的用户的所确定的凝视来扭曲所述渲染帧。
示例15.根据示例1所述的头戴式显示系统，其中，所述方位传感器是惯性测量单元。
示例16.一种系统，包括：
一个或多个处理器；以及
存储指令的一个或多个计算机存储介质，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行包括以下的操作：
由所述系统的第一元件以第一帧速率生成要由所述系统显示的虚拟内容的渲染帧；
由所述第一元件经由硬件连接将所述虚拟内容的渲染帧提供给所述系统的第二元件，所述渲染帧以所述第一帧速率被提供；
由所述第二元件以高于所述第一帧速率的第二帧速率，基于与所述系统相关联的方位信息来将每个渲染帧扭曲阈值数量的次数；以及
经由与所述第二元件通信的显示器以所述第二帧速率输出经扭曲的帧，
其中，所述显示器被配置为输出与第一渲染帧相关联的所述阈值数量的扭曲帧，后面跟着与第二后续渲染帧相关联的所述阈值数量的扭曲帧。
示例17.根据示例16所述的系统，其中，所述硬件连接包括连接所述第一元件和所述第二元件的线缆。
示例18.根据示例17所述的系统，其中，所述第二元件和所述显示器被包括在被配置为由用户佩戴的头戴式显示单元中，并且其中，所述第一元件经由所述线缆被连接到所述头戴式显示单元。
示例19.根据示例16所述的系统，其中，所述显示器包括微LED。
示例20.一种由头戴式显示系统实现的方法，所述头戴式显示系统包括第一元件和第二元件，所述第一元件经由硬件连接与所述第二元件通信，所述方法包括：
由第一元件以第一帧速率生成要经由所述头戴式显示系统显示的虚拟内容的渲染帧；
由所述第一元件将所述渲染帧提供给第二元件，所述渲染帧以所述第一帧速率被提供；
由所述第二元件以高于所述第一帧速率的第二帧速率，基于与所述头戴式显示系统相关联的方位信息来将每个渲染帧扭曲阈值数量次数；以及
经由与所述第二元件通信的显示器以所述第二帧速率输出经扭曲的帧，
其中，所述显示器输出与第一渲染帧相关联的所述阈值数量的扭曲帧，后面跟着与第二后续渲染帧相关联的所述阈值数量的扭曲帧。
示例21.根据示例20所述的方法，其中，所述显示器包括微LED。
附图说明
提供以下附图和相关联的描述以说明本公开的实施例并且不限制权利要求的范围。本公开的各个方面和许多伴随的优点在结合附图时通过参考以下详细描述将变得更容易理解，同样变得更好理解，其中：
图1示出了用户通过AR设备观看的增强现实(AR)视图。
图2示出了用于为用户模拟三维图像的传统显示系统。
图3A至图3C示出了曲率半径与焦距(focal)半径之间的关系。
图4A示出了人类视觉系统的调节(accommodation)-聚散(vergence)响应的表示。
图4B示出了用户的一双眼睛的不同调节状态和聚散状态的示例。
图4C示出了用户经由显示系统观看内容的俯视图的表示的示例。
图4D示出了用户经由显示系统观看内容的俯视图的表示的另一个示例。
图5示出了用于通过修改波前发散(wavefront divergence)来模拟三维图像的方法的各个方面。
图6示出了用于向用户输出图像信息的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠目镜的示例，其中每个深度平面包括使用多个不同分量颜色所形成的图像。
图9A示出了一组堆叠波导的示例的横截面侧视图，每个堆叠波导包括入耦合(in-couple)光学元件。
图9B示出了图9A的多个堆叠波导的示例的透视图。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。
图9D示出了多个堆叠波导的另一个示例的俯视平面图。
图9E示出了可穿戴显示系统的示例。
图10示出了具有光投影(project)系统的可穿戴显示系统的示例，该光投影系统具有空间光调制器和单独的光源。
图11A示出了具有光投影系统的可穿戴显示系统的示例，该光投影系统具有多个发射式微显示器。
图11B示出了具有光发射器阵列的发射式微显示器的示例。
图12示出了具有光投影系统的可穿戴显示系统的另一个示例，该光投影系统具有多个发射式微显示器和相关联的光重定向结构。
图13A示出了可穿戴显示系统的侧视图的示例，该系统具备具有多个发射式微显示器的光投影系统和具有波导的目镜，该波导具有重叠和横向移位的光入耦合光学元件。
图13B示出了具有光投影系统的可穿戴显示系统的另一个示例，该光投影系统具有被配置为将光引导到目镜的单个光入耦合区域的多个发射式微显示器。
图14示出了具有单个发射式微显示器的可穿戴显示系统的示例。
图15示出了具有波导堆叠的目镜的示例的侧视图，该波导堆叠具有重叠的入耦合光学元件。
图16示出了具有滤色器的波导堆叠的示例的侧视图，该滤色器用于减轻波导之间的重影或串扰。
图17示出了图15和图16的目镜的俯视图的示例。
图18示出了图15和图16的目镜的俯视图的另一个示例。
图19A示出了具有波导堆叠的目镜的示例的侧视图，该波导堆叠具有重叠且横向移位的入耦合光学元件。
图19B示出了图19A的目镜的示例的侧视图，该目镜具有用于减轻波导之间的重影或串扰的滤色器。
图20A示出了图19A和图19B的目镜的俯视图的示例。
图20B示出了图19A和图19B的目镜的俯视图的另一个示例。
图21示出了波导中的回弹(re-bounce)的示例的侧视图。
图22A至图22C示出了具有被配置为减少回弹的入耦合光学元件的目镜的俯视图的示例。
图23A至图23C示出了具有被配置为减少回弹的入耦合光学元件的目镜的俯视图的附加示例。
图24A示出了由发射式微显示器的各个光发射器所发射的光和由投影光学器件所捕获的光的角发射轮廓(profile)的示例。
图24B示出了使用光准直器阵列使角发射轮廓变窄的示例。
图25A示出了用于将光引导至投影光学器件的锥形(taper)反射阱(well)阵列的侧视图的示例。
图25B示出了非对称锥形反射阱的侧视图的示例。
图26A至图26C示出了在相对于上覆(overlying)透镜的中心线的不同位置处的光发射器的光路差异的示例。
图27示出了具有上覆纳米透镜阵列的发射式微显示器的各个光发射器的侧视图的示例。
图28是图27的发射式微显示器的示例的透视图。
图29示出了具有图28的全色发射式微显示器的可穿戴显示系统的示例。
图30A示出了具有发射式微显示器和相关联的光准直器阵列的可穿戴显示系统的示例。
图30B示出了具有多个发射式微显示器的光投影系统的示例，每个发射式微显示器具有相关联的光准直器阵列。
图30C示出了具有多个发射式微显示器的可穿戴显示系统的示例，每个发射式微显示器具有相关联的光准直器阵列。
图31A和图31B示出了具有可变焦元件的波导组件的示例，用于改变光对观看者的波前发散。
图32示出了具有空间光调制器的示例可穿戴显示系统的框图，其中的空间光调制器带有扭曲引擎。
图33A至图33B示出了具有空间光调制器的其他示例性可穿戴显示系统的框图，其中的空间光调制器带有扭曲引擎。
图34A至图34B示出了更新空间光调制器的像素的示例方案。
图35示出了根据本文描述的技术输出渲染内容的经扭曲的帧的示例过程的流程图。
具体实施方式
本说明尤其描述了用于向用户提供增强现实或虚拟现实内容的系统和技术。在一些实施例中，增强或虚拟现实显示系统可以渲染随后被呈现给用户的图像帧。向用户呈现图像可能涉及显示系统输出空间调制光，该光在用户眼睛的视网膜上形成图像并被感知为增强或虚拟现实内容(也可以称为“虚拟内容”)。作为示例，显示系统可以以规律的间隔向用户渲染和呈现虚拟内容，例如，以一个或多个帧速率(例如，60Hz、330Hz等)。
用户头部和眼睛的方位可以通知虚拟内容的图像帧的渲染。例如，虚拟内容可以被配置为被感知为相对于用户和/或现实世界对象在位置上是固定的。因此，如果用户将他/她的头部向下旋转，则显示系统可以相应地调整渲染的图像帧，使得虚拟内容被感知在适当的位置并显示对应于适当视角的细节。因此，生成虚拟内容可能涉及确定用户头部的方位并基于该确定结果来渲染图像帧。用户头部的方位也可以称为头部姿势或简称为姿势，并且作为近似值，可以通过确定安装到用户头部的显示器的方位来确定该姿势。
可以理解的是，用户的头部可能会运动，并且给定时刻的姿势可能是这种运动的结果。此外，姿势的确定与基于该姿势的空间调制光向用户眼睛的输出之间可能存在延迟。例如，延迟可能是由电子和光学系统生成虚拟内容所需的时间引起的。这种延迟可以称为运动到光子延迟。
在用户头部继续运动的情况下，考虑到运动到光子延迟的存在，用户头部的方位可能会在姿势确定与向用户眼睛呈现渲染帧的时间跨度之间发生变化。因此，渲染帧可能无法准确对应于用户在被呈现渲染帧时刻的姿势。然而，重新渲染帧可能无法解决姿势的这种变化，因为用户的头部可能会继续运动并且姿势会继续变化。
解决这种姿势变化的一种技术是在将渲染帧呈现给用户的眼睛之前对渲染帧进行修改。这种修改比重新渲染帧发生得更快，从而减少了呈现给用户的帧与用户接收所呈现的帧得时刻的姿势之间可察觉的失配的可能性。例如，可以获得更新的姿势信息并且可以修改渲染帧以对应于更新的姿势信息。这种修改可以被称为帧扭曲并且每个渲染帧可以在呈现给用户之前被扭曲。
然而，即使有这样的扭曲，呈现给用户的帧与用户的姿势之间仍然可能存在可察觉的失配。例如，这种失配可能发生在用户的头部运动得足够快到甚至经扭曲的帧与用户当前的姿势失配的情况下。因此，需要进一步减少运动到光子的延迟。
在一些实施例中，为了减少运动到光子的延迟，显示系统可以被配置为基于当前姿势或方位信息来提供虚拟内容的第一渲染帧。第一渲染帧可以被生成为渲染虚拟内容的帧速率(例如，通过图形处理单元)。第一渲染帧可以呈现给用户并且可以根据确定的姿势信息进行扭曲。在渲染第二后续帧之前，显示系统可以生成并向用户呈现一个或多个附加帧。一个或多个附加帧可以包括对第一渲染帧的调整，该调整基于更新的姿势信息。显示系统然后可以根据用于渲染内容的帧速率来渲染和呈现第二渲染帧(可能在扭曲第二渲染帧之后)。因此，显示系统可以以帧速率渲染帧，但以大于该帧速率输出附加的虚拟内容帧。这些附加的帧可以根据姿势信息进行扭曲。因此，在一些实施例中，可以在渲染帧之间呈现一个或多个经扭曲的帧。
有利地，在此描述的技术和系统可以减少运动到光子的延迟。在此描述的技术和系统还可以减少与扭曲相关联的视觉伪像、运动模糊等。该技术和系统还可以有利地提供功率节约、处理节约等。
扭曲渲染帧
如参考图1所描述的，用户可以看到例如包括机器人40的虚拟内容。在该示例中，显示系统可以根据如上所述的帧速率来渲染机器人40。显示系统然后可以向用户输出或呈现渲染的帧。如上所述，显示系统可以基于与用户相关联的方位信息来渲染每一帧。方位信息的示例可以包括用户头部的运动(例如，绕一个或多个轴旋转、沿一个或多个轴平移等)、用户眼睛的运动(例如，绕一个或多个轴旋转)等等。例如，可以在用户的头部/眼睛直接指向机器人40时渲染第一帧。在这个示例中，用户然后可以沿着一个或多个轴调整他/她的头部/眼睛。当渲染随后的第二帧时，显示系统因此可以利用该方位信息来通知第二帧的渲染。例如，机器人40可以被渲染成使得它看起来保持垂直站立，但是在用户视野的不同部分。
在上述示例中，可以在第一帧之后的特定时间段渲染第二帧。对于60Hz的示例帧速率，因此可以在第一帧之后16毫秒渲染第二帧。对于330Hz的示例帧速率，可以在第一帧之后8.3毫秒渲染第二帧。然而，在此时间段内(例如，16毫秒或8.3毫秒)，用户可能已经将他/她的头部向下旋转。在此旋转之后，用户可能仍被呈现第一帧。由于该第一帧是基于用户直视前方而渲染的，因此第一帧可能在旋转期间包括不准确定位的机器人40。当渲染第二帧时，显示系统可以基于检测到的旋转来渲染机器人40。因此，当呈现第二帧时，机器人40可能看起来被重新定位。机器人40的位置的这种更新会提供用户视觉上明显的视觉不连续性。例如，头部运动(姿势变化)与运动到光子延迟的组合可能导致呈现图像的变化，该变化超过用户可察觉的阈值，例如，被视为不自然。
在一些实施例中，显示系统可以被配置为扭曲上述第一帧直到渲染第二帧。对帧进行扭曲可以包括基于方位信息(例如确定的用户头部姿势、确定的眼睛注视等)来调整帧的多个方面。帧的示例方面可以包括帧的像素。在该示例中，对渲染帧进行扭曲可以将渲染帧中包括的一个或多个像素移动到相应的新位置。因此，可以基于现有的渲染帧中所包括的图像信息来生成经扭曲的帧。
显示系统可以基于确定的用户头部姿势对渲染帧进行多次扭曲。关于机器人40的上述示例，显示系统因此可以以特定帧速率扭曲第一帧，直到渲染第二帧。如将描述的，显示系统可以以渲染帧速率(例如，60Hz、120Hz)渲染虚拟内容并且以扭曲帧速率(例如，240Hz、480Hz、2000Hz、2040Hz等)向用户输出虚拟内容。以这种方式，用户可以在两个时间相邻的渲染帧之间观看一个或多个经扭曲的帧，并且减少有效的运动延迟。
例如，第一帧可以在特定时间经由显示系统被呈现。如上所述，可以基于所确定的用户头部姿势来渲染第一帧。例如，头部姿势可以基于与显示系统相关联的方位传感器，例如惯性测量单元(IMU)。显示系统然后可以根据扭曲帧速率生成经扭曲的帧。对于每个经扭曲的帧，显示系统可以基于用户的相应确定的头部姿势来调整第一帧。这些经扭曲的帧可以呈现给用户，直到根据渲染帧速率来渲染第二帧。由于显示系统向用户呈现经扭曲的帧，这是基于确定的用户头部姿势，因此虚拟内容(例如，机器人40)可能看起来更逼真。例如，虚拟内容可能看起来更自然地移动并且具有不太明显的离散跳跃。
扭曲的示例可以包括后期帧(late-frame)时间扭曲、异步时间扭曲、连续时间扭曲等。连续时间扭曲的示例可以包括读取光标重定向、像素重定向、缓冲区重涂(re-smear)、写入光标重定向等。2018年3月1日公开的美国专利申请2018/0061121中讨论了与扭曲各个渲染帧相关的进一步描述，其全部内容通过引用并入本文。
虽然如本文所讨论的扭曲可以提供关于降低有效运动到光子延迟的益处，但是应当理解，特定的显示技术可以限制与扭曲相关联的有效性。在一些显示系统中，用于形成图像的空间调制光可以由基于液晶的空间光模块提供。应当理解，空间光模块可以调制感知的光强度以利用图像信息对光进行编码。这种空间光调制器的示例是硅基液晶(LCoS)面板。LCoS面板可以具有LCoS面板能够有效操作的最大刷新率。例如，LCoS面板可能能够实现120Hz的最大刷新率(例如，可能存在三种颜色，每种颜色以360Hz呈现)。因此，LCoS面板可以以不高于最大刷新率向用户输出扭曲图像。这种最大刷新率可能无法实现用户无法察觉的运动到光子延迟。
有利地，在一些实施例中，可以使用提供异常快的最大刷新率的显示技术来实现异常低的运动到光子延迟。此类显示技术的示例包括发光二极管(LED)阵列，例如微LED阵列或显示器。微LED显示器可以包括多个微LED，每个微LED都发光。因此，微LED阵列可被称为发射式空间光调制器。在一些实施例中，调制器可以调制来自不同光源的光。在一些实施例中，调制器可以是光源。在一些实施例中，每个微LED是能够单独寻址的。微LED可能能够非常快速地打开和关闭，并且例如可以实现2000Hz或更高的最大刷新率。这种显示技术的另一示例可以包括基于微机电系统(MEMS)的技术。例如，可以利用数字光处理(DLP)技术。虽然为了便于讨论，以下描述涉及微LED，但应当理解，本公开可以利用提供高于例如基于LCoS的系统的刷新率的附加显示技术(例如，DLP)。这种附加的显示技术落入本公开的范围内。
基于上述显示技术的利用，显示系统因此可以提高向用户提供虚拟内容的帧的速率。例如，显示系统可以以60Hz、120Hz等的渲染帧速率来渲染帧。由于上述增强的显示技术，显示系统能够以2000Hz或更高来输出虚拟内容的帧。对于分成三基色的微LED，显示系统因此可以以666Hz或更高来输出虚拟内容的帧。因此，并且如将描述的，显示系统因此可以基于确定的用户的头部姿势将渲染的帧进行阈值数量的次数的扭曲。对于60Hz的渲染帧速率的示例，显示系统可以在生成后续渲染帧之前对渲染帧进行11次或更多次地扭曲并且输出。以此方式，本文描述的技术可以提供异常低的运动到光子延迟，从而向用户呈现更逼真的虚拟内容。
因此，本文描述的技术可以提供不同的示例优点。如上所述，可以改善运动到光子的延迟。此外，这些技术可以实现显示系统资源的改进(例如，降低功耗使用、降低处理要求等)。此外，可以提供显示系统的可用性和性能的改进。例如，可以减少运动模糊，同时可以增强呈现的虚拟内容的感知亮度。
显示系统资源节约
应当理解，显示系统所使用的空间光调制器与处理元件之间所需的带宽可能是相当大的。作为示例，并且至少如图9E所示，图形处理单元可以包括在与用户佩戴的显示单元70分开的本地处理和数据模块140中。本地处理和数据模块140可以渲染用于经由显示单元70呈现的虚拟内容。例如，模块140可以渲染虚拟内容的帧并且然后可选地扭曲这些渲染帧。如本文所述，该模块140可以可选地佩戴在用户上(例如，在背包中、在能够附接到用户裤子的外壳中，等等)。因此，在一些实施例中，显示单元70可以以上述渲染帧速率接收渲染帧。在其中可以利用LCoS面板的方案中，显示单元70因此可以并且作为示例以120Hz接收渲染的帧。在该示例中，模块140与显示单元70之间的带宽因此可以至少表示包括在每个渲染帧中的图像信息乘以120Hz。
由于本文描述的显示技术(例如微LED)可能能够具有显著更高的刷新率，因此本地处理和数据模块140与显示单元70之间的带宽可以相应地更高。由于模块140与显示单元70之间的潜在距离和所需的带宽，可能存在大量功率需求来支持以较高刷新率传输图像信息。
有利地，并且如下所述，本地处理和数据模块140中通常包括的一个或多个处理元件可以驻留在显示单元70中。作为第一示例，模块140可以维持图形处理单元用于对帧进行渲染。这些渲染帧可以以渲染帧速率(例如，60Hz、120Hz)从模块140提供给显示单元70。然而，显示单元70可以包括一个或多个被配置为执行上述扭曲的处理元件。例如，显示单元70可以包括硬件的扭曲专用集成电路(ASIC)。
在该第一示例中，硬件扭曲ASIC可以从模块140接收渲染帧，然后根据从诸如惯性测量单元(IMU)的方位传感器，从眼睛跟踪相机等接收的方位信息重复地扭曲渲染帧。硬件扭曲ASIC然后可以以扭曲帧速率(例如，666Hz、2000Hz等)输出经扭曲的帧以控制空间光调制器的逻辑。空间光调制器然后可以使形成经扭曲的帧的光呈现给用户。因此，在一些实施例中，硬件扭曲ASIC可以物理上更靠近空间光调制器的控制逻辑。由于这种接近性，这里描述的技术可以有利地降低与上述改进的扭曲功能相关联的功率需求。
作为第二示例，上述硬件扭曲ASIC可以被包括在空间光调制器的控制逻辑中。以此方式，空间光调制器可以接收渲染帧(例如，从本地处理和数据模块140)，并基于从方位传感器接收的信息来扭曲渲染帧。空间光调制器然后可以直接使输出光形成每个经扭曲的帧。在该第二示例中，可以降低模块140与显示单元70之间的带宽需求。例如，显示单元70可以以渲染帧速率接收渲染帧。此外，空间光调制器的控制逻辑可以因此(1)直接扭曲接收到的渲染帧，以及(2)使光形成经扭曲的帧以输出给用户。
减少运动模糊
有利地，可以使用在此描述的技术和系统来减少与虚拟内容的呈现相关联的运动模糊。关于虚拟内容，应当理解，运动模糊可以涉及与虚拟内容的呈现相关联的场持久度(field persistence)。如这里所使用的，场持久度可以指示形成单个虚拟内容帧的光被呈现给用户的时间。应当理解，可以通过降低场持久度来减少运动模糊。因此，降低场持久度可以使用户在更短的持续时间内被呈现相同的虚拟内容帧。
然而，在LCoS面板的示例中，场持久度的降低可能会明显降低与呈现的虚拟内容相关联的感知亮度。例如，LCoS面板可能能够以120Hz的帧速率呈现虚拟内容。因此，在该示例中，相邻呈现的虚拟内容帧之间可能存在8.33ms。LCoS面板可以利用LED光源(例如，如关于图6和图9E的系统所描述的)，其中LED可选地包括三基色。对于正在呈现的示例帧，空间光调制器可以使LED的每个原色连续开启阈值时间量(例如，1ms、1.2ms)。空间光模块然后可以使得LED在8.33毫秒的剩余时间内关闭。在该示例中，LED可以在8.33毫秒帧的40％、45％等的持续时间处于开启(在此称为“占空比”)。虽然这可以减少运动模糊的出现，但是它可能会显著降低可实现的亮度。
与上述示例相比，在此描述的显示系统可以在保持感知亮度的同时实现低于阈值(例如，0.4ms、0.5ms、0.6ms)的场持久度。以此方式，与现有技术相比，可以进一步减少运动模糊。此外，显示系统可以可选地实现大于第二阈值(例如，90％、95％、99％)的占空比。
示例显示系统
图2示出了用于为用户模拟三维图像的传统显示系统。应当理解，用户的眼睛是间隔开的，并且当观看空间中的真实对象时，每只眼睛将具有该对象的稍微不同的视图，并且可以在每只眼睛的视网膜上的不同位置处形成该对象的图像。这可以被称为双目视差，并且可以被人类视觉系统用来提供对深度的感知。传统的显示系统通过呈现具有相同虚拟对象的略有不同的视图的两个不同的图像190、200(每只眼睛210、220对应一个图像)来模拟双目视差，该略有不同的视图对应于每只眼睛将看到的虚拟对象的视图，如果虚拟对象是期望深度的真实对象的话。这些图像提供了双目提示(cue)，用户的视觉系统可以将其解释为获得深度的感知。
继续参考图2，图像190、200与眼睛210、220在z轴上间隔开距离230。z轴与观看者的光轴平行，其眼睛注视在观看者正前方的光学无限远处的对象上。图像190、200是平坦的并且与眼睛210、220处于固定的距离。基于分别呈现给眼睛210、220的图像中的虚拟对象的略微不同的视图，眼睛可以自然地旋转，使得对象的图像落在每只眼睛的视网膜上的对应点上，以保持单个双目视觉。该旋转可导致眼睛210、220中的每只眼睛的视线会聚到空间上的一点，在该点处虚拟对象被感知为存在。结果，提供三维图像通常涉及提供双目提示，该双目提示可操纵用户的眼睛210、220的聚散，并且人类视觉系统将其解释为提供深度的感知。
然而，生成对深度的现实且舒适的感知是具有挑战性的。应当理解，来自距眼睛不同距离处的对象的光具有带有不同发散量的波前。图3A-3C示出了距离与光线的发散之间的关系。对象与眼睛210a之间的距离由R1、R2和R3按减小距离的顺序表示。如图3A-3C中所示，随着距对象的距离减小，光线变得更加发散。相反，随着距离增加，光线变得更加准直。换句话说，可以说由点(对象或对象的一部分)产生的光场具有球面波前曲率，该曲率是该点距用户眼睛多远的函数。曲率随着对象和眼睛210a之间的距离减小而增加。尽管为了清楚起见在图3A-3C和在此的其它图中仅示出了单只眼睛210a，但是关于眼睛210a的讨论可以应用于观看者的两只眼睛210和220。
继续参考图3A-3C，观看者的眼睛注视在其上的对象发出的光可能具有不同程度的波前发散。由于不同量的波前发散，眼睛的晶状体可能会不同地聚焦光，这进而可能会要求晶状体采取不同的形状以在眼睛的视网膜上形成聚焦图像。在未在视网膜上形成聚焦图像的情况下，所产生的视网膜模糊可作为调节的提示，该调节引起眼睛晶状体形状的改变，直到在视网膜上形成聚焦图像为止。例如，调节的提示可触发眼睛晶状体周围的睫状肌松弛或收缩，从而调节施加到保持晶状体的悬韧带的力，从而引起眼睛晶状体的形状改变直到注视对象的视网膜模糊被消除或最小化，从而在眼睛的视网膜(例如，中央凹)上形成注视对象的聚焦图像。眼睛的晶状体改变形状的过程可以被称为调节，并且形成在眼睛的视网膜(例如，中央凹)上的注视对象的聚焦图像所需的眼睛的晶状体的形状可以被称为调节状态。
现在参考图4A，示出了人类视觉系统的调节-聚散响应的表示。眼睛注视在对象上的运动使眼睛接收来自对象的光，该光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中视网膜模糊的存在可以提供调节的提示，并且图像在视网膜上的相对位置可以为聚散提供提示。调节的提示使调节发生，导致眼睛的晶状体各自呈现特定的调节状态，该特定的调节状态形成了对象在眼睛的视网膜(例如，中央凹)上的聚焦图像。另一方面，聚散的提示使聚散运动(眼睛的旋转)发生，使得形成在每只眼睛的每个视网膜上的图像位于保持单个双目视觉的对应视网膜点处。在这些位置中，可以说眼睛已呈现特定的聚散状态。继续参考图4A，调节可以被理解为眼睛达到特定的调节状态的过程，而聚散可以被理解为眼睛达到特定的聚散状态的过程。如图4A中所示，如果用户注视在另一对象上，则眼睛的调节和聚散状态可能改变。例如，如果用户在z轴上的不同深度处注视在新对象上，则调节状态可能改变。
在不受理论限制的情况下，相信对象的观看者可能由于聚散和调节的组合而将对象感知为“三维”。如上所述，两只眼睛相对于彼此的聚散运动(例如，眼睛的旋转，使得瞳孔彼此朝向或远离移动以会聚眼睛的视线以注视在对象上)与眼睛的晶状体的调节紧密相关。在正常情况下，改变眼睛的晶状体形状以将焦点从一个对象改变到不同距离处的另一对象，将在称为“调节-聚散反射”的关系下自动导致在聚散上距相同距离的匹配变化。同样，在正常情况下，聚散的变化将触发晶状体形状的匹配变化。
现在参考图4B，示出了眼睛的不同调节和聚散状态的示例。一对眼睛222a在光学无限远处注视在对象上，而一对眼睛222b在小于光学无限远处注视在对象221上。值得注意的是，每对眼睛的聚散状态不同，该对眼睛222a笔直指向前方，而该对眼睛222会聚在对象221上。形成每对眼睛222a和222b的眼睛的调节状态也不同，如晶状体210a、220a的不同形状所代表的。
不期望地，由于这些显示器中的调节状态和聚散状态之间的失配，传统“3D”显示系统的许多用户发现此类传统系统不舒适或根本无法感知深度感。如上所述，许多立体或“3D”显示系统通过向每只眼睛提供略有不同的图像来显示场景。此类系统对于许多观看者来说是不舒适的，因为它们尤其提供了场景的不同呈现并且引起眼睛的聚散状态的改变，但是没有相应地改变那些眼睛的调节状态。相反，通过显示器在距眼睛的固定距离处示出图像，使得眼睛在单个调节状态下观看所有图像信息。此类布置通过引起聚散状态的变化而没有调节状态的匹配变化来对抗“调节-聚散反射”。据信该失配会引起观看者不适。在调节和聚散之间提供更优匹配的显示系统可能会形成更逼真的且更舒适的三维图像模拟。
不受理论的限制，据信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面相对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。在一些实施例中，不同的呈现可以提供聚散的提示和调节的匹配提示二者，从而提供生理上正确的调节-聚散匹配。
继续参考图4B，示出了两个深度平面240，其对应于距眼睛210、220在空间上的不同距离。对于给定的深度平面240，可以通过为每只眼睛210、220显示适当不同视角的图像来提供聚散提示。此外，对于给定的深度平面240，形成提供给每只眼睛210、220的图像的光可以具有与该深度平面240的距离处的点所产生的光场相对应的波前发散。
在所示的实施例中，包含点221的深度平面240沿z轴的距离为1m。如在此所使用的，可以采用位于用户眼睛的瞳孔处的零点来测量沿z轴的距离或深度。因此，位于深度为1m的深度平面240对应于在这些眼睛的光轴上距用户眼睛的瞳孔1m的距离，眼睛朝向光学无限远引导。作为近似，可以从用户眼睛前面的显示器(例如，从波导的表面)测量沿z轴的深度或距离，再加上该设备与用户眼睛的瞳孔之间的距离值。该值可以称为眼距，并且对应于用户眼睛的瞳孔与用户在眼睛前面佩戴的显示器之间的距离。实际上，眼距的值可以是通常用于所有观看者的归一化值。例如，可以假设眼距为20mm，并且深度1m处的深度平面在显示器前面的距离可以为980mm。
现在参考图4C和4D，分别示出了匹配的调节-聚散距离和失配的调节-聚散距离的示例。如图4C中所示，显示系统可以向每只眼睛210、220提供虚拟对象的图像。图像可以使眼睛210、220呈现聚散状态，在该状态中眼睛会聚在深度平面240上的点15上。另外，图像可以由具有与该深度平面240处的真实对象相对应的波前曲率的光形成。结果，眼睛210、220呈现调节状态，在该状态中图像聚焦在那些眼睛的视网膜上。因此，用户可以将虚拟对象感知为在深度平面240上的点15处。
应当理解，眼睛210、220的调节状态和聚散状态中的每一种状态都与z轴上的特定距离相关联。例如，距眼睛210、220特定距离处的对象使那些眼睛基于该对象的距离呈现特定的调节状态。与特定的调节状态相关联的距离可以被称为调节距离Ad。类似地，在特定的聚散状态或相对于彼此的位置中，存在与眼睛相关联的特定的聚散距离Vd。在调节距离和聚散距离匹配的情况下，调节和聚散之间的关系可以说是生理上正确的。对于观看者来说，这被认为是最舒适的场景。
然而，在立体显示器中，调节距离和聚散距离可能并不总是匹配。例如，如图4D中所示，显示给眼睛210、220的图像可以以与深度平面240相对应的波前发散来显示，并且眼睛210、220可以呈现特定的调节状态，在该状态中在该深度平面上的点15a、15b处于焦点。然而，显示给眼睛210、220的图像可能会提供聚散提示，该提示使眼睛210、220会聚在未位于深度平面240上的点15上。结果，在一些实施例中，调节距离对应于从眼睛210、220的瞳孔到深度平面240的距离，而聚散距离对应于从眼睛210、220的瞳孔到点15的较大距离。调节距离不同于聚散距离。因此，存在调节-聚散失配。此类失配被认为是不期望的，并且可能导致用户不适。应当理解，失配对应于距离(例如，Vd-Ad)，并且可以使用屈光度来表征。
在一些实施例中，应当理解，除了眼睛210、220的瞳孔之外的参考点可以被用于确定用于确定调节-聚散失配的距离，只要相同的参考点被用于调节距离和聚散距离。例如，可以测量从角膜到深度平面，从视网膜到深度平面，从目镜(例如，显示系统的波导)到深度平面的距离等。
在不受理论限制的情况下，据信用户仍可将高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的调节-聚散失配感知为生理上正确的，而失配本身不会引起严重不适。在一些实施例中，在此公开的显示系统(例如，图6的显示系统250)向观看者呈现具有约0.5屈光度或更小的调节-聚散失配的图像。在一些其它实施例中，由显示系统提供的图像的调节-聚散失配为约0.33屈光度或更小。在其它实施例中，由显示系统提供的图像的调节-聚散失配为约0.25屈光度或更小，包括约0.1屈光度或更小。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。该显示系统包括波导270，该波导270被配置为接收用图像信息编码的光770，并将该光输出到用户的眼睛210。波导270可以输出具有限定量的波前发散的光650，该限定量的波前发散与由所期望的深度平面240上的点产生的光场的波前发散相对应。在一些实施例中，为在该深度平面上呈现的所有对象提供相同量的波前发散。另外，将说明可以向用户的另一只眼睛提供来自类似波导的图像信息。
在一些实施例中，单个波导可以被配置为输出具有与单个或有限数量的深度平面相对应的设定量的波前发散的光，和/或波导可以被配置为输出有限波长范围的光。因此，在一些实施例中，可以利用多个波导或堆叠的波导来为不同的深度平面提供不同量的波前发散和/或输出不同波长范围的光。如在此所使用的，应当理解，在深度平面处可以是平坦表面或者可以遵循弯曲表面的轮廓。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括可以用于采用多个波导270、280、290、300、310向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件260。应当理解，在一些实施例中，显示系统250可以被认为是光场显示器。另外，波导组件260也可以被称为目镜。
在一些实施例中，显示系统250可以被配置为提供基本上连续的聚散提示和多个离散的调节提示。可以通过向用户的每只眼睛显示不同的图像来提供聚散提示，并且可以通过输出形成具有能够选择的离散波前发散量的图像的光来提供调节提示。换句话说，显示系统250可以被配置为输出具有可变波前发散水平的光。在一些实施例中，每个离散的波前发散水平对应于特定深度平面并且可由波导270、280、290、300、310中的特定一个来提供。
继续参考图6，波导组件260可以还包括位于波导之间的多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或
多个透镜320、330、340、350可以被配置为以各种水平的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入设备360、370、380、390、400可以用作波导的光源并且可以用于将图像信息注入到波导270、280、290、300、310中，如本文所述，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛210输出。光离开图像注入设备360、370、380、390、400的输出表面410、420、430、440、450并被注入到波导270、280、290、300、310的相应输入表面460、470、480、490、500。在一些实施例中，输入表面460、470、480、490、500中的每一个可以是相应波导的边缘，或者可以是相应波导的主表面的一部分(也就是，直接面向世界510或观看者眼睛210的波导表面中的一个)。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛210引导的克隆准直光束的整个视场。在一些实施例中，图像注入设备360、370、380、390、400中的单个图像注入设备可以与波导182、184、186、188、190中的多个(例如，三个)相关联并将光注入到波导270、280、290、300、310中的多个(例如，三个)中。
在一些实施例中，图像注入设备360、370、380、390、400是分立的显示器，每个显示器产生用于分别注入到相应波导270、280、290、300、310中的图像信息。在一些其他实施例中，图像注入设备360、370、380、390、400是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入设备360、370、380、390、400中的每一个图像注入设备用管输送图像信息。可以理解，由图像注入设备360、370、380、390、400提供的图像信息可以包括不同波长或颜色(例如，如本文所讨论的，不同的分量颜色)的光。
在一些实施例中，注入到波导270、280、290、300、310中的光由包括光模块530的光投影系统520提供，光模块530可包括光发射器，诸如发光二极管(LED)。来自光模块530的光可以引导到光调制器540并且经由光分束器550通过光调制器540(例如，空间光调制器)进行修改。光调制器540可以被配置为改变注入到波导270、280、290、300、310中的光的感知强度，以用图像信息对光进行编码。空间光调制器的示例包括液晶显示器(LCD)，其包括硅上的液晶(LCOS)显示器。在一些其他实施例中，空间光调制器可以是MEMS设备，例如数字光处理(DLP)设备。应当理解，图像注入设备360、370、380、390、400被示意性地示出，并且在一些实施例中，这些图像注入设备可以表示公共投影系统中的不同光路和位置，该公共投影系统被配置为将光输出到波导270、280、290、300、310中的相关联的波导。在一些实施例中，波导组件260中的波导可用作理想透镜，而将注入波导的光中继出到用户的眼睛。在这个概念中，对象可以是空间光调制器540，并且图像可以是深度平面上的图像。
在一些实施例中，显示系统250可以是扫描光纤显示器，该扫描光纤显示器包括一个或多个扫描光纤，这些扫描光纤被配置为以各种图案(例如，光栅扫描、螺旋扫描、利萨如(Lissajous)图案等)将光投影到一个或多个波导270、280、290、300、310中并最终投影到观看者的眼睛210中。在一些实施例中，所示图像注入设备360、370、380、390、400可示意性地表示单个扫描光纤或一束扫描光纤，该单个扫描光纤或一束扫描光纤被配置为将光注入到一个或多个波导270、280、290、300、310中。在一些其他实施例中，所示图像注入设备360、370、380、390、400可以示意性地表示多个扫描光纤或多束扫描光纤，多个扫描光纤中的每一者或多束扫描光纤中的每一者被配置为将光注入波导270、280、290、300、310中相关联的一个波导中。应当理解，一个或多个光纤可以被配置为将光从光模块530传输到一个或多个波导270、280、290、300、310。应当理解，可以在一个或多个扫描光纤与一个或多个波导270、280、290、300、310之间提供一个或多个中间光学结构，以例如将从扫描光纤射出的光重定向到一个或多个波导270、280、290、300、310中。
控制器560控制堆叠波导组件260中的一个或多个的操作，包括图像注入设备360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中，控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如，非暂时性介质中的指令)，例如，根据本文公开的任何各种方案，该编程调节图像信息到波导270、280、290、300、310的定时和提供。在一些实施例中，控制器可以是单个整体装置，或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图9E)的部分。
继续参考图6，波导270、280、290、300、310可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310可以各自是平面的或具有其他形状(例如，曲面的)，其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中，波导270、280、290、300、310可以各自包括出耦合(out-couple)光学元件570、580、590、600、610，这些出耦合光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外，以向眼睛210输出图像信息。所提取的光也可以被称为出耦合光，并且出耦合光学元件光也可以被称为光提取光学元件。所提取的光束可以在波导中传播的光照射到光提取光学元件的位置处被波导输出。出耦合光学元件570、580、590、600、610可以例如包括衍射光学特征的光栅，如本文进一步讨论的。虽然为了便于描述和清晰绘图起见而将其图示为设置在波导270、280、290、300、310的底部主表面处，但是在一些实施例中，出耦合光学元件570、580、590、600、610可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导270、280、290、300、310的体积中，如本文进一步讨论的。在一些实施例中，出耦合光学元件570、580、590、600、610可以形成在被附接到透明基板的材料层中以形成波导270、280、290、300、310。在一些其他实施例中，波导270、280、290、300、310可以是单片材料，并且出耦合光学元件570、580、590、600、610可以形成在该片材料的表面上和/或该片材料的内部中。
继续参考图6，如本文所讨论的，每个波导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导270可以被配置为将准直光(其被注入到这种波导270中)传输到眼睛210。准直光可以代表光学无限远焦平面。下一个上行波导280可以被配置为将穿过第一透镜350(例如，负透镜)的准直光在其可以到达眼睛210之前发送出；这样的第一透镜350可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导280的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛210。类似地，第三上行波导290使其输出光在到达眼睛210之前穿过第一透镜350和第二透镜340；第一透镜350和第二透镜340的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导290的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导280的光更靠近向内朝向人。
其他波导层300、310和透镜330、320被类似地配置，其中堆叠中的最高波导310通过它与眼睛之间的所有透镜发送其输出，用于代表最靠近人的焦平面的聚合焦度(aggregate focal power)。当在堆叠波导组件260的另一侧上观看/解释来自世界510的光时，为了补偿透镜320、330、340、350的堆叠，补偿透镜层620可以设置在堆叠的顶部处以补偿下面的透镜堆叠320、330、340、350的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的出耦合光学元件和透镜的聚焦方面可以是静态的(即，不是动态的或电活性(active)的)。在一些可选实施例中，两者之一或两者都可以是使用电活性特征而动态的。
在一些实施例中，波导270、280、290、300、310中的两个或更多个可具有相同的相关联的深度平面。例如，多个波导270、280、290、300、310可以被配置为输出设置到相同深度平面的图像，或者波导270、280、290、300、310的多个子集可以被配置为输出设置到相同的多个深度平面的图像，每个深度平面有一组。这可以为形成平铺图像提供优势，以在那些深度平面处提供扩展的视场。
继续参考图6，出耦合光学元件570、580、590、600、610可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的出耦合光学元件570、580、590、600、610的配置，这些出耦合光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，光提取光学元件570、580、590、600、610可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息图、表面全息图和/或衍射光栅。在一些实施例中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成空气间隙的包覆层和/或结构)。
在一些实施例中，出耦合光学元件570、580、590、600、610是形成衍射图案的衍射特征，或者说“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有足够低的衍射效率，以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛210，而其余部分经由TIR而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛210的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，可提供相机组件630(例如，数码相机，包括可见光和红外光相机)以捕获眼睛210和/或眼睛210周围的组织的图像，从而例如检测用户输入和/或监控用户的生理状态。如本文所使用的，相机可以是任何图像捕获装置。在一些实施例中，相机组件630可以包括图像捕获装置和光源，以将光(例如，红外光)投影到眼睛，然后光可以由眼睛反射并由图像捕获设备检测到。在一些实施例中，相机组件630可以被附接到框架或支撑结构80(图9E)并且可以与处理模块140和/或150电连通，处理模块140和/或150可以处理来自相机组件630的图像信息。在一些实施例中，可以针对每只眼睛使用一个相机组件630以分别监控每只眼睛。
在一些实施例中，相机组件630可以观察用户的运动，例如用户的眼睛运动。作为示例，相机组件630可以捕获眼睛210的图像以确定眼睛210的瞳孔(或眼睛210的一些其他结构)的大小、位置和/或方位。如果需要，相机组件630可以获得用于确定用户正在注视的方向(例如，眼睛姿势或凝视方向)的图像(由本文所述类型的处理电路进行处理)。在一些实施例中，相机组件630可以包括多个相机，其中至少一个相机可用于每只眼睛，以独立地分别确定每只眼睛的眼睛姿势或凝视方向。在一些实施例中，相机组件630可以与处理电路(诸如控制器560或本地数据处理模块140)相结合，基于来自相机组件630中包括的光源的反射光(例如红外光)的闪烁(例如，反射)来确定眼睛姿势或凝视方向。
现在参考图7，其中示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解，波导组件260(图6)中的其他波导可以类似地起作用，其中波导组件260包括多个波导。光640在波导270的输入表面460处被注入到波导270中，并且通过TIR在波导270内传播。在光640照射(impinge)在DOE 570上的点处，一部分光如出射光束650离开波导。出射光束650被示出为基本上平行，但是如本文所讨论的，依赖于与波导270相关联的深度平面，出射光束650也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛210。应该理解，基本上平行的出射光束可以指示具有出耦合光学元件的波导，所述出耦合光学元件将光出耦合以形成看起来被设置在距眼睛210较大距离(例如，光学无穷远)处的深度平面上的图像。其他波导或者其他出耦合光学元件组可以输出更加发散的出射光束图案，这将需要眼睛210适应更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛210的距离的光。
在一些实施例中，可以通过叠加每个分量颜色(例如，三种或更多种分量颜色)的图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。所示实施例示出了深度平面240a-240f，但也可以考虑更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量彩色图像，包括：第一种颜色的第一图像G；第二种颜色的第二图像R；以及第三种颜色的第三图像B。对于字母G、R和B之后的光焦度(dpt)，在图中用不同的数字表示不同的深度平面。作为示例，这些字母的每一个后面的数字表示光焦度(1/m)、或者深度平面与观看者的逆距离，并且图中的每个框表示各个分量彩色图像。在一些实施例中，为了解决眼睛对不同波长的光的聚焦的差异，可以改变不同分量颜色的深度平面的精确放置。例如，给定深度平面的不同分量颜色图像可以放置在与用户的不同距离对应的深度平面上。这样的布置可以增加视觉敏度和用户舒适度和/或可以减少色差。
在一些实施例中，每种分量颜色的光可以由单个专用波导输出，因此，每个深度平面可以具有与其相关联的多个波导。在这样的实施例中，图中包括字母G、R或B的每个框可以被理解为表示各个波导，并且每个深度平面可以提供三个波导，其中每个深度平面提供三个分量颜色图像。虽然为了便于描述，在该图中示出了与每个深度平面相关联的波导彼此相邻，但是应当理解，在物理设备中，波导可以全部布置成每层具有一个波导的堆叠。在一些其他实施例中，多个分量颜色可以由相同的波导输出，使得例如每个深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，G是绿色、R是红色、B是蓝色。在一些其他实施例中，除了红色、绿色或蓝色之外，可以使用与其他波长的光相关联的其他颜色(包括品红色和青色)，或者可以替换红色、绿色或蓝色中的一种或多种。
应当理解，贯穿本公开内容对给定颜色的光的参考将被理解为包括在观看者感知为具有该给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，以及蓝光可以包括在约435-493nm的范围内的一个或多个波长的光。
在一些实施例中，光源530(图6)可以被配置为发射观看者的视觉感知范围之外的一个或多个波长(例如，红外和/或紫外波长)的光。此外，显示器250的波导的入耦合、出耦合和其他光重定向结构可以被配置为将该光从显示器引导出并朝着用户的眼睛210发射，例如用于成像和/或用户刺激应用。
现在参考图9A，在一些实施例中，可能需要将照射到波导上的光重定向以将该光入耦合到波导中。可以使用入耦合光学元件将光重定向并且将光入耦合到其相应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图，每个堆叠波导包括入耦合光学元件。每个波导可以被配置为输出一个或多个不同波长的光、或者一个或多个不同波长范围的光。应当理解，堆叠660可以对应于堆叠260(图6)，并且所示出的堆叠的波导660可以对应于多个波导270、280、290、300、310的一部分，除了来自图像注入设备360、370、380、390、400中的一个或多个光从需要光被重定向以进行入耦合的位置注入到波导中。
所示的堆叠波导组660包括波导670、680和690。每个波导包括相关联的入耦合光学元件(其也可以被称为波导上的光输入区域)，例如，设置在波导670的主表面(例如，上主表面)上的入耦合光学元件700、设置在波导680的主表面(例如，上主表面)上的入耦合光学元件710、以及设置在波导690的主表面(例如，上主表面)上的入耦合光学元件720。在一些实施例中，入耦合光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690的底部主表面上(特别是在一个或多个入耦合光学元件是反射的、偏转光学元件的情况下)。如所示出的，入耦合光学元件700、710、720可以设置在它们相应的波导670、680、690的上主表面上(或下一个下波导的顶部)，特别是在那些入耦合光学元件是透射(transmissive)的、偏转的光学元件情况下。在一些实施例中，入耦合光学元件700、710、720可以设置在相应波导670、680、690的主体中。在一些实施例中，如本文所讨论的，入耦合光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。虽然在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，入耦合光学元件700、710、720可以设置在它们相应的波导670、680、690的其他区域中。
如所示出的，入耦合光学元件700、710、720可以彼此横向偏移，如在所示的正面视图中沿光传播到这些入耦合光学元件的方向所见。在一些实施例中，每个入耦合光学元件可以偏移，使得它接收光而光不通过另一入耦合光学元件。例如，每个入耦合光学元件700、710、720可以被配置为从如图6所示的不同的图像注入设备360、370、380、390和400接收光并且可以与其他入耦合光学元件700、710、720分离(例如，横向间隔开)，使得它基本上不接收来自其他入耦合光学元件700、710、720的光。
每个波导还包括相关联的光分配(distribute)元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分配元件730、设置在波导680的主表面(例如，顶部主表面)上的光分配元件740以及设置在波导690的主表面(例如，顶部主表面)上的光分配元件750。在一些其他实施例中，光分配元件730、740、750可以分别设置在相关联的波导670、680、690的底部主表面上。在一些其他实施例中，光分配元件730、740、750可以分别设置在相关联的波导670、680、690的顶部和底部主表面上；或者光分配元件730、740、750可以分别设置在不同的相关联的波导670、680、690的顶部和底部主表面中的不同的主表面上。
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分离。例如，如所示出的，层760a可以分离波导670和680；以及层760b可以分离波导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是，具有比形成波导670、680、690中的紧邻的波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率比形成波导670、680、690的材料的折射率小0.05或更多、或0.10或更少。有利地，低折射率层760a、760b可以用作促进通过波导670、680、690的光的全内反射(TIR)(例如，每个波导的顶部和底部主表面之间的TIR)的包覆(clad)层。在一些实施例中，层760a、760b由空气形成。尽管未示出，但应理解，所示波导组660的顶部和底部可包括紧邻的包覆层。
优选地，为了便于制造和其他的考虑，形成波导670、680、690的材料类似或相同，以及形成层760a、760b的材料类似或相同。在一些实施例中，形成波导670、680、690的材料在一个或多个波导之间可以是不同的，以及和/或者形成层760a、760b的材料可以是不同的，同时仍然保持上述各种折射率关系。
继续参考图9A，光线770、780、790入射到波导组660上。应当理解，光线770、780、790可以通过一个或多个图像注入设备360、370、380、390、400(图6)注入到波导670、680、690中。
在一些实施例中，光线770、780、790具有不同的属性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。入耦合光学元件700、122、720各自使入射光偏转，使得光通过TIR传播通过波导670、680、690中的相应一个波导。在一些实施例中，入耦合光学元件700、710、720每个选择性地偏转一个或多个特定波长的光，同时将其他波长透射到下面的波导和相关联的入耦合光学元件。
例如，入耦合光学元件700可以被配置为偏转具有第一波长或波长范围的光线770，同时分别透射具有不同的第二和第三波长或波长范围的光线780和790。透射的光线780照射在入耦合光学元件710上并被入耦合光学元件710偏转，该入耦合光学元件710被配置为偏转具有第二波长或波长范围的光。光线790被入耦合光学元件720偏转，该入耦合光学元件720被配置为选择性地偏转具有第三波长或波长范围的光。
继续参考图9A，偏转的光线770、780、790被偏转，使得它们传播通过相应的波导670、680、690；也就是，每个波导的入耦合光学元件700、710、720将光偏转到相应的波导670、680、690中，以将光入耦合到相应的波导中。光线770、780、790以一定角度偏转，该角度使光经由TIR传播通过相应的波导670、680、690。光线770、780、790经由TIR传播通过相应的波导670、680、690，直到照射到波导的相应的光分配元件730、740、750上。
现在参考图9B，示出了图9A的多个堆叠波导的示例的透视图。如上所述，入耦合光线770、780、790分别被入耦合光学元件700、710、720偏转，然后分别在波导670、680、690内通过TIR传播。然后，光线770、780、790分别照射到光分配元件730、740、750上。光分配元件730、740、750使光线770、780、790偏转，使得它们分别朝向出耦合光学元件800、810、820传播。
在一些实施例中，光分配元件730、740、750是正交瞳孔扩展器(OPE)。在一些实施例中，OPE将光偏转或分配至出耦合光学元件800、810、820，并且在一些实施例中，OPE还在该光传播到出耦合光学元件时增加该光的光束或光点尺寸。在一些实施例中，可以省略光分配元件730、740、750，并且可以将入耦合光学元件700、710、720配置为将光直接偏转至出耦合光学元件800、810、820。例如，参考图9A，光分配元件730、740、750可以分别被出耦合光学元件800、810、820代替。在一些实施例中，出耦合光学元件800、810、820是出射光瞳(EP)或出射光瞳扩展器(EPE)，其引导观看者眼睛210中的光(图7)。应当理解，OPE可以被配置为在至少一个轴上增加适眼区(eye box)的尺寸，并且EPE可以在例如与OPE的轴正交的轴上增加适眼区。例如，每个OPE可以被配置为将照射到OPE上的光的一部分重定向到相同波导的EPE，同时允许光的剩余部分继续沿波导传播。在再次照射到OPE上时，剩余光的另一部分被重定向到EPE，并且该剩余光的剩余部分继续沿波导进一步传播等等。类似地，在照射到EPE上时，照射的光的一部分被引导出波导朝向用户，并且该光的剩余部分继续传播通过波导直到它再次照射到EP上，此时照射的光的另一部分被引导出波导，等等。因此，每当光的一部分被OPE或EPE重定向时，可以“复制”单束光的入耦合光，从而形成克隆光束的场，如图6所示。在一些实施例中，OPE和/或EPE可以被配置为修改光束的尺寸。
因此，参考图9A和9B，在一些实施例中，波导组660包括波导670、680、690；入耦合光学元件700、710、720；光分配元件(例如，OPE)730、740、750；以及用于每种分量颜色的出耦合光学元件(例如，EP)800、810、820。波导670、680、690可以堆叠，其中每个之间存在的空气隙/包覆层。入耦合光学元件700、710、720将入射光(采用接收不同波长的光的不同的入耦合光学元件)重定向或偏转到其波导中。然后光以一定角度传播，这将导致相应波导670、680、690内的TIR。在所示的示例中，光线770(例如，蓝光)被第一入耦合光学元件700偏转，然后继续跳到波导，以前方描述的方式与光分配元件(例如，OPE)730相互作用，然后与出耦合光学元件(例如，EPs)800相互作用。光线780和790(例如，分别为绿光和红光)将穿过波导670，其中光线780照射到入耦合光学元件710上并被入耦合光学元件710偏转。光线780然后经由TIR跳到波导680，继续进行到达其光分配元件(例如，OPE)740然后到达出耦合光学元件(例如，EP)810。最后，光线790(例如，红光)穿过波导690以照射到波导690的光入耦合光学元件720上。光入耦合光学元件720偏转光线790，使得光线通过TIR传播到光分配元件(例如，OPE)750，然后通过TIR传播到出耦合光学元件(例如，EP)820。然后，出耦合光学元件820最终将光线790出耦合到观看者，观看者还接收来自其他波导670、680的出耦合光。
图9C示出了图9A和9B的多个堆叠波导的示例的俯视平面图。应当理解，该自顶向下视图也可称为正面视图，如在光朝向入耦合光学元件800、810、820的传播方向上所见；即，自顶向下视图是图像光垂直于页面入射的波导的视图。如所示出的，波导670、680、690以及与每个波导相关联的光分配元件730、740、750和相关联的出耦合光学元件800、810、820可以垂直对准。然而，如本文所讨论的，入耦合光学元件700、710、720不是垂直对准的；相反，入耦合光学元件优选地是非重叠的(例如，如在俯视图中所见，横向间隔开)。如本文进一步讨论的，该非重叠空间布置有助于将来自不同源的光一对一地注入到不同波导中，从而允许特定光源唯一地耦合到特定波导。在一些实施例中，包括非重叠的空间分离的入耦合光学元件的布置可以被称为移位的瞳孔系统，并且这些布置内的入耦合光学元件可以对应于子瞳孔。
应当理解，空间重叠区域可以具有它们区域的70％或更多、80％或更多、或者90％或更多的横向重叠，如在俯视图中所见。另一方面，它们区域的小于30％重叠、小于20％重叠或小于10％重叠的横向移位区域，如在俯视图中所见。在一些实施例中，横向移位区域没有重叠。
图9D示出了多个堆叠波导的另一个示例的俯视平面图。如图所示，波导670、680、690可以垂直对齐。然而，与图9C的配置相比，省略了单独的光分配元件730、740、750和相关联的出耦合光学元件800、810、820。取而代之的是，光分配元件和出耦合光学元件有效地叠加并占据相同的区域，如俯视图中看到的。在一些实施例中，光分配元件(例如，OPE)可以设置在波导670、680、690的一个主表面上，并且出耦合光学元件(例如，EPE)可以设置在那些波导的另一个主表面上。因此，每个波导670、680、690可以具有叠加的光分配和出耦合光学元件，分别统称为组合式OPE/EPE 1281、1282、1283。关于这种组合式OPE/EPE的更多细节可以在2018年12月14日提交的美国申请No.16/221,359中找到，其全部公开内容通过引用并入本文。入耦合光学元件700、710、720分别将光入耦合并引导至组合式OPE/EPE 1281、1282、1283。在一些实施例中，如图所示，入耦合光学元件700、710、720可以横向移位(例如，如所示的俯视图中所见，它们横向间隔开)以具有移位的光瞳空间布置。与图9C的配置一样，这种横向移位的空间布置有助于将不同波长的光(例如，来自不同光源)一对一地注入不同的波导中。
图9E示出了可穿戴显示系统60的示例，本文公开的各种波导和相关系统可以集成到该可穿戴显示系统60中。在一些实施例中，显示系统60是图6的系统250，图6更详细地示意性地示出了该系统60的一些部分。例如，图6的波导组件260可以是显示器70的一部分。
继续参考图9E，显示系统60包括显示器70，以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦接到框架80，该框架80能够由显示系统用户或观看者90佩戴并且被配置为将显示器70定位在用户90的眼睛的前方。在一些实施例中，显示器70可以被认为是眼镜。显示器70可以包括一个或多个波导，例如波导270，其被配置为中继入耦合的图像光并将该图像光输出到用户90的眼睛。在一些实施例中，扬声器100耦接到框架80，并且被配置为邻近用户90的耳道定位(在一些实施例中，未示出的另一个扬声器可以可选地邻近用户的另一个耳道定位以提供立体声/可塑形声音控制)。显示系统60还可包括一个或多个麦克风110或检测声音的其他设备。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)，和/或可以允许与其他人(例如，具有类似显示系统的其他用户)的音频通信。麦克风还可以被配置为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统60还可以包括一个或多个向外定向的环境传感器112，环境传感器被配置为检测用户周围世界的对象、刺激、人、动物、位置或其他方面。例如，环境传感器112可以包括一个或多个相机，该一个或多个相机可以例如面向外定位以捕获与用户90的普通视场的至少一部分相似的图像。在一些实施例中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并附接到用户90的身体(例如，在用户90的头部、躯干、四肢等上)。在一些实施例中，外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图9E，显示器70通过通信链路130(诸如通过有线引线或无线连接)可操作地耦接到本地数据处理模块140，本地数据处理模块140可以以各种配置安装，例如固定地附接到框架80、固定地附接到用户佩戴的头盔或帽子、嵌入耳机中、或以其他方式可移除地附接到用户90(例如，以背包式配置、以皮带耦接式配置)。类似地，传感器120a可以通过通信链路120b(例如，有线引线或无线连接)可操作地耦接到本地处理器和数据模块140。本地处理和数据模块140可以包括硬件处理器，以及数字存储器，例如非易失性存储器(例如，闪速存储器或硬盘驱动器)，这两者都可用于辅助数据的处理、缓存和存储。可选地，本地处理器和数据模块140可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。数据可以包括如下数据：a)从传感器(其可以例如可操作地耦接到框架80或以其他方式附接到用户90)捕获的数据，例如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、陀螺仪、和/或本文公开的其他传感器捕获的数据；和/或b)使用远程处理模块150和/或远程数据存储库160(包括与虚拟内容有关的数据)获取和/或处理的数据，可能用于在这样的处理或取得之后传送到显示器70。本地处理和数据模块140可以通过通信链路170、180(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块150和远程数据存储库160，使得这些远程模块150、160彼此可操作地耦接并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕获设备、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备、和/或陀螺仪中的一个或多个。在一些其他实施例中，这些传感器中的一个或多个可以附接到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图9E，在一些实施例中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器，例如包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实施例中，远程数据存储库160可以包括数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其他网络配置可用。在一些实施例中，远程数据存储库160可以包括一个或多个远程服务器，该一个或多个远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如用于生成虚拟内容的信息。在一些实施例中，所有数据都存储在本地处理和数据模块中并且在本地处理和数据模块中执行所有的计算，允许从远程模块完全自主使用。可选地，包括CPU、GPU等的外部系统(例如，一个或多个处理器、一个或多个计算机的系统)可以执行至少一部分处理(例如，生成图像信息、处理数据)并且例如通过无线或有线连接向模块140、150、160提供信息和从模块140、150、160接收信息。
图10示出了具有光投影系统910的可穿戴显示系统的示例，该光投影系统910具有空间光调制器930和单独的光源940。光源940可以包括一个或多个光发射器并且照射空间光调制器(SLM)930。透镜结构960可用于将来自光源940的光聚焦到SLM 930上。分束器(例如，偏振分束器(PBS))950将来自光源940的光反射到空间光调制器930，空间光调制器930对光进行反射和调制。反射的调制光，也称为图像光，然后通过分束器950传播到目镜920。另一种透镜结构投影光学器件970可用于将图像光会聚或聚焦到目镜920上。目镜920可以包括一个或多个波导或将调制光中继到眼睛210的波导。
如本文所述，单独的光源940和相关联的透镜结构960可能会不合需要地增加可穿戴显示系统的重量和尺寸。这可能会降低显示系统的舒适度，特别是对于长时间佩戴显示系统的用户而言。
此外，与SLM 930结合的光源940可能低效地消耗能量。例如，光源940可以照射整个SLM 930。然后SLM 930选择性地将光朝向目镜920反射。因此，并非由光源940产生的所有光都可以用于形成图像；该光中的一些光，例如对应于图像的暗区域的光，没有被反射到目镜920。因此，光源940利用能量产生光来照射整个SLM 930，但是可能仅需要该光的一小部分来形成一些图像。
此外，如本文所述，在一些情况下，SLM 930可以使用微反射镜来调制光以选择性地反射入射光，或者使用改变从下面的反射镜反射的光量的液晶分子。结果，这样的设备需要光学元件(例如，微反射镜或液晶分子，例如分别在LCoS或DLP面板中)的物理移动以调制来自光源940的光。与例如“开启”或“关闭”LED或OLED的能力相比，对光进行调制从而利用图像信息(例如，对应于像素)对光进行编码所需的物理移动可能以相对较慢的速度发生。这种相对较慢的移动可能会限制显示系统的帧速率，并且可能会以例如运动模糊、色裂(color-breakup)、和/或与用户头部姿势或所述姿势变化失配的呈现图像的形式出现。
因此，如本文所讨论的，利用图像信息编码的光可以由投影仪系统输出，该投影仪系统利用诸如LCoS或DLP面板的反射式空间光调制器来调制来自一个或多个不同光源的光。在一些其他实施例中，调制器可以是光源。在一些实施例中，空间光调制器可以是发射式空间光调制器，例如发射式微显示器(例如，微LED阵列)。如本文所公开的，利用发射式微显示器的可穿戴显示器在实现具有相对低的重量和体积、高能效和高帧速率、低运动模糊和低运动到光子延迟的可穿戴显示系统方面可能特别有优势。此外，与扫描光纤显示器相比，发射式微显示器可以避免因使用相干光源而造成的伪像。
现在参考图11A，示出了具有光投影系统1010的可穿戴显示系统的示例，该光投影系统1010具有多个发射式微显示器1030a、1030b、1030c。来自微显示器1030a、1030b、1030c的光由光学组合器1050组合并引导朝向目镜1020，目镜1020将光中继到用户的眼睛210。可以在光学组合器1050与目镜1020之间提供投影光学器件1070。在一些实施例中，目镜1020可以是包括一个或多个波导的波导组件。在一些实施例中，光投影系统1010和目镜1020可以由框架80(图9E)支撑(例如，附接到框架80)。
在一些实施例中，微显示器1030a、1030b、1030c可以是单色微显示器，其中每个单色微显示器输出不同分量颜色的光以提供单色图像。如这里所讨论的，单色图像进行组合以形成全色图像。
在一些其他实施例中，微显示器1030a、1030b、1030c可以各自是被配置为输出所有分量颜色的光的全色显示器。例如，微显示器1030a、1030b、1030c均包括红色、绿色和蓝色光发射器。微显示器1030a、1030b、1030c可以是相同的并且可以显示相同的图像。然而，通过组合来自多个微显示器的光以形成单个图像，利用多个微显示器可以提供用于增加图像亮度和图像亮度的亮度动态范围的优势。在一些实施例中，可以使用两个或更多个(例如，三个)微显示器，其中光学组合器1050被配置为组合来自所有这些微显示器的光。
微显示器可以包括光发射器阵列。光发射器的示例包括有机发光二极管(OLED)和微发光二极管(micro-LED)。应当理解，OLED利用有机材料发光，而微LED利用无机材料发光。有利的是，一些微LED提供比OLED更高的亮度和更高的效率(以勒克斯(lux)/瓦(W)计)。在一些实施例中，微显示器优选地是微LED显示器。
继续参考图11A，微显示器1030a、1030b、1030c可以各自被配置为发射图像光1032a、1032b、1032c。在微显示器是单色微显示器的情况下，图像光1032a、1032b、1032c可以各自具有不同的分量颜色。光学组合器1050接收图像光1032a、1032b、1032c并且有效地组合这些光，使得光通常在相同方向上传播，例如朝向投影光学器件1070。在一些实施例中，光学组合器1050可以是二向色X立方体棱镜(dichroic X-cube prism)，具有将图像光1032a、1032b、1032c重定向到投影光学器件1070的反射内表面。应当理解，投影光学器件1070可以是包括一个或多个透镜的透镜结构，这些透镜将图像光会聚或聚焦到目镜1020。目镜1020然后将图像光1032a、1032b、1032c中继到眼睛210。
在一些实施例中，目镜1020可以包括多个堆叠的波导1020a、1020b、1020c，每个堆叠的波导具有相应的入耦合光学元件1022a、1022b、1022c。在一些实施例中，波导的数量与微显示器1030a、1030b、1030c提供的分量颜色的数量成比例。例如，在存在三种分量颜色的情况下，目镜1020中的波导的数量可以包括一组三个波导或多组三个波导，其中每组三个波导。在一些实施例中，每组可以输出具有对应于特定深度平面的波前发散的光，如本文所讨论的。应当理解，波导1020a、1020b、1020c和入耦合光学元件1022a、1022b、1022c可以分别对应于图9A至图9C的波导670、680、690和入耦合光学元件700、710、720。从投影光学器件1070来看，入耦合光学元件1022a、1022b、1022c可以横向移位，使得它们至少部分地不重叠，如在这样的视图中所见。
如图所示，本文公开的各种入耦合光学元件(例如，入耦合光学元件1022a、1022b、1022c)可以设置在相关联波导(例如，相应的波导1020a、1020b、1020c)的主表面上。此外，还如图所示，其上设置给定的入耦合光学元件的主表面可以是波导的后表面。在这样的配置中，入耦合光学元件可以是反射式光重定向元件，其通过以支持TIR的角度使光反射通过相关联的波导来对光进行入耦合。在一些其他配置中，入耦合光学元件可以设置在波导的前表面上(比后表面更靠近投影光学器件1070)。在这样的配置中，入耦合光学元件可以是透射式光重定向元件，其通过在光透射通过入耦合光学元件时改变光的传播方向来对光进行入耦合。应当理解，本文公开的任何入耦合光学元件可以是反射式或透射式入耦合光学元件。
继续参考图11A，来自微显示器1030a、1030b、1030c中的不同微显示器的图像光1032a、1032b、1032c可以采用不同的路径到达目镜1020，使得它们照射到不同的入耦合光学元件1022a、1022b、1022c。在图像光1032a、1032b、1032c包括不同分量颜色的光的情况下，相关联的入耦合光学元件1022a、1022b、1022c可以分别配置为选择性地入耦合不同波长的光，如上文关于例如图9A至图9C的入耦合光学元件700、710、720所讨论的。
继续参考图11A，光学组合器1050可以被配置为重定向由微显示器1030a、1030b、1030c发射的图像光1032a、1032b、1032c，使得图像光沿着不同的光路传播，从而照射到入耦合光学元件1022a、1022b、1022c中的适当的相关联的入耦合光学元件。因此，尽管光可以以稍微不同的方向离开光学组合器，但是在图像光从光学组合器1050的公共面输出的意义上，光学组合器1050将图像光1032a、1032b、1032c进行组合。例如，X立方体棱镜的反射内表面1052、1054可以各自成角度以将图像光1032a、1032b、1032c沿着不同的路径引导到目镜1020。结果，图像光1032a、1032b、1032c可以入射到入耦合光学元件1022a、1022b、1022c中的不同的相关联的入耦合光学元件上。在一些实施例中，微显示器1030a、1030b、1030c可以相对于X立方体棱镜的反射内表面1052、1054适当地成角度以提供到入耦合光学元件1022a、1022b、1022c的期望光路。例如，一个或多个微显示器1030a、1030b、1030c的面可以与光学组合器1050的匹配面成角度，使得由微显示器发射的图像光以适当的角度入射在反射内表面1052、1054上从而向相关联的入耦合光学元件1022a、1022b或1022c传播。应当理解，除了立方体之外，光学组合器1050可以采用各种其他多面体的形式。例如，光学组合器1050可以是具有至少两个不是正方形的面的直角棱镜的形状。
继续参考图11A，在一些实施例中，与输出面1051直接相对的单色微显示器1030b可以有利地输出绿光。应当理解，当反射来自微显示器的光时，反射表面1052、1054可能具有光学损失。此外，人眼对绿色最为敏感。因此，与输出面1051相对的单色微显示器1030b优选地输出绿光，使得绿光可以直接穿过光学组合器1050而无需被反射以从光学组合器1050输出。将理解，然而，在一些其他实施例中，绿色单色微显示器可以面向光学组合器1050的其他表面。
如本文所讨论的，在一些实施例中，可以利用时分复用来实现用户对全色图像的感知。例如，可以在不同时间激活不同的发射式微显示器1030a、1030b、1030c以生成不同的分量颜色图像。在这样的实施例中，可以足够快地顺序显示形成单个全色图像的不同分量颜色图像，使得人类视觉系统不会将分量颜色图像感知为在不同时间显示；即，可以在足够短的持续时间内显示形成单个全色图像的不同分量颜色图像，从而用户将分量颜色图像感知为同时呈现，而不是在时间上分开。例如，可以理解，人类视觉系统可以具有闪烁(flicker)融合阈值。闪烁融合阈值可以理解为人类视觉系统无法区分在不同时间呈现的图像的持续时间。在该持续时间内呈现的图像被融合或组合，因此，用户可能会感觉到同时呈现。具有在该持续时间之外的图像之间的时间间隔的闪烁图像不被组合，并且图像的闪烁是可察觉的。在一些实施例中，持续时间为1/60秒或更短，这对应于60Hz或更高的帧速率。优选地，以等于或高于用户的闪烁融合阈值的持续时间的帧速率向用户提供用于任何单眼的图像帧。例如，用于左眼或右眼中的每一个的帧速率可以是60Hz或更高，或者120Hz或更高；因此，在一些实施例中，由光投影系统1010提供的帧速率可以是120Hz或更高，或者240Hz或更高。
应当理解，时分复用可以有利地减少用于形成显示图像的处理器(例如，图形处理器)上的计算负荷。在一些其他实施例中，例如在有足够的计算资源可用的情况下，形成全色图像的所有分量颜色图像可以由微显示器1030a、1030b、1030c同时显示。
如本文所讨论的，微显示器1030a、1030b、1030c可以各自包括光发射器阵列。图11B示出了光发射器1044的阵列1042的示例。在相关联的微显示器是单色微显示器的情况下，光发射器1044可以全部被配置为发射相同颜色的光。
在相关联的微显示器是全色微显示器的情况下，不同的光发射器1044可以被配置为发射不同颜色的光。在这样的实施例中，光发射器1044可以被认为是子像素并且可以成组布置，其中每组具有被配置为发射每个分量颜色的光的至少一个光发射器。例如，当分量颜色为红色、绿色和蓝色时，每组可以具有至少一个红色子像素、至少一个绿色子像素、至少一个蓝色子像素。
应当理解，虽然为了便于说明，光发射器1044被示为以网格图案布置，但是光发射器1044可以具有其他规则重复的空间布置。例如，不同分量颜色的光发射器的数量可以变化，光发射器的尺寸可以变化，光发射器的形状和/或由成组的光发射器形成的形状可以变化等。
继续参考图11B，将理解的是，微发射器1044发射光。此外，制造限制，例如光刻或其他图案化和处理限制，和/或电气考虑，可能会限制相邻发光器1044间隔的紧密程度。因此，可能存在围绕光发射器1044的区域1045，在该区域内形成其他光发射器1044是不切实际的。该区域1045形成了光发射器1044之间的发射器间区域。在一些实施例中，考虑到区域1045，光发射器具有例如小于10μm、小于8μm、小于6μm、或小于5μm并且大于1μm，包括1至5μm的间距，以及发射器尺寸为2μm或更小、1.7μm或更小、或1.3μm或更小。在一些实施例中，发射器尺寸在具有上述尺寸的上限和1μm的下限的范围内。在一些实施例中，发射器尺寸与间距的比率为1:1至1:5、1:2至1:4或1:2至1:3。
应当理解，给定一些光发射器设备架构和材料，电流拥挤可以降低发射器的效率，并且像素下降可以引起像素的无意激活(例如，由于引导到一个光发射器的能量渗入邻近的光发射器)。结果，相对大的区域1045可以有益地减少电流拥挤和像素下降。在一些实施例中，发射器尺寸与间距的比率优选地为1:2至1:4，或1:2至1:3。
然而，还应当理解，光发射器之间的间隔大(例如，光发射器与间距比小)可能不合需要地引发光发射器之间的可见间隙或暗区域。即使当如本文所讨论的横向平移时，一些间隙仍可能是可见的，这取决于原始间隙的大小、平移的距离、以及所使用的子帧的数量(以及产生的平移增量)。在一些实施例中，可以利用诸如光准直器的透镜结构来有效地填充或部分地填充这些暗区域。例如，光准直透镜可以在光发射器1044上和周围延伸，使得来自发射器1044的光完全填充透镜。例如，光准直透镜可以具有比光发射器1044更大的宽度，并且在一些实施例中，准直透镜的宽度可以大约等于间距。结果，发射器1044的尺寸被有效地增加以延伸遍及透镜的区域，从而填充区域1045的一些或全部。在一些其他实施例中，准直透镜的宽度可以大约等于如本文所讨论的投影系统针对每个子帧进行平移的距离。注入光准直器的透镜结构在本文中进一步讨论(例如，在图30A和相关讨论中)。
如本文所讨论的，光发射器1044可以是OLED或微LED。应当理解，OLED可以利用例如设置在电极之间的有机材料层来发光。微LED可以利用无机材料来发光，例如III-V族材料，例如GaAs、GaN和/或GaIn。GaN材料的示例包括InGaN，其在一些实施例中可用于形成蓝光或绿光发射器。GaIn材料的示例包括AlGaInP，其在一些实施例中可用于形成红光发射器。在一些实施例中，光发射器1044可以发射具有初始颜色的光，其可以使用磷光体材料或量子点转换为其他期望的颜色。例如，光发射器可以发射蓝光，蓝光激发磷光体材料或量子点来将蓝光波长的光转换成绿光或红光波长。
现在参考图12，示出了具有光投影系统的可穿戴显示系统的另一个示例，该光投影系统具有多个发射式微显示器1030a、1030b、1030c。所示的显示系统类似于图11A的显示系统，除了光学组合器1050具有标准的X立方体棱镜配置并且包括用于改变光在X立方体棱镜的反射表面1052、1054上的入射角的光重定向结构1080a和1080c以外。应当理解，标准的X立方体棱镜配置将接收垂直于X立方体的面的光并将该光重定向45°，从而使其以法线(normal)角度从X立方体的横向面输出。然而，这会使得图像光1032a、1032b、1032c入射到目镜1020的同一入耦合光学元件上。为了向图像光1032a、1032b、1032c提供不同的路径，以便图像光入射到波导组件的入耦合光学元件1022a、1022b、1022c中的相关联的入耦合光学元件，可以利用光重定向结构1080a、1080c。
在一些实施例中，光重定向结构1080a、1080c可以是透镜结构。应当理解，透镜结构可以被配置为接收入射光并且以一定角度使入射光重定向，使得光从反射表面1052、1054中的相应的反射表面反射离开，并沿着光路传播朝向入耦合光学元件1022a、1022c中相应的入耦合光学元件。作为示例，光重定向结构1080a、1080c可以包括微透镜、纳米透镜、反射阱、超表面、和液晶光栅。在一些实施例中，微透镜、纳米透镜、反射阱、超表面和液晶光栅可以排列成阵列。例如，微显示器1030a、1030c的每个光发射器可以与一个微透镜匹配。在一些实施例中，为了在特定方向上重定向光，微透镜或反射阱可以是非对称的和/或光发射器可以相对于微透镜偏心地(off-center)设置。此外，在一些实施例中，光重定向结构1080a、1080c可以是使相关联的光发射器的角发射轮廓变窄的准直器，以增加最终入耦合到目镜1020中的光量。关于这种光重定向结构1080a、1080c的进一步细节下面关于图24A至图27C讨论。
现在参考图13A，在一些实施例中，两个或更多个入耦合光学元件1022a、1022b、1022c可以重叠(例如，如俯视图中在光传播到入耦合光学元件1022a、1022b、1022c的方向上所见)。图13A示出了具有光投影系统1010和目镜1020的可穿戴显示系统的侧视图的示例，该光投影系统1010具有多个发射式微显示器1032a、1032b、1032c，该目镜1020具有重叠的光入耦合光学元件1022a、1022c和非重叠的光入耦合光学元件1022b。如图所示，入耦合光学元件1022a、1022c重叠，而入耦合光学元件1022b横向移位。换句话说，入耦合光学元件1022a、1022c直接对准图像光1032a、1032c的路径，而图像光1032b沿着另一条路径到达目镜1020，使得它入射到目镜1020的相对于图像光1032a、1032c入射的区域横向移位的区域上。
如图所示，可以使用光重定向结构1080a、1080c建立图像光1032b与图像光1032a、1032c的路径之间的差异。在一些实施例中，来自发射式微显示器1030b的图像光1032b直接穿过光学组合器1052。来自发射式微显示器1032a的图像光1032a由光重定向结构1080a进行重定向，使得它从反射表面1054反射离开，并在与图像光1032c相同的方向上传播出光学组合器1050。应当理解，来自发射式微显示器1032c的图像光1032c由光重定向结构1080c进行重定向，使得它以一定角度从反射表面1052反射离开，使得图像光1032c在与图像光1032b相同的方向上传播出光学组合器1050。因此，光重定向结构1080a、1080c对光的重定向以及反射表面1052、1054的角度被配置为向图像光1032a、1032c提供离开光学组合器1050的的公共路径，该公共路径为不同于图像光1032b的路径。在一些其他实施例中，可省略光重定向结构1080a、1080c中的一者或两者，且光学组合器1050中的反射表面1052、1054可以被配置为在适当的相应方向上反射图像光1032a、1032c，使得它们离开光组合器1050在相同的方向上传播，该相同方向不同于图像光1032b的方向。这样，在传播通过投影光学器件1070之后，图像光1032a、1032c从一个出射光瞳出射，而图像光1032b从另一个出射光瞳出射。在该配置中，光投影系统1010可以被称为双瞳投影系统。
在一些实施例中，光投影系统1010可以具有单个输出光瞳并且可以被称为单瞳(single-pupil)投影系统。在这样的实施例中，光投影系统1010可以被配置为将图像光1032a、1032b、1032c引导到目镜1020的单个公共区域上。这样的配置在图13B中示出，图13B示出了具有光投影系统1010的可穿戴显示系统，该光投影系统1010具有多个发射式微显示器1030a、1030b、1030c，这些发射式微显示器被配置为将光引导到目镜1020的单个光入耦合区域。在一些实施例中，如本文进一步讨论的，目镜1020可以包括具有重叠的光向内耦合光学元件的波导堆叠。在一些其他实施例中，单个光入耦合光学元件可以被配置为将所有分量颜色的光入耦合到单个波导中。图13B的显示系统类似于图13A的显示系统，除了省略了光重定向结构1080a、1080c，以及使用入耦合内光学元件1122a和具有相关联的波导1020a以外。如图所示，入耦合光学元件1122a将图像光1032a、1032b、1032c中的每一个入耦合到波导1020a中，然后入耦合光学元件将图像光中继到眼睛210。在一些实施例中，入耦合光学元件1122a可以包括衍射光栅。在一些实施例中，入耦合光学元件1122a是超表面和/或液晶光栅。
如本文所讨论的，在一些实施例中，发射式微显示器1030a、1030b、1030c可以是被配置为发射不同颜色的光的单色微显示器。在一些实施例中，发射式微显示器1030a、1030b、1030c中的一个或多个可以具有被配置为发射两种或更多种但不是全部分量颜色的光的成组的光发射器。例如，单个发射式微显示器可以具有多组光发射器——每组中的至少一个光发射器被配置为发射蓝光，每组中的至少一个光发射器被配置为发射绿光——并且X立方体1050的不同面上的单独的发射式微显示器可以具有被配置为发射红光的光发射器。在一些其他实施例中，发射式微显示器1030a、1030b、1030c可以每个都是全色显示器，每个都具有所有分量颜色的光发射器。如这里所指出的，利用多个类似的微显示器可以为动态范围和增加的显示器亮度提供优势。
在一些实施例中，可以使用单个全色发射式微显示器。图14示出了具有单个发射式微显示器1030b的可穿戴显示系统的示例。图14的可穿戴显示系统类似于图14的可穿戴显示系统，除了单个发射式微显示器1030b是被配置为发射所有分量颜色的光的全色微显示器。如图所示，微显示器1030b发射每个分量颜色的图像光1032a、1032b、1032c。在这样的实施例中，可以省略光学组合器1050(图13B)，相对于具有光学组合器的系统这可以有利地减小可穿戴显示系统的重量和尺寸。
如上所述，目镜1020的入耦合光学元件可以采用各种配置。下面关于图15至图23C讨论目镜1020的配置的一些示例。
图15示出了目镜1020的示例的侧视图，该目镜1020具有分别带有重叠的入耦合光学元件1022a、1022b、1022c的波导1020a、1020b、1020c的堆叠。应当理解，所示的波导堆叠可以用来代替图13B和图14的单个所示的波导1020a。如本文所讨论的，每个入耦合光学元件1022a、1022b、1022c被配置为入耦合具有特定颜色的光(例如，特定波长或波长范围的光)。在所示的目镜1020的方位中，其中图像光沿页面垂直向下朝着目镜1020传播，入耦合光学元件1022a、1022b、1022c彼此垂直对齐(例如，沿着平行于图像光1032a、1032b、1032c的传播方向的轴)，使得它们在空间上彼此重叠，如在俯视图中所见(在图像光1032a、1032b、1032c传播到入耦合光学元件的方向上的俯视图)。
继续参考图15，如本文所讨论的，投影系统1010(图13、图14)被配置为通过投影系统的单瞳输出第一单色颜色图像、第二单色颜色图像和第三单色颜色图像(例如，红色、绿色和蓝色颜色图像)，单色图像分别由图像光1032a、1032b、1032c形成。入耦合光学元件1022c被配置为将用于第一颜色图像的图像光1032c入耦合到波导1020c中，使得它通过波导1020c的上部和底部主表面处的多次全内反射而传播通过波导1020c，入耦合光学元件1022b被配置为将用于第二颜色图像的图像光1032b入耦合到波导1020b中，使得它通过在波导1020b的上部和底部主表面处的多次全内反射而传播通过波导1020b，并且入耦合光学元件1022a被配置为将用于第三颜色图像的图像光1032a入耦合到波导1020a中，使得它通过在波导1020a的上部和底部主表面处的多次全内反射而传播通过波导1020a。
如本文所讨论的，入耦合光学元件1022c优选地被配置为将基本上所有与第一颜色图像对应的入射光1032c入耦合到相关联的波导1020c中，而允许基本上所有的分别与第二颜色图像和第三颜色图像对应的入射光1032b、1032a透射(transmit)而不被向内耦合。类似地，入耦合光学元件1022b优选地被配置为将基本上所有的与第二颜色图像对应的入射图像光1032b入耦合到相关的波导1020b中，而允许基本上所有与第三颜色图像对应的入射光透射而不被入耦合。
应当理解，在实践中，各种入耦合光学元件可能不具有完美的选择性。例如，图像光1032b、1032a中的一些可能不合需要地由入耦合光学元件1022c入耦合到波导1020c中；并且一些入射图像光1032a可能不希望地由入耦合光学元件1022b入耦合到波导1020b中。此外，一些图像光1032c可以透射通过入耦合光学元件1022c并且分别由入耦合光学元件1020b和/或1020a入耦合到波导1020b和/或1020a中。类似地，一些图像光1032b可以透射通过入耦合光学元件1022b并且由入耦合光学元件1022a入耦合到波导1020a中。
将用于颜色图像的图像光入耦合到非预期的波导中可能导致不合需要的光学效应，例如串扰和/或重影。例如，用于第一颜色图像的图像光1032c入耦合到非预期的波导1020b和/或1020a中可能导致第一颜色图像、第二颜色图像和/或第三颜色图像之间不合需要的串扰；和/或可能导致不期望的重影。作为另一示例，用于第二或第三颜色图像的图像光1032b、1032a分别入耦合到非预期波导1020c中可能导致第一颜色图像、第二颜色图像和/或第三颜色图像之间的不合需要的串扰；和/或可能导致不期望的重影。在一些实施例中，可以通过提供滤色器(例如，吸收式滤色器)来减轻这些不合需要的光学效应，这些滤色器可以减少入耦合到非预期波导中的入射光的量。
图16示出了具有用于减轻波导之间的重影或串扰的滤色器的波导堆叠的示例的侧视图。图16的目镜1020类似于图15的目镜，除了存在滤色器1024c、1024b和1028、1026中的一个或多个之外。滤色器1024c、1024b被配置为分别减少无意中耦合到波导1020b和1020a中的光的量。滤色器1028、1026被配置为分别减少通过波导1020b、1020c传播的无意中入耦合的图像光的量。
继续参考图16，设置在波导1020c的上部主表面和下部主表面上的一对滤色器1026可以被配置为吸收可能已经无意中入耦合到波导1020c中的图像光1032a、1032b。在一些实施例中，设置在波导1020c与1020b之间的滤色器1024c被配置为吸收透射通过入耦合光学元件1022c而没有被入耦合的图像光1032c。设置在波导1020b的上部主表面和下部主表面上的一对滤色器1028被配置为吸收被入耦合到波导1020b中的图像光1032a。设置在波导1020b与1020a之间的滤色器1024b被配置为吸收透射通过入耦合光学元件710的图像光1032b。
在一些实施例中，波导1020c的每个主表面上的滤色器1026是相似的并且被配置为吸收图像光1032a、1032b两者的波长的光。在一些其他实施例中，波导1020c的一个主表面上的滤色器1026可以被配置为吸收图像光1032a的颜色的光，并且另一主表面上的滤色器可以被配置为吸收图像光1032b的颜色的光。在任一布置中，滤色器1026可以被配置为选择性地吸收通过全内反射传播通过波导1020c的图像光1032a、1032b。例如，在图像光1032a、1032b发生TIR反弹离开波导1020c的主表面时，图像光1032a、1032b接触那些主表面上的滤色器1026并且该图像光的一部分被吸收。优选地，由于滤色器1026对图像光1032a、1032b的选择性吸收，入耦合图像光1032c经由TIR通过波导1020c的传播不会受到明显影响。
类似地，多个滤色器1028可以被配置为吸收通过全内反射传播通过波导1020b的入耦合图像光1032a的吸收滤光器。在图像光1032a发生TIR反弹离开波导1020b的主表面时，图像光1032a接触那些主表面上的滤色器1028并且该图像光的一部分被吸收。优选地，图像光1032a的吸收是选择性的并且不影响也经由TIR传播通过波导1020b的入耦合图像光1032b的传播。
继续参考图16，滤色器1024c和1024b也可以被配置为吸收滤光器。滤色器1024c可以对图像光1032a、1032b的颜色的光基本上透明，使得图像光1032a、1032b几乎没有衰减地透射穿过滤色器1024c，而图像光1032c的颜色的光被选择性吸收。类似地，滤色器1024b可以对图像光1032a的颜色的光基本上透明，使得入射图像光1032a几乎没有衰减地透射穿过滤色器1024b，而图像光1032b的颜色的光被选择性吸收。如图16所示，滤色器1024c可以设置在波导1020b的主表面(例如，上部主表面)上。或者，滤色器1024c可以设置在位于波导1020c与1020b之间的单独基板上。同样，滤色器1024b可以设置在波导1020a的主表面(例如，上部主表面)上。或者，滤色器1024b可以设置在位于波导1020b与1020a之间的单独基板上。应当理解，滤色器1024c和1024b可以与输出图像光1032a、1032b、1032c的投影仪的单瞳垂直对齐(在图像光1032a、1032b、1032c垂直传播到波导堆叠1020的方位上，如图所示)。
在一些实施例中，滤色器1026和1028可以具有小于约10％(例如，小于或等于约5％、小于或等于约2％、并且大于约1％)的单通(single-pass)衰减因子以避免传播通过波导1020c、1020b厚度的光的显著不希望的吸收(例如，图像光1032a、1032b的颜色的光从周围环境和/或其他波导传播通过波导1020c、1020b)。滤色器1024c和1024b的各种实施例可以被配置为对要透射的波长具有低衰减因子并且对要被吸收的波长具有高衰减因子。例如，在一些实施例中，滤色器1024c可以被配置为透射大于80％、大于90％、或大于95％的具有图像光1032a、1032b的颜色的入射光，并且吸收大于80％、大于90％、或大于95％的具有图像光1032a的颜色的入射光。类似地，滤色器1024b可以被配置为透射大于80％、大于90％、或大于95％的具有图像光1032a的颜色的入射光并且吸收大于80％、大于90％、或大于95％的具有图像光1032b的颜色的入射光。
在一些实施例中，滤色器1026、1028、1024c、1024b可以包括沉积在波导1020c、1020b和/或1020a的一个或两个表面上的颜色选择性吸收材料层。颜色选择性吸收材料可以包括染料、墨水、或其他光吸收材料，例如金属、半导体和电介质。在一些实施例中，诸如金属、半导体和电介质的吸收材料可以通过利用这些材料形成亚波长光栅(例如，不衍射光的光栅)而具有颜色选择性。光栅可以由等离子体(例如金、银和铝)或半导体(例如硅、非晶硅和锗)制成。
颜色选择性材料可以使用各种沉积方法沉积在基板上。例如，颜色选择性吸收材料可以使用喷射沉积技术(例如，喷墨沉积)沉积在基板上。喷墨沉积可有助于沉积颜色选择性吸收材料的薄层。因为喷墨沉积允许沉积被定位在基板的所选区域上，所以喷墨沉积提供对颜色选择性吸收材料层的厚度和组成的高度控制，包括提供遍及基板的不均匀的厚度和/或成分(composition)。在一些实施例中，使用喷墨沉积所沉积的颜色选择性吸收材料可以具有在约10nm至约1μm之间(例如，在约10nm至约50nm之间、在约25nm至约75nm之间、在约40nm至约100nm之间、在约80nm至约300nm之间、在约200nm至约500nm之间、在约400nm至约800nm之间、在约500nm至约1微米之间、或由这些值中的任何一个定义的范围/子范围内的任何值)的厚度。控制颜色选择性吸收材料的沉积层的厚度可以有利于实现具有所需衰减因子的滤色器。此外，可以在基板的不同部分沉积具有不同厚度的层。此外，可以使用喷墨沉积在基板的不同部分沉积颜色选择性吸收材料的不同成分。这种成分和/或厚度的变化可以有利地允许特定位置的吸收变化。例如，在不需要从环境中传输光(以允许观看者看到周围环境)的波导区域中，可以选择成分和/或厚度以提供所选波长的光的高吸收或衰减。可以采用其他沉积方法，例如涂布、旋涂、喷涂等，以将颜色选择性吸收材料沉积在基板上。
图17示出了图15和图16的波导组件的俯视图的示例。如图所示，入耦合光学元件1022a、1022b、1022c在空间上重叠。此外，波导1020a、1020b、1020c以及每个波导相关联的光分配元件730、740、750以及相关联的出耦合光学元件800、810、820可以垂直对齐。入耦合光学元件1022a、1022b、1022c被配置为分别使入射图像光1032a、1032b、1032c入耦合到波导1020a、1020b、1020c中(图15和图16)，使得图像光分别通过TIR传播朝向相关联的光分配元件730、740、750。
图18示出了图15和图16的波导组件的俯视图的另一个示例。如图17所示，入耦合光学元件1022a、1022b、1022c在空间上重叠并且波导1020a、1020b、1020c垂直对齐。然而，组合式OPE/EPE 1281、1282、1283分别代替每个波导相关联的光分配元件730、740、750以及相关联的出耦合光学元件800、810、820。入耦合光学元件1022a、1022b、1022c被配置为分别使入射图像光1032a、1032b、1032c入耦合到波导1020a、1020b、1020c中(图15和图16)，使得图像光分别通过TIR传播朝向相关联的组合式OPE/EPE 1281、1282、1283。
虽然图15至图18示出了用于显示系统的单瞳配置的重叠入耦合光学元件，但是应当理解，在一些实施例中，显示系统可以具有双瞳配置。在使用三种分量颜色的这种配置中，两种颜色的图像光可以具有重叠的入耦合光学元件，而第三颜色的图像光可以具有横向移位的入耦合光学元件。例如，光学组合器1050(图11A、图12、图13A至图13B)和/或光重定向结构1080a、1080c可以被配置为引导图像光通过投影光学器件1070，使得两种颜色的图像光直接入射到目镜1020的重叠区域，而另一种颜色的图像光入射在横向移位的区域上。例如，反射表面1052、1054(图11A)可以成角度，使得一个颜色的图像光与来自发射式微显示器1030b的图像光遵循共同的光路，而另一颜色的图像光遵循不同的光路。在一些实施例中，不是具有这些光重定向结构中的光重定向结构1080a、1080c两者(图12)，而是可以省略这些光重定向结构中的一个，使得仅来自微显示器1030a、1030c中的一个微显示器的光成角度以提供与其他两个微显示器发出的光不同的光路。
图19A示出了具有波导堆叠的目镜的示例的侧视图，其中波导堆叠具有一些重叠的入耦合光学元件和一些横向移位的入耦合光学元件。图19A的目镜类似于图15的目镜，除了入耦合光学元件中的一个相对于另一入耦合光学元件横向移位以外。在所示的目镜1020的方位中，其中图像光垂直页面向下朝向目镜1020传播，入耦合光学元件1022a、1022c彼此垂直对齐(例如，沿着平行于图像光1032a、1032c传播方向的轴)使得它们在空间上彼此重叠，如在图像光1032a、1032c传播到入耦合光学元件1022a、1022b、1022c的方向上的俯视图所见。如在同一俯视图中所见(例如，如在所示方位的俯视图中所见)，入耦合光学元件1022b相对于其他入耦合光学元件1022a、1022c横向移位。入耦合光学元件1022b的光通过与入耦合光学元件1022a、1022c的光不同的出射光瞳输出到目镜1020。应当理解，可以使用包括波导1020a、1020b、1020c的图示波导堆叠代替图13和图14的单个图示波导1020a。
继续参考图19，入耦合光学元件1022c被配置为将图像光1032c入耦合到波导1020c中，使得它通过波导1020c的上部主表面和底部主表面之间的多次全内反射而传播通过波导1020c，入耦合光学元件1022b被配置为将图像光1032b入耦合到波导1020b中，使得它通过波导1020b的上部主表面和底部主表面之间的多次全内反射而传播通过波导1020b，并且入耦合光学元件1022a被配置为将图像光1032a入耦合到波导1020a中，使得它通过波导1020a的上部主表面和底部主表面之间的多次全内反射而传播通过波导1020a。
入耦合光学元件1022c优选地被配置为将所有入射光1032c入耦合到相关联的波导1020c中，而对所有入射光1032a是透射的。另一方面，图像光1032b可以传播到入耦合光学元件1022b而不需要传播通过任何其他入耦合光学元件。这在一些实施例中可能是有利的，因为允许眼睛对其更敏感的光入射到期望的入耦合光学元件上而没有与通过其他入耦合光学元件的传播相关联的任何损失或失真。不受理论的限制，在一些实施例中，图像光1032b是人眼对其更敏感的绿光。应当理解，虽然波导1020a、1020b、1020c被图示为以特定顺序排列，但在一些实施例中，波导1020a、1020b、1020c的顺序可以不同。
应当理解，如本文所讨论的，上覆入耦合光学元件1022a的入耦合光学元件1022c可以不具有完美的选择性。一些图像光1032a可能不合需要地通过入耦合光学元件1022c被入耦合到波导1020c中；并且一些图像光1032c可以透射通过入耦合光学元件1022c，之后图像光1032c可以照射入耦合光学元件1020a并且被入耦合到波导1020a中。如本文所讨论的，这种不合需要的入耦合可能作为重影或串扰可见。
图19B示出了图19A的目镜的示例的侧视图，该目镜具有用于减轻波导之间的重影或串扰的滤色器。特别地，滤色器1024c和/或1026被添加到图19A所示的结构中。如图所示，入耦合光学元件1022c可能无意地将图像光1032a的一部分入耦合到波导1020c中。此外，或替代地，图像光1032c的一部分不合需要地透射通过入耦合光学元件1022c，之后它可能无意地由入耦合光学元件1022a入耦合。
为了减轻无意中入耦合传播通过波导1022c的图像光1032a，可以在波导1022c的一个或两个主表面上提供吸收性滤色器1026。吸收性滤色器1026可以被配置为吸收无意中入耦合的图像光1032a的颜色的光。如图所示，吸收性滤色器1026设置在图像光传播通过波导1020c的大体方向上。因此，吸收性滤色器1026被配置为在图像光1032a通过TIR传播通过波导1020c并与吸收性滤色器1026接触而被反射离开波导1020c的主表面中的一个或两者时吸收该图像光1032a。
继续参考图19B，为了减弱传播通过入耦合光学元件1022c而不被入耦合的图像光1032c，吸收性滤色器1024c可以设置在入耦合光学元件1022a的前方。吸收性滤色器1024c被配置为吸收图像光1032c的颜色的光，以防止该光传播到入耦合光学元件1022a。虽然示出在波导1020c与1020b之间，但在一些其他实施例中，吸收性滤色器1024c可以设置在波导1020b与1020a之间。应当理解，在图16的讨论中提供了关于吸收性滤色器1024c和1026的组成、形成和性质的进一步细节。
还应当理解，在图16和图19B所示的实施例中，如果一个或多个入耦合光学元件1022a、1022b、1022c对于旨在分别入耦合到相关联的波导1020a、1020b、1022c的颜色的光具有足够高的选择性，则可以省略滤色器1026、1028、1024c和1024b中的一个或多个。
图20A示出了图19A和图19B的目镜的俯视图的示例。如图所示，入耦合光学元件1022a、1022c在空间上重叠，而入耦合光学元件1022b横向移位。此外，波导1020a、1020b、1020c以及每个波导相关联的光分配元件730、740、750和相关联的出耦合光学元件800、810、820可以垂直对齐。入耦合光学元件1022a、1022b、1022c被配置为分别使入射图像光1032a、1032b、1032c入耦合到波导1020a、1020b、1020c中(图15和图16)，使得图像光分别通过TIR朝向相关联的光分配元件730、740、750传播。
图20B示出了图19A和图19B的波导组件的俯视图的另一示例。如图20A所示，入耦合光学元件1022a、1022c在空间上重叠，入耦合光学元件横向移位，并且波导1020a、1020b、1020c垂直对齐。然而，组合式OPE/EPE 1281、1282、1283分别代替每个波导相关联的光分配元件730、740、750和相关联的出耦合光学元件800、810、820。入耦合光学元件1022a、1022b、1022c被配置为分别使入射图像光1032a、1032b、1032c入耦合到波导1020a、1020b、1020c中(图15和图16)，使得图像光分别通过TIR朝向相关联的组合式OPE/EPE 1281、1282、1283传播。
现在参考图21，应当理解，在波导中可能会不希望地发生入耦合光的回弹。当沿波导传播的入耦合光在初始入耦合入射之后第二次或后续再次照射入耦合光学元件时，发生回弹。回弹可能导致一部分入耦合光被入耦合光学元件的材料不合需要地出耦合和/或吸收。出耦合和/或光吸收可能不合需要地导致整体入耦合效率和/或入耦合光的均匀性降低。
图21示出了波导1030a中的回弹示例的侧视图。如图所示，图像光1032a通过内耦合光学元件1022a被入耦合到波导1030a中。入耦合光学元件1022a使图像光1032a重新定向，以使它大体在方向1033上传播通过波导。在如下情况下可能发生回弹：入耦合图像光在内部反射或反弹离开波导1030a的与入耦合光学元件1022a相对的主表面，并且入射到入耦合光学元件1022a上或在入耦合光学元件1022a处经历第二次反弹(回弹)。波导1030a的同一表面上的两个相邻反弹之间的距离由间隔1034表示。
不受理论限制，应当理解，入耦合内光学元件1022a可以对称地表现；即，它可以重定向入射光，使得入射光以TIR角传播通过波导。然而，以TIR角(例如在回弹时)入射在衍射光学元件上的光也可能是出耦合的。另外或替代地，在入耦合光学元件1022a涂覆有反射材料的实施例中，将理解光从诸如金属的材料层反射离开也可能涉及入射光的部分吸收，因为反射可能涉及来自材料的光的吸收和发射。结果，光出耦合和/或吸收可能不合需要地引起入耦合光的损失。因此，与仅与入耦合光学元件1022a相互作用一次的光相比，回弹的光可能导致显著的损失。
在一些实施例中，入耦合元件被配置为减轻由于回弹引起的入耦合图像光的损失。通常，入耦合光的回弹发生在入耦合光的传播方向1033上朝向入耦合光学元件1022a的端部1023。例如，如果间隔1034对于在入耦合光学元件1022a的与端部1023相对的端部处被入耦合的光足够短，则该光可能发生回弹。为了避免这种回弹，在一些实施例中，入耦合光学元件1022a在传播方向端部1023处被截断，以减小入耦合光学元件1022a的宽度1022w，沿着该宽度1022w可能发生回弹。在一些实施例中，截断可以是入耦合光学元件1022a的所有结构(例如，金属化(metallization)和衍射光栅)的完全截断。在一些其他实施例中，例如，在入耦合光学元件1022a包括金属化衍射光栅的情况下，入耦合光学元件1022a在传播方向端部1023的部分可以不被金属化，使得入耦合光学元件1022a的传播方向端部1023吸收较少的回弹光和/或以较低的效率出耦合回弹光。在一些实施例中，入耦合光学元件1022a的衍射区域沿传播方向1033的宽度可短于其垂直于传播方向1033的长度，和/或可以在尺寸上设计为并成形为使得图像的光1032a的第一部分入射在入耦合光学元件1022a上并且光束的第二部分照射在波导1030a上而不入射在入耦合光学元件1022a上。虽然为了清楚起见单独示出了波导1032a和光入耦合光学元件1022a，但是应当理解，回弹以及所讨论的用于减少回弹的策略可以适用于本文公开的任何入耦合光学元件。还应当理解，间隔1034与波导1030a的厚度有关(厚度越大间隔1034越大)。在一些实施例中，可以选择各个波导的厚度来设置间隔1034，使得不会发生回弹。在2018年7月24日提交的美国临时申请No.62/702,707中可以找到关于减轻回弹的更多细节，其全部公开内容以引用方式并入本文。
图22A至图23C示出了具有被配置为减少回弹的入耦合光学元件的目镜的俯视图的示例。入耦合光学元件1022a、1022b、1022c被配置为入耦合光，使得它在传播方向上传播朝向相关联的光分配元件730、740、750(图22A至图22C)或组合式OPE/EPE 1281、1282、1283(图23A至图23C)。如图所示，入耦合光学元件1022a、1022b、1022c可以具有沿着传播方向的较短尺寸和沿着横轴的较长尺寸。例如，入耦合光学元件1022a、1022b、1022c的每一个都可以是矩形的形状，该矩形沿着传播方向的轴的边较短，沿着正交轴的边较长。应当理解，入耦合光学元件1022a、1022b、1022c可以具有其他形状(例如，矩形(orthogonal)、六边形等)。此外，在一些实施例中，不同的入耦合光学元件1022a、1022b、1022c可以具有不同的形状。此外，优选地，如图所示，非重叠的入耦合光学元件可以定位成使得它们不在其他入耦合光学元件的传播方向上。例如，如图22A、图22B、图23A和图23B所示，非重叠入耦合光学元件可以沿着与传播方向的轴交叉(例如，正交)的轴排列成行。
应当理解，除了入耦合光学元件1022a、1022b、1022c的重叠以外，图22A至图22C的波导组件是相似的。例如，图22A示出了没有重叠的入耦合光学元件1022a、1022b、1022c。图22B示出了重叠的入耦合光学元件1022a、1022c和非重叠的入耦合光学元件1022b。图22C示出了所有入耦合光学元件1022a、1022b、1022c之间的重叠。
除了入耦合光学元件1022a、1022b、1022c的重叠以外，图23A至图23C的波导组件也是类似的。图23A示出了没有重叠的入耦合光学元件1022a、1022b、1022c。图23B示出了重叠的入耦合光学元件1022a、1022c和非重叠的入耦合光学元件1022b。图22C示出了所有入耦合光学元件1022a、1022b、1022c之间的重叠。
现在参考图24A，应当理解，发射式微显示器具有高的光扩展(etendue)，这对有效光利用提出了挑战。如这里所讨论的，发射式微显示器可以包括多个单独的光发射器。这些光发射器中的每一个都可以具有大的角发射轮廓，例如朗伯或近朗伯发射轮廓。不合需要的是，并非所有这些光都可以被捕获并被引导到显示系统的目镜。
图24A示出了由发射式微显示器1032的各个光发射器1044发射的光和由投影光学器件1070捕获的光的角发射轮廓的示例。示出的发射式微显示器1032可以对应于本文公开的任何一个发射式微显示器，包括发射式微显示器1032a、1032b、1032c。如图所示，投影光学器件1070的尺寸可以设计成使得它将捕获具有角发射轮廓1046的光。然而，光发射器1044中的角发射轮廓1046明显更大；并非所有由光发射器1044发射的光都将入射到投影光学器件1070上，也不一定以光将传播到投影光学器件1070内并且穿过投影光学器件1070的角度入射。因此，由光发射器1044发射的一些光可能由于它没有被捕获并最终中继到用户的眼睛以形成图像而不合需要地被“浪费”。这可能导致的图像看起来相比于由光发射器1040输出的较多的光最终到达用户的眼睛的情况下预期的较暗。
在一些实施例中，用于捕获由光发射器1040发射的更多光的一种策略是增加投影光学器件1070的尺寸，以增加捕获光的投影光学器件1070的数值孔径的尺寸。附加地或替代地，投影光学器件1070还可以由高折射率材料(例如，具有高于1.5的折射率)形成，高折射率材料也可以促进光收集。在一些实施例中，投影光学器件1070可以利用尺寸被设计为捕获由光发射器1044发射的所需高比例的光的透镜。在一些实施例中，投影光学器件1070可以被配置为具有细长的出射光瞳，例如，以便具有发射横截面轮廓与图22A至图23C的入耦合光学元件1022a、1022b、1022c的形状相类似的光束。例如，投影光学器件1070可以在与图22A至图23C的入耦合光学元件1022a、1022b、1022c的细长维度(dimension)对应的维度上细长。不受理论的限制，这种细长的入耦合光学元件1022a、1022b、1022c可以改善发射式微显示器与目镜1020(图22A至图23C)之间的光扩展失配。在一些实施例中，可以选择目镜1020的波导的厚度(例如，图11A和图12至图23C)以增加有效捕获的光的百分比，例如如本文所讨论通过增加回弹间隔来减少回弹。
在一些实施例中，一个或多个光准直器可用于减小或缩小来自光发射器1044的光的角发射轮廓。因此，由光发射器1044发射的较多的光可被投影光学器件1070捕获并中继到用户的眼睛，有利地增加图像的亮度和显示系统的效率。在一些实施例中，光准直器可以允许投影光学器件的光收集效率(由光发射器1044发射的光被投影光学器件捕获的百分比)以达到80％或更多的值、85％或更多的值，或90％或更多的值，包括约85至95％或85至90％。此外，来自光发射器1044的光的角发射轮廓可以(从例如180°)减小到60°或更小、50°或更小、或40°或更小。在一些实施例中，减小的角发射轮廓可以在大约30至60°、30至50°或30至40°的范围内。应当理解，来自光发射器1044的光可以形成圆锥形状，光发射器1044位于圆锥的顶点。角发射轮廓是指由圆锥的侧面形成的角度，相关联的光发射器1044位于该角度的顶点处(如在沿着延伸穿过圆锥中部并且包括圆锥顶点的平面进行截取的横截面中所见)。
图24B示出了使用光准直器阵列使角发射轮廓变窄的示例。如图所示，发射式微显示器1032包括光发射器1044的阵列，光发射器1044发射具有角发射轮廓1046的光。光准直器1302的阵列1300设置在光发射器1044的前方。在一些实施例中，每个光发射器1044与相关联的光准直器1302一对一匹配(每个光发射器1044一个光准直器1302)。每个光准直器1302重定向来自相关联的光发射器1044的入射光以提供变窄的角发射轮廓1047。因此，相对大的角发射轮廓1046被变窄为较小的角发射轮廓1047。
在一些实施例中，光准直器1302和阵列1300可以是图12和图13A的光重定向结构1080a、180c的一部分。因此，光准直器1302可以使光发射器1044的角发射轮廓变窄并且还重定向光以使得它以适当的角度传播到光学组合器1050中从而限定多个光路和相关的多个出射光瞳。应当理解，可以通过使光准直器1302适当地成形而使光在特定方向上重新定向。
优选地，光准直器1302紧靠光发射器1044定位以捕获由光发射器1044输出的大部分光。在一些实施例中，光准直器1302与光发射器1044之间可能存在间隙。在一些其他实施例中，光准直器1302可以与光发射器1044接触。应当理解，角发射轮廓1046可以形成宽的光锥(cone of light)。优选地，来自光发射器1044的光锥的全部或大部分入射在单个相关联的光准直器1302上。因此，在一些实施例中，每个光发射器1044比相关联的光准直器1302的光接收面小(占据更小的面积)。在一些实施例中，每个光发射器1044的宽度小于相邻远光发射器1044之间的间距。
有利地，光准直器1302可以增加光的利用效率并且还可以减少相邻光发射器1044之间串扰的发生。应当理解，当来自相邻光发射器的光被与该相邻光发射器不相关联的光准直器1302捕获时，光发射器1044之间可能发生串扰。该捕获的光可以传播到用户的眼睛，从而为给定像素提供错误的图像信息。
参考图24A和图24B，由投影光学器件1070捕获的光束的尺寸可以影响离开投影光学器件1070的光束的尺寸。如图24A所示，在不使用光准直器的情况下，出射光束可以具有相对较大的宽度1050。如图24B所示，利用光准直器1302，出射光束可以具有较小的宽度1052。因此，在一些实施例中，光准直器1302可以用于提供入耦合到目镜所需的光束尺寸。例如，光准直器1302使角发射轮廓1046变窄的量可以至少部分地基于由投影光学器件1070输出的光所指向的目镜中的内部耦合光学元件的尺寸来选择。
应当理解，光准直器1302可以采用各种形式。例如，在一些实施例中，光准直器1302可以是微透镜或小透镜。如本文所讨论的，每个微透镜的宽度优选地大于相关联的光发射器1044的宽度。微透镜可以由弯曲的透明材料形成，例如玻璃或聚合物，包括光刻胶和例如环氧树脂的树脂。在一些实施例中，光准直器1302可以是纳米透镜，例如衍射光栅。在一些实施例中，光准直器1302可以是超表面和/或液晶光栅。在一些实施例中，光准直器1302可以采用反射阱的形式。
应当理解，根据由相关联的光发射器1044发射的光的波长或颜色，不同的光准直器1302可以具有不同的尺寸和/或形状。因此，对于全色发射式微显示器，根据由相关联的光发射器1044发射的光的颜色，阵列1300可以包括具有不同尺寸和/或形状的多个光准直器1302。在发射式微显示器是单色微显示器的实施例中，可以简化阵列1300，阵列中的每个光准直器1302被配置为重定向相同颜色的光。对于此类单色微显示器，在一些实施例中，光准直器1302在整个阵列1300上可以是相似的。
继续参考图24B，如本文所讨论的，光准直器1302可以与光发射器1044具有一对一的关联关系。例如，每个光发射器1044可以具有分立的相关联的光准直器1302。在一些其他实施例中，光准直器1302可以伸长使得它们延伸遍及多个光发射器1044。例如，在一些实施例中，光准直器1302可以伸长到页面中并且在一行的多个光发射器1044的前面延伸。在一些其他实施例中，单个光准直器1302可以延伸遍及一列光发射器1044。在其他实施例中，光准直器1302可以包括堆叠的多列和/或多行的透镜结构(例如，纳米透镜结构、微透镜结构等)。
如上所述，光准直器1302可以采用反射阱的形式。图25A示出了用于将光引导至投影光学器件的逐渐变窄反射阱阵列的侧视图的示例。如图所示，光准直器阵列1300可以包括基板1301，在基板中可以形成多个反射阱形式的光准直器1302。每个阱可以包括至少一个光发射器1044，其可以发射具有朗伯角发射轮廓1046的光。光准直器1302的阱的反射壁1303逐渐变窄并且反射发射的光，使得它以更窄的角发射轮廓1047从阱输出。如图所示，反射壁1303可以逐渐变窄，使得横截面尺寸随着距光发射器1044的距离增加而增加。在一些实施例中，反射壁1303可以是弯曲的。例如，侧面1303可以具有复合抛物面聚光器(CPC)的形状。
现在参考图25B，示出了非对称逐渐变窄反射阱的侧视图的示例。如本文所讨论的，例如，如图12A至图13A中所示，可能需要的是利用光准直器1302在与光发射器1044的表面不垂直的特定方向上引导光。在一些实施例中，如图25B所示的侧视图中，光准直器1302可以是非对称的，与下侧面1303b相比，上侧面1303a与光发射器1044的表面形成不同的角度(例如，更大的角度)；例如，反射壁1303a、1303b相对于光发射器1044的角度在光准直器1302的不同侧面可以不同，以便在特定的非法线方向上引导光。因此，如图所示，离开光准直器1302的光通常可以在与光发射器1044的表面不垂直的方向1048上传播。在一些其他实施例中，为了在方向1048上引导光，上侧面1303a逐渐变细的程度可以不同于下侧面逐渐变细的程度；例如，上侧面1303a可以比下侧面1303b向外张开的程度更大。
继续参考图25，基板1301可以由具有足够机械完整性的各种材料形成以保持反射壁1303的期望形状。合适材料的示例包括金属、塑料和玻璃。在一些实施例中，基板1301可以是材料板。在一些实施例中，基板1301是连续的整体材料片。在一些其他实施例中，基板1301可以通过将两片或更多片材料接合在一起而形成。
反射壁1303可以通过各种方法形成在基板1301中。例如，壁1303可以通过对基板1301进行机械加工或以其他方式去除材料以限定壁1303而形成为期望的形状。在一些其他实施例中，壁1303可以在形成基板1301时形成。例如，壁1303可以在基板1301被模制成其期望形状时被模制到基板1301中。在一些其他实施例中，壁1303可以在主体2200形成之后通过材料的重新排布来限定。例如，壁1303可以通过压印来限定。
一旦形成壁1303的轮廓，它们可以经历进一步的处理以形成具有所需反射程度的表面。在一些实施例中，基板1301的表面本身可以是反射性的，例如在主体由反射金属形成的情况下。在这种情况下，进一步处理可以包括平滑或抛光壁1303的内表面以增加它们的反射率。在一些其他实施例中，反射器2110的内表面可以衬有反射涂层，例如通过气相沉积工艺。例如，反射层可以通过物理气相沉积(PVD)或化学气相沉积(CVD)形成。
应当理解，光发射器相对于相关联的光准直器的位置可以影响从光准直器发出的光的方向。例如，这在图26A至图26C中示出，图26A至图26C示出了相对于上覆的相关联的光准直器的中心线在不同位置处的光发射器的光路差异的示例。如图26A所示，发射式微显示器30具有多个光发射器1044a，每个光发射器具有相关联的光准直器1302，相关联的光准直器1302有助于输出具有变窄的角发射轮廓1047的光。光穿过投影光学器件1070(为了便于说明被表示为简单的透镜)，投影光学器件1070将来自各个光发射器1044a的光会聚到区域1402a上。
继续参考图26A，在一些实施例中，每个光准直器1302可以是对称的并且可以具有沿着光准直器的对称轴延伸的中心线。在示出的配置中，光发射器1044a设置在每个光准直器1302的中心线上。
现在参考图26B，光发射器1044b与它们相应的光准直器1302的中心线偏移距离1400。这种偏移使得来自光发射器1044b的光采取不同的路径通过光准直器1302，光准直器1302使得来自光发射器1044b的光以变窄的角发射轮廓1047b输出。投影光学器件1070然后使来自光发射器1044b的光会聚到区域1402b上，该区域相对于来自光发射器1044a的光会聚的区域1402a偏移。
现在参考图26C，示出了与光发射器1044a和1044b两者偏移的光发射器1044c。该偏移使得来自光发射器1044c的光与来自光发射器1044a和1044b的光采取不同的路径通过光准直器1302。这使得光准直器1302以较窄的角发射轮廓输出来自光发射器1044c的光，其中来自光发射器1044c的光采用与来自光发射器1044a和1044b的光不同的路径到达投影光学器件1070。最终，投影光学器件1070将来自光发射器1044c的光会聚到相对于区域1402a和1402b偏移的区域1402c上。
参考图26A至图26C，光发射器1044a、1044b、1044c的每个三元组可以共享公共的光准直器1302。在一些实施例中，微显示器1030可以是全色微显示器并且每个光发射器1044a、1044b、1044c可以被配置为发射不同分量颜色的光。有利地，在一些实施例中，偏移区域1402a、1402b、1402c可以对应于波导的入耦合光学元件。例如，区域1402a、1402b、1402c可以分别对应于图11A和图12的入耦合光学元件1022a、1022b、1022c。因此，光准直器1302和光发射器1044a、1044b、1044c的偏移方位可以使用全色发射式微显示器有利地提供简单的三瞳投影系统1010。
如本文所述，光准直器1302也可以采用纳米透镜的形式。图27示出了具有作为纳米透镜的光准直器1302的上覆阵列1300的发射式微显示器1030的各个光发射器1044的侧视图的示例。如本文所讨论的，光发射器1044中的各个光发射器可以各自具有相关联的光准直器1302。光准直器1302重定向来自光发射器1044的光以缩小光发射器1044的大角发射轮廓1046，以输出具有变窄的角发射轮廓1047的光。
继续参考图27，在一些实施例中，光准直器1302可以是光栅结构。在一些实施例中，光准直器1302可以是由具有不同折射率的材料的交替细长离散扩展(例如，线)形成的光栅。例如，材料1306的扩展可以伸长进入和离开页面并且可以形成在基板1308的材料中并且被基板1308的材料分开。在一些实施例中，材料1306的伸长扩展可以具有亚波长宽度和间距(例如、宽度和间距小于光准直器1302被配置为从相关联的光发射器1044接收的光的波长)。在一些实施例中，间距1304可以是30至300nm，光栅的深度可以是10至1000nm，形成基板1308的材料的折射率可以是1.5至3.5，形成光栅特征1306的材料的折射率可以是1.5至2.5(并且不同于形成基板1308的材料的折射率)。
所示的光栅结构可以通过各种方法形成。例如，基板1308可以被蚀刻或纳米压印以限定沟槽，并且沟槽可以填充有与基板1308不同折射率的材料以形成光栅特征1306。
有利地，纳米透镜阵列可以提供各种益处。例如，纳米小透镜的光收集效率可以很大，例如80至95％，包括85至90％，具有角发射轮廓的极好减少，例如(从180°)减少到30至40°。此外，可以实现低水平的串扰，因为每个纳米透镜光准直器1302可以具有所选的物理尺寸和特性(例如，间距、深度、形成特征1306和基板1308的材料的折射率)以作用于特定颜色和可能特定入射角的光，同时优选提供高消光比(对于其他颜色的光的波长)。此外，纳米透镜阵列可以具有平坦的轮廓(例如，形成在平坦的基板上)，这可以促进与可以是平板的微显示器的集成，并且还可以促进制造并且在形成纳米透镜阵列时提供高度可重复性和精度。例如，高度可重复的沟槽的形成和沉积工艺可用于形成每个纳米透镜。此外，与在形成具有类似变化的弯曲透镜时通常实现的相比，这些工艺允许更容易和可再现性地实现阵列的纳米透镜之间的变化。
现在参考图28，示出了发射式微显示器1030的示例的透视图。应当理解，光准直器阵列1300有利地允许从微显示器发射的光根据需要被按路线发送(route)。结果，在一些实施例中，全色微显示器的光发射器可以根据需要进行组织，例如，以便于在显示设备中制造或实施。在一些实施例中，光发射器1044可以布置成行或列1306a、1306b、1306c。每行或每列可以包括被配置为发射相同分量颜色的光的光发射器1044。在使用三种分量颜色的显示器中，可以存在在整个微显示器1030上重复的成组的三行或三列。应当理解，在利用更多分量颜色的情况下，每个重复组可以具有该数量的行或列。例如，在使用四种分量颜色的情况下，每组可以具有四行或四列，其中一行或一列由被配置为发射单个分量颜色的光的光发射器形成。
在一些实施例中，可以重复一些行或列以增加特定分量颜色的光发射器的数量。例如，一些分量颜色的光发射器可以占据多行或多列。这可以促进色彩平衡和/或可以用于解决随着时间推移的差异老化或发光强度降低。
参考图27和图28，在一些实施例中，光发射器1044可以各自具有相关联的光准直器1302。在一些其他实施例中，多个光发射器1044的每条线1306a、1306b、1306c可以具有单个相关联的光准直器1302。该单个相关联的光准直器1302可以延伸遍及基本上整个相关联的线1306a、1306b或1306c。在一些其他实施例中，相关联的光准直器1302可以伸长并且在形成相关联的线1306a、1306b或1306c的一部分的多个光发射器1044之上延伸，并且可以沿着每个相关联的线1306a、1306b、1306c提供多个类似的光准直器1302。
继续参考图28，每个光发射器1044可以沿特定轴(例如，如图所示沿y轴)伸长；即，每个光发射器沿特定轴具有长度，该长度长于光发射器的宽度。此外，被配置为发射相同分量颜色的光的一组光发射器可以布置在沿着与光发射器1044的伸长轴交叉(例如，正交)的轴(例如，x轴)延伸的线1306a、1306b或1306c(例如，行或列)中。因此，在一些实施例中，相同分量颜色的光发射器1044形成光发射器的线1306a、1306b或1306c，该线沿第一轴(例如，x轴)延伸，并且各个光发射器1044在沿第二轴(例如，y轴)伸长的线内。
相比之下，应当理解，全色微显示器通常包括每个分量颜色的子像素，子像素以特别相对紧密排列的空间方位排列成组，这些组遍及阵列地重复。每组子像素可以形成图像中的像素。在一些情况下，子像素沿轴伸长，并且相同分量颜色范围的子像素的行或列沿相同的轴延伸。应当理解，这样的布置允许每组的子像素靠近在一起，这可以有利于图像质量和像素密度。然而，在图28所示的布置中，由于光发射器1044的细长形状，不同分量颜色的子像素相距较远；即，线1306a的光发射器与线1306c的光发射器相距较远，因为线1306b的光发射器的细长形状使得光发射器1306a和1306c比给定光发射器线的相邻光发射器间隔得更多。虽然如果形成在微显示器1030表面上的图像被直接中继到用户的眼睛，这可能会提供不可接受的差的图像质量，但是使用光准直器阵列1300有利地允许不同颜色的光根据需要被按路线发送从而形成高质量的图像。例如，每个分量颜色的光可用于形成单独的单色图像，然后这些图像被按路线发送到目镜并在目镜中组合，例如目镜1020(例如，图11A和图12至图14)。
参考图27和图28，在一些实施例中，光发射器1044可以各自具有相关联的光准直器1302。在一些其他实施例中，光发射器1044的每条线1306a、1306b、1306c可以具有单个相关联的光准直器1302。单个相关联的光准直器1302可以延伸遍及基本上整个相关联的线1306a、1306b或1306c。在一些其他实施例中，相关联的光准直器1302可以伸长并且在形成相关联的线1306a、1306b或1306c的一部分的多个光发射器1044之上延伸，并且可以沿着每个相关联的线1306a、1306b、1306c提供多个类似的光准直器1302。
应当理解，光准直器1302可以用于沿着不同的光路引导光以形成多瞳投影系统。例如，光准直器1302可以将不同分量颜色的光分别引导到两个或三个区域，用于光入耦合。
图29示出了可穿戴显示系统的示例，该可穿戴显示系统具有用于形成多瞳投影系统1010的图28的全色发射式微显示器1030。在所示实施例中，全色发射式微显示器1030发射三种分量颜色的光并形成三瞳投影系统1010。投影系统1010具有三个出射光瞳，不同分量颜色的图像光1032a、1032b、1032c通过这三个出射光瞳分别传播到目镜1020的三个横向移位的光入耦合光学元件1022a、1022b、1022c。目镜1020然后将图像光1032a、1032b、1032c中继到用户的眼睛210。
发射式微显示器1030包括光发射器1044的阵列，该阵列可以细分为单色光发射器1044a、1044b、1044c，它们分别发射图像光1032a、1032b、1032c。应当理解，光发射器1044发射具有宽角发射轮廓1046的图像光。图像光传播通过光准直器阵列1300，这将角发射轮廓减小到变窄的角发射轮廓1047。
此外，光准直器阵列1300被配置为重定向图像光(图像光1032a、1032b、1032c)以便图像光以如下的角度入射到投影光学器件1070上：该角度使得投影光学器件1070输出图像光以便该图像光传播到适当的入耦合光学元件1022a、1022b、1022c。例如，光准直器阵列1300优选地被配置为：引导图像光1032a以便它传播通过投影光学器件1070并且入射在入耦合光学元件1022a上；引导图像光1032b以便它传播通过投影光学器件1070并且入射在入耦合光学元件1022b上；并且引导图像光1032c以便它传播通过投影光学器件1070并且入射在入耦合光学元件1022c上。
由于不同的光发射器1044可以发射不同波长的光并且可能需要被重定向到不同的方向以到达合适的入耦合光学元件，所以在一些实施例中，与不同的光发射器1044相关联的光准直器可以具有不同的物理参数(例如，不同的间距、不同的宽度等)。有利地，使用平的纳米透镜作为光准直器促进了物理特性在整个光准直器阵列1300上变化的光准直器的形成。如本文所述，纳米透镜可以使用图案化和沉积工艺形成，这有助于遍及基板形成具有不同间距、宽度等的结构。
再次参考图24A，应当理解，示出的显示系统示出了单个发射式微显示器并且省略了光学组合器1050(图11A和图12至图13B)。在使用光学组合器1050的实施例中，光学组合器1050中的反射表面1052、1054(图11A、图12至图13B和图30B)优选地是镜面反射器，并且预期来自光发射器1044的光在从反射表面1052、1054反射之后将保持它们的大角度的发射轮廓。因此，当使用光学组合器1050时，类似地存在图24A中所示的浪费光的问题。
现在参考图30A，示出了具有发射式微显示器和相关联的光准直器阵列的可穿戴显示系统的示例。图30A示出了关于光发射器1044、光准直器1302和目镜1020的入耦合光学元件之间相互作用的附加细节。显示系统包括微显示器1030b，在一些实施例中该微显示器1030b可以是全色微显示器。在一些其他实施例中，微显示器1030b可以是单色微显示器并且附加的单色微显示器(未示出)可以设置在可选的光学组合器1050的不同面(如图30C所示)。
继续参考图30A，微显示器1030b包括光发射器1044的阵列，每个光发射器发射具有宽角发射轮廓(例如，朗伯角发射轮廓)的光。每个光发射器1044具有相关联的专用光准直器1302，光准直器1302有效地将角发射轮廓缩小为变窄的角发射轮廓1047。具有变窄的角发射轮廓的光束1032b穿过投影光学器件1070，该投影光学器件1070将那些光束投影或会聚到入耦合光学元件1022b上。应当理解，光束1032b具有特定的横截面形状和尺寸1047a。在一些实施例中，入耦合光学元件1022b具有基本上匹配或大于当光束1032b入射到该入耦合光学元件1022b上时光束1032b的横截面形状和尺寸。因此，在一些实施例中，可以基于入射到入耦合光学元件1022b上时的光束1032b的横截面尺寸和形状来选择入耦合光学元件1022b的尺寸和形状。在一些其他实施例中，可以利用其他因素(回弹减轻，或入耦合光学元件1022b支持的角度或视场)来确定入耦合光学元件1022b的尺寸和形状，并且光准直器1302可以被配置为(例如，尺寸被设计为并且成形为)提供具有适当尺寸和形状的横截面的光束1032b，其优选地完全或几乎完全被入耦合光学元件1022b的尺寸和形状包围。在一些实施例中，光准直器1302和入耦合光学元件1022b的物理参数可以相互修改以结合其他所需功能(例如，回弹减轻、对所需视场的支持等)提供高效的光利用。有利地，由光准直器1302提供的上述光准直以及光束1032b的横截面尺寸和形状与入耦合光学元件1022b的尺寸和形状的匹配允许入耦合光学元件1022b捕获大部分入射光束1032b。入耦合的光然后传播通过波导1020b并且出耦合到眼睛210。
如图所示，微显示器1030b可以包括光发射器1044的阵列1042，每个光发射器1044都被具有总宽度1045w的非发光区域1045围绕。此外，光发射器1044具有宽度W和间距P。在光发射器1044规则地间隔开的阵列中，每个光发射器1044和周围区域1045有效地形成具有宽度1045w的单位单元，宽度1045w可以等于间距P。
在一些实施例中，光准直器1302是直接设置在相关联的光发射器1044上并围绕其周围的微透镜。在一些实施例中，微透镜1302的宽度等于1045w，使得相邻的微透镜1302接近相互接触或直接接触。应当理解，来自光发射器1044的光可以填充相关联的微透镜1302，有效地放大了光发射器1044所包围的区域。有利地，这样的配置降低了不发光并且可能以其他方式作为暗空间对于用户可见的区域1045的可感知性。然而，因为微透镜1302有效地放大了相关联的光发射器1044以使其延伸遍及微透镜1302的整个区域，所以区域1045可以被遮蔽(mask)。
继续参考图30A，可以选择光发射器1044和光准直器1302的相对尺寸，使得来自光发射器1044的光填充相关联的光准直器1302。例如，光发射器1044可以间隔开相距足够远，使得具有所需曲率的微透镜准直器1302可以形成为在光发射器1044中的各个光发射器上延伸。此外，如上所述，优选地选择内部耦合光学元件1022b的尺寸和形状，使得它匹配或超过入射到该入耦合光学元件1022b上时的光束1032b的横截面形状和尺寸。因此，在一些实施例中，入耦合光学元件1022b的宽度1025等于或大于微透镜1302的宽度(其可以具有等于1045w或P的宽度)。优选地，宽度1025大于微透镜1302的宽度或1045w或P，以考虑光束1032b中的一些扩展。如本文所讨论的，宽度1025也可以被选择为减轻回弹并且可以比入耦合光学元件1022b的长度(其与宽度正交)更短。在一些实施例中，宽度1025可以沿着与入耦合光1032b在出耦合以传播到眼睛210之前穿过波导1020b的传播方向相同的轴延伸。
现在参考图30B，示出了光投影系统1010的示例，该光投影系统1010具有多个发射式微显示器1030a、1030b、1030c以及分别相关联的光准直器阵列1300a、1300b、1300c。由微显示器1030a、1030b、1030c发射的光的角发射轮廓通过光准直器阵列1300a、1300b、1300c变窄，从而有助于在光传播通过光学组合器1050之后由投影光学器件1070收集大部分发射光。投影光学器件1070然后将光引导至目镜，例如目镜1020(例如，图11A和图12至图14)(未示出)。
图30C示出了具有多个发射式微显示器1030a、1030b、1030c的可穿戴显示系统的示例，每个微显示器分别具有相关联的光准直器阵列1300a、1300b、1300c。示出的显示系统包括用于发射具有图像信息的光的多个微显示器1030a、1030b、1030c。如图所示，微显示器1030a、1030b、1030c可以是微LED面板。在一些实施例中，微显示器可以是单色微LED面板，每个单色微LED面板被配置为发射不同的分量颜色。例如，微显示器1030a可以被配置为发射红色的光1032a，微显示器1030b可以被配置为发射绿色的光1032b，而微显示器1030c可以被配置为发射蓝色的光1032c。
每个微显示器1030a、1030b、1030c可以分别具有相关联的光准直器阵列1300a、1300b、1300c。光准直器使来自相关联的微显示器的光发射器的光1032a、1032b、1032c的角发射轮廓变窄。在一些实施例中，单独的光发射器具有专用的相关联的光准直器(如图30A所示)。
继续参考图30C，光准直器阵列1300a、1300b、1300c位于相关联的微显示器1030a、1030b、1030c与光学组合器1050之间，光学组合器1050可以是X立方体。如图所示，光学组合器1050具有用于将入射光反射出光学组合器的输出面的内部反射表面1052、1054。除了使入射光的角发射轮廓变窄之外，光准直器阵列1300a、1300c可以被配置为重定向来自相关联的微显示器1030a、1030c的光，使得光以适合于分别朝向相关联的光入耦合光学元件1022a、1022c进行传播的角度来照射光学组合器1050的内部反射表面1052、1054。在一些实施例中，为了在特定方向上对光进行重定向，光准直器阵列1300a、1300c可以包括微透镜或反射阱，它们可以是非对称的和/或光发射器可以相对于这些微透镜或反射阱偏心布置，如本文所公开。
继续参考图30C，投影光学器件1070(例如，投影透镜)设置在光学组合合器1050的输出面，以接收从该光学组合器出射的图像光。投影光学器件1070可以包括被配置为将图像光会聚或聚焦到目镜1020上的透镜。如图所示，目镜1020可以包括多个波导，每个波导被配置为入耦合和出耦合特定颜色的光。例如，波导1020a可以被配置为从微显示器1030a接收红光1032a，波导1020b可以被配置为从微显示器1030b接收绿光1032b，并且波导1020c可以被配置为从微显示器1032c接收蓝光1032c。每个波导1020a、1020b、1020c对于耦合到其中的光分别具有相关联的光入耦合光学元件1022a、1022b、1022c。此外，如本文所讨论的，波导1020a、1020b、1020c可以分别对应于图9B的波导670、680、690并且可以各自具有相关联的正交光瞳扩展器(OPE)和出射光瞳扩展器(EPE)，出射光瞳扩展器(EPE)最终将光1032a、1032b、1032c出耦合到用户。
如本文所讨论的，包含微显示器的可穿戴显示系统优选地被配置为输出具有不同波前发散量的光，从而为用户提供舒适的调节-聚散匹配。这些不同波前发散量可以使用具有不同光焦度(optical power)的出耦合光学元件来实现。如本文所讨论的，出耦合光学元件可以存在于诸如目镜1020(例如，图11A和图12至图14)的目镜的波导上或波导中。在一些实施例中，透镜可用于增加由出耦合光学元件提供的波前发散，或者可用于在出耦合光学元件被配置为输出准直光的配置中提供期望的波前发散。
图31A和图31B示出了目镜1020的示例，目镜1020具有用于改变光对观看者的波前发散的透镜。图31A示出了具有波导结构1032的目镜1020。在一些实施例中，如本文所讨论的，所有分量颜色的光可以入耦合到单个波导中，使得波导结构1032仅包括单个波导。这有利地提供了紧凑的目镜。在一些其他实施例中，波导结构1032可以理解为包括多个波导(例如，图11A和图12至图13A的波导1032a、1032b、1032c)，每个波导可以被配置为向用户的眼睛中继单个分量颜色的光。
在一些实施例中，可变焦透镜元件1530、1540可以设置在波导结构1032的任一侧。可变焦透镜元件1530、1540可以在从波导结构1032到眼睛210的图像光的路径中，并且还在从周围环境通过波导结构1003 2到眼睛210的光的路径中。可变焦光学元件1530可以调制由波导结构1032输出到眼睛210的图像光的波前发散。应当理解，可变焦光学元件1530可以具有可以扭曲眼睛210的世界视图的光焦度。因此，在一些实施例中，可以在波导结构1032的世界侧提供第二可变焦光学元件1540。第二可变焦光学元件1540可以提供与可变焦光学元件1530的光焦度相反(或与光学元件1530和波导结构1032的净光焦度相反，其中波导结构1032具有光焦度)的光焦度，使得可变焦透镜元件1530、1540和波导结构1032的净光焦度基本为零。
优选地，可以例如通过向其施加电信号来动态地改变可变焦透镜元件1530、1540的光焦度。在一些实施例中，可变焦透镜元件1530、1540可以包括透射光学元件，例如动态透镜(例如，液晶透镜、电活性(active)透镜、具有移动元件的传统折射透镜、基于机械形变的透镜、电润湿透镜、弹性透镜、或具有不同折射率的多种流体)。通过改变可变焦透镜元件的形状、折射率、或其他特性，可以改变入射光的波前。在一些实施例中，可变焦透镜元件1530、1540可以包括夹在两个基板之间的液晶层。基板可以包括透光材料，例如玻璃、塑料、丙烯酸纤维等。
在一些实施例中，除了提供用于将虚拟内容放置在不同深度平面上的可变波前发散量之外或作为替代，可变焦透镜元件1530、1540和波导结构1032可以有利地提供等于用户对矫正透镜的处方光焦度的净光焦度。因此，目镜1020可以作为用于矫正屈光不正的透镜的替代物，包括近视、远视、老花眼和散光。可以在2017年4月6日提交的美国申请No.15/481,255号中找到关于使用可变焦透镜元件作为矫正透镜的替代的更多细节，该申请的全部公开内容以引用并入本文。
现在参考图31B，在一些实施例中，目镜1020可以包括静态的而不是可变的透镜元件。与图31B一样，波导结构1032可以包括单个波导(例如，其可以中继不同颜色的光)或多个波导(例如，每个波导可以中继单个分量颜色的光)。类似地，波导结构1034可以包括单个波导(例如，其可以中继不同颜色的光)或多个波导(例如，每个波导可以中继单个分量颜色的光)。波导结构1032、1034中的一者或两者可具有光焦度并且可以输出具有特定波前发散量的光，或可以简单地输出准直光。
继续参考图31B，在一些实施例中，目镜1020可以包括静态透镜元件1532、1534、1542。这些透镜元件中的每一个设置在从周围环境通过波导结构1032、1034进入眼睛210的光的路径中。另外，透镜元件1532在波导结构1003 2与眼睛210之间。透镜元件1532修改由波导结构1032输出到眼睛210的光的波前发散。
透镜元件1534修改由波导结构1034输出到眼睛210的光的波前发散。应当理解，来自波导结构1034的光也穿过透镜元件1532。因此，由波导结构1034输出的光的波前发散通过透镜元件1534和透镜元件1532(以及波导结构1032，在波导结构1003 2具有光功率的情况下)两者修改。在一些实施例中，透镜元件1532、1534和波导结构1032为从波导结构1034输出的光提供特定的净光焦度。
所示实施例提供了两个不同水平的波前发散，一个用于从波导结构1032输出的光，第二个用于由波导结构1034输出的光。因此，虚拟对象可以放置在两个不同的深度平面上，对应于不同水平的波前发散。在一些实施例中，可以通过在透镜元件1532与眼睛210之间添加附加的波导结构，在附加的波导结构和眼睛210之间添加附加的透镜元件，来提供附加水平的波前发散和因此附加的深度平面。通过添加更多的波导结构和透镜元件，可以类似地添加更多水平的波前发散。
继续参考图31B，应当理解，透镜元件1532、1534和波导结构1032、1034提供可以扭曲用户的世界视图的净光焦度。结果，透镜元件1542可用于对抗环境光的光焦度和失真。在一些实施例中，透镜元件1542的光焦度被设置为抵消由透镜元件1532、1534和波导结构1032、1034提供的聚合(aggregate)光焦度。在一些其他实施例中，透镜元件1542、透镜元件1532、1534和波导结构1032、1034的净光焦度等于用户对矫正透镜的处方光焦度。
具有低运动到光子延迟的显示系统
如本文所述，LCoS可以用作显示系统中的空间光调制器。例如，由于例如改变LCoS的液晶的取向所需的时间，LCoS可能被限制为相对低的最大刷新率。如上所述，在一些情况下，该最大刷新率可以是大约330Hz。因此，并且如本文所述，该最大刷新率可以导致不合需要的可见显示伪像。
作为示例，关于运动到光子的延迟，虚拟内容可以被配置为使得它被感知为被放置在现实世界中。显示系统可以使用由一个或多个方位传感器(例如，惯性测量单元(IMU))生成的信息来至少部分地确定与用户相关联的头部姿势。头部姿势可以通知用户头部在三维空间内的方位。该头部姿势因此可以通知虚拟内容的生成。例如，当用户围绕轴旋转他/她的头部时，应该相应地调整虚拟内容，使得虚拟内容看起来不会移动。如上所述，运动到光子的延迟可以指示从确定用户姿势到形成基于运动而调整的虚拟内容的光被输出到用户眼睛的时间。最大刷新率因此可以限制该时间可以减少的程度。因此，当用户移动他/她的头部时，可能会感觉到运动到光子的延迟。
作为另一示例，可能存在与用户感知的呈现的虚拟内容相关联的明显运动模糊。如上所述，可以理解，呈现的虚拟内容的持久度可能与运动模糊有关。持久度可以指示从输出帧的开始到正在输出后续帧的向用户输出虚拟内容帧的时间。如这里所使用的，占空比可以指示背光(例如，LED)输出光的时间百分比。因此，占空比可以基于与虚拟内容的呈现相关联的持续性和帧速率。例如，占空比可以基本上类似于持久度除以每一帧的时间。提高持久度可以增加感知亮度，例如因为占空比相应增加。然而，提高持久度可能具有增加运动模糊的有害影响。因此，降低持久度可能是有利的。然而，对于LCoS面板，亮度的降低可能会使呈现的虚拟内容变得不逼真。
这里描述的是至少克服了上述示例问题的显示系统的示例。在本文的示例实施例中，为了便于讨论，显示系统被描述为利用微LED。如上所述，微LED可以能够以高速(例如，2000Hz、2500Hz等)切换(例如，开启和关闭)。此外，微LED可以是发射式的。在一些实施例中，虚拟内容帧的每个像素可以单独寻址。因此，微LED可以取代LCoS面板。虽然在一些特定实施例中描述了微LED，但应当理解，可以利用额外的显示技术。例如，可以可选地利用数字光处理(DLP)显示器、有机LED(OLED)技术等。在一些实施例中，空间光调制器可以是在此讨论的DLP面板、OLED阵列等。
图32示出了根据一些实施例的示例空间光调制器3200的框图。应当理解，空间光调制器3200可以包括用于提供空间调制光的光学元件和用于例如操作光学元件和各种其他处理的电子器件，如本文所公开的。空间光调制器3200可以包括在显示系统(例如，显示系统60，图9E)中，例如作为佩戴在用户头部上的显示系统(例如，显示单元70，图9E)的一部分。在一些实施例中，空间光调制器3200可以采用包括像素阵列的面板的形式。如图所示，空间光调制器3200优选地包括方位传感器3202(例如，惯性测量单元(IMU)、眼睛跟踪相机等)、扭曲引擎3204、和面板上控制逻辑3206。例如，这些各种元件可以共享公共基板，例如公共电路板或具有电互连的其他支撑件。方位传感器3202、扭曲引擎3204、和面板上控制逻辑3206将在下面更详细地描述，然而，应当理解，在一些实施例中，这些元件中的一个或多个可以与空间光调制器3200物理分离。例如，这些元件可以包括在显示系统的其他部分内。在该示例中，元件可以经由一个或多个连接与调制器3200通信。
继续参考图32，本地处理和数据模块140(图9E)可以生成渲染内容3222以用于经由显示单元呈现。本地处理和数据模块140可以包括处理元件，例如图形处理单元、中央处理单元等。使用例如图形处理单元3220，本地处理和数据模块140可以生成虚拟内容的渲染帧以呈现给用户。如图所示，用户的眼睛3210接收利用与虚拟内容对应的图像信息进行编码的空间调制光3212。空间调制光3212是基于空间光调制器3200的操作来提供的。虽然未示出，但应理解的是，光3212可以通过一个或多个光学元件(例如，组合器、准直光学器件、焦点操纵光学器件等)按路线发送到眼睛3210。此外，可利用发射式显示技术来产生空间调制光3212，例如微LED。
本地处理和数据模块140可以与显示单元分离，并且经由数据链路130与显示单元通信。作为示例，数据链路130可以表示调制器3200与模块140之间的物理连接(例如，经由一个或多个线缆)。作为另一示例，数据链路130可以是无线连接，例如经由WiFi(例如，802.11ad、802.11ay)等提供。
因此，空间光调制器3200和本地处理和数据模块140可以利用数据链路130在彼此之间按路线发送信息。例如，空间光调制器3200可以向本地处理和数据模块140提供方位信息3208。方位信息3208可以基于惯性测量单元3202、眼睛跟踪相机等生成。如上所述，方位信息3208可以通知与显示单元相关联的头部姿势、用户的眼睛注视等。作为示例，方位信息3208可用于确定绕一个或多个轴的旋转或平移。本地处理和数据模块140可以利用该方位信息3208来生成虚拟内容。
例如，图形处理单元3220可以生成用于在用户的虚拟或现实世界环境内呈现的虚拟内容。虚拟内容可以被配置为相对于用户的特定位置，并且图形处理单元3220可以基于用户的头部姿势来渲染每一帧。应当理解，图形处理单元3220可以以特定帧速率(例如，60Hz、330Hz)或高达特定帧速率来渲染内容3222。特定帧速率可以基于例如关于显示系统的功率使用、发热等的约束。此外，渲染内容3222可以以高质量来渲染，例如具有逼真的照明、阴影、多边形等。可以选择特定帧速率以平衡渲染高质量虚拟内容与以上指出的约束。因此，图形处理单元3220可以利用接收到的方位信息3208来周期性地生成渲染内容3222。然后可以经由数据链路130将渲染内容3222提供给空间光调制器3200。
如上所述，运动到光子延迟可以指示从(例如，经由方位传感器3202)确定用户的特定方位或姿势的时间到形成包含检测到的运动的虚拟内容的光3212被呈现给用户的眼睛3210的时间。由于图形处理单元3220可以以上述特定帧速率输出渲染内容3222，所以用户可以注意到运动到光子的延迟。关于以60Hz提供的渲染内容3222的示例，运动到光子延迟可以是16毫秒或更多。
根据以上示例，在向眼睛3210提供一帧渲染内容3222之后，用户的眼睛3210可能因此在16ms内不会接收到后续帧。可以理解的是，在接收到后续帧之前，用户可能已经围绕一个或多个轴移动了他/她的身体。例如，用户可能已经转动了他/她的头部、靠近或远离虚拟内容等等。因此，为了包含最近的(recent)方位信息，可以向眼睛3210呈现两次或更多次示例帧。每个呈现可以基于更新的方位信息而变化。如上所述，渲染内容3222可以经由数据链路130从图形处理单元3220以渲染帧速率(例如，60Hz、330Hz)呈现。每个渲染帧可以基于方位信息调整一次或多次。因此，每个渲染帧中包括的相同图像信息可以输出到用户的眼睛3210两次或更多次。
如本文所讨论的，在用户姿势发生改变的情况下，与姿势改变的时刻(timing)相关联的渲染内容3222的每个渲染帧可以根据由方位传感器3202生成的更新方位信息来扭曲。方位传感器3202可以以大于阈值频率(例如，2000Hz、3000Hz、5000Hz等)生成更新的方位信息。在所示示例中，空间光调制器3200中包括扭曲引擎3204。该扭曲引擎3204可以表示对接收的渲染帧执行扭曲处理的处理元件。例如，扭曲引擎3204可以是设计用于执行扭曲处理的硬件ASIC或现场可编程门阵列(FPGA)。作为另一示例，扭曲引擎3204可以表示在形成空间光调制器3200的一部分的一个或多个处理器上执行的软件。扭曲引擎3204因此可以通过基于从方位传感器3202接收的信息对渲染帧进行更新来生成经扭曲的帧。扭曲引擎3204然后可以以扭曲帧速率输出经扭曲的帧。例如，扭曲帧速率可以显著高于渲染帧速率(例如，640Hz、666Hz、1000Hz、2000Hz等等)。
有利地，扭曲引擎3204可以靠近与在此描述的显示技术相关联的面板上控制逻辑3206进行定位。作为示例，面板上控制逻辑3206可以寻址特定的微LED并使被寻址的微LED输出光3212。与将扭曲引擎3204设置在本地处理和数据模块140相比，扭曲引擎3204的这种设置可以提供各种优势。
例如，在本地处理和数据模块140处具有扭曲引擎3204的这种方案中，本地处理和数据模块140可能需要以显著更高的渲染帧速率输出渲染内容3222。因此，数据链路130可能需要模块140与空间光调制器3200之间的带宽的相应增加。带宽的这种增加可能限制模块140的灵活性。例如，显示系统(例如，显示系统60)可以使用更多功率。增加的带宽可以迫使显示系统将数据链路130维持在所需的速度所消耗的功率类似地增加。实际上，连接本地处理和数据模块140与显示单元的线缆可能需要自身供电。这样，这样的设置可能会减少显示系统的电池寿命。类似地，这种设置可能需要增加电池尺寸，这可能会增加显示系统的重量、成本等。
包括扭曲引擎3204作为空间光调制器3200的一部分还提供优于将本地处理和数据模块140设置为物理上更靠近显示单元的优势。不合需要地，这会降低这里描述的显示单元的可用性。例如，本地处理和数据模块140可以设置在显示单元70(图9E)本身上。这可能会增加佩戴在用户头部上的部件的重量、体积等。作为另一示例，连接本地处理和数据模块140与显示单元的线缆可能需要更粗。此外，线缆可能更脆弱，使得显示单元对终端用户来说可能不太有用。
因为如上所述的扭曲引擎3204可以可选地是硬件ASIC，所以扭曲引擎3204可以具有低于阈值的热设计功率(TDP)。因此，将扭曲引擎3204设置在显示单元内可以避免显示单元的可用性由于热量、风扇需求或增加的风扇等而降低。因此，该设置可以有利地解决这里描述的问题，同时能够显著减少运动到光子的延迟。
如本文所述，扭曲引擎3204可以生成经扭曲的帧以用于经由显示单元70的目镜270(图9E)输出。在一些实施例中，扭曲引擎3204可以生成完整(full)图像帧。例如，完整图像帧可以包括与渲染内容3222的渲染帧相关联的扭曲图像信息。空间光调制器3200然后可以利用这些完整图像帧来输出在用户的眼睛3210中形成完整图像帧的光3210。在一些实施例中，扭曲引擎3204可以替代地生成指示要对渲染内容3222的渲染帧进行的调整的信息。示例调整可以包括要对渲染帧内的像素进行的移位。如下文关于图33A至图33B所描述的，面板上控制逻辑因此可以实施这些调整。以此方式，可以减少扭曲引擎3204与面板上控制逻辑3206之间所需的带宽。
图33A示出了根据一些实施例的另一示例空间光调制器3302的框图。在该示例中，显示单元3300包括方位传感器3202(例如惯性测量单元(IMU))，并且还包括空间光调制器3302。如图32中所述，空间光调制器3302可以包括面板上控制逻辑3206，该面板上控制逻辑3206包括执行示例扭曲处理的扭曲引擎3204。空间光调制器3302可以使用扭曲引擎3204扭曲渲染内容3222的接收到的渲染帧。空间光调制器3302然后可以控制诸如微LED的显示元件以输出形成直接经扭曲的帧的光3212。
在该示例中，面板上控制逻辑3206可以存储来自本地处理和数据模块140的渲染内容3222的当前接收的渲染帧。如上所述，本地处理和数据模块140可以以60Hz、330Hz等生成渲染内容3222的渲染帧。因此，面板上控制逻辑3206可以将当前渲染帧存储大约16ms、8.33ms等等。面板上控制逻辑3206可以从方位传感器3202接收关于显示单元3300的方位信息的周期性更新。如上所述，方位信息可以用于扭曲当前渲染帧。
例如，面板上控制逻辑可以包括扭曲引擎3204。扭曲引擎3204可以利用来自方位传感器3202的信息来生成足以调整当前渲染帧的像素的信息。该生成的信息可以反映移位的像素值。该生成的信息还可以反映要应用于当前渲染帧的像素的一个或多个变换。在一些实施例中，生成的信息可以包括(例如，根据当前渲染帧的子区域等进行引用的)指示要对特定像素或像素组进行的移位或调整的表。
面板上控制逻辑3206可以利用由扭曲引擎3204生成的信息来操纵上述当前渲染帧。作为示例，对于从方位传感器接收的一个或多个周期性更新，扭曲引擎3204可以生成调整信息。面板上控制逻辑3206然后可以相应地扭曲当前渲染帧。以这种方式，面板上控制逻辑可以生成大量经扭曲的帧。
图33B示出了示例空间光调制器3302的另一框图。在该示例中，显示单元3300包括凝视预测器3304。凝视预测器3304可以从监控用户的眼睛的一个或多个相机接收信息。这些相机可以获得眼睛的周期性图像，并且利用基于计算机视觉或机器学习的技术来确定与眼睛瞳孔相关联的方位。利用该方位，凝视预测器3304可以确定与用户的凝视相关联的三维注视点。三维注视点可以表示从瞳孔延伸的向量在三维空间中的交点。凝视预测器3304因此可以监控用户的凝视。
扭曲引擎3204可以使用从凝视预测器3304接收的信息(例如，所确定的凝视)来通知扭曲渲染内容3222。例如，扭曲引擎3204可以利用凝视预测器3304和惯性测量单元3202作为相应的信号。这些信号可以被聚合，例如根据一个或多个所存储的模型。确定凝视可以提供关于渲染内容项3222的扭曲的增加的准确度，因为用户凝视的改变可以改变用户观看虚拟内容的视角，并且因此可以改变渲染内容3222的所期望的扭曲。
图34A示出了根据一些实施例的更新空间光调制器的像素的示例方案的示意图。如上所述，空间光调制器可以通过例如改变遍及空间光调制器的不同位置或像素处的输出给用户的光的强度来调制该光。结果，可以向用户输出虚拟内容的图像。如本文所述，产生这种光的示例显示技术可以包括微LED。应当理解，微LED可能能够高速切换。例如，微LED可能能够以2000Hz或更高的频率进行刷新。如下文将描述的，空间光调制器可以采用利用这种高速的不同方案向用户输出光。
在一些实施例中，虚拟内容的帧的每个像素可以与一个或多个微LED相关联。例如，对于每个像素(例如，红色、绿色、蓝色)，可以有多个微LED，例如三个微LED。为了产生形成帧的光，空间光调制器(例如，面板上控制逻辑3206)可以向与每个像素相关联的微LED提供信息。所提供的信息可用于控制每个微LED的亮度、每个微LED被开启的持续时间等中的一个或多个。在一些实施例中，空间光调制器可以单独寻址每个像素及其相关联的微LED。
继续参考图34A，面板上控制逻辑3206被示为向空间光调制器的像素阵列提供全局更新3402。如上所述，面板上控制逻辑3206可以单独寻址微LED，微LED输出光以形成渲染帧的像素。因此，在该示例中，面板上控制逻辑3206可以触发形成虚拟内容的帧的像素的微LED，以基于渲染帧进行全局更新。全局更新可以同时更新空间光调制器的每个像素。该更新可以改变例如由微LED发射的光的强度和/或该光发射的持续时间。该更新可以以特定的刷新率执行，例如以2000Hz。在一些实施例中，每个像素可以与多个微LED相关联，例如，三个微LED。因此，每个像素可以以2000Hz的频率全局更新，并且可以以全局更新速率除以微LED的数量来呈现生成的虚拟内容。在三个微LED的情况下，虚拟内容以666Hz的刷新率有效更新。在一些实施例中，更新可以仅应用于与虚拟内容相关联的像素并且可以跳过不与虚拟内容相关联的像素。例如，可以理解，虚拟内容可能不会占据整个帧。在一些实施例中，仅更新像素阵列中的提供虚拟内容的像素。
有利地，执行全局更新3402可以限制与向用户呈现虚拟内容相关联的视觉伪像。如下文将描述的，关于图34B，在一些实施例中，面板上控制逻辑3206可以导致执行扫描更新。在这样的扫描更新中，可以顺序地更新微LED。这种更新可能会引入可见的扫描伪像，这可能会降低所呈现的虚拟内容的视觉保真度或观看舒适度。在图34A的示例中，全局更新3402可以避免这些扫描伪像。
虽然全局更新3402可以避免这种伪像，但是在一些实施例中，与面板上控制逻辑3206通信所需的带宽可能是相当大的。例如，并且如图32至图33B所述，面板上控制逻辑3206可以以扭曲帧速率(例如，666Hz、2000Hz等)呈现虚拟内容的经扭曲的帧。因此，面板上控制逻辑3206可能需要等于每帧中的图像信息乘以扭曲帧速率的带宽。这种大带宽可能会不合需要地使用大量功率。在一些实施例中，面板上控制逻辑3206可以利用图34B中所示的扫描更新来减少系统资源的利用。
如关于图33A至图33B所讨论的，面板上控制逻辑3206还可以包括扭曲渲染内容的帧的功能。例如，面板上控制逻辑3206可以接收渲染内容的帧(例如，来自本地处理和数据模块140)，如上所述。面板上控制逻辑3206然后可以至少从方位传感器接收关于用户姿势的更新。使用这些更新，面板上控制逻辑3206可以在接收到渲染内容的后续帧之前将接收到的渲染帧扭曲阈值数量的次数。相对于以与生成经扭曲的帧的速率相等的速率提供渲染内容，扭曲向面板上控制逻辑3206提供了对带宽的较低要求。在一些实施例中，带宽可以类似于内容的渲染帧中包括的图像信息乘以渲染帧速率(例如，60Hz、330Hz)。
由于微LED的快速切换能力，微LED的持久度3406可能较低(例如，0.4ms、0.5ms或0.6ms)。如图34A所示，微LED 3404可以快速开启(例如，LED上升时间3408)，开启持续达到持久度3406，然后快速关闭(例如，LED下降时间3410)。如上所述，持久度3406可以表示呈现虚拟内容的帧时像素被开启的时间。由于用户以快速速率(例如，扭曲帧速率，例如2000Hz)接收虚拟内容的帧，所以持久度3406可以很短。
有利地，由于持久度3406低，这里描述的技术可以减少与观看虚拟内容相关联的运动模糊。应当理解，持续度的增加可能导致运动模糊的相应增加。以前的技术利用减少持久度来对抗运动模糊，例如针对LCoS面板。然而，降低持久度也可能降低面板的占空比。由于这种降低的占空比，用户感知的亮度将不合需要地降低。
相比之下，本文所述的微LED可以具有低持久度，而保持高占空比。在图33A的示例中，持久度可以是大约0.5毫秒并且占空比可以是99％。因此，可以向用户呈现有利地被感知为明亮的虚拟内容。此外，高占空比提供了期望的功率到亮度的有效转换。
图34B示出了根据一些实施例的更新空间光调制器的像素的附加示例方案的示意图。在这些示例中，面板上控制逻辑3206可以通过顺序扫描更新3420来更新面板3422的像素。应当理解，面板3422可以是包括像素阵列的空间光调制器。在一些实施例中，面板3422可以经由面板上控制逻辑3206来控制并且面板的像素可以包括微LED。
在所示示例中，呈现了两种类型的扫描更新。关于扫描更新A 3424，面板上控制逻辑3206可以使面板3422的单个像素被顺序更新。作为示例，面板上控制逻辑3206可以使(例如，如图所示)面板3422左上角的像素更新。逻辑3206然后可以使邻近像素(例如，在右侧，例如在同一行中)被更新。逻辑3206因此可以扫描一行，然后下降到下一行。可选地，面板上控制逻辑3206可以跳过不与虚拟内容相关联的像素。例如，应该理解的是，虚拟内容可能不会占据整个帧。在一些实施例中，虚拟内容可以是稀疏的，使得只有面板3422的像素阵列中的特定像素、对应于虚拟内容的像素被利用并被更新。
可选地，对于扫描更新A 3424，面板上控制逻辑3206可以基于与虚拟内容的帧相关联的中央凹区域进行扫描。例如，显示系统可以确定用户正在注视的注视点。落在该注视点的阈值角距离内的虚拟内容可以被识别为落在用户的中央凹上。应当理解，用户对于落在中央凹上的内容可以具有提高的视觉敏锐度。在一些实施例中，显示系统可以被配置为优先更新落在中央凹上的该内容的像素。在一些实施例中，落在中央凹上的内容的像素可以比落在视网膜的外围区域上的内容的像素更高的速率来更新。在一些其他实施例中，仅更新形成在中央凹上的像素。在一些实施例中，面板上控制逻辑3206可以在包括在中央凹区域中的像素处开始扫描。例如，逻辑3206可以在中央凹区域的左上像素处开始扫描。
关于扫描更新B 3426，面板上控制逻辑3206可以使得在面板3422的不同位置同时进行顺序更新。例如，面板上控制逻辑3206可以以多个波(wave)更新面板。在这种说法中，单个波因此可以表示扫描更新A，其中扫描更新B具有扫描更新A的多个同时实例。如图所示，面板上控制逻辑3206以十个波更新面板3422。应当理解，在一些实施例中可以使用少于或多于该数量的波。面板上控制逻辑3206可以可选地将面板3422的每个像素分配给特定波。面板上控制逻辑3206然后可以顺序地更新分配给相同波的像素。如图所示，可以并行更新波。由于存在多个波，与扫描更新A相比，扫描更新B可以引起不太明显的扫描伪像。
类似于以上关于中央凹区域的讨论，面板上控制逻辑3206可以使分配给每个波的特定像素基于它们包含在中央凹区域中而被更新。可选地，面板上控制逻辑3206可以从波中快速分配和解除分配像素。例如，面板上控制逻辑3206可以增加中央凹区域中的波数。因此，如果中央凹区域中的像素被分配给第一数量的波，则逻辑3206可以将其增加到第二、更高数量的波。因此，中央凹区域中的像素可以更快地更新。在一些实施例中，落在中央凹上的内容的像素可以比落在视网膜的外围区域上的内容的像素更高的速率来更新。在一些其他实施例中，仅形成在中央凹上的像素以多个波的形式更新。
在此处描述的扫描更新3420中，面板上控制逻辑3206可以以特定扫描速率进行扫描。例如，该特定扫描速率可以高于上述最大刷新速率。例如，最大刷新率可以是2000Hz。因此，每个像素(例如，相关联的微LED)可以以不超过每0.5毫秒(例如，2000Hz)的速度进行更新。然而，由于像素被顺序扫描，面板上控制逻辑3206可以在比0.5毫秒更短的时间跨度内向两个邻近的像素提供信息。结果，扫描更新3420仍然可以实现这里描述的示例益处。例如，可以减少运动到光子的延迟。作为另一示例，如本文所讨论的，可以减少运动模糊。
图35示出了根据这里描述的技术用于输出渲染内容的经扭曲的帧的示例过程3500的流程图。为方便起见，过程3500将被描述为由显示系统(例如，可穿戴显示系统60，图9E)的一个或多个处理器来执行。
在框3502，显示单元接收虚拟内容的渲染帧。如上所述，至少关于图32，显示系统可以利用图形处理单元(GPU)来生成虚拟内容的帧。例如，GPU可以以60Hz、330Hz等频率输出帧。
在框3504，显示单元确定显示单元的用户的更新的头部姿势。显示单元可以利用方位传感器(例如，惯性测量单元(IMU))，可选地利用凝视检测器，以确定用户的头部姿势。当用户移动并改变他们的姿势时，因此可以基于移动来更新虚拟内容。
在框3506处，显示单元基于所确定的头部姿势来扭曲渲染帧。如上所述，显示单元可以利用处理器、硬件ASIC等来扭曲渲染帧。扭曲的渲染帧因此可以根据关于头部姿势的最近确定结果来扭曲。
在框3508，显示单元向用户输出或呈现经扭曲的帧。显示单元可以根据这里描述的技术向用户输出经扭曲的帧。例如，显示单元可以利用微LED输出空间调制光以显示经扭曲的帧。
在显示单元接收虚拟内容的另一渲染帧之前，框3504、3506、3508可以重复一次或多次。因此，显示单元可以确定新的头部姿势，基于新的头部姿势来扭曲渲染帧，并且在接收另一渲染帧之前一次或多次输出新的经扭曲的帧。显示单元因此可以以大于阈值频率(例如，666Hz、2000Hz等)输出经扭曲的帧，该阈值频率可以高于向显示单元提供渲染帧的速率。
其他考虑事项
出于解释的目的，上述描述使用特定的命名法来提供对所描述的实施例的透彻理解。然而，对于本领域技术人员来说清楚的是，为了实践所描述的实施例不需要具体细节。因此，为了说明和描述的目的，呈现特定实施例的前述描述。它们并不旨在详尽或将所描述的实施例限制为所公开的精确形式。鉴于上述教导，许多修改和变型对于本领域的普通技术人员将是显而易见的。因此，说明书和附图被认为是说明性的而非限制性的。
所描述的实施例的各个方面、实施方式或特征可以单独使用或以任何组合使用。所描述的实施例的各个方面可以通过软件、硬件或硬件和软件的组合来实现。所描述的实施例还可以被体现为用于控制制造操作的计算机可读介质上的计算机可读代码或用于控制生产线的计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备，该数据此后可以被计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备。计算机可读介质还可以分布在网络耦接的计算机系统上，从而以分布式方式存储和执行计算机可读代码。
因此，本文描述的和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行具体和特定计算机指令的电子硬件来执行的代码模块中，并且通过上述代码模块完全或部分地自动化。例如，计算系统可以包括利用特定计算机指令进行编程的计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接成可执行程序，安装在动态链接库中，或者可以用解释性编程语言编写。在一些实施例中，特定操作和方法可以由特定于给定功能的电路来执行。
此外，本公开的功能的特定实施例在数学上、计算上或技术上足够复杂，以至于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行该功能，例如，由于所涉及的计算量或复杂性，或基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据以在商业上合理的时间内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，例如物理计算机存储，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、它们的组合和/或类似物。在一些实施例中，非暂态计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)也可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，包括基于无线和有线/基于线缆的介质，并且可以采用多种形式(例如，作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性、有形的计算机存储器中，或者可以经由计算机可读传输介质进行通信。
在此描述和/或在附图中描绘的流程图中的任何过程、块、状态、步骤或功能将被理解为潜在地表示代码模块、段或代码部分，这些代码模块、段或代码部分包括用于实现特定功能(例如，逻辑或算术)或过程中的步骤的一个或多个可执行指令。各种过程、块、状态、步骤或功能可以被组合、重新排列、添加到在此提供的说明性示例、从在此提供的说明性示例中删除、修改或以其他方式进行改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的一些或全部功能。在此描述的方法和过程也不限于任何特定的顺序，并且与其相关的块、步骤或状态可以以其他适当的顺序，例如串行、并行或以某种其他方式执行。任务或事件可以被添加到所公开的示例实施例或从所公开的示例实施例中移除。此外，在此描述的实施例中各种系统组件的分离是为了说明的目的，不应理解为在所有实施例中都需要这种分离。应当理解，所描述的程序部件、方法和系统通常可以一起集成在单个计算机产品中或打包成多个计算机产品。
应当理解，本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初要求保护的，但在一些情况下，来自要求保护的组合的一个或多个特征能被从该组合中删除，且要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且将理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下权利要求的范围内。在一些情况下，权利要求中所述的动作能以不同的顺序执行，且仍实现期望的结果。
因此，权利要求不旨在限于本文所示的实施例，而是符合与本公开相一致的最宽范围、本文公开的原理和新颖特征。

Claims (21)

1.一种头戴式显示系统，包括：
处理系统，其被配置为生成渲染帧以用于作为虚拟内容输出；
经由数据链路与所述处理系统通信的头戴式显示单元，所述头戴式显示单元被配置为输出所述渲染帧作为虚拟内容，其中，所述头戴式显示单元包括：
方位传感器，所述方位传感器被配置为检测与所述头戴式显示单元的方位相关联的方位信息；
显示器，所述显示器被配置为输出光以呈现所述虚拟内容；以及
一个或多个处理器，所述一个或多个处理器被配置为：
经由所述数据链路接收渲染帧；
获取与所述头戴式显示单元的所述方位相关联的方位信息；以及
扭曲所述渲染帧，其中，经扭曲的渲染帧经由所述显示器被输出。
2.根据权利要求1所述的头戴式显示系统，其中，所述处理系统被配置为以第一帧速率生成渲染帧，并且其中，所述头戴式显示单元被配置为以高于所述第一帧速率的第二帧速率输出所述经扭曲的渲染帧。
3.根据权利要求1所述的头戴式显示系统，其中，所述数据链路包括连接所述处理系统和所述头戴式显示单元的线缆，其中，所述数据链路的带宽限制所述第一帧速率。
4.根据权利要求1所述的头戴式显示系统，其中，所述头戴式显示单元被配置为基于相应的方位信息，将每个渲染帧扭曲阈值数量的次数。
5.根据权利要求1所述的头戴式显示系统，其中，所述一个或多个处理器中的处理器是被配置为基于方位信息来扭曲渲染帧的硬件专用集成电路ASIC。
6.根据权利要求5所述的头戴式显示系统，其中，所述显示器包括空间光调制器，并且其中，所述空间光调制器包括所述硬件ASIC。
7.根据权利要求6所述的头戴式显示系统，其中，所述空间光调制器被配置为基于所述硬件ASIC来调整所述渲染帧的像素。
8.根据权利要求5所述的头戴式显示系统，其中，所述硬件ASIC被配置为将与所述经扭曲的渲染帧对应的信息提供给与所述显示器相关联的空间光调制器。
9.根据权利要求1所述的头戴式显示系统，其中，所述显示器包括微LED的阵列，其中，所述经扭曲的渲染帧的每个像素与一个或多个所述微LED相关联。
10.根据权利要求9所述的头戴式显示系统，其中，所述显示器被配置为对于由所述显示器输出的每个经扭曲的渲染帧，全局地更新所述面板。
11.根据权利要求9所述的头戴式显示系统，其中，所述显示器被配置为通过提供扫描更新来更新所述面板。
12.根据权利要求11所述的头戴式显示系统，其中，所述扫描更新包括各个像素的顺序更新。
13.根据权利要求11所述的头戴式显示系统，其中，所述扫描更新包括同时顺序更新像素组。
14.根据权利要求1所述的头戴式显示系统，其中，所述一个或多个处理器被配置为基于所述头戴式显示单元的用户的所确定的凝视，扭曲所述渲染帧。
15.根据权利要求1所述的头戴式显示系统，其中，所述方位传感器是惯性测量单元。
16.一种系统，包括：
一个或多个处理器；以及
存储指令的一个或多个计算机存储介质，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行包括以下的操作：
由所述系统的第一元件以第一帧速率生成要由所述系统显示的虚拟内容的渲染帧；
由所述第一元件经由硬件连接将所述虚拟内容的渲染帧提供给所述系统的第二元件，所述渲染帧以所述第一帧速率被提供；
由所述第二元件以高于所述第一帧速率的第二帧速率，基于与所述系统相关联的方位信息来将每个渲染帧扭曲阈值数量的次数；以及
经由与所述第二元件通信的显示器以所述第二帧速率输出经扭曲的帧，
其中，所述显示器被配置为输出与第一渲染帧相关联的所述阈值数量的扭曲帧，后面跟着与第二后续渲染帧相关联的所述阈值数量的扭曲帧。
17.根据权利要求16所述的系统，其中，所述硬件连接包括连接所述第一元件和所述第二元件的线缆。
18.根据权利要求17所述的系统，其中，所述第二元件和所述显示器被包括在被配置为由用户佩戴的头戴式显示单元中，并且其中，所述第一元件经由所述线缆被连接到所述头戴式显示单元。
19.根据权利要求16所述的系统，其中，所述显示器包括微LED。
20.一种由头戴式显示系统实现的方法，所述头戴式显示系统包括第一元件和第二元件，所述第一元件经由硬件连接与所述第二元件通信，所述方法包括：
由第一元件以第一帧速率生成要经由所述头戴式显示系统显示的虚拟内容的渲染帧；
由所述第一元件将所述渲染帧提供给第二元件，所述渲染帧以所述第一帧速率被提供；
由所述第二元件以高于所述第一帧速率的第二帧速率，基于与所述头戴式显示系统相关联的方位信息来将每个渲染帧扭曲阈值数量次数；以及
经由与所述第二元件通信的显示器以所述第二帧速率输出经扭曲的帧，
其中，所述显示器输出与第一渲染帧相关联的所述阈值数量的扭曲帧，后面跟着与第二后续渲染帧相关联的所述阈值数量的扭曲帧。
21.根据权利要求20所述的方法，其中，所述显示器包括微LED。
CN201980092669.9A 2018-12-28 2019-12-20 用于增强和虚拟现实显示系统的低运动到光子延迟架构 Pending CN113453774A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862786199P 2018-12-28 2018-12-28
US62/786,199 2018-12-28
US201962800363P 2019-02-01 2019-02-01
US62/800,363 2019-02-01
US201962858215P 2019-06-06 2019-06-06
US62/858,215 2019-06-06
US201962911018P 2019-10-04 2019-10-04
US62/911,018 2019-10-04
PCT/US2019/067841 WO2020139758A1 (en) 2018-12-28 2019-12-20 Low motion-to-photon latency architecture for augmented and virtual reality display systems

Publications (1)

Publication Number Publication Date
CN113453774A true CN113453774A (zh) 2021-09-28

Family

ID=71126256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092669.9A Pending CN113453774A (zh) 2018-12-28 2019-12-20 用于增强和虚拟现实显示系统的低运动到光子延迟架构

Country Status (4)

Country Link
US (1) US20220091427A1 (zh)
EP (1) EP3902613A4 (zh)
CN (1) CN113453774A (zh)
WO (1) WO2020139758A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11721717B2 (en) * 2020-08-31 2023-08-08 Jade Bird Display (shanghai) Limited Optical system
US20240012472A1 (en) * 2022-07-08 2024-01-11 Tencent America LLC Vergence based gaze matching for mixed-mode immersive telepresence application

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10571696B2 (en) * 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
CA3036787A1 (en) * 2015-09-17 2017-03-23 Lumii, Inc. Multi-view displays and associated systems and methods
US9858637B1 (en) * 2016-07-29 2018-01-02 Qualcomm Incorporated Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system
WO2018039586A1 (en) 2016-08-26 2018-03-01 Magic Leap, Inc. Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US10486060B2 (en) * 2016-11-23 2019-11-26 Microsoft Technology Licensing, Llc Tracking core for providing input to peripherals in mixed reality environments
US20180210195A1 (en) 2017-01-24 2018-07-26 Microsoft Technology Licensing, Llc Avoiding ghost images

Also Published As

Publication number Publication date
JP2022516070A (ja) 2022-02-24
WO2020139758A1 (en) 2020-07-02
EP3902613A4 (en) 2023-02-22
US20220091427A1 (en) 2022-03-24
EP3902613A1 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
US11640063B2 (en) Variable pixel density display system with mechanically-actuated image projector
US11644669B2 (en) Depth based foveated rendering for display systems
US11914150B2 (en) Augmented and virtual reality display systems with shared display for left and right eyes
KR20200067858A (ko) 투명 발광 디스플레이를 갖는 접안렌즈를 포함하는 증강 현실 디스플레이
US11841511B2 (en) Wearable display systems with nanowire LED micro-displays
CN113453774A (zh) 用于增强和虚拟现实显示系统的低运动到光子延迟架构
JP2024045723A (ja) 走査ミラーを伴う１次元ピクセルアレイを有するディスプレイシステム
JP7506074B2 (ja) 拡張および仮想現実ディスプレイシステムのための運動から画像描画までの短待ち時間アーキテクチャ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination