CN113647085A - 具有一维像素阵列和扫描镜的显示系统 - Google Patents

具有一维像素阵列和扫描镜的显示系统 Download PDF

Info

Publication number
CN113647085A
CN113647085A CN202080025539.6A CN202080025539A CN113647085A CN 113647085 A CN113647085 A CN 113647085A CN 202080025539 A CN202080025539 A CN 202080025539A CN 113647085 A CN113647085 A CN 113647085A
Authority
CN
China
Prior art keywords
pixels
column
light
pixel
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080025539.6A
Other languages
English (en)
Inventor
N·阿伯莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN113647085A publication Critical patent/CN113647085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/105Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3132Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen using one-dimensional electronic spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3138Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using arrays of modulated light sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/103Scanning systems having movable or deformable optical fibres, light guides or waveguides as scanning elements

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

显示系统被描述为包括增强的一维像素阵列和扫描镜。在一个示例中,像素阵列包括第一列像素和第二列像素;中继光学器件,其被配置为接收入射光并将入射光输出给观看者;以及扫描镜,其被设置为接收来自第一列像素和第二列像素的光,并将所接收的光朝着中继光学器件反射。扫描镜可以在多个位置之间移动,同时第一列和第二列以时间上间隔的脉冲来发射光,以便在中继光学器件处形成感知图像,该图像相对于各个列的像素间距具有更高的分辨率。注视点渲染可以更有效地使用功率和处理资源。

Description

具有一维像素阵列和扫描镜的显示系统
优先权声明
本申请主张2019年2月1日提交的题为“DISPLAY SYSTEM HAVING 1-DIMENSIONALPIXEL ARRAY WITH SCANNING MIRROR(具有一维像素阵列和扫描镜的显示系统)”的美国临时申请No.62/800,140的优先权,该申请的全部内容在此通过引用并入。
技术领域
本公开涉及显示系统,更具体地说,涉及增强和虚拟现实显示系统。
背景技术
现代计算和显示技术促进了所谓“虚拟现实”或“增强现实”体验系统的开发,其中,数字再现的图像或其一部分以它们看起来真实或可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现,但对其它真实世界的视觉输入不透明;增强现实或“AR”场景通常涉及呈现数字或虚拟图像信息作为对用户周围实际世界的可视化的增强。混合现实或“MR”场景是一种AR场景,通常涉及集成到自然世界以及对自然世界做出响应的虚拟对象。例如,MR场景可包括AR图像内容,这些内容看起来被真实世界中的对象阻挡或被感知为与真实世界中的对象交互。
参考图1,描绘了AR场景10。AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。用户还感知到他/她“看到”了“虚拟内容”,诸如站在真实世界的平台30上的机器人雕像40,以及大黄蜂的化身的正在飞舞的卡通式化身角色50。这些元素50、40是“虚拟的”,因为它们在真实世界中不存在。由于人类视觉感知系统很复杂,因此产生促进虚拟图像元素在其它虚拟或真实世界图像元素当中舒适、感知自然、丰富地呈现的AR技术具有挑战性。
发明内容
在第一方面,提供了一种显示系统。所述显示系统包括像素阵列、中继光学器件和扫描镜。所述像素包括第一列像素和第二列像素。所述中继光学器件被配置为接收入射光并将所述入射光输出给观看者。所述扫描镜被设置为接收来自所述第一列像素和所述第二列像素的光,并将所接收的光朝着所述中继光学器件反射。所述扫描镜被配置为在包括第一位置和第二位置的多个位置之间移动。所述第一位置被定向为使得所述扫描镜将来自所述第一列像素的光反射到所述中继光学器件上作为第一一维像素阵列,所述第二位置被定向为使得所述扫描镜将从所述第二列像素接收的光反射到所述中继光学器件上作为第二一维像素阵列。所述第一一维像素阵列和所述第二一维像素阵列的位置定义所述中继光学器件上在空间上的重叠的线。
在一些实施例中,所述第一列像素和所述第二列像素中的像素具有列间距,其中,所述中继光学器件上的对应像素线的有效间距小于所述列间距。在一些实施例中,所述有效间距小于所述列间距的一半。在一些实施例中,所述像素阵列是包括发射像素的阵列的发射像素阵列。所述发射像素包括发光二极管(LED)。在一些实施例中,所述发射像素具有20μm或更小的间距。在一些实施例中,所述第一列像素和所述第二列像素具有平行的纵向维度,其中,所述第二列像素中的像素沿着所述纵向维度相对于所述第一列像素的像素偏移。在一些实施例中,所述第一列像素中的像素被配置为在所述扫描镜从所述第一位置移动到所述第二位置时发光,以及所述第二列像素中的像素被配置为在所述扫描镜从所述第二位置移动到所述第一位置时发光。在一些实施例中,所述像素阵列还至少包括第三列像素,所述第三列沿着所述纵向维度延伸,其中,所述第三列平行于所述第一列和所述第二列,并且所述第三列中的像素沿着所述纵向维度相对于所述第一列和所述第二列中的像素偏移。在一些实施例中,所述第一列、所述第二列和所述第三列被配置为在所述扫描镜移动期间以时间上间隔的脉冲来发射光。在一些实施例中,所述像素阵列被配置为取决于所述扫描镜的取向,提供与不同总数的像素相对应的图像信息,以使得有效像素密度在所述中继光学器件上变化。在一些实施例中,所述第一列像素和所述第二列像素中的每一列像素与沿着该列的长度与具有相同像素间距和相同像素位置的对应相似列构成二元组。在一些实施例中,所述中继光学器件包括波导,所述波导包括:耦入光学元件,其被配置为接收从所述扫描镜反射的光,并且重定向所接收的光以通过全内反射在所述波导内传播;以及耦出光学元件,其被配置为耦出通过全内反射在所述波导内传播的光。在一些实施例中,所述中继光学器件包括波导堆叠,每个波导包括耦入光学元件和耦出光学元件。在一些实施例中,所述像素阵列是透射式像素阵列。
在第二方面,提供了一种光学装置。所述光学装置包括像素阵列,所述像素阵列包括第一列像素,所述第一列像素沿着所述第一列的纵向维度具有第一像素间距;以及第二列像素,所述第二列像素沿着所述第二列的纵向维度具有所述第一像素间距。所述第一列的纵向维度沿着所述第二列的纵向维度延伸,以及其中,所述第二列中的像素沿着所述纵向维度相对于所述第一列中的像素偏移。
在一些实施例中,所述光学装置还包括扫描镜,其被设置为接收来自所述第一列像素和所述第二列像素的光,并将所接收的光朝着中继光学器件反射,所述中继光学器件被配置为将所接收的光引导到观看者。在一些实施例中,所述光学装置被配置为通过提供来自比所述第一列和所述第二列中的所有像素更少的像素的独特图像信息来修改有效像素密度。在一些实施例中,所述第一列像素和所述第二列像素中的每一列像素与沿着该列的长度与具有相同像素间距和相同像素位置的对应相似列构成二元组。在一些实施例中,所述第一列和所述第二列中的像素具有相同的尺寸和形状。
附图说明
图1示出了用户通过AR设备对增强现实(AR)的观看。
图2示出了用于为用户模拟三维图像的常规显示系统。
图3A至图3C示出了曲率半径和焦半径之间的关系。
图4A示出了人类视觉系统的调节-聚散响应的表示。
图4B示出了用户的一双眼睛的不同调节状态和聚散状态的示例。
图4C示出了用户经由显示系统观看内容的俯视图的表示的示例。
图4D示出了经由用户显示系统观看内容的俯视图的表示的另一示例。
图5示出了通过修改波前发散来模拟三维图像的方法的各方面。
图6示出了用于向用户输出图像信息的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠目镜的示例,其中每个深度平面包括使用多种不同组分颜色形成的图像。
图9A示出了包括耦入光学元件的一组堆叠波导的示例的横截面侧视图。
图9B示出了图9A的多个堆叠波导的示例的透视图。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。
图9D示出了可穿戴显示系统的示例。
图10示出了包括增强的一维像素阵列和扫描镜的显示系统的示例。
图11A示出了增强的一维像素阵列的一部分的示例。
图11B和图11C示出了用于使用图11A的增强的一维像素阵列和扫描反射式元件来显示高分辨率的二维图像的示例方法。
图12A示出了像素阵列的示例像素。
图12B示出了包括偏移列像素的示例增强的一维发射像素阵列。
图13A示出了使用增强的一维像素阵列的注视点渲染的示例。
图13B示出了具有用于形成各个投射像素的多个列像素的示例像素阵列。
具体实施方式
增强现实(AR)或虚拟现实(VR)系统可以向用户或观看者显示虚拟内容。该内容可显示在例如作为眼镜的一部分的头戴式显示器上,该头戴式显示器将图像信息投射到用户的眼睛。此外,当系统为AR系统时,该显示器还可以将来自周围环境的光传输到用户的眼睛,以允许观看周围环境。如本文所使用的,应当理解,“头戴式”或“可头戴的”显示器是可被安装在用户或观看者的头部上的显示器。
在一些显示系统中,可以从一个或多个空间光调制器提供用图像信息编码的光(也被称为图像光),空间光调制器可以将图像光引导到中继光学器件中,该中继光学器件将图像光传送到用户的眼睛。在一些实施例中,中继光学器件可以包括一个或多个波导,诸如波导堆叠,并且可以被配置为在被感知为处于距用户不同距离处的多个虚拟深度平面(这里也被简称为“深度平面”)处形成虚拟图像。在一些实施例中,波导堆叠的不同波导可以具有提供不同光焦度的光学结构并且可以模拟从距用户眼睛不同距离处的对象传播的光的波前发散。在一些实施例中,作为用于提供光焦度的波导光学结构的替代或补充,显示系统可以包括一个或多个透镜(例如,夹住波导的一对透镜),这些透镜提供或额外地提供光焦度。来自空间光调制器的光可以被朝向波导引导,并且可以通过每个波导的耦入光学元件,耦入单个波导。耦入光学元件可以是衍射式光学元件,诸如光栅。如本文所用,将理解,空间光调制器提供具有空间变化质量(例如,光强度和/或波长的差异)的光输出;因此,光输出可被理解为例如通过改变通过空间光调制器的光透射或通过调制由空间光调制器生成的光发射而被进行空间调制。
优选地,向中继光学器件提供光的空间光调制器较小,以促进头戴式显示系统的所需形状因素。然而,空间光调制器的小型化可能会限制空间光调制器的可用分辨率,从而限制显示系统的可用分辨率。例如,减小空间光调制器的尺寸可能会减少可用于容纳像素的区域。但是,各个像素之间间距的减小可能受到例如制造限制的阻碍。因此,显示系统的分辨率可能受到空间光调制器的物理尺寸和空间光调制器的物理像素密度的限制。
有利地,根据一些实施例,可以使用具有相对较低的像素密度或分辨率的像素阵列来实现更高的感知像素密度和分辨率。在一些实施例中,显示系统包括像素阵列,该像素阵列被配置为使用在多个位置之间重复移动(例如,通过振荡)的可移动或扫描反射式元件(诸如,MEMS扫描镜)将光投射到中继光学器件。像素阵列包括至少两个列像素,它们可一起用于形成由显示系统显示的图像的一条分辨率线的至少一部分。第一列中的像素相对于第二列中的像素偏移或交错,以使得在第一列被第二列覆盖时,第二列中的像素占据第一列中的像素之间的空间。由每列像素输出的图像信息与扫描反射式元件的位置或取向同步。例如,在反射式元件处于使光被引导到中继光学器件上的特定位置的第一位置时,第一列像素将光引导到反射式元件。在反射式元件处于使光被引导到中继光学器件上的同一特定位置的第二位置时,第二列像素随后将光引导到反射式元件。因此,第二列像素有效地覆盖第一列像素,除了每列像素的交错使第二列像素在投射到中继光学器件上时占据第一列像素之间的空间。因此,中继光学器件处的有效或感知分辨率可以有利地使第一列像素或第二列像素的物理密度翻倍;当扫描反射式元件扫描以提供跨中继光学器件的所有分辨率线时,第一列和第二列都提供用于单个分辨率线的像素。
在一些其它实施例中,可以增加列的数量。例如,可以提供附加的偏移列,每个附加的偏移列提供的像素在投射到中继光学器件上时占据从其它列投射的像素之间的线中的空间。因此,沿着分辨率线的像素数量可以使用这些附加的列进一步增加;每列可以为各个分辨率线提供各个像素。
此外,应当理解,可以基于来自列的光与扫描反射式元件的位置的同步选择分辨率线之间的间距。例如,与更慢的脉冲光相比,来自列像素的更快的脉冲光将提供间隔更近的分辨率线,因为这些分辨率线的放置取决于扫描反射式元件的位置;允许扫描反射式元件移动更长时间会导致更大的位置变化,这导致从反射式元件反射到中继光学器件的图像光线之间的更大间隔。因此,有利地,可以基于像素阵列中的像素列的数量,选择每条分辨率线内的像素的数量,并且可以基于列像素被脉冲接通和关断以提供图像信息的速率,选择分辨率线之间的感知间隔。应当理解,脉冲接通像素使像素输出图像光,而脉冲关断像素使像素不输出图像光。
在一些实施例中,显示系统可被配置用于注视点图像投射,在注视点图像投射中与用户视场的不同部分相对应的图像的不同部分具有不同的分辨率。不同的分辨率可以通过从比各列中所有像素更少的像素输出图像信息,或者通过从多于一个像素输出同一的图像信息来实现,取决于像素被投射的位置。
在一些实施例中,各个列可以与另一相似的非偏移列构成二元组、三元组等,以使得多于一个列提供相同的图像信息。例如,两列或更多列可以在中继光学器件上提供直接重叠的投射像素。使用多个像素列来提供相同的图像信息可以有利地增加像素阵列的像素的感知亮度,因为来自多个列的像素的光可以被感知为来自单个像素。
优选地,列像素被配置为以足够高的速率,将光脉冲到扫描反射式元件,使得所有期望的分辨率线在足够短的持续时间内被投射到中继光学器件,以便人类视觉系统不会将分辨率线感知为在不同的时间呈现。不受理论的限制,视觉系统可以在闪烁融合阈值内将导向视网膜的像素或分辨率线感知为同时存在。例如,闪烁融合阈值可以是大约1/60秒。优选地,图像的所有分辨率线都在闪烁融合阈值内呈现。在一些实施例中,像素阵列可以是发射像素阵列,例如微型LED,其有利地包括可以以足够高的速率被接通和关断以在闪烁融合阈值内提供用于形成图像的所有分辨率线的像素。
有利地,根据一些实施例的显示系统可以提供各种优点。例如,如上文所述,显示系统可以在使用相对低的分辨率的像素阵列的同时输出具有高分辨率的图像,此方法可以容易实现且相对便宜。此外,以高刷新率使用像素阵列(诸如,微型LED)可以提供所需的高分辨率,而用户不会感觉到像素阵列或分辨率扫描线的脉冲。使用列像素而不是与显示系统的整个分辨率相对应的完整面板,提供了高度紧凑的像素阵列和相关联的投射系统来输出图像,这样促进了具有所需形状因素的头戴式显示器。此外,由于一次只有一列像素处于活跃状态,因此可以使用相对低功率或低速电子设备来驱动像素阵列,这样可以具有降低能耗和增加电池寿命的优势。
现在将参考附图,其中,相同的参考标号始终指代相同的部件。除非另有说明,否则附图是示意性的并且不一定按比例绘制。
图2示出了用于为用户模拟三维图像的常规显示系统。应当理解,用户的眼睛是间隔开的,并且当观看空间中的真实对象时,每只眼睛具有稍微不同的对象视图,并且可以在每只眼睛的视网膜上的不同位置处形成对象的图像。这可被称为双眼视差,并且可以被人类视觉系统用于提供深度感知。常规的显示系统通过呈现具有同一虚拟对象的稍微不同的视图的两个有区别的图像190、200来模拟双目视差,其中每只眼睛210、220对应一个图像,这些图像对应于被每只眼睛看成所需深度处的真实对象的虚拟对象的视图。这些图像提供双眼线索,用户的视觉系统可以解释该双眼线索以获得深度感知。
继续参考图2,图像190、200与眼睛210、220在z轴上间隔开距离230。z轴平行于眼睛注视观看者正前方的光学无限远处的对象的观看者的光轴。图像190、200是平坦的并且在距眼睛210、220保持固定距离。基于分别呈现给眼睛210、220的图像中的虚拟对象的稍微不同的视图,眼睛可以自然地旋转,以使得对象的图像落在每只眼睛的视网膜上的对应点上,以保持单一双眼视觉。该旋转可以使每只眼睛210、220的视线会聚到虚拟对象被感知存在的空间点上。因此,提供三维影像通常涉及提供双眼线索,这些线索可以操纵用户眼睛210、220的聚散度,并且被人类视觉系统解释以提供深度感知。
然而,生成逼真且舒适的深度感知是具有挑战性的。应当理解,来自距眼睛不同距离处的对象的光具有发散量不同的波前。图3A至图3C示出了距离和光线发散之间的关系。对象和眼睛210之间的距离按照距离减小的顺序R1、R2和R3表示。如图3A至图3C所示,随着到对象的距离减小,光线变得更加发散。相反,随着距离的增加,光线变得更加准直。换句话说,可以认为由点(对象或对象的一部分)产生的光场具有球面波前曲率,其是该点距用户眼睛多远的函数。曲率随着对象和眼睛210之间的距离的减小而增加。尽管为了清楚地说明在图3A至图3C和本文的其它图中仅示出了单个眼睛210,但是关于眼睛210的讨论可以被应用于观看者的眼睛210和220。
继续参考图3A至图3C,来自观看者的眼睛注视的对象的光可具有不同程度的波前发散。由于波前发散量不同,光可通过眼睛的晶状体不同地聚焦,这反过来可能需要晶状体呈现不同的形状以在眼睛的视网膜上形成聚焦图像。在视网膜上没有形成聚焦图像的情况下,所产生的视网膜模糊充当调节线索,该调节使眼睛晶状体形状的改变,直到在视网膜上形成聚焦图像。例如,调节线索可以触发眼睛晶状体周围的睫状肌松弛或收缩,从而调节施加到保持晶状体的悬韧带的力,因此使眼睛的晶状体的形状改变,直到消除或最小化注视对象的视网膜模糊,从而在眼睛的视网膜(例如,中央凹)上形成注视的对象的聚焦图像。眼睛的晶状体改变形状的过程可被称为调节,并且在眼睛的视网膜(例如,中央凹)上形成注视对象的聚焦图像所需的眼睛晶状体形状可以被称为调节状态。
现在参考图4A,示出了人类视觉系统的调节-聚散响应的表示。眼睛移动以注视对象使眼睛接收来自对象的光,其中光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中存在视网膜模糊可以提供调节线索,并且视网膜上的图像的相对位置可以提供聚散线索。调节线索使调节发生,从而导致眼睛的晶状体各自呈现特定的调节状态,该状态在眼睛的视网膜(例如,中央凹)形成对象的聚焦图像。另一方面,聚散线索使聚散运动(眼睛旋转)发生,以使得在每只眼睛的每个视网膜上形成的图像处于保持单个双眼视觉的对应视网膜点处。在这些位置中,可以认为眼睛已经呈现特定的聚散状态。继续参考图4A,调节可以被理解为眼睛实现特定调节状态的过程,并且聚散可以被理解为眼睛实现特定聚散状态的过程。如图4A所示,如果用户注视另一对象,则眼睛的调节和聚散状态可以改变。例如,如果用户注视z轴上的不同深度处的新对象,则调节状态可以改变。
不受理论的限制,可以认为对象的观看者可能由于聚散和调节的组合而将对象感知为“三维的”。如上所述,两只眼睛相对于彼此的聚散运动(例如,眼睛旋转,以使得瞳孔朝向或远离彼此移动以使眼睛的视线会以聚注视对象)与眼睛晶状体的调节紧密相关。在正常情况下,根据被称为“调节-聚散反射”的关系,改变眼睛晶状体形状以将焦点从一个对象改变到不同距离处的另一对象将自动导致到同一距离的聚散的匹配变化。同样,在正常条件下,聚散的变化将触发晶状体形状的匹配变化。
现在参考图4B,示出了眼睛的不同调节和聚散状态的示例。一对眼睛222a注视光学无限远处的对象,而一对眼睛222b注视小于光学无限远处的对象221。值得注意的是,每对眼睛的聚散状态是不同的,其中,一对眼睛222a望向正前方,而一对眼睛222会聚在对象221上。形成每对眼睛222a和222b的眼睛的调节状态是也是不同的,如晶状体210a、220a的不同形状所示。
但是,常规“3D”显示系统的许多用户发现这样的常规系统由于这些显示器中的调节和聚散状态之间的失配而令人感到不舒服或者根本不能感知深度感。如上所述,许多立体或“3D”显示系统通过向每只眼睛提供稍微不同的图像来显示场景。这样的系统对于许多观看者来说是不舒服的,因为它们仅提供场景的不同呈现并且使眼睛的聚散状态的改变,但是这些眼睛的调节状态未发生对应的变化。相反,图像由相对于眼睛固定距离处的显示器示出,以使得眼睛在单个调节状态下观看所有图像信息。这种布置通过在调节状态未发生匹配变化的情况下引起聚散状态的改变,违反“调节-聚散”起作用。这种失配被认为会引起观看者的不适。在调节和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维影像模拟。
不受理论的限制,认为人眼通常可以解释有限数量的深度平面以提供深度感知。因此,可通过向眼睛提供与这些有限数量的深度平面中的每一者相对应的图像的不同呈现来实现高度可信的感知深度模拟。在一些实施例中,不同的呈现可以提供聚散线索和匹配的调节线索两者,从而提供生理上正确的调节-聚散匹配。
继续参考图4B,示出了两个深度平面240,这两个深度平面240对应于相对于眼睛210、220的不同空间距离。对于给定深度平面240,可通过为每只眼睛210、220显示具有适当不同的视角的图像来提供聚散线索。此外,对于给定深度平面240,形成提供给每只眼睛210、220的图像的光可具有与该深度平面240的距离处的点所产生的光场对应的波前发散。
在所示实施例中,包含点221的深度平面240沿z轴的距离是1米。如本文所使用的,可以利用位于用户眼睛出射光瞳处的零点来测量沿着z轴的距离或深度。因此,位于1米深度处的深度平面240与这些眼睛的光轴上的距离用户眼睛出射光瞳1米的位置相对应,其中眼睛看向光学无限远。作为近似,沿着z轴的深度或距离可以从用户眼睛前方的显示器(例如,从波导的表面)测量,加上设备和用户眼睛出射光瞳之间的距离的值。该值可被称为出瞳距离(eye relief)并且与用户眼睛出射光瞳与用户在眼睛前方穿戴的显示器之间的距离相对应。在实践中,出瞳距离的值可以是对所有观看者通用的标准化值。例如,可以假设出瞳距离是20mm,并且深度为1米的深度平面可以在显示器前面980mm的距离处。
现在参考图4C和图4D,分别示出了匹配的调节-聚散距离和失配的调节-聚散距离的示例。如图4C所示,显示系统可以向每只眼睛210、220提供虚拟对象的图像。这些图像可以使眼睛210、220呈现聚散状态,在此状态下,眼睛会聚在深度平面240上的点15处。此外,图像可以由具有与该深度平面240处的真实对象相对应的波前曲率的光形成。因此,眼睛210、220呈现调节状态,在此状态下,图像聚焦在这些眼睛的视网膜上。因此,用户可以感知虚拟对象位于深度平面240上的点15处。
应当理解,眼睛210、220的调节和聚散状态中的每一者与z轴上的特定距离相关联。例如,距眼睛210、220特定距离处的对象使得这些眼睛基于对象的距离,呈现特定调节状态。与特定调节状态相关联的距离可被称为调节距离Ad。类似地,存在与处于特定聚散状态的眼睛相关联的特定聚散距离Vd或相对于彼此的位置。在调节距离和聚散距离匹配的情况下,可以认为调节和聚散之间的关系在生理学上是正确的。这被认为是对于观看者最舒适的场景。
然而,在立体显示器中,调节距离和聚散距离可能不总是匹配。例如,如图4D所示,显示给眼睛210、220的图像可通过与深度平面240相对应的波前发散显示,并且眼睛210、220可以呈现特定调节状态,在此状态下,该深度平面上的点15a、15b聚焦。然而,显示给眼睛210、220的图像可以提供聚散线索,此线索导致眼睛210、220会聚在不位于深度平面240上的点15处。因此,在一些实施例中,调节距离对应于从眼睛210、220的出射光瞳到深度平面240的距离,而聚散距离对应于从眼睛210、220的出射光瞳到点15的较大距离。调节距离不同于聚散距离。因此,存在调节-聚散失配。这种失配被认为是不合需要的并且可能引起用户的不适。应当理解,失配对应于距离(例如,Vd-Ad)并且可以使用屈光度来表征。
在一些实施例中,应当理解,可以使用眼睛210、220的出射光瞳之外的参考点确定距离,从而确定调节-聚散失配,只要对于调节距离和辐辏距离使用同一参考点即可。例如,可以测量从角膜到深度平面,从视网膜到深度平面,从目镜(例如,显示设备的波导)到深度平面等的距离。
不受理论的限制,认为用户仍然可以将高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的调节-辐辏失配感知为在生理上正确,而失配本身不导致明显不适。在一些实施例中,本文公开的显示系统(例如,图6中的显示系统250)向观看者呈现具有约0.5屈光度或更小的调节-聚散失配的图像。在一些其它实施例中,由显示系统提供的图像的调节-聚散失配约为0.33屈光度或更小。在另外的实施例中,由显示系统提供的图像的调节-聚散失配约为0.25屈光度或更小,包括约0.1屈光度或更小。
图5示出了用于通过修改波前发散来模拟三维影像的方法的各方面。显示系统包括波导270,波导270被配置为接收用图像信息编码的光770,并将该光输出到用户的眼睛210。波导270可以输出具有限定的波前发散量的光650,该波前发散与所需深度平面240上的点产生的光场的波前发散相对应。在一些实施例中,为在该深度平面上呈现的所有对象提供同一波前发散量。另外,将说明可以向用户的另一只眼睛提供来自类似波导的图像信息。
在一些实施例中,单个波导可被配置为输出具有对应于单个或有限数量的深度平面的设定的波前发散量的光,和/或波导可被配置为输出有限波长范围的光。因此,在一些实施例中,可以利用多个波导或波导堆叠来为不同深度平面提供不同的波前发散量和/或输出不同波长范围的光。如本文所使用的,应当理解,深度平面可以是平坦的,也可以遵循曲面的轮廓。
图6示出了用于将图像信息输出给用户的波导堆叠的示例。显示系统250包括波导堆叠或堆叠波导组件260,其可用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。应当理解,在一些实施例中,显示系统250可以被视为光场显示器。此外,波导组件260也可被称为目镜。
在一些实施例中,显示系统250可被配置为提供基本连续的聚散线索和多个离散的调节线索。聚散线索可通过向用户的每只眼睛显示不同的图像来提供,调节线索可通过输出以可选的离散波前发散量形成图像的光来提供。换言之,显示系统250可被配置为以可变的波前发散水平输出光。在一些实施例中,每个离散的波前发散水平对应于特定深度平面,并且可以由波导270、280、290、300、310中的特定一者提供。
继续参考图6,波导组件260还可包括位于波导之间的多个特征320、330、340、350。在一些实施例中,特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可被配置为以各种波前曲率水平或光线发散度向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联,并且可被配置为输出对应于该深度平面的图像信息。图像注入设备360、370、380、390、400可以用作波导的光源,并且可用于将图像信息注入波导270、280、290、300、310中,如本文所述,每个波导可被配置将入射光分布在每个相应的波导上以便朝着眼睛210输出。光从图像注入设备360、370、380、390、400的输出表面410、420、430、440、450出射,并且注入波导270、280、290、300、310的相应输入表面460、470、480、490、500中。在一些实施例中,输入表面460、470、480、490、500中的每一者可以是对应波导的边缘,或者可以是对应波导的主表面的一部分(即,直接面向世界510或观看者眼睛210的波导表面中的一者)。在一些实施例中,可以将单个光束(例如,准直光束)注入每个波导中以输出整个克隆的准直光束场,这些克隆的准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛210。在一些实施例中,图像注入设备360、370、380、390、400的单个图像注入设备可以与波导270、280、290、300、310中的多个(三个)波导相关联并将光注入这些波导中。
在一些实施例中,图像注入设备360、370、380、390、400是分立的显示器,每个显示器产生用于分别注入对应波导270、280、290、300、310中的图像信息。在一些其它实施例中,图像注入设备360、370、380、390、400是单个多路复用显示器的输出端,这些显示器例如可以经由一个或多个光学导管(例如,光纤光缆)将图像信息管道传输到图像注入设备360、370、380、390、400中的每一者。应当理解,由图像注入设备360、370、380、390、400提供的图像信息可包括不同波长或颜色(例如,本文所讨论的不同的组分颜色)的光。
在一些实施例中,注入波导270、280、290、300、310的光由光投射系统520提供,光投射系统520包括光模块530,该光模块530可包括诸如发光二极管(LED)之类的光发射器。来自光模块530的光可以经由光束分离器550被引导到光调制器540(例如,空间光调制器)并被其修改。光调制器540可被配置为改变注入波导270、280、290、300、310的光的感知强度以利用图像信息来编码光。空间光调制器的示例包括液晶显示器(LCD),其包括硅基液晶(LCOS)显示器。在一些其它实施例中,空间光调制器可以是MEMS设备,诸如数字光处理(DLP)设备。应当理解,图像注入设备360、370、380、390、400被示意性地示出,并且在一些实施例中,这些图像注入设备可以表示公共投射系统中的不同光路和位置,该公共投射系统被配置为将光输出到波导270、280、290、300、310中的关联波导中。在一些实施例中,波导组件260的波导可以用作理想透镜,同时将注入波导中的光中继出去到用户的眼睛中。在该概念中,对象可以是空间光调制器540,并且图像可以是深度平面上的图像。
在一些实施例中,显示系统250可以是扫描光纤显示器,其包括一个或多个扫描光纤,这些扫描光纤被配置为以各种图案(例如,光栅扫描、螺旋扫描、利萨如图案等)将光投射到一个或多个波导270、280、290、300、310中并最终投射到观看者的眼睛210。在一些实施例中,所示图像注入设备360、370、380、390、400可示意性地表示单个扫描光纤或扫描光纤束,该单个扫描光纤或扫描光纤束被配置为将光注入波导270、280、290、300、310中的一个或多个波导中。在一些其它实施例中,所示的图像注入设备360、370、380、390、400可以示意性地表示多个扫描光纤或扫描光纤束,该多个扫描光纤或扫描光纤束的每一者被配置为将光注入波导270、280、290、300、310中的关联波导中。应当理解,一个或多个光纤可被配置为将光从光模块530传输到一个或多个波导270、280、290、300、310。应当理解,可以在一个或多个扫描光纤与一个或多个波导270、280、290、300、310之间提供一个或多个中间光学结构,以例如将从扫描光纤出射的光重定向到一个或多个波导270、280、290、300、310中。
控制器560控制堆叠波导组件260中的一者或多者的操作,其中包括图像注入设备360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中,控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如,非暂时性介质中的指令),其根据例如本文公开的多种方案中的任一项,调节图像信息到波导270、280、290、300、310的时序和提供。在一些实施例中,控制器可以是单个集成设备,或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中,控制器560可以是处理模块140或150(图9D)的一部分。在一些实施例中,控制器控制光投射系统520和扫描反射式元件1030(图10)的操作并同步该操作。
继续参考图6,波导270、280、290、300、310可被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310可以分别是平面的或具有另一形状(例如,弯曲的),其具有主要的顶部和底部表面以及在这些主要的顶部与底部表面之间延伸的边缘。在所示的配置中,波导270、280、290、300、310可分别包括耦出光学元件570、580、590、600、610,这些耦出元件被配置为通过将在每个相应的波导内传播的光重定向出波导来从波导中提取光,从而向眼睛210输出图像信息。所提取的光也可被称为耦出光,并且耦出光学元件也可被称为光提取光学元件。在波导内传播的光照射光提取光学元件的位置处,可以由波导输出所提取的光束。耦出光学元件570、580、590、600、610例如可以是包括本文进一步讨论的衍射光学特征的光栅。尽管为了便于描述和描绘清楚而示出了设置在波导270、280、290、300、310的底部主表面上,但是在一些实施例中,如本文进一步所讨论的,耦出光学元件570、580、590、600、610可以被设置在顶部和/或底部主表面上,和/或可以被直接设置在波导270、280、290、300、310的体中。在一些实施例中,耦出光学元件570、580、590、600、610可以在附接到透明基板的材料层中形成,从而形成波导270、280、290、300、310。在一些其它实施例中,波导270、280、290、300、310可以是整块材料,并且耦出光学元件570、580、590、600、610可以形成在该块材料的表面上和/或内部中。
继续参考图6,如本文所讨论的,每个波导270、280、290、300、310被配置为输出光以形成对应于特定深度平面的图像。例如,最靠近眼睛的波导270可被配置为将注入这种波导270中的准直光传送到眼睛210。准直光可以代表光学无限远焦平面。下一上行波导280可被配置为发出在到达眼睛210之前传播通过第一透镜350(例如,负透镜)的准直光;这样的第一透镜350可被配置为产生微凸的波前曲率,以使得眼睛/大脑将来自下一上行波导280的光解释为来自从光学无限远向内更接近眼睛210的第一焦平面。类似地,第三上行波导290使其输出光在到达眼睛210之前传播通过第一透镜350和第二透镜340。第一透镜350和第二透镜340的组合光焦度可被配置为产生另一波前曲率增量,以使得眼睛/大脑将来自第三上行波导290的光解释为来自第二焦平面,该来自第二焦平面的光比来自下一上行波导280的光从光学无限远向内的光更接近人。
其它波导层300、310和透镜330、320被类似地配置,其中堆叠中的最高波导310通过其与眼睛之间的所有透镜发送其输出,以获得代表与人最接近的焦平面的总焦度。为了在观察/解释来自堆叠波导组件260的另一侧上的世界510的光时补偿透镜堆叠320、330、340、350,可以在堆叠的顶部设置补偿透镜层620以补偿下面的透镜堆叠320、330、340、350的总焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面都可以是静态的(即,不是动态的或电活性的)。在一些替代实施例中,通过使用电活性特征,它们中的一个或全部两个可以是动态的。
在一些实施例中,波导270、280、290、300、310中的两者或更多者可具有相同的关联深度平面。例如,多个波导270、280、290、300、310可被配置为将图像集输出到同一深度平面,或者波导270、280、290、300、310的多个子集可被配置为将图像集输出到相同的多个深度平面,每个深度平面一个图像集。这可以提供形成平铺图像以在那些深度平面上提供扩展视场的优势。
继续参考图6,耦出光学元件570、580、590、600、610可被配置为将光重定向出它们各自的波导并且针对与波导相关联的特定深度平面以适当的发散量或准直度输出该光。因此,具有不同相关深度平面的波导可具有不同配置的耦出光学元件570、580、590、600、610,这些元件取决于相关联的深度平面以不同的发散量输出光。在一些实施例中,光提取光学元件570、580、590、600、610可以是体特征或表面特征,其可被配置为以特定角度输出光。例如,光提取光学元件570、580、590、600、610可以是体全息图、表面全息图和/或衍射光栅。在一些实施例中,特征320、330、340、350可以不是透镜;相反,它们可以仅仅是间隔物(例如,包层和/或用于形成气隙的结构)。
在一些实施例中,耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征,或“衍射光学元件”(在本文中也被称为“DOE”)。优选地,DOE具有足够低的衍射效率,以使得只有一部分光束借助DOE的每个交叉点朝着眼睛210偏转,而其余部分经由TIR继续通过波导。因此,携带图像信息的光被分成多个相关的出射光束,这些出射光束在多个位置处从波导出射,结果是针对在波导内四处反弹的特定准直光束,形成朝着眼睛210的相当均匀的出射图案。
在一些实施例中,一个或多个DOE可以在积极衍射的“接通”状态与不明显衍射的“关断”状态之间切换。例如,可切换的DOE可包括聚合物分散液晶层,其中微滴在主体介质中包括衍射图案,并且微滴的折射率可以切换为基本匹配主体材料的折射率(在这种情况下,图案不会明显地衍射入射光)或者微滴可以切换到与主体介质的折射率不匹配的折射率(在这种情况下,图案积极衍射入射光)。
在一些实施例中,可提供相机组件630(例如,数码相机,包括可见光和红外光相机)以捕获眼睛210和/或眼睛210周围的组织的图像,从而例如检测用户输入和/或监测用户的生理状态。如本文所使用的,相机可以是任何图像捕获设备。在一些实施例中,相机组件630可包括图像捕获设备和光源,以将光(例如,红外光)投射到眼睛,然后光可以由眼睛反射并由图像捕获设备检测到。在一些实施例中,相机组件630可以被附接到框架80(图9D)并且可以与处理模块140和/或150电连通,处理模块140和/或150可以处理来自相机组件630的图像信息。在一些实施例中,可以针对每只眼睛使用一个相机组件630以分别监测每只眼睛。
在一些实施例中,相机组件630可以观察用户的运动,诸如用户的眼睛运动。作为示例,相机组件630可以捕获眼睛210的图像以确定眼睛210的瞳孔(或眼睛210的某一其它结构)的大小、位置和/或取向。如果需要,相机组件630可以获得用于确定用户正在观看的方向(例如,眼睛姿势或注视方向)的图像(由本文所述类型的处理电路处理)。在一些实施例中,相机组件630可包括多个相机,其中至少一个可用于每只眼睛,以独立地分别确定每只眼睛的眼睛姿势或注视方向。在一些实施例中,相机组件630可以与诸如控制器560或本地数据处理模块140之类的处理电路结合,基于来自相机组件630中包括的光源的反射光(例如,红外光)的亮斑(例如,反光),确定眼睛姿势或注视方向。
现在参考图7,示出了由波导输出的出射光束的示例。示出了一个波导,但是应当理解,波导组件260(图6)中的其它波导可以发挥类似的作用,其中波导组件260包括多个波导。光640在波导270的输入表面460处注入波导270,并通过TIR在波导270内传播。在光640照射在DOE 570上的点处,一部分光从波导出射作为出射光束650。出射光束650被示为基本平行,但是如本文所讨论的,它们也可以被重定向为以一定角度(例如,形成发散的出射光束)传播到眼睛210,该角度取决于与波导270相关联的深度平面。可以理解,基本平行的出射光束可以指示具有耦出光学元件的波导,该耦出光学元件将光耦出以形成看起来设置在距眼睛210较远距离(例如,光学无限远)处的深度平面上的图像。其它波导或其它耦出光学元件组可以输出,这将需要眼睛210适应更近的距离以将该更加发散的出射光束图案聚焦在视网膜上,并且这些光束图案可以被大脑解释为来自比光学无限远更接近眼睛210的距离的光。
在一些实施例中,可通过叠加采用每种组分颜色(例如,三种或更多种组分颜色)的图像来在每个深度平面处形成全彩图像。图8示出了堆叠波导组件的示例,在该堆叠波导组件中每个深度平面包括使用多种不同组分颜色形成的图像。所示的实施例示出了深度平面240a至240f,尽管还构想更多或更少的深度。每个深度平面可具有与其相关联的三种或更多种组分颜色图像,其中包括:第一颜色G的第一图像;第二颜色R的第二图像;以及第三颜色B的第三图像。不同的深度平面在图中通过字母G、R和B之后的不同屈光度(dpt)数字指示。例如,每个字母后面的数字指示屈光度(1/m),或深度平面与观看者的距离倒数,并且图中的每个框表示单独的组分颜色图像。在一些实施例中,为了解决眼睛对不同波长的光的聚焦的差异,不同组分颜色的深度平面的精确放置可以变化。例如,给定深度平面的不同组分颜色图像可以被放置在与相对于用户的不同距离相对应的深度平面上。这样的布置可以增加视敏度和用户舒适度和/或可以减少色差。
在一些实施例中,每种组分颜色的光可以由单个专用波导输出,因此,每个深度平面可具有与其相关联的多个波导。在这样的实施例中,图中包括字母G、R或B的每个框可以被理解为表示单独的波导,并且在为每个深度平面提供三个组分颜色图像的情况下,可以为每个深度平面提供三个波导。尽管为了便于描述,在该图中示出了与每个深度平面相关联的波导彼此相邻,但是应当理解,在物理设备中,波导可以全部布置成每层具有一个波导的堆叠。在一些其它实施例中,多种组分颜色可以由相同的波导输出,以使得例如可以为每个深度平面仅提供单个波导。
继续参考图8,在一些实施例中,G是绿色,R是红色,B是蓝色。在一些其它实施例中,除了红色、绿色或蓝色之外,可以使用与其它波长的光相关联的其它颜色(包括品红色和青色),或者可以替换红色、绿色或蓝色中的一种或多种。
应当理解,本公开通篇对给定颜色的光的引用将被理解为包括被观看者感知为具有该给定颜色的光波长范围内的一个或多个波长的光。例如,红色光可包括在约620至780nm范围内的一个或多个波长的光,绿色光可包括在约492至577nm范围内的一个或多个波长的光,蓝色光可包括在约435至493nm的范围内的一个或多个波长的光。
在一些实施例中,光源530(图6)可被配置为发射观看者视觉感知范围之外的一个或多个波长(例如,红外和/或紫外波长)的光。此外,显示器250的波导的耦入、耦出和其它光重定向结构可被配置为将该光从显示器引导出并朝着用户的眼睛210发射,例如用于成像和/或用户刺激应用。
现在参考图9A,在一些实施例中,可能需要将照射在波导上的光重定向以将该光耦入波导中。可以使用耦入光学元件将光重定向并且将光耦入其对应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图,每个堆叠波导包括耦入光学元件。每个波导可各自被配置为输出一个或多个不同波长的光,或一个或多个不同波长范围的光。应当理解,堆叠660可对应于堆叠260(图6),并且所示的堆叠660的波导可对应于多个波导270、280、290、300、310的一部分,除了来自图像注入设备360、370、380、390、400中的一个或多个图像注入设备的光从需要重定向光以进行耦入的位置注入波导中之外。
所示的堆叠波导组660包括波导670、680和690。每个波导包括关联的耦入光学元件(其也可以称为波导上的光输入区域),例如,设置在波导670的主表面(例如,顶部主表面)上的耦入光学元件700、设置在波导680的主表面(例如,顶部主表面)上的耦入光学元件710、以及设置在波导690的主表面(例如,顶部主表面)上的耦入光学元件720。在一些实施例中,耦入光学元件700、710、720中的一者或多者可以被设置在相应波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射式偏转光学元件的情况下)。如图所示,耦入光学元件700、710、720可以被设置在其相应波导670、680、690的顶部主表面上(或下一较低波导的顶部上),特别是在这些耦入光学元件是透射式偏转光学元件的情况下。在一些实施例中,耦入光学元件700、710、720可以被设置在相应波导670、680、690的主体中。在一些实施例中,如本文所讨论的,耦入光学元件700、710、720具有波长选择性,以使其选择性地重定向一个或多个波长的光,同时透射其它波长的光。尽管示出为在其相应波导670、680、690的一侧或角上,但是应当理解,在一些实施例中,耦入光学元件700、710、720可以被设置在其相应波导670、680、690的其它区域中。
如图所示,耦入光学元件700、710、720可以彼此横向偏移,如在所示的沿着光传播到这些耦入光学元件的方向的正视图中所见。在一些实施例中,每个耦入光学元件可以发生偏移,以使得其在光不传播通过另一耦入光学元件的情况下接收该光。例如,如图6所示,每个耦入光学元件700、710、720可被配置为从不同的图像注入设备360、370、380、390和400接收光,并且可以与其它耦入光学元件700、710、720分开(例如,横向地隔开),以使得它基本不接收来自耦入光学元件700、710、720中的其它耦入光学元件的光。
每个波导还包括相关联的光分布元件,例如,设置在波导670的主表面(例如,顶部主表面)上的光分布元件730、设置在波导680的主表面(例如,顶部主表面)上的光分布元件740、以及设置在波导690的主表面(例如,顶部主表面)上的光分布元件750。在一些其它实施例中,光分布元件730、740、750可以被分别设置在关联波导670、680、690的底部主表面上。在一些其它实施例中,光分布元件730、740、750可以被分别设置在关联波导670、680、690的顶部主表面和底部主表面上;或者,光分布元件730、740、750可以被分别设置在不同的关联波导670、680、690中的不同的顶部主表面和底部主表面上。
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分开。例如,如图所示,层760a可以隔开波导670和680;以及层760b可以隔开波导680和690。在一些实施例中,层760a和760b由低折射率材料(即,材料具有比形成波导670、680、690中的紧邻波导的材料更低的折射率)形成。优选地,形成层760a、760b的材料的折射率是0.05或大于形成波导670、680、690的材料的折射率,或者是0.10或小于形成波导670、680、690的材料的折射率。有利地,低折射率层760a、760b可以作为包层,该包层促进光通过波导670、680、690的全内反射(TIR)(例如,每个波导的顶部主表面与底部主表面之间的TIR)。在一些实施例中,层760a、760b由空气形成。尽管未示出,但应理解,所示的波导组660的顶部和底部可包括紧邻的包层。
优选地,为了便于制备和出于其它考虑,形成波导670、680、690的材料相似或相同,并且形成层760a、760b的材料相似或相同。在一些实施例中,形成波导670、680、690的材料在一个或多个波导之间可以是不同的,和/或形成层760a、760b的材料可以是不同的,同时仍然保持上述各种折射率关系。
继续参考图9A,光线770、780、790入射到波导组660上。应当理解,光线770、780、790可通过一个或多个图像注入设备360、370、380、390、400(图6)注入波导670、680、690中。
在一些实施例中,光线770、780、790具有不同的特性,例如,不同的波长或不同的波长范围,这些不同的波长或波长范围可对应于不同的颜色。耦入光学元件700、710、720分别偏转入射光,以使得光通过TIR在波导670、680、690中的相应波导内传播。在一些实施例中,耦入光学元件700、710、720分别选择性地偏转一个或多个特定波长的光,同时将其它波长透射到下面的波导和关联的耦入光学元件。
例如,耦入光学元件700可被配置为偏转具有第一波长或波长范围的光线770,同时分别透射具有不同的第二和第三波长或波长范围的光线780和790。透射光线780照射在耦入光学元件710上并被其偏转,该耦入光学元件710被配置为偏转第二波长或波长范围的光。光线790被耦入光学元件720偏转,该耦入光学元件720被配置为选择性地偏转第三波长或波长范围的光。
继续参考图9A,所偏转的光线770、780、790被偏转,以使其在对应的波导670、680、690内传播;即,每个波导的耦入光学元件700、710、720将光偏转到对应波导670、680、690中,以将光耦入对应的波导中。光线770、780、790以一定角度偏转,这些角度使光通过TIR在相应波导670、680、690内传播。光线770、780、790通过TIR在相应波导670、680、690内传播,直到照射到波导的相应光分布元件730、740、750。
现在参考图9B,示出了图9A的多个堆叠波导的示例的透视图。如上所述,耦入光线770、780、790分别被耦入光学元件700、710、720偏转,然后分别通过TIR在波导670、680、690内传播。然后,光线770、780、790分别照射在光分布元件730、740、750上。光分布元件730、740、750使光线770、780、790偏转,以使其分别朝着耦出光学元件800、810、820传播。
在一些实施例中,光分布元件730、740、750是正交光瞳扩展器(OPE)。在一些实施例中,OPE将光偏转或分布到耦出光学元件800、810、820,并且在一些实施例中,还可以在光传播到耦出光学元件时增加该光的光束或光斑尺寸。在一些实施例中,可以省略光分布元件730、740、750,并且可以将耦入光学元件700、710、720配置为将光直接偏转到耦出光学元件800、810、820。例如。参考图9A,光分布元件730、740、750可分别用耦出光学元件800、810、820代替。在一些实施例中,耦出光学元件800、810、820是出射光瞳(EP)或出射光瞳扩展器(EPE),其引导观看者眼睛210(图7)中的光。应当理解,OPE可被配置为在至少一个轴上增加眼动范围(eye box)的尺寸,并且EPE可以在与OPE的轴相交(例如,正交)的轴上增加眼动范围。例如,每个OPE可被配置为将照射OPE的光的一部分重定向到同一波导的EPE,同时允许光的剩余部分继续沿着波导向下传播。当再次照射在OPE上时,剩余光的另一部分被重新定向到EPE,并且该部分的剩余部分继续沿波导向下进一步传播,以此类推。类似地,在照射EPE时,照射光的一部分朝着用户被引导出波导,并且该光的剩余部分继续在波导内传播,直到它再次照射EP,此时照射光的另一部分被引导出波导,以此类推。因此,每当该光的一部分被OPE或EPE重新定向时,可以“复制”单束耦合光,从而形成克隆光束的场,如图6所示。在一些实施例中,OPE和/或EPE可被配置为修改光束的尺寸。
因此,参考图9A和图9B,在一些实施例中,波导组660包括用于每种组分颜色的波导670、680、690;耦入光学元件700、710、720;光分布元件(例如,OPE)730、740、750;以及耦出光学元件(例如,EP)800、810、820。波导670、680、690可以在每一者之间堆叠有气隙/包层。耦入光学元件700、710、720将入射光(通过接收不同波长的光的不同耦入光学元件)重新定向或偏转到其波导中。然后光以一定角度传播,这将导致相应波导670、680、690内的TIR。在所示的示例中,光线770(例如,蓝色光)以先前描述的方式被第一耦入光学元件700偏转,然后继续沿着波导反弹,与光分布元件(例如,OPE)730相互作用,以及然后与耦出光学元件(例如,EP)800相互作用。光线780和790(例如,分别为绿色光和红色光)将传播通过波导670,其中,光线780照射在耦入光学元件710上并被耦入光学元件710偏转。光线780然后经由TIR沿着波导680向下反弹,行进到其光分布元件(例如,OPE)740上,以及然后行进到耦出光学元件(例如,EP)810。最后,光线790(例如,红色光)传播通过波导690以照射在波导690的耦入光学元件720上。耦入光学元件720偏转光线790,以使得光线通过TIR传播到光分布元件(例如,OPE)750,以及然后通过TIR传播到耦出光学元件(例如,EP)820。然后,耦出光学元件820最终将光线790耦出到观看者,观看者还接收来自其它波导670、680的耦出光。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。应当理解,该俯视图也被称为正视图,如沿着光朝着耦入光学元件800、810、820传播的方向所见;也就是说,该俯视图是图像光垂直于页面入射的波导的视图。如图所示,波导670、680、690以及每个波导的关联光分布元件730、740、750和关联耦出光学元件800、810、820可以垂直对准。然而,如本文所讨论的,耦入光学元件700、710、720不是垂直对准的;相反,耦入光学元件优选地是不重叠的(例如,如俯视图中所示,是横向地间隔开的)。如本文进一步所讨论的,该不重叠空间布置有助于将来自不同资源的光一对一地注入不同的波导中,从而允许特定光源被唯一地耦合到特定波导。在一些实施例中,包括不重叠空间分离的耦入光学元件的布置可被称为移位光瞳系统,并且这些布置内的耦入光学元件可对应于子光瞳。
应当理解,空间重叠区域可具有它们面积的70%或更多、80%或更多、或90%或更多的横向重叠,如在俯视图中所见。另一方面,如在俯视图中所见,横向移位区域可具有它们面积的小于30%重叠、小于20%重叠或小于10%重叠。在一些实施例中,横向移位区域没有重叠。
图9D示出了可以集成本文公开的各种波导和相关系统的可穿戴显示系统60的示例。在一些实施例中,显示系统60是图6的系统250,其中图6示意性地更详细示出了系统60的某些部件。例如,图6的波导组件260可以是显示器70的一部分。
继续参考图9D,显示系统60包括显示器70,以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以被耦接到框架80,该框架可由显示系统用户或观看者90穿戴,并且被配置为将显示器70定位在用户90的眼前。在一些实施例中,显示器70可以被视为眼镜。显示器70可包括一个或多个波导,诸如波导270,其被配置为中继耦入的图像光以及将该图像光输出到用户90的眼睛。在一些实施例中,扬声器100被耦接到框架80并且被配置为定位在用户90的耳道附近(在一些实施例中,另一扬声器(未示出)可选择性地被定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。显示系统60还可包括一个或多个麦克风110或其它检测声音的设备。在一些实施例中,麦克风被配置为允许用户向系统60提供输入或命令(例如,语音菜单命令的选择、自然语言问题等),和/或可以允许与其它人(例如,与类似显示系统的其它用户)进行音频通信。麦克风还可被配置为外围传感器以收集音频数据(例如,来自用户和/或环境的声音)。在一些实施例中,显示系统60还可包括一个或多个面向外部的环境传感器112,其被配置为检测用户周围世界的对象、刺激物、人、动物、位置或其它方面。例如,环境传感器112可包括一个或多个相机,这些相机例如可以被面向外部定位,以捕获与用户90的一般视场的至少一部分类似的图像。在一些实施例中,显示系统还可包括外围传感器120a,其可以与框架80分离并且被附接到用户90的身体(例如,用户90的头部、躯干、四肢等上)。在一些实施例中,外围传感器120a可被配置为获取表征用户90的生理状态的数据。例如,传感器120a可以是电极。
继续参考图9D,显示器70通过通信链路130(诸如,通过有线引线或无线连接)被可操作地耦接到本地数据处理模块140,本地数据处理模块140可以以各种配置安装,诸如固定地附接到框架80,固定地附接到用户戴的头盔或帽子,嵌入耳机中,或以其它方式可移除地附接到用户90(例如,采取背包式配置,采取束带耦接式配置)。类似地,传感器120a可通过通信链路120b(例如,通过有线引线或无线连接)被可操作地连接到本地处理和数据模块140。本地处理和数据模块140可包括硬件处理器,以及数字存储器,诸如非易失性存储器(例如,闪存或硬盘驱动器),这两者都可用于辅助处理、缓存和存储数据。可选地,本地处理和数据模块140可包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等等。这些数据可包括a)从传感器(其例如可以被可操作地耦接到框架80或以其它方式被附接到用户90)捕获的数据,这些传感器诸如图像捕获设备(诸如,相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备、陀螺仪和/或此处公开的其它传感器;和/或b)使用远程处理模块150和/或远程数据存储库160获取和/或处理的数据(包括有关虚拟内容的数据),这些数据可以在被执行完这样的处理或检索之后传送到显示器70。本地处理和数据模块140可通过通信链路170、180(诸如经由有线或无线通信链路)被可操作地耦接到远程处理模块150和远程数据存储库160,以使得这些远程模块150、160被可操作地彼此耦接,并且作为资源可用于本地处理和数据模块140。在一些实施例中,本地处理和数据模块140可包括图像捕获设备、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪中的一者或多者。在一些其它实施例中,这些传感器中的一者或多者可以被附接到框架80,或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图9D,在一些实施例中,远程处理模块150可包括被配置为分析和处理数据和/或图像信息的一个或多个处理器,例如,包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实施例中,远程数据存储库160可包括数字数据存储设施,该设施可通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中,远程数据存储库160可包括一个或多个远程服务器,该一个或多个远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息,例如用于生成增强现实内容的信息。在一些实施例中,在本地处理和数据模块中存储所有数据,并执行所有计算,允许从远程模块完全自主地使用。可选地,包括CPU、GPU等的外部系统(例如,一个或多个处理器、一个或多个计算机的系统)可以执行至少一部分处理器(例如,生成图像信息,处理数据),并且例如经由无线或有线连接向模块140、150、160提供信息,并从这些模块接收信息。
包括增强的一维像素阵列的示例显示
图10示出了包括增强的一维(1D)像素阵列和扫描反射式元件(例如,扫描镜)的显示系统的示例。如本文所述,来自像素阵列的图像光可经由扫描反射式元件被投射到中继光学器件(诸如,一个或多个波导)上以形成用户可见的二维(2D)图像。在一些实施例中,图像光被投射到耦入光学元件(例如,图9A至图9C的耦入光学元件700、710、720)上。应当理解,像素阵列可以包括透射和/或发射像素元素。在一些实施例中,像素阵列是包括发光像素的发射像素阵列。发射像素阵列的一些实施例包括LED和OLED阵列,包括微型LED阵列。
优选地,2D图像由增强的一维(1D)像素阵列与诸如微机电系统(MEMS)扫描镜之类的扫描反射式元件一起组合地提供。如本文所讨论的,组合扫描反射式元件使用增强的一维像素阵列来投射图像可以提供许多优点,包括减小每个像素阵列的像素的尺寸和数量,降低显示器的功耗、增加分辨率和/或视场等。应当理解,像素阵列可被称为一维阵列,因为在任何给定时刻,只有一列像素输出图像信息(调制光)以在给定时间提供一条分辨率线。1D阵列可以增强,也就是说,在物理上存在多于一列像素,并且1D阵列的不同列像素可以在不同时间输出光。
继续参考图10,显示系统1000包括光投射系统1010,该光投射系统1000包括像素阵列1012、1014、1016和光学透镜结构1020。光学透镜结构1020将光输出到扫描反射式元件1030,该扫描反射式元件1030将来自像素阵列1012、1014、1016的图像光引导到中继光学器件的光接收区域1040。在一些实施例中,显示系统1000可以对应于显示系统250(图6),并且光投射系统1010可以对应于光投射系统520(图6)。在一些实施例中,中继光学器件可以包括一个或多个波导670、680、690(图9A至图9C),并且所示的光接收区域1040可以是波导的耦入光学元件,诸如,耦入光学元件700、710、720(图9A至图9C),的一部分。应当理解,中继光学器件可以采用用于将来自投射系统1010的图像光引导到观看者眼睛的各种其它光学结构的形式。例如,在一些实施例中,中继光学器件可以包括鸟浴组合器(birdbathcombiner),该组合器包括将图像光引导到观看者并允许观看周围环境的半透明反射镜。
继续参考图10,像素阵列1012、1014、1016优选地是发射像素阵列,该发射像素阵列提供了快速循环地接通和关断像素的优势。在一个示例中,像素阵列1012、1014和1016可以分别为单色像素阵列,其中每个阵列包括单一颜色的单色像素(例如,红色、绿色和蓝色发射像素)的阵列。光学组合器1018(诸如,二向色X-Cube)可以组合从像素阵列1012、1014、1016发射的光并将发射的光引导到光学透镜结构1020。优选地,在被光学组合器1018组合之后,来自像素阵列1012、1014、1016的对应像素在从光学透镜结构1020输出时直接重叠,以使得像素被感知为全色像素。
在一些实施例中,单色像素阵列1014、1012和1016可以彼此邻近地定位,例如,定位在图10中的空间光调制器1012的位置中。在这样的实施例中,可以省略光学组合器1018。邻近的空间光调制器1014、1012和1016之间的任何横向偏移可能导致每个像素阵列1014、1012、1016的对应像素之间的空间偏移。可以实施邻近像素阵列1014、1012和1016的输出的时序调制以补偿这种空间偏移;例如,每个像素阵列1014、1012和1016的光发射可以与扫描反射式元件1030的取向同步,以使得每个像素阵列的对应像素被反射,导致这些对应像素在光接收区域1040中空间重叠。
在一些实施例中,光投射系统1010可以包括一个或多个全色像素阵列。每个全色阵列可以包括包含子像素组的像素,每组具有至少一个每种组分颜色的子像素。在一些实施例中,像素阵列1012可以是全色像素阵列并且可以省略像素阵列1014、1016和组合器1018。在一些其它实施例中,光投射系统1010可以包括两个或更多个全色像素阵列1014、1012、1016,并且可以保留光学组合器1018。应当理解,使用多个全色像素阵列可以有利地增加使用这些阵列形成的图像的感知亮度。在一些实施例中,像素阵列1012、1014和1016分别为全色像素阵列。在一些实施例中,每个像素阵列可独立操作以在调整由观看者感知的聚合像素的亮度方面提供更大的自由度。或者,显示系统1000可以包括两个像素阵列(例如,1012和1014),并且光学组合器1018可以是用于组合来自两个光源的光的二向色镜等。在这些示例中,可以通过从像素阵列1012、1014、1016中的一个、两个或所有像素阵列同时投射相同的图像内容来调整显示图像的亮度,其中仅从一个像素阵列1012、1014、1016投射的光产生亮度相对低的图像,从所有像素阵列1012、1014、1016投射的光为显示系统1000产生可能最亮的图像。
应当理解,全色像素阵列可以在与单个显示像素相对应的组分颜色像素之间具有空间偏移。例如,对于RGB阵列,红色、绿色、蓝色的单色像素可以是采取垂直列的阵列;即,一列具有红色像素,第二列具有绿色像素,以及第三列具有蓝色像素。因此,与多个单色像素阵列彼此邻近定位的实施例类似,可使用时序调制来补偿不同的对应组分颜色像素之间的空间偏移。例如,不同组分颜色的光像素的发射可以与扫描反射式元件1030的取向同步,以使得每种颜色的对应像素被反射,导致这些对应像素在光接收区域1040中空间重叠,从而允许三种组分颜色像素形成单个全色显示像素。
继续参考图10,光学透镜结构1020被配置为从像素阵列1012、1014和/或1016接收光并且适当地聚焦该光以最终在观看者的眼睛中提供聚焦图像。应当理解,光学透镜结构1020可以包括一个或多个光学结构或透镜以实现期望的光聚焦。
使用扫描反射式元件1030将光学透镜结构1020输出的光路由到光接收区域1040。在一些实施例中,扫描反射式元件1030包括固定到致动器1034的反射镜1032或其它反射表面。作为示例,致动器1034可以是MEMS设备、压电振荡器、基于MEMS的压电振荡器等。致动器1034优选地被配置为围绕平行于反射镜1032的平面的轴以周期性运动的方式移动反射镜1032,以使得反射镜以规则的间隔呈现特定的位置或取向。例如,致动器1034可以旋转或环转反射镜1032。扫描反射式元件1030被定位以使得来自光投射系统1010的光从光学透镜结构1020传播并且入射在反射镜1032上。
在一些实施例中,光学透镜结构1020将光会聚到反射镜1032上,反射镜1032可以在大约会聚光学透镜结构1020的焦距处与光学透镜结构1020间隔开,以使得可以使用相对小的反射镜1032来反射由光投射系统1010投射的整个图像。在一些实施例中,光从反射镜1032镜面反射并发散,直到入射在光接收区域1040上。在一些实施例中,反射镜1032可以位于除了会聚光学透镜结构1020的焦距之外的距离处。尽管将反射镜1032放置在大约焦距处可能会产生有利的小反射镜1032,但在会聚光学透镜结构1020和光接收区域1040之间的其它位置处仍然可以实现有用的小反射镜尺寸。
投射到中继光学器件光接收区域1040上的光包括像素1042的列或行1043。像素1042与每个像素阵列1012、1014、1016的列像素相对应。MEMS设备1034扫描反射镜1032使像素1042的投射列的位置跨光接收区域1040横向移动。可以选择MEMS设备1034的运动范围,以使得MEMS设备1034的第一位置使反射镜1032在光接收区域1040的第一端反射列像素1042,而MEMS设备1034的第二位置使反射镜1032在光接收区域1040的相反端反射另一列像素(未示出)。应当理解,光接收区域1040的尺寸被设计为包含显示系统1000的所需视场。在一些实施例中,反射镜1032可以通过适当地限制或扩大其运动范围来修改可用视场和/或像素阵列1012、1014、1016可以与反射镜1032的运动同步,以使得投射光在更大或更小的总面积的光接收区域1040上延伸。
由像素阵列1012、1014、1016的每个像素发射的光可被控制以基于反射镜1032的瞬时位置,快速脉冲接通和关断并刷新。在一些实施例中,扫描反射式元件1030的单次扫描可以允许跨基本整个光接收区域1040投射完整图像。然而,单次扫描仅用来自像素阵列的单个列像素的像素填充光接收区域1040。如本文进一步讨论的,像素阵列优选地包括至少一个附加的偏移列像素,其可用于提供增加的有效像素分辨率。因此,优选地,扫描反射式元件1030跨光接收区域1040的至少第二次扫描用于进一步用来自偏移列像素的附加像素填充光接收区域。因此,扫描反射式元件1030的一次扫描呈现来自像素阵列的一列的像素,并且扫描反射式元件1030的附加扫描呈现来自像素阵列的另一偏移列像素的像素。优选地,扫描反射式元件1030跨光接收区域1040扫描,并以大于闪烁融合阈值的速率呈现来自所有列像素的像素,以使得观看者将所有呈现的像素感知为同时呈现。在各种实施例中,扫描反射式元件1030的扫描频率(例如,刷新率或频率)可以相对较快,例如在100Hz到1k Hz、200Hz到800Hz等的范围内。在一个示例中,扫描频率可能约为450Hz。
现在参考图11A,示出了增强的一维像素阵列的一部分的示例。作为示例,所示部分可以是图10的圆圈11A内的像素阵列1112的一部分。如图所示,像素阵列1112可以包括像素11501的第一列11561和像素11502的第二列11562。在全像素阵列1112内,列11561和11562可包括数十、数百、数千或更多像素。例如,在一些实施例中,每一列11561、11562可包括500、1000、1500、2000、2500、3000或更多个像素11501、11502或它们之间的任何数量。列11561和11562被水平像素间距Px隔开。在一些实施例中,如本文所公开的,像素可以是单独的LED。在每一列11561、11562内,邻近像素11501、11502被垂直像素间距Py隔开。Px和Py取决于像素阵列内各个像素的物理尺寸以及制造工艺形成紧密靠近的像素的能力。应当理解,制造约束可以限制像素可间隔多近,例如Px或Py可以有多小。当通过扫描反射式元件实现以产生2D图像时,每个像素输出与显示图像的第一维度的固定位置以及显示图像的第二维度的时变位置相对应的光;也就是说,每个像素可以针对显示图像中沿着不同分辨率线的同一位置输出图像信息,而线分辨率的位置取决于由像素输出的光和扫描反射式元件时变位置的同步。
图11B和图11C示出了用于使用图11A的增强的一维像素阵列和扫描反射式元件来显示高分辨率二维图像的示例方法。如图11B所示,在一种示例显示方法中,列11562的像素11502(图11A)可以输出脉冲图像光,同时所显示的列位置向右扫描以形成显示像素11422。列11561的像素11501可以输出脉冲图像光,同时所显示的列位置向左扫描以形成显示像素11421。因此,组合的向右和向左扫描在中继光学器件光接收区域1140上形成高分辨率图像,其中,来自向右和向左扫描的组合像素具有有效垂直像素间距Py,eff。在每一列的垂直像素间距Py受各个LED元件的物理尺寸限制的实施例中,图11B和图11C的投射方法因此可以允许小于由2D阵列或具有扫描反射式元件的单列1D阵列提供的间距的有效像素间距Py,eff。如本文所述,尽管在一些实施例中,在任何特定时间仅投射单个像素列,但是形成图像的所有像素(例如,跨光接收区域1140的所有像素)优选地在观看者的闪烁融合阈值内被投射到光接收区域1140上,以使得观看者将所有像素感知为同时存在。应当理解,光接收区域1140可以与图10的光接收区域1040相对应,并且显示像素11421、11422可以与图10的像素1042相对应。
在图11B至图11C所示的扫描方法中,有效水平像素间距Px,eff可以由像素11501、11502的脉冲频率确定。例如,列像素11561可以以特定速率被脉冲接通和关断以将像素投射到扫描反射式元件1030(图10)。当接通时,像素列11561向光接收区域1140提供单行垂直分辨率11431。类似地,像素列11562向光接收区域1140提供单行垂直分辨率11432。分辨率11431、11432的非重叠线的间距分别定义了像素11421和11422的水平间距(像素间距Px,eff)。例如,由于扫描反射式元件1030遍历(traverse)的距离随着时间增加,并且由于分辨率11431的线的放置取决于扫描反射式元件1030的取向,因此,像素列11561被脉冲得越快,垂直分辨率11431的线间隔得越近。相反,通过允许扫描反射式元件1030在显示不同的非重叠分辨率线之间遍历更大的距离,以较低速率脉冲像素列11561将增加分辨率11431的垂直线之间的水平间距。有利地,控制像素列11561和11502的脉冲频率提供了用于改变沿着水平轴显示的图像的分辨率的简单方案。在一些实施例中,像素列11561和11502的脉冲频率可以动态地调制,例如,在显示单个图像的同时调制,以促进图像的注视点呈现。例如,与观看者视场中心相对应的分辨率线的脉冲频率可能较高,而与视场边缘相对应的分辨率线的脉冲频率可能较低。
尽管图11A至图11C的示例是参考像素阵列的列被顺序激活的实施例来描述的,但是在一些其它实施例中,像素阵列的两个或更多个列可以同时投射光。因为对于扫描镜的任何特定位置,列11561、11562将光投射到沿着扫描方向的稍微不同的位置,所以列11561、11562可以同时针对不同的x维坐标对应地投射光。在一些实施例中,两列同时投射的显示像素11421、11422沿扫描方向的位移可以等于Px
现在参考图12A,示出了示例像素元素1250。像素元素1250可以形成像素阵列的一部分。像素元素1250例如可以是发射像素,诸如LED、OLED等。像素元素1250包括基板1252和发光表面1254。在一些实施例中,发光表面1254可以被理解为像素。例如,发光表面1254可以与像素11501、11502中的各个像素(图11A)相对应。应当理解,诸如光刻或其它图案化和处理限制之类的制造限制可能会限制相邻发光表面1254间隔的多近。因此,可能存在围绕发光表面1254的区域,在该区域内形成其它发光表面1254是不切实际的。因此,示例像素元素1250通常由基板尺寸ys和小于ys的发光表面尺寸ye限定。如本文所述,根据各种实施例的显示系统可提供小于通过制造容易实现的有效像素间距。
像素元素1250中的重复像素元素可以形成像素阵列。图12B示出了包括偏移列像素的示例增强的1D像素阵列1212的一部分。示例增强的1D像素阵列1212包括分别与像素元素1250(图12B)相对应的像素元素12501、12502、12503(分别)的三列12561、12562、12563。应当理解,垂直虚线指示每一列12561、12562、12563的纵轴。另外,如水平虚线所示,每个像素元件12501、12502、12503的发光表面在光接收区域1240上形成一行显示像素1242。因此,在任何给定时间从特定像素12501、12502、12503投射的显示像素1242的(x,y)位置具有由像素阵列1212内的像素12501、12502、12503的固定y坐标确定的y坐标。显示像素1242还具有由扫描反射式元件的位置和相应列12561、12562、12563的脉冲时序的组合确定的x坐标。
如图12B的示例所示,增强的1D阵列1212中偏移列数的增加可导致更小的有效y维像素间距Py,eff并且可以因此提供更高可能的显示分辨率。例如,具有三个偏移列的阵列1212可以允许有效像素间距Py,eff,该有效像素间距Py,eff相对于Py减小了3倍,其中Py是单个列12561、12562、12563的像素间距。在一些实施例中,阵列1212内可以包括三个以上的列以提供甚至更小的像素间距。例如,具有五个其它方面相似的偏移列的像素阵列(每个偏移列具有物理像素间距Py)可以提供等于物理像素间距Py的20%的有效y维像素间距Py,eff
类似于图11A至图11C的示例显示系统,列12561、12562、12563被优选地按顺序脉冲接通和关断。在一些实施例中,如本文所述,列12561、12562、12563中的一者或多者可被同时脉冲接通。例如,在一些实施例中,列12561、12562、12563中的两列可以被脉冲接通以同时发光。在另一示例中,四列增强的一维像素阵列可以同时从所有四个列投射光,和/或可以一次从一个列投射光或从交替的成对的列投射光。由于用一些扫描反射式元件可实现相对高的扫描速率,因此可以使用多种这样的阵列控制方案。
图13A示出了使用增强的1D像素阵列1312的注视点渲染的示例。像素阵列1312可以对应于图12B的像素阵列1212。通常,注视点渲染包括基于跟踪观看者的眼睛注视方向跨图像以可变分辨率显示图像,其中,观看者注视中心附近的分辨率相对较高,而远离观看者注视中心的图像区域中的分辨率相对较低。在一些实施例中,注视点可以通过减少显示器投射的光量和/或通过减少生成图像所需的处理能力来减少能量消耗。
如图13A所示,各种实施例可以结合注视点。图13A示出了投射在光接收区域1340上的示例注视点图像。光接收区域1340可以对应于光接收区域1040、1140、1240(分别在图10、图11B至图11C和图12B中)。浅色“可用”像素13421对应于可用于提供图像光的像素,而暗色“不可用”像素13420对应于在扫描镜扫描期间不可用于提供图像光的像素。在观看者注视点1302(观看者注视聚焦的地方)周围的区域,所有像素都可用于输出图像光以在该区域提供高分辨率图像内容。对于图像的其余部分,少部分像素可用。因此,在这些剩余部分中提供了分辨率相对低的图像内容。在图13A的示例注视点图像中,大约三分之一的像素可用于在远离注视点1302的区域中提供图像信息。图13A的示例三列增强的1D阵列1312示出了将被用于形成分辨率线1344的“可用”像素13501和“不可用”像素13502的示例配置。在一些其它实施例中,不是使一些像素不可用于降低分辨率,而是为了降低分辨率,将一些像素配置为副本。这些副本同时显示相同的图像信息。因此,可以通过使列13561、13562、13563中的一些像素不可用和/或通过从多个像素输出相同的图像信息来增加像素的有效尺寸来减少给定分辨率线1344中的像素数量。
现在参考图13B,在一些实施例中,像素阵列可以利用多个像素列来形成给定的投射像素。这样可以具有例如通过增加输出给观看者的像素的最大亮度来增加显示系统的动态范围的优势。图13B的增强的1D像素阵列1312包括翻倍的像素列13561、13562、13563;也就是说,每个像素列13561、13562、13563分别具有相同的相似(twin column)13561,t、13562,t、13563,t。给定的像素列及其相似列被配置为在不同时间脉冲接通并与扫描反射式元件1030(图10)的移动同步,以使得它们将像素投射到光接收区域1340中的相同位置上。因此,对于投射到光接收区域1340上的给定像素,可以提供两倍的光量,从而增加像素的最大亮度。
有利地,在用于显示像素的像素阵列1312中包括两个或更多个相似的像素列允许更宽范围的亮度水平。在显示像素13420、1342d、1342b的示例列中,显示像素13420是“关断”像素,对于这些像素,增强的ID阵列1312的两个对应像素都不投射光,显示像素1342d是“暗”像素,对于这些像素,增强的1D阵列1312输出比最大水平更小的光,并且显示像素1342b是“亮”像素,对于这些像素,增强的1D阵列1312的两个对应像素输出光。在一些实施例中,不是使像素列的两个对应像素输出相似水平的光,而是对应的像素可以输出不同水平的光。例如,列13561中的像素可被配置为输出光,而相似列13561,t中的相似像素可被配置为输出不同水平的光,从而在光接收区域1340上形成具有中等水平亮度的对应像素。在一些实施例中,这样可以提高对亮度水平的控制和/或允许补偿由特定像素输出的光量的不均匀性。
因此,双列对13561/13561,t、13562/13562,t、13563/13563,t内的每对邻近像素对应于单行显示像素。在一些实施例中,一对邻近的像素可以将光投射到扫描镜的交替扫描上。应当理解,尽管每个双列对中的列被示为彼此直接邻近,但在一些实施例中,可以在双列之间提供居间列。
本文描述了本发明的各种示例实施例。以非限制性的意义参考这些示例。提供这些实施例是为了说明本发明更广泛适用的方面。在不脱离本发明的精神和范围的情况下,可以对所描述的本发明进行各种改变并且可以替换成等同物。
例如,尽管有利地与跨多个深度平面提供图像的AR显示器一起使用,但是本文公开的增强现实内容也可以由在单个深度平面上提供图像的系统来显示。此外,尽管像素阵列和扫描反射式元件在图中被定向为提供垂直分辨率线,但是应当理解,像素阵列和扫描反射式元件也可被配置为提供水平分辨率线。例如,像素阵列和扫描有效元件可以旋转90°并被适当地提供图像内容以提供图像的水平分辨率线。在这种情况下,像素阵列中水平像素行的脉冲频率决定了像素的垂直间距。因此,显示图像可以使用图像的从右到左或从左到右的垂直延伸像素线来绘制,或者使用图像的从顶部到底部或从底部到顶部的水平延伸像素线来绘制。具有水平延伸像素线的配置在典型的视频管线(例如,显示端口、MIPI等,其中视频数据可以按水平线地发送)中可能是有利的。
此外,可以进行许多修改以使特定情况、材料、物质组成、过程、过程动作或一个或多个步骤适应本发明的一个或多个目的、精神或范围。此外,如本领域技术人员将理解的,本文描述和示出的每个单独的变型具有分立的部件和特征,其可以容易地与任何其它几个实施例的特征分离或组合,而不脱离本发明的范围或精神。所有这些修改旨在落入与本公开相关的权利要求的范围内。
本发明包括可以使用主题设备执行的方法。该方法可以包括提供这种合适设备的行为。这种提供可以由用户执行。换言之,“提供”动作仅需要用户获得、访问、接近、定位、设置、激活、加电或执行其它动作以在主题方法中提供必需的设备。本文所述的方法可以以在逻辑上可能的所述事件的任何顺序实施,也可以以所述的事件顺序进行。
本发明的示例方面以及关于材料选择和制造的细节已经在上文中阐述。至于本发明的其它细节,这些可以结合上面引用的专利和公开以及本领域技术人员公知或领会的来领会。关于本发明的基于方法的方面,就通常或逻辑上采用的附加动作而言,这同样适用。
此外,尽管本发明已经参考可选地结合各种特征的几个示例进行了描述,但是本发明不限于关于本发明的每个变体所构想的描述或指示的内容。在不背离本发明的精神和范围的情况下,可以对所描述的本发明进行各种改变并且可以替换成等同物(无论是在本文中引用还是为了某种简洁而未包括在内)。此外,在提供值范围的情况下,应当理解,在该范围的上限和下限之间的每个中间值,以及该所述范围内的任何其它所述的值或中间值都包含在本发明内。
此外,可以构想,所描述的发明变体的任何可选特征可以独立地,或者与本文描述的任何一个或多个特征组合地阐述和要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地,如本文和与其相关的权利要求中所使用的,单数形式“一”、“一个”、“所述”和“该”包括复数所指对象,除非另有具体说明。换言之,制品的使用允许与本公开相关联的上述描述以及权利要求中的主题项目的“至少一个”。还应注意,可以起草此类权利要求以排除任何可选元素。因此,本声明旨在作为结合权利要求要素的叙述使用诸如“仅”、“只有”等之类的排他性术语的使用,或“否定”限制的使用的先行基础。
在不使用这些排他性术语的情况下,与本公开相关联的权利要求中的术语“包括”应允许包含任何附加要素,无论这些权利要求中是否列举了给定数量的要素,或者特征的添加可被视为正在改变在此类权利要求中阐述的要素的性质。除非在本文中有明确定义,否则本文中使用的所有技术和科学术语都应尽可能具有普遍理解的含义,同时保持权利要求的有效性。

Claims (20)

1.一种显示系统,包括:
像素阵列,其包括第一列像素和第二列像素;
中继光学器件,其被配置为接收入射光并将所述入射光输出给观看者;以及
扫描镜,其被设置为接收来自所述第一列像素和所述第二列像素的光,并将所接收的光朝着所述中继光学器件反射,
其中,所述扫描镜被配置为在包括第一位置和第二位置的多个位置之间移动,所述第一位置被定向为使得所述扫描镜将来自所述第一列像素的光反射到所述中继光学器件上作为第一一维像素阵列,所述第二位置被定向为使得所述扫描镜将从所述第二列像素接收的光反射到所述中继光学器件上作为第二一维像素阵列,
其中,所述第一一维像素阵列和所述第二一维像素阵列的位置定义所述中继光学器件上的在空间上重叠的线。
2.根据权利要求1所述的显示系统,其中,所述第一列像素和第二列像素中的像素具有列间距,其中,所述中继光学器件上的对应像素线的有效间距小于所述列间距。
3.根据权利要求2所述的显示系统,其中,所述有效间距小于所述列间距的一半。
4.根据权利要求1所述的显示系统,其中,所述像素阵列是包括发射像素的阵列的发射像素阵列。
5.根据权利要求4所述的显示系统,其中,所述发射像素包括发光二极管(LED)。
6.根据权利要求5所述的显示系统,其中,所述发射像素具有20μm或更小的间距。
7.根据权利要求1所述的显示系统,其中,所述第一列像素和所述第二列像素具有平行的纵向维度,其中,所述第二列像素中的像素沿着所述纵向维度相对于所述第一列像素中的像素偏移。
8.根据权利要求7所述的显示系统,其中,所述第一列像素中的像素被配置为在所述扫描镜从所述第一位置移动到所述第二位置时发光,以及其中,所述第二列像素中的像素被配置为在所述扫描镜从所述第二位置移动到所述第一位置时发光。
9.根据权利要求7所述的显示系统,其中,所述像素阵列还至少包括第三列像素,所述第三列沿着所述纵向维度延伸,其中,所述第三列平行于所述第一列和所述第二列,并且所述第三列中的像素沿着所述纵向维度相对于所述第一列和所述第二列中的像素偏移。
10.根据权利要求9所述的显示系统,其中,所述第一列、所述第二列、和所述第三列被配置为在所述扫描镜移动期间以时间上间隔的脉冲来发射光。
11.根据权利要求1所述的显示系统,其中,所述像素阵列被配置为取决于所述扫描镜的取向,提供与不同总数的像素相对应的图像信息,以使得有效像素密度在所述中继光学器件上变化。
12.根据权利要求1所述的显示系统,其中,所述第一列像素和所述第二列像素中的每一列像素沿着该列的长度与具有相同像素间距和相同像素位置的对应相似列构成二元组。
13.根据权利要求1所述的显示系统,其中,所述中继光学器件包括波导,所述波导包括:
耦入光学元件,其被配置为接收从所述扫描镜反射的光,并且重定向所接收的光以通过全内反射在所述波导内传播;以及
耦出光学元件,其被配置为耦出通过全内反射在所述波导内传播的光。
14.根据权利要求13所述的显示系统,其中,所述中继光学器件包括波导堆叠,每个波导包括耦入光学元件和耦出光学元件。
15.根据权利要求1所述的显示系统,其中,所述像素阵列是透射式像素阵列。
16.一种光学装置,包括:
像素阵列,其包括:
第一列像素,其沿着所述第一列的纵向维度具有第一像素间距;以及
第二列像素,其沿着所述第二列的纵向维度具有所述第一像素间距,
其中,所述第一列的纵向维度沿着所述第二列的纵向维度延伸,以及其中,所述第二列中的像素沿着所述纵向维度相对于所述第一列中的像素偏移。
17.根据权利要求16所述的光学装置,还包括扫描镜,其被设置为接收来自所述第一列像素和所述第二列像素的光,并将所接收的光朝着中继光学器件反射,所述中继光学器件被配置为将所接收的光引导到观看者。
18.根据权利要求16所述的光学装置,其被配置为通过提供来自比所述第一列和所述第二列中的所有像素更少的像素的独特图像信息来修改有效像素密度。
19.根据权利要求16所述的光学装置,其中,所述第一列像素和所述第二列像素中的每一列像素沿着该列的长度与具有相同像素间距和相同像素位置的对应相似列构成二元组。
20.根据权利要求16所述的光学装置,其中,所述第一列和所述第二列中的像素具有相同的尺寸和形状。
CN202080025539.6A 2019-02-01 2020-01-27 具有一维像素阵列和扫描镜的显示系统 Pending CN113647085A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962800140P 2019-02-01 2019-02-01
US62/800,140 2019-02-01
PCT/US2020/015243 WO2020159883A1 (en) 2019-02-01 2020-01-27 Display system having 1-dimensional pixel array with scanning mirror

Publications (1)

Publication Number Publication Date
CN113647085A true CN113647085A (zh) 2021-11-12

Family

ID=71840095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080025539.6A Pending CN113647085A (zh) 2019-02-01 2020-01-27 具有一维像素阵列和扫描镜的显示系统

Country Status (5)

Country Link
US (1) US20220121027A1 (zh)
EP (1) EP3918781B1 (zh)
JP (2) JP7453979B2 (zh)
CN (1) CN113647085A (zh)
WO (1) WO2020159883A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345862A (zh) * 2022-08-23 2022-11-15 成都智元汇信息技术股份有限公司 基于列数据的仿x光机扫描成像的方法及装置和显示器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2149565C (en) * 1994-06-17 2000-02-01 David A. Ansley A color helmet mountable display
JPH10254370A (ja) * 1997-03-10 1998-09-25 Canon Inc 表示パネル及びそれを用いた投射型表示装置
KR101096908B1 (ko) * 2004-05-06 2011-12-22 톰슨 라이센싱 최소 노이즈를 갖는 픽셀 시프트 디스플레이
KR20100009977A (ko) * 2008-07-21 2010-01-29 삼성전기주식회사 스페클 노이즈를 감소시키는 프로젝션 디스플레이 장치
GB2498179A (en) * 2011-12-23 2013-07-10 Prp Optoelectronics Ltd Projection display system
US9488837B2 (en) * 2013-06-28 2016-11-08 Microsoft Technology Licensing, Llc Near eye display
CN104597609A (zh) * 2015-02-06 2015-05-06 京东方科技集团股份有限公司 像素阵列、显示装置以及显示方法
TWI554808B (zh) * 2015-04-13 2016-10-21 友達光電股份有限公司 液晶顯示面板及液晶顯示器
US9891436B2 (en) * 2016-02-11 2018-02-13 Microsoft Technology Licensing, Llc Waveguide-based displays with anti-reflective and highly-reflective coating
CN109891298B (zh) * 2016-08-22 2021-07-27 奇跃公司 多层衍射目镜
US10951867B2 (en) * 2017-07-12 2021-03-16 Facebook Technologies, Llc Light emitter architecture for scanning display device
US10690922B2 (en) * 2018-04-13 2020-06-23 Facebook Technologies, Llc Super-resolution scanning display for near-eye displays

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345862A (zh) * 2022-08-23 2022-11-15 成都智元汇信息技术股份有限公司 基于列数据的仿x光机扫描成像的方法及装置和显示器
CN115345862B (zh) * 2022-08-23 2023-03-10 成都智元汇信息技术股份有限公司 基于列数据的仿x光机扫描成像的方法及装置和显示器

Also Published As

Publication number Publication date
JP7453979B2 (ja) 2024-03-21
EP3918781B1 (en) 2024-07-31
JP2024045723A (ja) 2024-04-02
EP3918781A1 (en) 2021-12-08
WO2020159883A1 (en) 2020-08-06
JP2022524283A (ja) 2022-05-02
EP3918781A4 (en) 2023-02-08
US20220121027A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
JP7540022B2 (ja) 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ
US12055722B2 (en) Variable pixel density display system with mechanically-actuated image projector
JP7273940B2 (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
US20230251492A1 (en) Depth based foveated rendering for display systems
JP6923552B2 (ja) 可変焦点レンズ要素を用いた拡張現実システムおよび方法
CN110651216B (zh) 低轮廓分束器
JP7544920B2 (ja) 低遅延瞳孔トラッカーを伴うディスプレイシステム
JP2022516256A (ja) 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム
CN116194821A (zh) 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统
JP2023529606A (ja) 画像のニューラルネットワーク分析に基づいて向上された眼追跡技法
JP2024045723A (ja) 走査ミラーを伴う1次元ピクセルアレイを有するディスプレイシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination