CN112585523B - 具有通量校准的显示设备 - Google Patents

具有通量校准的显示设备 Download PDF

Info

Publication number
CN112585523B
CN112585523B CN201980054464.1A CN201980054464A CN112585523B CN 112585523 B CN112585523 B CN 112585523B CN 201980054464 A CN201980054464 A CN 201980054464A CN 112585523 B CN112585523 B CN 112585523B
Authority
CN
China
Prior art keywords
eye
pupil
image
color
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980054464.1A
Other languages
English (en)
Other versions
CN112585523A (zh
Inventor
付一劲
帕西·萨里科
李熙允
迟万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN112585523A publication Critical patent/CN112585523A/zh
Application granted granted Critical
Publication of CN112585523B publication Critical patent/CN112585523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0036—2-D arrangement of prisms, protrusions, indentations or roughened surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/27—Optical coupling means with polarisation selective and adjusting means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)

Abstract

提供了可穿戴显示设备和用于可穿戴显示设备的校准方法。可穿戴显示设备或其部件可以展示依赖于视窗处的光束角度或光束坐标的光学通量。当生成待显示的图像时，通量的线性或角度依赖性可以被考虑，以在可穿戴显示器的操作期间减少或抵消这些依赖性。

Description

具有通量校准的显示设备
技术领域
本公开涉及视觉显示器和显示系统，且特别是涉及可穿戴显示器、显示系统及其方法。
背景
头戴式显示器(HMD)用于向用户提供虚拟场景，或者用附加信息或虚拟对象来增强真实场景。虚拟或增强场景可以是三维(3D)的，以增强体验并使虚拟对象与由用户观察到的真实3D场景匹配。在一些HMD系统中，用户的头部和/或眼睛位置和定向被跟踪，以及所显示的场景根据用户的头部定向和凝视方向被动态地调整，以提供进入模拟或增强的3D环境内的沉浸式体验。
减小头戴式显示器的尺寸和重量是合乎需要的。重量轻的和紧凑的近眼显示器减小了对用户的头部和颈部的压力，且佩戴起来通常是更舒适的。时常地，可穿戴显示器的光学块是显示器的最大和最重的模块，特别是当光学块包括例如折射型透镜和立方体分束器的大块光学器件时。紧凑的平面光学部件例如波导、光栅、菲涅耳透镜等有时用于减小光学块的尺寸和重量。然而，紧凑的平面光学器件倾向于有变形、不均匀、重影、残余着色和其他缺点，这阻碍了它们在可穿戴光学显示系统中的使用。
附图简述
现在将结合附图描述示例性实施例，其中：
图1是根据本公开的近眼显示器(NED)的示意图；
图2A是波导光瞳扩展器(pupil expander)的侧横截面视图；
图2B是图2A的波导光瞳扩展器的平面图，其示出光束的多条路径；
图3是2D波导光瞳扩展器原型的光功率密度的二维(2D)角分布；
图4A至图4E是2D波导光瞳扩展器原型在不同位置处的通量(throughput)的2D角分布；
图5是图4A到图4E的2D波导光瞳扩展器原型的示意性平面图；
图6是根据本公开的实施例的NED设备的示意性顶视图；
图7是图1和图6的NED的校准装置的示意性顶视图；
图8是图1和图6的NED的校准方法的流程图；
图9A是合并本公开的NED的眼镜形状因子(form factor)近眼AR/VR显示器的等距视图；
图9B是图9A的显示器的侧横截面视图；以及
图10是合并本公开的NED的头戴式显示器(HMD)的等距视图。
详细描述
虽然结合各种实施例和示例描述了当前教导，但是意图并不是当前教导被限制到这样的实施例。相反，当前教导包括各种备选方案和等同物，正如本领域中的技术人员将认识到的。叙述本公开的原理、方面和实施例的所有陈述以及其特定示例意欲包括其结构和功能等同物两者。另外，意图是这样的等同物包括当前已知的等同物以及将来开发的等同物两者，即，执行相同功能的所开发的任何要素，而不考虑结构。
如在本文所使用的，除非明确规定，否则术语“第一”、“第二”等并不意欲暗示顺序次序，而是更确切地意欲将一个要素与另一个要素区分开。类似地，除非明确规定，否则方法步骤的顺序次序并不暗示它们执行的顺序次序。在图1和图6中，相似的参考数字指代相似的元件。
基于投影仪的可穿戴显示器的光学块可以包括器件(device)，例如用于朝着显示器的视窗(eyebox)传送由投影仪产生的在角域中的图像(image in angular domain)的波导。器件可以具有角度相关(angle-dependent)通量，对于基于波导的光瞳扩展器，该通量也可以依赖于在视窗处的光束的坐标。此外，通量的光束角度和坐标依赖性可以是颜色通道特定的，导致所显示的图像的不希望有的着色。根据本公开，校准过程可以应用于局部地修改、即预加强或减弱在图像的颜色通道中的光功率密度分布，以减少或抵消(offset)不希望有的着色。可根据在视窗处的眼睛瞳孔位置来做出所应用的校准。眼睛瞳孔位置可以由眼睛跟踪系统实时地确定。
根据本公开，提供了一种近眼显示器(NED)，其包括用于提供包括通道的图像光的图像投影仪、波导光瞳扩展器和控制器。波导光瞳扩展器耦合到图像投影仪，用于将图像光分程传递到NED的视窗。波导光瞳扩展器的通量依赖于视窗处的光束角度。控制器可操作地耦合到图像投影仪，并被配置成调整图像光的通道的光功率密度的分布，以至少部分地抵消波导光瞳扩展器的通量对光束角度的依赖性。通量可以依赖于视窗处的光束坐标，并且NED还可以包括用于提供用户的眼睛在视窗处的位置或定向中的至少一个的眼睛跟踪系统。控制器可以可操作地耦合到眼睛跟踪系统，并被配置为根据由眼睛跟踪系统确定的用户的眼睛的位置或定向中的至少一个来调整通道的光功率密度的分布，以至少部分地抵消通量对视窗处的光束坐标的依赖性。控制器可以被配置成使用用户的眼睛的位置或定向中的至少一个来确定用户的眼睛在视窗处的瞳孔位置。通道可以包括颜色通道或亮度通道中的至少一个。
当图像光包括不是一个而是多个颜色通道时，波导光瞳扩展器的通量对于每个颜色通道可以具有角度依赖性，由此，波导光瞳扩展器可以具有角度相关颜色传递函数变化。在这样的实施例中，控制器可以被配置成调整多个颜色通道中的至少一个的光功率密度的分布，以至少部分地抵消波导光瞳扩展器的角度相关颜色传递函数变化。可以提供用于确定用户的眼睛在视窗处的位置或定向中的至少一个的眼睛跟踪系统，并且控制器可以可操作地耦合到眼睛跟踪系统，并且被配置为根据由眼睛跟踪系统确定的用户的眼睛的位置或定向中的至少一个来调整多个颜色通道中的至少一个的光功率密度的分布。
在NED包括眼睛跟踪系统并且波导光瞳扩展器具有依赖于瞳孔位置的颜色传递函数的实施例中，控制器可以可操作地耦合到眼睛跟踪系统，并且被配置成获得将由NED显示的图像并且修改图像的颜色分布，以至少部分地抵消波导光瞳扩展器的颜色传递函数对由眼睛跟踪系统确定的瞳孔位置的依赖性。NED还可以包括存储器，其上存储有用于修改视窗处的每个瞳孔位置处的图像的颜色分布的数据。控制器可以可操作地耦合到存储器，用于取回对应于由眼睛跟踪系统确定的瞳孔位置的数据的至少一部分，以用于修改图像的颜色分布以至少部分地抵消颜色传递函数对瞳孔位置的依赖性。例如，数据可以包括查找表。波导光瞳扩展器可以包括一维(1D)或二维(2D)波导光瞳扩展器。
根据本公开的方面，还提供了一种包括电子显示器、光学块和控制器的显示设备。电子显示器可以包括多个像素，用于根据由电子显示器接收的图像数据提供多个光束。光学块可以被配置为接收多个光束并将多个光束提供到显示设备的视窗，使得多个光束中的第一光束在视窗处的角度对应于电子显示器的多个像素中的相应的第一像素的坐标，其中光学块对第一光束的通量依赖于第一光束在视窗处的光束角度。控制器可以可操作地耦合到电子显示器，并且被配置为修改图像数据，以便至少部分地抵消通量对光束角度的依赖性。
在通量进一步依赖于第一光束在视窗处的光束坐标的实施例中，显示设备还可以包括用于确定用户的眼睛在视窗处的位置和定向中的至少一个的眼睛跟踪系统。控制器可以可操作地耦合到眼睛跟踪系统，并且被配置为更新图像数据，以便通过考虑由眼睛跟踪系统确定的用户的眼睛的位置和定向中的至少一个来至少部分地抵消通量对第一光束的坐标和角度的依赖性。电子显示器可以包括多个颜色通道，其中光学块的通量对于每个颜色通道具有对第一光束的坐标和角度的依赖性。控制器可以被配置为在每颜色通道基础上更新图像数据，以通过考虑由眼睛跟踪系统确定的用户的眼睛的位置和定向中的至少一个来针对每个颜色通道至少部分地抵消光学块的通量对第一光束的坐标和角度的依赖性。光学块可以包括波导光瞳扩展器。
根据本公开的另一方面，进一步提供了一种校准光瞳扩展器的方法。该方法可以包括：在光瞳扩展器的输入光瞳处提供图像光，图像光包括通道；在光瞳扩展器的输出光瞳处的第一位置处获得通道的光功率密度的角分布；以及根据所获得的角分布确定光瞳扩展器的通量的角度依赖性。该方法还可以包括，确定在第一位置处的通量的角度依赖性包括将摄像机放置在第一位置处并用摄像机获得第一图像。该方法还可以包括确定光瞳扩展器在包括第一位置的多个位置处的通量的角度依赖性。确定在多个位置处的通量的角度依赖性可以包括在每个位置处放置摄像机并利用摄像机获得相应的图像。通道可以包括颜色通道或亮度通道中的至少一个。
现在参考图1，近眼显示器(NED)100包括用于提供图像光104的图像投影仪102。光瞳扩展器106、即在本例中的波导光瞳扩展器光学地耦合到图像投影仪102，用于将图像光104分程传递到NED 100的视窗108。控制器110可操作地耦合到图像投影仪102。控制器可以被配置为向图像投影仪102提供图像。图像光104可以包括在角域中的图像，其中图像光104的光束105的不同角度对应于待显示的图像中的像素的不同坐标。通常，图像光104可以包括至少一个通道，即亮度通道和/或至少一个颜色通道。一般，为了全色显示提供三个颜色通道。每个通道对应于要由图像投影仪102显示的图像的特定颜色分量。
光瞳扩展器106可以包括具有输入耦合(in-coupling)衍射光栅181、输出耦合(out-coupling)衍射光栅182和光瞳扩展衍射光栅183的波导175。输入耦合衍射光栅181接收图像光104，图像光104然后在波导175中以之字形图案传播，在光瞳扩展衍射光栅183和输出耦合衍射光栅182上依次衍射。在输出耦合衍射光栅182上的每次衍射时，图像光104的一部分如所示离开波导175，从而扩展NED 100的输出光瞳、即视窗108。
多次反射可以使光瞳扩展器106具有通量的角度依赖性。换句话说，由光瞳扩展器106传送到视窗108的光束的光功率的一部分可以依赖于光束在视窗108处的角度。如上面所提到的，在视窗108处的光束角度对应于在待显示的图像中的像素的坐标。因此，控制器110可以被配置为调整图像的像素值，即，调整图像光104的通道的光功率密度的分布，以至少部分地抵消光瞳扩展器106的通量对光束角度的依赖性。
光瞳扩展器106的通量可以进一步依赖于输出光束在视窗108处的坐标。对于这种情况，NED 100可以进一步使用眼睛跟踪系统112。眼睛跟踪系统112可以被配置成确定用户的眼睛114在视窗108处的位置或定向中的至少一个，用户的眼睛114的瞳孔坐标可以从该位置或定向获得。控制器110可以可操作地耦合到眼睛跟踪系统112，并被配置为根据从由眼睛跟踪系统112确定的用户的眼睛114的位置和/或定向计算的光束坐标来调整例如局部地减弱或预加强该通道或多个通道的光功率密度的分布。更特别地，用户的眼睛114在视窗108处的所确定的位置和/或定向可以用于计算用户的眼睛114的瞳孔的坐标，相应的光束坐标可以从该瞳孔的坐标获得。控制器110可以被配置为通过使用在视窗108处的所确定的瞳孔位置来至少部分地抵消光瞳扩展器106的通量的光束坐标依赖性。
参考图2A和图2B解释图1的光瞳扩展器106的通量的光束坐标和角度依赖性的起源。图2A在侧视图中示出了光瞳扩展器106。图像光104(图1)的光束105照射到输入耦合衍射光栅181(图2A)上，输入耦合衍射光栅181衍射光束105以朝着输出耦合衍射光栅182传播。在那里在第一点201处，光束105的光路分成两条(图2B)：用实线示出的第一路径211和用细虚线示出的第二路径212。用粗虚线示出的第三路径213在第二点202处分离。最后，用虚线示出的第四路径214在第三点203处分离。所有四条路径211、212、213和214在第四点204处相遇，在第四点204处光束105离开波导175。在四条路径211、212、213和214中，两条路径——第一路径211和第二路径212——具有名义上相等的路径长度；以及两条路径——第三路径213和第四路径214——具有名义上相等(尽管不同于第一路径211和第二路径212)的路径长度。因此，本质上形成了四路径干涉仪，这可以导致光瞳扩展器106的通量的波长依赖性。此外，因为路径长度和它们的差异依赖于入射角或者依赖于光束105在视窗108(在图2B中未示出)处的输出耦合衍射光栅182处的衍射角，光瞳扩展器106的通量也将依赖于光束105的角度。然而此外，因为波导175可以由于制造公差而具有轻微的楔入或波动，路径长度和它们的差异也可以依赖于光束105在输出耦合衍射光栅182处或在视窗108处的坐标。
通量的角度依赖性在图3中示出，图3示出了对于所制造的波导样品在输入光的均匀角分布下输出光的光功率密度的角分布。光功率密度被显示为2D灰度图。对应于通量的最大变化的光功率密度的最大变化为约90％或9倍。
在图4A、图4B、图4C、图4D和图4E中，波导光瞳扩展器样品的通量的角度依赖性在波导上的分别被称为“A”、“B”、“C”、“D”和“E”的五个位置处被示出。在图5中示意性地示出了位置“A”至“E”。水平轴和垂直轴分别表示以度为单位的水平和垂直输出光束角度或视角方向。在图4A到4E中的每个的左边的比例尺中示出了通量大小。我们可以看到，对于在波导上的不同位置“A”、“B”、“C”、“D”和“E”，通量角度图是不同的。控制器110(图1)可以被配置成根据用户的眼睛114的瞳孔的位置来将待显示的图像与图4A、图4B、图4C、图4D和图4E的2D通量图的倒数相乘。这样的数据可以方便地存储在存储器中例如作为查找表，其存储随用户的眼睛114的瞳孔的x和y坐标而变化的不同通量图。
待显示的图像数据可以以多种格式被存储。作为非限制性例子，亮度通道可以被提供，将亮度显示为像素亮度值的2D表。对于彩色显示器，亮度和色度表都可以被提供，色度表显示图像的每个像素的颜色。彩色图像也可以由几个颜色通道例如红色(R)、绿色(G)和蓝色(B)颜色通道的亮度图表示。这些颜色通道中的每一个可以由相应子像素亮度例如R子像素亮度、G子像素亮度和B子像素亮度的2D表来表示。可以为这些通道中的每一个提供2D图或相应的校正表，以减少由于上面所示的波导光瞳复制器(pupil replicator)的缺陷而导致的观察到的图像的颜色变化、亮度变化或颜色和亮度变化。控制器110可以被配置为调整多个R、G或B颜色通道中的至少一个或亮度通道的光功率密度的分布，以至少部分地抵消光瞳扩展器106的角度相关功率通量或颜色传递函数变化。控制器110可以进一步被配置为根据由眼睛跟踪系统112确定的用户的眼睛114的位置、定向或两者来调整R、G、B颜色通道中的至少一个或亮度通道的光功率密度的分布。对于光瞳扩展器106的性能由依赖于瞳孔位置的颜色传递函数描述的实施例，控制器110可以被配置成获得将由NED 100显示的图像，且然后修改图像的颜色分布以至少部分地抵消在由眼睛跟踪系统112确定的瞳孔位置处的、光瞳扩展器106的颜色传递函数。可以在NED100中提供存储器例如板载非易失性存储器，用于存储用于修改在视窗108处的每个瞳孔位置处的图像的颜色通道的数据。控制器110可以可操作地耦合到存储器，用于取回对应于由眼睛跟踪系统112确定的瞳孔位置的数据的至少一部分，以用于修改图像的颜色分布以至少部分地抵消光瞳扩展器106的角度相关颜色传递函数变化。
现在参考图6，本公开的显示设备600类似于图1的NED 100。图6的显示设备600包括电子显示器602，其包括多个像素，包括第一像素604和第二像素605，用于提供包括分别用实线和虚线示出的第一光束614和第二光束615的多个光束。多个光束的光功率水平与由电子显示器602从图像源例如从控制器610接收的图像数据609一致。光学块606被配置成接收多个光束并将多个光束提供到显示设备600的视窗608。电子显示器602和光学块606可以由主体620支撑。
光学块606的透镜607可用于将多个像素的坐标转换成多个光束的相应光束角度。例如，第一光束614在视窗608处的角度对应于电子显示器602的相应的第一像素604的坐标，以及第二光束615在视窗608处的角度对应于电子显示器602的相应的第二像素605的坐标。可以看到，第一光束614和第二光束615的角度对应于在用户的眼睛114的视网膜624上的坐标。以这种方式，电子显示器602的第一像素604和第二像素605的坐标对应于在用户的眼睛114的视网膜624上的位置，使用户能够看到由电子显示器602显示的图像。光学块606的通量依赖于光束在视窗608处的光束角度。例如，第一光束614和第二光束615的通量可以是不同的。通量对光束角度的依赖性可以来自例如使用基于波导的光瞳扩展器，其类似于图1的NED 100的光瞳扩展器106。例如在图6所示的实施例中，光学块606包括支撑输入耦合衍射光栅681、输出耦合衍射光栅682和光瞳扩展衍射光栅683的波导675。控制器610可操作地耦合到电子显示器602，并被配置为更新图像数据609以例如通过预加强要在低通量的区域中显示的图像、减弱在高通量的区域中的图像或两者来至少部分地抵消通量对光束角度的依赖性。
光学块606的通量可以进一步依赖于光束在视窗608处的光束坐标。显示设备600还可以包括用于确定用户的眼睛114在视窗608处的位置和定向中的至少一个的眼睛跟踪系统612。控制器610可以可操作地耦合到眼睛跟踪系统612，并被配置为更新图像数据609，以便通过考虑由眼睛跟踪系统612确定的用户的眼睛114的位置和定向中的至少一个来至少部分地抵消通量对光束的坐标和角度的依赖性。
在电子显示器602是彩色显示器的实施例中，即，当电子显示器602包括多个颜色通道时，光学块606的通量可以依赖于每个颜色通道所特定的光束的坐标和角度。在这样的实施例中，如果需要，控制器610可以被配置成在每颜色通道基础上、即对于每个颜色通道不同地更新图像数据609。图像数据609由控制器610更新，以通过考虑由眼睛跟踪系统612确定的用户的眼睛114的位置和定向中的至少一个来针对每个颜色通道至少部分地抵消光学块606的通量对光束的坐标和角度的依赖性。
图6的显示设备600和图1的NED 100就此而言可以被校准以获得光学通量对光束参数例如角度或坐标的依赖性。可以校准单独的设备部件，例如光瞳扩展器部件或者整个显示设备。转到图7，校准装置700包括测试光源702、在平台706上的测试摄像机714和测试控制器710。测试光源702可以包括具有多个像素例如第一像素704和第二像素705的电子显示器，用于提供包括分别用实线和虚线示出的第一光束714和第二光束715的多个光束。可选地，测试光源702可以包括均匀光(例如具有朗伯角分布的白光)的扩展光源。测试摄像机714可以被构造成在它的性能上高度模仿人眼。例如，测试摄像机714可以包括恒定或可变的输入光瞳，该输入光瞳具有与人眼的瞳孔直径(或范围)匹配的光瞳直径或光阑、与人眼的视角类似的视角等。平台706可以包括可移动平台、可倾斜平台或两者。可移动平台可以包括用于在宽度、高度和深度的维度上平移测试摄像机714的X、XY或XYZ平移台。
将进一步参考图8描述校准装置的操作，图8示出了校准光学块606的方法800。测试控制器710向平台706发送命令以将测试摄像机714移动(802)到具有初始位置、定向或两者的第一位置。测试控制器710向测试光源702发送命令709以在光学块606的输入光瞳处、即向光瞳扩展器提供(804)图像光。图像光可以包括测试图案，例如网格图案、点图案等，或者可以是简单的均匀照明图案。图像光包括待校准的通道，例如亮度通道、颜色通道等。然后，测试控制器710向测试摄像机714发送命令以拍摄图像来获得(806)在光学块606的视窗608处的第一位置处的、通道的光功率密度的角分布。测试控制器710然后根据在前一步骤806中获得的角分布确定(808)光学块606的通量的角度依赖性。然后，测试控制器710可以向平台706发送命令以将测试摄像机714移动(810)到具有下一位置和/或定向的下一定位，以及该过程重复。可以在与用户的眼睛114在视窗608处的位置和定向对应的测试摄像机714的多个位置和/或定向处确定通量的角度依赖性。在每个位置处，通过用测试摄像机714进行拍摄来获得相应的图像。
如上面所提到的，校准装置700可用于测试光学块、波导光瞳扩展器和可穿戴显示系统的其他部件。校准方法800也可以通过配置它们的控制器以使用NED设备本身的电子显示单元执行测试和校准功能来在实际制造的显示设备或NED中实现。对于这些实施例，测试装置可能只需要在平移/旋转台上的测试摄像机与某个夹具结合来将NED放置在上面用于测试。
现在参考图9A和图9B，近眼AR/VR显示器900是图1的NED 100或图6的显示设备600的实施例。如所示，近眼AR/VR显示器900的主体或框架902具有一副眼镜的形状因子。显示器904包括显示组件906(图9B)，显示组件906向视窗910，即向其中高质量图像可以被呈现给用户的眼睛912的几何区域提供图像光908。显示组件906可以包括针对每只眼睛的单独显示模块或者针对两只眼睛的一个显示模块。对于后一种情况，光学开关器件可以耦合到单个电子显示器，用于以时间顺序的方式将图像引导到用户的左眼和右眼，一帧针对左眼，而一帧针对右眼。图像足够快地、即以足够快的帧速率被呈现，使得单独的眼睛没有注意到闪烁，并且感觉出周围虚拟或增强的场景的流畅、稳定的图像。
显示组件906的电子显示器、即图1的图像投影仪102的电子显示器或图6的电子显示器602可以例如且没有限制地包括液晶显示器(LCD)、有机发光显示器(OLED)、无机发光显示器(ILED)、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器或其组合。近眼AR/VR显示器900还可以包括用于实时地确定用户的眼睛912的凝视方向和/或聚散角的眼睛跟踪系统914。根据视角和眼睛位置，所确定的凝视方向和聚散角也可以用于视觉伪像的实时补偿。此外，所确定的聚散度和凝视角度可用于与用户的交互作用，加亮对象，将对象带到前景，动态地创建附加对象或指针，等等。此外，近眼AR/VR显示器900可以包括音频系统，例如小扬声器或头戴式耳机。
转到图10，HMD 1000是为了更大程度地沉浸到AR/VR环境内而包围用户的面部的AR/VR可穿戴显示系统的例子。HMD 1000可以向用户呈现内容作为AR/VR系统的一部分，该AR/VR系统可以进一步包括用户位置和定向跟踪系统、外部摄像机、手势识别系统、用于向系统提供用户输入和控制的控制装置、以及用于存储软件程序和用于与用户交互作用的其他数据以用于与AR/VR环境交互作用的中央控制台。HMD 1000的功能是用计算机生成的图像来增强物理、真实世界环境的视图，和/或生成完全虚拟的3D图像。HMD 1000包括前主体1002和带1004。前主体1002被配置为以可靠和舒适的方式放置在用户的眼睛前面，以及带1004可以被拉伸以将前主体1002固定在用户的头上。显示系统1080可以包括图1的NED100或图6的显示设备600。显示系统1080可以布置在前主体1002中，用于向用户呈现AR/VR图像。前主体1002的侧面1006可以是不透明的或透明的。
在一些实施例中，前主体1002包括定位器1008、用于跟踪HMD 1000的加速度的惯性测量单元(IMU)1010以及用于跟踪HMD 1000的位置的位置传感器1012。定位器1008由虚拟现实系统的外部成像设备跟踪，使得虚拟现实系统可以跟踪整个HMD 1000的位置和定向。为了HMD 1000的位置和定向的改进的跟踪，由IMU和位置传感器1012产生的信息可以与通过跟踪定位器1008获得的位置和定向比较。当用户在3D空间中移动和转动时，准确的位置和定向对于向用户呈现适当的虚拟场景是重要的。
HMD 1000还可以包括实时地确定用户眼睛的定向和位置的眼睛跟踪系统1014。所获得的眼睛的位置和定向允许HMD 1000确定用户的凝视方向，并相应地调整由显示系统1080生成的图像。在一个实施例中，确定聚散度，即用户的眼睛凝视的会聚角度。根据视角和眼睛位置，所确定的凝视方向和聚散角也可以用于视觉伪像的实时补偿。此外，所确定的聚散度和凝视角度可用于与用户的交互作用，加亮对象，将对象带到前景，创建附加对象或指针，等等。还可以提供音频系统，包括例如内置到前主体1002内的一组小扬声器。
可以用被设计成执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件或其任何组合来实现或执行用于实现关于本文公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件。通用处理器可以是微处理器，但是可选地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或更多个微处理器、或任何其他这样的配置。可选地，一些步骤或方法可以由对给定功能特定的电路执行。
本公开不应在范围上由本文描述的特定实施例限制。实际上，除了在本文描述的那些实施例和修改之外，其他各种实施例和修改从前面的描述和附图对于本领域中的普通技术人员将明显。因此，这样的其他实施例和修改被规定为落在本公开的范围内。此外，尽管在本文在特定实现的上下文中在特定环境中为了特定的目的描述了本公开，但是本领域中的普通技术人员将认识到它的有用性不限于此，以及本公开可以有益地在任何数量的环境中为了任何数量的目的而实现。因此，应该考虑如本文描述的本公开的全部广度和精神来解释所阐述的权利要求。

Claims (12)

1.一种近眼显示器(NED)，包括：
图像投影仪，其用于提供包括通道的图像光；
波导光瞳扩展器，其耦合到所述图像投影仪，用于将所述图像光分程传递到所述NED的视窗，其中所述波导光瞳扩展器的通量依赖于所述视窗处的光束坐标和光束角度；
眼睛跟踪系统，其用于提供用户的眼睛的光瞳在所述视窗处的位置；以及
控制器，其可操作地耦合到所述图像投影仪和所述眼睛跟踪系统，并被配置成根据用户的眼睛的光瞳在所述视窗处的位置来调整所述图像光的所述通道的光功率密度的角度分布，以至少部分地抵消所述波导光瞳扩展器的通量对所述光束坐标和所述光束角度的依赖性。
2.根据权利要求1所述的NED，其中所述控制器被配置成使用所述用户的眼睛的位置或定向中的至少一个来确定所述用户的眼睛在所述视窗处的瞳孔位置。
3.根据权利要求1所述的NED，其中所述通道包括颜色通道或亮度通道中的至少一个。
4.根据权利要求1所述的NED，其中所述图像光包括多个颜色通道，所述多个颜色通道包括所述通道，其中所述波导光瞳扩展器的通量对于每个颜色通道具有角度依赖性，由此，所述波导光瞳扩展器具有角度相关颜色传递函数变化；以及
其中所述控制器被配置成调整所述多个颜色通道中的至少一个的光功率密度的分布，以至少部分地抵消所述波导光瞳扩展器的所述角度相关颜色传递函数变化。
5.根据权利要求4所述的NED，还包括用于确定用户的眼睛在所述视窗处的位置或定向中的至少一个的眼睛跟踪系统，其中所述控制器可操作地耦合到所述眼睛跟踪系统，并且被配置为根据由所述眼睛跟踪系统确定的用户的眼睛的位置或定向中的至少一个来调整所述多个颜色通道中的所述至少一个的光功率密度的分布。
6.根据权利要求1所述的NED，还包括用于确定用户的眼睛在所述视窗处的瞳孔位置的眼睛跟踪系统；
其中所述通道包括颜色通道，以及其中所述波导光瞳扩展器具有依赖于所述瞳孔位置的颜色传递函数，以及其中所述控制器可操作地耦合到所述眼睛跟踪系统并且被配置成：
获得将由所述NED显示的图像；以及
修改所述图像的颜色分布以至少部分地抵消所述波导光瞳扩展器的所述颜色传递函数对由所述眼睛跟踪系统确定的所述瞳孔位置的依赖性。
7.根据权利要求6所述的NED，还包括存储器，所述存储器上存储有用于修改在所述视窗处的每个瞳孔位置处的所述图像的所述颜色分布的数据；
其中所述控制器可操作地耦合到所述存储器，用于取回对应于由所述眼睛跟踪系统确定的所述瞳孔位置的所述数据的至少一部分，以用于修改所述图像的所述颜色分布以至少部分地抵消所述颜色传递函数对所述瞳孔位置的依赖性。
8.根据权利要求7所述的NED，其中所述数据包括查找表。
9.根据权利要求1所述的NED，其中所述波导光瞳扩展器包括二维(2D)波导光瞳扩展器。
10.一种显示设备，包括：
电子显示器，其包括多个像素，用于根据由所述电子显示器接收的图像数据提供多个光束；
光学块，其被配置为接收所述多个光束并将所述多个光束提供到所述显示设备的视窗，使得所述多个光束中的第一光束在所述视窗处的角度对应于所述电子显示器的所述多个像素中的相应的第一像素的坐标，其中所述光学块对于所述第一光束的通量依赖于所述第一光束在所述视窗处的光束坐标和光束角度；
眼睛跟踪系统，其用于提供用户的眼睛的光瞳在所述视窗处的位置；以及
控制器，其可操作地耦合到所述电子显示器，并且被配置为根据用户的眼睛的光瞳在所述视窗处的位置来调整图像光的通道的光功率密度的角度分布，以便至少部分地抵消所述通量对所述光束坐标和所述光束角度的依赖性。
11.根据权利要求10所述的显示设备，其中所述电子显示器包括多个颜色通道，其中所述光学块的所述通量对于每个颜色通道具有对所述第一光束的所述坐标和所述角度的依赖性；以及
其中所述控制器被配置为在每颜色通道基础上更新所述图像数据，以通过考虑由所述眼睛跟踪系统确定的用户的眼睛的位置和定向中的至少一个来针对每个颜色通道至少部分地抵消所述光学块的所述通量对所述第一光束的所述坐标和所述角度的依赖性。
12.根据权利要求10所述的显示设备，其中所述光学块包括波导光瞳扩展器。
CN201980054464.1A 2018-08-14 2019-08-12 具有通量校准的显示设备 Active CN112585523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/103,684 2018-08-14
US16/103,684 US10861415B2 (en) 2018-08-14 2018-08-14 Display device with throughput calibration
PCT/US2019/046087 WO2020036838A1 (en) 2018-08-14 2019-08-12 Display device with throughput calibration

Publications (2)

Publication Number Publication Date
CN112585523A CN112585523A (zh) 2021-03-30
CN112585523B true CN112585523B (zh) 2022-10-11

Family

ID=67777415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054464.1A Active CN112585523B (zh) 2018-08-14 2019-08-12 具有通量校准的显示设备

Country Status (4)

Country Link
US (1) US10861415B2 (zh)
EP (1) EP3837578A1 (zh)
CN (1) CN112585523B (zh)
WO (1) WO2020036838A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942320B2 (en) * 2019-02-11 2021-03-09 Facebook Technologies, Llc Dispersion compensation for light coupling through slanted facet of optical waveguide
US11156829B2 (en) * 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
CN112954846B (zh) * 2021-02-09 2021-10-15 天津九安医疗电子股份有限公司 快速定量调节照明装置光束角的方法及系统
JP7391907B2 (ja) * 2021-03-16 2023-12-05 株式会社東芝 異常検出装置、異常検出方法、および異常検出プログラム
US11681363B2 (en) * 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
JP2024522470A (ja) * 2021-05-18 2024-06-21 グーグル エルエルシー 統合された処方レンズを含むウェアラブルヘッドアップディスプレイを較正して整列および色補正された画像を生成するための方法ならびにシステム
US11871161B1 (en) * 2021-05-27 2024-01-09 Meta Platforms Technologies, Llc Display with compressed calibration data
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134412A1 (en) * 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
WO2018075968A1 (en) * 2016-10-21 2018-04-26 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030375B2 (en) * 2011-10-18 2015-05-12 Reald Inc. Electronic display tiling apparatus and method thereof
US20180084232A1 (en) 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
US10260864B2 (en) 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US9905168B1 (en) 2015-12-28 2018-02-27 Oculus Vr, Llc Luminance-based non-uniformity correction for display panels in head-mounted displays
US10757400B2 (en) * 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134412A1 (en) * 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
WO2018075968A1 (en) * 2016-10-21 2018-04-26 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views

Also Published As

Publication number Publication date
CN112585523A (zh) 2021-03-30
US20200058266A1 (en) 2020-02-20
US10861415B2 (en) 2020-12-08
WO2020036838A1 (en) 2020-02-20
EP3837578A1 (en) 2021-06-23

Similar Documents

Publication Publication Date Title
CN112585523B (zh) 具有通量校准的显示设备
CN110325895B (zh) 聚焦调整多平面头戴式显示器
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
Itoh et al. Occlusion leak compensation for optical see-through displays using a single-layer transmissive spatial light modulator
US11156829B2 (en) Pupil expander cailibration
US20190086669A1 (en) Multiple layer projector for a head-mounted display
US10989880B2 (en) Waveguide grating with spatial variation of optical phase
US20210183102A1 (en) Raycast calibration for artificial reality head-mounted displays
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
EP3460785A1 (en) Multiple layer projector for a head-mounted display
US11604356B1 (en) Near-eye display assembly with enhanced display resolution
US10911743B2 (en) Field of view expansion by color separation
US11122256B1 (en) Mixed reality system
US20240201512A1 (en) Lenticular image generation
CN114175628A (zh) 近眼显示器中的图像帧同步
US10859823B1 (en) Head-mounted display device with selective gamma band for high contrast ratio
US11698530B2 (en) Switch leakage compensation for global illumination
US20230209032A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
JP2019106723A (ja) 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
WO2020137088A1 (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム
KR20220120590A (ko) 이방성 회절 격자 및 도파관

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

GR01 Patent grant
GR01 Patent grant