CN112639576B - 结构光深度感测 - Google Patents

结构光深度感测 Download PDF

Info

Publication number
CN112639576B
CN112639576B CN201880097075.2A CN201880097075A CN112639576B CN 112639576 B CN112639576 B CN 112639576B CN 201880097075 A CN201880097075 A CN 201880097075A CN 112639576 B CN112639576 B CN 112639576B
Authority
CN
China
Prior art keywords
light
illumination light
coherent illumination
interference pattern
coherent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880097075.2A
Other languages
English (en)
Other versions
CN112639576A (zh
Inventor
张绮
朝晴
罗宾·夏尔马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN112639576A publication Critical patent/CN112639576A/zh
Application granted granted Critical
Publication of CN112639576B publication Critical patent/CN112639576B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

至少一个波导被配置成接收相干照明光，并将相干照明光引导到物体作为第一光投影和第二光投影。至少一个干涉图样由第一光投影和第二光投影之间的干涉产生。摄像机捕获多个相移干涉图像的干涉图像，并且距物体的深度可以根据相移干涉图像来确定。

Description

结构光深度感测
相关申请的交叉引用
本申请要求2018年8月30日提交的第16/118,346号美国非临时申请的优先权，该非临时申请特此通过引用被并入。
技术领域
本公开总体上涉及光学，且具体涉及深度感测。
背景信息
已经开发了用于距离(range)和深度感测的多种技术。例如，立体三角测量技术包括用两个不同的摄像机对物体成像，并使用来自这两个摄像机的图像中的对应点来确定到物体的距离。飞行时间(TOF)是另一种现有技术，它可以包括发射激光脉冲，以及测量在所发射和反射的激光脉冲之间的飞行时间以计算反射激光脉冲的物体的深度。然而，这些技术受到它们被部署到的环境的限制。例如，TOF技术在非常近距离的环境中进行艰难，因为解决脉冲的短飞行时间是困难的。
特定实施例的概述
根据本发明的实施例在针对头戴式显示器(HMD)、光学结构和方法的所附权利要求中被具体公开，其中在一个权利要求类别(例如HMD)中提到的任何特征也可以在另一个权利要求类别(例如光学结构、方法、系统、存储介质和计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护从对任何前面权利要求的审慎的往回引用(特别是多项从属性)产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
在实施例中，一种头戴式显示器(HMD)可以包括：
至少一个摄像机，其被配置为对适眼区(eyebox)区域成像；以及
光学结构，其位于HMD的用户的视野中，其中，该光学结构包括第一、第二和第三波导，该第一、第二和第三波导被配置成接收相干照明光并将相干照明光引导到适眼区区域作为第一光投影和第二光投影，以产生分别对应于第一、第二和第三波导的第一、第二和第三干涉图样，并且其中，摄像机被配置成捕获第一、第二和第三干涉图样。
第一、第二和第三波导各自可以包括第一提取特征和第二提取特征，第一提取特征将第一光投影引导到第一区域，第二提取特征将第二光投影引导到不同于第一区域的区域，并且来自每个相应波导的第一光投影和第二光投影的重叠可以在适眼区区域上产生相应的干涉图样。
在实施例中，HMD可以包括：
第一相干光源，其被配置为发射第一相干照明光，其中第一波导被配置成接收第一相干照明光；
第二相干光源，其被配置为发射第二相干照明光，其中第二波导被配置成接收第二相干照明光；以及
第三相干光源，其被配置为发射第三相干照明光，其中第三波导被配置成接收第三相干照明光，并且其中第一、第二和第三波导的第一提取特征和第二提取特征不同地间隔开以分别产生从彼此相移的第一、第二和第三干涉图样，以及此外其中第一、第二和第三相干照明光具有相同的波长。
第三干涉图样可以从第二干涉图样相移120度，并且第二干涉图样可以从第一干涉图样相移120度。
在实施例中，HMD可以包括：
第四相干光源，其中光学结构包括被配置为在适眼区区域中产生第四干涉图样的第四波导，其中第四干涉图样从第三干涉图样相移90度，第三干涉图样从第二干涉图样相移90度，并且第二干涉图样从第一干涉图样相移90度。
在实施例中，HMD可以包括：
第一相干光源，其被配置为发射第一相干照明光，其中第一波导被配置成接收第一相干照明光；
第二相干光源，其被配置为发射第二相干照明光，其中第二波导被配置成接收第二相干照明光；以及
第三相干光源，其被配置为发射第三相干照明光，其中第三波导被配置成接收第三相干照明光，其中第一、第二和第三相干照明光在不同的红外波长处。
第一提取特征或第二提取特征中的至少一个可以包括被配置成引导第一光投影或第二光投影的反射涂层。
第一、第二和第三干涉图样可以包括正弦条纹图样。
相干照明光可以是相干红外光。
摄像机可以包括使与相干照明光匹配的红外波长范围通过并抑制其他波长范围的过滤器。
提供相干照明光的相干光源可以包括红外垂直腔表面发射激光器(VCSEL)、激光二极管、具有高空间相干性的超辐射发光二极管(SLED)或分布式反馈激光器(DFB)中的至少一个。
摄像机的成像轴相对于在第一和第二光投影之间的投影轴可以大于30度。
第一、第二和第三波导可以被配置为单模波导。
在实施例中，光学结构可以包括：
透明层；以及
第一、第二和第三波导，其被配置为引导相干照明光，其中第一、第二和第三波导与透明层耦合，其中第一、第二和第三波导中的每一个包括：
第一提取特征，其被配置为将相干照明光引导为在适眼区区域中的第一光投影；以及
第二提取特征，其被配置为将相干照明光引导为在适眼区区域中的第二光投影，其中第一光投影和第二光投影干涉以产生干涉图样。
第一、第二和第三波导的第一提取特征和第二提取特征可以不同地间隔开以分别产生从彼此相移的第一、第二和第三干涉图样。
相干照明光可以以近红外波长为中心。
第一提取特征或第二提取特征中的至少一个可以包括被配置为引导第一光投影或第二光投影的反射涂层，该反射涂层可以包括被配置为反射第一光投影或第二光投影并使可见光通过的介电涂层或金属涂层。
在实施例中，一种近眼深度感测的方法可以包括：
在适眼区区域中产生第一、第二和第三干涉图样；
用摄像机捕获分别对应于第一、第二和第三干涉图样的第一、第二和第三干涉图像；以及
至少部分地基于第一、第二和第三干涉图像来产生至少一个眼睛深度值。
产生第一、第二和第三干涉图样可以包括将相干照明光引导到至少一个波导中，并且该至少一个波导可以包括第一提取特征和第二提取特征，第一提取特征将第一光投影引导到第一区域，第二提取特征将第二光投影引导到不同于第一区域的第二区域。
第一干涉图样、第二干涉图样和第三干涉图样可以被顺序地产生，并由摄像机顺序地捕获作为第一干涉图像、第二干涉图像和第三干涉图像。
在根据本发明的实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件可操作来在被执行时执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种系统可以包括：一个或更多个处理器；以及至少一个存储器，该至少一个存储器耦合到处理器，并且包括可由处理器执行的指令，处理器可操作来在执行该指令时执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种计算机程序产品，优选地包括计算机可读非暂时性存储介质，该计算机程序产品可以可操作来当在数据处理系统上被执行时执行根据本发明或任何上面提到的实施例的方法。
附图简述
参考下面的附图描述了本发明的非限制性和非详尽的实施例，其中除非另有规定，否则相似的参考数字在全部各种视图中指相似的部分。
图1A和图1B示出了根据本公开的实施例的示例头戴式显示器，其包括摄像机和用于产生用于近眼深度感测的相移干涉图样的波导。
图2A和图2B示出了根据本公开的实施例的具有用于产生干涉图样的两个提取特征的示例波导。
图3示出了根据本公开的实施例的引导光投影以形成干涉图样的示例头戴式显示器。
图4示出了根据本公开的实施例的示例光学基板和产生三个发射锥的三个波导。
图5示出了根据本公开的实施例的示例相移干涉图像。
图6示出了根据本公开的实施例的近距离深度感测方法的示例流程图。
图7示出了根据本公开的实施例的用于近距离深度感测的系统的俯视图。
图8示出了根据本公开的实施例的可用于产生物体的深度映射(depth map)的示例等式。
详细描述
本文描述了深度感测系统、设备和方法的实施例。在下面的描述中，阐述了许多具体细节以提供实施例的彻底理解。然而，在相关领域中的技术人员将认识到，本文描述的技术可以在没有这些具体细节中的一个或更多个的情况下或者用其他方法、部件、材料等实施。在其他实例中，没有详细示出或描述公知的结构、材料或操作，以避免使某些方面模糊。
在整个这个说明书中对“一个实施例”或“实施例”的提及意味着关于该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”在整个这个说明书的各种地方中的出现不一定都指同一实施例。此外，特定特征、结构、或特性可以在一个或更多个实施例中以任何合适的方式被组合。
在整个这个说明书中，使用了几个技术术语。这些术语采用它们所来自的领域中的普通含义，除非在本文被特别定义或者它们的使用上下文清楚地暗示了其他含义。
在本公开中描述的深度感测系统、设备和方法的实施例可以便于高分辨率近距离深度感测。近距离深度感测实施例可以在头戴式显示器(HMD)中被具体实现用于确定HMD的佩戴者的眼睛的三维深度映射，并且该三维深度映射可以用于眼睛跟踪或其他目的。
先前的深度感测技术包括飞行时间和图样化投影。飞行时间(ToF)技术包括发射激光脉冲，以及测量在所发射和反射的激光脉冲之间的飞行时间以计算反射激光脉冲的物体的深度。然而，ToF系统在非常近距离的环境中进行艰难，因为解决(以光速传播的)脉冲的短飞行时间是困难的。示例图样化投影技术将点的图样投射到物体上，并且在物体上的投影点的位置和/或尺寸用于确定物体的深度。然而，图样投影方法的分辨率受到投射到物体的表面上的点的数量的限制。
在本公开的实施例中，相移干涉图样由具有第一和第二提取特征的波导产生。波导可以接收相干照明光，并将相干照明光提供给间隔开一段距离的第一和第二提取特征。例如，相干照明光可以由红外激光光源提供。第一和第二提取特征将接收到的相干照明光引导到适眼区区域作为第一和第二光投影。干涉图样通过第一和第二光投影的干涉形成并由摄像机捕获。额外的波导可以产生从第一干涉图样相移的额外干涉图样。例如，具有提取特征的最少三个波导可以在眼睛(或其他物体)上产生三个或更多个干涉图样，其中三个干涉图样相移120度。然后，来自三个相移干涉图样的强度值可以用于确定物体的深度映射。
在ToF系统难以产生准确的映射的近距离深度感测环境中，本公开的实施例可能是特别有用的。另外，本公开的实施例可以比图样投影技术提供更高分辨率的深度映射，因为本公开的实施例不受投影点的数量的限制。此外，所公开的波导和提取特征可能如此小，以至于即使当放置在HMD的佩戴者的视野中时也是不引入注意的。因此，本公开的实施例可以具有额外的优点：被放置在HMD的佩戴者的眼睛的视场内，使得用户仍然对进入的场景光具有清晰的视图。本公开的实施例还可以提供非常低功率的深度感测系统，因为所公开的相干照明光源可以仅仅是不需要连续地开启的毫瓦(mW)级设备。下面关于图1A-图8来详细描述这些和其他实施例。
图1A示出了根据本公开的实施例的包括摄像机和波导的示例HMD100，波导投射光以产生用于近眼深度感测的相位不同的干涉图样。HMD100包括耦合到臂111A和111B的框架114。透镜121A和121B被安装到框架。透镜121可以是与HMD的特定佩戴者匹配的处方透镜或非处方透镜。所示的HMD 100被配置成佩戴在HMD的用户的头上或周围。
在图1A中，每个透镜121可以包括波导150以将由显示器130产生的图像光引导到适眼区区域，以供HMD 100的佩戴者观看。显示器130可以包括用于将图像光引导到HMD 100的佩戴者的LCD、有机发光二极管(OLED)显示器、微LED(micro-LED)显示器、量子点显示器、微型投影仪(pico-projector)或硅基液晶(LCOS)显示器。
HMD 100的框架114和臂111可以包括HMD 100的支撑硬件。HMD100可以包括处理逻辑、用于发送和接收数据的有线和/或无线数据接口、图形处理器以及用于存储数据和计算机可执行指令的一个或更多个存储器中的任一个。在一个实施例中，HMD 100可以被配置成接收有线功率。在一个实施例中，HMD 100被配置成由一个或更多个电池供电。在一个实施例中，HMD 100可以被配置成经由有线通信通道接收包括视频数据的有线数据。在一个实施例中，HMD 100被配置成经由无线通信通道接收包括视频数据的无线数据。
透镜121对于用户可以看起来是透明的，以便于增强现实或混合现实(mixedreality)，其中用户可以观看来自她周围的环境的场景光，同时还接收由波导150引导到她的眼睛的图像光。因此，透镜121可以被考虑为(或包括)光学组合器。在一些实施例中，图像光仅被引导到HMD 100的佩戴者的一只眼睛中。在实施例中，显示器130A和130B都被包括以将图像光分别引导到波导150A和150B中。
图1A的示例HMD 100包括多个波导160，这些波导160被耦合以从相干照明源170接收相干照明光并将相干照明光引导到适眼区区域作为第一光投影和第二光投影。第一光投影和第二光投影在HMD 100的佩戴者的眼睛上产生干涉图样。相干照明光可以是红外光，且光源170可以是红外垂直腔表面发射激光器(VCSEL)激光二极管、具有高空间相干性的超辐射发光二极管(SLED)或分布式反馈激光器(DFB)中的任一种。在一个实施例中，红外相干照明光以850nm为中心。摄像机147被配置成对HMD 100的佩戴者的适眼区区域和眼睛成像。摄像机147可以安装在HMD100的眼镜腿的内部，并直接对适眼区区域成像，如图1A所示。摄像机147也可以安装在其他地方。在一个实施例中，摄像机147被定位成从适眼区区域接收从被包括在透镜121B中的“热反射镜”组合器反射的红外图像。“热反射镜”组合器被配置成反射红外光，同时将可见场景光传递到HMD 100的佩戴者的眼睛。摄像机147可以包括使与光源170的相干照明光匹配的红外波长范围通过并抑制其他波长范围的过滤器。尽管摄像机147、波导160和相干照明源170仅在HMD 100的一侧上示出，但是它们当然可以被复制在HMD100的另一侧上，以便于对HMD 100的佩戴者的两只眼睛的近眼深度感测。
图1B示出了根据本公开的实施例的示例HMD 100的一部分的放大视图。图1B示出了被耦合以分别从相干照明光源170A、170B和170C接收相干照明光的波导160A、160B和160C。来自给定相干光源的相干照明光可以既是在空间上相干又是在时间上相干的。相干照明光可以是从激光源发射的窄带红外光。
图2A示出了根据本公开的实施例的可以用作波导160A、160B和160C的示例波导260。波导260从相干照明源270接收相干照明光280。可以使用棱镜、微透镜或光栅结构将相干照明源270耦合到波导260中。相干照明光280在波导260中从波导的第一端(靠近相干照明源270)传播到波导260的与第一端相对的第二端。提取特征261和262接收相干照明光280。
第一提取特征261被配置成接收相干照明光280，并且将第一光投影281引导到第一区域，该第一区域包括适眼区区域的至少一部分。在一些实施例中，第一区域可以覆盖整个适眼区区域。第二提取特征262被配置成接收相干照明光280，并且将第二光投影282引导到与第一区域重叠的第二区域。第一区域中的第一光投影281和第二区域中的第二光投影282之间的重叠产生干涉图样。
在一个实施例中，第一提取特征261和第二提取特征262都是在波导260的第二端处平行地制造的双锥形表面。两个双锥形表面的定向和曲率可以被调节以改变发射锥的定向以及光投影281和/或282的锥体的发散度，以在适眼区区域中的适当位置上产生干涉图样。高反射涂层(例如金属或介电涂层)可以覆盖在双锥形表面上面以最大化朝向适眼区区域被引导的光。
在波导260包括脊形波导的实施例中，脊可以被写到光学基板(例如透镜121)上，并且可以用折射率匹配的材料被层压到光学基板，其中层压/粘接材料的折射率与光学基板匹配。光学基板的折射率可以低于波导260的折射率，使得波导260的全内反射率(TIR)可以被保持以将相干照明光280限制到波导260。波导260可以便于单模功能，其中照明光280在横向模式中通过波导260传播，并且平行于波导260的长度(从第一端到第二端)传播。在实施例中，波导260的长度是大约20mm。在一些实施例中，波导170A、170B和170C可以具有不同的长度。
第一提取特征261与第二提取特征262间隔开一段距离，使得第一光投影281与第二光投影282干涉以在眼睛上形成结构光干涉图样。第一提取特征261和第二提取特征262可以模拟点源，并发射锥形光投影281和锥形光投影282。
图2B示出了根据本公开的实施例的在图2A中的示例波导260沿着线A-A’的横截面视图。波导260的横截面可以是矩形。波导260的横截面可以是正方形。在一个实施例中，尺寸211为大约10微米，以及尺寸212为大约10微米。在一个实施例中，尺寸211为大约8微米，以及尺寸212为大约8微米。波导260的尺寸可以足够小，以至于HMD 100的佩戴者不会注意到。
图3示出了根据本公开的实施例的包括在适眼区区域中投射干涉图样的波导的示例HMD 300。在图3中，波导160被配置成将第一光投影281和第二光投影282引导到适眼区区域以形成由光281和282的干涉产生的干涉图样。
图4示出了根据本公开的实施例的光学基板421和发射三个发射锥以产生从彼此相移的三个干涉图样的三个波导460。在图4中，相干照明源470A、470B和470C分别光学地耦合到波导460A、460B和460C以向每个波导提供相干照明光(例如光280)。每个波导460包括两个提取特征，例如提取特征261/262，以将第一投影481和第二投影482引导到适眼区区域。对应于波导460A的第一发射锥483A包括第一光投影481A和第二光投影482A。对应于波导460B的第二发射锥483B包括第一光投影481B和第二光投影482B，以及对应于波导460C的第三发射锥483C包括第一光投影481C和第二光投影482C。在一些实施例中，在给定时间点只有一个发射锥483入射在适眼区区域上，因为发射锥483可以是与彼此时间多路复用的。
图5示出了根据本公开的实施例的由不同波导产生的相移干涉图样的图像。图5包括在眼睛502上的分别由发射锥483A、483B和483C产生的干涉图样的图像583A、583B和583C。在一个实施例中，由发射锥483A/B/C产生的干涉图样相移120度。例如，图像583B可以是从图像583A的干涉图样移动120度的干涉图样的图像，以及图像583C可以是从图像583A的干涉图样移动240度的干涉图样。因为波导260/460的提取特征261/262产生高度相干的第一光投影和第二光投影，所以干涉图样包括在适眼区区域上的稳定周期性条纹。特别地，在图像583A/B/C中的暗条纹和亮条纹不同地被定位，与在图像583A/B/C之间的相移差一致。
再次返回到图4，波导460的提取特征可以分开不同的距离，以便产生从彼此相移的干涉图样。例如，波导460A的提取特征(例如261/262)可以彼此间隔开第一距离，波导460B的提取特征可以彼此间隔开第二距离，以及波导460C的提取特征可以彼此间隔开第三距离。在一个实施例中，波导本身(例如460A/B/C)之间的间距决定干涉图样从彼此的相移。为了产生干涉图像583A/B/C，相干照明源470可以在第一时间段期间被激活，并且摄像机(例如147)可以在第一时间段期间捕获由发射锥483A产生的干涉图样的图像583A。在第一时间段之后，在第二时间段期间，相干照明源470A可以被去激活(关闭)并且相干照明源470B可以被激活，其中摄像机在第二时间段期间捕获由发射锥483B产生的干涉图样的图像583B。在第三时间段之后，在第三时间段期间，相干照明源470B可以被去激活(关闭)并且相干照明源470C可以被激活，其中摄像机在第三时间段期间捕获由发射锥483C产生的干涉图样的图像583C。换句话说，相干照明光源可以被顺序地激活，以便在HMD的佩戴者的眼睛上产生相移干涉图样，并且摄像机的图像捕获将被协调以捕获相移干涉图样。在这个上下文中，相干照明源可以具有相同的中心波长。
与在上一段中描述的顺序时间多路复用方案相反，不同的实施例允许同时捕获由发射锥483产生的三个或更多个干涉图样。为了便于三个或更多个干涉图样的这种同时捕获，用具有不同波长的相干照明源来照亮每个波导。例如，可以用第一波长照亮第一波导，可以用第二波长照亮第二波导，以及可以用第三波长照亮第三波导。高分辨率图像传感器可以被配置有与第一、第二和第三波长匹配的过滤器。例如，代替应用于被包括在图像传感器的子像素中的成像像素的常规红/绿/蓝(RGB)过滤器，RGB过滤器用使第一波长通过并抑制其他波长的第一滤波器、使第二波长通过并抑制其他波长的第二滤波器以及使第三波长通过并抑制其他波长的第三滤波器代替。因此，当图像传感器的电子快门捕获图像时，实际上有三个子图像被包括在图像中。第一子图像有具有第一波长的第一干涉图样，第二子图像有具有第二波长的第二干涉图样，以及第三子图像有具有第三波长的第三干涉图样。
在一些实施例中，单个相干照明源用于顺序地向波导460A/B/C提供相干照明光。在该实施例中，光纤可以将来自单个相干光源的相干照明光传送到光学开关，该光学开关将被顺序地切换以一次一个地向波导460A/B/C提供相干照明光。
在一些实施例中，相干照明源460A/B/C可以具有不同的波长，以便产生相移干涉图样。在该实施例中，波导460A/B/C的提取特征261和262可以间隔开相同的距离，以及依赖于照明源中的波长差来产生相移干涉图样。波导460A/B/C的提取特征261和262也可以不同地被间隔开，即使当照明源中的波长差是不同的时。
在又一实施例中，扫频激光器(swept laser)在不同的时间向每个波导460A/B/C提供相干照明光。扫频激光器的波长可以被调节。例如，一些扫频激光器的波长根据激光器的驱动电流被调节。因此，扫频激光器(其输出被顺序地切换到波导460A/B/C)可以在不同的时间顺序地向波导460A/B/C提供相干照明光。扫频激光器可以被驱动，使得提供给每个波导460A/B/C的相干照明光的不同波长与在由发射锥483A/B/C产生的干涉图样上的120度相移对应。
虽然本公开的实施例的实现到现在为止提到120度的相移，但是本领域中的技术人员认识到，也可以利用具有不同相移的干涉图样(例如具有0度、90度、180度和270度的相位的四个干涉图样)来确定深度信息。在该实施例中，可能需要提供四个波导460以产生四个干涉图样(从彼此相移90度)。也设想了其他相移值(例如60度)。
图6示出了根据本公开的实施例的近距离深度感测的示例过程。一些或所有过程块在过程600中出现的顺序不应被认为是限制性的。更确切地，受益于本公开的本领域中的普通技术人员将理解，一些过程块可以以未示出的各种顺序或者甚至并行地被执行。
近距离深度感测可以被定义为感测在30cm内的物体的深度。在一个实施例中，近距离深度感测包括感测在50mm内的物体(例如眼睛)的深度。深度数据可用于确定眼睛凝视、为了识别目的而捕获HMD的用户的生物计量特征(biometric feature)和/或针对不同的任务分析眼睛移动。
在过程块605中，在适眼区区域中产生第一、第二和第三干涉图样。例如，第一、第二和第三干涉图样可以由对应于波导460A/B/C的发射锥483A/B/C产生。在一个实施例中，产生第一、第二和第三干涉图样包括将相干照明光引导到至少一个波导中，其中该至少一个波导包括第一提取特征和第二提取特征，第一提取特征将第一光投影引导到第一区域，第二提取特征将第二光投影引导到不同于第一区域的第二区域。
在过程块610中，捕获对应于第一、第二和第三干涉图样的第一、第二和第三干涉图像(例如583A/B/C)。第一、第二和第三干涉图样可以被顺序地产生并由摄像机(例如摄像机147)顺序地捕获。
在过程块615中，至少部分地基于第一、第二和第三干涉图像来产生至少一个眼睛深度值。在一些实施例中，使用来自摄像机的像素阵列的多个像素值来产生眼睛的三维图像。
HMD的佩戴者的眼睛将使投射到眼睛上的相移干涉图样的条纹失真，并且在相移干涉图样的三个图像583A/B/C由摄像机捕获之后，三维深度信息(在“z”维中)可以使用相位差异的三角测量模型，使用与摄像机的像素阵列对应的在“x”和“y”维中的像素差异来被重构。例如，摄像机可以包括具有与x和y维对应的“i”行和“j”列的CMOS像素阵列。与每个像素相关联的每个相位差异计算产生该像素的眼睛深度值(在z维中)。因此，与像素阵列的x和y维组合的每个像素的眼睛深度值允许眼睛的三维深度映射。
眼睛的眼睛深度值或三维映射可以用于眼睛跟踪目的，并且被引导到用户的眼睛的一个显示图像或多个显示图像可以基于眼睛深度值或三维映射来改变。在一个实施例中，响应于眼睛深度值，将软件生成的模糊滤波器的位置应用于显示图像，以为HMD的用户提供聚焦提示。
根据本公开的实施例，可以利用在美国非临时专利申请16/025,837中描述的使用相移干涉图样来产生眼睛的眼睛深度值或三维映射的示例算法。2018年7月2日提交的美国非临时专利申请16/025,837特此通过引用被并入。
被包括在HMD中的处理逻辑可以被耦合以顺序地激活相干照明源470，并且还被耦合到摄像机(例如147)以顺序地捕获相移干涉图样，从而执行示例过程600和本文描述的其他技术。
图7示出了根据本公开的实施例的用于近场深度感测的系统700的俯视图。在一些上下文中，系统700可以被包括在HMD中并且用于在近眼深度感测中的三角测量。尽管图7示出了仅仅两个提取特征761和762，但是应当理解，系统700也可以与对应于附加波导的附加提取特征一起使用。系统700包括物体702、第一提取特征761、第二提取特征762和图像传感器747。在图7中，透镜743被配置成将光聚焦到图像传感器747上以在虚线745A和745B之间的视场745中提供成像。在所示实施例中，透镜743布置在平面791中，并且成像轴795垂直于平面791。在一些实施例中，透镜743从平面791偏移，同时仍然位于图像传感器747的中心。透镜743与图像传感器747间隔开焦距f。成像轴795可以穿过透镜743的中心光轴并穿过具有x行和y列的像素阵列的中间延伸。轴795在x方向上与轴793间隔开分离直径D。
提取特征761和762间隔开距离“a”。第一提取特征761朝向物体702引导由波导(例如260，未示出)提供的相干照明光作为第一光投影781，以及第二提取特征762朝向物体702引导由波导提供的相干照明光作为第二光投影782。第一光投影781和第二光投影782可以具有锥形发射锥。光781和782的重叠被示为重叠光783，并且光781和782的干涉在物体702上形成干涉图样。投射在物体702上的干涉图样可以由正弦地变化的强度图样描述。轴792穿过提取特征761和762延伸。φ表示在平面791和轴792之间的角度。轴793穿过在提取特征761和762之间的中点延伸，同时也垂直于平面791。投影轴796穿过在提取特征761和762之间的中点延伸，并表示重叠光783的中间。
由图像传感器747的像素749测量的强度对应于在平面797内的位置709处的物体表面702上的强度。平面797可以在平面791的距离z内。在一些实施例中，距离z可以小于50mm。在位置709处的干涉图样光的强度沿着光路799传播变成入射在像素749上。像素749与成像轴795偏离距离x1。轴798从在提取特征761和762之间的中点延伸到位置709的中间。θ定义从轴796到轴798的角度，且α定义在轴798和轴793之间的角度。角度θ和α对于在图像传感器747上的不同像素可以是不同的，并且可以例如通过摄像机校准过程来确定。为了将系统700集成到HMD(例如HMD 100)中，在照明器(例如提取特征761和762)和图像传感器747之间形成三角测量的经校准的基线尺寸D可以被采用。
根据本公开的实施例，为了为物体表面702的给定位置(例如709)确定深度z，可以利用图8的等式。等式801为第一干涉图像(例如图像583A)提供在位置(x,y)处的强度。等式802为第二干涉图像(例如图像583B)提供在位置(x,y)处的强度，以及等式803为第三干涉图像(例如图像583C)提供在位置(x,y)处的强度。在等式801、802和803中，
Figure BDA0002957118600000151
表示例如由发射锥483A/B/C产生的在物体702上的相移干涉图样的相移。因此，
Figure BDA0002957118600000152
可以是120度。如上所述，提取特征761和762的间距在不同的波导中可以是不同的以提供期望的相移
Figure BDA0002957118600000153
等式804提供卷叠(wrapped)相位计算，以及等式805提供解卷叠(unwrapped)相位计算，其中N等于所使用的相移的数量。在
Figure BDA0002957118600000154
是120度的情况下，N可以等于3。例如，如果
Figure BDA0002957118600000155
是90度，N可以是4。等式806提供作为双光束干涉图样的角位置θ的函数的预期强度，其中λ是发射光的波长，以及a是发射光的提取特征761和762的间隔距离。等式807是等式806的扩展版本，其包括包含变量z的卷叠相位分量808，其中D是在摄像机和照明器之间的基线，x1是在摄像机焦点阵列上的像素位置，以及f是摄像机的有效焦距。因此，对变量z的方程807求解为物体702的表面的特定位置709提供深度z。而且，对物体702的多个位置的二维阵列求解提供物体702的表面的深度z的三维深度映射。
本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是在呈现给用户之前以某种方式被调整的一种形式的现实，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，且其中任一个可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台——包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台——上实现。
在本公开中的术语“处理逻辑”可以包括一个或更多个处理器、微处理器、多核处理器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)以执行本文公开的操作。在一些实施例中，存储器(未示出)被集成到处理逻辑中以存储用于执行操作的指令和/或存储数据。处理逻辑还可以包括模拟或数字电路以执行根据本公开的实施例的操作。
在本公开中描述的“存储器(memory)”或“存储器(memories)”可以包括一个或更多个易失性或非易失性存储器架构。“存储器(memory)”或“存储器(memories)”可以是在任何方法或技术中实现的用于存储信息例如计算机可读指令、数据结构、程序模块或其它数据的可移动和不可移动介质。示例存储器技术可以包括RAM、ROM、EEPROM、闪存、CD-ROM、数字多功能盘(DVD)、高清晰度多媒体/数据存储盘、或其他光存储设备、盒式磁带、磁带、磁盘存储设备或其他磁存储设备或者可以用于存储信息以供计算设备访问的任何其他非传输介质。
通信通道可以包括一个或更多个有线或无线通信或通过一个或更多个有线或无线通信来路由，一个或更多个有线或无线通信利用IEEE 802.11协议、蓝牙、SPI(串行外围接口)、I2C(内部集成电路)、USB(通用串行端口)、CAN(控制器局域网)、蜂窝数据协议(例如3G、4G、LTE、5G)、光通信网络、互联网服务提供商(ISP)、对等网络、局域网(LAN)、广域网(WAN)、公共网络(例如“互联网”)、专用网络、卫星网络或其他。
计算设备可以包括台式计算机、膝上型计算机、平板计算机、平板手机(phablet)、智能手机、功能手机、服务器计算机或其他。服务器计算机可以远程地位于数据中心中或被存储在本地。
上面解释的过程是从计算机软件和硬件的角度来描述的。所描述的技术可以构成在有形或非暂时性机器(例如计算机)可读存储介质内体现的机器可执行指令，该机器可执行指令当由机器执行时将使机器执行所描述的操作。此外，过程可以被体现在硬件例如专用集成电路(“ASIC”)或其他内。
有形的非暂时性机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一组一个或更多个处理器的任何设备等)可访问的形式提供(即，存储)信息的任何机构。例如，机器可读存储介质包括可记录/不可记录介质(例如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。
本发明的所示实施例的上面的描述(包括在摘要中描述的内容)并不旨在是无遗漏的或将本发明限制到所公开的精确形式。虽然在本文为了说明目的描述了本发明的特定实施例和示例，但是如相关领域中的技术人员将认识到的，在本发明的范围内的各种修改是可能的。
根据上面的详细描述，可以对本发明做出这样的修改。在所附权利要求中使用的术语不应被解释为将本发明限制到在说明书中公开的特定实施例。更确切地，本发明的范围完全由所附权利要求确定，这些权利要求应根据权利要求解释的既定教义来被解释。

Claims (20)

1.一种头戴式显示器HMD，包括：
至少一个摄像机，其被配置为对适眼区区域成像；以及
光学结构，其位于所述HMD的用户的视野中，其中所述光学结构包括：
透明层；
第一波导，其被配置为接收第一相干照明光，并将所述第一相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第一干涉图样；
第二波导，其被配置为接收第二相干照明光，并将所述第二相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第二干涉图样；和
第三波导，其被配置成接收第三相干照明光，并将所述第三相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第三干涉图样；
其中所述摄像机被配置成捕获所述第一干涉图样、第二干涉图样和第三干涉图样；并且
其中所述第一波导、第二波导和第三波导中的每一个包括：
第一提取特征，其被配置为将来自相应波导的相干照明光引导为在所述适眼区区域中的第一光投影；和
第二提取特征，其被配置为将来自相应波导的相干照明光引导为在所述适眼区区域中的第二光投影；并且
其中所述第一提取特征与所述第二提取特征间隔开距离；并且其中来自每个相应波导的第一光投影和第二光投影的重叠在所述适眼区区域上产生相应的干涉图样，所述干涉图样取决于所述第一提取特征与所述第二提取特征之间的所述距离。
2.根据权利要求1所述的HMD，其中，所述第一提取特征将所述第一光投影引导到第一区域，并且所述第二提取特征将所述第二光投影引导到不同于所述第一区域的区域。
3.根据权利要求2所述的HMD，还包括：
第一相干光源，其被配置为发射所述第一相干照明光；
第二相干光源，其被配置为发射所述第二相干照明光；以及
第三相干光源，其被配置成发射所述第三相干照明光，并且其中所述第一波导、第二波导和第三波导的所述第一提取特征和第二提取特征不同地间隔开以分别产生从彼此相移的第一干涉图样、第二干涉图样和第三干涉图样，以及此外，其中所述第一相干照明光、第二相干照明光和第三相干照明光具有相同的波长。
4.根据权利要求3所述的HMD，其中所述第三干涉图样从所述第二干涉图样相移120度，并且其中所述第二干涉图样从所述第一干涉图样相移120度。
5.根据权利要求3或4所述的HMD，还包括：
第四相干光源，其中所述光学结构包括被配置为在所述适眼区区域中产生第四干涉图样的第四波导，其中所述第四干涉图样从所述第三干涉图样相移90度，所述第三干涉图样从所述第二干涉图样相移90度，并且所述第二干涉图样从所述第一干涉图样相移90度。
6.根据权利要求2所述的HMD，还包括：
第一相干光源，其被配置为发射所述第一相干照明光；
第二相干光源，其被配置为发射所述第二相干照明光；以及
第三相干光源，其被配置为发射所述第三相干照明光，其中所述第一相干照明光、第二相干照明光和第三相干照明光在不同的红外波长处。
7.根据权利要求2-4、6中任一项所述的HMD，其中所述第一提取特征或所述第二提取特征中的至少一个包括被配置为引导所述第一光投影或所述第二光投影的反射涂层。
8.根据权利要求1-4、6中任一项所述的HMD，其中所述第一干涉图样、第二干涉图样和第三干涉图样包括正弦条纹图样。
9.根据权利要求1-4、6中任一项所述的HMD，其中相干照明光是相干红外光。
10.根据权利要求1-4、6中任一项所述的HMD，其中所述摄像机包括使与相干照明光匹配的红外波长范围通过并抑制其他波长范围的过滤器。
11.根据权利要求1-4、6中任一项所述的HMD，其中提供相干照明光的相干光源包括红外垂直腔表面发射激光器(VCSEL)、激光二极管、具有高空间相干性的超辐射发光二极管(SLED)或分布式反馈激光器(DFB)中的至少一个。
12.根据权利要求1-4、6中任一项所述的HMD，其中所述摄像机的成像轴相对于在所述第一光投影和所述第二光投影之间的投影轴大于30度。
13.根据权利要求1-4、6中任一项所述的HMD，其中所述第一波导、第二波导和第三波导被配置为单模波导。
14.一种光学结构，包括：
透明层；以及
第一波导，其被配置为接收第一相干照明光，并将所述第一相干照明光引导到适眼区区域作为第一光投影和第二光投影，以产生第一干涉图样；
第二波导，其被配置为接收第二相干照明光，并将所述第二相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第二干涉图样；和
第三波导，其被配置为接收第三相干照明光，并将所述第三相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第三干涉图样；
其中所述第一波导、第二波导和第三波导与所述透明层耦合，其中所述第一波导、第二波导和第三波导中的每一个包括：
第一提取特征，其被配置为将来自相应波导的相干照明光引导为在所述适眼区区域中的第一光投影；以及
第二提取特征，其被配置为将来自相应波导的相干照明光引导为在所述适眼区区域中的第二光投影；
其中所述第一提取特征与所述第二提取特征间隔开距离；并且其中来自每个相应波导的第一光投影和第二光投影的重叠在所述适眼区区域上产生相应的干涉图样，所述干涉图样取决于所述第一提取特征与所述第二提取特征之间的所述距离。
15.根据权利要求14所述的光学结构，其中所述第一波导、第二波导和第三波导的所述第一提取特征和第二提取特征不同地间隔开以分别产生从彼此相移的第一干涉图样、第二干涉图样和第三干涉图样。
16.根据权利要求14或15所述的光学结构，其中相干照明光以近红外波长为中心。
17.根据权利要求14或15所述的光学结构，其中所述第一提取特征或所述第二提取特征中的至少一个包括被配置为引导所述第一光投影或所述第二光投影的反射涂层，其中所述反射涂层包括被配置为反射所述第一光投影或所述第二光投影并使可见光通过的介电涂层或金属涂层。
18.一种近眼深度感测的方法，所述方法包括：
第一波导接收第一相干照明光，并将所述第一相干照明光引导到适眼区区域作为第一光投影和第二光投影，以产生第一干涉图样；
第二波导接收第二相干照明光，并将所述第二相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第二干涉图样；和
第三波导接收第三相干照明光，并将所述第三相干照明光引导到所述适眼区区域作为第一光投影和第二光投影，以产生第三干涉图样；
其中所述第一波导、第二波导和第三波导中的每一个包括第一提取特征和第二提取特征，所述第一提取特征将来自相应波导的相干照明光引导为在所述适眼区区域中的第一光投影，所述第二提取特征将来自相应波导的相干照明光引导为在所述适眼区区域中的第二光投影；并且所述第一提取特征与所述第二提取特征间隔开距离；
其中来自每个相应波导的第一光投影和第二光投影的重叠在所述适眼区区域上产生相应的干涉图样，所述干涉图样取决于所述第一提取特征与所述第二提取特征之间的所述距离；
用摄像机捕获分别对应于所述第一干涉图样、第二干涉图样和第三干涉图样的第一干涉图像、第二干涉图像和第三干涉图像；以及
至少部分地基于所述第一干涉图像、第二干涉图像和第三干涉图像来产生至少一个眼睛深度值。
19.根据权利要求18所述的方法，其中产生所述第一干涉图样、第二干涉图样和第三干涉图样包括将相干照明光引导到至少一个波导中；并且所述第一提取特征将第一光投影引导到第一区域，所述第二提取特征将第二光投影引导到不同于所述第一区域的第二区域。
20.根据权利要求18或19所述的方法，其中所述第一干涉图样、第二干涉图样和第三干涉图样被顺序地产生，并由所述摄像机顺序地捕获作为所述第一干涉图像、第二干涉图像和第三干涉图像。
CN201880097075.2A 2018-08-30 2018-08-31 结构光深度感测 Expired - Fee Related CN112639576B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/118,346 US10607353B2 (en) 2018-08-30 2018-08-30 Structured light depth sensing
US16/118,346 2018-08-30
PCT/US2018/049074 WO2020046368A1 (en) 2018-08-30 2018-08-31 Structured light depth sensing

Publications (2)

Publication Number Publication Date
CN112639576A CN112639576A (zh) 2021-04-09
CN112639576B true CN112639576B (zh) 2022-11-08

Family

ID=69640630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097075.2A Expired - Fee Related CN112639576B (zh) 2018-08-30 2018-08-31 结构光深度感测

Country Status (4)

Country Link
US (1) US10607353B2 (zh)
EP (1) EP3844555A4 (zh)
CN (1) CN112639576B (zh)
WO (1) WO2020046368A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613706B (zh) * 2019-01-28 2021-05-07 京东方科技集团股份有限公司 针对智能头戴设备的调整方法、设备及存储介质
US11796829B1 (en) 2019-10-31 2023-10-24 Meta Platforms Technologies, Llc In-field illuminator for eye depth sensing
US11108977B1 (en) 2020-02-20 2021-08-31 Facebook Technologies, Llc Dual wavelength eye imaging
WO2021188926A1 (en) 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US20220343690A1 (en) * 2021-04-21 2022-10-27 Tascent, Inc. Thermal based presentation attack detection for biometric systems
US20240093984A1 (en) * 2022-03-15 2024-03-21 Meta Platforms Technologies, Llc Fringe projector for depth sensing
US11852824B2 (en) * 2022-04-04 2023-12-26 Microsoft Technology Licensing, Llc Eye-imaging system with switchable hot mirrors
US12001024B2 (en) * 2022-10-12 2024-06-04 Snap Inc. Energy-efficient adaptive 3D sensing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105408805A (zh) * 2013-07-26 2016-03-16 西铁城控股株式会社 光源装置以及投影装置
CN106716226A (zh) * 2014-09-16 2017-05-24 微软技术许可有限责任公司 用于衍射波导显示器的紧凑型投影光引擎
CN106716227A (zh) * 2014-07-31 2017-05-24 斯蒂芬·P·麦格鲁 通过漫射介质的图像及波场投影

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7364301B2 (en) * 2004-11-11 2008-04-29 Delphi Technologies, Inc. Vehicular optical system
US8922780B2 (en) * 2009-05-14 2014-12-30 Andover Photonics, Inc. Shape measurement using microchip based fringe projection
KR101993565B1 (ko) * 2010-12-22 2019-06-26 시리얼 테크놀로지즈 에스.에이. 관찰자 트래킹을 위한 조합된 광변조 장치
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US20140168260A1 (en) 2012-12-13 2014-06-19 Paul M. O'Brien Waveguide spacers within an ned device
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2015184561A (ja) 2014-03-25 2015-10-22 ソニー株式会社 導光装置、画像表示装置及び表示装置
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016157486A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
JP6524223B2 (ja) * 2015-06-01 2019-06-05 オリンパス株式会社 干渉縞投影装置及び計測装置
US10552676B2 (en) * 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
WO2017079329A1 (en) * 2015-11-04 2017-05-11 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US10152121B2 (en) 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10303246B2 (en) * 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
JPWO2017183181A1 (ja) * 2016-04-22 2019-02-28 オリンパス株式会社 三次元形状測定装置
JP6880174B2 (ja) 2016-08-22 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
CN114114691A (zh) * 2017-03-22 2022-03-01 奇跃公司 动态视场可变聚焦显示系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105408805A (zh) * 2013-07-26 2016-03-16 西铁城控股株式会社 光源装置以及投影装置
CN106716227A (zh) * 2014-07-31 2017-05-24 斯蒂芬·P·麦格鲁 通过漫射介质的图像及波场投影
CN106716226A (zh) * 2014-09-16 2017-05-24 微软技术许可有限责任公司 用于衍射波导显示器的紧凑型投影光引擎

Also Published As

Publication number Publication date
WO2020046368A1 (en) 2020-03-05
US10607353B2 (en) 2020-03-31
CN112639576A (zh) 2021-04-09
US20200074651A1 (en) 2020-03-05
EP3844555A4 (en) 2021-10-20
EP3844555A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
CN112639576B (zh) 结构光深度感测
JP6641361B2 (ja) 切換え式回折格子を利用した導波路アイトラッキング
US10339631B2 (en) Image demosaicing for hybrid optical sensor arrays
WO2020041067A1 (en) Diffractive gratings for eye-tracking illumination through a light-guide
US20170295362A1 (en) Binocular image alignment for near-eye display
US10409074B2 (en) Near-to-eye display with steerable phased arrays
US11669159B2 (en) Eye tracker illumination through a waveguide
US20210258457A1 (en) Selective power efficient three-dimensional imaging
US11516457B2 (en) Switchable fringe pattern illuminator
US20230064721A1 (en) Scanning self-mixing interferometry with waveguide
US10585284B1 (en) Systems and methods to provide an interactive environment over a wide field of view
US20230119935A1 (en) Gaze-guided image capture
US20240093984A1 (en) Fringe projector for depth sensing
US20240192493A1 (en) Pupil-steering for three-dimensional (3d) resolution enhancement in single photon avalanche diode (spad) eye tracking (et)
US11044460B1 (en) Polychromatic object imager
US20240319513A1 (en) Multi-directional waveguide eye tracking system
US20240264456A1 (en) Accommodation state of eye from polarized imaging
US20240210677A1 (en) Ultrafast illumination for structured light based eye tracking
US20230244185A1 (en) Phase plate and fabrication method for color-separated laser backlight in display systems
US20240179284A1 (en) Dual-path disparity sensor
US20240261147A1 (en) Pupil-aware eye tracking for eye safety
US20240344823A1 (en) Dynamic profilometric imaging using multiscale patterns
US20240184124A1 (en) Spatial polarization display for varifocal system
US20230314716A1 (en) Emission of particular wavelength bands utilizing directed wavelength emission components in a display system
US20230053107A1 (en) Angular light sensor and eye-tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221108