CN111226436A - 具有用于深度感测的可编程衍射光学元件的照相机组件 - Google Patents

具有用于深度感测的可编程衍射光学元件的照相机组件 Download PDF

Info

Publication number
CN111226436A
CN111226436A CN201880065785.7A CN201880065785A CN111226436A CN 111226436 A CN111226436 A CN 111226436A CN 201880065785 A CN201880065785 A CN 201880065785A CN 111226436 A CN111226436 A CN 111226436A
Authority
CN
China
Prior art keywords
light
pdoe
diffracted
structured light
dca
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880065785.7A
Other languages
English (en)
Other versions
CN111226436B (zh
Inventor
安德鲁·马修·巴尔达居
约瑟夫·达根
奇纳·哈泽格
刘非
马克·蒂莫西·沙利文
西蒙·莫里斯·尚德·魏斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111226436A publication Critical patent/CN111226436A/zh
Application granted granted Critical
Publication of CN111226436B publication Critical patent/CN111226436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/106—Scanning systems having diffraction gratings as scanning elements, e.g. holographic scanners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

一种用于局部区域的深度感测的深度照相机组件(DCA)，包括结构化光发生器、成像器件和控制器。结构化光发生器用结构化光图案照射局部区域。结构化光发生器包括可编程衍射光学元件(PDOE)，其使用光束生成衍射扫描光束。PDOE用作动态衍射光栅，该动态衍射光栅动态调整光束的衍射以生成不同图案的衍射扫描光束。衍射扫描光束作为结构化光图案被投影到局部区域中，其中结构化光图案基于PDOE动态可调整。成像器件捕获从局部区域中的对象反射的结构化光图案的至少一部分的图像。控制器基于捕获的图像确定对象的深度信息。

Description

具有用于深度感测的可编程衍射光学元件的照相机组件
背景
本公开总体上涉及深度感测，并且具体涉及具有用于三维深度感测的可编程衍射光学元件(PDOE)的照相机组件。
为了在使用头戴式显示器(HMD)时获得引人入胜(compelling)的深度感测用户体验，创建一种提供实时动态可调的照明图案的扫描器件是非常重要的。大多数深度感测方法依赖于主动照明和检测。深度感测的传统方法包括使用结构化光或飞行时间(time-of-flight)技术的机械扫描或固定衍射光学图案投影。基于飞行时间的深度感测使用基于机械的反射镜器件(扫描仪)向对象空间发送短脉冲。基于飞行时间的深度感测还使用高速检测器对来自对象的反向散射光进行时间门控(time-gate)，以创建高分辨率深度图。然而，基于机械的扫描仪在扫描速度、实时重构和机械稳定性方面表现不佳。基于固定结构化光的深度感测使用衍射光学元件来生成投影到对象空间中的静态(固定)图案的结构化光。基于固定结构化光的深度感测还使用预先存储的查找表来计算并提取深度图。然而，基于固定结构化光和衍射光学元件的深度感测对于需要调整照明图案的动态深度感测来说不够稳健(robust)。
概述
深度照相机组件(DCA)确定与局部区域中的一个或更多个对象相关联的深度信息。DCA包括结构化光发生器、成像器件和控制器。结构化光发生器被配置成根据发射指令用结构化光图案(例如，点图案、线图案等)照射局部区域。结构化光发生器包括照明源、可编程衍射光学元件(PDOE)和投影组件。照明源被配置成发射光束。PDOE部分基于发射指令从光束生成衍射扫描光束。PDOE用作动态衍射光栅，该动态衍射光栅动态调整光束的衍射以生成不同图案的衍射扫描光束。投影组件被配置成将衍射扫描光束作为结构化光图案投影到局部区域中，结构化光图案基于PDOE动态可调整。成像器件被配置成捕获从局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像。控制器可以耦合到结构化光发生器和成像器件。控制器生成发射指令并将发射指令提供给结构化光发生器。控制器还被配置成部分基于捕获的一个或更多个图像来确定一个或更多个对象的深度信息。
头戴式显示器(HMD)还可以集成DCA。HMD还包括电子显示器和光学组件。HMD可以是例如，虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或它们的某种组合。电子显示器被配置成发射图像光。光学组件被配置成将图像光导向与用户眼睛位置相对应的HMD的出射光瞳(exit pupil)，图像光包括由DCA确定的局部区域中一个或更多个对象的深度信息。
在涉及深度照相机组件(DCA)、方法和头戴式显示器(HMD)的所附权利要求中具体公开了根据本发明的实施例，其中，在一个权利要求类别(例如，DCA)中提到的任何特征也可以在另一个权利要求类别(例如方法、HMD、系统、存储介质、和计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
在根据本发明的实施例中，一种深度照相机组件(DCA)可以包括：
结构化光发生器，其被配置成根据发射指令用结构化光图案照射局部区域，该结构化光发生器包括：
照明源，其被配置成发射光束，
可编程衍射光学元件(PDOE)，其部分基于发射指令来从光束生成衍射扫描光束，PDOE用作动态衍射光栅，该动态衍射光栅动态调整光束的衍射以生成不同图案的衍射扫描光束，以及
投影组件，其被配置成将衍射扫描光束作为结构化光图案投影到局部区域中，结构化光图案基于PDOE动态可调整；
成像器件，其被配置成捕获从局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；以及
控制器，其被配置成：
生成发射指令，
向结构化光发生器提供发射指令，以及
部分基于捕获的一个或更多个图像来确定一个或更多个对象的深度信息。
PDOE可以选自由空间光调制器、硅基液晶(LCOS)器件、微机电(MEM)器件和数字微镜器件(DMD)组成的组。
PDOE可以包括基于液晶(LC)的衍射光学元件；并且控制器可以动态调整施加到该基于LC的衍射光学元件的电压电平，以调整该基于LC的衍射光学元件的衍射角，从而形成具有不同图案的衍射扫描光束。
PDOE可以包括空间光调制器，该空间光调制器基于具有空间频率的调制信号对光束进行空间调制，以形成作为调制光的衍射扫描光束；并且控制器可以动态调整施加到光束的调制信号的空间频率，以形成具有不同图案的调制光。
PDOE可以包括微镜单元的阵列；并且控制器可以部分基于发射指令，动态地重新配置阵列中的第一多个单元以吸收一部分光束，并且动态地重新配置阵列中的第二多个单元以反射另一部分光束，从而形成具有不同图案的衍射扫描光束。
照明源可以包括：
光发射器，其被配置成部分基于发射指令发射光束；
准直组件，其被配置成将光束准直成准直光；以及
棱镜，其被配置成将准直光导入PDOE。
照明源可以包括：
光发射器，其被配置成部分基于发射指令发射光束，以及
单个光学元件，其被配置成：
准直光束以生成准直光，以及
将准直光导入PDOE。
PDOE可以部分基于发射指令以满足Bragg匹配条件的角度衍射入射到PDOE的光束，以形成衍射扫描光束。
光束可以是时间调制的，以提供将是时间调制的结构化光图案。
控制器可以被配置成：
基于所确定的深度信息，控制动态衍射光栅来调整光束的衍射。
控制器可以被配置成：
基于局部区域中一个或更多个对象的定位信息，控制动态衍射光栅来调整光束的衍射。
DCA可以是头戴式显示器的部件。
在根据本发明的实施例中，一种方法可以包括：
生成发射指令；
部分基于发射指令，通过使用可编程衍射光学元件(PDOE)衍射光束来从该光束生成衍射扫描光束，PDOE用作动态衍射光栅，该动态衍射光栅动态调整光束的衍射，以生成不同图案的衍射扫描光束；
将衍射扫描光束作为结构化光图案投影到局部区域中；
捕获从局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；以及
至少部分基于捕获的一个或更多个图像来确定一个或更多个对象的深度信息。
PDOE可以包括基于液晶(LC)的衍射光学元件；并且该方法可以包括：动态调整施加到该基于LC的衍射光学元件的电压电平，以调整该基于LC的衍射光学元件的衍射角，从而形成具有不同图案的衍射扫描光束。
该方法可以包括：
基于具有空间频率的调制信号，使用被配置作为空间光调制器的PDOE来调制光束，以形成作为调制光的衍射扫描光束；以及
动态调整施加到光束的调制信号的空间频率，以形成具有不同图案的调制光。
PDOE可以包括微镜单元的阵列，并且该方法可以包括：
部分基于发射指令，动态地重新配置阵列中的第一多个单元以吸收一部分光束，并且动态地重新配置阵列中的第二多个单元以反射另一部分光束，从而形成具有不同图案的衍射扫描光束。
该方法可以包括：
部分基于发射指令发射光束；
准直光束以生成准直光；以及
将准直光导入PDOE。
该方法可以包括：
基于所确定的深度信息，控制动态衍射光栅来调整光束的衍射。
该方法可以包括：
基于局部区域中一个或更多个对象的定位信息，控制动态衍射光栅来调整光束的衍射。
在根据本发明的实施例中，一种头戴式显示器(HMD)可以包括：
电子显示器，其被配置成发射图像光；
光发生器，其被配置成根据发射指令用结构化光图案照射局部区域，该光发生器包括：
照明源，其被配置成发射光束，
可编程衍射光学元件(PDOE)，其部分基于发射指令来从光束生成衍射扫描光束，PDOE用作动态衍射光栅，该动态衍射光栅动态调整光束的衍射以生成不同图案的衍射扫描光束，以及
投影组件，其被配置成将衍射扫描光束作为结构化光图案投影到局部区域中，结构化光图案基于PDOE动态可调整；
成像器件，其被配置成捕获从局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；
控制器，其被配置成：
生成发射指令，
向光发生器提供发射指令，和
部分基于捕获的一个或更多个图像来确定一个或更多个对象的深度信息；以及
光学组件，其被配置成将图像光导向与用户眼睛位置相对应的HMD的出射光瞳，图像光包括所确定的深度信息。
在本发明的进一步的实施例中，一个或更多个计算机可读非暂时性存储介质体现软件，该软件在被执行时可操作来在根据本发明或任何上述实施例的系统中执行。
在本发明的进一步的实施例中，计算机实现的方法使用根据本发明或任何上述实施例的系统。
在本发明的进一步的实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品在根据本发明或任何上述实施例的系统中使用。
附图简述
图1是根据实施例的头戴式显示器(HMD)的示意图。
图2是根据实施例的图1中HMD的前刚性主体的横截面。
图3A是根据实施例的包括可编程衍射光学元件(PDOE)的示例深度相机组件(DCA)。
图3B是根据实施例的包括反射PDOE的示例DCA。
图3C是根据实施例的包括声光调制器(AOM)和PDOE的示例DCA。
图4是示出根据实施例的确定局部区域中对象的深度信息的过程的流程图。
图5是根据实施例的控制台在其中操作的HMD系统的框图。
附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到本文示出的结构和方法的可选的实施例可以被采用而不偏离本文所述的本公开的原理和所推崇的益处。
详细描述
一种深度照相机组件(DCA)，用于确定围绕部分或全部DCA的局部区域中对象的深度信息。DCA包括照明源、照相机和控制器。照明源包括光源、可编程衍射光学元件(PDOE)和投影组件。PDOE可以是例如，空间光调制器、硅基液晶(LCOS)、微机电(MEM)器件、能够产生不同光图案的某种其他器件或者它们的某种组合。在一些实施例中，照明源包括光源、准直器(collimator)和将准直光导向PDOE的棱镜。在其他实施例中，照明源包括光源和具有单个混合光学元件的透镜，该混合光学元件用于准直并将准直光束导向PDOE。位于PDOE前方的投影组件将PDOE生成的光投影到局部区域中，其中所投影的光的图案基于PDOE动态可调整。控制器部分基于捕获的一个或更多个图像来确定深度信息，该一个或更多个图像是从局部区域中的对象反射的至少一部分可调整光图案的图像。
在一些实施例中，DCA被集成到头戴式显示器(HMD)中，该HMD捕获描述围绕部分或全部HMD的局部区域中的深度信息的数据。HMD可以是例如，虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其某种组合的一部分。HMD还包括电子显示器和光学组件。电子显示器被配置成发射图像光。光学组件被配置成将图像光导向与用户眼睛位置相对应的HMD的出射光瞳，图像光包括由DCA确定的局部区域中对象的深度信息。
图1是根据实施例的HMD 100的示意图。HMD 100可以是例如，VR系统、AR系统、MR系统或其某种组合的一部分。在描述AR系统和/或MR系统的实施例中，HMD 100前侧面102的一些部分在可见光频带(约380nm至750nm)中至少部分透光，并且HMD 100的位于HMD 100前侧面102和用户眼睛之间的部分至少部分地透光(例如，部分透光的电子显示器)。HMD 100包括前刚性主体105、带110和参考点115。HMD 100还包括DCA，该DCA被配置成确定围绕部分或全部HMD 100的局部区域的深度信息。HMD 100还包括成像孔120和照明孔125，并且DCA的照明源通过照明孔125发射光(例如，结构化光图案)。DCA的成像器件通过成像孔120捕获来自照明源的从局部区域反射的光。如结合图2-图4更详细讨论的，通过照明孔125从DCA的照明源发射的光包括结构化光图案。还如结合图2-图4更详细讨论的，从局部区域反射通过成像孔120并被DCA的成像器件捕获的光包括反射的结构化光图案的至少一部分。
前刚性主体105包括一个或更多个电子显示元件(图1中未示出)、一个或更多个集成的眼睛跟踪系统(图1中未示出)、惯性测量单元(IMU)130、一个或更多个位置传感器135和参考点115。在图1所示的实施例中，位置传感器135位于IMU 130内，并且IMU 130和位置传感器135对于HMD 100的用户都不可见。IMU 130是基于从一个或更多个位置传感器135接收的测量信号生成快速校准数据的电子器件。位置传感器135响应于HMD 100的运动而生成一个或更多个测量信号。位置传感器135的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 130的误差校正的一种类型的传感器、或它们的某种组合。位置传感器135可以位于IMU 130的外部、IMU 130的内部或者这两种位置的某种组合。
图2是图1中所示的HMD 100的前刚性主体105的横截面200。如图2所示，前刚性主体105包括一起向出射光瞳225提供图像光的电子显示器210和光学组件220。出射光瞳225是空间中将被用户的眼睛230占据的区域。在一些情形中，出射光瞳225也可以被称为视窗(eye-box)。为了说明的目的，图2示出了与单只眼睛230相关联的横截面200，但是与光学组件220分离的另一个光学组件220向用户的另一只眼睛提供改变的图像光。
电子显示器210生成图像光。在一些实施例中，电子显示器210包括调整生成的图像光的焦点的光学元件。电子显示器210根据从控制台(图2中未示出)接收的数据向用户显示图像。在各种实施例中，电子显示器210可以包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。电子显示器210的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、某种其他显示器、投影仪、或它们的某种组合。电子显示器210也可以包括光圈(aperture)、菲涅尔透镜(Fresnel lens)、凸透镜、凹透镜、衍射元件、波导、滤光器、偏振器、漫射器、光纤锥(fiber taper)、反射面、偏振反射面或影响从电子显示器发射的图像光的任何其他合适的光学元件。在一些实施例中，一个或更多个显示器块光学元件可以具有一个或更多个涂层，例如抗反射涂层。
光学组件220放大从电子显示器210接收的光，校正与图像光相关联的光学像差，并将校正的图像光呈现给HMD 100的用户。光学组件220的至少一个光学元件可以是光圈、菲涅尔透镜、折射透镜、反射面、衍射元件、波导、滤光器或影响从电子显示器210发射的图像光的任何其他合适的光学元件。此外，光学组件220可以包括不同光学元件的组合。在一些实施例中，光学组件220中的一个或更多个光学元件可以具有一个或更多个涂层，例如抗反射涂层、二向色涂层(dichroic coatings)等。光学组件220对图像光的放大允许电子显示器210的元件比更大的显示器物理上更小、重量更轻、功耗更低。另外，放大可以增加所显示媒体的视场。例如，所显示媒体的视场使得使用几乎所有的用户视场(例如，110度对角)，并且在某些情况下使用所有的用户视场来呈现所显示的媒体。在一些实施例中，光学组件220被设计成使得其有效焦距大于与电子显示器210的间距，这放大了由电子显示器210投影的图像光。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大量。
如图2所示，前刚性主体105还包括DCA 240，用于确定围绕部分或全部HMD 100的局部区域245中的一个或更多个对象的深度信息。DCA240包括结构化光发生器250、成像器件255和控制器260，控制器260可以耦合到结构化光发生器250和成像器件255。结构化光发生器250通过照明孔125发射光。根据本公开的实施例，结构化光发生器250被配置成根据控制器260生成的发射指令用结构化光265照射局部区域245。控制器260被配置成基于发射指令来控制结构化光发生器250的某些部件的操作。控制器260向结构化光发生器250的一个或更多个衍射光学元件提供发射指令，以动态调整照射局部区域245的结构化光265的图案。结合图3A-图3C和图4公开了关于控制结构化光发生器250的一个或更多个衍射光学元件和动态调整结构化光265的图案的更多细节。
结构化光发生器250可以包括多个发射器，每个发射器发射具有某些特性(例如波长、偏振、相干性、时间特性(temporal behavior)等)的光。发射器之间的特性可以相同或不同，并且发射器可以同时或单独进行操作。在一个实施例中，多个发射器可以是例如，激光二极管(例如，边缘发射器)、无机或有机LED、垂直腔表面发射激光器(VCSEL)、或某种其他源。在一些实施例中，结构化光发生器250中的单个发射器或多个发射器可以发射一个或更多个光束。结合图3A公开了关于包括结构化光发生器250的DCA 240的更多细节。
成像器件255包括一个或更多个照相机，该一个或更多个照相机被配置成通过成像孔120捕获从局部区域245反射的结构化光265的至少一部分。成像器件255捕获用结构化光265照射的局部区域245中一个或更多个对象的一个或更多个图像。耦合到成像器件255的控制器260还被配置成基于反射的结构化光的被捕获部分来确定一个或更多个对象的深度信息。在一些实施例中，控制器260向控制台(图2中未示出)和/或HMD 100的适当模块(例如，变焦模块，图2中未示出)提供确定的深度信息。控制台和/或HMD 100可以利用深度信息来例如，生成用于在电子显示器210上呈现的内容。
在一些实施例中，前刚性主体105还包括眼睛跟踪系统(图2中未示出)，该眼睛跟踪系统确定用户眼睛230的眼睛跟踪信息。所确定的眼睛跟踪信息可以包括关于用户眼睛230在视窗中的定向的信息，即关于眼睛凝视角度的信息。视窗表示HMD输出端处的三维体积，用户眼睛位于该体积中以接收图像光。在一个实施例中，用结构化光照射用户眼睛230。然后，眼睛跟踪系统可以使用反射的结构化光在所捕获的图像中的定位来确定眼睛位置和眼睛凝视。在另一个实施例中，眼睛跟踪系统基于在多个时刻上捕获的图像光幅度来确定眼睛位置和眼睛凝视。
在一些实施例中，前刚性主体105还包括变焦模块(图2中未示出)。变焦模块可以基于眼睛跟踪信息来调整在电子显示器210上显示的一个或更多个图像的焦点。在一个实施例中，变焦模块基于所确定的眼睛跟踪信息，通过调整光学组件220的焦距来调整所显示图像的焦点，并减轻视觉辐辏调节冲突(vergence-accommodation conflict)。在另一个实施例中，变焦模块基于所确定的眼睛跟踪信息，通过执行一个或更多个图像的视网膜凹式渲染(foveated rendering)来调整所显示图像的焦点。在又一实施例中，变焦模块利用来自控制器260的深度信息来生成用于在电子显示器210上呈现的内容。
图3A是根据实施例的示例DCA 300。DCA 300被配置用于使用具有动态可调整图案的结构化光在大视场上进行深度感测。DCA 300包括结构化光发生器305、成像器件310以及耦合到结构化光发生器305和成像器件310的控制器315。DCA 300可以被配置为图1中的HMD100的部件。因此，DCA 300可以是图2中DCA 240的实施例；结构化光发生器305可以是图2中结构化光发生器250的实施例；并且成像器件310可以是图2中成像器件255的实施例。
结构化光发生器305被配置成根据来自控制器315的发射指令用结构化光照射并扫描局部区域320。结构化光发生器305包括照明源325、PDOE330和投影组件335。照明源325生成光并将光导向PDOE 330。照明源325包括光发射器340和光束调节组件345。
光发射器340被配置成部分基于来自控制器315的发射指令来发射光束350。在一些实施例中，光发射器340包括发射红外光谱中的光束350的激光二极管阵列。在其他实施例中，光发射器340包括发射可见光谱中的光束350的激光二极管阵列。在一些实施例中，光发射器发射光束350作为具有限定图案(例如，点图案或线图案)的结构化光。替代地或者另外地，光发射器340部分基于来自控制器315的发射指令来发射作为时间调制光的光束，以除了结构化照明之外还生成对局部区域320的时间调制照明。
光束调节组件345收集从照明发射器340发射的光束350，并将光束350导向PDOE330的一部分。光束调节组件345由一个或更多个光学元件(透镜)组成。在一些实施例中，光束调节组件345包括准直组件和棱镜(图3A中未示出)。准直组件包括将光束350准直成准直光的一个或更多个光学元件(透镜)。棱镜是将准直光导入PDOE 330的光学元件。在替代实施例中，光束调节组件345包括单个混合光学元件(透镜)，其既准直光束350以生成准直光，又将准直光导入PDOE 330。
PDOE 330部分基于来自控制器315的发射指令，从光束350生成衍射扫描光束355。PDOE 330用作动态衍射光栅，该动态衍射光栅动态调整光束350的衍射，以生成不同图案的衍射扫描光束355。通过生成衍射扫描光束355的不同图案，照射局部区域320的结构化光图案360随时间变化。具有动态调整衍射扫描光束355的图案和结构化光图案360的能力，为扫描局部区域320中的各种类型的对象和不同区域提供了灵活性。PDOE330可以选自由硅基液晶(LCOS)器件、空间光调制器、数字微镜器件和微机电(MEM)器件组成的组。
在一些实施例中，被实现为LCOS器件的PDOE 330可以包括基于液晶(LC)的衍射光学元件(图3A中未示出)。施加到基于LC的衍射光学元件的电压电平可以(例如，通过控制器315)被动态调整。通过动态调整电压电平，PDOE 330的基于LC的衍射光学元件的衍射角实时变化，以在PDOE 330的输出端处形成衍射扫描光束355，该衍射扫描光束355具有随时间变化的图案。
在其他实施例中，PDOE 330可以包括空间光调制器(图3A中未示出)。空间光调制器基于具有空间频率的调制信号对光束350进行空间调制，以形成作为调制光的衍射扫描光束355。调制信号的空间频率可以是动态可调整的(例如，经由控制器315)，以形成具有随时间变化的图案的调制光(即，衍射扫描光束355和结构化光360)。
在其他实施例中，被实现为数字微镜器件(DMD)或MEM器件的PDOE 330可以包括微镜单元的阵列。阵列中的第一多个微镜单元可以(例如，经由控制器315)被动态地重新配置以吸收入射到PDOE 330的一部分光束350。此外，阵列中的第二多个微镜单元可以(例如，经由控制器315)被动态地重新配置以反射(衍射)入射到PDOE 330的另一部分光束350。通过在多个时刻重新配置PDOE 330中用于吸收和反射入射光的微镜单元的不同子集，可以生成具有在多个时刻上变化的图案的衍射扫描光束355(和结构化光360)。
在一些实施例中，PDOE 330可以与另一个不可编程的DOE或其他不可编程的光学元件(图3A中未示出)组合。不可编程DOE或光学元件可以位于例如，PDOE 330的前面。在这种情形中，结构化光图案360以“瓦片(tile)+平铺器(tiler)”架构形成，其中结构化光图案360的平铺器或扇出(fan-out)是可编程的。通过将PDOE与不可编程的DOE或光学元件组合，由结构化光图案360照射的局部区域320的视场更宽。
为了优选的衍射效率，PDOE 330可以被配置成部分基于来自控制器315的发射指令，以满足Bragg匹配条件的角度衍射入射到PDOE 330的至少一部分的光束350来形成衍射扫描光束355。在一些实施例中，PDOE330可以被配置成通过以满足Bragg匹配条件的几何结构将光束350定向到例如PDOE 330中的液晶，来生成衍射扫描光束355作为偏振光(例如，圆偏振光)。注意，基于PDOE 330中的液晶，衍射扫描光束355可以是右旋圆偏振的或左旋圆偏振的。在一些实施例中，入射到PDOE 330的光束350的偏振态(SOP)匹配Bragg角的偏振本征态(eigenstate)，以实现PDOE330的最大衍射效率。
投影组件335位于PDOE 330的前面。投影组件335包括一个或更多个光学元件(透镜)。投影组件335将衍射扫描光束355作为结构化光图案360投影到局部区域320中(例如，在宽视场上)。结构化光图案360基于PDOE 330随时间动态可调整。结构化光图案360照射局部区域320的一些部分，包括局部区域320中的一个或更多个对象。由于结构化光图案360随时间动态可调整，局部区域320的不同部分可以在不同的时刻被照射。基于来自局部区域320中的一个或更多个对象对结构化光图案360的反射，生成反射的结构化光图案365。
成像器件310通过捕获反射的结构化光图案365的至少一部分来捕获局部区域320中的一个或更多个对象的一个或更多个图像。在一个实施例中，成像器件310是被配置成在红外光谱中捕获图像的红外照相机。在另一个实施例中，成像器件310被配置成捕获可见光谱的图像光。成像器件310可以包括电荷耦合器件(CCD)检测器、互补金属氧化物半导体(CMOS)检测器或某些其他类型的检测器(图3A中未示出)。成像器件310可以被配置成以kHz至MHz范围内的帧速率进行操作，用于快速检测局部区域320中的对象。在一些实施例中，成像器件310包括二维检测器像素阵列，用于捕获反射的结构化光图案365的至少一部分。在其他实施例中，成像器件310包括一个以上的照相机，用于捕获反射的结构化光图案365的至少一部分。
在一些实施例中，成像器件310可以包括偏振元件(图3A中未示出)，该偏振元件被放置在照相机前面，用于接收并传播特定偏振的反射的结构化光图案365。偏振元件可以是线偏振器、圆偏振器、椭圆偏振器等。偏振元件可以被实现为(吸收性、反射性)薄膜偏振器、与线偏振器组合的四分之一波片(quarter wave plate)等。反射的结构化光图案365可以选自由(垂直和水平)线偏振光、右旋圆偏振光、左旋圆偏振光和椭圆偏振光组成的组。应当注意，反射的结构化光图案365的偏振可以不同于照射局部区域320的结构化光图案360的偏振。
控制器315控制图3A中DCA 300的各个部件的操作。在一些实施例中，控制器315向光发射器340提供发射指令，以控制发射的光束350的强度、光束350的(空间)调制、光发射器340被激活的持续时间等。控制器315还可以创建用于控制PDOE 330的操作的发射指令，以动态调整衍射扫描光束355的图案和照射局部区域320的结构化光图案360。在一些实施例中，控制器315可以部分基于发射指令来控制PDOE 330的操作，使得衍射扫描光束355的强度是可编程的。在其他实施例中，控制器315可以部分基于发射指令来控制PDOE 330的操作，使得衍射扫描光束355的相位是可编程的。
在一些实施例中，控制器315控制施加到具有基于LC的衍射光学元件的PDOE 330的电压电平，以动态改变基于LC的衍射光学元件的衍射角，从而形成具有随时间变化的图案的衍射扫描光束355。在其他实施例中，控制器315随时间修改经由包括空间光调制器的PDOE 330施加到光束350的调制信号的空间频率，以动态调整衍射扫描光束355的图案和结构化光图案360。在又一些其他实施例中，控制器315动态地重新配置PDOE 330中的微镜单元子集。通过在多个时刻重新配置用于吸收和反射入射光的微镜单元的不同子集，控制器315动态调整衍射扫描光束355的图案和结构化光图案360。
如图3A所示，控制器315还耦合到成像器件310，并且可以被配置成确定局部区域320中一个或更多个对象的深度信息。控制器315部分基于成像器件310捕获的一个或更多个图像来确定一个或更多个对象的深度信息。控制器315可以被配置成基于由成像器件310捕获的、由于局部区域320中的一个或更多个对象的形状而失真的光的相移图案来确定深度信息，并且使用三角测量计算来获得局部区域320的深度图。替代地，控制器315可以被配置成基于飞行时间信息和关于由于一个或更多个对象的形状而失真的反射的结构化光图案365的信息来确定深度信息。在一些实施例中，控制器315可以被配置成基于反射的结构化光图案365的偏振信息和/或结构化光图案360的偏振信息来确定深度信息。
在一些实施例中，基于局部区域320中的一个或更多个对象的确定的深度信息，控制器315可以(例如，部分基于发射指令)控制PDOE 330作为动态衍射光栅的操作，以调整光束350的衍射。因此，控制器315可以指示PDOE 330基于所确定的深度信息的质量、局部区域320中一个或更多个对象的表面类型等来动态调整光束350的衍射。另外地或替代地，控制器315可以(例如，部分基于发射指令)控制PDOE 330作为动态衍射光栅的操作，以基于局部区域320中一个或更多个对象的定位信息来调整光束350的衍射。因此，控制器315和PDOE330基于局部区域320中每个对象的定位动态调整结构化光图案360。
在一些实施例中，控制器315可以控制PDOE 330的操作，使得结构化光图案360指向局部区域320的一个或多个感兴趣区。在其他实施例中，控制器315可以控制PDOE 330的操作，以根据到局部区域320中感兴趣对象的距离(例如，沿着z维度)来调整结构化光图案360的密度。在又一些其他实施例中，控制器315可以控制PDOE 330的操作，以降低结构化光图案360的密度，从而节省功率，例如成像器件310和控制器315捕获反射的结构化光图案365的一部分和进行深度确定所消耗的功率。在又一些其他实施例中，控制器315可以控制PDOE 330的操作，以增加结构化光图案360的密度，从而增加局部区域320的深度图中深度点的数量。在又一些其他实施例中，控制器315可以控制PDOE 330的操作，以改变结构化光图案360，使其更适用于例如，与房间或对象重建相对的手部跟踪。
图3B示出了根据实施例的DCA 300的结构化光发生器305，该结构化光发生器305包括照明源325和被实现为反射式空间光调制器的PDOE330。照明源325向反射式PDOE 330的一部分发射光束350。在一些实施例中，照明源325包括准直组件(图3B中未示出)，该准直组件将光束350作为准直光导向反射式PDOE 330。图3B所示的反射式PDOE 330反射入射到PDOE 330的光束350，以生成结构化光图案360。为了简化说明，尽管图3B所示的结构化光发生器305也可以包括将结构化光图案360投影到局部区域320中的投影组件335，但图3B中省略了图3A所示的投影组件335。图3B所示的反射式PDOE 330可以被实现为LCOS器件、空间光调制器、数字微镜器件或某个其他可编程的反射光学元件。控制器315可以创建用于控制反射式PDOE 330的操作的发射指令，以动态调整结构化光图案360。
图3C示出了根据实施例的DCA 300的结构化光发生器305，该结构化光发生器305包括放置在PDOE 330前面的声光调制器(AOM)370。照明源325向AOM 370的一部分发射光束350。AOM 370将光束350衍射到一个或更多个维度。AOM 370由一个或更多个声光器件组成，这些声光器件通过衍射光束350在一维或二维生成衍射扫描光束375。衍射扫描光束375可以包括一阶衍射扫描光束。替代地，衍射扫描光束375可以包括比一阶更高阶的衍射扫描光束。
在一些实施例中，AOM 370中的每个声光器件被配置用作动态衍射光栅，该动态衍射光栅部分基于来自控制器315的发射指令来衍射光束350以形成衍射扫描光束375。AOM370中的每个声光器件可以包括换能器或换能器阵列以及一个或更多个衍射区域(图3C中未示出)。响应于发射指令中的至少一个射频，AOM 370中声光器件的换能器或换能器阵列可以被配置成在声光器件的一个或更多个衍射区域中生成至少一个声波，以形成动态衍射光栅。由AOM 370生成的衍射扫描光束375入射到PDOE 330的至少一部分，该至少一部分进一步对衍射扫描光束375进行衍射以生成更宽视场的衍射扫描光束355。投影组件335将衍射扫描光束355投影为照射局部区域320的结构化光图案360。
图4是示出根据实施例的确定局部区域中对象的深度信息的过程400的流程图。图4的过程400可以由DCA(例如，DCA 300)的部件执行。在其他实施例中，其他实体(例如，HMD和/或控制台)可以执行该过程的部分或全部步骤。同样，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。
DCA(例如，经由控制器)生成410发射指令。DCA可以向DCA内的照明源和PDOE提供发射指令。基于发射指令，照明源可以发射光束。基于发射指令，发射的光束可以具有特定的强度和/或(空间、时间等)调制。在一些实施例中，DCA生成发射指令，该发射指令包括关于施加到PDOE的基于LC的衍射光学元件的电压电平的信息。响应于发射指令中的电压电平，DCA调整PDOE的衍射角，以动态调整由PDOE生成的光的图案。在其他实施例中，DCA生成发射指令，该发射指令包括关于施加到光束的调制信号的空间频率的信息，以动态调整由PDOE的空间光调制器生成的光的图案。
DCA使用PDOE和发射指令生成420(例如，经由PDOE)衍射扫描光束。根据发射指令，PDOE用作动态衍射光栅，以动态调整光束的衍射从而生成不同图案的衍射扫描光束。在一些实施例中，PDOE选自由空间光调制器、LCOS器件、MEM器件和数字微镜器件(DMD)组成的组。在一些实施例中，PDOE包括基于LC的衍射光学元件。施加到基于LC的衍射光学元件的电压电平可以(例如，经由控制器)被改变以调整基于LC的衍射光学元件的衍射角度，从而生成具有不同图案的衍射扫描光束。在其他实施例中，PDOE包括空间光调制器，该空间光调制器基于具有空间频率的调制信号对光束进行空间调制，以生成作为调制光的衍射扫描光束。施加到光束的调制信号的空间频率可以(例如，经由控制器)被动态调整以生成具有不同图案的调制光。在又一些其他实施例中，PDOE包括微镜单元的阵列。阵列中的第一多个单元可以(例如，经由控制器)被动态地重新配置以吸收一部分光束，并且阵列中的第二多个单元可以(例如，经由控制器)被动态地重新配置以反射另一部分光束从而生成具有不同图案的衍射扫描光束。
DCA(例如，经由投影组件)将衍射扫描光束作为结构化光图案投影430到局部区域中。基于PDOE，照射局部区域的结构化光图案是动态可调整的。结构化光图案可以实时变化，以便在不同的时刻照射局部区域的不同部分。
DCA(例如，经由成像器件)捕获440从局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像。在一些实施例中，成像器件包括捕获一个或更多个图像的二维检测器像素阵列。在其他实施例中，成像器件包括用于捕获一个或更多个图像的一个以上的照相机。在一些实施例中，成像器件包括偏振元件和照相机，其中偏振元件位于照相机前面。偏振元件被配置成接收具有特定偏振的反射的结构化光图案的至少一部分，并将接收到的反射的偏振光部分传播到照相机。
DCA部分基于捕获的一个或更多个图像(例如，经由控制器)来确定450一个或更多个对象的深度信息。在一些实施例中，DCA基于关于由于一个或更多个对象的形状而失真的反射的结构化光图案的信息来确定一个或更多个对象的深度信息。DCA也可以部分基于反射的结构化光图案的捕获部分的偏振信息来确定一个或更多个对象的深度信息。
在一些实施例中，DCA被配置为HMD(例如，图1中的HMD 100)的一部分。在一个实施例中，DCA向耦合到HMD的控制台提供所确定的深度信息。控制台然后被配置成基于深度信息生成用于在HMD的电子显示器上呈现的内容。在另一个实施例中，DCA向HMD的模块提供所确定的深度信息，该模块基于深度信息生成用于在HMD的电子显示器上呈现的内容。在替代实施例中，DCA被集成到HMD作为AR系统的一部分。在这种情形中，DCA可以被配置成感测并显示佩戴HMD的用户头部后面的对象或者显示先前记录的对象。在又一其他实施例中，DCA被集成到HMD外部的基站或传感器条(sensor bar)中。在这种情形中，DCA可以被配置成感测佩戴HMD的用户的各个身体部位(例如，用户的下半身)。
系统环境
图5是控制台510在其中操作的HMD系统500的一个实施例的框图。HMD系统500可以在VR系统环境、AR系统环境、MR系统环境或它们的某种组合中操作。图5所示的HMD系统500包括HMD 505和耦合到控制台510的输入/输出(I/O)接口515。尽管图5示出了包括一个HMD505和一个I/O接口515的示例HMD系统500，但在其他实施例中，HMD系统500中可以包括任意数量的这些部件。例如，可以有多个HMD 505，每个HMD具有相关联的I/O接口515，其中每个HMD 505和I/O接口515都与控制台510通信。在替代配置中，HMD系统500中可以包括不同的和/或附加的部件。另外，在一些实施例中，结合图5所示的一个或更多个部件所描述的功能可以以不同于结合图5所描述的方式分布在部件之间。例如，控制台510的部分或全部功能由HMD 505提供。
HMD 505是头戴式显示器，其用计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)向用户呈现包括物理、现实世界环境的虚拟和/或增强视图的内容。在一些实施例中，所呈现的内容包括经由外部设备(例如，扬声器和/或头戴式耳机)呈现的音频，该外部设备从HMD 505、控制台510或两者接收音频信息，并基于音频信息来呈现音频数据。HMD 505可以包括可以刚性或非刚性地联接在一起的一个或更多个刚性主体。刚性主体之间的刚性联接使所联接的刚性主体充当单个刚性实体。相反，刚性主体之间的非刚性联接允许刚性主体相对于彼此移动。HMD 505的一个实施例是上面结合图1描述的HMD100。
HMD 505包括DCA 520、电子显示器525、光学组件530、一个或更多个位置传感器535、IMU 540、可选的眼睛跟踪系统545和可选的变焦模块550。HMD 505的一些实施例可以具有与结合图5所描述的部件不同的部件。另外，在其他实施例中，由结合图5所描述的各种部件提供的功能可以不同地分布在HMD 505的部件当中。
DCA 520捕获描述围绕部分或全部HMD 505的局部区域的深度信息的数据。DCA520可以使用数据(例如，基于结构化光图案的捕获的部分)来计算深度信息，或者DCA 520可以将该信息发送到另一个设备(例如控制台510)，控制台510可以使用来自DCA 520的数据来确定深度信息。
DCA 520包括结构化光发生器、成像器件和控制器。DCA 520的结构化光发生器被配置成根据发射指令用结构化光图案(例如，点图案、线图案等)照射局部区域。DCA 520的结构化光发生器包括照明源、PDOE和投影组件。照明源被配置成发射光束。PDOE部分基于发射指令从光束生成衍射扫描光束。PDOE用作动态衍射光栅，该动态衍射光栅动态调整光束的衍射以生成不同图案的衍射扫描光束。投影组件被配置成将衍射扫描光束作为结构化光图案投影到局部区域中，结构化光图案基于PDOE动态可调整。DCA 520的成像器件被配置成捕获从局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像。DCA 520的控制器可以耦合到结构化光发生器和成像器件。DCA 520的控制器生成发射指令，并将发射指令提供给结构化光发生器。DCA 520的控制器还被配置成部分基于捕获的一个或更多个图像来确定一个或更多个对象的深度信息。DCA 520是图2中的DCA 240或图3A-图3C中的DCA 300的实施例。
电子显示器525根据从控制台510接收的数据来向用户显示二维或三维图像。在各种实施例中，电子显示器525包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。电子显示器525的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、某种其他显示器、或它们的某种组合。在一些实施例中，电子显示器525可以代表图2中的电子显示器210。
光学组件530放大从电子显示器525接收的图像光、校正与图像光相关联的光学误差、并将校正的图像光呈现给HMD 505的用户。光学组件530包括多个光学元件。光学组件530中包括的示例光学元件包括：光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器、反射面或影响图像光的任何其他合适的光学元件。此外，光学组件530可以包括不同光学元件的组合。在一些实施例中，光学组件530中的一个或更多个光学元件可以具有一个或更多个涂层，例如部分反射涂层或抗反射涂层。
光学组件530对图像光的放大和聚焦允许电子显示器525比更大的显示器物理上更小、重量更轻并且消耗更少的功率。此外，放大可以增加由电子显示器525呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用几乎全部的用户视场(例如，大约110度对角)，并且在某些情形中使用全部的用户视场来被呈现。另外，在一些实施例中，可以通过添加或移除光学元件来调整放大量。
在一些实施例中，光学组件530可以被设计成校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差还可以包括球面像差、色差或由于透镜像场弯曲(lens field curvature)、散光或任何其他类型的光学误差引起的误差。在一些实施例中，被提供给电子显示器525用于显示的内容被预失真，并且当光学组件530从电子显示器525接收基于内容生成的图像光时，光学组件530校正失真。在一些实施例中，光学组件530可以代表图2中的光学组件220。
IMU 540是电子器件，其基于从一个或更多个位置传感器535接收的测量信号和从DCA 520接收的深度信息来生成指示HMD 505位置的数据。位置传感器535响应于HMD 505的运动生成一个或更多个测量信号。位置传感器535的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU540的误差校正的一种类型的传感器、或它们的某种组合。位置传感器535可以位于IMU 540的外部、IMU 540的内部或者其某种组合。
基于来自一个或更多个位置传感器535的一个或更多个测量信号，IMU 540生成指示相对于HMD 505的初始位置的HMD 505的估计的当前位置的数据。例如，位置传感器535包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，位置传感器535可以代表图1中的位置传感器135。在一些实施例中，IMU 540对测量信号进行快速采样，并从采样的数据计算HMD 505的估计的当前位置。例如，IMU 540在时间上对从加速度计接收的测量信号进行积分以估计速度向量，并在时间上对速度向量进行积分以确定HMD 505上参考点的估计的当前位置。替代地，IMU 540向控制台510提供采样的测量信号，控制台510解析数据以减少误差。参考点是可以用来描述HMD 505的位置的点。参考点通常可以被定义为空间中的点或者与HMD 505的定向和位置相关的位置。
IMU 540从控制台510接收一个或更多个参数。一个或更多个参数用于保持对HMD505的跟踪。基于接收到的参数，IMU 540可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些参数使得IMU540更新参考点的初始位置，使得其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与IMU 540估计的当前位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间的推移偏离参考点的实际位置。在HMD 505的一些实施例中，IMU 540可以是专用硬件部件。在其他实施例中，IMU 540可以是在一个或更多个处理器中实现的软件部件。在一些实施例中，IMU 540可以代表图1中的IMU 130。
在一些实施例中，眼睛跟踪系统545集成到HMD 505中。眼睛跟踪系统545确定与佩戴HMD 505的用户的眼睛相关联的眼睛跟踪信息。由眼睛跟踪系统545确定的眼睛跟踪信息可以包括关于用户眼睛定向的信息，即，关于眼睛凝视角度的信息。在一些实施例中，眼睛跟踪系统545集成到光学组件530中。眼睛跟踪系统545的实施例可以包括照明源和成像器件(照相机)。
在一些实施例中，变焦模块550进一步集成到HMD 505中。变焦模块550可以耦合到眼睛跟踪系统545，以获得由眼睛跟踪系统545确定的眼睛跟踪信息。变焦模块550可以被配置成基于从眼睛跟踪系统545获得的确定的眼睛跟踪信息来调整在电子显示器525上显示的一个或更多个图像的焦点。这样，变焦模块550可以减轻与图像光相关的视觉辐辏调节冲突。变焦模块550可以与光学组件530的至少一个光学元件和电子显示器525中的至少一个进行接口连接(例如，机械地连接或电连接)。然后，变焦模块550可以被配置成基于从眼睛跟踪系统545获得的确定的眼睛跟踪信息，通过调整光学组件530的至少一个光学元件和电子显示器525中至少一个的位置来调整在电子显示器525上显示的一个或更多个图像的焦点。通过调整位置，变焦模块550改变从电子显示器525向用户眼睛输出的图像光的焦点。变焦模块550也可以被配置成至少部分地基于从眼睛跟踪系统545获得的确定的眼睛跟踪信息，通过执行被显示图像的视网膜凹式渲染来调整在电子显示器525上显示的图像的分辨率。在这种情形中，变焦模块550向电子显示器525提供适当的图像信号。变焦模块550仅在用户眼睛凝视的视网膜中央凹区为电子显示器525提供具有最大像素密度的图像信号，同时在电子显示器525的其他区提供具有较低像素密度的图像信号。在一个实施例中，变焦模块550可以利用DCA 520获得的深度信息来例如，生成用于在电子显示器525上呈现的内容。
I/O接口515是允许用户发送动作请求并从控制台510接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束捕获图像或视频的指令，或者是在应用内执行特定动作的指令。I/O接口515可以包括一个或更多个输入设备。示例输入设备包括键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台510的任何其他合适的设备。由I/O接口515接收的动作请求被传送到控制台510，控制台510执行对应于动作请求的动作。在一些实施例中，I/O接口515包括IMU 540，其捕获指示相对于I/O接口515的初始位置的I/O接口515的估计位置的校准数据。在一些实施例中，I/O接口515可以根据从控制台510接收的指令来向用户提供触觉反馈。例如，当动作请求被接收到时，或者当控制台510向I/O接口515传送指令时，触觉反馈被提供，该指令使I/O接口515在控制台510执行动作时生成触觉反馈。
控制台510根据从DCA 520、HMD 505和I/O接口515中的一个或更多个接收的信息来向HMD 505提供用于处理的内容。在图5所示的示例中，控制台510包括应用储存器555、跟踪模块560和引擎565。控制台510的一些实施例可以具有与结合图5描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图5描述的方式分布在控制台510的部件当中。
应用储存器555存储用于由控制台510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 505的移动或I/O接口515而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块560使用一个或更多个校准参数来校准HMD系统500，并且可以调整一个或更多个校准参数以减少HMD 505或I/O接口515的位置确定中的误差。例如，跟踪模块560可以将校准参数传送到DCA 520来调整DCA 520的焦点，以更准确地确定由DCA 520捕获的结构化光元件的位置。由跟踪模块560执行的校准也可以考虑从HMD 505中的IMU 540和/或被包括在I/O接口515中的IMU 540接收的信息。另外，如果丢失对HMD 505的跟踪(例如，DCA520丢失至少阈值数量的结构化光元件的视线)，则跟踪模块560可以重新校准部分或全部HMD系统500。
跟踪模块560使用来自DCA 520、一个或更多个位置传感器535、IMU540或其某种组合的信息来跟踪HMD 505或I/O接口515的移动。例如，跟踪模块550基于来自HMD 505的信息来确定HMD 505的参考点在局部区域的映射中的位置。跟踪模块560也可以分别地使用来自IMU 540的指示HMD 505位置的数据或者使用来自包括在I/O接口515中的IMU 540的指示I/O接口515位置的数据来确定HMD 505的参考点或者I/O接口515的参考点的位置。另外，在一些实施例中，跟踪模块560可以使用来自IMU 540的指示HMD 505的位置的数据部分以及来自DCA 520的局部区域的表示来预测HMD 505的未来定位。跟踪模块560向引擎555提供HMD505或I/O接口515的估计的或预测的未来位置。
引擎565基于从HMD 505接收的信息来生成围绕部分或全部HMD505的区域(即，“局部区域”)的3D映射。在一些实施例中，引擎565基于从DCA 520接收的与在计算深度时使用的技术相关的信息来确定用于局部区域的3D映射的深度信息。引擎565可以在根据结构化光计算深度时使用一种或更多种技术来计算深度信息。在各种实施例中，引擎565使用深度信息来例如更新局部区域的模型，并部分地基于已更新的模型来生成内容。
引擎565也执行HMD系统500内的应用，并从跟踪模块560接收HMD505的位置信息、加速度信息、速度信息、所预测的未来位置、或它们的某种组合。基于接收到的信息，引擎565确定要提供给HMD 505用于呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则引擎565为HMD 505生成与用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动成镜像(mirror)的内容。另外，引擎565响应于从I/O接口515接收的动作请求来执行在控制台510上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 505的视觉或听觉反馈或者经由I/O接口515的触觉反馈。
在一些实施例中，基于从眼睛跟踪系统545接收的眼睛跟踪信息(例如，用户眼睛的定向)，引擎565确定提供给HMD 505用于在电子显示器525上呈现给用户的内容的分辨率。引擎565将在用户凝视的视网膜中央凹区中的电子显示器525上具有最大像素分辨率的内容提供给HMD 605，而引擎565在电子显示器525的其他区中提供较低的像素分辨率，从而在HMD 505处实现较小的功耗并节省控制台510的计算周期，而不损害用户的视觉体验。在一些实施例中，引擎565还可以使用眼睛跟踪信息来调整对象在电子显示器525上显示的位置，以防止视觉辐辏调节冲突。
附加配置信息
为了说明的目的提出了本公开的实施例的前述描述；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。虽然在功能上、计算上或逻辑上对这些操作进行了描述，但这些操作应理解为由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，该计算机程序代码可由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例还可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂性的、有形的计算机可读存储介质中，或者适于存储电子指令的任何类型的介质中，该介质可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的体系结构。
本公开的实施例还可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中该信息被存储在非暂时性的、有形的计算机可读介质上并且可以包括本文所述的计算机程序产品或其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (35)

1.一种深度照相机组件(DCA)，包括：
结构化光发生器，其被配置成根据发射指令用结构化光图案照射局部区域，所述结构化光发生器包括：
照明源，其被配置成发射光束，
可编程衍射光学元件(PDOE)，其部分基于所述发射指令来从所述光束生成衍射扫描光束，所述PDOE用作动态衍射光栅，所述动态衍射光栅动态调整所述光束的衍射以生成不同图案的衍射扫描光束，以及
投影组件，其被配置成将所述衍射扫描光束作为所述结构化光图案投影到所述局部区域中，所述结构化光图案基于所述PDOE动态可调整；
成像器件，其被配置成捕获从所述局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；以及
控制器，其被配置成：
生成所述发射指令，
向所述结构化光发生器提供所述发射指令，以及
部分基于捕获的一个或更多个图像来确定所述一个或更多个对象的深度信息。
2.根据权利要求1所述的DCA，其中，所述PDOE选自由空间光调制器、硅基液晶(LCOS)器件、微机电(MEM)器件和数字微镜器件(DMD)构成的组。
3.根据权利要求1所述的DCA，其中：
所述PDOE包括基于液晶(LC)的衍射光学元件；以及
所述控制器动态调整施加到所述基于LC的衍射光学元件的电压电平，以调整所述基于LC的衍射光学元件的衍射角，从而形成具有不同图案的衍射扫描光束。
4.根据权利要求1所述的DCA，其中：
所述PDOE包括空间光调制器，所述空间光调制器基于具有空间频率的调制信号对所述光束进行空间调制，以形成作为调制光的衍射扫描光束；以及
所述控制器动态调整施加到所述光束的调制信号的空间频率，以形成具有不同图案的调制光。
5.根据权利要求1所述的DCA，其中：
所述PDOE包括微镜单元的阵列；以及
所述控制器部分基于所述发射指令，动态地重新配置所述阵列中的第一多个单元以吸收所述光束的一部分，并且动态地重新配置所述阵列中的第二多个单元以反射所述光束的另一部分，从而形成具有不同图案的衍射扫描光束。
6.根据权利要求1所述的DCA，其中，所述照明源包括：
光发射器，其被配置成部分基于所述发射指令发射所述光束，
准直组件，其被配置成将所述光束准直成准直光，以及
棱镜，其被配置成将所述准直光导入所述PDOE。
7.根据权利要求1所述的DCA，其中，所述照明源包括：
光发射器，其被配置成部分基于所述发射指令发射所述光束，以及
单个光学元件，其被配置成：
准直所述光束以生成准直光，以及
将所述准直光导入所述PDOE。
8.根据权利要求1所述的DCA，其中，所述PDOE部分基于所述发射指令以满足Bragg匹配条件的角度衍射入射到所述PDOE的光束，以形成所述衍射扫描光束。
9.根据权利要求1所述的DCA，其中，所述光束是时间调制的，以提供将是时间调制的结构化光图案。
10.根据权利要求1所述的DCA，其中，所述控制器还被配置成：
基于所确定的深度信息，控制所述动态衍射光栅来调整所述光束的衍射。
11.根据权利要求1所述的DCA，其中，所述控制器还被配置成：
基于所述局部区域中一个或更多个对象的定位信息，控制所述动态衍射光栅来调整所述光束的衍射。
12.根据权利要求1所述的DCA，其中，所述DCA是头戴式显示器的部件。
13.一种方法，包括：
生成发射指令；
部分基于所述发射指令，通过使用可编程衍射光学元件(PDOE)衍射光束来从所述光束生成衍射扫描光束，所述可编程衍射光学元件(PDOE)用作动态衍射光栅，所述动态衍射光栅动态调整所述光束的衍射，以生成不同图案的衍射扫描光束；
将所述衍射扫描光束作为结构化光图案投影到局部区域中；
捕获从所述局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；以及
至少部分基于捕获的一个或更多个图像来确定所述一个或更多个对象的深度信息。
14.根据权利要求13所述的方法，其中，所述PDOE包括基于液晶(LC)的衍射光学元件，并且所述方法还包括：
动态调整施加到所述基于LC的衍射光学元件的电压电平，以调整所述基于LC的衍射光学元件的衍射角，从而形成具有不同图案的衍射扫描光束。
15.根据权利要求13所述的方法，还包括：
基于具有空间频率的调制信号，使用被配置作为空间光调制器的PDOE来调制所述光束，以形成作为调制光的衍射扫描光束；以及
动态调整施加到所述光束的调制信号的空间频率，以形成具有不同图案的调制光。
16.根据权利要求13所述的方法，其中，所述PDOE包括微镜单元的阵列，并且所述方法还包括：
部分基于所述发射指令，动态地重新配置所述阵列中的第一多个单元以吸收所述光束的一部分，并且动态地重新配置所述阵列中的第二多个单元以反射所述光束的另一部分，从而形成具有不同图案的衍射扫描光束。
17.根据权利要求13所述的方法，还包括：
部分基于所述发射指令发射所述光束；
准直所述光束以生成准直光；以及
将所述准直光导入所述PDOE。
18.根据权利要求13所述的方法，还包括：
基于所确定的深度信息，控制所述动态衍射光栅来调整所述光束的衍射。
19.根据权利要求13所述的方法，还包括：
基于所述局部区域中一个或更多个对象的定位信息，控制所述动态衍射光栅来调整所述光束的衍射。
20.一种头戴式显示器(HMD)，包括：
电子显示器，其被配置成发射图像光；
光发生器，其被配置成根据发射指令用结构化光图案照射局部区域，所述光发生器包括：
照明源，其被配置成发射光束，
可编程衍射光学元件(PDOE)，其部分基于所述发射指令来从所述光束生成衍射扫描光束，所述PDOE用作动态衍射光栅，所述动态衍射光栅动态调整所述光束的衍射以生成不同图案的衍射扫描光束，以及
投影组件，其被配置成将所述衍射扫描光束作为所述结构化光图案投影到所述局部区域中，所述结构化光图案基于所述PDOE动态可调整；
成像器件，其被配置成捕获从所述局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；
控制器，其被配置成：
生成所述发射指令，
向所述光发生器提供所述发射指令，以及
部分基于捕获的一个或更多个图像来确定所述一个或更多个对象的深度信息；以及
光学组件，其被配置成将所述图像光导向与用户眼睛位置相对应的所述HMD的出射光瞳，所述图像光包括所确定的深度信息。
21.一种深度照相机组件(DCA)，包括：
结构化光发生器，其被配置成根据发射指令用结构化光图案照射局部区域，所述结构化光发生器包括：
照明源，其被配置成发射光束，
可编程衍射光学元件(PDOE)，其部分基于所述发射指令来从所述光束生成衍射扫描光束，所述PDOE用作动态衍射光栅，所述动态衍射光栅动态调整所述光束的衍射以生成不同图案的衍射扫描光束，以及
投影组件，其被配置成将所述衍射扫描光束作为所述结构化光图案投影到所述局部区域中，所述结构化光图案基于所述PDOE动态可调整；
成像器件，其被配置成捕获从所述局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；以及
控制器，其被配置成：
生成所述发射指令，
向所述结构化光发生器提供所述发射指令，以及
部分基于捕获的一个或更多个图像来确定所述一个或更多个对象的深度信息。
22.根据权利要求21所述的DCA，其中，所述PDOE选自由空间光调制器、硅基液晶(LCOS)器件、微机电(MEM)器件和数字微镜器件(DMD)组成的组。
23.根据权利要求21或22所述的DCA，其中：
所述PDOE包括基于液晶(LC)的衍射光学元件；以及
所述控制器动态调整施加到所述基于LC的衍射光学元件的电压电平，以调整所述基于LC的衍射光学元件的衍射角，从而形成具有不同图案的衍射扫描光束。
24.根据权利要求21至23中任一项所述的DCA，其中：
所述PDOE包括空间光调制器，所述空间光调制器基于具有空间频率的调制信号对所述光束进行空间调制，以形成作为调制光的衍射扫描光束；以及
所述控制器动态调整施加到所述光束的调制信号的空间频率，以形成具有不同图案的调制光。
25.根据权利要求21至24中任一项所述的DCA，其中：
所述PDOE包括微镜单元的阵列；以及
所述控制器部分基于所述发射指令，动态地重新配置所述阵列中的第一多个单元以吸收所述光束的一部分，并且动态地重新配置所述阵列中的第二多个单元以反射所述光束的另一部分，从而形成具有不同图案的衍射扫描光束。
26.根据权利要求21至25中任一项所述的DCA，其中，所述照明源包括：
光发射器，其被配置成部分基于所述发射指令来发射所述光束，
准直组件，其被配置成将所述光束准直成准直光，以及
棱镜，其被配置为将所述准直光导入所述PDOE；和/或
其中，所述照明源包括：
光发射器，其被配置成部分基于所述发射指令发射所述光束，以及
单个光学元件，其被配置成：
准直所述光束以生成准直光，以及
将所述准直光导入所述PDOE。
27.根据权利要求21至26中任一项所述的DCA，其中，所述PDOE部分基于所述发射指令以满足Bragg匹配条件的角度衍射入射到所述PDOE的光束，以形成所述衍射扫描光束；和/或
其中，所述光束是时间调制的，以提供将是时间调制的结构化光图案。
28.根据权利要求21至27中任一项所述的DCA，其中，所述控制器还被配置成：
基于所确定的深度信息，控制所述动态衍射光栅来调整所述光束的衍射；和/或
其中，所述控制器还被配置成：
基于所述局部区域中一个或更多个对象的定位信息，控制所述动态衍射光栅来调整所述光束的衍射。
29.根据权利要求21至28中任一项所述的DCA，其中，所述DCA是头戴式显示器的部件。
30.一种方法，包括：
生成发射指令；
部分基于所述发射指令，通过使用可编程衍射光学元件(PDOE)衍射光束来从所述光束生成衍射扫描光束，所述可编程衍射光学元件(PDOE)用作动态衍射光栅，所述动态衍射光栅动态调整所述光束的衍射，以生成不同图案的衍射扫描光束；
将所述衍射扫描光束作为结构化光图案投影到局部区域中；
捕获从所述局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；以及
至少部分基于捕获的一个或更多个图像来确定所述一个或更多个对象的深度信息。
31.根据权利要求30所述的方法，其中，所述PDOE包括基于液晶(LC)的衍射光学元件，并且所述方法还包括：
动态调整施加到所述基于LC的衍射光学元件的电压电平，以调整所述基于LC的衍射光学元件的衍射角，从而形成具有不同图案的衍射扫描光束。
32.根据权利要求30或31所述的方法，还包括：
基于具有空间频率的调制信号，使用被配置作为空间光调制器的PDOE来调制所述光束，以形成作为调制光的衍射扫描光束；以及
动态调整施加到所述光束的调制信号的空间频率，以形成具有不同图案的调制光；和/或
其中，所述PDOE包括微镜单元的阵列，并且所述方法还包括：
部分基于所述发射指令，动态地重新配置所述阵列中的第一多个单元以吸收所述光束的一部分，并且动态地重新配置所述阵列中的第二多个单元以反射所述光束的另一部分，从而形成具有不同图案的衍射扫描光束。
33.根据权利要求30至32中任一项所述的方法，还包括：
部分基于所述发射指令发射所述光束；
准直所述光束以生成准直光；以及
将所述准直光导入所述PDOE。
34.根据权利要求30至33中任一项所述的方法，还包括：
基于所确定的深度信息，控制所述动态衍射光栅来调整所述光束的衍射；和/或
所述方法还包括：
基于所述局部区域中一个或更多个对象的定位信息，控制所述动态衍射光栅来调整所述光束的衍射。
35.一种头戴式显示器(HMD)，包括：
电子显示器，其被配置成发射图像光；
光发生器，其被配置成根据发射指令用结构化光图案照射局部区域，
所述光发生器包括：
照明源，其被配置成发射光束，
可编程衍射光学元件(PDOE)，其部分基于所述发射指令来从所述光束生成衍射扫描光束，所述PDOE用作动态衍射光栅，所述动态衍射光栅动态调整所述光束的衍射以生成不同图案的衍射扫描光束，以及
投影组件，其被配置成将所述衍射扫描光束作为所述结构化光图案投影到所述局部区域中，所述结构化光图案基于所述PDOE动态可调整；
成像器件，其被配置成捕获从所述局部区域中的一个或更多个对象反射的结构化光图案的至少一部分的一个或更多个图像；
控制器，其被配置成：
生成所述发射指令，
向所述光发生器提供所述发射指令，以及
部分基于捕获的一个或更多个图像来确定所述一个或更多个对象的深度信息；以及
光学组件，其被配置成将所述图像光导向与用户眼睛位置相对应的所述HMD的出射光瞳，所述图像光包括所确定的深度信息。
CN201880065785.7A 2017-08-14 2018-08-06 具有用于深度感测的可编程衍射光学元件的照相机组件 Active CN111226436B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/676,717 2017-08-14
US15/676,717 US10551614B2 (en) 2017-08-14 2017-08-14 Camera assembly with programmable diffractive optical element for depth sensing
PCT/US2018/045407 WO2019036215A1 (en) 2017-08-14 2018-08-06 CAMERA ASSEMBLY WITH PROGRAMMABLE DIFFRACTION OPTICAL ELEMENT FOR DEPTH DETECTION

Publications (2)

Publication Number Publication Date
CN111226436A true CN111226436A (zh) 2020-06-02
CN111226436B CN111226436B (zh) 2022-03-11

Family

ID=65275247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065785.7A Active CN111226436B (zh) 2017-08-14 2018-08-06 具有用于深度感测的可编程衍射光学元件的照相机组件

Country Status (5)

Country Link
US (2) US10551614B2 (zh)
JP (2) JP2020530900A (zh)
KR (1) KR102510644B1 (zh)
CN (1) CN111226436B (zh)
WO (1) WO2019036215A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023004737A1 (zh) * 2021-07-30 2023-02-02 华为技术有限公司 一种结构光投射装置以及深度相机

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10731976B2 (en) * 2017-10-02 2020-08-04 Liqxtal Technology Inc. Optical sensing device and structured light projector
US11067820B2 (en) * 2018-07-31 2021-07-20 Himax Technologies Limited Structured light projector and three-dimensional image sensing module
CN110196023B (zh) * 2019-04-08 2024-03-12 奥比中光科技集团股份有限公司 一种双变焦结构光深度相机及变焦方法
CN112004000A (zh) * 2019-05-27 2020-11-27 三赢科技（深圳）有限公司 发光装置及应用其的图像采集装置
WO2021170222A1 (en) * 2020-02-25 2021-09-02 Huawei Technologies Co., Ltd. Depth estimation system for an electronic device
US11715220B1 (en) * 2020-07-30 2023-08-01 Apple Inc Method and device for depth sensor power savings
CN111965664B (zh) * 2020-08-19 2024-01-23 深圳元戎启行科技有限公司 光发射装置、成像系统和发射光调制方法
US11592674B2 (en) * 2021-05-03 2023-02-28 Microsoft Technology Licensing, Llc External illumination with reduced detectability
JP2024002549A (ja) * 2022-06-24 2024-01-11 株式会社Ｓｃｒｅｅｎホールディングス 検知装置、および、検知方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414420A (zh) * 2002-10-09 2003-04-30 天津大学 动态多分辨率的三维数字成像的方法及装置
CN103309137A (zh) * 2012-03-15 2013-09-18 普莱姆森斯有限公司 结构光的投影机
CN103576724A (zh) * 2012-08-08 2014-02-12 联想(北京)有限公司 一种图像采集器、电子设备及光线调节方法
CN105338255A (zh) * 2014-06-24 2016-02-17 联想(北京)有限公司 一种深度恢复调整方法及电子设备
US20160274679A1 (en) * 2010-09-19 2016-09-22 Oculus Vr, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US20170192499A1 (en) * 2016-01-06 2017-07-06 Oculus Vr, Llc Eye tracking through illumination by head-mounted displays
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0392819A (ja) * 1989-09-05 1991-04-18 Ricoh Co Ltd 空間光変調器
JP2003092819A (ja) 2001-09-18 2003-03-28 Sumitomo Wiring Syst Ltd 電気接続箱
US9740019B2 (en) 2010-02-02 2017-08-22 Apple Inc. Integrated structured-light projector
WO2011099409A2 (en) * 2010-02-12 2011-08-18 Canon Kabushiki Kaisha Swept light source apparatus and imaging system including the same
JP2012237604A (ja) * 2011-05-10 2012-12-06 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
WO2013009676A1 (en) * 2011-07-13 2013-01-17 Faro Technologies, Inc. Device and method using a spatial light modulator to find 3d coordinates of an object
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR101858577B1 (ko) * 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CA2924622C (en) * 2013-10-23 2020-03-10 Oculus Vr, Llc. Three dimensional depth mapping using dynamic structured light
CN106796661B (zh) 2014-08-12 2020-08-25 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
US11061231B2 (en) * 2014-11-27 2021-07-13 Sony Corporation Optical device and display device
JP2018510320A (ja) * 2014-12-09 2018-04-12 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
JP6380091B2 (ja) * 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
DE102015202182A1 (de) 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
CN113358045A (zh) 2015-11-04 2021-09-07 奇跃公司 光场显示度量
US10708577B2 (en) * 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
US10349038B2 (en) * 2016-01-04 2019-07-09 Facebook Technologies, Llc Dynamic control over structured illumination intensity
CN106019580B (zh) 2016-07-19 2018-05-11 华中科技大学 一种具有超宽调谐范围的灵活宽型光学滤波器
CN106325511A (zh) 2016-08-25 2017-01-11 安徽协创物联网技术有限公司 一种虚拟现实实现系统
US10469722B2 (en) 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
CN110892716B (zh) 2017-07-12 2022-11-22 镜泰公司 从环境中用于获取信息的系统及方法
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414420A (zh) * 2002-10-09 2003-04-30 天津大学 动态多分辨率的三维数字成像的方法及装置
US20160274679A1 (en) * 2010-09-19 2016-09-22 Oculus Vr, Llc Depth mapping with a head mounted display using stereo cameras and structured light
CN103309137A (zh) * 2012-03-15 2013-09-18 普莱姆森斯有限公司 结构光的投影机
CN103576724A (zh) * 2012-08-08 2014-02-12 联想(北京)有限公司 一种图像采集器、电子设备及光线调节方法
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN105338255A (zh) * 2014-06-24 2016-02-17 联想(北京)有限公司 一种深度恢复调整方法及电子设备
US20170192499A1 (en) * 2016-01-06 2017-07-06 Oculus Vr, Llc Eye tracking through illumination by head-mounted displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023004737A1 (zh) * 2021-07-30 2023-02-02 华为技术有限公司 一种结构光投射装置以及深度相机

Also Published As

Publication number Publication date
US10551614B2 (en) 2020-02-04
WO2019036215A1 (en) 2019-02-21
CN111226436B (zh) 2022-03-11
JP2023055715A (ja) 2023-04-18
KR102510644B1 (ko) 2023-03-17
US20200150419A1 (en) 2020-05-14
KR20200032204A (ko) 2020-03-25
JP2020530900A (ja) 2020-10-29
US11586036B2 (en) 2023-02-21
US20190049720A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN111226436B (zh) 具有用于深度感测的可编程衍射光学元件的照相机组件
US11450015B2 (en) Shifting diffractive optical element for adjustable depth sensing resolution
US11330193B2 (en) Imaging device based on lens assembly with embedded filter
US11417005B1 (en) Polarized illumination and detection for depth sensing
US10416766B1 (en) Varifocal head-mounted display including modular air spaced optical assembly
US10859838B1 (en) Compact head-mounted display for artificial reality
US10469832B1 (en) Tileable structured light projection for wide field-of-view depth sensing
US10412371B1 (en) Thin film acousto-optic structured light generator
US10795164B1 (en) Diffractive optics beam shaping for structured light generator
US10914953B1 (en) Varifocal waveguide display using tunable lens
US10388026B1 (en) Fast scanning large field-of-view devices for depth sensing
US11397368B1 (en) Ultra-wide field-of-view scanning devices for depth sensing
US10914956B1 (en) Tiled display assemblies for artificial reality headset
CN115280218A (zh) 高分辨率液晶显示器
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
US10359845B1 (en) Display assembly using dynamic liquid crystal array
US10690923B1 (en) Scanning system for a tiling display
US10895746B1 (en) Expanding field-of-view in direct projection augmented reality and virtual reality systems
US20230300470A1 (en) Techniques for producing glints and iris illumination for eye tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC