CN109425306A - 深度测量组件 - Google Patents

Abstract

深度测量组件(DMA)包括脉冲式照明器组件、深度相机组件和控制器。脉冲式照明器组件具有结构化光投影仪，其将结构化光的脉冲以脉冲速率投射到局部区域中。深度相机组件捕获用结构化光脉冲照亮的局部区域中的对象的图像数据。深度相机组件的曝光间隔被脉冲化并被同步到由脉冲式照明器组件投射的脉冲。控制器控制脉冲式照明器组件和深度相机组件，使得它们同步。控制器还基于捕获的图像数据确定对象的深度信息和/或跟踪信息。在一些实施方式中，脉冲式照明器组件具有在不同时间投射结构化光的脉冲的多个结构化光投影仪。

Description

深度测量组件

技术领域

本公开总体上涉及深度测量，并且具体地涉及在头戴式显示器(HMD)应用中使用脉冲结构化光投影仪进行深度测量。

背景技术

深度测量是HMD系统(诸如在虚拟现实(VR)和增强现实(AR)应用中使用的系统)的重要特征。深度测量系统通常包括将光投射到局部区域(例如，结构化光和光脉冲等)中的某种有源照明系统。深度测量系统然后使用包括投射光的局部区域的图像，以便确定到局部区域中的对象的深度。但是，现有的深度测量系统在高的环境光照条件下具有不良性能的缺点，这是因为有源照明系统必须生成足够强以由深度测量系统区分其环境背景光的信号。因此，常规深度测量系统的有效性在高环境光照下(诸如在明亮的太阳照明下的室外)受到损害。

发明内容

深度测量组件(DMA)将结构化光的脉冲投射到局部区域(例如，围绕HMD的区域)。DMA捕获局部区域的图像数据，局部区域包含已被局部区域中的对象散射/反射的结构化光，并使用捕获的图像数据来确定局部区域中的对象的深度信息。在一些实施方式中，这些脉冲中的一个或多个是可以淹没强环境光的高峰值功率脉冲。由此，高峰值功率脉冲可在强环境光的条件下增加信噪比。

DMA包括脉冲式照明器组件、深度相机组件和控制器。脉冲式照明器组件包括结构化光投影仪，其将结构化光的脉冲以脉冲速率投射到局部区域的一部分中。深度相机组件捕获用结构化光的脉冲照亮的局部区域的该部分的图像数据。深度相机组件具有与结构化光投影仪的脉冲速率同步的脉冲曝光间隔。例如，对于结构化光的每个脉冲，深度相机组件在等于或长于脉冲的持续时间的时间段期间捕获图像数据。在时间段之外，深度相机组件不捕获图像数据。控制器控制脉冲式照明器组件和深度相机组件。此外，控制器部分地基于由深度相机组件捕获的图像数据来确定局部区域的该部分中的对象的深度信息。

在一些实施方式中，DMA是HMD的一部分。HMD系统可以在VR系统环境、AR系统环境、混合现实(MR)系统环境或其中的一些组合中操作。HMD包括电子显示器、光学块和DMA。电子显示器部分基于深度信息显示虚拟对象。光学块将来自电子显示元件的光引导到HMD的眼箱。

附图说明

图1是根据实施方式的HMD的线图。

图2是根据实施方式的图1中的HMD的前刚体的截面。

图3是根据实施方式的DMA的框图。

图4示出了根据实施方式的包括单个结构化光投影仪的脉冲深度测量方案。

图5示出了根据实施方式的包括三个交替的结构化光投影仪的脉冲深度测量方案。

图6A示出根据实施方式的深度相机组件的检测器，该检测器捕获由三个结构化光投影仪照亮的对象反射的结构化光的脉冲。

图6B示出了根据实施方式的图6A中的检测器的光电二极管阵列。

图7是根据实施方式的用于脉冲深度测量的过程的实施方式的流程图。

图8是根据实施方式的其中DMA进行操作的HMD系统的框图。

附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将容易地从以下描述中认识到，在不背离本文描述的本公开的原理或益处的情况下，可以采用本文所示的结构和方法的替代实施方式。

具体实施方式

系统概述

图1是根据实施方式的HMD 100的线图。HMD 100可以是例如VR系统、AR系统、MR系统或其中的一些组合的一部分。在描述AR系统和/或MR系统的实施方式中，HMD 100的在HMD100的前侧110A与用户的眼睛之间的部分至少部分透明(例如，部分透明的电子显示器)。HMD 100包括前侧110A、顶侧110B、底侧110C、右侧110D、左侧110E、前刚体120和带子130。前刚体120还包括惯性测量单元(IMU)140、一个或多个位置传感器150和参考点160。在图1所示的实施方式中，位置传感器150位于IMU 140内，而IMU 140和位置传感器150对于用户都是不可见的。

IMU 140是基于从一个或多个位置传感器150接收的测量信号生成快速校准数据的电子装置。位置传感器150响应于HMD 100的运动生成一个或多个测量信号。位置传感器150的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 140的误差校正的一类传感器或其中的一些组合。位置传感器150可以位于IMU 140外部、IMU 140的内部或其中的一些组合。

基于来自一个或多个位置传感器150的一个或多个测量信号，IMU 140生成指示相对于HMD 100的初始位置的HMD 100的估计位置的快速校准数据。例如，位置传感器150包括测量平移运动(向前/向后、向上/向下、左/右)的多个加速计和测量旋转运动(例如，俯仰、偏航或滚动)的多个陀螺仪。在一些实施方式中，IMU 140快速地采样测量信号并且根据采样数据计算HMD 100的估计位置。例如，IMU 140将从加速计接收的测量信号随时间进行积分以估计速度矢量，并且对速度矢量随时间积分以确定HMD 100上的参考点的估计位置。参考点160是可用于描述HMD 100的位置的点。虽然参考点通常可以被定义为空间中的点；然而，实际上，参考点被定义为HMD 100内的点(例如，IMU 140的中心)。

HMD 100还包括DMA(图1中未示出)。DMA的一些实施方式包括脉冲式照明器组件和深度相机组件。脉冲式照明器组件朝向围绕HMD 100的局部区域中的对象投射结构化光的脉冲。深度相机组件收集从对象反射的结构化光的脉冲，并且还可以收集从对象反射的环境光以捕获图像数据。基于捕获的图像数据，DMA确定对象的深度信息。HMD 100描绘了照明孔170和成像孔180。脉冲式照明器组件通过照明孔170投射结构化光的脉冲。并且深度相机组件通过成像孔180收集从对象反射的结构化光的脉冲。结合图3描述了关于DMA的更多细节。

图2是根据实施方式的图1中的HMD 100的前刚体120的截面200。前刚体120包括DMA 210、电子显示器220和光学块230。前刚体120的一些实施方式具有与本文描述的那些不同的部件。类似地，在一些情况下，功能能够以与本文描述的方式不同的方式分布在部件之间。前刚体120还包括用户的眼睛250将位于的眼箱240。为了说明的目的，图2示出了根据单只眼睛250的前刚体120的截面。虽然图2将眼睛250的中心截面描绘为在与DMA 210相同的平面中，但是眼睛250和DMA 210的中心截面不必在相同的平面中。另外，与图2中所示的电子显示器和光学块分离的另一电子显示器和光学块可被包括在前刚体120中以将内容(诸如局部区域260的增强表示或虚拟内容)呈现给用户的另一只眼睛。

DMA 210包括脉冲式照明器组件212、深度相机组件214和控制器216。脉冲式照明器组件212用结构化光的脉冲照亮局部区域260。深度相机组件214与结构化光的脉冲同步地捕获局部区域260的图像，并将图像数据输出到控制器216。

在一些实施方式中，控制器216被配置为使用来自深度相机214的图像数据来确定局部区域260中的对象的深度信息。控制器216还控制结构化光的脉冲如何被脉冲式照明器组件212投射以及深度相机组件214如何捕获图像光。例如，控制器指示脉冲式照明器组件212以脉冲速率投射脉冲，并且指示深度相机组件214以被脉冲化并被同步到脉冲速率的曝光间隔捕获图像数据。在替换实施方式中，一些其他装置(例如，HMD控制台)确定局部区域260的深度信息。

电子显示器220向用户显示图像(例如，2D或3D图像)。在不同实施方式中，电子显示器220包括单个电子显示面板或多个电子显示面板(例如，用于用户的每只眼睛的显示器)。电子显示面板的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、一些其他显示器或其中的一些组合。

光学块230放大从电子显示器220接收的光，校正与图像光相关联的光学误差，并且校正的图像光被呈现给HMD 100的用户。光学块230是光学元件，诸如光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器或影响从电子显示器220发射的图像光的任何其他合适的光学元件。此外，光学块230可以包括不同光学元件的组合。在一些实施方式中，光学块230中的一个或多个光学元件可具有一个或多个涂层，诸如部分反射器或抗反射涂层。

由光学块230对图像光的放大允许电子显示器220比较大显示器在物理上更小、重量更轻且消耗更少的功率。另外，放大可增加所显示的媒体的视场。例如，所显示的媒体的视场使得所显示的媒体使用几乎全部的用户的瞬时视场(例如，110°对角)、并且在一些情况下是全部的用户的瞬时视场来呈现。在一些实施方式中，光学块230的有效焦距大于到电子显示器220的间隔。因此，光学块230放大由电子显示器220投射的图像光。另外，在一些实施方式中，可通过添加或移除光学元件来调整放大量。

光学块230可以被设计成用于校正一种或多种类型的光学误差。光学误差的示例包括：二维光学误差、三维光学误差、或其中的一些组合。二维误差是在二维中出现的光学像差。二维误差的示例类型包括：桶形失真、枕形失真、纵向色差、横向色差、或任何其他类型的二维光学误差。三维误差是在三维中出现的光学误差。三维误差的示例类型包括球面像差、色差、场曲率、像散或任何其他类型的三维光学误差。在一些实施方式中，提供给电子显示器220用于显示的内容被预先失真，并且光学块230在其从电子显示器220接收基于内容生成的图像光时校正失真。

图3是根据实施方式的DMA 300的框图。DMA 300确定局部区域中的一个或多个对象的深度信息。DMA 300包括脉冲式照明器组件310、深度相机组件320和控制器330。DMA300的一些实施方式具有与本文描述的那些不同的部件。类似地，这些功能可以以与本文描述的方式不同的方式分布在这些部件之间。

脉冲式照明器组件310将结构化光的脉冲投射到局部区域中。脉冲式照明器组件310包括一个或多个结构化光投影仪，结构化光投影仪各自被配置为投射结构化光的脉冲。结构化光投影仪包括脉冲式照明器、衍射光学元件(DOE)和投影组件。脉冲式照明器发射光脉冲。脉冲式照明器可以发射各种频率或持续时间的脉冲。例如，照明器指令使得脉冲式照明器发射具有在从～100kHz到200MHz或从～500kHz到2MHz的范围内的频率的脉冲。在一些实施方式中，脉冲具有恒定的脉冲持续时间，例如100ns。在可替换实施方式中，脉冲可具有在从100ps到100ns的范围内或从～1ns到10ns的不同脉冲持续时间。在脉冲式照明器附近产生的热量可在脉冲之间消散。脉冲式照明器可以在可见光频带(即，～380nm到750nm)中、在红外(IR)频带(即，～750nm到1mm)中、在紫外频带(即，10nm到380nm)中、在短波红外(SWIR)频带(例如，～900nm到2200nm或～1300nm到1500nm)中、电磁频谱的一些其他部分中、或其中的一些组合中发射光。

DOE将来自脉冲式照明器的光转换成结构化光。结构化光是可用于确定深度信息的光。结构化光可以包括例如点矩阵图案、单行图案、正弦曲线图案、多(空间)色调图案和网格图案、漫射光(例如，用于飞行时间深度确定)、可以用于确定深度信息的一些其他光、或其中的一些组合。DOE可以是例如一个或多个衍射光栅、漫射体、空间光调制器、形成结构化光的一些其他元件、或其中的一些组合。在一些实施方式中，结构化光不由DOE产生，而是由两个或更多个光脉冲光束(例如，时间共享扫描光束或高斯光束)的干涉形成。投影组件将结构化光投射到局部区域中。投影组件包括一个或多个光学元件(例如，透镜、偏振器等)，光学元件收集结构化光并且将结构化光投射到局部区域中的一些或全部中。

在脉冲式照明器组件310包括多个(即，至少两个)结构化光投影仪的实施方式中，结构化光投影仪可在不同时间发射结构化光的脉冲。在实施方式中，结构化光投影仪是交替的。例如，第一结构化光投影仪投影结构化光的第一脉冲，并且在该结构化光投影仪不活动(例如，冷却)的同时，第二结构化光投影仪投影第二脉冲，可选地之后是第三或更多个结构化光投影仪。该循环重复。在每个周期内，在由不同结构化光投影仪投射的脉冲之间可能存在时间间隙。在实施方式中，结构化光投影仪投影具有相同结构化光图案的结构化光的脉冲。在替代实施方式中，每个结构化光投影仪与不同的结构化光图案相关联。同样地，从结构化光投影仪发射的脉冲可具有不同的频率、持续时间、波长或其任何组合。

多个结构化光投影仪的组合在占空比内生成更多的信号，而不会使任何结构化光投影仪过热。因而，可通过在脉冲之间复用多次测量来更有效地进行深度测量。此外，利用几何结构化光投影仪，可以去除由单个结构化光投影仪引起的阴影。另外，与由单个结构化光投影仪投射的结构化光图案相比，经复用的结构化光投影仪可使结构化光图案更密集。

深度相机组件320捕获用结构化光脉冲照亮的局部区域的一部分的图像数据。在一些实施方式中，深度相机组件320与脉冲式照明器组件310位于同一位置(例如，可以是同一装置的一部分)。在一些实施方式中，深度相机组件320包括检测在深度相机组件320的视场中的结构化光图案的检测器。检测器包括光电二极管阵列。光电二极管对光敏感并且将所收集的光子转换成光电子。每个光电二极管具有存储光电子的一个或多个存储区域。深度相机组件320从每个光电二极管的一个或多个存储区域读出所存储的光电子，以获得图像数据。在读出期间，深度相机组件320可以将光电子转换为数字信号(即，模数转换)。在脉冲式照明器组件310包括多于一个结构化光投影仪的实施方式中，对应于由不同结构化光投影仪投射的结构化光的脉冲的光电子可以存储在检测器的每个光电二极管的单独存储区域中。深度相机组件320可以读出分离的存储区域以获得对应于每个结构化光投影仪的分离的图像数据。可替代地，深度相机组件320可以生成与所有结构化光投影仪相对应的组合图像数据。

检测器与结构化光投影仪310的脉冲发射同步。例如，检测器具有被脉冲化并同步至脉冲式照明器组件310的脉冲速率的曝光间隔。在曝光间隔期间，检测器对局部区域的部分进行曝光。在曝光间隔之外的时间，检测器不进行曝光。在一些实施方式中，对于由脉冲式照明器组件310投射的结构化光的每个脉冲，检测器在与从脉冲式照明器组件310发射的结构化光的脉冲的脉冲持续时间相同或更长的时间段(曝光持续时间)内进行一次或多次曝光(例如，单次曝光或多次交错曝光)。在一些实施方式中，曝光持续时间是单个积分时段，在单个积分时段期间，例如，从脉冲的第一光子被发射直到脉冲的最后一个光子被检测器收集的时间段，单个脉冲被收集并被分类到单个存储区域中。

在其中脉冲式照明器组件310包括发射一系列结构化光脉冲的单个结构化光投影仪的实施方式中，结构化光脉冲的曝光持续时间在结构化光投影仪发射结构化光脉冲之前或与其同时开始。检测器在曝光持续时间期间收集光电子并将光电子存储到存储区域中。检测器重复此过程，直到收集了由结构化光投影仪发射的最后脉冲的光子。检测器可以从存储区域读出在一系列脉冲上累积的光电子。可以在收集最后脉冲的光子之后进行读出。检测器可以在曝光持续时间之外从背景光收集光电子。来自背景光的光电子被存储在诸如暂时存储区域或硅基板的第二存储区域中。第二存储区域不被读出并且可以被重置。

在其中脉冲式照明器组件310包括多个结构化光投影仪的实施方式中，检测器在由结构化光投影仪发射的结构化光的每个脉冲的曝光持续时间期间收集光电子。检测器可将来自由每个结构化光投影仪发射的脉冲的光电子存储到不同的存储区域中。例如，在收集了由结构化光投影仪发射的最后脉冲的光子之后，检测器可以顺序地读出不同的存储区域。在检测器可以在曝光持续时间之外从背景光收集光电子的情况下，来自背景光的光电子被存储在不被读出并且可以被重置的临时存储区域或硅基板中。因为检测器不连续地收集光，所以避免了来自环境光的光子的累积。因此，相对于例如连续收集光的系统，可以实现较高的信噪比。

在实施方式中，检测器使用全局快门扫描。检测器包括与脉冲式照明器组件310同步的全局快门。例如，全局快门在结构化光的每个脉冲期间打开并且扫描，并且在脉冲结束时关闭。由此，全局快门阻挡来自环境光的光子的累积。在实施方式中，检测器是飞行时间(ToF)传感器。

在一些实施方式中，检测器的每个光电二极管具有至少两个存储区域，并且可以具有更多的(例如，3个、4个等)存储区域。光电二极管捕获从局部区域中的对象反射的包括由脉冲式照明器组件310发射的结构化光脉冲和环境光的光。例如，对于包括第一存储区域和第二存储区域的给定光电二极管，与在检测器的曝光持续时间期间捕获的光相对应的光电子(“脉冲信号”)被存储在第一存储区域中，并且其他光电子(“环境信号”)被存储在第二存储区域中。两个存储区域之间的占空比与脉冲式照明器组件310的占空比匹配。深度相机组件320读出检测器的光电二极管的第一存储区域以获得图像数据。在一些实施方式中，深度相机组件320不读出光电二极管的第二存储区域。并且可以在每个占空比之后重置第二存储区域。在一些替代实施方式中，深度相机组件320读出第二存储区域。并且，从第二存储区域读出的与反射的环境光对应的图像数据可以用于在读出第一存储区域之前或之后从脉冲信号中减去环境背景。

与每个光电二极管相关联的存储区域的数量可以变化。例如，一些光电二极管可以具有两个存储区域，一些可以具有三个，并且一些可以具有四个。在脉冲式照明器组件310包括多于一个的结构化光投影仪的实施方式中，与光电二极管相关联的每个存储区域可被配置为存储从不同的结构化光投影仪生成的光电子。

在一些其他实施方式中，检测器包括可调谐滤波器。可调谐滤波器阻止光到达检测器。可调谐滤波器可安装在从局部区域中的对象反射的结构化光的脉冲的光路中的任何地方。例如，可调谐滤波器附接在检测器的顶部上或在深度相机组件320的前部。可调谐滤波器可与结构化光投影仪310同步地在开启(活动)和关闭(不活动)之间切换。例如，对于结构化光的每个脉冲，可调谐滤波器对于检测器的曝光持续时间内是不活动的。当可调谐滤波器为不活动时，光可以穿过可调谐滤波器并且到达检测器。可调谐滤波器在检测器的曝光持续时间之外是活动的。当可调谐滤波器活动时，光被阻止到达检测器。

控制器330控制脉冲式照明器组件310和深度相机组件320。控制器330还使用由深度相机组件320生成的图像数据来确定深度信息。控制器330还可基于深度信息生成跟踪信息。跟踪信息是指示对象的位置、定向和/或移动和/或HMD定向的信息。跟踪信息包括例如局部区域的深度信息、对象的运动信息、用户的一只或两只眼睛的位置和定向、注视方向(例如，用户正在注视的地方)、聚散度、估计的适应平面等。

在图1所示的示例中，控制器330包括数据库350、脉冲式照明器模块360、图像捕获模块370、深度测量模块380和校准模块390。这些模块是在一个或多个处理器、专用硬件单元或其中的一些组合上实现的软件模块。控制器330的一些实施方式具有与结合图1描述的部件不同的部件。类似地，结合图1描述的部件的功能可以以与结合图1描述的方式不同的方式分布在其他部件之间。例如，被描述为由控制器330执行的功能中的一些或全部可由HMD控制台执行。

数据库350存储由DMA 300生成和/或使用的数据。数据库350是诸如ROM、DRAM、SRAM或其中的一些组合的存储器。数据库350可以是HMD系统的较大数字存储器的一部分。在一些实施方式中，数据库350存储来自深度相机组件320的图像数据、来自校准模块390的描述在深度测量之前训练或建立的基线的基线数据、深度信息、以及来自深度测量模块380的描述表征参数的分析数据。在一些实施方式中，数据库350可存储校准数据和/或来自其他部件的其他数据，例如深度指令。深度指令包括由脉冲式照明器模块360生成的照明器指令和由图像捕获模块370生成的相机指令。

数据库350还存储深度相机组件320捕获其图像的对象的模型。模型用于与由深度相机捕获的图像进行比较，以确定对象的深度信息和跟踪信息。存储在数据库350中的模型可以是接近对象的表面几何形状的3D模型。在深度相机组件320捕获一个以上对象的图像数据的实施方式中，数据库350可包含一个以上的模型。

脉冲式照明器模块360经由照明器指令控制脉冲式照明器组件310。照明器指令包括控制如何由脉冲式照明器组件310发射光的一个或多个脉冲参数。照射的参数可描述(例如)脉冲速率、脉冲长度、脉冲波长、脉冲振幅、控制结构化光的脉冲如何由脉冲式照明器组件310投射的一些其他参数、或其中的一些组合。脉冲式照明器模块360可从数据库350检索照明器指令。可替代地，脉冲式照明器模块360生成照明器指令。例如，脉冲式照明器模块360确定一个或多个脉冲参数。在实施方式中，脉冲式照明器模块360基于局部区域中的对象的安全标准和/或脉冲式照明器组件310的热约束来确定一个或多个脉冲参数。在脉冲式照明器组件310包括多个结构化光投影仪的实施方式中，脉冲式照明器模块360确定一个或多个脉冲参数，以避免由不同结构化光投影仪投射的结构化光的脉冲的重叠捕获。脉冲式照明器模块360还确定由脉冲式照明器组件310投射的一个或多个结构化光图案。在一些实施方式中，脉冲式照明器模块360基于由DMA 300报告的对象的先前报告的深度信息来选择一个或多个结构化光图案。由脉冲式照明器模块360确定的结构化光图案可包括例如点、单行、正弦曲线、网格、多色调图案、其他类型的图案、漫射光(例如，针对飞行时间操作)等。

图像捕获模块370经由相机指令控制深度相机组件320。图像捕获模块370可从数据库350检索相机指令。可替代地，图像捕获模块370部分地基于由脉冲式照明器模块360生成的照明器指令来生成相机指令。图像捕获模块370例如基于在照明器指令中指定的一个或多个脉冲参数(例如，脉冲速率和脉冲持续时间)确定深度相机组件320的曝光速率和曝光持续时间。例如，图像捕获模块370确定曝光速率等于脉冲速率，使得深度相机组件320的曝光间隔与脉冲速率同步。此外，图像捕获模块370确定曝光持续时间等于脉冲持续时间。有时，图像捕获模块370确定曝光持续时间长于脉冲持续时间，以避免由于传入光的延迟导致未能收集整个脉冲。曝光持续时间可以比脉冲持续时间长20％。在一些实施方式中，图像捕获模块370还确定结构化光的每个脉冲的曝光次数。

相机指令还可识别深度相机组件320的存储区域以进行读出。例如，在深度相机组件320的每个光电二极管具有第一存储区域和第二存储区域的实施方式中，相机指令使得深度相机组件320读出光电二极管的第一存储区域并且不读出第二存储区域。此外，在脉冲式照明器组件310具有多个结构化光投影仪且深度相机组件320包括用于结构化光投影仪的不同存储区域的实施方式中，相机指令可使深度相机组件320分离地读出存储区域以用于产生分离的图像。可替代地，相机指令可以使得深度相机组件320全部一起地读出存储区域以用于生成组合图像数据。

深度测量模块380被配置为至少部分基于所反射的结构化光的所捕获部分确定一个或一个以上对象的深度信息。在一些实施方式中，对于基于结构化光照亮的深度感测，深度测量模块380被配置为基于由局部区域中的对象形状扭曲的反射的结构化光的部分的相移图案来确定深度信息，并且使用三角测量计算来获得局部区域的深度图。在替代实施方式中，对于基于飞行时间的深度感测，深度测量模块380被配置为使用与深度相机组件320的每个光电二极管相关联的存储区域之间的电荷比来确定深度信息。在一些实施方式中，深度测量模块380向HMD系统提供所确定的深度信息。HMD系统可以利用深度信息来例如生成用于在电子显示器220上呈现的内容。

图4示出了根据实施方式的包括单个结构化光投影仪的脉冲深度测量方案400。图4包括三个曲线图410、420和430。

曲线图410示出了随时间变化的由结构化光投影仪投射的脉冲的峰值功率。为了说明和简明的目的，曲线图410示出了由结构化光投影仪发射的结构化光的五个脉冲。但是，结构化光投影仪可发射大量的脉冲，诸如数百或数千，以实现足够的信噪比。如曲线图410中所示，五个脉冲具有显著高于环境光的功率的高峰值功率。因此，这五个脉冲可能淹没环境光，从而导致高信噪比。在曲线图410中，五个脉冲具有相同的脉冲持续时间。例如，每个脉冲可具有100ns的脉冲持续时间，并且两个相邻脉冲之间的持续时间(例如，100ms)可显著长于脉冲持续时间。在其他实施方式中，脉冲可具有不同的脉冲持续时间或峰值功率。同样地，两个相邻脉冲之间的持续时间可以是不同的。

曲线图420示出了结构化光投影仪附近的随时间变化的温度。在结构化光投影仪发射五个脉冲中的每一个时，结构化光投影仪附近的温度达到深度测量方案400的温度限制。然而，结构化光投影仪附近的温度在非常短的时间段内(即，小于脉冲持续时间)保持在温度极限处。这避免了在结构化光投影仪附近累积过多的热量。在脉冲之间的持续时间段期间，结构化光投影仪是不活动的，允许在脉冲发射期间产生的热量消散。由此，脉冲深度测量方案400达到温度极限以产生结构化光的高峰值功率脉冲；并且同时，由于它在非常短的时间段内保持在温度极限处并且结构化光投影仪在脉冲期间是不活动的，因此避免了系统的过热。此外，对于由结构化光投影仪照亮的局部区域中的容易受到热损害的对象(例如，人眼)，脉冲深度测量方案可满足这些对象的安全标准。

曲线图430示出了脉冲深度测量方案400的深度相机组件随时间变化的全局快门扫描。深度相机组件捕获由五个脉冲照亮的局部区域的一部分的图像数据。如曲线图430所示，深度相机组件的全局快门的曝光间隔被脉冲化并与由结构化光投影仪发射的脉冲同步。相应地，环境光的收集被限制以实现高信噪比。对于每个脉冲，深度相机组件在比脉冲的持续时间更长的曝光持续时间内收集光，从而使得尽管由于结构化光投影仪、对象和深度相机组件之间的距离导致传入光中的可能延迟，但深度相机组件捕获全脉冲。在实现方式中，曝光持续时间比脉冲持续时间长20％。可替代地，曝光持续时间可以与脉冲持续时间相同。

图5示出了根据实施方式的包括三个交替结构化光投影仪的脉冲深度测量方案500。图5包括两个曲线图510和520，其示出了由三个结构化光投影仪进行的脉冲照明和由深度相机组件320进行的图像捕获，深度相机组件320捕获由三个结构化光投影仪照亮的对象的图像。在替代实施方式中，脉冲深度测量方案500可具有不同数量的结构化光投影仪。

曲线图510示出了由结构化光投影仪的脉冲的随时间变化的峰值功率。实线表示第一结构化光投影仪的脉冲；虚线表示第二结构化光投影仪的脉冲；并且点线表示第三结构化光投影仪的脉冲。这三个结构化光投影仪是交替的。在第一结构化光投影仪发射结构化光的脉冲之后，第二结构化光投影仪发射结构化光的脉冲，接着由第三结构化光投影仪发射结构化光的脉冲。该过程重复进行。为了说明和简明的目的，三个结构化光投影仪中的每一个发射五个脉冲。但是，结构化光投影仪可以发出不同数量的脉冲。在实施方式中，这三个结构化光投影仪投射不同的结构化光图案。在替代实施方式中，这三个结构化光投影仪投射相同的结构化光图案。

曲线图520示出了脉冲深度测量方案500的深度相机组件随时间变化的全局快门扫描。深度相机组件与结构化光投影仪的脉冲同步地收集由三个结构化光投影仪照亮的局部区域的一部分反射的光，并且基于所收集的光生成图像数据。深度相机组件的全局快门扫描与由结构化光投影仪投射的脉冲同步。类似于曲线图430，曲线图520示出了对于每个脉冲，针对曝光持续时间的全局快门扫描长于脉冲持续时间。在实施方式中，深度相机组件320将从对应于每个结构化光投影仪的脉冲的光子转换来的光电子存储到每个光电二极管的不同存储区域中。深度相机组件320进一步读出存储区域以生成图像数据。因为对应于由每个结构化光投影仪投射的脉冲的光电子被存储在每个光电二极管的不同存储区域中，所以深度相机组件320生成对应于三个结构化光投影仪中的每一个的分离的图像数据。可替代地，深度相机组件320将与由三个结构化光投影仪发射的脉冲对应的光电子进行组合以生成组合图像数据。组合图像数据是来自三个结构化光投影仪中的每一个的图像数据的集成。

组合图像数据包括关于对应于三个结构化光投影仪的结构化光图案的信息。因而，与对应于单个结构化光投影仪的图像相比，组合图像数据在单个占空比中提供三倍的信息。由此，与脉冲深度测量方案400相比，脉冲深度测量方案500对于深度测量可更有效。在一些实施方式中，这三个结构化光投影仪分别照亮三个对象。因而，组合图像数据包括指示由三个对象的表面引起的结构化光图案的失真的信息。由此，可使用组合图像数据来产生所有三个对象的深度信息。可替代地，这三个结构化光投影仪可以照亮同一对象的三个不同部分，并且组合图像可以用于生成对象的所有这三个部分的深度信息。这对于具有不均匀表面的对象是特别有用的。

图6A示出根据实施方式的深度相机组件的检测器610，检测器610捕获从由三个结构化光投影仪620、630和640照亮的对象625、635和645反射的结构化光。结构化光投影仪620由实线表示，而结构化光投影仪630由虚线表示并且结构化光投影仪640由点线表示。在实施方式中，检测器610是结合图3描述的检测器。并且三个结构化光投影仪620、630和640可以是结合图5描述的三个交替的结构化光投影仪。在三个结构化光投影仪620、630和640照亮对象的实施方式中，两个结构化光投影仪可以彼此更靠近并且第三个结构化光投影仪更远离它们。结构化光投影仪620、630和640的这种设置被配置为通过从不同的角度照亮对象来去除阴影。

在图6A的实施方式中，三个结构化光投影仪620、630和640用不同的结构化光图案照亮三个不同的对象625、635和645。从三个对象625、635和645反射的结构化光的脉冲到达检测器610。检测器610捕获反射光并且将反射光的光子转换成光电子。如图6A所示，从三个对象625、635和645反射的结构化光的脉冲到达检测器610的相同位置。检测器610的每个光电二极管具有针对对应于每个对象/结构化光投影仪的光电子的不同存储区域。因而，即使经反射的光的到达位置在检测器610上重叠，深度相机组件320也可产生对应于从三个对象625、635和645中的每一者反射的光的分离的图像数据。可替代地，深度相机组件320可以生成包括关于与所有三个对象625、635和645相对应的三个图案的信息的组合图像数据。

图6B示出了根据实施方式的图6A中的检测器610的光电二极管阵列。图6B中的每个网格表示检测器610的光电二极管。图6B示出了12×12的光电二极管阵列。但是检测器610可以具有不同数量的光电二极管。检测器610的每个光电二极管具有一个或多个存储区域。光电二极管收集三个结构化光图案660、670和680。结构化光图案660由实线表示，结构化光图案670由虚线表示，并且结构化光图案680由虚线表示。结构化光图案660对应于从由结构化光投影仪620照亮的对象625反射的光。同样地，结构化光图案670对应于从由结构化光投影仪630照亮的对象635反射的光，并且结构化光图案680对应于从由结构化光投影仪640照亮的对象645反射的光。结构化光图案660、670和680在一些光电二极管上重叠。

在一个实施方式中，三个光电二极管中的每个光电二极管具有三个存储区域并且分别将与三个结构化光图案660、670和680对应的光电子存储到三个存储区域中。由此，通过读出结构化光图案的光电子，可以针对每个结构化光图案生成分离的图像数据。此外，可以通过从每个光电二极管的所有三个存储区域读出光电子来生成组合图像数据。可通过使用单独的图像数据和/或组合图像数据来确定三个对象525、535和545的深度信息。

图7是根据实施方式的用于脉冲深度测量的过程700的一个实施方式的流程图。过程700由结合图3描述的DMA 300执行。可替代地，其他组件可执行过程700的一些或所有步骤。例如，在一些实施方式中，HMD和/或控制台可执行过程700的一些步骤。另外，在一些实施方式中，过程700可以包括与结合图7描述的步骤不同的或附加的步骤，或者以与结合图7描述的顺序不同的顺序执行步骤。

DMA 300用结构化光的脉冲以脉冲速率照亮710局部区域中的对象。DMA 300的脉冲式照明器组件310投射结构化光的脉冲。例如，脉冲式照明器组件310将点图案的脉冲投射到局部区域中的对象上。作为另一示例，脉冲式照明器组件310将点图案的脉冲投射到用户的眼睛上。在一些实施方式中，脉冲式照明器组件310包括至少两个结构化光投影仪。结构化光投影仪在不同时间投射结构化光的脉冲。

DMA 300在曝光间隔内收集720从局部区域反射的结构化光的脉冲，曝光间隔被脉冲化并被同步至脉冲速率。例如，DMA 300包括深度相机，其全局快门在结构化光的每个脉冲期间打开并扫描，但是在脉冲之间的时间关闭。对于结构化光的每个脉冲，全局快门可以扫描与脉冲持续时间相同或长于脉冲持续时间的曝光持续时间。

DMA 300使用收集的结构化光的脉冲来生成730图像数据。例如，DMA 300包括深度相机，深度相机包括收集结构化光的脉冲并将所收集的结构化光的脉冲转换成光电子的多个光电二极管。深度照相机可以从光电子中生成图像数据。在DMA 300包括多于一个结构化光投影仪的实施方式中，DMA 300可生成每个结构化光投影仪的分离的图像数据和/或所有结构化光投影仪的组合图像数据。

DMA 300基于生成的图像数据确定740对象的深度信息。在一些实施方式中，对于基于结构化光照亮的深度感测，DMA 300捕获由局部区域中的对象形状扭曲的反射的结构化光的脉冲的一部分，并且使用三角测量计算来获得局部区域的深度图。

在替换实施方式中，例如，对于基于飞行时间的深度感测，DMA 300使用存储在与深度相机的每个光电二极管相关联的存储区域中的电荷比来确定深度信息。在这种情况下，深度相机可被配置为将光电子存储在与特定时间量接收的光的强度相关联的每个存储区域中。在DMA 300包括多于一个结构化光投影仪的实施方式中，深度相机可被配置为将对应于每个结构化光投影仪的光电子存储在与每个光电二极管相关联的不同存储区域中。

图8是根据实施方式的其中DMA 300进行操作的HMD系统800的框图。HMD系统800可以在VR系统环境、AR系统环境、MR系统环境或其中的一些组合中操作。图8所示的HMD系统800包括耦接到HMD 820和HMD输入界面830的HMD控制台810。虽然图8示出了包括HMD 820和HMD输入界面830的示例系统800，但是在其他实施方式中，任何数量的这些部件可以被包括在系统800中。例如，可以存在多个HMD 820，每个HMD具有相关联的HMD输入界面830并且与HMD控制台810通信。在替换配置中，不同和/或附加部件可被包括在系统环境800中。类似地，一个或多个部件的功能可以以与本文描述的方式不同的方式分布在部件之间。例如，HMD控制台810的功能中的一些或全部可被包含在HMD 820内。

HMD 820是向用户呈现内容的头戴式显示器，内容包括具有计算机生成的元素(例如，2D或3D图像、2D或3D视频、声音等)的物理、真实世界环境的虚拟和/或增强视图。由HMD820呈现的媒体的示例包括一个或多个图像、视频、音频或其中的一些组合。在一些实施方式中，经由从HMD 820、控制台810或两者接收音频信息并且基于音频信息呈现音频数据的外部装置(例如，扬声器和/或头戴式受话器)来呈现音频。

图1中的HMD 100是HMD 820的实施方式。HMD 820包括电子显示器220、光学块230、IMU 140、一个或多个位置传感器150、参考点160和DMA 300。HMD 820的一些实施方式具有与本文描述的那些不同的部件。

在一些实施方式中，IMU 140例如从HMD控制台810接收一个或多个校准参数。一个或多个校准参数用于维持对HMD 820的跟踪。基于所接收的校准参数，IMU 140可以调整一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些校准参数使得IMU 140更新参考点160的初始位置，从而使其对应于参考点160的下一个校准位置。将参考点160的初始位置更新为参考点160的下一校准位置有助于减小与所确定的估计位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点160的估计位置随时间远离参考点160的实际位置“漂移”。

DMA 300确定围绕HMD 820的局部区域中的对象的深度信息。例如，DMA 300包括用结构化光脉冲照亮对象的脉冲式照明器组件310、与脉冲式照明器组件310同步捕获照明对象的图像数据的深度相机组件310、以及基于捕获的图像数据确定对象的深度信息的控制器330。控制器330还可以控制脉冲式照明器组件310和深度相机组件310。在一些其他实施方式中，在其他实施方式中，图1中描述的DMA 300的功能可以以不同的方式分布在HMD系统环境800中的其他部件中。例如，由控制器330提供的功能中的一些或全部可由HMD控制台810执行。可替代地，DMA 300的控制和处理模块中的一些是HMD 820的一部分，而其他是HMD控制台810的一部分。

HMD输入界面830是允许用户向HMD控制台810发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用或执行应用内的特定动作。HMD输入界面830可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将所接收的动作请求传送到HMD控制台810的任何其他合适的装置。由HMD输入界面830接收的动作请求被传送到执行与动作请求相对应的动作的HMD控制台810。在一些实施方式中，HMD输入界面830可根据从HMD控制台810接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者HMD控制台810将指令传送到HMD输入界面830，从而使HMD输入界面830在HMD控制台810执行动作时产生触觉反馈。

HMD控制台810根据从HMD 820和/或HMD输入界面830接收的信息向HMD 820提供以向用户呈现的媒体。在图5所示的示例中，HMD控制台810包括应用储存器812、跟踪模块814和HMD引擎816。HMD控制台810的一些实施方式具有与结合图7描述的模块不同的模块。类似地，下文进一步描述的功能可以与本文描述的方式不同的方式分布在HMD控制台810的组件之间。

应用储存器812存储供HMD控制台810执行的一个或多个应用。应用是一组指令，当由处理器执行时，该指令生成用于向用户呈现的内容。由应用生成的内容可以响应于经由HMD 820的移动或HMD输入界面830从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块814使用一个或多个校准参数校准HMD系统800，且可调整一个或多个校准参数以减少在确定HMD 820的位置时的误差。此外，由跟踪模块814执行的校准还考虑了从IMU 140接收的信息。另外，如果HMD 820的跟踪丢失，则跟踪模块814重新校准HMD系统700的一些或全部。

跟踪模块814跟踪HMD 820的移动。跟踪模块814使用来自快速校准信息的位置信息来确定HMD 820的参考点的位置。另外，在一些实施方式中，跟踪模块814可使用快速校准信息的部分来预测HMD 820的未来位置。可替代地，跟踪模块814可使用DMA 300生成的深度信息来跟踪HMD 820的移动。例如，DMA 300生成关于围绕HMD 820的局部区域的静止对象的深度信息。使用深度信息，跟踪模块814可确定对象相对于HMD 820的移动，该移动与HMD820在局部区域中的移动相反。跟踪模块814将HMD 100的估计或预测的将来位置提供给HMD引擎816。

HMD引擎816执行系统环境100内的应用并且从跟踪模块814接收HMD 820的深度信息、位置信息、加速度信息、速度信息、预测的未来位置或其中的一些组合。基于接收到的信息，HMD引擎816确定提供给HMD 820以呈现给用户的内容。例如，如果接收到的深度信息指示对象已经从HMD 820进一步移动，则HMD引擎816生成反映对象在增强现实环境中的移动的HMD 820的内容。另外，HMD引擎816响应于从HMD输入界面830接收到的动作请求来执行在HMD控制台810上的应用内执行的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 820的视觉或可听反馈或经由HMD输入界面830的触觉反馈。

可替换实施方式

除了确定局部区域中的对象的深度信息之外，本文描述的DMA 300还可用于跟踪HMD的用户的一只或多只眼睛的定向。为了跟踪眼睛，以DMA的脉冲式照明器组件可利用结构化光的脉冲来照射眼睛的方式来定位DMA 300，并且DMA 300的深度相机组件可捕获从眼睛反射的结构化光的脉冲以生成眼睛的图像数据(并且具体地，眼睛的角膜)。DMA 300可定位在沿着用户的视觉的轴线上，或者可定位成偏离用户的视觉的轴线。基于眼睛的图像数据，DMA 300的控制器生成眼睛的深度信息并且跟踪眼睛的定向。在一些实施方式中，DMA300的脉冲式照明器组件包括向用户的两只眼睛投射结构化光的脉冲的两个结构化光投影仪，深度相机组件收集从两只眼睛反射的结构化光的脉冲，并且因此控制器可跟踪两只眼睛的定向。为了跟踪人眼，脉冲式照明器比连续照明更安全，因为脉冲式照明器组件的发射占空比小于100％，并且可以满足人眼的安全标准。

附加配置信息

出于说明的目的已经呈现了本公开的实施方式的前述描述；该描述不旨在穷尽的或者将本公开局限于所公开的精确形式。本领域的技术人员可以理解，在以上公开的教导下许多修改和变型是可能的。

本说明书的一些部分根据对信息的操作的算法和符号表示来描述本公开的实施方式。这些算法描述和表示通常由数据处理领域中的技术人员使用以将他们工作的实质有效地传达给本领域其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微码等实施。此外，已证明有时把这些运算的布置称为模块也是方便的，并且不失其一般性。运算及其关联模块可具体化为软件、固件、硬件或以上设备的任意组合。

本文的任何步骤、操作或流程可被一个或多个硬件或软件模块单独或与其他设备组合执行或实施。在实施方式中，软件模块可被计算机程序产品实施，计算机程序产品包括包含计算机程序代码的计算机可读介质，程序代码可由用于执行任何或所有步骤、操作或流程的计算机处理器执行。

本公开的实施方式还可以涉及用于执行本文中的操作的装置。这种装置可能是为所需的目的特别构造的，和/或该装置可包括由储存在计算机中的计算机程序选择性激活或重新配置的通用计算装置。这种计算机程序可被存储在非暂时性的、有形的计算机可读存储介质中或适合于存储电子指令的任何类型的介质中，电子指令可以耦接到计算机系统总线。此外，在说明书中提及的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计用于增加的计算能力的架构。

本公开的实施方式还可以涉及由本文描述的计算过程产生的产品。产品可包括由计算过程产生的信息，其中，信息存储在非暂时性的、有形的计算机可读存储介质中并且可包括计算机程序产品或者此处所描述的其他数据组合的任何实施方式。

最后，原则上出于可读性和说明性的目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，意图是本公开的范围不受详细描述的限制，而是由在基于此的应用上发布的任何权利要求所限制。因此，实施方式的公开内容旨在是说明性的，而非限制在所附权利要求中阐述的本公开的范围。

Claims (20)

1.一种深度测量组件，包括：

脉冲式照明器组件，被配置为根据深度指令将结构化光的脉冲以脉冲速率投射到局部区域中；

深度相机组件，被配置成捕获根据所述深度指令用所述结构化光的脉冲照亮的所述局部区域的部分的图像数据，其中，深度相机的曝光间隔被脉冲化并被同步至所投射的脉冲；

控制器，被配置为：

生成所述深度指令；

向所述深度相机和结构化光投影仪提供所述深度指令，以及

部分基于所述图像数据确定所述局部区域中的对象的深度信息。

2.根据权利要求1所述的深度测量组件，其中，所述深度相机包括检测器，所述检测器被配置为与所述结构化光投影仪的脉冲发射同步地收集从所述对象反射的结构化光的脉冲。

3.根据权利要求2所述的深度测量组件，其中，所述检测器包括多个光电二极管，每个光电二极管包括至少两个存储区域。

4.根据权利要求2所述的深度测量组件，其中，对于所述结构化光的每个脉冲，所述检测器被配置为在与所述脉冲的持续时间相同或更长的曝光持续时间期间进行一次或多次曝光。

5.根据权利要求4所述的深度测量组件，其中，所述检测器包括可调谐滤波器，所述可调谐滤波器在所述检测器的每个曝光持续时间期间是不活动的并且在所述检测器的曝光持续时间之外的时间是活动的。

6.根据权利要求4所述的深度测量组件，其中，所述曝光持续时间比所述脉冲的持续时间长。

7.根据权利要求1所述的深度测量组件，其中，所述脉冲式照明器组件包括单个结构化光投影仪，所述结构化光投影仪被配置为根据所述深度指令将所述结构化光的脉冲投射到所述局部区域的所述部分中。

8.根据权利要求7所述的深度测量组件，其中，所述结构化光投影仪包括脉冲式照明器、衍射光学元件和投影组件。

9.根据权利要求7所述的深度测量组件，其中，所述结构化光的脉冲通过两个或更多个脉冲光束的干涉而形成。

10.根据权利要求1所述的深度测量组件，其中，所述脉冲式照明器组件包括至少两个结构化光投影仪，所述结构化光投影仪被配置为根据所述深度指令在不同时间将所述结构化光的脉冲投射到所述局部区域的所述部分中。

11.根据权利要求1所述的深度测量组件，其中，所述结构化光投影仪交替地投射所述结构化光的脉冲。

12.根据权利要求1所述的深度测量组件，其中，由所述脉冲式照明器组件发射的脉冲具有在从100kHz到200MHz的范围内的频率。

13.根据权利要求1所述的深度测量组件，其中，由所述脉冲式照明器组件发射的脉冲具有在从100ps到100ns的范围内的脉冲持续时间。

14.根据权利要求1所述的深度测量组件，其中，所述控制器被配置为基于被所述局部区域中的对象形状扭曲了的反射的结构化光的部分的相移图案来确定所述深度信息。

15.根据权利要求1所述的深度测量组件，其中，所述控制器被配置为使用与所述深度相机组件的每个光电二极管相关联的存储区域之间的电荷比来确定所述深度信息。

16.根据权利要求1所述的深度测量组件，其中，所述控制器被进一步配置为使用三角测量计算来获得所述局部区域的深度图。

17.根据权利要求1所述的深度测量组件，其中，所述深度指令包括所述结构化光投影仪的一个或多个脉冲参数。

18.根据权利要求17所述的深度测量组件，其中，所述一个或多个脉冲参数包括脉冲速率、脉冲长度、脉冲波长、脉冲幅度、控制所述结构化光的脉冲如何由所述脉冲式照明器组件投射的一些其他参数、或其中的一些组合。

19.根据权利要求1所述的深度测量组件，其中，所述深度指令包括曝光速率和曝光持续时间。

20.根据权利要求19所述的深度测量组件，其中，所述曝光速率等于所述脉冲式照明器组件的所述脉冲速率。