CN109425305A - 使用多个脉冲式结构光投影仪的深度测量 - Google Patents

使用多个脉冲式结构光投影仪的深度测量 Download PDF

Info

Publication number
CN109425305A
CN109425305A CN201811026225.9A CN201811026225A CN109425305A CN 109425305 A CN109425305 A CN 109425305A CN 201811026225 A CN201811026225 A CN 201811026225A CN 109425305 A CN109425305 A CN 109425305A
Authority
CN
China
Prior art keywords
pulse
depth
measurement component
component according
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811026225.9A
Other languages
English (en)
Inventor
迈克尔·霍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN109425305A publication Critical patent/CN109425305A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0011—Arrangements for eliminating or compensation of measuring errors due to temperature or weight
    • G01B5/0014—Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及使用多个脉冲式结构光投影仪的深度测量。深度测量组件(DMA)包括脉冲式照射器组件、深度相机组件和控制器。脉冲式照射器组件具有结构光投影仪，其以脉冲重复频率将结构光的脉冲投射到局部区域中。深度相机组件捕获用结构光脉冲照射的局部区域中的对象的图像数据。深度相机组件的曝光间隔是脉冲式的并同步到由脉冲式照射器组件投影的脉冲。控制器控制脉冲式照射器组件和深度相机组件，使得它们同步。控制器还基于捕获的图像数据确定对象的深度和/或跟踪信息。在一些实施方式中，脉冲式照射器组件具有在不同时间投射结构光的脉冲的多个结构光投影仪。

Description

使用多个脉冲式结构光投影仪的深度测量
技术领域
本公开总体上涉及深度测量，并且具体地，涉及在头戴式显示器(HMD)应用中使用多个脉冲式结构光投影仪来进行深度测量。
背景技术
深度测量是HMD系统的重要特征，诸如在虚拟现实(VR)和增强现实(AR)应用中使用的系统。深度测量系统通常包括将光投影到局部区域(例如，结构光和光脉冲等)中的某种主动照射系统。深度测量系统然后使用包括投射光的局部区域的图像，以便确定到局部区域中的对象的深度。但是，现有的深度测量系统在高的环境光照条件下具有性能差的缺点，因为主动照射系统必须对深度测量系统生成足够强以区分其与环境背景光的信号。因此，常规深度测量系统的有效性在高环境照射下(诸如在明亮的太阳照射下的室外)受到损害。
发明内容
深度测量组件(DMA)将结构光的脉冲投影到局部区域(例如，围绕HMD的区域)。DMA捕获局部区域的图像数据，该局部区域包括已被局部区域中的对象散射/反射的结构光，并使用捕获的图像数据来确定局部区域中的对象的深度信息。在一些实施方式中，这些脉冲中的一个或多个是可以淹没强环境光的高峰值功率脉冲。由此，高峰值功率脉冲可在强环境光的条件下增加信噪比。
DMA包括脉冲式照射器组件、深度相机组件和控制器。脉冲式照射器组件包括两个或更多个结构光投影仪，其在不同时间以脉冲重复频率将结构光的脉冲投射到局部区域的一部分中。该多个结构光投影仪可照射该局部区域中的相同对象或该局部区域中的不同对象。深度相机组件捕获用结构光脉冲照射的局部区域的部分的图像数据。深度相机组件具有与结构光投影仪的脉冲重复频率(pulse rate)同步的脉冲曝光间隔。例如，对于结构光的每个脉冲，深度相机在等于或长于脉冲的持续时间的时间段期间捕获图像数据。在时间段之外，深度相机组件不捕获图像数据。深度相机组件可生成对应于每个结构光投影仪的单独图像数据。可替代地，深度相机组件可生成对应于所有结构光投影仪的组合图像数据。为了生成合成图像数据，深度相机组件对从每个结构光投影仪生成的图像数据进行融合(integrate，一体化，积分)。控制器控制脉冲式照射器组件和深度相机组件。此外，控制器部分地基于由深度相机组件捕获的图像数据来确定局部区域的部分中的对象的深度信息。控制器可进一步基于深度信息确定对象的跟踪信息。在结构光投影仪照射多个对象的实施方式中，控制器确定多个对象中的每一个的深度/跟踪信息。
在一些实施方式中，DMA是HMD的一部分。HMD系统可以在VR系统环境、AR系统环境、混合现实(MR)系统环境或其某种组合中操作。HMD包括电子显示器、光学块和深度测量组件。电子显示器部分基于深度信息显示虚拟对象。光学块将来自电子显示元件的光引导到HMD的窥视窗(眼动范围，eyebox)。
附图说明
图1是根据实施方式的HMD的线图。
图2是根据实施方式的图1中的HMD的前刚体的截面。
图3是根据实施方式的DMA的框图。
图4示出了根据实施方式的包括单个结构光投影仪的脉冲深度测量方案。
图5示出了根据实施方式的包括三个交替结构光投影仪的脉冲深度测量方案。
图6A示出根据实施方式的深度相机组件的检测器，该检测器捕获从由三个结构光投影仪照射的对象反射的结构光的脉冲。
图6B示出了根据实施方式的图6A中的检测器的光电二极管阵列。
图7是根据实施方式的用于脉冲深度测量的过程的一个实施方式的流程图。
图8是根据实施方式的DMA操作的HMD系统的框图。
附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将容易地从以下描述中认识到，在不悖离在文中描述的本公开的原理或益处的情况下，可以采用在文中展示的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是根据实施方式的HMD 100的线图。HMD100可以是例如VR系统、AR系统、MR系统或其某种组合的一部分。在描述AR系统和/或MR系统的实施方式中，HMD100的在HMD100的前侧110A与用户的眼睛之间的部分至少部分透明(例如，部分透明的电子显示器)。HMD100包括前侧110A、顶侧110B、底侧110C、右侧110D、左侧110E、前刚体120和带130。前刚体120还包括惯性测量单元(IMU)140、一个或多个位置传感器150和参考点160。在图1所示的实施方式中，位置传感器150位于IMU 140内，而IMU140和位置传感器150对于用户都是不可见的。
IMU 140是基于从一个或多个位置传感器150接收的测量信号生成快速校准数据的电子设备。位置传感器150响应于HMD100的运动生成一个或多个测量信号。位置传感器150的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU140的误差校正的传感器类型或其某种组合。位置传感器150可以位于IMU140外部、IMU140内部或其某种组合。
基于来自一个或多个位置传感器150的一个或多个测量信号，IMU140生成指示HMD100相对于HMD100的初始位置的估计位置的快速校准数据。例如，位置传感器150包括多个加速计以测量平移运动(向前/向后、向上/向下、向左/向右)和多个陀螺仪以测量旋转运动(例如，俯仰、偏航或滚动)。在一些实施方式中，IMU140快速地采样测量信号并且根据采样数据计算HMD100的估计位置。例如，IMU140随着时间对从加速计接收的测量信号进行积分以估计速度矢量，并且随着时间积分速度矢量以确定HMD100上的参考点的估计位置。参考点160是可用于描述HMD100的位置的点。虽然参考点通常可以被定义为空间中的点；然而，实际上，参考点被定义为HMD100内的点(例如，IMU140的中心)。
HMD100还包括DMA(图1中未示出)。DMA的一些实施方式包括脉冲式照射器组件和深度相机组件。脉冲式照射器组件向围绕HMD100的局部区域中的对象投射结构光的脉冲。深度相机组件收集从对象反射的结构光的脉冲，并且还可以收集从对象反射的环境光以捕获图像数据。基于捕获的图像数据，DMA确定对象的深度信息。HMD100描绘了照射孔口170和成像孔口180。脉冲式照射器组件通过照射孔口170投射结构光的脉冲。并且深度相机组件收集通过成像孔口180从对象反射的结构光的脉冲。结合图3描述了关于DMA的更多细节。
图2是根据实施方式的图1中的HMD100的前刚体120的截面200。前刚体120包括DMA210、电子显示器220和光学块230。前刚体120的一些实施方式具有与在此描述的那些不同的部件。类似地，在一些情况下，功能能够以与在此描述的方式不同的方式分布在部件之间。前刚体120还包括用户的眼睛250将位于的窥视窗(eyebox)240。为了说明的目的，图2示出了根据单眼250的前刚体120的截面。虽然图2将眼睛250的中心截面描绘为与DMA210在相同的平面中，但是眼睛250的中心截面和DMA210不必在相同的平面中。另外，与图2中所示的电子显示器和光学块分离的另一电子显示器和光学块可被包括在前刚体120中以将内容(诸如局部区域260的增强表示或虚拟内容)呈现给用户的另一只眼睛。
DMA210包括脉冲式照射器组件212、深度相机组件214和控制器216。脉冲式照射器组件212利用结构光的脉冲照射局部区域260。深度相机组件214与结构光的脉冲同步地捕获局部区域260的图像，并将图像数据输出到控制器216。
在一些实施方式中，控制器216经配置以使用来自深度相机214的图像数据来确定局部区域260中的对象的深度信息。控制器216还控制结构光的脉冲如何被脉冲式照射器组件212投射以及深度相机组件214如何捕获图像光。例如，控制器指示脉冲式照射器组件212以脉冲重复频率投影脉冲，并且指示深度相机组件214以利用脉冲式和同步到脉冲重复频率的曝光间隔捕获图像数据。在替换实施方式中，一些其他设备(例如，HMD控制台)确定局部区域260的深度信息。
电子显示器220向用户显示图像(例如，2D或3D图像)。在不同实施方式中，电子显示器220包括单个电子显示面板或多个电子显示面板(例如，用于用户的每只眼睛的显示器)。电子显示面板的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、一些其他显示器或其某种组合。
光学块230放大从电子显示器220接收的光，校正与图像光相关联的光学误差，并且校正的图像光被呈现给HMD100的用户。光学块230是光学元件，诸如光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器或影响从电子显示器220发射的图像光的任何其他合适的光学元件。此外，光学块230可以包括不同光学元件的组合。在一些实施方式中，光学块230中的光学元件中的一个或多个光学元件可具有一个或多个涂层，诸如部分反射器或防反射涂层。
光学器件块230对图像光的放大率允许电子显示器220比较大显示器在物理上尺寸更小、重量小和消耗更少的功率。另外，放大率可增加所显示媒体的视野。例如，所显示的媒体的视野使得所显示的媒体几乎全部使用(例如，110°对角)来呈现，并且在一些情况下全部使用用户的瞬时视野来呈现。在一些实施方式中，光学块230的有效焦距大于到电子显示器220的间隔。因此，光学块230放大由电子显示器220投影的图像光。另外，在一些实施方式中，可通过添加或移除光学元件来调整放大量。
光学块230可以被设计成用于校正一种或多种类型的光学误差。光学误差的示例包括：二维光学误差、三维光学误差或其某种组合。二维误差是在二维中出现的光学像差。二维误差的示例类型包括：-桶形失真、枕形失真、纵向色差、横向色差、或任何其他类型的二维光学误差。三维误差是三维中出现的光学误差。三维误差的示例类型包括球面像差、色差、场曲率、散光或任何其他类型的三维光学误差。在一些实施方式中，提供给电子显示器220用于显示的内容被预先失真，并且光学块230在其从电子显示器220接收基于内容而生成的图像光时校正失真。
图3是根据实施方式的DMA300的框图。DMA300确定局部区域中的一个或多个对象的深度信息。DMA300包括脉冲式照射器组件310、深度相机组件320和控制器330。DMA300的一些实施方式具有与在此描述的那些不同的组件。类似地，这些功能能够以与在此描述的方式不同的方式分布在这些部件之间。
脉冲式照射器组件310将结构光的脉冲投射到局部区域中。脉冲式照射器组件310包括一个或多个结构光投影仪，其各自被配置为投射结构光的脉冲。结构光投影仪包括脉冲式照射器、衍射光学元件(DOE)和投影组件。脉冲式照射器发射光脉冲。脉冲式照射器可以发射各种频率或持续时间的脉冲。例如，照射器指令使得脉冲式照射器发射具有的频率从约100kHz到200MHz或从约500kHz到2MHz的频率范围内的脉冲。在一些实施方式中，脉冲具有恒定的脉冲持续时间，例如100ns。在可替换实施方式中，脉冲可具有在从100ps到100ns或从约1ns到10ns的范围内的不同脉冲持续时间。在脉冲式照射器附近产生的热量可在脉冲之间消散。脉冲式照射器可以在可见光频带(即，约380nm到750nm)中、在红外(IR)频带(即，约750nm到1mm)中、在紫外频带(即，10nm到380nm)中、在短波红外(SWIR)频带(例如，约900nm到2200nm或约1300nm到1500nm)中、电磁谱的一些其他部分或其某种组合发射光。
DOE将来自脉冲式照射器的光转换成结构光。结构光是可用于确定深度信息的光。结构光可以包括例如点矩阵图案、单线图案、正弦曲线图案、多(空间)色调图案和网格图案、漫射光(例如，用于飞行时间深度确定)、可以用于确定深度信息的一些其他光、或其某种组合。DOE可以是例如一个或多个衍射光栅、漫射器、空间光调制器、形成结构光的一些其他元件或其某种组合。在一些实施方式中，结构光不由DOE产生，而是由两束或更多束光脉冲(例如，时间共享扫描光束或高斯光束)的干涉形成。投影组件将结构光投影到局部区域中。投影组件包括一个或多个光学元件(例如，透镜、偏振器等)，其收集结构光并且将结构光投影到局部区域中的一些或全部中。
在脉冲式照射器组件310包括多个(即，至少两个)结构光投影仪的实施方式中，结构光投影仪可在不同时间发射结构光的脉冲。在一个实施方式中，结构光投影仪是交替的。例如，第一结构光投影仪投影结构光的第一脉冲，并且在结构光投影仪不活动(例如，冷却)的同时，第二结构光投影仪投影第二脉冲，可选地接着第三或更多个结构光投影仪。该循环重复。在每个循环内，在由不同结构光投影仪投影的脉冲之间可能存在时间间隙。在一个实施方式中，结构光投影仪投影具有相同结构光图案的结构光的脉冲。在替代实施方式中，每个结构光投影仪与不同的结构光图案相关联。同样地，从结构光投影仪发射的脉冲可具有不同的频率、持续时间、波长或其任何组合。
多个结构光投影仪的组合在占空比(duty cycle)内生成更多的信号，而不会使任何结构光投影仪过热。因而，可通过在脉冲之间复用多个测量来更有效地进行深度测量。此外，利用几何结构光投影仪，可以去除由单个结构光投影仪引起的阴影。另外，与由单个结构光投影仪投影的结构光图案相比，经复用的结构光投影仪可使结构光图案更密集。
深度相机组件320捕获用结构光脉冲照射的局部区域的一部分的图像数据。在一些实施方式中，深度相机组件320与脉冲式照射器组件310位于同一位置(例如，可以是同一设备的一部分)。在一些实施方式中，深度相机组件320包括检测深度相机组件320的视场中的结构光图案的检测器。检测器包括光电二极管阵列。光电二极管对光敏感并且将所收集的光子转换成光电子。每个光电二极管具有存储光电子的一个或多个存储区域。深度相机组件320从每个光电二极管的一个或多个存储区域读出所存储的光电子，以获得图像数据。在读出期间，深度相机组件320可以将光电子转换为数字信号(即，模数转换)。在脉冲式照射器组件310包括多于一个结构光投影仪的实施方式中，对应于由不同结构光投影仪投射的结构光的脉冲的光电子能够被存储在检测器的每个光电二极管的单独存储区域中。深度相机组件320可以读出单独存储区域以获得对应于每个结构光投影仪的单独图像数据。可替代地，深度相机组件320可以生成与所有结构光投影仪相对应的组合图像数据。
检测器与结构光投影仪310的脉冲发射同步。例如，检测器具有脉冲式并同步到脉冲式照射器组件310的脉冲重复频率的曝光间隔。在曝光间隔期间，检测器曝光局部区域的部分。在曝光间隔之外，检测器不进行曝光。在一些实施方式中，对于由脉冲式照射器组件310投射的结构光的每个脉冲，检测器在与从脉冲式照射器组件310发射的结构光的脉冲的脉冲持续时间相同或更长的时间段(曝光持续时间)内取得一个或多个曝光(例如，单个曝光或多个交错曝光)。在一些实施方式中，曝光持续时间是单个积分时段，在该单个积分时段期间，单个脉冲被收集并被分类到单个存储区域中，单个积分时段期间为例如从脉冲的第一光子发射直到脉冲的最后一个光子被检测器收集的时间段。
在其中脉冲式照射器组件310包括发射一系列结构光脉冲的单个结构光投影仪的实施方式中，结构光脉冲的曝光持续时间在结构光投影仪发射结构光脉冲之前或同时开始。检测器在曝光持续时间期间收集光电子并将光电子存储到存储区域中。检测器重复此过程，直到收集完由结构光投影仪发射的最后脉冲的光子。检测器可以从存储区域读出在一系列脉冲上积累的光电子。可以在收集最后脉冲的光子之后进行读出。检测器可以从曝光持续时间之外的背景光收集光电子。来自背景光的光电子被存储在诸如暂时存储区域或硅基板的第二存储区域中。第二存储区域不被读出并且可以被重置。
在其中脉冲式照射器组件310包括多个结构光投影仪的实施方式中，检测器在由结构光投影仪发射的结构光的每个脉冲的曝光持续时间期间收集光电子。检测器可将来自由每个结构光投影仪发射的脉冲的光电子存储到不同的存储区域中。例如，在收集完由结构光投影仪发射的最后脉冲的光子之后，检测器可以顺序地读出不同的存储区域。在检测器可以从曝光持续时间之外的背景光收集光电子的情况下，来自背景光的光电子被存储在临时存储区域或未被读出并且可以被重置的硅基板中。因为检测器不连续地收集光，所以避免了来自环境光的光子的聚集。因此，相对于例如连续收集光的系统，可以实现较高的信噪比。
在实施方式中，检测器使用全局快门扫描。检测器包括与脉冲式照射器组件310同步的全局快门。例如，全局快门在结构光的每个脉冲期间打开和扫描，并且在脉冲结束时关闭。由此，全局快门阻挡来自环境光的光子的累积。在一个实施方式中，检测器是飞行时间(ToF)传感器。
在一些实施方式中，检测器的每个光电二极管具有至少两个存储区域，并且可以具有更多的(例如，3、4等)。光电二极管捕获从局部区域中的对象反射的光，包括由脉冲式照射器组件310发射的结构光的脉冲和环境光。例如，对于包括第一存储区域和第二存储区域的给定光电二极管，与在检测器的曝光持续时间期间捕获的光相对应的光电子(“脉冲信号”)被存储在第一存储区域中，并且其他光电子(“环境信号”)被存储在第二存储区域中。两个存储区域之间的占空比与脉冲式照射器组件310的占空比匹配。深度相机组件320读出检测器的光电二极管的第一存储区域以获得图像数据。在一些实施方式中，深度相机组件320不读出光电二极管的第二存储区域。并且可以在每个占空比之后重置第二存储区域。在一些替代实施方式中，深度相机组件320读出第二存储区域。并且，读出与反射的环境光对应的第二存储区域的图像数据可以用于在读出第一存储区域之前或之后从脉冲信号减去环境背景。
与每个光电二极管相关联的存储区域的数量可以变化。例如，一些光电二极管可以具有两个存储区域，一些可以具有三个，并且一些可以具有四个。在脉冲式照射器组件310包括多于一个结构光投影仪的实施方式中，与光电二极管相关联的每个存储区域可被配置为存储从不同结构光投影仪生成的光电子。
在一些其他实施方式中，检测器包括可调谐滤波器。可调谐滤波器阻止光到达检测器。可调谐滤波器可安装在从局部区域中的对象反射的结构光的脉冲的光路中的任何地方。例如，可调谐滤波器附接在检测器的顶部上或在深度相机组件320的前部。可调谐滤波器可与结构光投影仪310同步地在开启(激活)和关闭(非激活)之间切换。例如，对于结构光的每个脉冲，可调谐滤波器对于检测器的曝光持续时间是非激活的。当可调谐滤波器是非激活的时，光可以穿过可调谐滤波器并且到达检测器。可调谐滤波器在检测器的曝光持续时间之外是激活的。当可调谐滤波器激活时，光被阻挡到达检测器。
控制器330控制脉冲式照射器组件310和深度相机组件320。控制器330还使用由深度相机组件320生成的图像数据来确定深度信息。控制器330还可基于深度信息生成跟踪信息。跟踪信息是指示对象的位置、定向和/或移动和/或HMD定向的信息。跟踪信息包括例如局部区域的深度信息、对象的运动信息、用户的一只或两只眼睛的位置和定向、注视方向(例如，用户正在注视的地方)、聚散度(vergence)、估计的调节平面(estimatedaccommodation plane)等。
在图3所示的示例中，控制器330包括数据库350、脉冲式照射器模块360、图像捕获模块370、深度测量模块380和校准模块390。这些模块是在一个或多个处理器、专用硬件单元或其某种组合上实现的软件模块。控制器330的一些实施方式具有与结合图3描述的部件不同的部件。类似地，结合图3描述的部件的功能可以以与结合图3描述的方式不同的方式分布在其他部件之间。例如，被描述为由控制器330执行的功能中的一些或全部可由HMD控制台执行。
数据库350存储由DMA300生成和/或使用的数据。数据库350是诸如ROM、DRAM、SRAM或其某种组合的存储器。数据库350可以是HMD系统的较大数字存储器的一部分。在一些实施方式中，数据库350存储来自深度相机组件320的图像数据、来自校准模块390的描述在深度测量之前训练或建立的基线的基线数据、深度信息和来自深度测量模块380的描述表征参数的分析数据。在一些实施方式中，数据库350可存储校准数据和/或来自其他部件的其他数据，例如深度指令。深度指令包括由脉冲式照射器模块360生成的照射器指令和由图像捕获模块370生成的相机指令。
数据库350还存储深度相机组件320捕获图像的对象的模型。模型用于与由深度相机捕获的图像进行比较，以确定对象的深度和跟踪信息。存储在数据库350中的模型可以是近似(逼近，approximate)对象的表面几何形状的3D模型。在深度相机组件320捕获多于一个对象的图像数据的实施方式中，数据库350可包含多于一个模型。
脉冲式照射器模块360经由照射器指令控制脉冲式照射器组件310。照射器指令包括控制如何由脉冲式照射器组件310发射光的一个或多个脉冲参数。脉冲参数可描述(例如)脉冲重复频率、脉冲长度、脉冲波长、脉冲振幅、控制结构光的脉冲如何由脉冲式照射器组件310投射的一些其他参数，或其某种组合。脉冲式照射器模块360可从数据库350检索照射器指令。可替代地，脉冲式照射器模块360生成照射器指令。例如，脉冲式照射器模块360确定一个或多个脉冲参数。在一个实施方式中，脉冲式照射器模块360基于局部区域中的对象的安全标准和/或脉冲式照射器组件310的热约束来确定一个或多个脉冲参数。在脉冲式照射器组件310包括多个结构光投影仪的实施方式中，脉冲式照射器模块360确定一个或多个脉冲参数，以避免由不同结构光投影仪投射的结构光的脉冲的重叠捕获。脉冲式照射器模块360还确定由脉冲式照射器组件310投影的一个或多个结构光图案。在一些实施方式中，脉冲式照射器模块360基于由DMA300报告的对象的先前报告的深度信息来选择一个或多个结构光图案。由脉冲式照射器模块360确定的结构光图案可包括例如点、单线、正弦曲线、网格、多色调图案、其他类型的图案、漫射光(例如，飞行时间操作)等。
图像捕获模块370经由相机指令控制深度相机组件320。图像捕获模块370可从数据库350检索相机指令。可替代地，图像捕获模块370部分地基于由脉冲式照射器模块360生成的照射器指令来生成相机指令。图像捕获模块370例如基于在照射器指令中指定的一个或多个脉冲参数(例如，脉冲重复频率和脉冲持续时间)确定深度相机组件320的曝光重复频率和曝光持续时间。例如，图像捕获模块370确定曝光重复频率等于脉冲重复频率，使得深度相机组件320的曝光间隔与脉冲重复频率同步。此外，图像捕获模块370确定曝光持续时间等于脉冲持续时间。有时，图像捕获模块370确定曝光持续时间长于脉冲持续时间，以避免由于传入光的延迟而导致对整个脉冲没有收集完。曝光持续时间可以是比脉冲持续时间长20％。在一些实施方式中，图像捕获模块370还确定结构光的每个脉冲的曝光数量。
相机指令还可识别深度相机组件320的存储区域以读出。例如，在深度相机组件320的每个光电二极管具有第一存储区域和第二存储区域的实施方式中，相机指令使得深度相机组件320读出光电二极管的第一存储区域并且不读出第二存储区域。此外，在脉冲式照射器组件310具有多个结构光投影仪且深度相机组件320包括用于结构光投影仪的不同存储区域的实施方式中，相机指令可致使深度相机组件320分开地读出存储区域以用于产生单独的图像。可替代地，相机指令可以使得深度相机组件320读出存储区域全部以一起用于生成组合图像数据。
深度测量模块380被配置为至少部分基于所反射的结构光的所捕获部分确定一个或一个以上对象的深度信息。在一些实施方式中，对于基于结构光照射的深度感测，深度测量模块380被配置为基于由局部区域中的对象的形状失真引起的反射的结构光的部分的相移图案来确定深度信息，并且使用三角测量计算来获得局部区域的深度图。在替代实施方式中，对于基于飞行时间的深度感测，深度测量模块380被配置为使用与深度相机组件320的每个光电二极管相关联的存储区域之间的电荷比来确定深度信息。在一些实施方式中，深度测量模块380向HMD系统提供所确定的深度信息。HMD系统可以利用深度信息来例如生成用于在电子显示器220上呈现的内容。
图4示出了根据实施方式的包括单个结构光投影仪的脉冲深度测量方案400。图4包括三个曲线图410、420和430。
曲线图410示出了根据时间由结构光投影仪投影的脉冲的峰值功率。为了说明和简明的目的，曲线图410示出了由结构光投影仪发射的结构光的五个脉冲。但是，结构光投影仪可发射大量的脉冲，诸如数百或数千，以实现足够的信噪比。如曲线图410中所示，五个脉冲具有显著高于环境光的功率的高峰值功率。因此，这五个脉冲可淹没环境光，从而导致高信噪比。在曲线图410中，五个脉冲具有相同的脉冲持续时间。例如，每个脉冲可具有100ns的脉冲持续时间，并且两个相邻脉冲之间的持续时间(例如，100ms)可显著长于脉冲持续时间。在其他实施方式中，脉冲可具有不同的脉冲持续时间或峰值功率。同样地，两个相邻脉冲之间的持续时间可以是不同的。
曲线图420示出了随着时间变化的结构光投影仪附近的温度。结构光投影仪附近的温度在结构光投影仪发射五个脉冲中的每一个时达到深度测量方案400的温度限制。然而，结构光投影仪附近的温度在非常短的时间段内(即，小于脉冲持续时间)保持在温度限制处。这避免了在结构光投影仪附近累积过多的热量。在脉冲之间的持续时间期间，结构光投影仪是非激活的，允许在脉冲发射期间产生的热量消散。由此，脉冲深度测量方案400达到产生结构光的高峰值功率脉冲的温度限制；并且同时，因为它在非常短的时间段内保持在温度限制处并且结构光投影仪在脉冲期间是非激活的，所以避免了系统的过热。此外，对于由结构光投影仪照射的局部区域中的对象容易受到热(例如，人眼)，脉冲深度测量方案可满足这些对象的安全标准。
曲线图430示出了脉冲深度测量方案400的深度相机组件随时间变化的全局快门扫描。深度相机组件捕获由五个脉冲照射局部区域的一部分的图像数据。如曲线图430中所示，深度相机组件的全局快门的曝光间隔是脉冲式的并与由结构光投影仪发射的脉冲同步。因此，环境光的收集被限制以实现高信噪比。对于每个脉冲，深度相机组件在比脉冲的持续时间更长的曝光持续时间内收集光，从而使得尽管由于结构光投影仪、对象和深度相机组件之间的距离导致入射光的可能延迟，但深度相机组件也捕获全脉冲。在一个实现方式中，曝光持续时间比脉冲持续时间长20％。可替代地，曝光持续时间可以与脉冲持续时间相同。
图5示出了根据实施方式的包括三个交替结构光投影仪的脉冲深度测量方案500。图5包括两个曲线图510和520，其示出了由三个结构光投影仪进行的脉冲照射和由深度相机组件320进行的图像捕获，该深度相机组件320捕获由三个结构光投影仪照射的对象的图像。在替代实施方式中，脉冲深度测量方案500可具有不同数目的结构光投影仪。
曲线图510示出了根据时间的由结构光投影仪投射的脉冲的峰值功率。实线表示第一结构光投影仪的脉冲；虚线表示第二结构光投影仪的脉冲；点线表示第三结构光投影仪的脉冲。这三个结构光投影仪是交替的。在第一结构光投影仪发射结构光的脉冲之后，第二结构光投影仪发射结构光的脉冲，接着由第三结构光投影仪发射结构光的脉冲。该过程重复进行。为了说明和简明的目的，三个结构光投影仪中的每一个发射五个脉冲。但是，结构光投影仪可以发出不同数量的脉冲。在实施方式中，这三个结构光投影仪投射不同的结构光图案。在替代实施方式中，这三个结构光投影仪投影相同的结构光图案。
曲线图520示出了脉冲深度测量方案500的深度相机组件随时间变化的全局快门扫描。深度相机组件与结构光投影仪的脉冲同步收集由三个结构光投影仪照射的局部区域的一部分反射的光，并且基于所收集的光生成图像数据。深度相机组件的全局快门扫描与由结构光投影仪投影的脉冲同步。类似于曲线图430，曲线图520示出了对于每个脉冲，全局快门扫描的曝光持续时间长于脉冲持续时间。在一个实施方式中，深度相机组件320将从对应于每个结构光投影仪的脉冲的光子转换的光电子存储到每个光电二极管的不同存储区域中。深度相机组件320进一步读出存储区域以生成图像数据。因为对应于由每个结构光投影仪投影的脉冲的光电子被存储在每个光电二极管的不同存储区域中，所以深度相机组件320生成对应于三个结构光投影仪中的每一个的单独图像数据。可替代地，深度相机组件320将与由三个结构光投影仪发射的脉冲对应的光电子进行组合以生成组合的图像数据。组合图像数据是来自三个结构光投影仪中的每一个的图像数据的集成。
组合图像数据包括关于对应于三个结构光投影仪的结构光图案的信息。因而，与对应于单个结构光投影仪的图像相比，合成图像数据在单个占空比中提供三次的更多信息。由此，与脉冲深度测量方案400相比，脉冲深度测量方案500对于深度测量可更有效。在一些实施方式中，这三个结构光投影仪分别照射三个对象。因而，组合图像数据包括指示由三个对象的表面引起的结构光图案的失真的信息。由此，可使用组合的图像数据来产生所有三个对象的深度信息。可替代地，这三个结构光投影仪可以照射同一对象的三个不同部分，并且该组合的图像可以用于生成该对象的所有这三个部分的深度信息。这对于具有不均匀表面的对象是特别有用的。
图6A示出根据实施方式的深度相机组件的检测器610捕获从由三个结构光投影仪620、630和640照射的对象625、635和645反射的结构光。结构光投影仪620由实线表示，虚线对应结构光投影仪630和点线对应结构光投影仪640。在一个实施方式中，检测器610是结合图3描述的检测器。并且三个结构光投影仪620、630和640可以是结合图5描述的三个交替的结构光投影仪。在三个结构光投影仪620、630和640照射一个对象的实施方式中，两个结构光投影仪可以彼此更靠近并且第三结构光投影仪更远离它们。结构光投影仪620、630和640的这种设置被配置为通过从不同的角度照射对象来去除阴影。
在图6A的实施方式中，三个结构光投影仪620、630和640用不同的结构光图案照射三个不同的对象625、635和645。从三个对象625、635和645反射的结构光的脉冲到达检测器610。检测器610捕获反射光并且将反射光的光子转换成光电子。如图6A所示，从三个对象625、635和645反射的结构光的脉冲到达检测器610的相同位置。检测器610的每个光电二极管具有的光电子的不同存储区域对应于每个对象/结构光投影仪。因而，即使经反射的光的到达位置在检测器610上重叠，深度相机组件320也可产生对应于从三个对象625、635和645中的每一者反射的光的分离的图像数据。可替代地，深度相机组件320可以生成包括关于与所有三个对象625、635和645相对应的三个图案的信息的组合图像数据。
图6B示出了根据实施方式的图6A中的检测器610的光电二极管阵列。图6B中的每个网格表示检测器610的光电二极管。图6B示出了12×12的光电二极管阵列。但是检测器610可以具有不同数量的光电二极管。检测器610的每个光电二极管具有一个或多个存储区域。光电二极管收集三个结构光图案660、670和680。结构光图案660由实线表示，结构光图案670由虚线表示，并且结构光图案680由点线表示。结构光图案660对应于从由结构光投影仪620照射的对象625反射的光。同样地，结构光图案670对应于从由结构光投影仪630照射的对象635反射的光，并且结构光图案680对应于从由结构光投影仪640照射的对象645反射的光。结构光图案660、670和680在一些光电二极管上重叠。
在一个实施方式中，三个光电二极管中的每个光电二极管具有三个存储区域并且分别将与三个结构光图案660、670和680对应的光电子存储到三个存储区域中。由此，通过读出结构光图案的光电子，可以针对每个结构光图案生成单独的图像数据。此外，可以通过从每个光电二极管的所有三个存储区域读出光电子来生成合成图像数据。可通过使用单独的图像数据和/或组合的图像数据来确定三个对象525、535和545的深度信息。
图7是根据实施方式的用于脉冲深度测量的过程700的一个实施方式的流程图。过程700由结合图3描述的DMA300执行。可替代地，其他部件可执行过程700的一些或所有步骤。例如，在一些实施方式中，HMD和/或控制台可执行过程700的一些步骤。另外，在一些实施方式中，过程700可以包括与结合图7描述的步骤不同的或附加的步骤，或者以与结合图7描述的顺序不同的顺序执行步骤。
DMA300用结构光的脉冲以脉冲重复频率照射710局部区域中的对象。DMA300的脉冲式照射器组件310投射结构光的脉冲。例如，脉冲式照射器组件310将点图案的脉冲投影到局部区域中的对象上。作为另一示例，脉冲式照射器组件310将点图案的脉冲投影到用户的眼睛上。在一些实施方式中，脉冲式照射器组件310包括至少两个结构光投影仪。结构光投影仪在不同时间投射结构光的脉冲。
DMA300在脉冲式的且同步到脉冲重复频率的曝光间隔内收集720从局部区域反射的结构光的脉冲。例如，DMA300包括深度相机，其全局快门在结构光的每个脉冲期间打开和扫描，但是在脉冲之间关闭。对于结构光的每个脉冲，全局快门可以在与脉冲持续时间相同或长于脉冲持续时间的曝光持续时间内扫描。
DMA300使用收集的结构光的脉冲来生成730图像数据。例如，DMA300包括深度相机，该深度相机包括收集结构光的脉冲并将所收集的结构光的脉冲转换成光电子的多个光电二极管。深度相机可以从光电子中生成图像数据。在DMA300包括多于一个结构光投影仪的实施方式中，DMA300可生成针对每个结构光投影仪的单独图像数据和/或针对所有结构光投影仪的组合的图像数据。
DMA300基于生成的图像数据确定740对象的深度信息。在一些实施方式中，对于基于结构光照射的深度感测，DMA300捕获由局部区域中的对象的形状而导致失真(distorted)的反射的结构光的脉冲的一部分，并且使用三角测量计算来获得局部区域的深度图。
在替换实施方式中，例如，对于基于飞行时间的深度感测，DMA300使用存储在存储区域中的与深度相机的每个光电二极管相关联的电荷的比率来确定深度信息。在这种情况下，深度相机可被配置为与特定时间量内所接收的光的强度相关联地将光电子存储在每个存储区域中。在DMA300包括多于一个结构光投影仪的实施方式中，深度相机可被配置为将对应于每个结构光投影仪的光电子存储在与每个光电二极管相关联的不同存储区域中。
图8是根据实施方式的其中DMA300操作的HMD系统800的框图。HMD系统800可以在VR系统环境、AR系统环境、MR系统环境或其某种组合中操作。图8所示的HMD系统800包括耦合到HMD820和HMD输入接口830的HMD控制台810。虽然图8示出了包括HMD820和一个HMD输入接口830的示例系统800，但是在其他实施方式中，任何数量的这些部件可以被包括在系统800中。例如，可以存在多个HMD820，每个HMD具有相关联的HMD输入接口830并且与HMD控制台810通信。在替换配置中，不同和/或附加部件可被包括在系统环境800中。类似地，一个或多个部件的功能可以以与在此描述的方式不同的方式分布在部件之间。例如，HMD控制台810的功能中的一些或全部可被包含在HMD820内。
HMD820是向用户呈现内容的头戴式显示器，包括具有计算机生成的元素(例如，2D或3D图像、2D或3D视频、声音等)的物理、真实世界环境的虚拟和/或增强视图。由HMD820呈现的媒体的示例包括一个或多个图像、视频、音频或其某种组合。在一些实施方式中，经由从HMD820、控制台810或两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如，扬声器和/或头戴式受话器)来呈现音频。
图1中的HMD 100是HMD 820的实施方式。HMD 820包括电子显示器220、光学块230、IMU140、一个或多个位置传感器150、参考点160和DMA300。HMD820的一些实施方式具有与在此描述的那些不同的部件。
在一些实施方式中，IMU140例如从HMD控制台810接收一个或多个校准参数。一个或多个校准参数用于维持对HMD820的跟踪。基于所接收的校准参数，IMU140可以调整一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些校准参数使得IMU140更新参考点160的初始位置，从而其对应于参考点160的下一个校准位置。将参考点160的初始位置更新为参考点160的下一校准位置有助于减少与所确定的估计位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点160的估计位置随着时间“漂移”远离参考点160的实际位置。
DMA300确定HMD820周围的局部区域中的对象的深度信息。例如，DMA300包括用结构光脉冲照射对象的脉冲式照射器组件310、与脉冲式照射器组件310同步捕获照射对象的图像数据的深度相机组件310、以及基于捕获的图像数据确定对象的深度信息的控制器330。控制器330还可以控制脉冲式照射器组件310和深度相机组件310。在一些其他实施方式中图1中描述的DMA300的功能可以以与在其他实施方式中不同的方式分布在HMD系统环境800中的其他部件之间。例如，由控制器330提供的功能中的一些或全部可由HMD控制台810执行。可替代地，DMA300的控制和处理模块中的一些是HMD820的一部分，而其他是HMD控制台810的一部分。
HMD输入接口830是允许用户向HMD控制台810发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用或执行应用内的特定动作。HMD输入接口830可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将所接收的动作请求传送到HMD控制台810的任何其他合适的设备。由HMD输入接口830接收的动作请求被传送到执行与动作请求相对应的动作的HMD控制台810。在一些实施方式中，HMD输入接口830可根据从HMD控制台810接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者HMD控制台810将指令传送到HMD输入接口830，从而致使HMD输入接口830在HMD控制台810执行动作时产生触觉反馈。
HMD控制台810向HMD820提供媒体以根据从HMD820和/或HMD输入接口830接收的信息向用户呈现。在图5所示的示例中，HMD控制台810包括应用商店812、跟踪模块814和HMD引擎816。HMD控制台810的一些实施方式具有与结合图7描述的模块不同的模块。类似地，下文进一步描述的功能可以与在此描述的方式不同的方式分布在HMD控制台810的部件之间。
应用商店812存储供HMD控制台810执行的一个或多个应用。应用是一组指令，当由处理器执行时，其生成用于向用户呈现的内容。由应用生成的内容可以响应于经由HMD820或HMD输入接口830的移动从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块814使用一个或多个校准参数校准HMD系统800，且可调整一个或多个校准参数以减少在确定HMD820的位置时的误差。此外，由跟踪模块814执行的校准还考虑了从IMU140接收的信息。另外，如果HMD820的跟踪丢失，则跟踪模块814重新校准HMD系统700的一些或全部。
跟踪模块814跟踪HMD820的移动。跟踪模块814使用来自快速校准信息的位置信息来确定HMD820的参考点的位置。另外，在一些实施方式中，跟踪模块814可使用快速校准信息的部分来预测HMD820的未来位置。可替代地，跟踪模块814可使用DMA300生成的深度信息来跟踪HMD820的移动。例如，DMA300生成仍关于HMD820周围的局部区域的对象的深度信息。使用深度信息，跟踪模块814可确定对象相对于HMD820的移动，该移动与HMD820在局部区域中的移动相反。跟踪模块814将HMD100的估计或预测的将来位置提供给HMD引擎816。
HMD引擎816执行系统环境100内的应用并且从跟踪模块814接收HMD820的深度信息、位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息，HMD引擎816确定提供给HMD820以呈现给用户的内容。例如，如果接收到的深度信息指示对象已经从HMD820进一步移动，则HMD引擎816生成反映对象在增强现实环境中的移动的HMD820的内容。另外，HMD引擎816响应于从HMD输入接口830接收到的动作请求来执行在HMD控制台810上的应用内执行的动作，并且向用户提供该动作被执行的反馈。所提供的反馈可以是经由HMD820的视觉或可听反馈或经由HMD输入接口830的触觉反馈。
可替换实施方式
除了确定局部区域中的对象的深度信息之外，在此描述的DMA300还可用于跟踪HMD的用户的一只或多只眼睛的定向。为了跟踪眼睛，以DMA的脉冲式照射器组件可利用结构光的脉冲来照射眼睛的方式，并且DMA300的深度相机组件可捕获从眼睛反射的结构光的脉冲以生成眼睛的图像数据(并且具体地，眼睛的角膜)来定位DMA300。DMA300可沿着用户的视觉定位在轴上，或者可放置在用户的视觉轴之外。基于眼睛的图像数据，DMA300的控制器生成眼睛的深度信息和跟踪眼睛的方位。在一些实施方式中，DMA300的脉冲式照射器组件包括向用户的两只眼睛中的每一只投射结构光的脉冲的两个结构光投影仪，深度相机组件收集从两只眼睛反射的结构光的脉冲，并且因此控制器可跟踪两只眼睛的定向。为了跟踪人眼，脉冲式照射器比连续照射更安全，因为脉冲式照射器组件的发射占空比小于100％，并且可以满足人眼的安全标准。
附加配置信息
出于说明的目的已经呈现了本披露的实施方式的前述描述；且不旨在穷尽的或者将本公开内容局限于所公开的精确形式。本领域的技术人员可根据以上公开的内容理解许多修改形式和变型形式。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述本披露的实施方式。这些算法描述和表示通常由数据处理领域中的技术人员使用以将他们工作的实质有效地传达给本领域其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微码等实施。此外，有时，把这些运算的安排称为模块也是方便的，并且不失其一般性。运算及其关联模块可具体化为软件、固件、硬件或以上设备的任意组合。
本文的任何步骤、操作或流程可被一个或多个硬件或软件模块单独或与其他设备组合执行或实施。在实施方式中，软件模块可被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可被用于执行任何或所有步骤、操作或流程的计算机处理器执行。
本披露的实施方式还可以涉及用于执行本文中的操作的装置。这种装置可能是为所需的目的特别建造的，并且/或者该装置可包括被储存在计算机中的计算机程序选择性启动或重新配置的通用计算设备。这种计算机程序可被存储在适用于存储电子指令的非易失性计算机可读存储介质或任何类型的介质中，并被耦合至计算机系统的总线。此外，在说明书中提及的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计用于增加的计算能力的架构。
本披露的实施方式还可以涉及由在此描述的计算过程产生的产品。该产品可包括由计算过程产生的信息，其中，信息存储在非易失性的有形计算机可读存储介质中并且可包括计算机程序产品或者此处所描述的其他数据组合的任何实施方式。
最后，原则上出于可读性和说明性之目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，意图是本披露的范围不受该详细描述的限制，而是由在基于此的应用上发布的任何权利要求所限制。因此，实施方式的公开内容旨在用于说明，而非限制在所附权利要求中阐述的本公开的范围。

Claims (21)

1.一种深度测量组件(DMA)，包括：
脉冲式照射器组件，包括至少两个结构光投影仪，其中每个所述结构光投影仪被配置为根据深度指令在不同时间以脉冲重复频率将结构光的脉冲投射到局部区域；
深度相机组件，被配置为捕获根据深度指令利用所述结构光的脉冲照射的一部分所述局部区域的图像数据，并且其中，深度相机的曝光间隔是脉冲式的并且同步到所投射的脉冲；
控制器，被配置为：
生成所述深度指令；
向所述深度相机和结构光源提供所述深度指令，以及
部分基于所述图像数据确定所述局部区域中的对象的深度信息。
2.根据权利要求1所述的深度测量组件，其中，所述结构光投影仪照射所述局部区域中的至少两个对象，所述深度相机捕获所述对象中的每一个的图像数据，并且所述控制器确定所述对象中的每一个的深度信息。
3.根据权利要求3所述的深度测量组件，其中，所捕获的图像数据包括针对每个结构光投影仪的单独的图像数据。
4.根据权利要求3所述的深度测量组件，其中，所捕获的图像数据包括针对所有结构光投影仪的组合的图像数据。
5.根据权利要求1所述的深度测量组件，其中，所述深度相机包括检测器，所述检测器被配置为与所述结构光投影仪的脉冲发射同步地收集从所述对象反射的结构光的脉冲。
6.根据权利要求5所述的深度测量组件，其中，所述检测器包括多个光电二极管，每个光电二极管包括至少两个存储区域。
7.根据权利要求5所述的深度测量组件，其中，对于结构光的每个脉冲，所述检测器被配置为在与所述脉冲的持续时间相同或更长的曝光持续时间期间进行一次或多次曝光。
8.根据权利要求7所述的深度测量组件，其中，所述检测器包括可调谐滤波器，所述可调谐滤波器在所述检测器的每个曝光持续时间期间是非激活的，并且在曝光持续时间期间以外是激活的。
9.根据权利要求7所述的深度测量组件，其中，所述曝光持续时间比所述脉冲的持续时间长20％。
10.根据权利要求1所述的深度测量组件，其中，每个结构光投影仪包括脉冲式照射器、衍射光学元件和投影组件。
11.根据权利要求7所述的深度测量组件，其中，由每个结构光投影仪投射的结构光的脉冲通过两束或更多束脉冲光的干涉来形成。
12.根据权利要求1所述的深度测量组件，其中，所述结构光投影仪交替地投射结构光的脉冲。
13.根据权利要求1所述的深度测量组件，其中，由所述脉冲式照射器组件发射的脉冲具有从100kHz到200MHzz范围内的频率。
14.根据权利要求1所述的深度测量组件，其中，由所述脉冲式照射器组件发射的脉冲具有从100ps到100ns范围内的脉冲持续时间。
15.根据权利要求1所述的深度测量组件，其中，所述控制器被配置为基于因所述局部区域中的对象的形状而失真的反射结构光的部分的相移图案来确定深度信息。
16.根据权利要求1所述的深度测量组件，其中，所述控制器被配置为使用与所述深度相机组件的每个光电二极管相关联的存储区域之间的电荷比来确定所述深度信息。
17.根据权利要求1所述的深度测量组件，其中，所述控制器还被配置为使用三角测量计算来获得所述局部区域的深度图。
18.根据权利要求1所述的深度测量组件，其中，所述深度指令包括用于所述结构光投影仪的一个或多个脉冲参数。
19.根据权利要求17所述的深度测量组件，其中，所述一个或多个脉冲参数包括脉冲重复频率、脉冲长度、脉冲波长、脉冲幅度、控制所述结构光的脉冲如何被所述脉冲式照射器组件投射的一些其他参数、或它们的一些组合。
20.根据权利要求1所述的深度测量组件，其中，所述深度指令包括曝光重复频率和曝光持续时间。
21.根据权利要求19所述的深度测量组件，其中，所述曝光重复频率等于所述脉冲式照射器组件的脉冲重复频率。
CN201811026225.9A 2017-09-05 2018-09-04 使用多个脉冲式结构光投影仪的深度测量 Pending CN109425305A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/695,851 2017-09-05
US15/695,851 US20190072771A1 (en) 2017-09-05 2017-09-05 Depth measurement using multiple pulsed structured light projectors

Publications (1)

Publication Number Publication Date
CN109425305A true CN109425305A (zh) 2019-03-05

Family

ID=65514632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811026225.9A Pending CN109425305A (zh) 2017-09-05 2018-09-04 使用多个脉冲式结构光投影仪的深度测量

Country Status (2)

Country Link
US (1) US20190072771A1 (zh)
CN (1) CN109425305A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087057A (zh) * 2019-03-11 2019-08-02 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
TWI728667B (zh) * 2019-11-06 2021-05-21 奇景光電股份有限公司 結構光成像裝置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
US10827164B2 (en) * 2018-03-01 2020-11-03 Google Llc Active LCD shutters for virtual and augmented reality low persistence
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10728518B2 (en) 2018-03-22 2020-07-28 Microsoft Technology Licensing, Llc Movement detection in low light environments
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US11187804B2 (en) * 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
US10701350B1 (en) * 2018-06-21 2020-06-30 Facebook Technologies, Llc Systems and methods for adjusting head-mounted displays for inter-pupillary distance
US10732285B2 (en) * 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11438486B2 (en) * 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
CN111754573B (zh) * 2020-05-19 2024-05-10 新拓三维技术(深圳)有限公司 一种扫描方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288955A1 (en) * 2014-04-04 2015-10-08 Microsoft Corporation Time-of-flight phase-offset calibration
CN105143817A (zh) * 2013-04-15 2015-12-09 微软技术许可有限责任公司 通过移动图案投影仪对深度图进行超解析
US20160138910A1 (en) * 2014-11-13 2016-05-19 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image
US20160223656A1 (en) * 2015-01-30 2016-08-04 Microsoft Technology Licensing, Llc. Extended range gated time of flight camera
CN106461783A (zh) * 2014-06-20 2017-02-22 高通股份有限公司 使用时间共享的自动的多个深度相机同步
CN106464851A (zh) * 2014-06-30 2017-02-22 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
CN108139483A (zh) * 2015-10-23 2018-06-08 齐诺马蒂赛股份有限公司 用于确定到对象的距离的系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US9712806B2 (en) * 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105143817A (zh) * 2013-04-15 2015-12-09 微软技术许可有限责任公司 通过移动图案投影仪对深度图进行超解析
US20150288955A1 (en) * 2014-04-04 2015-10-08 Microsoft Corporation Time-of-flight phase-offset calibration
CN106461783A (zh) * 2014-06-20 2017-02-22 高通股份有限公司 使用时间共享的自动的多个深度相机同步
CN106464851A (zh) * 2014-06-30 2017-02-22 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
US20160138910A1 (en) * 2014-11-13 2016-05-19 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image
US20160223656A1 (en) * 2015-01-30 2016-08-04 Microsoft Technology Licensing, Llc. Extended range gated time of flight camera
CN108139483A (zh) * 2015-10-23 2018-06-08 齐诺马蒂赛股份有限公司 用于确定到对象的距离的系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087057A (zh) * 2019-03-11 2019-08-02 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
TWI728667B (zh) * 2019-11-06 2021-05-21 奇景光電股份有限公司 結構光成像裝置

Also Published As

Publication number Publication date
US20190072771A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
CN109425306A (zh) 深度测量组件
KR102456961B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
JP7076368B2 (ja) レンジゲート式デプスカメラ部品
US10878236B2 (en) Eye tracking using time multiplexing
JP6877418B2 (ja) 少なくとも１個の対象物を光学的に検出するための検出器
JP6979068B2 (ja) 少なくとも１つの物体を光学的に検出するための検出器
CN109459849A (zh) 用于深度感测的非机械光束转向
CN110998223B (zh) 用于确定至少一个对像的位置的检测器
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
TWI463244B (zh) 深度影像擷取裝置、系統及其方法
CN109425994A (zh) 深度相机组件、头戴式显示器和用于深度感测的方法
CN108351523A (zh) 利用头戴式显示器使用立体照相机以及结构光的深度映射
RU2014105469A (ru) Система и способ для удаленного измерения оптического фокуса
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11079475B2 (en) Optical device and depth information generating method
KR20140041012A (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
CN109983393A (zh) 平铺波导显示器
TWI588441B (zh) Measuring method and apparatus for carrying out the measuring method
KR20130015773A (ko) 패턴 빔을 이용하는 3차원 이미지 촬영 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190305

WD01 Invention patent application deemed withdrawn after publication