CN108370438B - 范围选通的深度相机组件 - Google Patents

范围选通的深度相机组件 Download PDF

Info

Publication number
CN108370438B
CN108370438B CN201680072127.1A CN201680072127A CN108370438B CN 108370438 B CN108370438 B CN 108370438B CN 201680072127 A CN201680072127 A CN 201680072127A CN 108370438 B CN108370438 B CN 108370438B
Authority
CN
China
Prior art keywords
depth
zone
empty
zones
predetermined threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680072127.1A
Other languages
English (en)
Other versions
CN108370438A (zh
Inventor
尼古拉斯·丹尼尔·特瑞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN108370438A publication Critical patent/CN108370438A/zh
Application granted granted Critical
Publication of CN108370438B publication Critical patent/CN108370438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种增强现实(AR)包括深度相机组件(DCA)，以捕获本地区域场景的各种深度区的图像。DCA可以聚焦于场景中的特定范围、重要方面、和/或感兴趣的区域。DCA生成本地区域的图像数据，使得图像包括与单一深度区有关的信息。捕获的图像特定于单一深度区，并代表单一深度区内的物体。DCA使用生成的深度区的图像数据以生成增强或部分增强的图像，该图像包括本地区域中的物体的深度信息。

Description

范围选通的深度相机组件
技术领域
本公开主要涉及深度相机架构，并且更具体地涉及范围选通的深度相机组件。
背景技术
可包括增强现实(AR)系统的虚拟现实(VR)系统可以优势作用于在三维(3D)中捕获用户周围的环境。然而，传统的深度相机架构相对尺寸大、重、并且消耗大量电力。此外，不同的深度相机架构(例如，飞行时间、结构化光、以及立体视觉)通常在不同的操作环境中执行得最好，因为它们各自具有不同的优点/缺点。此外，传统的深度相机架构不适合扩展VR系统中的操作距离(厘米至数米)。例如，这种扩展的操作距离可能导致对于传统深度相机架构来说太多的数据而不能有效地处理，并且可能具有对于传统深度相机架构来说处理的动态范围太大。
发明内容
包括在增强现实(AR)系统或虚拟现实(VR)系统中的头盔包括深度相机组件(DCA)，其使得能够捕获头盔周围区域的场景的各个深度区以及包括在头盔中的成像设备的视野内(即“本地区域”)的视觉信息。DCA可以聚焦于场景中的特定距离、重要方面、和/或感兴趣的区域。DCA包括一个或多个成像设备、照明源、和控制器。照明源发射用于创建增强图像的光脉冲(例如，红外(IR)、可见光)。成像设备在曝光时间段内记录光以生成图像数据。
DCA用一个或多个光脉冲照亮本地区域的场景。本地区域中的物体反射由DCA发射的光(即，光脉冲)。DCA被配置为生成本地区域的图像数据，(例如，通过控制发射光脉冲和图像捕获之间的时间)使得图像包括关于单个深度区的信息。捕获的图像特定于单个深度区，并代表单个深度区内的物体。DCA为每个深度区生成图像数据。DCA使用为每个深度区生成的深度区图像数据，生成增强图像或部分增强图像。增强图像是本地区域的图像，其包括针对本地区域中的一个或多个物体的深度信息(即，从物体到DCA的距离)。部分增强图像包括本地区域中一些，但不是全部深度区的图像数据。
注意，在一些实施例中，在读出与给定深度区相关联的图像数据之前，为给定的深度区发射多个脉冲。这增加与给定深度区中的图像数据相关的信号强度，因为添加了来自连续脉冲的光。DCA然后可以读出使用多个脉冲(例如，作为示例，100个脉冲)生成的图像数据。改进的信号强度对于捕获具有低反射率的物体和/或远离DCA的物体的准确图像数据是有用的。同样，DCA可以设置脉冲数量来控制图像饱和度。
在一个实施例中，范围选通的深度相机组件包括：配置成发射照明光脉冲的照明源，和配置成生成本地区域的图像数据的成像设备。范围选通深度摄像机组件还包括控制器。控制器被配置为调整照明源，以发射多个照明光脉冲以照亮本地区域的场景。本地区域被划分为包括至少一个非空深度区的多个深度区，该非空深度区包括被配置为生成本地区域的图像数据的成像设备的至少一个物体。控制器被配置以针对多个深度区中的每个非空深度区调整成像设备，以记录一组反射光脉冲以生成非空深度区的图像数据。该组反射光脉冲是从包括在非空深度区中的一个或多个物体反射的照明光脉冲。控制器还被配置以使用为多个非空深度区中的至少一个非空深度区生成的图像数据来生成场景的图像，并且将场景的图像提供给控制台。
在一个实施例中，头戴式显示器(HMD)包括电子显示器和范围选通的深度相机组件，其包括配置成发射照明光脉冲的照明源和配置成生成本地区域的图像数据的成像设备。HMD还包括配置成包括控制器的控制器。控制器被配置为调整照明源以发射多个照明光脉冲以照亮本地区域的场景。本地区域被划分为包括至少一个非空深度区的多个深度区，该非空深度区包括被配置为生成本地区域的图像数据的成像设备的至少一个物体。控制器被配置以为多个深度区中的每个非空深度区调整成像设备以记录一组反射光脉冲以生成非空深度区的图像数据。该组反射光脉冲是从包括在非空深度区中的一个或多个物体反射的照明光脉冲。控制器还被配置以使用为多个非空深度区中的至少一个非空深度区生成的图像数据来生成场景的图像，并且将场景的图像提供给控制台。
在一个实施例中，一种方法包括：由照明源发射多个照明光脉冲以照亮本地区域的场景。本地区域被分成包括至少一个非空深度区的多个深度区。非空深度区包括至少一个物体。该方法还包括：为多个深度区中的每个深度区记录一组反射光脉冲以生成非空深度区的图像数据。该组反射光脉冲是从包括在非空深度区中的一个或多个物体反射的照明光脉冲。该方法还包括：使用为多个非空深度区中的至少一个非空深度区生成的图像数据来生成场景的图像。该方法还包括将场景的图像提供给控制台。
附图说明
图1是根据一个实施例的包括增强现实系统的系统环境的框图。
图2是根据一个实施例的增强现实头盔的图。
图3是根据一个实施例的增强现实头盔的前部刚体的横截面。
图4示出根据一个实施例的示例DCA捕获包括不同距离处的不同物体的场景的图像数据。
图5是根据一个实施例的示出生成增强图像的过程的流程图。
附图仅出于说明的目的描绘了本公开的实施例。本领域技术人员根据以下描述将容易认识到，在不脱离本文描述的公开的原理、或益处的情况下，可以采用本文所示的结构和方法的替代实施例。
具体实施方式
系统概述
图1是AR控制台110在其中操作的增强现实(AR)系统环境100的一个实施例的框图。如本文所使用的，AR系统环境100还可以包括向用户呈现用户可以与之交互的虚拟环境的虚拟现实系统环境。图1所示的AR系统环境100包括各自耦接到AR控制台110的AR头盔105和AR输入/输出(I/O)接口115。虽然图1示出包括一个AR头盔105和一个AR I/O接口115的示例系统100，但在其他实施例中，任何数量的这些组件可以被包括在AR系统环境100中。例如，可能存在多个AR头盔105，每个AR头盔105具有相关联的AR I/O接口115，每个AR头盔105和AR I/O接口115与AR控制台110通信。在替代配置中，AR系统环境100中可以包括不同和/或附加组件。此外，在一些实施例中，结合图1中所示的一个或多个组件描述的功能可以以结合图1所描述的不同方式分布在组件中。例如，AR控制台110的一些或全部功能由AR头盔105提供。
AR头盔105是向用户呈现内容的头戴式显示器，该内容包括具有计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)的物理、现实世界环境的增强视图。在一些实施例中，呈现的内容包括经由外部设备(例如，扬声器和/或耳机)呈现的音频，该外部设备从AR头盔105、AR控制台110、或两者接收音频信息，并且基于音频信息呈现音频数据。下面结合图2和图3进一步描述AR头盔105的实施例。AR头盔105可包括一个或多个刚体，其可以刚性地或非刚性地彼此耦接在一起。刚体之间的刚性耦接导致耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对于彼此移动。
AR头盔105包括DCA 120、电子显示器125、光学块130、一个或多个位置传感器135、以及惯性测量单元(IMU)140。AR头盔105的一些实施例具有与结合图1描述的那些不同的组件。此外，在其他实施例中，结合图1描述的各种组件提供的功能可以不同地分布在AR头盔105的组件中。
DCA 120被配置为使用包括在DCA 120中的一个或多个成像设备来捕获AR头盔105附近的区域(也被称为“本地区域”)的一个或多个图像。DCA 120的一些实施例包括一个或多个成像设备(例如，相机、摄像机)、照明源、和控制器。照明源发射用于创建增强图像的光脉冲(例如，红外(IR)、可见光)。例如，照明源发射一系列光脉冲达预定时间段。在一些实施例中，照明源可以是结构化光(SL)照明器，被配置为将诸如对称或半随机点图案、网格、或水平条的SL图案发射到场景上。
DCA 120使用一个或多个成像设备捕获本地区域的图像。成像设备捕获并记录特定波长范围的光(即，光的“波段”)。由成像设备捕获的示例光波段包括：可见光波段(～380nm至750nm)、红外(IR)波段(～750nm至1500nm)、紫外波段(10nm至380nm)，电磁频谱的另一部分、或其一些组合。一个或多个成像设备还可以对具有可见波长的光以及具有IR波长或在电磁频谱的其他部分的波长的光敏感。例如，成像设备是红色、绿色、蓝色、红外(RGBI)相机。在一些实施例中，一个或多个成像设备包括电荷耦合器件(CCD)，互补金属氧化物半导体(CMOS)成像器、其他光敏设备、或其一些组合。
DCA 120可以改变发射光脉冲的不同特性。例如，DCA 120可以改变，例如脉冲宽度、脉冲振幅、脉冲之间的时间、要发射的脉冲的数量、脉冲波长、或其一些组合。如下面详细讨论的，DCA 120可以改变脉冲特性(例如，脉冲振幅、脉冲数量等)以防止捕获的图像饱和并且确保捕获的图像的图像质量。此外，DCA 120通过控制例如曝光时间段来记录光以生成图像数据和/或曝光时间段的开始时间(相对于当DCA 120发射脉冲时)来调整何时收集图像数据。
本地区域可以包括距VR头盔105不同距离处的物体。在一些实施例中，DCA 120扫描本地区域以识别包括在本地区域中的物体。DCA 120然后确定每个识别的物体与DCA 120之间的距离。DCA 120基于确定的距识别的物体的距离将本地区域划分为一个或多个深度区。或者，DCA 120将本地区域划分为预定数量的深度区。
DCA 120一次一个地捕获深度区的图像数据。DCA 120相对于收集图像数据的时间控制何时发射光脉冲。因此，DCA 120能够选择性地收集特定于深度区的图像数据。对于特定深度区，DCA 120(例如，通过光脉冲)照亮深度区并且捕获被包括在深度区中的物体反射的光。DCA 120使用捕获的一个或多个深度区的图像来生成增强图像。增强图像是本地区域的图像，其包括本地区域中的一个或多个物体的深度信息(即，从物体到DCA的距离)。下面结合图3至图5进一步描述DCA 120。
电子显示器125根据从AR控制台110接收的数据向用户显示2D或3D图像。在各种实施例中，电子显示器125包括单个电子显示器或多个电子显示器(例如，用户的每个眼睛一个显示器)。电子显示器125的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器、或其一些组合。在一些实施例中，AR头盔105的部分(例如前侧)对可见光是透明的，以允许头盔的用户透过AR头盔105观看本地区域。在这些实施例中，电子显示器125是由一个或多个透明电子显示面板组成。透明电子显示面板是部分或完全透明的，并且可以是例如，透明有机发光二极管显示器(TOLED)、一些其他透明电子显示器、或其一些组合。
光学块130放大从电子显示器125接收的图像光、校正与图像光相关的光学误差、并将校正后的图像光呈现给AR头盔105的用户。在各种实施例中，光学块130包括一个或多个光学元件。包括在光学块130中的示例性光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光片、反射镜元件、或影响图像光的任何其他合适的光学元件。而且，光学块130可以包括不同光学元件的组合。在一些实施例中，光学块130中的一个或多个光学元件可以具有一个或多个涂层，诸如抗反射涂层。
光学块130对图像光的放大和聚焦允许电子显示器125在物理上比更大的显示器更小、重量更轻并且消耗更少的电力。此外，放大可以增加由电子显示器125呈现的内容的视野。例如，显示的内容的视野使得使用几乎所有(例如，大约110度的对角线)、以及在一些情况下用户的完全视野来呈现显示的内容。此外，在一些实施例中，可以通过增加或移除光学元件来调整放大倍数。
在一些实施例中，光学块130可被设计成校正一个或多个类型的光学误差。光学误差的示例包括桶形失真、枕形失真、纵向色差、或横向色差。其他类型的光学误差还可以包括球面像差、彗形像差或由透镜场曲率、像散、或任何其他类型的光学误差引起的误差。在一些实施例中，提供给电子显示器125用于显示的内容是预先失真的，并且当光学块130从电子显示器125接收基于内容生成的图像光时，光学块130校正该失真。
IMU 140是电子设备，其基于从一个或多个位置传感器135接收的测量信号并且根据从DCA 120接收的深度信息来生成指示AR头盔105的位置的数据。位置传感器135响应AR头盔105的移动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测移动的另一合适类型的传感器、用于IMU140的误差校正的一种类型的传感器、或其一些组合。位置传感器135可以位于IMU 140的外部、IMU 140的内部、或其一些组合。
基于来自一个或多个位置传感器135的一个或多个测量信号，IMU140生成指示相对于AR I/O接口115的初始位置的、估计的AR I/O接口115的当前位置的数据。例如，位置传感器135包括多个加速度计以测量平移移动(前进/后退、上/下、左/右)和多个陀螺仪以测量旋转移动(例如，俯仰、偏航、滚转)。在一些实施例中，IMU 140快速采样测量信号并根据采样数据计算AR头盔105的估计当前位置。例如，IMU 140整合随时间从加速度计接收的测量信号以估计速度矢量并随时间整合速度矢量，以确定AR头盔105上的参考点的估计当前位置。或者，IMU 140将采样的测量信号提供给AR控制台110，其解译数据以减小误差。参考点是可以用于描述AR头盔105的位置的点。参考点一般可以被定义为与AR头盔105的方位和位置有关的空间中的点或位置。
IMU 140从AR控制台110接收一个或多个参数。如下面进一步讨论的，该一个或多个参数被用于保持对AR头盔105的跟踪。基于接收到的参数，IMU 140可以调整一个或多个IMU参数(例如采样率)。在一些实施例中，某些参数使得IMU 140更新参考点的初始位置，使其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与IMU 140的估计当前位置相关联的累积误差。累积误差，也被称为漂移误差，导致参考点的估计位置随时间“漂”离参考点的实际位置。在AR头盔105的一些实施例中，IMU140可以是专用硬件部件。在其他实施例中，IMU 140可以是在一个或多个处理器中实现的软件部件。
AR I/O接口115是允许用户发送动作请求并从AR控制台110接收响应的设备。动作请求是针对执行特定动作的请求。例如，动作请求可以是开始或结束捕获图像或视频数据的指令或者在应用内执行特定动作的指令。AR I/O接口115可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传送给AR控制台110的任何其他合适的设备。由AR I/O接口115接收的动作请求被传送给AR控制台110，其执行对应于动作请求的动作。在一些实施例中，如上面进一步描述的，AR I/O接口115包括IMU 140，其捕获指示相对于AR I/O接口115的初始位置的、AR I/O接口115的估计位置的校准数据。在一些实施例中，AR I/O接口115可以根据从AR控制台110接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者当AR控制台110执行动作时，AR控制台110将指令传送到AR I/O接口115使得AR I/O接口115生成触觉反馈。
AR控制台110根据从DCA 120、AR头盔105、和AR I/O接口115中的一个或多个接收的信息向AR头盔105提供内容以进行处理。在图1所示的示例中，AR控制台110包括应用存储器150、跟踪模块155和AR引擎145。AR控制台110的一些实施例具有与结合图1描述的那些不同的模块或组件。类似地，下面进一步描述的功能可以以结合图1所描述的不同方式分布在AR控制台110的组件中。
应用存储器150存储由AR控制台110执行的一个或多个应用。应用是一组指令，当其由处理器执行时，生成用于呈现给用户的内容。由应用生成的内容可以响应经由ARI/O接口115或AR头盔105的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用、或其他合适的应用。
跟踪模块155使用一个或多个校准参数校准AR系统环境100，并且可以调整一个或多个校准参数以减少确定AR头盔105或AR I/O接口115的位置的误差。由跟踪模块155执行的校准也考虑从AR头盔105中的IMU140和/或包括在AR I/O接口115中的IMU 140接收的信息。此外，如果丢失AR头盔105的跟踪(例如，DCA 120丢失至少阈值数量的SL元素的视线)时，跟踪模块140可以重新校准AR系统环境100中的一些或全部。
跟踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU140或其一些组合的信息来跟踪AR头盔105或AR I/O接口115的移动。例如，跟踪模块155基于来自AR头盔105的信息来确定AR头盔105的参考点在本地区域的地图绘制中的位置。跟踪模块155还可以分别使用来自IMU 140的指示AR头盔105的位置的数据或者使用来自包括在AR I/O接口115中的IMU 140的指示AR I/O接口115的位置的数据确定AR头盔105的参考点或AR I/O接口115的参考点的位置。此外，在一些实施例中，跟踪模块155可以使用来自IMU 140的指示位置或AR头盔105的部分数据以及来自DCA 120的本地区域的表示来预测AR头盔105的未来位置。跟踪模块155将AR头盔105或AR I/O接口115的估计或预测的未来位置提供给AR引擎145。
AR引擎145基于从AR头盔105接收的信息生成AR头盔105周围的区域(即，“本地区域”)的3D地图绘制。在一些实施例中，AR引擎145基于从DCA 120发射的光在被AR头盔105周围区域中的一个或多个物体反射之后由DCA 120检测的时间，或者基于由AR头盔105的DCA120捕获的变形的SL元素的图像，确定本地区域的3D地图绘制的深度信息。在各种实施例中，AR引擎145使用由DCA 120确定的不同类型的信息或由DCA 120确定的信息类型的组合。
AR引擎145还执行AR系统环境100内的应用，并且从跟踪模块155接收AR头盔105的位置信息、加速度信息、速度信息、预测的未来位置、或其一些组合。基于接收的信息，AR引擎145确定提供给AR头盔105以呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则AR引擎145生成用于AR头盔105的镜像用户在虚拟环境中或者增强本地区域的环境中的移动的内容连同附加内容。此外，AR引擎145响应于从AR I/O接口115接收的动作请求，执行在AR控制台110上执行的应用程序内的动作，并向用户提供动作已经执行的反馈。提供的反馈可以是经由AR头盔105的视觉或听觉反馈或经由AR I/O接口115的触觉反馈。
图2是AR头盔200的一个实施例的接线图。AR头盔200是AR头盔105的实施例，并且包括前部刚体205、带210、参考点215、左侧220A、顶侧220B、右侧220C、下侧220D、和前侧220E。图2中所示的AR头盔200还包括深度相机组件(DCA)(未示出)的实施例，其将在下面结合图3至图5进一步描述。前部刚体205包括电子显示器125(未示出)、IMU 130、成像光圈225和允许光通过的照明光圈230、一个或多个位置传感器135、以及参考点215中的一个或多个电子显元件。在一些实施例中，前部刚体205的一部分可以对可见光是透明的(例如，前侧220E、一些其他侧面、等)，以允许用户通过前部刚体205的透明部分观察本地区域。
图3是图2所示的AR头盔200的前部刚体205的截面图。如图3所示，前部刚体205包括DCA 120，DCA 120包括照明源304、成像设备306、和控制器308。此外，前部刚体205包括上面结合图1和2进一步描述的电子显示器125、光学块130、成像光圈225、以及照明光圈230。前部刚体205还包括用户的眼睛340将位于的出射光瞳335。在各种实施例中，照明源304和成像设备306是前侧220E。在一些实施例中，成像设备306捕获本地区域310的图像，本地区域310是成像设备306的视野内围绕前部刚体205的环境的一部分。为了说明的目的，图3示出根据单个眼睛340的前部刚体205的横截面。在一些实施例中，DCA 120或DCA的一些组件与用户的眼睛340成一直线。在其他实施例中，DCA的组件不与用户的眼睛340成一直线。
电子显示器125朝向光学块130发射形成图像的光，光学块130改变从电子显示器125接收的光。光学块130将改变后的图像光引导至出射光瞳335，其为用户眼睛340位于的前部刚体205的位置。图3示出用于用户的单眼340的前部刚体205的横截面，利用包括在前部刚体205中的，与图3中所示的那些分开的另一个电子显示器125和光学块130以向用户的另一个眼睛呈现内容，诸如本地区域310或虚拟内容的增强表示。
DCA 120包括照明源304、成像设备306、和控制器308。照明源304生成用于确定与本地区域310相关联的深度信息的光脉冲。照明源304响应从控制器308接收到包括照明参数的指令生成一个或多个光脉冲。照明参数是照明源用来生成一个或多个光脉冲的指令。照明参数可以是，例如，发送一个或多个光脉冲的触发信号、脉冲宽度、脉冲振幅、脉冲周期、占空比、要发射的脉冲的数量、脉冲波长、或其一些组合。光脉冲可以是包括具有特定周期的一系列脉冲的单脉冲或一系列脉冲(也称为梳状脉冲)。
照明源304在诸如可见光波段(～380nm至750nm)、红外(IR)波段(～750nm至1500nm)、紫外波段(10nm至380nm)、电磁频谱的另一部分、或其一些组合的一个或多个波段中生成一个或多个光脉冲。生成的光可以是相干的、半相干的、和/或非相干的。照明源304可以以成像设备306的帧速率(例如，120Hz、240Hz、等)生成光脉冲。在针对成像设备306处的给定帧所预期的一系列脉冲的情况下，照明源304可以生成比帧速率明显更快的光脉冲(例如帧速率的100、10000或者更高倍数)。此外，在触发照明源304以生成脉冲(或一系列脉冲)和照明源304生成脉冲(或一系列脉冲)之间的延迟时间中存在低抖动(大约几纳秒或更少)，并且在测量延迟中存在低误差。照明源304将一个或多个光脉冲从照明光圈230投射到本地区域310上。
成像设备306通过成像光圈225生成本地区域310的图像数据。成像设备306响应于从控制器308接收到包括曝光参数的指令来捕获图像数据。曝光参数是成像设备用于生成图像数据的指令。曝光参数可以是，例如，记录光从而生成图像数据的触发信号、记录光从而生成图像数据的曝光时间段、曝光时间段的开始时间、或对于预期序列中的每个脉冲的曝光的开始时间和长度，或其一些组合。
成像设备306检测其捕获的光中携带的信息并将其传达至信号中。成像设备306被配置为至少在与照明源304相同的频谱中捕获图像。成像设备306还可以对可见光、IR光、或具有在电磁频谱的其他部分中的波长的光敏感。在一些实施例中，成像设备306是相机并且包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)成像器、其他光敏设备、或其一些组合。此外，在触发成像设备306以开始曝光(即，捕获图像)和成像设备306开始曝光之间存在低抖动(大约几纳秒)。类似地，在触发成像设备306以停止曝光(即，停止图像的捕获)和成像设备306停止曝光之间存在低抖动(大约几纳秒)。此外，对实际开始和停止时间的了解将准确到抖动值的分数(例如，低于纳秒)。
控制器308使用照明参数来调整照明源304。控制器308向照明源304提供包括一个或多个照明参数的一个或多个指令，该照明源304根据一个或多个照明参数发射光脉冲。控制器308确定一个或多个照明参数，使得在每个光脉冲之间至少存在允许光脉冲通过本地区域的时间段。例如，如果本地区域310是20英尺长，则脉冲之间的时间将至少为40纳秒-因为光以大约每纳秒1英尺的速度传播。控制器308可以基于本地区域310的大小来确定由照明源304发射的光脉冲的频率。此外，控制器308可以为每个发射脉冲设置脉冲宽度(大约为纳秒)，并且可以逐个脉冲或逐帧地设置脉冲的特定振幅(发射功率)。在一些实施例中，照明参数可以是触发器并且在照明源304处确定由照明源304发射的光脉冲的至少一个脉冲特性。例如，控制器308可以调整照明源304以发射具有特定脉冲宽度(例如，6ns)的光脉冲，然而，脉冲振幅由照明源304确定。
控制器308调整成像设备306以捕获反射光，以生成本地区域310的图像数据。控制器308向成像设备306提供包括一个或多个曝光参数(例如，捕获反射光的曝光时间段、曝光时间段的开始时间、和每个读出帧的重复频率/计数、等)的一个或多个指令。这样，控制器308调整成像设备306的曝光开始时间、曝光持续时间、以及重复计数。在曝光时间段期间，成像设备306记录光并将光转换为图像数据。控制器308可以根据从DCA120到深度区的距离来确定曝光开始时间。深度区的大小取决于曝光时间段的长度。因此，控制器308可以根据深度区的大小来确定曝光时间段。深度区的位置由曝光时段的、相对于从照明源304发射脉冲的时间的开始时间来确定。因此，控制器308可通过调整曝光时段的、相对于从照明源304发射脉冲的时间的开始时间来选择在哪个深度区上收集图像数据。例如，控制器308基于深度区的近边界(更接近DCA 120的深度区的边界)到前平面322的距离Dnear确定曝光开始时间。开始时间与当照明源304被触发以发射光脉冲的时间点之间的时间差等于两倍Dnear除以光速(例如，～3×108米/秒)。这样，控制器308调整成像设备306以捕获从深度区的所有物体反射的光。
包括在本地区域310中的物体反射入射的环境光以及由照明源304发射到本地区域310上的光。本地区域310包括距前平面322不同距离的一个或多个深度区。深度区包括本地区域中距离前平面322的预定距离范围内的物体。例如，本地区域310包括近深度区350、中深度区352、和远深度区354。近深度区350包括处于距前平面322的第一预定距离范围(例如，小于1米)内的物体。中深度区352包括处于距前平面322的第二预定距离范围(例如，1米和2米之间)内的物体。远深度区354包括处于距前平面322的第三预定距离范围(例如，大于2米)内的物体。本领域的普通技术人员将会理解，本地区域310可以包括任何数量的不同尺寸的深度区，其中的每一个可以包括预定距离范围内的物体。
在一些实施例中，控制器308将本地区域310划分为固定数量的深度区并识别每个深度区中的物体。例如，控制器308将本地区域310划分为三个深度区：近深度区350、中深度区352、和远深度区354。控制器308在每个深度区中定位本地区域310的物体。例如，控制器308调整照明源304以为每个深度区发射一个或多个光脉冲，并且调整成像设备306以捕获相应的反射光从而生成图像数据。对于给定的深度区，控制器308可以分析图像数据以识别给定深度区中的物体。控制器308将所识别的物体与归属于所识别的物体所处的深度区的深度信息相关联。例如，物体到DCA120的距离是基于照明源304发射光脉冲与曝光时段的开始时间之间的时间差。当光在空气中以固定的速度传播(例如，3×108米/秒)时，到深度区的距离是时间差期间光传播间距的一半。因此，控制器308可以将深度信息归属于在给定深度区中识别的物体。
在一些实施例中，控制器308可以将本地区域310自动划分为相对大量的深度区(例如，每个对应于一英寸)并且为每个深度区生成图像数据。控制器308识别哪些深度区包括物体并生成强调所识别的物体而不是所识别的物体之间的空白区域的一组新的深度区。例如，包括物体的区域可以与大量深度区相关联，然而，物体之间的空白空间可以与较少数量的深度区(例如，单个深度区)相关联。
在替代实施例中，控制器308将本地区域310划分为相对较少数量(例如3)的大深度区。控制器308识别哪些深度区包括物体，并将识别出的深度区分成更小的深度区。控制器308再次识别哪些更小深度区包括物体，并且进一步将所识别的更小深度区划分成甚至更小的深度区。控制器308继续该过程，直到获得某个阈值水平的深度分辨率。
控制器308还可以基于位于深度区中的物体调整该深度区的大小。深度区的大小由近边界(即，具有到前平面322的最短距离的边界)和远边界(即，具有到前平面322的最长距离的边界)确定。例如，控制器308将深度区的近(远)边界调整为在该深度区中识别的所有物体中具有最短(最长)距离的物体的位置。
控制器308还可以基于从物体反射并由成像设备306捕获的光来确定物体的反射率。在相同或相似的照射和距离下，更高反射率的物体比更低反射率物体更亮。例如，对于物体，控制器308生成物体的图像，并将接收的物体的图像的信号和与该物体的距离相关联的阈值进行比较。当亮度大于(小于)阈值时，控制器308确定物体的反射率高(低)。此外，通过时序数据收集，反射率的估计、以及更准确地物体双向反射分布函数(BRDF)可以被不断地改进以支持跟踪、地图绘制、并确保发射的照明信号在物体特性的可接受范围内。此外，控制器308可以确定物体相对于DCA 120的移动。例如，控制器308识别物体从一个图像到另一个图像的位置的改变，以确定物体的移动。控制器308将物体的移动速度与阈值速度进行比较。当速度大于(小于)阈值速度时，控制器308确定物体的移动高(低)。
控制器308基于深度区、包括在深度区中的物体、图像分辨率、和/或图像质量来确定一个或多个照明参数。图像分辨率可以由用户配置。例如，控制器308调整照明源304以发射具有更低(更高)振幅的光脉冲以捕获近深度区350(远深度区354)的图像。因为当光束通过本地区域310中的各种材料的体积行进时，光束的强度随时间衰减，所以距离前平面322更远的物体被比靠近前平面322的光更弱的光照亮。此外，当在单个识别的深度区内工作时，可以确定其他(非主动照亮的)深度区中的环境照明特性的估计。当后续图像帧在这些相应深度区中提供主动照明时，这支持环境减法方法。
作为另一示例，控制器308调整照明源304以发射具有更低(更高)振幅的光脉冲以捕获包括了具有高(低)反射率物体的深度区的图像。作为进一步的示例，控制器308调整照明源304以发射单脉冲数量更低(更高)的光脉冲以捕获其物体的移动低(高)的深度区的图像。控制器308调整照明源304以发射重复频率更低(更高)的光脉冲以捕获其物体的移动低(高)的深度区的图像。由于在相同照明下物体的距离和/或反射率，深度区中包括的不同物体的图像可具有不同的亮度。当亮度差异超过成像设备306的动态范围时，明亮物体的图像饱和。作为又一个示例，控制器308可以调整照明源304以发射单脉冲数量更低(更高)的光脉冲以捕获更低(更高)分辨率的图像。
控制器308还可以确定一个或多个照明参数以确保图像质量。控制器308分析所捕获的图像的图像质量(例如，噪声、对比度、锐度等)。例如，控制器308分析捕获的图像以确定噪声测量值(例如，高斯噪声、椒盐噪声、散粒噪声、量化噪声、胶片颗粒、等)并确定照明参数以确保噪声测量值低于阈值。作为另一个示例，控制器确定测量图像的信噪比(SNR)并确定照明参数以确保SNR高于阈值。作为另一示例，控制器308分析捕获的图像以确定对比度测量值(例如，亮度对比度、颜色对比度)并确定照明参数以确保对比度测量值高于阈值。控制器308还可以确定照明参数以最大化捕获图像的图像质量，诸如使捕获的图像的噪声测量值最小化、SNR最大化、和/或对比度测量值最大化。为了改善或提高捕获图像的图像质量，控制器308调整照明源304以发射具有更高振幅的光脉冲，其具有更高数量的单个脉冲、或具有更高的重复频率。
控制器308例如通过分析为深度区生成的图像数据来监测所识别的深度区。因为物体可能移动，所以控制器308监测识别的物体并调整确定的深度区。例如，响应于确定物体已经移动，控制器308确定物体的更新距离并且使用更新的距离来调整一个或多个深度区。例如，控制器308可通过确定物体成为深度区的最近或最远物体来调整识别的物体所属的深度区的近边界和/或远边界。当物体移动到新深度区的预定距离范围内时，控制器308还可以创建新的深度区。当最后的物体移动到深度区的预定距离范围之外时，控制器308可以移除深度区。
控制器308还可以基于调整的深度区调整成像设备306和照明源304，以捕获深度区的图像。也就是说，控制器308可以调整一个或多个照明参数和/或一个或多个曝光参数，以捕获深度区的图像。以这种方式，无论何时启动照明源304，其可以将单个或一系列脉冲发送到任何预定义或确定的感兴趣的范围，以使成像设备306同步整合窗口。这允许对接收到的信号(处于成像设备306的规定动态范围内)进行更好的控制，同时仍然使用价格合理的脉冲式LED或激光技术，这对用户也是人眼安全的。接着，成像设备306可以使适合于任何给定帧中的感兴趣的一个或多个范围的整合窗口同步，并且在与每个感兴趣的一个或多个范围相关的每个脉冲相关的时间记录/收集光。这在任何给定的脉冲窗口期间对于多倍的任何帧都支持电荷求和，全部在检测器的模拟域中(在当前的CCD或CMOS架构中)，这最小化了任何潜在的数字或读取噪声伪像，并且通过不在脉冲之间整合环境信号(噪声源)来增加感兴趣的信号。
每个图像或图像数据可以与特定深度区相关联。图像数据可以包括一个或多个识别的物体。对于与深度区相关联的给定图像数据，控制器308确定给定图像数据中对应于关联深度区中的物体的像素值。控制器308将深度区的深度信息与对应于深度区的像素值相关联，以生成部分增强的图像。部分增强图像包括本地区域中一些但不是全部深度区的图像数据。控制器30可以为本地区域310中的每个深度区(例如，近处350，中间352、和远处354)生成部分增强图像，并且可以将部分增强图像组合成增强图像，该增强图像包括用于本地区域的成像部分的深度信息。在一些实施例中，增强图像和/或部分增强图像可以与本地区域310的RGB图像组合。图像数据用于生成部分增强图像，并且在一些实施例中，部分增强图像和/或增强图像包括描述例如用于生成图像数据的照明参数和/或曝光参数的元数据。在替代实施例中，控制器308通过(为所有深度区)整合部分增强图像来生成本地区域310的增强图像，同时保持与每个像素相关联的深度信息。控制器308将增强图像提供给增强现实控制台110。
图4示出捕获包括一个或多个深度区的本地区域的图像数据的示例DCA 120。DCA120扫描本地区域并识别第一近物体404、第二近物体406、和远物体408。DCA 120还确定每个物体的位置和距DCA 120的距离。此外，DCA 120可以确定每个物体的反射率和/或相对于用户的移动。基于(例如)识别的物体的距离，DCA 120将场景划分为深度区：(1)包括第一近距离物体404和第二近距离物体406的近深度区402，以及(2)包括远距离物体408的远深度区403。
DCA 120一次捕获深度区的图像并且在不同时间捕获不同深度区的图像。在t1，DCA 120发射单个光脉冲414以捕获近深度区402的图像。DCA 120可以基于近深度区402、第一和第二近物体404和406、和/或图像分辨率确定光脉冲414的一个或多个照明参数。例如，DCA 120确定光脉冲414包括一个单个光脉冲并且具有脉冲宽度t1-t2。DCA 120确定一个或多个曝光参数以从近深度区402生成图像数据。基于近深度区402的近边界405，DCA 120将t3确定为曝光开始时间并调整其成像设备以在t3捕获反射光脉冲424。反射光脉冲424是被近距离物体404反射的光脉冲414。从t1到t3的时间段是光脉冲414从DCA 120行进到近深度区402的近边界405并返回到DCA 120所花费的时间段。也就是说，从t1到t3的时间段的一半对应于从DCA 120到近边界405的距离。此外，DCA 120确定曝光持续时间。在为近深度区402捕获图像数据时，曝光持续时间对应于近边界405与远边界407之间的距离。反射光脉冲426是被近物体406反射的光脉冲414。从t3到t4的时间段是光脉冲414的上升沿到达近边界405的第一时间点和光脉冲414的下降沿到达远边界407的第二时间点之间的时间段。
对于近深度区402，DCA 120使用所确定的曝光开始时间和曝光时间段来生成图像数据。近深度区402与对应于到近深度区402(或近深度区402内的某个点)的距离的深度信息相关联。DCA 120通过将图像数据中的物体的像素值映射到与近深度区402相关联的深度信息来生成部分增强的图像。
DCA 120然后将焦点移向远深度区403。在t5，DCA 120发射单个光脉冲418以捕获远深度区403的图像。DCA 120可以基于远深度区403、远物体408、和/或图像分辨率来确定光脉冲418的一个或多个照明参数。例如，DCA 120确定光脉冲418包括一个单个光脉冲并且具有脉冲宽度t5-t6。DCA 120确定一个或多个曝光参数以从远深度区403生成图像数据。基于远深度区403的近边界409，DCA 120将t7确定为曝光开始时间并且调整其成像设备以在t7捕获反射光脉冲428。反射光脉冲428是被远物体408反射的光脉冲418。从t5到t7的时间段是光脉冲418从DCA 120行进到远深度区403的远边界410并返回到DCA 120所花费的时间段。此外，DCA 120确定曝光持续时间。在为远深度区403捕获图像数据时，曝光持续时间对应于近边界409和远边界410之间的距离。时间段t7-t8是光脉冲418的上升沿到达近边界409的第一时间点和光脉冲418的下降沿到达远边界410的第二时间点之间的时间段。
对于远深度区403，DCA 120使用确定的曝光开始时间和曝光时间段来生成图像数据。远深度区403与对应于到远深度区403(或远深度区403内的某个点)的距离的深度信息相关联。DCA 120通过将图像数据中的物体的像素值映射到与远深度区403相关联的深度信息来生成另一个部分增强图像。
DCA 120使用这两个部分增强图像生成增强图像。DCA 120将部分增强图像组合成包括本地区域的成像部分(即，近深度区402和远深度区403)的深度信息的增强图像。在一些实施例中，增强图像和/或部分增强图像可以与本地区域310的RGB图像组合。DCA 120还可以利用用于照明源的空间调制信号来操作，其提供结构化光深度检索方法(利用三角测量、或照明器和相机之间的已知基线距离来确定深度计算)。这允许系统同时利用时间(如所描述的每帧单个或多个脉冲光)和空间调制光源工作以改进深度检索估计。
注意，在上面的示例中，对于给定的深度区，单个脉冲主要用于生成部分增强的图像。然而，在替代实施例中，在读出与深度区相关联的图像数据之前，为给定深度区发射多个脉冲。这提高了与给定深度区中的图像数据相关的信号强度，因为来自连续脉冲的光以接近无噪声的方式添加。DCA 120然后可以为使用多个脉冲(例如，100个脉冲)产生的深度区读出相关的图像数据。改进的信号强度在捕获针对具有低反射率的物体和/或远离DCA120的物体的精确图像数据时是有用的。
图5示出根据一个实施例的生成增强图像的过程的流程图。图5的过程可以由DCA120执行。其他实体可以在其他实施例中执行过程的一些或全部步骤。类似地，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行步骤。
DCA确定502本地区域中的一个或多个深度区。每个深度区具有不同的深度信息(例如，包括的物体以及到DCA 120的相应距离)。DCA识别包括在本地区域中的物体，并确定每个识别出的物体到DCA的距离。DCA进一步基于识别出的物体的确定距离将本地区域划分为一个或多个深度区。
DCA照亮504一个或多个深度区中的包括一个或多个物体的深度区。DCA可以调整其照明源以发射光脉冲来照亮深度区。DCA可以确定一个或多个照明参数(例如，脉冲宽度、振幅、频率、所包括的脉冲的数量、和/或波长)，并且根据确定的照明参数来调整其照明源。DCA可以基于深度区、包括在深度区中的物体、和/或图像分辨率确定一个或多个照明参数。在一个实施例中，DCA发射宽度为6ns或更短的光脉冲。
DCA捕获506深度区中的物体反射的光以生成深度区的图像数据。DCA调整其成像设备以捕获响应由其照明源发射的光脉冲照射而在深度区中被物体反射的光。DCA可以确定一个或多个曝光参数(例如，开始时间、持续时间、等)，并根据确定的照明参数调整其成像设备。DCA可以基于深度区和/或发射的相应的光脉冲来确定一个或多个曝光参数。生成的图像数据包括深度区的图像的像素的像素值(例如，RGB值)。DCA可以基于生成的图像数据监视深度区。DCA可以调整一个或多个照明参数、一个或多个曝光参数、深度区的近边界、和/或深度区的远边界，并相应地调整深度区的照明。
DCA确定506其是否已经为所有识别的深度区生成图像数据，例如，在DCA的范围内，或者基于其采样基础以及来自感兴趣位置的物体上的先前数据集的知识。如果尚未针对所有识别的深度区产生图像数据，则处理流程移动到504，并且照亮一不同的深度区。
响应于确定已经为所有识别的深度区生成图像数据，DCA基于所有识别的深度区的深度信息和图像数据，生成508深度区的增强图像。DCA为与不同深度区相关联的图像数据确定部分增强图像，并将部分增强的图像数据组合成增强图像。DCA将本地区域的增强图像提供510到AR控制台用于进一步处理。
附加配置信息
已经出于说明的目的呈现了本公开的实施例的前述描述；并不意图是穷尽的或者将本公开限制为所公开的确切形式。相关领域的技术人员可以理解，鉴于上述公开，许多修改和变化是可能的。
本说明书的一些部分根据对信息的操作的算法和符号代表来描述本公开的实施例。这些算法描述和表示通常被数据处理领域的技术人员用来有效地将其工作的实质传达给本领域的其他技术人员。尽管在功能上、计算上、或逻辑上描述了这些操作，但理解为通过计算机程序或等效电路、微代码、等来实现。此外，在不失一般性的情况下，将这些操作安排称为模块也有时被证明是方便的。所描述的操作以及它们的相关模块可以以软件、固件、硬件、或其任何组合来呈现。
本文描述的任何步骤、操作、或过程可以用一个或多个硬件或软件模块，单独或与其他设备组合来执行或实现。在一个实施例中，软件模块用计算机程序产品来实现，该计算机程序产品包括含有计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。
本公开的实施例还可以涉及用于执行本文的操作的装置。该装置可以为了所需的目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以被存储在非暂时性的、有形计算机可读存储介质，或适于存储电子指令的任何类型的介质中，其可以被耦接到计算机系统总线。此外，说明书中提及的任何计算系统可以包括单个处理器或者可以是采用多个处理器设计以提高计算能力的架构。
本公开的实施例还可涉及由本文描述的计算过程生成的产品。这样的产品可以包括来源于计算过程的信息，其中，信息存储在非暂时性的、有形的计算机可读存储介质上，并且可以包括本文描述的计算机程序产品或其他数据组合的任何实施例。
最后，说明书中使用的语言主要是为了可读性和指导性目的而选择的，并且其可能未被选择为描绘或限制发明主题。因此，本公开的范围旨在不由本详细描述限制，而是由在此基于本申请的任何权利要求限制。因此，实施例的公开旨在说明而非限制本公开的范围，其在以下权利要求中阐述。

Claims (20)

1.一种范围选通的深度相机组件，包括：
照明源，被配置为发射照明光脉冲；
成像设备，被配置为生成本地区域的图像数据；以及
控制器，被配置为：
根据一个或多个照明参数来调整所述照明源以发射多个照明光脉冲以照亮所述本地区域的场景，所述本地区域被划分为包括至少一个非空深度区的多个深度区，所述非空深度区包括至少一个物体；
识别所述至少一个非空深度区；
将识别的所述至少一个非空深度区划分成更小的深度区；
识别所述更小的深度区中的哪些是非空深度区；
重复所述识别和所述划分，直到获得预定阈值水平的深度分辨率；
对于在所述预定阈值水平的深度分辨率下的每个非空深度区，调整所述成像设备以记录一组反射的光脉冲以生成针对在所述预定阈值水平的深度分辨率下的所述非空深度区的图像数据，所述一组反射的光脉冲是从包括在所述预定阈值水平的深度分辨率下的所述非空深度区中的一个或多个物体反射的所述照明光脉冲；以及
使用为在所述预定阈值水平的深度分辨率下的至少一个非空深度区生成的所述图像数据来生成所述场景的一个或多个部分增强图像，
其中，所述一个或多个部分增强图像中的至少一个包括所述至少一个物体的深度信息，并且所述一个或多个部分增强图像被用于生成用于呈现给用户的虚拟内容。
2.根据权利要求1所述的范围选通的深度相机组件，其中，针对在所述预定阈值水平的深度分辨率下的第一深度区的第一曝光时间段与针对在所述预定阈值水平的深度分辨率下的第二深度区的第二曝光时间段不同，在所述预定阈值水平的深度分辨率下的所述第一深度区与在所述预定阈值水平的深度分辨率下的所述第二深度区不同。
3.根据权利要求1所述的范围选通的深度相机组件，其中，生成所述场景的所述一个或多个部分增强图像包括：将在所述预定阈值水平的深度分辨率下的非空深度区的所述图像数据与在所述预定阈值水平的深度分辨率下的所述非空深度区的深度信息相关联。
4.根据权利要求2所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
基于从所述成像设备到所述第一深度区的距离、以及所述一个或多个部分增强图像的质量中的至少一者来确定所述一个或多个照明参数。
5.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
基于物体的反射程度、所述物体的移动速度、所述物体距所述成像设备的距离、所述一个或多个部分增强图像的噪声测量值、所述一个或多个部分增强图像的信噪比SNR、以及所述一个或多个部分增强图像的对比度测量值中的至少一者，确定所述一个或多个照明参数，所述一个或多个照明参数包括脉冲宽度、振幅、频率、所包括的脉冲的数量、以及波长中的至少一者。
6.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为根据一个或多个曝光参数调整所述成像设备，并且所述控制器还被配置为：
至少基于所述照明源的照明参数以及在所述预定阈值水平的深度分辨率下的深度区的特征，确定经更新的一个或多个曝光参数；以及
根据经更新的一个或多个曝光参数，调整所述一个或多个曝光参数，所述一个或多个曝光参数包括曝光时间段、所述曝光时间段的开始时间、每个读出帧的重复频率、以及每个读出帧的重复计数中的至少一者。
7.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
将所述本地区域划分为多个所述深度区，其中，多个所述深度区的数量是预定的；以及
对于多个所述深度区中的每一个非空深度区，定位距所述成像设备的预定距离范围内的一个或多个所述物体，以识别一个或多个所述物体。
8.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
生成多个所述深度区，该生成包括：
将所述本地区域划分为第二多个预定深度区，每个预定深度区的尺寸是预定的，
识别多个空深度区，所述多个空深度区是不包括物体的所述第二多个预定深度区的子集，以及
将所识别的多个空深度区中彼此相邻的两个空深度区组合成单个空深度区。
9.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
生成所述多个深度区，该生成包括：
将所述本地区域划分为第一组深度区，
识别一组非空深度区，所述一组非空深度区是包括至少一个物体的所述第一组深度区的子集，以及
对于每个非空深度区，将所述非空深度区划分为第二组深度区，所述第二组深度区的每个深度区的尺寸大于阈值尺寸。
10.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
对于所述多个深度区中的每个深度区：
将所述深度区的第一边界调整到第一物体的第一位置，其中，在包括于所述深度区中的一个或多个所述物体中，所述第一物体具有到所述成像设备的最短距离，以及
将所述深度区的第二边界调整到第二物体的第二位置，其中，在包括于所述深度区中的一个或多个所述物体中，所述第二物体具有到所述成像设备的最长距离。
11.根据权利要求1所述的范围选通的深度相机组件，其中，所述控制器还被配置为：
监视所述多个深度区中的深度区，所述监视包括：
检测包括在所述多个深度区中的深度区中的物体的移动，
响应于检测到所述物体的移动，确定从所述物体到所述成像设备的经更新的距离，以及
基于经更新的距离，通过调整所述多个深度区来生成第二多个经调整的深度区，该调整包括以下各项中的至少一项：调整所述多个深度区的深度区的边界、响应于确定经更新的距离在第一预定范围内而创建新的深度区、响应于确定经更新的距离在第二预定范围之外而移除现有的深度区。
12.一种头戴式显示器HMD，包括：
电子显示器；
范围选通的深度相机组件，包括：
照明源，被配置为发射照明光脉冲，以及
成像设备，被配置为生成本地区域的图像数据；以及
控制器，被配置为：
根据一个或多个照明参数来调整所述照明源以发射多个照明光脉冲以照亮所述本地区域的场景，所述本地区域被划分为包括至少一个非空深度区的多个深度区，所述非空深度区包括至少一个物体；
识别所述至少一个非空深度区；
将识别的所述至少一个非空深度区划分成更小的深度区；
识别所述更小的深度区中的哪些是非空深度区；
重复所述识别和所述划分，直到获得预定阈值水平的深度分辨率；
对于在所述预定阈值水平的深度分辨率下的每个非空深度区，调整所述成像设备以记录一组反射的光脉冲以生成针对在所述预定阈值水平的深度分辨率下的所述非空深度区的图像数据，所述一组反射的光脉冲是从包括在所述预定阈值水平的深度分辨率下的所述非空深度区中的一个或多个物体反射的所述照明光脉冲；以及
使用为在所述预定阈值水平的深度分辨率下的至少一个非空深度区生成的所述图像数据来生成所述场景的一个或多个部分增强图像，
其中，所述一个或多个部分增强图像中的至少一个包括所述至少一个物体的深度信息，并且所述一个或多个部分增强图像被用于生成用于呈现给用户的虚拟内容。
13.根据权利要求12所述的HMD，其中，针对在所述预定阈值水平的深度分辨率下的第一深度区的第一曝光时间段与针对在所述预定阈值水平的深度分辨率下的第二深度区的第二曝光时间段不同，在所述预定阈值水平的深度分辨率下的所述第一深度区与在所述预定阈值水平的深度分辨率下的所述第二深度区不同。
14.根据权利要求12所述的HMD，其中，生成所述场景的所述一个或多个部分增强图像包括：将在所述预定阈值水平的深度分辨率下的非空深度区的所述图像数据与在所述预定阈值水平的深度分辨率下的所述非空深度区的深度信息相关联。
15.根据权利要求13所述的HMD，其中，所述控制器还被配置为：
基于从所述成像设备到所述第一深度区的距离、以及所述一个或多个部分增强图像的质量中的至少一者来确定所述一个或多个照明参数。
16.根据权利要求12所述的HMD，其中，所述控制器还被配置为：
基于物体的反射程度、所述物体的移动速度、所述物体距所述成像设备的距离、所述一个或多个部分增强图像的噪声测量值、所述一个或多个部分增强图像的信噪比SNR、以及所述一个或多个部分增强图像的对比度测量值中的至少一者，确定所述一个或多个照明参数，所述一个或多个照明参数包括脉冲宽度、振幅、频率、所包括的脉冲的数量、以及波长中的至少一者。
17.根据权利要求12所述的HMD，其中，所述控制器还被配置为根据一个或多个曝光参数调整所述成像设备，并且所述控制器还被配置为：
至少基于所述照明源的照明参数以及在所述预定阈值水平的深度分辨率下的深度区的特征，确定经更新的一个或多个曝光参数；以及
根据经更新的一个或多个曝光参数，调整所述一个或多个曝光参数，所述一个或多个曝光参数包括曝光时间段、所述曝光时间段的开始时间、每个读出帧的重复频率、以及每个读出帧的重复计数中的至少一者。
18.一种成像方法，包括：
根据一个或多个照明参数由照明源发射多个照明光脉冲以照亮本地区域的场景，所述本地区域被划分为包括至少一个非空深度区的多个深度区，所述非空深度区包括至少一个物体；
识别所述至少一个非空深度区；
将识别的所述至少一个非空深度区划分成更小的深度区；
识别所述更小的深度区中的哪些是非空深度区；
重复所述识别和所述划分，直到获得预定阈值水平的深度分辨率；
对于在所述预定阈值水平的深度分辨率下的每个非空深度区，记录一组反射的光脉冲以生成针对在所述预定阈值水平的深度分辨率下的所述非空深度区的图像数据，所述一组反射的光脉冲是从包括在所述预定阈值水平的深度分辨率下的所述非空深度区中的一个或多个物体反射的所述照明光脉冲；以及
使用为在所述预定阈值水平的深度分辨率下的至少一个非空深度区生成的所述图像数据来生成所述场景的一个或多个部分增强图像，
其中，所述一个或多个部分增强图像中的至少一个包括所述至少一个物体的深度信息，并且所述一个或多个部分增强图像被用于生成用于呈现给用户的虚拟内容。
19.根据权利要求18所述的方法，其中，针对在所述预定阈值水平的深度分辨率下的第一深度区的第一曝光时间段与针对在所述预定阈值水平的深度分辨率下的第二深度区的第二曝光时间段不同，在所述预定阈值水平的深度分辨率下的所述第一深度区与在所述预定阈值水平的深度分辨率下的所述第二深度区不同。
20.根据权利要求18所述的方法，其中，生成所述场景的所述一个或多个部分增强图像包括：将在所述预定阈值水平的深度分辨率下的非空深度区的所述图像数据与在所述预定阈值水平的深度分辨率下的所述非空深度区的深度信息相关联。
CN201680072127.1A 2015-12-16 2016-12-09 范围选通的深度相机组件 Active CN108370438B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562268488P 2015-12-16 2015-12-16
US62/268,488 2015-12-16
US15/372,779 2016-12-08
US15/372,779 US10708577B2 (en) 2015-12-16 2016-12-08 Range-gated depth camera assembly
PCT/US2016/065985 WO2017106053A1 (en) 2015-12-16 2016-12-09 Range-gated depth camera assembly

Publications (2)

Publication Number Publication Date
CN108370438A CN108370438A (zh) 2018-08-03
CN108370438B true CN108370438B (zh) 2021-03-23

Family

ID=59057427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072127.1A Active CN108370438B (zh) 2015-12-16 2016-12-09 范围选通的深度相机组件

Country Status (6)

Country Link
US (1) US10708577B2 (zh)
EP (1) EP3391648B1 (zh)
JP (1) JP7076368B2 (zh)
KR (1) KR20190028356A (zh)
CN (1) CN108370438B (zh)
WO (1) WO2017106053A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10551614B2 (en) 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10311584B1 (en) 2017-11-09 2019-06-04 Facebook Technologies, Llc Estimation of absolute depth from polarization measurements
FR3073999B1 (fr) * 2017-11-23 2024-02-09 Ateme Compression intelligente de contenus video graines
US10491877B1 (en) * 2017-12-21 2019-11-26 Facebook Technologies, Llc Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry
US11716548B2 (en) 2018-03-13 2023-08-01 Meta Platforms Technologies, Llc Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry
US10559121B1 (en) * 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
US10607567B1 (en) 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108683843B (zh) * 2018-04-28 2020-02-18 Oppo广东移动通信有限公司 电子设备控制方法、装置、电子设备和可读存储介质
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10877238B2 (en) * 2018-07-17 2020-12-29 STMicroelectronics (Beijing) R&D Co. Ltd Bokeh control utilizing time-of-flight sensor to estimate distances to an object
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10732285B2 (en) * 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US10630925B1 (en) * 2018-12-03 2020-04-21 Facebook Technologies, Llc Depth determination using polarization of light and camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
JP7401550B2 (ja) * 2019-02-22 2023-12-19 プロフェシー 動体視覚センサおよびパターン投影を用いる３次元撮像および感知
JP7209198B2 (ja) * 2019-03-27 2023-01-20 パナソニックＩｐマネジメント株式会社 距離測定装置および画像生成方法
EP3757945A1 (en) * 2019-06-24 2020-12-30 Imec VZW Device for generating an augmented reality image
CN110346780A (zh) * 2019-07-31 2019-10-18 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其局部检测精度调整方法
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
CN110749902A (zh) * 2019-10-09 2020-02-04 深圳奥锐达科技有限公司 一种基于时间分段的3d成像系统及成像方法
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
CN113126072B (zh) * 2019-12-30 2023-12-29 浙江舜宇智能光学技术有限公司 深度相机及控制方法
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
CN111398976B (zh) * 2020-04-01 2022-08-23 宁波飞芯电子科技有限公司 探测装置及方法
DE102020002994B4 (de) 2020-05-19 2023-03-30 Daimler Truck AG Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
CN113484874B (zh) * 2021-06-25 2023-10-17 山东航天电子技术研究所 一种实现飞行时间域全探测的主动成像装置及成像方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN102099703A (zh) * 2007-12-19 2011-06-15 微软国际控股私有有限公司 3d照相机及其选通方法
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102147553A (zh) * 2010-02-03 2011-08-10 微软公司 快速选通光敏面
CN102257511A (zh) * 2008-10-30 2011-11-23 诺基亚公司 用于提供自适应姿态分析的方法、装置和计算机程序产品
CN103053167A (zh) * 2010-08-11 2013-04-17 普莱姆森斯有限公司 扫描投影机及用于3d映射的图像捕获模块
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
TW201503689A (zh) * 2013-06-17 2015-01-16 Ind Tech Res Inst 物件之景深分割方法與系統
CN104364673A (zh) * 2012-05-29 2015-02-18 布莱特瓦维森有限公司 使用自适应景深的选通成像
US20150261318A1 (en) * 2014-03-12 2015-09-17 Michael Scavezze Gesture parameter tuning

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110381A (ja) * 1993-10-07 1995-04-25 Wacom Co Ltd 距離カメラ装置
JP3840813B2 (ja) 1998-08-12 2006-11-01 富士ゼロックス株式会社 三次元形状計測法および装置
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
JP3971691B2 (ja) 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP5624267B2 (ja) 2008-06-24 2014-11-12 株式会社東芝 赤外線撮像装置および赤外線撮像方法
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US9851245B2 (en) * 2012-11-06 2017-12-26 Microsoft Technology Licensing, Llc Accumulating charge from multiple imaging exposure periods
JP2015125641A (ja) 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
KR102144543B1 (ko) 2014-05-08 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
TWI529662B (zh) * 2014-12-15 2016-04-11 財團法人工業技術研究院 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
US10126459B2 (en) * 2015-03-12 2018-11-13 Raytheon Company System and method for depth profiling by temporal and spatial range gating based on penetrating electromagnetic radiation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN102099703A (zh) * 2007-12-19 2011-06-15 微软国际控股私有有限公司 3d照相机及其选通方法
CN102257511A (zh) * 2008-10-30 2011-11-23 诺基亚公司 用于提供自适应姿态分析的方法、装置和计算机程序产品
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102147553A (zh) * 2010-02-03 2011-08-10 微软公司 快速选通光敏面
CN103053167A (zh) * 2010-08-11 2013-04-17 普莱姆森斯有限公司 扫描投影机及用于3d映射的图像捕获模块
CN104364673A (zh) * 2012-05-29 2015-02-18 布莱特瓦维森有限公司 使用自适应景深的选通成像
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
TW201503689A (zh) * 2013-06-17 2015-01-16 Ind Tech Res Inst 物件之景深分割方法與系統
US20150261318A1 (en) * 2014-03-12 2015-09-17 Michael Scavezze Gesture parameter tuning

Also Published As

Publication number Publication date
EP3391648A1 (en) 2018-10-24
JP7076368B2 (ja) 2022-05-27
JP2019506768A (ja) 2019-03-07
KR20190028356A (ko) 2019-03-18
EP3391648A4 (en) 2019-05-22
US20170180713A1 (en) 2017-06-22
US10708577B2 (en) 2020-07-07
WO2017106053A1 (en) 2017-06-22
CN108370438A (zh) 2018-08-03
EP3391648B1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
CN108370438B (zh) 范围选通的深度相机组件
US10228240B2 (en) Depth mapping using structured light and time of flight
US20190387218A1 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
CN110658914B (zh) 边界区域的闪烁追踪
CN109425306B (zh) 深度测量组件
US10957059B1 (en) Multi-pattern depth camera assembly
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US10574938B1 (en) Variable frame rate depth camera assembly
EP3393122A1 (en) Event camera
US11637978B1 (en) Autonomous gating selection to reduce noise in direct time-of-flight depth sensing

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder