CN112739980A - 多阶段有源光深度系统 - Google Patents

多阶段有源光深度系统 Download PDF

Info

Publication number
CN112739980A
CN112739980A CN201980061770.8A CN201980061770A CN112739980A CN 112739980 A CN112739980 A CN 112739980A CN 201980061770 A CN201980061770 A CN 201980061770A CN 112739980 A CN112739980 A CN 112739980A
Authority
CN
China
Prior art keywords
sensor array
frames
pulse
scan
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980061770.8A
Other languages
English (en)
Other versions
CN112739980B (zh
Inventor
K.阿塔纳索夫
S.戈马
J.纳什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN112739980A publication Critical patent/CN112739980A/zh
Application granted granted Critical
Publication of CN112739980B publication Critical patent/CN112739980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开的各方面涉及用于结构光(SL)深度系统的系统和方法。一种深度探测系统，包括一个或多个处理器和耦接到一个或多个处理器的存储器，存储器包括指令，该指令在由一个或多个处理器执行时使系统基于发射的光的脉冲捕获多个帧，其中，通过在已经发射了脉冲中的相应一个之后扫描传感器阵列来捕获多个帧中的每一个，并且通过组合多个帧来生成描绘发射光的反射的图像，其中多个帧中的每一个提供图像的不同部分。

Description

多阶段有源光深度系统
根据35U.S.C.§119要求优先权
本专利申请要求于2018年9月26日提交的题为“MULTI-PHASE ACTIVE LIGHTDEPETH SYSTEM”的No.16/143,070的非临时申请的优先权，该非临时申请被转让给本申请的受让人并且在此通过引用明确地并入本文。
技术领域
本公开总体上涉及用于结构光系统的系统及方法，并且具体涉及减少结构光系统中的干扰。
背景技术
设备可以使用不同的深度探测系统来确定其周围环境的距离。在确定深度时，设备可通过发射一个或多个无线信号并测量无线信号的反射而生成示出或以其它方式指示对象距设备的深度的深度图。一种这样的深度探测系统是结构光系统。结构光主动感测依赖于发射和接收空间码。具体地，发射已知的点图案(诸如电磁频谱的近红外或其他频率信号)，并且测量和分析点图案的反射以确定对象距设备的深度。反映特定码的对象的深度与所接收码位置与原始码位置(例如，当发射时)之间的差成比例。
大多数结构光系统包括在接收器的前部处的窄带滤光器以允许反射码以小的干扰通过。然而，在室外应用中，带内的干涉光(例如，太阳光)可以通过窄带滤光器进入接收器。这样的干扰可提升信号基底(signal floor)(例如，使像素很好地饱和)和/或引入与其水平成比例的噪声。其结果是，当足够量的干涉光进入接收器时，深度解码可能失败。
发明内容
提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。
本公开的各方面涉及用于结构光(SL)深度系统的系统和方法。在一个示例实施方式中，公开了一种用于深度探测的方法。该示例方法可以包括：基于发射的光的脉冲来捕获多个帧，其中，通过在已经发射了脉冲中的相应一个脉冲之后扫描传感器阵列来捕获所述帧中的每一个，以及通过组合所述多个帧来生成描绘发射光的反射的图像，其中，所述帧中的每一个提供图像的不同部分。
在另一示例中，公开了一种深度探测系统。所述深度探测系统包括：一个或多个处理器和耦接到所述一个或多个处理器的存储器，所述存储器包括指令，所述指令在由所述一个或多个处理器执行时使所述系统：基于发射的光的脉冲捕获多个帧，其中，通过在已经发射了所述脉冲中的相应一个脉冲之后扫描传感器阵列来捕获所述帧中的每一个，并且通过组合所述多个帧来生成描绘所述发射光的反射的图像，其中，所述帧中的每一个提供所述图像的不同部分。
在另一示例中，公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质可以存储指令，所述指令在由处理器执行时使深度探测系统：基于发射的光的脉冲来捕获多个帧，其中，通过在已经发射了所述脉冲中的相应一个脉冲之后扫描传感器阵列来捕获所述帧中的每一个，并且通过组合所述多个帧来生成描绘发射光的反射的图像，其中，所述帧中的每一个提供图像的不同部分。
在另一示例中，公开了一种深度探测系统。深度探测系统包括：用于基于发射的光的脉冲捕获多个帧的部件，其中，通过在已经发射了所述脉冲中的相应一个脉冲之后扫描传感器阵列来捕获所述帧中的每一个，以及用于通过组合所述多个帧来生成描绘发射光的反射的图像的部件，其中，所述帧中的每一个提供图像的不同部分。
附图说明
在附图的各图中通过示例而非限制的方式示出了本公开的各方面，并且其中相同的附图标记指的是相似的元件。
图1是示例结构光系统。
图2是示例深度探测系统的框图。
图3是描绘根据一些实施方式的用于深度探测的示例多阶段图像捕获操作的时序图。
图4A-4C示出了可以在多阶段图像捕获操作的相应阶段获取的示例帧。
图5示出了可以通过组合图4A-4C的帧而生成的示例图像。
图6是描绘根据一些实施方式的示例深度探测操作的示意性流程图。
具体实施方式
本公开的各方面可以在用于确定深度的结构光(structured light，SL)系统中使用。具体而言，通过将多阶段脉冲光源与滚动快门传感器组合来提供用于减少SL系统中的干扰的方法和装置。在每个阶段期间，光源发射由对象反射并由传感器装置中的相机像素的相应子集测量的光的脉冲(例如，包括投影码)(例如，作为特定帧)。更具体地，相机像素的不同子集捕获来自每个连续脉冲(例如，对于每个连续阶段)的反射光。其结果是，针对每个帧曝光传感器视场的不同部分。随后将帧组合(例如，堆叠或拼接在一起)以产生所得传感器图像，可从所述所得传感器图像确定对象的深度。
在以下描述中，阐述了许多特定细节(诸如特定组件、电路和处理的示例)，以提供对本公开的透彻理解。如本文所使用的术语“耦接”表示直接连接或通过一个或多个中间组件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了特定术语以提供对本公开的透彻理解。然而，对于本领域技术人员显而易见的是，可能不需要这些特定细节来实践本文公开的教导。在其他情况下，以框图形式示出了公知的电路和设备，以避免模糊本公开的教导。以下详细描述的一些部分是依据对计算机存储器内的数据位的操作的过程、逻辑块、处理和其他符号表示来呈现的。在本公开中，过程、逻辑块、处理等被认为是导致期望结果的步骤或指令的自洽序列。这些步骤是需要物理量的物理操纵的那些步骤。通常，尽管不是必须的，这些量采取能够在计算机系统中存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。
然而，应当记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非另外特别说明，否则从以下讨论中显而易见的是，认识到在整个本申请中，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“安置”等术语的讨论是指计算机系统或类似电子计算设备的动作和处理，其中，所述动作和处理将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵并转换为类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
在图中，单个块可以被描述为执行一个或多个功能；然而，在实际实践中，由该块执行的一个或多个功能可以在单个组件中或跨多个组件执行，和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，下面通常依据其功能来描述各种示意性的组件、块、模块、电路和步骤。将这样的功能实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施描述的功能，但这样的实施决策不应被解释为导致脱离本公开的范围。此外，示例设备可以包括除了所示出的那些组件之外的组件，包括诸如处理器、存储器等公知的组件。
本发明的各方面适用于耦接到一个或多个结构光系统的任何合适电子设备(诸如安全系统、智能电话、平板计算机、膝上型计算机、车辆、无人机或其它设备)。虽然下文针对具有或耦接到一个结构光系统的设备进行描述，但本公开的各方面适用于具有任何数量的结构光系统(包含无，其中将结构光信息提供到设备以供处理)的设备，并且因此不限于特定设备。
术语“设备”不限于一个或特定数量的物理对象(诸如一个智能电话、一个控制器、一个处理系统等)。如本文所使用的，设备可以是具有可以实施本公开的至少一些部分的一个或多个部分的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开的各个方面，但是术语“设备”不限于特定配置、类型或数量的对象。另外，术语“系统”不限于多个组件或特定实施例。例如，系统可以在一个或多个印刷电路板或其他基板上实施，并且可以具有可移动或静态组件。虽然以下描述和示例使用术语“系统”来描述本公开的各个方面，但是术语“系统”不限于特定配置、类型或数量的对象。
图1是示例结构光系统100。结构光系统100可用以生成场景106的深度图(未绘出)。结构光系统100可包括至少投影仪或发射器102和接收器108。投影仪或发射器102可以被称为“发射器”、“投影仪”、“发射体”等，并且不应限于特定的发射组件。类似地，接收器108也可以被称为“检测器”、“传感器”、“感测元件”、“光电检测器”等，并且不应限于特定的接收组件。
发射器102可被配置为将码字图案104投影到场景106上。在一些示例实施方式中，发射器102可以包括一个或多个激光源124、透镜126和光调制器128。在一些实施方式中，发射器102还可以包括衍射光学元件(DOE)，以将来自一个或多个激光源124的发射衍射成额外的发射。在一些方面，光调制器128可以包括DOE，例如，以调节发射的强度。码字图案104可硬编码于结构光系统100上(例如，在投影仪102处)。发射器102可以将来自激光源124的一个或多个激光发射通过透镜126(和/或通过DOE或光调制器128)并到场景106上。如图所示，发射器102可以位于与接收器108相同的参考平面上，并且发射器102和接收器108可以被称为“基线”(baseline)的距离分开。
接收器108可被配置为从场景106检测(或“感测”)码字图案104的反射110。反射110可包括来自场景106的不同深度处的不同对象或部分的码字图案的多次反射。基于基线、反射的码字图案104的位移及变形、以及反射110的强度，结构光系统100可用以确定场景106中的一个或多个对象的深度和位置。例如，来自光调制器128的投影的码字图案104中的发射光点的位置和距离、以及由接收器108的传感器接收的反射110中的光点的对应位置和距离(诸如从中心到反射110的部分的距离116和118)可用于确定场景106中的对象的深度和位置。
在一些示例实施方式中，接收器108可以包括光电二极管(诸如雪崩光电二极管)阵列以测量或感测反射。该阵列可以耦接到互补金属氧化物半导体(CMOS)传感器，该互补金属氧化物半导体(CMOS)传感器包括与阵列中的光电二极管的数量相对应的多个像素或区域。由阵列生成的多个电脉冲可以触发CMOS传感器的对应像素或区域以提供由阵列感测的反射的测量。可选地，光敏CMOS传感器可感测或测量包括反射的码字图案的反射。CMOS传感器可在逻辑上划分成对应于码字图像的比特的大小的像素组(例如4×4组)。每个组(其也可以是其他大小，包括一个像素)也可以被称为比特。
如图所示，对应于在场景106的较远距离处的码字图案104的反射光点的距离116小于对应于在场景106的较近距离处的码字图案104的反射光点的距离118。使用基于基线以及距离116和118的三角测量，结构光系统100可用以确定场景106的不同距离并生成场景106的深度图。
如上所述，不想要的光(诸如太阳光)可能进入接收器108并干扰反射光110。用于减少干扰的一种可能的解决方案是增加用于发射码字图案104的激光源124的功率或强度。然而，激光源124的功率的增加是有限的(例如，出于眼睛安全目的)。眼睛安全限制基于一段时间内的平均激光功率。因此，通过脉冲化激光源124，可以通过减小脉冲的占空比或持续时间来增加发射光的功率(例如，同时保持低于眼睛安全限制)。
在一些实施方式中，接收器108的定时(例如，“打开”和“关闭”)可以与激光源124的脉冲同步。例如，接收器108内的光电二极管可以被打开(或激活)以捕获光并且被关闭(或去激活)以拒绝光。光电二极管保持打开的持续时间可以对应于光电二极管的“曝光时间”。为了进一步减少不想要的光进入接收器108，可能期望将光电二极管的曝光时间限制为与脉冲的持续时间相对应(例如，并且在没有脉冲的情况下拒绝环境光)。
可以经由电快门来控制光电二极管的打开和关闭。更具体地，快门的打开和关闭可以被定时，使得传感器可以仅在由光源发射脉冲时对接收的图像进行采样。在一些实施方式中，每当发射器102发射的光的脉冲时，可以并发地打开和关闭整个光电二极管阵列(例如，使用“全局快门”)。因此，由全局快门传感器捕获的每个帧(例如，在打开和关闭光电二极管阵列中的每个光电二极管时)可以包括反射110的全帧图像。然而，全局快门传感器操作起来往往是昂贵且有噪声的。
与此相反，滚动快门CMOS传感器是现成可用的，并且实施起来往往比全局快门传感器便宜得多。滚动快门CMOS传感器逐步地扫描光电二极管阵列(例如，逐行)，使得在不同时间激活不同行的光电二极管。从第一(或最后)行光电二极管开始，滚动快门CMOS传感器可以连续扫描光电二极管阵列的每一行，直到阵列的每一行都被扫描。因此，取决于脉冲的持续时间，由滚动快门CMOS传感器捕获的每个帧可以包括反射110的图像的仅一部分。
然而，本公开的各方面认识到，通过调节脉冲和扫描之间的相对定时偏移，滚动快门CMOS传感器可以被配置为生成多个帧(例如，在多个阶段上)，使得每个捕获的帧包括反射110的图像的不同部分或片段。这些片段可以被累积(例如，在多个阶段上)和组合(例如，堆叠或拼接在一起)以再现反射110的全帧图像。因此，在结构光系统100的一些实施方式中，接收器108可包括滚动快门CMOS传感器。
在其他优点中，滚动快门CMOS传感器可以提供全局快门传感器的相对低成本的替代方案。更具体地，通过在多个阶段上以连续方式扫描光电二极管阵列，并且组合每次扫描的结果以重新创建反射110的全帧图像，本公开的各方面可以提供用于过滤不想要的干扰以免进入接收器108的相对鲁棒且有效的技术。
尽管在图1中示出了多个单独的组件，但是这些组件中的一个或多个组件可以一起实施或者包括另外的功能。结构光系统100也可能不需要所有描述的组件，或组件的功能可被分成单独的组件。因此，本公开不应限于示例结构光系统100。
图2是示例性深度探测系统200的框图。深度探测系统200可以是图1的结构光系统100的示例实施方式。因此，深度探测系统200可以被配置为使用结构光主动感测技术来测量深度。系统200包括耦接到发射器201和传感器阵列202的设备210。参考例如图1，发射器201可以是结构光系统100的发射器102的示例实施方式，并且传感器阵列202可以是结构光系统100的接收器108的示例实施方式。如上所述，发射器201和传感器阵列202可以被基线距离203分开。
设备210包括处理器204、存储器230和相机控制器220。设备210可以可选地包括(或耦接到)显示器214和多个输入/输出(I/O)组件216。设备210可包括未示出的附加特征或组件。例如，可以包括用于无线通信设备的无线接口，该无线接口可以包括多个收发器和基带处理器。设备210可以是其他结构光系统或用于深度探测系统200的不同配置的一部分(或耦接到其他结构光系统或用于深度探测系统200的不同配置)。例如，在一些实施方式中，设备210可包括或耦接到用于计算场景中的对象的距离及位置的附加接收器或传感器阵列(未示出)。本公开不应限于任何特定示例或说明，包括示例设备210。
处理器204可以是能够执行存储在存储器230内的一个或多个软件程序(诸如指令)的脚本或指令的一个或多个合适的处理器。在一些方面，处理器204可以是执行指令以使设备210执行任何数量的功能或操作的一个或多个通用处理器。在附加或可选方面，处理器204可包括集成电路或其他硬件以在不使用软件的情况下执行功能或操作。虽然在图2的示例中被示出为经由处理器204彼此耦接，但是处理器204、存储器230、相机控制器220、可选的显示器214和可选的I/O组件216可以以各种布置彼此耦接。例如，处理器204、存储器230、相机控制器220、可选的显示器214和/或可选的I/O组件216可以经由一个或多个本地总线(为简单起见未示出)彼此耦接。
显示器214可以是允许用户交互和/或呈现项目(诸如深度图或场景的预览图像)以供用户观看的任何合适的显示器或屏幕。在一些方面，显示器214可以是触敏(touch-sensitive)显示器。I/O组件216可以是或包括用于从用户接收输入(诸如命令)并向用户提供输出的任何合适的机制、接口或设备。例如，I/O组件216可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备210的可压缩边框或边界、位于设备210上的物理按钮等。显示器214和/或I/O组件216可以向用户提供场景的预览图像或深度图和/或接收用于调节设备210的一个或多个设置(诸如调节发射器201的发射强度、调节用于深度探测系统200的码字大小等)的用户输入。
发射器201和传感器阵列202可由相机控制器220和/或处理器204控制。例如，相机控制器220可以包括图像信号处理器(ISP)222、脉冲配置器224和扫描配置器226。ISP 222可以是用于处理由传感器阵列202接收和/或由发射器201发射的信息的一个或多个处理器。在一些方面，ISP 222可以执行来自存储器(诸如存储器230和/或耦接到ISP 222的单独的存储器)的指令。在一些其他方面，ISP 222可以包括用于操作的特定硬件。ISP 222可以可选地或附加地包括特定硬件和执行软件指令的能力的组合。
脉冲配置器224可以操作发射器201以发射的光的脉冲。在一些实施方式中，脉冲配置器224可以控制每个脉冲的强度(例如，亮度)和持续时间(例如，以保持低于眼睛安全限制)。更具体地，脉冲配置器224可以调节强度和/或持续时间以增加每个脉冲的信噪比(SNR)，同时确保总发射功率保持低于眼睛安全限制。
扫描配置器226可以操作传感器阵列202以接收发射光的反射。在一些实施方式中，扫描配置器226可以至少部分地基于由发射器201发射的光的脉冲的定时来控制传感器阵列202中的光电二极管的打开(和关闭)。因此，在一些方面，扫描配置器226可以与脉冲配置器224同步，以维持发射器201对脉冲的发射与传感器阵列202对反射的接收之间的时序关系。
在一些实施方式中，扫描配置器226可将传感器阵列202操作为滚动快门，使得以连续方式扫描或激活光电二极管的各个行。在一些方面，扫描配置器226可以控制扫描的速度和/或频率，以针对传感器阵列202的每个全扫描来改变脉冲的发射(例如，通过发射器201)与对应扫描的发起(例如，通过传感器阵列202)之间的定时偏移。更具体地，扫描配置器226可以将扫描与脉冲对准，使得由传感器阵列202捕获的每个连续帧包括反射的图像的不同部分或片段(如果有的话)。
存储器230可存储要用于识别由传感器阵列202接收的光反射中的码字的码字或光图案的库232。例如，码字库232可以存储要由发射器201发射的一个或多个码字图案。在一些方面，码字库232可以包括贯穿发射的各个位置的不同大小码字的多个可能图案。存储器230还可包括可存储至少以下软件(SW)模块的非暂时性计算机可读介质(一个或多个非易失性存储器元件，诸如EPROM、EEPROM、闪存、硬盘等)：
·深度图生成SW模块234，用于基于由传感器阵列202接收的反射生成深度图，深度图生成SW模块234包括：
o帧聚合子模块236，用于基于在映射间隔的多个阶段上由传感器阵列202接收的反射来获取或聚合多个帧；以及
o图像堆叠子模块238，用于例如通过将每一个帧的部分或片段堆叠或拼接在一起来将多个帧组合成对应于深度图的单个图像。
每个软件模块包括当由处理器204执行时使设备210执行对应功能的指令。
例如，处理器204可执行深度图生成SW模块234以基于由传感器阵列202接收的反射生成深度图。在执行深度图生成SW模块234时，处理器204可进一步执行帧聚合子模块236和图像堆叠子模块238。例如，处理器204可以执行帧聚合子模块236以基于在映射间隔的多个阶段上由传感器阵列202接收的反射来获取或聚合多个帧。处理器204还可执行图像堆叠子模块238，以例如通过将每一个帧的部分或片段堆叠或拼接在一起来将多个帧组合成对应于深度图的单个图像。
图3是描绘根据一些实施方式的用于深度探测的示例多阶段图像捕获操作300的时序图。参考例如图2，示例操作300可以由深度探测系统200执行，以生成可以用于在映射间隔310(例如，从时间t0到t8)的多个阶段上进行深度探测的图像。在图3的示例中，映射间隔310被细分成三个阶段或图像捕获(IC)间隔(例如，IC间隔316(1)-316(3))。然而，在实际实施方式中，映射间隔可以包括任何数量的阶段(例如，包括比图3中描绘的阶段更少或更多的阶段)。
在时间t0处，深度探测系统200发射包括可用于深度探测的空间图案或码字的第一光脉冲312(1)(例如，使用结构光深度探测技术)。例如，脉冲配置器224可以操作发射器201以发射来自码字库232的码字图案。在图3的示例中，第一光脉冲312(1)具有从时间t0到t1的脉冲持续时间。
此外，在时间t0处，深度探测系统200可以发起周围场景的第一扫描314(1)(例如，以检测来自发射光的反射)。例如，扫描配置器226可以操作传感器阵列202以捕获周围场景的帧。在一些实施方式中，扫描配置器226可例如通过以连续方式激活传感器阵列202的光电二极管的各个行而将传感器阵列202操作为滚动快门。因此，如图3中所示，可在一持续时间(例如，从时间t0到t2)内执行传感器阵列202的全部或完整扫描。
如图3所示，实对角线描绘了滚动快门针对光电二极管的每行被“打开”的时间(例如，其中沿着线的较高的点对应于传感器阵列202中的较高的行)，并且虚线对角线描绘了滚动快门针对光电二极管的对应行被“关闭”的时间。因此，实对角线和虚线对角线之间的持续时间(诸如时间t2和t3之间)表示光电二极管的每行的曝光时间。应注意，朝向传感器阵列202的顶部的光电二极管在比朝向传感器阵列202的底部的光电二极管更早的时间打开(和关闭)。
如图3所示，第一脉冲312(1)在第一扫描314(1)完成(例如，在时间t2)之前终止(例如，在时间t1)。因此，来自第一脉冲312(1)的反射的光可仅由传感器阵列202的光电二极管的子集捕获(例如，在第一IC间隔316(1)内)。更具体地，由于每个光电二极管的有限曝光时间，仅灰色区域318(1)内的光电二极管被曝光足够的时间以准确地捕获来自第一脉冲312(1)的反射。在图3的示例中，灰色区域318(1)包括传感器阵列202的上三分之一。换言之，传感器阵列202的上三分之一下方的光电二极管可能不会被及时激活(或曝光足够的时间)以捕获来自第一脉冲312(1)的反射。
在时间t2，深度探测系统200可以发起对周围场景的第二扫描314(2)。在图3的示例中，第二扫描314(2)具有从时间t2到t4的扫描持续时间。然后，在时间t3，深度探测系统200发射包括可用于深度探测的空间图案或码字的第二光的脉冲312(2)。在图3的示例中，第二光的脉冲312(2)具有从时间t3到t4的脉冲持续时间。
如图3所示，在第二扫描314(2)已经开始(例如，在时间t2)之后发起第二脉冲312(2)(例如，在时间t3)。因此，来自第二脉冲312(2)的反射的光可以仅由传感器阵列202的光电二极管的子集捕获(例如，在第二IC间隔316(2)内)。更具体地，由于每个光电二极管的有限曝光时间，仅灰色区域318(2)内的光电二极管被曝光足够的时间以准确地捕获来自第二脉冲312(2)的反射。在图3的示例中，灰色区域318(2)包括传感器阵列202的中间三分之一。换言之，传感器阵列202的中间三分之一上方和下方的光电二极管被激活得太早或太晚而不能捕获来自第二脉冲312(2)的反射。
在时间t4，深度探测系统200可以发起对周围场景的第三扫描314(3)。在图3的示例中，第三扫描314(3)具有从时间t4到t7的扫描持续时间。然后，在时间t6，深度探测系统200发射包括可用于深度探测的空间图案或码字的第三光的脉冲312(3)。在图3的示例中，第三光的脉冲312(3)具有从时间t6到t8的脉冲持续时间。
如图3所示，在第三扫描314(3)已经开始(例如，在时间t4)之后就开始第三脉冲312(3)(例如，在时间t6处)。因此，来自第三脉冲312(3)的反射的光可以仅由传感器阵列202的光电二极管的子集捕获(例如，在第三IC间隔316(3)内)。更具体地，由于每个光电二极管的有限曝光时间，仅灰色区域318(3)内的光电二极管被曝光足够的时间以准确地捕获来自第三脉冲312(3)的反射。在图3的示例中，灰色区域318(3)包括传感器阵列202的下三分之一。换言之，传感器阵列202的下三分之一上方的光电二极管被激活得太早而不能捕获来自第三脉冲312(3)的反射。
应注意，在映射间隔310结束时(例如，在时间t8)，深度探测系统200将已经跨传感器阵列202中的所有光电二极管捕获了周围场景的部分。例如，深度探测系统200已经捕获了作为第一扫描314(1)的结果而生成的帧中的场景的第一部分(例如，上三分之一)、作为第二扫描314(2)的结果而生成的帧中的场景的第二部分(例如，中间三分之一)以及作为第三扫描314(3)的结果而生成的帧中的场景的第三部分(例如，下三分之一)。因此，在一些实施方式中，深度探测系统200可以组合每个帧的部分以再现来自周围场景的反射的全帧图像。例如，深度探测系统200可以将在第一IC间隔316(1)期间获取的图像数据与在第二IC间隔316(2)期间获取的图像数据和在第三IC间隔316(3)期间获取的图像数据组合，以产生周围场景的完整深度图。
在时间t9，深度探测系统200发射包括可用于深度探测的空间图案或码字的另一光的脉冲322。在一些实施方式中，光脉冲322可以与后续映射间隔的开始(例如，在时间t9开始)重合。在图3的示例中，光脉冲322具有从时间t9到t10的脉冲持续时间。此外，在时间t9，深度探测系统200可以发起对周围场景的另一扫描324。在图3的示例中，扫描324具有从时间t9到t11的扫描持续时间。因此，来自脉冲322的反射的光可仅由传感器阵列202的光电二极管的子集捕获(例如，在对应IC间隔326内)。如图3所示，仅灰色区域328内的那些光电二极管(例如，包括传感器阵列202的上三分之一)被曝光足够的时间以准确地捕获来自脉冲322的反射。
应注意，IC间隔326基本上类似于映射间隔310的IC间隔316(1)。更具体地，扫描324与脉冲322的对准基本上类似于第一扫描314(1)与第一脉冲312(1)的对准。因此，可以从时间t9开始重复上述图像捕获操作300(例如，从时间t0到t8)，以生成可以用于深度探测的另一图像。在一些实施方式中，深度探测系统200可以在连续的映射间隔之间执行附加扫描(例如，从时间t7到t9)以维持扫描的周期性(例如，如图3所示)。然而，在其他实施方式中，深度探测系统200可以在映射间隔之间停止扫描(例如，使得扫描的数量等于任何持续时间内的脉冲数量)。
图4A-4C示出了可以在多阶段图像捕获操作的相应阶段期间获取的示例帧400A-400C。参考例如图3，可以在映射间隔310的相应阶段期间由深度探测系统200捕获示例帧400A-400C(例如，分别响应于扫描314(1)-314(3))。
图4A示出了作为第一扫描314(1)的结果，从时间t0到t3可以由深度探测系统200获取的第一帧400A。如上所述，深度探测系统200可以从最顶部行(例如，在时间t0处)到最底部行(例如，在时间t3处)连续地(例如，逐行)扫描传感器阵列202。然而，因为第一脉冲312(1)仅在第一IC间隔316(1)的持续时间(例如，从时间t0到t1)内被发射，所以仅传感器阵列202的上三分之一中的光电二极管能够捕获来自第一脉冲312(1)的反射的光。因此，如图4A中所示，第一帧400A可仅包括来自第一脉冲312(1)的反射的图像的一部分(例如，与第一IC间隔316(1)重合)。
图4B示出了作为第二扫描314(2)的结果，从时间t2到t5可以由深度探测系统200获取的第二帧400B。如上所述，深度探测系统200可以从最顶部行(例如，在时间t2处)到最底部行(例如，在时间t5处)连续地(例如，逐行)扫描传感器阵列202。然而，因为第二脉冲312(2)仅在第二IC间隔316(2)的持续时间(例如，从时间t3到t4)内被发射，所以仅传感器阵列202的中间三分之一中的光电二极管能够捕获来自第二脉冲312(2)的反射光。因此，如图4B所示，第二帧400B可以仅包括来自第二脉冲312(2)的反射的图像的一部分(例如，与第二IC间隔316(2)重合)。
图4C示出了作为第三扫描314(3)的结果，从时间t4到t8可以由深度探测系统200获取的第二帧400C。如上所述，深度探测系统200可以从最顶部行(例如，在时间t4处)到最底部行(例如，在时间t8处)连续地(例如，逐行)扫描传感器阵列202。然而，因为第三脉冲312(3)仅在第三IC间隔316(3)的持续时间(例如，从时间t6到t8)内被发射，所以仅传感器阵列202的下三分之一中的光电二极管能够捕获来自第三脉冲312(3)的反射的光。因此，如图4C所示，第三帧400C可以仅包括来自第三脉冲312(3)的反射的图像的一部分(例如，与第三IC间隔316(3)重合)。
图5示出了可以通过组合图4A-4C的帧而产生的示例图像500。更具体地，可以通过组合或堆叠帧400A-400C中的每一个帧的不同部分来生成图像500。例如，图像500的上部可以从第一帧400A的上部(例如，在第一IC间隔316(1)期间获取的)获得，图像500的中间部分可以从第二帧400B的中间部分(例如，在第二IC间隔316(2)期间获取的)获得，并且图像500的下部可以从第三帧400C的下部(例如，在第三IC间隔316(3)期间获取的)获得。
在一些实施方式中，图像500可用作用于确定周围场景中的对象的深度的深度图。例如，图像500可包括发射的码字图案从各种深度处的场景的各种对象或部分的反射。基于基线(例如，发射器与接收器之间的间隔)、反射的码字图案的显示和变形、以及反射的强度，深度探测系统(诸如图2的深度探测系统200)可使用图像500来确定周围场景中的一个或多个对象的深度和位置。例如，投影的码字图案中的发射光点的位置和距离以及由图像500捕获的反射中的光点的对应位置和距离可用于确定场景中的对象的深度和位置。
图6是描绘根据一些实施方式的示例深度探测操作600的示意性流程图。操作600可以由任何合适的设备执行，诸如图1的结构光系统100和/或图2的深度探测系统200。参考例如图2，示例操作600可以由深度探测系统200执行以生成可以用于深度探测的图像(诸如深度图)。
深度探测系统200可以以空间图案发射光脉冲(602)。例如，脉冲配置器224可以操作发射器201以发射来自码字库232的码字图案。在一些实施方式中，脉冲配置器224可以控制每个脉冲的强度(例如，亮度)和持续时间。更具体地，脉冲配置器224可以调节强度和/或持续时间以增加每个脉冲的信噪比(SNR)，同时确保总发射功率保持低于眼睛安全限制。
深度探测系统200还可以经由传感器阵列接收发射光的反射(604)。例如，扫描配置器226可以操作传感器阵列202以捕获周围场景的帧。在一些实施方式中，扫描配置器226可例如通过以连续方式激活传感器阵列202的光电二极管的各个行而将传感器阵列202操作为滚动快门。
深度探测系统200可以基于反射的光捕获多个帧(606)。在一些实施方式中，扫描配置器226可以将扫描与脉冲对准，使得由传感器阵列202捕获的每个连续帧包括反射的图像的不同部分或片段(如果有的话)。此外，处理器204可以执行帧聚合子模块236以基于在映射间隔的多个阶段上由传感器阵列202接收的反射来获取或聚合多个帧。参考例如图4A-4C，由深度探测系统200获取的帧400A-400C中的每一个帧可以包括对应脉冲的反射的光的不同部分。
深度探测系统还可以通过组合多个帧来生成图像(608)。例如，处理器204可执行图像堆叠子模块238以例如通过将每一个帧的部分或片段堆叠或拼接在一起来将多个帧组合成对应于深度图的单个图像。如图5所示，可以通过组合或堆叠帧400A至400C中的每一个帧的不同部分(诸如第一帧400A的上部、第二帧400B的中间部分和第三帧400C的下部)来生成图像500。在一些实施方式中，所得图像可用作用于确定周围场景中的对象的深度的深度图。
除非特别描述为以特定方式实施，否则本文中描述的技术可以以硬件、软件、固件或其任何组合实施。描述为模块或组件的任何特征也可一起实施于集成逻辑设备中或单独实施为离散但可互操作的逻辑设备。如果以软件实施，那么所述技术可至少部分地由包括指令208的非暂时性处理器可读存储介质(诸如图2的示例设备210中的存储器206)实现，所述指令208在由处理器204(或相机控制器220或ISP 212)执行时使设备210执行以上描述的方法中的一个或多个。非暂时性处理器可读数据存储介质可形成计算机程序产品的部分，所述计算机程序产品可包括封装材料。
非暂时性处理器可读存储介质可包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、其他已知存储介质等。附加地或可选地，这些技术可至少部分地由处理器可读通信介质来实现，该处理器可读通信介质携带或传达指令或数据结构形式的并且可由计算机或其他处理器访问、读取和/或执行的代码。
结合本文中公开的实施例描述的各种示意性逻辑块、模块、电路和指令可由一个或多个处理器(诸如图2的示例设备210中的处理器204或ISP 212)执行。这样的(多个)处理器可包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIC)、现场可编程门阵列(FPGA)、或其它等效集成或离散逻辑电路。如本文中所使用的术语“处理器”可指前述结构中的任何一个或适合于实施本文中描述的技术的任何其它结构。另外，在一些方面，本文中描述的功能可在如本文中描述的配置的专用软件模块或硬件模块内提供。此外，所述技术可完全实施于一个或多个电路或逻辑元件中。通用处理器可以是微处理器，但是在可选方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实施为计算设备的组合(例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器、或者任何其它这样的配置)。
虽然本公开示出了示意性方面，但是应当注意，在不脱离所附权利要求的范围的情况下，可以在本文中进行各种改变和修改。例如，虽然将结构光系统描述为使用激光，但可使用其它频率的信号，诸如微波、红外线、紫外线及可见光。此外，除非另有明确说明，否则根据本文描述的各方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行。例如，如果由设备200、相机控制器220、处理器204和/或ISP 222执行，则图6的描述的示例操作的步骤可以以任何顺序和任何频率执行。此外，尽管可以单数形式描述或主张元件，但除非明确陈述限于单数形式，否则复数形式是预期的。因此，本公开不限于示出的示例，并且用于执行本文描述的功能的任何部件都包括在本公开的各方面中。

Claims (30)

1.一种方法，包括：
基于发射的光的脉冲捕获多个帧，其中，当所述脉冲中的相应一个被发射时，通过扫描传感器阵列来捕获所述帧中的每一个；以及
通过组合所述多个帧来生成描绘所述发射光的反射的图像，其中，所述帧中的每一个提供所述图像的不同部分。
2.根据权利要求1所述的方法，还包括：
以空间图案发射所述光的脉冲；以及
经由所述传感器阵列接收所述发射光的反射。
3.根据权利要求1所述的方法，其中，所述传感器阵列包括互补金属氧化物半导体(CMOS)传感器设备。
4.根据权利要求1所述的方法，其中，所述传感器阵列包括滚动快门传感器设备。
5.根据权利要求1所述的方法，其中，所述扫描包括：
基于每个脉冲的发射，连续地激活所述传感器阵列的各个行。
6.根据权利要求5所述的方法，其中，在所述传感器阵列的每次扫描期间，所述行的子集捕获来自对应脉冲的反射光，并且所述行中的至少一些行不捕获来自所述对应脉冲的任何反射光。
7.根据权利要求6所述的方法，其中，所述行的不同子集捕获用于所述多个帧中的每一个帧的反射光。
8.根据权利要求1所述的方法，其中，所述传感器阵列的每次扫描的持续时间大于每个脉冲的持续时间。
9.根据权利要求1所述的方法，其中，对于所述帧中的每一个，所述脉冲的发射与所述传感器阵列的对应扫描之间的延迟是不同的。
10.根据权利要求1所述的方法，还包括：
至少部分地基于在所述图像中反射的空间图案来确定深度图。
11.一种深度探测系统，包括：
一个或多个处理器；以及
存储器，所述存储器耦接到所述一个或多个处理器并且包括指令，所述指令在由所述一个或多个处理器执行时使所述系统：
基于发射的光的脉冲捕获多个帧，其中，当所述脉冲中的相应一个被发射时，通过扫描传感器阵列来捕获所述帧中的每一个；以及
通过组合所述多个帧来生成描绘所述发射光的反射的图像，其中，所述帧中的每一个提供所述图像的不同部分。
12.根据权利要求11所述的系统，还包括：
发射器，用于以空间图案发射所述光的脉冲；以及
所述传感器阵列，用于接收所述发射光的反射。
13.根据权利要求11所述的系统，其中，所述传感器阵列包括互补金属氧化物半导体(CMOS)传感器设备。
14.根据权利要求11所述的系统，其中，所述传感器阵列包括滚动快门传感器设备。
15.根据权利要求11所述的系统，其中，用于扫描所述传感器阵列的所述指令的执行使所述系统：
基于每个脉冲的发射，连续地激活所述传感器阵列的各个行。
16.根据权利要求15所述的系统，其中，在所述传感器阵列的每次扫描期间，所述行的子集捕获来自对应脉冲的反射光，并且所述行中的至少一些行不捕获来自所述对应脉冲的任何反射光。
17.根据权利要求16所述的系统，其中，所述行的不同子集捕获所述帧中的每一个的反射光。
18.根据权利要求11所述的系统，其中，所述传感器阵列的每次扫描的持续时间大于每个脉冲的持续时间。
19.根据权利要求11所述的系统，其中，对于所述帧中的每一个，所述脉冲的发射与所述传感器阵列的对应扫描之间的延迟是不同的。
20.根据权利要求11所述的系统，其中，所述指令的执行还使所述系统：
至少部分地基于在所述图像中反射的空间图案来确定深度图。
21.一种非暂时性计算机可读介质，其存储包含指令的一个或多个程序，所述指令在由深度探测系统的一个或多个处理器执行时使所述系统：
基于发射的光的脉冲捕获多个帧，其中，当所述脉冲中的相应一个被发射时，通过扫描传感器阵列来捕获所述帧中的每一个；以及
通过组合所述多个帧来生成描绘所述发射光的反射的图像，其中，所述帧中的每一个提供所述图像的不同部分。
22.根据权利要求21所述的非暂时性计算机可读介质，其中，所述指令的执行还使所述系统：
以空间图案发射所述光的脉冲；以及
经由所述传感器阵列接收所述发射光的反射。
23.根据权利要求21所述的非暂时性计算机可读介质，其中，所述传感器阵列包括互补金属氧化物半导体(CMOS)传感器设备。
24.根据权利要求21所述的非暂时性计算机可读介质，其中，所述传感器阵列包括滚动快门传感器设备。
25.根据权利要求21所述的非暂时性计算机可读介质，其中，用于扫描所述传感器阵列的所述指令的执行使所述系统：
基于每个脉冲的发射，连续地激活所述传感器阵列的各个行，其中，在所述传感器阵列的每次扫描期间，所述行的子集捕获来自对应脉冲的反射光，并且所述行中的至少一些行不捕获来自所述对应脉冲的任何反射光，并且其中所述行的不同子集捕获所述帧中的每一个的反射光。
26.根据权利要求21所述的非暂时性计算机可读介质，其中，所述传感器阵列的每次扫描的持续时间大于每个脉冲的持续时间。
27.根据权利要求21所述的非暂时性计算机可读介质，其中，对于所述帧中的每一个，所述脉冲的发射与所述传感器阵列的对应扫描之间的延迟是不同的。
28.根据权利要求21所述的非暂时性计算机可读介质，其中，所述指令的执行还使所述系统：
至少部分地基于在所述图像中反射的空间图案来确定深度图。
29.一种深度探测系统，包括：
用于基于发射的光的脉冲来捕获多个帧的部件，其中，当所述脉冲中的相应一个被发射时，通过扫描传感器阵列来捕获所述帧中的每一个；以及
用于通过组合所述多个帧来生成描绘所述发射光的反射的图像的部件，其中，所述帧中的每一个提供所述图像的不同部分。
30.根据权利要求29所述的深度探测系统，其中，所述扫描包括：
基于每个脉冲的发射，连续地激活所述传感器阵列的各个行，其中，在所述传感器阵列的每次扫描期间，所述行的子集捕获来自对应脉冲的反射光，并且所述行中的至少一些行不捕获来自所述对应脉冲的任何反射光，并且其中所述行的不同子集捕获所述帧中的每一个的反射光。
CN201980061770.8A 2018-09-26 2019-08-09 多阶段有源光深度系统 Active CN112739980B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/143,070 2018-09-26
US16/143,070 US10732285B2 (en) 2018-09-26 2018-09-26 Multi-phase active light depth system
PCT/US2019/045878 WO2020068282A1 (en) 2018-09-26 2019-08-09 Multi-phase active light depth system

Publications (2)

Publication Number Publication Date
CN112739980A true CN112739980A (zh) 2021-04-30
CN112739980B CN112739980B (zh) 2022-04-26

Family

ID=67777410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061770.8A Active CN112739980B (zh) 2018-09-26 2019-08-09 多阶段有源光深度系统

Country Status (3)

Country Link
US (1) US10732285B2 (zh)
CN (1) CN112739980B (zh)
WO (1) WO2020068282A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
US11317031B2 (en) * 2020-03-30 2022-04-26 Amazon Technologies, Inc. High intensity pattern projection and general illumination using rolling shutter camera and a synchronized scanning laser
JP2022051408A (ja) * 2020-09-18 2022-03-31 キヤノン株式会社 光電変換装置、光電変換システム及び移動体
US11659296B2 (en) 2021-05-03 2023-05-23 Microsoft Technology Licensing, Llc Systems and methods for structured light depth computation using single photon avalanche diodes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900534A (zh) * 2009-05-27 2010-12-01 株式会社高永科技 三维形状测量设备和三维形状测量方法
US20150373322A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US20170180654A1 (en) * 2015-12-21 2017-06-22 Krishna Swaminathan System and method for enhanced signal to noise ratio performance of a depth camera system
US20180188020A1 (en) * 2015-06-30 2018-07-05 Panasonic Intellectual Property Management Co., Ltd. Real-time-measurement projection device and three-dimensional-projection measurement device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326230B1 (en) * 1999-01-06 2001-12-04 California Institute Of Technology High speed CMOS imager with motion artifact supression and anti-blooming
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US9119544B2 (en) * 2012-09-19 2015-09-01 Omnivision Technologies, Inc. Acquiring global shutter-type video images with CMOS pixel array by strobing light during vertical blanking period in otherwise dark environment
WO2014200589A2 (en) * 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9984519B2 (en) * 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US10721420B2 (en) 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US10708577B2 (en) * 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10033988B2 (en) 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900534A (zh) * 2009-05-27 2010-12-01 株式会社高永科技 三维形状测量设备和三维形状测量方法
US20150373322A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US20180188020A1 (en) * 2015-06-30 2018-07-05 Panasonic Intellectual Property Management Co., Ltd. Real-time-measurement projection device and three-dimensional-projection measurement device
US20170180654A1 (en) * 2015-12-21 2017-06-22 Krishna Swaminathan System and method for enhanced signal to noise ratio performance of a depth camera system

Also Published As

Publication number Publication date
CN112739980B (zh) 2022-04-26
WO2020068282A1 (en) 2020-04-02
US10732285B2 (en) 2020-08-04
US20200096640A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN112739980B (zh) 多阶段有源光深度系统
JP7191921B2 (ja) Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
US10419703B2 (en) Automatic multiple depth cameras synchronization using time sharing
US11187804B2 (en) Time of flight range finder for a structured light system
EP3367661B1 (en) Method and system for using light emissions by a depth-sensing camera to capture video images under low-light conditions
KR20220058947A (ko) 라이다 이미지의 처리
US11487009B2 (en) Image capture control device, image capture control method, and recording medium
CN112055820B (zh) 利用不同发射场的飞行时间测距
CN112585947B (zh) 用于有源深度感测的方法和设备及计算机可读介质
WO2020066236A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US10748019B2 (en) Image processing method and electronic apparatus for foreground image extraction
US20210258498A1 (en) Through-display time-of-flight (tof) sensor
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
KR102254564B1 (ko) 몸짓 인식을 위한 이미지 매트릭스를 생성하기 위한 모듈, 시스템 및 방법
EP4085272A1 (en) Alternating light distributions for active depth sensing
US10991112B2 (en) Multiple scale processing for received structured light
US20240127401A1 (en) Active depth sensing
US10809363B2 (en) Anti-interference ranging method and apparatus
CN114270220A (zh) 利用激光脉冲串突发和门控传感器的3d主动深度感测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant