CN114270220A - 利用激光脉冲串突发和门控传感器的3d主动深度感测 - Google Patents

利用激光脉冲串突发和门控传感器的3d主动深度感测 Download PDF

Info

Publication number
CN114270220A
CN114270220A CN202080058398.8A CN202080058398A CN114270220A CN 114270220 A CN114270220 A CN 114270220A CN 202080058398 A CN202080058398 A CN 202080058398A CN 114270220 A CN114270220 A CN 114270220A
Authority
CN
China
Prior art keywords
light
sequence
scene
laser
transmission portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058398.8A
Other languages
English (en)
Inventor
J·马
B-C·赫塞
S·R·戈马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN114270220A publication Critical patent/CN114270220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Abstract

本公开内容提供了用于对场景进行感测的系统、方法和装置。在一个方面中，设备可以使用两个或更多个时段的序列来对场景进行照明。每个时段可以包括在其期间将多个光脉冲发射到场景上的传输部分。每个时段可以包括与不存在发射光相对应的非传输部分。该设备可以在每个传输部分期间接收从场景反射的多个光脉冲。该设备可以在整个序列期间连续地累积指示所接收的光脉冲的光电电荷。该设备可以在序列结束之后，将所累积的光电电荷转移到读出电路。

Description

利用激光脉冲串突发和门控传感器的3D主动深度感测
要求优先权
本专利申请要求享有于2019年8月26日递交的、标题为“3D ACTIVE DEPTHSENSING WITH LASER PULSE TRAIN BURSTS AND A GATED SENSOR”、编号为16/550,938的美国非临时申请的优先权，所述申请转让给本申请的受让人并且在此通过引用的方式明确地并入本文中。
技术领域
概括而言，本公开内容涉及深度感测系统，以及具体而言，本公开内容涉及对主动深度系统利用其生成深度信息的速度和准确度进行改善。
背景技术
设备可以使用各种主动或被动深度感测技术来确定场景中的对象或表面的距离。被动深度感测系统基于从场景中的对象反射的环境光来确定到该对象的距离。主动深度感测系统通过将光的脉冲发射到场景中以及分析从场景中的对象反射的相应的的光脉冲，来确定到场景中的对象的距离。一些主动深度感测系统还可以通过将结构光(SL)图案投射到场景上以及分析从场景中的对象反射的SL图案的变化，来确定到场景中的对象的距离。主动深度感测系统典型地采用飞行时间(ToF)技术或SL技术。
一些主动深度感测系统使用垂直腔面发射激光器(VCSEL)的阵列，所述激光器各自通过衍射光学元件(DOE)来发射光点(或“圆点”)。DOE通常是具有周期性结构的光栅类型，以使从VCSEL发射的光衍射，以便在场景上形成2D阵列图案(或“圆点图案”)。然后，一些系统可以将2D阵列“缝合”以形成伪3D结构的光图案。与这样的缝合相关联的固有枕形畸变可能限制所得到的图像的分辨率。
为了消除这种畸变以及获得较高分辨率的图像，主动深度感测系统可以使用单个DFB激光器而不是VCSEL阵列，以通过编码的DOE(而不是光栅类型DOE)来发射单个光点(或“圆点”)。编码的DOE可以对单个光点进行整形和分割，以便将光的分布(或“圆点图案”)投射到场景上。在连续波或长脉冲(例如，毫秒的数量级)操作下，从一个DFB激光器发射的光可能具有与从VCSEL阵列发射的光相比较低的功率(以及因此不太明亮)，以及因此可能与VCSEL阵列相比更容易受到来自环境光(比如太阳光)的干扰影响。
发明内容
本公开内容的系统、方法和设备各自具有若干创新方面，其中没有单个方面单独地负责本文中公开的期望的属性。
在本公开内容中描述的主题的一个创新方面可以用作为对场景进行感测的方法。在一些实现方式中，方法可以包括：使用两个或更多个时段的序列来对场景进行照明，每个时段包括在其期间将多个光脉冲发射到场景上的传输部分，并且包括与不存在发射光相对应的非传输部分。方法还可以包括：在每个传输部分期间，接收从场景反射的多个光脉冲；以及在整个序列期间连续地累积指示所接收的光脉冲的光电电荷。方法还可以包括：在序列结束之后，将所累积的光电电荷转移到读出电路。
在本公开内容中描述的主题的另一创新方面可以在装置中实现。在一些实现方式中，装置可以包括存储器以及耦合到存储器的处理器。处理器可以被配置为：使用两个或更多个时段的序列来对场景进行照明，每个时段包括在其期间将多个光脉冲发射到场景上的传输部分，并且包括与不存在发射光相对应的非传输部分。处理器还被配置为：在每个传输部分期间接收从场景反射的多个光脉冲；以及在整个序列期间连续地累积指示所接收的光脉冲的光电电荷。处理器还可以被配置为：在序列结束之后，将所累积的光电电荷转移到读出电路。
在本公开内容中描述的主题的另一创新方面可以在设备中实现。设备可以包括：用于使用两个或更多个时段的序列来对场景进行照明的单元，每个时段包括在其期间将多个光脉冲发射到场景上的传输部分，并且包括与不存在发射光相对应的非传输部分。设备还可以包括：用于在每个传输部分期间接收从场景反射的多个光脉冲的单元；以及用于在整个序列期间连续地累积指示所接收的光脉冲的光电电荷的单元。设备还可以包括：用于在序列结束之后，将所累积的光电电荷转移到读出电路的单元。
在附图和以下说明书中阐述了在本公开内容中描述的主题的一种或多种实现方式的细节。根据描述、附图和权利要求，其它特征、方面和优势将变得显而易见。注意的是，以下附图的相对尺寸可能不是按比例绘制的。
附图说明
图1示出示例结构光(SL)系统的方块图。
图2示出可以在其中实现本公开内容的各方面的示例设备的方块图。
图3示出包括主动深度感测系统的示例设备。
图4示出描绘用于对场景进行感测的示例操作的时序图。
图5示出用于对场景进行感测的示例系统。
图6示出描绘用于控制主动深度感测系统的示例操作的时序图。
图7示出描绘用于对场景进行感测的示例操作的说明性流程图。
贯穿附图，相似的参考编号指的是相应的部分。
具体实施方式
出于描述本公开内容的创新方面的目的，下文说明书针对某些实现方式。然而，本领域普通技术人员将容易认识到的是，本文的教导可以以多种不同的方式来应用。本公开内容的各方面涉及投光器，以及包括3D主动深度感测系统，该系统以激光脉冲串突发来发射光以及在门控传感器处接收所发射的光的反射。
主动深度感测系统可以将光以点的预定义的分布(或聚焦光的另一种适当形状)发射到场景中，以及反射光可以由主动深度感测系统接收。场景中的对象的深度可以是通过比较所接收的光的分布和所发射的光的分布来确定的。在对分布进行比较时，可以在所接收的光中识别针对所发射的光的预定义的分布的一部分。在本公开内容中，对光的分布(例如，结构光(SL)，比如光点的分布、泛光和/或其它形状)进行投射的主动深度感测系统称为SL系统(利用SL投射器)。
光的较密集的分布(比如，与光的较稀疏的分布相比，在区域中的额外光点或聚焦光的更多实例)可以引起较高分辨率的深度图或可以确定的较大数量的深度。然而，与针对较稀疏的分布相比，针对较密集的分布的个体光点的强度较低，以及因此与光的较稀疏的分布相比，光的较密集的分布可能更容易受到来自环境光的干扰的影响。因此，较稀疏的分布可能更适合用于白天场景(具有较多干扰)，以及较密集的分布可能更适合用于室内或夜间场景(具有较少干扰)。
许多设备在不同类型的照明(具有不同数量的干扰)下使用SL系统。例如，智能电话可以包括用于面部识别的主动深度感测系统，以及智能电话可以在室内和室外使用。许多设备还包括泛光照明器。泛光照明器可以将漫射光投射到场景上，使得在场景中存在足够的光以供图像传感器捕获场景的一个或多个图像。在一个示例中，执行面部识别的设备(比如，智能电话)可以首先确定在场景中是否存在要辨识(和/或识别)的面部。在一些实现方式中，设备可以使用泛光照明来捕获二维(2D)图像，以及然后将2D图像与三维(3D)图像结合使用，以辨识(和/或识别)图像中的面部(如果有的话)。具体地，设备的投光器可以包括泛光照明器，以将IR光投射到场景上，以便IR传感器可以捕获场景，以及该设备可以根据捕获来确定在场景中是否存在面部。如果确定在场景中存在面部，则该设备可以接着使用主动深度感测系统(例如，经由一个或多个投光器)来进行面部识别和/或活性确认。在一些实现方式中，设备可以使用接近度传感器来确定在场景中是否存在面部。在一些方面中，设备的用户可以确定何时开启投光器。在一些其它方面中，设备可以被配置为自动地开启投射器。以这些方式，设备可以将(例如，经由泛光照明捕获的)2D图像与3D图像结合使用来增强该设备的性能。
如上文所讨论的，主动深度感测系统可以使用单个DFB激光器以通过编码的DOE来发射单个光点，这与VCSEL阵列相比，可以减少畸变以及获得较高分辨率的图像。然而，由于针对DFB激光器的损坏门限，所以在连续波或长脉冲(例如，毫秒的数量级)操作下，从DFB激光器发射的光可能具有与从VCSEL阵列发射的光相比要低的功率(以及因此不太明亮)，以及因此可能更容易受到环境光(例如，太阳光)影响。
本公开内容的各方面描述包括DFB激光器的设备，该DFB激光器被配置为输出相对短的光脉冲突发(“脉冲突发”)的序列，所述光脉冲突发均跟随有相对长的冷却时段，而不是以连续波长脉冲光来发射光。每个脉冲突发可以包括少量的短光脉冲。通过将该脉冲串突发和冷却周期重复足够的次数，本文中描述的设备可以使得单个DFB激光器能够以足够高的功率安全地操作，以利用与VCSEL的阵列相当的亮度来对场景进行照明。因此，可以减少针对设备的由环境光(即，噪声)导致的SNR降级。以此方式，本公开内容的各方面可以用于实现或以其它方式改进主动深度感测应用，比如但不限于：面部锁定、面部识别、面部建模、动画表情符号、用户化身、视频会议、3D建模(比如汽车3D建模)、用于增强现实(AR)的3D建模、手势识别、宏室成像以及其它适当的应用。作为一个非限制性示例，即使当用户和移动电话处于室外的明亮条件时，本公开内容的各方面也可以使得移动电话能够捕获该移动电话的用户的面部(例如，以使得用户能够进行移动支付)。
在下文说明书中，阐述了众多具体细节以提供对本公开内容的透彻理解，所述细节比如具体的组件、电路和过程的示例。如本文所使用的术语“耦合”意指直接地连接或者通过一个或多个介于中间的组件或电路来连接。另外，在下文说明书中以及出于解释的目的，阐述具体术语以提供对本公开内容的透彻理解。然而，对于本领域技术人员而言将显而易见的是，实践本文中公开的教导可能不要求这些具体细节。在其它实例中，以方块图形式示出众所周知的电路和设备，以避免模糊本公开内容的教导。随后的具体实施方式的一些部分是依据对在计算机存储器内的数据比特的运算的过程、逻辑块、进程和其它符号表示来给出的。在本公开内容中，过程、逻辑块、进程等被认为是引起期望的结果的步骤或指令的有条理的序列。步骤是要求对物理量的物理操纵的那些步骤。通常，尽管不是必要的，但是这些量采取能够在计算机系统中存储、传送、组合、比较和以其它方式操纵的电子或者磁信号的形式。
然而，应当记住的是，所有这些和类似术语将与适当的物理量相关联，以及仅仅是应用于这些量的方便标记。除非另外明确地声明(如根据下文的讨论显而易见的)，否则要理解的是，贯穿本申请，利用比如“存取”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“解决”等的术语的讨论指的是计算机系统或类似的电子计算设备的动作和进程，所述计算机系统或类似的电子计算设备将表示为在计算机系统的寄存器和存储器内的物理(电子)量的数据操纵以及转换为类似地表示为在计算机系统存储器或寄存器或者其它这样的信息存储、传输或显示设备内的物理量的其它数据。
在附图中，单个方块可以描述为执行一个或多个功能；然而，在实际实践中，由该方块执行的一个或多个功能可以在单个组件中执行或者跨越多个组件来执行，和/或可以使用硬件、使用软件或者使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，各种说明性的组件、方块、模块、电路和步骤依据其功能在下文进行概括描述。这种功能是实现为硬件还是软件，取决于特定的应用和施加在整个系统上的设计约束。熟练的技术人员可以针对每个特定的应用以变通的方式实现所描述的功能，但是这种实现方式决策不应当解释为导致背离本公开内容的范围。此外，示例设备可以包括除了那些所示组件之外的组件，包括众所周知的组件，比如处理器、存储器等。
本公开内容的各方面适用于包括或者耦合到一个或多个主动深度感测系统的任何适当的电子设备(比如安全系统、智能电话、平板设备、膝上型计算机、车辆、无人机、或其它设备)。虽然下文相对于具有或者耦合到一个投光器的设备来描述，但是本公开内容的各方面适用于具有任何数量的投光器的设备，以及因此不限于具体设备。
术语“设备”不限于一个或具体数量的物理对象(比如一个智能电话、一个控制器、一个处理系统等)。如本文中所使用的，设备可以是具有可以实现本公开内容的至少一些部分的一个或多个组成部分的任何电子设备。虽然下文说明书和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于对象的具体配置、类型或数量。另外，术语“系统”不限于多个组件或具体实现方式。例如，系统可以在一个或多个印刷电路板或其它基板上实现，以及可以具有可移动的或静止的组件。尽管下文说明书和示例使用术语“系统”来描述本公开内容的各个方面，但是术语“系统”不限于对象的具体配置、类型或数量。
图1示出示例SL系统100的方块图。SL系统可以以点的分布(或聚焦光的另一种适当的形状)来发射光。本文中出于讨论的目的，点的分布可以称为“图案”、“SL图案”、“圆点图案”等，以及该图案可以是预定义的或随机的。光点可以投射到场景上，以及光点的反射可以由SL系统接收。场景中的对象的深度可以通过比较所接收的光的图案和所发射的光的图案来确定。在比较图案时，用于所发射的光的预定义的分布的一部分可以是在所接收的光中识别的。SL系统可以使用SL投射器来投射光的分布(比如光点的分布或其它形状)。
SL系统100可以用于生成针对场景106的深度信息。例如，场景106可以包括面部，以及SL系统100可以用于识别或认证面部。SL系统100可以包括投射器102和接收器108。投射器102可以被称为“发送器”、“投射器”、“发射器”等等，以及不应当限于具体的发送组件。贯穿以下公开内容，术语发射器、投射器和发送器可以互换地使用。接收器108可以称为“探测器”、“传感器”、“感测元件”、“光电探测器”等等，以及不应当限于具体的接收组件。
虽然本公开内容将分布称为光分布，但是可以使用处于其它频率的任何适当的信号(比如，射频波、声波等)。进一步地，尽管本公开内容将分布称为包括多个光点，但是光可以聚焦成任何适当的尺寸和维度。例如，光可以以线条、正方形或任何其它适当的维度来投射。另外，本公开内容可以将分布称为码字分布，其中该分布的定义的部分(比如光点的预定义的斑点)称为码字。如果光点的分布是已知的，则该分布的码字可以是已知的。然而，分布可以是以任何方式来组织的，以及本公开内容不应当限于具体类型的分布或者具体类型的信号或脉冲。
投射器102可以被配置为将光点的分布104投射或发射到场景106上。分布104中的白色圆圈可以指示针对可能的点位置没有投射光的地方，以及分布104中的黑色圆圈可以指示针对可能的点位置投射光的地方。在一些示例实现方式中，投射器102可以包括一个或多个光源124(比如一个或多个激光器)、透镜126和光调制器128。投射器102还可以包括所发射的光从其逸出的光圈122。在一些实现方式中，投射器102可以进一步包括衍射光学元件(DOE)，以将来自一个或多个光源124的发射衍射为另外的发射。在一些方面中，光调制器128(用于调节发射的强度)可以包括DOE。在将光点的分布104投射到场景106上时，投射器102可以从光源124发射一个或多个激光，通过透镜126(和/或通过DOE或光调制器128)以及到达场景106上。投射器102可以位于在与接收器108相同的参考平面上，以及投射器102和接收器108可以分开一段距离，所述距离称为基线(112)。
在一些示例实现方式中，由投射器102投射的光可以是IR光。IR光可以包括可见光谱的部分和/或光谱中肉眼不可见的部分。在一个示例中，IR光可以包括近红外(NIR)光(其可以包括或者可以不包括在可见光谱内的光)和/或在可见光谱之外的IR光(比如远红外(FIR)光)。术语IR光不应当限于具有在IR光的波长范围内或在IR光的波长范围附近的特定波长的光。进一步地，IR光是作为来自投射器102的示例发射来提供的。在下文说明书中，可以使用其它适当波长的光。例如，在可见光谱的部分中在IR光波长范围之外的光或者紫外光。或者，可以使用具有不同波长的其它信号，比如微波、射频信号和其它适当的信号。
场景106可以包括在距SL系统(比如距投射器102和接收器108)的不同深度处的对象。例如，场景106中的对象106A和106B可以处于不同的深度。接收器108可以被配置为从场景106接收所发射的光点的分布104的反射110。为了接收反射110，接收器108可以捕获图像。当捕获图像时，接收器108可以接收反射110、以及(i)光点的分布104从场景106的在不同深度处的其它部分的其它反射，以及(ii)环境光。在所捕获的图像中还可能存在噪声。
在一些示例实现方式中，接收器108可以包括透镜130，以将所接收的光(包括来自对象106A和106B的反射110)聚焦或引导至接收器108的传感器132上。接收器108还可以包括光圈120。假设仅接收到反射110的示例，对象106A和106B的深度可以是基于基线112、在反射110中的光分布104(比如码字)的位移和畸变、以及反射110的强度来确定的。例如，沿着传感器132从位置116到中心114的距离134可以用于确定对象106B在场景106中的深度。类似地，沿着传感器132从位置118到中心114的距离136可以用于确定对象106A在场景106中的深度。沿着传感器132的距离可以是依据传感器132的像素的数量或距离(比如毫米)来测量的。
在一些示例实现方式中，传感器132可以包括用于捕获图像的光电二极管(比如雪崩光电二极管)的阵列。为了捕获图像，该阵列中的每个光电二极管可以捕获击中光电二极管的光，以及可以提供指示光的强度的值(捕获值)。因此，图像可以是由光电二极管的阵列提供的捕获值。
另外或替代地，传感器132可以包括互补金属氧化物半导体(CMOS)传感器。为了通过光敏CMOS传感器来捕获图像，该传感器的每个像素可以捕获击中该像素的光，以及可以提供指示光的强度的值。在一些示例实现方式中，光电二极管的阵列可以耦合到CMOS传感器。以这种方式，由光电二极管的阵列生成的电脉冲可以触发CMOS传感器的相应的像素以提供捕获值。
传感器132可以至少包括至少一数量的像素，所述数量等于在分布104中的可能的光点的数量。例如，光电二极管的阵列或CMOS传感器可以分别包括一数量的光电二极管或一数量的像素，所述数量对应于在分布104中的可能的光点的数量。传感器132在逻辑上可以划分为与码字的小块(bit)的大小相对应的像素或光电二极管的组(比如，4x4组)。像素或光电二极管的组还可以称为小块，以及从传感器132的小块捕获的图像中的部分也可以称为小块。在一些示例实现方式中，传感器132可以包括与分布104相同数量的小块。
如果光源124发射IR光(比如在波长为例如940nm的NIR光)，则传感器132可以是IR传感器，以接收NIR光的反射。传感器132还可以被配置为使用泛光照明器(为了简单起见未示出)来捕获图像。如所示出的，距离134(对应于来自对象106B的反射110)小于距离136(对应于来自对象106A的反射110)。使用基于基线112以及距离134和距离136的三角测量，对象106A和106B在场景106中的不同的深度可以是在生成针对场景106的深度信息时确定的。确定深度可以进一步包括确定分布104在反射110中的位移或畸变。
尽管在图1中示出多个单独的组件，但是这些组件中的一个或多个组件可以是一起实现的或者包括额外的功能。对于SL系统100而言可能并不要求所有描述的组件，或者组件的功能可以分为单独的组件。也可能存在未示出的额外的组件。例如，接收器108可以包括带通滤波器，以允许具有确定的波长范围的信号传递到传感器132上(从而过滤掉具有在该范围之外的波长的信号)。以这种方式，可以防止一些偶然的信号(比如环境光)干扰由传感器132进行的捕获。带通滤波器的范围可以以针对投射器102的传输波长为中心。例如，如果投射器102被配置为发射具有940nm的波长的NIR光，则接收器108可以包括被配置为允许具有在例如920nm至960nm的范围内的波长的NIR光的带通滤波器。因此，关于图1描述的示例是出于说明性的目的，以及本公开内容不应当限于示例SL系统100。
对于投光器(比如投光器102)，光源可以是任何适当的光源。在一些示例实现方式中，光源124可以包括一个或多个分布式反馈(DFB)激光器。在一些其它示例实现方式中，光源124可以包括一个或多个垂直腔面发射激光器(VCSEL)。
DOE是位于来自光源的光的投射路径中的材料。DOE可以被配置为将光点分成多个光点。例如，DOE的材料可以是具有已知折射率的半透明的或透明的聚合物。DOE的表面可以包括峰和谷(改变DOE的深度)，以使得当光穿过DOE时，光点分成多个光点。例如，DOE可以被配置为从一个或多个激光器接收一个或多个光点，以及对具有与由一个或多个激光器发射的光点相比较大数量的光点的预期分布进行投射。虽然附图可以示出DOE的深度仅沿着DOE的一个轴线变化，但是附图仅用于辅助描述本公开内容的各方面。DOE的表面的峰和谷可以位于DOE的表面的任何部分处，以及引起DOE的各部分的深度的任何适当的变化，以及本公开内容不应当限于针对DOE的特定表面配置。
如果光源124包括激光器的阵列(比如VCSEL阵列)，则光点的分布的一部分可以由该阵列来投射。DOE可以用于在投射光点的分布时复制该部分。例如，DOE可以将来自该阵列的投射分成多个实例，以及该投射的图案可以是来自阵列的投射的重复。在一些示例实现方式中，DOE可以被配置为相对于投射垂直地、水平地或者以在垂直与水平之间的角度来重复投射。所重复的实例可以是重叠的、非重叠的或者任何适当的配置。虽然示例描述了被配置为拆分来自阵列的投射以及将实例彼此上下堆叠的DOE，但是本公开内容不应当限于特定类型的DOE配置和投射的重复。
图2示出在其内可以实现本公开内容的各方面的示例设备200的方块图。设备200可以包括或者耦合到发射器201、传感器202、处理器204、用于存储指令208的存储器206、以及主动深度控制器210(其可以包括一个或多个信号处理器212)。发射器201可以包括或者耦合到衍射光学元件(DOE)205，以及可以包括或者耦合到漫射器207。在一些实现方式中，发射器201可以包括多个投射器。另外或在替代方式中，主动深度感测系统可以包括与发射器201分开的泛光照明器组件。本文中出于讨论的目的，设备200可以称为“SL系统”或“主动深度感测系统”。本文中进一步出于讨论的目的，“主动深度感测系统”反而可以仅指的是设备200的一个或多个组件，比如主动深度控制器210、发射器201、传感器202、处理器204和/或任何其它合适的组件。
在一些实现方式中，发射器201可以是用于将光脉冲发射到场景上的分布式反馈(DFB)激光器。DOE 205可以使得发射器201能够发射光的分布，比如已知的DOE圆点图案、码字DOE投射、随机圆点投射或分布等。漫射器207可以将设备200在一种或多种操作模式之间转换。例如，在传输模式下，可以接通漫射器207以允许发射器201将光脉冲发射到场景中，以及在非传输模式下，可以关掉漫射器207以防止发射器201将光脉冲发射到场景中。
在一些实现方式中，传感器202可以是被配置为接收从场景反射的光脉冲的门控全局快门(GS)传感器。在一些方面中，传感器202可以是复合CMOS图像传感器。在一些方面中，传感器202可以基于例如具有时分多路复用读取(TDMR)能力的单片像素阵列架构。
在一些实现方式中，主动深度控制器210可以是用于计算深度信息的计算元件。在一些方面中，主动深度控制器210可以被配置为控制(或者以其它方式操作)发射器201和传感器202中的一者或两者。在一些方面中，主动深度控制器210可以由设备200的一个或多个其它组件(比如处理器204和/或存储器206)来控制、与其相结合地工作，或者以其它方式由其操作。
设备200可以可选地包括或者耦合到显示器214和多个输入/输出(I/O)组件216。传感器202可以是或者可以以其它方式耦合到相机，比如，单相机、双相机模块、或者具有任何数量的其它相机传感器的模块(为了简单起见未示出)。信号处理器212可以被配置为处理来自传感器202的捕获。设备200可以进一步包括耦合到处理器204的一个或多个可选传感器220(比如陀螺仪、磁力计、惯性传感器、NIR传感器等)。设备200还可以包括电源218，所述电源218可以耦合到设备200或者整合到设备200中。设备200可以包括未示出的额外的特征或组件。
存储器206可以是存储用于执行在本公开内容中描述的一个或多个操作的全部或部分操作的计算机可执行指令208的非瞬态或非暂时性计算机可读介质。处理器204可以是能够执行存储在存储器206内的一个或多个软件程序的脚本或指令(比如指令208)的一个或多个适当的处理器。在一些方面中，处理器204可以是一个或多个通用处理器，所述通用处理器执行指令208以使得设备200执行任何数量的功能或操作。在额外或替代的方面中，处理器204可以包括集成电路或其它硬件以在不使用软件的情况下执行功能或操作。虽然在图2的示例中示为经由处理器204互相耦合，但是处理器204、存储器206、主动深度控制器210、可选显示器214、可选I/O组件216和可选传感器220可以以各种布置互相耦合。例如，处理器204、存储器206、主动深度控制器210、可选显示器214、可选I/O组件216和/或可选传感器220可以经由一个或多个本地总线互相耦合(为了简单起见未示出)。
显示器214可以是考虑到用户交互和/或呈现用于由用户观看的项目(比如场景的深度信息或预览图像)的任何适当的显示器或屏幕。在一些方面中，显示器214可以是触敏显示器。I/O组件216可以是或者包括用于从用户接收输入(比如命令)以及向用户提供输出的任何适当的机制、接口或设备。例如，I/O组件216可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备200的可压缩外框(bezel)或边框、位于设备200上的物理按钮等。显示器214和/或I/O组件216可以向用户提供针对场景的预览图像或深度信息，和/或接收用于调整设备200的一个或多个设置(比如，调整由发射器201进行的发射的强度，确定或切换设备200的一种或多种操作模式，调整发射器201的发射场等)的用户输入。
主动深度控制器210还可以包括或者可以以其它方式耦合到信号处理器212，所述信号处理器212可以是一个或多个处理器以处理来自传感器202的捕获。主动深度控制器210可以替代地或另外包括特定硬件和执行软件指令的能力的组合。
发射器201可以针对不同的操作模式来改变其发射场。在一些示例实现方式中，发射器201可以包括用于调整发射/传输场的大小的调焦装置。在一个示例中，附接到致动器(比如微电子机械系统(MEMS)致动器)的反射镜可以调整来自发射器201的光发射的焦点。在另一示例中，可调整的全息光学元件(HOE)可以调整来自发射器201的光发射的焦点。在进一步的示例中，可成形衍射光学元件(DOE)(比如用于调整形状的压电材料)可以被调整为将衍射的所发射的光点聚焦。
图3示出包括主动深度感测投光器的示例设备300。在一些实现方式中，设备300可以是图2的设备200的一个示例。设备300可以进一步包括IR传感器306，以基于从主动深度感测投光器302或泛光照明器304发射的光的反射(其中，主动深度感测投光器302和照明器304投射IR光)来捕获图像。在一些示例实现方式中，主动深度感测投光器302可以包括用于将光脉冲发射到场景上的一个或多个DFB。在一些示例实现方式中，IR传感器306可以是用于接收从场景反射的光脉冲的门控全局快门(GS)传感器。主动深度感测投光器302和IR传感器306可以分开达基线308。
示例设备300可以是智能电话，具有用于进行电话呼叫或其它无线通信的耳机310和麦克风312。智能电话还可以包括具有凹口或不具有凹口的显示器314，该凹口包括主动深度感测投光器302、照明器304和IR传感器306。泛光照明器304可以将漫射IR光投射到场景上，以供IR传感器306基于漫射IR光的反射来捕获图像。
图4示出描绘用于对场景进行感测的示例操作的时序图400。示例操作可以由设备(为了简单起见未示出)来执行，所述设备比如图3的设备300、图2的设备200或任何适当的设备。在一些实现方式中，设备可以是移动电话。
在时间t0处，设备可以开始帧曝光401。在帧曝光401期间，设备可以使用两个或更多个时段的序列来对场景进行照明。作为非限制性示例，示出在时间t0处开始以及在时间t2处结束的第一时段，以及示出在时间t2处开始以及在时间t4处结束的第二时段。两个或更多个时段中的每个时段可以包括传输部分和非传输部分。本文中为了讨论的目的，每个传输部分可以称为“脉冲突发”，以及每个非传输部分可以称为“冷却时段”。
在序列的每个传输部分期间，比如从时间t2到时间t3，设备可以将多个光脉冲发射到场景上。光脉冲中的每个光脉冲可以具有持续时间，该持续时间示出为时间差tB-tA。在一些实现方式中，设备可以包括用于发射多个光脉冲的一个或多个激光器(比如图3的投光器302)。在一些方面中，激光器中的一个或多个激光器可以是单模DFB激光器，以及多个发射的光脉冲中的每个光脉冲可以是由单模DFB激光器生成的。该设备还可以在传输部分中的每个传输部分期间启用一个或多个传感器，比如图3的IR传感器306。一个或多个传感器可以在传输部分中的每个传输部分期间接收从场景反射的多个光脉冲。在一些示例实现方式中，所接收的光脉冲可以是从设备的用户的面部反射的。在一些方面中，设备可以基于所接收的光脉冲来识别或认证用户的面部。
序列包括在脉冲突发之间的多个非传输部分。作为非限制性示例，示出从时间t1到时间t2的第一非传输部分。非传输部分中的每个非传输部分可以对应于例如不存在发射的光(使得激光器不发射光脉冲)，使得激光器的工作温度可以在脉冲突发之间降低。该设备可以例如通过禁用一个或多个传感器，来防止或禁用在每个非传输部分期间的光电电荷的累积。以这种方式，该设备可以防止一个或多个传感器在非传输部分期间接收环境光(这可能使SNR降级)。
在一些实现方式中，一个或多个激光器可以以选择的发射功率电平来发射光脉冲中的每个光脉冲，所述选择的发射功率电平超过针对激光器的连续操作或长脉冲操作的最大指定功率电平。随着一个或多个激光器在传输部分期间发射光脉冲，一个或多个激光器的温度可能接近或超过在其上一个或多个激光器可能遭受物理损坏的指定温度值。可以选择非传输部分中的每个非传输部分的持续时间，以防止对一个或多个激光器的损坏，比如通过允许一个或多个激光器的工作温度降低到低于指定温度值的水平，来防止一个或多个激光器的工作温度在传输部分的相应的一个传输部分期间大于指定温度值。以这种方式，序列的非传输部分中的每个非传输部分可以为序列的先前传输部分提供冷却时段。在一些方面中，序列的每个非传输部分的持续时间可以比序列的每个相应的传输部分的持续时间大一个数量级。
由于针对传统的单个DFB激光器的门控持续时间可能在大约数十纳秒的数量级上，因此传统的GS传感器可能无法在与来自DFB激光器的给定光脉冲同步的发射期间可靠地打开和关闭。例如，本公开内容的各方面可以使得GS传感器能够被选通以及与来自单个DFB激光器的每个脉冲突发同步，例如使得设备在序列的每个传输部分期间接收反射光脉冲，以及在序列的每个非传输部分期间不接收任何或大部分光(例如，环境光)。作为一个非限制性示例，每个传输部分的持续时间可以是大约1μs，以及每个非传输部分的持续时间可以是大约10μs。每个传输部分可以包括大约25个光脉冲，以及每个光脉冲的持续时间(或者“脉冲宽度”)可以在比如大约50％的适当(相对高)的占空比中是大约20ns。在一些方面中，占空比还可以遵守DFB激光器的热特性。在一些方面中，光脉冲可以是以大约2-3A的电流来发射的。DFB激光器可以被配置为发射足以使图像饱和的多个突发(在该示例中，大约800-3200)。在一些实现方式中，在每个脉冲突发中的脉冲的数量和脉冲突发的数量可以是基于系统条件来动态地调整的，所述系统条件比如所测量到的SNR，即
Figure BDA0003509936900000081
其中μsig表示激光信号，并且其中，σbg表示环境光噪声。当该设备在室内时，SNR可以高于当设备暴露在室外的阳光下时的SNR。因此，在一些实现方式中，设备可以基于针对该设备的环境光条件来动态地调整传输部分的数量和多个光脉冲的数量中的至少一项。例如，当设备在室内(或者在其它弱光条件下)时，该设备可以动态地减少光脉冲的数量或传输部分的数量。作为另一示例，当设备在室外(或在其它强光条件下)时，该设备可以动态地增加光脉冲的数量或传输部分的数量。
作为非限制性示例，序列可以包括大约500-2000个时段，其中每个时段包括传输部分和非传输部分。部分地通过在每个脉冲突发开始时(比如在时间t0处)接通GS传感器以及在每个脉冲突发结束时(比如在时间t1处)关掉GS传感器，本公开内容的各方面可以允许单个DFB激光器以足够高的功率安全地操作，以利用与VCSEL的阵列(例如，大约2-3W)相当的亮度来对场景进行照明。
针对帧曝光401的时段的序列示出为包括数量n个额外的时段。n个额外的时段中的每个时段可以包括相应的传输部分和相应的非传输部分(为了简单起见未示出)。在整个序列期间(例如，在时间t0处开始)，设备可以连续地累积指示所接收的光脉冲的光电电荷。例如，一个或多个传感器中的每个传感器可以是光电二极管，所述光电二极管被配置为在序列的每个传输部分期间连续地从接收到的光脉冲接收光子。设备可以被配置为将光电电荷整合到该设备的一个或多个存储节点，比如图2的存储器206。在一些方面中，存储节点中的一个或多个存储节点可以是电荷耦合器件(CCD)类型的存储节点(例如，存储电容器)。序列可以继续直到已经累积足够的光电子以形成单个图像帧为止，比如在时间tn+1处。在一些实现方式中，设备可以以与在编号为9,332,200B1的美国专利中公开的GS像素架构类似的方式来对光电电荷进行整合。
序列(和帧曝光401)可以在最终传输部分(“最终脉冲突发”)之后结束，所述最终传输部分在时间tn处开始以及在时间tn+1处结束。在一些实现方式中，最终传输部分之后可以不跟随有相应的非传输部分。
在序列结束之后(例如，在时间tn+1处)，设备可以将所累积的光电电荷转移(或“提取”)到读出电路(为了简单起见未示出)。在一些实现方式中，设备可以以与在编号为9,332,200B1的美国专利中公开的GS像素架构类似的方式来读出光电电荷。在一些示例实现方式中，设备可以在帧曝光401之后执行数量m次额外的帧曝光。在m次额外的帧曝光中的每次曝光期间，设备可以与帧曝光401相同或类似地操作。
图5示出用于对场景进行感测的示例系统500。示例系统500被示为包括DFB、GS传感器、激光驱动器和系统驱动器。DFB可以是相对于图4描述的一个或多个激光器(例如，单个DFB激光器)的示例实现方式。GS传感器可以是相对于图4描述的一个或多个传感器(例如，GS传感器)的示例实现方式。系统驱动器可以被配置为通过向激光驱动器发送“开启”触发来打开激光驱动器。当激光驱动器开启时，其可以将激光驱动脉冲发送给DFB，以及DFB可以以激光脉冲突发的序列来发射相应的光脉冲，如相对于图4所描述的。系统驱动器还可以被配置为通过向GS传感器发送“开启”触发来启用GS传感器。系统驱动器还可以可选地在每个激光脉冲突发结束时发送“关闭”触发以关掉GS传感器。另外或替代地，GS传感器可以被定时为在脉冲突发的长度的特定持续时间(比如大约1μs)之后关闭。系统驱动器可以同时地向激光驱动器和GS传感器中的每者发送相同的系统“开启”触发(如通过Δt所指示的)。因此，在每个激光脉冲突发开始时，可以触发以及打开GS传感器。如相对于图4所讨论的，DFB因此可以安全地以足够像VCSEL的阵列一样明亮地对场景进行照明的功率电平来发射脉冲串，以及同时，系统可以通过将GS传感器选通为与针对脉冲串的每个突发的开启时间同步，来将由环境光噪声导致的SNR降级最小化。
图6示出描绘用于控制主动深度感测系统的示例操作的时序图600。示例操作可以由设备(为了简单起见未示出)来执行，所述设备比如图3的设备300、图2的设备200或任何适当的设备。在一些实现方式中，该设备可以是移动电话。时序图600可以类似于图4的时序图400。例如，帧曝光601、脉冲突发610、脉冲突发620、脉冲突发690、时间t0、时间t1、时间t2、时间t3、时间t4、时间t5、时间tn、时间tn+1、以及m次额外的帧曝光，可以与图4的帧曝光401、第一脉冲突发、第二脉冲突发、第三脉冲突发、最终脉冲突发、时间t0、时间t1、时间t2、时间t3、时间t4、时间t5、时间tn、时间tn+1以及m次额外的帧曝光相同或类似。示出与图4中所示的激光脉冲突发相同或类似的“激光脉冲突发”。图6还示出触发激光脉冲突发的相应的“激光驱动脉冲突发”，如相对于图5所描述的。如相对于图4和图5所描述的，可以触发GS传感器以与激光脉冲突发的开始同步地打开(例如，经由在时间t0处的同时的“开启”触发)。还可以可选地触发GS传感器以与激光脉冲突发的结束同步地关闭(例如，经由在时间tA处的“关闭”触发)。
图7示出描绘用于对场景进行感测的示例操作700的说明性流程图。示例操作700由比如图2的设备200的设备来执行。设备使用两个或更多个时段的序列来对场景进行照明，每个时段包括在其期间将多个光脉冲发射到场景上的传输部分，以及包括与不存在发射光相对应的非传输部分(701)。所发射的光脉冲中的每个光脉冲是从单模分布式反馈(DFB)激光器以选择的发射功率电平来发射的。在一些实现方式中，每个非传输部分的持续时间至少部分地基于所选择的发射功率电平。另外或替代地，每个非传输部分的持续时间是基于激光器的工作温度在传输部分中的相应的一个传输部分期间大于温度值来选择的，以防止对激光器的损坏。在一些方面中，所选择的发射功率电平超过针对激光器的连续操作的最大指定功率电平。
设备在每个传输部分期间接收从场景反射的多个光脉冲(702)。在一些实现方式中，传感器可以在序列的每个传输部分期间连续地接收光子，以及可以防止传感器在序列的每个非传输部分期间接收环境光。
设备在整个序列期间连续地累积指示所接收的光脉冲的光电电荷(703)。在一些实现方式中，设备可以在序列的每个非传输部分期间暂停或禁用对光电电荷的累积。
设备在序列结束之后，将所累积的光电电荷转移到读出电路(704)。在一些实现方式中，所转移的累积的光电电荷可以用于构造场景的图像。在一些方面中，图像可以是要由比如智能电话的移动设备识别或认证的用户的面部。
如本文中所使用的，提及项目列表“中的至少一者”的短语指的是那些项目的任意组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
结合本文所公开的实现方式描述的各种说明性的逻辑单元、逻辑块、模块、电路和算法进程可以实现为电子硬件、计算机软件或两者的组合。在功能方面，已经概括地描述了以及在上述各种说明性的组件、方块、模块、电路和进程中示出了硬件和软件的可互换性。这样的功能是实现为硬件还是软件，取决于特定的应用以及施加在整个系统上的设计约束。
用于实现结合本文中所公开的各方面描述的各种说明性的逻辑单元、逻辑块、模块和电路的硬件和数据处理装置，可以利用被设计为执行本文描述的功能的通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或其任意组合来实现或执行。通用处理器可以是微处理器或者任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，比如例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核结合、或任何其它这样的配置。在一些实现方式中，特定进程和方法可以由特定于给定功能的电路来执行。
在一个或多个方面中，所描述的功能可以以硬件、数字电子电路、计算机软件、固件(包括本说明书中公开的结构和其结构等效物)或者其任意组合来实现。在本说明书中描述的主题的实现方式还可以实现为在计算机存储介质上编码用于由数据处理装置执行或控制数据处理装置的操作的一个或多个计算机程序，即，计算机程序指令的一个或多个模块。
如果以软件来实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行传输。本文中公开的方法或算法的进程可以是在可以位于计算机可读介质上的处理器可执行软件模块中实现的。计算机可读介质包括计算机存储介质和通信介质两者，所述通信介质包括能够实现为将计算机程序从一个地方传送到另一个地方的任何介质。存储介质可以是可以由计算机存取的任何可用的介质。通过举例而非限制性的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储设备、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机存取的任何其它的介质。此外，任何连接可以适当地称为计算机可读介质。如本文中所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的范围内。另外，方法或算法的操作可以作为代码和指令中的一者或任意组合或集合存在于机器可读介质和计算机可读介质上，所述机器可读介质和计算机可读介质可以并入到计算机程序产品中。
对本公开内容中描述的实现方式的各种修改对于本领域技术人员而言可以是显而易见的，以及在不背离本公开内容的精神或范围的情况下，本文中所定义的通用原则可以应用于其它实现方式。因此，权利要求不旨在限于本文中示出的实现方式，而是要赋予与本公开内容、本文中所公开的原理和新颖特征相一致的最广的范围。

Claims (30)

1.一种用于对场景进行感测的方法，包括：
使用两个或更多个时段的序列来对所述场景进行照明，每个时段包括在其期间将多个光脉冲发射到所述场景上的传输部分，并且包括与不存在发射光相对应的非传输部分；
在每个传输部分期间接收从所述场景反射的多个光脉冲；以及
在整个所述序列期间连续地累积指示所接收的光脉冲的光电电荷。
2.根据权利要求1所述的方法，还包括：
在所述序列结束之后，将所累积的光电电荷转移到读出电路。
3.根据权利要求1所述的方法，其中，所述接收包括：
将光电二极管配置为在所述序列的每个传输部分期间连续地接收光子。
4.根据权利要求1所述的方法，还包括：
防止在所述序列的每个非传输部分期间对环境光的接收。
5.根据权利要求4所述的方法，其中，所述防止包括：
禁止在所述序列的每个非传输部分期间对光电电荷的所述累积。
6.根据权利要求1所述的方法，其中，所述多个发射的光脉冲中的每个光脉冲是由单模分布式反馈激光器(DFB)来生成的。
7.根据权利要求1所述的方法，其中，所述序列的每个非传输部分的持续时间比所述序列的每个传输部分的持续时间大一个数量级。
8.根据权利要求1所述的方法，其中，所述发射的光脉冲中的每个光脉冲是从激光器以选择的发射功率电平来发射的，并且每个非传输部分的持续时间是至少部分地基于所述选择的发射功率电平的。
9.根据权利要求1所述的方法，其中，所述光脉冲是从激光器发射的，并且所述序列是基于所述激光器的热特性的。
10.根据权利要求9所述的方法，其中，所述热特性包括温度值，并且其中，每个非传输部分的持续时间是基于所述激光器的温度在所述传输部分中的相应的一个传输部分期间大于所述温度值来选择的，以防止对所述激光器的损坏。
11.根据权利要求9所述的方法，其中，所述选择的发射功率电平超过针对所述激光器的连续操作的最大指定功率电平。
12.根据权利要求1所述的方法，其中，所述光脉冲是从包括至少一个前置相机的移动电话发射的。
13.根据权利要求12所述的方法，其中，所接收的光脉冲是从所述移动电话的用户的面部反射的。
14.根据权利要求13所述的方法，还包括：
基于所接收的光脉冲来识别或认证所述用户的所述面部。
15.根据权利要求1所述的方法，还包括：
基于针对所述设备的环境光条件来动态地调整所述传输部分的数量或者所述多个光脉冲的数量中的至少一者。
16.一种装置，包括：
存储器；以及
处理器，所述处理器耦合到所述存储器并且被配置为：
使用两个或更多个时段的序列来对场景进行照明，每个时段包括在其期间将多个光脉冲发射到所述场景上的传输部分，并且包括与不存在发射光相对应的非传输部分；
在每个传输部分期间接收从所述场景反射的多个光脉冲；以及
在整个所述序列期间连续地累积指示所接收的光脉冲的光电电荷。
17.根据权利要求16所述的装置，其中，所述处理器还被配置为：
在所述序列结束之后，将所累积的光电电荷转移到读出电路。
18.根据权利要求16所述的装置，其中，所述处理器被配置为通过以下操作来接收所述多个光脉冲：
将光电二极管配置为在所述序列的每个传输部分期间连续地接收光子。
19.根据权利要求16所述的装置，其中，所述处理器还被配置为：
防止在所述序列的每个非传输部分期间对环境光的接收。
20.根据权利要求19所述的装置，其中，所述处理器被配置为通过以下操作来防止对环境光的接收：
禁止在所述序列的每个非传输部分期间对光电电荷的所述累积。
21.根据权利要求16所述的装置，还包括：
被配置为发射所述多个光脉冲的单模分布式反馈激光器(DFB)。
22.根据权利要求16所述的装置，其中，每个非传输部分的持续时间比每个传输部分的持续时间大一个数量级。
23.根据权利要求16所述的装置，其中，所述光脉冲是从激光器以选择的发射功率电平来发射的，并且每个非传输部分的持续时间是至少部分地基于所述选择的发射功率电平的。
24.根据权利要求23所述的装置，其中，所述选择的发射功率电平超过针对所述激光器的连续操作的最大指定功率电平。
25.根据权利要求16所述的装置，其中，所述光脉冲是从激光器发射的，并且所述序列是基于所述激光器的热特性的。
26.根据权利要求25所述的装置，其中，所述热特性包括温度值，并且其中，每个非传输部分的持续时间是基于所述激光器的温度在所述传输部分中的相应的一个传输部分期间大于所述温度值来选择的，以防止对所述激光器的损坏。
27.根据权利要求16所述的装置，其中，所述装置包括移动电话，所述移动电话包括至少一个前置相机。
28.根据权利要求27所述的装置，其中，所接收的光脉冲是从所述移动电话的用户的面部反射的。
29.根据权利要求28所述的装置，其中，所述处理器还被配置为：
基于所接收的光脉冲来识别或认证所述用户的所述面部。
30.根据权利要求28所述的装置，其中，所述处理器还被配置为：
基于针对所述设备的环境光条件来动态地调整所述传输部分的数量或者所述多个光脉冲的数量中的至少一者。
CN202080058398.8A 2019-08-26 2020-08-24 利用激光脉冲串突发和门控传感器的3d主动深度感测 Pending CN114270220A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/550,938 2019-08-26
US16/550,938 US11438486B2 (en) 2019-08-26 2019-08-26 3D active depth sensing with laser pulse train bursts and a gated sensor
PCT/US2020/047644 WO2021041318A1 (en) 2019-08-26 2020-08-24 3d active depth sensing with laser pulse train bursts and a gated sensor

Publications (1)

Publication Number Publication Date
CN114270220A true CN114270220A (zh) 2022-04-01

Family

ID=72422272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058398.8A Pending CN114270220A (zh) 2019-08-26 2020-08-24 利用激光脉冲串突发和门控传感器的3d主动深度感测

Country Status (5)

Country Link
US (1) US11438486B2 (zh)
EP (1) EP4022355A1 (zh)
CN (1) CN114270220A (zh)
TW (1) TW202115364A (zh)
WO (1) WO2021041318A1 (zh)

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977684B1 (en) 1998-04-30 2005-12-20 Canon Kabushiki Kaisha Arrangement of circuits in pixels, each circuit shared by a plurality of pixels, in image sensing apparatus
JP3592106B2 (ja) 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
US6963370B2 (en) 2001-09-24 2005-11-08 The Board Of Trustees Of The Leland Stanford Junior University Method for improving SNR in low illumination conditions in a CMOS video sensor system using a self-resetting digital pixel
GB0208100D0 (en) * 2002-04-09 2002-05-22 Univ Strathclyde Semiconductor diode laser spectrometer arrangement
US7518759B2 (en) 2003-04-22 2009-04-14 Xerox Corporation Readout system for a CMOS-based image sensor array
US6927432B2 (en) 2003-08-13 2005-08-09 Motorola, Inc. Vertically integrated photosensor for CMOS imagers
US7456879B2 (en) 2003-08-29 2008-11-25 Aptina Imaging Corporation Digital correlated double sampling using dual analog path
US7542085B2 (en) 2003-11-26 2009-06-02 Aptina Imaging Corporation Image sensor with a capacitive storage node linked to transfer gate
US7443437B2 (en) 2003-11-26 2008-10-28 Micron Technology, Inc. Image sensor with a gated storage node linked to transfer gate
US20050128327A1 (en) 2003-12-10 2005-06-16 Bencuya Selim S. Device and method for image sensing
JP4940667B2 (ja) 2005-06-02 2012-05-30 ソニー株式会社 固体撮像素子及びその製造方法
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP4752447B2 (ja) 2005-10-21 2011-08-17 ソニー株式会社 固体撮像装置およびカメラ
US8026966B2 (en) 2006-08-29 2011-09-27 Micron Technology, Inc. Method, apparatus and system providing a storage gate pixel with high dynamic range
US8049256B2 (en) 2006-10-05 2011-11-01 Omnivision Technologies, Inc. Active pixel sensor having a sensor wafer connected to a support circuit wafer
JP4341664B2 (ja) 2006-10-13 2009-10-07 ソニー株式会社 固体撮像装置および撮像装置
KR100828943B1 (ko) 2006-12-19 2008-05-13 (주)실리콘화일 3t-4s 스텝 ＆ 리피트 단위 셀 및 상기 단위 셀을 구비한 이미지센서, 데이터 저장 장치, 반도체 공정 마스크, 반도체 웨이퍼
JP2008172580A (ja) 2007-01-12 2008-07-24 Toshiba Corp 固体撮像素子及び固体撮像装置
KR100835892B1 (ko) 2007-03-26 2008-06-09 (주)실리콘화일 칩 적층 이미지센서
JP5104036B2 (ja) 2007-05-24 2012-12-19 ソニー株式会社 固体撮像素子とその製造方法及び撮像装置
US7782383B2 (en) 2007-06-18 2010-08-24 Aptina Imaging Corporation Noise and parasitic capacitance reduction for 1T pixel CMOS image sensors
KR100858033B1 (ko) 2007-10-15 2008-09-10 (주)실리콘화일 4ｔ－4ｓ 스텝 ＆ 리피트 단위픽셀 및 상기 단위픽셀을구비하는 이미지센서
US7960768B2 (en) 2008-01-17 2011-06-14 Aptina Imaging Corporation 3D backside illuminated image sensor with multiplexed pixel structure
US7538307B1 (en) 2008-02-19 2009-05-26 Teledyne Licensing Llc Charge multiplication CMOS image sensor and method for charge multiplication
US7965329B2 (en) 2008-09-09 2011-06-21 Omnivision Technologies, Inc. High gain read circuit for 3D integrated pixel
JP5029624B2 (ja) 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
JP5526342B2 (ja) 2009-02-04 2014-06-18 株式会社 Ｒｏｓｎｅｓ 固体撮像装置
US20110101420A1 (en) 2009-10-31 2011-05-05 Pratik Patel Increasing full well capacity of a photodiode used in digital photography
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP2012048065A (ja) 2010-08-27 2012-03-08 Canon Inc 光電変換装置、焦点検出装置、および撮像システム
GB2487943A (en) 2011-02-09 2012-08-15 St Microelectronics Res & Dev A CMOS pixel sensor with local analogue storage in each pixel circuit for capturing frames in quick succession
US8637800B2 (en) 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
US9083905B2 (en) * 2011-04-26 2015-07-14 Semiconductor Components Industries, Llc Structured light imaging system
US8686342B2 (en) 2012-04-09 2014-04-01 Omnivision Technologies, Inc. Double-sided image sensor formed on a single semiconductor wafer die
US8766387B2 (en) 2012-05-18 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Vertically integrated image sensor chips and methods for forming the same
US9165968B2 (en) 2012-09-14 2015-10-20 Taiwan Semiconductor Manufacturing Co., Ltd. 3D-stacked backside illuminated image sensor and method of making the same
KR101402750B1 (ko) 2012-09-26 2014-06-11 (주)실리콘화일 3차원 구조를 가지는 이미지센서의 분리형 단위화소
CN104737290B (zh) 2012-10-26 2017-09-19 奥林巴斯株式会社 固体摄像装置、摄像装置以及信号读出方法
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
US9318640B2 (en) 2013-03-15 2016-04-19 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for image sensor packaging
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
CA2959335A1 (en) 2014-08-26 2016-03-03 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional (3d) imaging
US9774801B2 (en) 2014-12-05 2017-09-26 Qualcomm Incorporated Solid state image sensor with enhanced charge capacity and dynamic range
US9332200B1 (en) 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
US10721420B2 (en) 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US9800807B2 (en) 2016-02-26 2017-10-24 Intel Corporation Image sensor operation for shutter modulation and high dynamic range
IL247944B (en) * 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
US10129377B2 (en) 2017-01-04 2018-11-13 Essential Products, Inc. Integrated structure including image capture and depth sensing components
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US10804301B2 (en) * 2017-12-13 2020-10-13 Magic Leap, Inc. Differential pixel circuit and method of computer vision applications
WO2019205975A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 摄像头模组的控制系统、控制方法、控制装置、电子设备及计算机可读存储介质
US10466342B1 (en) * 2018-09-30 2019-11-05 Hesai Photonics Technology Co., Ltd. Adaptive coding for lidar systems

Also Published As

Publication number Publication date
TW202115364A (zh) 2021-04-16
WO2021041318A1 (en) 2021-03-04
US11438486B2 (en) 2022-09-06
US20210067662A1 (en) 2021-03-04
EP4022355A1 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
US10419703B2 (en) Automatic multiple depth cameras synchronization using time sharing
US11483503B2 (en) Three-dimensional sensor including bandpass filter having multiple passbands
CN104253947B (zh) 智能相机闪光灯
US20200280659A1 (en) Quad color filter array camera sensor configurations
US9953428B2 (en) Digital camera unit with simultaneous structured and unstructured illumination
JP6110862B2 (ja) 画像からの物体距離決定
CN112055820B (zh) 利用不同发射场的飞行时间测距
CN112739980B (zh) 多阶段有源光深度系统
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
US20190238824A1 (en) Depth generation system with adjustable light intensity
US11438486B2 (en) 3D active depth sensing with laser pulse train bursts and a gated sensor
US20070098387A1 (en) Systems and methods of generating Z-Buffers in cameras
US11580654B2 (en) Alternating light distributions for active depth sensing
CN117043547A (zh) 混合模式深度成像
US20200059637A1 (en) Three-dimensional sensing apparatus and three-dimensional sensing method
CN117528209A (zh) 摄像模组、电子设备、对焦方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination