CN115315611A - 广角3d感测 - Google Patents

广角3d感测 Download PDF

Info

Publication number
CN115315611A
CN115315611A CN202180022458.5A CN202180022458A CN115315611A CN 115315611 A CN115315611 A CN 115315611A CN 202180022458 A CN202180022458 A CN 202180022458A CN 115315611 A CN115315611 A CN 115315611A
Authority
CN
China
Prior art keywords
light
light projector
scene
projected
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180022458.5A
Other languages
English (en)
Inventor
J·马
S·戈马
B-C·赫塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115315611A publication Critical patent/CN115315611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开内容的各方面涉及使用设备进行深度感测。一种示例设备包括第一光投射器，其被配置为朝着第二光投射器投射光，第二光投射器被配置为朝着第一光投射器投射光。该示例设备包括：位于第一光投射器和第二光投射器之间的反射组件，反射组件被配置为：将由第一光投射器投射的光重定向到场景的第一部分上，以及将由第二光投射器投射的光重定向到场景的第二部分上，并且场景的第一部分和第二部分彼此相邻并且相对于彼此不重叠。该示例设备包括接收器，其被配置为检测由第一光投射器和第二光投射器投射的经重定向的光的反射。

Description

广角3D感测
相关申请的交叉引用
本申请要求享受于2020年4月14日递交的并且名称为“WIDE-ANGLE 3D SENSING”的美国非临时申请序列号16/848,487的利益，该申请的全部内容通过引用的方式将其全部内容并入本文中。
技术领域
概括而言，本公开内容涉及深度感测系统，并且具体地，本公开内容涉及提高主动深度系统生成深度信息的速度和准确度。
背景技术
被动深度感测系统测量从场景中的对象或表面反射的环境光，以确定感测系统与对象或表面之间的距离。主动深度感测系统将光脉冲发射到场景中，并且测量光脉冲的来自场景中的对象或表面的反射，以确定感测系统与对象或表面之间的距离。一些主动深度感测系统可以采用衍射光学元件(DOE)来将发射的光脉冲衍射为额外发射，额外发射可以增加投射到场景上的光的数量。在一些情况下，额外的发射可以用于在场景上创建(和复制)经译码的光图案。
由DOE创建的经译码的光图案的最大衍射角以及因此深度感测系统的视场(FOV)可能受到DOE的特征尺寸的限制。对于采用垂直腔面发射激光器(VCSEL)的深度感测系统，失真随着扇出角的增加而增加，这可能进一步限制FOV。尽管可以通过使用两个光投射器来将深度感测系统的FOV有效地加倍，但是与将根据从不同光投射器发射的光的反射而生成的深度信息拼接在一起相关联的图像伪影可能阻碍位于沿着场景的“拼接区域”的对象和表面的检测(或至少致使这是不现实的)。
发明内容
本公开内容的系统、方法和设备均具有若干创新方面，其中没有单一方面单独地负责本文公开的期望属性。
本公开内容的一些方面涉及用于深度感测的设备。一种示例设备包括：第一光投射器、第二光投射器、反射组件和接收器。示例第一光投射器被配置为朝着示例第二光投射器投射光，示例第二光投射器被配置为朝着示例第一光投射器投射光。示例反射组件位于第一示例光投射器和第二示例光投射器之间，并且被配置为：将由示例第一光投射器投射的光重定向到场景的第一部分上，以及将由示例第二光投射器投射的光重定向到场景的第二部分上。场景的第一部分和第二部分可以彼此相邻并且相对于彼此不重叠。示例接收器被配置为检测由第一光投射器和第二光投射器投射的经重定向的光的反射。
本公开内容的一些其它方面涉及一种用于使用设备进行深度感测的方法。一种示例方法包括：从设备的第一光投射器朝着设备的第二光投射器投射光。该示例方法还包括：从第二光投射器朝着第一光投射器投射光。该示例方法还包括：经由位于第一光投射器和第二光投射器之间的反射组件，将由第一光投射器投射的光重定向到场景的第一部分上，以及将由第二光投射器投射的光重定向到场景的第二部分上。场景的第一部分和第二部分可以彼此相邻并且相对于彼此不重叠。该示例方法还包括：检测由第一光投射器和第二光投射器投射的经重定向的光的反射。
本公开内容的一些其它方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在由设备的一个或多个处理器执行时使得设备执行操作。示例操作包括：从设备的第一光投射器朝着设备的第二光投射器投射光。示例操作还包括：从第二光投射器朝着第一光投射器投射光。示例操作还包括：经由位于第一光投射器和第二光投射器之间的反射组件，将由第一光投射器投射的光重定向到场景的第一部分上，以及将由第二光投射器投射的光重定向到场景的第二部分上。场景的第一部分和第二部分可以彼此相邻并且相对于彼此不重叠。示例操作还包括：检测由第一光投射器和第二光投射器投射的经重定向的光的反射。
在附图和以下说明书中阐述了在本公开内容中描述的主题的一种或多种实现的细节。根据描述、附图和权利要求，其它特征、方面和优势将变得显而易见。注意的是，以下附图的相对尺寸可能不是按比例绘制的。
附图说明
]图1示出了飞行时间(ToF)系统的示例。
图2A示出了其中多径干扰(MPI)可能影响ToF深度感测的示例环境。
图2B示出了其中MPI可能影响ToF深度感测的另一示例环境。
图2C示出了其中MPI可能影响ToF深度感测的另一示例环境。
图3示出了示例结构光(SL)系统。
图4示出了包括混合ToF和SL系统的示例设备的框图。
图5示出了说明用于ToF和SL系统的多个组件的示例操作时序的时序图。
图6A示出了示例ToF和SL系统。
图6B示出了图6A的在第一和第二模式下操作的示例ToF和SL系统。
图7示出了用于解调像素单元的示例电路图。
图8A示出了用于全局快门(GS)像素阵列的示例电路图。
图8B示出了用于GS像素阵列的另一示例电路图。
图9示出了用于在滚动快门(RS)实现中操作的混合ToF和SL像素阵列的示例电路图。
图10示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图11A示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图11B示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图11C示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图12示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图13A示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图13B示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图13C示出了说明根据一些实现的用于深度感测的示例过程的流程图。
图14示出了说明根据一些实现的用于深度感测的示例过程的流程图。
在各个附图中，类似的附图标记和命名指示类似的元素。
具体实施方式
在本公开内容中描述的主题的实现可以允许主动深度感测系统的视场(FOV)在没有失真的情况下增加到超过由衍射光学元件(DOE)的特征尺寸和与垂直腔面发射激光器(VCSEL)相关联的最大扇出角所施加的限制，从而允许通过相对紧凑的主动深度感测系统进行广角3D感测。在一些实现中，主动深度感测系统可以包括：第一光投射器，其被配置为在第一方向上投射光；第二光投射器，其被配置为在与第一方向相反的第二方向上投射光；以及位于第一光投射器和第二光投射器之间的反射组件。反射组件可以被配置为将由第一光投射器投射的光重定向到场景的第一部分上，并且将由第二光投射器投射的光重定向到场景的第二部分上，场景的第二部分与场景的第一部分相邻但不重叠。主动深度感测系统还可以包括控制器，其基于来自场景的第一部分和第二部分的经重定向的光的反射来生成深度信息，同时至少部分地基于与反射组件相关联的一个或多个折射角来校正投射失真。
在一些实现中，反射组件可以包括第一反射元件和第二反射元件。第一反射元件可以是或包括棱镜，该棱镜被配置为：折叠从第一光投射器投射的光的光路，并且至少部分地基于经折叠的光路来将经折叠的光折射到场景的第一部分。第二反射元件可以是或包括棱镜，该棱镜被配置为：折叠从第二光投射器投射的光的光路，并且至少部分地基于经折叠的光路来将经折叠的光折射到场景的第二部分上。由反射组件采用的棱镜和折叠的光学可以允许主动深度感测系统将根据从第一光投射器和第二光投射器发射的光的反射而生成的深度信息无缝地拼接，而没有拼接伪影。
主动深度感测系统还可以包括可开闭漫射器，其被配置为在飞行时间(ToF)感测模式和结构光(SL)感测模式之间转换光投射器。以这种方式，主动深度感测系统可以收获由ToF和SL技术两者提供的优点，同时最小化它们各自的缺点。
在下文说明书中，阐述了众多具体细节(诸如具体的组件、电路和过程的示例)以提供对本公开内容的透彻理解。如本文所使用的术语“耦合”意指直接地连接或者通过一个或多个介于中间的组件或电路来连接。另外，在下文说明书中以及出于解释的目的，阐述具体术语以提供对本公开内容的透彻理解。然而，对于本领域技术人员而言将显而易见的是，实践本文中公开的教导可能不要求这些具体细节。在其它实例中，以框图形式示出众所周知的电路和设备，以避免模糊本公开内容的教导。随后的具体实施方式的一些部分是依据对在计算机存储器内的数据比特的运算的过程、逻辑块、进程和其它符号表示来给出的。在本公开内容中，过程、逻辑块、进程等被认为是引起期望的结果的步骤或指令的有条理的序列。步骤是要求对物理量的物理操纵的那些步骤。通常，尽管不是必要的，但是这些量采取能够在计算机系统中存储、传送、组合、比较和以其它方式操纵的电子或者磁信号的形式。
然而，应当记住的是，所有这些和类似术语将与适当的物理量相关联，以及仅仅是应用于这些量的方便标记。除非另外明确地声明(如根据下文的讨论显而易见的)，否则要理解的是，贯穿本申请，利用诸如“存取”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“解决”等的术语的讨论指的是计算机系统或类似的电子计算设备的动作和进程，所述计算机系统或类似的电子计算设备将表示为在计算机系统寄存器和存储器内的物理(电子)量的数据操纵以及转换为类似地表示为在计算机系统存储器或寄存器或者其它这样的信息存储、传输或显示设备内的物理量的其它数据。
在附图中，单个框可能被描述为执行一个或多个功能；然而，在实际实践中，由该框执行的一个或多个功能可以在单个组件中执行或者跨越多个组件来执行，和/或可以使用硬件、使用软件或者使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，各种说明性的组件、框、模块、电路和步骤依据其功能在下文进行概括描述。这种功能是实现为硬件还是软件，取决于特定的应用和施加在整个系统上的设计约束。熟练的技术人员可以针对每个特定的应用以变通的方式实现所描述的功能，但是这种实现决策不应当解释为导致背离本公开内容的范围。此外，示例设备可以包括除了那些所示组件之外的组件，包括众所周知的组件，诸如处理器、存储器等。
本公开内容的各方面适用于包括或者耦合到一个或多个主动深度感测系统的任何适当的电子设备(诸如安全系统、智能电话、平板设备、膝上型计算机、车辆、无人机、或其它设备)。虽然下文相对于具有或者耦合到两个光投射器的设备来描述，但是本公开内容的各方面适用于具有任何数量的光投射器的设备，以及因此不限于具体设备。
术语“设备”不限于一个物理对象或具体数量的物理对象(诸如一个智能电话、一个控制器、一个处理系统等)。如本文中所使用的，设备可以是具有可以实现本公开内容的至少一些部分的一个或多个组成部分的任何电子设备。虽然下文说明书和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于对象的具体配置、类型或数量。另外，术语“系统”不限于多个组件或具体实施例。例如，系统可以在一个或多个印刷电路板或其它基板上实现，以及可以具有可移动的或静止的组件。尽管下文说明书和示例使用术语“系统”来描述本公开内容的各个方面，但是术语“系统”不限于对象的具体配置、类型或数量。
图1示出了ToF系统100的示例。ToF系统100可以用于生成包括表面106的场景的深度信息，或可以用于针对对表面或场景的其它部分进行测距的其它应用。ToF系统100可以包括发送器102和接收器108。发送器102可以被称为“光投射器”、“发送器”、“投射器”、“发射器”等，并且不应当限于特定的传输组件。类似地，接收器108可以被称为“光传感器”、“检测器”、“传感器”、“感测元件”、“光检测器”等，并且不应当限于特定接收组件。
发送器102可以被配置为将信号(例如，光场)发送、发射或投射到场景上。虽然ToF系统在该示例中被描述为发射光(其可以包括近红外(NIR))，但是可以使用处于其它频率的信号，诸如微波、射频信号、声音等。本公开内容不应当限于用于所发射的信号的特定频率范围。
发送器102朝着包括表面106的场景发送光104。所发送的光104包括以已知时间间隔(诸如周期性地)的光脉冲114。接收器108包括用于感测所发送的光104的反射112的传感器110。反射112包括反射的光脉冲116，并且ToF系统100通过比较所发送的光脉冲的时序118和反射的光脉冲116的时序120，来确定光的往返时间122。光脉冲可以是调制连续波(AMCW)光脉冲。在一些情况中，反射回接收器108的光可以具有与从发送器102发射的光不同的相位。相位差可以用于确定发射的往返时间。表面106与ToF系统100的距离可以被计算为往返时间的一半乘以发射速度(例如，用于光发射的光速)。
传感器110可以包括用于测量或感测反射的光电二极管的阵列。替代地，传感器110可以包括CMOS传感器或其它合适的光敏传感器，其包括用于感测的多个像素或区域。ToF系统100在脉冲的幅度大于某个值时识别由传感器110感测的反射的光脉冲116。例如，ToF系统100测量在没有信号的情况下环境光和其它干扰的幅度，并且确定进一步的测量是否比先前测量大某个值。
在一些实现中，传感器110可以包括传感器像素，传感器像素包括用于将来自反射112的光子转换为电流的光电二极管(为了简单起见，未示出)。传感器像素可以包括用于存储来自电流的能量的一个或多个电容器。ToF系统100可以部分地通过将电压与其对应相位进行比较，来计算ToF系统100与表面106之间的距离。ToF系统100可以打开和关闭快门，以便以相对于脉冲信号的多个特定相位偏移来曝光传感器110。在每个曝光循环期间，电荷可以由一个或多个存储元件存储，诸如由电容器存储。
作为一个非限制性示例，在第一曝光循环期间，第一电容器(C1)可以存储电荷(Q1)，并且第二电容器(C2)可以存储电荷(Q2)，其中，Q1是当快门以0°相位偏移打开时来自反射信号的累积电荷，并且其中，Q2是当快门以180°相位偏移打开时来自反射信号的累积电荷。在第二曝光循环期间，C1可以存储电荷(Q3)，并且C2可以存储电荷(Q4)，其中，Q3是当快门以90°相位偏移打开时来自反射信号的累积电荷，并且其中，Q4是当快门以270°相位偏移打开时来自反射信号的累积电荷。ToF系统100可以基于针对各曝光循环中的每个循环而在C1和C2上存储的电荷，来计算在脉冲信号和反射信号之间的相位偏移
Figure BDA0003851909440000041
Figure BDA0003851909440000042
所计算出的在脉冲信号和反射信号之间的相位偏移
Figure BDA0003851909440000043
是与在相应传感器像素和表面106之间的距离d成比例的：
Figure BDA0003851909440000044
其中，c是光速，并且f是调制信号的频率。基于所确定的从传感器110的每个像素到表面106的距离，ToF系统100可以生成针对表面106的深度信息。
一些环境(例如，具有角、凸起区域和/或反射表面)可能导致不同的光脉冲沿着多个反射路径到达ToF系统100并且在传感器110处重新组合，这被称为MPI。出于本文讨论的目的，MPI也可以被称为“多径效应”或“MPI效应”。MPI可能导致ToF系统过高估计针对对应脉冲信号的一个或多个相位偏移而累积的电荷量。过高估计可能导致ToF系统不准确地计算在脉冲信号和反射信号之间的对应相移
Figure BDA0003851909440000051
因此，ToF系统可能不准确地计算从传感器像素中的一个或多个传感器像素到对象或场景的对应距离d，这可能导致对应深度信息的失真(或“突起”)。
图2A示出了其中MPI可能影响ToF深度感测的示例环境200。ToF系统包括发射器215和传感器235。场景包括对象225和对象227。对象227可以具有镜状表面。发射器215朝着对象225发送脉冲信号220和脉冲信号222。脉冲信号220和反射信号230沿着直接路径240到达传感器235。相反，脉冲信号222和反射信号232沿着间接路径250(例如，从对象227反射)到达传感器235，使得反射信号232可能在与反射信号230不同的时间处到达传感器235。在一些方面中，传感器235可能将反射信号230和232解释为从对象225上的相同位置反射。这样，当反射信号230和232在两个不同的时间处到达传感器235时，传感器235可以针对对象225上的该位置来生成两个不同的距离，从而导致MPI。
图2B示出了其中MPI可能影响ToF深度感测的另一示例环境260。ToF系统包括发射器245和传感器265。场景包括对象255和对象257。对象257可以具有半透明表面。发射器245发送脉冲信号221和脉冲信号223。脉冲信号221和反射信号231沿着路径241(例如，从对象255反射)。脉冲信号223和反射信号233沿着路径251(例如，从对象257反射)。反射信号233可能在与反射信号231不同的时间处到达传感器265。在一些方面中，传感器265可能将反射信号231和233解释为从对象255上的相同位置反射。这样，当反射信号231和233在两个不同的时间处到达传感器265时，传感器265可能针对对象255上的该位置生成两个不同的距离，从而导致MPI。
图2C示出了其中MPI可能影响ToF深度感测的另一示例环境270。ToF系统包括发射器275和传感器295。该场景包括对象285和对象287，对象285和对象287可以表示在拐角点相交的两个墙。发射器275发送脉冲信号291、脉冲信号292和脉冲信号293，并且传感器295接收对应的反射信号294。可能由于对象285或对象287的反射特性，这些反射信号294中的两个或更多个反射信号294可能在不同的时间处到达传感器295。在一些方面中，传感器295可能将每个反射信号294解释为从对象285或对象287上的相同位置反射。这样，如果两个或更多个反射信号294在不同的时间处到达传感器295，则传感器295可能针对对象285或287上的该位置生成两个或更多个不同的距离，从而导致MPI。例如，传统ToF系统可能将多个反射信号294叠加，从而导致针对对象285或对象287上的对应位置的精确距离计算，并且最终导致对应深度图(为了简单起见，未示出)中的一个或多个区域不准确地表现为具有均匀深度。
图3示出示例SL系统300。SL系统可以以点的分布(或聚焦光的另一种适当的形状)来发送光。本文中出于讨论的目的，点的分布可以称为“图案”、“SL图案”、“圆点图案”等，以及该图案可以是预定义的。光点可以投射到场景上，以及光点的反射可以由SL系统接收。场景中的对象的深度可以通过比较所接收的光的图案和所发送的光的图案来确定。在比较图案时，用于所发送的光的预定义的分布的一部分可以是在所接收的光中识别的。SL系统可以使用SL投射器来投射光的分布(诸如光点或其它形状的分布)。
SL系统300(其在本文中还可以被称为SL系统)可以用于生成针对场景306的深度信息。例如，场景306可以包括面部，以及SL系统300可以用于识别或认证面部。SL系统300可以包括发送器302和接收器308。发送器302可以被称为“发送器”、“投射器”、“发射器”等等，以及不应当限于具体的发送组件。贯穿以下公开内容，术语投射器和发送器可以互换地使用。接收器308可以称为“探测器”、“传感器”、“感测元件”、“光电探测器”等等，以及不应当限于具体的接收组件。
虽然本公开内容将分布称为光分布，但是可以使用处于其它频率的任何适当的信号(诸如射频波、声波等)。进一步地，尽管本公开内容将分布称为包括多个光点，但是光可以聚焦成任何适当的尺寸和维度。例如，光可以以线条、正方形或任何其它适当的维度来投射。另外，本公开内容可以将分布称为码字分布，其中该分布的经定义的部分(诸如预定义的一块的光点)称为码字。如果光点的分布是已知的，则该分布的码字可以是已知的。然而，分布可以是以任何方式来组织的，以及本公开内容不应当限于具体类型的分布或者具体类型的信号或脉冲。
发送器302可以被配置为将光点的分布304投射或发送到场景306上。分布304中的白色圆圈可以指示针对可能的点位置没有投射光的地方，以及分布304中的黑色圆圈可以指示针对可能的点位置投射光的地方。在一些示例实现中，发送器302可以包括一个或多个光源324(诸如一个或多个激光器)、透镜326和光调制器328。发送器302还可以包括所发送的光从发送器302逸出的光圈322。在一些实现中，发送器302可以进一步包括衍射光学元件(DOE)，以将来自一个或多个光源324的发射进行衍射为另外的发射。在一些方面中，光调制器328可以包括例如用于调节发射的强度的DOE。在将光点的分布304投射到场景306上时，发送器302可以从光源324发送一个或多个激光，通过透镜326(和/或通过DOE或光调制器328)以及到达场景306上。发送器302可以位于在与接收器308相同的参考平面上，以及发送器302和接收器308可以分开一段距离，该距离称为基线(312)。
在一些示例实现中，由发送器302投射的光可以是红外(IR)光。IR光可以包括可见光谱的部分和/或光谱中肉眼不可见的部分。在一个示例中，IR光可以包括NIR光(其可以包括或者可以不包括在可见光谱内的光)和/或在可见光谱之外的IR光(诸如远红外(FIR)光)。术语IR光不应当限于具有在IR光的波长范围内或在IR光的波长范围附近的特定波长的光。进一步地，IR光是作为来自发送器的示例发射来提供的。在以下描述中，可以使用其它适当波长的光，例如，在可见光谱的部分中在IR光波长范围之外的光或者紫外光。替代地，可以使用具有不同波长的其它信号，诸如微波、射频信号和其它适当的信号。
场景306可以包括在距SL系统(诸如距发送器302和接收器308)的不同深度处的对象。例如，场景306中的对象306A和306B可以处于不同的深度。接收器308可以被配置为从场景306接收所发射的光点的分布304的反射310。为了接收反射310，接收器308可以捕获图像。当捕获图像时，接收器308可以接收反射310、以及(i)光点的分布304从场景306的在不同深度处的其它部分的其它反射，以及(ii)环境光。在所捕获的图像中还可能存在噪声。
在一些示例实现中，接收器308可以包括透镜330，以将所接收的光(包括来自对象306A和306B的反射310)聚焦或引导至接收器308的传感器332上。接收器308还可以包括光圈320。针对示例假设仅接收到反射310，对象306A和306B的深度可以是基于基线312、在反射310中的光分布304(诸如码字)的位移和失真、以及反射310的强度来确定的。例如，沿着传感器332从位置316到中心314的距离334可以用于确定对象306B在场景306中的深度。类似地，沿着传感器332从位置318到中心314的距离336可以用于确定对象306A在场景306中的深度。沿着传感器332的距离可以是依据传感器332的像素的数量或距离(诸如毫米)来测量的。
在一些示例实现中，传感器332可以包括用于捕获图像的光电二极管(诸如雪崩光电二极管)的阵列。为了捕获图像，该阵列中的每个光电二极管可以捕获击中光电二极管的光，以及可以提供指示光的强度的值(捕获值)。因此，图像可以是由光电二极管的阵列提供的捕获值。
除了传感器330包括光电二极管的阵列之外或者作为其的替代，传感器332可以包括互补金属氧化物半导体(CMOS)传感器。为了通过光敏CMOS传感器来捕获图像，该传感器的每个像素可以捕获击中该像素的光，以及可以提供指示光的强度的值。在一些示例实现中，光电二极管的阵列可以耦合到CMOS传感器。以这种方式，由光电二极管的阵列生成的电脉冲可以触发CMOS传感器的相应的像素以提供捕获值。
传感器332可以至少包括至少一数量的像素，该数量等于在分布304中的可能的光点的数量。例如，光电二极管的阵列或CMOS传感器可以分别包括一数量的光电二极管或一数量的像素，该数量对应于在分布304中的可能的光点的数量。传感器332在逻辑上可以划分为与码字的比特的大小相对应的像素组或光电二极管的组(诸如4x4组)。像素或光电二极管的组也可以称为比特(bit)，以及从传感器332的比特捕获的图像中的部分也可以称为比特。在一些示例实现中，传感器332可以包括与分布304相同数量的比特。
如果光源324发送IR光(诸如在波长为例如940nm的NIR光)，则传感器332可以是IR传感器，以接收NIR光的反射。如所示出的，距离334(对应于来自对象306B的反射310)小于距离336(对应于来自对象306A的反射310)。使用基于基线312以及距离334和距离336的三角测量，对象306A和306B在场景306中的不同的深度可以是在生成针对场景306的深度信息时确定的。确定深度可以进一步包括确定分布304在反射310中的位移或失真。
尽管在图3中示出多个单独的组件，但是这些组件中的一个或多个组件可以是一起实现的或者包括额外的功能。对于SL系统300而言可能并不要求所有描述的组件，或者组件的功能可以分为单独的组件。还可能存在未示出的额外的组件。例如，接收器308可以包括带通滤波器，以允许具有确定的波长范围的信号传递到传感器332上(从而过滤掉具有在该范围之外的波长的信号)。以这种方式，可以防止一些偶然的信号(诸如环境光)干扰由传感器332进行的捕获。带通滤波器的范围可以以用于发送器302的传输波长为中心。例如，如果发送器302被配置为发送具有940nm的波长的NIR光，则接收器308可以包括被配置为允许具有在例如920nm至960nm的范围内的波长的NIR光的带通滤波器。因此，关于图3描述的示例是出于说明性的目的，以及本公开内容不应当限于示例SL系统300。
对于光发射器(诸如发送器302)，光源可以是任何适当的光源。在一些示例实现中，光源324可以包括一个或多个分布式反馈(DFB)激光器。在一些其它示例实现中，光源324可以包括一个或多个垂直腔面发射激光器(VCSEL)。
DOE是位于来自光源的光的投射路径中的材料。DOE可以被配置为将光点分成多个光点。例如，DOE的材料可以是具有已知折射率的半透明的或透明的聚合物。DOE的表面可以包括峰和谷(改变DOE的深度)，以使得当光穿过DOE时，光点分成多个光点。例如，DOE可以被配置为从一个或多个激光器接收一个或多个光点，以及对具有与由一个或多个激光器发射的光点相比更大数量的光点的预期分布进行投射。虽然附图可以示出DOE的深度仅沿着DOE的一条轴线变化，但是附图仅用于辅助描述本公开内容的各方面。DOE的表面的峰和谷可以位于DOE的表面的任何部分处，以及引起DOE的各部分的深度的任何适当的变化，以及本公开内容不应当限于针对DOE的特定表面配置。
图4示出了被配置用于使用ToF和SL技术的主动深度感测的示例设备400的框图。将理解的是，ToF和SL是示例主动深度技术，并且设备400在一些实现中可以使用其它主动深度技术。在一些实施例中，设备400可以被配置为使用ToF技术来生成深度信息，同时使用SL技术来减轻深度信息中的MPI的效应。设备400可以包括或耦合到发射器401(“第一发射器”)、传感器402、处理器404、存储指令408的存储器406和主动深度控制器410(其可以包括一个或多个信号处理器412)。发射器401可以包括或耦合到DOE 405。DOE 405可以可选地被包括在设备400中或耦合到设备400。发射器401可以包括或耦合到漫射器407。漫射器407可以可选地被包括在设备400中或耦合到设备400。
设备400还可以包括或耦合到发射器421(“第二发射器”)。在一些实现中，发射器421可以与发射器401相同或类似。发射器421可以包括或耦合到DOE 425，DOE 425可以与DOE 405相同或类似。DOE 425可以可选地被包括在设备400中或耦合到设备400。发射器421可以包括或耦合到漫射器427，漫射器427可以与漫射器407相同或类似。漫射器427可以可选地被包括在设备400中或耦合到设备400。本公开内容中的关于发射器401、DOE 405或漫射器407中的一者或多者描述的方面也可以分别适用于发射器421、DOE 425或漫射器427中的一者或多者。
反射组件431可以位于发射器401和发射器421之间。反射组件431可以可选地被包括在设备400、发射器401或发射器421中的一者或多者中，或耦合到设备400、发射器401或发射器421中的一者或多者。在一些实现中，反射组件431可以被配置为将由发射器401投射的光重定向到场景的第一部分上，并且将由发射器421投射的光重定向到场景的第二部分上，如关于图6A和6B进一步描述的。
出于本文讨论的目的，设备400可以被称为“ToF和SL系统”。此外，出于本文讨论的目的，“ToF和SL系统”可以替代地仅指代设备400的一个或多个组件(例如，主动深度控制器410、发射器401、传感器402、DOE 405、漫射器407、发射器421、DOE 425、漫射器427或反射组件431中的一者或多者)或者可以用于主动深度感测的任何其它组件。
在一些实施例中，发射器401或发射器421中的一者或多者可以是单个混合激光投射器，其能够在以下两者之间切换：在发射器401或发射器421中的一者或多者的第一投射模式(例如，ToF投射模式)期间投射第一光分布(例如，在使用漫射器407或漫射器427中的一者或多者的情况下)；以及，在发射器401或发射器421中的一者或多者的第二投射模式(例如，SL投射模式)期间投射第二光分布(例如，在使用DOE 405或DOE 425中的一者或多者的情况下)。当在SL投射模式下操作时，DOE 405和425可以分别使得发射器401和421能够发送第二光分布，第二光分布可以例如是已知DOE点图案、码字DOE投射等。漫射器407和427可以是可开闭的，使得当设备400在SL投射模式下操作时漫射器“关闭”(或“禁用”或“切断”)，并且当设备400在ToF投射模式下操作时漫射器“开启”(或“启用”或“打开”)。
更具体地，当在ToF投射模式下操作时，漫射器407和427中的相应漫射器被打开，这使得发射器401和421中的相应发射器发送第二光分布(例如，泛光分布(flooddistribution))。因此，发射器401和421可以被同步以在SL投射模式期间投射第二光分布(例如，DOE分布)以及在ToF投射模式期间投射第二光分布(例如，全泛光帧)。在一些方面中，光分布中的一个或多个分布可以是时间调制的，如关于图1所描述的。在一些实施例中，发射器401和发射器421中的一者或多者可以包括多个投射器。
在一些实施例中，传感器402可以是单个混合的ToF和SL传感器，其用于根据ToF和SL感测(或“读出”)模式来接收反射光。传感器402可以被配置为在第一感测模式(例如，ToF感测模式)下操作和第二感测模式(例如，SL感测模式)下操作之间切换。例如，传感器402可以是复合CMOS图像传感器，其被配置为在ToF感测模式下操作和在SL感测模式下操作之间切换(或在两者之间交替)。感测模式可以取决于发射器401和421中的相应发射器正在投射哪种分布(例如，DOE或泛光)。在一些方面中，传感器402可以是基于单片像素阵列架构，例如，具有时分复用读取(TDMR)能力。在其它实施例中，传感器402可以包括与多个投射器相结合地操作的一个或多个通用ToF传感器。
在一些实施例中，主动深度控制器410可以是用于计算深度信息的计算元件。主动深度控制器410可以被配置为在使用ToF技术计算深度信息与使用SL技术计算深度信息之间进行交替。出于本文讨论的目的，使用SL技术而计算的深度信息也可以被称为“SL深度信息”、“SL信息”等。类似地，出于本文讨论的目的，使用ToF技术而计算的深度信息也可以被称为“ToF深度信息”、“ToF信息”等。在一些方面中，主动深度控制器410可以使用SL深度信息作为用于计算或补充ToF深度信息的参考，这可以帮助补偿ToF深度信息中的MPI误差。也就是说，主动深度控制器410可以使用来自SL模式的稀疏深度信息作为基准参考，以补偿来自ToF模式的深度信息中的多径效应。以这种方式，主动深度控制器410可以生成不具有MPI伪影的高分辨率且高精度的深度信息。在一些实施例中，传感器402可以是可重构指令单元阵列(RICA)，其是专有的、实时的、低功率的、可(重新)编程的图像信号处理(ISP)、主动感测、处理引擎。在一些方面中，将本文所描述的混合NIR传感器与RICA可编程实现方式进行叠加可以使得主动深度控制器410能够“即时地(on-the-fly)”切换编程以切换计算SL深度信息和ToF深度信息，同时减少用于传感器(例如，传感器402)的组件的数量。在其它实施例中，主动深度控制器410可以是通用传感器。
在一些方面中，主动深度控制器410可以被配置为控制(或以其它方式操作)发射器401、发射器421或传感器402中的一者或多者以同步其各自的操作模式，使得传感器402和发射器401和421同时在其各自的SL模式或ToF模式下操作。在一些方面中，主动深度控制器410可以由设备400的一个或多个其它组件(诸如处理器404或存储器406中的至少一者)控制、与其相结合地工作或以其它方式由其操作。
设备400可以可选地包括或者耦合到显示器414和多个输入/输出(I/O)组件416。传感器402可以是或者可以以其它方式耦合到相机，诸如单相机、双相机模块、或者具有任何数量的其它相机传感器的模块(未示出)。信号处理器412可以被配置为处理来自传感器402的捕获。设备400可以进一步包括耦合到处理器404的一个或多个可选传感器420(诸如陀螺仪、磁力计、惯性传感器、NIR传感器等)。设备400还可以包括电源418，电源418可以耦合到设备400或者整合到设备400中。设备400可以包括未示出的额外的特征或组件。
存储器406可以是存储用于执行在本公开内容中描述的一个或多个操作的全部或部分操作的计算机可执行指令408的非瞬态或非暂时性计算机可读介质。处理器404可以是能够执行存储在存储器406内的一个或多个软件程序的脚本或指令(诸如指令408)的一个或多个适当的处理器。在一些方面中，处理器404可以是一个或多个通用处理器，通用处理器执行指令408以使得设备400执行任何数量的功能或操作。在额外或替代的方面中，处理器404可以包括集成电路或其它硬件以在不使用软件的情况下执行功能或操作。虽然在图4的示例中示为经由处理器404互相耦合，但是处理器404、存储器406、主动深度控制器410、可选显示器414、可选I/O组件416和可选传感器420可以以各种布置互相耦合。例如，处理器404、存储器406、主动深度控制器410、可选显示器414、可选I/O组件416和/或可选传感器420可以经由一个或多个本地总线互相耦合(为了简单起见未示出)。
显示器414可以是考虑到用户交互和/或呈现用于由用户观看的项目(诸如场景的深度信息或预览图像)的任何适当的显示器或屏幕。在一些方面中，显示器414可以是触敏显示器。I/O组件416可以是或者包括用于从用户接收输入(诸如命令)以及向用户提供输出的任何适当的机制、接口或设备。例如，I/O组件416可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备400的可压缩外框(bezel)或边框、位于设备400上的物理按钮等。显示器414和/或I/O组件416可以向用户提供针对场景的预览图像或深度信息，和/或接收用于调整设备400的一个或多个设置(诸如调整发射器401或发射器421中的一者或多者的发射的强度，确定或切换设备400的一种或多种操作模式，调整发射器401或发射器421中的一者或多者的发射场等)的用户输入。
主动深度控制器410还可以包括或者可以以其它方式耦合到信号处理器412，信号处理器412可以是一个或多个处理器以处理来自传感器402的捕获。主动深度控制器410可以被配置为将发射器401、发射器421或传感器402中的至少一者在一种或多种操作模式之间切换。主动深度控制器410可以替代地或另外包括特定硬件和执行软件指令的能力的组合。
发射器401或发射器421中的一者或多者可以针对不同的操作模式来改变其发射场。在一些示例实现中，发射器401或发射器421中的一者或多者可以包括用于调整发射/传输场的大小的调焦装置。在一个示例中，附接到致动器(诸如微电子机械系统(MEMS)致动器)的反射镜可以调整来自发射器401和421中的相应发射器的光发射的焦点。在另一示例中，可调整的全息光学元件(HOE)可以调整来自发射器401和421中的相应发射器的光发射的焦点。在进一步的示例中，可成形DOE(诸如用于调整形状的压电材料)可以被调整为将衍射的所发射的光点聚焦。
在一些其它示例实现中，设备400可以使用多个光发射器(未示出)来代替发射器401和421或与发射器401和421相结合地发射光。发射器可以包括(例如，第一光发射器阵列的)用于发射具有第一传播场的光的第一组光发射器。发射器还可以包括(例如，第二光发射器阵列的)用于发射具有第二传播场的光的第二组或不同组的光发射器。在距发射器401或发射器421中的一者或多者的公共深度处，第一场可以大于第二场。在一些示例实现中，第一组光发射器可以针对发射器401和421中的相应发射器的第一模式激活，并且第二组光发射器可以针对发射器401和421中的相应发射器的第二模式激活。
图5示出了说明包括传感器509、发射器549和控制器579的ToF和SL系统的示例操作的时序图500。传感器509、发射器549和控制器579可以分别是图4的传感器402、发射器401和421以及主动深度控制器410的示例实施例。将理解的是，ToF和SL是示例主动深度技术，并且系统在一些实现中可以使用其它主动深度技术。
示例时序图500示出了用于发射器549的三个投射循环：在时间501处结束的第一投射循环、在时间502处结束的第二投射循环和在时间503处结束的第三投射循环。发射器549中的每一者可以在这些投射循环中的每个循环期间投射第一光分布。第一光分布可以是用于第一投射模式(诸如ToF投射模式)的泛光分布。例如，发射器549中的每一者可以分别针对第一、第二和第三投射循环中的每个循环在ToF投射模式期间投射泛光分布550、泛光分布552和泛光分布554。出于本文讨论的目的，泛光分布也可被称为“泛光照明”或“漫射光”。在一些方面中，这些泛光分布中的一个或多个泛光分布可以是时间调制的，如关于图1和4所描述的。发射器549中的每一者还可以在投射循环中的每个循环期间投射第二光分布。第二光分布可以是用于第二投射模式(诸如SL投射模式)的DOE分布。例如，针对第一、第二和第三投射循环中的每个循环在SL投射模式期间，发射器549中的每一者可以分别投射DOE分布570、DOE分布572和DOE分布574。出于本文讨论的目的，DOE分布也可以被称为“DOE图案”、“DOE投射”、“SL分布”、“SL图案”和/或“SL投射”。
示例时序图500示出了用于传感器509的三个感测循环：在时间501处结束的第一感测循环、在时间502处结束的第二感测循环和在时间503处结束的第三感测循环。传感器509可以针对每个感测循环，读出两个帧的ToF传感器数据(在ToF感测模式期间)和一个帧的SL传感器数据(在SL感测模式期间)。在发射器549被配置为在ToF投射模式下操作的同时，传感器509可以被配置为在ToF感测模式下操作。在发射器549被配置为在SL投射模式下操作的同时，传感器509可以被配置为在SL感测模式下操作。在ToF感测模式期间，发射器549可以发射激光脉冲，并且传感器509可以以相对于来自发射器549中的每一者的相应脉冲信号的多个特定激光脉冲相位偏移(例如，相位0°、相位180°、相位90°、以及相位270°)来被曝光。传感器509可以针对特定激光脉冲相位偏移(或“相位偏移”)中的每一者来累积和存储电荷量(Q)。
例如，在第一曝光期间，传感器509可以基于Q1和Q2来读出第一帧的ToF传感器数据510，其中，Q1是在0°相位偏移处累积的电荷，并且其中，Q2是在180°相位偏移处累积的电荷。在第二曝光期间，传感器509可以基于Q3和Q4来读出第二帧的ToF传感器数据512，其中，Q3是在90°相位偏移处累积的电荷，并且其中，Q4是在270°相位偏移处累积的电荷。类似地，传感器509可以在第二感测循环期间读出第一帧的ToF传感器数据514和第二帧的ToF传感器数据516，并且传感器509可以在第三感测循环期间读出第一帧的ToF传感器数据518和第二帧的ToF传感器数据520。传感器509可以在第一感测循环期间读出一帧的SL传感器数据530、在第二感测循环期间读出一帧的SL传感器数据532以及在第三感测循环期间读出一帧的SL传感器数据534。
在每个感测循环之后，控制器579可以使用SL传感器数据来计算SL深度信息(Z(SL))。例如，控制器579可以在第一、第二和第三感测循环中的每个循环之后分别计算SL深度信息(Z(SL))580、Z(SL)582和Z(SL)584。
在计算Z(SL)之后，控制器579可以使用Z(SL)来减少、滤波和/或消除与针对对应感测循环的ToF传感器数据相关联的MPI。出于本文讨论的目的，改进的深度信息可以被称为Z(ToF+SL)。例如，控制器579可以在分别计算Z(SL)580、Z(SL)582和Z(SL)584中的每一者之后计算Z(ToF+SL)590、Z(ToF+SL)592和Z(ToF+SL)594。在一些方面中，控制器579可以使用针对对应感测循环的一个帧的ToF传感器数据来计算Z(ToF+SL)，或者，由于ToF感测技术易受噪声影响，控制器579可以使用针对对应感测循环的多于一个的帧的ToF传感器数据来计算Z(ToF+SL)。在一些实现中，控制器579可以在下一感测循环期间的任何时间使用第一帧的ToF传感器数据和第二帧的ToF传感器数据来计算Z(SL)和Z(ToF+SL)。作为一个非限制性示例，控制器579可以将第一帧的ToF传感器数据510与第二帧的ToF传感器数据512进行平均，以在时间501和时间502之间计算Z(SL)580和Z(ToF+SL)590。在一些方面中，控制器可以以不同的方式使用ToF传感器数据帧来计算Z(SL)和/或Z(ToF+SL)。
以这种方式，系统可以使用来自SL模式的稀疏深度信息作为基准，来生成不具有MPI伪影的高分辨率且高精度的深度信息，以消除来自ToF模式的多径效应。根据本文描述的实施例，系统可以使用单个传感器(例如，传感器509)、一对发射器(例如，发射器549)和/或单个控制器(例如，控制器579)来生成不具有MPI伪影的深度信息。
图6A示出了ToF和SL光投射系统600的示例。系统600包括第一发射器602和第二发射器608，第一发射器602和第二发射器608可以分别是图4的发射器401和发射器421的示例实施例。系统600还包括位于第一发射器602和第二发射器608之间的反射组件614。反射组件614将由第一发射器602和第二发射器608投射的光重定向到场景632上，场景632可以包括对象(为了简单起见，未示出)。在一些实现中，系统600可以包括一个或多个图像捕获设备，诸如ToF相机和SL相机(为简单起见未示出)用于检测经重定向的光的反射。在一些方面中，ToF相机和SL相机可以包括图像传感器，诸如图4的传感器402。第一DOE 604耦合到第一发射器602的前部，并且第一漫射器606耦合到第一DOE 604的前部。类似地，第二DOE 610耦合到第二发射器608的前部，并且第二漫射器612耦合到第二DOE 610的前部。第一DOE 604、第一漫射器606、第二DOE 610和第二漫射器612可以分别是图4的DOE 405、漫射器407、DOE425和漫射器427的示例实施例。第一透镜(为了简单起见，未示出)可以位于第一发射器602和第一DOE 604之间，并且第二透镜(为了简单起见，未示出)可以位于第二发射器608和第二DOE 610之间。出于本文讨论的目的，第一发射器602、第一透镜、第一DOE 604和第一漫射器606可以被统称为第一光投射器601，并且第二发射器608、第二透镜、第二DOE 610和第二漫射器612可以被统称为第二光投射器609。在一些方面中，第一光投射器601和第二光投射器609可以相同(或几乎相同)。
第一光投射器601朝着第二光投射器609投射第一光，而第二光投射器609朝着第一光投射器601投射第二光。在一些实现中，沿着轴(为了简单起见，未示出)在第一方向上投射第一投射光620，并且沿着轴在与第一方向相反的第二方向上投射第二投射光624。在一些方面中，第一光投射器和第二光投射器可以物理上分开一定距离，并且反射组件614可以沿着第一光投射器和第二光投射器之间的轴定位。
反射组件614可以包括：将从第一光投射器601投射的光的第一光路光学地折叠的第一反射元件616；以及将从第二光投射器609投射的光的第二光路光学地折叠的第二反射元件618。在一些实现中，第一反射元件616可以是第一棱镜，其包括用于接收从第一光投射器601投射的光的第一反射面617，并且第二反射元件618可以是第二棱镜，其包括用于接收从第二光投射器609投射的光的第二反射面619。在一些其它实现中，反射组件614的一个或多个部分可以是玻璃。反射组件614将第一投射光620和第二投射光624分别重定向到场景的第一部分634和场景的第二部分636。具体地，第一反射元件616至少部分地基于第一折叠光路来将由第一反射元件616折叠的光折射到场景的第一部分634上，并且第二反射元件618至少部分地基于第二折叠光路来将由第二反射元件618折叠的光折射到场景的第二部分636上。
在一些实现中，第一反射元件616和第二反射元件618可以具有相同(或几乎相同)的折射率。因此，反射组件614可以对称地(或几乎对称地)将由第一光投射器601和第二光投射器609投射的光折射到场景的第一部分634和场景的第二部分636中的相应部分上。以这种方式，场景的第一部分634和场景的第二部分636可以彼此相邻。在一些实现中，第一部分和第二部分彼此不重叠。也就是说，场景的第一部分634和场景的第二部分636可以以这样的方式对齐：使得第一部分634和第二部分636以可忽略的间隙量(诸如小于第一值)和可忽略的重叠量(诸如小于第二值)而无缝地覆盖场景632。
图6A的示例示出了从第一光投射器601投射的四个示例光束(A、B、C和D)和从第二光投射器609投射的四个示例光束(E、F、G和H)。例如，第一光投射器601投射光束A，光束A在点A处进入第一反射元件616。基于第一反射元件616的折射特性，光束A光学地折叠到第一反射面617上的点A’，并且以朝着场景632的第一角度(例如，0°)离开第一反射元件616。类似地，第二光投射器609投射光束E，光束E在点E处进入第二反射元件618。基于第二反射元件618的折射特性，光束E光学地折叠到第二反射面619上的点E’，并且以朝着场景632的第一角度离开第二反射元件618。由于第一反射元件616和第二反射元件618具有相同的折射率，因此点A和A’分别是与点E和E’对称的。
作为另一示例，第一光投射器601投射光束B，光束B在点B处进入第一反射元件616。基于第一反射元件616的折射特性，光束B光学地折叠到点B’，然后折叠到点B”，并且以朝着场景632的第二角度(例如，大于70°)离开第一反射元件616。以对称方式，第二光投射器609投射光束F，光束F在点F处进入第二反射元件618。基于第二反射元件618的折射特性，光束F光学地折叠到点F’，然后折叠到点F”，并且以朝着场景632的第二角度离开第二反射元件618。
类似地，第一光投射器601投射光束C，光束C在点C处进入第一反射元件616。基于第一反射元件616的折射特性，光束C光学地折叠到点C’，然后折叠到点C”，并且以朝着场景632的第三角度(例如，大于70°)离开第一反射元件616。以对称方式，第二光投射器609投射光束G，光束G在点G处进入第二反射元件618。基于第二反射元件618的折射特性，光束G光学地折叠到点G’，然后折叠到点G”，并且以朝着场景632的第三角度离开第二反射元件618。
类似地，第一光投射器601投射光束D，光束D在点D处进入第一反射元件616。基于第一反射元件616的折射特性，光束D光学地折叠到点D’，然后折叠到点D”，并且以朝着场景632的第三角度(例如，0°)离开第一反射元件616。以对称方式，第二光投射器609投射光束H，光束H在点H处进入第二反射元件618。基于第二反射元件618的折射特性，光束H光学地折叠到点H’，然后折叠到点H”，并且以朝着场景632的第三角度离开第二反射元件618。
因此，反射组件614将光束A-D和光束E-H分别对称地折射到场景632上。以这种方式，光束被投射到场景的第一部分634和场景的第二部分636，并且系统600具有场景632的宽(例如，大于70度)视场(FOV)。
图6B示出了在第一模式(例如，ToF模式，如在左侧所示)和第二模式(例如，SL模式，如在右侧所示)下操作的示例ToF和SL光投射系统650。ToF和SL系统650可以是图6A的ToF和SL系统600的简化示例实施例。也就是说，第一光投射器651、第二光投射器659和反射组件664可以分别是图6A的第一光投射器601、第二光投射器609和反射组件614的示例实施例。反射组件664可以将由第一光投射器651和第二光投射器659投射的光重定向到场景682上，场景682可以包括对象(为了简单起见，未示出)。在一些实现中，系统650可以包括一个或多个图像捕获设备，诸如ToF相机和SL相机(为了简单起见，未示出)用于检测经重定向的光的反射。在一些方面中，ToF相机和SL相机可以包括图像传感器，其可以是图4的传感器402的示例实施例。系统650还可以包括控制器(为了简单起见，未示出)，诸如图4的主动深度控制器410。
在一些实现中，第一漫射器和第二漫射器中的每一者可以是可开闭漫射器，其被配置为分别在ToF感测模式和SL感测模式之间转换第一光投射器651和第二光投射器659。在ToF模式期间，第一发射器和第二发射器可以在ToF投射模式下操作，并且传感器402可以在ToF感测模式下操作，如关于图5所描述的。在SL模式期间，第一发射器和第二发射器可以在SL投射模式下操作，并且传感器402可以在SL感测模式下操作，同样如关于图5所描述的。
在ToF模式期间，第一漫射器和第二漫射器可以被打开，如利用实心灰色所指示的。因此，当第一光投射器651的激光器穿过第一DOE发射光时，来自第一DOE的DOE分布在穿过第一漫射器时被漫射，这提供了场景的第一部分684的泛光照明。类似地，当第二光投射器659的激光穿过第二DOE发射光时，来自第二DOE的DOE分布在穿过第二漫射器时被漫射，这提供了场景的第二部分686的泛光照明。具体地，在ToF模式期间，第一发射器发送第一脉冲信号，并且第一漫射器将第一投射光进行漫射以将均匀的泛光分布投射到场景的第一部分684上。
类似地，在ToF模式期间，第二发射器发送第二脉冲信号，并且第二漫射器将第二投射光进行漫射以将均匀的泛光分布投射到场景的第二部分686上。也就是说，反射组件664可以对称地(或几乎对称地)折射由第一光投射器651和第二光投射器659中的每一者投射的光，使得场景的、光从第一光投射器651被投射到其上的部分(例如，场景的第一部分)可以与场景的、光从第二光投射器659被投射到其上的部分(例如，场景的第二部分)相邻，然而不重叠。以这种方式，来自第一光投射器651和第二光投射器659的光的投射(被反射组件664折射)可以以这样的方式对齐：使得来自第一光投射器651和第二光投射器659的光的投射以可忽略的间隙量(诸如小于第一值)和可忽略的重叠量(诸如小于第二值)无缝地覆盖场景682。返回参考图4，第一脉冲信号和第二脉冲信号的第一反射信号和第二反射信号可以分别到达传感器402，并且传感器402捕获包括脉冲信号的帧。主动深度控制器410(诸如信号处理器412)可以通过确定用于光被反射回传感器402的时间量，基于所捕获的帧来计算ToF深度信息。
在SL模式期间，第一漫射器和第二漫射器可以被关闭(如利用白色所指示的)。在一些实现中，第一漫射器和第二漫射器起到透明的作用。因此，当第一光投射器651的激光器在SL模式期间穿过第一DOE发射光时，来自第一DOE的DOE分布未受影响地穿过第一漫射器，其将第一投射光投射到场景的第一部分684上(例如，作为第一光点分布，诸如点阵图案)。类似地，当第二光投射器659的激光器在SL模式期间穿过第二DOE发射光时，来自第二DOE的DOE分布未受影响地通过第二漫射器，其将第二投射光投射到场景的第二部分686上(例如，第二光点分布，诸如点阵图案)。在一些实现中，第一光点分布和第二光点分布可以相同或类似。
返回参考图4，传感器402可以捕获包括经重定向的光的反射的帧(其中，光被场景632中的对象反射)。主动深度控制器410(诸如信号处理器412)可以在所捕获的帧中检测由第一光投射器651和第二光投射器659投射的经重定向的光，分别作为第一反射光和第二反射光。然后，主动深度控制器410(诸如信号处理器412)可以基于以下方式来计算SL深度信息：其中，第一投射光和第二投射光分别在场景的第一部分684和场景的第二部分686上失真。
主动深度控制器410可以被配置为：基于所检测到的经重定向的光的反射来生成深度信息，并且至少部分地基于与反射组件664相关联的一个或多个折射角来校正所生成的深度信息中的投射失真。控制器410可以在计算ToF深度信息期间使用所生成的SL深度信息来减少或消除ToF深度信息中的多径伪影。
例如，以一定角度通过棱镜投射光而不是直接在场景632处投射光可能导致所得到的SL深度信息中的某种水平(或值)的失真或歪斜。出于本文讨论的目的，失真或歪斜可以被称为“投射失真”。此外，与第一投射光620和第二投射光624被直接朝着场景632投射的情况相比，第一投射光620和第二投射光624通过反射组件614被重定向可能花费更多的时间。因此，基于由反射组件614重定向的光而生成的ToF深度信息还可能包括某个水平(或值)的投射失真。
在本公开内容的一些方面中，系统600可以被配置为抵消或补偿投射失真。在一些实现中，反射组件614可以以已知方式来使投射光失真。因此，第一光投射器601或第二光投射器609中的至少一者可以包括用于抵消投射失真的预失真图案。也就是说，预失真图案可以被合并到第一DOE604或第二DOE 610中的至少一者中，使得相应的DOE图案抵消(或“取消”)已知的投射失真。另外或替代地，系统600可以被配置为在检测到经重定向的光的反射(“后捕获”)之后对投射失真进行数字补偿，诸如通过使用图4的主动深度控制器410。
在一些实现中，系统650可以被包括在诸如相机或蜂窝电话之类的设备中或耦合到该设备。参考图4，在设备400作为示例设备的情况下，主动深度控制器410可以被配置为至少部分地基于所生成的深度信息来识别设备的使用者的面部。在一些方面中，控制器410还可以被配置为至少部分地基于所生成的深度信息的第二部分来解决所生成的深度信息的第一部分中的多径干扰(MPI)。
图7示出了用于解调像素单元700的示例电路图。在一些实现中，解调像素单元700可以被包括在传感器(诸如图4的传感器402)中或耦合到传感器，并且可以用于生成ToF深度信息。解调像素单元700可以包括耦合到地电位710的光电二极管720。光电二极管720可以将来自反射信号的光(例如，光子)转换为电流，该电流流到与光电二极管720并联耦合的晶体管730和晶体管760。晶体管730和晶体管760可以分别阻止电流流到电容器(C1)和电容器(C2)。C1可以耦合到地电位750，并且C2可以耦合到地电位780。在一些方面中，晶体管730或晶体管760中的至少一者可以是场效应晶体管(FET)。在一些方面中，晶体管730和晶体管760中的至少一者可以是金属-氧化物-半导体场效应晶体管(MOSFET)。
例如，在第一曝光循环期间，当快门在相对于所发送的信号的第一相位偏移(例如，Φ1＝0°)处打开时，C1可以存储来自反射信号的第一电荷(Q1)，并且当快门在相对于所发送的信号的第二相位偏移(例如，Φ2＝180°)处打开时，C2可以存储来自反射信号的第二电荷(Q2)。在第二曝光循环期间，当快门在相对于所发送的信号的第三相位偏移(例如，Φ1＝90°)处打开时，C1可以存储来自反射信号的第三电荷(Q3)，并且当快门在相对于所发送的信号的第四相位偏移(例如，Φ2＝270°)处打开时，C2可以存储来自反射信号的第四电荷(Q4)。在所发送的信号和反射信号之间的相位偏移
Figure BDA0003851909440000141
可以基于针对曝光循环中的每个曝光循环在C1和C2上存储的电荷来计算，这允许计算对应的ToF深度信息：
Figure BDA0003851909440000142
Figure BDA0003851909440000143
Figure BDA0003851909440000144
其中，D表示深度信息，c表示光速(即
Figure BDA0003851909440000145
)，fmod表示所发送的信号的调制频率，V0-V180表示在第一曝光循环期间针对Φ1和Φ2的积分电信号，V90-V270表示在第二曝光循环期间针对Φ1和Φ2的积分电信号，以及σdepth表示深度精度。因此，解调像素单元700可以捕获用于生成ToF深度信息的ToF传感器数据。
图8A示出了用于全局快门(GS)像素阵列800的示例电路图。GS像素阵列800在本文中也可以被称为NIR-GS成像器。GS像素阵列800包括两个共享的GS光电二极管PD1和PD2。PD1和PD2中的每一者可以在SL感测模式期间吸收光子(例如，来自从场景和/或对象反射回来的光)。PD1和PD2中的每一者分别耦合到浮动存储二极管SD1和SD2。SD1和SD2可以作为用于电荷累积和从光电二极管PD1和PD2读出的存储节点元件来操作。存储二极管SD1和SD2中的每一者分别耦合到传输门TG1和TG2。TG1和TG2可以是具有相对低的电压降的晶体管。来自PD1和PD2的电荷可以分别流到晶体管LOD1和晶体管LOD2，晶体管LOD1和晶体管LOD2各自耦合到电源电压Vddpix 865。
GS像素阵列800包括用于累积电荷的电容器FD。电容器FD耦合到晶体管TS1，晶体管TS1耦合到例如存储二极管SD1。电容器FD还耦合到晶体管TS2，晶体管TS2耦合到例如存储二极管SD2。电容器FD进一步耦合到复位开关RST。当RST关闭时，电荷可以流到Vddpix875。当RST打开时，电荷可以流到源极跟随放大器SF_AMP。由于SF_AMP的源极电压保持与栅极电压成比例，SF_AMP可以将电荷转换为电压，并且切换选择开关SEL。当SEL打开时(例如，在SL模式期间，当TS1和TS2打开时)，Vddpix 875可以被隔离，并且来自信号脉冲序列(例如，脉冲串)中的每个信号脉冲的相对少量的电荷可以在电容器FD上累积。当SEL闭合时(例如，在SL模式中的每个SL模式之后，当TS1和TS2闭合时)，所累积的信号脉冲序列可以从TG1和TG2中的每一者传输到输出端子Vout。Vout可以耦合到电流源I_bias。因此，GS像素阵列800可以捕获用于生成SL深度信息的SL传感器数据。
图8B示出了用于GS像素阵列850的示例电路图。GS像素阵列850在本文中也可以被称为NIR-GS成像器。GS像素阵列850包括两个共享的GS光电二极管PD1和PD2。PD1和PD2中的每一者可以在SL感测模式期间吸收光子(例如，来自从场景和/或对象反射回来的光)。PD1和PD2中的每一者分别耦合到CCD读出存储器MEM1和MEM2。MEM1和MEM2可以作为用于电荷累积和从光电二极管PD1和PD2读出的存储节点元件来操作。MEM1和MEM2中的每一者分别耦合到传输门TG1和TG2。TG1和TG2可以是具有相对低的电压降的晶体管。来自PD1和PD2的电荷可以分别流到晶体管LOD1和晶体管LOD2，晶体管LOD1和晶体管LOD2各自耦合到电源电压Vddpix868。
GS像素阵列850包括用于累积电荷的电容器FD。电容器FD耦合到晶体管TS1，晶体管TS1耦合到例如CCD读出存储器MEM1。电容器FD还耦合到晶体管TS2，晶体管TS2耦合到例如CCD读出存储器MEM2。电容器FD进一步耦合到复位开关RST。当RST闭合时，电荷可以流到Vddpix878。当RST打开时，电荷可以流到源极跟随放大器SF_AMP。由于SF_AMP的源极电压与栅极电压成比例，因此SF_AMP可以将电荷转换为电压，并且切换选择开关SEL。当SEL打开时(例如，在SL模式期间，当TS1和TS2打开时)，Vddpix 878可以被隔离，并且来自信号脉冲系列(例如，脉冲串)中的每个信号脉冲的相对少量的电荷可以在电容器FD上累积。当SEL闭合时(例如，在SL模式中的每个SL模式之后，当TS1和TS2闭合时)，所累积的信号脉冲序列可以从TG1和TG2中的每一者传输到输出端子Vout。Vout可以耦合到电流源I_bias。因此，GS像素阵列850可以捕获用于生成SL深度信息的SL传感器数据。
图9示出了用于滚动快门(RS)像素阵列900的示例电路图。像素阵列900在本文中也可以被称为混合NIR-RS成像器，并且能够在ToF感测模式和SL感测模式下操作。RS像素阵列900可以是图4的传感器402的示例实施例。像素阵列900可以被配置为逐行读出信号，并且因此以恒定波模式(例如，以特定占空比)操作，以便使RS的每一行曝光达相等的时间量。RS像素阵列900包括四个共享的RS光电二极管PD1-PD4。PD1-PD4中的每一者可以在SL感测模式期间吸收光子(例如，来自从场景和/或对象反射回来的光)。PD1耦合到两个传输门TG1和TG2。PD2耦合到两个传输门TG3和TG4。PD3耦合到两个传输门TG5和TG6。PD4耦合到两个传输门TG7和TG8。TG1-TG8中的每一者可以是具有相对低的电压降的晶体管。
RS像素阵列900包括用于从反射信号累积电荷的电容器FD1和FD2。FD1和FD2中的每一者分别耦合到复位开关RST1和RS2。当RST1和RS2中的任一者闭合时，电荷可以分别流到Vddpix965和Vddpix 975。当RST1和RST2中的任一者打开时，电荷可以分别流到源极跟随放大器SF_AMP1和SF_AMP2。因为SF_AMP1和SF_AMP2的源极电压保持与栅极电压成比例，所以SF_AMP1和SF_AMP2可以将电荷转换为电压并且分别切换对应的选择开关SEL1和SEL2。
在ToF感测模式期间，TG1-TG8中的每一者可以闭合(激活)，并且像素阵列900可以解调反射信号的多个相位。SEL1和SEL2可以在ToF感测模式期间打开，这可以隔离Vddpix965和Vddpix975，从而允许来自信号脉冲序列(例如，脉冲串)中的每个信号脉冲的相对少量的电荷在FD1和FD2上累积。当SEL1闭合时，所累积的信号脉冲序列可以从TG1、TG3、TG5和TG7转移到输出端子Vout1。当SEL2闭合时，所累积的信号脉冲序列可以从TG2、TG4、TG6和TG8转移到输出端子Vout2。Vout1可以耦合到电流源I_bias1，并且Vout2可以耦合到电流源I_bias2。因此，RS像素阵列900可以捕获用于生成ToF深度信息的ToF传感器数据。
在SL感测模式期间，TG1、TG4、TG5和TG8中的每一者(例如，读出电路的一半)可以闭合，而TG2、TG3、TG6和TG7中的每一者(例如，读出电路的另一半)可以打开。以这种方式，可以在不同的时间帧处以双相位(例如，一个在左侧，而一个在右侧)捕获反射信号。SEL1和SEL2也可以在SL感测模式期间打开，这可以隔离Vddpix 965和Vddpix 975，从而允许来自信号脉冲序列(例如，脉冲串)中的每个信号脉冲的相对少量的电荷在FD1和FD2上累积。
以这种方式，像素阵列900可以作为用于混合模式ToF和SL系统的混合RS传感器来操作，混合模式ToF和SL系统用于使用来自SL模式的稀疏深度信息作为基准来消除来自ToF模式的多径效应，从而生成不具有MPI伪影的高分辨率且高精度的深度信息。
图10示出了根据一些实现的可以由设备执行的用于深度感测的示例过程1000的流程图。过程1000可以由诸如上面参考图4描述的设备400之类的设备来执行。在框1002处，设备使来自设备的第一光投射器的光朝着设备的第二光投射器投射。在框1004处，设备使来自第二光投射器的光朝着第一光投射器投射。在框1006处，设备经由位于第一光投射器和第二光投射器之间的反射组件，将由第一光投射器投射的光重定向到场景的第一部分上，以及将由第二光投射器投射的光重定向到场景第二部分上，场景的第一部分和第二部分彼此相邻并且相对于彼此不重叠。在框1008处，设备检测由第一光投射器和第二光投射器投射的经重定向的光的反射。
图11A示出了根据一些实施例的可以由设备执行的用于深度感测的示例过程1100的流程图。过程1100可以由诸如上面参考图4描述的设备400之类的设备来执行。在一些实现中，过程1100在参考图10描述的过程1000之后开始。例如，在过程1000的框1008中检测到由第一光投射器和第二光投射器投射的经重定向的光的反射之后，在框1102处，设备基于所检测到的经重定向光的反射来生成深度信息，如关于图6B所描述的。在框1104处，设备至少部分地基于与反射组件相关联的一个或多个折射角来校正所生成的深度信息中的投射失真，如关于图6B所描述的。
图11B示出了根据一些实施例的可以由设备执行的用于深度感测的示例过程1110的流程图。过程1110可以由诸如上面参考图4描述的设备400之类的设备来执行。在一些实现中，过程1110在参考图11A描述的过程1100之后开始。例如，在过程1100的框1104中校正投射失真之后，在框1112处，设备至少部分地基于所生成的深度信息来识别设备的使用者的面部，如关于图6B所描述的。
图11C示出了根据一些实现的由设备执行的用于深度感测的示例过程1120的流程图。过程1120可以由诸如上面参考图4描述的设备400之类的设备来执行。在一些实现中，过程1120在过程1100的框1102中生成深度信息之后开始。在框1122处，设备至少部分地基于所生成的深度信息的第二部分来解决所生成的深度信息的第一部分中的多径干扰(MPI)，如关于图5和图6B所描述的。
图12示出了根据一些实现的可以由设备执行的用于深度感测的示例过程1200的流程图。过程1200可以由诸如上面参考图4描述的设备400之类的设备来执行。在各个方面中，图12的示例过程1200可以是用于在图10的过程1000的框1006中将光重定向的一种实现。在框1202处，设备将由第一光投射器和第二光投射器投射的光对称地折射到场景的第一部分和第二部分中的相应部分上，如关于图6A所述。
图13A示出了根据一些实现的可以由设备执行的用于深度感测的示例过程1300的流程图。过程1300可以由诸如上面参考图4描述的设备400之类的设备来执行。在各个方面中，图13的示例过程1300可以是用于在图10的过程1000的框1006中将光重定向的一种实现。在框1302处，设备经由反射组件的第一反射元件将从第一光投射器投射的光的第一光路光学地折叠，如关于图6A所描述的。在框1304处，设备经由反射组件的第二反射元件将从第二光投射器投射的光的第二光路光学地折叠，同样如关于图6A所描述的。
图13B示出了根据一些实现的可以由设备执行的用于深度感测的示例过程1310的流程图。过程1310可以由诸如上面参考图4描述的设备400之类的设备来执行。在一些实现中，过程1310在参考图13A描述的过程1300的框1302和1304中将第一光路和第二光路光学地折叠之后开始。在框1312处，设备至少部分地基于第一折叠光路来将由第一反射元件折叠的光折射到场景的第一部分上，如关于图6A所描述的。在框1314处，设备至少部分地基于第二折叠光路来将由第二反射元件折叠的光折射到场景的第二部分上，同样如关于图6A所描述的。
图13C示出了根据一些实现的可以由设备执行的用于深度感测的示例过程1320的流程图。过程1320可以由诸如上面参考图4描述的设备400之类的设备来执行。在一些实现中，过程1320在参考图13A描述的过程1300的框1302和1304中将第一光路和第二光路光学地折叠之前开始。在框1322处，设备经由第一反射元件的第一棱镜的第一反射面接收从第一光投射器投射的光，如关于图6A所描述的。在框1324处，设备经由第二反射元件的第二棱镜的第二反射面接收从第二光投射器投射的光，同样如关于图6A所描述的。
图14示出了根据一些实现的可以由设备执行的用于深度感测的示例过程1400的流程图。过程1400可以由诸如上文参考图4描述的设备400之类的设备来执行。在各个方面中，图14的示例过程1400可以是用于在图10的过程1000的框1002和1004中的一个或多个框中将来自第一光投射器和第二光投射器中的一者或多者的光进行投射的一种实现。在框1402处，设备经由被提供在第一光投射器和第二光投射器中的每个光投射器内的可开闭漫射器，在结构光(SL)感测模式和飞行时间(ToF)感测模式之间转换相应的光投射器，同样如关于图6B所描述的。
本文所描述的技术可以用硬件、软件、固件或其任何组合来实现，除非具体描述为以特定方式实现。被描述为模块或组件的任何特征也可以在集成逻辑设备中一起实现，或者单独地作为离散但可互操作的逻辑设备来实现。如果用软件来实现，则这些技术可以至少部分地由非暂时性处理器可读存储介质(诸如图4的设备400中的存储器406)来实现，该存储介质包括指令408，指令408在被处理器404(或主动深度控制器410)执行时使得设备400执行上述方法中的一种或多种方法。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分，计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括诸如同步动态随机存取存储器(SDRAM)之类的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、其它已知存储介质等。另外或替代地，可以至少部分地通过处理器可读通信介质来实现这些技术，处理器可读通信介质以指令或数据结构的形式携带或传送代码，并且可以由计算机或其它处理器访问、读取和/或执行。
结合本文公开的实施例描述的各种说明性的逻辑框、模块、电路和指令可以由一个或多个处理器执行，诸如图4的设备400中的处理器404或主动深度控制器410。此类处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其它等效集成或分立逻辑电路。如本文所使用的术语“处理器”可以指代前述结构中的任何结构或适于实现本文所描述的技术的任何其它结构。另外，在一些方面中，可以在如本文描述地配置的专用软件模块或硬件模块内提供本文描述的功能。此外，这些技术可以在一个或多个电路或逻辑元件中完全实现。通用处理器可以是微处理器，但是在替代方式中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或者任何其它这样的配置。
虽然本公开内容示出了说明性方面，但是应当注意的是，在不脱离所附的权利要求的范围的情况下，可以在本文中作出各种改变和修改。例如，虽然投射器被示为包括用于将光定向到衍射元件的透镜，但是投射器可以不包括透镜或者可以包括多个透镜。在另一示例中，设备或光投射器在调整投射时施加的电可以是交流电(AC)或直流电(DC)，并且电压可以是恒定的或非恒定的。因此，电可以是用于调整投射的任何合适的电。另外，除非另有明确说明，否则根据本文所描述的方面的方法权利要求的功能、步骤或动作不需要以任何特定次序来执行。例如，如果由设备400、主动深度控制器410、处理器404和/或存储器406来执行，则所描述的示例操作的步骤可以以任何次序以及以任何频率来执行。此外，尽管可以单数形式描述或要求保护元素，但是除非明确说明限于单数形式，否则可以预期复数形式。因此，本公开内容不限于所示的示例，并且用于执行本文描述的功能的任何单元被包括在本公开内容的各方面中。

Claims (30)

1.一种设备，包括：
第一光投射器和第二光投射器，所述第一光投射器被配置为朝着所述第二光投射器投射光，所述第二光投射器被配置为朝着所述第一光投射器投射光；
位于所述第一光投射器和所述第二光投射器之间的反射组件，所述反射组件被配置为：将由所述第一光投射器投射的光重定向到场景的第一部分上，以及将由所述第二光投射器投射的光重定向到所述场景的第二部分上，其中，所述场景的所述第一部分和所述第二部分彼此相邻并且相对于彼此不重叠；以及
接收器，其被配置为检测由所述第一光投射器和所述第二光投射器投射的经重定向的光的反射。
2.根据权利要求1所述的设备，还包括被配置为进行以下操作的控制器：
基于所检测到的经重定向的光的反射来生成深度信息；以及
至少部分地基于与所述反射组件相关联的一个或多个折射角来校正所生成的深度信息中的投射失真。
3.根据权利要求2所述的设备，其中，所述设备是相机或蜂窝电话中的至少一者，并且其中，所述控制器还被配置为：
至少部分地基于所生成的深度信息来识别所述设备的使用者的面部。
4.根据权利要求2所述的设备，其中，所述控制器还被配置为：至少部分地基于所生成的深度信息的第二部分来解决所生成的深度信息的第一部分中的多径干扰(MPI)。
5.根据权利要求1所述的设备，其中，所述反射组件还被配置为：将由所述第一光投射器和所述第二光投射器投射的光对称地折射到所述场景的所述第一部分和所述第二部分中的相应部分上。
6.根据权利要求1所述的设备，其中，所述反射组件包括：
第一反射元件，其被配置为将从所述第一光投射器投射的光的第一光路光学地折叠；以及
第二反射元件，其被配置为将从所述第二光投射器投射的光的第二光路光学地折叠。
7.根据权利要求6所述的设备，其中，所述第一反射元件和所述第二反射元件具有相同的折射率。
8.根据权利要求6所述的设备，其中：
所述第一反射元件还被配置为：至少部分地基于第一折叠光路来将由所述第一反射元件折叠的光折射到所述场景的所述第一部分上；以及
所述第二反射元件还被配置为：至少部分地基于第二折叠光路来将由所述第二反射元件折叠的光折射到所述场景的所述第二部分上。
9.根据权利要求6所述的设备，其中：
所述第一反射元件包括第一棱镜，所述第一棱镜包括用于接收从所述第一光投射器投射的光的第一反射面；以及
所述第二反射元件包括第二棱镜，所述第二棱镜包括用于接收从所述第二光投射器投射的光的第二反射面。
10.根据权利要求1所述的设备，其中，所述第一光投射器和所述第二光投射器中的每个光投射器还包括可开闭漫射器，所述可开闭漫射器被配置为在结构光(SL)感测模式和飞行时间(ToF)感测模式之间转换相应的光投射器。
11.根据权利要求1所述的设备，其中，所述场景的所述第一部分和所述第二部分中的每个部分具有大于70度的视场(FOV)。
12.根据权利要求1所述的设备，其中：
由所述第一光投射器投射的光是沿着轴在第一方向上投射的；
由所述第二光投射器投射的光是沿着所述轴在与所述第一方向相反的第二方向上投射的；
所述第一光投射器和所述第二光投射器在物理上分开一距离；以及
所述反射组件是沿着所述轴在所述第一光投射器和所述第二光投射器之间定位的。
13.一种方法，包括：
从设备的第一光投射器朝着所述设备的第二光投射器投射光；
从所述第二光投射器朝着所述第一光投射器投射光；
经由位于所述第一光投射器和所述第二光投射器之间的反射组件，将由所述第一光投射器投射的光重定向到场景的第一部分上，以及将由所述第二光投射器投射的光重定向到所述场景的第二部分上，其中，所述场景的所述第一部分和所述第二部分彼此相邻并且相对于彼此不重叠；以及
检测由所述第一光投射器和所述第二光投射器投射的经重定向的光的反射。
14.根据权利要求13所述的方法，还包括：
基于所检测到的经重定向的光的反射来生成深度信息；以及
至少部分地基于与所述反射组件相关联的一个或多个折射角来校正所生成的深度信息中的投射失真。
15.根据权利要求14所述的方法，还包括：至少部分地基于所生成的深度信息来识别所述设备的使用者的面部。
16.根据权利要求14所述的方法，还包括：至少部分地基于所生成的深度信息的第二部分来解决所生成的深度信息的第一部分中的多径干扰(MPI)。
17.根据权利要求13所述的方法，还包括：将由所述第一光投射器和所述第二光投射器投射的光对称地折射到所述场景的所述第一部分和所述第二部分中的相应部分上。
18.根据权利要求13所述的方法，还包括：
经由所述反射组件的第一反射元件，将从所述第一光投射器投射的光的第一光路光学地折叠；以及
经由所述反射组件的第二反射元件，将从所述第二光投射器投射的光的第二光路光学地折叠。
19.根据权利要求18所述的方法，其中，所述第一反射元件和所述第二反射元件具有相同的折射率。
20.根据权利要求18所述的方法，还包括：
至少部分地基于第一折叠光路来将由所述第一反射元件折叠的光折射到所述场景的所述第一部分上；以及
至少部分地基于第二折叠光路来将由所述第二反射元件折叠的光折射到所述场景的所述第二部分上。
21.根据权利要求18所述的方法，还包括：
经由所述第一反射元件的第一棱镜的第一反射面，来接收从所述第一光投射器投射的光；以及
经由所述第二反射元件的第二棱镜的第二反射面，来接收从所述第二光投射器投射的光。
22.根据权利要求13所述的方法，还包括：经由被提供在所述第一光投射器和所述第二光投射器中的每个光投射器内的可开闭漫射器，在结构光(SL)感测模式和飞行时间(ToF)感测模式之间转换相应的光投射器。
23.根据权利要求13所述的方法，其中，所述场景的所述第一部分和所述第二部分中的每个部分具有大于70度的视场(FOV)。
24.根据权利要求13所述的方法，其中：
由所述第一光投射器投射的光是沿着轴在第一方向上投射的；
由所述第二光投射器投射的光是沿着所述轴在与所述第一方向相反的第二方向上投射的；
所述第一光投射器和所述第二光投射器在物理上分开一距离；以及
所述反射组件是沿着所述轴在所述第一光投射器和所述第二光投射器之间定位的。
25.一种存储指令的非暂时性计算机可读介质，所述指令在由设备的一个或多个处理器执行时使得所述设备执行包括以下各项的操作：
从所述设备的第一光投射器朝着所述设备的第二光投射器投射光；
从所述第二光投射器朝着所述第一光投射器投射光；
经由位于所述第一光投射器和所述第二光投射器之间的反射组件，将由所述第一光投射器投射的光重定向到场景的第一部分上，以及将由所述第二光投射器投射的光重定向到所述场景的第二部分上，其中，所述场景的所述第一部分和所述第二部分彼此相邻并且相对于彼此不重叠；以及
检测由所述第一光投射器和所述第二光投射器投射的经重定向的光的反射。
26.根据权利要求25所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行进一步包括以下各项的操作：
基于所检测到的经重定向的光的反射来生成深度信息；以及
至少部分地基于与所述反射组件相关联的一个或多个折射角来校正所生成的深度信息中的投射失真。
27.根据权利要求25所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行进一步包括以下各项的操作：
将由所述第一光投射器和所述第二光投射器投射的光对称地折射到所述场景的所述第一部分和所述第二部分中的相应部分上。
28.根据权利要求25所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行进一步包括以下各项的操作：
经由所述反射组件的第一反射元件，将从所述第一光投射器投射的光的第一光路光学地折叠；以及
经由所述反射组件的第二反射元件，将从所述第二光投射器投射的光的第二光路光学地折叠。
29.根据权利要求28所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行进一步包括以下各项的操作：
至少部分地基于第一折叠光路来将由所述第一反射元件折叠的光折射到所述场景的所述第一部分上；
经由所述第一反射元件的第一棱镜的第一反射面来接收从所述第一光投射器投射的光；
至少部分地基于第二折叠光路来将由所述第二反射元件折叠的光折射到所述场景的所述第二部分上；以及
经由所述第二反射元件的第二棱镜的第二反射面来接收从所述第二光投射器投射的光。
30.根据权利要求25所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行进一步包括以下各项的操作：
经由被提供在所述第一光投射器和所述第二光投射器中的每个光投射器内的可开闭漫射器，在结构光(SL)感测模式和飞行时间(ToF)感测模式之间转换相应的光投射器。
CN202180022458.5A 2020-04-14 2021-04-12 广角3d感测 Pending CN115315611A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/848,487 US11563873B2 (en) 2020-04-14 2020-04-14 Wide-angle 3D sensing
US16/848,487 2020-04-14
PCT/US2021/026865 WO2021211445A1 (en) 2020-04-14 2021-04-12 Wide-angle 3d sensing

Publications (1)

Publication Number Publication Date
CN115315611A true CN115315611A (zh) 2022-11-08

Family

ID=75787250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180022458.5A Pending CN115315611A (zh) 2020-04-14 2021-04-12 广角3d感测

Country Status (5)

Country Link
US (1) US11563873B2 (zh)
EP (1) EP4136402A1 (zh)
CN (1) CN115315611A (zh)
TW (1) TW202142946A (zh)
WO (1) WO2021211445A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561085B2 (en) 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
CN113671782B (zh) * 2021-10-21 2022-02-15 成都极米科技股份有限公司 一种投影设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US8197070B2 (en) * 2006-01-24 2012-06-12 Seiko Epson Corporation Color-based feature identification
JP2011244297A (ja) 2010-05-20 2011-12-01 Panasonic Corp Ｃｃｄ電荷転送用駆動装置
US10044985B1 (en) * 2012-10-19 2018-08-07 Amazon Technologies, Inc. Video monitoring using plenoptic cameras and mirrors
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
WO2016076796A1 (en) 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016202453A (ja) * 2015-04-20 2016-12-08 株式会社トプコン 眼科手術用顕微鏡
US10437129B2 (en) 2015-11-10 2019-10-08 Verily Life Sciences Llc Dynamic diffractive liquid crystal lens
US10582178B2 (en) 2016-11-02 2020-03-03 Omnivision Technologies, Inc. Systems and methods for active depth imager with background subtract
US10598768B2 (en) 2017-05-24 2020-03-24 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
US10705214B2 (en) * 2017-07-14 2020-07-07 Microsoft Technology Licensing, Llc Optical projector having switchable light emission patterns
JP7030607B2 (ja) * 2018-04-27 2022-03-07 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
US11561085B2 (en) 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system

Also Published As

Publication number Publication date
US20210321021A1 (en) 2021-10-14
WO2021211445A1 (en) 2021-10-21
US11563873B2 (en) 2023-01-24
EP4136402A1 (en) 2023-02-22
TW202142946A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
US11561085B2 (en) Resolving multipath interference using a mixed active depth system
US10120066B2 (en) Apparatus for making a distance determination
EP3117234B1 (en) Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections
US10345684B2 (en) Pattern projection and imaging using lens arrays
US6724490B2 (en) Image capturing apparatus and distance measuring method
CN115315611A (zh) 广角3d感测
KR20190057124A (ko) 물체까지의 거리를 결정하기 위한 시스템
US11614517B2 (en) Reducing interference in an active illumination environment
EP3718078A1 (en) System and method of reducing ambient background light in a pulse-illuminated image
JP3695188B2 (ja) 形状計測装置および形状計測方法
JP2017201760A (ja) 撮像装置および測距装置
CN114270803B (zh) 相位检测自动聚焦(pdaf)传感器
TW200502708A (en) Exposing device
CN109863604B (zh) 具有相位敏感像素的图像传感器
JP2006337286A (ja) 形状計測装置
JP7501582B2 (ja) 撮像装置
JP2001264014A (ja) 光センサおよび三次元形状計測装置
US7016604B2 (en) Autofocus using a holographic aperture element
JP3711808B2 (ja) 形状計測装置および形状計測方法
JP6693757B2 (ja) 距離画像生成装置および方法
US20240127401A1 (en) Active depth sensing
TWI596360B (zh) 攝像設備以及攝像方法
WO2024013142A1 (en) Image capture device with wavelength separation device
WO2024081491A1 (en) Active depth sensing
Krüger et al. Evaluation of a micromirror array based sensor system for optical velocity measurements using the Spatial Filter Velocimetry approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination