CN113924507A - 混合主动深度 - Google Patents

混合主动深度 Download PDF

Info

Publication number
CN113924507A
CN113924507A CN202080039323.5A CN202080039323A CN113924507A CN 113924507 A CN113924507 A CN 113924507A CN 202080039323 A CN202080039323 A CN 202080039323A CN 113924507 A CN113924507 A CN 113924507A
Authority
CN
China
Prior art keywords
mode
light
operating
tof
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080039323.5A
Other languages
English (en)
Inventor
B-C·赫塞
J·马
S·R·戈马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113924507A publication Critical patent/CN113924507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0944—Diffractive optical elements, e.g. gratings, holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开内容的方面涉及使用设备进行深度感测。示例设备包括被配置为以第一分布和第二分布投射光的光投射器。第一分布和第二分布分别包括当设备以第一模式操作时的泛光投射和当设备以第二模式操作时的图案投射。该示例设备包括接收器，所述接收器被配置为检测由光投射器投射的光的反射。该示例设备包括连接到存储指令的存储器的处理器。处理器被配置为基于当设备在第一模式中操作时由接收器检测到的反射来确定第一深度信息，基于当设备在第二模式中操作时由接收器检测到的反射来确定第二深度信息，以及使用第一深度信息和第二深度信息来解决多径干扰(MPI)。

Description

混合主动深度
技术领域
本公开内容总体上涉及深度感测系统，并且具体地，涉及改进主动深度系统生成深度信息的速度和精度。
背景技术
设备可以使用各种主动或被动深度感测技术来确定其周围的距离。被动深度感测系统测量被反射的环境光。主动深度感测系统从非环境光源(例如，照明器、发光二极管(LED)、激光器或其他合适的光源)发射波，并测量相应的反射能量。例如，主动深度感测系统或设备可以生成深度信息，示出或以其他方式指示从设备到场景或场景中的一个或多个物体的深度。主动深度感测系统可以发射一个或多个光脉冲，并且测量来自物体或场景的光脉冲的反射。示例主动深度技术包括渡越时间(ToF)和结构光(SL)。
在ToF系统中，从发射器(或“投射器”)发射光，并且在接收器(或“传感器”)处接收光的反射。确定光从发射器到接收器的往返时间，并且可以根据往返时间来确定反射所述发射光的物体的距离或深度。ToF系统可用于许多基于尺寸、精度、性能指标和成本的应用。例如，与诸如需要更复杂处理的立体多相机系统相比，ToF系统在硬件级别上提供更快、更可靠的深度信息。
SL系统可以包括光发射器(或“发射器”或“投射器”)以将红外(IR)光的分布(例如，IR光点的分布)投射到场景上。系统或设备还可以包括对光分布的反射进行感测以确定场景中物体的距离的传感器(或“接收器”)。发射器和传感器相隔一段距离，结果在传感器处发生空间分布的位移和畸变。SL系统确定将发射光反射回系统的物体的距离或深度，例如，利用空间分布的位移和畸变、以及发射器与接收器之间的距离使用三角测量。
发明内容
提供该发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念的选择。该发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。
本公开内容的一些方面涉及一种用于深度感测的设备。示例设备包括光投射器、接收器、存储指令的存储器以及连接到存储器的处理器。示例光投射器被配置为当设备在第一模式中操作时以包括泛光投射的第一分布来投射光。示例光投射器还被配置为当设备在第二模式中操作时以包括图案投射的第二分布来投射光。示例接收器被配置为检测由光投射器所投射的光的反射。示例处理器被配置为基于当设备在第一模式中操作时由接收器检测到的反射来确定第一深度信息。示例处理器还被配置为基于当设备在第二模式中操作时由接收器检测到的反射来确定第二深度信息。示例处理器还被配置为使用第一深度信息和第二深度信息来解决多径干扰(MPI)。
本公开内容的一些其他方面涉及一种使用设备进行深度感测的方法。示例方法包括：当设备在第一模式中操作时，以包括泛光投射的第一分布来投射光。该示例方法还包括：当该设备在第二模式中操作时，以包括图案投射的第二分布来投射光。该示例方法还包括：检测由光投射器所投射的光的反射。该示例方法还包括：基于当设备在第一模式中操作时由接收器检测到的反射来确定第一深度信息。该示例方法还包括：基于当设备在第二模式中操作时由接收器检测到的反射来确定第二深度信息。该示例方法还包括：使用第一深度信息和第二深度信息来解决多径干扰(MPI)。
本公开内容的一些其他方面涉及一种存储指令的非暂时性计算机可读介质，当所述指令由装置的一个或多个处理器执行时使所述装置执行操作。示例操作包括：当设备在第一模式中操作时，以包括泛光投射的第一分布来投射光。示例操作还包括：当设备在第二模式中操作时，以包括图案投射的第二分布来投射光。示例操作还包括：检测由光投射器所投射的光的反射。示例操作还包括：基于当设备在第一模式中操作时由接收器检测到的反射来确定第一深度信息。示例操作还包括：基于当设备在第二模式中操作时由接收器检测到的反射来确定第二深度信息。示例操作还包括：使用第一深度信息和第二深度信息来解决多径干扰(MPI)。
本公开内容的一些其他方面涉及一种设备。示例设备包括：用于当设备在第一模式中操作时以包括泛光投射的第一分布来投射光的单元。该示例设备还包括：用于当设备在第二模式中操作时以包括图案投射的第二分布来投射光的单元。该示例设备还包括：用于检测由光投射器所投射的光的反射的单元。该示例设备还包括：用于基于当设备在第一模式中操作时由接收器检测到的反射来确定第一深度信息的单元。该示例设备还包括：用于基于当该设备在第二模式中操作时由接收器检测到的反射来确定第二深度信息的单元。该示例设备还包括：用于使用第一深度信息和第二深度信息来解决多径干扰(MPI)的单元。
附图说明
在附图的图中，通过举例而非限制的方式示出了本公开内容的各方面，并且在附图中，相同的附图标记表示相似的元件。
图1示出了示例渡越时间(ToF)系统。
图2A示出了包括发射器和传感器的示例ToF系统。
图2B示出了示例传感器像素。
图2C示出了描绘来自发射器的脉冲信号和在传感器处接收的对应反射信号的脉冲图。
图3示出了示例ToF系统。
图4A示出了示例环境，其中，多径干扰(MPI)可能影响ToF深度感测。
图4B示出了另一示例环境，其中，MPI可能影响ToF深度感测。
图4C示出了另一示例环境，其中，MPI可能影响ToF深度感测。
图5A示出了包括具有顶点的房间的角落的示例场景，其中，两个墙壁与天花板相交。
图5B示出了来自图5A的场景的如由传统ToF系统生成的示例深度。
图6示出了图5A的场景的相应X-距离和Z-距离的曲线图。
图7示出了示例结构光(SL)系统。
图8示出了包括混合的ToF和SL系统的示例设备的框图。
图9示出了描绘ToF和SL系统的多个组件的示例操作时序的时序图。
图10A示出了在第一模式中操作的示例ToF和SL系统。
图10B示出了在第二模式中操作的图10A的示例ToF和SL系统。
图11A是图10A中所示的ToF和SL系统的简化图示。
图11B是图10B中所示的ToF和SL系统的简化图。
图12A示出了示例可切换漫射器。
图12B示出另一示例可切换漫射器。
图13A示出了能够在ToF模式和SL模式中操作的示例传感器的俯视图。
图13B示出了能够在ToF模式和SL模式中操作的另一示例传感器的俯视图。
图14示出了用于解调像素单元的示例电子电路图。
图15A示出了用于全局快门(GS)像素阵列的示例电子电路图。
图15B示出了用于GS像素阵列的另一示例电子电路图。
图16A示出了用于在GS实施方式中操作的混合ToF和SL像素阵列的示例电子电路图。
图16B示出了用于在GS实施方式中操作的混合ToF和SL像素阵列的另一示例电子电路图。
图17示出了用于在卷帘快门(RS)实施方式中操作的混合ToF和SL像素阵列的示例电子电路图。
图18示出了描绘采用在SL模式中操作的RS实施方式的设备的混合ToF和SL像素阵列的示例时序图。
图19示出了描绘采用在ToF模式中操作的RS实施方式的设备的混合ToF和SL像素阵列的示例时序图。
图20示出了描绘根据一些实施方式的用于深度感测的示例过程的流程图。
图21A示出了描绘根据一些实施方式的用于深度感测的示例过程的流程图。
图21B示出了描绘根据一些实施方式的用于深度感测的示例过程的流程图。
图21C示出了描绘根据一些实施方式的用于深度感测的示例过程的流程图。
图21D示出了描绘根据一些实施方式的用于深度感测的示例过程的流程图。
具体实施方式
本公开内容的各方面涉及主动深度系统，并且包括将渡越时间(ToF)和结构光(SL)技术结合到单个设备中的系统。ToF系统通常比SL系统产生更高分辨率的深度信息。然而，由传统ToF系统生成的深度信息通常会受到多径干扰(MPI)引起的图像伪影的影响。另一方面，由SL系统生成的深度信息相对不受MPI的影响。
在本公开内容的一些方面中，主动深度感测系统可以结合ToF(例如，更高分辨率)和SL(例如，无MPI)的优点。例如，本实施例公开了一种被配置为在混合ToF和SL模式中操作的主动深度感测系统。系统可以确定用于物体或场景的SL信息，并在确定用于物体或场景的ToF深度信息时利用SL信息来减轻MPI的影响。该系统可以包括复合传感器、混合发射器和/或可编程架构，因此与传统的ToF系统相比，节省了设备空间并需要更少的设备组件，同时还提高了系统生成深度信息的速度和精度。
在以下描述中，阐述了许多具体细节，例如具体组件、电路和过程的示例，以提供对本公开内容的透彻理解。如本文所使用的术语“耦接”意味着直接连接或者通过一个或多个中间组件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了具体术语以提供对本公开内容的透彻理解。然而，对于本领域技术人员来说显而易见的是，这些具体细节可能不是实践本文所公开的教导所必需的。在其他实例中，以方框图形式展示众所周知的电路和设备以避免使本公开内容的教导难以理解。以下具体实施方式的某些部分是按照过程、逻辑块、处理和对计算机存储器内的数据位的操作的其他符号表示来呈现的。在本公开内容中，过程、逻辑块、处理等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操作的步骤。通常，尽管不是必须的，这些量采用能够在计算机系统中被存储、传递、组合、比较和以其他方式操纵的电或磁信号的形式。
然而，应当记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则如从以下讨论中显而易见的，可以理解，贯穿本申请，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“求平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“导出”、“解决”等术语的讨论指的是计算机系统或类似电子计算设备的操作和过程，其将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵和变换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
在附图中，单个框可以被描述为执行一个或多个功能；然而，在实际实践中，由该框执行的功能可以在单个组件中执行或跨多个组件执行，和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件与软件的此可互换性，下文大体上在其功能性方面描述各种说明性组件、框、模块、电路和步骤。将此功能实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每个特定应用以不同方式实施所描述的功能，但此类实施决策不应被解释为导致脱离本公开内容的范围。此外，示例设备可以包括除了所示的那些之外的组件，包括诸如处理器、存储器等的公知组件。
本公开内容的各方面可应用于包括或耦接到一个或多个主动深度感测系统的任何合适的电子设备(诸如安全系统、智能电话、平板电脑、膝上型计算机、车辆、无人机或其他设备)。虽然下面关于具有或耦接到一个光投射器的设备进行描述，但是本公开内容的各方面可应用于具有任何数量的光投射器的设备，并且因此不限于具体设备。
术语“设备”不限于一个或具体数量的物理物体(诸如一个智能电话、一个控制器、一个处理系统等)。如本文所使用的，设备可以是具有可实现本公开内容的至少一些部分的一个或多个部件的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于物体的具体配置、类型或数量。另外，术语“系统”不限于多个组件或具体实施例。例如，系统可以在一个或多个印刷电路板或其他基板上实现，并且可以具有可移动或静态组件。虽然以下描述和示例使用术语“系统”来描述本公开内容的各个方面，但是术语“系统”不限于物体的具体配置、类型或数量。
图1示出了示例ToF系统100。ToF系统100可以用于生成包括表面106的场景的深度信息，或可以用于测距所述场景的表面或其他部分的其他应用。ToF系统100可以包括发射器102和接收器108。发射器102可以被称为“光投射器”、“发送器”、“投射器”、“发射器”等，并且不应当限于具体的发射组件。类似地，接收器108可以被称为“光传感器”、“检测器”、“传感器”、“感测元件”、“光电检测器”等，并且不应当限于具体的接收组件。
发射器102可以被配置为将信号(例如，光场)发送、发射或投射到场景上。尽管在示例中将ToF系统描述为发射光(其可以包括近红外(NIR))，但可以使用其他频率的信号，比如，微波、射频信号、声音等。本公开内容不应当限于用于发射信号的具体频率范围。
发射器102向包括表面106的场景发射光104。发射光104包括按照已知时间间隔(例如，按照常规时间间隔)的光脉冲114。接收器108包括用于感测发射光104的反射112的传感器110。反射112包括反射光脉冲116，并且ToF系统100通过比较发射光的时序118与反射光脉冲116的时序120来确定光的往返时间122。表面106与ToF系统100的距离可以计算成往返时间的一半乘以发射的速度(例如，用于光发射的光速)。
传感器110可以包括用于测量或感测所述反射的光电二极管的阵列。可选地，传感器110可以包括CMOS传感器或其他合适的光敏传感器，其包括用于感测的多个像素或区域。当脉冲的幅度大于一个值时，ToF系统100识别由传感器110感测到的反射光脉冲116。例如，ToF系统100在没有信号的情况下测量环境光和其他干扰的幅度，并且确定进一步的测量是否比先前的测量大一个值。图2A示出包括发射器225和传感器230的示例ToF系统220。发射器225向物体235发射光脉冲，并且光脉冲被物体235反射回传感器230。反射回传感器230的光可以具有与从发射器225发射的光不同的相位。图2B示出了可以在例如传感器230中包括的示例传感器像素240。传感器像素240包括用于将来自反射光的光子转换成电流的光电二极管242。传感器像素240还可以包括一个或多个电容器(例如，C1和C2)以存储来自电流的能量。ToF系统220可以部分地通过将电压(例如，V0和V180)与其对应相位(例如，分别为Φ0和Φ180)进行比较，来计算ToF系统220和物体235之间的距离。
图2C示出了描绘从发射器225发射的脉冲信号和在传感器230处接收的脉冲信号的对应反射(例如，由物体反射，比如图2A的物体235)的脉冲图260。相对于脉冲信号，反射信号是相位延迟的。ToF系统220可以打开和关闭快门，以在相对于脉冲信号的多个特定相位偏移处(例如，相位0°、相位180°、相位90°和相位270°)曝光传感器230。在每个曝光周期(灰色阴影)期间，电荷可以由一个或多个存储元件(比如，由图2B的电容器C1和C2)存储。例如，在第一曝光周期期间，C1可以存储电荷(Q1)，并且C2可以存储电荷(Q2)，其中，Q1是当快门是以0°相位偏移打开时来自反射信号的累积电荷，并且其中Q2是当快门以180°相位偏移打开时来自反射信号的累积电荷。在第二曝光周期期间，C1可以存储电荷(Q3)，并且C2可以存储电荷(Q4)，其中Q3是当快门以90°相位偏移打开时来自反射信号的累积电荷，并且其中Q4是当快门以270°相位偏移打开时来自反射信号的累积电荷。ToF系统220可以基于针对每个曝光周期的跨C1和C2存储的电荷来计算脉冲信号与反射信号之间的相位偏移
Figure BDA0003376849760000081
Figure BDA0003376849760000082
计算出的在脉冲信号与反射信号之间的相位偏移
Figure BDA0003376849760000083
是与对应传感器像素(比如，传感器像素240)和物体235之间的距离d成比例的：
Figure BDA0003376849760000084
其中，c是光速，并且f是调制信号的频率。基于所确定的从传感器230的每个像素到物体235的距离，ToF系统220可以生成场景中的物体的深度信息。
图3示出了示例ToF系统300。ToF系统300包括发射器315和传感器335。发射器315向物体325发脉冲信号320，并且传感器335接收对应的反射信号330。脉冲信号320可以是经调制的连续波(AMCW)光脉冲。如结合图2C所描述的，ToF系统300可以基于对脉冲信号320与反射信号330之间的相位差
Figure BDA0003376849760000091
的比例相关性来确定与传感器335的一个或多个像素的距离d。脉冲信号320和反射信号330可以沿直接路径340。
一些环境(例如，带有拐角、凸面和/或反射面)可能导致不同的光脉冲沿着多个反射路径到达ToF系统传感器，并在传感器处重新组合，其被称为MPI。出于本文讨论的目的，MPI也可以被称为“多径效应”或“MPI效应”。MPI可能导致ToF系统高估针对相应脉冲信号的一个或多个相位偏移而累积的电荷量。高估可能导致ToF系统不准确地计算脉冲信号与反射信号之间的相应相移
Figure BDA0003376849760000092
因此，ToF系统可能不准确地计算从一个或多个传感器像素到物体或场景的相应距离d，这可能导致相应深度信息的畸变(或“颠簸”)。
图4A示出了其中MPI可能影响ToF深度感测的示例环境400。ToF系统包括发射器415和传感器435。场景包括物体425和物体427。物体427可以具有镜状表面。发射器415向物体425发射脉冲信号420和脉冲信号422。传感器435分别接收相应的反射信号430和反射信号432。类似于图3的脉冲信号320和反射信号330，脉冲信号420和反射信号430沿着直接路径440。相反，脉冲信号422和反射信号432沿着间接路径450(例如，从物体427反射)，使得反射信号432可能与反射信号430同时到达传感器435处，导致MPI。
图4B示出了其中MPI可能影响ToF深度感测的另一示例环境460。ToF系统包括发射器445和传感器465。场景包括物体455和物体457。物体457可以具有半透明表面。发射器445发射脉冲信号421和脉冲信号423。传感器465分别接收相应的反射信号431和反射信号433。脉冲信号421和反射信号431沿路径441(例如，从物体455反射)。脉冲信号423和反射信号433沿路径451(例如，从物体457反射)。反射信号433可能与反射信号431同时到达传感器465处，导致MPI。
图4C示出了其中MPI可能影响ToF深度感测的另一示例环境470。ToF系统包括发射器475和传感器495。场景包括物体485和物体487，它们可以表示在拐角点处相交的两堵墙。发射器475向物体485发射脉冲信号491，并且传感器495接收相应的反射信号492。另外，可能由于物体485或物体487的反射特性，反射信号493和反射信号494可能与反射信号492同时到达传感器495，导致MPI。
图5A示出了包括具有顶点510的房间的拐角的示例场景500，其中两堵墙与天花板相交。应当理解，顶点510是与ToF系统的传感器相距最远的点(例如，具有最高z距离的点)。图5B示出了来自图5A的场景的如由传统ToF系统(“常规ToF”)生成的示例深度图550。然而，类似于图4C的示例环境470，多个反射信号可能到达传感器处(例如，由于具有顶点560的房间的拐角)，导致MPI。传统ToF系统可能叠加多个反射信号，最终导致深度图550中的相应区域看起来具有均匀深度。
为了描绘，图6示出了针对图5A的场景500的由ToF系统所测量的相应X距离和由ToF系统测量的相应Z距离的曲线图600。X距离可以表示与场景的中心相距0m的水平距离(以米为单位)。Z距离可以表示从ToF系统的传感器到场景中的物体(例如，墙壁的表面)的深度距离。底部曲线表示拐角的实际(“真实”)X距离和Z距离，而顶部曲线表示由ToF系统所测量的距离。真实距离曲线准确地示出了房间的角落的顶点，它是一个尖点。所测量的距离曲线将顶点描绘为碗状曲线。这种不准确的测量产生不正确的距离计算，比如，图5B的深度图550中所示。
图7示出示例SL系统700。如上所述，与ToF系统(例如，图1的ToF系统100)相比，SL相对不受MPI影响并且通常产生更低(更稀疏)分辨率的深度信息。SL系统可以以点的分布(或其他合适的聚焦光形状)发射光。出于本文讨论的目的，点的分布可以被称为“图案”、“SL图案”、“点图案”等，并且该图案可以是预定义的或随机的。光点可以被投射到场景上，并且光点的反射可以被SL系统接收。可以通过对接收光的图案和发射光的图案进行比较来确定场景中的物体的深度。在比较图案时，可以在接收光中识别发射光的预定义分布的一部分。SL系统可以使用结构光投射器来投射光的分布(比如，光点或其他形状的分布)。
SL投射器所发射的光分布可能不变。更密集的光分布(例如，与光的更稀疏分布相比，在一个区域中的额外光点或者更多聚焦光实例)可能导致可以确定的更高分辨率的深度信息或更多数量的深度。然而，与针对更稀疏的分布相比，针对较密集的分布的单个光点的强度更低，其中，分布之间的总体强度是相似的。结果，与针对更稀疏分布的光相比，干扰可能导致识别更密集分布的光的反射更困难。例如，SL投射器可以投射具有905nm或940nm波长(或其他合适波长)的IR光(比如，NIR光)。SL接收器可以接收IR光以及太阳光和其他环境光的反射。环境光可能导致IR光点的干扰。结果，由于SL接收器捕获到额外的环境光，与更暗场景(比如，室内场景或夜间场景)相比，明亮场景(例如，白天的室外场景)可能造成更多干扰。
SL系统700(本文也可以被称为SL系统)可以用于生成针对场景706的深度信息。例如，场景706可以包括脸部，并且SL系统700可以用于识别或验证脸部。SL系统700可以包括发射器702和接收器708。发射器702可以被称为“发射器”、“投射器”、“发射器”等，并且不应当限于具体传输组件。在整个以下公开内容中，术语投射器和发射器可以互换使用。接收器708可以被称为“检测器”、“传感器”、“感测元件”、“光电检测器”等，并且不应当限于具体接收组件。
虽然本公开内容将“分布(distribution)”称为“光分布”，但是可以使用其他频率的任何合适的信号(比如，射频波、声波等)。此外，虽然本公开内容将分布称为包括多个光点，但是光可以被聚焦成任何合适的大小和尺寸。例如，光可以以线、正方形或任何其他合适的尺寸来投射。另外，本公开内容可以将“分布”称为“码字分布(codeworddistribution)”，其中分布的经定义部分(诸如光点的预定义补片(patch))被称为码字。如果光点的分布是已知的，则分布的码字就可以是已知的。然而，分布可以以任何方式进行组织，并且本公开内容不应限于具体类型的分布或具体类型的信号或脉冲。
发射器702可以被配置为将光点的分布704投射或发射到场景706上。分布704中的白色圆圈可以指示对于可能的点位置没有光被投射的地方，并且分布704中的黑色圆圈可以指示对于可能的点位置光被投射的地方。在一些示例实施方式中，发射器702可以包括一个或多个光源724(诸如一个或多个激光器)、透镜726和光调制器728。发射器702还可以包括孔径722，所发射的光从该孔径逸出发射器702。在一些实施方式中，发射器702还可以包括衍射光学元件(DOE)，以将来自一个或多个光源724的发射衍射成附加发射。在一些方面，光调制器728(用于调整发射强度)可以包括DOE。在将光点的分布704投射到场景706上时，发射器702可以将一个或多个激光从光源724通过透镜726(和/或通过DOE或光调制器728)发射到场景706上。发射器702可以位于与接收器708相同的参考平面上，并且发射器702和接收器708可以由一个被称为基线(712)的距离分开。
在一些示例实施方式中，由发射器702投射的光可以是IR光。IR光可包括可见光谱的一部分和/或肉眼不可见的光谱的一部分。在一个示例中，IR光可以包括NIR光，其可以包括或可以不包括可见光谱内的光，和/或在可见光谱外的IR光(诸如，远红外(FIR)光)。术语IR光不应限于具有在IR光的波长范围中或附近的特定波长的光。此外，提供IR光作为来自发射器的示例发射。在以下描述中，可以使用其他合适波长的光。例如，IR光波长范围之外的可见光谱部分中的光或紫外光。可替换地，可以使用具有不同波长的其他信号，例如微波、射频信号和其他合适的信号。
场景706可以包括与SL系统(例如，来自发射器702和接收器708)相距不同深度的物体。例如，场景706中的物体706A和706B可以位于不同深度。接收器708可以被配置为从场景706接收光点的发射分布704的反射710。为了接收反射710，接收器708可以捕获图像。当捕获图像时，接收器708可以接收反射710，以及(i)来自位于不同深度的场景706的其他部分的光点的分布704的其他反射和(ii)环境光。捕获的图像中也可能存在噪声。
在一些示例实施方式中，接收器708可包括透镜730，以将所接收光(包括来自物体706A和706B的反射710)聚焦或引导到接收器708的传感器732上。接收器708还可包括孔径720。对于该示例，假设仅接收到反射710，则可基于基线712、反射710中的光分布704的位移和失真(诸如利用码字)以及反射110的强度，来确定物体706A和706B的深度。例如，沿着传感器732从位置716到中心714的距离734可用于确定物体706B在场景706中的深度。类似地，沿着传感器732从位置718到中心714的距离736可用于确定物体706A在场景706中的深度。可以按照传感器732的像素数量或距离(例如毫米)来测量沿着传感器732的距离。
在一些示例实施方式中，传感器732可以包括用于捕获图像的光电二极管(诸如雪崩光电二极管)阵列。为了捕获图像，阵列中的每个光电二极管可以捕获撞击光电二极管的光，并且可以提供指示光的强度的值(捕获值)。因此，图像可以是由光电二极管阵列提供的捕获值。
除了包括光电二极管阵列的传感器732之外或作为其替代，传感器732可包括互补金属氧化物半导体(CMOS)传感器。为了通过光敏CMOS传感器捕获图像，传感器的每个像素可以捕获撞击像素的光并且可以提供指示光的强度的值。在一些示例实施方式中，光电二极管阵列可以耦接到CMOS传感器。以这种方式，由光电二极管阵列生成的电脉冲可以触发CMOS传感器的相应像素以提供捕获值。
传感器732可以至少包括等于分布704中的可能光点的数量的一数量的像素。例如，光电二极管阵列或CMOS传感器可以分别包括与分布704中的可能光点的数量相对应的一数量的光电二极管或一数量的像素。传感器732在逻辑上可以被分成与码字的位大小相对应的像素或光电二极管的组(例如4×4组)。该像素或光电二极管的组也可被称为位，且来自传感器732的位的所捕获图像的部分也可被称为位。在一些示例实施方式中，传感器732可以包括与分布704相同数量的位。
如果光源724发射IR光(例如波长为例如940nm的NIR光)，则传感器732可以是用以接收NIR光的反射的IR传感器。传感器732还可被配置为使用泛光照明器(未示出)来捕获图像。如图所示，距离734(对应于来自物体706B的反射710)小于距离736(对应于来自物体706A的反射710)。使用基于基线712及距离734和736的三角测量，在生成场景706的深度信息时可以确定场景706中的物体706A和706B的不同深度。确定深度还可以包括确定反射710中的分布704的位移或失真。
尽管图7中示出了多个单独组件，但是这些组件中的一个或多个可以被一起实现或包括附加功能。所有描述的组件对于SL系统700可能不是必需的，或者组件的功能可被分成单独的组件。也可存在未示出的附加组件。例如，接收器708可包括带通滤波器，以允许具有确定波长范围的信号传递到传感器732上(从而滤除具有该范围之外的波长的信号)。以这种方式，可以防止一些附带信号(诸如环境光)干扰传感器732的捕获。带通滤波器的范围可以以发射器702的发射波长为中心。例如，如果发射器702被配置为发射具有940nm波长的NIR光，则接收器708可以包括被配置为允许具有例如920nm至960nm范围内的波长的NIR光的带通滤波器。因此，关于图7描述的示例是出于说明性目的，并且本公开内容不应限于示例SL系统700。
对于光投射器(例如发射器702)，光源可以是任何合适的光源。在一些示例实施方式中，光源724可以包括一个或多个分布式反馈(DFB)激光器。在一些其他示例实施方式中，光源724可以包括一个或多个垂直腔面发射激光器(VCSEL)。
DOE是位于来自光源的光的投射路径中的材料。DOE可以被配置为将光点分割成多个光点。例如，DOE的材料可以是具有已知折射率的半透明或透明聚合物。DOE的表面可包括峰和谷(用于改变DOE的深度)，使得当光穿过DOE时一个光点分裂成多个光点。例如，DOE可以被配置为从一个或多个激光器接收一个或多个光点，并且以比由该一个或多个激光器发射的光点数量更多的光点来投射预期分布。虽然附图可以示出DOE的深度仅沿DOE的一个轴变化，但是附图仅用于帮助描述本公开内容的各方面。DOE表面的峰和谷可以位于DOE表面的任何部分处，并且引起DOE的各部分的深度的任何合适的变化，并且本公开内容不应限于DOE的具体表面构造。
如果光源724包括激光器阵列(例如VCSEL阵列)，则可以由该阵列投射光点分布的一部分。DOE可以用于复制投射光点分布的该部分。例如，DOE可以将来自阵列的投射分割成多个实例，并且该投射的图案可以是来自阵列的投射的重复。在一些示例实施方式中，DOE可以被配置为相对于该投射垂直地、水平地或者以垂直和水平之间的角度重复该投射。重复实例可以是重叠的、不重叠的或任何合适的配置。虽然示例描述了被配置为分割来自阵列的投射并将这些实例彼此上下堆叠的DOE，但是本公开内容不应限于特定类型的DOE配置和投射的重复。
图8示出了被配置用于使用ToF和SL技术的主动深度感测的示例装置800的框图。将理解的是，ToF和SL是示例主动深度技术，并且在一些实施方式中设备800可以使用其他主动深度技术。在一些实施例中，设备800可以被配置为使用ToF技术来生成高分辨率深度信息，同时使用SL技术来减轻深度信息中的MPI的影响。设备800可以包括或被耦接到发射器801、传感器802、处理器804、存储指令808的存储器806和主动深度控制器810(其可以包括一个或多个信号处理器812)。发射器801可以包括或耦接到DOE 805。DOE 805可以可选地被包括在设备800中或者被耦接到设备800。发射器801可以包括或者被耦接到漫射器807。漫射器807可以可选地被包括在设备800中或者被耦接到设备800。出于本文讨论的目的，设备800可以被称为“ToF和SL系统”。此外，出于本文讨论的目的，“ToF和SL系统”可以改为仅指设备800的一个或多个组件(例如，主动深度控制器810、发射器801、传感器802、DOE 805和/或漫射器807)和/或可以用于主动深度感测的任何其他组件。在一些实施方式中，该设备可以是无线通信设备。
在一些实施例中，发射器801可以是能够在发射器801的第一投射模式(例如，ToF投射模式)期间在投射第一光分布(例如，使用漫射器807)、与在发射器801的第二投射模式(例如，SL投射模式)期间投射第二光分布(例如，使用DOE 805)之间切换的单个混合激光投射器。当在SL投射模式中操作时，DOE 805可以使发射器801能够发送光的第二分布，其可以是例如已知的DOE点图案、码字DOE投射、随机点投射或分布、等等。漫射器807可以是可切换的，使得当设备800在SL投射模式中操作时漫射器“关”(或“禁用”或“关闭”)，并且当设备800在ToF投射模式中操作时漫射器“开”(或“启用”或“开启”)。更具体地，当在ToF投射模式中操作时，漫射器807开启，这使得发射器801发射光的第二分布(例如，泛光分布)。因此，发射器801可以被同步，以便在SL投射模式期间投射光的第二分布(例如，DOE分布)以及在ToF投射模式期间投射光的第二分布(例如，全泛光帧)。在一些实施例中，发射器801可以包括多个投射器。
在一些实施例中，传感器802可以是单个混合ToF和SL传感器，用于根据ToF和SL感测(或“读出”)模式来接收反射光。传感器802可以被配置为在第一感测模式(例如，ToF感测模式)与第二感测模式(例如，SL感测模式)中操作之间切换。例如，传感器802可以是被配置为在ToF和SL感测模式中操作(或交替)之间切换的复合CMOS图像传感器。感测模式可以取决于发射器801投射的分布(例如，DOE或泛光)。在一些方面中，传感器802可以是基于单片像素阵列架构，例如，具有时分复用读取(TDMR)能力。在其他实施例中，传感器802可以包括与多个投射器相结合进行操作的一个或多个通用ToF传感器。
在一些实施例中，主动深度控制器810可以是用于计算深度信息的计算元件。主动深度控制器810可以被配置为在使用ToF技术计算深度信息和使用SL技术计算深度信息之间交替。出于本文讨论的目的，使用SL技术计算的深度信息也可以被称为“SL深度信息”、“SL信息”等。类似地，为了本文讨论的目的，使用ToF技术计算的深度信息也可以被称为“ToF深度信息”、“ToF信息”等。在一些方面中，主动深度控制器810可以使用SL深度信息作为用于计算或补充ToF深度信息的参考，这可以帮助补偿ToF深度信息中的MPI误差。在一些实施例中，传感器802可以是可重新配置的指令单元阵列(RICA)，其是专有的、实时的、低功率的、(重新)可编程的、图像信号处理(ISP)、主动感测、处理引擎。在一些方面中，将RICA可编程实现方式与本文描述的混合NIR传感器堆叠可以使主动深度控制器810能够“即时”切换编程以切换计算SL深度信息和ToF深度信息，同时减少用于传感器(例如，传感器802)的组件数量。在其他实施例中，主动深度控制器810可以是通用传感器。
在一些方面中，主动深度控制器810可以被配置为控制(或以其他方式操作)发射器801和传感器802中的至少一个以便同步其各自的操作模式，使得发射器801和传感器802在其各自的SL模式或ToF模式中同时操作。在一些方面中，主动深度控制器810可以被设备800的一个或多个其他组件(比如，处理器804和/或存储器806)控制，与设备800的一个或多个其他组件相结合工作，或者以其他方式被设备800的一个或多个其他组件操作。
设备800可以可选地包括或被耦接到显示器814和多个输入/输出(I/O)组件816。传感器802可以是或者可以以其他方式耦接到摄像头，例如，单个摄像头、双摄像头模块、或带有任意数量其他摄像头传感器的模块(未图示)。信号处理器812可以被配置为处理来自传感器802的捕获。设备800还可以包括耦接到处理器804的一个或多个可选传感器820(比如，陀螺仪、磁力计、惯性传感器、NIR传感器等)。设备800还可以包括电源818，其可以耦接到或集成到设备800中。设备800可以包括未示出的附加特征或组件。
存储器806可以是存储计算机可执行指令808以执行本公开内容中描述的一个或多个操作的全部或一部分的非瞬态或非暂时性计算机可读介质。处理器804可以是能够执行一个或多个软件程序的脚本或指令(诸如存储在存储器806内的指令808)的一个或多个合适的处理器。在一些方面，处理器804可以是执行指令808以使设备800执行任何数量的功能或操作的一个或多个通用处理器。在附加或替代方面中，处理器804可包括集成电路或其他硬件以在不使用软件的情况下执行功能或操作。虽然在图8的示例中示为经由处理器804彼此耦接，但处理器804、存储器806、主动深度控制器810、可选的显示器814、可选的I/O组件816和可选的传感器820可以各种布置彼此耦接。例如，处理器804、存储器806、主动深度控制器810、可选的显示器814、可选的I/O组件816和/或可选的传感器820可以经由一条或多条本地总线(为了简单起见，未示出)彼此耦接。
显示器814可以是允许用户交互和/或呈现项目(诸如深度信息或场景的预览图像)以供用户查看的任何合适的显示器或屏幕。在一些方面，显示器814可以是触敏显示器。I/O组件816可以是或包括任何合适的机制、接口或设备，以从用户接收输入(诸如命令)并向用户提供输出。例如，I/O组件816可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备800的可挤压边框或边界、位于设备800上的物理按钮等。显示器814和/或I/O组件816可以向用户提供场景的预览图像或深度信息和/或接收用于调整设备800的一个或多个设置的用户输入(例如，调整发射器801的发射强度、确定或切换设备800的一种或多种操作模式、调整发射器801的发射场、等等)。
主动深度控制器810可以包括或者可以以其他方式耦接到信号处理器812，信号处理器812可以是一个或多个处理器以处理来自传感器802的捕获。主动深度控制器810可以被配置为将发射器801和传感器802中的至少一个在一种或多种操作模式之间切换。主动深度控制器810可以替代地或附加地包括具体硬件与执行软件指令的能力的结合。
发射器801可以针对不同的操作模式来改变其发射场。在一些示例实施方式中，发射器801可以包括用于调整发射/传输场的大小的聚焦装置。在一个示例中，附接到致动器(例如，微机电系统(MEMS)致动器)的镜子可以调整来自发射器801的光发射的焦点。在另一示例中，可调整全息光学元件(HOE)可以调整来自发射器801的光发射的焦点。在另一示例中，可成形DOE(例如，用于调整形状的压电材料)可以被调整以聚焦所发射的光的衍射点。
在一些其他示例性实施方式中，设备800可以使用多个光发射器(未示出)代替发射器801或与发射器801相结合来发射光。发射器可以包括第一组光发射器(例如，第一光发射器阵列)用于发射具有第一发射场的光。发射器还可以包括用于发射具有第二发射场的光的第二组光发射器或不同组光发射器(例如，第二光发射器阵列)。在距发射器801的共同深度处，第一场可以大于第二场。在一些示例实施方式中，第一组光发射器对于发射器801的第一模式可以是主动的，并且第二组光发射器对于发射器801的第二模式可以是主动的。
图9示出了描绘包括传感器909、发射器949和控制器979的ToF和SL系统的示例操作的时序图900。传感器909、发射器949和控制器979可以分别是传感器802、发射器801和主动深度控制器810的示例实施例。将理解的是，ToF和SL是示例主动深度技术，并且在一些实施方式中系统可以使用其他主动深度技术。
示例时序图900示出了用于发射器949的三个投射周期：在时间901处结束的第一投射周期、在时间902处结束的第二投射周期和在时间903处结束的第三投射周期。发射器949可以在每个投射周期期间投射光的第一分布。光的第一分布可以是第一投射模式的泛光分布，例如ToF投射模式。例如，发射器949可以在ToF投射模式期间分别针对第一、第二和第三投射周期中的每一个投射泛光分布950、泛光分布952和泛光分布954。出于本文讨论的目的，泛光分布也可以被称为“泛光照明”或“漫射光”。发射器949也可以在每个投射周期期间投射光的第二分布。光的第二分布可以是针对第二投射模式(例如，SL投射模式)的DOE分布。例如，发射器949可以在SL投射模式期间分别针对第一、第二和第三投射周期中的每一个投射DOE分布970、DOE分布972和DOE分布974。出于本文讨论的目的，DOE分布也可以被称为“DOE图案”、“DOE投射”、“SL分布”、“SL图案”和/或“SL投射”。
示例时序图900示出了传感器909的三个感测周期：在时间901处结束的第一感测周期、在时间902处结束的第二感测周期和在时间903处结束的第三感测周期。针对每个感测周期，传感器909可以读取两帧ToF传感器数据(在ToF感测模式期间)和一帧SL传感器数据(在SL感测模式期间)。当发射器949被配置为在ToF投射模式中操作的同时，传感器909可以被配置为在ToF感测模式中操作。当发射器949被配置为在SL投射模式中操作的同时，传感器909可以被配置为在SL感测模式中操作。类似于图2C中描述的系统，在ToF感测模式期间，传感器909可以在相对于来自发射器949的脉冲信号的多个特定相位偏移(例如，相位0°、相位180°、相位90°和相位270°)处曝光。传感器909可以为特定相位偏移中的每一个累积并存储电荷量(Q)。
例如，在第一曝光期间，传感器909可以基于Ql和Q2读出ToF传感器数据910的第一帧，其中，Ql是在0°相位偏移处累积的电荷，并且其中Q2是以180°相位偏移处累积的电荷。在第二曝光期间，传感器909可以基于Q3和Q4来读出ToF传感器数据912的第二帧，其中Q3是在90°相位偏移处累积的电荷，并且其中Q4是在270°相位偏移处累积的电荷。类似地，传感器909可以在第二感测周期期间读出第一帧ToF传感器数据914和第二帧ToF传感器数据916，并且传感器909可以在第三感测周期期间读出第一帧ToF传感器数据918和第二帧ToF传感器数据920。传感器909可以在第一感测周期期间读出一帧SL传感器数据930，在第二感测周期期间读出一帧SL传感器数据932，以及在第三感测周期期间读出一帧SL传感器数据934。
在每个感测周期之后，控制器979可以使用SL传感器数据来计算SL深度信息(Z(SL))。例如，控制器979可以分别在第一、第二和第三感测周期中的每一个之后计算SL深度信息(Z(SL))980、Z(SL)982和Z(SL)984。
在计算Z(SL)之后，控制器979可以使用ToF传感器数据和Z(SL)来计算针对相应感测周期的ToF深度信息(Z(ToF+SL))。例如，控制器979可以在分别计算Z(SL)980、Z(SL)982和Z(SL)984中的每一个之后计算ToF深度信息Z(ToF+SL)990、Z(ToF+SL)992和Z(ToF+SL)994。在一些方面中，控制器979可以使用针对相应感测周期的一帧ToF传感器数据来计算Z(ToF+SL)，或者，由于ToF感测技术易受噪声影响，控制器979可以使用针对相应感测周期的不止一帧ToF传感器数据来计算Z(ToF+SL)。例如，为了计算Z(ToF+SL)990，控制器979可以将ToF传感器数据的第一帧910与ToF传感器数据的第二帧912求平均。控制器979可以在下一传感周期期间的任何时间来计算Z(SL)和Z(ToF+SL)。例如，控制器979可以计算时间901与时间902之间的Z(SL)980和Z(ToF+SL)990。
在图9的例子中，系统可以使用来自SL模式的稀疏深度信息作为基线来消除来自ToF模式的多径效应，从而在没有(或具有至少减轻的)MPI伪影的情况下生成高分辨率和高精度的深度信息。根据本文描述的实施例，系统可以使用单个传感器(例如，传感器909)、单个发射器(例如，发射器949)和/或单个控制器(例如，控制器979)，在没有(或具有至少减轻的)MPI伪影的情况下生成深度信息。
图10A示出了在第一(例如，ToF)模式中操作的示例ToF和SL系统1000。系统100包括发射器1010和传感器1045。在ToF模式期间，发射器1010可以在ToF投射模式中操作，并且传感器1045可以在ToF感测模式中操作，如针对图9描述的。发射器1010和传感器1045可以分别是图8的发射器801和传感器802的示例实施例。ToF和SL系统1000包括DOE 1020和耦接到DOE 1020的前面的漫射器1030。在一些方面中，漫射器1030可以是可切换的漫射器，比如，上文针对图8的漫射器807所描述的。在ToF投射模式期间漫射器1030可以开启(例如，用于泛光分布)。具体地，在ToF投射模式期间，发射器1010可以向物体1040发射脉冲信号1011，而漫射器1030漫射所发射的光以将泛光分布(例如，均匀照明)投射到场景上。反射信号1041可以到达传感器1045，并且传感器1045可以基于针对每个像素的光反射回传感器1045的时间量来计算ToF深度信息。
图10B示出了在第二(例如，SL)模式中操作的示例ToF和SL系统1000。在SL模式期间，发射器1010可以在SL投射模式中操作，并且传感器1045可以在SL感测模式中操作，如针对图9描述的。在SL投射模式期间漫射器1030可以关闭(例如，用作透明的玻璃片)。具体地，在SL投射模式期间，发射器1010可以向场景投射DOE分布，其将相对不受影响地穿过漫射器1030(作为投射光1013)并投射到场景上(例如，作为点矩阵图案)。反射光1043可以到达传感器1045处，并且传感器1045可以基于投射光1013在场景上畸变的程度来计算SL深度信息Z(SL)。主动深度控制器(例如图8的主动深度控制器810)可以在ToF深度信息Z(ToF+SL)的计算期间使用Z(SL)，如针对图9描述的。以此方式，主动深度控制器810可以减少或消除ToF深度信息中的多径伪影。此外，本实施例可以使用单个传感器(例如，传感器1045)、单个发射器(例如，发射器1010)和/或单个控制器(例如，主动深度控制器810)来提供精确的高分辨率深度感测。
图11A是在第一(例如，ToF)模式中操作的ToF和SL系统1100的简化图示。ToF和SL系统1100可以是如针对图10A描述的ToF和SL系统1000的示例实现。激光器1110通过DOE1120发射光。在ToF模式中，漫射器1130可以被开启(用实线灰色表示)，并且DOE分布在通过漫射器1130时可以被漫射，这使场景1140泛光照明。
图11B是图11A的ToF和SL系统1100在第二(例如，SL)模式中操作的简化图示。ToF和SL系统1100可以是如针对图10B描述的ToF和SL系统1000的示例实现。激光器1110通过DOE 1120发射光。在SL模式中，漫射器1130可以被关闭(用虚线图案表示)，并且DOE分布可以通过漫射器1130(例如，未改变的)投射并且到场景1140上。
图12A示出了根据一些实施例的在第一(例如，ToF)模式中操作的示例性可切换漫射器1260。可切换漫射器1260可以是图8的漫射器807的示例实施例。在一些方面中，可切换漫射器1260可以是基于液晶(LC)的可切换漫射器。可切换漫射器1260具有电介质材料层(例如，LC层1264)，所述电介质材料层具有折射率
Figure BDA0003376849760000211
玻璃基板可以位于DOE基板1262和LC层1264之间。在一些方面中，DOE基板1262具有位于其背面的氧化铟锡(ITO)编码并且面向漫射层1268。漫射层1268可以被制造在介电材料层中并且具有折射率no。具有电压1265的一对导电材料1263可以控制LC层1264中的LC分子的取向。在图12A的示例中，不跨LC层1264施加电压(例如，电压1265，V＝0)。因此，LC材料1264的折射率保持为na，并且LC层1264中的LC分子保持随机地取向。由于，在此示例中，LC层1264和漫射层1268的折射率不同，漫射器1260可以“开启”。因此，光1261在LC层1264和漫射层1268之间的连接处散射(例如，漫射)，这为ToF模式投射泛光分布。
图12B示出了根据一些实施例，图12A的示例性可切换漫射器1260在第二(例如，SL)模式中操作。可切换漫射器1260可以是图8的漫射器807的示例实施例。在图12B的例子中，跨LC层1264施加电压V0。因此，LC材料1264的折射率变为no，并且LC层1264中的LC分子移动成对准。由于，在此示例中，LC层1264和漫射层1268的折射率相同，漫射器1260可以被“关闭”。因此，光1261径直穿过LC层1264与漫射层1268之间的连接(例如，相对不受影响)，其投射针对SL模式的DOE分布。
图13A示出了能够在第一感测模式(例如，ToF感测模式)和第二感测模式(例如，SL感测模式)中操作的示例传感器1300的俯视图。传感器1300可以是图8的传感器802的示例实施例。传感器1300在本文中也可以被称为复合、混合、NIR、像素图像传感器或接收器和/或集成(照片)检测器阵列。在一些方面中，传感器1300可以具有单片CMOS架构，所述单片CMOS架构带有用于在ToF感测模式与SL感测模式之间交替的TDMR配置。在一些其他方面中，传感器1300可以具有电荷耦合器件(CCD)架构。传感器1300可以将全局快门(GS)像素1310与ToF像素1330相结合。传感器1300可以被配置为：在与发射器(例如，图8的发射器801)在ToF投射模式和SL投射模式之间切换的相同时间，在ToF感测模式和SL感测模式之间切换，如针对图9描述的。
传感器1300可以包括：针对ToF感测模式的用于确定脉冲信号与接收信号之间相位差的一个或多个多相位锁定像素单元。传感器1300也可以包括用于在SL感测模式中对传感器1300进行操作的GS解调像素单元。例如，传感器1300包括用于从反射信号检测NIR光的总共两个NIR门(NIR门1320和NIR门1322)。NIR门1320可以在SL感测模式期间检测NIR光。由于GS像素1310和ToF像素1330不是电隔离的，NIR门1320(除NIR门1322以外)还可以在ToF感测模式期间检测NIR光。传感器1300还具有用于接收相对于脉冲信号具有相移
Figure BDA0003376849760000231
的反射光脉冲并将光信号转换为电信号的两个ToF门(ToF门1340和ToF门1342)。每个ToF门耦接到提供时变控制信号的电压源(未示出)。两个ToF门中的每一个耦接到读出电路(未示出)以用于读出从反射光收集的电荷(Q)。传感器1300是双相传感器的示例，因为第一ToF门1340可以以相对于发射光的第一相移(例如，0°)读出第一收集电荷(例如，Ql)，并且第二ToF门1342可以以相对于发射光的第二相移(例如，180°)读出第二收集电荷(例如，Q2)。每个读出电路可以包括一定数量的晶体管，比如，选择门、源极跟随器、复位门、选择门、或任何其他合适的电路。
以这种方式，传感器1300可以作为用于混合模式ToF和SL系统的单个两相传感器操作并且使用来自SL模式的稀疏深度信息作为基线来消除来自ToF模式的多径效应，从而在没有(或具有至少减轻的)MPI伪影的情况下生成高分辨率和高精度深度信息。
图13B示出了能够在第一感测模式(例如，ToF感测模式)和第二感测模式(例如，SL感测模式)中操作的示例传感器1350的俯视图。传感器1350可以是图8的传感器802的示例实施例。传感器1350在本文中也可以被称为复合、混合、NIR、像素图像传感器或接收器和/或集成(照片)检测器阵列。在一些方面中，传感器1350可以具有单片CMOS架构，所述单片CMOS架构带有用于在ToF感测模式和SL感测模式之间交替的TDMR配置。在一些其他方面中，传感器1350可以具有CCD架构。传感器1350可以结合来自GS像素1360和ToF像素1380的特征。传感器1350可以被配置为：在与发射器(例如，图8的发射器801)在ToF投射模式和SL投射模式之间切换的相同时间，在ToF感测模式和SL感测模式之间切换，如针对图9描述的。
传感器1350可以包括针对ToF感测模式用于确定脉冲信号和接收信号之间相位差的一个或多个多相位锁定像素单元。传感器1350还可以包括用于在SL感测模式中对传感器1350进行操作的GS解调像素单元。例如，传感器1350包括耦接到GS像素1360的NIR门1370，用于检测来自反射信号的NIR光。NIR门1370可以在SL感测模式期间检测NIR光。GS像素1360和ToF像素1380是电隔离的。因此，与图13A的ToF像素1330不同，在ToF模式期间GS像素1360可以不与ToF像素1380共享NIR门1370。相反，ToF像素1380具有四个ToF门(ToF门1390、ToF门1392、ToF门1394和ToF门1396)用于接收相对于脉冲信号具有相移
Figure BDA0003376849760000241
的反射光脉冲并将光信号转换为电信号。每个ToF门耦接到提供时变控制信号的电压源(未示出)。四个ToF门中的每一个耦接到读出电路(未示出)以读出从反射光收集的电荷(Q)。传感器1350是四相传感器的示例，因为第一ToF门1390可以以相对于发射光的第一相移(例如，0°)读出第一收集电荷(例如，Ql)，第二ToF门1392可以以相对于发射光的第二相移(例如，180°)读出第二收集电荷(例如，Q2)，第三ToF门1394可以以相对于发射光的第三相移(例如，90°)读出第三收集电荷(例如，Q3)，并且第四ToF门1396可以以相对于发射光的第四相移(例如，270°)读出第四收集电荷(例如，Q4)。每个读出电路可以包括一定数量的晶体管，例如选择门、源极跟随器、复位门、选择门或任何其他合适的电路。
以这种方式，传感器1350可以作为用于混合模式ToF和SL系统的单个四相传感器进行操作，并且使用来自SL模式的稀疏深度信息作为基线来消除来自ToF模式的多径效应，从而在没有(或具有至少减轻的)MPI伪影的情况下生成高分辨率和高精度深度信息。
图14示出了针对解调像素单元1400的示例电子电路图。解调像素单元1400可以包括耦接到接地电位1410的光电二极管1420。光电二极管1420可以将光(例如，光子)从反射信号转换为电流，其流向并联耦接到光电二极管1420的晶体管1430和晶体管1460。晶体管1430和晶体管1460可以分别阻止电流流向电容器(C1)和电容器(C2)。C1可以耦接到接地电位1450，并且C2可以耦接到接地电位1480。在一些方面中，晶体管1430或晶体管1460中的至少一个可以是场效应晶体管(FET)。在一些方面中，晶体管1430和晶体管1460中的至少一个可以是金属氧化物半导体场效应晶体管(MOSFET)。
解调像素单元1400可以捕获可以用于生成ToF深度信息的ToF传感器数据。例如，在第一曝光周期期间，当快门以相对于发射信号的第一相位偏移(例如，Φ1＝0°)打开时，C1可以存储来自反射信号的第一电荷(Q1)，并且当快门以相对于发射信号的第二相位偏移(例如，Φ2＝180°)打开时，C2可以存储来自反射信号的第二电荷(Q2)。在第二曝光周期期间，当快门以相对于发射信号的第三相位偏移(例如，Φ1＝90°)打开时，C1可以存储来自反射信号的第三电荷(Q3)，并且当快门以相对于发射信号的第四相位偏移(例如，Φ2＝270°)打开时，C2可以存储来自反射信号的第四电荷(Q4)。根据针对每个曝光周期跨Cl和C2存储的电荷，可以计算发射信号与反射信号之间的相位偏移
Figure BDA0003376849760000251
这允许计算相应的ToF深度信息：
Figure BDA0003376849760000252
Figure BDA0003376849760000253
Figure BDA0003376849760000254
其中，D表示深度信息，c是光速(即，
Figure BDA0003376849760000255
)，fmod表示发射信号的调制频率，V0-V180表示在第一曝光周期期间针对Φ1和Φ2的积分电信号，V90-V270表示在第二曝光周期期间针对Φ1和Φ2的积分电信号，而σdepth表示深度精度。
图15A示出了针对GS像素阵列1500的示例电子电路图。GS像素阵列1500在本文中也可以被称为NIR GS成像器。GS像素阵列1500包括两个共享的GS光电二极管PD1和PD2。PD1和PD2中的每一个可以在SL感测模式期间吸收光子(例如，从场景和/或物体反射回来的光)。PD1和PD2中的每一个分别耦接到浮动存储二极管SD1和SD2。SD1和SD2可以作为用于电荷积累和从光电二极管PD1和PD2读出的存储节点元件进行操作。存储二极管SD1和SD2中的每一个分别耦接到传输门TG1和TG2。TG1和TG2可以是具有相对低电压降的晶体管。来自PD1和PD2的电荷可以分别流向晶体管LOD1和晶体管LOD2，晶体管LOD1和晶体管LOD2均耦接到电源电压Vddpix 1565。
GS像素阵列1500包括用于累积电荷的电容器FD。电容器FD耦接到晶体管TS1，晶体管TS1耦接到例如储存二极管SD1。电容器FD还耦接到晶体管TS2，晶体管TS2例如耦接到存储二极管SD2。电容器FD进一步耦接到复位开关RST。当RST闭合时，电荷可以流向Vddpix1575。当RST打开时，电荷可以流向源极跟随放大器SF_AMP。由于SF_AMP的源极电压保持与栅极电压成正比，SF_AMP可以将电荷转换为电压并触发选择开关SEL。当SEL断开时(例如，在SL模式期间，当TS1和TS2断开时)，Vddpix 1575可以被隔离，并且来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷可以跨电容器FD累积。当SEL闭合时(例如，在每个SL模式之后，当TS1和TS2闭合时)，所累积的一系列信号脉冲可以从TG1和TG2中的每一个传输到输出端子Vout。Vout可以被耦接到电流源I_bias。因此，GS像素阵列1500可以捕获用于生成SL深度信息的SL传感器数据。
图15B示出了针对GS像素阵列1550的示例电子电路图。GS像素阵列1550在本文中也可以被称为NIR GS成像器。GS像素阵列1500包括两个共享的GS光电二极管PD1和PD2。PD1和PD2中的每一个可以在SL感测模式期间吸收光子(例如，从场景和/或物体反射回来的光)。PD1和PD2中的每一个分别耦接到CCD读出存储器MEM1和MEM2。MEM1和MEM2可以作为用于从光电二极管PD1和PD2进行电荷积累和读出的存储节点元件进行操作。MEM1和MEM2中的每一个分别耦接到传输门TG1和TG2。TG1和TG2可以是具有相对低电压降的晶体管。来自PD1和PD2的电荷可以分别流向晶体管LOD1和晶体管LOD2，晶体管LOD1和晶体管LOD2均耦接到电源电压Vddpix 1568。
GS像素阵列1550包括用于累积电荷的电容器FD。电容器FD耦接到晶体管TS1，晶体管TS1耦接到例如CCD读出存储器MEM1。电容器FD还耦接到晶体管TS2，晶体管TS2耦接到例如CCD读出存储器MEM2。电容器FD进一步耦接到复位开关RST。当RST闭合时，电荷可以流向Vddpix 1578。当RST断开时，电荷可以流向源极跟随放大器SF_AMP。由于SF_AMP的源极电压保持与栅极电压成比例，SF_AMP可以将电荷转换为电压并触发选择开关SEL。当SEL断开时(例如，在SL模式期间，当TS1和TS2断开时)，Vddpix 1578可以被隔离，并且来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷可以跨电容器FD累积。当SEL闭合时(例如，在每个SL模式之后，当TS1和TS2闭合时)，所累积的一系列信号脉冲可以从TG1和TG2中的每一个传输到输出端Vout。Vout可以耦接到电流源I_bias。因此，GS像素阵列1550可以捕获用于生成SL深度信息的SL传感器数据。
图16A示出了针对GS像素阵列1600的示例电子电路图。像素阵列1600在本文中也可以被称为混合NIR GS成像器并且可以能够在ToF感测模式和SL感测模式中操作。GS像素阵列1600可以是图8的传感器802的示例实施例。GS像素阵列1600包括两个共享的GS光电二极管PD1和PD2。PD1和PD2中的每一个可以在SL感测模式期间吸收光子(例如，从场景和/或物体反射回来的光)。PD1耦接到两个浮动存储二极管SD1和SD2，这两个浮动存储二极管SD1和SD2可以用作用于电荷积累以及从PD1读出的存储节点元件。PD2耦接到两个浮动存储二极管SD3和SD4，它们可以作为用于电荷积累以及从PD2读出的存储节点元件进行操作。SD1-SD4中的每一个分别耦接到传输门TG1-TG4。TG1-TG4中的每一个可以是具有较低电压降的晶体管。来自PD1的电荷可以流向耦接到电源电压Vddpix 1647的晶体管LOD1。来自PD2的电荷可以流向耦接到电源电压Vddpix 1657的晶体管LOD2。
GS像素阵列1600包括用于从反射信号积累电荷的电容器FDl和FD2。FD1耦接到晶体管TS1和TS3，晶体管TS1和TS3分别耦接到SD1和SD3。FD2耦接到晶体管TS2和TS4，晶体管TS2和TS4分别耦接到SD2和SD4。FD1和FD2中的每一个分别耦接到复位开关RST1和RS2。当RST1和RS2中的任一个闭合时，电荷可以分别流向Vddpix 1665和Vddpix 1675。当RST1和RST2中的任一个断开时，电荷可以分别流向源极跟随放大器SF_AMP1和SF_AMP2。由于SF_AMP1和SF_AMP2的源极电压保持与栅极电压成比例，SF_AMP1和SF_AMP2可以将电荷转换为电压并分别切换相应的选择开关SEL1和SEL2。
在ToF感测模式期间，TS2、TG2、TS3、TG3、TS1、TG1、TS4和TG4中的每一个可以闭合(激活)并且像素阵列1600可以解调反射信号的多个相位。SEL1和SEL2也可以在ToF感测模式期间断开，这可以隔离Vddpix 1665和Vddpix 1675，从而允许来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷跨FD1和FD2累积。当SEL1和SEL2闭合时，所累积的一系列信号脉冲可以分别从TG1和TG4传送到输出端Vout_n和Vout_n+1。Vout_n可以耦接到电流源I_bias1，并且Vout_n+1可以耦接到电流源I_bias2。因此，GS像素阵列1600可以捕获用于产生SL深度信息的SL传感器数据。在ToF感测模式期间，发射器(例如图8的发射器801)的激光器可以以相对窄的占空比进行操作，并且对于每个脉冲开启相对短的时间量。因此，与卷帘快门(RS)像素阵列(未图示)相比，可以增加眼睛安全性并且可以降低功耗。
在SL感测模式期间，TS2、TG2、TS3和TG3中的每一个(例如，读出电路的一半)可以是断开的，并且TSl、TG1、TS4和TG4中的每一个(例如，读出电路的另一半)可以闭合。以此方式，可以在不同时间帧以双相(例如，一个在左侧，一个在右侧)捕获反射信号。SEL1和SEL2在SL感测模式期间也可以断开，这可以隔离Vddpix 1665和Vddpix 1675，从而允许来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷跨FD1和FD2累积。当SEL1和SEL2闭合时，所累积的一系列信号脉冲可以从TG1和TG4分别传送到输出端Vout_n和Vout_n+1。Vout_n可以耦接到电流源I_bias1，并且Vout_n+1可以耦接到电流源I_bias2。因此，GS像素阵列1600可以捕获用于产生SL深度信息的SL传感器数据。
以此方式，像素阵列1600可以作为用于混合模式ToF和SL系统的混合GS传感器进行操作，用于使用来自SL模式的稀疏深度信息作为基线以消除来自ToF模式的多径效应，从而在没有(或具有至少减轻的)MPI伪影的情况下生成高分辨率和高精度深度信息。
图16B示出了针对GS像素阵列1650的示例电子电路图。像素阵列1650在本文中也可以被称为混合NIR GS成像器并且可以能够在ToF感测模式和SL感测模式中操作。GS像素阵列1650可以是图8的传感器802的示例实施例。GS像素阵列1650包括两个共享的GS光电二极管PD1和PD2。PD1和PD2中的每一个可以在SL感测模式期间吸收光子(例如，从场景和/或物体反射回来的光)。PD1耦接到两个CCD读出存储器MEM1和MEM4，它们可以作为用于电荷积累和从PD1读出的存储节点元件进行操作。PD2耦接到两个CCD读出存储器MEM2和MEM3，这两个CCD读出存储器MEM2和MEM3可以作为用于电荷累积和从PD2读出的存储节点元件进行操作。MEM1-MEM4中的每一个分别耦接到传输门TG1-TG4。TG1-TG4中的每一个可以是具有较低电压降的晶体管。来自PD1的电荷可以流向耦接到电源电压Vddpix 1647的晶体管LOD1。来自PD2的电荷可以流向耦接到电源电压Vddpix 1657的晶体管LOD2。
GS像素阵列1650包括用于累积来自反射信号的电荷的电容器FDl和FD2。FD1耦接到晶体管TS1和TS3，晶体管TS1和TS3分别耦接到MEM1和MEM3。FD2耦接到晶体管TS2和TS4，晶体管TS2和TS4分别耦接到MEM2和MEM4。FD1和FD2中的每一个分别耦接到复位开关RST1和RS2。当RST1和RS2中的任一个闭合时，电荷可以分别流向Vddpix 1665和Vddpix 1675。当RST1和RST2中的任一个断开时，电荷可以分别流向源极跟随放大器SF_AMP1和SF_AMP2。由于SF_AMP1和SF_AMP2的源极电压保持与栅极电压成比例，SF_AMP1和SF_AMP2可以将电荷转换为电压并分别切换相应的选择开关SEL1和SEL2。
在ToF感测模式期间，TS2、TG2、TS3、TG3、TS1、TG1、TS4和TG4中的每一个可以闭合(激活)并且像素阵列1650可以解调反射信号的多个相位。SEL1和SEL2也可以在ToF感测模式期间断开，这可以隔离Vddpix 1665和Vddpix 1675，从而允许来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷跨FD1和FD2累积。当SEL1和SEL2闭合时，所累积的一系列信号脉冲可以从TG1和TG4分别传送到输出端Vout_n和Vout_n+1。Vout_n可以耦接到电流源I_bias1，并且Vout_n+1可以耦接到电流源I_bias2。因此，GS像素阵列1650可以捕获用于生成SL深度信息的SL传感器数据。在ToF感测模式期间，发射器(例如图8的发射器801)的激光器可以以相对窄的占空比进行操作并且针对每个脉冲开启相对短的时间量。因此，与RS像素阵列(未图示)相比，可以增加眼睛安全性并且可以降低功耗。
在SL感测模式期间，TS2、TG2、TS3和TG3中的每一个(例如，读出电路的一半)可以是断开的，而TSl、TG1、TS4和TG4中的每一个(例如，读出电路的另一半)可以闭合。以此方式，可以在不同时间帧以双相(例如，一个在左侧，一个在右侧)捕获反射信号。SEL1和SEL2也可以在SL感测模式期间断开，这可以隔离Vddpix 1665和Vddpix 1675，从而允许来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷跨FD1和FD2累积。当SEL1和SEL2闭合时，所累积的一系列信号脉冲可以从TG1和TG4分别传输到输出端Vout_n和Vout_n+l。Vout_n可以耦接到电流源I_bias1，并且Vout_n+1可以耦接到电流源I_bias2。因此，GS像素阵列1650可以捕获用于生成SL深度信息的SL传感器数据。
以此方式，像素阵列1650可以作为用于混合模式ToF和SL系统的混合GS传感器进行操作，用于使用来自SL模式的稀疏深度信息作为基线以消除来自ToF模式的多径效应，在没有(或具有至少减轻的)MPI伪影的情况下生成高分辨率和高精度深度信息。
图17示出了RS像素阵列1700的示例电子电路图。像素阵列1700在本文中也可以被称为混合NIR RS成像器并且也许能够在ToF感测模式和SL感测模式中操作。RS像素阵列1700可以是图8的传感器802的示例实施例。像素阵列1700可以被配置为逐行读出信号，并且从而以恒定波模式(例如，以特定占空比)进行操作以便将RS的每条线曝光相等时间量。RS像素阵列1700包括四个共享的RS光电二极管PD1-PD4。在SL感测模式期间，PD1-PD4中的每一个可以吸收光子(例如，来自从场景和/或物体反射回来的光)。PD1耦接到两个传输门TG1和TG2。PD2耦接到两个传输门TG3和TG4。PD3耦接到两个传输门TG5和TG6。PD4耦接到两个传输门TG7和TG8。TG1-TG8中的每一个可以是具有相对低电压降的晶体管。
RS像素阵列1700包括用于累积来自反射信号的电荷的电容器FDl和FD2。FD1和FD2中的每一个分别耦接到复位开关RST1和RS2。当RST1和RS2中的任一个闭合时，电荷可以分别流向Vddpix 1765和Vddpix 1775。当RST1和RST2中的任一个断开时，电荷可以分别流向源极跟随器放大器SF_AMP1和SF_AMP2。由于SF_AMP1和SF_AMP2的源极电压保持与栅极电压成比例，SF_AMP1和SF_AMP2可以将电荷转换为电压并且分别切换相应的选择开关SEL1和SEL2。
在ToF感测模式期间，TG1-TG8中的每一个可以闭合(激活)并且像素阵列1700可以解调反射信号的多个相位。SEL1和SEL2可以在ToF感测模式期间断开，这可以隔离Vddpix1765和Vddpix 1775，允许来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷跨FD1和FD2累积。当SEL1闭合时，所累积的一系列信号脉冲可以从TG1、TG3、TG5和TG7传输到输出端Voutl。当SEL2闭合时，所累积的一系列信号脉冲可以从TG2、TG4、TG6和TG8传输到输出端Vout2。Vout1可以耦接到电流源I_bias1，并且Vout2可以耦接到电流源I_bias2。因此，RS像素阵列1700可以捕获用于生成ToF深度信息的ToF传感器数据。
在SL感测模式期间，TG1、TG4、TG5和TG8中的每一个(例如，读出电路的一半)可以是闭合的，并且TG2、TG3、TG6和TG7中的每一个(例如，读出电路的另一半)可以是断开的。以此方式，可以在不同时间帧以双相(例如，一个在左侧，一个在右侧)捕获反射信号。SEL1和SEL2在SL感测模式期间也可以断开，这可以隔离Vddpix 1765和Vddpix 1775，从而允许来自一系列信号脉冲(例如，脉冲串)中的每一个的相对少量的电荷跨FD1和FD2累积。
以此方式，像素阵列1700可以作为用于混合模式ToF和SL系统的混合RS传感器进行操作，用于使用来自SL模式的稀疏深度信息作为基线以消除来自ToF模式的多径效应，从而在没有(或具有至少减轻的)MPI伪影的情况下生成高分辨率和高精度深度信息。
图18示出了描绘在SL模式中操作的RS传感器的示例时序图1800。RS传感器可以是图17的ToF和SL像素阵列1700的示例实施例。参照图17，例如，当在SL模式中操作时，像素阵列1700可以仅使用一半传输门(TG)(例如，TG1、TG4、TG5和TG8)。针对TG1和TG4的信号可以在针对SL模式期间的每个复位和读出周期的每隔(例如，n个)第一水平同步(H_sync)周期期间(例如，紧跟在垂直同步(V_sync)周期之后)激活。针对TG5和TG8的信号可以在针对SL模式期间的每个复位和读出周期的其它(例如，n+1个)水平同步(H_sync)周期期间激活。即，TG2、TG3、TG6和TG7中的每一个可以在SL模式中操作的同时保持去激活。图3中也示出了针对在SL模式期间RST和SEL开关的激活时序。积分时间示出了其中电荷在RS传感器处累积的时间段，如参照图17描述的。RS传感器可以交替读出SL数据(例如，SL深度信息)和ToF数据(例如，ToF深度信息)。
图19示出了描绘在ToF模式中操作的RS传感器的示例时序图1900。RS传感器可以是图17的ToF和SL像素阵列1700的示例实施例。参照图17，例如，当在ToF模式中操作时，像素阵列1700可以利用所有的传输门(TG)(例如，TG1-TG8)。针对TG1、TG3、TG5和TG7的信号可以在每隔(例如，2n+1个)第一水平同步(H_sync)周期期间激活(而TG2、TG4、TG6和TG8被去激活)，这可以在本文中被称为异相原始信号，或S180。针对TG2、TG4、TG6和TG8的信号可以在其他(例如，2n个)水平同步(H_sync)周期期间激活(而TG1、TG3、TG5和TG7被去激活)，其可以被称为同相原始信号或S0。图3中也示出了用于在SL模式期间RST和SEL开关的激活时序。积分时间示出了来自反射信号的电荷在RS传感器处累积的时间段，如参照图17描述的。读出操作周期跟随在每个积分周期之后。在每个读出周期期间，FD节点(例如，图17的FD 1730和FD 1767)作为存储节点进行操作，并且TG门被去激活(或“关闭”)，允许传感器在为下一曝光周期复位FD节点之前提取累积电荷。在一个方面中，RS传感器可以通过在发射器(例如图8的发射器801)被去激活时捕获附加帧来补偿(或“取消”)背景光(例如，环境光或噪声)。因此，当生成深度信息时，RS传感器可以从原始信号的相位(例如，S0和S180)减去相对较暗的起始信号。
图20示出了根据一些实施方式的用于深度感测的示例过程2000的流程图。过程2000可以由诸如上面参照图8描述的设备800之类的设备来执行。在一些实施方式中，过程2000开始于框2002，其中，当设备在第一模式中操作时，以包括泛光投射的第一分布来投射光。在框2004中，当设备在第二模式中操作时，过程2000继而以包括图案投射的第二分布来投射光。在框2006中，过程2000继而检测由光投射器投射的光的反射。在框2008中，过程2000继而基于当设备在第一模式中操作时由接收器检测到的反射来确定第一深度信息。在框2010中，过程2000继而基于当设备在第二模式中操作时由接收器检测到的反射来确定第二深度信息。在框2012中，过程2000继而使用第一深度信息和第二深度信息来解决MPI。在一些实施方式中，图案投射可以由布置在可切换漫射器和光投射器的光源之间的DOE产生。在一些实施方式中，该设备可以是无线通信设备。
图21A示出了描绘根据一些实施方式的用于深度感测的示例过程2110的流程图。过程2110可以由诸如上面参照图8描述的设备800之类的设备来执行。在一些实施方式中，过程2110可以是图20的框2008和框2010的分别用于确定第一深度信息和确定第二深度信息的过程的示例。过程2110开始于框2112，使用ToF技术来确定第一深度信息。在框2114中，过程2110继而使用SL技术来确定第二深度信息。
图21B示出了描绘根据一些实施方式的用于深度感测的示例过程2120的流程图。过程2120可以由诸如上面参照图8描述的设备800之类的设备来执行。在一些实施方式中，过程2120可以是图20的框2002和框2004的用于投射光的过程的示例，并且开始于框2122，其中，激活可切换漫射器以投射泛光投射。在框2124中，过程2120继而去激活可切换漫射器以投射图案投射。
在一些实施方式中，光投射器可以是布置在DOE和可切换漫射器之间的用于跨折射材料施加电压的双折射材料。可切换漫射器可以具有第一折射率并且双折射材料可以是具有第二折射率的液晶材料。在一些方面中，当光投射器不跨折射材料施加电压时，第一折射率和第二折射率可以不同。在一些方面中，当光投射器确实跨折射材料施加电压时，第一折射率和第二折射率可以相同。在一些方面中，当设备在第一模式中操作时，光投射器可以不跨折射材料施加电压。在一些方面中，当设备在第二模式中操作时，光投射器可以跨折射材料施加电压。
图21C示出了描绘根据一些实施方式的用于深度感测的示例过程2130的流程图。过程2130可以由诸如上面参照图8描述的设备800之类的设备来执行。在一些实施方式中，过程2130可以是图20的框2006的用于检测由光投射器投射的光的反射的过程的示例，并且开始于框2132，其中，当设备在第一模式中操作时检测第一分布的反射。在框2134中，过程2130继而当设备在第二模式中操作时检测第二分布的反射。在框2136中，过程2130继而当设备在第一模式中操作时，确定在投射光和检测到的反射之间的至少一个相位差。
在一些实施方式中，在框2136中，包括至少一个GS像素单元和至少一个锁定像素单元的单片像素传感器可以确定至少一个相位差。在一些方面中，接收器可以基于当设备在第二模式中操作时由接收器检测到的反射，经由至少一个GS像素单元来检测NIR光。在一些方面中，锁定像素单元可以包括用于在两相模式中操作的两个ToF门。在一些方面中，至少一个GS像素单元和至少一个锁定像素单元可以是隔离的，并且锁定像素单元可以包括用于在四相模式中操作的四个ToF门。
图21D示出了描绘根据一些实施方式的用于深度感测的示例过程2140的流程图。过程2140可以由诸如上面参照图8描述的设备800之类的设备来执行。过程2140可以在框2142(检测第一分布的反射)和框2144(使用TDMR来检测第二分布的反射)之间交替。在一些实施方式中，框2142可以是图21C的框2132的用于检测第一分布的反射的示例。在一些实施方式中，框2144可以是图21C的用于检测第二分布的反射的框2134的示例。在一些实施方式中，在过程2140中，CMOS器件和CCD可以交替所述检测。
本文所述的技术可以以硬件、软件、固件或其任何组合来实施，除非具体描述为以特定方式实施。被描述为模块或组件的任何特征也可一起在集成逻辑器件中实施或单独地实施为分立但可互操作的逻辑器件。如果以软件实施，那么所述技术可至少部分地由包括指令808的非暂时性处理器可读存储介质(例如图8的实例设备800中的存储器806)实现，所述指令在由处理器804(或主动深度控制器810)执行时使设备800执行上述方法中的一种或多种方法。非暂时性处理器可读数据存储介质可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器(RAM)，诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、其他已知的存储介质等。另外或可替换地，所述技术可至少部分地由处理器可读通信介质来实现，所述处理器可读通信介质携带或发送指令或数据结构的形式的代码且可由计算机或其他处理器存取、读取和/或执行。
结合本文所公开的实施例描述的各种说明性逻辑框、模块、电路和指令可由一个或多个处理器执行，例如图8的设备800中的处理器804或主动深度控制器810。这样的处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等同的集成或分立逻辑电路。如本文所使用的术语“处理器”可以指前述结构中的任何结构或适合于实施本文所描述的技术的任何其他结构。另外，在一些方面，本文描述的功能可以在如本文描述的所配置的专用软件模块或硬件模块内提供。而且，所述技术可完全在一个或多个电路或逻辑元件中实施。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其他这种配置。
虽然本公开内容示出了说明性方面，但是应当注意，在不脱离所附权利要求的范围的情况下，可以在本文进行各种改变和修改。例如，虽然将投射器示为包括用以将光引向衍射元件的透镜，但是投射器可以不包括透镜或者可以包括多个透镜。在另一个示例中，在调整投射时由设备或光投射器施加的电可以是交流(AC)或直流(DC)，并且电压可以是恒定的或非恒定的。因此，电力可以是用于调整投射的任何合适的电力。另外，根据本文描述的各方面的方法权利要求的功能、步骤或操作不需要以任何特定顺序执行，除非另外明确陈述。例如，如果由设备800、主动深度控制器810、处理器804和/或存储器806执行，则所描述的示例操作的步骤可以以任何顺序和任何频率执行。此外，尽管可以单数形式描述或要求保护元件，但除非明确陈述限于单数形式，否则也涵盖复数形式。因此，本公开内容不限于所示的示例，并且用于执行本文描述的功能性的任何单元都被包括在本公开内容的各方面中。

Claims (26)

1.一种设备，包括：
光投射器，被配置为：
当所述设备在第一模式中操作时，以包括泛光投射的第一分布来投射光；以及
当所述设备在第二模式中操作时，以包括图案投射的第二分布投射光；
接收器，被配置为检测由所述光投射器所投射的光的反射；
存储指令的存储器；以及
处理器，连接到所述存储器，被配置为：
基于当所述设备在所述第一模式中操作时由所述接收器检测到的反射来确定第一深度信息；
基于当所述设备在所述第二模式中操作时由所述接收器检测到的反射来确定第二深度信息；以及
使用所述第一深度信息和所述第二深度信息来解决多径干扰(MPI)。
2.根据权利要求1所述的设备，其中，所述处理器还被配置为：
使用渡越时间(ToF)技术来确定所述第一深度信息；以及
使用结构光(SL)技术来确定所述第二深度信息。
3.根据权利要求1所述的设备，其中，所述光投射器包括可切换漫射器并且被进一步配置为：
激活所述可切换漫射器以投射泛光投射。
4.根据权利要求3所述的设备，其中，所述图案投射是由布置在所述可切换漫射器和所述光投射器的光源之间的衍射光学元件(DOE)产生的。
5.根据权利要求4所述的设备，其中，所述光投射器包括布置在所述DOE和所述可切换漫射器之间的双折射材料，并且其中，去激活所述可切换漫射器包括：
跨折射材料施加电压。
6.根据权利要求5所述的设备，其中，所述可切换漫射器具有第一折射率，并且所述双折射材料是具有第二折射率的液晶材料，其中，当所述光投射器不跨所述折射材料施加所述电压时，所述第一折射率和所述第二折射率是不同的，并且其中，当所述光投射器跨所述折射材料施加所述电压时，所述第一折射率和所述第二折射率相同。
7.根据权利要求6所述的设备，其中，当所述设备在所述第一模式中操作时，所述光投射器不跨所述折射材料施加所述电压，并且其中，当所述设备在所述第二模式中操作时，所述光投射器跨所述折射材料施加所述电压。
8.根据权利要求3所述的设备，其中，所述光投射器被进一步配置为：
去激活所述可切换漫射器以投射所述图案投射。
9.根据权利要求1所述的设备，其中，所述接收器被进一步配置为：
当所述设备在所述第一模式中操作时，检测所述第一分布的反射；以及
当所述设备在所述第二模式中操作时，检测所述第二分布的反射。
10.根据权利要求1所述的设备，其中，所述处理器被进一步配置为：
使用所述第二深度信息和所述第一深度信息，在至少减轻MPI的情况下，来生成深度图。
11.根据权利要求1所述的设备，其中，所述接收器包括单片像素传感器，所述单片像素传感器包括至少一个全局快门(GS)像素单元和至少一个锁定像素单元，并且其中，所述处理器被进一步配置为：
当所述设备在所述第一模式中操作时，确定所述投射光与所检测到的反射之间的至少一个相位差。
12.根据权利要求11所述的设备，其中，所述接收器被进一步配置为：
当所述设备在所述第二模式中操作时，基于由所述接收器检测到的所述反射，经由所述至少一个GS像素单元来检测近红外(NIR)光。
13.根据权利要求11所述的设备，其中，所述锁定像素单元包括用于以两相模式进行操作的两个渡越时间(ToF)门。
14.根据权利要求11所述的设备，其中，所述至少一个GS像素单元与所述至少一个锁定像素单元是隔离的，并且其中，所述锁定像素单元包括用于在四相模式中操作的四个渡越时间(ToF)门。
15.根据权利要求1所述的设备，其中，所述接收器包括互补金属氧化物半导体(CMOS)器件和电荷耦合器件(CCD)中的至少一项，并且其中，所述接收器被进一步配置为：
使用时分复用读取(TDMR)在检测所述第一分布的反射和检测所述第二分布的反射之间交替。
16.根据权利要求1所述的设备，其中，所述设备是无线通信设备。
17.一种使用设备进行深度感测的方法，包括：
当所述设备在第一模式中操作时，以包括泛光投射的第一分布来投射光；
当所述设备在第二模式中操作时，以包括图案投射的第二分布来投射光；
检测由所述光投射器所投射的光的反射；
基于当所述设备在第一模式中操作时由所述接收器检测到的反射来确定第一深度信息；
基于当所述设备在第二模式中操作时由所述接收器检测到的反射来确定第二深度信息；以及
使用所述第一深度信息和所述第二深度信息，来解决多径干扰(MPI)。
18.根据权利要求17所述的方法，还包括：
使用渡越时间(ToF)技术来确定所述第一深度信息；以及
使用结构光(SL)技术来确定所述第二深度信息。
19.根据权利要求17所述的方法，其中，所述设备包括可切换漫射器，并且所述方法还包括：
激活所述可切换漫射器以投射所述泛光投射。
20.根据权利要求19所述的方法，还包括：
去激活所述可切换漫射器以投射所述图案投射。
21.根据权利要求17所述的方法，还包括：
当所述设备在所述第一模式中操作时，检测所述第一分布的反射；以及
当所述设备在所述第二模式中操作时，检测所述第二分布的反射。
22.根据权利要求21所述的方法，还包括：
当所述设备在所述第一模式中操作时，确定在所述投射光和所检测到的反射之间的至少一个相位差。
23.根据权利要求17所述的方法，还包括：
使用所述第二深度信息和所述第一深度信息，在至少减轻MPI的情况下，来生成深度图。
24.根据权利要求17所述的方法，还包括：
使用时分复用读取(TDMR)，在检测所述第一分布的反射和检测所述第二分布的反射之间进行交替。
25.根据权利要求17所述的方法，其中，所述设备是无线通信设备。
26.一种存储指令的非暂时性计算机可读介质，当所述指令由装置的一个或多个处理器执行时，使所述装置执行包括以下的操作：
当所述装置在第一模式中操作时，以包括泛光投射的第一分布来投射光；
当所述装置在第二模式中操作时，以包括图案投射的第二分布来投射光；
检测由所述光投射器所投射的光的反射；
基于当所述装置在所述第一模式中操作时由所述接收器检测到的反射来确定第一深度信息；
基于当所述装置在所述第二模式中操作时由所述接收器检测到的反射来确定第二深度信息；以及
使用所述第一深度信息和所述第二深度信息，来解决多径干扰(MPI)。
CN202080039323.5A 2019-06-05 2020-03-27 混合主动深度 Pending CN113924507A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962857804P 2019-06-05 2019-06-05
US62/857,804 2019-06-05
US16/682,530 US11561085B2 (en) 2019-06-05 2019-11-13 Resolving multipath interference using a mixed active depth system
US16/682,530 2019-11-13
PCT/US2020/025268 WO2020247046A1 (en) 2019-06-05 2020-03-27 Mixed active depth

Publications (1)

Publication Number Publication Date
CN113924507A true CN113924507A (zh) 2022-01-11

Family

ID=73650260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039323.5A Pending CN113924507A (zh) 2019-06-05 2020-03-27 混合主动深度

Country Status (7)

Country Link
US (1) US11561085B2 (zh)
EP (1) EP3980807A1 (zh)
CN (1) CN113924507A (zh)
BR (1) BR112021023513A2 (zh)
SG (1) SG11202111974QA (zh)
TW (1) TW202111349A (zh)
WO (1) WO2020247046A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6673266B2 (ja) * 2017-03-08 2020-03-25 オムロン株式会社 相互反射検出装置、相互反射検出方法、およびプログラム
CN113810530A (zh) * 2019-05-31 2021-12-17 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
US11563873B2 (en) 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing
US20220252893A1 (en) * 2021-02-09 2022-08-11 Himax Technologies Limited Light projection apparatus
EP4303533A1 (en) * 2021-03-05 2024-01-10 Toppan Inc. Distance image capturing device and distance image capturing method
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof
KR20230161951A (ko) * 2021-03-26 2023-11-28 퀄컴 인코포레이티드 혼합 모드 깊이 이미징
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
WO2023025726A1 (en) * 2021-08-23 2023-03-02 Trinamix Gmbh Shape-from-shading
TW202315250A (zh) * 2021-09-13 2023-04-01 美商元平台技術有限公司 用於產生線性結構光圖案及泛光照明的垂直腔面射型雷射晶片
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11791925B2 (en) * 2021-11-08 2023-10-17 Huawei Technologies Co., Ltd. Method, apparatus and system for determining multipath interference (MPI) on an optical link
JP2024016593A (ja) * 2022-07-26 2024-02-07 ソニーセミコンダクタソリューションズ株式会社 照明装置、測距装置及び車載装置
WO2024081491A1 (en) * 2022-10-14 2024-04-18 Qualcomm Incorporated Active depth sensing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8197070B2 (en) 2006-01-24 2012-06-12 Seiko Epson Corporation Color-based feature identification
JP2011244297A (ja) * 2010-05-20 2011-12-01 Panasonic Corp Ｃｃｄ電荷転送用駆動装置
US10044985B1 (en) 2012-10-19 2018-08-07 Amazon Technologies, Inc. Video monitoring using plenoptic cameras and mirrors
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US10677923B2 (en) * 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016202453A (ja) 2015-04-20 2016-12-08 株式会社トプコン 眼科手術用顕微鏡
US10437129B2 (en) * 2015-11-10 2019-10-08 Verily Life Sciences Llc Dynamic diffractive liquid crystal lens
US10582178B2 (en) * 2016-11-02 2020-03-03 Omnivision Technologies, Inc. Systems and methods for active depth imager with background subtract
US10598768B2 (en) 2017-05-24 2020-03-24 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
US10705214B2 (en) * 2017-07-14 2020-07-07 Microsoft Technology Licensing, Llc Optical projector having switchable light emission patterns
JP7030607B2 (ja) 2018-04-27 2022-03-07 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
US11563873B2 (en) 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing

Also Published As

Publication number Publication date
TW202111349A (zh) 2021-03-16
BR112021023513A2 (pt) 2022-01-18
WO2020247046A1 (en) 2020-12-10
EP3980807A1 (en) 2022-04-13
US20200386540A1 (en) 2020-12-10
US11561085B2 (en) 2023-01-24
SG11202111974QA (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US11561085B2 (en) Resolving multipath interference using a mixed active depth system
US10120066B2 (en) Apparatus for making a distance determination
US10101453B2 (en) Time of flight apparatuses and an illumination source
KR102405110B1 (ko) 비행시간 센서를 포함하는 광학 이미징 모듈들 및 광학 검출 모듈들
US20190208183A1 (en) System and method of imaging using multiple illumination pulses
CN107852475B (zh) 投影系统
KR20190057125A (ko) 이미징 어레이 내의 픽셀의 노출 값으로부터 백그라운드 광을 차감하기 위한 방법 및 이를 이용한 픽셀
CN111123289B (zh) 一种深度测量装置及测量方法
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
JP2008209162A (ja) 距離画像センサ
US20230204724A1 (en) Reducing interference in an active illumination environment
WO2021041683A1 (en) Phase detection autofocus (pdaf) sensor
CN107836112B (zh) 投影系统
US11709271B2 (en) Time of flight sensing system and image sensor used therein
WO2021211445A1 (en) Wide-angle 3d sensing
JP2006337286A (ja) 形状計測装置
CN109863604B (zh) 具有相位敏感像素的图像传感器
JP4673674B2 (ja) 形状測定装置
JP2023001122A (ja) 撮像装置
US11624834B2 (en) Time of flight sensing system and image sensor used therein
US20240127401A1 (en) Active depth sensing
US20210327091A1 (en) Image processing apparatus and image processing method
US11438486B2 (en) 3D active depth sensing with laser pulse train bursts and a gated sensor
WO2024081491A1 (en) Active depth sensing
CN113030999B (zh) 飞行时间感测系统和其中使用的图像传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination