CN112771410A - 集成激光雷达图像传感器设备和系统以及相关的操作方法 - Google Patents

集成激光雷达图像传感器设备和系统以及相关的操作方法 Download PDF

Info

Publication number
CN112771410A
CN112771410A CN201980060777.8A CN201980060777A CN112771410A CN 112771410 A CN112771410 A CN 112771410A CN 201980060777 A CN201980060777 A CN 201980060777A CN 112771410 A CN112771410 A CN 112771410A
Authority
CN
China
Prior art keywords
pixels
light
tof
pixel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060777.8A
Other languages
English (en)
Inventor
豪德·芬克尔斯坦
迪特里希·德林格尔
斯科特·伯勒斯
布伦特·费希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Feeling Photonics
Sense Photonics Inc
Original Assignee
Feeling Photonics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feeling Photonics filed Critical Feeling Photonics
Publication of CN112771410A publication Critical patent/CN112771410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

一种光探测和测距(LIDAR)装置，包括探测器以及接收器光学器件；该探测器具有被配置为响应入射在第一像素和第二像素上的光而输出相应探测信号的第一像素和第二像素；该接收器光学器件被配置为在视场上收集光并将光的第一部分和第二部分分别引导至第一像素和第二像素。第一像素包括一个或更多个飞行时间(ToF)传感器，并且第二像素包括一个或更多个图像传感器。接收器光学器件或探测器中第一像素和第二像素的布置中的至少一个被配置为使第一像素和第二像素相关，以使得由从第一像素输出的相应探测信号所指示的深度信息与由从第二像素输出的相应探测信号所指示的图像信息相关。还讨论了相关的设备和操作方法。

Description

集成激光雷达图像传感器设备和系统以及相关的操作方法
优先权要求
本申请要求于2018年8月16日向美国专利商标局提交的美国临时申请No.62/764,895的优先权，其公开内容通过引用合并于本文。
技术领域
本公开涉及用于三维(3D)成像的系统，并且更具体地涉及飞行时间光探测和测距系统。
背景技术
许多新兴技术，例如物联网(IoT)和自主导航，可能涉及到3D空间中物体的距离的探测和测量。例如，能够自动驾驶的汽车可能需要3D探测和识别以进行基本操作，并满足安全要求。例如，工业或家用机器人或玩具的室内导航也可能需要3D探测和识别。
在某些情况下，基于光的3D测量可能优于雷达(低角度精度，大体积)或超声(精度非常低)。例如，基于光的3D传感器系统可以包括探测器(例如光电二极管或照相机)和作为光源的发光设备(例如发光二极管(LED)或激光二极管)，发光设备通常发射可见波长范围以外的光。
光探测和测距(LIDAR或激光雷达)系统可以基于反射光的飞行时间(ToF)确定点(例如，点云)的集合。ToF 3D成像系统可以分为间接ToF(iToF)系统或直接ToF系统。直接ToF测量包括直接测量由激光雷达系统的发射器元件发射辐射之间的时间长度，并在物体或其他目标由激光雷达系统的探测器元件反射回来(此处也称为返回信号或回波信号)后感测或探测该辐射。根据该时间长度，可以确定到目标的距离。间接ToF测量包括调制发射信号的幅度并测量回波信号的相位延迟或相移(在本文中通常称为相位)，其中信号往返于物体所需的时间导致与行进距离成正比的相移。
激光雷达系统可以用于各种应用中，例如(但不限于)工业自动化和自动驾驶车辆。许多这样的系统可以从各种形式(例如激光雷达、传统相机、立体相机和雷达)中获取数据。处理单元可以合并或融合来自各个传感器的数据，以形成视场的集成视图。
发明内容
本文所描述的一些实施例提供了方法、系统和设备，其包括电子电路，该电子电路提供了LIDAR系统，该LIDAR系统包括一个或更多个发射器元件(包括半导体激光器，诸如表面发射或边缘发射的激光二极管；在本文中通常称为发射器)和/或一个或更多个光探测器元件(包括半导体光电探测器，例如光电二极管，包括雪崩光电二极管和单光子雪崩探测器(SPAD)；在本文中通常称为探测器)。
根据本公开的一些实施例，一种光探测和测距(LIDAR)装置，包括探测器以及接收器光学器件，其中探测器包括被配置为响应于入射在第一像素和第二像素上的光而输出相应探测信号的第一像素和第二像素；接收器光学器件被配置为在视场上收集光，并将光的第一部分和第二部分分别引导至第一像素和第二像素。第一像素包括一个或更多个飞行时间(ToF)传感器，并且第二像素包括一个或更多个图像传感器。接收器光学器件和/或探测器中第一像素和第二像素的布置被配置为使第一像素和第二像素相关，使得由从第一像素输出的相应探测信号所指示的深度信息与由从第二像素输出的相应探测信号所指示的图像信息相关。
在一些实施例中，探测器是探测器阵列，探测器阵列包括：衬底，限定了ToF传感器的衬底中的第一结区，以及限定了图像传感器并且与第一结区相邻的衬底中的第二结区。第一结区可以具有相对于衬底的表面的第一深度，并且第二结区可以具有相对于衬底的表面的小于第一深度的第二深度。
在一些实施例中，该布置包括在平面图中的第一结区和第二结区的并排布置。
在一些实施例中，该布置包括堆叠布置，其中第一结区和第二结区在平面图中重叠。在堆叠布置中，中间结区可以可选地设置在第一结区和第二结区之间。
在一些实施例中，探测器阵列还包括在第一像素之间和/或第二像素之间的衬底上的多个门结构。门结构可以可选地对光的第一部分或第二部分中的至少一个是透明的。
在一些实施例中，在衬底中的第一结区和第二结区中的相邻结区之间设置相应的隔离结构。相应的隔离结构可以是在堆叠布置中的第一结区和第二结区之间的中间结区。
在一些实施例中，多个输入/输出(I/O)焊盘被设置在与探测器阵列相邻的衬底上并且电连接至第一像素和第二像素中的相应像素。I/O焊盘可以被配置为将来自第一像素和第二像素的具有与图像信息相关的深度信息的相应探测信号分别输出至第一读出电路和第二读出电路。
在一些实施例中，接收器光学器件包括波长选择分束器或滤光片，波长选择分束器或滤光片被配置为将第一波长范围的光的第一部分引导至第一像素，并且将第二波长范围的光的第二部分引导至第二像素。
在一些实施例中，接收器光学器件包括单片元件，该单片元件包括被配置为在视场上收集光的至少一个透镜以及将波长选择分束器或滤光片耦合至透镜的一个或更多个棱镜。
在一些实施例中，该装置还包括发射源，该发射源被配置为输出第一波长范围的光发射以照亮视场。光的第一部分可以包括第一波长范围。控制电路可以被配置为接收从第一像素和第二像素输出的具有与图像信息相关联的深度信息的相应探测信号，并且控制电路被配置为基于来自第一像素和第二像素的相应探测信号来输出控制信号，以调节来自发射源的光发射。
在一些实施例中，控制电路被配置为以不同的帧速率来操作第一像素和第二像素。
在一些实施例中，发射源是第一发射源，并且该装置还包括第二发射源，该第二发射源被配置为输出第二波长范围的光发射以照亮视场，其中光第二部分包括第二波长范围。
根据本公开的一些实施例，一种光探测和测距(LIDAR)装置，其包括探测器阵列，该探测器阵列包括多个第一像素和多个第二像素，该多个第一像素和多个第二像素被配置为响应于入射在其上的光而输出相应的探测信号。第一像素包括飞行时间(ToF)传感器，第二像素包括图像传感器。该探测器阵列包括衬底、限定了ToF传感器的衬底中的第一结区以及限定了图像传感器并且与第一结区相邻的衬底中的第二结区。第一结区具有相对于衬底的表面的第一深度，并且第二结区具有相对于衬底的表面的小于第一深度的第二深度。
在一些实施例中，探测器阵列包括在平面图中的第一结区和第二结区的并排布置。在一些实施例中，探测器阵列包括堆叠布置，其中第一结区和第二结区在平面图中重叠。
在一些实施例中，第一像素和第二像素在探测器阵列中的布置在第一像素的子集和第二像素的子集之间提供了相应的空间相关性，使得从其输出的相应探测信号分别包括相关的深度信息和图像信息。
在一些实施例中，该装置还包括接收器光学器件，该接收器光学器件包括透镜阵列，该透镜阵列被配置为在视场上收集光并将光的第一部分和第二部分分别引导至探测器阵列的第一像素和第二像素。
在一些实施例中，接收器光学器件包括至少一个波长选择分束器或滤光片，其被配置为将第一波长范围的光的第一部分引导至第一像素，并且将第二波长范围的光的第二部分引导至第二像素。
根据本公开的一些实施例，一种光探测和测距(LIDAR)装置，其包括探测器以及接收器光学器件；该探测器包括被配置为响应于入射在第一像素和第二像素上的光而输出相应探测信号的第一像素和第二像素，接收器光学器件被配置为在视场上收集光并将光的第一部分和第二部分分别引导至第一像素和第二像素。第一像素包括一个或更多个飞行时间(ToF)传感器，并且第二像素包括一个或更多个图像传感器。接收器光学器件被配置为使第一像素和第二像素相关，使得由从第一像素输出的相应探测信号所指示的深度信息与由从第二像素输出的相应探测信号所指示的图像信息相关。
在一些实施例中，接收器光学器件包括波长选择分束器或滤光片，其被配置为将第一波长范围的光的第一部分引导至第一像素，并且将第二波长范围的光的第二部分引导至第二像素。
在一些实施例中，接收器光学器件被实现为单片元件，其包括至少一个透镜以及一个或更多个棱镜，该至少一个透镜被配置为在视场上收集光；一个或更多个棱镜将波长选择光束分离器或滤光片耦合至该透镜。
通过阅读以下附图和详细描述，根据一些实施例的其他设备、装置和/或方法对于本领域技术人员将变得显而易见。除了上述实施例的任何和所有组合之外，所有这些另外的实施例都旨在被包括在本说明书中，在本发明的范围内，并由所附权利要求书保护。
附图说明
图1是示出根据本公开的实施例的包括具有公共图像配准的飞行时间传感器和图像传感器的LIDAR系统或电路的框图。
图2A和图2B是示出根据本公开的实施例的为飞行时间传感器和图像传感器提供图像配准的公共接收器光学器件的框图。
图3是示出根据本公开的实施例的集成在同一半导体衬底上的ToF传感器的阵列和图像传感器的阵列的平面框图。
图4A和图4B是示出根据本公开的实施例的集成在同一半导体衬底上的ToF传感器和图像传感器的示例的平面框图。
图5A和图5B是示出根据本公开的实施例的集成在同一半导体衬底上的ToF传感器和图像传感器的示例的剖视图。
图6是示出根据本公开的实施例的集成在同一半导体衬底上的ToF传感器和图像传感器的示例的剖视图。
图7是示出根据本公开的实施例的集成在同一半导体衬底上的ToF传感器和图像传感器的另一示例的平面框图。
具体实施方式
许多应用可受益于从各种形式(例如，激光雷达、传统相机、立体相机和雷达)获取数据的成像系统。例如，可以在激光雷达中使用的飞行时间(ToF)传感器可以(例如，基于由接收到的回波信号所指示的时间和/或强度模式)收集指示一个或更多个目标的范围或距离的数据，从而获得ToF传感器的视场(FoV)上的“深度”信息(在本文中也称为深度图像)。可以在传统的静止图片或摄像机中使用的图像传感器可以收集指示视场中的一个或更多个目标的可见特征(包括颜色、大小、点、线等；在本文中也称为图像信息或RGB图像)的数据，具有比某些ToF传感器更高的分辨率，但没有深度信息。处理单元可以组合或合并来自各种传感器的数据，以在空间和时间上将图像信息与深度信息相关联(在本文中也称为图像配准)，从而提供视场的集成视图。然而，来自各种传感器的数据的这种集成在计算上是密集的，并且因此对于诸如自动驾驶车辆操作的某些应用可能是低效率的(例如，就处理能力而言)和/或不足的(例如，就处理时间而言)。
各种传感器本身的集成也可能带来挑战，例如，在半导体处理(其中不同的传感器类型可能需要不同的处理条件，例如杂质注入深度)和/或数据读出方案(其中不同的传感器类型可能需要不同的逻辑电路)方面。特别地，半导体p-n结可以用于构造用于探测从视场反射的光中的光子的光电二极管，雪崩二极管是这种光电二极管的一个示例。单光子雪崩二极管(SPAD)可用于在飞行时间感测应用中探测单光子。在盖革模式SPAD中，输出可以是与光子到达事件相对应的数字脉冲，或者可以是与光子的精确到达时间相对应的模拟信息。在诸如CMOS有源像素传感器或CCD的图像传感器中，感测区域接收到的光子通量被转换为收集的电荷，然后将收集到的电荷作为探测器输出信号读出。而且，某些小的CMOS SPAD像素的表面积或覆盖区可能比市售的CMOS有源像素传感器(APS)像素大得多(例如，在某些情况下最大可达1000倍)。CMOS SPAD像素相对较大的像素区域可能部分归因于SPAD像素的结构，该结构可以承受高电压和高电流密度并与感测电路电隔离。
本文所描述的实施例可以源自以下认知，即可以通过使用共享的光学器件来获取图像传感器和飞行时间传感器两者的信息来辅助这种不同传感器的集成。这可以为更小、更简单和更便宜的感测系统提供可能性。在本文所描述的实施例中，飞行时间传感器(本文中也称为激光雷达传感器)可以包括(例如，在探测器阵列中的)一个或更多个光电探测器或输出本文所描述的指示深度信息的探测信号的任何其他光学传感器，每个光电探测器提供指示入射到其上的(例如，来自激光器或LED的)光信号的往返传播时间的输出信号(本文中也称为范围或深度探测信号)。激光雷达传感器可以不失一般性地包括反向偏置在击穿以下、击穿处或击穿以上的雪崩光电二极管，包括SPAD或SiPM(硅光电倍增管)、光子混合设备、时控光电二极管、时间调制CIS(CMOS图像传感器)、时间调制CCD(电荷耦合器件)、多普勒传感器或在一些实施例中基于对近红外或红外波长范围内的光的波长的探测，可以产生用于基于光的测距的信息的任何其他合适的设备。在本文所描述的实施例中，图像传感器可以包括(例如，在探测器阵列中的)一个或更多个光电探测器或者输出指示本文所描述的图像信息的探测信号的任何其他光学传感器，每个光电探测器提供指示在一段时间内从入射到其上的光所收集的电荷数量的输出信号(在本文中也称为图像探测信号)。图像传感器在本文中主要以示例的方式参考CMOS图像传感器(CIS)进行描述，而不失一般性。将理解的是，在一些实施例中，基于对处于近红外或红外波长范围或低于近红外或红外波长范围的光的波长的探测，其他图像传感器技术，例如(但不限于)CCD和非硅像素化电荷积分器件，可以类似地在本文所描述的实施例中互换使用。
本公开的其他实施例涉及固态激光雷达传感器与图像传感器的集成。将理解的是，在不失一般性的前提下，除非另有说明，否则固态激光雷达可以指代其中用于感测范围和/或感测其本身的发射发生在一个或更多个固态阵列器件中或由一个或更多个固态阵列器件提供的任何激光雷达，包括但不限于(直接或间接飞行时间)闪光式激光雷达传感器、微机电系统(MEMS)扫描系统、带有扫描镜的阵列传感器和光学相控阵列系统。在一些实施例中，激光雷达发射器或发射器阵列可以以一个或更多个波长(发射波长)照亮整个或部分视场。本文所描述的集成激光雷达设备和系统可包括发射源(例如，发射器阵列)、接收器光学器件(例如，至少一个透镜和/或分束器或滤光片)以及探测器，探测器包括(例如，在探测器阵列中的)ToF传感器和CIS或其他图像传感器。发射器照亮视场。来自视场的光包括来自发射器的从视场反射的光和环境光(环境光的一部分也从视场反射)。
LIDAR系统可以包括发射器元件的阵列和探测器元件的阵列，或者具有单个发射器元件和探测器元件阵列的系统，或者具有发射器阵列和单个ToF探测器元件的系统。如本文所描述的，一个或更多个发射器可以限定发射器像素，并且一个或更多个探测器(包括ToF传感器和/或图像传感器)可以限定探测器像素。闪光式LIDAR系统可以通过在FoV上以短持续时间从发射器阵列发射光(脉冲)并通过探测器阵列探测反射光发射来获取图像。发射器元件阵列的子区被布置成将光引导至FoV内的各个子区(并且探测器元件阵列的子区被布置成从FoV内的各个子区接收光)，FoV内的相应子区在本文中也被称为感兴趣区(ROI)。
根据本公开的实施例的LIDAR系统或电路100的示例在图1中示出。系统100包括：控制电路105，时序电路106，包括多个发射器115e的发射器阵列115，以及包括多个探测器110d和/或110i的探测器阵列110。探测器110d包括飞行时间传感器(例如，诸如SPAD的单光子探测器的阵列)。探测器110i包括图像传感器(例如，CIS阵列)。发射器阵列115的一个或更多个发射器元件115e可以限定发射器像素，该发射器像素以由时序发生器或驱动器电路116控制的时间和频率分别(例如，通过漫射器或光学滤光片114)发射辐射脉冲或连续波信号。在特定实施例中，发射器115e可以是脉冲光源，例如LED或激光器(例如垂直腔面发射激光器(VCSEL))。辐射从目标150反射回去，并由探测器阵列110的一个或更多个探测器元件110d、110i限定的探测器像素感测。控制电路105实现了像素处理器，该像素处理器使用直接或间接ToF测量技术测量照明脉冲在从发射器阵列115到目标150并回到探测器阵列110的探测器110d的行程上的飞行时间。
在一些实施例中，发射器阵列115中的每个发射器元件115e连接至相应的驱动器电路116并由相应的驱动器电路116控制。在其他实施例中，发射器阵列115中的发射器元件115e的相应组(例如，彼此在空间上接近的发射器元件115e)可以连接至相同的驱动器电路116。驱动器电路或电路系统116可以包括一个或更多个驱动器晶体管，一个或更多个驱动器晶体管被配置为控制从发射器115e输出的光发射信号的调制频率、时序和幅度。来自多个发射器115e的光信号的发射为闪光式LIDAR系统100提供了单个图像帧。可以选择发射器115e的最大光功率输出，以从根据本文所描述的实施例在可以探测到的最亮的背景照明条件下的最远、反射性最小的目标产生回波信号的信噪比。通过示例的方式示出了用于控制光的发射波长的可选滤光片113和用于增大发射器阵列115的视场的漫射器114。
从一个或更多个发射器115e输出的光发射射到一个或更多个目标150上并被一个或更多个目标150反射，反射的光被一个或更多个探测器110d(例如，经由接收器光学器件112)探测为光信号(在本文中也称为返回信号、回波信号或回波)，并转换为电信号表示(本文中称为探测信号)并(例如，基于飞行时间)进行处理，以限定视场190的3D点云表示170。如本文所描述的，根据本公开的实施例的LIDAR系统的操作可以由一个或更多个处理器或控制器(例如，图1的控制电路105)执行。
在图1的示例中，探测器阵列110还包括多个图像传感器110i。对准接收器光学器件112，使得接收器光学器件112从有源照明(发射器115e的激光雷达发射)和(具有一些可接受的像差的)周围环境的光谱中收集光，并使得接收器光学器件112投射或引导在视场190上收集的光至ToF传感器110d和图像传感器110i上，每个ToF传感器110d和图像传感器110i都输出相应探测信号作为响应。从ToF传感器110d输出的探测信号包括FoV 190的深度信息(在本文中也称为深度探测信号)。从图像传感器110i输出的探测信号包括FoV 190的图像信息(在本文中也称为图像探测信号)。接收器光学器件112可以包括一个或更多个透镜、分束器和/或滤光片。例如，对于图1的探测器阵列110，接收器光学器件112可以包括透镜阵列，该透镜阵列将由视场190中的目标150反射的光投射到包括ToF传感器110d和图像传感器110i的阵列110上。
根据本公开的实施例，接收器光学器件112和/或探测器阵列110中的ToF传感器110d和图像传感器110i的布置或布局以减少的控制电路105所需的进一步处理或不进行控制电路105所需的进一步处理，来提供由传感器110d和110i探测到的特征在FoV 190上的公共图像配准或相关性。也就是说，由从ToF传感器110d输出的探测信号所指示的深度信息在空间和时间上与由从相对应的图像传感器110i输出的探测信号所指示的图像信息相关，其中，每个ToF传感器110d与一个或更多个图像传感器110i(反之亦然)之间的对应关系是光学上的(通过接收器光学器件112的光重定向)和/或空间上的(通过探测器阵列110中传感器110d、110i的相对布置)。可以在控制电路105处接收包含相关信息的相应探测信号，该控制电路105可以基于ToF传感器110d和(一个或更多个)相关图像传感器110i之间的已知(光学和/或空间)对应关系以减少的处理要求来合并或配准相关信息。在一些实施例中，图像传感器110i可以被配置为实现提供RGB图像或信息的RGB(红绿蓝)2D相机，并且ToF传感器110d可以提供深度图像或信息。这样，如本文所描述的由不同传感器110d、110i提供的数据之间的相关性可以以配准从图像传感器110i和ToF传感器110d输出的相应探测信号中的图像信息和深度信息通常所需要的减少的(或没有的)处理或计算开销，来允许系统100提供与RGB相机中的每个像素相关联的深度信息。
根据本公开的实施例的用于飞行时间和图像传感器的公共接收器光学器件的示例在图2A和图2B中示出。特别地，图2A示出了接收器光学器件212(包括(一个或更多个)透镜212l和(一个或更多个)分束器/滤光片211)和传感器210i、210d的功能布置，而图2B示出了接收器光学器件212和传感器210i、210d在包括棱镜212i、212d的单片式或整体式模块中的示例性实施方式，这可以促进传感器210i、210d与公共接收器光学器件212的对准。在一些实施例中，接收器光学器件212和传感器210i、210d可以分别代表或对应于图1的接收器光学器件112和传感器110i、110d。
如图2A和图2B所示，来自视场(例如，FoV 190)的入射光被一个或更多个公共光学元件212l收集，并且经由分束器或滤光片211被引导，使得一些光落到ToF传感器210d上，并且一些光落到RGB图像传感器210i上，在某些情况下，在两个传感器210d、210i外部的泄漏最少。在图2A和图2B的示例中，可以指示目标的可见特征的电磁光谱的可见和/或近红外部分中的光(例如，波长在约380纳米(nm)至约750nm之间的光)被引导至图像传感器210i。可以对应于从激光雷达系统100的一个或更多个发射器115e输出的光信号的、具有大于电磁光谱的可见和/或近红外部分的波长的光(例如，具有大于约750nm(例如940nm)的波长的光)被引导至ToF传感器210d。特别地，(一个或更多个)发射器115e可以被配置为输出波长大于可见光的波长的光信号，该光信号可以从FoV190中的(一个或更多个)目标150反射并作为入射到接收器光学器件212的光中的回波信号被接收。因此，透镜212l和分束器或滤光片211可以将大于可见光和/或近红外波长的光(示出为第一波长范围)引导至ToF传感器210d，而具有时间和空间相关性的在可见光和/或近红外光谱(示出为第二波长范围)内的光被引导至图像传感器210i。在一些实施例中，第一波长范围和第二波长范围可以重叠。
可以使用诸如控制电路105之类的处理器来组合或融合传感器210d和210i的输出，以限定视场的3D点云表示170。因为公共接收器光学器件212用于将FoV上的入射光引导至传感器210d和210i两者，所以可能不需要用于提供由FoV上的图像传感器210i和ToF传感器210d探测到的特征之间的图像配准或相关性的处理操作。即，接收器光学器件212可以使ToF传感器210d与图像传感器210i光学相关，使得从其输出的相应探测信号分别包括在空间上和时间上相关的深度信息和图像信息。这可以减少处理要求，从而允许更快、更便宜的系统。在图2A和图2B的示例中，传感器210i和210d可以但不必包括在同一探测器阵列中。在本文所描述的其他实施例中，ToF传感器210d和图像传感器210i可以集成在同一裸片上，从而允许图像配准，同时减少透镜212、分束器或滤光片211和/或棱镜212i、212d未对准的可能性。
在一些实施例中，分束器或滤光片211可以是设置在两个传感器210d、210i的光路中的光谱滤光片。滤光片211可以是包含发射波长的带通滤光片，即，被配置为允许包括从激光雷达发射源(例如，发射器阵列115)输出的光的波长范围的光从其经过，从而可以将环境光去除以提供在ToF传感器210d和图像传感器210i中的足够高的信噪比。在图2A和图2B的实施例中，滤光片211被布置在ToF传感器210d的前面(即，在ToF传感器210d和透镜212l之间)，但是不布置在图像传感器210i的前面(即，使得入射在图像传感器210i上的光不首先通过滤光片211)。因此，光可以被未经过滤地引导至图像传感器210i，使得图像传感器210i可以捕获更多的光子。与ToF传感器210d相比，图像传感器210i可以更少地依赖于发射波段中的物体的反射率，并且更不容易被来自靠近探测器的高反射率物体(或反射发射器光的较大部分的此类物体，例如后向反射器)的反射光饱和或“遮蔽”。
尽管参照单个滤光片配置在图2A和图2B中示出了，但本公开的实施例不限于示出的配置，而是可以包括其他配置，其中公共接收器光学器件212用于将入射光引导至ToF传感器和图像传感器两者上。在一些实施例中，如上所述，第一滤光片211可以被布置在ToF传感器210d的前面，并且第二滤光片可以被布置在图像传感器210i的前面，例如以优先地对特定的光学带/波长范围成像或优先地阻止特定的光学带/波长范围。在一些实施例中，滤光片的组合可以布置在图像传感器210i的前面，以允许RGB(红绿蓝)或多光谱成像。
同样，在一些实施例中，分束器或滤光片211可以是设置在两个传感器210d、210i的光路上的二向色分束器，以便将一个或更多个光谱带或波长范围的光引导至传感器210d的第一方向，并将其他带或波长范围的光引导至传感器210i的第二方向。在一些实施例中，包括从激光雷达发射源输出的光的波长范围的光可以被反射至ToF传感器210d，并且一个或更多个其他波长范围的光可以被反射至图像传感器210i。在一些实施例中，二向色镜可以用作或代替分束器211。更普遍地，将理解的是，参照图2A和图2B中的特定元件示出的本公开的实施例不限于示出的元件，并且可以包括将入射光引导至ToF传感器210d和图像传感器210i两者上的其他元件或配置，并且在一些情况下，将第一波长范围的光引导至ToF传感器210d，并将第二/不同波长范围的光引导至图像传感器210i。
再次参考图1，在一些实施例中，控制电路105可以包括至少一个处理器，该至少一个处理器被配置为基于从ToF传感器110d接收的三维或深度信息以及从图像传感器110i接收的光谱信息中的一者或两者，例如，基于由深度探测信号和图像探测信号所指示的亮度、二维或三维形状、反射率和/或颜色，来识别FoV 190中的物体或目标150。类似地，处理器可以被配置为基于由来自ToF传感器110d和图像传感器110i中的一者或两者的探测信号所指示的该数据或其他数据来跟踪物体或目标150。在一些实施例中，处理器可以使用从来自ToF传感器110d和图像传感器110i中的一者或两者的探测信号中读取的值来将置信度分配给根据探测信号计算出的范围测量。
在一些实施例中，除了发射用于由ToF传感器110d探测以执行测距测量的第一波长范围的光的激光雷达发射器115e之外，系统100还可包括一个或更多个第二或另外的发射器，来发射第二/不同波长范围的光，以为图像传感器110i照亮视场190。接收器光学器件112和/或滤光片111可以类似地被配置为将第一波长范围的入射光信号引导至ToF传感器110d，并且将第二波长范围的入射光信号引导至图像传感器110i。在一些实施例中，例如，通过将相应的波长选择滤光片布置在ToF传感器110d和图像传感器110i的前面，ToF传感器110d可以被配置为对从发射器115e输出的第一波长范围的光足够敏感，而图像传感器110i可以被配置为对从发射器115e输出的第一波长范围的光足够不敏感。在一些实施例中，第二或另外发射器可以被配置为使得从发射器输出的第二波长范围的光在具有或不具有滤光片111的情况下被ToF传感器110d充分探测不到。如本文所描述的，“足够的”灵敏度或探测可以指能够区分图像传感器与ToF特定的发射和探测波长范围之间的配置。
仍参考图1，发射器阵列115可以包括作为发射器元件115e的VCSEL的阵列。在一些实施例中，驱动器电路116可以被配置为以相同的强度或输出功率水平来驱动VCSEL 115e的阵列115，即，使得每个VCSEL 115e的发射在强度上基本均匀。例如，VCSEL阵列115可以被脉冲化，并且阵列115中的一个或更多个(或全部)VCSEL 115e的平均功率和峰值功率可以基本相似或相同。驱动器电路116可以被配置为以多种强度或不同的输出功率水平(包括不同的非零输出功率水平)来驱动VCSEL 115e的阵列115，也就是说，使得VCSEL 115e的相应发射在强度上是非均匀的。
在一些实施例中，发射器阵列115可以被划分成包括发射器115e的子集的相应的子区，并且每个发射器115e的子集可以由相应的驱动器电路116驱动。相应的驱动器电路116可以被配置为以相应的强度或输出功率驱动相应子区的发射器115e，即，提供导致发射器阵列115的相应子区产生相应发射强度的输出信号。在一些实施例中，控制电路105或其他处理器可以例如基于从探测器阵列110的空间相关探测器110d和/或110i输出的反馈探测信号来确定发射器阵列115的每个子区的相应强度或输出功率。即，控制电路105或处理器可以被配置为基于由探测器阵列110的探测器110d和/或110i在视场190上探测到的返回信号的强度来计算阵列115的每个区或全局所需的驱动强度。
提供以下示例以说明根据本公开的一些实施例的提供ToF传感器110d和图像传感器110i之间的图像配准的配置的优点。在一个示例中，当激光雷达系统100接收(如来自位于探测器阵列110的相对应区中的探测器110d和/或110i的探测信号所指示的)在FoV 190的特定区中相对弱的返回信号时，控制电路105或处理器可以将控制信号输出到驱动器电路116，以提供驱动信号，该驱动信号通过相应的发射器115e的子集产生更高强度的发射，相对应的发射器115e的子集被布置为照亮FoV 190的该特定区。
在另一个示例中，面对FoV 190的特定区的图像传感器110i可以输出指示目标150的探测信号，该探测信号可能尚未被ToF传感器110d探测到，并且控制电路105或处理器可以将控制信号输出到驱动器电路116以操作发射器115e的子集，该发射器115e的子集被布置为照亮FoV 190的该特定区以增加发射功率。例如，控制电路105或处理器可以融合或组合来自ToF传感器110d和图像传感器110i(其可能已经探测到目标150)两者的数据，以识别未被ToF传感器110d探测到的目标150，并且可将控制信号输出到驱动器电路116，以调节一个或更多个发射器115e的子集的发射功率作为响应。在一个示例中，来自高反射目标150的反射信号可以使ToF传感器110d饱和，但是可以被图像传感器110i可见或探测，并且控制电路105或处理器可以将控制信号输出到驱动器电路116以操作发射器115e的子集以减小发射功率，以使反射信号不饱和，其中发射器115e的子集被布置成照亮包括高反射目标150的FoV 190的部分或区。
在一些实施例中，激光雷达系统100可以是闪光式激光雷达系统，由此可以驱动发射器阵列115以同时或并行地操作发射器115e的组。在一些实施例中，激光雷达系统100可以是固态扫描激光雷达系统，由此可以驱动发射器阵列115以一个或更多个序列顺序地操作相应行或相应列的发射器115e，使得从其输出的光信号提供扫描效果。在一些实施例中，激光雷达系统100可以是非固态激光雷达。
图3-图7示出了探测器阵列的实施例，其中图像传感器和ToF传感器并置在同一半导体衬底上(例如，在同一芯片或裸片上)，以提供由在FoV上的图像传感器和ToF传感器探测到的特征之间的图像配准。可以在没有分束光学器件的情况下实施一些示例性配置，从而(通过避免分束器的未对准)提供更小、更便宜、更容易对准的系统，并且以更少的功耗操作。在一些实施例中，提供了用于将RGB相机单片集成到同一芯片或衬底上的LIDAR ToF相机中的设备和方法。此外，本文所描述的实施例不仅针对探测器设备本身，而且针对包括这种探测器设备与例如可使用微转印(MTP)技术与VCSEL或其他发射器的阵列相结合的闪光式激光雷达系统，在某些情况下可寻址并可组装在同一衬底上。
如图3的平面图所示，本文描述的一些实施例提供了探测器阵列310，其包括散布在ToF像素310p，例如间接ToF(iToF)像素之间的成像像素310i。多个图像传感器(例如110i、210i)和ToF传感器(例如110d、210d)可以分别限定相应的成像像素310i和ToF像素310d。例如，由于iToF像素可以在较低电压下操作并且通常不具有与直接ToF像素的探测器(例如SPAD设备)相关联的保护环结构，因此iToF探测器布置尤其可能带来一些挑战。而且，通常，ToF像素310d可以(在一个或更多个维度上)大于一些成像像素310i。例如，某些间接ToF像素的表面积可能约为17微米×17微米(289平方微米)，某些直接ToF像素的表面积可能约为40微米×40微米(1600平方微米)，而某些CIS像素的表面积可能约为1.4微米×1.4微米(1.96平方微米)。因此，在一些实施例中，ToF像素310d的表面积可以在大于成像像素310i的表面积的100倍至1000倍之间。
在一些实施例中，可以在与CIS像素阵列相同的半导体衬底上制造包括ToF像素的阵列的设备，以提供具有混合CIS/ToF探测器阵列的集成传感器裸片。更一般地，如图3所示，探测器阵列310可以包括成像像素310i和ToF像素310d的阵列。布局集成传感器裸片，使得成像像素310i散布在阵列310中的ToF像素310d中。也就是说，阵列中像素310d、310i的布置在空间上使每个ToF像素310d与一个或更多个成像像素310i(例如，作为子像素)相关，使得从其输出的相应探测信号分别包括在空间上和时间上相关的深度信息和图像信息。
在图3和图4的示例中，四个成像像素310i围绕每个ToF像素310d对称地布局，但是也可以使用更少或更多的像素310i和/或310d和/或它们的不对称布局。处理控制电路305也可以设置在同一半导体衬底(即，片上)上的相邻区域中，或者设置在一个或更多个不同衬底(即，如图3中的虚线所示的片外)上。在一些实施例中，处理控制电路305可以表示或对应于图1的控制电路105和/或相关联的驱动器116和时序电路106。处理控制电路305可以被配置为基于阵列310中的像素310d、310i的已知对应关系来配准或关联由从ToF像素310d和(一个或更多个)相关成像像素310i输出的相应探测信号所指示的特征。输入/输出(I/O)焊盘399可以用于将探测器阵列310耦接到一个或更多个外部设备。例如，由于成像像素310i可以具有与ToF像素310d不同的读出要求，所以I/O焊盘可以将来自成像像素310i和ToF像素310d的相应的探测信号提供至(例如，在一个或更多个不同的晶圆或衬底上的)不同的读出电路。
在一些实施例中，像素310i、310d的子集或全部可以共享电源线。在一些实施例中，因为成像像素310i可以具有与ToF像素310d不同的功率要求，所以成像像素310i的子集或全部可以共享第一电源线，而ToF像素310d的子集或全部可以共享第二电源线。例如，与将CIS像素用于成像像素310i相比，将SPAD像素用于ToF像素310d可能需要更高的电压。此外，用于像素310d、310i的分开的供应线可以用于电噪声隔离，因为ToF像素310d比成像像素310i对供应噪声更敏感。
图4A和图4B是示出根据本公开的实施例的集成ToF和成像像素410a和410b的示例的平面图框图。在一些实施例中，像素410a和410b可各自表示或对应于图3的探测器阵列310中的ToF像素310d和相邻成像像素310i的平面图。特别地，图4A示出了像素410a的示例平面图布局，该像素410a提供了可见光成像和深度信息(在本文中也称为RGB+D)，图4B示出了像素410b的示例性平面图布局，该像素410b提供了可见光加红外(IR)光成像和深度信息(在本文中也称为RGBI+D)。与图3所示的布置类似，像素410a、410b各自包括由(例如，在ToF像素的相应角处示出的)四个成像子像素(例如，像素310i)包围的ToF像素(例如，像素310d)，使得像素410a、410b可以布置成阵列(例如，阵列310)。
在图4A和图4B的示例中，ToF像素和成像像素包括相应的波长选择滤光片411r、411g、411b、411d和/或411i(统称为411)，其被覆盖或以其他方式布置在ToF和成像像素的光路上以允许探测期望波长的光。特别地，在图4A的RGB+D像素410a中，布置在ToF像素上的滤光片411d被配置为允许与近红外(NIR)波段或范围相对应的波长的光通过。NIR波长范围可以包括大约780nm至大约2500nm的波长。分别布置在四个成像子像素上的滤光片411r、411g、411g和411b被配置为允许与红色、绿色、绿色和蓝色(RGGB)波段或范围相对应的波长的光通过。红色波长范围可以包括大约615nm至大约750nm的波长；绿色波长范围可包括大约495nm至大约580nm的波长；以及蓝色波长范围可包括大约415nm至大约490nm的波长。像素410a可包括覆盖两个成像像素的两个绿色敏感滤光片411g，以收集更多信息或以其他方式提供对可见光谱的绿色波长范围内的光的更高的灵敏度，响应于通过可见光源的FoV的照明，其可包含更多的能量。
类似地，在图4B的RGBI+D像素410b中，被布置在ToF像素上的滤光片411d被配置为允许对应于红外(IR)或近红外(NIR)波段或范围的波长的光从其通过，并且分别被布置在四个成像子像素中的三个上的滤光片411r、411g和411b被配置为允许与红色、绿色和蓝色(RGB)波段或范围相对应的波长的光从其通过。像素410b可以进一步包括覆盖第四成像子像素的IR或NIR滤光片411i，以收集信息或以其他方式提供对可见光谱的红外范围内的光的灵敏度，这可以允许在没有通过(例如，用于夜视或其他弱光或无光成像的)可见光的FoV照明的情况下进行成像。因此，像素410b可以探测颜色(RGB)、红外(I)和深度(D)信息。
在将ToF和成像像素集成在同一衬底上时，应当理解，某些激光雷达系统可以包括发射器，发射器发射NIR波长范围或更高(例如大于约780nm(例如，约850nm、905nm或940nm)的波长)的光，并且该硅在这些波长下的吸收系数非常低。成像像素310i可以提供关于例如在大约500nm至大约750nm的波长范围内的可见波长光子的信息，其中硅具有相对高的吸收系数。一些CIS阵列可能对可见光和NIR或近紫外(UV)波长(例如，红、绿、蓝、紫外(RGBU))敏感，其像素可能会集成电荷以提供图像，但可能无法被配置为提供范围。根据本文所描述的进一步实施例，当在同一衬底上集成ToF和成像像素时，成像像素可以形成有相对较浅的p-n或p-i-n结，而激光雷达ToF像素可以形成有更深、更宽的p-n或p-i-n结。结区在本文中通常可用于指代p-n或p-i-n结。
图5A和图5B是示出根据本公开的实施例的集成在同一半导体衬底500上的ToF传感器和图像传感器的示例510a和510b的剖视图。图5A和图5B中的像素510a和510b各自包括对称地布置在相邻的成像传感器510i之间的ToF传感器510d；然而，将理解的是，可以使用更少/更多的传感器510d、510i和/或非对称布置。在一些实施例中，ToF传感器510d和相邻的成像传感器510i可以分别表示或对应于图3的ToF像素310d和相邻的成像像素310i的横截面。在一些实施例中，ToF传感器510d和相邻的成像传感器510i可以表示或对应于图4A或图4B中的像素410a或410b的横截面，并且可以包括类似于图4A和图4B中的成像滤光片411r/411g/411b/411i和ToF滤光片411d的波长选择成像滤光片511i和ToF滤光片511d。
如图5A和图5B所示，在衬底500中(例如，通过注入)提供与衬底500相反的导电类型(p型或n型)的掺杂剂以形成相对更深、更宽的阱区510w(限定ToF传感器510d的光电二极管))和相对较浅、较窄的阱区510s(限定成像传感器510i的光电二极管)。例如，衬底500可以是p型半导体材料，并且可以通过以不同的注入能量将n型掺杂剂注入到衬底500的表面中来形成阱区510w、510s，以提供ToF传感器510d的结区和具有不同深度的成像传感器510i。(一个或更多个)介电层和金属层可以形成在衬底500的表面上，以分别限定介电叠层501和金属线599。金属线599可以实现用于将信号路由到ToF传感器510d和成像传感器510i和/或从ToF传感器510d和成像传感器510i路由信号的连接。
仍参考图5A和图5B，微透镜512a和512b的矩阵或阵列可以被应用到混合成像/ToF阵列作为接收器光学器件。例如，如图5A所示，微透镜512a的阵列可以包括微透镜512i和512d，微透镜512i和512d分别与(在平面图中的)成像传感器510i和ToF传感器510d对准并且分别对于成像传感器510i和ToF传感器510d具有不同的尺寸。特别地，ToF微透镜512d可以形成为比成像微透镜512i更宽和更高，以便与成像传感器510i的较窄和较浅的结区相比，改善或优化入射光收集以及入射光到ToF传感器510d的更宽和更深的结区的方向。
在一些实施例中，微透镜512b的阵列可以包括用于多个CIS像素和ToF像素的公共微透镜512c，如图5B所示。特别地，ToF/成像微透镜512c可以形成有将入射光引导至ToF传感器510d的较宽和较深的结区以及成像传感器510i的较窄和较浅的结区的相应区。
尽管参考前面照明方案在图5A和5B中示出，在前面照明方案中，在介电叠层501的表面上设置微透镜512，并且在微透镜512和形成在衬底500中的光电二极管之间具有金属线599，将理解的是，在本公开的一些实施例中，在背面照明方案中，微透镜512的阵列可选地可以实施在衬底500的相对表面上，其中光电二极管和衬底500在微透镜512和金属线599之间。另外，虽然未示出，但是隔离结构可被实施在衬底500的区中或衬底500的区上，以将ToF传感器510d的结区与成像传感器510i的结区分开，以减小光生电荷在区510d和510i之间漫射的可能性。例如，隔离结构可以被实施为ToF传感器510d的p-n结与成像传感器510i的p-n结之间的隔离沟槽。ToF传感器510d的结区与成像传感器510i的结区之间的隔离沟槽可以填充有一种或更多种介电材料。在一些实施例中，(相对于衬底500的表面)隔离沟槽可具有至少与ToF传感器510d的结区一样深的相应深度。在一些实施例中，隔离沟槽可以被钝化以减少或最小化可能增加噪声的衬底500的晶体结构中的缺陷的形成。在一些实施例中，隔离结构、沟槽或其他可以围绕ToF传感器510d或ToF传感器510d的结区。
在一些实施例中，较浅的成像像素结区可以形成在阵列中较深的ToF像素结区的正上方或在平面图中重叠。图6是示出根据本公开的实施例的具有探测器阵列610的集成传感器裸片的示例的剖视图，探测器阵列610包括集成在同一半导体衬底600上的ToF传感器610d和图像传感器610i。探测器阵列610示出了三个并排的探测器像素610a、610b、610c，但是将理解的是，阵列610可以包括一个或更多个维度上的附加像素，例如，以限定类似于图3的探测器阵列的布置的行和列。
如图6所示，在衬底中(例如，通过注入)提供与衬底600相反的导电类型(p型或n型)的掺杂剂，以形成较深、较宽的阱区610w(限定ToF传感器610d的光电二极管)，以及较浅、较窄的阱区610s(限定成像传感器610i的光电二极管)。例如并且在不失一般性的情况下，浅n+区610s与第一p阱结610i限定了p-n结，以形成用于探测可见波长范围内的光子的成像传感器610i的光电二极管，而深n阱区610w与p型衬底600限定了p-n结，以形成用于探测NIR波长范围内的光子的ToF像素的光电二极管。由于传感器610i和610d可能对不同波长的光敏感，因此传感器610i在传感器610d上的堆叠布置可以允许成像传感器610i探测可见波长的光子，而更大波长的光子可被传输到底层的ToF传感器610d。
在图6的示例中，衬底600是p型半导体材料，并且可以通过以不同的注入能量将n型掺杂剂顺序地注入到衬底600的表面中来形成阱区610w、610s，以提供具有不同深度的ToF传感器610d和成像传感器610i的结区。在成像传感器610i的浅结区与ToF传感器610d的深结区之间设置中间结区610j。中间结区610j可以用作隔离结构，该隔离结构提供底层的ToF传感器610d与堆叠在底层的ToF传感器610d上的覆盖成像传感器610i之间的电隔离，以减少或防止电荷载流子从成像传感器610i的浅结区迁移到ToF传感器610d的深结区，反之亦然。
在一些实施例中，成像传感器610i的浅结区的读出节点电连接至感测、传递和/或重置节点。例如，成像传感器610i的浅结区的读出节点可以连接至感测跟随器MOSFET的栅极。同样，在一些实施例中，ToF传感器610d的深结区的感测节点可以电连接至感测、传递或重置节点。例如，如果ToF传感器610d的深p-n结是SPAD的一部分，则深n阱(DNW)610w可以电连接至MOSFET的栅极以进行进一步处理。在一些实施例中，可以在与衬底600不同的晶片或衬底上设置读出MOSFET和/或其他电路。
类似于图5A和图5B的实施例，可以在衬底600的表面上形成(一个或更多个)介电层和金属层以分别限定介电叠层和金属线。而且，类似于图5A和5B的实施例，可以以正面或背面照明布置将(例如，作为微透镜的矩阵或阵列的)接收器光学器件应用于混合成像/ToF阵列610。隔离结构(除了结区610i之外)还可以被实施在相邻的ToF/成像像素叠层610a、610b和610c之间的衬底600的区中或区上(或围绕相应的叠层)，以降低光生电荷在堆叠的探测器像素610a、610b和610c的结区之间漫射的可能性。
因此，在一些实施例中，可以将RGB照相机单片集成到同一芯片上的LIDAR ToF相机中，并且在一个或更多个ToF光电二极管上形成一个或更多个CIS光电二极管。尽管在图5A、图5B和图6的示例中参考特定区的特定导电类型进行了说明，但是将理解的是，本公开的实施例不限于这些示例，并且可以使用相反的导电类型。也就是说，虽然参考p衬底和n掺杂剂进行了说明，但是在一些实施例中，具有p掺杂剂的n衬底也可以用于形成ToF传感器610d的深结区和堆叠在ToF传感器610d的深结区上的成像传感器610i的浅结区。
图7是示出根据本公开的实施例的集成的ToF传感器和图像传感器的另一示例的平面框图。图7的探测器像素710可表示或对应于图3的探测器阵列310中的ToF像素310d和相邻成像像素310i、图4A或图4B的探测器像素410a或410b、图5A或图5B的探测器像素510a或510b、图6的探测器像素610a-610c中的任何一个的平面图。特别地，在图7所示的示例中，探测器像素710可以类似于图4A的探测器像素410a，以提供包括ToF传感器710d以及图像传感器710r、710g、710g和710b的RGB+D像素，该ToF传感器710d对对应于近红外(NIR)波段或范围的波长的光敏感，而图像传感器710r、710g、710g和710b限定了对分别对应于红色、绿色、绿色和蓝色(RGGB)波段或范围的波长敏感的成像子像素。或者，探测器像素710可以类似于图4B的探测器像素410b，以提供RGBI+D像素，其中绿色子像素710g之一被对IR或NIR波段或范围的波长敏感的子像素代替。
探测器像素710还包括形成在ToF传感器710d和/或图像传感器710r、710g、710g和710b的一个或更多个结的有源区域上方或有源区域周围的门结构722(例如，光电门或传输门)，例如可调节耗尽范围的深度，控制电场和/或将电荷转移到相邻的阱或电容器。在图7的示例中，以示例的方式在ToF传感器710d和周围图像传感器710r、710g、710g和710b的外围处实现门结构722，但是应当理解的是，也可以使用其他布置。在一些实施例中，门结构722对于NIR波长的光可以是透明的，但是对于可见波长的光可以是不透明的(反之亦然)。当门结构722对NIR波长透明但对可见波长不透明时，图像传感器710r、710g、710g和710b的可见光子吸收和探测可以由门结构722(或其他电极或浮式结构(floating structure))定位和限定，而红外光子可以透射通过门结构722，并且可以跨ToF像素711d的深的、底层的结中被探测到。即，门结构722可以在平面图中与ToF传感器710d和/或图像传感器710r、710g、710g和710b的一个或更多个结重叠地布置，其中波长透射率特性被选择或以其他方式配置为将相对应波长范围的光引导至对这些波长范围敏感的底层ToF传感器或图像传感器。
如上所述，本文所描述的集成探测器阵列的ToF像素和成像像素的读出要求可以相同或可以不同，并且本文所描述的控制电路(例如105、305)可以被配置为根据相同或不同的读出要求来操作探测器。在一些实施例中，可以使用全局快门方案来实施ToF像素的读出，使得探测器阵列的ToF像素基本上同时被操作以捕获FoV的“快照”。在一些实施例中，使用全局快门方案来实施成像像素的读出。在一些实施例中，使用滚动快门方案来实施ToF像素的读出，使得探测器阵列的ToF像素被顺序地操作以在FoV上“扫描”。在一些实施例中，使用滚动快门方案来实施成像像素的读出。即，全局快门方案和滚动快门方案的任何组合可以用于如本文所描述的在集成探测器中的ToF像素和成像像素读出。如以上参考图3所讨论的，在一些实施例中，I/O焊盘(例如399)可以将来自成像像素和ToF像素的相应探测信号提供给在一个或更多个不同的晶片或衬底上的不同的读出电路。
此外，如本文所描述的ToF像素和成像像素的帧速率(例如，对3D FoV中的点进行采样的速率)可以近似相同或可以不同，并且本文所描述的控制电路(例如105、305)可以被配置为根据相同或不同的帧速率来操作探测器。例如，在视场中相对较亮的阳光和相对较暗的目标的情况下，可以以较高的帧速率来操作成像像素，而可以以较低的帧速率来操作ToF像素。
控制电路(例如105、305)还可以被配置为对本文描述的任何探测器阵列的每个区执行逐行和/或逐列的操作，其中区可以包括探测器阵列中的一个或更多个像素。在一些实施例中，从混合图像传感器/ToF传感器探测器的读出可以是模拟的，并且处理可以在片外执行。在一些实施例中，可以实施逐列的模数转换器(ADC)阵列以数字化从ToF像素在片上或片外读出的数据。类似地，在一些实施例中，可以在片上或片外实施逐行ADC阵列。在一些实施例中，ADC可以在ToF像素和成像像素之间共享。在一些实施例中，一个逐列或逐行ADC阵列可以专用于成像像素，并且一个ADC或时间数字转换器(TDC)阵列可以专用于ToF像素。在一些实施例中，ToF像素可以包括ADC或TDC。在一些实施例中，片上或片外处理器可以被配置为基于成像像素的子集和ToF像素的子集之间的已知对应关系，将由成像像素阵列感测到的特征与由ToF像素阵列感测到的范围在视场上配准或相关联。
本文所描述的激光雷达系统和阵列可以应用于ADAS(高级驾驶员辅助系统)、自动驾驶车辆、UAV(无人飞行器)、工业自动化、机器人技术、生物识别、建模、增强和虚拟现实、3D映射和安全性。在一些实施例中，发射器阵列的发射器元件可以是垂直腔表面发射激光器(VCSEL)。在一些实施例中，发射器阵列可以包括在其上串联和/或并联电连接的数千个分立的发射器元件的非本征衬底，其中驱动器电路由集成在非本征衬底上与发射器阵列的相应行和/或列相邻的驱动晶体管来实施，例如在Burroughs等人于2018年4月12日向美国专利商标局提交的美国专利申请No.2018/0301872中所描述的那样，该专利申请的公开内容通过引用合并于本文。
本文已经参考示出了示例实施例的附图描述了各种实施例。然而，这些实施例可以以不同的形式体现，并且不应被解释为限于本文阐述的实施例。相反，提供这些实施例是为了使本公开透彻和完整，并将本发明构思充分传达给本领域技术人员。对本文描述的示例实施例以及一般原理和特征的各种修改将是显而易见的。在附图中，层和区的尺寸和相对尺寸未按比例显示，并且在某些情况下为了清楚起见可能被放大。
主要根据特定实施方式中提供的特定方法和设备来描述示例实施例。然而，这些方法和设备可以在其他实施方式中有效地操作。诸如“一些实施例”、“一个实施例”和“另一实施例”的短语可以指相同或不同的实施例以及多个实施例。将关于具有某些组件的系统和/或设备来描述实施例。然而，系统和/或设备可以包括比所示的组件更少或更多的组件，并且可以在不脱离本发明构思的范围的情况下对组件的布置和类型进行改变。还将在具有某些步骤或操作的特定方法的上下文中描述示例实施例。然而，这些方法和设备可以对于具有不同和/或附加步骤/操作以及以不同顺序的步骤/操作的其他方法进行有效地操作，这与示例实施例不矛盾。因此，本发明构思不旨在限于所示出的实施例，而是应被赋予与本文所描述的原理和特征一致的最宽范围。
将理解的是，当元件被称为或图示为“在”另一个元件“上”，“连接”或“耦合”至另一个元件时，它可以直接在另一个元件上、直接连接或直接耦合至另一个元件，也可能存在中间元件。相反，当元件被称为“直接在”另一元件“上”，“直接连接”或“直接耦合”至另一元件时，则不存在中间元件。。
还应理解的是，尽管本文可以使用术语第一、第二等来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
此外，例如“下部”或“底部”以及“上部”或“顶部”的相对术语在本文中可用于描述一个元件与另一元件的关系，如图中所示。将理解的是，除了附图中描绘的取向之外，相对术语旨在涵盖设备的不同取向。例如，如果将附图之一中的设备翻转，则描述为在另一元件的“下部”侧上的元件将定向在另一元件的“上部”侧上。因此，根据附图的特定取向，示例性术语“下部”可以涵盖“下部”和“上部”这两个取向。类似地，如果将附图之一中的设备翻转，则描述为在另一元件“下方”或“下面”的元件将被定向为在另一元件“上方”。因此，示例性术语“在...下方”或“在...下面”可以涵盖上方和下方两个取向。
在本文的本发明的说明书中使用的术语仅出于描述特定实施例的目的，并且不旨在限制本发明。如在本发明的说明书和所附权利要求书中所使用的，单数形式的“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还应理解的是，本文所用的术语“和/或”是指并涵盖一个或更多个相关联的所列项目的任何和所有可能的组合。将进一步理解的是，当在本说明书中使用时，术语“包含(include)”、“包含(including)”、“包括(comprises)”和/或“包括(comprising)”规定了所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或附加的一个或更多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本文中参考图示描述了本发明的实施例，这些图示是本发明的理想实施例(和中间结构)的示意图。这样，例如由于制造技术和/或公差导致的图示形状的变化是可以预期的。因此，附图中示出的各个区本质上是示意性的，并且它们的形状并不旨在示出设备的区域的实际形状，也不旨在限制本发明的范围。
除非另有限定，否则在公开本发明的实施例中使用的所有术语(包括技术术语和科学术语)均具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义，并且不一定限于描述本发明时已知的具体定义。因此，这些术语可以包括在该时间之后创建的等同术语。还将理解的是，诸如在常用词典中限定的术语应被解释为具有与其在本说明书中以及在相关技术的上下文中的含义一致的含义，并且将不应被解释为理想化或过于正式的意义，除非在此明确限定。本文提及的所有出版物、专利申请、专利和其他参考文献通过引用整体并入本文。
结合以上说明书和附图，本文已经公开了许多不同的实施例。将理解的是，逐字地描述和说明这些实施例的每个组合和子组合将是不适当的重复和混淆。因此，本说明书，包括附图，应被解释为构成对本文所描述的本公开的实施例的所有组合和子组合以及制造和使用它们的方式和过程的完整书面描述，并应支持权利要求至任何此类组合或子组合。
尽管本文已经参考各种实施例描述了本发明，但是应当理解，可以在本发明原理的范围和精神内做出进一步的变化和修改。尽管采用了特定术语，但是它们仅在一般和描述性意义上使用，而不是出于限制的目的，本发明的范围在所附权利要求中阐明。

Claims (20)

1.一种光探测和测距(LIDAR)装置，包括：
探测器，所述探测器包括第一像素和第二像素，所述第一像素和第二像素被配置为响应于入射在所述第一像素和第二像素上的光而输出相应探测信号；所述第一像素包括一个或更多个飞行时间(ToF)传感器，并且所述第二像素包括一个或更多个图像传感器；以及
接收器光学器件，所述接收器光学器件被配置为在视场上收集光并将所述光的第一部分和第二部分分别引导至所述第一像素和第二像素，
其中，所述接收器光学器件或所述探测器中所述第一像素和第二像素的布置中的至少一个被配置为使所述第一像素和第二像素相关，以使得由从所述第一像素输出的相应探测信号所指示的深度信息与由从所述第二像素输出的相应探测信号所指示的图像信息相关。
2.根据权利要求1所述的LIDAR装置，其中，所述探测器是探测器阵列，所述探测器阵列包括：
衬底；
限定了所述ToF传感器的所述衬底中的第一结区，所述第一结区具有相对于所述衬底的表面的第一深度；以及
限定了所述图像传感器的所述衬底中的第二结区，所述第二结区与所述第一结区相邻，所述第二结区具有小于相对于所述衬底的表面的所述第一深度的第二深度。
3.根据权利要求2所述的LIDAR装置，其中，所述布置包括在平面图中的所述第一结区和所述第二结区的并排布置。
4.根据权利要求2所述的LIDAR装置，其中，所述布置包括堆叠布置，其中，所述第一结区和所述第二结区在平面图中重叠。
5.根据权利要求2所述的LIDAR装置，还包括：
在所述衬底上与所述探测器阵列相邻的多个输入/输出(I/O)焊盘，所述多个输入/输出(I/O)焊盘电连接至所述第一像素和第二像素的相应像素；其中，所述I/O焊盘被配置为将来自所述第一像素和第二像素的具有与所述图像信息相关的所述深度信息的所述相应探测信号分别输出至第一读出电路和第二读出电路。
6.根据权利要求1至5中任一项所述的LIDAR装置，其中，所述接收器光学器件包括波长选择分束器或滤光片，所述波长选择分束器或滤光片被配置为将第一波长范围的光的第一部分引导至所述第一像素，并且将第二波长范围的光的第二部分引导至所述第二像素。
7.根据权利要求6所述的LIDAR装置，其中，所述接收器光学器件包括单片元件，所述单片元件包括至少一个透镜以及一个或更多个棱镜；所述至少一个透镜被配置为在所述视场上收集光；所述一个或更多个棱镜将所述波长选择分束器或滤光片耦合至所述透镜。
8.根据权利要求1所述的LIDAR装置，还包括：
发射源，所述发射源被配置为输出第一波长范围的光发射，以照亮所述视场，其中，所述光的第一部分包括所述第一波长范围；以及
控制电路，所述控制电路被配置为接收从所述第一像素和第二像素输出的具有与所述图像信息相关的所述深度信息的相应探测信号，并且所述控制电路被配置为基于来自所述第一像素和第二像素的相应探测信号来输出控制信号，以调节来自所述发射源的所述光发射。
9.根据权利要求8所述的LIDAR装置，其中，所述发射源包括第一发射源，并且还包括：
第二发射源，所述第二发射源被配置为输出第二波长范围的光发射，以照亮所述视场，其中，所述光的第二部分包括第二波长范围。
10.一种光探测和测距(LIDAR)装置，包括：
探测器阵列，所述探测器阵列包括多个第一像素和多个第二像素，所述多个第一像素和多个第二像素被配置为响应于入射在所述多个第一像素和多个第二像素上的光而输出相应探测信号，所述第一像素包括飞行时间(ToF)传感器，并且所述第二像素包括图像传感器；其中，所述探测器阵列包括：
衬底；
所述衬底中的第一结区，所述第一结区限定了所述ToF传感器，所述第一结区具有相对于所述衬底的表面的第一深度；以及
所述衬底中的第二结区，所述第二结区限定了所述图像传感器并且与所述第一结区相邻，所述第二结区具有相对于所述衬底的表面的小于所述第一深度的第二深度。
11.根据权利要求10所述的LIDAR装置，其中，所述探测器阵列包括在平面图中的所述第一结区和所述第二结区的并排布置。
12.根据权利要求10所述的LIDAR装置，其中，所述探测器阵列包括堆叠布置，其中，所述第一结区和所述第二结区在平面图中重叠。
13.根据权利要求10至12中任一项所述的LIDAR装置，其中，所述第一像素和第二像素在所述探测器阵列中的布置在所述第一像素的子集和所述第二像素的子集之间提供相应的空间相关性，使得分别从所述第一像素和第二像素输出的相应探测信号包括相关的深度信息和图像信息。
14.根据权利要求13所述的LIDAR装置，还包括：
接收器光学器件，所述接收器光学器件包括透镜阵列，所述透镜阵列被配置为在视场上收集光，并将所述光的第一部分和第二部分分别引导至所述探测器阵列的第一像素和第二像素。
15.根据权利要求14所述的LIDAR装置，其中，所述接收器光学器件包括至少一个波长选择分束器或滤光片，所述至少一个波长选择分束器或滤光片被配置为将第一波长范围的光的第一部分引导至所述第一像素，并且将第二波长范围的光的第二部分引导至所述第二像素。
16.根据权利要求14至15中任一项所述的LIDAR装置，还包括：
发射源，所述发射源被配置为输出第一波长范围的光发射，以照亮所述视场，其中，所述光的第一部分包括所述第一波长范围；以及
控制电路，所述控制电路被配置为接收从所述第一像素和第二像素输出的具有与所述图像信息相关的所述深度信息的相应探测信号，并且所述控制电路被配置为基于来自所述第一像素和第二像素的相应探测信号来输出控制信号，以调节来自所述发射源的所述光发射。
17.根据权利要求10至12中任一项所述的LIDAR装置，还包括：
在所述衬底上与所述探测器阵列相邻的多个输入/输出(I/O)焊盘，所述多个输入/输出(I/O)焊盘电连接至所述第一像素和第二像素的相应像素；其中，所述I/O焊盘被配置为将来自所述第一像素和第二像素的具有与所述图像信息相关的所述深度信息的所述相应探测信号分别输出至第一读出电路和第二读出电路。
18.一种光探测和测距(LIDAR)装置，包括：
探测器，所述探测器包括第一像素和第二像素，所述第一像素和第二像素被配置为响应于入射在所述第一像素和第二像素上的光而输出相应探测信号；所述第一像素包括一个或更多个飞行时间(ToF)传感器，并且所述第二像素包括一个或更多个图像传感器；以及
接收器光学器件，所述接收器光学器件被配置为在视场上收集光并将所述光的第一部分和第二部分分别引导至所述第一像素和第二像素，
其中，所述接收器光学器件被配置为使所述第一像素和第二像素相关，使得由从所述第一像素输出的相应探测信号所指示的深度信息与由从所述第二像素输出的相应探测信号所指示的图像信息相关。
19.根据权利要求18所述的LIDAR装置，其中，所述接收器光学器件包括波长选择分束器或滤光片，所述波长选择分束器或滤光片被配置为将第一波长范围的光的第一部分引导至所述第一像素，并且将第二波长范围的光的第二部分引导至所述第二像素。
20.根据权利要求19所述的LIDAR装置，其中，所述接收器光学器件包括单片元件，所述单片元件包括至少一个透镜以及一个或更多个棱镜；所述至少一个透镜被配置为在所述视场上收集光；所述一个或更多个棱镜将所述波长选择分束器或滤光片耦合至所述透镜。
CN201980060777.8A 2018-08-16 2019-08-16 集成激光雷达图像传感器设备和系统以及相关的操作方法 Pending CN112771410A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862764895P 2018-08-16 2018-08-16
US62/764,895 2018-08-16
PCT/US2019/046806 WO2020037197A1 (en) 2018-08-16 2019-08-16 Integrated lidar image-sensor devices and systems and related methods of operation

Publications (1)

Publication Number Publication Date
CN112771410A true CN112771410A (zh) 2021-05-07

Family

ID=69523904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060777.8A Pending CN112771410A (zh) 2018-08-16 2019-08-16 集成激光雷达图像传感器设备和系统以及相关的操作方法

Country Status (6)

Country Link
US (2) US11598857B2 (zh)
EP (1) EP3814803A4 (zh)
JP (1) JP2021534412A (zh)
KR (1) KR20210033540A (zh)
CN (1) CN112771410A (zh)
WO (1) WO2020037197A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200110451A (ko) * 2018-02-13 2020-09-23 센스 포토닉스, 인크. 고분해능 장거리 플래시 lidar를 위한 방법들 및 시스템들
US10739462B2 (en) * 2018-05-25 2020-08-11 Lyft, Inc. Image sensor processing using a combined image and range measurement system
TW202032773A (zh) * 2019-02-01 2020-09-01 日商索尼半導體解決方案公司 受光元件、固體攝像裝置及測距裝置
WO2020210276A1 (en) 2019-04-08 2020-10-15 Sense Photonics, Inc. Motion correction based on phase vector components
JP7389578B2 (ja) * 2019-07-16 2023-11-30 シャープ株式会社 測距センサ
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US11330246B2 (en) * 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
US20230028749A1 (en) * 2019-12-20 2023-01-26 Ams Sensors Asia Pte. Ltd Lidar with multi-range channels
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US11269075B2 (en) 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US20210381960A1 (en) * 2020-06-08 2021-12-09 Artilux, Inc. Wideband Sensing Apparatus and Method Thereof
US11428792B2 (en) * 2020-06-08 2022-08-30 Stmicroelectronics (Research & Development) Limited Routing for DTOF sensors
US11558569B2 (en) 2020-06-11 2023-01-17 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
US11201993B1 (en) * 2020-06-15 2021-12-14 Samsung Electronics Co., Ltd. Multi-camera on a chip and camera module design
US20220011438A1 (en) * 2020-07-10 2022-01-13 Xin Jin Multi-domain optical sensor chip and apparatus
US11163064B1 (en) * 2020-07-13 2021-11-02 Palo Alto Research Center Incorporated Doppler imager
WO2022087222A1 (en) * 2020-10-22 2022-04-28 Sense Photonics, Inc. Segmented flash lidar using stationary reflectors
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor
CN114646943A (zh) * 2020-12-17 2022-06-21 上海禾赛科技有限公司 接收装置、包括其的激光雷达及探测方法
CN115113220A (zh) * 2021-03-18 2022-09-27 华为技术有限公司 一种探测装置及终端设备
US20220299646A1 (en) * 2021-03-19 2022-09-22 Taiwan Semiconductor Manufacturing Company, Ltd. Pixel array including time-of-flight sensors
JP2022168742A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 測距装置
WO2023277998A2 (en) * 2021-04-26 2023-01-05 Neural Propulsion Systems, Inc. Moving aperture lidar
WO2023186581A1 (en) * 2022-03-29 2023-10-05 Sony Group Corporation Arrangement for depth sensing, device, methods and computer program

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020084430A1 (en) * 2000-11-09 2002-07-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US20050285966A1 (en) * 2004-01-28 2005-12-29 Canesta, Inc. Single chip red, green, blue, distance (RGB-Z) sensor
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
CN102445688A (zh) * 2010-08-20 2012-05-09 电装国际美国公司 组合的飞行时间和图像传感器系统
US20120268566A1 (en) * 2011-04-21 2012-10-25 Samsung Electronics Co., Ltd. Three-dimensional color image sensors having spaced-apart multi-pixel color regions therein
US20130234029A1 (en) * 2012-03-06 2013-09-12 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US20140300718A1 (en) * 2013-04-03 2014-10-09 Beat Krattiger Camera for acquiring optical properties and spatial structure properties
US20160161599A1 (en) * 2014-12-03 2016-06-09 Melexis Technologies Nv Semiconductor pixel unit for sensing near-infrared light, optionally simultaneously with visible light, and a semiconductor sensor comprising same
JP2016162946A (ja) * 2015-03-04 2016-09-05 Jsr株式会社 固体撮像装置
JP2016211881A (ja) * 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
CN106526573A (zh) * 2016-12-30 2017-03-22 北醒（北京）光子科技有限公司 一种固态多线测距装置及测距方法
CN108291969A (zh) * 2015-11-24 2018-07-17 微软技术许可有限责任公司 具有共享像素读出电路系统的成像传感器
CN108369274A (zh) * 2015-11-05 2018-08-03 路明亮科技有限公司 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015001704T5 (de) 2014-04-07 2016-12-29 Samsung Electronics Co., Ltd. Bildsensor mit hoher Auflösung, Frame-Rate und niedrigem Stromverbrauch
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
EP3593163B1 (en) 2017-04-12 2024-01-17 Sense Photonics, Inc. Devices incorporating integrated dectors and ultra-small vertical cavity surface emitting laser emitters

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020084430A1 (en) * 2000-11-09 2002-07-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US20050285966A1 (en) * 2004-01-28 2005-12-29 Canesta, Inc. Single chip red, green, blue, distance (RGB-Z) sensor
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
CN102445688A (zh) * 2010-08-20 2012-05-09 电装国际美国公司 组合的飞行时间和图像传感器系统
US20120268566A1 (en) * 2011-04-21 2012-10-25 Samsung Electronics Co., Ltd. Three-dimensional color image sensors having spaced-apart multi-pixel color regions therein
US20130234029A1 (en) * 2012-03-06 2013-09-12 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US20140300718A1 (en) * 2013-04-03 2014-10-09 Beat Krattiger Camera for acquiring optical properties and spatial structure properties
US20160161599A1 (en) * 2014-12-03 2016-06-09 Melexis Technologies Nv Semiconductor pixel unit for sensing near-infrared light, optionally simultaneously with visible light, and a semiconductor sensor comprising same
JP2016162946A (ja) * 2015-03-04 2016-09-05 Jsr株式会社 固体撮像装置
JP2016211881A (ja) * 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
CN108369274A (zh) * 2015-11-05 2018-08-03 路明亮科技有限公司 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统
CN108291969A (zh) * 2015-11-24 2018-07-17 微软技术许可有限责任公司 具有共享像素读出电路系统的成像传感器
CN106526573A (zh) * 2016-12-30 2017-03-22 北醒（北京）光子科技有限公司 一种固态多线测距装置及测距方法

Also Published As

Publication number Publication date
US20230194679A1 (en) 2023-06-22
EP3814803A4 (en) 2022-03-02
EP3814803A1 (en) 2021-05-05
JP2021534412A (ja) 2021-12-09
US20200057151A1 (en) 2020-02-20
WO2020037197A1 (en) 2020-02-20
US11598857B2 (en) 2023-03-07
KR20210033540A (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
US11598857B2 (en) Integrated lidar image-sensor devices and systems and related methods of operation
US7626685B2 (en) Distance measuring sensors including vertical photogate and three-dimensional color image sensors including distance measuring sensors
US11076081B2 (en) Device for acquiring a 2D image and a depth image of a scene
CN108291969B (zh) 具有共享像素读出电路系统的成像传感器
US10908266B2 (en) Time of flight distance sensor
WO2020033001A2 (en) Methods and systems for high-resolution long-range flash lidar
US20200191925A1 (en) Systems and methods for an apd array solid-state laser radar
KR101648353B1 (ko) 거리 센서를 포함하는 이미지 센서
CN105991978B (zh) 具有深度检测像素的图像传感器和产生深度数据的方法
CN104081528A (zh) 多光谱传感器
CN108566524B (zh) 像素单元、图像传感器芯片、成像系统、像素单元的形成方法以及深度信息测算方法
US11531094B2 (en) Method and system to determine distance using time of flight measurement comprising a control circuitry identifying which row of photosensitive image region has the captured image illumination stripe
WO2019041257A1 (zh) 信号处理芯片、图像处理系统和距离测量系统
US20230215884A1 (en) Photoelectric conversion device, photoelectric conversion system, and equipment
US20220208815A1 (en) Image sensing device
US11722792B2 (en) Image sensing device
EP4290591A1 (en) Time-of-flight image sensor with quantum dot photodetectors
WO2022170476A1 (zh) 激光接收电路及其控制方法、测距装置、移动平台
US20220278163A1 (en) Image sensing device
WO2022191773A1 (en) Sensor device, sensor module, imaging system and method to operate a sensor device
CN116454099A (zh) 一种深槽隔离的spad像素单元

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination