CN108881752A - 图像传感器中的像素、成像单元、测距的方法和系统 - Google Patents

图像传感器中的像素、成像单元、测距的方法和系统 Download PDF

Info

Publication number
CN108881752A
CN108881752A CN201810450049.5A CN201810450049A CN108881752A CN 108881752 A CN108881752 A CN 108881752A CN 201810450049 A CN201810450049 A CN 201810450049A CN 108881752 A CN108881752 A CN 108881752A
Authority
CN
China
Prior art keywords
pixel
specific
spad
signal
ppd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810450049.5A
Other languages
English (en)
Other versions
CN108881752B (zh
Inventor
王兵
王一兵
石立龙
伊利亚·奥夫桑尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108881752A publication Critical patent/CN108881752A/zh
Application granted granted Critical
Publication of CN108881752B publication Critical patent/CN108881752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种图像传感器中的像素、成像单元、测距的方法和系统。飞行时间(TOF)技术在像素阵列中的每个像素内使用每个像素中的多个单光子雪崩二极管(SPAD)连同单个钉扎光电二极管(PPD)而被与模拟幅度调制组合。SPAD可在多个邻近的像素之间被共享。TOF信息通过像素自身内部的基于模拟域的单端差分转换器被添加到接收的光信号。像素中的多个、邻近的SPAD的输出之间的空间‑时间关联性被用于控制PPD的操作，以促使记录TOF值和3D对象的距离。由于环境光导致的错误的测距通过仅当像素中的两个或更多个SPAD在预定义的快门时间间隔内被触发时停止来自PPD的电荷传送(并，因此，记录TOF值)来防止。具有多SPAD像素的自主导航系统在困难的驾驶条件下为驾驶员提供改善的视野。

Description

图像传感器中的像素、成像单元、测距的方法和系统
本申请要求于2017年5月16日提交的第62/507,210号美国临时申请的优先权权益，所述美国临时申请的公开通过引用完整包含于此。
技术领域
本发明总体涉及图像传感器。更具体地讲，并不作为限制，本公开中公开的发明方面的具体实施例是针对飞行时间(Time-of-Flight，TOF)图像传感器，在TOF图像传感器中，像素使用用于控制时间电荷转换器(time-to-charge converter)(诸如，钳位光电二极管(pinned photo diode，PPD))的操作的多个相邻的单光子雪崩二极管(Single PhotonAvalanche Diode，SPAD)的输出之中的时空相关性来促使记录TOF值和三维(3D)对象的距离。
背景技术
三维(3D)成像系统正在越来越多地用在诸如以工业生产、视频游戏、计算机图形学、机器人手术、消费类显示、监控视频、3D建模、房地产销售、自主导航等为例的各种各样的应用中。
例如，现有的3D成像技术可以包括基于飞行时间(TOF)的测距成像、立体视觉系统和结构光(SL)方法。
在TOF方法中，基于已知的光速—通过针对图像的每个点测量光信号在照相机和3D对象之间行进所需的往返时间，来求解至3D对象的距离。照相机中像素的输出提供关于像素特定(pixel-specific)TOF值的信息以生成对象的3D深度剖面。TOF照相机可使用无扫描方法以利用每个激光脉冲或光脉冲来捕获整个场景。在直接TOF成像器中，单个激光脉冲可用于捕获空间和时间数据以记录3D场景。这允许场景信息的快速获取和快速实时处理。TOF方法的一些示例应用可包括诸如自主导航以及基于实时的距离图像的活动行人安全或预碰撞检测的先进的汽车应用，以诸如在视频游戏机上与游戏交互期间追踪人的移动、在工业机器视觉中对对象进行分类并促使机器人发现物品(诸如在传送带上的物品)等。
在立体成像或立体视觉系统中，彼此水平移位(displaced)的两个照相机用于获得对场景或场景中的3D对象的两个不同的视图。通过比较这两个图像，可以获得针对3D对象的相对深度信息。立体视觉在诸如机器人学的领域中十分重要，以在自主系统/机器人的附近提取关于3D对象的相对位置的信息。机器人学的其他应用包括对象识别，其中，立体深度信息允许机器人系统分开遮挡的图像部分，否则在诸如一个对象位于另一个对象前面把另一个对象部分地或全部地隐藏起来时，机器人可能无法将它们区分为两个单独的对象。3D立体显示器也用于娱乐和自动化系统中。
在SL方法中，可利用投射的光图案和用于成像的照相机来测量对象的3D形状。在SL方法中，将已知的光的图案(通常为网格或水平条或平行条纹的图案)投射到场景或场景中的3D对象上。投射的图案可以在照到3D对象的表面时变形或移位。这样的变形可允许SL视觉系统计算对象的深度和表面信息。因此，向3D表面投射窄带光可产生照明线，所述照明线从除了投射器的视角以外的其他视角可能出现失真，并且向3D表面投射窄带光可以用于被照明的表面形状的几何重建。基于SL的3D成像可用于诸如以由警察机关以3D场景拍摄指纹、在生产工艺期间组件的联机检查、以及在卫生保健用于人体体型或人体皮肤的微观结构的现场测量等为例的各种应用中。
发明内容
在一个实施例中，本公开针对一种图像传感器中的像素。所述像素包括：(i)多个单光子雪崩二极管(SPAD)，其中，每个SPAD操作为将接收的亮度转换为相应电信号；(ii)第一控制电路，连接到所述多个SPAD，其中，针对接收亮度的每个SPAD，第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；(iii)钳位光电二极管(PPD)，操作为存储模拟电荷；(iv)第二控制电路，连接到第一控制电路和PPD。在所述像素中，第二控制电路操作为：(a)启动来自PPD的模拟电荷的部分的传送；(b)当在预定义时间间隔内从第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送。
在另一实施例中，本公开针对一种方法，其中，所述方法包括：(i)将激光脉冲投射到三维(3D)对象上；(ii)将模拟调制信号施加到像素中的PPD；(iii)基于从模拟调制信号接收的调制，启动存储在PPD中的模拟电荷的部分的传送；(vi)使用所述像素中的多个SPAD检测返回脉冲，其中，返回脉冲是从3D对象反射的投射的脉冲，其中，每个SPAD操作为将从返回脉冲接收的亮度转换为相应电信号；(v)针对接收亮度的每个SPAD，处理相应电信号以从相应电信号生成SPAD-特定数字输出；(vi)当在预定义时间间隔内生成至少两个SPAD-特定数字输出时，终止模拟电荷的所述部分的传送；(vii)基于当终止时传送的模拟电荷的所述部分，确定返回脉冲的飞行时间(TOF)值。
在另一实施例中，本公开针对一种包括光源和图像传感器单元的成像单元。光源操作为将激光脉冲投射到三维3D对象上。图像传感器单元包括：(i)多个像素，布置在二维(2D)像素阵列中；(ii)处理单元，连接到2D像素阵列。2D像素阵列中的至少一行像素中的每个像素包括：(a)像素-特定的多个SPAD，其中，每个SPAD操作为将在返回脉冲中接收的亮度转换为相应电信号，其中，返回脉冲从由3D对象对投射的脉冲的反射得到；(b)像素-特定第一控制电路，连接到像素-特定的多个SPAD，其中，针对接收返回脉冲中的亮度的每个SPAD，像素-特定第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；(c)像素-特定装置，操作为存储模拟电荷；(d)像素-特定第二控制电路，连接到像素-特定第一控制电路和像素-特定装置，其中，像素-特定第二控制电路操作为：启动来自像素-特定装置的模拟电荷的像素-特定第一部分的传送；当在预定义时间间隔内从像素-特定第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送。在图像传感器单元中，处理单元操作为：(a)将模拟调制信号提供给所述行的像素中的每个像素中的像素-特定第二控制电路，以控制模拟电荷的像素-特定第一部分的传送；(b)基于模拟电荷的像素-特定第一部分在所述预定义时间间隔的传送，确定返回脉冲的像素-特定飞行时间TOF值。
在另一实施例中，本公开针对一种系统，其中，所述系统包括：(i)光源；(ii)多个像素；(iii)多个ADC单元；(iv)存储器，用于存储程序指令；(v)处理器，连接到存储器、所述多个ADC单元和所述多个像素。在所述系统中，光源将激光脉冲投射到3D对象上。在所述多个像素中，每个像素包括：(a)像素-特定钳位光电二极管PPD，操作为存储模拟电荷；(b)像素-特定的多个SPAD，其中，每个SPAD操作为将在返回脉冲中接收的亮度转换为相应电信号，其中，返回脉冲从由3D对象对投射的脉冲的反射得到；(c)像素-特定控制电路，连接到像素-特定PPD和像素特定的多个SPAD。像素-特定控制电路操作为：(a)启动来自像素-特定PPD的模拟电荷的像素-特定第一部分的第一传送；(b)处理来自接收返回脉冲中的亮度的每个SPAD的相应电信号，并从相应电信号生成SPAD-特定输出；(c)当在预定义时间间隔内生成至少两个SPAD-特定输出时，终止第一传送；(d)启动来自像素-特定PPD的模拟电荷的像素-特定第二部分的第二传送，其中，像素-特定第二部分基本上等于在像素-特定第一部分被传送之后的模拟电荷的剩余。在所述系统中，每个ADC单元与所述多个像素中的各自像素关联，并操作为分别基于模拟电荷的像素-特定第一部分的第一传送和像素-特定第二部分的第二传送生成像素-特定信号对的值。像素-特定信号对的值包括像素-特定第一信号值和像素-特定第二信号值。在所述系统中，处理器被配置为执行所述程序指令，借此处理器操作为执行以下处理：(a)针对每个像素，分别促使模拟电荷的像素-特定第一部分的第一传送和像素-特定第二部分的第二传送；(b)接收每个像素-特定信号对的值，并使用像素-特定第一信号值和像素-特定第二信号值确定返回脉冲的相应的像素-特定飞行时间TOF值；(c)针对所述多个像素中的每个像素，基于像素-特定TOF值，确定到3D对象的距离。
附图说明
在以下部分中，将参照在附图中示出的示例性实施例描述本公开的发明方面，在附图中：
图1示出根据本公开的一个实施例的TOF成像系统的高度简化的局部布局；
图2示出根据本公开的一个实施例的图1中的系统的示例性的操作布局；
图3示出根据本公开的具体实施例的像素的示例性框图；
图4描绘根据本公开的特定实施例的像素的示例性电路细节；
图5是根据本公开的一个实施例的提供图4的像素中的调制的电荷传送机制的概述的示例性时序图；
图6是根据本公开的特定实施例的示出当图4的实施例中的像素被用在用于测量TOF值的像素阵列中时的图1至图2的系统中的不同信号的示例性时序的时序图；
图7描绘根据本公开的一个实施例的示出可如何在图1至图2的系统中确定TOF值的示例性流程图；
图8是根据本公开的一个实施例的图像传感器单元的部分的示例性布局；
图9示出根据本公开的具体实施例的像素的示例性电路细节；
图10是根据本公开的特定实施例的示出当图9的实施例中的像素被用在用于测量TOF值的像素阵列中时的图1至图2的系统中的不同信号的示例性时序的时序图；
图11A至图11C示出根据本公开的具体实施例的像素阵列架构的三个示例；
图12示出根据本公开的具体实施例的可如何在像素中实现逻辑单元；
图13描绘根据本公开的一个实施例的图1至图2中的系统的总体布局。
具体实施方式
在以下详细描述中，阐述了许多具体的细节以提供对本公开的透彻理解。然而，本领域技术人员将理解的是可在没有这些具体细节的情况下实践所公开的发明方面。在其他实例中，为了不使本公开模糊，没有详细描述公知的方法、程序、组件和电路。此外，所描述的发明方面可实现为在包括例如计算机和汽车导航系统等的任意成像装置或系统中执行低功率、测距和3D成像。
贯穿本说明书，对“一个实施例”或“实施例”的引用意味着结合实施例描述的具体的特征、结构或特性包括在本公开的至少一个实施例中。因此，贯穿本说明书，在各种地方出现的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有类似含义的其他短语)不必全部指示相同的实施例。此外，在一个或多个实施例中可以以任意适当的方式组合具体的特征、结构或特性。另外，根据在此讨论的上下文，单数术语可包括其复数形式，复数术语可包括其单数形式。类似地，连字符术语(例如，“三-维”、“预-定义”、“像素-特定”等)可偶尔与其非连字符版本(例如，“三维”、“预定义”、“像素特定”等)交换使用。这样的偶尔交换使用不应被视为彼此不一致。
首先注意，术语“结合”、“操作地结合”、“连接”及其变型、“电连接”等在此可交换地使用，来一般指示以操作方式电气/电子连接的情况。类似地，不管信息信号的类型(模拟或数字)如何，当第一实体将信息信号(是否包含地址、数据或控制信息)电气地发送至第二实体和/或从第二实体电气地接收信息信号(无论通过有线方式或无线方式)时，第一实体被视为与第二实体(或多个第二实体)“通信”。还应注意，在此示出和讨论的各种附图(包括组件图)仅出于说明性的目的，并且未按比例绘制。类似地，各种波形图和时序图仅出于说明性的目的而示出。
除非明确定义为这样，否则如在此使用的术语“第一”、“第二”等用作它们后面的名词的标记，而并不意味着任何类型的排序(例如，空间、时间、逻辑等)。此外，相同的附图标记可以贯穿两个或更多个附图使用，来指示具有相同或类似功能的部件、组件、块、电路、单元或模块。然而，这样的用法仅为了简化说明和易于讨论；其不意味着这样的组件或单元的结构或架构细节在所有实施例中是相同的或这样的共同引用的部件/模块是实现本公开的具体实施例的教导的唯一的方式。
这里观察到，前面提到的3D技术具有很多缺点。例如，距离选通TOF成像器可使用多个激光脉冲来提供照明以及光闸(optical gate)以仅在期望的时段期间允许光到达成像器。距离选通TOF成像器可用于二维(2D)成像中以抑制在特定距离范围之外的任何事物，诸如透过雾观看。然而，选通的TOF成像器可仅提供黑白(B&W)输出并且可能不具有3D成像能力。此外，当前的TOF系统通常在几米到几十米的范围操作，但对于短距离的测量其分辨率会降低，从而使得短距离内的3D成像(诸如，以在雾中或难以看清的条件下为例)几乎是不切实际的。此外，现有的TOF传感器中的像素会易受到环境光的影响。
立体成像方法通常仅利用纹理表面工作。由于需要在对象的立体图像对之间匹配特征并找到对应关系，因此其具有高计算复杂度。这需要高的系统功耗。此外，立体成像需要两个规则的、高位分辨率传感器以及两个镜头，使得整个装配件不适合于诸如以在基于汽车的自主导航系统中为例的空间非常珍贵的地方。此外，立体3D照相机难以透过雾观看并且难以处理运动模糊。
相反，本公开的具体实施例提供用于例如在所有天气条件下在汽车上实现基于TOF的3D成像系统。因此，在诸如以低光、恶劣天气、雾和强环境光等困难条件下，可为驾驶员提供改善的视野。如下面更详细地讨论的，在根据本公开的具体实施例的基于单脉冲的直接TOF系统中，TOF信息通过控制的电荷传送和像素本身内部的基于模拟域的单端差分转换器被添加到接收的信号。因此，本公开使用像素阵列中的每个像素中的多个单光子雪崩二极管(SPAD)连同单个钳位光电二极管(PPD)(或者，另一时间电荷转换器)来提供用于每个像素内直接结合TOF和模拟幅度调制(AM)的单个芯片解决方案。像素中的多个相邻的SPAD的输出之中的时空相关性用于控制PPD的操作，以促使记录TOF值和3D对象的距离。结果，可提供基本上不依赖环境光而能够在短距离“看透”恶劣天气并产生3D图像和2D灰度图像的改善的自主导航系统。
图1示出根据本公开的一个实施例的TOF成像系统15的高度简化的局部布局。如示出的，系统15可包括结合到处理器(或主机)19并且与处理器(或主机)19通信的成像模块17。系统15还可包括结合到处理器19的存储器模块20，以存储诸如以从成像模块17接收的图像数据为例的信息内容。在下文中，贯穿说明书和附图，应注意，当第一术语和第二术语用相同的参考标记表示时，第一术语和第二术语意图为具有相同的含义并指示同一事物。例如，仅作为示例，在下文中，存储器模块20还可被称为模块20和存储器20。在具体实施例中，整个系统15可以被包封在单个集成电路(IC)或芯片中。可选地，模块17、19和20中的每个可以以单独的芯片实现。此外，存储器模块20可包括一个以上的存储器芯片，处理器19也可包括多个处理芯片。无论如何，关于图1中的模块的封装以及如何以单个芯片或使用多个分立的芯片制造或实现模块的封装的细节与目前的讨论不相关，因此，在此不提供这样的细节。
系统15可以是根据本公开的教导被配置为用于2D和3D成像应用的任意电子装置。系统15可以是便携的或非便携的。系统15的便携版本的一些示例可包括诸如以移动装置、蜂窝电话、智能电话、用户设备(UE)、平板电脑、数码相机、膝上型或台式计算机、汽车导航单元、机器对机器(M2M)通信单元、虚拟现实(VR)设备或模块、机器人等为例的流行的消费类电子小配件。另一方面，系统15的非便携版本的一些示例可包括电子游戏室中的游戏机、交互式视频终端、具有自主导航能力的汽车、机器视觉系统、工业机器人、VR设备等。根据本公开的教导提供的3D成像功能可用于很多应用中，诸如在低光或恶劣天气条件下的全天候自主导航和驾驶员辅助的汽车应用、人机界面和游戏应用、以及机器视觉和机器人应用等。
在本公开的具体实施例中，成像模块17可包括投射器模块(或照明单元)22和图像传感器单元24。如下面参照图2更详细地讨论的，在一个实施例中，投射器模块22中的光源可为诸如以近红外(NIR)或短波红外(SWIR)激光器为例的红外(IR)激光器，以使照明不引人注意(unobtrusive)。在其他实施例中，光源可为可见光激光器。图像传感器单元24可包括如图2中示出的并也在下面讨论的像素阵列和辅助处理电路。
在一个实施例中，处理器19可为中央处理器(CPU)，其中，CPU可为通用微处理器。在此讨论中，为便于讨论，术语“处理器”和“CPU”可以可交换地使用。然而，应当理解的是，代替CPU或除了CPU，处理器19可包含任意其他类型的处理器，诸如，微控制器、数字信号处理器(DSP)、图形处理单元(GPU)、专用集成电路(ASIC)处理器等。此外，在一个实施例中，处理器/主机19可包括可在分布式处理环境下操作的一个以上的CPU。处理器19可配置为根据具体的指令集架构(ISA)执行指令并处理数据，所述具体指令集架构为诸如x86指令集架构(32位或64位版本)、ISA或依赖RISC(精简指令集计算机)ISA的MIPS(无互锁流水线级微处理器)指令集架构。在一个实施例中，处理器19可为具有除了CPU功能之外的功能的片上系统(SoC)。
在具体实施例中，存储器模块20可为动态随机存取存储器(DRAM)(诸如，同步DRAM(SDRAM))或基于DRAM的三维堆叠(3DS)存储器模块(诸如，高带宽存储器(HBM)模块或混合存储立方体(HMC)存储器模块)。在其他实施例中，存储器模块20可为固态硬盘(SSD)、非3DSDRAM模块或任意其他基于半导体的存储系统，诸如，静态随机存取存储器(SRAM)、相变随机存取存储器(PRAM或PCRAM)、电阻式随机存取存储器(RRAM或ReRAM)、导电桥RAM(CBRAM)、磁性RAM(MRAM)、自旋转移力矩MRAM(STT-MRAM)等。
图2示出根据本公开的一个实施例的图1中的系统15的示例性的操作布局。系统15可用于获得对3D对象(诸如，3D对象26)的距离测量(并因此，获得3D图像)，所述3D对象可为个体对象或一组其他对象中的一个对象。在一个实施例中，可以基于从图像传感器单元24接收的测量数据通过处理器19来计算距离和3D深度信息。在另一实施例中，可通过图像传感器单元24自身计算距离/深度信息。在具体实施例中，距离信息可被处理器19用作3D用户界面的一部分以使系统15的用户能够与对象的3D图像交互，或将对象的3D图像用作在系统15上运行的游戏或其他应用(如自主导航应用)的一部分。根据本公开的教导的3D成像也可用于其他目的或应用，并且可被应用于基本任何的3D对象，无论静止的或运动中的。
光源(或投射器)模块22可通过投射短脉冲28来对3D对象26进行照明，所述短脉冲28由与相应的虚线31相关联的示例性箭头30来示出，其中，虚线31表示可用于在光学视野(FOV)内投射到3D对象26上的光信号或光学辐射的照明路径。系统15可为(像素阵列的)每个图像帧使用单个脉冲的直接TOF成像器。在特定实施例中，多个短脉冲也可被发送到3D对象26上。在一个实施例中，可为由激光控制器34操作并控制的激光光源33的光学辐射源可用于向3D对象26投射短脉冲28。来自激光源33的脉冲28可在激光控制器34的控制下经由投影光学器件35投射到3D对象26的表面上。投影光学器件35可为聚焦透镜、玻璃/塑料表面、或其他圆柱形光学元件。在图2的实施例中，凸面结构示出为聚焦透镜。然而，可为投影光学器件35选择任何其他合适的透镜设计或外部光罩。
在具体实施例中，光源(或照明光源)33可为二极管激光器或发射可见光的发光二极管(LED)、产生非可见光谱中的光的光源、IR激光器(例如，NIR或SWIR激光器)、点光源、可见光光谱中的单色照明光源(诸如，白灯和单色器的组合)或任意其他类型的激光光源。在自主导航应用中，较不引人注意的NIR或SWIR激光器可优选为脉冲激光光源33。在特定实施例中，光源33可为许多不同类型的激光光源中的一种，诸如，具有2D扫描能力的点光源、具有一维(1D)扫描能力的片光源或与传感器单元24的FOV匹配的散射激光器。在具体实施例中，激光器33可固定在系统15的外壳内的一个位置中，但在X-Y方向上可为可旋转的。激光器33可为X-Y可寻址的(例如，通过激光控制器34)以执行3D对象26的扫描。激光脉冲28可利用镜子(未示出)投射到3D对象26的表面上，或投射可以是完全无镜的。在具体实施例中，光源模块22可包括比图2的示例性实施例中示出的组件多或少的组件。
在图2的实施例中，从对象26反射的光/脉冲37可沿着由箭头39和虚线40指示的收集路径行进。光收集路径可携带当接收到来自激光源33的照明时从对象26的表面反射或者由对象26的表面散射的光子。这里注意的是，使用图2中实箭头和虚线对各种传播路径的描述仅是出于说明性的目的。所述描述不应解释为示出任何实际的光学信号传播路径。实际上，照明和收集信号路径可与图2中示出的路径不同，并且可不如图2中示出的那样清楚地限定。
在TOF成像中，从被照明的对象26接收的光可经由收集光学器件44被聚焦到图像传感器单元24中的2D像素阵列42上。像素阵列42可包括一个或更多个像素43。与投影光学器件35类似，收集光学器件44可为将从对象26接收的反射光集中到2D阵列42中的一个或多个像素43上的聚焦透镜、玻璃/塑料表面、或其他圆柱形光学元件。光学带通滤波器(未示出)可用作收集光学器件44的一部分以仅使具有与照明脉冲28中的光的波长相同的波长的光通过。这可促使抑制非相关光的收集/接收并降低噪声。在图2的实施例中，凸面结构被示出为聚焦透镜44。然而，对于收集光学器件44而言，可以选择任何其他合适的透镜设计或光罩。此外，为了便于说明，在图2中(也在图8中)仅示出了3×3像素阵列。然而，应当理解的是，现代像素阵列包含数千或甚至数百万的像素。
可利用2D像素阵列42和激光光源33的许多不同的组合来执行根据本公开的具体的实施例的基于TOF的3D成像，所述2D像素阵列42和激光光源33的许多不同的组合为：诸如，(i)2D颜色(RGB)传感器与可见光激光源，其中激光源可为红色(R)、绿色(G)或蓝色(B)光激光器，或产生这些光的组合的激光源；(ii)可见光激光器与2D RGB颜色传感器，所述2DRGB颜色传感器具有红外(IR)截止滤波器；(iii)NIR或SWIR激光器与2D IR传感器；(iv)NIR激光器与2D NIR传感器；(v)NIR激光器与2D RGB传感器(没有IR截止滤波器)；(vi)NIR激光器与2D RGB传感器(没有NIR截止滤波器)；(vii)2D RGB-IR传感器与可见光或IR激光器；(viii)2D RGBW(红色、绿色、蓝色、白色)或RWB(红色、白色、蓝色)传感器与可见光激光器或NIR激光器等。在例如在自主导航应用中的NIR或其他IR激光器的情况下，2D像素阵列42可提供输出以生成对象26的灰度图像。如在下面更详细地讨论的，也可处理这些像素输出以获得距离测量，并因此生成对象26的3D图像。之后参照图8讨论图像传感器单元24的另外的架构细节，而之后参照图3至图4和图9示出并讨论个体像素43的示例性电路细节。
像素阵列42可将接收的光子转换为对应的电信号，之后所述电信号被相关的图像处理单元46处理以确定对象26的距离和3D深度图像。在一个实施例中，图像处理单元46和/或处理器19可执行距离测量。图像处理单元46也可包括用于控制像素阵列42的操作的相关电路。在图8中示出了示例性图像处理和控制电路，稍后在下面讨论。这里注意的是，照明单元22和像素阵列42两者都可必须被高速信号控制并被同步。这些信号必须是非常精确的以获得高分辨率。因此，处理器19和图像处理单元46可被配置为提供具有精确时序和高精度的相关信号。
在图2的实施例中的TOF系统15中，像素阵列处理电路46可从每个像素43接收一对像素-特定输出，以测量光从照明单元22行进到对象26并返回像素阵列42所需要的像素-特定时间(像素-特定TOF值)。时序计算可使用下面讨论的方法。基于计算的TOF值，在特定实施例中，在图像传感器单元24中可通过图像处理单元46直接计算到对象26的像素-特定距离，以使处理器19能够在一些界面(诸如，显示器屏幕或用户界面)上提供对象26的3D距离图像。
处理器19可控制投射器模块22和图像传感器单元24的操作。根据用户输入或自动地(例如，在实时自主导航应用中)，处理器19可将激光脉冲28重复地发送到周围的3D对象(多个3D对象)26上并触发传感器单元24以接收和处理进入的光信号37。从图像处理单元46接收的处理的图像数据可通过处理器19存储在存储器20中以用于基于TOF的距离计算和3D图像生成(若适用)。处理器19还可在装置15的显示屏(未示出)上显示2D图像(例如，灰度图像)和/或3D图像。处理器19可在软件或固件中编程以执行在此描述的各种处理任务。可选地或额外地，处理器19可包括用于执行其功能中的一些或全部的可编程硬件逻辑电路。在具体实施例中，存储器20可存储程序代码、查找表和/或临时计算结果以使处理器19能够执行其功能。
图3示出根据本公开的具体实施例的像素(诸如，图2的像素阵列42中的像素43)的示例性框图。针对TOF测量，像素43可作为时间分辨传感器进行操作。稍后参照图4至图6以及图9至图10的讨论来提供像素43的操作的详细说明。如图3所示，像素43可包括电连接到PPD内核部52的SPAD内核部50。在图11A至图11C中示出根据本公开的教导的像素中的SPAD内核和PPD内核的不同示例性布置，稍后将在下面对此进行讨论。SPAD内核部50可包括可操作地连接到第一控制电路55的多个(两个或更多个)SPAD 54。SPAD 54中的一个或多个可接收由箭头56示出的进入的光，并产生相应的SPAD-特定电信号，其中，SPAD-特定电信号由第一控制电路55处理以产生SPAD-特定数字输出。在图3中使用箭头57共同和象征性地示出全部这样的数字输出。PPD内核52可包括连接到PPD 59的第二控制电路58。第二控制电路58可接收SPAD输出57并响应地控制从PPD 59传送的电荷，以产生像素-特定模拟输出(PIXOUT)60。更具体地讲，如下面更详细讨论的，仅当像素43中的两个或多个邻近的SPAD 54在预定义的时间间隔内检测到进入的光56中的反射的光子时，来自PPD 59的传送电荷被第二控制电路58停止，以促使TOF值和3D对象26的相应距离的记录。换言之，至少两个邻近的SPAD 54的输出之中的时空相关性被用于确定PPD 59的操作。此外，在像素43中，光感测功能由SPAD54执行，而PPD 59被用作时间电荷转换器而非用作光感测元件。因为与不相关的环境光子相比，反射的光子(返回的光脉冲37的反射的光子)与发送的脉冲28相关，所以基于在预定义的时间间隔内的两个或更多个邻近SPAD的“触发”的来自PPD 59的电荷传送的控制通过抑制环境光子来在强的环境光下提供改善的传感器24的性能，从而基本上防止测距错误。此外，在一个示例中，多个SPAD54中的每个SPAD、第一控制电路55、PPD 59和第二控制电路58包括互补金属氧化物半导体(CMOS)部。
图4描绘根据本公开的特定实施例的像素62的示例性电路细节。图4中的像素62是图2至图3中的更一般化的像素43的示例。因此，为便于类比，在图3至图4中，相同的参考标记被用于SPAD内核50、SPAD输出57、PPD 59和第二控制电路58。电子快门信号64可被提供给每个像素(如稍后参照图5至图6和图10中的时序图更详细讨论的那样)，以确保像素以时间相关的方式捕获接收的光37中的像素-特定光电子。更一般地，像素62可被考虑为具有电荷传送触发部、电荷生成和传送部以及电荷收集和输出部。电荷传送触发部可包括SPAD内核50和逻辑单元66；电荷生成和传送部可包括PPD 59、第一N沟道金属氧化物半导体场效应晶体管(NMOSFET或NMOS晶体管)68、第二NMOS晶体管69和第三NMOS晶体管71；电荷收集和输出部可包括第三NMOS晶体管71、第四NMOS晶体管72和第五NMOS晶体管73。这里注意，在一些实施例中，图4中的像素62中的PPD内核以及图9中的像素145中的PPD内核(稍后讨论)可由P沟道金属氧化物半导体场效应晶体管(PMOSFET或PMOS晶体管)或其他不同类型的晶体管或者电荷传送装置形成。此外，上面提到的将各种电路组件分离成各个部分仅是出于示出和讨论目的。在特定实施例中，这样的部分可包括多于或少于这里所列的电路组件的电路组件或者与这里所列的电路组件不同的电路组件。
PPD 59可与电容器类似地存储模拟电荷。在一个实施例中，PPD 59可被覆盖，并不对光做出响应。因此，PPD 59可被用作时间电荷转换器而非用作光感测元件。然而，如前所述，光感测功能可通过SPAD内核50中的SPAD来完成。在特定实施例中，光电门或其他半导体装置(具有适当修改)可替代图4和图9中的像素配置中的PPD使用。
在电子快门信号64的可操作的控制下，电荷传送触发部可生成用于触发存储在PPD 59中的电荷的传送的传送使能(TXEN)信号75。SPAD可检测被发送和从对象(诸如，图2中的对象26)反射的光脉冲中的光子(可被称为“光子检测事件”)，并输出脉冲信号，其中，脉冲信号可在快门信号64的操作的控制下被锁存，以供逻辑单元66后续处理。如稍后更详细地讨论的，逻辑单元66可包括用于当数字SPAD输出57在预定义的时间间隔内(例如，在快门64激活时)从至少两个邻近的SPAD被接收到时处理全部输出57以生成TXEN信号75的逻辑电路。
在电荷生成和传送部中，PPD 59可使用重置(RST)信号77连同第三晶体管71被初始设置为它的满阱容量(full well capacity)。第一晶体管68可在它的漏极端子接收传送电压(VTX)信号79，并在它的栅极端子接收TXEN信号75。TX信号80可在第一晶体管68的源极端子可用，并被施加到第二晶体管69的栅极端子。如示出的，第一晶体管68的源极端子可连接到第二晶体管69的栅极端子。如下面稍后讨论的，VTX信号79(或，等效地，TX信号80)可被用作用于控制将从PPD 59传送的模拟电荷的模拟调制信号，其中，PPD 59可在示出的配置中连接到晶体管69的源极端子。第二晶体管69可将PPD 59上的电荷从它的源极端子传送到它的漏极端子，其中，第二晶体管69的漏极端子可连接到第四晶体管72的栅极端子，并形成被称为浮置扩散(FD)节点/结点82的电荷“收集地”。在具体实施例中，从PPD 59传送的电荷可依赖于由模拟调制信号79(或，等效地，TX信号80)提供的调制。在图4和图9中的实施例中，传送的电荷是电子。然而，本公开不限于此。在一个实施例中，具有不同设计的PPD可被使用，其中，传送的电荷可以是空穴(hole)。
在电荷收集和输出部中，第三晶体管71可在它的栅极端子接收RST信号77，并在它的漏极端子接收像素电压(VPIX)信号84。第三晶体管71的源极端子可连接到FD节点82。在一个实施例中，VPIX信号84的电压电平可等于通用电源电压VDD的电压电平，并可在2.5V(伏特)至3V的范围内。第四晶体管72的漏极端子也可如所示地接收VPIX信号84。在具体实施例中，第四晶体管72可作为NMOS源极跟随器进行操作，来用作缓冲放大器。第四晶体管72的源极端子可连接到第五晶体管73的漏极端子，其中，第五晶体管73可与源极跟随器72共源共栅，并在它的栅极端子接收选择(SEL)信号85。从PPD 59传送并在FD节点82“收集”的电荷可在第五晶体管73的源极端子作为像素-特定输出PIXOUT 60出现。
简洁地，如前所述，从PPD 59传送到FD 82的电荷通过VTX信号79(并因此，TX信号80)来控制。到达FD节点82的电荷的量通过TX信号80来调制。在一个实施例中，电压VTX 79(还有TX 80)可被斜坡化(ramped)以将电荷从PPD 59逐渐传送到FD 82。因此，传送的电荷的量可以是模拟调制电压TX 80的函数，TX电压80的斜坡化是时间的函数。因此，从PPD 59传送到FD节点82的电荷也是时间的函数。如果，在从PPD 59到FD 82的电荷的传送期间，第二晶体管69由于在针对SPAD内核50中的至少两个邻近的SPAD的光检测事件时由于逻辑单元66产生TXEN信号75而被关闭(例如，变成开路)，则从PPD 59到FD 82的电荷的传送停止。因此，传送到FD 82的电荷的量和PPD 59中剩余的电荷的量均是进入的光子的TOF的函数。结果是时间电荷转换和单端差分信号转换。PPD 59因此作为时间电荷转换器进行操作。传送到FD节点82的电荷越多，FD节点82上的电压降低越多并且PPD 59上的电压增加越多。
在浮置扩散82的电压可稍后作为Pixout信号60而使用晶体管73被传送到模数转换器(ADC)单元(未示出)，并被转换成合适的数字信号/值，以供后续处理。下面将参照图6的讨论来提供图4中的各种信号的时序和操作的更多细节。在图4的实施例中，第五晶体管73可接收用于选择像素62的SEL信号85，以在传送电荷被完全传送到FD节点82之后将浮置扩散(FD)82中的电荷读出作为PIXOUT1(或像素输出1)电压并将PPD 59中的剩余电荷读出作为PIXOUT2(或像素输出2)电压，其中，如稍后参照图6所讨论的，FD节点82将它上面的电荷转换成电压，像素输出数据(PIXOUT)60顺序地输出PIXOUT1和PIXOUT2信号。在另一实施例中，PIXOUT1信号或PIXOUT2信号(而非二者)可被读出。
在一个实施例中，一个像素输出(例如，PIXOUT1)与两个像素输出之和(这里，PIXOUT1+PIXOUT2)的比率可与“Ttof”和“Tdly”的值的时间差成比例，其中，在例如图6中示出并且稍后在下面更详细地讨论“Ttof”和“Tdly”值。在像素62的情况下，例如，“Ttof”参数可以是由SPAD内核50中的两个或更多个SPAD接收的光信号的像素-特定TOF值，延迟时间参数“Tdly”可以是从光信号28被最初发送直到VTX信号79开始斜坡化时的时间。当光脉冲28在VTX 79开始斜坡化之后被发送(这一般可在电子快门64被“打开”时发生)时，延迟时间(Tdly)可以是负的。上面提到的比例关系可由下面的公式表示：
然而，本公开不限于此公式(1)中呈现的关系。如下面讨论的，公式(1)中的比率可用于计算3D对象的深度或距离，并且当Pixout1+Pixout2不总是相同时对像素到像素变化较不敏感。
为了便于引用，在下面的讨论中，术语“P1”可用于表示“Pixout1”，术语“P2”可用于表示“Pixout2”。从公式(1)中的关系看出：像素-特定TOF值可被确定为像素-特定输出值P1与P2的比率。在特定实施例中，一旦像素-特定TOF值被这样确定，到对象(诸如，图2中的3D对象26)或对象上的特定位置的像素-特定距离(“D”)或距离(“R”)可通过如下等式给出：
其中，参数“c”表示光速。可选地，例如，在调制信号(诸如图4中的VTX信号79(或TX信号80))在快门窗口内是线性的一些其他实施例中，测距/距离可被计算为：
因此，可基于如上给出地确定的像素-特定距离值通过TOF系统15来生成对象(诸如，对象26)的3D图像。
就本公开的基于模拟调制的对像素本身内的PPD电荷分布的操纵或控制而言，距离测量和分辨率也是可控的。PPD电荷的像素级模拟幅度调制可与电子快门一起工作，其中，电子快门可以是例如互补金属氧化物半导体(CMOS)图像传感器中的卷帘快门，或者例如电荷耦合器件(CCD)图像传感器中的全局快门。此外，虽然这里的公开主要在类似图1至图2中的系统15的单脉冲TOF成像系统的上下文中被提供，但是这里讨论的像素级内部模拟调制方法的原理可在适当修改(如果需要)下被实现在也具有像素43(图3)的非TOF系统或连续波调制TOF成像系统中。
图5是根据本公开的一个实施例的提供图4的像素62中的调制的电荷传送机制的概述的示例性时序图88。图5中(同样在图6和图10中)示出的波形在本质上被简化，并仅出于示出的目的；实际波形可根据电路实施方式而在时序以及形状上不同。为了易于比较，图4与图5之间共有的信号使用相同的参考标记来标识。这些信号包括VPIX信号84、RST信号77、电子快门信号64和VTX调制信号79。还在图5中示出两个另外的波形90、92，以分别示出在调制信号79在电荷传送期间被施加时的PPD 59中的电荷的状态以及FD 82中的电荷的状态。在图5的实施例中，VPIX 84可以以低逻辑电压(例如，逻辑0或0伏特)开始以初始化像素62，并在像素62的操作期间切换到高逻辑电压(例如，逻辑1或3伏特(3V))。RST 77可在像素62的初始化期间以高逻辑电压脉冲(例如，从逻辑0到逻辑1再返回逻辑0的脉冲)开始，以将PPD 59中的电荷设置为它的满阱容量并将FD 82中的电荷设置为0库伦(0C)。FD 82的重置电压电平可以是逻辑1电平。在距离(TOF)测量操作期间，FD 82从PPD 59接收的电子越多，FD 82上的电压变得越低。快门信号64可在像素62的初始化期间以低逻辑电压(例如，逻辑0或0V)开始，在与在像素62的操作期间的最小测量距离对应的时间切换到逻辑1电平(例如，3伏特)以确保SPAD内核50中的SPAD 54检测返回的光脉冲37中的光子，然后在与最大测量距离对应的时间切换到逻辑0电平(例如，0V)。因此，快门信号64的逻辑1电平的持续期间可提供预定义的时间间隔/窗口，使得在该时间间隔期间从邻近的SPAD接收的输出具有空间和时间相关性。PPD 59中的电荷在初始化期间以完全充电开始，并随着VTX 79从0V斜坡化到更高电压而优选地以线性方式减少。在图5中，通过具有参考标记“90”的波形示出在模拟调制信号79的控制下的PPD电荷水平。PPD电荷减少可以是VTX斜坡化多久的函数，其中，VTX斜坡化多久造成特定量的电荷从PPD 59传送到FD 82。因此，如通过图5中的具有参考标记“92”的波形所示，FD 82中的电荷以低电荷(例如，0C)开始，并随着VTX 79从0V斜坡化到更高电压而增加，这部分地将特定量的电荷从PPD 59传送到FD 82。这个电荷传送是VTX 79斜坡化多久的函数。
如前所述，从传送到浮置扩散节点82的PPD电荷得到像素-特定输出(PIXOUT)60。因此，Pixout信号60可被认为是通过模拟调制电压VTX 79(或，等效地，TX电压80)随时间调制的幅度。以这种方式，使用调制信号VTX 79(或，等效地，TX信号80)通过像素-特定输出60的幅度调制(AM)来提供TOF信息。在具体实施例中，用于生成VTX信号79的调制函数可以是单调的。在图5、图6和图10的示例性实施例中，模拟调制信号可使用斜坡函数来生成，因此，它们被示出为具有斜坡型波形。然而，在其他实施例中，不同类型的模拟波形/函数可被用作调制信号。
图6是根据本公开的特定实施例的示出当图4的实施例中的像素62被用在用于测量TOF值的像素阵列(诸如，图2和图8中的像素阵列42)中时的图1至图2的系统15中的不同信号的示例性时序的时序图。为了一致和便于讨论，使用相同的参考标记来在图6中标识在图2和图4的实施例中示出的各种信号(诸如，发送的脉冲28、VPIX输入84、TXEN输入75等)。在讨论图6之前，注意：在图6的上下文中(也在图10的情况下)，如参考标记“97”所示，参数“Tdly”表示投射脉冲28的上升沿与VTX信号79开始斜坡化的时间之间的时间延迟；如参考标记“98”所示，参数“Ttof”表示通过投射脉冲28的上升沿与返回脉冲37之间的延迟测量的像素-特定TOF值；如参考标记“99”所示并通过快门信号64的有效(assertion)(例如，逻辑1或“打开(on)”)和失效(或去激活)(例如，逻辑0或“闭合(off)”)给出，参数“Tsh”表示电子快门的“打开”与“闭合”之间的时间段。因此，电子快门64被认为在时间段“Tsh”期间是“激活的”，其中，“Tsh”也使用参考标记“100”来标识。在一些实施例中，延迟“Tdly”可被预确定和固定，而不管操作条件。在其他实施例中，延迟“Tdly”可根据例如外部天气条件而在运行时间可调。这里注意，“高”或“低”信号电平涉及像素62的设计。基于例如使用的晶体管或其他电路组件的类型，图6中示出的信号极性或偏移水平在其他类型的像素设计中可不同。
如前所述，图6中(也在图10中)示出的波形实质上是简化的并且仅出于示出的目的；实际的波形可根据电路实施方式而在时序和形状上不同。如图6中所示，返回脉冲37可为投射脉冲28的时间上的延迟版本。在具体实施例中，投射脉冲28可具有非常短的持续时间，诸如，在5至10纳秒(ns)的范围中。可使用像素62中的两个或更多个SPAD来感测返回脉冲37。电子快门信号64可使SPAD能够捕获接收的光37中的像素-特定光子。快门信号64可具有相对于投射脉冲28的门延迟(gated delay)以避免光散射到达像素阵列42。例如，由于恶劣的天气可能出现投射脉冲28的光散射。
除各种外部信号(例如，VPIX 84、RST 77等)和内部信号(例如，TX 80、TXEN 75和FD电压82)之外，图6中的时序图95还标识下面的事件或时间段：(i)当RST、VTX、TXEN和TX信号为高而VPIX和快门信号为低时的PPD预设事件101；(ii)从TX为低到RST从高变到低的第一FD重置事件103；(iii)延迟时间(Tdly)97；(iv)飞行时间(Ttof)98；(v)电子快门“打开”或“激活”时间段(Tsh)99；(vi)在RST第二次为逻辑1的持续时间内的第二FD重置事件105。图6还示出：何时电子快门最初“关闭”或“闭合”(由参考标记“107”指示)；何时电子快门“开启”或“打开”(由参考标记“100”指示)；何时最初传送到FD节点82的电荷通过PIXOUT 60被读出(由参考标记“109”指示)；何时FD电压在箭头105第二次被重置；何时PPD 59中的剩余电荷在事件110被传送到FD 82并再次被读出(例如，作为到PIXOUT 60的输出)。在一个实施例中，快门“打开”时间段(Tsh)可小于或等于VTX 79的斜坡化时间。
参照图6，在图4中的像素62的情况下，PPD 59可在初始化阶段(例如，PPD预设事件101)被填充有到它的满阱容量的电荷。如示出的，在PPD预设事件101期间，RST、VTX、TXEN和TX信号可为高，而VPIX和快门可为低。然后，VTX信号79(并，因此，TX信号80)可变低以关闭第二晶体管69，VPIX信号84可变高以从“完全充电的”PPD 59开始电荷传送。在具体实施例中，像素阵列42中的一行像素中的全部像素可一次被一起选择，选择的行中的全部像素中的PPD可使用RST信号77来一起重置。选择的行的像素中的每个像素可被单独读取，模拟pixout信号可通过相应的列ADC单元(未示出)被转换为数字值。这里注意，在一个实施例中，对于未选择的行的像素，RST可保持高或“打开”以防止闪光。
在图6中示出的实施例中，如示出的，除TXEN信号75之外的所有信号以逻辑0或“低”电平开始。最初，如上面提到的，当RST、VTX、TXEN和TX变到逻辑1电平，并且VPIX保持低时，PPD 59被预设。之后，当VTX和TX变到逻辑0，VPIX变到高(或逻辑1)，而RST为逻辑1时，FD节点82被重置。为了便于讨论，相同的参考标记“82”被用于表示图4中的FD节点和图6的时序图中的相关联的电压波形。在FD被重置为高(例如，电荷域中的0C)之后，当TXEN为逻辑1时，VTX被斜坡化。飞行时间(Ttof)持续时间98是从脉冲光28被发送时到返回的光37被接收，并且也是电荷从PPD 59部分地传送到FD 82期间的时间。当快门64是“打开”或“开着”时，VXT输入79(并，因此，TX输入80)可被斜坡化。这可引起PPD 59中的一定量电荷被传送到FD 82，其中，该一定量电荷可以是VTX斜坡化多久的函数。然而，当发送的脉冲28从对象26反射并被像素62的SPAD内核50中的至少两个SPAD接收时，生成的SPAD输出57可由逻辑单元66处理，这可反过来将TXEN信号75降低到静态逻辑0。因此，通过至少两个邻近的SPAD以时间相关的方式(即，当快门为“打开”或“激活”时)的返回的光37的检测可由TXEN信号75的逻辑0电平指示。TXEN输入75的逻辑低电平关闭第一晶体管68和第二晶体管69，这停止电荷从PPD 59传送到FD 82。当快门输入64变到逻辑0，并且SEL输入85(图6中未示出)变到逻辑1时，FD 82中的电荷作为电压PIXOUT1被输出到PIXOUT60上。然后，FD节点82可使用高RST脉冲77再次被重置(如在参考标记“105”所示)。之后，当TXEN信号75变到逻辑1时，PPD 59中的剩余电荷基本上被完全传送到FD节点82，并作为电压PIXOUT2输出到PIXOUT60上。如更早提到的，PIXOUT1和PIXOUT2信号可通过合适的ADC单元(未示出)被转换成相应的数字值P1和P2。在特定实施例中，这些P1和P2值可被用在等式(2)或等式(3)中，以确定像素62与3D对象26之间的像素-特定距离。
在一个实施例中，逻辑单元66可包括逻辑电路(未示出)，其中，逻辑电路基于G()函数(下面稍后参照图12示出和讨论)产生输出，然后对该输出和内部生成的信号(诸如，与图10中示出的TXRMD信号207类似的信号)进行逻辑或运算，以获得最终TXEN信号75。这样的内部生成的信号可在电子快门为“打开”时保持低，但可被激活为“高”，使得TXEN信号75变到逻辑1以促使PPD中的剩余电荷的传送(在图6中的事件110)。在一些实施例中，TXRMD信号或类似信号可被外部提供。
图7描绘根据本公开的一个实施例的示出可如何在图1至图2的系统15中确定TOF值的示例性流程图115。可通过系统15中的单个模块或者模块或系统组件的组合执行图7中示出的各个步骤。在这里的讨论中，仅通过示例的方式，特定任务被描述为被特定模块或系统组件执行。其他模块或系统组件也可被适当地配置以执行这样的任务。如在框177中提到的，首先，系统15(更具体地，投射器模块22)可向3D对象(如图2中的对象26)投射激光脉冲(诸如图2中的脉冲28)。在框118，处理器19(或特定实施例中的像素阵列控制电路46)可将模拟调制信号(诸如，图4中的VTX信号79)施加到像素中的PPD(诸如，图4中的像素62中的PPD 59)。如更早提到的，像素62可以是图2中的像素阵列42中的多个像素43中的任何像素。在框119，阵列控制和处理电路46可基于从模拟调制信号79接收的调制启动存储在PPD 59中的部分模拟电荷的传送。为启动这样的电荷传送，像素控制电路46可将各种外部信号(诸如，快门信号64、VPIX信号84和RST信号77)以图6的示例性时序图中示出的逻辑电平提供给像素62。在框120，可使用像素62中的多个SPAD检测返回脉冲(诸如，返回脉冲37)。如更早提到的，返回脉冲37是从3D对象26反射的投射脉冲28，像素62中的每个SPAD(SPAD内核50中的每个SPAD)是可操作的，以将从返回脉冲接收的亮度转换成相应的(SPAD-特定)电信号。
针对每个SPAD接收的亮度，像素62中的SPAD内核50中的第一控制电路55可处理相应的(SPAD-特定)电信号，以从中产生特定数字输出(框121)。全部这样的SPAD-特定数字输出共同由图3至图4中的具有参考标记“57”的箭头表示。如参照图6的讨论所述，逻辑单元66可处理输出57，并且只要输出是时间和空间相关的就可将TXEN信号75置于逻辑0(低)状态。TXEN信号75的逻辑0电平关闭像素62中的第一晶体管68和第二晶体管69，这停止电荷从PPD59传送到FD 82。因此，在框122，一旦在预定义的时间间隔(诸如，在图6中的快门(打开)时间段100内)生成至少两个SPAD-特定数字输出，第二控制电路58就可终止更早开始的部分模拟电荷的传送(在框119)。
如更早参照图6讨论的，传送到FD节点82(直到在框122传送终止)的部分电荷可作为Pixout1信号被读出，并被转换成合适的数字值“P1”，其中，如之前概述的，数字值“P1”可与随后(针对Pixout2信号)生成的数字值“P2”一起使用以从比率P1/(P1+P2)获得TOF信息。因此，如在框123所述，系统15中的像素控制单元46或处理器19可基于(在框122)终止时传送的部分模拟电荷确定返回脉冲37的TOF值。
图8是根据本公开的一个实施例的图像传感器单元(诸如，图1至图2中的图像传感器单元24)的部分的示例性布局。图8中示出的图像传感器单元24的一部分可与为捕获返回光并为后续TOF值(来自上面等式(1)的TOF值)的计算产生P1和P2值以及(如果需要的话)生成远处对象26的3D图像而提供必要的信号相关。如在图2中的情况，仅为便于说明，图8中的图像传感器单元24中的像素阵列42被示出为具有布置为3×3阵列的九个像素；实际上，像素阵列可包含在多个行和列中的成千上万或数百万像素。在具体实施例中，像素阵列42中的每个像素可具有相同的配置，因此，如图8所示，每个像素使用相同的附图标记“43”表示。在图8的实施例中，2D像素阵列42可为互补金属氧化物半导体(CMOS)阵列，其中，CMOS阵列阵列中的每个像素43可为图9中示出的像素145。虽然图8中的布局参照了图9的像素配置，但是应理解，当每个像素43具有图4中示出的配置时，可适当修改图8中的图像传感器单元24。在一些实施例中，像素43可具有与图4和图9中示出的配置不同的配置，图8中的辅助处理单元(诸如，行解码器/驱动器125、列解码器127等)可被适当修改以在期望的像素配置下进行操作。
除了像素阵列42之外，图8的实施例中的图像传感器单元24也可包括行解码器/驱动器125、列解码器127和像素列单元128，其中，像素列单元128包括用于在2D和3D成像期间使用的相关双采样(CDS)和列特定模数转换器(ADC)的电路。在一个实施例中，像素中的每列可具有一个ADC。在具体实施例中，处理单元125、127和128可为图2中示出的像素阵列控制单元46的一部分。在图8的实施例中，行解码器/驱动器125示出为向一行像素中的每个像素43提供六个(6)不同信号作为输入，以控制像素阵列42中的像素的操作并从而能够生成列-特定pixout(像素输出)信号130-132。图8中的箭头134-136中的每个示出了将用作对相应行中的每个像素43的输入的这些信号的行特定集。这些信号可包括：重置(RST)信号、第二传送(TX2)信号、电子快门(SH)信号、传送电压(VTX)信号、像素电压(VPIX)信号和行选择(SEL)信号。图9示出可如何将这些信号施加到像素。图10示出合并这些信号中的一些信号的示例性时序图。
在一个实施例中，行选择(SEL)信号可被激活以选择像素的适当的行。行解码器/驱动器125可经由行地址/控制输入138从例如处理器19接收针对将被选择的行的地址或控制信息。行解码器/驱动器125可将接收的输入138解码以使其能够使用SEL信号选择适当的行并且也将对应的RST、VTX和其他信号提供至选择的/解码的行。之后参照图9至图10的讨论来提供这些信号(何时施加作为像素输入)的更详细的讨论。在特定实施例中，行驱动器单元125也可从例如处理器19接收控制信号(未示出)，以配置行驱动器125来为在箭头134至136处提到的SEL、RST、VTX、SH和各种其他信号施加合适的电压电平。
像素列单元128可从选择的行中的像素接收PIXOUT信号130-132，并处理这些信号以生成像素特定信号值，可以从所述像素特定信号值获得TOF测量。如图8中的箭头140所示，这些信号值可为之前提到的P1值和P2值。每个列特定ADC单元可处理接收的输入(pixout信号)以生成对应的数字数据输出(P1值/P2值)。下面参照图10提供由像素列单元128中的CDS电路和ADC电路(未示出)提供的CDS操作和ADC操作的更多的细节。在图8的实施例中，列解码器单元127示出为连接到像素列单元128。列解码器127可例如从处理器19接收针对将被选择的列的列地址/控制输入142连同给定的行选择(SEL)信号。列选择可为顺序的，从而允许顺序接收来自由对应的SEL信号选择的行中的每个像素的像素输出。处理器19可提供适当的行地址输入以选择像素的行并且也可将适当的列地址输入提供至列解码器127，以使像素列单元128能够从选择的行中的单独的像素接收输出(pixout)。
图9示出根据本公开的具体实施例的像素145的示例性电路细节。图9中的像素145是图2至图3中的更一般化的像素43的另一示例。因此，为便于类比，在图3和图9中，相同的参考标记被用于PPD内核52、PPD 59和Pixout60。然而，图4和图9中的来自图3的参考标记的使用不意味着图4和图9中的像素配置相同或它们采用相同的电路组件。注意，除具有基于CDS的电荷传送(稍后参照图10讨论)之外，图9中的像素145在设计上基本与图4的像素62类似。因此，为了简洁，这里仅提供图9中的电路配置的简洁描述。
像素145可包括多个SPAD内核(SPAD内核1至SPAD内核N(其中，N≥2，N为整数))作为它的SPAD内核50(图3)的部分。在图9中，两个这样的SPAD内核147-148被示出它们的电路细节。注意：在一些实施例中，类似的电路可被用于图4中的像素62中的SPAD内核。SPAD内核147可包括通过电阻性元件(诸如，电阻器)152接收SPAD操作电压(VSPAD)151的SPAD 150。然而，本公开不限于如示出的电阻器152和SPAD 150的布置。在一个实施例中，电阻器152和SPAD 150的位置可被交换。在像素145中，SPAD 150对光做出响应。当SPAD 150接收光子时，SPAD 150输出电平从VSPAD变到0V再返回VSPAD的脉冲。来自SPAD 150的输出可通过电容器153来滤波，并被施加到反相器154(可用作缓冲器和锁存器的组合)。在一个实施例中，电容器153可被去除。SPAD内核147可包括PMOS晶体管155，其中，PMOS晶体管155在它的栅极端子接收电子快门信号157，而晶体管155的漏极端子连接到电容器(和反相器154的输入)，晶体管155的源极端子可接收电源电压VDD 156(或，在一些实施例中，VPIX电压)。当快门信号157被关闭(例如，逻辑0或“低”电平)时，晶体管155导电，并且反相器154的输出159可保持在固定电压电平(例如，在逻辑“低”或逻辑0状态下)，而不管从SPAD 150接收的任何输出的状态。来自SPAD 150的输出可仅当快门信号157被打开或“激活”时被施加到PPD内核52。当快门为激活(例如，逻辑1电平)时，晶体管155被关闭，并因此，SPAD-生成的输出可(通过耦合电容器163)被发送到反相器154并可作为输出线159上的正脉冲(低到高)出现。
SPAD内核148在电路细节上与SPAD内核147相同，因此，SPAD内核148的操作细节不被提供。如示出的，SPAD内核148可包括内核-特定SPAD 160、电阻性元件162、耦合电容器163、反相器164和PMOS晶体管165，其中，VSPAD电压151通过电阻性元件162被供应给SPAD160，反相器164用于锁存和输出由SPAD 160生成的输出，PMOS晶体管165用于通过快门输入157控制反相器164的操作。反相器164的输出167可被提供给PPD内核52，以供后续处理。在一些实施例中，信号VSPAD 151、VDD 156和快门157可从外部单元(诸如，图8中示出的行解码器/驱动器单元125或图2中的像素控制单元46(或处理器19)中的任何其他模块(未示出))被供应给每个SPAD内核147至148。全部的SPAD内核-特定输出159、167可共同形成使用图3中的参考标记“57”标识的信号。
因此，电子快门信号157确保来自SPAD内核147-148的输出159和167除了由于像素145中的SPAD内核147至148的邻近位置而空间相关之外也时间(或，时间上)相关。图11A至图11C的示例性实施例中示出另外的像素几何形状，下面稍后将对此进行讨论。
与图4中的像素62类似，图9中的像素145也包括PPD 59、逻辑单元170、第一NMOS晶体管172、第二NMOS晶体管173、第三NMOS晶体管174、第四NMOS晶体管175和第五NMOS晶体管176；生成内部输入TXEN 178；接收外部输入RST 180、VTX 182(并，因此，TX信号183)、VPIX185和SEL 186；具有FD节点188；并输出PIXOUT信号60。然而，与图4中的像素62不同，图9中的像素145还生成第二TXEN信号(TXENB)190，其中，第二TXEN信号190可以是TXEN信号178的分量，并可被供应给第六NMOS晶体管192的栅极端子。第六NMOS晶体管192可具有它的连接到晶体管172的源极端子的漏极端子和它的连接到地(GND)电势193的源极端子。TXENB信号190可被用于将GND电提供给TX晶体管173的栅极端子。在没有TXENB信号190的情况下，当TXEN信号178变低时，TX晶体管173的栅极可能浮置，并且来自PPD 59的电荷传送可能不被完全终止。可使用TXENB信号190改善这种情况。此外，像素145还包括存储扩散(StorageDiffusion，DS)电容器195和第七NMOS晶体管197。SD电容器195可连接在晶体管173的漏极端子和晶体管197的源极端子的结点(junction)，并可在该结点“形成”SD节点199。第七NMOS晶体管197可在它的栅极端子接收不同的第二传送信号(TX2)200作为输入。如示出的，晶体管197的漏极可连接到FD节点188。
如参照图8提到的，在一些实施例中，信号RST、VTX、VPIX、TX2和SEL可从外部单元(诸如，图8中示出的行解码器/驱动器单元125)被供应给像素145。此外，在特定实施例中，SD电容器195可以不是额外的电容器，而可仅是SD节点199的结电容器。图3和图9的比较示出，在像素145中，全部的SPAD 150、160等共同形成图3中的SPAD框54；来自每个SPAD内核147、148等的全部非SPAD电路元件共同形成图3中的第一控制电路55；PPD内核52中的全部非PPD电路元件形成图3中的第二控制电路58。
在像素145中，电荷传送触发部可包括SPAD内核147至148(和其他这样的内核)和逻辑单元170；电荷生成和传送部可包括PPD 59、NMOS晶体管172至174、192和197以及SD电容器195；电荷收集和输出部可包括NMOS晶体管174-176。这里注意：各种电路组件被分离成各个部分仅是出于示出和讨论目的。在特定实施例，这样的部分可包括多于或少于这里所列的电路组件的电路组件或者与这里所列的电路组件不同的电路组件。
如前面所提到的，除基于CDS的电荷收集和输出之外，图9中的像素配置基本与图4的像素配置类似。因此，为了简洁，这里不再讨论图4和图9中的实施例之间共有的电路部分和信号(诸如，晶体管172-176和像RST、SEL和VPIX等的相关输入)。应理解：CDS是用于以允许去除不期望的偏移的方式测量电气值(诸如，像素/传感器输出电压(pixout))的降噪技术。在具体实施例中，可在像素列单元128(图8)中采用列特定CDS单元(未示出)以执行相关双采样。在CDS中，像素(诸如图9中的像素145)的输出(或多个输出)可被测量两次：一次在已知的条件下，另一次在未知的条件下。可从在未知条件下测量的值中减去在已知条件下测量的值，以生成与测量的物理量有已知关系的值，这里，PPD电荷表示接收的光的像素特定部分。使用CDS，通过在每个电荷传送结束时从像素的信号电压去除像素的参考电压(诸如，其被重置后的像素电压)，可降低噪声。因此，在CDS中，在像素的电荷作为输出而被传输之前，对重置值/参考值采样，然后从像素的电荷被传输之后的值中“扣除”重置值/参考值。
在图9的实施例中，SD电容器195(或关联的SD节点199)在PPD电荷传送到FD节点188之前存储PPD电荷，从而在任何电荷被传送到FD节点188之前在FD节点188允许适当重置值的建立(和采样)。作为结果，可在像素列单元128(图8)中的列-特定CDS单元(未示出)中处理每个像素-特定输出(Pixout1和Pixout2)，以获得一对像素-特定CDS输出。随后，可通过像素列单元128中的各个列-特定ADC单元(未示出)将像素-特定CDS输出转换成数字值(这里，图8中由箭头140指示的P1和P2值)。图9中的晶体管192和197以及信号TXENB 190和TX2 200提供促使基于CDS的电荷传送所需的辅助电路组件。在一个实施例中，可使用例如作为列-特定ADC单元的部分的相同的一对ADC电路来并行生成P1和P2值。因此，重置电平与pixout1和pixout2信号的相应PPD电荷电平之间的差可通过列并行ADC被转换为数字数值，并作为像素-特定信号值(P1和P2)被输出，以确保基于之前给出的公式(1)的针对像素145的返回脉冲37的像素-特定TOF值的计算。如更早所述，可通过像素阵列处理单元它自己或通过系统15中的处理器19来执行这样的计算。因此，还可使用例如等式(2)或等式(3)确定距3D对象26(图2)的像素-特定距离。针对像素阵列42中的全部行的像素，逐像素电荷收集操作可被重复。基于针对像素阵列42中的像素43的全部像素特定距离或测距值，对象26的3D图像可由例如处理器19生成，并被显示在与系统15关联的合适的显示器或用户界面上。此外，例如，当距离值没有被计算或者当即使距离值可用(通过将P1和P2值简单相加)也期望2D图像时，可生成3D对象26的2D图像。在具体实施例中，例如，当IR激光器被使用时，这样的2D对象可仅仅是灰度图像。
这里看出：图4和图9中示出的像素配置仅是示例性的。其他类型的具有多个SPAD的基于PPD的像素也可被用于实施本公开的教导。这样的像素可包括例如具有单输出(诸如，图4和图9的实施例中的PIXOUT 60)的像素或具有两个输出的像素，其中，在该两个输出中，Pixout1和Pixout2信号可通过像素中的不同输出来输出。
图10是根据本公开的特定实施例的示出当图9的实施例中的像素145被用在用于测量TOF值的像素阵列(诸如，图2和图8中的像素阵列42)中时的图1至图2的系统15中的不同信号的示例性时序的时序图。图10中的时序图205与图6中的时序图95类似，特别是参照VTX、快门、VPIX和TX信号的波形和各种时间间隔或事件(诸如，例如，PPD重置事件、快门“打开”时间段、时间延迟时间段(Tdly)等)的标识。由于对图6中的时序图95的更早的大量讨论，所以为了简洁，仅提供对图10中的时序图205中的区别特征的简洁讨论。
在图10中，为了一致和便于讨论，使用与用于图9中的各种外部供应的信号(这里，VPIX信号185、RST信号180、电子快门信号157、模拟调制信号VTX 182和TX2信号200)以及内部生成的TXEN信号178的参考标记相同的参考标记来标识这些信号。类似地，为了便于讨论，相同的参考标记“188”被用于表示图9中的FD节点和图10中的时序图中的关联的电压波形。传送模式(TXRMD)信号207在图10中被示出，而在图9中或在图6的更早的时序图中没有被示出。在具体实施例中，TXRMD信号207可由逻辑单元170内部生成，或者通过行解码器/驱动器(诸如，图8中的行解码器/驱动器125)被外部供应给逻辑单元170。在一个实施例中，逻辑单元170可包括逻辑电路(未示出)，其中，逻辑电路基于G()函数(下面稍后参照图12示出和讨论)产生输出，然后对该输出和内部生产的信号(诸如，例如，TXRMD信号207)进行逻辑或运算，以获得最终TXEN信号178。如图10所示，在一个实施例中，这样的内部生成的TXRMD信号207可在电子快门为“打开”时保持低，但可之后被激活为“高”，使得TXEN信号178变到逻辑1以促使PPD中的剩余电荷的传送(在图10中的事件208)。
注意：图10中的PPD重置事件209、延迟时间(Tdly)210、TOD时间段(Ttof)211、快门“关闭”间隔212、快门“打开”或“激活”时间段(Tsh)213或214和FD重置事件215与图6中示出的相应事件或时间段类似。因此，为了简洁，不再提供这些参数的另外讨论。如示出的，最初，FD重置事件215导致FD信号188变“高”。在PPD 59被预设为“低”之后，SD节点199被重置为“高”。更具体地，在PPD预设事件209期间，TX信号183可为“高”，TX2信号200可为“高”，RST信号180可为“高”，VPIX信号185可为“低”，以将电子填充到PPD 59并将它预设为零伏特。之后，TX信号183可变“低”，而TX2信号200和RST信号180可短暂保持“高”，这伴随“高”VPIX信号185而可将SD节点199重置为“高”并从SD电容器95移除电子。同时，FD节点188也被重置(跟随FD重置事件215)。在图10中没有示出在SD节点199的电压或SD重置事件。
与图4和图6的实施例相比，在图9至图10的实施例中，当快门157“激活”，VTX信号倾斜上升(如TX波形183所述)时，PPD电荷被幅度调制，并最初(通过SD电容器195)被传送到SD节点199。当通过像素145(图9)中的至少两个SPAD在快门“打开”时间段214期间检测到光子时，TXEN信号178变“低”，并且从PPD 59到SD节点199的初始电荷传送停止。存储在SD节点199的传送的电荷可在第一读出时间段216期间在Pixout 60上(作为Pixout 1输出)被读出。在第一读出时间段216中，RST信号180可在电子快门157被去激活或“关闭”之后被短暂激活“高”，以重置FD节点188。之后，TX2信号200可被脉冲化为“高”，以在TX2为“高”时将电荷从SD节点199传送到FD节点188。FD电压波形189示出这个电荷传送操作。传送的电荷然后可使用SEL信号186(图10中未示出)经由Pixout60在第一读出时间段216期间被读出(作为Pixout1电压)。
在第一读出间隔216期间，在初始电荷从SD节点被传送到FD节点并且TX2信号200返回逻辑“低”电平时，TXRMD信号207可被激活(脉冲化)为“高”，以在TXEN输入178上生成“高”脉冲，其中，该“高”脉冲反过来可在TX输入183上生成“高”脉冲，以允许PPD 59中的剩余电荷(通过SD电容器195)传送到SD节点199(如图10中的参考标记“208”所指示)。之后，当RST信号180被短暂激活为“高”时，FD节点188可被再次重置。第二RST高脉冲可定义第二读出时间段218，其中，在第二读出时间段218中，TX2信号200可再次被脉冲化为“高”，以在TX2为“高”时将PPD的剩余电荷(在事件208)从SD节点199传送到FD节点188。FD电压波形188示出这个第二电荷传送操作。传送的剩余电荷然后可使用SEL信号186(图10中未示出)经由Pixout60在第二读出时间段218期间被读出(作为Pixout2电压)。如更早提到的，PIXOUT1和PIXOUT2信号可通过合适的ADC单元(未示出)被转换为相应的数字值P1和P2。在特定实施例中，这些P1和P2值可被用在上面的等式(2)或等式(3)，以确定像素145与3D对象26之间的像素-特定距离。如更早参照图9的讨论所讨论的，图10中示出的基于SD的电荷传送允许生成一对像素-特定CDS输出。同样如之前所提到的，基于CDS的信号处理提供额外的降噪。
图11A至图11C示出根据本公开的具体实施例的像素阵列架构的三个示例。图11A至图11C中示出的任何像素阵列架构可被用于实现图2中的像素阵列42。在图11A中，示出了示例性2×2像素阵列220，其中，在2×2像素阵列220中，每个像素222至225(在一些实施例中可表示图3中的像素43)包括一个像素-特定PPD内核和四个像素-特定SPAD内核。为了简化附图，这样的PPD和SPAD内核仅针对像素222被标识，其中，PPD内核使用参考标记“227”来标识，SPAD内核通过参考标记“228”至“231”来标识。图11A中示出的架构可由于具有给定大小的半导体裸片上每个像素占据的物理空间而被认为是低(空间)分辨率架构。作为结果，与图11B中的架构相比，数量减少的像素可形成在裸片上的像素阵列中，其中，图11B中的架构示出具有示例性3×3像素阵列223的高分辨率架构。在图11B中的高分辨率架构中，一个SPAD内核被四个(2×2)邻近的PPD内核共享。例如，在图11B中，SPAD内核235被示出为被邻近的像素237、238、239和240(在一些实施例中，每个像素可表示图3中的像素43)的PPD内核共享。再次，为了简化附图，图11B中的像素阵列233中的其他组件没有使用参考标记来标识。从图11B中的像素阵列233看出：四个邻近像素之中的SPAD的共享造成像素中的PPD与和该像素关联的SPAD之间的1:1的有效比。这样的共享可扩展到3×3共享(如图11C所示)或更多。由于当每个SPAD在裸片上的相邻像素之间被共享时，更多像素可形成在像素阵列中，所以图11B中的SPAD-共享配置造成像素阵列的高(空间)分辨率架构，从而释放裸片上的更多空间以容纳更多像素。此外，由于图11B中的阵列233中的像素在2×2配置下具有与四个SPAD内核关联的单个PPD内核，所以多达四(4)个入射光子可被每个像素检测(每个SPAD一个光子)。
注意：图11A和图11B示出在单个裸片中实现PPD和SPAD(即，SPAD和PPD在裸片的同一级上)的配置。相比之下，图11C示出示例性4×4像素阵列244，在示例性4×4像素阵列244中，在堆叠的裸片中实现像素(例如，SPAD内核在上裸片中，PPD内核(和读出电路)在下裸片中)。因此，PPD和SPAD可在可被堆叠的两个不同的裸片上，并且这些裸片上的电路元件(PPD、SPAD、晶体管等)可通过线和金属凸块电连接。与图11B中的实施例类似，图11C中的像素配置224也可提供高分辨率架构，其中，在该高分辨率架构中，单个SPAD内核可被九(3×3)个邻近的PPD内核共享。等同地，如图11C所示，单个PPD内核(诸如，PPD内核246)可与九(9)个SPAD内核(诸如，SPAD内核248至256)关联，以形成单个像素。这些SPAD内核248至256也可被其他像素共享。为了简化附图，其他像素、它们的PPD内核、关联的SPAD内核在图11C中没有使用参考标记来标识。此外，由于图11C中的阵列244中的像素在3×3配置下具有与九个SPAD内核关联的单个PPD内核，所以多达九(9)个入射光子可被每个像素检测(每个SPAD一个光子)。
图12示出根据本公开的具体实施例的可如何在像素(诸如，像素62(图4)或像素145(图9))中实现逻辑单元(诸如，逻辑单元66(图4)或逻辑单元170(图9))。图12示出具有与图11B中示出的配置类似的2×2配置下的与四个SPAD内核263-266关联的PPD内核262的像素260(可表示像素62或145中的任何一个)的高度简化图。因此，四个SPAD的可用性允许检测多达四个(4)入射光子(入射光子时间和空间关联)(每个SPAD一个光子)。在具体实施例中，像素260中的逻辑单元(未示出)可包括实现图12中示出的函数F(x,y)和G(a,b,c,d)的逻辑电路(未示出)。图12中的块267-270示出实现F(x,y)函数的逻辑电路的输入和输出。因此，框267-270可被认为是表示这样的逻辑电路并共同形成像素260的逻辑单元的部分。为便于讨论，这些框被称为“F(x,y)框”。此外，虽然，为了便于示出，框267-270被示出为在PPD内核262外部，但是，应理解：实现框267-270的功能的逻辑电路可为PPD内核262中的逻辑单元(未示出)的部分。
如示出的，每个F(x,y)框267-270可接收两个输入“x”和“y”，两个输入分别来自它的两个关联的SPAD内核中的每个。在图3至图4的上下文中，这样的输入可为来自SPAD内核50的输出信号57的形式。在图9的上下文中，SPAD输出159和167可表示到逻辑单元170中的这样的F(x,y)框的必不可少的“x”和“y”。与双输入F(x,y)框类似，每对SPAD内核可被设计为针对具有与PPD内核关联的多于四个的SPAD内核的像素(诸如，例如，图11C中的像素阵列配置224)。在具体实施例中，F(x,y)框267-270中的全部可通过PPD内核262中的单个F(x,y)单元来合并和实现，其中，PPD内核262包含被配置为对不同对的SPAD输出(如它的“x”和“y”输入)进行操作以实现独自的F(x,y)框267至270的功能的逻辑电路。如前所述，根据本公开的教导的TOF测量基于通过像素中的至少两个SPAD的空间和时间关联的光子的检测。因此，如图12所述，每个F(x,y)框267至270(更具体地，F(x,y)框中的逻辑电路)可被配置为执行下面预定义的操作：(i)用于检测两个或四个入射光子的对它的各个输入“x”和“y”的逻辑与非操作(由(x*y)给出)；(ii)用于检测三个入射光子的对它的各个输入“x”和“y”的逻辑或非操作(由(x+y)给出)。因此，当来自SPAD内核263-266的信号57(图3)指示两个(或四个)SPAD在快门“打开”时间段期间已检测到光子时，实现F(x,y)框267-270的逻辑电路可执行逻辑与非操作。类似地，当来自SPAD内核263-266的信号57指示三个SPAD在快门“打开”时间段期间已检测到光子时，逻辑或非操作可被选择。在图12中的示例性示出中，三个脉冲271-273被示出为表示当三个SPAD内核264-266检测到入射光(诸如，返回脉冲37(图2))时的三个入射光子的检测的情况。
再次参照图12，每个F(x,y)框267-270的输出使用相应的参考字母“a”、“b”、“c”和“d”来示出。PPD内核262中的逻辑单元(未示出)还可包括用于接收和处理这些输出“a”至“d”的另外的逻辑电路(未示出)。逻辑电路可接收这些输出中的全部四个作为其输入，并根据预定义的逻辑函数“G(a,b,c,d)”对他们进行操作。例如，如图12所示，在检测到两(2)个入射光子的情况下，G()函数可对它的输入“a”至“d”中的全部四个执行逻辑与非操作(由(a*b*c*d)给出)。另一方面，在检测到三(3)个或四(4)个入射光子的情况下，G()函数可对它的输入“a”至“d”中的全部四个执行逻辑或非操作(由(a+b+c+d)给出)。在一个实施例中，TXEN信号(诸如，图4中的TXEN信号75或图9中的TXEN信号178)可为实现G()函数的逻辑电路的输出。在另一实施例中，针对G()函数的逻辑电路的输出可与内部生成的信号(诸如，例如，图10中的TXRMD信号207)进行或操作，以获得最终TXEN信号。
总的来说，本公开将像素中的PPD用作时间电荷转换器，其中，时间电荷转换器的基于AM的电荷传送操作由来自像素中的多个邻近的SPAD的输出控制，以确定TOF。当环境光高时，可能存在SPAD被环境光子而不是被反射光子(例如，反射脉冲37中的反射光子)触发的高可能性。对这样的触发的依赖可引起测距误差。因此，在本公开中，仅当在非常短、预定义的时间间隔内(诸如，当电子快门“打开”时)触发两个或更多个SPAD时，才停止PPD电荷传送以记录TOF。作为结果，根据本公开的教导的全天气自动导航系统可在困难驾驶条件(诸如，低光、雾、恶劣天气、强环境光等)为驾驶员提供改善的视野。在一些实施例中，根据本公开的导航系统可具有多达100千勒克斯(100kLux)的高环境光拒绝水平。在具体实施例中，具有较小像素大小的高空间分辨率像素架构可被提供有1:1的SPAD与PPD比例。在一些实施例中，SPAD可被偏压到他们的击穿电压之下，并被用在雪崩光电二极管(APD)中。
图13描绘根据本公开的一个实施例的在图1至图2中的系统15的总体布局。因此，为便于参考和讨论，对于共同的系统组件/单元在图1至图2和图13中使用相同的附图标记。
如之前讨论的，根据本公开的发明方面的成像模块17可包括在图2至图3、图4(或图9)的示例性实施例中示出的期望的硬件以实现2D/3D成像和TOF测量。处理器19可配置为与多个外部装置交互。在一个实施例中，成像模块17可用作为了后续处理而向处理器19提供数据输入(以处理像素输出的形式，诸如，以图8中的P1和P2值为例)的输入装置。处理器19也可从可为系统15的一部分的其他输入装置(未示出)接收输入。这样的输入装置的一些示例包括计算机键盘、触摸板、触摸屏、操纵杆、物理或虚拟“可点击的按钮”和/或计算机鼠标/打印装置。在图13中，处理器19示出为结合到系统存储器20、外围存储单元275、一个或更多个输出装置277和网络接口单元278。在图13中，显示单元示出为输出装置277。在一些实施例中，系统15可包括不止一个示出的装置的实例。系统15的一些示例包括计算机系统(台式或膝上型)、平板计算机、移动装置、蜂窝电话、视频游戏单元或控制台、机器对机器(M2M)通信单元、机器人、汽车、虚拟现实装备、无状态“薄”客户端系统、汽车的行车记录仪或倒车照相机系统、自主导航系统或任何其他类型的计算或数据处理设备。在各种实施例中，图13中示出的全部组件可安装在单个外壳中。因此，系统15可配置为独立系统或呈任何其他合适的形状系数。在一些实施例中，系统15可配置为用户端系统而非服务器系统。在具体实施例中，系统15可包括一个以上处理器(例如，在分布式处理配置中)。当系统15为多处理器系统时，可存在一个以上处理器19的实例或可存在通过其各自的接口(未示出)结合到处理器19的多个处理器。处理器19可为片上系统(SoC)和/或可包括一个以上中央处理器(CPU)。
如之前提到的，系统存储器20可为任意基于半导体的存储系统，诸如，DRAM、SRAM、PRAM、RRAM、CBRAM、MRAM、STT-MRAM等。在一些实施例中，存储器单元20可包括与一个或更多个非3DS存储器模块连接的至少一个3DS存储器模块。非3DS存储器可包括双数据速率或双数据速率2、3或4同步动态随机存取存储器(DDR/DDR2/DDR3/DDR4SDRAM)或DRAM、闪存、各种类型的只读存储器(ROM)等。此外，在一些实施例中，与单一类型的存储器不同，系统存储器20可包括多种不同类型的半导体存储器。在其他实施例中，系统存储器20可为永久数据存储介质。
在各种实施例中，外围存储单元275可包括对磁性的、光学的、磁光或固态存储介质的支持，固态存储介质为诸如硬盘、光盘(诸如紧凑型磁盘(CD)或数字通用光盘(DVD))、非易失性随机存取存储器(RAM)装置等。在一些实施例中，外围存储单元275可包括诸如光盘阵列(其可位于合适的RAID(独立磁盘冗余阵列)结构中)或存储区域网络(SAN)的更复杂的存储装置/系统，外围存储单元275可经由标准外围接口结合至处理器19，所述标准外围接口可为诸如小型计算机系统接口(SCSI)接口、光纤通道接口、(IEEE 1394)接口、基于外围组件接口快速(PCI ExpressTM)标准的接口、基于通用串行总线(USB)协议的接口或其他合适的接口。各种此类存储装置可为永久数据存储介质。
显示单元277可为输出装置的示例。输出装置的其他示例包括图形/显示装置、计算机屏幕、报警系统、CAD/CAM(计算机辅助设计/计算机辅助加工)系统、视频游戏站、智能电话显示屏幕、自主车辆中的安装在仪表板上的显示屏幕或任意其他类型的数据输出装置。在一些实施例中，诸如成像模块17的输入装置和诸如显示单元277的输出装置可经由I/O或外围接口结合到处理器19。
在一个实施例中，网络接口278可与处理器19通信以使系统15能够结合到网络(未示出)。在另一个实施例中，网络接口278可一起不存在。网络接口278可包括任意合适的装置、介质和/或用于将系统15连接至网络(无论有线或无线)的协议内容。在各种实施例中，网络可包括局域网(LAN)、广域网(WAN)、有线或无线以太网、电信网络、卫星链路或其他合适类型的网络。
系统15可包括机载供电单元280以向图13中示出的各种系统组件提供电力。电源单元280可容纳电池或可连接至AC电源插座或车载电源插座。在一个实施例中，电源单元280可将太阳能或其他可再生能源转换为电能。
在一个实施例中，成像模块17可与诸如以通用串行总线2.0或3.0(USB2.0或3.0)接口或之上为例的插入任何个人计算机(PC)或膝上型计算机的高速接口结合。诸如以系统存储器20为例的永久计算机可读数据存储介质或诸如CD/DVD的外围数据存储单元可存储程序代码或软件。如前所述，诸如，以之前参照图1-12讨论的操作为例，处理器19和/或成像模块17中的像素阵列控制单元46(图2)可配置为执行程序代码，从而装置15可有效地执行2D成像(例如，3D对象的灰度图像)、TOF和距离测量、使用像素特定距离/距离值生成对象的3D图像。例如，在特定实施例中，一旦执行程序代码，处理器19和/或控制单元46可适当地配置(或激活)相关的电路组件(诸如图8中的行解码器/驱动器125和像素列单元128)以将诸如快门、RST、VTX、SEL信号等适当的输入信号施加到像素阵列42中的像素43以能够从返回激光脉冲捕获光并随后处理用于TOF和距离测量所需的像素特定P1和P2值的像素输出。程序代码或软件可为专用软件或开源软件，其中，在通过诸如处理器19和/或像素阵列控制单元46的适当的处理实体执行时，程序代码或软件可使处理实体能够处理各种像素-特定ADC输出(P1值和P2值)、确定距离值、以包括例如基于TOF的距离测量显示遥远对象的3D图像的各种形式来渲染结果。在特定实施例中，成像模块17中的像素阵列控制单元46可在像素输出数据被发送至处理器19以进一步处理和显示之前执行一些像素输出的处理。在其他实施例中，处理器19也可执行像素阵列控制单元46的一些或全部功能，在此情况下，像素阵列控制单元46可不是成像模块17的一部分。
在前面的描述中，出于解释和非限制的目的，阐述了具体的细节(诸如具体的架构、波形、接口、技术等)以提供公开的技术的全面理解。然而，对本领域技术人员将明显的是，所公开的技术可在脱离这些具体细节的其他实施例中实施。即，本领域技术人员将能够想出虽然未在这里明确地描述或示出但体现所公开的技术的原理的各种布置方式。在一些实例中，省略了对公知装置、电路和方法的详细描述以不利用不必要的细节模糊所公开的技术的描述。在此所公开的技术的原理、方面和实施例及其特定示例的所有陈述意图涵盖其结构和功能等同物。此外，期望这样的等同物包括当前已知的等同物以及将来开发的等同物两者，诸如，不管结构如何，开发的执行相同功能的任意元件。
因此，例如，本领域技术人员将理解是，这里的框图(例如，在图1至图3中)可代表采用技术的原理的说明性电路或其他功能单元的概念图。类似的，将理解是，图7中的流程图代表可基本由处理器(例如，处理器19和/或图2中的像素阵列控制单元46)以及各种系统组件(诸如，例如，投射器模块22和2D像素阵列42等)执行的各种处理。以示例的方式，这样的处理器可包括通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP内核相关的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。以上在图1至图12的上下文中描述的一些或全部处理功能也可由硬件和/或软件中的这种处理器来提供。
当特定发明方面需要基于软件的处理时，这样的软件或程序代码可以位于计算机可读数据存储介质中。如之前提到的，这样的数据存储介质可为外围存储装置275的一部分，或可为系统存储器20或图像传感器单元24的任意内部存储器(未示出)、或处理器19的内部存储器(未示出)的一部分。在一个实施例中，处理器19和/或像素阵列控制单元46可执行存储在这样介质上的指令以执行基于软件的处理。计算机可读数据存储介质可为包含由通用计算机或上面提到的处理器执行的计算机程序、软件、固件或微码的永久数据存储介质。计算机可读存储介质的示例包括ROM、RAM、数字寄存器、高速缓存存储器、半导体存储装置、磁性媒体(诸如内置硬盘、磁带和可移动磁盘)、磁光媒体、以及诸如CD-ROM磁盘和DVD的光学媒体。
根据本公开的发明方面的成像模块17或包括这样的成像模块的系统15的可替代的实施例可包括负责提供附加功能的附加的组件，所述附加功能包括如上确定的任意功能和/或支持根据本公开的教导的解决方法所必需的任意功能。虽然以上在具体结合中描述了特征和元件，但可在没有其他特征和元件或者在有或没有其他元件的各种组合中单独使用每个特征或元件。如前所述，这里讨论的各种2D和3D成像功能可通过硬件(诸如电路硬件)和/或能够执行以存储在计算机可读数据存储介质(上述)上的编码指令或微码的形式的软件/固件的硬件的使用来提供。因此，这样的功能和示出的功能块可将被理解为硬件实现的和/或计算机实现的，因此为机器实现的。
前面描述了在使用像素阵列中的每个像素中的多个SPAD连同单个PPD而在每个像素内将TOF技术与模拟幅度调制(AM)结合的系统和方法。像素中的PPD和SPAD可被实现在单个裸片中或在堆叠的裸片中。SPAD也可在多个邻近的像素之间被共享。因此，TOF信息通过像素自身内部的基于模拟域的单端差分转换器被添加到接收的光信号。像素中的多个、邻近的SPAD的输出之间的空间-时间关联性被用于控制PPD的操作，以促使记录TOF值和3D对象的距离。由于环境光导致的错误的测距可通过仅当像素中的两个或更多个SPAD在预定义的快门时间间隔内被触发时停止来自PPD的电荷传送(并，因此，记录TOF值)来防止。作为结果，根据本公开的教导使用基于AM的TOF图像传感器的自主导航系统可在诸如以低光、雾、恶劣天气、强环境光等为例的困难的驾驶条件下为驾驶员提供改善的视野。
如本领域技术人员将认识到的，可以在广泛的应用中修改和改变本申请中描述的创新概念。因此，专利主题的范围不应该限于上述任何特定的示例性教导，而是由权利要求来限定。

Claims (20)

1.一种图像传感器中的像素，所述像素包括：
多个单光子雪崩二极管SPAD，其中，每个SPAD操作为将接收的亮度转换为相应电信号；
第一控制电路，连接到所述多个SPAD，其中，针对接收亮度的每个SPAD，第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；
钳位光电二极管PPD，操作为存储模拟电荷；
第二控制电路，连接到第一控制电路和PPD，其中，第二控制电路操作为：
启动来自PPD的模拟电荷的第一部分的传送；
当在预定义时间间隔内从第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送。
2.如权利要求1所述的像素，其中，所述多个SPAD中的每个SPAD、第一控制电路、PPD和第二控制电路包括互补金属氧化物半导体部。
3.如权利要求1所述的像素，其中，第二控制电路操作为接收模拟调制信号，其中，模拟电荷的第一部分基于通过模拟调制信号提供的调制被传送。
4.如权利要求1所述的像素，其中，第二控制电路还操作为传送来自PPD的模拟电荷的第二部分，其中，第二部分等于在第一部分被传送之后的模拟电荷的剩余。
5.如权利要求4所述的像素，其中，第二控制电路包括：输出端子，将第一部分作为第一像素-特定输出并将第二部分作为第二像素-特定输出传送到像素之外，其中，第二控制电路还操作为接收外部输入以在输出端子上响应地生成第一像素-特定输出和第二像素-特定输出。
6.如权利要求5所述的像素，其中，第二控制电路还包括第一节点和第二节点，其中，第二控制电路操作为：
将第一部分从PPD传送到第一节点、从第一节点传送到第二节点并从第二节点传送到输出端子作为第一像素-特定输出；
将第二部分从PPD传送到第一节点、从第一节点传送到第二节点并从第二节点传送到输出端子作为第二像素-特定输出。
7.如权利要求1所述的像素，其中，所述像素中的PPD与所述多个SPAD的有效比为1:1。
8.如权利要求1所述的像素，其中，所述多个SPAD中的全部SPAD以N×N配置被布置在所述像素中，其中，N≥2，N为整数。
9.一种用于测距的方法，包括：
将激光脉冲投射到三维3D对象上；
将模拟调制信号施加到像素中的钳位光电二极管PPD；
基于从模拟调制信号接收的调制，启动存储在PPD中的模拟电荷的第一部分的传送；
使用所述像素中的多个单光子雪崩二极管SPAD检测返回脉冲，其中，返回脉冲是从3D对象反射的投射的脉冲，其中，每个SPAD操作为将从返回脉冲接收的亮度转换为相应电信号；
针对接收亮度的每个SPAD，处理相应电信号以从相应电信号生成SPAD-特定数字输出；
当在预定义时间间隔内生成至少两个SPAD-特定数字输出时，终止模拟电荷的第一部分的传送；
基于当终止时传送的模拟电荷的第一部分，确定返回脉冲的飞行时间TOF值。
10.如权利要求9所述的方法，还包括：
从自PPD传送的模拟电荷的第一部分产生所述像素的第一像素-特定输出；
传送来自PPD的模拟电荷的第二部分，其中，第二部分等于在第一部分被传送之后的模拟电荷的剩余；
从自PPD传送的模拟电荷的第二部分产生所述像素的第二像素-特定输出；
使用模数转换器ADC单元对第一像素-特定输出和第二像素-特定输出进行采样；
基于所述采样，生成与第一像素-特定输出对应的第一信号值和与第二像素-特定输出对应的第二信号值。
11.如权利要求10所述的方法，还包括：
使用第一信号值与第一信号值和第二信号值之和的比率确定返回脉冲的TOF值。
12.如权利要求11所述的方法，还包括：
基于TOF值确定到3D对象的距离。
13.如权利要求9所述的方法，还包括：
进一步将快门信号施加到所述像素，其中，快门信号在投射激光脉冲之后被施加预定时间段；
在快门信号以及模拟调制信号激活时，使用所述多个SPAD检测返回脉冲；
当在快门信号激活时生成至少两个SPAD-特定数字输出时，提供终止信号；
响应于终止信号，终止模拟电荷的第一部分的传送。
14.如权利要求9所述的方法，其中，投射激光脉冲的步骤包括：
使用光源投射激光脉冲，其中，光源为以下项中的一个：
激光源；
产生可见光谱中的光的光源；
产生不可见光谱中的光的光源；
单色照明光源；
红外激光器；
X-Y可寻址光源；
具有二维扫描能力的点光源；
具有一维扫描能力的片光源；
散射激光器。
15.一种成像单元，包括：
光源，操作为将激光脉冲投射到三维3D对象上；
图像传感器单元，包括：
多个像素，布置在二维2D像素阵列中，其中，2D像素阵列中的至少一行像素中的每个像素包括：
像素-特定的多个单光子雪崩二极管SPAD，其中，每个SPAD操作为将在返回脉冲中接收的亮度转换为相应电信号，其中，返回脉冲从由3D对象对投射的脉冲的反射得到；
像素-特定第一控制电路，连接到像素-特定的多个SPAD，其中，针对接收返回脉冲中的亮度的每个SPAD，像素-特定第一控制电路操作为处理来自SPAD的相应电信号并从相应电信号生成SPAD-特定输出；
像素-特定装置，操作为存储模拟电荷；
像素-特定第二控制电路，连接到像素-特定第一控制电路和像素-特定装置，其中，像素-特定第二控制电路操作为：启动来自像素-特定装置的模拟电荷的像素-特定第一部分的传送；当在预定义时间间隔内从像素-特定第一控制电路接收到至少两个SPAD-特定输出时，终止所述传送，
处理单元，连接到2D像素阵列并操作为：
将模拟调制信号提供给所述至少一行的像素中的每个像素中的像素-特定第二控制电路，以控制模拟电荷的像素-特定第一部分的传送；
基于模拟电荷的像素-特定第一部分在所述预定义时间间隔内的传送，确定返回脉冲的像素-特定飞行时间TOF值。
16.如权利要求15所述的成像单元，其中，像素-特定装置为钳位光电二极管PPD。
17.如权利要求16所述的成像单元，其中，在所述至少一行的像素中的每个像素中，像素-特定第二控制电路还操作为：
传送来自像素-特定装置的模拟电荷的像素-特定第二部分，其中，像素-特定第二部分等于在像素-特定第一部分被传送之后的模拟电荷的剩余；
从传送的模拟电荷的像素-特定第一部分产生像素-特定第一输出，并从传送的模拟电荷的像素-特定第二部分产生像素-特定第二输出，
其中，处理单元还操作为：
从所述至少一行的像素中的每个像素接收像素-特定第一输出和像素-特定第二输出，
基于像素-特定第一输出生成像素-特定第一数字值，并基于像素-特定第二输出生成像素-特定第二数字值，
使用像素-特定第一数字值和像素-特定第二数字值确定返回脉冲的像素-特定TOF值。
18.一种用于测距的系统，包括：
光源，将激光脉冲投射到三维3D对象上；
多个像素，其中，每个像素包括：
像素-特定钳位光电二极管PPD，操作为存储模拟电荷；
像素-特定的多个单光子雪崩二极管SPAD，其中，每个SPAD操作为将在返回脉冲中接收的亮度转换为相应电信号，其中，返回脉冲从由3D对象对投射的脉冲的反射得到；
像素-特定控制电路，连接到像素-特定PPD和像素特定的多个SPAD，其中，像素-特定控制电路操作为：
启动来自像素-特定PPD的模拟电荷的像素-特定第一部分的第一传送；
处理来自接收返回脉冲中的亮度的每个SPAD的相应电信号，并从相应电信号生成SPAD-特定输出；
当在预定义时间间隔内生成至少两个SPAD-特定输出时，终止第一传送；
启动来自像素-特定PPD的模拟电荷的像素-特定第二部分的第二传送，其中，像素-特定第二部分等于在像素-特定第一部分被传送之后的模拟电荷的剩余；
多个模数转换器ADC单元，其中，每个ADC单元与所述多个像素中的各个像素关联，并操作为分别基于模拟电荷的像素-特定第一部分的第一传送和像素-特定第二部分的第二传送生成像素-特定信号对的值，其中，像素-特定信号对的值包括像素-特定第一信号值和像素-特定第二信号值；
存储器，用于存储程序指令；
处理器，连接到存储器、所述多个ADC单元和所述多个像素，其中，处理器被配置为执行所述程序指令，借此处理器操作为执行以下处理：
针对每个像素，分别促使模拟电荷的像素-特定第一部分的第一传送和像素-特定第二部分的第二传送；
接收每个像素-特定信号对的值，并使用像素-特定第一信号值和像素-特定第二信号值确定返回脉冲的相应的像素-特定飞行时间TOF值；
针对所述多个像素中的每个像素，基于像素-特定TOF值，确定到3D对象的距离。
19.如权利要求18所述的系统，其中，处理器操作为将模拟调制信号提供给每个像素中的像素-特定控制电路，其中，每个像素-特定控制电路操作为基于由模拟调制信号提供的调制控制在第一传送期间的模拟电荷的像素-特定第一部分的量。
20.如权利要求18所述的系统，其中，光源为以下项中的一个：
激光源；
产生可见光谱中的光的光源；
产生不可见光谱中的光的光源；
单色照明光源；
红外激光器；
X-Y可寻址光源；
具有二维扫描能力的点光源；
具有一维扫描能力的片光源；
散射激光器。
CN201810450049.5A 2017-05-16 2018-05-11 图像传感器中的像素、成像单元、测距的方法和系统 Active CN108881752B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762507210P 2017-05-16 2017-05-16
US62/507,210 2017-05-16
US15/657,101 US10116925B1 (en) 2017-05-16 2017-07-21 Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
US15/657,101 2017-07-21

Publications (2)

Publication Number Publication Date
CN108881752A true CN108881752A (zh) 2018-11-23
CN108881752B CN108881752B (zh) 2021-11-12

Family

ID=63895038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810450049.5A Active CN108881752B (zh) 2017-05-16 2018-05-11 图像传感器中的像素、成像单元、测距的方法和系统

Country Status (3)

Country Link
US (3) US10116925B1 (zh)
KR (1) KR102502733B1 (zh)
CN (1) CN108881752B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161529A (zh) * 2019-06-10 2019-08-23 炬佑智能科技(苏州)有限公司 Tof传感器及其形成方法、机器视觉系统
CN110519538A (zh) * 2019-08-09 2019-11-29 上海集成电路研发中心有限公司 一种基于忆阻器的像元电路和图像传感器
CN110596721A (zh) * 2019-09-19 2019-12-20 深圳奥锐达科技有限公司 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN113030999A (zh) * 2019-12-09 2021-06-25 爱思开海力士有限公司 飞行时间感测系统和其中使用的图像传感器
CN113273183A (zh) * 2019-01-07 2021-08-17 Lg伊诺特有限公司 摄像头模块
CN114244970A (zh) * 2022-01-20 2022-03-25 深圳锐视智芯科技有限公司 一种事件信号处理方法、装置、设备及可读存储介质
CN115802180A (zh) * 2020-09-29 2023-03-14 豪威科技股份有限公司 用于图像传感器中快速电压稳定的切换技术

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
WO2019039017A1 (ja) * 2017-08-23 2019-02-28 パナソニックＩｐマネジメント株式会社 画像処理装置、距離検出装置、画像処理方法及びプログラム
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10475834B1 (en) * 2017-10-06 2019-11-12 Facebook Technologies, Llc Apparatuses, systems, and methods for disrupting light at a back-side of an image sensor array
US10545224B2 (en) * 2017-12-06 2020-01-28 Samsung Electronics Co., Ltd. Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
US20190187256A1 (en) * 2017-12-19 2019-06-20 Samsung Electronics Co., Ltd. Non-spad pixels for direct time-of-flight range measurement
US11061234B1 (en) 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
WO2019182703A1 (en) * 2018-03-22 2019-09-26 Futurewei Technologies, Inc. Immersive media metrics for rendered viewports
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US10789506B2 (en) 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN109541622B (zh) * 2018-12-26 2020-10-16 豪威科技(武汉)有限公司 Tof测距幅值的计算方法及tof测距系统
US11348954B2 (en) * 2019-03-19 2022-05-31 Samsung Electronics Co., Ltd. Time-resolving sensor for range measurement and 2D greyscale imaging
CN109831255B (zh) * 2019-03-26 2021-03-23 Oppo广东移动通信有限公司 飞行时间组件的控制系统和终端
US11587247B1 (en) 2019-04-03 2023-02-21 Meta Platforms Technologies, Llc Synchronous event driven readout of pixels in a detector for direct time-of-flight depth sensing
CN113597566A (zh) * 2019-04-04 2021-11-02 华为技术有限公司 一种测距方法、雷达以及车载雷达
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
CN114096886A (zh) * 2019-06-25 2022-02-25 国立大学法人静冈大学 距离图像测量装置
CN114096885A (zh) * 2019-07-30 2022-02-25 深圳源光科技有限公司 用于电话机的激光雷达系统
JP2021050949A (ja) * 2019-09-24 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、電子機器
US11814083B2 (en) * 2020-03-31 2023-11-14 Uatc, Llc Asynchronous processing for autonomous vehicle computing systems
KR20210150765A (ko) 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치
US11480684B2 (en) 2020-06-18 2022-10-25 Meta Platforms Technologies, Llc Time of flight depth system including an illumination source with addressable illumination blocks
TWI773133B (zh) * 2020-07-10 2022-08-01 大陸商廣州印芯半導體技術有限公司 測距裝置以及測距方法
JP6953595B1 (ja) * 2020-09-09 2021-10-27 浜松ホトニクス株式会社 距離画像取得装置及び距離画像取得方法
KR20220077735A (ko) 2020-12-02 2022-06-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 픽셀 어레이
US11877079B2 (en) 2020-12-22 2024-01-16 Samsung Electronics Co., Ltd. Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging
US11563908B2 (en) * 2021-02-22 2023-01-24 Microsoft Technology Licensing, Llc Image acquisition techniques with reduced noise using single photon avalanche diodes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130228828A1 (en) * 2012-03-02 2013-09-05 Hamamatsu Photonics K.K. Range sensor and range image sensor
US20140375978A1 (en) * 2013-06-20 2014-12-25 Analog Devices, Inc. Optical time-of-flight system
US20160061941A1 (en) * 2014-08-29 2016-03-03 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
CN105723239A (zh) * 2013-11-20 2016-06-29 松下知识产权经营株式会社 测距摄像系统
US20160353084A1 (en) * 2015-05-26 2016-12-01 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
US9417326B2 (en) * 2009-06-22 2016-08-16 Toyota Motor Europe Nv/Sa Pulsed light optical rangefinder
GB201014843D0 (en) * 2010-09-08 2010-10-20 Univ Edinburgh Single photon avalanche diode for CMOS circuits
EP3078191B1 (en) * 2013-12-04 2020-04-29 Rambus Inc. High dynamic-range image sensor
US9608027B2 (en) * 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
US10942261B2 (en) * 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
GB2570791B (en) * 2016-05-18 2021-10-27 James Okeeffe A dynamically steered lidar adapted to vehicle shape
US10495736B2 (en) * 2016-08-04 2019-12-03 Stmicroelectronics (Research & Development) Limited Single SPAD array ranging system
US10890649B2 (en) * 2016-08-11 2021-01-12 Qualcomm Incorporated System and method for measuring reference and returned light beams in an optical system
US10598787B2 (en) * 2016-11-04 2020-03-24 Stmicroelectronics (Research & Development) Limited Method and apparatus for measuring time of flight
US10389957B2 (en) 2016-12-20 2019-08-20 Microsoft Technology Licensing, Llc Readout voltage uncertainty compensation in time-of-flight imaging pixels
EP3392675B1 (en) 2017-04-21 2021-03-10 Melexis Technologies NV Active pixel circuit for a time-of-flight system and method for operating the same
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130228828A1 (en) * 2012-03-02 2013-09-05 Hamamatsu Photonics K.K. Range sensor and range image sensor
US20140375978A1 (en) * 2013-06-20 2014-12-25 Analog Devices, Inc. Optical time-of-flight system
CN105723239A (zh) * 2013-11-20 2016-06-29 松下知识产权经营株式会社 测距摄像系统
US20160061941A1 (en) * 2014-08-29 2016-03-03 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
US20160353084A1 (en) * 2015-05-26 2016-12-01 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VILLA ETC.: "SPAD Smart Pixel for Time-of-Flight and Time-Correlated Single-Photon Counting Measurements", 《IEEE PHOTONICS JOURNAL》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113273183A (zh) * 2019-01-07 2021-08-17 Lg伊诺特有限公司 摄像头模块
CN113273183B (zh) * 2019-01-07 2024-03-08 Lg伊诺特有限公司 摄像头模块
CN110161529A (zh) * 2019-06-10 2019-08-23 炬佑智能科技(苏州)有限公司 Tof传感器及其形成方法、机器视觉系统
CN110519538A (zh) * 2019-08-09 2019-11-29 上海集成电路研发中心有限公司 一种基于忆阻器的像元电路和图像传感器
CN110519538B (zh) * 2019-08-09 2021-11-19 上海集成电路研发中心有限公司 一种基于忆阻器的像元电路和图像传感器
CN110596721A (zh) * 2019-09-19 2019-12-20 深圳奥锐达科技有限公司 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN113030999A (zh) * 2019-12-09 2021-06-25 爱思开海力士有限公司 飞行时间感测系统和其中使用的图像传感器
CN113030999B (zh) * 2019-12-09 2024-05-31 爱思开海力士有限公司 飞行时间感测系统和其中使用的图像传感器
CN115802180A (zh) * 2020-09-29 2023-03-14 豪威科技股份有限公司 用于图像传感器中快速电压稳定的切换技术
CN115802180B (zh) * 2020-09-29 2024-04-30 豪威科技股份有限公司 用于图像传感器的传送门驱动器
CN114244970A (zh) * 2022-01-20 2022-03-25 深圳锐视智芯科技有限公司 一种事件信号处理方法、装置、设备及可读存储介质
CN114244970B (zh) * 2022-01-20 2024-08-20 深圳锐视智芯科技有限公司 一种事件信号处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US10116925B1 (en) 2018-10-30
US10397553B2 (en) 2019-08-27
US20190281276A1 (en) 2019-09-12
KR20180125882A (ko) 2018-11-26
US10735714B2 (en) 2020-08-04
KR102502733B1 (ko) 2023-02-22
US20180338127A1 (en) 2018-11-22
US20190020864A1 (en) 2019-01-17
CN108881752B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN108881752A (zh) 图像传感器中的像素、成像单元、测距的方法和系统
TWI801572B (zh) 影像感測器、成像單元及生成灰階影像的方法
US10397554B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
US11988777B2 (en) Time-resolving image sensor for range measurement and 2D greyscale imaging
CN108307180A (zh) 图像传感器中的像素、成像单元、用于测距的系统及方法
KR102532487B1 (ko) 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
CN106067954B (zh) 成像单元和系统
US10021284B2 (en) Epipolar plane single-pulse indirect TOF imaging for automotives
CN110007288A (zh) 图像传感器的像素和直接飞行时间范围测量的方法及系统
KR102473740B1 (ko) 동시 rgbz 센서 및 시스템
US20160309135A1 (en) Concurrent rgbz sensor and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant