CN108307180B - 图像传感器中的像素、成像单元、用于测距的系统及方法 - Google Patents

图像传感器中的像素、成像单元、用于测距的系统及方法 Download PDF

Info

Publication number
CN108307180B
CN108307180B CN201710706673.2A CN201710706673A CN108307180B CN 108307180 B CN108307180 B CN 108307180B CN 201710706673 A CN201710706673 A CN 201710706673A CN 108307180 B CN108307180 B CN 108307180B
Authority
CN
China
Prior art keywords
pixel
signal
specific
analog
analog modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710706673.2A
Other languages
English (en)
Other versions
CN108307180A (zh
Inventor
王一兵
李泰渊
伊利亚·奥夫相尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108307180A publication Critical patent/CN108307180A/zh
Application granted granted Critical
Publication of CN108307180B publication Critical patent/CN108307180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

提供了图像传感器中的像素、成像单元、用于测距的系统及方法。在图像传感器中的每个像素内将飞行时间(TOF)技术与模拟振幅调制相结合。像素可为双抽头像素或单抽头像素。像素中的两个光电子接收器电路接收各自的模拟调制信号。接收的光电子电荷在这两个电路之间的分布是由两个模拟调制电压的差(或比值)控制的。在像素内以此方式生成的差分信号为了TOF测量而在时域中被调制。因此，TOF信息通过像素自身内部的基于模拟域的单端差分转换器被添加到接收的光信号。基于TOF的距离测量及其分辨率通过改变调制的持续时间是可控制的。具有这些特征的自主导航系统可在诸如低光、雾、恶劣天气或强环境光的困难的驾驶条件下为驾驶员提供改善的视野。

Description

图像传感器中的像素、成像单元、用于测距的系统及方法
本申请要求于2016年8月26日提交的第62/380,351号美国临时申请的优先权以及于2016年11月1日提交的第15/340,972号美国专利申请的优先权，这些申请的公开内容通过引用全部包含于此。
技术领域
本公开总体涉及图像传感器。更具体地，并非通过限制，在本公开中公开的发明方面的具体实施例涉及在模拟域中调制飞行时间(Time-of-Flight，TOF)图像传感器中的像素的感光光电门，以及使用从每个像素产生的差分输出的特定比值来计算三维(3D)物体的距离和TOF值。
背景技术
三维(3D)成像系统正在越来越多地用在诸如以工业生产、视频游戏、计算机图形学、机器人手术、消费类显示、监控视频、3D建模、房地产销售、自主导航等为例的各种各样的应用中。
现有的3D成像技术可以包括例如，基于飞行时间(TOF)的测距成像、立体视觉系统和结构光(SL)方法。
在TOF方法中，基于已知的光速—通过测量光信号针对图像的每个点在照相机和3D物体之间行进所需的往返时间，来求解至3D物体的距离。照相机中像素的输出提供关于像素特定(pixel-specific)TOF值的信息以生成物体的3D深度剖面。TOF照相机可使用无扫描方法以利用每束激光或光脉冲来捕获整个场景。在直接TOF成像器中，单个激光脉冲可用于捕获时间和空间数据以记录3D场景。这样允许场景信息的快速获取和快速实时处理。TOF方法的一些示例应用可包括：诸如自主导航以及基于实时的距离图像的活动行人安全或预碰撞检测的先进的汽车应用、追踪人的诸如在视频游戏机上与游戏交互期间的移动、在工业机器视觉中对物体进行分类并帮助机器人发现物品(诸如在传送带上的物品)等。
在立体成像或立体视觉系统中，彼此水平移位(displaced)的两个照相机用于获得对场景或场景中的3D物体的两个不同的视图。通过比较这两个图像，可以获得针对3D物体的相对深度信息。立体视觉在诸如机器人学的领域中十分重要，以在自主系统/机器人的附近提取关于3D物体的相对位置的信息。机器人学的其他应用包括物体识别，其中，立体深度信息允许机器人系统分开挡住(occluding)图像部分，否则在诸如一个物体位于另一个物体前面把另一个物体部分地或全部地隐藏起来时，机器人可能无法将它们区分为两个单独的物体。3D立体显示器也用于娱乐和自动化系统中。
在SL方法中，可利用投射的光图案和用于成像的照相机来测量物体的3D形状。在SL方法中，将已知的光的图案(通常为网格或水平条或平行条纹的图案)投射到场景或场景中的3D物体上。投射的图案可以在照到3D物体的表面时而变形或移位。这样的变形可允许SL视觉系统计算物体的深度和表面信息。因此，向3D表面投射窄带光可产生照明线，所述照明线从除了投射器的视角以外的其他视角可能出现失真，并且向3D表面投射窄带光可以用于被照明的表面形状的几何重建。基于SL的3D成像可用于诸如以由警察机关以3D场景拍照指纹、在生产工艺期间组件的联机检查、以及在卫生保健用于人体体型或人体皮肤的微观结构的现场测量等为例的各种应用中。
发明内容
在一个实施例中，本公开针对一种方法，所述方法包括：(i)将激光脉冲投射到三维(3D)物体上；(ii)在像素中将第一模拟调制信号施加到第一光电子接收器并且将第二模拟调制信号施加到第二光电子接收器，其中，第二模拟调制信号是第一模拟调制信号的逆；(iii)使用第一光电子接收器和第二光电子接收器来检测返回脉冲，其中，返回脉冲是从3D物体反射的投射脉冲；(iv)响应于返回脉冲的光电子接收器特定检测生成一对信号值，其中，所述一对信号值包括第一信号值和第二信号值，其中，第一信号值和第二信号值中的每个信号值基于从第一模拟调制信号和第二模拟调制信号中的对应的一个接收的调制；(v)使用第一信号值与第一信号值和第二信号值的总和之比来确定返回脉冲的飞行时间(TOF)值。
在另一个实施例中，本公开针对图像传感器中的像素。所述像素包括：(i)电荷生成部，包括用于将入射光转换为各自的电信号的第一电路和第二电路，其中，第一电路被配置为接收第一模拟调制信号，第二电路被配置为接收第二模拟调制信号，其中，第一电路和第二电路被配置为根据第一模拟调制信号和第二模拟调制信号来生成各自的电信号；(ii)信号收集部，连接至电荷生成部并被配置为接收电子快门输入，其中，信号收集部操作为在电子快门输入的控制下接收由电荷生成部生成的电信号；(iii)信号传输部，连接至信号收集部并且被配置为接收多个外部输入，其中，信号传输部操作为响应于所述多个外部输入将电子信号作为像素输出来传输。
在另一个实施例中，本公开针对包括光源和图像传感器单元的成像单元。所述光源操作为将激光脉冲投射到3D物体上。所述图像传感器单元包括：(i)多个像素，布置成二维(2D)像素阵列，其中，2D像素阵列中的至少一行像素中的每个像素包括被配置为接收第一模拟调制信号的像素特定第一电路以及被配置为接收作为第一模拟调制信号的逆的第二模拟调制信号的像素特定第二电路，其中，所述至少一行像素中的每个像素操作为使用像素特定第一电路和像素特定第二电路检测由3D物体对投射脉冲的反射而导致的返回脉冲，并基于由第一模拟调制信号和第二模拟调制信号接收的调制来生成像素特定输出；(ii)多个模数转换器(ADC)单元，其中，每个ADC单元与所述至少一行像素中的各像素关联并操作为基于像素特定输出产生一对像素特定信号值，其中，所述一对像素特定信号值包括像素特定第一信号值和像素特定第二信号值；(iii)处理单元，结合到所述多个ADC单元与2D像素阵列，其中，处理单元操作为将第一模拟调制信号和第二模拟调制信号提供到所述至少一行像素中的每个像素，其中，处理单元还操作为接收每对像素特定信号值并使用像素特定第一信号值和像素特定第二信号值来确定返回脉冲的对应的像素特定TOF值。
在另一个实施例中，本公开针对一种系统，所述系统包括：(i)光源；(ii)多个像素；(iii)多个ADC单元；(iv)用于存储程序指令的存储器；(v)结合到存储器、所述多个ADC单元以及所述多个像素的处理器。在系统中，光源将激光脉冲投射到3D物体上。在所述多个像素中，每个像素包括被配置为接收第一模拟调制信号的各自的第一电路以及被配置为接收作为第一模拟调制信号的逆的第二模拟调制信号的各自的第二电路。每个像素使用各自的第一电路和各自的第二电路来检测由3D物体对投射脉冲的反射而导致的返回脉冲，并基于由第一模拟调制信号和第二模拟调制信号接收的调制来生成像素特定输出。在所述多个ADC单元中，每个ADC单元与所述多个像素中的各像素关联并操作为响应于返回脉冲的像素特定检测而生成一对像素特定信号值。所述一对像素特定信号值包括像素特定第一信号值和像素特定第二信号值。在系统中，处理器被配置为执行程序指令，由此处理器操作为执行如下操作：(a)促成第一模拟调制信号和第二模拟调制信号向每个像素的传递，(b)接收每对像素特定信号值并使用像素特定第一信号值和像素特定第二信号值来确定返回脉冲的对应的像素特定TOF值，(c)对于所述多个像素中的每个像素，基于像素特定TOF值确定到3D物体的像素特定距离。
附图说明
在以下部分中，将参照在附图中示出的示例性实施例描述本公开的发明方面，在附图中：
图1示出了根据本公开的一个实施例的TOF成像系统的高度简化的局部布局；
图2示出了根据本公开的一个实施例的图1中的系统的示例性的操作布局；
图3是根据本公开的一个实施例的示出用于测量TOF值的图1-2的系统中的不同信号的示例性时序的时序图；
图4描绘了根据本公开的一个实施例的示出在图1-2的系统中如何能够确定TOF值的示例性流程图；
图5是根据本公开的一个实施例的图像传感器单元的部分的示例性布局；
图6示出了根据本公开的具体实施例的双抽头(two-tap)像素的示例性电路细节；
图7是根据本公开的特定实施例的示出当图6的实施例中的像素用在像素阵列中以测量TOF值时图1-2的系统中的不同信号的示例性时序的时序图；
图8示出了根据本公开的具体实施例的单抽头(one-tap)像素的示例性电路细节；
图9是根据本公开的具体实施例的示出当图8的实施例中的像素用在像素阵列中以测量TOF值时图1-2的系统中的不同信号的示例性时序的时序图；
图10描绘了根据本公开的一个实施例的图1-2中的系统的整体布局。
具体实施方式
在以下详细描述中，阐述了许多具体的细节以提供对本公开的透彻理解。然而，本领域技术人员将理解的是可在没有这些具体细节的情况下实践所公开的发明方面。在其他实例中，为了不使本公开模糊，没有详细描述公知的方法、程序、组件和电路。此外，所描述的发明方面可实现为在包括例如计算机和汽车导航系统等的任意成像装置或系统中执行低功率、距离测量和3D成像。
对“一个实施例”或“实施例”贯穿本说明书的引用意味着结合实施例描述的具体的特征、结构或特性包括在本公开的至少一个实施例中。因此，贯穿本说明书在各种地方出现的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有类似含义的其他短语)不必全部指示相同的实施例。此外，在一个或更多个实施例中可以以任意适当的方式结合具体的特征、结构或特性。另外，根据在此讨论的上下文，单数术语可包括其复数形式，复数术语可包括其单数形式。类似地，连字符术语(例如，“三-维”、“预-确定”、“像素-特定”等)可偶尔与其非连字符版本(例如，“三维”、“预确定”、“像素特定”等)交换使用。这样的偶尔交换使用不应被视为彼此不一致。
注意，起初，术语“结合”、“有效结合”、“连接”及其变型、“电连接”等在此可交换地使用，以总地指示以有效方式电气/电子连接的情况。类似地，不管信息信号(无论包含地址、数据或控制信息)的类型(模拟或数字)如何，当第一实体将信息信号电气地发送至第二实体和/或从第二实体电气地接收信息信号(无论通过有线方式或无线方式)时第一实体被视为与第二实体(或多个第二实体)“通信”。还应注意，在此示出和讨论的各种附图(包括组件图)仅出于说明性的目的，并且未按比例绘制。类似地，各种波形图和时序图仅出于说明性的目的而示出。
除非明确定义为这样，否则如在此使用的术语“第一”、“第二”等用作针对在它们后面的名词的标记，而并不意味着任何类型的排序(例如，空间、时间、逻辑等)。此外，相同的附图标记可以贯穿两个或更多个附图使用，来指示具有相同或类似功能的部件、组件、块、电路、单元或模块。然而，这样的用法仅为了简化说明和易于讨论；其不意味着这样的组件或单元的结构或架构细节在所有实施例中是相同的或这样的共同引用的部件/模块是实现本公开的具体实施例的教导的唯一的方式。
这里观察到，前面提到的3D技术具有很多缺点。例如，距离选通TOF成像器可使用提供照明的多个激光脉冲，以及仅在期望的时段期间允许光到达成像器的光闸(opticalgate)。距离选通TOF成像器可用于二维(2D)成像中以抑制在特定距离范围之外的任何事物，诸如透过雾观看。然而，选通的TOF成像器可仅提供黑白(B&W)输出并且可能不具有3D成像能力。此外，当前的TOF系统典型地在几米到几十米的范围操作，但对于短距离的测量其分辨率会降低，从而使得短距离内的3D成像(诸如，以在雾中或难以看清的条件下为例)几乎是不切实际的。此外，现有的TOF传感器中的像素会易受到环境光的伤害。
立体成像方法通常仅利用纹理表面工作。由于需要匹配特征并找到物体的图像的立体像对之间的对应，因此其具有高计算复杂度。这需要高的系统功耗。此外，立体成像需要两个规则的、高位分辨率传感器以及两个镜头，使得整个装配件不适合于诸如以在基于汽车的自主导航系统中为例的空间非常珍贵的地方。此外，立体3D照相机难以透过雾观看并且难以处理运动模糊。
相反，本公开的具体实施例提供用于例如在所有天气条件下在汽车上实现基于TOF的3D成像系统。因此，在诸如以低光、恶劣天气、雾和强环境光等困难条件下，可为驾驶员提供改善的视野。如下面更详细地讨论的，在根据本公开的具体实施例的基于单脉冲的直接TOF系统中，TOF信息通过像素本身内部的基于模拟域的单端差分转换器被添加到接收的信号。因此，本公开提供用于在像素阵列中的每个像素内直接结合TOF和模拟振幅调制(AM)的单个芯片解决方案。结果，可提供基本上不依赖环境光而能够在短距离“看透”恶劣天气并产生3D图像和2D灰度图像的改善的自主导航系统。
图1示出了根据本公开的一个实施例的TOF成像系统15的高度简化的局部布局。如示出的，系统15可包括结合到处理器或主机19并且与处理器或主机19通信的成像模块17。系统15也可包括结合到处理器19的存储器模块(在下文中，也可以被称为存储器或系统存储器)20，以存储诸如以从成像模块17接收的图像数据为例的信息内容。在具体实施例中，整个系统15可以被包封在单个集成电路(IC)或芯片中。可选地，模块17、19和20中的每个可在单独的芯片中实现。此外，存储器模块20可包括一个以上存储器芯片，处理器19也可包括多个处理芯片。无论如何，关于图1中的模块的封装以及如何以单个芯片或使用多个分立的芯片制造或实现模块的封装的细节与目前的讨论不相关，因此，在此不提供这样的细节。
系统15可以是根据本公开的教导配置为用于2D和3D成像应用的任意电子装置。系统15可以是便携的或非便携的。系统15的便携版本的一些示例可包括诸如，以移动装置、蜂窝电话、智能电话、用户设备(UE)、平板电脑、数码相机、膝上型或台式计算机、汽车导航单元、机器对机器(M2M)通信单元、虚拟现实(VR)设备或模块、机器人等为例的流行的消费类电子小配件。另一方面，系统15的非便携版本的一些示例可包括电子游戏室中的游戏机、交互式视频终端、具有自主导航能力的汽车、机器视觉系统、工业机器人、VR设备等。根据本公开的教导提供的3D成像功能可用于很多应用中，例如，诸如在低光或恶劣天气条件下的全天候自主导航和驾驶员辅助的汽车应用、人机界面和游戏应用、以及机器视觉和机器人应用等。
在本公开的具体实施例中，成像模块17可包括投射器模块(在下文中，也可以被称为光源模块或照明单元)22和图像传感器单元24。如下面参照图2更详细地讨论的，在一个实施例中，投射器模块22中的光源可为诸如以近红外(NIR)或短波红外(SWIR)激光器为例的红外(IR)激光器，以使照明不引人注意(unobtrusive)。在其他实施例中，光源可为可见光激光器。图像传感器单元24可包括如图2中示出的并也在下面讨论的像素阵列和辅助处理电路。
在一个实施例中，处理器19可为中央处理单元(CPU)，其中，CPU可为通用微处理器。在此讨论中，为便于讨论，术语“处理器”和“CPU”可以可交换地使用。然而，应当理解的是，代替CPU或除了CPU，处理器19可包含任意其他类型的处理器，诸如，以微控制器、数字信号处理器(DSP)、图形处理单元(GPU)、专用集成电路(ASIC)处理器等为例。此外，在一个实施例中，处理器/主机19可包括可在分布式处理环境下操作的一个以上的CPU。处理器19可配置为根据具体的指令集架构(ISA)执行指令并处理数据，所述具体指令集架构为诸如以x86指令集架构(32位或64位版本)、
Figure BDA0001381644190000071
ISA或依赖RISC(精简指令集计算机)ISA的MIPS(无互锁流水线级微处理器)指令集架构为例。在一个实施例中，处理器19可为具有除了CPU功能之外的功能的芯片上系统(SoC)。
在具体实施例中，存储器模块20可为诸如以同步DRAM(SDRAM)为例的动态随机存取存储器(DRAM)，或诸如以高带宽存储器(HBM)模块或混合存储立方体(HMC)存储器模块为例的基于DRAM的三维堆叠(3DS)存储器模块。在其他实施例中，存储器模块20可为固态硬盘(SSD)、非3DSDRAM模块或任意其他基于半导体的存储系统，诸如，例如，静态随机存取存储器(SRAM)、相变随机存取存储器(PRAM或PCRAM)、电阻式随机存取存储器(RRAM或ReRAM)、导电桥RAM(CBRAM)、磁性RAM(MRAM)、自旋转移力矩MRAM(STT-MRAM)等。
图2示出了根据本公开的一个实施例的图1中的系统15的示例性的操作布局。系统15可用于获得对3D物体(诸如，3D物体26)的距离测量(并因此，获得3D图像)，所述3D物体可为个体物体或一组其他物体中的一个物体。在一个实施例中，可以基于从图像传感器单元24接收的测量数据通过处理器19来计算距离和3D深度信息。在另一实施例中，可通过图像传感器单元24自身计算距离/深度信息。在具体实施例中，距离信息可被处理器19用作3D用户界面的一部分以使系统15的用户能够与物体的3D图像交互，或将物体的3D图像用作在系统15上运行的游戏或其他应用(如自主导航应用)的一部分。根据本公开的教导的3D成像也可用于其他目的或应用，并且可被应用于基本任何的3D物体，无论静止的或运动中的。
光源(或投射器)模块22可通过投射短脉冲(在下文中，也可以被称为激光脉冲或投射脉冲)28来照明3D物体26，所述短脉冲28由与相应的虚线31相关联的示例性箭头30来示出，其中，虚线31表示可用于在光学视野(FOV)内投射到3D物体26上的光信号或光学辐射的照明路径。系统15可为(像素阵列的)每个图像帧使用单个脉冲的直接TOF成像器。在特定实施例中，多个短脉冲也可传输到3D物体26上。在一个实施例中，可为由激光控制器34操作并控制的激光光源(在下文中，也可以被称为光源或激光器)33的光学辐射源可用于向3D物体26投射短脉冲28。来自激光光源33的短脉冲28可在激光控制器34的控制下经由投影光学器件35投射到3D物体26的表面上。投影光学器件35可为聚焦透镜、玻璃/塑料表面、或其他圆柱形光学元件。在图2的实施例中，凸面结构示出为聚焦透镜35。然而，可为投影光学器件35选择任何其他合适的透镜设计或外部光罩。
在具体实施例中，光源(或照明源)33可为二极管激光器或发射可见光的发光二极管(LED)、产生非可见光谱中的光的光源、IR激光器(例如，NIR或SWIR激光器)、点光源、可见光光谱中的单色照明源(诸如，以白灯和单色器的组合的为例)或任意其他类型的激光光源。在自主导航应用中，较不引人注意的NIR或SWIR激光器可优选为脉冲激光光源33。在特定实施例中，光源33可为许多不同类型的激光光源中的一种，诸如，以具有2D扫描能力的点源、具有一维(1D)扫描能力的片源或与传感器单元24的FOV匹配的散射激光器。在具体实施例中，激光器33可固定在系统15的外壳内的一个位置中，但在X-Y方向上可为可旋转的。激光器33可为X-Y可寻址的(例如，通过激光控制器34)以执行3D物体26的扫描。激光脉冲28可利用镜子(未示出)投射到3D物体26的表面上，或投影可以是完全无反射镜。在具体实施例中，光源模块22可包括比图2的示例性实施例中示出的组件多或少的组件。
在图2的实施例中，从物体26反射的光/脉冲(在下文中，也可以被称为返回光脉冲、返回脉冲、或返回信号)37可沿着由箭头39和虚线40指示的收集路径行进。光收集路径可在接收来自激光光源33的照明时携带从物体26的表面反射或者由物体26的表面散射的光子。这里注意的是，使用图2中实箭头和虚线对各种传播路径的描述仅是出于说明性的目的。所述描述不应解释为示出任何实际的光学信号传播路径。实际上，照明和收集信号路径可与图2中示出的路径不同，并可不如图2中示出的那样清楚地限定。
在TOF成像中，从被照明的物体26接收的光可经由收集光学器件44被聚焦到图像传感器单元24中的2D像素阵列42上。像素阵列42可包括一个或更多个像素43。与投影光学器件35类似，收集光学器件44可为聚焦透镜、玻璃/塑料表面、或将从物体26接收的反射光集中到2D像素阵列42中的一个或更多个像素43上的其他圆柱形光学元件。光学带通滤波器(未示出)可用作收集光学器件44的一部分以仅使具有与激光脉冲28中的光的波长相同的波长的光通过。这可帮助抑制非相关光的收集/接收并降低噪声。在图2的实施例中，凸面结构被示出为聚焦透镜44。然而，对于收集光学器件44而言，可以选择任何其他合适的透镜设计或光罩。此外，为了便于说明，在图2中(也在图5中)仅示出了3×3像素阵列。然而，应当理解的是，现代像素阵列包含数千或甚至数百万的像素。
可利用2D像素阵列42和激光光源33的许多不同的组合来执行根据本公开的具体的实施例的基于TOF的3D成像，所述2D像素阵列42和激光光源33的许多不同的组合为诸如，例如：(i)2D颜色(RGB)传感器与可见光激光源，其中激光源可为红色(R)、绿色(G)或蓝色(B)光激光器，或产生这些光的组合的激光源；(ii)可见光激光器与2D RGB颜色传感器，所述2D RGB颜色传感器具有红外(IR)截止滤波器；(iii)NIR或SWIR激光器与2D IR传感器；(iv)NIR激光器与2D NIR传感器；(v)NIR激光器与2D RGB传感器(没有IR截止滤波器)；(vi)NIR激光器与2D RGB传感器(没有NIR截止滤波器)；(vii)2D RGB-IR传感器与可见光或IR激光器；(viii)2D RGBW(红色、绿色、蓝色、白色)或RWB(红色、白色、蓝色)传感器与可见光或NIR激光器中的一者等。在例如在自主导航应用中的NIR或其他IR激光器的情况下，2D像素阵列42可提供输出以生成物体26的灰度图像。如在下面更详细地讨论的，也可处理这些像素输出以获得距离测量，并因此生成物体26的3D图像。之后参照图5讨论图像传感器单元24的另外的架构细节，而之后参照图6和图8示出并讨论个体像素43的示例性电路细节。
像素阵列42可将接收的光子转换为对应的电信号，之后所述电信号被相关的图像处理单元46(在下文中，也可以被称为像素阵列控制与处理电路、像素阵列控制电路、像素阵列处理电路、像素控制与处理电路、像素控制单元、像素阵列控制单元、像素阵列处理单元或控制单元)处理以确定物体26的距离和3D深度图像。在一个实施例中，图像处理单元46和/或处理器19可如下面参照图3解释的执行距离测量。图像处理单元46也可包括用于控制像素阵列42的操作的相关电路。在图5中示出了示例性图像处理和控制电路，稍后在下面讨论。这里注意的是，照明单元22和像素阵列42两者都可必须被高速信号控制并被同步。这些信号必须是非常精确的以获得高分辨率。因此，处理器19和图像处理单元46可被配置为提供具有精确时序和高精度的相关信号。
在图2的实施例中的TOF系统15中，像素阵列处理电路46可从每个像素43接收一对像素特定输出，以测量光从照明单元22行进到物体26并返回像素阵列42所需要的像素特定时间(像素特定TOF值)。时序计算可使用下面参照图3讨论的方法。基于计算的TOF值，在特定实施例中，在图像传感器单元24中可通过图像处理单元46直接计算到物体26的像素特定距离，以使处理器19能够在一些界面(诸如，以显示器屏幕或用户界面为例)上提供物体26的3D距离图像。
处理器19可控制投射器模块22和图像传感器单元24的操作。当用户输入或自动地(例如，在实时自主导航应用中)，处理器19可将激光脉冲28重复地发送到周围的3D物体(多个3D物体)26上并触发图像传感器单元24以接收和处理进入的返回光脉冲37。从图像处理单元46接收的处理过的图像数据可通过处理器19存储在存储器20中以用于基于TOF的距离计算和3D图像生成(若适用)。处理器19也可在系统15的显示屏(未示出)上显示2D图像(例如，灰度图像)和/或3D图像。处理器19可在软件或固件中编程以执行在此描述的各种处理任务。可选择地或此外，处理器19可包括用于执行其功能中的一些或全部的可编程硬件逻辑电路。在具体实施例中，存储器20可存储程序代码、查找表和/或临时计算结果以使处理器19能够执行其功能。
图3是根据本公开的一个实施例的示出用于测量TOF值的图1-2的系统15中的不同信号的示例性时序的时序图50。如之前提及的，图3中(也在图7和图9中)示出的波形实质上是简化的并且仅出于示出的目的；实际的波形可根据电路实施方式而在时序和形状上不同。如图3中所示，返回脉冲37可为投射脉冲28的时间延迟版本。在具体实施例中，投射脉冲28可具有非常短的持续时间，诸如，在5至10纳秒(ns)的范围中。可使用像素阵列42中的像素43感测返回脉冲37。可以将电子快门信号(或快门信号)52提供给每个像素(如之后参照图6和图8中的实施例讨论的)以使像素能够捕获返回光脉冲37中的像素特定光电子。快门信号52可具有相对于投射脉冲28的门延迟(gated delay)以避免光散射到达像素阵列。例如，由于恶劣的天气会出现投射脉冲28的光散射。在图3中使用参数“Tdly”来标识快门延迟。在一些实施例中，不管操作条件如何，延迟“Tdly”可为预先确定的并为固定的。在其他实施例中，快门延迟“Tdly”可以为根据例如外部天气条件实时可调整的。
在本公开的具体实施例中，如之后参照图6和图8中的实施例更详细地讨论的，当快门信号52有效时，一对随时间变化的模拟调制信号54-55可被施加到每个像素43。在特定实施例中，调制函数可为单调的。每个像素可具有两个光电子收集位置(site)，所述两个位置中的每个位置可提供各自的输出。在图3的说明中，来源于两个收集位置的两个像素特定输出示出为像素输出-1(Pixout1)信号56和像素输出-2(Pixout2)信号57。为易于说明且为了讨论，像素输出56-57示出为与返回脉冲37基本对齐。然而，在实践中，其可能并非如此，如在图7和图9的示例性实施例中的这些波形的延迟版本可以明显看出的。当返回光脉冲37被像素接收时，被像素中的每个收集位置收集的光电子是基于模拟调制信号54-55的调制信号电平的。换言之，光电子收集位置的电荷分布由两个调制信号54-55的差控制。因此，返回信号37可被视为通过两个调制信号54-55的比值而“分化”，因此，像素特定输出56-57可被视为具有由模拟调制信号54-55随时间调制的振幅的一对差分信号。以此方式，根据本公开的具体实施例的像素43可执行为使用各模拟调制信号54-55通过像素特定输出56-57的振幅调制(AM)来提供TOF信息的单端差分转换器。在本公开的具体实施例中，所述一对中的每个模拟信号54-55可为另一个信号的逆。因此，图3中的一个调制信号54表示为函数“m(t)”，而另一个调制信号表示为函数“1-m(t)”。如前面提及的，在具体实施例中，调制函数“m(t)”可为单调的。在图3、图7和图9的示例性实施例中，可使用斜坡函数(ramp function)生成模拟调制信号，因此，其示出为具有斜坡形波形。然而，在其他实施例中，不同类型的模拟波形/函数(优选可逆的函数对(inverse pair))可用作调制信号54-55。
在图3的上下文中，可以看出参数“Tdly”指示投射脉冲28的上升边缘和电子快门信号52的上升边缘之间的时间延迟，参数“Ttof”指示如通过投射脉冲28的上升边缘和返回光脉冲37的上升边缘之间的延迟测量的像素特定TOF值；参数“Tsh”指示投射脉冲28的传输(如由投射脉冲28的上升边缘代表的)和电子快门的“关闭”(如由快门信号52的断路或去激活给出的)之间的时间段。看出，一个像素输出(例如，Pixout1)与两个像素输出的总和(在此，Pixout1+Pixout2)之比可与Ttof和Tdly值的时间差成比例。此关系可由下面的等式表示：
Figure BDA0001381644190000121
为便于参考，在下面的讨论中，术语“P1”用于指示“Pixout1”，术语“P2”用于指示“Pixout2”。从等式(1)中的关系看出，像素特定TOF值可被确定为像素特定输出值P1和P2的比值。在特定实施例中，一旦像素特定TOF值被如此确定，到物体(诸如图2中的3D物体26)或物体上的特定位置的像素特定距离(“D”)或范围(“R”)可由下式给出：
Figure BDA0001381644190000131
其中，参数“c”指示光速。可选择地，在调制函数“m(t)”在快门窗口内为线性的一些其他实施例中，范围/距离可如下计算：
Figure BDA0001381644190000132
因此，物体(诸如物体26)的3D图像可基于如上面给出的确定的像素特定距离值由TOF系统15生成。
现在提供简要的数学概要以说明可通过振幅调制信号54-55来如何控制上述等式(1)和(3)中的比值P1/(P1+P2)。将环境光表示为随时间变化的参数“Am(t)”，将返回光信号表示为“r(t)”，可针对P1和P2给出如下值：
Figure BDA0001381644190000133
Figure BDA0001381644190000134
因此，P1+P2＝r(t)+Am(t)tot…(6)
其中，参数“Am(t)tot”指示由像素接收的全部环境光，如上面等式(4)和(5)给出的调制和积分。如果参数“Am(t)tot”的值足够小，例如，如果环境光通过光学滤波和上面等式(4)和(5)中的短积分被最小化或使用“黑帧”被有效地“消除”，则等式(4)和(5)中的参数“Am(t)”可基本等于零((Am(t)≈0)。黑帧(也称为“暗帧”)是在黑暗中使用传感器捕获的图像，基本上仅是传感器中噪声的图像。可从后续的图像减去黑帧或几个黑帧的平均值，以校正图像中诸如由暗电流引起的固定模式的噪声。因此，如果Am(t)≈0，则可求解等式(4)和(5)以为m(t)提供如下值：
Figure BDA0001381644190000135
通过等式(7)，调制时间/持续时间“t”可由下式给出：
Figure BDA0001381644190000136
上述等式(8)是一般等式(1)的更特定的版本。看出的是，调制方面作为调制函数m(t)的逆的一部分在等式(8)中是很明显的。因此，等式(8)中的像素特定TOF值(“Ttof”)可从振幅调制的像素输出P1和P2来确定。此外，在此看出的是，使用调制函数m(t)的模拟调制不仅可影响如上面给出的距离确定，而且可允许对距离分辨率的调整。例如，如果调制信号54-55的“有效”持续时间被减少(诸如，通过减少快门信号52的有效持续时间，尤其当调制信号54-55与快门信号52同步时)，则等式(7)中位于右侧的比值也会减少，反过来，这会降低能够测量的距离的值(如从等式(2)和(3)能够看出的)。能够有效地测量的距离越短，TOF系统15的分辨率将越高。此外，如果积分时间减少，则环境光可被极大地控制从而不允许其影响收集的电荷。反过来，这降低了距离测量中的误差，从而使其更有鲁棒性。
因此，根据本公开的具体实施例的教导，与在信号发送到像素阵列然后使用像素输出以获得比值P1/(P1+P2)之前外部操纵返回信号37的偏振相反，模拟调制信号54-55施加到像素自身。此外，如果采用数字调制，则可需要多个光投射的周期来积累足够的电荷以能够计算投射光脉冲和接收光脉冲之间的相位差来获得TOF值。考虑到本公开的像素自身内部的接收的光电子的基于模拟调制的操作或控制，像素内的电荷分布被更好地控制，因此，距离测量和分辨率也是可控制的。收集的电荷的像素级模拟振幅调制可对电子快门有效，所述电子快门可为如例如在互补金属氧化物半导体(CMOS)图像传感器中的滚动快门、或如例如在电荷耦合装置(CCD)图像传感器中的全局快门。在此讨论的调制方法也可对基于核面(epipolar plane)的成像技术有效。此外，虽然这里的公开内容主要在具有双抽头(或单抽头)像素的单脉冲TOF成像系统(如图1-2中的系统15)的环境下提供，但是利用适当的修改(如果需要)，在连续波长调制TOF成像系统或者也具有双抽头像素或不同像素类型的非TOF系统中，也可实现在此讨论的像素级内部模拟调制方法的原理。
图4描绘了示出根据本公开的一个实施例的如何可在图1-2的系统15中确定TOF值的示意性流程图60。可通过系统15中的单个模块或者模块或系统组件的组合执行图4中示出的各个步骤。在这里的讨论中，仅通过示例的方式，特定任务被描述为正在被特定模块或系统组件执行。其他模块或系统组件也可被适当地配置以执行这样的任务。如在块62中提及的，首先，系统15(更具体地，投射器模块22)可向3D物体(如图2中的物体26)投射激光脉冲(诸如图2中的短脉冲28)。在块64，处理器19(或特定实施例中的像素阵列控制电路46)可将第一模拟调制信号(诸如图3中的信号54)施加到像素中的第一光电子接收器并且将第二模拟调制信号(诸如图3中的信号55)施加到像素中的第二光电子接收器。因此，如前所述，调制信号被施加到像素自身。该像素可为图2中的像素阵列42中的任意像素43。在特定实施例中，光电子接收器可包括如后面参照图6和图8描述的光电门，其根据像素架构具有或不具有另外的电路。此外，如在块64中提及的，第二模拟调制信号55是第一模拟调制信号54的逆。在块66，图像传感器单元24中的像素阵列42可使用第一光电子接收器和第二光电子接收器来检测返回脉冲(诸如图2中的脉冲37)。如之前提及的，返回脉冲37是从3D物体26反射的投射脉冲28。
在块68处，图像传感器单元24中的像素控制与处理电路46可响应于返回脉冲的光电子接收器特定检测生成一对信号值。在块68的所述一对信号值包括第一信号值和第二信号值，第一信号值和第二信号值中的每个以从在块64处施加的第一模拟调制信号和第二模拟调制信号中的对应的一个接收的调制为基础。如参照图3详细地讨论的，由模拟调制信号54-55提供的振幅调制可导致一对差分信号值的生成(如前面讨论的值P1和P2)，其可用于获得TOF信息。因此，如在块70处提及的，系统15中的像素控制单元46或处理器19可使用第一信号值与第一信号值和第二信号值的总和的比值来确定返回脉冲的TOF值。换言之，如前面概述的，可通过比值P1/(P1+P2)确定TOF值。
图5是根据本公开的一个实施例的图像传感器单元(诸如图1-2中的图像传感器单元24)的一部分的示意性布局。图5中示出的图像传感器单元24的一部分可与为捕获返回光并为后续TOF值的计算产生P1和P2值以及(如果需要的话)生成远处物体26的3D图像而提供必要的信号相关。如在图2中的情况，仅为便于说明，图5中的图像传感器单元24中的像素阵列42示出为具有布置为3×3阵列的九个像素；实际上，像素阵列可包含在多个行和列中的成千上万或数百万像素。在具体实施例中，像素阵列42中的每个像素可具有相同的配置，因此如图5所示每个像素使用相同的附图标记“43”表示。在图6和图8中分别示出了并在后面讨论了两个示例性像素配置。在图5的实施例中，2D像素阵列42可为其中每个像素43可为双抽头像素(如图6的实施例中示出的像素)或单抽头像素(如图8的实施例中示出的像素)任一者的互补金属氧化物半导体(CMOS)阵列。在其他实施例中，像素43可具有与图6和图8中示出的像素的配置不同的配置。
除了像素阵列42，图5的实施例中的图像传感器单元24也可包括行解码器/驱动器72、列解码器74和像素列单元76，所述像素列单元76包括用于在2D和3D成像期间使用的相关双采样(CDS)和列特定模数转换器(ADC)的电路。在一个实施例中，像素中的每列可具有一个ADC。在具体实施例中，处理单元72、74和76可为图2中示出的像素阵列控制单元46的一部分。在图5的实施例中，行解码器/驱动器72示出为向一行像素中的每个像素43提供七个(7)不同信号作为输入，以控制像素阵列42中的像素的操作并从而能够生成列特定pixout(像素输出)信号78-80。图5中的箭头82-84中的每个示出了将用作对相应行中的每个像素43的输入的这些信号的行特定集。这些信号可包括：重置(RST)信号、传输(TX)信号、电子快门(SH)信号、防闪光(Anti-Bloom)(AB)信号、一对光电门(PG)调制信号(PG1、PG2)和行选择(SEL)信号。在图8的像素配置的情况下，如之后讨论的，TX信号可包括一对传输信号(TX1和TX2)。在图7和图9的实施例中，调制信号PG1和PG2与图3中示出的一对可逆的模拟调制信号54-55相似。
在一个实施例中，行选择(SEL)信号可被断言以选择像素的适当的行。行解码器/驱动器72可经由行地址/控制输入86从例如处理器19接收针对待选择的行的地址或控制信息。行解码器/驱动器72可将接收的输入86解码以使其能够使用SEL信号选择适当的行并且也将对应的RST、TX和其他信号提供至选择的/解码的行。重置(RST)信号可被施加到选择的行中的像素以将这些像素重置为预先确定的高电压电平。电子快门(SH)信号可在调制信号的控制下促进对选择的行中每个像素的调制信号PG1-PG2的应用以及像素特定电荷收集(与接收的光相关)的开始。防闪光(AB)信号可在快门关闭时防止像素闪光。为了后续处理，传输(TX)信号可被断言以初始化像素特定输出电压(PIXOUT或pixout)的传输。之后参照图6-9的讨论来提供这些信号(何时施加为像素输入)的更详细的讨论。在特定实施例中，行解码器/驱动器单元72也可从例如处理器19接收控制信号(未示出)，以配置行解码器/驱动器72来为在箭头82-84处提及的SEL、RST、TX、SH和各种其他信号施加合适的电压电平。
像素列单元76可从选择的行中的像素接收PIXOUT信号78-80，并处理这些信号以生成像素特定信号值，可以从所述像素特定信号值获得TOF测量。如图5中的箭头88所示，这些信号值可为之前提及的P1值和P2值。每个列特定ADC单元可处理接收的输入(pixout信号)以生成对应的数字数据输出(P1值/P2值)。下面参照图7和图9提供由像素列单元76中的CDS电路和ADC电路(未示出)提供的CDS操作和ADC操作的更多的细节。在图5的实施例中，列解码器74示出为结合到像素列单元76。列解码器74可例如从处理器19接收针对待选择的列的列地址/控制输入90连同给定的行选择(SEL)信号。列选择可为顺序的，从而允许顺序接收来自由对应的SEL信号选择的行中的每个像素的像素输出。处理器19可提供适当的行地址输入以选择像素的行并且也可将适当的列地址输入提供至列解码器74，以使像素列单元76能够从选择的行中的个别像素接收输出(pixout)。
图6示出根据本公开的具体实施例的双抽头像素92的示例性电路细节。在具体实施例中，像素阵列42中的每个像素43可具有图6中的像素92的配置。双抽头像素92可具有两个光电子收集“位置”94-95，其可被称为浮置扩散(FD)结。由于两个单独的光电子收集位置，与之后参照图8讨论的单抽头像素相反，像素92可被叫做“双抽头”像素。如之后参照图7讨论的，两个单独的电荷收集位置可提供相应的单独的像素输出97-98，像素输出97-98可被发送至列ADC单元(未示出)以生成各自的P1值和P2值。通常，图6中的双抽头像素92可具有包括两个基本相同的电路部100-101的对称配置。为便于讨论，每个电路部100-101可被分为三个操作单元：电荷生成部、信号收集部和信号传输部。图6和图8中的附图标记“VDD”指示供电电压，在一些实施例中，所述供电电压可在2.5V(伏特)到2.8V的范围中。
电路部100的电荷生成部可包括作为光电门(PG)的N沟道金属氧化物半导体(NMOS)场效应晶体管103以及如所示连接的NMOS防闪光(AB)晶体管104。如图所示，光电门103可在其栅极端子处接收模拟调制信号(PG1)105，晶体管104可在其栅极端子处接收AB信号106。可从行解码器/驱动器72(图5)接收AB信号106和模拟调制信号105(PG1)。PG1信号105可以利用图3中的模拟调制信号54来类推。光电门103可在模拟调制信号PG1的有效控制下将入射光子(诸如，在返回光脉冲37中)转换为电子(也被成为“光电子”)。因此，光电门103可将光学输入信号转换为电荷域中的电信号。电荷或光电子可表现为使用附图标记“107”标识的光电门输出信号VPG1。在特定实施例中，根据需要进行适当的电路修改，可使用钉扎(pinned)光电二极管、雪崩光电二极管或其他光学换能器替代光电门。
电路部100的信号收集部可包括用于电子快门(SH)功能的NMOS晶体管108和在晶体管108的源极端子处与存储扩散(SD)节点关联的电容器109(在图6中被称为“SD1”)。为便于说明，没有使用附图标记个别地标识SD节点，在此可使用术语“SD1”以可交换地指示SD节点或电容器109。如图所示，晶体管108可接收SH信号110作为施加到其栅极端子的输入。这些组件可如图6中所示地连接。可从行解码器/驱动器72(图5)接收SH信号110。因此，信号收集部连接至电荷生成部以在电子快门输入的控制下接收由电荷生成部产生的电子信号(VPG1)。更具体地，在SH信号110为“关闭(off)”时，AB信号106可被断言以基本减少或防止像素92的“闪光”或过饱和。一旦SH信号110“导通”，AB信号106“截止”。当电子快门“打开”时(SH信号有效)，光电门103可感测接收的光，并且由VPG1输出107给出的捕获的电荷可存储在SD1电容器109中。因此，在此注意的是，如参照图7更详细地讨论的，VPG1信号107和Pixout1信号97取决于调制信号PG1和PG2的比值。
电路部100的信号传输部可包括在其栅极端子处接收TX信号112的传输(TX)栅极NMOS晶体管111、与浮置扩散节点94(在图6中被称为“FD1”节点)关联的电容器113、在其栅极端子处接收RST信号115的NMOS重置(RST)晶体管114、作为缓冲器放大器的NMOS源极跟随器116以及与源极跟随器116共源共栅并在其栅极端子处接收SEL信号118的NMOS选择(SEL)晶体管117。可从行解码器/驱动器72(图5)接收TX信号112、RST信号115以及SEL信号118。形成信号传输部的各种组件可如图6中所示地连接。简单的说，信号传输部接收多个外部输入(RST信号、TX信号和SEL信号)并操作为响应于这些外部输入将由信号收集部接收的电信号作为像素输出(Pixout1)97来传输。更具体地，一旦像素被SEL输入118选择并被RST输入115重置，传输栅极111可被“关闭”以使用电容器113将在SD1电容器109处收集的光生电子(或光电子)传输至浮置扩散94。在这里的讨论中，电容器113可偶尔被称为“FD1电容器”。浮置扩散94处的电压之后可作为Pixout1信号97使用晶体管117被传输至ADC单元(未示出)并被转换至适当的数字信号(在此，等式(7)和(8)中的“P1”值)以用于后续的处理。下面参照图7的讨论提供图6中各种信号的时序和操作的更多细节。
在图6中，除了PG2信号，由电路部101接收的所有其他信号(如SEL信号、SH信号和TX信号等)与电路部100中标识的信号相同。因此，使用相同的附图标记指示电路部100与101之间共同的信号。此外，形成电路部101的组件与电路部100中其配对的组件基本相同。考虑到上面对电路部100中与附图标记“103”至“118”关联的实体的广泛的讨论，为简明起见，对电路部101中与附图标记“120”至“130”关联的类似组件和信号的功能不提供额外的讨论。之前对电路部100的构造和操作的讨论仍然适用于类似构造的电路部101。简要地，在电路部101中，电荷生成部包括与附图标记106和120-123关联的实体，信号收集部包括与附图标记110和124-125关联的实体，信号传输部包括与附图标记112、115、118和126-130关联的实体。在电路部101中，VPG2信号123以及Pixout2信号98取决于调制信号PG1和PG2的比值。Pixout2信号98可使用晶体管130被传输至ADC单元(未示出)并被转换至适当的数字信号(在此，等式(7)和(8)中的“P2”值)用于后续的处理。
在此注意的是，在一些实施例中，图6中的像素92和图8中的像素155(之后讨论)可由P沟道金属氧化物半导体(PMOS)场效应晶体管或其他不同类型的电荷传输装置形成。
在图6的实施例中，像素92可被视为具有两个光电子接收器电路(或者，简单地，“光电子接收器”)，每个光电子接收器电路接收对应的调制信号PG1或PG2。这些光电子接收器能够基于两个调制信号PG1和PG2的信号电平将生成的光电子分为两个部分。图6中的第一“光电子接收器”可包括光电门103、晶体管104和108以及电容器109。类似地，图6中的第二“光电子接收器”可包括光电门120、晶体管121和124以及电容器125。如之后讨论的，图8中的像素155可被视为也由类似光电子接收器组成。更普遍地，本公开的教导应用到包括能够基于两个单独的模拟调制信号的电平将生成的光电子分为两个单独的部分的两个电路(无论是基于光电门的、基于光电二极管的或基于任何其他光电传感器的)的任意像素设计。此外，在一些实施例中，与图6和图8的实施例中的基于两个光电传感器的配置相反，这样的像素设计可仅包括一个光电传感器，如雪崩光电二极管。在基于单光电传感器的配置中，可使用两个模拟调制信号(如图3中的信号54-55)通过适当的电路将生成的电荷分为两个部分。
图7是根据本公开的特定实施例的示出当在像素阵列(诸如图2和图5中的像素阵列42)中使用图6的实施例中的像素92以测量TOF值时图1-2的系统15中的不同信号的示例性时序的时序图135。为统一并便于讨论起见，在图6的实施例中示出的各种输入和输出信号(诸如AB信号106、SH信号110和Pixout1信号97等)在图7中使用相同附图标记来标识。为了生成一对像素特定差分输出Pixout1和Pixout2，像素92(更具体地，至少一行像素)必定被最初选择使用SEL信号118。在图7的情况下，假设行解码器/驱动器72(图5)已经断言适当的SEL信号118(未在图7中示出)以选择一行像素。最初，选择的行中的所有像素可使用RST信号115被重置为高电平。像素92的“重置”电平可代表没有返回光脉冲37的像素特定检测。RST信号115可被从其高电平释放预定的时间以促进由像素92接收的光电子的积分。在此注意的是，在一个实施例中，对于未选择的行的像素，RST信号可保持高或“打开”以防止闪光。此外，在光感测/检测的操作的开始处，像素92的防闪光(AB)输入106也可完全“打开”(或高)并且快门(SH)输入110可完全“关闭”(或低)以关闭电子快门。在图7中由箭头137指示快门“关闭”事件。在此注意的是，“高”或“低”信号电平涉及像素92的设计。基于例如使用的晶体管或其他电路组件的类型，在其他类型的像素设计中信号极性或偏置电平可不同。
在投射光脉冲28(图2)后并在一些附加的延迟之后，快门可通过降低AB信号106和RST信号115以及通过提高SH信号110来“打开”。快门“打开”或“有效”时段由图7中的箭头138指示。在快门“打开”时段期间，如通过图7中的波形105和122所示，两个PG门电压(PG1和PG2)可在相反的方向线性地倾斜上升。在图7的示例性说明中，PG1信号105示出为倾斜上升然而PG2信号122示出为倾斜下降。PG1信号105可视为上面等式(4)中的函数“m(t)”，PG2信号122可由上面等式(5)中的函数“1-m(t)”表示。
入射光的像素检测可被称为“ON事件”，然而入射光的强度下降可产生“OFF事件”。响应于ON事件而生成的光电流可使像素输出电压(PIXOUT)从其最初重置电平降低。因此，像素用作换能器以将接收的照明/光信号转换为对应的电子(模拟)电压，其通常命名为图5-9中的PIXOUT信号。像素的行中的每个像素可被单独读取。模拟pixout信号可通过对应的列ADC被转换为数字值。
再次参照图7，当光电门103、120在快门“打开”时段期间感测接收的照明并捕获返回光脉冲37时，转换的光电子可基于调制电压PG1和PG2的比值在两个光电门103和120之间分离。在图7中示出对应的光电门输出VPG1和VPG2(如由模拟调制信号PG1和PG2调制)。如前面提及的，分开的电荷可通过电容器109和125存储在各SD节点(SD1、SD2)上。可以看出，如果返回光脉冲37的TOF小于快门打开时段的一半，则SD1电容器109(图6)上的电压改变可小于SD2电容器125上的电压改变。另一方面，如果TOF大于快门打开时段的一半，则SD1电容器109上的电压改变可大于SD2电容器125上的电压改变。快门关闭之后，如由RST信号115的简要断言所指示的，浮置扩散节点94-95可首先被重置。其后，“采样RST”信号140可被像素列单元76中适当的列特定读取电路(未示出)内部断言以从抽头94-95两者对pixout信号97-98的各自重置电平141-142采样。这样的采样可为由图7中的箭头144指示的相关双采样(CDS)读出时段的一部分。下面简要描述CDS操作。在特定实施例中，采样RST信号140也可用于重置对应的列特定ADC单元(未示出)，使得ADC单元“准备”，以之后在ADC转换时段期间(由图7中的箭头145指示)对像素输出的正确信号值进行采样。在其他实施例中，可在内部使用单独的“ADC重置”信号以重置ADC单元。在一些实施例中，可使用共同的ADC重置信号代替个体ADC特定重置信号来一起重置所有的列特定ADC单元。在一个实施例中，ADC可被重置为预先确定的二进制值，诸如二进制“0”或其他已知的数字。
理解的是，CDS是用于以允许去除不期望的偏移的方式测量电气值(诸如，像素/传感器输出电压(pixout))的降噪技术。在具体实施例中，可在像素列单元76(图5)中采用列特定CDS单元(未示出)以执行相关双采样。在CDS中，像素(诸如图6中的像素92)的输出(或多个输出)可被测量两次：一次在已知的条件下，另一次在未知的条件下。可从在未知条件下测量的值中减去在已知条件下测量的值，以生成具有与测量的物理量有已知关系的值，在此，为代表接收的光的像素特定部分的光电子电荷。使用CDS，通过在每个积分时段结束时从像素的信号电压去除像素的参考电压(诸如，其被重置后的像素电压)，可降低噪声。因此，在CDS中，如通过前面讨论的采样RST信号140的断言所示，在像素的电荷作为输出而被传输之前，对重置值采样。从像素的电荷被传输之后的值中“扣除”参考值。因此，CDS输出是像素的重置电平与接收的信号电平之差。
在图7的实施例中，差分像素输出97-98的各信号电平的收集(或采样)可通过导通TX栅极111、126来初始化以将从SD电容器109、125收集的光电子传输至FD电容器113、127，因此传输到FD节点94-95。在图7中，虚线椭圆147-148示出在积分时段结束时各像素输出97-98到信号电压149-150的过渡，在具体实施例中，所述积分时段可与电子快门有效期间的时段对应，诸如图7中的快门打开时段138。这样的过渡和产生的信号电平149-150分别反应在对应的模拟调制信号PG1和PG2的控制下生成的振幅调制输出VPG1和VPG2。在CDS读出时段144期间，这些光信号电平149-150可被再次采样。这样的采样操作可通过“采样信号(SIG)”脉冲152的断言而被触发。类似于采样RST脉冲140，采样SIG脉冲152也可通过像素列单元76(图5)中的适当的列特定读出电路(未示出)被内部断言以使对应的列特定CDS单元能够获得接收的信号电平149-150的值，并从而生成针对像素92的一对对应的像素特定CDS输出。
在此注意的是，在CDS读出时段144期间，两个重置电平141-142可被并行采样，例如，使用同一对CDS电路作为列特定CDS单元的部分。类似地，两个信号电平149-150也可被并行采样以生成一对像素特定CDS输出。因此，虽然在图7中示出了一个采样RST信号140和一个采样SIG信号152，但是这些信号可基本同时施加到所述一对CDS电路中的每个CDS电路。可选择地，在一些实施例中，每个CDS电路可具有其自身的采样RST和采样SIG信号，在此情况下可具有均类似于信号140的两个采样RST信号和均类似于信号152的两个采样SIG信号。随后，像素特定CDS输出可由像素列单元76中的各列特定ADC单元(未示出)被转换为数字值，在此为由图5中的箭头88指示的P1值和P2值。在一个实施例中，可使用例如作为列特定ADC单元的部分的同一对的ADC电路来并行生成P1值和P2值。因此，重置电平和pixout信号97-98的对应的光电平之间的差可通过列并行ADC被转换为数值并输出为像素特定信号值(P1和P2)，以使得能够基于前面给出的等式(8)计算针对像素92的返回脉冲37的像素特定TOF值。如前面提及的，可通过像素阵列处理单元46自身或通过系统15中的处理器19执行这样的计算。因此，也可使用例如等式(2)或等式(3)确定到3D物体26(图2)的像素特定距离。可对像素阵列42中的像素的所有行重复逐个像素电荷收集操作。基于针对像素阵列42中的像素43的全部像素特定距离或距离值，可例如通过处理器19生成物体26的3D图像，并在合适的显示器或与系统15关联的用户界面上显示物体26的3D图像。此外，例如当不计算距离值或不管距离值的可用性如何而期望2D图像时，可通过将P1值和P2值简单相加来生成3D物体26的2D图像。在具体实施例中，例如当使用IR激光器时，这样的2D图像可简单地为灰度图像。
图8示出根据本公开的具体实施例的单抽头像素155的示例性电路细节。除了为单抽头像素之外，图8中的像素155在设计方面与图6的双抽头像素92基本相似。因此，为简明起见，在此仅提供对图8中的电路配置的简要描述。类似地，之后仅参照图9讨论单抽头像素155的操作的突出方面。可以看出，在具体实施例中，像素阵列42中的每个像素43可具有图8中的像素155的配置。像素155具有一个光电子收集“位置”或FD结156，因此，像素155可被称为“单抽头”像素，与之前参照图6讨论的双抽头像素92相反。如之后参照图9讨论的，单个电荷收集位置156可提供单个像素输出157，其中，单个像素输出157可被发送至列ADC单元(未示出)以生成各自的P1值和P2值。如所示出的，图8中的单抽头像素155可具有包含共享共同的FD结156和连接的输出电路的两个基本相同的电路部158-159的对称配置。如在图6的双抽头像素92的情况，图8中的单抽头像素155的每个电路部158-159也可被分为三个操作单元：电荷生成部、信号收集部和信号传输部。
电路部158的电荷生成部可包括作为光电门(PG)的NMOS晶体管160以及如所示连接的NMOS防闪光(AB)晶体管161。如图所示，光电门160可在其栅极端子处接收模拟调制信号(PG1)162，晶体管161可在其栅极端子处接收AB信号163。可从行解码器/驱动器72(图5)接收AB信号163和模拟调制信号162(PG1)。PG1信号162可利用图3中的模拟调制信号54来类推。由光电门160生成的电荷或光电子可表现为光电门输出信号VPG1，其使用附图标记“164”表示。在特定实施例中，根据需要进行适当的电路修改，可使用钉扎光电二极管或其他光学换能器替代光电门。
电路部158的信号收集部可包括用于电子快门(SH)功能的NMOS晶体管165和在晶体管165的源极端子处与存储扩散节点关联的电容器166(在图8中被称为“SD1”)。为便于说明，没有使用附图标记个别地标识SD节点，在此可使用术语“SD1”来可交换地指示SD节点或电容器166。在特定实施例中，SD电容器(如电容器109(图6)和电容器166(图8)等)可不是额外的电容器，而可以仅是各SD节点的结电容器。如图所示，晶体管165可接收SH信号167作为施加到其栅极端子的输入。这些组件可如图8中所示地连接。可从行解码器/驱动器72(图5)接收SH信号167。因此，信号收集部连接至电荷生成部以在电子快门输入的控制下接收由电荷生成部产生的电子信号(VPG1)。在此注意的是，如参照图9更详细地讨论的，VPG1信号164和Pixout信号157取决于调制信号PG1和PG2的比值。
电路部158的信号传输部可包括在其栅极端子处接收TX1信号169的传输栅极NMOS晶体管168、在其栅极端子处接收RST信号171的NMOS重置晶体管170、作为缓冲器放大器的NMOS源极跟随器172以及与源极跟随器172共源共栅并在其栅极端子处接收SEL信号174的NMOS选择晶体管173。在此注意的是，包括重置晶体管170、源极跟随器172和选择晶体管173的电路可被电路部159共用作为其信号传输部的一部分。可从行解码器/驱动器72(图5)接收TX1信号169、RST信号171以及SEL信号174。形成信号传输部的各种组件可如图8中所示连接。由于单抽头像素155中的单一pixout线157，两个单独的传输(TX)信号(TX1和TX2)可被提供为经由公共pixout线157将每个电路部特定电荷从FD节点156顺序地传输至ADC单元(未示出)。下面参照图9的讨论提供图8中各种信号的时序和操作的更多细节。
在图8中，除了PG2和TX2信号之外，由电路部159接收的所有其他信号(如SEL信号、SH信号和AB信号等)与电路部158中标识的信号相同。因此，使用相同的附图标记指示电路部158和159之间共同的信号。此外，形成电路部159的组件与电路部158中的与其配对的组件基本相同。考虑到上面对电路部158中与附图标记“160”至“174”关联的实体的初期讨论，为简明起见，不提供对电路部159中与附图标记“177”至“184”关联的类似组件和信号的功能的额外的讨论。之前对电路部158的构造和操作的讨论对类似构造的电路部159仍然适用。简要地，在电路部159中，电荷生成部包括与附图标记163和177-180关联的实体，信号收集部包括与附图标记167和181-182关联的实体，信号传输部包括与附图标记170-174和183-184关联的实体。
与图6中的像素92相似，图8的实施例中的像素155也可视为具有两个光电子接收器电路(或者，简单地，“光电子接收器”)，每个光电子接收器接收对应的调制信号PG1或PG2。这些光电子接收器可基于两个调制信号PG1和PG2的信号电平将生成的光电子分为两个部分。图8中的第一“光电子接收器”可包括光电门160、晶体管161和165以及电容器166。类似地，图8中的第二“光电子接收器”可包括光电门177、晶体管178和181以及电容器182。
图9是根据本公开的特定实施例示出当像素阵列(诸如图2和图5中的像素阵列42)中使用图8的实施例中的像素155以测量TOF值时图1-2的系统15中的不同信号的示例性时序的时序图187。为统一起见并便于讨论，使用相同的附图在图9中标识在图8的实施例中示出的各种输入和输出信号(诸如AB信号163、SH信号167和Pixout信号157等)。除了两个传输信号(TX1和TX2)的断言和关联的CDS读出操作，图9中的时序图187与在前面已经详细讨论过的图7中的时序图135基本类似。因此，下面仅提供对图9的实施例中的电荷转换和ADC转换操作的简要描述。
在图9的实施例中，可以存在两种不同的方式188-189来通过ADC转换生成P1值和P2值。这些方法中的任一种可用于执行ADC转换。如图9所示，对于这两种方法，开关“关闭”时段190和开关“打开”时段191可相同。在具体实施例中，如前面提及的，开关“打开”或“有效”时段191可代表电荷集成持续时间。在选择188和189两者中，在开关“有效”时段191结束后，如RST信号171的简短断言所指示的，浮置扩散节点156可首先被重置。之后，“采样RST”信号192可被像素列单元76中的适当的列特定读出电路(未示出)内部断言以对pixout信号157的重置电平193采样。无论实施两个选择188-189中的哪一个，这样的采样可为CDS读出时段194或195的一部分。如前面提及的，在特定实施例中，采样RST信号192也可用于重置对应的列特定ADC单元(未示出)使得ADC单元“准备”以对ADC转换时段期间输出的各像素的正确的信号值进行采样。在第一种方法188的情况下，可存在单个ADC转换时段196，如下面更详细地讨论的在第二种方法189中可存在两个ADC转换时段197-198。另外如前面提及的，在一些实施例中，单独的“ADC重置”信号可被内部使用以重置ADC单元。在其他实施例中，可使用共同的ADC重置信号代替个别的ADC专用重置信号来一起重置全部列特定ADC单元。在一个实施例中，ADC可被重置为预定的二进制值，诸如二进制“0”或其他已知的数字。
在图9的实施例中，可通过顺序地导通TX栅极168、183来初始化像素输出157的信号电平199-200的收集(或采样)以将收集的光电子从SD电容器166、182传输至FD节点156。在图9中，虚线椭圆201-202示出了在积分时段结束时像素输出157到信号电压199-200的过渡，其中，在具体实施例中，所述积分时段可与电子快门有效期间的时段(诸如图9中的快门打开时段191)对应。这样的过渡和产生的信号电平199-200分别反应在对应的模拟调制信号PG1和PG2的控制下生成的振幅调制输出VPG1和VPG2。在此可以看出，信号电平199可代表“P1”值，即，在SD1电容器166处收集的电荷。然而，由于考虑到单个像素输出线157适用于输出收集的电荷的情况，信号电平200“建立”在之前的pixout电压电平199上，因此信号电平200可代表“P1+P2”值，即，由SD1和SD2电容器收集的全部电荷。由于两个单独的pixout线97-98，因此其与图7的实施例中的情况不同。结果，两个不同的选择188-189可被用于“读取”由pixout信号157给出的收集的电荷。在第一种方法188中，单个CDS读出时段194可用于对信号电平199-200两者采样。在另一方面，在第二种方法189中，两个单独的CDS读出时段195和204可如下面讨论的用于对个别的信号电平199-200采样。
在第一选择188中的CDS读出时段194期间，光信号电平199-200可被顺序地采样。如图所示，这样的采样操作可被由第二“采样SIG2”脉冲207跟随的第一“采样SIG1”脉冲206的断言触发。与采样RST脉冲192相似，这些采样SIG脉冲206-207也可被像素列单元76(图5)中的适当的列特定读出电路(未示出)内部断言以使得对应的列特定CDS单元能够获得接收的信号电平199-200的值，并从而生成用于像素155的对应的一对像素特定CDS输出。在此注意的是，由于采样操作的连续性质，在图9的实施例中单个CDS电路可以足够。最初，在CDS读出时段194期间(如由采样SIG1脉冲206触发)第一信号电平199可被采样，并且可以从采样的电平199中减去像素重置电平193以生成代表“P1”值的第一CDS输出(未示出)。第一CDS输出值可存储在CDS单元自身内部或存储在像素阵列控制单元46内的存储部分(未示出)中。因此，可利用采样SIG2脉冲207来对第二信号电平200采样。如前面提及的，信号电平200可代表“P1+P2”值或P1值与P2值的和。在这种情况下，存储为第一CDS输出的之前采样的信号值199可用作新的“重置”电平，并从采样值200减去之前采样的信号值199以生成代表“P2”值的第二CDS输出(未示出)。随后，这些第一CDS输出和第二CDS输出可被发送至各列特定ADC单元以被转换成对应的数字值，这里，“P1”和“P2”值由图5中的箭头88指示。在一个实施例中，如果每列仅存在一组采样电容器和ADC单元，则ADC单元可响应于接收到的每个CDS输出而顺序地生成P1值和P2值。在另一个实施例中，一旦接收第一CDS输出和第二CDS输出两者，通过每列特定ADC单元具有两组采样电容器和ADC，ADC单元可基本同步生成P1值和P2值以将P1值和P2值并行数字化。
相反，在第二种方法189中CDS读出和ADC转换操作稍有不同。在第一CDS读出时段(在图9中“CDS Readout1”时段)期间，可使用采样SIG1脉冲206对第一信号电平199采样并且可从其中减去像素重置电平193以生成第一CDS输出(未示出)，其可在第一ADC转换时段(在图9中被称为“ADCConv1”时段)197期间被发送至各ADC单元以生成像素特定信号值“P1”。其后，在第二CDS读出时段(在图9中“CDS Readout2”时段)204期间，可使用采样SIG2脉冲207对第二信号电平200采样并且可从其中减去像素重置电平193以生成代表“P1+P2”值或关于原始像素重置电平193的全部收集的电荷的第二CDS输出(未示出)。在第二ADC转换时段(在图9中被称为“ADC Conv2”时段)198期间，第二CDS输出可被各ADC单元数字化并且转换为“P1+P2”值。因此，在第二种方法189中，与在上面讨论的第一种方法188的情况中的“P1”和“P2”值相反，像素列单元76(图5)中的ADC单元的输出可代表“P1”值和“P1+P2”值。在第二种方法189中，每列可仅需要一组采样电容器和ADC单元以首先使“P1”数字化，之后使“P1+P2”数字化。
因此，无论使用两种方法188-189中的哪一种，可基于前面给出的等式(8)对于像素155计算返回脉冲37的像素特定TOF值。如之前提及的，可通过像素阵列处理单元46自身或通过系统15中的处理器19执行这样的计算。因此，也可使用例如等式(2)或等式(3)确定到3D物体26(图2)的像素特定距离。可针对像素阵列42中的像素的所有行重复逐个像素电荷收集操作。基于针对像素阵列42中的像素43的全部像素特定距离或距离值，可例如通过处理器19生成并在适当的显示器或与系统15关联的用户界面上显示物体26的3D图像。此外，例如当不计算距离值或不管距离值的可用性如何而期望2D图像时，可添加在两种方法188-189中任一种方法中获得的像素特定P1值和P2值以生成3D物体26的2D图像。在具体实施例中，例如当使用IR激光器时，这样的2D图像可简单地为灰度图像。
总之，像素设计92(图6)和155(图8)中的每个包括两个光电子接收器电路，接收的电荷在这两个电路之间的分布可由两个模拟调制电压(PG1和PG2)的差(或比值)控制。因此，在单个像素上TOF技术与模拟振幅调制结合以创建用于TOF测量在时域中被调制的差分信号(VPG1和VPG2(或对应的Pixout信号))。基于TOF的距离测量及其分辨率通过改变通过调制信号PG1和PG2给予的调制的持续时间是可控制的。结果，使用根据本公开的教导的基于AM的TOF图像传感器的自主导航系统在诸如以低光、雾、恶劣天气、强环境光等为例的困难的驾驶条件下可为驾驶者提供改善的视野。
图10描绘了根据本公开的一个实施例的在图1-2中的系统15的总体布局。因此，为便于参考和讨论，对于共同的系统组件/单元在图1-2和图10中使用相同的附图标记。
如之前讨论的，根据本公开的发明方面的成像模块17可包括在图2、图5、图6(或图8)的示例性实施例中示出的期望的硬件以实现2D/3D成像和TOF测量。处理器19可配置为与多个外部装置交互。在一个实施例中，成像模块17可用作为了后续处理而向处理器19提供数据输入的输入装置(以处理像素输出的形式，诸如，以图5中的P1和P2值为例)。处理器19也可从可为系统15的一部分的其他输入装置(未示出)接收输入。这样的输入装置的一些示例包括计算机键盘、触摸板、触摸屏、操纵杆、物理或虚拟“可点击的按钮”和/或计算机鼠标/打印装置。在图10中，处理器19示出为结合到系统存储器20、外围存储单元210、一个或更多个输出装置212和网络接口214。在图10中，显示单元示出为输出装置212。在一些实施例中，系统15可包括不止一个示出的装置的实例。系统15的一些示例包括计算机系统(台式或膝上型)、平板计算机、移动装置、蜂窝电话、视频游戏单元或控制台、机器对机器(M2M)通信单元、机器人、汽车、虚拟现实装备、无状态“薄”客户端系统、汽车的行车记录仪或倒车照相机系统、自主导航系统或任何其他类型的计算或数据处理设备。在各种实施例中，图10中示出的全部组件可安装在单个外壳中。因此，系统15可配置为独立系统或呈任何其他合适的形状系数。在一些实施例中，系统15可配置为用户端系统而非服务器系统。
在具体实施例中，系统15可包括一个以上处理器(例如，在分布式处理配置中)。当系统15为多处理器系统时，可存在一个以上处理器19的实例或可存在通过其各自的接口(未示出)结合到处理器19的多个处理器。处理器19可为芯片上系统(SoC)和/或可包括一个以上中央处理单元(CPU)。
如之前提及的，系统存储器20可为任意基于半导体的存储系统，诸如，DRAM、SRAM、PRAM、RRAM、CBRAM、MRAM、STT-MRAM等。在一些实施例中，系统存储器20可包括与一个或更多个非3DS存储器模块连接的至少一个3DS存储器模块。非3DS存储器可包括双数据速率或双数据速率2、3或4同步动态随机存取存储器(DDR/DDR2/DDR3/DDR4SDRAM)或
Figure BDA0001381644190000291
闪存、各种类型的只读存储器(ROM)等。此外，在一些实施例中，与单一类型的存储器不同，系统存储器20可包括多种不同类型的半导体存储器。在其他实施例中，系统存储器20可为永久数据存储介质。
在各种实施例中，外围存储单元210可包括对磁性的、光学的、磁光或固态存储介质的支持，固态存储介质为诸如硬盘、光盘(诸如紧凑型磁盘(CD)或数字通用光盘(DVD))、非易失性随机存取存储器(RAM)装置等。在一些实施例中，外围存储单元210可包括诸如光盘阵列(其可位于合适的RAID(独立磁盘冗余阵列)结构中)或存储区域网络(SAN)的更复杂的存储装置/系统，外围存储单元210可经由标准外围接口结合至处理器19，所述标准外围接口可为诸如小型计算机系统接口(SCSI)接口、光纤通道接口、
Figure BDA0001381644190000292
(IEEE 1394)接口、基于外围组件接口快速(PCI ExpressTM)标准的接口、基于通用串行总线(USB)协议的接口或其他合适的接口。各种此类存储装置可为永久数据存储介质。
显示单元212可为输出装置的示例。输出装置的其他示例包括图形/显示装置、计算机屏幕、报警系统、CAD/CAM(计算机辅助设计/计算机辅助加工)系统、视频游戏站、智能电话显示屏幕或任意其他类型的数据输出装置。在一些实施例中，诸如成像模块17的输入装置和诸如显示单元212的输出装置可经由I/O或外围接口结合到处理器19。
在一个实施例中，网络接口214可与处理器19通信以使系统15能够结合到网络(未示出)。在另一个实施例中，网络接口214可一起不存在。网络接口214可包括任意合适的装置、介质和/或用于将系统15连接至网络(无论有线或无线)的协议内容。在各种实施例中，网络可包括局域网(LAN)、广域网(WAN)、有线或无线以太网、电信网络、卫星链路或其他合适类型的网络。
系统15可包括机载供电单元215以向图10中示出的各种系统组件提供电力。电源单元215可接收电池或可连接至AC电源插座或车载电源插座。在一个实施例中，电源单元215可将太阳能或其他可再生能源转换为电能。
在一个实施例中，成像模块17可与诸如以通用串行总线2.0或3.0(USB2.0或3.0)接口或之上为例的插入任何个人计算机(PC)或膝上型计算机的高速接口结合。诸如以系统存储器20为例的永久计算机可读数据存储介质或诸如CD/DVD的外围数据存储单元210可存储程序代码或软件。如前所述，诸如，以之前参照图1-9讨论的操作为例，处理器19和/或成像模块17中的像素阵列控制单元46(图2)可配置为执行程序代码，从而系统15可有效地执行2D成像(例如，3D物体的灰度图像)、TOF和距离测量、使用像素特定距离/距离值生成物体的3D图像。例如，在特定实施例中，一旦执行程序代码，处理器19和/或控制单元46可适当地配置(或激活)相关的电路组件(诸如图5中的行解码器/驱动器72和像素列单元76)以将诸如SH、RST、PG1-PG2、SEL信号等适当的输入信号施加到像素阵列42中的像素43以能够从返回激光脉冲捕获光并随后处理用于TOF和距离测量所需的像素特定P1和P2值的像素输出。程序代码或软件可为专用软件或开源软件，其中，在通过诸如处理器19和/或像素阵列控制单元46的适当的处理实体执行时，可使处理实体能够处理各种像素专用ADC输出(P1值和P2值)、确定距离值、以包括例如以基于TOF的距离测量为基础显示遥远物体的3D图像的各种形式来渲染结果。在特定实施例中，成像模块17中的像素阵列控制单元46可在像素输出数据被发送至处理器19以进一步处理和显示之前执行一些像素输出的处理。在其他实施例中，处理器19也可执行像素阵列控制单元46的一些或全部功能，在此情况下，像素阵列控制单元46可不是成像模块17的一部分。
在前面的描述中，出于解释和非限制的目的，阐述了具体的细节(诸如具体的架构、波形、接口、技术等)以提供公开的技术的透彻的理解。然而，对本领域技术人员将明显的是，所公开的技术可在脱离这些具体细节的其他实施例中实施。即，本领域技术人员将能够想出虽然未在这里明确地描述或示出但体现所公开的技术的原理的各种布置方式。在一些实例中，省略了对公知装置、电路和方法的详细描述以不利用不必要的细节模糊所公开的技术的描述。在此所公开的技术的原理、方面和实施例及其特定示例的所有陈述意图涵盖其结构和功能等同物。此外，期望这样的等同物包括当前已知的等同物以及将来开发的等同物两者，诸如，不管结构如何，开发的执行相同功能的任意元件。
因此，例如，本领域技术人员将理解是，这里的框图(例如，在图1-2中)能够代表说明性电路或采用技术的原理的其他功能单元的概念图。类似的，将理解是，图4中的流程图代表可基本由处理器执行的各种处理(例如，图10中的处理器19和/或图2中的像素阵列控制单元46)。以示例的方式，这样的处理器可包括通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP内核相关的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。以上在图1-9的背景下描述的一些或全部功能也可由硬件和/或软件中的这种处理器来提供。
当特定发明方面需要基于软件的处理时，这样的软件或程序代码可以位于计算机可读数据存储介质中。如之前提及的，这样的数据存储介质可为外围存储单元210的一部分，或可为系统存储器20或图像传感器单元24的任意内部存储器(未示出)、或处理器19的内部存储器(未示出)的一部分。在一个实施例中，处理器19和/或像素阵列控制单元46可执行存储在这样介质上的指令以执行基于软件的处理。计算机可读数据存储介质可为包含由通用计算机或上面提及的处理器执行计算机程序、软件、固件或微码的永久数据存储介质。计算机可读存储介质的示例包括ROM、RAM、数字寄存器、高速缓存存储器、半导体存储装置、磁性媒体(诸如内置硬盘、磁带和可移动磁盘)、磁光媒体、以及诸如CD-ROM磁盘和DVD的光学媒体。
根据本公开的发明方面的成像模块17或包括这样的成像模块的系统15的可替代的实施例可包括负责提供附加功能的附加的组件，所述附加功能包括如上确定的任意功能和/或根据本公开的教导支持解决方法所必需的任意功能。虽然以上在具体结合中描述了特征和元件，但可在没有其他特征和元件或者在有或没有其他元件的各种组合中单独使用每个特征或元件。如前所述，这里讨论的各种2D和3D成像功能可以以存储在计算机可读数据存储介质(上述)上的编码指令或微码的形式通过硬件(诸如电路硬件)和/或能够执行软件/固件的硬件的使用来提供。因此，这样的功能和示出的功能块可将被理解为硬件实现的和/或计算机实现的，因此为机器实现的。
前面描述了在像素阵列的每个像素中将TOF技术与模拟振幅调制结合的系统和方法。像素可为双抽头像素或单抽头像素。像素包括两个光电子接收器电路，每个光电子接收器电路接收各自的模拟调制信号。接收的光电子电荷在这两个电路之间的分布由两个模拟调制电压的差(或比值)控制。在像素内以这种方式生成的差分信号在用于TOF测量的时域中被调制。因此，TOF信息通过像素自身内部的基于模拟域单端差分转换器被添加到接收的光信号。基于TOF的距离测量及其分辨率通过改变通过调制信号给予的调制的持续时间是可控的。结果，根据本公开的教导使用基于AM的TOF图像传感器的自主导航系统可在诸如以低光、雾、恶劣天气、强环境光等为例的困难的驾驶条件下为驾驶员提供改善的视野。在像素内提供模拟振幅调制以控制电荷分布的基于像素的方法也可用在非TOF系统中。
如本领域技术人员将认识到的，可以在广泛的应用中修改和改变本申请中描述的创新概念。因此，专利主题的范围不应该限于上述任何特定的示例性教导，而是由权利要求来限定。

Claims (20)

1.一种用于测距的方法，所述方法包括：
将激光脉冲投射到三维物体上；
在像素中将第一模拟调制信号施加到第一光电子接收器并且将第二模拟调制信号施加到第二光电子接收器，其中，第二模拟调制信号是第一模拟调制信号的逆；
使用第一光电子接收器和第二光电子接收器检测返回脉冲，其中，返回脉冲是从三维物体反射的投射脉冲；
响应于返回脉冲的光电子接收器特定检测来生成一对信号值，其中，所述一对信号值包括第一信号值和第二信号值，其中，第一信号值和第二信号值中的每个信号值基于从第一模拟调制信号和第二模拟调制信号中的对应的一个接收的调制；以及
使用第一信号值与第一信号值和第二信号值的总和之比确定返回脉冲的飞行时间值。
2.根据权利要求1所述的方法，其中，第一光电子接收器包括第一光电门，第二光电子接收器包括第二光电门，其中，第一模拟调制信号施加到第一光电门，第二模拟调制信号施加到第二光电门。
3.根据权利要求1所述的方法，所述方法还包括：
进一步将快门信号施加到像素，其中，第一模拟调制信号和第二模拟调制信号与快门信号基本同时施加；以及
在快门信号以及第一模拟调制信号和第二模拟调制信号有效的同时，使用第一光电子接收器和第二光电子接收器来检测返回脉冲。
4.根据权利要求3所述的方法，其中，快门信号在投射激光脉冲之后施加预定的时间段。
5.根据权利要求1所述的方法，所述方法还包括：基于飞行时间值确定到三维物体的距离。
6.根据权利要求1所述的方法，其中，投射激光脉冲的步骤包括：
使用作为下述之一的光源来投射激光脉冲：
激光光源；
产生可见光谱中的光的光源；
产生非可见光谱中的光的光源；
单色照明源；
红外激光器；
X-Y可寻址光源；
具有二维扫描能力的点源；
具有一维扫描能力的片源；以及
散射激光器。
7.根据权利要求1所述的方法，其中，像素为双抽头像素，其中，生成所述一对信号值的步骤包括：
在检测返回脉冲之后基本同时地从像素获得第一像素特定输出与第二像素特定输出，其中，第一像素特定输出是由第一模拟调制信号来振幅调制的，第二像素特定输出是由第二模拟调制信号来振幅调制的；
使用模数转换器单元基本同时对第一像素特定输出和第二像素特定输出采样；
基于所述采样，使用模数转换器单元基本并行生成与第一像素特定输出对应的第一信号值以及与第二像素特定输出对应的第二信号值。
8.根据权利要求1所述的方法，其中，像素为单抽头像素，其中，生成所述一对信号值的步骤包括：
在检测到返回脉冲之后从像素获得被第二像素特定输出跟随的第一像素特定输出，其中，第一像素特定输出是由第一模拟调制信号来振幅调制的，第二像素特定输出是由第二模拟调制信号来振幅调制的；
使用模数转换器单元对第一像素特定输出和第二像素特定输出采样；以及
基于所述采样，使用模数转换器单元生成与第一像素特定输出对应的第一信号值以及与第二像素特定输出对应的第二信号值。
9.根据权利要求1所述的方法，其中，像素为单抽头像素，其中，生成所述一对信号值的步骤包括：
在检测到返回脉冲之后从像素获得被第二像素特定输出跟随的第一像素特定输出，其中，第一像素特定输出是由第一模拟调制信号来振幅调制的，第二像素特定输出是由第二模拟调制信号来振幅调制的；
使用模数转换器单元对第一像素特定输出进行第一采样；
基于所述第一采样，使用模数转换器单元生成第一信号值；
使用模数转换器单元对第一像素特定输出和第二像素特定输出的总和进行第二采样；以及
基于所述第二采样，使用模数转换器单元生成第一信号值和第二信号值的总和。
10.根据权利要求1所述的方法，其中，第一模拟调制信号和第二模拟调制信号是随时间变化的。
11.一种图像传感器中的像素，所述像素包括：
电荷生成部，包括用于将由3D物体对投射脉冲的反射而导致的返回脉冲转换为各自的电信号的第一电路和第二电路，其中，第一电路被配置为接收第一模拟调制信号，第二电路被配置为接收第二模拟调制信号，其中，第一电路和第二电路被配置为根据第一模拟调制信号和第二模拟调制信号来生成各自的电信号，其中，第二模拟调制信号是第一模拟调制信号的逆；
信号收集部，连接至电荷生成部并被配置为接收电子快门输入，其中，信号收集部操作为在电子快门输入的控制下接收由电荷生成部产生的电信号；
信号传输部，连接至信号收集部并且被配置为接收多个外部输入，其中，信号传输部操作为响应于所述多个外部输入将电信号作为像素输出来传输，其中，信号传输部基于像素输出生成像素第一信号值和像素第二信号值，以用于使用像素第一信号值与像素第一信号值和像素第二信号值的总和之比确定返回脉冲的飞行时间值。
12.根据权利要求11所述的像素，其中，像素为双抽头像素，其中，信号收集部包括从第一电路接收第一电信号的第一部分和从第二电路接收第二电信号的第二部分，其中，信号传输部包括将第一电信号作为像素输出的第一部分而传输的第一输出端子和将第二电信号作为像素输出的第二部分而与像素输出的第一部分基本同时传输的第二输出端子。
13.根据权利要求11所述的像素，其中，像素是单抽头像素，其中，信号收集部包括从第一电路接收第一电信号的第一部分以及从第二电路接收第二电信号的第二部分，其中，信号传输部包括将第一电信号作为像素输出的第一部分而传输的输出端子，其中，作为像素输出的第一部分的第一电信号被作为像素输出的第二部分的第二电信号跟随。
14.根据权利要求11所述的像素，其中，电荷生成部、信号收集部和信号传输部中的每个为互补金属氧化物半导体部。
15.根据权利要求11所述的像素，其中，第一电路包括被配置为在其栅极端子处接收第一模拟调制信号的第一光电门，其中，第二电路包括被配置为在其栅极端子处接收第二模拟调制信号的第二光电门。
16.一种成像单元，所述成像单元包括：
光源，操作为将激光脉冲投射到三维物体上；以及
图像传感器单元，所述图像传感器单元包括：
多个像素，布置成二维像素阵列，其中，二维像素阵列中的至少一行像素中的每个像素包括被配置为接收第一模拟调制信号的像素特定第一电路以及被配置为接收作为第一模拟调制信号的逆的第二模拟调制信号的像素特定第二电路，其中，所述至少一行像素中的每个像素操作为使用像素特定第一电路和像素特定第二电路来检测由3D物体对投射脉冲的反射而导致的返回脉冲并基于由第一模拟调制信号和第二模拟调制信号接收的调制而生成像素特定输出；
多个模数转换器单元，其中，每个模数转换器单元与所述至少一行像素中的各像素关联，并操作为基于像素特定输出而生成一对像素特定信号值，其中，所述一对像素特定信号值包括像素特定第一信号值和像素特定第二信号值；
处理单元，结合到所述多个模数转换器单元与二维像素阵列，其中，处理单元操作为将第一模拟调制信号和第二模拟调制信号提供给所述至少一行像素中的每个像素，其中，处理单元还操作为接收每对像素特定信号值并使用像素特定第一信号值与像素特定第一信号值和像素特定第二信号值的总和之比确定返回脉冲的对应的像素特定飞行时间值。
17.根据权利要求16所述的成像单元，其中，像素特定第一电路包括被配置为接收第一模拟调制信号的像素特定第一光电传感器，其中，像素特定第二电路包括被配置为接收第二模拟调制信号的像素特定第二光电传感器，其中，像素特定第一光电传感器和像素特定第二光电传感器操作为检测返回脉冲并基于由对应的第一模拟调制信号和第二模拟调制信号接收的调制分别提供像素特定第一电信号和像素特定第二电信号，其中，像素特定第一电信号和像素特定第二电信号使得能够生成像素特定输出。
18.一种用于测距的系统，所述系统包括：
光源，将激光脉冲投射到三维物体上；
多个像素，其中，每个像素包括被配置为接收第一模拟调制信号的各自的第一电路以及被配置为接收作为第一模拟调制信号的逆的第二模拟调制信号的各自的第二电路，其中，每个像素使用各自的第一电路和各自的第二电路来检测由三维物体对投射脉冲的反射导致的返回脉冲，并基于由第一模拟调制信号和第二模拟调制信号接收的调制来生成像素特定输出；
多个模数转换器单元，其中，每个模数转换器单元与所述多个像素中的各像素关联并操作为响应于返回脉冲的像素特定检测来生成一对像素特定信号值，其中，所述一对像素特定信号值包括像素特定第一信号值和像素特定第二信号值；
存储器，用于存储程序指令；以及
处理器，结合到存储器、所述多个模数转换器单元以及所述多个像素，其中，处理器被配置为执行程序指令，由此处理器操作为执行如下操作：促成第一模拟调制信号和第二模拟调制信号向每个像素的传递；接收每对像素特定信号值并使用像素特定第一信号值与像素特定第一信号值和像素特定第二信号值的总和之比来确定返回脉冲的对应的像素特定飞行时间值；对于所述多个像素中的每个像素，基于像素特定飞行时间值确定到三维物体的像素特定距离。
19.根据权利要求18所述的系统，其中，响应于检测返回脉冲，各自的第一电路和各自的第二电路被配置为提供对应的第一电信号和第二电信号用于生成像素特定输出，其中，第一电信号和第二电信号的振幅基于由对应的第一模拟调制信号和第二模拟调制信号接收的调制。
20.根据权利要求18所述的系统，其中，光源为下述中的一种：
激光光源；
产生可见光谱中的光的光源；
产生非可见光谱中的光的光源；
单色照明源；
红外激光器；
X-Y可寻址光源；
具有二维扫描能力的点源；
具有一维扫描能力的片源；以及
散射激光器。
CN201710706673.2A 2016-08-26 2017-08-17 图像传感器中的像素、成像单元、用于测距的系统及方法 Active CN108307180B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662380351P 2016-08-26 2016-08-26
US62/380,351 2016-08-26
US15/340,972 2016-11-01
US15/340,972 US10557925B2 (en) 2016-08-26 2016-11-01 Time-of-flight (TOF) image sensor using amplitude modulation for range measurement

Publications (2)

Publication Number Publication Date
CN108307180A CN108307180A (zh) 2018-07-20
CN108307180B true CN108307180B (zh) 2020-12-11

Family

ID=61242282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710706673.2A Active CN108307180B (zh) 2016-08-26 2017-08-17 图像传感器中的像素、成像单元、用于测距的系统及方法

Country Status (3)

Country Link
US (1) US10557925B2 (zh)
KR (1) KR102371368B1 (zh)
CN (1) CN108307180B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180064399A1 (en) * 2016-09-07 2018-03-08 Heptagon Micro Optics Pte. Ltd. Imaging systems including multi-tap demodulation pixels for biometric measurements
US10852402B2 (en) * 2017-12-07 2020-12-01 Texas Instruments Incorporated Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
US10497738B2 (en) * 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
EP3608688B1 (en) * 2018-08-09 2021-01-27 OMRON Corporation Distance measuring device
CN110858297B (zh) * 2018-08-24 2023-10-24 华为技术有限公司 光学指纹识别电路
EP3844948B1 (en) * 2018-08-30 2023-11-01 Veo Robotics, Inc. Depth-sensing computer vision system
WO2020070311A1 (de) * 2018-10-04 2020-04-09 Iris-Gmbh Infrared & Intelligent Sensors Bildgebender sensor
US10985203B2 (en) 2018-10-10 2021-04-20 Sensors Unlimited, Inc. Sensors for simultaneous passive imaging and range finding
WO2020087376A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 光探测方法、光探测装置和移动平台
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
CN111198382B (zh) * 2018-11-16 2022-07-12 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法
EP3663801B1 (en) * 2018-12-07 2022-09-28 Infineon Technologies AG Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
CN109917412A (zh) * 2019-02-01 2019-06-21 深圳奥比中光科技有限公司 一种距离测量方法及深度相机
CN109709571B (zh) * 2019-02-01 2021-06-15 武汉市聚芯微电子有限责任公司 Tof测距方法和装置
CN113518930B (zh) * 2019-03-08 2024-05-03 布鲁克曼科技株式会社 距离图像传感器以及距离图像拍摄装置
US11798960B2 (en) * 2019-03-13 2023-10-24 Sony Semiconductor Solutions Corporation Processing circuit and method for time-of-flight image sensor
WO2020223589A1 (en) * 2019-05-01 2020-11-05 Sense Photonics, Inc. Event driven shared memory pixel
WO2020223980A1 (zh) * 2019-05-09 2020-11-12 深圳奥比中光科技有限公司 时间飞行深度相机及单频调制解调的距离测量方法
WO2020223981A1 (zh) * 2019-05-09 2020-11-12 深圳奥比中光科技有限公司 时间飞行深度相机及多频调制解调的距离测量方法
WO2020234651A1 (en) * 2019-05-21 2020-11-26 Sony Semiconductor Solutions Corporation Imaging devices for capturing color and depth information
CN114008483A (zh) * 2019-06-05 2022-02-01 创新科技有限公司 用于飞行时间光学感测的系统和方法
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法
CN113037989B (zh) * 2019-12-09 2022-11-18 华为技术有限公司 一种图像传感器、相机模组及控制方法
US20210302587A1 (en) * 2020-03-24 2021-09-30 Magic Leap, Inc. Power-efficient hand tracking with time-of-flight sensor
US20210360177A1 (en) * 2020-05-12 2021-11-18 Microsoft Technology Licensing, Llc Global shutter time-of-flight camera
CN111812661A (zh) * 2020-06-22 2020-10-23 深圳奥锐达科技有限公司 一种距离测量方法及系统
KR20220010885A (ko) * 2020-07-20 2022-01-27 에스케이하이닉스 주식회사 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법
US11754718B2 (en) 2020-07-30 2023-09-12 Microsoft Technology Licensing, Llc Time of flight imaging using long and short-exposure storage nodes
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor
US20230117988A1 (en) * 2021-10-20 2023-04-20 Canon Kabushiki Kaisha Photoelectric conversion device, light emitting device, photoelectric conversion system, and moving body
DE102022110845B4 (de) 2022-05-03 2023-12-28 Ifm Electronic Gmbh Verfahren zum Betreiben eines PMD-Pixels
DE102022110844B4 (de) 2022-05-03 2023-12-28 Ifm Electronic Gmbh Verfahren zum Betreiben eines PMD-Pixels

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739901A (en) * 1995-05-12 1998-04-14 Mitsubishi Denki Kabushiki Kaisha Distance measuring apparatus and distance measuring method for a vehicle
CN102187658A (zh) * 2008-08-28 2011-09-14 美萨影像股份公司 具有菊花链电荷存储位点的解调像素以及其操作方法
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
US20120274744A1 (en) * 2011-04-26 2012-11-01 Aptina Imaging Corporation Structured light imaging system
CN104849769A (zh) * 2015-05-26 2015-08-19 浙江传媒学院 一种三维测距成像的系统及方法
WO2015166712A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
JP2015210176A (ja) * 2014-04-25 2015-11-24 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
CN105657707A (zh) * 2014-12-01 2016-06-08 英飞凌科技股份有限公司 接入控制设备和收发机设备
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
US8174931B2 (en) 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
KR101722641B1 (ko) 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US9052395B2 (en) 2011-04-29 2015-06-09 Waikatolink Limited Resonant modulation for low power range imaging cameras
KR102008233B1 (ko) 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
EP3015882B1 (en) * 2013-06-27 2020-12-09 Panasonic Semiconductor Solutions Co., Ltd. Distance measuring device
US9762890B2 (en) * 2013-11-08 2017-09-12 Samsung Electronics Co., Ltd. Distance sensor and image processing system including the same
EP3792662A1 (en) * 2014-01-13 2021-03-17 Sony Depthsensing Solutions SA/NV Time-of-flight system for use with an illumination system
KR102159994B1 (ko) * 2014-01-22 2020-09-25 삼성전자주식회사 티오에프 카메라 장치 및 이의 구동 방법
KR102194237B1 (ko) 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
WO2017103781A1 (en) * 2015-12-13 2017-06-22 Photoneo S.R.O. Methods and apparatus for superpixel modulation with ambient light suppression

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739901A (en) * 1995-05-12 1998-04-14 Mitsubishi Denki Kabushiki Kaisha Distance measuring apparatus and distance measuring method for a vehicle
CN102187658A (zh) * 2008-08-28 2011-09-14 美萨影像股份公司 具有菊花链电荷存储位点的解调像素以及其操作方法
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
US20120274744A1 (en) * 2011-04-26 2012-11-01 Aptina Imaging Corporation Structured light imaging system
JP2015210176A (ja) * 2014-04-25 2015-11-24 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
WO2015166712A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
CN105657707A (zh) * 2014-12-01 2016-06-08 英飞凌科技股份有限公司 接入控制设备和收发机设备
CN104849769A (zh) * 2015-05-26 2015-08-19 浙江传媒学院 一种三维测距成像的系统及方法

Also Published As

Publication number Publication date
KR20180023786A (ko) 2018-03-07
CN108307180A (zh) 2018-07-20
US10557925B2 (en) 2020-02-11
US20180059224A1 (en) 2018-03-01
KR102371368B1 (ko) 2022-03-07

Similar Documents

Publication Publication Date Title
CN108307180B (zh) 图像传感器中的像素、成像单元、用于测距的系统及方法
US10735714B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
US10397554B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
CN110779459B (zh) 图像传感器、成像单元和生成灰阶图像的方法
US10883822B2 (en) CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11924545B2 (en) Concurrent RGBZ sensor and system
US10021284B2 (en) Epipolar plane single-pulse indirect TOF imaging for automotives
US11988777B2 (en) Time-resolving image sensor for range measurement and 2D greyscale imaging
CN106067968B (zh) 图像传感器单元和系统
US11725933B2 (en) CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US20190187256A1 (en) Non-spad pixels for direct time-of-flight range measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant