CN108061603B - 飞行时间光传感器 - Google Patents

飞行时间光传感器 Download PDF

Info

Publication number
CN108061603B
CN108061603B CN201711001462.5A CN201711001462A CN108061603B CN 108061603 B CN108061603 B CN 108061603B CN 201711001462 A CN201711001462 A CN 201711001462A CN 108061603 B CN108061603 B CN 108061603B
Authority
CN
China
Prior art keywords
time
photons
flight
capacitor
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711001462.5A
Other languages
English (en)
Other versions
CN108061603A (zh
Inventor
奥利维尔·布尔蒂尔
王睿
杨征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN108061603A publication Critical patent/CN108061603A/zh
Application granted granted Critical
Publication of CN108061603B publication Critical patent/CN108061603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请案涉及一种飞行时间光传感器。飞行时间像素单元包含：光传感器，其用于感测从物体反射的光子；及像素支持电路。所述像素支持电路包含充电控制逻辑，其耦合到所述光传感器以检测所述光传感器何时感测到从所述物体反射的所述光子。所述像素支持电路还包含可控电流源，其经耦合以响应于经耦合以从所述充电控制逻辑接收的飞行时间信号而提供充电电流。电容器经耦合以响应于所述飞行时间信号而从所述可控电流源接收所述充电电流，且所述电容器上的电压表示与所述物体相距的往返行程距离。计数器电路耦合到所述光传感器以对从所述物体反射并由所述光传感器接收的所述光子的数量进行计数。

Description

飞行时间光传感器
技术领域
本发明大体上涉及光传感器，且更具体地说，涉及减小飞行时间测量的误差。
背景技术
对三维(3D)相机的兴趣正随着例如成像、电影、游戏、计算机、用户界面等等的3D应用的流行度的不断增长而日益增加。用于创建3D图像的典型的被动方式是使用多个相机来捕获立体或多重图像。在使用立体图像的情况下，可对图像中的物体进行三角测量以创建3D图像。此三角测量技术的一个缺点是，难以使用小型装置创建3D图像，这是因为每一相机之间必须存在最小间隔距离以便创建三维图像。此外，此技术是复杂的，且因此需要大量的计算机处理能力以便实时创建3D图像。
对于需要实时采集3D图像的应用，有时利用基于光学飞行时间测量的主动深度成像系统。飞行时间系统通常采用将光引导在物体处的光源、检测从物体反射的光的传感器，及基于光行进到物体及从物体行进所需的往返行程时间来计算与物体相距的距离的处理单元。在典型的飞行时间传感器中，由于从光检测区域到感测节点的传送效率高，故常常使用光电二极管。
3D图像采集所面临的持续挑战是，所需处理必须非常快速地进行，以便使3D图像采集系统分辨实时应用的大约例如0.1ns的时间差。随着实时应用所需的此类响应时间变短，在采集3D图像的系统中对噪声、抖动、时钟信号、热等等的敏感度面临越来越大的挑战，这是因为所需响应时间减小。当3D图像采集系统的传感器检测不到从物体反射回来的光时，也会面临另外的挑战。
发明内容
一方面，本发明提供了一种飞行时间像素单元，其包括：光传感器，其用于感测从物体反射的光子；及像素支持电路，其包含：充电控制逻辑，其耦合到所述光传感器以检测所述光传感器何时感测到从所述物体反射的所述光子，其中所述充电控制逻辑进一步经耦合以接收表示光脉冲何时从光源发射到所述物体的时序信号，且其中所述光脉冲包含所述光子；可控电流源，其经耦合以响应于经耦合以从所述充电控制逻辑接收的飞行时间信号而提供充电电流，其中所述飞行时间信号表示从所述光源发射的所述光脉冲中的每一者行进到所述物体并进入所述光传感器的飞行时间；电容器，其经耦合以响应于所述飞行时间信号而从所述可控电流源接收所述充电电流，其中所述电容器上的电压表示与所述物体相距的往返行程距离；及计数器电路，其耦合到所述光传感器以对从所述物体反射并由所述光传感器接收的所述光子的数量进行计数。
另一方面，本发明提供了一种利用飞行时间确定与物体相距的往返行程距离的方法，所述方法包括：以第一频率将包含光子的光脉冲从光源发射到物体；用光传感器接收从所述物体反射的所述光子；对电容器进行充电以在所述电容器上引发电荷，所述电荷与所述光子从所述光源行进到所述物体且从所述物体行进到所述光传感器所需的时间相关；用计数器电路对由所述光传感器接收的所述光子的数量进行计数；响应于以所述第一频率从所述光源发射所述光脉冲而在对所述电容器进行n次充电之后测量所述电容器上的电压；及响应于所述电容器上的所述电压及由所述光传感器接收的所述光子的所述数量而确定与所述物体相距的往返行程距离。
附图说明
参考以下图式描述本发明的非限制性及非详尽性实例，其中除非另有指定，否则相同元件符号是指各个视图中的相同部分。
图1A是根据本发明的教示的展示飞行时间感测系统的一个实例的框图。
图1B是根据本发明的教示的展示所发射的光脉冲、由光传感器感测的相应反射光子及在实例飞行时间像素中累积在电容器上的对应电压的实例的时序图。
图1C说明根据本发明的教示的展示在从光源发射到物体及从物体发射的多个光脉冲的每一往返行程的飞行时间期间累积在电容器上的电压的实例的时序图。
图1D说明根据本发明的教示的展示在从光源发射到物体及从物体发射的多个光脉冲的每一往返行程的飞行时间期间累积在电容器上的电压的实例的时序图。
图2A是根据本发明的教示的说明飞行时间像素的一个实例的示意图。
图2B说明根据本发明的教示的图2A所描绘的计数器的模拟实例。
图2C说明根据本发明的教示的图2A所描绘的计数器的部分的数字实例。
图3说明根据本发明的教示的利用飞行时间确定与物体相距的往返行程距离的方法。
对应的参考字符指示图式的若干视图中的指示对应组件。所属领域的技术人员应当明白的是，图中的元件是出于简单且清楚的目的而说明，且不一定是按比例绘制。例如，图中一些元件的尺寸可能相对于其它元件而被夸大以帮助改进对本发明的各种实施例的理解。此外，为了更清楚地了解本发明的这些各种实施例，通常不描绘在商业可行的实施例中有用或必要的常见但好理解的元件。
具体实施方式
本文中描述了用于飞行时间光传感器的设备及方法的实例。在以下描述中，陈述众多特定细节以提供对实施例的详尽理解。然而，所属领域的技术人员将认识到，可在没有所述具体细节中的一者或一者以上的情况下实施或以其它方法、组件、材料等等实践本文中描述的技术。在其它实例中，未展示或详细描述众所周知的结构、材料或操作以避免模糊某些方面。
贯穿此说明书对“一个实例”或“一个实施例”的参考意味着结合实例描述的特定特征、结构或特性包含于本发明的至少一个实例中。因此，在贯穿本说明书的各种地方出现短语“在一个实例中”或“在一个实施例中”不一定均指代同一实例。此外，特定特征、结构或特性可在一或多个实例中以任何合适方式组合。
如将展示，揭示了包含飞行时间像素单元的飞行时间感测系统的实例。在各种实例中，根据本发明的教示的飞行时间像素单元被过采样使得在读出之间进行多次飞行时间测量，这减少了飞行感测系统中的噪声及抖动的有害影响。例如，在一个实例中，可累积数百个、数千个或更多个测量，然后对于每一次读出而缩放所述测量，这提供了增加的总体分辨率，且使得有可能容易地区分深度仅有微小差别的物体。此外，在各种实例中，也可使用以提供具有不同范围的测量的不同频率发射的光脉冲进行多次飞行时间测量，这使得能够补偿由于未被根据本发明的教示的实例飞行时间感测系统的光传感器检测到的反射光子而引起的飞行时间测量的不准确度。此外，此处所揭示的系统提供了一种校正由于不被光传感器吸收的光子而引起的距离测量的不准确度的方法。更具体地说，可缩放飞行时间测量以反映由光传感器实际接收的光子的数量。
出于说明起见，图1A是展示飞行时间感测系统100的一个实例的框图。如所展示，飞行时间感测系统100包含发射光脉冲的光源102，所述光脉冲在图1A中被绘示为发射光104。在所说明的实例中，光源102是可调频率光源，使得发射光104的脉冲可以不同频率发射。如所展示，发射光104被引导到物体106。在一个实例中，发射光104包含红外(IR)光的脉冲。应当明白的是，在其它实例中，根据本发明的教示，发射光104可具有除了红外线之外的波长，例如可见光、近红外光等等。发射光104然后从物体106反射回来，所述发射光在图1A中被展示为回射光108。如所展示，反射光108从物体106引导通过透镜110，且然后聚焦到飞行时间像素阵列112上。在一个实例中，飞行时间像素阵列112包含以二维阵列布置的多个飞行时间像素单元(例如，雪崩光电二极管)。在一个实例中，根据本发明的教示，由耦合到飞行时间像素阵列112的控制电路116产生同步信号114，其将发射光104的脉冲与控制飞行时间像素阵列112中的多个像素单元的对应信号同步，所述多个像素单元感测反射光108。
在图1A所描绘的实例中，应注意到，飞行时间像素阵列112定位在与透镜110相距的焦距flens处。如所述实例中所展示，光源102及透镜110被定位为与物体相距距离L。当然应当明白的是，图1A未按比例绘示，且在一个实例中，焦距flens基本上小于透镜110与物体106之间的距离L。因此，应当明白的是，为了飞行时间测量的目的，距离L与距离L+焦距flens基本上相等。此外，还应当明白的是，为了本发明的目的，光源102与物体106之间的距离及物体106与透镜110之间的距离两者也基本上等于L，以达成飞行时间测量的目的。因此，光源102与物体106之间的距离(及/或物体106与透镜110之间的距离)等于往返行程距离(例如D)的一半，往返行程距离因此等于2×L。换句话说，根据本发明的教示，假设从光源102到物体106的距离L加上从物体106返回到透镜110的距离L等于往返行程距离D(或2×L)。
在所描绘的实例中，在发射光104的光脉冲的发射与反射光108中的所述光脉冲的接收之间存在飞行时间(TOF)的延迟时间，这是由于光脉冲从光源102行进距离L到物体106所需的时间量且然后对应反射光脉冲108从物体106行进距离L返回到像素阵列112所需的额外时间而引起。发射光104与反射光108之间的时间差表示使光脉冲在光源102与物体106之间进行往返行程所需的TOF。一旦知道TOF，就可使用以下方程式1及2中的以下关系来确定从光源102到物体106的距离L：
TOF＝(2 x L)/c (1)
L＝(TTOF x c)/2 (2)
其中c是大约等于3×108m/s的光速，且TOF是光脉冲如图1A所展示般行进到物体106及从物体106行进所需的时间量。
图1B是展示来自可调频率光源102的发射光脉冲、由3D传感器112感测的相应反射光子及在实例飞行时间像素中累积在电容器132上的对应电压的实例的时序图。电容器132上的电荷对应于TOF，这是因为电容器132从释放光脉冲的时间到光传感器吸收反射脉冲的时间进行充电。应当明白的是，可调频率光源102可对应于例如图1A的可调频率光源102，且3D传感器112可对应于例如图1A的飞行时间像素阵列112。如所说明的实例中所展示，在时间t1及时间t3发射光脉冲。在所述实例中，在时间t1及时间t3的光脉冲发射之间的周期等于T，其也等于光脉冲从光源102发射的频率的倒数。因此，当然应当明白的是，如果光脉冲的发射频率增加，那么时间t1与时间t3之间的时间周期T减小。
图1B所描绘的实例还说明了3D传感器112在时间t2及时间t4检测到从物体106反射回来的光子。因此，根据本发明的教示，发射光脉冲104在光源102与光传感器112之间来回行进往返行程距离D所需的飞行时间TOF等于时间t1与t2之间的时间，及/或t3与t4之间的时间，如图1B所说明。
图1B中的实例还说明了电容器132在从光源102发射光脉冲104时充电直到回射光108中的反射光子被传感器112检测到为止。在传感器112检测到反射光子之后，在从光源102发射下一个光脉冲104之前，电容器132不会进行充电。因此，电容器132上的电压在时间t1与时间t2之间以及时间t3与时间t4之间的光脉冲的飞行时间TOF期间累积，且在图1B中的时间t2与t3之间且在时间t4之后，电容器132上不再累积额外电压。
图1C是根据本发明的教示的展示在从光源发射到物体及从物体发射的光脉冲的每一往返行程的飞行时间期间累积或过采样电容器132上的电压的实例的时序图。在所描绘的实例中，电容器最初在时间t0被复位到已知电压，例如零伏特。在所述实例中，从光源102发射n个光脉冲104，使得电容器132上的电荷在光脉冲中的每一者从光源102到物体106且返回到传感器112的飞行时间的持续时间内累积n次。在所描绘的实例中，n＝6。根据本发明的教示，在电容器132已被充电或过采样n次之后，然后在时间tm读出电容器。
在图1C所展示的实例中，展示了用于三个不同飞行时间测量的图形以供比较。特定地说，图形148展示对于更靠近光传感器112的物体进行n次充电的电容器132上的电压的实例，且图形150展示对于更远离光传感器112的物体进行了n次充电的电容器132上的电压的实例。如所述实例中所展示，因为电容器132上的电压累积进行了n次充电，所以电容器132上的电压足够大到能够被具有足够的信噪比的飞行时间感测系统读出。例如，在所描绘的实例中，在进行了n次充电之后，对图形148读出测量电压Vmeas1，且在进行了n次充电之后，对图形150读取测量电压Vmeas2。此外，根据本发明的教示，图1C所描绘的实例展示，当读出时，用于图形148及图形150的电压测量Vmeas1及Vmeas2之间的差足够大到能够区分图形148及图形150的物体之间的往返行程距离差。
在一个实例中，在如所展示般的在电容器上进行了n次充电之后读出飞行时间测量之后，然后可缩放测量以考虑过采样。例如，在一个实例中，假设在n次充电之后从电容器读出电压测量Vmeas，然后可将测量Vmeas缩放充电次数n以对每一飞行时间测量产生平均值Vavg：
Vavg＝Vmeas/n (3)
其中Vavg是平均测量，Vmeas是在n次充电之后从电容器读出的测量，且n是所述读出时所述电容器充电的次数。
由图形152描绘的第三飞行时间测量展示装置试图测量大概与图形150相距相同距离的物体距离但是传感器112没有接收到从所述装置发射的若干光脉冲的实例。如所展示，此可能起始失控电容器充电(图形152的急剧增加部分)，从而导致电容器充电中的较大正误差电压(Verror)。因为电容器充电与飞行时间相关且因此与距离相关，所以在此情形下测量的距离可能太大(即使对过采样进行校正)。这可能会给飞行时间传感器带来诸多问题。如将展示，可使用添加到图2A到2C中的每一飞行时间像素的计数器来校正此问题。
类似地，图1D也说明根据本发明的教示的展示在从光源发射到物体及从物体发射的多个光脉冲(n＝6)的每一往返行程的飞行时间期间累积在电容器上的电压的实例的时序图。如同图1C，在图1D中，展示了用于三个不同飞行时间测量的图形以供比较。特定地说，图形148展示对于更靠近光传感器112的物体进行了n次充电的电容器132上的电压的实例，且图形150展示对于更远离光传感器112的物体进行了n次充电的电容器132上的电压的实例。如所述实例中所展示，因为电容器132上的电压累积进行了n次充电，所以电容器132上的电压足够大到能够被具有足够的信噪比的飞行时间感测系统读出。
然而，与图1C不同，图1D中的装置通过在光传感器112检测到光子时(而不是在光源102释放脉冲时)开始对电容器进行充电而操作。因此，在此实例中，当没有接收到发射光脉冲时，由图形152描绘的第三飞行时间测量不会经历失控充电。然而，在此实施例中，当传感器112没有接收到光脉冲时，传感器不会充电，从而导致电容器上的最终电压较低。因此，所描绘的实例导致电容器充电的负误差，对应于错误减小的飞行时间测量，且导致后续测量距离较小。如将展示，可使用图2A到2C中所添加的计数器来校正此问题。
图2A是说明可包含在图1A的飞行时间感测系统中的飞行时间(TOF)像素200的一个实例的示意图。TOF像素200包含第一半导体材料201、第二半导体材料203(包含像素电路)、单光子雪崩光电二极管(SPAD)205、充电控制逻辑207、受控电流源209、电容器232、反相器225、计数器215、源极跟随器221及位线223。
如所说明，光传感器(SPAD 205)安置在第一半导体材料201中以感测从物体反射的光子，且像素支持电路安置在第二半导体材料203中。像素控制电路包含充电控制逻辑207，其耦合到光传感器(SPAD 205)以检测光传感器何时感测到从物体反射的光子(这将导致由SPAD 205产生输出脉冲)。充电控制逻辑207进一步经耦合以接收表示何时从光源(例如，图1中的光源102)向物体发射光脉冲的时序信号(开始及停止时序信号)。受控电流源209经耦合以响应于经耦合以从充电控制逻辑207接收的飞行时间信号而提供充电电流；所述飞行时间信号表示从所述光源发射的光脉冲中的每一者行进到所述物体并进入SPAD205所需的飞行时间。电容器232经耦合以响应于飞行时间信号而从受控电流源209接收充电电流。电容器232上的电压表示光从光源到物体且返回到传感器的往返行程距离。计数器电路215耦合到光传感器(SPAD 205)以对从物体反射并由所述光传感器接收的光子的数量进行计数。如所展示，反相器225可耦合在计数器215与SPAD 205之间。电容器上的电荷可经由源极跟随器晶体管221及位线223发送到读出电路。类似地，计数器215上的信号(其包含关于所接收的光子的数量的信息)可沿着位线223读出以控制逻辑，或可通过单独的专用线读出。
在一个实例中，来自计数器的信号(包含关于所接收的光子的数量的信息)及电容器上的电压是从像素支持电路读出，且光子的数量及电容器上的电压用于使用飞行时间计算从飞行时间像素单元到物体的距离。如先前结合图1B到1D所展示及讨论，电容器上的电压与飞行时间相关。然而，在此实例中，由计数器215计数的光子的数量用于校正由于光脉冲中的光子的仅一部分被光传感器(SPAD 205)接收而引起的电压的可能误差。
在飞行时间应用中，SPAD传感器可测量目标所在的距离。当SPAD的暗计数率(DCR)足够低时，可排除DCR的影响。但是仍然存在将导致TOF测量误差的光子检测概率(PDP)。为了减少时间测量中的噪声，需要大量的帧(F＝～1000帧)以通过累加来平均化(如图1C到1D的多个阶梯状图形中所展示)。但是归因于光子的概率行为，SPAD将不会在每帧时均触发，且将仅会触发小于总帧数的帧的击穿(Nreceived<Ftransmitted)。因此总时间由以下给定：
Figure BDA0001443465250000071
其中F及N(分别)是光脉冲输出数及所接收的光脉冲的数量，ttot是总时间，ttof(bar)是平均飞行时间，ti是每一帧中的测量TOF，且tf是帧时间(例如，当不测量光子时计算的时间)。
当在模拟域中进行总时间测量时，需要(例如，用计数器215)对光子实际触发光电二极管的帧的数量N进行计数以计算准确的距离。
tTOF,meas＝[tTOT–(F-N)tF]/N (5)
此允许对电容器232的过/欠充电校正(由计数器215计数的)光子的数量。相比于假设从光源(例如，图1A的光源102)释放的脉冲的数量与由SPAD 205(例如，图1A的传感器112)收集的脉冲的数量相同，对所接收的光子进行计数会产生更准确的距离测量。
图2A中还描绘了光传感器(SPAD 205)安置在第一半导体材料201中，且像素支持电路安置在第二半导体材料203中。第一半导体材料201耦合到第二半导体材料203。电互连件从第一半导体材料201延伸到第二半导体材料203，以将光传感器电耦合到像素支持电路。在一个实例中，第一半导体材料201是晶片结合到第二半导体材料203，且电互连件至少部分地延伸穿过第一半导体材料201。
图2B说明图2A所描绘的计数器215的模拟实例。如所展示，计数器电路215A包含单稳态多谐振荡器251(即，单触发)及充电电路253。单稳态多谐振荡器251包含晶体管255、晶体管257、“或”(OR)门259及反相器261。充电电路253包含晶体管265及电容器263。
响应于输出脉冲(来自SPAD 205的输入(IN))，单稳态多谐振荡器251输出逻辑高信号，其经耦合以将电容器263上的电压增加固定量。如时序图所描绘，无论输入信号如何，逻辑高信号均具有相同的脉冲宽度。模拟计数器接收逻辑高信号且经耦合以输出具有与由SPAD 205接收的光子的数量成比例的电压的信号。如时序图中所展示，因为逻辑高信号的脉冲宽度每次均相同，所以每个SPAD脉冲使存储在电容器上的电压增加固定量。因此，从充电电路输出的信号与由SPAD接收的光子的数量成正比。在所描绘的实例中，时序图展示从SPAD接收四个击穿尖峰，每一击穿尖峰对应于电容器263上的电压增加。
图2C说明图2A所描绘的计数器215的部分(一个位)的数字实例。如所说明，数字计数器电路215B包含：D触发器271(第一锁存器)，其具有经耦合以从SPAD(例如，SPAD 205)接收输出脉冲的输入；及第二锁存器273，其经耦合以从D触发器271接收输出信号且响应于读取信号而锁定所述输出信号。D触发器271从SPAD接收输出脉冲，且如时序图中所展示，导致Q变为逻辑高直到D触发器271接收到复位信号为止。
第二锁存器273接收此逻辑高输出信号，且将响应于读取(READ)信号的施加而锁定逻辑高信号。来自D触发器271的逻辑高输出信号由用晶体管277及279形成的反相器接收；晶体管277及279在施加读取及读取B信号后就被晶体管275/281停用/启用。与反相器291/293结合的晶体管285/283可维持逻辑高或逻辑低输出信号直到其被输出为止；因此锁存D触发器271的输出。
图3说明利用飞行时间确定与物体相距的往返行程距离的方法300。出现在方法300中的一些或全部过程框的顺序不应被视为限制性的。而是，受益于本发明的所属领域的技术人员将理解，方法300中的一些可以未绘示的各种顺序执行，或甚至并行执行。此外，方法300可省略某些过程框以避免模糊某些方面。替代地，方法300可包含在本发明的一些实施例/实例中可能不是必需的额外过程框。
框301描绘以第一频率将包含光子的光脉冲从光源发射到物体。如上所述，所发射的光子可为各种波长(例如，IR光、可见光、UV光等等)中的任一者。
框303说明用光传感器接收从物体反射的光子。在一个实例中，光传感器包含多个雪崩光电二极管，且由计数器计数的光子的数量响应于来自雪崩光电二极管的输出脉冲而增加。
框305展示对电容器进行充电以在电容器上引发电荷，电荷与光子从光源行进到物体及从物体行进到光传感器所需的时间(飞行时间)相关。根据本发明的教示，当发射光脉冲时(参见例如图1C)或当接收到光脉冲时(参见图1D)，可开始对电容器进行充电。
框307描绘用计数器电路对由光传感器接收的光子的数量进行计数。如图2B及2C所展示，计数器可被实施为模拟或数字逻辑。所属领域的技术人员将明白的是，可使用任何计数器电路。一旦计数器从雪崩二极管接收到输出脉冲，计数器电路就可对所接收的光子进行计数。
框309说明响应于以第一频率从光源发射光脉冲而在对电容器进行n次充电之后测量电容器上的电压。电容器上的电压可由沿着位线的读出电路读出。
框311展示响应于电容器上的电压及由光传感器接收的光子的数量而确定与物体相距的往返行程距离。此可包含根据所计数的光子的数量及电容器上的电压来计算往返行程距离。电容器上的电压与飞行时间相关，且如上所述，可使用计数器上的计数来校正电容器上由于不接收所发射的光子而导致的不准确电压。在一个实例中，通过缩放从电容器输出的信号的部分电压以考虑由光传感器接收的光子的数量来减小误差。
对本发明的所说明的实例的以上描述(包含在说明书摘要中所描述的内容)不希望为穷举性的或将本发明限于所揭示的精确形式。所属领域的技术人员将认识到，虽然出于说明目的而在本文中描述了本发明的特定实例，但在本发明的范围内的各种修改是可能的。
在以上详细描述的背景下可对本发明做出这些修改。所附权利要求书中使用的术语不应被解释为将本发明限于说明书中揭示的特定实例。而是，本发明的范围将完全由根据沿用已久的权利要求解释规则来解释的所附权利要求书确定。

Claims (20)

1.一种飞行时间像素单元，其包括：
光传感器，其用于响应于包含光子的光脉冲从光源发射至物体而感测从所述物体反射的所述光子；及
像素支持电路，其耦合至所述光传感器且包含：
可控电流源，其经耦合以响应于飞行时间信号而提供充电电流，其中所述飞行时间信号表示从所述光源发射的所述光脉冲中的每一者行进到所述物体并进入所述光传感器的飞行时间；
第一电容器，其耦合至所述可控电流源且经配置以响应于所述飞行时间信号而从所述可控电流源接收所述充电电流，其中所述第一电容器上的第一电压表示与所述物体相距的往返行程距离；及
计数器电路，其耦合到所述光传感器以对从所述物体反射并由所述光传感器接收的所述光子的数量进行计数，其中所述光子的所述数量及所述第一电压用于使用所述飞行时间计算从所述飞行时间像素单元到所述物体的距离。
2.根据权利要求1所述的飞行时间像素单元，其中包含所述光子的所述数量及所述第一电容器上的所述第一电压的信号是由读出电路从所述像素支持电路中读出，且其中所述第一电容器上的所述第一电压与所述飞行时间相关。
3.根据权利要求2所述的飞行时间像素单元，其中所述光子的所述数量用于校正由于所述光脉冲中的所述光子的仅一部分被所述光传感器接收而引起的所述第一电压的误差。
4.根据权利要求2所述的飞行时间像素单元，其中所述光传感器包含雪崩光电二极管，且其中所计数的所述光子的所述数量响应于来自所述雪崩光电二极管的输出脉冲而增加。
5.根据权利要求4所述的飞行时间像素单元，其中所述计数器电路包含模拟计数器电路，且其中包含所述光子的所述数量的所述信号是与所述光子的所述数量成比例的第二电压。
6.根据权利要求5所述的飞行时间像素单元，其中所述计数器电路包含单稳态多谐振荡器及第二电容器，其中响应于所述输出脉冲，所述单稳态多谐振荡器输出逻辑高信号，所述逻辑高信号经耦合以将所述第二电容器上的所述第二电压增加固定量。
7.根据权利要求4所述的飞行时间像素单元，其中所述计数器电路是用于对从所述物体反射的所述光子的所述数量进行计数的数字计数器电路。
8.根据权利要求7所述的飞行时间像素单元，其中所述数字计数器电路包含：D触发器，其具有经耦合以接收所述输出脉冲的输入；及第二锁存器，其经耦合以从所述D触发器接收逻辑高信号且响应于读取信号而锁定所述逻辑高信号。
9.根据权利要求1所述的飞行时间像素单元，其中所述光传感器安置在第一半导体材料中，且所述像素支持电路安置在第二半导体材料中，且其中所述第一半导体材料耦合到所述第二半导体材料，且其中电互连件从所述第一半导体材料延伸到所述第二半导体材料以将所述光传感器电耦合到所述像素支持电路。
10.根据权利要求9所述的飞行时间像素单元，其中所述第一半导体材料被晶片结合到所述第二半导体材料，且其中所述电互连件至少部分地延伸穿过所述第一半导体材料。
11.一种利用飞行时间确定与物体相距的往返行程距离的方法，所述方法包括：
将包含光子的光脉冲以第一频率从光源发射到物体；
用光传感器接收从所述物体反射的所述光子；
对第一电容器进行充电以在所述第一电容器上引发电荷，所述电荷与所述光子从所述光源行进到所述物体且从所述物体行进到所述光传感器所需的时间相关；
用计数器电路对由所述光传感器接收的所述光子的数量进行计数；
响应于以所述第一频率从所述光源发射所述光脉冲而在对所述第一电容器进行n次充电之后测量所述第一电容器上的第一电压；及
基于所述光子的所述数量和所述第一电容器上的所述第一电压计算与所述物体相距的往返行程距离。
12.根据权利要求11所述的方法，其进一步包括：
由读出电路读取包含所述光子的所述数量及所述第一电容器上的所述第一电压的信号，
其中所述第一电容器上的所述第一电压与所述飞行时间相关。
13.根据权利要求12所述的方法，其中所述光子的所述数量用于校正由于所述光脉冲中的所述光子的仅一部分被所述光传感器接收而引起的所述第一电压的误差。
14.根据权利要求13所述的方法，其中通过缩放对应于所述第一电压的所述信号的部分以考虑由所述光传感器接收的所述光子的所述数量来减小误差。
15.根据权利要求12所述的方法，其中所述光传感器包含雪崩光电二极管，且其中所计数的所述光子的所述数量响应于来自所述雪崩光电二极管的输出脉冲而增加。
16.根据权利要求15所述的方法，其中用所述计数器电路对由所述光传感器接收的所述光子的所述数量进行计数包含使用模拟计数器电路，且其中包含所述光子的所述数量的所述信号包含与所述光子的所述数量成比例的第二电压。
17.根据权利要求16所述的方法，其中所述第二电压存储在第二电容器上，其中所述第二电容器耦合到单稳态多谐振荡器电路，且其中响应于所述输出脉冲，所述单稳态多谐振荡器输出逻辑高信号，所述逻辑高信号经耦合以将所述第二电容器上的所述第二电压增加固定量。
18.根据权利要求15所述的方法，其中对由所述光传感器接收的所述光子的所述数量进行计数包含使用数字计数器电路以对从所述物体反射的所述光子的所述数量进行计数。
19.根据权利要求18所述的方法，其中所述数字计数器电路包含：D触发器，其具有经耦合以接收所述输出脉冲的输入；及第二锁存器，其经耦合以从所述D触发器接收输出信号且响应于读取信号而锁定所述输出信号。
20.根据权利要求18所述的方法，其进一步包括在用所述光传感器接收到从所述物体反射的所述光子之后将信号从安置在第一半导体材料中的所述光传感器发送到安置在第二半导体材料中的所述计数器电路。
CN201711001462.5A 2016-10-25 2017-10-24 飞行时间光传感器 Active CN108061603B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/333,653 US10291895B2 (en) 2016-10-25 2016-10-25 Time of flight photosensor
US15/333,653 2016-10-25

Publications (2)

Publication Number Publication Date
CN108061603A CN108061603A (zh) 2018-05-22
CN108061603B true CN108061603B (zh) 2020-07-28

Family

ID=61970415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711001462.5A Active CN108061603B (zh) 2016-10-25 2017-10-24 飞行时间光传感器

Country Status (3)

Country Link
US (1) US10291895B2 (zh)
CN (1) CN108061603B (zh)
TW (1) TWI659626B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10312275B2 (en) * 2017-04-25 2019-06-04 Semiconductor Components Industries, Llc Single-photon avalanche diode image sensor with photon counting and time-of-flight detection capabilities
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US10497738B2 (en) 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
CN108955906B (zh) * 2018-06-27 2020-05-19 南京邮电大学 一种应用于单光子探测器的时间-模拟转换电路
US10580820B2 (en) 2018-07-16 2020-03-03 Gigajot Technology Inc. High-sensitivity depth sensor with non-avalanche photodetector
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
TWI693421B (zh) * 2018-10-24 2020-05-11 精準基因生物科技股份有限公司 飛行時間測距裝置以及飛行時間測距方法
US11579263B2 (en) * 2018-11-29 2023-02-14 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
JP2020094849A (ja) * 2018-12-11 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置
WO2020167338A1 (en) * 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
CN110321174A (zh) * 2019-06-25 2019-10-11 Oppo广东移动通信有限公司 一种开机方法及装置、设备、存储介质
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
WO2021060144A1 (ja) * 2019-09-23 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距システム
CN111108411B (zh) * 2019-10-10 2021-06-08 深圳市汇顶科技股份有限公司 光传感器、基于飞行时间的测距系统和电子装置
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN111721408B (zh) * 2020-06-28 2021-06-22 南京大学 一种基于超导纳米线光子探测阵列的电荷积分成像方法
CN112162259B (zh) * 2020-09-15 2024-02-13 中国电子科技集团公司第四十四研究所 脉冲激光时间电压转换电路及其控制方法
US11516419B2 (en) * 2021-01-22 2022-11-29 Omnivision Technologies, Inc. Digital time stamping design for event driven pixel
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
US11770633B2 (en) * 2021-10-28 2023-09-26 Omnivision Technologies, Inc. Readout architecture for indirect time-of-flight sensing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114021A (zh) * 2006-06-14 2008-01-30 埃里斯红外线高智力传感器有限责任公司 用于确定距离的装置和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2002095679A2 (en) * 2001-05-23 2002-11-28 Canesta, Inc. Enhanced dynamic range conversion in 3-d imaging
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
JP2008028678A (ja) 2006-07-20 2008-02-07 Pentax Corp 撮像素子
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8497478B2 (en) 2009-03-31 2013-07-30 Osram Sylvania Inc. High voltage supply to increase rise time of current through light source in an optical sensor system
KR101565969B1 (ko) 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
US8760631B2 (en) 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
FR2985570A1 (fr) 2012-01-09 2013-07-12 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
WO2013104717A1 (en) * 2012-01-10 2013-07-18 Softkinetic Sensors Nv Improvements in or relating to the processing of time-of-flight signals
US8642938B2 (en) 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
JP6010425B2 (ja) 2012-10-26 2016-10-19 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
CN103472457B (zh) 2013-09-13 2015-06-10 中国科学院空间科学与应用研究中心 稀疏孔径压缩计算关联飞行时间的三维成像系统及方法
US9312401B2 (en) 2014-01-15 2016-04-12 Omnivision Technologies, Inc. Single photon avalanche diode imaging sensor for complementary metal oxide semiconductor stacked chip applications
US9523765B2 (en) 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US9313476B2 (en) * 2014-08-07 2016-04-12 Omnivision Technologies, Inc. Precharged latched pixel cell for a time of flight 3D image sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114021A (zh) * 2006-06-14 2008-01-30 埃里斯红外线高智力传感器有限责任公司 用于确定距离的装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3 nJ, 100 ps laser pulses generated with an asymmetric waveguide laser diode for a single-photon avalanche diode time-of-flight (SPAD TOF) rangefinder application;Lauri W Hallman等;《Measurement Science & Technolgy》;20120105;第23卷;第025202页 *

Also Published As

Publication number Publication date
CN108061603A (zh) 2018-05-22
TWI659626B (zh) 2019-05-11
US10291895B2 (en) 2019-05-14
TW201822491A (zh) 2018-06-16
US20180115762A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
CN108061603B (zh) 飞行时间光传感器
US9523765B2 (en) Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US11769775B2 (en) Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device
US11119196B2 (en) First photon correlated time-of-flight sensor
US8642938B2 (en) Shared time of flight pixel
US10681295B2 (en) Time of flight camera with photon correlation successive approximation
US11221400B2 (en) Dual mode stacked photomultipliers suitable for use in long range time of flight applications
CN111108407B (zh) 半导体主体和用于飞行时间测量的方法
US9313476B2 (en) Precharged latched pixel cell for a time of flight 3D image sensor
CN110389358B (zh) 相关飞行时间传感器
US20200341144A1 (en) Independent per-pixel integration registers for lidar measurements
US20120153120A1 (en) Proximity sensor and associated method, computer readable medium and firmware
US20160097841A1 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
KR20210080584A (ko) 디지털 픽셀
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
US11573302B2 (en) LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability
CN116400367A (zh) 光检测和测距LiDAR读出集成电路、LiDAR系统及其操作方法
CN116113844A (zh) 间接ToF传感器、堆叠式传感器芯片以及使用该传感器和芯片测量到物体的距离的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant