CN112505722A - 一种同时捕获深度及灰度信息的ToF像素结构 - Google Patents

一种同时捕获深度及灰度信息的ToF像素结构 Download PDF

Info

Publication number
CN112505722A
CN112505722A CN201910790290.7A CN201910790290A CN112505722A CN 112505722 A CN112505722 A CN 112505722A CN 201910790290 A CN201910790290 A CN 201910790290A CN 112505722 A CN112505722 A CN 112505722A
Authority
CN
China
Prior art keywords
port
pixel
information
differential comparator
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910790290.7A
Other languages
English (en)
Inventor
徐江涛
史晓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910790290.7A priority Critical patent/CN112505722A/zh
Publication of CN112505722A publication Critical patent/CN112505722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

一种同时捕获深度及灰度信息的TOF像素结构，由PMOS管P1~P2，光电二极管Photo‑detector，差分比较器DDA，透明锁存器Latch，高速模数转换器ADC，与非门NAND和与门AND组成；该像素结构中的感光部分采用三FD结构，其中两个FD用于收集深度信息信号，这两个FD与像素内部集成双端差分比较器相连。双端差分比较器可以有效过滤可见光信息并将深度信息转换成脉冲数量通过像素外的计数器进行信号读出。另一个FD用于感知可见光信息，并通过像素外的模数转换器进行读出。本发明可以同时捕获深度信息和灰度信息，并进行实时融合处理，有利于提升基于ToF的3D图像传感器的探测性能，拓宽使用场合。

Description

一种同时捕获深度及灰度信息的ToF像素结构
技术领域
本发明属于图像传感器领域，特别涉及一种同时捕获深度及灰度信息的三维图像传感器(TOF)像素结构。
背景技术
传感器作为人类感官的延伸，实现了对外界信息准确可靠的获取和转换。CMOS图像传感器更是在各种领域发挥着重要作用。近年来，对三维图像传感器的需求有所增加，图1展示了二维成像与三维成像效果示意图。三维图像传感器在工业领域可用于三维重建、自动加工、高度测量等；在军事领域可用于无人机侦查、潜艇水下领航、星际遥测成像等；在汽车领域可用于无人驾驶，辅助驾驶；在消费电子中，应用于体感游戏、手势识别等。基于飞行时间(Time of Flight，ToF)的三维图像传感器由于成像系统较为简单，具有更为广阔的应用前景。基于方波调制光信号的3D图像传感器原理如图2所示，光源发生器发射经调制的光信号，经过往返距离延迟后，到达探测器的相位发生改变，通过测量调制光飞行时间Tflight的变化，从而计算得到目标距离信息L，即
Figure 633231DEST_PATH_IMAGE001
为了提高3D图像传感器的性能以及增加可以应用的场景，增加背景光抑制电路，使其可以适用于室外的环境。增加了背景光抑制机制的3D图像传感器常应用于室外环境，并与普通2D图像传感器配合使用。具有深度信息的3D图像与包含灰度信息的2D图像具有很好的互补性，可以有效地展示目标物体的表征特性。因此对2D与3D图像的精准融合则显得尤为重要。
图3展示了一般性图像融合过程：首先需要对图像进行预处理，包括图像配准、降噪和增强；之后对不同图像进行特征提取；最后将不同图像根据其提取特征进行匹配融合。并且对于不同类型的图像传感器，其像素尺寸，阵列分辨率等性能参数也有所不同。同时，不同传感器所捕获的目标物体图像所在视场位置也有所不同，也为后期的图像融合增加了难度。综合上述原因，灰度图像和深度图像的实时融合处理对后端电路的性能提出了更高的要求。
发明内容
针对现有技术存在的问题，本发明一种同时捕获深度及灰度信息的TOF像素结构，本发明所提出像素中的感光部分采用三FD结构，其中两个FD用于收集深度信息信号，这两个FD与像素内部集成双端差分比较器相连。双端差分比较器可以有效过滤可见光信息并将深度信息转换成脉冲数量通过像素外的计数器进行信号读出。另一个FD用于感知可见光信息，并通过像素外的模数转换器进行读出。本发明可以同时捕获深度信息和灰度信息，并进行实时融合处理，有利于提升基于ToF的3D图像传感器的探测性能，拓宽使用场合。
一种同时捕获深度及灰度信息的TOF像素结构，如图4虚线框中所示，其主要由PMOS管P1~P2，光电二极管Photo-detector，差分比较器DDA，透明锁存器Latch，高速模数转换器ADC，与非门NAND和与门AND组成；该像素中各个组件的连接关系如下：PMOS管P1源极接电源VDD，漏级接光电二极管Photo-detector的FD1；PMOS管P2源极接电源VDD，漏级接光电二极管Photo-detector的FD2；光电二极管中的FD与高速模数转换器ADC的输入端Vin相连，光电二极管中的FD1与FD2分别于差分比较器的Vin-和Vin+端口相连接；差分比较器DDA中的Vref-端口和Vref+端口分别接参考电压，差分比较器的输出端口Vout与透明锁存器Latch的输入端口D相连接；透明锁存器Latch的clk端口接时钟clk+，clkb端口接时钟clk-，输出端口Q接与非门B输入端；与非门A输入端接时钟clk+，输出端接与门AND的B输入端；与门AND的A端口接全局复位信号，输出端接PMOS管P1,P2的栅极，用于像素复位。
一种同时捕获深度及灰度信息的TOF像素结构，具有同时捕获二维和三维图像的能力，在有、无滤光片的情况下均可以大幅抑制背景光影响，从而使3D图像传感器具有更优秀的成像和探测性能，进而扩大3D图像传感器的使用场合，免除后端图像融合的复杂过程。
附图说明
图1是二维成像与三维成像效果示意图；
图2是基于ToF的方波调制间接3D图像传感器原理；
图3是一般性图像融合层次示意图；
图4是本发明提出的具有同时捕获二维和三维图像的3D图像传感器像素及外围电路示意图；
图5是像素控制时序示意图；
图6是传感器输出图像时序图。
具体实施方式
为使本发明的目的、技术方案和优点更加清晰，下面将结合实例给出本发明实施方式的具体描述。
三维图像获取原理：像素控制时序如图5所示，发射光脉冲是一个周期为Tmod占空比为1/4的方波，通过Tx1、Tx2控制三个相位处的积分。奇数帧Tx1和Tx2分别在第一相位和第三相位处积分，积分电荷为Q1和Q3。偶数帧Tx1和Tx2分别在第二相位和第三相位处积分，积分电荷为Q2和Q3。则最终输出的发射光飞行时间信息为：
Figure 220070DEST_PATH_IMAGE002
本发明采用像素内部自复位的方式对背景光进行自抑制。像素的复位采用异步复位的方式，在一个曝光周期Tint中，由于流入像素中FD1节点的电子总量总是多于流入FD2节点的电子总量，即VFD1的下降速度更快，因此FD1节点的电压总是低于FD2节点电压：
Figure 692509DEST_PATH_IMAGE003
因此DDA的Vin-端的电压较Vin+端下降的更快，当Vin+与Vin-的电压差刚刚高于两参考电压Vrefp与Vrefn之差时，
Figure 303223DEST_PATH_IMAGE004
比较器将翻转。通过外部的控制信号clk+和clk-将DDA的输出锁入随后的锁存器Latch中，锁存器采取低传、高锁的结构。之后将锁存器的输出信号和clk+信号做与非操作，用于像素中FD节点复位，即节点Vx产生一个脉冲。通过计算一个曝光周期内的脉冲频率，从而可以计算出两个FD节点的信号差值。
二维图像获取原理：根据像素控制时序图5，TxD在所有帧均在第四相位处积分，积分电荷Q4仅为可见光产生电荷。积分信号随后输入后端模数转换器ADC进行量化并输出灰度图像。
在该实例中，读出时序如图5所示，调制光为周期为250ns，占空比为1:4的方波信号。3D图像信息读取过程为：每列像素共用一套累加计数系统，采用滚筒计数方式，整个计数过程为100us，整个累加过程为36ms。2D图像读取过程为：每列像素共用一套读出电路，采用滚筒读出方式，该读出电路每36ms输出一帧完整2D图像。采用该像素可以实时输出2D和3D图像并进行实施融合，具体操作时序如图6所示，输出帧频可达到30帧每秒。

Claims (1)

1. 一种同时捕获深度及灰度信息的TOF像素结构，其特征在于：主要由PMOS管P1~P2，光电二极管Photo-detector，差分比较器DDA，透明锁存器Latch，高速模数转换器ADC，与非门NAND和与门AND组成； PMOS管P1源极接电源VDD，漏级接光电二极管Photo-detector的FD1；PMOS管P2源极接电源VDD，漏级接光电二极管Photo-detector的FD2；光电二极管中的FD与高速模数转换器ADC的输入端Vin相连，光电二极管中的FD1与FD2分别于差分比较器的Vin-和Vin+端口相连接；差分比较器DDA中的Vref-端口和Vref+端口分别接参考电压，差分比较器的输出端口Vout与透明锁存器Latch的输入端口D相连接；透明锁存器Latch的clk端口接时钟clk+，clkb端口接时钟clk-，输出端口Q接与非门B输入端；与非门A输入端接时钟clk+，输出端接与门AND的B输入端；与门AND的A端口接全局复位信号，输出端接PMOS管P1、P2的栅极，用于像素复位。
CN201910790290.7A 2019-08-26 2019-08-26 一种同时捕获深度及灰度信息的ToF像素结构 Pending CN112505722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910790290.7A CN112505722A (zh) 2019-08-26 2019-08-26 一种同时捕获深度及灰度信息的ToF像素结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790290.7A CN112505722A (zh) 2019-08-26 2019-08-26 一种同时捕获深度及灰度信息的ToF像素结构

Publications (1)

Publication Number Publication Date
CN112505722A true CN112505722A (zh) 2021-03-16

Family

ID=74923826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790290.7A Pending CN112505722A (zh) 2019-08-26 2019-08-26 一种同时捕获深度及灰度信息的ToF像素结构

Country Status (1)

Country Link
CN (1) CN112505722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231956A1 (zh) * 2022-05-30 2023-12-07 华为技术有限公司 一种图像传感器的像素和图像传感器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176426A1 (en) * 2012-01-10 2013-07-11 Ilia Ovsiannikov Image sensor, method of sensing image, and image capturing apparatus including the image sensor
US20160240579A1 (en) * 2015-02-17 2016-08-18 Omnivision Technologies, Inc. Stacked embedded spad image sensor for attached 3d information
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
CN107295236A (zh) * 2017-08-11 2017-10-24 深圳市唯特视科技有限公司 一种基于飞行时间传感器的快照差分成像方法
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
CN109510955A (zh) * 2018-10-17 2019-03-22 天津大学 应用于三维图像传感器的背景噪声抑制像素结构
CN110121661A (zh) * 2016-12-20 2019-08-13 微软技术许可有限责任公司 飞行时间成像像素中的读出电压不确定度补偿

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176426A1 (en) * 2012-01-10 2013-07-11 Ilia Ovsiannikov Image sensor, method of sensing image, and image capturing apparatus including the image sensor
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
US20160240579A1 (en) * 2015-02-17 2016-08-18 Omnivision Technologies, Inc. Stacked embedded spad image sensor for attached 3d information
CN110121661A (zh) * 2016-12-20 2019-08-13 微软技术许可有限责任公司 飞行时间成像像素中的读出电压不确定度补偿
CN107295236A (zh) * 2017-08-11 2017-10-24 深圳市唯特视科技有限公司 一种基于飞行时间传感器的快照差分成像方法
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
CN109510955A (zh) * 2018-10-17 2019-03-22 天津大学 应用于三维图像传感器的背景噪声抑制像素结构

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231956A1 (zh) * 2022-05-30 2023-12-07 华为技术有限公司 一种图像传感器的像素和图像传感器

Similar Documents

Publication Publication Date Title
US9442196B2 (en) Demodulation sensor with separate pixel and storage arrays
Büttgen et al. CCD/CMOS lock-in pixel for range imaging: Challenges, limitations and state-of-the-art
CN104272723B (zh) 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
CN108566524B (zh) 像素单元、图像传感器芯片、成像系统、像素单元的形成方法以及深度信息测算方法
US8829408B2 (en) Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes
CN107247269B (zh) 用于采集处理激光信号的探测装置、像素单元及阵列
EP2758801B1 (en) Time of flight sensor with subframe compression and method
US8908063B2 (en) Method and apparatus for a time-of-flight sensor with charge storage
CN109510955B (zh) 基于飞行时间三维图像传感器的背景噪声抑制像素电路
Kim et al. 7.2 A 48× 40 13.5 mm depth resolution flash LiDAR sensor with in-pixel zoom histogramming time-to-digital converter
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
WO2019146457A1 (en) Time-of-flight image sensor with distance determination
CN105181132A (zh) 一种用于三维成像芯片的像素电路
CN104991242A (zh) 一种基于apd和tdc的激光成像探测系统
CN109884663B (zh) 时间分辨传感器，三维成像系统和分辨时间的方法
CN112505722A (zh) 一种同时捕获深度及灰度信息的ToF像素结构
CN106066496B (zh) 一种基于光子计数时间标记技术的天基空间目标探测装置
CN111048540A (zh) 一种门控式像素单元以及3d图像传感器
CN112399104B (zh) 一种全局曝光低噪声高速三维传感器锁相像素及读出方式
CN112437238B (zh) 一种低kTC噪声三维图像传感器锁相像素结构
Wang et al. A direct TOF sensor with in-pixel differential time-to-charge converters for automotive flash Lidar and other 3D applications
CN210155522U (zh) 一种像素级的高精度幅度时间转换电路
Liao et al. A CMOS time of flight (TOF) depth image sensor with in-pixel background cancellation and sensitivity improvement using phase shifting readout technique
Kong et al. High-resolution single-photon LiDAR without range ambiguity using hybrid-mode imaging
CN110308435A (zh) 一种像素级的时间和强度数字转换电路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210316