CN111385495B - 一种用于补偿tof传感器中电荷转移不完全的方法 - Google Patents

一种用于补偿tof传感器中电荷转移不完全的方法 Download PDF

Info

Publication number
CN111385495B
CN111385495B CN201811637512.3A CN201811637512A CN111385495B CN 111385495 B CN111385495 B CN 111385495B CN 201811637512 A CN201811637512 A CN 201811637512A CN 111385495 B CN111385495 B CN 111385495B
Authority
CN
China
Prior art keywords
charge transfer
sensor
modulation frequency
pixel
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811637512.3A
Other languages
English (en)
Other versions
CN111385495A (zh
Inventor
徐江涛
李嘉文
聂凯明
刘伯文
苗津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201811637512.3A priority Critical patent/CN111385495B/zh
Publication of CN111385495A publication Critical patent/CN111385495A/zh
Application granted granted Critical
Publication of CN111385495B publication Critical patent/CN111385495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种用于补偿TOF传感器中电荷转移不完全的方法，使得随着TOF传感器的调制频率增加，不仅可以增加传感器的精度，减小图像拖尾模糊等情况，同时解决了因传输管开启时间减小而带来的电荷转移不完全导致的图像整体偏移过大问题，对调制频率较高，但像素中电荷传输速率不够的传感器做了算法补偿，大大提高了TOF图像传感器的精度。在传感器的积分时间越久，外部光源越大或距离越近的情况下，该方法的补偿效果越好，在散粒噪声几乎为零时，该方法可以完全还原物体的原距离信息。

Description

一种用于补偿TOF传感器中电荷转移不完全的方法
技术领域
本发明属于模拟集成电路设计领域，尤其涉及在图像传感器应用中，解决三维图像传感器中双FD节点像素在调制频率过高的情况下，电荷转移速率不够导致的深度信息精度降低的问题。
背景技术
飞行时间（ToF）范围成像相机可用于从单个视点测量场景中物体的大小，形状和位置。它们的操作类似于传统的数码摄像机，但同时捕获图像中每个像素的强度和距离信息。这种情况是通过用强度调制光主动照亮场景并测量幅度和传播ToF从摄像机到场景中的物体并返回摄像机的往返来实现的。
通常使用红外光源，调制范围为10-100MHz。通过测量返回光的调制包络的相移来确定传播时间（并且因此确定距离）。该方法通过在积分时间期间以与照明调制相同的频率对图像传感器进行调制来执行，随着调制频率的增加，像素内的电荷转移比例会受其影响而减小，对传感器的成像造成影响。
发明内容
针对现有技术存在的问题，本发明提出了一种用于补偿TOF传感器中电荷转移不完全的方法，使得随着TOF传感器的调制频率增加，不仅可以增加传感器的精度，减小图像拖尾模糊等情况，同时解决了因传输管开启时间减小而带来的电荷转移不完全导致的图像整体偏移过大问题，大大提高了TOF图像传感器的精度。
如图1，TOF传感器像素不同于普通图像传感器，是含有双FD节点以单帧读出双相位信息，这就需要像素内的两个传输管以同调制频率下的相反相位交替打开，当调制频率过高时，传输管开启时间过短，导致PD内包含相位信息的光生电荷不能在开启时间内完全导入至FD节点，使得两相位的深度信息错乱；设在一定的传输管开启时间内，电荷转移的比率是k，并且每次曝光得到的两相位的电荷数是固定的，分别为a0和b0，积分次数为n，那么在相位a和相位b之间存在如下的关系：
Figure 824372DEST_PATH_IMAGE001
经计算可得
Figure 987544DEST_PATH_IMAGE002
从上式可进一步计算得两相位在n次积分后的总电荷数Sa和Sb为：
Figure 29581DEST_PATH_IMAGE003
Figure 686827DEST_PATH_IMAGE004
所以可以发现积分得到的电荷错乱和每次积分得到的电荷数以及电荷转移比例k有关，在芯片正常工作前加入一个特殊模式，该模式下分为两个阶段，在外部提供不变的均匀光时，通过调整像素时序第一阶段在较低调制频率下，积分次数也较低，保证每次电荷转移都可以转移完全；使像素先按照正常工作时的调制频率工作，保证像素每次积分得到的光生电荷相同为c0，同时只打开单侧的TX管使电荷转移只发生在同一相位下，则可通过测得n次积分后的输出电压值V，也即Scn，并且当使两个阶段的曝光时间一样时，两个阶段得到的V应该是相同的，则c0和Scn已知，便可通过下式推导出k：
Figure 511826DEST_PATH_IMAGE005
在得到k值后，通过式(1-2)(1-3)便可以得到a0和b0，即为理想状态下包含物体深度信息的光生电荷数，通过TOF传感器计算方法即可得到被测物体的深度信息。
本发明对于高调制频率但电荷转移速率不够的TOF图像传感器的成像起到很好的补偿效果，高调制频率下像素的TX传输管开启时间过短使得光生电荷不能完全转移至FD节点，导致传感器的相位信息错乱，本发明可以补偿这一非理想因素，如图2，本发明并且在像素的散粒噪声较低的时候，本发明可以几乎完全还原图像的深度信息。
附图说明
图1是TOF图像传感器的双FD型像素结构示意图；
图2是深度信息补偿结果曲线图。
具体实施方式
以下根据附图和实施例对本发明进行补充说明，但是本发明的保护范围不限于此。
本发明的补偿算法主要用于较高调制频率的间接式TOF图像传感器，传感器的调制频率越高，成像结果受k值影响越高，则该补偿算法效果越好；并且在散粒噪声越低的情况下，该算法的精度也越高，经过仿真可以发现在噪声较低时，该算法可以完全还原物体的原本距离信息。最后该算法还要求在读出双相位信息时，不能查分读出，而是要将每一个相位电压都读出，以减小一定帧频为代价，大大提高传感器的精度。

Claims (1)

1.一种用于补偿TOF图像传感器中电荷转移不完全的方法，其特征在于：TOF传感器像素含有双FD节点，以单帧读出双相位信息，这就需要像素内的两个传输管以同调制频率下的相反相位交替打开，当调制频率过高时，传输管开启时间过短，导致PD内包含相位信息的光生电荷不能在开启时间内完全导入至FD节点，使得两相位的深度信息错乱；设在一定的传输管开启时间内，电荷转移的比率是k，并且每次曝光得到的两相位的电荷数是固定的，分别为a0和b0，积分次数为n，那么在相位a和相位b之间存在如下的关系：
Figure 988032DEST_PATH_IMAGE001
经计算可得
Figure 950435DEST_PATH_IMAGE002
从上式可进一步计算得两相位在n次积分后的总电荷数Sa和Sb为：
Figure 597317DEST_PATH_IMAGE003
Figure 278176DEST_PATH_IMAGE004
所以可以发现积分得到的电荷错乱和每次积分得到的电荷数以及电荷转移比例k有关，在芯片正常工作前加入一个特殊模式，该模式下分为两个阶段，在外部提供不变的均匀光时，通过调整像素时序第一阶段在较低调制频率下，积分次数也较低，保证每次电荷转移都可以转移完全；使像素先按照正常工作时的调制频率工作，保证像素每次积分得到的光生电荷相同为c0，同时只打开单侧的TX管使电荷转移只发生在同一相位下，则可通过测得n次积分后的输出电压值V，也即Scn，并且当使俩个阶段的曝光时间一样时，俩阶段得到的V应该是相同的，则c0和Scn已知，便可通过下式推导出k ：
Figure 352311DEST_PATH_IMAGE005
在得到k值后，通过式(1-2)(1-3)便可以得到a0和b0，即为理想状态下包含物体深度信息的光生电荷数，通过TOF传感器计算方法即可得到被测物体的深度信息。
CN201811637512.3A 2018-12-29 2018-12-29 一种用于补偿tof传感器中电荷转移不完全的方法 Active CN111385495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637512.3A CN111385495B (zh) 2018-12-29 2018-12-29 一种用于补偿tof传感器中电荷转移不完全的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637512.3A CN111385495B (zh) 2018-12-29 2018-12-29 一种用于补偿tof传感器中电荷转移不完全的方法

Publications (2)

Publication Number Publication Date
CN111385495A CN111385495A (zh) 2020-07-07
CN111385495B true CN111385495B (zh) 2022-02-11

Family

ID=71222471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637512.3A Active CN111385495B (zh) 2018-12-29 2018-12-29 一种用于补偿tof传感器中电荷转移不完全的方法

Country Status (1)

Country Link
CN (1) CN111385495B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2110845A1 (en) * 2008-04-16 2009-10-21 Casimir Bamberger An imaging mass spectrometry principle and its application in a device
CN102891969A (zh) * 2011-07-21 2013-01-23 三星电子株式会社 图像感测设备和操作其的方法
CN103765241A (zh) * 2011-04-29 2014-04-30 怀卡托大学 低功率范围成像相机的谐振调制
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
WO2018119347A1 (en) * 2016-12-22 2018-06-28 Quantum-Si Incorporated Integrated photodetector with direct binning pixel
CN108696700A (zh) * 2017-03-31 2018-10-23 半导体元件工业有限责任公司 图像传感器、用于操作图像传感器的方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
CA2702977A1 (en) * 2007-10-17 2009-04-23 Ohmx Corporation Novel chemistry used in biosensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2110845A1 (en) * 2008-04-16 2009-10-21 Casimir Bamberger An imaging mass spectrometry principle and its application in a device
CN103765241A (zh) * 2011-04-29 2014-04-30 怀卡托大学 低功率范围成像相机的谐振调制
CN102891969A (zh) * 2011-07-21 2013-01-23 三星电子株式会社 图像感测设备和操作其的方法
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
WO2018119347A1 (en) * 2016-12-22 2018-06-28 Quantum-Si Incorporated Integrated photodetector with direct binning pixel
CN108696700A (zh) * 2017-03-31 2018-10-23 半导体元件工业有限责任公司 图像传感器、用于操作图像传感器的方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于飞行时间的三维成像研究进展和发展趋势;侯飞等;《导航与控制》;20181005(第05期);全文 *

Also Published As

Publication number Publication date
CN111385495A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US10412314B2 (en) Systems and methods for photometric normalization in array cameras
JP5832855B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6764863B2 (ja) 距離測定装置
US8823808B2 (en) Method for improved digital video image quality
JP5155324B2 (ja) 被写体運動ぶれが低減されたデジタル画像
US11330208B2 (en) Image signal processing for reducing lens flare
US20110069200A1 (en) High dynamic range image generating apparatus and method
JP5855035B2 (ja) 固体撮像装置
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
KR102127306B1 (ko) 움직임 검출 장치 및 움직임 검출 방법
CN103477626A (zh) 图像处理设备、图像处理方法、程序和存储介质
EP2704423A1 (en) Image processing apparatus, image processing method, and image processing program
JP2011171858A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9589339B2 (en) Image processing apparatus and control method therefor
JP6494587B2 (ja) 画像処理装置および画像処理装置の制御方法、撮像装置、プログラム
US8391698B2 (en) Systems and methods of generating Z-buffers for an image capture device of a camera
US20130063622A1 (en) Image sensor and method of capturing an image
CN105430298A (zh) 通过立体摄像系统同时曝光合成hdr图像的方法
WO2016117035A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN102857681A (zh) 一种通过半反射镜采集图像和提高图像质量的方法
CN111385495B (zh) 一种用于补偿tof传感器中电荷转移不完全的方法
US10182186B2 (en) Image capturing apparatus and control method thereof
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US10205870B2 (en) Image capturing apparatus and control method thereof
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant