CN114630062A - 一种提高tof传感器动态范围的方法 - Google Patents

一种提高tof传感器动态范围的方法 Download PDF

Info

Publication number
CN114630062A
CN114630062A CN202210231376.8A CN202210231376A CN114630062A CN 114630062 A CN114630062 A CN 114630062A CN 202210231376 A CN202210231376 A CN 202210231376A CN 114630062 A CN114630062 A CN 114630062A
Authority
CN
China
Prior art keywords
tap
charge
pixel
unit
taps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210231376.8A
Other languages
English (en)
Other versions
CN114630062B (zh
Inventor
缪洛飞
朱振华
陈嵩
高卫
吴晟
吴千竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Index Star Intelligent Equipment Manufacturing Co ltd
Original Assignee
Hangzhou Index Star Intelligent Equipment Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Index Star Intelligent Equipment Manufacturing Co ltd filed Critical Hangzhou Index Star Intelligent Equipment Manufacturing Co ltd
Priority to CN202210231376.8A priority Critical patent/CN114630062B/zh
Publication of CN114630062A publication Critical patent/CN114630062A/zh
Application granted granted Critical
Publication of CN114630062B publication Critical patent/CN114630062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种提高TOF传感器动态范围的方法。本发明通过在解调存储单元后增加比较单元的方法，实现在像素层面阻止过曝发生，防止因像素过曝导致的电荷量失真，各抽头中的电荷总数比例关系能够正确表征被测物的距离。使得TOF传感器动态范围不再受限于像素的满阱容量，大大提高了TOF相机测距范围，降低了TOF系统设计难度，提高了测距范围。

Description

一种提高TOF传感器动态范围的方法
技术领域
本发明属于图像传感器技术领域，具体涉及一种一种提高TOF传感器动态范围的方法。
背景技术
近年来，基于飞行时间(Time-of-Flight，TOF)的3D成像技术飞速发展，在自动驾驶、无人机、机器人等行业有着十分广泛的应用。
一般的，TOF深度相机作为一种主动照明成像系统，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光信号，通过探测光脉冲的往返飞行时间来得到待测目标物的距离信息。
一般的，TOF传感器包括由多个像素构成的像素阵列，每个像素则包含多个抽头(tap)，用于在曝光控制信号的控制下存储入射光子产生的电荷信号。比如像素可以包括3个抽头，根据调制信号分时积累并读取光电探测器产生电荷信号数据。
控制处理器根据各像素中抽头中解调出的包含待测物反射回的脉冲光所产生的电荷信号，计算出相位差以获得物体的距离。比如，在像素采用2抽头的情况下，如图4所示，计算物体的距离表达式如下：
Figure BDA0003540663960000011
其中，c为光速；T为单个曝光周期的激光脉宽；Q1、Q2分别为2个抽头的总电荷量。
一般的，将图像传感器像素的满阱电荷数与像素底噪电荷数的比值称为像素的动态范围。由于被测物距离根据像素内电荷量计算所得，因此TOF传感器测距范围受限于TOF传感器的动态范围。
现有TOF传感器，包括由多个像素构成的像素阵列，采用包括读入单元、解调存储单元、读出单元的像素设计；所述读入单元包括光电二极管，被配置为将入射至传感器的光信号转换为电荷信号；所述的解调存储单元用于将所述电荷信号根据曝光控制信号(CLK)进行转移和存储至数个抽头(tap)中(曝光)。其中，每个抽头(tap)被配置为在曝光控制信号(CLK)的控制下，通过多个曝光控制晶体管(MG)，将读入单元生成的电荷信号分别存入积分电容(C)中；所述的读出单元用于将解调存储单元内的电荷转化为可探测的物理量(包括不限于，电流或电压)并读出，供后端处理器计算目标到TOF深度相机的距离。
每个像素中的存储单元存储能力有限，当任意一个抽头(tap)的积分电容(C)满阱后，若继续进行曝光(即产生过曝现象)，各个抽头总电荷量的比例关系将无法正确反映物体的距离，导致该像素测距失真。例如，在捕获同时包括远近物体的场景深度图像时，近距离的物体反射的光过强导致像素(过曝)，则该像素所对应的物体距离无法被正确测量。
传统的提升TOF传感器动态范围的方法有以下几种：
一种传统方法，其特征为通过在时域上改变曝光参数，拍摄多帧不同曝光参数下的图片，再将所述图片进行融合，以达到提高动态范围的目的。但此方法会导致传感器帧率大幅下降，且当曝光之间有动作时，最终的图像可能有重影的问题，重影部分所测的距离失真，另外还会增加后端处理器的算力成本。
另一种传统方法，其特征为在像素结构设计中，采用更大阱深或更高位数的ADC，提高像素的满阱容量，以达到提高动态范围的目的。但此方法会导致芯片面积增加，带来成本和复杂度的上升。
发明内容
针对现有技术中存在的不足，本发明提供一种提高TOF传感器动态范围的方法。
一种提高TOF传感器动态范围的方法，该方法包括：
在所述TOF传感器的像素阵列中用多个像素将在TOF传感器上入射的光子转换成电荷并积分存储，每个像素包括多个抽头；将多个抽头中各抽头存储的电荷量或所述电荷量所转换成的物理量(包括但不限于电荷量、电压或电流)与一设定阈值进行比较，当某一抽头中的电荷量或所述电荷量所转换成的物理量(包括但不限于电荷量、电压或电流)超过所设阈值时，输出曝光停止信号；曝光停止信号通过逻辑电路，禁止该抽头所在像素中所有的抽头继续积分存储电荷；
所述的设定阈值应尽量接近抽头(tap)满阱状态，例如90％。
进一步的，本发明还提供一种TOF图像传感器，包括多个像素组成的像素阵列，所述像素阵列中的单个像素包括读入单元、解调存储单元、比较单元和读出单元。
所述的读入单元用于将入射至传感器的光信号转换为电荷信号；
所述的解调存储单元用于将电荷信号或转换成的物理量(包括但不限于电荷量、电压或电流)存储至数个抽头(tap)中；
进一步的，解调存储单元通过一个源极跟随晶体管(SF)将抽头中的电荷转换成电压，供后续比较单元比较。
所述的比较单元用于将解调存储单元内的电荷或经过探测、转换形成的与电荷数相关的其他物理量(包括不限于，电流或电压)与设定阈值进行比较，当物理量超过所设阈值后输出曝光停止信号，通过逻辑电路停止解调存储单元电荷的转移。
所述的读出单元用于将解调存储单元内的电荷转化为可探测的物理量(包括不限于，电流或电压)并读出，或直接将解调存储单元内已转换的物理量(包括不限于，电流或电压)读出。
在一种实例中，所述的比较单元将解调存储单元中电荷信号所转换的电压，经过一个比较器，与一个设定好的阈值电压(VT)进行比较，当所述电压超过阈值电压(VT)时，输出曝光停止信号。其中，阈值电压(VT)应设置尽量接近抽头(tap)满阱时对应的电压。
在一种实例中，比较单元输出曝光停止信号在经过逻辑或电路后，控制抽头前的总开关(gate)，禁止该抽头所在像素中所有的抽头继续积分存储电荷；
在另一种实例中，比较单元输出曝光停止信号在经过逻辑或电路后，再与各个抽头(tap)的曝光控制信号(CLK)进行逻辑与，实现禁止该抽头所在像素中所有的抽头继续积分存储电荷；
进一步的，解调存储单元中存在多个抽头(tap)，比较单元中也对应有多个比较器，多个比较器输出的曝光停止信号统一经过一个逻辑或电路后输出。
本发明有益效果如下：
本发明通过在解调存储单元后增加比较单元的方法，实现在像素层面阻止过曝发生，防止因像素过曝导致的电荷量失真，各抽头中的电荷总数比例关系能够正确表征被测物的距离。使得TOF传感器动态范围不再受限于像素的满阱容量，大大提高了TOF相机测距范围，降低了TOF系统设计难度，提高了测距范围。
附图说明
图1为本发明图像TOF传感器像素结构示意图；
图2、3为本发明两种不同实施例像素结构框图；
图4为本发明实施例TOF深度相机结构框图；
图5为本发明实施例TOF相机距离解算原理图；
图6为本发明实施例tap结构图；
图7为本发明实施例解调存储单元转换电压结构图；
图8为本发明实施例比较单元电压比较结构图。
具体实施方式
以下结合附图与实施例对本发明技术方案进行进一步限定。
一种提高TOF传感器动态范围的方法，该方法包括：
在所述TOF传感器的像素阵列中用多个像素将在TOF传感器上入射的光子转换成电荷并积分存储，每个像素包括多个抽头；将多个抽头中各抽头存储的电荷量或所述电荷量所转换成的物理量(包括但不限于电荷量、电压或电流)与一设定阈值进行比较，当某一抽头中的电荷量或所述电荷量所转换成的物理量(包括但不限于电荷量、电压或电流)超过所设阈值时，输出曝光停止信号；曝光停止信号通过逻辑电路，禁止该抽头所在像素中所有的抽头继续积分存储电荷；
在一种实例中，如图2所示，比较单元输出曝光停止信号在经过逻辑或电路后，控制抽头前的总开关(gate)，禁止该抽头所在像素中所有的抽头继续积分存储电荷；
在另一种实例中，如图3所示，比较单一输出曝光停止信号在经过逻辑或电路后，再与各个抽头(tap)的曝光控制信号(CLK)进行逻辑与，实现禁止该抽头所在像素中所有的抽头继续积分存储电荷；
所述的设定阈值应尽量接近抽头(tap)满阱状态，例如90％。
如图1所示，本发明还提供一种TOF图像传感器，包括多个像素组成的像素阵列，所述像素阵列中的单个像素包括读入单元、解调存储单元、比较单元和读出单元。
所述的读入单元用于将入射至传感器的光信号转换为电荷信号；
所述的解调存储单元用于将所述电荷信号根据调试信号进行转移和存储(曝光)；
所述的读出单元用于将解调存储单元内的电荷转化为可探测的物理量(包括不限于，电流或电压)。
所述的比较单元用于将存储于解调存储单元中的物理量(包括但不限于电荷量、电压或电流)与一设定好的阈值比较，若达到设定阈值，则输出曝光锁死信号，停止本像素的曝光，直到下一帧；
在一种实例中，所述的比较单元将解调存储单元中电荷信号所转换的电压，经过一个比较器，与一个设定好的阈值电压(VT)进行比较，当所述电压超过阈值电压(VT)时，输出曝光停止信号。其中，阈值电压(VT)应设置尽量接近抽头(tap)满阱时对应的电压。
图6为本发明实施例tap结构图；
进一步的，如图7所示，解调存储单元通过一个源极跟随晶体管(SF)将抽头中的电荷转换成电压，供后续比较单元比较(如图8)。
如图2、3所示，解调存储单元中存在多个抽头(tap)，比较单元中也对应有多个比较器，多个比较器输出的曝光停止信号统一经过一个逻辑或电路后输出。
在一种实例中，
如图4所示，一种TOF深度相机，包括“发射模组”、“接收模组”以及“控制处理模组”。
“发射模组”发射激光光束至被测物，被测物反射激光形成反射光束。
“接收模组(内含TOF图像传感器)”采集上述反射光束；
“控制处理器”分别与“发射模组”和“接收模组”连接，同步“发射模组”与“采集模组”的触发信号以计算光束由“发射模组”发出并被“接收模组”接收所需要的时间，即发射出的光束飞行时间t。目标物体的距离D可由下式计算出：D＝c·t/2其中，c为光速。
“控制处理器”也可通过调制信号控制“发射模组”发射调制后的脉冲光束；此外，“控制处理器”发送解调信号至“接收模组”，所述“接收模组”包含TOF传感器，TOF传感器像素内的各抽头(tap)在解调信号的控制下采集包含被测物反射回的脉冲光束所产生的电荷信号，并基于该电信号计算出相位差以获得物体的距离。比如，在像素采用2抽头(tap)的情况下，计算物体距离如下所示：
解算公式如下：
Figure BDA0003540663960000081
其中，c为光速；T为单个曝光周期的激光脉宽；Q1、Q2分别为2个抽头的总电荷量。
图5为本发明实施例TOF相机距离解算原理图。

Claims (8)

1.一种提高TOF传感器动态范围的方法，其特征在于，该方法包括：
在所述TOF传感器的像素阵列中用多个像素将在TOF传感器上入射的光子转换成电荷并积分存储，每个像素包括多个抽头；将多个抽头中各抽头存储的电荷量或所述电荷量所转换成的物理量与一设定阈值进行比较，当某一抽头中的电荷量或所述电荷量所转换成的物理量超过所设阈值时，输出曝光停止信号；曝光停止信号通过逻辑电路，禁止该抽头所在像素中所有的抽头继续积分存储电荷。
2.根据权利要求1所述的一种提高TOF传感器动态范围的方法，其特征在于，所述的设定阈值应尽量接近抽头满阱状态。
3.一种TOF图像传感器，包括多个像素组成的像素阵列，其特征在于，所述像素阵列中的单个像素包括读入单元、解调存储单元、比较单元和读出单元；
所述的读入单元用于将入射至传感器的光信号转换为电荷信号；
所述的解调存储单元用于将电荷信号或转换成的物理量存储至数个抽头中；
所述的比较单元用于将解调存储单元内的电荷或经过探测、转换形成的与电荷数相关的其他物理量与设定阈值进行比较，当物理量超过所设阈值后输出曝光停止信号，通过逻辑电路停止解调存储单元电荷的转移；
所述的读出单元用于将解调存储单元内的电荷转化为可探测的物理量并读出，或直接将解调存储单元内已转换的物理量读出。
4.根据权利要求3所述的一种TOF图像传感器，其特征在于，解调存储单元通过一个源极跟随晶体管将抽头中的电荷转换成电压，供后续比较单元比较。
5.根据权利要求3或4所述的一种TOF图像传感器，其特征在于，所述的比较单元将解调存储单元中电荷信号所转换的电压，经过一个比较器，与一个设定好的阈值电压VT进行比较，当所述电压超过阈值电压VT时，输出曝光停止信号；其中，阈值电压VT设置为尽量接近抽头满阱时对应的电压。
6.根据权利要求5所述的一种TOF图像传感器，其特征在于，解调存储单元中存在多个抽头，比较单元中也对应有多个比较器，多个比较器输出的曝光停止信号统一经过一个逻辑或电路后输出。
7.根据权利要求6所述的一种TOF图像传感器，其特征在于，比较单元输出曝光停止信号在经过逻辑或电路后，控制抽头前的总开关，禁止该抽头所在像素中所有的抽头继续积分存储电荷。
8.根据权利要求6所述的一种TOF图像传感器，其特征在于，比较单元输出曝光停止信号在经过逻辑或电路后，再与各个抽头的曝光控制信号CLK进行逻辑与，实现禁止该抽头所在像素中所有的抽头继续积分存储电荷。
CN202210231376.8A 2022-03-10 2022-03-10 一种提高tof传感器动态范围的方法 Active CN114630062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210231376.8A CN114630062B (zh) 2022-03-10 2022-03-10 一种提高tof传感器动态范围的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210231376.8A CN114630062B (zh) 2022-03-10 2022-03-10 一种提高tof传感器动态范围的方法

Publications (2)

Publication Number Publication Date
CN114630062A true CN114630062A (zh) 2022-06-14
CN114630062B CN114630062B (zh) 2024-03-12

Family

ID=81900421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210231376.8A Active CN114630062B (zh) 2022-03-10 2022-03-10 一种提高tof传感器动态范围的方法

Country Status (1)

Country Link
CN (1) CN114630062B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645555A (zh) * 2012-02-22 2012-08-22 佛山科学技术学院 一种微运动测量方法
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
US20210358980A1 (en) * 2020-05-13 2021-11-18 SK Hynix Inc. Image sensing device
WO2022007449A1 (zh) * 2020-07-09 2022-01-13 深圳奥芯微视科技有限公司 一种图像传感器像素电路、图像传感器及深度相机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
CN102645555A (zh) * 2012-02-22 2012-08-22 佛山科学技术学院 一种微运动测量方法
US20210358980A1 (en) * 2020-05-13 2021-11-18 SK Hynix Inc. Image sensing device
WO2022007449A1 (zh) * 2020-07-09 2022-01-13 深圳奥芯微视科技有限公司 一种图像传感器像素电路、图像传感器及深度相机

Also Published As

Publication number Publication date
CN114630062B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
CN110596724B (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
CN109725326B (zh) 飞行时间相机
US10291895B2 (en) Time of flight photosensor
US7379163B2 (en) Method and system for automatic gain control of sensors in time-of-flight systems
TWI544232B (zh) 用於飛行時間成像系統之校準電路與方法
US8642938B2 (en) Shared time of flight pixel
US8369575B2 (en) 3D image processing method and apparatus for improving accuracy of depth measurement of an object in a region of interest
CN110596723B (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
US8908063B2 (en) Method and apparatus for a time-of-flight sensor with charge storage
EP2874388B1 (en) Method for avoiding pixel saturation
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
US9674471B1 (en) Digital unit cell with bidirectional ripple counter
KR20210126624A (ko) 동적 비전 센서 및 패턴 투사를 사용하는 3차원 이미징 및 감지
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
CN114630062B (zh) 一种提高tof传感器动态范围的方法
CN116962904A (zh) 基于事件模式与灰度模式融合输出的动态视觉读出电路
WO2020159702A1 (en) Sub-frame jitter compensation
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
CN114488176A (zh) 3d图像传感器测距系统及使用该系统进行测距的方法
US11902685B1 (en) Pixel sensor having hierarchical memory
CN216696685U (zh) 飞行时间传感器像素电路及飞行时间传感器
RU2531463C1 (ru) Устройство панорамного телевизионного наблюдения "день-ночь"

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant