CN111885316B - 一种图像传感器像素电路、图像传感器及深度相机 - Google Patents
一种图像传感器像素电路、图像传感器及深度相机 Download PDFInfo
- Publication number
- CN111885316B CN111885316B CN202010659009.9A CN202010659009A CN111885316B CN 111885316 B CN111885316 B CN 111885316B CN 202010659009 A CN202010659009 A CN 202010659009A CN 111885316 B CN111885316 B CN 111885316B
- Authority
- CN
- China
- Prior art keywords
- unit
- charge
- charge storage
- transistor
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种图像传感器像素电路,包括:电荷生成单元,用于将入射的光信号转换成电信号,其包括有光电二极管以及多个曝光控制晶体管;电荷存储单元,连接电荷生成单元,被配置为存储所述电信号;电荷传输单元,连接电荷存储单元,被配置为将电信号传输至读出单元;读出单元,被配置为将电荷存储单元的电信号作为像素传输以及读取像素的信号;其中,所述光电二极管产生的信号通过多个曝光控制晶体管分别得到多个电信号,通过多个曝光控制晶体管交替地将光电二极管累积的电荷存储至对应的电荷存储单元。本发明像素结构能够支持全局曝光模式,并且可降低噪声,从而可满足高精度、远距离的测量。
Description
技术领域
本发明涉及图像传感器技术领域,尤其涉及一种图像传感器像素电路、图像传感器及深度相机。
背景技术
TOF的全称是Time-of-Flight,即飞行时间,TOF测距技术是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在TOF技术中直接对光飞行时间进行测量的技术被称为d-TOF(direct-TOF);对发射光信号进行周期性调制,通过对反射光信号相对于发射光信号的相位延迟进行测量,再由相位延迟对飞行时间进行计算的测量技术被成为i-TOF(Indirect-TOF)技术。而在i-TOF(Indirect-TOF)技术中,按照调制解调类型方式的不同可以分为连续波(Continuous Wave,CW)调制解调方法和脉冲调制(Pulse Modulated,PM)调制解调方法。
CW调制通常采用的是正弦波调制,解调端检测经目标物体反射后的波形相位变化,这种测量方法首先将光飞行距离信息与光强变化的相位信息进行绑定,再将相位信息转换为光电探测器可检测的光强信息,间接实现了光飞行时间的测量。
PW调制直接根据发射和接收脉冲光束的时间差,通过计算不同抽头收集到的电子数量比例测量距离。发射端通过发射短脉冲光束,一方面由于发射端能量较高,在一定程度上降低了背景光的干扰,可以提升测量精度;另一方面由于较低的占空比,可以降低激光功耗。但是发射端需要产生高频高强度脉冲,对激光驱动性能要求很高,且不能像CW调制方式一样采用多频率调制,在进行远距离测距时需要更宽脉宽的激光脉冲,精度也会随着脉冲脉宽降低。
中国专利申请公开第201910385779.6号中提供一种时间飞行深度相机及单频调制解调的距离测量方法,相对于现有的PM-iTOF测量方案在相同脉宽的情况下扩展了测量距离;相对于CW-iTOF测量方案,只需要一次曝光输出三个抽头的信号量即可获得一帧深度信息,从而显著降低了整体的测量功耗并提高了测量帧频。
而中国专利申请公开第201910386369.3号中提供一种时间飞行深度相机及多频调制解调的距离测量方法,摆脱了现有的PM-iTOF测量方案中脉宽与测量距离和功耗成正比,而与测量精度负相关的矛盾;使测量距离的扩展不再受限于脉宽,从而在具有较远测量距离的情况下仍能保持较低的测量功耗和较高的测量精度。
在上述调制类型的TOF图像传感器中,光照射到测量范围内的目标物,之后计算光的反射脉冲从目标物到达接收器所需的时间以获得距离信息。当TOF图像传感器采用多抽头解调像素结构时,接收相等信号的抽头可能会在每个单元像素中具有彼此不同的灵敏度,容易发生距离信息的错误。因此需要提出一种解决上述问题的技术方案。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种图像传感器像素电路、图像传感器及深度相机,以解决上述背景技术问题中的至少一种问题。
为达到上述目的,本发明实施例的技术方案是这样实现的:
一种图像传感器像素电路,包括:
电荷生成单元,用于将入射的光信号转换成电信号,其包括有光电二极管以及多个曝光控制晶体管;
电荷存储单元,连接所述电荷生成单元,被配置为存储所述电信号;
电荷传输单元,连接所述电荷存储单元,被配置为将所述电信号传输至读出单元;
读出单元,被配置为将所述电荷存储单元的电信号作为像素传输以及读取所述像素的信号;
其中,所述光电二极管产生的信号通过所述多个曝光控制晶体管分别得到多个电信号,通过所述多个曝光控制晶体管交替地将所述光电二极管累积的电荷存储至对应的所述电荷存储单元。
在一些实施例中,所述多个曝光控制晶体管为第一、第二、第三曝光控制晶体管,通过所述第一、第二、第三曝光控制晶体管分别得到第一、第二、第三电信号;所述电荷存储单元包括第一、第二、第三电荷存储单元,分别与所述第一、第二、第三曝光控制晶体管连接,以存储所述第一、第二、第三电信号。
在一些实施例中,所述电荷传输单元包括第一、第二、第三电荷传输单元,分别连接所述第一、第二、第三电荷存储单元,以将各电荷存储单元存储的电荷传输至所述读出单元。
在一些实施例中,所述读出单元包括第一、第二、第三读出单元,分别连接所述第一、第二、第三传输单元,以读取所述第一、第二、第三电荷存储单元存储的电荷。
在一些实施例中,所述第一、第二、第三电荷传输单元连接同一个读出单元;所述读出单元包括复位晶体管、源极跟随晶体管、选择晶体管和浮置扩散节点;所述第一、第二、第三电荷存储单元的存储电荷依次通过第一、第二、第三电荷传输单元分时传送至同一个浮置扩散节点。
在一些实施例中,还包括有防溢出晶体管,所述防溢出晶体管的源极连接所述电荷生成单元,以避免曝光结束后,所述电荷生成单元的电子溢出至所述电荷存储单元。
在一些实施例中,所述读出单元包括复位晶体管、源极跟随晶体管、选择晶体管和浮置扩散节点;其中,所述浮置扩散节点分别连接所述电荷传输单元和所述复位晶体管的源极,所述复位晶体管被配置为根据复位控制信号重置所述浮置扩散节点的电压。
在一些实施例中,所述读出单元还包括有转换增益控制晶体管和双转换增益电容;其中,所述转换增益控制晶体管连接于所述复位晶体管与所述浮置扩散节点之间,所述双转换增益电容连接所述转换增益控制晶体管的漏极,通过控制所述转换增益控制晶体管的栅极电压,实现转换增益控制。
本发明实施例的另一技术方案为:
一种图像传感器,包括:行解码器/驱动器、列解码器、像素列单元、以及像素阵列;其中,所述像素阵列包括有多个像素,所述像素包括有前述任一实施例方案所述的图像传感器像素电路。
本发明实施例的又一技术方案为:
一种深度相机,包括发射模组、采集模组以及控制与处理器;其中,所述发射模组包括光源以及光源驱动器;所述采集模组包括前述技术方案所述的图像传感器;所述控制与处理器分别与所述发射模组和所述采集模组连接,同步所述发射模组以及所述采集模组的触发信号以计算光束由所述发射模组发出并被所述采集模组接收所需要的时间。
本发明技术方案的有益效果是:
相较于现有技术,本发明一种多抽头像素的图像传感器,通过不同抽头的曝光控制晶体管将光电二极管在曝光过程中累积的电荷转移至存储不同的电荷存储单元进行存储,并在曝光结束后通过多路传输晶体管将存储的电荷转移至对应的浮置扩散节点/同一个浮置扩散节点,使得该像素结构能够支持全局曝光模式,并且通过后续相关双采样电路可以降低噪声,从而实现精度高、距离远的测量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例TOF深度相机的示意图。
图2为中国专利申请公开第201910385779.6号说明书附图中的图2;
图3为中国专利申请公开第201910386369.3号说明书附图中的图3;
图4为本发明一个实施例图像传感器的部分图示;
图5为本发明一个实施例图像传感器像素电路的框图;
图6为本发明一个实施例图像传感器像素电路的电路图示;
图7为本发明另一个实施例图像传感器像素电路的电路图示;
图8为本发明又一个实施例图像传感器像素电路的电路图示。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
照图1所示,图1为一种TOF深度相机10的结构示意图。TOF深度相机10包括发射模组11、采集模组12以及控制与处理器13。其中,发射模组11提供发射光束30至目标空间以照明空间中的物体20,至少部分发射光束30经物体20反射后形成反射光束40,反射光束40至少部分被采集模组12采集;控制与处理器13分别与发射模组11和采集模组12连接,同步发射模组11以及采集模组12的触发信号以计算光束由发射模组11发出并被采集模组12接收所需要的时间,即发射光束30与反射光束40之间的飞行时间t,进一步的,物体上对应点的距离D可由下式计算出:
其中,c为光速;t为发射光束与反射光束之间的飞行时间。
发射模组11包括光源以及光源驱动器(图中未示出)等。其中,光源可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源,也可以是多个光源组成的光源阵列,光源所发射的光束可以是可见光、红外光、紫外光等。
采集模组12包括图像传感器121、透镜单元、滤光片(未图示)等。透镜单元接收由物体反射回的至少部分光束并将所述至少部分光束引导至图像传感器121上,滤光片为与光源波长相匹配的窄带滤光片,用于抑制其余波段的背景光噪声或杂散光。图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器阵列,图像传感器的阵列大小代表着该深度相机的分辨率,比如320×240等。一般地,与图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。
图像传感器121包括至少一个像素,每个像素则包含多个抽头(tap,用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号),比如包括2个抽头,以用于读取电荷信号数据。其中,所述图像传感器121的具体描述将会在后面参照图4进行详细阐述。
控制与处理器13可以是独立的专用电路,比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等,也可以包含通用处理电路,比如当TOF深度相机被集成到如手机、电视、电脑等智能终端中去,终端的处理电路可以作为该控制与处理器13的至少一部分。
在一些实施例中,控制与处理器13用于提供光源发射激光时所需的调制信号(发射信号),光源在调制信号的控制下向待测物发射脉冲光束;此外,控制与处理器13还提供图像传感器121各像素中抽头的解调信号(采集信号),抽头在解调信号的控制下采集包含待测物反射回的脉冲光束所产生的电荷信号,并基于该电荷信号计算出相位差以获得物体20的距离。一般地,除了待测物反射回的反射脉冲光束之外还会有一些背景光、干扰光等光束。具体的,控制与处理器13所执行的调制解调方法、控制、处理等功能可采用中国专利申请公开第201910385779.6号、第201910386369.3号中描述的方案。可以理解的是,为了便于阐述,本发明实施例中均以PM-iTOF调制解调方法为例进行说明,但并不局限于PM-iTOF调制解调。
具体的,参照中国专利申请公开第201910385779.6号中图2所示,图2实施例中示例性地给出了两个帧周期T内的激光发射信号(调制信号)、接收信号以及采集信号(解调信号)的时序示意图。其中各个信号的含义为:Sp表示光源的脉冲发射信号,每个脉冲发射信号表示一次脉冲光束;Sr表示脉冲光被物体反射回的反射光信号,每个反射光信号表示被待测物体反射回的相应的脉冲光束,其在时间线(图中横轴)上相对于脉冲发射信号有一定的延迟,延迟的时间t即是需要计算的脉冲光束的飞行时间;S1表示像素第一抽头的脉冲采集信号、S2表示像素第二抽头的脉冲采集信号、S3表示第三抽头的脉冲采集信号,每个脉冲采集信号表示抽头采集了该信号对应的时间段内像素所产生的电荷信号(电子)。
整个帧周期T被分成两个时间段Ta以及Tb,其中Ta表示像素各抽头进行电荷采集与存储的时间段,Tb表示电荷信号被读出的时间段。Ta中,在反射光信号被物体反射回像素时,各抽头在其脉冲时间段内对像素上产生的电子进行收集。其中,第一抽头、第二抽头、第三抽头分别依次进行电荷采集与存储,分别获取电荷量q1、q2以及q3,如此完成一个脉冲周期Tp。图2中,在单个帧周期中包含两个脉冲周期Tp,共发射了两次激光脉冲信号,因此在Tb时间段各个抽头共收集及读出总电荷量为两次采集的光信号对应电荷量的和,可以理解的是,在单帧周期内,脉冲周期Tp或者激光脉冲信号发射的次数可以是K次,K不小于1,也可以高达几万次,甚至更高,具体的数目根据实际的需求来确定,另外,不同帧周期内的脉冲次数也可以不等。
因此,在Tb时间段各个抽头共收集及读出的总电荷量为各个抽头在整个帧周期T内多次采集的光信号对应的电荷量的和,单个帧周期内各个抽头的总电荷量可以表示如下:
Qi=∑qi,i=1,2,3 (2)
根据公式(2)可得第一抽头、第二抽头、第三抽头单帧周期内总电荷量为Q1、Q2和Q3。
在传统的调制解调方式中,测量范围被限定在单个脉冲宽度时间内,即假定反射光信号被第一抽头以及第二抽头采集,第三抽头则用于采集环境光信号,这样基于各个抽头所采集到的总电荷量,控制与处理器可以根据下式对脉冲光信号从发射到反射至像素上的总光飞行距离进行计算:
其中,c为光速;Th为单此曝光激光脉宽;Q1、Q2、Q3分别为3个抽头的总电荷量。
可以理解的是,在实际情况中,第一抽头和第二抽头除了采集到反射光信号之外也会采集到环境光信号,并且根据公式(2)可以看出,当返回的激光全部落在第二抽头,这样能探测的最大距离如果返回的激光落在第二抽头和第三抽头曝光使能信号之间,或者落在第三抽头和下一个周期的第一抽头之间,那么超出了测量范围,以至于得到了错误的结果,如果需要测量更远的距离,就必须增加激光的脉宽,但这样会导致测量精度降低。
为了提升测量距离,可以根据如图2所示的光信号发射与采集的示意图,不对收集背景光的抽头进行固定,此时,反射光信号不仅可以落入到第一抽头与第二抽头的使能信号之间,也可以允许落入到第二抽头与第三抽头使能之间,甚至允许落入到第三抽头与下一个脉冲周期Tp内的第一抽头上(针对至少两个脉冲周期Tp以上的情形)。这里所述的“落入到抽头上”指的是可以被抽头采集。
考虑到接收的反射光信号的抽头所采集到的电荷量要大于仅包含背景光信号的抽头,控制与处理器13对所获取的三个总电荷量Q1、Q2以及Q3进行判断,以确定获取包含反射光信号激光电子的抽头和/或获取仅包含背景信号的抽头,对于三抽头图像传感器而言,共有以下三种可能:
(1)、若Q1、Q2采集反射光信号,Q3采集背景光信号,表达式如下:
(2)、若Q2、Q3采集反射光信号,Q1采集背景光信号,表达式如下:
(3)、若Q1、Q3采集反射光信号,Q2采集背景光信号,表达式如下:
上述调制解调方法虽然实现了3倍的测量距离,在不增加脉冲脉宽的情况下,仍无法满足更远距离的测量。
参照中国专利申请公开第201910386369.3号的图3所示的实施例,图3实施例中借用CW调制方式中的多频扩展方式,可以满足更远距离的测量。
图3实施例记载一种多频调制解调的方法,即相邻帧中采用不同的调制解调频率,为了便于阐述,以相邻的两个帧周期和两个调制频率为例进行说明,相邻的帧周期内,脉冲发射次数K=2(也可以为多次,不同帧次数也可以不同),像素的抽头数N=3,脉冲周期分别为Tp1、Tp2,脉冲宽度分别为Th1、Th2,三个抽头每次脉冲积累电荷分别为q11、q12、q21、q22、q31、q32,根据前述公式(2)可得总电荷量为Q11、Q12、Q21、Q22、Q31、Q32。假设相邻帧曝光时间内物体的距离不变,控制与处理器13在接收到各个抽头的总电荷量之后,利用图2所示的调制解调方法分别对各帧周期内的距离进行测量,并通过上述的判断方法计算出各个帧周期内的测量距离,接着采用最小公倍数法可以获得最终的距离。
假设在图3所示实施例中,Tp=9ns,采用图2中的调制解调方法最大测量飞行距离为1.35m;若Tp=15ns,最大测量飞行距离为2.25m。若在图2所示的调制解调方法基础上再采用多频调制解调方法,比如在一个实施例中,Tp1=9ns,Tp2=15ns,9ns与15ns的最小公倍数是45ns,45ns对应的最远测量目标距离可达到6.75m。
基于前述调制解调方法,本发明实施例提出一种包括多抽头像素的图像传感器,能够实现上述调制解调方法,从而实现TOF深度相机的远距离、高精度的测量。
参照图4所示,图4是本发明一个实施例的图像传感器的部分示意性布局图示。图4示出的图像传感器121接收经物体20反射的一部分反射光40,并根据该反射光计算三个抽头累积的电荷信号Q1、Q2和Q3,根据该电荷量可以利用前文叙述的三种可能性的表达式计算物体的距离;可以理解的是,本发明实施例中以三个抽头为例进行说明,但不限于三抽头。
为了便于说明,图4中的图像传感器121中的像素阵列42示出布置为3×3阵列的9个像素;实际上,像素阵列可包含在多个行和列中的成千上万或数百万像素。在具体实施例中,像素阵列42中的每个像素可具有相同的配置,因此如图4所示每个像素使用相同的附图标记“41”表示。
除了像素阵列42,图4的实施例中的图像传感器121还可包括行解码器/驱动器47、列解码器53和像素列单元54。像素列单元54包括用于在3D成像器件使用的相关双采样(CDS)和列特定模数转换器(ADC)的电路。在一个实施例中,像素中的每列可具有一个ADC。在具体实施例中,行解码器/驱动器47、列解码器53和像素列单元54可为图1所示的控制与处理器13的一部分。在图4的实施例中,行解码器/驱动器47示出为向一行像素中的每个像素41提供8个不同信号作为输入,以控制像素阵列42中的像素并从而能够生成列特定PIXOUT(像素输出信号)50,51,52。图4中的标号44,45,46的箭头示出了对相应行中的每个像素41输入特定的信号。这些信号包括:防溢出信号(DRN)、重置信号(RST)、电荷存储信号(SG)、三个抽头的曝光控制信号(MG1、MG2、MG3)和行选择信号(SEL)。
在一些实施例中,行选择(SEL)信号用于选择像素适当的行。行解码器/驱动器47可经由行地址/控制输入47解码以使其能够使用SEL信号选择适当的行并且将对应的RST、TG和其它信号提供至选择解码的行。RST信号可被施加到选择的行中的像素以将这些像素重置为预先确定的高电压电平。DRN信号可在曝光结束后将光电二极管(PD)收集的电子释放到电源,避免收集电子溢出到三个抽头的电荷存储部分。
像素列单元54可从行中的像素接收PIXOUT信号50,51,52,并处理这些信号以计算电荷量Q1、Q2和Q3,根据这些电荷量计算物体的距离。列选择允许顺序接收来自由对应的SEL信号选择的行中的每个像素的像素输出。控制与处理器13可提供适当的行地址输入以选择像素的行并且也可将适当的列地址输入提供至列解码器53,以使像素列单元54能够从选择的行中的个别像素接收输出(PIXOUT)。
图5是根据本发明一实施例图像传感器像素电路的原理框图,为方便说明,本发明实施例中以三抽头的像素为例进行说明。在图4的实施例中,像素阵列42中的每个像素41可具有图5中的像素配置。
参照图5所示,图像传感器像素电路100包括:电荷生成单元60、电荷存储单元70、电荷传输单元80和读出单元90。
电荷生成单元60用于将入射的光信号转换成电信号,其包括有光电二极管(PD)以及多个曝光控制晶体管,通过多个曝光控制晶体管交替地将光电二极管累积的电荷存储至对应的电荷存储单元。具体地,本发明实施例中,电信号根据第一曝光控制晶体管(MG1)生成第一电信号,根据第二曝光控制晶体管(MG2)生成第二电信号,根据第三曝光控制晶体管(MG3)生成第三电信号。MG1、MG2和MG3在全局曝光的时候,交替地将光电二极管累积的电荷存储至对应的电荷存储单元。
电荷存储单元70连接所述电荷生成单元,被配置为存储所述电信号。本发明实施例中,电荷存储单元包括第一电荷存储单元SG1、第二电荷存储单元SG2和第三电荷存储单元SG3,以分别与第一曝光晶体管MG1、第二曝光晶体管MG2和第三曝光晶体管MG3连接,被配置为分别存储第一电信号、第二电信号和第三电信号。在一个实施例中,电荷存储单元可以为电容、PN结或者其它,在此对其不做限制。
电荷传输单元80连接所述电荷存储单元,被配置为将所述电信号传输至读出单元。本发明实施例中,电荷传输单元80包括第一电荷传输单元TG1、第二电荷传输单元TG2和第三电荷传输单元TG3,以分别连接所述第一电荷存储单元SG1、第二电荷存储单元SG2和第三电荷存储单元SG3,用于将电荷存储单元存储的电荷传输至读出单元。在一个实施例中,电荷传输单元可以为电子传输晶体管。
读出单元90被配置为将所述电荷存储单元的电信号作为像素传输以及读取所述像素的信号。具体地,本发明实施例中,读出单元90被配置将所述第一电荷存储单元SG1、第二电荷存储单元SG2和第三电荷存储单元SG3存储的电荷作为像素传输以及读取所述像素的信号。
在一些实施例中,图像传感器像素电路100还包括防溢出晶体管(DRN),防溢出晶体管的源极连接所述电荷生成单元,被配置为避免曝光结束后,所述电荷生成单元的电子溢出至所述电荷存储单元。具体地,在本发明实施例中,所述防溢出晶体管的源极连接所述光电二极管,以避免曝光结束后,光电二极管一直收集电子溢出至电荷存储单元。
在一个实施例中,读出单元90包括有复位晶体管(RST)、源极跟随晶体管(SF)、选择晶体管(SEL)和浮置扩散节点(FD)。其中,浮置扩散节点分别连接电荷传输单元和复位晶体管的源极,复位晶体管被配置为根据复位控制信号重置浮置扩散节点的电压。一旦像素被选择晶体管SEL选择并被复位晶体管RST重置,则关闭电荷存储单元传输电子至浮置扩散节点FD,此时将浮置扩散节点FD处的电压作为PIXOUT输出,并传输至ADC单元被转换成数字信号。
在一个实施例中,读出单元90包括第一读出单元901、第二读出单元902和第三读出单元903。如图6所示,第一读出单元901连接第一电荷传输单元、第二读出单元902连接第二电荷传输单元、第三读出单元903连接第三电荷传输单元,以分别读取第一电荷存储单元、第二电荷存储单元和第三电荷存储单元的电荷。
下面以第一读出单元901为例进行说明,第一读出单元901的复位晶体管(RST)的漏极连接电压源,根据复位控制信号重置浮动扩散节点(FD)的电压,接着第一电荷传输单元将第一电荷存储单元存储的电子转移至浮置扩散节点FD,第一读出单元的源极跟随晶体管(SF)的栅极连接至浮置扩散节点(FD),其漏极连接电压源,源极跟随晶体管对浮置扩散节点的电压信号放大作为PIXOUT1输出,并传输至ADC单元被转换成适当的数字信号。可以理解的是,第二读出单元、第三读出单元和第一读出单元结构和传输方式一样,在此不再赘述。
通过将三个读出单元分开,且每个读出单元都有单独的浮置扩散节点FD,这样浮置扩散节点FD上的寄生电容值较小,可以做到较大的转换增益。但是这样会增加单个像素里面的晶体管数量,从而减小了填充因子,此外,通过在时间上固定背景光,存储单元存储的电荷被转移至相应的浮置扩散节点FD中,由于背景光产生的电荷量理论上是相同的,但是因为工艺生产偏差,比如源极跟随器(SF)的增益偏差,会增加多个时间窗之间的增益误差,给后续标定增大了难度。
在一些实施例中,参照图7所示。第一电荷传输单元、第二电荷传输单元和第三电荷传输单元连接同一个读出单元。复位晶体管(RST)、源极跟随晶体管(SF)、选择晶体管(SEL)和浮置扩散节点(FD)共用作为读出单元的一部分。图7所示电路中的第一电荷存储单元、第二电荷存储单元和第三电荷存储单元的存储电荷依次通过第一电荷传输单元、第二电荷传输单元和第三电荷传输单元分时传送至同一个浮置扩散节点,并将浮置扩散节点FD处的电压通过同一路读出电路的PIXOUT输出,依次传输至ADC单元。可以理解的是,浮置扩散节点FD处的电压获取方式与图6所示实施例中第一读出单元中浮置扩散节点FD电压获取方式一致,在此不再赘述。
通过将第一电荷传输单元、第二电荷传输单元和第三电荷传输单元连接同一个读出单元,这样大大减少了像素里面的晶体管,提升了像素的填充因子,也避免了不同读出单元由于工艺偏差带来深度上的增益误差,减少了后续的校正工作。
参照图8所示,在一个实施例中,为了针对iTOF应用场景的复杂性,比如室外强环境光。读出单元还包括转换增益控制晶体管(LG)和双转换增益电容(CLG),转换增益控制晶体管连接至复位晶体管和浮置扩散节点之间,双转换增益电容连接固定电平和转换增益控制晶体管的漏极,这样通过控制转换增益控制晶体管的栅极电压,实现了转换增益控制。可以理解的是,双转换增益的电容可以为MIM、MOM、MOS电容、寄生电容等实现。
在第一帧关闭转换增益控制晶体管,浮置扩散节点的积分电容是由复位晶体管(RST)、源极跟随晶体管(SF)、选择晶体管(SEL)带来的寄生电容以及浮置扩散节点到衬底的结电容组成,电容值比较小,从而可实现一个高转换增益;在得到三个抽头各自的具有高转换增益的图像帧后,使能增益控制晶体管,此时浮置扩散节点的积分电容在原来基础上增加了一个双转换增益电容CLG,积分电容值变大,降低了像素的转换增益,三个抽头依次获得各自的具有低转换增益的图像帧,最后通过算法对这2帧深度图像进行融合,可实现具有高动态范围的3D深度信息。
在一些实施例中,读出单元90还包括相关双采样(CDS)电路(未图示),在相关双采样电路中,像素的输出可被测量两次:一次在已知的条件下,另一次在未知的条件下,可从在未知条件下测量的值减去在已知条件下测量的值,以生成具有与测量的物理量有已知关系的值,代表接收光的像素特定部分的光电子电荷。通过使用相关双采样,通过在每个积分时段结束时从像素的信号电压去除像素的参考电压(比如被重置后的像素电压),从而可降低噪声。
要说明的是,图4实施例图像传感器中,像素阵列42中的像素为前述图5-图8任一实施例方案中记载的像素,详细参照图5-图8的描述,在图4所示图像传感器实施例中不作赘述。同样,图1实施例的深度相机中,所述采集模组包括的图像传感器121为图4实施例方案中记载的图像传感器,详细不再赘述。
可以理解的是,以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中,参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点,但应当理解,在不脱离由所附权利要求限定的范围的情况下,可以在本文中进行各种改变、替换和变更。
此外,本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解,可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此,所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。
Claims (10)
1.一种图像传感器像素电路,其特征在于,包括:
电荷生成单元,用于将入射的光信号转换成电信号,其包括有光电二极管以及多个曝光控制晶体管;
电荷存储单元,连接所述电荷生成单元,被配置为存储所述电信号;
电荷传输单元,连接所述电荷存储单元,被配置为将所述电信号传输至读出单元;
读出单元,被配置为将所述电荷存储单元的电信号作为像素传输以及读取所述像素的信号;
其中,所述光电二极管产生的信号通过所述多个曝光控制晶体管分别得到多个电信号,通过所述多个曝光控制晶体管交替地将所述光电二极管累积的电荷存储至对应的所述电荷存储单元。
2.如权利要求1所述的图像传感器像素电路,其特征在于:所述多个曝光控制晶体管为第一、第二、第三曝光控制晶体管,通过所述第一、第二、第三曝光控制晶体管分别得到第一、第二、第三电信号;所述电荷存储单元包括第一、第二、第三电荷存储单元,分别与所述第一、第二、第三曝光控制晶体管连接,以存储所述第一、第二、第三电信号。
3.如权利要求2所述的图像传感器像素电路,其特征在于:所述电荷传输单元包括第一、第二、第三电荷传输单元,分别连接所述第一、第二、第三电荷存储单元,以将各电荷存储单元存储的电荷传输至所述读出单元。
4.如权利要求3所述的图像传感器像素电路,其特征在于:所述读出单元包括第一、第二、第三读出单元,分别连接所述第一、第二、第三传输单元,以读取所述第一、第二、第三电荷存储单元存储的电荷。
5.如权利要求3所述的图像传感器像素电路,其特征在于:所述第一、第二、第三电荷传输单元连接同一个读出单元;所述读出单元包括复位晶体管、源极跟随晶体管、选择晶体管和浮置扩散节点;所述第一、第二、第三电荷存储单元的存储电荷依次通过第一、第二、第三电荷传输单元分时传送至同一个浮置扩散节点。
6.如权利要求1所述的图像传感器像素电路,其特征在于:还包括有防溢出晶体管,所述防溢出晶体管的源极连接所述电荷生成单元,以避免曝光结束后,所述电荷生成单元的电子溢出至所述电荷存储单元。
7.如权利要求1所述的图像传感器像素电路,其特征在于:所述读出单元包括复位晶体管、源极跟随晶体管、选择晶体管和浮置扩散节点;其中,所述浮置扩散节点分别连接所述电荷传输单元和所述复位晶体管的源极,所述复位晶体管被配置为根据复位控制信号重置所述浮置扩散节点的电压。
8.如权利要求7所述的图像传感器像素电路,其特征在于:所述读出单元还包括有转换增益控制晶体管和双转换增益电容;其中,所述转换增益控制晶体管连接于所述复位晶体管与所述浮置扩散节点之间,所述双转换增益电容连接所述转换增益控制晶体管的漏极,通过控制所述转换增益控制晶体管的栅极电压,实现转换增益控制。
9.一种图像传感器,其特征在于,包括:行解码器/驱动器、列解码器、像素列单元、以及像素阵列;其中,所述像素阵列包括有多个像素,所述像素包括有权利要求1-8任一项所述的图像传感器像素电路。
10.一种深度相机,包括发射模组、采集模组以及控制与处理器,其特征在于:所述发射模组包括有光源以及光源驱动器;所述采集模组包括权利要求9所述的图像传感器;所述控制与处理器分别与所述发射模组和所述采集模组连接,同步所述发射模组以及所述采集模组的触发信号以计算光束由所述发射模组发出并被所述采集模组接收所需要的时间。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010659009.9A CN111885316B (zh) | 2020-07-09 | 2020-07-09 | 一种图像传感器像素电路、图像传感器及深度相机 |
PCT/CN2021/085005 WO2022007449A1 (zh) | 2020-07-09 | 2021-04-01 | 一种图像传感器像素电路、图像传感器及深度相机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010659009.9A CN111885316B (zh) | 2020-07-09 | 2020-07-09 | 一种图像传感器像素电路、图像传感器及深度相机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111885316A CN111885316A (zh) | 2020-11-03 |
CN111885316B true CN111885316B (zh) | 2022-07-29 |
Family
ID=73150530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010659009.9A Active CN111885316B (zh) | 2020-07-09 | 2020-07-09 | 一种图像传感器像素电路、图像传感器及深度相机 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111885316B (zh) |
WO (1) | WO2022007449A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111885316B (zh) * | 2020-07-09 | 2022-07-29 | 深圳奥辰光电科技有限公司 | 一种图像传感器像素电路、图像传感器及深度相机 |
CN112615995B (zh) * | 2020-12-28 | 2022-07-01 | 维沃移动通信有限公司 | 像素电路、图像传感器、摄像模组和电子设备 |
CN115308756A (zh) * | 2021-05-07 | 2022-11-08 | 宁波飞芯电子科技有限公司 | 一种像素电路,图像传感器及探测装置 |
WO2023104440A1 (en) * | 2021-12-09 | 2023-06-15 | Sony Semiconductor Solutions Corporation | Time-of-flight sensor and electronic device |
CN114630062B (zh) * | 2022-03-10 | 2024-03-12 | 杭州指数星空智能设备制造有限责任公司 | 一种提高tof传感器动态范围的方法 |
CN116156298B (zh) * | 2023-04-11 | 2023-07-04 | 安徽医科大学 | 基于感存算一体化的内窥镜高清视频处理系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346250A (zh) * | 2010-06-09 | 2012-02-08 | 汤姆森特许公司 | 飞行时间成像器 |
CN110412607A (zh) * | 2018-04-28 | 2019-11-05 | 思特威(上海)电子科技有限公司 | 具有高动态范围的tof像素电路及测距系统 |
CN110557582A (zh) * | 2018-06-19 | 2019-12-10 | 思特威(上海)电子科技有限公司 | 基于tof的3d成像图像传感器像素电路及测距系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8089036B2 (en) * | 2009-04-30 | 2012-01-03 | Omnivision Technologies, Inc. | Image sensor with global shutter and in pixel storage transistor |
US9442196B2 (en) * | 2010-01-06 | 2016-09-13 | Heptagon Micro Optics Pte. Ltd. | Demodulation sensor with separate pixel and storage arrays |
US8642938B2 (en) * | 2012-01-13 | 2014-02-04 | Omnivision Technologies, Inc. | Shared time of flight pixel |
US9549158B2 (en) * | 2012-04-18 | 2017-01-17 | Brightway Vision Ltd. | Controllable single pixel sensors |
JP6701710B2 (ja) * | 2015-12-14 | 2020-05-27 | 株式会社ニコン | 撮像素子および撮像装置 |
US10750097B2 (en) * | 2017-08-14 | 2020-08-18 | Facebooke Technologies, Llc | Varying exposure time of pixels in photo sensor using motion prediction |
CN111034177B (zh) * | 2017-09-14 | 2022-06-28 | 新唐科技日本株式会社 | 固体摄像装置以及具备该固体摄像装置的摄像装置 |
AU2018386190A1 (en) * | 2017-12-13 | 2020-06-04 | Magic Leap, Inc. | Global shutter pixel circuit and method for computer vision applications |
CN111885316B (zh) * | 2020-07-09 | 2022-07-29 | 深圳奥辰光电科技有限公司 | 一种图像传感器像素电路、图像传感器及深度相机 |
-
2020
- 2020-07-09 CN CN202010659009.9A patent/CN111885316B/zh active Active
-
2021
- 2021-04-01 WO PCT/CN2021/085005 patent/WO2022007449A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346250A (zh) * | 2010-06-09 | 2012-02-08 | 汤姆森特许公司 | 飞行时间成像器 |
CN110412607A (zh) * | 2018-04-28 | 2019-11-05 | 思特威(上海)电子科技有限公司 | 具有高动态范围的tof像素电路及测距系统 |
CN110557582A (zh) * | 2018-06-19 | 2019-12-10 | 思特威(上海)电子科技有限公司 | 基于tof的3d成像图像传感器像素电路及测距系统 |
Non-Patent Citations (1)
Title |
---|
High resolution, high bandwidth global shutter CMOS area scan sensors;Meynart,R 等;《Conference on Sensors, Systems, and Next-Generation Satellites XVII》;20131024;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111885316A (zh) | 2020-11-03 |
WO2022007449A1 (zh) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111885316B (zh) | 一种图像传感器像素电路、图像传感器及深度相机 | |
CN110596722B (zh) | 直方图可调的飞行时间距离测量系统及测量方法 | |
TWI524762B (zh) | 共用飛行時間像素 | |
CN110596721B (zh) | 双重共享tdc电路的飞行时间距离测量系统及测量方法 | |
US11240445B2 (en) | Single-chip RGB-D camera | |
US8829408B2 (en) | Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes | |
CN110221274B (zh) | 时间飞行深度相机及多频调制解调的距离测量方法 | |
CN107300705B (zh) | 基于载波调制的激光雷达测距系统及测距方法 | |
CN110320528B (zh) | 时间深度相机及多频调制解调的降低噪声的距离测量方法 | |
CN110221272B (zh) | 时间飞行深度相机及抗干扰的距离测量方法 | |
JP5576851B2 (ja) | 測距システム及び測距方法 | |
US20010024271A1 (en) | Distance measurement apparatus and distance measuring | |
JP2004294420A (ja) | 距離画像センサ | |
US20130070132A1 (en) | Time of Flight Sensor with Subframe Compression and Method | |
TW202112122A (zh) | 距離影像攝像裝置及距離影像攝像方法 | |
WO2020223981A1 (zh) | 时间飞行深度相机及多频调制解调的距离测量方法 | |
US20210396856A1 (en) | Cmos image sensor for direct time of flight measurement | |
JP2003247809A (ja) | 距離情報入力装置 | |
CN111885321B (zh) | 一种锗硅图像传感器、采集模组及tof深度相机 | |
CN111885324B (zh) | 一种图像传感器、采集模组及tof深度相机 | |
WO2022137685A1 (ja) | 測距装置、測距方法および位相検出装置 | |
US20220113425A1 (en) | Device of acquisition of a 2d image and of a depth image of a scene | |
CN111885325A (zh) | 一种图像传感器、采集模组及深度相机 | |
WO2020223980A1 (zh) | 时间飞行深度相机及单频调制解调的距离测量方法 | |
WO2020223982A1 (zh) | 时间飞行深度相机及抗干扰的距离测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |