CN102629995B - Cmos图像传感器像素时序控制方法 - Google Patents

Abstract

本发明涉及金属互补氧化物半导体图像传感器。为提供一种扩大CMOS图像传感器动态范围的方法，同时简便可行，本发明采取的技术方案是，一种CMOS图像传感器像素时序控制方法，借助于滚筒式曝光CMOS图像传感器实现，传感器第一行像素曝光结束后进入读出阶段，此时第二行像素仍处于曝光期间，当第一行像素读出完成，经一个时间上的延迟错位，第二行进入读出阶段，依次类推；在一帧的时间内进行多次曝光和读出，每次曝光的时间长短不一致，从而输出多个不同曝光时间的图像信息；每次读出的时间相同。本发明主要应用于半导体图像传感器的设计制造。

Description

CMOS图像传感器像素时序控制方法

技术领域

本发明涉及金属互补氧化物半导体(CMOS)图像传感器，特别涉及一种提高图像传感器动态范围的控制时序，具体讲，涉及CMOS图像传感器像素时序控制方法。

背景技术

随着标准CMOS逻辑工艺的持续缩减和CMOS图像传感器(CMOS Image Sensors，CIS)制造工艺的不断改善，CMOS图像传感器在功耗、可集成性、随机寻址等方面相比CCD图像传感器具有相对优势，成为固态图像传感器领域的主流器件。

CMOS图像传感器由像素单元阵列、双采样电路、模拟前端处理电路、模拟/数字(A/D)转换器、存储单元以及时序控制电路组成。

CMOS图像传感器中的像素单元阵列是图像传感器中信息采集和转换的部分，对图像传感器的性能起着决定性作用。当前的像素单元结构根据晶体管数量的不同主要分为三管有源像素(3T-APS)、四管有源像素(4T-APS)、五管有源像素(5T-APS)等类型，其中，四管有源像素应用最为广泛。图1所示为典型的四管有源像素的结构。四管有源像素由光电二极管(Photodiode，PD)、传输管(Transfer Transistor，TX)、浮空扩散区(Floating Diffusion，FD)、复位晶体管(Reset Transistor，RST)、源极跟随器(Source Follower，SF)、选通管(SelectTransistor)构成。

CMOS图像传感器中四管有源像素的工作原理如下：光电二极管将光信号转化为电荷信号存储在光电二极管中，当传输管打开之后，光生电荷从PD转移到FD中并转换为电压信号。FD中的电压信号经过SF缓冲经过选通管输出到列信号线(Column output line)。复位管给FD和PD复位，以进入下一次的工作周期。

CMOS图像传感器的像素单元阵列的曝光方式主要分为全局式曝光和滚筒式曝光。全局式曝光的CMOS图像传感器像素同时开始曝光同时曝光结束，再进行读出工作。滚筒式曝光是指由于每列像素都共用一套读出电路，所以先由第一行的像素读出，再进行第二行的读出，以此类推，所以相邻两行之间的曝光有一定的时间差，这个时间差等于一个像素信号读出时间。

图2为典型的CMOS图像传感器中像素单元阵列的示意图。行读出模块提供行读出信号，首先会将第一行的像素选中，第一行的所有像素经过读出电路输出后，行读出模块会将第二行的像素选中，第二行的所有像素经过读出电路输出，以此类推。图3为典型的滚筒式曝光的CMOS图像传感器的工作时序。

在曝光结束时，先给像素的复位管一个复位信号，将FD复位，复位后的FD读出为Vrst；再给传输管一个电荷转移信号，将光电二极管内的光生电子转移到FD中，此时FD读出为Vrst_sig。这两次电压读出要保证选通管信号SEL为1。所以选通管要在复位管复位结束之前置1，再在传输管电荷转移信号结束后置0。读出时间可以认为是选通管信号为1的时间，即下图的T_R时间。对于单个像素来说两个读出之间的间隔为曝光时间。如图8所示。

T_F为图像传感器输出一帧信息的工作时间，T_R为像素信号的读出时间。第一行像素曝光结束后进入读出阶段，此时第二行像素处于曝光期间。当第一行像素读出完成，第二行进入读出阶段。图3中所示为四行像素按照此方式工作的时序示意图。T_F为获取一帧信息所用的时间，T_R为一个像素读出的时间。

动态范围衡量CMOS图像传感器性能一个重要指标。动态范围定义为图像传感器最大非饱和信号所对应的光强和最小可探测的光强的比值。然而CMOS图像传感器的小尺寸、低电压等工艺特点限制了像素动态范围的提高。所以要通过其他的方式来提高动态范围。专利号为US 20070103569A1的专利中提出了一种能够在一帧的时间内同时输出多个不同曝光时间的信号的CMOS图像传感器的工作方式。以一帧内输出一个长曝光信号和一个短曝光信号为例，图4绘出了短曝光(a)、长曝光(b)和融合长曝光短曝光信号后(c)的光强与输出信号之间的曲线。短曝光条件下，信号非饱和的最大光强PS较大，但其低光照条件下的信号较弱；长曝光条件下，信号非饱和的最大光强PL较小，而其低光照条件下呈现能力较强；长短曝光融合后的图像能够在保证低光照信号较强的情况下获得较大的信号非饱和最大光强，也就是扩展了动态范围。其工作时序图如图5所示，图中为4行像素的工作时序。在一帧的时间T_F内，进行两次曝光和读出，获得一个长曝光和一个短曝光的数据。长曝光时间为T_L，短曝光时间为T_S，每次的读出时间为T_R。对于每个像素来说，工作开始时，先进行T_L时间的曝光，接着将曝光得到的信号读出，再进行T_S时间的曝光，最后将这次曝光得到的信号读出。动态范围扩展的大小取决于T_L与T_S的比值，例如，T_L比T_S等于10，动态范围会扩展20dB。采用这种方式扩展动态范围的代价是要将读出时间大幅压缩。以T_L比T_S等于10为例，T_L＝T_F10/11，T_S＝T_F1/11，由于T_R相比T_S很小，此处简化掉了两个T_R的时间。根据滚筒式曝光的读出方式，在T_S时间内要完成所有行像素的读出，假设行数为N，那么T_R＝T_S/N＝T_F/11N。而对于没有进行动态范围扩展的CMOS图像传感器来说，其读出时间为T_R0＝T_F/N，也就是说读出时间缩短为原来的1/11。所以采用该种方式扩展动态范围是以大幅牺牲读出时间为代价的，这对读出电路的设计压力是很大的。

发明内容

本发明旨在解决克服现有技术的不足，提供一种扩大CMOS图像传感器动态范围的方法，同时简便可行，为达到上述目的，本发明采取的技术方案是，一种CMOS图像传感器像素时序控制方法，借助于滚筒式曝光CMOS图像传感器实现，传感器第一行像素曝光结束后进入读出阶段，此时第二行像素仍处于曝光期间，其特征是，当第一行像素读出完成，经一个时间上的延迟错位，第二行进入读出阶段，依次类推；在一帧的时间内进行多次曝光和读出，每次曝光的时间长短不一致，从而输出多个不同曝光时间的图像信息；每次读出的时间相同。

所述方法进一步细化为：一帧的时间为为T_F，像素读出一次的时间为T_R，一帧输出的信号个数为M，像素单元阵列的行数为N，T_R＝T_F/(N*M)；最长的曝光时间为T₁，次长的曝光时间为T₂，其余的按照时间长短依次命名，T₁＝k₁*M*T_R，T₂＝k₂*M*T_R，……，T_M＝k_M*M*T_R，k₁～k_M都是整数；一帧的时间T_F由T₁、T₂、……、T_M和M个T_R组成，那么k₁+k₂+……+k_M+1＝N；首先进行时间为T₁的曝光，接着用T_R时间对该曝光信号进行读出；然后进行时间为T₂的曝光，接着用T_R时间对该曝光信号进行读出；以此类推，最后进行时间为T_M的曝光，接着用T_R时间对该曝光信号进行读出。

不同行像素的读出时序之间存在着时间上的延迟错位，所有后一行的控制时序，包括曝光时间和读出时间在内，都要比前一行滞后(M-1)个读出时间T_R。

10行像素一帧内输出两次信号，每一个像素都是先进行长曝光，然后长曝光信号读出，再进行短曝光，然后短曝光信号读出，T_F＝20T_R，T₁＝14T_R，T₂＝4T_R。

8行像素一帧内输出3次信号，每一个像素都是先进行长曝光，然后长曝光信号读出，再进行中等曝光，然后中等曝光信号读出，最后进行短曝光，然后短曝光信号读出，T_F＝24T_R，T₁＝12T_R，T₂＝6T_R，T₃＝3T_R。

本发明的技术特点及效果：

本发明所描述的提高图像传感器的动态范围的工作方法能够在一帧内输出多个长短不同曝光时间的信号，而其读出时间会分布到整个帧周期内，将每次像素读出时间最大化，即在不大幅提高像素读出速度的前提下，扩展了传统图像传感器的动态范围。

附图说明

图1典型的四管有源像素的结构示意图。

图2像素单元阵列及读出结构的示意图。

图3采用滚筒式曝光的图像传感器的工作时序图。

图4(a)短曝光时间条件下，光强与输出信号的曲线关系；

(b)长曝光时间条件下，光强与输出信号的曲线关系；

(c)将长短曝光信号融合后的光强与输出信号的曲线关系。

图5采用一帧内输出长短两次曝光时间的信号的图像传感器工作时序。

图6本发明中采用的一帧内输出长短两次曝光时间的信号的图像传感器工作时序。

图7本发明中采用的一帧内输出长中短三次曝光时间的信号的图像传感器工作时序。

图8曝光时间控制时序图。

具体实施方式

本发明为一种提高图像传感器动态范围的工作方法。在一帧的时间内进行多次曝光和读出。每次曝光的时间长短不一致，从而输出多个不同曝光时间的图像信息。在后端数字电路中将这些图像信息进行融合，得到最终的输出图像。一帧内输出的不同曝光时间的信号的个数为2、3或者更多。一帧内信号个数越多，得到的信号与光强之间的曲线就越平滑，信号噪声比与光强之间的曲线也越平滑，而所需的像素信号读出时间就会越短，这一帧内的信号个数要在这两方面之间进行折中。最长曝光的时间与最短曝光的时间的比值决定了动态范围扩展的程度，比值越大，动态范围就得到越大的扩展；比值越小，动态范围就得到扩展就越小。

本发明中的图像传感器的工作时序描述如下：

一帧的时间为为T_F，像素读出一次的时间为T_R，一帧输出的信号个数为M，像素单元阵列的行数为N。那么得到的T_R＝T_F/(N*M)。最长的曝光时间为T₁，次长的曝光时间为T₂，其余的按照时间长短依次命名。本发明中为了满足读出时间TR能够达到最大值，曝光时间都有一定的限制。T₁＝k₁*M*T_R，T₂＝k₂*M*T_R，……，T_M＝k_M*M*T_R。k₁～k_M都是整数。一帧的时间T_F由T₁、T₂、……、T_M和M个T_R组成。那么k₁+k₂+……+k_M+1＝N。

首先进行时间为T₁的曝光，接着用T_R时间对该曝光信号进行读出；然后进行时间为T₂的曝光，接着用T_R时间对该曝光信号进行读出；以此类推，最后进行时间为T_M的曝光，接着用T_R时间对该曝光信号进行读出。这是一个像素的读出时序。

不同行像素的读出时序之间存在着时间上的错位。所有后一行的控制时序，包括曝光时间和读出时间在内，都要比前一行滞后(M-1)个读出时间T_R。

以10行像素一帧内输出两次信号为例，图6为其工作时序图。图中为前四行的读出时序，最下面一行是将一帧内所有的读出时间都表示在同一个帧时间轴上。每一个像素都是先进行长曝光，然后长曝光信号读出(浅灰色块)，再进行短曝光，然后短曝光信号读出(深灰色块)。T_F＝20T_R，T₁＝14T_R，T₂＝4T_R。动态范围扩展为T₁/T₂＝3.5。

另外一个例子是，8行像素一帧内输出3次信号，图7为其工作时序图。图中为前四行的读出时序，最下面一行是将一帧内所有的读出时间都表示在同一个帧时间轴上。每一个像素都是先进行长曝光，然后长曝光信号读出(白色块)，再进行中等曝光，然后中等曝光信号读出(浅灰色块)，最后进行短曝光，然后短曝光信号读出(深灰色块)。T_F＝24T_R，T₁＝12T_R，T₂＝6T_R，T₃＝3T_R。动态范围扩展为T₁/T₃＝4。

以帧率为30帧每秒的VGA分辨率的图像传感器为例，其行数为480行，列数为640列。每一帧的时间是33.3ms，对于列并行读出的方式来说，每一次的读出时间是33.3/480＝69.4us。如果采用一帧内输出两次信号的方式进行读出，读出时间缩短为原来的一半69.4/2＝34.7us。长曝光的时间可以设置为872个读出时间872*34.7＝30.258ms，短曝光的时间可以设置为87个读出时间87*34.7＝3.018ms，动态范围的扩展约为10，相当于提高了20dB。

Claims (4)

1.一种CMOS图像传感器像素时序控制方法，借助于滚筒式曝光CMOS图像传感器实现，传感器第一行像素曝光结束后进入读出阶段，此时第二行像素仍处于曝光期间，其特征是，当第一行像素读出完成，经一个时间上的延迟错位，第二行进入读出阶段，依次类推；在一帧的时间内进行多次曝光和读出，每次曝光的时间长短不一致，从而输出多个不同曝光时间的图像信息；每次读出的时间相同；其中：一帧的时间为T_F，像素读出一次的时间为T_R，一帧输出的信号个数为M，像素单元阵列的行数为N，T_R＝T_F/(N*M)；最长的曝光时间为T₁，次长的曝光时间为T₂，其余的按照时间长短依次命名，T₁＝k₁*M*T_R，T₂＝k₂*M*T_R，……，T_M＝k_M*M*T_R，k₁～k_M都是整数；一帧的时间T_F由T₁、T₂、……、T_M和M个T_R组成，那么k₁+k₂+……+k_M+1＝N；首先进行时间为T₁的曝光，接着用T_R时间对该曝光得到的曝光信号进行读出；然后进行时间为T₂的曝光，接着用T_R时间对该曝光得到的曝光信号进行读出；以此类推，最后进行时间为T_M的曝光，接着用T_R时间对该曝光得到的曝光信号进行读出。

2.如权利要求1所述的方法，其特征是，不同行像素的读出时序之间存在着时间上的延迟错位，所有后一行的控制时序，包括曝光时间和读出时间在内，都要比前一行滞后(M-1)个读出时间T_R。

3.如权利要求1所述的方法，其特征是，10行像素一帧内输出两次信号，每一个像素都是先进行长曝光，然后长曝光信号读出，再进行短曝光，然后短曝光信号读出，T_F＝20T_R，T₁＝14T_R，T₂＝4T_R。

4.如权利要求1所述的方法，其特征是，8行像素一帧内输出3次信号，每一个像素都是先进行长曝光，然后长曝光信号读出，再进行中等曝光，然后中等曝光信号读出，最后进行短曝光，然后短曝光信号读出，T_F＝24T_R，T₁＝12T_R，T₂＝6T_R，T₃＝3T_R。

Images