CN102685403A - 扩展tdi-cmos图像传感器动态范围的方法 - Google Patents

Abstract

本发明涉及图像传感器。为使图像传感器能很好的保留强光和弱光分量的信息，有效拓展动态范围，本发明采用的技术方案是，扩展TDI-CMOS图像传感器动态范围的方法，使TDI-CMOS图像传感器中的不同行的像素单元依次对物象点成像，并将相应的输出信号输入进相应的累加器中，对于具有N行M列像素的TDI-CMOS图像传感器，将N行像素的曝光时间进行调整，即：在像素曝光时间内对像素进行一次复位，复位信号在曝光时间内的相对位置，决定了像素的最终的曝光时间；将来自不同曝光时间的像素输出信号在累加器中进行累加、融合处理后进行输出。本发明主要应用于图像传感器的设计制造。

Description

扩展TDI-CMOS图像传感器动态范围的方法

技术领域

本发明涉及互补金属氧化物半导体图像传感器，尤其涉及一种图像传感器动态范围扩展的方法，具体讲，涉及扩展TDI-CMOS图像传感器动态范围的方法。

背景技术

时间延时积分（time-delay integration,TDI）型互补金属氧化物半导体(complementarymetal oxide semiconductor,CMOS）图像传感器是以面阵结构实现线阵扫描的功能，特点是信噪比和灵敏度比较高，一般应用于光照水平比较低或相对运动速度比较大的情况。一般户外场景图像的动态范围都在100dB以上，而传统的CMOS图像传感器动态范围（约65-75dB）难于满足宽动态范围应用的需要，在很多应用领域都受到一定的限制。

近年来，国内外关于扩展CMOS图像传感器动态范围的研究非常广泛，提出了多种实现方法。针对多次曝光技术，目前常用的方法分为像素级和数字图像处理两类。

像素内多次曝光技术通过5T像素结构中PD（photo diode）节点曝光两次，收集强光区和弱光区的光电荷，然后依次输入到FD（floating diffusion）节点进行综合，得到动态范围较大的信号，出自《Journal of Semiconductors》的《Wide dynamic range CMOS image sensorwith in-pixel double-exposure and synthesis》。这类技术的原理为：将PD长积分时间内收集到的光生电荷中的一部分泄放到FD中，泄放的比例由PD和FD之间的势垒决定。理想情况下，这个势垒由施加在PD和FD之间的传输管的栅电压决定。事实上，该势垒受工艺影响很大，因此采用此种方法进行成像，所得图像的随机噪声较为严重。

芯片外多次曝光采样技术是调节曝光时间对同一场景进行多次曝光，对弱光区域采用长曝光时间，强光区域采用短曝光时间，生成多幅图像通过算法进行融合从而得到最终的高动态范围图像。此类技术方法很多，不降低信噪比，但多次曝光过程需要对图像进行缓存，需要大容量存储，同时降低了帧率。另外，场景中若存在运动物体，合成后的图像会存在拖影，影响图像质量。

此外，国内外对TDI CMOS图像传感器的研究起步较晚，对扩展TDI-CMOS图像传感器动态范围的研究不多。

发明内容

本发明旨在克服现有技术中诸如像素内多次曝光的结构复杂、噪声大，芯片外多次曝光处理的高存储量、帧率降低等的不足，使TDI-CMOS图像传感器能很好的保留强光和弱光分量的信息，有效拓展TDI-CMOS图像传感器的动态范围，为达到上述目的，本发明采用的技术方案是，扩展TDI-CMOS图像传感器动态范围的方法，使TDI-CMOS图像传感器中的不同行的像素单元依次对物象点成像，并将相应的输出信号输入进相应的累加器中，对于具有N行M列像素的TDI-CMOS图像传感器，将N行像素的曝光时间进行调整，即：在像素曝光时间内对像素进行一次复位，复位信号在曝光时间内的相对位置，决定了像素的最终的曝光时间；将来自不同曝光时间的像素输出信号在累加器中进行累加、融合处理后进行输出。

将N行像素的曝光时间进行调整是，使同一行像素具有相同的曝光时间，具有不同曝光时间的像素只能出现在不同的行中。

将N行像素的曝光时间进行调整是，使同一行像素可以具有不同的曝光时间，但要满足：位于不同列的像素，该列的所有行像素的有效曝光时间之和与其它任一列中所有行像素的有效曝光时间之和相同。

在累加器中进行累加、融合处理由模拟累加器在模拟域实现，或者由数字累加器在数字域实现。

本发明的技术特点及效果：

本发明只需改变像素阵列的时序，不需要改变像素结构，增加复位信号后，清除了像素内上次曝光输出后残留的电荷。最长曝光时间和最短曝光时间的比值越大，动态范围就越大。

附图说明

图14级TDI CMOS图像传感器结构。

图24T-PPD有源像素电路图及工作时序。

图34级TDI-CMOS像素阵列运动示意图。

图44级TDI-CMOS图像传感器控制时序。

图5可实现动态范围扩展的像素阵列时序。

具体实施方式

为了提高TDI-CMOS图像传感器的动态范围，并克服现有技术的不足，诸如像素内多次曝光的结构复杂、噪声大，芯片外多次曝光处理的高存储量、帧率降低的问题，本发明提出了一种调整不同行像素曝光时间来实现TDI-CMOS图像传感器动态范围的方法。通过在像素曝光期间对像素进行复位，以改变像素的有效曝光时间，各行像素中有些对物体进行了长曝光，有些对物体进行了短曝光，这些长曝光和短曝光信号在芯片内部的累加器中进行累加，等同于做了融合操作，由累加器的输出信号还原后的图像，将很好的保留强光和弱光分量的信息，即传感器的动态范围得到了拓展。

本发明提出的提高TDI-CMOS图像传感器动态范围的方法，属于多次曝光技术。多次曝光技术是指通过控制CMOS图像传感器的曝光时间，以获得不同曝光时间内传感器输出的信号，并采用一定方法将所述多种输出信号融合成一幅图像。对于长曝光信号，其能够保留场景中光强较弱部分的细节，而短曝光信号对于光线较强部分比较敏感，通过将长曝光信号与短曝光信号进行融合，可以得到同时具有强光与弱光细节的图像，从而达到扩展动态范围的目的。

上述中提到的融合技术，就是将所得的长曝光信号与短曝光信号进行一定的数学运算。常见的运算形式即为求和运算，即将上述两信号相加，作为融合后的信号。求和运算可以在模拟域或数字域进行，前者使用模拟电压累加器实现，后者数字电路实现。数字域累加，需要将像素输出的信号进行模拟-数字转换，在进行相应操作，

对于TDI-CMOS图像传感器来说，其工作方式不同于普通的面阵图像传感器。TDI-CMOS图像传感器在成像时需要与被拍摄物体保持相对运动。对于被拍摄物体中的某一个物象点，TDI-CMOS图像传感器中的不同行的像素单元将依次对其成像，并将相应的输出信号输入进相应的累加器中。对于具有N行M列像素的TDI-CMOS图像传感器，即N级TDI-CMOS图像传感器，某一累加器在积累了N个信号之后，会将这N个信号之和进行输出，作为对相应物象点的最终曝光信号。当然上述提到的N个信号，是来自同一列的N行像素对同一物象点依次曝光得到的信号。

为了提高TDI-CMOS图像传感器的动态范围，将N行像素的曝光时间进行调整，使得这N行像素的曝光时间不同，因此累加器中进行累加的信号，就是来自不同曝光时间的像素输出信号。将这些信号在累加器中进行累加，相当于对对上述不同时间的像素输出信号进行了融合处理，得到的最终的累加器的输出信号中将会具有强光与暗光的物体信息，达到传感器动态范围扩展的目的。

关于TDI-CMOS图像传感器中各行像素的曝光时间调整，本发明提出的方法是：在像素曝光时间内对像素进行一次复位，即将像素复位之前的曝光得到的光电荷泄放掉。复位信号在曝光时间内的相对位置，决定了像素的最终的曝光时间。使用该方法调整曝光时间，受工艺参数的影响很小。

关于各行像素曝光时间的设定。像素各行的曝光信号，最终都要在累加器中进行求和运算，因此位于不同列的像素，只要满足该列的所有行像素的有效曝光时间之和与其它任一列中所有行像素的有效曝光时间之和相同即可。因此具体实现方式可以有：

（1）同一行像素具有相同的曝光时间，具有不同曝光时间的像素只可能出现在不同的行中

（2）同一行像素可以具有不同的曝光时间，但要满足：位于不同列的像素，该列的所有行像素的有效曝光时间之和与其它任一列中所有行像素的有效曝光时间之和相同。

关于累加器的选取与累加过程的实现。本发明提出的提高tdi动态范围的方法，可以由模拟累加器在模拟域实现，也可以由数字累加器在数字域实现。

多次曝光技术是指通过控制CMOS图像传感器的曝光时间，获得不同曝光时间产生的信号，采用一定方法将多种信号融合成一幅图像。长曝光信号能够保留场景中光强较弱部分的细节，而短曝光信号对于光线较强部分比较敏感，从而扩展动态范围。

以4级累加的TDI-CMOS图像传感器为例描述本专利的实施方式。4级累加的TDI-CMOS图像传感器的结构如图1，通过某种曝光方式，像素输出信号驱动累加器经过4次累加后输出给列级ADC，最终由ADC进行量化输出。像素结构可采用4T-PPD（4-transistor pinnedphotodiode）有源像素，结构和时序如图2，Sel为行选信号，RST为复位信号，TX为传输管控制信号。在行选时间内，先将复位管打开一段时间，之后采集一次经过复位的FD电位。再将传输管打开一段时间，PD内生成的光电荷将转移进入FD，并导致FD电位的下降，将此时电位采集。两次采集到的电位做差，得到可以反映光生电荷量多少的电压，称之为信号电压。这个过程称为相关双采样(correlated double sampling,CDS)，实现该过程的电路称为CDS电路。

采用沿扫描方向的行滚筒式曝光方式，像素阵列的运动如图3所示（以4级为例）。其控制时序如图4所示。在不同的时间点，各行像素采集到不同的物象点，并把信号输入至相应的累加器，累加器在完成4次累加之后，会将最终的累加结果输出。上述过程在图3和图4中都进行了详细的标注。

本发明提出的提高TDI-CMOS图像传感器动态范围的方法，对像素的曝光控制时序进行了改进，如图5所示。TL为行渡越时间（在线阵图像传感器中可以理解为一帧的时间或输出一行像素信息的时间），行选之前添加复位信号控制曝光时间，T1，T2,T3,T4表示了不同的曝光时间，图中较长的曝光时间下可保留暗光区域信息，较短曝光时间下可以保留强光区域信息。对于被拍摄物体的某一物象点，将会扫过像素阵列中某一列的所有行像素，这些像素中有些对其进行了长曝光，有些对其进行了短曝光，这些长曝光和短曝光的输出信号将在相应的累加器中进行融合，即累加操作。

本发明提出的提高TDI-CMOS图像传感器动态范围的方法，充分利用了TDI的工作方式，将长短曝光结合的方法，融入TDI的工作过程，长短曝光信号的融合在片内的累加器中进行，该累加器是TDI-CMOS型图像传感器中固有的结构，因此，所提出的提高TDI-CMOS图像传感器动态范围的方法并没有引入新的复杂电路，仅通过时序的调整即可实现TDI-CMOS图像传感器动态范围的扩展。

下面给出具体实施实例。像素阵列具有4行像素，即TDI级数为4。渡越时间TL为100us,考虑数字电路实现复杂度和芯片的面积和功耗等问题，本实例采用两种曝光时间的方案：长曝光时间Tx为50us,短曝光时间Ty为5us。如图5所示，可以使得T1=T3=Tx，为长曝光时间，保留暗光区域信息；T2=T4=Ty为短曝光时间，可以保留强光区域的信息。

Claims (4)

1.一种扩展TDI-CMOS图像传感器动态范围的方法，使TDI-CMOS图像传感器中的不同行的像素单元依次对物象点成像，并将相应的输出信号输入进相应的累加器中，其特征是，对于具有N行M列像素的TDI-CMOS图像传感器，将N行像素的曝光时间进行调整，即：在像素曝光时间内对像素进行一次复位，复位信号在曝光时间内的相对位置，决定了像素的最终的曝光时间；将来自不同曝光时间的像素输出信号在累加器中进行累加、融合处理后进行输出。

2.如权利要求1所述的扩展TDI-CMOS图像传感器动态范围的方法，其特征是，将N行像素的曝光时间进行调整是，使同一行像素具有相同的曝光时间，具有不同曝光时间的像素只能出现在不同的行中。

3.如权利要求1所述的扩展TDI-CMOS图像传感器动态范围的方法，其特征是，将N行像素的曝光时间进行调整是，使同一行像素可以具有不同的曝光时间，但要满足：位于不同列的像素，该列的所有行像素的有效曝光时间之和与其它任一列中所有行像素的有效曝光时间之和相同。

4.如权利要求1所述的扩展TDI-CMOS图像传感器动态范围的方法，其特征是，在累加器中进行累加、融合处理由模拟累加器在模拟域实现，或者由数字累加器在数字域实现。

Images