CN102801930A

CN102801930A - 低功耗时间延时积分型 cmos 图像传感器

Info

Publication number: CN102801930A
Application number: CN2012102434171A
Authority: CN
Inventors: 姚素英; 徐超; 高静; 徐江涛; 史再峰
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2012-07-13
Filing date: 2012-07-13
Publication date: 2012-11-28
Anticipated expiration: 2032-07-13
Also published as: CN102801930B

Abstract

本发明涉及降低图像传感器功耗的方法。为能够大幅降低整个TDI-CMOS图像传感器的功耗，为达到上述目的，本发明采取的技术方案是，低功耗时间延时积分型CMOS图像传感器，像素阵列采用滚筒式曝光欠采样的方式，像素阵列每列相邻两行为一组设置有一个存储节点，像素阵列第1行像素采集到物体F曝光产生的光电荷转移到存储节点，之后第2行像素采集到物体F曝光产生的光电荷与存储节点内的物体F对应的电荷，一起转移到一个电荷-电压转换节点，这样就完成了一次电荷累加，并且也同时产生一个可用于之后电路处理的电压信号，第3行像素和第4行及后续各行以此类推。本发明主要应用于图像传感器的设计制造。

Description

低功耗时间延时积分型 CMOS 图像传感器

技术领域

本发明涉及降低互补金属氧化物半导体（CMOS）图像传感器功耗的方法，特别涉及一种降低时间延时积分（TDI）型CMOS图像传感器功耗的方法，具体讲，涉及低功耗时间延时积分型CMOS图像传感器。

背景技术

图像传感器可将镜头获得的光信号转换成易于存储、传输和处理的电学信号。图像传感器按照工作方式可以分为面阵型和线阵型。面阵型图像传感器的工作原理是以呈二维面阵排布的像素阵列对物体进行拍摄以获取二维图像信息，而线阵型图像传感器的工作原理是以呈一维线阵排布的像素阵列通过对物体扫描拍摄的方式来获取二维图像信息。线阵型图像传感器以其特殊的工作方式被广泛应用在航拍、空间成像、机器视觉和医疗成像等众多领域。但是由于在线阵型图像传感器的像素曝光期间物体始终在移动，因此像素的曝光时间严重受限于线阵型图像传感器相对被拍摄物体的移动速度，尤其在高速运动低照度应用环境下（例如空间成像）线阵型图像传感器的信噪比（Signal to Noise Ratio，SNR）会变得非常低。为解决SNR低的问题，有人提出了时间延时积分（Time Delay Integration，TDI）技术，其能够增加线阵图像传感器的SNR和灵敏度，它以其特殊的扫描方式，通过对同一目标进行多次曝光，实现很高的SNR和灵敏度，因此特別适用于高速运动低照度的环境下。TDI的基本原理是使用面阵排布的像素阵列以线阵扫描的方式工作，进而可实现不同行的像素对移动中的同一物体进行多次曝光，并将每次曝光结果进行累加，等效延长了像素对物体的曝光积分时间，因此可以大幅提升SNR和灵敏度。

TDI技术最早是通过电荷耦合器件（Charge Coupled Device,CCD）图像传感器实现的，CCD图像传感器也是实现TDI技术的理想器件，它能够实现无噪声的信号累加。但是由于CCD图像传感器存在功耗大集成度低等缺点，目前其在各个领域的应用都在逐渐被CMOS（Complementary Metal Oxide Semiconductor,互补金属氧化物半导体）图像传感器所替代。

图1可以简单的描述TDI图像传感器的工作过程。n级TDI图像传感器一共有n行像素，每个像素在一个曝光周期内都会产生相应的信号：对于CCD型TDI传感器，像素内产生的是电荷信号；对于CMOS型TDI传感器，像素内产生的是电压信号。TDI图像传感器的工作过程如下：某一列上的第一行像素在第一个曝光周期内产生的信号并不直接输出，而是与同列第二个像素在第二个曝光周期内产生的信号相加。以此类推，TDI图像传感器最后一行（第n行）的像素产生的信号与前面n-1个信号累加后再进行读出。TDI图像传感器中，输出信号的幅度是n个像素积分电荷的累加，即相当于一个像素n倍曝光周期内所产生的信号，输出信号幅度扩大了n倍，而噪声的幅度只扩大了

倍，因此信噪比可以提高

倍。

使用CMOS器件实现TDI功能的结构已经被提出，这些结构主要涉及数字域累加方案或模拟域累加方案。这两种结构都涉及像素内信号的读出、信号的相关双采样（CDS）和信号累加。它们的区别在于，信号累加前是否将其转换为数字量。图2和图3分别给出了模拟域累加方案和数字域累加方案的示意图。下面以模拟域累加为例介绍TDI-CMOS图像传感器的工作原理

图2中的像素阵列，一般采用4管（4T）有源像素阵列实现，4T像素的基本结构如图4所示，关于其组成结构和工作过程如下文描述：SEL为行选信号，RFD为复位信号，TX为传输管控制信号，FD为浮空扩散节点（floating diffusion）。在行选时间内，先将复位管打开一段时间，之后采集一次经过复位的FD电位。再将传输管打开一段时间，PD内生成的光电荷将转移进入FD，并导致FD电位的下降，将此时电位采集。两次采集到的电位做差，得到可以反映光生电荷量多少的电压，称之为信号电压。这个过程称为相关双采样(correlated double sampling,CDS)，实现该过程的电路称为CDS电路。

经过相关双采样之后的电压，将按照一定的顺序被累加进相应的累加器中，以保证对同一物体进行曝光而产生的信号都进入同一累加器中。以4级累加的TDI-CMOS图像传感器为例描述该过程。采用沿扫描方向的行滚筒式曝光方式，像素阵列的运动如图5所示（以4级为例）。其控制时序如图6所示。在不同的时间点，各行像素采集到不同的物象点，并把信号输入至相应的累加器，累加器在完成4次累加之后，会将最终的累加结果输出至列级模数转换电路，进而将数据输出至芯片外部。上述过程在图5和图6中都进行了详细的标注。

对于数字域累加，其工作过程与模拟域累加类似，只是在相关双采样之后的电压信号，被转换为数字量，之后采用数字累加器进行数字信号的累加操作，累加完成后直接输出至芯片外部，省去了列级模数转换的环节。

对于模拟域累加，存储器阵列通常采用电容阵列来实现。对信号的累加和复位的过程实际上就是对电容的充电和放电的过程，这个过程需要使用运算放大器来实现。由上述TDI图像传感器的工作工程可以看出，CDS信号都要进行累加操作，而这些累加操作都必须有运算放大器参与。对于TDI-CMOS图像传感器，其行选时间都很短，即CDS信号的频率很高，运算放大器需要在很短的时间内完成对电容的充电或放电操作，因此导致运算放大器的功耗很大，通常占据整个TDI-CMOS图像传感器功耗的大部分。

对于数字域累加模式，其累加过程由数字电路实现，累加过程不会引起很大的功耗，但是数字域累加需要将CDS信号先转换为数字信号，这个过程如果被限制在一个很短的时间完成，那么相应的模拟数字转换电路的功耗也是很高的，通常该模拟数字转换电路的功耗也在整个数字域TDI-CMOS图像传感器的功耗中占据很大部分。

发明内容

本发明旨在克服现有技术的不足，能够大幅降低整个TDI-CMOS图像传感器的功耗，为达到上述目的，本发明采取的技术方案是，低功耗时间延时积分型CMOS图像传感器，像素阵列采用滚筒式曝光欠采样的方式，像素阵列每列相邻两行为一组设置有一个存储节点，像素阵列第1行像素采集到物体F曝光产生的光电荷转移到存储节点，之后第2行像素采集到物体F曝光产生的光电荷与存储节点内的物体F对应的电荷，一起转移到一个电荷-电压转换节点，这样就完成了一次电荷累加，并且也同时产生一个可用于之后电路处理的电压信号，第3行像素和第4行及后续各行以此类推。

存储节点为普通的二极管结构或表面进行P型离子注入的二极管结构，位于同一列的像素，将以两行为一组，采取共用源极跟随器SF与行选择管SEL的结构，并且还设置两个感光管的复位管，以第1行与第2行像素为例，即RPD1和RPD2，电荷存储节点SD为一个表面进行P型离子注入的二级管结构，SD的表面将进行遮光处理，第3行与第4行像素也组成一组，结构与第1行与第2行组成的像素结构相同，以此类推；像素阵列工作过程如下：在某一时刻，第2行像素的传输管TX2与第1行像素的传输管TX同时打开，第2行像素的感光二极管PD2与SD中的电荷将进入浮空扩散节点FD，这个过程实现了电荷累加，并且电荷在浮空扩散节点FD中转化为电压信号输出至像素外部；上述两部分进行累加的电荷来自于对同一物体进行曝光；之后，第1行像素传输管TX1打开，将产生的光电荷导入到SD中，之后，轮到像素的最后一行的传输管TX管打开，对于具有N行像素的N级TDI传感器，即第N行像素的传输管TX管打开，同时，与之组合的像素结构中相应的SD管，也将其存储的电荷进行导出，这两部分电荷在该组合像素结构中相应的浮空扩散节点FD中完成累加，并转换为电压信号输出；之后，第N-1行像素的传输管TX管打开，将产生的电荷导入到刚才电荷导出的SD中；以此类推，不再赘述。

6行像素结构，像素阵列采用欠采样的读出方式，即由像素的第6行像素开始，然后是第5、第4、第3、第2和第1行，依次将采集到的光电荷由感光区读出；具体的时序可表述如下：将SEL5管打开，选通第5和第6行像素组成的单元，打开RFD5，将FD5复位，FD5的复位信号被相关双采样CDS电路采集到，之后将TX6和TG5同时打开，第6行像素感光区采集到的光电荷被转移出感光区，即被读出，同时存储在SD5中的由第5行像素在上一感光周期中采集到的光电荷被转移出存储节点，上述两部分电荷被转移到FD5中，将使得FD5的电位下降，此时电位也被CDS电路采集到，并与CDS电路刚才采集到的电位做差，得到的结果输入进对应的累加器中，接下来将是RPD6的打开，对第6行像素的感光区，即PD6进行复位，复位结束后PD6开始了下一次的光电荷的积累；之后TX5将打开，将第5行像素的感光区采集到的光电荷转移到SD5中，随后，将RPD5打开，对第5行像素的感光区，即PD5进行复位，复位结束后PD5开始了下一次的光电荷的积累，随后，将依次进行对第4、第3、第2和第1行像素感光区采集到的光电荷的转移操作，中间包含相应的复位和CDS操作，具体流程与上述第6和第5行像素感光区采集到的光电荷的转移操作相同。

本发明的技术特点及效果：

本发明提出了一种像素内部电荷域累加与像素外部累加相结合的累加模式，通过降低像素阵列外部累加的次数，达到延长外部模拟域累加模式中运算放大器的建立时间，或延长外部数字域累加模式中的模数转换时间的目的，进而大幅降低整个TDI-CMOS图像传感器的功耗。该方法从架构上对累加的实现进行了优化，在降低整个芯片的功耗上，比单纯优化具体电路的效果明显；采用欠采样的读出方式可以避免信号累加出现的混乱。

附图说明

图1TDI型图像传感器工作原理示意图。

图2模拟域累加的TDI CMOS图像传感器示意图。

图3数字域累加的TDI CMOS图像传感器示意图。

图44T有源像素的基本结构及简单工作时序。

图54级TDI-CMOS像素阵列运动示意图。

图64级TDI-CMOS图像传感器控制时序。

图7TDI-CMOS过采样累加过程示意图。

图8（a）电荷域累加过程示意图。

图8（b）错误的累加过程。

图8（c）正确的累加过程。

图9采用电荷域累加的欠采样累加过程及累加器状态。

图10采用电荷域累加的像素结构示意图。

图11采用电荷域累加的6级TDI图像传感器结构示意图。

图12采用电荷域累加的6级TDI图像传感器控制时序图。

具体实施方式

本发明提出了一种像素内部电荷域累加与像素外部累加相结合的累加模式，通过降低像素阵列外部累加的次数，达到延长外部模拟域累加模式中运算放大器的建立时间，或延长外部数字域累加模式中的模数转换时间的目的，进而大幅降低整个TDI-CMOS图像传感器的功耗。

TDI型CMOS图像传感器多采用滚筒式曝光的方式，即像素阵列的各行信号依次被读出。对于具有N行像素的像素阵列，在传感器相对被摄物体运动的过程中，物体的物象依次投射到第1,2,3……N-1,N行像素中。可选的读出顺序为“1,2,3……N-1,N,1,2,3……”或“N,N-1,N-2……3,2,1,N,N-1,N-2……”。为了保证累加的同步性，对于第一种读出时序，需要在一个渡越时间内进行N+1次累加，这种方式称为过采样；相应的，对于第二种读出时序，需要在一个渡越时间内进行N-1次累加，称为欠采样。

图7以6级TDI图像传感器为例，介绍了采用过采样方案所对应的累加过程。图中标明了被拍摄物体和传感器相对物体的运动方向。图中的箭头表示某像素采集到的信号被累加进入相应的累加器中。累加器中所存储的信号随着时间的推移和改变。图7下半部分的第2列中给出了相应累加器的之前的状态，即累加器中已完成累加的信号，如“空”代表累加器之前被清空，所累加的信号已经被读出，“DD”表示累加器中已完成了2次对D物体曝光所产生信号的累加。对于6级TDI图像传感器，当累加器中完成了对相应物体6次曝光信号的累加之后，所累加信号被读出，累加器被清空，这个动作在图7中用实心的菱形表示。

为了实现在像素中进行电荷累加，需要在像素中引入一个存储节点，如图8（a）所示。例如，（结合图7）传感器第1行像素采集到物体F，并将曝光产生的光电荷转移到像素内部的存储节点。之后物体F将对第2行像素进行曝光，第2行像素将采集到的对应于F的光电荷，与前面提到的存储节点内的F对应的电荷，一起转移到一个电荷-电压转换节点，这样就完成了一次电荷累加，并且也同时产生一个可用于之后电路处理的电压信号，之后的过程与普通的模拟域或数字域累加的图像传感器相类似。

但是，上述提到的电荷累加方法与过采样的累加时序并不兼容。如图8（b）所示，在某一时刻，第1行像素输出F对应的电荷信号进入存储节点，经过一段时间之后，第2行像素也采集到F，需要将电荷信号与前面提到的存储节点内的电荷信号进行累加。但是，由于第1行像素的输出总是早于第2行像素，在存储节点内还在保留物体F对应的电荷信号时，第1行像素必须将采集到的物体G对应的电荷信号输出，这将造成信号累加的混乱。如果第2行像素的输出总是早于第1行像素，如图8（c）所示，那么电荷的累加就不会出现混乱了。

为此，本发明采用的是欠采样的累加时序，如图9所示。像素阵列旁边的信号代表存储在像素内部存储节点内的信号，该电荷信号在一段时间之后将与对应的相邻行像素输出的电荷信号完成像素内部的电荷域累加，并将相应的电压信号输出给相应的累加器，具体的过程在图9中进行了描述。

对于过采样的累加方式，6级TDI需要7个累加器，而采用欠采样的累加形式，6级TDI需要5个累加器，这种差别会随着TDI级数的提高而变得不明显（实际中多使用16,32,64等级数），因此如果忽略这种差别，从图7和图9的对比中可以得到：由于采用了像素内部的电荷域累加，在像素外部累加器（不论是模拟域还是数字域）中进行的累加次数减少了一半。

对于模拟域累加，存储器阵列通常采用电容阵列来实现。对信号的累加和复位的过程实际上就是对电容的充电和放电的过程，这个过程需要使用运算放大器来实现。累加次数的减小，使得两次累加之间的间隔变大，对运算放大器的建立时间的要求也降低了，相应的运算放大器的功耗会随之降低。

对于数字域累加模式，其累加过程由数字电路实现，累加过程不会引起很大的功耗，但是数字域累加需要将CDS信号先转换为数字信号，这个过程如果被限制在一个很短的时间完成，那么相应的模拟数字转换电路的功耗也是很高的。累加次数的减小，使得两次累加之间的间隔变大，模数转换的时间限制被相应的扩大了，因此，模数转换电路的功耗会相应的减小。

关于该存储节点的实现形式，可以为普通的二极管结构或表面进行P型离子注入的二极管结构。如图10所示为一种可采用的像素结构。位于同一列的像素，将以两行为一组，采取共用源极跟随器（SF）与行选择管（SEL）的结构。两个像素各自具有相应的传输管（TX），并且由于引入了电荷存储节点，因此还需额外的一个传输管，这里以TG表示。考虑到对PD内电荷的完全复位，该结构还引入了两个复位管，即RPD1和RPD2。SD（storage diode）即为电荷存储节点，它为一个表面进行P型离子注入的二级管结构，该结构与4T有源像素中的感光区使用的光电二极管机构类似。该结构可以实现较低的暗电流，这对于电荷存储节点来说尤其重要。在实际器件中，SD的表面将进行遮光处理，如使用金属层进行遮光等。第3行与第4行像素也组成一组，结构与第1行与第2行组成的像素结构相同，以此类推，不再赘述。

参照图9与图10，其工作过程可以概述如下：在某一时刻，第2行像素的TX2与第1行像素的TX同时打开，PD2与SD中的电荷将进入FD，这个过程实现了电荷累加，并且电荷在FD中转化为电压信号输出至像素外部。需要说明的是，上述两部分进行累加的电荷来自于对同一物体进行曝光。之后（由于第2行像素早于第1行像素读出），第1行像素TX1打开，将产生的光电荷导入到SD中。由于之前SD内的电荷已经导出，因此不会造成信号的混叠。之后，轮到像素的最后一行的TX管打开。对于具有N行像素的N级TDI传感器，即第N行像素的TX管打开，同时，与之组合的像素结构中相应的SD管，也将其存储的电荷进行导出，这两部分电荷在该组合像素结构中相应的FD中完成累加，并转换为电压信号输出。之后，第N-1行像素的TX管打开，将产生的电荷导入到刚才被清空的SD中。以此类推，不再赘述。为了表述连贯，上述过程中都省略了对PD复位的操作，实际上在TX管打开一段时间而关闭之后，相应的复位管将打开对相应的PD进行复位。如TX1管打开并关闭之后，RPD1将打开，对PD1进行复位。以此类推。

为使本发明的目的、技术方案和优点更见清楚，下面将对本发明实施方式进一步地详细描述。

本实例采用6行6列像素。对于TDI图像传感器，像素的列数仅影响成像的分辨率，与本发明提出的电荷域累加方法无关，故本实例仅以1列6行像素介绍本发明的具体实现。

6行像素结构采用图11所示的像素排列。像素的各个控制信号的时序如图12所示。像素阵列采用欠采样的读出方式，即由像素的第6行像素开始，然后是第5、第4、第3、第2和第1行，依次将采集到的光电荷由感光区读出。具体的时序可表述如下：将SEL5管打开，选通第5和第6行像素组成的单元，打开RFD5，将FD5复位，FD5的复位信号被相关双采样（CDS）电路采集到（图12中未标注，参考图11中CDS电路的位置），之后将TX6和TG5同时打开，第6行像素感光区采集到的光电荷被转移出感光区，即被读出，同时存储在SD5中的由第5行像素在上一感光周期中采集到的光电荷被转移出存储节点，上述两部分电荷被转移到FD5中，将使得FD5的电位下降，此时电位也被CDS电路采集到，并与CDS电路刚才采集到的电位做差，得到的结果输入进对应的累加器中（关于CDS信号输出至相应的累加器，可参照图9）。接下来将是RPD6的打开，对第6行像素的感光区，即PD6进行复位，复位结束后PD6开始了下一次的光电荷的积累。之后TX5将打开，将第5行像素的感光区采集到的光电荷转移到SD5中，由于之前SD中原有电荷已经转移出去，因此不会造成电荷累加的混乱。随后，将RPD5打开，对第5行像素的感光区，即PD5进行复位，复位结束后PD5开始了下一次的光电荷的积累。随后，将依次进行对第4、第3、第2和第1行像素感光区采集到的光电荷的转移操作，中间包含相应的复位和CDS操作，具体流程与上述第6和第5行像素感光区采集到的光电荷的转移操作类似，可参照图9与图12所示的时序。

Claims

1.一种低功耗时间延时积分型CMOS图像传感器，其特征是像素阵列采用滚筒式曝光欠采样的方式，像素阵列每列相邻两行为一组设置有一个存储节点，像素阵列第1行像素采集到物体F曝光产生的光电荷转移到存储节点，之后第2行像素采集到物体F曝光产生的光电荷与存储节点内的物体F对应的电荷，一起转移到一个电荷-电压转换节点，这样就完成了一次电荷累加，并且也同时产生一个可用于之后电路处理的电压信号，第3行像素和第4行及后续各行以此类推。

2.如权利要求1所述的低功耗时间延时积分型CMOS图像传感器，其特征是，存储节点为普通的二极管结构或表面进行P型离子注入的二极管结构，位于同一列的像素，将以两行为一组，采取共用源极跟随器SF与行选择管SEL的结构，并且还设置对感光的光电二极管进行复位的复位管，以第1行与第2行像素为例，即RPD1和RPD2，电荷存储节点SD为一个表面进行P型离子注入的二级管结构，SD的表面将进行遮光处理，第3行与第4行像素也组成一组，结构与第1行与第2行组成的像素结构相同，以此类推；像素阵列工作过程如下：在某一时刻，第2行像素的传输管TX2与第1行像素的传输管TG同时打开，第2行像素的感光二极管PD2与SD中的电荷将进入浮空扩散节点FD，这个过程实现了电荷累加，并且电荷在浮空扩散节点FD中转化为电压信号输出至像素外部；上述两部分进行累加的电荷来自于对同一物体进行曝光；之后，第1行像素传输管TX1打开，将产生的光电荷导入到SD中，之后，轮到像素的最后一行的传输管TX管打开，对于具有N行像素的N级TDI传感器，即第N行像素的传输管TX管打开，同时，与之组合的第N-1行像素结构中相应的TG管也打开，将存储管SD中的电荷导出，这两部分电荷在该组合像素结构中相应的浮空扩散节点FD中完成累加，并转换为电压信号输出；之后，第N-1行像素的传输管TX管打开，将产生的电荷导入到刚才电荷导出的存储管SD中；以此类推，不再赘述。

3.如权利要求1所述的低功耗时间延时积分型CMOS图像传感器，其特征是，6行像素结构，像素阵列采用欠采样的读出方式，即由像素的第6行像素开始，然后是第5、第4、第3、第2和第1行，依次将采集到的光电荷由感光区读出；具体的时序可表述如下：将SEL5管打开，选通第5和第6行像素组成的单元，打开RFD5，将FD5复位，FD5的复位信号被相关双采样CDS电路采集到，之后将TX6和TG5同时打开，第6行像素感光区采集到的光电荷被转移出感光区，即被读出，同时存储在SD5中的由第5行像素在上一感光周期中采集到的光电荷被转移出存储节点，上述两部分电荷被转移到FD5中，将使得FD5的电位下降，此时电位也被CDS电路采集到，并与CDS电路刚才采集到的电位做差，得到的结果输入进对应的累加器中，接下来将是RPD6的打开，对第6行像素的感光区，即PD6进行复位，复位结束后PD6开始了下一次的光电荷的积累；之后TX5将打开，将第5行像素的感光区采集到的光电荷转移到SD5中，随后，将RPD5打开，对第5行像素的感光区，即PD5进行复位，复位结束后PD5开始了下一次的光电荷的积累，随后，将依次进行对第4、第3、第2和第1行像素感光区采集到的光电荷的转移操作，中间包含相应的复位和CDS操作，具体流程与上述第6和第5行像素感光区采集到的光电荷的转移操作相同。