CN103024309A

CN103024309A - 用于快速获取单幅低阶累加图像的cmos图像传感器

Info

Publication number: CN103024309A
Application number: CN2012105926356A
Authority: CN
Inventors: 姚素英; 李林; 史再峰; 徐江涛; 高静; 高志远
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2012-12-29
Filing date: 2012-12-29
Publication date: 2013-04-03
Anticipated expiration: 2032-12-29
Also published as: CN103024309B

Abstract

本发明涉及集成电路领域。为实现单幅累加图像快速拍摄，本发明采取的技术方案是，用于快速获取单幅低阶累加图像的CMOS图像传感器，在面阵CMOS图像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄存器电路，数字图像数据输出通路由一路增加为两路并且和原来的电路并行排布；像素阵列被分成两部分，第一行到第N/2行为第一部分，第（N/2）+1行到第N行为第二部分，其中连接每列像素的列总线由一条增加为并列的两条列总线，通过改变图像传感器的配置寄存器来实现正常的面阵CMOS图像传感器模式和可选阶数的TDI传感器两种模式。本发明主要应用于CMOS图像传感器设计制造。

Description

用于快速获取单幅低阶累加图像的CMOS图像传感器

技术领域

本发明涉及集成电路领域，尤其涉及一种用于快速获取单幅低阶累加图像的TDI型CMOS图像传感器。

背景技术

图像传感器可将包含图像信息的光信号转换成易于处理的电信号。图像传感器按照工作方式可以分为线阵型和面阵型。线阵型图像传感器以一维线阵排布的像素阵列通过对物体推扫拍摄获取二维图像信息。面阵型图像传感器以呈二维面阵排布的像素阵列对物体拍摄获取二维图像信息。面阵型和线阵型图像传感器都在生产生活中获得了极大的应用，其中线阵型因其特殊工作方式被广泛应用在空间成像和机器视觉等领域。但由于在线阵型图像传感器的像素曝光期间物体始终在作相对移动，因此成像质量有限，尤其在高速相对运动和低光照应用环境中线阵型图像传感器的SNR（Signal toNoise Ratio，信噪比）会很低。为此，有人在结合面阵型图像传感器和线阵推扫工作方式的基础上提出了TDI(Time Delay Integration，时间延时积分)技术，它能很好的提升图像传感器的灵敏度和SNR。TDI基本原理是使用面阵排布的像素阵列以线阵推扫的方式工作，通过相对移动实现不同行的像素阵列对同一目标进行多次曝光，并将每次曝光结果进行累加，等效延长曝光积分时间来实现很高的灵敏度和SNR。

TDI技术最早是通过CCD(Charge Coupled Device,电荷耦合器件)图像传感器实现的，CCD图像传感器是实现TDI技术的理想器件，它能够在电荷域实现无噪声的信号累加。目前TDI多应用在CCD图像传感器中，CCD-TDI图像传感器的工作原理是使用面阵CCD图像传感器以线推扫的方式工作，如图1所示。M级CCD-TDI图像传感器一共有M行像素，在沿CCD列方向的推扫成像过程中，某列上的第一个像素在第一个积分周期内得到的光生电荷并不直接输出，而是下移一个像素与同列第二个像素在第二个积分周期内得到的光生电荷相加，以此类推在第M个积分周期结束时，第M个像元的光生电荷与前M-1次得到的光生电荷累加后再按普通线阵CCD器件一样进行读出。这样读出电荷是单个像素的M倍，而噪声的幅度只扩大了√M倍，因此信噪比提高√M倍。但CCD图像传感器存在功耗大集成度低等缺点，而随着CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)技术的提高，CMOS图像传感器正逐步取代CCD图像传感器。和TDI-CCD相比，CMOS技术下实现TDI功能只能在模拟域或者数字域实现。在模拟域TDI方案中，CMOS图像传感器像素输出的模拟信号先进入模拟信号累加器中完成对相同积分信号的累加，然后将完成累加的模拟信号送入ADC进行量化输出。但累加模拟信号方式会消耗较大功耗和芯片面积，且模拟信号累加过程中会引入较大噪声，不易实现高TDI级数。在数字域TDI方案中，先将像素输出的信号送入ADC经行量化然后将量化后的数字信号送入数字域累加器中完成相同积分信号的累加，最后将完成累加的信号直接输出。数字域TDI可较为节省芯片面积和功耗开销，且容易实现较高的TDI级数。但以上方案均是设计特有TDI架构的图像传感器芯片。因而有人提出基于普通面阵CMOS图像传感器在FPGA或DSP芯片中将CMOS图像传感器的输出数字信号进行TDI算法处理实现TDI功能。普通的面阵CMOS图像传感器主要包括：N行×C列的像素阵列、列并行信号预处理电路(信号放大和处理)、列并行ADC、移位寄存器和时序控制电路，其结构如图2所示。假设CMOS面阵图像传感器具有（N行×C列）像素阵列，CMOS面阵图像传感一般采用滚筒式曝光，像素阵列控制电路按行依次选择N行像素阵列进行复位和曝光，当一行像素曝光完成，像素阵列控制电路选择下一行像素曝光，同时读出时序控制电路选通已曝光完成的行像素，该行像素经过光电转换的模拟电信号通过各自的列总线进入列信号放大和处理电路，经过处理和放大的模拟信号再进入列级ADC电路进行模数转换为数字图像信号，时序控制电路控制移位寄存器按列依次读出该行数字图像信号，当该行像素的数字图像信号读出完成，读出时序控制电路继续对下一行像素信号进行处理和读出操作。基于普通CMOS图像传感器实现TDI功能的原理如图3所示，由于CMOS图像传感器具有窗口选择功能，若选取N行×C列像素阵列中4行像素作为TDI区域，每帧图像只输出4×C个像素，选择的4行CMOS像素阵列从第一行到第4行像素先后完成卷帘式曝光、读出与复位的过程为一帧。通过对多帧图像的存储、移位和累加等操作就可以实现基于CMOS面阵图像传感器的TDI功能。在第一个行周期内，CMOS图像传感器曝光读出得到4×C个像素图像，其中第4行图像P₄(1)是第4行像素对第1行景物第1次曝光得到的图像。在第二个行周期内，第3行图像P₃(2)是第3行像素对第1行景物第2次曝光得到的图像。以此类推，在第4个行周期内，第1行图像P₁(4)是第1行像素对第1行景物第4次曝光得到的图像。将这4次输出的数字信号进行累加，就得到了最终的第一行景物的4阶TDI结果Output(4):

Output(4)=P₄(1)+P₃(2)+P₂(3)+P₁(4) (1)

以此类推，在第5个行周期，可得到第2行景物的TDI结果。使用这种方案可不依赖于器件本身，并且TDI级数和分辨率都可调，后续的TDI算法也容易实现。

但在实际的工业等应用中，由于环境复杂，常既需要普通面阵图像传感器的功能，又需要在暗光下进行快速TDI成像的功能，这样使用特定的TDI图像传感器芯片就很难满足要求。这时选择基于普通面阵CMOS图像传感器实现TDI算法的方案在一定程度上就能较好的满足需求。但目前的CMOS图像传感器普遍为大面阵的芯片，在进行低阶TDI单幅图像拍摄时，如使用128×1024的图像传感器进行4阶TDI完成单幅（128×1024）图像成像时，若使用其中4行进行成像，需要在131个行时间采集131帧（每帧大小为4行×1024列）图像完成此TDI成像，其中每个行时间完成4行像素的曝光、读出和复位，这样会造成CMOS图像传感器芯片像素阵列的浪费且成像速度低下；若直接使用128行进行成像，在4个行时间采集4帧（每帧大小为128行×1024列）图像完成TDI单幅（125行×1024列）成像，其中每个行时间需要完成128行像素的曝光、读出和复位，这会造成成像器和景物相对运动速度的限制和成像速度低下。

发明内容

本发明旨在克服现有技术的不足，实现单幅累加图像快速拍摄，为达到上述目的，本发明采取的技术方案是，用于快速获取单幅低阶累加图像的CMOS图像传感器，在面阵CMOS图像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄存器电路，数字图像数据输出通路由一路增加为两路并且和原来的电路并行排布；像素阵列被分成两部分，第一行到第N/2行为第一部分，第（N/2）+1行到第N行为第二部分，其中连接每列像素的列总线由一条增加为并列的两条列总线，通过改变图像传感器的配置寄存器来实现正常的面阵CMOS图像传感器模式和可选阶数的TDI传感器两种模式；在正常模式下，两条信号读出通路选择其中一条信号通路正常工作；在TDI传感器模式下，通过配置寄存器来设置TDI成像窗口尺寸即TDI的阶数和分辨率，被分成两部分的像素阵列各自选择同样尺寸的TDI窗口，并分别配合一条信号通路进行各自像素阵列的复位、曝光和读出操作；两部分像素阵列的数字图像信号输出口分别输出各自的图像信号，但二者可共用同一条时钟信号线；TDI阶数M从2阶到N/2阶可选，在第一个行周期，输出第一帧图像，一帧图像包含两部分，第一部分为第1行到第M行像素信号，第二部分为第（N/2）+1行到第（N/2）+M行信号；随着图像传感器和被拍摄物体的相对移动，在第二个行周期，输出第二帧图像，在FPGA或DSP中将第二帧图像向前移位一行并和第一帧图像累加得到2阶TDI输出结果，依次类推。

在FPGA或DSP中依次类推，具体为：在FPGA或DSP中开辟一块大小为（N+M-1）行×C列的存储区域，在第一个行周期将第一帧图像按行依次存于第1行到第M行存储区域和第（N/2）+1行到第（N/2）+M行存储区域；在第二个行周期，将第二帧图像依次存于第2行到第M+1行的存储区域和（N/2）+2行到第（N/2）+M+1行存储区域，其中第2行到第M行存储区域中数据和第（N/2）+2行到第（N/2）+M行存储区中数据为第一个行周期中已存储的第一帧图像数据和第二帧相应位置图像数据的累加结果；依次类推，将下一帧图像移位一行和存储区域中的现存数据进行累加后再存储，经过N/2个行周期后，从第1行到第（N+M-1）行存储区域都存储了图像数据，其中第M行到第N行的数据为M阶的TDI累加图像数据，图像尺寸为（N+1-M）行×C列。

8行×C列的CMOS图像传感器工作在2阶TDI模式，图像传感器像素阵列中第一部分为第1、2两行，第二部分为第5、6两行，在第一个行周期，图像传感器两路信号输出第一帧结果为拍摄到景物的第1、2、5、6四行景物。在第二个行周期，图像传感器和景物相对移动，图像传感器两路信号输出第二帧结果为景物的第2、3、6、7四行景物，移位叠加第一帧的拍摄结果，输出的结果是第1、3、5、7景物是拍摄一次成像，第2、6行为2阶TDI累加成像；在第三个行周期，图像传感器继续相对移动，图像传感器两路信号输出第三帧结果为景物的第3、4、7、8四行景物，移位叠加前两帧图像后输出的结果为第1、4、5、8行景物是拍摄一次成像，第2、3、6、7行为2阶TDI累加成像；在第四个行周期，图像传感器继续相对移动，图像的第四帧结果为景物的第4、5、8、9四行景物，移位叠加前3帧图像后输出最终的TDI成像结果：第1、9行景物为拍摄一次成像，第2行到第8行为TDI累加成像，如此在4个行周期完成2阶TDI成像，成像大小为7行×C列。

本发明的技术特点及效果：

在原来经典CMOS图像传感器架构的基础上再额外增加一倍的列信号处理和放大电路、列级ADC电路、移位寄存器电路和信号输出端口。可使得该图像传感器芯片具有普通面阵成像和TDI成像两种模式，能更好的适应于复杂的工业和空间成像领域。同时，在TDI成像模式中，在同一个时钟下同时输出两路信号，结合后续的FPGA和DSP实现TDI算法完成TDI功能。当选择TDI阶数为M（传感器大小为N×C,M≤N/2）时,可在同样尺寸的TDI成像情况下，节省50%的TDI工作时间，实现快速成像，同时，也大大减小了芯片在低阶TDI模式下的像素资源浪费。

附图说明

图1是M阶CCD-TDI图像传感器工作原理示意图。

图2是普通面阵CMOS图像传感器结构示意图。

图3是普通面阵CMOS图像传感器4阶TDI算法实现示意图。

图4是改进的面阵CMOS图像传感器结构示意图。

图5是8行×C列改进CMOS图像传感器在2阶TDI模式下工作示意图。

具体实施方式

本发明提出在普通CMOS图像传感器架构的基础上通过增加读出通路，在TDI成像模式时实现2路输出，2路输出信号在后端信号处理时同时进行TDI算法，进而实现单幅累加图像快速拍摄。

在面阵CMOS图像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄存器电路，数字图像数据输出通路由一路增加为两路。改进的图像传感器如图4所示，图像传感器的像素阵列被分成两部分，第一行到第N/2行为第一部分，第（N/2）+1行到第N行为第二部分，信号读出通路（包含列信号放大和处理电路、列级ADC电路和移位寄存器电路）由一路变为2路，其中连接每列像素的列总线由一条增加为并列的两条列总线，列信号放大和处理电路、列级ADC电路和移位寄存器电路均增加1倍，并且和原来的电路并行排布。改进的CMOS图像传感器具有正常的面阵CMOS图像传感器模式和可选阶数的TDI传感器两种模式，这可以通过改变图像传感器的配置寄存器来实现。在正常模式下，改进CMOS图像传感器和普通面阵CMOS图像传感器工作原理一致，两条信号读出通路选择其中一条信号通路正常工作。在TDI传感器模式下，可以通过配置寄存器来设置TDI成像窗口尺寸（TDI的阶数和分辨率），被分成两部分的像素阵列各自选择同样尺寸的TDI窗口，并分别配合一条信号通路进行各自像素阵列的复位、曝光和读出操作。两部分像素阵列的数字图像信号输出口分别输出各自的图像信号，但二者可共用同一条时钟信号线。当图像传感器（尺寸为N行×C列）在TDI模式工作时，可配置寄存器设置TDI成像窗口尺寸，TDI阶数M从2阶到N/2阶可选，在第一个行周期，输出第一帧图像，一帧图像包含两部分，第一部分为第1行到第M行像素信号，第二部分为第（N/2）+1行到第（N/2）+M行信号。随着图像传感器和被拍摄物体的相对移动，在第二个行周期，输出第二帧图像，在FPGA或DSP中将第二帧图像向前移位一行并和第一帧图像累加得到2阶TDI输出结果。具体操作即是在FPGA或DSP中开辟一块大小为（N+M-1）行×C列的存储区域，在第一个行周期将第一帧图像按行依次存于第1行到第M行存储区域和第（N/2）+1行到第（N/2）+M行存储区域；在第二个行周期，将第二帧图像依次存于第2行到第M+1行的存储区域和（N/2）+2行到第（N/2）+M+1行存储区域，其中第2行到第M行存储区域中数据和第（N/2）+2行到第（N/2）+M行存储区中数据为第一个行周期中已存储的第一帧图像数据和第二帧相应位置图像数据的累加结果。依次类推，将下一帧图像移位一行和存储区域中的现存数据进行累加后再存储，经过N/2个行周期后，从第1行到第（N+M-1）行存储区域都存储了图像数据，其中第M行到第N行的数据为M阶的TDI累加图像数据，图像尺寸为（N+1-M）行×C列。这种方式和现有的CMOS图像传感器实现TDI算法相比较，在生成同样大小的TDI图像的情况下，可使得TDI成像时间减小50%，同时也大大的提高了图像传感器在TDI功能下的使用效率。

为了更加详细明了的描述改进的CMOS图像传感器在TDI模式下的工作原理，假设以8行×C列的CMOS图像传感器工作在2阶TDI模式为例，如图5所示。图中虚线框表示CMOS图像传感器像素阵列。在2阶TDI模式下，图像传感器像素阵列中第一部分为第1、2两行，第二部分为第5、6两行，分别用矩形框表示。在第一个行周期，图像传感器两路信号输出第一帧结果为拍摄到景物的第1、2、5、6四行景物。在第二个行周期，图像传感器和景物相对移动，图像传感器两路信号输出第二帧结果为景物的第2、3、6、7四行景物，移位叠加第一帧的拍摄结果，输出的结果是第1、3、5、7景物是拍摄一次成像，第2、6行为2阶TDI累加成像。在第三个行周期，图像传感器继续相对移动，图像传感器两路信号输出第三帧结果为景物的第3、4、7、8四行景物，移位叠加前两帧图像后输出的结果为第1、4、5、8行景物是拍摄一次成像，第2、3、6、7行为2阶TDI累加成像。在第四个行周期，图像传感器继续相对移动，图像的第四帧结果为景物的第4、5、8、9四行景物，移位叠加前3帧图像后输出最终的TDI成像结果：第1、9行景物为拍摄一次成像，第2行到第8行为TDI累加成像，如此在4个行周期就可完成2阶TDI成像，成像大小为7行×C列。如果在同样条件下完成同样的成像效果，使用现有的CMOS图像传感器设置2阶窗口成像，需要8个行周期。

N行×C列改进CMOS面阵图像传感器，在TDI模式下，选择TDI阶数越小，输出的最终TDI图像的尺寸越大，即当配置寄存器设置2阶TDI成像，经过N/2个行周期后，TDI成像大小为(N-1)行×C列，同时比普通CMOS图像传感器在同样情况下TDI成像时间减小50%。如现在普遍使用的768行×1024列CMOS面阵图像传感器，经过改进后，当选取2阶TDI成像模式，经过512个行周期，将得到一幅767行×1024列的2阶TDI图像。

Claims

1.一种用于快速获取单幅低阶累加图像的CMOS图像传感器，其特征是，在面阵CMOS图像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄存器电路，数字图像数据输出通路由一路增加为两路并且和原来的电路并行排布；像素阵列被分成两部分，第一行到第N/2行为第一部分，第（N/2）+1行到第N行为第二部分，其中连接每列像素的列总线由一条增加为并列的两条列总线，通过改变图像传感器的配置寄存器来实现正常的面阵CMOS图像传感器模式和可选阶数的TDI传感器两种模式；在正常模式下，两条信号读出通路选择其中一条信号通路正常工作；在TDI传感器模式下，通过配置寄存器来设置TDI成像窗口尺寸即TDI的阶数和分辨率，被分成两部分的像素阵列各自选择同样尺寸的TDI窗口，并分别配合一条信号通路进行各自像素阵列的复位、曝光和读出操作；两部分像素阵列的数字图像信号输出口分别输出各自的图像信号，但二者可共用同一条时钟信号线；TDI阶数M从2阶到N/2阶可选，在第一个行周期，输出第一帧图像，一帧图像包含两部分，第一部分为第1行到第M行像素信号，第二部分为第（N/2）+1行到第（N/2）+M行信号；随着图像传感器和被拍摄物体的相对移动，在第二个行周期，输出第二帧图像，在FPGA或DSP中将第二帧图像向前移位一行并和第一帧图像累加得到2阶TDI输出结果，依次类推。

2.如权利要求1所述的用于快速获取单幅低阶累加图像的CMOS图像传感器，其特征是，在FPGA或DSP中依次类推，具体为：在FPGA或DSP中开辟一块大小为（N+M-1）行×C列的存储区域，在第一个行周期将第一帧图像按行依次存于第1行到第M行存储区域和第（N/2）+1行到第（N/2）+M行存储区域；在第二个行周期，将第二帧图像依次存于第2行到第M+1行的存储区域和（N/2）+2行到第（N/2）+M+1行存储区域，其中第2行到第M行存储区域中数据和第（N/2）+2行到第（N/2）+M行存储区中数据为第一个行周期中已存储的第一帧图像数据和第二帧相应位置图像数据的累加结果；依次类推，将下一帧图像移位一行和存储区域中的现存数据进行累加后再存储，经过N/2个行周期后，从第1行到第（N+M-1）行存储区域都存储了图像数据，其中第M行到第N行的数据为M阶的TDI累加图像数据，图像尺寸为（N+1M）行×C列。

3.如权利要求1所述的用于快速获取单幅低阶累加图像的CMOS图像传感器，其特征是，8行×C列的CMOS图像传感器工作在2阶TDI模式；图像传感器像素阵列中第一部分为第1、2两行，第二部分为第5、6两行，在第一个行周期，图像传感器两路信号输出第一帧结果为拍摄到景物的第1、2、5、6四行景物；在第二个行周期，图像传感器和景物相对移动，图像传感器两路信号输出第二帧结果为景物的第2、3、6、7四行景物，移位叠加第一帧的拍摄结果，输出的结果是第1、3、5、7景物是拍摄一次成像，第2、6行为2阶TDI累加成像；在第三个行周期，图像传感器继续相对移动，图像传感器两路信号输出第三帧结果为景物的第3、4、7、8四行景物，移位叠加前两帧图像后输出的结果为第1、4、5、8行景物是拍摄一次成像，第2、3、6、7行为2阶TDI累加成像；在第四个行周期，图像传感器继续相对移动，图像的第四帧结果为景物的第4、5、8、9四行景物，移位叠加前3帧图像后输出最终的TDI成像结果：第1、9行景物为拍摄一次成像，第2行到第8行为TDI累加成像，如此在4个行周期完成2阶TDI成像，成像大小为7行×C列。