CN101854489B - 实现面阵cmos图像传感器时间延迟积分的装置 - Google Patents

Abstract

本发明涉及一种实现面阵CMOS图像传感器时间延迟积分的装置，该装置包括TDI控制时序装置，随机存储器；TDI控制时序装置产生CMOS图像传感器驱动波形，CMOS图像传感器开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡或存储器。本发明在不改变面阵CMOS图像传感器结构的前提下，利用外部器件实现了数字图像的时间延迟积分，使面阵CMOS成像系统能够替代TDI CCD成为未来对地遥感的成像系统。

Description

实现面阵CMOS图像传感器时间延迟积分的装置

技术领域

本发明属于光电传感器应用领域中，涉及的一种CMOS图像传感器特殊应用的方法。

背景技术

目前，CMOS图像传感器的应用已经逐渐被人们所重视。相比于传统的CCD图像传感器，CMOS传感器具有功耗低、集成度高、体积小、抗干扰能力强、只需单一电源等优点，因此图像传感器在民用相机、机器视觉、天文观测、小卫星、星敏感器等多个应用领域表现出了极大的潜力。然而，由于光电转换原理、内部结构和工艺等原因，目前CMOS图像传感器多为面阵结构，与线阵CCD和TDI CCD(时间延迟积分CCD)相对应的线阵CMOS或者TDI CMOS(时间延迟积分CMOS)器件极为少见。而对于一些特殊应用场合(如航天遥感推扫成像)则需要图像传感器具有时间延迟积分的能力，这使得CMOS传感器在这些领域的应用遇到了困难。

TDI CCD图像传感器时间延迟积分的原理是当光入射到CCD光敏面时，CCD便产生光电子，产生光电子的过程称作积分。TDI CCD的工作过程是对同一目标进行多次曝光，通过延时积分的方法，增强光能的收集。

TDI CCD的时间延迟积分过程是在器件内部进行的，在严格的垂直转移时序和水平转移时序驱动下，将光电子在TDI CCD像元间转移、积分。所以TDI CCD时间延迟积分的本质是光电子的积分。而CMOS器件在生成光电子以后，将会立即转换为电压信号，不能进行光电子的转移和积分，这使得TDI CMOS器件不易获得。

发明内容

本发明解决的技术问题是提供一种不改变当前CMOS器件的构造，而是利用外部器件实现时间延迟积分的实现面阵CMOS图像传感器时间延迟积分的装置。

为了解决上述技术问题，本发明的实现面阵CMOS图像传感器时间延迟积分的装置包括TDI控制时序装置，随机存储器；TDI控制时序装置产生CMOS图像传感器驱动波形，CMOS图像传感器开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡或存储器。

所述TDI控制时序装置包括：

开辟存储区的装置：该装置用于在随机存储器中开辟N行图像数据存储区，每行图像数据存储区用于存储对应级数积分后的结果；

使图像数据存储区中的数据进行流水移位的装置：该装置用于将第N行图像数据存储区中的数据传输至图像采集卡或存储器，将第N-1行图像数据存储区中的数据转移至第N行图像数据存储区中，依此类推，将第2行图像数据存储区中的数据转移至第3行图像数据存储区中，将第1行图像数据存储区中的数据转移至第2行图像数据存储区中，第1行图像数据存储区清零；

将图像数据存储区内的数据进行累加存储的装置：该装置用于读取CMOS图像传感器输出的N行数据，将第1行数据直接存储至第1行图像数据存储区中，将第2行数据与第2行图像数据存储区中原有数据相加，并将积分结果存储在第2行图像数据存储区中，依此类推，将第N行数据与第N行图像数据存储区中原有数据相加，并将积分结果存储在第N行的图像数据存储区中。

本发明在不改变面阵CMOS图像传感器结构的前提下，利用外部器件实现了数字图像的时间延迟积分，使面阵CMOS成像系统能够替代TDI CCD成为未来对地遥感的成像系统。利用本发明可以实现相机的推扫拍照，推扫的方向可以灵活选择，可以顺扫与逆扫，而无须如TDI CCD一样只能按照一个方向进行推扫。 同时本发明对TDI的级数可以灵活选择，在一定级数范围内可以连续选择，使得曝光时间的最优设置成为可能。而TDI CCD在级数选择上往往只规定了几档，如只能在4级、8级、16级、32级、64级中进行选择。

CMOS图像传感器较CCD有很多优势，利用本发明可以使CMOS成像系统具备TDI CCD成像系统的所有功能，并可以使其应用得到一定程度的扩展，尤其为对地遥感相机增添了很多灵活的工作方式。利用本发明可以很方便地实现CMOS成像系统的工作模式的切换，使其具备面阵和TDI两种工作模式，这对其应用提供了灵活的选择。例如在对地遥感领域，在面阵工作模式下可以实现相机的凝视拍照，而在TDI工作模式下则可以实现相机的推扫拍照。利用面阵和TDI两种工作模式，还可以进行相机在轨自动调焦。因为面阵自主调焦技术非常成熟，而TDI自主调焦技术尚处于研究阶段，利用面阵工作模式与TDI工作模式的不同特点，可以实现在面阵工作模式下进行自主调焦，然后再切换到TDI模式进行拍照。

本发明还可以包括成像控制器，通信装置，驱动时序装置；所述成像控制器向通信装置发送指令和参数，经通信装置解码后，将指令和参数传输到TDI控制时序装置，TDI控制时序装置根据指令和参数产生TDI控制时序，并控制驱动时序装置产生CMOS图像传感器驱动波形。

所述随机存储器包括缓存器，扩展存储装置；CMOS图像传感器输出的数字图像传输至缓存器；TDI控制时序装置生成的TDI控制时序传输给缓存器，缓存器进行数字图像的时间延迟积分处理，并将各级积分处理后的结果存储在扩展存储装置中。

本发明还可以包括图像输出装置；所述TDI控制时序装置将生成的数传输出控制时序传输给图像输出装置，使经过延迟积分后的最终图像通过图像输出装置传输给图像采集卡或存储器。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为TDI CCD时间延迟积分的原理图。

图2为本发明的实现面阵CMOS图像传感器时间延迟积分的装置结构框图。

图3为本发明的具体实施方式结构框图。

图4为在一个完整的行周期内，FPGA的TDI控制时序模块32′的具体工作流程图。

图5为本发明的工作原理图。

具体实施方式

TDI CCD时间延迟积分原理如图1所示。在T1时刻，第一行像元11曝光产生光电子e1；在T2时刻，第二行像元12曝光产生光电子e2，同时第一行像元的光电子e1转移至第二行像元12与e2相加得到二级积分结果；T3时刻，第三行像元13曝光产生的光电子e3与光电子e1、光电子e2累加得到三级积分结果。依次类推，如果积分级数为N级，则第N行像元14对同一目标进行了N次积分，得到了最终的N级积分结果，从而提高了CCD图像传感器的灵敏度。

如图2所示，本发明的实现面阵CMOS图像传感器时间延迟积分的装置包括TDI控制时序装置32，随机存储器；TDI控制时序装置32产生CMOS图像传感器1驱动波形，CMOS图像传感器1开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置32生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡或存储器。

本发明还包括成像控制器2，通信装置31，驱动时序装置33；所述成像控制器2向通信装置31发送指令和参数，经通信装置31解码后，将指令和参数传输到TDI控制时序装置32，TDI控制时序装置32根据指令和参数控制驱动时序装置33产生CMOS图像传感器1驱动波形；同时，TDI控制时序装置32生成的TDI控制时序传输给随机存储器。

所述随机存储器包括缓存器35，扩展存储装置36；CMOS图像传感器1输出的数字图像传输至缓存器35；TDI控制时序装置32生成的TDI控制时序传输 给缓存器35，缓存器35进行数字图像的时间延迟积分处理，并将各级积分处理后的结果存储在扩展存储装置36中。

本发明还包括图像输出装置34；所述TDI控制时序装置32将生成的数传输出控制时序传输给图像输出装置34，使经过延迟积分后的最终图像通过图像输出装置34传输给图像采集卡或存储器。

所述的成像控制器2为相机的控制单元；通信装置31、TDI控制时序装置32、驱动时序装置33、图像输出装置34和缓存器35采用FPGA编程实现；扩展存储装置36采用外部存储器36′实现。如图3所示，通信模块31′实现通信装置31的功能，TDI控制时序模块32′实现TDI控制时序装置32的功能，驱动时序模块33′实现驱动时序装置33的功能，图像输出模块34′实现图像输出装置34的功能，RAM缓存区35′实现缓存器35的功能。

相机实现CMOS的TDI成像流程如下：成像控制器2向FPGA中的通信模块31′发送指令和参数，经通信模块31′解码后，将指令和参数传输到TDI控制时序模块32′，TDI控制时序模块32′根据指令和参数控制驱动时序模块33′产生CMOS图像传感器1驱动波形，CMOS图像传感器1开始输出数字图像至FPGA的内部RAM缓存区35′；同时，TDI控制时序模块33′生成TDI控制时序，在FPGA的内部RAM缓存区35′内进行图像的时间延迟积分处理，并将时间延迟积分处理后的结果存储在外部存储器36′；经过N级积分后的图像被传送至FPGA中的图像输出模块34′，所述TDI控制时序模块32′控制图像输出模块34′，将最终的图像数据传输到外部采集或存储设备中。

本发明选择了FPGA作为CMOS图像传感器输出信号时间延迟积分的场所。由于FPGA具有强大的时钟管理和丰富的内部存储缓存资源，所以FPGA既可以作为CMOS图像传感器的时序发生源，又可以对CMOS图像传感器输出的视频信号进行时间延迟积分。

在一个完整的行周期内，FPGA的TDI控制时序模块32′的具体工作流程为：

1)开辟存储区。对于N级积分，在扩展存储区36中开辟N行图像数据存储区，每行图像数据存储区用于存储对应级数积分后的结果。如第1行图像数据存储区用于缓存1级积分后的结果，第2行图像数据存储区用于缓存2级积分后的结果，第N行图像数据存储区用于缓存N级积分后的结果。

2)流水移位。第N行图像数据存储区中的数据转移至图像输出模块34′中，第N-1行图像数据存储区中的数据转移至第N行图像数据存储区中，依此类推，第2行图像数据存储区中的数据转移至第3行图像数据存储区中，第1行图像数据存储区中的数据转移至第2行图像数据存储区中，第1行图像数据存储区清零。

3)累加存储。读取CMOS图像传感器输出的N行数据。第1行数据直接存储至第1行图像数据存储区中；第2行数据与第2行图像数据存储区中原有数据相加，并将积分结果存储在第2行图像数据存储区中；依此类推，第N行数据与第N行图像数据存储区中原有数据相加，并将积分结果存储在第N行的图像数据存储区中。

4)将最终的图像通过图像输出模块34′发送到图像采集卡或存储器中；

5)在下一个行周期内重复2)、3)、4)三个步骤，便完成了CMOS图像传感器的N级时间延迟积分成像。

本发明中积分级数N的数值没有严格的限制，可以在实际拍照时根据景物的照度选择合适的数值。

当需要停止拍照时，成像控制器2向FPGA发出停止拍照指令，FPGA停止各模块工作，并向成像控制器2发送已停止拍照消息。

下面以4级积分为例详细说明本发明的工作原理。

首先，系统进行上电，上电后成像控制器2与FPGA建立通信连接。通信链路正常以后，成像控制器2向FPGA发送成像参数设置指令。FPGA在收到成像 参数后进行初始化。与时间延迟积分相关的参数是行时间和积分级数(本例积分级数为4)。参数设置完毕后，FPGA向成像控制器2发送初始化完成指令。

初始化完成后，成像控制器2向FPGA发送开始拍照指令，FPGA开始启动TDI成像。首先，FPGA配置CMOS的行选择控制单元，选择4行图像作为图像输出窗口。以第一行图像输出时刻作为第一个行周期的起始，以下一行图像输出时刻最为这个行周期的结束。

本发明的核心算法在FPGA中的TDI控制时序模块32′中实现，该模块根据积分级数和行转移时间产生相应的时序控制波形，从而控制CMOS图像传感器的行选择控制单元、列输出单元以及扩展存储装置36中图像的积分和传输时序。

工作原理说明：

本发明的工作原理如图5所示，以4级积分为例。图5中上部矩形表示CMOS图像传感器的感光像元区域，L1-L6表示CMOS图像传感器的6行像元，P1-P6表示目标景物经CMOS图像传感器感光得到的6行图像数据。在不同的时刻，L1-L6将对不同目标景物进行感光，对应不同的图像。图5下半部分，表示了图像数据的存储和传输路线。M1-M4表示1-4级积分图像的存储区，M1-M4可以利用FPGA中的RAM实现，如FPGA中的RAM资源不足，可以利用外部存储器36′的RAM1、RAM2、RAM3、RAM4实现。

在T1行周期内，CMOS图像传感器曝光，L1行像元感光得到目标第一行景物图像T1P1，通过FPGA的控制，将第一行景物图像T1P1传送至外部存储器36′的M1中。T1行周期内完成了第一行图像的1级积分。在T2行周期内，CMOS图像传感器相对景物发生了位移，CMOS的L2行像元对第一行景物进行第二次曝光得到T2P1，通过FPGA的控制，将第一行景物图像T2P1传送至外部存储器36′的M2中；与此同时，外部存储器36′在FPGA的控制下进行像元存储空间的转移，将M1中的T1行周期图像T1P1转移至M2中，并将M1清零。此时，M2中存储的图像数据为T1P1与T2P1之和，即第一行景物图像的二级积分结果。 而L1行像元对第二行景物进行第一次曝光，得到目标第二行景物图像T2P2，T2P2传送至外部存储器36′的M1中，即M1中存储了第二行景物图像的一级积分的结果。T3、T4行周期，也依然按前两个行周期的顺序进行积分与传输，T4周期后M1至M4的状态为：M1中存储第四行图像一级积分的结果，M2中存储第三行图像二级积分的结果，M3中存储第二行图像三级积分的结果，M4中存储第一行图像四级积分的结果。到T5周期，依然按照上述顺序执行，则经过四级积分的第一行图像被传送至图像输出模块34′等待输出，而第五行景物图像完成第一次积分进入了M1缓存。此时，M1至M4的状态为：M1中存储第五行图像一级积分的结果，M2中存储第四行图像二级积分的结果、第三行图像三级积分的结果，M4中存储第二行图像四级积分的结果。按照上述过程循环进行，则在FPGA控制下实现了CMOS的时间延迟积分。

本发明不限于上述实施方式，TDI控制时序装置32和随机存储器还可以采用DSP或者其他具有高速图像处理功能的器件实现。只要是采用TDI控制时序装置产生CMOS图像传感器1驱动波形和TDI控制时序，并利用随机存储器进行数字图像的时间延迟积分处理，并存储时间延迟积分处理后的结果，都在本发明意图保护范围之内。

Claims (2)

1.一种实现面阵CMOS图像传感器时间延迟积分的装置，其特征在于包括TDI控制时序装置(32)，随机存储器；TDI控制时序装置(32)产生CMOS图像传感器(1)驱动波形，CMOS图像传感器(1)开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置(32)生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至外部图像采集卡或存储器；

所述TDI控制时序装置(32)包括：

开辟存储区的装置，该装置用于在随机存储器中开辟N行图像数据存储区，每行图像数据存储区用于存储对应级数积分后的结果；

使图像数据存储区中的数据进行流水移位的装置：该装置用于将第N行图像数据存储区中的数据传输至外部图像采集卡或存储器，将第N-1行图像数据存储区中的数据转移至第N行图像数据存储区中，依此类推，将第2行图像数据存储区中的数据转移至第3行图像数据存储区中，将第1行图像数据存储区中的数据转移至第2行图像数据存储区中，第1行图像数据存储区清零；

将图像数据存储区内的数据进行累加存储的装置：该装置用于读取CMOS图像传感器输出的N行数据，将第1行数据直接存储至第1行图像数据存储区中，将第2行数据与第2行图像数据存储区中原有数据相加，并将积分结果存储在第2行图像数据存储区中，依此类推，将第N行数据与第N行图像数据存储区中原有数据相加，并将积分结果存储在第N行的图像数据存储区中。

2.根据权利要求1所述的实现面阵CMOS图像传感器时间延迟积分的装置，其特征在于还包括成像控制器(2)，通信装置(31)，驱动时序装置(33)；所述成像控制器(2)向通信装置(31)发送指令和参数，经通信装置(31)解码后，将指令和参数传输到TDI控制时序装置(32)，TDI控制时序装置(32)根据指令和参数产生TDI控制时序，并控制驱动时序装置(33)产生CMOS图像传感器(1)驱动波形。

Images