CN102724447B - 彩色面阵cmos传感器数字域tdi积分控制器 - Google Patents

Abstract

本发明涉及一种彩色面阵CMOS传感器数字域TDI积分控制器，该控制器的串并转换模块将彩色面阵CMOS传感器输出的串行图像数据转换为并行图像数据流；谱段分离模块将并行图像数据中的奇数行图像数据和偶数行图像数据分离；RG流水累加器和GB流水累加器分别将奇数行图像数据和偶数行图像数据进行时间延时累加积分，并输出D-TDI积分结果；谱段合成模块对RG和GB谱段的D-TDI积分结果进行通道复用，产生Bayer型的彩色图像。本发明通过两个并行的通道分别对CMOS图像的奇数行和偶数行进行处理，完成RG通道和GB通道的数字域时间延迟积分（D-TDI），能够实现彩色CMOS芯片的任意偶数级时间延迟积分。

Description

彩色面阵CMOS传感器数字域TDI积分控制器

技术领域

本发明属于CMOS芯片的数字域时间延迟积分技术领域，涉及一种适用于彩色CMOS的数字域时间延迟积分（Digital Time-Delay and Integration D-TDI）的积分控制器。

背景技术

航天、航空遥感相机多采用TDI CCD作为光电传感器件，通过时间延迟积分来增加曝光时间，提高图像信噪比。但TDI CCD具有功耗大、外围驱动电路复杂、成像模式单一等缺点，其传统地位正在受到CMOS等新型光电传感器的挑战，由于CMOS光电传感器采用标准的半导体工艺，依托于庞大的半导体产业链，近年来取得了迅速发展，市场份额已经大大超越CCD，而且在高集成度、低功耗、均一度等方面取得了巨大进步，具备越来越明显的优势。

近年来，随着CMOS芯片帧频从几十赫兹提高到几百甚至上千赫兹，CMOS芯片的数字域TDI技术逐渐受到业界的关注，利用面阵CMOS光电传感器，通过数字域时间延迟积分技术，实现TDI CCD的成像功能，获取高信噪比的图像。目前已经有单色的CMOS芯片实现数字域TDI积分的专利及文章发表，单色CMOS的TDI积分一般通过逐行数字累加来实现。但是彩色CMOS以其独特的结构，无法采用普通的逐行累加的方式实现数字域累加。常见的彩色CMOS芯片的像素构成如图1所示，它是在普通单色CMOS的像元上覆盖不同谱段的滤光片来实现的，从图中可以看出，CMOS的滤光片分为两种，一种是红绿型滤光片（RG），另一种是绿蓝滤光片（GB），这两种滤光片相间排列，形成了如图1所示的彩色CMOS传感器。这是一种Bayer式的彩色传感器，在彩色显示终端设备上，通过Bayer彩色复原算法，分别构建出R-G-B三个分量的大小，从图中可以看出，每个像素仅能表示RGB中的某一个分量，而其余两个分量必须利用周边像素近似计算得到。

发明内容

本发明要解决的技术问题是提供一种将彩色面阵CMOS转换为线阵TDI工作模式，从而实现彩色面阵CMOS积分推扫成像的彩色面阵CMOS传感器数字域TDI积分控制器。

为了解决上述技术问题，本发明的彩色面阵CMOS传感器数字域TDI积分控制器包括串并转换模块，谱段分离模块，RG流水累加器，GB流水累加器，谱段合成模块；所述彩色面阵CMOS传感器输出的串行图像数据由串并转换模块转换为并行图像数据流；谱段分离模块将并行图像数据中的奇数行图像数据和偶数行图像数据分离；RG流水累加器将奇数行图像数据进行时间延时累加积分，并输出奇数行D-TDI积分结果；GB流水累加器将偶数行图像数据进行时间延时累加积分，并输出偶数行D-TDI积分结果；谱段合成模块对RG和GB谱段的D-TDI积分结果进行通道复用，产生Bayer型的彩色图像。

本发明对Bayer型彩色面阵CMOS传感器输出的图像数据进行隔行累加，通过两个并行的通道分别对CMOS图像的奇数行和偶数行进行处理，完成RG通道和GB通道的数字域时间延迟积分（D-TDI），能够实现彩色CMOS芯片的任意偶数级时间延迟积分。

所述RG流水累加器包括RG谱段数字域延时积分模块、第一缓存器和第二缓存器；GB流水累加器包括GB谱段数字域延时积分模块、第三缓存器和第四缓存器；所述RG谱段数字域延时积分模块、第一缓存器和第二缓存器按照RG谱段乒乓操作函数公式（1）、RG谱段输出函数公式（2）对奇数行图像数据进行累加积分，并输出奇数行D-TDI积分结果；GB谱段数字域延时积分模块、第三缓存器和第四缓存器按照GB谱段乒乓操作函数公式（3）、RG谱段输出函数公式（4）对偶数行图像数据进行累加积分，并输出偶数行D-TDI积分结果；

$\left\{\begin{array}{c}{M}_{A1}(k,4n-3,i)=M_{A2}(k-\mathrm{1,4}n-1,i)+I(k,4n-3,i)\\ M_{A2}(k,4n-1,i)=M_{A1}(k-\mathrm{1,4}n+1,i)+I(k,4n-1,i)\end{array}\right.---\left(1\right)$

O(2k-1,i)=M_A1(k-1,1,i)         （2）

$\left\{\begin{array}{c}{M}_{B1}(k,4n-2,i)=M_{B2}(k-\mathrm{1,4}n,i)+I(k,4n-2,i)\\ M_{B2}(k,4n,i)=M_{B1}(k-\mathrm{1,4}n+2,i)+I(k,4n,i)\end{array}\right.---\left(3\right)$

O(2k，i)=M_B1(k-1,1,i)          （4）

式中I(k，n，i)表示彩色面阵CMOS的图像输入，O(k，i)表示D-TDI积分图像输出，M_A1表示第一缓存器的缓存数据，M_A2表示第二缓存器的缓存数据，M_B1表示第三缓存器的缓存数据，M_B2表示第四缓存器的缓存数据，k表示CMOS面阵图像的帧计数，同时也是D-TDI输出图像的行计数，i表示图像列序号，n表示第一、二、三、四缓存器图像缓冲区的行序号。

本发明根据乒乓操作的需要，RG和GB的单色D-TDI积分过程分别采用了两个通道的独立缓存。硬件平台设计为独立4通道的缓存，分别组成两组，即可实现任意积分级数的D-TDI。积分级数的调整不受缓存通道数的限制，而仅仅与缓存深度有关，仅需修改缓存地址空间即可完成积分级数的修改。

本发明还可以包括RG通道积分方向控制模块、第五缓存器、第六缓存器、GB通道积分方向控制模块、第七缓存器和第八缓存器；RG通道积分方向控制模块接收谱段分离模块分离出的奇数行图像数据并通过第五缓存器和第六缓存器进行乒乓操作，改变数据流方向，然后将改变了数据流方向的奇数行图像数据送到RG流水累加器；BG通道积分方向控制模块接收谱段分离模块分离出的偶数行图像数据并通过第七缓存器和第八缓存器进行乒乓操作，改变数据流方向，然后将改变了数据流方向的偶数行图像数据送到GB流水累加器。

本发明利用RG积分方向控制模块、GB积分方向控制模块分别实现RG谱段数据和GB谱段图像的倒置（后入先出操作），可根据推扫成像的需要，通过改变地址寻址方式在线更改积分方向，实现正向或者逆向TDI积分成像，可实现彩色CMOS相机的双向积分成像，适用于更加灵活的成像模式。

本发明可以包括多个串并转换模块；彩色面阵CMOS传感器的图像数据通过多个通道串行输出；各通道串行输出的图像数据经对应的串并转换模块转换为并行图像数据流后由通道整合模块整合拼接，整合拼接后的图像数据输出到谱段分离模块。

为了提高图像帧频，高速CMOS相机普遍采用了多通道输出方式，有的甚至高达16通道乃至更多。为了减少后期D-TDI算法中的缓存器个数，本发明采用通道整合模块对图像数据进行通道复用，完成图像数据的整合拼接。

所述彩色面阵CMOS图像的帧周期T_f等于像移量为2个像元尺寸的时间，其数值上等于数字域时间延迟积分（D-TDI）行周期T_L的2倍。

如公式（5）、(6)所示，其中d为像元尺寸，V_focus为像移速度大小，T_f为CMOS图像的帧周期，T_L为数字域时间延迟积分（D-TDI）的行周期。

$T_f=\frac{2d}{V_{\mathrm{focus}}}---\left(5\right)$

$T_L=\frac{d}{V_{\mathrm{focus}}}---\left(6\right)$

由于彩色CMOS采用隔行累加方式实现D-TDI，感兴趣区域的开窗大小（行数）为积分级数的2倍；为了确保数字域积分操作时序与TDI图像输出操作时序的闭合性（将最后一组奇数或偶数行数据写入一个缓存器时，从另一个缓存器读出TDI输出结果），积分级数应选择偶数，开窗大小为4的整数倍。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为彩色面阵CMOS传感器像素构成示意图。

图2为本发明的彩色面阵CMOS传感器数字域TDI积分控制器的结构框图。

图3为彩色面阵CMOS传感器D-TDI积分过程分解示意图。

图4为彩色面阵CMOS传感器D-TDI积分过程缓存示意图。

图5彩色面阵CMOS传感器D-TDI成像过程示意图。

具体实施方式

如图2所示，本发明的彩色面阵CMOS传感器数字域TDI积分控制器包括串并转换模块，通道整合模块，谱段分离模块，RG通道积分方向控制模块，GB通道积分方向控制模块，RG流水累加器，GB流水累加器，谱段合成模块。

为了提高图像帧频，高速CMOS相机普遍采用了多通道输出方式，有的甚至高达16通道乃至更多。为了减少后期D-TDI算法中的缓存器个数，需要对图像数据进行通道复用，完成图像拼接。

由于高速彩色面阵CMOS传感器普遍采用LVD S串行方式输出图像数据，为了实现D-TDI处理，需先进行串并转换，得到并行图像数据流。对于单通道输出的彩色面阵CMOS传感器，只需要一个串并转换模块将串行图像数据转换为并行图像数据，并将其直接传送给谱段分离模块即可。而对于n通道输出的彩色面阵CMOS传感器来说，则需要n个串并转换模块将对应通道的串行图像数据转换为并行图像数据流，并且由通道整合模块对n个串并转换模块输出的并行图像数据进行通道复用，完成图像的拼接。

由于彩色面阵CMOS传感器采用的Bayer滤光片来实现彩色成像，为了使D-TDI中每次累加的图像数据来源于相同谱段，需要对原始图像数据进行谱段分离，由于彩色CMOS的像元分布可以按照奇数行和偶数行分为两组，则每组像元均满足列内谱段一致，可以进行D-TDI算法处理。

谱段分离模块将通道整合模块输出的图像数据中的奇数行图像数据和偶数行图像数据分离。对于单方向推扫成像，谱段分离模块分离的奇数行图像数据和偶数行图像数据分别直接传输给RG流水累加器和GB流水累加器进行累加积分；对于双向推扫成像，奇数行图像数据和偶数行图像数据分别由RG通道积分方向控制模块和BG通道积分方向控制模块改变数据流方向后再送到RG流水累加器和GB流水累加器。

RG通道积分方向控制模块接收谱段分离模块分离出的奇数行图像数据，通过第五缓存器和第六缓存器进行乒乓操作，当正向推扫成像时，按照行地址递增方式顺序存储图像数据，并按照行地址递增的方式顺序读出图像数据；当逆向推扫成像时，按照行地址递减方式逆序存储图像数据，并按照行地址递增方式顺序读取图像数据，以此改变数据流方向，然后将改变了数据流方向的奇数行图像数据送到RG流水累加器。BG通道积分方向控制模块接收谱段分离模块分离出的偶数行图像数据并通过第七缓存器和第八缓存器进行乒乓操作，当正向推扫成像时，按照行地址递增方式顺序存储图像数据，并按照行地址递增的方式读出图像数据；当逆向推扫成像时，按照行地址递减方式逆序存储图像数据，并按照行地址递增方式顺序读取图像数据，以此改变数据流方向，然后将改变了数据流方向的偶数行图像数据送到GB流水累加器。积分方向控制模块的功能是：无论正向推扫成像还是逆向推扫成像，均可采用统一的流水累加器实现数字域延迟积分。

所述RG流水累加器包括RG谱段数字域延时积分模块、第一缓存器和第二缓存器；GB流水累加器包括GB谱段数字域延时积分模块、第三缓存器和第四缓存器。如图3、4、5所示，数字域时间积分可用公式(1)-(4)表示,其中公式(1)为RG谱段的乒乓操作函数，公式(3)为RG谱段的输出函数，公式(2)为GB谱段的乒乓操作函数，公式(4)为GB谱段的输出函数。以2n级积分为例，具体实现方法如下：

a)将读入的第一帧图像数据的第1、5、9、13……4n-3行数据通过RG谱段数字域延时积分模块存入第一缓存器，第3、7、11、15……4n-1行数据通过RG谱段数字域延时积分模块存入第二缓存器；读入的第一帧图像数据的第2、6、10、14……4n-2行数据通过BG谱段数字域延时积分模块存入第三缓存器，第4、8、12、16……4n行数据通过BG谱段数字域延时积分模块存入第四缓存器；

b)读出第二缓存器第1行缓冲区中所存的第3行图像数据（奇数行，为RG谱段），与新读入图像帧的第1行图像数据（奇数行，为RG谱段）逐一相加，并将和作为第1行图像数据积分结果存入第一缓存器中的第1行缓冲区（奇数行，为RG谱段）；

c)读出第三缓存器第1行缓冲区所存的第4行图像数据（偶数行，为GB谱段），与新读入图像帧的第2行图像数据（偶数行，为GB谱段）逐一相加，并将和作为第2行图像数据积分结果存入第三缓存器中的第1行缓冲区（偶数行，为GB谱段）；

d)读出第一缓存器第2行缓冲区所存的第5行图像数据（奇数行，为RG谱段），与新读入图像帧的第3行图像数据（奇数行，为RG谱段）逐一相加，并将和作为第3行图像数据积分结果存入第二缓存器中的第1行缓冲区（奇数行，为RG谱段）；

e)读出第三缓存器第2行缓冲区所存的第6行数据（偶数行，为GB谱段），与新读入图像帧的第4行图像数据（偶数行，为GB谱段）逐一相加，并将和作为第4行图像数据积分结果存入第四缓存器中的第1行缓冲区（偶数行，为GB谱段）；

f)重复步骤a)-e)直至第2n帧图像读入完毕，即完成了本次D-TDI过程，RG和GB谱段各输出1行图像数据；当读入第4n-1行图像数据（倒数第二行）时，直接将其存入第二缓存器的第n行缓冲区（第4n-1行数据位置），同时读出第一缓存器第1行缓冲区的第1行图像数据积分结果，作为RG谱段D-TDI的输出数据；读入第4n行图像数据（最后一行）时，直接将其存入第四缓存器的第n行缓冲区（第4n行数据位置），同时读出第三缓存器第1行缓冲区的第2行图像数据积分结果，作为GB谱段D-TDI的输出数据。

$\left\{\begin{array}{c}{M}_{A1}(k,4n-3,i)=M_{A2}(k-\mathrm{1,4}n-1,i)+I(k,4n-3,i)\\ M_{A2}(k,4n-1,i)=M_{A1}(k-\mathrm{1,4}n+1,i)+I(k,4n-1,i)\end{array}\right.---\left(1\right)$

O(2k-1,i)=M_A1(k-1,1,i)  （2）

$\left\{\begin{array}{c}{M}_{B1}(k,4n-2,i)=M_{B2}(k-\mathrm{1,4}n,i)+I(k,4n-2,i)\\ M_{B2}(k,4n,i)=M_{B1}(k-\mathrm{1,4}n+2,i)+I(k,4n,i)\end{array}\right.---\left(3\right)$

O(2k，i)=M_B1(k-1,1,i)   （4）

式中I(k，n，i)表示彩色面阵CMOS的图像输入，O(k，i)表示D-TDI积分图像输出，M_A1表示第一缓存器的缓存数据，M_A2表示第二缓存器的缓存数据，M_B1表示第三缓存器的缓存数据，M_B2表示第四缓存器的缓存数据，k表示CMOS面阵图像的帧计数，同时也是D-TDI输出图像的行计数，i表示图像列序号，n表示第一、二、三、四缓存器图像缓冲区行序号；

谱段合成模块由于RG和GB谱段的图像数据分别经过两个D-TDI过程分别产生了D-TDI图像数据，为了使输出的D-TDI彩色图像能够在通用显示设备中正常还原，需要满足RG和GB的相间分布，所以需要由谱段合成模块对RG和GB谱段的D-TDI结果进行通道复用，产生Bayer型的彩色图像；产生的Bayer型的彩色图像经TDI图像输出接口输出。

Claims (4)

1.一种彩色面阵CMOS传感器数字域TDI积分控制器，其特征在于包括串并转换模块，谱段分离模块，RG流水累加器，GB流水累加器，谱段合成模块；所述彩色面阵CMOS传感器输出的串行图像数据由串并转换模块转换为并行图像数据流；谱段分离模块将并行图像数据中的奇数行图像数据和偶数行图像数据分离；RG流水累加器将奇数行图像数据进行时间延时累加积分，并输出奇数行D-TDI积分结果；GB流水累加器将偶数行图像数据进行时间延时累加积分，并输出偶数行D-TDI积分结果；谱段合成模块对RG和GB谱段的D-TDI积分结果进行通道复用，产生Bayer型的彩色图像；所述RG流水累加器包括RG谱段数字域延时积分模块、第一缓存器和第二缓存器；GB流水累加器包括GB谱段数字域延时积分模块、第三缓存器和第四缓存器；所述RG谱段数字域延时积分模块、第一缓存器和第二缓存器按照RG谱段乒乓操作函数公式（1）、RG谱段输出函数公式（2）对奇数行图像数据进行累加积分，并输出奇数行D-TDI积分结果；GB谱段数字域延时积分模块、第三缓存器和第四缓存器按照GB谱段乒乓操作函数公式（3）、RG谱段输出函数公式（4）对偶数行图像数据进行累加积分，并输出偶数行D-TDI积分结果；

$\left\{\begin{array}{c}{M}_{A1}(k,4n-3,i)=M_{A2}(k-\mathrm{1,4}n-1,i)+I(k,4n-3,i)\\ M_{A2}(k,4n-1,i)=M_{A1}(k-\mathrm{1,4}n+1,i)+I(k,4n-1,i)\end{array}\right.---\left(1\right)$

O(2k-1,i)＝M_A1(k-1,1,i)  （2）

$\left\{\begin{array}{c}{M}_{B1}(k,4n-2,i)=M_{B2}(k-\mathrm{1,4}n,i)+I(k,4n-2,i)\\ M_{B2}(k,4n,i)=M_{B1}(k-\mathrm{1,4}n+2,i)+I(k,4n,i)\end{array}\right.---\left(3\right)$

O(2k,i)＝M_B1(k-1,1,i)  （4）

式中I(k,n,i)表示彩色面阵CMOS的图像输入，O(k,i)表示D-TDI积分图像输出，M_A1表示第一缓存器的缓存数据，M_A2表示第二缓存器的缓存数据，M_B1表示第三缓存器的缓存数据，M_B2表示第四缓存器的缓存数据，k表示CMOS面阵图像的帧计数，同时也是D-TDI输出图像的行计数，i表示图像列序号，n表示第一、二、三、四缓存器图像缓冲区的行序号。

2.根据权利要求1所述的彩色面阵CMOS传感器数字域TDI积分控制器，其特征在于还包括RG通道积分方向控制模块、第五缓存器、第六缓存器、GB通道积分方向控制模块、第七缓存器和第八缓存器；RG通道积分方向控制模块接收谱段分离模块分离出的奇数行图像数据并通过第五缓存器和第六缓存器进行乒乓操作，改变数据流方向，然后将改变了数据流方向的奇数行图像数据送到RG流水累加器；BG通道积分方向控制模块接收谱段分离模块分离出的偶数行图像数据并通过第七缓存器和第八缓存器进行乒乓操作，改变数据流方向，然后将改变了数据流方向的偶数行图像数据送到GB流水累加器。

3.根据权利要求1所述的彩色面阵CMOS传感器数字域TDI积分控制器，其特征在于包括多个串并转换模块；彩色面阵CMOS传感器的图像数据通过多个通道串行输出；各通道串行输出的图像数据经对应的串并转换模块转换为并行图像数据流后由通道整合模块整合拼接，整合拼接后的图像数据输出到谱段分离模块。

4.根据权利要求1所述的彩色面阵CMOS传感器数字域TDI积分控制器，其特征在于所述彩色面阵CMOS图像的帧周期T_f等于像移量为2个像元尺寸的时间，其数值上等于数字域时间延迟积分（D-TDI）行周期T_L的2倍。