CN104486562B - 基于固定积分时间的嵌入式红外图像超帧处理方法 - Google Patents

Abstract

本发明提供一种基于固定积分时间的嵌入式红外图像超帧处理方法，根据外部控制信号，由超帧成像处理电路对红外焦平面探测器输出的连续两帧图像进行局部运动估计，判断场景变换速度；在红外成像系统单帧成帧时间内，通过读出电路对探测器产生的原始光电流信号进行多次读出；根据场景变换速度，选择相应的子帧累加方法，用超帧成像处理电路对子帧进行非均匀性校正补偿、子帧累加、产生新图像帧、新图像帧映射、其余图像处理，按常规红外成像系统图像输出帧频、格式输出。本发明不仅具备传统超帧算法的优势，而且通过嵌入式平台完成超帧处理，免除了复杂专用装置的使用，并通过对场景图像变换速度的考虑，选定合适的子帧累加方法，优化超帧处理能力。

Description

基于固定积分时间的嵌入式红外图像超帧处理方法

技术领域

本发明涉及一种基于固定积分时间的嵌入式红外图像超帧处理方法，属于红外成像技术领域。

背景技术

由于红外成像系统具有隐蔽性好、抗干扰、能识别伪装、获取的信息丰富等优点，目前被广泛应用于战略预警、战术报警、侦察、观瞄、导航、制导、遥感、气象、医学和科学研究等军事和民用的各个领域。特别是随着与红外成像技术相关的一些基础研究得到快速发展之后，对现代红外成像系统的性能也提出了更高的要求，譬如要求红外成像系统具有较高的灵敏度以及较大的动态范围等等。

在红外焦平面成像系统中，探测器组件作为其核心部件，能够实现红外辐射到光电流的转换。而这一组件中的读出电路的作用是：检出红外焦平面探测器输出的微弱信号，经处理后按一定的时序输出到后续电路。读出电路从功能上可以分为读出单元电路及多路传输电路两部分，读出单元电路是读出电路的重要组成部分，其功能是将探测器产生的光电流信号提出、放大、积分并转换为电压信号；多路传输电路是将来自各探测器单元的电压信号依次传输到读出电路的单个输出端，实现电学扫描。读出电路的具体工作原理为：探测器单元输出的光电流i_p在积分电容C_int上进行积分，经过一定的积分时间T_int，电容两端的电压v_o经多路传输电路输出，此时读出单元电路输出的信号电压为：

总噪声电压v_n为：

其中表示热噪声平均功率，具体由下式给出：

表示散粒噪声平均功率，具体由下式给出：

式(3)和式(4)中Δf为噪声带宽，约为2T_int的倒数，R_D是探测器的内电阻，k为玻尔兹曼常数，T为绝对温度，q为电子电荷，i_p是探测器单元输出的光电流。

读出单元电路信噪比可由下式给出：

从上式可以看出，读出单元电路输出信号的信噪比与积分时间T_int的平方根是成正比的，增加积分时间T_int可以提高输出信号的信噪比，同时可以降低探测器的噪声等效温差(NETD)，进而提高成像系统的灵敏度。

假设v_omax为读出电路最大输出电压幅度，则电荷存储容量Q_max由下式决定：

Q_max＝C_int·v_omax＝i_p·T_{int_max} (6)

上式中读出电路最大输出电压幅度v_omax最大时为电源电压值，因此电荷存储容量Q_max主要由积分电容的容量限制，也即读出电路的动态范围由积分电容的容量限制。由于在凝视型探测器读出电路中，积分电容是集成于像元单元电路中的，其电路面积受到像元尺寸的限制，因而能够获得的积分电容的容量是非常有限的，以目前常用的CMOS工艺来说，积分电容能够做到1pF～2pF左右。假设像元面积为15μm×15μm，积分电容容量为1pF，电源电压为5V，则读出单元电路的电荷存储容量最大为5pQ，约合3.13×10⁷个电子电荷。假设探测器输出的平均电流为5nA，则最长的积分时间只能达到1ms。如果根据现实情况将红外焦平面探测器的暗电流以及背景电流计入，最长积分时间还将变得更短。对于长波探测器来说，较大的探测器暗电流及较高的背景电流使得探测器的积分时间将更进一步减小。如果希望通过增大像元内积分电容来提高光电流的积分时间是不现实的，因为现代模拟读出电路的电荷存储能力约在10⁶～10⁷个电子电荷之间，这样的电荷存储容量也只能支持中波探测器的光电流积分时间到毫秒量级，对于长波探测器，由于更大的暗电流、背景电流，致使需要10⁹个电子电荷的电荷存储容量才能实现毫秒级的光电流积分，这样就需要数百个皮法的电容来存储这些电荷，以目前的CMOS工艺在极小的像元面积内集成如此大的电容是不可能完成的。

目前业内常用的红外成像系统的成帧时间大都在10ms以上，特别是对于普通观察设备，更多时候希望红外图像具有较好的灵敏度及动态范围，而不需要红外成像系统具有高帧频的实时图像输出能力，那么此时红外成像系统的成帧时间，往往允许达到40ms，甚至更长，这一结果将导致用于构造红外成像系统的具有百帧以上帧频输出能力的探测器性能没有得以充分利用。众所周知，红外焦平面阵列探测器的光电流积分时间理论上最大可以等于系统的单帧成帧时间。然而，由前所述可知，目前红外探测器读出电路积分电容的容量远远无法容纳如此之长探测器积分时间内光电流积分产生的电荷。那么，对于目前常规红外成像系统对于焦平面阵列探测器的使用，从根源上就限制了探测器性能的发挥，无法通过有限的光电流信号提供丰富的客观场景的红外信息，那么需要丰富红外信息作为输入的具有高灵敏度、大动态范围的红外成像系统的实现就更加困难了。因此，红外探测器读出电路的电荷存储能力已经成为发展高性能红外成像系统的重大瓶颈之一。

为了解决红外焦平面探测器读出电路的电荷存储容量受到限制，焦平面光电流信号不能得到有效利用，制约成像系统灵敏度的提升以及动态范围的扩展等问题，同时从基于嵌入式设计的角度出发，完成整个超帧处理过程，不需要借助复杂或者专用的辅助装置，就可简单地由子帧产生新图像帧(传统的红外图像超帧处理方法需要借助复杂或者专用的辅助装置，并且子帧产生新图像帧的算法复杂，详见文献Austin A.Richards，Shariff D’Souza，“A Novel NIR Camera with Extended Dynamic Range”，Proc.SPIE，vol.6205，2006)，并且能够实时应用，通过对场景图像的变换速度加以考虑，采取了相应的措施以便完成超帧处理。为此，本发明提出了一种基于固定积分时间的嵌入式红外图像超帧处理方法。

发明内容

为解决红外焦平面探测器读出电路因电荷存储容量受到限制，致使探测器性能不能得到充分发挥，制约成像系统探测灵敏度的提升以及动态范围的扩展等问题，同时考虑到场景变换速度以及子帧累加产生新图像帧的具体方法等与实际应用更为紧密联系的因素，本发明提供一种基于固定积分时间的嵌入式红外图像超帧处理方法。

本发明原理在于：在目前常规红外成像系统单帧成帧时间内，由探测器读出电路多次读出其积分电容内的电荷，这就从理论上等效地扩大了探测器积分电容的电荷存储容量，尽可能地保留了整个积分过程中焦平面的光电流信号所携带的电荷信息，进一步发挥了具有较高帧频输出能力探测器的性能。根据场景运动速度快、慢的判断，选出相适宜的子帧累加产生新图像帧的方法，继而完成非均匀性校正补偿、子帧累加、产生新的图像帧、新图像帧映射、其余图像处理算法处理之后，将携带探测器充分性能的图像数据，按照常规红外成像系统的图像输出帧频、格式予以实时输出。最终，通过该方法的使用有效地改善成像系统的信噪比SNR，降低成像系统的噪声等效温差NETD，进而提高成像系统的探测灵敏度，扩展成像系统的动态范围。

本发明通过下列技术方案完成：一种基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于包括以下步骤：

步骤一：根据外部控制信号，由常规红外成像电路构成的超帧成像处理电路对红外成像系统探测器输出的连续两帧图像进行局部图像的运动估计，根据该运动估计结果判断场景变换速度的快或者慢；

步骤二：在常规红外成像系统单帧成帧时间内，在基于嵌入式超帧成像电路的控制下，通过红外焦平面探测器读出电路对红外焦平面探测器产生的原始光电流信号进行多次读出，并将读出的数据通过采样电路送至大容量高位深高速缓存中进行存储；

步骤三：根据步骤一的场景变换速度的快或慢的判断，选择与该判断相适应的子帧累加方法，之后通过超帧成像处理电路对这些子帧进行非均匀性校正补偿、子帧累加、产生新的图像帧、新图像帧映射、其余图像处理算法处理之后，按照常规红外成像系统的图像输出帧频、格式予以实时输出。

优选的是，所述步骤一中，当进行连续两帧图像的局部图像运动估计时，需要针对连续两帧图像的相同位置像素矩阵进行运动估计的计算，判断出两帧之间的相对位移像素值，将此计算得出值与理论设定的场景变换快慢门限像素移动值进行下列比较：计算得出值大于理论设定的场景变换快慢门限像素移动值时，判定为场景变换速度快；计算得出值小于理论设定的场景变换快慢门限像素移动值时，判定为场景变换速度慢。

优选的是，所述步骤二中，当红外焦平面探测器读出电路输出的原始信号为模拟信号时，在超帧成像处理电路设计中需要增加模-数转换电路的设计，以完成对探测器输出原始模拟信号的采样；当红外焦平面探测器读出电路输出的原始信号为数字信号时，用超帧成像电路直接对探测器输出的数字信号直接进行采样。

优选的是，所述步骤三中的子帧累加方法具体根据步骤一所判断的场景变换速度快或慢的结果，进行下列选取：

A)判断的场景变换速度慢，并且获取子帧时所采用的积分时间为固定但不同时，对子帧进行对应像素的简单累加或者其他方法累加，以获得新的图像帧；

B)判断的场景变换速度快，并且获取子帧时所采用的积分时间为固定但不同时，对子帧先进行特征图像配准，再将配准区域进行对应像素的简单累加或者其他方法累加，以获得新的图像帧；

C)通过超帧成像处理电路对上述A)或B)新获得的图像帧加以其它图像处理算法处理之后，即可在常规红外成像系统单帧成帧时间之内，输出完成超帧之后的单帧红外图像，也即完成一次超帧过程。

优选的是，所述的简单累加法是将获得的子帧简单地每累加够一定数量产生一个新的帧，即：第1子帧到第m子帧累加后产生新的第1帧，第m+1子帧到2m子帧累加后产生新的第2子帧，以此类推。

优选的是，所述的其他方法累加是：对于采用固定但不同的积分时间获得的子帧图像，按照滑动累加或加权累加等方法来完成。

优选的是，所述的特征图像配准是：分别提取两个或多个图像的点、线、面等特征，对该特征进行参数描述，然后运用所描述的参数来进行匹配。

优选的是，所述积分时间为固定但不同时是指：在常规红外成像系统单帧成帧时间内，对焦平面探测器原始光电流信号进行多次积分读出的读出次数是固定的，同时对于每一次读出所采用的积分时间也是固定的，但是每一次读出所采用的积分时间是不相同的。

适用于本发明超帧处理方法的红外成像系统的探测器成帧能力，要求较红外成像系统最终输出帧频高出1倍以上，否则无法实现超帧处理。

完成本发明一次超帧过程，需要在常规红外成像系统单帧成帧时间之内，否则超帧将失去意义。

对于子帧累加产生新图像帧的具体方法，需要根据图像场景变换速度选择正确，否则，超帧效果将受到影响，甚至无法实现。

本发明提及的子帧累加方法以及图像配准方法不局限于上述提及的具体方法。

本发明与现有技术相比具有下列优点和效果：采用上述方案，在相同读出单元电路积分电容情况下，相当于提高了读出电路的电荷存储能力，充分利用了探测器输出的光电流信号所包含的信息，提高了探测器输出光电流信号的信噪比SNR，由于成像系统中探测器的噪声等效温差NETD与探测器输出光电流信号的信噪比SNR成反比，在其他条件不变的情况下，提高SNR将降低NETD，进而优化成像系统的探测灵敏度。由于成像系统的动态范围取决于一帧图像中输入的最大未饱和信号与最小可探测信号之比，在保证成像处理电路缓存容量及精度足够的前提下，通过多帧累加之后获得的新的一帧图像，其动态范围将是原来单帧图像的多倍，同时，最终经过映射至成像系统的输出动态范围之内的红外图像显示动态范围也将得到较大的拓展。此外，本发明同时适用于模拟读出电路及数字读出电路的焦平面成像系统。因此，本发明的应用将对红外焦平面成像系统的探测灵敏度、动态范围等性能进行改善，势必对高性能红外成像系统的实现产生积极意义。

附图说明

图1为本发明基于固定积分时间的嵌入式红外图像超帧处理方法的原理图。

具体实施方式

下面结合附图，以法国SOFRADIR公司生产的制冷型长波640x512焦平面探测器SCORPIO-LW为例对本发明做进一步详细说明，但本发明的保护范围并不仅限于下面的实施例。

该型探测器目前经常被用于构建红外成像系统，对于高端民用常规观察、监测领域，成像系统最终视频输出采用复合视频PAL制(帧频为25帧/秒，场频50帧/秒)进行输出。对于该型探测器，根据探测器资料可知，通过其读出电路可以提供最快每秒210帧的模拟原始信号输出。

本发明提供的基于固定积分时间的嵌入式红外图像超帧处理方法，包括以下步骤：

步骤一：根据外部高电平持续时间为50μs的脉冲控制信号，通过超帧成像处理电路对红外成像系统输出的连续两帧图像进行图像中心区域35×35像素范围内图像开始进行后向运动估计，设定场景变换快慢门限像素移动范围值为(±2，±2)，t时刻的图像帧为当前帧f(x，y)，上一帧t′时刻的图像帧为f′(x，y)，根据计算结果得到f(x，y)较f′(x，y)的像素运动矢量为(1，0)，由于(1，0)在(±2，±2)范围之内，因此根据场景运动估计的结果得出当前场景变换速度慢的判断；

步骤二：由于当前成像系统采用复合视频PAL制予以输出，场频为50帧/秒，故可知成像系统的单帧成帧时间为20ms；由于采用的探测器最高输出帧频为该成像系统最终输出帧频的4倍以上，因此每一个超帧周期的累加帧数选定为4帧；在成像系统单帧成帧时间20ms内，对焦平面探测器原始光电流信号进行4次积分读出时，对每一次焦平面探测器原始光电流信号进行积分所采用的积分时间是固定但不相同的，即：在每一个超帧周期内(即20ms的单帧图像成帧时间内)均进行4次读出，每一次读出所采用的积分时间均依次为固定值0.7ms、0.5ms、0.3ms、0.1ms；由于该探测器的原始输出为模拟信号，因此通过具有模-数转换电路的嵌入式超帧成像电路对这4次读出的数据进行采样，并且将采样的数据送至大容量高位深高速缓存中进行存储；

步骤三：根据步骤一得出的场景变换速度慢的判断，可知该系统进行子帧累加操作时需采用子帧对应像素累加的方法为对应像素简单累加的方法，具体操作如下：在一个超帧周期内(即成像系统的单帧成帧时间20ms内)，将从探测器读出电路获得的4帧原始子帧图像，采用在积分时间依次为0.7ms、0.5ms、0.3ms、0.1ms时的非均匀性校正参数予以补偿，得到新的4个子帧图像，记作m₁、m₂、m₃和m₄，然后将该4幅图像对应的像素灰度值直接进行累加，获得新的图像帧n₁，此时需要确保在进行4幅图像对应的像素灰度值累加时，嵌入式平台的存储器不发生溢出；由于获得新的图像帧n₁的灰度级数远远大于用于显示的最终灰度输出级数，最后需要将获得新的图像帧n₁映射到该成像系统的显示动态范围(显示灰度级数)内，同时完成图像锐化等其它图像处理算法处理之后，按照50Hz的场频将图像实时输出。

通过上述实施例的应用，相较于单帧成帧时间内一次读出的常规红外成像系统(采用较为常用的积分时间为0.5ms)而言，等效积分时间增加为1.6ms，意味着提高了读出电路的电荷存储能力，最终达到提高红外成像系统探测灵敏度，拓展红外成像系统动态范围的目的。

Claims (7)

1.基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于包括以下步骤：

步骤一：根据外部控制信号，由常规红外成像电路构成的超帧成像处理电路对红外成像系统探测器输出的连续两帧图像进行局部图像的运动估计，根据该运动估计结果判断场景变换速度的快或者慢；

步骤二：在常规红外成像系统单帧成帧时间内，在基于嵌入式超帧成像电路的控制下，通过读出电路对红外焦平面探测器产生的原始光电流信号进行多次读出，并将读出的数据通过采样电路送至大容量高位深高速缓存中进行存储；

步骤三：根据步骤一的场景变换速度的快或慢的判断，选择与该判断相适应的子帧累加方法，之后通过超帧成像处理电路对这些子帧进行非均匀性校正补偿、子帧累加、产生新的图像帧、新图像帧映射处理之后，按照常规红外成像系统的图像输出帧频、格式予以实时输出。

2.按照权利要求1所述的基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于所述步骤一中，当进行连续两帧图像的局部图像运动估计时，需要针对连续两帧图像的相同位置像素矩阵进行运动估计的计算，判断出两帧之间的相对位移像素值，将此计算得出值与理论设定的场景变换快慢门限像素移动值进行下列比较：计算得出值大于理论设定的场景变换快慢门限像素移动值时，判定为场景变换速度快；计算得出值小于理论设定的场景变换快慢门限像素移动值时，判定为场景变换速度慢。

3.按照权利要求1所述的基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于所述步骤二中，当红外焦平面探测器读出电路输出的原始信号为模拟信号时，在超帧成像处理电路设计中需要增加模-数转换电路的设计，以完成对探测器输出原始模拟信号的采样；当红外焦平面探测器读出电路输出的原始信号为数字信号时，用超帧成像电路直接对探测器输出的数字信号直接进行采样。

4.按照权利要求1所述的基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于所述步骤三中的子帧累加方法具体根据步骤一所判断的场景变换速度快或慢的结果，进行下列选取：

A）判断的场景变换速度慢，并且获取子帧时所采用的积分时间为固定但不同时，对子帧进行对应像素的简单累加，或者用下列方法累加：对于采用固定但不同的积分时间获得的子帧图像，按照滑动累加或加权累加方法来完成，以获得新的图像帧；

B）判断的场景变换速度快，并且获取子帧时所采用的积分时间为固定但不同时，对子帧先进行特征图像配准，再将配准区域进行对应像素的简单累加，或者用下列方法累加：对于采用固定但不同的积分时间获得的子帧图像，按照滑动累加或加权累加方法来完成，以获得新的图像帧；

C）通过超帧成像处理电路对上述A）或B）新获得的图像帧加以处理之后，即可在常规红外成像系统单帧成帧时间之内，输出完成超帧之后的单帧红外图像，也即完成一次超帧过程。

5.按照权利要求4所述的基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于所述的简单累加是将获得的子帧简单地每累加够一定数量产生一个新的帧，即：第1子帧到第m子帧累加后产生新的第1帧，第m+1子帧到2m子帧累加后产生新的第2子帧，以此类推。

6.按照权利要求4所述的基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于所述的特征图像配准是：分别提取两个或多个图像的点、线、面特征，对该特征进行参数描述，然后运用所描述的参数来进行匹配。

7.按照权利要求4所述的基于固定积分时间的嵌入式红外图像超帧处理方法，其特征在于所述积分时间为固定但不同是指：在常规红外成像系统单帧成帧时间内，对焦平面探测器原始光电流信号进行多次积分读出的读出次数是固定的，同时对于每一次读出所采用的积分时间也是固定的，但是每一次读出所采用的积分时间是不相同的。