CN104618664B - 一种基于自适应积分时间的嵌入式红外图像超帧处理方法 - Google Patents

Abstract

本发明提供一种基于自适应积分时间的嵌入式红外图像超帧处理方法，目的在于发挥红外图像超帧处理方法能够改善红外成像系统的探测灵敏度以及动态范围等优势，同时有效解决传统超帧处理方法中获取子帧的积分时间不能够根据目标场景辐射温度进行自适应调整的不足，更好地引导探测器工作在整个响应范围的中间区域。本发明包括离线标定和在线处理两个阶段的处理。本发明还给出了由于探测器积分时间被调整以后导致的图像非均匀性问题的校正措施。本发明是基于嵌入式平台的红外图像超帧处理方法，在实现过程中不需要借助任何专用装置，而且可以实现该方法的实时工程应用。

Description

一种基于自适应积分时间的嵌入式红外图像超帧处理方法

技术领域

本发明涉及一种基于自适应积分时间的嵌入式红外图像超帧处理方法，属于红外成像技术领域。

背景技术

由于红外成像系统具有诸多优势，目前除了被广泛应用于国防领域之外，在安防、气象、医疗、工业检测等民用领域也越来越受到重视。近年来，随着与红外成像技术相关的一些基础研究得到了快速的发展，同时客观应用的需求也在不断提升，因此具有高灵敏度、大动态范围的红外成像系统的研制也就成为了业界不断追寻的目标。

红外探测器作为红外成像系统的核心组件，实现了红外辐射到光电流的转换工作。而这一组件中的读出电路的作用是：将红外焦平面探测器输出的微弱信号检出并处理后，按一定的时序输出到后续电路。在读出电路中，读出单元电路又是其关键组成部分，实现了光电流对积分电容的充电，充电时间即为探测器的积分时间。通过理论分析可知，读出单元电路输出信号的信噪比与积分时间的平方根是成正比的，增加积分时间可以提高输出信号的信噪比，同时可以降低探测器的噪声等效温差(NETD)，进而提高成像系统的灵敏度。与此同时，读出电路的动态范围由积分电容的容量限制，然而由于在凝视型探测器读出电路中，积分电容是集成于像元单元电路中的，其电路面积受到像元尺寸的限制，因而能够获得的积分电容的容量是非常有限的。一般情况下，光电流对中波探测器读出电路中的积分电容进行积分，时间只能达到10ms以内；考虑到长波探测器具有较大的探测器暗电流及较高的背景电流，对长波探测器读出电路中的积分电容进行积分的时间还会更短，只能维持在毫秒量级。因此，就目前的情况来看，希望通过增加探测器读出电路积分电容的容量，来延长积分时间，进而提升探测器的输出信噪比、增加输出信号动态范围，最终改善红外成像系统的探测灵敏度以及系统的动态范围是不现实的。

此外，对于目前业内常用的红外成像系统的成帧时间而言，大都在10ms以上，对于一些不需要高帧频输出的使用环境，红外成像系统的成帧时间，往往允许达到40ms，甚至更长。同时，红外焦平面阵列探测器的光电流积分时间理论上最大可以等于系统的单帧成帧时间。

然而，由前所述可知，目前红外探测器读出电路积分电容的容量远远无法容纳如此之长探测器积分时间内光电流积分产生的电荷。因此，就目前常规红外成像系统而言，对于每秒能够输出百帧以上帧频的探测器的使用，从根源上就限制了探测器性能的发挥，无法通过有限的光电流信号提供丰富的客观场景的红外信息。因此研制具有高灵敏度、大动态范围的红外成像系统就显得更加困难重重了。

面对前述问题，科技工作者们通过不懈努力，提出了主要从两方面入手的一些措施：一是从探测器的读出电路着手，可在一定程度上改善读出电路的性能，但是探测器读出电路中的积分电容是集成于像元单元电路中的，在极其有限的像元尺寸内，希望获得更大的读出电路面积是不现实的，并且随着红外焦平面阵列的面阵规模不断增大，像元尺寸有限的问题将更为突出；二是从红外成像系统的后端图像处理技术入手，可使成像系统的性能获得一些提升，但是由于没有从根本上解决探测器读出电路积分电容容量受限的问题，因此对红外成像系统探测灵敏度及动态范围的改善能力仍然是有限的。为此，也有报道认为可从红外成像系统的整个信号处理过程进行考虑，最具代表性的就是红外图像的超帧处理方法。红外图像超帧处理方法是在红外成像系统确定输出帧频情况下，在单帧成帧时间内，通过对探测器读出电路积分电容进行多次不等电荷量的积分、读出，获得一系列红外子帧图像，并对这些子帧进行累加而产生新的图像帧，最终按照成像系统约定帧频予以输出的红外成像处理技术。该技术目的在于有效解决红外焦平面探测器读出电路的电荷存储容量受到限制，焦平面光电流信号不能得到有效利用，制约成像系统灵敏度的提升及动态范围的拓展等问题。Austin等人最早进行了红外图像超帧处理方法的研究(详见文献AustinA.Richards，Brian K.Cromwell，“Superframing:Scene Dynamic Range Extension ofInfrared Cameras”，Proc.SPIE，vol.5612，2004)，而后研制了超帧验证样机(详见文献Austin A.Richards，Shariff D’Souza，“A Novel NIR Camera with Extended DynamicRange”，Proc.SPIE，vol.6205，2006)，研究表明该技术能够改善红外成像系统的探测灵敏度以及动态范围，但是该技术的实现需要通过一套复杂的光机装置，才能获取用于进行超帧的红外子帧图像；并且子帧获取的速度最快为15Hz，难以满足工程应用的要求；此外，由于该技术在应用时选定的积分时间是固定的，不能根据目标红外辐射温度进行相应的调整，这将会导致所设定的积分时间远远偏离最佳值，最终导致超帧的效果不尽人意，甚至无法实现。

发明内容

本发明提出了一种基于自适应积分时间的嵌入式红外图像超帧处理方法，目的在于发挥红外图像超帧处理方法能够改善红外成像系统的探测灵敏度、拓展红外成像系统的动态范围等优势，同时有效解决传统超帧处理方法中获取子帧的积分时间不能够根据目标场景辐射温度进行自适应调整的不足，更好地引导探测器工作在整个响应范围的理想区域。

此外，本发明还提出了一种由于探测器积分时间被调整以后导致图像出现不均匀的校正措施，以解决或抑制因探测器积分时间被调整而导致的图像非均匀性问题。

同时，本发明是基于嵌入式平台的红外图像超帧处理方法，在实现过程中不需要借助任何专用装置，而且可以实现本发明的工程应用。

本发明的原理在于：在红外成像系统单位工作时间内，因图像的平均灰度信息能够间接反映目标场景的辐射温度，所以通过对嵌入式平台连续进行多帧捕获目标场景图像的平均灰度进行判断，能够自适应地调取一组合适的用于获取红外子帧图像的积分时间及相应的非均匀性校正参数，以便完成后续的实时超帧处理。调取的积分时间和相应的非均匀性校正参数，预先设置存储在嵌入式平台的掉电非易失存储器中。

本发明通过下列技术方案完成：一种基于自适应积分时间的嵌入式红外图像超帧处理方法，其特征在于包括离线标定和在线处理两个阶段，其中：

A离线标定：

A1将目标场景辐射全温度范围分为m个区域，对应地设置m级积分时间，m级与积分时间相匹配的探测器非均匀性校正参数，从目标场景辐射温度由低到高，m的取值范围为1，2…i…m共m个正整数；对于每一级积分时间的个数取决于超帧过程中用多少帧子帧产生一帧新的图像帧，并且每一级的积分时间个数是相同的，即用n帧子帧累加产生1帧新图像帧时，每一级的积分时间就都包含n个积分时间，并且在每一级中，积分时间由短到长被记为1，2…j…n共n个正整数值，则第i级第j个积分时间被记作t_ij；每一级积分时间对应的非均匀性校正参数的个数取决于该级积分时间的个数，对于每一级积分时间有n个值的情况，则每一级积分时间对应的非均匀性校正参数就有n组；

A2通过黑体标定对步骤1)的每一个积分时间进行设定，同时获得每一级积分时间所对应的目标场景辐射温度特征值对应的红外成像系统输出图像平均灰度值g_i,z，具体如下：

A2.1将黑体靶面温度调至第i级的最小值，当最小值为极限值时，则将该范围的最大值减去ΔT记作最小值，其中ΔT为第i级目标场景辐射温度的变化范围；将红外成像系统光学窗口对准均匀黑体靶面，此时增加探测器积分时间，当图像开始出现饱和时，将该积分时间记作t_i,nmax，将t_i,nmax与系数a相乘，得到at_i,nmax，记为第i级第n个积分时间t_i,n，即：

t_i,n＝at_i,nmax

升高黑体靶面温度，将第i级黑体靶面温度升高步长设为ΔT/n，第i级其余积分时间均采用所述方法，即可完成设定，记为：

t_i,j＝at_i,jmax

式中t_i,jmax表示第i级第j个积分时间对应的图像开始出现饱和的积分时间，a的取值根据每一支探测器的响应情况、盲元率等因素具体确定，探测器响应差的、盲元率高的，a相对小些，反之，大些，a的取值范围在0到1之间；

A2.2每一级积分时间的中间值t_i,z，作为这一级积分时间对应的目标场景辐射温度特征值，这个积分时间对应的红外成像系统输出图像平均灰度值为g_i,z，其中z的确定依照如下原则：

若第i级包含n个积分时间值，并且n为奇数，

若第i级包含n个积分时间值，并且n为偶数，

A3探测器非均匀性校正参数的标定，采用基于定标的两点校正法进行标定，并将获得的非均匀性校正参数存储于基于嵌入式平台的掉电非易失存储器中，具体操作如下：选取每一个积分时间对应的目标场景辐射温度的±c℃为进行两点校正的黑体高低温靶面温度，同时需要保证红外成像系统光学窗口对准高温靶面输出图像不出现饱和，否则需要对c的取值进行修正；

B在线处理：

B1在红外成像系统正常上电工作后，每单位工作时间t_w内，通过嵌入式平台在每单位时间开始的连续前几帧进行目标场景图像的捕获、平均灰度判断，对于具有调焦、变倍光机组件的红外成像系统，在进行捕获图像前，先将成像系统调制虚焦状态，以实现目标辐射均匀化目的，有利于更加客观、贴合实际地进行图像平均灰度的判断；对于无调焦、变倍组件的红外成像系统，直接对其输出图像进行平均灰度判断；在完成图像平均灰度判断之后，即可获得图像平均灰度值g_t；

B2将步骤B1所得图像平均灰度值g_t与步骤A2.2所得离线标定的红外成像系统输出图像平均灰度值m个g_i,z进行数值比较，选定更接近g_t的一级积分时间及非均匀性校正参数，作为此单位工作时间内进行红外图像超帧处理的积分时间和非均匀性校正参数；

B3根据选定的一级积分时间以及相匹配的非均匀性校正参数，进行常规的红外图像超帧处理以及其他图像处理方法的处理，最终按照红外成像系统确定的帧频实时输出红外图像。

进一步的，所述步骤A1中，m的具体划分方法可以采用线性均分或者结合工程实际、工程经验采用非线性的方法进行划分。

进一步的，所述步骤B1中，图像平均灰度的判断可通过对少量多帧图像进行累加后，再进行灰度判断，进而获得图像平均灰度值g_t。

本发明同时适用于读出电路为模拟输出或者数字输出的红外焦平面探测器，当探测器读出电路输出的原始信号为模拟信号时，在进行超帧成像处理电路设计时需要增加模-数转换电路的设计，以完成对探测器输出原始模拟信号的采样；当探测器读出电路输出的原始信号为数字信号时，超帧成像处理电路可以直接对探测器输出的数字信号直接进行采样。

本发明提及的图像平均灰度评价方法以及数值比较方法不局限于某一种具体的方法。

本发明具有下列优点和效果：采用上述方案，不仅具备常规红外图像超帧处理方法的优势，譬如：等效提高了探测器读出电路积分电容的电荷存储能力，进而提升探测器输出信号的SNR，提升红外成像系统的探测灵敏度，拓展红外成像系统的动态范围。同时，由于本发明在使用时能够让处于工作状态的红外成像系统自适应地根据目标场景辐射温度相应地调整探测器的积分时间，让探测器响应在一个与目标场景辐射程度相适宜的情况下，更好地体现超帧处理方法的效果，进一步提升成像系统的性能。同时，本发明通过离线存储了m×n组对应着不同积分时间的探测器非均匀性校正参数，成功解决了超帧过程中由于积分时间调整而导致的探测器非均匀性问题。最后，由于本发明是基于嵌入式平台的技术，不需要借助专用装置完成子帧的采集，仅仅通过嵌入式电路对探测器输出信号进行合适地读出、处理即可实现超帧过程，操作简便，对于成像系统图像的实时输出也提供了保证，而且对于绝大多数的红外成像系统均具有普适性。

附图说明

图1为本发明的离线标定流程图；

图2为本发明的在线处理过程图。

具体实施方式

下面结合附图，以法国SOFRADIR公司生产的制冷型长波640x512焦平面探测器SCORPIO-LW为例对本发明做进一步详细说明，但本发明的保护范围并不仅限于下面的实施例。

该型探测器目前经常被用于搭建民用观察型红外成像系统，本实施例成像系统最终视频输出采用标准数字CameraLink视频进行输出，帧频为40帧/秒。对于该型探测器，通过其读出电路可以提供最快每秒210帧的模拟原始信号输出。下面详细说明本发明的步骤：

A离线标定：

A1结合附图1，首先确定探测器积分时间的个数及非均匀性校正参数的组数。考虑到产品定位为民用观察型设备，结合产品开发经验，可以将目标辐射场景温度划分为6个区，分别为(-∞,-15℃)、[-15℃,0℃)、[0℃,15℃)、[15℃,30℃)、[30℃,45℃)以及[45℃,+∞)。此时，意味着目标场景辐射全温度范围被分为6个等级，需要6级积分时间及与其相对应的非均匀性校正参数，即m＝6。由选定构建该红外成像系统的探测器资料可知，640x512焦平面探测器SCORPIO-LW最高输出帧频为210Hz/s，而最终红外成像系统的输出帧频为40Hz，考虑到超帧处理自身需要耗费一些时间，那么，最多可以通过5个子帧的累加产生1帧新的图像帧。因此，每一级积分时间包含了5个积分时间，对应着5组非均匀性校正参数，即n＝5。此时，第i级第j个积分时间被记作t_ij，其中i的取值范围为1到6的正整数，j的取值范围为1到5的正整数。

A2通过附图1可知，接下来需要完成对每一个积分时间的设定，通过黑体标定的方式来确定，具体操作如下：

A2.1将黑体靶面温度调至第1级的最小值，由于该温度范围最小值为极限值，则该范围的最小值为-30℃，将红外成像系统光学窗口对准均匀黑体靶面，此时增加探测器积分时间，当图像开始出现饱和时，将该积分时间记作t_1,5max。对于探测器一般性能而言，与t_1,5max相乘的系数a可以取0.7，得到0.7t_1,5max，记为第1级第5个积分时间t_1,5，即：

t_1,5＝0.7t_1,5max

此时升高黑体靶面温度，将第1级黑体靶面温度升高步长设为3℃，那么第1级其余积分时间采用前面提到的相同方法，即可完成设定，总共可以获得30个积分时间。

A2.2对于第1级积分时间的中间值t_1,z，作为第1级积分时间对应的目标场景辐射温度特征值，这个积分时间对应的红外成像系统输出图像平均灰度值为g_1,z，由于第1级及其他级每一级均包含5个积分时间值，所以此时，可以获得6个目标场景辐射温度特征值对应的红外成像系统输出图像平均灰度值，分别为g_1,3、g_2,3、g_3,3、g_4,3、g_5,3和g_6,3。

A3对照附图1，接下来需要进行探测器非均匀性校正参数的标定，采用基于定标的两点校正法进行标定，并将获得的非均匀性校正参数存储于基于嵌入式平台的掉电非易失存储器中。具体操作时，选取每一个积分时间对应的目标场景辐射温度的±5℃为进行两点校正的黑体高低温靶面温度，同时需要保证红外成像系统光学窗口对准高温靶面输出图像不出现饱和，否则需要对高低温靶面的温度值取值进行修正。

B在线处理：

B1结合附图2，在红外成像系统正常上电工作后，每单位工作时间10min内，通过嵌入式平台对每10min开始的连续前3帧进行目标场景图像的捕获、平均灰度判断。对于红外成像系统均具有调焦、变倍光机组件，在进行捕获图像前，先将成像系统调制虚焦状态，以实现目标辐射均匀化目的，有利于更加客观、贴合实际地进行图像平均灰度的判断。考虑到判断的客观性、可靠性，可以通过对3帧图像进行累加再进行灰度判断。在完成图像平均灰度判断之后，可以获得图像平均灰度值g_t。

B2根据g_t与离线标定的6个g_iz进行数值比较，选定更接近g_t的那一级积分时间及非均匀性校正参数为用于此单位工作时间内进行红外图像超帧处理的积分时间和非均匀性校正参数。

B3根据选定的那一级积分时间以及相匹配的非均匀性校正参数，进行常规的红外图像超帧处理，具体包括子帧采集、5帧子帧累加产生1帧新的图像帧以及直方图均衡、图像增强等其他图像处理方法的处理，最终按照红外成像系统确定的40Hz/s的帧频实时输出红外图像。

Claims (3)

1.一种基于自适应积分时间的嵌入式红外图像超帧处理方法，其特征在于包括离线标定和在线处理两个阶段，具体为：

A离线标定，进一步可划分为如下步骤：

A1将目标场景辐射全温度范围分为m个区域，对应地设置m级积分时间，m级与积分时间相匹配的探测器非均匀性校正参数，从目标场景辐射温度由低到高，m的取值范围为1，2…i…m共m个正整数；对于每一级积分时间的个数取决于超帧过程中用多少帧子帧产生一帧新的图像帧，并且每一级的积分时间个数是相同的，即用n帧子帧累加产生1帧新图像帧时，每一级的积分时间就都包含n个积分时间，并且在每一级中，积分时间由短到长被记为1，2…j…n共n个正整数值，则第i级第j个积分时间被记作t_ij；每一级积分时间对应的非均匀性校正参数的个数取决于该级积分时间的个数，对于每一级积分时间有n个值的情况，则每一级积分时间对应的非均匀性校正参数就有n组；

A2通过黑体标定对步骤1)的每一个积分时间进行设定，同时获得每一级积分时间所对应的目标场景辐射温度特征值对应的红外成像系统输出图像平均灰度值g_i,z，进一步可划分为如下步骤：

A2.1将黑体靶面温度调至第i级的最小值，当最小值为极限值时，则将该范围的最大值减去ΔT记作最小值，其中ΔT为第i级目标场景辐射温度的变化范围；将红外成像系统光学窗口对准均匀黑体靶面，此时增加探测器积分时间，当图像开始出现饱和时，将该积分时间记作t_i,nmax，将t_i,nmax与系数a相乘，得到at_i,nmax，记为第i级第n个积分时间t_in，即：

t_in＝at_i，nmax

升高黑体靶面温度，将第i级黑体靶面温度升高步长设为ΔT/n，第i级其余积分时间均采用所述方法，即可完成设定，记为：

t_ij＝at_i，jmax

式中t_i,jmax表示第i级第j个积分时间对应的图像开始出现饱和的积分时间，a的取值根据每一支探测器的响应情况和/或盲元率具体确定，探测器响应差的、盲元率高的，a相对小些，反之，大些，a的取值范围在0到1之间；

A2.2每一级积分时间的中间值t_i,z，作为这一级积分时间对应的目标场景辐射温度特征值，这个积分时间对应的红外成像系统输出图像平均灰度值为g_i,z，其中z的确定依照如下原则：

若第i级包含n个积分时间值，并且n为奇数，

若第i级包含n个积分时间值，并且n为偶数，

A3探测器非均匀性校正参数的标定，采用基于定标的两点校正法进行标定，并将获得的非均匀性校正参数存储于基于嵌入式平台的掉电非易失存储器中，具体操作如下：选取每一个积分时间对应的目标场景辐射温度的±c℃为进行两点校正的黑体高低温靶面温度，同时需要保证红外成像系统光学窗口对准高温靶面输出图像不出现饱和，否则需要对c的取值进行修正；

B在线处理，进一步可划分为如下步骤：

B1在红外成像系统正常上电工作后，每单位工作时间t_w内，通过嵌入式平台在每单位时间开始的连续前几帧进行目标场景图像的捕获、平均灰度判断，对于具有调焦、变倍光机组件的红外成像系统，在进行捕获图像前，先将成像系统调制虚焦状态，以实现目标辐射均匀化目的，有利于更加客观、贴合实际地进行图像平均灰度的判断；对于无调焦、变倍组件的红外成像系统，直接对其输出图像进行平均灰度判断；在完成图像平均灰度判断之后，即可获得图像平均灰度值g_t；

B2将步骤B1所得图像平均灰度值g_t与步骤A2.2所得离线标定的红外成像系统输出图像平均灰度值m个g_i,z进行数值比较，选定更接近g_t的一级积分时间及非均匀性校正参数，作为此单位工作时间内进行红外图像超帧处理的积分时间和非均匀性校正参数；

B3根据选定的一级积分时间以及相匹配的非均匀性校正参数，进行常规的红外图像超帧处理以及其他图像处理方法的处理，最终按照红外成像系统确定的帧频实时输出红外图像。

2.如权利要求1所述的基于自适应积分时间的嵌入式红外图像超帧处理方法，其特征在于所述步骤A1中，m的具体划分方法采用线性均分或者结合工程实际、工程经验采用非线性的方法进行划分。

3.如权利要求1所述的基于自适应积分时间的嵌入式红外图像超帧处理方法，其特征在于所述步骤B1中，图像平均灰度的判断通过对少量多帧图像进行累加后，再进行灰度判断，进而获得图像平均灰度值g_t。