CN102567977B - 一种基于小波的红外偏振图像自适应融合方法 - Google Patents

Abstract

本发明公开了一种基于小波的红外偏振图像自适应融合方法，对输入图像进行小波分解，建立各自的小波分解系数；分别计算输入图像各自高频分量的匹配测度；结合遗传优化算法，计算出融合方法中的决策模块部分；利用遗传优化算法对决策因子中关键参数阈值T进行自适应优化；计算融合图像的高频分量；利用对源图像低频分量进行平均加权得到融合图像的低频分量；结合得到的高频分量和低频分量，利用小波逆变换来得到最后的融合图像。本发明对红外偏振图像融合的效果有一个明显提高。

Description

一种基于小波的红外偏振图像自适应融合方法

技术领域

本发明属于图像探测与处理领域，具体属于红外偏振成像探测技术中的自适应图像融合领域。

背景技术

随着探测技术和传感器技术的发展，红外探测的精度和灵敏度越来越高，可以探测的目标温差越来越小。据资料显示，现在最先进的热像仪，其温度灵敏度已经达到了0.05摄氏度。虽然探测的灵敏度提高了，但是，由于杂乱背景信号的限制，目标发现和识别的概率却仍不是很高。比如，在目标物周围放置温度相同的噪声源，那么现有的红外热像仪就无法进行识别了。如何解决这一问题，就是将偏振成像引入红外领域的目的。

由菲涅尔反射定律可知当非偏振光束从光滑表面反射时会产生部分偏振光，而根据基尔霍夫理论，热辐射也会表现出偏振效应。所以地球表面和大气中的所有目标，在发射和反射电磁辐射的过程中，都会表现出由它们自身性质和辐射基本定律决定的偏振特性。不同物体或同一物体的不同状态(粗糙度、含水量、构成材料的理化特征等)会产生不同的偏振状态，形成不同的偏振光谱。由于偏振信息是不同于辐射的另一种表征事物的信息，相同辐射的被测物体可能有不同的偏振度，使用偏振手段可以在复杂背景下检测出有用信号，以成像方式显示出隐蔽军事目标。这种用红外成像系统加上偏振技术手段获取目标偏振信息，通过必要处理后进行显示的成像方式称为红外偏振成像。

红外偏振成像与红外成像的区别主要在于：

1)成像对应的特征量不同

红外偏振成像主要是对景物多个不同方向的偏振量京城光强成像，其主要与景物材料性质，表面粗糙度等有关；红外光强成像主要是对景物的红外辐射强度成像，其主要与劲舞的温度辐射率等有关

2)目标与背景的辐射特性不同

目标与背景的辐射在传输过程受大气衰减和复杂环境的影响到达探测器时辐射强度大大减低，效果很不理想，偏振成像可以抑制影响达到良好的成像效果(基于大气背景抑制的偏振去雾算法)在红外长波段，除水、海洋外，自然物的偏振度一般比较小，而人造物由于其材料及表面的光滑性，偏振度比较大。

3)成像过程不同：

偏振成像需要在不同的角度下进行对此光强成像通过计算才能得到一副偏振图像，成像过程复杂，实时性较差，但偏振度是辐射之比，偏振测量无需准确的辐射量校准就可以达到相当高的精度；光强成像过程简单，实时性较好，但需要对成像设备进行实时的定标校准，否则所测得的红外辐射亮度和温度不能反应被测物的真是辐射温度和亮度。

4)图像特征不同

红外强度图像主要是以亮度差异来区分物体，当物体间辐射差异较小时，亮度识别比较困难，而物体间的偏振差异可能较大，便于二者区分，目标处于复杂场景时，目标与背景对比度较低，不利于目标识别，而红外偏振成像可以抑制复杂背景来提高目标识别的效果；同一目标在光强图像中温度高的部位亮，温度低的部位暗，物体轮廓比较模糊，而红外偏振成像可以获得目标的几何形状信息，其边缘和轮廓特征明显。

因此，红外偏振成像在军事上和民间的应用前景相当广阔，它可以弥补传统热成像在许多方面的不足，它与传统热像仪相比具有如下优势：

1)偏振测量无需准确的辐射量校准就可以达到相当高的精度，这是由于偏振度是辐射值之比。而在传统的红外辐射量测量中，红外测量系统的定标对于红外系统的测量准确度至关重要。红外器件的老化、光电转换设备的老化、电子线路的噪声甚至环境温度、湿度的变化都会影响到红外系统。如果红外系统的状态已经改变，但是系统又没有及时定标，那么所测得的红外辐射亮度和温度必然不能反映被测物的真实辐射温度和亮度。

2)根据调研国外公开发表的文献的数据说明，目标和背景偏振度差别较大，其中自然环境中地物背景的红外偏振度非常小(＜1.5％)，只有水体体现出较强的偏振特性，其偏振度一般在8％～10％。而金属材料目标的红外偏振度相对较大，达到了2％～7％，因此以金属材料为主体的军用车辆的偏振度和地物背景的偏振度差别也较大。实际上，两物体偏振度值差别达到1％，成偏振图像后我们就能够很好地分辨出两物体之间的差异。所以利用红外偏振成像技术识别地物背景中的车辆目标具有明显的优势。

3)军事上的红外防护的主要方法是制造复杂背景，在背景中杂乱无序地放置各种红外点热源和面热源，使背景不均匀，红外系统无法从背景中区别目标，但是这种杂乱的热源和目标的偏振特性通常也存在不同，因此这种形式的防护对红外偏振成像侦察就存在它的局限性。

4)红外偏振成像系统在取得偏振测量结果的同时，还能够提供辐射量的数据。

5)对于辐射强度相同的目标和背景，传统成像无法区别，而偏振成像通常比较容易地区别它。

可以看出，红外偏振成像技术不仅是红外侦察技术的一次革命性进步，而且对传统的红外伪装技术提出了严峻的考验。

偏振图像融合效果的评价指标

1)标准偏差

设一副图像的灰度分布为P＝{P(0)，P(1)，...，P(i)，....，P(L-1)}，其中L为灰度级，P(i)为灰度等于i的像素数与图像的总像素之比，且有

成立。则偏振图像的标准偏差定义为：

$\mathrm{\δ}=\sqrt{{\mathrm{\Σ}}_{i=0}^{L-1}{(i-{\mathrm{\Σ}}_{k=0}^{L-1}\mathrm{kP}\left(k\right))}^{2}P\left(i\right)}$

标准偏差反映灰度相对平均灰度的离散情况，标准偏差越大，则灰度分布越散，体现的视觉效果也越佳。

2)空间频域

空间频域的定义如下

$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}$

其中RF为空间行频域，CF为空间列频域，各自的表达式为：

$\mathrm{RF}=\sqrt{\frac{\underset{m-1}{\overset{M}{\mathrm{\Σ}}}\underset{n-2}{\overset{N}{\mathrm{\Σ}}}{[F(m,n)-F(m,n-1)]}^2}{M\×N}}$

$\mathrm{CF}=\sqrt{\frac{\underset{n-1}{\overset{N}{\mathrm{\Σ}}}\underset{m-2}{\overset{M}{\mathrm{\Σ}}}{[F(m,n)-F(m-1,n)]}^2}{M\×N}}$

空间频率越大，说明融合效果越好。

3)梯度

清晰度采用梯度法来衡量，图像的梯度计算为[8]

$\stackrel{\‾}{g}=\frac{1}{n}\mathrm{\Σ}\sqrt{({\mathrm{\ΔI}}_x^2+\mathrm{\Δ}{I}_y^2)/2}$

其中：ΔI_x和ΔI_y分别为x和y方向上的差分，n为图像的大小。结果

越大，则图像的清晰度越高，融合会有效地改善图像的清晰度。

4)信息熵

图像的信息熵定义为[8]：

$\mathrm{EN}=-{\mathrm{\Σ}}_{i=0}^{L-1}P\left(i\right){\log }_2\left(P\left(i\right)\right)$

信息熵从整体上表示了图像信息的总体特性，熵越大图像中包含的信息量就越大，信息就越丰富，融合效果会越好。

在众多的图像融合技术中，基于小波变换的图像融合方法已成为现今研究的一个热点。高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效的提高了图像信息的利用率和目标探测识别的可靠性。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，以增强影像中信息解译的精度、可靠性以及使用率，形成对目标的清晰、完整、准确的信息描述。文献Multi-band Polarimetric Image Fusion Based on IHS and Wavelet Transforms (Zhao Gang，Zhao Yongqiang，Pan Quan，Zhang Xueshuai，Zhang Hongcai.Multi-bandPolarimetric Image Fusion Based on IHS and Wavelet Transforms[J].ComputerMeasurement & Control，2005，13(9)：992-994.)、Algorithm and evaluation forpolarization image fusion based on edge information(ZHANG Jing-jing，FANGYong-hua.Algorithm and evaluation for polarization image fusion based on edgeinformation[J].Opto-Electronic Engineering，2007，34(11)：78-81，87).就是采用小波变换对偏振图像进行一定的处理，有效地将偏振特征融入了原始图像之中。并且较多数基于小波的像素级融合算法之中对融合后的图像质量起决定因素的一个阈值往往都是定值。由于阈值是定值，只能针对某一类图像进行融合，无法针对不同的图像达到相同的融合效果。因此，算法具有较大的局限性。

另外，遗传算法(Genetic Algorithm)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法，是一种直接的随机搜索算法。其主要工作过程如下：选取初始数据群体，对数据群体进行适应性评估；若针对适应性函数的数值评估有差距，对其更接近所需的结果的数据进行选择性复制产生父代个体群；对对父代个体群进行部分结构加以替换重组而产生新个体；为了防止未成熟收敛现象，并保持群体的多样化，引入变异操作，即对群体数据的某些基因座上的基因值加以变动，但是变异率通常很小；将变异后的群体数据再次针对适应性函数进行数值评估，仍然有明显差距则再次进入选择性复制、交叉、变异，若几乎相等则输出结果。遗传算法主要用于计算机数值处理技术领域中，目前还未用于阈值处理。因为图像是一个矩阵，而遗传算法主要针对数值处理，将遗传算法用于图像处理存在一个技术难题——建立一个有效的媒介函数和途径。同时，遗传算法中参数无法直接确定，这样需要针对图像融合方法提出特定的群体选择与判定方法。

发明内容

针对红外偏振图像融合的不足，本发明提出一种基于小波的红外偏振图像自适应融合方法，能够在保证图像融合质量的前提下保证其适应性，不再是针对一类图像，而是能够应用于各类图像。

实现本发明的技术解决方案为：一种基于小波的红外偏振图像自适应融合方法，步骤如下：

步骤1：对输入的两幅图像分别进行小波分解，建立各自的小波分解系数，即得到各自的高频分量和低频分量；

步骤2：分别计算输入图像各自高频分量的匹配测度

根据匹配测度

的阈值选择融合图像，高频分量相近时，任选一幅输入图像的高频分量作为融合图像的高频分量；反之差异较大时，提取匹配测度值高的图像的高频分量作为融合图像的高频分量；

步骤3：对步骤2选定的高频分量利用改进的遗传算法得到与之对应的阈值T的最佳值，根据阈值T的最佳值计算得到决策因子

步骤4：根据步骤3得到的决策因子

计算融合图像的高频分量；

步骤5：利用对两幅图像的低频分量进行平均加权得到融合图像的低频分量；

步骤6：结合步骤4和步骤5而得到的高频分量和低频分量，利用小波逆变换来得到最后的融合图像。

本发明与现有技术相比，有显著的优点：通过建立评价函数，并将其与改进的遗传算法相结合，对红外偏振图像融合的效果有一个明显提高，并且因为遗传算法的加入，使得关键参数阈值T不再是单一的定值，而可以随着不同的图像可以进行自适应调整，显著的提升了方法的实用性以及扩大了融合方法的适用范围，不再是针对单一类图像。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于小波的红外偏振图像自适应融合方法的流程图。

图2遗传算法得出阈值T的流程图。

图3是阈值为常数定值融合后的图像。

图4是采用本发明融合后的图像。

具体实施方式

结合图1，本发明基于小波的红外偏振图像自适应融合方法，其步骤如下：

第一步，对输入的两幅图像分别进行小波分解，建立各自的小波分解系数，即得到各自的高频分量和低频分量。

第二步，分别计算输入图像各自高频分量的匹配测度根据匹配测度的阈值选择融合图像，高频分量相近时，任选一幅输入图像的高频分量作为融合图像的高频分量；反之差异较大时，提取匹配测度值高的图像的高频分量作为融合图像的高频分量。

计算输入图像各自高频分量的匹配测度

将由小波变换提取到的高频分量计算3*3窗口区域信号强度，输入图像的区域信号强度比作为匹配测度

表达式如下：

$R_{j,\mathrm{AB}}^{\mathrm{\ϵ}}=\frac{I_{j,A}^{\mathrm{\ϵ}}}{I_{j,B}^{\mathrm{\ϵ}}}$

其中， $I_{j,S}^{\mathrm{\ϵ}}(m,n)=\underset{m^{\′}\∈L.n^{\′}\∈K}{\mathrm{\Σ}}P(m^{\′},n^{\′})\left|D_{j,s}^{\mathrm{\ϵ}}(m+m^{\′},n+n^{\′})\right|,$

是输入图像S的细节分量，

表示S在2j分辨率下，ε方向上的窗口区域信号强度，这样相关信号强度比

表示的就是窗口区域内

和

的信号强度比。m，n是像素坐标，P为窗口掩模，用于对

进行线性滤波，L和K定义了掩模区域的大小，m’，n’的变化范围在L，K内。

划分匹配测度

的阈值分别采用不同的融合规则，高频分量相近时(相近是指两幅图的匹配测度差值小于0.001)，两幅图像都纳入融合图像中；反之差异较大时(较大是指两幅图的匹配测度差值大于0.001)，说明只有一幅图像明显存在有用信息，因此只提取一幅图像的高频分量作为融合图像的高频分量；

第三步，对选定的高频分量利用改进的遗传算法得到与之对应的阈值T的最佳值，根据阈值T的最佳值计算得到决策因子

结合遗传优化算法，计算出融合方法中的决策模块部分。决策模块是本方法的核心，高频分量的提取方式与判定方式都由决策模块决定的，因此，决策模块真正决定了融合图像中小波系数的值。决策模块的核心为决策因子

具体取法如下式：

其中T为阈值，取值范围为[0，1]。在以(m，n)为中心的窗口区域内，高频分量

和

存在较大差异，即

或

决策因子

就取0或1，反之，则取一个0到1的值。实际中阈值T取常数，那么实质上就是决策因子

和相关信号轻度比R之间的函数d(R)，根据上式可以看出d(R)为分段函数，的最大值为1，最小值为0，分别表示只取图像A或者只取图像B的高频分量作为融合图像的高频分量，d取到0到1的值，则表示各取图像A，B的一部分作为融合图像的高频分量。

从上面的介绍可以看出，决策因子

最终决定是与阈值T的取值密切相关的，阈值T的确定直接影响决策因子的取值，从而决定图像高频分量的提取，因此阈值T的取值至关重要。在以往的方法中，阈值T往往都是取一个定值，这样导致了方法对部分类型的图像产生较为明显与有效的融合结果，而对其他类的图像效果一般甚至不好。因此本方法引入遗传优化算法，并对其加以修改以适应本方法。

在方法中根据图像融合评价指标建立一个评价体系则为遗传算法中对应的适应性评价函数，表达式如下：

$S=\mathrm{a\δ}+\mathrm{bSF}+c\stackrel{\‾}{g}+\mathrm{dEN}$

由于这四个均为融合图像的重要评价指数(见背景技术中的说明)，因此，式中a＝b＝c＝d＝1/4。

在本发明中，针对所求阈值T的要求改进遗传优化算法，即阈值T的最佳值的获取的过程为如下：

(1)随机生成初始阈值T数据群体M；

(2)根据数据群体M得到相应的图像数据，并分别计算S值得到群体N， $S=\mathrm{a\δ}+\mathrm{bSF}+c\stackrel{\‾}{g}+\mathrm{dEN},$ 式中a＝b＝c＝d＝1/4；

(3)将群体N中的S值互相比较差距若超过0.0001，则对数据群体中S值较大所对应的阈值T群体进行复制；

(4)将选择复制出的阈值T群体进行交叉处理，即两两之间取平均数并加入组成新的群体M；

(5)随机选取一个不同于前面数据群体M的数据个体加入新的群体M；

(6)对新的群体M重复(1)到(5)的工作，直至S值之间差距小于0.0001，则输出S值相对应的阈值T，此阈值T为最佳值，最佳值范围为[0，1]。

第四步，根据得到的决策因子

计算融合图像的高频分量。通过第三步中改进过的遗传优化算法可以得到相应的图像融合关键参数阈值T的最佳数值，这样决策因子d的分段函数区间也同时得到确定。而本方法是利用加权平均法对多分辨率系数进行合成，这样决策因子d实质就是相应的小波系数D_S的权值，其表达式如下：

$D_{j,F}^{\mathrm{\ϵ}}(m,n)=w_{j,A}^{\mathrm{\ϵ}}(m,n)D_{j,A}^{\mathrm{\ϵ}}(m,n)+w_{j,B}^{\mathrm{\ϵ}}(m,n)D_{j,B}^{\mathrm{\ϵ}}(m,n)$

其中， $w_{j,A}^{\mathrm{\ϵ}}(m,n)=1-w_{j,B}^{\mathrm{\ϵ}}(m,n)=d_j^{\mathrm{\ϵ}}(m,n),$

为融合图像F的小波高频系数，为对应的权值。

第五步，利用对两幅图像的低频分量进行平均加权得到融合图像的低频分量。图像经过小波分解之后，其低频分量包含了源图像的大部分信息，对融合的质量有很大的影响。本方法采用加权平均的方式进行低频分量融合，即基于小波包变换法的融合图像低频分量系数可表示为：

W_F＝aW_A+(1-a)W_B

由于待融合的源图像是来自同一场景的图像，低频分量通常比较接近，因此选择a＝0.5.

第六步，得到融合图像。结合第四步和第五步而得到的高频分量和低频分量，利用小波逆变换来得到最后的融合图像。

Claims (3)

1.一种基于小波的红外偏振图像自适应融合方法，其特征在于步骤如下：

步骤1：对输入的两幅图像A和B分别进行小波分解，建立各自的小波分解系数，即得到各自的高频分量和低频分量；

步骤2：分别计算输入图像各自高频分量的匹配测度

根据匹配测度的阈值选择融合图像，高频分量相近时，任选一幅输入图像的高频分量作为融合图像的高频分量；反之差异较大时，提取匹配测度值高的图像的高频分量作为融合图像的高频分量；

其中，计算输入图像各自高频分量的匹配测度

将由小波变换提取到的高频分量计算3*3窗口区域信号强度，输入图像的区域信号强度比作为匹配测度

表达式如下：

$R_{j,\mathrm{AB}}^{\mathrm{\ϵ}}=\frac{I_{j,A}^{\mathrm{\ϵ}}}{I_{j,B}^{\mathrm{\ϵ}}}$

其中， $I_{j,S}^{\mathrm{\ϵ}}(m,n)=\underset{m^{\′}\∈L.n^{\′}\∈K}{\mathrm{\Σ}}P(m^{\′},n^{\′})\left|D_{j,S}^{\mathrm{\ϵ}}(m+m^{\′},n+n^{\′})\right|,$

是输入图像S的细节分量，

表示S在2j分辨率下，ε方向上的窗口区域信号强度，这样相关信号强度比

表示的就是窗口区域内和

的信号强度比，m，n是像素坐标，P为窗口掩模，用于对

进行线性滤波，L和K定义了掩模区域的大小，m’，n’的变化范围在L，K内；

步骤3：对步骤2选定的高频分量利用改进的遗传算法得到与之对应的阈值T的最佳值，根据阈值T的最佳值计算得到决策因子

步骤4：根据步骤3得到的决策因子

计算融合图像的高频分量；

步骤5：利用对两幅图像的低频分量进行平均加权得到融合图像的低频分量；

步骤6：结合步骤4和步骤5而得到的高频分量和低频分量，利用小波逆变换来得到最后的融合图像。

2.根据权利要求1所述的基于小波的红外偏振图像自适应融合方法，其特征在于步骤3中，阈值T的最佳值的获取的过程为：

（1）随机生成初始阈值T数据群体M；

（2）根据数据群体M得到相应的图像数据，并分别计算S值得到群体N，

式中a=b=c=d=1/4；其中δ是指偏振图像的标准偏差，SF是指空间频域，是指图像的梯度，EN是指图像的信息熵；

（3）将群体N中的S值互相比较差距若超过0.0001，则对数据群体中S值较大所对应的阈值T群体进行复制；

（4）将选择复制出的阈值T群体进行交叉处理，即两两之间取平均数并加入组成新的群体M；

（5）随机选取一个不同于前面数据群体M的数据个体加入新的群体M；

（6）对新的群体M重复（1）到（5）的工作，直至S值之间差距小于0.0001，则输出S值相对应的阈值T，此阈值T为最佳值，最佳值范围为[0，1]。

3.根据权利要求1所述的基于小波的红外偏振图像自适应融合方法，其特征在于步骤3中，根据阈值T的最佳值计算得到决策因子

的方法为：

其中T为阈值，在以(m,n)为中心的窗口区域内，高频分量

和存在较大差异，即 $R_{j,\mathrm{AB}}^{\mathrm{\&epsiv;}}(m,n)\&GreaterEqual;1/T$ 或 $R_{j,\mathrm{AB}}^{\mathrm{\&epsiv;}}(m,n)<T,$ 决策因子就取0或1，反之，则取一个0到1的值。

Images