CN106846288A - 一种双模态红外图像差异特征指数测度的多算法融合方法 - Google Patents

Abstract

本发明公开了一种双模态红外图像差异特征指数测度的多算法融合方法，首先选择红外偏振与光强图像间差异特征类型，主要为亮度、细节、边缘和轮廓等；根据差异特征类型，选择局部能量取大、非下采样剪切波和多尺度引导滤波分别对源图像进行融合；分别计算两类图像的局部均值、局部拉普拉斯能量和局部标准差；利用两类图像的局部均值、局部能量拉普拉斯和局部标准差，计算各差异特征指数测度；构建差异特征指数测度协方差矩阵，计算协方差矩阵的特征值和特征向量，选择最大特征值对应的特征向量作为各算法权重，实现多算法融合同时保留红外偏振与光强图像的高亮度、多细节、清晰度高的边缘和轮廓特征的融合，显著提高多算法融合的融合效果。

Description

一种双模态红外图像差异特征指数测度的多算法融合方法

技术领域

本发明属于红外图像处理领域，具体为一种双模态红外图像差异特征指数测度的多算法融合方法。

背景技术

红外偏振与光强成像分别利用红外线的偏振和强度属性探测目标，两种模态图像具有很强的互补性，将其进行融合，能够更全面的描述目标信息，进一步增强系统的探测能力。然而红外偏振与光强图像间包括亮度、细节、边缘和轮廓等差异特征，单一融合算法很难实现多种差异特征融合，因此，将优势性能互补的不同融合算法相结合，有利于亮度、细节、边缘和轮廓等差异特征保留，减少信息损失，成为红外偏振与光强图像融合研究热点。

目前，红外偏振与光强图像多算法融合主要通过变换域间融合算法组合、多个融合算法结果以权重的形式相结合、通过设定目标函数将不同融合图像优化得到最终结果等类型实现亮度、细节、边缘与轮廓等差异特征融合。但是，当前多算法融合存在以下问题：(1)没有同时依据图像间亮度、细节、边缘和轮廓等多种差异特征选择算法，算法间互补性不强，如：非下采样剪切波与稀疏表示相结合主要考虑不同变换域间对细节特征融合上的互补性，不利于亮度、轮廓等特征融合；(2)缺乏可靠的融合算法权重确定依据，难以保证图像间各差异特征较完整地保留到融合图像中，如：以图像间某一差异特征(对比度、边缘或纹理等)为目标函数对多个融合结果优化或为权重依据得到最终结果，会造成图像间其它差异特征在融合中被严重削弱。因此，如何将红外偏振与光强图像的高亮度、多细节、清晰度高的边缘和轮廓特征同时保留到融合图像中是多算法融合方法急需解决的问题。

发明内容

本发明为解决现有红外偏振与光强图像多算法融合不能同时保留源图像的高亮度、多细节、清晰度高的边缘和轮廓等特征上的问题，造成融合效果差的问题，提出一种双模态红外图像差异特征指数测度的多算法融合方法，根据差异特征类型选择算法，提高各融合算法间的互补性；建立了指数型差异特征测度，准确度量了差异特征幅值；以差异特征指数测度为基础，通过对差异特征测度去相关处理确定算法权重，明确各算法融合结果在最终融合图像中的比重，防止过多损失图像特征、过饱和，最终实现多算法融合同时保留红外偏振与光强图像的高亮度、多细节、清晰度高的边缘和轮廓等特征的融合，显著提高多算法融合的融合效果。

本发明是采用如下的技术方案实现的：一种双模态红外图像差异特征指数测度的多算法融合方法，包括以下步骤：

S1：选择红外偏振与光强图像间差异特征，选择的差异特征包括亮度、细节、边缘和轮廓；

S2：利用局部能量取大算法(MEV)融合两类图像间亮度差异特征；利用非下采样剪切波融合算法(NSST)实现对两类图像间细节差异特征融合；采用多尺度引导滤波算法(MGST)融合两类图像间边缘和轮廓差异特征；

S3：采用滑动窗分别计算红外偏振与光强图像的局部均值、局部拉普拉斯能量和局部标准差；

S4：分别计算各差异特征指数测度：

式中ΔT_BS、ΔT_ES和ΔT_DS分别为亮度差异特征指数测度、细节差异特征指数测度、轮廓和边缘差异特征指数测度，为红外光强图像局部均值，为红外偏振图像局部均值,为红外偏振图像局部拉普拉斯能量值，红外光强图像局部拉普拉斯能量值，δ_PI为红外偏振与光强图像联合标准差值，为红外偏振图像局部标准差，为红外光强图像局部标准差；

S5：构建亮度差异特征、细节差异特征及边缘和轮廓差异特征指数测度协方差矩阵，计算协方差矩阵的特征值和特征矢量，将最大特征值对应的特征矢量作为融合权重；

S6：利用S5中确定的融合权重对S2中三种融合结果加权求和，得到最终融合图像。

本发明与现有技术相比具有以下优点：

(1)本发明提出一种差异特征幅值度量方法——差异特征指数测度。根据各差异特征指数测度大小决定各算法参与融合的权重，客观、准确的反映了各算法融合结果在最终融合图像中所占比例，实现了融合图像保留源图像的高亮度、多细节、清晰度高的边缘和轮廓等特征。

(2)根据红外偏振与光强图像间差异特征类型，选择参与融合的算法，使各融合算法的互补性和目的性更强，实现了多算法融合方法同时融合红外偏振与光强图像的高亮度、多细节、清晰度高的边缘和轮廓等特征。

附图说明

图1为本发明的流程图。

图2为简单场景下红外偏振度图像和红外光强图像，P1为红外偏振度图像，I1为红外光强图像。

图3为复杂场景下红外偏振度图像和红外光强图像，P2为红外偏振度图像，I2为红外光强图像。

图4为NSST、NSST-SWT-PCA、MEV-MGST-NSST加权平均和本发明的融合方法对图2的融合图像，(a)为NSST融合图像，(b)为MEV-MGST-NSST加权平均融合图像，(c)为NSST-SWT-PCA融合图像,(d)为本发明融合图像。

图5为NSST、NSST-SWT-PCA、MEV-MGST-NSST加权平均和本发明的融合方法对图3的融合图像，(a)为NSST融合图像，(b)为MEV-MGST-NSST加权平均融合图像，(c)为NSST-SWT-PCA融合图像,(d)为本发明融合图像。

图6为图4得到的融合图像分别与红外偏振图像和红外光强图像的差值图，(c)为红外偏振图像，(c1)为NSST融合图像与图(d)差值图，(c2)为MEV-MGST-NSST融合图像与图(d)差值图，(c3)为NSST-SWT-PCA加权平均融合图像与图(d)差值图，(c4)为本发明融合图像与图(d)差值图，(d)为红外光强图像，(d1)为NSST融合图像与图(c)差值图，(d2)为MEV-MGST-NSST加权平均融合图像与图(c)差值图，(d3)NSST-SWT-PCA为融合图像与图(c)差值图，(d4)为本发明融合图像与图(c)差值图。

图7为图5得到的融合图像分别与红外偏振图像和红外光强图像的差值图，(c)为红外偏振图像，(c1)为NSST融合图像与图(d)差值图，(c2)为MEV-MGST-NSST加权平均融合图像与图(d)差值图，(c3)为NSST-SWT-PCA融合图像与图(d)差值图，(c4)为本发明融合图像与图(d)差值图，(d)为红外光强图像，(d1)为NSST融合图像与图(c)差值图，(d2)为MEV-MGST-NSST加权平均融合图像与图(c)差值图，(d3)为NSST-SWT-PCA融合图像与图(c)差值图，(d4)为本发明融合图像与图(c)差值图。

具体实施方式

参照图1的流程图，以图2和图3所示红外偏振与光强图像为研究对象，进行实验。

一种双模态红外图像差异特征指数测度的多算法融合方法，包括以下步骤：

S1：通过对红外偏振与光强图像间亮度、结构和纹理等特征进行对比分析，本例中选择的红外偏振与光强图像间差异特征主要类型为：亮度、细节、边缘和轮廓差异特征；

S2：依据图像局部能量能够较好提取图像的亮度特征，选择局部能量取大融合算法融合S1中亮度差异特征；根据非下采样剪切波变换能够很好提取图像细节特征的特性，选取非下采样剪切波算法融合S1中细节差异特征；根据以边缘保持滤波和金字塔分解为核心的多尺度引导滤波变换具有保持图像边缘和轮廓的特性，选择多尺度引导滤波算法融合S1中的边缘和轮廓差异特征；本例中多尺度引导滤波算法的融合规则为：低频子带图像加权平均，高频子带图像绝对值取大，三种融合算法融合图像分别为F₁、F₂和F₃。

S3：分别计算红外偏振与光强图像的局部均值、局部拉普拉斯能量、局部标准差，具体步骤如下：

S31：采用3×3的滑动窗口计算图像局部均值，L_BS为图像局部均值。

S32：计算图像的局部拉普拉斯能量，公式如下：

式中ω为拉普拉斯能量模板，L_EOL为图像的拉普拉斯能量。

S33：采用3×3的滑动窗口计算图像局部标准差，L_DS为图像局部标准差；同时计算红外偏振与光强图像间局部联合标准差，δ_XY为图像局部联合标准差，公式如下：

式中X和Y表示图像，μ_X和μ_Y为图像局部均值，m和n为滑动窗口尺寸。

S4：计算红外偏振与光强图像间亮度差异特征指数测度、细节差异特征指数测度、边缘和轮廓差异特征指数测度，如式

S5：计算三种融合算法权重，其步骤如下：

S51：构建差异特征指数测度协方差矩阵，如下式：式中Y＝[ΔT_BSΔT_ESΔT_DS]，为Y的转置，C为差异特征指数测度矢量的协方差矩阵。

S52：计算协方差矩阵特征值和特征向量。

S53：取协方差矩阵最大特征值对应的矢量作为三种融合算法权重。

S6：计算最终融合图像：

式中和分别为最大特征值对应特征矢量的第一、第二和第三个值。

图4和图5可以看出本发明方法融合图像质量明显优于NSST、NSST-SWT-PCA和MEV-MGST-NSST加权平均方法融合图像，整体视觉效果最好，同时保留了红外偏振与光强图像高亮度区域以及多细节、具有清晰度高的边缘和轮廓特征的部分。如：图4(d)中车头的边缘和背景中的植物和建筑的亮度、细节和轮廓最为清晰，整体视觉效果最好；图5(d)中车的侧窗和前窗很好的保留了红外偏振与光强图像间的亮度、轮廓差异特征。

为了更加直观的说明本发明融合方法较其它两种方法在保留源图像的亮度、细节、边缘和轮廓特征上的优势，将融合后的图像与源图像作差，从图6和图7中可以看到本发明方法融合图像保留了红外光强图像的亮度、轮廓特征和红外偏振图像的细节和边缘特征，其它融合方法的融合图像信息损失较多，对亮度、细节、边缘和轮廓差异特征融合效果相对较差，如：图6(d1)～图6(d3)和图7(d1)～图7(d3)的亮度同源红外光强图像相比存在较大差异，说明其它三种融合算法在融合中过多损失了红外光强图像的亮度特征；图6(c1)～图6(c3)和图7(c1)～图7(c3)中的车轮边缘、侧面车窗轮廓、及背景中建筑物和树木的边缘和细节同源红外偏振图像相比存在较大差异，过多损失了红外偏振图像的细节、边缘和轮廓特征；

本发明用灰度均值(U)、空间频率(SF)、标准差(ST)和相关性差异(R_AB/F)作为融合方法评价标准，灰度均值反映了图像亮度的大小，值越大说明图像越亮；空间频率反映了图像信息的丰富程度，值越大说明图像包含的细节越多；标准差反映了图像边缘和轮廓特征，值越大说明图像边缘和轮廓越清晰；R_AB/F反映了图像间的相似程度，值越大说明融合图像同源图像越相似。从表1和表2中可以看到，本发明融合图像灰度均值最高，且图像无过饱和现象，说明本发明方法融合图像保留了源图像间亮度差异特征；本发明方法融合图像的空间频率和标准差指标最高，说明融合图像包含的细节最多，边缘和轮廓最为清晰，且相关性差异和指标均明显高于其它三种融合算法，说明本发明方法同时保留了红外偏振与光强图像间亮度、细节、边缘和轮廓等差异特征，明显减少了信息损失，这与差值图所反映的情况一致；客观评价可以得出，本发明方法在提高融合图像视觉效果、减少两类图像信息损失上具有较强的优势。

表1 P1和I1融合图像评价指标

表2 P2和I2融合图像评价指标

Claims (2)

1.一种双模态红外图像差异特征指数测度的多算法融合方法，其特征在于包括以下步骤：

S1：选择红外偏振与光强图像间差异特征，选择的差异特征包括亮度、细节、边缘和轮廓；

S2：利用局部能量取大算法融合两类图像间亮度差异特征；利用非下采样剪切波融合算法实现对两类图像间细节差异特征融合；采用多尺度引导滤波算法融合两类图像间边缘和轮廓差异特征；

S3：采用3×3滑动窗分别计算红外偏振与光强图像的局部均值、局部拉普拉斯能量和局部标准差；

S4：分别计算各差异特征指数测度：

${\mathrm{\ΔT}}_{BS}=e^{-\frac{2*P_{L_{BS}}*I_{L_{BS}}}{{\left(P_{L_{BS}}\right)}^2+{\left(I_{L_{BS}}\right)}^2}},{\mathrm{\ΔT}}_{ES}=e^{-\frac{2*P_{L_{EOL}}*I_{L_{EOL}}}{{\left(P_{L_{EOL}}\right)}^2+{\left(I_{L_{EOL}}\right)}^2}},$

${\mathrm{\ΔT}}_{DS}=e^{-\frac{2*{\mathrm{\δ}}_{PI}}{P_{L_{DS}}+I_{L_{DS}}}},$

式中ΔT_BS、ΔT_ES和ΔT_DS分别为亮度差异特征指数测度、细节差异特征指数测度、轮廓和边缘差异特征指数测度，为红外光强图像局部均值，为红外偏振图像局部均值,为红外偏振图像局部拉普拉斯能量值，红外光强图像局部拉普拉斯能量值，δ_PI为红外偏振与光强图像联合标准差值，为红外偏振图像局部标准差，为红外光强图像局部标准差；

S5：构建亮度差异特征、细节差异特征及边缘和轮廓差异特征指数测度协方差矩阵，计算协方差矩阵的特征值和特征矢量，将最大特征值对应的特征矢量作为融合权重；

S6：利用S5中确定的融合权重对S2中三种融合结果加权求和，得到最终融合图像。

2.根据权利要求1所述的一种双模态红外图像差异特征指数测度的多算法融合方法，其特征在于S2中多尺度引导滤波算法低频采用加权平均、高频采用绝对值取大的融合规则。