CN107633495B

CN107633495B - 一种基于互补关系的红外偏振与光强图像多算法2d-vmd内嵌式融合方法

Info

Publication number: CN107633495B
Application number: CN201710653448.7A
Authority: CN
Inventors: 杨风暴; 吉琳娜; 孙豫峰; 张雷; 王建萍; 王肖霞; 刘哲
Original assignee: North University of China
Current assignee: North University of China
Priority date: 2017-08-02
Filing date: 2017-08-02
Publication date: 2020-07-17
Anticipated expiration: 2037-08-02
Also published as: CN107633495A

Abstract

本发明属于红外图像融合领域，具体为一种基于互补关系的红外偏振与光强图像多算法2D‑VMD内嵌式融合方法。首先，采用灰度均值和局部标准差提取融合图像与红外偏振图像差值图和红外光强图像亮度和轮廓特征，采用Canny算子和能量拉普拉斯算子提取融合图像与红外光强图像差值图和红外偏振图像边缘和细节特征；其次，构建基于特征相似性的算法融合性能评价指标；接着，根据不同算法融合性能评价指标值，确定算法间互补关系；然后，根据红外偏振与光强图像特征，确定MSGT和NSST间内嵌顺序，获得高频特征融合图像；最后采用2D‑VMD实现低频特征融合图像和高频特征融合图像最终结合，获得最终融合图像。本发明用于但不限于红外图像融合领域。

Description

一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法

技术领域

本发明属于红外图像融合领域，具体为一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法。

背景技术

红外偏振与光强图像融合能够丰富目标的形状、大小、亮度、细节和位置等信息，显著提高红外成像探测系统的探测率和目标识别准确率。根据红外偏振与光强图像间差异特征，研究人员提出了不同的融合算法，不同融合算法的融合性能不同，各具优势和缺点，然而，红外偏振与光强图像间差异特征类型多、变化复杂，使得单一融合算法难以满足两类图像间差异特征融合需求。多算法组合方法可以综合不同算法的融合优势，满足两类图像间复杂多变的差异特征的融合需求，成为红外偏振与光强图像融合研究的热点。

图像多算法融合的组合形式主要有串联型、并联型和内嵌型等。图像多算法内嵌式融合不需要考虑不同算法间的组合权重，能减少融合过程中源图像信息的丢失，是多算法融合常采用的形式。但是，当前图像多算法内嵌式融合存在以下问题：(1)缺乏算法客观选取依据，选择的算法融合性能相近，如：曲波变换与离散小波变换(DWT)、双树复小波变换(DWCT)与DWT及非采样离散小波变换与DWT间组合，主要针对图像间细节差异特征，不利于红外偏振与光强图像间亮度、边缘等差异特征融合；(2)算法的内嵌方式缺乏考虑图像特征，算法相互嵌套采用相同的特征提取方法对两类图像进行处理，不利于图像特征的描述，使融合图像出现信息混乱、背景模糊和对比度下降的现象，造成融合图像畸变或损失源图像信息，如：多尺度变换与稀疏表示相结合首先对源图像采用相同多尺度变换，然后对低频系数都进行稀疏表示，忽略了图像空间一致性，造成融合图像中具有空间一致性的区域出现畸变；(3)现有的多算法内嵌式融合方法不适合两类图像间亮度、轮廓、边缘和细节等多种类型的差异特征融合，如：MSD同主成分分析(PCA)相结合，易造成滑图像的细节平滑；MSD与脉冲神经网络(PCNN)相结合，易导致融合图像对比度下降和模糊；支持度变换(SVT)与顶帽变换(Top-Hat)相结有利于图像间明暗对比度特征融合，不利于边缘特征融合。

发明内容

本发明为解决现有红外偏振与光强图像多算法内嵌式融合难以较完整的融合图像间亮度、轮廓、边缘和细节等差异特征及易造成融合图像畸变的问题，提出一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法。本方法通过构建特征相似性系数的算法融合性能评价指标，为算法的选取提供客观依据；针对不同图像特征采用不同的多尺度变换融合图像特征，确定内嵌顺序，防止图像间信息相互干扰和融合图像出现畸变；采用二维全变分模态分解(2D-VMD)将低频特征融合图像和高频特征融合图像结合，在完整保留图像间低频差异特征基础上，同时具有丰富的高频特征。最终实现能够客观选择互补性强的算法、避免引入错误信息和具有高亮度、清晰的轮廓和边缘、多细节的多算法内嵌式融合。

本发明是采用如下的技术方案实现的：一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，包括以下步骤：

S1：选取能量加权、PCA、MSGT、NSST、NSCT和DWCT融合算法，融合红外偏振与光强图像，通过各个融合方法分别得到一个融合图像；分别计算各个融合图像与红外偏振图像和红外光强图像差值图，如式(1)～(2)；DI＝F-P(1)DP＝F-I(2),式中F为融合图像，I为红外光强图像，P为红外偏振图像，DI为F与P的差值图，DP为F与I的差值图,采用灰度均值和局部标准差分别描述DI和I的亮度特征和轮廓特征；利用Canny算子和局部能量拉普拉斯算子分别描述DP和P的边缘特征和细节特征；

S2：计算S1中各融合算法亮度特征相似性指标、轮廓特征相似性指标、边缘特征相似性指标和细节特征相似性指标，根据算法融合性能评价指标值，确定算法间互补关系，选择基于能量的算法融合图像间亮度差异特征，获得低频特征融合图像；选择MSGT融合图像间边缘、轮廓差异特征；选择NSST融合图像细节差异特征；

S3：根据红外偏振与光强图像的特征，确定MSGT和NSST内嵌顺序，获得高频特征融合图像；

S4：利用2D-VMD将低频特征融合图像和高频特征融合图像相结合，获得最终融合图像。

上述的一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，S2所述的分别计算不同算法融合性能评价指标值，根据评价指标值确定算法间互补关系选择融合算法，按以下步骤进行：

S21：分别计算S1中各算法融合性能评价指标值，

R_n为基于特征相似性的融合算法性能评价指标，R₁为DI与I间亮度特征相似度指标，R₂为DI与I间轮廓特征相似度指标，R₃为DP与P边缘特征相似度指标，R₄为DP与P细节特征相似度指标，D为DP或DI根据S1获得的轮廓、边缘和细节特征图像，S为P或I根据S1获得的特征图像，μ_DI为DI特征图像的均值，μ_I为P或I特征图像的均值；

S22：根据不同算法融合性能评价指标值，确定算法间互补关系；

S23：选择融合算法，基于能量加权的融合算法R₁值最大，采用基于能量加权的融合算法融合图像间亮度差异特征，获得低频特征融合图像；

S24：根据不同算法融合性能评价指标值，MSGT的R₃值最大，R2值相对也较大，选择MSGT融合图像的边缘和轮廓特征，NSST融合算法的R₄值最大，选择NSST融合图像细节特征；

上述的一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，S3多尺度融合算法内嵌顺序的确定，步骤如下：

S31：利用NSST分解红外偏振图像，获得红外偏振图像低频子带图像和高频子带图像；

S32：采用MSGT分解红外光强图像和S31中红外偏振低频子带图像，融合规则为低频系数为加权平均，高频系数为绝对值取大，通过MSGT反变换获得边缘和轮廓特征融合图像F₂；

S33：使用F₂取代S31中红外偏振低频子带图像，利用NSST反变换获得高频特征融合图像F₃；

上述的基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，S4所述的计算最终融合图像，按以下步骤进行：

S41：分解F₃，获得基图和不同频谱的独立模态子图像；

S42：用低频特征融合图像取代基图；

S43：2D-VMD反变换获得最终融合图像。

本发明与现有技术相比具有以下优点：

(1)本发明提出一种多算法内嵌式融合的算法客观选择依据——基于特征相似性的融合算法性能评价指标，客观、准确的反映各算法间互补关系，以此为依据选取的融合算法具有很强的互补性。

(2)算法间内嵌顺序更加符合图像不同特征的融合要求，将图像的不同特征与适用于该特征提取和融合的算法相结合，使算法提取和融合图像特征的目的性更强，避免了图像间信息相互干扰和融合图像的畸变。

(3)利用2D-VMD实现低频特征融合图像和高频特征融合图像的结合，使红外偏振与光强融合图像同时具有高亮度、清晰度高的边缘和轮廓等特征和多细节特征，显著提升了两类图像间复杂多变的差异特征的融合效果和红外偏振与光强图像多算法内嵌式融合算法的融合性能。

附图说明：

图1为本发明的流程图。

图2为课题组采集的简单场景下红外偏振度图像和红外光强图像，P1为红外偏振度图像，I1为红外光强图像。

图3为课题组采集的复杂场景下红外偏振度图像和红外光强图像，P2为红外偏振度图像，I2为红外光强图像。

图4为基于能量加权、PCA、MSGT、NSST、NSCT和DWCT融合算法性能指标直方图。

图5为本发明的融合方法、NSST、SVT-TopHat、NSST-PCA、NSST-PCNNT、NSCT-SR和DWCT-SR对图2进行融合的图像，(a)为本发明融合图像，(b)为NSST融合图像，(c)为SVT-TopHat融合图像，(d)为NSST-PCA融合图像,(e)为NSST-PCNN融合图像，(f)为NSCT-SR融合图像，(g)为DWCT-SR融合图像。

图6为本发明的融合方法、NSST、SVT-TopHat、NSST-PCA、NSST-PCNNT、NSCT-SR和DWCT-SR对图3的融合图像，(a)为本发明融合图像，(b)为NSST融合图像，(c)为SVT-TopHat融合图像，(d)为NSST-PCA融合图像，(e)NSST-PCNN融合图像，(f)NSCT-SR融合图像，(g)DWCT-SR融合图像。

图7为融合图像(图5)分别与红外偏振图像和红外光强图像的差值图，(c)为红外偏振图像，(c1)为本发明与图(d)差值图，(c2)为NSST融合图像与图(d)差值图，(c3)为SVT-TopHat融合图像与图(d)差值图，(c4)为NSST-PCA融合图像与图(d)差值图，(c5)为NSST-PCNN融合图像与图(d)差值图，(c6)为NSCT-SR融合图像与图(d)差值图，(c7)为DWCT-SR融合图像与图(d)差值图；(d)为红外光强图像，(d1)为本发明与图(c)差值图，(d2)为NSST融合图像与图(c)差值图，(d3)为SVT-TopHat融合图像与图(c)差值图，(d4)为NSST-PCA融合图像与图(c)差值图，(d5)为NSST-PCNN融合图像与图(c)差值图，(d6)为NSCT-SR融合图像与图(c)差值图，(d7)为DWCT-SR融合图像与图(c)差值图。

图8为融合图像(图6)与红外偏振图像和红外光强图像的差值图，(c)为红外偏振图像，(c1)为本发明与图(d)差值图，(c2)为NSST融合图像与图(d)差值图，(c3)为SVT-TopHat融合图像与图(d)差值图，(c4)为NSST-PCA融合图像与图(d)差值图，(c5)为NSST-PCNN融合图像与图(d)差值图，(c6)为NSCT-SR融合图像与图(d)差值图，(c7)为DWCT-SR融合图像与图(d)差值图，(d)为红外光强图像，(d1)为本发明与图(c)差值图，(d2)为NSST融合图像与图(c)差值图，(d3)为SVT-TopHat融合图像与图(c)差值图，(d4)为NSST-PCA融合图像与图(c)差值图，(d5)为NSST-PCNN融合图像与图(c)差值图，(d6)为NSCT-SR融合图像与图(c)差值图，(d7)为DWCT-SR融合图像与图(c)差值图。

具体实施方式

参照图1的流程图，以图2和图3所示红外偏振与光强图像为研究对象，进行实验。

一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，包括以下步骤：

S1：选取能量加权、PCA、MSGT、NSST、NSCT和DWCT常用的融合算法，融合红外偏振与光强图像；分别计算融合图像与红外偏振图像和红外光强图像差值图；采用灰度均值和局部标准差分别描述DI和I的亮度特征和轮廓特征；利用Canny算子和局部能量拉普拉斯算子分别描述DP和P的边缘特征和细节特征，过程如下：

S11：利用能量加权、PCA、MSGT、NSST、NSCT和DWCT算法分别融合红外偏振与光强图像，其中多尺度融合算法MSGT的融合规则为低频系数加权平均，高频系数绝对值取大，获得融合图像；

S12：计算各算法融合图像与红外偏振图像差值图DI及融合图像与红外光强图像差值图DP如式(1)～(2)，DI＝F-P(1)DI＝F-I(2),式中F为融合图像，I为红外光强图像，P为红外偏振图像，DI为F与P的差值图，DP为F与I的差值图；

S13：计算DI和I的灰度均值，用以描述DI和I的亮度特征；

S14：采用3×3的滑动窗口计算DI和I的局部标准差，用以描述DI和I的轮廓特征；

S15：利用canny算子提取DP与P的边缘特征，用以描述DP与P的边缘特征；

S16：计算DP与P的能量拉普拉斯值，如式：

f_xx和f_yy分别为图像水平和垂直方向的能量拉普拉斯值，用以描述DP与P的细节特征，i，j分分别为图像像素值的行和列坐标；

S2：分别计算各算法特征相似性融合算法性能评价指标值，确定算法间互补关系，选择融合算法，过程如下：

S21：分别计算S1中各算法融合性能评价指标值，如式(4)：

R_n为基于特征相似性的融合算法性能评价指标，R₁为DI与I间亮度特征相似度指标，R₂为DI与I间轮廓特征相似度指标，R₃为DP与P边缘特征相似度指标，R₄为DP与P细节特征相似度指标，D为DP或DI的轮廓、边缘和细节特征图像，S为P或I的轮廓、边缘和细节特征图像，μ_DI为DI轮廓、边缘和细节特征图像的均值，μ_I为P或I轮廓、边缘和细节特征图像的均值；μ_D为D的均值，μ_S为S的均值，i，j分别为图像像素值的行和列坐标；

S22：根据不同算法融合性能评价指标值，确定算法间互补关系，算法评价指标值越大互补性越强；

S23：根据S22中算法性能评价指标值，基于能量加权的融合算法R₁值最大，采用基于能量加权的融合算法融合图像间亮度差异特征，获得低频特征融合图像，如下式；

F₁＝I+e^-SE*P(6)

式中SE为图像间局部能量相似度。式中E_k为图像的局部能量，k＝I或P，F₁为低频特征融合图像。

S24：根据S22中算法融合性能评价指标值，MSGT的R₃值最大，R₂值相对也较大，选择MSGT融合图像的边缘和轮廓特征，NSST融合算法的R₄值最大，选择NSST融合图像细节特征；

S3：根据红外偏振与光强图像的特征，确定MSCT和NSST间内嵌顺序，获得高频特征融合图像，过程如下：

S31：利用NSST分解红外偏振图像，分解层数为4，获得红外偏振图像低频子带图像和高频子带图像；

S32：采用MSGT分解红外光强图像和S31中红外偏振低频子带图像，分解层数为4，融合规则为低频系数为加权平均，高频系数为绝对值取大，通过MSGT反变换获得边缘和轮廓特征融合图像F₂；

S33：使用F₂取代S31中红外偏振低频子带图像，利用NSST反变换获得高频融合图像F₃；

S4：利用2D-VMD获得最终融合图像，过程如下：

S41：分解F₃，获得基图和不同频谱的独立模态子图像，公式如下：

[B,Mod₁,Mod₂,L Mod_N]＝VMD(F₃) (7)

式中B为基图，Mod_n为不同模态子图像。

S42：用F₁取代基图，公式如下：

B＝F₁ (8)

S43：2D-VMD反变换获得最终融合图像，公式如下：

F＝F₁+Mod₁+Mod₂,L,+Mod_M (9)

图4为不同融合算法性能指标直方图，从图中可以直观看到，基于能量加权算法和PCA融合算法的R₁值最高，说明这两种融合算法有利于图像间亮度差异特征融合；MSGT的R3和R2的值最大，表明基于边缘保持滤波的多尺度融合算法能够较好地保留图像的边缘和轮廓特征；NSST、NSCT和DWCT的R4值最大，表明这三种融合算法有利于图像间细节差异特征的融合。通过评价指标值分析表明，基于能量加权和PCA融合算法同MSGT及NSST、NSCT和DWCT间具有较强的互补性，基于能量加权和PCA融合算法能够很好地融合图像间的亮度差异特征，MSGT能够较好地保留图像间边缘和轮廓差异特征，NSST、NSCT和DWCT有利于图像间细节差异特征融合。通过分析表明，基于特征相似度的算法融合性能评价指标能够确定算法间互补关系，为算法选取提供客观依据。

图5和图6可以看出本发明方法融合图像质量明显优于NSST、SVT-TopHat、NSST-PCA、NSST-PCNN、NSCT-SR和DWCT-SR融合图像，具有高亮度、最清晰的边缘和轮廓和最丰富的细节特征，融合图像对源图像间的亮度差异特征融合效果最好，其它算法融合图像迁移图像间亮度差异特征能力较差，图像整体偏暗，特别是NSCT-SR和DWCT-SR融合算法的融合图像存在较为严重的亮度特征畸变的状况，存在明显的错误亮暗对比度区域，主要是红外偏振与光强图像间差异大，采用多尺度分解后采用稀疏表示提取低频子带图像细节特征，忽略了两类图像的区域一致性特征；本发明方法对红外偏振图像中偏振较强的区域的能力融合效果最好，如：图5(a)和图6(a)中车窗，其它融合算法融合效果较差，如：图5(c)和图6(e)中车窗；本发明方法融合图像的轮廓、边缘和细节特征最好。如：图5(a)和图6(a)中建筑物和车的边缘和轮廓，背景中植物的细节。

为了更加直观的说明本发明融合方法较其它两种方法在保留源图像的亮度、细节、边缘和轮廓特征上的优势，将融合后的图像与源图像作差，图7和图8为不同融合算法与原图像的差值图，从图7和图8中可以看到，本文融合方法的差值图与原图像最为接近，较好的迁移了红外偏振与光强图像间的亮度、轮廓、边缘和细节差异特征，其它算法由于差异图与原图像差异较大，不能很好的迁移图像间的差异特征，特别是多尺度分解与稀疏相结合的方法，容易造成一致性特征区域畸变，如：图7(d2)～图7(d7)和图8(d2)～图8(d7)的亮度同源红外光强图像相比存在较大差异，说明其它三种融合算法在融合中过多损失了红外光强图像的亮度特征；图7(c2)～图7(c7)和图8(c2)～图8(c7)中的车轮边缘、侧面车窗轮廓、及背景中建筑物和树木的边缘和细节同源红外偏振图像相比存在较大差异，过多损失了红外偏振图像的细节、边缘和轮廓特征；图7(d6)和图8(d6)存在明显的对比度畸变区。

本发明用空间频率(SF)、标准差(STD)、边缘强度(QF)、灰度均值(U)和相关性差异和(R_AB/F)作为融合方法客观评价标准。SF反映了图像信息的丰富程度，值越大说明图像包含的细节越多；STD反映了图像对比度和轮廓特征，值越大说明图像对比度越大，轮廓越多；QF反映了图像边缘特征，值越大说明图像边缘越清晰；U反映了图像亮度的大小，值越大说明图像越亮；R_AB/F反映了图像间的相似程度，值越大说明融合图像同源图像越相似。

从表1和表2中可以看到，本发明方法融合图像的空间频率最高，说明融合图像包含的细节最多；除表2中NSCT-SR和DWCT-SR融合图像STD较本发明方法融合图像STD高，主要是NSCT-SR和DWCT-SR融合图像存在对比度畸变情况，同时使融合图像具有伪轮廓，本发明方法融合图像标准差整体较高，且没有出现畸变，说明本发明方法能够更好地融合图像间对比度和轮廓特征；本发明方法融合图像的边缘强度值最大，说明融合图像具有最清晰的边缘；本发明融合图像灰度均值最高，且图像无过饱和现象，说明本发明方法融合图像保留了源图像间亮度差异特征；相关性差异和指标均明显高于其它三种融合算法，说明本发明方法同时保留了红外偏振与光强图像间亮度、细节、边缘和轮廓等差异特征，明显减少了信息损失，这与差值图所反映的情况一致；客观评价可以得出，本发明方法在提高融合图像视觉效果、减少两类图像信息损失上具有较强的优势。

表1 P₁和I₁融合图像评价指标

表2 P₂和I₂融合图像评价指标

Claims

1.一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，其特征在于包括以下步骤：

S1：选取能量加权、PCA、MSGT、NSST、NSCT和DWCT融合算法，融合红外偏振与光强图像，通过各个融合方法分别得到一个融合图像；分别计算各个融合图像与红外偏振图像和红外光强图像差值图；DI＝F-P，DP＝F-I，式中F为融合图像，I为红外光强图像，P为红外偏振图像，DI为F与P的差值图，DP为F与I的差值图,采用灰度均值和局部标准差分别描述DI和I的亮度特征和轮廓特征；利用Canny算子和局部能量拉普拉斯算子分别描述DP和P的边缘特征和细节特征；

S2：计算S1中各融合算法亮度特征相似性指标、轮廓特征相似性指标、边缘特征相似性指标和细节特征相似性指标，根据算法融合性能评价指标值，确定算法间互补关系，选择基于能量加权的算法融合图像间亮度差异特征，获得低频特征融合图像；选择MSGT融合图像间边缘、轮廓差异特征；选择NSST融合图像细节差异特征；

分别计算不同算法融合性能评价指标值，根据评价指标值确定算法间互补关系选择融合算法，按以下步骤进行：

S21：分别计算S1中各算法融合性能评价指标值，

R_n为基于特征相似性的融合算法性能评价指标，R₁为DI与I间亮度特征相似度指标，R₂为DI与I间轮廓特征相似度指标，R₃为DP与P边缘特征相似度指标，R₄为DP与P细节特征相似度指标，D为DP或DI的特征图像，S为P或I的特征图像，μ_DI为DI特征图像的均值，μ_I为P或I特征图像的均值；μ_D为D的均值，μ_S为S的均值，i，j分别为图像像素值的行和列坐标；

S3：根据红外偏振与光强图像的特征，确定MSGT和NSST内嵌顺序，获得高频特征融合图像；多尺度融合算法内嵌顺序的确定，步骤如下：

2.根据权利要求1所述的基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，其特征在于S4所述的计算最终融合图像，按以下步骤进行：

S41：分解F₃，获得基图和不同频谱的独立模态子图像；

S42：用低频特征融合图像取代基图；

S43：2D-VMD反变换获得最终融合图像。