CN111179208B - 基于显著图与卷积神经网络的红外-可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于显著图与卷积神经网络的红外‑可见光图像融合方法，包括下列步骤：1)将预先采集好的红外图像及其可见光图像，制作数据集；2)对每组红外可见光图像都分别使用不同大小核的均值滤波器进行均值滤波处理，实现对源图像进行高低频分量的分解；3)对低频分量进行融合；4)对不同源高频分量使用深度卷积神经网络进行特征提取，将每个卷积层得到的红外与可见光特征图通过加权策略进行融合；5)将步骤3)得到的低频融合图与步骤4)得到的高频融合图相加，即为最终的融合图像。

Description

基于显著图与卷积神经网络的红外-可见光图像融合方法

技术领域

本发明属于深度学习、计算机视觉和图像融合领域，涉及一种基于显著图与卷积神经网络的红外-可见光图像融合方法。

背景技术

随着传感器技术的发展，多个传感器的应用使系统获取的信息量骤增，传统的信息处理方式效率低下；图像融合技术可以对不同传感器获得的信息进行多层次的综合处理，从而获得最有效的信息，去除冗余信息，提高处理效率。在图像融合领域中，最重要的一个分支就是对于红外图像与可见光图像的融合。可见光图像是反射图像，在一定的光照下能够反映出场景的细节和纹理。而红外图像能够捕获自然界中肉眼看不到的不同频率的电磁波，即热辐射。红外图像与可见光图像融合，能够将两种图像的信息融合在一起，即可以保留红外图像中具有红外热学特征的物体，又可以保留在红外图像中不明显的、具有丰富细节纹理的可见光信息，实现信息互补^[1]。

目前，图像融合方法主要有三大层级，即像素级、特征级、决策级。其中像素级融合因为原理简单，尽可能地保留了源图像的细节纹理信息，融合效果好而得到广泛应用。像素级融合方法中最重要的是基于多尺度塔型分解和基于小波变换的融合方法^[2]。多尺度塔型分解方法将源图像分解为多个层，使用人工设计的特定规则分别融合相应的层，并相应地通过逆变换重建目标图像。用于图像分解和重建的常用变换，包括高斯金字塔，梯度金字塔，拉普拉斯金字塔，曲线波等方法。小波变换是将图像分解成频域上各个频率段的子图，以代表原图的各个特征分量，也同样通过特定的融合规则融合不同频域图，再通过逆变换重建图像。随着深度学习的发展，现在出现使用卷积神经网络(Convolutional NeuralNetwork，CNN)进行特征提取，在特征级进行多源图像融合的方法。经过训练的卷积神经网络能够较好地学习图像的特征，利用提取到的特征对源图像进行融合，此类方法具有良好的适应性和抗噪声能力。这是图像融合的未来发展趋势。

图像融合技术在很多领域都得到了应用，例如在医学领域，对CT和核磁共振MIR图像进行融合^[3]，方便快速诊断是否患有疾病；在军事领域，可以利用图像融合技术进行侦察，监测是否有可疑目标^[4]；同时在遥感领域、安全检查、电力检测方面都有很大的应用价值。此外，研究红外与可见光图像融合技术有助于进一步发展和完善图像融合理论框架体系，其研究方法能容易地应用到如遥感图像融合、多波段红外图像融合及医学图像融合等多传感器图像融合当中，对这些多传感器图像融合的研究具有一定的借鉴意义。

[1]Ma J，Ma Y，Li C，et al.Infrared and visible image fusion methods andapplications：A survey[J].Information Fusion，2018：153-178.

[2]Li S，Kang X，Fang L，et al.Pixel-level image fusion[J].InformationFusion，2017：100-112.

[3]James A P，Dasarathy B V.Medical image fusion：A survey of the stateof the art[J].Information Fusion，2014，19(1)：4-19.

[4]Simone G，Farina A，Morabito F C，et al.Image fusion techniques forremote sensing applications[J].Information Fusion，2002，3(1)：3-15.

发明内容

本发明提出一种基于显著图与卷积神经网络的红外-可见光图像融合的算法，该算法将像素级融合与特征级融合方法相结合，改善了单一融合方法的缺陷。与现有的融合算法比较，具有更好的视觉效果，有效增强了融合图像中目标与背景的对比度。本算法同时具有较高的客观评价指标，提高了融合图像的质量。本发明的技术方案如下：

一种基于显著图与卷积神经网络的红外-可见光图像融合方法，包括下列步骤：

1)将预先采集好的红外图像及其可见光图像，制作数据集，并对每组红外图像及对应的可见光图像进行命名。

2)对每组红外可见光图像都分别使用不同大小核的均值滤波器进行均值滤波处理，实现对源图像进行高低频分量的分解。低频分量代表整个图像的综合强度，高频分量代表整个图像的强度变化比较剧烈的地方，即图像的轮廓和细节。经过不同大小核的均值滤波后，每个源图像得到两个低频分量和两个高频分量；对于可见光图像，比较获得的两个低频分量，筛选出包含细节较多的低频分量，命名为VI_L；比较获得的两个高频分量，选取包含信息较多的高频分量，命名为VI_H，同样地，最终红外图像的高低频分量分别为IR_L，IR_H。

3)对低频分量进行融合。通过不同源高频分量VI_H、IR_H比较取大的准则得到显著图maxmap，如果红外高频分量IR_H＝maxmap，则对应红外低频分量IR_L像素点权重取1，反之取0，可见光低频分量的权重也由此获得；得到红外与可见光低频分量各自的权重图后，使用导向滤波对权重图进一步进行平滑，减少人造纹理和噪声；最后通过加权平均融合策略融合得到低频融合图。

4)对不同源高频分量VI_H、IR_H使用深度卷积神经网络进行特征提取，将每个卷积层得到的红外与可见光特征图通过加权策略进行融合，由此得到多个卷积层的的高频融合图。之后对得到的各高频融合图像进行比较，对每个像素点都选取各高频融合图像中的最大值，即采用最大策略进行选择；

5)将步骤3)得到的低频融合图与步骤4)得到的高频融合图相加，即为最终的融合图像。

该方法根据图像低频分量与高频分量的不同特性，将图像融合的方式按照高低频来分别处理，在低频层，利用源图像的显著性进行权重选择，采用加权平均的融合策略进行融合；在高频层，使用深度卷积神经网络进行高频的细节轮廓特征提取。最后将得到的融合低频图像与融合高频图像进行简单相加，即可得最终融合图像。本专利发明的图像融合方法能够很好地将红外图像与可见光图像进行融合，较好地保留可见光图像的轮廓边缘，也保留了红外图像中的目标，并提高了融合图像目标与背景的高对比度。通过对比实验分析表明，与其他传统的图像融合方法相比，本算法都具有较好的视觉效果，在信息熵、标准差、空间频率等客观评价指标上都有较大的优势。由此证明本算法有效保留了源图像的信息，改善了融合图像的清晰度和对比度，使目标与背景能够很好地区分。

附图说明

图1融合模型架构图

图2红外和可见光图像及其融合结果图

图3本算法与八种经典算法对比图

具体实施方案

为使本发明的技术方案更加清楚，下面结合附图对本发明具体实施方案做进一步的描述。具体实施方案流程图如图1所示。

1)将预先采集好的红外图像及其可见光图像，作为数据集，并对每组图像进行命名，命名格式为*-1.png和*-2.png，分别对应为红外图像及可见光图像。

2)对每对源图像都分别进行均值滤波，得到每对源图像的低频分量和高频分量。低频分量代表整个图像的综合强度。高频分量代表整个图像的强度变化比较剧烈的地方，即图像的轮廓和细节。滤波器的尺寸越大，低频分量图轮廓越模糊，高频分量则包含更多的细节信息；因此选用两个不同尺寸的滤波器，分别对源图像滤波后，得到含较少信息的低频分量和含较多信息的低频分量。选取包含更多轮廓信息的红外、可见光低频分量IR_L、VI_L，并用源图像减去含信息较少的低频分量可得含更多细节信息的红外、可见光高频分量IR_H、VI_H。

3)进行低频分量融合。因高频细节图中包含了大量源图像的重要信息，在低频图中，对应位置的信息量也应该加强保留，所以需对其分配较大的权重。利用高频细节图来进行具体权重分配，权重分配步骤如下：

a)显著图maxmap获取：取VI_H、IR_H中对应像素点较大的值，即

maxmap＝max(IR_H、VI_H) (1)

b)使用两个高频分量图分别与显著图比较。对于红外低频分量来说，如果红外高频分量图像素点IR_H＝maxmap，则对应像素点权重取1，反之取0。可见光低频分量的权重也由此获得。由此可得到低频分量的两个权重图W_IR_L、W_VI_L。使用导向滤波对权重图进行平滑，目的是减少融合图像中引入的人造纹理及噪声，增强最后的融合效果；最后通过加权平均融合策略得到低频的融合图。对应公式如下：

I_L_FUSION＝IR_L*W_IR_L+VI_H*W_VI_L (2)

4)进行高频分量融合。对高频分量IR_H、VI_H通过深度卷积神经网络进行特征提取；本发明选用的是预训练好的VGG19网络进行特征提取。高频分量经卷积层提取特征，在卷积层后可以得到高频分量IR_H、VI_H的特征图IR_feature、VI_feature，则红外高频分量IR_H的权重图表示为

W_IR_H＝IR_feature/(IR_feature+VI_feature) (3)

可见光高频分量I_H2的权重图表示为

W_VI_H＝VI_feature/(IR_feature+VI_feature) (4)

通过加权平均融合策略得到高频分量融合图，即

I_H_FUSION(i)＝IR_H*W_IR_H+VI_H*W_VI_H (5)

其中i＝1，2，3，4，I_H_FUSION(i)表示经过第i个卷积层得到的高频分量融合图像。在这里选取VGG19网络中的conv1，conv2，conv3，conv4四个卷积层提取特征，可以得到四个不同的高频分量融合图。对于高频细节图来说，像素值越大的区域，意味着包含的信息量就越大。因此对得到的四个不同的高频分量融合图像，采用取大策略进行选择，得到最终的高频融合图；表示为：

I_H_FUSION＝max(I_H_FUSION(1)，I_H_FUSION(2)，...) (6)

5)将步骤3得到的低频分量融合图与步骤4得到的高频分量融合图进行相加，即为最终的融合图像。融合图像见图2。

I_FUSION＝I_L_FUSION+I_H_FUSION (7)

6)对融合图像质量进行评价分析。分别从主观视觉和客观指标方面对融合图像质量进行评价。并与现有的融合算法进行对比。客观指标包括以下几个：a)融合图像的信息熵，表示包含信息量的多少；b)融合图像的标准差，表示融合图像对比度的大小；c)融合图像与源图像间的相似度；d)融合图像与源图像的相关度；e)融合图像的空间频率，表示图像的清晰度；f)视觉信息保真度。

从主观视觉来看：cvt、dctwt算法、msvd算法、gtf算法、wavelet算法的清晰度都较差，没有重点突出我们比较关注的目标信息即行人；rp算法的融合图像清晰度较高，背景的纹理边缘很突出，但是需要的目标轮廓不清晰，有伪影的存在；gff算法产生的融合图像，目标与背景对比度较高，但却有很多噪声存在，导致整个图像质量下降；lp算法和本发明提出的方法都有很好的对比度，但相对lp算法而言，本发明提出的算法更突出红外图像存在的热辐射目标，图像较清晰，效果较好。

表1各算法客观评价指标对比(1)

表1各算法客观评价指标对比(2)

指标\融合算法	msvd	rp	wavelet	ours
					信息熵	5.9474	6.1093	5.8978	6.8231
标准差	21.4956	28.2624	20.6838	41.224
					相似度	0.8314	0.5571	0.8212	0.8409
相关度	0.674	0.5913	0.6811	0.5645
					空间频率	10.9002	17.6626	6.7301	12.9702
视觉信息保真度	0.3686	0.3077	0.3546	0.8302

从客观指标来看(指标对比见表1，其中红色代表最优指标，蓝色代表次优指标，绿色代表第三优指标)，使用我们的算法对比八种经典算法可知，六个指标中，本算法有五个指标都位于所有算法前三，其中标准差、相似度、视觉信息保真度位于所有算法第一位。说明本算法融合图像有较高的对比度和清晰度，与源图像的结构基本一致，从主观视觉角度来看，图像质量较好，由此说明算法的综合指标较好；虽然相关度指标不在所有算法的前列，但指标也不是最差的；综合来看，本算法可以改善融合图像的对比度，突出红外目标，同时较好地保留了可见光信息，是一种有益算法。

Claims (1)

1.一种基于显著图与卷积神经网络的红外-可见光图像融合方法，包括下列步骤：

1)将预先采集好的红外图像及其可见光图像，制作数据集；

2)对每组红外可见光图像都分别使用不同大小核的均值滤波器进行均值滤波处理，实现对源图像进行高低频分量的分解：低频分量代表整个图像的综合强度，高频分量代表整个图像的强度变化比较剧烈的地方，即图像的轮廓和细节；经过不同大小核的均值滤波后，每个源图像得到两个低频分量和两个高频分量；对于可见光图像，比较获得的两个低频分量，筛选出包含细节较多的低频分量，命名为VI_L；比较获得的两个高频分量，选取包含信息较多的高频分量，命名为VI_H，同样地，最终红外图像的高低频分量分别为IR_L，IR_H；

3)对低频分量进行融合：通过不同源高频分量VI_H、IR_H比较取大的准则得到显著图maxmap，如果红外高频分量IR_H＝maxmap,则对应红外低频分量IR_L像素点权重取1，反之取0，可见光低频分量的权重也由此获得；得到红外与可见光低频分量各自的权重图后，使用导向滤波对权重图进一步进行平滑，减少人造纹理和噪声；最后通过加权平均融合策略融合得到低频融合图；

4)对不同源高频分量VI_H、IR_H使用深度卷积神经网络进行特征提取，将每个卷积层得到的红外与可见光特征图通过加权策略进行融合，由此得到多个卷积层的的高频融合图；之后对得到的各高频融合图像进行比较，对每个像素点都选取各高频融合图像中的最大值，即采用最大策略进行选择；

5)将步骤3)得到的低频融合图与步骤4)得到的高频融合图相加，即为最终的融合图像。