CN110084773A - 一种基于深度卷积自编码网络的图像融合方法 - Google Patents

Abstract

本发明涉及一种基于深度卷积自编码网络的图像融合算法。首先，参考多尺度分解的思想与原理构建了深度卷积自编码网络框架；然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练，该网络模型能够实现图像分解重构，最终得到一种图像的有效表示方式；最后，利用该网络模型将待融合图像分解为高频图像和低频图像，对于高频图像利用绝对值取大的原则进行融合，对于低频图像利用图像显著度作为权重进行融合，再利用网络的重构部分对融合后高、低频图像进行重构得到最终的融合图像。

Description

一种基于深度卷积自编码网络的图像融合方法

技术领域

本发明属于图像处理技术领域，涉及一种基于深度学习的图像融合新方法，即基于深度卷积自编码网络的图像融合方法。将深度学习中的理论应用于图像融合领域，发明成果可用于各类军事或民用的异源图像融合系统中。

背景技术

随着传感器技术、计算机技术以及信息技术的飞速发展，人们获得的信息量不断增加并呈现多样化趋势。由于单一的传感器信息处理技术不再适用于复杂的多传感器信息处理系统，基于多传感器的信息融合技术应运而生。图像融合作为信息融合领域中的一个重要分支，其核心在于，通过某种算法，实现同一场景中多类图像互补信息的融合，提高图像对场景描述的准确性和全面性，便于人眼视觉观察以及计算机的进一步处理与应用。图像融合通过多信源图像的优势互补，消除了信息的冗余与矛盾，降低了信息的不确定性与模糊度，增强了图像的可靠性，提高了图像信息的可解译性，在后期进行目标检测、识别、跟踪以及人工决策等方面均具有重要的应用需求。

目前应用较广且较流行的方式是采用多尺度变换的框架进行图像融合。传统的图像融合方式常表现为手工设计图像变换框架，不同的变换框架均有不同方面的优缺点，说明了这种基于人为先验的固定框架难以表征图像的复杂特性。另外，基于计算成本和实现难度，人工设计一个基于图像融合的理想框架是十分困难的。因此，找到一个有效的图像分解与表示框架是当前图像融合领域中的一个重要挑战。

随着近年来深度学习在目标检测识别、目标跟踪、图像分割、图像去噪、图像复原、图像生成等诸多领域的成功应用，许多学者在基于深度学习的图像融合方面开展了不少的研究：刘羽等人通过构建了一个孪生卷积神经网络将像素进行分类从而学习得到融合权重图来指导图像融合，但其基于多聚焦类型图像容易构造标准融合图像来指导网络训练的前提，不适用于红外与可见光等异源图像融合；也有学者将待融合图像通过非抽样小波变换(UWT)进行多尺度分解，然后对图像高频成分利用SRCNN网络增强图像细节再进行融合。这种方式本质上未对融合方式进行改变，仍未突破传统的多尺度分解框架；有学者在SRCNN网络框架基础上，网络输入为低分辨率多光谱图像与全色图像的叠加结果，输出为高分辨率多光谱图像，网络最终建模成一种端对端的映射来学习图像的复杂特征映射。但此类方法均是基于全色与多光谱图像融合可以建模为提高全色图像分辨率的问题，是一种特殊情况，不具有普适性的应用。分析可知以上方式成功地实现的图像融合在深度学习领域的探索，但仍未避免人为先验的固定框架或不具有普适性。

基于此，本发明提出一种基于卷积自编码思想的图像融合框架。由于自动编码器能够对输入信号进行特征表示与输出重构，卷积神经网络能够针对二维图像提取到更有效的特征，因此本发明结合自动编码器思想与卷积神经网络模型，构建一个深度卷积自编码网络(Deep Convolutional Auto-encoding Network,DCAN)学习得到图像分解重构框架。该框架突破了传统的手工设计滤波器的缺陷，通过设计合适的图像融合策略能够获得比传统多尺度图像融合方法更优的融合效果。

发明内容

要解决的技术问题

传统的基于多尺度变换的图像融合方法通过人为先验手工设计变换框架，这种基于固定滤波器组的框架难以表征图像的复杂特性。为了避免现有技术的不足之处，学习得到一个更有效的图像表示方式来进行图像融合，本发明提出基于深度卷积自编码网络的图像融合框架。

技术方案

一种基于深度卷积自编码网络的图像融合方法，其特征在于步骤如下：

步骤1：构建深度卷积自编码网络

步骤1a：对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解；其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11；经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息；

步骤1b：对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取，其中conv2-conv4卷积核大小为3×3；conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果；

步骤1c：将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果；其中conv5-conv8卷积核大小为3×3；

步骤1d：将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11；

步骤2：对深度卷积自编码网络进行训练

步骤2a：训练数据：选择多种类型的图像数据，包括自然图像、成对的红外与可见光图像，将所有的图像均调整至256×256大小的灰度图像；按照3:1的比例将图像数据分为网络训练集与测试集；

步骤2b：参数初始化：对于Conv9，加入非负性约束，其学习得到的权重参数均为正值；对于Conv1，限制其卷积核参数之和为0，即

其中，λ的取值范围为[0.05,0.10]；

对于其余卷积层，采用he_normal初始化方法进行初始化，具体表示为，对于具有n_in个输入的层，其初始化权重W满足其中N为正态分布；

步骤2c：损失函数：利用平均绝对误差函数作为损失函数对网络进行训练，所述的平均绝对值误差表示为网络模型的预测值与真实值之间距离的平均值，其对应的公式如下所示：

其中，y_i与y_i′分别表示真实图像结果与网络输出图像结果；

经过步骤2，我们最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架；

步骤3：利用深度卷积自编码网络进行图像融合

步骤3a：利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层，得到图像的高频图像与低频图像其中，L表示分解得到的低频信息，H₁～H₄表示分解得到的高频信息；

步骤3b：对分解得到的高、低频图像进行融合：

低频图像融合策略具体表示为：

L^F(x,y)＝S(x,y)·L^A(x,y)+(1-S(x,y))·L^B(x,y)

S(x,y)＝||L_μ-L_whc(x,y)||

其中，L_μ是图像特征的平均向量，L_whc(x,y)为图像进行5×5的高斯模糊得到的图像，通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图；

针对图像高频信息，选择绝对值取大的融合规则进行融合，具体表示为：

最后，通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。

所述网络框架通过人工初始化卷积核方式以及训练中进行卷积核约束，实现了网络对图像高低频信息的分解。

通过训练一个能够实现图像分解重构的图像表示框架，突破传统固定图像分解重构框架的约束，使融合效果得到改善。

通过低频图像利用红外低频显著性作为融合权重，高频图像利用绝对值取大原则进行融合。

有益效果

本发明提出的一种基于深度卷积自编码网络的图像融合算法。首先，参考多尺度分解的思想与原理构建了深度卷积自编码网络框架；然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练，该网络模型能够实现图像分解重构，最终得到一种图像的有效表示方式；最后，利用该网络模型将待融合图像分解为高频图像和低频图像，对于高频图像利用绝对值取大的原则进行融合，对于低频图像利用图像显著度作为权重进行融合，再利用网络的重构部分对融合后高、低频图像进行重构得到最终的融合图像。由于所提出的算法基于卷积网络对图像进行分解，突破固定模型的约束与限制，能够学习得到图像的更优表示，并且所制定的融合策略充分地考虑了红外图像中的目标显著性，因此得到的最终融合图像能够在保留目标特性的基础上，更多地保留图像的背景细节信息，解决了传统算法中信息丢失，目标不完整，背景模糊等多方面的缺陷，融合图像具有较好的视觉效果。

附图说明

图1：本发明方法深度卷积自编码网络结构图

图2：本发明方法融合图像的流程图

图3：采用不同融合算法对红外与可见光图像进行融合结果

(a)红外源图像；(b)可见光源图像；(c)NSCT算法融合结果M₁；(d)NSCT_SR算法融合结果M₂；(e)HMSD_GF算法融合结果M₃；(f)本文所提算法复原结果Ours；

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明通过利用自动编码器的思想以及卷积网络的模型构建得到一个深度卷积自编码网络框架，通过学习并重构网络的输入，该网络框架最终能够学习得到一种有效的图像表示方式。针对待融合图像，利用该网络框架进行图像的特征分解，并针对分解子图像进行融合策略的选择与设计，最后利用网络对融合后子图像进行重构进而得到最终融合图像。

本发明中进行网络训练时的硬件环境为GTX TITAN X，软件环境为Ubuntu 14.04，Tensorflow 1.2.0，Keras 2.1.6，Python 2.7.6。融合实验实施的硬件环境为CPU Inter(R)Core(TM)i3-4170CPU@3.70GHz,RAM 8.00GB，软件环境为Windows7旗舰版64位，MATLABR2014b。我们采用TNO公开数据集进行了本发明方法的实验验证。

本发明具体实施步骤如下：

步骤1构建深度卷积自编码网络：利用该网络进行图像的分解与重构，代替传统多尺度分解重构框架来指导图像融合。

首先，对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解。其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11。经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息。

然后，对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取。conv2-conv4卷积核大小为3×3。conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果。

第三步，将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果。conv5-conv8卷积核大小为3×3；

最后，将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11。

经过步骤1，我们得到本发明的一个基本的网络模型：深度卷积自编码网络。

步骤2针对深度卷积自编码网络进行训练：主要针对训练数据、模型参数与损失函数进行选择。

(a)训练数据：为了使训练得到的网络更具有鲁棒性，对于不同特性的图像具有较强的泛化能力，一般实验中选择多种类型的图像数据：主要包括自然图像、成对的红外与可见光图像，每种类型图像至少1000幅。在本次试验中，选择了不同类型的图像组成训练数据集：自然图像共200幅、小场景的红外图像800幅以及可见光图像800幅共计1600幅、大场景的红外图像200幅与可见光图像200幅共计400幅。所有图像均被调整至256×256大小的灰度图像以便于网络训练。其中网络训练集与测试集的比例为3:1，所有类型的图像(自然图像、红外图像、可见光图像)均按照这个比例被分为训练样本和测试样本。

(b)参数初始化：在训练过程中，为保证网络对于图像分解的稳定性，不至于学习到相反或错误的特征，我们分别对这两个卷积层进行了一些约束：对于Conv9，加入非负性约束，其学习得到的权重参数均为正值；对于Conv1，我们限制其卷积核参数之和为0，即

其中，λ实验取值为0.06。

对于其余卷积层，我们采用he_normal初始化方法进行初始化以提高网络稳定性，具体表示为，对于具有个n_in输入的层，其初始化权重W满足

(c)损失函数：本发明中利用平均绝对误差(Mean Absolute Error，MAE)函数作为损失函数对网络进行训练。平均绝对值误差表示的是网络模型的预测值与真实值之间距离的平均值，其对应的公式如下所示：

其中，y_i与y_i′分别表示真实图像结果与网络输出图像结果。

经过步骤2，最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架。

步骤3利用深度卷积自编码网络进行图像融合：首先利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层，得到图像的高频图像与低频图像其中，L表示分解得到的低频信息，H₁～H₄表示分解得到的高频信息；

然后，针对分解得到的图像进行融合。对于低频图像，利用红外图像显著度作为权重进行融合。对于输入红外低频图像L，其显著性计算公式为：

S(x,y)＝||L_μ-L_whc(x,y)|| (3)

其中，L_μ是图像特征的平均向量，L_whc(x,y)为图像进行5×5的高斯模糊得到的图像，通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图。

低频图像融合策略具体表示为：

L^F(x,y)＝S(x,y)·L^A(x,y)+(1-S(x,y))·L^B(x,y) (4)

针对图像高频信息，选择绝对值取大的融合规则进行融合，具体表示为：

最后，通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。

选用图像的信息熵(IE)、互信息(MI)和平均梯度(AG)作为图像融合的客观评价指标，定量地评价不同图像采用不同算法的融合效果。客观评价结果如表1所示。其中信息熵的计算公式如下：

h_i表示图像Y中灰度值为i的像素点总数，N表示图像Y的灰度级数，p_i表示灰度i出现的概率。当图像中信息量越多，图像的信息熵值越大。

图像X和Y的联合信息熵表示为：

则两幅图像的互信息可以表示为：

MI(R,F)＝H(R)+H(F)-H(R,F) (8)

当两幅图像相似程度越大，其互信息值就越大。

图像F的标准差计算公式如下：

其中，M×N表示图像大小，μ为图像灰度均值。图像的标准差越大，表明图像对比度越高，一定程度上说明了图像细节信息越丰富。

表1各类融合算法客观评价结果比较

Claims (1)

1.一种基于深度卷积自编码网络的图像融合方法，其特征在于步骤如下：

步骤1：构建深度卷积自编码网络

步骤1a：对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解；其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11；经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息；

步骤1b：对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取，其中conv2-conv4卷积核大小为3×3；conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果；

步骤1c：将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果；其中conv5-conv8卷积核大小为3×3；

步骤1d：将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11；

步骤2：对深度卷积自编码网络进行训练

步骤2a：训练数据：选择多种类型的图像数据，包括自然图像、成对的红外与可见光图像，将所有的图像均调整至256×256大小的灰度图像；按照3:1的比例将图像数据分为网络训练集与测试集；

步骤2b：参数初始化：对于Conv9，加入非负性约束，其学习得到的权重参数均为正值；对于Conv1，限制其卷积核参数之和为0，即

其中，λ的取值范围为[0.05,0.10]；

对于其余卷积层，采用he_normal初始化方法进行初始化，具体表示为，对于具有n_in个输入的层，其初始化权重W满足其中N为正态分布；

步骤2c：损失函数：利用平均绝对误差函数作为损失函数对网络进行训练，所述的平均绝对值误差表示为网络模型的预测值与真实值之间距离的平均值，其对应的公式如下所示：

其中，y_i与y_i′分别表示真实图像结果与网络输出图像结果；

经过步骤2，我们最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架；

步骤3：利用深度卷积自编码网络进行图像融合

步骤3a：利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层，得到图像的高频图像与低频图像其中，L表示分解得到的低频信息，H₁～H₄表示分解得到的高频信息；

步骤3b：对分解得到的高、低频图像进行融合：

低频图像融合策略具体表示为：

L^F(x,y)＝S(x,y)·L^A(x,y)+(1-S(x,y))·L^B(x,y)

S(x,y)＝||L_μ-L_whc(x,y)||

其中，L_μ是图像特征的平均向量，L_whc(x,y)为图像进行5×5的高斯模糊得到的图像，通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图；

针对图像高频信息，选择绝对值取大的融合规则进行融合，具体表示为：

最后，通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。