CN109191413A - 一种基于改进型卷积神经网络的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于改进型卷积神经网络的多聚焦图像融合方法，步骤1，改进型卷积神经网络的权值设定；步骤2，改进型卷积神经网络的卷积层处理；步骤3，改进型卷积神经网络的池化层处理，得到最终融合结果。本发明利用多聚焦图像融合问题与CNN中分类问题的一致性关系，从一个全新的角度促成了多聚焦图像融合问题的合理解决。

Description

一种基于改进型卷积神经网络的多聚焦图像融合方法

技术领域

本发明属于图像融合技术领域，具体涉及一种基于改进型卷积神经网络的多聚焦图像融合方法。

背景技术

图像融合是一种从给定场景的多幅源图像中提取互补和冗余信息，并将其融入一幅最终融合图像的过程。通常，最终融合图像具有更丰富的信息和更理想的图像视觉效果，为后续图像处理工作奠定了良好的基础。由于光学成像摄像机的透镜焦距有限，无法保证不同距离范围内的所有物体均处于“聚焦”状态，导致图像中的部分物体处于“聚焦”的清晰状态，而另外一些物体则处于“离焦”的模糊状态。因此，如何在一幅图像中综合表达所有物体的聚焦信息成为多聚焦图像融合领域迫切需要解决的热点问题。

目前，国内外图像融合领域出现了针对上述问题的多种研究方案和处理方法。从融合策略角度加以分析，目前主流的方法大致有以下两类：一类主要基于空间域处理方法，另一类则主要基于变换域处理方法。前一类方法中的代表性方法主要有权值方法、主成分分析方法、独立成分分析方法以及以脉冲耦合神经网络、交叉视觉皮层模型以及以脉冲皮层模型为代表的第三代人工神经网络模型。这类方法的主要局限在于模型的待定参数过多、设置较为困难。后一类方法目前较为常见，主要代表有小波变换、脊波变换、轮廓波变换、剪切波变换、非下采样轮廓波变换以及非下采样剪切波变换等。与前一类方法相比，这类方法能够更有效地捕捉图像的主体和细节信息，但存在计算复杂度过高，难以适应实时性要求较高的军事、医疗等应用领域的现实问题。

发明内容

针对多聚焦图像融合问题的特点以及目前现有图像融合方法的优势与不足，本发明提出一种基于改进型卷积神经网络的多聚焦图像融合方法。

为了达到上述目的，本发明采用如下的技术方案予以解决：

一种基于改进型卷积神经网络的多聚焦图像融合方法，包括，

1)改进型卷积神经网络的权值设定，确定输入层、第一卷积层、池化层与相邻后续卷积层间的权值；

2)改进型卷积神经网络的卷积层处理，针对源图像或前一池化层中的特征映射提取图像中的特征信息；

3)改进型卷积神经网络的池化层处理，利用均方根池化策略得到池化映射中的结果。

进一步的，步骤(1)中所述的权值设定采用高斯概率分布函数确定输入层与第一卷积层(C1)、池化层与相邻后续卷积层间的权值，所述的高斯概率分布函数为：

其中，矩阵P为初始权值矩阵，R为实数域，矩阵P中每一元素的尺寸均为r×r，N表示卷积核的数量。显然，若前一层图像信息的尺寸为k×k，则通过高斯概率分布函数获得的特征映射图的尺寸为(k-r+1)×(k-r+1)。

进一步的，步骤(2)具体为基于步骤(1)的权值设定得到第i幅特征映射中位于点(x,y)的卷积结果：

其中，c_x,y,i表示第i幅卷积图在坐标为(x,y)处的系数，Θ表示待融合源图像。需要说明的是，不同于经典CNN模型，特征映射并不适用于非线性函数。

进一步地，步骤(3)中将均方根池化策略应用于所有池化层，可以很容易得到点(x,y)位于第j幅池化映射中的结果：

其中，s_p,q,j表示第j幅卷积图在坐标为(p,q)处的系数，Θ表示待融合源图像，p,q＝1,…,(k-r+1)，e为池化邻域半径。

本发明的有益效果为：

本发明采用近年来的先进技术——卷积神经网络模型针对多聚焦图像融合问题展开了研究，实践证明该方法相对于现有的方法具有十分显著的优势，能够在较低计算资源消耗条件下获得显著的融合效果。

附图说明

图1为本发明方法的流程图；

图2为本发明第I组多聚焦图像融合效果图；其中，a为右聚焦图像，b为左聚焦图像，c为M1融合效果图，d为M2融合效果图，e为M3融合效果图，f为M4融合效果图，g为本发明融合效果图；

图3为本发明第II组多聚焦图像融合效果图；其中，a为右聚焦图像，b为左聚焦图像，c为M1融合效果图，d为M2融合效果图，e为M3融合效果图，f为M4融合效果图，g为本发明融合效果图；

图4为五种融合方法的区域放大图；其中，a为M1仿真结果；b为M2仿真结果；c为M3仿真结果；d为M4仿真结果；e为本发明方法的仿真结果。

具体实施方式

下面将结合本发明具体的实施例，对本发明技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的多聚焦图像融合方法可大致分为空间域处理方法和变换域处理方法两种。基于目前已有的文献不难发现：空间域处理方法面临待定参数过多、参数待定过程繁琐等问题，而变换域处理方法则通常面临计算复杂度过高的现实问题。为此，本发明积极探索并尝试采用深度学习领域中的卷积神经网络模型来解决多聚焦图像融合问题。研究发现：多聚焦图像融合问题与CNN中分类问题具有一致性。研究结果表明该项研究工作是合理、可行的。

如图1所示，本发明的基于改进型卷积神经网络的多聚焦图像融合方法，具体包括以下步骤：

步骤1，改进型卷积神经网络的权值设定，具体操作如下：

经典CNN模型涉及到大量权值的设定，这些权值设置通常较为随意，而权值设定的优劣直接影响CNN模型的训练效果以及最终的分类结果。针对该问题，提出采用高斯概率分布函数确定输入层与第一卷积层(C1)、池化层与相邻后续卷积层间的权值：

其中，矩阵P为初始权值矩阵，R为实数域，矩阵P中每一元素的尺寸均为r×r，N表示卷积核的数量。显然，若前一层图像信息的尺寸为k×k，则通过高斯概率分布函数获得的特征映射图的尺寸为(k-r+1)×(k-r+1)。

步骤2，改进型卷积神经网络的卷积层处理，具体操作如下：

卷积层主要针对源图像或前一池化层中的特征映射采取“卷积”操作以提取图像中的特征信息。基于步骤1)的权值设定，可以很容易得到第i幅特征映射中位于点(x,y)的卷积结果：

其中，c_x,y,i表示第i幅卷积图在坐标为(x,y)处的系数，Θ表示待融合源图像。需要说明的是，不同于经典CNN模型，特征映射并不适用于非线性函数。

步骤3，改进型卷积神经网络的池化层处理，得到最终融合结果，具体操作如下：

池化层通常周期性地出现在相邻的两个卷积层之间，其功能主要在于有效减少训练参数的数量，从而压缩图像的空间大小。经典CNN模型通常采用平均值池化层策略和最大值池化层策略。然而，这两种策略均有不同程度的缺陷。其中，平均值池化针对每个池化邻域内的结点进行算术平均运算，但会削弱强激活结点产生弱池化效应；最大值池化倾向于过度拟合训练集从而影响泛化性能。为了克服这两种经典池化策略的消极影响，本文提出了均方根池化策略。

大量仿真实验结果表明即使随机设定若干权值，均方根池化策略仍然具有固有的频率选择性和平移不变性。该池化策略具有平方运算和求和运算两个部分，可以使整个CNN模型具有很好的非线性和平移不变性特性。

将均方根池化策略应用于所有池化层，可以很容易得到点(x,y)位于第j幅池化映射中的结果：

其中，s_p,q,j表示第j幅卷积图在坐标为(p,q)处的系数，Θ表示待融合源图像，p,q＝1,…,(k-r+1)，e为池化邻域半径。

仿真对比实验

为了证明本发明的合理有效性，以下通过两组仿真实验来对本发明与现行的代表性多聚焦图像融合方法进行比较。本发明的实验平台为一台CPU主频为2.9GHz、8G内存的PC，采用的仿真软件为Matlab2014b。本发明方法基于上述平台完成对多聚焦图像的融合仿真实验。

本发明仿真实验涉及的两组源图像均为已配准的256级灰度图像，且图像尺寸为512×512。本发明实施方法按照具体实施方式中的步骤进行。此外，本发明还选取了现行的四种代表性多聚焦图像融合方法与本发明方法进行了比较，分别为基于框架变换耦合SUSAN的多聚焦图像融合算法(M1)、基于小波变换的多聚焦图像融合方法(M2)、基于NSCT耦合区域特性的多聚焦图像融合算法(M3)以及基于多尺度CNN和图像分割的多聚焦图像融合算法(M4)。其中，M1～M4中的参数均按照原对应文献中的给定数据设定。本文所提方法的改进型CNN模型具有1个输入层、1个输出层、3个卷积层以及3个池化层，三个卷积层的滤波器数量分别为5,10,15，且所有卷积核的尺寸均为3×3，针对池化层，最后一层的邻域尺寸设定为2×2，其余池化层的邻域尺寸设定为5×5。

除了直观视觉效果外，本发明还采用了四种客观评价指标比较五种方法的性能，分别为空间频率(spatial frequency,Q_SF)、Piella指标(Q_Piella)、互信息量(mutualinformation,Q_MI)和相位一致性(phase congruency,Q_P)。Q_SF是衡量图像像素点信息反差度的重要指标，融合图像的Q_SF值越大，表明融合图像的信息量越丰富，融合质量越好；Q_Piella描述了图像的结构信息，Q_Piella值越大，图像的结构信息越丰富，效果越好；Q_MI用来衡量融合图像与源图像间的交互信息，Q_MI值越大，表示融合图像从源图像中获取的信息越丰富，融合效果越好，本文这里使用的是归一化互信息量；Q_P利用相位一致性描述图像边缘信息，Q_P值越大，表明融合图像的边缘信息越丰富。

图2、图3给出了五种方法的仿真实验结果。总体上，五种方法均较好地保持了源图像的重要信息，并对原多聚焦图像进行了较好的融合。为了更方便进行比较，针对融合结果图像中的部分显著区域进行了放大，如图4所示。显然，基于本发明方法的融合结果图具有更理想的视觉效果。此外，直观效果在客观评价指标数据中也得到了验证，表1和表2给出了五种融合算法的客观评价测度值。

表1第I组灰度多聚焦图像融合效果性能比较

表2第II组灰度多聚焦图像融合效果性能比较

综上所述，本发明方法无论在直观视觉效果还是客观评价层次上均占有显著的优势，是一种可行、高效的多聚焦图像融合方法。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于改进型卷积神经网络的多聚焦图像融合方法，其特征在于，包括以下步骤：

1)改进型卷积神经网络的权值设定，确定输入层、第一卷积层、池化层与相邻后续卷积层间的权值；

2)改进型卷积神经网络的卷积层处理，针对源图像或前一池化层中的特征映射提取图像中的特征信息；

3)改进型卷积神经网络的池化层处理，利用均方根池化策略得到池化映射中的结果。

2.根据权利要求1所述的一种基于改进型卷积神经网络的多聚焦图像融合方法，其特征在于，步骤(1)中所述的权值设定采用高斯概率分布函数确定输入层与第一卷积层(C1)、池化层与相邻后续卷积层间的权值，所述的高斯概率分布函数为：

其中，矩阵P为初始权值矩阵，R为实数域，矩阵P中每一元素的尺寸均为r×r，N表示卷积核的数量。

3.根据权利要求2所述的一种基于改进型卷积神经网络的多聚焦图像融合方法，其特征在于，若前一层图像信息的尺寸为k×k，则通过高斯概率分布函数获得的特征映射图的尺寸为(k-r+1)×(k-r+1)。

4.根据权利要求1所述的一种基于改进型卷积神经网络的多聚焦图像融合方法，其特征在于，步骤(2)具体为基于步骤(1)的权值设定得到第i幅特征映射中位于点(x,y)的卷积结果：

其中，c_x,y,i表示第i幅卷积图在坐标为(x,y)处的系数，Θ表示待融合源图像。

5.根据权利要求1所述的一种基于改进型卷积神经网络的多聚焦图像融合方法，其特征在于，所述的均方根池化策略具体为：

其中，s_p,q,j表示第j幅卷积图在坐标为(p,q)处的系数，Θ表示待融合源图像，p,q＝1,…,(k-r+1)，e为池化邻域半径。