CN110334779A - 一种基于PSPNet细节提取的多聚焦图像融合方法 - Google Patents

Abstract

本发明为一种基于PSPNet细节提取的多聚焦图像融合方法，其特征在于，包括以下步骤：首先，采用金字塔场景解析网络PSPNet聚合不同子区域的上下文信息，同时利用金字塔池化模块捕获多尺度下的全局和局部颜色、纹理、形状等特征信息，在此基础上将4种不同尺度的特征图融合为概率图；其次，采用卷积条件随机场ConvCRFs网络提取图像灰度特征，为了优化二值掩膜图，引入自适应阈值判断；为了获取两个源图像高精确聚焦区域，将优化的二值掩膜图作为权重图，并与两个源图像相乘，最后，将两个区域融合以重构清晰的融合图像。本发明通过图像上下文信息，提升全局特征利用率和分割精度，实现多聚焦图像全方位融合。

Description

一种基于PSPNet细节提取的多聚焦图像融合方法

技术领域

本发明涉及一种基于PSPNet细节提取的多聚焦图像融合方法。

背景技术

随着科学技术的发展，多种图像传感器不断出现，根据不同的传感器的成像机理，在不同工作环境下获取形式多样，信息容量各不相同的图像数据。图像融合技术综合了传感器、图像处理以及人工智能等交叉理论，成为多传感器应用关键技术之一。图像融合借助特定算法，将两幅或者多幅聚焦图像融合成为一个新图。通过不同传感器之间的信息互补，将同一时间或者不同时间关于某一场景两个或者多个图像信息综合，从而融合得到该场景下的内容更丰富、精确性更高的融合图像。当前多聚焦图像融合技术已经被应用到医学、军事以及遥感等领域。

图像融合技术被用于提取源图像中有用的信息，根据图像上下文信息，将其结合、融入到融合图像中，按照应用场景和图像来源不同，对融合的具体要求和目标也各不相同。从不同角度对图像融合技术进行分类，按照信息表征层次分类、按照图像源分类以及按融合方法分类。

按照信息表征层次不同，从低层到高层可以被分为像素级图像融合、特征级图像融合以及决策级图像融合。按照图像源的不同，图像融合技术分为同类传感器图像融合、异类传感器图像融合以及遥感图像融合。像素级图像融合按照融合方法分为基于空间域的图像融合和基于变换域的图像融合。

基于空间域的变换方法，通常在图像的像素空间上进行图像融合，常用算法包含加权平均融合算法、主成分分析融合算法、引导滤波算法以及基于不同焦点的融合算法等。该类算法通常将源图像进行分割成图像块处理，对每一对图像进行处理，融合成为全方位的清晰图，但基于图像块的处理方法会导致聚焦图像和模糊图像的边界处存在模糊现象。

基于变换域的图像融合方法需要对各源图像进行图像变换操作，然后按照一定准则进行融合，最后对融合后的变换系数逆变换操作，得到最终的融合图像。

基于空间域变换和基于变换域方法中的关键因素为活动水平测量和约束规则，人为设计很难制定一个理想融合规则。采用CNN卷积神经网络通过借助自我学习的机制，可以克服融合方法存在缺陷问题。但CNN和FCN(Fully Convolutional Networks)模型忽略了结构化知识和图像背景上下文信息，无法充分利用丰富的空间位置信息，全局和局部特征利用率较低，导致分割结果粗糙。

参考文献：

[1]Y.Cao,S.Li,"Multi-Focus Image Fusion by Nonsubsampled ShearletTransform",2011Sixth International Conference on Image and Graphics,pp.17-21,Aug.2011.

[2]S.Li,X.Kang,J.Hu,"Image fusion with guided filtering",IEEETransactions on Image Processing,vol.22,no.7,pp.2864-2875,2013.

[3]S.Liu,X.Kang,J.Hu,et al."Image matting for fusion of multi-focusimages in dynamics scenes".Information Fusion,vol.14,no.2,pp.147-162,2013.

[4]B.S.Kumar."image fusion based on pixel significance using crossbilateral filter".Single Image&Video Processing,vol.9,no.2,pp.193-204,2015.

[5]Y.Liu,X.Chen,H.Peng,et al."Multi-focus image fusion with a deepconvolutional neural network".Information Fusion,vol.36,no.5,pp.191-207,2017.

发明内容

根据上述提出的技术问题，而提供一种基于PSPNet细节提取的多聚焦图像融合方法，其特征在于，包含的步骤如下：

步骤S01：输入左聚焦源图像A和右聚焦源图像B；

步骤S02：通过金字塔场景模块解析网络PSPNet，对所述左聚焦源图像A和所述右聚焦源图像B，使用4种卷积核大小不同的卷积神经网络CNN获取局部特征和全局特征，通过所述金字塔解析模块来收集子区域上下文信息，对所述局部特征和所述全局特征进行级联处理；

步骤S03：对所述左聚焦源图像A和所述右聚焦源图像B，将所述左聚焦源图像A和右聚焦源图像B输入预设的双通道CNN模型中，对于每一个像素点输出一个概率值，将所述概率值生成概率图；

步骤S04：对步骤S03获取的所述概率图进行二值化处理，提取图像灰度特征并设定阈值为0.5，将所述概率值大于0.5的设定为1，视为聚焦，所述概率值小于等于0.5的设定为0，视为非聚焦，形成二值掩膜图；

步骤S05：对步骤S04获取的所述二值掩膜图进行优化，通过卷积条件随机场ConvCRFs结构化建模能力与卷积神经网络特征提取能力结合，得到所述概率图的细化映射，获取优化后的二值掩膜图，将所述优化后的二值掩膜图作为权重图；

步骤S06：通过将所述权重图分别与所述左聚焦源图像A和所述右聚焦源图像B相乘，分别提取所述左聚焦源图像A和所述右聚焦源图像B的聚焦区域，将所述聚焦区域相加获取全聚焦图像即融合图像。

进一步地，所述步骤S05中的ConvCRFs图像优化模型，通过左、右聚焦图像上下文信息分别提取全局语义信息和局部位置信息，所述ConvCRFs算法，通过数学计算求解，其中P(X|I)建模为CRF，所述P(X|I)符合Gibbs分布，所述P(X|I)的理论公式为：

其中，I表示包含n个像素和具有k个类别的图像分割任务的输入图像；X＝{X₁,...,X_n}表示I被分割建模的一个随机场，其中每个参数X_i从{1,...,k}中取值；所述的输入图像I的一个分割X是通过argmax_XP(X|I)得到；

能量函数计算公式为：

其中，表示一元变量函数；表示二元变量函数，即像素的联合分布函数；i和j均表示像素；x_i和x_j均表示标签。

更进一步地，所述融合公式为：

W_fusion＝I_A*W+I_B*(1-W)；

其中，W表示所述权重图的像素矩阵；I_A和I_B分别表示所述左聚焦源图像A和所述右聚焦源图像B的二值图；所述二值图I_A对应的二值图矩阵为W；所述二值图I_B对应的二值图矩阵为(1-W)。

本发明与现有技术相比具有以下优势：

针对CNN和FCN网络没有有效借助图像上下文信息，分割精度不高问题。本发明通过将一对多聚焦图像放入到训练好的PSPNet网络模型中，得到概率图模型，然后将其二值化操作得到二值化图像，然后通过ConvCRFs网络模型进行优化策略设定，得到优化掩膜图，最后根据优化掩膜图进行图像像素矩阵计算，得到全方位融合图像。

基于上述理由本发明可在图像融合领域推广应用。

附图说明

为了明确本发明或者技术方案，下面将对实施例或现有技术描述所需采用的附图进行简要概况说明。

图1为本发明的整体流程示意图。

图2为本发明实施例的多聚焦融合图像；其中，图2-1为左聚焦源图像、图2-2为右聚焦源图像、图2-3为参考文献[1]采用方法获取的聚焦结果图、图2-4为参考文献[2]采用方法获取的聚焦结果图、图2-5为参考文献[3]采用方法获取的聚焦结果图、图2-6为参考文献[4]采用方法获取的聚焦结果图、图2-7为参考文献[5]采用方法获取的聚焦结果图、图2-8为采用本发明方法获取的聚焦结果图。

图3为本发明实施例的多聚焦融合图像；其中，图3-1为左聚焦源图像、图3-2为右聚焦源图像、图3-3为参考文献[1]采用方法获取的聚焦结果图、图3-4为参考文献[2]采用方法获取的聚焦结果图、图3-5为参考文献[3]采用方法获取的聚焦结果图、图3-6为参考文献[4]采用方法获取的聚焦结果图、图3-7为参考文献[5]采用方法获取的聚焦结果图、图3-8为采用本发明方法获取的聚焦结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了验证本发明算法的有效性，选择Lytro数据集中的一张彩色图作为测试数据，并与方法[1]、方法[2]、方法[3]、方法[4]、方法[5]和本发明方法的实验结果通过主客观两个方面对比分析验证。具体步骤和原理如下：

如图1所示，本发明提供了一种基于PSPNet细节提取的多聚焦图像融合方法，包括以下步骤：

步骤S01：输入左聚焦源图像A和右聚焦源图像B；

步骤S02：通过金字塔场景模块解析网络PSPNet，对所述左聚焦源图像A和所述右聚焦源图像B，使用4种卷积核大小不同的卷积神经网络CNN获取局部特征和全局特征，通过所述金字塔解析模块来收集子区域的上下文信息，对所述局部特征和所述全局特征进行级联处理；

步骤S03：对所述左聚焦源图像A和所述右聚焦源图像B，将所述左聚焦源图像A和右聚焦源图像B输入预设的双通道CNN模型中，对于每一个像素点输出一个概率值，将所述概率值生成概率图；

步骤S04：对步骤S03获取的所述概率图进行二值化处理，提取图像灰度特征并设定阈值为0.5，将所述概率值大于0.5的设定为1，视为聚焦，所述概率值小于等于0.5的设定为0，视为非聚焦，形成二值掩膜图；

步骤S05：对步骤S04获取的所述二值掩膜图进行优化，通过卷积条件随机场CONV_CRFs结构化建模能力与卷积神经网络特征提取能力结合，得到所述概率图的细化映射，获取优化后的二值掩膜图，将所述优化后的二值掩膜图作为权重图；

步骤S06：通过将所述权重图分别与所述左聚焦源图像A和所述右聚焦源图像B相乘，分别提取所述左聚焦源图像A和所述右聚焦源图像B的聚焦区域，将所述聚焦区域相加获取全聚焦图像即融合图像。

作为一种优选的实施方式，所述步骤S05中的ConvCRFs图像优化模型，通过左、右聚焦图像上下文信息分别提取全局语义信息和局部位置信息，所述ConvCRFs算法，通过数学计算求解，其中P(X|I)建模为CRF，所述P(X|I)符合Gibbs分布，所述P(X|I)的理论公式为：

其中，I表示包含n个像素和具有k个类别的图像分割任务的输入图像；X＝{X₁,...,X_n}表示I被分割建模的一个随机场，其中每个参数X_i从{1,...,k}中取值；所述的输入图像I的一个分割X是通过argmax_XP(X|I)得到；

能量函数计算公式为：

其中，表示一元变量函数；表示二元变量函数，即像素的联合分布函数；i和j均表示像素；x_i和x_j均表示标签。

在本实施方式中，作为本申请的一种实施方式，所述融合公式为：

W_fusion＝I_A*W+I_B*(1-W)；

其中，W表示所述权重图的像素矩阵；I_A和I_B分别表示所述左聚焦源图像A和所述右聚焦源图像B的二值图；所述二值图I_A对应的二值图矩阵为W；所述二值图I_B对应的二值图矩阵为(1-W)。

实施例

如图2和图3所示，本发明提供与其他方法后的实验效果图。从实验后的效果图表明展现的方法都有较好的融合效果。

本实施例为了保证评价的可靠性，从互信息、非线性相关信息以及边缘保持度三个客观指标进行对比分析，

本发明使用了PSPNet网络，能够获得不同区域上下文信息，更好地提取输入图像的特征，对多目标图像具有很好地清晰化效果，图像视觉还原效果极佳。

表1为本发明算法与方法[1]、方法[2]、方法[3]、方法[4]、方法[5]的客观评价指标结果，MI(互信息)、NCIE(非线性相关信息熵)以及Q^AB/F(边缘保持度)反映了多聚焦图像融合结果的客观质量。从表1中的客观评价结果可以分析出本发明提出的多聚焦融合方法在MI、NCIE以及Q^AB/F上的具有最大值，可以从客观角度证明本发明方法融合效果优于其他方法。

表1本发明算法和其他方法客观评价指标结果

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所展示的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (3)

1.一种基于PSPNet细节提取的多聚焦图像融合方法，其特征在于，包含的步骤如下：

步骤S01：输入左聚焦源图像A和右聚焦源图像B；

步骤S02：通过金字塔场景模块解析网络PSPNet，对所述左聚焦源图像A和所述右聚焦源图像B，使用4种卷积核大小不同的卷积神经网络CNN获取局部特征和全局特征，通过所述金字塔解析模块来收集子区域的上下文信息，对所述局部特征和所述全局特征进行级联处理；

步骤S03：对所述左聚焦源图像A和所述右聚焦源图像B，将所述左聚焦源图像A和右聚焦源图像B输入预设的双通道CNN模型中，对于每一个像素点输出一个概率值，将所述概率值生成概率图；

步骤S04：对步骤S03获取的所述概率图进行二值化处理，提取图像灰度特征并设定阈值为0.5，将所述概率值大于0.5的设定为1，视为聚焦，所述概率值小于等于0.5的设定为0，视为非聚焦，形成二值掩膜图；

步骤S05：对步骤S04获取的所述二值掩膜图进行优化，通过卷积条件随机场ConvCRFs结构化建模能力与卷积神经网络特征提取能力结合，得到所述概率图的细化映射，获取优化后的二值掩膜图，将所述优化后的二值掩膜图作为权重图；

步骤S06：通过将所述权重图分别与所述左聚焦源图像A和所述右聚焦源图像B相乘，分别提取所述左聚焦源图像A和所述右聚焦源图像B的聚焦区域，将所述聚焦区域相加获取全聚焦图像即融合图像。

2.根据权利要求1所述的一种基于PSPNet分割模型的多聚焦图像融合方法，其特征还在于：所述步骤S05中的ConvCRFs图像优化模型，通过左、右聚焦图像上下文信息分别提取全局语义信息和局部位置信息，所述ConvCRFs算法，通过数学计算求解，其中P(X|I)建模为CRF，所述P(X|I)符合Gibbs分布，所述P(X|I)的理论公式为：

其中，I表示包含n个像素和具有k个类别的图像分割任务的输入图像；X＝{X₁,...,X_n}表示I被分割建模的一个随机场，其中每个参数X_i从{1,...,k}中取值；所述的输入图像I的一个分割X是通过argmax_XP(X|I)得到；

能量函数计算公式为：

其中，表示一元变量函数；表示二元变量函数，即像素的联合分布函数；i和j均表示像素；x_i和x_j均表示标签。

3.根据权利要求1所述的基于PSPNet细节提取的多聚焦图像融合方法，其特征还在于：

所述融合公式为：

W_fusion＝I_A*W+I_B*(1-W)；

其中，W表示所述权重图的像素矩阵；I_A和I_B分别表示所述左聚焦源图像A和所述右聚焦源图像B的二值图；所述二值图I_A对应的二值图矩阵为W；所述二值图I_B对应的二值图矩阵为(1-W)。