CN110097617B

CN110097617B - 基于卷积神经网络与显著性权重的图像融合方法

Info

Publication number: CN110097617B
Application number: CN201910336960.8A
Authority: CN
Inventors: 郝群; 闫雷; 曹杰; 袁莉莉; 李国梁
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-04-25
Filing date: 2019-04-25
Publication date: 2020-09-15
Anticipated expiration: 2039-04-25
Also published as: CN110097617A

Abstract

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，属于图像信息融合技术领域。本发明通过导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层；利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像；对源图像细节层进行多分辨率奇异值分解，将分解后源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合，重构得到高质量融合图像。本发明获得的高质量融合图像具有较高的对比度信息，包含源图像的细节层信息，有助于突出显著性目标，提高目标识别的检测效率。此外，本发明根据实际融合需求，改变方法中的网络结构，实现不同的融合效果，具有较强的通用性。

Description

基于卷积神经网络与显著性权重的图像融合方法

技术领域

本发明涉及一种基于卷积神经网络与显著性权重的图像融合方法，特别是涉及图像在卷积神经网络中融合方法，属于图像信息融合技术领域。

背景技术

通过各种传感器获得的多传感器数据通过图像融合提供补充信息。与来自单个传感器的图像相比，图像融合产生了良好的可视化和丰富的信息。因此，它被广泛应用于许多领域，如遥感，模式识别，医学成像和军事。

一般图像融合方法分为四类:(1)多尺度分解；(2)稀疏表示；(3)空间域变换；以及(4)混合变换。自拉普拉斯金字塔的融合方法提出，基于多尺度分解理论的典型图像融合方法已应用于图像融合。此外，在该领域中已经提出了大量基于多尺度变换的图像融合方法。一些例子是形态金字塔，离散小波变换，双树复数小波变换，非下采样轮廓波变换，以及非下采样的基于剪切变换的方法。基于稀疏表示的方法建立在信号稀疏理论的基础上，其中自然信号可以近似表示为来自字典的“少数”原子的线性组合。与基于多尺度分解和基于稀疏表示的方法不同，基于空间域的方法将图像在不同的变换空间计算，例如PCA和IHS。基于混合变换的方法同时使用多种变换方法，旨在结合各种变换的优点以实现高融合效果。然而，这些方法增加了时间消耗。

最近，深度学习在许多图像处理任务中取得了优异的性能，例如图像抠图，识别和分类。此外，深度学习在图像融合中的应用已经在很大程度上引起了学术界的关注。当前已经实现了使用卷积神经网络来实现多焦点图像与红外/可见光图像融合。然而，对于实际应用，这种方法有两个缺点：1)基层的“平均”融合方案容易降低图像的对比度；2)VGG-19网络提取的图像特征相对较大，导致失去了细节。

发明内容

本发明公开的基于卷积神经网络与显著性权重的图像融合方法要解决的技术问题是：提高融合图像的对比度，增强融合图像的精细细节，提高融合图像质量。本发明融合后的高质量图像能够为后续的目标识别，目标探测等提供有力支撑，为解决图像融合领域相关工程问题提供支持。

本发明的目的是通过下述技术方案实现的。

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，通过导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像。同时对源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合。最终重构得到高质量融合图像。该方法获得的高质量融合图像具有较高的对比度信息，包含源图像的细节层信息，有助于突出显著性目标，提高目标识别的检测效率。此外，根据实际融合需求，改变方法中的网络结构，实现不同的融合效果，具有较强的通用性。

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，包括如下步骤：

步骤一：利用导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。

源图像导向滤波分解公式为：

其中

指的是像素点p的梯度，

和

分别指的是图像水平和垂直的一阶差分算子。I指的是源图像，I_b是源图像的基础层，λ是正则化参数。

源图像的细节层I_d由公式(3)决定：

I_d＝I-I_b (3)

I_d指的是图像的细节层，I_b指的是图像的基础层。I指的是源图像。

步骤二：利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像。

利用显著性权重对分解后的基础层进行融合旨在将信息从多种源图像的基础层转移到融合图像。显著性权重方法计算每个像素相对于原始图像的重要性，通过显著性权重保持源图像中的对比度和纹理信息，并且能够提高基础层融合效果。

显著性权重是基于像素与所有其他像素的对比度来定义像素级显著性。像素p的显著性值V^k(p)定义如下：

k指的是源图像类型，k＝{源图像1,源图像2、……源图像S}。I_p指的是像素点p的强度。q指的是图像I中的任意像素，I_q指的是像素q的强度。所述源图像S根据实际图像融合需求而定。

公式(4)中，显著性值V^k(p)对每一个像素展开，写成：

N指的是图像中的像素数量。当像素值相等时，显著性值也相等，因此，公式(5)写成：

l指的是像素强度，S_l代表强度值等于l的像素的数量和，L指的是图像的灰度等级。

通过公式(6)获得原始图像的显著权重图。最终的显著性值V^k(p)是归一化形式。具有大的显著性权重的区域通常对应于强度和纹理区域，其信息对于融合是有用的和必需的。基础层融合规则为：

V^k1和V^k2指的是源图像k1,k2的显著性权重，

指的是源图像k1,k2的基础层，

指的是融合图像之后的基础层，所述的

即为对比度增强的融合后的基础层图像。

步骤二所述的多种源图像包可见光源图像、红外源图像、多聚焦图像种类，或者为所述种类图像中的任意S幅源图像，所述源图像S根据实际图像融合需求而定。

步骤三：对步骤一获得的源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合。

细节层包含图像的细节信息，然而，现有技术中在卷积神经网络的图像提取中，卷积神经网络更加关注图像的较大尺度的特征，提取图像的较大尺度的特征导致图像中的精细细节的丢失。

通过多分辨率奇异值分解方法有效保留图像的细节：

其中：le指的是分解的层数，j指的是不同的频率信息，并且j＝{LL,LH,HL,HH}，k代表源图像，且k＝{源图像1,源图像2、……源图像S}。

在卷积神经网络的隐藏层中提取图像特征：

net指的是神经网络模型，name指的是神经网络中隐藏层的名称，M指的是为名name的隐藏层的输出通道数量，Φ指的是隐藏层的运算。

是卷积网络卷积神经网络的输入。

最终，利用l1范数得到最终的细节层图像：

w指的是滑动窗口，利用公式(10)得到最终的融合之后的多分辨率奇异值细节层：

其中：

和

分别对应在net网络模型中name隐藏层的输出结果。k1,k2指的是不同的源图像。最终的融合后的细节层通过多分辨率奇异值重构：

获得包含精细细节的源图像细节层融合。

步骤三中根据不同的实际应用需求，改变不同的net结构，实现不同的融合效果。

步骤四：基于步骤二得到基础层图像和步骤三得到的细节层图像，重构得到最终的高质量融合图像。

基于步骤二得到基础层图像和步骤三得到的细节层图像，利用公式(13)重构得到最终的高质量融合图像：

其中，

指的是基础层融合结果，

指的是细节层融合结果。

所述的高质量融合图像包含源图像的精细细节，且具有高对比度。

还包括步骤五：在后续目标识别和跟踪应用中，利用步骤四得到高质量融合图像能够突出显著性目标，提高目标识别的检测效率。

有益效果：

1、本发明公开的基于卷积神经网络与显著性权重的图像融合方法，利用显著性权重对分解后的基础层进行融合，提高融合图像的对比度信息，有助于突出显著性目标，提高目标识别的检测效率。

2、本发明公开的基于卷积神经网络与显著性权重的图像融合方法，通过对源图像基础层进行多分辨率奇异值分解，将分解后的源图像基础层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合，进而能够保留源图像中的背景细节，丰富融合图像的信息，提高融合图形的可视化效果，有助于进一步图像信息判定。

3、本发明公开的基于卷积神经网络与显著性权重的图像融合方法，根据不同的实际应用需求，改变不同的net结构，实现不同的融合效果，因此，具有较强的通用性，能够针对不同的图像测试不同的融合方法，节省人力和物力。

附图说明

图1为基于卷积神经网络与显著性权重的图像融合方法流程图；

图2为图像显著性权重图，图2(a)为红外源图像，图2(b)为红外图像的显著性权重，图2(c)为可见光源图像，图2(d)为可见光图像的显著性权重；

图3为选择的卷积神经网络VGG-19计算流程图；

图4为方法的融合效果示例，其中第一行是红外原图像，第二行是可见光源图像，第三行是融合之后的图像。

图5为方法12组图像融合结果的MS_SSIM评价指标曲线。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。

为了验证方法的可行性，源图像选择可见光图像、红外图像两种源图像各1张，即IR,VIS图像。神经网络模型net选择VGG-19网络，利用网络中4层隐含层name＝{relu1-1,relu2-1,relu3-1,relu4-1}。图像的灰度等级L＝256.分解层数le＝4.最终的图像融合结果，采用多尺度结构相似性MS_SSIM对选定的21组红外、可见光图像进行客观评价。

如图1所示，本发明公开的基于卷积神经网络与显著性权重的图像融合方法，包括如下步骤：

源图像导向滤波分解公式为：

其中

指的是像素点p的梯度，

和

源图像的细节层I_d由公式(16)决定：

I_d＝I-I_b (16)

k指的是源图像类型，k＝{IR,VIS}。I_p指的是像素点p的强度。q指的是图像I中的任意像素，I_q指的是像素q的强度。

公式(17)中，显著性值V^k(p)对每一个像素展开，写成：

N指的是图像中的像素数量。当像素值相等时，显著性值也相等，因此，公式(18)写成：

l指的是像素强度，S_l代表强度值等于l的像素的数量和，L指的是图像的灰度等级,L＝256。

通过公式(19)获得原始图像的显著权重图。最终的显著性值V^k(p)是归一化形式。具有大的显著性权重的区域通常对应于强度和纹理区域，其信息对于融合是有用的和必需的。基础层融合规则为：

V^IR和V^VIS指的是红外源图像IR、可见光源图像VIS的显著性权重，

指的是红外源图像IR、可见光源图像VIS的基础层，

指的是融合图像之后的基础层，所述的

即为对比度增强的融合后的基础层图像。

通过多分辨率奇异值分解方法有效保留图像的细节：

其中：le指的是分解的层数,le＝4，j指的是不同的频率信息，并且j＝{LL,LH,HL,HH}，k代表源图像，且k＝{IR,VIS}。

在卷积神经网络的隐藏层中提取图像特征：

net指的是神经网络模型,net＝VGGG-19，name指的是神经网络中隐藏层的名称,name＝{relu1-1,relu2-1,relu3-1,relu4-1}.M指的是为名name的隐藏层的输出通道数量，Φ指的是隐藏层的运算。

是卷积网络卷积神经网络的输入。

最终，利用l1范数得到最终的细节层图像：

w指的是滑动窗口，利用公式(23)得到最终的融合之后的多分辨率奇异值细节层：

其中：

和

分别对应在VGG-19网络模型中name隐藏层的输出结果。最终的融合后的细节层通过多分辨率奇异值重构：

获得包含精细细节的源图像细节层融合。

基于步骤二得到基础层图像和步骤三得到的细节层图像，利用公式(26)重构得到最终的高质量融合图像：

其中，

指的是基础层融合结果，

指的是细节层融合结果。

步骤五：采用多尺度结构相似性对融合之后的图像进行客观评价。

本方法选定了21组红外和可见光图像进行融合，并计算融合结果的MS_SSIM值，具体见表1。

表1 21组融合图像的MS_SSIM值

Images	1	2	3	4	5	6	7	8	9	10	11
												MS_SSIM	0.8933	0.9208	0.9250	0.9032	0.9412	0.90317	0.9339	0.8598	0.8467	0.8770	0.9245
Images	12	13	14	15	16	17	18	19	20	21
												MS_SSIM	0.91229	0.90030	0.88266	0.88517	0.91045	0.90972	0.90464	0.87773	0.86363	0.89071

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。