CN109919892A - 滤波器预置深度学习神经网络的图像融合方法 - Google Patents

Abstract

本发明提出一种滤波器预置深度学习神经网络的图像融合方法，主要解决现有多尺度小波变换图像融合方法中存在的融合图像信息熵和平均梯度较低的问题。其实现方案为：预置单层反卷积网络的滤波器为四阶巴特沃斯滤波器；获取样本图像；使用样本图像来训练单层反卷积网络滤波器；使用滤波器训练好的单层反卷积网络来推断待融合图像的特征图；融合待融合图像的特征图；将融合特征图与单层反卷积网络的滤波器卷积求和，生成融合图像。本发明能够稳定且有效地得到信息更丰富、细节更清晰的融合图像，提高了多聚焦融合图像的信息熵和平均梯度，可用于多摄像头手机、数码相机的摄像场景。

Description

滤波器预置深度学习神经网络的图像融合方法

技术领域

本发明属于数字图像处理技术领域，特别涉及一种图像融合方法，可用于多摄像头手机、数码相机的摄像场景。

背景技术

深度学习神经网络有很多种，反卷积网络是深度学习神经网路中的一种网络模型，它通过无监督的学习训练，能够用学习训练好的网络来推断输入图像的多个特征图，并且利用这些推断出的特征图和反卷积网络的滤波器实现对原图像的复原重构。

图像融合是将来自多种传感器针对同一目标而获取的包含不同信息的多幅原始图像按一定的融合规则进行合并，以得到包含每个传感器获得的重要信息的一幅图像的过程。图像融合技术可以兼顾每个传感器所获取的图像信息，有效地利用每幅图像的优势和所感兴趣的信息，尽量弥补原始图像的不足，削弱原始图像的冗余信息，显著提升图像的清晰度和信息的丰富度，能够更加全面描述目标信息。目前被广泛应用在摄影、医学、测绘、工业产品检测等领域。

实际应用中，像素级图像融合拥有能保留尽可能多的场景信息，精度更高的优势，成为使用最多的方法。像素级图像融合方法可分为基于空间域的图像融合和基于变换域的图像融合两大类。基于空间域的图像融合是直接在图像像素灰度空间上对图像融合。基于变换域的图像融合是对原始图像进行图像变换后对变换系数进行融合的方法。实际效果往往是基于变换域的图像融合胜过基于空间域的图像融合。

目前基于变换域的图像融合方法是各国学者研究的热点。基于变换域的图像融合是先对源图像进行图像变换，然后再对变换域系数进行融合，得到融合图像的变换系数，最后再进行逆变换重构融合图像。常用的图像融合变换域方法是理论完备的多尺度小波变换。

现有基于多尺度小波变换的图像融合是先对待融合图像进行小波变换分解，分别得到低频近似图像和各个尺度、各个方向上的高频细节图像；然后分别对低频子带和高频子带采用选定的融合规则获取更多显著特征和信息来得到融合后的小波系数；最后，由融合后的小波低频子带以及各个高频子带经小波逆变换，重构出最终的融合图像。但这种基于多尺度小波变换的图像融合不能够有效地全面反映原始图像的信息，其所获得的融合图像信息不够丰富，细节不够清晰。

发明内容

本发明的目的在于提出一种滤波器预置深度学习神经网络的图像融合方法，以解决现有多尺度小波变换图像融合方法中融合图像信息熵和平均梯度较低的问题。

本发明的技术方案是，首先为单层反卷积网络预置所设计的一组相同大小的四阶巴特沃斯滤波器；然后选取大小相同的多聚焦图像样本用来学习反卷积网络滤波器；再将两幅待融合图像输入学习好的反卷积网络，分别为它们推断出各自的特征图；然后采用选定的融合规则对特征图进行融合，得到融合后的特征图；最后使用融合后的特征图与反卷积网络的滤波器卷积求和，生成最终融合图像。具体实现包括有如下：

(1)设置单层反卷积网络的滤波器个数为K，并将其中的1个滤波器预置为p×p大小的四阶低通巴特沃斯滤波器，另外K-1个滤波器预置为p×p大小的四阶高通巴特沃斯滤波器，将这K个滤波器标记为{f₁,...,f_n,...,f_K}，K≥1，p≥3，1≤n≤K；

(2)选取M幅大小相同的多聚焦图像作为样本图像，M≥2；

(3)设置反卷积网络的总循环轮数为E，将样本图像输入到反卷积网络，采用ISTA方法和共轭梯度下降法对K个滤波器进行E轮训练，得到滤波器训练好的反卷积网络；

(4)分别将两个待融合图像A和B输入到滤波器训练好的反卷积网络中，分别推断出第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}；

(5)对第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}的相同下标特征图分别进行融合，得到K个融合特征图{F₁,...,F_n,...,F_K}；

(6)对K个融合特征图{F₁,...,F_n,...,F_K}和K个反卷积网络的滤波器{f₁,...,f_n,...,f_K}执行相同下标的卷积，并对这K个卷积结果求和，生成融合图像F。

本发明与现有的技术相比，具有以下优点：

1)本发明使用单层反卷积网络来推断待融合图像的特征图，这些特征图能全面地反映待融合图像更加丰富的信息，避免了现有的多尺度小波变换在获取待融合图像的各子带后，难以全面地反映待融合图像信息的缺点。

2)本发明通过预置反卷积网络的滤波器，结合邻域能量取大的融合规则，能够稳定且有效地实现对待融合图像更好的融合，能得到信息更丰富、细节更清晰的融合图像，相比现有小波变换和随机初始化滤波器的反卷积网络，提高了多聚焦融合图像的信息熵和平均梯度。

附图说明

图1是本发明的实现流程图；

图2是本发明实施例中的所预置的4个四阶巴特沃斯滤波器；

图3是本发明实施例中所预置的四阶巴特沃斯滤波器频谱；

图4是本发明实施例中训练好的4个四阶巴特沃斯滤波器；

图5是本发明实施例中训练好的四阶巴特沃斯滤波器频谱；

图6是本发明实施例中的四组待融合多聚焦图像；

图7是本发明实施例中第一组的两幅待融合图像的特征图；

图8是本发明实施例中的四组融合图像结果。

具体实施方式

下面结合附图和具体实施例对本发明作详细描述。

参照图1，本发明实例的实现步骤如下：

步骤1，预置单层反卷积网络的滤波器。

现有的单层反卷积网络的滤波器是随机初始化的，本发明预置反卷积网络的滤波器为四阶巴特沃斯滤波器，具体步骤实现如下：

(1a)设置单层反卷积网络滤波器的个数为4，并将这4个滤波器标记为{f₁,f₂,f₃,f₄}；

(1b)预置这4个滤波器的其中1个为7×7大小的四阶低通巴特沃斯滤波器，在频域中设计7×7大小的四阶低通巴特沃斯滤波器H(u,v)：

其中，u和v分别为频域坐标系中的行和列坐标，D₀是以坐标距离为单位的截止频率，本实施例中将D₀设置为π/2对应的3/2；D(u,v)是当前坐标到滤波器中心的距离；

(1c)对频域中所设计的7×7大小的四阶低通巴特沃斯滤波器H(u,v)做二维傅里叶逆变换得到1个反卷积网络预置的7×7大小的四阶低通巴特沃斯滤波器，如图2(a)所示，其二维傅里叶频谱图如图3(a)所示；

(1d)预置4个滤波器中的其他3个为7×7大小的四阶高通巴特沃斯滤波器，在频域中设计7×7大小的四阶高通巴特沃斯滤波器G(u,v)：

其中，u和v分别为频域坐标系中的行和列坐标，D₀是以坐标距离为单位的截止频率，本实施例中将3个四阶高通巴特沃斯滤波器的D₀统一设置为3π/4对应的9/4，D(u,v)是当前坐标到滤波器中心的距离；

(1e)对频域中所设计的7×7大小的四阶高通巴特沃斯滤波器G(u,v)做二维傅里叶逆变换得到3个反卷积网络预置的7×7大小的四阶高通巴特沃斯滤波器，如图2(b)～2(d)所示，其二维傅里叶频谱图如图3(b)所示。

步骤2，选取30幅大小相同的多聚焦图像作为样本图像用于单层反卷积网络的训练。

步骤3，训练单层反卷积网络滤波器。

(3a)设置训练单层反卷积网络滤波器的总循环轮数为5；

(3b)将30个样本图像输入反卷积网络中，先保持滤波器不变，采用ISTA方法推断出每个样本图像的4个特征图；

(3c)保持特征图不变，采用共轭梯度下降法对反卷积网络中的4个滤波器进行训练；

(3d)循环重复步骤(3b)～(3c)，直到循环轮数达到总循环轮数5，得到滤波器训练好的反卷积网络。

本实例中对图2的4个反卷积网络滤波器训练后，得到的滤波器如图4所示。

本实例中对图3的四阶巴特沃斯滤波器频谱训练后，得到的滤波器频谱如图5所示。其中，图5(a)是训练好的四阶低通巴特沃斯滤波器频谱图，图5(b)是训练好的四阶高通巴特沃斯滤波器频谱图。

步骤4，推断待融合图像的特征图。

现有的推断待融合图像的特征图方法有多尺度小波变换方法和单层反卷积网络方法，本实例采用的是单层反卷积网络方法，具体步骤实现如下：

本实例中的四组待融合多聚焦图像，如图6所示。以第一组的两幅待融合图像为例使用单层反卷积网络推断其特征图。其中，图6(a1)是一幅左聚焦图像，记为待融合图像A，图6(a2)是一幅右聚焦图像，记为待融合图像B。将待融合图像A和B输入到滤波器训练好的反卷积网络中，分别推断待融合图像A的4个特征图{A₁,A₂,A₃,A₄}和待融合图像B的4个特征图{B₁,B₂,B₃,B₄}；

第一组的两幅待融合图像A和B的特征图，如图7所示。其中，图7(a1)～7(a4)为待融合图像A的4个特征图{A₁,A₂,A₃,A₄}。待融合图像A的第一个特征图A₁主要包含低频信息，后面三个特征图{A₂,A₃,A₄}主要包含高频信息。图7(b1)～7(b4)为待融合图像B的4个特征图{B₁,B₂,B₃,B₄}。待融合图像B的第一个特征图B₁主要包含低频信息，后面三个特征图{B₂,B₃,B₄}主要包含高频信息。

步骤5，融合待融合图像的特征图。

现有的融合待融合图像的特征图的规则有绝对值取大、加权平均和邻域能量取大。本实例采用但不限于邻域能量取大的融合规则，具体步骤实现如下：

(5a)设第一组的左聚焦待融合图像A的第n个特征图A_n在坐标(i,j)处的特征值为A_n(i,j)，并求取以坐标(i,j)为中心的7×7大小邻域的能量EA_n(i,j)：

其中，1≤n≤4；

(5b)设第一组的右聚焦待融合图像B的第n个特征图B_n在坐标(i,j)处的特征值为B_n(i,j)，并求取以坐标(i,j)为中心的7×7大小邻域的能量EB_n(i,j)：

(5c)比较第一组的左聚焦待融合图像A的第n个特征图A_n在坐标(i,j)处的7×7大小邻域的能量EA_n(i,j)与第一组的右聚焦待融合图像B的第n个特征图B_n在坐标(i,j)处的7×7大小邻域的能量EB_n(i,j)的大小，取坐标(i,j)处的7×7大小邻域的能量较大的特征值作为第n个融合特征图F_n在坐标(i,j)处的特征值F_n(i,j)：

(5d)按照步骤(5a)～(5c)将待融合图像A的4个特征图{A₁,A₂,A₃,A₄}和待融合图像B的4个特征图{B₁,B₂,B₃,B₄}执行相同下标的融合，得到4个融合特征图{F₁,F₂,F₃,F₄}。

步骤6，卷积求和生成融合图像。

对4个融合特征图{F₁,F₂,F₃,F₄}和4个反卷积网络的滤波器{f₁,f₂,f₃,f₄}执行相同下标的卷积，并对4个卷积结果求和，生成融合图像F。

本实例对图6中的四组待融合多聚焦图像融合后，得到四组融合图像如图8所示。

本发明的效果通过以下仿真作进一步说明。

一.仿真条件

本实验需软件实现，其软件平台为：Windows 10操作系统、Matlab R2018a。实验中使用四组待融合图像，每组图像由一幅左聚焦图像和一幅右聚焦图像组成。

二.仿真内容

分别用本发明方法、多尺度小波变换方法以及随机初始化滤波器的反卷积网络方法对四组待融合多聚焦图像进行融合仿真实验，并对这三种方法得到的融合图像分别计算信息熵和平均梯度，结果如表1所示。

表1四组融合图像的信息熵和平均梯度

从表1可见，本发明方法在信息熵和平均梯度上，相比于多尺度小波变换方法和随机初始化滤波器的反卷积网络方法均得到了提升。

Claims (5)

1.一种滤波器预置深度学习神经网络的图像融合方法，其特征在于，包括如下：

(1)设置单层反卷积网络的滤波器个数为K，并将其中的1个滤波器预置为p×p大小的四阶低通巴特沃斯滤波器，另外K-1个滤波器预置为p×p大小的四阶高通巴特沃斯滤波器，将这K个滤波器标记为{f₁,...,f_n,...,f_K}，K≥1，p≥3，1≤n≤K；

(2)选取M幅大小相同的多聚焦图像作为样本图像，M≥2；

(3)设置反卷积网络的总循环轮数为E，将样本图像输入到反卷积网络，采用ISTA方法和共轭梯度下降法对K个滤波器进行E轮训练，得到滤波器训练好的反卷积网络；

(4)分别将两个待融合图像A和B输入到滤波器训练好的反卷积网络中，分别推断出第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}；

(5)对第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}的相同下标特征图分别进行融合，得到K个融合特征图{F₁,...,F_n,...,F_K}；

(6)对K个融合特征图{F₁,...,F_n,...,F_K}和K个反卷积网络的滤波器{f₁,...,f_n,...,f_K}执行相同下标的卷积，并对这K个卷积结果求和，生成融合图像F。

2.根据权利要求1所述的方法，其特征在于，(1)的四阶低通巴特沃斯滤波器，预置步骤如下：

首先，在频域中设计p×p大小的四阶低通巴特沃斯滤波器，表示如下：

其中，u和v分别为频域坐标系中的行和列坐标，D₀是以坐标距离为单位的截止频率，D(u,v)是当前坐标到滤波器中心的距离；

然后，对频域中所设计的p×p大小的四阶低通巴特沃斯滤波器H(u,v)做二维傅里叶逆变换，得到反卷积网络中预置的1个p×p大小的四阶低通巴特沃斯滤波器。

3.根据权利要求1所述的方法，其特征在于，(1)的四阶高通巴特沃斯滤波器，预置步骤如下：

首先，在频域中设计p×p大小的四阶高通巴特沃斯滤波器，表示如下：

其中，u和v分别为频域坐标系中的行和列坐标，D₀是以坐标距离为单位的截止频率，D(u,v)是当前坐标到滤波器中心的距离；

然后，对频域中所设计的p×p大小的四阶高通巴特沃斯滤波器G(u,v)做二维傅里叶逆变换，得到反卷积网络预置的p×p大小的四阶高通巴特沃斯滤波器。

4.根据权利要求1所述的方法，其特征在于(3)中采用ISTA方法和共轭梯度下降法对K个滤波器进行E轮训练，实现步骤如下：

(3a)将M个样本图像输入反卷积网络中，先保持滤波器不变，采用ISTA方法推断出每个样本图像的K个特征图；

(3b)保持特征图不变，采用共轭梯度下降法对反卷积网络中的K个滤波器进行训练；

(3c)循环重复步骤(3a)～(3b)，直到循环轮数达到总循环轮数E，得到滤波器训练好的反卷积网络。

5.根据权利要求1所述的方法，其特征在于(5)的对两幅待融合图像的特征图进行融合，实现步骤如下：

(5a)设第一幅待融合图像A的第n个特征图A_n在坐标(i,j)处的特征值为A_n(i,j)，并求取以坐标(i,j)为中心的q×q大小邻域的能量EA_n(i,j)：

其中，q≥1，1≤n≤K；

(5b)设第二幅待融合图像B的第n个特征图B_n在坐标(i,j)处的特征值为B_n(i,j)，并求取以坐标(i,j)为中心的q×q大小邻域的能量EB_n(i,j)：

其中，q≥1，1≤n≤K；

(5c)比较第一幅待融合图像A的第n个特征图A_n在坐标(i,j)处的q×q大小邻域的能量EA_n(i,j)和第二幅待融合图像B的第n个特征图B_n在坐标(i,j)处的q×q大小邻域的能量EB_n(i,j)的大小，取坐标(i,j)处的q×q大小邻域的能量较大的特征值作为第n个融合特征图F_n在坐标(i,j)处的特征值F_n(i,j)：

其中，1≤n≤K。