CN111311530A - 基于方向滤波器及反卷积神经网络的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于方向滤波器及反卷积神经网络的多聚焦图像融合方法，主要解决现有多聚焦图像融合方法融合精度低，图像指标不足的问题。其实现为：选择待融合的多聚焦图像数据集；针对该数据集设计初始高通方向滤波器和低通滤波器；将这滤波器组预置进反卷积神经网络模型中；利用最小化重构图像与输入图像误差的方法对网络进行训练；将两幅待融合图像输入到训练后的网络中，分别获得这两幅图像的特征图，并融合这两幅图像的特征图，得到融合特征图；将融合特征图和特定滤波器组进行卷积求和，得到最终的融合图像。本发明能提高图像融合精度，且滤波器组能设置任意大小和方向，精度高，应用范围广，可解决多聚焦图像因失焦而图像不清晰的问题。

Description

基于方向滤波器及反卷积神经网络的多聚焦图像融合方法

技术领域

本发明属于图像处理技术领域，主要涉及一种对图像融合方法，可用于多聚焦图像对信息量的增加和图像细节的获得。

背景技术

数字图像融合是在多测度空间综合处理多源图像和图像序列的技术，是指将不同传感器获得的同一景物的图像或者同一传感器在不同时刻获得的同一景物的图像，经过去噪、配准和重采样后。在通过不同的融合规则得到一幅融合图像的过程。相比于单一测度空间的图像，图像融合将同一图像的多个测度信息加以综合，整合了不同测度下的优势图像信息，优势互补，获得了有效信息量更丰富的图像，极大的提高了单一测度数据的利用率，提高了图像处理的可信度，增加了融合数据的鲁棒性，减少了单源数据的不可靠性，为后续的科学研究提供了重要的图像数据。随着5G的发展，智能驾驶等技术的发展，图像融合技术在多场景，多目标，多姿态，低延迟的领域有着更加重要的价值，必将成为人类重点研究的领域。

图像融合可以在三个不同的级别进行：决策层、特征层和像素层。其中，像素层图像融合以其易于实现、计算简单的优势受到研究者的追捧和青睐。像素层图像融合的研究更是以变换域方法为主流方向。首先，在输入图像上实施选定的变换域方法，获取图像变换后的系数。然后，结合需要融合的图像的性质和变换域方法，选用合适的融合规则对图像的变换域系数进行相应的融合操作。最后，将前述过程获取的融合系数采用与之前变换域操作相对应的反变换，来生成融合的图像。

经典的小波变换就属于变化域的方法，在融合方面取得了不错的成绩，小波变换在对二维数字图像进行一次小波变换时，可以获取该图像的四个大小相同的分量，分别是一个平滑的低频分量和三个方向各异的高频分量，由于该分量随机扰动比较大，在对图像进行重构融合时，无法精准的刻画图像的细节信息，故融合图像的信息量还有很大的提升。

西安电子科技大学的王强军在其硕士论文“基于反卷积神经网络的图像融合算法研究”中提到了可以利用反卷积神经网络作为多尺度的工具，分解得到特征图，该方法也属于变化域图像处理的方法，但在设计该反卷积神经网络模型时，初始化初始巴特沃斯高通和低通滤波器用于分解求得特征图，无法形成输入多聚焦图像完备的图像语义表达，不能够精准的提取出多聚焦图像的细节信息，无法满足后续处理的精度需求。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了基于方向滤波器及反卷积神经网络的多聚焦图像融合方法，精准提取出多聚焦图像的细节信息，满足后续处理的精度需求。

本发明的技术方案是：将初始的高通方向滤波器和初始的高斯低通滤波器预置进反卷积神经网络模型中，训练得到特定滤波器组的反卷积神经网络模型；将待融合的多聚焦图像输入到该网络模型分解得到对应的特征图；再将对应的特征图进行融合，得到融合特征图；再利用滤波器组和融合特征图进行卷积操作，得到多聚焦融合图像并计算融合图像的评价参数；通过坐标上升法，更新特定滤波器组的截止频率，预置进网络进行训练，直到融合图像的评价参数满足实际需要的阈值。具体实现步骤包括如下：

(1)选取待融合的M幅多聚焦图像，M≥30，并对这M幅多聚焦图像进行去噪、配准的预处理，得到训练样本集合；

(2)设计初始高通方向滤波器和初始高斯低通滤波器：

(2a)设计截止频率为δ₁、大小为N×N的J个高斯低通滤波器；

(2b)设计截止频率为δ₂、大小为N×N的K个高通方向可调滤波器，这些高通方向滤波器的方向角度依次为θ₁、θ₂、θ_i、…、θ_k，θ_i是第i个高通方向滤波器的方向角度，0<i≤K；

(3)构造初始滤波器组的反卷积神经网络模型：

(3b)构造网络层数为L的反卷积神经网络模型，L≥1，每层对应的特征图个数为K₁、K₂、K_j、…、K_L，K_j为第j层对应的特征图个数，0<j≤L，特征图大小为N×N；

(3b)将初始的K个高通方向滤波器和初始的J个高斯低通滤波器预置进反卷积神经网络模型中，得到初始滤波器组的反卷积神经网络模型；

(4)将M幅多聚焦图像输入到初始滤波器组的反卷积神经网络模型中进行训练：

(4a)在初始训练时，保持初始的滤波器组不变，采用迭代收缩阈值ISTA算法不断优化推断更新出特征图，在结束此过程后，保持特征图不变，采用共轭梯度下降的方法优化滤波器组，完成一个完整的迭代过程；

(4b)重复(4a)直到重构图像与原始输入多聚焦图像的差值最小，得到训练后特定滤波器组的反卷积神经网络模型；

(5)将两幅待融合的多聚焦图像I₁和I₂依次输入到训练后特定滤波器组的反卷积神经网络中，分别得到这两幅待多聚焦融合图像的K个特征图；

(6)将第一幅待融合多聚焦图像I₁的第n个特征图和第二幅待融合多聚焦图像I₂的第n个特征图进行融合，得到第n个融合特征图，其中n＝1、2、…、K，K为特征图的数量；

(7)将训练后特定滤波器组的反卷积神经网络模型中的特定滤波器组与K个融合特征图进行卷积求和，得到多聚焦融合图像；

(8)计算多聚焦融合图像的各评价参数；

(9)根据实际需要设置多聚焦融合图像各评价参数的阈值，判断多聚焦融合图像的评价参数是否大于等于设置的阈值：

若评价参数大于阈值，则此时该特定滤波器的反卷积神经网络即为最终训练后特定滤波器组的反卷积神经网络；

否则，利用坐标上升法，更新(2)中初始滤波器组的截止频率，再重复(3)～(8)，直到多聚焦融合图像的评价参数大于等于阈值，选择此时滤波器截止频率为最优截止频率，此时该特定滤波器的反卷积神经网络即为最终训练后特定滤波器组的反卷积神经网络；

(10)将两幅待融合多聚焦图像I₁和I₂依次输入到最终训练后特定滤波器组的反卷积神经网络中，重复(6)～(7)，得到最终的多聚焦融合图像。

本发明与现有的技术相比具有以下优点：

1.本发明针对多聚焦图像数据集设计高通方向滤波器，利用这些高通方向滤波器能准确、细致地推断待融合多聚焦图像的特征图，是待融合多聚焦图像的最完备的语义表达，显著提升了多聚焦图像图像融合的精度；

2.本发明采用坐标上升法选择最优截止频率的高通方向滤波器和低通滤波器，相比于循环遍历的方法，能显著的降低计算复杂度，节约计算资源和训练时间，提高了训练速度；

3.本发明通过训练得到的高通方向滤波器，可以对待融合多聚焦图像进行分解和重构，重构的多聚焦图像具有更多的图像信息，结果更准确；

4.本发明设计的高通方向滤波器的大小、个数、方向都能任意调整，设计更加简单，且同时适应的领域更广。

附图说明

图1是本发明的实现总流程图；

图2是本发明中设计的初始的高通方向滤波器和初始的低通滤波器示例图；

图3是本发明中训练完成的反卷积网络推断的特征图示例图；

图4是本发明中使用的两幅待融合多聚焦图像示例图；

图5是本发明的融合仿真结果示例图。

具体实施方式

下面结合附图对本发明的实施例和效果作详细描述。

参照图1，本发明基于方向滤波器(及反卷积神经网络)的多聚焦图像融合方法，实现步骤包括如下：

步骤1，设计初始的高通方向滤波器和初始的高斯低通滤波器。

高通方向滤波器具有能够精确提取图像在对应方向上的细节信息的功能，高斯低通具有平滑图像，滤除噪声的功能，它们设计方法如下：

(1.1)设计大小为N，截止频率为δ₁的初始高斯低通滤波器：

根据二维高斯函数：

得出截止频率为δ₁的如下计算公式：

δ₁＝πσ*N/2π

式中，σ为f(x,y)的方差，x,y为笛卡尔坐标系坐标轴，N为高斯低通滤波器的大小；

(1.2)设计截止频率为δ₂，大小为N，方向为θ的初始高通方向滤波器；

可调高通方向滤波器是通过对一组基波滤波器进行线性组合叠加而得到，其设计过程如下：

(1.2.1)基波滤波器的表达式为：

计算出高通方向滤波器截止频率δ₂：δ₂＝πσ*N/2π，式中σ为G(x,y)的方差，x,y为笛卡尔坐标系，N为滤波器的大小；

(1.2.2)对基波滤波器的笛卡尔坐标系进行求导；

计算G(x,y)对x的一阶导数：

计算G(x,y)对y的一阶导数：

(1.2.3)将

和

的线性组合合成任意方向θ的

滤波器：

本步骤设计的初始高通方向滤波器和初始高斯低通滤波器组，如图2所示。

步骤2，构建初始滤波器组的反卷积神经网络模型。

本步骤是通过将初始的高通方向滤波器和初始的低通滤波器预置到反卷积神经网络模型实现，即将反卷积神经网络模型中随机产生的滤波器替换成截止频率为δ₁，大小为N的J个初始高斯低通滤波器和截止频率为δ₂，大小为N，方向为θ的K个初始高通方向滤波器，得到初始滤波器组的反卷积神经网络模型。

步骤3，对初始滤波器组的反卷积神经网络模型进行训练。

对初始滤波器组的反卷积神经网络进行训练，是利用输入多聚焦图像和重构图像间最小化误差的方法进行训练，得到特定滤波器组的网络模型，通过该特定滤波器组反卷积神经网络模型可以推断出输入多聚焦图像的特征图，训练步骤如下：

(3.1)在初始训练时，保持初始的滤波器组不变，采用迭代收缩阈值ISTA算法不断优化推断更新出特征图：

(3.1.1)初始化特征图Z₀，设置迭代收缩阈值ISTA算法的迭代次数d；

(3.1.2)重构输入多聚焦图像：

式中R为重构系数；

(3.1.3)计算重构图像的重构误差：

式中y为输入的多聚焦图像；

(3.1.4)对特征图进行梯度迭代得到迭代后的特征图Z'：

Z'＝Z₀-λRβe

式中λ为正则权重系数，β为梯度迭代系数；

(3.1.5)对特征图Z'进行收缩操作得到收缩后的特征图Z”：

Z”＝max(|Z'|-β,0)sign(Z')；

(3.1.6)对收缩后的特征图Z”进行反池化操作,得到反池化操作后的特征图Z”'：

Z″′＝u*Z″

式中u为反池化系数，*代表卷积操作；

(3.1.7)重复(3.1.2)～(3.1.6)直到达到迭代次数d，退出循环，得到最终的特征图Z，如图3所示；

(3.2)保持特征图不变，采用共轭梯度下降的方法优化滤波器组，完成一个完整的迭代过程；

(3.2.1)采用共轭梯度下降的方法优化滤波器，通过算如下公式进行：

式中，y是输入的多聚焦图像，K表示特征图的数量，zⁱ表示第i个输入多聚焦图像的特征图，f为优化所得的滤波器，Er为优化误差；

(3.3)重复(3.1)和(3.2)直到重构图像与原始输入多聚焦图像的差值最小，得到训练后特定滤波器组的反卷积神经网络模型。

步骤4，获得多聚焦融合图像。

(4.1)将两幅待融合的多聚焦图像I₁和I₂依次输入到训练后特定滤波器组的对反卷积神经网络中，分别得到这两幅待融合的多聚焦图像的K个特征图，两幅待融合图像如图4所示；

(4.2)对两幅待融合多聚焦图像I₁和I₂的第k个特征图按照绝对值取大的融合规则进行融合，得到第k个融合特征图，绝对值取大的融合规则通过如下进行：

式中，F(i,j)，A(i,j)，B(i,j)表示图像在点(i,j)的灰度值，abs()表示取绝对值；

(4.2)将K个融合特征图与特定滤波器组进行卷积求和，得到多聚焦融合图像。

步骤5，计算融合图像的各评价参数。

多聚焦融合图像的评价参数包括：信息熵IE和平均梯度AG，各参数的计算公式如下：

(5.1)信息熵IE：

式中L表示图像量化的灰度等级，P(x_i)表示灰度级x_i的分布概率；

(5.2)平均梯度AG：

式中H和V分别表示图像的行数和列数，x(i,j)表示图像在(i,j)处的像素值；

步骤6，设置多聚焦融合图像各评价参数阈值。

(6.1)设定多聚焦融合图像各评价参数的阈值：

融合图像各评价参数阈值包括：信息熵阈值T_IE、平均梯度阈值T_AG，本实例中对这些阈值的设置是通过西安电子科技大学硕士研究生王强军的“基于反卷积神经网络的图像融合算法”中提到的融合方法进行，即利用该融合方法进行图像融合后再计算其评价参数信息熵IE'、平均梯度AG'，将该方法计算出的评价参数分别设置为本实例多聚焦融合图像各评价参数的阈值，即信息熵阈值T_IE＝IE'，平均梯度阈值T_AG＝AG'；

(6.2)判断融合多聚焦图像参数信息熵IE和平均梯度AG是否满足设定的对应阈值：

若评价参数同时满足：

则此时该特定滤波器的反卷积神经网络即为最终训练后特定滤波器组的反卷积神经网络；

若评价参数中任意一个参数小于阈值，即IE<T_IE，或AG<T_AG，则利用坐标上升法更新步骤2中初始滤波器组的截止频率，再重复(3)～(5)，直到多聚焦融合图像的评价参数均大于等于阈值，选择此时滤波器截止频率为最终截止频率，此时该特定滤波器的的反卷积神经网络即为最终训练后特定滤波器组的反卷积神经网络。

步骤7，获得最终的多聚焦融合图像。

将两幅待融合多聚焦图像I₁和I₂依次输入到最终训练后特定滤波器组的反卷积神经网络中，重复步骤(3)和(4)，得到最终的多聚焦融合图像，结果如图5所示。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解本发明的内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于方向滤波器及反卷积神经网络的多聚焦图像融合方法，其特征在于，包括如下：

(1)选取待融合的M幅多聚焦图像，M≥30，并对这M幅多聚焦图像进行去噪、配准的预处理，得到训练样本集合；

(2)设计初始高通方向滤波器和初始高斯低通滤波器：

(2a)设计截止频率为δ₁、大小为N×N的J个高斯低通滤波器；

(2b)设计截止频率为δ₂、大小为N×N的K个高通方向可调滤波器，这些高通方向滤波器的方向角度依次为θ₁、θ₂、θ_i、…、θ_k，θ_i是第i个高通方向滤波器的方向角度，0<i≤K；

(3)构造初始滤波器组的反卷积神经网络模型：

(3b)构造网络层数为L的反卷积神经网络模型，L≥1，每层对应的特征图个数为K₁、K₂、K_j、…、K_L，K_j为第j层对应的特征图个数，0<j≤L，特征图大小为N×N；

(3b)将初始的K个高通方向滤波器和初始的J个高斯低通滤波器预置进反卷积神经网络模型中，得到初始滤波器组的反卷积神经网络模型；

(4)将M幅多聚焦图像输入到初始滤波器组的反卷积神经网络模型中进行训练：

(4a)在初始训练时，保持初始的滤波器组不变，采用迭代收缩阈值ISTA算法不断优化推断更新出特征图，在结束此过程后，保持特征图不变，采用共轭梯度下降的方法优化滤波器组，完成一个完整的迭代过程；

(4b)重复(4a)直到重构图像与原始输入多聚焦图像的差值最小，得到训练后特定滤波器组的反卷积神经网络模型；

(5)将两幅待融合的多聚焦图像I₁和I₂依次输入到训练后特定滤波器组的反卷积神经网络中，分别得到这两幅待多聚焦融合图像的K个特征图；

(6)将第一幅待融合多聚焦图像I₁的第n个特征图和第二幅待融合多聚焦图像I₂的第n个特征图进行融合，得到第n个融合特征图，其中n＝1、2、…、K，K为特征图的数量；

(7)将训练后特定滤波器组的反卷积神经网络模型中的特定滤波器组与K个融合特征图进行卷积求和，得到多聚焦融合图像；

(8)计算多聚焦融合图像的各评价参数；

(9)根据实际需要设置多聚焦融合图像各评价参数的阈值，判断多聚焦融合图像的评价参数是否大于等于设置的阈值：

若评价参数大于阈值，则此时该特定滤波器的反卷积神经网络即为最终训练后特定滤波器组的反卷积神经网络；

否则，利用坐标上升法，更新(2)中初始滤波器组的截止频率，再重复(3)～(8)，直到多聚焦融合图像的评价参数大于等于阈值，选择此时滤波器截止频率为最优截止频率，此时该特定滤波器的反卷积神经网络即为最终训练后特定滤波器组的反卷积神经网络；

(10)将两幅待融合多聚焦图像I₁和I₂依次输入到最终训练后特定滤波器组的反卷积神经网络中，重复(6)～(7)，得到最终的多聚焦融合图像。

2.根据权利要求1所述的方法，其特征在于，(2a)中的初始高斯低通滤波器截止频率为δ₁，计算如下：

δ₁＝πσ*N/2π

其中σ为f(x,y)的方差，

x,y为笛卡尔坐标系坐标轴，N为滤波器的大小。

3.根据权利要求1所述的方法，其特征在于，(2b)中设计截止频率为δ₂，方向角度为θ的初始高通方向滤波器，计算公式如下：

δ₂的计算：δ₂＝πσ*N/2π

式中σ为G(x,y)的方差，

x,y为笛卡尔坐标系坐标轴，N为滤波器的大小。

θ的计算：

式中

为G(x,y)在x方向上的一阶导数，

为G(x,y)在y方向上的一阶导数。

4.根据权利要求1所述的方法，其特征在于，(3b)中在将初始的K个高通方向滤波器和初始的J个高斯低通滤波器预置进反卷积神经网络模型中，是将反卷积神经网络模型中随机产生的滤波器替换成初始的K个高通方向滤波器和初始的J个高斯低通滤波器。

5.根据权利要求1所述的方法，其特征在于，(4a)中采用迭代收缩阈值ISTA算法不断优化推断更新特征图，实现如下：

(4a1)初始化特征图Z₀，设置迭代收缩阈值ISTA算法的迭代次数d；

(4a2)重构输入多聚焦图像：

式中R为重构系数；

(4a3)计算重构多聚焦图像的重构误差：

式中y为输入多聚焦图像；

(4a4)对特征图进行梯度迭代得到迭代后的特征图Z'：

Z'＝Z₀-λRβe

式中λ为正则权重系数，β为梯度迭代系数；

(4a5)对特征图Z'进行收缩操作得到收缩后的特征图Z”：

Z”＝max(|Z'|-β,0)sign(Z')；

(4a6)对收缩后的特征图Z”进行反池化操作,得到反池化操作后的特征图Z”'：

Z”'＝u*Z”

式中u为反池化系数，*代表卷积操作；

(4a7)重复(4a2)～(4a6)直到达到迭代次数d，退出循环，得到最终的特征图Z。

6.根据权利要求1所述的方法，其特征在于，(4a)中采用共轭梯度下降的方法优化特定滤波器，通过如下公式进行：

式中，y是输入的多聚焦图像，K表示特征图的数量，zⁱ表示第i个输入多聚焦图像的特征图，f为优化所得的滤波器，Er为优化误差。

7.根据权利要求1所述的方法，其特征在于，(6)中对两幅待融合多聚焦图像I₁和I₂的第n个特征图按照绝对值取大的融合规则进行融合：

绝对值取大的融合规则通过如下公式：

式中，F(i,j)，A(i,j)，B(i,j)表示图像在点(i,j)的灰度值，abs()表示取绝对值。

8.根据权利要求1所述的方法，其特征在于，(8)中计算多聚焦融合图像的各评价参数，包括信息熵IE、平均梯度AG；

式中L表示图像量化的灰度等级，P(x_i)表示灰度级x_i的分布概率；H和V分别表示图像的行数和列数，x(i,j)表示图像在(i,j)处的像素值。

Images