CN112785539A - 基于图像自适应分解及参数自适应的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开一种基于图像自适应分解及参数自适应的多聚焦图像融合方法，本发明的实现步骤为：1、构建反卷积神经网络；2、选取多聚焦图像；3、对图像进行自适应分解；4、对低频特征图和高频特征图进行融合；5、重构多聚焦融合图像。本发明对同场景的大小相同的两幅多聚焦图像进行融合，将通过反卷积神经网络自适应得到的高频和低频系数作为待融合图像的最佳分解系数，并将不同方向的高频特征图提取不同方向的空间频率特征输入脉冲耦合神经网络进行融合，突出了图像中的重要特征和边缘细节信息，显著提高了融合后图像的清晰度和对比度。

Description

基于图像自适应分解及参数自适应的多聚焦图像融合方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像清晰度增强技术领域中的一种基于图像自适应分解及参数自适应的多聚焦图像融合方法。本发明可用于在同一场景拍摄的聚焦距离远近不同的两幅多聚焦图像的融合中，在提取了图像边缘的清晰特征的同时，保留了聚焦度更高的清晰区域，提升最终融合图像的清晰度。

背景技术

基于变换域的图像融合方法将图像施加变换域的某种方法得到其不同分解成分系数，并对各个分解成分系数按照一定融合规则处理，最后按照变换函数做逆变换，得到最终的处理图像。根据变换域融合方法，我们可以把融合过程主要分成两个部分，一是对待融合图像使用分解方法，得到变换域系数；二是对不同性质的变换域系数，设计不同的融合规则，即分解方法和融合规则的设计。在常规的变换域图像融合算法中，对待融合图像往往采用固定的分解方法，之后在对变换域系数进行融合时，也采用固定的融合规则，无法针对图像内容自适应地设计分解方法，以及根据变换域系数的特点，自适应地设计融合规则。

反卷积神经网络是由Zeiler等人在过去几年间提出和改进的一种使用无监督且自适应训练方式的网络。反卷积神经网络是可采用推断分解手段建立层级图像表示的一种架构。这些分层特征图像包含了低、中、高等全尺度的信息，同时这些分层特征图像也能够重构回输入图像。反卷积神经网络与卷积神经网络的相同之处在于都存在卷积和池化运算，其思想大体相似，不同之处在于卷积神经网络是执行输入图像和滤波器从底层到上层的卷积运算，实现获取上层的特征图。而反卷积神经网络中特征图与滤波器的卷积是从顶层向下层依次实施的。当图像输入到该网络模型中，可获得该图像在网络不同层次上的特征图，这些特征图可以完全重构出输入图像。该方法的提出，可以视为是对图像进行多尺度变换的一种补充，为现有变换域图像融合开辟了一条新的道路。

内蒙古科技大学在其申请的专利文献“基于双通道PCNN的多聚焦图像融合方法”(申请日：2012年6月7日，申请号：201210185671.0，申请公布号：102722877A)中公开了一种基于双通道PCNN的多聚焦图像融合方法。该方法分别将在同一场景拍摄的聚焦距离远近不同的两幅图像经非下采样轮廓波变换NSCT(Nonsubsampled Contourlet Transform)变换后得到多个不同频率分解系数，将所有的分解系数作为外部输入刺激，送入到固定参数的双通道脉冲耦合神经网络PCNN(Pulse Coupled Neural Network)中进行融合，得到融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像。该方法虽然克服了传统多聚焦图像融合方法的缺陷，在一定程度上提高了融合图像的质量，但是，该方法仍然存在的不足之处是，该方法中将双通道PCNN中的参数均设定为固定值，由于网络中的参数无法随输入网络的内容自适应的改变，无法根据不同的输入内容得到最适合此输入的参数，故融合性能不够稳定。

西安电子科技大学在其申请的专利文献“基于方向滤波器及反卷积神经网络的多聚焦图像融合方法”(申请日：2020年1月22日，申请号：202010075192.8，申请公布号：CN111311530A)中公开了一种基于方向滤波器及反卷积神经网络的多聚焦图像融合方法。该方法选择两幅在同一场景拍摄的聚焦距离远近不同的多聚焦图像；设计初始高通方向滤波器和低通滤波器；将这滤波器组预置进反卷积神经网络模型中；使用所有待融合图像对滤波器进行训练；将两幅待融合图像与训练后的滤波器进行处理，分别获得这两幅图像的特征图，并使用绝对值取大的方法进行融合，得到融合特征图；将融合特征图和特定滤波器组进行卷积求和，得到最终的融合图像。该方法比传统的小波图像融合方法的融合效果有所提高，其设计的方向滤波器，可以提取图像在某一方向上细节信息，但是，该方法仍然存在的不足之处是，在反卷积神经网络训练过程中，使用所有待融合图像对滤波器进行训练，导致不同内容的图像所得到的滤波器特性均相同，无法使分解方法最好地表述图像的内容，导致融合图像分辨率低，评价参数低。该方法在设计融合规则时，对所有特征图简单地采用绝对值取大的方式，没有针对高频特征图和低频特征图的特点有针对性地去进行设计，也没有针对不同方向的高频特征图分别设计融合规则，故融合图像质量还有很大提升空间。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于图像自适应分解及参数自适应的多聚焦图像融合方法，用于解决现有融合图像清晰度差，无法根据图像内容自适应地得到待融合图像的最佳分解系数的问题。

实现本发明目的的思路是，将通过反卷积神经网络自适应得到的高频和低频系数作为待融合图像的最佳分解系数，针对分解系数的特点有针对性地去进行设计融合规则，采用不同方向的空间频率特征作为脉冲耦合神经网络的输入激励对分解系数进行融合。将融合后的分解系数输入到训练后的反卷积神经网络中，重构得到多聚焦融合图像。

为实现上述目的，本发明的步骤包括如下：

(1)构建反卷积神经网络：

构造一个由输入层、反卷积层和池化层组成的反卷积神经网络，所述反卷积层包含六个7*7大小和截止频率均相同并联的滤波器，其中一个为低通高斯滤波器，其余五个为0°、45°、90°、135°、180°方向角度的高通Gabor方向滤波器，在

范围内按照步长

依次选取每个滤波器的16个截止频率；

(2)选取多聚焦图像：

选取两幅在同一场景同时拍摄的大小相同的多聚焦图像I₁和I₂；

(3)对图像进行自适应分解：

(3a)将两幅多聚焦图像I₁和I₂输入到反卷积神经网络中，固定滤波器，利用目标函数分别计算多聚焦图像I₁重构图像和重构前多聚焦图像I₁的误差以及多聚焦图像I₂重构图像和重构前多聚焦图像I₂的误差，通过迭代收缩阈值算法更新每个特征图，直到目标函数最小为止，分别得到多聚焦图像I₁的最优特征图和多聚焦图像I₂的最优特征图；

(3b)固定特征图，利用目标函数分别计算多聚焦图像I₁重构图像和重构前多聚焦图像I₁的误差以及多聚焦图像I₂重构图像和重构前多聚焦图像I₂的误差，通过共轭梯度公式更新每个特征图，直到目标函数最小为止，分别得到多聚焦图像I₁的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图以及多聚焦图像I₂的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图，将所有的特征图组成图像I₁和I₂的最佳分解系数；；

(4)对低频特征图和高频特征图进行融合：

(4a)利用空间频率特征公式，分别提取图像I₁和I₂的0°方向高频特征图中0°方向空间频率特征H₁和H₂，将H₁和H₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的0°方向的高频特征图的融合图；

(4b)利用空间频率特征公式，分别提取图像I₁和I₂的45°方向高频特征图中45°方向空间频率特征S₁和S₂，将S₁和S₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的45°方向的高频特征图的融合图；

(4c)利用空间频率特征公式，分别提取图像I₁和I₂的90°方向的高频特征图中90°方向空间频率特征G₁和G₂，将G₁和G₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的90°方向的高频特征图的融合图；

(4d)利用空间频率特征公式，分别提取图像I₁和I₂的135°方向的高频特征图中135°方向空间频率特征P₁和P₂，将P₁和P₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的135°方向的高频特征图的融合图；

(4e)利用空间频率特征公式，分别提取图像I₁和I₂的180°方向的高频特征图中180°方向空间频率特征T₁和T₂，将T₁和T₂输入到脉冲耦合神经网络中，输出图像O₁和O₂的180°方向的高频特征图的融合图。

(4f)利用区域能量特征公式，分别提取图像I₁和I₂的低频特征图的区域能量特征Q₁和Q₂，将Q₁和Q₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的低频特征图的融合图。

(5)重构多聚焦融合图像：

将融合后的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图输入到训练后的反卷积神经网络中，输出重构后的多聚焦融合图像。

与现有的技术相比本发明具有以下优点：

第一，本发明在对两幅多聚焦图像进行分解时，通过构造的一个由输入层、反卷积层和池化层组成的反卷积神经网络，所述反卷积层包含六个7*7大小和截止频率均相同并联的滤波器，其中一个为低通高斯滤波器，其余五个为0°、45°、90°、135°、180°方向角度的高通Gabor方向滤波器，将训练集中的两幅多聚焦图像I₁和I₂输入到训练好的网络中，自适应地得到多聚焦图像I₁的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图以及多聚焦图像I₂的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图，将所有的特征图组成图像I₁和I₂的最佳分解系数，从而根据图像内容自适应地得到待融合图像的最佳分解系数的问题，克服了现有技术存在的由于对训练集中所有图像均采用相同的分解方法，分解系数无法完美表述待融合图像的内容，融合图像会产生局部模糊的不足，使得本发明能够可以在不同方向上有针对性地突出每个图像的重要特征和边缘细节信息，由此显著提高了融合后图像的清晰度和对比度。

第二，本发明在融合分解系数时，利用空间频率特征公式，分别提取图像I₁和I₂的0°方向高频特征图中0°方向空间频率特征H₁和H₂，将H₁和H₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的0°方向的高频特征图的融合图，利用空间频率特征公式，分别提取图像I₁和I₂的45°方向高频特征图中45°方向空间频率特征S₁和S₂，将S₁和S₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的45°方向的高频特征图的融合图，分别提取图像I₁和I₂的90°方向的高频特征图中90°方向空间频率特征G₁和G₂，将G₁和G₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的90°方向的高频特征图的融合图，利用空间频率特征公式，分别提取图像I₁和I₂的135°方向的高频特征图中135°方向空间频率特征P₁和P₂，将P₁和P₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的135°方向的高频特征图的融合图，利用空间频率特征公式，分别提取图像I₁和I₂的180°方向的高频特征图中180°方向空间频率特征T₁和T₂，将T₁和T₂输入到脉冲耦合神经网络中，输出图像O₁和O₂的180°方向的高频特征图的融合图，克服了现有技术存在的对所有高频系数均采用相同的融合方法，导致融合后的图像会出现局部不清晰的问题，使得本发明能够显著的提高融合图像在各个方向上的纹理细节，从而更有利于人眼观察。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图对本发明作进一步的描述。

参考图1，对本发明实现的步骤作进一步的详细描述。

步骤1，构建反卷积神经网络。

构造一个由输入层、反卷积层和池化层组成的反卷积神经网络，所述反卷积层包含六个7*7大小和截止频率均相同并联的滤波器，其中一个为低通高斯滤波器，其余五个为0°、45°、90°、135°、180°方向角度的高通Gabor方向滤波器，在

范围内按照步长

依次选取每个滤波器的16个截止频率。

步骤2，选取多聚焦图像。

选取两幅在同一场景同时拍摄的大小相同的多聚焦图像I₁和I₂。

步骤3，对图像进行自适应分解。

将两幅多聚焦图像I₁和I₂输入到反卷积神经网络中，固定滤波器，利用目标函数分别计算多聚焦图像I₁重构图像和重构前多聚焦图像I₁的误差以及多聚焦图像I₂重构图像和重构前多聚焦图像I₂的误差，通过迭代收缩阈值算法更新每个特征图，直到目标函数最小为止，分别得到多聚焦图像I₁的最优特征图和多聚焦图像I₂的最优特征图。

所述目标函数如下：

其中，C(y)表示重构后图像与重构前图像的误差，||.||₂表示二范数操作，

表示重构后的图像，y表示重构前的图像。

所述迭代收缩阈值算法的步骤如下：

第一步，按照下式，对当前迭代的每个特征图进行梯度更新，得到当前迭代梯度更新后的特征图：

其中，T_k表示第k个梯度更新后的特征图，k＝1…6，表示第k个更新前的特征图，λ表示取值为0.1的正则权重系数，β表示梯度取值为0.2的更新步长。

第二步，对梯度更新后的每个特征图进行收缩操作，得到收缩后的特征图：

S_m＝max(|T_m|-β,0)sign(T_m)

其中，S_m表示第m个收缩后的特征图，max(·)表示取大值操作，|·|表示取绝对值操作，sign(T_m)表示一个与特征图T_m大小相同的矩阵，该矩阵与特征图T_m中像素值为正数对应位置的元素取值为1，该矩阵像素值为负数时对应位置的元素取值为-1。

第三步，按照下式，对收缩后的每个特征图进行反池化操作，得到反池化操作后的每个特征图：

C_n＝u*S_n

其中，C_n表示第n个反池化操作后的特征图，u表示取值为0.5的反池化系数，*表示卷积操作，其中，k，m，n的取值对应相等。

固定特征图，利用目标函数分别计算多聚焦图像I₁重构图像和重构前多聚焦图像I₁的误差以及多聚焦图像I₂重构图像和重构前多聚焦图像I₂的误差，通过共轭梯度公式更新每个特征图，直到目标函数最小为止，分别得到多聚焦图像I₁的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图以及多聚焦图像I₂的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图，将所有的特征图组成图像I₁和I₂的最佳分解系数。

所述目标函数如下：

其中，C(y)表示卷积后图像与卷积前图像的误差，||.||₂表示二范数操作，

表示卷积后的图像，y表示卷积前的图像。

所述共轭梯度公式如下：

其中，Er表示卷积后图像与卷积前图像的误差，N表示特征图的总数，f_k表示第k个更新前的滤波器，将位于(0，0.0005)范围的与误差Er对应的滤波器作为更新后的滤波器。

步骤4，对低频特征图和高频特征图进行融合。

利用空间频率特征公式，分别提取图像I₁和I₂的0°方向高频特征图中0°方向空间频率特征H₁和H₂，将H₁和H₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的0°方向的高频特征图的融合图。

利用空间频率特征公式，分别提取图像I₁和I₂的45°方向高频特征图中45°方向空间频率特征S₁和S₂，将S₁和S₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的45°方向的高频特征图的融合图。

利用空间频率特征公式，分别提取图像I₁和I₂的90°方向的高频特征图中90°方向空间频率特征G₁和G₂，将G₁和G₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的90°方向的高频特征图的融合图。

利用空间频率特征公式，分别提取图像I₁和I₂的135°方向的高频特征图中135°方向空间频率特征P₁和P₂，将P₁和P₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的135°方向的高频特征图的融合图。

利用空间频率特征公式，分别提取图像I₁和I₂的180°方向的高频特征图中180°方向空间频率特征T₁和T₂，将T₁和T₂输入到脉冲耦合神经网络中，输出图像O₁和O₂的180°方向的高频特征图的融合图。

利用区域能量特征公式，分别提取图像I₁和I₂的低频特征图的区域能量特征Q₁和Q₂，将Q₁和Q₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的低频特征图的融合图。

所述0°方向的空间频率特征公式如下：

其中，H₁(a₁,b₁)表示特征图像I₁中第a₁行第b₁列的0°方向空间频率，H₂(a₂,b₂)表示特征图像I₂中第a₂行第b₂列的0°方向空间频率，a₁，b₁，a₂，b₂的范围均相等，为1,2,3…256，a₁+m表示在特征图像I₁中第a₁行的基础上移动m行，b₁+n表示在特征图像I₂中第b₁列的基础上移动n列，m，n的范围均相等，为-1，0，1。

45°方向的空间频率特征公式如下：

其中，S₁(c₁,d₁)表示特征图像矩阵I₁的第c₁行第d₁列的45°方向空间频率，S₂(c2,d2)表示特征图像矩阵I₂的第c₂行第d₂列的45°方向空间频率，c₁，d₁，c₂，d₂的范围均相等，为1,2,3…256，c₁+m表示在特征图像I₁中第c₁行的基础上移动m行，d₁+n表示在特征图像I₂中第d₁列的基础上移动n列，m，n的范围均相等，为-1，0，1。

90°方向的空间频率特征公式如下：

其中，G₁(e₁,f₁)表示特征图像矩阵I₁的第e₁行第f₁列的90°方向空间频率，G₂(e₂,f₂)表示特征图像矩阵I₂的第e₂行第f₂列的90°方向空间频率，e₁，f₁，e₂，f₂的范围均相等，为1,2,3…256，e₁+m表示在特征图像I₁中第e₁行的基础上移动m行，f₁+n表示在特征图像I₂中第f₁列的基础上移动n列，m，n的范围均相等，为-1，0，1。

135°方向的空间频率特征公式如下：

其中，P₁(g₁,h₁)表示特征图像矩阵I₁的第g₁行第h₁列的135°方向空间频率，P₂(g₂,h₂)表示特征图像矩阵I₂的第g₂行第h₂列的135°方向空间频率，g₁，h₁，g₂，h₂的范围均相等，为1,2,3…256，g₁+m表示在特征图像I₁中第g₁行的基础上移动m行，h₁+n表示在特征图像I₂中第h₁列的基础上移动n列，m，n的范围均相等，为-1，0，1。

180°方向的空间频率特征公式如下：

其中，O₁(i₁,j₁)表示特征图像矩阵I₁的第i₁行第j₁列的180°方向空间频率，O₂(i₂,j₂)表示特征图像矩阵I₂的第i₂行第j₂列的180°方向空间频率，i₁，j₁，i₂，j₂的范围均相等，为1,2,3…256，g₁+m表示在特征图像I₁中第i₁行的基础上移动m行，h₁+n表示在特征图像I₂中第j₁列的基础上移动n列，m，n的范围均相等，为-1，0，1。

将多聚焦图像I₁和I₂的高频特征图的空间频率特征输入到脉冲耦合神经网络进行多次迭代进行融合，设定网络参数，包括神经元与周围神经元的连接矩阵、脉冲耦合神经网络放大系数、神经元链接度、脉冲耦合神经网络的衰减时间常数：其中神经元与周围神经元的连接矩阵设定为[0.707,1,0707；1,0,1；0.707,1,0707]，脉冲耦合神经网络的放大系数设定为0.2。

神经元链接度的计算公式如下：

其中，β表示图像的神经元链接度，D_mean表示将图像所有灰度相加与像素总数相除得到的平均灰度值。

脉冲耦合神经网络的衰减时间常数的计算公式如下：

其中，α_θ表示衰减时间常数，ln(·)表示取以e为底的对数操作，e·表示取e的指数操作，log(·)表示取以2为底的对数操作。

步骤5，重构多聚焦融合图像。

将融合后的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图输入到训练后的反卷积神经网络中，输出重构后的多聚焦融合图像。

下面结合仿真实验，对本发明的效果作进一步详细描述。

1.仿真条件和内容：

本发明的仿真实验采用的硬件测试平台是：处理器为Inter Core i7，主频为2.4GHz，内存8GB。

软件平台为Windows 10 64位操作系统、Matlab R2018b进行仿真测试。

本发明所使用的多聚焦图像I₁和I₂为申请人于2017年自行拍摄的两幅多聚焦图像。

2.仿真内容与结果：

本发明的仿真实验是采用本发明的方法和在利用小波变换对所采集的两张多聚焦图像进行变换的基础上并采用与本发明相同的高、低频融合规则对高、低频特征图进行融合仿真的方法对多聚焦图像I₁和I₂进行融合仿真。

下面结合图2，对本发明仿真实验的效果作进一步的描述。

图2(a)为多聚焦图像I₁，图2(b)为多聚焦图像I₂，图2(c)为采用融合的现有技术分别对图2(a)和图2(b)进行融合后获得的融合图像，图2(d)为采用本发明的方法分别对图2(a)和图2(b)进行融合获得的融合图像。

对比图2(c)与图2(d)可发现，本发明的仿真结果图像分辨率更高，图像更清晰。

利用两个评价指标(平均梯度、信息熵)分别对两种方法的融合图像进行评价。利用下面公式，计算融合图像的平均梯度IE，融合图像的信息熵AG：

其中，IE表示融合图像的平均梯度，L表示融合图像的量化的灰度等级，P(x_i)表示融合图像的灰度级x_i的分布概率。

其中，AG表示融合图像的信息熵，H和V分别表示融合图像的行数和列数，x(i,j)表示融合图像在坐标(i,j)处的像素值。

将采用本发明仿真实验得到的融合图像的平均梯度和信息熵，与融合的现有技术得到的融合图像的平均梯度和信息熵结果绘制成表1

表1融合图像平均梯度和信息熵参数表

由表1中可见，本发明所得的多聚焦融合图像的平均梯度、信息熵，两个评价参数与现有技术相比更高，说明本发明图像信息丰富，图像更加清晰，细节更加丰富，融合效果更好。

综上所述，本发明用于多聚焦图像融合能够取得较好的融合结果。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于图像自适应分解及参数自适应的多聚焦图像融合方法，其特征在于，将通过反卷积神经网络自适应得到的高频和低频系数作为待融合图像的最佳分解系数，该方法的步骤包括如下：

(1)构建反卷积神经网络：

构造一个由输入层、反卷积层和池化层组成的反卷积神经网络，所述反卷积层包含六个7*7大小和截止频率均相同并联的滤波器，其中一个为低通高斯滤波器，其余五个为0°、45°、90°、135°、180°方向角度的高通Gabor方向滤波器，在

范围内按照步长

依次选取每个滤波器的16个截止频率；

(2)选取多聚焦图像：

选取两幅在同一场景同时拍摄的大小相同的多聚焦图像I₁和I₂；

(3)对图像进行自适应分解：

(3a)将两幅多聚焦图像I₁和I₂输入到反卷积神经网络中，固定滤波器，利用目标函数分别计算多聚焦图像I₁重构图像和重构前多聚焦图像I₁的误差以及多聚焦图像I₂重构图像和重构前多聚焦图像I₂的误差，通过迭代收缩阈值算法更新每个特征图，直到目标函数最小为止，分别得到多聚焦图像I₁的最优特征图和多聚焦图像I₂的最优特征图；

(3b)固定特征图，利用目标函数分别计算多聚焦图像I₁重构图像和重构前多聚焦图像I₁的误差以及多聚焦图像I₂重构图像和重构前多聚焦图像I₂的误差，通过共轭梯度公式更新每个特征图，直到目标函数最小为止，分别得到多聚焦图像I₁的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图以及多聚焦图像I₂的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图，将所有的特征图组成图像I₁和I₂的最佳分解系数；

(4)对低频特征图和高频特征图进行融合：

(4a)利用空间频率特征公式，分别提取图像I₁和I₂的0°方向高频特征图中0°方向空间频率特征H₁和H₂，将H₁和H₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的0°方向的高频特征图的融合图；

(4b)利用空间频率特征公式，分别提取图像I₁和I₂的45°方向高频特征图中45°方向空间频率特征S₁和S₂，将S₁和S₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的45°方向的高频特征图的融合图；

(4c)利用空间频率特征公式，分别提取图像I₁和I₂的90°方向的高频特征图中90°方向空间频率特征G₁和G₂，将G₁和G₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的90°方向的高频特征图的融合图；

(4d)利用空间频率特征公式，分别提取图像I₁和I₂的135°方向的高频特征图中135°方向空间频率特征P₁和P₂，将P₁和P₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的135°方向的高频特征图的融合图；

(4e)利用空间频率特征公式，分别提取图像I₁和I₂的180°方向的高频特征图中180°方向空间频率特征T₁和T₂，将T₁和T₂输入到脉冲耦合神经网络中，输出图像O₁和O₂的180°方向的高频特征图的融合图。

(4f)利用区域能量特征公式，分别提取图像I₁和I₂的低频特征图的区域能量特征Q₁和Q₂，将Q₁和Q₂输入到脉冲耦合神经网络中，输出图像I₁和I₂的低频特征图的融合图。

(5)重构多聚焦融合图像：

将融合后的1个低频特征图和5个为0°、45°、90°、135°、180°方向角度的高频特征图输入到训练后的反卷积神经网络中，输出重构后的多聚焦融合图像。

2.根据权利要求1所述的基于图像自适应分解及参数自适应的多聚焦图像融合方法，其特征在于，步骤(3a)、步骤(3b)中所述目标函数如下：

其中，C(y)表示重构后图像与重构前图像的误差，||.||₂表示二范数操作，

表示重构后的图像，y表示重构前的图像。

3.根据权利要求2所述的基于图像自适应分解及参数自适应的多聚焦图像融合方法，其特征在于，步骤(3a)中所述迭代收缩阈值算法的步骤如下：

第一步，按照下式，对当前迭代的每个特征图进行梯度更新，得到当前迭代梯度更新后的特征图：

其中，T_k表示第k个梯度更新后的特征图，k＝1…6，表示第k个更新前的特征图，λ表示取值为0.1的正则权重系数，β表示梯度取值为0.2的更新步长；

第二步，对梯度更新后的每个特征图进行收缩操作，得到收缩后的特征图：

S_m＝max(|T_m|-β,0)sign(T_m)

其中，S_m表示第m个收缩后的特征图，max(·)表示取大值操作，|·|表示取绝对值操作，sign(T_m)表示一个与特征图T_m大小相同的矩阵，该矩阵与特征图T_m中像素值为正数对应位置的元素取值为1，该矩阵像素值为负数时对应位置的元素取值为-1；

第三步，按照下式，对收缩后的每个特征图进行反池化操作，得到反池化操作后的每个特征图：

C_n＝u*S_n

其中，C_n表示第n个反池化操作后的特征图，u表示取值为0.5的反池化系数，*表示卷积操作，其中，k，m，n的取值对应相等。

4.根据权利要求3所述的基于图像自适应分解及参数自适应的多聚焦图像融合方法，其特征在于，步骤(3b)中所述共轭梯度公式如下：

其中，Er表示卷积后图像与卷积前图像的误差，N表示特征图的总数，f_k表示第k个更新前的滤波器，将位于(0，0.0005)范围的与误差Er对应的滤波器作为更新后的滤波器。

Images