CN108399611A - 基于梯度正则化的多聚焦图像融合方法 - Google Patents

Abstract

针对多聚焦图像融合后图像细节保持能力有限，配准失调且敏感等问题，本发明提出一种基于梯度正则化多聚焦图像融合方法。首先，将源图像进行两尺度分解得到高频分量和低频分量；然后，将分解得到的高频分量利用梯度正则化的表示得到模型的稀疏系数并通过最大值策略获得融合后图像的高频分量，将两尺度分解得到低频分量利用取最大值融合策略得到低频分量；最后，将得到的融合后图像的高频分量和低频分量相加得到融合图像。相对其他三种融合方法，本发明不论在主观视觉和客观评价指标上还是在计算效率上，可以更好保留源图像的细节等纹理信息和显著性信息。

Description

基于梯度正则化的多聚焦图像融合方法

技术领域

本发明属于图像处理领域，涉及一种基于梯度正则化的多聚焦图像融合方法，可以应用于各种军用或民用的图像处理系统。

背景技术

图像融合技术是将两幅或多幅图像中的信息提取出来，得到一幅信息更丰富的更适于视觉感知和计算机处理的图像技术，多聚焦融合是图像融合的一种。多聚焦图像融合是指将拍摄相同场景中多幅聚焦点不同的图像，融合成一幅比源图像都清晰的图像。多聚焦图像融合技术可以有效解决光学镜头的景深有限的问题，提高图像分割的精度，消除数据间的冗余信息。因此多聚焦图像融合技术的研究有着深远的意义。近些年，针对多聚焦图像融合技术，已有大量相关算法被相继提出并应用于多聚焦图像处理的各个方面。在多聚焦图像融合研究中，文献1“Multifocus image fusion using the nonsubsampledcontourlet transform[J].Zhang Q，Guo B L.Signal Processing，2009，89(7)：1334-1346.”和文献2“Image fusion algorithm based on spatial frequency-motivatedpulse coupled neural networks in nonsubsampled contourlet transform domain[J].X B Qu，J W Yan，H Z Xiao，et al.Acta Automatica Sinica，2008，34(12)：1508-1514.”提出了基于交叉双边滤波器、广义随机游动和马尔可夫随机场的多聚焦图像融合优化方法，虽然这些方法利用加权平均融合源图像来估计空域平滑和边缘对齐的权值，但是对于这种权值构造和全局优化方法可能会导致对比度降低、计算效率低下和权值的过平滑。此后为了减少建模负担和计算成本，学者们提出了许多基于稀疏表示图像融合的改进方法，文献3“Simultaneous image fusion and denoising with adaptive sparserepresentation[J].Liu Y，Wang Z.Image Processing Iet，2014，9(5)：347-357.”然而基于稀疏表示的算法一直是基于局部图像块的而不是基于整个图像块的，上述方法出现问题：融合图像细节保持能力有限，配准失调有很高的敏感性。

发明内容

要解决的技术问题

针对多聚焦图像融合后图像细节保持能力有限，配准失调且敏感等问题，本发明提出一种基于梯度正则化多聚焦图像融合方法。

技术方案

一种基于梯度正则化的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：两尺度图像分解

首先将源图像I_k分解为一个低频分量和一个高频分量所述的低频分量表征多聚焦图像中的对比度和亮度信息，高频分量反映图像中的细节信息；其中，低频分量通过优化方式求解获得：

式中：I_k表示输入的源图像，*表示卷积，η表示正则化参数，g_x和g_y分别表示沿图像行和列的梯度滤波器，g_x＝[-1 1]，g_y＝[-1 1]^T；对式(1)进行快速傅里叶变换，其变换后数学表达式如下：

利用二次优化可解得：

高频分量通过源图像I_k减去的逆傅立叶变化获得，如下式：

步骤2：高频分量的多聚焦图像融合方法

图像高频部分系数图为c_k,m，m∈{1,2,...,M}，通过求解如下正则化的表示模型获得：

式中：{d_m}表示一组M个字典滤波器集，*表示卷积，{c_k,m}表示高频部分系数图，{α_m}表示一组l₁范数的系数权重，{β_m}表示一组l₂范数的系数权重，λ和μ表示正则化参数，g₀和g₁分别表示沿图像行和列的梯度滤波器，这里g₀＝[-1 1]，g₁＝[-1 1]^T；

将式(5)利用梯度正则化的ADMM算法求解，定义线性算子D_m、G_l使D_mC_k,m＝d_m*c_k,m，G_lC_k,m＝g_l*c_k,m，式(5)的最后项可相互变换如下：

定义矩阵Γ_l

式(6)的最后项进一步可变换如下：

将式(5)进行傅里叶变换，其数学表达式如下：

式中：D、α和C分别为块矩阵，并引入一个辅助变量y₀，y₁，y₂，将式(8)变换为：

利用对偶变量，引入拉格朗日乘子u₀，u₁和u₂则通过迭代将式(9)的约束优化问题变为非约束优化问题形式：

u₀ ^(j+1)＝u₀ ^(j)+C^(j+1)-y₀ ^(j+1) (12)

u₁ ^(j+1)＝u₁ ^(j)+C^(j+1)-y₁ ^(j+1) (13)

u₂ ^(j+1)＝u₂ ^(j)+C^(j+1)-y₂ ^(j+1) (14)

式(11)通过下式给出：

用DFT域中和分别表示D_m、C_m、Γ₀、Γ₁、y₀、y₁、y₂、u₀、u₁、u₂和I^D，式(11)可变换为：

对(17)中求偏导数，并令偏导数为0，可解得：

式中：矩阵为由M个N×N对角矩阵组成，M为滤波器的维数，N为源图像的维数，为一个MN×MN维的对称矩阵，和分别为对角矩阵；采用谢尔曼-莫里森公式求解式(18)得到：

然后对进行逆傅里叶变换，求得c_k,m；

假如c_k,1:M(x,y)表示c_k,m在空间域中位置(x,y)处的内容，c_k,1:M(x,y)是一个M维向量，利用c_k,1:M(x,y)的l₁范数作为源图像的活动水平度量，则活动水平图A_k(x,y)通过如下表达式获得：

A_k(x,y)＝||c_k,1:M(x,y)||₁ (20)

对A_k(x,y)利用基于窗口的平均策略以获得最终的活动水平图

式中：r决定窗口的大小，r的取值越大，这种方法对于图像配准误读会更加稳健，但是同时可能会丢失一些细小的细节，在多聚焦图像中，多个源图像中的物体边缘具有不同的清晰度，使得每个源图像的物体边缘位置不确切的相同，因此，相对较大的r更适合多聚焦图像融合；在多聚焦图像融合取“最大值策略”融合后的系数图为：

最后，融合图像的高频部分通过如下式被重构：

步骤3：低频分量的多聚焦图像融合方法

利用选择“最大融合策略”对源图像进行融合，其低频分量的融合结果表达式如下：

步骤4：两尺度图像重构低频分量的多聚焦图像融合方法

将得到的融合后的高频分量和低频分量进行重构得到融合后的图像，则

η取为5。

有益效果

本发明提出的一种基于梯度正则化多聚焦图像融合方法，解决多聚焦融合算法在图像细节保持上存在的缺点。根据多聚焦图像融合的实验结果证明了基于梯度正则化多聚焦算法优于传统多聚焦图像融合算法的优点。

附图说明

图1本发明方法的基本流程图

图2多聚焦源图像：(a)clock源图像；(b)Lab源图像；(c)Pepsi源图像；(d)Flower源图像；

图3多聚焦源图像融合结果图：(a1)clock源图像1；(a2)clock源图像2；(a3)文献1；(a4)文献2；(a5)文献3；(a6)本发明方法；(b1)Lab源图像1；(b2)Lab源图像2；(b3)文献1；(b4)文献2；(b5)文献3；(b6)本发明方法；(c1)Pepsi源图像1；(c2)Pepsi源图像2；(c3)文献1；(c4)文献2；(c5)文献3；(c6)本发明方法；(d1)Flower源图像1；(d2)Flower源图像；(d3)文献1；(d4)文献2；(d5)文献3；(d6)本发明方法。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：实验环境为CPU Intel Core i5-5200U@2.20GHz，内存为4GB，采用MATLAB R2014a编程。本发明采用多聚焦图像进行融合处理。

本发明方法的基本流程如附图1所示，实验源图像数据如附图2所示，具体实施如下：

步骤一：两尺度图像分解

首先将源图像I_k分解为一个低频分量和一个高频分量图像的低频分量主要是表征多聚焦图像中的对比度和亮度信息，高频分量主要反映图像中的细节信息。其中，低频分量通过优化方式求解获得：

式中：I_k表示输入的源图像，*表示卷积，η表示正则化参数，η取为5，表示源图像分解的低频部分，g_x和g_y分别表示沿图像行和列的梯度滤波器，g_x＝[-1 1]，g_y＝[-1 1]^T。式(1)进行快速傅里叶变换，其变换后数学表达式如下：

利用二次优化可解得：

高频分量可通过源图像I_k减去的逆傅立叶变化获得，如下式：

步骤二：高频分量的多聚焦图像融合方法

图像高频部分系数图为c_k,m，m∈{1,2,...,M}，通过求解如下正则化的表示模型获得：

式中：{d_m}表示一组M个字典滤波器集，*表示卷积，{c_k,m}表示高频部分系数图，{α_m}表示一组l₁范数的系数权重，{β_m}表示一组l₂范数的系数权重，I_k表示输入源图像的细节层，λ和μ表示正则化参数，g₀和g₁分别表示沿图像行和列的梯度滤波器，这里g₀＝[-1 1]，g₁＝[-1 1]^T。

将式(5)利用梯度正则化的ADMM算法求解。定义线性算子D_m、G_l使D_mC_k,m＝d_m*c_k,m，G_lC_k,m＝g_l*c_k,m，式(5)的最后项可相互变换如下：

定义矩阵Γ_l

式(6)的最后项进一步可变换如下：

将式(5)进行傅里叶变换，其数学表达式如下：

式中：D，α和C分别为块矩阵，并引入一个辅助变量y₀，y₁，y₂，将式(8)变换为：

利用对偶变量，引入拉格朗日乘子u₀，u₁和u₂则通过迭代将式(9)的约束优化问题变为非约束优化问题形式：

u₀ ^(j+1)＝u₀ ^(j)+C^(j+1)-y₀ ^(j+1) (12)

u₁ ^(j+1)＝u₁ ^(j)+C^(j+1)-y₁ ^(j+1) (13)

u₂ ^(j+1)＝u₂ ^(j)+C^(j+1)-y₂ ^(j+1) (14)

式(11)通过下式给出：

用DFT域中和分别表示D_m、C_m、Γ₀、Γ₁、y₀、y₁、y₂、u₀、u₁、u₂和I^D，式(11)可变换为：

对(17)中求偏导数，并令偏导数为0，可解得：

式中：矩阵为由M个N×N对角矩阵组成，M为滤波器的维数，N为源图像的维数，为一个MN×MN维的对称矩阵，和分别为对角矩阵。考虑到计算效率以及和ρI分别为对角矩阵，对于式(18)求解方法可用谢尔曼-莫里森公式求解求得：

然后对进行逆傅里叶变换，求得c_k,m。

假如c_k,1:M(x,y)表示c_k,m在空间域中位置(x,y)处的内容，c_k,1:M(x,y)是一个M维向量。利用c_k,1:M(x,y)的l₁范数作为源图像的活动水平度量。则活动水平图A_k(x,y)通过如下表达式获得：

A_k(x,y)＝||c_k,1:M(x,y)||₁ (20)

对A_k(x,y)利用基于窗口的平均策略以获得最终的活动水平图

式中：r决定窗口的大小，r的取值越大，这种方法对于图像配准误读会更加稳健，但是同时可能会丢失一些细小的细节。在多聚焦图像中，多个源图像中的物体边缘具有不同的清晰度，使得每个源图像的物体边缘位置不确切的相同，因此，相对较大的r更适合多聚焦图像融合。在多聚焦图像融合取“最大值策略”融合后的系数图为：

最后，融合图像的高频部分通过如下式被重构：

步骤三：低频分量的多聚焦图像融合方法

低频部分主要是将图像中的光谱信息表示出来。对于多聚焦图像融合，由于细节存在于基本层中，因此对于多聚焦图像融合，利用“选择最大”融合策略对源图像进行融合，其低频分量的融合结果表达式如下：

步骤四：两尺度图像重构低频分量的多聚焦图像融合方法

将得到的融合后的高频分量和低频分量进行重构得到融合后的图像，则

下面结合附图2、附图3和附表1对本发明的效果做进一步描述。

附图2是五组多聚焦源图像。

1.实验条件

实验环境为CPU Intel Core i5-5200U@2.20GHz，内存为4GB，采用MATLAB R2014a编程。本发明采用多聚焦图像集(256×256)。

2.实验内容

附图3是多聚焦图像融合后图像的对比图。

将“Clock、“Lab”、“Pepsi”、“Flower”四组多聚焦图像(如图2)分别通过基于文献1方法、文献2方法、文献3方法及本发明方法获得的融合图像来验证本发明所提算法的有效性，其源图像和实验结果如图3四组多聚焦源图像及其不同融合方法结果图所示。

文献1-文献3的融合方法获得的融合图像大多一些问题，例如模糊效应，振铃效应和块效应，这些效应影响着融合图像的质量。尽管基于文献1方法具有多尺度分析的优点，但基于文献1方法获得的融合图像丢失部分边缘信息，图像中的聚焦区域的虚假轮廓是明显的，且融合图像出现严重的振铃伪影，使得聚焦区域的轮廓模糊，图像在视觉上产生不良影响。基于文献2融合方法虽然对融合后的图像在视觉上有了很大的改进，从源图像中提取更多的显著性特征，但是仍然使融合后的图像产生伪影现象，并且对弱边缘不敏感，不能准确的提取聚焦区域的边界信息，(如图3(a4)最上面的边缘，图3(b4)闹钟区域的边缘等)。基于文献3方法是基于局部图像块，容易产生块效应，在融合的图像中一些细节被平滑甚至丢失，(如图3(a5)右侧闹钟的左上角边缘等)。

相比之下，本发明所提出的方法的融合图像从源图像中最优地提取聚焦区域通过精确地定位聚焦区域的边界。从图3(a6)～(d6)可以看到聚焦区域轮廓清晰完整；此外，该方法获得的融合图像的对比度高于其他融合方法，融合区域与背景之间的过渡区域是自然的，在融合过程中引入了很少的人工影响，便于在复杂背景下识别不同目标。此外，该方法在不同融合场景中表现出较强的适应性，比基于多尺度的场景更具鲁棒性。总之，所提方法的融合图像比其他融合方法具有更好的视觉性能。

相比于以上人眼视觉分析的不确定性，本发明实验中引入图像互信息MI、信息结构相似度Q_Y、峰值信噪比PSNR和边缘保持度Q^AB/F等客观评价指标对不同融合方法的性能进行定量评价。如表1四组多聚焦图像不同融合方法的客观评价指标所示，表1的定量结果有力的证明了本发明的融合算法在提取信息和空间一致性方面比对比融合方法更健壮，性能上也优于以上的融合方法，并且由表1中的综合客观评价值表明本发明融合算法获得的融合图像能够保留大量的聚焦信息，在一定程度上反映了所提算法的稳定性和可靠性。

表1多聚焦图像不同融合方法的客观评价指标

Claims (2)

1.一种基于梯度正则化的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：两尺度图像分解

首先将源图像I_k分解为一个低频分量和一个高频分量所述的低频分量表征多聚焦图像中的对比度和亮度信息，高频分量反映图像中的细节信息；其中，低频分量通过优化方式求解获得：

式中：I_k表示输入的源图像，*表示卷积，η表示正则化参数，g_x和g_y分别表示沿图像行和列的梯度滤波器，g_x＝[-1 1]，g_y＝[-1 1]^T；对式(1)进行快速傅里叶变换，其变换后数学表达式如下：

利用二次优化可解得：

高频分量通过源图像I_k减去的逆傅立叶变化获得，如下式：

步骤2：高频分量的多聚焦图像融合方法

图像高频部分系数图为c_k,m，m∈{1,2,...,M}，通过求解如下正则化的表示模型获得：

式中：{d_m}表示一组M个字典滤波器集，*表示卷积，{c_k,m}表示高频部分系数图，{α_m}表示一组l₁范数的系数权重，{β_m}表示一组l₂范数的系数权重，λ和μ表示正则化参数，g₀和g₁分别表示沿图像行和列的梯度滤波器，这里g₀＝[-1 1]，g₁＝[-1 1]^T；

将式(5)利用梯度正则化的ADMM算法求解，定义线性算子D_m、G_l使D_mC_k,m＝d_m*c_k,m，G_lC_k,m＝g_l*c_k,m，式(5)的最后项可相互变换如下：

定义矩阵Γ_l

式(6)的最后项进一步可变换如下：

将式(5)进行傅里叶变换，其数学表达式如下：

式中：D、α和C分别为块矩阵，并引入一个辅助变量y₀，y₁，y₂，将式(8)变换为：

利用对偶变量，引入拉格朗日乘子u₀，u₁和u₂则通过迭代将式(9)的约束优化问题变为非约束优化问题形式：

u₀ ^(j+1)＝u₀ ^(j)+C^(j+1)-y₀ ^(j+1) (12)

u₁ ^(j+1)＝u₁ ^(j)+C^(j+1)-y₁ ^(j+1) (13)

u₂ ^(j+1)＝u₂ ^(j)+C^(j+1)-y₂ ^(j+1) (14)

式(11)通过下式给出：

S_γ(u)＝sign(u)⊙max(0,|u|-γ) (16)

用DFT域中和分别表示D_m、C_m、Γ₀、Γ₁、y₀、y₁、y₂、u₀、u₁、u₂和I^D，式(11)可变换为：

对(17)中求偏导数，并令偏导数为0，可解得：

式中：矩阵为由M个N×N对角矩阵组成，M为滤波器的维数，N为源图像的维数，为一个MN×MN维的对称矩阵，和分别为对角矩阵；采用谢尔曼-莫里森公式求解式(18)得到：

然后对进行逆傅里叶变换，求得c_k,m；

假如c_k,1:M(x,y)表示c_k,m在空间域中位置(x,y)处的内容，c_k,1:M(x,y)是一个M维向量，利用c_k,1:M(x,y)的l₁范数作为源图像的活动水平度量，则活动水平图A_k(x,y)通过如下表达式获得：

A_k(x,y)＝||c_k,1:M(x,y)||₁ (20)

对A_k(x,y)利用基于窗口的平均策略以获得最终的活动水平图

式中：r决定窗口的大小，r的取值越大，这种方法对于图像配准误读会更加稳健，但是同时可能会丢失一些细小的细节，在多聚焦图像中，多个源图像中的物体边缘具有不同的清晰度，使得每个源图像的物体边缘位置不确切的相同，因此，相对较大的r更适合多聚焦图像融合；在多聚焦图像融合取“最大值策略”融合后的系数图为：

最后，融合图像的高频部分通过如下式被重构：

步骤3：低频分量的多聚焦图像融合方法

利用选择“最大融合策略”对源图像进行融合，其低频分量的融合结果表达式如下：

步骤4：两尺度图像重构低频分量的多聚焦图像融合方法

将得到的融合后的高频分量和低频分量进行重构得到融合后的图像，则

2.根据权利要求1所述的一种基于梯度正则化的多聚焦图像融合方法，其特征在于η取为5。