CN108830818A - 一种快速多聚焦图像融合方法 - Google Patents

Abstract

本发明涉及一种快速多聚焦图像融合算法，首先，对源图像用平滑滤波器进行分解和构建一种多聚焦图像融合的决策图模型；其次，利用多聚焦图像邻域像素之间的相关性，提出一种快速导向滤波优化决策图，计算复杂度也大大降低；然后对两尺度图像进行重构；最后，利用本发明融合方法与其他三重现有融合方法对多聚焦图像进行融合。相对其他三种融合方法，不论在主观视觉和客观评价指标上，可以更好保留多聚焦图像的细节等纹理信息和显著性信息。

Description

一种快速多聚焦图像融合方法

技术领域

本发明属于图像处理领域，具体涉及一种快速多聚焦图像融合方法，可以应用于各种军用或民用的图像处理系统。

背景技术

图像融合技术是将两幅或多幅图像中的信息提取出来，得到一幅信息更丰富的更适于视觉感知和计算机处理的图像技术，多聚焦融合是图像融合的一种。多聚焦图像融合是指将拍摄相同场景的多幅聚焦点不同的图像，融合成一幅比源图像都清晰的图像。由于现代光学镜头的景深有限，使人们很难获取一幅所有物体均清晰的图像。多聚焦图像融合技术可以有效地解决该问题，提高图像分割的精度，消除了数据间的冗余信息。因此多聚焦图像融合技术的研究有着深远的意义。

近些年，针对多聚焦图像融合技术，已有大量的图像融合算法被相继提出，并且迅速应用于多聚焦图像处理的各个方面，取得很好的效果。许多学者们将基于空间域的融合方法和基于变换域的融合方法应用在多聚焦图像融合中。为解决未融合过程中的空间一致性产生亮斑的问题，文献1“A general framework for image fusion based on multi-scale transform and sparse representation,Information Fusion，2015，24:147-164.”和文献2“Image fusion based on pixel significance using cross bilateralfilter，Signal Image&Video Processing，2015，9(5):1193-1204.”提出了基于交叉双边滤波器、广义随机游动和马尔可夫随机场的多聚焦图像融合优化方法，虽然这些方法利用加权平均融合源图像来估计空域平滑和边缘对齐的权值，但是对于这种权值构造和全局优化方法可能会导致对比度降低、计算效率低下和权值的过平滑。为了解决这些问题，文献3“Image fusion with guided filtering.[J].IEEE Transactions on Image ProcessingA Publication of the IEEE Signal Processing Society,2013,22(7):2864-2875.”提出了一种基于导向滤波器的图像融合方法，很好的保持图像的细节特征。然而，采用拉普拉斯算子产生像素显著性映射权重构造方法并不能很好地表现源图像可辨别的视觉特征，算法虽然在细节上表现较好，但是算法复杂度较高，计算时间较长，并且导向滤波器中使用的局部线性模型可能会使融合后图像产生光晕伪影现象。

发明内容

要解决的技术问题

针对现有多聚焦图像融合的局部线性模型造成融合后图像产生光晕伪影以及算法计算复杂度高等问题，本发明提出一种快速多聚焦图像融合算法。该方法首先，对源图像用平滑滤波器进行分解和构建一种多聚焦图像融合的决策图模型；其次，利用多聚焦图像邻域像素之间的相关性，提出一种快速导向滤波优化决策图，计算复杂度也大大降低；然后对两尺度图像进行重构；最后，利用本发明融合方法与其他三重现有融合方法对多聚焦图像进行融合。相对其他三种融合方法，不论在主观视觉和客观评价指标上，可以更好保留多聚焦图像的细节等纹理信息和显著性信息。

技术方案

一种快速多聚焦图像融合方法，其特征在于步骤如下：

步骤1：利用高斯平滑滤波器对源图像进行分解

利用高斯平滑滤波器将多聚焦源图像分解得到低频分量，再将源图像减去低频分量得到高频分量，如下式：

式中：I_n为多聚焦源图像，为源图像的低频分量，为源图像的高频分量；G_r,σ为(2r+1)×(2r+1)窗口的高斯平滑滤波器，σ为标准差；其中低频分量图像中包含了源图像的大量亮度和对比度信息，高频分量图像中包含了源图像的大量细节信息；

步骤2：视觉显著性特征的加权映射图构造

步骤2a：利用局部对比度和高斯平滑滤波器构建对比度显著图CS：

CS＝LC*G_r,σ

其中，LC为局部对比度，O、P表示选择窗口尺寸，为以(x,y)为中心的3×3窗口的均值，ω(m,n)为3×3窗口的权值，m和n表示某一个像素点在局部窗口中的位置坐标，I(x+m,y+n)表示像素点(x+m,y+n)处的图像；

构造对比度加权映射图：

其中，N为输入图像的像素数，为像素数为k时的对比度显著值，n为输入图像的个数；

步骤2a：构造清晰度加权映射图：

其中，SP为清晰度显著图，ω(m,n)为3×3窗口的权值，ML为改进的拉普拉斯分量；N为输入图像的像素数，为像素数为k时的清晰度显著值，n为输入图像的个数；

步骤2c：构造图像结构显著性加权映射图：

其中，和为局部梯度协方差矩阵分解成的特征值；

步骤2d：快速加权导向滤波器

引入一阶约束项η_k和边缘保持项构造能量函数：

式中：ω_k为以半径为2r+1的窗口，a_k，b_k为在窗口ω_k内的两个常系数，i为以点k为中心窗口的邻域点，λ为归一正则化参数；

η_k定义如下式：

式中：μ_χ,∞为χ(i)的均值，γ＝4/(μ_χ,∞-min(χ(i)))；

定义如下式：

式中：M为图像I_n-sub的像素值，ε为一个常数；

通过最小化能量函数E，利用最小二乘法求得最优化参数a_k、b_k：

式中：I_{n_sub}⊙P_{n_sub}为矩阵I_{n_sub}和P_{n_sub}中对应元素的乘积， 分别为各自在(2r₁+1)×(2r₁+1)窗口的均值；

快速导向滤波器Z_i如下式：

式中：分别表示在像素i处的所有窗口的平均值；|ω|表示窗口ω_k中像素个数。

步骤2e：构造显著性度量的加权映射图

将快速加权导向滤波器Z_i应用于对比度、清晰度和结构显著性度量加权映射图D₁,_n、D_2,n和D_3,n中，将相对应的源图像I_n作为引导图像生成最终的加权图如下：

式中：m＝(1,2,3)，r₁，ε₁，r₂和ε₂分别为快速加权导向滤波器的参数，Fast表示快速加权导向滤波器，和分别为低频分量和高频分量的加权图；

对显著性度量的加权映射图组合后得到与源图像I_n相对应总的加权图：

式中：和分别为低频分量和高频分量总的加权图，λ为0～1之间的一个参数，然后分别将和进行归一化处理；

步骤3：将多聚焦源图像的低频分量和高频分量分别通过加权平均进行融合得到各自的融合分量，如下式：

将得到的融合后的低频分量和高频分量进行重构得到融合后的图像，则

有益效果

本发明提出的一种快速多聚焦图像融合方法；利用快速图像融合方法的局部线性变化特性，可有效保持多聚焦源图像中的轮廓、纹理及细节等特征；利用快速加权子采样率s的时间复杂度从O(N)减小到O(N/s²)，使融合效率得到很大的提高。

附图说明

图1本发明方法的基本流程图

图2多聚焦图像数据：(a1)clock源图像；(a2)Lab源图像；(b1)Pepsi源图像；(b2)Flower源图像；

图3多聚焦图像融合方法结果对比图：(a1)Clock源图像1；(a2)Clock源图像2；(a3)文献1；(a4)文献2；(a5)文献3；(a6)本发明方法；(b1)Lab源图像1；(b2)Lab源图像2；(b3)文献1；(b4)文献2；(b5)文献3；(b6)本发明方法；(c1)Pepsi源图像1；(c2)Pepsi源图像2；(c3)文献1；(c4)文献2；(c5)文献3；(c6)本发明方法；(d1)Flower源图像1；(d2)Flower源图像2；(d3)文献1；(d4)文献2；(d5)文献3；(d6)本发明方法。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：实验环境为CPU Intel Core i5-5200U@2.20GHz，内存为4GB，采用MATLAB R2014a编程。

本发明方法的基本流程如附图1所示，实验源图像数据如附图2所示，实验结果对比图如附图3所示，具体实施如下：

步骤一：利用高斯平滑滤波器对源图像进行分解

利用高斯平滑滤波器将多聚焦源图像分解得到低频分量，高频分量通过源图像减去低频分量获得，如下式：

式中：I_n为多聚焦源图像，为源图像的低频分量，为源图像的高频分量。G_r,σ为(2r+1)×(2r+1)窗口的高斯平滑滤波器，σ为标准差。

在低频分量图像中包含了源图像的大量亮度和对比度信息，高频分量图像中包含了源图像的大量细节信息。

步骤二：视觉显著性特征的加权映射图构造

根据R.Hassen等人提出的图像融合质量评价可知，图像对比度、清晰度、结构信息是融合图像视觉质量的三个重要特征。因此，本发明根据上述三个特征分别构造对比度、清晰度和结构显著性三个关键加权映射图。

(a).对比度加权映射图

由于人类视觉系统(HVS)对单个像素不敏感，但对局部邻域像素的变化敏感。因此，本发明利用局部对比度构建对比度加权映射图表征相应图像的局部特征。局部对比度LC定义如下式：

式中：O、P表示选择窗口尺寸，本发明选择选择窗口大小为3×3，为以(x,y)为中心的3×3窗口的均值，ω(m,n)为3×3窗口的权值，m和n表示某一个像素点在局部窗口中的位置坐标。利用局部对比度和高斯平滑滤波器构建对比度显著图CS定义如下式：

CS＝LC*G_r,σ (4)

式中：G_r,σ为(2r+1)×(2r+1)窗口的高斯平滑滤波器。对比度显著图很好地体现了图像显著层的细节信息，则对比度加权映射图定义如下：

式中：N为输入图像的像素数，为像素数为k时的对比度显著值，n输入图像的个数。

(b).清晰度加权映射图

清晰度是图像视觉感知系统的一个重要特征。清晰度显著图SP定义如下：

式中：ω(m,n)为3×3窗口的权值，ML为改进的拉普拉斯分量(ModifiedLaplacian，ML)。清晰度显著图很好地反映了图像的边缘突变和清晰度信息，则清晰度加权映射图定义如下：

式中：N为输入图像的像素数，为像素数为k时的清晰度显著值，n为输入图像的个数。

(c).结构显著性加权映射图

人类视觉系统(HVS)对多聚焦图像中结构信息敏感，本发明利用结构显著性模型构建结构显著性加权映射图，反映视觉系统对不同图像结构刺激反应的变化。由于图像局部结构与局部梯度协方差密切相关，则局部梯度协方差矩阵C定义如下：

式中：I_x(X)和I_y(X)是在X＝(x,y)处沿x和y方向的梯度，*为卷积符号。为了获得局部图像结构的表示信息，将矩阵C进行分解如下式：

式中：和为矩阵C的特征值。

图像结构显著图SS定义如下：

式中：α＞-1，为了更好地考虑拐角结构，这里α＝0.5。

局部图像结构的显著性可以对图像结构进行稳定性描述，例如图像模糊和随机噪声的鲁棒性；同时，它适用于所有类型的图像结构，例如图像的脊、边缘和角，能够很好的反映局部图像结构的边缘，纹理等信息，则图像结构显著性加权映射图定义如下：

式中：N为输入图像的像素数，为像素数为k时的对比度显著值，n为输入图像的个数。

(d).快速加权导向滤波器

为达到既能保持边缘和平滑特性又能快速实现的目的，本发明提出一种具有图像滤波的快速加权导向滤波器。通过对引导图像和输入图像按采样率s进行采样处理，采样后引导图像为I_{n_sub}、输入图像为P_{n_sub}。为了更好保持多聚焦图像边缘特性，引入一阶约束项η_k和边缘保持项构造能量函数：

式中：ω_k为以半径为2r+1的窗口，a_k，b_k为在窗口ω_k内的两个常系数，i为以点k为中心窗口的邻域点，λ为归一正则化参数。

η_k定义如下式：

式中：μ_χ,_∞为χ(i)的均值，γ＝4/(μ_χ,_∞-min(χ(i)))。

定义如下式：

式中：M为图像I_n-sub的像素值，ε为一个常数。

通过最小化能量函数E，利用最小二乘法求得最优化参数a_k、b_k：

式中：I_{n_sub}⊙P_{n_sub}为矩阵I_{n_sub}和P_{n_sub}中对应元素的乘积， 分别为各自在(2r₁+1)×(2r₁+1)窗口的均值。

快速导向滤波器Z_i如下式：

式中：分别表示在像素i处的所有窗口的平均值；|ω|表示窗口ω_k中像素个数。

(e).显著性度量的加权映射图构造

本发明将快速加权导向滤波器Z_i应用于对比度、清晰度和结构显著性度量加权映射图D_1,n、D_2,n和D_3,n中，将相对应的源图像I_n作为引导图像生成最终的加权图如下：

式中：m＝(1,2,3)，r₁，ε₁，r₂和ε₂分别为快速加权导向滤波器的参数，Fast表示快速加权导向滤波器，和分别为低频分量和高频分量的加权图。

本发明对显著性度量的加权映射图组合后得到与源图像I_n相对应总的加权图：

式中：和分别为低频分量和高频分量总的加权图，λ为0～1之间的一个参数，然后分别将和进行归一化处理。

步骤三：两尺度图像重构

将多聚焦源图像的低频分量和高频分量分别通过加权平均进行融合得到各自的融合分量，如下式：

将得到的融合后的低频分量和高频分量进行重构得到融合后的图像，则

下面结合附图1、附图2和附图3对本发明的效果做进一步描述。

1.实验条件

实验环境为CPU Intel Core i5-5200U@2.20GHz，内存为4GB，采用MATLAB R2014a编程。本发明采用多聚焦图像集(256×256)进行实验测试和对比。其中附图3(a)、3(b)、3(c)和3(d)分别是Clock、Lab、Pepsi和Flower多聚焦图像融合实验效果对比。

2.实验内容

附图3是多聚焦图像融合后图像的对比图。

用本发明的方法和现有的三种文献1、文献2和文献3融合方法对附图2中四组多聚焦源图像融合结果进行比较来验证本发明所提算法的有效性。附图3各个图像融合结果从左及右依次是文献1“A general framework for image fusion based on multi-scaletransform and sparse representation,Information Fusion,2015,24:147-164.”文献2“Image fusion based on pixel significance using cross bilateral filter,SignalImage&Video Processing,2015,9(5):1193-1204.”文献3“Image fusion with guidedfiltering,IEEE Transactions on Image Processing A Publication of the IEEESignal Processing Society,2013,22(7):2864-2875.”和本发明的多聚焦图像融合结果图。

本发明的融合方法与现有的三种融合方法相比，在灰度范围和整体亮度上与源图像较为匹配，视觉效果更高，目标和场景更清晰。并且在一定程度上图像边缘对比度增加，获得的融合图像具有更好的整体对比度和视觉效果。文献1“A general framework forimage fusion based on multi-scale transform and sparse representation,Information Fusion,2015,24:147-164.”算法所得的结果在附图3的Clock融合图像出现了振铃效应，并且在一定程度上图像边缘对比度降低；文献2“Image fusion based onpixel significance using cross bilateral filter，Signal Image&VideoProcessing，2015,9(5):1193-1204.”和文献3“Image fusion with guided filtering，IEEE Transactions on Image Processing A Publication of the IEEE SignalProcessing Society，2013,22(7):2864-2875.”获得的结果在附图3的Pepsi融合图像的边缘区域出现伪影现象。通过以上融合图像的对比，本发明获得的融合图像具有更好的视觉效果：对多聚焦源图像附图3中基于文献1、文献2、文献3和本发明所提算法获得的融合图像的顶部区域作清晰对比，对附图3中基于文献1、文献2、文献3和本发明所提算法获得的融合图像的最左边区域作清晰对比，本发明所提算法也具有更好的视觉效果和整体对比度。

引入图像互信息MI、信息结构相似度Q_Y、标准差SD和边缘保持度Q^AB/F等客观评价指标对融合图像的质量进行定量评价。三种融合方法的融合客观评价指标如下表1所示：

表1多聚焦图像不同融合方法的客观评价指标

分析表1数据可知，本发明方法在提取信息和空间一致性方面比文献1、文献2和文献3的融合方法更健壮，性能上也优于以上的融合方法，本发明方法获得的融合图像能够保留大量的多聚焦信息并且和源图像具有较高的相似性和相关性。

Claims (1)

1.一种快速多聚焦图像融合方法，其特征在于步骤如下：

步骤1：利用高斯平滑滤波器对源图像进行分解

利用高斯平滑滤波器将多聚焦源图像分解得到低频分量，再将源图像减去低频分量得到高频分量，如下式：

式中：I_n为多聚焦源图像，为源图像的低频分量，为源图像的高频分量；G_r,σ为(2r+1)×(2r+1)窗口的高斯平滑滤波器，σ为标准差；其中低频分量图像中包含了源图像的大量亮度和对比度信息，高频分量图像中包含了源图像的大量细节信息；

步骤2：视觉显著性特征的加权映射图构造

步骤2a：利用局部对比度和高斯平滑滤波器构建对比度显著图CS：

CS＝LC*G_r,σ

其中，LC为局部对比度，O、P表示选择窗口尺寸，为以(x,y)为中心的3×3窗口的均值，ω(m,n)为3×3窗口的权值，m和n表示某一个像素点在局部窗口中的位置坐标，I(x+m,y+n)表示像素点(x+m,y+n)处的图像；

构造对比度加权映射图：

其中，N为输入图像的像素数，为像素数为k时的对比度显著值，n为输入图像的个数；

步骤2a：构造清晰度加权映射图：

其中，SP为清晰度显著图，ω(m,n)为3×3窗口的权值，ML为改进的拉普拉斯分量；N为输入图像的像素数，为像素数为k时的清晰度显著值，n为输入图像的个数；

步骤2c：构造图像结构显著性加权映射图：

其中，和为局部梯度协方差矩阵分解成的特征值；

步骤2d：快速加权导向滤波器

引入一阶约束项η_k和边缘保持项构造能量函数：

式中：ω_k为以半径为2r+1的窗口，a_k，b_k为在窗口ω_k内的两个常系数，i为以点k为中心窗口的邻域点，λ为归一正则化参数；

η_k定义如下式：

式中：μ_χ,∞为χ(i)的均值，γ＝4/(μ_χ,∞-min(χ(i)))；

定义如下式：

式中：M为图像I_n-sub的像素值，ε为一个常数；

通过最小化能量函数E，利用最小二乘法求得最优化参数a_k、b_k：

式中：I_{n_sub}⊙P_{n_sub}为矩阵I_{n_sub}和P_{n_sub}中对应元素的乘积， 分别为各自在(2r₁+1)×(2r₁+1)窗口的均值；

快速导向滤波器Z_i如下式：

式中：分别表示在像素i处的所有窗口的平均值；|ω|表示窗口ω_k中像素个数。

步骤2e：构造显著性度量的加权映射图

将快速加权导向滤波器Z_i应用于对比度、清晰度和结构显著性度量加权映射图D₁,_n、D_2,n和D_3,n中，将相对应的源图像I_n作为引导图像生成最终的加权图如下：

式中：m＝(1,2,3)，r₁，ε₁，r₂和ε₂分别为快速加权导向滤波器的参数，Fast表示快速加权导向滤波器，和分别为低频分量和高频分量的加权图；

对显著性度量的加权映射图组合后得到与源图像I_n相对应总的加权图：

式中：和分别为低频分量和高频分量总的加权图，λ为0～1之间的一个参数，然后分别将和进行归一化处理；

步骤3：将多聚焦源图像的低频分量和高频分量分别通过加权平均进行融合得到各自的融合分量，如下式：

将得到的融合后的低频分量和高频分量进行重构得到融合后的图像，则