CN108510465A - 基于一致性约束非负稀疏表示的多聚焦图像融合方法 - Google Patents

Abstract

本发明提出了一种基于一致性约束非负稀疏表示的多聚焦图像融合方法，用于解决现有技术中存在的融合图像清晰度低和融合复杂度较高的技术问题。其实现步骤是：输入经过配准的源图像；构建源图像的向量化矩阵；构建基于一致性约束的非负稀疏表示的稀疏编码模型；利用具有自适应惩罚因子的线性迭代方向算法对一致性约束的非负稀疏表示的稀疏编码模型进行求解，得到源图像的非负稀疏表示系数；利用源图像的非负稀疏表示系数构建图像块级标记矩阵；利用图像块级标记矩阵构建融合图像。本发明能够提高融合图像的清晰度的同时降低融合复杂度，可用于环境监测，清晰图像重建等领域。

Description

基于一致性约束非负稀疏表示的多聚焦图像融合方法

技术领域

本发明属于图像处理技术领域，涉及一种多聚焦图像融合方法，具体涉及一种基于一致性约束的非负稀疏表示的多聚焦图像融合方法，可用于环境监测，清晰图像重建等领域。

技术背景

图像融合是指检测并提取同一场景的两幅或多幅源图像的特征，经过特定的融合规则，将提取的输入图像的特征融合到一幅图像中，得到的融合图像同任一源图像相比，增加了图像的信息量，提高了图像的清晰度，更加有利于全面、准确地获取图像中目标或场景信息，随着各种成像传感器的不断涌现，图像融合技术也得到了较快发展，图像融合技术也越来越多的应用在计算机视觉、医学成像与诊断、环境监测等相关领域。

多聚焦图像融合是图像融合的一个重要分支，通过多聚焦图像融合，将源图像中的聚焦区域提取出来，然后融合成一幅融合图像，融合后的图像与任一源图像相比包含有更多的清晰区域，因此能够更准确的描述被拍摄的场景。多聚焦图像融合的重点和难点在于对源图像聚焦区域完整一致地提取。

由于稀疏表示理论在图像去燥，图像分类和人脸识别领域的良好表现，很多研究学者将稀疏表示理论应用在图像融合领域。“B.Yang,S.Li,Multi-focus image fusionand restoration with sparse representation,IEEE Transactions onInstrumentation and Measurement,vol.59,no.4,pp.884-892,2010.”最早将稀疏表示模型(SR)应用在多聚焦图像融合领域，公开了一种基于稀疏表示的多聚焦图像融合方法，该方法首先利用滑动窗口技术将源图像分为重叠的子图像块，子图像块的大小与滑动窗的大小相等，然后将子图像块按照字典语义顺序拉成列向量，得到源图像的向量化矩阵，然后利用稀疏表示模型和DCT字典对源图像的向量化矩阵进行稀疏编码，得到源图像的稀疏表示系数，最后将稀疏表示系数的l₁-范数定义为聚焦衡量指标，并利用“取大”的融合规则构建最终的融合图像。然而，该融合方法由于在源图像的稀疏编码过程中仅仅对源图像的稀疏表示系数进行稀疏约束，导致源图像的稀疏表示系数中既存在正数也存在负数，负数的存在使得对源图像重构的过程中图像特征之间会出现抵消，导致对源图像特征提取的不完整，使得最终的融合图像的清晰度降低。针对这种问题“J.Wang,J.Peng,et al.,Fusionmethod for infrared and visible images by using non-negative sparserepresentation,Infrared Physics&Technology,67(2014)477-489.”公开了一种基于非负稀疏表示模型(NNSR)的红外与可见光图像融合方法，该方法首先利用滑动窗口技术将源图像分为重叠的子图像块，子图像块的大小与滑动窗的大小相等，然后将子图像块按照字典语义顺序拉成列向量，得到源图像的向量化矩阵，然后利用非负稀疏表示模型对源图像的向量化矩阵进行稀疏编码，得到源图像的非负稀疏表示系数，然后利用源图像的非负稀疏表示系数以及对应的融合规则构建最终的融合图像，不同于基于稀疏表示模型的融合方法中只对稀疏表示系数进行稀疏约束，该融合方法中利用非负稀疏表示模型对源图像进行稀疏编码，对稀疏表示系数增加稀疏和非负约束，非负约束与输入图像数据的非负特性十分吻合，因而，该融合方法能够更好地提取源图像中的特征。

然而上述的基于非负稀疏表示的图像融合方法中也存在如下不足：(1)在稀疏编码过程中单独考虑每一个图像块，没有考虑源图像的特征一致性，导致对源图像特征提取的不完整，从而使融合图像的清晰度降低；(2)使用滑动窗口技术将源图像分为很多重叠的子图像块，在一定程度上减少融合图像中出现块效应，但同时增加了融合方法的计算复杂度。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于一致性约束的非负稀疏表示的多聚焦图像融合方法，用于解决现有技术中存在的融合图像清晰度低和融合复杂度较高的技术问题。

其主要的技术思路是：输入经过配准的源图像；构建源图像的向量化矩阵；构建基于一致性约束的非负稀疏表示的稀疏编码模型；利用具有自适应惩罚因子的线性迭代方向方法对一致性约束的非负稀疏表示的稀疏编码模型进行求解，得到源图像的非负稀疏表示系数；构建图像块级标记矩阵；利用图像块级标记矩阵，构建融合图像。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)输入经过配准的源图像I_A和I_B，其中，I_A∈R^M×L，I_B∈R^M×L，M表示源图像I_A和I_B的宽度，L表示源图像I_A和I_B的高度；

(2)构建源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B：

(2a)采用大小为n₁×n₂的窗口，按照从左到右，从上到下的顺序对输入的两幅相同大小的源图像I_A和I_B进行无重叠的遍历，得到N个无重叠的子图像块，其中，n₁表示窗口的宽度所包含的像素个数，n₁≥2；n₂表示窗口的高度所包含的像素个数，n₂≥2；N＝M₁×L₁，M₁表示M包含的无重叠子图像块的个数，L₁表示L包含的无重叠子图像块的个数，表示不小于的最小整数，表示不小于的最小整数；

(2b)按照字典语义顺序，对N个无重叠的子图像块中的每个子图像块进行向量化，得到源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B，其中 表示源图像I_A的向量化矩阵Y_A的第i列， 表示源图像I_B的向量化矩阵Y_B的第i列，

(3)构建基于一致性约束的非负稀疏表示的稀疏编码模型：

对非负稀疏表示模型的非负稀疏表示系数增加拉普拉斯一致性先验约束，得到一致性约束的非负稀疏表示的稀疏编码模型：

其中，Y表示源图像向量化矩阵，Y＝[y₁,…,y_t,…,y_P]∈R^n×P，y_t表示Y中的第t列，y_t∈R^n×1，t∈[1,P]，P表示Y中的列的个数；D表示非负字典，D＝[d₁,…,d_k,…,d_K]∈R^n×K；X表示非负稀疏表示系数，X＝[x₁,…,x_t,…,x_P]∈R^K×P；X≥0表示非负稀疏表示系数X中的每个元素是非负的；||Y-DX||_F表示Y-DX的Frobenius范数；||X||₁为X的l₁范数，表示矩阵中所有元素的绝对值之和；λ表示控制稀疏性约束权重的惩罚因子；β表示控制一致性约束的权重惩罚因子；X^T表示X的转置；x_t表示非负稀疏表示系数X的第t列，t∈[1,P]，x_m表示非负稀疏表示系数X的第m列，m∈[1,P]，yt表示源图像向量化矩阵Y的第t列，y_m表示源图像向量化矩阵Y的第m列，σ为高斯核尺度参数，L∈R^P×P表示拉普拉斯因子，L＝C-W，对称矩阵W∈R^P×P，构建方式为W(t,m)＝ω_tm，W(t,m)表示对称矩阵W在(t,m)位置处的元素值，对角矩阵C∈R^P×P，C(t,t)表示对角矩阵C在(t,t)处的元素值；

(4)利用具有自适应惩罚因子的线性迭代方向算法对一致性约束的非负稀疏表示的稀疏编码模型进行求解，得到源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数

其中，

(5)构建图像块级标记矩阵

利用源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数构建图像块级标记矩阵

(6)利用图像块级标记矩阵源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B构建源图像I_A和I_B的融合图像I_F：

(6a)按照从左上角到右下角的顺序对图像块级标记矩阵进行重塑，得到标记向量

(6b)利用标记向量构建融合图像对应的向量化矩阵Y_F：

其中，

(6c)利用融合图像对应的向量化矩阵Y_F构建源图像I_A和I_B的融合图像I_F：

将Y_F中的每一列重塑为n₁×n₂的图像块，并根据每一个图像块在源图像I_A和源图像I_B中对应的空间位置对该图像块进行叠加，得到源图像I_A和源图像I_B的融合图像I_F。

本发明与现有技术相比，具有以下优点：

(1)本发明由于在构建编码模型的过程中，对非负稀疏表示系数增加了一致性先验约束，使得在对源图像进行稀疏编码的过程中，能够保证特征相似的图像块的非负稀疏表示系数同样具有较高的相似性，有助于源图像清晰区域的提取，仿真结果表明本发明能够获得更加清晰的融合图像。

(2)本发明由于在源图像向量化的过程中将源图像分为无重叠的图像块，相比于基于非负稀疏表示的融合方法中用的滑动窗口技术将源图像分为重叠的图像块来说，图像块的个数会明显减少，这大大提高了本发明的计算效率。

附图说明

图1为本发明的实现流程框图；

图2为本发明与现有技术对比试验中用到的10组源图像；

图3为本发明与现有技术的实验对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，本发明包括如下步骤：

步骤1：输入经过配准的两幅源图像I_A和I_B，其中，I_A∈R^M×L，I_B∈R^M×L，M表示源图像I_A和I_B的宽度，L表示源图像I_A和I_B的高度。

步骤2：构建源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B：

步骤2a)采用大小为n₁×n₂的窗口，按照从左到右，从上到下的顺序对输入的两幅相同大小的源图像I_A和I_B进行无重叠的遍历，得到N个无重叠的子图像块，其中，n₁表示窗口的宽度所包含的像素个数，n₁≥2；n₂表示窗口的高度所包含的像素个数，n₂≥2；N＝M₁×L₁，M₁表示M包含的无重叠子图像块的个数，L₁表示L包含的无重叠子图像块的个数，表示不小于的最小整数，表示不小于的最小整数。

步骤2b)按照字典语义顺序，对N个无重叠的子图像块中的每个子图像块进行向量化，得到源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B，其中表示源图像I_A的向量化矩阵Y_A的第i列， 表示源图像I_B的向量化矩阵Y_B的第i列，

步骤3：构建基于一致性约束的非负稀疏表示的稀疏编码模型：

步骤3a)利用拉普拉斯一致性先验知识对非负稀疏表示模型的稀疏表示系数的相似性进行约束，得到一致性约束项Tr(XLX^T)：

其中，X表示源图像向量化矩阵Y的非负稀疏表示系数，X＝[x₁,…,x_t,…,x_P]∈R^{K ×P}，Y＝[y₁,…,y_t,…,y_P]∈R^n×P；x_t为非负稀疏表示系数X的第t列，t∈[1,P]；x_m为非负稀疏表示系数X的第m列，m∈[1,P]；X^T表示X的转置；yt表示源图像向量化矩阵Y的第t列，ym表示源图像向量化矩阵Y的第m列，σ为高斯核尺度参数，L∈R^P×P表示拉普拉斯因子，L＝C-W，对称矩阵W∈R^P×P，构建方式为W(t,m)＝ω_tm，W(t,m)表示对称矩阵W在(t,m)位置处的元素值，对角矩阵C∈R^P×P，C(t,t)表示对角矩阵C在(t,t)处的元素值。

步骤3b)将非负稀疏表示模型与一致性约束项Tr(XLX^T)结合，得到基于一致性约束的非负稀疏表示的稀疏编码模型：

其中，D表示非负字典，D＝[d₁,…,d_k,…,d_K]∈R^n×K；X≥0表示非负稀疏系数X中的每个元素是非负的；||Y-DX||_F表示Y-DX的Frobenius范数；||X||₁为X的l₁范数，表示X中所有元素的绝对值之和；λ表示控制稀疏性约束权重的惩罚因子；β表示控制一致性约束的权重的惩罚因子。

步骤4：利用具有自适应惩罚因子的线性迭代方向算法对一致性约束的非负稀疏表示的稀疏编码模型进行求解，得到源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数

其中，

步骤5：构建图像块级标记矩阵

利用源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数构建图像块级标记矩阵

步骤5a)利用源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数构建初始标记向量初始标记向量中的第i个元素的计算公式为：

其中，表示源图像I_A的非负稀疏表示系数的第i列；表示源图像I_B的非负稀疏表示系数的第i列；表示向量的l₂范数；表示向量的l₂范数。

步骤5b)利用初始标记向量构建初始图像块级标记矩阵按照从左到右，从上到下的顺序，将初始标记向量重塑成大小为M₁×L₁的初始图像块级标记矩阵初始图像块级标记矩阵中(x,y)位置处的元素值的计算公式为：

其中，表示初始标记向量中的第i个元素；x，y与i存在如下关系：

其中，表示不大于的最大整数。

步骤5c)利用局部空间一致性对初始图像块级标记矩阵进行优化，得到图像块级标记矩阵具体过程如下：针对初始图像块级标记矩阵中每一个元素，统计该元素的8邻域中被标记为1的元素个数以及被标记为0的元素个数，如果被标记为1的元素个数多于被标记为0的元素个数，则该元素被标记1，如果被标记为1的元素个数少于被标记为0的元素个数，则该元素被标记0。

步骤6：利用图像块级标记矩阵源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B构建源图像I_A和I_B的融合图像I_F：

步骤6a)按照从左上角到右下角的顺序对图像块级标记矩阵进行重塑，得到标记向量

步骤6b)利用标记向量构建融合图像对应的向量化矩阵Y_F：

其中，

步骤6c)利用融合图像对应的向量化矩阵Y_F构建源图像I_A和I_B的融合图像I_F，具体过程如下：将Y_F中的每一列重塑为n₁×n₂的图像块，并根据每一个图像块在源图像I_A和源图像I_B中对应的空间位置对该图像块进行叠加，得到源图像I_A和源图像I_B的融合图像I_F。

以下结合仿真实验，对本发明的技术效果作进一步详细的分析。

一、实验条件

本发明的仿真是在主频3GHZ的Intel(R)Core(TM)2Duo、内存4GB的硬件环境和MATLAB R2016a的软件环境下进行的。

二、实验内容

实验1：

使用本发明与基于非负稀疏表示模型的融合方法(以下简称为现有技术)对同一组源图像(图2(d1)和图2(d2))进行融合，并对两种方法的融合图像和融合图像与其中一幅源图像(图2(d2))的归一化差值图像进行比较，实验结果如图(3)所示，其中图3(a)为现有技术的融合图像，图3(b)为现有技术得到的融合图像与源图像的归一化差值图像，图3(c)为本发明获得的融合图像，图3(d)为本发明得到的融合图像与源图像的归一化差值图像。

对比图3(b)和图3(d)的白色矩形框区域，可以看出现有技术得到的融合图像与源图像的归一化差值图像(图3(b))中包含有明显的“孤立”区域，这些区域的存在表明融合图像中存在块效应，从而使得融合图像的清晰度降低。图3表明本发明相比于现有技术能够获得清晰度更高的融合图像。

实验2：

使用本发明与现有技术对10组源图像(图2)进行融合，并用平均梯度(Q_G)、Petrovic’s metric(Q^AB/F)、结构相似性(Structural Similarity，SSIM)、零均值归一化互相关(zero-mean normalized cross-correlation,ZNCC)和相位一致性(PhaseConsistency，Q_PC)五种客观评价指标对融合图像进行客观对比，五种客观评价指标的值越大代表融合图像的质量越高。实验结果如表1所示。

表1.本发明与现有技术融合结果的客观对比

从表1中可以发现本发明获得的融合图像的五种客观评价指标的值明显大于现有技术得到的融合图像的五种客观评价指标的值，从而进一步表明了本发明能够获得更加清晰的融合图像。

Claims (3)

1.一种基于一致性约束的非负稀疏表示的多聚焦图像融合方法，其特征在于，包括如下步骤：

(1)输入经过配准的源图像I_A和I_B，其中，I_A∈R^M×L，I_B∈R^M×L，M表示源图像I_A和I_B的宽度，L表示源图像I_A和I_B的高度；

(2)构建源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B：

(2a)采用大小为n₁×n₂的窗口，按照从左到右，从上到下的顺序对输入的两幅相同大小的源图像I_A和I_B进行无重叠的遍历，得到N个无重叠的子图像块，其中，n₁表示窗口的宽度所包含的像素个数，n₁≥2；n₂表示窗口的高度所包含的像素个数，n₂≥2；N＝M₁×L₁，M₁表示M包含的无重叠子图像块的个数，L₁表示L包含的无重叠子图像块的个数， 表示不小于的最小整数，表示不小于的最小整数；

(2b)按照字典语义顺序，对N个无重叠的子图像块中的每个子图像块进行向量化，得到源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B，其中 表示源图像I_A的向量化矩阵Y_A的第i列， 表示源图像I_B的向量化矩阵Y_B的第i列，

(3)构建基于一致性约束的非负稀疏表示的稀疏编码模型：

对非负稀疏表示模型的非负稀疏表示系数增加拉普拉斯一致性先验约束，得到一致性约束的非负稀疏表示的稀疏编码模型：

其中，Y表示源图像向量化矩阵，Y＝[y₁,…,y_t,…,y_P]∈R^n×P，y_t表示Y中的第t列，y_t∈R^{n ×1}，t∈[1,P]，P表示Y中的列的个数；D表示非负字典，D＝[d₁,…,d_k,…,d_K]∈R^n×K；X表示非负稀疏表示系数，X＝[x₁,…,x_t,…,x_P]∈R^K×P；X≥0表示非负稀疏表示系数X中的每个元素是非负的；||Y-DX||_F表示Y-DX的Frobenius范数；||X||₁为X的l₁范数，表示矩阵中所有元素的绝对值之和；λ表示控制稀疏性约束权重的惩罚因子；β表示控制一致性约束的权重惩罚因子；X^T表示X的转置；x_t表示非负稀疏表示系数X的第t列，t∈[1,P]，x_m表示非负稀疏表示系数X的第m列，m∈[1,P]，y_t表示源图像向量化矩阵Y的第t列，y_m表示源图像向量化矩阵Y的第m列，σ为高斯核尺度参数，L∈R^P×P表示拉普拉斯因子，L＝C-W，对称矩阵W∈R^P×P，构建方式为W(t,m)＝ω_tm，W(t,m)表示对称矩阵W在(t,m)位置处的元素值，对角矩阵C∈R^P×P，C(t,t)表示对角矩阵C在(t,t)处的元素值；

(4)利用具有自适应惩罚因子的线性迭代方向算法对一致性约束的非负稀疏表示的稀疏编码模型进行求解，得到源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数

其中，

(5)构建图像块级标记矩阵

利用源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数构建图像块级标记矩阵

(6)利用图像块级标记矩阵源图像I_A的向量化矩阵Y_A和源图像I_B的向量化矩阵Y_B构建源图像I_A和I_B的融合图像I_F：

(6a)按照从左上角到右下角的顺序对图像块级标记矩阵进行重塑，得到标记向量

(6b)利用标记向量构建融合图像对应的向量化矩阵Y_F：

其中，

(6c)利用融合图像对应的向量化矩阵Y_F构建源图像I_A和I_B的融合图像I_F：

将Y_F中的每一列重塑为n₁×n₂的图像块，并根据每一个图像块在源图像I_A和源图像I_B中对应的空间位置对该图像块进行叠加，得到源图像I_A和源图像I_B的融合图像I_F。

2.根据权利要求1所述的基于一致性约束的非负稀疏表示的多聚焦图像融合方法，其特征在于，步骤(3)中所述的构建基于一致性约束的非负稀疏表示的稀疏编码模型，实现步骤为：

(3a)利用拉普拉斯一致性先验知识对非负稀疏表示模型的稀疏表示系数的相似性进行约束，得到一致性约束项Tr(XLX^T)：

其中，X表示源图像向量化矩阵Y的非负稀疏表示系数，X＝[x₁,…,x_t,…,x_P]∈R^K×P，Y＝[y₁,…,y_t,…,y_P]∈R^n×P；x_t为非负稀疏表示系数X的第t列，t∈[1,P]；x_m为非负稀疏表示系数X的第m列，m∈[1,P]；X^T表示X的转置；y_t表示源图像向量化矩阵Y的第t列，y_m表示源图像向量化矩阵Y的第m列，σ为高斯核尺度参数，L∈R^P×P表示拉普拉斯因子，L＝C-W，对称矩阵W∈R^P×P，构建方式为W(t,m)＝ω_tm，W(t,m)表示对称矩阵W在(t,m)位置处的元素值，对角矩阵C∈R^P×P，C(t,t)表示对角矩阵C在(t,t)处的元素值；

(3b)将非负稀疏表示模型与一致性约束项Tr(XLX^T)结合，得到基于一致性约束的非负稀疏表示的稀疏编码模型：

其中，D表示非负字典，D＝[d₁,…,d_k,…,d_K]∈R^n×K；X≥0表示非负稀疏系数X中的每个元素是非负的；||Y-DX||_F表示Y-DX的Frobenius范数；||X||₁为X的l₁范数，表示X中所有元素的绝对值之和；λ表示控制稀疏性约束权重的惩罚因子；β表示控制一致性约束的权重的惩罚因子。

3.根据权利要求1所述的一种基于一致性约束的非负稀疏表示的多聚焦图像融合方法，其特征在于，步骤(5)中所述的构建图像块级标记矩阵实现步骤为：

(5a)利用源图像I_A的非负稀疏表示系数和源图像I_B的非负稀疏表示系数构建初始标记向量

其中，I_A∈R^M×L，I_B∈R^M×L，M表示源图像I_A和I_B的宽度，L表示源图像I_A和I_B的高度；N＝M₁×L₁，M₁表示M包含的无重叠子图像块的个数，L₁表示L包含的无重叠子图像块的个数， 表示不小于的最小整数，表示不小于的最小整数，n₁表示构建源图像I_A和I_B的向量化矩阵过程中所使用窗口的宽度n₁≥2，n₂表示构建源图像I_A和I_B的向量化矩阵过程中所使用窗口的高度，n₂≥2；初始标记向量中的第i个元素的计算公式为：

其中，i＝1,2,…,N；表示源图像I_A的非负稀疏表示系数的第i列；表示源图像I_B的非负稀疏表示系数的第i列；表示向量的l₂范数；表示向量的l₂范数；

(5b)利用初始标记向量构建初始图像块级标记矩阵

按照从左到右，从上到下的顺序，将初始标记向量重塑成大小为M₁×L₁的初始图像块级标记矩阵初始图像块级标记矩阵中(x,y)位置处的元素值的计算公式为：

其中，表示初始标记向量中的第i个元素；x，y与i存在如下关系：

其中，表示不大于的最大整数；

(5c)利用局部空间一致性对初始图像块级标记矩阵进行优化，得到图像块级标记矩阵 具体过程如下：针对初始图像块级标记矩阵中每一个元素，统计该元素的8邻域中被标记为1的元素个数以及被标记为0的元素个数，如果被标记为1的元素个数多于被标记为0的元素个数，则该元素被标记1，如果被标记为1的元素个数少于被标记为0的元素个数，则该元素被标记0。