CN106056564A - 基于联合稀疏模型的边缘清晰图像融合方法 - Google Patents

Abstract

基于联合稀疏模型的边缘清晰图像融合方法，本发明涉及联合稀疏模型技术领域，其旨在解决现有技术融合算法结构不能够利用对融合图像有帮助的高频源图像信息，忽略了重要图像细节信息且其融合图像也不能体现出清晰的边缘轮廓等技术问题。本发明利用联合稀疏模型能够准确地分离出多模态图像之间互补信息的特征，设计新的融合规则、提出了一种新的基于联合稀疏模型的多模态图像融合算法。

Description

基于联合稀疏模型的边缘清晰图像融合方法

技术领域

本发明涉及联合稀疏模型技术领域，具体涉及基于联合稀疏模型的边缘清晰图像融合方法。

背景技术

现有联合稀疏模型技术，其灰度分散程度低，且没有利用到图片的高频或边缘信息。本发明利用联合稀疏模型能够准确地分离出多模态图像之间互补信息的特征，提出了一种新的基于联合稀疏模型的多模态图像融合算法。

发明内容

针对上述现有技术，本发明目的在于提供，其旨在解决现有技术融合算法结构不能够利用对融合图像有帮助的高频源图像信息，忽略了重要图像细节信息且其融合图像也不能体现出清晰的边缘轮廓等技术问题。

为达到上述目的，本发明采用的技术方案如下：

基于联合稀疏模型的边缘清晰图像融合方法，其步骤包括

步骤1、获取几何配准的第一源图像X_A和第二源图像X_B，

步骤2、利用滑窗技术，对第一源图像和第二源图像分别进行图像分块，并通过N维列向量表示图像块图像块为源图像分块矩阵x_j第i列列向量，j＝A、B，i＝1、2……K，K为一幅源图像的图像块总数；

步骤3、计算出每个图像块各自灰度的均值并对每个图像块分别作去均值处理，得到去均值图像块再根据基追踪算法求解出过完备字典D下的共同稀疏系数和不同稀疏系数

步骤4、将去均值图像块共同稀疏系数和不同稀疏系数代入高频信息保留融合规则中计算，得到融合系数

步骤5、根据过完备字典D和融合系数计算出融合图像块融合图像块为融合图像分块矩阵x_F第i列列向量；

步骤6、再次利用滑窗技术，对所有融合图像块进行变换处理，获得融 合图像X_F。

上述方案中，所述的步骤2，使两幅源图像分别变成大小为 和的图像分块矩阵x_j，然后对应分别转换为N维列向量形式的图像块

上述方案中，所述的步骤3，其中基追踪算法如下：

S为稀疏系数向量，X为图像块向量，为过完备字典D构成的共轭矩阵， 为最小化稀疏系数向量S的0范数，s.t表示为求解的限制条件，为的2范数，ε为误差容限且ε≥0。

上述方案中，所述步骤3，通过正交匹配追踪对基追踪算法公式求解，得到共同稀疏系数和不同稀疏系数

上述方案中，所述步骤4，其中步骤包括

步骤4.1、分别获得两幅源图像的图像块均值矩阵m_A、m_b；

步骤4.2、将源图像分块矩阵x_A、x_B分别对应减去图像块均值矩阵m_A、m_b，得到去均值图像块矩阵

步骤4.3、再通过高频信息保留融合规则，得到融合系数s_Fi，该高频信息保留融合规则为

其中，

τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0),

β为常系数。

上述方案中，所述步骤5，其中步骤包括

步骤5.1、根据融合系数得到中间量

步骤5.2、根据中间量，利用下式

得到融合图像块

上述方案中，所述步骤6，对所有融合图像块进行变换处理后，再通过加权平均处理获得融合图像X_F。

与现有技术相比，本发明的有益效果：

根据联合稀疏模型，提出一种新的基于联合稀疏表示的多模态边缘清晰图像融合方法；不仅利用联合稀疏模型将同一场景的多模态图像的私有部分融合在一起，而且在选取融合策略时，既关注待融合图像的低频成分，又考虑了高频成分。

本发明算法得到的融合图像灰度分散程度较高，获得的融合图像与源图像的相似性高于现有技术方法，更加突出融合图像的边缘信息；本发明算法不仅可以较优的融合红外和可见光信息，而且融合后的图像的边缘信息更加突出；亮度高于现有技术方法。

附图说明

图1为现有技术联合稀疏表示模型框架；

图2为本发明部分训练图像集示意图；

图3为本发明联合稀疏模型的边缘清晰图像融合算法流程图；图4为本发明2组红外与可见光源图像；

图5为本发明3组医学源图像；

图6为本发明a1组图像作用在各种方法上的客观评价指标；

图7为本发明各算法作用在a1组图像的融合结果图，(a)DWT的融合图像，(b)DTCWT的融合图像，(c)SWT的融合图像，(d)CVT的融合图像，(e)NSCT的融合图像，(f)B.Y的融合图像；(g)YIN的融合图像，(h)Shutao Li的融合图像，(i)本申请方法的融合图像；

图8为本发明a2组图像作用在各种方法上的客观评价指标；

图9为本发明各算法作用在a2组图像的融合结果图，(a)DWT的融合图像， (b)DTCW-T的融合图像，(c)SWT的融合图像，(d)CVT的融合图像，(e)NSCT的融合图像，(f)B.Y的融合图像，(g)YIN的融合图像，(h)Shutao Li的融合图像，(i)本申请方法的融合图像；

图10为本发明b1组图像作用在各种方法上的客观评价指标；

图11为本发明各算法作用在b1组图像的融合结果图，(a)DWT的融合图像，(b)DTCWT的融合图像，(c)SWT的融合图像，(d)CVT的融合图像，(e)NSCT的融合图像，(f)B.Y的融合图像，(g)YIN的融合图像，(h)Shutao Li的融合图像，(i)本申请方法的融合图像；

图12为本发明b2组图像作用在各种方法上的客观评价指标

图13为本发明各算法作用在b2组图像的融合结果图，(a)DWT的融合图像，(b)DTCWT的融合图像，(c)SWT的融合图像，(d)CVT的融合图像，(e)NSCT的融合图像，(f)B.Y的融合图像，(g)YIN的融合图像，(h)Shutao Li的融合图像，(i)本申请方法的融合图像；

图14为本发明b3组图像作用在各种方法上的客观评价指标；

图15为本发明各算法作用在b3组图像的融合结果图，(a)DWT的融合图像，(b)DTCW-T的融合图像，(c)SWT的融合图像，(d)CVT的融合图像，(e)NSCT的融合图像，(f)B.Y的融合图像，(g)YIN的融合图像，(h)Shutao Li的融合图像，(i)本申请方法的融合图像。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合附图对本发明做进一步说明：

实施例1

联合稀疏模型：

在JSM-1模型中，信号群中所有的信号都可以写成共同分量和特征分量相加的形式。其模型框架如图1所示。根据分布式信源编码的思想，所有信号具有相同的公共稀疏部分与各自的稀疏部分。现假设一组信号其中x_i∈R^N，i＝1,2,…,J，则有：

其中J表示信号群中信号的个数，D∈R^n×m(n＜m)为过完备字典，s^C∈R^m为所有信号的公共稀疏部分，为每个信号各自特有的稀疏表示部分，X则表示为：

其中0∈R^n×m为零矩阵，S∈R^(J+1)m为稀疏系数向量。结合稀疏表示理论可知，稀疏系数向量估计S^*可通过求解以下最优化问题得到：

其中ε≥0为误差容限，||S||₀表示向量中非零元素的个数。公式(3)的解决方法有许多，比如，基追踪(BP)，正交匹配追踪(OMP)。使用OMP方法解决公式(3)。

字典构造：

目前主要有两种方法构造字典:分析变换方法和学习方法。分析变换方法得到的字典可以多尺度地分析图像。如，DCT变换、小波和曲波等。学习方法获得的字典能更精细地拟合数据，如,MOD和K-SVD方法。由于K-SVD的运行效率高、能获得超完备字典、对噪声具有较高的鲁棒性等优点，本申请使用K-SVD算法学习字典。釆用USC-SIPI图像库作为训练图像集。图2给出了部分训练集。

融合规则：

基于稀疏表示的图像融合方法除了字典的选择和稀疏系数的求解，更重要的是各个待融合单元融合规则的确定问题，这也是各个融合论文研究的重点。本申请在前人的研究基础上，精心设计了如下融合规则：

其中,τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0)。m_A,m_B分别表示源图像每块的均值。源图像x_A和x_B分别减去m_A和m_B得到 和分别为稀疏表示系数矩阵S^C和的第i列,为融合图像的稀疏系数矩阵s^F的第i列。K是图像块的总个数。

如前所述，融合图像差异部分，本申请主要体现为图像的高频部分，所以本申请设计的融合规则即考虑了图像的低频部分，又考虑了图像高频部分的融合方法。

融合算法框架：

为了方便描述，两个几何已配准的灰度源图像为X_A,本申请所设计的融合方法流程图如图3所示。算法具体步骤如下：

1)将滑窗技术作用于源图像X_A,X_B上，使两幅图像分别变成为 大小为的图像块，然后将划分好的图像块变成n维列向量形式。

2)对源图像j(j＝A,B)的i图像块首先减去它们的均值得到减去均值后的图像块然后通过求解式(3)得到一个共同稀疏系数和两个不同稀疏系数

3)引入本申请所设计的融合规则，将所获得的稀疏系数带入到式(4)得到融合后的系数

4)通过得到融合后的图像X_F的i图像块

5)使用与第一步相同的变换方法将获得的(大小为n×1)变成大小为 的图像块。滑窗技术导致出现了图像块与块之间有重叠，最后，通过加权平均处理得到融合图像X_F。

实施例结果比较，为证明所提算法具有较优的融合效果，将算法分别应用到医学图像、红外与可见光等多模态图像。图4和图5，实验数据A-红外与可见光图像和实验数据B-医学图像。

参数设置：

实验中，各算法的参数设置如下，多分辨率图像融合方法，实验中DWT的小波基选择‘db1’；SWT小波基选择‘db6’,；DTCWT的第一层和其余层的滤波器分别选择‘LeGall 5-3’和‘Qshift-06’；基于DWT,SWT和DTCWT融合方法的分解层数都设为4；基于NSCT融合方法,金字塔滤波器采用“pyrexc”滤波器，方向滤波器釆用“vk”滤波器。NSCT变换每层从粗到精的方向分解层数为{4,8,8,16}。多分辨率图像融合方法的融合规则采用绝对值最大。

的图像融合方法：使用DCT作为字典，字典D的大小为64×256，停止误差ε＝0.1，融合规则采用一范数最大。

图像融合方法：使用K-SVD方法学习字典。训练字典时，稀疏度T设置为5，字典D的大小为64×256，迭代次数为180。停止误差ε＝0.001。融合系数时，β＝1。本申请所提方法：正如前所述，本申请使用K-SVD方法学习字典。在实验中随机选取图2中每幅图像10000个8×8的块。训练字典时，稀疏度T设置为5，字典D的大小为64×256，迭代次数为180。本申请使用1所提出的联合稀疏模型获得稀疏系数，因此，字典的大小为128×768。停止误差ε＝0.001。式(4)中β＝1。

结果及分析：

(1)部分红外与可见光图像融合结果及分析

图6表示的是图4中a1组图像融合后的客观评价指标结果。从表6可以看出，对于a1组图像，除了Q^AB/F略低，其余的评价指标都高于其它方法。标准差最大表明，相比于其余算法，所提算法得到的融合图像灰度分散程度较高。Q⁰，Q^W，Q^E最大表明，所提算法获得的融合图像与源图像的相似性高于其余方法，并且总体显著性较高，更加突出融合图像的边缘信息。图7显示的是所有算法作用在a1组图像的融合结果图。图中分别是DWT,DTCWT,SWT,CVT,NSCT,B.Y,YIN,Shutao Li，OUR method的融合结果图。从图7的矩形方框可以看出，所提算法不仅可以较优的融合红外和可见光信息，而且融合后的图像的边缘信息更加突出。并且，亮度略高于其余方法。

图8表示的是图4中a2组图像融合后的评价指标结果。表中显示，对于a2 组图像，除了标准差略低，其余的评价指标都高于其它方法。Q^AB/F最大表明，相比于其余算法，所提算法得到的融合图像的边缘信息基本上被保留。Q⁰最大表明，所提算法得到的融合图像与源图像的相似性高于其余方法。Q^W，Q^E最大表明，所提算法获得的融合图像总体显著性较高，且更加突出融合图像的边缘信息。图9显示的是所有算法作用在a2组图像的融合结果图。图中分别是DWT,DTCWT,SWT,CVT,NSCT,B.Y,YIN,Shutao Li，OUR method的融合结果图。通过视觉比较,可以清晰地看出：相比于本申请的算法，咖啡屋的招牌区域，产生更多的黑影区域；行人的轮廓四周也都产生了一些黑色扭曲信息。综上表明，所提算法不仅可以较优的融合红外和可见光信息，能更好地融合边缘信息。

(2)部分医学图像融合结果及分析

图10表示的是图5中b1组图像融合后的评价指标结果。表中显示，对于b1组图像，除了Q⁰略低，其余的评价指标都高于其它方法。Q^AB/F最大表明，相比于其余算法，所提算法得到的融合图像的边缘信息基本上被保留。标准差最大表明，相比于其余算法，所提算法得到的融合图像灰度分散程度较高。Q^W最大表明，所提算法获得的融合图像总体显著性较高。图11显示的是所有算法作用在b1组图像的融合结果图。图中分别是DWT,DTCWT,SWT,CVT,NSCT,B.Y,YIN,Shutao Li，OUR method的融合结果图。从图11可以看出，CT和MRI图像经过本申请算法融合后，不仅将两类图像的不同部分较好的融合到一起，融合结果中的软组织和骨豁结构比其余方法清晰，而且亮度略高于其余算法(DTCWT和CVT的亮度比较低)。

图12表示的是图5中b2组图像融合后的评价指标结果。表中显示，对于b2组图像，除了Q⁰、Q^AB/F，其余的评价指标都高于其它方法。标准差最大表明，相比于其余算法，所提算法得到的融合图像灰度分散程度较高。Q^W最大表明，所提算法获得的融合图像总体显著性较高。图13显示的是所有算法作用在b3组图像的融合结果图。图中分别是DWT,DTCWT,SWT,CVT,NSCT,B.Y,YIN,Shutao Li，OUR method的融合结果图。从图13可以看出，经过本申请算法后的融合图像有三方面优点：首先，对比度较高；其次，一些重要的部位没有丢失或者没有 变模糊(比如DWT的融合图像)；最后，亮度高于其余算法(DTCWT和CVT的亮度比较低)。

图14表示的是图5中b3组图像融合后的评价指标结果。表中显示，对于b3组图像，除了Q^E、Q^AB/F，其余的评价指标都高于其它方法。Q⁰最大表明，所提算法得到的融合图像与源图像的相似性高于其余方法。标准差最大表明，相比于其余算法，所提算法得到的融合图像灰度分散程度较高。Q^W最大表明，所提算法获得的融合图像总体显著性较高。图15显示的是所有算法作用在b3组图像的融合结果图。图中分别是DWT,DTCWT,SWT,CVT,NSCT,B.Y,YIN,Shutao Li，OUR method的融合结果图。从图15可以看出，经过本申请算法后的融合图像有两方面优点：首先，对比度较高；其次，边缘较清晰，(比如DTCWT的融合图像部分细微边缘会被平滑掉)；最后，亮度高于其余算法(前五种方法的亮度比较低)。

根据联合稀疏模型，提出一种新的基于联合稀疏表示的多模态图像融合方法。本申请不仅利用联合稀疏模型将同一场景的多模态图像的私有部分融合在一起，而且在选取融合策略时，既关注待融合图像的低频成分，又考虑了高频成分。为了验证所提算法的优越性，将5组红外与可见光、医学等多模态图像作用在其余8种经典的融合方法。实验结果证实，不管从客观评价指标还是主观视觉效果方面，本申请所提算法略优于其余8种方法。其中，观察客观评价指标，可以发现，5组实验中，所提算法的灰度平均和Q^W值都是最高的。虽然所提方法获得了较好的融合效果，但是，实验的源图像只是在部分红外和可见光、医学等多模态图像测试，而且部分客观评价指标并没有达到最优。后续需要进一步针对实际应用中对输出的融合图像具体需求，改进算法。

技术的进步只是选用标准的参考。但是出于改劣发明,或者成本考量,仅仅从实用性的技术方案选择。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，步骤包括

步骤1、获取几何配准的第一源图像X_A和第二源图像X_B，X_A,

步骤2、利用滑窗技术，对第一源图像X_A和第二源图像X_B分别进行图像分块，并通过N维列向量表示图像块图像块为源图像分块矩阵x_j第i列列向量，j＝A、B，i＝1、2……K，K为一幅源图像的图像块总数；

步骤3、计算出每个图像块各自灰度的均值并对每个图像块分别作去均值处理，得到去均值图像块再根据基追踪算法求解出过完备字典D下的共同稀疏系数和不同稀疏系数

步骤4、将去均值图像块共同稀疏系数和不同稀疏系数代入高频信息保留融合规则中计算，得到融合系数

步骤5、根据过完备字典D和融合系数计算出融合图像块融合图像块为融合图像分块矩阵x_F第i列列向量；

步骤6、再次利用滑窗技术，对所有融合图像块进行变换处理，获得融合图像X_F。

2.根据权利要求1所述的基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，所述的步骤2，使两幅源图像分别变成大小为和的图像分块矩阵x_j，然后对应分别转换为N维列向量形式的图像块

3.根据权利要求1所述的基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，所述的步骤3，其中基追踪算法如下：

$\begin{array}{cc}\underset{S}{\min }\left|\right|S|{|}_0& s.t\left|\right|X-\stackrel{\‾}{D}S|{|}_2\≤\mathrm{\ϵ}\end{array}$

S为稀疏系数向量，X为图像块向量，为过完备字典D构成的共轭矩阵，为最小化稀疏系数向量S的0范数，s.t表示为求解的限制条件，为的2范数，ε为误差容限且ε≥0。

4.根据权利要求3所述的基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，所述步骤3，通过正交匹配追踪对基追踪算法公式求解，得到共同稀疏系数和不同稀疏系数

5.根据权利要求4所述的基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，所述步骤4，其中步骤包括

步骤4.1、分别获得两幅源图像的图像块均值矩阵m_A、m_b；

步骤4.2、将源图像分块矩阵x_A、x_B分别对应减去图像块均值矩阵m_A、m_b，得到去均值图像块矩阵

步骤4.3、再通过高频信息保留融合规则，得到融合系数该高频信息保留融合规则为

$s_{F_i}=s_i^C+\underset{i=1}{\overset{K}{\Σ}}({\mathrm{\τ}}_2{s}_{i,A}^U+(1-{\mathrm{\τ}}_2\left)s_{i,B}^U\right)+{\mathrm{\τ}}_1{m}_A+(1-{\mathrm{\τ}}_1)m_B$

其中，

τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0),

${\mathrm{\τ}}_2=1/(1+\exp \{-\mathrm{\β}\left(\right|\left|\stackrel{\‾}{x_A}\right|{|}_2-\left|\right|\stackrel{\‾}{x_B}\left|{|}_2\right)\left\}\right),(\mathrm{\β}>0),$

β为常系数。

6.根据权利要求5所述的基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，所述步骤5，其中步骤包括

步骤5.1、根据融合系数得到中间量

$S_i^C+{\mathrm{\Σ}}_{k=1}^K({\mathrm{\τ}}_2{S}_{k,A}^U+(1-{\mathrm{\τ}}_2\left)S_{k,A}^U\right)=S_{F_i}-{\mathrm{\τ}}_1{m}_A-(1-{\mathrm{\τ}}_1)m_B;$

步骤5.2、根据中间量，利用下式

$x_F^i=D*(s_i^C+\underset{k=1}{\overset{K}{\mathrm{\Σ}}}({\mathrm{\τ}}_2{s}_{k,A}^U+\left(1-{\mathrm{\τ}}_2\right)s_{k,A}^U\left)\right)+{\mathrm{\τ}}_1{m}_A+(1-{\mathrm{\τ}}_1)m_B$

得到融合图像块

7.根据权利要求1所述的基于联合稀疏模型的边缘清晰图像融合方法，其特征在于，所述步骤6，对所有融合图像块进行变换处理后，再通过加权平均处理获得融合图像X_F。