CN111429392A - 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法，其步骤包括：步骤1、多尺度变换。步骤2、低通分量融合。步骤3、高通分量融合。步骤4、多尺度逆变换重建。本发明的优点是：融合效果明显，不仅利用多尺度变换模型的细节捕捉能力，而且将卷积稀疏表示模型的平移不变性引入到多聚焦图融合，得到的图像对近焦和远焦部分之间的边界区域得到了很好的管理，同时该发明提取了源图像中的大部分细节，对边界区域的合并效果也很好。

Description

基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法

技术领域

本发明涉及多尺度变换模型和卷积稀疏表示模型技术领域，特别涉及基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法。

背景技术

现有多尺度变换模型技术，其所得的融合图像对比度低，如，由拉普拉斯金字塔变换融合的图像在某些区域容易模糊，从而丢失细节和边缘信息；小波变换易受被捕捉信号所携带的方向信息质量不高等因素导致融合图像的边缘变得模糊；Curvelet变换在表达融合图像的某些区域的信息方面是不够的；NSCT方法在细节捕捉方面表现不佳，导致融合图像中的对比度损失。卷积稀疏表示模型的图像融合虽然解决了融合中的细节模糊问题，但通过卷积稀疏表示模型的融合会导致图像对比度和亮度较低。本发明综合多尺度变换模型和卷积稀疏表示模型的优点，提出了一种新的多尺度变换模型和卷积稀疏表示模型的多聚焦图像融合算法。

发明内容

本发明针对现有技术的缺陷，提供了一种基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法，解决了现有技术中多尺度变换融合算法的对比度损失和卷积稀疏表示融合算法的亮度较低等技术问题。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法，其步骤包括：

步骤1、多尺度变换，对两个预先配准好的源图像A，B执行多尺度变换，以获得它们的低通分量L_A,L_B和高通分量H_A,H_B。

步骤2、低通分量融合，对于每个低通分量L_k(k＝A,B)，使用卷积基追踪去噪方法(CBPDN)获得稀疏系数映射X_k,m,m∈1,...,M。由于多聚焦图像仍然保留了低通分量中的大部分细节，因此采用“选择最大值”策略对低通分量进行融合，以获得L_F。

步骤3、高通分量融合，平均融合规则被用于合并H_A和H_B以获得H_F。

步骤4、多尺度逆变换重建，在L_F和H_F上执行多尺度逆变换以重建融合图像F。

进一步地，所述的步骤2，其中卷积基追踪去噪方法如下：

其中，d_m,m∈1,...,M是一组字典过滤器，λ是正则化参数，*表示卷积算子，X_k,m(m∈1,...,M)是稀疏系数，L_k是低通分量

表示X_k,m的1-范数，

表示

的2-范数取平方，

表示

达到最小值时X_k,m的取值。

进一步地，所述的步骤2，通过卷积基追踪去噪方法获得每个低通边带的稀疏系数，然后使用以下融合策略获得低通融合稀疏系数映射，具体如下：

其中，X_f,1:M和

表示稀疏系数，k^*表示获得最大||X_k,1:M||时的k值，

表示||X_k,1:M||达到最大值时k的取值。

进一步地，所述的步骤3，其中低通分量融合结果如下：

其中，X_f,m表示获得低通分量的稀疏系数，L_F表示获得的低通融合分量，d_m(m∈1,...,M)是一组字典过滤器。

进一步地，所述的步骤3，其中平均融合规则如下：

其中，H_A,H_B表示高通分量，H_F是获得的高通融合分量。

进一步地，所述的步骤4，其中重建融合图像如下：

F＝H_F+L_F。

其中，F是最终的融合图像。

与现有技术相比，本发明的优点在于：

融合效果明显，根据卷积稀疏模型，提出一种新的基于多尺度变换模型和卷积稀疏表示模型多聚焦图像融合方法；不仅利用多尺度变换模型的细节捕捉能力，而且将卷积稀疏表示模型的平移不变性引入到多聚焦图融合。本发明融合算法得到的图像对近焦和远焦部分之间的边界区域得到了很好的管理，同时该发明提取了源图像中的大部分细节，对边界区域的合并效果也很好。

附图说明

图1为现有技术多尺度变换模型和卷积稀疏表示模型框架

图2为本发明基于多尺度变换和卷积稀疏表示模型的多聚焦图像融合算法流程图；

图3为本发明使用的10组多聚焦源图像；

图4为本发明各算法作用在'clock'图像的融合结果图，(a)近焦源图像，(b)远焦源图像，(c)DWT的融合图像，(d)DTCWT的融合图像，(e)CVT的融合图像，(f)NSCT的融合图像，(g)DWTDE的融合图像，(h)DSIFT的融合图像；(i)SSSDI的融合图像，(j)Shutao Li的融合图像，(k)Yu Liu的融合图像，(l)CSR的融合图像，(m)CNN的融合图像，(n)DWT-SR的融合图像，(o)DTCWT-SR的融合图像，(p)CVT-SR的融合图像，(q)NSCT-SR的融合图像，(r)本发明方法(DWT-CSR)的融合图像，(s)本发明方法(DTCWT-CSR)的融合图像，(t)本发明方法(CVT-CSR)的融合图像,(u)本发明方法(NSCT-CSR)的融合图像；

图5为本发明各算法作用在'pepsi'图像的融合结果图，(a)近焦源图像，(b)远焦源图像，(c)DWT的融合图像，(d)DTCWT的融合图像，(e)CVT的融合图像，(f)NSCT的融合图像，(g)DWTDE的融合图像，(h)DSIFT的融合图像；(i)SSSDI的融合图像，(j)Shutao Li的融合图像，(k)Yu Liu的融合图像，(l)CSR的融合图像，(m)CNN的融合图像，(n)DWT-SR的融合图像，(o)DTCWT-SR的融合图像，(p)CVT-SR的融合图像，(q)NSCT-SR的融合图像，(r)本发明方法(DWT-CSR)的融合图像，(s)本发明方法(DTCWT-CSR)的融合图像，(t)本发明方法(CVT-CSR)的融合图像,(u)本发明方法(NSCT-CSR)的融合图像；

图6为本发明各算法作用在'lab'图像的融合结果图，(a)近焦源图像，(b)远焦源图像，(c)DWT的融合图像，(d)DTCWT的融合图像，(e)CVT的融合图像，(f)NSCT的融合图像，(g)DWTDE的融合图像，(h)DSIFT的融合图像；(i)SSSDI的融合图像，(j)Shutao Li的融合图像，(k)Yu Liu的融合图像，(l)CSR的融合图像，(m)CNN的融合图像，(n)DWT-SR的融合图像，(o)DTCWT-SR的融合图像，(p)CVT-SR的融合图像，(q)NSCT-SR的融合图像，(r)本发明方法(DWT-CSR)的融合图像，(s)本发明方法(DTCWT-CSR)的融合图像，(t)本发明方法(CVT-CSR)的融合图像,(u)本发明方法(NSCT-CSR)的融合图像；

图7为本发明各算法作用在'book-shelf'图像的融合结果图，(a)近焦源图像，(b)远焦源图像，(c)DWT的融合图像，(d)DTCWT的融合图像，(e)CVT的融合图像，(f)NSCT的融合图像，(g)DWTDE的融合图像，(h)DSIFT的融合图像；(i)SSSDI的融合图像，(j)Shutao Li的融合图像，(k)Yu Liu的融合图像，(l)CSR的融合图像，(m)CNN的融合图像，(n)DWT-SR的融合图像，(o)DTCWT-SR的融合图像，(p)CVT-SR的融合图像，(q)NSCT-SR的融合图像，(r)本发明方法(DWT-CSR)的融合图像，(s)本发明方法(DTCWT-CSR)的融合图像，(t)本发明方法(CVT-CSR)的融合图像,(u)本发明方法(NSCT-CSR)的融合图像；

图8为本发明作用在其它六对多聚焦源图像上的融合结果图，(a)近焦源图像；(b)远焦源图像；(c)DWT融合图像；(d)SR融合图像；(e)CSR融合图像；(f)DWT-SR融合图像；(g)本发明方法(DWT-CSR)融合图像；

图9为本发明作用在其它六对多聚焦源图像上的融合结果图，(a)近焦源图像；(b)远焦源图像；(c)DWT融合图像；(d)SR融合图像；(e)CSR融合图像；(f)DTCWT-SR融合图像；(g)本发明方法(DTCWT-CSR)融合图像；

图10为本发明作用在其它六对多聚焦源图像上的融合结果图，(a)近焦源图像；(b)远焦源图像；(c)DWT融合图像；(d)SR融合图像；(e)CSR融合图像；(f)CVT-SR融合图像；(g)本发明方法(CVT-CSR)融合图像；

图11为本发明作用在其它六对多聚焦源图像上的融合结果图，(a)近焦源图像；(b)远焦源图像；(c)DWT融合图像；(d)SR融合图像；(e)CSR融合图像；(f)NSCT-SR融合图像；(g)本发明方法(NSCT-CSR)融合图像；

图12为本发明所有多聚焦图像作用在各种对比方法上的客观评价指标。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

实施例1

多尺度变换与卷积稀疏表示融合模型：

卷积稀疏表示可以看作是使用卷积形式的稀疏表示替代模型，卷积形式的目的是实现整个图像的稀疏表示，而不是局部图像补丁。卷积稀疏表示的基本思想是将整个图像s∈R^N建模为系数映射x_m∈R^N与其对应的字典滤波器d_m∈R^n×n×m(n＜m)之间的一组卷积的和。也就是说，对应的定义为

其中*表示卷积算子。基于交替方向乘子法(ADMM)的卷积基追踪去噪(CBPDN)算法解决上述问题(1)。多尺度变换与卷积稀疏表示融合模型框架如图1所示。为了方便描述，两个几何已配准的灰度源图像A,B∈R^N×M。本发明所设计的融合框架如图2所示，算法具体步骤如下：

二尺度图像分解：

对两个已配准好的源图像{A,B}执行多尺度变换，以获得它们的低通分量{L_A,L_B}和高通分量{H_A,H_B}。

细节层融合：

“最大绝对值”规则用于合并H_A和H_B以获得H_F

基层融合：

对于每个低通分量L_k(k＝A,B)，其稀疏系数映射X_k,m,m∈1,...,M由CBPDN求解。

具体如式(2)

其中d_m,m∈1,...,M是一组字典过滤器。由于多聚焦图像仍然保留了低通分量的大部分细节信息，因此采用“选择最大值”策略对低通分量进行融合，得到低频分量L_F。

双尺度图像重建：

对L_F和H_F进行逆多尺度变换重建最终融合图像F，具体如式(3)。

F＝H_F+L_F (3)

为证明本发明所提算法的融合效果，将算法分别应用到’clock’,’pepsi’,’lab’等10组多聚焦图像。图3为实验数据集。

参数设置：

多尺度变换的图像融合方法参数设置如下:基于DWT和NSCT的方法的分解级别都设置为4。将“平均”规则应用于低频带融合，而高频带采用“最大绝对”策略。对于DWT方法，使用小波基“db4”。在DTCWT方法中，第一级和其他分解级的图像滤波器分别被选为LeGall5-3和Qshift-06(具有6-6个非零抽头的四分之一采样移位正交10-10抽头滤波器)。对于NSCT方法，我们使用“pyrexc”滤波器作为金字塔滤波器，“vk”滤波器作为方向滤波器。此外，四个分解层级的方向数被选择为4、8、8和16。

多尺度变换的图像融合方法：使用DCT作为字典，字典D的大小为64×256，停止误差ε＝0.1，融合规则采用一范数最大。

基于DWTDE的图像融合方法：在DWTDE方法中，差分进化算法的优化变量各分量的极限范围设定为4-14。变异算子、交叉算子、种群数和最大进化数分别为0.5、0.2、10和30。

基于DSIFT的图像融合方法：实验中所有测试图像的比例因子固定为48，块大小固定为8×8。

基于SSSDI的图像融合方法：基于SSSDI方法的搜索区域大小为16×16，相似块数为16。

基于SR的图像融合方法：稀疏模型中使用的字典是用K-SVD方法学习的。字典大小设置为64×256。在SR方法中，采用正交MP(OMP)算法求解NP-hard问题。误差容限设置为0.1。

基于ASR的图像融合方法：利用K-SVD算法从50幅自然图像中随机抽取10万块8×8大小的图像块，得到基于梯度信息的子块。每个子字典是64×256。“max-L1”规则用于图像融合。

基于MST-SR的图像融合方法：小波基、滤波等参数参照多尺度变换融合算法，并将参数设置应用于MST-SR方法。64×256的字典由K-SVD学习。训练数据由从高质量自然图像中随机抽取的补丁组成。

基于CSR的图像融合方法：在基于CSR的方法中，从50幅256×256的高质量自然图像中学习8×8×32的字典滤波器。参数λ是0.01。

基于CNN的图像融合方法：在CNN模型训练过程中，块大小设置为128。动量和重量衰减分别设置为0.9和0.0005。每个层中的偏差初始化为0。所有层的学习率都相等，最初设置为0.0001。

结果及分析：

‘clock’源图像对及其用不同融合方法获得的融合图像如图4所示。从图中可以看出，所提出的算法保留了边缘信息，并且所提出的算法也比所比较的方法更清晰。镶嵌效果降低，对比度增加。观察时的舒适度大大提高，图像的对比度和对比度方法也得到了改进。

图5显示了‘pepsi’源图像对及其通过不同融合方法获得的融合图像。从图5(c)–5(u)可以看出，我们的算法为所有图像数据集生成融合图像，具有更高的清晰度和更少的伪影。主观上，右焦点图像的颜色比我们算法的颜色要深。对于图5(c)，图像的整体视觉效果有些模糊，边缘锐度减弱，亮度和对比度也降低。整体视觉效果不佳，光晕出现在边缘关节处，大多数边缘信息在图5(c-g)中丢失。与图5(l)所示的其他算法相比，该算法的主观效果更好，目标对象更明显，对比度更高。边缘连接处没有光晕，这将保留更多的边缘和细节信息。远焦和近焦对象及其上的字母和符号比其他算法中的对象更清晰。

‘Lab’源图像对及其用不同融合方法获得的融合图像如图6所示。图6(a)和(b)中的学生头部有轻微运动。如图6(c)–6(u)所示，与其他算法相比，该算法更好地保留了源图像的细节。该算法的融合结果比其他方法的融合结果要亮。头部有明显的马赛克现象(见图6(c))，手臂模糊不清。

‘book-shelf’源图像对及其通过不同融合方法获得的融合图像如图7所示。如图7(c)–7(u)所示，我们的算法保留了边缘信息，但融合图像的强度略高于比较方法。图7(c)和图7(j)中的白书的边缘似乎有阴影。

为进一步证明本发明的优越性，图8–图11分别显示了使用基于DWT的方法、基于DTCWT的方法、基于CVT的方法、基于NSCT的方法和稀疏域融合方法的其他六个图像(’bottle’,’flower’,’plant-clock’,’balloon’,’book’,’leopard’)的融合结果。从上述融合结果图中可以看出，本发明获得的融合结果是最优的。

图12为本发明所有多聚焦图像作用在各种对比方法上的客观评价指标。AG、EI、GM、SD和ID分别表示平均梯度、边缘强度、灰度均值、标准差和图像清晰度。对于每个度量，计算所有测试图像对上19个方法的平均得分。粗体和下划线显示的值分别表示所有方法中的最佳和次优分数，粗体显示的值表示所有融合方法中的最佳分数，第二和第三名的分数分别使用下划线表示。对于前三个分数中的每一个，括号中的数字表示该方法的排名。从图12可以看出，CVT-CSR在AG、EI和ID上略低于CVT-SR，DTCWT-CSR在GM上低于DTCWT-SR，但本发明明显优于其他方法。特别地，在SD中，MST-CSR方法比MST-SR方法显示出明显的优势。注意，所提出的DWT-CSR方法具有最大AG，这表明我们的发明比其他方法得到的图像更清晰。我们的发明也有最大SD和最大GM，这表明所提出的MST-CSR算法比其他算法更亮，并且有更大的对比度。此外，我们的发明在EI和ID上的值也最高，这说明它可以更好地保留融合图像和相应源图像之间的边缘信息。综上所述，本发明在评价指标上取得了较好的融合性能。

根据卷积稀疏表示模型，提出一种新的联合多尺度变换和卷积稀疏表示模型的多聚焦图像融合方法。本发明不仅利用多尺度变换模型，提高了融合图像的亮度和细节，丰富细节信息，而且使用卷积稀疏模型较优提取特征的特点，增强融合图像对比度。为了验证所提算法的优越性，将所提算法和其余15种方法作用于10组多聚焦图像。融合实验结果表明，从客观评价指标可以看出，本发明所提算法在5种评价指标上都略优于其他15种方法。虽然所提方法获得了较好的融合效果，但是，实验的源图像只是在部分多聚焦图像上测试，而且部分客观评价指标并没有达到最优。后续需要进一步针对三维彩色、红外与可见光、医学等多模态图像改进融合算法。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法，其特征在于，包括如下步骤：

步骤1、多尺度变换，对两个预先配准好的源图像A，B执行多尺度变换，以获得它们的低通分量L_A,L_B和高通分量H_A,H_B；

步骤2、低通分量融合，对于每个低通分量L_k(k＝A,B)，使用卷积基追踪去噪方法获得稀疏系数映射X_k,m,m∈1,...,M，采用“选择最大值”策略对低通分量进行融合，以获得L_F；

步骤3、高通分量融合，平均融合规则被用于合并H_A和H_B以获得H_F；

步骤4、多尺度逆变换重建，在L_F和H_F上执行多尺度逆变换以重建融合图像F。

2.根据权利要求1所述的多聚焦图像融合方法，其特征在于：所述的步骤2，其中卷积基追踪去噪方法如下：

其中，d_m(m∈1,...,M)是一组字典过滤器，λ是正则化参数，*表示卷积算子，X_k,m(m∈1,...,M)是稀疏系数，L_k是低通分量

表示X_k,m的1-范数，

表示

的2-范数取平方，

表示

达到最小值时X_k,m的取值。

3.根据权利要求1所述的多聚焦图像融合方法，其特征在于：所述的步骤2，通过卷积基追踪去噪方法获得每个低通边带的稀疏系数，然后使用以下融合策略获得低通融合稀疏系数映射，具体如下：

其中，X_f,1:M和

表示稀疏系数，k^*表示获得最大||X_k,1:M||时的k值，

表示||X_k,1:M||达到最大值时k的取值。

4.根据权利要求1所述的多聚焦图像融合方法，其特征在于：所述的步骤3，其中低通分量融合结果如下：

其中，X_f,m表示获得低通分量的稀疏系数，L_F表示获得的低通融合分量，d_m(m∈1,...,M)是一组字典过滤器。

5.根据权利要求1所述的多聚焦图像融合方法，其特征在于：所述的步骤3，其中平均融合规则如下：

其中，H_A,H_B表示高通分量，H_F是获得的高通融合分量。

6.根据权利要求1所述的多聚焦图像融合方法，其特征在于：所述的步骤4，其中重建融合图像如下：

F＝H_F+L_F

其中，F是最终的融合图像。

Images