CN111899208A - 基于卷积分析算子的多模态图像融合方法 - Google Patents

Abstract

本发明公开了一种基于卷积分析算子的多模态图像融合方法，包括以下步骤：步骤1，使用快速傅里叶变换分解源图像，分别获得低频分量和高频分量。步骤2，低频分量的融合；步骤3，高频分量的融合；步骤4，根据低频分量的融合结构和高频分量的融合结果重构图像。本发明的优点是：更好地表达图像特征，显着提高了融合图像的重建质量，更好地保留重建图像中的边缘。

Description

基于卷积分析算子的多模态图像融合方法

技术领域

本发明涉及图像融合技术领域，特别涉及一种基于卷积分析算子的多模态图像融合方法。

背景技术

多模态图像在多数场合得到广泛应用，如车站安检、医疗诊断。但是受制于物理成像机制不同，单一模态图像的信息不能够较好地表达场景所需的全部信息。因此为了获得更丰富的细节信息，多模态图像融合技术取得较大地成功来弥补成像机器的不足。并且所获得融合图像可便于后期多模态场景下的目标监测、识别和跟踪。基于多尺度变换的多模态图像融合算法获得的图像出现部分伪影或者过度融合，并且多尺度变换受分解层数和低对比度的制约。

《Convolutional dictionary learning:Acceleration and convergence》的作者I.Y.Chun提出了卷积分析算子学习策略，通过该策略获得的字典不仅收敛速度快，而且经过字典重建的图像边缘被较好地保留。

发明内容

本发明针对现有技术的缺陷，提供了一种基于卷积分析算子的多模态图像融合方法，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于卷积分析算子的多模态图像融合方法，包括以下步骤：

步骤1，源图像分解

使用快速傅里叶变换分解源图像y_A与源图像y_B，分别获得低频分量{L_yA,L_yB}和高频分量{H_yA,H_yB}。

步骤2，低频分量{L_yA,L_yB}融合；

针对低频分量，采用平均值融合策略，式(1)；

其中L_yF是融合后的低频部分。

步骤3，高频分量{H_yA,H_yB}融合；

首先使用卷积基追踪去噪算法将卷积字典D_CAOL-TF作用于高频分量，如式(2)，获得高频分量的稀疏系数

其中

然后对稀疏系数使用最大值策略式(3)，获得高频分量融合稀疏系数

最后采用快速傅里叶逆变换得到融合后的高频分量H_yF。

步骤4，图像重构

最终融合图像通过以下策略重构；

y_F＝L_yF+H_yF (4)

y_F为融合图像。

与现有技术相比，本发明的优点在于：

卷积分析算子学习(CAOL)框架以卷积角度学习稀疏正则化分析，将具有卷积视角下的紧框架(TF)滤波器条件的正交约束的CAOL算法所获得卷积字典滤波应用于多模态图像融合。与其它融合技术相比，通过CAOL-TF学习的卷积稀疏正则化器更好地表达图像特征，较好地避开多尺度变换受制于分解层数的影响，显着提高了融合图像的重建质量，在学习的正则化器中使用更多和更广泛的内核可以更好地保留重建图像中的边缘，避免伪影和过度融合的产生。

附图说明

图1是本发明实施例多模态图像融合框架图；

图2是本发明实施例中测试的医学脑部源图像，其中图2(a)和图2(b)的上图为红外图像，下图为可见光图像，图2(c)和图2(d)为医学脑部图像，上图为CT图像，下图为MRI图像；

图3是本发明实施例(a)组图像的融合结果对比图；

图4是本发明实施例(b)组图像的融合结果对比图；

图5是本发明实施例(c)组图像的融合结果对比图；

图6是本发明实施例(d)组图像的融合结果对比图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

本发明利用I.Y.Chun提出的在卷积视角中强制执行紧帧(TF)过滤条件下的具有正交约束的卷积分析算子学习(CAOL)框架，并将USC-SIPI图像数据集(50幅512×512标准图像)应用于该字典学习框架(缩写为CAOL-TF)，获得紧凑多样的字典滤波(本发明获得的字典滤波尺寸为11×11×100)，字典学习如下表示。

D:＝[d₁,...,d_K] (3)

其中，

表示卷积运算符；

代表一组卷积核；α是控制特征稀疏性的阈值参数；

表示一组稀疏编码；

是训练图像集。正交条件

满足

本发明使用I.Y.Chun提出的字典学习算法，获得具有多样性的卷积字典D_CAOL-TF，随后将字典应用于卷积稀疏编码融合，具体融合框图如图1所示。

实验与分析

为证明本发明提出的算法性能，我们将设计的方法与其它3种融合算法进行对比，并使用如图2所示的2类具有代表性红外可见光图像和医学脑部图像作为测试图像。

红外可见光图像融合结果

图3和图4显示了2组红外可见光图像的融合结果。(a)表示张蕾提出的NSCT-SSIM融合算法结果；(b)表示马佳义提出的GTF融合算法；(c)表示B.K.Shreyamsha Kumar提出的基于像素重要性的交叉双边滤波图像融合算法结果(CBF)；(d)表示本发明设计的融合算法结果。从2组融合结果看出，基于NSCT-SSIM和CBF的图像融合质量最差(如图2(a)的行人，图2(c)的路面，图3(a)的电脑和图3(c)中的墙面)；相比于前两种方法，基于GTF的融合结果有明显的改进，但是红外信息没有更好地融合进来(图2(b)的汽车和行人几乎看不清，图3(b)的融合图像出现了曝光的现象)。总而言之，所提算法在主观观测角度，优于前面3种方法。

医学脑部图像融合结果

图5和图6显示了2组医学脑部图像的融合结果。(a)表示张蕾提出的NSCT-SSIM融合算法结果；(b)表示马佳义提出的GTF融合算法；(c)表示B.K.Shreyamsha Kumar提出的基于像素重要性的交叉双边滤波图像融合算法结果(CBF)；(d)表示本发明设计的融合算法结果。基于NSCT-SSIM和CBF的方法没有较好地融合软组织；基于GTF的融合结果优于NSCT-SSIM和CBF，但是融合图像整体亮度偏低，不利于后期诊断；综合两组图像结果，本发明方法能够较好地融合软组织，骨头等信息。

图像融合客观评价

表1-4表示所有对比方法的融合客观评价指标。3种Q-系列客观评价指标(Q^e，Q^TE和Q^p)被用来证明本发明算法的优越性，其中值越大表明融合效果越优(本发明将四种指标中最高的值使用红色粗体表示)。从4个表可以简单地观察出，我们提出的方法获得评价指标值都是最高的，尤其Q^e和Q^p远远高于其它方法的指标值。综上所述，我们的方法不仅在边缘融合是最好的，而且较好地融合了源图像特征。

表1(a)组图像作用于所有融合方法上的客观评价结果

	Q<sup>e</sup>	Q<sup>TE</sup>	Q<sup>p</sup>
				NSCT-SSIM	0.3826	0.4268	0.3266
GTF	0.2104	0.3674	0.1822
				CBF	0.2766	0.4195	0.2022
OUR	0.4219	0.4868	0.4478

表2(b)组图像作用于所有融合方法上的客观评价结果

	Q<sup>e</sup>	Q<sup>TE</sup>	Q<sup>p</sup>
				NSCT-SSIM	0.4781	0.4759	0.3886
GTF	0.3182	0.4521	0.2497
				CBF	0.4154	0.5193	0.2280
OUR	0.5443	0.5625	0.5388

表3(c)组图像作用于所有融合方法上的客观评价结果

表4(d)组图像作用于所有融合方法上的客观评价结果

	Q<sup>e</sup>	Q<sup>TE</sup>	Q<sup>p</sup>
				NSCT-SSIM	0.3576	0.3597	0.3713
GTF	0.2788	0.3586	0.1588
				CBF	0.3091	0.3666	0.2351
OUR	0.3967	0.3706	0.4376

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种基于卷积分析算子的多模态图像融合方法，其特征在于，包括以下步骤：

步骤1，源图像分解；

使用快速傅里叶变换分解源图像y_A与源图像y_B，分别获得低频分量{L_yA,L_yB}和高频分量{H_yA,H_yB}；

步骤2，低频分量{L_yA,L_yB}融合；

针对低频分量，采用平均值融合策略，式(1)；

其中L_yF是融合后的低频部分；

步骤3，高频分量{H_yA,H_yB}融合；

首先使用卷积基追踪去噪算法将卷积字典D_CAOL-TF作用于高频分量，如式(2)，获得高频分量的稀疏系数

其中

然后对稀疏系数使用最大值策略式(3)，获得高频分量融合稀疏系数

最后采用快速傅里叶逆变换得到融合后的高频分量H_yF；

步骤4，图像重构；

最终融合图像通过以下策略重构；

y_F＝L_yF+H_yF (4)

y_F为融合图像。

Images