CN112001870A - 基于卷积字典学习的可见光与红外图像融合方法 - Google Patents

Abstract

本发明公开了一种基于卷积字典学习的可见光与红外图像融合方法，包括以下步骤：步骤1，源图像分解；将可见光与红外图像分解成低频分量和高频分量；步骤2，低频分量融合；对低频分量使用平均值融合策略；步骤3，高频分量融合；首先使用卷积字典获得高频分量的稀疏系数；然后对采用最大值策略获得高频分量的融合稀疏系数；最后逆变换得到融合后的高频分量。步骤4，图像重构。本发明的优点是：不仅较好保留边缘细节信息，而且能有效地避免伪影，加速融合速度。

Description

基于卷积字典学习的可见光与红外图像融合方法

技术领域

本发明涉及图像融合技术领域，特别涉及一种基于卷积字典学习的可见光与红外图像融合方法。

背景技术

在光线照度充足的条件下，可获得高清晰的、高亮度的可见光图像，人眼能轻松地识别该图像中的目标，然而当光线较暗或者在烟云密布的恶劣环境下，人眼很难识别目标的轮廓。与目标的可见光图像不同，目标的热图像不是人眼所能看到的可见光图像，而是表面温度分布图像。热红外图像通过红外感温仪收集、记录目标辐射出来的人眼看不到的热红外辐射信息，热红外图像常用于获取高温目标的信息，如，火灾、夜间监控、地质找矿等。但是红外图像没有可见光图像那样的高清晰和高亮度，只能识别大致的目标轮廓，而很难识别到目标的具体细节信息。因此通过融合技术手段，将两种类型的图像进行信息融合，获得的融合图像为后期的检测、识别和跟踪提供清晰可靠的图像基础。

红外和可见光融合算法是多模态融合算法的一种应用，近年来，随着信号处理的数学理论迅速发展，许多红外与可见光融合算法被不断地提出和实现。基于多尺度几何分析和基于稀疏域的融合算法最为流行，前者利用多尺度几何分析理论构建最优图像表示，所获得图像具有多分辨率、局部特性、方向性和各向异性等性质，但易受制于分解层数和分解函数；后者以学习方式获得过完备字典来替代固定的基函数，学习的过完备字典不仅能够提升图像的稀疏表示性能，而且适应不同类型的图像数据。

相比于传统的字典，利用卷积字典的平移不变性可捕获图像中常见的偏移局部模式。因此，卷积字典学习在图像处理领域有着广泛的应用。目前比较流行的卷积字典学习方法有两种：增广拉格朗日(AL)方法和可变交替方向乘法器(ADMM)方法。但是上述两者都有缺点：AL方法的参数整定过程不简单，而且在实际应用中，AL方法的收敛性取决于非凸卷积字典学习问题的AL参数；ADMM算法的记忆变量收敛稳定性不理想。

发明内容

本发明针对现有技术的缺陷，提供了一种基于卷积字典学习的可见光与红外图像融合方法，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于卷积字典学习的可见光与红外图像融合方法，包括以下步骤：

步骤1，源图像分解；

使用快速傅里叶变换方法，将可见光与红外图像{x_A,x_B}变成低频分量

和高频分量

步骤2，低频分量融合；

对低频分量使用平均值融合策略，

融合后的低频分量用

表示。

步骤3，高频分量融合；

首先将卷积基追踪去噪算法作用于卷积字典{d_k}和高频分量

获得高频分量的稀疏系数

然后对采用“最大值”策略

获得高频分量的融合稀疏系数

最后使用快速傅里叶逆变换得到融合后的高频分量

步骤4，图像重构；

融合图像可通过以下策略重构，

{x_F}为融合图像。

与现有技术相比，本发明的优点在于：

不仅较好保留边缘细节信息，而且能有效地避免伪影。根据应用场景的变化和数据量的增加，在保证融合性能较优的前提下，利用快速收敛的方法来加速融合速度。

附图说明

图1是本发明实施例中图像融合方法框架图；

图2是本发明实施例中红外与可见光测试图像图；

图3是本发明实施例中所有方法作用于‘Leaves’图像上的融合结果图；

图4是本发明实施例中所有方法作用于‘Road’图像上的融合结果图；

图5是本发明实施例中所有方法作用于‘T1’图像上的融合结果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

卷积字典学习是一种求解多凸优化问题，该问题对应于优化以下联合模型(时域)：

其中，

是一组学习的综合卷积字典滤波，D是字典滤波尺寸

K是卷积算子的个数；

表示训练图像集，M是训练图像的个数；

是循环卷积算子；

表示稀疏编码系数；

是|A|＝N和

的投影矩阵，A是集合

中不同索引的列表，这些索引对应于截断填充卷积

的边界，N是训练图像的维度，

是填充卷积后的维数。

使用Parseval关系，模型(1)等价于以下联合优化模型(频域)：

其中，Φ是

-点二维(非正规)离散傅里叶变换；

表示零填充矩阵，

表示填充信号矢量。

《Convolutional dictionary learning:Acceleration and convergence》的作者Il Yong Chun提出使用two-block和multi-block方案的BPG-M算法来求解上述的多凸优化问题(2)。我们将该策略应用到50幅512×512的USC-SIPI图像数据集(M＝50)，分别获得两种11×11×100的卷积字典滤波。

所提的融合方法

根据卷积字典，结合卷积稀疏表示的图像融合策略，提出一种基于卷积字典学习的红外可见光图像融合算法。融合方法大致包括4个步骤：源图像分解；低通分量融合；高频分量融合；图像重构。所述融合算法步骤如图1所示。

步骤1，源图像分解；

可见光与红外图像{x_A,x_B}被分解成低频分量

和高频分量

步骤2，低频分量融合；

低频分量包含图像的整体信息，为保证融合后的图像保留基本图像框架，我们对该部分使用平均值融合策略，

融合后的低频分量用

表示。

步骤3，高频分量融合；

首先使用卷积字典{d_k}获得高频分量

的稀疏系数

然后对采用最大值策略获得高频分量的融合稀疏系数

最后逆变换得到融合后的高频分量

步骤4，图像重构；

融合图像可通过以下策略重构，

融合图像为{x_F}。

以下为本发明方法的实验与分析

图2给出了3组红外可见光测试图像(‘Leaves’、‘Road’、‘T1’)证明所提算法的有效性和优越性。3组测试场景包括丰富复杂的信息，如目标板、门店招牌、行人、路灯、车辆、屋顶等(详见图2中用红色虚线框标记的部分)。图2的第一行表示可见光源图像，第二行表示同一场景同一时间的热红外图像。

(1)融合图像结果图

图3显示‘Leaves’图像作用于所有方法的融合结果。(a)表示基于CVT的算法融合结果；(b)表示V.P.S.Naidu提出的基于多分辨率奇异值分解的融合结果(MSVD)；(c)表示B.K.Shreyamsha Kumar提出的基于像素重要性的交叉双边滤波图像融合算法(CBF)；(d)表示刘春辉提出基于稀疏域显著性检测的红外与可见光图像融合结果(JSRSD)；(e)和(f)表示本发明所提两种算法(使用multiBlock和twoBlock方案的卷积字典学习)的融合结果。为方便观测融合结果，本发明将所有方法的目标板使用红色虚线框标记，并将标记的部分放大。基于CVT和CBF的融合图像的融合信息不均匀，造成融合结果出现融合信息混乱的现象(详见图2(a)和图2(c)的目标板中间部分)；基于MSVD的融合结果相比于CVT和CBF，没有出现信息紊乱，但是图像模糊(详见图2(b)中的目标板周围)；基于JSRSD的融合结果亮度是最高的，但是融合后的树叶和目标板之间的边缘出现了噪点；虽然本发明的结果亮度不是最高的，但是融合图像不仅能较完整的保留整体信息，而且局部细节纹理等信息也很好地融合。

图4显示‘Road’图像作用于所有方法的融合结果。(a)表示基于CVT的算法融合结果；(b)表示V.P.S.Naidu提出的基于多分辨率奇异值分解的融合结果(MSVD)；(c)表示B.K.Shreyamsha Kumar提出的基于像素重要性的交叉双边滤波图像融合算法(CBF)；(d)表示刘春辉提出基于稀疏域显著性检测的红外与可见光图像融合结果(JSRSD)；(e)和(f)表示表示本发明所提两种算法(使用multiBlock和twoBlock方案的卷积字典学习)的融合结果。为方便观测融合结果，本发明将所有方法的车辆、行人、门店招牌、路面使用红色虚线框标记，并将标记的部分放大。基于CBF融合图像的路面出现噪点(详见图4(c)中红色虚线框标记的部分)；基于JSRSD的融合结果整体效果很差(如图4(d)中的车辆和门店招牌出现融合信息不均匀的缺陷)；基于MSVD的融合结果模糊，出现重影(如图4(b)中的门店招牌和行人)；基于CVT的融合图像较优于前面三种方法，但是仍有不足的地方(如图4(a)中的行人周围出现黑色伪影)。综合所有融合结果，所提方法不仅在整体融合上获得较优的效果，而且边缘和细节部分处理的相对较好。

图5显示‘T1’图像作用于所有方法的融合结果。(a)表示基于CVT的算法融合结果；(b)表示V.P.S.Naidu提出的基于多分辨率奇异值分解的融合结果(MSVD)；(c)表示B.K.Shreyamsha Kumar提出的基于像素重要性的交叉双边滤波图像融合算法(CBF)；(d)表示刘春辉提出基于稀疏域显著性检测的红外与可见光图像融合结果(JSRSD)；(e)和(f)表示表示本发明所提两种算法(使用multiBlock和twoBlock方案的卷积字典学习)的融合结果。为方便观测融合结果，本发明将所有方法的车辆、行人、屋顶、路灯使用红色或者黄色虚线框标记，并将标记的部分放大。基于JSRSD的融合结果中的路灯和车辆信息被完全破坏，几乎看不清楚图像整体轮廓(如图5(d)中的红色和黄色虚线框标记的部分)；基于MSVD的融合结果优于JSRSD，但图像仍然模糊(如图5(b)中行驶的车和路灯)；基于CBF融合图像的行人和屋顶天空均出现黑色伪影(详见图5(c)中虚线框标记的部分)；基于CVT和本发明提出的方法优于前面的3种对比方法，但从整体效果和细节部分来看，我们的方法优于CVT方法。

(2)客观评价

为保证本发明方法的融合性能，我们使用3种Q-系列客观评价指标(Q^AB/F,Q^e和Q^p)用来证明算法的优越性。客观非参考质量评估指标Q^AB/F利用局部度量策略来估计源图像显著信息在融合结果中的表现程度；基于边缘的结构相似指标Q^e表示融合图像保存边缘和减少周围振铃伪影的能力；基于相位一致性的图像融合度量Q^p使用相位一致性(提供图像特征的绝对度量)来定义评估度量。表1-表3分别表示所有融合算法作用于3幅红外可见光图像的客观评价结果。从三个表中可以看出，本发明的两种基于卷积字典学习融合方法的评价指标值最高。对于

‘Leaves’图像，使用multiBlock和twoBlock方案的两种融合算法的评价指标Q^{AB /F},Q^e和Q^p的平均值是0.6969，0.5963，0.7797，相比于CBF融合算法，所提方法在三个评价指标上分别提高了2.73％，7.06％，12.18％；对于‘Road’图像，使用multiBlock和twoBlock方案的两种融合算法的评价指标Q^AB/F,Q^e和Q^p的平均值是0.6063,0.4812,0.5673，相比于JSRSD融合算法，所提方法在三个评价指标上分别提高了11.48％,30.87％,51.74％；对于‘T1’图像，使用multiBlock和twoBlock方案的两种融合算法的评价指标Q^AB/F,Q^e和Q^p的平均值是0.6203，0.4961，0.5881，相比于CVT融合算法，所提方法在三个评价指标上分别提高了16.38％，14.93％，24.88％。综合客观评价指标可以看出，本发明提出的方法既保留了源图像显著信息和特征，又提高了融合图像的边缘信息和降低伪影效果。

表1所有融合方法作用于‘Leaves’图像上的客观评价结果

表2所有融合方法作用于‘Road’图像上的客观评价结果

表3所有融合方法作用于‘T1’图像上的客观评价结果

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种基于卷积字典学习的可见光与红外图像融合方法，其特征在于，包括以下步骤：

步骤1，源图像分解；

使用快速傅里叶变换方法，将可见光与红外图像{x_A,x_B}变成低频分量

和高频分量

步骤2，低频分量融合；

对低频分量使用平均值融合策略，

融合后的低频分量用

表示；

步骤3，高频分量融合；

首先将卷积基追踪去噪算法作用于卷积字典{d_k}和高频分量

获得高频分量的稀疏系数

然后对采用“最大值”策略

获得高频分量的融合稀疏系数

最后使用快速傅里叶逆变换得到融合后的高频分量

步骤4，图像重构；

融合图像可通过以下策略重构，

{x_F}为融合图像。

Images