CN114066786A - 一种基于稀疏和滤波器的红外和可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种红外图像和可见光图像融合方法，包括以下步骤：(1)从3组红外图像和可见光图像对中随机抽取一定大小的图像块得到训练图像样组，训练图像样组并得到学习字典；(2)分别输入测试红外和可见光图像，计算得到稀疏系数并保存，然后结合稀疏系数和学习字典得到初始权重图；(3)使用平均滤波器对红外和可见光图像进行分解得到图像的高频层和低频层；(4)对初始权重图采用引导滤波操作进行优化；(5)根据优化后的权重图分别融合红外和可见光图像对的高频层和低频层；(6)根据融合后的高频层和低频层计算得到最终的融合图像。本发明在融合红外图像和可见光图像上效果极佳，融合结果具有丰富的细节和梯度信息。

Description

一种基于稀疏和滤波器的红外和可见光图像融合方法

技术领域

本发明属于计算机视觉技术领域，涉及一种红外图像和可见光图像融合方法，具体涉及同一场景下红外图像和可见光图像的融合。

背景技术

在红外和可见光图像在交通运输系统中起着重要作用。红外图像是根据物体发射的热辐射获得的，它们受天气和光条件的影响较小。然而，红外图像中的背景信息往往是缺失的。相比之下，可见光的图像包含更多的纹理信息，然而它非常容易受到成像环境和照明条件的影响。红外和可见光图像融合技术可以将红外和可见光图像对融合成一幅图像。融合图像包含来自可见图像的纹理信息和来自红外图像的热辐射细节，从而更有利于人类的观察和计算机分析。根据处理领域的不同，目前主要的红外和可见光图像融合方法可分为两类：空间域方法和转换域方法。空间域方法通过融合规则直接融合红外对和可见光图像对。典型的融合方法是对红外图像和可见光图像进行平均。遗憾的是，这种方法得到的融合图像往往不能令人满意。为了解决这一问题，人们利用引导滤波器将红外和可见光图像对分解为基础层和细节层，然后使用引导滤波器将它们融合。然而，这种方法的活动水平测量不够准确。根据图像梯度测量了活动水平。有人将高斯滤波器与双边滤波器相结合，提出融合混合多尺度分解图像的方法，然而这种方法分解过程将消耗大量时间。最近，一些基于深度学习的图像融合方法被提出，即使用卷积神经网络进行图像融合。为了提高性能，采用拉普拉斯金字塔进行多尺度分解，并利用图像自相似性对网络模型进行优化。遵循不同的方向，有人提出了一种基于生成对抗网络的红外和可见光图像融合模型。虽然这些空间域方法可以达到很好的融合效果，但它们也会产生许多负面影响。它们会导致融合图像边缘过度平滑的转变，减少对比度，以及图像的光谱失真。对于变换域方法，多尺度分解是一种使用相对广泛的强大工具，包括梯度金字塔、拉普拉斯金字塔、离散小波变换，双树复小波变换以及低通金字塔。此外，还广泛应用了几种几何分析工具进行图像融合，如曲线变换融合多模态图像，利用非下采样轮廓变换对源图像进行分解。稀疏表示通常用于机器视觉任务，如图像超分辨率、人脸识别和目标检测。对于图像融合，一般的过程是计算源图像的稀疏系数，然后通过特定的规则融合系数。后者是将融合系数转换为结果图像。然而，这类方法仍然存在一些不利之处。由于这些方法融合了变换域中的系数，而系数的微小变化可能导致空间域的巨大变化。因此，这种方法遭受了严重的不理想伪影。

针对这些问题，提出了一种基于稀疏和滤波器的红外和可见光图像融合方法。

发明内容

本发明的目的就在于为了解决上述问题而提供一种高效的红外和可见光图像融合方法。

本发明通过以下技术方案来实现上述目的：

1、本发明所述的红外和可见光图像融合方法包括以下步骤：

(1)从3组红外图像和可见光图像对中随机抽取一定大小的图像块得到训练图像样组，训练图像样组并得到学习字典D；

(2)用训练好的学习字典D测量红外和可见光图像的活动水平A_i,i＝(1,2)，从而得到分数图S_i,i＝(1,2)，再根据分数图判断当前像素点得到初始权重图W_i,i＝(1,2)；

(3)使用平均滤波器对红外和可见光图像进行分解得到图像的低频层LFL_i＝g(I_i),i＝1,2,和高频层HFL_i＝g(I_i),i＝1,2；

(4)对初始权重图W_i,i＝(1,2)采用引导滤波操作进行优化，得到优化后的权重图

(5)根据优化后的权重图

分别融合红外和可见光图像对的低频层

和高频层

(6)结合低频层

和高频层

可以得到融合图像。

上述方法的基本原理如下：

该方法首先通过训练好的学习字典计算输入测试图像的相关稀疏系数。利用这些系数来度量输入图像对的活动水平，然后根据活动水平得到初始权重图。使用平均滤波器对红外和可见光图像进行分解得到图像的低频层和高频层。用引导滤波器优化初始权重图，生成优化的权重图。再根据优化后的权重图分别融合红外和可见光图像对的低频层和高频层。最后，结合融合后的低频层和高频层可以得到融合图像。

具体地，所述步骤(1)中，为了计算过完备字典，采用了三种红外和可见光图像对。从训练图像中采样了大量大小n×n为的图像补丁。通过求解下式，可以得到过完备字典D：

其中y_i∈Rⁿ,D∈R^n×k是有k个原子的字典，

是稀疏系数，而t是非零元素的数目。然后，利用字典D计算输入测试红外和可见光图像对的稀疏系数。一个大小为n×n的滑动窗口用于从测试图像中逐像素采样补丁。使用字典D，这些补丁可以通过以下公式来学习系数：

其中Y_i,(i＝1,2)是输入图像补丁(即红外图像或可见图像)，

是计算的稀疏系数，σ是一个预定义的常数。

所述步骤(2)中，用训练好的学习字典D测量红外和可见光图像的活动水平A_i,i＝(1,2)，然后，通过下面公式计算稀疏系数

的L₀范数来测量活动水平：

其中表示第j个补丁的第i个源图像的系数，n是补丁的总数，A是计算的活动图。规定元素重塑函数为f(·)，则分数图S_i可以利用下式得到：

S_i＝f(A_i),i＝(1,2)

其中f(·)为元素重塑函数，再利用下列公式得到初始权重图W_i,i＝(1,2)：

W₂(x,y)＝1-W₁(x,y)

其中，S₁和S₂分别表示来自源测试样本图像的分数图。

所述步骤(3)中，使用平均滤波器对红外和可见光图像进行分解得到图像的低频层LFL_i＝g(I_i),i＝1,2,和高频层HFL_i＝g(I_i),i＝1,2，规定平均滤波操作的算子为g(·)，则输入图像的低频层和高频层可以利用下式得到：

LFL_i＝g(I_i)i＝1,2

HFL_i＝I_i-LFL_i i＝1,2

其中g(·)表示平均滤波操作，I_i表示源图像，即红外图像或可见光图像。

所述步骤(4)中，对初始权重图W_i,i＝(1,2)采用引导滤波操作进行优化，规定引导滤波操作为算子GF(·)，则优化后的权重图可以表达如下：

其中r₁,ε₁,(i＝1,2)是引导滤波器的参数，

和

分别是高频层和低频层的优化权重图。

所述步骤(5)中，根据优化后的权重图

和分解输入图像得到的图像低频层和高频层得到融合后的红外和可见光图像对的低频层

和高频层

这一过程可由下式表示：

其中

表示元素级乘法，

和

分别代表融合后的低频层和高频层。

所述步骤(6)中，根据下式结合

和

可以得到融合图像F：

本发明的有益效果在于：

传统的基于多尺度分解的红外和可见光图像融合方法需要将源图像分解为两层以上。这可能会导致巨大的计算成本。本发明只需要将红外和可见光图像对分解为低频层和高频层。因此，本发明具有较低的计算复杂度，因为它不需要重分解尺度。其次，本发明利用稀疏系数来测量活动水平。这充分利用了图像的特点，避免了不准确造成的巨大负面影响测量活动水平，如振铃效应、阻塞性和边缘模糊。另外本发明中引导滤波器分别用于优化低频层和高频层的权重映射。通过这样做，可以很好地保存红外和可见光图像中的代表性信息。因此，视觉融合图像的效果可以增强。

附图说明

图1-1是本发明实施例中的总体框架图；

图1-2是本发明实施例中训练集样本红外图像之一；

图1-3是本发明实施例中训练集样本红外图像之二；

图1-4是本发明实施例中训练集样本红外图像之三；

图1-5是本发明实施例中训练集样本可见光图像之一；

图1-6是本发明实施例中训练集样本可见光图像之二；

图1-7是本发明实施例中训练集样本可见光图像之三；

图2-1是本发明实施例中从训练集样本中抽取的图像块之一；

图2-2是本发明实施例中训练图像样组得到的学习字典D；

图3-1是本发明实施例中测试样本红外图像之一；

图3-2是本发明实施例中测试样本红外图像之二；

图3-3是本发明实施例中测试样本红外图像之三；

图3-4是本发明实施例中测试样本红外图像之四；

图3-5是本发明实施例中测试样本可见光图像之一；

图3-6是本发明实施例中测试样本可见光图像之二；

图3-7是本发明实施例中测试样本可见光图像之三；

图3-8是本发明实施例中测试样本可见光图像之四；

图4-1是本发明实施例中测试样本融合图像之一；

图4-2是本发明实施例中测试样本融合图像之二；

图4-3是本发明实施例中测试样本融合图像之三；

图4-4是本发明实施例中测试样本融合图像之四。

具体实施方式

下面结合具体实施例和附图对本发明作进一步说明：

实施例：

为了使本发明所述融合方法更加便于理解和接近于真实应用，下面从原始训练样本的字典学习开始到图像融合完成为止进行整个流程的整体说明，其中包括本发明的核心融合方法，总体框架图见图1-1：

(1)图1-2、图1-3和图1-4为原始训练样本红外图像，图1-5、图1-6和图1-7为原始训练样本红外图像。从这些训练样本图像中随机抽取一定大小的图像块得到样组，此例中，设置图像块大小为8×8，见图2-1。再训练图像样组并得到学习字典D，字典大小设置为64×512，见图2-2。通过求解下式，可以得到过完备字典D：

其中y_i∈Rⁿ,D∈R^n×k是有k个原子的字典，

是稀疏系数，而t是非零元素的数目；

(2)使用步骤(1)中训练后更新的字典计算输入测试图像的稀疏系数。在测试样本稀疏编码阶段，我们采用与训练阶段采用的图像块大小相同的滑动窗口，选取4组测试样本红外和可见光图像对，如图3-1和图3-5、图3-2和图3-6、图3-3和图3-7和图3-4和图3-8，从测试样本的图像对中逐像素采样到输入图片集合，可以通过以下公式来学习稀疏系数：

其中Y_i,(i＝1,2)是输入图像补丁(即红外图像或可见图像)，

是计算的稀疏系数，σ是一个预定义的常数，本发明中σ设置为5。用训练好的学习字典D测量红外和可见光图像的活动水平A_i,i＝(1,2)，然后，通过步骤(2)中计算得到的稀疏系数

的L₀范数来测量活动水平：

其中表示第j个补丁的第i个源图像的系数，n是补丁的总数，A是计算的活动图。规定元素重塑函数为f(·)，则分数图S_i可以利用下式得到：

S_i＝f(A_i),i＝(1,2)

其中f(·)为元素重塑函数，再利用下列公式得到初始权重图W_i,i＝(1,2)：

W₂(x,y)＝1-W₁(x,y)

其中，S₁和S₂分别表示来自源测试样本图像的分数图。

(3)使用平均滤波器对4组测试红外和可见光图像对进行分解得到图像的低频层LFL_i＝g(I_i),i＝1,2,和高频层HFL_i＝g(I_i),i＝1,2，规定平均滤波操作的算子为g(·)，则输入图像的低频层和高频层可以利用下式得到：

LFL_i＝g(I_i)i＝1,2

HFL_i＝I_i-LFL_i i＝1,2

其中g(·)表示平均滤波操作，I_i表示源图像，即红外图像或可见光图像。

(4)对步骤(2)得到的初始权重图W_i,i＝(1,2)采用引导滤波操作进行优化，规定引导滤波操作为算子GF(·)，则优化后的权重图可以表达如下：

其中r₁,ε₁,(i＝1,2)是引导滤波器的参数，本发明中用于优化W_i ^H的引导滤波器的参数r1和ε₁分别设置为15和0.15，用于优化W_i ^L的引导滤波器的参数r2和ε₂分别设置为7和1e-6，

和

分别是高频层和低频层的优化权重图。

(5)根据步骤(4)中得到的优化后的权重图

和步骤(3)中得到的输入测试图像的低频层和高频层得到融合红外和可见光图像对后的低频层

和高频层

这一过程可由下式表示：

其中

表示元素级乘法，

和

分别代表融合后的低频层和高频层。

(6)根据下式结合步骤(5)得到的

和

可以得到融合图像F：

4组测试图像根据步骤(6)得到的融合后图像见图4-1、图4-2、图4-3和图4-4，将4组测试图像与对应的红外和可见光图像对作对比，可以看出融合后的图像比红外图像和可见光图像具有更多的细节，即说明本发明的红外和可见光图像融合技术的效果是较好的上述步骤中，步骤(2)～(5)为本发明所述融合方法的主要步骤。

本实施例中，我们将通过主观视觉以及客观上图像处理领域常见的一组信息包含量的衡量参数(双向信息MI，边缘保留Q^G，特征互信息FMI等)，将源图像和融合后的图像进行对比，从而验证了本发明的可靠性。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (2)

1.本发明所述红外图像和可见光图像融合方法，其特征在于：包括以下步骤：

(1)用训练好的学习字典D测量红外和可见光图像的活动水平A_i,i＝(1,2)，从而得到分数图S_i,i＝(1,2)，再根据分数图判断当前像素点得到初始权重图W_i,i＝(1,2)；

(2)使用平均滤波器对红外和可见光图像进行分解得到图像的低频层LFL_i＝g(I_i),i＝1,2,和高频层HFL_i＝g(I_i),i＝1,2；

(3)对初始权重图W_i,i＝(1,2)采用引导滤波操作进行优化，得到优化后的权重图

(4)根据优化后的权重图

分别融合红外和可见光图像对的低频层

和高频层

2.根据权利要求1所述的红外图像和可见光图像融合方法，其特征在于：

所述步骤(1)中，用训练好的学习字典D测量红外和可见光图像的活动水平A_i,i＝(1,2)，然后，通过下面公式计算稀疏系数

的L₀范数来测量活动水平：

其中表示第j个补丁的第i个源图像的系数，n是补丁的总数，A是计算的活动图，规定元素重塑函数为f(·)，则分数图S_i可以利用下式得到：

S_i＝f(A_i),i＝(1,2)

其中f(·)为元素重塑函数，再利用下列公式得到初始权重图W_i,i＝(1,2)：

W₂(x,y)＝1-W₁(x,y)

其中，S₁和S₂分别表示来自源测试样本图像的分数图；

所述步骤(2)中，使用平均滤波器对红外和可见光图像进行分解得到图像的低频层LFL_i＝g(I_i),i＝1,2,和高频层HFL_i＝g(I_i),i＝1,2，规定平均滤波操作的算子为g(·)，则输入图像的低频层和高频层可以利用下式得到：

LFL_i＝g(I_i)i＝1,2

HFL_i＝I_i-LFL_ii＝1,2

其中g(·)表示平均滤波操作，I_i表示源图像，即红外图像或可见光图像；

所述步骤(3)中，对初始权重图W_i,i＝(1,2)采用引导滤波操作进行优化，规定引导滤波操作为算子GF(·)，则优化后的权重图可以表达如下：

其中r₁,ε₁,(i＝1,2)是引导滤波器的参数，

和

分别是高频层和低频层的优化权重图；

所述步骤(4)中，根据优化后的权重图

分别融合红外和可见光图像对的低频层

和高频层

这一过程可由下式表示：

其中

表示元素级乘法，

和

分别代表融合后的低频层和高频层。

Images