CN106897986B - 一种基于多尺度分析的可见光图像与远红外图像融合方法 - Google Patents

Abstract

本发明公开了一种基于多尺度分析的可见光图像与远红外图像融合方法。在图像多尺度分解的过程中，考虑到远红外图像条纹噪声对最终融合结果的影响，针对远红外图像条纹噪声特点，使用混合全变分多尺度分析处理可见光图像与远红外图像，在获得子带图像的同时对远红外噪声进行了抑制；然后根据人类视觉显著性分布特性，对子带图像的融合规则进行调整，将可见光图像与远红外细节图像进行融合；最后根据实际应用对融合结果的需求，调整重建参数，获得融合结果。本发明方法能在图像多尺度分解过程中对远红外图像中的条纹噪声进行有效抑制，并根据人类视觉显著性特点结合可见光图像与远红外图像各自特点，提供了有效信息更丰富、图像质量更好的融合结果。

Description

一种基于多尺度分析的可见光图像与远红外图像融合方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于多尺度分析的可见光图像与远红外图像融合方法。

背景技术

随着传感器技术的不断进步，图像源呈现出多元化的趋势。可见光，近红外，远红外，雷达等不同传感器采集的图像具有不同的成像原理，提供真实目标的不同方面的特征信息。这些来自不同传感器的数据具有不同的时间、空间、光谱分辨率和不同的极化方式。由于单一传感器提供的数据量有限，难以满足应用需求，在此种背景下，多传感器数据融合与分析技术应运而生。在地球科学、军事侦察、医学图像、计算机视觉等领域有着广泛的应用。图像融合是这一领域的重要分支，通过图像融合，可以将同一场景的多个不同传感器获取的图像融合成新的图像，融合的新图像具有更好的可理解性，较少的模糊以及更高的可信度，更适合人眼视觉，计算机检测、分类、识别、理解等处理。

在多传感器图像采集的过程中，尤其是远红外图像的获取过程中，由于成像原理，硬件水平以及实验环境限制，红外热像仪的噪声可以极大地降低图像的质量和限制对低对比度目标的探测能力。因此，如何在图像融合的同时对远红外图像噪声进行抑制，是一个很有实际应用意义的课题。

发明内容

本发明的目的是在可见光图像同远红外图像融合的过程中，针对远红外图像噪声特点，在多尺度分解过程中对噪声进行抑制，并通过视觉显著性分析提取可见光图像与远红外图像各自的目标特征，最终提升融合结果的图像质量以及融合结果所含信息的准确性和有效性。

本发明的目的是通过以下技术方案来实现的：一种基于多尺度分析的可见光图像与远红外图像融合方法，该方法包括以下步骤：

(1)将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层，具体是：

(1.1)计算图像的梯度图，并对梯度图进行高斯模糊；

(1.2)根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；

(1.3)根据原始图像以及2.2中计算的权重矩阵W，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为V_n1,V_n2,V_n3，远红外图像的三个子带图像分别为I_m1,I_m2,I_m3，n1,n2,n3分别为可见光图像的三个迭代次数，m1,m2,m3分别为红外图像的三个迭代次数，且n1＜n2＜n3,m1＜m2＜m3；

(1.4)将原始图像(迭代次数为0)以及三个子带图像按照迭代次数进行排序，相邻的图像相减获取一个细节层，可见光图像的三个细节层分别为V₁,V₂,V₃，其中，V₁为可见光原始图像与V_n1相减后得到的细节层，V₂为V_n1与V_n2相减后得到的细节层，V₃为V_n2与V_n3相减后得到的细节层，同理，远红外图像的三个细节层分别为I₁,I₂,I₃，其中，I₁为可见光原始图像与I_n1相减后得到的细节层，I₂为I_n1与I_n2相减后得到的细节层，I₃为I_n2与I_n3相减后得到的细节层。

(2)对步骤1得到的六个细节层以及V_n3与I_m3分别进行行和列的延拓，然后运用视觉显著性计算公式计算每一个点的视觉显著性值，分别得到一个显著性矩阵，即V₁′,V₂′,V₃′,V_n3′以及I₁′,I₂′,I₃′,I_m3′；

(3)将V₁′和I₁′矩阵中，相互对应的两个点进行归一化处理，分别得到归一化权重矩阵W_v1,W_I1，按照同样方法对V₂′和I₂′、V₃′和I₃′、V_n3′和I_m3′进行处理，分别得到W_v2,W_I2，W_v3,W_I3,W_vn3,W_In3,；

(4)计算各细节层图像以及迭代次数最大的两个子带图像的灰度融合结果，具体如下：

P₀＝V_n3*W_vn3+I_m3*W_Im3

P₁＝V₁*W_v1+I₁*W_I1

P₂＝V₂*W_v2+I₂*W_I2

P₃＝V₃*W_v3+I₃*W_I3

(5)将每一层的融合结果进行再融合，所述权重分别为0.75、0.60、0.31、0.32，得到最终融合结果：

FR＝0.75P₀+0.60P₁+0.31P₂+0.32P₃

进一步地，步骤1.1中，高斯模糊核大小为3×7,σ＝1。

进一步地，步骤1.2中，th＝0.5。

进一步地，步骤1.3中，所述不同迭代次数分别为1、2、3。

进一步地，步骤5中，所述权重分别为0.75、0.60、0.31、0.32。

本发明的有益效果：在基于多尺度分析的可见光图像与远红外图像融合过程中，首先，采用混合单向全变分平滑方法对可见光图像与远红外图像分别进行平滑处理，此种平滑方法，可以有效抑制远红外图像中轻条纹噪声以及重条纹噪声，为最终融合图像质量的提升打下基础；然后，采用基于人类视觉显著性分析的细节子带融合权重计算方法，可以有效地提取可见光图像以及远红外图像中各自的突出目标，提升融合结果的特征显著性以及有效性；最后，灵活的多尺度重建过程，可以为获取不同特点的融合结果提供简便有效的调节手段，有利于进一步研究与效果比对。

附图说明

图1为本发明方法示意图。

图2为被条纹噪声污染图像。

图3为本发明所用去条纹方法效果同其他方法效果比较，(a)wavelet-FFT、(b)SLD、(c)UTV、(d)l1-UTV、(e)HUTV、(f)HUTV随迭代次数变化的目标函数值。

图4为a)可见光图像、(b)红外图像、(c)可见光图像的人类视觉权重分布图、(d)红外图像的人类视觉权重分布图。

图5为构建多尺度细节子带过程。

图6为用来检验本发明方法的测试图像组Uncamp图像、Trees图像、Flow-er图像、City图像。

图7Uncamp图像组的融合结果。

图8Trees图像组的融合结果。

图9City图像组的融合结果。

图10lower图像组的融合结果。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明提供的一种基于多尺度分析的可见光图像与远红外图像融合方法，主要包括多尺度分解的权重矩阵计算、多尺度子带图像的计算、细节层融合权重矩阵计算、融合图像重建等几个步骤，如图1所示。

步骤1.将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层

1-1计算图像的梯度图，并对梯度图进行高斯模糊；

1-2根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；

1-3根据原始图像以及2.2中计算的权重矩阵W，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为V_n1,V_n2,V_n3，远红外图像的三个子带图像分别为I_m1,I_m2,I_m3，n1,n2,n3分别为可见光图像的三个迭代次数，m1,m2,m3分别为红外图像的三个迭代次数，且n1＜n2＜n3,m1＜m2＜m3；

1-4将原始图像(迭代次数为0)以及三个子带图像按照迭代次数进行排序，相邻的图像相减获取一个细节层，可见光图像的三个细节层分别为V₁,V₂,V₃，其中，V₁为可见光原始图像与V_n1相减后得到的细节层，V₂为V_n1与V_n2相减后得到的细节层，V₃为V_n2与V_n3相减后得到的细节层，同理，远红外图像的三个细节层分别为I₁,I₂,I₃，其中，I₁为可见光原始图像与I_n1相减后得到的细节层，I₂为I_n1与I_n2相减后得到的细节层，I₃为I_n2与I_n3相减后得到的细节层。

权重矩阵W具有非常高的重要性，必须根据图像的空域特性调整权重矩阵W。权重矩阵通过计算图像在y方向的绝对差来计算。对于当前像素点u_x,y，其在y方向的绝对差如下所示：

d_y(u_x,y)＝max(|u_x,y+1-u_x,y|,|u_x,y-1-u_x,y|) (1)

权重矩阵W的定义如下所示

G_σ代表参数为σ的高斯核(3x7，σ＝1)，代表卷积操作符，的定义如下所示：

上式中Th是一个正的小阈值，用来区分重条纹噪声和轻条纹噪声。

我们用如下公式表示多尺度分解的子带图像：

f＝S(f′,λ,W,iteration) (4)

在上式中，f′即为原图像，我们用不同的迭代次数iteration达到获取不同平滑程度子图像的目的。

通过使用HUTV对一幅图像进行分解，可以获得估计子带以及细节子带。获得估计子带后，通过源图像减去估计子带可以获得细节子带。本发明中，不同模糊程度的图像是通过不同的迭代次数获取的。

f_i＝S(f′,λ,W,iteration_i) (5)

d_i＝f_i-1-f_i (6)

步骤2.对步骤1得到的六个细节层以及V_n3与I_m3分别进行行和列的延拓，上下左右各延拓出一行或者一列，然后运用视觉显著性计算公式计算每一个点的视觉显著性值，分别得到一个显著性矩阵，即V₁′,V₂′,V₃′,V_n3′以及I₁′,I₂′,I₃′,I_m3′；

步骤3.将V₁′和I₁′矩阵中，相互对应的两个点进行归一化处理，分别得到归一化权重矩阵W_v1,W_I1，按照同样方法对V₂′和I₂′、V₃′和I₃′、V_n3′和I_m3′进行处理，分别得到W_v2,W_I2，W_v3,W_I3,W_vn3,W_In3,；

采用像素灰度对比值作为衡量显著性的一种方式

p是目标像素q代表图像f中的任意像素。F(p,q)衡量了像素p和q之间的距离。此项由图像的灰度值决定。

F(p,q)＝|f_p-f_q| (9)

根据公式(8)和(9)，我们发现两个具有相同灰度值的像素点具有等量的显著性。对于灰度值为p的任意像素f_p，

M为图像的灰度等级,N是图像中包含像素的个数，i为灰度值，N_i代表灰度值为i的像素个数。

我们使用公式(10)计算图像f中的每一个像素，之后我们得到图像的显著性分布图M_f。该分布图为同图像f大小相同的二维矩阵。经过归一化处理，我们得到图像f的视觉权重分布图。正如此分布图的名字所指，该图描绘了图像各个部分对人类注意力的吸引程度。

步骤4.计算各细节层图像以及迭代次数最大的两个子带图像的灰度融合结果，具体如下：

P₀＝V_n3*W_vn3+I_m3*W_Im3 (11)

P₁＝V₁*W_v1+I₁*W_I1 (12)

P₂＝V₂*W_v2+I₂*W_I2 (13)

P₃＝V₃*W_v3+I₃*W_I3 (14)

有了图像的视觉权重分布图，我们就可以认为较大的权重对应了图像的细节。根据(12-14)，每个尺度上的可见光同红外光的融合将基于人类视觉权重分布图。

同时，估计图像也可以用同样的方法进行融合，如公式(11)所示。

通过将视觉权重分布图引入子带融合过程，红外图像高温目标以及可见光图像场景细节可以被同时保留。

步骤5.将每一层的融合结果进行再融合，所述权重分别为0.75、0.60、0.31、0.32，得到最终融合结果：

FR＝0.75P₀+0.60P₁+0.31P₂+0.32P₃ (15)

在不同尺度的子带融合之后，不同子带融合结果将被赋予不同的权重。重建规则如下所示

U＝β1₁U₁+β₂U₂+…+β_n+1U_n+1 (16)

U是最终结果，β_k∈[0,1],(k＝1,2…n+1)表示根据不同子带融合结果变化的权重。参数n一般不会大于5。在本发明中，我们选择3作为参数n的值。本文提出的方法由于可供调整和选择的参数β_k而变得相当灵活。比如，通过挑选较大的β₁，我们可以保留更多的原始图像的细节。相反，如果想要获得一个更加平滑的结果，我们可以通过一个较大的参数β_n获取。

本发明方法能在保留可见光丰富细节和远红外图像高温目标的同时对远红外图像噪声进行有效抑制，显著提升融合图像质量。如附图7、8、9、10所示，从图中可以看出，本发明方法能更好地实现可见光图像和远红外图像的融合。

Claims (4)

1.一种基于多尺度分析的可见光图像与远红外图像融合方法，其特征在于，该方法包括以下步骤：

(1)将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层，具体是：

(1.1)计算图像的梯度图，并对梯度图进行高斯模糊；

(1.2)根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；

(1.3)根据原始图像以及权重矩阵W，其中原始图像包括可见光图像和远红外图像，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为V_n1,V_n2,V_n3，远红外图像的三个子带图像分别为I_m1,I_m2,I_m3，n1,n2,n3分别为可见光图像的三个迭代次数，m1,m2,m3分别为红外图像的三个迭代次数，且n1<n2<n3,m1<m2<m3；

(1.4)原始图像的迭代次数为0，将三个子带图像按照迭代次数进行排序，相邻的图像相减获取一个细节层，可见光图像的三个细节层分别为V₁,V₂,V₃，其中，V₁为可见光原始图像与V_n1相减后得到的细节层，V₂为V_n1与V_n2相减后得到的细节层，V₃为V_n2与V_n3相减后得到的细节层，同理，远红外图像的三个细节层分别为I₁,I₂,I₃，其中，I₁为可见光原始图像与I_n1相减后得到的细节层，I₂为I_n1与I_n2相减后得到的细节层，I₃为I_n2与I_n3相减后得到的细节层；

(2)对步骤1得到的六个细节层以及V_n3与I_m3分别进行行和列的延拓，然后运用视觉显著性计算公式计算每一个点的视觉显著性值，分别得到一个显著性矩阵，即V₁',V₂',V₃',V_n3'以及I₁',I₂',I₃',I_m3'；

(3)将V₁'和I₁'矩阵中，相互对应的两个点进行归一化处理，分别得到归一化权重矩阵W_v1,W_I1，按照同样方法对V₂'和I₂'、V₃'和I₃'、V_n3'和I_m3'进行处理，分别得到W_v2,W_I2，W_v3,W_I3,W_vn3,W_In3,；

(4)计算各细节层图像以及迭代次数最大的两个子带图像的灰度融合结果，具体如下：

P₀＝V_n3*W_vn3+I_m3*W_Im3

P₁＝V₁*W_v1+I₁*W_I1

P₂＝V₂*W_v2+I₂*W_I2

P₃＝V₃*W_v3+I₃*W_I3

(5)将每一层的融合结果进行再融合，得到最终融合结果：

FR＝0.75P₀+0.60P₁+0.31P₂+0.32P₃，其中0.75、0.60、0.31、0.32分别为权重。

2.根据权利要求1所述基于多尺度分析的可见光图像与远红外图像融合方法，其特征在于，步骤1.1中，高斯模糊核大小为3×7,σ＝1。

3.根据权利要求1所述基于多尺度分析的可见光图像与远红外图像融合方法，其特征在于，步骤1.2中，th＝0.5。

4.根据权利要求1所述基于多尺度分析的可见光图像与远红外图像融合方法，其特征在于，步骤1.3中，所述可见光图像与远红外图像的迭代次数分别为1、2、3。