CN109886908A

CN109886908A - 红外图像与可见光图像融合方法

Info

Publication number: CN109886908A
Application number: CN201910113628.5A
Authority: CN
Inventors: 刘涵; 汪廷
Original assignee: Xian University of Technology
Current assignee: Xian University of Technology
Priority date: 2019-02-14
Filing date: 2019-02-14
Publication date: 2019-06-14
Anticipated expiration: 2039-02-14
Also published as: CN109886908B

Abstract

红外图像与可见光图像融合方法，首先利用鲁棒性主成分分析将源图像进行分解得到源图像的稀疏分量和低秩分量，然后采用基于区域能量的融合方法融合源图像的稀疏分量，采用非下采样轮廓波变换方法对源图像的低秩分量进行尺度变换，得到低通子带和带通子带，采用基于区域能量的融合规则融合低通子带、梯度取大的融合规则融合带通子带，进行逆变换得到融合后的低秩分量。最后通过叠加得到红外图像与可见光图像的融合结果；本发明通过将图像分解为不同的信息并采用合适的方法进行融合，能够使融合图像信息更加丰富，图像效果更好。

Description

红外图像与可见光图像融合方法

技术领域

本发明属于数字图像处理中的图像融合技术领域，具体涉及红外图像与可见光图像融合方法。

背景技术

多源图像融合技术是指通过融合多个传感器获得的图像信息，以获得更准确，可靠和全面的场景描述。红外与可见光传感器是获取图像的两种常见方式，并且每种方式具有不同的成像特性。可见光图像比较符合人类视觉的观察，图像的细节信息特别丰富，但是同时会受到天气等许多因素的影响，成像会受到局限性。红外图像的成像特别稳定，对于隐藏目标的显示拥有特别大的优势。在受到照明条件等恶略天气的影响下仍能较好的显示隐藏目标，然而与可见光图像相比，目标的细节信息不够丰富，图像的对比度较差。因此，对于这两种互补性的图像，二者的融合可以有效提高图像对场景细节与热目标的描述能力，在军事防御、侦查以及民用监控等方面有着广泛的应用。

可见光图像与红外图像融合算法的研究早期主要是基于空域的融合方法，主要有灰度值平均加权、梯度变换、主成分分析(PCA)等方法。这些方法运算简单，效率高，但是极易造成融合图像中细节信息损失严重，边缘的处理效果较差。近年来，基于多尺度多分辨的图像融合技术取得重要进展，主要有小波变换、曲波变换以及轮廓波变换等。这类算法在特定的应用环境中具有良好的性能，但是在具有复杂边缘结构的场景中，对边缘的相关程度不够，对具有高频特征的边缘细节信息描述能力不强，导致算法的性能下降。

为了充分获取红外图像与可见光图像中包含的信息，在保证融合速度的基础上获得目标突出、细节信息丰富、对比度高的融合结果，本发明提出一种基于鲁棒性主成分分析(RPCA)和非下采样轮廓波变换(NSCT)的融合方法。首先通过RPCA对图像进行分解得到低秩矩阵和稀疏矩阵，首先采用NSCT变换算法融合低秩矩阵,基于区域能量的方法融合稀疏矩阵。最后通过融合的低秩矩阵和稀疏矩阵来恢复出融合图像。该方法对图像的不同内容分别进行融合，图像结果更具层次感。NSCT变换克服了小波的方向性不足和Contourlet变换的频谱混叠等问题。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供红外图像与可见光图像融合方法，基于鲁棒性主成分分析(RPCA)和非下采样轮廓波变换(NSCT)的红外图像与可见光图像融，具有融合图像更加清晰，目标突出，细节信息丰富，对比度高的特点。

为实现上述目的，本发明采用的技术方案是：

红外图像与可见光图像融合方法，包括如下步骤：

步骤1，RPCA图像分解

RPCA图像的分解主要分为三步，首先将RPCA图像转化为列向量 M∈R^mn×1；然后利用快速ALM对M进行RPCA图像分解，从优化问题式(1) 中获得mn×1的低秩矩阵列向量L和稀疏矩阵列向量S；最后将将矩阵L和S转换为m×n的矩阵；

式中，||||_*表示矩阵的核范数，||||₁表示矩阵的L1-范数，λ取值L,S为低秩矩阵和稀疏矩阵；

RPCA图像分解完之后得到红外图像和可见光图像的稀疏分量和低秩分量，根据稀疏分量和低秩分量的特点，采用基于区域能量的方法融合稀疏分量、基于NSCT的方法融合低秩分量；

步骤2，稀疏分量融合规则

稀疏分量主要包括图像的提出目标信息，采用基于区域能量取大的融合规则；红外图像与可见光图像的稀疏分量融合主要分为以下三步：首先确定区域大小，然后通过式(2)计算每一点周围区域的能量；

式中Q表示窗口的范围，E(m,n)为区域能量，d(m+x,n+y)表示源图像在(m+x,n+y)处的子带系数；

最后通过式(3)区域能量取大的融合规则融合稀疏分量；

式中d_F(m,n),d_TV(m,n),d_IR(i,j)分别表示融合图像，可见光图像和红外图像的稀疏矩阵，E_TV(m,n),E_IR(m,n)表示区域能量；

步骤3，基于NSCT的低秩分量融合

利用NSCT对红外图像和可见光图像的低秩分量进行变换，得到相应的低通子带和带通子带；然后进行对应的子带融合；红外图像和可见光图像的低秩分量经过双通道非采样滤波器组滤波可以得到低通子带与高通子带，其中，每一次非采样塔式滤波器组滤波都必须对上一次滤波采用的滤波器按采样矩阵D＝2I进行上采样；然后将低通子带经高通滤波器滤波可以得到下一级分解的低通子带，经过上采样的高通滤波器滤波后会得到下一级分解的高通子带，不断循环此过程得到最后的分解过程。

步骤3所述的低通子带融合，采用如下融合规则：

NSCT变换后的低通子带可以反映源图像的基础结构，大致体现图像轮廓的平均特性，其融合大致分为三步；首先选择窗口大小为 3*3，然后通过式2计算去区域能量；然后通过下式计算权重：

e(m,n)＝E_TV(m,n)/(E_TV(m,n)+E_IR(m,n)) (4)

式中，e(m,n)为所求权重，E_TV(m,n)和E_IR(m,n)分别为可见光图像和红外图像低秩分量的低通子带的区域能量；

最后结合计算得到的权重，融合规则可表达为下式，得到融合结果，

d_F(m,n)＝e(m,n)×d_TV(m,n)+(1-e(m,n))×d_IR(m,n) (5)

式中d_F(m,n)表示融合结果，e(m,n)表示加权系数，d_TV(m,n),d_IR(m,n)分别表示可见光和红外图像的矩阵，E_TV(m,n),E_IR(m,n)表分别示可见光和红外图像矩阵的区域能量。

步骤3所述的带通子带融合，采用如下融合规则：

带通子带包含丰富的边缘和纹理信息，采用基于平均梯度的融合规则；首先确定窗口的大小，然后通过式(6)、(7)计算出区域的平均梯度，最后选择平均梯度大的点作为融合结果值；

式(6)中G为平均梯度，块大小为M×N，分别表示x,y方向的梯度平方。式(7)中LF_N(i,j),LF_A(i,j),LF_B(i,j)分别表示融合子带，红外图像的子带以及可见光的子带，G_A(i,j),G_B(i,j)分别表示俩类图像子带的平均梯度；

在得到融合的稀疏分量与低秩分量之后将俩分量进行叠加恢复便得到最终的融合结果。

步骤3所述的D＝2I，I为二阶单位矩阵。

与现有技术相比，本发明的有益效果是：

本发明的基于RPCA和NSCT的红外图像与可见光图像融合方法，通过RPCA分解得到图像的系数分量和低秩分量，然后采用合适的方法分别融合低秩分量和稀疏分量。最后逆变换得到融合图像，经主观评价，本方法融合图像更加清晰，层次感更好，目标突出，对比度高。经客观评价，本方法融合图像的标准偏差，信息熵，平均梯度等指标均高于现有技术。

附图说明

图1是本发明的基于RPCA和NSCT的红外图像与可见光图像融合方法整体流程图。

图2是本发明的NSCT变换结构图。

图3是本发明的NSCT频域分布图。

图4(a)是本发明的第一组源图像的红外图像。

图4(b)是本发明的第一组源图像的可见光图像。

图5(a)是本发明第一组源图像的可见光图像RPCA分解的低秩分量结果图。

图5(b)是本发明第一组源图像的红外图像RPCA分解的低秩分量结果图。

图5(c)是本发明第一组源图像的可见光图像RPCA分解的稀疏分量结果图。

图5(d)是本发明第一组源图像的红外图像RPCA分解的稀疏分量结果图。

图6是本发明融合第一组红外图像与可见光图像的结果图。

图7(a)是本发明第二组源图像的红外图像。

图7(b)是本发明第二组源图像的可见光图像。

图8(a)是本发明第二组源图像的可见光图像RPCA分解的低秩分量结果图。

图8(b)是本发明第二组源图像的红外图像RPCA分解的低秩分量结果图。

图8(c)是本发明第二组源图像的可见光图像RPCA分解的稀疏分量结果图。

图8(d)是本发明第二组源图像的红外图像RPCA分解的稀疏分量结果图。

图9是本发明融合第二组红外图像与可见光图像的融合结果图。

图10(a)是本发明第一组源图像基于加权图像算法的融合结果。

图10(b)是本发明第一组源图像基于小波图像算法的融合结果。

图10(c)是本发明第一组源图像基于SR图像算法的融合结果。

图10(d)是本发明第一组源图像基于NSCT图像算法的融合结果。

图10(e)是本发明第一组源图像基于RPCA图像算法的融合结果。

图10(f)是本发明第一组源图像基于红外图像和可见光图像图像算法的融合结果。

图11(a)是本发明第二组源图像基于加权图像算法的融合结果。

图11(b)是本发明第二组源图像基于小波图像算法的融合结果。

图11(c)是本发明第二组源图像基于SR图像算法的融合结果。

图11(d)是本发明第二组源图像基于NSCT图像算法的融合结果。

图11(e)是本发明第二组源图像基于RPCA图像算法的融合结果。

图11(f)是本发明第二组源图像基于红外图像和可见光图像图像算法的融合结果。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细阐述。

本发明提出了基于鲁棒性主成分分析和非下采样轮廓波变换的红外图像与可见光图像融合方法；首先通过鲁棒性主成分分析对源图像进行分解，获得源图像的稀疏分量和低秩分量，然后对稀疏分量采用区域能量的融合规则进行融合，采用NSCT变换的方法以及设计合适的融合规则融合低秩分量，最后通过叠加得到最终的融合结果，实现图像融合。算法整体基本框图如图1所示，基于鲁棒性主成分分析和非下采样轮廓波变换的红外图像与可见光图像融合过程主要分为以下三个阶段；

1)RPCA图像分解：

图像的RPCA(基于鲁棒性主成分分析)分解主要分为三步，首先将图像转化为列向量M∈R^mn×1，然后利用快速ALM对M进行RPCA 分解，从优化问题式(1)中获得mn×1的低秩矩阵列向量L和稀疏矩阵列向量S，最后将矩阵L和S转换为m×n的矩阵；

式中||||_*表示矩阵的核范数，||||₁表示矩阵的L1-范数，λ取值L,S为低秩矩阵和稀疏矩阵；

图像分解完成之后得到红外图像和可见光图像的稀疏分量和低秩分量，根据稀疏分量和低秩分量的特点，采用基于区域能量的方法融合稀疏分量，基于NSCT(非下采样轮廓波变换)的方法融合低秩分量；

2)稀疏分量融合规则：

稀疏分量主要包括图像的提出目标信息，采用基于区域能量取大的融合规则；红外图像与可见光图像的稀疏分量融合主要分为以下三步；首先确定区域大小，本方法选用3*3，然后通过下式计算每一点周围区域的能量；

最后通过下式取大的融合规则融合稀疏分量，

式中d_F(m,n),d_TV(m,n),d_IR(i,j)分别表示融合图像，可见光图像和红外图像的稀疏矩阵，E_TV(m,n),E_IR(m,n)表示区域能量。

3)基于NSCT的低秩分量融合

本发明利用NSCT(非下采样轮廓波变换)对红外图像和可见光图像的低秩分量进行变换。这是因为源图像的低秩分量中包含有图像大量的细节纹理信息。利用NSCT(非下采样轮廓波变换)变换可以对源图像进行多个尺度的变换，充分提取图像的信息然后将俩种源图像的信息进行融合，可以保证融合结果中能够最大化包含俩种源图像的特点。NSCT(非下采样轮廓波变换)在尺度变换方面相比其他方法可以保证平移不变性，防止频谱混叠，具有一定的优势。主要步骤如下：

步骤1，利用双通道非采样滤波器组队图像进行滤波得到低通子带与高通子带；(每一次非采样塔式滤波器组滤波都必须对上一次滤波采用的滤波器按采样矩阵D＝2I(I为二阶单位矩阵)进行上采样)

步骤2，利用高通滤波器对低通子带进行滤波得到下一级分解的低通子带，利用低通滤波器对低通子带进行滤波得到下一级分解的高通子带；

步骤3，通过使用非采样放下滤波器组对得到的高通子带进行方向得到融合中所需要的方向信息；

需要注意的是对源图像进行多级分解需要重复步骤1和步骤2，本发明对源图像进行了3级分解；低通子带与高通子带的融合规则设计如下：

a.低通子带融合规则

NSCT变换后的低通子带可以反映源图像的基础结构，大致体现图像轮廓的平均特性，其融合大致分为三步；首先选择窗口大小为 3*3；然后通过式(2)计算出区域能量。通过下式计算权重

e(m,n)＝E_TV(m,n)/(E_TV(m,n)+E_IR(m,n)) (4)

d_F(m,n)＝e(m,n)×d_TV(m,n)+(1-e(m,n))×d_IR(m,n) (5)

b.带通子带融合规则

带通子带包含丰富的边缘和纹理信息。采用基于平均梯度的融合规则；首先确定窗口的大小；然后通过下式计算出区域的平均梯度；最后选择平均梯度大的点作为融合结果值。

在得到融合的稀疏分量与低秩分量之后将俩分量进行叠加恢复便可以得到最终的融合结果。

本发明在win10操作系统的MATLAB环境下对整个过程进行仿真实验，采用UNcamp1图像，Quad图像进行了两组实验。

1、UN camp1图像的融合

本发明对该组UN camp1图像进行融合，结果如图4(a)～(b) 所示：

可以看出第一组红外图像与可见光图像各自的特点都非常明显，红外图像可以很好的显示出隐藏的目标，屋顶，人物在图像中都十分显著。可见光图像的细节信息丰富，丛林，屋顶等细节特别清晰，纹理清晰。采用本发明对二者进行RPCA(基于鲁棒性主成分分析)分解以及融合之后结果如图5(a)～(d)、图6，图像经过RPCA分解之后，图像的显著内容被提取出来。从融合结果中也可以看出图像的目标显著，细节信息丰富。具有红外图像与可见光图像的特点。

第二组图像为Quad图像，如图5(a)～(d)所示，红外图像与可见光图像中的特点相当明显。红外图像中的目标人物，目标车辆，路灯等相当显著，但是可见光图像中并不能清楚的显示这类目标，相反可见光图像中店铺的招牌中文字，以及目标物的细节的描述特别清晰。同样经过本发明的图像RPCA分解以及最终融合结果如图7(a)～ (b)，图8(a)～(d)，可以看出第二组融合结果中图像的招牌文字相当清晰，图像中的人物，车辆均十分显著，均是单一红外图像或者可见光图像所不能达到的。图像的整体视觉效果同样优于现有的传统方法。

图8(a)～(d)是第二组源图像RPCA(基于鲁棒性主成分分析)分解图像。图9是本发明融合第二组红外图像与可见光图像的结果图。

本发明与其它传统技术做对比，对于第一组和第二组的融合结果如图10(a)～(f)是第一组图像算法对比、图11(a)～(f)所示。图10(a)～(f)是第一组图像算法对比，图11(a)～(f) 是第二组图像算法对比；

从主观方面来看，本发明的融合结果从图像显著性以及图像的细节，纹理等方面都由于传统技术。从客观评价来看本文从四个指标比较算法的优劣性，如下表1,2所示，可看出本发明由于其它技术的优劣。

表1第一组不同算法融合比较

表2第二组不同算法融合比较

综上所述，本发明的基于RPCA(基于鲁棒性主成分分析)和NSCT (非下采样轮廓波变换)变换的红外图像与可见光图像融合方法可以更好将两种源图像融合，相比传统方法融合效果更好，清晰度更好，层次感好，图像目标突出，更有利于后续的图像应用。

以上所述为本发明较佳实施例，对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。

Claims

1.红外图像与可见光图像融合方法，其特征在于，包括如下步骤：

步骤1，RPCA图像分解

RPCA图像的分解主要分为三步，首先将RPCA图像转化为列向量M∈R^mn×1；然后利用快速ALM对M进行RPCA图像分解，从优化问题式(1)中获得mn×1的低秩矩阵列向量L和稀疏矩阵列向量S；最后将矩阵L和S转换为m×n的矩阵；

式中|| ||_*表示矩阵的核范数，|| ||₁表示矩阵的L1-范数，λ取值L,S为低秩矩阵和稀疏矩阵；

步骤2，稀疏分量融合规则

最后通过式(3)区域能量取大的融合规则融合稀疏分量；

步骤3，基于NSCT的低秩分量融合

利用NSCT对红外图像和可见光图像的低秩分量进行变换，得到相应的低通子带和带通子带；然后进行对应的子带融合；红外图像与可见光图像的低秩分量经过双通道非采样滤波器组滤波可以得到低通子带与高通子带，其中，每一次非采样塔式滤波器组滤波都必须对上一次滤波采用的滤波器按采样矩阵D＝2I进行上采样；然后将低通子带经高通滤波器滤波可以得到下一级分解的低通子带，经过上采样的高通滤波器滤波后会得到下一级分解的高通子带，不断循环此过程得到最后的分解过程。

2.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的低通子带融合，采用如下融合规则：

NSCT变换后的低通子带可以反映源图像的基础结构，大致体现图像轮廓的平均特性，其融合大致分为三步；首先选择窗口大小为3*3，然后通过式2计算去区域能量；然后通过下式计算权重：

e(m,n)＝E_TV(m,n)/(E_TV(m,n)+E_IR(m,n)) (4)

d_F(m,n)＝e(m,n)×d_TV(m,n)+(1-e(m,n))×d_IR(m,n) (5)

3.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的带通子带融合，采用如下融合规则：

式(6)中G为平均梯度，块大小为M×N，分别表示x,y方向的梯度平方，式(7)中LF_N(i,j),LF_A(i,j),LF_B(i,j)分别表示融合子带，红外图像的子带以及可见光的子带，G_A(i,j),G_B(i,j)分别表示俩类图像子带的平均梯度；

4.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的D＝2I，I为二阶单位矩阵。