CN105976346A - 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于鲁棒主成分稀疏分解的红外与可见光图像融合方法，属于图像处理技术领域，主要解决现有红外与可见光图像融合中可见光图像的光谱信息损失过多的问题。本发明的具体实现步骤为：对已精确配准的图像分别进行鲁棒性主成分分析得到各自的稀疏矩阵；对图像分别进行非下采样Contourlet变换，得到各自的高、低频子带图像；利用稀疏矩阵对低频子带图像和高频子带图像分别进行融合；进行非下采样Contourlet逆变换，得到融合图像。本发明可应用于已配准的红外与可见光图像融合处理中。

Description

基于鲁棒主成分稀疏分解的红外与可见光图像融合方法

技术领域

本发明涉图像处理技术领域，具体涉及红外与可见光图像的融合处理。

背景技术

红外图像的成像基于场景的热辐射特性，其不受天气情况及光照环境的影响，但是红外图像整体比较模糊，且具有较低的空间分辨率和图像对比度；然而，可见光图像基于场景的反射特性成像，可见光图像具有较高的空间分辨率、清晰的纹理信息以及丰富的图像细节成分，但其易受光照条件以及天气环境的干扰。将红外与可见光图像进行融合，可以利用两者之间良好的互补特性，将红外图像的抗干扰特性与可见光图像的光谱信息保留性结合到一起，有利于增强图像系统对场景的表达能力。

非下采样Contourlet变换作为一种重要的多尺度分析工具，由于其在时频域良好的局部特性和平移不变性，广泛地应用于图像融合领域。在基于非下采样Contourlet变换的图像融合中，高、低频子带的融合规则对融合结果有着至关重要的影响。简单的融合规则如加权平均法获得的融合图像具有较低的对比度；基于邻域特征的融合规则[Chen Y,Xiong J,Liu H L,et al.Fusion method of infrared and visible images based on neighborhood characteristic andregionalization in NSCT domain[J].Optik-International Journal for Light and Electron Optics,2014,125(17):4980-4984]，其融合图像中包含了较多的红外图像中的光谱信息，而丢失了较多的可见光图像中的光谱信息；基于PCNN的融合规则[Xiang T,Yan L,Gao R.A fusion algorithmfor infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCTdomain[J].Infrared Physics&Technology,2015,69:53-61]，其融合图像容易丢失源图像中的边缘信息。在上述融合规则中，融合图像中损失了较多的可见光图像中的光谱信息，而可见光图像中的光谱信息能够为场景提供丰富细节、纹理和边缘等信息。

发明内容

本发明的发明目的在于：针对现有图像融合中存在源可见光图像中光谱信息损失过多的技术问题，提供一种利用非下采样Contourlet变换的平移不变性，和鲁棒性主成分分析的稀疏特性，对红外与可见光图像进行融合，既能够充分提取出红外图像中的目标特征，又能够保留可见光图像中的丰富的光谱信息。

本发明的基于鲁棒主成分稀疏分解的红外与可见光图像融合方法，包括下列步骤：

步骤1：将输入的相同尺寸(M*N)的红外图像IR和可见光图像VI的图像矩阵分别转换为列向量Mir(对应红外图像IR)和Mvi，并进行鲁棒性主成分分析，得到各自的稀疏向量Sir和Svi。例如通过求解如下优化问题来获取：

求解优化问题min_Lir,Sir||Lir||^*+λ||Sir||¹,s.t.Mir＝Lir+Sir，得到红外图像的稀疏向量Sir，其中Mir表示红外图像的列向量，Lir表示红外图像的低秩向量，||·||^*表示矩阵的核范数，||·||¹表示矩阵的1范数，系数λ＝k/(M*N)^1/2，参数k为预设值，其取值范围通常为k∈[0,1]；

求解优化问题min_Lvi,Svi||Lvi||^*+λ||Svi||¹,s.t.Mvi＝Lvi+Svi，得到可见光图像的稀疏向量Svi，其中Mvi表示可见光图像的列向量，Lvi表示可见光图像的低秩向量。

然后，将稀疏向量Sir和Svi分别转换成与输入图像大小相同的稀疏矩阵并归一化到[0,1]区间，得到红外图像、可见光图像的归一化稀疏矩阵sir、svi，而sir、svi中的各元素分别对应像素点的稀疏值；

步骤2：对红外图像IR和可见光图像VI进行非下采样变换，得到低频子带图像和高频子带图像系数；

步骤3：对红外图像IR和可见光图像VI分别进行低频子带图像系数融合、高频子带图像系数融合，得到融合图像的低频子带图像系数、高频子带图像系数；

其中，融合图像的低频子带图像系数为红外图像和可见光图像的低频子带图像系数的加权和，加权系数取决于红外图像的稀疏值；

当红外图像的高频子带图像系数的绝对值小于可见光的高频子带图像系数的绝对值，或红外图像与可见光图像的稀疏值之差大于预设阈值Th(通常，Th∈[01])时，融合图像的高频子带图像系数等于可见光图像的高频子带图像系数；否则，融合图像的高频子带图像系数等于红外图像的高频子带图像系数；

步骤4：基于非下采样逆变换对融合图像的低频子带图像系数和高频子带图像系数进行重构，得到融合图像。

综上所述，由于采用了上述技术方案，本发明的有益效果是：解决了现有红外与可见光图像融合中存在的可见光图像的光谱信息损失过多的问题；并较好的突出了红外图像中的目标信息。

附图说明

图1是本发明的流程图；

图2是用于实施例的红外图像，图像宽度为360，高度为270；

图3是用于实施例的可见光图像，图像宽度为360，高度为270；

图4是基于本发明的融合方法得到的融合图像示例。

具体实施方式

为使本发明的目的、方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

参见图1，本发明的基于鲁棒主成分稀疏分解的红外与可见光图像融合方法主要包括下述过程：

(1)对输入的红外图像IR和可见光图像VI进行鲁棒性主成分分析；

(2)对输入的红外图像IR和可见光图像VI进行非下采样Contourlet变换；

(3)红外图像IR和可见光图像VI的低频子带图像融合；

(4)红外图像IR和可见光图像VI的高频子带图像融合；

(5)利用非下采样Contourlet逆变换方法重构融合子带图像，得到融合图像并输出。

其中步骤(1)、(2)可并行执行，步骤(3)、(4)可并行执行，步骤(1)～(5)的其具体实现过程如下：

1)读取红外图像IR，如图2所示，图像尺寸为360×270。

2)读取可见光图像VI，如图3所示，图像尺寸为360×270。

3)将红外图像IR和可见光图像VI的图像矩阵转换为列向量Mir和Mvi，列向量的大小为97200×1。

4)求解优化问题min_Lir,Sir||Lir||^*+λ||Sir||¹,s.t.Mir＝Lir+Sir，其中λ＝k/(360×270)^1/2，k＝0.45，得到红外图像的稀疏向量Sir，其大小为97200×1。

5)求解优化问题min_Lvi,Svi||Lvi||^*+λ||Svi||¹,s.t.Mvi＝Lvi+Svi，其中λ＝k/(360×270)^1/2，k＝0.45，得到可见光图像的稀疏向量Svi，其大小为97200×1。

6)将稀疏向量Sir和Svi转换成与输入图像尺寸大小相同的稀疏矩阵S′ir和S′vi，其大小为360×270。

7)将稀疏矩阵S′ir和S′vi归一化到[0,1]区间，得到与红外图像相对应的归一化稀疏矩阵sir，和与可见光图像相对应的归一化稀疏矩阵svi，即sir、svi中的各元素分别对应像素点的稀疏值sir(m,n)、svi(m,n)，其中(m,n)表示像素点坐标。

8)对红外图像IR和可见光图像VI分别进行非下采样Contourlet变换，选择拉普拉斯尺度滤波器’pyrexc’和方向滤波器’cd’，分解层次为{2,3,3,4}。得到红外图像的子带分解系数{CIRL(m,n)，CIRH_j,k(m,n)}和可见光图像的子带分解系数{CVIL(m,n)，CVIH_j,k(m,n)}，其中j∈{0,1,2,3,4}，k＝2^j，(m,n)表示像素点坐标，每个像素点的子带分解系数构成各自的子带图像(大小均为360×270)。

9)对红外图像IR的低频子带图像系数CIRL(m,n)和可见光图像VI的低频子带图像系数CVIL(m,n)进行融合，通过以下方法获得融合图像的低频子带系数CFL(m,n)：

CFL(m,n)＝sir(m,n)*CIRL(m,n)+(1-sir(m,n)*CVIL(m,n))

10)对红外图像IR的高频子带图像系数CIRH_j,k(m,n)和可见光图像VI的高频子带图像系数CVIH_j,k(m,n)进行融合，通过以下方式得到融合图像的高频子带系数CFH_j,k(m,n)：

当|CVIH_j,k(m,n)|≥|CIRH_j,k(m,n)|，或sir(m,n)-svi(m,n)＞Th时，

CFH_j,k(m,n)＝CVIH_j,k(m,n)，其中Th取0.3；

在其他情况下，CFH_j,k(m,n)＝CIRH_j,k(m,n)。

11)利用非下采样Contourlet逆变换方法对融合图像的子带图像系数{CFL(m,n)，CFH_j,k(m,n)}进行重构，得到融合图像，如图4，其大小为360×270。

本实施案例所得的融合图像，充分保留了可见光图像中的光谱信息，又突出了红外图像中的目标信息，具有良好的融合效果。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (6)

1.基于鲁棒主成分稀疏分解的红外与可见光图像融合方法，其特征在于，包括下列步骤：

步骤1：将输入图像的图像矩阵转换为列向量并进行鲁棒性主成分分析，得到输入图像的稀疏向量，其中输入图像包括红外图像、可见光图像；

将稀疏向量转换成与输入图像大小相同的稀疏矩阵并归一化到[0,1]区间，得到红外图像、可见光图像的稀疏值；

步骤2：对输入图像进行非下采样变换，得到低频子带图像系数和高频子带图像系数；

步骤3：对输入图像分别进行低频子带图像系数、高频子带图像系数融合，得到融合图像的低频子带图像系数、高频子带图像系数；

其中，融合图像的低频子带图像系数为红外图像和可见光图像的低频子带图像系数的加权和，加权系数取决于红外图像的稀疏值；

当红外图像的高频子带图像系数的绝对值小于可见光的高频子带图像系数的绝对值，或红外图像与可见光图像的稀疏值之差大于预设阈值Th时，融合图像的高频子带图像系数等于可见光图像的高频子带图像系数；否则，融合图像的高频子带图像系数等于红外图像的高频子带图像系数；

步骤4：基于非下采样逆变换对融合图像的低频子带图像系数和高频子带图像系数进行重构，得到融合图像。

2.如权利要求1所述的方法，其特征在于，步骤3中，在计算融合图像的低频子带图像系数时，红外图像的低频子带图像系数的加权系数为红外图像的稀疏值，可见光图像的低频子带图像系数的加权系数为数值“1”与红外图像的稀疏值的差。

3.如权利要求1或2所述的方法，其特征在于，预设阈值Th的取值范围为[0,1]。

4.如权利要求1或2所述的方法，其特征在于，步骤1中，得到输入图像的稀疏向量具体为：

求解优化问题min_Lir,Sir||Lir||^*+λ||Sir||¹,s.t.Mir＝Lir+Sir，得到红外图像的稀疏向量Sir，其中Mir表示红外图像的列向量，Lir表示红外图像的低秩向量，||·||^*表示矩阵的核范数，||·||¹表示矩阵的1范数，系数λ＝k/(M*N)^1/2，参数k为预设值，M*N表示输入图像的尺寸；

求解优化问题min_Lvi,Svi||Lvi||^*+λ||Svi||¹,s.t.Mvi＝Lvi+Svi，得到可见光图像的稀疏向量Svi，其中Mvi表示可见光图像的列向量，Lvi表示可见光图像的低秩向量。

5.如权利要求4所述的方法，其特征在于，参数k的取值范围为[0,1]。

6.如权利要求1或2所述的方法，其特征在于，步骤2中，对输入图像进行非下采样变换时，采用拉普拉斯尺度滤波器和方向滤波器，分解层次为{2,3,3,4}。