CN114511484B - 基于多级LatLRR的红外和彩色可见光图像快速融合方法 - Google Patents

Abstract

本发明涉及图像融合这一领域，公开了一种基于多级LatLRR的红外和彩色可见光图像快速融合方法。先计算可见光图像CbCrY颜色空间的Y分量，红外图像与可见光Y分量分别进行多级潜在低秩分解，利用分解结果，基于归一化核范数差和图像重构计算细节注入权重，将红外图像的细节注入可见光彩色图像的三个通道，得到融合后的彩色图像。采用该方法融合得到的融合结果，既可以保留可见光图像的细节信息，避免纹理缺失或模糊退化的近红外图像对融合结果的影响，又可以充分利用红外图像中的显著细节，增强融合效果。

Description

基于多级LatLRR的红外和彩色可见光图像快速融合方法

技术领域

本发明涉及图像融合领域，尤其涉及基于多级LatLRR的红外和彩色可见光图像快速融合方法。

背景技术

由于成像原理的不同，可见光图像通过反射光谱成像，具有较高的空间分辨率和丰富的背景信息，但易受光照或者天气条件影响，红外传感器通过热辐射成像，受光照或者天气条件影响小，图像比较稳定，但往往缺乏足够的场景背景细节信息。将红外与弱可见光图像进行融合，能产生出更适合人眼观察或计算机视觉任务的合成图像，因此，红外与可见光图像融合技术在军事侦察、医疗诊断及人工智能等领域有着良好的应用前景。

多尺度变换是红外与可见光图像融合常用的算法，但是多尺度分解方法受方向和层数的影响，对图像结构有一定的损坏，容易造成细节信息的丢失，而稀疏表示能够克服多尺度变换的不足，达到较好的融合性能，但仍存在细节信息提取能力不足的问题，最近提出的潜在低秩表示方法(LatLRR)将图像进行多层次分解，可以提取源图像中全局结构信息和局部结构信息，融合图像细节信息丰富，清晰度高，具有良好的可视性。但是，目前大多数方法是针对单通道可见光和红外图像融合提出的，红外与彩色可见光图像融合的研究很少。

目前红外与彩色可见光图像融合常用的方法主要有两种：一种方法是红外与可见光的RGB三个通道分别融合；另一种方法是先将可见光图像从RGB颜色空间转换为HIS颜色空间，然后只对红外图像与可见光的亮度分量进行融合，再将融合结果从HIS转换为RGB颜色空间。第一种方法因为充分利用了RGB通道信息，效果较好，但计算量较大；相比第一种方法，第二种方法计算量更小，但是因为融合过程只用了亮度分量，效果相对差一些。如何充分利用RGB通道信息进行快速融合是红外与彩色可见光图像融合值得研究的一个问题。

发明内容

针对当前可见光和红外图像融合方法的不足，本发明提供一种基于多级LatLRR的红外和彩色可见光图像快速融合方法，将红外图像的细节以同样的权值直接注入可见光的RGB通道，其等效于红外图像与可见光图像CbCrY颜色空间的Y分量融合并转换为RGB颜色空间的效果，融合速度快，可以充分利用可见光多通道信息和图像的低秩先验，提高融合效果。

本发明采用的技术方案如下：

基于多级LatLRR的红外和彩色可见光图像快速融合方法，包括下列步骤：

步骤1、可见光图像的Y分量计算：求解与可见光图像RGB通道对应的CbCrY颜色空间中的Y分量；

步骤2、可见光图像的Y分量多级潜在低秩分解：对可见光图像的Y分量进行潜在低秩分解，得到k个显著矩阵和k个显著图其中，j＝1,2,…,k，k表示分解级数；

步骤3、红外图像多级潜在低秩分解：对红外图像进行潜在低秩分解，得到k个显著矩阵和k个显著图j＝1,2,…,k；

步骤4、融合权重计算：利用归一化核范数差，计算显著矩阵和中的每对列向量的融合权重M列融合权重构成权重矩阵表示为：

其中，m＝1,2,…,M，M为显著矩阵和权重矩阵的列数，表示权重矩阵第M列向量中的第n²个元素值；

根据权重矩阵构造权重图W^j：

其中，表示将权重矩阵中每一个n²×1的列向量排为n×n矩阵后重构为与图像对应的融合权重矩阵的操作，得到重构后的权重图；

步骤5、红外图像细节注入可见光RGB通道：将红外图像的显著图注入可见光图像的I_R、I_G和I_B三个RGB通道，得到融合结果：

其中，I_R、I_G、I_B分别是可见光图像的RGB通道，F_R、F_G、F_B分别是RGB通道的融合结果，是红外图像j级潜在低秩分解后重构的j级显著图。

进一步的，步骤2和3所述的多级潜在低秩分解具体过程为：

(1)从待分解图像I中以滑动窗形式抽取大小为n×n的M个子块，并把每个图像子块重排为一列数据；

(2)对重排后的数据进行多级潜在低秩分解，得到多个显著矩阵；

(3)对每个显著矩阵执行如下操作：显著矩阵的每列数据重排为n×n的矩阵后重构为显著图；

对于步骤2，所述图像I表示可见光图像的Y分量；对于步骤3，所述图像I表示红外图像。

进一步的，步骤4所述融合权重计算公式为：

其中，re(·)表示将显著矩阵中每一个n²×1的列向量重构为n×n的图像子块的操作，||·||_*表示矩阵的核范数。

本发明的有益效果是：

1.本发明提出将红外图像的细节注入可见光彩色图像的三个通道，可以快速得到细节增强的融合图像，为红外图像与彩色可见光图像融合提供了一种新思路。

2.本发明提出对红外图像与可见光图像颜色空间转换后的Y分量潜在低秩分解后，基于归一化核范数差和图像重构计算细节注入权重，既可以保留可见光图像的细节信息，避免纹理缺失或模糊退化的近红外图像对融合结果的影响，又可以充分利用红外图像中的显著细节，增强融合效果。

附图说明

图1为本发明的基于多级LatLRR的红外和彩色可见光图像快速融合方法流程图；

图2为待融合的红外图像和彩色可见光图像，其中(a)为可见光图像，(b)为红外图像；

图3为红外图像和可见光图像Y分量分解的细节图像，其中(a)为可见光图像的Y分量分解后的细节图像，(b)为红外图像分解后的细节图像；

图4为融合结果图，其中(a)、(b)、(c)、(d)分别对应第1～4级分解的融合图.

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。附图仅用于示例性说明，不能理解为对本发明的限制。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

下面将详细说明本发明的一个较佳实例，具体步骤如下：

步骤1：读取待融合的可见光图像I₁，如图2中的(a)所示；按下式求解与可见光RGB图像对应的CbCrY颜色空间中的Y分量：

Y＝0.299I_1R+0.587I_1G+0.114I_1B

其中，I_1R、I_1G和I_1B分别表示可见光图像RGB颜色空间的3个分量，Y表示可见光图像的Y分量。

步骤2：可见光图像的Y分量多级潜在低秩分解：

(1)从可见光图像的Y分量中以滑动窗形式抽取大小为n×n的M个子块，并把每个图像子块重排为一列数据，得到适合低秩分解的P(Y)；

(2)P(Y)通过k级潜在低秩分解，得到k个显著矩阵j＝1,2,…,k；其中，表示可见光图像的Y分量第j级潜在低秩分解得到的显著矩阵；

(3)将中每列数据重排为n×n的矩阵后重构为显著图如图3(a)所示的可见光图像的Y分量分解后的细节图像。

步骤3：红外图像多级潜在低秩分解：

(1)读取待融合的红外图像I_IR，如图2中的(b)所示；红外图像I_IR以滑动窗形式抽取大小为n×n的M个子块，并把每个图像子块重排为一列数据，得到适合低秩分解的P(I_IR)；

(2)P(I_IR)通过k级潜在低秩分解，得到k个显著矩阵j＝1,2,…,k；其中，表示红外图像第j级潜在低秩分解得到的显著矩阵；

(3)将中每列数据重排为n×n的矩阵后重构为显著图如图3(b)所示的红外图像分解后的细节图像。

步骤4：计算显著矩阵和中每对列向量的融合权重：

其中，re(·)表示将显著矩阵中每一个n²×1的列向量重构为n×n的图像子块的操作，即可见光图像的Y分量的显著图即红外图像的显著图||·||_*表示矩阵的核范数，M为列向量的总数，表示显著矩阵中的第m列向量，表示显著矩阵中的第m列向量；表示第m列向量的融合权重，表示为对应第m列向量中的第n²个元素值；是由M列向量的融合权重构成的矩阵，表示为：

将中每列数据重排为n×n的矩阵，重构为与图像对应的权重图其中，上角标j对应第j级潜在低秩分解，R(·)表示将中每一个n²×1的列向量重构为n×n矩阵的操作。

步骤5、红外图像细节注入可见光RGB通道：红外图像的显著图注入可见光图像的RGB通道，得到融合结果：

其中，I_R、I_G、I_B分别是可见光图像的RGB通道，F_R、F_G、F_B分别是RGB通道的融合结果，是红外图像j级潜在低秩分解后重构的j级显著图。

如图4所示，本实施例中设置k＝4，图4中的(a)、(b)、(c)、(d)分别对应第1～4级潜在低秩分解的融合图。从图中可见，(c)、(d)的效果明显优于(a)、(b)，本领域技术人员可以通过调整k的取值来达到最佳的融合效果。采用该方法融合得到的融合结果，既可以保留可见光图像的细节信息，避免纹理缺失或模糊退化的近红外图像对融合结果的影响，又可以充分利用红外图像中的显著细节，增强融合效果。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (3)

1.基于多级LatLRR的红外和彩色可见光图像快速融合方法，其特征在于，包括下列步骤：

步骤1、可见光图像的Y分量计算：求解与可见光图像RGB通道对应的CbCrY颜色空间中的Y分量；

步骤2、可见光图像的Y分量多级潜在低秩分解：对可见光图像的Y分量进行潜在低秩分解，得到k个显著矩阵和k个显著图其中，j＝1，2，…，k，k表示分解级数；

步骤3、红外图像多级潜在低秩分解：对红外图像进行潜在低秩分解，得到k个显著矩阵和k个显著图

步骤4、融合权重计算：利用归一化核范数差，计算显著矩阵和中的每对列向量的融合权重M列融合权重构成权重矩阵表示为：

其中，m＝1，2，…，M，M为显著矩阵和权重矩阵的列数，表示权重矩阵第M列向量中的第n²个元素值；

根据权重矩阵构造权重图W^j：

其中，表示将权重矩阵中每一个n²×1的列向量排为n×n矩阵后重构为与图像对应的融合权重矩阵的操作，得到重构后的权重图；

步骤5、红外图像细节注入可见光RGB通道：将红外图像的显著图注入可见光图像的I_R、I_G和I_B三个RGB通道，得到融合结果：

其中，I_R、I_G、I_B分别是可见光图像的RGB通道，F_R、F_G、F_B分别是RGB通道的融合结果，是红外图像j级潜在低秩分解后重构的j级显著图。

2.如权利要求1所述的基于多级LatLRR的红外和彩色可见光图像快速融合方法，其特征在于，步骤2和3所述的多级潜在低秩分解具体过程为：

(1)从待分解图像I中以滑动窗形式抽取大小为n×n的M个子块，并把每个图像子块重排为一列数据；

(2)对重排后的数据进行多级潜在低秩分解，得到多个显著矩阵；

(3)对每个显著矩阵执行如下操作：显著矩阵的每列数据重排为n×n的矩阵后重构为显著图；

对于步骤2，所述图像I表示可见光图像的Y分量；对于步骤3，所述图像I表示红外图像。

3.根据权利要求1所述的基于多级LatLRR的红外和彩色可见光图像快速融合方法，其特征在于，步骤4所述融合权重计算公式为：

其中，re(·)表示将显著矩阵中每一个n²×1的列向量重构为n×n的图像子块的操作，||·||_*表示矩阵的核范数。