CN111429389A - 一种保持光谱特性的可见光和近红外图像融合方法 - Google Patents

Abstract

本发明公开了一种保持光谱特性的可见光和近红外图像融合方法。首先，提出基于可见光和近红外光谱反射特性差异的反射权重模型，该模型考虑了物体表观颜色与可见光光谱反射特性的关系，以及可见光与近红外光谱反射特性的差异，避免近红外光谱干扰可见光光谱的反射特性，实现了融合图像的颜色真实自然。其次，逐层由引导滤波和高斯低通滤波获取纹理层和轮廓层，以及相应的基本层，并计算纹理层和轮廓层的梯度图，得出透射权重模型，利用近红外光谱透射特性弥补可见光散射丢失的信息，并且有效解决融合后的边缘光晕伪影现象。最后，由反射权重和透射权重逐像素点相乘，得出最终的纹理层和轮廓层的融合权重，并对可见光和近红外图像进行逐层融合，得到清晰、颜色自然的融合图像。

Description

一种保持光谱特性的可见光和近红外图像融合方法

技术领域

本发明涉及一种图像融合方法，尤其涉及一种保持光谱特性的可见光和近红外图像融合方法，属于图像视频处理领域。

背景技术

图像融合是将来源于同一场景，且具有不同特征的两幅或多幅图像通过某种方法提取每幅图像中应用所需的互补信息，最终融合成一副清晰、能够准确地表达场景信息的图像。近年来图像融合技术越来越发展为一个研究热点，作为能够提供高质量图像的图像增强技术，在安防监控、军事、医学图像等方面均得到了广泛的应用。

而由于近红外成像传感器和可见光能够共用，无需增加其他传感器(如热红外图像)，所以可见光和近红外双光谱成像装置较简洁且低价，故可见光和近红外图像融合技术作为新兴的方向迅速发展。

但由于可见光和近红外光谱的波长相差较大，两种光谱具有的物理特性(反射特性和透射特性)差异显著。在土壤、潮湿地面等的植被覆盖区域，近红外光谱反射率高于可见光；在云、水、雪等区域，可见光谱反射率高于近红外；而在岩石或裸土等区域，两者近似相等。除反射特性以外，当大气中存在雾霾等小颗粒物质时，可见光往往会发生严重的散射效应，低透射率使得成像模糊，相比较来说，近红外光谱此时能够有较好的透射率，从而有较为清晰的图像。但同时，当在雾霾、光照不足以及光照不均等恶劣成像条件下，成像过程中的不同的光谱特性导致所成的图像表观特征不一致，给融合带来了巨大的挑战。在同一场景中，可见光图像具有人眼视觉自然的颜色信息，而近红外图像在恶劣天候下能够清晰成像，因此要得到一副颜色自然且场景清晰度较高的图像，我们就要进行两者融合，充分利用两者的互补信息，使得我们可以准确地对场景进行感知。

目前，传统的方法主要是基于灰度图像的多尺度变换融合，如：金字塔变换，小波变换，轮廓波变换和非下采样轮廓波变换(NSCT)等，这些方法将源图像分解为多个尺度的图像，并对每个尺度设计融合规则进行融合，最后再进行反变换得最终融合图像，这样只进行了多分辨率分析，没有对源图像进行成像光谱特性分析，而且采用简单、一致的融合规则，丢失了

可见光图像的颜色信息，而且场景纹理边缘也较容易出现光晕伪影现象，导致融合图像失真。

随后，有人提出了基于颜色空间转换的彩色融合，相比于灰度图像融合，彩色融合先对可见光的RGB颜色空间进行转换，如：HSV，HSI，Lab等的将颜色和亮度信息区分的颜色空间，然后仅在亮度通道实现融合，最后将融合的亮度信息和颜色信息转换到RGB颜色空间。虽然这种方法能够保留可见光的颜色信息，但由于近红外光谱反射特性较可见光的差异较大，近红外图像不能近似为可见光的亮度通道图像，最终的融合的彩色图像会出现较大的颜色扭曲失真现象，并且在边缘区域较易发生光晕伪影，使得融合图像的视觉效果不自然，失去真实感。因此，想要获得自然清晰的可见光和近红外融合图像，必须要考虑到两种光谱在成像过程的光谱特性差异，实现信息互补且准确。

发明内容

根据本发明的一个方面，提供了一种保持光谱特性的可见光和近红外图像融合方法，其特征在于包括如下步骤：

步骤(1)：针对可见光和近红外图像的成像过程，利用Retinex模型分解，分别得到可见光三波段的反射图和近红外波段的反射图，利用植被覆盖率指数的计算方法，将可见光三波段反射图与近红外波段反射图分别相减，并进行归一化处理，得到可见光三波段用于融合的反射权重模型，

步骤(2)：对于可见光三波段反射图和近红外波段反射图，通过引导滤波得到可见光三波段和近红外波段反射图的纹理基本层，将原始反射图与纹理基本层相除，得到纹理层，纹理基本层由高斯低通滤波得到轮廓基本层，再将纹理基本层与轮廓基本层相除，得到轮廓层，

步骤(3)：分别计算B步骤中的纹理层和轮廓层的梯度图，并生成可见光三波段与近红外波段在纹理层和轮廓层的梯度比，得到可见光三波段用于融合的纹理层和轮廓层的透射权重模型，

步骤(4)：将步骤B的反射权重模型和步骤D的投射权重模型相乘，生成可见光三波段的纹理层和轮廓层的最终融合权重，并计算得出近红外波段相应的最终融合权重，

步骤(5)：针对纹理层和轮廓层，根据E步骤的最终融合权重将可见光三波段和近红外波段分别融合，得到融合后的可见光三波段的纹理层和轮廓层，计算融合后的可见光三波段轮廓层和可见光三波段的轮廓基本层的乘积，得到融合后的可见光三波段的纹理基本层，并与融合后的可见光三波段的纹理层相乘，得到最终的可见光三波段的融合图像，

其中：

在所述步骤(1)中，利用可见光三波段和近红外波段的反射特性差异，并利用以下公式计算反射权重模型：

式中R_c和R_n分别代表可见光三波段和近红外波段由Retinex分解得到的的反射图，wr_c为利用植被覆盖率指数得到的初始反射权重模型，Wr_c为归一化后的反射权重模型，

在所述步骤(2)中，利用引导滤波和高斯低通滤波逐层分解得到纹理基本层和轮廓基本层，并以下公式计算可见光三波段和近红外波段的纹理层和轮廓层：

式中代表可见光三波段和近红外波段的的反射图，

为纹理基本层和

轮廓基本层，为引导滤波和高斯滤波的参数，

为纹理层和

轮廓层，为防止分母为零的参数，α设置为0.01，

在所述步骤(3)中，借助于雾天下近红外波段的透射率高的特性，利用近红外波段弥补可见光波段由于散射丢失的信息，在纹理层和轮廓层，分别利用公式计算可见光三波段和近红外波段的分块梯度比，并得到纹理层和轮廓层的透射权重模型，

式中

代表以k像素为中心的图像块的梯度值总和，

为初始透射权重。

附图说明

图1为根据本发明的一个实施例的基于光谱特性保持的可见光与近红外图像融合方法的流程图；

图2为可见光和近红外波段的反射对比示例图；

图3为根据本发明的纹理和轮廓层以及相应的基本层示例图；

图4-图5为根据本发明的基于光谱特性保持的可见光与近红外图像融合方法的主观结果示例图；

图6为本发明提出的可见光和近红外图像融合算法的客观结果示例图。

具体实施方式

为了克服现有可见光和近红外图像融合技术在彩色融合过程中存在的颜色扭曲，边缘光晕伪影等的视觉效果不自然问题。本实施案例提出了一种保持光谱特性的可见光与近红外图像融合方法，该方法针对传统的可见光和近红外图像融合方法不足，光谱的成像过程，对不同的光谱特性进行分析，设计具有光谱反射和透射特性的融合权重模型，根据不同的成像阶段的光谱特性采用不同的策略进行融合。

首先，提出基于可见光和近红外光谱反射特性差异的反射权重模型，在该模型中考虑了物体表观颜色与光谱反射特性的联系，同时分析总结可见光与近红外光谱反射特性的差异规律，避免在融合过程中近红外光谱反射特性对可见光光谱反射特性的干扰，通过对可见光光谱反射特性的保持实现了融合图像的颜色真实自然。

其次，考虑到在雾霾等的恶劣成像条件下，可见光和近红外光在大气传输过程中透射特性不同，导致图像中的纹理结构差异大。先由引导滤波获取纹理层及纹理基本层，再经高斯低通滤波得到轮廓层及轮廓基本层。最后分别计算纹理层和轮廓层的梯度图，得出透射权重模型，能够利用近红外光谱透射特性弥补可见光散射丢失的信息，并且有效解决融合后由于纹理结构差异大导致的边缘光晕伪影现象。

然后，由反射权重和透射权重逐像素点相乘，得出最终的纹理层和轮廓层的融合权重，并依据最终的融合权重对可见光和近红外图像进行逐层融合，最后合并基本层，得到清晰、颜色自然的融合图像。

根据本发明的一个实施例的保持光谱特性的可见光和近红外图像融合方法包括：

步骤(1)：针对可见光和近红外图像的成像过程，通过Retinex模型去除光照的影响，分别得到可见光三波段的反射图和近红外波段的反射图。利用植被覆盖率指数的计算方法，将可见光三波段反射图与近红外波段反射图分别相减，并进行归一化处理，得到可见光三波段用于融合的反射权重模型；

步骤(2)：对于可见光三波段反射图和近红外波段反射图，通过引导滤波得到可见光三波段和近红外波段反射图的纹理基本层，将原始反射图与纹理基本层相除，得到纹理层。再经由高斯低通滤波得到纹理基本层的轮廓基本层，再次将纹理基本层与轮廓基本层相除，得到轮廓层；

步骤(3)：分别计算C步骤中的纹理层和轮廓层的梯度图，并生成可见光三波段与近红外波段在纹理层和轮廓层的梯度比，得到可见光三波段用于融合的纹理层和轮廓层的透射权重模型；

步骤(4)：将步骤B的反射权重模型和步骤D的投射权重模型相乘，生成可见光三波段的纹理层和轮廓层的最终融合权重，并计算得出近红外波段相应的最终融合权重；

步骤(5)：针对纹理层和轮廓层，根据E步骤的最终融合权重将可见光三波段和近红外波段分别融合，得到融合后的可见光三波段的纹理层和轮廓层。计算融合后的可见光三波段轮廓层与分解得到轮廓基本层的乘积，得到融合后的可见光三波段的纹理基本层，并与融合后的可见光三波段的纹理层相乘，得到最终的可见光三波段的融合图像。

根据本发明的一个进一步的实施例，在上述步骤(1)中，利用可见光三波段和近红外波段的反射特性差异，并利用以下公式计算反射权重模型：

式中R_c代表可见光三波段的反射图，R_n代表近红外波段的反射图，wr_c为利用植被覆盖率指数得到的初始反射权重模型，Wr_c为归一化后的反射权重模型。

根据本发明的一个进一步的实施例，在上述步骤(2)中，利用引导滤波和高斯低通滤波逐层得到纹理基本层和轮廓基本层，并以下公式计算可见光三波段和近红外波段的纹理层和轮廓层：

式中R_p为可见光三波段和近红外波段的的反射图，p∈{r,g,b,n}，

为纹理基本层和

轮廓基本层，为引导滤波和高斯滤波的参数。

为纹理层和

轮廓层，为防止分母为零的参数，设置为0.01。

根据本发明的一个进一步的实施例，在上述步骤(3)中，在纹理层和轮廓层，分别利用公式计算可见光三波段和近红外波段的分块梯度比，并得到纹理层和轮廓层的透射权重模型。

式中

代表以k像素为中心的图像块的梯度值总和，

为初始透射权重。

根据本发明的一个进一步的实施例，在上述步骤(3)中，通过引导滤波的方式，消除了初始透射权重的块效应，得到最终的透射权重模型。

根据本发明的一个进一步的实施例，在上述步骤(4)中，基于光谱反射和透射特性在成像过程的关系，利用反射权重与透射权重的乘积作为纹理层和轮廓层的最终融合权重。

根据本发明的一个进一步的实施例，在上述步骤(5)中，首先计算融合后的轮廓层与轮廓基本层的乘积作为融合后的纹理基本层，其次计算融合后的纹理层与融合后的纹理基本层的乘积，得到最终的融合的图像。

根据本发明的一个进一步的实施例，在上述步骤(5)中，利用区域中可见光与近红外的光谱反射特性差异与该区域的散射效应的关系，考虑融合近红外波段信息的程度。当近红外波段的反射高于可见光时，该区域成像清晰；相反，该区域为云，雾等可见光散射强烈的区域，成像清晰度较低。

综上所述，本发明提出了一种保持光谱特性的可见光和近红外图像融合方法。该方法与当前主流方法相比，可以较好地提高融合图像颜色的自然度和清晰度，并且可以应用于实际的融合中。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明的一个实施例的保持光谱特性的可见光和近红外图像融合方法，具体步骤包括：

(1)反射权重求解

首先近红外波段和可见光三波段的反射特性有很大差异，根据植被覆盖率指数，可以得知在雾气、天空和水等可见光易发生散射效应的区域，近红外波段的反射率小于可见光三波段，而在植被覆盖、裸土等的不易发生散射效应的区域，近红外波段的反射率高于或近似于可见光三波段。

如图2所示，(a)-(c)表示同一场景的可见光三波段的反射图，(b)表示近红外波段的反射图，可以发现在植被、树木等的区域，近红外图像的灰度值远远大于可见光三波段，而在其他区域，则小于等于可见光三波段。

其次，物体的颜色由光照和可见光三波段的反射特性决定，当光源一致时，则物体的颜色依赖于可见光三波段的反射特性。故传统方法导致的颜色的扭曲，来自于可见光三波段的反射特性被改变。有研究证实，用近红外波段代替可见光图像的三波段中的任一波段的图像，会发生颜色的失真。基于以上分析，不仅需要在可见光发生散射的情况时，自适应融入更多近红外的信息，还需要在融入近红外波段信息的同时保持可见光三波段的反射特性，避免在融合过程中可见光三波段的反射特性的改变，从而保持颜色的自然。为此本发明利用植被覆盖率指数(NDVI)设计反射权重模型，如图1的步骤(1)可以通过下式求解：

式中R_c和R_n分别代表可见光三波段和近红外波段由Retinex分解得到的的反射图，c∈{r,g,b}代表可见光三波段，n则代表近红外波段，wr_c为可见光三波段的初始反射权重模型，Wr_c为归一化后的反射权重模型，范围在[0,1]之间。

(2)基于引导滤波和高斯低通滤波的逐层分解

图像中的边缘纹理在融合过程中，若仅用高斯滤波，得到的融合结果易发生光晕伪影。本发明利用引导滤波和高斯低通滤波逐层分解，得到纹理层和轮廓层，如图3包括了纹理和轮廓层，以及相应的基本层。引导滤波对图像边缘的平滑程度小，能够得到图像的纹理基本层及相应的纹理层，在经过高斯低通滤波的处理，可以得到图像的轮廓基本层及轮廓层。利用如图1的步骤(2)的逐层分解的方式，计算图像的纹理基本层和轮廓基本层：

式中p代表可见光三波段和近红外波段的的反射图，p∈{r,g,b,n}，

为纹理基本层和

轮廓基本层，r,ε,ω,σ为引导滤波和高斯滤波的参数。

相应的纹理层和轮廓层，来自于原始图与纹理基本层的商和纹理基本层和轮廓基本层的商：

为纹理层和

轮廓层，为防止分母为零的参数，设置为0.01。

(3)透射权重求解

在得到纹理层和轮廓层后，本发明采用可见光三波段与近红外波段的梯度比作为透射权重。首先，若近红外在某一区域的纹理清晰度高于可见光，说明可见光发生了散射效应，相应的要突出近红外的信息；其次，当可见光的纹理清晰度优于近红外时，则应避免近红外波段信息的干扰。而在成像过程中，一个小邻域的透射率可以近似相等。基于上述原则，如图1的步骤(3)的透射权重的计算公式如下：

式中

代表以k像素为中心的可见光三波段的纹理层和轮廓层的图像块梯度值和，

代表以k像素为中心的近红外波段纹理层和轮廓层的图像块梯度值和，

为可见光三波段初始透射权重，而其中梯度值的计算公式如下：

式中▽_x(·)和▽_y(·)代表图像的横纵的导数值，i＝1代表纹理层,i＝2代表轮廓层。为了消除小邻域的块效应，用引导滤波平滑初始透射权重如下：

(4)四波段的融合权重求解

在获得反射权重和透射权重模型后，如图1的步骤(4)依据光谱反射和透射特性的物理关系模型，依照下述公式计算最终的可见光融合权重：

式中表示对应同像素的反射权重和透射权重相乘，i＝1对应纹理层,i＝2则对应轮廓层。

故为最终的可见光波段纹理层的融合权重，

为最终可见光波段轮廓层的融合权重.

在可见光三波段和近红外波段中，当可见光三波段的散射效应小、纹理清晰时，应保持可见光的信息；相反，则应借助近红外波段的较强的透射特性，但在融合的同时，应保持可见光三波段的反射特性。近红外波段的融合权重来自于全单位模矩阵与可见光三波段的融合权重的差值：

式中W_one值全为1的全单位模矩阵，

表示近红外波段细节层和轮廓层在融合过程中的权重。

(5)细节层和轮廓层的逐层融合

如图1的步骤(5)，由最终融合权重将可见光三波段和近红外波段分别逐层融合，先得到融合后的可见光三波段的纹理层和轮廓层，并计算融合后的可见光三波段轮廓层和可见光三波段的轮廓基本层的乘积，得到融合后的可见光三波段的，再与融合后的可见光三波段的纹理层相乘，得到最终的可见光三波段的融合图像。

为了验证本发明的有效性，将本发明与对比度保持映射融合(CPMM)，比例图引导融合(VSM)，引导滤波融合(GFF)等融合算法在两种类型的数据集上进行了对比，一种由于雾气导致可见光图像发生纹理丢失等降质现象，另一种则是由于光照不均匀使得可见光图像发生对比度失衡等降质现象。图4-5展示了对于在雾霾和光照不均等多种复杂成像环境下的可见光三波段图像，不同方法的融合前后的效果对比图。图6展示了上述融合算法，在平均梯度(AVG),视觉信息保真度(VIFF)和光谱扭曲度(SDI)下的客观结果。通过以上对比结果，可以看出本发明相对于其他融合算法，在近红外与可见光融合方面有明显的优势。通过本发明得到的融合图像，能够同时准确地保留可见光光谱中的反射信息以及近红外光谱中的透射信息，进而得到纹理清晰，颜色自然的融合图像。

以上公开的仅为本发明的具体实施例。根据本发明提供的技术思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (5)

1.一种保持光谱特性的可见光和近红外图像融合方法，其特征在于包括如下步骤：

步骤(1)：针对可见光和近红外图像的成像过程，利用Retinex模型分解，分别得到可见光三波段的反射图和近红外波段的反射图，利用植被覆盖率指数的计算方法，将可见光三波段反射图与近红外波段反射图分别相减，并进行归一化处理，得到可见光三波段用于融合的反射权重模型，

步骤(2)：对于可见光三波段反射图和近红外波段反射图，通过引导滤波得到可见光三波段和近红外波段反射图的纹理基本层，将原始反射图与纹理基本层相除，得到纹理层，纹理基本层由高斯低通滤波得到轮廓基本层，再将纹理基本层与轮廓基本层相除，得到轮廓层，

步骤(3)：分别计算B步骤中的纹理层和轮廓层的梯度图，并生成可见光三波段与近红外波段在纹理层和轮廓层的梯度比，得到可见光三波段用于融合的纹理层和轮廓层的透射权重模型，

步骤(4)：将步骤B的反射权重模型和步骤D的投射权重模型相乘，生成可见光三波段的纹理层和轮廓层的最终融合权重，并计算得出近红外波段相应的最终融合权重，

步骤(5)：针对纹理层和轮廓层，根据E步骤的最终融合权重将可见光三波段和近红外波段分别融合，得到融合后的可见光三波段的纹理层和轮廓层，计算融合后的可见光三波段轮廓层和可见光三波段的轮廓基本层的乘积，得到融合后的可见光三波段的纹理基本层，并与融合后的可见光三波段的纹理层相乘，得到最终的可见光三波段的融合图像，

其中：

在所述步骤(1)中，利用可见光三波段和近红外波段的反射特性差异，并利用以下公式计算反射权重模型：

式中R_c和R_n分别代表可见光三波段和近红外波段由Retinex分解得到的的反射图，wr_c为利用植被覆盖率指数得到的初始反射权重模型，Wr_c为归一化后的反射权重模型，

在所述步骤(2)中，利用引导滤波和高斯低通滤波逐层分解得到纹理基本层和轮廓基本层，并以下公式计算可见光三波段和近红外波段的纹理层和轮廓层：

式中代表可见光三波段和近红外波段的的反射图，

为纹理基本层和

轮廓基本层，为引导滤波和高斯滤波的参数，

为纹理层和

轮廓层，为防止分母为零的参数，α设置为0.01，

在所述步骤(3)中，借助于雾天下近红外波段的透射率高的特性，利用近红外波段弥补可见光波段由于散射丢失的信息，在纹理层和轮廓层，分别利用公式计算可见光三波段和近红外波段的分块梯度比，并得到纹理层和轮廓层的透射权重模型，

式中

代表以k像素为中心的图像块的梯度值总和，

为初始透射权重。

2.如权利要求1所述的保持光谱特性的可见光和近红外图像融合方法，其特征在于所述步骤(3)中，通过引导滤波的方式，消除了初始透射权重的块效应，得到最终的透射权重模型。

3.如权利要求1所述的保持光谱特性的可见光和近红外图像融合方法，其特征在于所述步骤(4)中，基于光谱反射和透射特性在光谱成像过程的相乘关系，利用反射权重与透射权重的乘积作为纹理层和轮廓层的最终融合权重。

4.如权利要求1所述的保持光谱特性的可见光和近红外图像融合方法，其特征在于所述步骤(5)中，首先计算融合后的轮廓层与轮廓基本层的乘积作为融合后的纹理基本层，其次计算融合后的纹理层与融合后的纹理基本层的乘积，得到最终的融合的图像。

5.如权利要求1所述的保持光谱特性的可见光和近红外图像融合方法，其特征在于所述步骤(5)中，利用区域中可见光与近红外的光谱反射特性差异与该区域的散射效应的关系，考虑融合近红外波段信息的程度，当近红外波段的反射高于可见光时，该区域成像清晰；相反，该区域为云，雾等可见光散射强烈的区域，成像清晰度较低。

Images