CN112669249A - 结合改进nsct变换和深度学习的红外与可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种红外图像与可见光图像融合方法，具体涉及一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。本发明的目的是解决现有红外图像与可见光图像融合方法存在难以进行快速有效的图像融合的技术问题，提供一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。该方法结合结合改进NSCT变换和深度学习进行红外与可见光图像融合，以生成符合人眼视觉系统的融合结果图。采用改进型非下采样轮廓波变换NSCT对待融合图像进行自适应分解，对相应尺度的子带图像利用深度学习确定融合权重。采用本发明方案融合红外图像与可见光图像，可丰富图像细节和光谱信息，提高分辨率，使人产生更完整的场景感知。

Description

结合改进NSCT变换和深度学习的红外与可见光图像融合方法

技术领域

本发明涉及一种红外图像与可见光图像融合方法，具体涉及一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。

背景技术

不同光谱的图像传感器有时会具有较好的互补特性。比如，红外图像传感器是根据物体红外辐射的差异成像，反映的是物体的热辐射特性，由于红外图像的获取不依赖于外部光线，能够克服天气环境等的影响，并极好地获得夜间或雾天等情况下的目标信息，故具有全天候工作的特点。而可见光图像传感器是根据物体对可见光的不同反射能力成像，反映的是物体表面的可见光反射特性，可见光图像的细节纹理信息通常比较丰富，图像的获取易受光照、天气以及目标被遮挡等因素的影响，导致无法较好地获取目标信息，不具有全天候工作的特点。红外图像通常对比度和分辨率较低，缺乏细节信息，而可见光图像通常具有较高的对比度和分辨率，边缘纹理等细节信息比较丰富。由于二者各自应用的局限性，单一的可见光或红外传感器技术已经不能满足要求越来越高的应用场景要求。而由于红外图像和可见光图像具有良好的互补特性，实践表明，在很多场景中将这两种传感器获取的图像进行有效地融合处理，能够充分保留各自传感器的优点，克服各自应用的不足之处，获得对于场景全面准确的图像描述，达到对信息的充分利用，同时提高系统分析决策的准确性和可靠性。

近年来，基于多分辨、多尺度的图像融合算法一直是图像融合研究的热点。现有的图像多尺度分析方法主要包括金字塔变换、小波变换、轮廓波变换、非下采样轮廓波变换和NSCT变换等。金字塔变换中图像分解的各尺度之间存在相关性，使得图像融合效果不理想。小波变换是一种正交分解的方法，可提取图像低频信息和水平、垂直及对角三个方向的高频信息，小波变换具有方向性和时频特征，小波变换的问题在于：分解方向仅有三个，不能很好地满足人眼识别特性的需求，同时小波变换存在信号能量泄漏，在边缘处的能量和频率会出现较严重的失真，在图像融合中会出现边缘效应。轮廓波变换具有多方向性和时频特征，但存在Gibbs现象，影响融合图像的质量。非下采样轮廓波变换改善了Gibbs现象，但是图像融合速度较慢。传统NSCT变换的各个滤波器相互不结合，具有多尺度、多方向、消除Gibbs现象和位移不变性的优点，但存在计算量大、分解效率低下等弊端。现有的快速NSCT变换将多个滤波器两两结合，在保留传统NSCT变换多尺度、多方向、消除Gibbs现象和位移不变性的基础上做了进一步改进，根据图像信号特征对图像进行自适应分解，得到一系列的高频子带图像和低频子带图像，各子带图像之间具有较强的局部正交性，能够有效地表示图像的特征信息，尽管运行速度相比传统NSCT变换有所加快，而且也能够获取较好的图像分解效果，但由于运行速度提高程度有限，应用于图像融合时，仍然速度较慢。

总之，现有的各种图像融合算法因存在各种不足，均难以快速有效地进行红外图像与可见光图像的图像融合。

发明内容

本发明的目的是解决现有红外图像与可见光图像融合方法存在难以进行快速有效的图像融合的技术问题，提供一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法。

为解决上述技术问题，本发明提供的技术解决方案如下：

一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特殊之处在于，包括以下步骤：

1)图像分解

采用改进型非下采样轮廓波变换NSCT，对待融合的红外图像A与可见光图像B分别进行多个尺度、方向的分解，获取多个红外低频子带图像、红外高频子带图像、可见光低频子带图像和可见光高频子带图像；

所述改进型非下采样轮廓波变换NSCT为采用融合滤波器组的NSCT变换；所述融合滤波器组通过分别卷积不同尺度和不同方向的滤波器获得；

2)融合权重获取

基于深度学习方式，获取红外融合权重与可见光融合权重；

3)图像融合与重构

3.1)利用步骤2)获取的红外融合权重与可见光融合权重，对步骤1)所得红外低频子带图像与可见光低频子带图像进行融合，得到低频子带融合图像，对红外高频子带图像与可见光高频子带图像进行融合，得到高频子带融合图像；

3.2)利用改进型非下采样轮廓波变换NSCT，对低频子带融合图像与高频子带融合图像进行重构，最终得到待融合红外图像A与可见光图像B融合后的图像。

进一步地，步骤1)中，所述改进型非下采样轮廓波变换NSCT采用双层滤波器组结构，第一层为非下采样金字塔多尺度滤波器组NSPFB，第二层为非下采样方向滤波器组NSDFB。

进一步地，步骤1)中，所述非下采样金字塔滤波器组NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{H₀(X),H₁(X)}，非下采样金字塔滤波器组NSPFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G₀(X),G₁(X)}，非下采样金字塔滤波器组NSPFB满足Bezout恒等式的1D多项式函数：

所述非下采样方向滤波器组NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{U₀(X),U₁(X)}，非下采样方向滤波器组NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{V₀(X),V₁(X)}，非下采样方向滤波器组NSDFB满足Bezout恒等式的1D多项式函数，用f(x)替换X：

所述融合滤波器组为：

F(z)＝H₀(X_i)*G₀(X_i)*U₀(X_i)*V₀(X_i)

其中，H₀(X_i)为NSPFB低通分解滤波器集合{H₀(X)}中的一个低通分解滤波器；G₀(X_i)为NSPFB高通分解滤波器集合{G₀(X)}中的一个高通分解滤波器；U₀(X_i)为NSDFB扇形分解滤波器集合{U₀(X)}中的一个扇形分解滤波器；V₀(X_i)为棋盘分解滤波器集合{V₀(X)}中的一个棋盘分解滤波器。

进一步地，2.1)从Image Net数据集上获取相同数量的红外图像和可见光图像，将红外图像和张可见光图像均按照预定比例分为训练数据和测试数据；将红外图像的训练数据和可见光图像的训练数据的集合作为训练数据集；将红外图像的测试数据和可见光图像的测试数据的集合作为测试数据集；对训练数据集和测试数据集分别进行预处理；

2.2)构建基于VGG-19深度卷积神经的融合规则预测网络模型；

2.3)利用步骤2.1)预处理后的训练数据集对步骤2.2)构建的基于VGG-19深度卷积神经的融合规则预测网络模型进行训练，得到训练后的基于VGG-19深度卷积神经的融合规则预测网络模型；

2.4)利用步骤2.1)预处理后的测试数据集对步骤2.2)训练后的基于VGG-19深度卷积神经的融合规则预测网络模型进行归一化处理；

2.5)获取VGG-19深度卷积神经的融合规则预测网络模型归一化处理后Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层分别输出的多张特征图，采用L1范数，将每层输出的多张特征图生成为一张具有代表性的特征图，得到红外特征图

和可见光特征图

其中，

表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，

为第k个选定层具有代表性的红外特征图

或可见光特征图

k∈{1,2,3,4}，分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层；c∈{1,2,…,C}，C表示选定层的特征图总数，C＝64×2^k-1；

2.6)基于窗口局部能量融合规则，确定红外特征图

和可见光特征图

分别的初始红外融合权重

和初始可见光融合权重

并利用下式，计算红外特征图

和可见光特征图

分别的候选红外融合权重

和候选可见光融合权重

2.7)对所有候选红外融合权重

求平均，得到所述红外融合权重w_A-i(x,y)，对所有候选可见光融合权重

求平均，得到所述可见光融合权重w_B-i(x,y)

进一步地，步骤3)中，所述红外低频子带图像与可见光低频子带图像进行融合、红外高频子带图像与可见光高频子带图像进行融合时，所采用的融合公式：

其中，

代表待融合的红外子带图像；

代表待融合的可见光子带图像。

进一步地，步骤1)中，所述非下采样金字塔滤波器组NSPFB的图像分解尺度层数为3；所述非下采样方向滤波器组NSDFB的方向分解级数为3。

进一步地，步骤2.6)中，所述窗口局部能量融合规则采用的窗口大小为3×3或5×5。

进一步地，步骤2.1)中，所述数量为10000张；所述预定比例为4:1。

本发明相比现有技术具有的有益效果如下：

1、本发明提供的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，采用改进型非下采样轮廓波变换NSCT对待融合图像进行自适应分解，对相应尺度的分量(子带图像)适用基于深度学习的融合权重，可用于红外图像与可见光图像的融合场景，红外图像可反映出目标的轮廓，可见光图像具有丰富的光谱信息。这种融合图像，可丰富图像细节和光谱信息，提高分辨率，使人产生更完整的场景感知。

2、本发明提供的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，采用改进的NSCT转换，对待融合的红外图像进而可见光图像进行多尺度分解得到不同频率的高、低频子带图像，对高、低频子带图像分别进行融合，最终利用改进NSCT重构将分解并融合后的子带图像重构，大大加快了算法运行速度。

3、本发明提供的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，利用基于VGG-19卷积神经网络的深度学习图像融合规则分别针对高、低频子带不同的特点，匹配更加适合的图像融合权重，突出红外图像的目标区域，并保留更多的可见光图像的细节信息，提高图像融合视觉效果，使融合图像信息更丰富，更适合人眼观察和计算机处理。

附图说明

图1为本发明结合改进NSCT变换和深度学习的红外与可见光图像融合方法的框图；

图2为本发明改进型非下采样轮廓波变换NSCT获取的示意图；

图3为本发明深度学习的示意图；

图4为采用本发明方法的一组红外图像、可见光图像和融合图像，其中，a为可见光图像，b为红外图像，c为融合图像；

图5为采用本发明方法的另一组红外图像、可见光图像和融合图像，其中，a为可见光图像，b为红外图像，c为融合图像。

具体实施方式

下面结合附图和实施例对本发明作进一步地说明。

一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，针对灰度图融合，如图1所示，包括以下步骤：

1)图像分解

采用改进型非下采样轮廓波变换NSCT，对待融合的红外图像A与可见光图像B分别进行多个(至少两个)尺度、多个(至少两个)方向的分解，获取多个红外低频子带图像、红外高频子带图像、可见光低频子带图像和可见光高频子带图像；

所述改进型非下采样轮廓波变换NSCT为采用融合滤波器组的NSCT变换；所述融合滤波器组通过分别卷积不同尺度和不同方向的滤波器获得；

所述改进型非下采样轮廓波变换NSCT采用双层滤波器组结构，第一层为非下采样金字塔多尺度滤波器组NSPFB，第二层为非下采样方向滤波器组NSDFB。所述非下采样金字塔滤波器组NSPFB的图像分解尺度层数为3；所述非下采样方向滤波器组NSDFB的方向分解级数为3。与Contourlet变换的滤波器组不同，本发明采用的改进型非下采样轮廓波变换NSCT仅仅采取上采样操作，不再进行下采样操作，经过一系列滤波器处理后得到一系列低频子带图像和高频子带图像；

所述非下采样金字塔滤波器组NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{H₀(X),H₁(X)}，非下采样金字塔滤波器组NSPFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G₀(X),G₁(X)}，非下采样金字塔滤波器组NSPFB满足Bezout恒等式的1D多项式函数：

所述非下采样方向滤波器组NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{U₀(X),U₁(X)}，非下采样方向滤波器组NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{V₀(X),V₁(X)}，非下采样方向滤波器组NSDFB满足Bezout恒等式的1D多项式函数，用f(x)替换X：

如图2所示，所述融合滤波器组(即形成改进型分解和重构NSPFB和NSDFB，正向分解，逆向重构)为：

F(z)＝H₀(X_i)*G₀(X_i)*U₀(X_i)*V₀(X_i)。

其中，H₀(X_i)为NSPFB低通分解滤波器集合{H₀(X)}中的一个低通分解滤波器；G₀(X_i)为NSPFB高通分解滤波器集合{G₀(X)}中的一个高通分解滤波器；U₀(X_i)为NSDFB扇形分解滤波器集合{U₀(X)}中的一个扇形分解滤波器；V₀(X_i)为棋盘分解滤波器集合{V₀(X)}中的一个棋盘分解滤波器；

2)融合权重获取

基于深度学习方式，获取红外融合权重与可见光融合权重，如图3所示，具体方法如下：

2.1)从Image Net数据集上获取相同数量(如10000张)的红外图像和可见光图像，将红外图像和张可见光图像均按照预定比例(如4:1)分为训练数据和测试数据；将红外图像的训练数据和可见光图像的训练数据的集合作为训练数据集；将红外图像的测试数据和可见光图像的测试数据的集合作为测试数据集；对训练数据集和测试数据集分别进行预处理；

2.2)构建基于VGG-19深度卷积神经的融合规则预测网络模型；

2.3)利用步骤2.1)预处理后的训练数据集对步骤2.2)构建的基于VGG-19深度卷积神经的融合规则预测网络模型进行训练，得到训练后的基于VGG-19深度卷积神经的融合规则预测网络模型；

2.4)利用步骤2.1)预处理后的测试数据集对步骤2.2)训练后的基于VGG-19深度卷积神经的融合规则预测网络模型进行归一化处理；VGG-19包含全连接层和19层卷积，每层的输出均可作为输入图像的特征图，根据不同类型的特征确定图像的融合权重，突出图像中的显著信息，可获得更可靠的融合结果；

2.5)获取VGG-19深度卷积神经的融合规则预测网络模型归一化处理后Relu1_2层、Relu2_2层、Relu3_2层及Relu4_2层分别输出的多张特征图，采用L1范数，将每层输出的多张特征图生成为一张具有代表性的特征图，得到红外特征图

和可见光特征图

其中，

表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，

为第k个选定层具有代表性的红外特征图

或可见光特征图

k∈{1,2,3,4}，分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层；c∈{1,2,…,C}，C表示选定层的特征图总数，C＝64×2^k-1；

2.6)基于窗口局部能量融合规则，确定红外特征图

和可见光特征图

分别的初始红外融合权重

和初始可见光融合权重

并利用下式计算红外特征图

和可见光特征图

分别的候选红外融合权重

和候选可见光融合权重

所述窗口局部能量融合规则采用的窗口大小为3×3或5×5；在卷积神经网络中，池化操作是下采样的过程，VGG-19网络中，第k个选定层输出的特征图大小相比于网络输入图像大小缩小了2^k倍，采用上采样操作使得融合权重矩阵大小与输入图像大小一致：

2.7)对所有候选红外融合权重

求平均，得到所述红外融合权重w_A-i(x,y)，对所有候选可见光融合权重

求平均，得到所述可见光融合权重w_B-i(x,y)

3)图像融合与重构

3.1)利用步骤2)获取的红外融合权重与可见光融合权重，对步骤1)所得红外低频子带图像与可见光低频子带图像进行融合，得到低频子带融合图像，对红外高频子带图像与可见光高频子带图像进行融合，得到高频子带融合图像；

所述红外低频子带图像与可见光低频子带图像进行融合、红外高频子带图像与可见光高频子带图像进行融合时，所采用的融合公式：

其中，

代表待融合的红外子带图像；

代表待融合的可见光子带图像；

3.2)利用改进型非下采样轮廓波变换NSCT，对低频子带融合图像与高频子带融合图像进行重构，最终得到待融合红外图像A与可见光图像B融合后的图像。

图4和图5为采用本发明方法的两组图像，图4中，a为可见光图像，b为红外图像，c为融合图像；图5中，a为可见光图像，b为红外图像，c为融合图像。

本发明结合改进NSCT变换和深度学习，进行红外与可见光图像融合，以生成符合人眼视觉系统的融合结果图。采用改进型非下采样轮廓波变换NSCT对待融合图像进行自适应分解，对相应尺度的分量(子带图像)利用基于深度学习的融合规则。适用于红外图像与可见光图像的融合场景，红外图像可反映出目标的轮廓，可见光图像具有丰富的光谱信息。采用本发明方案融合红外图像与可见光图像，可丰富图像细节和光谱信息，提高分辨率，使人产生更完整的场景感知。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，对于本领域的普通专业技术人员来说，可以对前述各实施例所记载的具体技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明所保护技术方案的范围。

Claims (8)

1.一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于，包括以下步骤：

1)图像分解

采用改进型非下采样轮廓波变换NSCT，对待融合的红外图像A与可见光图像B分别进行多个尺度、方向的分解，获取多个红外低频子带图像、红外高频子带图像、可见光低频子带图像和可见光高频子带图像；

所述改进型非下采样轮廓波变换NSCT为采用融合滤波器组的NSCT变换；所述融合滤波器组通过分别卷积不同尺度和不同方向的滤波器获得；

2)融合权重获取

基于深度学习方式，获取红外融合权重与可见光融合权重；

3)图像融合与重构

3.1)利用步骤2)获取的红外融合权重与可见光融合权重，对步骤1)所得红外低频子带图像与可见光低频子带图像进行融合，得到低频子带融合图像，对红外高频子带图像与可见光高频子带图像进行融合，得到高频子带融合图像；

3.2)利用改进型非下采样轮廓波变换NSCT，对低频子带融合图像与高频子带融合图像进行重构，最终得到待融合红外图像A与可见光图像B融合后的图像。

2.根据权利要求1所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤1)中，所述改进型非下采样轮廓波变换NSCT采用双层滤波器组结构，第一层为非下采样金字塔多尺度滤波器组NSPFB，第二层为非下采样方向滤波器组NSDFB。

3.根据权利要求2所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤1)中，所述非下采样金字塔滤波器组NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{H₀(X),H₁(X)}，非下采样金字塔滤波器组NSPFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G₀(X),G₁(X)}，非下采样金字塔滤波器组NSPFB满足Bezout恒等式的1D多项式函数：

所述非下采样方向滤波器组NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{U₀(X),U₁(X)}，非下采样方向滤波器组NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{V₀(X),V₁(X)}，非下采样方向滤波器组NSDFB满足Bezout恒等式的1D多项式函数，用f(x)替换X：

所述融合滤波器组为：

F(z)＝H₀(X_i)*G₀(X_i)*U₀(X_i)*V₀(X_i)

其中，H₀(X_i)为NSPFB低通分解滤波器集合{H₀(X)}中的一个低通分解滤波器；G₀(X_i)为NSPFB高通分解滤波器集合{G₀(X)}中的一个高通分解滤波器；U₀(X_i)为NSDFB扇形分解滤波器集合{U₀(X)}中的一个扇形分解滤波器；V₀(X_i)为棋盘分解滤波器集合{V₀(X)}中的一个棋盘分解滤波器。

4.根据权利要求3所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于，步骤2)的具体方法如下：

2.1)从Image Net数据集上获取相同数量的红外图像和可见光图像，将红外图像和张可见光图像均按照预定比例分为训练数据和测试数据；将红外图像的训练数据和可见光图像的训练数据的集合作为训练数据集；将红外图像的测试数据和可见光图像的测试数据的集合作为测试数据集；对训练数据集和测试数据集分别进行预处理；

2.2)构建基于VGG-19深度卷积神经的融合规则预测网络模型；

2.3)利用步骤2.1)预处理后的训练数据集对步骤2.2)构建的基于VGG-19深度卷积神经的融合规则预测网络模型进行训练，得到训练后的基于VGG-19深度卷积神经的融合规则预测网络模型；

2.4)利用步骤2.1)预处理后的测试数据集对步骤2.2)训练后的基于VGG-19深度卷积神经的融合规则预测网络模型进行归一化处理；

2.5)获取VGG-19深度卷积神经的融合规则预测网络模型归一化处理后Relu1_2层、Relu2_2层、Relu3_2层及Relu4_2层分别输出的多张特征图，采用L1范数，将每层输出的多张特征图生成为一张具有代表性的特征图，得到红外特征图

和可见光特征图

其中，

表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，

为第k个选定层具有代表性的红外特征图

或可见光特征图

分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层；c∈{1,2,…,C}，C表示选定层的特征图总数，C＝64×2^k-1；

2.6)基于窗口局部能量融合规则，确定红外特征图

和可见光特征图

分别的初始红外融合权重

和初始可见光融合权重

并利用下式，计算红外特征图

和可见光特征图

分别的候选红外融合权重

和候选可见光融合权重

2.7)对所有候选红外融合权重

求平均，得到所述红外融合权重w_A-i(x,y)，对所有候选可见光融合权重

求平均，得到所述可见光融合权重w_B-i(x,y)：

5.根据权利要求4所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤3)中，所述红外低频子带图像与可见光低频子带图像进行融合、红外高频子带图像与可见光高频子带图像进行融合时，所采用的融合公式：

其中，

代表待融合的红外子带图像；NSCT_i ^B(x,y)代表待融合的可见光子带图像。

6.根据权利要求2至5任一所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤1)中，所述非下采样金字塔滤波器组NSPFB的图像分解尺度层数为3；所述非下采样方向滤波器组NSDFB的方向分解级数为3。

7.根据权利要求4所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤2.6)中，所述窗口局部能量融合规则采用的窗口大小为3×3或5×5。

8.根据权利要求7所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤2.1)中，所述数量为10000张；所述预定比例为4:1。

Images