CN114648479A - 一种夜间使用的红外与相机信息分层融合方法和系统 - Google Patents

Abstract

本发明涉及一种夜间使用的红外与相机信息分层融合方法和系统，属于信息融合技术领域。本发明提供的夜间使用的红外与相机信息分层融合方法，通过采用包含有共享子层的信息分层融合模型，能够显著减少信息分层融合模型的参量，缩减信息分层融合模型的运算资源和存储空间，进而能够提高信息的融合效率。

Description

一种夜间使用的红外与相机信息分层融合方法和系统

技术领域

本发明涉及信息融合处理技术领域，特别是涉及一种夜间使用的红外与相机信息分层融合方法和系统。

背景技术

相机可以很好的提取图像的细节和纹理特征，但是在夜间较暗环境下会产生信息损失。红外信息在夜间可以很好的捕获信息，从而对相机进行信息补偿。两者的融合可以很好的在夜间对于环境进行感知。端到端的网络近些年在计算机视觉中获得了很好的性能表现，但网络复杂度的提升也带来了复杂的模型，带来了诸如高额存储空间、大量计算资源，难以落地到各个硬件平台等问题，而且复杂的网络不利于网络的训练，增加模型训练的时间，增加部署的时间成本。

发明内容

本发明的目的是提供一种夜间使用的红外与相机信息分层融合方法和系统，能够提高融合效率。

为实现上述目的，本发明提供了如下方案：

一种夜间使用的红外与相机信息分层融合方法，包括：

步骤100：构建信息分层融合模型；所述信息分层融合模型包括：编码器、融合层和解码器；所述编码器包括卷积滤波器和深度块网络；所述解码器包括多个依次级联的卷积层；所述编码器和所述解码器中均设置有共享子层；所述卷积滤波器与所述深度块网络连接；所述深度块网络与所述融合层连接；所述融合层与所述解码器中的第一个卷积层连接；所述编码器中的卷积滤波器由共享子层和卷积核原子间进行矩阵乘法得到；所述解码器也包括卷积滤波器；所述解码器中的卷积滤波器也由共享子层和卷积核原子间进行矩阵乘法得到；其中，假如传统的卷积滤波器K，带有一堆大小为W×H的C _in ×C _out 卷积核，将卷积滤波器K分解成一个共享子层S，并采用卷积核原子A进行线性化处理；共享子层S和卷积核原子A之间的矩阵乘法可以得到卷积滤波器K；则解码器和编码器中的卷积运算Y描述为如下公式：

Y=K*X，K=A*S；

其中，卷积运算Y有C _out -通道，卷积运算Y来自卷积滤波器K和C _in -通道X之间的卷积运算；卷积滤波器K被分解为共享子层S和卷积核原子A；基于此，卷积操作分解为两个步骤：

步骤1、卷积核原子A的空间卷积为Z：Z=A*X，Z∈R^K×W×H；

步骤2、将空间卷积Z替换共享子层S，则原卷积的分解结合了空间卷积Z和卷积核原子A，并且Y=A*Z；

步骤101：获取训练样本数据集，并采用所述训练样本数据集训练所述信息分层融合模型，得到训练好的信息分层融合模型；

步骤102：获取夜间的红外图像和可见光图像；

步骤103：将所述红外图像和所述可见光图像输入至所述训练好的信息分层融合模型中，得到融合后的灰度图像。

优选地，所述卷积滤波器包含3×3卷积核。

优选地，所述深度块网络包括多个卷积层；每一卷积层的通道数为m。

优选地，m=16。

优选地，所述共享子层为一个三维向量。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的夜间使用的红外与相机信息分层融合方法，通过采用包含有共享子层的信息分层融合模型，能够显著减少信息分层融合模型的参量，缩减信息分层融合模型的运算资源和存储空间，进而能够提高信息的融合效率。

对应于上述提供的夜间使用的红外与相机信息分层融合方法，本发明还提供了一种夜间使用的红外与相机信息分层融合系统，该系统包括：

模型构建模块，用于构建信息分层融合模型；所述信息分层融合模型包括：编码器、融合层和解码器；所述编码器包括卷积滤波器和深度块网络；所述解码器包括多个依次级联的卷积层；所述编码器和所述解码器中均设置有共享子层；所述卷积滤波器与所述深度块网络连接；所述深度块网络与所述融合层连接；所述融合层与所述解码器中的第一个卷积层连接；所述编码器中的卷积滤波器由共享子层和卷积核原子间进行矩阵乘法得到；所述解码器也包括卷积滤波器；所述解码器中的卷积滤波器也由共享子层和卷积核原子间进行矩阵乘法得到；其中，假如传统的卷积滤波器K，带有一堆大小为W×H的C _in ×C _out 卷积核，将卷积滤波器K分解成一个共享子层S，并采用卷积核原子A进行线性化处理；共享子层S和卷积核原子A之间的矩阵乘法可以得到卷积滤波器K；则解码器和编码器中的卷积运算Y描述为如下公式：

Y=K*X，K=A*S；

其中，卷积运算Y有C _out -通道，卷积运算Y来自卷积滤波器K和C _in -通道X之间的卷积运算；卷积滤波器K被分解为共享子层S和卷积核原子A；基于此，卷积操作分解为两个步骤：

步骤1、卷积核原子A的空间卷积为Z：Z=A*X，Z∈R^K×W×H；

步骤2、将空间卷积Z替换共享子层S，则原卷积的分解结合了空间卷积Z和卷积核原子A，并且Y=A*Z；

数据获取模块，用于获取训练样本数据集，并采用所述训练样本数据集训练所述信息分层融合模型，得到训练好的信息分层融合模型；

图像获取模块，用于获取夜间的红外图像和可见光图像；

图像融合模块，用于将所述红外图像和所述可见光图像输入至所述训练好的信息分层融合模型中，得到融合后的灰度图像。

因本发明提供的夜间使用的红外与相机信息分层融合系统达到的技术效果与上述提供的夜间使用的红外与相机信息分层融合方法达到的技术效果相同，故在此不再进行赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的夜间使用的红外与相机信息分层融合方法的流程图；

图2为本发明实施例提供的信息分层融合模型的结构示意图；

图3为本发明实施例提供的融合层的结构示意图；

图4为本发明实施例提供的共享子层的结构示意图；

图5为本发明提供的夜间使用的红外与相机信息分层融合系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种夜间使用的红外与相机信息分层融合方法和系统，能够提高融合效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的夜间使用的红外与相机信息分层融合方法，包括：

步骤100：构建信息分层融合模型。如图2所示，信息分层融合模型包括：编码器、融合层和解码器。其中，编码器包括卷积滤波器C1和深度块网络DenseBlock。例如，在构建过程中，设置卷积滤波器C1包含3×3卷积核，设置卷积滤波器的大小和步幅分别为3×3和1，以提取图像的粗糙特征，且设置深度块网络DenseBlock包含3×3卷积核和三个卷积层，并且，每层的卷积层的输出级联为其他卷积层的输入，以实现填充输入图像的目的。.编码器的以上体系结构具有两个优点：首先，将卷积滤波器的大小和步幅分别设置为3×3和1，可以在输入图像为任何大小时，均能确保特征提取的精确度。其次，深度块网络结构可以在编码器中尽可能地保留深度特征，并且该操作可以确保在融合策略中使用所有显着特征。并且，将解码器设置为包括多个卷积层，例如，解码器中的卷积层个数设置为4个，卷积核也是3×3。在本发明中，融合层的输出将是解码器的输入，使用这种简单有效的架构来重建最终的融合图像。

如表1所示，给出了编码器和解码器的具体结构，表1中，DC为深度块网络DenseBlock，可以细分为三层DC1、DC2及DC3。D为解码器，可以细分为四层D1、D2、D3和D4。

而为了压缩信息分层融合模型，本发明设置了共享子层。下面以一个传统的卷积滤波器为例，对本发明设置共享子层的具体过程进行说明：

假如传统的卷积滤波器K，带有一堆大小为W×H的C _in ×C _out 卷积核，可以分解成一个共享子层S，用卷积核原子A进行线性化处理，如图4所示。共享子层S和卷积核原子A之间的矩阵乘法可以得到卷积滤波器K。这样，卷积运算Y可以描述为如下公式：

Y=K*X，K=A*S

其中，卷积运算Y有C _out -通道，它来自卷积滤波器K和C _in -通道X之间的卷积运算，K∈R ^{Cin×Cout×W×H}。卷积滤波器K被分解为共享子层S，S∈R ^Cin×Cout×K和卷积核原子A，A∈R^K×W×H。由于卷积和张量乘法是可交换的，所以常规的卷积操作可以分解为两个步骤：

步骤1、卷积核原子A的空间卷积为Z：Z=A*X，Z∈R^K×W×H。

步骤2、将空间卷积Z替换共享子层S，则原卷积的分解结合了空间卷积Z和卷积核原子A，并且Y=A*Z，Y∈R ^Cout×W×H。

在本发明中共享子层S为一个三维向量，例如，3×3×16，则对应层的三维卷积核原子A的结构如表2。此方式可以减少近一半的参数量。

本发明采用常见的融合方法进行融合层的设置，例如，选择加法策略和L1-norm策略来组合由编码器获得的显着特征图，如图3所示。在本发明构建的信息分层融合模型中，m∈{1,2,...,M}，W=64，表示要素图的数量。k≥2，k表示从输入图像获得的特征映射的索引，加法策略由方程为：

，i=1,2，...，k，

其中，(x，y)表示要素图和融合要素图中的对应位置。然后f ^m 将成为解码器的输入，最终融合图像将由解码器重建。

特征映射由

表示，活动级别映射

将由L1-norm和基于块的平均运算符计算，f ^m 仍表示融合的特征映射，初始活动水平图C _i 为：

然后利用基于块的平均运算符来计算最终活动水平图p ^m （x,y）如下：

其中，r=1。

则总的输出output为加法和L1-norm的和，如下：

。

步骤101：获取训练样本数据集，并采用训练样本数据集训练信息分层融合模型，得到训练好的信息分层融合模型。在训练阶段，像素损耗和SSIM损耗作为损失函数。本发明使用公开数据集MS-COCO作为输入图像。在这些源图像中，大约79000个图像用作输入图像，1000个图像用于验证每次迭代中的重建能力。本发明构建的信息分层融合模型在最初的2000次迭代中随着SSIM损失权重λ的数值指数的增加而快速收敛，λ代表SSIM和像素损耗的比值。当λ增加时，SSIM损失在训练阶段起着更重要的作用，最终λ设为le-1。

在训练得到训练好的信息分层融合模型之后，在实际操作过程中，还需要进行测试验证，在测试过程中，首先采用公开数据集MS-COCO进行测试，来检测融合能力。此外，为了探索在交通道路上的融合性能，本发明使用公开数据集RoadScene进行测试，这个数据集有照相机采集的可见光图像以及对齐的红外图像以便于进行融合测试，图像融合利用MS-SSIM来作为评判标准，并且值越大效果越好。当λ=le-1时，训练好的信息分层融合模型可以得到0.89的MS-SSIM。

同时由于设置的共享子层可以减少模型的模型复杂度，参数量从58.4M减少到25.1M，减少近一般的参数量。当将该信息分层融合模型部署在车辆上时，可以有效减少模型的前向推理时间，从而加快对于周围环境的感知能力。

步骤102：获取夜间的红外图像和可见光图像。

步骤103：将红外图像和可见光图像输入至训练好的信息分层融合模型中，得到融合后的灰度图像。

此外，对应于上述提供的夜间使用的红外与相机信息分层融合方法，本发明还提供了一种夜间使用的红外与相机信息分层融合系统，如图5所示，该系统包括：模型构建模块1、数据获取模块2、图像获取模块3和图像融合模块4。

其中，模型构建模块1用于构建信息分层融合模型。数据获取模块2用于获取训练样本数据集，并采用训练样本数据集训练信息分层融合模型，得到训练好的信息分层融合模型。图像获取模块3用于获取夜间的红外图像和可见光图像。图像融合模块4用于将红外图像和可见光图像输入至训练好的信息分层融合模型中，得到融合后的灰度图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种夜间使用的红外与相机信息分层融合方法，其特征在于，包括：

步骤100：构建信息分层融合模型；所述信息分层融合模型包括：编码器、融合层和解码器；所述编码器包括卷积滤波器和深度块网络；所述解码器包括多个依次级联的卷积层；所述编码器和所述解码器中均设置有共享子层；所述卷积滤波器与所述深度块网络连接；所述深度块网络与所述融合层连接；所述融合层与所述解码器中的第一个卷积层连接；所述编码器中的卷积滤波器由共享子层和卷积核原子间进行矩阵乘法得到；所述解码器也包括卷积滤波器；所述解码器中的卷积滤波器也由共享子层和卷积核原子间进行矩阵乘法得到；其中，假如传统的卷积滤波器K，带有一堆大小为W×H的C _in ×C _out 卷积核，将卷积滤波器K分解成一个共享子层S，并采用卷积核原子A进行线性化处理；共享子层S和卷积核原子A之间的矩阵乘法可以得到卷积滤波器K；则解码器和编码器中的卷积运算Y描述为如下公式：

Y=K*X，K=A*S；

其中，卷积运算Y有C _out -通道，卷积运算Y来自卷积滤波器K和C _in -通道X之间的卷积运算；卷积滤波器K被分解为共享子层S和卷积核原子A；基于此，卷积操作分解为两个步骤：

步骤1、卷积核原子A的空间卷积为Z：Z=A*X，Z∈R^K×W×H；

步骤2、将空间卷积Z替换共享子层S，则原卷积的分解结合了空间卷积Z和卷积核原子A，并且Y=A*Z；

步骤101：获取训练样本数据集，并采用所述训练样本数据集训练所述信息分层融合模型，得到训练好的信息分层融合模型；

步骤102：获取夜间的红外图像和可见光图像；

步骤103：将所述红外图像和所述可见光图像输入至所述训练好的信息分层融合模型中，得到融合后的灰度图像。

2.根据权利要求1所述的夜间使用的红外与相机信息分层融合方法，其特征在于，所述卷积滤波器包含3×3卷积核。

3.根据权利要求1所述的夜间使用的红外与相机信息分层融合方法，其特征在于，所述深度块网络包括多个卷积层；每一卷积层的通道数为m。

4.根据权利要求3所述的夜间使用的红外与相机信息分层融合方法，其特征在于，m=16。

5.根据权利要求1所述的夜间使用的红外与相机信息分层融合方法，其特征在于，所述共享子层为一个三维向量。

6.一种夜间使用的红外与相机信息分层融合系统，其特征在于，包括：

模型构建模块，用于构建信息分层融合模型；所述信息分层融合模型包括：编码器、融合层和解码器；所述编码器包括卷积滤波器和深度块网络；所述解码器包括多个依次级联的卷积层；所述编码器和所述解码器中均设置有共享子层；所述卷积滤波器与所述深度块网络连接；所述深度块网络与所述融合层连接；所述融合层与所述解码器中的第一个卷积层连接；所述编码器中的卷积滤波器由共享子层和卷积核原子间进行矩阵乘法得到；所述解码器也包括卷积滤波器；所述解码器中的卷积滤波器也由共享子层和卷积核原子间进行矩阵乘法得到；其中，假如传统的卷积滤波器K，带有一堆大小为W×H的C _in ×C _out 卷积核，将卷积滤波器K分解成一个共享子层S，并采用卷积核原子A进行线性化处理；共享子层S和卷积核原子A之间的矩阵乘法可以得到卷积滤波器K；则解码器和编码器中的卷积运算Y描述为如下公式：

Y=K*X，K=A*S；

其中，卷积运算Y有C _out -通道，卷积运算Y来自卷积滤波器K和C _in -通道X之间的卷积运算；卷积滤波器K被分解为共享子层S和卷积核原子A；基于此，卷积操作分解为两个步骤：

步骤1、卷积核原子A的空间卷积为Z：Z=A*X，Z∈R^K×W×H；

步骤2、将空间卷积Z替换共享子层S，则原卷积的分解结合了空间卷积Z和卷积核原子A，并且Y=A*Z；

数据获取模块，用于获取训练样本数据集，并采用所述训练样本数据集训练所述信息分层融合模型，得到训练好的信息分层融合模型；

图像获取模块，用于获取夜间的红外图像和可见光图像；

图像融合模块，用于将所述红外图像和所述可见光图像输入至所述训练好的信息分层融合模型中，得到融合后的灰度图像。

Images