CN112668648A - 基于对称融合网络的红外可见光融合识别方法 - Google Patents

Abstract

本发明公开了一种基于对称融合网络的红外和可见光船只精确识别方法，对已有的红外图像和可见光图像数据集分别进行图像各自深层特征提取，获得红外图像特征图和可见光图像特征图；分别对红外图像特征图和可见图光像特征图进行张量拼接和特征融合，获得红外融合图像和可见光融合图像；根据权重偏移系数调整红外融合图像和可见光融合图像中红外和可见光的特征比例，获得最终的检测识别结果。本发明设计自适应权值分配模块，引入注意力机制，对提取到的特征进行了权值分配，提升精度。

Description

基于对称融合网络的红外可见光融合识别方法

技术领域

本发明属于红外可见光融合识别领域，具体涉及一种基于对称融 合网络的红外可见光融合识别方法。

背景技术

单波段目标特征表达能力有限，为实现全天时的船只目标智能化 识别，本报告利用可见光图像在白天能见度较高的成像条件下，图像 分辨率较高；而光照条件不足的条件下，利用红外图像自身和背景温 差成像方式可得到较为清晰的目标图像，本报告提出了一种对称融合 网络结构实现不同波段的特征级融合识别。

现阶段对红外和可见光图像信息综合处理主要运用在三个阶段， 即基于像素级的融合、特征级融合和决策级的融合。基于像素级的融 合是直接对每张图像的像素点进行综合处理的过程。该种方法尽可能 多地保留原图像中的信息，使融合后的图像在内容和细节上都有较大 的提高。然而数据未经处理，不同传感器之间获得的原始图像信息的 优缺点会叠加，容易受到噪声的污染；另外在进行后续数据处理中， 信息量较大。如：基于非多尺度变化的方法、基于像素极大值法等。

基于特征级融合是将原始图像经过特征提取和整合分析以后得 到的特征属性重组的过程，从而为后续的目标检测和识别奠定基础。 融合手段多种多样，利用神经网络将多通道输入经过非线性变化得到 一个多维特征张量，这样的变换产生一个端对端的数据映射模型，然 后利用张量拼接或加权平均都可以把多源数据变换为单个数据。与基 于像素级融合方式相比，特征级融合方式极大的降低了数据维度，减 少处理过程中内存和时间消耗，而且特征级融合原始图像的匹配精度 的要求较低，但以提取图像特征作为融合基础，会丢失目标部分细节。

发明内容

鉴于此，本发明的主要目的在于提供一种基于对称融合网络的红 外可见光融合识别方法。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于对称融合网络的红外和可见光船只 精确识别方法，该方法为：

对已有的红外图像和可见光图像数据集分别进行图像各自深层 特征提取，获得红外图像特征图和可见光图像特征图；

分别对红外图像特征图和可见图光像特征图进行张量拼接和特 征融合，获得红外融合图像和可见光融合图像；

根据权重偏移系数调整红外融合图像和可见光融合图像中红外 和可见光的特征比例，获得最终的检测识别结果。

上述方案中，所述对已有的红外图像和可见光图像数据集分别进 行图像各自深层特征提取，获得红外图像特征图和可见光图像特征图， 具体为：由五个独立的Block卷积模块和RPN构成双流特征提取模块， Block2包括大小为1×1×64、3×3×64和1×1×256组成的卷积核； Block3包括大小为1×1×128、3×3×128和1×1×512组成的卷积 核；Block4包括大小为1×1×256、3×3×256和1×1×1024组成 的卷积核；Block5包括大小为1×1×512、3×3×512和1×1×2048 组成的卷积核，Block卷积之间采用类似于残差结构跳跃连接进行红 外和可见光的特征提取。

上述方案中，所述对已有的红外图像和可见光图像数据集分别进 行图像各自深层特征提取，获得红外图像特征图和可见光图像特征图 之后，该方法还包括：利用RPN结构实现基于融合特征船只目标的回 归和分类，每个RPN建立在第五层卷积子模块之上，当回归层提供建 议的位置时，分类层给出评分，利用anchor机制，为每个anchor分 配9种不同的比例，每个RPN在输入特征图上可生成441个建议，所 有的建议区域经过softmax分类和logistic回归后得到红外和可见 光的目标分类和定位得分。

上述方案中，分别对红外图像特征图和可见图光像特征图进行张 量拼接和特征融合，获得红外融合图像和可见光融合图像，具体为： 一对红外融合图像和可见光融合图像被传递到前五个卷积层，然后对 两个通道的特征映射进行融合，通过张量拼接生成红外和可见光的双 流特征，获得红外融合图像和可见光融合图像。

上述方案中，所述根据权重偏移系数调整红外融合图像和可见光 融合图像中红外和可见光的特征比例，获得最终的检测识别结果，具 体为：自适应注意力权值分配模块将通道特征作为N维向量输入通过 f(x)转置和g(x)矩阵乘得到S矩阵，S矩阵能表达各像素点之间的相 关性，将S矩阵逐行用Softmax归一化得到B矩阵，每行代表一种注 意力方式，将这N种注意力方式应用到h(x)上，即每个像素点都与 特征图相关，通过线性关系，将系数初始化为0，然后自适应的给生 成器和判别器模型分配更多的权重，最后使用交替训练的方式最小化 对抗损失，最终输出权重偏移系数ω。

上述方案中，在对称融合网络中损失函数是由偏置损失和检测损 失两部分组成，D-cls和N-cls分别计算可见光子路和红外子路的分 类得分，D-box和N-box分别生成可见光子路和红外子路的预目标边 界框，这些子网络的输出通过自适应权重分配模块中计算的权重偏移 系数进行组合，产生最终的检测结果。

上述方案中，所述自适应权值分配模块的最后一层为Softmax函 数，输出一个长度为二的一维向量，代表着红外和可见光子路中模型 预测结果中占有的比例，偏置损失可定义为：

其中，ω₁和ω₂是可见光子网络和红外子网络的预测权重值，其中 ω₂＝1-ω₁，

和

是可见光和红外对应的偏移标签，其中

如果训练图像是在能见度较好条件下拍摄的，则设

为1，否则设

为0。

上述方案中，所述双流特征提取模块的最后一层为分类和回归层， 输出一个长度为n+4n(n目标种类数)的一维向量，代表着模型在原 始输入中的位置和类别，检测损失L_D定义为：

其中，L_D是分类损失L_f和回归损失L_b的组合，

定义了它们之 间的正则化参数，H定义了一个小批量的训练样本集，如果训练样本 与一个目标真实边界框的交并比大于0.5，则认为训练样本为正，否 则为负，将训练标签为正样本时设置

负样本设置为

对于 每个正样本，利用真实边界框

计算与预测边界框回归损失，分类损 失L_f可表示为：

回归损失L_b可表示为：

其中，c_i和b_i分别表示模型预测的分类得分和目标边界框，以学 习b_i和

之间的变换映射，在对称融合网络中，c_i是计算为可见光路 分类得分c₁和红外路分类得分c₂的加权和，c_i可表示为：

c_i＝ω·c₁+(1-ω)·c₂

(5)

b_i是由模型预测的可见光路位置回归得分b₁和红外路位置回归得 分b₂的加权和，bi可表示为：

b_i＝ω·b₁+(1-ω)·b₂

(6)

所以对称融合网络的总的损失函数L_all可定义为：

L_all＝L_w+L_D (7)。

与现有技术相比，本发明的有益效果：

(1)本发明设计自适应权值分配模块，引入注意力机制，对提 取到的特征进行了权值分配，提升精度；

(2)更换了损失函数，精度有所提升。

附图说明

图1为本发明的流程图；

图2为本发明的基于对称融合网络结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种基于对称融合网络的红外和可见光船只 精确识别方法，该方法为：对已有的红外图像和可见光图像数据集分 别进行图像各自深层特征提取，获得红外图像特征图和可见光图像特 征图；

分别对红外图像特征图和可见图光像特征图进行张量拼接和特 征融合，获得红外融合图像和可见光融合图像；

根据权重偏移系数调整红外融合图像和可见光融合图像中红外 和可见光的特征比例，获得最终的检测识别结果。

本发明实施例提供一种基于对称融合网络的红外和可见光船只 精确识别方法，如图1所示，该方法具体通过以下步骤实现：

步骤101：首先将红外和可见光图像分别输入到双流特征提取模 块中，完成红外和可见光的低层和高层的特征提取。

具体地，以五个独立的Block卷积模块和RPN结构组成双流特征提取模块。 Block1包括大小为7×7×64的卷积核；Block2包括大小为1×1×64、3×3× 64和1×1×256组成的卷积核；Block3包括大小为1×1×128、3×3×128和 1×1×512组成的卷积核；Block4包括大小为1×1×256、3×3×256和1×1 ×1024组成的卷积核；Block5包括大小为1×1×512、3×3×512和1×1×2048 组成的卷积核，这些Block之间采用残差结构跳跃连接，来提升网络的深度。 两个子网络可单独实现红外和可见光的特征提取。

步骤102：经过张量拼接以后，利用RPN结构实现基于融合特征 船只目标的回归和分类。

具体地，假设输入图像的分辨率为224×224，经过特征提取结 构作用后，输出特征图表示7×7；利用anchor机制，为每个anchor 分配9种不同的比例，每个RPN在输入特征图上可生成441个建议； 所有的建议区域经过softmax分类和logistic回归后得到红外和可 见光的目标分类score和定位score。

步骤103：通过自适应权值分配模块计算权重偏移系数，确定不 同场景下的红外和可见光的决策的权重比例。

具体地，自适应注意力权值分配模块引入自注意力机制的生成对 抗网络，生成器与判别器能够有效构建各个区域之间的关系。f(x)、 g(x)和h(x)都是普通的1×1卷积，将f(x)的输出转置，并和g(x) 的输出相乘，再经过softmax归一化得到一个注意力特征图，再将注 意力特征图和h(x)逐像素点相乘，得到自适应的注意力特征图。

一对可见光和红外图像被传递到前五个卷积层，然后对两个通道 的特征映射进行融合，通过张量拼接生成红外和可见光的双流特征。 自适应注意力权值分配模块将通道特征作为N维向量输入通过f(x) 转置和g(x)矩阵乘得到S矩阵，S矩阵能表达各像素点之间的相关性。 将S矩阵逐行用Softmax归一化得到B矩阵，每行代表一种注意力方 式，将这N种注意力方式应用到h(x)上，即每个像素点都与特征图 相关，通过线性关系，将系数初始化为0，然后自适应的给生成器和 判别器模型分配更多的权重，最后使用交替训练的方式最小化对抗损 失，最终输出权重偏移系数ω。

步骤104：调整对称融合网络的损失函数。

具体地，对称融合网络的损失函数由偏置损失和检测损失两部分 组成。D-cls和N-cls分别计算可见光子路和红外子路的分类得分， D-box和N-box分别生成可见光子路和红外子路的预目标边界框。这 些子网络的输出通过自适应权重分配模块中计算的权重偏移系数进 行组合，产生最终的检测结果。

自适应权值分配模块的最后一层为Softmax函数，输出一个长度 为二的一维向量，代表着红外和可见光子路中模型预测结果中占有的 比例。偏置损失可定义为：

其中，ω₁和ω₂是可见光子网络和红外子网络的预测权重值，其中 ω₂＝1-ω₁。

和

是可见光和红外对应的偏移标签，其中

如果训练图像是在能见度较好条件下拍摄的，则设

为1，否则设

为0。

双流特征提取模块最后一层为分类和回归层，输出一个长度为 n+4n(n目标种类数)的一维向量，代表着模型在原始输入中的位置 和类别。检测损失L_D定义为：

其中，L_D是分类损失L_f和回归损失L_b的组合，

定义了它们之 间的正则化参数。H定义了一个小批量的训练样本集。如果训练样本 与一个目标真实边界框的交并比大于0.5，则认为训练样本为正，否 则为负。将训练标签为正样本时设置

负样本设置为

对于 每个正样本，利用真实边界框

计算与预测边界框回归损失。分类损 失L_f可表示为：

回归损失L_b可表示为：

其中，c_i和b_i分别表示模型预测的分类得分和目标边界框。以学 习b_i和

之间的变换映射。在对称融合网络中，c_i是计算为可见光路 分类得分c₁和红外路分类得分c₂的加权和。c_i可表示为：

c_i＝ω·c₁+(1-ω)·c₂

(5)

b_i是由模型预测的可见光路位置回归得分b₁和红外路位置回归得 分b₂的加权和。bi可表示为：

b_i＝ω·b₁+(1-ω)·b₂

(6)

所以对称融合网络的总的损失函数L_all可定义为：

L_all＝L_w+L_D (7)

通过上述的自适应权值分配模块和双流特征提取模块互相作用， 在能见度较高的情况下，可见光子网络产生的结果(分类和回归)将 优先学习与目标相关的特征，对最终的分类和回归结果产生较大的影 响；另一方面，当目标有阴影遮挡或光线较暗的情况下，利用红外子 网络产生的多光谱特征图，在能见度较低的条件下产生可靠的检测识 别结果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明 的保护范围。

Claims (8)

1.一种基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，该方法为：

对已有的红外图像和可见光图像数据集分别进行图像各自深层特征提取，获得红外图像特征图和可见光图像特征图；

分别对红外图像特征图和可见图光像特征图进行张量拼接和特征融合，获得红外融合图像和可见光融合图像；

根据权重偏移系数调整红外融合图像和可见光融合图像中红外和可见光的特征比例，获得最终的检测识别结果。

2.根据权利要求1所述的一种基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，所述对已有的红外图像和可见光图像数据集分别进行图像各自深层特征提取，获得红外图像特征图和可见光图像特征图，具体为：由五个独立的Block卷积模块和RPN构成双流特征提取模块，Block2包括大小为1×1×64、3×3×64和1×1×256组成的卷积核；Block3包括大小为1×1×128、3×3×128和1×1×512组成的卷积核；Block4包括大小为1×1×256、3×3×256和1×1×1024组成的卷积核；Block5包括大小为1×1×512、3×3×512和1×1×2048组成的卷积核，Block卷积之间采用类似于残差结构跳跃连接进行红外和可见光的特征提取。

3.根据权利要求1或2所述的基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，所述对已有的红外图像和可见光图像数据集分别进行图像各自深层特征提取，获得红外图像特征图和可见光图像特征图之后，该方法还包括：利用RPN结构实现基于融合特征船只目标的回归和分类，每个RPN建立在第五层卷积子模块之上，当回归层提供建议的位置时，分类层给出评分，利用anchor机制，为每个anchor分配9种不同的比例，每个RPN在输入特征图上可生成441个建议，所有的建议区域经过softmax分类和logistic回归后得到红外和可见光的目标分类和定位得分。

4.根据权利要求3所述的基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，分别对红外图像特征图和可见图光像特征图进行张量拼接和特征融合，获得红外融合图像和可见光融合图像，具体为：一对红外融合图像和可见光融合图像被传递到前五个卷积层，然后对两个通道的特征映射进行融合，通过张量拼接生成红外和可见光的双流特征，获得红外融合图像和可见光融合图像。

5.根据权利要求4所述的基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，所述根据权重偏移系数调整红外融合图像和可见光融合图像中红外和可见光的特征比例，获得最终的检测识别结果，具体为：自适应注意力权值分配模块将通道特征作为N维向量输入通过f(x)转置和g(x)矩阵乘得到S矩阵，S矩阵能表达各像素点之间的相关性，将S矩阵逐行用Softmax归一化得到B矩阵，每行代表一种注意力方式，将这N种注意力方式应用到h(x)上，即每个像素点都与特征图相关，通过线性关系，将系数初始化为0，然后自适应的给生成器和判别器模型分配更多的权重，最后使用交替训练的方式最小化对抗损失，最终输出权重偏移系数ω。

6.根据权利要求5所述的基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，在对称融合网络中损失函数是由偏置损失和检测损失两部分组成，D-cls和N-cls分别计算可见光子路和红外子路的分类得分，D-box和N-box分别生成可见光子路和红外子路的预目标边界框，这些子网络的输出通过自适应权重分配模块中计算的权重偏移系数进行组合，产生最终的检测结果。

7.根据权利要求6所述的基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，所述自适应权值分配模块的最后一层为Softmax函数，输出一个长度为二的一维向量，代表着红外和可见光子路中模型预测结果中占有的比例，偏置损失可定义为：

其中，ω₁和ω₂是可见光子网络和红外子网络的预测权重值，其中ω₂＝1-ω₁，

和

是可见光和红外对应的偏移标签，其中

如果训练图像是在能见度较好条件下拍摄的，则设

为1，否则设

为0。

8.根据权利要求7所述的基于对称融合网络的红外和可见光船只精确识别方法，其特征在于，所述双流特征提取模块的最后一层为分类和回归层，输出一个长度为n+4n(n目标种类数)的一维向量，代表着模型在原始输入中的位置和类别，检测损失L_D定义为：

其中，L_D是分类损失L_f和回归损失L_b的组合，

定义了它们之间的正则化参数，H定义了一个小批量的训练样本集，如果训练样本与一个目标真实边界框的交并比大于0.5，则认为训练样本为正，否则为负，将训练标签为正样本时设置

负样本设置为

对于每个正样本，利用真实边界框

计算与预测边界框回归损失，分类损失L_f可表示为：

回归损失L_b可表示为：

其中，c_i和b_i分别表示模型预测的分类得分和目标边界框，以学习b_i和

之间的变换映射，在对称融合网络中，c_i是计算为可见光路分类得分c₁和红外路分类得分c₂的加权和，c_i可表示为：

c_i＝ω·c₁+(1-ω)·c₂

(5)

b_i是由模型预测的可见光路位置回归得分b₁和红外路位置回归得分b₂的加权和，bi可表示为：

b_i＝ω·b₁+(1-ω)·b₂

(6)

所以对称融合网络的总的损失函数L_all可定义为：

L_all＝L_w+L_D (7)。

Images