CN115578246B - 基于风格迁移的非对齐可见光和红外模态融合目标检测方法 - Google Patents

Abstract

该发明公开了一种基于风格迁移的非对齐可见光和红外模态融合目标检测方法，属于多模态目标检测领域。本发明充分考虑可见光和红外图像不对齐的问题，采用一个可学习的仿射变换网络，对红外模态作仿射变换，实现模态间特征对齐，有效的提升模态融合的效果。本发明中采用一个可学习的仿射变换模块LATM(learning affine transform moduel)来进行特征对齐，采用一个风格迁移融合模块来进行模态间特征融合，本发明可以有效地应对非对齐的可见光和红外图像融合目标检测任务。

Description

基于风格迁移的非对齐可见光和红外模态融合目标检测方法

技术领域

本发明属于多模态目标检测领域，尤其涉及一种基于风格迁移的非对齐可见光和红外模态融合目标检测方法。

背景技术

为了应对现实中各种复杂检测场景，单传感器目标检测系统已难以满足实际检测需求，采用多传感器的多模态目标检测系统成为实际工程应用中的主流，比如自动驾驶汽车等。多模态融合的目标检测方法在计算机视觉研究和实际工程应用中具有重要的意义。

常用的摄像头属于可见光波段，在光线良好的情况下能够捕捉到较好的环境信息，但是在雨雾天气或者晚上检测能力会急剧退化。而红外利用热效应，在光照较低的情况下具有较好的检测性能，与可见光传感器能达成优势互补。因此，可见光和红外模态融合目标检测在应对现实环境中具有更好的鲁棒性。

在现有的可见光和红外多模态融合目标检测技术中，如CFT和GAFF方法，他们都通过各模态特征提取网络提取特征，然后在特征层面将多模态进行融合，但是都没有考虑到两种模态具有不同的风格属性，没有进行风格统一，导致不能有效的融合多模态信息；另外，在实际应用中，多传感器由于安装的物理误差以及传感器退化等因素，通常从不同传感器取得的成对可见光和红外图像在像素级是非对齐的，现有的方法没有考虑非对齐因素，导致融合的可能是错误的信息。因此，基于风格迁移的非对齐可见光和红外模态融合目标检测方法具有重要的意义。

发明内容

本发明的目的在于解决以下技术问题：

其一，现有的可见光和红外多模态融合目标检测方法没有考虑到可见光和红外图像属于不同的域，具有不同的风格，导致特征融合结果并不利于目标检测任务。本发明采用风格迁移将两种模态的特征转换到一个新的风格上，既实现了模态间风格一致化，又将其转换到一个更有利于目标检测任务的新风格上，有效的提升目标检测指标；

其二，现有的可见光和红外多模态融合目标检测方法没有考虑到传感器的位置误差以及传感器退化所导致的模态间图像不对齐的问题，这样进行特征融合实际上是将不对应的信息进行了融合，结果是错误的，这样针对目标检测任务采用多种模态反而是负增长。本发明充分考虑可见光和红外图像不对齐的问题，采用一个可学习的仿射变换网络，对红外模态作仿射变换，实现模态间特征对齐，有效的提升模态融合的效果。

本发明技术方案为基于风格迁移的非对齐可见光和红外模态融合目标检测方法，该方法包括：

步骤1、将可见光图像img_v和非对齐红外图像img_I分别输入各自的特征提取模块h_i和得到八分之一下采样的可见光特征f_v1和红外特征f_I1，具体公式如下：

(f_v1,f_I1)＝DS(SiLu(BN(conv(img_v,img_I))))#n (0.1)

式中，DS表示下采样，SiLu表示激活函数，BN表示批量标准化，conv表示卷积，#n表示执行了n次，n＝3；

步骤2、由于可见光和红外图像像素级非对齐，采用一个可学习的仿射变换模块LATM对红外模态特征f_I1进行仿射变换得到f′_I1，使其尽可能地与可见光图像特征f_v1在特征空间上实现对齐，有益于后面的模态融合操作，仿射变换的计算公式如下：

式中，x_i,y_i表示像素点仿射变换前的x,y坐标，x′_i,y′_i表示该像素点经过仿射变换后对应的x,y坐标，A_θ表示仿射变换矩阵，θ为的LATM模块生成的仿射变换系数；

步骤3，由于特征f_v1和f′_I1分别来自可见光图像和红外图像，它们具有不同的风格属性，风格属性由特征的均值μ和标准差α表征；为了更好的对两个模态特征进行融合，设计了一个风格迁移融合模块；将可见光特征f_v1和经过仿射变换后的红外特征f′_I1输入风格迁移融合模块，分别对特征去掉原来的风格属性，即减去特征的均值μ除以特征标准差α，这里的操作是采用实例标准化而非批量标准化，即对每一个特征通道进行计算；然后迁移到一个新的统一的风格，即乘上新风格标准差再加上新风格的均值；将可见光特征f_v1和f′_I1输入风格迁移融合模块，最后融合在一起得到融合特征f_fusion1，风格迁移融合模块的具体公式如下：

式中，conv表示卷积操作，用于将融合特征的通道数减少至融合前；concat表示特征拼接操作；μ(f_v1)、α(f_v1)、μ(f′_I1)、α(f′_I1)分别表示图像特征和红外特征的均值、标准差；μ,α是的风格迁移融合网络生成的新风格的均值和方差；

步骤4、将融合的特征f_fusion1分别与融合前的图像特征f_v1、红外特征f_I1执行对应元素相加，得到的结果再分别采用n＝1的公式1.1的方法进行特征提取，分别得到f_v2和f_I2；

步骤5：针对f_v2和f_I2，再依次采用步骤2和步骤3的方法得到f_fusion2；

步骤6：针对f_fusion2，分别与融合前的图像特征f_v2、红外特征f_I2执行对应元素相加，得到的结果再分别采用n＝1的公式1.1的方法进行特征提取，分别得到f_v3和f_I3；再依次采用步骤2和步骤3的方法得到f_fusion3；

步骤7：将f_{fusion 1}、f_fusion2、f_fusion3送入YOLOv5目标检测网络的检测头进行训练，基于风格迁移的非对齐可见光和红外模态融合目标检测方法的总体损失函数如下：

L_total＝L_bbox+L_class+L_object

L_bbox＝1-GIoU

式中，L_total,L_bbox,L_class,L_object分别表示网络总损失、检测框损失、类别损失、目标置信度损失，IoU表示检测框与真实框的交并比，GIoU表示由IoU改进而来的带距离度量的广义交并比，s表示分辨率，B表示批量大小，表示类别标签值，p_i(c)表示类别预测概率，/>表示对象标签，c_i表示对象预测置信度，/>表示该预测为正例时值为1，/>表示该预测为负例时值为1；

步骤8：实际检测时，采用训练好的YOLOv5目标检测网络进行目标检测。

进一步的，所述步骤2中的可学习仿射变换模块LATM的详细方法为：对于输入特征f，首先终止梯度回传并通过多个卷积和多个全连接层计算出仿射变换矩阵θ，然后根据θ得到采样网格，再根据采样网络对f进行重采样；该过程等价于对f按θ作仿射变换；LATM的总的运算公式如下：

其中，fc(·)表示全连接层，Grid(·)根据仿射变换参数生成采样网格即输入输出矩阵的位置坐标映射关系，Sampler(·)根据采样网格Grid对输入特征f进行重采样。

进一步的，所述步骤3中的风格迁移融合模块的详细方法包括：风格生成、去风格化、迁移到新风格，

所述风格生成部分，随机生成一个服从正态分布的向量X作为输入，通过多个全连接层进行编码，生成一个新风格的均值μ和标准差α用于风格迁移；去风格化和迁移到新风格的方法如式(1.3)所示；风格生成不设额外的损失，都采用最终的目标检测损失作为约束，以生成一种有利于目标检测任务的风格。

本发明中采用一个可学习的仿射变换模块LATM(learning affine transformmoduel)来进行特征对齐，采用一个风格迁移融合模块来进行模态间特征融合，本发明可以有效地应对非对齐的可见光和红外图像融合目标检测任务。

附图说明

图1为本发明方法的整体网络结构示意图；

图2为本发明可学习仿射变换模块示意图；

图3为本发明风格迁移融合模块示意图；

图4为本发明具体实施方式实验数据集可视化；

图5为本发明具体实施方式实验结果可视化。

具体实施方式

图1中，h_i和都表示一系列卷积、池化和标准化操作；1/8,1/16,1/32表示下采样倍数；f_vi,f_Ii分别表示在不同下采样倍数取得的可见光图像特征和红外图像特征；f_fusion表示在不同下采样倍数进行模态融合后得到的特征；LATM表示可学习仿射变换模块(learning affine transform moduel)。

在公开数据集M3FD上实施了本专利方法以验证本方案的有效性。

数据集：M3FD数据集是一个包含可见光和红外的街景数据集，共有4200对时空严格对齐的图像，包含行人、小车、公交车、摩托车、路灯、卡车6种类别共34407个目标标签。将其划分为训练集3200对，验证集1000对以进行实验。该数据集可见光和红外图像分辨率均为1024*768。为模拟模态的分辨率和宽高比差异，以可见光图像为基准不变，将红外图像分辨率由原来的1024*768缩放到640*640。同时，为了更逼近真实场景红外图像，采用大小为5、标准差为3的卷积核对红外图像进行高斯滤波以模糊目标对象边缘。进一步，对红外图像进行角度[-2,2]的随机旋转以及水平和纵向像素[-30,30]的随机平移，构建一个非对齐的数据集版本以进行实验。数据集可视化展示如图4。

评价指标：的方案统一采用MS-COCO数据集引入的目标检测指标mAP.5和mAP，该指标也是目前目标检测领域最流行的性能指标。mAP(mean Average Precision)，平均精度均值，即AP(Average Precision)的平均值，mAP值越高，表明该目标检测模型在给定的数据集上的检测效果越好。mAP.5表示IOU阈值设置为0.5时的mAP值，mAP@.5-.95表示IOU阈值从0.5到0.95每隔0.05取10个mAP值的平均。

实验设备及参数：本实验在一台4张RTX3090显卡服务器上进行，批量大小(batch-size)设置为16，图像大小(img-size)设置为1024*1024，学习率设置为0.01，所有模型不使用预训练权重。

实验结果：

表1本专利方案对比验证实验

表中，yolov5、TarDAL、GAFF、CFT均为现有方法，从实验结果可以看到，本专利基于风格迁移的非对齐可见光和红外模态融合目标检测方法相比较于单模态实验结果，以及现有其他融合检测方法，在性能指标上都有较大的提升。实验结果可视化如图5所示，从图中可以看到本融合方案的有更好的检测结果和置信度。该实验验证了本专利的有效性。

Claims (3)

1.基于风格迁移的非对齐可见光和红外模态融合目标检测方法，该方法包括：

步骤1、将可见光图像img_v和非对齐红外图像img_I分别输入各自的特征提取模块h_i和得到八分之一下采样的可见光特征f_v1和红外特征f_I1，具体公式如下：

(f_v1,f_I1)＝DS(SiLu(BN(conv(img_v,img_I))))#n (1.1)

式中，DS表示下采样，SiLu表示激活函数，BN表示批量标准化，conv表示卷积，#n表示执行了n次，n＝3；

步骤2、由于可见光和红外图像像素级非对齐，采用一个可学习的仿射变换模块LATM对红外模态特征f_I1进行仿射变换得到f′_I1，使其尽可能地与可见光图像特征f_v1在特征空间上实现对齐，有益于后面的模态融合操作，仿射变换的计算公式如下：

式中，x_i,y_i表示像素点仿射变换前的x,y坐标，x′_i,y′_i表示该像素点经过仿射变换后对应的x,y坐标，A_θ表示仿射变换矩阵，θ为的LATM模块生成的仿射变换系数；

步骤3，由于特征f_v1和f′_I1分别来自可见光图像和红外图像，它们具有不同的风格属性，风格属性由特征的均值μ和标准差α表征；为了更好的对两个模态特征进行融合，设计了一个风格迁移融合模块；将可见光特征f_v1和经过仿射变换后的红外特征f′_I1输入风格迁移融合模块，分别对特征去掉原来的风格属性，即减去特征的均值μ除以特征标准差α，这里的操作是采用实例标准化而非批量标准化，即对每一个特征通道进行计算；然后迁移到一个新的统一的风格，即乘上新风格标准差再加上新风格的均值；将可见光特征f_v1和f′_I1输入风格迁移融合模块，最后融合在一起得到融合特征f_fusion1，风格迁移融合模块的具体公式如下：

式中，conv表示卷积操作，用于将融合特征的通道数减少至融合前；concat表示特征拼接操作；μ(f_v1)、α(f_v1)、μ(f′_I1)、α(f′_I1)分别表示图像特征和红外特征的均值、标准差；μ,α是的风格迁移融合网络生成的新风格的均值和方差；

步骤4、将融合的特征f_fusion1分别与融合前的图像特征f_v1、红外特征f_I1执行对应元素相加，得到的结果再分别采用n＝1的公式1.1的方法进行特征提取，分别得到f_v2和f_I2；

步骤5：针对f_v2和f_I2，再依次采用步骤2和步骤3的方法得到f_fusion2；

步骤6：针对f_fusion2，分别与融合前的图像特征f_v2、红外特征f_I2执行对应元素相加，得到的结果再分别采用n＝1的公式1.1的方法进行特征提取，分别得到f_v3和f_I3；再依次采用步骤2和步骤3的方法得到f_fusion3；

步骤7：将f_fusion1、f_fusion2、f_fusion3送入YOLOv5目标检测网络的检测头进行训练，基于风格迁移的非对齐可见光和红外模态融合目标检测方法的总体损失函数如下：

式中，L_total,L_bbox,L_class,L_object分别表示网络总损失、检测框损失、类别损失、目标置信度损失，IoU表示检测框与真实框的交并比，GIoU表示由IoU改进而来的带距离度量的广义交并比，s表示分辨率，B表示批量大小，表示类别标签值，p_i(c)表示类别预测概率，/>表示对象标签，c_i表示对象预测置信度，/>表示该预测为正例时值为1，/>表示该预测为负例时值为1；

步骤8：实际检测时，采用训练好的YOLOv5目标检测网络进行目标检测。

2.如权利要求1所述的基于风格迁移的非对齐可见光和红外模态融合目标检测方法，其特征在于，所述步骤2中的可学习仿射变换模块LATM的详细方法为：对于输入特征f，首先终止梯度回传并通过多个卷积和多个全连接层计算出仿射变换矩阵θ，然后根据θ得到采样网格，再根据采样网络对f进行重采样；该过程等价于对f按θ作仿射变换；LATM的总的运算公式如下：

其中，fc()表示全连接层，Grid()根据仿射变换参数生成采样网格即输入输出矩阵的位置坐标映射关系，Sampler()根据采样网格Grid对输入特征f进行重采样。

3.如权利要求1所述的基于风格迁移的非对齐可见光和红外模态融合目标检测方法，其特征在于，所述步骤3中的风格迁移融合模块的详细方法包括：风格生成、去风格化、迁移到新风格，

所述风格生成部分，随机生成一个服从正态分布的向量X作为输入，通过多个全连接层进行编码，生成一个新风格的均值μ和标准差α用于风格迁移；去风格化和迁移到新风格的方法如式(1.3)所示；风格生成不设额外的损失，都采用最终的目标检测损失作为约束，以生成一种有利于目标检测任务的风格。