CN112395951A - 一种面向复杂场景的域适应交通目标检测与识别方法 - Google Patents

Abstract

本发明提供一种面向复杂场景的域适应交通目标检测与识别方法，首先，提出双向注意力特征提取模块，同时从两个方向对输入图像进行特征提取，这种结构可规避前馈过程中的特征损失，然后，提出域适应学习部分，包括两级域匹配模块和图原型匹配模块。在特征提取网络的中间层和最后层，分别连接两级域匹配模块。其中，像素级别域匹配模块包括梯度反转块GRB和像素级域分类器D1，全局级别域匹配模块包括GRB和全局级域分类器D2，在分类和回归网络之后加入图原型匹配模块，分别从源域和目标域的检测结果中抽取出类别原型并将两者匹配，以解决域间实例和类别的匹配问题，实现从普通场景到极端天气场景的适应。本发明采用一致性联合训练方法。

Description

一种面向复杂场景的域适应交通目标检测与识别方法

技术领域

本发明属于计算机视觉、目标检测、迁移学习领域，尤其涉及一种面向复杂场景的域适应交通目标检测与识别方法。

背景技术

近年来随着人工智能技术的发展，自动驾驶得到了长足的发展。交通目标的检测与识别作为自动驾驶感知系统至关重要的部分，对智慧交通系统中车辆驾驶决策起到重要的辅助作用。自动驾驶的应用场景较为复杂，要求目标检测模型适应不同场景领域下的检测任务。同时，场景的多样性又导致了许多特殊场景下的样本缺失，这给检测任务带来更大的难度。

现有的交通目标检测方法和技术主要可以分为两阶段方法和单阶段方法。两阶段方法包括R-CNN、Faster R-CNN、Mask RCNN、Couple-net、ThunderNet等，单阶段方法包括YOLOv3、SSD、CornerNet、FCOS等。这些已有的目标检测方法在交通目标检测上已取得良好效果，但仍面临以下问题：1)场景域的复杂性和多样性，基于单一或者有限场景下的目标数据集的检测方法，无法应对真实的复杂交通场景下的检测任务，如光照变化、目标遮挡、尺度变化、极端天气变化(尤其是雨、雪、大雾等)等；2)现有训练数据量不充分问题，现有的交通场景数据集有限，部分特殊场景和特殊交通目标类别样本缺少，导致现有的检测方法训练不充分，容易出现过拟合问题，很难在真实交通场景中使用。

发明内容

有鉴于此，本发明目的是提供一种面向复杂场景的域适应交通目标检测与识别方法。

一种面向复杂场景的域适应交通目标检测与识别方法，包括以下几个步骤：

S1：目标检测网络从普通交通场景得到源域图像，从特殊场景得到目标域图像；

S2：双向特征提取网络对源域图像和目标域图像进行特征提取，得到包含丰富语义信息的浅层特征、深层特征和兴趣区域；

S3：分类网络对兴趣区域内的目标进行分类，回归网络对兴趣区域的位置进行回归，得到定位更精确的兴趣区域；

S4：对目标检测网络进行域适应学习，具体如下：

S41：两级域匹配器对双向特征提取部分得到的浅层特征进行局部域匹配，对双向特征提取部分的深层特征进行全局域匹配；

S42：图原型匹配方法对双向特征提取部分和分类、回归网络得到的兴趣区域进行域匹配；

S43：经过步骤S41和S42得到具备域适应能力的目标检测网络；

S5：以联合损失为目标函数对S4实现的具备域适应能力的目标检测网络进行联合一致性训练，得到具备一致性域适应方向的检测模型。

进一步地，S1中所述的源域图像是普通交通场景下的图像，目标域图像是特殊交通场景下的图像。

进一步地，S2中所述的双向特征提取部分包括主干网络、自底向上分支和自顶向下分支，所述主干网络采用ResNet-50，输出包括浅层特征、深层特征和兴趣区域。

进一步地，S41所述的两级域匹配器由GRB和域分类器组成，所述域分类器包括局部域分类器和全局域分类器。

进一步地，所述局部域分类器的损失函数为如下，

其中x代表输入的特征，H和W分别代表输入特征的高和宽，F1代表了主干网络输入层到中间层的部分，Dl代表局部域分类器，n为输入图像的数量，L_loc表示局部域分类损失，s代指源域，t代指目标域，ns为源域的图像数量，nt为目标域的图像数量。

进一步地，S42所述的图原型匹配方法是对兴趣区域中提取的类别原型进行匹配，类别原型的公式如下：

其中，

表征了每个具体类别中的模态信息，该原型代表每个类别完成后续的类别级域匹配，其中Np为兴趣区域实例的数量，

为类别置信度向量经图卷积后的输出，

为嵌入特征向量经图卷积后的输出，k为具体类别的索引。

进一步地，S5所述的联合一致性训练所用的损失函数如下：

其中，p_uv为局部域匹配器对特征图上坐标为(u，v)的点的预测结果，p_g为全局域匹配器对整张特征图的预测结果，α为超参数，用来调节一致性损失在整体损失中所占的权重。

本发明提供的技术方案带来的有益效果是：1、本发明针对复杂交通场景下的交通目标检测任务。在复杂交通场景数据集上,本方法可以对不同尺度的交通目标达到较高的精度和召回率，高于此前的最佳方法；2、本发明通过场景域适应学习部分，能够应对复杂交通场景中光照变化、天气变化、目标遮挡等问题，能很好地应用于现实复杂交通场景中的交通目标检测；3、针对域适应方向的不一致问题，本发明采用一致性联合训练，可以在训练过程中约束两级域匹配器的域适应方向和整体网络的训练方向，进一步提升网络的域适应能力，优化复杂交通场景下的交通目标检测性能；4、本方法的良好鲁棒性和泛化性适用于无人驾驶中的感知层，通过对复杂现实场景下高精度的交通目标检测，为无人车提供正确的驾驶决策，极大提升其安全性和功能性。

附图说明

图1是本发明基于两级域适应与图原型匹配的域适应目标检测网络的算法流程图；

图2是双向特征金字塔网络的算法结构图；

图3是自顶向下特征融合过程的原理示意图；

图4是两级别域匹配器的算法结构图；

图5是域匹配模块的工作原理图；

图6是图原型匹配的工作原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，本发明提供了一种基于两级域适应与图原型匹配的域适应目标检测，主要包含三个部分：双向金字塔特征提取部分、域适应学习部分和一致性联合训练。工作流程如图1所示。

对于输入图像，本发明使用双向特征金字塔网络进行特征提取，特征提取网络的主干网络采用ResNet-50结构，通过ResNet-50的特征提取过程，得到{C3,C4，C5}三个尺度的特征图,其分别相当于原图1/8、1/16、1/32大小。

在ResNet-50之后，自底向上分支通过与骨干网络生成的特征层级以横向连接的方式进行特征融合，得到的融合特征在图2中表示为{F4,F5}，以C3与C4融合为例，对C3分别进行1×1和3×3卷积操作，其空间分辨率下降为原图的1/2，对C4进行1×1卷积后,与此前处理C3得到的特征图F3通过像素相加的方式融合，得到特征图F4。

ResNet-50之后，自顶向下分支同样与ResNet-50以横向连接的方式进行特征融合，如图3，首先将上一个分支中得到的融合特征F5经过一层卷积得到P5特征。之后采用图4的通道自注意力块(CSAB)实现对深层特征的通道加权，再通过上采样将其空间分辨率提高2倍。每个横向连接都融合自主干网络提取得到的相应级别特征图，最后同样使用像素相加的方式融合特征。在自顶向下的特征融合之后，加入了多级区域建议网络预测，以获取不同级别特征图上的兴趣区域。

上述的通道自注意力块(CSAB)的工作方式包括挤压、激励和赋权操作，如图3所示。首先，采用挤压操作S将空间维度为c×w×h的深层特征向量X压缩，得到c×w×h大小的特征向量D，即通道描述符D＝{D_c，x＝1，2，...，c}，该过程采用全局池化实现。通道描述符具有各个通道上的全局感受野和全局特征。在激励操作E中，首先利用两个带有ReLU激活函数的全连接层FC₁和FC₂对D进行计算,以学习通道之间的非线性相互作用,从而更好地拟合通道间复杂的相关性。之后,通过Sigmoid激活函数,获得归一化的通道权重，故激励操作能完全捕获通道依赖性并控制每个通道的激励。最后，通过一个通道乘法来对输入特征图进行赋权，以强化重要通道，弱化非重要通道，得到具有通道注意力的特征。

通过上述方式得到融合特征图{P3,P4,P5}后，分别用对应的区域建议网络(RPN)提取其中的兴趣区域，并将各级特征图上的提取结果相融合，实现多级预测。

在双向特征提取部分的骨干网络得到浅层特征图C3后，C3进入一个GRB和像素级别的域分类器D1，这两部分共同组成局部域匹配器，如图4。其中F1代表了骨干网络输入层到中间层的部分，Dl代表局部域分类器，n为输入图像的数量。对于输入的图像x，用F1提取其特征后，送入域判别器Dl，由Dl对特征图的每个点进行域预测，得到其属于源域的概率，根据预测结果即可计算对应的损失函数。

在ResNet-50之后，由一个GRB和全局域分类器D2构成全局域匹配器，对深层特征图进行计算和预测，得到一个二分类结果并计算损失函数。总体局部域匹配损失函数为源域域匹配损失和目标域域匹配损失的平均值。

对于上述的局部域匹配和全局域匹配，其训练方式如图5所示。在前向传递过程中，GRB没有改变特征向量，域分类器对前向特征进行提取和计算，并预测出每个像素的域类别；在反向传递过程中，GRB之前的网络层的权重参数向增大损失的方向更新，同时其之后的网络层参数依然在向损失减小方向更新，以此实现对抗性训练。最后，以域分类器的分类结果为指导，特征提取网络在训练过程中具备了提取域间公共特征、混淆域分类器的能力。

在区域提取网络(RPN)和分类网络之后采用图原型匹配方法，具体地，首先在RPN得到兴趣区域(ROI)之后，将兴趣区域作为图节点进行图原型匹配，由于RPN只能得到正样本和负样本两个类别的兴趣区域，所以此处Nc为2；在分类和回归之后，将检测得到的带有类别置信度的边界框(Bbox)作为图节点，在全部n个类别上进行匹配，此处Nc为n。

对于上述图原型匹配方法中的输入，即区域提取网络(RPN)和分类网络得到的兴趣区域，定义如下图卷积过程；

其中A为邻接矩阵，其元素代表了目标框节点间的重叠程度；D为A的对角度矩阵；

则为目标框对应的交通目标类别置信度，表征了目标框中的交通目标属于各类别的概率，Np为兴趣区域实例的数量，Nc为类别数。

如图6(b)，在上述两个图模型的基础上，为了得到类别的表征，本发明使用加权融合方式抽取出每个类别的原型：

其中，

表征了每个具体类别中的模态信息，该原型代表每个类别完成后续的类别级域匹配，其中Np为兴趣区域实例的数量，

为类别置信度向量经图卷积后的输出，

为嵌入特征向量经图卷积后的输出。

在得到类原型之后，如图6(c)所示，对类别原型进行匹配。具体地，引入两个目标函数inter loss和intra loss，缩小普通交通场景领域和特殊交通场景领域上相同交通目标类别间的距离，增大两域不同类间的距离，intra loss用以减小同类距离，定义如下：

inter loss用以增大类间距离，定义如下：

α_i代表第i类的类别权重，通过这种方式对每个交通目标类别赋权，可抑制置信度极小的负样本对模型训练的影响，提升训练效率和模型检测性能。S代表源域特征，T代表目标域特征，D和D’既可以代表两个不同的域，也可以代表相同的域。Φ(x，x′)＝||x-x′||₂表示两原型之间的欧式距离，m为一个自定义的阈值。intra loss以类别权重对源域和目标域间的相同类别进行加权平均，通过减小该损失值，可缩小普通交通场景领域和特殊交通场景领域下相同交通目标类别间的距离，使模型适应极端天气等特殊交通场景下的检测任务；inter loss则以类别权重对两个交通场景域的不同交通目标类别做加权平均，通过减小该损失值可增大不同类别原型间的距离，使得网络的前馈过程更好地区分交通目标类别信息。

在定义上述模型之后，本发明采用一致性损失和联合训练方法。首先，本发明在图像级和像素级域预测之间添加了一致性损失，定义如下：

其中，p_uv为局部域匹配器对特征图上坐标为(u，v)的点的预测结果，p_g为全局域匹配器对整张特征图的预测结果，本发明用欧式距离表征两级别域预测值之间的距离，α为超参数，用来调节一致性损失在整体损失中所占的权重。通过在训练中递减该损失值，使得图像级和像素级域预测结果趋于相同，从而控制检测网络域适应的方向一致性。

此外，本发明使用联合损失训练整体模型，联合训练损失定义如下：

L_det即为检测网络的损失函数，L_loc为上述局部域分类损失函数，L_global为全局域分类损失函数。通过一致性损失和联合训练，可使得网络具备较强的域适应能力，得到鲁棒的，强泛化性的交通目标检测模型。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，包括以下几个步骤：

S1：目标检测网络从普通交通场景得到源域图像，从特殊场景得到目标域图像；

S2：双向特征提取网络对源域图像和目标域图像进行特征提取，得到包含丰富语义信息的浅层特征、深层特征和兴趣区域；

S3：分类网络对兴趣区域内的目标进行分类，回归网络对兴趣区域的位置进行回归，得到定位更精确的兴趣区域；

S4：对目标检测网络进行域适应学习,具体如下：

S41：两级域匹配器对双向特征提取部分得到的浅层特征进行局部域匹配，对双向特征提取部分的深层特征进行全局域匹配；

S42：图原型匹配方法对双向特征提取部分和分类、回归网络得到的兴趣区域进行域匹配；

S43：经过步骤S41和S42得到具备域适应能力的目标检测网络；

S5：以联合损失为目标函数对S4实现的具备域适应能力的目标检测网络进行联合一致性训练，得到具备一致性域适应方向的检测模型。

2.根据权利要求1所述的一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，S1中所述的源域图像是普通交通场景下的图像，目标域图像是特殊交通场景下的图像。

3.根据权利要求1所述的一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，S2中所述的双向特征提取部分包括主干网络、自底向上分支和自顶向下分支，所述主干网络采用ResNet-50，输出包括浅层特征、深层特征和兴趣区域。

4.根据权利要求1所述的一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，S41所述的两级域匹配器由GRB和域分类器组成，所述域分类器包括局部域分类器和全局域分类器。

5.根据权利要求4所述的一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，所述局部域分类器的损失函数为如下，

其中x代表输入的特征，H和W分别代表输入特征的高和宽，F1代表了主干网络输入层到中间层的部分，D_l代表局部域分类器，n为输入图像的数量，L_loc表示局部域分类损失，s代指源域，t代指目标域，n_s为源域的图像数量，n_t为目标域的图像数量。

6.根据权利要求1所述的一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，S42所述的图原型匹配方法是对兴趣区域中提取的类别原型进行匹配，类别原型的公式如下：

其中，

表征了每个具体类别中的模态信息，该原型代表每个类别完成后续的类别级域匹配，其中Np为兴趣区域实例的数量，

为类别置信度向量经图卷积后的输出，

为嵌入特征向量经图卷积后的输出，k为具体类别的索引。

7.根据权利要求1所述的一种面向复杂场景的域适应交通目标检测与识别方法，其特征在于，S5所述的联合一致性训练所用的损失函数如下：

其中，p_uv为局部域匹配器对特征图上坐标为(u，v)的点的预测结果，p_g为全局域匹配器对整张特征图的预测结果，α为超参数，用来调节一致性损失在整体损失中所占的权重。

Images