CN113723563A - 一种基于fcos改进的车辆检测算法 - Google Patents

Abstract

本发明提出一种基于FCOS改进的车辆检测算法，所述车辆检测算法包括：对FCOS模型进行改进，在标准骨干网络backbone中引入了可变形卷积网络Defomable convolution network，使之能够随着目标的形变来改变感受野的位置，以达到更好的检测效果，同时加入了抑制因子，强迫网络学习主要的特征而忽略那些背景噪音区域；将neck模块的特征图金字塔网络FPN后添加一个自底向上的信息通路，减少传播过程信息的损耗；在之后根据平衡原则引入平衡模块，降低因不同特征图feature map方差不匹配而造成的边界框bounding box head模块检测不统一的问题。本发明给网络带来了较大的增益，提高了目前复杂场景中车辆检测定位准确性及检测精度。

Description

一种基于FCOS改进的车辆检测算法

技术领域

本发明涉及一种基于FCOS改进的车辆检测算法，提高了目前复杂场景中车辆检测定位准确性及检测精度。

背景技术

随着电动汽车数量的日益增长，全国各个交通要道枢纽和高速公路服务区，甚至一些工业园区开始大量普及充电桩。在那些无人看守的充电区域内常有行人或者私家车乱停乱放，造成了新能源车主的不便。通过实时检测车辆可以判断车辆的停留时间，在车充满电后提醒车主将车移出充电桩。汽车的智能驾驶也正在高速发展，车辆检测也一直是其中的热点问题。在不同的场景下，汽车会出现被严重遮挡或者造成错误识别，这种汽车的误识别往往是自动驾驶出现事故主要的原因之一。而且在车牌识别之前，往往都需要先识别车身来缩小识别范围、减少周围环境的干扰、提高精度。基于这些情况，都需要监控摄像头能够准确的识别车辆。

在深度学习发展之前，往往都是通过将特征提取后和分类器相结合的方式进行车辆检测。如HOG特征检测，此后又有了将HOG和LBP特征融合来进一步提高车辆检测的精度，Li Xiangfeng等人又提出了Haar特征算法做了最后的收尾工作。但这些算法都没有很好的鲁棒性，难以在各种复杂环境下精准检测。2012年后，深度学习中基于卷积神经网络的算法开始变得流行，它能够从不同的特征层中提取车辆的语义信息，在数据集较为充足的情况下能够解决传统算法鲁棒性不足的问题。

在检测领域，目前可以分为三个方向。一个是以Faster-RCNN为代表的二阶段回归算法，例如Faster-RCNN、Cascade-RCNN、Libra-RCNN、YOLOV2、YOLOV3等，这些算法都是提出一个anchor作为先验进一步提高精度加快网络模型的收敛，但在速度上往往慢于单阶段检测算法。第二个是单阶段检测算法，例如YOLOV1、RefineDet、Retinanet、FCOS、ATSS等，这些算法没有采用anchor这样的先验方式，所以回归的时候多有不同。最后一个是Facebook提出的以transformer为代表的方向，将NLP中的transformer引入到CV中，大大简化网络模型，但是在精度上还略有不足，在工程部署领域还遥遥无期，典型的有DETR、deformableDETR、VIT等。

神经网络设计往往遵循几点要素。其中主要的有减少信息通路增强信息传播，例如residual connection、dense connection都起到了很好的效果。增强信息通道的灵活性和多样性也是有效的，典型的有运用split-transform-merge策略。为了将高分辨率图像信息和高层次语义信息联合起来，又有了TDM，FPN，PAN。

受到这些前沿算法的驱动，我们以FCOS算法作为基础进行改进来检测车辆。发明内容

发明目的：提出一种基于FCOS改进的车辆检测算法，提高目前复杂场景中车辆检测定位准确性及检测精度。

技术方案：一种基于FCOS改进的车辆检测算法，包括如下步骤：

步骤1、图像特征层提取与优化；

步骤2、图像特征层融合加强；

步骤3、图像特征层聚合；

步骤4、结果预测。

根据本发明的一个方面，所述步骤1中的图像特征层提取与优化是通过backbone提取输入图像的4层特征C2-C5，并加入可变形卷积Deformable Convolution使卷积核的感受野能够自由的选择感兴趣的区域，加入抑制因子以减少噪音和背景的影响。

根据本发明的一个方面，所述通过DCN添加抑制因子来提升C3-C5的特征层精度是将DCN加在backbone的C3-C5层，具体步骤为：

步骤11、对先前的feature map卷积得到偏差；

步骤12、根据偏差值得到新的采样坐标，进行卷积产生新的feature map，加入了抑制因子让模型更专注于所需要的目标，具体计算方法如下：

R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}表示3x3卷积核的坐标，卷积计算如下：

其中Δp_k指的是偏差值，Δm_k即抑制因子，主要是对目标区域和噪音背景区域赋予不同的权重；

卷积核在原来的feature map上采样坐标为p_k+Δp_k，实际计算的时候前者的坐标带有小数点，用双线性插值来解决这个问题，如下：

根据本发明的一个方面，所述步骤2中的图像特征层融合加强是在原FPN的基础上加入了一个自底向上的模块，进一步增强信息在不同特征层间的流动，缩减底层到顶层特征层间的距离，并将前面不同的特征层C2-C5做一个融合加强，使每个特征层中都有其他层的信息，以减少底层和最上层之间的信息损耗，具体步骤如下：

步骤21、在FPN后面增加一个自底向上的增强模块bottom-up path augmentation模块；

步骤22、当浅层特征信息到达FPN底部后，通过横向连接lateral connection连接到特征图P2；

步骤23、再从P2沿着bottom-up path augmentation传递到顶层，经过的层数就不到10层，较好地保留浅层特征信息。

根据本发明的一个方面，所述步骤3中的图像特征层聚合具体操作步骤为：

步骤31、在改进的FPN后面加入一个平衡模块，将不同分辨率的特征图缩放成同一尺寸，所述平衡模块算法为：

其中i是输出特征图的位置，j是其他不同特征图的位置，x是输入特征图，y是和x一样尺度的特征图，f是对两个特征图进行的配对计算函数，计算第i个位置和其他所有位置的相关性，g是一元输入函数，目的是进行信息变换，C(x)是归一化函数；

步骤32、然后进行特征逐个元素element wise相加后再除以特征层level的数目，达到了聚合的目的，具体算法为：

步骤321、对于f函数计算了两个位置的相关性，g(x_j)是一元输入，相当于对输入的特征图去进行线性映射，通过1*1*1卷积去压缩通道数，减少了参数，然后得到θ，φ，g特征：

步骤322、通过结构图中对应1、2部分来计算嵌入空间中的高斯距离：

步骤323、通过reshape操作，合并上述的三个特征除通道数外的维度，然后对θ和φ进行矩阵点乘操作，计算出特征中的自相关性；

步骤324、通过一种简单算法Softmax操作，得到0～1的权重weights，将这些高斯距离相加求和，得出每个高斯距离在总体的权重，这个过程又叫做非局部注意力，增加了不同位置的像素值联系：

y＝soft max(x^TW^TW_φx)g(x)；

步骤33、将注意力系数，对应乘回特征矩阵g中，然后再加上扩展channel数，与原输入特征图做残差运算，得到了refine后的特征图，这增强了特征图之间的联系并且平衡了方差。

根据本发明的一个方面，所述步骤4中的结果预测具体为：

步骤41、将经过聚合后的特征层送入头部模块head中，在里面进行采样，计算损失loss；

步骤42、然后通过反向传播来更新参数自动学习，生成分类分支预测图片类别，生成回归分支regression预测目标边界框；

步骤43、最终将分类类别和预测框的坐标输出跟真实边界框gt比较，计算差距，不断反向传播降低loss。

有益效果：改进的FPN能减少底层feature map到顶端特征层的距离，引入的DCN能扩大卷积核的感受野，能够随着物体的形变而改变采样点，使采样区域更加全面，能够学习到更多的特征；加入的平衡模块解决了特征金字塔存在的方差不同影响精度的问题；在检测精度、复杂度、消融性上与其他算法对比具有更好好的效果，通过可视化结果证明了改进算法的优越性。

附图说明

图1是基于FCOS改进的车辆检测算法流程图。

图2是3*3可变形卷积示意图。

图3是自底向上的增强模块示意图。

图4是平衡模块流程图。

图5是非局部注意力结构图。

图6a是消融实验中无DCN的效果图。

图6b是消融实验中有DCN的效果图。

图7a是可视化实验原图。

图7b是可视化实验改进后模型可视化后的结果图。

具体实施方式

如图1所示，在该实施例中，一种基于FCOS改进的车辆检测算法，包括如下步骤：

步骤1、图像特征层提取与优化；

步骤2、图像特征层融合加强；

步骤3、图像特征层聚合；

步骤4、结果预测。

在进一步的实施例中，所述步骤1中的图像特征层提取与优化是通过backbone提取输入图像的4层特征C2-C5，并加入可变形卷积Deformable Convolution使卷积核的感受野能够自由的选择感兴趣的区域，加入抑制因子以减少噪音和背景的影响。

在进一步的实施例中，所述通过DCN添加抑制因子来提升C3-C5的特征层精度是将DCN加在backbone的C3-C5层，具体步骤为：

步骤11、对先前的feature map卷积得到偏差；

步骤12、根据偏差值得到新的采样坐标，进行卷积产生新的feature map，加入了抑制因子让模型更专注于所需要的目标，具体计算方法如下：

R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}表示3x3卷积核的坐标，卷积计算如下：

其中Δp_k指的是偏差值，Δm_k即抑制因子，主要是对目标区域和噪音背景区域赋予不同的权重；

卷积核在原来的feature map上采样坐标为p_k+Δp_k，实际计算的时候前者的坐标带有小数点，用双线性插值来解决这个问题，如下：

在进一步的实施例中，所述步骤2中的图像特征层融合加强是在原FPN的基础上加入了一个自底向上的模块，进一步增强信息在不同特征层间的流动，缩减底层到顶层特征层间的距离，并将前面不同的特征层C2-C5做一个融合加强，使每个特征层中都有其他层的信息，以减少底层和最上层之间的信息损耗，具体步骤如下：

步骤21、在FPN后面增加一个自底向上的增强模块bottom-up path augmentation模块；

步骤22、当浅层特征信息到达FPN底部后，通过横向连接lateral connection连接到特征图P2；

步骤23、再从P2沿着bottom-up path augmentation传递到顶层，经过的层数就不到10层，较好地保留浅层特征信息。

在进一步的实施例中，所述步骤3中的图像特征层聚合具体操作步骤为：

步骤31、在改进的FPN后面加入一个平衡模块，将不同分辨率的特征图缩放成同一尺寸，所述平衡模块算法为：

其中i是输出特征图的位置，j是其他不同特征图的位置，x是输入特征图，y是和x一样尺度的特征图，f是对两个特征图进行的配对计算函数，计算第i个位置和其他所有位置的相关性，g是一元输入函数，目的是进行信息变换，C(x)是归一化函数；

步骤32、然后进行特征逐个元素element wise相加后再除以特征层level的数目，达到了聚合的目的，具体算法为：

步骤321、对于f函数计算了两个位置的相关性，g(x_j)是一元输入，相当于对输入的特征图去进行线性映射，通过1*1*1卷积去压缩通道数，减少了参数，然后得到θ，φ，g特征：

步骤322、通过结构图中对应1、2部分来计算嵌入空间中的高斯距离：

步骤323、通过reshape操作，合并上述的三个特征除通道数外的维度，然后对θ和φ进行矩阵点乘操作，计算出特征中的自相关性；

步骤324、通过一种简单算法Softmax操作，得到0～1的权重weights，将这些高斯距离相加求和，得出每个高斯距离在总体的权重，这个过程又叫做非局部注意力，增加了不同位置的像素值联系：

y＝soft max(x^TW^TW_φx)g(x)；

步骤33、将注意力系数，对应乘回特征矩阵g中，然后再加上扩展channel数，与原输入特征图做残差运算，得到了refine后的特征图，这增强了特征图之间的联系并且平衡了方差。

在进一步的实施例中，所述步骤4中的结果预测具体为：

步骤41、将经过聚合后的特征层送入头部模块head中，在里面进行采样，计算损失loss；

步骤42、然后通过反向传播来更新参数自动学习，生成分类分支预测图片类别，生成回归分支regression预测目标边界框；

步骤43、最终将分类类别和预测框的坐标输出跟真实边界框gt比较，计算差距，不断反向传播降低loss。

下面通过具体的实验来验证本发明的效果，具体如下：

实验数据集：

实验在三个混合式数据集上进行检测，其中包含UA-DETRAC，MSCOCO2017，PascalVOC进行联合训练，每个数据集只采用类别为car，bus，truck的图片。

UA-DETRAC是一个多目标跟踪数据集，拍摄于中国的北京和天津的不同道路，包含各种天气状况，像多云、夜间、晴天和雨天；遮挡分为无遮挡和重遮挡；其中视频每秒录制25帧，有大约13万张图片，图片之间高度相似，为了增加对比度防止过拟合，本实验采取每40帧采样一次样本。

第二个数据集选取了pascal voc2012中的一部分车辆图片。

第三个数据集采用MSCOCO2017，COCO的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，数据集中的图像分为训练、验证和测试集、任务包括识别，分割，及检测。本实验在训练和验证集中采样了所有的车辆图片，总共的数据集20000张左右，具体的信息件表格1。其中将所有的标注信息换成VOC数据集形式，数据集的9成用来trainval，剩下的1成用来test。

表1

DETRAC	Pascal-VOC2012	COCO
			3457	467	16977

精度实验：

我们跟近几年主流算法进行比较，结果如表2所示：显而易见我们提出的方法相比较近几年其他算法在此数据集上达到了最佳性能。

表2本发明算法和其他算法比较

Model	mAP
		Faster-RCNN[8]	67.4
ATSS[2]	67.2
		GFL[27]	66.8
FCOS[1]	66.8
		YOLOF[28]	67.1
YOLOV3[11]	58.9
		SSD[29]	57.6
DETR[16]	55.4
		Centernet[30]	51.3
Retinanet[4]	66.0
		Ours	70.1

模型复杂度实验：

本实验同时也检测了各个模型在数据集上的复杂度，从表格3中可以看出，one-stage网络往往比two-stage网络参数要少，而且我们的模型在大幅度提升了精度后GFLOPs并没有增加而且略有减少，参数量也只是少量增加。

表3模型复杂的比较

Model	Input shape	GFLOPs	Params(M)
				Faster-RCNN[8]	1280x800	206.67	41.13
ATSS[2]	1280x800	201.51	31.89
				GFL[27]	1280x800	204.61	32.04
FCOS[1]	1280x800	196.76	31.84
				YOLOF[28]	1280x800	98.21	42.11
YOLOV3[11]	1280x800	193.89	61.53
				SSD[29]	1280x800	343.77	24.68
DETR[16]	1280x800	203.21	30.82
				Centernet[30]	1280x800	51.02	14.21
Retinanet[4]	1280x800	205.24	36.15
				Ours	1280x800	174.39	35.1

消融实验：

本实验对改进的网络进行消融实验分析性能，见表4。改进的FPN能减少底层feature map到顶端特征层的距离，DCN能扩大卷积核的感受野，能够随着物体的形变而改变采样点，它的可视化结果如图7所示。

消融实验举例：如图6a中在没有加入DCN的情况下，它的网络注意力比较分散，采样区域也不能覆盖整体目标；而图6b中是加了DCN后的效果图，可以很明显的DCN采样区域更加全面，能够学习到更多的特征。

表4本发明的消融实验对比

Method	mAP
		FCOS	66.8
+Improved FPN	67.2
		+DCN	68.4
+Balanced module	67.9
		+all	70.1

结果可视化：

图7是算法的效果可视化图，从图7a的原图与图7b的算法改进后的效果图可以很明显的看出：在图7b中，车辆基本都被检测出来，包括玻璃反射出的车辆，而且在密集较远处比较小的车辆也能够检测出来。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (6)

1.一种基于FCOS改进的车辆检测算法，其特征在于，包括如下步骤：

步骤1、图像特征层提取与优化；

步骤2、图像特征层融合加强；

步骤3、图像特征层聚合；

步骤4、结果预测。

2.根据权利要求1所述的一种基于FCOS改进的车辆检测算法，其特征在于，所述步骤1中的图像特征层提取与优化是通过backbone提取输入图像的4层特征C2-C5，并加入可变形卷积Deformable Convolution使卷积核的感受野能够自由的选择感兴趣的区域，加入抑制因子以减少噪音和背景的影响。

3.根据权利要求2所述的一种基于FCOS改进的车辆检测算法，其特征在于，所述通过DCN添加抑制因子来提升C3-C5的特征层精度是将DCN加在backbone的C3-C5层，具体为：

步骤11、对先前的feature map卷积得到偏差；

步骤12、根据偏差值得到新的采样坐标，进行卷积产生新的feature map，加入了抑制因子让模型更专注于所需要的目标，具体计算方法如下：

R＝{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}表示3x3卷积核的坐标，卷积计算如下：

其中Δp_k指的是偏差值，Δm_k即抑制因子，主要是对目标区域和噪音背景区域赋予不同的权重；

卷积核在原来的feature map上采样坐标为p_k+Δp_k，实际计算的时候前者的坐标带有小数点，用双线性插值来解决这个问题，如下：

4.根据权利要求1所述的一种基于FCOS改进的车辆检测算法，其特征在于，所述步骤2中的图像特征层融合加强是在原FPN的基础上加入了一个自底向上的模块，进一步增强信息在不同特征层间的流动，缩减底层到顶层特征层间的距离，并将前面不同的特征层C2-C5做一个融合加强，使每个特征层中都有其他层的信息，以减少底层和最上层之间的信息损耗，具体步骤如下：

步骤21、在FPN后面增加一个自底向上的增强模块bottom-up path augmentation模块；

步骤22、当浅层特征信息到达FPN底部后，通过横向连接lateral connection连接到特征图P2；

步骤23、再从P2沿着bottom-up path augmentation传递到顶层，经过的层数就不到10层，较好地保留浅层特征信息。

5.根据权利要求1所述的一种基于FCOS改进的车辆检测算法，其特征在于，所述步骤3中的图像特征层聚合具体操作步骤为：

步骤31、在改进的FPN后面加入一个平衡模块，将不同分辨率的特征图缩放成同一尺寸，所述平衡模块算法为：

其中i是输出特征图的位置，j是其他不同特征图的位置，x是输入特征图，y是和x一样尺度的特征图，f是对两个特征图进行的配对计算函数，计算第i个位置和其他所有位置的相关性，g是一元输入函数，目的是进行信息变换，C(x)是归一化函数；

步骤32、然后进行特征逐个元素element wise相加后再除以特征层level的数目，达到了聚合的目的，具体算法为：

步骤321、对于f函数计算了两个位置的相关性，g(x_j)是一元输入，相当于对输入的特征图去进行线性映射，通过1*1*1卷积去压缩通道数，减少了参数，然后得到θ，φ，g特征：

步骤322、通过结构图中对应1、2部分来计算嵌入空间中的高斯距离：

步骤323、通过reshape操作，合并上述的三个特征除通道数外的维度，然后对θ和φ进行矩阵点乘操作，计算出特征中的自相关性；

步骤324、通过一种简单算法Softmax操作，得到0～1的权重weights，将这些高斯距离相加求和，得出每个高斯距离在总体的权重，这个过程又叫做非局部注意力，增加了不同位置的像素值联系：

y＝soft max(x^TW^TW_φx)g(x)；

步骤33、将注意力系数，对应乘回特征矩阵g中，然后再加上扩展channel数，与原输入特征图做残差运算，得到了refine后的特征图，这增强了特征图之间的联系并且平衡了方差。

6.根据权利要求1所述的一种基于FCOS改进的车辆检测算法，其特征在于，所述步骤4中的结果预测具体为：

步骤41、将经过聚合后的特征层送入头部模块head中，在里面进行采样，计算损失loss；

步骤42、然后通过反向传播来更新参数自动学习，生成分类分支预测图片类别，生成回归分支regression预测目标边界框；

步骤43、最终将分类类别和预测框的坐标输出跟真实边界框gt比较，计算差距，不断反向传播降低loss。

Images