CN111178161B - 一种基于fcos的车辆追踪方法及系统 - Google Patents

Abstract

本发明请求保护一种基于FCOS的车辆追踪方法及系统，属于车辆追踪技术领域。该方法通过FCOS模型检测视频中的车辆，融合深度学习特征和边缘特征作为车辆的特征描述，通过对比车辆特征，对相邻帧特征相似度最高的车辆进行匹配，在固定的时间窗口内可生成对应车辆的小段轨迹，通过卷积神经网络度量小段轨迹间的相似度，对相似度最高的轨迹进行连接，从而得到完整的轨迹，完成整个追踪过程。这种方法可有效提升车辆检测的准确率，减少遮挡、相机移动等因素带来的影响，提升车辆追踪准确率。

Description

一种基于FCOS的车辆追踪方法及系统

技术领域

本发明属于人工智能、计算机视觉技术领域，具体涉及一种基于FCOS的车辆追踪方法。

背景技术

随着当今经济的高速发展，车辆作为主要的交通及运输工具，其保有量迅速增加，导致交通状况的不断恶化，交通事故也频频发生。现在无论哪个国家都毫无例外的受到不同程度的交通问题的困扰。为了实现道路交通的智能化管理，全世界众多研究机构都在不遗余力地进行各种智能化产品的研发。但是由于目前车辆检测器准确度不足、相机移动、遮挡等问题的存在，使得车辆追踪无法达到较高的准确度。由于目前车辆追踪主要是依赖于基于框回归模型YOLO的车辆检测，而基于逐像素回归的FCOS网络更为复杂，这给将FCOS应用到车辆追踪中带来了困难。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于FCOS的车辆追踪方法及系统。本发明的技术方案如下：

一种基于FCOS的车辆追踪方法，其包括以下步骤：

检测步骤：获取车辆图片，并利用FCOS(全卷积一阶段目标检测)网络模型对车辆图片进行训练得出FCOS车辆检测模型，利用FCOS车辆检测模型检测车辆；获取到车辆的位置信息；

追踪步骤：对FCOS车辆检测模型检测到的车辆进行特征提取，通过比较特征间相似度，进行车辆匹配，得出所有车辆的小段轨迹，利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接。

进一步的，所述检测步骤具体包括：

1)对输入的道路监控视频采用ffmpeg进行解帧，并保存单帧图片；

2)利用FCOS车辆检测模型对所述单帧图像进行检测、识别，截取并保存被识别为车辆的部分。

进一步的，所述利用FCOS车辆检测模型采用ResNet-50作为FCOS的backbone网络，使用SGD优化器，初始学习率为0.01，batch size设置为16，在迭代12000次后得到模型，FCOS模型用于检测出图片中的车辆，在检测后返回多个矩形框的顶点坐标，矩形框内即为被检测出的车辆，将矩形框内的图像截取并保存，方便后续进行特征提取和对比。

进一步的，所述追踪步骤具体包括：

1)通过训练好的FaceNet模型计算裁剪的车辆图像的特征向量；

2)通过图像边缘提取算法获取车辆图像的边缘特征信息；

3)通过对前后帧所有的车辆图像进行特征对比，相似度最高的一组被标记为同一辆车；

4)通过上述步骤，在固定的时间窗口内，得出所有车辆的小段轨迹；

5)利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接。

进一步的，所述特征提取模型采用FaceNet模型，FaceNet是谷歌的人脸检测算法，选取FaceNet网络进行车辆特征的提取。FaceNet模型是利用多组车辆图片通过FaceNet网络训练得出，每组车辆图片都分别为同一辆车，实施中采用Google inception v1作为backbone网络，采用SGD优化器，起始的学习率设置为0.05然后逐渐衰减直至模型收敛，在迭代8000次后得到FaceNet模型。

利用训练好的FaceNet模型对截取的车辆图片进行特征提取，可得到128维向量，采用欧式距离度量特征间的相似性。

进一步的，所述步骤2)通过图像边缘提取算法获取车辆图像的边缘特征信息，具体包括：

边缘特征信息是通过canny算子提取的，通过建立图像金字塔，在不同尺度下对canny处理后的边缘图像进行模板匹配，可得到一个最大匹配度。

进一步的，所述步骤3)通过对前后帧所有的车辆图像进行特征对比，相似度最高的一组被标记为同一辆车，具体包括：

把上一帧图像和当前帧图像中所有车辆的特征信息进行对比，特征信息指的是上述融合了FaceNet提取的深度学习特征和边缘特征的特征信息。通过对比特征信息，结合IOU重叠度大小可以判断前后帧中两个车辆是否为同一车辆。

进一步的，所述步骤4)在固定的时间窗口内，得出所有车辆的小段轨迹，具体包括：

选择64帧大小的窗口，对于每个车辆，将64帧时间上的位置串联起来形成小段轨迹。

进一步的，所述步骤5)利用轨迹比较模型度量小段轨迹间的相似度(通过卷积神经网络全连接层输出相似度)，对相似度最高的两个小段轨迹进行匹配连接，得到每个车辆完整的轨迹，完成车辆追踪，具体包括：通过轨迹比较模型，将每64帧上的车辆位置信息和外观特征信息送入CNN网络，通过池化层进行特征合并，在全连接层输出轨迹间的相似性，轨迹比较模型是利用多个64帧时间窗口上的车辆小段轨迹样本训练得出。

一种基于FCOS的车辆追踪系统，其包括：

检测模块：用于获取车辆图片，并利用FCOS全卷积一阶段目标检测网络模型对车辆图片进行训练得出FCOS车辆检测模型，利用FCOS车辆检测模型检测车辆；获取到车辆的位置信息；

追踪模块：用于对FCOS车辆检测模型检测到的车辆进行特征提取，通过比较特征间相似度，进行车辆匹配，得出所有车辆的小段轨迹，利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接，完成匹配。

本发明的优点及有益效果如下：

本发明基于FCOS的车辆追踪方法，通过FCOS模型检测视频中的车辆，在固定的时间窗口内通过对比车辆特征，匹配前后帧特征相似度最高的车辆来生成小段轨迹，通过卷积神经网络度量小段轨迹间的相似度，对相似度最高的两段轨迹进行匹配连接，得到每个车辆完整的轨迹，从而完成整个追踪过程。可有效提升车辆检测的准确率，减少遮挡、相机移动等因素带来的影响，提升车辆追踪的准确率。

创新点主要有：

1、利用FCOS进行车辆检测，获取车辆位置信息用于车辆追踪。

由于目前主流的车辆追踪方法是依赖于基于框回归模型YOLO的车辆检测，而基于逐像素回归的FCOS网络更为复杂，这给将FCOS应用到车辆追踪中带来了困难。

2、利用融合了FaceNet提取的深度学习特征和图像边缘特征相结合的特征信息作为车辆特征描述。

由于目前主流的车辆追踪方法是通过比较车辆的颜色特征或者是深度学习特征来进行车辆匹配，而在实际应用中由于摄像头像素不高存在车辆颜色特征突变的情况，但是边缘特征变化很小，可通过融合了FaceNet提取的深度学习特征和图像边缘特征相结合的特征信息作为车辆特征描述，提升车辆追踪鲁棒性。

3、利用卷积神经网络度量两个小段轨迹间的相似度，对相似度最高的两个小段轨迹进行连接，得到完整的车辆轨迹

实际应用中由于道路环境复杂，车流量较大，容易发生遮挡，会造成某些帧上追踪丢失。通过卷积神经网络度量两个小段轨迹间的相似度，对相似度最高的两个小段轨迹进行连接，可以弥补在某些帧上追踪丢失的轨迹，得到完整的车辆轨迹。

附图说明

图1是本发明提供优选实施例提供的基于FCOS的车辆追踪方法流程示意图；

图2为本发明实施例提供的判断前后帧中车辆是否匹配的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

FCOS是一种全卷积one-stage目标检测算法，以逐像素预测的方式解决目标检测问题，类似于语义分割。FCOS不仅检测速度快，准确度也领先于目前其他的目标检测算法。本实施例利用FCOS这两大优点提出基于FCOS的车辆追踪方法，请参见图1所示，包括以下步骤：

1)对输入的视频流进行解帧，并保存单帧图片。

应当说明的是，FCOS模型是在图片上进行车辆检测，因此首先需要对视频进行解帧处理。

2)利用车辆检测模型对所述单帧图像进行检测、识别，截取并保存被识别为车辆的部分。

实施时车辆检测模型采用训练好的FCOS模型，FCOS模型是利用大量车辆图片通过FCOS网络训练得出，具体实施时采用ResNet-50作为FCOS的backbone网络，使用SGD优化器，初始学习率为0.01，batch size设置为16，在迭代12000次后得到实施例中的模型。FCOS模型可检测出图片中的车辆，实际上是在检测后返回多个矩形框的顶点坐标，矩形框内即为被检测出的车辆。这里需要将矩形框内的图像截取并保存，方便后续进行特征提取和对比。

3)通过特征提取模型获取所述车辆图像的特征向量。

具体实施时采用FaceNet模型作为特征提取模型，FaceNet是谷歌的人脸检测算法，利用相同人脸在不同角度等姿态的照片下有高内聚性，不同人脸有低耦合性，提出使用cnn+triplet mining方法。由于车辆种类多样且在距摄像头不同位置呈现出不同姿态，为了较好的在不同帧对同一辆车进行匹配，实施中选取FaceNet网络进行车辆特征的提取。FaceNet模型是利用多组车辆图片通过FaceNet网络训练得出，每组车辆图片都分别为同一辆车。实施中采用Google inception v1作为backbone网络，采用SGD优化器，起始的学习率设置为0.05然后逐渐衰减直至模型收敛，在迭代8000次后得到实施例中的模型。

利用训练好的FaceNet模型对截取的车辆图片进行特征提取，可得到128维向量。实施例中采用欧式距离度量特征间的相似性。

4)通过图像边缘提取算法获取所述车辆图像的边缘特征信息。

应当说明的是，虽然利用FaceNet提取的向量在欧式距离上进行对比具有很高的准确率，但是很难应对特征突变的情况。实施过程中边缘特征信息是通过canny算子提取的，通过建立图像金字塔，在不同尺度下对canny处理后的边缘图像进行模板匹配，可得到一个最大匹配度。

5)通过对前后帧所有的车辆图像进行特征对比，相似度最高的被标记为同一辆车。

在实施过程中，把上一帧图像和当前帧图像中所有车辆的特征信息进行对比，特征信息指的是上述融合了FaceNet提取的深度学习特征和边缘特征的特征信息。通过对比特征信息，结合IOU大小可以判断前后帧中两个车辆是否为同一车辆，请参见图2所示。

6)通过上述步骤，在固定的时间窗口内，得出所有车辆的小段轨迹。

应当说明的是，在实施过程中选择64帧大小的窗口，对于每个车辆，将64帧时间上的位置串联起来形成小段轨迹。

7)用轨迹比较模型度量小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接，得到每个车辆完整的轨迹，完成车辆追踪。

应当说明的是，通过轨迹比较模型，将每64帧上的车辆位置信息和外观特征信息送入CNN网络，通过池化层进行特征合并，在全连接层输出轨迹间的相似性。轨迹比较模型是利用多个64帧时间窗口上的车辆小段轨迹样本训练得出。

本发明实施例提供的基于FCOS的车辆追踪方法，适应于各种道路场景，特别当交通拥堵时具有突出的优点，利用FCOS准确的检测出车辆和小段轨迹匹配的追踪方式，在保证了速度的前提下，又可以很好的应对遮挡、相机移动等问题。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于FCOS的车辆追踪方法，其特征在于，包括以下步骤：

检测步骤：获取车辆图片，并利用FCOS全卷积一阶段目标检测网络模型对车辆图片进行训练得出FCOS车辆检测模型，利用FCOS车辆检测模型检测车辆，获取车辆的位置信息；

追踪步骤：对FCOS车辆检测模型检测到的车辆进行特征提取，通过比较特征间相似度，进行车辆匹配，得出所有车辆的小段轨迹，利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接；

所述追踪步骤具体包括：

1） 通过训练好的FaceNet模型计算裁剪的车辆图像的特征向量；

2） 通过图像边缘提取算法获取车辆图像的边缘特征信息；

3） 通过对前后帧所有的车辆图像进行特征对比，相似度最高的一组被标记为同一辆车；

4） 通过上述步骤，在固定的时间窗口内，得出所有车辆的小段轨迹；

5） 利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接；

所述步骤3）通过对前后帧所有的车辆图像进行特征对比，相似度最高的一组被标记为同一辆车，具体包括：

把上一帧图像和当前帧图像中所有车辆的特征信息进行对比，特征信息指的是融合了FaceNet提取的特征和图像边缘提取算法提取的边缘特征的特征信息，通过对比特征信息，结合IOU重叠度大小判断前后帧中两个车辆是否为同一车辆。

2.根据权利要求1所述的一种基于FCOS的车辆追踪方法，其特征在于，所述检测步骤具体包括：

1）对输入的道路监控视频采用ffmpeg进行解帧，并保存单帧图片；

2）利用FCOS车辆检测模型对所述单帧图片进行检测、识别，截取并保存被识别为车辆的部分。

3.根据权利要求2所述的一种基于FCOS的车辆追踪方法，其特征在于，所述FCOS车辆检测模型采用ResNet-50作为FCOS的backbone网络，使用SGD优化器，初始学习率为0.01，batch size设置为16，在迭代12000次后得到模型，FCOS车辆检测模型用于检测出图片中的车辆，在检测后返回多个矩形框的顶点坐标，矩形框内即为被检测出的车辆，将矩形框内的图像截取并保存，方便后续进行特征提取和对比。

4.根据权利要求3所述的一种基于FCOS的车辆追踪方法，其特征在于， FaceNet是谷歌的人脸检测算法，选取FaceNet网络进行车辆特征的提取；FaceNet模型是利用多组车辆图片通过FaceNet网络训练得出，每组车辆图片都分别为同一辆车，实施中采用Googleinception v1 作为backbone网络，采用SGD优化器，起始的学习率设置为0.05然后逐渐衰减直至模型收敛，在迭代8000次后得到FaceNet模型；

利用训练好的FaceNet模型对截取的车辆图片进行特征提取，得到128维向量，采用欧式距离度量特征间的相似性。

5.根据权利要求4所述的一种基于FCOS的车辆追踪方法，其特征在于，所述步骤2）通过图像边缘提取算法获取车辆图像的边缘特征信息，具体包括：

边缘特征信息是通过canny算子提取的，通过建立图像金字塔，在不同尺度下对canny处理后的边缘图像进行模板匹配，得到一个最大匹配度。

6.根据权利要求5所述的一种基于FCOS的车辆追踪方法，其特征在于，所述步骤4）在固定的时间窗口内，得出所有车辆的小段轨迹，具体包括：

选择64帧大小的窗口，对于每个车辆，将64帧时间上的位置串联起来形成小段轨迹。

7.根据权利要求6所述的一种基于FCOS的车辆追踪方法，其特征在于，所述步骤5）利用轨迹比较模型度量小段轨迹间的相似度，即通过卷积神经网络全连接层输出相似度，对相似度最高的两个小段轨迹进行匹配连接，得到每个车辆完整的轨迹，完成车辆追踪，具体包括：通过轨迹比较模型，将每64帧上的车辆位置信息和外观特征信息送入CNN网络，通过池化层进行特征合并，在全连接层输出轨迹间的相似性，轨迹比较模型是利用多个64帧时间窗口上的车辆小段轨迹样本训练得出。

8.一种基于FCOS的车辆追踪系统，其特征在于，包括：

检测模块：用于获取车辆图片，并利用FCOS全卷积一阶段目标检测网络模型对车辆图片进行训练得出FCOS车辆检测模型，利用FCOS车辆检测模型检测车辆；获取到车辆的位置信息；

追踪模块：用于对FCOS车辆检测模型检测到的车辆进行特征提取，通过比较特征间相似度，进行车辆匹配，得出所有车辆的小段轨迹，利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接，完成匹配；

所述追踪模块具体包括以下步骤：

1） 通过训练好的FaceNet模型计算裁剪的车辆图像的特征向量；

2） 通过图像边缘提取算法获取车辆图像的边缘特征信息；

3） 通过对前后帧所有的车辆图像进行特征对比，相似度最高的一组被标记为同一辆车；

4） 通过上述步骤，在固定的时间窗口内，得出所有车辆的小段轨迹；

5） 利用轨迹比较模型计算小段轨迹间的相似度，对相似度最高的两个小段轨迹进行匹配连接；

所述步骤3）通过对前后帧所有的车辆图像进行特征对比，相似度最高的一组被标记为同一辆车，具体包括：

把上一帧图像和当前帧图像中所有车辆的特征信息进行对比，特征信息指的是融合了FaceNet提取的特征和图像边缘提取算法提取的边缘特征的特征信息，通过对比特征信息，结合IOU重叠度大小判断前后帧中两个车辆是否为同一车辆。

Images