CN117274927A - 基于改进多目标跟踪的交通流量监测方法 - Google Patents

基于改进多目标跟踪的交通流量监测方法 Download PDF

Info

Publication number
CN117274927A
CN117274927A CN202311213162.9A CN202311213162A CN117274927A CN 117274927 A CN117274927 A CN 117274927A CN 202311213162 A CN202311213162 A CN 202311213162A CN 117274927 A CN117274927 A CN 117274927A
Authority
CN
China
Prior art keywords
algorithm
improved
data set
yolov5
traffic flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311213162.9A
Other languages
English (en)
Other versions
CN117274927B (zh
Inventor
周锋
葛晓乐
刘铠纬
陈帅庭
王如刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Institute of Technology
Yancheng Institute of Technology Technology Transfer Center Co Ltd
Original Assignee
Yancheng Institute of Technology
Yancheng Institute of Technology Technology Transfer Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology, Yancheng Institute of Technology Technology Transfer Center Co Ltd filed Critical Yancheng Institute of Technology
Priority to CN202311213162.9A priority Critical patent/CN117274927B/zh
Publication of CN117274927A publication Critical patent/CN117274927A/zh
Application granted granted Critical
Publication of CN117274927B publication Critical patent/CN117274927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进多目标跟踪的交通流量监测方法，包括：获取监测视频；对监测视频进行分帧处理，得到若干帧监测图像；将若干帧监测图像分别基于预设的改进多目标跟踪算法进行处理，得到每帧监测图像对应的车流量监测结果；根据每帧监测图像对应的车流量监测结果生成最终的交通流量监测结果。基于预设的改进多目标跟踪算法对监测图像进行处理，针对不同类型的车辆进行准确的特征提取，对车辆进行连续跟踪时，提高跟踪精度及检测速度，实现对交通流量的准确检测。

Description

基于改进多目标跟踪的交通流量监测方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于改进多目标跟踪的交通流量监测方法。
背景技术
交通的发展为人们出行带来便利，测定城市公路上车流量大小和流动方向是现代城市建设，规划管制中的重要一环，然而，随着社会经济科技的日益增长，道路车流量规模也逐渐庞大，复杂路段的交通阻塞，主干道路上的交通违章等都是交通事故的隐患。为此，实时的道路监管手段必不可少。传统的检测手段大都消耗人力，枯燥乏味的同时效率十分低下，且伴随着对车辆信息，运动方向等记录的不完善，泛化性较差。如今，对交通目标的检测仍然是被广泛关注的热点问题，并涉及图像处理，计算机视觉，人工智能等多个领域。随着GPU的发展，现代的信息数据处理方法已逐渐转向人工智能，基于深度学习的图像处理技术通常包含了检测及跟踪任务，并可能带有轨迹提取，评估交通信息等功能。这类方法由计算机自主完成，从应用角度来看，具有高效性和鲁棒性的这类算法适合交通检测系统。集合信息化，智能化，社会化的这类系统组成了智能交通系统(Intelligent TransportationSystem,ITS)，其智能检测合理分配交通资源，是现代交通领域的核心发展问题。
车辆目标检测的任务是在视频帧中寻找车辆目标并给予分类和定位。对于深度学习方法来说，不需要专业的知识理解图片，只需要通过卷积神经网络(CNN)提取图片特征和深度语义加以迭代学习，通过线性或非线性激活变换便能给出准确的网络最优解。现阶段基于卷积神经网络的算法较多，主要包含两类：1)以RCNN为代表的两阶段目标检测算法；2)以YOLO，SSD等为代表的一阶段目标检测算法。YOLO算法是基于回归的目标检测算法，实现了通过一次回归完成对目标类别的确定和定位。
车辆跟踪任务是对视频帧中的车辆目标进行检测并加以重识别与先前的相同目标关联匹配。其方法有多种，现阶段大都基于计算机来实现，SINGLA等人根据运动目标的特征，提出了帧间差分法(Frame Difference Method)，张等人通过检测像素变化改进了光流法(Optical Flow)以实现目标的跟踪等。在很多方法中，像素，颜色，形状等信息被广泛用于特征提取，可以根据单帧图片实现连续跟踪，但这类方法在连续视频帧中速度较为缓慢。此外，按照跟踪算法初始化方式还有无检测器的跟踪(Detection-Free Tracking,DFT)，和融合检测特征的JDT(Joint-Detection Tracking)等算法。
如今，深度学习的方法已经成为技术主流，在稳定性和精准度上都有着一定的可靠性，并且随着人们的优化，横向发展，多功能或是精度更高、速度更快的检测及跟踪算法也层出不穷，各有优劣；在部分的环境下，人工智能已经可以接管相应工作，人们对于相应指标的要求也越来越高。
现有技术中，无法针对不同类型的车辆进行准确的特征提取，对车辆进行连续跟踪时跟踪精度低，检测速度缓慢，无法实现对交通流量的准确检测。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于改进多目标跟踪的交通流量监测方法，基于预设的改进多目标跟踪算法对监测图像进行处理，针对不同类型的车辆进行准确的特征提取，对车辆进行连续跟踪时，提高跟踪精度及检测速度，实现对交通流量的准确检测。
为达到上述目的，本发明实施例提出了一种基于改进多目标跟踪的交通流量监测方法，包括：
获取监测视频；
对监测视频进行分帧处理，得到若干帧监测图像；
将若干帧监测图像分别基于预设的改进多目标跟踪算法进行处理，得到每帧监测图像对应的车流量监测结果；
根据每帧监测图像对应的车流量监测结果生成最终的交通流量监测结果。
根据本发明的一些实施例，得到预设的改进多目标跟踪算法的方法，包括：
对原先DeepSort算法进行改进，得到改进DeepSort算法；
对原先yolov5算法进行改进，得到改进yolov5算法；
根据改进DeepSort算法及改进yolov5算法，得到预设的改进多目标跟踪算法。
根据本发明的一些实施例，对原先yolov5算法进行改进，得到改进yolov5算法，包括：
获取第一数据集；
将原先yolov5算法中的锚框损失函数由CIoU损失函数修改为WIoU损失函数；将原先yolov5算法中的特征提取部分由C3模块修改为C3_Res2模块，并在SPPF之后添加了多头自注意力机制，用SGE模块对特征图从空间通道两个维度筛选其符合全局特征的部分，得到初始yolov5算法；
基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法。
根据本发明的一些实施例，获取第一数据集，包括：
获取UA-DETRAC车辆检测数据集；
对UA-DETRAC车辆检测数据集中的全部图片间隔10帧取一张，得到若干张图片的新数据集；
对新数据集标注进行批量修改，确定为大型车辆及小型车辆，将修改完成的图片和标注汇编为第一数据集。
根据本发明的一些实施例，对原先DeepSort算法进行改进，得到改进DeepSort算法，包括：
获取第二数据集；
将原先DeepSort算法中的图片输入部分由随机裁剪方式改为重新更改大小，将图片输入尺寸改为64*128；
输入图片通过单层3×3卷积增大通道数，不改变特征图尺寸；并用3×3池化核最大池化，取消原先DeepSort算法的第二卷积层；
相比原先DeepSort算法网络的6层残差特征提取网络，在其基础上添加一个2层的残差网络，每一组包含两层残差网络，均含有3×3的卷积；第一层提取特征，不改变通道和尺寸；后三组第一层卷积缩小一倍尺寸，增大一倍通道；第二层卷积不改变尺寸和通道；多次特征提取后，输出变成512×4×8，使用全局平均池化操作，池化核大小为4×8，代替原先DeepSort算法的全连接操作；最后，特征图通过线性变化和批正则化操作以256通道输出语义，得到初始DeepSort算法；
基于第二数据集对初始DeepSort算法进行训练，得到改进DeepSort算法。
根据本发明的一些实施例，获取第二数据集，包括：
获取VeRI数据集；
根据VeRI数据集中不同类别车辆的图片数量和车辆类别，选取其中若干张不同类车辆作为第二数据集。
根据本发明的一些实施例，基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法，包括：
计算基于yolov5算法对第一数据集中的图片的平均精度，并判断是否大于0.5；在确定平均精度大于0.5时，表示训练成功，得到改进的yolov5算法；
计算平均精度mAP，包括：
其中，P为精准度；R为召回率；TP为预测正确的正样本数量；FP为预测错误的正样本数量；FN为预测错误的负样本数量；P(R)为P值关于R的变化而形成的曲线；n为样本数量。
根据本发明的一些实施例，根据改进DeepSort算法及改进yolov5算法，得到预设的改进多目标跟踪算法，包括：
将改进yolov5算法嵌入改进DeepSort算法中，整体打包完整的跟踪算法，得到预设的改进多目标跟踪算法。
根据本发明的一些实施例，还包括对预设的改进多目标跟踪算法进行测试。
根据本发明的一些实施例，测试方法，包括：
采用撞线法来实现对车辆计数，通过同一个ID车辆的蓝黄线撞线先后顺序来判断车辆的上下行；
确定测试数据集；测试数据集包括拍摄视频数据集及UA-DETRAC车辆检测数据集；
基于原先yolov5算法及原先DeepSort算法对拍摄视频数据集进行识别，确定第一识别结果；
基于原先yolov5算法及原先DeepSort算法对UA-DETRAC车辆检测数据集进行识别确定第二识别结果；
基于预设的改进多目标跟踪算法分别对拍摄视频数据集及UA-DETRAC车辆检测数据集进行识别，确定第三识别结果及第四识别结果；
根据第一识别结果及第三识别结果确定第一减少比值，并与预设阈值进行比较；
根据第二识别结果及第四识别结果确定第二减少比值，并与预设阈值进行比较；
在确定第一减少比值大于与预设阈值且第二减少比值大于预设阈值时，表示预设的改进多目标跟踪算法的性能合格，测试通过。
本发明提出了一种基于改进多目标跟踪的交通流量监测方法，利用深度学习，采用yolov5为基础框架，联合DeepSort算法实现基于检测的跟踪。对yolov5算法进行改进，采用更加细致，感受野更大的特征提取模块对车辆提取特征，并添加相应注意力机制使训练过的模型对车辆的大小，长宽等特征更为重视。在定位锚框方面，更改了IoU损失函数，用更为全面的WIoU代替。对于DeepSort算法，根据车辆外观特征使用合适的输入大小尺寸，并重新编排车辆重识别网络层，使其有着和原来一样的线性输出但更好的保留外观特征。最后将改进的检测算法嵌入跟踪算法，分别训练两者模型，调用训练好的改进模型权重，使用双线撞线法实现对车流量的监测。相比于传统的检测算法，本算法使用了专门的车辆数据集和重识别数据集进行训练，且在改进算法后，在检测的精确度上，在跟踪的稳定性上均有一定的提升。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的基于改进多目标跟踪的交通流量监测方法的流程图；
图2是根据本发明一个实施例的改进多目标跟踪算法的网格结构图；
图3是根据本发明一个实施例的C3_Res2模块的示意图；
图4是根据本发明一个实施例的SGE模块自适应注意力结构图；
图5是根据本发明一个实施例的MHSA模块多头自注意力结构图；
图6是根据本发明一个实施例的改进DeepSort算法的网络结构；
图7-8是根据本发明一个实施例的修改完成的图片和标注汇编的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提出了一种基于改进多目标跟踪的交通流量监测方法，包括步骤S1-S4:
S1、获取监测视频；
S2、对监测视频进行分帧处理，得到若干帧监测图像；
S3、将若干帧监测图像分别基于预设的改进多目标跟踪算法进行处理，得到每帧监测图像对应的车流量监测结果；
S4、根据每帧监测图像对应的车流量监测结果生成最终的交通流量监测结果。
上述技术方案的工作原理：获取监测视频；对监测视频进行分帧处理，得到若干帧监测图像；将若干帧监测图像分别基于预设的改进多目标跟踪算法进行处理，得到每帧监测图像对应的车流量监测结果；根据每帧监测图像对应的车流量监测结果生成最终的交通流量监测结果。
上述技术方案的有益效果：基于预设的改进多目标跟踪算法对监测图像进行处理，针对不同类型的车辆进行准确的特征提取，对车辆进行连续跟踪时，提高跟踪精度及检测速度，实现对交通流量的准确检测。
根据本发明的一些实施例，得到预设的改进多目标跟踪算法的方法，包括：
对原先DeepSort算法进行改进，得到改进DeepSort算法；
对原先yolov5算法进行改进，得到改进yolov5算法；
根据改进DeepSort算法及改进yolov5算法，得到预设的改进多目标跟踪算法。
上述技术方案的工作原理及有益效果：实现对yolov5算法进行改进，提高特征提取的准确性，以及识别车辆定位的准确性。对DeepSort算法进行改进，在进行跟踪识别时，更好的保留外观特征，便于进行跟踪识别，提高了跟踪的准确性及速率。
如图2所示，根据本发明的一些实施例，对原先yolov5算法进行改进，得到改进yolov5算法，包括：
获取第一数据集；
将原先yolov5算法中的锚框损失函数由CIoU损失函数修改为WIoU损失函数；将原先yolov5算法中的特征提取部分由C3模块修改为C3_Res2模块，并在SPPF之后添加了多头自注意力机制，用SGE模块对特征图从空间通道两个维度筛选其符合全局特征的部分，得到初始yolov5算法；
基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法。
上述技术方案的工作原理及有益效果：改进的yolov5s车辆检测器包括如下模块：主干网络部分(backbone)，输入的图像尺寸为640×640，3通道，将卷积层之后的C3特征提取模块替换为基于Res2Net改进的C3_Res2多尺度特征提取模块，经过第一个6×6卷积层之后连续通过4个卷积-C3_Res2模块，最后由SPPF层输出到颈部网络部分，即多尺度特征融合部分(Multi-scale Feature Fusion)；
CBS由一个二维卷积层+一个Bn层+一个Silu激活函数构成。
SPPF(空间金字塔池化，能够将任意大小的特征图转换成固定大小的特征向量，作用实现局部特征和全局特征的featherMAP级别的融合)，通过卷积后3层的5×5最大池化后拼接可以保留图像特征信息且输出固定的尺寸，以满足颈部网络的输入。
其中，卷积层由卷积，批正则化，激活构成，卷积核大小为3，步长为2，层层递进缩小特征图大小，以实现对不同大小目标的检测。
如图7-8所示，根据本发明的一些实施例，获取第一数据集，包括：
获取UA-DETRAC车辆检测数据集；
对UA-DETRAC车辆检测数据集中的全部图片间隔10帧取一张，得到若干张图片的新数据集；
对新数据集标注进行批量修改，确定为大型车辆及小型车辆，将修改完成的图片和标注汇编为第一数据集。
上述技术方案的工作原理及有益效果：首先对UA-DETRAC车辆检测数据集全部图片间隔10帧取一张，得到大约9000张图片的新数据集，对其标注进行批量修改，统一修改为大型车辆(b vehicle)小型车辆(s vehicle)，将修改完成的图片和标注汇编为新构建的数据集，即第一数据集。
如图3所示，多层卷积使得模型有着更大的感受野，相比C3模块的特征提取，摈弃了原算法的多次残差传递方式，可以以更细的粒度提取图像的多尺度特征，在信息传播上更加灵活，却不增加额外的传递参数量；
C3_Res2模块包含Res2Net模块的特征，特征图分为4组，每一组中的卷积核大小为3，融合拼接特征后在残差输出前添加SiLU激活函数，以保证训练的有效性。在主干网络中，C3_Res2的重复次数为3，6，9，3次；颈部网络中的重复次数为3。
如图4所示，在颈部网络中，使用特征金字塔网络和路径聚合网络实现对特征图的上下采样，在特征融合之前，不同尺寸特征图会先由SGE注意力模块处理，可以显著改善了组内不同语义子特征的空间分布，并产生较大的统计方差，增强了语义区域的特征学习，压缩了噪声和干扰。该模块将子特征图划为8组，利用给出的全局向量来表示特征突出的通道，并在空间上保留融合前图像的特征关注点。
如图5所示，MHSA通过4个注意力头学习多个矩阵的键值，在全局上的到多个注意力的焦点，多角度学习特征识别和语义关联信息，使得模型可以从大领域中提取相互关联的信息。颈部网络通过多尺度特征融合，上采样后下采样，送入检测头。不同的检测头连接在特征提取后不同大小的特征图之后，分为20×20，40×40，80×80三个大小，(conv卷积头)利用其感受野大小的不同来预测大，中，小目标。特征图经卷积后按照分类输出。
如图6所示，根据本发明的一些实施例，对原先DeepSort算法进行改进，得到改进DeepSort算法，包括：
获取第二数据集；
将原先DeepSort算法中的图片输入部分由随机裁剪方式改为重新更改大小，将图片输入尺寸改为64*128；
输入图片通过单层3×3卷积增大通道数，不改变特征图尺寸；并用3×3池化核最大池化，取消原先DeepSort算法的第二卷积层；
相比原先DeepSort算法网络的6层残差特征提取网络，在其基础上添加一个2层的残差网络，每一组包含两层残差网络，均含有3×3的卷积；第一层提取特征，不改变通道和尺寸；后三组第一层卷积缩小一倍尺寸，增大一倍通道；第二层卷积不改变尺寸和通道；多次特征提取后，输出变成512×4×8，使用全局平均池化操作，池化核大小为4×8，代替原先DeepSort算法的全连接操作；最后，特征图通过线性变化和批正则化操作以256通道输出语义，得到初始DeepSort算法；
基于第二数据集对初始DeepSort算法进行训练，得到改进DeepSort算法。
上述技术方案的工作原理及有益效果：首先在图片输入部分，将随机裁剪改为重新更改大小，将输入尺寸改为64×128；输入图片通过单层3×3卷积增大通道数，不改变特征图尺寸；并用3×3池化核最大池化，取消原算法的第二卷积层，增加运行速度，保证特征的提取；在这之后，相比原网络的6层残差特征提取网络，在其基础上添加一个2层的残差网络，每一组包含两层残差网络，均含有3×3的卷积，第一层提取特征，不改变通道和尺寸；后三组第一层卷积缩小一倍尺寸，增大一倍通道，第二层卷积不改变尺寸和通道。这样改进的特征提取增加了特征维度，对特征提取更加有利，从运行速度上来看影响不大；多次特征提取后，输出变成512×4×8，此时使用全局平均池化操作，池化核大小为4×8，代替原有的全连接操作，这可以在保持应有的输出通道数的同时，保留特征信息；最后，特征图通过线性变化和批正则化操作以256通道输出语义。
根据本发明的一些实施例，获取第二数据集，包括：
获取VeRI数据集；
根据VeRI数据集中不同类别车辆的图片数量和车辆类别，选取其中若干张不同类车辆作为第二数据集。
上述技术方案的工作原理及有益效果：获取VeRI数据集；根据VeRI数据集中不同类别车辆的图片数量和车辆类别，选取其中3000张不同类车辆作为第二数据集，其中，每辆车辆的图片大约50张左右。
在一实施例中，针对yolov5算法，在锚框的损失函数上，由原算法的CIoU改为WIoU损失函数，其考虑了预测框和真实框之间的区域来对IoU进行加权，通过两个锚框之间的权重系数来更准确的评估IoU结果。
其中，n为物体框的数量，bi表示第i个物体标注框的坐标，Iou(bi,gi)表示第i个物体标注框与真实框gi之间的IoU值，wi表示权值。
在一实施例中，使用重新构建的UA-DETRAC数据集，分类包含大车(b vehicle)(svehicle)，一共约9000张图片，测试集约2000张图片，将图片和修改的正确标注打包为数据集；
实验所用的硬件平台如下：CPU：15vCPU Intel(R)Xeon(R)Platinum 8358P CPU@2.60GHz，GPU：NVIDIA RTX 3090等。软件平台使用ubuntu20.04作为操作系统，深度学习框架为pytorch1.11.0版本，加速环境为Cuda 11.3等。训练时的batch_size大小设置为32，初始学习率为0.01，在训练过程中根据warm up自动调整学习率，并在多轮迭代后学习率逐渐减小，整个训练迭代轮数为500轮。基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法。
根据本发明的一些实施例，基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法，包括：
计算基于yolov5算法对第一数据集中的图片的平均精度，并判断是否大于0.5；在确定平均精度大于0.5时，表示训练成功，得到改进的yolov5算法；
计算平均精度mAP，包括：
其中，P为精准度；R为召回率；TP为预测正确的正样本数量；FP为预测错误的正样本数量；FN为预测错误的负样本数量；P(R)为P值关于R的变化而形成的曲线；n为样本数量。
上述技术方案的工作原理及有益效果：采用平均精度mAP.5(mean AveragePrecision 50％)，每一张检测速度，GFLOPs作为评价指标；在预测框与真实框交并比大于0.5则认为检测成功，即平均精度大于0.5时，表示训练成功，得到改进的yolov5算法。
基于第一数据集对初始yolov5算法进行训练，改进后的yolov5训练结果如表1所示：
表1
GFLOPS就是Giga Floating-point Operations Per Second,即每秒10亿次的浮点运算数,常作为GPU性能参数但不一定代表GPU的实际表现，由表1可知，第一行为原算法的性能，在精度和浮点运算量上的表现均不算好，随着各个模块的改进，精度有着一定程度上的提高，且运算量反而得到了降低。可以WIoU模块和SGE模块都在不增加运算量和不减慢速度的前提下提升了模型的精度，C3_Res2模块虽然减慢了速度，但同时降低了1.4GFLOPs的运算量，并且在精度的提升上有着较好的表现。最终的改进结果降低了3毫秒左右的检测速度，但这对人类感官来说感受不到差距。
在一实施例中，确定原先yolov5算法与改进yolov5算法的比较参数：如表2所示：
表2
表2是原先yolov5算法与改进yolov5算法各自的精确度、召回率、平均精度的对比，可以看出改进yolov5算法对大型车辆的检测性能有着7.1％的提升，结合生活常识，大型车辆往往有着更大的安全隐患，更准确的对大型车辆进行跟踪监测，有利于现代交通管理。
综合来说，改进算法在检测性能上有着4.5％的提升，运算量和速度几乎没有较大变化。
在一实施例中，基于第二数据集对初始DeepSort算法进行训练，得到改进DeepSort算法中，实验用硬件平台同对改进yolov5的训练平台一致。
根据本发明的一些实施例，根据改进DeepSort算法及改进yolov5算法，得到预设的改进多目标跟踪算法，包括：
将改进yolov5算法嵌入改进DeepSort算法中，整体打包完整的跟踪算法，得到预设的改进多目标跟踪算法。
上述技术方案的工作原理及有益效果：将改进yolov5算法嵌入改进DeepSort算法中，整体打包完整的跟踪算法，调试代码使得版本之间相互兼容可以运行，得到预设的改进多目标跟踪算法。
根据本发明的一些实施例，还包括对预设的改进多目标跟踪算法进行测试。
根据本发明的一些实施例，测试方法，包括：
采用撞线法来实现对车辆计数，通过同一个ID车辆的蓝黄线撞线先后顺序来判断车辆的上下行；
确定测试数据集；测试数据集包括拍摄视频数据集及UA-DETRAC车辆检测数据集；
基于原先yolov5算法及原先DeepSort算法对拍摄视频数据集进行识别，确定第一识别结果；
基于原先yolov5算法及原先DeepSort算法对UA-DETRAC车辆检测数据集进行识别确定第二识别结果；
基于预设的改进多目标跟踪算法分别对拍摄视频数据集及UA-DETRAC车辆检测数据集进行识别，确定第三识别结果及第四识别结果；
根据第一识别结果及第二识别结果确定第一减少比值，并与预设阈值进行比较；
根据第三识别结果及第四识别结果确定第二减少比值，并与预设阈值进行比较；
在确定第一减少比值大于与预设阈值且第二减少比值大于预设阈值时，表示预设的改进多目标跟踪算法的性能合格，测试通过。
上述技术方案的工作原理及有益效果：采用撞线法来实现对车辆计数，通过同一个ID车辆的蓝黄线撞线先后顺序来判断车辆的上下行，实现了更加精确的交通车辆监测。基于原先yolov5算法及原先DeepSort算法对拍摄视频数据集进行识别，确定第一识别结果；第一识别结果为基于原先yolov5算法及原先DeepSort算法对拍摄视频数据集进行识别，确定的车辆目标ID的跳变次数；基于原先yolov5算法及原先DeepSort算法对UA-DETRAC车辆检测数据集进行识别确定第二识别结果；第二识别结果为基于原先yolov5算法及原先DeepSort算法对UA-DETRAC车辆检测数据集进行识别，确定的车辆目标ID的跳变次数。基于预设的改进多目标跟踪算法分别对拍摄视频数据集及UA-DETRAC车辆检测数据集进行识别，确定第三识别结果及第四识别结果；第三识别结果为基于预设的改进多目标跟踪算法对拍摄视频数据集进行识别，确定的车辆目标ID的跳变次数。第四识别结果为基于预设的改进多目标跟踪算法对UA-DETRAC车辆检测数据集进行识别，确定的车辆目标ID的跳变次数。第一减少比值为：(A-B)/A的绝对值。A为第三识别结果；B为第一识别结果。第二减少比值为：(C-D)/C。其中，C为第四识别结果；D为第二识别结果。预设阈值为合格标准数值，为20％。在确定第一减少比值大于与预设阈值且第二减少比值大于预设阈值时，表示预设的改进多目标跟踪算法的性能合格，测试通过。
如表3所示，根据车辆目标ID的跳变次数可以看出跟踪的稳定性，video1为自行拍摄的视频，video2为UA-DETRAC数据集的视频。
表3
整合的跟踪算法在实际场景和公开数据集上都减少了ID标注的跳变现象。在自己拍摄的视频中ID的切换次数由94次减少到75次，数据集上由288次减少到222次，综合来说减少约21％的ID跳变次数。大于预设阈值时，表示预设的改进多目标跟踪算法的性能合格，测试通过。
本发明，利用深度学习，采用yolov5为基础框架，联合DeepSort算法实现基于检测的跟踪。对yolov5算法进行改进，采用更加细致，感受野更大的特征提取模块对车辆提取特征，并添加相应注意力机制使训练过的模型对车辆的大小，长宽等特征更为重视。在定位锚框方面，更改了IoU损失函数，用更为全面的WIoU代替。对于DeepSort算法，根据车辆外观特征使用合适的输入大小尺寸，并重新编排车辆重识别网络层，使其有着和原来一样的线性输出但更好的保留外观特征。最后将改进的检测算法嵌入跟踪算法，分别训练两者模型，调用训练好的改进模型权重，使用双线撞线法实现对车流量的监测。相比于传统的检测算法，本算法使用了专门的车辆数据集和重识别数据集进行训练，且在改进算法后，在检测的精确度上，在跟踪的稳定性上均有一定的提升。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于改进多目标跟踪的交通流量监测方法，其特征在于，包括：
获取监测视频；
对监测视频进行分帧处理，得到若干帧监测图像；
将若干帧监测图像分别基于预设的改进多目标跟踪算法进行处理，得到每帧监测图像对应的车流量监测结果；
根据每帧监测图像对应的车流量监测结果生成最终的交通流量监测结果。
2.如权利要求1所述的基于改进多目标跟踪的交通流量监测方法，其特征在于，得到预设的改进多目标跟踪算法的方法，包括：
对原先DeepSort算法进行改进，得到改进DeepSort算法；
对原先yolov5算法进行改进，得到改进yolov5算法；
根据改进DeepSort算法及改进yolov5算法，得到预设的改进多目标跟踪算法。
3.如权利要求2述的基于改进多目标跟踪的交通流量监测方法，其特征在于，对原先yolov5算法进行改进，得到改进yolov5算法，包括：
获取第一数据集；
将原先yolov5算法中的锚框损失函数由CIoU损失函数修改为WIoU损失函数；将原先yolov5算法中的特征提取部分由C3模块修改为C3_Res2模块，并在SPPF之后添加了多头自注意力机制，用SGE模块对特征图从空间通道两个维度筛选其符合全局特征的部分，得到初始yolov5算法；
基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法。
4.如权利要求3述的基于改进多目标跟踪的交通流量监测方法，其特征在于，获取第一数据集，包括：
获取UA-DETRAC车辆检测数据集；
对UA-DETRAC车辆检测数据集中的全部图片间隔10帧取一张，得到若干张图片的新数据集；
对新数据集标注进行批量修改，确定为大型车辆及小型车辆，将修改完成的图片和标注汇编为第一数据集。
5.如权利要求2所述的基于改进多目标跟踪的交通流量监测方法，其特征在于，对原先DeepSort算法进行改进，得到改进DeepSort算法，包括：
获取第二数据集；
将原先DeepSort算法中的图片输入部分由随机裁剪方式改为重新更改大小，将图片输入尺寸改为64*128；
输入图片通过单层3×3卷积增大通道数，不改变特征图尺寸；并用3×3池化核最大池化，取消原先DeepSort算法的第二卷积层；
相比原先DeepSort算法网络的6层残差特征提取网络，在其基础上添加一个2层的残差网络，每一组包含两层残差网络，均含有3×3的卷积；第一层提取特征，不改变通道和尺寸；后三组第一层卷积缩小一倍尺寸，增大一倍通道；第二层卷积不改变尺寸和通道；多次特征提取后，输出变成512×4×8，使用全局平均池化操作，池化核大小为4×8，代替原先DeepSort算法的全连接操作；最后，特征图通过线性变化和批正则化操作以256通道输出语义，得到初始DeepSort算法；
基于第二数据集对初始DeepSort算法进行训练，得到改进DeepSort算法。
6.如权利要求5述的基于改进多目标跟踪的交通流量监测方法，其特征在于，获取第二数据集，包括：
获取VeRI数据集；
根据VeRI数据集中不同类别车辆的图片数量和车辆类别，选取其中若干张不同类车辆作为第二数据集。
7.如权利要求1所述的基于改进多目标跟踪的交通流量监测方法，其特征在于，基于第一数据集对初始yolov5算法进行训练，得到改进yolov5算法，包括：
计算基于yolov5算法对第一数据集中的图片的平均精度，并判断是否大于0.5；在确定平均精度大于0.5时，表示训练成功，得到改进的yolov5算法；
计算平均精度mAP，包括：
其中，P为精准度；R为召回率；TP为预测正确的正样本数量；FP为预测错误的正样本数量；FN为预测错误的负样本数量；P(R)为P值关于R的变化而形成的曲线；n为样本数量。
8.如权利要求2所述的基于改进多目标跟踪的交通流量监测方法，其特征在于，根据改进DeepSort算法及改进yolov5算法，得到预设的改进多目标跟踪算法，包括：
将改进yolov5算法嵌入改进DeepSort算法中，整体打包完整的跟踪算法，得到预设的改进多目标跟踪算法。
9.如权利要求1所述的基于改进多目标跟踪的交通流量监测方法，其特征在于，还包括对预设的改进多目标跟踪算法进行测试。
10.如权利要求9所述的基于改进多目标跟踪的交通流量监测方法，其特征在于，测试方法，包括：
采用撞线法来实现对车辆计数，通过同一个ID车辆的蓝黄线撞线先后顺序来判断车辆的上下行；
确定测试数据集；测试数据集包括拍摄视频数据集及UA-DETRAC车辆检测数据集
基于原先yolov5算法及原先DeepSort算法对拍摄视频数据集进行识别，确定第一识别结果；
基于原先yolov5算法及原先DeepSort算法对UA-DETRAC车辆检测数据集进行识别确定第二识别结果；
基于预设的改进多目标跟踪算法分别对拍摄视频数据集及UA-DETRAC车辆检测数据集进行识别，确定第三识别结果及第四识别结果；
根据第一识别结果及第二识别结果确定第一减少比值，并与预设阈值进行比较；
根据第三识别结果及第四识别结果确定第二减少比值，并与预设阈值进行比较；
在确定第一减少比值大于与预设阈值且第二减少比值大于预设阈值时，表示预设的改进多目标跟踪算法的性能合格，测试通过。
CN202311213162.9A 2023-09-19 2023-09-19 基于改进多目标跟踪的交通流量监测方法 Active CN117274927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311213162.9A CN117274927B (zh) 2023-09-19 2023-09-19 基于改进多目标跟踪的交通流量监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311213162.9A CN117274927B (zh) 2023-09-19 2023-09-19 基于改进多目标跟踪的交通流量监测方法

Publications (2)

Publication Number Publication Date
CN117274927A true CN117274927A (zh) 2023-12-22
CN117274927B CN117274927B (zh) 2024-05-17

Family

ID=89217212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311213162.9A Active CN117274927B (zh) 2023-09-19 2023-09-19 基于改进多目标跟踪的交通流量监测方法

Country Status (1)

Country Link
CN (1) CN117274927B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069969A (zh) * 2020-08-31 2020-12-11 河北省交通规划设计院 一种高速公路监控视频跨镜车辆跟踪方法及系统
CN114627447A (zh) * 2022-03-10 2022-06-14 山东大学 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN114724063A (zh) * 2022-03-24 2022-07-08 华南理工大学 一种基于深度学习的公路交通事件检测方法
CN114882351A (zh) * 2022-03-31 2022-08-09 河海大学 一种基于改进YOLO-V5s的多目标检测与跟踪方法
CN115345905A (zh) * 2022-08-22 2022-11-15 河北科技大学 目标对象跟踪方法、装置、终端及存储介质
US20230206466A1 (en) * 2021-12-27 2023-06-29 Everseen Limited System and method for tracking and identifying moving objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069969A (zh) * 2020-08-31 2020-12-11 河北省交通规划设计院 一种高速公路监控视频跨镜车辆跟踪方法及系统
US20230206466A1 (en) * 2021-12-27 2023-06-29 Everseen Limited System and method for tracking and identifying moving objects
CN114627447A (zh) * 2022-03-10 2022-06-14 山东大学 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN114724063A (zh) * 2022-03-24 2022-07-08 华南理工大学 一种基于深度学习的公路交通事件检测方法
CN114882351A (zh) * 2022-03-31 2022-08-09 河海大学 一种基于改进YOLO-V5s的多目标检测与跟踪方法
CN115345905A (zh) * 2022-08-22 2022-11-15 河北科技大学 目标对象跟踪方法、装置、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张淑卿，王亚超，肖寒: "基于改进YOLOv5的雾霾天气下行人车辆检测算法", 无线电工程, 27 July 2023 (2023-07-27), pages 1 - 9 *
王晨曦等: "基于改进ＹＯＬＯｖ５ｓ的轻量化车流量检测算法", 东北师大学报（自然科学版）, 14 September 2023 (2023-09-14), pages 1 - 8 *

Also Published As

Publication number Publication date
CN117274927B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
Li et al. A deep learning-based hybrid framework for object detection and recognition in autonomous driving
Li et al. Traffic light recognition for complex scene with fusion detections
Kumar et al. A New Vehicle Tracking System with R-CNN and Random Forest Classifier for Disaster Management Platform to Improve Performance
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
Lin et al. A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO
CN114495029B (zh) 一种基于改进YOLOv4的交通目标检测方法及系统
Hong et al. A traffic surveillance multi-scale vehicle detection object method base on encoder-decoder
Aradhya Object detection and tracking using deep learning and artificial intelligence for video surveillance applications
Espinosa et al. Motorcycle detection and classification in urban Scenarios using a model based on Faster R-CNN
Mandal et al. MotionRec: A unified deep framework for moving object recognition
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
Yang et al. DPCIAN: A novel dual-channel pedestrian crossing intention anticipation network
CN113269038A (zh) 一种基于多尺度的行人检测方法
CN117274927B (zh) 基于改进多目标跟踪的交通流量监测方法
CN116311154A (zh) 一种基于YOLOv5模型优化的车辆检测与识别方法
CN110555425A (zh) 一种视频流实时行人检测方法
CN116189286A (zh) 一种视频图像暴力行为检测模型及检测方法
US20240013521A1 (en) Sequence processing for a dataset with frame dropping
Ojala et al. Motion detection and classification: ultra-fast road user detection
Hu et al. DMFFNet: Dual-Mode Multi-Scale Feature Fusion-Based Pedestrian Detection Method
CN115240163A (zh) 一种基于一阶段检测网络的交通标志检测方法及系统
Yamamoto et al. Nighttime Traffic Sign and Pedestrian Detection Using RefineDet with Time‐Series Information
Priya et al. A NOVEL METHOD FOR OBJECT DETECTION IN AUTONOMOUS DRIVING SYSTEM USING CSPResNeXt AND YOLO-V4.
Bi et al. Evaluating the Robustness of Object Detection in Autonomous Driving System
Sun et al. SES-YOLOv8n: automatic driving object detection algorithm based on improved YOLOv8

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant