CN114627447A - 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 - Google Patents

基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 Download PDF

Info

Publication number
CN114627447A
CN114627447A CN202210240249.4A CN202210240249A CN114627447A CN 114627447 A CN114627447 A CN 114627447A CN 202210240249 A CN202210240249 A CN 202210240249A CN 114627447 A CN114627447 A CN 114627447A
Authority
CN
China
Prior art keywords
vehicle
tracking
module
detection
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210240249.4A
Other languages
English (en)
Inventor
田新诚
李壮
马昕
宋锐
周乐来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210240249.4A priority Critical patent/CN114627447A/zh
Publication of CN114627447A publication Critical patent/CN114627447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统，包括以下步骤：获取公路车辆视频数据；对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。本发明通过在车辆检测阶段引入注意力机制，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高了车辆检测任务的准确率。

Description

基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
技术领域
本发明属于视频目标识别跟踪技术领域，尤其涉及一种基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
跟踪目标车辆是预测目标车辆轨迹的前提，基于视觉的车辆检测和跟踪也已成为无人驾驶车辆技术不可替代的一部分。因此快速、准确的跟踪算法在智能车辆技术中具有重要意义。
基于目标检测的视觉跟踪已成为目前环境感知的重要技术之一，基于检测的跟踪(Detection-Based Tracking，DBT)可通过深度学习的方式提取深度特征来对各感兴趣目标进行稳定而准确的跟踪，以此解决了目标检测中信息无法连续的问题。国内外很多研究人员在这方面做了大量的实验研究，也取得了阶段性的成果。Kim等首次将深度特征应用于目标跟踪，利用卷积神经网络提取深度特征，并与多假设跟踪算法进行结合，最终将MOT15的成绩提升3％。Zhu等提出具有时间与空间双注意力的双匹配注意网络，加以使用效率极高的卷积跟踪器，对遮挡后恢复的目标进行重识别训练。李俊彦等利用YOLOv3目标检测算法和核相关滤波跟踪算法结合，实现了对交通车辆的长时跟踪，由于KCF算法自身只适用于单目标的弊端，其跟踪速度较低，实时性较差。周苏等使用YOLOv3目标检测算法和卡尔曼滤波跟踪算法结合，利用YOLOv3的中间层特征来计算外观特征相似度，结合马氏距离进行相似度计算来实现多目标关联，一定程度上解决了车辆遮挡引起轨迹错误的问题。
但是，由于公路车辆背景复杂，且车辆移动速度快等原因，在视频中出现的车辆目标容易产生运动模糊、车辆遮挡、目标尺寸变化等现象。这些现象导致车辆检测过程中会出现漏检或误检，或者在车辆跟踪时出现身份切换，影响最终的统计结果。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统，通过在车辆检测阶段引入注意力机制，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高了车辆检测任务的准确率。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于注意力机制和多目标跟踪的公路车辆跟踪方法，包括以下步骤：
获取公路车辆视频数据；
对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
进一步地，所述车辆检测模块的训练方法包括：
获取车辆检测训练数据集；
搭建YOLOv5s网络架构，并在主干网络上嵌入ECA注意力机制模块，得到基于嵌入注意力机制的YOLOv5s网络；
根据所述车辆检测训练数据，训练得到车辆检测模块。
进一步地，所述车辆跟踪模块训练方法包括：
获取车辆重识别训练数据集；
搭建DeepSort网络架构，所述DeepSort网络架构包括依次连接的基于卡尔曼滤波算法的位置预测器、重识别网络和基于匈牙利算法的特征匹配器；对于其中的重识别网络，对输入图像的大小进行修正，并优化损失函数；
根据所述车辆重识别训练数据，训练得到车辆跟踪模块。
进一步地，对输入图像的大小进行修正为与车辆形状相适应。
进一步地，优化后的损失函数Lvehicle_CL为：
Lvehicle_CL＝LS+λLC
其中，λ表示融合关系，LS为Softmax损失函数，LC为中心损失函数。
进一步地，所述方法还包括：根据车辆检测和跟踪结果，对车流量进行计数。
进一步地，对车流量进行计数包括：设定虚拟检测线，当车辆的经过所述虚拟检测线时，则车流量加一；并且设定车道分界线，当有车辆经过所述虚拟检测线且位于所述车道分界线左侧时，下行车流量加一，当有车辆经过所述虚拟检测线且位于所述车道分界线右侧时，上行车流量加一。
一个或多个实施例提供了一种基于注意力机制和多目标跟踪的公路车辆跟踪系统，包括：
车辆视频获取模块，用于获取公路车辆视频数据；
车辆检测跟踪模块，用于对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的公路车辆跟踪方法。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的公路车辆跟踪方法。
以上一个或多个技术方案存在以下有益效果：
在车辆检测阶段引入注意力机制，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高了车辆检测任务的准确率；
对多目标跟踪DeepSort算法进行了改进，引入中心损失函数和Softmax损失函数来对深度余弦度量进行优化，让车辆特征绕类内中心均匀分布，提高特征的分辨率，以此减小车辆身份切换次数，并对基准DeepSort算法的特征提取网络的网络结构进行改进，使其更适用于公路车辆深度外观特征的提取；
通过设置虚拟检测线和车道分界线，实现了车辆流量的上下行两个方向的准确统计；
通过采用引入注意力机制ECA的YOLOv5s目标检测模型，以及改进的DeepSort，既提高了目标检测的精度，也进一步提升了车辆跟踪的准确度，减少车辆ID切换的次数，而且保证了实时性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明一个或多个实施例中基于注意力机制的公路车辆跟踪方法整体流程图；
图2为本发明一个或多个实施例中YOLOv5s的网络结构图；
图3为本发明一个或多个实施例中YOLOv5s主干网络融入ECA注意力机制模块图；
图4为本发明一个或多个实施例中部分车辆检测数据集展示图；
图5为本发明一个或多个实施例中部分车辆重识别数据集展示图；
图6为本发明一个或多个实施例中ECA-YOLOv5s各性能指标图；
图7为本发明一个或多个实施例中原始DeepSort算法流程图；
图8为本发明一个或多个实施例中重识别网络训练loss函数图像；
图9为本发明一个或多个实施例中Attention-YOLOv5s+Improved-DeepSort车辆追踪效果图；
图10为本发明一个或多个实施例中分车道车辆计数功能显示图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种基于注意力机制的公路车辆跟踪方法，包括以下步骤：
步骤1：获取公路车辆视频数据；
步骤2：对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪。
其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，分别基于Attention-YOLOv5s与优化DeepSort构建。所述模型的训练方法包括：
(1)获取车辆检测数据集，所述数据集包括车辆检测数据集和车辆重识别数据集。
具体地，获取待监测公路不同视角下摄像头视频文件中的帧图像，将采集到的帧图像编写脚本转化为图片，接着使用labelImg工具对收集的每一张图片进行手动标注，然后使用Python将标注后生成的json文件批量转化为数据集格式，标注时，将所有的车辆都归为Car；最后得到原始图片和格式为xml的标签数据，分别放入./data/images和./data/labels文件夹下部分目标检测数据集图片如图4所示。
收集VeRi数据集(大规模城市交通监控车辆重识别图像公开数据集)中所有车辆的标注图片和标注信息，并进行数据增强，采用的数据增强方式是随机裁剪，随机调整饱和度、色调、亮度的图片参数，图片数据统一缩放到128×128分辨率。部分数据集如图5所示(为同一车辆不同角度拍摄),将其放入./deep_sort/deep/car-reid-dataset文件夹中。
(2)将所述车辆检测数据集划分为训练集、测试集和验证集；本实施例中，训练集、测试集和验证集划分比例为6:2:2。
(3)在实际的交通车辆检测场景中，背景信息的干扰和遮挡情况的存在，影响神经网络对车辆特征的提取，进而影响车辆的检测精度。因此本发明基于YOLOv5s网络架构，在主干网络上添加注意力机制模块Efficient Channel Attention Networks(ECA-Net)，得到深度学习模型，即Attention-YOLOv5s。
YOLOv5s的结构主要分为四个部分，Input输入端、Backbone主干网络、Neck网络、Head输出端。本实施例中，所述深度学习模型构建方法如下：
使用Pytorch深度学习框架依次搭建CSPDarknet53特征提取网络，并在主干网络Backbone上嵌入ECA注意力机制模块，利用其输出三个不同宽高特征图，进一步利用SSP+PAN将提取的特征进行特征融合，最后将获得的三个宽高比例不同的特征图一次性通过卷积神经网络，最后得到Attention-YOLOv5s的输入结果。
具体地，引入具有无降维特点的轻量级通道域注意力机制ECA-Net，假设输入特征图X∈RH×W×C，X有C个特征通道。
A、通常，神经网络只能学习局部感受野，不能利用该区域以外的上下文信息。因此，利用全局平均池化对全局空间信息进行压缩，即将H×W的空间维度压缩得到1×1的权重信息，全局平均池化的公式如下所示：
Figure BDA0003541200800000071
其中，Y为进行压缩操作之后的权重，H×W为空间维度信息；
B、为了让神经网络可以自适应的学习各个通道的注意力权重，考虑通过大小为k的快速一维卷积核来捕获跨通道的信息交互，一维卷积核k的大小与通道维数C有关，只要给定通道维C，就会自适应确定内核大小k为：
Figure BDA0003541200800000072
C、将上一步得到的卷积核来进行一维卷积操作，并使用Sigmoid激活函数得到每个通道的权重大小，公式如下所示：
ωc＝σ(C1Dk(y)) (3)
其中，σ是Sigmoid激活函数，其计算公式为
Figure BDA0003541200800000073
y代表的不同通道，ωc为生成的每个通道的权重，其维度为1×1×C；
D、最后将生成的注意力权重ωc与输入特征图加权求和，因此使得提取的特征指向性更强，特征利用更充分加权公式如下所示：
Figure BDA0003541200800000074
其中，
Figure BDA0003541200800000075
表示逐个元素相乘，Xc为通过ECA模块之后的输出结果。
利用ECA模块融合不同尺度的信息，对特征通道赋予不同的权重，引导模型关注更多的车辆特征，降低干扰信息的影响，从而提高检测精度，ECA模块如图3所示：
(4)基于迁移学习步骤(2)的数据集对Attention-YOLOv5s模型进行训练，以此得到最终的基于Attention-YOLOv5s车辆检测模块。
在搭建完毕的Attention-YOLOv5s的基础上，根据网络模型的输出和数据集的标签，利用损失函数GIOU_Loss进行训练，进而使用反向传播思想更新Attention-YOLOv5s的网络参数。其中，Attention-YOLOv5s的超参数设定：选择Adam优化器更新参数，初始学习率设定为0.001，数据集轮次设定为50，批量大小为16。
为了加快Attention-YOLOv5s网络模型的训练速度，避免模型出现过拟合，且节省内存空间，加快模型收敛速度，使用YOLOv5s在COCO数据集上学习到的初始权重继续在新数据集上进行训练，而不用重新开始。
表1车辆检测模型性能
检测模型 Precision Recall mAP@0.5/％
YOLOv5s 0.84 0.813 0.847
ECA-YOLOv5s 0.895 0.836 0.865
使用最终的基于Attention-YOLOv5s的车辆检测模块为接下来连接优化后的跟踪器做准备；
(5)原始的DeepSort算法流程图如图7所示。搭建DeepSort网络架构，所述DeepSort网络架构包括依次连接的基于卡尔曼滤波算法的位置预测器、重识别网络和基于匈牙利算法的特征匹配器；对于其中的重识别网络，进行以下改进：
对重识别网络结构进行改进：原始的DeepSort算法是用于行人识别，第一层卷积层是1×128×64，因此所有的输入图像都被压缩成128×64。对于不同的视角，车辆大部分情况下都偏向于正方形，原算法中大小不符合车辆目标的宽高比例。为使模型更适用于本文研究的车辆跟踪，为此对重识别网络拓扑结构进行改进，将网络的输入图像大小修改为128×128，改进的重识别网络拓扑结构如表2所示。
表2改进的重识别网络拓扑结构
Figure BDA0003541200800000091
对重识别网络模型的损失函数进行优化：深度余弦度量学习的优化，深度余弦度量学习在行人重识别领域取得的效果很佳，但如果直接迁移到车辆的重识别上具有一定的局限性，因此借鉴常用于人脸识别领域的中心损失函数，并将其与Softmax损失函数结合，使用其在车辆的重识别数据集上进行训练。
Softmax损失函数如下：
Figure BDA0003541200800000092
其中，LS为Softmax损失函数，xi表示第i维的特征，yi为网络特征的输出，m为样本个数。
LS做分类时，类间基本可分，而对特征具有很强相似性的目标进行分类的性能并不显著，且数据类内分布不均匀，因此接下来引入了中心损失函数LC函数：
Figure BDA0003541200800000093
其中，
Figure BDA0003541200800000094
表示第yi类所有特征的中心值，xi表示第i维的特征。在0时刻，中心损失函数会在网络中随机的生成一个类中心，接下来在每一个批次训练的时候，计算样本中心与类中心的距离，将计算的数值对类中心进行更新。类中心的更新计算过程为：
Figure BDA0003541200800000101
Figure BDA0003541200800000102
当yi与cj对应不一致，不更新，反之，更新yi的特征中心cj。
最终的损失函数Lvehicle_CL如下所示：
Figure BDA0003541200800000103
其中，λ表示融合关系，当λ＝0时，Lvehicle_CL就变成Softmax损失函数。LC可以非常有效地描述类内的关系，使类内关系均匀分布，且减小了类内差异。LS和LC的结合，高效地提高了神经网络提取特征的判别能力，一定程度上也减小了ID-Switch现象。
(6)用车辆重识别数据集基于迁移学习训练其车辆重识别网络，并以Attention-YOLOv5s在每帧的检测框为输入，训练Improved-DeepSort架构，得到车辆跟踪模型。具体地，基于迁移学习进行训练，使用VeRi数据集，先对一部分卷积层进行冻结，使其在反向传播时只对后面卷积层的模型参数进行修正，待模型趋向收敛时，开始对整个网络解冻，训练整个模型。重识别网络训练的loss函数图像如图8所示，且精度为96.4％，此时车辆重识别网络具有很好的的分类能力，可以准确地对短暂消失后又重新出现在视野中的车辆进行重识别。
A、利用卡尔曼滤波算法作为位置预测器，对目标的运动特征进行预测和更新，其包括以下两个过程：
预测过程：当目标的位置信息发生变化时，卡尔曼滤波器根据目标上一帧的位置与速度信息，对目标当前帧的位置与速度信息做出预测；
更新过程：根据卡尔曼滤波算法捕捉到的预测值和观测值，通过两个值进行正态分布的线性加权之后，得到当前帧目标的状态信息；
B、利用改进的重识别网络作为特征提取器对车辆重识别数据集进行训练和测试，使用优化的损失函数作为训练函数，设置训练的轮次为1000，设定优化器为Adam优化器，初始学习率设定为0.001，批量大小为32，训练结束之后，将Attention-YOLOv5s检测框中车辆图片尺寸压缩为112×112作为输入，模型输出的128维的特征向量作为接下来相似度的计算；
C、利用匈牙利算法作为特征匹配器，利用深度余弦度量得到相似度后，使用匈牙利算法对前后两帧检测框内的车辆进行匹配，匹配度大于一定阈值的被认为是同一个目标车辆，并为其分配统一的ID编号。跟踪效果如图9所示(日间、夜间)。
所述方法还包括：
步骤3：跟踪模型部署完成之后进行车流量的统计，首先设定虚拟检测线，当车辆的经过所述虚拟检测线时，则车流量加一；并且设定车道分界线，当有车辆经过所述虚拟检测线且位于所述车道分界线左侧时，下行车流量加一，当有车辆经过所述虚拟检测线且位于所述车道分界线右侧时，上行车流量加一。车流量统计效果如图10所示(日间、夜间)。
实施例二
本实施例的目的是提供一种基于注意力机制和多目标跟踪的公路车辆跟踪系统，所述系统包括：
车辆视频获取模块，用于获取公路车辆视频数据；
车辆检测跟踪模块，用于对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
实施例三
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中所述的方法。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一中所述的方法。
以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
以上一个或多个实施例具有以下技术效果：
采用了Attention-YOLOv5s+Improved-DeepSort车辆检测和追踪模型，既提高了目标检测的精度，也进一步提升了车辆跟踪的准确度，减少车辆ID切换的次数，而且保证了实时性；
在YOLOv5s主干网络中引入通道域注意力机制ECA模块，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高YOLOv5s算法在车辆检测任务中的准确率；
原始的DeepSort算法针对于行人目标的跟踪，使用深度余弦度量学习来计算对象之间的余弦距离，对深度学习网络进行训练，最终得到深度学习权重，若直接迁移到车辆的重识别上具有一定的局限性。不同车辆的轮廓虽与不同行人轮廓的性质一样，变化甚微，即类间差异小。但在进行车辆跟踪的时候，一般车速较快，方向变化较多，远远超出行人姿态与位置的变化频率，即类内差异大。对于交通车辆而言，类内差异大于类间差异。若直接将训练好的网络权重用于车辆数据集中，外观特征提取效果不佳，本发明提出结合Sigmoid损失函数和中心损失函数的损失函数，增大类间与类内距离，保持类内紧凑，增强网络的判断能力。
对DeepSort算法中重识别网络拓扑结构进行改进，使模型更适用于车辆跟踪；
本发明使用车道区分线实现车流量上、下两个方向统计，使其更适用于双向车道的车流量统计。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于注意力机制和多目标跟踪的公路车辆跟踪方法，其特征在于，包括以下步骤：
获取公路车辆视频数据；
对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
2.如权利要求1所述的公路车辆跟踪方法，其特征在于，所述车辆检测模块的训练方法包括：
获取车辆检测训练数据集；
搭建YOLOv5s网络架构，并在主干网络上嵌入ECA注意力机制模块，得到基于嵌入注意力机制的YOLOv5s网络；
根据所述车辆检测训练数据，训练得到车辆检测模块。
3.如权利要求1所述的公路车辆跟踪方法，其特征在于，所述车辆跟踪模块训练方法包括：
获取车辆重识别训练数据集；
搭建DeepSort网络架构，所述DeepSort网络架构包括依次连接的基于卡尔曼滤波算法的位置预测器、重识别网络和基于匈牙利算法的特征匹配器；对于其中的重识别网络，对输入图像的大小进行修正，并优化损失函数；
根据所述车辆重识别训练数据，训练得到车辆跟踪模块。
4.如权利要求3所述的公路车辆跟踪方法，其特征在于，对输入图像的大小进行修正为与车辆形状相适应。
5.如权利要求3所述的公路车辆跟踪方法，其特征在于，优化后的损失函数Lvehicle_CL为：
Lvehicle_CL＝LS+λLC
其中，λ表示融合关系，LS为Softmax损失函数，LC为中心损失函数。
6.如权利要求1所述的公路车辆跟踪方法，其特征在于，所述方法还包括：根据车辆检测和跟踪结果，对车流量进行计数。
7.如权利要求6所述的公路车辆跟踪方法，其特征在于，对车流量进行计数包括：设定虚拟检测线，当车辆的经过所述虚拟检测线时，则车流量加一；并且设定车道分界线，当有车辆经过所述虚拟检测线且位于所述车道分界线左侧时，下行车流量加一，当有车辆经过所述虚拟检测线且位于所述车道分界线右侧时，上行车流量加一。
8.一种基于注意力机制和多目标跟踪的公路车辆跟踪系统，其特征在于，包括：
车辆视频获取模块，用于获取公路车辆视频数据；
车辆检测跟踪模块，用于对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的公路车辆跟踪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的公路车辆跟踪方法。
CN202210240249.4A 2022-03-10 2022-03-10 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 Pending CN114627447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210240249.4A CN114627447A (zh) 2022-03-10 2022-03-10 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210240249.4A CN114627447A (zh) 2022-03-10 2022-03-10 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN114627447A true CN114627447A (zh) 2022-06-14

Family

ID=81901896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210240249.4A Pending CN114627447A (zh) 2022-03-10 2022-03-10 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN114627447A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115077549A (zh) * 2022-06-16 2022-09-20 南昌智能新能源汽车研究院 车辆状态跟踪方法、系统、计算机及可读存储介质
CN115131760A (zh) * 2022-07-17 2022-09-30 西北工业大学 一种基于改进特征匹配策略的轻量级车辆追踪方法
CN116563800A (zh) * 2023-04-26 2023-08-08 北京交通大学 基于轻量化YOLOv3的隧道内车辆检测方法及系统
CN116580056A (zh) * 2023-05-05 2023-08-11 武汉理工大学 一种船舶检测与跟踪方法、装置、电子设备及存储介质
CN117274927A (zh) * 2023-09-19 2023-12-22 盐城工学院 基于改进多目标跟踪的交通流量监测方法
CN117670938A (zh) * 2024-01-30 2024-03-08 江西方兴科技股份有限公司 一种基于治超机器人的多目标时空跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
CN113392728A (zh) * 2021-05-28 2021-09-14 杭州电子科技大学 一种基于ssa锐化注意机制的目标检测方法
CN113705478A (zh) * 2021-08-31 2021-11-26 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法
CN113824880A (zh) * 2021-08-26 2021-12-21 国网浙江省电力有限公司双创中心 一种基于目标检测和uwb定位的车辆跟踪方法
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
CN114038193A (zh) * 2021-11-08 2022-02-11 华东师范大学 基于无人机和多目标追踪的智能交通流量数据统计方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
CN113392728A (zh) * 2021-05-28 2021-09-14 杭州电子科技大学 一种基于ssa锐化注意机制的目标检测方法
CN113824880A (zh) * 2021-08-26 2021-12-21 国网浙江省电力有限公司双创中心 一种基于目标检测和uwb定位的车辆跟踪方法
CN113705478A (zh) * 2021-08-31 2021-11-26 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
CN114038193A (zh) * 2021-11-08 2022-02-11 华东师范大学 基于无人机和多目标追踪的智能交通流量数据统计方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李永上， 马荣贵， 张美月: ""改进 YOLOv5s+DeepSORT 的监控视频车流量统计"", 《计算机工程与应用》, vol. 58, no. 5, 1 March 2022 (2022-03-01), pages 271 - 279 *
金立生，华强等: ""基于优化 DeepSort 的前方车辆多目标跟踪"", 《浙江大学学报》, vol. 55, no. 6, 30 June 2021 (2021-06-30), pages 1056 - 1064 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115077549A (zh) * 2022-06-16 2022-09-20 南昌智能新能源汽车研究院 车辆状态跟踪方法、系统、计算机及可读存储介质
CN115077549B (zh) * 2022-06-16 2024-04-26 南昌智能新能源汽车研究院 车辆状态跟踪方法、系统、计算机及可读存储介质
CN115131760A (zh) * 2022-07-17 2022-09-30 西北工业大学 一种基于改进特征匹配策略的轻量级车辆追踪方法
CN115131760B (zh) * 2022-07-17 2024-04-19 西北工业大学 一种基于改进特征匹配策略的轻量级车辆追踪方法
CN116563800A (zh) * 2023-04-26 2023-08-08 北京交通大学 基于轻量化YOLOv3的隧道内车辆检测方法及系统
CN116580056A (zh) * 2023-05-05 2023-08-11 武汉理工大学 一种船舶检测与跟踪方法、装置、电子设备及存储介质
CN116580056B (zh) * 2023-05-05 2023-11-17 武汉理工大学 一种船舶检测与跟踪方法、装置、电子设备及存储介质
CN117274927A (zh) * 2023-09-19 2023-12-22 盐城工学院 基于改进多目标跟踪的交通流量监测方法
CN117274927B (zh) * 2023-09-19 2024-05-17 盐城工学院 基于改进多目标跟踪的交通流量监测方法
CN117670938A (zh) * 2024-01-30 2024-03-08 江西方兴科技股份有限公司 一种基于治超机器人的多目标时空跟踪方法
CN117670938B (zh) * 2024-01-30 2024-05-10 江西方兴科技股份有限公司 一种基于治超机器人的多目标时空跟踪方法

Similar Documents

Publication Publication Date Title
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN105488517B (zh) 一种基于深度学习的车辆品牌型号识别方法
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN114241053B (zh) 基于改进的注意力机制FairMOT多类别跟踪方法
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN116402850A (zh) 一种面向智能驾驶的多目标跟踪方法
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
CN111340842A (zh) 一种基于联合模型的相关滤波目标跟踪算法
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN110852255B (zh) 一种基于u型特征金字塔的交通目标检测方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN114998611A (zh) 一种基于结构融合的目标轮廓检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination