CN116993779B - 一种适于监控视频下的车辆目标跟踪方法 - Google Patents

一种适于监控视频下的车辆目标跟踪方法 Download PDF

Info

Publication number
CN116993779B
CN116993779B CN202310968240.XA CN202310968240A CN116993779B CN 116993779 B CN116993779 B CN 116993779B CN 202310968240 A CN202310968240 A CN 202310968240A CN 116993779 B CN116993779 B CN 116993779B
Authority
CN
China
Prior art keywords
tracking
track
model
target
inactivated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310968240.XA
Other languages
English (en)
Other versions
CN116993779A (zh
Inventor
廖孝勇
赵敏
孙棣华
岳强
李俊异
陈力云
代振
杨洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Digital Transportation Industry Group Co ltd
Chongqing University
Original Assignee
Chongqing Digital Transportation Industry Group Co ltd
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Digital Transportation Industry Group Co ltd, Chongqing University filed Critical Chongqing Digital Transportation Industry Group Co ltd
Priority to CN202310968240.XA priority Critical patent/CN116993779B/zh
Publication of CN116993779A publication Critical patent/CN116993779A/zh
Application granted granted Critical
Publication of CN116993779B publication Critical patent/CN116993779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适于监控视频下的车辆目标跟踪方法，包括以下步骤：改进联合检测跟踪模型TransCenter的主干网络结构，利用卷积结构构建注意力模块；改进联合检测跟踪模型TransCenter的特征融合网络，利用矩阵分解模型构建多尺度特征融合网络；设计多特征多级车辆目标匹配算法；在公开的车辆目标跟踪数据集UA‑DETRAC上训练联合车辆目标检测跟踪模型；使用训练的模型跟踪监控视频下的车辆目标。本发明适于监控视频下的车辆目标跟踪方法，能够有效降低因目标遮挡、目标相似、目标尺度快速变换等因素造成的车辆目标跟踪漂移和跟踪丢失，准确性更高、稳定性更强。

Description

一种适于监控视频下的车辆目标跟踪方法
技术领域
本发明属于智能交通技术领域，具体涉及一种适于监控视频下的车辆目标跟踪方法。
背景技术
车辆跟踪技术是智能交通系统中非常重要的一项技术，它可以实现对交通道路中的车辆实时监控和跟踪，为交通管理和控制提供重要的数据支持和决策依据。车辆目标跟踪对于研究车辆目标的行为特点具有重要的实用价值。通过对车辆的实时跟踪和监控，可以获取道路交通数据，对车辆运动行为进行分析，从而优化交通流量，提高道路通行能力和交通的安全性。但是在交通场景下，车辆运动带来的车辆间频繁的遮挡、运动模糊、多尺度和变尺度，以及车辆间的相似性，给车辆准确跟踪带来了巨大挑战。因此，如何准确的对车辆进行跟踪，成为了当下智能交通系统研究的一大难点。
车辆跟踪要使用多目标跟踪算法，多目标跟踪算法主要分为两类：一个是基于检测的跟踪范式，另一个是联合检测跟踪范式。现目前使用深度学习的车辆目标跟踪方法大多是基于检测的跟踪模型。基于检测的跟踪范式又称两阶段的跟踪方法，该方法首先对图像中的目标进行检测，确定目标的位置、大小和类型，并利用跟踪算法对相邻帧中的同一目标进行跟踪。此类方法的缺点是目标跟踪的效果依赖于检测的效果，并且检测任务和跟踪任务相互隔离，无法共享信息，难以在复杂场景下准确的进行车辆跟踪。
现有的基于检测的跟踪方法实际应用到交通场景中，由于车辆目标间的频繁遮挡、车辆目标的尺度快速变化，以及车辆间的相似性和复杂的交通环境等因素导致难以准确稳定的跟踪车辆。
查阅相关专利发现，中国专利公开了一种多目标车辆跟踪方法(公告号：CN113674328A)，其提出了一种基于检测模型的车辆多目标跟踪方法，通过RFB-Net检测器对输入视频帧进行目标车辆检测，但RFB-Net在不同尺度的目标检测上表现不一，可能会出现漏检和误检等问题，此外在拥挤场景中，RFB-Net难以准确检测和定位目标。中国专利还公开了一种基于YOLOv4的多目标车辆检测跟踪方法(公告号：CN113205108A)，其通过改进的YOLOv4目标检测网络对视频帧进行车辆检测，并通过卡尔曼滤波器对车辆位置进行预测，但卡尔曼滤波器难以适应非线性运动车辆的位置预测。上述专利与原技术相比，检测性能有所提高，但仍存在漏检、误检、具有局限性，难以预测非线性运动车辆位置的问题。
因此，亟需一种准确性更高、稳定性更强的适于监控视频下的车辆目标跟踪方法。
发明内容
有鉴于此，本发明的目的在于提供一种适于监控视频下的车辆目标跟踪方法。本发明旨解决现有车辆目标跟踪方法准确性差、稳定性低，难以应用于实际的问题。
为达到上述目的，本发明提供了一种适于监控视频下的车辆目标跟踪方法，包括以下步骤：
S1.改进联合检测跟踪模型TransCenter的主干网络结构，利用卷积结构构建注意力模块；
S2.改进联合检测跟踪模型TransCenter的特征融合网络，利用矩阵分解模型构建多尺度特征融合网络；
S3.设计多特征多级车辆目标匹配算法；
S4.在公开的车辆目标跟踪数据集UA-DETRAC上训练联合车辆目标检测跟踪模型；
S5.使用训练的模型跟踪监控视频下的车辆目标。
进一步，所述步骤S1包括以下子步骤：
S1.1通过大核卷积构建多分支大核卷积注意力模块MS-LKCA，注意力模块能够利用多分支结构提取图像上不同尺度的特征信息，并进行多尺度特征聚合，聚合后的特征信息能够作为注意力权重；
其中，大核卷积能够分解、结合，所述大核卷积包括深度可分离空洞卷积Dw-D-Conv、深度可分离卷积Dw-Conv和1×1卷积；
S1.2基于MS-LKCA构建编码器模块，所述编码器模块包括BN层、1×1卷积、GELU激活层、MS-LKCA模块和前馈网络FFN；
S1.3基于步骤S1.2构建的编码器模块搭建主干网络，主干网络分为四个阶段：Stage1、Stage2、Stage3和Stage4；
S1.4将视频序列的当前帧图像和前一帧图像输入主干网络，提取主干网络Stage1、Stage2、Stage3和Stage4对应的特征图F1、F2、F3和F4，特征图作为后续网络的输入。
进一步，所述步骤S1.3中，在主干网络的四个阶段，输出特征的空间分辨率依次递减，分别为和/>其中，H表示输入图像的高度；W表示输入图像宽度。
进一步，所述步骤S1.3中，四个阶段对应的编码器模块数量分别为3、3、12和3。
进一步，所述步骤S2包括以下子步骤：
S2.1通过矩阵分解模型MD、可变形卷积和通道注意力模块构建多尺度特征融合模块MDFF；
S2.2基于MDFF设计多尺度特征融合网络；
将主干网络四个阶段提取到的不同尺度的特征图F1、F2、F3、F4上采样到同一分辨率再将四个特征图在通道维度上级联并通过MDFF模块进行特征融合，最终得到融合后的特征图φ，特征图φ用于后续各任务分支。
进一步，所述步骤S2.2中，特征图φ的大小为
进一步，所述步骤S3包括以下子步骤：
S3.1输入当前帧的检测结果和历史跟踪轨迹集，使用GIoU计算两者之间的运动相似度进行匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，并存入历史跟踪轨迹集中；轨迹未匹配成功，保留轨迹，存入失活跟踪轨迹集中，存活周期设置为60帧；
S3.2使用GIoU计算未匹配成功的检测结果和失活的轨迹与历史跟踪轨迹的运动相似度，从而对失活的轨迹进行重识别匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，将轨迹从失活跟踪轨迹集中取出存入历史跟踪轨迹集；轨迹未匹配成功，仍保留在失活跟踪轨迹集中；
S3.3对于还未匹配成功的检测结果和失活的轨迹再次进行外观特征上的重识别匹配，计算两者外观特征的余弦距离，从而对失活的轨迹进行重识别匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，将轨迹从失活跟踪轨迹集中取出存入历史跟踪轨迹集；轨迹未匹配成功，仍保留在失活跟踪轨迹集中；
S3.4对于最终还未匹配成功的检测，进行轨迹初始化；对于失活的轨迹，存在周期超过60帧的丢弃，存在周期60帧以内的继续保留在失活跟踪轨迹集中。
进一步，所述步骤S4包括以下子步骤：
S4.1将从训练集获取的视频序列的当前帧图像、前一帧图像，以及网络得到的历史跟踪结果作为网络的输入；
S4.2生成当前帧图像中心点热图、偏移向量和边界框回归特征图作为真实输出；
S4.3根据跟踪模型的预测输出与真输出计算出模型的损失值，使用Adam优化器，在训练集上训练150个epoch，得到并保存跟踪模型的权重。
进一步，所述步骤S5包括以下子步骤：
S5.1使用设计的车辆目标跟踪模型，加载步骤S4得到的模型权重；
S5.2对输入的监控视频流数据，使用加载权重的车辆目标跟踪模型逐帧跟踪车辆目标。
本发明的有益效果在于：
本发明从实际交通场景监控视频出发，在联合检测跟踪框架TransCenter的基础上，针对原模型主干网络忽略了特征在通道维度的适应性，以及对特征局部信息利用较少，难以有效提取特征的问题，基于多分支大核卷积注意力模块MS-LKCA重新设计了主干网络，提升了特征提取能力；针对原模型特征融合网络容易出现特征语义信息流失的问题，设计了多尺度特征融模块MDFF，提升融合后特征的质量，从而增强特征对目标的表征能力；针对车辆目标之间频繁的遮挡导致目标丢失以及目标ID跳变等问题，提出了一种基于多特征的多级匹配方法；最终形成一套完整的车辆目标跟踪方法，该方法能够有效降低因目标遮挡、目标相似、目标尺度快速变换等因素造成的车辆目标跟踪漂移和跟踪丢失，提高跟踪的准确度和稳定性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
图1为本发明的总体流程图；
图2为多分支大核卷积注意力模块(MS-LKCA)的结构图；
图3为基于MS-LKCA构建的编码器的模块图；
图4为改进后的主干网络；
图5为MDFF模块的结构图；
图6为改进后的多尺度特征融合网络；
图7为基于多特征的多级车辆目标匹配算法。
具体实施方式
为使本发明的技术方案、优点和目的更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请的保护范围。
如图1所示，本发明提供了一种适于监控视频下的车辆目标跟踪方法，包括以下步骤：
S1.改进联合检测跟踪模型TransCenter的主干网络结构，利用卷积结构构建注意力模块；
S2.改进联合检测跟踪模型TransCenter的特征融合网络，利用矩阵分解模型构建多尺度特征融合网络；
S3.设计多特征多级车辆目标匹配算法；
S4.在公开的车辆目标跟踪数据集UA-DETRAC上训练联合车辆目标检测跟踪模型；
S5.使用训练的模型跟踪监控视频下的车辆目标。
步骤S1：改进联合检测跟踪模型TransCenter的主干网络结构，利用卷积结构构建注意力模块，具体包括以下子步骤：
S1.1如图2所示，通过大核卷积构建多分支大核卷积注意力模块MS-LKCA，注意力模块能够利用多分支结构提取图像上不同尺度的特征信息，并进行多尺度特征聚合，聚合后的特征信息能够作为注意力权重；
其中，大核卷积能够分解、结合，将大核卷积分解成深度可分离空洞卷积(Dw-D-Conv)、深度可分离卷积(Dw-Conv)和1×1卷积，并将这三种卷积结构结合起来；
S1.2基于MS-LKCA构建编码器模块，如图3所示，编码器模块由BN层、1×1卷积、GELU激活层、MS-LKCA模块和前馈网络(FFN)组合而成；
S1.3基于步骤S1.2构建的编码器模块搭建主干网络，如图4所示，主干网络分成了四个阶段：Stage1、Stage2、Stage3和Stage4；在主干网络的四个阶段，输出特征的空间分辨率依次递减，分别为和/>其中，H表示输入图像的高度；W表示输入图像宽度；四个阶段对应的编码器模块数量分别为3、3、12和3；
S1.4将视频序列的当前帧图像和前一帧图像输入主干网络，提取主干网络Stage1、Stage2、Stage3和Stage4对应的特征图F1、F2、F3和F4，特征图作为后续网络的输入。
步骤S2：改进联合检测跟踪模型TransCenter的特征融合网络，利用矩阵分解模型构建多尺度特征融合网络，具体包括以下子步骤：
S2.1通过矩阵分解模型MD、可变形卷积和通道注意力模块构建多尺度特征融合模块MDFF，如图5所示；
S2.2基于MDFF设计多尺度特征融合网络；
如图6所示，将主干网络四个阶段提取到的不同尺度的特征图F1、F2、F3和F4上采样到同一分辨率再将四个特征图在通道维度上级联并通过MDFF模块进行特征融合，最终得到融合后的特征图φ，特征图φ用于后续各任务分支；特征图φ的大小为
步骤S3：设计多特征多级车辆目标匹配算法，提升车辆目标的跟踪成功率和轨迹连续性，如图7所示，具体包括以下子步骤：
S3.1输入当前帧的检测结果和历史跟踪轨迹集，使用GIoU计算两者之间的运动相似度进行匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，并存入历史跟踪轨迹集中；轨迹未匹配成功，保留轨迹，存入失活跟踪轨迹集中，存活周期设置为60帧；
基于GIoU的运动特征相似度计算公式如下：
式中，SM为运动相似度，a为未匹配成功的检测结果的边界框，b为历史跟踪轨迹所记录的边界框，Area(a)和Area(b)分别代表a和b的面积，S为a与b之间的最小闭包矩形框；
S3.2使用GIoU计算未匹配成功的检测结果和失活的轨迹与历史跟踪轨迹的运动相似度，从而对失活的轨迹进行重识别匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，将轨迹从失活跟踪轨迹集中取出存入历史跟踪轨迹集；轨迹未匹配成功，仍保留在失活跟踪轨迹集中；
S3.3对于还未匹配成功的检测结果和失活的轨迹再次进行外观特征上的重识别匹配，计算两者外观特征的余弦距离，从而对失活的轨迹进行重识别匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，将轨迹从失活跟踪轨迹集中取出存入历史跟踪轨迹集；轨迹未匹配成功，仍保留在失活跟踪轨迹集中；
外观特征之间的余弦距离计算如下：
其中SA为外观相似度，Ft A为未匹配成功的检测结果的外观特征向量，为失活跟踪轨迹集中某个时刻τ的外观特征向量，cdis(·,·)为余弦距离，计算公式如下：
S3.4对于最终还未匹配成功的检测，进行轨迹初始化；对于失活的轨迹，存在周期超过60帧的丢弃，存在周期60帧以内的继续保留在失活跟踪轨迹集中。
步骤S4：对设计好的模型进行联合训练，使用公开的车辆目标跟踪数据集UA-DETRAC训练直至损失函数收敛，具体包括以下子步骤：
S4.1将从训练集获取的视频序列的当前帧图像、前一帧图像，以及网络得到的历史跟踪结果作为网络的输入；
S4.2生成当前帧图像中心点热图、偏移向量和边界框回归特征图作为真实输出；
S4.3根据跟踪模型的预测输出与真输出计算出模型的损失值，使用Adam优化器，在训练集上训练150个epoch，得到并保存跟踪模型的权重。
步骤S5：使用训练的模型跟踪监控视频下的车辆目标，具体包括以下子步骤：
S5.1使用设计的车辆目标跟踪模型，加载步骤S4得到的模型权重；
S5.2对输入的监控视频流数据，使用加载权重的车辆目标跟踪模型逐帧跟踪车辆目标。
本发明通过联合训练检测与跟踪模型，充分利用主干网络提取的特征，提高车辆跟踪的准确度；基于多分支大核卷积注意力模块MS-LKCA重新设计了主干网络，有效地增大特征感受野、获取图像的局部结构信息和捕获长距离依赖性的能力，提升了特征提取能力；设计了多尺度特征融模块MDFF，提升融合后特征的质量，从而增强特征对目标的表征能力；通过设计的一种基于多特征的多级车辆目标匹配方法，提升车辆目标匹配的成功率，进而提升车辆跟踪的稳定性，减少了车辆ID跳变的现象；之后在公开车辆跟踪数据集上训练设计好的模型，直至模型收敛，保存训练好的模型权重；依据跟踪模型和训练好的权重能够实现监控视频下的车辆目标跟踪。
本发明从交通道路实际监控环境出发，在联合检测跟踪网络TransCenter的基础上，基于提出的多分支大核卷积注意力模块改进了主干网络，基于提出的多尺度特征融合模块MDFF设计的特征融合网络，以及设计了一种基于多特征的多级车辆目标匹配算法，提出了一种适于监控视频下的车辆跟踪方法。该方法能够有效降低因目标遮挡、目标相似、目标尺度快速变换等因素造成的车辆目标跟踪漂移和跟踪丢失，提高跟踪的准确度和稳定性。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (6)

1.一种适于监控视频下的车辆目标跟踪方法，其特征在于，包括以下步骤：
S1.改进联合检测跟踪模型TransCenter的主干网络结构，利用卷积结构构建注意力模块；
S1.1通过大核卷积构建多分支大核卷积注意力模块MS-LKCA，注意力模块能够利用多分支结构提取图像上不同尺度的特征信息，并设计多尺度特征融模块MDFF，进行多尺度特征聚合，聚合后的特征信息能够作为注意力权重；
其中，大核卷积能够分解、结合，所述大核卷积包括深度可分离空洞卷积Dw-D-Conv、深度可分离卷积Dw-Conv和1×1卷积；
S1.2基于MS-LKCA构建编码器模块，所述编码器模块包括BN层、1×1卷积、GELU激活层、MS-LKCA模块和前馈网络FFN；
S1.3基于步骤S1.2构建的编码器模块搭建主干网络，主干网络分为四个阶段：Stage1、Stage2、Stage3和Stage4；
S1.4将视频序列的当前帧图像和前一帧图像输入主干网络，提取主干网络Stage1、Stage2、Stage3和Stage4对应的特征图F1、F2、F3和F4，特征图作为后续网络的输入；
S2.改进联合检测跟踪模型TransCenter的特征融合网络，利用矩阵分解模型构建多尺度特征融合网络；
S2.1通过矩阵分解模型MD、可变形卷积和通道注意力模块构建多尺度特征融合模块MDFF；
S2.2基于MDFF设计多尺度特征融合网络；
将主干网络四个阶段提取到的不同尺度的特征图F1、F2、F3和F4上采样到同一分辨率再将四个特征图在通道维度上级联并通过MDFF模块进行特征融合，最终得到融合后的特征图φ，特征图φ用于后续各任务分支；
所述步骤S2.2中，特征图φ的大小为
S3.设计多特征多级车辆目标匹配算法；
S4.在公开的车辆目标跟踪数据集UA-DETRAC上训练联合车辆目标检测跟踪模型；
S5.使用训练的模型跟踪监控视频下的车辆目标。
2.根据权利要求1所述的一种适于监控视频下的车辆目标跟踪方法，其特征在于：所述步骤S1.3中，在主干网络的四个阶段，输出特征的空间分辨率依次递减，分别为 和/>其中，H表示输入图像的高度；W表示输入图像宽度。
3.根据权利要求1所述的一种适于监控视频下的车辆目标跟踪方法，其特征在于：所述步骤S1.3中，四个阶段对应的编码器模块数量分别为3、3、12和3。
4.根据权利要求1所述的一种适于监控视频下的车辆目标跟踪方法，其特征在于，所述步骤S3包括以下子步骤：
S3.1输入当前帧的检测结果和历史跟踪轨迹集，使用GIoU计算两者之间的运动相似度进行匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，并存入历史跟踪轨迹集中；轨迹未匹配成功，保留轨迹，存入失活跟踪轨迹集中，存活周期设置为60帧；
S3.2使用GIoU计算未匹配成功的检测结果和失活的轨迹与历史跟踪轨迹的运动相似度，从而对失活的轨迹进行重识别匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，将轨迹从失活跟踪轨迹集中取出存入历史跟踪轨迹集；轨迹未匹配成功，仍保留在失活跟踪轨迹集中；
S3.3对于还未匹配成功的检测结果和失活的轨迹再次进行外观特征上的重识别匹配，计算两者外观特征的余弦距离，从而对失活的轨迹进行重识别匹配；
轨迹匹配成功，更新轨迹的外观特征、边界框信息和目标ID信息，将轨迹从失活跟踪轨迹集中取出存入历史跟踪轨迹集；轨迹未匹配成功，仍保留在失活跟踪轨迹集中；
S3.4对于最终还未匹配成功的检测，进行轨迹初始化；对于失活的轨迹，存在周期超过60帧的丢弃，存在周期60帧以内的继续保留在失活跟踪轨迹集中。
5.根据权利要求1所述的一种适于监控视频下的车辆目标跟踪方法，其特征在于，所述步骤S4包括以下子步骤：
S4.1将从训练集获取的视频序列的当前帧图像、前一帧图像，以及网络得到的历史跟踪结果作为网络的输入；
S4.2生成当前帧图像中心点热图、偏移向量和边界框回归特征图作为真实输出；
S4.3根据跟踪模型的预测输出与真输出计算出模型的损失值，使用Adam优化器，在训练集上训练150个epoch，得到并保存跟踪模型的权重。
6.根据权利要求5所述的一种适于监控视频下的车辆目标跟踪方法，其特征在于，所述步骤S5包括以下子步骤：
S5.1使用设计的车辆目标跟踪模型，加载步骤S4得到的模型权重；
S5.2对输入的监控视频流数据，使用加载权重的车辆目标跟踪模型逐帧跟踪车辆目标。
CN202310968240.XA 2023-08-03 2023-08-03 一种适于监控视频下的车辆目标跟踪方法 Active CN116993779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310968240.XA CN116993779B (zh) 2023-08-03 2023-08-03 一种适于监控视频下的车辆目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310968240.XA CN116993779B (zh) 2023-08-03 2023-08-03 一种适于监控视频下的车辆目标跟踪方法

Publications (2)

Publication Number Publication Date
CN116993779A CN116993779A (zh) 2023-11-03
CN116993779B true CN116993779B (zh) 2024-05-14

Family

ID=88522857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310968240.XA Active CN116993779B (zh) 2023-08-03 2023-08-03 一种适于监控视频下的车辆目标跟踪方法

Country Status (1)

Country Link
CN (1) CN116993779B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118038361A (zh) * 2024-01-25 2024-05-14 西安电子科技大学 一种基于四维锚框查询和轨迹存储的多目标跟踪方法、系统、设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991272A (zh) * 2019-11-18 2020-04-10 东北大学 一种基于视频跟踪的多目标车辆轨迹识别方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112927267A (zh) * 2021-03-15 2021-06-08 河海大学 一种多摄像头场景下的目标跟踪方法
CN113205108A (zh) * 2020-11-02 2021-08-03 哈尔滨理工大学 一种基于YOLOv4的多目标车辆检测跟踪方法
CN113807187A (zh) * 2021-08-20 2021-12-17 北京工业大学 基于注意力特征融合的无人机视频多目标跟踪方法
CN114005094A (zh) * 2021-10-28 2022-02-01 洛阳师范学院 航拍车辆目标检测方法、系统及存储介质
CN114372173A (zh) * 2022-01-11 2022-04-19 中国人民公安大学 一种基于Transformer架构的自然语言目标跟踪方法
CN114972805A (zh) * 2022-05-07 2022-08-30 杭州像素元科技有限公司 一种基于无锚的联合检测和嵌入的多目标跟踪方法
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN116109947A (zh) * 2022-09-02 2023-05-12 北京航空航天大学 一种基于大核等效卷积注意力机制的无人机图像目标检测方法
CN116152297A (zh) * 2023-03-21 2023-05-23 江苏大学 一种适应车辆运动特点的多目标跟踪方法
CN116434159A (zh) * 2023-04-13 2023-07-14 西安电子科技大学 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN116524362A (zh) * 2023-05-16 2023-08-01 大连海事大学 一种基于时空注意力增强的遥感图像变化检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110991272A (zh) * 2019-11-18 2020-04-10 东北大学 一种基于视频跟踪的多目标车辆轨迹识别方法
CN113205108A (zh) * 2020-11-02 2021-08-03 哈尔滨理工大学 一种基于YOLOv4的多目标车辆检测跟踪方法
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112927267A (zh) * 2021-03-15 2021-06-08 河海大学 一种多摄像头场景下的目标跟踪方法
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN113807187A (zh) * 2021-08-20 2021-12-17 北京工业大学 基于注意力特征融合的无人机视频多目标跟踪方法
CN114005094A (zh) * 2021-10-28 2022-02-01 洛阳师范学院 航拍车辆目标检测方法、系统及存储介质
CN114372173A (zh) * 2022-01-11 2022-04-19 中国人民公安大学 一种基于Transformer架构的自然语言目标跟踪方法
CN114972805A (zh) * 2022-05-07 2022-08-30 杭州像素元科技有限公司 一种基于无锚的联合检测和嵌入的多目标跟踪方法
CN116109947A (zh) * 2022-09-02 2023-05-12 北京航空航天大学 一种基于大核等效卷积注意力机制的无人机图像目标检测方法
CN116152297A (zh) * 2023-03-21 2023-05-23 江苏大学 一种适应车辆运动特点的多目标跟踪方法
CN116434159A (zh) * 2023-04-13 2023-07-14 西安电子科技大学 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN116524362A (zh) * 2023-05-16 2023-08-01 大连海事大学 一种基于时空注意力增强的遥感图像变化检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Human-Like Control for Automated Vehicles and Avoiding "Vehicle Face-Off" in Unprotected Left Turn Scenarios;Dihua Sun, et.al;IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS;20230228;第24卷(第2期);1609-1618 *
Pinjun Luo,et.al.LKD-Net: Large Kernel Convolution Network for Single Image Dehazing.2023 IEEE International Conference on Multimedia and Expo (ICME).2023,1601-1606. *
TransCenter: Transformers with Dense Representations for Multiple-Object Tracking;Yihong Xu, et.al;IEEE Transactions on Pattern Analysis and Machine Intelligence;20221128;第45卷(第1期);7820-7835 *
基于卷积注意力模块和无锚框检测网络的行人跟踪算法;张红颖，等;电子与信息学报;20220930;第44卷(第9期);3299-3307 *
基于视频检测技术的隧道停车检测与识别算法;孙棣华，等;计算机测量与控制;20131225;第21卷(第12期);3193-3196, 3200 *

Also Published As

Publication number Publication date
CN116993779A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
WO2020173226A1 (zh) 一种时空行为检测方法
Tan et al. YOLOv4_Drone: UAV image target detection based on an improved YOLOv4 algorithm
US20230267735A1 (en) Method for structuring pedestrian information, device, apparatus and storage medium
CN107862275A (zh) 人体行为识别模型及其构建方法和人体行为识别方法
Zhang et al. Coarse-to-fine object detection in unmanned aerial vehicle imagery using lightweight convolutional neural network and deep motion saliency
Zhuang et al. Real‐time vehicle detection with foreground‐based cascade classifier
Chen et al. Fast single shot multibox detector and its application on vehicle counting system
CN116993779B (zh) 一种适于监控视频下的车辆目标跟踪方法
CN113792606B (zh) 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN113763427B (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
Ma et al. Scene invariant crowd counting using multi‐scales head detection in video surveillance
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
CN111144220B (zh) 适于大数据的人员检测方法、装置、设备和介质
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
Delibasoglu et al. Motion detection in moving camera videos using background modeling and FlowNet
Rishika et al. Real-time vehicle detection and tracking using YOLO-based deep sort model: A computer vision application for traffic surveillance
Wu et al. Skeleton based temporal action detection with yolo
Shahbaz et al. Enhanced unsupervised change detector for industrial surveillance systems
Fu et al. Abandoned object detection in highway scene
Chandrasekhar et al. A survey of techniques for background subtraction and traffic analysis on surveillance video
Xie et al. Pedestrian detection and location algorithm based on deep learning
Negri Estimating the queue length at street intersections by using a movement feature space approach
Yu et al. Pedestrian Detection Based on Improved Mask R-CNN Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 400044 No. 174, positive street, Shapingba District, Chongqing

Applicant after: Chongqing University

Applicant after: Chongqing Digital Transportation Industry Group Co.,Ltd.

Address before: 400044 No. 174, positive street, Shapingba District, Chongqing

Applicant before: Chongqing University

Applicant before: Chongqing Digital Transportation Industry Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant