CN115359407A - 一种视频中的多车辆跟踪方法 - Google Patents

一种视频中的多车辆跟踪方法 Download PDF

Info

Publication number
CN115359407A
CN115359407A CN202211070668.4A CN202211070668A CN115359407A CN 115359407 A CN115359407 A CN 115359407A CN 202211070668 A CN202211070668 A CN 202211070668A CN 115359407 A CN115359407 A CN 115359407A
Authority
CN
China
Prior art keywords
target
loss function
sample
feature
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211070668.4A
Other languages
English (en)
Inventor
王连涛
王钦旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202211070668.4A priority Critical patent/CN115359407A/zh
Publication of CN115359407A publication Critical patent/CN115359407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频中的多车辆跟踪方法，包括构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型，构造实例和维度双重对比的目标特征损失函数和目标检测损失函数，将网络模型在无身份标签的目标检测数据集下训练，构造添加占位符机制的视觉相似性关联方法；将待进行多车辆跟踪的视频数据逐帧转化为图像，依次传入训练好的神经网络进行车辆的目标检测和特征提取，对相邻两帧图像间的所有车辆特征进行关联匹配，遍历全部帧图像后得到检测区域内所有车辆的跟踪结果。本发明减少了额外计算开销，提高了模型计算速度，极大地降低了构建目标跟踪数据集的成本，避免车辆目标因暂时遮挡消失又重新出现导致的跟踪不稳定，使多车辆跟踪更加准确。

Description

一种视频中的多车辆跟踪方法
技术领域
本发明属于模式识别技术领域，涉及一种视频中的多车辆跟踪方法。
背景技术
多车辆跟踪任务包括了目标检测、视觉表征和数据关联三个模块。在现有的多车辆跟踪方法中，模型多为两阶段模式，即先对待检测区域进行目标检测，再将检测的目标图像或提取的目标特征进行视觉表征和数据关联；模型的训练大多需要在专门的具有目标位置、目标大小和目标身份信息的数据集上进行，需要大量的人工标注；在多车辆目标跟踪过程中，常因为车辆目标被遮挡后又重新出现而导致跟踪丢失。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种视频中的多车辆跟踪方法，减少了额外计算开销，提高了模型计算速度，极大地降低了构建目标跟踪数据集的成本，有效的记录消失和新出现的车辆，避免车辆目标因暂时遮挡消失又重新出现导致的跟踪不稳定，使多车辆跟踪更加准确。
为达到上述目的，本发明是采用下述技术方案实现的：
一种视频中的多车辆跟踪方法，包括如下步骤：
对采集的图像进行图像随机变换，形成数据增强算法集合
Figure BDA0003830036770000011
采用随机抽样的方法将图像数据集等分为若干个实例集Zi，每个实例集都有对应的标签集Ei，i∈{1,2,…T}，T为实例集个数；
从数据增强算法集合
Figure BDA0003830036770000012
中随机选取一种算法
Figure BDA0003830036770000013
对每个实例Zi,Ei进行变换，获得样本集合Z'i,E'i；
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型，成对提取两个样本集合Zi和Z'i的特征矩阵，记为hi和h'i；
根据样本集合的特征矩阵构建具有相同结构的分支网络，分别对特征矩阵hi和hi′进行预测，得到热力图Fi和F'i，中心偏移Oi和O'i，目标大小Si和S'i；
根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型，两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i，目标特征表征Hi和H'i经投影得到目标特征矩阵，记为Li和L'i；
将目标特征矩阵Li和L'i分别沿行列向量划分，得到实例特征和维度特征，构建正、负实例特征对和相关、无关维度特征对；
通过余弦距离度量函数计算实例特征对间的特征关系，通过相关系数度量函数计算维度特征对间的特征关系，构造实例特征和维度特征双重对比损失函数作为目标特征损失函数；
利用高斯模型将标签Ei,E'i中真实边界框信息映射为热力图
Figure BDA0003830036770000021
并计算标签目标中心点偏移量
Figure BDA0003830036770000022
和目标大小
Figure BDA0003830036770000023
通过Focal Loss损失函数计算样本热力特征图Fi与
Figure BDA0003830036770000024
F'i与
Figure BDA0003830036770000025
之间的关系，通过
Figure BDA0003830036770000026
损失函数计算样本中心点偏移量Oi与
Figure BDA0003830036770000027
O'i与
Figure BDA0003830036770000028
之间的关系和样本目标大小Si与
Figure BDA0003830036770000029
S'i与
Figure BDA00038300367700000210
之间的关系，根据计算的损失函数，构造目标检测损失函数，并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数；
根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练；
视频数据集
Figure BDA00038300367700000211
包含N帧图像，将第一帧图像I1送入经过训练的深度神经网络模型中，得到相应的中心点位置P1、边界框大小S1和目标的特征矩阵H1，初始化所有目标的身份信息和轨迹信息；
对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系，对于同一目标进行轨迹更新，对新出现的目标为其初始化身份和轨迹；
深度神经网络模型遍历完所有帧图像后最终获得视频数据的跟踪结果
Figure BDA00038300367700000212
可选的，图像随机变换包括随机水平翻转、随机灰度化、颜色抖动、高斯模糊、高斯噪声、锐化和过曝。
可选的，图像数据集为目标检测数据集，即每张图像都包含目标位置和大小的标签信息；对于图像中的某一目标k，其标签信息为
Figure BDA0003830036770000031
为目标边界框左上角的横纵坐标值，
Figure BDA0003830036770000032
为目标边界框宽高。
可选的，车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·)；编码器f(·)为由多层卷积神经网络组成的网络模型，编码器f(·)用于提取样本集合的嵌入表示，计算公式如下：
Figure BDA0003830036770000033
B是样本集合中的样本数量，D是嵌入向量的大小，
Figure BDA0003830036770000038
表示实数集。
可选的，编码器f(·)包括DarkNet-53、ResNet-50、DLA-34。
可选的，具有相同结构的分支网络为预测头pj(·)，j＝{1,2,3},分别用于预测热力图、中心偏移向量和目标大小；
每个预测头pj(·)对特征图进行卷积核大小为3×3的卷积计算，通过批次归一化层和非线性激活函数计算后，通过1×1的卷积计算得到样本集合的预测矩阵，用来对样本集合的嵌入表示进行预测，计算公式如下：
Figure BDA0003830036770000034
I是样本热力特征图的大小；
Figure BDA0003830036770000035
J是样本目标中心点偏移向量预测的大小；
Figure BDA0003830036770000036
K是样本目标尺寸预测的大小。
可选的，目标特征表征网络模型为目标特征表征器c(·)，投影层网络模型为投影头g(·)；
目标特征表征器c(·)包括卷积神经网络和特征通道集合网络，目标的特征表示为经卷积计算所得特征矩阵的目标中心点坐标处所有通道的集合，计算公式如下：
Figure BDA0003830036770000037
N是样本目标中心点的数量,D是卷积计算所得特征矩阵的通道数；
投影头g(·)包含三层全连接网络，前两层之后连接批次归一化层和非线性激活函数，计算得到样本集合的特征矩阵，计算公式如下：
Figure BDA0003830036770000041
M是样本输出目标特征矩阵的大小。
可选的，将两个特征矩阵Li和L'i按行划分，得到实例表示集合
Figure BDA0003830036770000042
Figure BDA0003830036770000043
t表示图像增强算法，其中1为不使用图像增强算法，i为实例索引，从集合S中构造实例对
Figure BDA0003830036770000044
为正对，i≠j为负对；将两个特征矩阵Li和L'i按列划分，得到特征维度集合
Figure BDA0003830036770000045
p为维度索引，从集合D中构造维度对
Figure BDA0003830036770000046
为相关对，p≠k为无关对。
可选的，通过余弦距离度量函数计算实例特征对间的相似度，余弦距离度量函数公式为：
Figure BDA0003830036770000047
|·|表示求样本特征的模长；
通过相关系数度量函数计算维度特征对间的相关性，相关系数度量函数公式为：
Figure BDA0003830036770000048
Figure BDA0003830036770000049
和
Figure BDA00038300367700000410
是维度特征中所有元素的平均值；
实例特征对比损失函数为：
Figure BDA00038300367700000411
维度特征对比损失函数为：
Figure BDA00038300367700000412
τ1,τ2为损失函数的超参数，表示温度参数；
结合实例特征对比损失函数
Figure BDA00038300367700000413
和维度特征对比损失函数
Figure BDA00038300367700000414
得到目标特征损失函数如下：
Figure BDA00038300367700000415
其中λ为控制损失平衡的参数。
可选的，样本数据集中表示目标位置和大小的标签信息为(x1,y1,x2,y2)，其中心点
Figure BDA0003830036770000051
Figure BDA0003830036770000052
向下取整得
Figure BDA0003830036770000053
利用高斯模型将标签中真实边界框信息映射为热力图
Figure BDA0003830036770000054
其计算公式为：
Figure BDA0003830036770000055
Yxy为热力图映射值，表示热力图
Figure BDA0003830036770000056
上(x,y)坐标像素的值，
Figure BDA0003830036770000057
是与边界框大小相关的方差，若两个中心点的高斯分布发生重叠，则取最大值；
计算标签目标中心点偏移量
Figure BDA0003830036770000058
和目标大小
Figure BDA0003830036770000059
公式如下：
Figure BDA00038300367700000510
pi,p'i分别为Zi,Z'i的目标中心点坐标值；
Figure BDA00038300367700000511
可选的，通过Focal Loss损失函数计算样本热力特征图Fi与
Figure BDA00038300367700000512
F'i与
Figure BDA00038300367700000513
之间的关系，Focal Loss损失函数公式为：
Figure BDA00038300367700000514
Figure BDA00038300367700000515
表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值，c为待检测目标的类别数；α和β为超参数，用于均衡难易样本数量；Yxyc表示热力特征图
Figure BDA00038300367700000516
上(x,y)处坐标像素的标签值；N是样本目标中心点的数量；
Figure BDA00038300367700000517
通过
Figure BDA00038300367700000518
损失函数计算样本中心点偏移量Oi与
Figure BDA00038300367700000519
O'i与
Figure BDA00038300367700000520
之间的关系，其损失函数计算公式为：
Figure BDA00038300367700000521
通过
Figure BDA00038300367700000522
损失函数计算样本目标大小Si与
Figure BDA00038300367700000523
S'i与
Figure BDA00038300367700000524
之间的关系，其损失函数计算公式为：
Figure BDA00038300367700000525
通过固定权重的方式将三个分支的损失函数相加，以得到检测目标的整体损失，其损失函数计算公式如下：
Figure BDA00038300367700000526
λ1,λ2为固定权重；
将目标检测损失函数与目标特征损失函数结合，构造整体的损失函数，计算公式如下：
Figure BDA0003830036770000061
其中w1,w2是平衡两个任务的可学习参数。
可选的，将变换的样本集合Z'i和标签集合E'i，与原样本集合Zi和原标签集合Ei成对地输入深度神经网络模型，样本集合经计算得到特征矩阵，特征矩阵经计算得到对应的预测热力图、中心偏移量和目标大小，特征矩阵再经计算得到对应的目标特征矩阵，标签集合经计算得到对应的标签热力图、中心偏移量和目标大小，将预测热力图、中心偏移量和目标大小、目标特征矩阵、标签热力图、中心偏移量和目标大小的结果代入目标检测与特征计算总损失函数中进行计算，深度神经网络模型根据总损失函数反向传播以自动调整优化模型参数。
可选的，将视频数据集
Figure BDA0003830036770000062
中的第一张图像I1输入已经训练好的深度神经网络模型中获得初始化的身份信息和轨迹信息，其计算公式如下：
Figure BDA0003830036770000063
H1＝c(f(I1))；
由热力图F1和中心点偏移量O1可以计算出目标中心点位置，计算公式如下：
P1＝q(F1,O1)。
可选的，将视频数据集
Figure BDA0003830036770000064
中的所有图像送入经过训练的深度神经网络模型中进行计算，记录跟踪目标的轨迹
Figure BDA0003830036770000065
其中
Figure BDA0003830036770000066
表示目标i在t帧的轨迹信息，
Figure BDA0003830036770000067
为中心点坐标，
Figure BDA0003830036770000068
为边界框大小，
Figure BDA0003830036770000069
为目标的特征表示，IDi为目标的身份标识，li为存活时间参数；
通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系，计算公式为：
Figure BDA00038300367700000610
相似度矩阵
Figure BDA00038300367700000611
Nt-1,Nt为第t-1,t帧图像中的目标数量，若目标i和目标j具有相同身份，则Si,j>0，否则Si,j<0；
在相似度矩阵Si,j后面增加一列固定数值的列向量P作为占位符构成新矩阵
Figure BDA0003830036770000071
Figure BDA0003830036770000072
P的数值为相似度矩阵Si,j中除对角线以外所有元素的平均值，占位符用于匹配消失的目标或新出现的目标；
将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算，得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M：
Figure BDA0003830036770000073
T为温度参数，
使用自适应温度调节T：
T＝2log(Nt-1+Nt+1)；
记录所有目标的检测结果
Figure BDA0003830036770000074
其中Nt表示第t帧图像中的目标数量，
Figure BDA0003830036770000075
Figure BDA0003830036770000076
对连续两帧图像的特征矩阵进行AFRS关联算法，若当前帧存在目标i，并与上一帧关联成功，则使用检测结果
Figure BDA0003830036770000077
对目标轨迹进行更新，同时将中心点坐标
Figure BDA0003830036770000078
边界框大小
Figure BDA0003830036770000079
身份标识IDi以及当前帧数t保存到跟踪结果
Figure BDA00038300367700000710
中。若关联失败，则保持上一帧的轨迹信息不变，并将存活时间li加1，若li>30，则认为该目标已经离开跟踪画面。
可选的，将视频数据集逐帧输入经过训练的深度神经网络模型得到对应的目标检测预测和目标特征矩阵，代入AFRS关联算法，关联各目标之间的特征关系，记录所有目标轨迹和身份信息于跟踪结果
Figure BDA00038300367700000711
中。
与现有技术相比，本发明所达到的有益效果：
本发明提供的一种视频中的多车辆跟踪方法，构建了一种车辆检测与自监督视觉表征相融合的跟踪框架，将传统的两阶段式车辆跟踪模型中的目标检测和视觉表征模块相融合，同时进行目标检测和高鉴别性视觉表征的学习，减少额外的计算开销，提高模型计算速度；
本发明通过数据增强算法获得同一图像的不同视图样本，并根据实例和维度双重对比损失函数最大化不同视图样本相同目标间的关系，使模型能够提取到准确的目标特征，相对于传统的基于监督学习的目标跟踪算法而言，在训练时不依赖数据集中的身份标签而学习目标自身的信息，在传统的目标检测数据集上就能训练，不需要再构建专门的目标跟踪数据集，极大地降低了需要人工标注的数据集的成本；
本发明设计了添加占位符机制的视觉相似性关联算法AFRS，以目标特征表示为基础，计算帧间目标对的相似度，构建关联矩阵，更简单地识别出消失和新出现的目标，在多车辆场景下仍能对全部车辆目标进行准确跟踪，并暂时保存消失目标的特征，设置存活时间来判断目标是否离开跟踪画面，极大地缓解了因目标遮挡带来的跟踪不稳定问题。
附图说明
图1为本发明实施例的车辆检测与自监督视觉表征学习相融合的深度神经网络模型训练流程图；
图2为本发明实施例UA-DETRAC数据集部分样例；
图3为本发明实施例数据增强变换图片；
图4为本发明实施例添加占位符机制的视觉相似性关联方法流程图；
图5为本发明实施例多车辆跟踪流程图；
图6为本发明实施例待进行多车辆跟踪的道路监控视频数据的初始帧图像和末尾帧图像；
图7为本发明实施例多车辆跟踪结果展示。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在本文中所披露范围的端点和任何值都不限于该精确的范围或值，这些范围或值应该理解为包含接近这些范围或值的值。对于数值范围来说，各个范围的端点值之间、各个范围的端点值和单独的点值之间，以及单独的点值之间可以彼此组合而得到一个或多个新的数值范围，这些数值范围应被视为在本文中具体公开。
出于本说明书和所附权利要求书的目的，除非另有陈述，否则所有表达量、百分数或比例的数字及本说明书和所附权利要求书中所用的其他数值被理解为在所有情况下都由术语“约”修饰。此外，本文公开的所有范围都包括端点在内且可独立组合。
实施例一
图2为UA-DETRAC数据集中部分样例展示，该数据集采集了现实世界24个不同地点超过14万帧的道路监控视频图像，并对其中8250辆车进行身份标注，数据集标注了超121万个带标签的对象边界框。
如图1至7所示，一种视频中的多车辆跟踪方法，包括如下步骤：
S1，对图像进行图像随机变换，形成数据增强算法集合
Figure BDA0003830036770000091
图像随机变换为随机水平翻转、随机灰度化或颜色抖动，各个方法的具体参数依循当前自监督训练的通用方案设置；
S2，采用随机抽样的方法将图像数据集等分为若干个实例集Zi，每个实例集都有对应的标签集Ei，i∈{1,2,…T}，T为实例集个数；
图像数据集为目标检测数据集，即每张图像都包含目标位置和大小的标签信息；对于图像中的某一目标k，其标签信息为
Figure BDA0003830036770000092
为目标边界框左上角的横纵坐标值，
Figure BDA0003830036770000093
为目标边界框宽高；
S3，从数据增强算法集合
Figure BDA0003830036770000094
中随机选取一种算法
Figure BDA0003830036770000095
对每个实例Zi,Ei进行变换，获得样本集合Z'i,E'i；
实例Zi经过数据增强算法
Figure BDA0003830036770000096
变换后，其标签信息也经历相同变换，以保证变换后的标签信息E'i与Z'i对应；
S4，根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型，成对提取两个样本集合Zi和Z'i的特征矩阵，记为hi和h'i；
构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·)；
编码器f(·)为DLA-34网络模型，编码器f(·)用于提取样本集合的嵌入表示，计算公式如下：
Figure BDA0003830036770000097
B是样本集合中的样本数量，D是嵌入向量的大小，
Figure BDA0003830036770000098
表示实数集；
S5，根据样本集合的特征矩阵构建三个具有相同结构的分支网络，分别对特征矩阵hi和hi′进行预测，得到热力图Fi和F'i，中心偏移Oi和O'i，目标大小Si和S'i；
三个具有完全相同结构的分支网络为预测头pj(·)，j＝{1,2,3},分别用于预测热力图、中心偏移向量和目标大小；
其中每个预测头pj(·)对特征图先进行卷积核大小为3×3的卷积计算，再通过批次归一化层和非线性激活函数计算后，最终通过一个1×1的卷积计算得到样本集合的预测矩阵，用来对S4中的样本集合的嵌入表示进行预测，计算公式如下：
Figure BDA0003830036770000101
I是样本热力特征图的大小；
Figure BDA0003830036770000102
J是样本目标中心点偏移向量预测的大小；
Figure BDA0003830036770000103
K是样本目标尺寸预测的大小。
S6，根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型，两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i，目标特征表征Hi和H'i经投影得到目标特征矩阵，记为Li和L'i；
目标特征表征网络模型为目标特征表征器c(·)，投影层网络模型为投影头g(·)；
目标特征表征器c(·)包括两层卷积神经网络和一个特征通道集合网络，目标的特征表示为经卷积计算所得特征矩阵的目标中心点坐标处所有通道的集合，计算公式如下：
Figure BDA0003830036770000104
N是样本目标中心点的数量,D是卷积计算所得特征矩阵的通道数；
投影头g(·)包含三层全连接网络，前两层之后连接批次归一化层和非线性激活函数，计算得到样本集合的特征矩阵，计算公式如下：
Figure BDA0003830036770000105
M是样本输出目标特征矩阵的大小；
S7，将目标特征矩阵Li和L'i分别沿行列向量划分，得到实例特征和维度特征，构建正、负实例特征对和相关、无关维度特征对；
两个特征矩阵Li和L'i按行划分，得到实例表示集合
Figure BDA0003830036770000106
t表示图像增强算法，其中1为不使用图像增强算法，i为实例索引，从集合S中构造实例对
Figure BDA0003830036770000107
为正对，i≠j为负对；两个特征矩阵Li和L'i按列划分，得到特征维度集合
Figure BDA0003830036770000108
Figure BDA0003830036770000109
p为维度索引，从集合D中构造维度对
Figure BDA00038300367700001010
为相关对，p≠k为无关对；
S8，通过余弦距离度量函数计算实例特征对间的相似度，通过相关系数度量函数计算维度特征对间的相关性，构造实例特征和维度特征双重对比损失函数作为目标特征损失函数；
余弦距离度量函数公式为：
Figure BDA0003830036770000111
||·||表示求样本特征的模长；
相关系数度量函数公式为：
Figure BDA0003830036770000112
Figure BDA0003830036770000113
和
Figure BDA0003830036770000114
是维度特征中所有元素的平均值；
实例特征对比损失函数为：
Figure BDA0003830036770000115
维度特征对比损失函数为：
Figure BDA0003830036770000116
τ1,τ2为损失函数的超参数，表示温度参数；
结合实例特征对比损失函数
Figure BDA0003830036770000117
和维度特征对比损失函数
Figure BDA0003830036770000118
得到目标特征损失函数如下：
Figure BDA0003830036770000119
其中λ为控制损失平衡的参数；
S9，利用高斯模型将标签Ei,E'i中真实边界框信息映射为热力图
Figure BDA00038300367700001110
并计算标签目标中心点偏移量
Figure BDA00038300367700001111
和目标大小
Figure BDA00038300367700001112
对于样本数据集中表示目标位置和大小的标签信息(x1,y1,x2,y2)，其中心点
Figure BDA00038300367700001113
Figure BDA00038300367700001114
向下取整得
Figure BDA00038300367700001115
利用高斯模型将标签中真实边界框信息映射为热力图
Figure BDA00038300367700001116
其计算公式为：
Figure BDA00038300367700001117
Yxy为热力图映射值，表示热力图
Figure BDA00038300367700001118
上(x,y)坐标像素的值，
Figure BDA00038300367700001119
是与边界框大小相关的方差，若两个中心点的高斯分布发生重叠，则取最大值；
计算标签目标中心点偏移量
Figure BDA00038300367700001120
和目标大小
Figure BDA00038300367700001121
公式如下：
Figure BDA00038300367700001122
pi,p'i分别为Zi,Z'i的目标中心点坐标值；
Figure BDA00038300367700001123
S10，通过Focal Loss损失函数计算样本热力特征图Fi与
Figure BDA0003830036770000121
F'i与
Figure BDA0003830036770000122
之间的关系，通过
Figure BDA0003830036770000123
损失函数计算样本中心点偏移量Oi与
Figure BDA0003830036770000124
O'i与
Figure BDA0003830036770000125
之间的关系和样本目标大小Si与
Figure BDA0003830036770000126
S'i与
Figure BDA0003830036770000127
之间的关系，将三者损失函数结合，构造目标检测损失函数，并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数；
Focal Loss损失函数公式为：
Figure BDA0003830036770000128
表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值，c为待检测目标的类别数；α和β为超参数，用于均衡难易样本数量；Yxyc表示热力特征图
Figure BDA0003830036770000129
上(x,y)处坐标像素的标签值；N是样本目标中心点的数量；
Figure BDA00038300367700001210
通过
Figure BDA00038300367700001211
损失函数计算样本中心点偏移量Oi与
Figure BDA00038300367700001212
O'i与
Figure BDA00038300367700001213
之间的关系，其损失函数计算公式为：
Figure BDA00038300367700001214
通过
Figure BDA00038300367700001215
损失函数计算样本目标大小Si与
Figure BDA00038300367700001216
S'i与
Figure BDA00038300367700001217
之间的关系，其损失函数计算公式为：
Figure BDA00038300367700001218
通过固定权重的方式将三个分支的损失函数相加，以得到检测目标的整体损失，其损失函数计算公式如下：
Figure BDA00038300367700001219
λ1,λ2为固定权重；
将目标检测损失函数与步骤(8)的目标特征损失函数结合，构造整体的损失函数，计算公式如下：
Figure BDA00038300367700001220
其中w1,w2是平衡两个任务的可学习参数。
S11，根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练；
将S3中由实例集Zi和标签集Ei变换的样本集合Z'i和标签集合E'i，与原样本集合Zi和原标签集合Ei成对地输入深度神经网络模型，样本集合经S4计算得到特征矩阵，特征矩阵经S5计算得到对应的预测热力图、中心偏移量和目标大小，特征矩阵再经S6计算得到对应的目标特征矩阵，标签集合经S9计算得到对应的标签热力图、中心偏移量和目标大小，将S5、S6和S9的结果代入S10中的目标检测与特征计算总损失函数中进行计算，深度神经网络模型根据总损失函数反向传播以自动调整优化模型参数；
S12，视频数据集
Figure BDA0003830036770000131
包含N帧图像，将第一帧图像I1送入经过训练的深度神经网络模型中，得到相应的中心点位置P1、边界框大小S1和目标的特征矩阵H1，初始化所有目标的身份信息和轨迹信息；
将视频数据集
Figure BDA0003830036770000132
中的第一张图像I1输入已经训练好的深度神经网络模型中获得初始化的身份信息和轨迹信息，其计算公式如下：
Figure BDA0003830036770000133
H1＝c(f(I1))；
由热力图F1和中心点偏移量O1可以计算出目标中心点位置，计算公式如下：
P1＝q(F1,O1)；
S13，对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系，对于同一目标进行轨迹更新，对新出现的目标为其初始化身份和轨迹；
如图4，将视频数据集
Figure BDA0003830036770000134
中的所有图像进行S12的计算，记录跟踪目标的轨迹
Figure BDA0003830036770000135
Figure BDA0003830036770000136
其中
Figure BDA0003830036770000137
表示目标i在t帧的轨迹信息，
Figure BDA0003830036770000138
为中心点坐标，
Figure BDA0003830036770000139
为边界框大小，
Figure BDA00038300367700001310
为目标的特征表示，IDi为目标的身份标识，li为存活时间参数；
通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系，计算公式为：
Figure BDA00038300367700001311
相似度矩阵
Figure BDA00038300367700001312
Nt-1,Nt为第t-1,t帧图像中的目标数量，若目标i和目标j具有相同身份，则Si,j>0，否则Si,j<0；
在相似度矩阵Si,j后面增加一列固定数值的列向量P作为占位符构成新矩阵
Figure BDA00038300367700001313
Figure BDA00038300367700001314
P的数值为相似度矩阵Si,j中除对角线以外所有元素的平均值，占位符用于匹配消失的目标或新出现的目标；
将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算，得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M：
Figure BDA0003830036770000141
T为温度参数，使用自适应温度调节T：
T＝2log(Nt-1+Nt+1)；
记录所有目标的检测结果
Figure BDA0003830036770000142
其中Nt表示第t帧图像中的目标数量，
Figure BDA0003830036770000143
Figure BDA0003830036770000144
对连续两帧图像的特征矩阵进行AFRS关联算法，若当前帧存在目标i，并与上一帧关联成功，则使用检测结果
Figure BDA0003830036770000145
对目标轨迹进行更新，同时将中心点坐标
Figure BDA0003830036770000146
边界框大小
Figure BDA0003830036770000147
身份标识IDi以及当前帧数t保存到跟踪结果
Figure BDA0003830036770000148
中。若关联失败，则保持上一帧的轨迹信息不变，并将存活时间li加1，若li>30，则认为该目标已经离开跟踪画面；
S14，深度神经网络模型遍历完所有帧图像后最终获得视频数据的跟踪结果
Figure BDA0003830036770000149
如图5，将S12的视频数据集逐帧输入经过训练的深度神经网络模型得到对应的目标框预测和目标特征矩阵，代入S13中的AFRS关联算法，关联各目标之间的特征关系，记录所有目标轨迹和身份信息于跟踪结果
Figure BDA00038300367700001410
中。
图6为待进行车辆多目标跟踪的道路监控视频数据中的某一帧图像，其中图6(a)是该道路监控视频的初始帧图像，图6(b)是该道路监控视频的末尾帧图像；图7为车辆多目标跟踪结果，其中每条曲线都代表一辆车在该检测区域内的运动轨迹，经本发明的深度神经网络计算，准确的识别和跟踪了检测区域内的所有车辆并绘制出了它们的运动轨迹。
实施例二
如图1至7所示，对图像进行图像随机变换，形成数据增强算法集合
Figure BDA00038300367700001411
图像随机变换为高斯模糊或高斯噪声，各个方法的具体参数依循当前自监督训练的通用方案设置。
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型，成对提取两个样本集合Zi和Z'i的特征矩阵，记为hi和h'i；
构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·)；编码器f(·)为DarkNet-53网络模型。
实施例三
如图1至7所示，对图像进行图像随机变换，形成数据增强算法集合
Figure BDA0003830036770000151
图像随机变换为锐化或过曝，各个方法的具体参数依循当前自监督训练的通用方案设置。
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型，成对提取两个样本集合Zi和Z'i的特征矩阵，记为hi和h'i；
构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·)；编码器f(·)为ResNet-50网络模型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种视频中的多车辆跟踪方法，其特征在于，包括如下步骤：
对采集的图像进行图像随机变换，形成数据增强算法集合
Figure FDA0003830036760000011
采用随机抽样的方法将图像数据集等分为若干个实例集Zi，每个实例集都有对应的标签集Ei，i∈{1,2,…T}，T为实例集个数；
从数据增强算法集合
Figure FDA0003830036760000012
中随机选取一种算法
Figure FDA0003830036760000013
对每个实例Zi,Ei进行变换，获得样本集合Z′i,E′i；
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型，成对提取两个样本集合Zi和Z'i的特征矩阵，记为hi和h'i；
根据样本集合的特征矩阵构建具有相同结构的分支网络，分别对特征矩阵hi和hi′进行预测，得到热力图Fi和F'i，中心偏移Oi和O'i，目标大小Si和S'i；
根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型，两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i，目标特征表征Hi和H'i经投影得到目标特征矩阵，记为Li和L'i；
将目标特征矩阵Li和L'i分别沿行列向量划分，得到实例特征和维度特征，构建正、负实例特征对和相关、无关维度特征对；
通过余弦距离度量函数计算实例特征对间的特征关系，通过相关系数度量函数计算维度特征对间的特征关系，构造实例特征和维度特征双重对比损失函数作为目标特征损失函数；
利用高斯模型将标签Ei,E'i中真实边界框信息映射为热力图
Figure FDA0003830036760000014
并计算标签目标中心点偏移量
Figure FDA0003830036760000015
和目标大小
Figure FDA0003830036760000016
通过Focal Loss损失函数计算样本热力特征图Fi与
Figure FDA0003830036760000017
F'i与
Figure FDA0003830036760000018
之间的关系，通过
Figure FDA0003830036760000019
损失函数计算样本中心点偏移量Oi与
Figure FDA00038300367600000110
O'i与
Figure FDA00038300367600000111
之间的关系和样本目标大小Si与
Figure FDA00038300367600000112
S'i与
Figure FDA00038300367600000113
之间的关系，根据计算的损失函数，构造目标检测损失函数，并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数；
根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练；
视频数据集
Figure FDA0003830036760000021
包含N帧图像，将第一帧图像I1送入经过训练的深度神经网络模型中，得到相应的中心点位置P1、边界框大小S1和目标的特征矩阵H1，初始化所有目标的身份信息和轨迹信息；
对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系，对于同一目标进行轨迹更新，对新出现的目标为其初始化身份和轨迹；
深度神经网络模型遍历完所有帧图像后最终获得视频数据的跟踪结果
Figure FDA0003830036760000022
2.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·)；编码器f(·)为由多层卷积神经网络组成的网络模型，编码器f(·)用于提取样本集合的嵌入表示，计算公式如下：
Figure FDA0003830036760000023
B是样本集合中的样本数量，D是嵌入向量的大小，
Figure FDA0003830036760000024
表示实数集。
3.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：具有相同结构的分支网络为预测头pj(·)，j＝{1,2,3},分别用于预测热力图、中心偏移向量和目标大小；
每个预测头pj(·)对特征图进行卷积核大小为3×3的卷积计算，通过批次归一化层和非线性激活函数计算后，通过1×1的卷积计算得到样本集合的预测矩阵，用来对样本集合的嵌入表示进行预测，计算公式如下：
Figure FDA0003830036760000025
I是样本热力特征图的大小；
Figure FDA0003830036760000026
J是样本目标中心点偏移向量预测的大小；
Figure FDA0003830036760000027
K是样本目标尺寸预测的大小。
4.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：目标特征表征网络模型为目标特征表征器c(·)，投影层网络模型为投影头g(·)；
目标特征表征器c(·)包括卷积神经网络和特征通道集合网络，目标的特征表示为经卷积计算所得特征矩阵的目标中心点坐标处所有通道的集合，计算公式如下：
Figure FDA0003830036760000031
N是样本目标中心点的数量,D是卷积计算所得特征矩阵的通道数；
投影头g(·)包含三层全连接网络，前两层之后连接批次归一化层和非线性激活函数，计算得到样本集合的特征矩阵，计算公式如下：
Figure FDA0003830036760000032
M是样本输出目标特征矩阵的大小。
5.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：将两个特征矩阵Li和L'i按行划分，得到实例表示集合
Figure FDA0003830036760000033
t表示图像增强算法，其中1为不使用图像增强算法，i为实例索引，从集合S中构造实例对
Figure FDA0003830036760000034
i＝j为正对，i≠j为负对；将两个特征矩阵Li和L'i按列划分，得到特征维度集合
Figure FDA0003830036760000035
Figure FDA0003830036760000036
p为维度索引，从集合D中构造维度对
Figure FDA0003830036760000037
p＝k为相关对，p≠k为无关对。
6.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：通过余弦距离度量函数计算实例特征对间的相似度，余弦距离度量函数公式为：
Figure FDA0003830036760000038
||·||表示求样本特征的模长；
通过相关系数度量函数计算维度特征对间的相关性，相关系数度量函数公式为：
Figure FDA0003830036760000039
Figure FDA00038300367600000310
和
Figure FDA00038300367600000311
是维度特征中所有元素的平均值；
实例特征对比损失函数为：
Figure FDA00038300367600000312
维度特征对比损失函数为：
Figure FDA0003830036760000041
τ1,τ2为损失函数的超参数，表示温度参数；
结合实例特征对比损失函数
Figure FDA0003830036760000042
和维度特征对比损失函数
Figure FDA0003830036760000043
得到目标特征损失函数如下：
Figure FDA0003830036760000044
其中λ为控制损失平衡的参数。
7.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：样本数据集中表示目标位置和大小的标签信息为(x1,y1,x2,y2)，其中心点
Figure FDA0003830036760000045
向下取整得
Figure FDA0003830036760000046
Figure FDA0003830036760000047
利用高斯模型将标签中真实边界框信息映射为热力图
Figure FDA0003830036760000048
其计算公式为：
Figure FDA0003830036760000049
Yxy为热力图映射值，表示热力图
Figure FDA00038300367600000410
上(x,y)坐标像素的值，
Figure FDA00038300367600000411
是与边界框大小相关的方差，若两个中心点的高斯分布发生重叠，则取最大值；
计算标签目标中心点偏移量
Figure FDA00038300367600000412
和目标大小
Figure FDA00038300367600000413
公式如下：
Figure FDA00038300367600000414
pi,p'i分别为Zi,Z'i的目标中心点坐标值；
Figure FDA00038300367600000415
8.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：通过Focal Loss损失函数计算样本热力特征图Fi与
Figure FDA00038300367600000416
F'i与
Figure FDA00038300367600000417
之间的关系，Focal Loss损失函数公式为：
Figure FDA00038300367600000418
Figure FDA00038300367600000419
表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值，c为待检测目标的类别数；α和β为超参数，用于均衡难易样本数量；Yxyc表示热力特征图
Figure FDA00038300367600000420
上(x,y)处坐标像素的标签值；N是样本目标中心点的数量；
Figure FDA00038300367600000421
通过
Figure FDA0003830036760000051
损失函数计算样本中心点偏移量Oi与
Figure FDA0003830036760000052
O'i与
Figure FDA0003830036760000053
之间的关系，其损失函数计算公式为：
Figure FDA0003830036760000054
通过
Figure FDA0003830036760000055
损失函数计算样本目标大小Si与
Figure FDA0003830036760000056
S'i与
Figure FDA0003830036760000057
之间的关系，其损失函数计算公式为：
Figure FDA0003830036760000058
通过固定权重的方式将三个分支的损失函数相加，以得到检测目标的整体损失，其损失函数计算公式如下：
Figure FDA0003830036760000059
λ1,λ2为固定权重；
将目标检测损失函数与目标特征损失函数结合，构造整体的损失函数，计算公式如下：
Figure FDA00038300367600000510
其中w1,w2是平衡两个任务的可学习参数。
9.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：将视频数据集
Figure FDA00038300367600000511
中的第一张图像I1输入已经训练好的深度神经网络模型中获得初始化的身份信息和轨迹信息，其计算公式如下：
Figure FDA00038300367600000512
H1＝c(f(I1))；
由热力图F1和中心点偏移量O1可以计算出目标中心点位置，计算公式如下：
P1＝q(F1,O1)。
10.根据权利要求1所述的一种视频中的多车辆跟踪方法，其特征在于：将视频数据集
Figure FDA00038300367600000513
中的所有图像送入经过训练的深度神经网络模型中进行计算，记录跟踪目标的轨迹
Figure FDA00038300367600000514
Figure FDA00038300367600000515
其中
Figure FDA00038300367600000516
表示目标i在t帧的轨迹信息，
Figure FDA00038300367600000517
为中心点坐标，
Figure FDA00038300367600000518
为边界框大小，
Figure FDA00038300367600000519
为目标的特征表示，IDi为目标的身份标识，li为存活时间参数；
通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系，计算公式为：
Figure FDA0003830036760000061
相似度矩阵
Figure FDA0003830036760000062
Nt-1,Nt为第t-1,t帧图像中的目标数量，若目标i和目标j具有相同身份，则Si,j>0，否则Si,j<0；
在相似度矩阵Si,j后面增加一列固定数值的列向量P作为占位符构成新矩阵
Figure FDA0003830036760000063
Figure FDA0003830036760000064
P的数值为相似度矩阵Si,j中除对角线以外所有元素的平均值，占位符用于匹配消失的目标或新出现的目标；
将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算，得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M：
Figure FDA0003830036760000065
T为温度参数，
使用自适应温度调节T：
T＝2log(Nt-1+Nt+1)；
记录所有目标的检测结果
Figure FDA0003830036760000066
其中Nt表示第t帧图像中的目标数量，
Figure FDA0003830036760000067
Figure FDA0003830036760000068
对连续两帧图像的特征矩阵进行AFRS关联算法，若当前帧存在目标i，并与上一帧关联成功，则使用检测结果
Figure FDA0003830036760000069
对目标轨迹进行更新，同时将中心点坐标
Figure FDA00038300367600000610
边界框大小
Figure FDA00038300367600000611
身份标识IDi以及当前帧数t保存到跟踪结果
Figure FDA00038300367600000612
中。若关联失败，则保持上一帧的轨迹信息不变，并将存活时间li加1，若li>30，则认为该目标已经离开跟踪画面。
CN202211070668.4A 2022-09-02 2022-09-02 一种视频中的多车辆跟踪方法 Pending CN115359407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211070668.4A CN115359407A (zh) 2022-09-02 2022-09-02 一种视频中的多车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211070668.4A CN115359407A (zh) 2022-09-02 2022-09-02 一种视频中的多车辆跟踪方法

Publications (1)

Publication Number Publication Date
CN115359407A true CN115359407A (zh) 2022-11-18

Family

ID=84005997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211070668.4A Pending CN115359407A (zh) 2022-09-02 2022-09-02 一种视频中的多车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN115359407A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580060A (zh) * 2023-05-31 2023-08-11 重庆理工大学 基于对比损失的无监督跟踪模型训练方法
CN117557977A (zh) * 2023-12-28 2024-02-13 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117853759A (zh) * 2024-03-08 2024-04-09 山东海润数聚科技有限公司 一种多目标跟踪方法、系统、设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580060A (zh) * 2023-05-31 2023-08-11 重庆理工大学 基于对比损失的无监督跟踪模型训练方法
CN117557977A (zh) * 2023-12-28 2024-02-13 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117557977B (zh) * 2023-12-28 2024-04-30 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117853759A (zh) * 2024-03-08 2024-04-09 山东海润数聚科技有限公司 一种多目标跟踪方法、系统、设备和存储介质
CN117853759B (zh) * 2024-03-08 2024-05-10 山东海润数聚科技有限公司 一种多目标跟踪方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN115359407A (zh) 一种视频中的多车辆跟踪方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN112348849B (zh) 一种孪生网络视频目标跟踪方法及装置
CN110276785B (zh) 一种抗遮挡红外目标跟踪方法
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN104616032A (zh) 基于深度卷积神经网络的多摄像机系统目标匹配方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN110598613B (zh) 一种高速公路团雾监测方法
CN111462173B (zh) 基于孪生网络判别特征学习的视觉跟踪方法
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN110298248A (zh) 一种基于语义分割的多目标跟踪方法及系统
CN106157330A (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
CN116109499A (zh) 一种基于Transformer的面向记忆的单图片去雨方法
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN113673534B (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN104331700B (zh) 基于轨迹能量扩散图的组行为识别方法
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination