CN112767438B - 结合时空运动的多目标跟踪方法 - Google Patents
结合时空运动的多目标跟踪方法 Download PDFInfo
- Publication number
- CN112767438B CN112767438B CN202110015479.6A CN202110015479A CN112767438B CN 112767438 B CN112767438 B CN 112767438B CN 202110015479 A CN202110015479 A CN 202110015479A CN 112767438 B CN112767438 B CN 112767438B
- Authority
- CN
- China
- Prior art keywords
- target
- targets
- anchor point
- tracking
- motion model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 40
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 241001239379 Calophysus macropterus Species 0.000 description 1
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 description 1
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
随着日益增多的视频数据量，使用计算机视觉技术从视频中提取出有效的信息是一件亟待解决的事情，多目标跟踪是其中重要的一部分。为此，本发明提出了一种结合时空运动的多目标跟踪方法。首先是提出了基于目标间相对位置关系的时空运动模型，使用目标间的相对运动鲁棒地估计目标的位置，并使用GRU模型拟合目标间的相对运动，提高最终位置预测的准确率。然后是提出了基于目标历史跟踪状态的多阶段目标关联算法，首先关联历史关联结果较好的目标作为锚点，再基于锚点位置和相对运动模型估计剩余目标的位置，最后再将剩余的目标按照不同的跟踪状态依次进行关联。最后在测试数据上的跟踪结果表明，本发明提出的多目标跟踪算法具有明显的优势。
Description
技术领域
本发明涉及一种多目标跟踪方法，尤其涉及一种结合时空运动的多目标跟踪方法，属于计算机视觉领域。
背景技术
随着社会经济的发展，相机、手机以及监控摄像头等硬件成本逐渐降低，互联网科技不断进步，每天都会产出大量的视频数据，用于安防监控、无人驾驶等等。这些海量数据中往往包含着重要的信息，仅靠人工来分辨提取其中的信息费时且费力，因此把数据交给机器处理是一件非常有意义且亟需解决的事情。现有的计算机视觉任务主要包括目标检测、目标分类识别、目标跟踪以及场景语义分析等等。
目标跟踪是计算机视觉任务中重要的组成部分，本申请主要涉及的是多目标跟踪。多目标跟踪指的是将一段连续视频帧中的同一目标进行关联，最终形成完整的目标轨迹。多目标跟踪算法基础框架较多，按照目标初始化方式可以分为基于检测的算法和不基于检测的算法，两者的主要区别是是否利用了检测器来发现新的目标。按照目标处理模式，多目标跟踪可以分为在线多目标跟踪算法和离线多目标跟踪算法。两者的主要区别是是否用到了后续视频帧信息。基于应用需求以及过往知识积累，本申请主要涉及的是基于检测的在线多目标跟踪算法。
如图1所示，基于检测的在线多目标跟踪主要实现的是将历史跟踪到的目标和新的一帧检测到的目标进行数据关联，进而获取到目标的轨迹信息。因此多目标跟踪算法中的关键技术包括特征模型的构建以及目标数据关联两部分，特征模型主要是为了提取每个目标的特征作为关联代价，而数据关联则是基于关联代价实现关联结果最优化。常用的特征模型包括表观模型以及运动模型等，而常用的数据关联算法主要包括最近邻算法以及基于概率关联的算法。
由于现实条件中的一些不可抗因素，比如目标被频繁遮挡、目标外观相似以及背景干扰等，给多目标跟踪算法的研究带来很多的困难。近年来，虽然在多目标跟踪领域涌现了很多很有意义的工作，但仍面临一些问题，主要包括运动模型不够鲁棒、目标关联算法不完善等，具体包括：
1)运动模型不够鲁棒：运动模型在多目标跟踪算法中占有重要的作用，通过运动模型预测目标的位置既可用作目标数据关联的关联代价，也可用于恢复漏跟的目标。而在现有的运动模型中，有的仅使用单个目标的历史运动信息构建运动模型，当相机抖动或者相机大幅度运动时，仅使用单个目标历史运动轨迹的位置预测会出现较大的偏差。有的方法使用目标之间的相对位置关系来解决目标抖动或者目标大幅度时产生的问题，但都是通过手工设计特征构建运动模型，使得最终的运动模型不够鲁棒，难以准确地预测目标的位置。因此需要综合考虑这两个方面来构建鲁棒的运动模型；
2)目标关联算法不完善：目标关联是基于检测的多目标跟踪算法中的关键步骤，它指的是基于表观相似性和位置约束等关联代价，将检测结果和跟踪结果进行目标关联。由于光照变化、目标之间频繁遮挡等因素的影响，目标关联之后，很容易导致目标身份发生交换，或者目标框漂移到背景上。现有的多目标跟踪方法在目标关联这一步主要存在以下两个问题，首先是忽略了目标本身所处的不同跟踪状态，而采取了同样的关联代价计算方式，如持续跟踪的目标应该缩小位置约束，而已经多帧未能成功关联的目标应该扩大位置约束。然后是目标各自关联，优先关联的目标没有对后关联的目标起到辅助作用。因此可以通过设计一个多阶段交互的目标关联算法，来充分利用跟踪过程在目标的各种信息。
发明内容
针对现有多目标跟踪方法存在的一些问题，本发明提出了一种结合时空运动的多目标跟踪方法，其包括：首先提出了基于目标间相对位置关系的时空运动模型，然后又在此基础上提出了基于目标历史跟踪状态的多阶段目标关联算法，最终实现了一个完整的多目标跟踪算法。具体包括：
针对当前运动模型不鲁棒的问题，本发明提出了基于目标间相对位置关系的时空运动模型。在静止相机下，基于单个目标历史的运动轨迹，采取门控循环神经网络实现了单目标的时序运动模型，提高单目标运动模型的鲁棒性。在运动相机或者相机大幅度运动时，为了解决单目标运动模型位置估计偏差较大的问题，本发明在单目标时序运动模型的基础上，实现了基于目标间相对位置关系的时空运动模型。
针对现有目标关联算法不完善的问题，提出了基于多阶段目标交互的目标关联算法。关联代价使用的是深度表观特征和位置约束，首先关联历史跟踪关联结果较好的目标作为锚点；然后再基于时空运动模型和锚点位置估计出剩余目标的位置，且将剩余目标同样也根据历史跟踪情况分为不同的跟踪状态；最后再基于位置和表观特征依次关联不同跟踪状态的目标。
根据本发明的一个方面，提供了一种结合时空运动的多目标跟踪方法，其特征在于包括如下步骤：
A)将历史跟踪到的目标依据目标的跟踪状态分为锚点候选目标和非锚点候选目标，其中锚点候选目标是指已经连续成功关联多帧且关联代价均值较小的目标；
B)基于单目标时序运动模型预测出锚点的位置；
C)基于预测到的锚点位置进行目标框回归，包括：首先提取出t+1帧整张图像的深度表观特征图，然后将基于运动模型预测到的锚点位置作为感兴趣区域输入到ROI池化层，再通过卷积及全连接等操作，对这些目标框进行回归，最后将回归后的目标框合并到t+1帧的检测结果中，共同用于后续的目标关联；
D)提取出t+1帧所有检测目标的深度表观特征，其中使用的是基于损失函数融合的深度表观模型，该模型使用Resnet50作为基础卷积神经网络，且使用交叉熵损失和三元组损失共同作为损失函数，以提高目标表观特征的可区分性；
E)第一次基于表观特征和位置约束关联候选锚点目标，并把其中成功关联的目标作为这一帧真正的锚点；
F)基于锚点位置和时空运动模型估计出剩余锚点的位置；
G)采取和步骤C)同样的方式，对剩余未关联的目标实现基于位置预测的目标框回归；
H)采取和步骤D)同样的方式提取出步骤G)中新增加的检测框的表观特征；
I)对剩余的目标进行关联，从而得到t+1帧的跟踪结果，
其中：
步骤B)中所述的单目标时序运动模型包括：
B1)用GRU作为所述单目标时序运动模型的时序基础单元；
B2)用一个二维向量作为所述单目标时序运动模型每一时刻的输入，该二维向量表示相邻帧目标自身中心点横纵坐标变化值和/或相对锚点目标中心点横纵坐标的变化值；
B3)使该二维向量依次经过一个全连接层进行编码、一个dropout层缓解过拟合、一个GRU、以及一个全连接层进行解码，从而得到在下一时刻预测的坐标位移值，
步骤F)中所述的时空运动模型包括：
F1)对于每个待预测位置的目标，分别计算出它基于每个锚点预测得到的位置，包括：先得到历史帧中它相对每个锚点的相对位移，再把该位移输入到所述单目标时序运动模型中；
F2)对于每个待预测位置的目标，分别计算每个锚点所占的权重，基于步骤B)中单目标时序运动模型的多输出的机制，计算历史多帧预测的位置偏移量和真实的位置偏移量之间的欧式距离，取所有距离的均值作为该目标基于该锚点预测的误差值；
F3)在得到待跟踪目标相对所有锚点的误差值后，经过softmax将误差值映射到0～1内，转换为权重；
F4)将待跟踪的目标基于每个锚点计算出的位置加权求和，得到第该目标最终预测得到的位置，
步骤I)中所述的关联方法包括如下步骤：
I1)首先选择历史跟踪关联较好的目标来作为候选锚点目标，这里的“较好”的标准包括已经连续成功关联多帧且每次关联成功时的关联代价均值小于某个阈值，并基于表观特征及位置约束关联这些候选锚点目标，关联成功的候选锚点目标作为后续的锚点目标；
I2)然后将剩余目标相对锚点的位置信息输入到所述时空运动模型中得到剩余目标的位置，同时将剩余目标按照不同的跟踪状态确定不同的位置搜索区域，并基于位置约束和表观特征距离进行关联；
I3)在关联完目标之后，对目标状态进行更新，包括更新目标表观特征和置信度、目标的位置以及目标的跟踪状态。
附图说明
图1是基于检测的在线多目标跟踪示意图。
图2是根据本发明的一个实施例的结合时空运动的多目标跟方法的流程图。
图3是单目标时序运动模型的示意图。
图4是基于目标间相对位置关系的时空运动模型的示意图。
图5是相对单个锚点的预测误差计算过程图。
图6是目标跟踪状态转换图。
具体实施方式
根据本发明的一个实施例的结合时空运动的多目标跟踪方法的实施方案如图2所示，其包括如下步骤：
a)将历史跟踪到的目标依据目标的跟踪状态分为锚点候选目标和非锚点候选目标，其中锚点候选目标是指已经连续成功关联多帧且关联代价均值较小的目标；
b)基于单目标时序运动模型预测出锚点的位置；
c)基于预测到的锚点位置进行目标框回归，包括：首先提取出t+1帧整张图像的深度表观特征图，在本发明的一个实施例中使用的是金字塔网络进行提取的，然后将基于运动模型预测到的锚点位置作为感兴趣区域输入到ROI池化层，再通过卷积及全连接等操作，对这些目标框进行回归，最后将回归后的目标框合并到t+1帧的检测结果中，共同用于后续的目标关联；这一步主要是为了提前定位漏跟目标的位置，而且由于是在目标关联之前进行定位，因此不易发生目标身份转换等；
d)提取出t+1帧所有检测目标的深度表观特征，这里使用的是基于损失函数融合的表观模型，使用Resnet50作为基础卷积神经网络，交叉熵损失和三元组损失共同作为损失函数，来提高目标表观特征的可区分性；
e)第一次基于表观特征和位置约束关联候选锚点目标，其中成功关联的目标作为这一帧真正的锚点；
f)基于锚点位置和时空运动模型估计出剩余锚点的位置，其中运动模型会在后文中详细介绍；
g)采取和步骤c)同样的方式，对剩余未关联的目标实现基于位置预测的目标框回归；
h)采取和步骤d)同样的方式提取出步骤g)中新增加的检测框的表观特征；
i)对剩余的目标进行关联，其中关联方法在后文会被详细介绍；
j)完成关联后，即可得到t+1帧的跟踪结果。
接下来将对步骤b)、f)里面提到的运动模型，以及步骤e)、i)中的目标关联方法进行介绍。
(1)基于目标间相对位置关系的时空运动模型
首先构建了单目标时序运动模型，该模型可用于根据单个目标历史的运动轨迹估计出目标的位置，也可用于根据单个目标相对单个锚点的历史相对运动轨迹估计出目标的位置。
本发明使用GRU(门控循环单元)来构造单目标时序运动模型，GRU主要包含两个门，一个重置门和一个更新门，重置门主要是决定忘记过去多少信息的门，更新门主要是决定添加哪些重要信息的门。和常用的长短期循环神经网络相比，GRU准确率和它相当，且包含更少的参数，不容易过拟合。
图3是一个按照时间序列展开了的时序运动模型示意图，运动模型中每一时刻的权重参数是共享的。最终是为了预测第T时刻目标的位置，这个模型每一时刻的输入是一个二维向量(Δx(t)，Δy(t))，其中Δx(t)和Δy(t)分别表示相邻帧目标自身中心点横纵坐标变化值或者相对锚点目标中心点横纵坐标的变化值。这个二维向量依次经过一个全连接层进行编码，一个dropout层缓解过拟合，一个GRU，以及一个全连接层进行解码，即可得到在T时刻预测的坐标位移值。
然后在单目标时序运动模型的基础上，提出了基于目标间相对位置关系的时空运动模型，该模型的示意图如图4所示。其中，对于每个待预测位置的目标，首先获得它历史每一帧中相对每个锚点的位置关系，然后计算出相邻帧的相对位移，再把相对每个锚点的相对位移输入到前面提出的单目标时序运动模型中。
对于每个目标来说，分别可以根据相对每个锚点的运动推理出多个位置，接下来需要计算每个锚点的权重，进而估计出该目标的最终位置。
如图5所示，是第j个锚点对于第i个目标位置预测误差的计算方式。由于单目标时序运动模型本身是一个多进多出的模型，它在每一时刻都会估计出第i个目标相对第j个锚点的速度
因为在历史时刻是已经跟踪上第i和第j个目标了，所以在t时刻的真实相对速度
是已知的。接下来就是计算这两者之间的欧式距离表示历史预估的误差值：
其中，
表示基于运动模型预测出的在t时刻第i个目标相对第j个锚点的速度，
是在t时刻第i个目标相对第j个锚点的真实速度。
最后再计算历史最近的M1个时刻的误差值的均值作为最终的误差值：
其中，M1是设置的用于计算相对误差值的历史帧的长度。
表示第i个目标相对第j个目标在t时刻预测值和真实值的误差值，T是相对当前帧的上一时刻，且M1<T。
在得到第i个待跟踪目标相对所有锚点的误差值后，需要先经过softmax将误差值映射到0～1内，转换为权重的概念：
其中，N表示锚点的个数，cik表示模型预测出的第i个待跟踪的目标相对第k个锚点的运动的误差，wij表示第j个锚点对于第i个待跟踪目标的权重。
在预测得到T时刻第i个目标相对于第j个锚点的相对速度
之后，通过转换获得第i个目标基于第j个锚点的相对运动得到的位置信息
最后，将第i个待跟踪的目标基于每个锚点计算出的位置加权求和即可得到第i个目标在第T时刻最终预测得到的位置：
最终就预测得到了第i个待跟踪目标在T时刻的中心点坐标
(2)基于目标历史跟踪状态的多阶段目标关联算法
目标关联实现的是将历史跟踪到的目标和新检测到的目标进行一对一的关联，主要的关联代价是深度表观特征以及位置约束。为了可以更准确地关联目标，防止目标身份转换，本发明提出了基于历史跟踪状态的多阶段目标关联算法，它主要包括三个部分。首先关联历史跟踪关联较好的目标来作为锚点，即锚点的确定；然后基于时空运动模型和锚点的位置估计出剩余目标的位置，同时将剩余的目标按照不同的跟踪状态依次进行关联，即剩余目标的关联；最后是在关联完目标之后对目标状态的更新。下面将分别对这三个部分进行介绍。
锚点的确定：为了确定锚点目标，需要先关联历史跟踪情况较好的目标，这里有两个判断锚点候选目标的标准，一个是已经连续成功关联多帧的目标，另一个是每次关联成功时的关联代价均值小于某个阈值，如小于4.0。为了准确关联这些目标，首先需要计算这些跟踪目标和检测结果的距离矩阵，这里使用预测到的位置作为约束条件，来选择正确的候选目标，再使用表观特征距离作为关联代价，并构成距离矩阵。
位置约束的方式是，首先使用跟踪目标框和检测框的GIOU来衡量两个目标矩形框位置的远近：
其中，bi是第i个跟踪目标框，bj是第j个检测目标框，bij表示bi和bj两个矩形框的最小闭包矩形框。∩表示两个矩形框的交集部分，∪表示两个矩形目标框的并集部分，|·|表示计算面积。GIOU的值越大，表示两个矩形目标框离得越近。则第i个跟踪目标和第j个检测结果在位置上的距离为：
d(1)(i，j)＝1-GIOU(i，j) (6)
在计算出第i个跟踪目标和所有候选检测框在位置上的距离之后，可根据位置距离选出候选检测框，再计算第i个跟踪目标和这些候选检测框的表观特征距离。
在本发明中，每个跟踪目标都会保存历史多帧目标框的表观特征以及对应框的置信度用于后续的目标关联。在衡量每个跟踪目标和每个检测目标的相似度时，计算的也是一个加权距离：
其中，d(2)(i，j)是第i个跟踪目标和第j个检测框的表观特征距离，rj是第j个检测框的表观特征，
是第i个跟踪目标历史保存的第k个目标框的表观特征，
是第i个跟踪目标历史保存的第k个目标框的置信度，M2是第i个跟踪目标保存的历史跟踪框的表观特征的个数。
综合地，如果第i个跟踪目标框和第j个检测目标框之间的位置距离小于或等于一个预设的阈值δ1，那么就直接选择表观特征距离作为两者距离；如果它们之间的位置距离大于这个阈值，则不再考虑这两个目标之间的关联。
最后，对于每个跟踪目标，先基于目标间距离对所有候选检测目标进行排序，然后遍历所有候选检测目标，如果该检测目标未被关联，则与之关联。如果该检测目标已经被关联了，则这个检测目标选择和它距离更小的跟踪目标进行关联，再递归式地去关联未能关联的那个跟踪目标。最终成功关联的目标作为锚点目标。
剩余目标的关联：在关联完锚点目标之后，很可能会剩余一些未关联的目标。首先基于时空运动模型使用锚点目标估计剩余未关联的跟踪目标的位置，然后再基于位置约束和表观特征信息关联这些目标。
根据历史跟踪情况可以将剩余目标分为四种状态，分别为Alive、False Lost、True Lost和Deleted，它们的含义如表1所示。
表1
| 目标跟踪状态 | 状态含义 |
| Alive | 表示上一时刻该目标被成功关联 |
| False Lost | 表示上一时刻没有被成功关联，但位置预测成功了。 |
| True Lost | 表示上一时刻没有被成功关联，且位置预测失败了。 |
| Deleted | 表示目标完全丢失 |
为了更准确地关联目标，本文将目标关联分为三个阶段，依次关联不同状态的目标。
首先关联Alive状态的目标，这里需要先计算关联代价，首先使用公式(6)中的位置距离确定该跟踪目标的候选检测框，仅选择d(1)(i，j)小于设定阈值δ2的检测框作为候选框。然后计算跟踪目标和检测目标之间的最终距离：
dij＝d(1)(i，j)+α*d(2)(i，j) (8)
其中，d(1)(i，j)是公式(6)中的位置距离，d(2)(i，j)是公式(7)中的表观特征距离，α表示的是表观特征距离所占的权重，α通常取值为0.1～0.5。
基于式子(8)的关联代价的数据关联方法和确定锚点目标时的数据关联方法是一致的，即递归式地关联目标。
然后针对未能成功关联的Alive状态的目标，以及所有False Lost状态的目标，再次进行关联。位置搜索的阈值变为δ3，且δ3＞δ2，即扩大了搜索区域，数据关联方法和关联Alive状态的目标是一样的。
最后再针对未能成功关联的False Lost状态的目标，以及所有True Lost状态的目标，再次进行关联。同样地，再次将位置搜索的阈值变为δ4，且δ4>δ3，其他的步骤和前面的数据关联方法一致。
在目标关联之后，可以得到被成功关联的目标，未被成功关联的跟踪目标，以及未被成功关联的检测目标。接下来需要对这些目标的状态进行更新，便于后续视频帧的跟踪关联。
目标状态的更新：目标状态的更新主要包括三个方面，分别是目标表观特征以及置信度的更新、目标位置的更新以及目标跟踪状态的更新。
对于目标的表观特征以及置信度，仅更新这一帧成功关联的目标的表观特征及置信度，且更新的表观特征和置信度是关联上的检测结果的表观特征和置信度。
对于目标的位置，如果成功关联，则更新为其关联上的检测框的位置，如果没有成功关联，则更新为基于时空相对运动模型预测的位置。
目标的跟踪状态总共包含前面提到的四种状态，跟踪状态的转换图大致如图6所示。对于未能成功关联的检测目标，只有当其置信度值大于阈值c1时，才可被认作新的目标，且其跟踪状态设置为Alive。对于处于不同跟踪状态的目标，只要当前帧可以成功关联，它的状态都会转换为Alive。而对于未成功关联的目标，如果预测到的目标框的表观特征和目标历史表观特征的距离小于阈值σ1，即表示位置预测成功，反之表示位置预测失败。当目标处于False Lost状态的时长超过T1帧时，True Lost状态的时长超过T2帧时，则会按照图中所示发生跟踪状态转换。当目标处于Deleted状态时，将立刻从维持的跟踪目标数组中删除这个目标。
最后，将本发明提出的多目标跟踪方法在MOT17测试集上进行测试，并和这两年主流的多目标跟踪算法进行对比，结果如表2所示。
表2
| 算法 | MOTA | IDF1 | MT | ML | FP | FN | IDs | Frag |
| PHD_GM | 48.8％ | 43.2％ | 449 | 830 | 26260 | 25791 | 4407 | 6448 |
| DASOT | 49.5％ | 51.8％ | 481 | 814 | 33640 | 247370 | 4142 | 6852 |
| STRN_MOT | 50.9％ | 56.0％ | 446 | 797 | 25295 | 249365 | 2397 | 9363 |
| YOONKJ | 51.4％ | 54.0％ | 500 | 878 | 29051 | 24302 | 2118 | 3072 |
| FAMNet | 53.0％ | 48.7％ | 450 | 787 | 14138 | 253616 | 3072 | 5138 |
| Tracktor++v2 | 56.3％ | 55.1％ | 498 | 831 | 8866 | 235449 | 1987 | 3763 |
| GSM_Tracktor | 56.4％ | 57.8％ | 523 | 813 | 14379 | 230174 | 1485 | 2763 |
| CTTrackPub | 61.5％ | 59.6％ | 621 | 752 | 14076 | 200672 | 2583 | 4965 |
| STMA(本文) | 58.8％ | 61.6％ | 617 | 763 | 17564 | 213561 | 1446 | 3430 |
Claims (1)
1.一种结合时空运动的多目标跟踪方法，其特征在于包括如下步骤：
A)将历史跟踪到的目标依据目标的跟踪状态分为锚点候选目标和非锚点候选目标，其中锚点候选目标是指已经连续成功关联多帧且关联代价均值较小的目标；
B)基于单目标时序运动模型预测出锚点的位置；
C)基于预测到的锚点位置进行目标框回归，包括：首先提取出t+1帧整张图像的深度表观特征图，然后将基于运动模型预测到的锚点位置作为感兴趣区域输入到ROI池化层，再通过卷积及全连接操作，对这些目标框进行回归，最后将回归后的目标框合并到t+1帧的检测结果中，共同用于后续的目标关联；
D)提取出t+1帧所有检测目标的深度表观特征，其中使用的是基于损失函数融合的深度表观模型，该模型使用Resnet50作为基础卷积神经网络，且使用交叉熵损失和三元组损失共同作为损失函数，以提高目标表观特征的可区分性；
E)第一次基于表观特征和位置约束关联候选锚点目标，并把其中成功关联的目标作为这一帧真正的锚点；
F)基于锚点位置和时空运动模型估计出剩余锚点的位置；
G)采取和步骤C)同样的方式，对剩余未关联的目标实现基于位置预测的目标框回归；
H)采取和步骤D)同样的方式提取出步骤G)中新增加的检测框的表观特征；
I)对剩余的目标进行关联，从而得到t+1帧的跟踪结果，
其中：
步骤B)中所述的单目标时序运动模型包括：
B1)用GRU作为所述单目标时序运动模型的时序基础单元；
B2)用一个二维向量作为所述单目标时序运动模型每一时刻的输入，该二维向量表示相邻帧目标自身中心点横纵坐标变化值和/或相对锚点目标中心点横纵坐标的变化值；
B3)使该二维向量依次经过一个全连接层进行编码、一个dropout层缓解过拟合、一个GRU、以及一个全连接层进行解码，从而得到在下一时刻预测的坐标位移值，
步骤F)中所述的时空运动模型包括：
F1)对于每个待预测位置的目标，分别计算出它基于每个锚点预测得到的位置，包括：先得到历史帧中它相对每个锚点的相对位移，再把该位移输入到所述单目标时序运动模型中；
F2)对于每个待预测位置的目标，分别计算每个锚点所占的权重，基于步骤B)中单目标时序运动模型的多输出的机制，计算历史多帧预测的位置偏移量和真实的位置偏移量之间的欧式距离，取所有距离的均值作为该目标基于该锚点预测的误差值；
F3)在得到待跟踪目标相对所有锚点的误差值后，经过softmax将误差值映射到0～1内，转换为权重；
F4)将待跟踪的目标基于每个锚点计算出的位置加权求和，得到第该目标最终预测得到的位置，
步骤I)中所述的关联方法包括如下步骤：
I1)首先选择历史跟踪关联较好的目标来作为候选锚点目标，该“较好”的标准包括已经连续成功关联多帧且每次关联成功时的关联代价均值小于一个预设的阈值，并基于表观特征及位置约束关联这些候选锚点目标，关联成功的候选锚点目标作为后续的锚点目标；
I2)然后将剩余目标相对锚点的位置信息输入到所述时空运动模型中得到剩余目标的位置，同时将剩余目标按照不同的跟踪状态确定不同的位置搜索区域，并基于位置约束和表观特征距离进行关联；
I3)在关联完目标之后，对目标状态进行更新，包括更新目标表观特征和置信度、目标的位置以及目标的跟踪状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110015479.6A CN112767438B (zh) | 2021-01-05 | 2021-01-05 | 结合时空运动的多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110015479.6A CN112767438B (zh) | 2021-01-05 | 2021-01-05 | 结合时空运动的多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767438A CN112767438A (zh) | 2021-05-07 |
| CN112767438B true CN112767438B (zh) | 2022-08-05 |
Family
ID=75700240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110015479.6A Active CN112767438B (zh) | 2021-01-05 | 2021-01-05 | 结合时空运动的多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767438B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862952B (zh) * | 2023-07-26 | 2024-02-27 | 合肥工业大学 | 一种用于相似背景条件下的变电站作业人员视频追踪方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308315B2 (en) * | 2017-09-27 | 2022-04-19 | Nec Corporation | Information processing apparatus, control method, and program |
-
2021
- 2021-01-05 CN CN202110015479.6A patent/CN112767438B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| Scale-aware hierarchical loss: A multipath RPN for multi-scale pedestrian detection;Xiaowei Zhang et al.;《IEEE Xplore》;20180301;全文 * |
| 基于多特征融合与分层数据关联的空中红外多目标跟踪方法;杨博等;《计算机应用》;20200606(第10期);全文 * |
| 结合运动信息与表观特征的行人检测方法;郭立君等;《软件学报》;20120215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767438A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034548B (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其系统 | |
| CN107818571B (zh) | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 | |
| CN109360226B (zh) | 一种基于时间序列多特征融合的多目标跟踪方法 | |
| CN110276783B (zh) | 一种多目标跟踪方法、装置及计算机系统 | |
| CN110751674A (zh) | 多目标跟踪方法及相应视频分析系统 | |
| CN110660082A (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
| CN109145836B (zh) | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 | |
| CN115995063A (zh) | 作业车辆检测与跟踪方法和系统 | |
| CN111862145B (zh) | 一种基于多尺度行人检测的目标跟踪方法 | |
| Cetintas et al. | Unifying short and long-term tracking with graph hierarchies | |
| CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
| CN111161309B (zh) | 一种车载视频动态目标的搜索与定位方法 | |
| Cao et al. | Correlation-based tracking of multiple targets with hierarchical layered structure | |
| CN116402850A (zh) | 一种面向智能驾驶的多目标跟踪方法 | |
| CN110569706A (zh) | 一种基于时间和空间网络的深度集成目标跟踪算法 | |
| Li et al. | Multi-target tracking with trajectory prediction and re-identification | |
| CN112507859A (zh) | 一种用于移动机器人的视觉跟踪方法 | |
| CN110363791B (zh) | 一种融合单目标跟踪结果的在线多目标跟踪方法 | |
| CN112767438B (zh) | 结合时空运动的多目标跟踪方法 | |
| Yang et al. | A method of pedestrians counting based on deep learning | |
| CN110660084A (zh) | 一种多目标跟踪的方法及装置 | |
| CN111681264A (zh) | 一种监控场景的实时多目标跟踪方法 | |
| CN111191524A (zh) | 运动人群计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |