CN110135314B - 一种基于深度轨迹预测的多目标跟踪方法 - Google Patents
一种基于深度轨迹预测的多目标跟踪方法 Download PDFInfo
- Publication number
- CN110135314B CN110135314B CN201910374592.6A CN201910374592A CN110135314B CN 110135314 B CN110135314 B CN 110135314B CN 201910374592 A CN201910374592 A CN 201910374592A CN 110135314 B CN110135314 B CN 110135314B
- Authority
- CN
- China
- Prior art keywords
- track
- similarity
- target
- frame
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000015654 memory Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 241001239379 Calophysus macropterus Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度轨迹预测的多目标跟踪方法，其整体步骤包括为：为多目标跟踪系统构建基于长短时记忆网络的轨迹预测模型；使用真实跟踪场景的轨迹数据训练轨迹预测模型；使用目标检测的外观特征构建保守的短时轨迹片段并计算轨迹片段间的外观相似度。使用训练好的轨迹预测模型在线上对目标进行深度轨迹预测，并得到轨迹片段间的运动相似度，综合考虑外观相似度和运动相似度，设置目标跟踪的网络模型完成多目标跟踪。本发明为多目标跟踪系统构建了基于长短时记忆网络的轨迹预测模型，相较传统方法，本发明的方法能够充分考虑目标的历史轨迹信息和场景信息，计算鲁棒性更佳的目标间运动相似度，进而提升多目标跟踪效果。
Description
技术领域
本发明涉及计算机视觉和深度学习技术领域，尤其涉及一种基于深度轨迹预测的多目标跟踪方法。
背景技术
多目标跟踪是计算机视觉领域的一个研究热点，在现实生活中有着非常广泛的应用，例如视频监控、体育赛事分析、生物学研究、人机互动、机器人导航、无人驾驶等。根据目标初始化方法的不同，可以将目前大多数多目标跟踪算法分为基于检测的跟踪(Detection-Based Tracking,DBT)和无检测的跟踪(Detection-Free Tracking,DFT)，其中基于检测的跟踪算法越来越受大家的欢迎。
尽管经过学者们几十年的努力研究，多目标跟踪任务仍然远远没有达到类人的精度，这主要是因为多目标跟踪任务中几个非常棘手的问题：目标个数不确定且动态变化，目标间的频繁遮挡、目标间的相似外观、目标的复杂运动情况、目标间可能存在的交互等。现有的多目标跟踪算法中，往往使用目标间的外观相似度和运动相似度进行数据关联，在运动相似度的计算部分，大多数方法通常将目标的运动特性描述为线性运动或某种特定的非线性运动，这很难准确地描述目标在真实世界中的复杂运动情况。
深度学习的发展也推动了多目标跟踪的发展，但相对其他计算机视觉任务而言，深度学习在多目标跟踪领域的应用还有极大的发展空间。在最基本的深度学习网络结构中，循环神经网络的特点和优势在于它能够考虑历史输入信息，因此它在自然语言处理等众多序列处理任务中表现出了卓越的性能。
在多目标跟踪系统中，优良的运动特征能够在一定程度上解决目标形变、目标遮挡、目标相似外观等问题，且准确的轨迹预测结果能够减小目标跟踪算法的搜索空间。因此如何对目标的复杂运动情况进行更准确的建模，提取目标更优的运动特征，得到更准确的轨迹预测结果是提升多目标跟踪性能的重要思考方向。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于深度轨迹预测的多目标跟踪方法。
本发明的基于深度轨迹预测的多目标跟踪方法，包括下列步骤：
步骤1、构建深度轨迹预测模型：
构建基于长短时记忆网络(Long Short-Term Memory Network,LSTM)的深度轨迹预测模型，该模型以目标的历史轨迹和目标所处环境的场景信息为输入，经预设的嵌入向量函数对每个时刻的输入进行嵌入向量处理后连接为一个向量，并作为当前时刻的输入向量；再经过长短时记忆网络得到目标的深度运动特征，最后经过全连接层输出目标未来连续多帧的位置信息，作为目标的轨迹预测结果；
其中，目标的历史轨迹和目标所处环境的场景信息包括：目标的位置坐标、场景边界坐标、场景兴趣点坐标和场景目的地坐标；
步骤2、训练深度轨迹预测模型：
采集训练数据集；例如从多目标跟踪平台上选取真实的跟踪数据集，对选取出来的跟踪数据集，从标注文件中计算每个目标连续多帧的检测框中心位置，并选取连续的多帧的数据作为一组训练数据，基于多组训练数据得到训练数据集；
深度轨迹预测模型训练：首先随机初始化模型参数，包括隐藏层间权重和输入向量与隐藏层间的权重；然后基于训练数据集经过前向传播过程和反向传播算法对深度轨迹预测模型进行深度学习训练，当深度轨迹预测模型满足预设的收敛条件时(达到最大迭代次数或者目标函数的结果不再明显变化(两次最近的目标函数值的差异低于预设阈值))，保存当前模型参数，得到训练好的深度轨迹预测模型；
例如，采用k折交叉验证的方式将训练数据集分为80％的训练集和20％的验证集，经过前向传播过程和反向传播算法，基于预设的目标函数优化模型参数；
步骤3、轨迹片段构建及外观相似度计算：
对于给定的视频序列(待进行多目标跟踪的视频图像)，根据每一帧中所有目标的检测框集合(可以表示为
其中
表示第t帧的第i个检测框)，分别计算帧间两个检测框的帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度；
其中，帧间视觉相似度的计算方式为：使用颜色直方图作为检测框的视觉特征，并使用直方图的巴氏系数表示帧间两个检测框间的视觉相似度；
而帧间位置平滑相似度和帧间尺寸相似度均可采用任一惯用计算方式；
将帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度的乘积大于预设的最低阈值的帧间两个检测框作为备选关联对；
并对于同一帧的同一检测框，将备选关联对中帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度的乘积最大的备选关联对对应的两个检测框进行点连接(每个检测框作为一个轨迹点)，从而得到给定的视频序列中的一条轨迹片段；即基于给定的视频序列中所设置的帧间检测框连接关系，得到对应的短时轨迹片段；
以及采用平均颜色直方图的巴氏系数表示两条不冲突轨迹片段(两条轨迹片段中所包括的轨迹点不重叠)间的外观相似度；
步骤4、轨迹预测及运动相似度计算：
对于每一对不冲突的轨迹片段对(ti,tj)，其中i,j为轨迹片段区分符；
基于训练好的深度轨迹预测模型对轨迹片段ti进行轨迹预测，得到轨迹预测结果；
得到未来连续多帧的位置信息；
再根据公式Am(ti,tj)＝G(Δp-μm,Σm)计算轨迹片段间的运动相似度Am(ti,tj)，其中，Δp是轨迹片段ti的轨迹预测结果与轨迹片段tj间的平均距离，即
Δpk是轨迹片段ti的轨迹预测结果与轨迹片段tj重叠时间段(相同帧)中各帧(用k表示各重叠时间所对应的帧标识)的轨迹点之间的欧式距离(检测框的中心坐标位置之间的欧式距离)，K为轨迹预测结果与轨迹片段tj重叠时间的长度，即帧数。
步骤5、数据关联：
对于给定的视频序列，以步骤3生成的各轨迹片段为节点，构建最小费用最大流网络流模型，并将轨迹片段间的外观相似度和运动相似度的融合结果作为所述最小费用最大流网络流模型中边的费用；
基于边的费用，使用连续最短路算法求解模型，完成数据关联，得到每个目标的跟踪结果。
进一步的，步骤5可以具体是：
设置多目标跟踪结果的目标函数为：
其中，lij＝1表示轨迹片段对(ti,tj)被关联，T表示每个时间窗内的轨迹片段集合，其中时间窗的大小为经验预设值，c表示被关联的轨迹片段ti与tj之间的边的费用(轨迹片段间的外观相似度Aa(ti,tj)和运动相似度Am(ti,tj)的融合结果，例如设置为
其中λa,λm分别是外观相似度和运动相似度的权重)；
将所述目标函数取得最小值时的关联方案作为最优的多目标跟踪结果。综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明为多目标跟踪系统构建了基于长短时记忆网络的轨迹预测模型，该模型在线下从大量真实跟踪场景的行人轨迹数据中学习行人运动特征，线上利用模型的“记忆性”根据目标有限的历史信息生成其隐含的深度运动特征，预测目标未来最可能出现的多帧位置，计算了目标间鲁棒性更佳的运动相似度，提升了多目标跟踪的效果。
附图说明
图1是本发明的多目标跟踪整体流程图。
图2是本发明中深度轨迹预测模型的结构示意图。
图3是本发明的轨迹片段间运动相似度计算方法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
参见图1，本发明的基于深度轨迹预测的多目标跟踪方法的具体实现过程，包括下列步骤：
步骤一、构建深度轨迹预测模型：
充分考虑目标的历史轨迹信息和目标所处环境的场景信息，为多目标跟踪场景中的目标构建基于LSTM的轨迹预测模型，轨迹预测模型结构示意图如图2所示。
以m(m＝1,…,insize)时刻为例说明m时刻模型隐藏层状态的计算过程：
首先通过公式(1)分别将目标的位置坐标
场景边界坐标
场景兴趣点坐标
和场景目的地坐标
映射为对应的向量pm,bm,im,dm：
其中，r(·)是带有Relu激活的Embedding(嵌入向量)函数，Wp,Wb,Wi,Wd是Embedding函数的参数矩阵，四个Embedding后的向量的维度均为16。将四个向量连接为一个向量em＝[pm,bm,im,dm]，然后将em作为模型在m时刻的输入向量，则m时刻模型隐藏层状态hm可以由公式(2)所示的前向传播过程计算。
hm＝LSTM(hm-1,em；Wlstm) (2)
其中，LSTM(·)代表通用的长短时记忆网络的前向传播过程，Wlstm代表LSTM模型中的所有网络参数，即图2中的w(隐藏层间权重)，u(向量em与隐藏层间的权重)。
则轨迹预测模型的运作流程为：依次接收1～insize时刻的输入向量，经过insize次前向传播过程得到insize时刻模型的隐藏层状态hinsize，最后将hinsize输入到全连接层(FC)中得到预测的outsize帧的位置坐标Pout，insize和outsize分别是LSTM模型输入的帧数和输出的帧数，insize的合适取值范围为[5,15]，outsize的合适取值范围为[3,8]。
步骤二、数据集处理：
为了将轨迹预测模型应用到真实多目标跟踪场景中，数据集的构建和处理均基于多目标跟踪平台(例如MOT Challenge)中的真实数据，首先选取平台上的真实目标跟踪数据集(2DMOT15)，从标注文件中选择出现帧数不小于insize+outsize帧的目标，计算并整合其每一帧检测框的中心位置坐标，然后从其出现的第一帧开始，以滑动窗的方式截取insize+outsize帧的坐标作为一组训练数据，合适的滑动步长1或2，最终共生成33000组训练数据。
步骤三、深度轨迹预测模型训练：
在模型训练阶段，首先随机初始化模型参数，然后将步骤二生成的真实训练数据的输入部分作为轨迹预测模型的输入，经过前向传播过程得到预测的轨迹坐标序列，再根据训练数据中的标签，使用合适的梯度优化算法和结构化损失函数，利用反向传播思想更新模型的参数，至模型收敛，在训练时最小化目标函数的优化过程如公式(3)所示：
其中，Θ为模型的所有参数，包含Wp,Wb,Wi,Wd,Wlstm，Θ*为最优化的模型参数，N为一批训练数据的数量，
为第i个训练样本的预测结果，Labeli为第i个样本的标签，J为参数数量，λ为提高模型泛化能力的正则化项系数，合适的取值范围为[0,5]。
本具体实施方式中，在模型训练过程中，优选的优化算法为RMSprop(均方根反向传播)算法，批数据的数量BATCH_SIZE为100，隐藏层神经元个数为400，学习率为0.0001，最大迭代次数为5000，且为了避免模型在训练数据上过拟合，训练时使用交叉验证的方式将训练数据集分为80％的训练集和20％的验证集。
步骤四、轨迹片段构建及外观相似度计算：
对于给定的视频序列，
表示所有目标的检测集合，其中
代表第t帧图像的第i个目标的检测结果，x,y,s,g分别表示该检测矩形框左上角的x坐标，y坐标，尺寸和像素信息，即x,y,s,g的上下标分别用于区分不同的图像帧和不同的目标。
首先使用目标检测的RGB颜色直方图作为其视觉特征，对于相邻帧的两个检测，使用其颜色直方图特征的巴氏系数计算它们之间的视觉相似度。然后计算检测间的位置平滑相似度，尺寸相似度，当检测得到的三种相似度(视觉相似度、位置平滑相似度和尺寸相似度)的乘积大于最低阈值且在他们的冲突关联对中最大时，将二者连接起来，反之二者不连接，基于此策略，所有的检测都被关联到了唯一的一条短时轨迹片段tk上。最后，使用两条轨迹片段ti和tj间平均颜色直方图的巴氏系数作为两条“不冲突”轨迹片段间的外观相似度Aa(ti,tj)，“不冲突”是指两条轨迹片段不包含同一个检测响应且二者没有重叠时间区域。
步骤五、轨迹预测及运动相似度计算：
如图3所示，对于每一对“不冲突”的轨迹片段(ti,tj)，将ti每一帧检测的坐标及其对应的场景信息输入到步骤一所构建的深度轨迹预测模型中，得到其未来连续多帧最可能出现的位置
并使用公式(4)计算
与tj重叠时间上的平均欧式距离Δp：
其中，K为
与tj重叠时间的长度，在图3中以K＝3为例，Δpk是
与tj重叠帧中第k帧检测的中心坐标的欧式距离。最后使用公式(5)所示的高斯函数来度量轨迹片段(ti,tj)间的运动相似度Am(ti,tj)：
Am(ti,tj)＝G(Δp-μm,Σm) (5)
其中，G()表示高斯函数，μm，Σm分别为高斯分布的均值和方差，μm的范围为[0,10]，Σm的范围为[0,10]。
步骤六、数据关联：
对于给定视频序列，按照上述步骤生成轨迹片段并得到任意两条轨迹片段间的外观相似度和运动相似度后，以轨迹片段作为网络流节点，构建最小费用最大流网络流模型，该网络流模型的目标函数如公式(6)所示，最优的多目标跟踪结果即为该目标函数最小时的关联方案。
其中，lij＝1表示轨迹片段(ti,tj)被关联，T是一个时间窗内的轨迹片段集合，c是关联ti和tj的边的费用且
其中Aa(ti,tj)和Am(ti,tj)即为轨迹片段(ti,tj)间的外观相似度和运动相似度，λa,λm分别是外观相似度和运动相似度的权重，二者的取值范围均为[0,1]且λa+λm＝1，最小费用最大流网络流模型求解算法为连续最短路算法。
本发明的多目标跟踪方法的性能验证：将本发明的多目标跟踪方法在公开平台上的所有测试集序列上进行验证，得到每个序列的多目标跟踪指标，对跟踪结果进行定量和定性分析，并和传统方法及国际领先的多目标跟踪方法进行对比，部分指标对比结果如表1所示。
表1多目标跟踪方法MOTA指标对比
| MOTA↑ | Venice-1 | KITTI-16 | ADL-Rundle-3 | AVG-TownCentre | PETS09-S2L2 | TUD-Crossing |
| 外观 | 14.1 | 28.3 | 34.3 | 18 | 24 | 56.4 |
| 外观+线性 | 14.2 | 30.9 | 34.7 | 23 | 24.1 | 55.6 |
| 外观+LSTM | 18.9 | 31.9 | 36.1 | 23 | 27.6 | 59.3 |
在表1中，给出了三种跟踪方法在六个公开数据集(Venice-1、KITTI-16、ADL-Rundle-3、AVG-TownCentre、PETS09-S2L2和TUD-Crossing)上的多目标跟踪准确度指标(MOTA)，“MOTA↑”表示该指标的数值越大，性能越好。三种跟踪方法分别是在步骤六的数据关联中使用外观相似度(外观)，使用外观相似度结合线性轨迹预测模型计算的运动相似度(外观+线性)以及使用外观相似度结合本发明中深度轨迹预测模型计算的运动相似度(外观+LSTM)，表1验证了本发明基于深度轨迹预测的多目标跟踪方法的有效性。
综上，本发明的实施所带来的有益效果如下：
(1)为了解决多目标跟踪系统中传统的线性轨迹预测及非线性轨迹预测方法的局限性，基于长短时记忆网络，通过结构设计、超参搜索、数据准备、模型训练和模型验证等流程构建了目标轨迹预测模型，该模型在线下从大量真实跟踪场景的行人轨迹数据中学习行人运动特征，线上利用模型的“记忆性”根据目标有限的历史信息生成目标隐含的深度运动特征，预测目标未来最可能出现的多帧位置，计算了鲁棒性更佳的运动相似度，提升了多目标跟踪的效果。
(2)在基本的轨迹预测模型的基础上设计了针对的输入结构，隐藏层结构和损失函数，考虑了场景信息对目标运动的影响，提高了轨迹预测的真实性和可靠性，提升了多目标跟踪的效果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (6)
1.一种基于深度轨迹预测的多目标跟踪方法，其特征在于，包括下列步骤：
步骤1、构建深度轨迹预测模型：
构建基于长短时记忆网络的深度轨迹预测模型，该模型以目标的历史轨迹和目标所处环境的场景信息为输入，经预设的嵌入向量函数对每个时刻的输入进行嵌入向量处理后连接为一个向量，并作为当前时刻的输入向量；再经过长短时记忆网络得到目标的深度运动特征，最后经过全连接层输出目标未来连续多帧的位置信息，作为目标的轨迹预测结果；
其中，目标的历史轨迹和目标所处环境的场景信息包括：目标的位置坐标、场景边界坐标、场景兴趣点坐标和场景目的地坐标；
步骤2、训练深度轨迹预测模型：
采集训练数据集：从多目标跟踪平台上选取真实的跟踪数据集，对选取出来的跟踪数据集，从标注文件中计算每个目标连续多帧的检测框中心位置，并选取连续的多帧的数据作为一组训练数据，基于多组训练数据得到训练数据集；
深度轨迹预测模型训练：首先随机初始化模型参数，包括隐藏层之间的权重，以及输入向量与隐藏层之间的权重；然后基于训练数据集经过前向传播过程和反向传播算法对深度轨迹预测模型进行深度学习训练，当深度轨迹预测模型满足预设的收敛条件时，保存当前模型参数，得到训练好的深度轨迹预测模型；
步骤3、轨迹片段构建及外观相似度计算：
对于给定的视频序列，根据每一帧中所有目标的检测框集合，分别计算帧间两个检测框的帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度；
其中，帧间视觉相似度的计算方式为：使用颜色直方图作为检测框的视觉特征，并使用直方图的巴氏系数表示帧间两个检测框间的视觉相似度；
将帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度的乘积大于预设的最低阈值的帧间两个检测框作为备选关联对；
并对于同一帧的同一检测框，将备选关联对中帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度的乘积最大的备选关联对对应的两个检测框进行点连接，即将每个检测框作为一个轨迹点，从而得到给定的视频序列中的一条轨迹片段；
以及采用平均颜色直方图的巴氏系数表示两条不冲突轨迹片段间的外观相似度；
步骤4、轨迹预测及运动相似度计算：
对于每一对不冲突的轨迹片段对(ti,tj)，其中i,j为轨迹片段区分符；
基于训练好的深度轨迹预测模型对轨迹片段ti进行轨迹预测，得到轨迹预测结果；
得到未来连续多帧的位置信息；
再根据公式Am(ti,tj)＝G(Δp-μm,Σm)计算轨迹片段间的运动相似度Am(ti,tj)，其中，Δp是轨迹片段ti的轨迹预测结果与轨迹片段tj间的平均距离，G()表示高斯函数，μm，Σm分别为高斯函数G()的均值和方差；
步骤5、数据关联：
对于给定的视频序列，以步骤3生成的各轨迹片段为节点，构建最小费用最大流网络流模型，并将轨迹片段间的外观相似度和运动相似度的融合结果作为所述最小费用最大流网络流模型中边的费用；
基于边的费用，使用连续最短路算法求解模型，完成数据关联，得到每个目标的跟踪结果。
2.如权利要求1所述的方法，其特征在于，步骤4中，
平均距离Δp具体为：
其中，Δpk表示轨迹片段ti的轨迹预测结果与轨迹片段tj重叠时间段中各帧的轨迹点之间的欧式距离，K为轨迹预测结果与轨迹片段tj重叠时间的长度，即帧数，k表示各重叠时间所对应的帧标识。
3.如权利要求1所述的方法，其特征在于，将步骤5中的数据关联的处理过程设置为：
设置多目标跟踪结果的目标函数为：
其中，lij＝1表示轨迹片段对(ti,tj)被关联，T表示每个时间窗内的轨迹片段集合，c表示被关联的轨迹片段ti与tj之间的边的费用；
将所述目标函数取得最小值时的关联方案作为最优的多目标跟踪结果。
4.如权利要求3所述的方法，其特征在于，被关联的轨迹片段ti与tj之间的边的费用的计算方式设置为：
其中Aa(ti,tj)表示轨迹片段间的外观相似度，λa,λm分别是外观相似度和运动相似度的权重，且λa+λm＝1。
5.如权利要求1所述的方法，其特征在于，步骤1中，用insize、outsize分别表示深度轨迹预测模型输入和输出的帧数，并设置insize的取值范围为[5,15]；outsize的取值范围为[3,8]。
6.如权利要求1所述的方法，其特征在于，步骤4中，高斯分布的均值和方差取值范围分别设置为：μm的范围为[0,10]，Σm的范围为[0,10]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910374592.6A CN110135314B (zh) | 2019-05-07 | 2019-05-07 | 一种基于深度轨迹预测的多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910374592.6A CN110135314B (zh) | 2019-05-07 | 2019-05-07 | 一种基于深度轨迹预测的多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110135314A CN110135314A (zh) | 2019-08-16 |
| CN110135314B true CN110135314B (zh) | 2020-08-11 |
Family
ID=67576390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910374592.6A Expired - Fee Related CN110135314B (zh) | 2019-05-07 | 2019-05-07 | 一种基于深度轨迹预测的多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135314B (zh) |
Families Citing this family (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111823273B (zh) * | 2019-08-29 | 2022-07-19 | 浙江大学宁波理工学院 | 一种工业机器人在线轨迹预测的运行监测系统及其监测方法 |
| CN110728702B (zh) * | 2019-08-30 | 2022-05-20 | 深圳大学 | 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统 |
| CN110737968B (zh) * | 2019-09-11 | 2021-03-16 | 北京航空航天大学 | 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统 |
| CN110660083B (zh) * | 2019-09-27 | 2022-12-23 | 国网江苏省电力工程咨询有限公司 | 一种结合视频场景特征感知的多目标跟踪方法 |
| CN110929841B (zh) * | 2019-10-11 | 2023-04-18 | 浙江大学城市学院 | 基于增强意图的循环神经网络模型预测行人轨迹的方法 |
| CN115311329B (zh) * | 2019-10-11 | 2023-05-23 | 杭州云栖智慧视通科技有限公司 | 一种基于双环节约束的视频多目标跟踪方法 |
| CN110781806A (zh) * | 2019-10-23 | 2020-02-11 | 浙江工业大学 | 一种基于yolo的行人检测追踪方法 |
| CN110796678B (zh) * | 2019-10-29 | 2023-06-09 | 中山大学 | 一种基于IoU的水下多目标跟踪方法 |
| CN110990678B (zh) * | 2019-10-29 | 2022-05-10 | 浙江大学城市学院 | 基于增强型循环神经网络的轨迹相似性计算方法 |
| CN110796093A (zh) * | 2019-10-30 | 2020-02-14 | 上海眼控科技股份有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN110780290B (zh) * | 2019-11-01 | 2022-10-21 | 西安电子科技大学 | 基于lstm网络的多机动目标跟踪方法 |
| CN110826508B (zh) * | 2019-11-12 | 2022-10-11 | 浙江工商大学 | 一种基于视频流的行人非机动车违章检测与跟踪方法 |
| CN112904331B (zh) * | 2019-11-19 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN111105075A (zh) * | 2019-11-25 | 2020-05-05 | 上海建科工程咨询有限公司 | 一种基于案例推理的塔吊风险事故预测方法及系统 |
| CN111027461B (zh) * | 2019-12-06 | 2022-04-29 | 长安大学 | 基于多维单步lstm网络的车辆轨迹预测方法 |
| CN111553474A (zh) * | 2019-12-19 | 2020-08-18 | 珠海大横琴科技发展有限公司 | 船只检测模型训练方法及基于无人机视频的船只跟踪方法 |
| CN111179311B (zh) * | 2019-12-23 | 2022-08-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| CN111105443A (zh) * | 2019-12-26 | 2020-05-05 | 南京邮电大学 | 一种基于特征关联的视频群体人物运动轨迹跟踪方法 |
| CN111242974B (zh) * | 2020-01-07 | 2023-04-11 | 重庆邮电大学 | 一种基于孪生网络和反向传播的车辆实时跟踪方法 |
| CN111223121A (zh) * | 2020-01-13 | 2020-06-02 | 清华大学 | 一种基于无碰撞lstm的多目标轨迹预测方法 |
| CN111275737B (zh) * | 2020-01-14 | 2023-09-12 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN111242985B (zh) * | 2020-02-14 | 2022-05-10 | 电子科技大学 | 基于马尔科夫模型的视频多行人追踪方法 |
| CN111369570B (zh) * | 2020-02-24 | 2023-08-18 | 成都空御科技有限公司 | 一种视频图像的多目标检测跟踪方法 |
| CN111462177B (zh) * | 2020-03-14 | 2023-04-07 | 华中科技大学 | 一种基于多线索的在线多目标跟踪方法和系统 |
| CN111461222B (zh) * | 2020-04-01 | 2023-05-02 | 北京爱笔科技有限公司 | 目标物轨迹相似度的获取方法、装置及电子设备 |
| CN113496268B (zh) * | 2020-04-08 | 2024-07-05 | 北京图森智途科技有限公司 | 一种轨迹预测方法和装置 |
| CN111624992B (zh) * | 2020-04-28 | 2021-07-09 | 北京科技大学 | 一种基于神经网络的搬运机器人的路径跟踪控制方法 |
| CN111667099B (zh) * | 2020-05-18 | 2023-10-10 | 东北大学 | 基于时间粒度提升的动态目标不确定运动轨迹预测方法 |
| CN111652150B (zh) * | 2020-06-04 | 2024-03-19 | 北京环境特性研究所 | 一种红外抗干扰跟踪方法 |
| CN111695737B (zh) * | 2020-06-15 | 2023-08-11 | 中国电子科技集团公司第二十八研究所 | 一种基于lstm神经网络的群目标行进趋势预测方法 |
| CN111814604B (zh) * | 2020-06-23 | 2024-08-27 | 浙江理工大学 | 一种基于孪生神经网络的行人跟踪方法 |
| CN111831178B (zh) * | 2020-06-29 | 2023-01-17 | 中国科学院软件研究所 | 一种基于运动趋势信息的三维环境下辅助目标选择方法及系统 |
| CN111882580B (zh) * | 2020-07-17 | 2023-10-24 | 元神科技(杭州)有限公司 | 一种视频多目标跟踪方法及系统 |
| CN112037245B (zh) * | 2020-07-22 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 一种确定追踪目标相似度的方法和系统 |
| CN112037506B (zh) * | 2020-07-29 | 2021-07-09 | 长安大学 | 车辆轨迹预测模型构建方法、车辆轨迹预测方法及系统 |
| CN112116634B (zh) * | 2020-07-30 | 2024-05-07 | 西安交通大学 | 一种半在线机置的多目标跟踪方法 |
| CN112116629A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种使用全局响应图的端到端的多目标跟踪方法 |
| CN111986228B (zh) * | 2020-09-02 | 2023-06-02 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
| CN112200829A (zh) * | 2020-09-07 | 2021-01-08 | 慧视江山科技(北京)有限公司 | 基于相关滤波方法的目标跟踪方法及装置 |
| CN112102371A (zh) * | 2020-09-14 | 2020-12-18 | 湖州中科院应用技术研究与产业化中心 | 基于整体图平均化模型的群体目标轨迹分析模型 |
| CN112132152B (zh) * | 2020-09-21 | 2022-05-27 | 厦门大学 | 一种利用短程关联和长程修剪的多目标跟踪与分割方法 |
| CN112256131B (zh) * | 2020-10-26 | 2021-10-19 | 西安交通大学 | 面向类别搜索任务的基于目标检测的注视轨迹预测方法 |
| CN112288778B (zh) * | 2020-10-29 | 2022-07-01 | 电子科技大学 | 一种基于多帧回归深度网络的红外小目标检测方法 |
| CN112287890B (zh) * | 2020-11-23 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 人员聚集检测方法、可读存储介质和电子设备 |
| CN112489076B (zh) * | 2020-12-06 | 2024-05-28 | 北京工业大学 | 一种多目标跟踪方法与系统 |
| CN112529939A (zh) * | 2020-12-15 | 2021-03-19 | 广州云从鼎望科技有限公司 | 一种目标轨迹匹配方法、装置、机器可读介质及设备 |
| CN112581503B (zh) * | 2020-12-25 | 2022-11-11 | 清华大学 | 一种多视角下的多目标检测与跟踪方法 |
| CN112721948A (zh) * | 2021-01-11 | 2021-04-30 | 成都语动未来科技有限公司 | 基于预测和搜索框架的自动驾驶汽车变道调度的实现方法 |
| CN112862853A (zh) * | 2021-02-09 | 2021-05-28 | 北京大学 | 一种基于轨迹预测的多目标轨迹追踪与融合方法及系统 |
| CN113673331B (zh) * | 2021-07-14 | 2024-04-02 | 华南理工大学 | 一种基于多目标跟踪的移动机器人预见性导航方法 |
| CN113362367B (zh) * | 2021-07-26 | 2021-12-14 | 北京邮电大学 | 一种基于多精度交互的人群轨迹预测方法 |
| CN113821965B (zh) * | 2021-09-23 | 2023-01-17 | 盐城师范学院 | 一种活性粒子轨迹追踪方法及系统 |
| CN113706586B (zh) * | 2021-10-29 | 2022-03-18 | 深圳市城市交通规划设计研究中心股份有限公司 | 基于多点位感知的目标跟踪方法及装置、存储介质 |
| CN114119648A (zh) * | 2021-11-12 | 2022-03-01 | 史缔纳农业科技(广东)有限公司 | 一种用于固定通道的猪只计数方法 |
| CN114169241B (zh) * | 2021-12-09 | 2024-08-23 | 北京邮电大学 | 一种端到端的多目标识别、追踪与预测方法 |
| CN114283175B (zh) * | 2021-12-28 | 2024-02-02 | 中国人民解放军国防科技大学 | 基于交通视频监控场景下的车辆多目标跟踪方法和装置 |
| CN114419105B (zh) * | 2022-03-14 | 2022-07-15 | 深圳市海清视讯科技有限公司 | 多目标行人轨迹预测模型训练方法、预测方法及装置 |
| CN114663808A (zh) * | 2022-03-18 | 2022-06-24 | 南京邮电大学 | 基于视频检测技术的分拣中心异常识别方法 |
| CN114757426A (zh) * | 2022-04-21 | 2022-07-15 | 集美大学 | 一种海面目标轨迹预测方法、终端设备及存储介质 |
| CN115037992A (zh) * | 2022-06-08 | 2022-09-09 | 中央广播电视总台 | 视频处理方法、装置和存储介质 |
| CN114926772B (zh) * | 2022-07-14 | 2022-10-21 | 河南科技学院 | 一种咽拭子头部的跟踪与轨迹预测方法 |
| CN114998999B (zh) * | 2022-07-21 | 2022-12-06 | 之江实验室 | 一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置 |
| CN115168787B (zh) * | 2022-09-05 | 2022-11-25 | 中国电子科技集团公司第二十八研究所 | 一种基于推测计算的飞行轨迹关联跟踪方法 |
| CN117173221B (zh) * | 2023-09-19 | 2024-04-19 | 浙江大学 | 一种基于真实性分级与遮挡恢复的多目标跟踪方法 |
| CN117351039B (zh) * | 2023-12-06 | 2024-02-02 | 广州紫为云科技有限公司 | 一种基于特征查询的非线性多目标跟踪方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8229163B2 (en) * | 2007-08-22 | 2012-07-24 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
| US9390328B2 (en) * | 2014-04-25 | 2016-07-12 | Xerox Corporation | Static occlusion handling using directional pixel replication in regularized motion environments |
| CN104794737B (zh) * | 2015-04-10 | 2017-12-15 | 电子科技大学 | 一种深度信息辅助粒子滤波跟踪方法 |
| CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
| CN106022239A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种基于循环神经网络的多目标跟踪方法 |
| CN107145862B (zh) * | 2017-05-05 | 2020-06-05 | 山东大学 | 一种基于霍夫森林的多特征匹配多目标跟踪方法 |
| CN107492113B (zh) * | 2017-06-01 | 2019-11-05 | 南京行者易智能交通科技有限公司 | 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法 |
| CN108320300A (zh) * | 2018-01-02 | 2018-07-24 | 重庆信科设计有限公司 | 一种融合粒子滤波的时空上下文视觉跟踪方法 |
| CN108491796B (zh) * | 2018-03-22 | 2021-10-22 | 电子科技大学 | 一种时域周期点目标检测方法 |
-
2019
- 2019-05-07 CN CN201910374592.6A patent/CN110135314B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN110135314A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135314B (zh) | 一种基于深度轨迹预测的多目标跟踪方法 | |
| CN109285179B (zh) | 一种基于多特征融合的运动目标跟踪方法 | |
| CN108416394B (zh) | 基于卷积神经网络的多目标检测模型构建方法 | |
| CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
| CN114972418B (zh) | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 | |
| CN112233147B (zh) | 一种基于双路孪生网络的视频运动目标跟踪方法及装置 | |
| WO2020062433A1 (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
| CN102722714B (zh) | 基于目标跟踪的人工神经网络扩张式学习方法 | |
| CN109559320A (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
| CN109544613A (zh) | 一种基于稠密网络深度学习的双目立体匹配方法及系统 | |
| CN106682696A (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
| CN109859241B (zh) | 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法 | |
| CN110766723B (zh) | 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 | |
| CN106295637A (zh) | 一种基于深度学习与强化学习的车辆识别方法 | |
| CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
| CN110006444B (zh) | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 | |
| CN111008991B (zh) | 一种背景感知的相关滤波目标跟踪方法 | |
| CN112052802A (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
| CN114708435B (zh) | 基于语义分割的障碍物尺寸预测与不确定性分析方法 | |
| CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
| CN113706581A (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
| CN113033555B (zh) | 基于度量学习的视觉slam闭环检测方法 | |
| CN108537805A (zh) | 一种基于特征几何收益的目标识别方法 | |
| CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 | |
| CN112233145A (zh) | 一种基于rgb-d时空上下文模型的多目标遮挡跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200811 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |