CN111127513A - 一种多目标跟踪方法 - Google Patents

一种多目标跟踪方法 Download PDF

Info

Publication number
CN111127513A
CN111127513A CN201911214253.8A CN201911214253A CN111127513A CN 111127513 A CN111127513 A CN 111127513A CN 201911214253 A CN201911214253 A CN 201911214253A CN 111127513 A CN111127513 A CN 111127513A
Authority
CN
China
Prior art keywords
target
tracking
frame
matching
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911214253.8A
Other languages
English (en)
Other versions
CN111127513B (zh
Inventor
王忠立
蔡伯根
蔡余钰
王剑
陆德彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201911214253.8A priority Critical patent/CN111127513B/zh
Publication of CN111127513A publication Critical patent/CN111127513A/zh
Application granted granted Critical
Publication of CN111127513B publication Critical patent/CN111127513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于计算机视觉技术领域，特别是涉及一种多目标跟踪方法。多目标跟踪中的遮挡、外观相似问题依旧限制着视觉多目标跟踪算法性能。本申请提供了一种多目标跟踪方法，对视频中的每一帧图像进行检测，输出检测结果
Figure DDA0002299053110000011
基于LSTM网络构建非线性运动模型，构建多目标跟踪器，输出多目标跟踪器的预测结果
Figure DDA0002299053110000012
基于匈牙利算法构建数据关联模块，输入跟踪目标预测位置与特征向量矩阵
Figure DDA0002299053110000013
输出分配概率向量
Figure DDA0002299053110000014
得到匹配概率最大的目标检测结果，将其作为第i个目标的跟踪结果。克服现有视觉多目标跟踪算法中的跟踪不准确，遮挡后身份切换的问题，极大提高跟踪性能。

Description

一种多目标跟踪方法
技术领域
本申请属于计算机视觉技术领域，特别是涉及一种多目标跟踪方法。
背景技术
视觉多目标跟踪是计算机视觉领域的一个热点问题，有很多应用领域，比如：运动校正，无人驾驶，安防监控等。由于多目标跟踪过程中存在频繁的遮挡，造成跟踪过程中目标发生遮挡时，被检测到的目标数量发生变化，被遮挡的跟踪目标轨迹无法匹配现在帧的检测目标，无法判别该轨迹是因遮挡暂时消失还是离开检测区域停止跟踪，造成一部分被遮挡的轨迹因为误判终止跟踪。在目标遮挡结束后，原先跟踪的目标再次出现在检测区域内，若原跟踪轨迹已停止跟踪，此时该目标会生成新的初始轨迹，从而导致目标身份发生变化。在一些图像中，由于摄像机分辨率、目标距离等因素造成多个目标的外观相似，无法单从外观特征判断目标身份，造成检测目标和跟踪轨迹错误匹配，影响多目标跟踪的准确性。
近年来，基于检测的多目标跟踪方法提升了多目标跟踪算法性能，该方法把多目标跟踪分为目标检测和数据关联两部分。随着图形计算平台的性能升级，目标检测算法表现不断提高，可以解决跟踪过程中，目标数量变化的问题。但是多目标跟踪中的遮挡、外观相似问题依旧限制着视觉多目标跟踪算法性能。
发明内容
1.要解决的技术问题
近年来，基于检测的多目标跟踪方法提升了多目标跟踪算法性能，该方法把多目标跟踪分为目标检测和数据关联两部分。随着图形计算平台的性能升级，目标检测算法表现不断提高，可以解决跟踪过程中，目标数量变化的问题。但是多目标跟踪中的遮挡、外观相似问题依旧限制着视觉多目标跟踪算法性能的问题，本申请提供了一种多目标跟踪方法。
2.技术方案
为了达到上述的目的，本申请提供了一种多目标跟踪方法，所述方法包括如下步骤：
步骤1：获取待测视频，对待测视频中的每一帧图像进行检测，输出检测结果；
步骤2：构建基于LSTM网络的多目标运动模型，将已检测的目标按种类建立多目标跟踪器，通过LSTM网络预测功能，得到跟踪目标预测位置预测值，计算每个当前帧检测值与预测值的空间位置重合度IOU值，采用所述IOU值得到匹配候选矩阵；
步骤3：计算预测值和检测值外观特征向量的最小余弦距离和运动信息的马氏距离，使用计算结果作为跟踪代价，用匈牙利算法匹配当前帧检测与前一帧的匹配候选矩阵中的跟踪预测，得到当前帧匹配结果；
步骤4：将匹配对与特征矩阵作为输入，输入LSTM网络，计算遗忘门信息；
步骤5：对于当前帧中未成功匹配的检测信息，建立新的跟踪特征向量，删除多帧未匹配的跟踪向量。
本申请提供的另一种实施方式为：所述步骤1中采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果。
本申请提供的另一种实施方式为：所述目标检测器为MASK-R-CNN，所述MASK-R-CNN基于CNN卷积的深度网络。
本申请提供的另一种实施方式为：所述目标检测器输出结果包括边界框位置坐标、边界框宽高、目标种类和目标置信度。
本申请提供的另一种实施方式为：所述步骤2中所述多目标跟踪器输出结果包括预测的跟踪边界框位置坐标、目标种类和目标置信度。
本申请提供的另一种实施方式为：所述步骤2中基于LSTM网络的多目标运动模型将检测目标分为：行人、机动车和非机动车；通过三个并行的LSTM网络管理每个检测目标的运动状态和深度特征，利用循环神经网络技术训练三个LSTM网络，每个网络根据输入数据给出目标预测位置。
本申请提供的另一种实施方式为：所述步骤3中匹配结果包括匹配成功和匹配不成功，所述匹配成功的匹配对包括目标位置、外观特征向量和跟踪状态。
本申请提供的另一种实施方式为：所述步骤4中LSTM网络包括输入参数：第t帧隐藏状态ht、第t帧细胞状态Ct、检测特征矩阵At，输出参数第t+1帧隐藏状态ht+1、第t+1帧细胞状态Ct+1。
本申请提供的另一种实施方式为：首先初始化所述隐藏状态ht、细胞状态Ct，逐步输入第t帧隐藏状态ht、第t帧细胞状态Ct及特征矩阵At，输出第t+1帧隐藏状态ht+1、第t+1帧细胞状态Ct+1。
本申请提供的另一种实施方式为：所述匹配候选矩阵中的数值小于重合阈值，则将其置为1。
3.有益效果
与现有技术相比，本申请提供的一种多目标跟踪方法的有益效果在于：
本申请提供的多目标跟踪方法，通过在时间维度上管理特征向量，采用非线性运动模型进行预测，跟踪结果受多目标跟踪过程中相互遮挡、外观相似、目标数量不断变化等因素的影响有很大改善，提高了多目标跟踪准确度及多目标跟踪精确度。
本申请所提的多目标跟踪方法，采用目标检测器对视频中的每一帧图像进行检测，输出检测结果
Figure BDA0002299053090000033
基于LSTM网络构建非线性运动模型，构建多目标跟踪器，输出多目标跟踪器的预测结果
Figure BDA0002299053090000034
基于匈牙利算法构建数据关联模块，输入跟踪目标预测位置与特征向量矩阵
Figure BDA0002299053090000035
输出分配概率向量
Figure BDA0002299053090000036
得到匹配概率最大的目标检测结果，将其作为第i个目标的跟踪结果。
本申请所提的多目标跟踪方法，克服现有视觉多目标跟踪算法中的跟踪不准确，遮挡后身份切换的问题，极大提高跟踪性能。
本申请提出的多目标跟踪方法，将LSTM网络同时用作运动状态预测、外观特征记忆、跟踪状态管理，克服了跟踪不准确的技术缺点，不受多目标跟踪过程中互相遮挡、外观相似，数量不断变化的影响，提高了多目标跟踪准确度及多目标跟踪精确度。
附图说明
图1是本申请的多目标跟踪方法原理示意图；
图2是本申请的LSTM网络示意图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
LSTM已经在科技领域有了多种应用。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等任务。
参见图1～2，本申请提供一种多目标跟踪方法，所述方法包括如下步骤：
步骤1：获取待测视频，对待测视频中的每一帧图像进行检测，输出检测结果；设第t帧图像的检测结果为集合
Figure BDA0002299053090000031
Figure BDA0002299053090000032
为第t帧图像第i个检测结果，N为检测总量，输出检测目标外观特征feature map；
步骤2：构建基于LSTM网络的多目标运动模型，将已检测的目标按种类建立多目标跟踪器，通过LSTM网络预测功能，得到跟踪目标预测位置预测值，计算每个当前帧检测值与预测值的空间位置重合度IOU值，得到distance_matrix，采用所述IOU值得到匹配候选矩阵match_indicate＝1-IOU，即将distance_matrix中与当前帧检测重合度超过阈值的匹配对放入match_indicate中；
将检测器输出的所有目标的坐标值
Figure BDA0002299053090000041
与深度特征
Figure BDA0002299053090000042
输入特征矩阵
Figure BDA0002299053090000043
输入LSTM网络，初始化LSTM网络细胞状态Ct存储矩阵At，并建立待匹配的跟踪器
Figure BDA0002299053090000044
通过LSTM网络预测功能，得到跟踪目标预测位置预测值
Figure BDA0002299053090000045
隐藏层输出
Figure BDA0002299053090000046
到下一帧LSTM细胞中。检测器检测t+1帧图像中的目标，输入LSTM网络。计算当前帧的目标位置和预测目标位置的IOU值，计算公式为：
Figure BDA0002299053090000047
Figure BDA0002299053090000048
为图像块的检测坐标值，
Figure BDA0002299053090000049
为图像块的预测坐标值。
步骤3：计算预测值和检测值外观特征向量的最小余弦距离和运动信息的马氏距离，使用计算结果作为跟踪代价，用匈牙利算法匹配当前帧检测与前一帧的匹配候选矩阵中的跟踪预测，得到当前帧匹配结果；
计算匹配对中当前t帧检测特征矩阵
Figure BDA00022990530900000410
与t-1时刻的LSTM网络输出
Figure BDA00022990530900000411
Figure BDA00022990530900000412
的特征矩阵的马氏距离，使用计算结果作为跟踪代价cost_matrix，用匈牙利算法匹配当前帧检测与t-1帧的match_indicate中的跟踪预测，得到当前帧匹配结果
步骤4：将匹配对与特征矩阵作为输入，输入LSTM网络，计算遗忘门信息；
将匹配对
Figure BDA00022990530900000413
与特征矩阵作为输入。遗忘LSTM的细胞状态Ct中不需要的特征，更新LSTM的细胞状态，更新后的特征矩阵存储为Ct+1。细胞状态Ct+1输出已有跟踪器的目标跟踪状态和坐标。
步骤5：对于当前帧中未成功匹配的检测信息，建立新的跟踪特征向量，删除多帧未匹配的跟踪向量。
对于当前帧中未成功匹配的跟踪信息，将其标记为消失状态，保留跟踪信息。若超过跟踪阈值，将跟踪信息标记为终止，在细胞状态Ct+1删除该跟踪信息。对于当前帧中未成功匹配的检测信息，建立新的跟踪特征向量，输入细胞状态Ct+1。更新LSTM网络细胞状态Ct+1，计算输出门
Figure BDA00022990530900000414
将成功匹配的跟踪信息显示在图片上，保存图片。
进一步地，所述步骤1中采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果。
进一步地，所述目标检测器为MASK-R-CNN，所述MASK-R-CNN基于CNN卷积的深度网络。
进一步地，所述目标检测器输出结果包括边界框位置坐标、边界框宽高、目标种类和目标置信度。
进一步地，所述步骤2中所述多目标跟踪器输出结果包括预测的跟踪边界框位置坐标、目标种类和目标置信度。
进一步地，所述步骤2中基于LSTM网络的多目标运动模型将检测目标分为：行人、机动车和非机动车；通过三个并行的LSTM网络管理每个检测目标的运动状态和深度特征，利用循环神经网络技术训练三个LSTM网络，每个网络根据输入数据给出目标预测位置。
进一步地，所述步骤3中匹配结果包括匹配成功和匹配不成功，所述匹配成功的匹配对包括目标位置、外观特征向量和跟踪状态。
进一步地，所述步骤4中LSTM网络包括输入参数：第t帧隐藏状态ht、第t帧细胞状态Ct、检测特征矩阵At，输出参数第t+1帧隐藏状态ht+1、第t+1帧细胞状态Ct+1。
进一步地，首先初始化所述隐藏状态ht、细胞状态Ct，逐步输入第t帧隐藏状态ht、第t帧细胞状态Ct及特征矩阵At，输出第t+1帧隐藏状态ht+1、第t+1帧细胞状态Ct+1。
进一步地，所述匹配候选矩阵中的数值小于重合阈值，则将其置为1。
实施例
如图1所示，基于LSTM网络的多目标跟踪方法，包括以下步骤：
(1)采用MASK-R-CNN目标检测器对待测视频中的每一帧图像进行检测，输出检测结果，设第t帧图像的检测结果为集合
Figure BDA0002299053090000051
Figure BDA0002299053090000052
为第t帧图像第i个检测结果，N为检测总数量；输出检测目标外观特征feature map；对置信度低于跟踪阈值的目标同时检测输出分割特征。
(2)如图二所示，构造基于LSTM网络的非线性运动模型，将已检测的N个目标按种类建立多目标跟踪器。本申请涉及的LSTM网络包含三类多目标跟踪器，分别是机动车跟踪器
Figure BDA0002299053090000053
非机动车跟踪器
Figure BDA0002299053090000054
行人跟踪器
Figure BDA0002299053090000055
(3)将检测器输出的所有目标的坐标值与深度特征输入特征矩阵
Figure BDA0002299053090000056
输入LSTM网络，初始化LSTM网络细胞状态Ct存储矩阵At，根据矩阵At目标种类信息，初始化三种跟踪器，建立未确认的跟踪轨迹。
(4)通过LSTM网络预测功能，得到跟踪目标预测位置预测值
Figure BDA0002299053090000057
输出
Figure BDA0002299053090000058
到下一帧LSTM细胞中。
(5)检测t+1帧图像中的目标，输入LSTM网络。计算当前帧的目标位置和预测目标位置的IOU值，计算公式为：
Figure BDA0002299053090000061
Figure BDA0002299053090000062
为图像块的检测坐标值，
Figure BDA0002299053090000063
为图像块的预测坐标值。
(6)使用计算得到的IOU值算出匹配候选矩阵match_indicate＝1-IOU，若矩阵中的数值小于阈值，则将其置为1。
(7)计算预测值和检测值特征向量的最小余弦距离和运动信息的马氏距离得到cost_matrix，使用匈牙利算法匹配对匹配组中的对象。
(8)匹配成功的匹配对包含目标位置、外观特征向量、跟踪状态，输入LSTM网络，计算遗忘门信息。
(9)对于当前帧中未成功匹配的跟踪信息，将其标记为消失状态，保留跟踪信息。若超过跟踪阈值，将跟踪信息标记为终止，在细胞状态Ct+1删除该跟踪信息。
(10)对于当前帧中未成功匹配的检测信息，建立新的跟踪特征向量，输入细胞状态Ct+1。
(11)更新LSTM网络细胞状态Ct+1，计算输出门
Figure BDA0002299053090000064
(12)将成功匹配的跟踪信息显示在图片上，保存图片。
对步骤(3)中的LSTM网络，我们针对目标类型不同，设置了三种LSTM网络训练配置参数。对于行人目标：网络初始权重值init_scale＝0.1，学习速率learning_rate＝1.0，max_grad_norm＝5梯度最大范数，LSTM可堆叠层数num_layers＝2，LSTM梯度反向传播的展开步数num_steps＝20，LSTM内隐含节点数hidden_size＝200，初始学习速率可训练epoch数max_epoch＝4，可训练的epoch数max_max_epoch＝13，dropout层保留节点比例keep_prob＝1.0，学习速率的衰减速度lr_decay＝0.5，每个batch中样本数量batch_size＝20。对于非机动车辆：init_scale＝0.05，learning_rate＝1.0，max_grad_norm＝5，num_layers＝2，num_steps＝35，hidden_size＝650，max_epoch＝6，max_max_epoch＝39，keep_prob＝0.5，lr_decay＝0.8，batch_size＝20。对机动车辆目标：init_scale＝0.04，learning_rate＝1.0，max_grad_norm＝10，num_layers＝2，num_steps＝35，hidden_size＝1500，max_epoch＝14，max_max_epoch＝55，keep_prob＝0.35，lr_decay＝1/1.15，batch_size＝20
对于步骤(6)中，如果处与跟踪状态的预测位置有两个及以上IOU值超过重合阈值，则判断目标存在部分遮挡。如果处与跟踪状态的预测位置没有IOU值超过重合阈值，则判断遮挡。如果处与跟踪状态的预测位置超过图片坐标范围，则判断即将终止跟踪。
对于步骤(7)中，使用匈牙利算法计算概率向量
Figure BDA0002299053090000065
向量
Figure BDA0002299053090000066
是第i个检测目标和第j个预测结果在第t帧中的匹配概率，得到的匹配概率最大的目标检测结果作为第i个检测目标的跟踪结果。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (10)

1.一种多目标跟踪方法，其特征在于：所述方法包括如下步骤：
步骤1：获取待测视频，对待测视频中的每一帧图像进行检测，输出检测结果；
步骤2：构建基于LSTM网络的多目标运动模型，将已检测的目标按种类建立多目标跟踪器，通过LSTM网络预测功能，得到跟踪目标预测位置预测值，计算每个当前帧检测值与预测值的空间位置重合度IOU值，采用所述IOU值得到匹配候选矩阵；
步骤3：计算预测值和检测值外观特征向量的最小余弦距离和运动信息的马氏距离，使用计算结果作为跟踪代价，用匈牙利算法匹配当前帧检测与前一帧的匹配候选矩阵中的跟踪预测，得到当前帧匹配结果；
步骤4：将匹配对与特征矩阵作为输入，输入LSTM网络，更新LSTM细胞状态信息；
步骤5：对于当前帧中未成功匹配的检测信息，建立新的跟踪特征向量，删除多帧未匹配的跟踪向量。
2.如权利要求1所述的多目标跟踪方法，其特征在于：所述步骤1中采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果。
3.如权利要求2所述的多目标跟踪方法，其特征在于：所述目标检测器为MASK-R-CNN，所述MASK-R-CNN基于CNN卷积的深度网络。
4.如权利要求2所述的多目标跟踪方法，其特征在于：所述目标检测器输出结果包括边界框位置坐标、边界框宽高、目标种类和目标置信度。
5.如权利要求1所述的多目标跟踪方法，其特征在于：所述步骤2中所述多目标跟踪器输出结果包括预测的跟踪边界框位置坐标、目标种类和目标置信度。
6.如权利要求1所述的多目标跟踪方法，其特征在于：所述步骤2中基于LSTM网络的多目标运动模型将检测目标分为：行人、机动车和非机动车；通过三个并行的LSTM网络管理每个检测目标的运动状态和深度特征，利用循环神经网络技术训练三个LSTM网络，每个网络根据输入数据给出目标预测位置。
7.如权利要求1所述的多目标跟踪方法，其特征在于：所述步骤3中匹配结果包括匹配成功和匹配不成功，所述匹配成功的匹配对包括目标位置、外观特征向量和跟踪状态。
8.如权利要求1所述的多目标跟踪方法，其特征在于：所述步骤4中LSTM网络包括输入参数：第t帧隐藏状态ht、第t帧细胞状态Ct、检测特征矩阵At，输出参数第t+1帧隐藏状态ht+1、第t+1帧细胞状态Ct+1。
9.如权利要求8所述的多目标跟踪方法，其特征在于：首先初始化所述隐藏状态ht、细胞状态Ct，逐步输入第t帧隐藏状态ht、第t帧细胞状态Ct及特征矩阵At，输出第t+1帧隐藏状态ht+1、第t+1帧细胞状态Ct+1。
10.如权利要求1～9中任一项所述的多目标跟踪方法，其特征在于：所述匹配候选矩阵中的数值小于重合阈值，则将其置为1。
CN201911214253.8A 2019-12-02 2019-12-02 一种多目标跟踪方法 Active CN111127513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911214253.8A CN111127513B (zh) 2019-12-02 2019-12-02 一种多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911214253.8A CN111127513B (zh) 2019-12-02 2019-12-02 一种多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111127513A true CN111127513A (zh) 2020-05-08
CN111127513B CN111127513B (zh) 2024-03-15

Family

ID=70496829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911214253.8A Active CN111127513B (zh) 2019-12-02 2019-12-02 一种多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111127513B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652150A (zh) * 2020-06-04 2020-09-11 北京环境特性研究所 一种红外抗干扰跟踪方法
CN111775966A (zh) * 2020-09-04 2020-10-16 成都唐源电气股份有限公司 基于线阵成像的列车车门定位方法及系统
CN111797785A (zh) * 2020-07-09 2020-10-20 电子科技大学 一种基于机场场面先验与深度学习的多航空器跟踪方法
CN111932583A (zh) * 2020-06-05 2020-11-13 西安羚控电子科技有限公司 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN112288775A (zh) * 2020-10-23 2021-01-29 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112288778A (zh) * 2020-10-29 2021-01-29 电子科技大学 一种基于多帧回归深度网络的红外小目标检测方法
CN112435277A (zh) * 2020-12-11 2021-03-02 中科人工智能创新技术研究院(青岛)有限公司 一种监控场景下限定区域内目标跟踪方法及系统
CN112465878A (zh) * 2021-02-02 2021-03-09 北京邮电大学 一种基于粒子滤波的位置预测方法及设备
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112529934A (zh) * 2020-12-02 2021-03-19 北京航空航天大学杭州创新研究院 多目标追踪方法、装置、电子设备和存储介质
CN112836640A (zh) * 2021-02-04 2021-05-25 浙江工业大学 一种单摄像头多目标行人跟踪方法
CN112949615A (zh) * 2021-05-13 2021-06-11 浙江力嘉电子科技有限公司 一种基于融合检测技术的多目标跟踪系统及跟踪方法
TWI730795B (zh) * 2020-06-02 2021-06-11 中華學校財團法人中華科技大學 多目標人體體溫追蹤方法及系統
CN113065523A (zh) * 2021-04-26 2021-07-02 上海哔哩哔哩科技有限公司 目标追踪方法及装置、电子设备和存储介质
CN113129336A (zh) * 2021-03-31 2021-07-16 同济大学 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN113223052A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN113283330A (zh) * 2021-05-20 2021-08-20 南京航空航天大学 基于深度学习与多目标跟踪算法的视频sar动目标检测方法
CN113409361A (zh) * 2021-08-12 2021-09-17 深圳市城市交通规划设计研究中心股份有限公司 一种多目标跟踪方法、装置、计算机及存储介质
CN113744316A (zh) * 2021-09-08 2021-12-03 电子科技大学 一种基于深度神经网络的多目标跟踪方法
CN114063079A (zh) * 2021-10-12 2022-02-18 福瑞泰克智能系统有限公司 目标置信度获取方法、装置、雷达系统和电子装置
WO2022222227A1 (zh) * 2021-04-22 2022-10-27 平安科技（深圳）有限公司 基于目标检测网络的目标跟踪方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573496A (zh) * 2018-03-29 2018-09-25 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
US20190266420A1 (en) * 2018-02-27 2019-08-29 TuSimple System and method for online real-time multi-object tracking
CN110390289A (zh) * 2019-07-17 2019-10-29 苏州大学 基于指称理解的视频安防检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190266420A1 (en) * 2018-02-27 2019-08-29 TuSimple System and method for online real-time multi-object tracking
CN108573496A (zh) * 2018-03-29 2018-09-25 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110390289A (zh) * 2019-07-17 2019-10-29 苏州大学 基于指称理解的视频安防检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERKAN BASER: "FanTrack: 3D Multi-Object Tracking with Feature Association Network" *
张梦: "安防巡逻机器人行人感知系统研究" *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI730795B (zh) * 2020-06-02 2021-06-11 中華學校財團法人中華科技大學 多目標人體體溫追蹤方法及系統
CN111652150A (zh) * 2020-06-04 2020-09-11 北京环境特性研究所 一种红外抗干扰跟踪方法
CN111652150B (zh) * 2020-06-04 2024-03-19 北京环境特性研究所 一种红外抗干扰跟踪方法
CN111932583A (zh) * 2020-06-05 2020-11-13 西安羚控电子科技有限公司 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN111797785A (zh) * 2020-07-09 2020-10-20 电子科技大学 一种基于机场场面先验与深度学习的多航空器跟踪方法
CN111775966A (zh) * 2020-09-04 2020-10-16 成都唐源电气股份有限公司 基于线阵成像的列车车门定位方法及系统
CN112288775A (zh) * 2020-10-23 2021-01-29 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112288775B (zh) * 2020-10-23 2022-04-15 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112288778A (zh) * 2020-10-29 2021-01-29 电子科技大学 一种基于多帧回归深度网络的红外小目标检测方法
CN112529934A (zh) * 2020-12-02 2021-03-19 北京航空航天大学杭州创新研究院 多目标追踪方法、装置、电子设备和存储介质
CN112529934B (zh) * 2020-12-02 2023-12-19 北京航空航天大学杭州创新研究院 多目标追踪方法、装置、电子设备和存储介质
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112435277A (zh) * 2020-12-11 2021-03-02 中科人工智能创新技术研究院(青岛)有限公司 一种监控场景下限定区域内目标跟踪方法及系统
CN112435277B (zh) * 2020-12-11 2022-09-02 中科人工智能创新技术研究院(青岛)有限公司 一种监控场景下限定区域内目标跟踪方法及系统
CN112465878A (zh) * 2021-02-02 2021-03-09 北京邮电大学 一种基于粒子滤波的位置预测方法及设备
CN112836640A (zh) * 2021-02-04 2021-05-25 浙江工业大学 一种单摄像头多目标行人跟踪方法
CN112836640B (zh) * 2021-02-04 2024-04-19 浙江工业大学 一种单摄像头多目标行人跟踪方法
CN113129336A (zh) * 2021-03-31 2021-07-16 同济大学 一种端到端多车辆跟踪方法、系统及计算机可读介质
WO2022222227A1 (zh) * 2021-04-22 2022-10-27 平安科技（深圳）有限公司 基于目标检测网络的目标跟踪方法、装置、设备及介质
CN113065523B (zh) * 2021-04-26 2023-06-16 上海哔哩哔哩科技有限公司 目标追踪方法及装置、电子设备和存储介质
CN113065523A (zh) * 2021-04-26 2021-07-02 上海哔哩哔哩科技有限公司 目标追踪方法及装置、电子设备和存储介质
CN113223052A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN112949615A (zh) * 2021-05-13 2021-06-11 浙江力嘉电子科技有限公司 一种基于融合检测技术的多目标跟踪系统及跟踪方法
CN113283330A (zh) * 2021-05-20 2021-08-20 南京航空航天大学 基于深度学习与多目标跟踪算法的视频sar动目标检测方法
CN113409361A (zh) * 2021-08-12 2021-09-17 深圳市城市交通规划设计研究中心股份有限公司 一种多目标跟踪方法、装置、计算机及存储介质
CN113744316A (zh) * 2021-09-08 2021-12-03 电子科技大学 一种基于深度神经网络的多目标跟踪方法
CN114063079A (zh) * 2021-10-12 2022-02-18 福瑞泰克智能系统有限公司 目标置信度获取方法、装置、雷达系统和电子装置
CN114063079B (zh) * 2021-10-12 2022-06-21 福瑞泰克智能系统有限公司 目标置信度获取方法、装置、雷达系统和电子装置

Also Published As

Publication number Publication date
CN111127513B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111127513B (zh) 一种多目标跟踪方法
Kraus et al. Uncertainty estimation in one-stage object detection
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN108470332B (zh) 一种多目标跟踪方法及装置
WO2020215492A1 (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN108573496B (zh) 基于lstm网络和深度增强学习的多目标跟踪方法
CN111144364B (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN113674328A (zh) 一种多目标车辆跟踪方法
CN110782483A (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN110363165B (zh) 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN110781262A (zh) 基于视觉slam的语义地图的构建方法
Vaquero et al. Dual-branch CNNs for vehicle detection and tracking on LiDAR data
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN117036397A (zh) 一种基于融合信息关联和相机运动补偿的多目标跟踪方法
CN116758153A (zh) 用于机器人精准位姿获取的基于多因子图的后端优化方法
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN114676756A (zh) 图像识别方法、装置及计算机存储介质
CN113781563A (zh) 一种基于深度学习的移动机器人回环检测方法
CN117630860A (zh) 一种毫米波雷达的手势识别方法
Lim et al. Integrated position and motion tracking method for online multi-vehicle tracking-by-detection
Wang et al. Improving target detection by coupling it with tracking
Jahantighy et al. Multiple targets video tracking based on extended kalman filter in combination with particle swarm optimization for intelligent applications
Qiao et al. Objects matter: Learning object relation graph for robust absolute pose regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant