CN109816690A - 基于深度特征的多目标追踪方法及系统 - Google Patents
基于深度特征的多目标追踪方法及系统 Download PDFInfo
- Publication number
- CN109816690A CN109816690A CN201811595179.4A CN201811595179A CN109816690A CN 109816690 A CN109816690 A CN 109816690A CN 201811595179 A CN201811595179 A CN 201811595179A CN 109816690 A CN109816690 A CN 109816690A
- Authority
- CN
- China
- Prior art keywords
- target
- detection block
- tracker
- matched
- depth characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于深度特征的多目标追踪方法及系统，所述方法包括：获取在当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配；计算未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。本发明实施例能有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数。
Description
技术领域
本发明实施例涉及深度学习技术领域，更具体地，涉及一种基于深度特征的多目标追踪方法及系统。
背景技术
多目标跟踪的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。
随着目标检测技术的飞速发展，通过检测跟踪(Tracking by detection)在多目标跟踪中成为主流。在这一处理模式中，目标轨迹是通过对整个视频流的全局优化处理计算而得到的，如flow网络、概率图模型等。然而，批处理使得这些方法不适用于需要实时目标检测的在线场景。更为传统方法是多假设跟踪(Multiple Hypothesis Tracking)和联合概率数据关联滤波(Joint Probabilistic Data Association Filter)。还有一种方法是简单在线实时跟踪(Simple online and realtime tracking，SORT)框架通过在图像空间执行卡尔曼滤波，以及使用Hungarian方法实现帧间数据关联，关联指标是测量边界框的重叠。
现有的多目标跟踪方法存在ID切换，计算和实现的复杂度较大，并且在有遮挡时跟踪性能较低的问题。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于深度特征的多目标追踪方法及系统。
第一方面，本发明实施例提供一种基于深度特征的多目标追踪方法，包括：
将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；
基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；
根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；
计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
第二方面，本发明实施例提供一种基于深度特征的多目标追踪系统，包括：
特征提取模块，用于将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；
预测模块，用于基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；
级联匹配模块，用于根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；
IOU匹配模块，用于计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于深度特征的多目标追踪方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于深度特征的多目标追踪方法的步骤。
本发明实施例提供的基于深度特征的多目标追踪方法及系统，利用卷积神经网络提取目标的深度特征，并利用卡尔曼滤波预测目标出现的位置，通过级联匹配和IOU匹配两级匹配方式实现检测框与追踪器之间的匹配，能够有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数，提高了对遗漏和遮挡的鲁棒性，同时具备容易部署、高效和可移植到在线场景的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供的基于深度特征的多目标追踪方法的流程示意图；
图2为本发明实施例提供的基于深度特征的多目标追踪系统的结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于深度特征的多目标追踪方法的流程示意图，如图所示，包括：
步骤100、将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；
多目标跟踪问题的解决共分为两步，第一步是目标检测，第二步是数据关联。本发明实施例中，利用预先训练好的卷积神经网络实现对输入的帧图像的目标检测，并提取深度特征。其中，深度特征是指目标所对应的外观特征信息。该预先训练好的卷积神经网络具体输出当前帧图像中检测到的多个目标对应的检测框位置以及各目标的深度特征。
步骤101、基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；
具体地，在进行了目标检测之后，本发明实施例利用卡尔曼滤波对目标进行追踪，即使用Kalman滤波器来对目标的运动状态进行预测。
利用上一帧图像中各个目标对应的检测框位置，预测当前帧图像中各个目标出现的位置，即各目标在当前帧的预测位置，具体为bounding box(边界框)位置。
在一个实施例中，采用基于常量速度模型和线性观测模型的标准Kalman滤波器对各目标进行运动状态的预测，获得各目标在当前帧的预测位置；
其中，目标的运动状态采用8个参数进行描述；
其中，(u,v)为目标在当前帧对应的预测框的中心坐标，γ为所述预测框的长宽比，h为所述预测框的高度，为目标在图像坐标系中的速度信息。
步骤102、根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；
在实现了目标检测，提取深度特征并进行了目标追踪之后，要进行数据关联。具体地，利用匈牙利算法根据检测框位置、各目标在当前帧的预测位置和深度特征这几个因素进行检测框和追踪器之间的匹配。
本发明实施例采取级联的匹配方法来对更加频繁出现的目标赋予优先权以达到降低卡尔曼滤波预测的不确定性。该方式能够改善有遮挡情况下的目标追踪效果并减少ID切换的次数。
利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始的匹配集合、未级联匹配上的检测框和待匹配的追踪器。
步骤103、计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
具体地，对经过级联匹配之后未匹配成功的检测框和追踪器进行第二次匹配，采取IOU(Intersection over Union，交并比)匹配的方式。IOU可以理解为预测框与检测框的重合程度。首先计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
本发明实施例提供的基于深度特征的多目标追踪方法，利用卷积神经网络提取目标的深度特征，并利用卡尔曼滤波预测目标出现的位置，通过级联匹配和IOU匹配两级匹配方式实现检测框与追踪器之间的匹配，能够有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数，提高了对遗漏和遮挡的鲁棒性，同时具备容易部署、高效和可移植到在线场景的能力。
基于上述实施例的内容所述根据各目标对应的检测框位置、各目标在当前帧的预测位置和各目标的深度特征，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器的步骤，具体为：
构建每个目标的深度特征与各追踪器的深度特征集间的余弦距离矩阵；
具体地，初始化当前帧追踪和检测信息。追踪器会保存每个追踪到的目标的深度特征，生成深度特征集，针对每个目标，根据每个目标的深度特征，计算每个目标的深度特征与各追踪器已保存的深度特征集中的深度特征间的余弦距离，生成余弦距离矩阵。
计算每个目标在当前帧的预测位置与其对应的检测框位置之间的马氏距离；
对所述余弦距离矩阵进行预处理，包括将所述余弦距离矩阵中马氏距离大于第一预设阈值的元素置为无穷大，以及将所述余弦距离矩阵中余弦距离大于第二预设阈值的元素置为一个较大的值；
具体地，第一预设阈值和第二预设阈值可根据不同场景进行设置。将余弦距离矩阵中马氏距离大于第一预设阈值的元素置为无穷大，可以方便后续计算，将余弦距离矩阵中余弦距离大于第二预设阈值的元素置为一个较大的值，可方便后续删除。
基于预处理后的所述余弦距离矩阵，利用匈牙利算法对各目标对应的检测框与追踪器进行第一次匹配，可以得到各目标对应的检测框与各追踪器之间的相似得分，并对第一次匹配结果进行筛选，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器。
基于上述实施例的内容，所述计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合的步骤，具体为：
根据当前帧初始化待匹配的追踪器，计算未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵；
对所述IOU距离矩阵进行预处理，将所述IOU距离矩阵中IOU距离大于预设阈值的元素设置为较大的值；
并利用匈牙利算法对所述未级联匹配上的检测框与待匹配的追踪器进行第二次匹配，并对第二次匹配结果进行筛选，删除IOU距离较小的区域，获得最终匹配集合、未匹配上的检测框和待匹配的追踪器。
基于上述各实施例的内容，所述卷积神经网络模型包括顺序连接的两个卷积层、最大池化层、六个残差块、全连接层和归一化层。
本发明实施例中所构建的卷积神经网络模型的结构，如表1所示，该卷积神经网络模型包括顺序连接的两个卷积层、最大池化层、六个残差块、全连接层和归一化层。在全连接层(Dense 10)中输出维度为128的全局特征。最后一层(归一化层)实现了对特征的映射以提高外观度量的兼容性。
表1卷积神经网络模型结构
卷积神经网络模型的训练集是一个大规模的行人重识别数据集，其中包括110万张图像，1261个行人。这个数据集对于行人跟踪的特征提取以及度量非常有帮助。
在训练过程中，通过大量的样本对进行线下训练，使得模型的鲁棒性显著提高。在训练完成后，将模型参数进行保存，在测试匹配过程中，直接使用该参数进行多目标的追踪，而不需要在线上在训练调整该参数。
该卷积神经网络模型的输入为一帧图像，输出为该帧图像对应的各个目标的检测框位置以及各目标的深度特征。
基于上述各实施例的内容，所述获得最终匹配集合的步骤之后，还包括：
对追踪器进行参数更新，并根据所述最终匹配集合获取各目标的运动轨迹。
具体地，对追踪器进行参数更新，包括：1)更新追踪器进行卡尔曼预测的均值和协方差；2)追踪器的创建与移除：对每一个追踪目标，记录自其上一次检测结果与追踪结果匹配之后的帧数ak，一旦一个目标的检测结果与追踪结果正确关联之后，就将该参数设置为0。如果ak超过了设置的最大阈值Amax，则认为对该目标的追踪过程已结束。如果某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联，那么则认为可能出现了新目标。如果连续三帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标；否则认为是出现了“虚警”，需要删除该追踪器；3)对于未匹配的检测框重新分配ID；4)使用新的追踪器更新矩阵特征，便于下一帧的计算。
根据所述最终匹配集合获取各目标的运动轨迹，包括：判断轨迹终止、产生新轨迹的时刻。首先对于每条轨迹都有一个阈值a用于记录轨迹从上一次成功匹配到当前时刻的时间。当该值大于提前设定的阈值则认为该轨迹终止，直观上说就是长时间匹配不上的轨迹认为已经结束。然后在匹配时，对于没有匹配成功的detections都认为可能产生新的轨迹。但由于这些detections可能是一些false alarms，所以对这种情形新生成的轨迹标注状态为不确定的(tentative)；然后观查在接下来的连续若干帧中是否连续匹配成功，如果是则认为是新轨迹产生，标注为确定(confirmed)，否则认为是虚假轨迹，状态标注为删除(deleted)。
基于上述各实施例的内容，所述获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征的步骤之后，还包括：
对各目标对应的检测框进行置信度的筛选，并对各目标对应的检测框进行非最大值抑制，使一个目标只对应一个检测框。
具体地，在获取了各目标对应的检测框位置之后，进行卡尔曼滤波之前，对所获取到的检测框位置进行筛选，删除置信度较低的检测框，并对检测框进行最大值抑制，使每个目标值对应一个检测框，便于后续跟踪计算。
如图2所示，为本发明实施例提供的基于深度特征的多目标追踪系统的结构示意图，包括：特征提取模块210、预测模块220、级联匹配模块230和IOU匹配模块240，其中，
特征提取模块210，用于将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；
具体地，多目标跟踪问题的解决共分为两步，第一步是目标检测，第二步是数据关联。本发明实施例中，特征提取模块210利用预先训练好的卷积神经网络实现对输入的帧图像的目标检测，并提取深度特征。其中，深度特征是指目标所对应的外观特征信息。该预先训练好的卷积神经网络具体输出当前帧图像中检测到的多个目标对应的检测框位置以及各目标的深度特征。
预测模块220，用于基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；
在进行了目标检测之后，预测模块220利用卡尔曼滤波对目标进行追踪，即使用Kalman滤波器来对目标的运动状态进行预测。
利用上一帧图像中各个目标对应的检测框位置，预测当前帧图像中各个目标出现的位置，即各目标在当前帧的预测位置，具体为bounding box(边界框)位置。
在一个实施例中，采用基于常量速度模型和线性观测模型的标准Kalman滤波器对各目标进行运动状态的预测，获得各目标在当前帧的预测位置；
其中，目标的运动状态采用8个参数进行描述；
其中，(u,v)为目标在当前帧对应的预测框的中心坐标，γ为所述预测框的长宽比，h为所述预测框的高度，为目标在图像坐标系中的速度信息。
级联匹配模块230，用于根据各目标对应的检测框位置、各目标在当前帧的预测位置和各目标的深度特征，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；
在实现了目标检测，提取深度特征并进行了目标追踪之后，要进行数据关联。具体地，级联匹配模块230利用匈牙利算法根据检测框位置、各目标在当前帧的预测位置和深度特征这两个因素进行检测框和追踪器之间的匹配。
本发明实施例采取级联的匹配方法来对更加频繁出现的目标赋予优先权以达到降低卡尔曼滤波预测的不确定性。该方式能够改善有遮挡情况下的目标追踪效果并减少ID切换的次数。
利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始的匹配集合、未级联匹配上的检测框和待匹配的追踪器。
IOU匹配模块240，用于计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
具体地，IOU匹配模块240对经过级联匹配之后未匹配成功的检测框和追踪器进行第二次匹配，采取IOU(Intersection over Union，交并比)匹配的方式。IOU可以理解为预测框与检测框的重合程度。首先计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
本发明实施例提供的基于深度特征的多目标追踪系统，利用卷积神经网络提取目标的深度特征，并利用卡尔曼滤波预测目标出现的位置，通过级联匹配和IOU匹配两级匹配方式实现检测框与追踪器之间的匹配，能够有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数，提高了对遗漏和遮挡的鲁棒性，同时具备容易部署、高效和可移植到在线场景的能力。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序，以执行上述各实施例提供的基于深度特征的多目标追踪方法，例如包括：将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例提供的基于深度特征的多目标追踪方法，例如包括：将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度特征的多目标追踪方法，其特征在于，包括：
将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；
基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；
根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；
计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
2.根据权利要求1所述的方法，其特征在于，所述根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器的步骤，具体为：
构建每个目标的深度特征与各追踪器的深度特征集间的余弦距离矩阵；
计算每个目标在当前帧的预测位置与其对应的检测框位置之间的马氏距离；
对所述余弦距离矩阵进行预处理，包括将所述余弦距离矩阵中马氏距离大于第一预设阈值的元素置为无穷大，以及将所述余弦距离矩阵中余弦距离大于第二预设阈值的元素置为一个较大的值；
基于预处理后的所述余弦距离矩阵，利用匈牙利算法对各目标对应的检测框与追踪器进行第一次匹配，并对第一次匹配结果进行筛选，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器。
3.根据权利要求1所述的方法，其特征在于，所述计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合的步骤，具体为：
根据当前帧初始化待匹配的追踪器，计算未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵；
对所述IOU距离矩阵进行预处理，并利用匈牙利算法对所述未级联匹配上的检测框与待匹配的追踪器进行第二次匹配，并对第二次匹配结果进行筛选，获得最终匹配集合、未匹配上的检测框和待匹配的追踪器。
4.根据权利要求1所述的方法，其特征在于，所述基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置的步骤，具体为：
基于上一帧图像中各目标对应的检测框位置，采用基于常量速度模型和线性观测模型的标准Kalman滤波器对各目标进行运动状态的预测，获得各目标在当前帧的预测位置；
其中，目标的运动状态采用8个参数进行描述；
其中，(u,v)为目标在当前帧对应的预测框的中心坐标，γ为所述预测框的长宽比，h为所述预测框的高度，为目标在图像坐标系中的速度信息。
5.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型包括顺序连接的两个卷积层、最大池化层、六个残差块、全连接层和归一化层。
6.根据权利要求1所述的方法，其特征在于，所述获得最终匹配集合的步骤之后，还包括：
对追踪器进行参数更新，并根据所述最终匹配集合获取各目标的运动轨迹。
7.根据权利要求1所述的方法，其特征在于，所述获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征的步骤之后，还包括：
对各目标对应的检测框进行置信度的筛选，并对各目标对应的检测框进行非最大值抑制，使一个目标只对应一个检测框。
8.一种基于深度特征的多目标追踪系统，其特征在于，包括：
特征提取模块，用于将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；
预测模块，用于基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；
级联匹配模块，用于根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；
IOU匹配模块，用于计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811595179.4A CN109816690A (zh) | 2018-12-25 | 2018-12-25 | 基于深度特征的多目标追踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811595179.4A CN109816690A (zh) | 2018-12-25 | 2018-12-25 | 基于深度特征的多目标追踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109816690A true CN109816690A (zh) | 2019-05-28 |
Family
ID=66602411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811595179.4A Pending CN109816690A (zh) | 2018-12-25 | 2018-12-25 | 基于深度特征的多目标追踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109816690A (zh) |
Cited By (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188690A (zh) * | 2019-05-30 | 2019-08-30 | 青岛伴星智能科技有限公司 | 一种基于无人机的智能视觉分析系统、智能视觉分析系统及方法 |
| CN110245641A (zh) * | 2019-06-21 | 2019-09-17 | 上海摩象网络科技有限公司 | 一种目标追踪拍摄方法、装置、电子设备 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110415277A (zh) * | 2019-07-24 | 2019-11-05 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| CN110490910A (zh) * | 2019-08-13 | 2019-11-22 | 顺丰科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN110517293A (zh) * | 2019-08-29 | 2019-11-29 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、系统和计算机可读存储介质 |
| CN110516556A (zh) * | 2019-07-31 | 2019-11-29 | 平安科技（深圳）有限公司 | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 |
| CN110517292A (zh) * | 2019-08-29 | 2019-11-29 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、系统和计算机可读存储介质 |
| CN110619657A (zh) * | 2019-08-15 | 2019-12-27 | 青岛文达通科技股份有限公司 | 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 |
| CN110660078A (zh) * | 2019-08-20 | 2020-01-07 | 平安科技（深圳）有限公司 | 对象追踪方法、装置、计算机设备和存储介质 |
| CN110782483A (zh) * | 2019-10-23 | 2020-02-11 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| CN111091091A (zh) * | 2019-12-16 | 2020-05-01 | 北京迈格威科技有限公司 | 目标对象重识别特征的提取方法、装置、设备及存储介质 |
| CN111161325A (zh) * | 2019-12-31 | 2020-05-15 | 广州视声智能科技有限公司 | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 |
| CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| CN111209812A (zh) * | 2019-12-27 | 2020-05-29 | 深圳市优必选科技股份有限公司 | 目标人脸图片提取方法、装置及终端设备 |
| CN111238829A (zh) * | 2020-02-12 | 2020-06-05 | 上海眼控科技股份有限公司 | 移动状态的确定方法、装置、计算机设备和存储介质 |
| CN111476817A (zh) * | 2020-02-27 | 2020-07-31 | 浙江工业大学 | 一种基于yolov3的多目标行人检测跟踪方法 |
| CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
| CN111553474A (zh) * | 2019-12-19 | 2020-08-18 | 珠海大横琴科技发展有限公司 | 船只检测模型训练方法及基于无人机视频的船只跟踪方法 |
| CN111627045A (zh) * | 2020-05-06 | 2020-09-04 | 佳都新太科技股份有限公司 | 单镜头下的多行人在线跟踪方法、装置、设备及存储介质 |
| CN111626194A (zh) * | 2020-05-26 | 2020-09-04 | 佛山市南海区广工大数控装备协同创新研究院 | 一种使用深度关联度量的行人多目标跟踪方法 |
| CN111640140A (zh) * | 2020-05-22 | 2020-09-08 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| CN111652909A (zh) * | 2020-04-21 | 2020-09-11 | 南京理工大学 | 一种基于深度哈希特征的行人多目标追踪方法 |
| CN111652907A (zh) * | 2019-12-25 | 2020-09-11 | 珠海大横琴科技发展有限公司 | 一种基于数据关联的多目标跟踪方法、装置及电子设备 |
| CN111681264A (zh) * | 2020-06-05 | 2020-09-18 | 浙江新再灵科技股份有限公司 | 一种监控场景的实时多目标跟踪方法 |
| CN111709975A (zh) * | 2020-06-22 | 2020-09-25 | 上海高德威智能交通系统有限公司 | 多目标跟踪方法、装置、电子设备及存储介质 |
| CN111709287A (zh) * | 2020-05-15 | 2020-09-25 | 南京农业大学 | 基于深度学习的断奶仔猪目标跟踪方法 |
| CN111767847A (zh) * | 2020-06-29 | 2020-10-13 | 佛山市南海区广工大数控装备协同创新研究院 | 一种集成目标检测和关联的行人多目标跟踪方法 |
| CN111784750A (zh) * | 2020-06-22 | 2020-10-16 | 深圳日海物联技术有限公司 | 视频图像中移动物体追踪方法、装置、设备以及存储介质 |
| CN111862044A (zh) * | 2020-07-21 | 2020-10-30 | 长沙大端信息科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
| CN111881749A (zh) * | 2020-06-24 | 2020-11-03 | 北京工业大学 | 基于rgb-d多模态数据的双向人流量统计方法 |
| CN111882586A (zh) * | 2020-06-23 | 2020-11-03 | 浙江工商大学 | 一种面向剧场环境的多演员目标跟踪方法 |
| CN112016445A (zh) * | 2020-08-27 | 2020-12-01 | 重庆科技学院 | 一种基于监控视频的遗留物检测方法 |
| CN112131904A (zh) * | 2019-06-24 | 2020-12-25 | 曜科智能科技（上海）有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
| CN112150514A (zh) * | 2020-09-29 | 2020-12-29 | 上海眼控科技股份有限公司 | 视频的行人轨迹追踪方法、装置、设备及存储介质 |
| CN112215873A (zh) * | 2020-08-27 | 2021-01-12 | 国网浙江省电力有限公司电力科学研究院 | 用于对变电站内多目标跟踪定位的方法 |
| CN112233138A (zh) * | 2019-06-28 | 2021-01-15 | 北京京东乾石科技有限公司 | 一种目标检测方法和装置 |
| CN112308881A (zh) * | 2020-11-02 | 2021-02-02 | 西安电子科技大学 | 一种基于遥感图像的舰船多目标跟踪方法 |
| CN112446229A (zh) * | 2019-08-27 | 2021-03-05 | 北京地平线机器人技术研发有限公司 | 一种标志杆的像素坐标获取方法及装置 |
| CN112528730A (zh) * | 2020-10-20 | 2021-03-19 | 福州大学 | 一种匈牙利算法下基于空间约束的成本矩阵优化方法 |
| CN112633205A (zh) * | 2020-12-28 | 2021-04-09 | 北京眼神智能科技有限公司 | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 |
| CN112651994A (zh) * | 2020-12-18 | 2021-04-13 | 零八一电子集团有限公司 | 地面多目标跟踪方法 |
| CN112668524A (zh) * | 2020-12-31 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 多目标跟踪系统及方法 |
| CN112767711A (zh) * | 2021-01-27 | 2021-05-07 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
| CN112784725A (zh) * | 2021-01-15 | 2021-05-11 | 北京航天自动控制研究所 | 行人防撞预警方法、设备、存储介质及堆高机 |
| CN112861711A (zh) * | 2021-02-05 | 2021-05-28 | 深圳市安软科技股份有限公司 | 区域入侵检测方法、装置、电子设备及存储介质 |
| CN112883819A (zh) * | 2021-01-26 | 2021-06-01 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN112950687A (zh) * | 2021-05-17 | 2021-06-11 | 创新奇智(成都)科技有限公司 | 一种确定跟踪状态的方法、装置、存储介质和电子设备 |
| CN113052877A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于多摄像头融合的多目标追踪方法 |
| CN113065523A (zh) * | 2021-04-26 | 2021-07-02 | 上海哔哩哔哩科技有限公司 | 目标追踪方法及装置、电子设备和存储介质 |
| CN113096151A (zh) * | 2021-04-07 | 2021-07-09 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
| CN113096160A (zh) * | 2021-06-09 | 2021-07-09 | 深圳市优必选科技股份有限公司 | 多目标追踪方法、装置、设备及存储介质 |
| CN113129336A (zh) * | 2021-03-31 | 2021-07-16 | 同济大学 | 一种端到端多车辆跟踪方法、系统及计算机可读介质 |
| CN113128541A (zh) * | 2020-01-14 | 2021-07-16 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| WO2021142741A1 (zh) * | 2020-01-17 | 2021-07-22 | 深圳大学 | 目标跟踪方法、装置及终端设备 |
| CN113160274A (zh) * | 2021-04-19 | 2021-07-23 | 桂林电子科技大学 | 一种基于YOLOv4的改进DeepSort目标检测跟踪方法 |
| CN113159032A (zh) * | 2021-04-22 | 2021-07-23 | 平安科技（深圳）有限公司 | 基于目标检测网络的目标跟踪方法、装置、设备及介质 |
| CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
| CN113177968A (zh) * | 2021-04-27 | 2021-07-27 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN113191368A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113256690A (zh) * | 2021-06-16 | 2021-08-13 | 中国人民解放军国防科技大学 | 一种基于视频监控的行人多目标跟踪方法 |
| CN113450387A (zh) * | 2020-03-26 | 2021-09-28 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| CN113591577A (zh) * | 2021-06-30 | 2021-11-02 | 安徽省国维通信工程有限责任公司 | 一种通讯工程中人工智能视频图像检测系统 |
| CN113610362A (zh) * | 2021-07-20 | 2021-11-05 | 苏州超集信息科技有限公司 | 一种基于深度学习流水线产品追溯方法及系统 |
| CN113688810A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、系统及相关设备 |
| CN113689462A (zh) * | 2020-05-19 | 2021-11-23 | 深圳绿米联创科技有限公司 | 目标物处理方法、装置以及电子设备 |
| CN113744316A (zh) * | 2021-09-08 | 2021-12-03 | 电子科技大学 | 一种基于深度神经网络的多目标跟踪方法 |
| CN113888602A (zh) * | 2021-12-03 | 2022-01-04 | 深圳佑驾创新科技有限公司 | 一种雷达车辆目标与视觉车辆目标的关联方法及装置 |
| CN113983737A (zh) * | 2021-10-18 | 2022-01-28 | 海信（山东）冰箱有限公司 | 冰箱及冰箱的食材定位方法 |
| CN114972418A (zh) * | 2022-03-30 | 2022-08-30 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
| CN115249355A (zh) * | 2022-09-22 | 2022-10-28 | 杭州枕石智能科技有限公司 | 目标关联方法、设备及计算机可读存储介质 |
| CN115994929A (zh) * | 2023-03-24 | 2023-04-21 | 中国兵器科学研究院 | 一种融合空间运动和表观特征学习的多目标跟踪方法 |
| CN116309696A (zh) * | 2022-12-23 | 2023-06-23 | 苏州驾驶宝智能科技有限公司 | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 |
| CN116563769A (zh) * | 2023-07-07 | 2023-08-08 | 南昌工程学院 | 一种视频目标识别追踪方法、系统、计算机及存储介质 |
| RU2802653C1 (ru) * | 2022-10-04 | 2023-08-30 | Федеральное государственное казённое военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации | Способ распознавания типового состава групповой воздушной цели различных классов при различных условиях ее полета на основе калмановской фильтрации и нейронной сети |
| CN117011335A (zh) * | 2023-07-26 | 2023-11-07 | 山东大学 | 一种基于自适应双解码器的多目标跟踪方法及系统 |
| CN117495915A (zh) * | 2023-12-29 | 2024-02-02 | 图灵人工智能研究院（南京）有限公司 | 一种多目标追踪方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
| CN104244113A (zh) * | 2014-10-08 | 2014-12-24 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
| CN106778712A (zh) * | 2017-03-01 | 2017-05-31 | 扬州大学 | 一种多目标检测与跟踪方法 |
| CN106970370A (zh) * | 2017-04-25 | 2017-07-21 | 西安电子科技大学 | 基于混沌神经网络的雷达多目标跟踪优化方法 |
| CN108022258A (zh) * | 2017-10-20 | 2018-05-11 | 南京邮电大学 | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 |
-
2018
- 2018-12-25 CN CN201811595179.4A patent/CN109816690A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
| CN104244113A (zh) * | 2014-10-08 | 2014-12-24 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
| CN106778712A (zh) * | 2017-03-01 | 2017-05-31 | 扬州大学 | 一种多目标检测与跟踪方法 |
| CN106970370A (zh) * | 2017-04-25 | 2017-07-21 | 西安电子科技大学 | 基于混沌神经网络的雷达多目标跟踪优化方法 |
| CN108022258A (zh) * | 2017-10-20 | 2018-05-11 | 南京邮电大学 | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| NICOLAI WOJKE ET AL.: "Simple Online and Realtime Tracking with a Deep Association Metric", 《ARXIV》 * |
| NWOJKE: "deep_sort", 《GITHUB》 * |
Cited By (116)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188690A (zh) * | 2019-05-30 | 2019-08-30 | 青岛伴星智能科技有限公司 | 一种基于无人机的智能视觉分析系统、智能视觉分析系统及方法 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110245641A (zh) * | 2019-06-21 | 2019-09-17 | 上海摩象网络科技有限公司 | 一种目标追踪拍摄方法、装置、电子设备 |
| CN112131904A (zh) * | 2019-06-24 | 2020-12-25 | 曜科智能科技（上海）有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
| CN112131904B (zh) * | 2019-06-24 | 2024-03-15 | 曜科智能科技（上海）有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
| CN112233138A (zh) * | 2019-06-28 | 2021-01-15 | 北京京东乾石科技有限公司 | 一种目标检测方法和装置 |
| CN110415277A (zh) * | 2019-07-24 | 2019-11-05 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| CN110415277B (zh) * | 2019-07-24 | 2022-03-08 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| WO2021017291A1 (zh) * | 2019-07-31 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 |
| CN110516556A (zh) * | 2019-07-31 | 2019-11-29 | 平安科技（深圳）有限公司 | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 |
| CN110516556B (zh) * | 2019-07-31 | 2023-10-31 | 平安科技（深圳）有限公司 | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 |
| CN110490910A (zh) * | 2019-08-13 | 2019-11-22 | 顺丰科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN110619657A (zh) * | 2019-08-15 | 2019-12-27 | 青岛文达通科技股份有限公司 | 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 |
| CN110619657B (zh) * | 2019-08-15 | 2023-10-24 | 青岛文达通科技股份有限公司 | 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 |
| CN110660078B (zh) * | 2019-08-20 | 2024-04-05 | 平安科技（深圳）有限公司 | 对象追踪方法、装置、计算机设备和存储介质 |
| CN110660078A (zh) * | 2019-08-20 | 2020-01-07 | 平安科技（深圳）有限公司 | 对象追踪方法、装置、计算机设备和存储介质 |
| CN112446229A (zh) * | 2019-08-27 | 2021-03-05 | 北京地平线机器人技术研发有限公司 | 一种标志杆的像素坐标获取方法及装置 |
| CN110517293A (zh) * | 2019-08-29 | 2019-11-29 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、系统和计算机可读存储介质 |
| CN110517292A (zh) * | 2019-08-29 | 2019-11-29 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、系统和计算机可读存储介质 |
| US11455735B2 (en) | 2019-08-29 | 2022-09-27 | Beijing Boe Technology Development Co., Ltd. | Target tracking method, device, system and non-transitory computer readable storage medium |
| US11393103B2 (en) | 2019-08-29 | 2022-07-19 | Boe Technology Group Co., Ltd. | Target tracking method, device, system and non-transitory computer readable medium |
| CN110782483A (zh) * | 2019-10-23 | 2020-02-11 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| CN110782483B (zh) * | 2019-10-23 | 2022-03-15 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| CN111091091A (zh) * | 2019-12-16 | 2020-05-01 | 北京迈格威科技有限公司 | 目标对象重识别特征的提取方法、装置、设备及存储介质 |
| CN111553474A (zh) * | 2019-12-19 | 2020-08-18 | 珠海大横琴科技发展有限公司 | 船只检测模型训练方法及基于无人机视频的船只跟踪方法 |
| CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| CN111652907B (zh) * | 2019-12-25 | 2021-08-27 | 珠海大横琴科技发展有限公司 | 一种基于数据关联的多目标跟踪方法、装置及电子设备 |
| CN111652907A (zh) * | 2019-12-25 | 2020-09-11 | 珠海大横琴科技发展有限公司 | 一种基于数据关联的多目标跟踪方法、装置及电子设备 |
| CN111209812A (zh) * | 2019-12-27 | 2020-05-29 | 深圳市优必选科技股份有限公司 | 目标人脸图片提取方法、装置及终端设备 |
| CN111209812B (zh) * | 2019-12-27 | 2023-09-12 | 深圳市优必选科技股份有限公司 | 目标人脸图片提取方法、装置及终端设备 |
| CN111161325A (zh) * | 2019-12-31 | 2020-05-15 | 广州视声智能科技有限公司 | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 |
| CN113191368B (zh) * | 2020-01-14 | 2023-08-01 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113191368A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113128541A (zh) * | 2020-01-14 | 2021-07-16 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| WO2021142741A1 (zh) * | 2020-01-17 | 2021-07-22 | 深圳大学 | 目标跟踪方法、装置及终端设备 |
| CN111238829A (zh) * | 2020-02-12 | 2020-06-05 | 上海眼控科技股份有限公司 | 移动状态的确定方法、装置、计算机设备和存储介质 |
| CN111476817A (zh) * | 2020-02-27 | 2020-07-31 | 浙江工业大学 | 一种基于yolov3的多目标行人检测跟踪方法 |
| CN113450387A (zh) * | 2020-03-26 | 2021-09-28 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
| CN111652909A (zh) * | 2020-04-21 | 2020-09-11 | 南京理工大学 | 一种基于深度哈希特征的行人多目标追踪方法 |
| CN111627045B (zh) * | 2020-05-06 | 2021-11-02 | 佳都科技集团股份有限公司 | 单镜头下的多行人在线跟踪方法、装置、设备及存储介质 |
| CN111627045A (zh) * | 2020-05-06 | 2020-09-04 | 佳都新太科技股份有限公司 | 单镜头下的多行人在线跟踪方法、装置、设备及存储介质 |
| CN111709287A (zh) * | 2020-05-15 | 2020-09-25 | 南京农业大学 | 基于深度学习的断奶仔猪目标跟踪方法 |
| CN113689462A (zh) * | 2020-05-19 | 2021-11-23 | 深圳绿米联创科技有限公司 | 目标物处理方法、装置以及电子设备 |
| CN111640140A (zh) * | 2020-05-22 | 2020-09-08 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| JP7375192B2 (ja) | 2020-05-22 | 2023-11-07 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト |
| WO2021232652A1 (zh) * | 2020-05-22 | 2021-11-25 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| JP2023500969A (ja) * | 2020-05-22 | 2023-01-11 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト |
| CN111626194A (zh) * | 2020-05-26 | 2020-09-04 | 佛山市南海区广工大数控装备协同创新研究院 | 一种使用深度关联度量的行人多目标跟踪方法 |
| CN111626194B (zh) * | 2020-05-26 | 2024-02-02 | 佛山市南海区广工大数控装备协同创新研究院 | 一种使用深度关联度量的行人多目标跟踪方法 |
| CN111681264A (zh) * | 2020-06-05 | 2020-09-18 | 浙江新再灵科技股份有限公司 | 一种监控场景的实时多目标跟踪方法 |
| CN111709975B (zh) * | 2020-06-22 | 2023-11-03 | 上海高德威智能交通系统有限公司 | 多目标跟踪方法、装置、电子设备及存储介质 |
| CN111784750A (zh) * | 2020-06-22 | 2020-10-16 | 深圳日海物联技术有限公司 | 视频图像中移动物体追踪方法、装置、设备以及存储介质 |
| CN111709975A (zh) * | 2020-06-22 | 2020-09-25 | 上海高德威智能交通系统有限公司 | 多目标跟踪方法、装置、电子设备及存储介质 |
| CN111882586A (zh) * | 2020-06-23 | 2020-11-03 | 浙江工商大学 | 一种面向剧场环境的多演员目标跟踪方法 |
| CN111882586B (zh) * | 2020-06-23 | 2022-09-13 | 浙江工商大学 | 一种面向剧场环境的多演员目标跟踪方法 |
| CN111881749B (zh) * | 2020-06-24 | 2024-05-31 | 北京工业大学 | 基于rgb-d多模态数据的双向人流量统计方法 |
| CN111881749A (zh) * | 2020-06-24 | 2020-11-03 | 北京工业大学 | 基于rgb-d多模态数据的双向人流量统计方法 |
| CN111767847A (zh) * | 2020-06-29 | 2020-10-13 | 佛山市南海区广工大数控装备协同创新研究院 | 一种集成目标检测和关联的行人多目标跟踪方法 |
| CN111862044A (zh) * | 2020-07-21 | 2020-10-30 | 长沙大端信息科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
| CN111862044B (zh) * | 2020-07-21 | 2024-06-18 | 深圳蓝湘智影科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
| CN112215873A (zh) * | 2020-08-27 | 2021-01-12 | 国网浙江省电力有限公司电力科学研究院 | 用于对变电站内多目标跟踪定位的方法 |
| CN112016445A (zh) * | 2020-08-27 | 2020-12-01 | 重庆科技学院 | 一种基于监控视频的遗留物检测方法 |
| CN112150514A (zh) * | 2020-09-29 | 2020-12-29 | 上海眼控科技股份有限公司 | 视频的行人轨迹追踪方法、装置、设备及存储介质 |
| CN112528730A (zh) * | 2020-10-20 | 2021-03-19 | 福州大学 | 一种匈牙利算法下基于空间约束的成本矩阵优化方法 |
| CN112528730B (zh) * | 2020-10-20 | 2022-06-10 | 福州大学 | 一种匈牙利算法下基于空间约束的成本矩阵优化方法 |
| CN112308881A (zh) * | 2020-11-02 | 2021-02-02 | 西安电子科技大学 | 一种基于遥感图像的舰船多目标跟踪方法 |
| CN112308881B (zh) * | 2020-11-02 | 2023-08-15 | 西安电子科技大学 | 一种基于遥感图像的舰船多目标跟踪方法 |
| CN112651994A (zh) * | 2020-12-18 | 2021-04-13 | 零八一电子集团有限公司 | 地面多目标跟踪方法 |
| CN112633205A (zh) * | 2020-12-28 | 2021-04-09 | 北京眼神智能科技有限公司 | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 |
| CN112668524A (zh) * | 2020-12-31 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 多目标跟踪系统及方法 |
| WO2022142918A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳云天励飞技术股份有限公司 | 多目标跟踪系统及方法 |
| CN112784725B (zh) * | 2021-01-15 | 2024-06-07 | 北京航天自动控制研究所 | 行人防撞预警方法、设备、存储介质及堆高机 |
| CN112784725A (zh) * | 2021-01-15 | 2021-05-11 | 北京航天自动控制研究所 | 行人防撞预警方法、设备、存储介质及堆高机 |
| CN112883819B (zh) * | 2021-01-26 | 2023-12-08 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN112883819A (zh) * | 2021-01-26 | 2021-06-01 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN112767711A (zh) * | 2021-01-27 | 2021-05-07 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
| CN112767711B (zh) * | 2021-01-27 | 2022-05-27 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
| CN112861711A (zh) * | 2021-02-05 | 2021-05-28 | 深圳市安软科技股份有限公司 | 区域入侵检测方法、装置、电子设备及存储介质 |
| CN113052877A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于多摄像头融合的多目标追踪方法 |
| CN113129336A (zh) * | 2021-03-31 | 2021-07-16 | 同济大学 | 一种端到端多车辆跟踪方法、系统及计算机可读介质 |
| CN113096151B (zh) * | 2021-04-07 | 2022-08-09 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
| CN113096151A (zh) * | 2021-04-07 | 2021-07-09 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
| CN113160274A (zh) * | 2021-04-19 | 2021-07-23 | 桂林电子科技大学 | 一种基于YOLOv4的改进DeepSort目标检测跟踪方法 |
| CN113159032A (zh) * | 2021-04-22 | 2021-07-23 | 平安科技（深圳）有限公司 | 基于目标检测网络的目标跟踪方法、装置、设备及介质 |
| CN113159032B (zh) * | 2021-04-22 | 2023-06-30 | 平安科技（深圳）有限公司 | 基于目标检测网络的目标跟踪方法、装置、设备及介质 |
| CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
| CN113065523B (zh) * | 2021-04-26 | 2023-06-16 | 上海哔哩哔哩科技有限公司 | 目标追踪方法及装置、电子设备和存储介质 |
| CN113065523A (zh) * | 2021-04-26 | 2021-07-02 | 上海哔哩哔哩科技有限公司 | 目标追踪方法及装置、电子设备和存储介质 |
| CN113177968A (zh) * | 2021-04-27 | 2021-07-27 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN112950687A (zh) * | 2021-05-17 | 2021-06-11 | 创新奇智(成都)科技有限公司 | 一种确定跟踪状态的方法、装置、存储介质和电子设备 |
| CN113096160A (zh) * | 2021-06-09 | 2021-07-09 | 深圳市优必选科技股份有限公司 | 多目标追踪方法、装置、设备及存储介质 |
| CN113096160B (zh) * | 2021-06-09 | 2021-10-29 | 深圳市优必选科技股份有限公司 | 多目标追踪方法、装置、设备及存储介质 |
| CN113256690A (zh) * | 2021-06-16 | 2021-08-13 | 中国人民解放军国防科技大学 | 一种基于视频监控的行人多目标跟踪方法 |
| CN113256690B (zh) * | 2021-06-16 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于视频监控的行人多目标跟踪方法 |
| CN113591577A (zh) * | 2021-06-30 | 2021-11-02 | 安徽省国维通信工程有限责任公司 | 一种通讯工程中人工智能视频图像检测系统 |
| CN113610362A (zh) * | 2021-07-20 | 2021-11-05 | 苏州超集信息科技有限公司 | 一种基于深度学习流水线产品追溯方法及系统 |
| CN113610362B (zh) * | 2021-07-20 | 2023-08-08 | 苏州超集信息科技有限公司 | 一种基于深度学习流水线产品追溯方法及系统 |
| CN113744316A (zh) * | 2021-09-08 | 2021-12-03 | 电子科技大学 | 一种基于深度神经网络的多目标跟踪方法 |
| CN113983737A (zh) * | 2021-10-18 | 2022-01-28 | 海信（山东）冰箱有限公司 | 冰箱及冰箱的食材定位方法 |
| CN113688810A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、系统及相关设备 |
| CN113888602A (zh) * | 2021-12-03 | 2022-01-04 | 深圳佑驾创新科技有限公司 | 一种雷达车辆目标与视觉车辆目标的关联方法及装置 |
| CN114972418A (zh) * | 2022-03-30 | 2022-08-30 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
| CN114972418B (zh) * | 2022-03-30 | 2023-11-21 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
| CN115249355A (zh) * | 2022-09-22 | 2022-10-28 | 杭州枕石智能科技有限公司 | 目标关联方法、设备及计算机可读存储介质 |
| CN115249355B (zh) * | 2022-09-22 | 2022-12-27 | 杭州枕石智能科技有限公司 | 目标关联方法、设备及计算机可读存储介质 |
| RU2802653C1 (ru) * | 2022-10-04 | 2023-08-30 | Федеральное государственное казённое военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации | Способ распознавания типового состава групповой воздушной цели различных классов при различных условиях ее полета на основе калмановской фильтрации и нейронной сети |
| CN116309696B (zh) * | 2022-12-23 | 2023-12-01 | 苏州驾驶宝智能科技有限公司 | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 |
| CN116309696A (zh) * | 2022-12-23 | 2023-06-23 | 苏州驾驶宝智能科技有限公司 | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 |
| CN115994929A (zh) * | 2023-03-24 | 2023-04-21 | 中国兵器科学研究院 | 一种融合空间运动和表观特征学习的多目标跟踪方法 |
| CN116563769A (zh) * | 2023-07-07 | 2023-08-08 | 南昌工程学院 | 一种视频目标识别追踪方法、系统、计算机及存储介质 |
| CN116563769B (zh) * | 2023-07-07 | 2023-10-20 | 南昌工程学院 | 一种视频目标识别追踪方法、系统、计算机及存储介质 |
| CN117011335A (zh) * | 2023-07-26 | 2023-11-07 | 山东大学 | 一种基于自适应双解码器的多目标跟踪方法及系统 |
| CN117011335B (zh) * | 2023-07-26 | 2024-04-09 | 山东大学 | 一种基于自适应双解码器的多目标跟踪方法及系统 |
| CN117495915A (zh) * | 2023-12-29 | 2024-02-02 | 图灵人工智能研究院（南京）有限公司 | 一种多目标追踪方法及系统 |
| CN117495915B (zh) * | 2023-12-29 | 2024-04-02 | 图灵人工智能研究院（南京）有限公司 | 一种多目标追踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816690A (zh) | 基于深度特征的多目标追踪方法及系统 | |
| CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
| CN111696128B (zh) | 一种高速多目标检测跟踪和目标图像优选方法及存储介质 | |
| CN111126152A (zh) | 一种基于视频的多目标行人检测与跟踪的方法 | |
| CN107943837A (zh) | 一种前景目标关键帧化的视频摘要生成方法 | |
| CN112926410B (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN110516556A (zh) | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 | |
| CN109271888A (zh) | 基于步态的身份识别方法、装置、电子设备 | |
| CN109359666A (zh) | 一种基于多特征融合神经网络的车型识别方法及处理终端 | |
| CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
| CN108509859A (zh) | 一种基于深度神经网络的无重叠区域行人跟踪方法 | |
| CN109658433B (zh) | 图像背景建模和前景提取方法、装置和电子设备 | |
| CN104303193A (zh) | 基于聚类的目标分类 | |
| CN112991389B (zh) | 一种目标跟踪方法、装置及移动机器人 | |
| CN112581503B (zh) | 一种多视角下的多目标检测与跟踪方法 | |
| CN110688940A (zh) | 一种快速的基于人脸检测的人脸追踪方法 | |
| Wei et al. | City-scale vehicle tracking and traffic flow estimation using low frame-rate traffic cameras | |
| CN106650965A (zh) | 一种远程视频处理方法及装置 | |
| CN112132873A (zh) | 一种基于计算机视觉的多镜头行人识别与跟踪 | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN114581954A (zh) | 基于行人特征的跨域检索和跟踪目标的方法 | |
| Cancela et al. | Unsupervised trajectory modelling using temporal information via minimal paths | |
| CN114926859A (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
| CN114820765A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |