CN111179311A - 多目标跟踪方法、装置及电子设备 - Google Patents

多目标跟踪方法、装置及电子设备 Download PDF

Info

Publication number
CN111179311A
CN111179311A CN201911338423.3A CN201911338423A CN111179311A CN 111179311 A CN111179311 A CN 111179311A CN 201911338423 A CN201911338423 A CN 201911338423A CN 111179311 A CN111179311 A CN 111179311A
Authority
CN
China
Prior art keywords
frame
detection
historical
prediction
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911338423.3A
Other languages
English (en)
Other versions
CN111179311B (zh
Inventor
甘津瑞
吴鹏
张国梁
赵婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
Global Energy Interconnection Research Institute
Original Assignee
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Zhejiang Electric Power Co Ltd, Global Energy Interconnection Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN201911338423.3A priority Critical patent/CN111179311B/zh
Publication of CN111179311A publication Critical patent/CN111179311A/zh
Application granted granted Critical
Publication of CN111179311B publication Critical patent/CN111179311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明涉及多目标跟踪技术领域，具体涉及多目标跟踪方法、装置及电子设备，方法包括获取目标视频并提取当前图像帧；将当前图像帧输入运动检测模型中同时得到当前图像帧中所有运动目标的检测框以及上一图像帧中运动目标在当前图像帧中的预测框；分别提取检测框的深度特征以及各个历史轨迹的深度特征，得到第一深度特征以及历史轨迹的深度特征；基于预测框、检测框、第一深度特征以及历史轨迹的深度特征，进行特征拼接以得到对应于各个历史轨迹的拼接特征；根据各个历史轨迹的拼接特征，以形成各个运动目标在目标视频中的运动轨迹。同时输出检测框以及预测框，提高跟踪的效率；结合历史轨迹的深度特征保证跟踪的准确性。

Description

多目标跟踪方法、装置及电子设备
技术领域
本发明涉及多目标跟踪技术领域，具体涉及多目标跟踪方法、装置及电子设备。
背景技术
多目标跟踪在视频分析领域扮演着重要角色，比如在视频监控和无人驾驶领域。在这些应用领域里，多目标跟踪致力于追踪视频场景中兴趣目标的轨迹；再进一步根据提取的运动轨迹并结合其它计算机技术，达到视频分析的目的。然而，多目标跟踪一直是计算机视觉领域里的难题，一方面由于在真实世界中包含复杂多变的背景；另一方面由于视频自身存在的多尺度、多目标、摄像机抖动移动等因素。
现有技术中常用的多目标跟踪的方法一般分为两种：不基于目标检测的跟踪和基于目标检测的跟踪。其中，不基于目标检测的跟踪方法往往需要手动在第一帧中框定兴趣目标，后续通过历史帧的上下文信息找到最匹配的目标，从而实现轨迹追踪。该类方法一般速度较快但是无法自主判定轨迹的开始和终止点。基于目标检测的跟踪方法根据帧间的目标检测框，采用数据关联手段找到最佳的检测目标匹配形成跟踪轨迹。但是，当物体出现姿态变换、遮挡等往往会引起漏检、错检和回归出不正确的框尺寸，从而导致数据关联的不准确性。
发明内容
有鉴于此，本发明实施例提供了一种多目标跟踪方法、装置及电子设备，以解决如何在保证跟踪准确率的前提下提高跟踪效率的问题。
根据第一方面，本发明实施例提供了一种多目标跟踪方法，包括：
获取目标视频并提取当前图像帧；
将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；
分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；
基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；
根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。
本发明实施例提供的多目标跟踪方法，利用运动检测模型同时输出检测框以及预测框，可以提高多目标跟踪的效率，且将当前图像帧中各个运动目标的检测框与历史轨迹的深度特征进行融合，即在对当前图像帧进行多目标跟踪时，结合历史轨迹的深度特征，可以保证多目标跟踪的准确性，因此，该方法在保证多目标跟踪准确率的前提下提高跟踪效率。
结合第一方面，在第一方面第一实施方式中，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当前图像帧中的位置偏移量，以得到所述预测框。
本发明实施例提供的多目标跟踪方法，其中运动检测模型采用级联的沙漏结构，使得检测和预测共享一个基础网络，提高跟踪效率，且该运动检测模型能够捕捉每个尺度信息和局部信息，进一步保证了跟踪的准确率。
结合第一方面，在第一方面第二实施方式中，所述基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征，包括：
计算所述检测框与所述预测框的相似性，以得到第一特征；
分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征；
将所述第一特征与所述第二特征进行拼接，得到对应于各个所述历史轨迹的拼接特征。
结合第一方面第二实施方式，在第一方面第三实施方式中，所述计算所述检测框与所述预测框的相似性，以得到第一特征，包括：
计算所述检测框与所述预测框的交并比，得到所述第一特征。
结合第一方面第二实施方式，或第一方面第三实施方式，在第一方面第四实施方式中，所述分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征，包括：
计算所述第一深度特征与所述历史轨迹的深度特征中每个元素的距离，得到各个所述历史轨迹对应的第二特征。
本发明实施例提供的多目标跟踪方法，短时的交并比信息能够弥补不可靠的检测解决跟丢的问题，长时的距离信息能够解决跟错的问题，通过长短时的特征融合，保证了多目标跟踪的准确率。
结合第一方面，在第一方面第五实施方式中，所述根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹，包括：
将各个所述历史轨迹的拼接特征输入分类器模型中，得到各个所述历史轨迹下各个所述检测框与各个所述预测框之间的关联概率；
利用所述关联概率构建所述检测框与所述预测框之间的二分图；其中，所述二分图的权重为对应的所述关联概率；
基于所述二分图，确定各个所述历史轨迹下所述检测框与所述预测框的最佳匹配，并更新所述历史轨迹以形成各个运动目标在所述目标视频中的所述运动轨迹。
本发明实施例提供的多目标跟踪方法，利用各个检测框与各个预测框之间的关联概率构建二分图，以更新历史轨迹，可以提高多目标跟踪的效率。
根据第二方面，本发明实施例还提供了一种多目标跟踪装置，包括：
获取模块，用于获取目标视频并提取当前图像帧；
检测模块，用于将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；
提取模块，用于分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；；
拼接模块，用于基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；
轨迹生成模块，用于根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。
本发明实施例提供的多目标跟踪装置，利用运动检测模型同时输出检测框以及预测框，可以提高多目标跟踪的效率，且将当前图像帧中各个运动目标的检测框与历史轨迹的深度特征进行融合，即在对当前图像帧进行多目标跟踪时，结合历史轨迹的深度特征，可以保证多目标跟踪的准确性，因此，该方法在保证多目标跟踪准确率的前提下提高跟踪效率。
结合第二方面，在第二方面第一实施方式中，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当前图像帧中的位置偏移量，以得到所述预测框。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的多目标跟踪方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的多目标跟踪方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的多目标跟踪方法的流程图；
图2是根据本发明实施例的多目标跟踪方法的流程图；
图3是根据本发明实施例的运动目标检测模型的结构示意图；
图4是根据本发明实施例的特征拼接的示意图；
图5是根据本发明实施例的多目标跟踪方法的流程图；
图6是根据本发明实施例的多目标跟踪方法的示意图；
图7是根据本发明实施例的多目标跟踪装置的结构框图；
图8是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所述的多目标跟踪方法可以用于对视频中的运动目标进行跟踪，以形成各个运动目标的运动轨迹。在对视频中的运动目标进行跟踪时，是针对每一图像帧进行处理，在下文的描述中将当前正在处理的图像帧称之为当前图像帧；在当前图像帧处理完成之后，从视频中提取下一图像帧以作为当前图像帧，直至视频中的所有图像帧全部处理完成。
在对当前图像帧进行处理时，需要结合上一图像帧中各个运动目标的历史轨迹。所谓的历史轨迹可以理解为运动目标在当前图像帧之前的多个图像帧中的检测框，并按照时间顺序对各个检测框进行结合，就可以得到各个运动目标的历史轨迹。
对于当前图像帧而言，其需要处理的是，检测出当前图像帧中的所有运动目标，以及上一图像帧中的运动目标在当前图像帧中的预测框。具体地，对由于上一图像帧中的运动目标已经检测到，这可以利用各个运动目标的历史轨迹体现，那么，就可以利用各个运动目标的历史轨迹在当前图像帧中预测上一图像帧中的各个运动目标的预测框，即预测上一图像帧中的各个运动个目标在当前图像帧中的位置，得到对应的预测框。同时对当前图像帧进行运动目标的检测，得到当前图像帧中各个运动目标的检测框。需要说明的是，所述的检测框以及预测框不仅仅是一个框，还包括框选出的图像。
电子设备在当前图像帧中得到当前图像帧中各个运动目标的检测框，以及上一图像帧中各个运动目标在当前图像帧中的预测框之后，将检测框与预测框进行关联概率的确定，以得到上一图像帧中各个运动目标在当前图像帧中的检测框，从而对历史轨迹进行更新，得到各个运动目标的运动轨迹。
根据本发明实施例，提供了一种多目标跟踪方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种多目标跟踪方法，可用于上述的电子设备，如手机、平板电脑等，图1是根据本发明实施例的多目标跟踪方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取目标视频并提取当前图像帧。
所述的目标视频可以是电子设备实时获取到的，也可以是存储在电子设备中的等等。相应地，电子设备即可以处理实时视频，也可以处理历史视频。当电子设备处理的是实时视频时，电子设备可以是视频采集装置，也可以与视频采集装置连接，直接从视频采集装置中获取实时视频等等。在此对目标视频的获取方式并不做任何限制，只需保证电子设备在进行多目标跟踪时能够获取到目标视频即可。
电子设备需要对目标视频中的图像帧进行逐帧处理，即电子设备依次从目标视频中提取图像帧，并将当前提取到的图像帧(即，当前处理的图像帧)称之为当前图像帧。
S12，将当前图像帧输入运动检测模型中，以同时得到当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在当前图像帧中的预测框。
电子设备将当前图像帧输入到运动检测模型中，该运动检测模型就可以同时输出当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在当前图像帧中的预测框。
该运动检测模型的输入为图像，输出为该图像中所有运动目标的检测框以及上一图像帧中的运动目标在当前图像帧中的预测框。该运动检测模型可以基于神经网络模型训练得到，也可以通过其他方式得到，在此对运动检测模型的具体结构并不做任何限制，只需保证其能够同时输出检测框以及上文所述的预测框即可。
所述的检测框与预测框的数量可以相同，也可以不同。例如，在上一图像帧中具有4个运动目标，那么对应于当前图像帧会存在4个预测框；当前图像帧中有3个运动目标，那么对应地会存在3个检测框；表示此时有一个运动目标(在下文中称之为运动目标A)可能是从图像中消失，也可能是被遮挡等等，对于这种情况可以针对消失的运动目标A，在接下来的连续多个图像帧中进行运动目标A的继续跟踪，只有在接下来的连续多个图像帧中也并未检测出该运动目标A，才可以认为该运动目标A的跟踪结束；否则，均需要对该运动目标A进行继续跟踪。
又例如，在上一图像帧中具有4个运动目标，那么对应于当前图像帧会存在4个预测框；当前图像帧中有5个运动目标，那么对应地会存在5个检测框；表示此时有一个运动目标(在下文中称之为运动目标B)可能是新加入的运动目标，在接下来的多个图像帧中对该运动目标B进行跟踪，以确定其是否是新加入的运动目标。
关于运动检测模型的具体结构细节将在下文中详细描述。
S13，分别提取检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及历史轨迹的深度特征。
其中，历史轨迹与目标视频中的运动目标一一对应。电子设备在得到当前图像帧中各个运动目标的检测框之后，在对各个检测框进行深度特征的提取，得到检测框的深度特征。其中，可以采用行人重识别模型对检测框进行深度特征的提取，也可以利用其他神经网络模型实现。
由于历史轨迹与目标视频中的运动目标一一对应，且历史轨迹是用于表示运动目标在当前图像帧之前的各个图像帧中的检测框，那么可以在对图像帧中的运动目标的检测框进行深度特征提取之后，可以保存各个检测框的深度特征，后续在进行历史轨迹的深度特征提取时，就可以提取该历史轨迹对应的运动目标在各个图像帧中的检测框的深度特征，得到历史轨迹的深度特征。
那么电子设备在对当前图像帧经过S13的处理之后，就可以得到对检测框对应的第一深度特征，以及各个历史轨迹的深度特征。
S14，基于预测框、检测框、第一深度特征以及历史轨迹的深度特征，进行特征拼接以得到对应于各个历史轨迹的拼接特征。
电子设备可以分别预测框与检测框的特征，并将其与第一深度特征以及历史轨迹的深度特征进行融合，得到对应于各个历史轨迹的拼接特征；也可以是分别计算各个预测框与检测框的相似性，以及各个第一深度特征与历史轨迹的深度特征的相似性，再将两个相似性进行特征拼接，得到对应于各个历史轨迹的拼接特征。
关于特征拼接的具体细节将在下文中进行详细描述。
S15，根据各个历史轨迹的拼接特征，确定各个历史轨迹下检测框与预测框之间的关联概率，以形成各个运动目标在目标视频中的运动轨迹。
电子设备利用各个历史轨迹的拼接特征，由于预测框与历史轨迹是对应的，那么就可以从多个检测框中匹配出与历史轨迹以及预测框的关联概率最高的检测框，以对预测框对应的历史轨迹进行过更新，得到对应于各个运动目标在目标视频中的运动轨迹。
例如，在当前图像帧有4个检测框，3个预测框，那么3个预测框就对应3个历史轨迹；电子设备确定各个检测框与各个预测框之间的关联概率，从而得到与各个预测框相关度最高的检测框，并将得到的检测框作为该历史轨迹在当前图像帧中的下一个轨迹，就可对历史轨迹进行更新。
本实施例提供的多目标跟踪方法，利用运动检测模型同时输出检测框以及预测框，可以提高多目标跟踪的效率，且将当前图像帧中各个运动目标的检测框与历史轨迹的深度特征进行融合，即在对当前图像帧进行多目标跟踪时，结合历史轨迹的深度特征，可以保证多目标跟踪的准确性，因此，该方法在保证多目标跟踪准确率的前提下提高跟踪效率。
在本实施例中提供了一种多目标跟踪方法，可用于上述的电子设备，如手机、平板电脑等，图2是根据本发明实施例的多目标跟踪方法的流程图，如图2所示，该流程包括如下步骤：
S21，获取目标视频并提取当前图像帧。
详细请参见图1所示实施例的S11，在此不再赘述。
S22，将当前图像帧输入运动检测模型中，以同时得到当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在当前图像帧中的预测框。
所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对待检测框的中心进行校正，第三通道的输出值用于确定待检测框的高和宽，以得到检测框；第四通道的输出值用于确定上一图像帧中的运动目标在当前图像帧中的位置偏移量，以得到预测框。
具体地，如图3所示，图3示出了运动检测模型一个具体示意的结构。沙漏结构的输出热力图(Heatmap)是一个通道数为C+6的特征图，其中前C+4为检测特征图；后2个为预测特征图。具体而言，前C个通道的输出值确定待检测框的中心和类别，中间2个通道的值进行中心矫正，后2个通道的值确定宽和高，最后2个通道的值确定当前图像帧的预测框相比上一帧的位置偏移，在得到位置偏移之后就可以得到预测框。运动检测模型能同时输出检测框Ddet和预测框Dtrack，在该模型的设计中，采用级联的沙漏结构，每一个沙漏结构的输出热力图都会与Ground Truth产生损失，最后累加起来。这种中间监督的设计方式能捕捉每个尺度信息和局部信息。
S23，分别提取检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及历史轨迹的深度特征。
其中，历史轨迹与目标视频中的运动目标一一对应。
其中，检测框的深度特征可以表示为Adet，其余详细请参见图1所示实施例的S13，在此不再赘述。
S24，基于预测框、检测框、第一深度特征以及历史轨迹的深度特征，进行特征拼接以得到对应于各个历史轨迹的拼接特征。
具体地，上述S24包括以下步骤：
S241，计算检测框与预测框的相似性，以得到第一特征。
电子设备计算各个检测框与预测框的相似性，可以采用检测框与预测框之间的距离，也可以利用其他方式计算相似性，得到第一特征。
例如，如图4所示，计算检测框与预测框的交并比(即IoU计算)，得到第一特征fs(Dtrack,Ddet)，具体可以采用如下公式表示：
fs(Dtrack,Ddet)＝IoU(Dtrack,Ddet)S242，分别计算第一深度特征与各个历史轨迹的深度特征中每个元素的相似性，以得到各个历史轨迹对应的第二特征。
由于历史轨迹是反应运动目标在当前图像帧的前多个图像帧中的检测框，若取当前图像帧的前K个图像帧，那么每个历史轨迹的深度特征中就包括K个元素，可以表示为
Figure BDA0002331600000000101
其中，X表示第X个运动轨迹，K表示所选取的历史图像帧的数量。
电子设备分别计算第一深度特征Adet与历史轨迹的深度特征中每个元素的相似性，得到各个历史轨迹对应的第二特征。由于每个历史轨迹的深度特征具有K个元素，那么所得到的第二特征为K维向量。
电子设备计算第一深度特征与历史轨迹的深度特征中每个元素的距离，得到各个历史轨迹对应的第二特征。
例如，如图4所示，第X个运动轨迹的第二特征可以表示为：
Figure BDA0002331600000000102
即，电子设备通过计算第一深度特征与历史轨迹的深度特征中每个元素的余弦距离，得到各个历史轨迹对应的第二特征。
S243，将第一特征与第二特征进行拼接，得到对应于各个历史轨迹的拼接特征。
请结合图4，电子设备将第一特征与第二特征进行拼接，得到对应于各个历史轨迹的K+1维的拼接特征。某一检测框与某一轨迹计算的余弦距离并结合检测框和预测框交并比为K+1维向量记为ΓX,D。
S25，根据各个历史轨迹的拼接特征，确定各个历史轨迹下检测框与预测框之间的关联概率，以形成各个运动目标在目标视频中的运动轨迹。
详细请参见图1所示实施例的S15，在此不再赘述。
本实施例提供的多目标跟踪方法，运动检测模型采用级联的沙漏结构，使得检测和预测共享一个基础网络，提高跟踪效率，且该运动检测模型能够捕捉每个尺度信息和局部信息，进一步保证了跟踪的准确率。
在本实施例中提供了一种多目标跟踪方法，可用于上述的电子设备，如手机、平板电脑等，图5是根据本发明实施例的多目标跟踪方法的流程图，如图5所示，该流程包括如下步骤：
S31，获取目标视频并提取当前图像帧。
详细请参见图2所示实施例的S21，在此不再赘述。
S32，将当前图像帧输入运动检测模型中，以同时得到当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在当前图像帧中的预测框。
详细请参见图2所示实施例的S22，在此不再赘述。
S33，分别提取检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及历史轨迹的深度特征。
其中，历史轨迹与目标视频中的运动目标一一对应。
详细请参见图2所示实施例的S23，在此不再赘述。
S34，基于预测框、检测框、第一深度特征以及历史轨迹的深度特征，进行特征拼接以得到对应于各个历史轨迹的拼接特征。
详细请参见图2所示实施例的S24，在此不再赘述。
S35，根据各个历史轨迹的拼接特征，确定各个历史轨迹下检测框与预测框之间的关联概率，以形成各个运动目标在目标视频中的运动轨迹。
如上文所述，电子设备得到K+1维向量ΓX,D。电子设备将该向量输入分类器模型中，得到各个历史轨迹下各个检测框与各个预测框之间的关联概率，即得到历史轨迹X为各个检测框的度量；再利用得到的关联概率构建二分图，基于二分图形成各个运动目标在目标视频中的运动轨迹。具体地，上述S35包括：
S351，将各个历史轨迹的拼接特征输入分类器模型中，得到各个历史轨迹下各个检测框与各个预测框之间的关联概率。
所述的分类器模型可以采用SVM分类器，当然也可以采用其他分类器等等。其中，该分类器模型在训练时，正样本的构造则是将ground tru3th与其真正关联的有效轨迹组合成的特征，而负样本的构造则将正样本中的真正关联的轨迹换成别的轨迹。
需要说明的是，检测框与预测框是对应于历史轨迹的。
在此对分类器模型的具体结构细节并不做任何限制，只需保证该分类器模型能够得到各个历史轨迹下各个检测框与各个预测框之间的关联概率。
S352，利用关联概率构建检测框与预测框之间的二分图。
其中，所述二分图的权重为对应的所述关联概率。
电子设备利用S352得到的关联概率建立二分图，所述二分图中检测框与预测框的权重为对应的关联概率。需要说明的是，每个历史轨迹对应于一个二分图。
S353，基于二分图，确定各个历史轨迹下检测框与预测框的最佳匹配，并更新历史轨迹以形成各个运动目标在目标视频中的运动轨迹。
在得到二分图之后，电子设备利用相应的算法计算每个二分图中检测框与预测框的最佳匹配，那么就可以得到每个二分图所代表的历史轨迹的运动目标在当前图像帧中的检测框，从而将检测框与历史轨迹对应上，可以更新历史轨迹以形成各个运动目标在目标视频中的运动轨迹。
本实施例提供的多目标跟踪方法，利用各个检测框与各个预测框之间的关联概率构建二分图，以更新历史轨迹，可以提高多目标跟踪的效率。
作为本实施例的一个具体实施方式，如图6所示，图6示出了多目标跟踪的一个具体示意的方法示意图。该多目标跟踪方法在保持准确率的同时提升算法的效率。具体地，该方法构造了一种如图3所示的端到端的网络结构，将轨迹预测与检测融入一个主干网络中，同时输出目标的检测框和与上一帧目标的坐标偏移值，达到轨迹预测的目的；后续借助行人重识别网络提取相应检测框、预测框的深度特征；然后，分别计算检测框与预测框间的交并比和检测框与历史轨迹的余弦距离，进行特征拼接并送入分类器输出关联概率；最后根据关联概率值构造检测与预测间的二分图，找到最佳匹配形成新的轨迹。方法总体流详细步骤介绍如下：
(1)输入视频流。该视频流可以是视频文件也可以直接接入摄像设备，后续算法将逐帧处理以满足在线模式，响应实时性的应用需求。
(2)提取当前图像帧并利用运动检测模型输出该帧的目标检测框位置和历史轨迹在当前图像帧中的预测框位置。注意，当处理第一帧时，历史轨迹直接初始化为第一帧的检测框位置。运动检测模型的网络结构如图3所示，它采用经典的沙漏(Hourglass)网络结构作为基础模块。沙漏网络结构使用紧邻上采样和跨层连接做上采样，相比其它网络设计拥有更对称的拓扑结构和容量分布。沙漏结构的输出热力图(Heatmap)是一个通道数为C+6的特征图，其中前C+4为检测特征图；后2个为预测特征图。具体而言，前C个通道的输出值确定待检测框的中心和类别，中间2个通道的值进行中心矫正，后2个通道的值确定宽和高，最后2个通道的值确定当前图像帧的预测框相比上一帧的位置偏移。这样，运动检测模型能同时输出检测框Ddet和预测框Dtrack。
(3)深度特征提取。在多目标检测任务中，为了更大限度的区分不同目标的表观，采用行人重识别网络提取目标框的深度特征。对输出检测框Ddet提取的深度特征记为Adet，对历史轨迹维护其最近的K个特征为
Figure BDA0002331600000000131
(4)数据关联。数据关联是多目标跟踪中的核心步骤，其直接关乎轨迹的形成准确率。一个好的关联策略能大幅降低目标号的错误切换。该方法中的数据关联策略分为三个子步骤：特征拼接、分类、二分图构建，如附图6所示。
特征拼接主要通过检测框Ddet、预测框Dtrack和维护的历史轨迹深度特征
Figure BDA0002331600000000141
进行计算，如附图4所示。首先，计算检测框和预测框交并比；
其次，通过余弦距离度量检测框的深度特征和历史轨迹的深度特征；
通过上述计算，可以得到K+1维向量。将计算的K+1维向量送给SVM分类器得到分类概率，成为轨迹X与检测的度量；并构造一个二分图，而这里二分图的权重是SVM分类器的输出概率，并利用匈牙利算法找到预测框与检测间的最佳匹配。
(5)进入下一帧，按照步骤二、三、四重新计算，并不断跟新轨迹，直到视频帧处理完毕。
本实施例提供的多目标跟踪方法，将检测、预测以及数据关联融入一个统一的框架中，在维持高准确率的同时还能在线高效的逐帧处理；利用运动检测模型使得检测与预测共享一个基础网络，同时输出该帧的目标检测框位置和历史轨迹在当前图像帧中的预测框位置；且该基础网络采用级联的形式，捕捉每个尺度信息和局部信息；将检测框与历史轨迹计算的余弦距离以及检测框和预测框的交并比进行特征融合，以进一步构造二分图。这种策略能相互互补，短时的交并比信息能弥补不可靠的检测解决跟丢问题，长时的余弦距离信息能解决跟错问题。在本实施例中还提供了一种多目标跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种多目标跟踪装置，如图7所示，包括：
获取模块51，用于获取目标视频并提取当前图像帧。
检测模块52，用于将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框。
提取模块53，用于分别提取检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及历史轨迹的深度特征。
其中，历史轨迹与目标视频中的运动目标一一对应。
拼接模块54，用于基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征。
轨迹生成模块55，用于根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。
本实施例提供的多目标跟踪装置，利用运动检测模型同时输出检测框以及预测框，可以提高多目标跟踪的效率，且将当前图像帧中各个运动目标的检测框与历史轨迹的深度特征进行融合，即在对当前图像帧进行多目标跟踪时，结合历史轨迹的深度特征，可以保证多目标跟踪的准确性，因此，该方法在保证多目标跟踪准确率的前提下提高跟踪效率。
本实施例中的多目标跟踪装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图7所示的多目标跟踪装置。
请参阅图8，图8是本发明可选实施例提供的一种电子设备的结构示意图，如图8所示，该电子设备可以包括：至少一个处理器61，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图7所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器64还可以包括上述种类的存储器的组合。
其中，处理器61可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本申请图1至6实施例中所示的多目标跟踪方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多目标跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：
获取目标视频并提取当前图像帧；
将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；
分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；
基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；
根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当前图像帧中的位置偏移量，以得到所述预测框。
3.根据权利要求1所述的方法，其特征在于，所述基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征，包括：
计算所述检测框与所述预测框的相似性，以得到第一特征；
分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征；
将所述第一特征与所述第二特征进行拼接，得到对应于各个所述历史轨迹的拼接特征。
4.根据权利要求3所述的方法，其特征在于，所述计算所述检测框与所述预测框的相似性，以得到第一特征，包括：
计算所述检测框与所述预测框的交并比，得到所述第一特征。
5.根据权利要求3或4所述的方法，其特征在于，所述分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征，包括：
计算所述第一深度特征与所述历史轨迹的深度特征中每个元素的距离，得到各个所述历史轨迹对应的第二特征。
6.根据权利要求1所述的方法，其特征在于，所述根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹，包括：
将各个所述历史轨迹的拼接特征输入分类器模型中，得到各个所述历史轨迹下各个所述检测框与各个所述预测框之间的关联概率；
利用所述关联概率构建所述检测框与所述预测框之间的二分图；其中，所述二分图的权重为对应的所述关联概率；
基于所述二分图，确定各个所述历史轨迹下所述检测框与所述预测框的最佳匹配，并更新所述历史轨迹以形成各个运动目标在所述目标视频中的所述运动轨迹。
7.一种多目标跟踪装置，其特征在于，包括：
获取模块，用于获取目标视频并提取当前图像帧；
检测模块，用于将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；
提取模块，用于分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；
拼接模块，用于基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；
轨迹生成模块，用于根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。
8.根据权利要求7所述的装置，其特征在于，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当前图像帧中的位置偏移量，以得到所述预测框。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项所述的多目标跟踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的多目标跟踪方法。
CN201911338423.3A 2019-12-23 2019-12-23 多目标跟踪方法、装置及电子设备 Active CN111179311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911338423.3A CN111179311B (zh) 2019-12-23 2019-12-23 多目标跟踪方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911338423.3A CN111179311B (zh) 2019-12-23 2019-12-23 多目标跟踪方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111179311A true CN111179311A (zh) 2020-05-19
CN111179311B CN111179311B (zh) 2022-08-19

Family

ID=70655612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911338423.3A Active CN111179311B (zh) 2019-12-23 2019-12-23 多目标跟踪方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111179311B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200862A (zh) * 2020-12-01 2021-01-08 北京达佳互联信息技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
CN112528925A (zh) * 2020-12-21 2021-03-19 深圳云天励飞技术股份有限公司 行人跟踪、图像匹配方法及相关设备
CN112677993A (zh) * 2021-01-05 2021-04-20 北京三快在线科技有限公司 一种模型训练的方法及装置
CN112784738A (zh) * 2021-01-21 2021-05-11 上海云从汇临人工智能科技有限公司 运动目标检测告警方法、装置以及计算机可读存储介质
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN112884811A (zh) * 2021-03-18 2021-06-01 中国人民解放军国防科技大学 一种针对无人机集群的光电探测跟踪方法及系统
CN113160272A (zh) * 2021-03-19 2021-07-23 苏州科达科技股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113191180A (zh) * 2020-12-31 2021-07-30 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113223051A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN113702979A (zh) * 2021-07-16 2021-11-26 中国船舶重工集团公司第七一五研究所 一种跨区目标跟踪轨迹片段时空拼接方法
CN113780058A (zh) * 2021-07-23 2021-12-10 北京旷视科技有限公司 用于确定视频中多目标轨迹的方法、装置、系统及存储介质
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法
CN114820714A (zh) * 2022-05-18 2022-07-29 哈尔滨工业大学 一种基于多重特征相似性匹配算法的视觉多目标跟踪方法
CN115965944A (zh) * 2023-03-09 2023-04-14 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质
CN116309696A (zh) * 2022-12-23 2023-06-23 苏州驾驶宝智能科技有限公司 一种基于改进广义交并比的多类别多目标跟踪方法及装置
CN116363565A (zh) * 2023-06-01 2023-06-30 深圳须弥云图空间科技有限公司 目标轨迹确定方法、装置、电子设备及存储介质
JP7306766B2 (ja) 2021-04-07 2023-07-11 地平▲線▼征程（杭州）人工智能科技有限公司 ターゲット動き情報検出方法、装置、機器及び媒体
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN117593340A (zh) * 2024-01-18 2024-02-23 东方空间(江苏)航天动力有限公司 一种运载火箭伺服机构摆动角度的确定方法、装置及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN109087335A (zh) * 2018-07-16 2018-12-25 腾讯科技（深圳）有限公司 一种人脸跟踪方法、装置和存储介质
CN109272530A (zh) * 2018-08-08 2019-01-25 北京航空航天大学 面向空基监视场景的目标跟踪方法与装置
CN109800689A (zh) * 2019-01-04 2019-05-24 西南交通大学 一种基于时空特征融合学习的目标跟踪方法
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN109859239A (zh) * 2019-05-05 2019-06-07 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备
CN110073364A (zh) * 2016-12-22 2019-07-30 罗伯特·博世有限公司 基于rgbd感测的对象检测系统及其方法
CN110111355A (zh) * 2018-11-22 2019-08-09 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110298248A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种基于语义分割的多目标跟踪方法及系统
CN110335291A (zh) * 2019-07-01 2019-10-15 腾讯科技（深圳）有限公司 人物追踪方法及终端
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及系统
CN110532921A (zh) * 2019-08-21 2019-12-03 江南大学 基于ssd检测广义标签多伯努利视频多目标跟踪方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム
CN110073364A (zh) * 2016-12-22 2019-07-30 罗伯特·博世有限公司 基于rgbd感测的对象检测系统及其方法
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN109087335A (zh) * 2018-07-16 2018-12-25 腾讯科技（深圳）有限公司 一种人脸跟踪方法、装置和存储介质
CN109272530A (zh) * 2018-08-08 2019-01-25 北京航空航天大学 面向空基监视场景的目标跟踪方法与装置
CN110111355A (zh) * 2018-11-22 2019-08-09 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN109800689A (zh) * 2019-01-04 2019-05-24 西南交通大学 一种基于时空特征融合学习的目标跟踪方法
CN109859239A (zh) * 2019-05-05 2019-06-07 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110298248A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种基于语义分割的多目标跟踪方法及系统
CN110335291A (zh) * 2019-07-01 2019-10-15 腾讯科技（深圳）有限公司 人物追踪方法及终端
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及系统
CN110532921A (zh) * 2019-08-21 2019-12-03 江南大学 基于ssd检测广义标签多伯努利视频多目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANGEL F等: "Multiple target tracking based on sets of trajectories", 《IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS》 *
YUAN YUAN 等: "Tracking as A Whole: Multi-Target Tracking by Modeling Group Behavior with Sequential Detection", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
隗寒冰 等: "融合历史轨迹的智能汽车城市复杂环境多目标检测与跟踪算法", 《西安交通大学学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200862B (zh) * 2020-12-01 2021-04-13 北京达佳互联信息技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN112200862A (zh) * 2020-12-01 2021-01-08 北京达佳互联信息技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
CN112528925A (zh) * 2020-12-21 2021-03-19 深圳云天励飞技术股份有限公司 行人跟踪、图像匹配方法及相关设备
WO2022142417A1 (zh) * 2020-12-31 2022-07-07 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113191180A (zh) * 2020-12-31 2021-07-30 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113191180B (zh) * 2020-12-31 2023-05-12 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112677993A (zh) * 2021-01-05 2021-04-20 北京三快在线科技有限公司 一种模型训练的方法及装置
CN112784738A (zh) * 2021-01-21 2021-05-11 上海云从汇临人工智能科技有限公司 运动目标检测告警方法、装置以及计算机可读存储介质
CN112784738B (zh) * 2021-01-21 2023-09-19 上海云从汇临人工智能科技有限公司 运动目标检测告警方法、装置以及计算机可读存储介质
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN112884811A (zh) * 2021-03-18 2021-06-01 中国人民解放军国防科技大学 一种针对无人机集群的光电探测跟踪方法及系统
CN113160272A (zh) * 2021-03-19 2021-07-23 苏州科达科技股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113160272B (zh) * 2021-03-19 2023-04-07 苏州科达科技股份有限公司 目标跟踪方法、装置、电子设备及存储介质
JP7306766B2 (ja) 2021-04-07 2023-07-11 地平▲線▼征程（杭州）人工智能科技有限公司 ターゲット動き情報検出方法、装置、機器及び媒体
CN113223051A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN113702979A (zh) * 2021-07-16 2021-11-26 中国船舶重工集团公司第七一五研究所 一种跨区目标跟踪轨迹片段时空拼接方法
CN113780058A (zh) * 2021-07-23 2021-12-10 北京旷视科技有限公司 用于确定视频中多目标轨迹的方法、装置、系统及存储介质
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法
CN114820714A (zh) * 2022-05-18 2022-07-29 哈尔滨工业大学 一种基于多重特征相似性匹配算法的视觉多目标跟踪方法
CN116309696A (zh) * 2022-12-23 2023-06-23 苏州驾驶宝智能科技有限公司 一种基于改进广义交并比的多类别多目标跟踪方法及装置
CN116309696B (zh) * 2022-12-23 2023-12-01 苏州驾驶宝智能科技有限公司 一种基于改进广义交并比的多类别多目标跟踪方法及装置
CN115965944A (zh) * 2023-03-09 2023-04-14 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质
CN115965944B (zh) * 2023-03-09 2023-05-09 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质
CN116363565B (zh) * 2023-06-01 2023-08-11 深圳须弥云图空间科技有限公司 目标轨迹确定方法、装置、电子设备及存储介质
CN116363565A (zh) * 2023-06-01 2023-06-30 深圳须弥云图空间科技有限公司 目标轨迹确定方法、装置、电子设备及存储介质
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN116935074B (zh) * 2023-07-25 2024-03-26 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN117593340B (zh) * 2024-01-18 2024-04-05 东方空间(江苏)航天动力有限公司 一种运载火箭伺服机构摆动角度的确定方法、装置及设备
CN117593340A (zh) * 2024-01-18 2024-02-23 东方空间(江苏)航天动力有限公司 一种运载火箭伺服机构摆动角度的确定方法、装置及设备

Also Published As

Publication number Publication date
CN111179311B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN111179311B (zh) 多目标跟踪方法、装置及电子设备
CN108388879B (zh) 目标的检测方法、装置和存储介质
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
US20190311202A1 (en) Video object segmentation by reference-guided mask propagation
CN109960742B (zh) 局部信息的搜索方法及装置
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN110060276B (zh) 对象追踪方法、追踪处理方法、相应的装置、电子设备
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN112949508A (zh) 模型训练方法、行人检测方法、电子设备及可读存储介质
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN111881849A (zh) 图像场景检测方法、装置、电子设备及存储介质
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN113191318A (zh) 目标检测方法、装置、电子设备及存储介质
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
Wang et al. Object counting in video surveillance using multi-scale density map regression
CN112270748B (zh) 基于图像的三维重建方法及装置
CN113988269A (zh) 一种基于改进孪生网络的回环检测及优化方法
CN116817887B (zh) 语义视觉slam地图构建方法、电子设备及存储介质
CN112700472A (zh) 目标跟踪方法及相关设备
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN112614168B (zh) 一种目标人脸跟踪方法、装置、电子设备及存储介质
CN111726592B (zh) 获取图像信号处理器的架构的方法和装置
CN115018884A (zh) 基于多策略融合树的可见光红外视觉跟踪方法
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Mao Guanghui

Inventor after: Sun Zhengyun

Inventor after: Gan Jinrui

Inventor after: Wu Peng

Inventor after: Zhang Guoliang

Inventor after: Zhao Ting

Inventor before: Gan Jinrui

Inventor before: Wu Peng

Inventor before: Zhang Guoliang

Inventor before: Zhao Ting

GR01 Patent grant
GR01 Patent grant