CN111445501A - 多目标跟踪方法、装置和存储介质 - Google Patents

多目标跟踪方法、装置和存储介质 Download PDF

Info

Publication number
CN111445501A
CN111445501A CN202010218204.8A CN202010218204A CN111445501A CN 111445501 A CN111445501 A CN 111445501A CN 202010218204 A CN202010218204 A CN 202010218204A CN 111445501 A CN111445501 A CN 111445501A
Authority
CN
China
Prior art keywords
tracking
frame
target
current
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010218204.8A
Other languages
English (en)
Other versions
CN111445501B (zh
Inventor
杨秀平
晋兆龙
邹文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keyuan Software Technology Development Co ltd
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keyuan Software Technology Development Co ltd
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keyuan Software Technology Development Co ltd, Suzhou Keda Technology Co Ltd filed Critical Suzhou Keyuan Software Technology Development Co ltd
Priority to CN202010218204.8A priority Critical patent/CN111445501B/zh
Publication of CN111445501A publication Critical patent/CN111445501A/zh
Priority to PCT/CN2020/121511 priority patent/WO2021189825A1/zh
Application granted granted Critical
Publication of CN111445501B publication Critical patent/CN111445501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种多目标跟踪方法、装置和存储介质，属于视频图像处理技术领域，方法包括：对视频每一帧图像进行目标检测得到检测框集合；分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到当前主目标跟踪队列的主目标跟踪框集合和跟踪信息；对当前帧图像的辅目标检测框集合和主目标跟踪框集合进行关联；根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息。减少了所需跟踪的目标的个数，降低了跟踪耗时；达到了可以提高跟踪效率的效果。

Description

多目标跟踪方法、装置和存储介质
技术领域
本发明涉及多目标跟踪方法、装置和存储介质，属于视频图像处理领域。
背景技术
随着经济发展，智能安防监控系统是目前作为平安城市、智慧城市的重要一部分，集中应用于卡口的车辆监控和检索、公安刑侦调查、交警指挥调度等。其中，视频目标跟踪在智能监控系统中起到日益重要的作用，也面临着更高的要求。目前的视频目标跟踪中，当视频中目标被背景静物遮挡，或是目标密集时多目标交互出现、相互遮挡，易导致丢失跟踪目标，跟踪效果较差。并且，对于在线视频，需要进行实时跟踪，跟踪耗时长的算法无法适用。
发明内容
本发明的目的在于减少跟踪耗时，提高跟踪效率，为达到上述目的，本发明提供如下技术方案：
第一方面，提供了一种多目标跟踪方法，所述方法包括：
对视频每一帧图像进行目标检测得到检测框集合；
分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；
根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；
对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；
根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。
进一步地，所述根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到当前主目标的主目标跟踪框集合，包括：
利用卡尔曼滤波和金字塔光流法结合的方式对所述当前主目标跟踪队列中的每个主目标进行跟踪，得到所述主目标跟踪框集合。
进一步地，所述利用卡尔曼滤波和金字塔光流法结合的方式对所述当前主目标跟踪队列中的每个主目标进行跟踪，得到所述主目标跟踪框集合，包括：
对于所述当前主目标跟踪队列中在当前帧图像中存在对应主目标检测框的主目标，根据卡尔曼滤波预测得到所述主目标在所述当前帧图像的预测框，将所述预测框和对应的主目标检测框通过卡尔曼滤波修正得到所述主目标在当前帧图像的主目标跟踪框；
对于所述当前主目标跟踪队列中在当前帧图像中不存在对应主目标检测框的主目标，采用金字塔光流法预测得到所述主目标在所述当前帧图像的预测框，将所述预测框作为所述主目标在当前帧图像的主目标跟踪框。
进一步地，所述根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到当前主目标的主目标跟踪框集合和跟踪信息之后，所述方法还包括：
在确定得到所述主目标跟踪框集合之后，将所述当前帧图像的主目标检测框集合中新增的主目标添加至所述当前主目标跟踪队列中；
将所述当前主目标跟踪队列中在当前帧图像中不存在对应主目标检测框的主目标的状态标记为消失，并将截止至当前帧图像已连续N帧状态标记为消失的主目标从所述当前主目标跟踪队列中删除，其中，N为正整数；
将根据所述当前帧图像的主目标检测框进行添加和/或删除主目标后得到的主目标跟踪队列作为当前主目标跟踪队列。
进一步地，所述对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联，包括:
计算所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合的交并比；
根据所述交并比对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联。
进一步地，所述对所述辅目标检测框集合和所述主目标跟踪框集合进行关联，包括:
计算所述辅目标检测框集合和所述主目标跟踪框集合的交并比；
根据所述交并比对所述辅目标检测框集合和所述主目标跟踪框集合进行关联。
进一步地，所述计算所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合的交并比，包括：
对于所述当前帧图像的辅目标检测框集合中的各个辅目标检测框，以及所述当前主目标跟踪队列对应的各个主目标跟踪框，计算各个辅目标检测框和各个主目标跟踪框的交并比，所述交并比为：
Figure BDA0002425135370000031
其中，SA为所述当前帧图像的辅目标检测框集合中的一个辅目标检测框A的面积，SB为主目标跟踪框集合中的一个主目标跟踪框B的面积。
进一步地，所述根据所述当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，包括：
对于所述当前辅目标跟踪队列中在当前帧图像中存在对应的辅目标检测框的辅目标，将所述辅目标检测框作为所述辅目标在当前帧图像的跟踪框；若所述辅目标检测框的关联状态为已关联，则根据所述辅目标检测框关联的主目标的跟踪信息来确定所述辅目标的跟踪信息；若所述辅目标检测框的关联状态为未关联，则根据所述辅目标在当前帧图像的跟踪框、所述辅目标在历史帧中的跟踪框以及在初始帧中的跟踪框确定所述辅目标的跟踪信息；
对于所述当前辅目标跟踪队列中在当前帧图像中不存在对应的辅目标检测框的辅目标，则将所述辅目标的跟踪状态更新为消失。
进一步地，所述根据辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息之后，所述方法还包括：
在确定得到所述当前辅目标跟踪队列中的各个辅目标的跟踪框和跟踪信息之后，将所述当前帧图像的辅目标检测框集合中新增的辅目标添加至所述当前辅目标跟踪队列中；
将截止至当前帧图像已在连续M帧中跟踪状态为消失的辅目标从所述当前辅目标跟踪队列中，M为正整数；
将根据所述当前帧图像的辅目标检测框进行添加和/或删除辅目标后得到的辅目标跟踪队列作为当前辅目标跟踪队列。
第二方面，提供了一种多目标跟踪装置，所述装置包括：
检测模块，用于对视频每一帧图像进行目标检测得到检测框集合；
划分模块，用于分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；
第一跟踪模块，用于根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；
关联模块，用于对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；
第二跟踪模块，用于根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。
第二方面，提供了一种多目标跟踪装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现第一方面所述的多目标跟踪方法。
第三方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现第一方面所述的多目标跟踪方法。
本发明的有益效果在于：
通过对视频每一帧图像进行目标检测得到检测框集合；分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建；将目标划分为主目标和辅目标，先对主目标进行跟踪，与主目标关联的辅目标可以共享主目标的跟踪信息，减少了所需跟踪的目标的个数，降低了跟踪耗时；达到了可以提高跟踪效率的效果。
同时，通过对主目标利用卡尔曼滤波和金字塔光流法结合的方法进行跟踪，可以提高主目标抗遮挡的能力。
另外，对于无法关联的辅目标，本申请通过匹配分析的方式来确定该辅目标的跟踪信息，避免遗漏跟踪目标的问题，达到了在降低跟踪耗时的同时提高多目标跟踪准确度的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本申请一个实施例提供的多目标跟踪方法的方法流程图。
图2为本申请一个实施例提供的确定主目标的跟踪信息的方法流程图。
图3为本申请一个实施例提供的对辅目标和主目标关联的方法流程图。
图4为本申请一个实施例提供的确定辅目标的跟踪信息的方法流程图。
图5为本申请一个实施例提供的多目标跟踪装置的装置示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
请参考图1，其示出了本申请一个实施例提供的多目标跟踪方法的方法流程图，如图1所示，所述多目标跟踪方法包括：
步骤101，对视频每一帧图像进行目标检测得到检测框集合。
对视频中的每一帧图像进行目标检测，目标检测的过程可以使用深度学习算法实现，例如，SSD(Single Shot MultiBox Detector)，YOLO(You Only Look Once)等算法，本公开实施例不受所选取的目标检测方法的限制。经过目标检测，得到行人、骑士、头肩、人脸、非机动车、车辆这些类别目标的目标检测框的集合。对视频中每一帧图像的检测可以按照从视频首帧图像开始逐帧检测。
步骤102，分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合。
主目标指：目标能够作为一个自然物体主体的为主目标，例如，行人，骑士，车辆等；辅目标为某一自然物体上的局部区域，例如，头肩，人脸等。根据目标检测得到的目标类别进行划分，将行人、骑士、非机动车、车辆这些类别的目标作为主目标划分到主目标检测框集合中，将头肩、人脸这些类别的目标框划分到辅目标检测框集合中。
步骤103，根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息。
跟踪信息包括跟踪目标的绝对位移、相对初始位置的相对位移、运动时间。所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建。可选的，在创建当前主目标跟踪队列时，将未进入到跟踪队列的历史帧主目标作为新增跟踪目标，进入跟踪队列。
可选的，本步骤包括：利用卡尔曼滤波和金字塔光流法结合的方式对所述当前主目标跟踪队列中的每个主目标进行跟踪，得到所述主目标跟踪框集合。
具体的：
对于所述当前主目标跟踪队列中在当前帧图像中存在对应主目标检测框的主目标，根据卡尔曼滤波预测得到所述主目标在所述当前帧图像的预测框，将所述预测框和对应的主目标检测框通过卡尔曼滤波修正得到所述主目标在当前帧图像的主目标跟踪框；
对于所述当前主目标跟踪队列中在当前帧图像中不存在对应主目标检测框的主目标，采用金字塔光流法预测得到所述主目标在所述当前帧图像的预测框，将所述预测框作为所述主目标在当前帧图像的主目标跟踪框。对主目标利用卡尔曼滤波和金字塔光流法结合的方法进行跟踪，可以提高主目标抗遮挡的能力。
可选的，请参考图2，本步骤包括：
(1)、对当前主目标跟踪队列中的每个主目标跟踪，确定与之匹配的当前帧主目标检测框。
匹配的方式通过计算主目标跟踪框集合T与当前帧主目标检测框集合D的交并比(IOU)。IOU定义为两个矩形框面积的交集和并集的比值：
Figure BDA0002425135370000071
其中，ST表示跟踪框A的面积，SD表示检测框B的面积。
具体而言，对于交并比中的每一个值IOU(Ti,Dj)，代表第i个主目标跟踪框与第j个主目标检测框的交并比。
在所有IOU值的集合中，找出最大值IOU(Ti,Dj)且该IOU值大于某一预设阈值，其对应的Ti和Dj即为匹配的主目标跟踪框和主目标检测框。
计算剩余未匹配的主目标跟踪框集合和未匹配的主目标检测框集合的IOU集合，找出最大值IOU(Tm,Dn)且该IOU值大于某一预设阈值，其对应的Tm和Dn即为匹配的主目标跟踪框和主目标检测框。
循环地执行上述操作，直至不满足条件为止，即完成主目标跟踪框集合与当前帧主目标检测框集合的匹配。
(2)、对每个跟踪主目标确定在当前帧是否存在与之匹配的主目标检测框，如果存在，则进入步骤(3)，如果不存在，则进入步骤(5)；
(3)、利用卡尔曼滤波预测得到该跟踪主目标在当前帧的预测框；
(4)、根据预测框和当前帧匹配的检测框，利用卡尔曼滤波修正得到该跟踪主目标在当前帧的跟踪框；
(5)、当前帧不存在匹配的主目标检测框，说明在当前帧未检测到该跟踪主目标，此时，利用金字塔光流法计算得到该跟踪主目标在当前帧的预测框，以此作为该跟踪主目标在当前帧的跟踪框。
在确定得到各个主目标在当前帧的主目标跟踪框之后，根据当前帧的主目标跟踪框，计算得到当前帧的主目标跟踪信息。其中，确定各个主目标的跟踪信息的步骤包括：
计算当前帧与前一帧跟踪框的位移，并累加自初始帧以来每一帧的位移，得到该跟踪主目标当前帧与初始帧跟踪框的绝对位移。计算当前帧与初始帧跟踪框的位移，得到与初始帧的相对位移。计算当前帧与初始帧的时间差得到该跟踪主目标的运动时间。
可选的，在确定得到主目标跟踪框集合之后，上述方法还包括：
第一，在确定得到所述主目标跟踪框集合之后，将所述当前帧图像的主目标检测框集合中新增的主目标添加至所述当前主目标跟踪队列中。
第二，将所述当前主目标跟踪队列中在当前帧图像中不存在对应主目标检测框的主目标的状态标记为消失，并将截止至当前帧图像已连续N帧状态标记为消失的主目标从所述当前主目标跟踪队列中删除，其中，N为正整数；N为正整数，比如，N可以为10、5等等。
第三，将根据所述当前帧图像的主目标检测框进行添加和/或删除主目标后得到的主目标跟踪队列作为当前主目标跟踪队列。
这也就是说，在对下一帧视频图像进行处理时，使用的当前主目标跟踪队列即为上述第三步中刷新后的跟踪队列，在此不再赘述。在连续N帧状态标记为消失后，将主目标从当前主目标跟踪队列中删除，既可以避免由于某一帧图像检测结果对主目标进行删除导致的跟踪目标遗漏，也可以达到删除干扰目标，提高主目标跟踪的准确度和效率的效果。且结合多帧图像的主目标检测情况，对当前主目标跟踪队列不断更新，有效提高了主目标检测的精确性和准确度。
步骤104，对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联。
第一，计算所述辅目标检测框集合和所述主目标跟踪框集合的交并比；
对于所述辅目标检测框集合中的各个辅目标检测框，以及所述主目标检测框集合中的各个主目标跟踪框，计算各个辅目标检测框和各个主目标跟踪框的交并比，所述交并比为：
Figure BDA0002425135370000091
其中，SA为所述辅目标检测框集合中的一个辅目标检测框A的面积，SB为主目标检测框集合中的一个主目标跟踪框B的面积。
第二，根据所述交并比对所述辅目标检测框集合和所述主目标跟踪框集合进行关联。
将交并比大于预设阈值且最大的一组主目标和辅目标做关联。
可选的，对类别为行人，骑士等主目标与类别为头肩、人脸的辅目标关联的方式可通过求交并比最大。循环计算未关联的辅目标检测框集合与未关联的主目标跟踪框集合的IOU集合，选取IOU值最大且大于某一预设阈值，对应的辅目标检测框与主目标跟踪框即为相互关联的辅目标检测框和主目标跟踪框。
对类别为车辆的主目标与类别为头肩、人脸的辅目标关联的方式可通过判断辅目标检测框是否在主目标跟踪框位置范围内，具体而言，其中一个辅目标检测框的位置坐标为(xa0,ya0,xa1,ya1)，其中(xa0，ya0)表示检测框左上角点的位置坐标，(xa1，ya1)表示右下角点的位置坐标，其中一个主目标跟踪框的位置坐标为(xb0,yb0,xb1,yb1)，若满足如下条件：
Figure BDA0002425135370000101
则判断该辅目标检测框与主目标跟踪框关联。
本公开实施例不受所选取关联方法的限制。
可选的，在经过上述关联之后，将已关联的辅目标的关联状态设置为已关联，反之将无法关联的辅目标的关联状态设置为未关联，请参考图3，其示出了两者关联的流程图。
步骤105，根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息。
所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。
可选的，对当前辅目标跟踪队列进行跟踪处理的步骤可以包括：包括：
对于所述当前辅目标跟踪队列中在当前帧图像中存在对应的辅目标检测框的辅目标，将所述辅目标检测框作为所述辅目标在当前帧图像的跟踪框；若所述辅目标检测框的关联状态为已关联，则根据所述辅目标检测框关联的主目标的跟踪信息来确定所述辅目标的跟踪信息；若所述辅目标检测框的关联状态为未关联，则根据所述辅目标在当前帧图像的跟踪框、所述辅目标在历史帧中的跟踪框以及在初始帧中的跟踪框确定所述辅目标的跟踪信息；
对于所述当前辅目标跟踪队列中在当前帧图像中不存在对应的辅目标检测框的辅目标，则将所述辅目标的跟踪状态更新为消失。
可选的，请参考图4，本步骤包括：
(1)、对当前辅目标跟踪队列中的每个辅目标跟踪，确定与之匹配的当前帧辅目标检测框。匹配的方式通过计算辅目标跟踪框集合T′与当前帧辅目标检测框集合D′的交并比(IOU)。
具体而言，对于交并比中的每一个值IOU(T′i,D′j)，代表第i个辅目标跟踪框与第j个辅目标检测框的交并比。
在所有IOU值的集合中，找出最大值IOU(T′i,D′j)且该IOU值大于某一预设阈值，其对应的T′i和D′j即为找到的一对匹配的辅目标跟踪框和辅目标检测框。
接着，继续计算剩余未匹配的辅目标跟踪框集合和未匹配的辅目标检测框集合的IOU集合，找出最大值IOU(T′m,D′n)且该IOU值大于某一预设阈值，其对应的T′m和D′n即为匹配的辅目标跟踪框和辅目标检测框。
循环地执行上述操作，直至不满足条件为止，即完成辅目标跟踪框集合与当前帧辅目标检测框集合的匹配。本步骤与上述对主目标跟踪队列的处理类似，在此不再赘述。
(2)、对每个跟踪辅目标确定在当前帧是否存在与之匹配的辅目标检测框，如果存在，则进入步骤(4)，如果不存在，则进入步骤(3)；
(3)、跟踪辅目标在当前帧不存在与之匹配的辅目标检测框，说明在当前帧该辅目标未检测到，因此，将该跟踪辅目标的跟踪状态记录为：消失，其他跟踪信息不做更新；
(4)、在当前帧，该跟踪辅目标存在匹配的辅目标检测框，判断匹配的辅目标检测框的关联状态是否为已关联，如果是已关联，则进入步骤(5)，如果是未关联，则进入步骤(6)；
(5)、该跟踪辅目标匹配的当前帧的辅目标检测框的关联状态是已关联，即说明在当前帧，该跟踪辅目标关联上对应的跟踪主目标，因此，该跟踪辅目标可共享关联上的跟踪主目标的跟踪轨迹信息，该跟踪辅目标的跟踪框使用当前帧匹配的辅目标检测框来进行更新；
(6)、该跟踪辅目标匹配的当前帧的辅目标检测框的关联状态是未关联，即说明在当前帧，该跟踪辅目标未关联上对应的跟踪主目标。因此，该跟踪辅目标的跟踪轨迹信息需另行计算。
可选的，计算步骤可以包括：
(i)该跟踪辅目标的跟踪框使用当前帧匹配的辅目标检测框来更新；
(ii)计算当前帧与前一帧跟踪框的位移，并累加自初始帧以来每一帧的位移，得到该跟踪辅目标当前帧与初始帧跟踪框的绝对位移；
(iii)计算当前帧与初始帧跟踪框的位移，得到与初始帧的相对位移；
(iv)计算当前帧与初始帧的时间差得到该跟踪辅目标的运动时间。
可选的，与上述对当前主目标跟踪队列的处理类似的是，在确定得到辅目标的跟踪框和跟踪信息之后，该方法还可以包括：
在确定得到所述当前辅目标跟踪队列中的各个辅目标的跟踪框和跟踪信息之后，将所述当前帧图像的辅目标检测框集合中新增的辅目标添加至所述当前辅目标跟踪队列中；
将截止至当前帧图像已在连续M帧中跟踪状态为消失的辅目标从所述当前辅目标跟踪队列中，M为正整数；比如，M可以为10、5等等。
将根据所述当前帧图像的辅目标检测框进行添加和/或删除辅目标后得到的辅目标跟踪队列作为当前辅目标跟踪队列。
具体而言，例如某头肩跟踪目标，已连续10帧，其跟踪状态为消失，则将其从跟踪队列中删除，后续不再对该目标进行跟踪。
上述实施例中，辅目标跟踪队列中的辅目标与当前帧中的辅目标检测框进行匹配，若匹配成功，说明跟踪辅目标在当前帧能够检测到，进一步判断与辅目标匹配的辅目标检测框是否与主目标跟踪框关联，若关联，则说明在当前帧中存在与辅目标对应的主目标，则辅目标直接共享对应的主目标的跟踪信息，无需对辅目标信息再进行跟踪计算降低了计算量；若未关联，则说明该辅目标对应的主目标未检测到，此时对辅目标跟踪信息进行计算，可以通过辅目标的跟踪信息确定目标的跟踪信息，避免因为主目标未检测到，而遗漏目标跟踪，进一步提高目标跟踪的有效性。对于标记为消失的辅目标，连续M帧消失才会删除，避免因为某一帧的检测结果导致跟踪目标的删除造成跟踪目标遗漏；也不会一直对于只在个别帧中存在的目标进行持续跟踪，提高跟踪效率和准确度。
综上所述，本实施例提供的多目标跟踪方法，通过对视频每一帧图像进行目标检测得到检测框集合；分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。将目标分为主目标和辅目标，先对主目标进行跟踪，与主目标关联的辅目标可以共享主目标的跟踪信息，减少了所需跟踪的目标的个数，降低了跟踪耗时；达到了可以提高跟踪效率的效果。
同时，通过对主目标利用卡尔曼滤波和金字塔光流法结合的方法进行跟踪，可以提高主目标抗遮挡的能力。
另外，对于无法关联的辅目标，本申请通过匹配分析的方式来确定该辅目标的跟踪信息，避免遗漏跟踪目标的问题，达到了在降低跟踪耗时的同时提高多目标跟踪准确度的效果。
请参考图5，其示出了本申请一个实施例提供的多目标跟踪装置的示意图，如图5所示，所述装置包括：
检测模块501，用于对视频每一帧图像进行目标检测得到检测框集合；
划分模块502，用于分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；
第一跟踪模块503，用于根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；
关联模块504，用于对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；
第二跟踪模块505，用于根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。
可选的，上述各个功能模块的具体实现请参考上述方法实施例，在此不再赘述。
综上所述，本实施例提供的多目标跟踪装置，通过对视频每一帧图像进行目标检测得到检测框集合；分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。将目标分为主目标和辅目标，先对主目标进行跟踪，与主目标关联的辅目标可以共享主目标的跟踪信息，减少了所需跟踪的目标的个数，降低了跟踪耗时；达到了可以提高跟踪效率的效果。
同时，通过对主目标利用卡尔曼滤波和金字塔光流法结合的方法进行跟踪，可以提高主目标抗遮挡的能力。
另外，对于无法关联的辅目标，本申请通过匹配分析的方式来确定该辅目标的跟踪信息，避免遗漏跟踪目标的问题，达到了在降低跟踪耗时的同时提高多目标跟踪准确度的效果。
本申请一个实施例还提供了一种多目标跟踪装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现第一方面所述的多目标跟踪方法。
本申请一个实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现第一方面所述的多目标跟踪方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述方法包括：
对视频每一帧图像进行目标检测得到检测框集合；
分别对每一帧图像对应的检测框集合划分得到每一帧图像对应的主目标检测框集合和辅目标检测框集合；
根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到所述当前主目标跟踪队列的主目标跟踪框集合和跟踪信息，所述当前主目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的主目标检测框集合创建；
对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联；
根据当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，所述当前辅目标跟踪队列是根据所述当前帧图像之前的历史帧图像中的辅目标检测框集合创建。
2.根据权利要求1所述的方法，其特征在于，所述根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到当前主目标的主目标跟踪框集合，包括：
利用卡尔曼滤波和金字塔光流法结合的方式对所述当前主目标跟踪队列中的每个主目标进行跟踪，得到所述主目标跟踪框集合。
3.根据权利要求2所述的方法，其特征在于，所述利用卡尔曼滤波和金字塔光流法结合的方式对所述当前主目标跟踪队列中的每个主目标进行跟踪，得到所述主目标跟踪框集合，包括：
对于所述当前主目标跟踪队列中在当前帧图像中存在对应主目标检测框的主目标，根据卡尔曼滤波预测得到所述主目标在所述当前帧图像的预测框，将所述预测框和对应的主目标检测框通过卡尔曼滤波修正得到所述主目标在当前帧图像的主目标跟踪框；
对于所述当前主目标跟踪队列中在当前帧图像中不存在对应主目标检测框的主目标，采用金字塔光流法预测得到所述主目标在所述当前帧图像的预测框，将所述预测框作为所述主目标在当前帧图像的主目标跟踪框。
4.根据权利要求2或3所述的方法，其特征在于，所述根据当前帧图像的主目标检测框对当前主目标跟踪队列进行处理，得到当前主目标的主目标跟踪框集合和跟踪信息之后，所述方法还包括：
在确定得到所述主目标跟踪框集合之后，将所述当前帧图像的主目标检测框集合中新增的主目标添加至所述当前主目标跟踪队列中；
将所述当前主目标跟踪队列中在当前帧图像中不存在对应主目标检测框的主目标的状态标记为消失，并将截止至当前帧图像已连续N帧状态标记为消失的主目标从所述当前主目标跟踪队列中删除，其中，N为正整数；
将根据所述当前帧图像的主目标检测框进行添加和/或删除主目标后得到的主目标跟踪队列作为当前主目标跟踪队列。
5.根据权利要求1所述的方法，其特征在于，所述对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联，包括:
计算所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合的交并比；
根据所述交并比对所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合进行关联。
6.根据权利要求5所述的方法，其特征在于，所述计算所述当前帧图像的辅目标检测框集合和所述主目标跟踪框集合的交并比，包括：
对于所述当前帧图像的辅目标检测框集合中的各个辅目标检测框，以及所述当前主目标跟踪队列对应的各个主目标跟踪框，计算各个辅目标检测框和各个主目标跟踪框的交并比，所述交并比为：
Figure FDA0002425135360000021
其中，SA为所述当前帧图像的辅目标检测框集合中的一个辅目标检测框A的面积，SB为主目标跟踪框集合中的一个主目标跟踪框B的面积。
7.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像的辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息，包括：
对于所述当前辅目标跟踪队列中在当前帧图像中存在对应的辅目标检测框的辅目标，将所述辅目标检测框作为所述辅目标在当前帧图像的跟踪框；若所述辅目标检测框的关联状态为已关联，则根据所述辅目标检测框关联的主目标的跟踪信息来确定所述辅目标的跟踪信息；若所述辅目标检测框的关联状态为未关联，则根据所述辅目标在当前帧图像的跟踪框、所述辅目标在历史帧中的跟踪框以及在初始帧中的跟踪框确定所述辅目标的跟踪信息；
对于所述当前辅目标跟踪队列中在当前帧图像中不存在对应的辅目标检测框的辅目标，则将所述辅目标的跟踪状态更新为消失。
8.根据权利要求7所述的方法，其特征在于，所述根据辅目标检测框的关联状态对当前辅目标跟踪队列进行跟踪处理，得到辅目标的跟踪框和跟踪信息之后，所述方法还包括：
在确定得到所述当前辅目标跟踪队列中的各个辅目标的跟踪框和跟踪信息之后，将所述当前帧图像的辅目标检测框集合中新增的辅目标添加至所述当前辅目标跟踪队列中；
将截止至当前帧图像已在连续M帧中跟踪状态为消失的辅目标从所述当前辅目标跟踪队列中，M为正整数；
将根据所述当前帧图像的辅目标检测框进行添加和/或删除辅目标后得到的辅目标跟踪队列作为当前辅目标跟踪队列。
9.一种多目标跟踪装置，其特征在于，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如权利要求1至8任一所述的多目标跟踪方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求1至8任一所述的多目标跟踪方法。
CN202010218204.8A 2020-03-25 2020-03-25 多目标跟踪方法、装置和存储介质 Active CN111445501B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010218204.8A CN111445501B (zh) 2020-03-25 2020-03-25 多目标跟踪方法、装置和存储介质
PCT/CN2020/121511 WO2021189825A1 (zh) 2020-03-25 2020-10-16 多目标跟踪方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010218204.8A CN111445501B (zh) 2020-03-25 2020-03-25 多目标跟踪方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111445501A true CN111445501A (zh) 2020-07-24
CN111445501B CN111445501B (zh) 2023-03-24

Family

ID=71655745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010218204.8A Active CN111445501B (zh) 2020-03-25 2020-03-25 多目标跟踪方法、装置和存储介质

Country Status (2)

Country Link
CN (1) CN111445501B (zh)
WO (1) WO2021189825A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529942A (zh) * 2020-12-22 2021-03-19 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN113033388A (zh) * 2021-03-23 2021-06-25 维沃移动通信有限公司 检测跟踪方法和装置
CN113160149A (zh) * 2021-03-31 2021-07-23 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
WO2021189825A1 (zh) * 2020-03-25 2021-09-30 苏州科达科技股份有限公司 多目标跟踪方法、装置和存储介质
CN113658222A (zh) * 2021-08-02 2021-11-16 上海影谱科技有限公司 一种车辆检测跟踪方法及装置
CN114091561A (zh) * 2020-08-05 2022-02-25 北京万集科技股份有限公司 目标跟踪方法、装置、服务器和可读存储介质
CN116363565A (zh) * 2023-06-01 2023-06-30 深圳须弥云图空间科技有限公司 目标轨迹确定方法、装置、电子设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118253B (zh) * 2021-11-23 2024-02-20 合肥工业大学 一种基于多源数据融合的车辆检测方法及检测装置
CN114219832B (zh) * 2021-11-29 2023-04-07 浙江大华技术股份有限公司 人脸跟踪方法、装置及计算机可读存储介质
CN114137562B (zh) * 2021-11-30 2024-04-12 合肥工业大学智能制造技术研究院 一种基于改进全局最邻近的多目标跟踪方法
CN115063452B (zh) * 2022-06-13 2024-03-26 中国船舶重工集团公司第七0七研究所九江分部 一种针对海上目标的云台摄像头跟踪方法
CN117409040B (zh) * 2023-11-02 2024-05-10 沐曦科技(成都)有限公司 一种基于目标类别改进的多目标跟踪方法
CN118212596B (zh) * 2024-05-22 2024-08-06 深圳天海宸光科技有限公司 一种检测背景自适应更新的遗留物检测跟踪方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320613B2 (en) * 2008-06-04 2012-11-27 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry
CN106971401B (zh) * 2017-03-30 2020-09-25 联想(北京)有限公司 多目标跟踪装置和方法
CN108875465B (zh) * 2017-05-26 2020-12-11 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108053427B (zh) * 2017-10-31 2021-12-14 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN109754409A (zh) * 2017-11-06 2019-05-14 北京航天长峰科技工业集团有限公司 一种监控视频行人目标匹配跟踪系统与方法
CN110910428B (zh) * 2019-12-05 2022-04-01 江苏中云智慧数据科技有限公司 一种基于神经网络的实时多目标跟踪方法
CN111445501B (zh) * 2020-03-25 2023-03-24 苏州科达科技股份有限公司 多目标跟踪方法、装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021189825A1 (zh) * 2020-03-25 2021-09-30 苏州科达科技股份有限公司 多目标跟踪方法、装置和存储介质
CN114091561A (zh) * 2020-08-05 2022-02-25 北京万集科技股份有限公司 目标跟踪方法、装置、服务器和可读存储介质
CN112529942A (zh) * 2020-12-22 2021-03-19 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN112529942B (zh) * 2020-12-22 2024-04-02 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN113033388A (zh) * 2021-03-23 2021-06-25 维沃移动通信有限公司 检测跟踪方法和装置
CN113160149A (zh) * 2021-03-31 2021-07-23 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113658222A (zh) * 2021-08-02 2021-11-16 上海影谱科技有限公司 一种车辆检测跟踪方法及装置
CN116363565A (zh) * 2023-06-01 2023-06-30 深圳须弥云图空间科技有限公司 目标轨迹确定方法、装置、电子设备及存储介质
CN116363565B (zh) * 2023-06-01 2023-08-11 深圳须弥云图空间科技有限公司 目标轨迹确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111445501B (zh) 2023-03-24
WO2021189825A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
CN111445501B (zh) 多目标跟踪方法、装置和存储介质
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN112288770A (zh) 基于深度学习的视频实时多目标检测与跟踪方法和装置
US20150009323A1 (en) Multi-target tracking method for video surveillance
CN111798487B (zh) 目标跟踪方法、装置和计算机可读存储介质
CN110751674A (zh) 多目标跟踪方法及相应视频分析系统
CN111626275B (zh) 一种基于智能视频分析的异常停车检测方法
CN108765452A (zh) 一种复杂背景下运动目标检测与跟踪方法
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及系统
KR20210027778A (ko) 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법
CN110956062B (zh) 轨迹路线生成方法、设备及计算机可读存储介质
CN109035295A (zh) 多目标跟踪方法、装置、计算机设备和存储介质
CN110009662B (zh) 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN111553234A (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN114663471A (zh) 一种目标跟踪方法、装置及计算机可读存储介质
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
CN116681739A (zh) 目标运动轨迹生成方法、装置及电子设备
CN118038341A (zh) 多目标跟踪方法、装置、计算机设备以及存储介质
JP2002133421A (ja) 移動物体認識方法及び装置
CN113570622A (zh) 一种障碍物确定方法、装置、电子设备以及存储介质
Zhang et al. Reidentification-based automated matching for 3D localization of workers in construction sites
CN115994925B (zh) 一种基于关键点检测的多行人快速跟踪方法
CN111998853A (zh) 一种agv视觉导航方法及系统
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant