CN112529942A - 多目标跟踪方法、装置、计算机设备及存储介质 - Google Patents

多目标跟踪方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112529942A
CN112529942A CN202011529803.8A CN202011529803A CN112529942A CN 112529942 A CN112529942 A CN 112529942A CN 202011529803 A CN202011529803 A CN 202011529803A CN 112529942 A CN112529942 A CN 112529942A
Authority
CN
China
Prior art keywords
frame
detection frame
current
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011529803.8A
Other languages
English (en)
Other versions
CN112529942B (zh
Inventor
高增辉
曾佐祺
屈亚鹏
张义
钟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202011529803.8A priority Critical patent/CN112529942B/zh
Publication of CN112529942A publication Critical patent/CN112529942A/zh
Priority to PCT/CN2021/133511 priority patent/WO2022135027A1/zh
Application granted granted Critical
Publication of CN112529942B publication Critical patent/CN112529942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了多目标跟踪方法、装置、计算机设备及存储介质，该多目标跟踪方法包括：获取待检测视频，从待检测视频中间隔获取多帧待检测图像；根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定当前检测图像中的目标检测框，获取目标检测框对应的初始变化信息；根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；获取后序检测图像对应的后序检测框，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对所述初始变化信息进行更新。本技术方案能够在减少运算量的同时，提高多目标跟踪的准确性。

Description

多目标跟踪方法、装置、计算机设备及存储介质
技术领域
本发明涉及智能视频跟踪技术领域，尤其涉及一种多目标跟踪方法、装置、计算机设备及存储介质。
背景技术
目标跟踪是智能视频监控、智能交通等领域的关键技术。为提高业务的覆盖范围，以及降低延迟等需求，在一些终端设备或边缘产品中完成目标跟踪是一个重要的发展方向。
目前，常用的目标跟踪方法有光流跟踪、引入深度学习特征的跟踪等。这些目标跟踪方法都需要较大的计算量，目标跟踪效率低，且不适用于计算能力有限且对实时性要求高的终端设备或边缘产品中。
虽然，一些方案采用轨迹速度预测跟踪方法对目标进行跟踪，降低了目标跟踪过程中计算量，但是，仅适用于简单的理想化场景；现实场景一般较为复杂，跟踪的目标有多种类型，且经常单个画面出现多个目标，跟踪的目标之间容易交叉遮挡，导致目标跟踪的准确性低。
发明内容
本发明实施例提供一种多目标跟踪方法、装置、计算机设备及存储介质，以解决现有目标跟踪方法跟踪效率低，准确性低的问题。
一种多目标跟踪方法，包括：
获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定所述当前检测图像中的目标检测框，获取所述目标检测框对应的初始变化信息；
根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；
获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对所述初始变化信息进行更新。
进一步地，所述待检测视频包括依据时间顺序排序的多个待检测图像；
所述从所述待检测视频中间隔获取多帧待检测图像，包括：基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
进一步地，所述根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定所述当前检测图像中的目标检测框，获取所述目标检测框对应的初始变化信息，包括：
获取当前检测图像中的当前检测框和前序检测图像中的前序检测框；
根据所述当前检测框和所述前序检测框，确定当前检测图像中的目标检测框；
根据所述前序检测框对应的检测框信息和所述目标检测框对应的检测框信息，获取所述目标检测框对应的初始变化信息。
进一步地，所述根据所述当前检测框和所述前序检测框，确定当前检测图像中的目标检测框，包括：
根据所述当前检测框和所述前序检测框，获取当前IoU；
若所述当前IoU大于第一IoU阈值，则将所述当前检测框确定为所述当前检测图像中的目标检测框。
进一步地，所述根据所述当前检测框和所述前序检测框，获取当前IoU，还包括：
基于预设放大系数，对所述当前检测框和所述前序检测框进行放大处理，获取当前放大框和前序放大框；
基于所述当前放大框和所述前序放大框，获取当前IoU。
进一步地，所述检测框信息包括检测框位置、检测框大小和目标类别；所述根据所述前序检测框对应的检测框信息和所述目标检测框对应的检测框信息，获取所述目标检测框对应的初始变化信息，包括：
根据前序检测框对应的检测框位置和所述目标检测框对应的检测框位置，获取所述目标检测框对应的初始移动速度；
根据前序检测框对应的检测框大小和所述目标检测框对应的检测框大小，获取所述目标检测框对应的初始变化速度。
进一步地，所述初始变化信息包括初始移动速度和初始变化速度；
所述根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框，包括：基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，确定所述当前检测图像对应的当前预测框。
进一步地，所述根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框，还包括：
获取所述目标检测框对应的目标类别；
基于所述目标类别，确定预设修正参数；
基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，确定所述当前检测图像对应的当前预测框。
进一步地，所述获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，包括：
根据同一目标类别对应的所述当前预测框和所述后序检测框，获取匹配IoU；
若所述匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
若所述匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
进一步地，所述获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，还包括：
根据同一目标类别对应的所述当前预测框和所述后序检测框，获取所述当前预测框和所述后序检测框之间的中心点距离；
将小于预设中心点阈值的所述中心点距离对应的所述当前预测框，确定为待匹配预测框；
根据所述待匹配预测框和所述后序检测框，获取匹配IoU；
若所述匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
若所述匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
进一步地，所述对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果还包括：
若所述匹配IoU大于第二IoU阈值，则将所述当前预测框确定为第一预测框，采用所述第一预测框与第一状态的后序检测框进行关联匹配，获取所述目标跟踪结果；
若所述匹配IoU不大于所述第二IoU阈值，则将所述当前预测框确定为第二预测框，采用所述第二预测框与第二状态的后序检测框进行关联匹配，获取所述目标跟踪结果。
一种多目标跟踪装置，包括：
视频获取模块，用于获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
信息获取模块，用于根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定所述当前检测图像中的目标检测框，获取所述目标检测框对应的初始变化信息；
预测框模块，用于根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；
关联匹配模块，用于获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对所述初始变化信息进行更新。
进一步地，所述视频获取模块包括：
取帧规则子模块，用于基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
进一步地，所述信息获取模块包括：
检测框获取子模块，用于获取当前检测图像中的当前检测框和前序检测图像中的前序检测框；
目标确定子模块，用于根据所述当前检测框和所述前序检测框，确定当前检测图像中的目标检测框；
初始信息子模块，用于根据所述前序检测框对应的检测框信息和所述目标检测框对应的检测框信息，获取所述目标检测框对应的初始变化信息。
进一步地，所述目标确定子模块包括：
IoU获取单元，用于根据所述当前检测框和所述前序检测框，获取当前IoU；
第一阈值单元，用于若所述当前IoU大于第一IoU阈值，则将所述当前检测框确定为所述当前检测图像中的目标检测框。
进一步地，所述目标确定子模块还包括：
放大框获取单元，用于基于预设放大系数，对所述当前检测框和所述前序检测框进行放大处理，获取当前放大框和前序放大框；
当前IoU单元，用于基于所述当前放大框和所述前序放大框，获取当前IoU。
进一步地，所述初始信息子模块包括：
移动速度单元，用于根据前序检测框对应的检测框位置和所述目标检测框对应的检测框位置，获取所述目标检测框对应的初始移动速度；
变化速度单元，用于根据前序检测框对应的检测框大小和所述目标检测框对应的检测框大小，获取所述目标检测框对应的初始变化速度。
进一步地，所述预测框模块包括：
预测时间子模块，用于基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，确定所述当前检测图像对应的当前预测框。
进一步地，所述预测框模块还包括：
类别获取子模块，用于获取所述目标检测框对应的目标类别；
修正参数子模块，用于基于所述目标类别，确定预设修正参数；
预测框确定子模块，用于基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，确定所述当前检测图像对应的当前预测框。
进一步地，所述关联匹配模块包括：
匹配IoU子模块，用于根据同一目标类别对应的所述当前预测框和所述后序检测框，获取匹配IoU；
跟踪成功子模块，用于若所述匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
跟踪失败子模块，用于若所述匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
进一步地，所述关联匹配模块包括：
距离获取子模块，用于根据同一目标类别对应的所述当前预测框和所述后序检测框，获取所述当前预测框和所述后序检测框之间的中心点距离；
待匹配子模块，用于将小于预设中心点阈值的所述中心点距离对应的所述当前预测框，确定为待匹配预测框；
IoU获取子模块，用于根据所述待匹配预测框和所述后序检测框，获取匹配IoU；
第一判断子模块，用于若所述匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
第二判断子模块，用于若所述匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
进一步地，所述关联匹配模块还包括：
第一匹配子模块，用于若所述匹配IoU大于第二IoU阈值，则将所述当前预测框确定为第一预测框，采用所述第一预测框与第一状态的后序检测框进行关联匹配，获取所述目标跟踪结果；
第二匹配子模块，用于若所述匹配IoU不大于所述第二IoU阈值，则将所述当前预测框确定为第二预测框，采用所述第二预测框与第二状态的后序检测框进行关联匹配，获取所述目标跟踪结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述多目标跟踪方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多目标跟踪方法。
上述多目标跟踪方法、装置、计算机设备及存储介质，服务器获取待检测视频，从待检测视频中间隔获取多帧待检测图像，能够实现更高的待检测视频处理速度和待检测视频接入路数；根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定当前检测图像中的目标检测框，获取目标检测框对应的初始变化信息，以便对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性；根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；获取后序检测图像对应的后序检测框，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对所述初始变化信息进行更新，能够在减少运算量的同时，提高多目标跟踪的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中多目标跟踪方法的一流程图；
图2是本发明一实施例中多目标跟踪方法的另一流程图；
图3是本发明一实施例中多目标跟踪方法的另一流程图；
图4是本发明一实施例中多目标跟踪方法的另一流程图；
图5是本发明一实施例中多目标跟踪方法的另一流程图；
图6是本发明一实施例中多目标跟踪方法的另一流程图；
图7是本发明一实施例中多目标跟踪方法的另一流程图；
图8是本发明一实施例中多目标跟踪方法的另一流程图；
图9是本发明一实施例中多目标跟踪方法的另一流程图；
图10是本发明一实施例中多目标跟踪方法的一示意图；
图11是本发明一实施例中多目标跟踪装置的一示意图；
图12是本发明一实施例中多目标跟踪方法的一应用环境示意图；
图13是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的多目标跟踪方法，该多目标跟踪方法可应用如图12所示的应用环境中。具体地，该多目标跟踪方法应用在多目标跟踪系统中，该多目标跟踪系统包括如图12所示的客户端、服务器和视频采集装置，客户端、服务器和视频采集装置通过网络进行通信，用于实现多目标跟踪。其中，客户端又称为用户端，是指与服务器相对应，为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上，用于对多目标跟踪进行显示。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。视频采集装置包括但不限于摄像机、云台、解码器和支架视频分配器等，设置在特定区域，用于采集待检测视频。
在一实施例中，如图1所示，提供一种多目标跟踪方法，以该方法应用在图12中的服务器为例进行说明，包括如下步骤：
S11：获取待检测视频，从待检测视频中间隔获取多帧待检测图像。
其中，待检测视频为待检测的视频或视频帧序列。例如，待检测视频可以是一定视频帧长度的视频，或视频流。待检测图像为待检测视频中的图像。
作为一示例，服务器获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，例如，待检测视频包括M帧待检测图像，服务器从M帧待检测图像中每间隔N帧获取至少一帧待检测图像。需要说明的是，待检测视频中待检测图像帧速一般为每秒25帧以上，如果服务器对每一帧待检测图像都进行检测，则计算量过大，会导致服务器过载，影响多目标跟踪的处理速度和待检测视频的接入路数。在本实施例中，服务器获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。
S12：根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定当前检测图像中的目标检测框，获取目标检测框对应的初始变化信息。
其中，当前检测图像为服务器当前正在检测的待检测图像。当前检测框为当前检测图像中的跟踪目标对应的检测框。例如，跟踪目标包括但不限于待检测图像中出现的物体，如人或车。前序检测图像为当前检测图像的前一帧的待检测图像。前序检测框为前序检测图像中的跟踪目标对应的检测框。目标检测框为当前检测框中，与前序检测框中的跟踪目标相关联的跟踪目标对应的检测框。初始变化信息为目标检测框对应的信息。例如，初始变化信息包括但不限于目标检测框位置、目标检测框大小以及目标检测框对应的初始移动速度和初始变化速度等。
作为一示例，服务器根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，检测当前检测框是否与前序检测框相关联，也即是，当前检测框中的跟踪目标是否与前序检测框的跟踪目标相关联，服务器将与前序检测图像中的前序检测框相关联的当前检测框，确定为当前检测图像中的目标检测框，并获取目标检测框对应的初始变化信息。例如，当前检测图像中包括当前检测框A，前序检测图像中包括前序检测框a，检测当前检测框A中的跟踪目标是否与前序检测框a中的跟踪目标相关联，若当前检测框A中的跟踪目标与前序检测框a中的跟踪目标相关联，则说明当前检测框A中的跟踪目标是由前序检测框a中的跟踪目标变化得到的，将当前检测框A确定为目标检测框A，并获取目标检测框A对应的初始变化信息，以便对目标检测框A中的跟踪目标进行跟踪。
需要说明的是，服务器根据当前检测框中的跟踪目标和前序检测框中的跟踪目标是否关联，以确定当前检测框是否为当前检测图像中的目标检测框，需获取目标检测框对应的初始变化信息，以便利用目标检测框对应的初始变化信息，实现对目标检测框中的跟踪目标进行跟踪，提高目标跟踪的准确性。
S13：根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框。
其中，当前预测框为对目标检测框进行预测的预测框。
作为一示例，服务器根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框。例如，初始变化信息包括但不限于目标检测框位置、目标检测框大小以及目标检测框对应的初始移动速度和初始变化速度等。服务器根据目标检测框位置、目标检测框大小以及目标检测框对应的初始移动速度和初始变化速度，确定当前检测图像对应的当前预测框，替代了需要大量计算量的光流跟踪、引入深度学习特征的跟踪等，能够减少运算量。
S14：获取后序检测图像对应的后序检测框，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对初始变化信息进行更新。
其中，后序检测图像为当前检测图像后一帧的待检测图像。后序检测框为后序检测图像中的跟踪目标对应的检测框。目标跟踪结果为对当前预测框和后序检测框进行关联匹配后得到的结果。例如，目标跟踪结果包括成功或失败，若目标跟踪结果为成功，表示对当前预测框和后序检测框关联匹配成功，即当前预测框和后序检测框中检测到同一跟踪目标；同样地，若目标跟踪结果为失败，表示对当前预测框和后序检测框关联匹配失败，即当前预测框和后序检测框中检测不到同一跟踪目标。
作为一示例，服务器对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果。具体地，关联匹配包括但不限于相似度匹配或相关性匹配。例如，关联匹配可以是IoU(Intersection-over-Union，交并比，简称IoU)匹配，服务器对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行IoU匹配，获取匹配IoU，若匹配得到的匹配IoU大于IoU阈值，则目标跟踪结果为成功，则当前预测框和后序检测框关联匹配成功。若匹配得到的匹配IoU不大于IoU阈值，则目标跟踪结果为失败。其中，IoU阈值可以是用户根据实际需求自定义设置的值。可以理解地，服务器对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行IoU匹配，获取匹配IoU，若匹配得到的匹配IoU大于IoU阈值，则目标跟踪结果为成功。进一步地，为了提高后续跟踪过程中对跟踪目标进行预测的准确性，当目标跟踪结果为成功，服务器基于后序检测图像中的后序检测框和当前检测图像中的目标检测框，对初始变化信息进行更新校准，以提高后续跟踪过程中对后序检测图像中的后序检测框进行预测的准确性。替代了需要大量计算量的光流跟踪、引入深度学习特征的跟踪等，能够减少运算量，并且，服务器通过当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，能够提高多目标跟踪的准确性。
在本实施例中，服务器获取待检测视频，从待检测视频中间隔获取多帧待检测图像，能够实现更高的待检测视频处理速度和待检测视频接入路数；根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定当前检测图像中的目标检测框，获取目标检测框对应的初始变化信息，以便对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性；根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；获取后序检测图像对应的后序检测框，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对初始变化信息进行更新，能够在减少运算量的同时，提高多目标跟踪的准确性。
在一实施例中，待检测视频包括依据时间顺序排序的多个待检测图像，步骤S11中，即从待检测视频中间隔获取多帧待检测图像，包括：基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像。
其中，间隔取帧规则为用户自定义是用于间隔选取待检测图像的规则。
作为一示例，间隔取帧规则可以是m+(n-m)，其中，n为取帧周期，即每n帧为一个周期，m为取帧帧数，且m帧是连续帧。例如，在不需要较高计算量情况下，对待检测视频进行获取一般需要连续获取至少2帧待检测图像，即m>＝2。例如，间隔取帧规则m+(n-m)中，取帧帧数为m＝2，且取帧周期n＝4，即间隔取帧规则为2+2，也即是，在取帧周期4内，前2帧确定为待检测图像，会被抽取，后2帧不确定为待检测图像，不会被抽取，如此，待检测图像的帧数量占待检测视频中的总帧数量的比例达到50％，无需对待检测视频中所有待检测图像进行处理，有助于提高处理速度。
优选地，作为另一示例，间隔取帧规则可以是1+(n-1)，其中，n为取帧周期，也即是，在取帧周期n内，仅获取1帧待检测图像。在1+(n-1)方式下，检测耗时是取帧周期检测的1/n，如n为5，待检测图像帧数占待检测视频帧数量的比例达到20％，可以进一步提高待检测视频处理速度和待检测视频接入路数。
在本实施例中，服务器基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。
在一实施例中，如图2所示，步骤S12中，即根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定当前检测图像中的目标检测框，获取目标检测框对应的初始变化信息，包括：
S21：获取当前检测图像中的当前检测框和前序检测图像中的前序检测框。
S22：根据当前检测框和前序检测框，确定当前检测图像中的目标检测框。
S23：根据前序检测框对应的检测框信息和目标检测框对应的检测框信息，获取目标检测框对应的初始变化信息。
其中，检测框信息为待检测图像中跟踪目标对应的检测框的信息。检测框信息包括但不限于检测框位置和检测框大小等。
作为一示例，服务器获取当前检测框和前序检测图像中的前序检测框，根据当前检测框和前序检测框，确定当前检测图像中的目标检测框，即检测当前检测框是否与前序检测框相关联；若当前检测框与前序检测框相关联，将当前检测框确定为目标检测框；再根据前序检测框对应的检测框信息和目标检测框对应的检测框信息，即根据前序检测框对应的检测框位置和检测框大小，以及目标检测框对应的检测框位置和检测框大小，获取目标检测框对应的初始变化信息，以便根据目标检测框的初始变化信息，实现对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图3所示，步骤S22中，根据当前检测框和前序检测框，确定当前检测图像中的目标检测框，包括：
S31：根据当前检测框和前序检测框，获取当前IoU。
S32：若当前IoU大于第一IoU阈值，则将当前检测框确定为当前检测图像中的目标检测框。
其中，当前IoU为当前检测框和前序检测框进行IoU匹配得到的值。第一IoU阈值为用户自定义设置的值。
作为一示例，服务器根据当前检测框和前序检测框，检测当前检测框是否与前序检测框相关联，例如，对当前检测框和前序检测框进行IoU匹配，获取当前IoU，若当前IoU大于第一IoU阈值，当前检测框中的跟踪目标与前序检测框的跟踪目标相关联，则将当前检测框确定为当前检测图像中的目标检测框。若当前IoU不大于第一IoU阈值，当前检测框中的跟踪目标与前序检测框的跟踪目标不相关联，则不将当前检测框确定为当前检测图像中的目标检测框。
在本实施例中，服务器根据当前检测框和前序检测框，获取当前IoU，若当前IoU大于第一IoU阈值，则将当前检测框确定为当前检测图像中的目标检测框，以对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图4所示，步骤S21中，根据当前检测框和前序检测框，获取当前IoU，还包括：
S41：基于预设放大系数，对当前检测框和前序检测框进行放大处理，获取当前放大框和前序放大框。
S42：基于当前放大框和前序放大框，获取当前IoU。
其中，预设放大系数为用户自定义设置的系数。例如，预设放大系数用于对当前检测框和前序检测框进行放大处理。当前放大框为对当前检测框进行放大处理后得到的检测框。前序放大框为对前序检测框进行放大处理后得到的检测框。
作为一示例，对间隔获取的当前检测框和前序检测框，跟踪目标经过间隔几帧的待检测图像后一般会移动到新的位置，需要检测当前检测框中的跟踪目标与前序检测框的跟踪目标是否相关联，以便对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。例如，设当前检测框A、前序检测框a、间隔帧数k、预设放大系数p和第一IoU阈值q。
具体地，服务器采用预设放大系数p乘以间隔帧数k得到一个放大倍数，当前检测框A的宽和高根据放大倍数进行放大，当前检测框A原来的宽和高分别为A_w和A_h，分别放大为A_w*(p*k)和A_h*(p*k)；同样地，前序检测框a也做同样的放大，得到前序放大框的宽和高分别为a_w*(p*k)和a_h*(p*k)。然后，基于当前放大框和前序放大框，对当前放大框和前序放大框进行IoU匹配，获取当前IoU；若当前IoU大于第一IoU阈值，则将当前检测框确定为当前检测图像中的目标检测框。
进一步地，如果待检测图像中包括多个当前检测框或前序检测框，如当前检测图像包括R1个当前检测框，前序检测图像包括R2个前序检测框，则计算出R1*R2个当前IoU，将R1*R2个当前IoU确定为一个相似度矩阵，并采用匈牙利最大匹配技术对R1个当前检测框和R2个前序检测框进行关联匹配，优先关联R1*R2个当前IoU中比较大的当前IoU对应的当前检测框或和前序检测框，直到关联完毕。将大于第一IoU阈值的当前IoU对应的当前检测框确定为目标检测框。
在本实施例中，基于预设放大系数，对当前检测框和前序检测框进行放大处理，获取当前放大框和前序放大框，基于当前放大框和前序放大框，获取当前IoU；若当前IoU大于第一IoU阈值，则将当前检测框确定为当前检测图像中的目标检测框，若当前IoU不大于第一IoU阈值，则不将当前检测框确定为当前检测图像中的目标检测框，以便对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，检测框信息包括检测框位置、检测框大小和目标类别，如图5所示，步骤S21中，根据当前检测框和前序检测框，获取当前IoU，还包括：
S51：根据前序检测框对应的检测框位置和目标检测框对应的检测框位置，获取目标检测框对应的初始移动速度。
S52：根据前序检测框对应的检测框大小和目标检测框对应的检测框大小，获取目标检测框对应的初始变化速度。
其中，初始移动速度为目标检测框的检测框位置的移动速度。初始变化速度为目标检测框的检测框大小的变化速度。目标类别为跟踪目标的类别。例如，跟踪目标类别包括人或车等。
作为一示例，服务器根据前序检测框对应的检测框位置和目标检测框对应的检测框位置，获取目标检测框对应的初始移动速度；根据前序检测框对应的检测框大小和目标检测框对应的检测框大小，获取目标检测框对应的初始变化速度。具体地，设有当前检测框A、前序检测框a和间隔帧数k。确认目标检测框后，在跟踪目标的运动轨迹上就有了间隔k帧的两个当前检测框A和前序检测框a，当前检测框A框有中心点坐标(XA，YA)和宽高(WA，HA)，前序检测框a有中心点坐标(Xa，Ya)和宽高(Wa，Ha)。
目标检测框的初始移动速度是一个向量，在x轴和y轴各有一个速度分量，记为Vxy＝(Vx，Vy)；其中，Vx＝(XA-Xa)/k，Vy＝(YA-Ya)/k；目标检测框初始变化速度也有宽和高两个分量，记为Vwh＝(Vw，Vh)；其中Vw＝(WA-Wa)/k，Vh＝(HA-Ha)/k。
在本实施例中，服务器根据前序检测框对应的检测框位置和目标检测框对应的检测框位置，获取目标检测框对应的初始移动速度，根据前序检测框对应的检测框大小和目标检测框对应的检测框大小，获取目标检测框对应的初始变化速度，以便对目标检测框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，初始变化信息包括初始移动速度和初始变化速度，步骤S13中，根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框，包括：基于预设预测时间，对初始移动速度和初始变化速度进行计算，确定当前检测图像对应的当前预测框。
其中，预设预测时间为用户自定义设置的时间。预设预测时间与前述间隔取帧规则中的间隔时间相匹配。
作为一示例，服务器基于预设预测时间和初始移动速度，确定当前预测框位置，例如，预设预测时间乘以初始移动速度，得到当前预测框位置；基于预设预测时间和初始变化速度确定当前预测框大小，例如，预设预测时间乘以初始变化速度，也即是，预设预测时间分别乘以目标检测框的宽和高变化速度，得到当前预测框大小；根据当前预测框位置和当前预测框大小，确定当前检测图像对应的当前预测框。
在本实施例中，服务器基于预设预测时间，对初始移动速度和初始变化速度进行计算，预设预测时间乘以初始移动速度，得到当前预测框位置；预设预测时间乘以初始变化速度，得到当前预测框大小；根据当前预测框位置和当前预测框大小，确定当前检测图像对应的当前预测框，减少了确定当前预测框的计算量。
在一实施例中，如图6所示，步骤S13中，根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框，还包括：
S61：获取目标检测框对应的目标类别。
S62：基于目标类别，确定预设修正参数。
S63：基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，确定当前检测图像对应的当前预测框。
其中，预设修正参数为用户自定义设置的参数，用于对目标检测框对应的当前预测框进行调整。
具体地，服务器采用目标检测算法获取目标检测框对应的目标类别，目标检测算法为对目标检测框进行跟踪目标检测的算法。例如，目标检测算法可以是神经网络NN(neural network，简称NN)算法。服务器基于预设修正参数、预设预测时间和初始移动速度，确定当前预测框对应的检测框位置；基于预设修正参数、预设预测时间和初始变化速度，确定当前预测框对应的检测框大小，根据当前预测框对应的检测框位置和检测框大小，确定当前检测图像对应的当前预测框。
需要说明的是，服务器通过预设修正参数调整当前预测框变化快慢，使得当前预测框的变化快慢与目标类别相适配，例如，人脸一般较小，需调整当前预测框变化较慢；而车辆较大，需调整当前预测框变化较快。服务器通过预设修正参数调整当前预测框变化快慢，使得当前预测框变化快慢与目标类别相适配，能够提高当前预测框的准确度，并更适用于多目标的跟踪场景。
在本实施例中，服务器获取目标检测框对应的目标类别；基于目标类别，确定预设修正参数；基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，确定当前检测图像对应的当前预测框，能够提高当前预测框的准确度，并更适用于多目标的跟踪场景。
在一实施例中，如图7所示，步骤S14中，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，包括：
S71：根据同一目标类别对应的当前预测框和后序检测框，获取匹配IoU。
S72：若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果。
S73：若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
其中，第二IoU阈值为用户自定义设置的值。第二IoU阈值可以与第一IoU阈值相同或相同。
在本实施例中，服务器根据同一目标类别对应的当前预测框和后序检测框，获取匹配IoU；若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果，能够避免将不同目标类别的当前预测框和后序检测框混淆，提高当前预测框和后序检测框的匹配准确率和匹配效率。
在一实施例中，如图8所示，步骤S14中，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，还包括：
S81：根据同一目标类别对应的当前预测框和后序检测框，获取当前预测框和后序检测框之间的中心点距离。
S82：将小于预设中心点阈值的中心点距离对应的当前预测框，确定为待匹配预测框。
S83：根据待匹配预测框和后序检测框，获取匹配IoU。
S84：若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果。
S85：若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
其中，中心点距离为当前预测框的中心点与后序检测框的中心点之间的距离。预设中心点阈值为用户自定义设置的值，用于与中心点距离进行比较。
作为一示例，服务器根据同一目标类别对应的当前预测框和后序检测框，获取当前预测框和后序检测框之间的中心点距离，将小于预设中心点阈值的中心点距离对应的当前预测框，确定为待匹配预测框。需要说明的是，服务器将小于预设中心点阈值的中心点距离对应的当前预测框，确定为待匹配预测框，目的是对当前预测框进行筛选，能够过滤中心点距离过大的当前预测框，提高当前预测框和后序检测框的匹配速度。服务器根据待匹配预测框和后序检测框，对待匹配预测框和后序检测框进行IoU关联匹配，获取匹配IoU，例如，基于待匹配IoU，获取由匹配IoU组成的相似度矩阵，采用匈牙利最大匹配技术对相似度矩阵中匹配IoU进行筛选，也即是，优先筛选相似度矩阵中较大数值的匹配IoU；若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
在本实施例中，根据同一目标类别对应的当前预测框和后序检测框，获取当前预测框和后序检测框之间的中心点距离；将小于预设中心点阈值的中心点距离对应的当前预测框，确定为待匹配预测框，能够过滤中心点距离过大的当前预测框和后序检测框，提高当前预测框和后序检测框的匹配速度；根据待匹配预测框和后序检测框，获取匹配IoU；若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果，提高当前预测框和后序检测框的匹配的匹配精确度。
在一实施例中，如图9所示，步骤S14中，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，还包括：
S91：若匹配IoU大于第二IoU阈值，则将当前预测框确定为第一预测框，采用第一预测框与第一状态的后序检测框进行关联匹配，获取目标跟踪结果。
S92：若匹配IoU不大于第二IoU阈值，则将当前预测框确定为第二预测框，采用第二预测框与第二状态的后序检测框进行关联匹配，获取目标跟踪结果。
其中，第一预测框为用于匹配第一状态的后序检测框的预测框。第二预测框为用于匹配第二状态的后序检测框的预测框。例如，第一状态可以是正常状态。正常状态为后序检测框未被遮挡的状态。第二状态可以是隐藏状态。隐藏状态为后序检测框被遮挡的状态。例如，匹配IoU大于第二IoU阈值，则说明当前预测框和后序检测框的关联度较大，后序检测框未被遮挡，也即是正常状态。匹配IoU不大于第二IoU阈值，则说明当前预测框和后序检测框的关联度较小，后序检测框被遮挡或部分遮挡，也即是隐藏状态。
作为一示例，在待检测图像中正常跟踪目标对应的当前预测框和后序检测框能够匹配成功并完成跟踪目标的校准，而也有一些跟踪目标因为被遮挡或检测器本身漏检而无法完成匹配和校准。服务器对待匹配预测框和后序检测框进行IoU关联匹配，获取匹配IoU，若匹配IoU大于第二IoU阈值，则将当前预测框确定为第一预测框，若匹配IoU不大于第二IoU阈值，则将当前预测框确定为第二预测框。
作为另一示例，现有方案在跟踪目标匹配时将所有跟踪目标对应预测框和所有跟踪目标对应的检测框进行同时匹配，在跟踪目标交叉遮挡时容易出现被遮挡跟踪目标对应的预测框匹配到正常状态跟踪目标对应的的检测框，导致匹配错误。
如图10所示，假如有后序检测框1和后序检测框2同时出现在待检测图像中。
在待检测图像1时，后序检测框1和后序检测框2都是正常状态。
在待检测图像2时，后序检测框1与当前预测框1的匹配IoU不大于第二IoU阈值，也即是后序检测框1部分被遮挡而未被检测到，变为隐藏状态，将当前预测框1确定为第二预测框1；后序检测框2与当前预测框2的匹配IoU大于第二IoU阈值，也即是后序检测框2被检测到，为正常状态，将当前预测框2确定为第一预测框2。
在待检测图像3时，后序检测框1和后序检测框2基本重合，后序检测框2为正常状态，后序检测框1被完全遮挡，为隐藏状态。后序检测框1的对应的当前预测框1和后序检测框2对应的当前预测框2都可能与后序检测框2匹配度最高，后序检测框1和后序检测框2对应当前预测框1和当前预测框2一起匹配，会导致被遮挡的后序检测框1对应的当前预测框1匹配到后序检测框2上。如出现如图现有方案的问题，后序检测框1错误匹配，后序检测框2变为隐藏状态。而本申请将正常状态后序检测框2与第一预测框2优先匹配，后序检测框2可以正确的完成匹配，后序检测框1保持在隐藏状态继续采用第二预测框1进行预测。
在待检测图像4时及以后，现有方案中后序检测框1以错误的跟踪目标继续跟踪，后序检测框2为隐藏状态过一定帧数后判定消失，或者后序检测框2重新出现，但被错误的认为是一个新的后序检测框。本申请后序检测框2采用第一预测框2正常跟踪，后序检测框1重新出现后与对应的第二预测框1完成匹配，能够避免后序检测框被遮挡的情况下出现匹配错误，提高后序检测框匹配的准确性和可靠性。
在本实施例中，服务器根据同一目标类别对应的当前预测框和后序检测框，获取匹配IoU；若匹配IoU大于第二IoU阈值，则将当前预测框确定为第一预测框，采用第一预测框与第一状态的后序检测框进行关联匹配，获取目标跟踪结果；若匹配IoU不大于第二IoU阈值，则将当前预测框确定为第二预测框，采用第二预测框与第二状态的后序检测框进行关联匹配，获取目标跟踪结果，能够避免后序检测框被遮挡的情况下出现匹配错误，提高后序检测框匹配的准确性和可靠性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种多目标跟踪装置，该多目标跟踪装置与上述实施例中多目标跟踪方法一一对应。如图11所示，该多目标跟踪装置包括视频获取模块10、信息获取模块20、预测框模块30和关联匹配模块40。各功能模块详细说明如下：
视频获取模块10，用于获取待检测视频，从待检测视频中间隔获取多帧待检测图像；
信息获取模块20，用于根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定当前检测图像中的目标检测框，获取目标检测框对应的初始变化信息；
预测框模块30，用于根据目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；
关联匹配模块40，用于获取后序检测图像对应的后序检测框，对当前检测图像对应的当前预测框和后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果。
进一步地，视频获取模块10包括：
取帧规则子模块，用于基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像。
进一步地，信息获取模块20包括：
检测框获取子模块，用于获取当前检测图像中的当前检测框和前序检测图像中的前序检测框；
目标确定子模块，用于根据当前检测框和前序检测框，确定当前检测图像中的目标检测框；
初始信息子模块，用于根据前序检测框对应的检测框信息和目标检测框对应的检测框信息，获取目标检测框对应的初始变化信息。
进一步地，目标确定子模块包括：
IoU获取单元，用于根据当前检测框和前序检测框，获取当前IoU；
第一阈值单元，用于若当前IoU大于第一IoU阈值，则将当前检测框确定为当前检测图像中的目标检测框。
进一步地，目标确定子模块还包括：
放大框获取单元，用于基于预设放大系数，对当前检测框和前序检测框进行放大处理，获取当前放大框和前序放大框；
当前IoU单元，用于基于当前放大框和前序放大框，获取当前IoU。
进一步地，初始信息子模块包括：
移动速度单元，用于根据前序检测框对应的检测框位置和目标检测框对应的检测框位置，获取目标检测框对应的初始移动速度；
变化速度单元，用于根据前序检测框对应的检测框大小和目标检测框对应的检测框大小，获取目标检测框对应的初始变化速度。
进一步地，预测框模块30包括：
预测时间子模块，用于基于预设预测时间，对初始移动速度和初始变化速度进行计算，确定当前检测图像对应的当前预测框。
进一步地，预测框模块30还包括：
类别获取子模块，用于获取目标检测框对应的目标类别；
修正参数子模块，用于基于目标类别，确定预设修正参数；
预测框确定子模块，用于基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，确定当前检测图像对应的当前预测框。
进一步地，关联匹配模块40包括：
匹配IoU子模块，用于根据同一目标类别对应的当前预测框和后序检测框，获取匹配IoU；
跟踪成功子模块，用于若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
跟踪失败子模块，用于若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
进一步地，关联匹配模块40包括：
距离获取子模块，用于根据同一目标类别对应的当前预测框和后序检测框，获取当前预测框和后序检测框之间的中心点距离；
待匹配子模块，用于将小于预设中心点阈值的中心点距离对应的当前预测框，确定为待匹配预测框；
IoU获取子模块，用于根据待匹配预测框和后序检测框，获取匹配IoU；
第一判断子模块，用于若匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
第二判断子模块，用于若匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
进一步地，关联匹配模块40还包括：
第一匹配子模块，用于若匹配IoU大于第二IoU阈值，则将当前预测框确定为第一预测框，采用第一预测框与第一状态的后序检测框进行关联匹配，获取目标跟踪结果；
第二匹配子模块，用于若匹配IoU不大于第二IoU阈值，则将当前预测框确定为第二预测框，采用第二预测框与第二状态的后序检测框进行关联匹配，获取目标跟踪结果。
关于多目标跟踪装置的具体限定可以参见上文中对于多目标跟踪方法的限定，在此不再赘述。上述多目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于多目标跟踪。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多目标跟踪方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中多目标跟踪方法，例如步骤S11至步骤S14，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现多目标跟踪装置这一实施例中的各模块/单元的功能，例如视频获取模块10、信息获取模块20、预测框模块30和关联匹配模块40，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中多目标跟踪方法，例如步骤S11至步骤S14，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述多目标跟踪装置这一实施例中的各模块/单元的功能，例如视频获取模块10、信息获取模块20、预测框模块30和关联匹配模块40，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (14)

1.一种多目标跟踪方法，其特征在于，包括：
获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定所述当前检测图像中的目标检测框，获取所述目标检测框对应的初始变化信息；
根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；
获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对所述初始变化信息进行更新。
2.如权利要求1所述的多目标跟踪方法，其特征在于，所述待检测视频包括依据时间顺序排序的多个待检测图像；
所述从所述待检测视频中间隔获取多帧待检测图像，包括：基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
3.如权利要求1所述的多目标跟踪方法，其特征在于，所述根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定所述当前检测图像中的目标检测框，获取所述目标检测框对应的初始变化信息，包括：
获取当前检测图像中的当前检测框和前序检测图像中的前序检测框；
根据所述当前检测框和所述前序检测框，确定当前检测图像中的目标检测框；
根据所述前序检测框对应的检测框信息和所述目标检测框对应的检测框信息，获取所述目标检测框对应的初始变化信息。
4.如权利要求3所述的多目标跟踪方法，其特征在于，所述根据所述当前检测框和所述前序检测框，确定当前检测图像中的目标检测框，包括：
根据所述当前检测框和所述前序检测框，获取当前IoU；
若所述当前IoU大于第一IoU阈值，则将所述当前检测框确定为所述当前检测图像中的目标检测框。
5.如权利要求4所述的多目标跟踪方法，其特征在于，所述根据所述当前检测框和所述前序检测框，获取当前IoU，还包括：
基于预设放大系数，对所述当前检测框和所述前序检测框进行放大处理，获取当前放大框和前序放大框；
基于所述当前放大框和所述前序放大框，获取当前IoU。
6.如权利要求3所述的多目标跟踪方法，其特征在于，所述检测框信息包括检测框位置、检测框大小和目标类别；所述根据所述前序检测框对应的检测框信息和所述目标检测框对应的检测框信息，获取所述目标检测框对应的初始变化信息，包括：
根据前序检测框对应的检测框位置和所述目标检测框对应的检测框位置，获取所述目标检测框对应的初始移动速度；
根据前序检测框对应的检测框大小和所述目标检测框对应的检测框大小，获取所述目标检测框对应的初始变化速度。
7.如权利要求1所述的多目标跟踪方法，其特征在于，所述初始变化信息包括初始移动速度和初始变化速度；
所述根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框，包括：基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，确定所述当前检测图像对应的当前预测框。
8.如权利要求7所述的多目标跟踪方法，其特征在于，所述根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框，还包括：
获取所述目标检测框对应的目标类别；
基于所述目标类别，确定预设修正参数；
基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，确定所述当前检测图像对应的当前预测框。
9.如权利要求1所述的多目标跟踪方法，其特征在于，所述获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，包括：
根据同一目标类别对应的所述当前预测框和所述后序检测框，获取匹配IoU；
若所述匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
若所述匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
10.如权利要求1所述的多目标跟踪方法，其特征在于，所述获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，包括：
根据同一目标类别对应的所述当前预测框和所述后序检测框，获取所述当前预测框和所述后序检测框之间的中心点距离；
将小于预设中心点阈值的所述中心点距离对应的所述当前预测框，确定为待匹配预测框；
根据所述待匹配预测框和所述后序检测框，获取匹配IoU；
若所述匹配IoU大于第二IoU阈值，则获取跟踪成功的目标跟踪结果；
若所述匹配IoU不大于第二IoU阈值，则获取跟踪失败的目标跟踪结果。
11.如权利要求9或10所述的多目标跟踪方法，其特征在于，所述对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，还包括：
若所述匹配IoU大于第二IoU阈值，则将所述当前预测框确定为第一预测框，采用所述第一预测框与第一状态的后序检测框进行关联匹配，获取所述目标跟踪结果；
若所述匹配IoU不大于所述第二IoU阈值，则将所述当前预测框确定为第二预测框，采用所述第二预测框与第二状态的后序检测框进行关联匹配，获取所述目标跟踪结果。
12.一种多目标跟踪装置，其特征在于，包括：
视频获取模块，用于获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
信息获取模块，用于根据当前检测图像中的当前检测框和前序检测图像中的前序检测框，确定所述当前检测图像中的目标检测框，获取所述目标检测框对应的初始变化信息；
预测框模块，用于根据所述目标检测框对应的初始变化信息，确定当前检测图像对应的当前预测框；
关联匹配模块，用于获取后序检测图像对应的后序检测框，对所述当前检测图像对应的当前预测框和所述后序检测图像对应的后序检测框进行关联匹配，获取目标跟踪结果，并对所述初始变化信息进行更新。
13.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述多目标跟踪方法。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述多目标跟踪方法。
CN202011529803.8A 2020-12-22 2020-12-22 多目标跟踪方法、装置、计算机设备及存储介质 Active CN112529942B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011529803.8A CN112529942B (zh) 2020-12-22 2020-12-22 多目标跟踪方法、装置、计算机设备及存储介质
PCT/CN2021/133511 WO2022135027A1 (zh) 2020-12-22 2021-11-26 多目标跟踪方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011529803.8A CN112529942B (zh) 2020-12-22 2020-12-22 多目标跟踪方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112529942A true CN112529942A (zh) 2021-03-19
CN112529942B CN112529942B (zh) 2024-04-02

Family

ID=75002385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011529803.8A Active CN112529942B (zh) 2020-12-22 2020-12-22 多目标跟踪方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112529942B (zh)
WO (1) WO2022135027A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065523A (zh) * 2021-04-26 2021-07-02 上海哔哩哔哩科技有限公司 目标追踪方法及装置、电子设备和存储介质
CN114220077A (zh) * 2022-02-21 2022-03-22 金叶仪器(山东)有限公司 基于监控设备实现物体数量统计和移动方向监测的方法
WO2022135027A1 (zh) * 2020-12-22 2022-06-30 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN115690163A (zh) * 2023-01-04 2023-02-03 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN115908498A (zh) * 2022-12-27 2023-04-04 清华大学 一种基于类别最优匹配的多目标跟踪方法及装置
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563769B (zh) * 2023-07-07 2023-10-20 南昌工程学院 一种视频目标识别追踪方法、系统、计算机及存储介质
CN116665177B (zh) * 2023-07-31 2023-10-13 福思(杭州)智能科技有限公司 数据处理方法、装置、电子装置和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286631A1 (en) * 2010-05-21 2011-11-24 Qualcomm Incorporated Real time tracking/detection of multiple targets
US20140161319A1 (en) * 2011-07-19 2014-06-12 Nec Corporation Information processing apparatus, method for tracking object and program storage medium
US20170286774A1 (en) * 2016-04-04 2017-10-05 Xerox Corporation Deep data association for online multi-class multi-object tracking
US20190191098A1 (en) * 2017-12-19 2019-06-20 Fujitsu Limited Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN111445501A (zh) * 2020-03-25 2020-07-24 苏州科达科技股份有限公司 多目标跟踪方法、装置和存储介质
CN111680587A (zh) * 2020-05-26 2020-09-18 河海大学常州校区 一种基于多目标跟踪的鸡群活动量实时估算方法及系统
CN111696128A (zh) * 2020-05-27 2020-09-22 南京博雅集智智能技术有限公司 一种高速多目标检测跟踪和目标图像优选方法及存储介质
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084831B (zh) * 2019-04-23 2021-08-24 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN112529942B (zh) * 2020-12-22 2024-04-02 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286631A1 (en) * 2010-05-21 2011-11-24 Qualcomm Incorporated Real time tracking/detection of multiple targets
US20140161319A1 (en) * 2011-07-19 2014-06-12 Nec Corporation Information processing apparatus, method for tracking object and program storage medium
US20170286774A1 (en) * 2016-04-04 2017-10-05 Xerox Corporation Deep data association for online multi-class multi-object tracking
US20190191098A1 (en) * 2017-12-19 2019-06-20 Fujitsu Limited Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN111445501A (zh) * 2020-03-25 2020-07-24 苏州科达科技股份有限公司 多目标跟踪方法、装置和存储介质
CN111680587A (zh) * 2020-05-26 2020-09-18 河海大学常州校区 一种基于多目标跟踪的鸡群活动量实时估算方法及系统
CN111696128A (zh) * 2020-05-27 2020-09-22 南京博雅集智智能技术有限公司 一种高速多目标检测跟踪和目标图像优选方法及存储介质
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022135027A1 (zh) * 2020-12-22 2022-06-30 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN113065523A (zh) * 2021-04-26 2021-07-02 上海哔哩哔哩科技有限公司 目标追踪方法及装置、电子设备和存储介质
CN113065523B (zh) * 2021-04-26 2023-06-16 上海哔哩哔哩科技有限公司 目标追踪方法及装置、电子设备和存储介质
CN114220077A (zh) * 2022-02-21 2022-03-22 金叶仪器(山东)有限公司 基于监控设备实现物体数量统计和移动方向监测的方法
CN115908498A (zh) * 2022-12-27 2023-04-04 清华大学 一种基于类别最优匹配的多目标跟踪方法及装置
CN115908498B (zh) * 2022-12-27 2024-01-02 清华大学 一种基于类别最优匹配的多目标跟踪方法及装置
CN115690163A (zh) * 2023-01-04 2023-02-03 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN115690163B (zh) * 2023-01-04 2023-05-09 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN116935074B (zh) * 2023-07-25 2024-03-26 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置

Also Published As

Publication number Publication date
WO2022135027A1 (zh) 2022-06-30
CN112529942B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112529942A (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN111640140B (zh) 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN111242977B (zh) 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN111369590A (zh) 多目标跟踪方法、装置、存储介质及电子设备
CN112288770A (zh) 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN109145771B (zh) 一种人脸抓拍方法及装置
US11734347B2 (en) Video retrieval method and apparatus, device and storage medium
US20150104067A1 (en) Method and apparatus for tracking object, and method for selecting tracking feature
KR20210027778A (ko) 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법
US10892012B2 (en) Apparatus, video processing unit and method for clustering events in a content addressable memory
CN112989962A (zh) 轨迹生成方法、装置、电子设备及存储介质
CN108537820B (zh) 动态预测方法、系统及所适用的设备
CN111178261A (zh) 一种基于视频编码技术的人脸检测加速方法
CN112966654A (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
CN110866428A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114092515A (zh) 用于障碍遮挡的目标跟踪检测方法、装置、设备及介质
IL181820A (en) Method for detecting and tracking punctual targets in an optoelectronic surveillance system
CN110866484B (zh) 驾驶员人脸检测方法、计算机装置及计算机可读存储介质
CN113793365B (zh) 目标跟踪方法、装置、计算机设备及可读存储介质
CN113205079B (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN111275741B (zh) 目标跟踪方法、装置、计算机设备和存储介质
TWI736063B (zh) 物件偵測方法以及電子裝置
CN110427816B (zh) 物体检测方法、装置、计算机设备和存储介质
CN110838134B (zh) 目标对象的统计方法、装置、计算机设备和存储介质
CN112651369A (zh) 一种监控场景下行人识别的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant