CN112668524A - 多目标跟踪系统及方法 - Google Patents

多目标跟踪系统及方法 Download PDF

Info

Publication number
CN112668524A
CN112668524A CN202011641268.5A CN202011641268A CN112668524A CN 112668524 A CN112668524 A CN 112668524A CN 202011641268 A CN202011641268 A CN 202011641268A CN 112668524 A CN112668524 A CN 112668524A
Authority
CN
China
Prior art keywords
target
tracking
frame
current detection
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011641268.5A
Other languages
English (en)
Inventor
苏岚
顾鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Jiangsu Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yuntian Lifei Technology Co ltd, Shenzhen Intellifusion Technologies Co Ltd filed Critical Jiangsu Yuntian Lifei Technology Co ltd
Priority to CN202011641268.5A priority Critical patent/CN112668524A/zh
Publication of CN112668524A publication Critical patent/CN112668524A/zh
Priority to PCT/CN2021/133507 priority patent/WO2022142918A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多目标跟踪系统及方法，多目标跟踪系统包括处理器模块、神经网络模块、HOG模块和FFT模块：处理器模块分别与神经网络模块、HOG模块和FFT模块相连。神经网络模块用于获取多帧待检测图像，还用于获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录；处理器模块用于确定当前检测图像对应的目标跟踪框；HOG模块用于获取目标预测框对应的目标特征和后序预测框对应的目标特征；FFT模块用于获取目标预测框对应的频域特征和后序预测框对应的频域特征；处理器模块还用于获取目标跟踪结果。本发明在减少计算量的同时，能提高多目标跟踪的跟踪速度，以保证多目标跟踪的实时性。

Description

多目标跟踪系统及方法
技术领域
本发明涉及视频跟踪技术领域，尤其涉及一种多目标跟踪系统及方法。
背景技术
目前通常采用光流、KCF(Kernel Correlation Filter，核相关滤波算法，简称KCF)、SORT(Simple Online and Realtime Tracking，简单目标体识别算法，简称SORT)、DeepSORT等多种算法进行多目标跟踪，但是，这些算法都存在跟踪实时性差的问题。
发明内容
本发明实施例提供一种多目标跟踪系统及方法，以解决现有多目标跟踪过程中存在的跟踪实时性差的问题。
一种多目标跟踪系统，包括处理器模块、神经网络模块、HOG模块和FFT模块：所述处理器模块分别与所述神经网络模块、所述HOG模块和所述FFT模块相连；
所述神经网络模块，用于获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
所述神经网络模块，还用于采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征存储到跟踪上下文记录；
所述处理器模块，用于基于所述跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定所述当前检测图像对应的目标跟踪框；
所述HOG模块，用于获取所述目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对所述目标预测框和所述后序预测框进行特征提取，获取所述目标预测框对应的目标特征和所述后序预测框对应的目标特征；
所述FFT模块，用于采用FFT算法对所述目标预测框对应的目标特征和所述后序预测框对应的目标特征进行频域转换，获取所述目标预测框对应的频域特征和所述后序预测框对应的频域特征；
所述处理器模块，还用于采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
进一步地，所述神经网络模块，还用于基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
进一步地，所述神经网络模块，还用于采用目标检测算法对所述待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框；
所述神经网络模块，还用于采用特征提取算法对每一所述当前检测框进行特征提取，获取所述当前检测框对应的目标特征；
所述神经网络模块，还用于依据预设标识规则，生成所述当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征，作为跟踪特征信息存储到跟踪上下文记录。
进一步地，所述处理器模块，还用于基于所述跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；
所述处理器模块，还用于若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框，确定为所述当前检测图像对应的目标跟踪框；
所述处理器模块，还用于若所述第一特征匹配值不大于所述第一匹配阈值，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
进一步地，所述跟踪上下文记录包括跟踪标识；
所述处理器模块，还用于若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将所述当前检测框确定为所述当前检测图像对应的目标跟踪框；
所述处理器模块，还用于若所述第一特征匹配值不大于第一匹配阈值，则将所述当前检测框对应的跟踪标识的当前状态确定为待匹配状态，更新所述当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若所述当前次数大于预设次数，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
进一步地，所述跟踪上下文记录包括跟踪框位置、跟踪框大小和目标类别；
所述HOG模块，还用于根据前序检测框对应的跟踪框位置和所述目标跟踪框对应的跟踪框位置，获取所述目标跟踪框对应的初始移动速度；
所述HOG模块，还用于根据前序检测框对应的跟踪框大小和所述目标跟踪框对应的跟踪框大小，获取所述目标跟踪框对应的初始变化速度；
所述HOG模块，还用于基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
进一步地，所述HOG模块，还用于获取所述目标跟踪框对应的目标类别；
所述HOG模块，还用于基于所述目标类别，确定预设修正参数；
所述HOG模块，还用于基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
进一步地，所述处理器模块，还用于采用匈牙利算法对所述目标预测框和所述后序预测框进行频域特征匹配计算，获取第二特征匹配值；
所述处理器模块，还用于若第二特征匹配值大于第二匹配阈值，则将后序预测框对应的跟踪标识确定为匹配状态，获取目标跟踪结果为成功；
所述处理器模块，还用于若第二特征匹配值不大于第二匹配阈值，则将后序预测框对应的跟踪标识确定为待匹配状态，获取目标跟踪结果为失败。
进一步地，所述多帧待检测图像，包括依据时间顺序排序的M帧待检测图像；
所述处理器模块，还用于若所述当前检测图像为第M-1帧待检测图像，则执行所述获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
所述处理器模块，还用于若所述当前检测图像不为第M-1帧待检测图像，则执行所述获取所述目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，对所述目标预测框和所述后序预测框进行频域特征匹配，获取目标跟踪结果。
一种多目标跟踪方法，应用于多目标跟踪系统中，包括处理器模块执行的步骤：
采用神经网络模块，获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
采用所述神经网络模块，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征存储到跟踪上下文记录；
基于所述跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定所述当前检测图像对应的目标跟踪框；
采用HOG模块，获取所述目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对所述目标预测框和所述后序预测框进行特征提取，获取所述目标预测框对应的目标特征和所述后序预测框对应的目标特征；
采用FFT模块，采用FFT算法对所述目标预测框对应的目标特征和所述后序预测框对应的目标特征进行频域转换，获取所述目标预测框对应的频域特征和所述后序预测框对应的频域特征；
采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
进一步地，所述采用神经网络模块，获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像，包括：
采用所述神经网络模块，基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
进一步地，所述采用所述神经网络模块，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征存储到跟踪上下文记录，包括：
采用所述神经网络模块，采用目标检测算法对所述待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框；
采用所述神经网络模块，采用特征提取算法对每一所述当前检测框进行特征提取，获取所述当前检测框对应的目标特征；
采用所述神经网络模块，依据预设标识规则，生成所述当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征，作为跟踪特征信息存储到跟踪上下文记录。
进一步地，所述基于所述跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定所述当前检测图像对应的目标跟踪框，包括：
基于所述跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；
若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框，确定为所述当前检测图像对应的目标跟踪框；
若所述第一特征匹配值不大于所述第一匹配阈值，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
进一步地，所述跟踪上下文记录包括跟踪标识；
所述若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框，确定为所述当前检测图像对应的目标跟踪框，包括：若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将所述当前检测框确定为所述当前检测图像对应的目标跟踪框；
所述若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框，确定为所述当前检测图像对应的目标跟踪框，包括：若所述第一特征匹配值不大于第一匹配阈值，则将所述当前检测框对应的跟踪标识的当前状态确定为待匹配状态，更新所述当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若所述当前次数大于预设次数，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
进一步地，所述跟踪上下文记录包括跟踪框位置、跟踪框大小和目标类别；
所述采用HOG模块，获取所述目标跟踪框对应的目标预测框，包括：
采用所述HOG模块，根据前序检测框对应的跟踪框位置和所述目标跟踪框对应的跟踪框位置，获取所述目标跟踪框对应的初始移动速度；
采用所述HOG模块，根据前序检测框对应的跟踪框大小和所述目标跟踪框对应的跟踪框大小，获取所述目标跟踪框对应的初始变化速度；
采用所述HOG模块，基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
进一步地，所述采用HOG模块，获取所述目标跟踪框对应的目标预测框，还包括：
采用所述HOG模块，获取所述目标跟踪框对应的目标类别；
采用所述HOG模块，基于所述目标类别，确定预设修正参数；
采用所述HOG模块，基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
进一步地，所述采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果，包括：
采用匈牙利算法对所述目标预测框和所述后序预测框进行频域特征匹配计算，获取第二特征匹配值；
若第二特征匹配值大于第二匹配阈值，则将后序预测框对应的跟踪标识确定为匹配状态，获取目标跟踪结果为成功；
若第二特征匹配值不大于第二匹配阈值，则将后序预测框对应的跟踪标识确定为待匹配状态，获取目标跟踪结果为失败。
进一步地，其特征在于，所述多帧待检测图像，包括依据时间顺序排序的M帧待检测图像；
所述采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果之后，包括：
若所述当前检测图像为第M-1帧待检测图像，则执行采用神经网络模块，获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
若所述当前检测图像不为第M-1帧待检测图像，则执行采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
上述多目标跟踪系统及方法，在多目标跟踪系统对目标预测框和后序预测框的频域特征匹配时，采用HOG模块，通过HOG算法对目标预测框和后序预测框进行特征提取，并采用FFT模块，通过FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，由于HOG模块和FFT模块能够并行处理目标预测框和后序预测框的频域特征匹配过程中的数据，提高目标预测框和后序预测框的频域特征匹配速度，进而提高多目标跟踪的跟踪速度，以保证多目标跟踪的实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中多目标跟踪系统的一示意图；
图2是本发明一实施例中多目标跟踪方法的一流程图；
图3是本发明一实施例中多目标跟踪方法的另一流程图；
图4是本发明一实施例中多目标跟踪方法的另一流程图；
图5是本发明一实施例中多目标跟踪方法的另一流程图；
图6是本发明一实施例中多目标跟踪方法的另一流程图；
图7是本发明一实施例中多目标跟踪方法的另一流程图；
图8是本发明一实施例中多目标跟踪方法的另一流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种多目标跟踪系统，该多目标跟踪系统包括如图1所示的处理器模块10、神经网络模块20、HOG模块30和FFT模块40：处理器模块10分别与神经网络模块20、HOG模块30和FFT模块40相连；
神经网络模块20，用于获取待检测视频，从待检测视频中间隔获取多帧待检测图像。
其中，待检测视频为待检测的视频或视频帧序列。例如，待检测视频可以是一定视频帧长度的视频或视频流。待检测图像为待检测视频中的图像。
作为一示例，神经网络模块20获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，例如，待检测视频包括M帧待检测图像，神经网络模块20从M帧待检测图像中每间隔N帧获取至少一帧待检测图像。需要说明的是，待检测视频中待检测图像帧速一般为每秒25帧以上，如果服务器对每一帧待检测图像都进行检测，则计算量过大，会导致服务器过载，影响多目标跟踪的处理速度和待检测视频的接入路数。在本实施例中，服务器获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中多目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。
神经网络模块20，还用于采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录。
其中，特征提取算法为提取当前检测框中的跟踪目标的目标特征的算法。例如，特征提取算法包括但不限于HOG(histogram of Oriented Gradient,方向梯度直方图，简称HOG)算法、神经网络NN(neural network，神经网络，简称NN)算法和SIFT(Scale-invariantfeatures transform,尺度不变特征变换，简称SIFT)算法。优选地，特征提取算法可以是HOG算法，对待检测图像的几何和光学的形变上都能保持不变性。跟踪目标包括但不限于待检测图像中出现的物体，如人或车。当前检测图像为服务器当前正在检测的待检测图像。当前检测框为当前检测图像中的跟踪目标对应的检测框。目标特征为跟踪目标的特征。跟踪标识为用于自定的标识，用于对当前检测框进行标识。跟踪上下文记录为跟踪目标的信息集合。例如，跟踪上下文记录包括但不限于当前检测框对应的跟踪标识、当前检测框对应的检测框位置和当前检测框对应的目标特征等。
作为一示例，神经网络模块20采用HOG算法对当前检测图像中的当前检测框进行特征提取，获取当前检测框中的跟踪目标对应的目标特征。可以理解地，由于HOG算法对待检测图像的几何和光学的形变上都能保持不变性，采用HOG算法对当前检测图像中的当前检测框进行特征提取，能够提高当前检测框中的跟踪目标对应的目标特征的准确性，并且对计算能力要求较低，能够提高计算速度。
作为一示例，神经网络模块20获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录中。可以理解地，由于当前检测图像中的当前检测框可能有一个或者多个，若当前检测图像中存在多个当前检测框，为了避免后续对当前检测框进行跟踪时，将多个当前检测框混淆，神经网络模块20获取当前检测框对应的跟踪标识，需将跟踪标识和目标特征存储到跟踪上下文记录中，提高后续对跟踪目标进行跟踪的准确性和可靠性。
处理器模块10，用于基于跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框。
其中，目标跟踪框为当前检测框中，与前序检测框中的跟踪目标的目标特征相匹配的跟踪目标对应的检测框。前序检测图像为当前检测图像前一帧的待检测图像。前序检测框为前序检测图像中的跟踪目标对应的检测框。
作为一示例，由于跟踪上下文记录中包括前序检测框对应的目标特征和当前检测框对应的目标特征。处理器模块10根据当前检测框对应的目标特征和前序检测框对应的目标特征，检测当前检测框是否与前序检测框相匹配，也即是，当前检测框中的跟踪目标的目标特征是否与前序检测框的跟踪目标的目标特征相匹配，例如，处理器模块10可以采用匈牙利算法对当前检测框和前序检测框进行特征匹配。本示例中，处理器模块10将与前序检测框的目标特征相匹配的当前检测框，确定为当前检测图像中的目标跟踪框，以确定当前检测框与前序检测框是否具有关联性，提高多目标跟踪的准确性。例如，当前检测图像中包括当前检测框A，前序检测图像中包括前序检测框a，处理器模块10采用匈牙利算法对当前检测框A中的跟踪目标的目标特征与前序检测框a中的跟踪目标的目标特征进行特征匹配，获取特征匹配值；若特征匹配值大于匹配阈值，则将当前检测框A，确定为当前检测图像对应的目标跟踪框A，以便对目标跟踪框A中的跟踪目标进行跟踪。
需要说明的是，处理器模块10基于跟踪上下文记录，对当前检测框和前序检测框进行特征匹配，以确定当前检测图像对应的目标跟踪框，实现对目标跟踪框的跟踪目标进行跟踪，提高多目标跟踪的准确性。
HOG模块30，用于获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征；
FFT模块40，用于采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征；
处理器模块10，还用于采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
其中，后序检测图像为当前检测图像后一帧的待检测图像。后序预测框为对后序检测图像中的后续跟踪框进行预测的预测框。后序跟踪框为后序检测图像中确定的目标跟踪框。目标预测框为对目标跟踪框进行预测的预测框。目标跟踪结果为对目标预测框和后序预测框进行频域特征匹配后得到的结果。例如，目标跟踪结果包括成功或失败，若目标跟踪结果为成功，表示对目标跟踪框和后序预测框频域特征匹配成功，即目标跟踪框和后序预测框中检测到同一跟踪目标；反之，若目标跟踪结果为失败，表示对目标跟踪框和后序预测框频域特征匹配失败，即目标跟踪框和后序预测框中检测不到同一跟踪目标。
作为一示例，HOG模块30根据跟踪上下文记录获取目标跟踪框对应的目标预测框，例如，跟踪上下文记录包括跟踪框位置、跟踪框大小和目标跟踪框中的跟踪目标对应的目标类别。HOG模块30对根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置进行计算，获取目标跟踪框对应的初始移动速度。HOG模块30对前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度，对初始移动速度和初始变化速度进行计算，获取目标跟踪框对应的目标预测框。
作为另一示例，处理器模块10对目标预测框和后序预测框进行频域特征匹配，例如，HOG模块30采用特征提取算法提取目标预测框对应的目标特征和后序预测框对应的目标特征，FFT模块40采用频域特征转换算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域特征转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征，最后，处理器模块10采用匈牙利算法对目标预测框对应的频域特征和后序预测框对应的频域特征进行特征匹配，获取频域特征匹配值；若频域特征匹配值大于匹配阈值，获取目标跟踪结果为成功；若频域特征匹配值不大于匹配阈值，获取目标跟踪结果为失败。优选地，特征提取算法可以是HOG算法。频域特征转换算法具体可以是FFT(Fast FourierTransform，快速傅立叶变换，简称FFT)算法。需要说明的是，由于现有的多目标跟踪需要大量计算量的光流跟踪、引入深度学习特征的跟踪等。处理器模块10对目标预测框和后序预测框进行频域特征匹配，目的在减少计算量的同时，HOG模块30采用特征提取算法提取目标预测框对应的目标特征和后序预测框对应的目标特征，FFT模块40通过频域特征转换算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域特征转换，以及处理器模块10采用匈牙利算法对目标预测框对应的频域特征和后序预测框对应的频域特征进行特征匹配，提高多目标跟踪的跟踪速度和准确性。
在本实施例中，多目标跟踪系统包括处理器模块10、神经网络模块20、HOG模块30和FFT模块40：处理器模块10分别与神经网络模块20、HOG模块30和FFT模块40相连。神经网络模块20，用于获取待检测视频，从待检测视频中间隔获取多帧待检测图像，通过隔获取多帧待检测图像能够提高待检测视频中多目标跟踪的处理速度和增加可以处理的待检测视频的接入路数神经网络模块20，还用于采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录，根据当前检测框对应的跟踪标识对当前检测框进行跟踪，以避免后续对当前检测框进行跟踪时，将多个当前检测框混淆，提高后续对当前检测框进行跟踪的准确性和可靠性；处理器模块10，用于基于跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框；可以理解地，采用多目标跟踪系统中，处理器模块、神经网络模块、HOG模块30和FFT模块40这些底层硬件模块，对待检测图像中的跟踪目标进行跟踪，充分利用底层硬件的计算能力，并且，HOG模块30采用HOG算法对目标预测框和后序预测框进行特征提取，FFT模块40采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，处理器模块10再对目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果，替代现有的多目标跟踪需要大量计算量的光流跟踪、引入深度学习特征的跟踪等目标跟踪方式，减少计算量，以提高多目标跟踪的跟踪速度和准确性，以保证多目标跟踪的实时性。
在一实施例中，如图1所示，神经网络模块20，还用于基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像。
其中，间隔取帧规则为用户自定义是用于间隔选取待检测图像的规则。
作为一示例，间隔取帧规则可以是m+(n-m)，其中，n为取帧周期，即每n帧为一个周期，m为取帧帧数，且m帧是连续帧。例如，在不需要较高计算量情况下，对待检测视频进行获取一般需要连续获取至少2帧待检测图像，即m>＝2。例如，间隔取帧规则m+(n-m)中，取帧帧数为m＝2，且取帧周期n＝4，即间隔取帧规则为2+2，也即是，在取帧周期4内，前2帧确定为待检测图像，会被抽取，后2帧不确定为待检测图像，不会被抽取，如此，待检测图像的帧数量占待检测视频中的总帧数量的比例达到50％，无需对待检测视频中所有待检测图像进行处理，有助于提高处理速度。
优选地，作为另一示例，间隔取帧规则可以是2+(n-2)，其中，n为取帧周期，也即是，在取帧周期n内，仅获取2帧待检测图像。在2+(n-2)方式下，检测耗时是取帧周期检测的2/n，如n为5，待检测图像帧数占待检测视频帧数量的比例达到40％，可以进一步提高待检测视频处理速度和待检测视频接入路数。
在本实施例中，神经网络模块20基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。
在一实施例中，如图1所示，神经网络模块20，还用于采用目标检测算法对待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框；
神经网络模块20，还用于采用特征提取算法对每一当前检测框进行特征提取，获取当前检测框对应的目标特征；
神经网络模块20，还用于依据预设标识规则，生成当前检测框对应的跟踪标识，将跟踪标识和目标特征，作为跟踪特征信息存储到跟踪上下文记录。
其中，目标检测算法为对待检测图像进行检测的算法。例如，目标检测算法包括但不限于神经网络NN算法，以及其他能够对待检测图像进行检测的算法。预设标识规则为用于自定的标识规则，用于生成当前检测框对应的跟踪标识。跟踪标识为对待检测图像中的当前检测框进行标记的标识。跟踪特征信息为当前检测框对应的信息，包括跟踪标识和当前检测框中跟踪目标对应的目标特征。
作为一示例，神经网络模块20采用神经网络NN算法对待检测图像进行检测，获取当前检测图像中包括但不限于至少一个跟踪目标对应的当前检测框、跟踪目标对应的目标类别和目标特征等。其中，跟踪目标对应的目标类别在后续步骤中用于区别不同的跟踪目标，以使神经网络模块20分别对相同的目标类别对应的跟踪目标进行跟踪，避免跟踪目标的混淆，提高多目标跟踪的准确性和可靠性。
作为另一示例，神经网络模块20依据预设标识规则，生成当前检测框对应的跟踪标识，将跟踪标识和目标特征，作为跟踪特征信息存储到跟踪上下文记录。例如，预设标识规则可以是对至少一个跟踪目标对应的当前检测框分配跟踪ID，并将当前检测框对应的跟踪ID和目标特征作为跟踪特征信息存储到跟踪上下文记录。
优选地，预设标识规则可以是根据目标类别，对至少一个跟踪目标对应的当前检测框分配跟踪ID，并将当前检测框对应的目标类别、跟踪ID和目标特征作为跟踪特征信息存储到跟踪上下文记录，避免后续神经网络模块20对当前检测框进行跟踪时，将多个当前检测框混淆，提高后续对当前检测框进行跟踪的准确性和可靠性。
在本实施例中，神经网络模块20，还用于采用目标检测算法对待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框；神经网络模块20，还用于采用特征提取算法对每一当前检测框进行特征提取，获取当前检测框对应的目标特征；神经网络模块20，还用于依据预设标识规则，生成当前检测框对应的跟踪标识，将跟踪标识和目标特征，作为跟踪特征信息存储到跟踪上下文记录，避免后续神经网络模块20对当前检测框进行跟踪时，将多个当前检测框混淆，提高多目标跟踪的准确性和可靠性。
在一实施例中，如图1所示，处理器模块10，还用于基于跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；
处理器模块10，还用于若第一特征匹配值大于第一匹配阈值，则将当前检测框，确定为当前检测图像对应的目标跟踪框；
处理器模块10，还用于若第一特征匹配值不大于第一匹配阈值，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除。
其中，第一特征匹配值为对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配得到的值。第一匹配阈值为用户自定义设置的值。
作为一示例，跟踪上下文记录中包括当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征，例如，目标特征可以为HOG特征，服务器基于跟踪上下文记录，对当前检测框对应的HOG特征和前序检测框对应的HOG特征进行特征匹配，获取第一特征匹配值，处理器模块10通过将第一特征匹配值与第一匹配阈值进行比较，若第一特征匹配值大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较大，也即是，当前检测框和前序检测框检测的跟踪目标有极大可能为同一跟踪目标，则将当前检测框，确定为当前检测图像对应的目标跟踪框。若第一特征匹配值不大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较小，也即是，当前检测框和前序检测框检测的跟踪目标有极大可能不为同一跟踪目标，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在本实施例中，处理器模块10，还用于基于跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；处理器模块10，还用于若第一特征匹配值大于第一匹配阈值，则将当前检测框，确定为当前检测图像对应的目标跟踪框；处理器模块10，还用于若第一特征匹配值不大于第一匹配阈值，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除，对服务器的计算能力要求较小，提高确定跟踪目标的速度，同时能够避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图1所示，跟踪上下文记录包括跟踪标识；处理器模块10，还用于若第一特征匹配值大于第一匹配阈值，则将当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将当前检测框确定为当前检测图像对应的目标跟踪框；
处理器模块10，还用于若第一特征匹配值不大于第一匹配阈值，则将当前检测框对应的跟踪标识的当前状态确定为待匹配状态，更新当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若当前次数大于预设次数，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除。
其中，匹配状态为当第一特征匹配值大于第一匹配阈值时，跟踪标识的当前状态。待匹配状态为当第一特征匹配值不大于第一匹配阈值时，跟踪标识的当前状态。当前次数为当前检测框对应的跟踪标识的当前状态为待匹配状态的次数。预设次数为用户自定义设置的次数。
作为一示例，若第一特征匹配值大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较大，也即是，当前检测框和前序检测框检测的跟踪目标为同一跟踪目标，处理器模块10则将当前检测框对应的跟踪标识确定为匹配状态，并将当前检测框确定为当前检测图像对应的目标跟踪框，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。若第一特征匹配值不大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较小，也即是，当前检测框和前序检测框检测的跟踪目标不为同一跟踪目标，处理器模块10则将当前检测框对应的跟踪标识确定为待匹配状态，更新当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若当前次数大于预设次数，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除。可以理解地，跟踪标识的当前状态为待匹配状态的当前次数大于预设次数，则说明该跟踪标识对应的当前检测框中不存在与后序预测框中对应的跟踪目标，为了避免错误的跟踪目标进行跟踪，将跟踪上下文记录中，与跟踪标识的当前状态为待匹配状态对应的跟踪特征信息删除，提高对跟踪目标进行跟踪准确性。
作为另一示例，若当前次数不大于预设次数，神经网络模块20则采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录。
在本实施例中，若第一特征匹配值大于第一匹配阈值，处理器模块10则将当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将当前检测框确定为当前检测图像对应的目标跟踪框；若第一特征匹配值不大于第一匹配阈值，神经网络模块20则采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图1所示，跟踪上下文记录包括跟踪框位置、跟踪框大小和目标类别；
HOG模块30，还用于根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置，获取目标跟踪框对应的初始移动速度；
HOG模块30，还用于根据前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度；
HOG模块30，还用于基于预设预测时间，对初始移动速度和初始变化速度进行计算，获取目标跟踪框对应的目标预测框。
其中，初始移动速度为目标跟踪框的跟踪框位置的移动速度。初始变化速度为目标跟踪框的跟踪框大小的变化速度。目标类别为跟踪目标的类别。例如，跟踪目标类别包括人或车等。其中，预设预测时间为用户自定义设置的时间。预设预测时间与前述间隔取帧规则中的间隔时间相匹配。
作为一示例，HOG模块30根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置，获取目标跟踪框对应的初始移动速度；根据前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度。具体地，设有当前检测框A、前序检测框a和间隔帧数k。确认目标跟踪框后，在跟踪目标的运动轨迹上就有了间隔k帧的两个当前检测框A和前序检测框a，当前检测框A框有中心点坐标(XA，YA)和宽高(WA，HA)，前序检测框a有中心点坐标(Xa，Ya)和宽高(Wa，Ha)。目标跟踪框的初始移动速度是一个向量，在x轴和y轴各有一个速度分量，记为Vxy＝(Vx，Vy)；其中，Vx＝(XA-Xa)/k，Vy＝(YA-Ya)/k；目标跟踪框初始变化速度也有宽和高两个分量，记为Vwh＝(Vw，Vh)；其中Vw＝(WA-Wa)/k，Vh＝(HA-Ha)/k。
作为一示例，HOG模块30基于预设预测时间和初始移动速度，确定目标预测框位置，例如，预设预测时间乘以初始移动速度，得到目标预测框位置；基于预设预测时间和初始变化速度确定目标预测框大小，例如，预设预测时间乘以初始变化速度，也即是，预设预测时间分别乘以目标跟踪框的宽和高变化速度，得到目标预测框大小；根据目标预测框位置和目标预测框大小，确定当前检测图像对应的目标预测框。
在本实施例中，HOG模块30根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置，获取目标跟踪框对应的初始移动速度，根据前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度，以便对目标跟踪框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。HOG模块30基于预设预测时间，对初始移动速度和初始变化速度进行计算，预设预测时间乘以初始移动速度，得到目标预测框位置；预设预测时间乘以初始变化速度，得到目标预测框大小；根据目标预测框位置和目标预测框大小，确定当前检测图像对应的目标预测框，减少了确定目标预测框的计算量。
在一实施例中，如图1所示，HOG模块30，还用于获取目标跟踪框对应的目标类别；
HOG模块30，还用于基于目标类别，确定预设修正参数；
HOG模块30，还用于基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，获取目标跟踪框对应的目标预测框。
其中，预设修正参数为用户自定义设置的参数，用于对目标跟踪框对应的目标预测框进行调整。
具体地，神经网络模块20采用目标检测算法获取目标跟踪框对应的目标类别，目标检测算法为对目标跟踪框进行跟踪目标检测的算法。例如，目标检测算法可以是神经网络NN(neural network，简称NN)算法。HOG模块30基于预设修正参数、预设预测时间和初始移动速度，确定目标预测框对应的检测框位置；基于预设修正参数、预设预测时间和初始变化速度，确定目标预测框对应的检测框大小，根据目标预测框对应的检测框位置和检测框大小，确定当前检测图像对应的目标预测框。
需要说明的是，HOG模块30通过预设修正参数调整目标预测框变化快慢，使得目标预测框的变化快慢与目标类别相适配，例如，人脸一般较小，需调整目标预测框变化较慢；而车辆较大，需调整目标预测框变化较快。HOG模块30通过预设修正参数调整目标预测框变化快慢，使得目标预测框变化快慢与目标类别相适配，能够提高目标预测框的准确度，并更适用于多目标的跟踪场景。
在本实施例中，HOG模块30获取目标跟踪框对应的目标类别；基于目标类别，确定预设修正参数；基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，确定当前检测图像对应的目标预测框，能够提高目标预测框的准确度，并更适用于多目标的跟踪场景。
在一实施例中，如图1所示，处理器模块10，还用于采用匈牙利算法对目标预测框和后序预测框进行频域特征匹配计算，获取第二特征匹配值；
处理器模块10，还用于若第二特征匹配值大于第二匹配阈值，则将后序预测框对应的跟踪标识确定为匹配状态，获取目标跟踪结果为成功；
处理器模块10，还用于若第二特征匹配值不大于第二匹配阈值，则将后序预测框对应的跟踪标识确定为待匹配状态，获取目标跟踪结果为失败。
其中，第二特征匹配值为对当前检测框对应的目标特征和前序检测框对应的目标特征进行特征匹配得到的值。第二匹配阈值为用户自定义设置的值。
作为一示例，处理器模块10采用匈牙利算法对目标预测框和后序预测框进行频域特征匹配计算，获取第二特征匹配值，通过将第二特征匹配值与第二匹配阈值进行比较，若第二特征匹配值大于第二匹配阈值，说明目标预测框对应的频域特征和后序预测框对应的频域特征之间的特征相似度较大，也即是，当目标预测框和后序预测框的跟踪目标为同一跟踪目标，则将后序预测框对应跟踪标识确定为匹配状态，获取目标跟踪结果为成功。若第二特征匹配值不大于第二匹配阈值，说明目标预测框对应的频域特征和后序预测框对应的频域特征之间的特征相似度较小，也即是，目标预测框和后序预测框的跟踪目标不为同一跟踪目标，则将后序预测框对应跟踪标识确定为待匹配状态，获取目标跟踪结果为失败，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在本实施例中，处理器模块10采用匈牙利算法对目标预测框和后序预测框进行频域特征匹配计算，获取第二特征匹配值；若第二特征匹配值大于第二匹配阈值，则将后序预测框对应跟踪标识确定为匹配状态，获取目标跟踪结果为成功；若第二特征匹配值不大于第二匹配阈值，则将后序预测框对应跟踪标识确定为待匹配状态，获取目标跟踪结果为失败，对处理器模块10的计算能力要求较小，提高确定跟踪目标的速度，同时能够避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图1所示，多帧待检测图像,包括依据时间顺序排序的M帧待检测图像；
处理器模块10，还用于若当前检测图像为第M-1帧待检测图像，则执行获取待检测视频，从待检测视频中间隔获取多帧待检测图像；
处理器模块10，还用于若当前检测图像不为第M-1帧待检测图像，则执行获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，对目标预测框和后序预测框进行频域特征匹配，获取目标跟踪结果。
作为一示例，若处理器模块10判断当前检测图像是否为第M-1帧待检测图像，若当前检测图像为第M-1帧待检测图像，神经网络模块20获取待检测视频，从待检测视频中间隔获取多帧待检测图像，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录；处理器模块10基于跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框；HOG模块30获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征；FFT模块40采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征；处理器模块10采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。若当前检测图像不为第M-1帧待检测图像，HOG模块30获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征；FFT模块40采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征；处理器模块10采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果，能够在减少目标跟踪过程中的计算量的同时，保证目标跟踪过程中的实时性。
在一实施例中，如图2所示，提供一种多目标跟踪方法，应用于图1所示的多目标跟踪系统中，包括处理器模块10执行的步骤：
S11：采用神经网络模块，获取待检测视频，从待检测视频中间隔获取多帧待检测图像。
作为一示例，处理器模块10采用神经网络模块20获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，例如，待检测视频包括M帧待检测图像，服务器从M帧待检测图像中每间隔N帧获取至少一帧待检测图像。需要说明的是，待检测视频中待检测图像帧速一般为每秒25帧以上，如果神经网络模块20对每一帧待检测图像都进行检测，则计算量过大，会导致服务器过载，影响多目标跟踪的处理速度和待检测视频的接入路数。在本实施例中，神经网络模块20获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中多目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。
S12：采用神经网络模块，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录。
作为一示例，处理器模块10采用神经网络模块20，采用HOG算法对当前检测图像中的当前检测框进行特征提取，获取当前检测框中的跟踪目标对应的目标特征。可以理解地，由于HOG算法对待检测图像的几何和光学的形变上都能保持不变性，采用HOG算法对当前检测图像中的当前检测框进行特征提取，能够提高当前检测框中的跟踪目标对应的目标特征的准确性，并且对计算能力要求较低，能够提高计算速度。
作为一示例，神经网络模块20获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录中。可以理解地，由于当前检测图像中的当前检测框可能有一个或者多个，若当前检测图像中存在多个当前检测框，为了避免后续对当前检测框进行跟踪时，将多个当前检测框混淆，神经网络模块20获取当前检测框对应的跟踪标识，需将跟踪标识和目标特征存储到跟踪上下文记录中，提高后续对跟踪目标进行跟踪的准确性和可靠性。
S13：基于跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框。
作为一示例，由于跟踪上下文记录中包括前序检测框对应的目标特征和当前检测框对应的目标特征。处理器模块10根据当前检测框对应的目标特征和前序检测框对应的目标特征，检测当前检测框是否与前序检测框相匹配，也即是，当前检测框中的跟踪目标的目标特征是否与前序检测框的跟踪目标的目标特征相匹配，例如，处理器模块10可以采用匈牙利算法对当前检测框和前序检测框进行特征匹配。本示例中，处理器模块10将与前序检测框的目标特征相匹配的当前检测框，确定为当前检测图像中的目标跟踪框，以确定当前检测框与前序检测框是否具有关联性，提高多目标跟踪的准确性。例如，当前检测图像中包括当前检测框A，前序检测图像中包括前序检测框a，处理器模块10采用匈牙利算法对当前检测框A中的跟踪目标的目标特征与前序检测框a中的跟踪目标的目标特征进行特征匹配，获取特征匹配值；若特征匹配值大于匹配阈值，则将当前检测框A，确定为当前检测图像对应的目标跟踪框A，以便对目标跟踪框A中的跟踪目标进行跟踪。
需要说明的是，处理器模块10基于跟踪上下文记录，对当前检测框和前序检测框进行特征匹配，以确定当前检测图像对应的目标跟踪框，实现对目标跟踪框的跟踪目标进行跟踪，提高多目标跟踪的准确性。
S14：采用HOG模块，获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征。
S15：采用FFT模块，采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征。
S16：采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
作为一示例，HOG模块30根据跟踪上下文记录获取目标跟踪框对应的目标预测框，例如，跟踪上下文记录包括跟踪框位置、跟踪框大小和目标跟踪框中的跟踪目标对应的目标类别。HOG模块30对根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置进行计算，获取目标跟踪框对应的初始移动速度。HOG模块30对前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度，对初始移动速度和初始变化速度进行计算，获取目标跟踪框对应的目标预测框。
作为另一示例，处理器模块10对目标预测框和后序预测框进行频域特征匹配，例如，HOG模块30采用特征提取算法提取目标预测框对应的目标特征和后序预测框对应的目标特征，FFT模块40采用频域特征转换算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域特征转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征，最后，处理器模块10采用匈牙利算法对目标预测框对应的频域特征和后序预测框对应的频域特征进行特征匹配，获取频域特征匹配值；若频域特征匹配值大于匹配阈值，获取目标跟踪结果为成功；若频域特征匹配值不大于匹配阈值，获取目标跟踪结果为失败。优选地，特征提取算法可以是HOG算法。频域特征转换算法具体可以是FFT(Fast FourierTransform，快速傅立叶变换，简称FFT)算法。需要说明的是，由于现有的多目标跟踪需要大量计算量的光流跟踪、引入深度学习特征的跟踪等。处理器模块10对目标预测框和后序预测框进行频域特征匹配，目的在减少计算量的同时，HOG模块30采用特征提取算法提取目标预测框对应的目标特征和后序预测框对应的目标特征，FFT模块40通过频域特征转换算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域特征转换，以及处理器模块10采用匈牙利算法对目标预测框对应的频域特征和后序预测框对应的频域特征进行特征匹配，提高多目标跟踪的跟踪速度和准确性。
在本实施例中，处理器模块10采用神经网络模块20，获取待检测视频，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中多目标跟踪的处理速度和增加可以处理的待检测视频的接入路数；采用神经网络模块20，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录，避免后续对当前检测框进行跟踪时，将多个当前检测框混淆，提高后续对当前检测框进行跟踪的准确性和可靠性；基于跟踪上下文记录，对当前检测框和前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框，以确定当前检测图像对应的目标跟踪框，实现对目标跟踪框的跟踪目标进行跟踪，提高多目标跟踪的准确性；采用HOG模块30，获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征；采用FFT模块40，采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征；采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果，在减少计算量的同时，提高多目标跟踪的跟踪速度和准确性，以保证多目标跟踪的实时性。
在一实施例中，步骤S11中，即采用神经网络模块，获取待检测视频，从待检测视频中间隔获取多帧待检测图像，包括：采用神经网络模块，基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像。
作为一示例，间隔取帧规则可以是m+(n-m)，其中，n为取帧周期，即每n帧为一个周期，m为取帧帧数，且m帧是连续帧。例如，在不需要较高计算量情况下，对待检测视频进行获取一般需要连续获取至少2帧待检测图像，即m>＝2。例如，间隔取帧规则m+(n-m)中，取帧帧数为m＝2，且取帧周期n＝4，即间隔取帧规则为2+2，也即是，在取帧周期4内，前2帧确定为待检测图像，会被抽取，后2帧不确定为待检测图像，不会被抽取，如此，待检测图像的帧数量占待检测视频中的总帧数量的比例达到50％，无需对待检测视频中所有待检测图像进行处理，有助于提高处理速度。
优选地，作为另一示例，间隔取帧规则可以是2+(n-2)，其中，n为取帧周期，也即是，在取帧周期n内，仅获取2帧待检测图像。在2+(n-2)方式下，检测耗时是取帧周期检测的2/n，如n为5，待检测图像帧数占待检测视频帧数量的比例达到40％，可以进一步提高待检测视频处理速度和待检测视频接入路数。
在本实施例中，处理器模块10采用神经网络模块20，基于间隔取帧规则，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。
在一实施例中，如图3所示，步骤S12中，采用神经网络模块，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录，包括：
S21：采用神经网络模块，采用目标检测算法对待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框。
S22：采用神经网络模块，采用特征提取算法对每一当前检测框进行特征提取，获取当前检测框对应的目标特征。
S23：采用神经网络模块，依据预设标识规则，生成当前检测框对应的跟踪标识，将跟踪标识和目标特征，作为跟踪特征信息存储到跟踪上下文记录。
作为一示例，处理器模块10采用神经网络模块20，采用神经网络NN算法对待检测图像进行检测，获取当前检测图像中包括但不限于至少一个跟踪目标对应的当前检测框、跟踪目标对应的目标类别和目标特征等。其中，跟踪目标对应的目标类别在后续步骤中用于区别不同的跟踪目标，以使处理器模块10分别对相同的目标类别对应的跟踪目标进行跟踪，避免跟踪目标的混淆，提高多目标跟踪的准确性和可靠性。
作为另一示例，处理器模块10采用神经网络模块20，依据预设标识规则，生成当前检测框对应的跟踪标识，将跟踪标识和目标特征，作为跟踪特征信息存储到跟踪上下文记录。例如，预设标识规则可以是对至少一个跟踪目标对应的当前检测框分配跟踪ID，并将当前检测框对应的跟踪ID和目标特征作为跟踪特征信息存储到跟踪上下文记录。
优选地，预设标识规则可以是根据目标类别，对至少一个跟踪目标对应的当前检测框分配跟踪ID，并将当前检测框对应的目标类别、跟踪ID和目标特征作为跟踪特征信息存储到跟踪上下文记录，避免后续对当前检测框进行跟踪时，将多个当前检测框混淆，提高后续对当前检测框进行跟踪的准确性和可靠性。
在本实施例中，处理器模块10采用神经网络模块20，采用目标检测算法对待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框采用神经网络模块20，采用特征提取算法对每一当前检测框进行特征提取，获取当前检测框对应的目标特征采用神经网络模块20，依据预设标识规则，生成当前检测框对应的跟踪标识，将跟踪标识和目标特征，作为跟踪特征信息存储到跟踪上下文记录，避免后续对当前检测框进行跟踪时，将多个当前检测框混淆，提高后续对当前检测框进行跟踪的准确性和可靠性。
在一实施例中，如图4所示，步骤S13中，基于跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框，包括：
S31：基于跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值。
S32：若第一特征匹配值大于第一匹配阈值，则将当前检测框，确定为当前检测图像对应的目标跟踪框。
S33：若第一特征匹配值不大于第一匹配阈值，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除。
作为一示例，跟踪上下文记录中包括当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征，例如，目标特征可以为HOG特征，服务器基于跟踪上下文记录，对当前检测框对应的HOG特征和前序检测框对应的HOG特征进行特征匹配，获取第一特征匹配值，处理器模块10通过将第一特征匹配值与第一匹配阈值进行比较，若第一特征匹配值大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较大，也即是，当前检测框和前序检测框检测的跟踪目标有极大可能为同一跟踪目标，则将当前检测框，确定为当前检测图像对应的目标跟踪框。若第一特征匹配值不大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较小，也即是，当前检测框和前序检测框检测的跟踪目标有极大可能不为同一跟踪目标，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在本实施例中，处理器模块10基于跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；若第一特征匹配值大于第一匹配阈值，则将当前检测框，确定为当前检测图像对应的目标跟踪框；若第一特征匹配值不大于第一匹配阈值，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除，对服务器的计算能力要求较小，提高确定跟踪目标的速度，同时能够避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，步骤S32中和S33，若第一特征匹配值大于第一匹配阈值，则将当前检测框，确定为当前检测图像对应的目标跟踪框，包括：若第一特征匹配值大于第一匹配阈值，则将当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将当前检测框确定为当前检测图像对应的目标跟踪框；若第一特征匹配值大于第一匹配阈值，则将当前检测框，确定为当前检测图像对应的目标跟踪框，包括：若第一特征匹配值不大于第一匹配阈值，则将当前检测框对应的跟踪标识的当前状态确定为待匹配状态，更新当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若当前次数大于预设次数，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除。
作为一示例，若第一特征匹配值大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较大，也即是，当前检测框和前序检测框检测的跟踪目标为同一跟踪目标，处理器模块10则将当前检测框对应的跟踪标识确定为匹配状态，并将当前检测框确定为当前检测图像对应的目标跟踪框，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。若第一特征匹配值不大于第一匹配阈值，说明当前检测框则对应的目标特征和前序检测框对应的目标特征之间的特征相似度较小，也即是，当前检测框和前序检测框检测的跟踪目标不为同一跟踪目标，处理器模块10则将当前检测框对应的跟踪标识确定为待匹配状态，更新当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若当前次数大于预设次数，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除。可以理解地，跟踪标识的当前状态为待匹配状态的当前次数大于预设次数，则说明该跟踪标识对应的当前检测框中不存在与后序预测框中对应的跟踪目标，为了避免错误的跟踪目标进行跟踪，将跟踪上下文记录中，与跟踪标识的当前状态为待匹配状态对应的跟踪特征信息删除，提高对跟踪目标进行跟踪准确性。
作为另一示例，若当前次数不大于预设次数，则继续执行步骤S12，为避免重复，这里不再赘述。
在本实施例中，若第一特征匹配值大于第一匹配阈值，处理器模块10则将当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将当前检测框确定为当前检测图像对应的目标跟踪框；若第一特征匹配值不大于第一匹配阈值，处理器模块10则将当前检测框对应的跟踪标识的当前状态确定为待匹配状态，更新当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若当前次数大于预设次数，则将跟踪上下文记录中，与当前检测框相对应的跟踪特征信息删除，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图5所示，跟踪上下文记录包括跟踪框位置、跟踪框大小和目标类别，步骤S14中，采用HOG模块，获取目标跟踪框对应的目标预测框，包括：
S41：采用HOG模块，根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置，获取目标跟踪框对应的初始移动速度。
S42：采用HOG模块，根据前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度。
S43:采用HOG模块，基于预设预测时间，对初始移动速度和初始变化速度进行计算，获取目标跟踪框对应的目标预测框。
作为一示例，HOG模块30根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置，获取目标跟踪框对应的初始移动速度；根据前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度。具体地，设有当前检测框A、前序检测框a和间隔帧数k。确认目标跟踪框后，在跟踪目标的运动轨迹上就有了间隔k帧的两个当前检测框A和前序检测框a，当前检测框A框有中心点坐标(XA，YA)和宽高(WA，HA)，前序检测框a有中心点坐标(Xa，Ya)和宽高(Wa，Ha)。目标跟踪框的初始移动速度是一个向量，在x轴和y轴各有一个速度分量，记为Vxy＝(Vx，Vy)；其中，Vx＝(XA-Xa)/k，Vy＝(YA-Ya)/k；目标跟踪框初始变化速度也有宽和高两个分量，记为Vwh＝(Vw，Vh)；其中Vw＝(WA-Wa)/k，Vh＝(HA-Ha)/k。
作为一示例，处理器模块10采用HOG模块30，基于预设预测时间和初始移动速度，确定目标预测框位置，例如，预设预测时间乘以初始移动速度，得到目标预测框位置；基于预设预测时间和初始变化速度确定目标预测框大小，例如，预设预测时间乘以初始变化速度，也即是，预设预测时间分别乘以目标跟踪框的宽和高变化速度，得到目标预测框大小；根据目标预测框位置和目标预测框大小，确定当前检测图像对应的目标预测框。
在本实施例中，处理器模块10采用HOG模块30，根据前序检测框对应的跟踪框位置和目标跟踪框对应的跟踪框位置，获取目标跟踪框对应的初始移动速度，根据前序检测框对应的跟踪框大小和目标跟踪框对应的跟踪框大小，获取目标跟踪框对应的初始变化速度，以便对目标跟踪框中的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。处理器模块10采用HOG模块30基于预设预测时间，对初始移动速度和初始变化速度进行计算，预设预测时间乘以初始移动速度，得到目标预测框位置；预设预测时间乘以初始变化速度，得到目标预测框大小；根据目标预测框位置和目标预测框大小，确定当前检测图像对应的目标预测框，减少了确定目标预测框的计算量。
在一实施例中，如图6所示，步骤S14中，采用HOG模块，获取目标跟踪框对应的目标预测框，还包括：
S51：采用HOG模块，获取目标跟踪框对应的目标类别。
S52：采用HOG模块，基于目标类别，确定预设修正参数。
S53：采用HOG模块，基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，获取目标跟踪框对应的目标预测框。
在本实施例中，处理器模块10采用HOG模块30，获取目标跟踪框对应的目标类别；基于目标类别，确定预设修正参数；基于预设修正参数，对预设预测时间、初始移动速度和初始变化速度进行计算，确定当前检测图像对应的目标预测框，能够提高目标预测框的准确度，并更适用于多目标的跟踪场景。
在一实施例中，如图7所示，步骤S73中，采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果，包括：
S61：采用匈牙利算法对目标预测框和后序预测框进行频域特征匹配计算，获取第二特征匹配值。
S62：若第二特征匹配值大于第二匹配阈值，则将后序预测框对应跟踪标识确定为匹配状态，获取目标跟踪结果为成功。
S63：若第二特征匹配值不大于第二匹配阈值，则将后序预测框对应跟踪标识确定为待匹配状态，获取目标跟踪结果为失败。
作为一示例，处理器模块10采用匈牙利算法对目标预测框和后序预测框进行频域特征匹配计算，获取第二特征匹配值，通过将第二特征匹配值与第二匹配阈值进行比较，若第二特征匹配值大于第二匹配阈值，说明目标预测框对应的频域特征和后序预测框对应的频域特征之间的特征相似度较大，也即是，当目标预测框和后序预测框的跟踪目标为同一跟踪目标，则将后序预测框对应跟踪标识确定为匹配状态，获取目标跟踪结果为成功。若第二特征匹配值不大于第二匹配阈值，说明目标预测框对应的频域特征和后序预测框对应的频域特征之间的特征相似度较小，也即是，目标预测框和后序预测框的跟踪目标不为同一跟踪目标，则将后序预测框对应跟踪标识确定为待匹配状态，获取目标跟踪结果为失败，避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在本实施例中，处理器模块10采用匈牙利算法对目标预测框和后序预测框进行频域特征匹配计算，获取第二特征匹配值；若第二特征匹配值大于第二匹配阈值，则将后序预测框对应跟踪标识确定为匹配状态，获取目标跟踪结果为成功；若第二特征匹配值不大于第二匹配阈值，则将后序预测框对应跟踪标识确定为待匹配状态，获取目标跟踪结果为失败，对服务器的计算能力要求较小，提高确定跟踪目标的速度，同时能够避免对错误的跟踪目标进行跟踪，提高对跟踪目标进行跟踪准确性。
在一实施例中，如图8所示，多帧待检测图像,包括依据时间顺序排序的M帧待检测图像，步骤S14之后，获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，对目标预测框和后序预测框进行频域特征匹配，获取目标跟踪结果之后，包括：
S81：若当前检测图像为第M-1帧待检测图像，则执行获取待检测视频，从待检测视频中间隔获取多帧待检测图像。
S82：若当前检测图像不为第M-1帧待检测图像，则执行获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，对目标预测框和后序预测框进行频域特征匹配，获取目标跟踪结果。
作为一示例，若处理器模块10判断当前检测图像是否为第M-1帧待检测图像，若当前检测图像为第M-1帧待检测图像，神经网络模块20获取待检测视频，从待检测视频中间隔获取多帧待检测图像，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将跟踪标识和目标特征存储到跟踪上下文记录；处理器模块10基于跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定当前检测图像对应的目标跟踪框；HOG模块30获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征；FFT模块40采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征；处理器模块10采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。若当前检测图像不为第M-1帧待检测图像，HOG模块30获取目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对目标预测框和后序预测框进行特征提取，获取目标预测框对应的目标特征和后序预测框对应的目标特征；FFT模块40采用FFT算法对目标预测框对应的目标特征和后序预测框对应的目标特征进行频域转换，获取目标预测框对应的频域特征和后序预测框对应的频域特征；处理器模块10采用匈牙利算法目标预测框对应的频域特征和后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果，能够在减少目标跟踪过程中的计算量的同时，保证目标跟踪过程中的实时性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (15)

1.一种多目标跟踪系统，其特征在于，所述多目标跟踪系统包括处理器模块、神经网络模块、HOG模块和FFT模块：所述处理器模块分别与所述神经网络模块、所述HOG模块和所述FFT模块相连；
所述神经网络模块，用于获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
所述神经网络模块，还用于采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征存储到跟踪上下文记录；
所述处理器模块，用于基于所述跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定所述当前检测图像对应的目标跟踪框；
所述HOG模块，用于获取所述目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对所述目标预测框和所述后序预测框进行特征提取，获取所述目标预测框对应的目标特征和所述后序预测框对应的目标特征；
所述FFT模块，用于采用FFT算法对所述目标预测框对应的目标特征和所述后序预测框对应的目标特征进行频域转换，获取所述目标预测框对应的频域特征和所述后序预测框对应的频域特征；
所述处理器模块，还用于采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
2.如权利要求1所述的多目标跟踪系统，其特征在于，所述神经网络模块，还用于基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
3.如权利要求1所述的多目标跟踪系统，其特征在于，所述神经网络模块，还用于采用目标检测算法对所述待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框；
所述神经网络模块，还用于采用特征提取算法对每一所述当前检测框进行特征提取，获取所述当前检测框对应的目标特征；
所述神经网络模块，还用于依据预设标识规则，生成所述当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征，作为跟踪特征信息存储到跟踪上下文记录。
4.如权利要求1所述的多目标跟踪系统，其特征在于，所述处理器模块，还用于基于所述跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；
所述处理器模块，还用于若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框，确定为所述当前检测图像对应的目标跟踪框；
所述处理器模块，还用于若所述第一特征匹配值不大于所述第一匹配阈值，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
5.如权利要求4所述的多目标跟踪系统，其特征在于，所述跟踪上下文记录包括跟踪标识；
所述处理器模块，还用于若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框对应的跟踪标识的当前状态确定为匹配状态，并将所述当前检测框确定为所述当前检测图像对应的目标跟踪框；
所述处理器模块，还用于若所述第一特征匹配值不大于第一匹配阈值，则将所述当前检测框对应的跟踪标识的当前状态确定为待匹配状态，更新所述当前检测框对应的跟踪标识的当前状态为待匹配状态的当前次数，若所述当前次数大于预设次数，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
6.如权利要求1所述的多目标跟踪系统，其特征在于，所述跟踪上下文记录包括跟踪框位置、跟踪框大小和目标类别；
所述HOG模块，还用于根据前序检测框对应的跟踪框位置和所述目标跟踪框对应的跟踪框位置，获取所述目标跟踪框对应的初始移动速度；
所述HOG模块，还用于根据前序检测框对应的跟踪框大小和所述目标跟踪框对应的跟踪框大小，获取所述目标跟踪框对应的初始变化速度；
所述HOG模块，还用于基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
7.如权利要求6所述的多目标跟踪系统，其特征在于，所述HOG模块，还用于获取所述目标跟踪框对应的目标类别；
所述HOG模块，还用于基于所述目标类别，确定预设修正参数；
所述HOG模块，还用于基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
8.如权利要求1至7任一项所述的多目标跟踪系统，其特征在于，所述多帧待检测图像，包括依据时间顺序排序的M帧待检测图像；
所述处理器模块，还用于若所述当前检测图像为第M-1帧待检测图像，则执行所述获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
所述处理器模块，还用于若所述当前检测图像不为第M-1帧待检测图像，则执行所述获取所述目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，对所述目标预测框和所述后序预测框进行频域特征匹配，获取目标跟踪结果。
9.一种多目标跟踪方法，其特征在于，应用于多目标跟踪系统中，包括处理器模块执行的步骤：
采用神经网络模块，获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
采用所述神经网络模块，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征存储到跟踪上下文记录；
基于所述跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定所述当前检测图像对应的目标跟踪框；
采用HOG模块，获取所述目标跟踪框对应的目标预测框，并获取后序检测图像对应的后序预测框，采用HOG算法对所述目标预测框和所述后序预测框进行特征提取，获取所述目标预测框对应的目标特征和所述后序预测框对应的目标特征；
采用FFT模块，采用FFT算法对所述目标预测框对应的目标特征和所述后序预测框对应的目标特征进行频域转换，获取所述目标预测框对应的频域特征和所述后序预测框对应的频域特征；
采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
10.如权利要求9所述的多目标跟踪方法，其特征在于，所述采用神经网络模块，获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像，包括：
采用所述神经网络模块，基于间隔取帧规则，从所述待检测视频中间隔获取多帧待检测图像。
11.如权利要求9所述的多目标跟踪方法，其特征在于，所述采用所述神经网络模块，采用特征提取算法，对当前检测图像中的当前检测框进行特征提取，获取当前检测框对应的目标特征，并获取当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征存储到跟踪上下文记录，包括：
采用所述神经网络模块，采用目标检测算法对所述待检测图像进行检测，获取至少一个跟踪目标对应的当前检测框；
采用所述神经网络模块，采用特征提取算法对每一所述当前检测框进行特征提取，获取所述当前检测框对应的目标特征；
采用所述神经网络模块，依据预设标识规则，生成所述当前检测框对应的跟踪标识，将所述跟踪标识和所述目标特征，作为跟踪特征信息存储到跟踪上下文记录。
12.如权利要求9所述的多目标跟踪方法，其特征在于，所述基于所述跟踪上下文记录，对当前检测框和前序检测图像对应的前序检测框进行特征匹配，确定所述当前检测图像对应的目标跟踪框，包括：
基于所述跟踪上下文记录，对当前检测框对应的目标特征和前序检测图像对应的前序检测框对应的目标特征进行特征匹配，获取第一特征匹配值；
若所述第一特征匹配值大于第一匹配阈值，则将所述当前检测框，确定为所述当前检测图像对应的目标跟踪框；
若所述第一特征匹配值不大于所述第一匹配阈值，则将跟踪上下文记录中，与所述当前检测框相对应的跟踪特征信息删除。
13.如权利要求9所述的多目标跟踪方法，其特征在于，所述跟踪上下文记录包括跟踪框位置、跟踪框大小和目标类别；
所述采用HOG模块，获取所述目标跟踪框对应的目标预测框，包括：
采用所述HOG模块，根据前序检测框对应的跟踪框位置和所述目标跟踪框对应的跟踪框位置，获取所述目标跟踪框对应的初始移动速度；
采用所述HOG模块，根据前序检测框对应的跟踪框大小和所述目标跟踪框对应的跟踪框大小，获取所述目标跟踪框对应的初始变化速度；
采用所述HOG模块，基于预设预测时间，对所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
14.如权利要求13所述的多目标跟踪方法，其特征在于，所述采用HOG模块，获取所述目标跟踪框对应的目标预测框，还包括：
采用所述HOG模块，获取所述目标跟踪框对应的目标类别；
采用所述HOG模块，基于所述目标类别，确定预设修正参数；
采用所述HOG模块，基于所述预设修正参数，对所述预设预测时间、所述初始移动速度和所述初始变化速度进行计算，获取所述目标跟踪框对应的目标预测框。
15.如权利要求10至14任一项所述的多目标跟踪方法，其特征在于，所述多帧待检测图像，包括依据时间顺序排序的M帧待检测图像；
所述采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果之后，包括：
若所述当前检测图像为第M-1帧待检测图像，则执行采用神经网络模块，获取待检测视频，从所述待检测视频中间隔获取多帧待检测图像；
若所述当前检测图像不为第M-1帧待检测图像，则执行采用匈牙利算法所述目标预测框对应的频域特征和所述后序预测框对应的频域特征进行频域特征匹配，获取目标跟踪结果。
CN202011641268.5A 2020-12-31 2020-12-31 多目标跟踪系统及方法 Pending CN112668524A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011641268.5A CN112668524A (zh) 2020-12-31 2020-12-31 多目标跟踪系统及方法
PCT/CN2021/133507 WO2022142918A1 (zh) 2020-12-31 2021-11-26 多目标跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641268.5A CN112668524A (zh) 2020-12-31 2020-12-31 多目标跟踪系统及方法

Publications (1)

Publication Number Publication Date
CN112668524A true CN112668524A (zh) 2021-04-16

Family

ID=75413950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641268.5A Pending CN112668524A (zh) 2020-12-31 2020-12-31 多目标跟踪系统及方法

Country Status (2)

Country Link
CN (1) CN112668524A (zh)
WO (1) WO2022142918A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096155A (zh) * 2021-04-21 2021-07-09 青岛海信智慧生活科技股份有限公司 一种社区多特征融合的目标跟踪方法及装置
WO2022142918A1 (zh) * 2020-12-31 2022-07-07 深圳云天励飞技术股份有限公司 多目标跟踪系统及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965657B (zh) * 2023-02-28 2023-06-02 安徽蔚来智驾科技有限公司 目标跟踪方法、电子设备、存储介质及车辆
CN116758119B (zh) * 2023-06-27 2024-04-19 重庆比特数图科技有限公司 基于运动补偿、联动的多目标循环检测跟踪方法及系统
CN117934872B (zh) * 2024-01-29 2024-09-13 湘潭大学 一种基于DeepSORT的受扰动莲蓬目标连续跟踪方法
CN117953015B (zh) * 2024-03-26 2024-07-09 武汉工程大学 基于视频超分辨率多行人跟踪方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
US20190304105A1 (en) * 2018-04-03 2019-10-03 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质
CN112668524A (zh) * 2020-12-31 2021-04-16 深圳云天励飞技术股份有限公司 多目标跟踪系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
US20190304105A1 (en) * 2018-04-03 2019-10-03 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142918A1 (zh) * 2020-12-31 2022-07-07 深圳云天励飞技术股份有限公司 多目标跟踪系统及方法
CN113096155A (zh) * 2021-04-21 2021-07-09 青岛海信智慧生活科技股份有限公司 一种社区多特征融合的目标跟踪方法及装置

Also Published As

Publication number Publication date
WO2022142918A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112668524A (zh) 多目标跟踪系统及方法
CN110516556B (zh) 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
WO2022127180A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
US11836931B2 (en) Target detection method, apparatus and device for continuous images, and storage medium
CN110197502B (zh) 一种基于身份再识别的多目标跟踪方法及系统
CN113012203A (zh) 一种复杂背景下高精度多目标跟踪方法
Al-Shakarji et al. Multi-object tracking cascade with multi-step data association and occlusion handling
CN110008867A (zh) 一种基于人物异常行为的预警方法、装置及存储介质
CN106971401B (zh) 多目标跟踪装置和方法
EP1542155A1 (en) Object detection
CN111626194B (zh) 一种使用深度关联度量的行人多目标跟踪方法
CN112529942A (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN111508002A (zh) 一种小型低飞目标视觉检测跟踪系统及其方法
CN110349187A (zh) 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
EP1542153A1 (en) Object detection
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
EP1542154A2 (en) Object detection
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN113191180A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113987243A (zh) 一种图像聚档方法、图像聚档装置和计算机可读存储介质
CN111444817A (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN116330658B (zh) 基于深度图像的目标跟踪方法、装置、系统及摄像设备
CN117011341A (zh) 基于目标追踪的车辆轨迹检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination