CN112750146B - 目标对象跟踪方法和装置、存储介质及电子设备 - Google Patents

目标对象跟踪方法和装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112750146B
CN112750146B CN202011641157.4A CN202011641157A CN112750146B CN 112750146 B CN112750146 B CN 112750146B CN 202011641157 A CN202011641157 A CN 202011641157A CN 112750146 B CN112750146 B CN 112750146B
Authority
CN
China
Prior art keywords
target
target object
frame image
determining
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011641157.4A
Other languages
English (en)
Other versions
CN112750146A (zh
Inventor
柴宏伟
余言勋
王耀农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011641157.4A priority Critical patent/CN112750146B/zh
Publication of CN112750146A publication Critical patent/CN112750146A/zh
Application granted granted Critical
Publication of CN112750146B publication Critical patent/CN112750146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标对象跟踪方法和装置、存储介质及电子设备。其中，该方法包括：通过根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹，达到了根据平移滤波器获取的响应图确定目标视频中每帧图像中目标对象的位置信息的目的，从而实现了根据平移滤波器响应图确定目标对象位置信息的技术效果，进而解决了现有技术中，在复杂场景中目标对象跟踪不精确的技术问题。

Description

目标对象跟踪方法和装置、存储介质及电子设备
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种目标对象跟踪方法和装置、存储介质及电子设备。
背景技术
随着计算机视觉技术的不断成熟，目标检测、目标跟踪等相关方法越来越广泛的应用于国防、教育、金融等领域。其中，空对地车辆跟踪问题一直是安防领域关注的焦点技术，利用计算机视觉技术可以有效提升空对地车辆跟踪的性能。
现有技术中，专利1：一种基于相关滤波的目标长时跟踪方法，CN110211157A.其设计的主要缺点是跟踪过程中目标方向发生变化时容易引起模型漂移；该方法采用的动态学习率仅与响应图的最大值相关，忽略了响应图的整体分布信息；当目标方向尺度发生变化时在线检测器的性能会受到影响。专利2：基于KCF的无人机跟踪方法，CN111179313A.其设计的主要缺点是其设计的跟踪过程中目标方向发生变化时容易引起模型漂移，同时当目标丢失时缺乏有效的重捕获策略。
目前生成式方法建模时不与背景发生关联，这样在复杂场景中很容易造成目标丢失的情况。基于孪生网络的目标跟踪算法，模型复杂，跟踪过程中计算量大，同时缺乏合理的模型在线更新策略和目标重捕获策略。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象跟踪方法和装置、存储介质及电子设备，以至少解决现有技术中，在复杂场景中目标对象跟踪不精确的技术问题。
根据本发明实施例的一个方面，提供了一种目标对象跟踪方法，包括：根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据平移滤波器响应图最大值的位置确定所述目标对象的第二位置信息；根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹。
可选的，所述根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹之后，所述方法包括：在所述目标对象在第三帧至第四帧图像内丢失的情况下，根据所述跟踪轨迹预测所述目标对象在第三帧图像中的第三位置信息，其中，所述第三帧与所述第四帧之间间隔N帧，N为大于1、且小于第一预定阈值的正整数；根据所述第三位置信息确定所述目标对象的第一搜索区域；根据所述平移相关滤波器获取所述第一搜索区域响应图的最大值；在所述最大值大于第二预定阈值的情况下，确定所述第三位置信息为所述目标对象的跟踪轨迹的信息。
可选的，所述根据所述第三位置信息确定所述目标对象的第一搜索区域，包括：以所述目标对象在第二帧图像中的第一目标区域的方向为所述第一搜索区域的方向，以所述目标对象在第二帧图像中所述第一目标区域的长宽的预设比例为所述第一搜索区域的长宽，确定所述第一搜索区域。
可选的，所述根据所述平移相关滤波器获取所述第一搜索区域响应图的最大值，包括：获取所述第一搜索区域的特征图；在所述第一搜索区域的特征图中确定出P个子特征图，其中，所述P个子特征图的大小和形状相同，所述P个子特征图第一个子特征图的一个边为所述特征图的第一边，所述P个子特征图最后一个子特征图的一个边为所述特征图的第二边，所述第一边和所述第二边平行，所述P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，所述P为大于1的正整数；根据所述平移相关滤波器获取所述P个子特征图对应的P个响应图；将所述P个响应图中的最大值确定为所述第一搜索区域响应图的最大值。
可选的，所述根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹之后，所述方法包括：在所述目标对象在第三帧至第五帧图像内丢失的情况下，根据所述目标检测器确定所述第三帧图像中所述目标对象的所有目标候选区域，其中，所述第三帧与所述第五帧之间间隔M帧，M为大于第一预定阈值的正整数；将所述所有目标候选区域的方向和尺度调整与所述第二帧图像中所述目标对象所在的第一目标区域的方向和尺度一致；提取所有调整后的所述目标候选区域的特征向量；计算每个所述目标候选区域的特征向量与目标特征向量的相似度，其中，所述目标特征向量是从所述第一目标区域中提取所述目标对象得到的向量；在最大相似度大于第三预设阈值的情况下，将所述最大相似度对应的目标候选区域中目标对象的第四位置信息确定为所述跟踪轨迹的信息。
可选的，所述根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，所述方法包括：根据所述目标检测器获取第一帧图像中所述目标对象的第二目标区域；获取所述第二目标区域的长宽，并根据所述长宽扩展得到第二搜索区域；获取所述第二搜索区域的特征图；通过对所述第二搜索区域的特征图进行循环移位得到所述平移相关滤波器的训练样本集合；根据所述训练样本集合以及岭回归优化公式确定所述平移相关滤波器。
可选的，根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，所述方法还包括：获取平移滤波器响应图的最大值；获取平移滤波器响应图与理想二维高斯分布之间的相关系数；根据所述最大值和所述相关系数确定所述目标对象的跟踪置信度；在所述跟踪置信度大于第四预设阈值的情况下，确定所述第二帧图像中存在所述目标对象。
可选的，所述方法包括：根据目标检测器获取目标视频第一帧图像中目标对象的第一检测框；在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据方向和尺度相关滤波器响应图的最大位置获取所述目标对象在所述第二帧图像中的方向和尺度；根据所述第二位置信息、所述方向和尺度输出所述目标对象在所述第二帧图像中的第二检测框；通过所述第一检测框和所述第二检测框跟踪所述目标对象。
可选的，所述根据所述第一位置信息、所述方向和尺度输出所述目标对象在所述第二帧图像中的第二检测框之后，所述方法包括：根据所述第一帧图像中所述目标对象的目标特征向量、所述第二帧图像中的第二检测框数据以及第一动态学习率确定所述目标对象在所述第二帧图像中的目标特征向量；根据所述第一帧图像中的平移滤波器、所述第二帧图像中的第二检测框数据以及第二动态学习率确定所述第二帧图像中的平移滤波器；根据所述第一帧图像中的方向和尺度相关滤波器、所述第二帧图像中的第二检测框数据以及第三动态学习率确定所述第二帧图像中的方向和尺度相关滤波器；依次按照上述方式根据前一帧图像中所述目标对象的目标特征向量、当前帧图像中的检测框数据以及动态学习率确定所述当前帧图像中所述目标对象的目标特征向量、平移滤波器以及方向和尺度相关滤波器。
根据本发明实施例的另一方面，还提供了一种目标对象跟踪装置，包括：第一获取单元，用于根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；第一确定单元，用于在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据平移滤波器响应图最大值的位置确定所述目标对象的第二位置信息；第二确定单元，用于根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹。
可选的，所述装置包括：预测单元，用于根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹之后，在所述目标对象在第三帧至第四帧图像内丢失的情况下，根据所述跟踪轨迹预测所述目标对象在第三帧图像中的第三位置信息，其中，所述第三帧与所述第四帧之间间隔N帧，N为大于1、且小于第一预定阈值的正整数；第三确定单元，用于根据所述第三位置信息确定所述目标对象的第一搜索区域；第二获取单元，用于根据所述平移相关滤波器获取所述第一搜索区域响应图的最大值；第四确定单元，用于在所述最大值大于第二预定阈值的情况下，确定所述第三位置信息为所述目标对象的跟踪轨迹的信息。
可选的，所述第三确定单元，包括：第一确定模块，用于以所述目标对象在第二帧图像中的第一目标区域的方向为所述第一搜索区域的方向，以所述目标对象在第二帧图像中所述第一目标区域的长宽的预设比例为所述第一搜索区域的长宽，确定所述第一搜索区域。
可选的，所述第二获取单元，包括：第一获取模块，用于获取所述第一搜索区域的特征图；第二确定模块，用于在所述第一搜索区域的特征图中确定出P个子特征图，其中，所述P个子特征图的大小和形状相同，所述P个子特征图第一个子特征图的一个边为所述特征图的第一边，所述P个子特征图最后一个子特征图的一个边为所述特征图的第二边，所述第一边和所述第二边平行，所述P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，所述P为大于1的正整数；第二获取模块，用于根据所述平移相关滤波器获取所述P个子特征图对应的P个响应图；第三确定模块，用于将所述P个响应图中的最大值确定为所述第一搜索区域响应图的最大值。
可选的，所述装置包括：第五确定单元，用于所述根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹之后，在所述目标对象在第三帧至第五帧图像内丢失的情况下，根据所述目标检测器确定所述第三帧图像中所述目标对象的所有目标候选区域，其中，所述第三帧与所述第五帧之间间隔M帧，M为大于第一预定阈值的正整数；调整单元，用于将所述所有目标候选区域的方向和尺度调整与所述第二帧图像中所述目标对象所在的第一目标区域的方向和尺度一致；提取单元，用于提取所有调整后的所述目标候选区域的特征向量；计算单元，用于计算每个所述目标候选区域的特征向量与目标特征向量的相似度，其中，所述目标特征向量是从所述第一目标区域中提取所述目标对象得到的向量；第六确定单元，用于在最大相似度大于第三预设阈值的情况下，将所述最大相似度对应的目标候选区域中目标对象的第四位置信息确定为所述跟踪轨迹的信息。
可选的，所述装置包括：第三获取单元，用于所述根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，根据所述目标检测器获取第一帧图像中所述目标对象的第二目标区域；第一得到单元，用于获取所述第二目标区域的长宽，并根据所述长宽扩展得到第二搜索区域；第四获取单元，用于获取所述第二搜索区域的特征图；第二得到单元，用于通过对所述第二搜索区域的特征图进行循环移位得到所述平移相关滤波器的训练样本集合；第七确定单元，用于根据所述训练样本集合以及岭回归优化公式确定所述平移相关滤波器。
可选的，所述装置还包括：第五获取单元，用于根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，获取平移滤波器响应图的最大值；第六获取单元，用于获取平移滤波器响应图与理想二维高斯分布之间的相关系数；第八确定单元，用于根据所述最大值和所述相关系数确定所述目标对象的跟踪置信度；第九确定单元，用于在所述跟踪置信度大于第四预设阈值的情况下，确定所述第二帧图像中存在所述目标对象。
可选的，所述装置包括：第七获取单元，用于根据目标检测器获取目标视频第一帧图像中目标对象的第一检测框；第八获取单元，用于在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据方向和尺度相关滤波器响应图的最大位置获取所述目标对象在所述第二帧图像中的方向和尺度；第十确定单元，用于根据所述第二位置信息、所述方向和尺度确定所述目标对象在所述第二帧图像中的第二检测框；跟踪单元，用于通过所述第一检测框和所述第二检测框跟踪所述目标对象。
可选的，所述装置包括：第十一确定单元，用于所述根据所述第一位置信息、所述方向和尺度输出所述目标对象在所述第二帧图像中的第二检测框之后，根据所述第一帧图像中所述目标对象的目标特征向量、所述第二帧图像中的第二检测框数据以及第一动态学习率确定所述目标对象在所述第二帧图像中的目标特征向量；第十二确定单元，用于根据所述第一帧图像中的平移滤波器、所述第二帧图像中的第二检测框数据以及第二动态学习率确定所述第二帧图像中的平移滤波器；第十三确定单元，用于根据所述第一帧图像中的方向和尺度相关滤波器、所述第二帧图像中的第二检测框数据以及第三动态学习率确定所述第二帧图像中的方向和尺度相关滤波器；第十四确定单元，用于依次按照上述方式根据前一帧图像中所述目标对象的目标特征向量、当前帧图像中的检测框数据以及动态学习率确定所述当前帧图像中所述目标对象的目标特征向量、平移滤波器以及方向和尺度相关滤波器。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标对象跟踪方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的目标对象跟踪方法。
在本发明实施例中，通过根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹，达到了根据平移滤波器获取的响应图确定目标视频中每帧图像中目标对象的位置信息的目的，从而实现了根据平移滤波器响应图确定目标对象位置信息的技术效果，进而解决了现有技术中，在复杂场景中目标对象跟踪不精确的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的目标对象跟踪方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的目标对象跟踪方法的流程图；
图3是根据本发明实施例的一种可选的检测器网络结构示意图；
图4是根据本发明实施例的一种可选的特征区域划分示意图；
图5是根据本发明实施例的一种可选的基于相关滤波的空对地车辆长时跟踪方法流程图；
图6是根据本发明实施例的一种可选的目标对象循环位移示意图；
图7是根据本发明实施例的一种可选的目标对象跟踪装置的结构示意图；
图8是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种目标对象跟踪方法，可选地，作为一种可选的实施方式，上述目标对象跟踪方法可以但不限于应用于如图1所示的环境中。终端设备102、网络104以及服务器106。
服务器106根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹，达到了根据平移滤波器获取的响应图确定目标视频中每帧图像中目标对象的位置信息的目的，从而实现了根据平移滤波器响应图确定目标对象位置信息的技术效果，进而解决了现有技术中，在复杂场景中目标对象跟踪不精确的技术问题。
其中，上述目标对象跟踪方法可以包括但不限于由终端设备102执行，服务器106执行，终端设备102与服务器106共同执行。
可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、浏览器客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述目标对象跟踪方法包括：
步骤S202，根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息。
步骤S204，在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息。
步骤S205，根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹。
可选的，本实施例上述目标对象跟踪方法可以包括但不限于目标检测、目标跟踪，用于目标对象的跟踪等等。上述目标对象可以包括但不限于的对目标车辆的跟踪、行人的跟踪等等。上述目标视频可以包括但不限于空对地车辆的监控视频。
其中，在本实施例中，上述第一帧图像可以包括但不限于目标视频第一时刻对应的图像，也可以目标视频在第二时刻对应的图像。如，目标视频为11点至11点半的监控目标车辆得到的视频，则第一帧图像可以是11点时刻对应的图像，也可以是11点5分对应的图像，也就是说，目标对象跟踪开始时刻可以是视频的开始刻、也可以从视频的任意时刻开始目标对象跟踪。需要说明的是，上述目标视频可以包括多个视频，即可以是一个视频序列，则确定视频序列中的每个视频中的每帧图像中目标对象的位置信息，进而将各个位置信息进行连接，确定目标对象的跟踪轨迹。
其中，第二帧图像可以是第一帧图像之后的第二帧图像，如第一时刻的第一帧图像之后的第二时刻的第二帧图像，即在时间顺序中第二帧图像在第一帧图像之后。还需要说明的是，第二帧图像还可以是在检测第一时刻的第一帧图像之后，再次检测到的第二帧图像，在时间上，第一帧图像和第二帧图像之间可以存在时间间隔。
需要说明的是，在本实施例中，根据平移滤波器获取目标对象在第二帧图像的第二位置信息，将第一位置信息和第二位置信息连接，确定目标对象的跟踪轨迹。
其中，在本实施例中，第一位置信息是根据目标检测器检测第一帧图像中目标对象的位置信息。
还需要说明的是，在本实施例中，平移滤波器需要根据当前帧前一帧图像信息目标对象的位置信息确定。
在本实施例中，图像输入为空对地监控场景下的图像，通过使用预训练好的基于MobilenetV3的轻量化RYOLOv3旋转目标检测器对目标点周围416*416区域进行车辆检测，在本实施例中，用到的检测器网络结构，如图3所示。在所有检测结果中选取中心点距离目标点最近的检测框为目标框。相对于普通的YOLOv3目标检测器，在本实施例中的RYOLOv3目标检测器具有以下两个特点：第一，网络结构轻量化，本申请采用了通道缩减的MobilenetV3为基本骨架，保证了目标检测的速度，同时在此基础上进行知识蒸馏，进一步提升了轻量化目标检测器RYOLOv3的检测精度；第二，与原始的YOLOv3的相比，RYOLOv3多回归一个目标角度，因此RYOLOv3的检测框可以为任意角度的旋转矩形。
还需要说明的是，在本实施例中，当获取新的一帧图像后，根据前一帧的目标位置、方向和尺度选取搜索区域并对搜索区域进行校正，然后对搜索区域内的图像进行特征提取，并根据公式快速求得频域的响应图，其中xnew表示新的搜索区域产生的样本，Rcf表示平移相关滤波响应图，ω表示平移相关滤波器，/>和/>分别表示相应的傅里叶变换，对/>进行逆傅里叶变换就可以得到Rcf。
通过本申请提供的实施例，通过根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹，达到了根据平移滤波器获取的响应图确定目标视频中每帧图像中目标对象的位置信息的目的，从而实现了根据平移滤波器响应图确定目标对象位置信息的技术效果，进而解决了现有技术中，在复杂场景中目标对象跟踪不精确的技术问题。
可选的，在本实施例中，根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹之后，可以包括：
S1，在目标对象在第三帧至第四帧图像内丢失的情况下，根据跟踪轨迹预测目标对象在第三帧图像中的第三位置信息，其中，第三帧与第四帧之间间隔N帧，N为大于1、且小于第一预定阈值的正整数；
S2，根据第三位置信息确定目标对象的第一搜索区域；
S3，根据平移相关滤波器获取第一搜索区域响应图的最大值；
S4，在最大值大于第二预定阈值的情况下，确定第三位置信息为目标对象的跟踪轨迹的信息。
在本实施例中，上述N可取值为50，即第三帧与第四帧之间间隔50帧。上述仅是一种示例，在本实施例中不做具体限定。
其中，根据第三位置信息确定目标对象的第一搜索区域，可以包括：以目标对象在第二帧图像中的第一目标区域的方向为第一搜索区域的方向，以目标对象在第二帧图像中第一目标区域的长宽的预设比例为第一搜索区域的长宽，确定第一搜索区域。
在本实施例中，可以在第一目标区域的方向上，按照第一目标区域长宽的S倍，搜索得到第一搜索区域，其中，S可以是大于1的正整数。例如，在第一目标区域的A方向上，以第一目标区域长宽各3倍的大小搜索得到第一搜索区域。需要说明的是，预设比例可以理解为第一目标区域长宽的倍数。如1:2的比例，则第一搜索区域的长宽是第一目标区域长宽的2倍。上述仅是一种示例，本实施例中不做具体限定。
其中，根据平移相关滤波器获取第一搜索区域响应图的最大值，可以包括：获取第一搜索区域的特征图；在第一搜索区域的特征图中确定出P个子特征图，其中，P个子特征图的大小和形状相同，P个子特征图第一个子特征图的一个边为特征图的第一边，P个子特征图最后一个子特征图的一个边为特征图的第二边，第一边和第二边平行，P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，P为大于1的正整数；根据平移相关滤波器获取P个子特征图中对应的P个响应图；将P个响应图中的最大值确定为第一搜索区域响应图的最大值。
在本实施例中，获取第一搜索区域的特征图后，根据特征图确定出P个子特征图的方式可以包括但不限于：按照预定的滑动窗口，以特征图的第一边为起点，依次提取P个子特征图，其中，P个子特征图中的第一个子特征图的一个边与第一边重叠，直至P个子特征图最后一个子特征图的一个边为特征图的第二边重叠，P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，上述滑动窗口的大小和形状可以理解为上述子特征图大小和形状，用于获取P个子特征图。需要说明的是，P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，其中，重叠区域可以包括但不限于为子特征图面积的1/2，1/3，上述仅是一种示例，本实施例中不做具有限定。
还需要说明的是，在P个子特征图的宽度小于特征图的宽度的情况下，可以先将特征图按照子特征图的宽度划分，在每个宽度对应的区域中的按照上述方式提取P个子特征图，即第一搜索区域的特征图可以提取2P个数的子特征图。获取所有子特征图对应的响应图，将所有响应图中的最大值确定为第一搜索区域响应图的最大值。
其中，在本实施例中，按照上述方式确定第一搜索区域响应图的最大值可以避免特征的边缘效应，提高目标对象存在图像中的精确性，进而提高目标对象跟踪的精准性。
在本实施例中，在目标对象在第三帧至第四帧图像内丢失的情况下可以理解为当目标对象丢失目标帧内，其目标帧内为50帧，即当目标丢失50帧内，启动目标短时丢失重捕获机制。首先，短时重补机制需要结合目标的运动轨迹信息，根据之前目标运动的轨迹，利用线性拟合、二次拟合等手段对重捕获时目标的位置进行预测。目标的位置获取之后，需要确认目标重捕获的搜索区域，短时重捕认为在目标短时丢失的短时间内目标尺度和方向均未发生变化，因此以目标丢失帧的方向为搜索区域方向，目标丢失时宽高的4倍为搜索区域的宽高，然后对搜索区域(第一搜索区域)的方向进行校正。在对搜索区域的特征图进行提取时，根据各个搜索子块之间高度重合的特点，采用了先特征整体提取而后将子特征块分配到各个子搜索区域的方法，如图4所示，特征区域划分示意图。之后，在各个子区域，利用平移相关滤波器得到各个子搜索区域的响应图。如果最大值大于目标短时丢失重捕获机制阈值(相当于第二预设阈值)时表示重捕获成功。反之，继续根据轨迹预测的位置并继续启动目标短时丢失重捕获机制，直至目标短时丢失重捕获机制超时进入目标长时丢失重捕获机制。
可选的，在本实施例中根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹之后，可以包括：
S1，在目标对象在第三帧至第五帧图像内丢失的情况下，根据目标检测器确定第三帧图像中目标对象的所有目标候选区域其中，第三帧与第五帧之间间隔M帧，M为大于第一预定阈值的正整数；
S2，将所有目标候选区域的方向和尺度调整与第二帧图像中目标对象所在的第一目标区域的方向和尺度一致；
S3，提取所有调整后的目标候选区域的特征向量；
S4，计算每个目标候选区域的特征向量与目标特征向量的相似度，其中，目标特征向量是从第一目标区域中提取目标对象得到的向量；
S5，在最大相似度大于第三预设阈值的情况下，将最大相似度对应的目标候选区域中目标对象的第四位置信息确定为跟踪轨迹的信息。
在本实施例中，在目标对象在第三帧至第五帧图像内丢失的情况下，即当目标丢失一段时间后，启动目标长时丢失重捕获机制，轨迹预测的难度变大，简单的扩大搜索区域的重捕获方法也随之失效。
为了对目标进行重捕获需要重新启动轻量化RYOLOv3旋转目标检测器，检测器对全图进行检测。对检测到的所有目标候选区域进行方向和尺度调整，保证与原目标特征向量Vec提取时方向和尺度的一致性，然后提取所有调整后的目标候选区域的特征向量，并采用余弦距离的方式计算候选目标区域特征向量与原始目标特征向量的相似度并进行排序，若最大相似度大于目标长时丢失重捕获机制的阈值则表示目标重捕获成功，且此特征向量对应的目标候选区域为重捕获后的目标区域；反之，目标重捕获失败，继续启动目标长时丢失重捕获机制直至目标长时丢失重捕获机制超时。
可选的，在本实施例中，其特征在于，根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，可以包括：根据目标检测器获取第一帧图像中目标对象的第二目标区域；获取第二目标区域的长宽，并根据长宽扩展得到第二搜索区域；获取第二搜索区域的特征图；通过对第二搜索区域的特征图进行循环移位得到平移相关滤波器的训练样本集合；根据训练样本集合以及岭回归优化公式确定平移相关滤波器。
可选的，根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，还可以包括：获取平移滤波器响应图的最大值；获取平移滤波器响应图与理想二维高斯分布之间的相关系数；根据最大值和相关系数确定目标对象的跟踪置信度；在跟踪置信度大于第四预设阈值的情况下，确定第二帧图像中存在目标对象。
可选的，上述方法包括：根据目标检测器获取目标视频第一帧图像中目标对象的第一检测框；在目标视频第二帧图像中存在的目标对象的情况下，根据方向和尺度相关滤波器响应图的最大位置获取目标对象在第二帧图像中的方向和尺度；根据第二位置信息、方向和尺度确定目标对象在第二帧图像中的第二检测框；通过第一检测框和第二检测框跟踪目标对象。
在本实施例中，上述第一检测框和第二检测框是用于标注目标对象，可以理解为，目标对象位于检测框中，检测框可以是具有颜色的框，可以方便用户根据检测框直观的确定当前监控跟踪目标对象。
其中，则根据平移滤波器响应图最大值的位置获取目标对象的当前目标位置(第二帧图像中的第二位置)，根据方向和尺度相关滤波器响应图的最大位置获取目标当前的方向和尺度，将目标位置、方向和尺度的输出结果映射到原图，并输出当前帧的跟踪框(第二检测框)。
可选的，根据第一位置信息、方向和尺度输出目标对象在第二帧图像中的第二检测框之后，方法可以包括：根据1帧图像中目标对象的目标特征向量、第二帧图像中的第二检测框数据以及第一动态学习率确定目标对象在第二帧图像中的目标特征向量；根据第一帧图像中的平移滤波器、第二帧图像中的第二检测框数据以及第二动态学习率确定第二帧图像中的平移滤波器；根据第一帧图像中的方向和尺度相关滤波器、第二帧图像中的第二检测框数据以及第三动态学习率确定第二帧图像中的方向和尺度相关滤波器；依次按照上述方式根据前一帧图像中的目标对象的目标特征向量、当前帧图像中的检测框数据以及动态学习率确定当前帧图像中目标对象的目标特征向量、平移滤波器以及方向和尺度相关滤波器。
在本实施例中，上述第一动态学习率、第二动态学习率和第三动态学习率可以根据实际需要取值相同，也可以不同，是一个常数，如取值0.7。上述仅是一种示例，在本实施例中不做具体限定。
在本实施例中，可以采用动态学习方式，根据前一帧图像中的目标对象的目标特征向量、检测框以及动态学习率确定后一帧图像中目标对象的目标特征向量、平移滤波器以及方向和尺度相关滤波器。进而可以提高目标对象检测跟踪的精度。
其中，获取第二帧图像中的目标特征向量：Vecnew；同时重新训练新的平移滤波器：ωnew以及方向和尺度相关滤波器：ω’new。之后，采用动态学习率策略对目标特征向量、平移相关滤波器以及方向和尺度相关滤波器进行更新，更新方式如公式(1)，其中lcf依据高置信度准则设定的动态学习率，即与跟踪置信度conf正相关。
在本实施例中，可以根据平移滤波器响应图的分布获取当前目标跟踪的状态。具体措施如下：第一，获取响应图的最高峰值，rmax＝max(Rcf)；第二，获取响应图Rcf与理想二维高斯分布g之间的相关系数：C(Rcf，g)；第三，根据公式(2)获取最终的跟踪置信度:conf，其中为调节系数；第四，当conf＞thred表示跟踪正常，反之表示目标丢失，其中thred为预先设定的丢失阈值(相当于第四预设阈值)。
可选地，作为一种可选的实施方式，本申请还提供了一种可选的基于相关滤波的空对地车辆长时跟踪方法。如图5所示，基于相关滤波的空对地车辆长时跟踪方法流程图。
在本实施例中，输入：空对地场景下的监控视频序列T＝{t1,t2,t3…tn}，目标初始大概位置点P＝{x，y}；输出：每帧图像的目标位置：Pn＝{xn，yn}，目标尺度：Sn＝{wn，hn}，目标方向：Rn，以及目标跟踪状态：Zn。
步骤S501，目标检测器获取目标；
在本实施例中，通过轻量化RYOLOv3旋转目标检测器获取目标，图像输入为空对地监控场景下的图像，通过使用预先训练好的基于MobilenetV3的轻量化RYOLOv3旋转目标检测器对目标点周围416*416区域进行车辆检测，如图3所示，检测器网络结构的示意图。在所有检测结果中选取中心点距离目标点最近的检测框为目标框。相对于普通的YOLOv3目标检测器，本实施例中用到的RYOLOv3目标检测器具有以下俩个特点：第一，网络结构轻量化，本申请采用了通道缩减的MobilenetV3为基本骨架，保证了目标检测的速度，同时在此基础上进行知识蒸馏，进一步提升了轻量化目标检测器RYOLOv3的检测精度；第二，与原始的YOLOv3的相比，RYOLOv3多回归一个目标角度，因此RYOLOv3的检测框可以为任意角度的旋转矩形。
步骤502，平移相关滤波器初始化、目标特征向量初始化；
将在步骤S501中得到的目标区域长宽分别进行边界扩展得到目标搜索区域，根据目标角度对搜索区域进行校正，使得目标方向为水平或者竖直。对搜索区域进行特征提取，这里特征提取方式不做具体限定，可以为传统fHog特征、也可以多种特征组合。对搜索区域的特征提取之后，首先将属于目标区域的特征抽取出来，建立目标特征向量：Vec。然后通过对搜索区域特征图进行循环移位得到平移相关滤波器训练样本集合：X＝[x1，x2，x3...xn]T，并通过二维高斯函数产生对应的标签：Y。样本和标签得到后，就可以得到对应岭回归优化公式(3)，其中ω是所求平移相关滤波器，γ是防止过拟合的正则化系数。此时可以对上述函数进行求导，并让导数为0，可以求得X是通过循环移位的到的样本集合X＝C(x)，C表示循环位移操作，如图6所示，目标对象循环位移示意图。由此/>其中表示xDFT操作后的结果，/>表示对角矩阵且对角线元素均为/>F为傅里叶对角化的辅助矩阵与最终求解无关。由此经过推到运算最终可得/>其中·表示对应元素相乘，/>表示/>的共轭转置，/>表示ω的傅里叶变化之后的值，最终可通过反傅里叶变换得到：/>
步骤S503，方向和尺度相关滤波器初始化；
为获取方向和尺度相关滤波器，需要对校正后的竖直或水平搜索区域进行对数极坐标变换，对数极坐标变换采用的公式如公式(4)所示，其中x′、y′为变换后的坐标，x、y为原坐标，x0、y0为参考坐标原点。此时，在对数极坐标图中，横坐标表示目标的幅值与目标的尺度可以对应，纵坐标表示目标的相角与目标的方向可以对应。然后对搜索区域的对数极坐标图进行特征提取。之后，与步骤S502中相似，通过对搜索区域的对数极坐标特征图循环移位可以得到训练样本，通过二维高斯函数可以得到对应的label，最后通过傅里叶对角化等快速求解方法得到方向和尺度相关滤波器ω′。
步骤S504，获取平移相关滤波器响应图；
当目标获取新的一帧图像后，根据前一帧的目标位置、方向和尺度选取搜索区域并对搜索区域进行校正，然后对搜索区域内的图像进行特征提取，并根据公式快速求得频域的响应图，其中xnew表示新的搜索区域产生的样本，Pcf表示平移相关滤波响应图，ω表示平移相关滤波器，/>和/>分别表示相应的傅里叶变换，对/>进行逆傅里叶变换就可以得到Rcf。
步骤S505，根据平移滤波器响应图判断目标是否丢失；
获取平移滤波器的响应图之后，本方法可以根据平移滤波器响应图的分布获取当前目标跟踪的状态。具体措施如下：第一，获取响应图的最高峰值，rmax＝max(Rcf)；第二，获取响应图Rcf与理想二维高斯分布g之间的相关系数：C(Rcf，g)；第三，根据公式(5)获取最终的跟踪置信度：conf，其中为调节系数；第四，当conf＞thred表示跟踪正常，反之表示目标丢失，其中thred为预先设定的丢失阈值。
步骤S506，获取方向和尺度相关滤波器响应图；
如果步骤S505判断目标没有丢失则启用方向和尺度相关滤波器，获取方向和尺度相关滤波器响应图前需要对校正后的目标当前搜索区域进行对数极坐标变换，之后的步骤与步骤S504中平移相关滤波器获取响应图的方式类似，这里不做赘述。
步骤S507，目标位置、方向和尺度更新；滤波器参数更新；目标特征向量更新；
若在步骤S505判断目标没有丢失，则根据平移滤波器响应图最大值的位置获取目标的当前位置，根据方向和尺度相关滤波器响应图的最大位置获取目标当前的方向和尺度，将目标位置、方向和尺度的输出结果映射到原图，并输出当前帧的跟踪框。目标当前的位置、方向和尺度确定之后，可以根据步骤S502，、步骤S503，的方法重新获取目标特征向量：Vecnew；同时重新训练新的平移滤波器：ωnew以及方向和尺度相关滤波器：ω’new。之后，采用动态学习率策略对目标特征向量、平移相关滤波器以及方向和尺度相关滤波器进行更新，更新方式如公式(1)，其中lcf依据高置信度准则设定的动态学习率，即与跟踪置信度conf正相关。
步骤S508，启动目标短时丢失重捕获机制；
当目标丢失50帧内，启动目标短时丢失重捕获机制。首先，短时重补机制需要结合目标的运动轨迹信息，根据之前目标运动的轨迹，利用线性拟合、二次拟合等手段对重捕获时目标的位置进行预测。目标的位置获取之后，需要确认目标重捕获的搜索区域，短时重捕认为在目标短时丢失的短时间内目标尺度和方向均未发生变化，因此以目标丢失帧的方向为搜索区域方向，目标丢失时宽高的4倍为搜索区域的宽高，然后对搜索区域的方向进行校正。在对搜索区域的特征图进行提取时，根据各个搜索子块之间高度重合的特点，采用了先根据特征整体提取而后将子特征块分配到各个子搜索区域的方法，如图4所示。之后，在各个子区域，利用平移相关滤波器得到各个子搜索区域的响应图。如果最大值大于目标短时丢失重捕获机制阈值时表示重捕获成功，并返回步骤S502。反之，继续根据轨迹预测的位置并继续启动目标短时丢失重捕获机制，直至目标短时丢失重捕获机制超时进入目标长时丢失重捕获机制。
步骤S509，启动目标长时丢失重捕获机制；
当目标丢失一段时间后，轨迹预测的难度变大，简单的扩大搜索区域的重捕获方法也随之失效。此时，为了对目标进行重捕获需要重新启动轻量化RYOLOv3旋转目标检测器，检测器对全图进行检测。对检测到的所有目标候选区域进行方向和尺度调整，保证与原目标特征向量Vec提取时方向和尺度的一致性，然后提取所有调整后的目标候选区域的特征向量，并采用余弦距离的方式计算候选目标区域特征向量与原始目标特征向量的相似度并进行排序，若最大相似度大于目标长时丢失重捕获机制的阈值则表示目标重捕获成功，且此特征向量对应的目标候选区域为重捕获后的目标区域，并返回步骤S502；反之，目标重捕获失败，继续启动目标长时丢失重捕获机制直至目标长时丢失重捕获机制超时。
在本实施例中，采用了轻量化RYOLOv3旋转目标检测器，可以根据指定点快速而准确地获取跟踪目标；在平移相关滤波器的基础上采用了方向和尺度滤波器，可以适应目标旋转的情况；根据平移相关滤波器响应图的响应图分布以及峰值共同确认目标跟踪的置信度，并依据高置信度准则设定动态学习率，可以合理的更新相关滤波器的系数；目标短时丢失是结合轨迹预测、扩大搜索区域、整体提取特征的方法可以保证目标快速完成重捕获，保证跟踪的连续性；目标长时丢失后轻量化RYOLOv3旋转目标检测器和特征余弦距离度量可以保证目标出现在视野后完成重捕获。
其中，在本实施例中，短时和长时的互补丢失找回跟踪策略；基于轻量化RYOLOv3旋转目标检测器的目标快速定位；目标跟踪时同时输出目标位置、尺度、方向以及跟踪状态；结合平移相关滤波响应图峰值以及和高斯分布拟合程度确定跟踪的置信度；结合轨迹预测，得到扩大的搜索区域，对搜索区域进行整体特征提取，在提取的整体特征信息上获取每个滑动搜索区域的特征进行目标找回，避免原图上滑动搜索框互为重叠造成的特征重复提取问题。结合轻量化RYOLOv3旋转目标检测器以及特征余弦距离度量的目标长时丢失重捕获机制；目标跟踪时同时输出目标位置、尺度、方向以及跟踪状态。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述目标对象跟踪方法的目标对象跟踪装置。如图7所示，该目标对象跟踪装置包括：第一获取单元71、第一确定单元73以及第二确定单元75。
第一获取单元71，用于根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息。
第一确定单元73，用于在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息。
第二确定单元75，用于根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹。
通过本申请提供的实施例，第一获取单元71根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；第一确定单元73在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；第二确定单元75根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹。达到了根据平移滤波器获取的响应图确定目标视频中每帧图像中目标对象的位置信息的目的，从而实现了根据平移滤波器响应图确定目标对象位置信息的技术效果，进而解决了现有技术中，在复杂场景中目标对象跟踪不精确的技术问题。
可选的，上述装置可以包括：预测单元，用于根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹之后，在目标对象在第三帧至第四帧图像内丢失的情况下，根据跟踪轨迹预测目标对象在第三帧图像中的第三位置信息，其中，第三帧与第四帧之间间隔N帧，N为大于1、且小于第一预定阈值的正整数；第三确定单元，用于根据第三位置信息确定目标对象的第一搜索区域；第二获取单元，用于根据平移相关滤波器获取第一搜索区域响应图的最大值；第四确定单元，用于在最大值大于第二预定阈值的情况下，确定第三位置信息为目标对象的跟踪轨迹的信息。
可选的，上述第三确定单元，可以包括：第一确定模块，用于以目标对象在第二帧图像中的第一目标区域的方向为第一搜索区域的方向，以目标对象在第二帧图像中第一目标区域的长宽的预设比例为第一搜索区域的长宽，确定第一搜索区域。
可选的，上述第二获取单元，可以包括：第一获取模块，用于获取所述第一搜索区域的特征图；第二确定模块，用于在所述第一搜索区域的特征图中确定出P个子特征图，其中，所述P个子特征图的大小和形状相同，所述P个子特征图第一个子特征图的一个边为所述特征图的第一边，所述P个子特征图最后一个子特征图的一个边为所述特征图的第二边，所述第一边和所述第二边平行，所述P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，所述P为大于1的正整数；第二获取模块，用于根据所述平移相关滤波器获取所述P个子特征图对应的P个响应图；第三确定模块，用于将所述P个响应图中的最大值确定为所述第一搜索区域响应图的最大值。
可选的，上述装置可以包括：第五确定单元，用于根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹之后，在目标对象在第三帧至第五帧图像内丢失的情况下，根据目标检测器确定第三帧图像中目标对象的所有目标候选区域其中，第三帧与第五帧之间间隔M帧，M为大于第一预定阈值的正整数；调整单元，用于将所有目标候选区域的方向和尺度调整与第二帧图像中目标对象所在的第一目标区域的方向和尺度一致；提取单元，用于提取所有调整后的目标候选区域的特征向量；计算单元，用于计算每个目标候选区域的特征向量与目标特征向量的相似度，其中，目标特征向量是从第一目标区域中提取目标对象得到的向量；第六确定单元，用于在最大相似度大于第三预设阈值的情况下，将最大相似度对应的目标候选区域中目标对象的第四位置信息确定为跟踪轨迹的信息。
可选的，上述装置可以包括：第三获取单元，用于根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，根据目标检测器获取第一帧图像中目标对象的第二目标区域；第一得到单元，用于获取第二目标区域的长宽，并根据长宽扩展得到第二搜索区域；第四获取单元，用于获取第二搜索区域的特征图；第二得到单元，用于通过对第二搜索区域的特征图进行循环移位得到平移相关滤波器的训练样本集合；第七确定单元，用于根据训练样本集合以及岭回归优化公式确定平移相关滤波器。
可选的，上述还可以包括：第五获取单元，用于根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，获取平移滤波器响应图的最大值；第六获取单元，用于获取平移滤波器响应图与理想二维高斯分布之间的相关系数；第八确定单元，用于根据最大值和相关系数确定目标对象的跟踪置信度；第九确定单元，用于在跟踪置信度大于第四预设阈值的情况下，确定第二帧图像中存在目标对象。
可选的，上述装置还可以包括：第七获取单元，用于根据目标检测器获取目标视频第一帧图像中目标对象的第一检测框；第八获取单元，用于在目标视频第二帧图像中存在的目标对象的情况下，根据方向和尺度相关滤波器响应图的最大位置获取目标对象在第二帧图像中的方向和尺度；第十确定单元，用于根据第二位置信息、方向和尺度确定目标对象在第二帧图像中的第二检测框；跟踪单元，用于通过第一检测框和第二检测框跟踪目标对象。
可选的，上述装置可以包括：第十一确定单元，用于根据第一位置信息、方向和尺度输出目标对象在第二帧图像中的第二检测框之后，根据第一帧图像中目标对象的目标特征向量、第二帧图像中的第二检测框数据以及第一动态学习率确定目标对象在第二帧图像中的目标特征向量；第十二确定单元，用于根据第一帧图像中的平移滤波器、第二帧图像中的第二检测框数据以及第二动态学习率确定第二帧图像中的平移滤波器；第十三确定单元，用于根据第一帧图像中的方向和尺度相关滤波器、第二帧图像中的第二检测框数据以及第三动态学习率确定第二帧图像中的方向和尺度相关滤波器；第十四确定单元，用于依次按照上述方式根据前一帧图像中目标对象的目标特征向量、当前帧图像中的检测框数据以及动态学习率确定当前帧图像中目标对象的目标特征向量、平移滤波器以及方向和尺度相关滤波器。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标对象跟踪方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；
S2，在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；
S3，根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹。
可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。
其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的目标对象跟踪方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标对象跟踪方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于第一位置信息、第二位置信息以及跟踪轨迹等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述目标对象跟踪装置中的第一获取单元71、第一确定单元73及第二确定单元75。此外，还可以包括但不限于上述目标对象跟踪装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器808，用于显示上述目标对象的目标轨迹；和连接总线810，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述目标对象跟踪方面或者目标对象跟踪方面的各种可选实现方式中提供的目标对象跟踪方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；
S2，在目标视频第二帧图像中存在的目标对象的情况下，根据平移滤波器响应图最大值的位置确定目标对象的第二位置信息；
S3，根据第一位置信息和第二位置信息确定目标对象的跟踪轨迹。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种目标对象跟踪方法，其特征在于，包括：
根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；
在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据平移滤波器响应图最大值的位置确定所述目标对象的第二位置信息；
根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹；
所述方法包括：
根据所述目标检测器获取所述目标视频第一帧图像中所述目标对象的第一检测框；
在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据方向和尺度相关滤波器响应图的最大位置获取所述目标对象在所述第二帧图像中的方向和尺度；
根据所述第二位置信息、所述方向和尺度确定所述目标对象在所述第二帧图像中的第二检测框；
通过所述第一检测框和所述第二检测框跟踪所述目标对象；
其中，所述第一检测框、所述第二检测框为任意角度的旋转矩形。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹之后，所述方法包括：
在所述目标对象在第三帧至第四帧图像内丢失的情况下，根据所述跟踪轨迹预测所述目标对象在第三帧图像中的第三位置信息，其中，所述第三帧与所述第四帧之间间隔N帧，N为大于1、且小于第一预 定阈值的正整数；
根据所述第三位置信息确定所述目标对象的第一搜索区域；
根据平移滤波器获取第一搜索区域响应图的最大值；
在所述最大值大于第二预定阈值的情况下，确定所述第三位置信息为所述目标对象的跟踪轨迹的信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第三位置信息确定所述目标对象的第一搜索区域，包括：
以所述目标对象在第二帧图像中的第一目标区域的方向为所述第一搜索区域的方向，以所述目标对象在所述第二帧图像中所述第一目标区域的长宽的预设比例为所述第一搜索区域的长宽，确定所述第一搜索区域。
4.根据权利要求2所述的方法，其特征在于，所述根据平移滤波器获取第一搜索区域响应图的最大值，包括：
获取所述第一搜索区域的特征图；
在所述第一搜索区域的特征图中确定出P个子特征图，其中，所述P个子特征图的大小和形状相同，所述P个子特征图第一个子特征图的一个边为所述特征图的第一边，所述P个子特征图最后一个子特征图的一个边为所述特征图的第二边，所述第一边和所述第二边平行，所述P个子特征图中每相邻的两个子特征图之间存在相同大小的重叠区域，所述P为大于1的正整数；
根据所述平移滤波器获取所述P个子特征图对应的P个响应图；
将所述P个响应图中的最大值确定为所述第一搜索区域响应图的最大值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹之后，所述方法包括：
在所述目标对象在第三帧至第五帧图像内丢失的情况下，根据所述目标检测器确定所述第三帧图像中所述目标对象的所有目标候选区域，其中所述第三帧与所述第五帧之间间隔M帧，M为大于第一预定阈值的正整数；
将所述所有目标候选区域的方向和尺度调整与所述第二帧图像中所述目标对象所在的第一目标区域的方向和尺度一致；
提取所有调整后的所述目标候选区域的特征向量；
计算每个所述目标候选区域的特征向量与目标特征向量的相似度，其中，所述目标特征向量是从所述第一目标区域中提取所述目标对象得到的向量；
在最大相似度大于第三预设阈值的情况下，将所述最大相似度对应的目标候选区域中目标对象的第四位置信息确定为所述跟踪轨迹的信息。
6.根据权利要求1所述的方法，其特征在于，所述根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，所述方法包括：
根据所述目标检测器获取第一帧图像中所述目标对象的第二目标区域；
获取所述第二目标区域的长宽，并根据所述长宽扩展得到第二搜索区域；
获取所述第二搜索区域的特征图；
通过对所述第二搜索区域的特征图进行循环移位得到平移滤波器的训练样本集合；
根据所述训练样本集合以及岭回归优化公式确定所述平移滤波器。
7.根据权利要求1所述的方法，其特征在于，根据平移滤波器响应图最大值的位置获取目标对象的第二位置信息之前，所述方法还包括：
获取平移滤波器响应图的最大值；
获取平移滤波器响应图与理想二维高斯分布之间的相关系数；
根据所述最大值和所述相关系数确定所述目标对象的跟踪置信度；
在所述跟踪置信度大于第四预设阈值的情况下，确定所述第二帧图像中存在所述目标对象。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息、所述方向和尺度输出所述目标对象在所述第二帧图像中的第二检测框之后，所述方法包括：
根据所述第一帧图像中所述目标对象的目标特征向量、所述第二帧图像中的第二检测框数据以及第一动态学习率确定所述目标对象在所述第二帧图像中的目标特征向量；
根据所述第一帧图像中的平移滤波器、所述第二帧图像中的第二检测框数据以及第二动态学习率确定所述第二帧图像中的平移滤波器；
根据所述第一帧图像中的方向和尺度相关滤波器、所述第二帧图像中的第二检测框数据以及第三动态学习率确定所述第二帧图像中的方向和尺度相关滤波器；
依次按照上述方式根据前一帧图像中所述目标对象的目标特征向量、当前帧图像中的检测框数据以及动态学习率确定所述当前帧图像中所述目标对象的目标特征向量、平移滤波器以及方向和尺度相关滤波器。
9.一种目标对象跟踪装置，其特征在于，包括：
第一获取单元，用于根据目标检测器获取目标视频第一帧图像中目标对象的第一位置信息；
第一确定单元，用于在所述目标视频第二帧图像中存在的所述目标对象的情况下，根据平移滤波器响应图最大值的位置确定所述目标对象的第二位置信息；
第二确定单元，用于根据所述第一位置信息和所述第二位置信息确定所述目标对象的跟踪轨迹；
所述装置还包括：
第七获取单元，用于根据目标检测器获取目标视频第一帧图像中目标对象的第一检测框；
第八获取单元，用于在目标视频第二帧图像中存在的目标对象的情况下，根据方向和尺度相关滤波器响应图的最大位置获取目标对象在第二帧图像中的方向和尺度；
第十确定单元，用于根据第二位置信息、方向和尺度确定目标对象在第二帧图像中的第二检测框；
跟踪单元，用于通过第一检测框和第二检测框跟踪目标对象；
其中，所述第一检测框、所述第二检测框为任意角度的旋转矩形。
10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
CN202011641157.4A 2020-12-31 2020-12-31 目标对象跟踪方法和装置、存储介质及电子设备 Active CN112750146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641157.4A CN112750146B (zh) 2020-12-31 2020-12-31 目标对象跟踪方法和装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641157.4A CN112750146B (zh) 2020-12-31 2020-12-31 目标对象跟踪方法和装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112750146A CN112750146A (zh) 2021-05-04
CN112750146B true CN112750146B (zh) 2023-09-12

Family

ID=75651315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641157.4A Active CN112750146B (zh) 2020-12-31 2020-12-31 目标对象跟踪方法和装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112750146B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223057A (zh) * 2021-06-04 2021-08-06 北京奇艺世纪科技有限公司 一种人脸跟踪方法、装置、电子设备及存储介质
CN116597417B (zh) * 2023-05-16 2024-08-13 北京斯年智驾科技有限公司 一种障碍物运动轨迹确定方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574895A (zh) * 2016-01-05 2016-05-11 浙江博天科技有限公司 一种在车辆动态行驶中的拥堵检测方法
CN108364305A (zh) * 2018-02-07 2018-08-03 福州大学 基于改进型dsst的车载摄像视频目标跟踪方法
CN108765452A (zh) * 2018-05-11 2018-11-06 西安天和防务技术股份有限公司 一种复杂背景下运动目标检测与跟踪方法
CN110211157A (zh) * 2019-06-04 2019-09-06 重庆邮电大学 一种基于相关滤波的目标长时跟踪方法
CN111563919A (zh) * 2020-04-03 2020-08-21 深圳市优必选科技股份有限公司 目标跟踪方法、装置、计算机可读存储介质及机器人
CN111754548A (zh) * 2020-06-29 2020-10-09 西安科技大学 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200237B (zh) * 2014-08-22 2019-01-11 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
CN110033478A (zh) * 2019-04-12 2019-07-19 北京影谱科技股份有限公司 基于深度对抗训练的视觉目标跟踪方法和装置
US11094070B2 (en) * 2019-04-23 2021-08-17 Jiangnan University Visual multi-object tracking based on multi-Bernoulli filter with YOLOv3 detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574895A (zh) * 2016-01-05 2016-05-11 浙江博天科技有限公司 一种在车辆动态行驶中的拥堵检测方法
CN108364305A (zh) * 2018-02-07 2018-08-03 福州大学 基于改进型dsst的车载摄像视频目标跟踪方法
CN108765452A (zh) * 2018-05-11 2018-11-06 西安天和防务技术股份有限公司 一种复杂背景下运动目标检测与跟踪方法
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법
CN110211157A (zh) * 2019-06-04 2019-09-06 重庆邮电大学 一种基于相关滤波的目标长时跟踪方法
CN111563919A (zh) * 2020-04-03 2020-08-21 深圳市优必选科技股份有限公司 目标跟踪方法、装置、计算机可读存储介质及机器人
CN111754548A (zh) * 2020-06-29 2020-10-09 西安科技大学 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置

Also Published As

Publication number Publication date
CN112750146A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
US11636610B2 (en) Determining multiple camera positions from multiple videos
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
CN112750146B (zh) 目标对象跟踪方法和装置、存储介质及电子设备
CN111951325B (zh) 位姿跟踪方法、位姿跟踪装置及电子设备
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
WO2014164158A1 (en) Reducing object detection time by utilizing space localization of features
CN105894538A (zh) 一种目标跟踪方法和装置
CN110796472A (zh) 信息推送方法、装置、计算机可读存储介质和计算机设备
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN111914878A (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN106097383A (zh) 一种针对遮挡问题的目标跟踪方法及设备
CN113344016A (zh) 深度迁移学习方法、装置、电子设备及存储介质
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
CN109842811A (zh) 一种在视频中植入推送信息的方法、装置及电子设备
CN111429476A (zh) 确定目标人物行动轨迹的方法和装置
CN112949539A (zh) 一种基于摄像头位置的行人重识别交互检索方法及系统
CN113763420A (zh) 一种目标跟踪方法、系统及存储介质和终端设备
CN111665490B (zh) 目标跟踪方法和装置、存储介质及电子装置
JP2014228881A5 (zh)
CN112819889A (zh) 位置信息的确定方法及装置、存储介质、电子装置
CN115243073B (zh) 一种视频处理方法、装置、设备及存储介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant