CN109087337B - 基于分层卷积特征的长时间目标跟踪方法及系统 - Google Patents

基于分层卷积特征的长时间目标跟踪方法及系统 Download PDF

Info

Publication number
CN109087337B
CN109087337B CN201811318709.0A CN201811318709A CN109087337B CN 109087337 B CN109087337 B CN 109087337B CN 201811318709 A CN201811318709 A CN 201811318709A CN 109087337 B CN109087337 B CN 109087337B
Authority
CN
China
Prior art keywords
target
tracking
frame
threshold value
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811318709.0A
Other languages
English (en)
Other versions
CN109087337A (zh
Inventor
刘允刚
生晓晓
梁会军
李峰忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan ZhongFuture Industrial Development Co.,Ltd.
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201811318709.0A priority Critical patent/CN109087337B/zh
Publication of CN109087337A publication Critical patent/CN109087337A/zh
Application granted granted Critical
Publication of CN109087337B publication Critical patent/CN109087337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于分层卷积特征的长时间目标跟踪方法及系统，采用预训练好的深度卷积神经网络，对每一帧视频数据提取各层的卷积特征；按照基于相关滤波器模型求取卷积层的响应，并进行加权计算，将最终响应的最大值作为当前帧的目标中心；在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新相关滤波器模型，否则采用上一帧的相关滤波器模型，同时，跟踪响应值低于设定的阈值时，采用随机蕨算法进行目标的重检测。本公开采用深度学习进行特征提取，提高了目标跟踪的精度；改变的模型更新方式降低了整个跟踪过程中的计算冗余，提高了跟踪速度；在目标遮挡等恶劣情况下使用随机蕨算法进行目标重检测，保证了实际跟踪结果的可靠性。

Description

基于分层卷积特征的长时间目标跟踪方法及系统
技术领域
本公开涉及视频目标跟踪技术领域，特别是涉及基于分层卷积特征的长时间目标跟踪方法及系统。
背景技术
目标跟踪对机器人、无人机、自动驾驶、导航与制导等领域的发展有重要意义。例如，在人机交互过程中，摄像头不断对人体行为进行跟踪，并经过一系列的分析处理使机器人达到对人体姿态、动作、手势的理解，从而更好地实现人和机器的友好交流；在无人机目标跟踪过程中，不断获取目标的视觉信息，并传送给地面控制站，通过算法对视频图像序列进行分析，得到跟踪目标的实时位置信息，以保证跟踪目标实时处于无人机的视野范围之内。
目标跟踪过程涉及到光照变化、尺度变化、平面内旋转、平面外旋转、遮挡、形变、运动模糊、快速运动、背景斑、低分辨率等一系列挑战，现有“相关滤波”类目标跟踪方法尽管跟踪速度较快，但跟踪精度欠佳。
发明内容
为了解决现有技术的不足，本公开的一个方面是提供了基于分层卷积特征的长时间目标跟踪方法，本公开的技术方案减小了计算量，更好地适用于长时间目标跟踪。
为了实现上述目的，本申请采用以下技术方案：
基于分层卷积特征的长时间目标跟踪方法，包括：
采用预训练好的深度卷积神经网络，对每一帧视频数据提取各层的卷积特征；
按照基于相关滤波器模型求取卷积层的响应，并进行加权计算，将最终响应的最大值作为当前帧的目标中心；
在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新相关滤波器模型，否则采用上一帧的相关滤波器模型，同时，跟踪响应值低于设定的阈值时，采用随机蕨算法进行目标的重检测。
进一步的技术方案，采用预训练好的深度卷积神经网络的Conv3-4，Conv4-4，Conv5-4这三个层提取卷积特征。
进一步的技术方案，选取相关滤波器模型时，设置数据标签，根据数据标签生成滤波器模型，然后生成各个通道下的滤波器模型，再求解一个卷积层对应的滤波器响应，最后计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应。
进一步的技术方案，求解一个卷积层对应的滤波器响应时，
Figure BDA0001856987990000021
其中，B表示待检测的特征图，f表示一个卷积层对应的滤波器响应；
计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应：
ffinal＝r1f3-4+r2f4-4+r3f5-4
其中，r1，r2，r3表示加权系数，ffinal表示最终的响应。
进一步的技术方案，更新相关滤波器模型时的函数公式具体为：
Figure BDA0001856987990000022
其中，p1和p2分别表示前景和背景目标响应的峰值，θs是设定的阈值，
Figure BDA0001856987990000023
和
Figure BDA0001856987990000024
分别表示滤波器模型的分子和分母，η表示学习率，
Figure BDA0001856987990000025
表示相关系数，y表示高斯数据标签，λ表示正则化系数。
进一步的技术方案，重检测过程具体如下：
已知分类类别Ci，i＝1，...，M和图像特征fj，j＝1，...，H，将所有的特征H分成M堆，每一个堆的特征数目为N＝H/M，在每一个堆中考虑全部特征的联合概率分布；
根据最大似然估计，对每一棵蕨树下的联合概率分布进行计算；
求取各个类别下联合概率分布的最大值；
根据贝叶斯理论，利用各个类别下联合概率分布的最大值，得到最终的分类结果。
进一步的技术方案，利用上述基于分层卷积特征的长时间目标跟踪方法对视频数据集进行处理，在评估处理结果时，针对视频的11个属性分别进行一次性通过的准确率和成功率指标计算；
准确率显示的是中心位置误差小于阈值的帧数占总帧数的百分比，中心位置误差指的是实时测量的跟踪目标的中心位置和目标基准框中心位置之间的欧式距离；
成功率表示的是重叠率大于指定阈值的帧数占整个视频总帧数的百分比，重叠率是指计算得到的目标框与基准框的交集像素点数与并集像素点数的比值，当阈值从0到1变化时成功跟踪帧数所占的比例可以用成功率图的曲线下面积表示；
其中，11个属性分别为：光照变化、平面外旋转、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、超出视野、背景斑、低分辨率。
本公开的另一方面是公开了基于分层卷积特征的长时间目标跟踪系统，包括：
特征提取模块，采用预训练好的深度卷积神经网络，对每一帧视频数据提取各层的卷积特征；
目标中心计算模块，按照基于相关滤波器模型求取卷积层的响应，并进行加权计算，将最终响应的最大值作为当前帧的目标中心；
特征提取模块，在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新相关滤波器模型，否则采用上一帧的相关滤波器模型，同时，跟踪响应值低于设定的阈值时，重检测模块采用随机蕨算法进行目标的重检测。
进一步的技术方案，目标中心计算模块在进行当前帧的目标中心计算之前还需要模型表示模块来表示相关滤波器模型，具体为：
选取相关滤波器模型时，设置数据标签，根据数据标签生成滤波器模型，然后生成各个通道下的滤波器模型，再求解一个卷积层对应的滤波器响应，最后计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应。
进一步的技术方案，重检测模块采用随机蕨算法进行目标的重检测，如下：
已知分类类别Ci，i＝1，...，M和图像特征fj，j＝1，...，H，将所有的特征H分成M堆，每一个堆的特征数目为N＝H/M，在每一个堆中考虑全部特征的联合概率分布；
根据最大似然估计，对每一棵蕨树下的联合概率分布进行计算；
求取各个类别下联合概率分布的最大值；
根据贝叶斯理论，利用各个类别下联合概率分布的最大值，得到最终的分类结果。
本公开还公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于分层卷积特征的长时间目标跟踪方法。
本公开还公开了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述基于分层卷积特征的长时间目标跟踪方法。
本公开在相关滤波跟踪框架下，采用深度学习方法进行特征提取；将模型更新方式由原来的逐帧更新改为仅在跟踪响应大于设定阈值时更新；考虑到在目标被遮挡等恶劣情况下很有可能发生跟丢和错跟，使用随机蕨算法进行目标重检测。
与现有技术相比，本公开的有益效果是：
本公开采用深度学习进行特征提取，提高了目标跟踪的精度；改变的模型更新方式降低了整个跟踪过程中的计算冗余，提高了跟踪速度；在目标遮挡等恶劣情况下使用随机蕨算法进行目标重检测，保证了实际跟踪结果的可靠性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本公开一些实施例子的算法流程图；
图2为本公开一些实施例子的整个实验流程图；
图3(a)-图3(d)为本公开一些实施例子的对视频中的某一帧提取不同层卷积特征的效果对比图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本公开的具体实施例子中，基于分层卷积特征的长时间目标跟踪方法LOTHCF(Long-time Object Tracking Based on Hierarchical Convolution Features)：首先，采用预训练好的深度卷积神经网络VGG-Net，对每一帧视频数据提取各层的卷积特征，选取跟踪精度较高的Conv3-4，Conv4-4，Conv5-4层的卷积特征；然后，按照基于相关滤波的跟踪框架求取三个卷积层的响应，并进行加权计算，将最终响应的最大值处作为当前帧的目标中心；其次，考虑到计算量和实时性，在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新；同时，当目标跟丢时，采用随机蕨算法进行目标的重检测以提高跟踪精度。本发明提高了在光照变化、遮挡、尺度变化等恶劣条件下跟踪的准确率和成功率。
关于长时间的含义进行解释说明如下:针对添加的目标重检测可以让跟踪失败时重新找到目标继续跟踪,所以叫长时间,而是验证本方法的数据都是一些时间长一点的视频数据,而不是时间短一点的数据。
此处预训练好的深度卷积神经网络可以选用现有的已经训练好的模型进行使用。
本申请的一种典型的实施方式中，公开了一种基于分层卷积特征的长时间目标跟踪方法，其实施流程如说明书附图1所示，整体的实验包括以下几个步骤：
步骤1：数据采集。本发明可以采用真实的无人机航拍数据，也可以采用公开的数据集如OTB2013，OTB2015，UAV123等。为了体现算法的准确率和鲁棒性，在本发明的验证过程中采用更具挑战难度的视频数据集OTB2015。该数据集含有100个视频，共有11个属性，分为光照变化、平面外旋转、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、超出视野、背景斑、低分辨率。本公开的评估指标为一次性通过的准确率图和成功率图。其中，准确率图显示的是中心位置误差小于阈值的帧数占总帧数的百分比，实验过程中采用阈值20个像素，中心位置误差指的是实时测量的跟踪目标的中心位置和目标基准框中心位置之间的欧式距离；成功率图表示的是重叠率大于指定阈值的帧数占整个视频总帧数的百分比，重叠率是指计算得到的目标框与基准框的交集像素点数与并集像素点数的比值，当阈值从0到1变化时成功跟踪帧数所占的比例可以用成功率图的曲线下面积表示，实验过程中阈值为0.5。
步骤2：数据输入。输入上一帧获得的目标中心位置、目标模板以及目标的滤波器模型。
此处目标模板就是在每一帧中提取的目标的样子，在新的一帧中寻找目标就是根据上一帧的提取的目标样子进行寻找,也即进行相关运算。
步骤3：运用设计好的跟踪算法对视频图像序列进行分析，不断计算每一帧的目标位置，具体流程见说明书附图2。
步骤3.1：提取分层卷积特征。本发明采用预训练好的卷积神经网络VGG-Net，对视频数据中的每一帧提取各个卷积层的特征，分析其对跟踪效果的作用，发现低层的卷积特征包含较多的细粒度信息且具有较高的分辨率适合定位，高层的卷积特征包含较多的语义信息适合分类同时对目标形变鲁棒，故最终选取效果最好的Conv3-4，Conv4-4，Conv5-4的卷积特征代替原来的手工特征。图3(a)-图3(d)表示输入一帧图像，用Conv3，Conv4，Conv5这三个卷积层进行卷积特征提取的结果。
在本公开实施例中，由于传统的目标跟踪过程大多使用灰度特征、方向梯度直方图特征、颜色特征、颜色空间直方图特征等。使用单一的特征进行目标跟踪质量往往不佳，结合两种或多种特征跟踪质量稍有提升。例如，方向梯度直方图特征对目标形变鲁棒，颜色特征对光照变化鲁棒但不足以将目标和背景分开，将两种特征结合会使跟踪的准确率和成功率提高。尽管两种或多种特征的结合会带来更优的跟踪效果，但与卷积特征进行跟踪的准确率和成功率相比仍有逊色。所以本公开使用预训练好的VGG-Net进行卷积特征提取。由于低层的卷积特征分辨率高、包含较低的语义信息，高层的卷积特征分辨率低、包含较高的语义信息，并且注意到高分辨率的卷积特征易于定位、包含较高语义信息的卷积特征对形变鲁棒，所以本发明利用Conv3-4，Conv4-4，Conv5-4这三个层提取卷积特征。
步骤3.2：根据传统的相关滤波方法计算目标跟踪的响应。根据上一帧的目标中心位置在当前帧中提取待检测的图像块，将待检测的图像块与上一帧获得的目标模板做相关计算，得到的响应峰值即为当前帧的目标中心，对视频的每一帧提取相应层的卷积特征后，按照该框架获得这三个卷积层的响应值和目标中心坐标值，对三个卷积层响应进行加权计算，r1，r2，r3分别为0.02,0.5,0,1。
提取的卷积特征就是公式(2)中的X,经过公式(2)(3)计算得到滤波器模型w,利用公式(4)得到的是每一层特征计算的响应值.公式(5)计算的是三个卷积层响应的加权值。
计算目标跟踪的响应时，模型表示主要有生成式模型和判别式模型。生成式模型主要是考虑样本和目标的联合概率分布，为目标建立一个数学模型，计算目标模型与样本的重构误差，选取误差最小的样本作为对当前目标状态的估计。这种模型计算的方式比较依赖于先验知识，着重对目标本身的刻画。判别式模型主要采用先检测后跟踪的思路，对于样本训练一个在线分类器，区分前景和背景。该方法表现更加鲁棒，在跟踪领域占有主流地位。随着相关滤波方法的引入以及深度学习方法的广泛应用，相关滤波模型以及一些在线学习、实时更新的神经网络模型等判别式模型被相继提出。为了保证跟踪的快速性，本公开具体实施例子选取相关滤波器模型，其表示如下：
①设置数据标签
Figure BDA0001856987990000061
其中，H，W分别为特征图的高和宽，(a，b)表示特征图上的每一个位置，σ表示生成高斯数据的标准差，y表示高斯数据标签。
②生成滤波器模型
Figure BDA0001856987990000062
其中，w表示滤波器模型，λ表示正则化系数。,X表示提取的特征图,高和宽分别为H,W.符号T表示对矩阵进行转置。
③生成各个通道下的滤波器模型
Figure BDA0001856987990000071
其中，Xj表示特征图X的第j个通道。C表示特征图X的C个通道，X维度为H*W*C,H,W为特征图的高、宽，C为特征图的通道数。
④求解一个卷积层对应的滤波器响应
Figure BDA0001856987990000072
其中，B表示待检测的特征图，f表示一个卷积层对应的滤波器响应。
⑤计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应
ffinal＝r1f3-4+r2f4-4+r3f5-4 (5)
其中，r1，r2，r3表示加权系数，ffinal表示最终的响应。
步骤3.3：根据每一帧跟踪结果的可靠性确定模型更新策略。设定阈值0.5，当跟踪的响应值大于阈值时则更新当前帧的滤波器模型α，否则不更新。与之前逐帧更新的方式相比，大大减小了计算量的同时增大了跟踪速率。
由于模型更新在目标跟踪过程中也是一个不可忽视的问题，学习到的模型的好坏直接影响以后的跟踪质量。因为目标跟踪问题缺少样本，且只有第一帧的唯一一个样本，所以一般的处理方式为：从第二帧开始，每一帧检测完目标后都把这一帧作为样本对目标模型进行更新。然而，该方式在样本变换不大时学习到的特征都非常相近，这实际上增加了冗余，导致了整个过程中不必要的计算负担，降低了跟踪速度。如何设计出更优的模型更新策略逐步受到广大学者的关注。基于建立的跟踪模型，本发明改变逐帧更新的模型更新方式，设置合理的阈值，只有当响应值大于阈值(跟踪质量较高)时才进行滤波器模型更新，否则采用上一帧的模型。具体如下：
Figure BDA0001856987990000073
其中，p1和p2分别表示前景和背景目标响应的峰值，θs是设定的阈值，
Figure BDA0001856987990000074
和
Figure BDA0001856987990000075
分别表示滤波器模型的分子和分母，η表示学习率，
Figure BDA0001856987990000076
表示相关系数。
步骤3.4：对于跟踪结果不可靠的情况运用随机蕨算法进行目标重检测，提高跟踪质量。设定阈值0.25，当每一帧的跟踪响应小于阈值时，认为跟踪的结果不可靠，可能发生了跟丢或错跟的情况，运用上述的随机蕨算法对目标重新检测。
为了提高跟踪质量，根据设定的阈值判断跟踪结果的可靠性。若跟踪响应值低于设定的阈值，表示很有可能发生了跟踪错位，此时使用随机蕨算法进行目标的重检测。重检测过程具体如下：
①已知分类类别Ci，i＝1，...，M和图像特征fj，j＝1，...，H。将所有的特征H分成M堆，每一个堆的特征数目为N＝H/M，在每一个堆中考虑全部特征的联合概率分布，方法如下：
Figure BDA0001856987990000081
其中，fj是一个随机变量，表示的是图像中提取特征的数值，因为每一帧中提取的特征的值都是不一样的，统一用fj表示。
Figure BDA0001856987990000082
其中，Fk＝(fσ(k，1)，...，fσ(k，N))，k＝1，...，M代表每一棵蕨树。
Fk的含义就是每次联合考虑N个特征。一共H个特征，分成M堆，一堆N个，k＝1，，，M分别对应M堆Fk＝(fσ(k，1)，...，fσ(k，N))，k＝1，...，M中k的变化，对应考虑不同堆的特征。
②根据最大似然估计，对每一棵蕨树下的联合概率分布进行计算，结果如下：
Figure BDA0001856987990000083
其中，
Figure BDA0001856987990000086
表示在第i类样本中属于第k棵蕨树的样本，
Figure BDA0001856987990000087
表示属于第i类的样本数。
③求取各个类别下联合概率分布的最大值，方法如下：
Figure BDA0001856987990000084
④根据贝叶斯理论，利用各个类别下联合概率分布的最大值，得到最终的分类结果。具体如下：
Figure BDA0001856987990000085
本公开的上述实施例子中，采用预训练好的深度卷积神经网络VGG-Net，对视频数据的每一帧提取各层的卷积特征，最终选取效果最好的Conv3-4，Conv4-4，Conv5-4层的卷积特征，按照传统相关滤波的跟踪框架，即根据上一帧的目标中心位置提取待检测的目标区域并将该区域与上一帧的模板做相关计算，求得最大响应的坐标为目标中心位置，所以在该框架下求得三个卷积层的响应后进行加权计算最终响应最大值处即为当前帧的目标中心。考虑到计算量和跟踪的实时性，采用更加精确的模型更新策略，同时当目标跟踪结果不可靠时，采用随机蕨算法进行目标的重检测以提高跟踪质量。
步骤3.5：本发明在视频数据集中进行验证，各个算法的总体成功率与准确率、以及关于各个属性的成功率数据如下表所示。
表2本发明(LOTHCF)与其他先进算法在OTB2015上的成功率和准确率
Figure BDA0001856987990000091
表3本发明(LOTHCF)与其他先进算法在OTB2015上关于11个属性的成功率
Figure BDA0001856987990000092
Figure BDA0001856987990000101
由上表可知，本发明所提出的算法LOTHCF的总体准确率和成功率分别为84％，60.3％，与HCF算法相比分别提高了0.4％，7.3％，与最基本的KCF(High-Speed Trackingwith Kernelized Correlation Filters)算法相比，分别提高了21.6％、26.9％。同样，本发明在各个属性上的成功率也比较高，在快速运动、背景斑、运动模糊、形变、平面内旋转这5个属性上取得的成功率分别为57％、58.5％、58.5％、53％、55.9％，均大于HCF算法在对应属性上取得的成功率。在尺度变化、光照变化、遮挡属性上，本发明取得的成功率分别为55.2％、61％、56.8％，均大于MUSTer(MUlti-Store Tracker(MUSTer):A CognitivePsychology Inspired Approach to Object Tracking)算法在相应属性上取得的成功率。除此之外，本发明还在平面外旋转、低分辨率属性上取得了最高的成功率。本发明取得的实验效果均归功于更加鲁棒的模型更新策略和目标重检测环节。不仅使得计算量减小，而且能够在目标丢失时及时找回目标，提高跟踪的成功率。
本公开的具体实施例子，在传统目标跟踪的相关滤波方法基础上，分析影响跟踪精度的决定性条件，引入深度卷积特征，同时，分析每一层卷积提取特征对于跟踪的效果，为满足跟踪精度和速度，仅提取效果好的卷积层特征。
在此基础上，根据第一帧中给定的目标框，逐步建立跟踪过程中的目标模板和滤波器模型。目标模板就是跟踪过程中目标的样子，具体就是特征图X(公式(2)中)，滤波器模型就是相关滤波器模型。
基于以上建立的目标跟踪模型，考察前一帧目标跟踪结果的可靠性，当跟踪结果可靠的时候，也就是满足一定的阈值的时候，更新每一帧的滤波器模型。
为了实现更好的跟踪效果，使用设定的阈值判断跟踪结果的可靠性，若结果不可靠，则很有可能发生了跟踪错位，需要使用随机蕨算法进行目标的重检测。
本公开的另一实施例子是公开了基于分层卷积特征的长时间目标跟踪系统，包括：
特征提取模块，采用预训练好的深度卷积神经网络，对每一帧视频数据提取各层的卷积特征；
目标中心计算模块，按照基于相关滤波器模型求取卷积层的响应，并进行加权计算，将最终响应的最大值作为当前帧的目标中心；
特征提取模块，在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新相关滤波器模型，否则采用上一帧的相关滤波器模型，同时，跟踪响应值低于设定的阈值时，重检测模块采用随机蕨算法进行目标的重检测。
目标中心计算模块在进行当前帧的目标中心计算之前还需要模型表示模块来表示相关滤波器模型，具体为：
选取相关滤波器模型时，设置数据标签，根据数据标签生成滤波器模型，然后生成各个通道下的滤波器模型，再求解一个卷积层对应的滤波器响应，最后计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应。
重检测模块采用随机蕨算法进行目标的重检测，如下：
已知分类类别Ci，i＝1，...，M和图像特征fj，j＝1，...，H，将所有的特征H分成M堆，每一个堆的特征数目为N＝H/M，在每一个堆中考虑全部特征的联合概率分布；
根据最大似然估计，对每一棵蕨树下的联合概率分布进行计算；
求取各个类别下联合概率分布的最大值；
根据贝叶斯理论，利用各个类别下联合概率分布的最大值，得到最终的分类结果。
本公开再一实施例子还公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于分层卷积特征的长时间目标跟踪方法。
本公开另一实施例子还公开了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述基于分层卷积特征的长时间目标跟踪方法。
本公开以HCF(Hierarchical Convolutional Features for Visual Tracking)算法为基础，在“相关滤波”类方法的框架下，采用深度特征代替手工特征；改变逐帧更新的模型更新方式，设置合理的阈值，只有当各帧响应值大于阈值时进行滤波器模型更新，否则采用上一帧的模型，该策略减小了计算量，更好地适用于长时间目标跟踪；同时，当响应值小于某一阈值时认为目标跟踪丢，在该情况下使用随机蕨算法进行目标重检测，避免跟踪精度下降；最后求取视频序列中每一帧响应最大值的坐标作为当前帧的目标中心。与现有方法相比，该方法提高了目标跟踪的准确率和成功率，对光照变化、尺度变化、旋转、遮挡、形变等恶劣情况的跟踪效果均有明显改善。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.基于分层卷积特征的长时间目标跟踪方法，其特征是，包括：
采用预训练好的深度卷积神经网络，对每一帧视频数据提取各层的卷积特征；
按照基于相关滤波器模型求取卷积层的响应，并进行加权计算，将最终响应的最大值作为当前帧的目标中心；
在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新相关滤波器模型，否则采用上一帧的相关滤波器模型，同时，跟踪响应值低于设定的阈值时，采用随机蕨算法进行目标的重检测；
更新相关滤波器模型时的函数公式具体为：
Figure FDA0002455673600000011
其中，p1和p2分别表示前景和背景目标响应的峰值，θs是设定的阈值，
Figure FDA0002455673600000012
和
Figure FDA0002455673600000013
分别表示滤波器模型的分子和分母，η表示学习率，
Figure FDA0002455673600000014
表示相关系数，y表示高斯数据标签，λ表示正则化系数。
2.如权利要求1所述的基于分层卷积特征的长时间目标跟踪方法，其特征是，采用预训练好的深度卷积神经网络的Conv3-4，Conv4-4，Conv5-4这三个层提取卷积特征。
3.如权利要求1所述的基于分层卷积特征的长时间目标跟踪方法，其特征是，选取相关滤波器模型时，设置数据标签，根据数据标签生成滤波器模型，然后生成各个通道下的滤波器模型，再求解一个卷积层对应的滤波器响应，最后计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应。
4.如权利要求1所述的基于分层卷积特征的长时间目标跟踪方法，其特征是，重检测过程具体如下：
已知分类类别Ci，i＝1，...，M和图像特征fj，j＝1，...，H，将所有的特征H分成M堆，每一个堆的特征数目为N＝H/M，在每一个堆中考虑全部特征的联合概率分布；
根据最大似然估计，对每一棵蕨树下的联合概率分布进行计算；
求取各个类别下联合概率分布的最大值；
根据贝叶斯理论，利用各个类别下联合概率分布的最大值，得到最终的分类结果。
5.如权利要求1所述的基于分层卷积特征的长时间目标跟踪方法，其特征是，利用上述基于分层卷积特征的长时间目标跟踪方法对视频数据集进行处理，在评估处理结果时，针对视频的11个属性分别进行一次性通过的准确率和成功率指标计算；
准确率显示的是中心位置误差小于阈值的帧数占总帧数的百分比，中心位置误差指的是实时测量的跟踪目标的中心位置和目标基准框中心位置之间的欧式距离；
成功率表示的是重叠率大于指定阈值的帧数占整个视频总帧数的百分比，重叠率是指计算得到的目标框与基准框的交集像素点数与并集像素点数的比值，当阈值从0到1变化时成功跟踪帧数所占的比例可以用成功率图的曲线下面积表示；
其中，11个属性分别为：光照变化、平面外旋转、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、超出视野、背景斑、低分辨率。
6.基于分层卷积特征的长时间目标跟踪系统，其特征是，包括：
特征提取模块，采用预训练好的深度卷积神经网络，对每一帧视频数据提取各层的卷积特征；
目标中心计算模块，按照基于相关滤波器模型求取卷积层的响应，并进行加权计算，将最终响应的最大值作为当前帧的目标中心；
特征提取模块，在逐帧更新的过程中设定阈值，只有当跟踪响应值大于阈值时进行更新相关滤波器模型，否则采用上一帧的相关滤波器模型，同时，跟踪响应值低于设定的阈值时，重检测模块采用随机蕨算法进行目标的重检测；
更新相关滤波器模型时的函数公式具体为：
Figure FDA0002455673600000021
其中，p1和p2分别表示前景和背景目标响应的峰值，θs是设定的阈值，
Figure FDA0002455673600000022
和
Figure FDA0002455673600000023
分别表示滤波器模型的分子和分母，η表示学习率，
Figure FDA0002455673600000024
表示相关系数，y表示高斯数据标签，λ表示正则化系数。
7.如权利要求6所述的基于分层卷积特征的长时间目标跟踪系统，其特征是，目标中心计算模块在进行当前帧的目标中心计算之前还需要模型表示模块来表示相关滤波器模型，具体为：
选取相关滤波器模型时，设置数据标签，根据数据标签生成滤波器模型，然后生成各个通道下的滤波器模型，再求解一个卷积层对应的滤波器响应，最后计算卷积层Conv3-4，Conv4-4，Conv5-4的加权响应；
重检测模块采用随机蕨算法进行目标的重检测，如下：
已知分类类别Ci，i＝1，...，M和图像特征fj，j＝1，...，H，将所有的特征H分成M堆，每一个堆的特征数目为N＝H/M，在每一个堆中考虑全部特征的联合概率分布；
根据最大似然估计，对每一棵蕨树下的联合概率分布进行计算；
求取各个类别下联合概率分布的最大值；
根据贝叶斯理论，利用各个类别下联合概率分布的最大值，得到最终的分类结果。
8.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-5任一所述的基于分层卷积特征的长时间目标跟踪方法。
9.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-5任一所述基于分层卷积特征的长时间目标跟踪方法。
CN201811318709.0A 2018-11-07 2018-11-07 基于分层卷积特征的长时间目标跟踪方法及系统 Active CN109087337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811318709.0A CN109087337B (zh) 2018-11-07 2018-11-07 基于分层卷积特征的长时间目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811318709.0A CN109087337B (zh) 2018-11-07 2018-11-07 基于分层卷积特征的长时间目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN109087337A CN109087337A (zh) 2018-12-25
CN109087337B true CN109087337B (zh) 2020-07-14

Family

ID=64844817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811318709.0A Active CN109087337B (zh) 2018-11-07 2018-11-07 基于分层卷积特征的长时间目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN109087337B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815364B (zh) * 2019-01-18 2020-01-14 上海极链网络科技有限公司 一种海量视频特征提取、存储和检索方法及系统
CN109858454B (zh) * 2019-02-15 2023-04-07 东北大学 一种基于双模型自适应核相关滤波追踪方法
CN110072064B (zh) * 2019-06-12 2020-07-03 睿魔智能科技（深圳）有限公司 一种图像拍摄方法、装置、设备以及存储介质
CN110706254B (zh) * 2019-09-19 2021-11-30 浙江大学 一种目标跟踪模板自适应更新方法
CN110738149A (zh) * 2019-09-29 2020-01-31 深圳市优必选科技股份有限公司 目标跟踪方法、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学（威海） 基于连续相关滤波器的定位修正长程跟踪算法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN107818575A (zh) * 2017-10-27 2018-03-20 深圳市唯特视科技有限公司 一种基于分层卷积的视觉对象跟踪方法
CN108734177A (zh) * 2018-05-17 2018-11-02 中国人民解放军陆军工程大学 双步相关滤波目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407986B (zh) * 2016-08-29 2019-07-19 电子科技大学 一种基于深度模型的合成孔径雷达图像目标识别方法
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学（威海） 基于连续相关滤波器的定位修正长程跟踪算法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN107818575A (zh) * 2017-10-27 2018-03-20 深圳市唯特视科技有限公司 一种基于分层卷积的视觉对象跟踪方法
CN108734177A (zh) * 2018-05-17 2018-11-02 中国人民解放军陆军工程大学 双步相关滤波目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hierarchical Convolutional Features for Visual Tracking;Chao Ma 等;《IEEE International Conference on Computer Vision》;20151231;第3074-3082页 *
Long-term Correlation Tracking;Chao Ma等;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151231;第5388-5396页 *

Also Published As

Publication number Publication date
CN109087337A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN112215119B (zh) 一种基于超分辨率重建的小目标识别方法、装置及介质
CN114565655B (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN110120065B (zh) 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统
CN111915644B (zh) 孪生导向锚框rpn网络的实时目标跟踪方法
CN112734809B (zh) 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
CN109035300B (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN108629288A (zh) 一种手势识别模型训练方法、手势识别方法及系统
CN109886079A (zh) 一种车辆检测与跟踪方法
CN113643329B (zh) 一种基于孪生注意力网络的在线更新目标跟踪方法和系统
CN109784155B (zh) 基于验证和纠错机制的视觉目标跟踪方法、智能机器人
CN113538509B (zh) 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN111968153A (zh) 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统
CN114861761A (zh) 一种基于孪生网络特征与几何验证的回环检测方法
CN116416503A (zh) 一种基于多模态融合的小样本目标检测方法、系统及介质
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230424

Address after: No. 7 Yingxi South Road, Shizhong District, Jinan City, Shandong Province, 250004

Patentee after: Jinan ZhongFuture Industrial Development Co.,Ltd.

Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province

Patentee before: SHANDONG University