CN110555864B - 基于pspce的自适应目标跟踪方法 - Google Patents

Abstract

本发明涉及基于PSPCE的自适应目标跟踪方法，在跟踪序列中确定需要跟踪的目标，所述目标的当前帧为第t帧，包括：S1：根据上一帧时目标的区域位置划定搜索框，计算搜索框中图像块的特征图；S2：计算滤波器与特征图的响应，确定当前帧目标位置；S3：根据PSPCE系数更新PSPCE置信样本滤波器队列，得到当前滤波器的PSPCE置信样本；S4：基于PSPCE正则约束自适应更新当前滤波器的参数；S5：逐帧重复步骤S1至步骤S4直至跟踪序列跟踪完成。本发明能够确保自适应滤波器在更新过程中的正确性，并能够在时间轴上选取高置信度的滤波器来更新PSPCE置信样本，有效防止了目标外观在各种变化下滤波器发生突变的情况，保证了对目标跟踪的准确性。

Description

基于PSPCE的自适应目标跟踪方法

技术领域

本发明涉及对视频中指定目标进行跟踪的方法，具体讲是基于PSPCE的自适应目标跟 踪方法。

背景技术

目标跟踪是计算机视觉领域中一个重要的研究问题，广泛的应用于机器人、安防监控、 视觉导航、精准制导等领域。计算机要模仿人类的视觉感知能力则必须能够达到和人类视觉 感知相近的速度以及精度。近年来学者们针对目标跟踪领域存在的挑战，如遮挡、光照变化、 快速运动、运动模糊旋转和形变等问题提出了非常多的优秀的目标跟踪算法，使得目标跟踪 技术在近几年取得重大的突破和进展。但是仍然不能够同时满足在精度和速度上逼近人类的 视觉感知能力，并且算法的鲁棒性也极易受到环境干扰而造成跟踪失败。

为了解决以上问题，研究者们根据算法的计算方式将目标跟踪算法分为生成式方法和 判别式方法，而由于在判别式跟踪方法中的相关滤波跟踪算法由于结构清晰简洁，计算效率 高的同时也能保证一定的精度，因此吸引国内外总舵研究者的关注。DavidS.Bolme,J等人在 2010年首次提出了基于最小平方误差和的相关滤波算法MOSSE，通过在线学习的方式训练 得到一个滤波器模板，当输入新一帧图像时，将其采样区域与滤波器做相关运算，以响应值 最大的坐标作为目标的当前帧位置。Henriques,

F等人在2012年利用MOSSE作为基准 提出了CSK算法，通过设计循环矩阵完成对输入图像的密集采样，并且结合快速傅里叶变换 高效的对滤波器进行训练。Henriques,

F等人又在2014年基于CSK提出了KCF算法， 主要是利用HOG特征取代了原本直接利用像素值计算，并且通过核函数对高维的HOG特征 进行降维处理。Danelljan,Martin等人在2014年提出了DSST算法，通过额外训练一个除估 计位置坐标的二维相关滤波器以外的一维滤波器，用该一维滤波器对目标进行尺度自适应估 计。Danelljan,Martin等人在2015年提出了SRDCF算法，通过在目标函数中引入滤波器的惩 罚权重实现对边界的惩罚来缓解循环矩阵带来的边界效应。同样针对边界效应的问题， Galoogahi H K等人在2015年提出了CFLB算法，通过将输入图像的采样区域无限扩大引入 更大范围的背景信息来缓解边界效应。Danelljan,Martin等人等人在2016年提出了C-COT算 法，通过将相关滤波从离散域扩展到连续域，是跟踪精度的大幅度提升，次年又在C-COT上 进行修改提出ECO算法，通过剔除贡献率低的滤波器和改进训练样本集提升跟踪速度。 Galoogahi H K等人在2017年根据CFLB进行改进提出了BACF算法，通过将高维特征绑定 作为输入并行训练滤波器，避免了核函数以及PCA等降维方法带来的信息损失。此外，在颜 色方面Li等人提出联合颜色特征和灰度特征作为目标描述的CN算法、Hess等人提出的基于 颜色直方图的staple算法、Possegger等人通过统计颜色特征的DAT算法；在适应性方面， AdelBibi等人提出当循环矩阵作用后的循环样本不可靠的情况下采取置信度计算的CF-AT算 法、Zhang等人利用相关响应的分布建立贝叶斯优化模型的OCT-KCF算法；在尺度变化方面 还有Li等人通过利用平移滤波器在多尺度缩放的图像上进行相关运算的SAMF算法。以及近 年来火热的深度学习类的目标跟踪算法，Danelljan,Martin等人在2015年以SRDCF为基准提 出的DeepSRDCF算法，通过利用CNN中浅层卷积层的单层网络特来替换SRDCF中的HOG 特征、Ma等人在2015年以KCF为基准提出的HCF算法，通过利用VGG网络中训练好的多 层网络来替换KCF中的HOG特征。

这些方法能够在原有的滤波器上提升可观的跟踪速度以及跟踪精度，但是这些方法大 多采用的是实时更新滤波器，当出现遮挡、背景杂波、旋转和目标变形时产生的错误模板会 在更新过程中被放大，最终导致模型漂移造成跟踪失败。

发明内容

本发明提供了一种基于PSPCE的自适应目标跟踪方法，以在跟踪过程中可以通过自适 应之前高置信度的PSPCE(Peak Side-lobe to Peak Correlation Energy，旁瓣峰值相关能量系数) 样本来约束当前滤波器的更新方向，同时通过建立基于PSPCE系数的更新策略规避在遮挡、 背景杂波、旋转和目标变形等目标外观显著性变化的情况下的滤波器突变。

本发明基于PSPCE的自适应目标跟踪方法，在跟踪序列中确定需要跟踪的目标，所述 目标的当前帧为第t帧，包括步骤：

S1：根据上一帧时目标的区域位置划定搜索框，计算搜索框中图像块的特征图，其中： 1＜t≤N，N为跟踪序列的总帧数；

S2：根据所述的特征图计算当前滤波器h与所述特征图的响应，并确定当前帧目标位置；

S3：计算PSPCE系数，根据PSPCE系数更新PSPCE置信样本滤波器队列h_que，并得到当前滤波器的PSPCE置信样本h_template；

S4：基于PSPCE正则约束自适应更新当前滤波器的参数；

S5：对跟踪序列中的所有帧图片重复步骤S1至步骤S4，计算得到t+1帧的目标位置， 直至跟踪序列跟踪完成。

具体的，步骤S1包括：

S1.1：为了缓解由于循环矩阵带来的边界效应以及得到更大的搜索框，在跟踪序列图像 中选取以目标的中心位置为中心点、4倍目标面积的区域作为搜索框，将搜索框中的大小作 为二值辅助矩阵的输入，通过所述的二值辅助矩阵提取出搜索框中的图像块；

S1.2：获取所述图像块的FHOG(a contrast-sensitive variation of histogramoriented gradients(HOG)features，一种对比度敏感的方向梯度直方图)特征，并将其作为步骤S2的 输入。

具体的，步骤S2包括：

S2.1：通过步骤S1得到的所述特征图与对应的滤波器进行频域运算得到特征图的响应：

其中，

表示在频域中的第t帧第k维的响应输出，

表示步骤S1中的特征图在频域中的第t帧第k维的输入，

表示第t－1帧第k维的滤波器的频域变换形式，

其中，T为搜索框中图像块大小，F为傅里叶变化矩阵，P为二值辅助矩阵，

为第t-1 帧第k维的滤波器；

S2.2：在得到的响应中以上一帧的坐标作为当前帧的起始点z₀，通过牛顿迭代法得到响 应中对偶形式的最小值：

其中，z_n为牛顿迭代法的计算过程中当前迭代步数的中间值，f(z_n)为z_n点的函数响 应值，f'(z_n)为z_n点的一阶导的响应值，计算得到的最小值z_n+1其所在位置的坐标即为当前 帧目标的预测坐标。

具体的，步骤S3包括：

S3.1：由于在滤波类方法的目标跟踪过程中，更新滤波器是极为重要的，为了使滤波器 在迭代过程中保持与之前目标跟踪过程中的高置信度的滤波器变化不大，因此定义了基于 PSPCE系数的PSPCE正则约束：

其中，γ为惩罚参数，h^(k)为第k维度的滤波器，h_template^k为第k维的高置信度的PSPCE 置信样本；

S3.2：提取步骤S2得到的响应的中心的旁瓣峰值相关能量系数PSPCE：

其中，F_max为步骤S2得到响应中的最大响应值，F_Side为步骤S2得到响应中的旁瓣响应值，F_min为步骤S2得到响应中的最小响应值，w和h分别为步骤S2得到的响应的宽和高；

S3.3：由于背景中可能存在与目标相似的错误目标，这可能会使得单个PSPCE系数产生 误判，因此提出的滤波器更新策略是，提取当前响应的旁瓣峰值相关能量系数PSPCE，记为 PSPCE₁，如果PSPCE₁大于设定的阈值PSPCE_threshold,则以当前最大响应为中心，将该中心周 围4×4像素的矩阵范围内的值置零，然后再次计算PSPCE系数，记为PSPCE₂，如果PSPCE₁ /PSPCE₂的值大于1.5，则当前滤波器h的PSPCE置信度为高置信度，则定义PSPCE置信样 本滤波器队列

其中

为在跟踪目标的过程中，已得到的与当前滤波器h 在时间上最接近的n个滤波器，j∈n，然后按照先进先出原则将当前滤波器h加入该PSPCE 置信样本滤波器队列

中；

S3.4：同时，当跟踪的目标被遮挡而背景又存在特征相似的错误目标的情况下，PSPCE₁和PSPCE₂都会产生误判，因此提出的进一步滤波器更新策略是，设置PSPCE置信样本滤波 器队列h_que对应的权重向量

当前滤波器h的PSPCE置信 样本为：h_template＝sum(h_que⊙w_que)。其中

为按跟踪目标的时间顺序依次预设的权 重值。

具体的，步骤S4包括：

S4.1：求解当前滤波器的优化值E(h)：

其中，T为搜索框中图像块大小，h^(k)为第k维度的滤波器，上标T表示矩阵转置，P为二值辅助矩阵，x^(k)为当前像素坐标下第k维的输入，j为迭代计算时T区域中的位置中间量，y(j)为期望的高斯响应在当前像素坐标下的值，γ为惩罚参数，h_template^k为第k维的高置信 度的PSPCE置信样本；

基于PSPCE置信样本生成PSPCE正则约束，以此实现自适应更新滤波器。

S4.2：为了在不损失特征信息的情况下提高计算效率，本发明没有采用主流的核函数或 主成分分析等降维方法，而是采用了将31维的FHOG特征作为一个整体，并行计算每一维 对应的滤波器的优化值E(h,g)：

其中，g为辅助变量，

K为总维数，在已知当前滤波器的情况下，各维度对应的辅助变量g₁至g_k也是已知的，^表示信号的傅里叶变换域，矩阵 X＝[diag(x₁)^T,...,diag(x_K)^T]，x₁至x_k为第1维到第K维图像块的特征图的输入，同理

h₁至h_k为第1维到第K维的滤波器，h_template为当前滤波器h的PSPCE 置信样本，I_K表示K×K的单位矩阵，上标T表示矩阵转置，

表示克罗内克积，T为搜索框 中图像块大小，F为大小T×T的用来映射傅里叶变换的正交复基矩阵；

S4.3：对步骤S4.2的公式构造拉格朗日增广函数：

式中ξ为拉格朗日增广系数，λ、μ和γ分别为惩罚因子；

S4.4：通过交替方向乘子法(ADMM)将步骤S4.3的公式转化为分别求解h^*和g^*，其中*表示共轭转置。ADMM是一种交替求解的优化算法，例如假设z＝f(x,y)，那么通过ADMM可以将计算z的过程转化为单独求z1＝f1(x)和z2＝f2(y)，其中f1和f2分别是原问题f()的子问 题。因此步骤S4.3的公式通过ADMM能够分别得到：

其中，

以及：

S4.5：由于步骤S4.4中g^*的计算方式效率非常低下，很难达到实时的效果，因此将步 骤S4.4的g^*计算公式分解为K个独立成分的向量：

x(t)＝[x₁(t),...,x_K(t)]^T，其中conj()为共轭运算，x₁(t)至x_K(t)分别为特征图的第1维至第K维的频域表达式，得到各分量的结果为：

式中y(t)为期望的高斯响应的频域表达形式，

S4.6：更新拉格朗日增广系数：

其中，i为迭代计算过程中当前迭代步数的中间值；

和

是通过ADMM求解出的 当前的最优解。

S4.7：更新惩罚因子μ：

μ_i+1＝min(μ_max,ρμ_i)

其中，ρ是缩放因子，为常数值。

在此基础上，可以通过人机交互方式手动标定或者通过已知跟踪序列真实标签来初始化 滤波器，确定需要跟踪的目标，并在后续帧中持续跟踪该目标。

本发明基于PSPCE的自适应目标跟踪方法，通过添加PSPCE正则约束确保了自适应滤 波器在更新过程中的正确性，同时还保证了能够在时间轴上选取高置信度的滤波器来更新PSPCE置信样本，作为当前滤波器的更新方向，有效防止了在遮挡、背景杂波、旋转和目标 变形等目标外观显著性变化的情况下的滤波器发生突变，保证了对目标跟踪的准确性。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应 将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下， 根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1为本发明基于PSPCE的自适应目标跟踪方法的流程图。

图2为确定跟踪序列中需要跟踪的目标。

图3为目标跟踪过程中的目标变形1。

图4为目标跟踪过程中具有背景杂波。

图5为目标跟踪过程中的目标变形2。

图6为目标跟踪过程中目标有被遮挡。

具体实施方式

如图1所示本发明基于PSPCE的自适应目标跟踪方法，在跟踪序列中确定需要跟踪的 目标，可以通过人机交互方式手动标定或者通过已知跟踪序列真实标签来初始化滤波器来确 定需要跟踪的目标，并在后续帧中持续跟踪该目标。所述目标的当前帧为第t帧，1＜t≤N， N为跟踪序列的总帧数。方法包括步骤：

S1：根据上一帧时目标的区域位置划定搜索框，在搜索框中降采样作为图像块，并计算 所述图像块的特征图，具体为：

S1.1：为了缓解由于循环矩阵带来的边界效应以及得到更大的搜索框，以上一帧图 像作为原始图像块(D×D)，在跟踪序列图像中选取以目标的中心位置为中心点、4倍目标 面积的区域作为搜索框(T×T)，并且引入了尽可能多的背景冗余信息，使得循环位移之后 目标仍能够保持完整形态。将搜索框中的大小作为二值辅助矩阵P,P∈R^D×T的输入，并通过 所述的二值辅助矩阵提取搜索框中的图像块。

假设跟踪序列的大小为720×480，第一帧手动划定跟踪的目标为50×50，则D＝50， 而在相关类滤波算法中存在边界效应的问题，这个问题可以通过引入更多的背景冗余信息来 减弱，因此本发明使用4倍目标区域大小的面积200×200作为搜索框，T＝200，以此来削减 边界效应。

S1.2：通过Felzenszwalb等人提出的方法(Felzenszwalb,Pedro F.,et al."Object detection with discriminatively trained part-based models."IEEEtransactions on pattern analysis and machine intelligence 32.9(2009):1627-1645.)，获取所述搜索框中图像块的FHOG(一种对 比度敏感的方向梯度直方图)特征，并将其作为步骤S2的输入。

S2：根据所述的特征图计算当前滤波器h与所述特征图的响应，并确定当前帧目标位置。 具体为：

S2.1：通过步骤S1得到的所述特征图与对应的滤波器进行频域运算得到特征图的响 应：

其中，

表示在频域中的第t帧第k维的响应输出，

表示步骤S1中的特征图在频域中的第t帧第k维的输入，

表示第t－1帧第k维的滤波器的频域变换形式，

其中，T为搜索框中图像块大小，F为傅里叶变化矩阵，P为二值辅助矩阵，

为 第t-1帧第k维的滤波器；

S2.2：在得到的响应中以上一帧的坐标作为当前帧的起始点z₀，通过牛顿迭代法得 到响应中对偶形式的最小值：

其中，z_n为牛顿迭代法的计算过程中当前迭代步数的中间值，f(z_n)为z_n点的函数响应值，f'(z_n)为z_n点的一阶导的响应值，计算得到的最小值z_n+1其所在位置的坐标即为当前帧目标的预测坐标。

S3：计算PSPCE系数，根据PSPCE系数更新PSPCE置信样本滤波器队列h_que，并得到当前滤波器的PSPCE置信样本h_template；具体为：

S3.1：由于在滤波类方法的目标跟踪过程中，更新滤波器是极为重要的，为了使滤波器在迭代过程中保持与之前目标跟踪过程中的高置信度的滤波器变化不大，因此定义了基 于PSPCE系数的PSPCE正则约束：

其中，γ为惩罚参数，h^(k)为第k维度的滤波器，h_template^k为第k维的高置信度的PSPCE置信样本。如何确保PSPCE正则约束中的PSPCE置信样本在跟踪过程中能够被正确的更新是关键点，因此本发明提出了利用旁瓣峰值相关能量系数(PSPCE)来判别是否需要更新当前滤波器的PSPCE置信样本。

S3.2：提取步骤S2得到的响应的0.2到0.8比例的中心区域，计算当前响应的旁瓣峰值相关能量系数PSPCE：

其中，F_max为步骤S2得到响应中的最大响应值，F_Side为步骤S2得到响应中的旁 瓣响应值，F_min为步骤S2得到响应中的最小响应值，w和h分别为步骤S2得到的响应的宽 和高。

理想的响应近似为高斯分布，代表目标中心响应成分最大，周围的边界部分经过滤 波器之后被滤除。然而当发生遮挡、背景杂波、旋转和目标变形时响应会呈现出多峰，若不 做判断仍旧进行更新当前滤波器的PSPCE置信样本，则会导致当前滤波器更新参数偏向错误 目标，导致跟踪失败。通过引入PSPCE系数根据当前相应情况判别当前滤波器是否为正确且 适合作为PSPCE置信样本，有效增加了跟踪的可靠性。

S3.3：由于背景中可能存在与目标相似的错误目标，这可能会使得单个PSPCE系数产生误判，因此提出的滤波器更新策略是，提取当前响应的旁瓣峰值相关能量系数PSPCE，记为PSPCE₁。设置阈值PSPCE_threshold＝21。如果PSPCE₁大于设定的阈值PSPCE_threshold,则以 当前最大响应为中心，将该中心周围4×4像素的矩阵范围内的值置零，然后再次计算PSPCE系数，记为PSPCE₂，如果PSPCE₁/PSPCE₂的值大于1.5，则当前滤波器h的PSPCE置信度 为高置信度，则定义PSPCE置信样本滤波器队列

本实施例中n＝5，其中

为在跟踪目标的过程中，已得到的与当前滤波器h在时间上最接近的n个滤波器，j∈n，然 后按照先进先出原则将当前滤波器h加入该PSPCE置信样本滤波器队列

中；

S3.4：同时，当跟踪的目标被遮挡而背景又存在特征相似的错误目标的情况下，PSPCE₁和PSPCE₂都会产生误判，因此提出的进一步滤波器更新策略是，设置PSPCE置信 样本滤波器队列h_que对应的权重向量

在本实施例中， w_que＝[0.1,0.1,0.2,0.3,0.3]，通过加权计算，得到当前滤波器h的PSPCE置信样本为： h_template＝sum(h_que⊙w_que)。

S4：基于PSPCE正则约束自适应更新当前滤波器的参数，具体为：

S4.1：求解当前滤波器的优化值E(h)：

其中，T为搜索框中图像块大小，h^(k)为第k维度的滤波器，上标T表示矩阵转置， P为二值辅助矩阵，x^(k)为当前像素坐标下第k维的输入，j为迭代计算时T区域中的位置中 间量，y(j)为期望的高斯响应在当前像素坐标下的值，γ为惩罚参数，h_template^k为第k维的高置信度的PSPCE置信样本；

基于PSPCE置信样本生成PSPCE正则约束，以此实现自适应更新滤波器。

S4.2：为了在不损失特征信息的情况下提高计算效率，本发明没有采用主流的核函 数或主成分分析等降维方法，而是采用了将31维的FHOG特征作为一个整体，并行计算每一维对应的滤波器的优化值E(h,g)：

其中，g为辅助变量，

K为总维数，^表示信号的傅里叶变换域， 矩阵X＝[diag(x₁)^T,...,diag(x_K)^T]，x₁至x_k为第1维到第K维图像块的特征图的输入，同 理

h₁至h_k为第1维到第K维的滤波器，h_template为当前滤波器h的PSPCE 置信样本，I_K表示K×K的单位矩阵，上标T表示矩阵转置，

表示克罗内克积，T为搜索框 中图像块大小，F为大小T×T的用来映射傅里叶变换的正交复基矩阵；

S4.3：对步骤S4.2的公式构造拉格朗日增广函数：

式中ξ为拉格朗日增广系数，λ、μ和γ分别为惩罚因子，本实施例中μ＝0.5， γ＝1250，λ＝0.013。

S4.4：通过交替方向乘子法(ADMM)将步骤S4.3的公式转化为分别求解h^*和g^*， 其中*表示共轭转置，通过ADMM转化分别得到：

其中，

以及：

S4.5：由于步骤S4.4中g^*的计算方式效率非常低下，很难达到实时的效果，因此将步骤S4.4的g^*计算公式分解为K个独立成分的向量：

x(t)＝[x₁(t),...,x_K(t)]^T，其中conj()为共轭运算，x₁(t)至x_K(t)分别为特征图的第1维至第K维的频域表达式，得到各分量的结果为：

式中y(t)为期望的高斯响应的频域表达形式，s_x(t)＝x(t)^Tx(t)，s_ξ(t)＝x(t)^Tξ，s_h(t)＝x(t)^Th，b＝s_x(t)+Tμ；

S4.6：更新拉格朗日增广系数：

其中，i为迭代计算过程中当前迭代步数的中间值；

和

是通过ADMM求解 出的当前的最优解。

S4.7：更新惩罚因子μ：

μ_i+1＝min(μ_max,ρμ_i)

其中，ρ是缩放因子，本实施例中ρ＝10。

S5：对跟踪序列中的所有帧图片重复步骤S1至步骤S4，计算得到t+1帧的目标位置， 直至跟踪序列跟踪完成。

表1中列出了本发明的目标跟踪方法与目前各种主流的目标跟踪方法在客观的评价指标 Visual Tracker Benchmark(OTB100)下的目标跟踪准确率的对比数据，评价方法是首先定义重 合率得分(overlap score，OS)，追踪算法得到的bounding box(记为a)，与ground-truth给的box(记为b)，重合率定义为：OS＝|a∩b|/|a∪b|，|·|表示区域的像素数目。各种目标跟 踪方法在跟踪过程中，当某一帧的OS大于设定的阈值时，则该帧被视为成功的(Success)， 总的成功的帧占所有帧的百分比即为成功率(Success rate)。OS的取值范围为0～1。

表1：

目标跟踪方法	准确率
		本发明方法	0.881
ECO	0.873
		SiamRPN	0.869
STRCF	0.848
		BACF	0.836
LCT	0.820
		SRDCFdecon	0.800
SiamFC	0.797
		DeepSRDCF	0.787
SRDCF	0.782
		SAMF	0.777
Staple	0.774
		CF2	0.772
HDT	0.762
		CNN-SVM	0.759
MEEM	0.707
		KCF	0.648
DSST	0.631

其中，表1中的现有方法包括有：

CF2为Ma等人提出的方法(Ma,Chao,et al."Hierarchical convolutionalfeatures for visual tracking."Proceedings of the IEEE internationalconference on computer vision.2015.)；

DeepSRDCF为Martin等人提出的方法(Danelljan,Martin,et al."Convolutionalfeatures for correlation filter based visual tracking."Proceedings of theIEEE International Conference on Computer Vision Workshops.2015.)；

SiamFC为Bertinetto等人提出的方法(Bertinetto,Luca,et al."Fully-convolutional siamese networks for object tracking."European conference oncomputer vision.Springer,Cham,2016.)；

MEEM为Zhang等人提出的方法(Zhang,Jianming,Shugao Ma,and StanSclaroff."MEEM: robust tracking via multiple experts using entropyminimization."European conference on computer vision.Springer,Cham,2014.)；

KCF为Henriques等人提出的方法(Henriques,

F.,et al."High-speedtracking with kernelized correlation filters."IEEE transactions on patternanalysis and machine intelligence 37.3 (2014):583-596.)；

Staple为Bertinetto等人提出的方法(Bertinetto,Luca,et al."Staple:Complementary learners for real-time tracking."Proceedings of the IEEEconference on computer vision and pattern recognition.2016.)；

BACF为Kiani等人提出的方法(KianiGaloogahi,Hamed,Ashton Fagg,and SimonLucey. "Learning background-aware correlation filters for visual tracking."Proceedings of the IEEE International Conference on Computer Vision.2017.)；

STRCF为Li等人提出的方法(Li,Feng,et al."Learning spatial-temporalregularized correlation filters for visual tracking."Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2018.)；

CNN-SVM为Hong等人提出的方法(Hong,Seunghoon,et al."Online tracking bylearning discriminative saliency map with convolutional neural network."International conference on machine learning.2015.)

LCT为Ma等人提出的方法(Ma,Chao,et al."Long-term correlation tracking."Proceedings of the IEEE conference on computer vision and patternrecognition.2015.)

SiamRPN为Li等人提出的方法(Li,Bo,et al."High performance visualtracking with siamese region proposal network."Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2018.)

SAMF为Li等人提出的方法(Li,Yang,and Jianke Zhu."A scale adaptivekernel correlation filter tracker with feature integration."Europeanconference on computer vision.Springer,Cham, 2014.)

DSST为Martin等人提出的方法(Danelljan,Martin,et al."Accurate scaleestimation for robust visual tracking."British Machine Vision Conference,Nottingham,September 1-5,2014. BMVA Press,2014.)

ECO为Martin等人提出的方法(Danelljan,Martin,et al."ECO:efficientconvolution operators for tracking."Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017.)

HDT为Qi等人提出的方法(Qi,Yuankai,et al."Hedged deep tracking."Proceedings of the IEEE conference on computer vision and patternrecognition.2016.)

SRDCF为Martin等人提出的方法(Danelljan,Martin,et al."Learningspatially regularized correlation filters for visual tracking."Proceedings ofthe IEEE international conference on computer vision.2015.)

SRDCFdecon为Martin等人提出的方法(Danelljan,Martin,et al."Adaptivedecontamination of the training set:A unified formulation for discriminativevisual tracking."Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2016.)。

由表1的数据可以看出，本发明跟踪方法的跟踪准确率是最高的。

同时，为验证本发明跟踪方法的有效性，如图2至图6所示，使用视频跟踪测试数据集 Visual Tracker Benchmark(OTB100)中的basketball序列为验证集，该序列图像分辨率为 576×432，总长725帧，包括了光照变化、遮挡、目标变形和背景杂波。图2至图6依次为该 视频序列的第1帧、254帧、486帧、554帧和642帧。通过图2(第1帧)确定了跟踪序列 中需要跟踪的目标(黑色方框中的人物部分)，图3和图5为目标跟踪过程中的不同变形， 图4为目标跟踪过程中具有背景杂波，图6为目标跟踪过程中目标有被遮挡。从图3至图5 可以看出，无论是那种干扰形式，通过本发明的跟踪方法都能够准确的跟踪到真是目标，没 有收到干扰的影响。

Claims (5)

1.基于PSPCE的自适应目标跟踪方法，在跟踪序列中确定需要跟踪的目标，所述目标的当前帧为第t帧，其特征包括：

S1：根据上一帧时目标的区域位置划定搜索框，计算搜索框中图像块的特征图，其中：1＜t≤N，N为跟踪序列的总帧数；

S2：根据所述的特征图计算当前滤波器h与所述特征图的响应，并确定当前帧目标位置；

S3：计算PSPCE系数，根据PSPCE系数更新PSPCE置信样本滤波器队列h_que，并得到当前滤波器的PSPCE置信样本h_template；

步骤S3包括：

S3.1：定义基于PSPCE系数的PSPCE正则约束：

其中，γ为惩罚参数，h^(k)为第k维度的滤波器，h_template^k为第k维的高置信度的PSPCE置信样本；

S3.2：提取步骤S2得到的响应的中心的旁瓣峰值相关能量系数PSPCE：

其中，F_max为步骤S2得到响应中的最大响应值，F_Side为步骤S2得到响应中的旁瓣响应值，F_min为步骤S2得到响应中的最小响应值，w和h分别为步骤S2得到的响应的宽和高；

S3.3：提取当前响应的旁瓣峰值相关能量系数PSPCE，记为PSPCE₁，如果PSPCE₁大于设定的阈值PSPCE_threshold,则以当前最大响应为中心，将该中心周围4×4像素的矩阵范围内的值置零，然后再次计算PSPCE系数，记为PSPCE₂，如果PSPCE₁/PSPCE₂的值大于1.5，则当前滤波器h的PSPCE置信度为高置信度，则定义PSPCE置信样本滤波器队列

其中

为在跟踪目标的过程中，已得到的与当前滤波器h在时间上最接近的n个滤波器，j∈n，然后按照先进先出原则将当前滤波器h加入该PSPCE置信样本滤波器队列

中；

S3.4：设置PSPCE置信样本滤波器队列h_que对应的权重向量

当前滤波器h的PSPCE置信样本为：h_template＝sum(h_que⊙w_que)；

S4：基于PSPCE正则约束自适应更新当前滤波器的参数；

S5：对跟踪序列中的所有帧图片重复步骤S1至步骤S4，计算得到t+1帧的目标位置，直至跟踪序列跟踪完成。

2.如权利要求1所述的基于PSPCE的自适应目标跟踪方法，其特征为：步骤S1包括：

S1.1：在跟踪序列图像中选取以目标的中心位置为中心点、4倍目标面积的区域作为搜索框，将搜索框中的大小作为二值辅助矩阵的输入，通过所述的二值辅助矩阵提取出搜索框中的图像块；

S1.2：获取所述图像块的FHOG特征，并将其作为步骤S2的输入。

3.如权利要求1所述的基于PSPCE的自适应目标跟踪方法，其特征为：步骤S2包括：

S2.1：通过步骤S1得到的所述特征图与对应的滤波器进行频域运算得到特征图的响应：

其中，

表示在频域中的第t帧第k维的响应输出，

表示步骤S1中的特征图在频域中的第t帧第k维的输入，

表示第t－1帧第k维的滤波器的频域变换形式，

其中，T为搜索框中图像块大小，F为傅里叶变化矩阵，P为二值辅助矩阵，

为第t-1帧第k维的滤波器；

S2.2：在得到的响应中以上一帧的坐标作为当前帧的起始点z₀，通过牛顿迭代法得到响应中对偶形式的最小值：

其中，z_n为牛顿迭代法的计算过程中当前迭代步数的中间值，f(z_n)为z_n点的函数响应值，f'(z_n)为z_n点的一阶导的响应值，计算得到的最小值z_n+1其所在位置的坐标即为当前帧目标的预测坐标。

4.如权利要求1所述的基于PSPCE的自适应目标跟踪方法，其特征为：步骤S4包括：

S4.1：求解当前滤波器的优化值E(h)：

其中，T为搜索框中图像块大小，h^(k)为第k维度的滤波器，上标T表示矩阵转置，P为二值辅助矩阵，x^(k)为当前像素坐标下第k维的输入，j为迭代计算时T区域中的位置中间量，y(j)为期望的高斯响应在当前像素坐标下的值，γ为惩罚参数，h_template^k为第k维的高置信度的PSPCE置信样本；

S4.2：并行计算每一维的滤波器的优化值

其中，

为辅助变量，

K为总维数，^表示信号的傅里叶变换域，矩阵

x₁至x_k为第1维到第K维图像块的特征图的输入，

h₁至h_k为第1维到第K维的滤波器，h_template为当前滤波器h的PSPCE置信样本，I_K表示K×K的单位矩阵，上标T表示矩阵转置，

表示克罗内克积，T为搜索框中图像块大小，F为大小T×T的用来映射傅里叶变换的正交复基矩阵；

S4.3：对步骤S4.2的公式构造拉格朗日增广函数：

式中

为拉格朗日增广系数，λ、μ和γ分别为惩罚因子；

S4.4：通过交替方向乘子法将步骤S4.3的公式转化为分别求解h^*和

其中*表示共轭转置，分别得到：

其中，

以及：

S4.5：将步骤S4.4的

计算公式分解为K个独立成分的向量：

其中conj()为共轭运算，x₁(t)至x_K(t)分别为特征图的第1维至第K维的频域表达式，得到各分量的结果为：

式中y(t)为期望的高斯响应的频域表达形式，

S4.6：更新拉格朗日增广系数：

其中，i为迭代计算过程中当前迭代步数的中间值；

S4.7：更新惩罚因子μ：

μ_i+1＝min(μ_max,ρμ_i)

其中，ρ是缩放因子。

5.如权利要求1至4之一所述的基于PSPCE的自适应目标跟踪方法，其特征为：通过人机交互方式手动标定或者通过已知跟踪序列真实标签来初始化滤波器，确定需要跟踪的目标，并在后续帧中持续跟踪该目标。

Images