CN111080675B - 一种基于时空约束相关滤波的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于时空约束相关滤波的目标跟踪方法，属于计算机视觉处理技术领域，所述方法包括以下步骤：S1：针对当前帧，提取前一帧的图像块作为搜索区域，再提取搜索区域的FHOG特征；S2：根据FHOG特征与前一帧训练好的滤波器计算得到当前帧的响应图，以响应图的最大响应位置作为当前帧的预测目标位置；S3：基于时间约束项和空间约束项更新时空约束相关滤波模型；S4：基于ASPE系数判断是否需要更新空间参考掩模，得到当前帧采用的滤波器模型。本发明解决了现有目标跟踪方法在模板存在外观显著性变化时，存在滤波器突变的问题，以及丢失跟踪目标后，滤波器存在模板漂移的问题。

Description

一种基于时空约束相关滤波的目标跟踪方法

技术领域

本发明属于计算机视觉处理技术领域，涉及一种基于时空约束相关滤波的目标跟踪方法。

背景技术

目标跟踪一直是计算机视觉领域中一个重要的方向，其技术被广泛地运用于视频监控、精准制导、自动驾驶和人机交互等领域。近年来，通过众多学者的研究推进，目标跟踪技术取得了巨大的进步。但在真实场景中，受到光照变化、遮挡、旋转、快速形变等因素的影响，当前的目标跟踪算法仍旧不能够很好的完成跟踪，算法的鲁棒性和准确性都不能够保证。

针对上述问题的解决，研究者们想设计一个具备极强鲁棒性的强跟踪器，自适应调整适用场景，为此研究者们提出了很多方法，主要分为判别式跟踪方法和生成式跟踪方法。由于判别式跟踪方法效率高和受外界影响因素少的优点，引起了广大学者的注意。David S，Bolme J等人提出了基于最小平方误差和的相关滤波算法MOSSE，首次将相关滤波的思想引入跟踪领域，能够让学习到的相关滤波器与新的输入产生响应图，来估计当前跟踪目标的位置，但该方法仅使用图像本身作为特征输入，模板漂移问题仍时常发生；Henriques，

F等人在相关滤波算法的基础上，通过设计结构简单又高效的循环矩阵来解决样本不足的缺陷，进一步提高了相关滤波算法的精度，但仍然没能提出新的特征减缓模板漂移的问题；Henriques，/>

F等人又基于CSK提出了KCF算法，改变了相关滤波算法以原图为输入的策略，引入图像特征HOG，增强了跟踪目标描述的准确性，但该算法使用了理想高斯窗假设，而真实跟踪目标并不为理想高斯窗，因此无法有效分割出前景跟踪目标和背景信息；Danelljan，Martin等人针对尺度问题提出了DSST算法，该算法将跟踪问题看作位置估计和尺度估计两个子问题，并分别训练对应的相关滤波器，但仍然使用的是理想高斯窗假设；Danelljan，Martin等人还针对边界效应问题提出了SRDCF算法，该算法认为理想高斯窗无法表示各种大小的跟踪目标，因此根据目标大小调整高斯窗边界的衰减，然而该算法将理想高斯窗衰减之后仍然是高斯窗，仍旧无法精确提取目标，且无条件利用每一帧更新滤波器；Galoogahi H K等人同样针对边界效应问题提出了CFLB算法，其思想是引入尽可能多的背景冗余信息削弱目标循环出边界的概率，再通过掩模提出真实目标，该算法利用了掩模特性，但作用仅在于从大尺度图像中选取图像块，仍旧是每一帧都更新滤波器；Danelljan，Martin等人为了更高的跟踪精度和鲁棒性提出了C-COT算法，通过引入亚像素，将离散区域插值到连续域提高跟踪器精度，该算法牺牲了算法效率，在特征上得到了极高的精度，但是由于不能精确分割前景跟踪目标和不能约束相关滤波器，导致每帧更新，从而使得目标外观显著性变化时，滤波器突变产生漂移问题；Danelljan，Martin等人又针对C-COT算法的效率过于低下提出了ECO算法，改善了样本集中所有单个参与计算的策略，通过筛选留下贡献率更高的跟踪器，但仍没能解决模板漂移问题。

现有的跟踪方法中相关滤波类算法是基于模板的算法，当模板被遮挡、旋转或形变等外观具有显著性变化时，该类方法便无法很好地处理，无法在鲁棒性和准确性之间取得良好的平衡。而且，当跟踪器丢失跟踪目标后，仍然会持续不断的更新滤波器，最终使得滤波器将其他目标的模板作为跟踪对象，产生了模板漂移问题。

因此，本发明针对上述问题，提出了一种基于时空约束相关滤波的目标跟踪方法。

发明内容

本发明的目的在于：提供了一种基于时空约束相关滤波的目标跟踪方法，解决了现有目标跟踪方法在模板存在外观显著性变化时，存在滤波器突变的问题，以及丢失跟踪目标后，滤波器存在模板漂移的问题。

本发明采用的技术方案如下：

一种基于时空约束相关滤波的目标跟踪方法，首先在第一帧中由人工任意初始化要跟踪的目标和相关滤波器，再通过所述方法在后续帧中持续跟踪该目标，所述方法包括以下步骤：

S1：针对当前帧，提取前一帧的图像块作为搜索区域，再提取搜索区域的FHOG特征；

S2：根据FHOG特征与前一帧训练好的滤波器计算得到当前帧的响应图，以响应图的最大响应位置作为当前帧的预测目标位置；

S3：基于时间约束项和空间约束项更新时空约束相关滤波模型；

S4：基于ASPE系数判断是否需要更新空间参考掩模，再根据步骤S3得到当前帧采用的滤波器模型，进行目标跟踪。

进一步地，所述步骤S1具体包括以下步骤：

S1.1：针对当前帧第t帧，以前一帧第t-1帧的预测目标位置为中心，提取200*200尺寸的图像块，作为搜索区域，其中，1<t≤N，N为视频序列总帧数；

S1.2：提取搜索区域的FHOG特征。

进一步地，所述步骤S2具体包括以下步骤：

S2.1：将步骤S1得到的FHOG特征与t-1帧训练得到的滤波器转换到傅里叶域中，计算得到响应图r的傅里叶域变换形式

其中，^代表给定数据的傅里叶域对应量，r和

代表响应图和响应图的傅里叶域变换形式，K为对应滤波器的总维数，/>

和/>

为第k维输入数据和滤波器辅助变量的傅里叶域表现形式，/>

其中，T为输入数据的大小，F为大小T×T的正交的复数偏差矩阵，能够使任意T维向量化的信号映射到傅里叶域，P为对角二元矩阵，能够使相关运算直接作用于真实的前景和背景样本，h_k为第k维的滤波器；

S2.2：获得响应图r后，将响应图r的最大响应值的位置作为当前帧的跟踪目标的预测位置。

进一步地，所述步骤S3具体包括以下步骤：

S3.1：基于时间约束项和空间约束项的时空约束相关滤波模型的空域表达式为：

其中，y为理想高斯函数，*为空域相关操作运算符，w为空间掩模，⊙为元素点乘运算符，w^r为空间参考掩模，

为上一帧t-1帧的滤波器，w^t-1为上一帧t-1帧的空间掩模；

上述公式中，第一项为岭回归项，X＝{x₁,x₂,…x_K}和H＝{h₁,h₂,…h_K}为数据和滤波器，尽可能使结果贴近理想高斯函数y，第二项为滤波器H的自适应空间正则惩罚项，第三项为空间掩模正则项，让空间掩模w更新方向朝向空间参考掩模w^r，第四项和第五项为基于相邻帧的残差正则项，作为时间约束项约束当前帧的空间掩模和滤波器突变，λ₁＝0.2，λ₂＝0.001，λ₃＝1000和λ₄＝500为正则参数；

S3.2：时空约束相关滤波模型通常在傅里叶域中进行运算，时空约束相关滤波模型的傅里叶域表达式为：

其中，

为辅助变量矩阵，通过ADMM算法求解；

S3.3：将步骤S3.2的傅里叶域表达式构造为增广拉格朗日函数：

其中，V＝{v₁,v₂,...v_K}∈R^T×K为朗格朗日乘子，

为朗格朗日乘子的傅里叶域形式，μ为惩罚因子，换算后得到：

其中，

再通过ADMM算法交替求解子问题；

S3.4：固定

w和/>

将步骤S3.3的增广拉格朗日函数转化为子问题求解滤波器H：

对上述公式进行元素点乘运算和傅里叶逆变换，对整个滤波器H求解的时间复杂度为O(KTlogT)；

S3.5：固定H，w和

将步骤S3.3的增广拉格朗日函数转化为子问题求解辅助变量矩阵/>

将每一个维度看作一个整体，得到：

其中，

为所有滤波器在像素j点的值的集合，再利用Sherman-Morrison公式表示为：

S3.6：固定H，

和/>

将步骤S3.3的增广拉格朗日函数转化为子问题求解空间掩模w：

S3.7：更新拉格朗日乘子项：

其中，

是前一个状态的拉格朗日乘子项，/>

和/>

是当前帧通过步骤S3.4和S3.5的公式求解得到的；

S3.8：更新正则惩罚因子：

μⁱ⁺¹＝min(μ_max,ρμⁱ)，

其中，ρ＝10，μ_max＝1000。

进一步地，所述步骤S4具体包括以下步骤：

S4.1：根据步骤S2得到的响应图r，计算ASPE系数，所述ASPE系数的计算公式为：

其中，F_max,F_side和F_min分别为响应图r的最大值，旁瓣值和最小值；

S4.2：判断是否需要更新空间参考掩模w^r，若步骤S4.1计算得到的当前帧的ASPE系数大于10，则说明当前跟踪目标的结果是可靠的，便更新空间参考掩模w^r，并进入下一步；若当前帧的ASPE系数小于10，则说明当前跟踪目标的结果发生了模板漂移，进入下一步；

S4.3：按下列公式更新滤波器模型：

其中，

为前一个时刻的滤波器模型，/>

为当前帧计算出的滤波器模型，

为最终采用的滤波器模型，η＝0.6为更新系数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

一种基于时空约束相关滤波的目标跟踪方法，通过自适应掩模将约束目标前景与背景信息分开，得到更精确的输入，以空间掩模作为空间约束项，通过滤波器和掩模相邻帧残差以及掩模和空间参考掩模的残差作为时间约束，以ASPE系数决定是否更新空间参考掩模，避免跟踪目标因遮挡、目标形变、背景杂波、旋转等外观显著性变化引起模型突变导致模板漂移的问题，增加了目标跟踪的准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：

图1是本发明实施例一的流程图；

图2是本发明实施例一的时间约束示意图；

图3是本发明实施例一的空间约束示意图；

图4是本发明实施例一的ASPE系数示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处描述和附图中示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

术语解释：

ASPE系数：Average Sidelobe-Peak Energy，平均峰瓣能量系数；FHOG特征：Fastimplementation of Histogram Oriented Gradients，快速方向梯度直方图特征；ADMM算法：Alternating Direction Method of Multipliers，交替方向乘子法。

下面结合实施例和附图对本发明的特征和性能作进一步的详细描述。

实施例一

本发明的较佳实施例，提供了一种基于时空约束相关滤波的目标跟踪方法，使用视频跟踪测试数据集Visual Tracker Benchmark(OTB100)中Soccer序列为验证集，该序列图像分辨率为640*360，总长392帧，包括光照变化，尺度缩放，遮挡，运动模糊，快速运动，形变和背景杂波等外观显著性变化；

首先判断当前帧是否是输入图像的第一帧，若是，则由人工任意初始化要跟踪的目标，即行人位置和尺寸，以及相关滤波器，再通过所述方法在后续帧中持续跟踪该目标，若不是第一帧，则直接按所述方法持续跟踪该目标，所述方法具体包括以下步骤：

S1：针对当前帧，提取前一帧的图像块作为搜索区域，再提取搜索区域的FHOG特征；

S1.1：针对当前帧第t帧，以前一帧第t-1帧的预测目标位置为中心，提取200*200尺寸的图像块，作为搜索区域，其中，1<t≤N，N为视频序列总帧数；

S1.2：提取搜索区域的FHOG特征；

S2：根据FHOG特征与前一帧训练好的滤波器计算得到当前帧的响应图，如图4所示，以响应图的最大响应位置即图4中的峰值位置作为当前帧的预测目标位置；

S2.1：在频域中将步骤S1得到的FHOG特征与t-1帧训练得到的滤波器转换到傅里叶域中，计算得到响应图r的傅里叶域变换形式

其中，^代表给定数据的傅里叶域对应量，r和

代表响应图和响应图的傅里叶域变换形式，K为对应滤波器的总维数，/>

和/>

为第k维输入数据和滤波器辅助变量的傅里叶域表现形式，/>

其中，T为输入数据的大小，F为大小T×T的正交的复数偏差矩阵，能够使任意T维向量化的信号映射到傅里叶域，P为对角二元矩阵，能够使相关运算直接作用于真实的前景和背景样本，h_k为第k维的滤波器；

S2.2：获得响应图r后，将响应图r的最大响应值的位置作为当前帧的跟踪目标的预测位置；

S3：基于时间约束项和空间约束项更新时空约束相关滤波模型，所述时间约束项的示意图如图2所示，所述空间约束项的示意图如图3所示；

S3.1：基于时间约束项和空间约束项的时空约束相关滤波模型的空域表达式为：

其中，y为理想高斯函数，*为空域相关操作运算符，w为空间掩模，⊙为元素点乘运算符，w^r为空间参考掩模，

为上一帧t-1帧的滤波器，w^t-1为上一帧t-1帧的空间掩模；

上述公式中，第一项为岭回归项，X＝{x₁,x₂,...x_K}和H＝{h₁,h₂,...h_K}为数据和滤波器，尽可能使结果贴近理想高斯函数y，第二项为滤波器H的自适应空间正则惩罚项，第三项为空间掩模正则项，让空间掩模w更新方向朝向空间参考掩模w^r，从而避免模型剧烈变化，第四项和第五项为基于相邻帧的残差正则项，作为时间约束项约束当前帧的空间掩模和滤波器突变，λ₁＝0.2，λ₂＝0.001，λ₃＝1000和λ₄＝500为正则参数；

S3.2：时空约束相关滤波模型通常在傅里叶域中进行运算，时空约束相关滤波模型的傅里叶域表达式为：

其中，

为辅助变量矩阵，该模型具备凸性质，因此通过ADMM算法求解；

S3.3：将步骤S3.2的傅里叶域表达式构造为增广拉格朗日函数：

其中，V＝{v₁,v₂,...v_K}∈R^T×K为朗格朗日乘子，

为朗格朗日乘子的傅里叶域形式，μ为惩罚因子，换算后得到：

其中，

再通过ADMM算法交替求解子问题；

S3.4：固定

w和/>

将步骤S3.3的增广拉格朗日函数转化为子问题求解滤波器H：

对上述公式进行元素点乘运算和傅里叶逆变换，对整个滤波器H求解的时间复杂度为O(KTlogT)；

S3.5：固定H，w和

将步骤S3.3的增广拉格朗日函数转化为子问题求解辅助变量矩阵/>

将每一个维度看作一个整体，得到：

其中，

为所有滤波器在像素j点的值的集合，再利用Sherman-Morrison公式表示为：

S3.6：固定H，

和/>

将步骤S3.3的增广拉格朗日函数转化为子问题求解空间掩模w：

S3.7：更新拉格朗日乘子项：

其中，

是前一个状态的拉格朗日乘子项，/>

和/>

是当前帧通过步骤S3.4和S3.5的公式求解得到的；

S3.8：更新正则惩罚因子：

μⁱ⁺¹＝min(μ_max,ρμⁱ)，

其中，ρ＝10，μ_max＝1000；

S4：基于ASPE系数判断是否需要更新空间参考掩模，再根据步骤S3得到当前帧采用的滤波器模型，进行目标跟踪；

S4.1：根据步骤S2得到的响应图r，计算ASPE系数，所述ASPE系数的计算公式为：

其中，F_max,F_side和F_min分别为响应图r的最大值，旁瓣值和最小值；

S4.2：判断是否需要更新空间参考掩模w^r，若步骤S4.1计算得到的当前帧的ASPE系数大于10，则说明当前跟踪目标的结果是可靠的，便更新空间参考掩模w^r，并进入下一步；若当前帧的ASPE系数小于10，则说明当前跟踪目标的结果发生了模板漂移，进入下一步；

S4.3：按下列公式更新滤波器模型：

其中，

为前一个时刻的滤波器模型，/>

为当前帧计算出的滤波器模型，

为最终采用的滤波器模型，η＝0.6为更新系数。

最后再判断是否完成所有帧跟踪，若是，则结束跟踪，若不是，则返回步骤S1继续进行下一帧的目标跟踪。

本实施例按上述方法对输入图像进行目标跟踪，得到跟踪结果，跟踪目标无论是变形、遮挡还是具有背景杂波时，跟踪目标始终没有偏移，跟踪准确度高。

本发明通过自适应掩模将约束目标前景与背景信息分开，得到更精确的输入，以空间掩模作为空间约束项，通过滤波器和掩模相邻帧残差以及掩模和空间参考掩模的残差作为时间约束，以ASPE系数决定是否更新空间参考掩模，避免跟踪目标因遮挡、目标形变、背景杂波、旋转等外观显著性变化引起模型突变导致模板漂移的问题，增加了目标跟踪的准确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于时空约束相关滤波的目标跟踪方法，首先在第一帧中由人工任意初始化要跟踪的目标和相关滤波器，再通过所述方法在后续帧中持续跟踪该目标，其特征在于，所述方法包括以下步骤：

S1：针对当前帧，提取前一帧的图像块作为搜索区域，再提取搜索区域的FHOG特征；

S2：根据FHOG特征与前一帧训练好的滤波器计算得到当前帧的响应图，以响应图的最大响应位置作为当前帧的预测目标位置；

S3：基于时间约束项和空间约束项更新时空约束相关滤波模型；

S4：基于ASPE系数判断是否需要更新空间参考掩模，再根据步骤S3得到当前帧采用的滤波器模型，进行目标跟踪；

所述步骤S3具体包括以下步骤：

S3.1：基于时间约束项和空间约束项的时空约束相关滤波模型的空域表达式为：

其中，y为理想高斯函数，*为空域相关操作运算符，w为空间掩模，⊙为元素点乘运算符，w^r为空间参考掩模，

为上一帧t-1帧的滤波器，w^t-1为上一帧t-1帧的空间掩模；

上述公式中，第一项为岭回归项，X＝{x₁,x₂,...x_K}和H＝{h₁,h₂,...h_K}为数据和滤波器，使结果贴近理想高斯函数y，第二项为滤波器H的自适应空间正则惩罚项，第三项为空间掩模正则项，让空间掩模w更新方向朝向空间参考掩模w^r，第四项和第五项为基于相邻帧的残差正则项，作为时间约束项约束当前帧的空间掩模和滤波器突变，λ₁＝0.2，λ₂＝0.001，λ₃＝1000和λ₄＝500为正则参数；

S3.2：时空约束相关滤波模型在傅里叶域中进行运算，时空约束相关滤波模型的傅里叶域表达式为：

其中，

为辅助变量矩阵，通过ADMM算法求解；

S3.3：将步骤S3.2的傅里叶域表达式构造为增广拉格朗日函数：

其中，V＝{v₁,v₂,...v_K}∈R^T×K为朗格朗日乘子，

为朗格朗日乘子的傅里叶域形式，μ为惩罚因子，换算后得到：

其中，

再通过ADMM算法交替求解子问题；

S3.4：固定

w和/>

将步骤S3.3的增广拉格朗日函数转化为子问题求解滤波器H：

对上述公式进行元素点乘运算和傅里叶逆变换，对整个滤波器H求解的时间复杂度为O；

S3.5：固定H，w和

将步骤S3.3的增广拉格朗日函数转化为子问题求解辅助变量矩阵

将每一个维度看作一个整体，得到：

其中，

为所有滤波器在像素j点的值的集合，再利用Sherman-Morrison公式表示为：

S3.6：固定H，

和/>

将步骤S3.3的增广拉格朗日函数转化为子问题求解空间掩模w：

S3.7：更新拉格朗日乘子项：

其中，

是前一个状态的拉格朗日乘子项，/>

和/>

是当前帧通过步骤S3.4和S3.5的公式求解得到的；

S3.8：更新正则惩罚因子：

μⁱ⁺¹＝min(μ_max,ρμⁱ)，

其中，ρ＝10，μ_max＝1000。

2.根据权利要求1所述的一种基于时空约束相关滤波的目标跟踪方法，其特征在于，所述步骤S1具体包括以下步骤：

S1.1：针对当前帧第t帧，以前一帧第t-1帧的预测目标位置为中心，提取200*200尺寸的图像块，作为搜索区域，其中，1<t≤N，N为视频序列总帧数；

S1.2：提取搜索区域的FHOG特征。

3.根据权利要求1所述的一种基于时空约束相关滤波的目标跟踪方法，其特征在于：所述步骤S2具体包括以下步骤：

S2.1：将步骤S1得到的FHOG特征与t-1帧训练得到的滤波器转换到傅里叶域中，计算得到响应图r的傅里叶域变换形式

其中，^代表给定数据的傅里叶域对应量，r和

代表响应图和响应图的傅里叶域变换形式，K为对应滤波器的总维数，/>

和/>

为第k维输入数据和滤波器辅助变量的傅里叶域表现形式，/>

其中，T为输入数据的大小，F为大小T×T的正交的复数偏差矩阵，能够使任意T维向量化的信号映射到傅里叶域，P为对角二元矩阵，能够使相关运算直接作用于真实的前景和背景样本，h_k为第k维的滤波器；

S2.2：获得响应图r后，将响应图r的最大响应值的位置作为当前帧的跟踪目标的预测位置。

4.根据权利要求1所述的一种基于时空约束相关滤波的目标跟踪方法，其特征在于：所述步骤S4具体包括以下步骤：

S4.1：根据步骤S2得到的响应图r，计算ASPE系数，所述ASPE系数的计算公式为：

其中，F_max,F_side和F_min分别为响应图r的最大值，旁瓣值和最小值；

S4.2：判断是否需要更新空间参考掩模w^r，若步骤S4.1计算得到的当前帧的ASPE系数大于10，则说明当前跟踪目标的结果是可靠的，便更新空间参考掩模w^r，并进入下一步；若当前帧的ASPE系数小于10，则说明当前跟踪目标的结果发生了模板漂移，进入下一步；

S4.3：按下列公式更新滤波器模型：

其中，

为前一个时刻的滤波器模型，/>

为当前帧计算出的滤波器模型，

为最终采用的滤波器模型，η＝0.6为更新系数。

Images