CN109325966A - 一种通过时空上下文进行视觉跟踪的方法 - Google Patents

Abstract

本发明提供一种通过时空上下文进行视觉跟踪的方法，包括如下步骤：步骤1：初始化参数；步骤2：训练上下文感知滤波器得到位置模型；步骤3：训练尺度相关滤波器的最大尺度响应值得到尺度模型；步骤4：分类器输出响应图；判别相关滤波器生成与响应图峰值对应的峰值旁瓣比；步骤5：对比响应图峰值与峰值旁瓣比，如果响应图峰值大于峰值旁瓣比，则引入在线随机蕨分类器进行重检测；如果响应图峰值小于峰值旁瓣比，则更新步骤2的位置模型和步骤3的尺度模型；如果响应图峰值等于峰值旁瓣比，则继续维持当前视觉跟踪状态；步骤6：将更新好的位置模型与尺度模型作用于下一帧跟踪；返回步骤4。

Description

一种通过时空上下文进行视觉跟踪的方法

技术领域

本发明涉及计算机视觉的视觉跟踪领域，特别是涉及一种通过时空上下文进行视觉跟踪的方法。

背景技术

视觉跟踪是计算机视觉领域中一个重要的研究热点，其在视频监控、自动驾驶、汽车导航和人机交互等方面中有着广泛的运用。跟踪的目的是在已知第一帧的位置状态下精确地估计出后续帧的位置。尽管近些年取得很大的发展，但仍然面临许多外界因素的挑战。比如，在长期跟踪过程中，目标通常会经历一些外部干扰，例如遮挡，光照变化，变形，尺度变化和视野外，这些外部干扰都会影响视觉跟踪的精准度。

跟踪任务一般分为位置估计和尺度估计，通过使用基于判别相关滤波器的两个回归模型对时间上下文相关性(位置模型)和目标外观建模(尺度模型)来实现。判别相关滤波器(DCF)用的判别式方法，可以看成是一个二元分类问题，其中一类为目标图像，一类是背景图像，其目的是通过学习分类器将目标从背景图像中分离出来，从而确定目标当前帧位置。在跟踪失败的情况下，判别相关滤波器是通过采用预定义的响应阈值来激活在线随机蕨类分类器来执行重新检测；在模型更新方面，判别相关滤波器也是采用预定义的响应阈值作为判断条件来决定模型更新的必要性。

现有技术虽然实现了期望的跟踪结果并且对于长期跟踪表现良好，但是当目标对象经历复杂的外观变化(例如严重遮挡)并在当前帧中消失时，它将引入一些错误的背景信息并将被传递到下一帧，长时间累积会使跟踪模型的质量恶化并最终产生跟踪目标漂移。

基于如上所述，本发明人对其进一步探索和研究，提出了一种通过时空上下文进行视觉跟踪的方法。

发明内容

本发明要解决的技术问题，在于提供一种用于长期视觉跟踪的有效模型更新以及重检测的方法，具体为一种通过时空上下文进行视觉跟踪的方法。

本发明具体包括如下步骤：

一种通过时空上下文进行视觉跟踪的方法，包括如下步骤：

步骤1：初始化参数；

步骤2：训练上下文感知滤波器得到位置模型；

步骤3：训练尺度相关滤波器的最大尺度响应值得到尺度模型；

步骤4：分类器输出响应图；判别相关滤波器生成与响应图峰值对应的峰值旁瓣比；

步骤5：对比响应图峰值与峰值旁瓣比，如果响应图峰值大于峰值旁瓣比，则引入在线随机蕨分类器进行重检测；如果响应图峰值小于峰值旁瓣比，则更新步骤2的位置模型和步骤3的尺度模型；如果响应图峰值等于峰值旁瓣比，则继续维持当前视觉跟踪状态；

步骤6：将更新好的位置模型与尺度模型作用于下一帧跟踪；返回步骤4。

优选地，所述步骤2与所述步骤3的顺序可调换。

优选地，所述步骤5中，位置模型更新的具体步骤如下：采用线性插值法对上下文感知滤波器进行参数更新，其更新方式如下公式：

其中i是当前帧的序号；η是学习速率；为分类器参数；目标位置模型的参数；

位置模型更新即为与的更新。

优选地，所述步骤5中，尺度模型更新的具体包括如下公式：

其中，H为频域中的尺度相关滤波器，l为维数，H^l为第l维的尺度相关滤波器；F^k的为第k个训练样本，F^l为第l维的训练样本，G为理想相关输出，为理想相关输出的复共轭，为第k个训练样本的复共轭，λ为正则项权重因子，t为帧序号，d与k为特征维度数；

对(1)式中H^l的分子分母分别进行更新，得到以下两式：

其中η为学习速率，F_t ^k为第k个训练样本，为第k个训练样本的复共轭，G_t为理想相关输出，F_t ^l为第l维的训练样本，λ为正则项权重因子，t为帧序号，l为维数，d与k为特征维度数；

尺度模型更新即为更新与B_t的更新。

本发明具有如下优点：

本发明利用响应图峰值与基于判别相关滤波器(简称DCF)产生的相应PSR得分(作为一种动态阈值)进行比较，判断是否进行重检测以及是否进行跟踪模型的更新；区别于传统通过预定义的响应阈值进行重检测与模型更新，本方法能根据时空上下文的实际情况判定是否更新，确保引入的下一帧的背景信息为正确信息。

本发明可以基于从不同视频序列生成的响应图来实现模型的自适应更新，并且避免由逐帧更新的有效性引起的跟踪漂移。该方法可以缓解用于在线模型更新的噪声样本问题，并在复杂的场景中有效地应对挑战，例如在长期跟踪期间的遮挡，突然运动，变形，视野和显着的尺度变化。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明方法的示意图。

图2是本发明在OTB-2013数据集中在50个视频序列的跟踪精确度曲线图。

图3是本发明在OTB-2013数据集中在50个视频序列的成功率曲线图。

图4是本发明在OTB-2013数据集中在50个视频序列的光照变化属性的跟踪精确度曲线图。

图5是本发明在OTB-2013数据集中在50个视频序列的光照变化属性的成功率曲线图。

图6是本发明在OTB-2013数据集中在50个视频序列的尺度变化属性的跟踪精确度曲线图。

图7是本发明在OTB-2013数据集中在50个视频序列的尺度变化属性的成功率曲线图。

图8是本发明在OTB-2013数据集中在50个视频序列的平面内旋转属性的跟踪精确度曲线图。

图9是本发明在OTB-2013数据集中在50个视频序列的平面内旋转属性的成功率曲线图。

图10是本发明在OTB-2013数据集中在50个视频序列的平面外旋转属性的跟踪精确度曲线图。

图11是本发明在OTB-2013数据集中在50个视频序列的平面外旋转属性的成功率曲线图。

图12是本发明在OTB-2013数据集中在50个视频序列的出视野属性的跟踪精确度曲线图。

图13是本发明在OTB-2013数据集中在50个视频序列的出视野属性的成功率曲线图。

图14是本发明在OTB-2013数据集中在50个视频序列的形变属性的跟踪精确度曲线图。

图15是本发明在OTB-2013数据集中在50个视频序列的形变属性的成功率曲线图。

图16是本发明在OTB-2015数据集中在100个视频序列的精确度曲线图。

图17是本发明在OTB-2015数据集中在100个视频序列的成功率曲线图。

具体实施方式

如图1所示，本发明的总体步骤为：

步骤1：初始化参数；

步骤2：训练上下文感知滤波器得到位置模型；

步骤3：训练尺度相关滤波器的最大尺度响应值得到尺度模型；步骤2与步骤3顺序可调换；

步骤4：分类器输出响应图；判别相关滤波器生成与响应图峰值对应的峰值旁瓣比；

步骤5：对比响应图峰值与峰值旁瓣比，如果响应图峰值大于峰值旁瓣比，则引入在线随机蕨分类器进行重检测；如果响应图峰值小于峰值旁瓣比，则更新步骤2的位置模型和步骤3的尺度模型；如果响应图峰值等于峰值旁瓣比，则继续维持当前视觉跟踪状态；

步骤6：将更新好的位置模型与尺度模型作用于下一帧跟踪；返回步骤4。

本发明详细步骤如下：

步骤1、初始化以下参数：目标周围的额外填充区域；位置滤波理想相关输出标准差；理想尺度滤波输出标准差；滤波器正则化权重λ，λ1，λ2；跟踪模型学习因子η；尺度级数S；尺度增量因子a；峰值旁瓣比(PSR)的初始值设置；采用方向梯度直方图(HOG)特征大小为4pixel×4pixel的目标单元。

步骤2A、分类器将候选窗口图像块(候选窗口图像块在公式中的参数为z，以下称为候选窗口图像z)的所有通过循环移位得到的训练样本形成数据矩阵D₀和期望输出y通过优化如下公式(1)：

得到一个对目标图像块具有高响应，且对上下文图像块接近零响应的上下文感知滤波器(上下文感知滤波器在公式中的参数为w，以下简称为滤波器w)，λ1为正则化权重因子；

步骤2B、将上下文图像块作为正则化矩阵加入公式，公式(1)变为：

在每一帧中采样k个上下文图像块，其中D_i∈R^n×n和D₀∈R^n×n为相应的循环矩阵，R^{n ×n}为n×n维的样本空间。它们包含了形成各种干扰项和复杂背景的全局上下文图像块，λ1和λ2为正则化权重因子，防止过拟合；

步骤2C、由于目标图像块内包含许多上下文图像块，并且生成了一个(k+1)n×n维的数据矩阵B∈R^(k+1)n×n，在原始域p中公式(2)写成如下公(3):

其中

为新的期望输出。

步骤2D、由于目标函数f_p(w，B)是凸函数，可以通过求导将其最小化得到公式(4)：

其中，λ1为正则化权重，为新的期望输出；T为数学符号，为矩阵的转置。

步骤2E、利用循环矩阵的性质可求得其在傅利叶域的封闭解为：

其中，a₀为向量化图像块，a_i为第i个向量化图像块，*含义为共轭，⊙为矩阵元素之间的点积；λ1和λ2为正则化权重更新因子，防止过拟合；

步骤2F、通过公式(5)训练得到一个对目标图像块具有高响应而对上下文区域具有低响应的滤波器w，并将其用于目标位置预测。

位置预测具体步骤如下：将得到的滤波器w和下一帧候选窗口图像块z卷积，然后查找所有测试样本响应向量y_p(z，w)的最大响应的位置为目标的预测位置；对于给定的单个候选窗口图像块z，分类器的响应输出为如下公式(6)：

其中为逆傅立叶变换；⊙为矩阵元素之间的点积；f(z)为分类器的输出；

步骤2G、位置模型更新的具体步骤如下：采用线性插值法来更新参数，其更新方式如下公式(7a)、(7b)：

其中i是当前帧的序号；η是学习速率；为训练样本通过公式(5)得到的分类器参数；目标位置模型的参数。位置模型更新即为与的更新。

步骤3、引入一种精确尺度估计机制，提高尺度变化适应能力，具体步骤如下：

首先提取尺度评估目标图像块尺寸为:

其中，P、R分别为目标前一帧的宽、高；a为尺度因子；S为尺度级数；

步骤3A、由于输入样本中某一个图像块具有d维特征描述，为了得到最佳尺度相关滤波器h，可以通过最小化如下代价函数即公式(9)：

其中，h为尺度相关滤波器，g为理想相关输出，l表示特征的某一维度，λ为正则项系数；

步骤3B、公式(9)在频域中的解为公式(10)：

其中，H为频域中的尺度相关滤波器，l为维数，H^l为第l维的尺度相关滤波器；F^k的为第k个训练样本，F^l为第l维的训练样本，G为理想相关输出，为理想相关输出的复共轭，为第k个训练样本的复共轭，λ为正则项权重因子，t为帧序号，d与k为特征维度数；

步骤3C、为了得到鲁棒的结果，对公式(10)中的H^l分子分母分别进行更新：

其中η为学习速率，F_t ^k为第k个训练样本，为第k个训练样本的复共轭，G_t为理想相关输出，F_t ^l为第l维的训练样本，λ为正则项权重因子，t为帧序号，l为维数，d与k为特征维度数；

尺度模型更新即为更新与B_t的更新。

步骤3D、在下一帧中，尺度相关滤波器的响应可通过求解公式(12)来确定：

Z为选窗口图像块z的集合；通过最大尺度响应值来估计目标尺度，并利用公式(11a)、(11b)更新尺度模型。

步骤4、引入在线随机蕨类分类器，能够有效的提高由于遮挡等情况跟踪失败后重检测模型的鲁棒性。

每个蕨类特征联合概率如下：

其中，C为随机变量，代表某一个类别。c_i为类型的集合。F_k＝{f_σ(k,0),f_σ(k,2),...,f_σ(k,N)},k＝1,...,M表示第k个蕨类，σ(k，n)是范围从1到N的随机置换函数。

步骤4A、从贝叶斯的角度来看，最佳的类c_i通过如下公式(12)获得：

步骤5A、引入重检测器激活策略，提高模型更新质量。采用峰值旁瓣比(PSR)能够很好地评估算法的跟踪质量，如下公式(13)；

其中，G_max(x)为响应图G_t的最大值，s₁是峰值周围的峰值旁瓣区域，μ_s1和σ_s1分别是旁瓣区域的均值和标准差。

当目标发生漂移或者跟踪失败时，此时滤波器w响应值和其峰值旁瓣比值相对较低，而且响应峰值变得不太突出。反之峰值旁瓣比值越高可以说明跟踪质量越好。

当PSR_t<G_max时，即满足峰值旁瓣比PSR小于响应图峰值G_max条件时在当前帧重新激活检测器D(检测器D即在线随机蕨类分类器)，否则不激活；此为重检测器激活策略。

步骤5B、提出自适应模型更新策略，当目标经历过复杂的场景变化时，其峰值旁瓣比会明显下降，此时不适合更新模型。

当PSR_t>G_max时，即满足峰值旁瓣比PSR大于响应图峰值G_max条件时，通过更新式(7a)、(7b)来更新位置模型，通过式(11a)、(11b)来更新尺度模型；此为自适应模型更新策略。

步骤6、更新检测器D(检测器D即在线随机蕨类分类器)，将更新好的位置模型与尺度模型作用于下一帧跟踪。

本发明利用响应图峰值与现有的基于判别相关滤波器(简称DCF)产生的相应PSR得分(作为一种动态阈值)进行比较，判断是否进行重检测以及是否进行跟踪模型的更新；区别于传统通过预定义的响应阈值进行重检测与模型更新，本方法能根据时空上下文的实际情况判定是否更新，确保引入的下一帧的背景信息为正确信息。

本发明可以基于从不同视频序列生成的响应图来实现模型的自适应更新，并且避免由逐帧更新的有效性引起的跟踪漂移。该方法可以缓解用于在线模型更新的噪声样本问题，并在复杂的场景中有效地应对挑战，例如在长期跟踪期间的遮挡，突然运动，变形，视野和显着的尺度变化。

本发明只改变重检测与模型更新的条件，其他方法均为现有技术。

如图2至图17，均是由matlab软件自动生成的，图2至图17从多方面对比本方法(Ours)与其他方法(或算法)的跟踪精准度与跟踪成功率。图2至图17右边方框中的内容，依次从上到下表示该方法(或算法)从优到劣。如图2至图17可以看出，本方法在OTB-2013数据集中在50个视频序列与OTB-2015数据集中在100个视频序列中基本处于优势第一的位置，本方法对比其他方法在跟踪精准度与跟踪成功率方面存在很大的优势。

图2至图17中的精确度曲线图的含义为：在跟踪精度评估中，一个被广泛使用的标准是中心位置误差，其被定义为跟踪目标的中心位置和手工标定的准确位置之间的平均欧氏距离。精确度图能够显示出评估的位置在给定的准确值的阈值距离之内的帧数占总帧数的百分比。

图2至图17中的成功率曲线图的含义为：在成功率评估中，评估标准是边界框的重叠率。假设跟踪的边界框为γ_t，准确的边界框是γ_a，重叠率被定义为S＝|γ_t∩γ_a|/|γ_t∪γ_a|，其中∩和∪分别表示两个区域的交集和并集，|·|指其区域内的像素点个数。为了估量算法在一系列帧中的性能，我们计算重叠率S大于给定的阈值t_o的成功帧的数量。成功率图给出了此阈值从0到1变化时成功帧所占的比例。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种通过时空上下文进行视觉跟踪的方法，包括如下步骤：

步骤1：初始化参数；

步骤2：训练上下文感知滤波器得到位置模型；

步骤3：训练尺度相关滤波器的最大尺度响应值得到尺度模型；

步骤4：分类器输出响应图；判别相关滤波器生成与响应图峰值对应的峰值旁瓣比；

其特征在于：还包括：

步骤5：对比响应图峰值与峰值旁瓣比，如果响应图峰值大于峰值旁瓣比，则引入在线随机蕨分类器进行重检测；如果响应图峰值小于峰值旁瓣比，则更新步骤2的位置模型和步骤3的尺度模型；如果响应图峰值等于峰值旁瓣比，则继续维持当前视觉跟踪状态；

步骤6：将更新好的位置模型与尺度模型作用于下一帧跟踪；返回步骤4。

2.根据权利要求1所述的一种通过时空上下文进行视觉跟踪的方法，其特征在于：所述步骤2与所述步骤3的顺序可调换。

3.根据权利要求1所述的一种通过时空上下文进行视觉跟踪的方法，其特征在于：所述步骤5中，位置模型更新的具体步骤如下：采用线性插值法对上下文感知滤波器进行参数更新，其更新方式如下公式：

其中i是当前帧的序号；η是学习速率；为分类器参数；为目标位置模型的参数；

位置模型更新即为与的更新。

4.根据权利要求1所述的一种通过时空上下文进行视觉跟踪的方法，其特征在于：所述步骤5中，尺度模型更新的具体包括如下公式：

其中，H为频域中的尺度相关滤波器，l为维数，H^l为第l维的尺度相关滤波器；F^k的为第k个训练样本，F^l为第l维的训练样本，G为理想相关输出，为理想相关输出的复共轭，为第k个训练样本的复共轭，λ为正则项权重因子，t为帧序号，d与k为特征维度数；

对(1)式中H^l的分子分母分别进行更新，得到以下两式：

其中η为学习速率，F_t ^k为第k个训练样本，为第k个训练样本的复共轭，G_t为理想相关输出，F_t ^l为第l维的训练样本，λ为正则项权重因子，t为帧序号，l为维数，d与k为特征维度数；

尺度模型更新即为更新与B_t的更新。