CN108549839B - 自适应特征融合的多尺度相关滤波视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种自适应特征融合的多尺度相关滤波视觉跟踪方法，该方法步骤包括：首先使用上下文感知相关滤波框架分别对目标Hog特征和color特征进行相关滤波，归一化两种特征下的响应值，按照响应值占比分配权重并线性加权融合，得到融合后的最终响应图，然后将其与预定义响应阈值进行判断是否更新滤波模型。最后在跟踪过程中引入尺度相关滤波器，提高算法的尺度适应能力。本发明的方法能够结合多种特征跟踪，发挥各自特征的性能优势，设计一种模型自适应的更新方法，此外还引入了一种精确尺度估计机制。能够有效地提高提高模型的更新质量以及跟踪精确度，并在尺度变化，快速运动，形变，遮挡等复杂场景下具有较好的鲁棒性。

Description

自适应特征融合的多尺度相关滤波视觉跟踪方法

技术领域

本发明涉及计算机视觉的视觉跟踪领域，特别是涉及一种自适应特征融合的多尺度相关滤波视觉跟踪方法。

背景技术

视觉跟踪是计算机视觉领域一个基本研究问题，并且在视频监控，无人驾驶，人机交互，军事制导等领域中有广泛的运用。尽管近十几年来得到较好的发展，并且大量经典优秀的算法相继被提出，但其仍然是一个极具挑战的问题，存在着许多外界因素的干扰，例如光照变化、快速运动、遮挡和形变等。如何实现更加准确地跟踪，以及更好适应各种复杂场景的挑战是目前视觉跟踪领域研究的重要课题。

一方面目前单一特征视觉跟踪算法不能够较好地适应复杂场景的挑战，经常受到目标的尺度变化、形变、快速运动和遮挡等影响而引起跟踪框发生漂移，进而导致跟踪失败。另一方面，在跟踪过程中当目标遇到复杂场景变化后，在此期间将会产生一些错误的跟踪信息，这些信息将会被引入至模型更新过程中，在模型更新时将会被传递至下一帧中，长期积累将会引起模型质量变差，最终导致跟踪失败。

基于如上所述，本发明人对其进一步的探索和研究，提出一种自适应特征融合的多尺度相关滤波视觉跟踪方法。

发明内容

本发明的目的在于提供一种自适应特征融合的多尺度相关滤波视觉跟踪方法，结合多特征融合丰富特征表达的多样性，并提高尺度适应能力，及滤波模型的更新质量，改善算法的跟踪效率。

为了达成上述目的，本发明的解决方案是：

一种自适应特征融合的多尺度相关滤波视觉跟踪方法，包括以下步骤：

步骤1、初始化：目标周围区域，理想尺度滤波输出标准差，滤波器正则化权重因子λ,λ1,λ2，跟踪模型学习因子η，权重更新因子δ，尺度级数S，尺度增量因子a，响应阈值T的初始化设置；并且采用的Hog特征大小为4pixel×4pixel的目标单元，采用M×N的网格单元表示目标候选窗口图像块z的大小，并与跟踪框大小成比例；

步骤2、采用上下文感知相关滤波框架读取视频序列，该框架分为三个步骤，分别为分类器训练、位置预测和模型更新，其中分类器训练的具体步骤如下：

步骤2A、分类器将目标候选窗口图像块z的所有通过循环移位得到的训练样本形成数据矩阵D₀和期望输出y，通过优化如下公式(1)：

可以得到一个对目标图像块具有高响应，对上下文图像块接近零响应的滤波器h；

步骤2B、将上下文图像块作为正则化矩阵加入公式(2)：

在每一帧中采样k个上下文图像块，其中D_i∈R^n×n和D₀∈R^n×n为相应的循环矩阵，R^{n ×n}为n×n维的样本空间，i，k为循环矩阵D_i的下标，它们包含了形成各种干扰项和复杂背景的全局上下文图像块，λ₁和λ₂为正则化权重因子防止过拟合；

步骤2C、由于目标图像块内包含许多上下文图像块，而且生成了一个(k+1)n×n维的数据矩阵C∈R^(k+1)n×n，公式(2)写成如下公式(3):

其中

为新的期望输出。

步骤2D、由于目标函数f_p(h,C)是凸函数，可以通过求导将其最小化得到公式(4)：

其中，λ₁为正则化权重，

为新的期望输出；

步骤2E、利用循环矩阵的性质可求得其在傅利叶域的封闭解为：

其中，·为矩阵元素之间的点积，λ₁和λ₂为正则化权重更新因子防止过拟合；

通过公式(5)训练得到一个对目标图像块具有高响应而对上下文区域具有低响应的滤波器h，并将其用于目标位置预测；

位置预测具体步骤如下：将得到的滤波器h和下一帧候选窗口图像块z卷积，Z为其循环矩阵,然后查找所有测试样本响应向量y_p(z,h)的最大响应的位置为目标的预测位置,对于给定的单个候选窗口图像块z，分类器的响应输出为如下公式(6)：

其中

为逆傅里叶变换，·表示元素点积运算；

模型更新的具体步骤如下：采用线性插值法来更新参数，其更新方式如下公式(7a)、(7b)：

其中i是当前帧的序号，η是学习因子，

为预测位置由训练样本通过公式(5)得到的分类器参数；

为预测位置的目标外观模型；

步骤3、采用上下文感知相关滤波框架对目标图像块提取Hog特征；

步骤3A、使用公式(6)计算滤波响应值记为Hog_Rt；

步骤3B、对计算得到的响应值Hog_Rt进行归一化处理，并根据响应值所占比例分配权重；Hog特征在t帧的归一化权重为如下公式(8)：

其中，f_Hog为Hog特征对应分类器的输出响应值，f_CN为CN特征对应分类器的输出响应值；

步骤4、采用上下文感知相关滤波框架对目标图像块提取颜色(CN)特征；

步骤4A、使用公式(6)计算滤波响应值记为CN_Rt；

步骤4B、对计算得到的响应值CN_Rt进行归一化处理，并根据响应值所占比例分配权重,CN特征在t帧的归一化权重为如下公式(8)：

其中，f_Hog为Hog特征对应分类器的输出响应值，f_CN为CN特征对应分类器的输出响应值；

步骤5、用第t帧的权重来更新原有的Hog特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，

为Hog特征在第t帧权重，

步骤6、用第t帧的权重来更新原有的CN特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，

为CN特征在第t帧权重，

步骤7、根据各特征响应值大小为Hog特征和CN特征分配权重，将得到的最终融合后的响应图进行线性加权融合得到如下公式(12)：

并将得到的最大响应图R_max用于目标的初始位置估计；

步骤8、引入一种自适应尺度估计机制，提高尺度变化适应能力，具体步骤如下：

首先提取尺度评估目标图像块尺寸为:

其中，P、R分别为目标前一帧的宽、高，a为尺度因子，s为尺度滤波长度；

步骤8A、由于输入样本中某一个图像块具有d维特征描述，为了得到最佳尺度相关滤波器w,可以通过最小化如下代价函数即公式(14)：

其中，w为相关滤波器，g为理想相关输出，l表示特征的某一维度，λ为正则项系数；

步骤8B、公式(14)在频域中的解为公式(15)：

其中

代表复共轭，λ为正则项权重因子，t为帧序号；d,k为特征维度数；

步骤8C、为了得到鲁棒的结果，对公式(15)中的W^l分子分母分别进行更新：

其中η为学习因子，

代表复共轭，λ为正则项权重因子，t为帧序号，d,k为特征维度数；

步骤8D、在下一帧中，尺度滤波器的响应可通过求解公式(18)来确定：

步骤9、设定一个响应阈值T,当公式(12)得到的最大响应值R_max>T时，更新位置滤波模型即公式(7a)和公式(7b)，尺度滤波模型即公式(16)和公式(17)；

步骤9A、当前序列滤波模型更新结束后，然后再更新公式(10)、公式(11)对应的两种特征权重更新因子；

步骤10、若公式(12)得到的最大响应值R_max<T，则不更新当前序列滤波模型，而采用步骤8所述的尺度估计方法进行尺度估计，并进入至下一帧目标的跟踪。

采用上述技术方案后，本发明具有以下特点：

一、结合了Hog和CN等多种特征对目标表观，能够充分地利用各自特征的性能优势，可以有效地避免单一特征表达有限的问题，提高了算法的整体性能。

二、采用一种模型自适应的更新方法来更新位置和尺度滤波模型，与传统的跟踪方法每帧更新模型不同的是通过设定预定义响应阈值，将融合后得到的最终滤波响应值与预定义阈值进行判断是否更新模型，这样可以在一定程度上避免一些错误的更新信息被传递至下一帧，可以提高模型更新质量以及跟踪效率。

三、本发明基于上下文感知相关滤波框架，该框架能够在一定程度上提高目标在激烈外观变化以及背景混乱下跟踪性能，并且在跟踪过程中引入一种自适应尺度估计方法，能够在一定程度上提高尺度变化适应能力，提高算法跟踪精度。

下面结合附图和具体实施方式对本发明的技术方案进行详细说明。

附图说明

图1是本发明一种自适应特征融合的多尺度相关滤波视觉跟踪方法的流程简图。

图2是本发明在OTB-2015数据集中在60个视频序列的精确度曲线和成功率曲线图。

图3是本发明在OTB-2015数据集中在60个数据属性精确度曲线和成功率曲线图。

具体实施方式

如图1所示本发明实施例揭示的一种自适应特征融合的多尺度相关滤波视觉跟踪方法，具体包括以下步骤：

一种自适应特征融合的多尺度相关滤波视觉跟踪方法，包括以下步骤：

步骤1、初始化：目标周围区域，理想尺度滤波输出标准差，滤波器正则化权重因子λ,λ1,λ2，跟踪模型学习因子η，权重更新因子δ，尺度级数S，尺度增量因子a，响应阈值T的初始化设置；并且采用的Hog特征大小为4pixel×4pixel的目标单元，采用M×N的网格单元表示目标候选窗口图像块z的大小，并与跟踪框大小成比例；

步骤2、采用上下文感知相关滤波框架读取视频序列，该框架分为三个步骤，分别为分类器训练、位置预测和模型更新，其中分类器训练的具体步骤如下：

步骤2A、分类器将目标候选窗口图像块z的所有通过循环移位得到的训练样本形成数据矩阵D₀和期望输出y，通过优化如下公式(1)：

可以得到一个对目标图像块具有高响应，对上下文图像块接近零响应的滤波器h；

步骤2B、将上下文图像块作为正则化矩阵加入公式(2)：

在每一帧中采样k个上下文图像块，其中D_i∈R^n×n和D₀∈R^n×n为相应的循环矩阵，R^{n ×n}为n×n维的样本空间，i，k为循环矩阵D_i的下标，它们包含了形成各种干扰项和复杂背景的全局上下文图像块，λ₁和λ₂为正则化权重因子防止过拟合；

步骤2C、由于目标图像块内包含许多上下文图像块，而且生成了一个(k+1)n×n维的数据矩阵C∈R^(k+1)n×n，公式(2)写成如下公式(3):

其中

为新的期望输出。

步骤2D、由于目标函数f_p(h,C)是凸函数，可以通过求导将其最小化得到公式(4)：

其中，λ₁为正则化权重，

为新的期望输出；

步骤2E、利用循环矩阵的性质可求得其在傅利叶域的封闭解为：

其中，·为矩阵元素之间的点积，λ₁和λ₂为正则化权重更新因子防止过拟合；

通过公式(5)训练得到一个对目标图像块具有高响应而对上下文区域具有低响应的滤波器h，并将其用于目标位置预测；

位置预测具体步骤如下：将得到的滤波器h和下一帧候选窗口图像块z卷积，Z为其循环矩阵,然后查找所有测试样本响应向量y_p(z,h)的最大响应的位置为目标的预测位置,对于给定的单个候选窗口图像块z，分类器的响应输出为如下公式(6)：

其中

为逆傅里叶变换，·表示元素点积运算；

模型更新的具体步骤如下：采用线性插值法来更新参数，其更新方式如下公式(7a)、(7b)：

其中i是当前帧的序号，η是学习因子，

为预测位置由训练样本通过公式(5)得到的分类器参数；

为预测位置的目标外观模型；

步骤3、采用上下文感知相关滤波框架对目标图像块提取Hog特征；

步骤3A、使用公式(6)计算滤波响应值记为Hog_Rt；

步骤3B、对计算得到的响应值Hog_Rt进行归一化处理，并根据响应值所占比例分配权重；Hog特征在t帧的归一化权重为如下公式(8)：

其中，f_Hog为Hog特征对应分类器的输出响应值，f_CN为CN特征对应分类器的输出响应值；

步骤4、采用上下文感知相关滤波框架对目标图像块提取颜色(CN)特征；

步骤4A、使用公式(6)计算滤波响应值记为CN_Rt；

步骤4B、对计算得到的响应值CN_Rt进行归一化处理，并根据响应值所占比例分配权重,CN特征在t帧的归一化权重为如下公式(8)：

其中，f_Hog为Hog特征对应分类器的输出响应值，f_CN为CN特征对应分类器的输出响应值；

步骤5、用第t帧的权重来更新原有的Hog特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，

为Hog特征在第t帧权重，

步骤6、用第t帧的权重来更新原有的CN特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，

为CN特征在第t帧权重，

步骤7、根据各特征响应值大小为Hog特征和CN特征分配权重，将得到的最终融合后的响应图进行线性加权融合得到如下公式(12)：

并将得到的最大响应图R_max用于目标的初始位置估计；

步骤8、引入一种自适应尺度估计机制，提高尺度变化适应能力，具体步骤如下：

首先提取尺度评估目标图像块尺寸为:

其中，P、R分别为目标前一帧的宽、高，a为尺度因子，s为尺度滤波长度；

步骤8A、由于输入样本中某一个图像块具有d维特征描述，为了得到最佳尺度相关滤波器w,可以通过最小化如下代价函数即公式(14)：

其中，w为相关滤波器，g为理想相关输出，l表示特征的某一维度，λ为正则项系数；

步骤8B、公式(14)在频域中的解为公式(15)：

其中

代表复共轭，λ为正则项权重因子，t为帧序号；d,k为特征维度数；

步骤8C、为了得到鲁棒的结果，对公式(15)中的W^l分子分母分别进行更新：

其中η为学习因子，

代表复共轭，λ为正则项权重因子，t为帧序号，d,k为特征维度数；

步骤8D、在下一帧中，尺度滤波器的响应可通过求解公式(18)来确定：

步骤9、设定一个响应阈值T,当公式(12)得到的最大响应值R_max>T时，更新位置滤波模型即公式(7a)和公式(7b)，尺度滤波模型即公式(16)和公式(17)；

步骤9A、当前序列滤波模型更新结束后，然后再更新公式(10)、公式(11)对应的两种特征权重更新因子；

步骤10、若公式(12)得到的最大响应值R_max<T，则不更新当前序列滤波模型，而采用步骤8所述的尺度估计方法进行尺度估计，并进入至下一帧目标的跟踪，具体实施步骤详见图1，实验效果详见图2及图3。

上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (1)

1.一种自适应特征融合的多尺度相关滤波视觉跟踪方法，包括以下步骤：

步骤1、初始化：目标周围区域，理想尺度滤波输出标准差，滤波器正则化权重因子λ,λ1,λ2，跟踪模型学习因子η，权重更新因子δ，尺度级数S，尺度增量因子a，响应阈值T的初始化设置；并且采用的Hog特征大小为4pixel×4pixel的目标单元，采用M×N的网格单元表示目标候选窗口图像块z的大小，并与跟踪框大小成比例；

步骤2、采用上下文感知相关滤波框架读取视频序列，该框架分为三个步骤，分别为分类器训练、位置预测和模型更新，其中分类器训练的具体步骤如下：

步骤2A、分类器将目标候选窗口图像块z的所有通过循环移位得到的训练样本形成数据矩阵D₀和期望输出y，通过优化如下公式(1)：

可以得到一个对目标图像块具有高响应，对上下文图像块接近零响应的滤波器h；

步骤2B、将上下文图像块作为正则化矩阵加入公式(2)：

在每一帧中采样k个上下文图像块，其中D_i∈R^n×n和D₀∈R^n×n为相应的循环矩阵，R^n×n为n×n维的样本空间，i，k为循环矩阵D_i的下标，它们包含了形成各种干扰项和复杂背景的全局上下文图像块，λ₁和λ₂为正则化权重因子防止过拟合；

步骤2C、由于目标图像块内包含许多上下文图像块，而且生成了一个(k+1)n×n维的数据矩阵C∈R^(k+1)n×n，公式(2)写成如下公式(3):

其中

为新的期望输出；

步骤2D、由于目标函数f_p(h,C)是凸函数，可以通过求导将其最小化得到公式(4)：

其中，λ₁为正则化权重，

为新的期望输出；

步骤2E、利用循环矩阵的性质可求得其在傅利叶域的封闭解为：

其中，·为矩阵元素之间的点积，λ₁和λ₂为正则化权重更新因子防止过拟合；

通过公式(5)训练得到一个对目标图像块具有高响应而对上下文区域具有低响应的滤波器h，并将其用于目标位置预测；

位置预测具体步骤如下：将得到的滤波器h和下一帧候选窗口图像块z卷积，Z为其循环矩阵,然后查找所有测试样本响应向量y_p(z,h)的最大响应的位置为目标的预测位置,对于给定的单个候选窗口图像块z，分类器的响应输出为如下公式(6)：

其中

为逆傅里叶变换，·表示元素点积运算；

模型更新的具体步骤如下：采用线性插值法来更新参数，其更新方式如下公式(7a)、(7b)：

其中i是当前帧的序号，η是学习因子，

为预测位置由训练样本通过公式(5)得到的分类器参数；

为预测位置的目标外观模型；

步骤3、采用上下文感知相关滤波框架对目标图像块提取Hog特征；

步骤3A、使用公式(6)计算滤波响应值记为Hog_Rt；

步骤3B、对计算得到的响应值Hog_Rt进行归一化处理，并根据响应值所占比例分配权重；Hog特征在t帧的归一化权重为如下公式(8)：

其中，f_Hog为Hog特征对应分类器的输出响应值，f_CN为CN特征对应分类器的输出响应值；

步骤4、采用上下文感知相关滤波框架对目标图像块提取颜色特征CN；

步骤4A、使用公式(6)计算滤波响应值记为CN_Rt；

步骤4B、对计算得到的响应值CN_Rt进行归一化处理，并根据响应值所占比例分配权重,CN特征在t帧的归一化权重为如下公式(8)：

其中，f_Hog为Hog特征对应分类器的输出响应值，f_CN为CN特征对应分类器的输出响应值；

步骤5、用第t帧的权重来更新原有的Hog特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，

为Hog特征在第t帧权重，

步骤6、用第t帧的权重来更新原有的CN特征权重：

其中δ为权重更新因子，第一帧权重更新因子设为0.5，

为CN特征在第t帧权重，

步骤7、根据各特征响应值大小为Hog特征和CN特征分配权重，将得到的最终融合后的响应图进行线性加权融合得到如下公式(12)：

并将得到的最大响应图R_max用于目标的初始位置估计；

步骤8、引入一种自适应尺度估计机制，提高尺度变化适应能力，具体步骤如下：

首先提取尺度评估目标图像块尺寸为:

其中，P、R分别为目标前一帧的宽、高，a为尺度因子，s为尺度滤波长度；

步骤8A、由于输入样本中某一个图像块具有d维特征描述，为了得到最佳尺度相关滤波器w,可以通过最小化如下代价函数即公式(14)：

其中，w为相关滤波器，g为理想相关输出，l表示特征的某一维度，λ为滤波器正则化权重因子；

步骤8B、公式(14)在频域中的解为公式(15)：

其中

代表复共轭，λ为正则项权重因子，t为帧序号；d,k为特征维度数；

步骤8C、为了得到鲁棒的结果，对公式(15)中的W^l分子分母分别进行更新：

其中η为学习因子，

代表复共轭，λ为正则项权重因子，t为帧序号，d,k为特征维度数；

步骤8D、在下一帧中，尺度滤波器的响应可通过求解公式(18)来确定：

步骤9、设定一个响应阈值T,当公式(12)得到的最大响应值R_max>T时，更新位置滤波模型即公式(7a)和公式(7b)，尺度滤波模型即公式(16)和公式(17)；

步骤9A、当前序列滤波模型更新结束后，然后再更新公式(10)、公式(11)对应的两种特征权重更新因子；

步骤10、若公式(12)得到的最大响应值R_max<T，则不更新当前序列滤波模型，而采用步骤8所述的尺度估计方法进行尺度估计，并进入至下一帧目标的跟踪。

Images