CN107481264B - 一种自适应尺度的视频目标跟踪方法 - Google Patents

Abstract

本发明提供了一种自适应尺度的视频目标跟踪方法。该方法首先给定初始帧目标的位置及尺度信息，对其进行循环移位获得训练样本；然后对核化的岭回归分类器进行求解，获得滤波模板，并对候选样本进行检测，估计出目标的位置；接着基于求出的目标位置与前一帧目标的大小，对尺度样本进行检测，由最大的响应值确定当前帧目标的尺度；最后根据遮挡检测机制，在线更新目标和尺度模型参数。本发明不仅能适应光照、姿态变化、背景干扰等复杂场景，而且当目标受到严重遮挡和发生尺度变化时，仍然能够有效的对目标进行跟踪，具有较好的跟踪精度和鲁棒性。

Description

一种自适应尺度的视频目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，涉及自适应尺度变化的视频目标跟踪方法，应用于智能视频处理领域中的运动目标跟踪，适用于运动目标尺度不断变化时的跟踪。

背景技术

运动目标跟踪是计算机视觉领域的研究重点之一，其目的是在视频序列中估计出感兴趣的目标位置及其运动轨迹，在智能视频监控、人机交互、机器人学和无人驾驶等领域有着广泛的应用。

近年来，基于判别式的跟踪方法表现出了良好的跟踪性能，该方法引入机器学习的思想，将目标跟踪看成一个二分类问题，利用目标及其周围的背景信息，通过在线学习一个判别式的分类器，对候选样本进行评估来定位目标区域。随着机器学习中分类方法的发展，基于判别式的跟踪方法由于其在线学习的优势和高效的性能在近年来有了越来越多的发展和应用，具有代表性的判别式跟踪器如：Ensemble Tracking、多实例学习跟踪器、TLD跟踪器等。从实时性考虑，这些算法的训练和检测过程只选取了有限数量的样本，无法获得可靠的分类器模型。相关滤波在跟踪领域的引入在一定程度上缓和了这个问题，文献《Exploiting the Circulant Structure of Tracking-by-Detection with Kernels》(作者：

F.Henriques,Rui Caseiro,Pedro Martins等，European Conference onComputer Vision,2012,7575(1):702-715)提出了基于循环结构的检测跟踪(CirculantStructure of tracking-by-detection with Kernel，CSK)算法，通过对训练样本和候选样本进行循环移位，近似目标的密度采样，获得可靠的目标外观模型和目标位置的检测。文献《Adaptive Color Attributes for Real-time Visual Tracking》(作者：MartinDanelljan,Fahad Shahbaz Khan,Michael Felsberg等，IEEE Conference on ComputerVision and Pattern Recognition，2014：1090-1097)在CSK跟踪框架的基础上，用色名(Color Name，CN)属性对目标进行描述，并采用自适应降维的方法，提出了CNT(Color NameTracker)跟踪器，比其他基于颜色空间的特征有更好的跟踪效果。文献《High-SpeedTracking with Kernelized Korrelation Filters》(作者：

F.Henriques,RuiCaseiro,Pedro Martins等，IEEE Transactions on Pattern Analysis and MachineIntelligence.2015,37(3):583-596)所提出的相关滤波(Kernelized CorrelationFilter，KCF)跟踪算法用方向梯度直方图(HOG)特征代替CSK算法中的灰度特征，提高了算法跟踪的鲁棒性。KCF算法由于其简单的算法结构和快速高效的表现成为近年来高性能的跟踪器之一。

上述运动目标跟踪算法存在的技术缺陷为：CSK和KCF跟踪器均使用的是初始帧的目标尺寸去描述目标，无法解决目标尺度变化的问题，同时采用连续的模板更新，没有考虑目标受到遮挡时引入干扰物信息的问题。

发明内容

本发明的目的是针对KCF运动目标跟踪算法不能适应目标尺度变化和模板更新的问题对该算法进行改进，提供了一种尺度自适应的视频目标跟踪方法，该方法在获得目标位置后，根据前一帧目标的大小获得尺度样本进行检测，由最大响应值对应的尺度估计出当前目标的大小；同时在模板更新过程中加入遮挡检测，当判断目标受到遮挡时，减弱含有干扰信息的目标模型在分类器模型更新中的比重，以实现目标的持续鲁棒跟踪。

本发明的目的是通过下述技术方案实现的。

自适应尺度的视频目标跟踪方法，具体步骤如下：

步骤1：在视频第一帧中确定目标跟踪区域，若目标区域的宽和高分别为w和h，则目标模板大小为M＝w×h；同时目标尺度记为S₁，遮挡阈值和面积阈值分别记为T₁、T₂。

步骤2：根据目标中心提取样本模板x，对其进行循环移位构造大量的训练样本x_i(i＝1,2,…,n)，提取其HOG特征，通过求解正则化最小二乘分类器获得滤波模板系数α₁＝[α₁,α₂,…,α_n]。

步骤3：读取下一帧(第t帧)图像，以前一帧(第t-1帧)目标中心为初始中心提取图像块z，循环移位获得候选样本集z_i(i＝1,2,…,n)，对其进行检测获得候选样本对应特征的响应值r_i，由最大的响应值r_max(z)得到第t帧目标的位置p_t。

步骤4：在p_t处以t-1帧目标尺度S_t-1为基准，提取多种不同尺度的图像块。

步骤5：将不同尺度图像块调整到与模板M大小相同的尺寸，对候选尺度样本进行检测获得对应样本的响应值y_g，由最大的响应值对应的尺度样本的大小获得当前帧的目标尺度S_t。

步骤6：在p_t处提取S_t尺度的目标图像块x，将其调整到模板M大小训练其循环移位样本集，获得当前帧滤波模板α_t、外观模型x_t和尺度滤波模板的分子与分母A_t和B_t。

步骤7：根据遮挡检测机制，判断目标是否受到遮挡。如果受到遮挡，减弱当前帧的参数在更新中的比重，否则按照原来的更新方法继续跟踪。

步骤8：重复步骤3、4、5、6、7，直到视频结束。

有益效果：本发明的有益效果是，在复杂场景中，当目标受到严重遮挡和发生尺度变化时，能够有效的对目标进行跟踪。其优点在于：(1)引入目标的尺度估计方法，使算法跟踪框能够随着目标大小自适应的变化；(2)引入检测模板更新的遮挡检测方法，避免了加入过多的背景信息和丢失过多的目标信息等问题，从而建立了更可靠的目标外观模型，提高了算法的准确性。

附图说明

图1为本发明的流程图。

图2为对存在尺度变化的singer1视频序列的跟踪结果示意图。

图3为对存在遮挡情况的jogging视频序列的跟踪结果示意图。

图4为对同时存在尺度与遮挡情况的walking2视频序列的跟踪结果示意图。

图5为本发明与CSK、KCF算法的精度曲线对比图。

图6为本发明与CSK、KCF算法的成功率曲线对比图。

具体实施方式

下面将结合附图对本发明的实施作进一步的描述。

本发明是一种自适应尺度变化的视频目标跟踪方法，参见图1，包括以下步骤：

步骤1：读取视频第一帧图像，确定目标跟踪区域，若目标区域的宽和高分别为w,h，则目标模板大小为M＝w×h；同时目标尺度记为S₁，遮挡阈值和面积阈值分别记为T₁、T₂。

步骤2：根据目标中心提取样本模板x，对其进行循环移位构造大量的训练样本x_i(i＝1,2,…,n)，提取其HOG特征，然后求解岭回归分类器，即

其中，ε||w||²为惩罚项，ε为惩罚系数，用来防止过拟合。式(1)的解可以表示为所有输入样本x_i的线性联合:

于是对风险参数w的求解就转化为对单一因数对偶变量α的求解。于是最小化岭回归函数的封闭解为

α＝(k+εI)^-1r (2)

其中，k是核矩阵，其元素k_ij＝k(x_i,x_j)，I是单位矩阵，向量α＝[α₁,α₂,…,α_n]，r＝[r₁,r₂,…,r_n]。为了减少计算量，将式(2)的解转换到频域求解为

步骤3：读取下一帧(第t帧)图像，以前一帧(第t-1帧)目标中心为初始中心提取图像块z，循环移位获得候选样本集z_i(i＝1，2，…，n)，对其进行检测，即

将其转换到频域的计算公式为

r＝F^-1(F(k)·F(α)) (4)

其中，向量k的元素k_j＝k(z_j,x_i)，是样本x_i与z_j的核化相关向量，获得候选样本对应特征的响应值r_i后，由最大的响应值r_max(z)获得第t帧目标的位置p_t。

步骤4：在p_t处以t-1帧目标尺度S_t-1为基准，提取多种不同尺度的图像块，其尺度记为S_g＝r^aS_t-1，g＝1,2,…,2l+1，其中r是尺度变换因子，取值为1.03；a为[-l,l]之间的整数，令l＝16。

步骤5：将不同尺度图像块调整到与模板M大小相同的尺寸，对候选尺度样本进行检测，即

其中，A_g＝F^*(q)F(f^g)，

获得对应样本的响应值y_g后，由最大的响应值对应的尺度样本的大小获得当前帧的目标尺度S_t。

步骤6：在p_t处提取S_t尺度的目标图像块x，将其调整到模板M大小训练其循环移位样本集，获得当前帧滤波模板α_t、外观模型x_t和尺度滤波模板的分子与分母A_t和B_t。

步骤7：求取满足大于T₁·r_max(z)的最小响应值对应的位置值p_min(z)，然后计算最大响应值与满足一定阈值的最小响应值的位置的欧氏距离：

令S＝pi·d²，如果S＞T₂·w·h，判断目标受到遮挡，更新下面各参数，令更新的学习速率θ＝0.01，否则θ＝0.02。参数更新如下：

α_t＝(1-θ)α_pre+θα_new (6)

H_t＝(1-θ)H_pre+θH_new (7)

A_t＝(1-θ)A_t-1+θA_t＝(1-θ)A_t-1+θF^*(q)F(f^l) (8)

步骤8：重复步骤3、4、5、6、7，直到视频结束。

本发明通过两种评估标准来衡量跟踪器的性能，分别为距离精度(DistancePrecision，DP)和成功率(Success Rate，SR)，均称为一次性评估(One-pass Evaluation，OPE)。DP为中心位置误差小于某一阈值T(T∈[1,50])的帧数占总帧数的比值，SR表示实验获取的跟踪框与其真实跟踪框之间的重叠度超过一定阈值T(T∈[0,1])的帧数与总帧数的比值。

通过上述两种方式，对标准视频库中的视频序列进行测试，在不同的挑战因素下，如尺度与光照变化、快速运动、遮挡等情况下与CSK和KCF进行对比。为了比较直观的说明本发明的效果，从视频库里选取了三组视频序列进行测试，图2为存在尺度变化等情况的singer1跟踪结果，图3为存在遮挡等情况的jogging跟踪结果，图4为同时存在尺度与遮挡等的walking2跟踪结果，图5和图6从精度和成功率两个方面给出了本发明与其他两种跟踪器(CSK和KCF)的性能对比图。

上面结合附图对本发明进行了示例性的描述。显然，本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (2)

1.用于视频图像分析的一种自适应尺度的视频目标跟踪方法，其特征在于该方法按以下步骤实现：

步骤1：在视频第一帧中确定目标跟踪区域，若目标区域的宽和高分别为w和h，则目标模板大小为M＝w×h；同时目标尺度记为S₁，遮挡阈值和面积阈值分别记为T₁、T₂；

步骤2：根据目标中心提取样本模板x，对其进行循环移位构造大量的训练样本x_i，i＝1,2,...,n，提取其HOG特征，通过求解正则化最小二乘分类器获得滤波模板系数α₁＝[α₁,α₂,…,α_n]；

步骤3：读取第t帧图像，以第t-1帧目标中心为初始中心提取图像块z，循环移位获得候选样本集z_i，其中i＝1,2,...,n，对其进行检测获得候选样本对应特征的响应值r_i，由最大的响应值r_max(z)得到第t帧目标的位置p_t；

步骤4：在p_t处以t-1帧目标尺度S_t-1为基准，提取多种不同尺度的图像块，包括：

在p_t处以前一帧目标尺度S_t-1为基准，提取多种不同尺度的图像块，其尺度记为S_g，g＝1,2,...,2l+1，即S_g＝r^aS_t-1；其中r是尺度变换因子，取值为1.03；a为[-l,l]之间的整数，令l＝16；

步骤5：将不同尺度图像块调整到与模板M大小相同的尺寸，对候选尺度样本进行检测获得对应样本的响应值y_g，由最大的响应值对应的尺度样本的大小获得当前帧的目标尺度S_t；

步骤6：在p_t处提取S_t尺度的目标图像块，将其调整到模板M大小训练其循环移位样本集，获得当前帧滤波模板α_t、外观模型x_t和尺度滤波模板的分子与分母A_t和B_t；

步骤7：根据遮挡检测机制，判断目标是否受到遮挡；如果受到遮挡，减弱当前帧的参数在更新中的比重，否则按照原来的更新方法继续跟踪，包括：

求取满足大于T₁·r_max(z)的最小响应值对应的位置值p_min(z)，然后计算最大响应值与满足一定阈值的最小响应值的位置的欧氏距离：

令S＝pi·d²，如果S＞T₂·w·h，判断目标受到遮挡，更新下面各参数，令更新的学习速率θ＝0.01，否则θ＝0.02；参数更新如下：

α_t＝(1-θ)α_pre+θα_new (6)

H_t＝(1-θ)H_pre+θH_new (7)

A_t＝(1-θ)A_t-1+θA_t＝(1-θ)A_t-1+θF^*(q)F(f^l) (8)

步骤8：重复步骤3、4、5、6、7，直到视频结束。

2.根据权利要求1所述的一种自适应尺度的视频目标跟踪方法，其特征在于：所述步骤6中，将图像块调整到与模板M相同的大小，其原因是：求两个图像块之间的相似性时，利用频域的点积代替时域的卷积特性，这样在获得各参数时只考虑了目标的全部信息排除了背景信息的干扰。

Images