CN109685073A - 一种基于核相关滤波的尺度自适应目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于核相关滤波的尺度自适应目标跟踪算法，属于计算机视觉领域。包括：选取第一帧待跟踪目标，确定为候选区域；提取候选区域的梯度方向直方图（HOG）特征，进行余弦加权；用KCF算法将候选区域进行循环移位产生训练样本，根据样本训练得到的位置滤波器与候选样本提取的HOG特征在频域中计算得出响应值，更新当前帧目标位置；以上一帧确定的目标位置为中心，得到尺度滤波器并计算得出响应值，将最大响应值对应的尺度作为当前帧的目标尺度；重新提取样本训练滤波器，以线性内插的方式更新位置滤波器和尺度滤波器，进行后续帧的跟踪；本发明可应用于智能视频监控，企业生产自动化和智能机器人等领域。

Description

一种基于核相关滤波的尺度自适应目标跟踪算法

技术领域

本发明涉及视频目标跟踪，属于计算机视觉领域，尤其涉及一种基于核相关滤波的尺度自适应目标跟踪算法。

背景技术

目标跟踪是计算机视觉领域重要的研究方向之一，其在公共安全监控和管理、医学图像分析、行为理解、视觉导航等方面有着广泛的应用。目前国内外学者主要关注的问题集中在相似目标干扰、目标尺度变化、外观模糊、遮挡以及实际应用中目标跟踪系统实时性等情况下的跟踪鲁棒性，准确性提高上。

近些年来，基于相关滤波器的目标跟踪算法开始崛起，由于其高效的计算效率，正逐渐显示出优越的性能。BolmeD等在Computer Vision and Pattern Recognition(2010:2544-2550)发表的文章“Visual object tracking using adaptive correlationfilters”中最早将相关滤波用于目标跟踪，并基于灰度特征，提出了误差最小平方和滤波器(Minimum Output Sum of Squared Error Filter，MOSSE)，速度高达669fps，满足系统实时性要求。Henriques J等在Computer Vision(2012:702-715)发表的文章“Exploitingthe circulant structure of tracking-by-detection withkernelsfilters”中，在MOSSE基础上引入了循环矩阵和核的概念，提出了基于核的检测-跟踪循环结构跟踪(Circulant Structure of tracking-by-detection with Kernels，CSK)算法，虽然速度有所下降，但是精度上相比MOSSE有了很大提升。Henriques JF等在PatternAnalysis and Machine Intelligence(2015,37(3):583-596)发表的文章“High-speedtracking with kernelized correlation filters”中在CSK基础上采用HOG(Histogramof Oriented Gradients，HOG)特征，并将单通道转化为多通道，提出了核相关滤波器(kernelized correlation filters,KCF)目标跟踪算法，极大的提高了跟踪精度。

然而，上述三种算法由于主要致力于目标位置估计性能的提高，在目标尺度发生较大变化时易发生跟踪漂移。针对该问题，Martin D等在Pattern Analysis and MachineIntelligence(2017,39(3):1561-1575)发表的文章“Discriminative scale spacetracking”中提出了判别尺度空间跟踪方法，有效提高了尺度自适应性能，由于该跟踪算法的计算速度较低，难以满足跟踪系统的实时性要求。

根据以上我们分析，1)传统的KCF跟踪算法，矩形跟踪框的大小在第一帧开始就被固定了，由于KCF有较高的速度优势，如果可以在KCF跟踪的框架上增加尺度估计部分，能够在保证跟踪速度的基础上实现尺度自适应；2)DSST跟踪算法设计了两个相互独立的相关滤波器，分别实现目标跟踪和尺度估计，可以选择不同的特征种类和特征计算方式来训练和测试，因此可以将尺度估计部分融入到任意跟踪算法中；3)如果将KCF算法与DSST算法进行有效融合，则可以在实现目标尺度自适应的同时，保证跟踪系统的实时性要求。

发明内容

本发明提供的一种基于核相关滤波的尺度自适应目标跟踪算法，目的在于达到实用性强，局限性小，更适于工程背景的复杂视频监控场景中，满足鲁棒性,准确性和实时性要求。

为实现上述技术目的，达到上述技术效果，本发明包括如下步骤：

步骤1：手动选择待跟踪目标，建立目标区域的紧包围矩形框，将矩形框区域扩大2.5倍，确定为候选区域；

步骤2：提取候选区域的HOG特征，进行余弦加权，通过傅里叶变换将提取的HOG特征在频域中进行表示；

步骤3：将循环位移产生的样本输入到二维高斯核函数中，生成和样本大小一致的训练标签矩阵；

步骤4：用KCF算法将候选区域进行循环移位产生训练样本，根据样本训练得到位置滤波器；

步骤5：将位置滤波器与候选样本提取的HOG特征在频域中计算得出响应值，根据最大响应值的位置更新当前帧目标位置；

步骤6：以上一帧确定的目标位置为中心，提取33种不同尺度下的HOG特征作为样本训练得到尺度滤波器；

步骤7：将尺度相关滤波器和不同尺度下的样本特征在频域中计算得出响应值，将最大响应值对应的尺度作为当前帧的目标尺度；

步骤8：根据前一帧的目标尺度的变化提取训练集，并重新训练训练分类器；

步骤9：确定当前帧目标位置和尺度；

步骤10：判断当前帧是否为最后一帧，若是，结束；否则转入步骤3。

进一步地，所述步骤2中，提取的HOG特征通过计算和统计被检测的图像的局部区域的方向梯度来构建特征，可以对该目标区域的轮廓、形状信息进行较好的描述，取得了很好的目标跟踪效果。

进一步地，通过循环位移可以产生更多的样本，训练回归器时结合更多的正负样本，可以提高回归器的性能，抑制背景负样本的干扰。

进一步地，目标位置更新过程为：使用高斯核函数，将低维空间线性不可分的特征映射到高维空间之后特征变的线性可分，最小代价函数更新成如下形式：

式中：表示原始输入空间到希尔伯特空间的映射；<·，·>表示内积；w表示训练样本映射函数的线性组合

根据公式(1)求得核化后岭回归的解，利用快速傅里叶变换计算出最大响应值，确定目标位置。

进一步地，目标尺度更新过程为：设训练样本为x₁,L,x_t，每个样本对应的输出为g₁,L,g_t，其峰值位于x_j中心。使用岭回归求解最优尺度相关滤波器h_j，如下：

式中：*表示卷积；λ为正则化项，防止过拟合；

根据Parseval定理，进一步将式(2)转换到频域，如下：

式中：H_t，G_j和X_j的大小均为M×N，表示复共轭矩阵；

求解式(3)得到：

为进一步简化计算，将式(4)的分子和分母分别记为A_j和B_j，对A_j和B_j分别进行更新：

式中：θ为学习率，A_j和A_j-1分别表示当前帧和上一帧的分子。对于新一帧输入样本z，可根据式(7)得到最大尺度相关滤波器响应y：

式中：F^-1表示离散傅里叶逆变换。求得的最大响应值表示新一帧中的目标尺度。

进一步地，用于尺度评估的目标样本候选尺度参数选择原则为：

aⁿP×aⁿR (8)

当前帧提取训练集的尺寸大小：

式中：P和R分别表示在前一帧的宽和高，尺度因子取a＝1.02，尺度滤波器的总级数S＝33，表示向下取整。

进一步地，所述步骤8中，根据上一帧确定的目标尺度大小重新提取样本训练滤波器，以线性内插的方式更新位置滤波器和尺度滤波器。

有益效果

本发明将DSST算法的尺度滤波器融入到KCF算法中，既实现了目标尺度自适应，又能在保证跟踪速度的前提下提高跟踪精度；

首先，本发明利用KCF算法的循环矩阵结构增强基于检测的跟踪方案的判别能力，使算法更高效，进而提高了跟踪器的速度；

其次，提取33种不同尺度下的HOG特征作为样本，训练得到尺度滤波器，将尺度相关滤波器和不同尺度下的样本特征在频域中计算得出响应值，根据最大响应值对应尺度更新当前帧的目标尺度，解决了KCF在目标尺度有明显变化时易丢失目标；

最后，重新设计一个提取训练集的模块，根据上一帧确定的目标尺度大小重新提取样本训练滤波器，并以线性内插的方式更新位置滤波器和尺度滤波器。

附图说明

图1为本发明实施例的流程图；

图2是本发明实施例在分辨率为384×288视频序列上的平均精度图；

图3是本发明实施例在分辨率为384×288视频序列上的平均成功率图；

图4是本发明实施例针对分辨率为384×288视频序列的2帧、100帧、160帧和240帧的目标跟踪结果图。

具体实施方式

以下结合附图说明本发明的实施方式，本发明可通过多种平台实现，也可在其他项目中加以应用。本说明书中的各项细节亦可基于不同的观点与应用，在不背离本发明的精神下进行各种修饰与变更。

请参照图1所示，第一，从第一帧中手动框选择目标矩形区域，将矩形框区域扩大2.5倍，并确定为候选区域，尺度记为m×n；将矩形框内的跟踪目标进行余弦加权，计算得到31维HOG特征图，特征的每个维度以m×n大小的样本输入，记为x₁,x₂,x₃,L,x₃₁。

第二，通过循环偏移从目标周围大小为m×n的图像块x中，构建出分类器的训练样本集x_i(i∈{0,L,m-1}×{0,L,n-1})和相对应的标签y_i。

第三，为了将低维空间线性不可分的特征映射到高维空间之后特征变的线性可分，本发明算法使用高斯核函数，使用高斯核函数后位置滤波器的最小代价函数更新成如下形式：

式中：表示低维向高维的映射函数；<·，·>表示内积；w表示训练样本映射函数的线性组合根据循环矩阵的性质求得在频域中的解为：

式中：F表示离散傅里叶变换，F-¹表示离散傅里叶逆变换。将式(2)带入中，得到正则化最小二乘分类器响应值为：

f(z)＝αK(z,x)＝F^-1{F(α)F[K(z,x)]} (3)

式中：x为训练样本向量，z为候选样本向量，和分别为训练和候选样本的特征向量。根据求得的最大响应值f(z)确定新一帧中的目标位置。

第四，每个样本对应的预期输出记为g_j(j＝1,2,L t)，其峰值位于x_j中心。使用岭回归求解最优尺度相关滤波器h_j，如下：

式中：*表示卷积；λ为正则化项，防止过拟合。

根据Parseval定理，进一步将式(4)转换到频域，如下：

式中：H_t，G_j和X_j的大小均为M×N，^-表示复共轭矩阵。

求解式(5)得到：

为进一步简化计算，将式(6)的分子和分母分别记为A_j和B_j，对A_j和B_j分别进行更新：

式中：θ为学习率，A_j和A_j-1分别表示当前帧和上一帧的分子。对于新一帧输入图像z，可根据式(9)得到最大尺度相关滤波器响应y：

式中：F^-1表示离散傅里叶逆变换。求得的最大响应值表示新一帧中的目标尺度。

第五，重复上述步骤进行下一帧的跟踪，直到最后一帧。

上述方法仅用于说明本发明的原理及功能，而非用于限制本发明。任何本领域技术人员可在不违背本发明的精神及范畴下，对上述方法进行修饰与改变。

Claims (7)

1.一种基于核相关滤波的尺度自适应目标跟踪算法,其特征在于，将KCF算法与DSST算法进行有效融合，既实现了目标尺度自适应，又能在保证跟踪速度的前提下提高跟踪精度，包括如下步骤：

步骤1:手动选择待跟踪目标，建立目标区域的紧包围矩形框，将矩形框区域扩大2.5倍，确定为候选区域；

步骤2:提取候选区域的HOG特征，进行余弦加权，通过傅里叶变换将提取的HOG特征在频域中进行表示；

步骤3:将循环位移产生的样本输入到二维高斯核函数中，生成和样本大小一致的训练标签矩阵；

步骤4:用KCF算法将候选区域进行循环位移产生训练样本，根据样本训练得到位置滤波器；

步骤5:将位置滤波器与候选样本提取的HOG特征在频域中计算得出响应值，根据最大响应值的位置更新当前帧目标位置；

步骤6:以上一帧确定的目标位置为中心，提取33种不同尺度下的HOG特征作为样本训练得到尺度滤波器；

步骤7:将尺度相关滤波器和不同尺度下的样本特征在频域中计算得出响应值，将最大响应值对应的尺度作为当前帧的目标尺度；

步骤8:根据前一帧的目标尺度的变化提取训练集，并重新训练训练分类器；

步骤9:确定当前帧目标位置和尺度；

步骤10:判断当前帧是否为最后一帧，若是，结束；否则转入步骤3。

2.根据权利要求1所述的基于核相关滤波的尺度自适应目标跟踪算法，其特征在于，所述步骤2中，提取的HOG特征通过计算和统计被检测的图像的局部区域的方向梯度来构建特征。

3.根据权利要求1所述的基于核相关滤波的尺度自适应目标跟踪算法，其特征在于，通过循环位移产生更多的样本，训练回归器时结合更多的正负样本，提高回归器的性能，抑制背景负样本的干扰。

4.根据权利要求1所述的基于核相关滤波的尺度自适应目标跟踪算法，其特征在于，目标位置更新过程为：使用高斯核函数，将低维空间线性不可分的特征映射到高维空间之后特征变的线性可分，最小代价函数更新成如下形式：

式中，表示低维向高维的映射函数；<·，·>表示内积；w表示训练样本映射函数的线性组合

根据公式(1)求得核化后岭回归的解，利用快速傅里叶变换计算出最大响应值，确定目标位置。

5.根据权利要求1所述的基于核相关滤波的尺度自适应目标跟踪算法，其特征在于，目标尺度更新过程为：设训练样本为x₁,L,x_t，每个样本对应的输出为g₁,L,g_t，其峰值位于x_j中心，使用岭回归求解最优尺度相关滤波器h_j，如下：

式中，*表示卷积；λ为正则化项，防止过拟合；

根据Parseval定理，进一步将式(2)转换到频域，如下：

式中：H_t，G_j和X_j的大小均为M×N，-表示复共轭矩阵；

求解式(3)得到：

为进一步简化计算，将式(4)的分子和分母分别记为A_j和B_j，对A_j和B_j分别进行更新：

式中，θ为学习率，A_j和A_j-1分别表示当前帧和上一帧的分子。对于新一帧输入图像z，可根据式(7)得到最大尺度相关滤波器响应y：

式中，F^-1表示离散傅里叶逆变换，求得的最大响应值表示新一帧中的目标尺度。

6.根据权利要求1所述的基于核相关滤波的尺度自适应目标跟踪算法，其特征在于，用于尺度评估的目标样本候选尺度参数选择原则为：

aⁿP×aⁿR (8)

当前帧提取训练集的尺寸大小：

式中，P和R分别表示在前一帧的宽和高，尺度因子取a＝1.02，尺度滤波器的总级数S＝33，表示向下取整。

7.根据权利要求1所述的方法，其特征在于，所述步骤8中，根据上一帧确定的目标尺度大小重新提取样本训练滤波器，以线性内插的方式更新位置滤波器和尺度滤波器。