CN110827319A - 一种基于局部敏感直方图改进的Staple目标跟踪方法 - Google Patents

Abstract

本发明实施例提供了一种基于局部敏感直方图改进的Staple目标跟踪方法。该基于局部敏感直方图改进的Staple目标跟踪方法首先计算灰度图像的3通道局部敏感直方图，再通过两个岭回归方程分别求解并提取特征训练两个跟踪模型，其中颜色分类器使用局部敏感直方图的每个通道上提取的直方图训练，最后融合两个跟踪模型的分类结果获得目标在当前帧的位置，从而有效地解决了现有Staple目标跟踪方法在单通道的灰度图像及红外图像上跟踪效果不理想的问题。

Description

一种基于局部敏感直方图改进的Staple目标跟踪方法

技术领域

本发明涉及计算机图像处理的技术领域，具体涉及一种基于局部敏感直方图改进的Staple目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中一个基础的研究问题，目标跟踪在机器人、视频监控、无人机等领域内广泛应用。目标跟踪主要是根据目标在视频中第一帧的位置，估计目标在后续视频序列帧中出现的轨迹。

自从2010年Blume等人首次将相关滤波(CF)引入目标跟踪领域中，其借助于快速离散傅里叶变换，通过将时域上的卷积转换为频域上的点积的处理，极大提高了目标跟踪效率，满足跟踪任务实时性的要求。近期出现了很多相关滤波跟踪器的改进型，比如相关滤波跟踪器(Kernelized Correlation Filters, KCF，2015)、判决尺度空间跟踪(Discriminative Scale Space Tracking,DSST,2015) 和模板和逐像素融合学习器(Sumof Template And Pixel-wise LEaners，简称 STAPLE或者Staple，2016年由牛津大学的L.Bertinetto等人提出)，如上相关滤波跟踪器都使用了图像梯度特征。特别是Staple，其针对CF类算法中图像梯度特征(比如HOG)局部鲁棒性较好，但对全局的形变效果不好，而颜色信息统计基于全局，提出了融合两种特征，采用融合代价函数来实现物体的跟踪。Staple目标跟踪方法和其他基于判决模型的方法一样，主要是两个模块：跟踪检测模块和模型学习模块。在跟踪检测模块中，Staple目标跟踪方法结合梯度滤波输出以及逐像素的目标置信图来检测新一帧中的目标物体作为跟踪结果。对模型学习模块，其通过岭回归方法，通过逐帧最小化两个代价函数来学习梯度特征参数H以及颜色特征参数B。Staple目标跟踪方法既可以较好的适应形变，同时还可以在普通家用电脑上达到每秒80帧的运行速度。但Staple目标跟踪方法存在针对仅有一个通道的灰度图像跟踪效果较差的缺点。

因此，针对现有的Staple目标跟踪方法存在着跟踪单通道灰度图像效果较差的问题，需要提供一种针对单通道灰度图像也能有很好地跟踪效果的Staple目标跟踪方法。

发明内容

针对现有的Staple目标跟踪方法存在着跟踪单通道灰度图像效果较差的问题，本发明实施例提出一种基于局部敏感直方图改进的Staple目标跟踪方法。本发明实施例所提供的基于局部敏感直方图改进的Staple目标跟踪方法通过引入局部敏感直方图的方式，有效地解决了现有Staple目标跟踪方法存在着跟踪单通道灰度图像效果较差的问题。

该基于局部敏感直方图改进的Staple目标跟踪方法的具体方案如下：一种基于局部敏感直方图改进的Staple目标跟踪方法，包括步骤S1：根据初始灰度图像帧，获取目标初始信息；步骤S2：从所述灰度图像帧中提取三维的局部敏感直方图；步骤S3：从所述三维的局部敏感直方图的前景区域与背景区域计算初始前景颜色直方图与初始背景颜色直方图；步骤S4：初始化相关滤波器，提取梯度直方图特征并且训练所述相关滤波器；步骤S5：初始化尺度滤波器，并且提取不同尺度图像块训练所述尺度滤波器；步骤S6：采用颜色分类器计算每个像素对应的分数，获得每个像素的颜色概率，并应用积分图获得颜色分类器的响应图；步骤S7：在相关区域内检测目标，获得相关滤波的响应图，并将所述相关滤波的响应图的大小调整至与颜色分类器的响应图的大小一致；步骤S8：融合所述颜色分类器的响应图和所述相关滤波的响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置；步骤S9：在目标的新位置处，提取不同尺寸图像块用于检测尺度，选取响应最大的尺度作为新的尺度；步骤S10：更新目标大小，更新前景区域和背景区域，更新尺度滤波器，更新颜色分类器和更新相关滤波器；步骤S11：获得下一帧图像，重复步骤S5、S6、S7、S8、S9、S10，直至视频结束。

优选地，所述目标初始信息包括目标位置、目标的长度、目标的宽度。

优选地，步骤S2包括：步骤S21：将灰度图像帧中不同像素点根据其灰度值投影为一个3通道的图像，具体计算如公式1所示：

其中，I表示一副图像，W为像素的总数，I_q为像素q上的灰度值，b为通道数，N为3；

步骤S22：采用积分直方图将公式1进行简化计算，表达式如公式2所示，

其中，

表示在像素p计算的积分直方图；

步骤S23：根据公式3计算局部敏感直方图，

其中，

β为调节参数。

优选地，步骤S3包括：步骤S31：将局部敏感直方图的每个通道均分成若干个小区间，定义每个小区间为直方图的一个直方柱；步骤S32：统计落在每一个直方柱中的像素点的个数。

优选地，所述直方柱的宽度设置为8。

优选地，训练所述相关滤波器的具体公式如下式所示：

其中，f为d维特征组成的样本，h为d维的相关滤波器，*表示循环相关，g表示相关滤波器需要的输出，λ是正则化系数。

优选地，采用加权平均法融合所述颜色分类器的响应图和所述相关滤波的响应图，具体计算表达式如下所示：

response＝(1-α)response_cf+α·response_p，

其中，response_cf为相关滤波器的响应图,response_p为颜色分类器的响应图，α为常数系数，response为最终响应图。

优选地，相关滤波器的响应图可通过对下式进行逆傅里叶变化获得：

其中，H^l为滤波器h^l在频域的表达式，

表示F^k对应的复共轭。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例所提供的基于局部敏感直方图改进的Staple目标跟踪方法首先计算灰度图像的3通道局部敏感直方图，再通过两个岭回归方程分别求解并提取特征训练两个跟踪模型，其中颜色分类器使用局部敏感直方图的每个通道上提取的直方图训练，最后融合两个跟踪模型的分类结果获得目标在当前帧的位置，从而有效地解决了现有Staple目标跟踪方法在单通道的灰度图像上跟踪效果不理想的问题。

附图说明

图1为本发明实施例提供的基于局部敏感直方图改进的Staple目标跟踪方法的流程示意图；

图2为图1所示实施例的一种简化流程示意图；

图3(a)和图3(b)为本发明实施例所提出的基于局部敏感直方图改进的Staple目标跟踪方法的跟踪性能在OTB2013测试集上的结果示意图；

图4(a)和图4(b)为本发明实施例所提出的基于局部敏感直方图改进的Staple目标跟踪方法(Our，点划线)与Staple(虚线)、KCF(实线)在不同图像的不同序列中的比较示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明实施例基于融合的目标跟踪方法包括十一个步骤。具体如下所示：

步骤S1：根据初始图像帧，获取目标初始信息。在该实施例中，目标初始信息包括目标位置、目标长度和目标宽度。进一步地，在步骤S1中，还包括一些初始化参数、初始化区域的常规初始化操作。

步骤S2：从所述灰度图像帧中提取三维的局部敏感直方图。步骤S2具体可以包括三个步骤：

步骤S21：将灰度图像帧中不同像素点根据其灰度值投影为一个3通道的图像，具体计算如公式1所示：

其中，I表示一副图像，W为像素的总数，I_q为像素q上的灰度值，b为通道数，N为3。

步骤S22：采用积分直方图将公式1进行简化计算，从而有效地降低计算的复杂性，具体的表达式如公式2所示，

其中，表示在像素p计算的积分直方图。

根据He等人提出的观点：由于离目标中心较远的像素大概率为背景，因此，离目标中心较远的像素其权重应该小于较近的，获得局部敏感直方图的计算公式如下：

表示在像素p计算的局部敏感直方图。类似于上述公式1转变成公式2的简化计算，上式也可以简化成公式3。

步骤S23：根据公式3计算局部敏感直方图，

其中，

β为调节参数。

局部敏感直方图对背景斑杂下的目标具有良好的处理效果。

步骤S3：从所述三维的局部敏感直方图的前景区域与背景区域计算初始前景颜色直方图f_hist与初始背景颜色直方图b_hist。步骤S3具体包括两个步骤：步骤S31：将局部敏感直方图的每个通道均分成若干个小区间，定义每个小区间为直方图的一个直方柱；步骤S32：统计落在每一个直方柱中的像素点的个数。直方柱的宽度可根据具体的需求进行选择。在一优选实施例中，将直方柱的宽度设置为8。

步骤S4：初始化相关滤波器，提取梯度直方图特征并且训练所述相关滤波器。初始化相关滤波器，根据目标中心提取样本模板x，对其进行循环移位构造大量的训练样本x_i。提取梯度直方图特征(HOG特征)训练生成相关滤波器。

相关滤波器可以由一个岭回归方程求解获得。岭回归方程具体表达式如公式4所示：

对于一个由d维特征组成的样本f,可以通过最小化公式4来训练一个d 维的相关滤波器h，具体公式图公式5所示：

其中，*表示循环相关；g表示相关滤波器需要的输出，g是一个高斯函数；λ是正则化系数，用于防止过拟合。

步骤S5：初始化尺度滤波器，并且提取不同尺度图像块训练所述尺度滤波器。在该实施例中，通过上一帧确定的目标位置为中心，提取一系列不同尺度的图像块特征，构建特征金字塔。以H×W为目标尺寸，则在目标位置附近提取总数为S个大小为aⁿH×aⁿW的图像块，a表示尺度系数，具体的表达式如公式10所示：

其中，S代表总数。在该实施例中，S取为33。

步骤S6：采用颜色分类器计算每个像素对应的分数，获得每个像素的颜色概率，并应用积分图获得颜色分类器的响应图。

颜色分类器的响应也是通过求解公式4所示的岭回归方程获得。

令W为颜色分类器对应的区域，则可将公式4改写成公式6。

l_hist(x,p,β)＝∑_(q,y)∈W(β^T[∑_u∈Hψ_T(x,q)[u]]-y)² (公式6)

应用线性回归简化计算，使背景区域O的回归值为0，前景区域B的回归值为1，将公式6改写成公式7。

将损失函数分解为直方图中每一个直方柱之和，优选值直方柱之和M＝32。公式7中的β^Tψ[u]可以通过构造查找表k快速获得，k将像素值u映射为所属直方柱的序号，即用颜色直方图进行反向投影。再令β^Tψ[u]＝β^k(u)，可以获得公式8：

在公式8中，N^j(A)＝{x_i∈A:k(u)＝j}为区域A中第j个直方柱中元素个数的总和。进一步，求解得到岭回归问题的解如公式9所示：

其中，

对

使用积分图计算获得颜色分类器的响应图。

步骤S7：在相关区域内检测目标，获得相关滤波的响应图，并将所述相关滤波的响应图的大小调整至与颜色分类器的响应图的大小一致。在该实施例中，相关滤波的响应图求解过程为：

通过最小化公式4并转换到频域计算，可以得到滤波器h^l在频域的表达式，具体如公式10所示：

其中，大写字母意味着对应的离散傅里叶变换，

表示F^k对应的复共轭。对公式10做逆傅里叶变化即可得到相关滤波器的响应。

步骤S8：融合所述颜色分类器的响应图和所述相关滤波的响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置。在该实施例中，出于结合两个跟踪模型的想法以达成优势互补的思想，通过常数系数α加权平均集成相关滤波器的响应response_cf与颜色分类器的响应 response_p。具体融合的计算表达式如公式10所示：

response＝(1-α)response_cf+α·response_p (公式10)

其中，response_cf为相关滤波器的响应图，response_p为颜色分类器的响应图，α为常数系数，response为最终响应图。

步骤S9：在目标的新位置处，提取不同尺寸图像块用于检测尺度，选取响应最大的尺度作为新的尺度。在该实施例中，在新的位置处，提取33个不同的尺度的图像块，并将图像块调整到同一大小，循环移位产生候选尺度图像。调用尺度相关滤波器对候选尺度图像进行检测，选取响应最大的尺度为新的尺度。

步骤S10：更新目标大小，更新前景区域和背景区域，更新尺度滤波器，更新颜色分类器和更新相关滤波器。具体更新尺度滤波器、更新颜色分类器及更新相关滤波器的公式可以借鉴现有的更新公式进行更新。

步骤S11：获得下一帧图像，重复步骤S5、S6、S7、S8、S9、S10，直至视频结束。

在该实施例中，有关相关滤波器滤波、尺度滤波器、颜色分类器的响应等操作步骤可以进行顺序互换或者并列执行，因为这些步骤执行并未有结果依赖关系。

如图2所示，为图1所示实施例的一种简化流程示意图。开始跟踪后，首先进行初始化，再分别训练尺度滤波器和相关滤波器，通过提取局部敏感直方图后再训练颜色分类器，在利用相关滤波器和颜色分类器分别检测目标获得响应，再将相关滤波器的响应和颜色分类器的响应进行融合获得新位置，再检测尺度变化后，再更新相关的条件或滤波器，判断是否需要继续检测目标，若需要则重复上述步骤，直至视频结束。

在该实施例中，首先计算灰度图像的3通道局部敏感直方图，再通过两个岭回归方程分别求解并提取特征训练两个跟踪模型，其中颜色分类器使用局部敏感直方图的每个通道上提取的直方图训练，最后融合两个跟踪模型的分类结果获得目标在当前帧的位置，从而有效地解决了现有Staple目标跟踪方法在单通道的灰度图像上跟踪效果不理想的问题。

如图3所示，本发明实施例所提出的基于局部敏感直方图改进的Staple 目标跟踪方法的跟踪性能在OTB2013测试集上的结果。OTB2013测试集是近几年中提出的目标跟踪测试集，其评价标准有精度(precision)和成功率(success rate)。其中，图3(a)为精度方面的性能结果，图3(b)为成功率方面的性能结果。针对OTB2013测试集中，灰度序列较少的情况，本发明中将所有彩色序列转化为灰度序列。其中，OPE意味着一次通过实验，precision是中心误差在20 个像素内的帧数与总帧数之比；Success rate是方法给出success曲线下的面积， success曲线的评价标准是由人工标注的跟踪框与方法的跟踪框间的交叠比。如图3所示，本发明实施例所提出的跟踪方法(Our曲线)在成功率和精度上都优于现有的目标跟踪方法。

如图4所示，本发明实施例所提出的基于局部敏感直方图改进的Staple 目标跟踪方法(Our，点划线)与Staple(虚线)、KCF(实线)在不同图像的不同的序列中的比较示意图。其中，图4(a)和图4(b)分别代表不同图像的不同序列。从图4(a)和图4(b)比较中发现，本发明提出的目标跟踪方法(Our)，在目标遭遇遮挡或者运动模糊等情况，目标丢失后算法可以有效寻回目标以实现长期跟踪。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，所述方法包括步骤：

步骤S1：根据初始灰度图像帧，获取目标初始信息；

步骤S2：从所述灰度图像帧中提取三维的局部敏感直方图；

步骤S3：从所述三维的局部敏感直方图的前景区域与背景区域计算初始前景颜色直方图与初始背景颜色直方图；

步骤S4：初始化相关滤波器，提取梯度直方图特征并且训练所述相关滤波器；

步骤S5：初始化尺度滤波器，并且提取不同尺度图像块训练所述尺度滤波器；

步骤S6：采用颜色分类器计算每个像素对应的分数，获得每个像素的颜色概率，并应用积分图获得颜色分类器的响应图；

步骤S7：在相关区域内检测目标，获得相关滤波的响应图，并将所述相关滤波的响应图的大小调整至与颜色分类器的响应图的大小一致；

步骤S8：融合所述颜色分类器的响应图和所述相关滤波的响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置；

步骤S9：在目标的新位置处，提取不同尺寸图像块用于检测尺度，选取响应最大的尺度作为新的尺度；

步骤S10：更新目标大小，更新前景区域和背景区域，更新尺度滤波器，更新颜色分类器和更新相关滤波器；

步骤S11：获得下一帧图像，重复步骤S5、S6、S7、S8、S9、S10，直至视频结束。

2.根据权利要求1所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，所述目标初始信息包括目标位置、目标的长度、目标的宽度。

3.根据权利要求1所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，步骤S2包括：

步骤S21：将灰度图像帧中不同像素点根据其灰度值投影为一个3通道的图像，具体计算如公式1所示：

其中，I表示一副图像，W为像素的总数，I_q为像素q上的灰度值，b为通道数，N为3；

步骤S22：采用积分直方图将公式1进行简化计算，表达式如公式2所示，

其中，

表示在像素p计算的积分直方图；

步骤S23：根据公式3计算局部敏感直方图，

其中，

β为调节参数。

4.根据权利要求1所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，步骤S3包括：

步骤S31：将局部敏感直方图的每个通道均分成若干个小区间，定义每个小区间为直方图的一个直方柱；

步骤S32：统计落在每一个直方柱中的像素点的个数。

5.根据权利要求4所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，所述直方柱的宽度设置为8。

6.根据权利要求1所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，训练所述相关滤波器的具体公式如下式所示：

其中，f为d维特征组成的样本，h为d维的相关滤波器，*表示循环相关，g表示相关滤波器需要的输出，λ是正则化系数。

7.根据权利要求1所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，采用加权平均法融合所述颜色分类器的响应图和所述相关滤波的响应图，具体计算表达式如下所示：

response＝(1-α)response_cf+α·response_p，

其中，response_cf为相关滤波器的响应图，response_p为颜色分类器的响应图，α为常数系数，response为最终响应图。

8.根据权利要求1所述的一种基于局部敏感直方图改进的Staple目标跟踪方法，其特征在于，相关滤波器的响应图可通过对下式进行逆傅里叶变化获得：

其中，H^l为滤波器h^l在频域的表达式，

表示F^k对应的复共轭。

Images