CN113706580A - 一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质，所述方法包括以下步骤：获取第一帧图像的目标区域的颜色直方图特征与方向梯度直方图特征；基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征，分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图。本发明的目标跟踪方法，能够提升目标跟踪的准确性。

Description

一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质

技术领域

本发明属于目标跟踪技术领域，特别涉及一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质。

背景技术

近年来，目标跟踪已成为计算机视觉领域极为重要的研究方向之一，在无人驾驶、人机交互以及视频监控等领域得到了广泛运用。

基于判别式相关滤波器的目标跟踪方法由于其在各类数据集上都表现出了较好的准确性与实时性，逐渐成为了领域内的主流研究方向。示例性的，Blome首次提出基于灰度特征的误差最小平方和滤波器(Minimum Output Sum of Squared Error，MOSSE)，利用相关定理，在傅里叶域中快速训练滤波器，具有极高的运算速度。为了解决训练样本不足的问题，利用循环结构的核相关滤波器(Exploiting the Circulant Structure ofTracking by detection with Kernels，CSK)基于第一帧图片密集采样，得到大量候选窗，为了加快运算速度，引入了循环矩阵，省略了卷积模板在检测区域内滑动的过程，大大提高了跟踪器的跟踪精度。

然而，以上跟踪器均使用的是图像的灰度特征，无法较好地表征目标外观信息，在复杂的跟踪场景下表现不佳，目标跟踪的准确性有待进一步提升。

发明内容

本发明的目的在于提供一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明的目标跟踪方法，能够提升目标跟踪的准确性。

为达到上述目的，本发明采用以下技术方案：

本发明第一方面提供的一种基于相关滤波跟踪器的目标跟踪方法，包括以下步骤：

获取待跟踪目标视频序列的第一帧图像的目标中心位置，基于第一帧图像的目标中心位置确定第一帧图像的目标区域；获取第一帧图像的目标区域的颜色直方图特征与方向梯度直方图特征；基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征，分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；

逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；

基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图；

其中，所述逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域的过程中，对于当前帧图像：

以上一帧图像的目标中心位置为中心确定目标附近区域，基于所述目标附近区域通过滑窗操作获取多个样本；获取每个样本的颜色直方图特征；基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

计算每个样本与上一帧图像的目标区域的图像特征指纹的汉明距离，小于等于预设阈值的样本视为候选样本；获取每个候选样本的方向梯度直方图特征；

计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的颜色直方图特征相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的颜色直方图特征相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图；基于最终响应图，响应值最大的点作为当前帧图像的目标中心位置；

基于当前帧图像的目标中心位置，获得当前帧图像的目标区域。

本发明方法的进一步改进在于，

所述基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹的步骤具体包括：利用差异值哈希算法，基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

所述基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹的步骤具体包括：利用差异值哈希算法，基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹。

本发明方法的进一步改进在于，所述利用差异值哈希算法，基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹的步骤具体包括：

将目标区域图像转换为尺寸为9×8的图像；将尺寸为9×8的图像中的所有彩色图片转换为单通道灰度图矩阵；从灰度图矩阵第二行开始，逐行对前一行差分，得到8×8的差分矩阵；二值化差分矩阵，获得目标区域的图像特征指纹；

所述利用差异值哈希算法，基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹的步骤具体包括：

将样本图像转换为尺寸为9×8的图像；将尺寸为9×8的图像中的所有彩色图片转换为单通道灰度图矩阵；从灰度图矩阵第二行开始，逐行对前一行差分，得到8×8的差分矩阵；二值化差分矩阵，获得样本的图像特征指纹。

本发明方法的进一步改进在于，所述计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的颜色直方图特征相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的颜色直方图特征相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图的步骤具体包括：

利用平均峰值相关能量判据判断方向梯度直方图特征在跟踪中的表现优劣，平均峰值相关能量APCE的计算表达式为，

式中，F_max是方向梯度直方图特征相关响应图中最大值，F_min是相关响应图中最小值，F_w，h是相关响应图点(w，h)处响应值；

确定初始方向梯度直方图特征权重的表达式为，

式中，threshold为设定的阈值，α₁，α₂分别为设定的初始权重；

确定初始颜色直方图权重的表达式为，

利用候选样本与目标区域的图像特征指纹的汉明距离，来判断颜色直方图特征在跟踪过程中表现优劣；

最终权重计算表达式为，

式中，D为候选样本与目标区域的图像特征指纹的汉明距离。

本发明方法的进一步改进在于，所述基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新的步骤具体包括：

根据平均峰值相关能量判据判断当前跟踪效果，当且仅当方向梯度直方图特征判据平均峰值相关能量的值大于等于给定阈值时，进行颜色直方图相关滤波器、方向梯度直方图相关滤波器的模型更新。

本发明方法的进一步改进在于，方向梯度直方图相关滤波器更新公式如下，

式中，

表示第t帧所得滤波器H的第l个通道分量H^l的分子，

表示t帧所得滤波器H第l个通道分量H^l的分母，K为滤波器总通道数，η为滤波器的学习参数。

本发明方法的进一步改进在于，颜色直方图相关滤波器更新公式如下，

式中，ρ_t′(A)是由

j＝1,2,...,M组成的向量，η为滤波器的学习参数，O表示跟踪目标区域，B表示背景区域。

本发明第二方面提供的一种基于相关滤波跟踪器的目标跟踪系统，包括：

第一获取模块，用于获取待跟踪目标视频序列的第一帧图像的目标中心位置，基于第一帧图像的目标中心位置确定第一帧图像的目标区域；获取第一帧图像的目标区域的颜色直方图特征与方向梯度直方图特征；基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

第二获取模块，用于基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征，分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；

第三获取模块，用于逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；

结果获取模块，用于基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图；

其中，所述第三获取模块中，逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域的过程中，对于当前帧图像：

以上一帧图像的目标中心位置为中心确定目标附近区域，基于所述目标附近区域通过滑窗操作获取多个样本；获取每个样本的颜色直方图特征；基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

计算每个样本与上一帧图像的目标区域的图像特征指纹的汉明距离，小于等于预设阈值的样本视为候选样本；获取每个候选样本的方向梯度直方图特征；

计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的第一相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的第一相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图；基于最终响应图，响应值最大的点作为当前帧图像的目标中心位置；

基于当前帧图像的目标中心位置，获得当前帧图像的目标区域。

本发明第三方面提供的一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明任一项上述基于相关滤波跟踪器的目标跟踪方法的步骤。

本发明第四方面提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本发明任一项上述基于相关滤波跟踪器的目标跟踪方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明提供的目标跟踪方法中，结合方向梯度直方图特征与颜色直方图特征，构建了鲁棒的目标外观模型(采用互补的特征训练分类器)；将两种特征进行加权融合，得到更具有鉴别性的特征，提高了滤波器的判别性和准确性。

本发明的进一步改进中，利用哈希算法筛选候选样本，减小了负样本的数量，进一步提升了目标跟踪的速度与准确性。具体的，目标跟踪常常采用滑窗搜索的方式，在上一帧目标中心附近滑窗选取所有样本框作为候选样本，这样不但会严重增加跟踪器的计算量，影响目标跟踪的实时性，还可能引入一些难分的负样本，不利于准确的目标跟踪。本发明利用哈希算法筛选候选样本，减小了负样本的数量，提升了目标跟踪的速度与准确性。

本发明的进一步改进中，设计了一种自适应融合函数对两种特征进行融合，得到更具有鉴别性的特征，提高了滤波器的判别性。具体的，(1)目标特征的选择对跟踪器的性能至关重要，选取合适的特征信息往往能达到事半功倍的效果。方向梯度直方图特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，由于它只在图像的局部方格单元上操作，所以其对图像光学的变化都能保持很好的不变性，在目标跟踪领域有着广泛的应用。然而，实验表明，方向梯度直方图特征在目标表观发生明显变化时跟踪性能表现不佳，特别是目标在平面内旋转或是大幅度变形时，训练所得相关滤波器跟踪精度大大降低。而图像的颜色直方图特征是一种全局特征，对图像的空间变化不敏感，在目标的快速运动以及变形时具有不错的鲁棒性。因此，本发明选取这一对互补的特征训练分类器，以得到对光照变化以及变形都具有不错鲁棒性的跟踪器。(2)由于所选取的手工特征的模型局限性，不同情境下的方向梯度直方图特征与颜色直方图特征表现并不相同，单纯基于固定值进行线性加权不能很好地利用以上两种特征的性能。因此，本发明根据两种特征在目标跟踪时的表现，动态分配权重进行特征融合，得到更精确的目标位置。

本发明的进一步改进中，基于方向梯度直方图判据逐帧对目标跟踪的效果进行评估，以此判断是否更新滤波器，实现滤波器选择性更新。具体的，现有的目标跟踪方法大多均逐帧更新滤波器，当某一帧跟踪效果不佳时，得到的目标位置会有较大误差，误差的逐帧积累容易产生模型漂移，最终导致跟踪失败。本发明具体引入平均峰值相关能量对目标跟踪效果进行评估，图像的平均峰值相关能量值反映了相关响应图的全局振荡程度，当平均峰值相关能量值急剧减小时，说明相关响应图较为平缓，此时基于方向梯度直方图特征特征的跟踪器跟踪效果不佳，则不对滤波器进行更新；这样是为了减小某一帧不准确的目标跟踪对后续帧目标跟踪的影响，防止误差的逐帧积累导致模型漂移。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于相关滤波跟踪器的目标跟踪方法的流程示意图；

图2是本发明实施例的一种结合哈希算法的相关滤波跟踪器的结构示意框图；

图3是本发明实施例中，基于OTB15数据集从准确率与成功率两方面得到的跟踪效果评估示意图；其中，图3中的(a)是准确率示意图，图3中的(b)是成功率示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

请参阅图1，本发明实施例的一种基于相关滤波跟踪器的目标跟踪方法，包括以下步骤：

获取待跟踪目标视频序列的第一帧图像的目标中心位置，基于目标中心位置确定目标区域；获取目标区域的颜色直方图特征与方向梯度直方图特征；基于颜色直方图特征提取获得目标区域的图像特征指纹；

基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；

逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；

基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图；

其中，逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域时，对于当前帧图像：

以上一帧图像的目标中心位置为中心确定目标附近区域；在所述目标附近区域通过滑窗操作获取多个样本；获取每个样本的颜色直方图特征，基于每个样本的颜色直方图特征提取获得每个样本的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

计算每个样本与上一帧图像目标区域的图像特征指纹的汉明距离，小于等于预设阈值的样本视为候选样本；

获取每个候选样本的方向梯度直方图特征；

计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的颜色直方图特征相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的颜色直方图特征相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图；基于最终响应图，响应值最大的点为当前帧图像的目标中心位置；

基于当前帧图像的目标中心位置，获得当前帧图像的目标区域。

本发明实施例提供的目标跟踪方法中，结合方向梯度直方图特征与颜色直方图特征，构建了鲁棒的目标外观模型(采用互补的特征训练分类器)；将两种特征进行加权融合，得到更具有鉴别性的特征，提高了滤波器的判别性和准确性。

请参阅图2，本发明实施例的一种结合哈希算法的相关滤波跟踪方法，包括如下步骤：

Step1.获取第一帧图像的目标中心位置，提取目标区域处的颜色直方图特征与方向梯度直方图特征；所述目标区域以所述目标中心位置为中心设定；

Step2.利用差异值哈希算法，基于颜色直方图特征提取目标区域处图像特征指纹；

Step3.基于上述两种特征训练得到两个相关滤波器；

Step4.以上一帧的目标中心位置为中心确定目标附近区域，在所述目标附近区域通过滑窗操作获取多个样本；获取所述多个样本的颜色直方图特征，并提取它们的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

Step5.计算所有样本与上一帧的得到的目标区域处图像特征指纹的汉明距离，小于等于阈值的样本被视为候选样本；

Step6.提取Step5处理后的所有候选样本的方向梯度直方图特征，分别计算候选样本的两种特征与上一帧得到的两个对应相关滤波器的相关响应图；

Step7.基于提出的特征融合函数得到最终响应图，其中响应值最大的点即为目标中心位置；

Step8.基于目标中心位置，获取目标区域；基于目标区域，对两个相关滤波器进行更新；其中，在获取目标区域时，基于方向梯度直方图特征训练一维尺度滤波器，用以确定当前目标尺度，响应值最大值对应的尺度即为当前尺度；

Step9.根据平均峰值相关能量判据判断当前跟踪效果，高于设定阈值时，才进行模型更新。

Step10.重复步骤Step4至Step9直至跟踪结束。

所述Step2中，提取图像特征指纹具体方法包括如下步骤：

2.1定义第一帧图像的目标区域x₁，将目标图像转换为尺寸为9×8的小图像；

2.2将小图像中的所有彩色图片转换为单通道灰度图矩阵；

2.3从灰度图矩阵第二行开始，逐行对前一行差分，得到8×8的差分矩阵H₁；

2.4二值化差分矩阵H₁，获得图像特征指纹。

所述Step3中，训练相关滤波器具体方法包括如下步骤：

每一帧中，一组样本由估计的目标位置附近采集得到，靠近目标的样本被标记为正样本，较远的则被标记为负样本。目标样本区域x₀的方向梯度直方图特征为K维向量φ_x，

我们定义φ_x的特征通道分量为

为了得到由每个通道分量h^l组成的滤波器h，我们最小化相关响应与期望相应g的最小二乘误差：

其中，★表示循环相关操作，λ是为了防止过拟合设置的正则化参数。期望响应g是具有参数化标准差的高斯函数。在傅里叶域中求解，可得：

其中，大写字母对应相应变量的傅里叶变换，上划线表示复共轭。

目标样本区域的颜色直方图特征为M维向量ψ_x，

为了得到基于颜色直方图特征的滤波器z，引入one-hot假设扩展样本的颜色特征，将目标颜色特征分解为每个特征维度的独立项。对目标区域O与背景区域B内的像素点分别计算损失，可得：

其中，z^j为滤波器z第j通道的分量，|A|表示区域A内像素点总数，N^j(A)表示区域A内颜色直方图特征值为j的像素数。利用梯度下降法求解上式可得：

其中，ρ^j(A)＝N^j(A)/|A|，表示在区域A内颜色直方图特征为j的像素点个数与区域像素点总数之比。

所述Step4、Step5中，筛选候选样本的具体方法包括如下步骤：

4.1定义第t帧目标附近所有样本{x₁,x₂,...,x_p}，将所有样本图像均转换为尺寸为9×8的小图像；

4.2统一输入标准，将所有非单通道输入图片转换为单通道灰度图；

4.3从第二行开始，逐行对前一行差分，得到的8×8差分矩阵{H₁,H₂,...,H_p}；

4.4对差分矩阵{H₁,H₂,...,H_p}二值化处理；

4.5逐一比较差分矩阵与上一帧模板H_t-1的汉明距离，得到距离矩阵{D₁,D₂,...,D_p}，大于给定阈值D_max的元素对应的样本区域被弃置，选取剩余样本作为候选样本。

所述Step6响应图的计算包括如下步骤：

由上述步骤可得基于颜色直方图特征与方向梯度直方图特征的相关滤波器h与z，在新的一帧中，完成候选样本特征提取后，将所得特征与滤波器分别进行相关操作，得到两类特征的相关响应图。

其中，利用融合函数定位目标中心包括如下步骤：

6.1利用平均峰值相关能量判据(APCE)判断方向梯度直方图特征在跟踪中的表现优劣，APCE计算方法：

其中，F_max是方向梯度直方图特征相关响应图中最大值，F_min是相关响应图中最小值。

6.2初始HOG特征权重由下式确定：

其中，threshold为设定的阈值，α₁，α₂为设定的初始权重。

6.3初始颜色直方图权重为：

6.4利用上述步骤计算得到的候选样本与模板图像特征指纹的汉明距离，来判断颜色直方图特征在跟踪过程中表现优劣。最终权重计算方法如下：

Step8中训练尺度滤波器方法包括以下步骤：

得到当前帧目标中心位置后，以该点为中心，截取一系列共计33个不同尺度的训练样本框，并提取所有候选图像方向梯度直方图特征，训练得到一维尺度滤波器，训练方法与方向梯度直方图特征相关滤波器相同。

本发明实施例中，模型更新包括以下步骤：

9.1方向梯度直方图相关滤波器更新公式如下：

其中，

表示第t帧所得滤波器H的第l个通道分量H^l的分子，

表示t帧所得滤波器H第l个通道分量H^l的分母，特别的，滤波器H所有通道分量的分母值相同。η为滤波器的学习参数。

9.2颜色直方图相关滤波器更新公式如下：

其中，ρ_t′(A)是由

组成的向量。

注意，当且仅当方向梯度直方图特征判据APCE的值大于给定阈值时，才进行模型的更新，这样是为了减小某一帧不准确的目标跟踪对后续帧目标跟踪的影响，防止误差的逐帧积累导致模型漂移。

本发明实施例的方法与现有技术相比具有的创新点具体包括：

(1)利用哈希算法筛选候选样本

目标跟踪常常采用滑窗搜索的方式，在上一帧目标中心附近滑窗选取所有样本框作为候选样本，这样不但会严重增加跟踪器的计算量，影响目标跟踪的实时性，还可能引入一些难分的负样本，不利于准确的目标跟踪。

(2)采用多种特征训练分类器

目标特征的选择对跟踪器的性能至关重要，选取合适的特征信息往往能达到事半功倍的效果。方向梯度直方图特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，由于它只在图像的局部方格单元上操作，所以其对图像光学的变化都能保持很好的不变性，在目标跟踪领域有着广泛的应用。然而，实验表明，方向梯度直方图特征在目标表观发生明显变化时跟踪性能表现不佳，特别是目标在平面内旋转或是大幅度变形时，训练所得相关滤波器跟踪精度大大降低。而图像的颜色直方图特征是一种全局特征，对图像的空间变化不敏感，在目标的快速运动以及变形时具有不错的鲁棒性。因此，本发明选取这一对互补的特征训练分类器，以得到对光照变化以及变形都具有不错鲁棒性的跟踪器。

(3)设计了一种自适应融合函数

由于所选取的手工特征的模型局限性，不同情境下的HOG特征与颜色直方图特征表现并不相同，单纯基于固定值进行线性加权不能很好地利用以上两种特征的性能。因此，我们根据两种特征在目标跟踪时的表现，动态分配权重进行特征融合，得到更精确的目标位置。

(4)滤波器选择性更新

引入平均峰值相关能量对目标跟踪效果进行评估，图像的APCE值反映了相关响应图的全局振荡程度，当APCE值急剧减小时，说明相关响应图较为平缓，此时基于方向梯度直方图特征特征的跟踪器跟踪效果不佳，则不对滤波器进行更新。这样是为了减小某一帧不准确的目标跟踪对后续帧目标跟踪的影响，防止误差的逐帧积累导致模型漂移。

请参阅图3，从图3中可以看出，本文跟踪器与其他六种跟踪器相比，目标跟踪的平均精确率与成功率均排名第一。与SRDCF跟踪器相比，平均精确率与成功率分别提高了0.5％与2.7％；与DSST跟踪器相比，平均精确率与成功率分别提高了15.1％与14.3％。与KCF跟踪器相比，平均精确率与成功率分别提高了21.9％与32.3％；与CN跟踪器相比，平均精确率与成功率分别提高了50.6％与57.1％；与CSK跟踪器相比，平均精确率与成功率分别提高了66.1％与70.1％。

综上所述，本发明提供一种结合哈希算法的相关滤波跟踪器。方法包括：首先获取第一帧图像目标位置，提取其颜色直方图特征与方向梯度直方图特征，利用差异值哈希算法，基于颜色直方图特征提取目标区域处图像特征指纹，基于上述两种特征训练得到两个相关滤波器；而后提取后续帧图像目标附近所有样本的颜色直方图特征，并提取它们的图像特征指纹，计算与上一步的得到的目标区域处图像特征指纹的汉明距离，小于阈值的样本被视为候选样本；再提取所有候选样本的方向梯度直方图特征，分别计算候选样本的两种特征与上一步训练得到的两个对应相关滤波器的相关响应图；基于提出的特征融合函数得到最终响应图，其中响应值最大的点即为目标中心位置；基于方向梯度直方图特征训练一维尺度滤波器，用以确定当前目标尺度；根据平均峰值相关能量判据判断当前跟踪效果，高于设定阈值时，才进行模型更新。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。

本发明再一实施例中，一种基于相关滤波跟踪器的目标跟踪系统，包括：

第一获取模块，用于获取待跟踪目标视频序列的第一帧图像的目标中心位置，基于第一帧图像的目标中心位置确定第一帧图像的目标区域；获取第一帧图像的目标区域的颜色直方图特征与方向梯度直方图特征；基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

第二获取模块，用于基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征，分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；

第三获取模块，用于逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；

结果获取模块，用于基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图；

其中，所述第三获取模块中，逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域的过程中，对于当前帧图像：

以上一帧图像的目标中心位置为中心确定目标附近区域，基于所述目标附近区域通过滑窗操作获取多个样本；获取每个样本的颜色直方图特征；基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

计算每个样本与上一帧图像的目标区域的图像特征指纹的汉明距离，小于等于预设阈值的样本视为候选样本；获取每个候选样本的方向梯度直方图特征；

计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的第一相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的第一相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图；基于最终响应图，响应值最大的点作为当前帧图像的目标中心位置；

基于当前帧图像的目标中心位置，获得当前帧图像的目标区域。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于执行基于相关滤波跟踪器的目标跟踪方法的步骤。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于相关滤波跟踪器的目标跟踪方法的相应步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，包括以下步骤：

获取待跟踪目标视频序列的第一帧图像的目标中心位置，基于第一帧图像的目标中心位置确定第一帧图像的目标区域；获取第一帧图像的目标区域的颜色直方图特征与方向梯度直方图特征；基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征，分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；

逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；

基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图；

其中，所述逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域的过程中，对于当前帧图像：

以上一帧图像的目标中心位置为中心确定目标附近区域，基于所述目标附近区域通过滑窗操作获取多个样本；获取每个样本的颜色直方图特征；基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

计算每个样本与上一帧图像的目标区域的图像特征指纹的汉明距离，小于等于预设阈值的样本视为候选样本；获取每个候选样本的方向梯度直方图特征；

计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的颜色直方图特征相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的颜色直方图特征相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图；基于最终响应图，响应值最大的点作为当前帧图像的目标中心位置；

基于当前帧图像的目标中心位置，获得当前帧图像的目标区域。

2.根据权利要求1所述的一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，

所述基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹的步骤具体包括：利用差异值哈希算法，基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

所述基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹的步骤具体包括：利用差异值哈希算法，基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹。

3.根据权利要求2所述的一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，所述利用差异值哈希算法，基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹的步骤具体包括：

将目标区域图像转换为尺寸为9×8的图像；将尺寸为9×8的图像中的所有彩色图片转换为单通道灰度图矩阵；从灰度图矩阵第二行开始，逐行对前一行差分，得到8×8的差分矩阵；二值化差分矩阵，获得目标区域的图像特征指纹；

所述利用差异值哈希算法，基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹的步骤具体包括：

将样本图像转换为尺寸为9×8的图像；将尺寸为9×8的图像中的所有彩色图片转换为单通道灰度图矩阵；从灰度图矩阵第二行开始，逐行对前一行差分，得到8×8的差分矩阵；二值化差分矩阵，获得样本的图像特征指纹。

4.根据权利要求1所述的一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，所述计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的颜色直方图特征相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的颜色直方图特征相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图的步骤具体包括：

利用平均峰值相关能量判据判断方向梯度直方图特征在跟踪中的表现优劣，平均峰值相关能量APCE的计算表达式为，

式中，F_max是方向梯度直方图特征相关响应图中最大值，F_min是相关响应图中最小值，F_w，h是相关响应图点(w，h)处响应值；

确定初始方向梯度直方图特征权重的表达式为，

式中，threshold为设定的阈值，α₁，α₂分别为设定的初始权重；

确定初始颜色直方图权重的表达式为，

利用候选样本与目标区域的图像特征指纹的汉明距离，来判断颜色直方图特征在跟踪过程中表现优劣；

最终权重计算表达式为，

式中，D为候选样本与目标区域的图像特征指纹的汉明距离。

5.根据权利要求4所述的一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，所述基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新的步骤具体包括：

根据平均峰值相关能量判据判断当前跟踪效果，当且仅当方向梯度直方图特征判据平均峰值相关能量的值大于等于给定阈值时，进行颜色直方图相关滤波器、方向梯度直方图相关滤波器的模型更新。

6.根据权利要求5所述的一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，方向梯度直方图相关滤波器更新公式如下，

式中，

表示第t帧所得滤波器H的第l个通道分量H^l的分子，K为滤波器总通道数，

表示t帧所得滤波器H第l个通道分量H^l的分母，η为滤波器的学习参数。

7.根据权利要求5所述的一种基于相关滤波跟踪器的目标跟踪方法，其特征在于，颜色直方图相关滤波器更新公式如下，

式中，ρ_t′(A)是由

组成的向量，η为滤波器的学习参数；O表示跟踪目标区域，B表示背景区域。

8.一种基于相关滤波跟踪器的目标跟踪系统，其特征在于，包括：

第一获取模块，用于获取待跟踪目标视频序列的第一帧图像的目标中心位置，基于第一帧图像的目标中心位置确定第一帧图像的目标区域；获取第一帧图像的目标区域的颜色直方图特征与方向梯度直方图特征；基于第一帧图像的目标区域的颜色直方图特征，提取获得第一帧图像的目标区域的图像特征指纹；

第二获取模块，用于基于第一帧图像的目标区域的颜色直方图特征、方向梯度直方图特征，分别训练获得颜色直方图相关滤波器、方向梯度直方图相关滤波器；

第三获取模块，用于逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域；

结果获取模块，用于基于逐帧获取的目标区域对颜色直方图相关滤波器、方向梯度直方图相关滤波器进行更新，输出目标跟踪结果图；

其中，所述第三获取模块中，逐帧获取所述待跟踪目标视频序列的剩余帧图像的目标区域的过程中，对于当前帧图像：

以上一帧图像的目标中心位置为中心确定目标附近区域，基于所述目标附近区域通过滑窗操作获取多个样本；获取每个样本的颜色直方图特征；基于每个样本的颜色直方图特征，提取获得每个样本的图像特征指纹；其中，所述样本的大小与上一帧图像的目标区域的大小一致；

计算每个样本与上一帧图像的目标区域的图像特征指纹的汉明距离，小于等于预设阈值的样本视为候选样本；获取每个候选样本的方向梯度直方图特征；

计算每个候选样本的颜色直方图特征与上一帧图像得到的颜色直方图相关滤波器的第一相关响应图；计算每个候选样本的方向梯度直方图特征与上一帧图像得到的方向梯度直方图相关滤波器的方向梯度直方图特征相关响应图；将每个候选样本的第一相关响应图和方向梯度直方图特征相关响应图加权融合，获得每个候选样本的最终响应图；基于最终响应图，响应值最大的点作为当前帧图像的目标中心位置；

基于当前帧图像的目标中心位置，获得当前帧图像的目标区域。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于相关滤波跟踪器的目标跟踪方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于相关滤波跟踪器的目标跟踪方法的步骤。

Images