CN110751673A - 一种基于集成学习的目标跟踪方法 - Google Patents

Abstract

本发明实施例公开一种基于集成学习的目标跟踪方法。本发明实施例的目标跟踪方法利用目标的背景信息，通过循环矩阵的特性，在不破坏相关滤波封闭解的情况下，有效地克服相关滤波的边界效应，构建了一个更具鲁棒性的滤波模板；并且集成背景感知的相关滤波器和贝叶斯分类器的响应与支持向量机的判别结果，使目标可以在跟踪过程中快速适应目标变化的同时，仍然可以对目标实现长期跟踪。本发明实施例所提供的目标跟踪方法，通过集成学习，使跟踪速度保持实时性并且跟踪性能也得到大幅提升，能满足现实世界的跟踪需求。

Description

一种基于集成学习的目标跟踪方法

技术领域

本发明涉及计算机图像处理的技术领域，具体涉及一种基于集成学习的 目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中一个基础的研究问题，目标跟踪在机器人、 视频监控、无人机等领域内广泛应用。目标跟踪方法的跟踪思路一般为：给 定目标在第一帧的初始位置及尺寸，根据给定的方法，在随后的每一帧图像 中准确地估计出目标的位置及尺寸的变化。

目前，目标跟踪的方法可以分为两类：一类是生成模型的目标跟踪方法， 另一类是判别模型的目标跟踪方法。生成模型的目标跟踪方法通过在当前图 像对目标区域建模，在下一帧图像中寻找与模型最相似的区域作为预测位置。 判别模型的目标跟踪方法主要将跟踪问题转化为检测问题，使用目标和背景 分别作为正负样本通过机器学习在线训练分类器，在新的一帧图像中使用分 类器检测目标。目前，由于具备出色的准确率及优秀的运行速度，判别模型 的目标跟踪方法已经成为目标跟踪领域的主流方法。

近年来，核相关滤波在判别模型的目标跟踪方法的应用，进一步地发展 了目标跟踪方法。核相关滤波类目标跟踪方法是在原始样本上使用循环矩阵 产生大量循环样本以训练分类器，并通过傅里叶变换将计算转化到频域进行 以提升算法的运行效率。Bolme等人在2010年提出MOSSE目标跟踪方法， 该方法的核心思想是寻找一个核相关滤波器使其作用在目标上的响应最大， 该方法具有优秀的性能及高达数百帧每秒的运行速度。Henriques等人在2012 年提出了CSK目标跟踪方法，该方法首次提出通过循环矩阵来密集采样，解 决了以往基于检测的目标跟踪方法为了保持实时性而无法选取大量样本对分 类器进行训练的问题。Heriques等人在2014年提出了KCF/DCF目标跟踪方 法，该方法通过将单通道灰度特征扩展到多通道方向梯度直方图特征(HOG)， 增强相关滤波使用的特征，从而极大地增强了算法的准确性。考虑到颜色信 息在视频图像中的重要性，Denelljan等人提出使用颜色属性(CN)作为特征， 并采用自适应降维将10维的CN特征压缩为2维。同年，Danelljan等人提出 DSST目标跟踪方法，该方法在原有位置核相关滤波器的基础上，额外训练一 个处理尺度变化的尺度相关滤波器以适应目标的尺度变化。Li等人提出了另 一种计算量较大但更为准确的SAMF尺度自适应算法，SAMF尺度自适应算 法通过使用位置相关滤波器在多个尺寸图像块上进行搜索，选取响应最大的 为当前位置及对应尺寸。

尽管核相关滤波在目标跟踪领域取得了很大的成功，但核相关滤波存在 一个难以解决的关键问题：边界效应。边界效应不仅在训练阶段产生不准确 的负样本使分类器的判别能力降低，而且在检测阶段造成位于边界附近的目 标不能被有效检测，极大地限制了核相关滤波的性能。Danelljan等人在2015 年提出SRDCF目标跟踪方法，该方法通过空域正则化去解决边界效应，但由 于空域正则化破坏了相关滤波的封闭解，不得不采用高斯-塞德尔迭代求解， 使得运行速度仅能达到数帧每秒，极大地限制了目标跟踪方法的实时性。

此外，核相关滤波类目标跟踪方法使用较高的学习率更新跟踪模型，其 目的是减少旧样本在模型中的比例，使滤波器快速适应目标的变化。但是， 这种高风险的更新策略使跟踪模型仅能保留数十帧的样本，一旦目标出现遮 挡、移出视野等情形时，模型将迅速漂移。

因此，针对现有的采用核相关滤波器的目标跟踪方法存在的问题，需要 提供一种能够解决边界效应问题且仍具有实时性应用，还能适应目标发生遮 挡、移出视野等状况的目标跟踪方法。

发明内容

针对现有采用核相关滤波器的目标跟踪方法存在的问题，本发明实施例 提出一种基于集成学习的目标跟踪方法。该方法将目标附近的背景信息加入 相关滤波的岭回归方程，达到在不破坏封闭解的情况下增强相关滤波器的判 别能力。进一步地，该方法采用集成学习的方法集成贝叶斯分类器的响应、 背景感知的相关滤波器的响应及支持向量机的分类结果，通过集成三种差异 较大的分类器的判别结果，有效地缓解边界效应，且能够有效地长期跟踪目 标。进一步地，该方法采用主成分分析法压缩尺度滤波器的特征，从而有效 地加速了该方法的运算，确保了实时性。

该基于集成学习的目标跟踪方法的具体方案如下：一种基于集成学习的 目标跟踪方法，包括步骤S1：根据初始图像帧，获取目标初始信息；步骤S2： 在背景感知的相关滤波区域及目标的背景区域中，提取前第一阈值维数的梯 度直方图特征和第二阈值维数的颜色属性特征，初始化背景感知的核相关滤 波器；步骤S3：在目标区域附近提取颜色直方图，初始化贝叶斯分类器；步 骤S4：从目标中提取前第三阈值维数的梯度直方图特征和强度特征，初始化 用于置信度判断的长期核相关滤波器；步骤S5：从图像帧中提取LAB颜色直方图作为特征，初始化支持向量机；步骤S6：初始化尺度滤波器，提取不同 尺度图像块并使用梯度直方图特征作为训练特征来训练所述尺度滤波器，采 用主成分分析法压缩所述训练特征的维数；步骤S7：在贝叶斯分类区域中提 取颜色直方图，并采用贝叶斯分类器进行目标检测，获得贝叶斯分类器的响 应；步骤S8：在背景感知的相关滤波区域检测目标，获得背景感知的相关滤 波器的响应图，将所述背景感知的相关滤波响应图的大小调整至与所述贝叶 斯分类器的响应图的大小相等；步骤S9：集成所述贝叶斯分类器的响应图和 所述背景感知的相关滤波响应图，获得最终响应图，在所述最终响应图中响 应最大值处为所述目标的新位置；步骤S10：在所述目标的新位置处，采用长 期核相关滤波器进行目标检测，获得长期响应图，将所述长期响应图中的响 应峰值作为置信度的判断依据；判断所述置信度是否小于预设第一阈值，若 小于，则激活支持向量机并获得支持向量机的检测结果；在支持向量机的检 测结果上，采用长期核相关滤波器器进行目标检测，获得新的响应峰值，若 新的响应峰值大于所述预设第一阈值的预设倍数时，将所述支持向量机所检 测的目标位置作为目标的新位置；步骤S11：在目标的新位置处，调用尺度滤 波器并将响应最大的尺度作为新的尺度，更新目标尺寸和尺度滤波器；步骤 S12：判断长期核相关滤波器的检测结果的置信度是否高于预设第二阈值，若 高于，则更新长期核相关滤波器和支持向量机；步骤S13：更新所述核相关滤 波器和所述贝叶斯分类器；步骤S14：获得下一帧图像，重复步骤S7、S8、 S9、S10、S11、S12、S13，直至视频结束。

优选地，所述目标初始信息包括目标位置、目标长度和目标宽度。

优选地，所述第一阈值维数为28维，第二阈值维数为10维，第三阈值 维数为28维。

优选地，在步骤S9中采用加权平均的方法集成所述贝叶斯分类器响图和 所述背景感知的相关滤波响应图。

优选地，加入背景信息的核相关滤波的表达式为：

其中，ω为滤波器系数，y为样本标签，k是背景图像块的数量，

且A₀表示目标对应的循环矩阵，A_i表示目标的背景图像对应的循环矩阵，λ₁和λ₂表 示正则化系数。

优选地，所述贝叶斯分类器的具体实现过程表达式如下所示：

其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，c_x表 示像素x属于RGB颜色直方图的第c条柱。

优选地，所述支持向量机的具体实现过程表达式如下所示：

其中，N为样本总数，{(v_i,c_i|i＝1,2,….N)}，其中v_i为样本的特征向量， c_i∈{+1,-1}是样本的标签，λ是正则化系数。

优选地，步骤S10中预设第一阈值为0.18，预设倍数为1.5。

优选地，用于判断置信度的长期核相关滤波器的具体实现过程表达式如 下所示：

其中，ω为滤波器系数，y为样本标签，

且A₀表示目标对应的循环 矩阵，λ₁表示正则化系数，核技巧使用高斯核。

优选地，尺度滤波器的生成过程包括步骤：在目标位置附近提取大小为aⁿH×aⁿW的图像块，其中，

S是尺度滤波器的尺寸，a表 示着尺度因子,H是前一帧目标的高度，W是前一帧目标的宽度；对上述的图 像块调整到同一大小，用于训练一个尺度滤波器。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供一种基于集成学习的目标跟踪方法。该方法将目标附 近的背景信息加入核相关滤波的岭回归方程，达到在不破坏封闭解的情况下 增强相关滤波器的判别能力。进一步地，该方法采用集成学习的方法集成贝 叶斯分类器的响应、背景感知的相关滤波器的响应及支持向量机的响应，通 过集成三种差异较大的分类器的响应，有效地缓解边界效应，且能够有效地 长期跟踪目标。进一步地，该方法采用主成分分析法压缩尺度滤波器的特征， 从而有效地加速了该方法的运算，确保了实时性。

附图说明

图1为本发明实施例提供的基于集成学习的目标跟踪方法的流程示意图；

图2为图1所示实施例的一种简化流程示意图；

图3中(a)图为本发明实施例所提供的基于集成学习的目标跟踪方法的跟 踪性能在OTB2013测试集的结果示意图；(b)图为本发明实施例所提供的基于 集成学习的目标跟踪方法的跟踪性能在OTB100测试集上的结果示意图；

图4为本发明实施例所提供的基于集成学习的目标跟踪方法(LSAT实线) 与STAPLE方法(虚色)和KCF(点划线)在视频序列Lemming上的定性比 较图；

图5为本发明实施例所提供的基于集成学习的目标跟踪方法(LSAT实线) 与STAPLE方法(虚色)和KCF(点划线)在视频序列Skiing上的定性比较 图；

图6为本发明实施例所提供的基于集成学习的目标跟踪方法(LSAT实线) 与STAPLE方法(虚色)和KCF(点划线)在视频序列Couple上的定性比较 图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺 序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里 描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外， 术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如， 包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地 列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方 法、产品或设备固有的其它步骤或单元。

如图1所示，本发明实施例基于集成学习的目标跟踪方法包括十四个步 骤。具体如下所示：

步骤S1：根据初始图像帧，获取目标初始信息。在该实施例中，目标初 始信息包括目标位置、目标的长度、目标的宽度。进一步地，获取目标初始 信息后，对基于集成学习的目标跟踪方法中的参数进行初始化，以及对区域 进行初始化。

步骤S2：在背景感知的相关滤波区域及目标的背景区域中，提取前第一 阈值维数的梯度直方图特征和第二阈值维数的颜色属性特征，初始化核相关 滤波器。在该实施例中，第一阈值维数为28维，第二阈值维数为10维。在 该实施例中，通过在学习核相关滤波器的过程中将目标周围的图像块作为背 景信息加入岭回归方程中，从而增强分类器的判别能力。加入背景信息的相 关滤波的表达式如公式1所示：

其中，ω为滤波器系数，y为样本标签，k是背景图像块的数量，

且A₀表示目标对应的循环矩阵，A_i表示目标的背景图像对应的循环矩阵，λ₁和λ₂表 示正则化系数。

对于特征维数为c的目标，为了求解公式1，在该实施例中，构造一个包 含目标及其背景信息的矩阵B及对应的回归值y₁，用以求解多通道特征对应 的滤波器w₁，从而允许使用多通道特征增强分类器的判别能力。基于上述假 设，公式1可以写成公式2：

通过求解最小化公式2，可以获得w₁的解，如公式3所示：

w₁＝(B^TB+λ₁I)^-1B^Ty₁ (公式3)

利用循环矩阵的性质，可以获得c维滤波器w₁的表达式如公式4所示：

其中，在w₁中中每个元素的表达式如公式5和公式6所示：

其中，l,j∈{1,…c},z_il表示第i个背景图像块的第l个通道的特征。由上述公式可见，(B^TB+λ₁I)^-1中每一个小矩阵都是对角的，可以分解为n个独立的小系 统分别计算以减少计算量。

步骤S3：在目标区域附近提取颜色直方图，初始化贝叶斯分类器。在该 实施例中，通过贝叶斯法则构造一个判别式模型去跟踪目标。为了使分类器 能将物体O从图像I中分辨出，我们在位置x构造一个基于RGB颜色直方图 的贝叶斯分类器以获得该像素属于物体的概率。贝叶斯分类器的具体实现过 程表达式如公式7所示：

其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，c_x表 示像素x属于RGB颜色直方图的第c条柱。

表示在区域A∈I中属于 RGB颜色直方图的第c条直方柱(bin)中的像素总数。

为了简化计算，本发明实施例从RGB颜色直方图中估计像素x的属于物 体的概率，公式7可以写为公式8：

贝叶斯分类器的响应图response_p可以从通过在像素级的颜色概率图上 应用积分图获得。若视频序列为灰度视频序列，则可将颜色直方图设置为一 维。

步骤S4：从目标中提取前第三阈值维数的梯度直方图特征和强度特征， 初始化用于置信度判断的长期核相关滤波器。在该实施例中，第三阈值维数 为28维。在该实施例中，用于判断置信度的长期核相关滤波器的具体实现过 程表达式如公式9所示：

其中，ω为滤波器系数，y为样本标签，

且A₀表示目标对应的循环 矩阵，λ₁表示正则化系数，核技巧使用高斯核。

优选地，本发明实施例中的长期核相关滤波器仅提取与目标大小相当的 区域用于训练，并且不使用余弦窗进行处理。

步骤S5：从图像帧中提取LAB颜色直方图作为特征，初始化支持向量机。 在该实施例中，支持向量机使用LAB颜色直方图作为特征，并提取目标尺寸 2.8倍的区域进行采样训练。当样本与目标重叠率大于0.9时为正样本，当样 本与目标重叠率小于0.5时为负样本。对于一个包含N个样本的训练集 {(v_i,c_i)|i＝1,2,…,N}，其中v_i为样本的特征向量，c_i∈{+1,-1}为样本的分类 标签。支持向量机的超平面h可通过求解公式10获得：

其中，l(h；(v_i,c_i))＝max{0,1-c<h,v>}，<h,v>表示h与v间的内积。

在目标跟踪过程中，支持向量机以公式11更新超平面：

其中，是损失函数的梯度，τ是控制超平面h更新的参数， 其中τ∈(0,+∞)。

步骤S6：初始化尺度滤波器，提取不同尺度图像块并使用梯度直方图特 征作为训练特征来训练所述尺度滤波器，采用主成分分析法压缩所述训练特 征的维数。在该实施例中，尺度滤波器的生成过程包括以下步骤：在目标位 置附近提取大小为aⁿH×aⁿW的图像块，其中，

S是尺度 滤波器的尺寸，a表示着尺度因子，H是前一帧目标的高度，W是前一帧目标 的宽度；对上述每一个图像块提取特征，训练尺度滤波器。在该实施例中， 尺度相关滤波器中使用线性核。优选地，尺度相关滤波器通过使用主成分分 析对包含31维HOG特征的33层特征金字塔进行压缩，使总特征从接近1000 维被压缩为17维，最后将输出的17个响应插值为33个响应。在目标跟踪过 程中，尺度相关滤波器在跟踪结果附近采样预测尺度，并通过线性插值更新 模型。

步骤S7：在贝叶斯分类区域中提取颜色直方图，并采用贝叶斯分类器进 行目标检测，获得贝叶斯分类器的响应图。

步骤S8：在背景感知的相关滤波区域检测目标，获得背景感知的相关滤 波响应图，将所述背景感知的相关滤波响应图的大小调整至与所述贝叶斯分 类器的响应图的大小相等。在背景感知的相关滤波的检测阶段，满足公式12：

α＝(BB^T+λ₁I)^-1y₁(公式12)

利用循环矩阵的性质，将公式12转换到频域，得到公式13：

其中，d_jl如公式14所示：

最后在检测图像块r_i上，在频域的响应response_cf如公式15所示：

步骤S9：集成所述贝叶斯分类器的响应图和所述背景感知的相关滤波响 应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新 位置。在该实施例中，采用加权平均结合背景感知的相关滤波响应图和贝叶 斯分类器的响应图，具体表达式如公式16所示：

response＝(1-α)response_cf+α·response_p(公式16)

其中，response_cf为背景感知的相关滤波器的响应图，response_p为贝叶斯分类器的响应图，α为加权系数。α的优选值为0.2。

步骤S10：在所述目标的新位置处，采用长期核相关滤波器进行目标检测， 获得长期响应图，将所述长期响应图中的响应峰值作为置信度的判断依据； 判断所述置信度是否小于预设第一阈值，若小于，则激活支持向量机并获得 支持向量机的检测结果；在支持向量机的检测结果上，采用长期核相关滤波 器器进行目标检测，获得新的响应峰值，若新的响应峰值大于所述预设第一 阈值的预设倍数时，将所述支持向量机所检测的目标位置作为目标的新位置。 在该实施例中，采用长期核相关滤波期检测当前跟踪结果置信度，当其响应 峰值低于0.18时认为跟踪结果不可靠，激活支持向量机获得检测结果。在支 持向量机的检测结果上使用长期核相关滤波器再次检测，若置信度大于原来 的1.5倍则接受结果。

步骤S11：在目标的新位置处，调用尺度滤波器并将响应最大的尺度作为 新的尺度，更新目标尺寸和尺度滤波器。在该实施例中，在新的位置处提取 17个不同的尺度的图像块，并将上述图像块调整到同一大小，循环移位产生 候选尺度图像；调用尺度相关滤波器对候选尺度图像进行检测，并且将17个 尺度响应通过三角多项式插值为33个尺度响应，选取响应最大的尺度为新的 尺度。

步骤S12：判断长期核相关滤波器的检测结果的置信度是否高于预设第二 阈值，若高于，则更新长期核相关滤波器和支持向量机。在该实施例中，当 长期核相关滤波器的置信度高于0.38时，更新长期核相关滤波器以及支持向 量机。

步骤S13：更新所述相关滤波器和所述贝叶斯分类器。在该实施例中，更 新背景感知的相关滤波模型的公式如公式17和公式18所示：

其中

是表示(公式13)式中

在第t帧时的模型，η_cf是背景感知的相关滤波 器的学习率。

为在第t帧的

用于更新t-1帧时的模型

是第t帧时

的 模型，

为所提取特征的傅里叶变换。

在该实施例中，更新贝叶斯分类器的颜色直方图的表达式如公式19和公式 20所示：

其中，是t时刻的背景颜色直方图，ηp是贝叶斯分类器的学习率，

是 t时刻的前景颜色直方图，f_hist,,t是t时刻从目标提取的用于更新的前景颜色直 方图。

在该实施例中，优选值η_cf＝0.015和η_p＝0.04。

步骤S14：获得下一帧图像，重复步骤S7、S8、S9、S10、S11、S12、 S13，直至视频结束。

在该实施例中，有关背景感知的相关滤波器滤波、贝叶斯分类器分类及 尺度相关滤波器的操作步骤可以进行顺序互换或者并列执行，因为这三个步 骤执行并未有结果依赖关系。

本发明实施例的基于集成学习的目标跟踪方法将目标附近的背景信息加 入相关滤波的岭回归方程，达到在不破坏封闭解的情况下增强相关滤波器的 判别能力。进一步地，该方法采用集成学习的方法集成贝叶斯分类器的响应、 背景感知的相关滤波器的响应以及支持向量机的分类结果，通过集成三种差 异较大的分类器的判别结果，有效地缓解边界效应，且能够有效地长期跟踪 目标。进一步地，该方法采用主成分分析法压缩尺度滤波器的特征，从而有 效地加速了该方法的运算，确保了实时性。

如图2所示，为图1所示实施例的一种简化流程示意图。在图2中，图 像为初始帧。如图2所示，可以将图1所示实施例的步骤概括成四个步骤：

步骤一：从初始帧中获取目标位置信息，包括目标位置、目标长宽；分 别初始化参数和初始化五个分类器的提取特征的区域，在对应区域提出特征 训练五个分类器。五个分类器包括尺度相关滤波器、背景感知的相关滤波器、 贝叶斯分类器、支持向量机和专家(即上文实施例中的长期核相关滤波器)。 在上述五个分类器中，背景感知的相关滤波、贝叶斯分类器和支持向量机的 都用于检测目标的位置变化，尺度相关滤波器用于估计尺度变化，长期核相 关滤波器用于判断跟踪结果的置信度以对三个检测位置变化的分类器进行集成。

步骤二：将三个用于检测位置变化的分类器在新一帧中用于检测目标， 并将三个分类器的分类结果集成获得最终的检测结果。将尺度相关滤波器作 用在估计结果上估计尺度变化。

步骤三：根据之前帧的估计结果更新各个分类器。

步骤四：随后重复步骤二、三，直至视频结束。

在该实施例中，目标跟踪方法将背景信息加入相关滤波的岭回归方程中； 通过贝叶斯法则对目标的信息进行处理，获得贝叶斯分类器；在目标周围采 集正负样本以训练支持向量机。在下一帧进行检测，通过集成学习的方法， 对三个分类器的检测结果进行集成，获得最后输出结果。本发明实施例的目 标跟踪方法利用目标的背景信息，通过循环矩阵的特性，在不破坏相关滤波 封闭解的情况下，有效地克服相关滤波的边界效应，构建了一个更具鲁棒性 的滤波模板；并且通过两个与相关滤波互补的分类器集成，使目标可以在跟踪过程中快速适应目标变化的同时，仍然可以对目标实现长期跟踪。本发明 实施例所提供的目标跟踪方法，绕过了复杂空域正则化方法，通过集成学习， 使跟踪速度保持实时性并且跟踪性能也得到大幅提升，能满足现实世界的跟 踪需求。

如图3中(a)图和(b)图所示，本发明实施例所提出的基于集成学习 的目标跟踪方法的跟踪性能分别在OTB2013测试集和OTB100测试集上的结 果。OTB2013是目标跟踪领域最经典的测试集之一，OTB100在OTB2013的 50个视频序列的基础上增加到100个视频序列。如图3所示，本发明实施例 所提供的基于集成学习的目标跟踪方法(图中LSAT曲线所示)在两个测试集 上均获得跟踪性能第一的结果。本发明实施例所提供的基于集成学习的目标跟踪方法(图中LSAT曲线所示)相对于KCF目标跟踪方法，在OTB2013 与OTB100的成功率中分别提升了26.3％与29.6％。本发明实施例所提供的 基于集成学习的目标跟踪方法的运行速度在Matlab R2016a，I7-8700 CPU,16G RAM的运行条件下可以达到27帧每秒。

如表1所示，本发明实施例所提供的基于集成学习的目标跟踪方法的跟 踪性能在OTB2013测试集上11个属性与其他目标跟踪算法的定量比较。在 这11个属性上除了低分辨率略逊色于SRDCF方法，本发明实施例所提供的 基于集成学习的目标跟踪方法(LSAT)均排名第一。

表1本发明实施例所提供的基于集成学习的目标跟踪方法的跟踪性能在 OTB2013测试集上11个属性与其他目标跟踪算法的定量比较表

属性	LSAT	DCF	Staple	SAMF	DSST	SRDCF
							快速移动	0.595	0.440	0.501	0.497	0.405	0.569
背景斑杂	0.612	0.522	0.557	0.512	0.498	0.587
							运动模糊	0.589	0.469	0.526	0.493	0.423	0.601
变形	0.673	0.531	0.607	0.623	0.478	0.635
							光照变化	0.625	0.481	0.561	0.523	0.504	0.576
低分辨率	0.486	0.278	0.396	0.297	0.356	0.496
							遮挡	0.645	0.502	0.585	0.611	0.478	0.627
平面外旋转	0.630	0.488	0.569	0.548	0.492	0.601
							移出视野	0.682	0.542	0.518	0.560	0.465	0.555
尺度变化	0.599	0.416	0.545	0.505	0.447	0.590
							平面内旋转	0.611	0.487	0.576	0.509	0.520	0.569

如图4至图6所示，本发明实施例所提供的基于集成学习的目标跟踪方 法(简称LSAT，图中实线表示)与KCF方法(点划线)、Staple(虚线)在不同 视频序列上的定性比较图。其中，图4为本发明实施例所提供的基于集成学 习的目标跟踪方法(LSAT实线)与STAPLE方法(虚色)和KCF(点划线) 在视频序列Lemming上的定性比较图；图5为本发明实施例所提供的基于集 成学习的目标跟踪方法(LSAT实线)与STAPLE方法(虚色)和KCF(点 划线)在视频序列Skiing上的定性比较图；图6为本发明实施例所提供的基 于集成学习的目标跟踪方法(LSAT实线)与STAPLE方法(虚色)和KCF (点划线)在视频序列Couple上的定性比较图本发明实施例所提出的算法。 相对于其它两个算法，LSAT在大部分的场景下都能准确跟踪目标，能处理光 照变化、尺度变化、快速运动、遮挡、旋转等跟踪情形。

在Lemming视频序列中，Lemming序列在359帧目标遭遇严重长时间的 遮挡后，STAPLE，KCF方法的模型被污染导致目标丢失，只有LSAT方法 可以准确跟踪目标，其主要原因是因为本发明实施例所提供的基于集成学习 的目标跟踪方法通过集成支持向量机在稳定性-可塑性窘境中找到了一个平衡 点。

在Skiing视频序列中，由于目标在快速运动中频繁发生平面外旋转，仅 有本发明实施例所提供的基于集成学习的目标跟踪方法仍能跟踪目标。

在Couple视频序列中，当目标遭遇快速运动、运动模糊、低分辨率等跟 踪情形时，由于使用HOG特征与边界效应，使KCF方法与STAPLE方法在 这几种情形下缺乏分辨能力；而LSAT方法基本上都可以准确跟踪目标，证明 了融入背景信息的有效性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书 中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中 以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以 将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施 例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发 明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于集成学习的目标跟踪方法，其特征在于，所述方法包括步骤：

步骤S1：根据初始图像帧，获取目标初始信息；

步骤S2：在背景感知的相关滤波器区域及目标的背景区域中，提取前第一阈值维数的梯度直方图特征和第二阈值维数的颜色属性特征，初始化核相关滤波器；

步骤S3：在目标区域附近提取颜色直方图，初始化贝叶斯分类器；

步骤S4：从目标中提取前第三阈值维数的梯度直方图特征和强度特征，初始化用于置信度判断的长期核相关滤波器；

步骤S5：从图像帧中提取LAB颜色直方图作为特征，初始化支持向量机；

步骤S6：初始化尺度滤波器，提取不同尺度的图像块并使用梯度直方图特征作为训练特征来训练所述尺度滤波器，采用主成分分析法压缩所述训练特征的维数；

步骤S7：在贝叶斯分类区域中提取颜色直方图，并采用贝叶斯分类器进行目标检测，获得贝叶斯分类器的响应图；

步骤S8：在背景感知的相关滤波区域检测目标，获得背景感知的相关滤波响应图，将所述背景感知的相关滤波响应图的大小调整至与所述贝叶斯分类器的响应图的大小相等；

步骤S9：集成所述贝叶斯分类器响应图和所述背景感知的相关滤波响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置；

步骤S10：在所述目标的新位置处，采用长期核相关滤波器进行目标检测，获得长期响应图，将所述长期响应图中的响应峰值作为置信度的判断依据；判断所述置信度是否小于预设第一阈值，若小于，则激活支持向量机并获得支持向量机的检测结果；在支持向量机的检测结果上，采用长期核相关滤波器器进行目标检测，获得新的响应峰值，若新的响应峰值大于所述预设第一阈值的预设倍数时，将所述支持向量机所检测的目标位置作为目标的新位置；

步骤S11：在目标的新位置处，调用尺度滤波器并将响应最大的尺度作为新的尺度，更新目标尺寸和尺度滤波器；

步骤S12：判断长期核相关滤波器的检测结果的置信度是否高于预设第二阈值，若高于，则更新长期核相关滤波器和支持向量机；

步骤S13：更新所述背景感知的核相关滤波器和所述贝叶斯分类器；

步骤S14：获得下一帧图像，重复步骤S7、S8、S9、S10、S11、S12、S13，直至视频结束。

2.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，所述目标初始信息包括目标位置、目标长度和目标宽度。

3.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，所述第一阈值维数为28维，第二阈值维数为10维，第三阈值维数为28维。

4.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，在步骤S9中采用加权平均的方法集成所述贝叶斯分类器响应图和所述背景感知的相关滤波响应图。

5.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，加入背景信息的相关滤波的表达式为：

其中，ω为滤波器系数，y为样本标签，k是背景图像块的数量，且A₀表示目标对应的循环矩阵，A_i表示目标的背景图像对应的循环矩阵，λ₁和λ₂表示正则化系数。

6.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，所述贝叶斯分类器的具体实现过程的表达式如下所示：

其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，c_x表示像素x属于RGB颜色直方图的第c条柱。

7.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，所述支持向量机的具体实现过程的表达式如下所示：

其中，N为样本总数，{(v_i,c_i|i＝1,2,….N)}，v_i为样本的特征向量，c_i∈{+1,-1}是样本的标签，λ是正则化系数。

8.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，步骤S10中预设第一阈值为0.18，预设倍数为1.5。

9.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，用于判断置信度的长期核相关滤波器的具体实现过程的表达式如下所示：

其中，ω为滤波器系数，y为样本标签，

且A₀表示目标对应的循环矩阵，λ₁表示正则化系数，核技巧使用高斯核。

10.根据权利要求1所述的集成学习的目标跟踪方法，其特征在于，尺度滤波器的生成过程包括步骤：

在目标位置附近提取大小为aⁿH×aⁿW的图像块，其中，S是尺度滤波器的尺寸，a表示着尺度因子,H是前一帧目标的高度，W是前一帧目标的宽度；

对上述每一个图像块分别提取特征训练一个尺度滤波器。

Images