CN111476825B

CN111476825B - 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法

Info

Publication number: CN111476825B
Application number: CN202010162227.1A
Authority: CN
Inventors: 周非; 孙帮武
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2022-08-26
Anticipated expiration: 2040-03-10
Also published as: CN111476825A

Abstract

本发明涉及基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法，属于目标跟踪技术领域。该方法包括：联合多示例学习预测的遮挡程度和基于核相关滤波器构建的遮挡检测机制共同判断目标是否发生遮挡。当目标发生遮挡时，激活重检测机制重新搜索目标，同时暂停更新跟踪器，防止跟踪器被遮挡物所干扰。最后构建尺度滤波器确定目标的尺度。实施本发明，能够使跟踪方法在遮挡场景下表现优异并且满足实时性要求。

Description

基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法

技术领域

本发明属于目标跟踪技术领域，涉及基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法。

背景技术

目标跟踪融合了机器学习、概率统计、图像处理、自动控制、甚至是最近火热的神经网络及深度学习等多门学科理论，其本质是在给定图像或是视频初始帧中感兴趣目标的位置和尺度信息的条件下，依次预测出后续帧中目标的位置和尺度。在此基础上，可对跟踪结果进行分析，从而实现目标的运动姿态识别、趋势预测及异常行为检测等多种高级视觉任务。

目前目标跟踪技术在视频监控、人机交互、军事、医学等领域都起着重要的作用，是计算机视觉领域最重要的研究之一。在实际场景中，遮挡是目标跟踪过程中的常见问题，对目标跟踪方法的跟踪性能是一个严重挑战。因此，研究如何实现遮挡环境下对运动目标的鲁棒跟踪就成为一个重要的课题。

现阶段，核相关滤波器通过引入循环矩阵和核技巧，在获得高跟踪精度的同时满足了实时性要求。但是，当发生遮挡时，核相关滤波器往往会引入干扰特征导致跟踪器无法准确定位目标。

发明内容

有鉴于此，本发明的目的在于提供基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法。

为达到上述目的，本发明提供如下技术方案：

基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法，该方法包括以下步骤：

步骤S1、通过多示例学习获取最优候选样本的遮挡程度；

步骤S2、核相关滤波器的最强响应值对目标的遮挡敏感，根据此特点，构造一个遮挡检测机制，同时联合多示例学习获取的遮挡程度共同判断目标是否发生遮挡；

步骤S3、当目标发生遮挡时，扩大搜索范围进行目标搜索恢复跟踪；

步骤S4、对mi-SVM分类器进行合理的更新。

可选的，所述步骤S1具体包括以下步骤：

在第一帧中手动标记目标并使用核相关滤波器方法跟踪第二帧至第n帧的目标；将目标区域均匀分割成M个重叠的局部图像块，并使用这n帧跟踪结果训练初始mi-SVM分类器；接着使用mi-SVM分类器预测目标区域每一个局部图像块的遮挡情况，用σ_k表示局部块的遮挡情况，即：

目标通常位于边界框的中间，包含更多的目标信息和较少的背景信息，位于不同位置的局部图像块对目标遮挡程度的贡献存在差异；因此目标的遮挡程度表示为：：

其中，ω_k表示第k个局部图像块对目标遮挡程度的贡献权重，遮挡程度D_occ越小表示遮挡越严重。

可选的，在所述步骤S2中，核相关滤波器方法中，跟踪器的最强响应值易受遮挡的影响；计算核相关滤波器方法当前帧的最强响应值f和最强响应值的期望

其中ξ₀为最强响应值期望的学习率；当满足下式时，判断目标发生遮挡；

其中λ₀和λ₁为遮挡判断阈值，

为前t帧遮挡程度的均值，更新方式如下：

其中ξ₁为遮挡程度均值的学习率。

可选的，所述步骤S3中，当目标发生遮挡时，扩大搜索范围进行目标搜索恢复跟踪；核相关滤波器方法以上一帧跟踪结果为中心扩大区域构造当前帧的搜索区域；因发生遮挡，核相关滤波器方法的搜索区域没有包含目标；因此在原始搜索区域的基础上，以上一帧跟踪结果的四个顶点作为中心位置再构造4个搜索区域；当前帧的目标出现在以上一帧跟踪结果为中心的搜索区域的概率比其他搜索区域大，所述搜索区域为原核相关滤波器方法的搜索区域，给新增的搜索区域一个权重η；在新增的搜索区域里，其最强响应值为：

f_max＝ηmax(F(z))

其中z为搜索区域里的候选样本，F(z)为所有候选样本的响应值；减少因新增搜索区域而带来的背景干扰；

使用跟踪器获取5个搜索区域的最强响应值f_i，并且利用mi-SVM分类器获取每个搜索区域最优候选样本的遮挡程度D_occ；如果满足下式：

则表示搜索到可靠目标；否则将上一帧的跟踪结果作为当前帧的结果；其中φ为权值系数，

为所有局部图像块无遮挡时的遮挡程度；无论是否搜索到可靠目标，此时都暂停更新核相关滤波器；其中，γ为搜索到可靠目标的判别系数。

可选的，所述步骤S4中，每隔θ帧图像，将最新的n帧跟踪结果重新采集正负包，更新 mi-SVM分类器；为防止发生严重遮挡的跟踪结果影响分类器的性能，当遮挡程度D_occ不超过阈值τ时，跟踪结果不添加进训练集；首帧目标始终真实，始终保持首帧目标在训练集。

本发明的有益效果在于：

(1)本发明联合多示例学习获取的遮挡程度和核相关滤波器最强响应值的分布特征构建的遮挡检测机制，能够准确判断目标是否发生遮挡；

(2)当目标发生遮挡时，本发明能够激活重检测机制准确快速地重新捕获目标，从而提升跟踪方法的跟踪精度；

(3)从OTB测试数据集中选取具有遮挡属性的视频序列进行对比实验，实验结果表明：本发明方法在遮挡场景下跟踪性能优异，同时其跟踪速率满足实时性要求。。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明实施例提出的目标跟踪方法流程图。

图2为本发明实施例提出的目标区域分割效果图；

图3为本发明实施例提供的正负包采集图；

图4为本发明实施例提供的贡献权重向量的取值；

图5为本发明实施例提供的搜索区域扩大示意图；

图6为本发明实施例提供的目标跟踪效果图；图6(a)为本发明所给出的方法与其他方法在”Girl2”视频序列上的跟踪结果；图6(b)为本发明所给出的方法与其他方法在”Jogging-2”视频序列上的跟踪结果；

图7为本发明实施例提供的成功率曲线图和准确度曲线图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图1为本发明的流程示意图。参照图1，本发明的具体实现过程如下：

步骤1、通过多示例学习获取最优候选样本的遮挡程度。在本文中，将目标区域均匀分割成M个N×N重叠的局部图像块，如图2所示。M表示局部图像块的数量，N×N表示局部图像块的大小。在多示例学习框架中，训练样本由包组成，每个包由多个示例组成。包具有标签，而包中的示例没有标签。如果一个包中至少包含一个正例，则该包是一个正包，否则即为反包。在本文中以目标区域作为多示例学习的包，局部图像块作为包的示例。正负包的采集如图3所示，以目标区域(黑色框)为正包，以距目标区域较远的背景区域(白色框) 为负包。负包用p^-表示，选取方式如下：

其中

分别表示负包的中心横纵坐标、宽度和高度，t为目标状态，

表示负包

与目标t的欧式距离，l₀和l₁为采样半径。M₁表示负包的数量。

在第一帧中手动标记目标并使用核相关滤波器方法跟踪第二帧至第n帧的目标。将目标区域均匀分割成M个重叠的局部图像块，并使用这n帧跟踪结果训练初始mi-SVM分类器。接着使用mi-SVM分类器预测目标区域每一个局部图像块的遮挡情况，用σ_k表示局部块的遮挡情况，即：

目标通常位于边界框的中间，包含更多的目标信息和较少的背景信息，所以位于不同位置的局部图像块对目标遮挡程度的贡献存在差异。因此目标的遮挡程度可表示为：

其中，ω_k表示第k个局部图像块对目标遮挡程度的贡献权重，遮挡程度D_occ越小表示遮挡越严重。贡献权重向量w＝[ω₁,ω₂,...,ω_M]的取值如图4所示。

步骤2，构建遮挡检测机制。在核相关滤波器方法中，跟踪器的最强响应值易受遮挡的影响。因此计算核相关滤波器方法当前帧的最强响应值f和最强响应值的期望

Figure 292965DEST_PATH_FDA0003717960110000012

(4)

其中ξ₀为最强响应值期望的学习率。当满足下式时，判断目标发生遮挡。

其中λ₀和λ₁为遮挡判断阈值，

为前t帧遮挡程度的均值，它的更新方式如下：

其中ξ₁为遮挡程度均值的学习率。

步骤3，重检测机制。当目标发生遮挡时，扩大搜索范围进行目标搜索恢复跟踪。如图5 所示，核相关滤波器方法以上一帧跟踪结果(图5中的黑色实线框)为中心扩大区域构造当前帧的搜索区域(黑色虚线框)。因发生遮挡，核相关滤波器方法的搜索区域没有包含目标(图 5中的饮料瓶)。因此在原始搜索区域的基础上，以上一帧跟踪结果的四个顶点作为中心位置再构造4个搜索区域(图5中的白色框)。当前帧的目标出现在以上一帧跟踪结果为中心的搜索区域(原核相关滤波器方法的搜索区域)的概率比其他搜索区域大，因此给新增的搜索区域一个权重η。在新增的搜索区域里，其最强响应值为：

f_max＝ηmax(F(z)) (7)

其中z为搜索区域里的候选样本，F(z)为所有候选样本的响应值。如此可以减少因新增搜索区域而带来的背景干扰。使用跟踪器获取5个搜索区域的最强响应值f_i，并且利用mi-SVM 分类器获取每个搜索区域最优候选样本的遮挡程度D_occ。如果满足下式：

则表示搜索到可靠目标；否则将上一帧的跟踪结果作为当前帧的结果。其中φ为权值系数，

为所有局部图像块无遮挡时的遮挡程度。无论是否搜索到可靠目标，此时都暂停更新相关滤波器。其中，γ为搜索到可靠目标的判别系数。

步骤4，每隔θ帧图像，将最新的n帧跟踪结果重新采集正负包，更新mi-SVM分类器。为防止发生严重遮挡的跟踪结果影响分类器的性能，当遮挡程度D_occ不超过阈值τ时，该跟踪结果不添加进训练集。此外，因为首帧目标始终真实，故始终保持首帧目标在训练集。

证明部分

本发明的效果可以通过OTB测试数据集中发生遮挡的视频序列进行仿真作进一步说明。计算机环境为：CPU为Intel Core i3，内存为8GB。实验平台：Matlab2016b。参数设置如下：局部图像块的尺度N＝16，mi-SVM分类器更新间隔θ＝20，n＝16，阈值τ＝2.9；学习率ξ₀＝0.01，ξ₁＝0.005，β＝0.025；遮挡判断阈值为λ₀＝0.35，λ₁＝0.7；权重η为0.95，权值系数φ为0.7，

为5.8，γ为0.4。

图6是本发明所给出的方法与其他方法在2个典型视频序上的跟踪结果。其他方法分别是CSK、KCF、DSST、SRDCF、Staple。OTB中的”Girl2”视频序列描述了一个小女孩在在广场上游玩的场景，小女孩在玩耍过程中会被侧面走出的行人所遮挡。由图6(a)可以看出，前105帧中目标没有发生遮挡，6种方法均保持对目标的准确跟踪；在第105帧，一名男子推着一辆小车从侧面走出，开始遮挡小女孩；到第130帧，遮挡结束，目标重新出现在视野，在遮挡过程中目标基本保持不动，本发明所给出的方法存在遮挡检测机制，所以模型没有被遮挡所污染，因此始终保持对目标的准确跟踪，其他方法的模型被遮挡所干扰，将遮挡物误认为目标。OTB中的”Jogging-2”视频序列描述了一个女运动员在街上跑步的画面，在跑步过程中，女运动员会被一个电线杆所遮挡。由图6(b)可以看出，前45帧中6种跟踪方法跟踪良好；从第45帧至第65帧，目标发生遮挡，遮挡结束后，只有本发明所给出的方法和SRDCF保持对目标的正确跟踪；在遮挡过程中，目标快速运动，所以当目标重新出现在视野时，目标离开了Staple、DSST、KCF、CSK跟踪器的搜索区域，Staple、DSST、KCF、CSK无法重新捕获目标。而本发明所给出的方法因为在发生遮挡时扩大搜索模型，所以能及时捕获目标，恢复跟踪。

本发明选取OTB数据集中发生遮挡的29组视频序列验证本发明所给出的方法在抗遮挡方面的总体性能，并且采用跟踪成功率和跟踪准确度2个通用的评价指标。其中，跟踪成功率是指当覆盖率大于0.5时，成功跟踪的帧数与视频序列总帧数的比例；跟踪准确度是指当平均中心位置误差小于20像素时，成功跟踪的帧数与视频序列总帧数的比例。图7显示了6 种方法在29组遮挡测试序列上的成功率曲线和准确度曲线。从图7可以看出，本发明所提出的方法在29组遮挡测试序列上的跟踪成功率和跟踪准确度分别为0.704和0.747，本发明所提出的方法在抗遮挡方面表现最佳。

表1不同方法的平均速率对比(frame/s)

表1列出了6种方法在29组遮挡测试序列上的平均跟踪速率。因为本发明所提出的方法在跟踪过程中要使用多示例学习进行遮挡预测，同时当目标发生遮挡时要进行目标搜索，所以跟踪速率有所下降，但本发明的平均跟踪速率仍达到18.1帧/秒，满足实时性要求。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法，其特征在于：该方法包括以下步骤：

步骤S1、通过多示例学习获取最优候选样本的遮挡程度；

在所述步骤S2中，核相关滤波器方法中，跟踪器的最强响应值易受遮挡的影响；计算核相关滤波器方法当前帧的最强响应值f和最强响应值的期望

其中λ₀和λ₁为遮挡判断阈值，

为前t帧遮挡程度的均值，更新方式如下：

其中ξ₁为遮挡程度均值的学习率；

步骤S4、对mi-SVM分类器进行合理的更新。

2.根据权利要求1所述的基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法，其特征在于：所述步骤S1具体包括以下步骤：

目标通常位于边界框的中间，包含更多的目标信息和较少的背景信息，位于不同位置的局部图像块对目标遮挡程度的贡献存在差异；因此目标的遮挡程度表示为：

3.根据权利要求1所述的基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法，其特征在于：所述步骤S3中，当目标发生遮挡时，扩大搜索范围进行目标搜索恢复跟踪；核相关滤波器方法以上一帧跟踪结果为中心扩大区域构造当前帧的搜索区域；因发生遮挡，核相关滤波器方法的搜索区域没有包含目标；因此在原始搜索区域的基础上，以上一帧跟踪结果的四个顶点作为中心位置再构造4个搜索区域；当前帧的目标出现在以上一帧跟踪结果为中心的搜索区域的概率比其他搜索区域大，所述搜索区域为原核相关滤波器方法的搜索区域，给新增的搜索区域一个权重η；在新增的搜索区域里，其最强响应值为：

f_max＝ηmax(F(z))

4.根据权利要求3所述的基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法，其特征在于：所述步骤S4中，每隔θ帧图像，将最新的n帧跟踪结果重新采集正负包，更新mi-SVM分类器；为防止发生严重遮挡的跟踪结果影响分类器的性能，当遮挡程度D_occ不超过阈值τ时，跟踪结果不添加进训练集；首帧目标始终真实，始终保持首帧目标在训练集。