CN109584267B - 一种结合背景信息的尺度自适应相关滤波跟踪方法 - Google Patents

Abstract

本发明请求保护一种结合背景信息的尺度自适应相关滤波跟踪方法，属于计算机视觉领域。所述方法主要包括以下步骤：基于第t帧的目标信息训练出一个判别的相关滤波分类器；利用前一帧的分类器作用于当前的跟踪目标以获取当前的候选目标；再通过构建的尺度池对候选的目标做尺度比较，得到相对应的尺度判别因子SSF；基于SSF对候选的目标区域采用不同的应对措施，得到最终的目标尺度。本发明通过结合目标的背景信息增加了分类器的判别性能，提高了跟踪器的鲁棒性。

Description

一种结合背景信息的尺度自适应相关滤波跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体地说，是一种单目标跟踪方法。

背景技术

鲁棒的运动目标跟踪是计算机视觉中的开放性研究问题之一.单目标跟踪是指已知跟踪对象初始信息的前提下,预测整个视频序列中跟踪对象的后序状态.目标跟踪在军事与民用领域有着广泛的应用,如:机器人和自动化,视觉监控,增强现实和人机交互.然而,目标跟踪领域中一些具有挑战性的因素会影响跟踪器的稳健性,例如:尺度变化,运动模糊,姿势变化,物体变形,光照变化等.

为解决以上问题,许多有效的表示方法被用于计算机视觉领域中,主要分为判别方法与生成方法,这两类方法都被用来学习目标的外观模型.判别方法主要是基于跟踪-检测理论通过使用当前流行的机器学习的算法,如:支持向量机,线性回归,随机森林等技术来训练分类器模型,而模型则负责将视觉样本分类为目标(正样本)或背景(负样本).然而,判别方法必须在每个候选目标位置进行评估,这导致了严重的计算负荷.生成方法一般使用统计模型或者模板描述目标,该类跟踪算法通常假设跟踪期间目标的外观变化不太严重,且忽略目标周围的背景信息,这使得该类算法在处理复杂场景时效果并不理想.

近年来,由于相关滤波跟踪算法在跟踪精度和速度上的突出表现,使之成为当前的研究热点.相关滤波最开始应用于跟踪领域,源于Bolme等人提出了一种相关滤波器跟踪器,它主要学习了平方误差的最小输出和(minimum output sum of squared error,MOSSE),MOSSE跟踪器在速度上可以达到～700FPS.此后, Henriques等人为了提高基于MOSSE的跟踪器的精度和鲁棒性,引入了核技巧和循环矩阵,该方法称为循环结构的跟踪(circulant structure of tracking,CSK). 而后，Henriques等人通过使用多通道和HOG特征映射,扩展了CSK,称为核相关滤波器(kernelized correlation filter,KCF).综上所述,由于相关滤波跟踪算法能够在在傅立叶域计算,可有效提高相关滤波跟踪算法的计算速度.然而上述的常规相关滤波跟踪算法在跟踪过程中采用了固定尺寸的目标模板,使得其无法有效处理跟踪目标的尺度变化.然而在许多应用中,预测图像中目标的尺度大小是至关重要的.常用于目标尺度估计的最直接方法是通过执行穷举尺度搜索策略.为了应对跟踪过程中目标的尺度变化,Li Y等人提出了一种尺度自适应特征融合跟踪器(scaleadaptive with multiple features tracker,SAMF).该方法将颜色特征与HOG特征结合,得到判别性更好的融合特征,并在跟踪过程中采用多分辨率策略来获得最佳的目标尺度.Danelljan M提出了一种判别尺度空间跟踪 (discriminative scale space tracker,DSST)方法,该方法通过学习单独的相关滤波器来实现平移和尺度估计.以上的两种跟踪算法是目前基于相关滤波器的目标跟踪算法中能够有效解决目标尺度变化问题的代表性算法.此外,基于组件的相关滤波器跟踪器也探讨了尺度变化问题.然而上述方法却是以牺牲跟踪器的实时性能为代价,但在实际应用中跟踪器的速度也是评估跟踪器性能的关键因素之一,因此一个优秀的跟踪算法应该是精度与速度都应该兼备。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种在提高跟踪速度的同时也保持了较好的跟踪精度,提高了算法的整体性能的结合背景信息的尺度自适应相关滤波跟踪方法。本发明的技术方案如下：

一种结合背景信息的尺度自适应相关滤波跟踪方法，其包括以下步骤：

101、基于前一帧的目标信息，采用正则化最小二乘法分类器(RLS分类器) 利用循环矩阵产生的密集样本训练x和期望输出y优化目标函数

求解分类器的权重w

102、利用步骤101训练好得相关滤波分类器预测运动目标得位置，即采取搜索区域内得所有候选目标，计算该区域的候选目标的响应值，响应值最大的候选目标位置作为最佳候选目标；

103、通过设置不同得分辨率构建的尺度池对102步骤获取得最佳候选目标做尺度比较，得到候选目标对应的尺度判别因子SSF；

104、基于尺度判别因子SSF的值而对候选的目标区域采用不同的应对措施，如果SSF的值满足某种条件，本发明将结果背景信息对之前的获得目标更进一步检测，得到最终的目标尺度信息作为当前帧的跟踪结果。

进一步的，所述步骤101利用循环矩阵产生的密集样本训练出一个判别的相关滤波分类器；具体为：

A1、基于前一帧检测到的目标中心点为中心点，选取M维度的图像块作为基准样本，基于该基准样本通过循环矩阵产生M个循环样本作为训练样本；

A2、采用正则化最小二乘法分类器(RLS分类器)利用循环矩阵产生的密集样本训练x和期望输出y优化目标函数f(x)＝w^Tx，求解分类器的权重w.

进一步的，所述步骤102利用相关滤波分类器作用于当前的跟踪区域，计算该区域的候选目标的响应值，具体包括步骤：

B1)以前一帧中检测到的目标中心点为中心，在当前帧中提取和前一帧目标块大小一样的图像块作为基准候选目标,再以其循环移位得到的所有图像块作为候选目标,计算所有候选目标的特征；

B2)根据公式

计算所有候选目标的响应值，

表示此测试样本z的响应值，

表训练样本和测试样本之间的核函数映射，

表示的训练样本，z表示测试样本，⊙表示矩阵元素之间的点乘，α表示对偶系数，其中响应值最大的候选目标样本，作为下一步骤的输入。

进一步的，步骤103通过构建的尺度池对候选的目标做尺度比较，得到候选目标对应的尺度判别因子SSF，其具体包括步骤：

C1、在步骤102的结果上，应用尺度策略S＝{s_min,s_fixed,s_max}获取最佳的目标尺度，将目标模板大小固定为初始目标大小s_fixed，相对于s_fixed而言,s_min和s_max分别代表可能强调目标局部细节信息的目标尺度,和可能引入了过多的背景信息的目标尺度；

C2、通过公式

求取以上尺度对应的响应值，以及对应生成的 SSF：

进一步的，所述步骤104基于SSF的值而对候选的目标区域采用不同的应对措施，得到最终的目标尺度，具体如下：

D1、通过尺度判别因子SSF的值，决定是否还需要对候选目标进行下一不操作，如果满足条件：SSF＝&，将目标的背景信息结合，得到滤波器：

E(w)表示误差，_T表示整张图像的维度大小，y(j)第j个样本的期望输出，

表示第k通道的w的转置，_k表示第k通道数，_K表示特征的通道数，P表示一个二进制的裁剪矩阵,x_k表示第k通道的特张向量，Δτ_j表示一个循环位移操作，λ表示为正则化参数防止过拟合，w_k表示第k个通道的w.

D2、以步骤103检测到的目标中心点为中心，提取的满足条件SSF＝&的图像块作为基准候选目标,再作用于整个视频帧，进行循环获取测试样本，将D1步骤求取的滤波器应对在测试样本上求取响应值，获得最大响应值的样本作为候选目标；

D3、在D2中获得的候选目标放入一个大小为5尺度池中求取最佳目标尺度；

D4、如果条件为：SSF＞&或者SSF＜&，则直接将对应的尺度就为当前求取的目标尺度；

D5、根据求取的最终目标，更新滤波器。

本发明的优点及有益效果如下：

本发明针对常规的相关滤波跟踪算法不具备目标尺度自适应的能力,而基于穷举尺度搜索的相关滤波跟踪算法尽管取得了较高的跟踪精度,但是产生了较大的时间开销，影响了其跟踪的速度.本文提出一种简单快速的尺度自适应的相关滤波跟踪算法.1)首先通过构建一种尺度自适应的搜索解决穷举搜索造成的计算量过大的问题,该策略通过设计比例选择因子对当前帧进行有针对性地采样，2)此外,通过结合目标的背景信息进一步提高了跟踪算法的精度.实验结果表明,该算法在提高跟踪速度的同时也保持了较好的跟踪精度,提高了算法的整体性能.相对于其它方法,本文所提方法在跟踪目标尺度变化较大情况下具有较高的准确性,鲁棒性。

附图说明

图1是本发明提供优选实施例一种结合背景信息的尺度自适应相关滤波跟踪方法流程图；

图2是选择最佳尺度的流程图；

图3是常规滤波器训练样本和基于背景信息训练样本的展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如附图1所示，一种结合背景信息的尺度自适应相关滤波跟踪方法包括以下步骤：

1.根据上一帧的结果训练好滤波器用于当前帧：

1)基于前一帧检测到的目标中心点为中心点选取M维度的图像块作为基

准样本，基于该样本通过循环矩阵产生M个循环样本作为训练样本。

2)通过使函数f(x)＝w^Tx在训练样本上的响应与y的平方误差最小，来求得求取w。

2.进一步的，利用前面所得分类器作用于当前的跟踪区域，计算该区域的候选目标的响应值，响应值最大的候选目标位置就为最佳候选目标，具体方法如下：

1)以上一帧中检测到的目标中心点为中心,在当前帧中提取的大小和上一帧目标块一样的图像块作为基准候选目标,再以其循环移位得到的所有图像块作为候选目标,计算所有候选目标的特征.

2)根据公式

计算所有候选目标的响应值，其中响应值最大的候选目标样本，作为下一步骤的输入。

3.如附图2所示，选择最佳尺度的流程：

1)在102的结果上，应用尺度策略以获取最佳的目标尺度。在这里,本文将目标模板大小固定为初始目标大小，相对于而言,和分别代表可能强调目标局部细节信息的目标尺度,和可能引入了过多的背景信息的目标尺度.

2)求取以上尺度对应的响应值，以及对应生成的SSF：

4.采用基于上一步获得尺度判别因子SSF的值而对候选的目标区域采用不同的应对措施，得到最终的目标尺度，这一步骤的训练的滤波器都是基于真实样本的，如附图3.b。策略如下：

为了验证本发明的效果，进行了以下实验：

实验平台：i7处理器，8G内存的计算机。

编程软件：MATLAB 2016a。

实验数据库：OTB2013。

实验方法：

1)为对本发明的性能进行客观的评估，本发明在OTB50库进行了大量实验。该数据库中共有50个标准数据集，这些数据集使用11个属性进行了标注。这些属性表示的是视觉跟踪领域中的各大挑战因素，如尺度变化，光照和遮挡等。在此，本实验17种不同的跟踪方法进行比较，实验结果可以看出，本发明与其它方法对比，跟踪结果稳定的保持了优势地位。

2)为了测试本发明应对目标尺度的变化问题,本文提供了对27个尺度相关的序列的与其他几个算法做了一个综合比较.用于比较的跟踪器是: (adaptive color names，CN₂),(color names，CN)CN,KCF,SAMF,DSST. 表2提供本文提出的跟踪器与5个基于相关滤波的跟踪器的对比结果.该实验数据是上述6个方法在OTB50数据集中对27个有尺度变化属性序列进行的测试结果.为了便于观察,在表2中，本文将结果第一的数据表示为字体为加粗字体(如果所有方法最后得到的精度都相同,不做任何标记).结果第二的数据表示为斜体.通过观察表2,可以发现本文提出的方法上在处理目标的尺度问题上,是占据一定优势的.

表2各个方法在27个尺度序列的精度结果

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种结合背景信息的尺度自适应相关滤波跟踪方法，其特征在于，包括以下步骤：

101、基于前一帧的目标信息，采用正则化最小二乘法分类器利用循环矩阵产生的密集样本训练x和期望输出y优化目标函数

求解分类器的权重w，D表示特征维度，x_i表示第i个样本，y_i表示第i个样本输出，λ表示为正则化参数；

102、利用步骤101训练好的相关滤波分类器预测运动目标得位置，即采取搜索区域内得所有候选目标，计算该区域的候选目标的响应值，响应值最大的候选目标位置作为最佳候选目标；

103、通过设置不同得分辨率构建的尺度池对102步骤获取得最佳候选目标做尺度比较，得到候选目标对应的尺度判别因子SSF；

104、基于尺度判别因子SSF的值而对候选的目标区域采用不同的应对措施，如果SSF的值满足设定条件，将结果背景信息对之前的获得目标再次检测，得到最终的目标尺度信息作为当前帧的跟踪结果；

所述步骤102利用相关滤波分类器作用于当前的跟踪区域，计算该区域的候选目标的响应值，具体包括步骤：

B1)以前一帧中检测到的目标中心点为中心，在当前帧中提取和前一帧目标块大小一样的图像块作为基准候选目标,再以其循环移位得到的所有图像块作为候选目标,计算所有候选目标的特征；

B2)根据公式

计算所有候选目标的响应值，

表示此测试样本z的响应值，

表训练样本和测试样本之间的核函数映射，

表示的训练样本，z表示测试样本，⊙表示矩阵元素之间的点乘，α表示对偶系数，其中响应值最大的候选目标样本，作为下一步骤的输入；

步骤103通过构建的尺度池对候选的目标做尺度比较，得到候选目标对应的尺度判别因子SSF，其具体包括步骤：

C1、在步骤102的结果上，应用尺度策略S＝{s_min,s_fixed,s_max}获取最佳的目标尺度，将目标模板大小固定为初始目标大小s_fixed，相对于s_fixed而言,s_min和s_max分别代表可能强调目标局部细节信息的目标尺度,和可能引入了过多的背景信息的目标尺度；

C2、通过公式

求取以上尺度对应的响应值，以及对应生成的SSF：

2.根据权利要求1所述的一种结合背景信息的尺度自适应相关滤波跟踪方法，其特征在于，所述步骤101具体为：

A1、基于前一帧检测到的目标中心点为中心点，选取M维度的图像块作为基准样本，基于该基准样本通过循环矩阵产生M个循环样本作为训练样本，维度数目与循环样本个数均为M；

A2、采用正则化最小二乘法分类器利用循环矩阵产生的密集样本训练x和期望输出y优化目标函数f(x)＝w^Tx，求解分类器的权重w。

3.根据权利要求1所述的一种结合背景信息的尺度自适应相关滤波跟踪方法，其特征在于，所述步骤104基于SSF的值而对候选的目标区域采用不同的应对措施，得到最终的目标尺度，具体如下：

D1、通过尺度判别因子SSF的值，决定是否还需要对候选目标进行下一步操作，如果满足条件：SSF＝&，将目标的背景信息结合，得到滤波器：

E(w)表示误差，_T表示整张图像的维度大小，y(j)第j个样本的期望输出，

表示第k通道的w的转置，_k表示第k通道数，_K表示特征的通道数，P表示一个二进制的裁剪矩阵,x_k表示第k通道的特张向量，Δτ_j表示一个循环位移操作，λ表示为正则化参数防止过拟合，w_k表示第k个通道的w；

D2、以步骤103检测到的目标中心点为中心，提取的满足条件SSF＝&的图像块作为基准候选目标,再作用于整个视频帧，进行循环获取测试样本，将D1步骤求取的滤波器应对在测试样本上求取响应值，获得最大响应值的样本作为候选目标；

D3、在D2中获得的候选目标放入一个大小为5尺度池中求取最佳目标尺度；

D4、如果条件为：SSF＞&或者SSF＜&，则直接将对应的尺度就为当前求取的目标尺度；

D5、根据求取的最终目标，更新滤波器。

Images