CN106204649B

CN106204649B - 一种基于tld算法的目标跟踪方法

Info

Publication number: CN106204649B
Application number: CN201610530203.0A
Authority: CN
Inventors: 赵小明; 向健勇; 胡淑桃; 周梦姣
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2016-07-05
Filing date: 2016-07-05
Publication date: 2019-06-28
Anticipated expiration: 2036-07-05
Also published as: CN106204649A

Abstract

本发明涉及一种基于TLD算法的目标跟踪方法，该方法包括：从第一帧图像中初始化选取目标区域；采用中值光流法依据上一帧图像中目标区域信息预测确定的预测目标作为目标跟踪结果；判断上一帧图像中目标区域在当前帧图像中所占像素点数量是否大于像素阈值；若是，则按照一定长宽比缩小所述上一帧图像中目标区域及当前帧图像，采用滑动窗的方式进行全局遍历以得到待选目标；若否，对当前帧图像进行局部区域划分，采用滑动窗的方式进行局部遍历以得到待选目标；对至少一个待选目标进行处理形成目标检测结果；根据目标跟踪结果与目标检测结果确定目标跟踪区域。本发明针对TLD跟踪算法的检测模块和学习模块进行改进，提高了目标跟踪的实时性。

Description

一种基于TLD算法的目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于TLD算法的目标跟踪方法。

背景技术

采用相机对于长时间跟踪目标而言，一个关键的问题就是：当目标重新出现在相机视野中时，系统应该能重新检测到它，并开始重新跟踪。但是，长时间跟踪过程中，被跟踪目标将不可避免的发生形状变化、光照条件变化、尺度变化、遮挡等情况。传统的跟踪算法，前端需要跟检测模块相互配合，当检测到被跟踪目标之后，就开始进入跟踪模块，而此后，检测模块就不会介入到跟踪过程中。但这种方法有一个致命的缺陷：即，当被跟踪目标存在形状变化或遮挡时，跟踪就很容易失败；因此，对于长时间跟踪，或者被跟踪目标存在形状变化情况下的跟踪，很多人采用检测的方法来代替跟踪。该方法虽然在某些情况下可以改进跟踪效果，但它需要一个离线的学习过程。即：在检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练。这也就意味着，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法来达到长时间跟踪的目的，对于训练样本的选择至关重要，否则，跟踪的鲁棒性就难以保证。

目标跟踪算法(Tracking-Learning-Detection，简称TLD)是英国萨里大学的一个捷克籍博士生Zdenek Kalal在其攻读博士学位期间提出的一种新的单目标长时间(longterm tracking)跟踪算法，由于其良好的跟踪性能，受到了广泛的关注。

该算法主要由跟踪模块、检测模块、学习模块三个部分组成。跟踪模块采用中值光流法预测出目标在当前帧中的位置；检测模块使用了三层级联分类器：方差分类器、随机蕨分类器和最近邻分类器，通过检测模块检测出目标在当前帧中的位置；学习模块利用P-N在线学习的方法，不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。

TLD算法较好的解决了被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题，但其计算复杂度高，计算量大，在实时性方面与实际系统的需求存在较大差距，因此提高TLD目标跟踪算法的实时性仍然是一个极富挑战性的课题。

中国专利文献CN104574439A公开了一种融合卡尔曼滤波与TLD算法的目标跟踪方法，该方法包括以下步骤：首先分析卡尔曼滤波器的原理，并对其加以改进；然后，利用改进的卡尔曼滤波器增强TLD算法，提高系统的可靠性；最后，利用改进的卡尔曼滤波器所得到的预测结果，对检测模块进行改进，缩小TLD算法的检测区域，进一步提高跟踪的实时性。

然后，当目标长时间遮挡后，卡尔曼滤波所得预测结果不够准确，依据其预测结果缩小TLD算法的检测区域对检测模块进行改进的方法不够合理。因此，如何设计一种提高TLD目标跟踪算法实时性的方法就变得极其重要。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提供一种基于TLD算法的目标跟踪方法。

一种基于TLD算法的目标跟踪方法，所述TLD算法包括跟踪模块、检测模块及学习模块，包括：

从第一帧图像中初始化选取目标区域；

跟踪模块采用中值光流法依据上一帧图像中目标区域信息预测确定的预测目标作为目标跟踪结果；

判断上一帧图像中目标区域在当前帧图像中所占像素点数量是否大于像素阈值；若是，则按照一定的长宽比缩小所述上一帧图像中目标区域及所述当前帧图像，对所述当前帧图像采用滑动窗的方式进行全局遍历以得到所述检测模块确定的待选目标；若否，对所述当前帧图像进行局部区域划分，并采用滑动窗的方式进行局部遍历以得到所述检测模块确定的待选目标；

采用所述检测模块的方差分类器、随机蕨分类器及最近邻分类器对至少一个所述待选目标进行处理形成目标检测结果；

根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域以最终完成当前帧的目标跟踪。

在本发明的一个实施例中，从第一帧图像中初始化选取目标区域，包括：

在视频或图片序列的起始帧，手动确定一个包含目标的矩形并得到所述矩形的初始坐标和宽高信息作为初始化的目标区域信息。

在本发明的一个实施例中，采用滑动窗的方式包括：

设定滑动窗在所述当前帧图像的扫描策略；所述扫描策略为：所述滑动窗在水平和垂直方向上的位移分别为所述滑动窗沿宽度和高度尺寸的10％，每次扫描结束后所述滑动窗的尺寸根据需要扩大或者缩小1.2倍，且最小滑动窗大小为20个像素点。

在本发明的一个实施例中，对所述当前帧图像进行局部区域划分，包括：

以上一帧的目标中心位置作为局部遍历的区域划分中心，并将上一帧目标的3倍宽和3倍高所形成的图像区域作为当前帧中局部区域的划分。

在本发明的一个实施例中，所述像素阈值为500个像素点；相应地，按照一定的长宽比缩小所述上一帧图像中目标区域，包括：

按照一定的长宽比缩小所述上一帧图像中目标区域至300个像素点。

在本发明的一个实施例中，采用所述检测模块的方差分类器、随机蕨分类器及最近邻分类器对至少一个所述待选目标进行处理形成目标检测结果，包括：

步骤一、所述方差分类器利用图像的积分图计算所述待选目标的方差，若所述待选目标的方差大于方差阈值，则保留所述待选目标，否则放弃所述待选目标；

步骤二、所述随机蕨分类器计算经所述方差分类器保留的所述待选目标的累积后验概率，若所述概率大于随机蕨阈值，则保留所述待选目标，否则放弃所述待选目标；

步骤三、所述最近邻分类器计算经所述随机蕨分类器保留的所述待选目标与在线正/负样本之间的相关相似度，若所述相关相似度大于样本阈值，则将所述待选目标作为所述目标检测结果，否则放弃所述待选目标。

在本发明的一个实施例中，根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域，包括：

若所述目标跟踪结果不为0且所述目标检测结果也不为0时，对所述目标检测结果中的所述待选目标进行聚类；将所述目标跟踪结果与所述待选目标聚类后形成的各个类别分别进行重叠度计算，用重叠度大的类别对应的所述待选目标修正所述目标跟踪结果，以确定当前帧的跟踪目标区域；

若所述目标跟踪结果不为0且所述目标检测结果为0时，计算所述目标跟踪结果与所述检测模块的最近邻分类器中的正/负样本库的相关相似度；判断所述相关相似度大于样本阈值，则将所述目标跟踪结果对应的预测目标作为当前帧的跟踪目标区域；

若所述目标跟踪结果为0且所述目标检测结果不为0时，对所述目标检测结果中的所述待选目标进行聚类，若聚为一类，则将所述目标检测结果中的所述待选目标作为当前帧的跟踪目标区域；

若所述目标跟踪结果为0且所述目标检测结果为0时，则当前帧的跟踪目标区域无结果。

在本发明的一个实施例中，根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域之后，还包括：

将所述跟踪目标区域输入至所述学习模块进行学习，并在下一帧中更新所述检测模块中的随机蕨分类器及最近邻分类器的参数以实现对所述随机蕨分类器及所述最近邻分类器的重新训练。

在本发明的一个实施例中，将所述跟踪目标区域输入至所述学习模块进行学习，包括：

若所述目标跟踪结果为0，则所述跟踪目标位置不进入所述学习模块学习；

若所述目标跟踪结果不为0且所述目标检测结果为0时，计算所述目标跟踪结果与所述检测模块的最近邻分类器中的正/负样本库的相关相似度；判断所述相关相似度是否大于样本阈值，若是，则所述跟踪目标区域进入所述学习模块学习；

若所述目标跟踪结果不为0且所述目标检测结果不为0时，对所述目标检测结果中的所述检测目标区域进行聚类，若聚为一类，则所述跟踪目标区域不进入所述学习模块学习；若不能聚为一类，计算所述目标跟踪结果与所述检测模块的最近邻分类器中的正/负样本库的相关相似度；判断所述相关相似度大于样本阈值，则所述跟踪目标区域进入所述学习模块学习。

计算所述跟踪目标区域与所述最近邻分类器在线正/负样本库中的样本的重叠度；

若所述重叠度大于所述样本阈值，则停止所述跟踪目标区域与剩余的样本的重叠度计算并放弃所述跟踪目标区域作为正/负样本输入至所述最近邻分类器的在线正/负样本库中；

若所述重叠度小于所述样本阈值，则将所述跟踪目标区域输入至所述最近邻分类器的在线正/负样本库中。

与现有技术相比，本发明的目标跟踪方法，针对TLD跟踪算法的检测模块进行了改进，使得目标跟踪的实时性得到了提高，同时使TLD算法更好的应用于实际中；另外，本发明的目标跟踪方法同时对TLD跟踪算法的学习模块进行了优化，进一步提高了实时性。

附图说明

图1为本发明实施例提供的一种基于TLD算法的目标跟踪方法的流程示意图；

图2是本发明实施例提供的一种基于TLD算法的检测模块工作原理示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

请参见图1，图1为本发明实施例提供的一种基于TLD算法的目标跟踪方法的流程示意图。其中，所述TLD算法包括跟踪模块、检测模块及学习模块，该方法包括如下步骤：

步骤a、从第一帧图像中初始化选取目标区域；

步骤b、跟踪模块采用中值光流法依据上一帧图像中目标区域信息预测确定的预测目标作为目标跟踪结果；

步骤c、判断上一帧图像中目标区域在当前帧图像中所占像素点数量是否大于像素阈值；若是，则按照一定的长宽比缩小所述上一帧图像中目标区域及所述当前帧图像，对所述当前帧图像采用滑动窗的方式进行全局遍历以得到所述检测模块确定的待选目标；若否，对所述当前帧图像进行局部区域划分，并采用滑动窗的方式进行局部遍历以得到所述检测模块确定的待选目标；

步骤d、采用所述检测模块的方差分类器、随机蕨分类器及最近邻分类器对至少一个所述待选目标进行处理形成目标检测结果；

步骤e、根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域以最终完成当前帧的目标跟踪。

可选地，步骤a包括：

可选地，步骤c中，采用滑动窗的方式包括：

可选地，步骤c中，对所述当前帧图像进行局部区域划分，包括：

另外，步骤c中，所述像素阈值为500个像素点；相应地，按照一定的长宽比缩小所述上一帧图像中目标区域，包括：按照一定的长宽比缩小所述上一帧图像中目标区域至300个像素点。

可选地，步骤d包括：

步骤d1、所述方差分类器利用图像的积分图计算所述待选目标的方差，若所述待选目标的方差大于方差阈值，则保留所述待选目标，否则放弃所述待选目标；

步骤d2、所述随机蕨分类器计算经所述方差分类器保留的所述待选目标的累积后验概率，若所述概率大于随机蕨阈值，则保留所述待选目标，否则放弃所述待选目标；

步骤d3、所述最近邻分类器计算经所述随机蕨分类器保留的所述待选目标与在线正/负样本之间的相关相似度，若所述相关相似度大于样本阈值，则将所述待选目标作为所述目标检测结果，否则放弃所述待选目标。

可选地，步骤e中，根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域，包括：

若所述目标跟踪结果不为0且所述目标检测结果也不为0时，对所述目标检测结果中的所述检测目标进行聚类；将所述目标跟踪结果与所述检测目标聚类后形成的各个类别分别进行重叠度计算，用重叠度大的类别对应的所述检测目标修正所述目标跟踪结果，以确定当前帧的跟踪目标区域；例如，记录重叠度小于0.5且类的相关相似度大于跟踪结果的相关相似度的类的个数，设有x个类满足。进行判断：(1)x＝1，所述检测目标修正所述目标跟踪结果；(2)x>1,计算检测模块检测到的每一个待选目标与跟踪模块的跟踪结果之间的重叠度，对重叠度大于0.7的所有待选目标的位置和大小进行累加。将位置和大小各自的累加值与跟踪模块的跟踪结果的位置和大小进行加权平均作为最终目标的位置和大小，其中跟踪结果的权值较大。

进一步，步骤e中，根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域之后，还包括：

进一步，将所述跟踪目标区域输入至所述学习模块进行学习，包括：

可选地，将所述跟踪目标区域输入至所述学习模块进行学习，包括：

另外，步骤b也可以放在步骤c和步骤d之后，此处不做任何限制。

本实施例，检测模块对所述上一帧图像中目标区域进行像素阈值的判定，大于阈值，对当前帧图像进行缩放，对缩放后的图像采用滑动窗的方式产生待选目标，与传统TLD算法检测模块产生待选目标的机制相比，这种方式可以大大减少待选目标的数量；小于阈值，则对当前帧图像进行局部区域划分，对划分后的局部区域图像用滑动窗的方式产生待选目标，与传统TLD算法检测模块产生待选目标的机制相比，这种方式可以大大减少待选目标的数量。另外，学习模块对每一帧所得跟踪目标是否加入最近邻分类器的正/负样本库进行判断，从而解决传统TLD算法经过长时间跟踪，最近邻分类器的正/负样本不断累积，导致实时性变差的问题。

实施例2：

请参见图2，图2是本发明实施例提供的一种基于TLD算法的检测模块工作原理示意图。本实施例在上述实施例的基础上，结合TLD算法的工作流程，重点对检测模块的改进进行说明。

TLD算法的工作流程具体如下：

第一步，选取起始帧中目标的位置和大小；

在视频(或图片序列)的起始帧，通过鼠标手动确定一个包含目标的矩形，得到所需跟踪的目标位置和大小，即记录目标坐标和宽高。

第二步，跟踪模块和检测模块分别对每一帧图像进行处理，得到各自结果；

跟踪模块：采用中值光流法，得到跟踪模块的结果，可能没有，有结果也只有一个。

检测模块：采用滑动窗的方式，得到一系列待选目标，经过三级分类器删选待选目标，剩余的就是检测的结果(可能不止一个结果)。方差分类器利用图像的积分图计算每个待选目标的方差，若待选目标的方差大于阈值的，则认为其含有前景目标(前景目标指的是要跟踪的区域)，留下该待选目标；留下的待选目标进入随机蕨分类器，随机蕨分类器再计算待选目标的累积后验概率P，如果P大于阈值，就认为其含有前景目标，又删选掉小于阈值的部分待选目标，留下大于阈值的待选目标；留下的待选目标进入最近邻分类器，最近邻分类器再计算待选目标与在线正负样本之间的相关相似度和保守相似度，相关相似度大于阈值，则认为其含有前景目标，最终通过这三级级联分类器的待选目标就是检测模块的检测结果。

第三步，跟踪结果和检测结果都进入综合部分，得到当前帧最终输出结果；

综合部分具体算法：

TLD只跟踪单目标，所以综合部分综合跟踪模块的单个跟踪结果和检测模块可能检测到的多个结果，然后只输出保守相似度最大的一个结果的位置和大小。

具体实现过程如下，四种情况：

1、跟踪模块有结果，检测模块有结果

(1)首先对检测模块检测到的多个待选目标进行聚类，假设聚为N(N>＝1)类；

(2)每一类与跟踪结果计算重叠度，记录重叠度小于0.5且类的相关相似度大于跟踪结果的相关相似度的类的个数。相关相似度越大，认为可信度越高，所以也就是说这一步是记录可信度比较高的类的个数。

(3)判断：

①如果只有一个满足上述条件的类，那么就用这个类来重新初始化跟踪模块也就是用检测模块的结果去纠正跟踪模块。

举例：第二帧和第三帧：目的是找到第三帧的目标区域。第二帧检测模块只有一个满足上述条件的类，那么表示检测结果更准确，即第二帧跟踪结果不要了，检测模块的结果作为跟踪模块结果。在随后对第三帧的跟踪过程中，就用修正后的第二帧跟踪结果经过跟踪模块的算法去得到第三帧跟踪模块的结果。

②如果满足上述条件的类不止一个，则计算检测模块检测到的每一个待选目标与跟踪模块的跟踪结果之间的重叠度，对重叠度大于0.7的所有待选目标的位置和大小进行累加。将位置和大小各自的累加值与跟踪模块的跟踪结果的位置和大小进行加权平均作为最终目标的位置和大小，其中跟踪结果的权值较大。

2、跟踪模块有结果，检测模块无结果

跟踪结果的相关相似度大于阈值，则作为最终输出结果，否则，无结果

3、跟踪模块无结果，检测模块有结果

检测模块检测到了一些可能的目标，那么同样对其进行聚类，若聚为一类，则作为最终输出结果，并对跟踪模块重新初始化(方法与1中(3)聚为一类的处理方法相同)；若没有聚为一类，则无最终结果输出。

4、跟踪模块无结果，检测模块无结果

没有最终输出结果

第四步，将综合部分得到的当前帧最终输出结果输入学习模块，经过学习模块的算法处理，反过来对检测模块中的随机蕨分类器和最近邻分类器用到的部分参数进行调整，在下一帧检测模块中用更新后的参数数据，将该调整参数的处理算法称为重新训练随机蕨分类器和最近邻分类器。

第四步是否会执行，需经过一些判断，具体分两种情况：

1.跟踪模块无结果：检测模块有无结果都不进入学习模块；

2.跟踪模块有结果：检测模块无结果，若跟踪结果的相关相似度大于阈值，则进入学习模块；检测模块有结果，对检测模块检测到的多个待选目标进行聚类，假设聚为N(N>＝1)类，若N等于1，则不进入学习模块，若N大于1，且跟踪结果的相关相似度大于阈值，则进入学习模块。

学习模块对检测模块中随机蕨分类器和最近邻分类器重新训练方法如下：

将综合后的最终结果输入学习模块，再重新生成(生成方法：依据综合后的最终结果对该结果进行仿射变换)训练随机蕨分类器所需的待测正负样本(PX+NX，PX表示随机蕨分类器待测正样本，NX表示随机蕨分类器待测负样本)和训练最近邻分类器所需的待测正负样本(PEx+NEx，PEx表示最近邻分类器待测正样本，NEx表示最近邻分类器待测负样本)分别训练随机蕨分类器和最近邻分类器。

训练随机蕨分类器就是对每一个待测样本进行计算(总共(PX+NX)个)，计算处理过程如下：

如果待测样本是正样本，则计算该待测样本的累积后验概率(后验概率P＝#p/(#p+#n)累加，#p表示随机蕨分类器正样本的数目，#n表示随机蕨分类器负样本的数目)，如果该累加值小于正样本阈值，表示发生分类错误，此时令#p＝#p+1，则后验概率P＝#p/(#p+#n)就会更新；如果待测样本是负样本，计算该待测样本的累积后验概率，如果该累加值大于负样本阈值，表示分类错误，此时令#n＝#n+1，则后验概率P＝#p/(#p+#n)就会随之更新。

训练最近邻分类器：假设最近邻分类器的在线正样本库为在线负样本库为计算每一个待测样本(总共(PEx+NEx)个)与最近邻分类器的在线样本库(N_p+N_n)之间的相关相似度R，如果R小于0.65，且该待测样本的标签是正样本，则认为其不含有前景目标(前景目标指的是要跟踪的区域)，也就是分类错误了，此时就把该待测样本加到在线正样本库N_p；如果R大于0.5，且该待测样本的标签是负样本，表示分类错误了，此时就把该待测样本加到负样本库N_n。因此长时间的跟踪会使得最近邻分类器的在线正负样本库不断增加，影响算法的实时性。

其中，相关相似度具体计算：假设X是一个待测样本，计算X与在线正样本库N_p中的每个正样本之间的正样本最近邻相似度，并得出最大的正样本最近邻相似度maxP，再计算X与负样本库N_n中的每个负样本之间的负样本最近邻相似度，并得出最大的负样本最近邻相似度maxN，则该待测样本X与在线正负样本库的相关相似度R＝(1-maxN)/(1-maxP+1-maxN)

具体地，请参见图2，针对检测模块的改进如下：

检测模块采用滑动窗(sliding window)的方法在每帧输入图像中寻找待选目标，利用级联分类器输出结果，滑动窗的扫描策略为，每次尺度变化1.2，水平和垂直位移分别为宽度和高度的10％，最小框图大小为20pixels。因此，TLD算法检测模块需要对每个待选目标进行检测，其实这些待选目标绝大部分都不是目标区域，因此，会大大增加计算量，影响算法的实时性。

针对检测模块分两种情况进行处理：

第一种情况：目标区域大(总像素个数大于500):

原因：目标区域包含信息多，计算量大，导致实时性差；

解决方案：

第一步：将目标区域缩放,缩放至总像素个数为300，计算得到长和宽各自的缩放比例；

第二步：以第一步的长宽缩放比例，将待检测帧图像进行缩放；

第三步：对缩放后的待检测帧图像进行全局遍历，得到检测模块的待选目标。

第二种情况：目标区域小(总像素个数小于500):

原因：遍历整张图片时，因目标太小，待选目标多，遍历时间久，导致实时性差；

解决方案：

当目标区域小时，相邻两帧之间，目标尺度变化不明显且目标移动距离有限，因此对待检测帧图像进行区域划分，局部遍历，得到检测模块的待选目标。

当前帧局部遍历区域划分方法如下：

在当前帧中以上一帧的目标中心位置为局部遍历区域的中心，以上一帧目标的3倍宽和3倍高作为当前帧中局部遍历区域的宽和高，这样确定出的矩形区域就是当前帧局部遍历区域。

举例说明：

例1、初始帧和第二帧：目的是为了得到第二帧的目标区域。初始帧中选中目标位置和大小，在第二帧中找到同样的位置(大小也相同)，设该位置的中心坐标为：(x，y)(x宽方向,y高方向)，目标大小为：width(宽)，height(高)；则区域大小为：左上顶点右下顶点中心位置依然是(x,y)。

例2、第二帧和第三帧：目的是为了得到第三帧的目标区域。第二帧相当于例1中的初始帧，第三帧相当于例1中的第二帧，区域大小划分方法与例1中所述相同。

例3、上一帧和当前帧：目的是为了得到当前帧的目标区域。上一帧相当于例2中的第二帧，当前帧相当于例2中的第三帧，区域大小划分方法与例2中所述相同。

本实施例的检测模块，对所述上一帧图像中目标区域进行像素阈值的判定，大于阈值，对当前帧图像进行缩放，对缩放后的图像采用滑动窗的方式产生待选目标，与传统TLD算法检测模块产生待选目标的机制相比，这种方式可以大大减少待选目标的数量；小于阈值，则对当前帧图像进行局部区域划分，对划分后的局部区域图像用滑动窗的方式产生待选目标，与传统TLD算法检测模块产生待选目标的机制相比，这种方式可以大大减少待选目标的数量，从而提高效率，解决了传统TLD算法的实时性的问题。

实施例3：

本实施例，在上述实施例的基础上，重点阐述TLD算法中对学习模块的改进。

针对学习模块的改进方案说明如下：

原因：经过长时间跟踪，学习模块训练最近邻分类器的在线正样本不断累积，在线正样本数量一直增加，导致实时性变差。

解决方案：对每一帧所得跟踪目标是否加入最近邻分类器在线正样本库进行判断。判断机制如下：

计算每一帧所得跟踪目标与最近邻分类器在线正样本库中的样本的重叠度，只要遇到重叠度大于所设阈值T，则表明所得跟踪目标与已有最近邻分类器在线正样本十分相似，停止与剩余正样本重叠度的计算，且不将该跟踪目标加入最近邻分类器在线正样本库，反之则加入最近邻分类器在线正样本库。其中，重叠度计算公式如下：

其中，W_i表示每一帧所得跟踪目标，W_pi表示正样本库中的样本。

对负样本库的改进方法同理可得。

本实施例，对每一帧所得跟踪目标是否加入最近邻分类器的正/负样本库进行判断，从而解决传统TLD算法经过长时间跟踪，最近邻分类器的在线正/负样本不断累积，导致实时性变差的问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于TLD算法的目标跟踪方法，所述TLD算法包括跟踪模块、检测模块及学习模块，其特征在于：包括：

从第一帧图像中初始化选取目标区域；

判断上一帧图像中目标区域在当前帧图像中所占像素点数量是否大于像素阈值；若是，则按照一定的长宽比缩小所述上一帧图像中目标区域及所述当前帧图像，对所述当前帧图像采用滑动窗的方式进行全局遍历以得到所述检测模块确定的待选目标；若否，对所述当前帧图像进行局部区域划分，并采用滑动窗的方式进行局部遍历以得到所述检测模块确定的待选目标，所述像素阈值为500个像素点；

2.根据权利要求1所述的方法，其特征在于，从第一帧图像中初始化选取目标区域，包括：

3.根据权利要求1所述的方法，其特征在于，采用滑动窗的方式包括：

4.根据权利要求1所述的方法，其特征在于，对所述当前帧图像进行局部区域划分，包括：

5.根据权利要求1所述的方法，其特征在于，按照一定的长宽比缩小所述上一帧图像中目标区域，包括：

6.根据权利要求1所述的方法，其特征在于，采用所述检测模块的方差分类器、随机蕨分类器及最近邻分类器对至少一个所述待选目标进行处理形成目标检测结果，包括：

7.根据权利要求1所述的方法，其特征在于，根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域，包括：

若所述目标跟踪结果不为0且所述目标检测结果也不为0时，对所述目标检测结果中的所述待选目标进行聚类；将所述目标跟踪结果与所述待选目标聚类后形成的各个类别分别进行重叠度计算，用重叠度大的类别对应的所述待选目标修正所述目标跟踪结果，以确定当前帧的目标跟踪区域；

若所述目标跟踪结果不为0且所述目标检测结果为0时，计算所述目标跟踪结果与所述检测模块的最近邻分类器中的正/负样本库的相关相似度；判断所述相关相似度大于样本阈值，则将所述目标跟踪结果对应的预测目标作为当前帧的目标跟踪区域；

若所述目标跟踪结果为0且所述目标检测结果不为0时，对所述目标检测结果中的所述待选目标进行聚类，若聚为一类，则将所述目标检测结果中的所述待选目标作为当前帧的目标跟踪区域；

若所述目标跟踪结果为0且所述目标检测结果为0时，则当前帧的目标跟踪区域无结果。

8.根据权利要求1所述的方法，其特征在于，根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域之后，还包括：

将所述目标跟踪区域输入至所述学习模块进行学习，并在下一帧中更新所述检测模块中的随机蕨分类器及最近邻分类器的参数以实现对所述随机蕨分类器及所述最近邻分类器的重新训练。

9.根据权利要求8所述的方法，其特征在于，将所述目标跟踪区域输入至所述学习模块进行学习，包括：

若所述目标跟踪结果为0，则所述目标跟踪区域不进入所述学习模块学习；

若所述目标跟踪结果不为0且所述目标检测结果为0时，计算所述目标跟踪结果与所述检测模块的最近邻分类器中的正/负样本库的相关相似度；判断所述相关相似度是否大于样本阈值，若是，则所述目标跟踪区域进入所述学习模块学习；

若所述目标跟踪结果不为0且所述目标检测结果不为0时，对所述目标检测结果中的检测目标区域进行聚类，若聚为一类，则所述目标跟踪区域不进入所述学习模块学习；若不能聚为一类，计算所述目标跟踪结果与所述检测模块的最近邻分类器中的正/负样本库的相关相似度；判断所述相关相似度大于样本阈值，则所述目标跟踪区域进入所述学习模块学习。

10.根据权利要求9所述的方法，其特征在于，将所述目标跟踪区域输入至所述学习模块进行学习，包括：

计算所述目标跟踪区域与所述最近邻分类器在线正/负样本库中的样本的重叠度；

若所述重叠度大于所述样本阈值，则停止所述目标跟踪区域与剩余的样本的重叠度计算并放弃所述目标跟踪区域作为正/负样本输入至所述最近邻分类器的在线正/负样本库中；

若所述重叠度小于所述样本阈值，则将所述目标跟踪区域输入至所述最近邻分类器的在线正/负样本库中。