CN110569855A - 基于相关滤波与特征点匹配融合的长时间目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于相关滤波与特征点匹配融合的长时间目标跟踪算法，包括的步骤有：识别目标框位置；算法初始化；相关滤波局部跟踪；跟踪结束。本发明使用相关滤波算法作为局部跟踪器，能够很好地适应目标的光照变化和外观变化，同时通过对原始相关滤波算法的改进，使之具有了对目标颜色的区分性和对目标尺度变化的判别能力，提升了相关滤波的性能。而全局的特征点模型弥补了相关滤波算法无法解决长时间目标跟踪中可能出现的目标快速运动导致跟踪丢失以及目标被遮挡的问题，通过构建前、背景特征点集模型，对相关滤波算法的跟踪结果进行遮挡/丢失判断，以及全局的目标重检测，提高了算法在长时间目标跟踪的鲁棒性和准确性。

Description

基于相关滤波与特征点匹配融合的长时间目标跟踪算法

技术领域

本发明属于视觉跟踪领域，特别是涉及一种基于相关滤波与特征点匹配融合的长时间目标跟踪算法。

背景技术

目标跟踪问题是计算机视觉领域的重要研究方向。随着对该问题研究的逐步深入，目前已经在诸多方面得以应用：一方面，目标跟踪算法可以直接应用在诸如精确制导、人机交互、智能监控等具体应用场景中；另一方面，目标跟踪也可以用作其它高层计算机视觉算法的底层基础算法，比如行为识别，视频语义理解等算法。

目标跟踪问题根据待跟踪目标数量可分为单目标和多目标跟踪。根据跟踪过程的复杂程度，可分为短时间目标跟踪和长时间目标跟踪，短时间目标跟踪主要研究目标表征模型和判别方法；长时间目标跟踪在此基础上还需要考虑针对目标运动过程中可能出现的大幅度外观变化、遮挡、丢失的问题，即需要研究对应的目标模型更新机制。

目前目标跟踪问题的研究已经取得了诸多进展和突破，但是仍然面临着诸多难题有待解决。其中一个问题是长时间目标跟踪中目标外观变化或者遮挡丢失而引起的模型更新漂移问题，该问题影响了目标跟踪算法的准确性和可靠性。另一个问题是算法的复杂度问题，由于目标跟踪的主要应用场景对算法的实时性要求都很高，所以算法计算量必须控制在一定范围之内。

在实际工程应用中，目标跟踪过程中经常出现的光照变化、外观变化、目标遮挡及目标丢失等问题，已有的跟踪算法不仅需要解决上述问题，同时还需要保证算法的实时性，现有的跟踪算法在实际应用中，两者并不能很有效的同时解决。

为了解决以上两个问题，本发明提出了一种基于相关滤波及特征点匹配融合的长时间目标跟踪算法。

发明内容

本发明的目的就是提供一种基于相关滤波与特征点匹配融合的长时间目标跟踪算法，能完全解决上述现有技术的不足之处。

本发明的目的通过下述技术方案来实现：

一种基于相关滤波与特征点匹配融合的长时间目标跟踪算法，包括的步骤有：

(1).识别目标框位置：识别输入连续N帧视频序列以及第1帧的目标框位置；

(2).算法初始化：提取第1帧目标邻域的FHOG特征和HSV颜色特征，进行傅里叶变换，在频域训练得到相关滤波跟踪器参数，提取图像特征点，构建前、背景模型特征点集合；

(3).相关滤波局部跟踪：首先提取多个尺度的搜索区域的FHOG特征和HSV颜色特征，进行傅里叶变换，然后使用相关滤波得到频域概率响应图，进行傅里叶反变换得到空域概率图，概率响应最大点所在的尺度即为目标的尺度变化，所在的位置即为目标新位置；

(4).目标遮挡/丢失判断：提取全图的特征点，取第(3)步得到的目标框位置内的特征点，与前、背景特征点集合进行匹配，判断目标是否被遮挡/丢失；如果检测到目标遮挡/丢失，则进行全局重检测，如果未检测到遮挡/丢失，则进行模型更新；

全局重检测：在判断到遮挡/丢失后，使用前景目标SURF特征点集和当前帧图像SURF特征点集合进行匹配，首先根据匹配点对数量判断目标是否已经被完全遮挡或者出视野，如果判断到完全遮挡或出视野，则将该帧标记为丢失，不输出目标框位置，下一帧时先进行全局重检测，如果检测到目标，则计算目标位置、尺度和旋转变化，用来初始化相关滤波跟踪器的目标状态，使用相关滤波算法重新进行跟踪，然后再进行模型更新；

模型更新：确定该帧跟踪到目标之后，对相关滤波跟踪器和特征点模型集合进行更新，提取新目标位置的FHOG和HSV颜色特征，进行傅里叶变换，训练得到参数，对相关滤波跟踪的参数进行增量更新，然后用当前帧目标特征点和背景特征点对前、背景特征点集模型进行逐帧遗忘更新；

(5).跟踪结束：当前帧跟踪完成，如有后续帧，重复步骤(3)和(4)，无后续帧算法结束。

进一步，所述步骤(3)中目标的尺度变化采用的是多尺度遍历的方法来确定，其方法为：

首先选取一个较大的尺度变化系数α_l，进行尺度空间的遍历，

s_i＝s_o*α_l±i，i＝1，…，n ①

其中，s_o表示目标当前所在尺度，s_o＝1；

然后根据进行不同尺度计算目标框大小，进行特征提取，分别进行相关滤波得到多个概率图{y₀，y₁，…，y_2n+1}，寻找每个概率图的最大响应值y_m_i，然后对比不同概率图的最大响应点的大小，最大值所在的尺度即为目标所在尺度，

i_m＝argmax_iy_m_i，i＝1，…，n ②

s_l＝s_{i_m} ③

其中，s_index表示响应最大值所在的尺度，即对应原目标大小的目标尺度变化率；

然后为了得到更精确的尺度变化量，在s_l的基础上，再使用较小的尺度变化系数α_s进一步遍历

s_i＝s_l*α_s ^±i，i＝1，…，n ④

然后利用式②，③进行求解，得到最终的尺度变化量。

进一步，所述步骤(4)中的特征点记为p，特征点所形成的集合包括特征点集F＝{p_f1，p_f2，…，p_fs}、目标特征点集合T＝{p_t1，p_t2，…，p_tm}和背景特征点集合B＝{p_b1，p_b2，…，p_bn}，匹配时，计算特征点集F中的特征点p_f与T和B中特征点的特征距离，距离最近的点即为最佳匹配点，记为p_f ^match，然后进行反向匹配，即使用同样的距离度量方法，在特征点集F中寻找p_f ^match的最佳匹配点，如果该最佳匹配点为p_f，则认为p_f和p_f ^match是一对匹配点对。

进一步，匹配时使用汉明距离来计算特征距离，汉明距离用来计算两个向量之间的距离，计算方式是统计两个特征向量之前对应位字符不同的位数，位数越多，距离越大，计算公式如下：

其中，d₁、d₂表示两个特征点的描述子，每一位上都是0或者1，表示异或操作，distance即为两者之间的距离；

匹配完成之后，根据匹配的结果标记F中每个点的匹配结果，即匹配到前景模型还是背景模型，然后判断当前结果是否为丢失或者遮挡，当匹配结果中匹配到背景模型的点的个数超过一定阈值即判断该帧为遮挡，

其中，mumber(F∩B)表示F中匹配为背景的点的个数，number(F)表示F中点的总个数，σ为阈值。

进一步，全局重检测过程中，为了去除匹配错误对重检测造成的影响，需对不同特征点赋予不同的权值，由此假设错误匹配特征点通常距离目标位置较远，而且前后帧目标中心位置变化在一定范围之内，所以根据特征点到上一帧目标中心的距离设置权重，距离越远权重越小，计算方法如下：

wight_i＝g(||c^t-1-location(p_ti′)||) ⑦

其中，c^t-1表示前一帧的目标中心位置，location{p_ti′)表示目标特征点在当前帧中对应匹配点的位置，g(x)是高斯函数；

得到目标权重之后，首先计算目标中心位置，

同时，为了适应目标尺度和旋转变化，使用特征点的尺度和主方向来进行估计，k和k′为一对匹配特征点，s^k、o^k和s^k、o^k分别为k和k′的尺度和主方向，由此可知，匹配特征点对的尺度、主方向变化对应了目标的尺度变化和旋转，所以，首先计算特征点对应的尺度、旋转变化，

然后利用所有的特征点对得到尺度旋转变化加权平均，得到目标整体的尺度和外观变化，在使用特征点匹配重新得到目标位置之后，再重新使用相关滤波跟踪算法进行跟踪。

与现有技术相比，本发明的有益效果在于：本发明使用相关滤波算法作为局部跟踪器，能够很好地适应目标的光照变化和外观变化，同时通过对原始相关滤波算法的改进，使之具有了对目标颜色的区分性和对目标尺度变化的判别能力，提升了相关滤波的性能。而全局的特征点模型弥补了相关滤波算法无法解决长时间目标跟踪中可能出现的目标快速运动导致跟踪丢失以及目标被遮挡的问题，通过构建前、背景特征点集模型，对相关滤波算法的跟踪结果进行遮挡/丢失判断，以及全局的目标重检测，提高了算法在长时间目标跟踪的鲁棒性和准确性。此外，结合局部-全局的跟踪信息，使用了增量学习的更新策略，保证了长时间目标跟踪的可靠性。

附图说明

图1是本发明的算法流程图；

图2是前、背景特征点模型建立的示意图；

图3是目标尺度、旋转估计的示意图；

图4是VTB50测试结果所得的精确度曲线图；

图5是VTB50测试结果所得的成功率曲线图；

图6是Car1视频跟踪截图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步的说明。

本发明研究了目前已有的目标跟踪算法，分析了其优缺点，设计了一种结合局部和全局的目标跟踪算法。其中，局部使用相关滤波算法来进行跟踪，而在全局使用特征点匹配算法。融合两种算法的结果来进行模型更新及最终结果输出。

由此，本发明主要是针对长时间目标跟踪中目标外观变化或者遮挡丢失而引起的模型更新漂移问题，另一个是跟踪算法复杂度的问题，为了解决上述两个问题，提出一种基于相关滤波与特征点匹配融合的长时间跟踪算法，结合相关滤波与特征点匹配的优点。实现精确、鲁棒性强的长时间目标跟踪。

其中，相关滤波算法起到局部跟踪的作用。相关滤波算法利用了循环矩阵的特性，降低了算法的计算复杂度，保证算法的实时性实现。但是其由于对目标模型过于简化，以及更新方法过于简单，不能实现对目标遮挡和丢失的判断。所以，为了解决这一问题，引入SURF特征点特征，建立前\背景特征点集模型，进行目标遮挡判断以及全局目标检测。最后融合两者的结果对目标模型进行更新，保证长时间跟踪的鲁棒性。

本发明提出的算法在VTB50测试集与目前公开的先进跟踪算法进行了对比实验，对比算法其中包括：KCF、Struck、SCM、VTD、VTS、CXT、TLD、CSK、ASLA等算法。在对目标尺度变化、外观变化、遮挡/丢失都有很好的鲁棒性，验证了本文提出的了算法是有效可行的。在整体得分上，本文算法也在对比算法中处于先进水平，特别是在遮挡/丢失情况下的测试上。

如图1所示，具体算法为：

(1).识别输入连续N帧视频序列以及第1帧的目标框位置。提取第1帧目标邻域的FHOG特征和HSV颜色特征，进行傅里叶变换，在频域训练得到相关滤波跟踪器参数。提取图像特征点，构建前、背景模型特征点集合。

(2).建立相关滤波局部跟踪。首先提取多个尺度的搜索区域的FHOG特征和HSV颜色特征，进行傅里叶变换，然后使用相关滤波得到频域概率响应图，进行傅里叶反变换得到空域概率图。概率响应最大点所在的尺度即为目标的尺度变化，所在的位置即为目标新位置。

为了解决目标尺度变化的问题，本发明使用了多尺度遍历的方法来确定目标的尺度变化。首先选取一个较大的尺度变化系数α_l，进行尺度空间的遍历。

s_i＝s_o*α_l ^±i，i＝1，…，n ①

其中，s_o表示目标当前所在尺度，s_o＝1。

然后根据进行不同尺度计算目标框大小，进行特征提取，分别进行相关滤波得到多个概率图{y₀，y₁，…，y_2n+1}，寻找每个概率图的最大响应值y_m_i，然后对比不同概率图的最大响应点的大小，最大值所在的尺度即为目标所在尺度。

i_m＝argmax_iy_m_i，i＝1，…，n ②

s_l＝s_{i_m} ③

其中，s_index表示响应最大值所在的尺度，即对应原目标大小的目标尺度变化率。

然后为了得到更精确的尺度变化量，在s_l的基础上，再使用较小的尺度变化系数α_s进一步遍历，

s_i＝s_l*α_s ^±i，i＝1，…，n ④

然后利用式②，③进行求解，得到最终的尺度变化量。

(3).为了对长时间目标跟踪中的目标遮挡/丢失进行判断，我们对图像进行全局特征点提取，分别建立前、背景模型，然后进行匹配判断。先在第一帧算法初始化时，对整张图进行特征点检测和描述子生成，得到特征点的位置、尺度、主方向和描述子信息。然后根据目标框位置，区分前、背景特征点。得到目标特征点集合T＝{p_t1，p_t2，…，p_tm}和背景特征点集合B＝{p_b1，p_b2，…，p_bn}，如图2所示，其中p表示特征点，其中包含了前面提取的位置、尺度、主方向和描述子信息。在本发明中，使用的是SURF特征点，所以描述子为二值化描述子。

在使用局部的相关滤波算法跟踪完成后，提取相关滤波得到目标框的特征点，得到特征点集F＝{p_f1，p_f2，…，p_fs}。然后对该特征点集合和前、背景特征点集合进行匹配。匹配时，计算特征点集F中的特征点p_f与T和B中特征点的特征距离，距离最近的点即为最佳匹配点，记为p_f ^match。然后进行反向匹配，即使用同样的距离度量方法，在特征点集F中寻找p_f ^match的最佳匹配点，如果该最佳匹配点为p_f。则认为p_f和p_f ^match是一对匹配点对。

匹配时使用的特征距离使用汉明距离来计算。汉明距离用来计算两个向量之间的距离，计算方式是统计两个特征向量之前对应位字符不同的位数，位数越多，距离越大。计算公式加下：

其中，d₁、d₂表示两个特征点的描述子，每一位上都是0或者1，表示异或操作，distance即为两者之间的距离。

匹配完成之后，根据匹配的结果标记F中每个点的匹配结果，即匹配到前景模型还是背景模型，然后判断当前结果是否为丢失或者遮挡。当匹配结果中匹配到背景模型的点的个数超过一定阈值即判断该帧为遮挡。

其中，number(F∩B)表示F中匹配为背景的点的个数，number(F)表示F中点的总个数，σ为阈值。根据判断结果，目标更新模型进行以下操作。

(4).在目标被判断为遮挡/丢失后，为了重新找回目标，需要对目标进行全局搜索。首先提取当前帧所有特征点，建立当前特征点集合C＝{p_t1，p_t2，…，p_tp}，然后用目标特征点集合T与C进行匹配，找到当前帧中属于前景目标的特征点，用于确定目标位置、尺度和角度。如果匹配成功点对数目小于一定阈值，则认为当前目标被遮挡而非丢失，停止后续步骤，输出当前帧跟踪结果为目标丢失。在匹配中，不可避免地会发生匹配错误，为了去除匹配错误对重检测造成的影响，在计算目标中心时，对不同特征点赋予不同的权值，在此处，本发明假设错误匹配特征点通常距离目标位置较远，而且前后帧目标中心位置变化在一定范围之内，所以根据特征点到上一帧目标中心的距离设置权重，距离越远权重越小。计算方法如下：

wight_i＝g(||c^t-1-location(p_ti′)||) ⑦

其中，c^t-1表示前一帧的目标中心位置，location(p_ti′)表示目标特征点在当前帧中对应匹配点的位置，g(x)是高斯函数。

得到目标权重之后，首先计算目标中心位置。

同时，为了适应目标尺度和旋转变化，使用特征点的尺度和主方向来进行估计。如图3所示，k和k′为一对匹配特征点，s^k、o^k和s^k′、o^k′分别为k和k′的尺度和主方向。可以看出，匹配特征点对的尺度、主方向变化对应了目标的尺度变化和旋转。所以，首先计算特征点对应的尺度、旋转变化。

然后利用所有的特征点对得到尺度旋转变化加权平均，得到目标整体的尺度和外观变化。在使用特征点匹配重新得到目标位置之后，再重新使用相关滤波跟踪算法进行跟踪。

(5).确定该帧跟踪到目标之后，对相关滤波跟踪器和特征点模型集合进行更新。提取新目标位置的FHOG和HSV颜色特征，进行傅里叶变换，训练得到参数，对相关滤波跟踪的参数进行增量更新。然后，用当前帧目标特征点和背景特征点对前、背景特征点集模型进行逐帧遗忘更新。当前帧跟踪完成，如有后续帧，重复步骤(2)-(4)，无后续帧算法结束。

实验结果主要分为在VTB50标准测试集上和本发明收集视频测试集上的结果。在第一部分VTB50的测试集上，本发明比了本文算法及其它在该数据集上公开结果的跟踪算法的精确度和鲁棒性；在第二部分本发明收集视频测试集上，本发明在本地测试了目前几个较为先进的目标跟踪算法，然后和本发明算法进行对比，除了精确度和鲁棒性外，还对比了算法的运行时间。

在对比时，我们使用了VTB50得到的Benchmark测试中的其它算法的结果和一些其它公开了结果的算法来作为参考对比，由于Benchmark中对比算法较多，本发明对所有算法进行排名，然后列出排名前10的算法进行对比，其中包括：KCF、Struck、SCM、VTD、VTS、CXT、TLD、CSK、ASLA等算法。

图4和图5是在VTB50所有视频上测试的到的精确度曲线和成功率曲线，图中的表格排名为按照跟踪算法性能评价的精确度和成功率得分得到的算法得分排名。从图中可以看出，本文提出的算法在两种指标上都取得了最好的成绩。

由于本发明收集测试数据集视频是从视频网站采集，手工标注，没有其他算法的公开测试结果。所以本发明选择了近几年较为先进和经典的并有公开源码的跟踪算法，在本地调试运行了算法作者提供的源码，在测试集合上进行了测试。测试共选择了4个算法：(1)MDNet、(2)KCF、(3)TLD、(4)CT。实验方法和在VTB50上测试方法相同，算法使用相同的初始化目标位置。对比算法的参数使用作者源码中的默认值。该部分测试除了使用和VTB50上一样的4个测试指标对跟踪的准确性和鲁棒性进行对比，还根据本地算法运行的情况统计算法的实时性。

图6是Car1视频上的跟踪截图，图片左上角为帧数，图片下方是目标框说明。在本段视频中，包含了目标快速运动、尺度变化、遮挡等情况。在第10帧到第45帧，目标出现大幅度尺度变化，只有本发明算法和MDNet算法很好地应对了尺度变化。在第213帧到225帧，目标车辆穿过天桥，本发明算法利用重检测找回了目标，其它算法都丢失。在第271帧和319帧，目标持续发生大幅度尺度变化，本发明提供的算法都保持了准确鲁棒的跟踪，具有优越的性能。

使用相关滤波算法作为局部跟踪器，能够很好地适应目标的光照变化和外观变化，同时通过对原始相关滤波算法的改进，使之具有了对目标颜色的区分性和对目标尺度变化的判别能力，提升了相关滤波的性能。而全局的特征点模型弥补了相关滤波算法无法解决长时间目标跟踪中可能出现的目标快速运动导致跟踪丢失以及目标被遮挡的问题，通过构建前、背景特征点集模型，对相关滤波算法的跟踪结果进行遮挡/丢失判断，以及全局的目标重检测，提高了算法在长时间目标跟踪的鲁棒性和准确性。此外，结合局部-全局的跟踪信息，使用了增量学习的更新策略，保证了长时间目标跟踪的可靠性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

参考资料：

资料1：冯汉，王永雄，张孙杰.多特征融合与尺度自适应核相关滤波跟踪算法[J].计算机与数字工程，2019，47(5)：1125-1130

资料2：火元莲，曹鹏飞，董俊松，石明，基于融合特征的多尺度快速相关滤波跟踪算法[J].计算机科学与工程，2019，41(3)：559-566

资料3：吴昭童，左颢睿，徐智勇，张建林.特征融合的核相关滤波跟踪算法[J].国外电子测量技术，2019，38(2)：50-54

资料4：张哲，孙瑾，杨刘涛.融合相关滤波与关键点匹配的跟踪算法[J].光学学报，2018，39(2)：1-9

资料5：李国友，纪执安，张凤煦.一种基于多特征融合的核相关滤波目标跟踪算法[J]，2018，35(12)：1004-1011

Claims (5)

1.一种基于相关滤波与特征点匹配融合的长时间目标跟踪算法，其特征在于，包括的步骤有：

(1).识别目标框位置：识别输入连续N帧视频序列以及第1帧的目标框位置；

(2).算法初始化：提取第1帧目标邻域的FHOG特征和HSV颜色特征，进行傅里叶变换，在频域训练得到相关滤波跟踪器参数，提取图像特征点，构建前、背景模型特征点集合；

(3).相关滤波局部跟踪：首先提取多个尺度的搜索区域的FHOG特征和HSV颜色特征，进行傅里叶变换，然后使用相关滤波得到频域概率响应图，进行傅里叶反变换得到空域概率图，概率响应最大点所在的尺度即为目标的尺度变化，所在的位置即为目标新位置；

(4).目标遮挡/丢失判断：提取全图的特征点，取第(3)步得到的目标框位置内的特征点，与前、背景特征点集合进行匹配，判断目标是否被遮挡/丢失；如果检测到目标遮挡/丢失，则进行全局重检测，如果未检测到遮挡/丢失，则进行模型更新；

全局重检测：在判断到遮挡/丢失后，使用前景目标SURF特征点集和当前帧图像SURF特征点集合进行匹配，首先根据匹配点对数量判断目标是否已经被完全遮挡或者出视野，如果判断到完全遮挡或出视野，则将该帧标记为丢失，不输出目标框位置，下一帧时先进行全局重检测，如果检测到目标，则计算目标位置、尺度和旋转变化，用来初始化相关滤波跟踪器的目标状态，使用相关滤波算法重新进行跟踪，然后再进行模型更新；

模型更新：确定该帧跟踪到目标之后，对相关滤波跟踪器和特征点模型集合进行更新，提取新目标位置的FHOG和HSV颜色特征，进行傅里叶变换，训练得到参数，对相关滤波跟踪的参数进行增量更新，然后用当前帧目标特征点和背景特征点对前、背景特征点集模型进行逐帧遗忘更新；

(5).跟踪结束：当前帧跟踪完成，如有后续帧，重复步骤(3)和(4)，无后续帧算法结束。

2.根据权利要求1所述的基于相关滤波与特征点匹配融合的长时间目标跟踪算法，其特征在于，所述步骤(3)中目标的尺度变化采用的是多尺度遍历的方法来确定，其方法为：

首先选取一个较大的尺度变化系数α_i，进行尺度空间的遍历，

其中，s_o表示目标当前所在尺度，s_o＝1；

然后根据进行不同尺度计算目标框大小，进行特征提取，分别进行相关滤波得到多个概率图{y₀，y₁，…，y_2n+1}，寻找每个概率图的最大响应值y_m_i，然后对比不同概率图的最大响应点的大小，最大值所在的尺度即为目标所在尺度，

i_m＝argmax_iy_m_i，i＝1，…，n ②

s_i＝s_{i_m} ③

其中，s_index表示响应最大值所在的尺度，即对应原目标大小的目标尺度变化率；

然后为了得到更精确的尺度变化量，在s_i的基础上，再使用较小的尺度变化系数α_s进一步遍历

然后利用式②，③进行求解，得到最终的尺度变化量。

3.根据权利要求1所述的基于相关滤波与特征点匹配融合的长时间目标跟踪算法，其特征在于，所述步骤(4)中的特征点记为p，特征点所形成的集合包括特征点集F＝{p_f1，p_f2，…，p_fs}、目标特征点集合T＝{p_t1，p_t2，…，p_tm}和背景特征点集合B＝{p_b1，p_b2，…，p_bn}，匹配时，计算特征点集F中的特征点p_f与T和B中特征点的特征距离，距离最近的点即为最佳匹配点，记为p_f ^match，然后进行反向匹配，即使用同样的距离度量方法，在特征点集F中寻找p_f ^match的最佳匹配点，如果该最佳匹配点为p_f，则认为p_f和p_f ^match是一对匹配点对。

4.根据权利要求3所述的基于相关滤波与特征点匹配融合的长时间目标跟踪算法，其特征在于，匹配时使用汉明距离来计算特征距离，汉明距离用来计算两个向量之间的距离，计算方式是统计两个特征向量之前对应位字符不同的位数，位数越多，距离越大，计算公式如下：

其中，d₁、d₂表示两个特征点的描述子，每一位上都是0或者1，表示异或操作，distance即为两者之间的距离；

匹配完成之后，根据匹配的结果标记F中每个点的匹配结果，即匹配到前景模型还是背景模型，然后判断当前结果是否为丢失或者遮挡，当匹配结果中匹配到背景模型的点的个数超过一定阈值即判断该帧为遮挡，

其中，number(F∩B)表示F中匹配为背景的点的个数，number(F)表示F中点的总个数，σ为阈值。

5.根据权利要求4所述的基于相关滤波与特征点匹配融合的长时间目标跟踪算法，其特征在于，全局重检测过程中，为了去除匹配错误对重检测造成的影响，需对不同特征点赋予不同的权值，由此假设错误匹配特征点通常距离目标位置较远，而且前后帧目标中心位置变化在一定范围之内，所以根据特征点到上一帧目标中心的距离设置权重，距离越远权重越小，计算方法如下：

wight_i＝g(||c^t-1-location(p_ti′)||) ⑦

其中，c^t-1表示前一帧的目标中心位置，location(p_ti′)表示目标特征点在当前帧中对应匹配点的位置，g(x)是高斯函数；

得到目标权重之后，首先计算目标中心位置，

同时，为了适应目标尺度和旋转变化，使用特征点的尺度和主方向来进行估计，k和k′为一对匹配特征点，s^k、o^k和s^k′、o^k′分别为k和k′的尺度和主方向，由此可知，匹配特征点对的尺度、主方向变化对应了目标的尺度变化和旋转，所以，首先计算特征点对应的尺度、旋转变化，

然后利用所有的特征点对得到尺度旋转变化加权平均，得到目标整体的尺度和外观变化，在使用特征点匹配重新得到目标位置之后，再重新使用相关滤波跟踪算法进行跟踪。