CN110322476B - 一种改进stc和surf特征联合优化的目标跟踪方法 - Google Patents

Abstract

本发明涉及一种改进STC和SURF特征联合优化的目标跟踪方法，属于计算机视觉领域。本算法重点在于提升时空上下文(STC)目标跟踪算法的准确性以及在目标被遮挡、旋转、尺度变化、模糊等复杂环境的鲁棒性。本发明包含以下步骤：对输入视频提取其当前帧和前一帧图像的加速稳健性特征(SURF)并对当前帧和前一帧图像中的SURF特征点进行匹配。再利用随机抽样一致(RANSAC)算法消除误匹配点以增加匹配精度。根据相邻两帧图像中匹配点的尺度变化，计算出变化的相关参数，根据参数调整目标在当前帧图像中的所在窗口，提升跟踪的准确性。将SURF特征结合到STC算法中对STC算法进行改进，提升目标跟踪在复杂环境中的鲁棒性。

Description

一种改进STC和SURF特征联合优化的目标跟踪方法

技术领域

本发明涉及一种改进STC和SURF特征联合优化的目标跟踪方法，属于计算机视觉领域。

背景技术

时空上下文(STC)算法将目标和其上下文进行关联，从而能够的出目标的位置所在，对于复杂环境具有一定的鲁棒性。但是在传统的STC算法中目标窗口不能跟随目标尺度变化而变化，并且在计算目标位置时过度依赖于灰度值的表现，所以在目标跟踪过程可能会导致目标跟踪不准确，产生漂移等问题，以至于在复杂环境中鲁棒性仍然不够好。

发明内容

本发明涉及一种改进STC和SURF特征联合优化的目标跟踪方法，用来解决目标跟踪中STC算法只依赖灰度值判别目标和其上下文关系，以及目标窗口不能自适应目标尺度变化而变化，从而导致目标跟踪准确性和针对性不足，以及鲁棒性不够好的问题。

本发明采用的技术方案是：一种改进STC和SURF特征联合优化的目标跟踪方法，包括如下步骤：

Step1.输入需要进行跟踪的目标视频,在视频的第一帧图像中初始化要跟踪的目标,进入到下一帧中；

Step2.计算出当前帧和前一帧图像的SURF特征点；

Step3.根据SURF特征点对复杂环境有较好的鲁棒性，将SURF特征点加入到STC算法中的空间上下文模型和上下文先验模型的计算中对STC算法进行改进；

Step4.将当前帧和前一帧中的SURF特征点进行匹配；

Step5.通过RANSAC算法消除当前帧和前一帧中已匹配的SURF特征点中的部分误匹配点；

Step6.计算前后两帧中剩余特征点的变化参数；

Step7.如果前后两帧图像中目标尺度发生了变化，则根据变化尺度计算出当前帧中目标位置窗口；如果前后两帧中目标尺度未发生变化，则使用改进STC算法中求出的目标窗口作为当前帧的目标位置窗口；

Step8.重复Step2到Step7直至视频结束，完成当前视频的目标跟踪；

具体地，所述Step1中在视频的第一帧图像中初始化要跟踪的目标的具体步骤如下：

选取输入视频的第一帧，输入坐标初始化目标位置，并且用矩形框选中显示。

具体地，所述Step2具体步骤如下：

(1)根据Hessian矩阵判别式det(Hessian)＝L_xx*L_yy-L_xy*L_xy，然后使用盒式滤波器计算出和图像帧中的点X＝(x,y)的卷积近似值Dxx、Dxy、Dyy来代替高斯二阶微分算子L_xx、L_xy、L_yy。得Hessian矩阵近似值判别式：

det(H_approx)＝Dxx*Dyy-(0.9*Dxy)² (1)

其中det(H_approx)是Hessian矩阵近似判别式，Dxx、Dxy、Dyy是点X＝(x,y)的卷积近似值，0.9是权值。

(2)根据图像帧中的像素点的判别式值det(H_approx)和自身邻域内的26个像素点判别式的值进行比较，选取出初始关键点，随后将不适合的部分关键点滤除掉，剩下的关键点作为该区域的特征点。

(3)在特征点周围取4*4的区块，每个区块包含5*5共25个像素，统计每个区块的25个像素点的水平方向和垂直方向共4个方向的Haar小波特征，随后根据每个像素点4个方向的响应值计算出这个区块的水平方向、垂直方向共4个方向的向量作为这个特征点在区块的特征描述子，即每个特征点有16*4共64维向量作为该特征点的描述子。

具体地，所述Step3详细内容如下：

(1)在STC算法中计算置信图根据上下文先验模型及空间上下文模型，使用目标点的Hessian矩阵近似判别式的值和灰度值共同作为计算上下文先验模型的参数，上下文先验模型P(x,c(z)|o)更新方法如下：

P(x,c(z)|o)＝(λ*det(H_approx)+I(z))*ω_σ(z-x^*) (2)

其中λ是用来表示近似判别式det(H_approx)的重要程度的参数，I(z)是点z的灰度值，ω_σ(z-x^*)是权值函数。

(2)将STC算法中的空间上下文模型P(x,c(z)|o)更新为：

P(x,c(z)|o)＝h^SC-SURF (3)

其中h^SC-SURF表示进行自适应窗口调整后得出的空间上下文模型。

(3)将STC算法中的置信图c(x)的计算方式更新为：

其中h^SC-SURF是自适应窗口调整后得出的空间上下文模型，λ是表示判别式det(H_approx)的重要程度的参数，I(z)是点z的灰度值，ω_σ(z-x^*)是权值函数。

具体地，所述Step4详细内容如下：

在相邻的图像帧中寻找与当前帧该特征点欧氏距离最近的两个点，并且最近距离和第二近的距离的比值小于预设的阈值，则该点作为当前帧特征点的匹配点。

具体地，所述Step5详细内容如下：

使用RANSAC消除误匹配点规则为，在匹配得到的点集合中随机选取m个点，将m个点和给出的模型进行拟合，将成功拟合的点加入到模型中，重复多次，直至选出的加入到模型的点数目最多，则这些点作为消除误匹配后的匹配点。

具体地，所述Step6详细内容如下：

在消除误匹配后得到特征点集合

其中P_t+1是第t+1帧中特征点集合，P_t是第t帧中特征点集合。根据相邻两帧特征点变化尺度计算出集合中的点在前后两帧中横坐标偏移量集合dx＝{dx₁,dx₂,...,dx_n}，以及纵坐标偏移量集合dy＝{dy₁,dy₂,...,dy_n}。相邻两帧的尺度伸缩值根据下式计算：/>

其中S_i是前帧目标两个匹配点与当前帧匹配的两个特征点的尺度伸缩值，

是第t帧中得特征点pⁱ，特征点/>

是第t帧中特征点pⁱ和特征点pⁱ⁺¹的欧式距离，

是第t-1帧中特征点pⁱ和特征点pⁱ⁺¹的欧式距离。通过计算得相邻帧的特征点尺度伸缩值集合S＝{S₁,S₁,...,S₁}。

具体地，所述Step7详细内容如下：

(1)当目标尺度发生变化时：

根据横坐标偏移量集合dx＝{dx₁,dx₂,...,dx_n}、纵坐标偏移量集合dy＝{dy₁,dy₂,...,dy_n}、相邻两帧的特征点尺度伸缩值集合S＝{S₁,S₁,...,S₁}通过排列选出相对应的中值m_dx、m_dy、m_S，其中m_dx是横坐标偏移量集合dx中的中值，m_dy是纵坐标偏移量集合dy中的中值，m_S是尺度伸缩值集合S中的中值。根据以下规则对当前帧的目标窗口进行调整：

其中s₁、s₂分别是横坐标的偏移量和纵坐标的偏移量，η、μ是尺度参数，w_t-1、w_t分别是第t-1帧、第t帧目标窗口的宽度，h_t-1、h_t分别是第t-1帧、第t帧目标窗口的高度，x_t-1、y_t-1、x_t、y_t分别是第t-1帧、第t帧目标窗口的左上角坐标值。从而计算出当前帧图像的目标窗口。

(2)当目标未尺度发生变化时：

根据Step3中对STC算法改进后的置信图计算方式，计算出当前帧的置信图，从而得到目标位置，从而得到目标窗口。

具体地，所述Step8具体步骤如下：

对视频中的所有帧使用Step2到Step8进行处理，直至视频中的所有帧都完成了处理，既完成对本视频中目标的跟踪。

本发明的有益效果：本发明涉及一种改进STC和SURF特征联合优化的目标跟踪方法，用来解决目标跟踪中STC算法只依赖灰度值判别目标和其上下文关系，以及目标窗口不能自适应目标尺度变化而变化，从而导致目标跟踪准确性和针对性不足，以及鲁棒性不够好的问题。本发明针对上述问题首先将SURF特征与STC算法结合，提取SURF特征并将相邻两帧图像进行特征点匹配再通过RANSAC算法进行误匹配消除，进而分析相邻两帧的特征点尺度变化，得到相应参数，通过参数对当前帧的目标窗口进行调整。通过将SURF特征和STC算法进行结合，本文算法在目标旋转、尺度缩放、光照变化、视角变换、目标被遮挡、模糊的场景下有更好的鲁棒性，并且目标窗口能够适应目标尺度的变化，在对目标进行追踪时有良好的追踪效果。

附图说明

图1为本发明的流程图；

图2为本发明的测试集；

图3是本发明david测试视频上的测试结果；

图4是本发明boy测试视频上的测试结果；

图5是本发明girle2测试视频上的测试结果；

图6是本发明dog测试视频上的测试结果；

图7是本发明FaceOcc1测试视频上的测试结果；

图8是本发明和STC算法、TLD算法在不同测试视频上的测试成功率。

具体实施方式

实施例1：如图1-8所示，一种改进STC和SURF特征联合优化的目标跟踪方法，步骤如下：

Step1.输入需要进行跟踪的目标视频,在视频的第一帧图像中初始化要跟踪的目标,进入到下一帧中；

Step2.计算出当前帧和前一帧图像的SURF特征点；

Step3.根据SURF特征点对复杂环境有较好的鲁棒性，将SURF特征点加入到STC算法中的空间上下文模型和上下文先验模型的计算中对STC算法进行改进；

Step4.将当前帧和前一帧中的SURF特征点进行匹配；

Step5.通过RANSAC算法消除当前帧和前一帧中已匹配的SURF特征点中的部分误匹配点；

Step6.计算前后两帧中剩余特征点的变化参数；

Step7.如果前后两帧图像中目标尺度发生了变化，则根据变化尺度计算出当前帧中目标位置窗口；如果前后两帧中目标尺度未发生变化，则使用改进STC算法中求出的目标窗口作为当前帧的目标位置窗口；

Step8.重复Step2到Step7直至视频结束，完成当前视频的目标跟踪；

进一步地，所述Step1中在视频的第一帧图像中初始化要跟踪的目标的具体步骤如下：

选取输入视频的第一帧，输入坐标初始化目标位置，并且用矩形框选中显示。

进一步地，所述Step2的具体过程为：

(1)根据Hessian矩阵判别式det(Hessian)＝L_xx*L_yy-L_xy*L_xy，然后使用盒式滤波器计算出和图像帧中的点X＝(x,y)的卷积近似值Dxx、Dxy、Dyy来代替高斯二阶微分算子L_xx、L_xy、L_yy。得Hessian矩阵近似值判别式：

det(H_approx)＝Dxx*Dyy-(0.9*Dxy)² (1)

其中det(H_approx)是Hessian矩阵近似判别式，Dxx、Dxy、Dyy是点X＝(x,y)的卷积近似值，0.9是权值。

(2)根据图像帧中的像素点的判别式值det(H_approx)和自身邻域内的26个像素点判别式的值进行比较，选取出初始关键点，随后将不适合的部分关键点滤除掉，剩下的关键点作为该区域的特征点。

(3)在特征点周围取4*4的区块，每个区块包含5*5共25个像素，统计每个区块的25个像素点的水平方向和垂直方向共4个方向的Haar小波特征，随后根据每个像素点4个方向的响应值计算出这个区块的水平方向、垂直方向共4个方向的向量作为这个特征点在区块的特征描述子，即每个特征点有16*4共64维向量作为该特征点的描述子。

进一步地，所述Step3的具体过程为：

(1)在STC算法中计算置信图根据上下文先验模型及空间上下文模型，使用目标点的Hessian矩阵近似判别式的值和灰度值共同作为计算上下文先验模型的参数，上下文先验模型P(x,c(z)|o)更新方法如下：

P(x,c(z)|o)＝(λ*det(H_approx)+I(z))*ω_σ(z-x^*) (2)

其中λ是用来表示近似判别式det(H_approx)的重要程度的参数，λ＝0.25，I(z)是点z的灰度值，ω_σ(z-x^*)是权值函数。

(2)将STC算法中的空间上下文模型P(x,c(z)|o)更新为：

P(x,c(z)|o)＝h^SC-SURF (3)

其中h^SC-SURF表示进行自适应窗口调整后得出的空间上下文模型。

(3)将STC算法中的置信图c(x)的计算方式更新为：

其中h^SC-SURF是自适应窗口调整后得出的空间上下文模型，λ是表示判别式det(H_approx)的重要程度的参数，I(z)是点z的灰度值，ω_σ(z-x^*)是权值函数。

进一步地，所述Step4的具体过程为：

在相邻的图像帧中寻找与当前帧该特征点欧氏距离最近的两个点，并且最近距离和第二近的距离的比值小于预设的阈值，则该点作为当前帧特征点的匹配点。

进一步地，所述Step5的具体过程为：

使用RANSAC消除误匹配点规则为，在匹配得到的点集合中随机选取m个点，将m个点和给出的模型进行拟合，将成功拟合的点加入到模型中，重复多次，直至选出的加入到模型的点数目最多，则这些点作为消除误匹配后的匹配点。

进一步地，所述Step6的具体过程为：

在消除误匹配后得到特征点集合

其中P_t+1是第t+1帧中特征点集合，P_t是第t帧中特征点集合。根据相邻两帧特征点变化尺度计算出集合中的点在前后两帧中横坐标偏移量集合dx＝{dx₁,dx₂,...,dx_n}，以及纵坐标偏移量集合dy＝{dy₁,dy₂,...,dy_n}。相邻两帧的尺度伸缩值根据下式计算：

其中S_i是前帧目标两个匹配点与当前帧匹配的两个特征点的尺度伸缩值，

是第t帧中得特征点pⁱ，特征点/>

是第t帧中特征点pⁱ和特征点pⁱ⁺¹的欧式距离，

是第t-1帧中特征点pⁱ和特征点pⁱ⁺¹的欧式距离。通过计算得相邻帧的特征点尺度伸缩值集合S＝{S₁,S₁,...,S₁}。/>

进一步地，所述Step7的具体过程为：

(1)当目标尺度发生变化时：

根据横坐标偏移量集合dx＝{dx₁,dx₂,...,dx_n}、纵坐标偏移量集合dy＝{dy₁,dy₂,...,dy_n}、相邻两帧的特征点尺度伸缩值集合S＝{S₁,S₁,...,S₁}通过排列选出相对应的中值m_dx、m_dy、m_S，其中m_dx是横坐标偏移量集合dx中的中值，m_dy是纵坐标偏移量集合dy中的中值，m_S是尺度伸缩值集合S中的中值。根据以下规则对当前帧的目标窗口进行调整：

其中s₁、s₂分别是横坐标的偏移量和纵坐标的偏移量，η、μ是尺度参数，η＝0.5，μ＝1，w_t-1、w_t分别是第t-1帧、第t帧目标窗口的宽度，h_t-1、h_t分别是第t-1帧、第t帧目标窗口的高度，x_t-1、y_t-1、x_t、y_t分别是第t-1帧、第t帧目标窗口的左上角坐标值。从而计算出当前帧图像的目标窗口。

(2)当目标未尺度发生变化时：

根据Step3中对STC算法改进后的置信图计算方式，计算出当前帧的置信图，从而得到目标位置，从而得到目标窗口。

进一步地，所述Step8的具体过程为：

对视频中的所有帧使用Step2到Step8进行处理，直至视频中的所有帧都完成了处理，既完成对本视频中目标的跟踪。

实验硬件环境为：Inter(R)Core(TM)i5-4200M CPU@2.50 2.50GHzCPU、8GB内存，软件环境为Windows10x64操作系统、VS2015、OPENCV2.4.13。本发明的STC-SURF算法和TLD算法、STC算法一起进行了测试。在本次测试中共使用了5个公开的计算机视觉测试视频来对算法进行验证。使用的公开视频主要信息如图2所示。

三种不同的跟踪算法对david视频的跟踪结果如图3所示。其中白色框是STC-SURF算法跟踪结果，黑色框TLD算法跟踪结果，灰色框是STC算法跟踪结果。可以看出在第416帧时TLD算法跟踪失败了，而STC算法和本文提出的STC-SURF算法都还有较好的跟踪效果，可见STC和STC-SURF对于光照剧烈的变化都有较好的跟踪效果。

三种不同的跟踪算法对boy视频的跟踪结果如图4所示。其中白色框是STC-SURF算法跟踪结果，黑色框TLD算法跟踪结果，灰色框是STC算法跟踪结果。可以看出在第269帧中，TLD和STC算法都失去了对目标的跟踪，而STC-SURF还有较好的跟踪效果，可见STC-SURF对比其他两种算法在目标快速运动产生模糊时对目标的跟踪效果要更加好。

三种不同的跟踪算法对girle2视频的跟踪结果如图5所示。其中白色框是STC-SURF算法跟踪结果，黑色框TLD算法跟踪结果，灰色框是STC算法跟踪结果。可见在第55帧目标变模糊恢复后TLD算法就开始失去了对目标的跟踪，而STC算法在第242帧中不能适应目标的尺度变化，STC-SURF相比较既有更好的跟踪效果，也能适应目标模糊和尺度变化。

三种不同的跟踪算法对dog视频的跟踪结果如图6所示。其中白色框是STC-SURF算法跟踪结果，黑色框TLD算法跟踪结果，灰色框是STC算法跟踪结果。在第442帧中，由于目标和背景难以分辨，TLD算法已经失去了对目标的跟踪，而在1119帧中，STC算法由于不能适应目标尺度的变化，对目标的跟踪效果并不好，相比之下STC-SURF有较好的跟踪效果。

三种不同的跟踪算法对FaceOcc1视频的跟踪结果如图7所示。其中白色框是STC-SURF算法跟踪结果，黑色框TLD算法跟踪结果，灰色框是STC算法跟踪结果。在第660帧中，目标被遮挡，TLD算法开始发生漂移，相比之下STC和STC-SURF的跟踪效果较好。

图8是不同算法再各个视频中的跟踪平均成功率，由图8可看出在STC-SURF算法的在不同视频中跟踪成功的综合表现都优于TLD算法和STC算法。

本发明利用相邻图像中SURF特征点的变化参数对目标窗口进行调整，并将SURF特征结合到STC算法中对STC算法进行改进。本发明提升了目标跟踪的准确性以及在复杂环境中的鲁棒性。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作各种变化。

Claims (8)

1.一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：包括如下步骤：

Step1.输入需要进行跟踪的目标视频，在视频的第一帧图像中初始化要跟踪的目标，进入到下一帧中；

Step2.计算出当前帧和前一帧图像的SURF特征点；

Step3.将SURF特征点加入到STC算法中的空间上下文模型和上下文先验模型的计算中对STC算法进行改进；

Step4.将当前帧和前一帧中的SURF特征点进行匹配；

Step5.通过RANSAC算法消除当前帧和前一帧中已匹配的SURF特征点中的部分误匹配点；

Step6.计算前后两帧中剩余特征点的变化参数；

Step7.如果前后两帧图像中目标尺度发生了变化，则根据变化尺度计算出当前帧中目标位置窗口；如果前后两帧中目标尺度未发生变化，则使用改进STC算法中求出的目标窗口作为当前帧的目标位置窗口；

Step8.重复Step2到Step7直至视频结束，完成当前视频的目标跟踪；

所述Step3的具体步骤如下：

(1)在STC算法中计算置信图根据上下文先验模型及空间上下文模型，使用目标点的Hessian矩阵近似判别式的值和灰度值共同作为计算上下文先验模型的参数，上下文先验模型P(x,c(z)|o)更新方法如下：

P(x,c(z)|o)＝(λ*det(H_approx)+I(z))*ω_σ(z-x^*) (2)

其中λ是用来表示近似判别式det(H_approx)的重要程度的参数，I(z)是点z的灰度值，ω_σ(z-x^*)是权值函数；

(2)将STC算法中的空间上下文模型P(x,c(z)|o)更新为：

P(x,c(z)|o)＝h^SC-SURF (3)

其中h^SC-SURF表示进行自适应窗口调整后得出的空间上下文模型；

(3)将STC算法中的置信图c(x)的计算方式更新为：

其中，h^SC-SURF是自适应窗口调整后得出的空间上下文模型，λ是表示判别式det(H_approx)的重要程度的参数，I(z)是点z的灰度值，ω_σ(z-x^*)是权值函数。

2.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step1中在视频的第一帧图像中初始化要跟踪的目标的具体步骤如下：

选取输入视频的第一帧，输入坐标初始化目标位置，并且用矩形框选中显示。

3.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step2的具体步骤如下：

(1)根据Hessian矩阵判别式det(Hessian)＝L_xx*L_yy-L_xy*L_xy，然后使用盒式滤波器计算出图像帧中的点X＝(x,y)的卷积近似值Dxx、Dxy、Dyy来代替高斯二阶微分算子L_xx、L_xy、L_yy，得到Hessian矩阵近似值判别式：

det(H_approx)＝Dxx*Dyy-(0.9*Dxy)² (1)

其中det(H_approx)是Hessian矩阵近似判别式，Dxx、Dxy、Dyy是点X＝(x,y)的卷积近似值，0.9是权值；

(2)根据图像帧中的像素点的判别式值det(H_approx)和自身邻域内的26个像素点判别式的值进行比较，选取出初始关键点，随后将不适合的部分关键点滤除掉，剩下的关键点作为该区域的特征点；

(3)在特征点周围取4*4的区块，每个区块包含5*5共25个像素，统计每个区块的25个像素点的水平方向和垂直方向共4个方向的Haar小波特征，随后根据每个像素点4个方向的响应值计算出这个区块的水平方向、垂直方向共4个方向的向量作为这个特征点在区块的特征描述子，即每个特征点有16*4共64维向量作为该特征点的描述子。

4.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step4的具体步骤如下：

在相邻的图像帧中寻找与当前帧该特征点欧氏距离最近的两个点，并且最近距离和第二近的距离的比值小于预设的阈值，则该点作为当前帧特征点的匹配点。

5.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step5的具体步骤如下：

在匹配后得到的点集合中随机选取m个点，将m个点和给出的模型进行拟合，将成功拟合的点加入到模型中，重复多次，直至选出的加入到模型的点数目最多，则这些点作为消除误匹配后的匹配点。

6.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step6的具体步骤如下：

在消除误匹配后得到特征点集合

其中P_t+1是第t+1帧中特征点集合，P_t是第t帧中特征点集合，根据相邻两帧特征点变化尺度计算出集合中的点在前后两帧中横坐标偏移量集合dx＝{dx₁,dx₂,...,dx_n}，以及纵坐标偏移量集合dy＝{dy₁,dy₂,...,dy_n}，相邻两帧的尺度伸缩值根据下式计算：

其中S_i是前帧目标两个匹配点与当前帧匹配的两个特征点的尺度伸缩值，

是第t帧中得特征点pⁱ，特征点/>

是第t帧中特征点pⁱ和特征点pⁱ⁺¹的欧式距离，

是第t-1帧中特征点pⁱ和特征点pⁱ⁺¹的欧式距离，通过计算得相邻帧的特征点尺度伸缩值集合S＝{S₁,S₁,...,S₁}。

7.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step7的具体步骤如下：

(1)当目标尺度发生变化时：

根据横坐标偏移量集合dx＝{dx₁,dx₂,...,dx_n}、纵坐标偏移量集合dy＝{dy₁,dy₂,...,dy_n}、相邻两帧的特征点尺度伸缩值集合S＝{S₁,S₁,...,S₁}通过排列选出相对应的中值m_dx、m_dy、m_S，其中m_dx是横坐标偏移量集合dx中的中值，m_dy是纵坐标偏移量集合dy中的中值，m_S是尺度伸缩值集合S中的中值，根据以下规则对当前帧的目标窗口进行调整：

其中s₁、s₂分别是横坐标的偏移量和纵坐标的偏移量，η、μ是尺度参数，w_t-1、w_t分别是第t-1帧、第t帧目标窗口的宽度，h_t-1、h_t分别是第t-1帧、第t帧目标窗口的高度，x_t-1、y_t-1、x_t、y_t分别是第t-1帧、第t帧目标窗口的左上角坐标值，从而计算出当前帧图像的目标窗口；

(2)当目标未尺度发生变化时：

根据Step3中对STC算法改进后的置信图计算方式，计算出当前帧的置信图，从而得到目标位置，从而得到目标窗口。

8.根据权利要求1所述的一种改进STC和SURF特征联合优化的目标跟踪方法，其特征在于：所述Step8具体步骤如下：

对视频中的所有帧使用Step2到Step8进行处理，直至视频中的所有帧都完成了处理，即完成对本视频中目标的跟踪。

Images