CN102945554B - 基于学习和加速鲁棒surf特征的目标跟踪方法 - Google Patents

Abstract

本发明公开一种基于学习和加速鲁棒SURF特征的目标跟踪方法，主要解决现有技术中由于目标快速变化或者发生遮挡而导致目标跟踪失败的问题。其实现步骤为：(1)输入一段视频中的第一帧，并人工标记出待跟踪目标，同时将标记的目标作为目标模板；(2)通过跟踪-在线学习-检测模型跟踪目标；(3)判定跟踪与检测目标的结果；(4)提取目标模板和视频当前帧的加速鲁棒SURF特征；(5)利用欧氏距离对获得的加速鲁棒SURF特征进行匹配；(6)输出目标跟踪结果，更新目标模板；(7)循环执行步骤(2)～步骤(6)，直到视频结束。本发明与现有的技术相比在目标快速变化或者发生遮挡情况下提高了目标跟踪的鲁棒性。

Description

基于学习和加速鲁棒SURF特征的目标跟踪方法

技术领域

本发明属于图像处理技术领域，涉及视频目标跟踪方法，可应用于智能监控、目标跟踪和人机界面。

背景技术

序列图像的目标跟踪是图像处理技术应用的重要组成部分，它是指通过对输入的视频图像序列进行分析，确定各帧中目标所在的位置，获得相关的参数。目标跟踪是计算机视觉中关键技术之一，融合了图像处理、模式识别和人工智能等领域，在机器人视觉导航、安全监测、交通管制、视频压缩以及气象分析等许多方面都有广泛应用。如军事方面，已被成功地应用于武器的成像制导、军事侦察和监视等；民用方面，如视觉监控，已被广泛地应用于社会生活的各方面。目标跟踪可应用于社区和重要设施的保安监控；用于智能交通系统中进行车辆的实时追踪，可以得到车流量、车型、车速、车流密度等等许多有价值的交通流参数，同时还可以检测事故或故障等突发状况。

天津大学提出的专利申请“一种基于模板匹配的目标跟踪方法”(专利申请号201010529681.2，公开号CN102004898A)公开了一种基于模板匹配的目标跟踪方法。该方法中模板图像和待匹配区域的像素按照圆形排列为多个子窗口，采用圆形模板匹配准则确保目标具有平移和旋转不变性，采用Kirsch算子计算模板和跟踪窗内各像素的边缘强度值，将灰度匹配值与强度匹配值之和作为匹配结果，最佳匹配值的位置确定为跟踪目标的位置，但是它的缺陷是：当目标发生遮挡时，匹配出现误差导致跟踪失败。

上海电机学院提出的专利申请“一种视觉目标识别与跟踪方法”(专利申请号201010537843.7，公开号CN101986348A)，公开了一种视觉目标识别与跟踪方法。该跟踪方法包括：默认第零帧搜索窗口与图像等大，第一帧图像识别并获得包围框，然后是搜索窗口的预测，它利用图像处理方法对包围框和其中特征点进行计算，同时在目标跟踪的基础上提出了一种可预测的搜索窗口的方法，对标志的目标进行运动预测和跟踪，缩小了搜索范围，该跟踪方法虽然对提高实时性有一定的效果，但是当运动目标发生遮挡或者快速变化时，运用上述预测搜索窗方法则无法实现准确跟踪。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于学习和加速鲁棒SURF特征的目标跟踪方法，以提高目标跟踪对目标发生遮挡和运动快速变化的准确性。

实现本发明的思路是：在视频第一帧定义正负样本来训练一个分类器，输入视频后利用跟踪-在线学习-检测框架对目标进行实时跟踪，为了解决跟踪失败的情况，在系统中加入一个目标的加速鲁棒SURF特征检测器与随进森林检测器作为互补，即提取加速鲁棒SURF特征对目标进行二次检测，实现稳健的目标跟踪。具体实现步骤包括如下：

(1)输入一段视频中的第一帧，并人工标记出待跟踪目标，同时将标记的目标作为目标模板；

(2)通过跟踪-在线学习-检测模型跟踪目标：

2a)用视频的第一帧对跟踪-在线学习-检测模型进行初始化；

2b)将步骤(1)标记出的跟踪目标作为正样本，在正样本附近取100个图像块域作为负样本，并用这些正负样本训练随机森林检测器；

2c)从输入视频的第二帧开始，对待跟踪目标进行跟踪与检测；

(3)判定跟踪与检测目标的结果：

3a)设定置信阈值Tc＝0.7，如果跟踪结果的置信值大于Tc，则认为是有效跟踪，即跟踪到了目标，同时用跟踪结果更新随机森林检测器，执行步骤(6)；

3b)如果跟踪结果的置信值小于Tc，则认为是跟踪失败，执行步骤(4)；

(4)提取目标模板和视频当前帧的SURF特征：

4a)计算目标模板的积分图像值I_1∑：

$I_{1\mathrm{\Σ}}=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j),$

其中，I(i,j)表示目标模板中点(i,j)处的像素值，(x,y)表示目标模板中某一点的坐标；

4b)计算视频当前帧的积分图像值I_2∑：

$I_{2\mathrm{\Σ}}=\underset{p=0}{\overset{p\≤a}{\mathrm{\Σ}}}\underset{q=0}{\overset{q\≤b}{\mathrm{\Σ}}}I(p,q),$

其中，I(p,q)表示当前帧中点(p,q)处的像素值，(a,b)表示当前帧中某一点的坐标；

4c)采用不同尺度的箱式滤波器建立适应目标变换的尺度空间，即将各个箱式滤波器按照尺度大小的不同组成一个空间塔状结构，其中每个尺度上包含x、y和xy三个方向上的箱式滤波器；

4d)根据步骤4a)得出的积分图像值和步骤4c)采用的箱式滤波器，求出目标模板中每一点的特征矩阵 $H_1\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}{D}_{1\mathrm{xx}}& \mathrm{\ω}{D}_{1\mathrm{xy}}\\ \mathrm{\ω}{D}_{1\mathrm{xy}}& D_{1\mathrm{yy}}\end{array}\right],$ 并计算H₁(σ)对应行列式的值detH₁：

detH₁＝D_1xxD_1yy-(ωD_1xy)²，

其中，D_1xx表示由步骤4a)得到的积分图像值与步骤4c)中x方向上箱式滤波器相乘求和的结果，D_1xy表示由步骤4a)得到的积分图像值与步骤4c)中xy方向上箱式滤波器相乘求和的结果，D_1yy表示由步骤4a)得到的积分图像值与步骤4c)中y方向上箱式滤波器相乘求和的结果，ω是箱式滤波器的误差比例因子，σ表示尺度；

4e)根据步骤4b)得出的积分图像值和步骤4c)采用的箱式滤波器，求出视频当前帧中每一点的特征矩阵 $H_2\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}{D}_{2\mathrm{xx}}& \mathrm{\ω}{D}_{2\mathrm{xy}}\\ \mathrm{\ω}{D}_{2\mathrm{xy}}& D_{2\mathrm{yy}}\end{array}\right],$ 并计算H₂(σ)对应行列式值detH₂：

detH₂＝D_2xxD_2yy-(ωD_2xy)²，

其中，D_2xx表示由步骤4b)得到的积分图像值与步骤4c)中x方向上箱式滤波器相乘求和的结果，D_2xy表示由步骤4b)得到的积分图像值与步骤4c)中xy方向上箱式滤波器相乘求和的结果，D_2yy表示由步骤4b)得到的积分图像值与步骤4c)中y方向上箱式滤波器相乘求和的结果，ω是箱式滤波器的误差比例因子，σ表示尺度；

4f)将步骤4d)～4e)得到的行列式值中大于零的点定为极值点，以每个极值点为中心取一个半径为6s的圆形区域，其中s表示尺度，计算该圆形区域内点的Haar小波响应，将π/3范围内的响应相加形成新的矢量，遍历整个圆形区域，选择最长矢量的方向作为该极值点的主方向，在主方向上选取边长为20s的正方形区域，用这个区域内的Haar小波响应构成加速鲁棒SURF特征，即分别得到目标模板的加速鲁棒SURF特征和当前帧的加速鲁棒SURF特征；

(5)利用欧氏距离对步骤4f)获得的加速鲁棒SURF特征进行匹配：

对于当前帧中的特征向量(h₁,h₂,…,h_m)和目标模板中的特征向量(s₁,s₂,…,s_n)，分别求(h₁,h₂,…,h_m)中每一个元素h_j与(s₁,s₂,…,s_n)中所有元素之间欧式距离的最小值d_j，如果d_j小于设定阈值T_d，则认为加速鲁棒SURF特征匹配成功，否则匹配失败，并将匹配成功的结果作为当前帧的目标跟踪结果，其中h_j表示当前帧中第j个加速鲁棒SURF特征点的坐标，j＝1,2,…,m，m表示当前帧中特征点的总个数；s_i表示目标模板中第i个加速鲁棒SURF特征点的坐标，i＝1,2,…,n，n表示目标模板中特征点的总个数；

(6)输出当前帧的目标跟踪结果，并用当前帧跟踪的目标作为更新的目标模板；

(7)循环执行步骤2c)～步骤(6)，直到视频的最后一帧。

本发明与现有技术相比有以下优点：

第一，本发明采用了跟踪-在线学习-检测模型对目标进行跟踪，因而当目标在场景中消失一段时间后重新出现时，能够重新检测到目标，解决了现有技术在长时跟踪情况下容易跟丢目标的问题，提高了目标跟踪的准确率。

第二，本发明引入了一个加速鲁棒SURF特征检测器作为二次检测，与随机森林检测器互补，弥补了跟踪失败和随机森林检测器检测失败的情况，克服了现有技术中当目标发生遮挡或者运动过快时跟踪失败的缺点，提高了目标跟踪鲁棒性。

附图说明

图1为本发明的实现流程图；

图2为本发明提取加速鲁棒SURF特征的子流程图；

图3为本发明输入的第一帧视频图像；

图4为本发明的仿真效果图。

具体实施方式

参照图1，本发明的具体实施过程如下：

步骤1.输入一段视频中的第一帧，并人工标记出待跟踪目标，同时将标记的目标作为目标模板，本发明实例输入一段视频序列如图3，它是一段人脸遮挡视频的第一帧，矩形框框定的人脸区域作为待跟踪的目标。

步骤2.通过跟踪-在线学习-检测模型，对目标进行跟踪：

2a)用视频的第一帧对跟踪-在线学习-检测模型进行初始化；

2b)将步骤(1)标记出的跟踪目标作为正样本，在正样本附近取100个图像块作为负样本，设定随机森林检测器中的决策树数目为10个，并用这些正负样本训练随机森林检测器；

2c)从输入视频的第二帧开始，对待跟踪目标进行跟踪与检测。

步骤3.通过设定阈值来判定跟踪与检测目标的结果：

3a)设定置信阈值Tc＝0.7，如果跟踪结果的置信值大于Tc，则认为是有效跟踪，即跟踪到了目标，同时用跟踪结果更新随机森林检测器，执行步骤6；

3b)小于阈值的认为是跟踪失败，则执行步骤4。

步骤4.提取目标模板和视频当前帧的SURF特征：

参考图2，本步骤的具体实现如下：

4a)计算目标模板的积分图像值I_1∑：

$I_{1\mathrm{\Σ}}=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j),$

其中，I(i,j)表示目标模板中点(i,j)处的像素值，(x,y)表示目标模板中某一点的坐标；

4b)计算视频当前帧的积分图像值I_2∑：

$I_{2\mathrm{\Σ}}=\underset{p=0}{\overset{p\≤a}{\mathrm{\Σ}}}\underset{q=0}{\overset{q\≤b}{\mathrm{\Σ}}}I(p,q),$

其中，I(p,q)表示当前帧中点(p,q)处的像素值，(a,b)表示当前帧中某一点的坐标；

4c)采用不同尺度的箱式滤波器建立适应目标变换的尺度空间，即将各个箱式滤波器按照尺度大小的不同组成一个空间塔状结构，其中每个尺度上包含x、y和xy三个方向上的箱式滤波器；

4d)根据步骤4a)得出的积分图像值和步骤4c)采用的箱式滤波器，求出目标模板中每一点的特征矩阵 $H_1\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}{D}_{1\mathrm{xx}}& \mathrm{\ω}{D}_{1\mathrm{xy}}\\ \mathrm{\ω}{D}_{1\mathrm{xy}}& D_{1\mathrm{yy}}\end{array}\right],$ 并计算H₁(σ)对应行列式的值detH₁：

detH₁＝D_1xxD_1yy-(ωD_1xy)²，

其中，D_1xx表示由步骤4a)得到的积分图像值与步骤4c)中x方向上箱式滤波器相乘求和的结果，D_1xy表示由步骤4a)得到的积分图像值与步骤4c)中xy方向上箱式滤波器相乘求和的结果，D_1yy表示由步骤4a)得到的积分图像值与步骤4c)中y方向上箱式滤波器相乘求和的结果，ω是箱式滤波器的误差比例因子，σ表示尺度；

4e)根据步骤4b)得出的积分图像值和步骤4c)采用的箱式滤波器，求出视频当前帧中每一点的特征矩阵 $H_2\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}{D}_{2\mathrm{xx}}& \mathrm{\ω}{D}_{2\mathrm{xy}}\\ \mathrm{\ω}{D}_{2\mathrm{xy}}& D_{2\mathrm{yy}}\end{array}\right],$ 并计算H₂(σ)对应行列式值detH₂：

detH₂＝D_2xxD_2yy-(ωD_2xy)²，

其中，D_2xx表示由步骤4b)得到的积分图像值与步骤4c)中x方向上箱式滤波器相乘求和的结果，D_2xy表示由步骤4b)得到的积分图像值与步骤4c)中xy方向上箱式滤波器相乘求和的结果，D_2yy表示由步骤4b)得到的积分图像值与步骤4c)中y方向上箱式滤波器相乘求和的结果，ω是箱式滤波器的误差比例因子，σ表示尺度；

4f)将步骤4d)～4e)得到的行列式值中大于零的点定为极值点，以每个极值点为中心取一个半径为6s的圆形区域，其中s表示尺度，计算该圆形区域内点的Haar小波响应，将π/3范围内的响应相加形成新的矢量，遍历整个圆形区域，选择最长矢量的方向作为该极值点的主方向，在主方向上选取边长为20s的正方形区域，用这个区域内的Haar小波响应构成加速鲁棒SURF特征，即分别得到目标模板的加速鲁棒SURF特征和当前帧的加速鲁棒SURF特征。

步骤5.利用欧氏距离对步骤4f)获得的加速鲁棒SURF特征进行匹配：

5a)对于当前帧中的特征向量(h₁,h₂,…,h_m)和目标模板中的特征向量(s₁,s₂,…,s_n)，分别求(h₁,h₂,…,h_m)中每一个元素h_j与(s₁,s₂,…,s_n)中所有元素之间欧式距离的最小值d_j，根据d_j计算阈值T_d：

$T_d=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{d}_j,$

其中，h_j表示当前帧中第j个加速鲁棒SURF特征点的坐标，j＝1,2,…,m，m表示当前帧中特征点的总个数；s_i表示目标模板中第i个加速鲁棒SURF特征点的坐标，i＝1,2,…,n，n表示目标模板中特征点的总个数；

5b)对d_j进行阈值处理，如果d_j小于阈值T_d，则认为加速鲁棒SURF特征匹配成功，否则匹配失败，并将匹配成功的结果作为当前帧的目标跟踪结果，如图4所示。

步骤6.输出如图4所示的当前帧的目标跟踪结果，并用当前帧跟踪的目标作为更新的目标模板。

步骤7.循环执行步骤2c)～步骤6，直到视频的最后一帧。

本发明的效果可通过以下仿真进一步说明：

仿真内容，首先，输入一段人脸遮挡视频的第一帧图像如图3，其中图3中矩形框框定的人脸区域为待跟踪目标，针对待跟踪目标定义正负样本，训练随机森林检测器；其次，通过跟踪-在线学习-检测模型对新一帧视频图像中的目标进行跟踪，当跟踪失败而且随机森林检测器检测失败时，启动加速鲁棒SURF特征检测器对视频图像中的目标进行二次检测，并将此检测结果作为目标跟踪的结果，最后，输出目标跟踪的结果如图4，循环执行上述跟踪步骤直到视频的最后一帧。

图4的实验结果表明，本发明能够对发生遮挡和以及快速运动的目标实现有效跟踪。

Claims (3)

1.一种基于学习和加速鲁棒SURF特征的目标跟踪方法，包括以下步骤：

(1)输入一段视频中的第一帧，并人工标记出待跟踪目标，同时将标记的目标作为目标模板；

(2)通过跟踪-在线学习-检测模型，对目标进行跟踪：

2a)用视频的第一帧对跟踪-在线学习-检测模型进行初始化；

2b)将步骤(1)标记出的跟踪目标作为正样本，在正样本附近取100个图像块作为负样本，并用这些正负样本训练随机森林检测器；

2c)从输入视频的第二帧开始，对待跟踪目标进行跟踪与检测；

(3)判定跟踪与检测目标的结果：

3a)设定置信阈值Tc＝0.7，如果跟踪结果的置信值大于Tc，则认为是有效跟踪，即跟踪到了目标，同时用跟踪结果更新随机森林检测器，执行步骤(6)；

3b)如果跟踪结果的置信值小于Tc，则认为是跟踪失败，执行步骤(4)；

(4)提取目标模板和视频当前帧的加速鲁棒SURF特征：

4a)计算目标模板的积分图像值I_1Σ：

$I_{1\mathrm{\Σ}}=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j),$

其中，I(i,j)表示目标模板中点(i,j)处的像素值，(x,y)表示目标模板中某一点的坐标；

4b)计算视频当前帧的积分图像值I_2Σ：

$I_{2\mathrm{\Σ}}=\underset{p=0}{\overset{p\≤a}{\mathrm{\Σ}}}\underset{q=0}{\overset{q\≤b}{\mathrm{\Σ}}}I(p,q),$

其中，I(p,q)表示当前帧中点(p,q)处的像素值，(a,b)表示当前帧中某一点的坐标；

4c)采用不同尺度的箱式滤波器建立适应目标变换的尺度空间，即将各个箱式滤波器按照尺度大小的不同组成一个空间塔状结构，其中每个尺度上包含x、y和xy三个方向上的箱式滤波器；

4d)根据步骤4a)得出的积分图像值和步骤4c)采用的箱式滤波器，求出目标模板中每一点的特征矩阵 $H_1\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}{D}_{1\mathrm{xx}}& \mathrm{\ω}{D}_{1\mathrm{xy}}\\ \mathrm{\ω}{D}_{1\mathrm{xy}}& D_{1\mathrm{yy}}\end{array}\right],$ 并计算H₁(σ)对应行列式的值detH₁：

detH₁＝D_1xxD_1yy-(ωD_1xy)²，

其中，D_1xx表示由步骤4a)得到的积分图像值与步骤4c)中x方向上箱式滤波器相乘求和的结果，D_1xy表示由步骤4a)得到的积分图像值与步骤4c)中xy方向上箱式滤波器相乘求和的结果，D_1yy表示由步骤4a)得到的积分图像值与步骤4c)中y方向上箱式滤波器相乘求和的结果，ω是箱式滤波器的误差比例因子，σ表示尺度；

4e)根据步骤4b)得出的积分图像值和步骤4c)采用的箱式滤波器，求出视频当前帧中每一点的特征矩阵 $H_2\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}{D}_{2\mathrm{xx}}& \mathrm{\ω}{D}_{2\mathrm{xy}}\\ \mathrm{\ω}{D}_{2\mathrm{xy}}& D_{2\mathrm{yy}}\end{array}\right],$ 并计算H₂(σ)对应行列式值detH₂：

detH₂＝D_2xxD_2yy-(ωD_2xy)²，

其中，D_2xx表示由步骤4b)得到的积分图像值与步骤4c)中x方向上箱式滤波器相乘求和的结果，D_2xy表示由步骤4b)得到的积分图像值与步骤4c)中xy方向上箱式滤波器相乘求和的结果，D_2yy表示由步骤4b)得到的积分图像值与步骤4c)中y方向上箱式滤波器相乘求和的结果，ω是箱式滤波器的误差比例因子，σ表示尺度；

4f)将步骤4d)～4e)得到的行列式值中大于零的点定为极值点，以每个极值点为中心取一个半径为6s的圆形区域，其中s表示尺度，计算该圆形区域内点的Haar小波响应，将以区域内点为圆心，π/3为半径的圆的范围内的响应相加形成新的矢量，遍历整个圆形区域，选择最长矢量的方向作为该极值点的主方向，在主方向上选取边长为20s的正方形区域，用这个区域内的Haar小波响应构成加速鲁棒SURF特征，即分别得到目标模板的加速鲁棒SURF特征和当前帧的加速鲁棒SURF特征；

(5)利用欧氏距离对步骤4f)获得的加速鲁棒SURF特征进行匹配：

对于当前帧中的特征向量(h₁,h₂,…,h_m)和目标模板中的特征向量(s₁,s₂,…,s_n)，分别求(h₁,h₂,…,h_m)中每一个元素h_j与(s₁,s₂,…,s_n)中所有元素之间欧式距离的最小值d_j，如果d_j小于设定的阈值T_d，则认为加速鲁棒SURF特征匹配成功，否则匹配失败，并将匹配成功的结果作为当前帧的目标跟踪结果，其中h_j表示当前帧中第j个加速鲁棒SURF特征点的坐标，j＝1,2,…,m，m表示当前帧中特征点的总个数；s_i表示目标模板中第i个加速鲁棒SURF特征点的坐标，i＝1,2,…,n，n表示目标模板中特征点的总个数；

(6)输出当前帧的目标跟踪结果，并用当前帧跟踪的目标作为更新的目标模板；

(7)循环执行步骤2c)～步骤(6)，直到视频的最后一帧。

2.根据权利要求1所述的基于学习和加速鲁棒SURF特征的目标跟踪方法，所述步骤2b)和3a)中的随机森林检测器，是一个包含10个决策树的分类器，在目标检测的过程中，由这10个决策树共同决定分类器的分类结果，即当所有决策树对测试样本进行分类得到它属于目标的概率之和大于阈值T_f＝10×0.5时，则表示检测到了目标，否则检测失败。

3.根据权利要求1所述的基于学习和加速鲁棒SURF特征的目标跟踪方法，所述步骤(5)中的阈值T_d，采用如下公式计算：

$T_d=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{d}_j,$

其中，m表示当前帧中特征点的总个数，d_j表示当前帧的特征向量中第j个元素与目标模板的特征向量中所有元素之间欧式距离的最小值。