CN103886619A - 一种融合多尺度超像素的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种融合多尺度超像素的目标跟踪方法，通过构建基于超像素的判别式表观模型，获得更准确的目标置信图，有效提高目标跟踪的准确度与鲁棒性。具体来说，采用不同尺度的超像素分类结果对一个像素点的属性投票，从而获取到更加准确的置信图；其次，通过不断更新分类器来更新表观模型，能够不断地适应光照变化、复杂背景等场景，从而达到更为准确与鲁棒的跟踪。

Description

一种融合多尺度超像素的目标跟踪方法

技术领域

本发明属于计算机视觉识别技术领域，更为具体地讲，涉及一种融合多尺度超像素的目标跟踪方法。

背景技术

近年来，目标跟踪算法受到越来越多的研究者们的关注，主要是因为视频跟踪技术具有极为广阔的市场应用前景，运动目标跟踪作为一门跨学科的前沿技术，融合了图像处理、模式识别、人工智能、自动控制等多种不同领域的理论知识，在视频监控、智能交通、视频压缩、视觉导航以及人机交互等众多领域中有着广阔的应用前景。

近年来，在运动目标跟踪问题上，总体来说有两种思路，一种是描述性跟踪算法，为了更好的描述目标，通过建立目标的表观模型，从而通过匹配的方法完成跟踪。另一种是判别式跟踪，判别式跟踪方法将目标跟踪问题转换为一个区别目标与背景的分类问题。相比于建立复杂的目标表观模型来描述被跟踪目标，判别式跟踪方法的目标为寻找一个最优的分类面来区别背景与前景，通常使用的分类器有Adaboost与SVM（Support Vector Machine），可以有效地解决光照变化、摄像机视角改变等外在因素对于目标跟踪的影响。其中，EM（ensemble tracking）为典型的判别式跟踪方法，该方法将跟踪问题转换为判断每个像素点是否为前景的分类问题，从而绘制感兴趣区域的置信图，而置信图是指感兴趣区域内部每个像素点的属性标记（属于目标还是背景）分布图。尽管该方法训练得到的Adaboost分类器能够有效地区别背景与前景，然而基于每个像素点的特征表达具有一定的局限性，在长时间遮挡或者严重遮挡情况下，不能有效地跟踪目标，具体算法可参考文献[1]:Shai Avidan,EnsembleTracking,IEEE Trans.on Pattern Analysis and Machine Intelligence,vol.29,pp.261–271,2007.

超像素是由具有相似颜色、纹理等特征的相邻像素构成的图像块，能够捕获图像的冗余信息，从而大大降低图像后续处理，如减小目标识别、图像分割等任务的复杂度，因此在计算机视觉应用中越来越受到人们的重视。基于超像素分割的判别式目标跟踪算法（superpixel tracking)的原理是通过meanshift聚类算法将超像素块区分为前景与背景，然后在新的一帧图像中找到最优目标，完成一次跟踪。虽然该算法在目标发生遮挡、漂移等情况下具有很好的鲁棒性，但是由于该算法是基于超像素块的判别结果，目标跟踪的准确度直接取决于超像素块尺度的选取，尤其是不同尺度下的超像素分割得到的特征向量有所不同，小尺度超像素块的特征在颜色与纹理信息上具有高度一致性，但忽略了大部分的边缘信息与大小信息，大尺度超像素块的特征在颜色与纹理信息上有较低的一致性，但它们可以保留边缘信息与大小信息。具体算法可参考文献[2]:ShuWang,Huchuan Lu,Fan Yang,Ming-Hsuan Yang,Superpixel Tracking,IEEETrans.on Computer Vision,pp.1323–1330,2011.

发明内容

本发明的目的在于克服现有技术的不足，提供一种融合多尺度超像素的目标跟踪方法，从而获得更准确的目标置信图，有效提高目标跟踪的准确度和鲁棒性。

为实现上述发明目的，本发明一种融合多尺度超像素的目标跟踪方法，其特征在于，包括以下步骤：

一种融合多尺度超像素的目标跟踪方法，其特征在于，包括以下步骤：

（1）、构建基于超像素的判别式表观模型：

（1.1）、获取超像素块；在给定的目标跟踪样本序列I₁,I₂,I₃,…I_M中,M为样本序列的帧数，对第一帧图像I₁，以(x₁,y₁)为中心，提取包含目标的高度为h和宽度为w的矩形区域S₁，其中，h和w与目标的尺寸h₁、w₁的比例关系为：h＝1.5*h₁,w＝1.5*w₁，通过SLIC算法对区域S₁进行d种尺度的超像素分割，其中d为尺度的总层数,每一层有N_j个超像素块sp_i，i＝1,2,…N_j,j＝1,2,d；

（1.2）、对于第j个尺度来说，提取N_j个超像素块sp_i的颜色直方图与梯度直方图，按行排列组成特征矩阵W；

设颜色直方图的维度为1*f_c，梯度直方图的维度为1*f_h，第i个超像素特征的总维度为1*(f_c+f_h)，逐一计算每个超像素的颜色直方图与梯度直方图，得到维度为N_j*(f_c+f_h)的特征矩阵W，每一行W_i代表第i个超像素的特征；根据先验知识，初始化每一个超像素的类别标记，构建类别标记列向量L，其中每一个元素L_i代表第i个超像素的类别，L_i与超像素块sp_i的关系可表式为：

（1.3）、利用特征矩阵W与类别标记列向量L来初始化尺度j下的样本池，并用来训练第j个尺度下的Adaboost分类器Hj，即完成第j个尺度下的判别式表观模型建模；

（1.4）d种尺度下的超像素块均通过步骤（1.2）和步骤（1.3）的方法建立表观模型，即可得到d个尺度的表观模型

（2）、融合多尺度超像素的在线目标跟踪：

（2.1）、初始化目标类别跟踪模板；

定义一个基于类别标记的跟踪模板，在第一帧提取以目标质心为中心，包括运动目标的最小外接矩形区域，对该区域中坐标为(m,n)的像素点pixel(m,n)的类别进行标记，该标记与其所属的超像素一致，其标记结果b(m,n)表示为：

则基于类别标记的目标模板

的每一维可以表示为：

${\hat{q}}_u=C\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}k\left({\left|\right|x_{m,n}^{*}\left|\right|}^2\right)\mathrm{\δ}[b(m,n)-u]$

其中，

为该像素点与目标中心的距离，

为关于

的权重函数，u是遍历b(m,n)可能的取值1或-1，C是根据

推导得到的常数，C的计算公式为：

$C=\frac{1}{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}k\left({\left|\right|x_{m,n}^{*}\left|\right|}^2\right)}$

（2.2）、对目标模板在线跟踪获取目标质心和大小：

当第g,g＝2,3,…M帧I_g到来时，以上一帧图像I_g-1的目标位置(x_g-1,y_g-1)为中心，提取长度和宽度为(h,w)的矩形区域S_g，其中(h,w)满足h＝1.5*h_g-1,w＝1.5*w_g-1，对区域S_g内进行d种尺度的超像素分割，通过步骤（1.2）的方法得到d组特征矩阵，将特征矩阵通过其对应的表观模型，则可以得到尺度j下第i个超像素块的类别，记为

，其中H^j为第j个尺度的表观模型，W_i ^j为当前帧中尺度j下第i个超像素块的特征矩阵，test(H^j,W_i ^j)为H^j对W_i ^j的类别判断结果；

区域S_g中坐标为(m,n)的像素点pixel(m,n)同时属于d个不同尺度的超像素块，那么像素点pixel(m,n)属于目标的类别标记则由d个不同尺度的表观模型投票表决而得，即为：

$\mathrm{label}\left(\mathrm{pixel}(m,n)\right)=\mathrm{sign}\left[{\mathrm{\Σ}}_{j=1}^d{h}_{*}^j\right]$

由于像素点pixel(m,n)在不同尺度下可能属于序号不同的超像素块，因此，用

表示尺度j下该像素点所属的超像素块的索引号，通过逐一判断区域S_g内的所有像素点的属性，生成置信图，再根据置信图以及目标模板

使用meanshift算法搜索得到第g帧最优的目标质心(x_g,y_g)与高度、宽度(h_g,w_g)；

（3）、在线更新表观模型：

（3.1）、通过跟踪目标质心(x_g,y_g)的高度、宽度(h_g,w_g)结果分别更新不同尺度的表观模型；

在尺度j下，有N_j个超像素块，通过对每个超像素块中所有像素点的坐标值取均值，从而计算出每个超像素块的中心位置{mx(i),my(i)}，再结合跟踪结果逐一判断是否属于以目标质心(x_g,y_g)为中心，以高度为h_g，宽度为w_g的矩形区域，将属于矩形区域内的标记为1，不属于矩形区域内的标记为-1，从而得到修正后的标记结果LC，其中LC的每个元素LC_i表示修正后第i个超像素块的属性，LC_i与(x_g,y_g)、(h_g,w_g)、{mx(i),my(i)}的关系表达式为：

（3.2）、根据新样本库完成表观模型的在线更新；

将新的特征样本放入样本池中，设置样本池的容量为BUFF，当样本池的总量超过容量BUFF时，最先放入样本池的样本将会被替换，再根据新样本库更新Adaboost分类器，进而完成该尺度下表观模型的在线更新；

（3.3）、根据步骤（3.1）和步骤（3.2）所述的方法更新d中尺度下的表观模型。

其中，所述的尺度层数d＝3，分别对应的超像素个数为：N₁＝200,N₂＝400,N₃＝600。

本发明的发明目的是这样实现的：

本发明融合多尺度超像素的目标跟踪方法，通过构建基于超像素的判别式表观模型，获得更准确的目标置信图，有效提高目标跟踪的准确度与鲁棒性。具体来说，采用不同尺度的超像素分类结果对一个像素点的属性投票，从而获取到更加准确的置信图；其次，通过不断更新分类器来更新表观模型，能够不断地适应光照变化、复杂背景等场景，从而达到更为准确与鲁棒的跟踪。

同时，本发明融合多尺度超像素的目标跟踪方法还具有以下有益效果：

（1）、通过不断更新表观模型的方式，能够有效的解决长时间遮挡或严重遮挡的情况，能够能够不断地适应光照变化、复杂背景等场景，从而达到更为准确与鲁棒的跟踪。

（2）、本发明中采用多尺度的像素跟踪方法能够克服小尺度中忽略边缘信息和大小信息的问题，同时避免大尺度中的特征颜色和纹理信息一致性差的问题，提高了目标跟踪的鲁棒性和准确性。

附图说明

图1是本发明融合多尺度超像素的目标跟踪方法的流程图；

图2是多组运动序列上三种跟踪方法的跟踪误差曲线图；

图3是多组参数下的多尺度超像素跟踪误差曲线图；

图4是多组参数下的单尺度超像素跟踪误差曲线图；

表1是多组运动序列不同方法的跟踪误差表；

表2是多组参数不同跟踪方法的跟踪误差表。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明融合多尺度超像素的目标跟踪方法的流程图。

在本实施例中，如图1所示，本发明融合多尺度超像素的目标跟踪方法，包括以下步骤：

1）、构建基于超像素的判别式表观模型：

1.1）、获取超像素块；在给定的目标跟踪样本序列I₁,I₂,I₃,…I_M中,M为样本序列的帧数，对第一帧图像I₁，以(x₁,y₁)为中心，提取包含目标的高度为h和宽度为w的矩形区域S₁，其中，h和w与目标的尺寸h₁、w₁的比例关系为：h＝1.5*h₁,w＝1.5*w₁，通过SLIC算法对区域S₁进行d种尺度的超像素分割，其中d为尺度的总层数,每一层有N_j个超像素块sp_i，i＝1,2,…N_j,j＝1,2,…d；本实施例中，尺度d的总层数为3层，即尺度d=1,2,3，分别对应的超像素个数为：N₁＝200,N₂＝400,N₃＝600；

1.2）、对于第j个尺度来说，提取N_j个超像素块sp_i的颜色直方图与梯度直方图，按行排列组成特征矩阵W；

设颜色直方图的维度为1*f_c，梯度直方图的维度为1*f_h，第i个超像素特征的总维度为1*(f_c+f_h)，逐一计算每个超像素的颜色直方图与梯度直方图，得到维度为N_j*(f_c+f_h)的特征矩阵W，每一行W_i代表第i个超像素的特征；根据先验知识，初始化每一个超像素的类别标记，构建类别标记列向量L，其中每一个元素L_i代表第i个超像素的类别，L_i与超像素块sp_i的关系可表式为：

本实施例中，颜色直方图为统计超像素块内的颜色分布概率，梯度值方图为统计超像素块内的梯度方向概率；

1.3）、利用特征矩阵W与类别标记列向量L来初始化尺度j下的样本池，并用来训练第j个尺度下的Adaboost分类器H^j，即完成第j个尺度下的判别式表观模型建模；

1.4）d种尺度下的超像素块均通过步骤1.2）和步骤1.3）的方法建立表观模型，即可得到d个尺度的表观模型

；

2）、融合多尺度超像素的在线目标跟踪：

2.1）、初始化目标类别跟踪模板；

定义一个基于类别标记的跟踪模板，在第一帧提取以目标质心为中心，包括运动目标的最小外接矩形区域，对该区域中坐标为(m,n)的像素点pixel(m,n)的类别进行标记，该标记与其所属的超像素一致，其标记结果b(m,n)表示为：

则基于类别标记的目标模板的每一维可以表示为：

${\hat{q}}_u=C\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}k\left({\left|\right|x_{m,n}^{*}\left|\right|}^2\right)\mathrm{\δ}[b(m,n)-u]$

其中，

为该像素点与目标中心的距离，

为关于

的权重函数，u是遍历b(m,n)可能的取值1或-1，C是根据

推导得到的常数，C的计算公式为：

$C=\frac{1}{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}k\left({\left|\right|x_{m,n}^{*}\left|\right|}^2\right)}$

2.2）、对目标模板在线跟踪获取目标质心和大小：

当第g,g＝2,3,…M帧I_g到来时，以上一帧图像I_g-1的目标位置(x_g-1,y_g-1)为中心，提取长度和宽度为(h,w)的矩形区域S_g，其中(h,w)满足h＝1.5*h_g-1,w＝1.5*w_g-1，对区域S_g内进行d种尺度的超像素分割，通过步骤（1.2）的方法得到d组特征矩阵，将特征矩阵通过其对应的表观模型，则可以得到尺度j下第i个超像素块的类别，记为

其中H^j为第j个尺度的表观模型，W_i ^j为当前帧中尺度j下第i个超像素块的特征矩阵，test(H^j,W_i ^j)为H^j对W_i ^j的类别判断结果；

区域S_g中坐标为(m,n)的像素点pixel(m,n)同时属于d个不同尺度的超像素块，那么像素点pixel(m,n)属于目标的类别标记则由d个不同尺度的表观模型投票表决而得，即为：

$\mathrm{label}\left(\mathrm{pixel}(m,n)\right)=\mathrm{sign}\left[{\mathrm{\Σ}}_{j=1}^d{h}_{*}^j\right]$

由于像素点pixel(m,n)在不同尺度下可能属于序号不同的超像素块，因此，用表示尺度j下该像素点所属的超像素块的索引号，通过逐一判断区域S_g内的所有像素点的属性，生成置信图，再根据置信图以及目标模板

使用meanshift算法搜索得到第g帧最优的目标质心(x_g,y_g)与高度、宽度(h_g,w_g)；

3）、在线更新表观模型：

3.1）、通过跟踪目标质心(x_g,y_g)的高度、宽度(h_g,w_g)结果分别更新不同尺度的表观模型；

在尺度j下，有N_j个超像素块，通过对每个超像素块中所有像素点的坐标值取均值，从而计算出每个超像素块的中心位置{mx(i),my(i)}，再结合跟踪结果逐一判断是否属于以目标质心(x_g,y_g)为中心，以高度为h_g，宽度为w_g的矩形区域，将属于矩形区域内的标记为1，不属于矩形区域内的标记为-1，从而得到修正后的标记结果LC，其中LC的每个元素LC_i表示修正后第i个超像素块的属性，LC_i与(x_g,y_g)、(h_g,w_g)、{mx(i),my(i)}的关系表达式为：

3.2）、根据新样本库完成表观模型的在线更新；

将新的特征样本放入样本池中，设置样本池的容量为BUFF，当样本池的总量超过容量BUFF时，最先放入样本池的样本将会被替换，再根据新样本库更新Adaboost分类器，进而完成该尺度下表观模型的在线更新；

3.3）、根据步骤3.1）和步骤3.2）所述的方法更新d中尺度下的表观模型。

图2是多组运动序列上三种跟踪方法的跟踪误差曲线图。

表1是多组运动序列不同跟踪方法的跟踪误差表。

本实施例中，如图2所示，我们在多组参数、多组运动序列上做比较实验，为了方便定量地比较，定义如下跟踪误差tracking err：

$\mathrm{error}\left(i\right)=\sqrt{{(x\left(i\right)-x_r\left(i\right))}^2+{(y\left(i\right)-y_r\left(i\right))}^2}$

[x(i),y(i)]为第i帧图像跟踪结果的横纵坐标，[x_r(i),y_r(i)]为第i帧图像目标真实位置的横纵坐标，其中，横轴为视频序列的帧数，纵轴为目标位置与真实位置之间的跟踪误差，表1为多序列下的多种方法的平均误差比较，主要是针对以下三种情况。

序列	bird2	basketball	ex-sports	two faces
					MSDT	8	7	24	7
SPT	12	6	67	23
					TLD	----	---	---	9

表1

非刚体大幅度形变：在basketball和bird2序列中，从开始到结束都存在非刚体目标大幅度形变情况，在basketball序列中，不仅存在非刚体目标大幅度形变情况，还存在复杂背景的情况，由于TLD算法通过跟踪和检测两种方法确定目标位置，存在干扰过多的问题，所以不能正确跟踪basketball序列，然而，MSDT算法和SPT算法仍能正确跟踪；

目标快速移动：在ex-sports序列中，都存在目标快速移动的情况，尤其是在ex-sports序列中，在目标开始运动速度较慢时，即当帧数为0～75帧，三种算法都能够有效地跟踪目标，然而，当目标在滑板上快速运动以后，即当帧数为75以后，TLD算法、SPT算法逐渐丢失目标，MSDT算法却仍然能够准确的标记出目标区域；

目标部分或者严重遮挡：在two faces序列中，都存在目标部分或者严重遮挡情况，在two faces序列中，当发生严重遮挡且遮挡物与目标特征比较相似时，即当帧数为176以后，SPT算法的跟踪误差急剧上升，TLD算法也产生了较大的误差。

图3是多组参数下的多尺度超像素跟踪误差曲线图。

图4是多组参数下的单尺度超像素跟踪误差曲线图。

表2是多组参数不同跟踪方法的跟踪误差表。

本实施例中，lemming序列图像前400帧中，目标在310帧开始发生遮挡，在330帧开始严重遮挡，在370帧目标重现。如图3所示，多尺度超像素跟踪MSDT_m在3尺度下做了四组参数的比对，尺度1、2、3分别为200、400、600个超像素、尺度1、2、3分别为100、200、300个超像素、尺度1、2、3分别为100、200、400个超像素、尺度1、2、3分别为100、300、500个超像素。四组参数下，本方法都可以在370帧及其以后正确跟踪目标，且从表2中可以看出，跟踪误差均值小于13。如图4所示，单尺度超像素跟踪MSDT_s在单尺度下做了四组参数的比对，分别200个超像素、100个超像素、300个超像素、400个超像素，其中200个超像素情况下，可以在370帧及其以后正确跟踪目标，跟踪误差为10个像素，其它三种情况下跟踪误差在370帧以后，丢失目标。

	尺度1	尺度2	尺度3	跟踪误差（pixel）
					MSPT_m	200	400	600	10
MSPT_m	100	200	300	12
					MSPT_m	100	300	500	12
MSPT_m	100	200	400	12
					MSPT_s	100	----	----	29
MSPT_s	200	----	----	10
					MSPT_s	300	----	----	16
MSPT_s	400	----	----	24

表2

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种融合多尺度超像素的目标跟踪方法，其特征在于，包括以下步骤：

（1）、构建基于超像素的判别式表观模型：

（1.1）、获取超像素块；在给定的目标跟踪样本序列I₁,I₂,I₃,…I_M中,M为样本序列的帧数，对第一帧图像I₁，以(x₁,y₁)为中心，提取包含目标的高度为h和宽度为w的矩形区域S₁，其中，h和w与目标的尺寸h₁、w₁的比例关系为：h＝1.5*h₁,w＝1.5*w₁，通过SLIC算法对区域S₁进行d种尺度的超像素分割，其中d为尺度的总层数,每一层有N_j个超像素块sp_i，i＝1,2,N_j,j＝1,2,…d；

（1.2）、对于第j个尺度来说，提取N_j个超像素块sp_i的颜色直方图与梯度直方图，按行排列组成特征矩阵W；

设颜色直方图的维度为1*f_c，梯度直方图的维度为1*f_h，第i个超像素特征的总维度为1*(f_c+f_h)，逐一计算每个超像素的颜色直方图与梯度直方图，得到维度为N_j*(f_c+f_h)的特征矩阵W，每一行W_i代表第i个超像素的特征；根据先验知识，初始化每一个超像素的类别标记，构建类别标记列向量L，其中每一个元素L_i代表第i个超像素的类别，L_i与超像素块sp_i的关系可表式为：

（1.3）、利用特征矩阵W与类别标记列向量L来初始化尺度j下的样本池，并用来训练第j个尺度下的Adaboost分类器H^j，即完成第j个尺度下的判别式表观模型建模；

（1.4）d种尺度下的超像素块均通过步骤（1.2）和步骤（1.3）的方法建立表观模型，即可得到d个尺度的表观模型

（2）、融合多尺度超像素的在线目标跟踪：

（2.1）、初始化目标类别跟踪模板；

定义一个基于类别标记的跟踪模板，在第一帧提取以目标质心为中心，包括运动目标的最小外接矩形区域，对该区域中坐标为(m,n)的像素点pixel(m,n)的类别进行标记，该标记与其所属的超像素一致，其标记结果b(m,n)表示为：

则基于类别标记的目标模板

的每一维可以表示为：

${\hat{q}}_u=C\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}k\left({\left|\right|x_{m,n}^{*}\left|\right|}^2\right)\mathrm{\δ}[b(m,n)-u]$

其中，

为该像素点与目标中心的距离，

为关于

的权重函数，u是遍历b(m,n)可能的取值1或-1，C是根据

推导得到的常数，C的计算公式为：

$C=\frac{1}{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}k\left({\left|\right|x_{m,n}^{*}\left|\right|}^2\right)}$

（2.2）、对目标模板在线跟踪获取目标质心和大小：

当第g,g＝2,3,M…帧I_g到来时，以上一帧图像I_g-1的目标位置(x_g-1,y_g-1)为中心，提取长度和宽度为(h,w)的矩形区域S_g，其中(h,w)满足h＝1.5*h_g-1,w＝1.5*w_g-1，对区域S_g内进行d种尺度的超像素分割，通过步骤（1.2）的方法得到d组特征矩阵，将特征矩阵通过其对应的表观模型，则可以得到尺度j下第i个超像素块的类别，记为，其中H^j为第j个尺度的表观模型，W_i ^j为当前帧中尺度j下第i个超像素块的特征矩阵，test(H^j,W_i ^j)为H^j对W_i ^j的类别判断结果；

区域S_g中坐标为(m,n)的像素点pixel(m,n)同时属于d个不同尺度的超像素块，那么像素点pixel(m,n)属于目标的类别标记则由d个不同尺度的表观模型投票表决而得，即为：

$\mathrm{label}\left(\mathrm{pixel}(m,n)\right)=\mathrm{sign}\left[{\mathrm{\Σ}}_{j=1}^d{h}_{*}^j\right]$

由于像素点pixel(m,n)在不同尺度下可能属于序号不同的超像素块，因此，用

表示尺度j下该像素点所属的超像素块的索引号，通过逐一判断区域S_g内的所有像素点的属性，生成置信图，再根据置信图以及目标模板

使用meanshift算法搜索得到第g帧最优的目标质心(x_g,y_g)与高度、宽度(h_g,w_g)；

（3）、在线更新表观模型：

（3.1）、通过跟踪目标质心(x_g,y_g)的高度、宽度(h_g,w_g)结果分别更新不同尺度的表观模型；

在尺度j下，有N_j个超像素块，通过对每个超像素块中所有像素点的坐标值取均值，从而计算出每个超像素块的中心位置{mx(i),my(i)}，再结合跟踪结果逐一判断是否属于以目标质心(x_g,y_g)为中心，以高度为h_g，宽度为w_g的矩形区域，将属于矩形区域内的标记为1，不属于矩形区域内的标记为-1，从而得到修正后的标记结果LC，其中LC的每个元素LC_i表示修正后第i个超像素块的属性，LC_i与(x_g,y_g)、(h_g,w_g)、{mx(i),my(i)}的关系表达式为：

（3.2）、根据新样本库完成表观模型的在线更新；

将新的特征样本放入样本池中，设置样本池的容量为BUFF，当样本池的总量超过容量BUFF时，最先放入样本池的样本将会被替换，再根据新样本库更新Adaboost分类器，进而完成该尺度下表观模型的在线更新；

（3.3）、根据步骤（3.1）和步骤（3.2）所述的方法更新d中尺度下的表观模型。

2.根据权利要求1所述的融合多尺度超像素的目标跟踪方法，其特征在于，所述的尺度层数d＝3，分别对应的超像素个数为：N₁＝200,N₂＝400,N₃＝600。

Images