CN103810723B - 基于帧间约束超像素编码的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于帧间约束超像素编码的目标跟踪方法，主要解决当目标发生遮挡、快速运动、外观形变而导致跟踪失败的跟踪问题。本发明实现的步骤如下：（1）预处理第一帧图像；（2）构建初始字典；（3）样本编码；（4）训练分类器；（5）当前帧检测样本编码；（6）预测目标框位置；（7）更新字典；（8）精确样本编码；（9）升级分类器；（10）判断是否为最后一帧图像，若是，则结束，否则，返回步骤（5）处理下一帧图像。本发明采用超像素分割和约束编码的方法，降低了图像处理后续任务的复杂度，确保了图像空间信息一致性原则，保留了图像局部边界信息和纹理信息的一致性，能够稳定准确地跟踪目标。

Description

基于帧间约束超像素编码的目标跟踪方法

技术领域

本发明属于图像处理技术领域，更进一步涉及计算机视觉技术领域中的一种基于帧间约束超像素编码的目标跟踪方法。本发明采用一种基于超像素分割的帧间约束编码估计方法实现运动目标跟踪，可用于监督视频监控的行为、对气象进行分析和天气进行预测。

背景技术

运动目标跟踪的主要任务是从视频图像序列中检测出待跟踪的运动目标，进而在每一帧图像中确定出运动目标的位置。随着人们对计算机视觉领域的不断深入认识，目标跟踪越来越成为该领域备受关注的技术之一，尽管目前已经有大量的算法来实现运动目标跟踪，但由于外观形变、光照变化、遮挡、背景杂乱、视角变化等因素的影响，使得实时准确地跟踪目标仍然存在大量困难。

近年来，超像素分割逐渐成为计算机视觉领域流行的图像处理方法。超像素不同于以往的像素概念，它是比像素略大的像素块，并且这些块的边界与图像中的纹理信息是一致的，可以看作是一种图像的过分割。它能够捕获图像的冗余信息，从而大大降低图像处理后续任务的复杂度。另外，在稀疏表示、压缩感知的基础上，稀疏编码等方法被人们广泛应用到目标跟踪中，稀疏编码模型通过对过完备字典中基原子进行线性组合来重构输入特征描述子。在这些方法中，目标被表示成模板系数的线性组合，并且这些组合系数是稀疏的，即只有少数系数是非零值。

南京信息工程大学提出的专利申请“一种多特征联合稀疏表示的目标跟踪方法”（专利申请号201310241910，公开号CN103295242A）公开了一种基于特征联合稀疏表示实现目标跟踪的方法。该方法实现的具体步骤是，首先，跟踪视频序列的前n帧构建初始字典；其次，对目标模板进行分块处理，抽选出候选粒子并提取目标特征，确定图像特征数和块的类别数；然后，对候选粒子的特征进行核化处理，将候选样本用字典中所有块进行稀疏表示；最后，对候选样本进行核扩展，求解上述稀疏问题得到稀疏系数，计算块的残差并更新模板库。该方法存在的不足是，通过对目标模板按照预先设定的尺寸大小及步长进行分块构建字典，可能会破坏图像的局部完整性和纹理信息的一致性，构建的字典无法准确地重构样本特征，从而无法实现长期地、准确有效地跟踪。

浙江大学提出的专利申请“基于超像素和图模型的粘连人群分割与跟踪方法”（专利申请号201310090086，公开号CN103164858A）公开了一种用超像素和图模型实现人群中目标跟踪的方法。该方法实现的具体步骤是，首先，对输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景；其次，对运动前景进行超像素预分割获取前景超像素分割图；最后，根据人体先验形状信息和颜色信息在前景分割图上构建一个加权图模型，通过寻找最优路径找到粘连目标之间的最佳分割边界。该方法存在的不足是，通过人体先验形状信息和颜色信息构建加权图模型，虽然可以解决一些背景杂乱、目标漂移情况下的跟踪，但当目标形变较大、光照变化、模糊、遮挡时，很容易丢失视频图像的空间位置信息，难以实现准确有效地跟踪。

发明内容

本发明针对现有技术的不足，提出一种基于帧间约束超像素编码的目标跟踪方法，以实现当目标快速运动、遮挡、外观剧烈变化时对目标进行准确、有效地跟踪。

为实现上述目的，本发明的具体步骤如下：

（1）预处理第一帧图像：

（1a）输入一段待跟踪视频图像序列中的第一帧图像，将第一帧图像作为当前帧图像；

（1b）在当前帧图像中将待跟踪目标用矩形框标出，将矩形框的位置作为待跟踪目标的初始位置；

（1c）提取当前帧图像中所有像素点的颜色模型Lab特征描述子；

（2）构建初始字典：

（2a）采用Turbopixels方法，将当前帧图像分割成为超像素块；

（2b）对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，将该平均值作为每个超像素块的颜色模型Lab特征描述子；

（2c）采用k均值聚类的方法，将每个超像素块的颜色模型Lab特征描述子进行聚类，得到初始字典；

（3）样本编码：

（3a）在当前帧图像中，以待跟踪目标的初始位置为中心，取出与待跟踪目标的初始位置大小相同的多个矩形框，将这些矩形框作为样本；

（3b）提取样本中超像素块的颜色模型Lab特征描述子；

（3c）按照下式，计算样本的编码：

$\underset{c_i^t}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B^t{c}_i^t\left|\right|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示样本的编码，i表示样本的第i个超像素块，t表示当前正在处理图像的帧序号，N表示样本中超像素块的总个数，表示超像素块的颜色模型Lab特征描述子，B^t表示初始字典，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

（4）训练分类器：

（4a）采用交叉验证的方法，由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器；

（5）当前帧检测样本编码：

（5a）载入待跟踪视频图像序列中下一帧，作为当前帧图像，按照Turbopixels方法，获得当前帧图像超像素块，对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，得到每个超像素块的颜色模型Lab特征描述子；

（5b）在当前帧图像中，以上一帧待跟踪目标的位置为中心获取多个检测样本，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为检测样本；

（5c）提取检测样本中超像素块的颜色模型Lab特征描述子；

（5d）按照下式，计算检测样本的预测编码：

$\underset{c_i^{t^{\′}}}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^{t-1}{c}_i^{t^{\′}}\left|\right|}^2$

$s.t.A^T{c}_i^{t^{\′}}=1,\∀i$

其中，表示检测样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示上一帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

（5e）按照下式，计算检测样本的上一帧约束编码：

$c_i^{t-1}=\underset{\∂i}{\arg \min }\left|\right|c_i^{t^{\′}}-c_{\∂i}^{t-1}\left|\right|$

其中，表示检测样本的检测样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示检测样本的预测编码，表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码；||·||表示求一范数操作，argmin(·)表示选取最小值操作；

（5f）按照下式，计算检测样本的编码：

$\underset{c_i^t}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^{t-1}{c}_i^t\left|\right|}^2+\mathrm{\λ}{\left|\right|c_i^{t-1}-c_i^t\left|\right|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示检测样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，表示上一帧字典，表示检测样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

（6）预测目标框位置：

用当前帧图像的上一帧图像训练的分类器，对当前帧检测样本的编码进行分类预测，得到当前帧图像的检测样本的决策值，选出最大决策值的检测样本在当前帧图像中的位置，将该位置作为当前帧图像中待跟踪目标的位置；

（7）更新字典：

（7a）采用k均值聚类方法，将当前帧图像中超像素的颜色模型Lab特征描述子聚类到上一帧字典，得到修正聚类中心，按照下式，计算当前帧字典：

$B^t=\mathrm{\α}{B}^{t-1}+(1-\mathrm{\α})B^{t^{\′}}$

其中，B^t表示当前帧字典，α表示权值系数，α的取值范围为0.85～1，B^t-1表示上一帧字典，表示修正聚类中心；

（8）精确样本编码：

（8a）在当前帧图像中，以当前帧图像中待跟踪目标的位置为中心，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为精确样本；

（8b）提取精确样本中超像素的颜色模型Lab特征描述子；

（8c）按照下式，计算精确样本的预测编码：

$\underset{c_i^{t^{\′}}}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^t{c}_i^{t^{\′}}\left|\right|}^2$

$s.t.A^T{c}_i^{t^{\′}}=1,\∀i$

其中，表示精确样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示当前帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

（8d）按照下式，计算精确样本的上一帧约束编码：

$c_i^{t-1}=\underset{\∂i}{\arg \min }\left|\right|c_i^{t^{\′}}-c_{\∂i}^{t-1}\left|\right|$

其中，表示精确样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示精确样本的预测编码，表示精确样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示精确样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码，||·||表示求一范数操作，argmin(·)表示选取最小值操作；

（8e）按照下式，计算精确样本的编码：

$\underset{c_i^t}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^t{c}_i^t\left|\right|}^2+\mathrm{\λ}{\left|\right|c_i^{t-1}-c_i^t\left|\right|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示精确样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，B^t表示当前帧字典，表示精确样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

（9）升级分类器：

（9a）采用交叉验证的方法，由精确样本的类别及编码训练出本帧修正分类器；

（9b）按照下式，计算当前帧分类器：

$w^t={\mathrm{\βw}}^{t-1}+(1-\mathrm{\β})w^{t^{\′}}$

其中，w^t表示当前帧分类器，β是更新系数，β的取值范围为0.8～1，w^t-1表示上一帧分类器，表示本帧修正分类器；

（10）判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像，若是，执行步骤（11）；否则，执行步骤（5）；

（11）结束。

本发明与现有的技术相比具有以下优点：

第一，由于本发明采用将视频图像分割成超像素块的方法，克服了现有技术中可能会破坏图像局部完整性和纹理信息的一致性而导致跟踪失败的缺点，使得本发明减少了图像的冗余；降低了图像后续处理的复杂度，提高了跟踪效率。

第二，由于本发明采用上一帧约束编码的方法，有效地克服了现有技术因丢失视频图像的空间位置信息导致跟踪失败的缺点，使得本发明巧妙地将超像素融合到编码过程中，保留了空间位置信息，提高了跟踪效率。

第三，由于本发明在跟踪过程中不断更新字典和升级分类器，有效地克服了现有技术重构样本特征不够准确的缺点，使得本发明提高了分类器的识别能力；能够更加稳定地实现目标跟踪。

附图说明

图1为本发明的流程图；

图2为在输入的第一帧视频图像中用矩形框框出待跟踪目标的示意图；

图3为输入的第一帧视频图像分割成超像素块的示意图；

图4为输入当目标发生遮挡时的一帧视频图像；

图5为输入当目标发生遮挡时的一帧视频图像的跟踪结果示意图；

图6为输入当目标发生明显外观形变时的一帧视频图像；

图7为输入当目标发生明显外观形变时的一帧视频图像跟踪结果示意图。

具体实施方式

下面结合附图对本发明做进一步的描述。

结合附图1中，实现本发明的具体步骤如下：

步骤1，预处理第一帧图像。

输入一段待跟踪视频图像序列中的第一帧图像。

在第一帧图像中将待跟踪目标用矩形框标出，将矩形框的位置作为待跟踪目标的初始位置。本发明的实施例中，所输入的一段待跟踪视频图像序列的第一帧图像如图2所示。图2为一段小女孩玩滑板的视频图像序列的第一帧图像，图2中矩形框的位置表示待跟踪目标的初始位置；提取第一帧图像中所有像素点的颜色模型Lab特征描述子。

步骤2，构建初始字典。

采用Turbopixels方法，将第一帧图像分割成为超像素块，如图3所示。图3为将图2分割成为超像素块的示意图，Turbopixels方法的具体步骤如下：

第一步，在一段待跟踪视频图像序列中的当前帧图像中，取出等间距的像素点，将这些像素点作为初始种子点；

第二步，膨胀初始种子点，进行边界增长；

第三步，当相邻两个不同的种子点膨胀到即将碰撞时停止边界增长，获得此时生成的边界将当前帧图像分割成超像素块。

对第一帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，得到每个超像素块的颜色模型Lab特征描述子。

采用k均值聚类的方法，将每个超像素块的颜色模型Lab特征描述子进行聚类，得到初始字典。k均值聚类方法的具体步骤如下：

从帧图像的所有超像素块的颜色模型Lab特征描述子中，任意选取300个超像素块的颜色模型Lab特征描述子作为聚类的初始中心，通过迭代，逐次更新各个聚类的初始中心，得到新的聚类中心，直至这些新的聚类中心收敛，得到最好的聚类中心，将最好的聚类中心作为初始字典。

步骤3，样本编码。

在第一帧图像中，以待跟踪目标的初始位置为中心，取出与待跟踪目标的初始位置大小相同的多个矩形框，将这些矩形框作为样本，样本中包含正样本和负样本；提取样本中超像素块的颜色模型Lab特征描述子。

按照下式，计算样本的编码：

$\underset{c_i^t}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B^t{c}_i^t\left|\right|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示样本的编码，i表示样本的第i个超像素块，t表示当前正在处理图像的帧序号，N表示样本中超像素块的总个数，表示超像素块的颜色模型Lab特征描述子，B^t表示初始字典，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数。

步骤4，训练分类器。

采用交叉验证的方法，由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器。交叉验证方法的具体步骤如下：

第一步，将样本中正样本和负样本作为训练集。

第二步，将训练集划分为相同大小的几个子集。

第三步，将其中一个子集作为测试集，其它子集作为训练集训练分类器。

步骤5，当前帧检测样本编码。

载入待跟踪视频图像序列中下一帧，作为当前帧图像，图4为待跟踪视频图像序列中目标发生遮挡时的一帧视频图像，图6为待跟踪视频图像序列中目标发生明显外观形变时的一帧视频图像，按照Turbopixels方法，获得当前帧图像超像素块，对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，得到每个超像素块的颜色模型Lab特征描述子。

Turbopixels方法的具体步骤如下：

第一步，在当前帧图像中，取出等间距的像素点，将这些像素点作为初始种子点；

第二步，膨胀初始种子点，进行边界增长；

第三步，当相邻两个不同的种子点膨胀到即将碰撞时停止边界增长，获得此时生成的边界将当前帧图像分割成超像素块。

在当前帧图像中，以上一帧待跟踪目标的位置为中心获取多个检测样本，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为检测样本；提取检测样本中超像素块的Lab特征描述子。

计算检测样本的编码的具体步骤如下：

第一步，按照下式，计算检测样本的预测编码：

$\underset{c_i^{t^{\′}}}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^{t-1}{c}_i^{t^{\′}}\left|\right|}^2$

$s.t.A^T{c}_i^{t^{\′}}=1,\∀i$

其中，表示检测样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示上一帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数。

第二步，按照下式，计算检测样本的上一帧约束编码：

$c_i^{t-1}=\underset{\∂i}{\arg \min }\left|\right|c_i^{t^{\′}}-c_{\∂i}^{t-1}\left|\right|$

其中，表示检测样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示检测样本的预测编码，表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码；||·||表示求一范数操作，argmin(·)表示选取最小值操作。

第三步，按照下式，计算检测样本的编码：

$\underset{c_i^t}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^{t-1}{c}_i^t\left|\right|}^2+\mathrm{\λ}{\left|\right|c_i^{t-1}-c_i^t\left|\right|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示检测样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，表示上一帧字典，表示检测样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数。

步骤6，预测目标框位置。

由当前帧图像的上一帧图像训练的分类器，对当前帧检测样本的编码进行分类预测，选出最大决策值的检测样本在当前帧图像中的位置，将该位置作为当前帧图像中待跟踪目标的位置，如图5和图7所示，图5中矩形框的位置是待跟踪视频图像序列中目标发生遮挡时的一帧视频图像中待跟踪目标的位置，图7中矩形框的位置是待跟踪视频图像序列中目标发生明显外观形变时的一帧视频图像中待跟踪目标的位置。

步骤7，更新字典。

采用k均值聚类方法，由当前帧图像中超像素的颜色模型Lab特征描述子和上一帧字典，得到修正聚类中心，k均值聚类方法的具体步骤如下：

第一步，将上一帧字典作为聚类的初始中心。

第二步，将当前帧图像中超像素的颜色模型Lab特征描述子聚类到初始中心。

第三步，通过迭代，逐次更新聚类的初始中心，得到新的聚类中心，直至这些新的聚类中心收敛，得到最好的聚类中心，将最好的聚类中心作为修正聚类中心。

按照下式，计算当前帧字典：

$B^t=\mathrm{\α}{B}^{t-1}+(1-\mathrm{\α})B^{t^{\′}}$

其中，Bt表示当前帧字典，α表示权值系数，取值范围为0.85～1，B^t-1表示上一帧字典，表示修正聚类中心。

步骤8，精确样本编码。

在当前帧图像中，以当前帧图像中待跟踪目标的位置为中心，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为精确样本；提取精确样本中超像素的颜色模型Lab特征描述子。

计算精确样本的编码的具体步骤如下：

第一步，按照下式，计算精确样本的预测编码：

$\underset{c_i^{t^{\′}}}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^t{c}_i^{t^{\′}}\left|\right|}^2$

$s.t.A^T{c}_i^{t^{\′}}=1,\∀i$

其中，表示精确样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示当前帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数。

第二步，按照下式，计算精确样本的上一帧约束编码：

$c_i^{t-1}=\underset{\∂i}{\arg \min }\left|\right|c_i^{t^{\′}}-c_{\∂i}^{t-1}\left|\right|$

其中，表示精确样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示检测样本的预测编码，表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码；||·||表示求一范数操作，argmin(·)表示选取最小值操作。

第三步，按照下式，计算精确样本的编码：

$\underset{c_i^t}{\min }{\mathrm{\Σ}}_{i=1}^N{\left|\right|x_i^t-B_i^t{c}_i^t\left|\right|}^2+\mathrm{\λ}{\left|\right|c_i^{t-1}-c_i^t\left|\right|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示精确样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，B^t表示当前帧字典，表示精确样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数。

步骤9，升级分类器。

采用交叉验证的方法，由精确样本的类别及编码训练出本帧修正分类器，交叉验证方法的具体步骤如下：

第一步，将样本中正样本和负样本作为训练集。

第二步，将训练集划分为相同大小的几个子集。

第三步，将其中一个子集作为测试集，其它子集作为训练集训练分类器。

按照下式，计算当前帧分类器：

$w^t={\mathrm{\βw}}^{t-1}+(1-\mathrm{\β})w^{t^{\′}}$

其中，w^t表示当前帧分类器，β是更新系数，取值范围为0.8～1，w^t-1表示上一帧分类器，表示本帧修正分类器。

步骤10，判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像，若是，执

行步骤11；否则，返回步骤5。

步骤11，结束。

下面结合附图4、附图5、附图6和附图7对本发明的效果做进一步说明。

1.仿真实验条件：

本发明的硬件测试平台是：处理器为CPU intel Core i5-3470，主频为3.2GHz，内存4GB；软件平台为：Windows7旗舰版，32位操作系统，MATLAB R2011b；本发明仿真实验所用数据是一段小女孩玩滑板的视频图像序列，该视频图像序列共有1500帧视频图像。

2.仿真内容：

第一，载入待跟踪视频图像序列中一帧视频图像如图4，该图像中目标有部分遮挡，将该图像分割成为超像素块，提取超像素块的特征，获取检测样本，对检测样本中超像素块编码，用上一帧训练的分类器对检测样本编码进行分类预测，由预测结果估计出该图像中待跟踪目标的跟踪位置，跟踪结果如图5所示，图5中矩形框的位置是待跟踪视频图像序列中目标发生部分遮挡时的一帧视频图像中待跟踪目标的位置，由得到的该图像中目标的跟踪位置，更新字典和分类器，为下一帧图像处理做准备。

第二，载入待跟踪视频图像序列中一帧视频图像如图6，该图像中背景杂乱，目标有明显外观形变，将该图像分割成为超像素块，提取超像素块的特征，获取检测样本，对检测样本中超像素块编码，用上一帧训练的分类器对检测样本编码进行分类预测，由预测结果估计出该图像中待跟踪目标的跟踪位置，跟踪结果如图7所示，图7中矩形框的位置是待跟踪视频图像序列中目标发生明显外观形变时的一帧视频图像中待跟踪目标的位置，由得到的该图像中目标的跟踪位置，更新字典和分类器，为下一帧图像处理做准备。

3.仿真结果分析：

在图5和图7中，矩形框的位置表示本发明跟踪到的待跟踪视频图像序列中待跟踪目标的位置。由图5和图7可以看出，矩形框准确地框定了目标，说明本发明能够在图像背景杂乱、目标遮挡、目标外观形变的情况下实现准确、有效地目标跟踪。

Claims (4)

1.一种基于帧间约束超像素编码的目标跟踪方法，包括如下步骤：

(1)预处理第一帧图像：

(1a)输入一段待跟踪视频图像序列中的第一帧图像，将第一帧图像作为当前帧图像；

(1b)在当前帧图像中将待跟踪目标用矩形框标出，将矩形框的位置作为待跟踪目标的初始位置；

(1c)提取当前帧图像中所有像素点的颜色模型Lab特征描述子；

(2)构建初始字典：

(2a)采用Turbopixels方法，将当前帧图像分割成为超像素块；

(2b)对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，将该平均值作为每个超像素块的颜色模型Lab特征描述子；

(2c)采用k均值聚类的方法，将每个超像素块的颜色模型Lab特征描述子进行聚类，得到初始字典；

(3)样本编码：

(3a)在当前帧图像中，以待跟踪目标的初始位置为中心，取出与待跟踪目标的初始位置大小相同的多个矩形框，将这些矩形框作为样本；

(3b)提取样本中超像素块的颜色模型Lab特征描述子；

(3c)按照下式，计算样本的编码：

$\underset{c_i^t}{min}{\mathrm{\Σ}}_{i=1}^N\left|\right|x_i^t-B^t{c}_i^t|{|}^2$

$s.t.A^T{c}_i^t=1,\∀i$

其中，表示样本的编码，i表示样本的第i个超像素块，t表示当前正在处理图像的帧序号，N表示样本中超像素块的总个数，表示超像素块的颜色模型Lab特征描述子，B^t表示初始字典，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

(4)训练分类器：

(4a)采用交叉验证的方法，由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器；

(5)当前帧检测样本编码：

(5a)载入待跟踪视频图像序列中下一帧，作为当前帧图像，按照Turbopixels方法，获得当前帧图像超像素块，对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，得到每个超像素块的颜色模型Lab特征描述子；

(5b)在当前帧图像中，以上一帧待跟踪目标的位置为中心获取多个检测样本，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为检测样本；

(5c)提取检测样本中超像素块的颜色模型Lab特征描述子；

(5d)按照下式，计算检测样本的预测编码：

$\underset{p_t^{t^{\′}}}{min}{\mathrm{\Σ}}_{i=1}^N\left|\right|x_i^t-B_i^{t-1}{p}_i^{t^{\′}}|{|}^2$

$s.t.A^T{p}_i^{t^{\′}}=1,\∀i$

其中，表示检测样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示上一帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

(5e)按照下式，计算检测样本的上一帧约束编码：

$p_i^{t-1}=\underset{\∂i}{\mathrm{argmin}}\left|\right|p_i^{t^{\′}}-p_{\∂i}^{t-1}\left|\right|$

其中，表示检测样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示检测样本的预测编码，表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码；||·||表示求一范数操作，argmin(·)表示选取最小值操作；

(5f)按照下式，计算检测样本的编码：

$\underset{p_i^t}{min}{\mathrm{\Σ}}_{i=1}^N\left|\right|x_i^t-B_i^{t-1}{p}_i^t|{|}^2+\mathrm{\λ}||p_i^{t-1}-p_i^t|{|}^2$

$s.t.A^T{p}_i^t=1,\∀i$

其中，表示检测样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，表示上一帧字典，表示检测样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

(6)预测目标框位置：

用当前帧图像的上一帧图像训练的分类器，对当前帧检测样本的编码进行分类预测，得到当前帧图像的检测样本的决策值，选出最大决策值的检测样本在当前帧图像中的位置，将该位置作为当前帧图像中待跟踪目标的位置；

(7)更新字典：

(7a)采用k均值聚类方法，将当前帧图像中超像素的颜色模型Lab特征描述子聚类到上一帧字典，得到修正聚类中心，按照下式，计算当前帧字典：

B^t＝αB^t-1+(1-α)B^t'

其中，B^t表示当前帧字典，α表示权值系数，α的取值范围为0.85～1，B^t-1表示上一帧字典，B^t'表示修正聚类中心；

(8)精确样本编码：

(8a)在当前帧图像中，以当前帧图像中待跟踪目标的位置为中心，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为精确样本；

(8b)提取精确样本中超像素的颜色模型Lab特征描述子；

(8c)按照下式，计算精确样本的预测编码：

$\underset{q_i^{t^{\′}}}{min}{\mathrm{\Σ}}_{i=1}^N\left|\right|x_i^t-B_i^t{q}_i^{t^{\′}}|{|}^2$

$s.t.A^T{q}_i^{t^{\′}}=1,\∀i$

其中，表示精确样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示当前帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

(8d)按照下式，计算精确样本的上一帧约束编码：

$q_i^{t-1}=\underset{\∂i}{\mathrm{argmin}}\left|\right|q_i^{t^{\′}}-q_{\∂i}^{t-1}\left|\right|$

其中，表示精确样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示精确样本的预测编码，表示精确样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示精确样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码，||·||表示求一范数操作，argmin(·)表示选取最小值操作；

(8e)按照下式，计算精确样本的编码：

$\underset{q_i^t}{min}{\mathrm{\Σ}}_{i=1}^N\left|\right|x_i^t-B_i^t{q}_i^t|{|}^2+\mathrm{\λ}||q_i^{t-1}-q_i^t|{|}^2$

$s.t.A^T{q}_i^t=1,\∀i$

其中，表示精确样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，B^t表示当前帧字典，表示精确样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

(9)升级分类器：

(9a)采用交叉验证的方法，由精确样本的类别及编码训练出本帧修正分类器；

(9b)按照下式，计算当前帧分类器：

w^t＝βw^t-1+(1-β)w^t'

其中，w^t表示当前帧分类器，β是更新系数，β的取值范围为0.8～1，w^t-1表示上一帧分类器，w^t'表示本帧修正分类器；

(10)判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像，若是，执行步骤(11)；否则，执行步骤(5)；

(11)结束。

2.根据权利要求1所述的基于帧间约束超像素编码的目标跟踪方法，其特征在于，步骤(2a)和步骤(5a)中所述Turbopixels方法的具体步骤如下：

第一步，在一段待跟踪视频图像序列中的当前帧图像中，取出等间距的像素点，将这些像素点作为初始种子点；

第二步，膨胀初始种子点，进行边界增长；

第三步，当相邻两个不同的种子点膨胀到即将碰撞时停止边界增长，获得此时生成的边界将当前帧图像分割成超像素块。

3.根据权利要求1所述的基于帧间约束超像素编码的目标跟踪方法，其特征在于，步骤(2c)和步骤(7a)中所述k均值聚类方法的具体步骤如下：从一段待跟踪视频图像序列中的当前帧图像的所有超像素块的颜色模型Lab特征描述子中，任意选取300个超像素块的颜色模型Lab特征描述子作为聚类的初始中心，通过迭代，逐次更新各个聚类的初始中心，得到新的聚类中心，直至这些新的聚类中心收敛，得到最好的聚类中心，将最好的聚类中心作为初始字典。

4.根据权利要求1所述的基于帧间约束超像素编码的目标跟踪方法，其特征在于，步骤(4a)和步骤(9a)中所述交叉验证方法的具体步骤如下：

第一步，将样本中正样本和负样本作为训练集；

第二步，将训练集划分为相同大小的几个子集；

第三步，将其中一个子集作为测试集，其它子集作为训练集训练分类器。