CN103413120B - 基于物体整体性和局部性识别的跟踪方法 - Google Patents

Abstract

本发明公开了一种基于物体整体性和局部性识别的跟踪方法，基于局部性信息的识别把各候选区域进行超像素分割，根据物体局部表征的特征，为超像素赋予不同的权值，提出加权相似度量，计算各候选目标区域置信度。基于整体性的识别将物体性度量引入到当前帧的目标物体检测部分，选取色彩、边缘和超像素作为物体性度量的三个线索，给出各自的评分规则，结合这三个线索和基于局部性信息的识别计算置信度对扩展区域中的所有候选目标区域进行评分，根据评分确定目标区域。本发明方法可以较好地描述动态变化的跟踪场景中的目标物体，结合物体性度量使目标区域更好收敛于目标物体，减少背景出现在目标区域中，增强了跟踪的准确率和稳定性。

Description

基于物体整体性和局部性识别的跟踪方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及到一种基于物体整体性和局部性识别的跟踪方法。

背景技术

物体跟踪是计算机视觉领域的一个重要研究内容,近年来已引起人们的广泛关注,成为当前的研究热点。该技术具有广阔的应用前景,在多个领域起着重要作用,如安全监控、人机交互、医疗诊断和车辆流量监控等等。尽管人们已经提出了大量的物体跟踪方法,但在光照和物体外形变化较大或有严重遮挡的情况下,这些方法经常不能提供理想的跟踪结果,常无法追踪到目标物体。因此,提出一种有效的物体跟踪方法具有重要的应用价值和现实意义。

当前，虽然很多成功的物体跟踪算法已经被提出，但是要开发一个能处理复杂的、动态的场景的健壮算法仍然是一个具有挑战性的问题。因为光照发生变化、镜头发生移动、物体发生形变、目标物体发生部分或全部遮挡等等会导致场景的外观发生很大的变化。这些变化只能通过能够增量更新它们的表达的自适应方法进行处理。因此，能够不断学习的在线更新对跟踪物体表观的表达对于跟踪任务而言是很有必要的。基于局部性信息的识别把模板划分为若干部分，通过在线更新各部分的权值，根据各局部表征的相似度量，计算目标物体的位置。基于局部性信息的识别方法在目标物体发生局部遮挡或发生非刚性变化情况下的跟踪有不错的效果，然而，缺乏对目标物体整体性的识别，容易导致偏移和只识别目标物体的部分情况。

物体性度量在图像识别中广泛运用，以显著性、颜色、边缘和超像素等作为物体性度量的线索，并给出各自的评分规则，结合线索对感兴趣区域中所有检测窗口进行评分，根据评分确定最有可能覆盖目标的检测窗口。物体性度量使检测窗口能很好地收敛于标物体，既尽可能使检测窗口覆盖目标物体，又使得检测窗口中背景内容尽量少。

发明内容

为了克服现有技术的不足，本发明提出一种基于物体整体性和局部性识别的跟踪方法，该方法是在搜索机制中结合物体整体性和局部性识别，通过线性组合边缘密度、颜色对比度、超像素跨界程度和候选目标置信度，以其值确定目标区域位置，旨在增强搜索机制对确定目标区域的准确率和稳定性。

为了实现上述目的，本发明的技术方案为：

一种基于物体整体性和局部性识别的跟踪方法，包括以下步骤：

S1.跟踪前m帧图像，以第一帧目标区域为模板，计算新帧的候选目标区域与模板进行相似度量，以相似度最高的为新帧的目标区域，并记录每帧的目标区域；

S2.针对前m帧图像以其目标区域为中心向四周扩展得到扩展区域，超像素分割每个扩展区域，以超像素记录目标物体部件信息，作为物体的局部表征，提取各超像素的特征，并收集所有帧的特征构建特征池；

S3.基于特征池中的特征集来计算物体的局部表征的权值；

S4.设已完成前t帧图像的跟踪,t≥m，计算第t+1帧图像的扩展区域、候选目标区域、及其扩展区域内超像素的特征集，并根据特征池中与扩展区域内的超像素的相似度计算扩展区域内的物体局部表征的置信度；

S5.计算各候选目标区域的置信值、各候选目标区域边界附近的边缘密度、各候选目标区域与它直接相邻的包围区域的颜色对比度以及各候选目标区域的超像素跨界程度；

S6.结合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度计算当前帧的目标区域；

S7.更新特征池的特征集；

S8.若满足更新物体局部表征的权值条件，根据更新后的特征池内的物体局部表征的权值，实现其权值的更新；

S9.执行程序结束判断，当跟踪完所有帧，则结束程序；否则，转到步骤S3进入下一帧图像的跟踪，直到完成整个视频图像序列的跟踪为止。

更进一步的，所述步骤S1中跟踪前m帧图像，计算其目标区域的具体实现方式为：

给定第一帧图像Frame₁中目标区域，包括中心点和区域大小；基于前m帧目标表观变化小，以第一帧图像的目标区域为模板；

在上一帧目标区域周围随机采样，作为当前帧的候选目标区域；

计算新帧的候选目标区域与模板进行相似度量，相似度最高的为新帧的目标区域，如此迭代计算Frame₂，……，Frame_m的目标区域，并记录各帧的目标区域。

更进一步的，所述步骤S2中的提取各超像素的特征，并收集所有帧的特征构建特征池的具体实现为：

基于需要在目标区域周边范围采样作为候选目标区域，以目标区域为中心向四周扩展λ倍，λ为常量，为了保证扩展区域足够大，需覆盖各采样，得到扩展区域，并分别对m帧的扩展区域进行超像素分割成N_i个超像素sp(i,j)，其中i＝1,…,m，j＝1,…,N_i；

由于HSI彩色空间更接近人眼视觉状态，与人眼视觉对目标部件的理解一致，提取各帧超像素的HSI色彩特征，用特征矢量f_i ^j表示，并且记录各超像素是否属于目标区域内；

把m帧特征集按先后跟踪顺序组织成用于计算物体局部表征的权值的特征池并记录。

更进一步的，所述步骤S3中计算物体局部表征的权值包括通过均值聚类法对特征池中的特征聚类和计算各聚类权值两部分，用每个聚类代表特征相似的一类部件，并且用权值表示部件为目标部件的概率，根据特征池中的特征集信息，描述目标部件的超像素的权值比描述背景的超像素的权值大，具体实现如下：

根据均值聚类算法对特征池中的特征矢量聚类成n类clst(k)(k＝1,…,n)，用f_c表示聚类中心特征矢量，r_c(k)为在特征空间中聚类clst(k)的半径；

设S⁺(k)为特征池中属于第k个聚类的部件覆盖在目标区域内的面积总和，S^-(k)为特征池中属于第k个聚类的部件覆盖在目标区域外的面积总和，则聚类的权值表示为：

更进一步的，所述步骤S4中设已完成前t帧图像的跟踪，根据第t帧图像的目标区域计算第t+1帧图像的扩展区域，超像素分割各个扩展区域，并采样作为候选目标区域；其具体方法如下：

对以第t帧的目标区域的中心点和大小在第t+1帧图像的扩展区域进行超像素分割，并提取各超像素的HSI特征，用特征矢量表示；

特征矢量分别与特征池中的特征矢量进行相似性比较，通过特征池中特征矢量与聚类的对应关系来确定第t+1帧的超像素与聚类之间的对应关系；从而，设λ_d常量，超像素sp(t+1,j)属于聚类clst(k)，则与聚类中心特征矢量f_c(k)的聚类权值为：进而，超像素sp(t+1,j)的置信度为conf(t+1,j)＝dist(j,k)×C_k,并记录超像素的置信度；

以第t帧目标区域为基础，通过把该目标区域框四周边界向外延伸和收缩，产生M_t+1个候选目标区域。

更进一步的，

所述步骤S5中计算各候选目标区域的置信值，具体方法如下：

给超像素中的每个像素成员都赋予该超像素的权值，所有在扩展区域外的像素点都赋予权值-1，得到了当前所有像素点的置信值，并且进一步得到当前帧的置信图；

设代表候选目标区域所覆盖的区域，用V(i,j)代表在位置(i,j)的像素在置信图上的置信值，通过计算候选目标区域的置信度表示区域所覆盖的像素点集属于目标/背景的可能性：

把所有候选目标区域的置信值归一化到区间[0，1]中。

步骤S5中将物体性度量引入到方法中实现对目标区域对目标物体进行完整性覆盖，使得目标物体尽量包含在目标框中，其中物体性度量选择颜色、边缘和超像素作为物体性度量的三个线索。

所述步骤S5中计算各候选目标区域边界附近的边缘密度，其中边缘密度这一线索能够捕捉到物体具有封闭边缘这一特征，具体方法如下：

设Inn(u,w)为候选目标区域的检测窗口w的矩形环，二进制的边缘图I_ED(p)是用canny算子计算得到的，Len(.)为矩形环的周长，则边缘密度线索计算表示为：由此式计算检测窗口的边缘密度评分值，评分值越高，检测窗口覆盖目标的可能性越大；

针对彩色图像进行跟踪，目标物体在颜色上往往会与背景有较大的差异，进而检测窗口与所包围矩形环之间的颜色差异，因此，颜色对比度在针对目标物体的物体性度量中也能发挥积极的作用，步骤S5中计算各候选目标区域与它直接相邻的包围区域的颜色对比度的具体实现方式为：

设候选目标区域的检测窗口w的包围区域Surr(w)是将检测窗口的宽和高按比例θ扩展的矩形；

将灰度图像量化为256个等级得到直方图；然后，设h(w)＝[p₁,p₂,…,p₂₅₆]为统计检测窗口的直方图，h(Surr(w))＝[q₁,q₂,…,q₂₅₆]为统计检测窗口的包围区域的直方图，使用检测窗口和其包围矩形环之间的颜色对比度二者之间的Chi-squanre距离来计算：通过计算可得到检测窗口的颜色对比度评分值；评分值越高，检测窗口覆盖目标物体的可能性就越大。

所述步骤S5中计算各候选目标区域的超像素跨界程度的具体实现方式为：

当超像素中的像素满足至少有一个在窗口中和至少一个在窗口外时，超像素跨界；

通过超像素跨界程度来衡量超像素跨界情况，设s为扩展区域内的超像素，|s\w|为超像素在检测窗口外的像素量，|s∩w|为超像素在检测窗口内的像素量，则超像素跨界程度为：对于每个超像素s，其在检测窗口内的区域大小和在检测窗口外的区域大小，二者中的较小值表示了其横跨窗口w的程度和对上式中累加和的贡献程度，其中完全在窗口之内和完全在窗口之外的超像素对上式中的累加和的贡献为0；在检测窗口完全覆盖目标物体时，超像素跨界的评分值最大。

更进一步的，所述步骤S6中结合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度计算当前帧的目标区域的具体实现方式如下：通过线性组合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度求出每个候选目标区域是目标区域的可能性：P_u＝α*C_u+β*ED_u+θ*CC_u+λ*SS_u，根据P_u的计算结果，以其值最大者为第t+1帧的目标区域。

更进一步的，所述步骤S7中更新特征池的特征集的具体实现方式为：

针对更新特征池的特征集，提出目标发生严重遮挡和没有严重遮挡的处理策略。首先，定义了发生严重遮挡判断标准：设θ_o为遮挡阈值，当候选目标置信度小于θ_o与扩展区域的乘积。然后，执行目标发生严重遮挡和没有严重遮挡的处理策略：由于特征池中的特征集是按照先后跟踪顺序排列的，跟踪事件是在场景动态变化环境下发生的，所以需要学习跟踪时间相近的帧的知识，使得目标的最新表观得以识别。当没有严重遮挡时，以特征池中距离当前时间最久帧作为被替换帧，否则以特征池中距离当前时间最近第3帧作为被替换帧；最后，删除特征池中被替换帧的特征集，并把当前帧特征集加入特征池中，完成一次特征池更新。

更进一步的，所述步骤S8中，根据更新后的特征池信息来计算特征池中的物体局部性表征的权值，实现其权值的更新，其具体实现方式为：

设定f跟踪帧为更新物体局部性表征的权值间隔，当满足更新物体局部表征的权值条件，即离上次更新已达f帧，利用更新后的特征池来计算物体局部性表征的权值；否则，忽略此步；

实现物体局部性表征的权值的更新，和计算物体局部性表征的权值的步骤相同：包括通过均值聚类法对特征池中的特征聚类和计算各聚类的权值两部分，用每个聚类代表特征相似的一类部件，并且用权值表示部件为目标部件的可能性，根据特征池中的信息，描述目标部件的超像素的权值比描述背景的超像素的权值大。

步骤S9中执行程序结束判断，当跟踪完所有帧，则结束程序；否则，转到步骤S3进入下一帧图像的跟踪，直到完成整个视频图像序列的跟踪为止。

这样既保留基本局部性信息识别方法在解决跟踪目标在形变畸变的难题上的优势，同时，物体性度量对在图像中检测窗口收敛于目标有较好的效果。搜索机制的优化提高跟踪过程中检测到目标的信息的准确率，同时更准确地物体局部性表征权值。

与现有技术相比，本发明的有益效果为：

1)中层视觉线索，能更有效地、灵活地表示图像结果信息。把目标中具有意义的、具有明显边界信息的目标部分割成众多的超像素，进而用超像素描述跟踪物体的部件，操作起来更直观。

2)对特征池中物体局部表征进行聚类，同一聚类内的超像素的权值相同，与直观中的同一物体部件的权值相同的概念一致，更具有可解析性。

3)结合物体整体性和局部性识别方法，通过线性组合边缘密度、颜色对比度、超像素跨界程度和候选目标置信度，以确定目标区域，旨在增强搜索机制对确定目标区域的准确率和稳定性。

附图说明

图1为本发明的方法执行步骤示意图。

图2为本发明和不结合物体性度量的基于物体局部性识别方法在跟踪图像序列“basketball”第261帧图时效果对比图。

图3为本发明和不结合物体性度量的基于物体局部性识别方法在跟踪图像序列“Diving”第135帧图时效果对比图。

图4为本发明和不结合物体性度量的基于物体局部性识别方法在跟踪图像序列“Gymnastics”第233帧图时效果对比图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

发明的方法执行步骤示意图如附图1所示，具体包括如下步骤：

(1)简单跟踪前m(在本实施中m取7)帧图像阶段：首先，人为给定第一帧图像Frame₁中目标区域(包括中心点和区域大小)，以第一帧图像的目标区域为模板；然后，在上一帧目标区域周围随机采样，作为当前帧的候选目标区域；最后，计算新帧的候选目标区域与模板进行相似度量，相似度最高的为新帧的目标区域，如此迭代计算Frame₂，……，Frame₇的目标区域，并记录各帧的目标区域。

(2)构建特征池阶段：首先，基于需要在目标区域周边范围采样作为候选目标区域，以目标区域为中心向四周扩展λ倍得到扩展区域，并分别对7帧的扩展区域进行超像素分割成N_i个超像素sp(i,j)(i＝1,…,7，j＝1,…,N_i)；然后，由于HSI彩色空间更接近人眼视觉状态，与人眼视觉对目标部件的理解一致，分别提取各帧的超像素的HSI色彩特征，用特征矢量f_i ^j表示，并且记录各超像素是否属于目标区域内；最后，把7帧特征集按先后跟踪顺序组织成用于计算物体局部表征的权值的特征池并记录。

(3)计算特征池中物体局部表征的权值阶段：首先，根据均值聚类算法对特征池中的特征矢量聚类成n类clst(k)(k＝1,…,n)，用f_c表示聚类中心特征矢量，r_c(k)为在特征空间中聚类clst(k)的半径。然后，设S⁺(k)为特征池中属于第k个聚类的部件覆盖在目标区域内的面积总和，S^-(k)为特征池中属于第k个聚类的部件覆盖在目标区域外的面积总和，则聚类的权值表示为：聚类中任意超像素的权值相同。

(4)计算扩展区域内超像素的置信度：假设已完成前t帧图像的跟踪，根据第t帧图像的目标区域计算第t+1帧图像的扩展区域，超像素分割各个扩展区域，并采样作为候选目标区域。具体方法如下：首先，对以第t帧的目标区域的中心点和大小在第t+1帧图像的扩展区域进行超像素分割，并提取各超像素的HSI特征，用特征矢量表示；然后，特征矢量分别与特征池中的特征矢量进行相似性比较，通过特征池中特征矢量与聚类的对应关系来确定第t+1帧的超像素与聚类之间的对应关系；从而，设λ_d常量，在本实施例中，λ_d取2，超像素sp(t+1,j)属于聚类clst(k)，则与聚类中心特征矢量f_c(k)的聚类权重为：进而，超像素sp(t+1,j)的置信度为conf(t+1,j)＝dist(j,k)×C_k,并记录超像素的置信度；最后，以第t帧目标区域为基础，通过把该目标区域框四周边界向外延伸和收缩，产生M_t+1个候选目标区域。

(5)计算候选目标区域的置信度阶段：首先，给超像素中的每个像素成员都赋予该超像素的置信值，而所有在扩展区域外的像素点都赋予置信值-1，这样，我们就得到了当前所有像素点的置信值，并且进一步得到了当前帧的置信图；然后，设代表候选目标区域所覆盖的区域，用V(i,j)代表在位置(i,j)的像素字啊置信图上的置信值，那么可以通过计算候选目标区域的置信度表示区域所覆盖的像素点集属于目标/背景的可能性：

最后，把所有候选目标区域的置信值归一化到区间[0,1]中。

(6)计算候选目标区域的边界附近的边缘密度阶段：设Inn(u,w)为候选目标区域的检测窗口w的矩形环，二进制的边缘图I_ED(p)是用canny算子计算得到的，Len(.)为矩形环的周长，则边缘密度线索计算表示为：

由此式可以计算检测窗口的边缘密度评分值，评分值越高，检测窗口覆盖目标的可能性越大。

(7)计算候选目标区域与它直接相邻的包围区域的颜色对比度阶段：设候选目标区域的检测窗口w的包围区域Surr(w)是将检测窗口的宽和高按比例θ扩展的矩形，在本实施例中，θ取0.3；首先，将灰度图像量化为256个等级得到直方图；然后，设h(w)＝[p₁,p₂,…,p₂₅₆]为统计检测窗口的直方图，h(Surr(w))＝[q₁,q₂,…,q₂₅₆]为统计检测窗口的包围区域的直方图，使用检测窗口和其包围矩形环之间的颜色对比度二者之间的Chi-squanre距离来计算：通过计算可得到检测窗口的颜色对比度评分值，评分值越高，检测窗口覆盖目标物体的可能性就越大。

(8)计算候选目标区域的超像素跨界程度阶段：设_s为扩展区域内的超像素，|s\w|为超像素在检测窗口外的像素量，|s∩w|为超像素在检测窗口内的像素量，则超像素跨界程度为：

(9)计算目标区域阶段：通过线性组合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度求出每个候选目标区域是目标区域的可能性：P_u＝α*C_u+β*ED_u+θ*CC_u+λ*SS_u，根据Pu的计算结果，以其值最大者为第t+1帧的目标区域。

(10)更新特征池阶段：定义发生严重遮挡判断标准，设θ_o为遮挡阈值，当候选目标置信度小于θ_o与扩展区域的乘积时，判断为发生了严重遮挡。当没有严重遮挡时，删除特征池中距离当前时间最久帧的特征集，并把当前帧特征集加入特征池中，完成一次特征池更新。否则删除特征池中距离当前时间最近第3帧的特征集，并把当前帧特征集加入特征池中，完成一次特征池更新。

(11)更新特征池内的物体局部表征的权值阶段：设定f跟踪帧为更新物体局部性表征的权值间隔，在本实施例中，f取5，，当满足更新物体局部表征的权值条件，即离上次更新已达f帧，利用更新后的特征池来计算物体局部性表征的权值；否则，忽略此步。此处实现物体局部性表征的权值的更新，和初次计算物体局部性表征的权值的步骤一样：包括通过均值聚类法对特征池中的特征聚类和计算各聚类的权值两部分，用每个聚类代表特征相似的一类部件，并且用权值表示部件为目标部件的可能性，根据特征池中的信息，描述目标部件的超像素的权值比描述背景的超像素的权值大。

图2、3和4均为本发明和不结合物体性度量的基于局部性识别方法在跟踪图像序列的效果对比图。其中(a)和(b)分别表示扩展区域的置信度图和两种方法跟踪结果的对比。采用灰度图表示，图(a)中浅色(灰色)部分置信度小于0，该部分识别为背景；相反，深色(黑色)部分置信值大于0，该部分识别为跟踪目标；图(b)中实线(-)窗口为本发明的跟踪结果，而虚线(--)窗口为不结合物体性度量的基于物体局部性识别方法的跟踪结果。

如图2、3和4中所示，由于背景存在部分和目标相似部分，在训练过程中，单纯靠局部表征信息误把部分背景知识描述为前景，对这些背景赋予了较高的置信值，因此，纯粹的基于局部信息的方法通过计算出扩展区域的置信值图，并通过最大后验概率来寻找最佳的目标候选区域，这样由于建模误把背景描述为前景就导致目标窗口发生漂移。本发明结合描述整体信息的物体性度量和描述局部信息的局部表征度量方法，线性组合候选目标区域的置信值、候选目标区域的边界附近的边缘密度、候选目标区域与它直接相邻的包围区域的颜色对比度和候选目标区域的超像素跨界程度，进一步对目标区域边界、目标物体完整性(即边界的超像素的完整性)和目标和背景在颜色上的差异对比计算，使目标窗口收敛于跟踪目标，如图2(b)、3(b)、4(b)中实线窗口。

图2为对一般的平面中移动目标跟踪；图3为对复杂背景中移动目标跟踪；图4为对非刚性目标跟踪。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于物体整体性和局部性识别的跟踪方法，其特征在于，包括以下步骤：

S1.跟踪前m帧图像，以第一帧目标区域为模板，计算新帧的候选目标区域与模板进行相似度量，以相似度最高的为新帧的目标区域，并记录每帧的目标区域；

S2.针对前m帧图像以其目标区域为中心向四周扩展得到扩展区域，超像素分割每个扩展区域，以超像素记录目标物体部件信息，作为物体的局部表征，提取各超像素的特征，并收集所有帧的特征构建特征池；

S3.基于特征池中的特征集来计算物体的局部表征的权值；

S4.设已完成前t帧图像的跟踪，t≥m，计算第t+1帧图像的扩展区域、候选目标区域、及其扩展区域内超像素的特征集，并根据特征池中与扩展区域内的超像素的相似度计算扩展区域内的物体局部表征的置信度；

S5.计算各候选目标区域的置信值、各候选目标区域边界附近的边缘密度、各候选目标区域与它直接相邻的包围区域的颜色对比度以及各候选目标区域的超像素跨界程度；

S6.结合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度计算当前帧的目标区域；

S7.更新特征池的特征集；

S8.若满足更新物体局部表征的权值条件，根据更新后的特征池内的物体局部表征的权值，实现其权值的更新；

S9.执行程序结束判断，当跟踪完所有帧，则结束程序；否则，转到步骤S3进入下一帧图像的跟踪，直到完成整个视频图像序列的跟踪为止；

所述步骤S1中跟踪前m帧图像，计算其目标区域的具体实现方式为：

给定第一帧图像Frame₁中目标区域，包括中心点和区域大小；基于前m帧目标表观变化小，以第一帧图像的目标区域为模板；

在上一帧目标区域周围随机采样，作为当前帧的候选目标区域；

计算新帧的候选目标区域与模板进行相似度量，相似度最高的为新帧的目标区域，如此迭代计算Frame₂，……，Frame_m的目标区域，并记录各帧的目标区域；

所述步骤S2中的提取各超像素的特征，并收集所有帧的特征构建特征池的具体实现为：

基于需要在目标区域周边范围采样作为候选目标区域，以目标区域为中心向四周扩展λ倍，λ为常量，得到扩展区域，并分别对m帧的扩展区域进行超像素分割成N_i个超像素sp(i,j)，其中i＝1,…,m，j＝1,…,N_i；

提取各帧超像素的HSI色彩特征，用特征矢量f_i ^j表示，并且记录各超像素是否属于目标区域内；

把m帧特征集按先后跟踪顺序组织成用于计算物体局部表征的权值的特征池并记录。

2.根据权利要求1所述的基于物体整体性和局部性识别的跟踪方法，其特征在于，所述步骤S3中计算物体局部表征的权值包括通过均值聚类法对特征池中的特征聚类和计算各聚类权值两部分，用每个聚类代表特征相似的一类部件，并且用权值表示部件为目标部件的概率，根据特征池中的特征集信息，描述目标部件的超像素的权值比描述背景的超像素的权值大，具体实现如下：

根据均值聚类算法对特征池中的特征矢量聚类成n类clst(k)(k＝1,…,n)，用f_c表示聚类中心特征矢量，r_c(k)为在特征空间中聚类clst(k)的半径；

设S⁺(k)为特征池中属于第k个聚类的部件覆盖在目标区域内的面积总和，S^-(k)为特征池中属于第k个聚类的部件覆盖在目标区域外的面积总和，则聚类的权值表示为：

3.根据权利要求2所述的基于物体整体性和局部性识别的跟踪方法，其特征在于，所述步骤S4中设已完成前t帧图像的跟踪，根据第t帧图像的目标区域计算第t+1帧图像的扩展区域，超像素分割各个扩展区域，并采样作为候选目标区域；其具体方法如下：

对以第t帧的目标区域的中心点和大小在第t+1帧图像的扩展区域进行超像素分割，并提取各超像素的HSI特征，用特征矢量表示；

特征矢量分别与特征池中的特征矢量进行相似性比较，通过特征池中特征矢量与聚类的对应关系来确定第t+1帧的超像素与聚类之间的对应关系；从而，设λ_d常量，超像素sp(t+1,j)属于聚类clst(k)，则与聚类中心特征矢量f_c(k)的聚类权值为：进而，超像素sp(t+1,j)的置信度为conf(t+1,j)＝dist(j,k)×C_k,并记录超像素的置信度；

以第t帧目标区域为基础，通过把该目标区域框四周边界向外延伸和收缩，产生M_t+1个候选目标区域。

4.根据权利要求3所述的基于物体整体性和局部性识别的跟踪方法，其特征在于，

所述步骤S5中计算各候选目标区域的置信值，具体方法如下：

给超像素中的每个像素成员都赋予该超像素的权值，所有在扩展区域外的像素点都赋予权值-1，得到了当前所有像素点的置信值，并且进一步得到当前帧的置信图；

设代表候选目标区域所覆盖的区域，用V(i,j)代表在位置(i,j)的像素在置信图上的置信值，通过计算候选目标区域的置信度表示区域所覆盖的像素点集属于目标/背景的可能性：

把所有候选目标区域的置信值归一化到区间[0，1]中；

所述步骤S5中计算各候选目标区域边界附近的边缘密度，其中边缘密度这一线索能够捕捉到物体具有封闭边缘这一特征，具体方法如下：

设Inn(u,w)为候选目标区域的检测窗口w的矩形环，二进制的边缘图I_ED(p)是用canny算子计算得到的，Len(.)为矩形环的周长，则边缘密度线索计算表示为：由此式计算检测窗口的边缘密度评分值；

所述步骤S5中计算各候选目标区域与它直接相邻的包围区域的颜色对比度的具体实现方式为：

设候选目标区域的检测窗口w的包围区域Surr(w)是将检测窗口的宽和高按比例θ扩展的矩形；

将灰度图像量化为256个等级得到直方图；然后，设h(w)＝[p₁,p₂,…,p₂₅₆]为统计检测窗口的直方图，h(Surr(w))＝[q₁,q₂,…,q₂₅₆]为统计检测窗口的包围区域的直方图，使用检测窗口和其包围矩形环之间的颜色对比度二者之间的Chi-squanre距离来计算：通过计算可得到检测窗口的颜色对比度评分值；

所述步骤S5中计算各候选目标区域的超像素跨界程度的具体实现方式为：

当超像素中的像素满足至少有一个在窗口中和至少一个在窗口外时，超像素跨界；

通过超像素跨界程度来衡量超像素跨界情况，设s为扩展区域内的超像素，|s\w|为超像素在检测窗口外的像素量，|s∩w|为超像素在检测窗口内的像素量，则超像素跨界程度为：对于每个超像素s，其在检测窗口内的区域大小和在检测窗口外的区域大小，二者中的较小值表示了其横跨窗口w的程度和对上式中累加和的贡献程度，其中完全在窗口之内和完全在窗口之外的超像素对上式中的累加和的贡献为0；在检测窗口完全覆盖目标物体时，超像素跨界的评分值最大。

5.根据权利要求4所述的基于物体整体性和局部性识别的跟踪方法，其特征在于，所述步骤S6中当前帧的目标区域的的具体实现方式如下：通过线性组合候选目标区域置信值、边缘密度、颜色对比度和超像素跨界程度求出每个候选目标区域是目标区域的可能性：P_u＝α*C_u+β*ED_u+θ*CC_u+λ*SS_u，根据P_u的计算结果，以其值最大者为第t+1帧的目标区域。

6.根据权利要求5所述的基于物体整体性和局部性识别的跟踪方法，其特征在于，所述步骤S7中更新特征池的特征集的具体实现方式为：

判断目标是否发生严重遮挡，当发生严重遮挡时，学习跟踪时间相近的帧的知识，使得目标的最新表观得以识别，否则以特征池中距离当前时间最近第3帧作为被替换帧；

删除特征池中被替换帧的特征集，并把当前帧特征集加入特征池中，完成一次特征池更新；

所述发生严重遮挡具体是指：设θ_o为遮挡阈值，当候选目标置信度小于θ_o与扩展区域的乘积。

7.根据权利要求6所述的基于物体整体性和局部性识别的跟踪方法，其特征在于，所述步骤S8中，根据更新后的特征池信息来计算特征池中的物体局部性表征的权值，实现其权值的更新，其具体实现方式为：

设定f跟踪帧为更新物体局部性表征的权值间隔，当满足更新物体局部表征的权值条件，即离上次更新已达f帧，利用更新后的特征池来计算物体局部性表征的权值；否则，忽略此步；

实现物体局部性表征的权值的更新，和计算物体局部性表征的权值的步骤相同：包括通过均值聚类法对特征池中的特征聚类和计算各聚类的权值两部分，用每个聚类代表特征相似的一类部件，并且用权值表示部件为目标部件的可能性，根据特征池中的信息，描述目标部件的超像素的权值比描述背景的超像素的权值大。