CN102799900B - 一种基于检测中支持在线聚类学习的对象跟踪方法 - Google Patents

Abstract

一种基于检测中支持在线聚类学习的对象跟踪方法，属于计算机图形图像技术领域。该方法在随机蕨检测器的叶节点中同时保存目标和背景样例的特征向量，通过在线聚类学习发掘其分布特性，并将其作为核函数的采样数据点进行类型概率密度估计。从初始图像中选择并确定要跟踪的目标对象，并加入到由目标图像块组成的在线模型，目标选取过程可以通过运动目标检测方法自动提取。在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像。提取目标图像块作为正样例和选取背景图像块作为负样例，生成在线训练集并输入到检测器。对于多目标的情形具有多个目标类型，每个目标类型对应一个目标。主要用于对象跟踪的各种场合。

Description

一种基于检测中支持在线聚类学习的对象跟踪方法

技术领域

本发明属于计算机图形图像技术领域，特别涉及计算机视觉、模式识别、机器学习技术。

背景技术

由于对象跟踪是众多计算机视觉应用的基本问题，如智能视频分析，视频监控，人机交互等，因此研究人员对此做出了大量的工作，但是迄今为止要实现在无约束的环境下长时间的可视跟踪仍然是极具挑战性的任务。随机计算机视觉技术的发展，基于机器学习特别是在线学习的对象跟踪方法受到越来越广泛的关注。这是由于：（i）一般情况下，在对象跟踪开始之前，我们只能获得十分有限的先验信息用于构建跟踪系统必要的知识，如对象表观，背景信息，运动模型。大量的对象和场景知识在此时是未知的，但是，为了获得长时间稳定可靠的跟踪性能，这些未知信息对于跟踪系统来说却是必需的；（ii）对象跟踪过程具有很强的时序性，且包含很强的时空关系，我们可以在跟踪的过程中去发掘和利用这些信息和关系，从而增强我们的跟踪系统结构；（iii）机器学习和模式识别等理论与技术的发展，为系统通过各种学习完善其知识和结构，提供了理论与方法的支撑。

跟踪过程中在线学习的目的在于发掘未知的数据结构，对它的研究，逐步发展出一系列自适应的对象跟踪方法。Graber、Avidan、Collins和Lim等人分别采用不同的自学习方式，用接近和远离目标的样例更新对象模型，然而，这种方法一旦预测目标出错，则跟踪无法继续。为了克服这个问题，Yu等提出了通过协作训练获得一个可再生的判别分类器，从而实现重检测和失败恢复。因此，对象跟踪或者检测也被看作是一个分类问题，即通过训练得到的分类器来判断该区域是目标还是背景。目前基于随机森林的方法受到越来越广泛的关注，这是由于与其它方法相比随机森林能够快速完成训练和分类，并且可以通过并行方式进行。随机森林算法由Breiman提出，是由结合Bagging技术的多个随机化的决策树组成。Shotton等人将其用于语义分割，Lepetit等人将随机森林用于实时关键点识别，他们都取得了很好的效果。Leistner等人为了有效降低半监督学习的复杂度，利用随机森林的计算效率，分别提出了半监督随机森林算法，多实例学习随机森林算法，以及在线多视图随机森林算法，并成功应用在机器学习的各项问题。Geurts等人提出极度随机森林，即随机森林中的测试阈值也是随机生成。随后，Saffari等人在此基础上结合在线Bagging提出了在线随机森林，促进了随机森林的实时应用。

为了进一步提高分类速率，Ozuysal提出了随机蕨算法，并用于关键点识别和匹配。随机蕨是简化的随机森林，不同于随机森林的逐层生长和节点测试，随机蕨由许多的叶节点组成，每个叶节点对应一个完整的特征值编码，它的后验概率由该叶节点所包含的样例数量及其类型决定。Kalal等人将随机蕨用于在线对象检测和跟踪，进一步验证了随机蕨的快速分类能力。但是，与随机森林一样，随机蕨在充分发挥其分类能力之前，需要大量的数据作为训练样例和测试，因此在对象跟踪中随机蕨表现出初始分类能力不足而易使跟踪失败后难以恢复；另一方面，随机蕨对测试样例的评价过程简单的依赖于对应叶节点中训练样例的数量和类型，没有考虑特征向量的空间分布状况，而这在很大程度上影响了随机蕨的分类或者检测准确率。

因此，本发明提出一种基于检测中支持在线聚类学习的对象跟踪方法，该方法在随机蕨检测器的叶节点中同时保存目标和背景样例的特征向量，通过在线聚类学习发掘其分布特性，即根据得到的聚类中心创建隐含分类，并将其作为核函数的采样数据点进行类型概率密度估计。由于在检测中发掘未知数据的分布特性，因此提高了检测器对目标的识别能力，同时通过结合短时跟踪及其时空约束（目标区域和背景区域的划分由跟踪目标当前的位置决定，并用于生成在线训练集），本发明方法可实现无约束环境下长时间实时稳定的对象跟踪任务。此外，本发明方法不仅可以用于单目标跟踪，通过增加和调整样例标记，还可以扩展用于多目标的跟踪。

发明内容

本发明的目的提供一种基于检测中支持在线聚类学习的对象跟踪方法，它能在无约束环境下，有效地实现长时间实时稳定的对象跟踪。

本发明的目的通过以下技术方案来实现：所述方法包括如下内容，具体步骤为:

（1）确定跟踪目标

从初始图像中选择并确定要跟踪的目标对象，并加入到在线模型。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。在线模型由目标图像块组成。

（2）初始化检测器

随机蕨可采用任何二元测试特征（如像素对比较特征），即该特征如果满足某个条件测试则编码为1，否则编码为0。设一个蕨中采用的二元测试特征的数量为N，则该蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值。每个叶节点不仅记录落在该节点上的样例类型及其对应的数量（初始时为0），同时保存样例的特征向量。设检测器包含蕨的数量为M，且每个蕨中采用的二元测试特征的位置均不相同，则对每个样例数据的检测将进行M×N次测试计算。通过以（1）中确定的目标图像块为正样例及其周围选取的背景图像块为负样例生成初始训练集，并输入到检测器。

这里，引入隐含分类用以描述同一类型下不同特征向量组成的集合。将距离相对集中的特征向量划分到同一个隐含分类，特征向量越分散，隐含分类的数量将可能更多。因此隐含分类反映了叶节点中特征向量的分布情况。初始设置每个叶节点中目标和背景的隐含分类数目均为1，且将该类型下的所有样例划分到这个隐含分类。对每个隐含分类计算其分布参数，包含均值和标准差（同步可得到方差，即标准差的平方）。

（3）输入图像

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则整个流程中止。

（4）执行短时跟踪

这里短时跟踪采用规则化交叉互相关的方法NCC（NormalizedCross-Correlation）。设候选图像块z与在线模型中的第i个目标图像块的规则化交叉互相关值为v_NCC(z,z_i)，跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与在线模型中所有图像块做比较，搜索使v_NCC值最大的位置作为当前预测的目标位置。设阈值θ_NCC=0.8，如果此最大的v_NCC>θ_NCC，则表示目标可信，跳转到（5），否则表示目标不可信，跳转到（6）。

（5）训练检测器

提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器，输入到叶节点中的训练样例根据其原类型并根据K(K=1)最近邻方法划分到对应的隐含分类，即计算训练样例的特征向量与隐含分类的均值的欧式距离，将该训练样例划分到与其距离值最小的隐含分类。

设S={S_c}_c=1...Y为一个叶节点中包含的样例集合，其中，c为类型标记，Y为类型数目，而为该叶节点中属于c类的样例集合，其中，为c类中第i个样例，在特征空间中用向量值表示，N为属于c类的样例个数。设表示S_c的第h个隐含分类，M为该隐含分类包含的样例个数，L为S_c中隐含分类的数目。训练过程中，叶节点中隐含分类包含的样例数量会逐步增加，当该数量与上次参数更新时的样例数量的差值超过一定阈值时（如超过10个），则重新计算此隐含分类的均值和标准差。设中特征向量的均值和标准差分别为和标准差阈值为θ_σ。如果参数更新后则在中随机选择2个样例作为初始点，根据向量间欧式距离执行K(K=2)均值聚类操作。该聚类学习得到的2个中心点作为新的隐含分类加入，每个隐含分类包含聚类结果中对应的样例集合，最后删除原隐含分类。这样，S_c中增加了1个隐含分类，而原隐含分类中包含的样例分别划分到了两个新的隐含分类中。最后重新计算所有新的隐含分类对应的均值和标准差。

具有隐含分类的聚类学习过程如图1所示，其中M表示分类器中蕨的数目，N表示对蕨包含的叶节点的数目。在叶节点的特征空间中，黑色的圆点表示样例的特征向量，外包围的区域表示原类型，外包围区域中的圆形区域为对应类型的隐含分类。

跳转到（3）。

（6）目标检测

检测器对整个图像区域执行目标检测，而对候选图像块的评价是通过对所有蕨估计的类型概率求平均值得到。对每个蕨计算样例的特征编码值和特征向量值，然后由蕨对应的叶节点估计样例的类型和概率。这里样例类型指目标和背景两类。特别地，对于多目标的情形样例类型将具有多个目标类型，每个目标类型对应一个跟踪目标。

采用与前面相同的符号表示，则候选图像块x对于蕨f_k在对应叶节点中关于类型c的概率计算为：

${\tilde{p}}_k(c/x)=\underset{h=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\α}}_h\underset{d=1}{\overset{D}{\mathrm{\Π}}}{K}_{{\mathrm{\θ}}_{\mathrm{\σ}}}\left(\frac{{(x-m_c^h)}_d}{{\mathrm{\θ}}_{\mathrm{\σ}}}\right),$

其中，D表示向量的维数，为高斯核函数，α_h为隐含分类h的权重，这里采用相同的权重设置，即α_h=1/L，L为类型c包含的隐含分类的数目。如果叶节点中某类型的特征向量数目为0，则直接设置该类型的将计算得到的所有类型概率归一化，使得因此，对于该候选图像块x关于类型c的概率计算为：

$\tilde{p}(c/x)=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\tilde{p}}_k(c/x),$

其中，M为检测器包含的蕨的数量。而检测器对于该样例的预测类型c^*为使最大的c，即：

$c^{*}=\underset{c\∈Y}{\arg \max }\tilde{p}(c/x).$

特别地，如果具有最大概率的类型不只一个，则可以通过以下两种方法进一步分析预测类型：

①采用蕨计算后验概率的基本方法，即计算叶节点中各类型特征向量数目的比率，则计算为：

${\tilde{p}}_k(c/x)=\frac{N_c}{\underset{y\∈Y}{\mathrm{\Σ}}{N}_y},$

其中，N_c表示叶节点中属于c类型的特征向量的数量，表示叶节点中所有特征向量的总数，因此预测类型为仍然为最大的那个类型。

②采用K（K=1）最近邻聚类方法，即计算候选图像块对应的特征向量与前面得到的具有最大概率的几种类型包含的所有特征向量之间的距离，具有最短距离的那个特征向量的类型作为预测类型，其中距离采用向量的欧式距离计算。

检测器通过以上计算类型概率的方法返回具有最大目标概率值的图像位置，如果该概率值大于0.5，则用此位置重新初始化短时跟踪器，否则，认为目标消失。

跳转到（3）。

本发明方法的技术流程图如图2所示。在跟踪过程中，检测器自动在线学习，通过划分原类型得到的隐含分类来描述特征空间中特征向量的分布特性，最后根据基于该隐含分类的核密度估计方法评价测试样例。检测器的在线检测结果与短时跟踪进行协调配合，通过简单的时空约束（目标区域和背景区域的划分由跟踪目标当前的位置决定，并用于生成在线训练集）来确定新的目标位置，从而实现对目标对象的跟踪。

与现有技术相比,本发明的有益效果是：

本发明的方法在随机蕨检测器的叶节点中同时保存目标和背景样例的特征向量，通过在线聚类学习发掘其分布特性，即根据得到的聚类中心创建隐含分类，并将其作为核函数的采样数据点进行类型概率密度估计。由于在检测中发掘未知数据的分布特性，因此提高了检测器对目标的识别能力，同时通过结合短时跟踪及其时空约束（目标区域和背景区域的划分由跟踪目标当前的位置决定，并用于生成在线训练集），本发明方法可实现无约束环境下长时间实时稳定的对象跟踪任务。此外，本发明方法不仅可以用于单目标跟踪，通过增加和调整样例标记，还可以扩展用于多目标的跟踪。

附图说明

图1为本发明具有隐含分类的随机蕨聚类学习示意图；

图2为本发明的对象跟踪方法流程图。

具体实施方式

实施例

本发明的方法可用于对象跟踪的各种场合，如智能视频分析，自动人机交互，交通视频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

以智能视频分析为例：智能视频分析包含许多重要的自动分析任务，如对象行为分析，视频压缩等，而这些工作的基础则是能够进行长时间稳定的对象跟踪。可以采用本发明提出的跟踪方法实现，具体来说，首先根据目标选择所在图像构建初始检测器，如图1的分类器结构所示；然后在跟踪过程中按照实时跟踪所确定的目标位置，在目标区域提取正样例，在背景区域提取负样例，构成在线训练集并更新检测器；这样，每个蕨（图1中的蕨1、蕨2、……、蕨M）根据样例的特征向量将该样例分配到对应的叶节点（图1中的叶节点1、叶节点2、……、叶节点N）；之后，按照本发明描述的在线聚类学习方法找到叶节点中原类型的隐含分类（如图1中，类型一、类型二的隐含分类1和隐含分类2，以此类推）；最后，将这些隐含分类作为核函数的采样数据点进行类型概率密度估计，实现对未知样例的评价。运行时，检测器对当前帧图像进行目标检测，并与短时跟踪器相互协作，从而实现对象跟踪任务。因此，对于智能分析过程中感兴趣的视频对象，按照本发明提出的跟踪方法，不仅可以实现无约束环境下的长时间跟踪任务，同时可以得到与该目标对象对应的分类器，并可用于其它进一步的应用，如对象识别，这将进一步增强系统对视频的分析能力。

本发明方法可通过任何计算机程序设计语言（如C语言）编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时对象跟踪应用。

Claims (1)

1.一种基于检测中支持在线聚类学习的对象跟踪方法，其步骤如下：

（a）确定跟踪目标

从初始图像中选择并确定要跟踪的目标对象，并加入到由目标图像块组成的在线模型,目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定；

（b）初始化检测器

随机蕨采用任何二元测试特征，即该特征如果满足某个条件测试则编码为1，否则编码为0，设一个蕨中采用的二元测试特征的数量为N，则该蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值；

（c）输入图像

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则整个流程中止；

（d）执行短时跟踪

短时跟踪采用规则化交叉互相关的方法NCC（NormalizedCross-Correlation）；

设候选图像块z与在线模型中的第i个目标图像块的规则化交叉互相关值为v_NCC(z,z_i)，跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与在线模型中所有图像块做比较，搜索使v_NCC值最大的位置作为当前预测的目标位置；

设阈值θ_NCC=0.8，如果此最大的v_NCC>θ_NCC，则表示目标可信，跳转到（e），否则表示目标不可信，跳转到（f）；

（e）训练检测器

提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器，输入到叶节点中的训练样例根据其原类型并根据K最近邻方法划分到对应的隐含分类，将该训练样例划分到与其距离值最小的隐含分类，其中K=1；

其中，隐含分类用以描述同一类型下不同特征向量组成的集合，将距离相对集中的特征向量划分到同一个隐含分类，其反映了叶节点中特征向量的分布情况；

（f）目标检测

检测器对整个图像区域执行目标检测，而对候选图像块的评价是通过对所有蕨估计的类型概率求平均值得到，对每个蕨计算样例的特征编码值和特征向量值，然后由蕨对应的叶节点估计样例的类型和概率，对于多目标的情形样例类型将具有多个目标类型，每个目标类型对应一个跟踪目标；采用与前面相同的符号表示，则候选图像块x对于蕨f_k在对应叶节点中关于类型c的概率计算为：

${\tilde{p}}_k(c/x)=\underset{h=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\α}}_h\underset{d=1}{\overset{D}{\mathrm{\Π}}}{K}_{{\mathrm{\θ}}_{\mathrm{\σ}}}\left(\frac{{(x-m_c^h)}_d}{{\mathrm{\θ}}_{\mathrm{\σ}}}\right);$

其中，D表示向量的维数，为高斯核函数，α_h为隐含分类h的权重，这里采用相同的权重设置，即α_h=1/L，L为类型c包含的隐含分类的数目；

将计算得到的所有类型概率归一化，使得

对于该候选图像块x关于类型c的概率计算为：

$\tilde{p}(c/x)=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\tilde{p}}_k(c/x),$

其中，M为检测器包含的蕨的数量,而检测器对于该样例的预测类型c^*为使最大的c，即：

$c^{*}=\underset{c\∈Y}{\arg \max }\tilde{p}(c/x);$

其中，Y为类型数目，

如果具有最大概率的类型不只一个，则可以通过以下两种方法进一步分析预测类型：

①采用蕨计算后验概率的基本方法，即计算叶节点中各类型特征向量数目的比率，则计算为：

${\tilde{p}}_k(c/x)=\frac{N_c}{\underset{y\∈Y}{\mathrm{\Σ}}{N}_y};$

其中，N_c表示叶节点中属于c类型的特征向量的数量，表示叶节点中所有特征向量的总数；

②采用K最近邻聚类方法，其中K=1，即计算候选图像块对应的特征向量与前面得到的具有最大概率的几种类型包含的所有特征向量之间的距离，具有最短距离的那个特征向量的类型作为预测类型，其中距离采用向量的欧式距离计算；

检测器通过以上计算类型概率的方法返回具有最大目标概率值的图像位置，如果该概率值大于0.5，则用此位置重新初始化短时跟踪器，否则，认为目标消失。