CN102054176A - 用计算机对运动目标的场景图像建立语义场景模型的方法 - Google Patents

Abstract

本发明用计算机对运动目标的场景图像建立语义场景模型的方法，包括步骤S1：利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据，进行目标检测和跟踪；步骤S2：基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；步骤S3：对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类；步骤S4：根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和实现应用。

Description

用计算机对运动目标的场景图像建立语义场景模型的方法

技术领域

本发明属于图像处理技术领域，涉及一种用于对视频监控中的事件进行分析的语义场景模型学习方法。

背景技术

随着城市的发展和摄像头的普及，基于视频分析的智能交通管理系统越来越受到重视。这种智能交通管理系统能够通过对视频数据处理分析，得到交通场景的运动模式，从而对一些违反交通规则等异常事件进行自动报警，避免大量人工处理。然而由于交通场景中运动目标种类较多和运动模式的复杂，自动的学习一个鲁棒的语义场景模型仍然是一个很有挑战的问题。

传统的语义场景模型的学习方法都是基于轨迹分析。一种是用目标分类的方法进行轨迹分析；这种方法利用场景上下文信息，如目标的位置，目标的面积大小，目标的运动速度等，但是，在视频监控的场景中，由于低分辨率，阴影，遮挡，不同视角等的影响，仅仅用这些信息得到的目标分类效果仍然不好。另外一种是用轨迹聚类的方法；这种方法可以总结为两类，一类是基于空间距离的方法，另外一种是基于空间分布的方法。基于空间距离的方法仅仅考虑了轨迹间的相似度，这种方法有以下缺点：对异常事件缺少概率解释，需要知道聚类个数，计算量大和这些相似度可能并不能反应真实的度量。为解决这些问题，提出了基于空间分布的方法，但是存在的方法没有考虑轨迹的完整性。

发明内容

为了解决公开技术方案存在的目标跟踪存在的误差、计算量大、相似度并不能反应真实的度量等技术问题，本发明的目的是能够避免目标跟踪带来的误差、计算速度快、能提高视频监控系统在交通场景中管理的智能性的语义场景模型学习方法，为此本发明提供一种基于目标分类和轨迹聚类的语义场景模型学习方法。

为达成所述目的，本发明提供的用计算机对运动目标的场景图像建立语义场景模型的方法，该方法包括以下步骤：

步骤S1：利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据，对目标进行检测和跟踪；

步骤S2：基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；

步骤S3：对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类结果；

步骤S4：根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和实现应用。

其中，所述目标的多种特征是场景上下文信息和目标的表象信息。

其中，所述场景上下文信息为目标的大小，面积，长宽比。

其中，所述目标的表象信息为局部二值模型特征。

其中，根据分类器的分类结果，将目标分为行人和车辆。

其中，所述的分类器是利用基于线性判别分析的分类器和基于提升算法的分类器的协同学习得到最终的分类器；该分类器利用输入的样本x_t，分别用线性判别分析的分类器和提升算法的分类器给标签y_t，然后，基于这些标注的训练样本更新分类器。

其中，所述轨迹聚类的步骤是：

步骤S31：利用二次曲线参数化描述轨迹的完整性，基于轨迹的完整性特征，利用高斯混合模型学习每类目标的所有运动模式；

步骤S32：通过采取在线更新的方式，根据高斯的权重滤除掉异常的轨迹，并且学习得到交通场景中的运动模式；

步骤S33：利用图切割算法，对学习得到的运动模式进行聚类。

其中，所述的协同学习(Co-training)算法能利用特征1的分类器和特征2的分类器对样本x_t进行自动标注类标y_t，

从而减少人工标注样本的数量，并且能利用多种特征的性能提升分类器的分类性能。

本发明的有益效果：本发明通过学习一个鲁棒的语义场景模型来进行视频监控系统中的事件分析。在智能监控系统中，事件分析是一个基本的任务，由于运动目标有不同的类别和不同的运动模式，因此，通过学习一个有效的语义场景模型对事件进行分析仍然是一个很困难的问题。基于这些困难，本发明为事件分析提出了一个新颖的基于语义场景模型学习的框架。在这个框架里，检测得到的运动目标首先通过协同训练的分类器分为行人和车辆；这种分类器考虑了目标的多种特征，并且训练时需要的标签样本数量较少。基于这个分类结果，本发明能够自动的分别学习行人和车辆的运动模式。为了有效的学习和聚类这些运动模式，本发明提出了基于图的方法。首先，目标的轨迹被参数化，监控场景的图片被分为多个方块，每个方块被认为是图的一个节点。基于轨迹的这些参数，高斯混合模型被采用来学习每个方块的运动模式。最后，通过图切割算法，这些相同的运动模式被聚类，从而，相同的轨迹被聚类然后得到语义场景模型。在交通场景中，实验结果表明本发明提出的方法是有效的。基于协同训练学习分类器，能利用运动目标的多种特征，能减少标签样本的数量，从而减少了大量的人力获取训练样本。

基于协同训练方法学习行人和车的分类器，其特点之一在于能利用目标的多种特征。其特点之二在于能减少标签样本的数量，从而减少了大量的人力获取训练样本。

利用二次曲线参数化描述的轨迹特征，这种轨迹特征描述了轨迹的完整性，在一定程度上能够避免目标跟踪带来的误差；高斯混合模型能有效的描述多种运动模式，通过在线的更新方式并根据高斯混合模型的权重滤除掉异常的轨迹，另外每个高斯的权重可以看着是每种运动模式的重要性度量，并且计算速度快。图切割方法与基本聚类算法(K-means)相比能够利用运动模式的领域信息，从而得到更好的聚类结果。

基于学习得到的语义场景模型，可以用于交通场景中异常违规事件检测和混叠目标分割，从而能提高视频监控系统在交通场景中管理的智能性。

附图说明

图1A是本发明的语义场景模型学习框图；

图1B是本发明图1A中的分类器的流程图；

图1C是本发明图1A中的轨迹聚类的流程图；

图2是协同学习(Co-training)算法框图；

图3a、图3b是图切割算法原理；

图4是场景S1中运动模式聚类结果；

图5是场景S2中运动模式聚类结果；

图6是在场景S2中，方法I、II、III的轨迹聚类结果；

图7是场景S1中语义模型学习结果；

图8是场景S2中语义模型学习结果；

图9a至图9f是基于学习得到的语义场景模型；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

专利通过学习一个鲁棒的语义场景模型来进行视频监控系统中的事件分析。在智能监控系统中，事件分析是一个基本的任务，并且变成一个热点研究领域。但是，运动目标由于有不同的类别和不同的运动模式，因此，通过学习一个有效的语义场景模型来进行事件分析仍然是一个很困难的问题。基于这些困难，我们为事件分析提出了一个新颖的基于语义场景模型学习的框架。在这个框架里，检测得到的运动目标首先通过协同训练的分类器分为行人和车辆；这种分类器考虑了目标的多种特征，并且训练时需要的标签样本数量较少。基于这个分类结果，我们的系统能够自动的分别学习行人和车辆的运动模式。为了有效的学习和聚类这些运动模式，我们提出了基于图的方法。首先，目标的轨迹被参数化，监控场景的图片被分为多个方块，每个方块被认为是图的一个节点。基于轨迹的这些参数，高斯混合模型被采用来学习每个方块的运动模式。最后，通过图切割算法，这些相同的运动模式被聚类，从而，相同的轨迹被聚类然后得到语义场景模型。在交通场景中，实验结果表明我们提出的算法是有效的。

技术方案包括：(1)基于协同训练方法学习分类器；(2)轨迹聚类；(3)语义场景模型的学习和应用。利用图像处理设备检测输入的视频数据，得到待处理的运动目标图像数据；然后基于协同训练方法学习行人和车的分类器，其特点之一在于能利用目标的多种特征，如：场景上下文信息和目标的表象信息。其中场景上下文信息为目标的大小，面积，长宽比等，目标的表象信息为局部二值模型特征。其特点之二在于能减少标签样本的数量，从而减少了大量的人力获取训练样本。根据分类器的分类结果，可以将目标分为行人和车辆。然后对于每类目标的轨迹进行轨迹聚类。轨迹聚类主要分为三个步骤：首先利用二次曲线参数化描述轨迹的完整性，基于轨迹的完整性特征，利用高斯混合模型学习每类目标的所有运动模式；通过采取在线更新的方式，根据高斯的权重滤除掉异常的轨迹。最后利用图切割算法，对学习得到的运动模式进行聚类。根据轨迹聚类的结果，可以得到每种轨迹的分布区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域。

本发明是利用计算机实现了目标分类和轨迹聚类，提出了一个鲁棒的对运动目标的场景图像建立语义场景模型学习方法，从而能方便智能交通监控系统的管理。本发明的系统框架如图1A示出本发明语义场景模型学习框图，包括步骤如下：

步骤S1：利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据，对目标进行检测和跟踪；

步骤S2：基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；

步骤S3：对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类；

步骤S4：根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和实现应用。

(一)、如图1B示出分类器的子流程图

目标分类部分我们利用协同训练的方法得到行人和车辆的分类器。图2描述了协同训练算法的思想，这种方法考虑了第t个目标x_t的多种特征，对于每种特征，根据初始标签样本，训练一个分类器，然后每个分类器给无标签样本标签y_t，

将分数高的无标签样本加入训练集中，然后训练新的分类器。通过两个分类器互相反复推荐的学习过程，从而可以利用目标的多种特征和无标签样本训练分类器。这种训练方法训练时需要的标签样本数量较少，从而减少了大量的人力，通过反复训练，分类器的分类性能大大提高，超出了原有方法的分类结果。

本发明中，采用基于线性判别分析的分类器(LDA-Based Classifier)和基于提升算法的分类器(AdaBoost Classifier)相互协同学习训练分类器。线性判别分析的分类器采用场景上下文信息，如：目标的位置坐标，目标的大小，目标的运动速度，运动方向，长宽比等。然后利用线性判别分析(LDA)得到一个最优的投影方向来分开正样本和负样本。线性判别分析(LDA)个g定义为：

g＝w′r        (1)

w＝(S¹+S²)^-1(u¹-u²)是投影方向，r是新的样本特征，u¹和u²分别是行人和车辆的均值，S¹和S²是协方差矩阵；其中，

t＝1，2，n_t是样本个数。r_j是样本的场景上下文特征。基于提升算法的分类器是利用局部二值模型特征(Local Binary Pattern)，用提升算法(AdaBoost)选取有判别力的特征组成分类器。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用提升算法的分类器可以排除一些不必要的训练数据，并将重点放在关键的训练数据上面。局部二值模型特征(LBP)的定义为：

g_c是中心的灰度值，g_i是8领域的灰度值，对于变量x，s(x)函数定义如下：

我们从所需标签样本数量和分类器的性能两个方面比较我们用协同训练(Co-training)方法学习的分类器的优越性。我们在5个场景中做了比较试验，结果如表1所示。其中，基于提升算法的分类器是用20213个正样本(行人)和41934(车辆)个负样本训练得到；对于每一个场景，基于线性判别分析的分类器是用12000个正样本和35000个负样本训练；我们的分类器是用2720个正样本和6716个负样本，然后用协同训练(Co-training)的方法得到的。与基于线性判别分析的分类器和基于提升算法的分类器相比，我们的方法所需要的标签样本数量少，但是我们的分类性能在5个场景中都有明显的提高。在场景5中，有超过10个百分点的提高。

(二)、如图1C示出轨迹聚类的子流程图

轨迹聚类部分是基于目标分类部分的结果，对每一类目标的运动模式进行学习，通过聚类得到每类目标的各种运动模式。这部分主要包括三部分内容，(1)、轨迹描述(Trajectory Description)；(2)、运动模式学习(Learning Motion Patterns by GMM Algorithm)；(3)、运动模式聚类(Clustering Motion Patterns by Graph-Cut Algorithm)。

(1)、轨迹描述

我们采用二次曲线y＝a×x²+b×x+c描述轨迹，根据目标跟踪得到的点拟合这个二次曲线，从而得到轨迹的描述参数(a b c)。考虑到轨迹的运动方向，我们把一个轨迹T描述为T＝(a，b，c，v)′。

(2)、运动模式学习

为了有效的学习运动模式，我们将监控场景得到的图像分成R×C个块(block)，其中R是行数，C是列数，每个块有多个运动模式，我们利用高斯混合模型(GMM)来学习每个块所有的运动模式。对于某个块，我们可以得到一系列经过该块的所有轨迹

其中，a，b，c是轨迹参数，v是速度，t是样本下标，N是所有轨迹个数。这些轨迹能够用来学习这个块的运动模式的参数分布。对于一个轨迹T_t，属于某个块的概率可以写成：

$P\left(T_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_{i,t}\×\mathrm{\η}(T_t,u_{i,t},{\mathrm{\Σ}}_{i,t})---\left(2\right)$

w_i，t是第i个高斯在时间t时的权重，η是概率密度函数，

是均值，∑_i，t是协方差矩阵，

在学习过程中，这K个高斯分布根据权重w_i，t排序，对于没有匹配的高斯，参数u和σ保持不变；而与T_t匹配的第一个高斯，它的参数更新过程如下：

w_i，t＝(1-α)w_i，t-1+α(M_i，t)

u_i，t＝(1-ρ)u_i，t-1+ρT_t

${\mathrm{\σ}}_{i,t}^2=(1-\mathrm{\ρ}){\mathrm{\ρ}}_{i,t-1}^2+\mathrm{\ρ}{(T_t-u_{i,t})}^{\′}(T_t-u_{i,t})---\left(3\right)$

ρ＝αη(T_t|u_i，t，σ_i，t)

其中α是学习率。通过GMM算法，对于块(i，j)，它的第k个运动模式为：

${\stackrel{\→}{g}}_{i,j}^k={(a_{\mathrm{ij}}^k,b_{\mathrm{ij}}^k,c_{\mathrm{ij}}^k,v_{\mathrm{ij}}^k)}^{\′}.$

(3)、运动模式聚类

经过(2)中的运动模式学习之后，每个块都由各种运动模式来描述，接下来是将有相同运动模式的块聚类在一起。一个简单的方法就是用K-means算法，但是这种算法没有考虑到每个块间的空间关系，而空间领进的块，很可能是属于同一类的。因此我们采取图切割算法(Graph-Cut)聚类这些运动模式。

首先，每个块(block)本看作图的一个节点(node)，每个块间的连线可以看做图的边(edge).基于此，我们可以用马尔科夫随机场(Markov Random Field)来描述。我们的目标是最小化下面的能量函数：

$E\left(L\right)=\underset{p\∈S}{\mathrm{\Σ}}{D}_p\left(L_p\right)+\underset{(p,q)\∈N}{\mathrm{\Σ}}{V}_{p.q}(L_p,L_q)---\left(4\right)$

其中，S是所有节点的集合，N是所有的领域系统，标签集合是{0，1}。D_p(L_p)表示给块(block)p的标签为L_p时的代价，V_p，q(L_p，L_q)表示空间领域块间给标签后的惩罚。它们的定义如下：

$D_p\left(L_p\right)=\left\{\begin{array}{cc}\frac{d_1}{d_1+d_2}& \mathrm{if}{L}_p=1\\ \frac{d_2}{d_1+d_2}& \mathrm{if}{L}_p=0\end{array}\right.---\left(5\right)$

$V_{p,q}(L_p,L_q)=\left\{\begin{array}{cc}0& \mathrm{if}{L}_p=L_q\\ d_0& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

其中，

d₁和d₂表示块(i，j)的运动模式与

和

的相似度。

是参考运动模式，

d_mean是所有块与

的距离的平均值。d₀是一个常数，用来惩罚标签跳跃。它是集合{d_ij|i＝1，2，...，R；j＝1，2，...，C}的标准差，

模型建立后，我们用图切割算法优化求解，从而将各种不同的运动模式聚类。基于聚类结果，我们可以得到各种语义场景区域，属于同一个语义区域的轨迹被作为一类。图切割的算法思想如图3a、图3b所示：图3(b)是图3(a)的一个分割。这种分割算法不仅考虑点p和q与源和汇的关系，还考虑了它们之间的领域关系。

我们在两个交通场景中测试了我们的轨迹聚类效果。每个场景中运动模式的聚类结果如图4和图5。从这两个结果图可以看出，我们的方法能学习出主要的运动模式，如图4场景中的6个主要运动模式和场图5景中的8个主要运动模式。

从这些图可以看出，我们的方法能有效的学习出交通场景中各种重要的运动模式，并能将相同的运动模式有效的聚类。基于运动模式的聚类结果，我们可以将具有相同运动模式的轨迹进行聚类。图6是图5场景中轨迹聚类的结果。其中图6a是方法I利用场景上下文信息，Hausdorff距离作为相似度度量和普聚类(Spectral Clustering)的结果；图6b是方法II直接利用轨迹的参数作为特征，Euclidean距离作为相似度度量和普聚类(Spectral Clustering)的结果；图6c是是我们的方法。从图6a至图6c的结果可以看出，我们的方法的聚类效果要好于其它方法，说明了我们的方法的有效性。另外，我们定量的与方法I、II比较，结果如表2所示，表1是分类结果比较；

表1分类结果比较

表2对于场景S1，I、II、III三个方法的准确率

(Precision)和召回率(Recall)的比较结果

其中tp是true positive，fn是false negative，fp是false positive.准确率(Precision)和召回率(Recall)被定义为：

$\mathrm{Pr\; ecision}=\frac{\mathrm{tp}}{\mathrm{tp}+\mathrm{fp}}$

                                                (7)

$\mathrm{Recall}=\frac{\mathrm{tp}}{\mathrm{tp}+\mathrm{fn}}$

从表2可以看出，对于图4场景中的六种运动模式，我们基于空间分布的轨迹聚类方法取得最好的效果。

(三)、语义场景模型学习和应用

根据轨迹聚类的结果，可以得到轨迹的分布区域，然后我们采取模式搜索算法搜索主要的轨迹和轨迹的入点和出点。均值飘逸算法是一个迭代的算法，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束。根据学习的语义场景模型，我们可以检测交通系统中的异常违规事件和分割混叠目标。

每个场景中语义场景模型的学习结果如图7和图8所示。这两个图中红色的线表示主要的运动轨迹，白色箭头表示运动的方向，青绿色的区域表示该语义场景模型的分布区域。从图中可以看出我们的方法能有效的学习出各个场景的语义场景模型。

基于学习得到的语义场景模型，可以用于智能交通系统中的异常事件检测和混叠目标分割，结果如图9a至图9f所示，图9a是图4场景中车辆的六个语义场景模型；图9b场景S1中六种语义场景模型的边界；图9c是图4场景中六种语义场景模型的主要轨迹和主要运动方向；图9d是图4场景中的运动目标并线异常事件检测；图9e是图5场景中异常违规事件检测；图9f蓝色的框是GMM的检测结果，而红色的框是我们利用图4场景中的语义场景模型分割的结果。从以上实验结果可以看出，本发明提出的方法是有效的。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。

Claims (8)

1.用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，该方法包括以下步骤：

步骤S1：利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据，对目标进行目标检测和跟踪；

步骤S2：基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；

步骤S3：对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类结果；

步骤S4：根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和实现应用。

2.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，所述目标的多种特征是场景上下文信息和目标的表象信息。

3.如权利要求2所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，所述场景上下文信息为目标的大小，面积，长宽比。

4.如权利要求2所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，所述目标的表象信息为局部二值模型特征。

5.如权利要求2所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，根据分类器的分类结果，将目标分为行人和车辆。

6.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，所述的分类器是利用基于线性判别分析的分类器和基于提升算法的分类器的协同学习得到最终的分类器；该分类器利用输入的第t个样本x_t，分别用线性判别分析的分类器和提升算法的分类器给标签y_t，

然后，基于这些标注的训练样本更新分类器。

7.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，所述轨迹聚类的步骤如下：

步骤S31：利用二次曲线参数化描述轨迹的完整性，基于轨迹的完整性特征，利用高斯混合模型学习每类目标的所有运动模式；

步骤S32：通过采取在线更新的方式，根据高斯的权重滤除掉异常的轨迹，并且学习得到交通场景中的运动模式；

步骤S33：利用图切割算法，对学习得到的运动模式进行聚类。

8.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，所述的协同学习(Co-training)算法能利用特征1的分类器和特征2的分类器对样本x_t进行自动标注类标y_t，

从而减少人工标注样本的数量，并且能利用多种特征的性能提升分类器的分类性能。

Images