CN101866429B - 多运动目标动作行为识别的训练方法和识别方法 - Google Patents

Abstract

本发明提供一种多运动目标动作行为识别的训练方法，包括：从视频数据中提取每个运动目标的运动轨迹信息；为运动目标的运动轨迹信息分层，在各个所述层次上为多运动目标动作行为的运动模式建模；综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征至少包括使用高斯过程描述运动轨迹的三维超参数向量；根据特征训练分类器。本发明还提出了多运动目标动作行为识别方法，该方法利用训练方法得到的分类器实现视频中多运动目标动作行为的识别。本发明从概率角度使用高斯过程来表述目标的运动轨迹，从三个粒度层次上对多人行为模式进行建模提取特征，使得对多人行为的表述更符合实际。

Description

多运动目标动作行为识别的训练方法和识别方法

技术领域

本发明涉及基于内容的视频分析与动作识别领域，特别涉及多运动目标动作行为识别的训练方法和识别方法。

背景技术

随着信息技术的发展与应用，越来越多的数字化内容尤其是视频数据被不断地生产出来，这些视频数据中蕴含着丰富的语义信息，如何有效发掘利用这些信息是领域内的前沿研究方向。

视频内容通常由大量的物体及其运动行为所构成，对这些动作行为进行分析理解是视频内容分析的重要组成部分。随着视频监控系统的广泛部署，对视频中的行为分析和识别的需求也在不断增加，对分析识别内容的难度和准确性的要求也越来越高。

现有技术中存在对视频中的动作行为进行分析的相关方法，这些方法存在以下两个特点。第一个特点是现有方法主要针对少数目标的动作行为进行分析，比如对单个人的动作进行分类识别，对两个人有交互的行为进行识别等，缺乏对三人以上的群体动作行为进行分类的有效方法。这一特点使得现有方法在对群体动作行为进行分类、识别时效果不佳。例如，现有的广场监控系统目前能识别个人的行为，但还无法较好解决多人行为，比如打群架。第二个特点是现有方法在为运动行为建模时没有充分考虑动作行为自身的不确定性，对动作行为模式的表达能力不强，无法应用于对多人行为等类内差别很大的行为模式进行描述和分类。

针对现有技术中的动作行为分析方法所存在的上述问题，在参考文献1“Detecting Group Activities using Rigidity of Formation，Saad M.Khan andMubarak Shah，Proceedings of the 13th annual ACM international conferenceon Multimedia，page：403-406，2005”中提出了从整体考虑多人行为，并根据多人在三维空间中的位置结构不变性来进行识别的方法。但这种方法忽略了个人层次上的信息，并且仅依靠空间结构的关系约束并不能很好地适应多人行为表现多变的特征。在参考文献2“Learning Group Activity inSoccer Videos from Local Motion，Yu Kong，Weiming Hu，Xiaoqin Zhang，Hanzi Wang，and Yunde Jia，LECTURE NOTES IN COMPUTER SCIENCE，Asian Conference on Computer Vision(ACCV)，2009”中也提出过使用局部特征来进行群体行为识别的方法，但这种方法仅使用局部表观特征作为基础，不能从较高的语义层次上描述多人行为模式。

发明内容

本发明的目的是克服现有的动作行为分析方法在群体行为识别上的不足，从而提出多运动目标动作行为识别的训练方法和识别方法。

为了实现上述目的，本发明提供了一种多运动目标动作行为识别的训练方法，包括：

步骤1)、从视频数据中提取每个运动目标的运动轨迹信息；

步骤2)、为所述运动目标的运动轨迹信息分层，在各个所述层次上为多运动目标动作行为的运动模式建模；所述层次包括独立运动目标的层次、两个运动目标的交互层次以及多个运动目标的群体层次；

步骤3)、综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征至少包括使用高斯过程描述运动轨迹的三维超参数向量；

步骤4)、根据步骤3)所得到的特征训练分类器。

上述技术方案中，在所述的步骤2)中，所述的在各个所述层上为多运动目标动作行为的运动模式建模包括：

步骤2-1)、在独立运动目标的层上，为各个独立运动目标的运动行为建模；

步骤2-2)、在两个运动目标交互的层上，将多个运动目标中的任意两个的交互轨迹来描述运动目标间的交互行为，为任意两个运动目标间的交互行为建模；

步骤2-3)、在多个运动目标群体的层上，根据所有运动目标的交互轨迹集合所构成的群体轨迹为多个运动目标群体建模。

上述技术方案中，在所述的步骤3)中，所述特征还包括用于表示运动强度的一维向量和用于表示运动的复杂程度的一维向量，所述的步骤3)包括：

步骤3-1)、对步骤2)得到的所有运动轨迹进行高斯过程拟合，用迭代优化的方法得到的三维超参数向量作为对全局持续的运动模式的特征描述；

步骤3-2)、根据运动轨迹信息，计算运动目标速度大小的均值，作为对运动强度的特征描述；

步骤3-3)根据运动轨迹信息，计算运动目标速度方向改变的程度，作为对运动复杂度的特征描述。

上述技术方案中，所述的步骤4)包括：

步骤4-1)、将各个层上的特征做词袋操作，得到归一化特征直方图；

步骤4-2)、利用所述的归一化特征直方图训练分类器。

上述技术方案中，在所述的步骤4-2)中，首先将各个层上的归一化特征直方图连接成一个特征向量，然后利用该特征向量训练分类器。

上述技术方案中，在所述的步骤4-2)中，首先利用各个层上的归一化特征直方图分别训练分类器，所述分类器的识别结果的综合为动作行为识别的最终结果。

本发明还提供了一种多运动目标动作行为识别方法，包括：

步骤1)、从待识别视频数据中提取每个运动目标的运动轨迹信息；

步骤2)、为所述运动目标的运动轨迹信息分层，在各个所述层上为多运动目标动作行为的运动模式建模；所述层包括独立运动目标的层、两个运动目标交互的层以及多个运动目标群体的层；

步骤3)、综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征至少包括使用高斯过程描述运动轨迹的三维超参数向量；

步骤4)、利用所述的多运动目标动作行为识别的训练方法训练得到的分类器对步骤3)所得到的特征加以识别，从而完成对多运动目标的动作行为的识别。

本发明又提供了一种多运动目标动作行为识别方法，包括：

步骤1)、从待识别视频数据中提取每个运动目标的运动轨迹信息；

步骤2)、为所述运动目标的运动轨迹信息分层，在各个所述层上为多运动目标动作行为的运动模式建模；所述层包括独立运动目标的层、两个运动目标交互的层以及多个运动目标群体的层；

步骤3)、综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征包括使用高斯过程描述运动轨迹的三维超参数向量、用于表示运动强度的一维向量和用于表示运动的复杂程度的一维向量；

步骤4)、利用所述的多运动目标动作行为识别的训练方法训练得到的分类器对步骤3)所得到的特征加以识别，从而完成对多运动目标的动作行为的识别。

本发明的优点在于：

本发明提出的多人行为分析识别方法从概率角度使用高斯过程来表述目标的运动轨迹，从全局和局部、持续和瞬时等不同角度来分析运动特征，而且从三个粒度层次上对多人行为模式进行建模提取特征，使得对多人行为的表述更符合实际。本方法适用于多种内容类型的多人行为，可以取得很好的识别效果。

附图说明

图1为本发明的多运动目标动作行为训练方法的流程图；

图2为多人行为的三层运动模式建模示意图。

具体实施方式

下面结合附图和具体实施方式对本发明加以说明。

在当前视频中，人是主要的运动目标，因此在对本发明的多运动目标动作行为训练和识别方法进行说明的过程中，以人为例，对相关方法进行说明。由于本发明的方法是要对视频中的多人动作行为加以识别，因此所要处理的视频中一般应当包括有多人。

参考图1，在步骤S1中，从包含多人行为的视频数据中提取每个人的运动轨迹信息。从视频中提取个人的运动轨迹信息属于本领域技术人员的公知常识，采用现有技术中的相关方法，如对视频中的运动目标分别进行检测跟踪，从而得到每个目标的运动轨迹。目标的运动轨迹信息中包含视频帧号和该帧中运动目标的位置(可用画面坐标系中的x轴和y轴坐标表示)。在运动轨迹的提取过程中，为了得到比较理想的跟踪结果，作为一种优选实现方式，可以采用半监督的方式来做运动目标的检测跟踪，例如在开始阶段由人工标注出运动目标的位置，然后采用粒子滤波等方法跟踪目标的后续运动。在运动轨迹提取之前，为了解决多人运动中的某一个体可能在中途离开视频画面而造成的各目标运动轨迹长度不等的问题，可在一个优选实施例中首先对待处理的视频数据进行分割，把一段视频分成时长相等的视频片段(例如每段长度50到100帧)，然后再进行前述的运动轨迹提取过程。对视频的分段操作可以基本保证每个视频分段中的各个目标轨迹等长，同时也可以降低对目标跟踪的难度。在一个范例中，若视频片段中有5个人，则经过步骤S1后可得到这5个人各自的运动轨迹信息。

在步骤S2中，在步骤S1所生成的每个人的运动轨迹信息的基础上，将运动轨迹信息分为三个层次，如图2所示，分别在三个层次上对多人行为的运动模式进行建模。

第一层次：独立个人。把多人行为中的每个人看成独立的个体，仅对这个独立个体的运动行为进行建模。

第二层次：两人交互。把多人行为中的任意两个人当作研究对象，对这两个人的交互行为进行建模。在本发明中，使用交互轨迹来表示两个人之间的这种交互关系。交互轨迹一种抽象的运动轨迹，从两人各自的运动轨迹中获得，其具体定义如下面的公式(1)所示：

$T_{(a,b)}^i=T_a^i-T_b^i,i=1,...,n---\left(1\right)$

在上述公式中，Tⁱ表示人在第i帧中的位置，n是视频的总帧数，a、b则代表两个不同的人。

交互轨迹实质上包含了两人之间相对距离的变化信息，反映了两个人之间的交互行为模式。

第三层次：多人群体：将多人行为作为一个整体来考虑，对所有参与者整体上的行为模式进行建模。在本发明中使用一种群体轨迹来表示这种多人间的运动行为模式。群体轨迹也是一种抽象轨迹，以交互轨迹为基础，由所有人的运动轨迹得出，其具体定义如下面的公式(2)所示：

T＝{T_(a，b)|a，b∈G且a≠b}                   (2)

在上述公式中，a、b表示群体中的个人，G是群体运动中所有人组成的集合。

群体轨迹是交互轨迹的集合，由多人行为中的所有两人间的交互轨迹构成，反映的是这个群体整体上的行为模式。要对群体轨迹建模，可以采用群体轨迹的统计量(例如平均值、标准差等)作为其具体表现形式。

在步骤S3中，综合全局和局部的运动信息对运动模式进行特征描述。本发明以视频中各个运动目标的运动轨迹为基础，从全局持续和局部瞬时两方面来综合分析运动特征。在步骤S2中，对运动目标的运动轨迹做了分层描述，在本步骤中，也将以运动目标各个层次的运动轨迹为基础，来分析对应的运动特征。

在本发明中将一段运动轨迹看作是一段时间内运动目标整体上的运动模式，而且人在这种群体行为中的运动轨迹具有一定的不确定性，基于这一特点，本发明采用高斯过程来描述运动轨迹，其计算公式如下：

$T\left(t\right)=f\left(t\right)+\mathrm{\ϵ},\mathrm{\ϵ}~N(0,{\mathrm{\σ}}_n^2)$

在上述公式中，GP表示一个高斯过程，m为其均值函数，K为其协方差函数，ε是满足方差为σ_n ²的高斯分布的噪声，δ_ii’是Kronecker德尔塔函数。如公式(3)所示，f表示目标的运动满足高斯过程，T表示实际观测到的运动轨迹，当中包含了噪声ε的影响，但同样认为其满足高斯过程。这种表述从概率角度理解目标的运动，更符合实际情况。对高斯过程参数的选取：均值m取0，协方差函数K取平方指数(squared exponential)协方差函数，其计算如公式(4)所示：

$K(x,x^{\′})={{\mathrm{\σ}}_f}^2\exp (-\frac{{(x-x^{\′})}^2}{2l^2})---\left(4\right)$

其中，足函数f的期望方差，l是一个长度尺度参数。

综合考虑上述的公式(3)和公式(4)，前述的高斯过程可以通过一组超参数(hyper-parameters)θ来决定，所以在本发明中可用三维向量θ来描述满足高斯过程的运动轨迹，具体形式参见下面的公式(5)：

θ＝[σ_f l σ_n]                       (5)

依据实际得到的运动轨迹数据通过高斯过程拟合来得到超参数θ的具体数值，从而获得这些轨迹的特征表达。高斯过程的拟合一般通过优化对数似然函数来完成，优化函数形式如下面的公式(6)所示：

$L=\log p\left(T\right|t,\mathrm{\θ})=-\frac{1}{2}\log \left|\mathrm{\Σ}\right|-\frac{1}{2}{T}^T{\mathrm{\Σ}}^{-1}T-\frac{n}{2}\log \left(2\mathrm{\π}\right)---\left(6\right)$

对公式(6)优化求解θ有多种途径，一种可行的方法是对函数L求偏导数，然后用共轭梯度等数值优化方法迭代优化求解。作为一种优选实现方式，在本实施例中使用前述三维的超参数向量θ来描述一条的运动轨迹数据，降低了特征表示的复杂度，而且由于高斯过程是从概率角度阐释运动过程使得这种特征表述更符合实际情况，从而对多人运动的不确定性的表述能力也更强。

通过用上文介绍的方法对运动轨迹进行高斯过程拟合来表述全局持续的运动特征。而对局部瞬时的运动特征可以使用如下两种特征来表述：

1、绝对速度(指瞬时速度大小，不考虑方向)的平均值。此特征可以大体反映运动的剧烈程度。运动的瞬时速度可由目标在相邻两帧中的位置之差来近似获得。

2、运动的复杂系数，具体定义见公式(7)所示。此特征度量运动方向改变程度，以此来反映运动的复杂程度。

$r=\left|\mathrm{mean}\left(\stackrel{\→}{v}\right)\right|/\mathrm{mean}\left(\right|\stackrel{\→}{v}\left|\right)---\left(7\right)$

上文中所提到的用于描述运动轨迹的三维向量特征与绝对速度、运动复杂系数这两个特征组合在一起即可得到一个五维的特征向量，这一五维特征向量就是相应运动轨迹的运动特征。虽然在本实施例中，用上述的五维特征向量来表示运动轨迹的运动特征，但在其它实施例中，除了使用高斯过程描述运动轨迹的三维超参数向量θ以外，可以减少用于表示运动轨迹的运动特征的特征向量的数目，也可以用其它特征向量来表示运动轨迹的运动特征。

在一个实施例中，有一段长度为50帧的视频片段，该视频片段中的多人行为由5个人组成。通过前述的步骤S2，得到三组待提特征的轨迹：单人--5条50维(x，y分开考虑也可以当做100维，下同)的运动轨迹；双人--10

条50维的交互轨迹；群体--2条50维的群体轨迹的统计量(群体轨迹中的条数随采用的统计量的数量而变，例如当统计量包括均值、方差时，群体轨迹的条数为2)。对以上每条轨迹使用S3所述的方法提取特征，得到一个5维(3+1+1)的特征向量。也就是说，本实施例中的视频片段可生成17(5+10+2)个5维的特征向量。

在步骤S4中，根据步骤S3所生成的运动特征训练用于实现多人行为识别的分类器。具体的说，在步骤S3中，分三个层次得到了运动模式的特征向量。在本步骤中，做分类识别时，首先使用现有技术中所提到的词袋(bagof words)方法分别对上面三个层次得到的特征向量进行处理，得到维数相同的归一化特征直方图。然后综合使用三种类型的特征进行分类器的训练。

在上述说明中所述的分类器可以采用现有技术，如支持向量机(SVM)。如何实现分类器的训练也为本领域技术人员所公知，因此不再赘述。

在综合使用三种类型的特征时，具有不同的实现方式，包括特征级的综合与分类器级的综合。所述的特征级的综合是指在训练分类器之前，先将从每段视频数据提取的三个层次上的特征的归一化特征直方图连接成一个特征向量，然后再利用这一特征向量训练分类器。而所述的分类器级的综合是指先将三种类型的特征中的每种特征分别训练分类器，最终的识别结果综合考虑各个分类器的结果得到。分类器级的融合也可以采用多核学习(MKL)的方法。

继续以步骤S3中所涉及的实施例为例，对本步骤的实现过程加以说明。在又一个实施例中，有20段视频作为训练数据，每段视频切割成了10段如S3中实施例内的视频片段，则根据S3中实施例的描述，可以得到单人特征--20×10×5＝1000个(50个/段)；双人特征--20×10×10＝2000个(100个/段)；群体特征--20×10×2＝400个(20个/段)。然后分别进行Bag ofwords处理，以视频段为单位分别映射成8维的直方图向量。也就是得到单人--20个8维向量(将每段视频得到的50个5维原始特征变成1个8维直方图特征，下同)；双人--20个8维向量；群体--20个8维向量。然后用这些8维向量训练分类器。在训练分类器时，对于特征级融合，可以采用20个24(8+8+8)维向量训练分类器。对于分类器级融合，可用三种不同类型的20个8维向量分别训练出三个分类器，识别时综合考虑三个识别结果进行最终判决。

在上述说明中主要介绍了分类器的训练过程，在得到分类器以后就可以对待测试视频中的多人动作行为加以识别。待测试视频在做多人动作行为识别前，同样要对这些视频执行前面步骤S1中的运动轨迹信息提取、步骤S2中的运动轨迹分析、步骤S3中的运动特征提取等操作，在得到由运动特征所生成的归一化特征直方图后，由所述分类器根据归一化特征直方图中所包含的信息进行多人动作行为识别。

虽然在上面的说明中都以人为例，对人的动作行为加以识别。但本领域技术人员应当了解，本发明的方法同样可以应用于其它的运动目标，如动物、车辆等。

在参考文献3“B.Ni，S.Yan，and A.Kassim，“Recognizing human groupactivities with localized causalities，”IEEE Conference on Computer Vision andPattern Recognition(CVPR)，pp.1470-1477，2009”中，新加坡国立大学利用他们所提出的方法在一个多人行为视频数据集上做了多人行为识别的测试，该测试的平均识别率为73.5％。本发明在同一数据集上做了测试，当使用特征级综合时，平均识别率为91.7％，而使用分类器级综合时，平均识别率为91.8％。显而易见，本发明方法的识别效果好得多。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种多运动目标动作行为识别的训练方法，包括：

步骤1)、从视频数据中提取每个运动目标的运动轨迹信息；

步骤2)、为所述运动目标的运动轨迹信息分层，在各个所述层次上为多运动目标动作行为的运动模式建模；所述层次包括独立运动目标的层次、两个运动目标的交互层次以及多个运动目标的群体层次；

步骤3)、综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征至少包括使用高斯过程描述运动轨迹的三维超参数向量；

步骤4)、根据步骤3)所得到的特征训练分类器。

2.根据权利要求1所述的多运动目标动作行为识别的训练方法，其特征在于，在所述的步骤2)中，所述的在各个所述层上为多运动目标动作行为的运动模式建模包括：

步骤2-1)、在独立运动目标的层上，为各个独立运动目标的运动行为建模；

步骤2-2)、在两个运动目标交互的层上，将多个运动目标中的任意两个的交互轨迹来描述运动目标间的交互行为，为任意两个运动目标间的交互行为建模；

步骤2-3)、在多个运动目标群体的层上，根据所有运动目标的交互轨迹集合所构成的群体轨迹为多个运动目标群体建模。

3.根据权利要求1所述的多运动目标动作行为识别的训练方法，其特征在于，在所述的步骤3)中，所述特征还包括用于表示运动强度的一维向量和用于表示运动的复杂程度的一维向量，所述的步骤3)包括：

步骤3-1)、对步骤2)得到的所有运动轨迹进行高斯过程拟合，用迭代优化的方法得到的三维超参数向量作为对全局持续的运动模式的特征描述；

步骤3-2)、根据运动轨迹信息，计算运动目标速度大小的均值，作为对运动强度的特征描述；

步骤3-3)根据运动轨迹信息，计算运动目标速度方向改变的程度，作为对运动复杂度的特征描述。

4.根据权利要求1所述的多运动目标动作行为识别的训练方法，其特征在于，所述的步骤4)包括：

步骤4-1)、将各个层上的特征做词袋操作，得到归一化特征直方图；

步骤4-2)、利用所述的归一化特征直方图训练分类器。

5.根据权利要求4所述的多运动目标动作行为识别的训练方法，其特征在于，在所述的步骤4-2)中，首先将各个层上的归一化特征直方图连接成一个特征向量，然后利用该特征向量训练分类器。

6.根据权利要求4所述的多运动目标动作行为识别的训练方法，其特征在于，在所述的步骤4-2)中，首先利用各个层上的归一化特征直方图分别训练分类器，所述分类器的识别结果的综合为动作行为识别的最终结果。

7.一种多运动目标动作行为识别方法，包括：

步骤1)、从待识别视频数据中提取每个运动目标的运动轨迹信息；

步骤2)、为所述运动目标的运动轨迹信息分层，在各个所述层上为多运动目标动作行为的运动模式建模；所述层包括独立运动目标的层、两个运动目标交互的层以及多个运动目标群体的层；

步骤3)、综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征至少包括使用高斯过程描述运动轨迹的三维超参数向量；

步骤4)、利用权利要求1的多运动目标动作行为识别的训练方法训练得到的分类器对步骤3)所得到的特征加以识别，从而完成对多运动目标的动作行为的识别。

8.一种多运动目标动作行为识别方法，包括：

步骤1)、从待识别视频数据中提取每个运动目标的运动轨迹信息；

步骤2)、为所述运动目标的运动轨迹信息分层，在各个所述层上为多运动目标动作行为的运动模式建模；所述层包括独立运动目标的层、两个运动目标交互的层以及多个运动目标群体的层；

步骤3)、综合所述视频中的全局和局部的运动信息对所述运动模式的模型进行特征描述；所述特征包括使用高斯过程描述运动轨迹的三维超参数向量、用于表示运动强度的一维向量和用于表示运动的复杂程度的一维向量；

步骤4)、利用权利要求3的多运动目标动作行为识别的训练方法训练得到的分类器对步骤3)所得到的特征加以识别，从而完成对多运动目标的动作行为的识别。

Images