CN104200218A - 一种基于时序信息的跨视角动作识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于时序信息的跨视角动作识别方法及系统，本发明涉及模式识别领域技术。该方法包括检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。

Description

一种基于时序信息的跨视角动作识别方法及系统

技术领域

本发明涉及模式识别领域技术，特别涉及一种基于时序信息的跨视角动作识别方法及系统。

背景技术

随着摄像机成本的降低，以及人们公共安全意识的提高，视频监控受到越来越多的关注。但是单一视角具有局限性，受到场景结构的约束，因此多视角的视频监控应运而生。如图2所示，有某一视角(源视角)的视频和动作类别数据，如何利用这些信息对另一视角(目标视角)的动作视频进行分类识别，通常，主流的动作识别框架如图3所示。

跨视角动作识别是计算机视觉、图像处理、模式识别、机器学习、人工智能等多个学科的交叉研究领域，具有深远理论研究意义和很强实用价值，可应用于视频监控、运动训练、医疗康复等实际应用领域。

跨视角动作识别技术的关键挑战是相同动作在不同视角下具有不同的表观特征，比如同为踢腿的动作，从正对运动者、侧对运动者和俯视运动者的视角，得到的视频数据是完全不同的，特别是俯视的视角差异性最大，这样就提高了动作识别的难度，为解决这一问题，现有的具有视角不变性的动作识别技术主要从构造视角不变特征和跨视角学习方法两个方面增强对视角变换的鲁棒性。

特征层面的研究方法多基于表观信息，一种基于人体关节轨迹的视角不变特征，如图4所示，该方法将人体关节结构看成由一系列三点骨架结构组成，根据不同视角下，三点骨架结构的对应关系，进行跨视角动作识别。一种基于轮廓的视角不变特征，如图5所示，该方法基于人体轮廓进行3D重建，将图片视角作为隐变量，利用隐马尔科夫模型实现动作识别。一种基于时序自相关的视角不变特征，该方法从原始视频中提取Hog、Hof特征，计算任意两帧之间的相似度，构成自相关矩阵，描述不同视角下的运动视频。

跨视角学习方法主要在构建模型和判别分类阶段学习减少视角差异性的方法。一种构建二分图的学习方法，该方法在源视角和目标视角分别提取单词，构成二分图，通过二分图分割得到跨视角的单词，根据该跨视角单词对原始视频重新生成直方图，得到具有视角不变性的视频表示。一种构建虚拟路径的方法，该方法在源视角和目标视角间建立了多层线性变换，实现不同视角的迁移。

根据目标视角包含的信息，以上具有视角不变性的动作识别技术可以分为三个模式：对应模式、部分标注模式和无标注模式。对应模式为训练时动作视频没有标注，但有不同视角下的对应关系；部分标注模式为目标视角部分标注，而无标注模式为目标视角既没有与源视角的对应关系，也没有任何标注。这三种模式依次监督减弱，难度增加。

现有的具有视角不变性的动作识别技术存在以下两点问题。首先，现有特征多基于表观信息，且需要良好人体轨迹跟踪性能，不同视角下相同动作的表观信息差异很大，但是时序信息相似，时序信息的视角不变性有待于进一步挖掘，同时，现有学习方法大多针对对应模式和部分标注模式，需要较多的监督信息，实际应用中目标视角不一定有标注。

发明专利“一种基于局部特征的人体动作识别方法”，该发明公开了一种基于局部特征的人体动作识别方法，所述方法包括以下步骤：人体检测和区域划分；从动作视频序列中提取时空兴趣点特征以及相应的位置信息；根据区域划分结果对时空兴趣点进行空间分类；分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点；通过聚类算法对训练集中的每个特定人体区域包含的时空兴趣点进行聚类，获取相应词典；通过词袋模型分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征；采用分类器对人体动作进行建模，从而实现动作识别。但是本发明通过利用人体局部显著特性来提高人体动作识别的准确率，该发明与本发明有着明显不同。

发明内容

针对现有技术的不足，本发明提出可以通过利用时序信息的视角不变性来实现跨视角动作识别。因此，本发明提出了一种新的运动强度时序累积的动作视频特征，同时，针对无标注模式缺少监督信息的问题，可以利用弱监督的跨视角度量学习方法解决，该方法首先对无标注的目标视角视频进行粗粒度的标注，然后利用源视角和目标视角的粗粒度标注信息进行跨视角度量学习，得到跨视角的度量方法，并运用于最终的分类识别。

本发明提出一种基于时序信息的跨视角动作识别方法，包括：

步骤1，检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；

步骤2，根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；

步骤3，根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；

步骤4，根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；

步骤5，通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。

所述的基于时序信息的跨视角动作识别方法，该步骤2中该时序积累的步骤包括：根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。

所述的基于时序信息的跨视角动作识别方法，通过以下公式将每段的运动强度累加：

$f=(f_{S_1},f_{S_2},...,f_{S_n})$

$f_{S_i}=\underset{P_j\∈S_i}{\mathrm{\Σ}}{r}_{P_j}/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{S_l}$

Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为该第i个时序段视频的该感兴趣点的运动强度。

所述的基于时序信息的跨视角动作识别方法，该步骤3中对该目标视角视频进行粗粒度标注的步骤包括：

步骤31，根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型；

步骤32，将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。

所述的基于时序信息的跨视角动作识别方法，在该步骤4和该步骤5之间还包括：将该目标视角视频的该运动特征描述输入到该特征空间模型。

本发明还提出一种基于时序信息的跨视角动作识别系统，包括：

提取运动强度模块，用于检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；

获得运动特征描述模块，用于根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；

获得粗粒度标注信息模块，用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；

获得跨视角度量方法模块，用于根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；

动作识别模块，用于通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。

所述的基于时序信息的跨视角动作识别系统，该获得运动特征描述模块还包括时序积累模块：用于根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。

所述的基于时序信息的跨视角动作识别系统，通过以下公式将每段的运动强度累加：

$f=(f_{S_1},f_{S_2},...,f_{S_n})$

$f_{S_i}=\underset{P_j\∈S_i}{\mathrm{\Σ}}{r}_{P_j}/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{S_l}$

Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为该第i个时序段视频的该感兴趣点的运动强度。

所述的基于时序信息的跨视角动作识别系统，该获得粗粒度标注信息模块还包括粗粒度标注模块：

用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型；将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。

所述的基于时序信息的跨视角动作识别系统，还包括输入模块：用于将该目标视角视频的该运动特征描述输入到该特征空间模型。

由以上方案可知，本发明的优点在于：

首先对每个运动视频检测感兴趣点，提取其运动强度，然后将视频在时序上分段，累积每段上的感兴趣点运动强度，该运动强度时序累积序列即为运动视频的特征描述，该运动视频特征充分利用了时序信息的视角不变性，解决了不同视角下表观信息差异问题；利用源视角的视频信息构建粗粒度的类别，该粗粒度类别构建时应尽量满足：属于相同细粒度类别的视频被分到相同的粗粒度类别内，然后利用该粗粒度类别对目标视角进行粗粒度分类，使原始没有标注的目标视角视频具有粗粒度的标注信息；利用源视角和目标视角的粗粒度标注信息进行跨视角度量学习，得到跨视角的度量方法，并运用于最终的分类识别，实现弱监督的跨视角运动识别。

附图说明

图1为本发明的总体流程图；

图2为跨视角动作识别示意图；

图3为动作识别流程框架图；

图4为基于三点骨架结构的特征层面研究方法示意图；

图5为基于轮廓的特征层面研究方法示意图；

图6为检测感兴趣点，提取运动强度示意图；

图7为将运动强度进行时序累积得到运动视频的特征描述示意图；

图8为通过粗粒度类别和跨视角度量方法完成动作识别示意图；

图9为构建粗粒度类别算法示意图。

其中附图标记为：

步骤100为本发明的整体步骤，包括：

步骤101/102/103/104/105。

具体实施方式

下面结合附图和实施例详细对本发明的具体实施方式进行说明。

以下为本发明的总体步骤，具体如下：

首先执行步骤101，检测运动视频的感兴趣点，并提取该感兴趣点的运动强度；执行步骤102，将运动强度进行时序累积得到该运动视频的运动特征描述；执行步骤103，构建粗粒度的类别，对目标视角进行粗粒度分类，使原始没有标注的目标视角视频具有粗粒度的标注信息；执行步骤104，利用粗粒度标注信息进行度量学习，得到跨视角的度量方法；执行步骤105，利用跨视角度量方法进行目标视角分类，实现弱监督的跨视角运动识别。

以下为本发明总体步骤中各步骤的具体实现方式，如下所示：

步骤101，检测感兴趣点，提取运动强度，如图6所示：

给定一段运动视频，检测其感兴趣点，并对每个感兴趣点提取运动强度。运动强度响应公式如公式1所示。其中R表示感兴趣点的运动强度响应，I为输入的视频，g为空间域的高斯平滑，h_ev和h_od为一对正交的时域滤波器。基于感兴趣点的视频描述，是一种稀疏采样的方法，该方法能够减少噪声的干扰，使特征具有更好的判别能力。

R＝(I*g*h_ev)²+(I*g*h_od)²

$h_{\mathrm{ev}}(t;\mathrm{\τ},\mathrm{\ω})=-\cos \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2}$

$h_{\mathrm{od}}(t;\mathrm{\τ},\mathrm{\ω})=-\sin \left(2\mathrm{\πt\ω}\right)e^{{-t}^2/{\mathrm{\τ}}^2}$

公式1

步骤102，将运动强度进行时序累积得到运动视频的运动特征描述，如图7所示：

因为时序信息具有很强的动作区分度和视角不变性，所以利用时序信息可以很好地解决跨视角动作识别问题，即一段运动可以被看作由有限个有限时间长度的小段组成，例如，把“左腿向前”“右腿向前”看作两个独立的小段，则走路的运动可以看作由有限个这样的小段组成：“左腿向前->右腿向前->左腿向前->右腿向前”，本发明的方法是将运动视频在时序上分段，将每段上感兴趣点的运动强度累加作为该时序的运动强度特征，得到的运动强度时序累积序列即为运动视频的特征描述，如公式2所示，该公式中f为运动强度时序累积特征，Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为Pj的运动强度，该运动视频特征充分利用了时序信息的视角不变性，解决了不同视角下表观信息差异问题。

$f=(f_{S_1},f_{S_2},...,f_{S_n})$

$f_{S_i}=\underset{P_j\∈S_i}{\mathrm{\Σ}}{r}_{P_j}/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{S_l}$

公式2

步骤103，构建粗粒度的类别，对目标视角粗粒度标注，如图8所示：

利用已有标注的源视角视频信息构建粗粒度的类别(图8(a)->(c))。在构建粗粒度类别算法中(见图9)，代表实际类别，代表粗粒度的类别，μ_j是V_j中样本的均值，构建粗粒度的分类矩阵A∈R^k×m，该矩阵的行对应于实际类别，列对应于粗粒度的类别，矩阵中的元素a_ij代表实际类别为C_i类，粗粒度类别为V_j类的样本的个数。b_i代表矩阵A中第i行的最大值，实际类别C_i类被分类到粗粒度V_x类中，其中x为b_i所在的列号，由于粗粒度类别是由实际类别聚类得到的，为保证准确率，属于同一实际类别的样本应该尽量分类到相同的粗粒度类别内，这意味着需要最大化矩阵A中每行b_i值的和，优化该每行b_i值的和的函数见公式3。

$\max \mathrm{}\mathrm{score}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{b}_i$

$b_i=\max a_{\mathrm{ij}};\∀j\∈[1,m]$

公式3

然后利用该粗粒度类别对目标视角进行粗粒度标注(图8(b)->(d))，具体的标注方法为：以步骤102中的视频描述方法作为动作的特征(即运动特征描述)，粗粒度类别信息作为运动视频的标注，在源视角视频上构建特征空间模型，可以得到不同类别的运动视频具有怎样的运动特征描述形式；然后将没有标注的目标视角视频特征输入该模型，通过相似性度量比较，根据目标视角视频跟哪一类运动视频特征最相似，可对目标视角的视频进行分类，得到目标视角视频的标注。这样，原始没有标注的目标视角视频就具有了粗粒度的标注信息。

步骤104，跨视角度量学习，得到跨视角度量方法，如图8所示：

利用源视角和目标视角的粗粒度标注信息，并通过度量学习方法，同时对该源视角和目标视角进行度量学习，得到跨视角度量方法(图8(e))。该度量学习方法采用LMNN方法(最大间隔最近邻方法)，公式4给出了LMNN方法的损失函数，其中x为输入的运动特征描述，L为输入空间的线性变换，x_i、x_j为相同类别的运动特征描述，x_l也为运动特征描述，如果其与x_i类别相同，则y_il为1，类别不同，则y_il为0，该方法是在k近邻分类中学习一种欧式距离度量函数，k近邻是模式识别领域广泛使用的一种分类方法，该方法是根据样本周围k个邻居样本的标注信息得到该样本的标注，LMNN方法的优化目标就是使得样本周围的k个邻居样本都属于同一个类别，而不同类别的样本与该样本保持一定大的距离，该基于欧氏距离度量学习方法能很好的改善k近邻算法的分类效果。该步骤中通过同时利用源视角和目标视角的数据进行度量学习，一方面可以滤除样本的波动，另一方面可以同时利用源视角和目标视角的统计规律，充分利用了时序信息的视角不变性和不同视角的视频数据信息。

公式4

步骤105，利用跨视角度量方法进行目标视角分类，见图8。

学习得到的跨视角度量方法可直接运用在最终的跨视角动作识别中，实现弱监督的跨视角人体动作分类识别(图8(f)->(g))，具体的动作分类识别方法为：首先以步骤102中的视频描述方法作为动作的特征，实际类别信息作为运动视频的标注，在源视角视频上构建特征空间模型，可以得到不同类别的运动视频具有怎样的动作特征描述形式。在该模型中，特征之间相似度的度量采用步骤104中学习的跨视角度量方法。然后将目标视角视频的运动特征描述输入该模型，通过基于跨视角度量方法的相似性度量比较，根据目标视角视频跟哪一类运动视频运动特征描述最相似，可对目标视角的视频进行分类，得到目标视角视频的类别。

本发明的系统包括以下模块：

提取运动强度模块，用于检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；

获得运动特征描述模块，用于根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；

获得粗粒度标注信息模块，用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；

获得跨视角度量方法模块，用于根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；

动作识别模块，用于通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。

该获得运动特征描述模块还包括时序积累模块：用于根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。

该获得粗粒度标注信息模块还包括粗粒度标注模块：用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型；将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。

输入模块：用于将该目标视角视频的该运动特征描述输入到该特征空间模型。

Claims (10)

1.一种基于时序信息的跨视角动作识别方法，其特征在于，包括：

步骤1，检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；

步骤2，根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；

步骤3，根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；

步骤4，根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；

步骤5，通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。

2.如权利要求1所述的基于时序信息的跨视角动作识别方法，其特征在于，该步骤2中该时序积累的步骤包括：根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。

3.如权利要求2所述的基于时序信息的跨视角动作识别方法，其特征在于，通过以下公式将每段的运动强度累加：

$f=(f_{S_1},f_{S_2},...,f_{S_n})$

$f_{S_i}=\underset{P_j\∈S_i}{\mathrm{\Σ}}{r}_{P_j}/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{S_i}$

Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为该第i个时序段视频的该感兴趣点的运动强度。

4.如权利要求1所述的基于时序信息的跨视角动作识别方法，其特征在于，该步骤3中对该目标视角视频进行粗粒度标注的步骤包括：

步骤31，根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型；

步骤32，将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。

5.如权利要求1或4所述的基于时序信息的跨视角动作识别方法，其特征在于，在该步骤4和该步骤5之间还包括：将该目标视角视频的该运动特征描述输入到该特征空间模型。

6.一种基于时序信息的跨视角动作识别系统，其特征在于，包括：

提取运动强度模块，用于检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；

获得运动特征描述模块，用于根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；

获得粗粒度标注信息模块，用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；

获得跨视角度量方法模块，用于根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；

动作识别模块，用于通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。

7.如权利要求6所述的基于时序信息的跨视角动作识别系统，其特征在于，该获得运动特征描述模块还包括时序积累模块：用于根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。

8.如权利要求7所述的基于时序信息的跨视角动作识别系统，其特征在于，通过以下公式将每段的运动强度累加：

$f=(f_{S_1},f_{S_2},...,f_{S_n})$

$f_{S_i}=\underset{P_j\∈S_i}{\mathrm{\Σ}}{r}_{P_j}/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{f}_{S_i}$

Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为该第i个时序段视频的该感兴趣点的运动强度。

9.如权利要求6所述的基于时序信息的跨视角动作识别系统，其特征在于，该获得粗粒度标注信息模块还包括粗粒度标注模块：

用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型；将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。

10.如权利要求6或9所述的基于时序信息的跨视角动作识别系统，其特征在于，还包括输入模块：用于将该目标视角视频的该运动特征描述输入到该特征空间模型。