CN104268520A

CN104268520A - 一种基于深度运动轨迹的人体动作识别方法

Info

Publication number: CN104268520A
Application number: CN201410485407.8A
Authority: CN
Inventors: 张桦; 高赞; 宋健明; 薛彦兵; 徐光平
Original assignee: Tianjin University of Technology
Current assignee: Tianjin University of Technology
Priority date: 2014-09-22
Filing date: 2014-09-22
Publication date: 2015-01-07

Abstract

本发明公开了一种基于深度运动轨迹的人体动作识别方法，实现对基于深度信息的人体动作鲁棒描述和识别。具体包含以下步骤：（1）视频预处理，（2）多尺度空间构建，（3）各尺度空间的空间网格化及特征点选取，（4）特征点跟踪，（5）基于深度运动轨迹的描述（6）基于“词袋”方法的特征归一化，（7）基于SVM的动作识别。本发明的优点是通过深度运动轨迹对人体运动进行描述，具有非常好的鲁棒性和有效性，实现了高效的人体动作识别。

Description

一种基于深度运动轨迹的人体动作识别方法

技术领域

本发明属于计算机视觉和模式识别技术领域，涉及一种基于深度运动轨迹的人体动作识别方法，用于对深度人体动作进行鲁棒和高效的描述，从而进行高效的人体动作识别。

背景技术

人体动作识别在计算机视觉领域是一个非常活跃的研究课题，并且随着计算机的发展，已经在许多领域得到了广泛的应用，例如：视频监控、人机交互和视频分析等。随着微软发布了Kinect，越来越多的研究者开始关注Kinect中的深度数据。相对于RGB数据，深度数据有以下几个优势：首先，深度数据能提供纯粹的几何形状和清晰的边缘，因此在图像分割、目标识别以及动作识别中比RGB数据中的颜色和纹理有更好的区分性；其次，深度图像对光照的变化是不敏感的，因此可以使用深度图像解决视觉上的许多问题。

正是由于深度数据具有RGB数据所不能比拟的优点，因此，更多研究者们开始关注基于深度数据的动作识别算法。虽然目前已经提出了一些基于深度数据的动作识别算法，但是由于深度传感器的限制，获取的深度数据有以下几个特征：1）像素值跳变比较大，尤其在边缘区域；2）在相同位置处，深度值都相同，区分性小。正是由于以上原因，造成对深度动作数据的描述困难，导致现有的基于深度数据的动作识别算法性能有待提高。

发明内容

本发明的目的是克服现有技术的上述不足，提供了一种基于深度运动轨迹的人体动作识别方法，用于对深度人体动作进行鲁棒和高效地描述，提高动作识别的性能。

本发明提供的基于深度运动轨迹的人体动作识别方法，针对深度数据的特点，通过对时空兴趣点的运动轨迹进行描述，从而克服深度数据的不足，实现更为鲁棒的深度人体动作的描述，从而进行高效的人体动作识别。该方法具体包含以下步骤：

第1、视频预处理

由于从设备中采集的深度数据包括许多噪声、空洞，所以需要使用平滑和修补算法过滤噪声和修补空洞；对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后续的处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人体；

第2、多尺度空间图像构建

在对深度图像序列预处理后，为了能够获得更为鲁棒的点，对每幅图像进行尺度构建，从而获得多尺度空间图像；

第3、各尺度空间图像的网格化及兴趣点的提取

在多尺度图像的基础上，对多尺度图像分别进行网格化，使得每个网络中尽量包含相同数目的像素，然后，在每个网格内，选取一个兴趣点作为待跟踪特征点，并保存对应点的位置信息；

第4、特征点跟踪

针对已经选择的待跟踪特征点，使用光流法进行跟踪，并保留每一步的跟踪结果和对应的位置信息；

第5、基于深度运动轨迹的描述

在特征点跟踪的基础上，针对跟踪前后的特征点，相邻位置做差，将这些差值串联起来，构成了运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个点，以HOG-HOF描述子对兴趣点的轨迹信息进行描述；具体步骤包括：

第5.1 在预处理后的深度图像上，采用下采样的方法构建多尺度图像空间；

第5.2 针对多尺度图像空间，对各层图像分别进行网络化，并使得每个网格具有相同的像素数，同时，选取每个网格的中心作为待跟踪的特征点；

第5.3 针对每个待跟踪的特征点，采用光流法对其进行跟踪，并保留对应的跟踪结果；

第5.4 在特征点跟踪的基础上，根据跟踪结果，计算相邻位置差，并将这些差值串联起来，构成其运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个点，以HOG-HOF描述子对兴趣点的轨迹信息进行描述；

第6、码书构建和基于“词袋”的特征归一化

在这些提取时空兴趣点的基础上，采用K-means方法，针对第4步提取的时空兴趣点和第5步中对兴趣点的描述，采用“词袋”方法对这些兴趣点进行归一化，并保存对应的结果；

第7、基于SVM的动作识别

根据第6步所获得的特征，根据训练集样本，采用交叉认证方法训练一个多类支持向量机分类器，其中支持向量机的核函数为径向基核函数；这样，通过训练，可以获得对应模型的参数，构建了SVM分类器模型，完成动作识别。

本发明提供的基于深度运动轨迹的人体动作识别方法，对基于深度信息的人体动作进行描述，通过深度运动轨迹解决基于深度人体动作识别方法由于深度图像中像素值跳变比较大，尤其在边缘区域，以及在相同位置处，深度值都相同，区分性小等难题，对深度人体动作具有非常好的鲁棒性和有效性，实现了高效的人体动作识别。

本发明的优点和有益效果；

1）通过深度图像序列实现对目标进行监控，解决了由于光照变化等因素带来的影响；

2）充分分析深度图像序列特点，实现了基于深度运动轨迹的人体动作描述，具有非常好的鲁棒性和有效性，实现了高效的人体动作识别。

附图说明

图1为本发明的流程图。

图2为基于深度运动轨迹的人体动作描述流程图；其中，（a）为在深度图像序列上的不同尺度空间图像的构建以及网格化后兴趣点的选取，（b）为针对不同尺度空间图像上待跟踪的兴趣点进行跟踪，(c)为根据跟踪结果，形成跟踪轨迹，并采用HOG和HOF对其进行描述；

图3 为RGB和深度图像的对比，其中（a）表示RGB图像，（b）为人体标定区域，（c）为深度图像；

图4为不同动作下提取的深度时空兴趣点示意图；

图5为基于“词袋”方法对时空兴趣点的投影和归一化流程；

图6为基于深度运动轨迹的人体动作识别示意图；

图7为本发明在DHA深度数据集上的性能评估以及与其它算法的性能比较；

图8为本发明在MSRAction3D深度数据集上的性能评估，其中AS1，AS2和AS3分别表示MSRAction3D数据集上三个不同的动作分组，且每一个分组分别使用三种方法测试三次，分别为Test One，Test Two，Cross Subject Test。在Test One中，随机选取3/1的样本作为训练样本，2/3的样本作为测试样本，在Test Two中，随机选取2/3样本作为训练样本，1/3样本作为测试样本，而在Cross Subject Test中，随机选取1/2人的样本作为训练样本，剩下的作为测试样本。具体分组和测试方法可以参见：http://research.microsoft.com/en-us/um/people/zliu/ActionRecoRsrc/default.htm

具体实施方式

下面结合附图对本发明作进一步的描述。

实施例 1

如图1所示，为本发明的基于深度运动轨迹的人体动作识别方法的操作流程图，该方法的操作步骤包括：

步骤 10 视频预处理

由于从设备中采集的深度数据包括许多噪声、空洞，所以使用中值滤波对其进行平滑和去噪，同时，当某个或某些像素点出现空洞时，使用其周围的8个像素的中值进行替代，从而修补对应的空洞。对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后续的处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人体。在具体实现中，当在深度图像中遇到空洞时，采用其周边像素的中值替代空洞的值，而人体与背景的分割，则根据距离信息进行处理。具体为：统计所有像素的距离分布，找出其最大值和最小值，当某个像素的值大于最大值的百分之八十时，则认为该像素是背景信息；如果某个像素值小于2倍的最小值，则认为是前景干扰因素；这样，其它情况则认为是人体信息。具体定义如下所示：

(1)

其中代表深度图像中像素的深度值，代表两个不同的阈值，且，实施例中，根据实验统计，距离的最大值和最小值分别为：Max = 3.25, Min = 0.5，则= 2.6， =1。

步骤 20 多尺度图像空间构建

为了能够获得更为鲁棒的点，在预处理后的深度图像上，对每幅图像进行尺度构建，从而获得多尺度图像，具体措施为：首先，以原始图像为多尺度图像的第一层，其次，以该图像为基础，下采样该图像，使其图像的行和列都变为原来的一半，并把其作为多尺度图像的第二层，然后，继续以第二层图像为基础，同样，使其行和列变为一半，依次类推，直到多尺度图像达到五层为止，从而完成多尺度图像空间的构建。

步骤 30 各尺度图像空间的网格化及兴趣点的提取

为了能够充分地对人体动作进行描述，在多尺度图像的基础上，对多尺度图像分别进行网格化，使得每个网络中尽量包含相同数目的像素，然后，在每个网格内，选取一个兴趣点作为待跟踪特征点，并保存对应点的位置信息。在实验中，网格的大小为5，换句话说，在5个像素中，取一个像素为待跟踪的兴趣点。

步骤 40 特征点跟踪

由于人体运动导致对应的像素也会运动，如果能够跟踪对应像素的运动，那么也就能够较好的描述对应的人体运动。因此，在本发明中，使用了光流法来检测和跟踪运动的像素。另外，在追踪中，由于常常会出现漂移问题，且在追踪过程中，轨迹会从初始位置就开始漂移。为了解决这个问题，就需要限制追踪的图像帧长度L。当追踪的图像帧超过了最大帧长度L，就需要停止此次追踪，具体实现中，根据动作的完整性进行统计，一般一个动作会在100帧内完成，所以L=100。具体跟踪方法参考：Gunnar Farnebäck. Two-frame motion estimation based on polynomial expansion. In Scandinavian Conference on Image Analysis, 2003.

步骤 50 基于深度运动轨迹的描述

由于深度传感器的限制，获取的深度数据在边缘像素值跳变比较大，而在其它区域区分性较小，这样造成对深度动作数据的描述困难，导致现有的基于深度数据的动作识别算法性能有待提高。因此，在本发明中，在步骤40的基础上，根据兴趣点运动的轨迹信息，对动作进行描述，这样可以有效的避免深度数据的缺点。具体为：针对每个时空兴趣点，采用HOG(histograms of oriented gradients )- HOF(histograms of optical flow)描述子对点进行描述。其具体过程见图2所示，同时，图4给出了具体的检测到的兴趣点。HOG/HOF的具体描述见：

1） Navneet Dalal and Bill Triggs. Histograms of oriented gradients for human detection. In CVPR, 2005

2） Ming-yu Chen and Alex Hauptmann, MoSIFT: Recognizing Human Actions in Surveillance Videos，CMU-CS-09-161.

步骤 60 码书构建和基于“词袋”的特征归一化

在步骤 30中已经提取了深度时空兴趣点，并且基于深度运动轨迹对兴趣点进行了描述。在这些基础上，采用K-Means方法，为其构建码字大小为1000的码书，然后，针对每个深度动作提取所有兴趣点，采用“词袋”方法，将这些时空兴趣点特征投影到码书上，并采用各自动作的兴趣点数目进行归一化，实现对其动作的描述。其过程如图5所示，具体码书构建和兴趣点投影方法可以参考Jun Yang, Yu-Gang Jiang, Alexander G. Hauptmann etc, Evaluating bag-of-visual-words representations in scene classification[C], International Multimedia Conference, MM'07, 2007, 197-206.

步骤 70 基于 SVM 的动作识别

SVM是Vapnik等人提出的以结构风险最小化理论（Structural Risk Minimization, SRM）为核心的一种统计学习算法，它是对传统的基于经验风险最小化准则（Empirical Risk Minimization, ERM）的学习算法的改进，后者虽然可以使训练误差最小化，但并不能最小化学习过程的推广误差。所谓结构风险最小化，即在保证分类精度（经验风险）的同时，通过最小化推广误差的上确界，使学习机在整个样本集上的期望风险得到控制。SVM的基本思想是：通过某种非线性映射，即满足Mercer定理的核函数，将输入的有限样本集X映射到一个高维线性特征空间，在这个空间中构造一个最优分类超平面，尽可能地将两类样本正确分开，同时使正负样本集的分类间隔最大，最终获得最佳推广性能。

本发明在DHA和MSR action 3D等深度动作数据集上分别进行了评测，其实验结果分别如图7和图8所示。实验结果显示，基于深度运动轨迹的人体动作描述方法具有较好的区分性和鲁棒性，其性能与一些先进的且具有代表性的算法具有可比性。在训练模型的过程中，使用LIBSVM工具箱来训练模型，并找到最优的模型参数，其具体方法见参考文献：LIBSVM: www.csie.ntu.edu.tw/∼cjlin/Lib-svm/。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于深度运动轨迹的人体动作识别方法，实现对基于深度信息的人体动作的鲁棒描述，具有非常好的鲁棒性和有效性，其特征在于该方法具体包含以下步骤：