CN103605986A - 一种基于局部特征的人体动作识别方法 - Google Patents

Abstract

本发明公开了一种基于局部特征的人体动作识别方法，所述方法包括以下步骤：人体检测和区域划分；从动作视频序列中提取时空兴趣点特征以及相应的位置信息；根据区域划分结果对时空兴趣点进行空间分类；分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点；通过聚类算法对训练集中的每个特定人体区域包含的时空兴趣点进行聚类，获取相应词典；通过词袋模型分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征；采用分类器对人体动作进行建模，从而实现动作识别。本方法通过利用人体局部显著特性来提高人体动作识别的准确率。

Description

一种基于局部特征的人体动作识别方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于局部特征的人体动作识别方法。

背景技术

人体动作识别是计算机视觉研究中的重要领域，在计算机视觉中是一个极具有吸引力及挑战性的问题。人体运动的视觉分析是一个前沿研究领域，涉及模式识别、图像处理、计算机视觉、人工智能等多门学科。它可以广泛应用于许多领域，如：运动捕捉、人机交互、监控和安全、环境控制和监测、体育及娱乐分析等，特别是在视频监控方面可广泛应用于银行、邮电、教育、交通、公安、监狱、法庭、大型公共设施、公共场所（银行、医院等）、大型仓库及军事基地等场所，在国防与公共安全领域起着日益重要的作用。因此，人体动作的视觉分析具有极大的商业价值与现实意义。

人体动作识别是对包含人体运动的图像序列进行运动目标的检测和跟踪，并在此基础上利用人体动作的动态变化特征对特定动作进行建模和识别。对人体运动的表示方法通常为：基于表观的表示方法，该方法是提取图像的颜色信息或者灰度信息，然后对人的运动进行分析，而不对人体的物理结构进行直接建模。最简单的基于表观的表示方法是直接利用图像的信息进行分析，如Yamato等人^[1]采用二维网格特征作为人的运动特征来描述人体运动，这种方法比较简单，但是精度较低；第二类基于表观的表示方法是利用人的轮廓或者区域信息进行分析，如Kale等人^[2]采用基于人体轮廓的方法来解决步态识别问题，这种方法精度较高，复杂度也较小；第三类基于表观的表示方法是利用人的运动信息（光流、目标轨迹以及速度等），如Psarrou等人^[3]采用时空轨迹来表达人的行为，但是这种方法计算量大，不够鲁棒。

在最近的研究中，很多研究者提出了一种基于时空兴趣点的动作表示方法。如Laptev等人^[4]将Harris角点^[5]检测思想扩展到时空域得到了一种时空兴趣点的检测方法并用时空兴趣点构成的点集来表示动作，然后用时空兴趣点构建“时空视觉词”，将“时空视觉词”出现次数构成的直方图作为动作特征，进而对人体动作进行分类识别。这种基于时空兴趣点的人体动作表示方法鲁棒性好，在人体动作识别方面展现出了强大的优势。然而，在构建动作特征的过程中，时空兴趣点的空间位置信息以及点与点之间的空间位置关系几乎被完全的丢弃，导致人体动作的识别精度较低，因此需要在人体动作特征中加入局部特征的识别方法来提高动作识别的精度。

发明内容

本发明提供了一种基于局部特征的人体动作识别方法，本发明提高了人体动作识别的准确率，详见下文描述：

一种基于局部特征的人体动作识别方法，所述方法包括以下步骤：

（1）人体检测和区域划分；

（2）从动作图像序列中提取时空兴趣点特征以及相应的位置信息；

（3）根据步骤（1）的区域划分结果对时空兴趣点进行空间分类；

（4）分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点；

（5）通过聚类算法对训练集中的每个特定人体区域进行聚类，获取相应词典；

（6）通过词袋模型分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征；

（7）采用分类器对人体动作进行建模，从而实现动作识别。

所述步骤（3）的操作具体为：

首先：计算每个人体部位区域中心坐标；

7个人体部位区域用不同大小的矩形框圈出，每个矩形框的4个顶点坐标为(x_j1,y_j1)、(x_j2,y_j1)、(x_j2,y_j2)、(x_j1,y_j2)，j=1,2,3,4,5,6,7，分别计算每个矩形框的中心坐标(x_jc,y_jc)

$(x_{\mathrm{jc}},y_{\mathrm{jc}})=(\frac{y_{j1}+x_{j2}}{2},\frac{y_{j1}+y_{j2}}{2}),j=\mathrm{1,2,3,4,5,6,7}$

其次：计算每个时空兴趣点与每个部位区域中心之间的距离；

对于视频V_s中的某一个时空兴趣点，若它所在的帧号为F_i且坐标为(x_f,y_f)，分别计算时空兴趣点与每个部位区域中心之间的欧氏距离L_j

$L_j=\sqrt{{(x_{\mathrm{jc}}-x_f)}^2+{(y_{\mathrm{jc}}-y_f)}^2},j=\mathrm{1,2,3,4,5,6,7}$

最后：确定每个时空兴趣点所在部位区域的标号。

若则时空兴趣点的部位区域标号为m。

所述步骤（7）的操作具体为：

不加入局部特征：将训练集的全局特征及训练集词袋特征真实的标号输入到分类器中进行模型学习，训练集的全局特征经过分类器训练模块产生模型；将测试集的全局特征输入到训练得到的分类器模型进行测试，最后输出测试数据的判别标号；通过对比分类器模型输出的判别标号和测试集词袋特征真实的标号来判定动作识别是否正确。

所述步骤（7）的操作具体为：

加入局部特征：将训练集的7个特定人体区域的词袋特征及训练集词袋特征真实的标号分别输入到分类器中进行模型学习，训练集的7个特定人体区域的词袋特征分别经过分类器训练模块产生7个对应的模型；将测试集的7个特定人体区域对应的词袋特征分别输入到7个对应的分类器模型中进行测试，输出7个模型对应的动作判别概率；

对于测试集的任一个样本，输出的动作判别概率为p_i,i=1,2,...,7，根据

得到最佳的动作判别概率σ，其中ω_i,i=1,2,...,7为7个动作判别概率对应的权重；根据经验设置判别阈值M，若σ≥M，则视为正样本标记为1；若σ<M，则视为负样本标记为0；通过对比输出的判别标号和测试集词袋特征真实的标号来判定动作识别是否正确。

本发明提供的技术方案的有益效果是：本方法通过在人体动作特征中加入了时空兴趣点的空间位置信息，使时空兴趣点之间的空间位置关系得以保留，保证了人体动作识别过程中可以充分利用人体局部显著特性，提高了人体动作识别的准确率。

附图说明

图1为TJU数据库的示意图；

图2为采用基于局部信息的目标检测模型对图像进行人体检测以及区域划分的部分动作示意图；

图3为获取矩形框中心坐标的示意图；

图4为提取时空兴趣点以及相应位置信息的示意图；

图5为一种基于局部特征的人体动作识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提升人体动作识别准确率，本发明实施例提供了一种基于局部特征的人体动作识别方法，本方法在Laptev提出的时空兴趣点提取方法^[4]的基础上提出一种加入时空兴趣点空间位置信息的基于局部特征的人体动作识别方法，详见下文描述：

101：人体检测和区域划分；

参见图1，本方法所用测试数据库为TJU（天津大学）数据库，由天津大学数字多媒体实验室录制。TJU数据库包括22个动作（1：向前打拳、2：侧打拳、3：单手挥、4：双手挥、5：拍手、6：侧弯腰、7：向前弯腰、8：画叉、9：画对勾、10：画圆、11：接网球、12：打网球、13：行走、14：螃蟹步、15：慢跑、16：跑、17：开合跳、18：双脚向前跳、19：原地向上跳、20：向前踢、21：侧踢、22：坐下），每个动作由20个人在亮暗两个场景下完成，每个动作做两遍，共1760段视频。本方法将TJU数据库分成两个数据集：训练集和测试集，其中训练集包括1056段视频、测试集包括704段视频。

设V_s表示TJU数据库中的某一段视频，共M=1760段，则TJU数据库可以表示为

设F_i表示视频V_s中的第i帧，共N帧，则视频V_s可以表示为

对TJU数据库中的每段视频，使用基于局部信息的目标检测模型^[6]逐一处理该段视频的每一帧图像，基于局部信息的目标检测模型可以对每帧图像进行人体的检测以及人体区域划分，如图2所示：基于局部信息的目标检测模型将人体的头、右脚、左脚、右腿、左腿、右臂和左臂共7个部位区域用不同大小的矩形框圈出，同时得到每个矩形框的4个顶点坐标以及人体的中心位置坐标。7个部位区域分别用标号表示为1：头、2：右脚、3：右臂、4：左臂、5：左腿、6：左脚、7：右腿。参见图3，每个矩形框的4个顶点坐标设为(x_j1,y_j1)、(x_j2,y_j1)、(x_j2,y_j2)、(x_j1,y_j2)，j=1,2,3,4,5,6,7。

102：从动作视频序列中提取时空兴趣点特征以及相应的位置信息；

参见图4，该方法中，Laptev将二维图像中的Harris（哈里斯）角点检测技术扩展到三维时空领域中，用检测子Harris3D从动作视频序列中检测出在时空方向变化最大的像素点（时空兴趣点），建立以时空兴趣点为中心的时空立方体并抽取光流直方图和梯度直方图的联合特征HOG/HOF描述子，用于对运动进行表征。最后，可以得到该视频中提取到的所有时空兴趣点以及它们的位置信息，每个时空兴趣点的位置信息包括所在帧号F_f以及在该帧图像中的坐标(x_f,y_f)。本发明实施例以时空兴趣点的维数为162为例进行说明，具体实现时，本发明实施例对此不做限制。

其中，本发明实施例对步骤101和步骤102的执行顺序不做限制，可以先执行步骤101，也可以先执行步骤102，或者两者同时执行。

103：根据步骤101的区域划分结果对时空兴趣点进行空间分类；

首先：计算每个人体部位区域中心坐标；

根据步骤101可知，7个人体部位区域用不同大小的矩形框圈出，每个矩形框的4个顶点坐标为(x_j1,y_j1)、(x_j2,y_j1)、(x_j2,y_j2)、(x_j1,y_j2)，j=1,2,3,4,5,6,7，分别计算每个矩形框的中心坐标(x_jc,y_jc)

$(x_{\mathrm{jc}},y_{\mathrm{jc}})=(\frac{y_{j1}+x_{j2}}{2},\frac{y_{j1}+y_{j2}}{2}),j=\mathrm{1,2,3,4,5,6,7}$

其次：计算每个时空兴趣点与每个部位区域中心之间的距离；

对于视频V_s中的某一个时空兴趣点，若它所在的帧号为F_i且坐标为(x_f,y_f)，F_i帧中人体的7个部位区域对应矩形框的中心坐标(x_jc,y_jc),j=1,2,3,4,5,6,7，分别计算该时空兴趣点与每个部位区域中心之间的欧氏距离L_j

$L_j=\sqrt{{(x_{\mathrm{jc}}-x_f)}^2+{(y_{\mathrm{jc}}-y_f)}^2},j=\mathrm{1,2,3,4,5,6,7}$

最后：确定每个时空兴趣点所在部位区域的标号。

对于每个时空兴趣点，与其欧氏距离最小的矩形框中心所在的人体部位区域即为该时空兴趣点所属的部位区域。若则时空兴趣点的部位区域标号为m。

中arg的意思是得到当L_j最小时j的值。

104：分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点；

对于视频V_s，根据步骤103可以确定从视频V_s中提取到的每个时空兴趣点的部位区域标号。本方法将人体的7个部位区域归整为7个特定人体区域：head（头）、arm（左臂、右臂）、leg（左腿、右腿）、foot（左脚、右脚）、upper（头、左臂、右臂）、lower（左腿、右腿、左脚、右脚）以及full（全身所有部位）。从而，可以得到每个特定人体区域所包含的时空兴趣点。7个特定人体区域分别用标号表示为1：head、2：arm、3：leg、4：foot、5：upper、6：lower、7：full。

将TJU数据库训练集和测试集的所有视频提取到的时空兴趣点分配到每个特定人体区域，从而分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点。

105：通过聚类算法对训练集中的每个特定人体区域所包含的时空兴趣点进行聚类，获取相应词典；

本发明实施例是用训练集来构建词典。

对训练集的每个特定人体区域所包含的时空兴趣点用聚类算法进行聚类，获得聚类中心。本文使用的聚类算法为K-means^[7]算法，其中K为聚类中心的个数。K-means算法可以从输入的时空兴趣点中计算出K个聚类中心。因此，对于训练集每个特定人体区域所包含的时空兴趣点经K-means计算都可得到一个K*162的矩阵，每一行表示一个聚类中心，共K个。该K*162的矩阵即为词典dictionary。7个特定人体区域单独计算，可相应得到7个词典。

106：通过词袋模型分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征；

本发明实施例是使用词袋模型^[8]分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征。

如果要提取训练集某一特定人体区域的词袋特征，则将训练集的每段视频中该特定人体区域所包含的时空兴趣点以及该特定人体区域对应的词典输入到词袋模型，输出为训练集该特定人体区域的词袋特征。对于TJU数据库，训练集每个特定人体区域的词袋特征为1056*K的矩阵，其中每一行对应训练集中某一个视频该特定人体区域的词袋特征，即为一个样本，样本标号为视频对应动作的标号，1056个样本标号组成训练集词袋特征真实的标号。

测试集每个特定人体区域的词袋特征的提取特征方法同训练集。对于TJU数据库，测试集共704段视频，输出的词袋特征为704*K的矩阵，每一行为一个样本，样本标号为视频对应动作的标号，704个样本标号组成测试集词袋特征真实的标号。

107：采用分类器对人体动作进行建模，从而实现动作识别。

本方法将步骤106中得到的训练集的第7个特定人体区域full对应的词袋特征称为训练集的全局特征，将其他6个特定人体区域对应的词袋特征称为训练集的局部特征；将测试集的第7个特定人体区域full对应的词袋特征称为测试集的全局特征，将其他6个特定人体区域对应的词袋特征称为测试集的局部特征。

本发明采用两种方法对人体动作进行识别：

第一种：不加入局部特征：将训练集的全局特征及训练集词袋特征真实的标号输入到分类器中进行模型学习，训练集的全局特征经过分类器训练模块产生模型。将测试集的全局特征输入到训练得到的分类器模型进行测试，最后输出测试数据的判别标号。通过对比分类器模型输出的判别标号和测试集词袋特征真实的标号来判定动作识别是否正确。

第二种：加入局部特征：将训练集的7个特定人体区域的词袋特征及训练集词袋特征真实的标号分别输入到分类器中进行模型学习，训练集的7个特定人体区域的词袋特征分别经过分类器训练模块产生7个对应的模型。将测试集的7个特定人体区域对应的词袋特征分别输入到7个对应的分类器模型中进行测试，输出7个模型对应的动作判别概率。对于测试集的任一个样本，设输出的动作判别概率为p_i,i=1,2,...,7，根据

得到最佳的动作判别概率σ，其中ω_i,i=1,2,...,7为7个动作判别概率对应的权重。根据经验设置判别阈值M，若σ≥M，则视为正样本（标记为1）；若σ<M，则视为负样本（标记为0）。通过对比输出的判别标号和测试集词袋特征真实的标号来判定动作识别是否正确。

本发明实施例是使用支持向量机^[9]（SVM）作为分类器对人体动作进行建模和模型融合，构建模型时核函数选用鲁棒性较好的卡方核^[10]。

其中，当输出的判别标号和测试集词袋特征真实的标号相同，则判定动作识别正确；当输出的判别标号和测试集词袋特征真实的标号不同，则判定动作识别错误。

下面以具体的试验来验证本方法的可行性，详见下文描述：

参数设置：1、k-means算法来聚类构建词典时，词典数K设置为4000。

2、SVM分类识别时，使用卡方核建模，设置参数c=10⁰和g=10¹（通常c和g取10^-5、10^-4、10^-3、10^-2、10^-1、10⁰、10¹、10²、10³、10⁴、10⁵）。

3、权重ω_i,i=1,2,...,7的取值分别为0.2、0.3、0.2、0.1、0.3、0.2、0.3（通常ω_i取0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1）。

4、根据经验，本方法的判别阈值M设置为0.85。

实验结果如下表所示：

特定人体区域	不加局部特征	加入局部特征
			平均准确率	91.6%	95.3%

由上表可知，如果不加入局部特征，平均识别准确率为91.6%。在相同实验参数设置下，加入局部特征后得到平均识别准确率为95.3%，比91.6%高3.7%。因此，在人体动作特征中加入了时空兴趣点的空间位置信息，可以提高人体动作识别的准确率。

参考文献

[1]J.Yamato,J.Ohya and K.Ishii.Recognizing human action in time-sequential images usingHidden Markov model.In Proc.CVPR,1992.

[2]A.Kale,A.Rajagopalan,N.Cuntoor and V.Kruger.Gait based recognition of humans usingcontinuous HMMs.In Proc.IEEE International Conference on Automatic Face and GestureRecognition,2002.

[3]A.Psarrou,S.Gong and M.Walter.Recognition of human gestures and behaviour based onmotion trajectories.Image and Vision Computing,2002.

[4]I.Laptev.On Space-Time Interest Point.International Journal of Computer Vision,2005.

[5]C.Harris and M.Stephens.A combined corner and edge detector.In Proceedings of the AlveyVision Conference,1988.

[6]P.Felzenszwalb,R.Girshick,D.McAllester and D.Ramanan.Object detection withdiscriminatively trained part-based models.PAMI,2009.

[7]J.MacQueen,L.M.LeCam and J.Neyman.Some Methods of classification and Analysis ofMultivariate Observations.In Proc.5th Berkeley Symposium on Mathematical Statistics andProbability,1967.

[8]L.Fei-Fei and P.Perona.A Bayesian hierarchical model for learning natural scene categories.InProc.CVPR,2005.

[9]N.Cristianini and J.Taylor.An Introduction to Support Vector Machines and OtherKernel-based Learning Methods.Cambridge UP,2000.

[10]I.Laptev,M.Marszaek,C.Schmid and B.Rozenfeld.Learning realistic human actions frommovies.In Proc.CVPR,2008.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于局部特征的人体动作识别方法，其特征在于，所述方法包括以下步骤：

（1）人体检测和区域划分；

（2）从动作图像序列中提取时空兴趣点特征以及相应的位置信息；

（3）根据步骤（1）的区域划分结果对时空兴趣点进行空间分类；

（4）分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点；

（5）通过聚类算法对训练集中的每个特定人体区域进行聚类，获取相应词典；

（6）通过词袋模型分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征；

（7）采用分类器对人体动作进行建模，从而实现动作识别。

2.根据权利要求1所述的一种基于局部特征的人体动作识别方法，其特征在于，所述步骤（3）的操作具体为：

首先：计算每个人体部位区域中心坐标；

7个人体部位区域用不同大小的矩形框圈出，每个矩形框的4个顶点坐标为(x_j1,y_j1)、(x_j2,y_j1)、(x_j2,y_j2)、(x_j1,y_j2)，j=1,2,3,4,5,6,7，分别计算每个矩形框的中心坐标(x_jc,y_jc)

$(x_{\mathrm{jc}},y_{\mathrm{jc}})=(\frac{y_{j1}+x_{j2}}{2},\frac{y_{j1}+y_{j2}}{2}),j=\mathrm{1,2,3,4,5,6,7}$

其次：计算每个时空兴趣点与每个部位区域中心之间的距离；

对于视频V_s中的某一个时空兴趣点，若它所在的帧号为F_i且坐标为(x_f,y_f)，分别计算时空兴趣点与每个部位区域中心之间的欧氏距离L_j

$L_j=\sqrt{{(x_{\mathrm{jc}}-x_f)}^2+{(y_{\mathrm{jc}}-y_f)}^2},j=\mathrm{1,2,3,4,5,6,7}$

最后：确定每个时空兴趣点所在部位区域的标号。

若

则时空兴趣点的部位区域标号为m。

3.根据权利要求1所述的一种基于局部特征的人体动作识别方法，其特征在于，所述步骤（7）的操作具体为：

不加入局部特征：将训练集的全局特征及训练集词袋特征真实的标号输入到分类器中进行模型学习，训练集的全局特征经过分类器训练模块产生模型；将测试集的全局特征输入到训练得到的分类器模型进行测试，最后输出测试数据的判别标号；通过对比分类器模型输出的判别标号和测试集词袋特征真实的标号来判定动作识别是否正确。

4.根据权利要求1所述的一种基于局部特征的人体动作识别方法，其特征在于，所述步骤（7）的操作具体为：

加入局部特征：将训练集的7个特定人体区域的词袋特征及训练集词袋特征真实的标号分别输入到分类器中进行模型学习，训练集的7个特定人体区域的词袋特征分别经过分类器训练模块产生7个对应的模型；将测试集的7个特定人体区域对应的词袋特征分别输入到7个对应的分类器模型中进行测试，输出7个模型对应的动作判别概率；

对于测试集的任一个样本，输出的动作判别概率为p_i,i=1,2,...,7，根据

得到最佳的动作判别概率σ，其中ω_i,i=1,2,...,7为7个动作判别概率对应的权重；根据经验设置判别阈值M，若σ≥M，则视为正样本标记为1；若σ<M，则视为负样本标记为0；通过对比输出的判别标号和测试集词袋特征真实的标号来判定动作识别是否正确。

Images