CN104616028A - 基于空间分割学习的人体肢体姿势动作识别方法 - Google Patents

Abstract

基于空间分割学习的人体肢体姿势动作识别方法。本发明涉及一种人体肢体姿势动作识别方法：包括步骤：(1)首先，建立某一动作姿势序列数据库。通过采集大量的人体关节动作数据，并进行空间分割编码的方式建立动作姿势特征向量，存储为某一动作姿势序列数据库；(2)其次，当要识别某一动作时，先读取新的人体关节数据并组织成动作姿势特征向量，通过查找此动作相关的动作姿势序列数据库来进行匹配判断是否做出了某一姿势动作。本发明具有实时性、准确率高、鲁棒性强、易扩展的特点，并且适用于识别多人的姿势动作。

Description

基于空间分割学习的人体肢体姿势动作识别方法

技术领域

本发明属于人机交互模式识别领域，具体为姿势动作识别方法。

背景技术

对人体的姿势和动作进行识别，可以带来一种全新的人机交互方式，通过身体语言即人体的姿势和动作来传达用户的意思，控制设备或应用程序。

在获取人体数据方面，分为两大类技术方法，一类是基于姿势动作识别的特定输入硬件设备的，另一类是基于影像技术的。

基于特定输入设备的技术要使用动作捕捉手套(也称“数据手套”)、探针或者其他类型的位置跟踪器，这些跟踪器可以将动作转换为信号，并发送给系统进行识别。

例如动作捕捉手套内装有感应器，用于识别和传递操纵者的手部和指头的动作；使用显示技术的探针界面则可以记录和解析书写文本之类的动作；基于指部的感应器可以探测指头的每一个动作，而一些平板电脑则使用电磁感应笔进行操作。

位置跟踪器也可以通过发射超声波或红外线来识别构成一个姿势的若干动作，例如，超声波的变化可以测量手指对于某一固定点的相对位置变化。

这类方法使用的设备穿戴和使用都很碍事，很难被绝大多数用户所接受。

基于影像技术的，该类方法通过使用摄像机之类的设备、获取用户的动作过程图像，从而从视频图像中分析出姿势动作，这类方法目前稳定性还不是很好，当出现一些干扰因素时，如背景和灯光等发生变化，很多产品对动作的识别就变得不够准确，或者达不到最佳的识别效果，并且这类方法一般都很占用系统资源，图像处理速度不够快，时间延迟会达到无法接受的程度。

在姿势动作识别算法上，可以分为三类：基于统计的方法、基于模板的方法和基于语法的方法。

(1)基于统计的方法

目前主要有隐式马尔可夫模型(HMMs)和动态贝叶斯网络(DBN)两种方法。

HMMs由状态和观测两部分组成，是一种基于转移概率和传输概率的随机模型，系统当前所处状态的概率只与前一个时刻的状态有关，与其他历史状态条件无关。在HMMs的识别过程中，首先提取出特征向量序列，然后通过学习算法进行模型参数训练，最后对未知的运动序列进行识别分类。

Yamato等人[1]首次用HMMs进行人体动作姿态的识别，之后又出现了HMMs的各种改进模型[2-4]。上述各种隐式马尔可夫模型有两个缺点：第一，由于HMMs只适合于描述单个运动物体的系统，随着运动物体数目的增加，系统的状态数目以及HMMs模型中的状态转移矩阵和观测模型的参数都呈指数增长，极大地增加了系统的计算复杂度，这样，HMMs的应用范围就有很大的局限性；第二，HMMs模型无法进行信息的有效融合，由此导致参数误差的相互叠加，进行而无法保证模型参数的精确度。

动态贝叶斯网络(DBN)法[5-6]可以针对具体问题设计出相应的网络结构，而且可以将各种信息进行融合推理，同时为了使信息的配置更加优化，还可以对各种不同信息根据其来源、置信度等设置不同的权重，可以应用于识别多个物体的动态系统，而这样的系统需要大量的特征参数，所以动态贝叶斯网络的方法计算量较大，复杂度较高。

(2)基于模板的方法

主要是模板匹配法、动态时空规整法和动态规划法。

模板匹配法的思想是首先对人体动作姿态进行训练建立模板库，然后将待识别的动作姿势与模板进行匹配，计算二者之间的相似度，如文献[7]。模板匹配法的缺点是对噪声和动作姿态持续时间的变化比较敏感。

动态时空规整法是一种非线性时间规整方法，它是将待识别的人体动作姿态模板的时间轴非线性地映射到训练模板的时间轴上，从而能够使两者的距离最小，如文献[8]。动态时空规整法较好的解决了人体动作姿态在时间尺度上的不确定性。

在动态规划算法的识别过程中，待识别样本模板中的每个时刻特征可以与特征模板中的任意时刻进行匹配，二者都无需进行时间规整，但要求必须顺序进行，如文献[9]。动态规划算法的主要缺点是计算量会随着训练样本数目的增加而增加。

(3)基于语法的方法

主要有有限状态机[10]以及上下文无关的文法[11]，但是这种语法描述都是非常复杂的。

参考文献：

[1]Yamato J,Ohya J,Ishii K.Recognizing human action in time sequential imagesusing Hidden Markov model[A].In Proc CVPR[C],IEEE,1992:379-385.

[2]Brand M,Oliver N,Pentland A.Coupled hidden markov models for complexaction recognition[A].In Proc CVPR[C].USA:IEEE Computer Society Press,1997:994-999.

[3]Nguyen N T,Phung D Q,Venkatesh S,et al.Learning and detecting activitiesfrom movement trajectories using the hierachical hidden Markov mode[A].In ProcCVPR[C].San Diego:IEEE Computer Society Press,2005:955-960.

[4]Duong T V,Bui H H,Phung D Q,et al.Activity recognition and abnormalitydetection with the switching hidden semi-Markov model[A].In Proc CVPR[C].SanDiego:IEEE Computer Society Press,2005:838-845.

[5]Luo Y,Wu T D,Hwang J N.Object-based analysis and interpretation of humanmotion in sports video sequences by dynamic Bayesian networks[J].CVIU,2003,92(2):196-216.

[6]Gong S,Xiang T.Recognition of group activities using dynamic probabilisticnetworks[A].In Proc ICCV[C].Washington:IEEE Computer Society Press,2003:742-749.

[7]谢林海，刘相滨。基于不变矩特征和神经网络的步态识别[J]。微计算机机信息，2007，23(7-1)：279-281。

[8]Bobick A F,Wilson A D.A static-based approach to the representation andrecognition of gesture[J].IEEE Trans PAMI,1997,19(12):1325-1337.

[9]Bobick A F,Andy Wilson.Using configuration states for the representation andrecognition of gestures.MIT Media Lab Perceptual Computing Section TechnicalReport,No.308,1995.

[10]Pengyu Hong,Turk M,Huang T.S.Constructing finite state machines for fastgesture recognition.Proceedings of 15^th International Conference on PatternRecognition,2000,3:691-694.

[11]Yamamoto M,Mitomi H,Fujiwara F,et al.Bayesian Classification oftask-oriented actions based on stochastic context-free grammar.In:InternationalConference on Automatic Face and Gesture Recongnition,Southampton,UK,April10-12,2006.

发明内容

(一)发明目的

本发明提供一种新的人体肢体姿势动作识别方法，这种方法计算复杂度低、具有实时性、准确率高的特点，并且适用于识别多人的姿势动作。

(二)技术方案

为了实现上述目的，本发明识别人体肢体姿势动作方法包括下列步骤：首先，通过采集大量的人体动作实例，每次采集后学习分析当前动作中系列姿势特征数据，将分析结果存储在动作序列的姿势数据库中；其次，当要判别某一动作时，先读取新的人体关节数据并组织成姿势动作特征向量，查找某一姿势动作数据库，进行匹配，以判断是否做出了某一姿势动作。具体技术方案如下：

一种人体肢体姿势动作识别方法，包括步骤：

首先，建立某一动作姿势序列数据库。通过采集大量的人体动作来建立某一动作姿势序列数据库。

其次，当要识别某一动作时，通过查找此动作相关的动作姿势序列数据库来进行判断。

进一步的，建立某一动作姿势序列数据库步骤包括：

使用无线红外传感设备采集大量人体动作数据，即采集形成人体动作相关的人体各个关节数据。

将世界三维空间进行分割编码，计算相邻关节间形成的向量编码，所有动作相关的关节间向量编码形成编码向量，作为动作姿势特征值，存储在这一动作姿势序列数据库中。

进一步的，将世界三维空间进行分割编码的方法为：

分别将XY平面、XZ平面、YZ平面分割为8等份，从0、1、……7为每个区域编码。

对于XY平面，具体区域分割范围为，区域0为与X轴成(-22.5° 22.5°]间夹角的向量，区域1为与X轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

对于XZ平面，具体区域分割范围为，区域0为与X轴成(-22.5° 22.5°]间夹角的向量，区域1为与X轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

对于YZ平面，具体区域分割范围为，区域0为与Y轴成(-22.5° 22.5°]间夹角的向量，区域1为与Y轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

进一步的，将相邻关节间形成的向量进行编码的方法为：

将相邻关节点间形成的向量分别在XY平面、XZ平面、YZ平面上进行投影，形成三个分向量。分别计算三个分向量的编码，即分别在XY平面、XZ平面、YZ平面上，计算分向量与对应的区域分割中心线间的夹角，夹角最小的对应区域编码即为此分向量的编码。区域中心线计算，按照权利要求3中的分区方法，中心线分别为将整个圆周[0° 360°)等分为8份、分界处向量即为中心线向量，即 $\left\{\begin{array}{c}x=\cos \left(\mathrm{\θ}\right)\\ y=\sin \left(\mathrm{\θ}\right)\end{array}\right.,$ 其中N＝0,1…,7。关节点间形成的向量的分向量与区域中心线间的夹角计算，使用向量间点积角α即为所求，表示关节点间形成的向量，表示某中心线向量。

所以相邻关节间形成的向量编码为(a b c)，其中a＝0,1L,8，b＝0,1L,8，c＝0,1L,8，当a或b或c值为8时，表示不考虑此区域编码。

进一步的，动作姿势特征值的计算方法为：

若一个动作姿势涉及到N个相邻关节向量，每个相邻关节点向量按照权利要求4中所述方法进行计算，则此动作姿势特征值为1×3N维向量(a₁ b₁ c₁ a₂ b₂ c₂ L a_N b_N c_N)。

进一步的，识别某一动作的方法为：

在建立了动作姿势序列数据库后，使用无线红外数据采集设备实时采集人体关节数据后，按照权利要求5中介绍的姿势特征值计算方法，计算新动作中每一帧姿势的特征值，对此帧姿势特征值查找相应的动作姿势序列数据库，匹配后认为识别出了我们指定的人体肢体姿势动作。

进一步的，查找与匹配动作姿势序列数据库的步骤为：

首先检测出符合动作姿势序列中的第一个姿势，作为动作的起始点。检测姿势是通过姿势数据库的查找来进行，能够在姿势特征值数据库中查找到的姿势为所求。

其次是通过判断后续的姿势，后续姿势也应包含在姿势数据库中，同时连续检测到的符合数据库的姿势间的差别要大于一定的阈值(用来判断并非是保持一个姿势不动)。符合上述过程的姿势检测即为指定动作的识别。

(三)有益效果

本发明提出的人体姿势动作识别方法，相比于以往的方法，具有准确率高、鲁棒性高、实时性强及易扩展的优点，具体为：

(1)采用了无线红外传感器，摆脱了设备对于人体的束缚，并且能够获取精度较高的数据值。

(2)方法计算复杂度较低，实时性强。

(3)通过空间分割的方法，将姿势动作相关的关节数据进行空间编码，相似的姿势位置将具有相同的编码，那么匹配时则为相似匹配，保证了姿势动作查找匹配的实时性。

(4)不仅适用于一个人的姿势动作识别，而且适用于多人的交互动作识别。

附图说明

图1为人体关节向量图。

图2为相邻关节间向量在XY平面上投影的分区图。

图3为无线红外体感设备坐标系。

图4为姿势动作识别流程图。

具体实施方式

本发明为一种人体肢体姿势动作识别新方法，实现该技术的步骤为：

(1)通过采集大量的人体动作实例，每次采集后学习分析当前动作中系列姿势数据，将分析结果存储在动作序列的姿势数据库中。

通过观察我们发现人体姿势可以由人体关节点间的位置关系来描述，虽然人体肢体长度不同，但是对于同一个姿势，每个人对于此姿势有关的的部分肢体(如肩关节与肘关节间形成的上臂、肘关节与腕关节间形成的下臂等)归一化向量是相同的，例如，当人体骨骼姿势如说明书附图图1所示时，由左肩关节点(SHOULDER_LEFT，简记为点S＝(X_s Y_s Z_s))与左肘关节点(ELBOW_LEFT，简记为点E＝(X_e Y_e Z_e))形成的向量由左肘关节点(ELBOW_LEFT，简记为点E＝(X_e Y_e Z_e))与左腕关节点(WRIST_LEFT，简记为点W＝(X_w Y_w Z_w))形成的向量经过归一化后形成新向量及这些向量对于不同人的同一个姿势是相同的。所以本发明使用了肢体关节间形成的三维向量作为某一姿势的关键数据特征。

对于同一个运动，每个人的动作幅度不会一模一样，即不会每个关节间向量都相同，但每个关节点间向量都在一定区间内浮动，所以，采用如说明书附图图2的位置关系向量编码，处于同一颜色区域内的向量编码相同，认为具有相同编码的向量为等价向量，在姿势判别中认为是同一姿势。本发明将世界三维空间进行分割编码，然后计算相邻关节间形成的向量编码，所有动作相关的关节间向量编码形成编码向量，作为动作姿势特征值，存储在这一动作姿势序列数据库中。

将世界三维空间进行分割编码的方法为：

分别将XY平面、XZ平面、YZ平面分割为8等份，从0、1、……7为每个区域编码。

对于XY平面，具体区域分割范围为，区域0为与X轴成(-22.5° 22.5°]间夹角的向量，区域1为与X轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

对于XZ平面，具体区域分割范围为，区域0为与X轴成(-22.5° 22.5°]间夹角的向量，区域1为与X轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

对于YZ平面，具体区域分割范围为，区域0为与Y轴成(-22.5° 22.5°]间夹角的向量，区域1为与Y轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

将相邻关节间形成的向量进行编码的方法为：

将相邻关节点间形成的向量分别在XY平面、XZ平面、YZ平面上进行投影，形成三个分向量。分别计算三个分向量的编码，即分别在XY平面、XZ平面、YZ平面上，计算分向量与对应的区域分割中心线间的夹角，夹角最小的对应区域编码即为此分向量的编码。区域中心线计算，按照上述的分区方法，中心线分别为将整个圆周[0° 360°)等分为8份、分界处向量即为中心线向量，即 $\left\{\begin{array}{c}x=\cos \left(\mathrm{\θ}\right)\\ y=\sin \left(\mathrm{\θ}\right)\end{array}\right.,$ 其中N＝0,1…,7。关节点间形成的向量的分向量与区域中心线间的夹角计算，使用向量间点积角α即为所求，表示关节点间形成的向量，表示某中心线向量。所以相邻关节间形成的向量编码为(a b c)，其中a＝0,1L,8，b＝0,1L,8，c＝0,1L,8，当a或b或c值为8时，表示不考虑此区域编码。

动作姿势特征值的计算方法为：

若一个动作姿势涉及到N个相邻关节向量，每个相邻关节点向量按照上述方法进行计算，则此动作姿势特征值为1×3N维向量(a₁ b₁ c₁ a₂ b₂ c₂ L a_N b_N c_N)。

例如，我们指定一姿势动作的识别，为识别人体上肢模拟翅膀摆动的姿势动作，即识别人体手臂在人体左右两侧上下自然摆动的动作。此姿势动作仅考虑两手臂关节点在XY平面上的动作，即仅考虑两手臂相邻关节点间形成向量在XY平面上的投影向量。

识别人体上肢模拟翅膀摆动的姿势动作，涉及到人体上肢6个关节点间向量，即从NECK(脖子)关节点到SHOULDER_LEFT(左肩关节点)形成的向量，从SHOULDER_LEFT(左肩关节点)到ELBOW_LEFT(左肘关节点)形成的向量，从ELBOW_LEFT(左肘关节点)到WRIST_LEFT(左腕关节点)形成的向量，从NECK(颈部)关节点到SHOULDER_RIGHT(右肩关节点)形成的向量，从SHOULDER_RIGHT(右肩关节点)到ELBOW_RIGHT(右肘关节点)形成的向量，从ELBOW_RIGHT(右肘关节点)到WRIST_RIGHT(右腕关节点)形成的向量，每一向量均按上述区域编码方式计算其编码。6个向量的编码组成一编码向量，如(7 8 8 0 8 8 0 8 8 5 8 8 4 8 8 4 8 8)，此编码向量即作为人体此姿势的特征值。

针对某一姿势动作，我们可以找到其相关的所有关节组成的向量，通过空间分割的方法，为每一关节间向量编码，所有的编码组成此姿势特征值，建立相应的动作姿势数据库，当进行此姿势识别时，查找此姿势数据库，得出结论。

当建立姿势动作数据库时，采集大量的人体动作实例，每一动作实例，均是由大量的姿势序列组成，对于姿势序列中的每一个姿势均使用上述方法计算其姿势特征值，储存在数据库中。通过大量的人体动作实例，可以适应更多人的动作差别，使得动作识别过程具有较强的鲁棒性，同时当出现个别差异动作时，也较容易通过记录新姿势序列来扩展数据库，具有易扩展特性。通过关节间向量空间分割编码的方式，相似的动作姿势具有相同的编码，所以即使出现个体动作差异时(大多数情况下仍为相似的姿势)，也不会大大的增加姿势序列数据库的大小，保证了动作姿势数据查找匹配的快速性及实时性。

数据采集：本发明使用无线红外体感设备来采集人体关节点位置数据，可直接获取人体关节位置数据，数据精度较高，其数据获取的坐标系如说明书附图图3所示。

本发明中使用的无线红外体感设备可以同时获得多人的动作关节数据，即有多套关节位置数据，对每一套关节数据进行向量编码并查找数据库，处理时间仅呈线性增加，使得此姿势动作识别方法既保证实时性的同时又可适用于多人的动作识别。

(2)姿势动作匹配识别。

在建立了动作姿势序列数据库后，使用数据采集设备实时采集人体关节数据后，按照本部分第(1)节中介绍的人体肢体姿势特征值计算方法，计算新动作中每一帧姿势的特征值，查找相应姿势数据库，匹配后认为识别出了我们指定的人体姿势动作。

具体的动作匹配识别方法流程详见说明书附图图4。

因为动作不等同于姿势，动作由姿势序列组成，所以在识别动作过程中，不仅需要依赖事先建立好的姿势数据库，还需要加入姿势变化过程的判断。正确的动作中每一帧姿势都会存储在姿势数据库，只要通过连续判断每一帧姿势就可以推断出是否做了我们想要识别出的动作。

其具体为：

首先检测出符合动作姿势序列中的第一个姿势，作为动作的起始点。检测姿势是通过姿势数据库的查找来进行，能够在姿势特征值数据库中查找到的姿势为所求。

其次是通过判断后续的姿势，后续姿势也应包含在姿势数据库中，同时连续检测到的符合数据库的姿势间的差别要大于一定的阈值(用来判断并非是保持一个姿势不动)。符合上述过程的姿势检测过程即为指定动作的识别。

Claims (7)

1.一种人体肢体姿势动作识别方法，包括步骤：

首先，建立某一动作姿势序列数据库。通过采集大量的人体动作来建立某一动作姿势序列数据库；

其次，当要识别某一动作时，通过查找此动作相关的动作姿势序列数据库来进行判断。

2.根据权利要求1所述的方法，其特征在于，建立某一动作姿势序列数据库步骤包括：

使用无线红外传感设备采集大量人体动作数据，即采集形成人体动作相关的人体各个关节数据；

将世界三维空间进行分割编码，计算相邻关节间形成的向量编码，所有动作相关的关节间向量编码形成编码向量，作为动作姿势特征值，存储在这一动作姿势序列数据库中。

3.根据权利要求2所述的方法，其特征在于，将世界三维空间进行分割编码的方法为：

分别将XY平面、XZ平面、YZ平面分割为8等份，从0、1、……7为每个区域编码；

对于XY平面，具体区域分割范围为，区域0为与X轴成(-22.5° 22.5°]间夹角的向量，区域1为与X轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角；

对于XZ平面，具体区域分割范围为，区域0为与X轴成(-22.5° 22.5°]间夹角的向量，区域1为与X轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角；

对于YZ平面，具体区域分割范围为，区域0为与Y轴成(-22.5° 22.5°]间夹角的向量，区域1为与Y轴成(22.5° 67.5°]间夹角的向量，即下一区域为上一区域按逆时针方向增加45°角。

4.根据权利要求2所述的方法，其特征在于，将相邻关节间形成的向量进行编码的方法为：

将相邻关节点间形成的向量分别在XY平面、XZ平面、YZ平面上进行投影，形成三个分向量。分别计算三个分向量的编码，即分别在XY平面、XZ平面、YZ平面上，计算分向量与对应的区域分割中心线间的夹角，夹角最小的对应区域编码即为此分向量的编码。区域中心线计算，按照权利要求3中的分区方法，中心线分别为将整个圆周[0° 360°)等分为8份、分界处向量即为中心线向量，即 $\left\{\begin{array}{c}x=\cos \left(\mathrm{\θ}\right)\\ y=\sin \left(\mathrm{\θ}\right)\end{array}\right.,$ 其中 $\mathrm{\θ}=\frac{N}{8}\×2\mathrm{\π},N=\mathrm{0,1}...,7.$ 关节点间形成的向量的分向量与区域中心线间的夹角计算，使用向量间点积角α即为所求，表示关节点间形成的向量，表示某中心线向量；

所以相邻关节间形成的向量编码为(abc)，其中a＝0,1…,8，b＝0,1…,8，c＝0,1…,8，当a或b或c值为8时，表示不考虑此区域编码。

5.根据权利要求2所述的方法，其特征在于，动作姿势特征值的计算方法为：

若一个动作姿势涉及到N个相邻关节向量，每个相邻关节点向量按照权利要求4中所述方法进行计算，则此动作姿势特征值为1×3N维向量(a₁ b₁ c₁ a₂ b₂ c₂ … a_N b_N c_N)。

6.根据权利要求1所述的方法，其特征在于，识别某一动作的方法为：

在建立了动作姿势序列数据库后，使用无线红外数据采集设备实时采集人体关节数据后，按照权利要求5中介绍的姿势特征值计算方法，计算新动作中每一帧姿势的特征值，对此帧姿势特征值查找相应的动作姿势序列数据库，匹配后认为识别出了我们指定的人体肢体姿势动作。

7.根据权利要求6所述的方法，其特征在于，查找与匹配动作姿势序列数据库的步骤为：

首先检测出符合动作姿势序列中的第一个姿势，作为动作的起始点。检测姿势是通过姿势数据库的查找来进行，能够在姿势特征值数据库中查找到的姿势为所求；

其次是通过判断后续的姿势，后续姿势也应包含在姿势数据库中，同时连续检测到的符合数据库的姿势间的差别要大于一定的阈值(用来判断并非是保持一个姿势不动)。符合上述过程的姿势检测即为指定动作的识别。