CN112101242A - 一种基于姿势序列状态链的肢体动作识别方法 - Google Patents

Abstract

本发明涉及肢体动作识别方法相关领域，尤其为一种基于姿势序列状态链的肢体动作识别方法，包括以下步骤，S10、将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系；S20、定义肢体节点特征向量；S30、构造姿势序列状态链，从而实现对肢体动作的解析和识别。该发明基于姿势序列状态链的最大的优点是识别是实时的，而其他基于机器学习的方法往往需要对历史发生过的动作数据再进行关键帧提取、距离计算等步骤，时间不同步；并且姿势序列状态链的识别方法只关心动作涉及到的局部骨骼点数据，其他骨骼数据对于特定的动作状态链没有影响，因而可以同时识别不同动作；同时，对中间姿势的定义可以采用相对位置关系、向量关系、距离关系、夹角关系等描述，具有较高灵活性。

Description

一种基于姿势序列状态链的肢体动作识别方法

技术领域

本发明涉及肢体动作识别方法相关领域，尤其涉及一种基于姿势序列状态链的肢体动作识别方法。

背景技术

在自然人机交互领域，动作识别是体感交互的前提，动作识别和行为理解逐渐成为自然人机交互领域的研究热点；为达到有效的交互目的，必须对不同的肢体交互动作进行定义和识别；

随着自然人机交互技术的快速发展，面向体感交互的自然动作识别受到了广泛关注；目前，基于视觉的动作识别方法较多，如事件触发、模板匹配、机器学习等方法；如事件触发方法采用角度、距离、速度等事件触发方式进行识别，由于该方法直接根据特定动作的三维空间参数进行计算，算法简单，计算量小，因此，在实时性、扩展性以及准确率上都有一定的优势；多实例学习方法将动作数据流序列中的关键帧作为一个实例，通过多个实例的训练学习得到一个包含同一类行为中形态和模型的动作模板，并检测与给定的模板序列相似的子序列从而实现识别功能；结构化流骨骼(structuredstreamingskeletons，SSS)特征匹配的方法，通过离线训练建立一个特征字典和手势模型，为未知动作的动作数据流的每一帧数据分配标签，通过提取SSS特征在线预测动作类型，该方法能够有效解决错误分割和模板匹配不足的问题，能够从未分割数据流中进行在线识别等等；

综上，多实例学习和SSS特征匹配方法都采用了机器学习和模板匹配技术实现，该类算法对每个动作识别需要特征字典库，对于扩展动作类型识别时，需要收集大量动作数据进行离线训练，对特定动作识别与训练集耦合度较高，因此，扩展性一般；事件触发方法采用角度、距离、速度等事件触发方式进行识别，该方法计算量小，实时性好，扩展性较强，对于已定义的简单动作，识别准确率高，但由于事件触发技术本身具有局限性，鲁棒性较低，且对连续动作识别较困难。

发明内容

本发明的目的在于提供一种基于姿势序列状态链的肢体动作识别方法，以解决上述背景技术中提出的现有的肢体动作识别方法的不易扩展和识别效率低等不足的问题。

为了实现以上目的，本发明采用的技术方案为：一种基于姿势序列状态链的肢体动作识别方法，包括以下步骤，

S10、将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系；

S20、定义肢体节点特征向量；

S30、构造姿势序列状态链，从而实现对肢体动作的解析和识别。

进一步的，所述S10中，将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系包括以下步骤：

S101、本发明使用深度传感器获取人体的骨骼关节点信息，该深度传感器可以提供人体总共25个肢体骨骼点的坐标信息，但是通过它获取到的肢体节点数据是以设备坐标系描述的，为了识别方便和提升准确性，需要将数据坐标转换到以用户自身中心建立的坐标系中，两个坐标系如图1所示；

S102、将骨骼数据进行坐标转换到用户坐标系的过程如下：定义设备坐标系以设备正前方为Z轴正方向，竖直向上为Y轴正方向，设备左侧为X轴正方向，而人体自身坐标系以人的正前方为Z轴正方向，竖直向上为Y轴正方向，水平向左为X轴正方向，选取人体骨骼数据较为稳定的腰部中心(SpineBase)为坐标原点构建人体坐标系，如图1中，由于用户没有正对深度传感器，而是与X轴正方向成θ°夹角，通过左右臀部两个骨骼点坐标可以求取夹角值；将骨骼数据进行坐标转换到用户自身坐标系下的转换公式如下所示：

在第一个公式中，(X₀，X₀，X₀)表示深度传感器坐标系下人体中心坐标，(X_i，Y_i，Z_i)表示所有人体骨骼点的坐标，将人体骨骼坐标平移，使得人体骨骼中心到设备坐标系原点位置；第二个公式将人体骨骼坐标绕Y轴逆时针旋转θ角度，即图1中人体没有正对设备时的偏转角度，式中的对角矩阵表示将坐标点绕Y轴旋转180度；输出的P_i坐标即为人体自身坐标系下骨骼点的坐标，并且z轴始终保持朝向用户正前方；

S103、经坐标系转换后的骨骼点数据仍然存在个体差异，比如不同高度的人体保持统一姿势，其相同的骨骼点在自身坐标系中的坐标不一定相同；因此，还需要对骨骼数据进行如下统一标准化处理；

标准化的目的主要是为了消除用户个体身高带来的骨骼坐标差异，其思想是对所有骨骼点进行整体缩放，使得某段骨骼保持标准长度即可，本发明选择SpineMid到SpineBase骨骼的距离保持为0.3，以此求得缩放比例S，带入下式计算所有骨骼点坐标输出；

上式中(x′，y′，z′)为变换前的骨骼坐标，P_i＝(x，y，z)为变换后的骨骼点；经标准化处理后的骨骼点数据可用于下一步肢体动作的识别。

进一步的，所述S20中，定义肢体节点特征向量包括以下步骤：

S201、动作在某一时间点的状态为静态姿势，人体某一关节或多个关节点在空间的运动序列为动态行为；识别动作之前，需要在用户空间坐标系下描述通用特征数据，通用特征数据一般包括相对关节点的三维坐标信息，关节点空间运动矢量，关节点间空间距离等，肢体动作特征数据描述如图3所示；

S202、本发明定义肢体节点特征向量来描述动作特征数据，通过对肢体节点特征向量参数的计算和分析，实现对多个特定姿势组合形成的动态序列的识别，即对肢体动作的识别；肢体节点特征向量包括关节点空间运动矢量、关节点运动时间间隔和关节点空间距离，肢体节点特征向量V定义如下式：

其中T表示动作类型，k(0≤k≤19)表示关节点索引，i(i＝0，1，…，s)表示当前采样帧，s表示对应关节点到达下一个特定采样点的结束帧，J_k ⁱJ_k ⁱ⁺¹表示关节点k从当前采样帧i运动到下一帧i+1的空间运动矢量，J_k ⁱ表示关节点k在第i帧的空间坐标点(x_k ⁱ，y_k ⁱ，z_k ⁱ)，Δt_k ^s表示关节点k从J_k ⁰坐标点通过轨迹运动到J_k ^s坐标点的时间间隔，|P_mP_n|表示人体特定关节点之间的空间距离，该距离作为网格模型中的比例特征校验量。

进一步的，所述S30中构造姿势序列状态链，从而实现对肢体动作的解析和识别包括以下步骤：

S301、人体每个动作由对应的肢体关节点的连续运动轨迹构成，连续的运动轨迹可以由离散的关键点进行拟合，每个关键点对应特定的姿势状态，通过识别每个状态的转移变化过程，可以实现动作的判定；由S20为肢体动作定义肢体节点特征向量，将预定义的节点特征向量存储，其中一个连续动作对应多个姿势，并加以时间限制，将这些姿势组合成为一个姿势序列状态链；

S302、识别过程中，将实时的人体骨骼数据通过S10和S20转换为实时的姿势序列状态链；针对每一个姿势序列状态链，其状态转移并进行动作识别的过程如图4所示：

其中，每个状态对应一个特定姿势，当识别到下一个姿势时状态发生跳转；当在规定的时间戳内没有识别到下一个姿势，则状态返回初始值；状态链的长度为N，当最后一个姿态识别到，则动作识别成功，输出结果并重置状态链；从每个动作的识别过程可以看出，针对每个动作都需要生成一条状态链，并且各自独立维护状态链的转换。

本发明的有益效果为：

基于姿势序列状态链的最大的优点是识别是实时的，而其他基于机器学习的方法往往需要对历史发生过的动作数据再进行关键帧提取、距离计算等步骤，时间不同步；并且姿势序列状态链的识别方法只关心动作涉及到的局部骨骼点数据，其他骨骼数据对于特定的动作状态链没有影响，因而可以同时识别不同动作；同时，对中间姿势的定义可以采用相对位置关系、向量关系、距离关系、夹角关系等描述，具有较高灵活性；在面向个人体验的人机交互系统中，要尽量满足用户交互需求，给予用户交互自由性，状态链在做手部动作时脚部可以任由用户以何种姿态，符合以用户为中心的特性，但是，简单的姿势设计可能造成识别成其他动作，因此，设计时要注意合理设计离散状态姿势。

附图说明

图1为一种基于姿势序列状态链的肢体动作识别方法的骨骼点数据转换到用户坐标系结构示意图。

图2为一种基于姿势序列状态链的肢体动作识别方法的3D人体骨架模型结构示意图。

图3为一种基于姿势序列状态链的肢体动作识别方法的用户空间坐标系下的特征数据表示结构示意图。

图4为一种基于姿势序列状态链的肢体动作识别方法的姿势序列状态转移图结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。

如图1-图4所示，本发明的具体结构为：一种基于姿势序列状态链的肢体动作识别方法，包括以下步骤，

S10、将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系；

S20、定义肢体节点特征向量；

S30、构造姿势序列状态链，从而实现对肢体动作的解析和识别。

优选的，所述S10中，将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系包括以下步骤：

S101、本发明使用深度传感器获取人体的骨骼关节点信息，该深度传感器可以提供人体总共25个肢体骨骼点的坐标信息，但是通过它获取到的肢体节点数据是以设备坐标系描述的，为了识别方便和提升准确性，需要将数据坐标转换到以用户自身中心建立的坐标系中，两个坐标系如图1所示；

S102、将骨骼数据进行坐标转换到用户坐标系的过程如下：定义设备坐标系以设备正前方为Z轴正方向，竖直向上为Y轴正方向，设备左侧为X轴正方向，而人体自身坐标系以人的正前方为Z轴正方向，竖直向上为Y轴正方向，水平向左为X轴正方向，选取人体骨骼数据较为稳定的腰部中心(SpineBase)为坐标原点构建人体坐标系，如图1中，由于用户没有正对深度传感器，而是与X轴正方向成θ°夹角，通过左右臀部两个骨骼点坐标可以求取夹角值；将骨骼数据进行坐标转换到用户自身坐标系下的转换公式如下所示：

在第一个公式中，(X₀，X₀，X₀)表示深度传感器坐标系下人体中心坐标，(X_i，Y_i，Z_i)表示所有人体骨骼点的坐标，将人体骨骼坐标平移，使得人体骨骼中心到设备坐标系原点位置；第二个公式将人体骨骼坐标绕Y轴逆时针旋转θ角度，即图1中人体没有正对设备时的偏转角度，式中的对角矩阵表示将坐标点绕Y轴旋转180度；输出的P_i坐标即为人体自身坐标系下骨骼点的坐标，并且z轴始终保持朝向用户正前方；

S103、经坐标系转换后的骨骼点数据仍然存在个体差异，比如不同高度的人体保持统一姿势，其相同的骨骼点在自身坐标系中的坐标不一定相同；因此，还需要对骨骼数据进行如下统一标准化处理；

标准化的目的主要是为了消除用户个体身高带来的骨骼坐标差异，其思想是对所有骨骼点进行整体缩放，使得某段骨骼保持标准长度即可，本发明选择SpineMid到SpineBase骨骼的距离保持为0.3，以此求得缩放比例S，带入下式计算所有骨骼点坐标输出；

上式中(x′，y′，z′)为变换前的骨骼坐标，P_i＝(x，y，z)为变换后的骨骼点；经标准化处理后的骨骼点数据可用于下一步肢体动作的识别。

优选的，所述S20中，定义肢体节点特征向量包括以下步骤：

S201、动作在某一时间点的状态为静态姿势，人体某一关节或多个关节点在空间的运动序列为动态行为；识别动作之前，需要在用户空间坐标系下描述通用特征数据，通用特征数据一般包括相对关节点的三维坐标信息，关节点空间运动矢量，关节点间空间距离等，肢体动作特征数据描述如图3所示；

S202、本发明定义肢体节点特征向量来描述动作特征数据，通过对肢体节点特征向量参数的计算和分析，实现对多个特定姿势组合形成的动态序列的识别，即对肢体动作的识别；肢体节点特征向量包括关节点空间运动矢量、关节点运动时间间隔和关节点空间距离，肢体节点特征向量V定义如下式：

其中T表示动作类型，k(0≤k≤19)表示关节点索引，i(i＝0，1，…，s)表示当前采样帧，s表示对应关节点到达下一个特定采样点的结束帧，J_k ⁱJ_k ⁱ⁺¹表示关节点k从当前采样帧i运动到下一帧i+1的空间运动矢量，J_k ⁱ表示关节点k在第i帧的空间坐标点(x_k ⁱ，y_k ⁱ，z_k ⁱ)，Δt_k ^s表示关节点k从J_k ⁰坐标点通过轨迹运动到J_k ^s坐标点的时间间隔，|P_mP_n|表示人体特定关节点之间的空间距离，该距离作为网格模型中的比例特征校验量。

优选的，所述S30中构造姿势序列状态链，从而实现对肢体动作的解析和识别包括以下步骤：

S301、人体每个动作由对应的肢体关节点的连续运动轨迹构成，连续的运动轨迹可以由离散的关键点进行拟合，每个关键点对应特定的姿势状态，通过识别每个状态的转移变化过程，可以实现动作的判定；由S20为肢体动作定义肢体节点特征向量，将预定义的节点特征向量存储，其中一个连续动作对应多个姿势，并加以时间限制，将这些姿势组合成为一个姿势序列状态链；

S302、识别过程中，将实时的人体骨骼数据通过S10和S20转换为实时的姿势序列状态链；针对每一个姿势序列状态链，其状态转移并进行动作识别的过程如图4所示：

其中，每个状态对应一个特定姿势，当识别到下一个姿势时状态发生跳转；当在规定的时间戳内没有识别到下一个姿势，则状态返回初始值；状态链的长度为N，当最后一个姿态识别到，则动作识别成功，输出结果并重置状态链；从每个动作的识别过程可以看出，针对每个动作都需要生成一条状态链，并且各自独立维护状态链的转换。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (4)

1.一种基于姿势序列状态链的肢体动作识别方法，其特征在于：包括以下步骤，

S10、将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系；

S20、定义肢体节点特征向量；

S30、构造姿势序列状态链，从而实现对肢体动作的解析和识别。

2.根据权利要求1所述的一种基于姿势序列状态链的肢体动作识别方法，其特征在于：所述S10中，将体感交互设备获得的肢体节点数据变换到以用户为中心的肢体节点坐标系包括以下步骤：

S101、本发明使用深度传感器获取人体的骨骼关节点信息，该深度传感器可以提供人体总共25个肢体骨骼点的坐标信息，但是通过它获取到的肢体节点数据是以设备坐标系描述的，为了识别方便和提升准确性，需要将数据坐标转换到以用户自身中心建立的坐标系中，两个坐标系如图1所示；

S102、将骨骼数据进行坐标转换到用户坐标系的过程如下：定义设备坐标系以设备正前方为Z轴正方向，竖直向上为Y轴正方向，设备左侧为X轴正方向，而人体自身坐标系以人的正前方为Z轴正方向，竖直向上为Y轴正方向，水平向左为X轴正方向，选取人体骨骼数据较为稳定的腰部中心(SpineBase)为坐标原点构建人体坐标系，如图1中，由于用户没有正对深度传感器，而是与X轴正方向成θ°夹角，通过左右臀部两个骨骼点坐标可以求取夹角值；将骨骼数据进行坐标转换到用户自身坐标系下的转换公式如下所示：

在第一个公式中，(X₀，X₀，X₀)表示深度传感器坐标系下人体中心坐标，(X_i，Y_i，Z_i)表示所有人体骨骼点的坐标，将人体骨骼坐标平移，使得人体骨骼中心到设备坐标系原点位置；第二个公式将人体骨骼坐标绕Y轴逆时针旋转θ角度，即图1中人体没有正对设备时的偏转角度，式中的对角矩阵表示将坐标点绕Y轴旋转180度；输出的P_i坐标即为人体自身坐标系下骨骼点的坐标，并且z轴始终保持朝向用户正前方；

S103、经坐标系转换后的骨骼点数据仍然存在个体差异，比如不同高度的人体保持统一姿势，其相同的骨骼点在自身坐标系中的坐标不一定相同；因此，还需要对骨骼数据进行如下统一标准化处理；

标准化的目的主要是为了消除用户个体身高带来的骨骼坐标差异，其思想是对所有骨骼点进行整体缩放，使得某段骨骼保持标准长度即可，本发明选择SpineMid到SpineBase骨骼的距离保持为0.3，以此求得缩放比例S，带入下式计算所有骨骼点坐标输出；

上式中(x′，y′，z′)为变换前的骨骼坐标，P_i＝(x，y，z)为变换后的骨骼点；经标准化处理后的骨骼点数据可用于下一步肢体动作的识别。

3.根据权利要求1所述的一种基于姿势序列状态链的肢体动作识别方法，其特征在于：所述S20中，定义肢体节点特征向量包括以下步骤：

S201、动作在某一时间点的状态为静态姿势，人体某一关节或多个关节点在空间的运动序列为动态行为；识别动作之前，需要在用户空间坐标系下描述通用特征数据，通用特征数据一般包括相对关节点的三维坐标信息，关节点空间运动矢量，关节点间空间距离等，肢体动作特征数据描述如图3所示；

S202、本发明定义肢体节点特征向量来描述动作特征数据，通过对肢体节点特征向量参数的计算和分析，实现对多个特定姿势组合形成的动态序列的识别，即对肢体动作的识别；肢体节点特征向量包括关节点空间运动矢量、关节点运动时间间隔和关节点空间距离，肢体节点特征向量V定义如下式：

其中T表示动作类型，k(0≤k≤19)表示关节点索引，i(i＝0，1，…，s)表示当前采样帧，s表示对应关节点到达下一个特定采样点的结束帧，J_k ⁱJ_k ⁱ⁺¹表示关节点k从当前采样帧i运动到下一帧i+1的空间运动矢量，J_k ⁱ表示关节点k在第i帧的空间坐标点(x_k ⁱ，y_k ⁱ，z_k ⁱ)，Δt_k ^s表示关节点k从J_k ⁰坐标点通过轨迹运动到J_k ^s坐标点的时间间隔，|P_mP_n|表示人体特定关节点之间的空间距离，该距离作为网格模型中的比例特征校验量。

4.根据权利要求1所述的一种基于姿势序列状态链的肢体动作识别方法，其特征在于：所述S30中构造姿势序列状态链，从而实现对肢体动作的解析和识别包括以下步骤：

S301、人体每个动作由对应的肢体关节点的连续运动轨迹构成，连续的运动轨迹可以由离散的关键点进行拟合，每个关键点对应特定的姿势状态，通过识别每个状态的转移变化过程，可以实现动作的判定；由S20为肢体动作定义肢体节点特征向量，将预定义的节点特征向量存储，其中一个连续动作对应多个姿势，并加以时间限制，将这些姿势组合成为一个姿势序列状态链；

S302、识别过程中，将实时的人体骨骼数据通过S10和S20转换为实时的姿势序列状态链；针对每一个姿势序列状态链，其状态转移并进行动作识别的过程如图4所示：

其中，每个状态对应一个特定姿势，当识别到下一个姿势时状态发生跳转；当在规定的时间戳内没有识别到下一个姿势，则状态返回初始值；状态链的长度为N，当最后一个姿态识别到，则动作识别成功，输出结果并重置状态链；从每个动作的识别过程可以看出，针对每个动作都需要生成一条状态链，并且各自独立维护状态链的转换。

Images