CN111914798B - 基于骨骼关节点数据的人体行为识别方法 - Google Patents

Abstract

本发明提供一种基于骨骼关节点数据的人体行为识别方法，通过从骨骼关节点数据序列中提取描述人体行为运动信息的运动轨迹特征、运动偏移特征，以及描述人体行为静态信息的静态姿势特征；通过建立基于骨骼关节点数据的运动量模型，实现了对时间段的自适应划分；上述自适应时间段划分以及段内的特征表征方法，可达到表达动作顺序的目的，同时也增强特征表达能力，从而可提升人体行为的识别效果。

Description

基于骨骼关节点数据的人体行为识别方法

技术领域

本发明涉及计算机视觉及人体行为识别技术领域，尤其涉及一种基于骨骼关节点数据的人体行为识别方法。

背景技术

人体行为识别是指利用计算机将传感器获取到的数据进行处理、建模和分析，从中提取与人体行为相关信息，并建立这些信息与高层语义之间的关系，从而使计算机可以识别个体行为、个体之间的交互行为或群体之间的交互行为。

传统的基于视频数据的人体行为识别方法，由于摄像头在成像时容易受到光照变化、复杂背景干扰等因素的影响，且无法得到目标的三维信息，其识别结果不理想。

随着计算机技术的发展和硬件成本的降低，市场上出现了新型传感器，例如微软的Kinect，该设备不仅能获取彩色图像数据，还能获取深度数据和骨骼关节点数据；相较于视频图像数据和深度数据来说，骨骼关节点数据具有数据量较小，不易受环境光照和复杂背景干扰等因素的影响，并且具有能有效描述人体三维结构的优势，受到了广泛的关注。

目前基于骨骼关节点数据的识别方法在实际应用中存在一些困难，表现在获得的人体行为特征中行为信息量相对较少，且较为单一；在时间序列上倾向于使用动作的整体时间段的特征而忽略了动作过程，导致识别结果不理想。

本发明提供一种基于骨骼关节点数据的人体行为识别方法，通过从骨骼关节点数据序列中提取描述人体行为运动信息的运动轨迹特征、运动偏移特征，以及描述人体行为静态信息的静态姿势特征；通过建立基于骨骼关节点数据的运动量模型，实现了对时间段的自适应划分；上述自适应时间段划分以及段内的特征表征方法，可达到表达动作顺序的目的，同时也增强特征表达能力，从而可提升人体行为的识别效果。

发明内容

基于骨骼关节点数据的人体行为识别方法，包括以下步骤。

步骤1，获取单个行为的骨骼关节点数据序列。

所述骨骼关节点数据序列包含人体骨骼关节点的三维坐标信息，为提高运算速度，可只选择部分骨骼关节点、骨骼向量、关节夹角参与计算。

步骤2，对骨骼关节点数据序列中的每一帧，计算运动变化量和运动量。

所述运动变化量指当前帧与前一帧对应骨骼向量间的偏转角度；

将所有所选骨骼向量的偏转角度绝对值累加，作为该帧的骨骼关节点的运动变化量。

所述运动量是指当前帧之前的所有帧的运动变化量的累加；最后一帧的运动量称为该动作的总运动量。

步骤3，将运动量归一化到[0,1]区间，构建该动作的人体行为运动量模型。

所述将运动量归一化到[0,1]区间，包括：

将每一帧的运动量，除以最后一帧的运动量，得到归一化后的运动量。

所述构建该动作的人体行为运动量模型，包括：

以帧索引为横坐标，每帧中经过归一后的运动量作为纵坐标，绘制成图形，称为该动作的人体行为运动量模型。

步骤4，根据人体行为的运动量模型来对时间进行自适应划分。

所述对时间进行自适应划分，包括：

设时间金字塔的层数为n，对运动量模型的纵坐标进行n-1次均分，得到纵坐标分割点；根据该分割点，在运动量模型曲线上得到对应的即帧索引分割点，作为时间分割点；

该时间分割点是按时间金字塔方式划分的，划分的时间段称为自适应划分时间段，每个时间段长度不同；

时间金字塔是一种通过划分尺度大小不同的时间段，从而保留内部时序信息的方式，可用来对不同时间长度的行为序列进行比较；通常采用二分并构成不同的金字塔层；本专利采用的是类似方式，称为时间金字塔方式。

步骤5，对自适应划分时间段内的数据，计算骨骼关节点特征。

所述计算骨骼关节点特征，包括：

对骨骼关节点数据序列中的每一帧，提取运动轨迹特征、运动偏移特征和静态姿势特征，并将这三种特征进行拼接作为骨骼关节点特征。

所述运动轨迹特征，包括：

计算当前帧与前一帧对应骨骼关节点的三维坐标变化量作为局部轨迹变化量；

计算当前帧与初始帧对应骨骼关节点的三维坐标变化量作为全局轨迹变化量；

将局部轨迹变化量和全局轨迹变化量拼接作为运动轨迹特征；

将所有所选骨骼关节点的运动轨迹特征拼接，构成该帧的运动轨迹特征。

所述运动偏移特征，包括：

计算当前帧与前一帧对应骨骼向量的偏转角度作为局部偏移量；

计算当前帧与初始帧间对应骨骼向量的偏转角度作为全局偏移量；

将局部偏移量和全局偏移量拼接作为运动偏移特征；

将所有所选骨骼向量的运动偏移特征拼接，构成该帧的运动偏移特征。

所述静态姿势特征，包括：

计算当前帧内相邻骨骼关节点间的关节点夹角，来描述人体行为的静态姿势特征；

将所有所选关节点夹角数据相拼接，构成该帧的静态姿势特征。

步骤6，使用特征编码方法，对各时间段内的特征进行特征编码，然后对全部按自适应划分时间段的特征进行拼接，得到该动作的特征向量。

所述使用特征编码方法，对各时间段内的特征进行特征编码，包括：

用特征编码技术得到特征码书；用其对各时间段内的骨骼关节点特征进行特征编码；此时得到的特征向量长度相同。

所述对全部按自适应划分时间段的特征进行拼接，包括：

将按自适应划分时间段的经过编码后的特征，以特征向量拼接的方式进行组合，得到该动作的特征向量。

尽管不同动作的持续时间不同，但其时间段划分个数是一致的，因此最终得到的特征向量长度是一致的。

步骤7，使用分类算法对各动作特征向量进行训练，最终实现人体行为识别。

所述使用分类算法对各动作特征向量进行训练，包括：

按照训练集和测试集的划分方法，用训练集数据进行训练，用测试集数据进行测试，从而获得分类器的最佳分类参数，最终实现对人体行为的识别。

本方法首先构建人体运动量模型，并使用时间金字塔方式进行自适应时间段划分；对每个时间段，统计其骨骼关节点特征并进行编码，使用特征编码方法对特征进行降维，使用分类算法对其进行训练和分类。本方法依据时间金字塔方式对时间进行划分，有效地包含了动作的顺序信息；骨骼关节点特征使用运动轨迹特征、运动偏移特征和静态姿势特征的融合，增强特征的表达能力；特征编码方法对特征进行了降维和归一化，有效地降低了计算量；最终提升了人体动作的识别结果。

附图说明

图1为本发明方法的流程示意图。

图2为选取的14个骨骼关节点示意图。

图3为选取的9个骨骼向量示意图。

图4为选取的9个关节点夹角示意图。

图5为某动作的运动量模型示意图。

图6为该动作按自适应时间划分示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面通过具体的实施例，对本发明的技术方案进行更加详细和完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

一种基于骨骼关节点数据的人体行为识别方法，如图1所示，包含以下步骤。

步骤1，选择包含人体骨骼关节点信息的人体行为数据集

如选用MSR Action 3D数据集，每个样本均包含多帧数据，每帧可以得到20个骨骼关节点三维数据。

为提高运算速度，可只选择部分骨骼关节点、骨骼向量、关节夹角参与计算。

可选取左肩、右肩、脊柱中心、左髋、右髋、髋部中心、左手肘、右手肘、左手腕、右手腕、左膝关节、右膝关节、左脚踝、右脚踝一共14个骨骼关节点，如图2所示。

可选取左手肘到左手腕、右手肘到右手腕、左肩部到左手肘、右肩部到右手肘、脊柱中心到肩部中心、左髋到左膝关节、右髋到右膝关节、左膝关节到左脚踝、右膝关节到右脚踝一共9个骨骼向量，如图3所示。

可选取左肩、右肩、左肘、右肘、左右手臂夹角、左膝、右膝、左髋、右髋一共9个关节点夹角，如图4所示。

步骤2，对骨骼关节点数据序列中的每一帧，计算运动变化量和运动量。

所述运动变化量指当前帧与前一帧对应骨骼向量间的偏转角度；

将前面选择的9个骨骼向量的偏转角度绝对值累加，作为该帧的骨骼关节点的运动变化量；

所述运动量是指当前帧之前的所有帧的运动变化量的累加；最后一帧的运动量称为该动作的总运动量。

考虑到数据中噪声的存在，可以设定两个阈值，在阈值范围内的偏转角度才计入帧间的运动变化量；下阈值可以设定为帧间偏转角度平均值的5%，上阈值可以设定为帧间偏转角度平均值的5倍。

例如“举手”这一行为来说，运动变化量可以看成是相邻帧间内组成手臂的全部骨骼关节点在空间中的偏转量的累加，当前帧之前的所有帧的运动变化量的累加，即为当前帧的运动量。

步骤3，将运动量归一化到[0,1]区间，构建该动作的人体行为运动量模型。

先将每一帧的运动量，除以最后一帧的运动量，得到归一化后的运动量。

然后以帧索引为横坐标，每帧中经过归一后的运动量作为纵坐标，绘制成图形，称为该动作的人体行为运动量模型。

如图5所示，运动量模型的斜率表示运动量的变化率，斜率越大，说明在这一帧前后动作幅度越大，反之斜率越小，说明在这一帧前后动作幅度越小。

步骤4，根据人体行为的运动量模型来对时间进行自适应划分。

类似图6下方所示，若设定时间金字塔为三层，则需要对运动量模型的纵坐标进行两次二等分（注意图6不是时间等分而是运动量等分）。

如图6所示，将图5所示的运动量模型按三层时间金字塔划分，运动量进行2次均分，根据纵坐标分割点所在运动量所对应的帧索引，得到时间划分的分割点和时间段；一共七个时间片段。

本方法在运动量模型图上根据运动量均分划分时间分割点，我们将其称为按时间金字塔方式的自适应划分时间段，每个时间段长度不同。

步骤5，对自适应划分时间段内的数据，计算骨骼关节点特征。

对骨骼关节点数据序列中的每一帧，提取运动轨迹特征、运动偏移特征和静态姿势特征，并将这三种特征进行拼接作为骨骼关节点特征。

所述运动轨迹特征，包括：

计算当前帧与前一帧对应骨骼关节点的三维坐标变化量作为局部轨迹变化量；

计算当前帧与初始帧对应骨骼关节点的三维坐标变化量作为全局轨迹变化量；

将局部轨迹变化量和全局轨迹变化量拼接作为运动轨迹特征；

将前面所选14个骨骼关节点的运动轨迹特征拼接，构成该帧的运动轨迹特征。

所述运动偏移特征，包括：

计算当前帧与前一帧对应骨骼向量的偏转角度作为局部偏移量；

计算当前帧与初始帧间对应骨骼向量的偏转角度作为全局偏移量；

将局部偏移量和全局偏移量拼接作为运动偏移特征；

将前所选9个骨骼向量的运动偏移特征拼接，构成该帧的运动偏移特征。

所述静态姿势特征，包括：

计算当前帧内相邻骨骼关节点间的关节点夹角，来描述人体行为的静态姿势特征；

将前面所选9个关节点夹角数据相拼接，构成该帧的静态姿势特征。

步骤6，使用特征编码方法，对各时间段内的特征进行特征编码，然后对全部按自适应划分时间段的特征进行拼接，得到该动作的特征向量。

用特征编码技术得到特征码书；用其对各时间段内的骨骼关节点特征进行特征编码；此时得到的特征向量长度相同。

将按自适应划分时间段的经过编码后的特征，以特征向量拼接的方式进行组合，得到该动作的特征向量。

尽管不同动作的持续时间不同，但其时间段划分个数是一致的，因此最终得到的特征向量长度是一致的。

如前述的三层时间金字塔共七个片段，由于时间长度不同，导致特征长度不一致，通过特征编码可将七个运动片段编码成长度相同的特征。

所述特征编码技术可使用费舍尔向量（Fisher Vector）。

步骤7，使用分类算法对各动作特征向量进行训练，最终实现人体行为识别。

可使用交叉验证测试的方法，选择一半的数据作为训练数据集，其余一半作为测试数据集；使用分类算法进行训练，并按照训练集和测试集的划分方法，用训练集数据进行分类训练，用测试集数据进行测试。

所述分类算法可使用核极限学习机（KELM：Kernel Extreme Learning Machine）。

最后应说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.基于骨骼关节点数据的人体行为识别方法，其特征在于，包括以下步骤：

步骤1，获取单个行为的骨骼关节点数据序列；

步骤2，对骨骼关节点数据序列中的每一帧，计算运动变化量和运动量；

步骤3，将运动量归一化到[0,1]区间，构建动作的人体行为运动量模型；

步骤4，根据人体行为的运动量模型来对时间进行自适应划分；

步骤5，对自适应划分时间段内的数据，计算骨骼关节点特征；

步骤6，使用特征编码方法，对各时间段内的特征进行特征编码，然后对全部时间段的特征进行拼接，得到该动作的特征向量；

步骤7，使用分类算法对各动作特征向量进行训练，最终实现人体行为识别；

所述步骤5，包括：

对骨骼关节点数据序列中的每一帧，提取运动轨迹特征、运动偏移特征和静态姿势特征，并将这三种特征进行拼接作为骨骼关节点特征；

所述运动轨迹特征，包括：

计算当前帧与前一帧对应骨骼关节点的三维坐标变化量作为局部轨迹变化量；

计算当前帧与初始帧对应骨骼关节点的三维坐标变化量作为全局轨迹变化量；

将局部轨迹变化量和全局轨迹变化量拼接作为运动轨迹特征；

将所有所选骨骼关节点的运动轨迹特征拼接，构成该帧的运动轨迹特征；

所述运动偏移特征，包括：

计算当前帧与前一帧对应骨骼向量的偏转角度作为局部偏移量；

计算当前帧与初始帧间对应骨骼向量的偏转角度作为全局偏移量；

将局部偏移量和全局偏移量拼接作为运动偏移特征；

将所有所选骨骼向量的运动偏移特征拼接，构成该帧的运动偏移特征；

所述静态姿势特征，包括：

计算当前帧内相邻骨骼关节点间的关节点夹角，来描述人体行为的静态姿势特征；

将所有所选关节点夹角数据相拼接，构成该帧的静态姿势特征；

将全部时间段的特征进行拼接，得到该动作的特征向量。

2.根据权利要求1所述的方法，其特征在于，所述步骤1，包括：

所述骨骼关节点数据序列包含人体骨骼关节点的三维坐标信息；

为提高运算速度，只选择部分骨骼关节点、骨骼向量、关节夹角参与计算。

3.根据权利要求1所述的方法，其特征在于，所述步骤2，包括：

所述运动变化量指当前帧与前一帧对应骨骼关节点间的偏转角度；

将所有所选骨骼向量的偏转角度绝对值累加，作为该帧的骨骼关节点的运动变化量；

所述运动量是指当前帧之前的所有帧的运动变化量的累加；最后一帧的运动量称为该动作的总运动量。

4.根据权利要求1所述的方法，其特征在于，所述步骤3，包括：

将每一帧的运动量，除以最后一帧的运动量，得到归一化后的运动量；

以帧索引为横坐标，每帧中经过归一后的运动量作为纵坐标，绘制成图形，称为该动作的人体行为运动量模型。

5.根据权利要求1所述的方法，其特征在于，所述步骤4，包括：

设时间金字塔的层数为n，对运动量模型的纵坐标进行n-1次均分，得到纵坐标分割点；根据该分割点，在运动量模型曲线上得到对应的即帧索引分割点，作为时间分割点，得到自适应划分时间段，每个时间段长度不同。

6.根据权利要求1所述的方法，其特征在于，所述步骤6，包括：

用特征编码技术得到特征码书；用其对各时间段内的骨骼关节点特征进行特征编码；此时得到的特征向量长度相同；

将按自适应划分时间段的经过编码后的特征，以特征向量拼接的方式进行组合，得到该动作的特征向量。

7.根据权利要求1所述的方法，其特征在于，所述步骤7，包括：

按照训练集和测试集的划分方法，用训练集数据进行训练，用测试集数据进行测试，从而获得分类器的最佳分类参数，最终实现对人体行为的识别。

Images