CN107392131A

CN107392131A - 一种基于人体骨骼节点距离的动作识别方法

Info

Publication number: CN107392131A
Application number: CN201710573316.3A
Authority: CN
Inventors: 侯永宏; 杨梦頔; 李传坤; 王利伟
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-07-14
Filing date: 2017-07-14
Publication date: 2017-11-24

Abstract

本发明涉及一种基于人体骨骼节点距离的动作识别方法，步骤如下：⑴将骨骼序列的每一帧在笛卡尔正交系的三个平面分别投影，生成人体骨骼分布图；⑵提取人体骨骼分布图上的骨骼关节点；⑶计算骨骼序列每一帧的骨骼关节之间的欧式距离，将所有节点的距离组合成帧距离向量；⑷将骨骼序列的所有帧距离向量按照时间顺序组成序列距离矩阵；⑸利用伪颜色编码方法对距离二维矩阵进行颜色编码，得到彩色纹理图；⑹利用深度学习方法进行图片分类，从而完成人类的动作检测识别任务。本发明基于骨骼节点距离的动作识别方法不受环境和交互动作影响，适用于复杂场景下交互式动作识别，因而具有更加广阔的应用价值。

Description

一种基于人体骨骼节点距离的动作识别方法

技术领域

本发明属于多媒体信息处理领域，涉及计算机智能、模式识别、机器学习，由其是一种基于人体骨骼节点距离的动作识别方法。

背景技术

随着计算机智能技术的不断发展，在今后的生活中，人体动作识别具有广阔的应用前景。例如：智能监控、人机交互的体感游戏、视频检索等等。所以，研究动作识别方法有着深远的研究价值。近年来，随着计算机视觉技术的日渐成熟，易使用、低成本的深度传感器，如Kinect相机，得到了广泛的使用。由于深度摄像机与传统彩色摄像机相比，具有对照明变化不敏感和能够可靠估计身体轮廓和骨架的优点，基于深度骨骼视频序列的人类动作检测识别引起了越来越多的关注。但是，目前基于骨骼的动作技术识别尚不成熟。

本申请发明人之前申请的两篇专利CN106203503A、CN106228109A是与本申请最相关的公开专利，其缺点是只能识别单个主题场景中的动作，不能满足复杂场景下交互式动作识别的需要。

发明内容

本方法利用由Kinect摄像机得到的人体骨骼序列，通过提取人体骨骼节点之间的距离信息，进行颜色编码，并使用深度学习方法对动作进行分类训练，提出了一种基于人体关节点距离的动作识别方法，满足复杂场景下交互式动作识别的需要。

实现本发明目的的技术方案为：

一种基于人体骨骼节点距离的动作识别方法，步骤如下：

⑴将骨骼序列的每一帧在笛卡尔正交系的三个平面分别投影，生成人体骨骼分布图；

⑵提取人体骨骼分布图上的骨骼关节点；

⑶计算骨骼序列每一帧的骨骼关节之间的欧式距离，将所有节点的距离组合成帧距离向量；

⑷将骨骼序列的所有帧距离向量按照时间顺序组成序列距离矩阵；

⑸利用伪颜色编码方法对距离二维矩阵进行颜色编码，得到彩色纹理图；

⑹利用深度学习方法进行图片分类，从而完成人类的动作检测识别任务。

所述的深度学习方法步骤为：⑴采用四通道对正面、侧面、顶面、三维距离的彩色纹理图分别进行卷积神经网络的参数训练；⑵调节卷积神经网络参数；⑶融合四个通道的动作识别结果，对输入的测试数据进行分类。对四个通道输出分类概率矢量v₁，v₂，v₃，v₄按照如下公式进行融合，

lable＝Fin(max(v₁ov₂ov₃ov₄))

其中，o代表矢量的元素相乘，Fin()函数代表将概率值最大的动作作为动作识别的结果。

具体步骤为：

第一步，利用双线性插值法将所有动作的骨骼序列帧数固定为t；

第二步，假设从每一帧骨骼图V_xyz上提取m个人体骨骼节点，用

来表示第i帧的第j个骨骼节点的三维位置信息；整个视频序列中所有的骨骼均可以根据三维信息投影到三个笛卡尔正交系的三个正面、侧面、顶面，得到正面S_xy、侧面S_yz、顶面S_xz，投影后，每一帧骨骼序列得到三张黑白的描述该动作骨骼分布的图片；

第三步，在正面S_xy、侧面S_yz、顶面S_xz和骨骼图V_xyz上分别求出骨骼节点到其他m-1个骨骼节点的欧式距离

d_jk ⁱ＝||P_j ⁱ-P_k ⁱ||₂,j∈1,...,m-1；k∈j+1,...,m

第四步，每一帧总共有m(m-1)/2个骨骼节点对，故得到m(m-1)/2个距离，重新对其标号为其中，l∈1,...,m(m-1)/2，将这m(m-1)/2个骨骼节点距离组成帧距离向量Dⁱ：

Dⁱ＝{d₁ ⁱ,d₂ ⁱ,...,d_l ⁱ}

第五步，把每一帧的帧距离矩阵Dⁱ按照时间顺序组合起来，得到序列距离矩阵H：

H＝{D¹,D²,...,D^t}

第六步，对序列距离矩阵进行伪颜色编码，得到正面S_xy、侧面S_yz、顶面S_xz、三维距离V_xyz的彩色纹理图。

本发明的优点和有益效果：

1、本发明基于骨骼节点距离的动作识别方法不受环境和交互动作影响，适用于复杂场景下交互式动作识别，因而具有更加广阔的应用价值。

2、本发明通过记录骨骼节点之间的距离变化保存了骨骼序列中动作的时间特征。骨骼节点之间距离的不同能够对应不同的动作，使得动作特征更加明显，更加易于神经网络学习，从而提高动作识别的准确率。

3、本发明采用四个通道，利用深度学习技术对提取到的特征进行训练，最后采用融合技术，对四个通道的分类结果进行融合，实现客观准确而高效的人体动作的识别功能。

4、本发明通过在骨骼序列的每一帧上提取固定位置的关键骨骼节点，从而有效的提取空间特征，与传统手工提取动作特征相比，具有客观性，普遍适用性，减少了随机性和主观选择的干扰。使得识别结果更客观可信，应用性更强。

附图说明

图1为整个基于人体骨骼节点的动作识别框架图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于人体骨骼节点距离的动作识别方法，步骤如下：

1)骨骼序列到图片的映射

假设有一系列人体动作的骨骼序列，现要对动作进行识别，通常每个动作的骨骼序列的帧数t_x不确定。

第一步，利用双线性插值法将所有动作的骨骼序列帧数固定为t。

来表示第i帧的第j个骨骼节点的三维位置信息。整个视频序列中所有的骨骼均可以根据三维信息投影到三个笛卡尔正交系的三个平面上(正面、侧面、顶面)，得到正面S_xy、侧面S_yz、顶面S_xz。这样的投影后，每一帧骨骼序列都能得到三张黑白的描述该动作骨骼分布的图片。具有丰富的空间信息，然而并不具备时间信息的描述。

d_jk ⁱ＝||P_j ⁱ-P_k ⁱ||₂,j∈1,...,m-1；k∈j+1,...,m

Dⁱ＝{d₁ ⁱ,d₂ ⁱ,...,d_l ⁱ}

H＝{D¹,D²,...,D^t}

第六步，对序列距离矩阵进行伪颜色编码，得到彩色纹理图。此时会得到四组彩色纹理图，即正面S_xy、侧面S_yz、顶面S_xz、三维距离V_xyz的彩色纹理图。

2)利用深度学习进行图片分类，从而完成人类的动作检测识别任务。

在这里，我们采用当今公用的深度学习框架caffe，在Linux系统下，通NvidiaGTXTITANX显卡进行卷积神经网络训练的加速，采用该工具箱中AlexNet的网络结构对经过颜色编码的彩色纹理图片进行训练。

第一步，采用数据集中的训练数据集，用四个通道对正面S_xy、侧面S_yz、顶面S_xz、三维距离V_xyz的彩色纹理图分别进行卷积神经网络的参数训练。

第二步，采用微调模型优化网络参数。

第三步，对四个通道输出分类概率矢量v₁，v₂，v₃，v₄按照如下公式进行融合，

lable＝Fin(max(v₁ov₂ov₃ov₄))

下面为本发明在NTU RGB-D、UTD-MHAD等数据集上的实验结果说明：

在Matlab-2014b平台上进行算法的仿真实现，计算出了训练数据集以及测试数据集在正面、侧面、顶面和空间上的骨骼节点距离图，并且利用伪颜色编码转化成了彩色纹理图。我们采用当今公用的深度学习框架caffe，在Linux系统下，通过NvidiaGTXTITANX显卡进行卷积神经网络训练的加速。最后概率矢量融合部分依然在Matlab-2014b平台上完成。

本方法在国际公认的人类动作识别数据集中进行测试，在数据集NTU RGB-D中训练集以及测试集的分配方式采用cross subject和cross view分配方式。测试结果如下：在包含60类动作(其中包含11个交互动作)的NTU RGB-D数据集上，分别获得了76.2％和82.3％的识别准确率；在数据集UTD-MHAD中训练集以及测试集的分配方式采用crosssubject分配方式。测试结果为：在包含27类动作的UTD-MHAD数据集上，获得了88.10％的识别准确率。该实验结果对比与国际领先的基于骨骼序列的人类动作检测识别算法，均取得了高于其余算法的分类准确度。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.一种基于人体骨骼节点距离的动作识别方法，步骤如下：

⑵提取人体骨骼分布图上的骨骼关节点；

其特征在于：

2.根据权利要求1所述的基于人体骨骼节点距离的动作识别方法，其特征在于：所述的深度学习方法步骤为：⑴采用四通道对正面、侧面、顶面、三维距离的彩色纹理图分别进行卷积神经网络的参数训练；⑵调节卷积神经网络参数；⑶融合四个通道的动作识别结果，对输入的测试数据进行分类。

3.根据权利要求1所述的基于人体骨骼节点距离的动作识别方法，其特征在于：具体步骤为：

第三步，在正面S_xy、侧面S_yz、顶面S_xz和骨骼图V_xyz上分别求出骨骼节点P_j ⁱ到其他m-1个骨骼节点的欧式距离d_jk ⁱ：

d_jk ⁱ＝||P_j ⁱ-P_k ⁱ||₂,j∈1,...,m-1；k∈j+1,...,m

第四步，每一帧总共有m(m-1)/2个骨骼节点对，故得到m(m-1)/2个距离，重新对其标号为dlⁱ：其中，l∈1,...,m(m-1)/2，将这m(m-1)/2个骨骼节点距离组成帧距离向量Dⁱ：

Dⁱ＝{d₁ ⁱ,d₂ ⁱ,...,d_l ⁱ}

H＝{D¹,D²,...,D^t}

4.根据权利要求2所述的基于人体骨骼节点距离的动作识别方法，其特征在于：对四个通道输出分类概率矢量v₁，v₂，v₃，v₄按照如下公式进行融合，

其中，代表矢量的元素相乘，Fin()函数代表将概率值最大的动作作为动作识别的结果。