CN109670401B - 一种基于骨骼运动图的动作识别方法 - Google Patents

Abstract

本发明涉及一种基于骨骼运动图的动作识别方法，包括：将人体骨骼序列的每一帧分别投影到笛卡尔正交系的三个平面上，生成人体骨骼序列分布图，用来获取空间信息；使用时间金字塔方法将骨骼序列分布图分割为不同分段的两层结构，用来获取运动的时间信息；对每个面的分段的骨骼序列分布图分别累积每个关节上连续帧之间的绝对差，生成分段的骨骼运动图；对分段的骨骼运动图使用四个不同的颜色表分别进行伪彩色编码，获得更多的彩色纹理信息，得到彩色分段的骨骼运动图；使用加法更新策略，将彩色分段的骨骼运动图叠加生成最终的骨骼运动图；利用深度学习进行图片分类，从而完成人类的动作检测识别任务。

Description

一种基于骨骼运动图的动作识别方法

技术领域

本发明属于多媒体信息处理领域，涉及一种动作识别方法。

背景技术

人体动作识别在模式识别和计算机视觉中的应用非常广泛，如视频监控、手势识别、人机交互等等。人类可以通过用描述骨骼的主要关节的几个点的运动来识别动作。与基于RGB 的动作识别相比，骨骼数据包含人体关节的位置，是一种相对较高层次的运动识别特征。它对尺度和光照的变化具有较强的鲁棒性，并且对摄像机的视角、人体的旋转和运动速度都具有一定的不变性。基于骨架的动作识别可以避免视频特征提取的繁重任务，因此，单纯基于骨骼序列的人类动作识别也具有很有发展的前景。

近年来，卷积神经网络在计算机识别的领域中具有相当出色的表现。但如何有效地提取骨骼序列的空间和时间信息并适应神经网络的输入仍然是一个开放话题。

本发明提出的基于人体骨骼运动图的动作识别方法，首先采用不同的形状来表示骨骼关节，对骨骼进行可视化，有效利用空间信息。其次，对骨骼序列进行分割，并在每个分割的序列上累积每个关节上连续帧之间的绝对差，充分利用时间信息。第三，输入到神经网络之前，每个时间金字塔骨骼运动图进行伪彩色编码。将增强的不同运动模式编码到伪RGB信道。最后采用融合技术，对六个通道的分类结果进行融合，实现客观准确而高效的人体动作的识别功能。

发明内容

本发明提供一种较为准确的基于人体骨骼运动图的动作识别方法，使用时间金字塔和伪彩色编码方法，并将之与深度学习进行相连接。技术方案如下：

一种基于骨骼运动图的动作识别方法，包括下列步骤：

1)将人体骨骼序列的每一帧分别投影到笛卡尔正交系的三个平面上，使用不同形状的实体表示每个骨骼的关节点，并利用第三维度的坐标作为深度信息，生成人体骨骼序列分布图，用来获取空间信息；

2)使用时间金字塔方法将骨骼序列分布图分割为不同分段的两层结构，用来获取运动的时间信息；

3)对每个面的分段的骨骼序列分布图分别累积每个关节上连续帧之间的绝对差，生成分段的骨骼运动图；

4)对分段的骨骼运动图使用四个不同的颜色表分别进行伪彩色编码，获得更多的彩色纹理信息，得到彩色分段的骨骼运动图；

5)使用加法更新策略，将彩色分段的骨骼运动图叠加生成最终的骨骼运动图。

6)利用深度学习进行图片分类，从而完成人类的动作检测识别任务。

本发明提出的基于人体骨骼运动图的动作识别方法，首先采用不同的形状来表示骨骼关节，对骨骼进行可视化，有效利用空间信息。其次，对骨骼序列进行分割，并在每个分割的序列上累积每个关节上连续帧之间的绝对差，充分利用时间信息。第三，输入到神经网络之前，每个时间金字塔骨骼运动图进行伪彩色编码。将增强的不同运动模式编码到伪RGB信道。最后采用融合技术，对六个通道的分类结果进行融合，实现客观准确而高效的人体动作的识别功能。

附图说明

附图为整个基于骨骼序列的人类动作识别框架。

具体实施方式

1)骨骼序列到骨骼运动图片的映射

第一步，假设一个包含n帧的骨架序列S＝{F₁,F₂,...,F_n}，其中

表示骨骼序列的第j帧；m表示骨骼节点数；

表示关节的第j帧的第i个节点的三维坐标。每一帧的骨骼数据投影到笛卡尔正交系的三个平面上，将

的值作为投影的深度值，并且使用实体形状去表示每一个骨骼节点。这样的投影后，每一个骨骼序列的每一帧都能得到三张黑白的描述该动作骨骼分布的图片。具有丰富的空间信息，然而并不具备时间信息的描述。

第二步，使用时间金字塔策略对骨骼序列进行分割，一个序列可以被分割为n个片段，最常见的是n＝1，2，4...。考虑到计算量和有效性，我们采用骨骼序列分割不同的值n＝1，4 构造两层体系结构。

第三步，积累每个分段的骨骼序列分布图在投影平面上的连续帧之间的绝对差，得到分段的骨骼运动图，如下公式所示：

其中S-SMM表示分段的骨骼运动图，v∈{f，s，t}表示对应的笛卡尔正交系的三个平面上的三个投影视图，M为分段的骨骼序列分布图的帧数，

是第k帧在视图v上的投影。

第四步，对分段的骨骼运动图使用四个不同的颜色表将灰度值映射到RGB颜色空间，分别进行伪彩色编码，得到彩色分段的骨骼运动图。其中四个颜色表的R通道和G通道的值分别为(0,0.4980)，(0.4980,1)(1,0.502)和(0.5176，0)，B通道的映射关系如下公式所示：

其中I表示分段的骨骼运动图的灰度值。

第五步，为了适应神经网络的输入，对四个彩色分段的骨骼运动图使用加法更新策略，合并成最终的骨骼运动图。

2)利用深度学习进行图片分类，从而完成人类的动作检测识别任务。

在这里，我们采用当今公用的深度学习框架keras，在Linux系统下，通过 NvidiaGTX TITAN X显卡进行卷积神经网络训练的加速，采用Densenet121的网络结构对获取的骨骼运动图进行训练。

第一步，对数据集进行训练集和测试集划分，将两层结构的六个骨骼运动图，分别进行六个卷积神经网络的参数训练。

第二步，采用微调模型优化网络参数。

第三步，对六个神经网络的输出得分向量，并按如下公式进行融合：

其中，v表示六个神经网络的输出得分向量，

代表矢量的元素相乘，Fin()函数代表将概率值最大的动作作为动作识别的结果。

下面为本发明在SYSU-3D、MSRC-12Kinect Gesture、UTD-MHAD数据集上的实验结果说明：

在Matlab-2017a平台上进行算法的仿真实现，计算训练数据集以及测试数据集的六个骨骼运动图。在linux系统下使用keras深度学习框架对数据进行训练。最后的得分融合部分在Python3.6平台上完成。

本方法在国际公认的人类动作识别数据集中进行测试，数据集中训练集以及测试集的分配方式采用Cross Subject分配方式。测试结果如下：在包含12类动作的SYSU-12数据集上，获得了83.74％的识别准确率；在包含12类动作的MSRC-12数据集上，获得了97.675％的识别准确率；在包含27类动作的UTD-MHAD数据集上，获得了92.56％的识别精度。该实验结果对比与国际领先的基于骨骼序列的人类动作检测识别算法，均取得了高于其余算法的分类准确度。

Claims (1)

1.一种基于骨骼运动图的动作识别方法，包括下列步骤：

1)将人体骨骼序列的每一帧分别投影到笛卡尔正交系的三个平面上，使用不同形状的实体表示每个骨骼的关节点，并利用第三维度的坐标作为深度信息，生成人体骨骼序列分布图，用来获取空间信息；

2)使用时间金字塔方法将骨骼序列分布图分割为不同分段的两层结构，用来获取运动的时间信息；

3)对每个平面的分段的骨骼序列分布图分别累积每个关节上连续帧之间的绝对差，生成分段的骨骼运动图，如下公式所示：

其中S-SMM表示分段的骨骼运动图，v表示对应的笛卡尔正交系的三个平面上的三个投影视图，M为分段的骨骼序列分布图的帧数，

是第k帧在视图v上的投影；

4)对分段的骨骼运动图使用四个不同的颜色表分别进行伪彩色编码，获得更多的彩色纹理信息，得到彩色分段的骨骼运动图；

5)使用加法更新策略，将彩色分段的骨骼运动图叠加生成最终的骨骼运动图；

6)利用深度学习对步骤5)所获取的骨骼运动图进行分类，从而完成人类的动作检测识别任务。

Images