CN109685148A - 多类别人体动作识别方法及识别系统 - Google Patents

Abstract

本发明公开了一种多类别人体动作识别方法，包括以下步骤：S1：采集各类别人体动作数据，并附上动作类别标签；S2：采用相邻算法对S1中的数据进行处理，并将数据分为训练样本和测试样本；S3：建立多层的卷积神经网络模型，导入训练样本调节卷积神经网络模型参数，得到最优卷积神经网络模型；S4：将训练好的卷积神经网络模型移植到移动智能终端上；S5：通过利用移动智能终端获取人体动作数据，输入到训练好的卷积神经网络模型，得到人体动作识别结果。此种方法识别精度高，能够识别的动作类型多。

Description

多类别人体动作识别方法及识别系统

技术领域

本发明属于智能监控识别领域，特别涉及一种基于相邻算法数据处理和卷积神经网络的多类别人体动作识别方法及识别系统。

背景技术

人体动作识别技术在监控，人机交互，辅助技术，手语，计算行为科学和消费者行为分析，对人体动作行为的监测、识别和分析都有着广泛的需求。大体上动作识别技术分为二种：基于图像的识别和基于传感器的识别，而基于传感器的识别由于数据采集方便、保护用户隐私等原因，广受研究者的青睐。

通常，为了保持较高的识别精度，会在人体多处关节上安置多个传感器设备。虽然这种方法能够直观地发现各种动作的加速度特征，但实际应用中要求使用者携带多个传感器，很是不方便。如何使用较少甚至只是用一组传感器进行高准确率的人体姿态识别是一个非常实际的研究问题。

使用智能手机或智能手表的内置传感器进行人体动作识别，国内外早已有很多研究应用，目前市面上多数智能手环手表和手机均有动作识别的应用程序APP。此类人体动作识别方法绝大多数为阈值检测法，即通过判断传感器原始或处理后的数据是否大于或小于预先设定的好阈值来分类动作类型。这种方法计算简单，占用智能移动设备的内存少，但与此同时，其缺点也很明显：不同产品准确率参差不齐，能够识别的动作类别也十分有限。这一方面是各个公司研发人员技术差距的原因，更重要的一方面原因是此类方法的局限。需要识别的动作类别越多，此种算法构建起来越复杂。

深度学习在模式识别上有着很好的发展前景。深度学习(Deep Learning)起源于人工神经网络(Artificial Neural Network,ANN)的研究。其中卷积神经网络是含有卷积层(Convolutional Layer)的神经网络。卷积神经网络在计算机视觉领域受到极大关注，卷积神经网络不仅可以处理一维数据(例如，文本)，它还特别适合处理二维数据(例如，图像)。卷积神经网络属于人工智能范畴，在模式识别分类器的构建上比传统方法效率更高，且易于扩展，能够实现比传统方法动作识别类型更多的识别模型。

发明内容

发明目的：在一般的人体动作识别方法中，会将传感器数据直接输入到之后的特征提取器中，但由于传感器数据相比于图像视频数据来说，过于简单，特征并不明显，为了克服现存方法的不足，提供一种基于相邻算法数据处理和卷积神经网络的多类别人体动作识别方法及识别系统，其识别精度高，能够识别的类型多。

本发明所采用的技术方案为：一种基于相邻算法数据处理和卷积神经网络的多类别人体动作识别方法，包括如下步骤：

S1：通过多轴传感器采集各类别人体动作信号数据，并附上动作类别标签；

S2：对S1中的数据进行处理，并将处理后的数据分为训练样本和测试样本，所述处理包括；将人体动作信号数据进行时间序列信号宽度增加排列为信号数据图；

S3：建立多层的卷积神经网络模型，导入训练样本调节卷积神经网络模型参数，得到最优卷积神经网络模型；

S4：将训练好的卷积神经网络模型移植到移动智能终端上；

S5：通过利用移动智能终端获取人体动作数据，输入到训练好的卷积神经网络模型，得到人体动作识别结果。

进一步的，所述S2中采用相邻算法对S1中的数据进行处理，所述相邻算法为：使多轴传感器中的每一个轴都与其他轴相邻，将人体动作信号数据排列为信号数据图。

进一步的，所述S2中采用相邻算法对S1中的数据进行处理，还包括将处理后的数据调整成卷积神经网络的输入格式：(n，m，L，1)，其中n为数据个数，m为经过相邻算法数据处理后的轴阵列，L为序列长度，数据维度为1。

本发明还公开了一种基于上述多类别人体动作识别方法的多类别人体动作识别系统，包括数据采集模块、数据处理模块和卷积神经网络模型；

所述数据采集模块，用于采集各类别人体动作信号数据；

所述数据处理模块，用于对来自数据采集模块的人体动作信号数据进行处理，得到符合卷积神经网络的输入格式的数据；

所述卷积神经网络模块，用于根据数据处理模块输入的数据，完成人体动作识别。

进一步的，所述数据采集模块包括三轴加速度传感器、三轴陀螺仪传感器和三轴磁力计传感器。

进一步的，所述数据采集模块得到的人体动作数据包括动作类别标签。

进一步的，所述数据处理模块基于相邻算法对数据采集模块的人体动作信号数据进行时间序列信号宽度增加并排列为信号数据图。

有益效果：本发明与现有技术相比，具有以下优点：

1、本发明利用相邻算法处理数据，使得数据维度增高，更易于接下来的特征提取。

2、本发明利用卷积神经网络识别方法，识别精度高，能够识别的类型多；

3、本发明识别方法识别的动作数量具有可扩展性，且扩展操作简单，易于开发人员操作；

4、本发明相比于视频或者图像识别的方法,可以有效的保护用户隐私；

5、本发明可应用于人们常用的安卓智能手机和智能手表，有很好的推广性。

附图说明

图1是本发明的流程图；

图2是本发明的原理图；

图3是原始九轴传感器数据波形示意图；

图4是经过相邻算法处理后的数据波形示意图；

图5是loss随训练次数的变化图。

图6是测试集混淆矩阵图。

具体实施方式

下面结合附图和实施例进一步阐述本发明。

本发明提供一种基于相邻算法数据处理和卷积神经网络的多类别人体动作识别方法，包括如下步骤：

S1，在第三者监督记录的情况下采集附在人体右手手腕上的智能终端设备的九轴传感器数据(包括三轴加速度传感器，三轴陀螺仪传感器以及三轴磁力计传感器)，并预先附上动作类别标签，作为人体动作识别模型进行训练时的样本来使用；

S2，利用相邻算法对九轴传感器数据进行处理，并将数据调整成卷积神经网络的输入格式，最终数据格式为(n，m，L，d)，其中n为数据个数，m为经过相邻算法数据处理后的轴数，L为序列长度，数据维度为d；

S3，用训练样本训练卷积神经网络，并用测试样本测试其准确率并根据需求不断调整；

具体包括：

S3-1：建立多层的卷积神经网络模型；

S3-2：导入训练样本调节卷积神经网络模型参数，得到高准确率的模型；其中，所述的卷积神经网络模型参数调节，包括：各层神经元数量调节，损失函数及卷积核调节。

S4：将训练好的卷积神经网络模型移植到移动智能终端上，实现实时终端姿态识别处理功能；

S5，利用移动智能终端采集九轴传感器数据，进行相邻算法处理后，输入到训练好的卷积神经网络模型，得到人体动作识别结果。

本发明基于相邻算法处理的数据和卷积神经网络结构训练得到人体动作识别模型，能对走、上楼、下楼、站立、躺、坐六种动作进行识别。

图1为目标处理的流程图，从附在右手手腕上的智能终端采集到人体运动的传感器时间序列后，利用相邻算法对传感器数据进行处理，然后输入至初始卷积神经网络进行模型训练，将训练好的符合设计要求的模型输出至智能终端上，使之能在智能终端上离线识别人体动作。

图2为基于相邻算法处理数据的示意图和卷积神经网络结构图。

智能终端采集到的九轴传感器数据如图3所示，尺寸为(9，128，1),其中9代表九个不同轴(三个加速度轴，三个陀螺仪轴，三个磁力计轴)的数据；128代表时间序列，在智能终端采样频率设定为25Hz时，代表5秒上下；最后的1代表数据的维度。

在经过相邻算法处理后，九轴传感器数据变为三十六轴传感器数据，如图4所示，尺寸为(36，128，1)，其中36代表经过相邻算法处理后的传感器轴数据；128代表时间序列，在智能终端采样频率设定为25Hz时，代表5秒上下；最后的1代表数据的维度。

在一般的人体动作识别方法中，会将传感器数据直接输入到之后的特征提取器中，但在本方法中，使用相邻算法处理传感器数据。

相邻算法的思想是，使传感器中每一个轴都与其他轴相邻，将原始的传感器信号数据排列为信号数据图。比如原始的九轴传感器数据排列为：‘123456789’，那么经过相邻算法处理后，新的排列为：‘123456789135792468147158259369483726’，在新的排列中，每一个轴都与其他轴相邻。原始的九轴传感器数据经过相邻算法的处理后，时间序列信号的宽度增加，更加接近于一个信号数据图，利于后面卷积神经网络进行特征提取。

相邻算法的具体步骤为：

相邻算法具体步骤

变量定义：

·DATA是一个二维数组，用来存储传感器数据。

·INDEX是一个一维数组，用来存储传感器轴编号。

·N是一个变量，用来存储初始传感器数据的轴个数。

输入：

九轴传感器数据，不同轴编号为1到9，如图3所示；

初始化i＝1；j＝2；

DATA初始化为九轴传感器数据第1轴的数据；

INDEX初始化为’1’；

N初始化为9。

开始循环：

输出：

经过相邻算法处理后的传感器数据DATA，传感器数据轴编号INDEX为′123456789135792468147158259369483726′，如图4所示。

另外，为了训练卷积神经网络，本发明将处理后的数据样本分为两类：训练样本和测试样本。训练样本作为卷积神经网络的输入进行模型训练，测试样本作为识别准确率的测试依据。默认的，把数据集的70％作为训练集，把数据集的30％作为测试集。

卷积神经网络模型的结构包括：两个卷积层、两个最大池化层、两个全连接层和一个分类输出层。

卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和池化层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面，每个特征平面由一些矩形排列的卷积核组成，同一特征平面的卷积核共享权值。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。

本发明此部分只需要设置卷积核的大小及全连接层神经元个数即可。卷积核大小和神经元个数的取值为经验值，没有固定的取值方法，本发明示例中卷积核大小为5*5，两个卷积层的卷积核个数分别为10和100，全连接层神经元个数为1800和100，此数据仅供参考。

池化层也叫子采样层，通常有均值池化和最大值池化两种形式。池化可以看作一种特殊的卷积过程。卷积和池化大大简化了模型复杂度，减少了模型的参数，另外也可将不同的数据输入格式统一。

模型最终的具体实验参数列举如下：

1)第一层为卷积层，卷积核个数为10，卷积核尺寸大小为5*5，卷积步长为1*1，填充方式为‘valid’，激励函数为relu。

2)第二层为池化层，池化核尺寸大小为2*4，池化步长为2*4，填充方式为‘same’，采用最大池化策略。

3)第三层为卷积层，卷积核个数为100，卷积核尺寸大小为5*5，卷积步长为1*1，填充方式为‘valid’，激励函数为relu。

4)第四层为池化层，池化核尺寸大小为4*4，池化步长为4*4，填充方式为‘valid’，采用最大池化策略。

5)第五层为全连接层，神经元个数为1800，激励函数为relu，使用dropout算法忽略20％的特征检测器。

6)第六层为全连接层，神经元个数为100，激励函数为relu，使用dropout算法忽略20％的特征检测器。

7)第七层为分类输出层，神经元个数等于类别个数，激励函数为softmax。

8)训练优化器的学习率设置为0.0001。

若训练数据量不够大，则需要对数据进行重复使用。每次将100个数据输入至神经网络进行训练，每50次测量一次识别准确率及损失，其中损失的变化图如图5所示。

在训练过程中，打印出测试集的混淆矩阵，如图6所示，通过对混淆矩阵进行分析，可以得出卷积神经网络模型对不同动作的识别情况，从而帮助修改网络参数。当训练的卷积神经网络符合设计要求，即可将该模型提取到智能终端上使用。

需要说明的是，本发明实施例中的人体姿态识别装置具体可以集成在智能移动终端中，上述智能终端具体可以为智能手机、智能手表等终端，此处不作限定。

应理解,本发明实施例中的人体动作识别装置可以实现上述方法实施例中的全部技术方案,其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实施例中的相关描述，此处不再赘述。

由上可见，本发明实施例中的人体动作识别装置通过采集智能终端的传感器数据，基于采集到的所述智能终端的传感器数据，并将经过相邻算法处理后的数据输入已训练好的人体动作识别模型，得到人体动作识别结果。由于人体动作识别模型是基于预设的训练集合卷积神经网络训练得到，因此，通过将传感器数据进行相邻算法处理后输入已训练好的人体动作识别模型，即可实现对人体动作的识别，从而实现了基于加速度数据的非视觉手段的人体动作识别。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种多类别人体动作识别方法，其特征在于：包括如下步骤：

S1：通过多轴传感器采集各类别人体动作信号数据，并附上动作类别标签；

S2：对S1中的数据进行处理，并将处理后的数据分为训练样本和测试样本，所述处理包括；将人体动作信号数据进行时间序列信号宽度增加排列为信号数据图；

S3：建立多层的卷积神经网络模型，导入训练样本调节卷积神经网络模型参数，得到最优卷积神经网络模型；

S4：将训练好的卷积神经网络模型移植到移动智能终端上；

S5：通过利用移动智能终端获取人体动作数据，输入到训练好的卷积神经网络模型，得到人体动作识别结果。

2.根据权利要求1所述的多类别人体动作识别方法，其特征在于：所述S2中采用相邻算法对S1中的数据进行处理，所述相邻算法为：使多轴传感器中的每一个轴都与其他轴相邻，将人体动作信号数据排列为信号数据图。

3.根据权利要求2所述的多类别人体动作识别方法，其特征在于：所述S2中采用相邻算法对S1中的数据进行处理，还包括将处理后的数据调整成卷积神经网络的输入格式：(n，m，L，1)，其中n为数据个数，m为经过相邻算法数据处理后的轴阵列，L为序列长度，数据维度为1。

4.基于权利要求1-3任意一项所述的多类别人体动作识别方法的多类别人体动作识别系统，其特征在于：包括数据采集模块、数据处理模块和卷积神经网络模型；

所述数据采集模块，用于采集各类别人体动作信号数据；

所述数据处理模块，用于对来自数据采集模块的人体动作信号数据进行处理，得到符合卷积神经网络的输入格式的数据；

所述卷积神经网络模块，用于根据数据处理模块输入的数据，完成人体动作识别。

5.根据权利要求4所述的多类别人体动作识别系统，其特征在于：所述数据采集模块包括三轴加速度传感器、三轴陀螺仪传感器和三轴磁力计传感器。

6.根据权利要求4所述的多类别人体动作识别系统，其特征在于：所述数据采集模块得到的人体动作数据包括动作类别标签。

7.根据权利要求4所述的类别人体动作识别系统，其特征在于：所述数据处理模块基于相邻算法对数据采集模块的人体动作信号数据进行时间序列信号宽度增加并排列为信号数据图。