CN111199202A - 基于循环注意力网络的人体动作识别方法及识别装置 - Google Patents

Abstract

本发明公开了一种基于循环注意力网络的人体动作识别方法及识别装置。所述方法包括以下步骤：S1：利用多轴传感器采集人体各类动作数据；S2：将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签；S3：将处理后的数据输入预先构建的多层的循环注意力神经网络模型，实现特定类别动作的识别。本发明利用循环注意力算法，可以实现传感器数据的自动定位识别与切割，可大大减少传感器数据人为标注所耗费的人力物力。

Description

基于循环注意力网络的人体动作识别方法及识别装置

技术领域

本发明属于智能监控识别领域，具体涉及一种基于人体动作传感器数据自动定位识别与切割方法及人体动作识别装置。

背景技术

人体动作识别技术在监控、人机交互、辅助技术、手语、计算行为科学和消费者行为分析、对人体动作行为的监测、识别和分析都有着广泛的需求。大体上动作识别技术分为二种：基于图像的识别和基于传感器的识别，而基于传感器的识别由于数据采集方便、保护用户隐私等原因，广受研究者的青睐。传统用于人体动作识别的方法多属于监督学习的范围内。比如说早期需要手动获取输入特征的支持向量机(Support Vector Machine)和隐马尔科夫模型(Hidden Markov Model)，之后随着深度学习的发展，尤其是卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络(Recurrent Neural Network，RNN)的出现，使得深度学习网络可以自动地从输入数据中学习特征，这有效避免了在之前的浅度学习中需要手动整理特征的问题。尽管这些深度学习方法在人体动作识别方向上有着不错的表现，仍然有一些挑战需要被解决，其中之一便是属于监督学习范围的深度学习框架需要大量标注真实值的数据，用作网络的训练。

但不同于方便于人类标注的图像或者视频数据，在一个很长序列的传感器信号中精确地标注动作类型是很费力的事情，因为传感器数据并不像可视的图像那样直观，使得人们在进行动作类型标注的时候难以区分。然而，对于数据采集者来说，记录在一长段传感器数据中发生的动作类型是容易的，而不需要关注这个动作发生在哪一时刻。通过这种方法标注出的数据叫做“弱标注数据”，需要注意的是，弱标注数据不仅包含特定标签类别的动作，还包含对于数据采集者无用的背景动作。于是，工作的重点是如何利用这种弱标注数据来进行人体动作识别，同时确定被标注动作在序列数据中发生的具体时刻，从而实现传感器数据的精确切割。另外对于一个数据记录者来说，在记录人体动作传感器数据时，难以避免地在记录一种动作类别时混入其他动作。例如在记录跑步动作时，通常会混入走路动作，在这种情况下也会造成所采集的数据集成为弱标注数据集。

近期在对于机器视觉、机器翻译、语音识别以及图像标注的研究见证了注意力机制的成就。比如在机器视觉研究中，运用注意力机制的模型可以关注图像最突出的地方，这样可以利于进行图像分类任务或者语义分割任务。这种注意力思想也可以用于基于弱标注传感器数据的人体动作定位上。然而，这种方法具有一定局限，只能处理含有一种动作类型的弱标注数据。

发明内容

发明目的：为了克服现存方法的不足，本发明提供一种基于循环注意力网络的人体动作识别方法及识别装置，可以对多种动作类型进行快速、自动、准确的识别。

技术方案：根据本发明的第一方面，提供一种基于循环注意力网络的人体动作识别方法，包括以下步骤：

1、一种基于循环注意力网络的人体动作识别方法，其特征在于：包括如下步骤：

S1：利用多轴传感器采集人体各类动作数据；

S2：将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签；

S3：将处理后的数据输入预先构建的多层的循环注意力神经网络模型，实现特定类别动作的识别；

其中所述循环注意力神经网络模型包括基于注意力机制的卷积神经网络和一个循环神经网络，其中循环神经网络的结构包括一层长短期循环神经网络，所述基于注意力机制的卷积神经网络利用卷积神经网络提取输入序列的特征向量，利用注意力机制算法对卷积神经网络中产生的局部特征向量和全局特征向量计算兼容性分数，将兼容性分数作为输入数据的空间信息权重。

根据本发明的第二方面，提供一种基于循环注意力网络的人体动作识别装置，包括：数据采集模块、数据预处理模块和动作识别模块；

所述数据采集模块，用于采集各类别人体动作传感器数据；

所述数据处理模块，用于对来自数据采集模块的人体动作传感器数据进行处理，所述处理是指将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签，并整理为符合循环注意力神经网络的输入格式的数据；

所述动作识别模块，用于根据数据处理模块输入的数据，利用循环注意力神经网络模型完成人体特定类别动作的识别，所述循环注意力神经网络模型对带有序列标签的长时间传感器序列段附加循环多次的注意机制，实现对特定类别动作的识别。

有益效果：

1、不同于需要大量精确标注数据进行训练的传统监督深度学习算法，本发明利用了基于循环注意力神经网络处理弱标注数据。该算法可以放大特定类别动作所在区域对分类预测的影响，同时抑制其他背景噪声的影响。利用该算法可以很好的在弱标注数据上进行人体动作识别。

2、本发明提出了传感器数据自动标注与分割算法，该算法利用注意力机制生成的注意力图，通过权重分数计算定位分数，达到定位与切割特定类别数据的作用，来解决人为标注和分割传感器数据会耗费大量人力和计算资源的问题。

3、本发明可应用于人们常用的安卓智能手机和智能手表，有很好的推广性。

附图说明

图1为本发明的方法流程图；

图2为基于注意力机制的卷积神经网络的原理图；

图3为根据兼容性分数利用滑动窗口计算定位分数示意图；

图4为注意力机制定位切割效果示意图；

图5为循环注意力神经网络的原理图；

图6为循环注意力神经网络在单个时刻t的原理图；

图7为循环注意力定位识别与切割效果示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明提供基于循环注意力网络的人体动作传感器数据自动定位识别与切割方法，算法整体流程图如图1所示，包括如下步骤：

步骤S1，在第三者监督记录的情况下采集附在人体右手手腕上的智能终端设备的加速度传感器数据，作为人体动作识别模型进行训练时的样本来使用。

步骤S2，对传感器数据进行如下处理：将传感器数据处理为弱标注数据，即包含多种动作类别的长时间序列段，并给序列段附上序列标签，最终数据格式为(n，m，L，d)，其中n为数据个数，m为传感器的轴数，L为序列长度，数据维度为d。

为了训练神经网络，本发明将处理后的数据样本分为两类：训练样本和测试样本。训练样本作为循环注意力神经网络的输入进行模型训练，测试样本作为识别准确率的测试依据。默认的，把数据集的70％作为训练集，把数据集的30％作为测试集。

步骤S3，用训练样本训练循环注意力神经网络，并用测试样本测试其准确率并根据需求不断调整。

具体包括：

S3-1：建立基于注意力机制的卷积神经网络模型。

如图2所示，基于注意力的卷积神经网络模型的结构包括：五个卷积层、三个最大池化层、一个全连接层和一个分类预测层。

卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和池化层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面，每个特征平面由一些矩形排列的卷积核组成，同一特征平面的卷积核共享权值。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。

本发明此部分只需要设置卷积核的大小及全连接层神经元个数即可。卷积核大小和神经元个数的取值为经验值，没有固定的取值方法，本发明示例中卷积核大小、个数等数据仅供参考。

池化层也叫子采样层，通常有均值池化和最大值池化两种形式。池化可以看作一种特殊的卷积过程。卷积和池化大大简化了模型复杂度，减少了模型的参数，另外也可将不同的数据输入格式统一。

基于注意力机制的卷积神经网络不同于传统的卷积神经网络模型，其分类预测层的输入不是全连接层的输出，而是通过注意力机制得到的加权局部特征向量，模型最终的具体实验参数列举如下：

第一层为卷积层，卷积核个数为16，卷积核尺寸大小为5，卷积步长为1，填充方式为‘valid’，激励函数为relu。

第二层为卷积层，卷积核个数为32，卷积核尺寸大小为5，卷积步长为1，填充方式为‘valid’，激励函数为relu。

第三层为卷积层，卷积核个数为64，卷积核尺寸大小为5，卷积步长为1，填充方式为‘valid’，激励函数为relu。

第四层为池化层，池化核尺寸大小为2，池化步长为2，填充方式为‘same’，采用最大池化策略。

第五层为卷积层，卷积核个数为128，卷积核尺寸大小为5，卷积步长为1，填充方式为‘valid’，激励函数为relu。

第六层为池化层，池化核尺寸大小为2，池化步长为2，填充方式为‘same’，采用最大池化策略。

第七层为卷积层，卷积核个数为128，卷积核尺寸大小为5，卷积步长为1，填充方式为‘valid’，激励函数为relu。

第八层为池化层，池化核尺寸大小为2，池化步长为2，填充方式为‘same’，采用最大池化策略。

第五层为全连接层，神经元个数为128，激励函数为relu，使用dropout算法忽略20％的特征检测器。

第十层为分类预测层，神经元个数等于类别个数，激励函数为softmax。

搭建基于注意力机制的卷积神经网络的目标是利用注意力图来识别并利用CNN在作出分类决策时使用的输入数据信息的有效空间信息。这种方法基于这样的假设：识别突出的输入数据区域并扩大其影响对于分类预测是有益的，同时还可以抑制输入数据其他区域中不相关且可能造成混淆的信息。图2所示了如何将这种可训练的注意力机制集成到标准的CNN结构中，该方法计算了由CNN结构中间层所提取的局部特征向量和通常用于送入CNN结构尾部产生分类预测概率的全局特征向量之间的兼容性分数。这样计算得出的兼容性分数将会作为输入数据的空间信息权重，以用来放大或抑制输入数据不同空间区域对于分类预测概率的影响。

其中，注意力机制算法的具体步骤为：

将

定义为从卷积神经网络第s层中提取出的特征向量，称为局部特征向量，将从卷积神经网络全连接层中提取出的特征向量G称为全局特征向量，通过以下公式计算局部特征向量L^s和全局特征向量G的兼容性：

式中的<，>运算代表两个向量的点乘，即逐个元素相乘后再进行累加。计算得出的

被称作兼容性分数，通过以下公式进行标准化：

计算得出的标准化兼容性分数

与局部特征向量进行加权运算：

计算得出的g＝[g¹，g²，…，gⁿ]代替全局特征向量G被输入线性分类层中进行动作类别的识别。

同时，根据计算得出的标准化兼容性分数

可以通过下式进一步的计算兼容性密度，也称为定位分数：

上式的计算可以用图3来表示，式中w代表滑动计算窗口的长度。可以利用计算得出的定位分数S＝{s₁，s₂，…，s_n}来进行传感器数据特定类别动作的定位与切割，效果如图4所示，以定位分数的峰值点为中心，宽度为w的窗口即为特定类别动作所发生的区域。

S3-2：建立循环注意力神经网络，利用循环神经网络使得注意力机制变得可以循环重复，来实现对弱标注数据中的多个不同类别动作进行定位识别与切割。循环注意力神经网络原理图如图5所示，循环注意力神经网络模型的结构包括上述的基于注意力机制的卷积神经网络和一个循环神经网络，其中循环神经网络的结构包括一层长短期循环神经网络(LSTM)，神经元个数为128。图中h_t代表长短期循环神经网络的不同时刻的隐状态，循环注意力网络可以对一段包含多个类别动作的传感器数据段进行识别，在每个时刻t输出一个对应的识别结果。单个时刻t的原理图如图6所示，循环神经网络随着时刻t的变化，其隐状态h_t也随之改变，通过计算不同时刻的隐状态h_t与经过基于注意力机制的卷积神经网络所提取的特征z_t之间的关系，可以得出当前时刻的识别结果y_t。同时可以利用注意力机制所得出的定位分数进行特定类别动作的定位与切割，方法如S3-1，在此不再赘述。

S3-3：导入训练样本调节神经网络模型参数，得到高准确率的模型；其中，所述的卷积神经网络模型参数调节，包括：各层神经元数量调节，损失函数及卷积核调节。

步骤S4，将训练好的卷积神经网络模型移植到移动智能终端上；

步骤S5，利用移动智能终端采集加速度传感器数据，进行数据预处理后，输入到训练好的循环注意力神经网络模型，循环注意力神经网络模型对带有序列标签的长时间传感器序列段附加循环多次的注意机制，自动定位出特定类别动作的位置，从而实现对特定类别动作进行识别与精确切割，如图7所示，图中第一行为每个传感器数据段所包含的特定类别动作标签(label)，在每一个时刻t(对应图中的step)，循环注意力网络得到一个特定类别动作识别结果。

根据与方法实施例相同的构思，根据本发明的另一实施例，提供一种基于循环注意力网络的人体动作识别装置，包括数据采集模块、数据预处理模块和动作识别模块；

数据采集模块，使用三轴加速度传感器采集各类别人体动作传感器数据；

数据处理模块，对来自数据采集模块的人体动作传感器数据进行处理：将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签，并整理为符合循环注意力神经网络的输入格式的数据如下：(n，m，L，d)，其中n为数据个数，m为传感器的轴数，L为序列长度，数据维度为d；

动作识别模块，根据数据处理模块输入的数据，利用循环注意力神经网络模型完成人体特定类别动作的识别，述循环注意力神经网络模型包括基于注意力机制的卷积神经网络和一个循环神经网络，其中循环神经网络的结构包括一层长短期循环神经网络，基于注意力机制的卷积神经网络利用卷积神经网络提取输入序列的特征向量，利用注意力机制算法对卷积神经网络中产生的局部特征向量和全局特征向量计算兼容性分数，将兼容性分数作为输入数据的空间信息权重。卷积神经网络结构以及注意力机制算法具体步骤同方法实施例中，此处不再赘述。

优选地，识别装置还包括数据分割模块，根据兼容性密度即定位分数对数据进行切割，定位分数计算方式同方法实施例中，此处不再赘述。利用计算得出的定位分数S＝s₁，s₂，…，s_n}，通过设定阈值进行传感器数据的切割。

需要说明的是，本发明实施例中的人体动作识别装置具体可以集成在智能移动终端中，上述智能终端具体可以为智能手机、智能手表等终端，此处不作限定。

应理解，本发明实施例中的人体动作识别装置可以实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实施例中的相关描述，此处不再赘述。

由上可见，本发明实施例中的人体动作识别装置通过采集智能终端的传感器数据，基于采集到的所述智能终端的传感器数据，并将处理后的数据输入已训练好的人体动作识别定位与切割模型，得到人体动作识别结果，与精确切割的特定类别动作数据段。由于人体动作识别模型是基于预设的训练集合卷积神经网络训练得到，因此，通过将传感器数据进行相邻算法处理后输入已训练好的人体动作识别模型，即可实现对人体动作的识别，从而实现了基于加速度数据的非视动作识别。

Claims (10)

1.一种基于循环注意力网络的人体动作识别方法，其特征在于：包括如下步骤：

S1：利用多轴传感器采集人体各类动作数据；

S2：将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签；

S3：将处理后的数据输入预先构建的多层的循环注意力神经网络模型，实现特定类别动作的识别；

其中所述循环注意力神经网络模型包括基于注意力机制的卷积神经网络和一个循环神经网络，其中循环神经网络的结构包括一层长短期循环神经网络，所述基于注意力机制的卷积神经网络利用卷积神经网络提取输入序列的特征向量，利用注意力机制算法对卷积神经网络中产生的局部特征向量和全局特征向量计算兼容性分数，将兼容性分数作为输入数据的空间信息权重。

2.根据权利要求1所述的基于循环注意力网络的人体动作识别方法，其特征在于：所述步骤S2中对数据进行处理，还包括将处理后的数据调整成循环注意力神经网络的输入格式：(n，m，L，1)，其中n为数据样本个数，m为传感器的轴阵列，L为长时间序列段长度，数据维度为1。

3.根据权利要求1所述的基于循环注意力网络的人体动作识别方法，其特征在于：所述注意力机制算法包括以下步骤：

将

定义为从卷积神经网络第s层中提取出的特征向量，称为局部特征向量，将从卷积神经网络全连接层中提取出的特征向量G称为全局特征向量，通过以下公式计算局部特征向量L^s和全局特征向量G的兼容性：

计算得出的

被称作兼容性分数，通过以下公式进行标准化：

计算得出的标准化兼容性分数

与局部特征向量进行加权运算：

计算得出的g＝[g¹，g²，...，gⁿ]代替全局特征向量G被输入线性分类层中进行动作类别的识别。

4.根据权利要求3所述的基于循环注意力网络的人体动作识别方法，其特征在于：所述方法还包括：根据标准化兼容性分数

利用滑动窗口技术计算定位分数：

式中w代表滑动计算窗口的长度；

利用计算得出的定位分数S＝{s₁，s₂，...，s_n}，通过设定阈值进行数据的切割，实现特定类别动作的定位。

5.一种基于循环注意力网络的人体动作识别装置，其特征在于：包括数据采集模块、数据预处理模块和动作识别模块；

所述数据采集模块，用于采集各类别人体动作传感器数据；

所述数据处理模块，用于对来自数据采集模块的人体动作传感器数据进行处理，所述处理是指将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签，并整理为符合循环注意力神经网络的输入格式的数据；

所述动作识别模块，用于根据数据处理模块输入的数据，利用循环注意力神经网络模型完成人体特定类别动作的识别，所述循环注意力神经网络模型对带有序列标签的长时间传感器序列段附加循环多次的注意机制，实现对特定类别动作的识别。

6.根据权利要求5所述的人体动作识别装置，其特征在于：所述数据采集模块包括三轴加速度传感器。

7.根据权利要求5所述的人体动作识别装置，其特征在于：所述循环注意力神经网络模型包括基于注意力机制的卷积神经网络和一个循环神经网络，其中循环神经网络的结构包括一层长短期循环神经网络，所述基于注意力机制的卷积神经网络利用卷积神经网络提取输入序列的特征向量，利用注意力机制算法对卷积神经网络中产生的局部特征向量和全局特征向量计算兼容性分数，将兼容性分数作为输入数据的空间信息权重。

8.根据权利要求7所述的人体动作识别装置，其特征在于：所述注意力机制算法包括以下步骤：

将

定义为从卷积神经网络第s层中提取出的特征向量，称为局部特征向量，将从卷积神经网络全连接层中提取出的特征向量G称为全局特征向量，通过以下公式计算局部特征向量L^s和全局特征向量G的兼容性：

计算得出的

被称作兼容性分数，通过以下公式进行标准化：

计算得出的标准化兼容性分数

与局部特征向量进行加权运算：

计算得出的g＝[g¹，g²，...，gⁿ]代替全局特征向量G被输入线性分类层中进行动作类别的识别。

9.根据权利要求8所述的人体动作识别装置，其特征在于：还包括数据分割模块，用于根据定位分数对数据进行切割，实现特定类别动作的定位，其中定位分数计算方式为：

式中w代表滑动计算窗口的长度。

10.一种智能移动终端，其特征在于，所述智能移动终端集成了如权利要求5-9中任一项所述的人体动作识别装置。

Images