CN109726682A - 一种面向弱标签传感器数据的人体动作识别方法 - Google Patents

Abstract

本发明公开了一种面向弱标签传感器数据的人体动作识别方法，步骤：利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；针对含单次活动的弱标签传感器数据和含多次活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；对人体动作识别模型进行训练和优化；获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。本发明通过每次处理弱标签传感器数据中的局部信息，在有限次数内快速地识别出特定的活动并且定位出活动发生的位置。

Description

一种面向弱标签传感器数据的人体动作识别方法

技术领域

本发明属于行为识别技术领域，特别涉及了一种面向弱标签传感器数据的人体动作识别方法。

背景技术

人类活动识别是人工智能和模式识别领域的一个研究热点。随着智能可穿戴设备研究的不断进步，基于可穿戴传感器的人类活动识别成为其中的重要研究方向之一。随着智能手机的普及和发展，如今的手机里配备了许多嵌入式传感器，如加速度计、陀螺仪和磁力计，可以为不同的场景生成不同的数据。利用前所未有的可穿戴传感器数据流，可以开发便携式人体活动识别，以促进我们的日常生活。目前人类活动识别最常用的方法是CNN(卷积神经网络)、RNN(循环神经网络)、LSTM(长短期记忆网络)和DeepConvLSTM(深度卷积循环神经网络)。其中，最经典的就是DeepConvLSTM(深度卷积循环神经网络)算法，其将每类传感器(身体加速度计、整体加速度计、陀螺仪)的三个坐标轴(XYZ)数据合并成一个数据矩阵，即(128,3)维，作为输入数据，每类传感器均创建一个DeepConvLSTM模型，每个模型通过3次CNN操作和3次LSTM操作，将数据抽象为128维的LSTM输出向量。其中，在CNN(卷积神经网络)的卷积单元中，通过连续3组卷积、BN(BatchNormalization)、MaxPooling(最大池化)的组合操作，将128维的数据转为了16维的高层特征，再执行一次Dropout。然后，在RNN(循环神经网络)的时序单元中，通过三次LSTM操作(隐含层神经元数设置为128个)，将16维的卷积特征转换为128维的时序特征，再执行Dropout操作。最后，将3个传感器的3个模型输出，合并为一个输入，再执行Dropout、全连接(Dense)、BN操作，最后使用Softmax函数，输出类别概率。该模型作为一个经典的模型，是很多其他领域论文里的实验参照。

但是这些经典的人类活动识别方法，比如CNN(卷积神经网络)、LSTM(长短期记忆网络)、DeepConvLSTM(深度卷积循环神经网络)等均属于监督学习的方法，需要严格标记好的训练数据集，即每条传感器数据训练样本只包含一种人类活动，且整条数据样本都为该活动，不能包含其他无关的背景活动(比如标签为“跑步”的数据样本必须都为“跑步”这一活动，不能包含“走路”、“跳跃”等其他无关的活动)。然而这些严格标记好的训练样本都是通过人工手动加窗分割的，需要消耗大量的人力和物力。对于较长的弱标签传感器数据，这些方法会导致模型变得非常庞大，并且由于弱标签传感器数据中包含大量的无关背景活动信息，导致这些方法的准确性不高。

发明内容

为了解决上述背景技术提出的技术问题，本发明提供了一种面向弱标签传感器数据的人体动作识别方法。

为了实现上述技术目的，本发明的技术方案为：

一种面向弱标签传感器数据的人体动作识别方法，包括以下步骤：

(1)利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；

(2)将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；

(3)针对含单次特殊活动的弱标签传感器数据和含多次特殊活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；

(4)对人体动作识别模型进行训练和优化；

(5)获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。

进一步地，步骤(2)的具体过程如下：

(201)对每条训练数据样本进行一个亚采样，将亚采样后的数据输入到卷积神经网络中，得到全局特征向量h₀；一方面，将此特征向量h₀作为网络的初始状态输入循环神经网络中进行编码，并通过强化学习模块输出初始观察位置预测l₁；另一方面，将此特征向量h₀输入到Softmax函数中，输出对应于真实标签的分类概率p₀；

(202)在上一步的预测位置l₁附近取一小片数据样本，并输入卷积神经网络中提取特征，得到其特征向量g₁；一方面，将此特征向量g₁与全局特征向量h₀相加，输入到Softmax函数中得到对应于真实标签的分类概率p₁；另一方面，将此特征向量g₁与上一步的位置预测通过一个RELU修正线性单元模块进行线性加和，输入到循环神经网络中，循环神经网络将当前输入的局部特征g₁与之前的全局特征h₀相结合，更新得到当前的全局特征h₁，并将h₁输入到强化学习模块，输出下一步待观察的位置预测l₂；

(203)重复步骤(202)，在执行完预先设置的步数T之后，将循环神经网络最终的全局特征输入Softmax分类器中，得到预测标签。

进一步地，在步骤(3)中，针对含单次特殊活动的弱标签传感器数据，回报函数的设计方法如下：

将第t步输出的分类概率p_t与初始分类概率p₀作对比，若p₀≤p_t，则该步reward值为1，否则为0。

进一步地，在步骤(3)中，针对含多次特殊活动的弱标签传感器数据，回报函数的设计方法如下：

将每步的预测位置附近窗口大小的小片数据样本位置放入一个集合中，在第t步，首先判断p₀≤p_t，若该不等式不成立，则该步的reward直接为0，若成立，再判断此步输出的预测位置l_t+1是否包含在之前的位置集合{loc₀,...,loc_t}中，若包含，则该步的reward为0.5，否则reward为1；其中loc_i是指(l_i-w_s,l_i+w_s)区间范围内的位置集合，w_s为窗口大小，0≤i≤t。

进一步地，在步骤(4)中，模型优化的目标是最小化代价函数，代价函数包括分类的代价函数和强化学习的代价函数，具体如下：

分类的代价函数为交叉熵函数，利用一组已知标签的数据样本优化分类器的参数，使交叉熵函数最小，根据下式计算出交叉熵C：

其中，x表示样本，n表示样本的总数，y为期望输出，即活动的真实标签值，a为神经元实际输出，即预测的活动标签值，训练时将交叉熵对权重的偏导数反向传播，更新模型参数；

强化学习的代价函数如下：

L(θ)＝logπ(a|s,θ)·(R-b)

其中，π(a|s,θ)为神经网络拟合的策略，θ为模型参数，logπ(a|s,θ)是在状态s下输出动作a的概率的对数似然，b为基线，为累积回报值，其中r_t为每一步的reward值，再利用自适应矩估计Adam优化器反向更新模型参数，优化强化学习的代价函数，使代价函数最小化，reward值最大化。

进一步地，在步骤(4)中，训练模型时，设置step为20000，样本总数为91266，每一个分批处理的样本数量为64，训练开始时的学习率为10^-3，设置衰减因子λ，在每一次训练完全部样本之后，学习率按照衰减因子λ衰减，最终的学习率变为10^-4。

进一步地，其特征在于，在步骤(5)中，将得出的预测标签与测试数据集中的真实标签作对比，如果相同则正确预测样本数加1，最后用总的预测正确样本数除以预测样本总数，得到整个测试数据集的分类准确率。

采用上述技术方案带来的有益效果：

本发明是一种基于弱监督的，对传感器数据中存在的特殊活动进行识别和定位的人类活动识别方法，能够避免人工标注数据集的困难，实现在较长的传感器数据中定位出特殊活动发生的具体位置。与目前流行的基于CNN或者RNN的人类活动识别方法不同，本发明的方法基于弱监督学习，加入了循环注意力机制，引入了强化学习的训练方法，适应性更强，并且不需要对全部数据进行处理，而是通过处理数据中的局部信息，智能快速地预测出活动发生的位置，在有限的次数内，快速扫描探索找出最能够代表数据特征的位置，即特殊活动发生的位置。

附图说明

图1是实施例中包含单次特殊活动的数据样本示例图；

图2是实施例中包含多次特殊活动的数据样本示例图；

图3是本发明中人体动作识别模型的流程图；

图4是本发明中针对含单次特殊活动数据样本的回报函数计算流程图；

图5是本发明中针对含多次特殊活动数据样本的回报函数计算流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种面向弱标签传感器数据的人体动作识别方法，具体步骤如下：

步骤一：获取训练数据集。数据集由包含4类活动标签的91266条三轴加速度传感器数据样本组成，其中每条数据样本的长度为40.96s(2048个采样点)，图1和图2是本发明中弱标签传感器数据样本的两个示例。其中，图1为包含单次特殊活动的数据样本，图2为包含多次特殊活动的数据样本。数据收集过程中，志愿者将智能手机放在裤子后侧口袋中，按要求完成5项日常活动，分别为“走路”、“跑步”、“跳跃”、“上楼”和“下楼”，其中，“走路”为背景活动，其他4个活动为模型需要识别的活动。对于每条数据样本，已知其对应的真实标签，即除了背景活动“走路”之外的其他活动，但并不知道其具体发生的位置。

步骤二：图3是本发明的对弱标签数据中人体动作识别模型的流程图。首先，对输入的数据样本进行一个亚采样，采样后数据长度从原来的2048变为128，将亚采样后的数据输入到CNN(卷积神经网络)中，得到全局特征向量h₀。一方面，将此特征向量h₀作为网络的初始状态输入RNN(循环神经网络)中进行编码，并通过强化学习输出第一步观察位置的预测l₁。另一方面，将此特征向量h₀输入到Softmax函数中，输出对应真实标签的分类概率p₀。

步骤三：在初始的预测位置l₁附近取窗口大小为64的一小片数据样本，并输入CNN(卷积神经网络)中提取特征，得到其局部特征向量g₁。此局部特征向量一方面与全局特征向量h₀相结加，输入到Softmax函数中得到对应真实标签的分类概率p₁，另一方面与上一步的位置预测通过一个RELU修正线性单元模块进行线性加和，输入到RNN(循环神经网络)中，循环神经网络将当前输入的状态g₁和之前的循环状态h₀相结合，更新目前的循环状态h₁，并将该隐含状态h₁输入到强化学习模块，输出下一步待观察的预测位置l₂。

步骤四：在原始传感器数据中找到上一步输出的预测位置，将该位置附近窗口大小的小片数据通过一个CNN(卷积神经网络)，提取局部特征。一方面，将该局部特征与步骤二中的全局特征相结合，输出该步对应真实标签的分类概率。另一方面，将该局部特征与上一步的预测位置通过一个RELU修正线性单元模块进行线性加和，输入到循环神经网络中，更新网络隐含层的循环状态，再将该隐含状态输入到强化学习模块，输出下一步待观察的预测位置。

步骤五：重复步骤四，在第T步时，将循环神经网络最终的隐含状态输入一个Softmax分类器，输出数据的预测类别标签

步骤六：图4和图5是本发明的回报函数计算流程图。给出一条弱标签传感器数据，将其经过人体动作识别模型，则在模型中的每一步，都将输出一个对应正确标签的分类概率p_t。比如说，若设置模型观察T步，则会输出T个分类概率p₀～p_T，其中p₀为初始的全局分类概率，p_t为第t步的分类概率。如图4所示，对含单次特殊活动的弱标签传感器数据，回报函数设计流程为：将第t步输出的分类概率p_t与初始分类概率p₀作对比，若p₀≤p_t，则reward值为1，否则为0。如图5所示，对含多次特殊活动的弱标签传感器数据，回报函数设计流程为：将强化学习输出的每步的预测位置放入一个集合中，在第t步，首先判断p₀≤p_t，若不等式不成立，reward直接为0，若成立，再判断此步输出的预测位置l_t+1是否包含在之前的位置集合{loc₀,...,loc_t}中(注意，集合中loc_i(0≤i≤t)是指(l_i-w_s,l_i+w_s)区间范围内的位置集合，w_s为窗口大小)，若包含，reward为0.5，反之，reward为1。

步骤七：模型的训练和优化。通过公式L(θ)＝logπ(a|s,θ)·(R-b)计算代价函数的loss值，再用Adam优化器反向更新模型的参数。

步骤八：将得出的预测活动标签与测试数据集中的真实标签y作对比，如果相同则正确预测样本数加1，最后用总的预测正确样本数除以预测样本总数，得到整个测试集的分类准确率。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种面向弱标签传感器数据的人体动作识别方法，其特征在于，包括以下步骤：

(1)利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；

(2)将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；

(3)针对含单次特殊活动的弱标签传感器数据和含多次特殊活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；

(4)对人体动作识别模型进行训练和优化；

(5)获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。

2.根据权利要求1所述面向弱标签传感器数据的人体动作识别方法，其特征在于，步骤(2)的具体过程如下：

(201)对每条训练数据样本进行一个亚采样，将亚采样后的数据输入到卷积神经网络中，得到全局特征向量h₀；一方面，将此特征向量h₀作为网络的初始状态输入循环神经网络中进行编码，并通过强化学习模块输出初始观察位置预测l₁；另一方面，将此特征向量h₀输入到Softmax函数中，输出对应于真实标签的分类概率p₀；

(202)在上一步的预测位置l₁附近取一小片数据样本，并输入卷积神经网络中提取特征，得到其特征向量g₁；一方面，将此特征向量g₁与全局特征向量h₀相加，输入到Softmax函数中得到对应于真实标签的分类概率p₁；另一方面，将此特征向量g₁与上一步的位置预测通过一个RELU修正线性单元模块进行线性加和，输入到循环神经网络中，循环神经网络将当前输入的局部特征g₁与之前的全局特征h₀相结合，更新得到当前的全局特征h₁，并将h₁输入到强化学习模块，输出下一步待观察的位置预测l₂；

(203)重复步骤(202)，在执行完预先设置的步数T之后，将循环神经网络最终的全局特征输入Softmax分类器中，得到预测标签。

3.根据权利要求2所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(3)中，针对含单次特殊活动的弱标签传感器数据，回报函数的设计方法如下：

将第t步输出的分类概率p_t与初始分类概率p₀作对比，若p₀≤p_t，则该步reward值为1，否则为0。

4.根据权利要求2所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(3)中，针对含多次特殊活动的弱标签传感器数据，回报函数的设计方法如下：

将每步的预测位置附近窗口大小的小片数据样本位置放入一个集合中，在第t步，首先判断p₀≤p_t，若该不等式不成立，则该步的reward直接为0，若成立，再判断此步输出的预测位置l_t+1是否包含在之前的位置集合{loc₀,...,loc_t}中，若包含，则该步的reward为0.5，否则reward为1；其中loc_i是指(l_i-w_s,l_i+w_s)区间范围内的位置集合，w_s为窗口大小，0≤i≤t。

5.根据权利要求2所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(4)中，模型优化的目标是最小化代价函数，代价函数包括分类的代价函数和强化学习的代价函数，具体如下：

分类的代价函数为交叉熵函数，利用一组已知标签的数据样本优化分类器的参数，使交叉熵函数最小，根据下式计算出交叉熵C：

其中，x表示样本，n表示样本的总数，y为期望输出，即活动的真实标签值，a为神经元实际输出，即预测的活动标签值，训练时将交叉熵对权重的偏导数反向传播，更新模型参数；

强化学习的代价函数如下：

L(θ)＝logπ(a|s,θ)·(R-b)

其中，π(a|s,θ)为神经网络拟合的策略，θ为模型参数，logπ(a|s,θ)是在状态s下输出动作a的概率的对数似然，b为基线，为累积回报值，其中r_t为每一步的reward值，再利用自适应矩估计Adam优化器反向更新模型参数，优化强化学习的代价函数，使代价函数最小化，reward值最大化。

6.根据权利要求2所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(4)中，训练模型时，设置step为20000，样本总数为91266，每一个分批处理的样本数量为64，训练开始时的学习率为10^-3，设置衰减因子λ，在每一次训练完全部样本之后，学习率按照衰减因子λ衰减，最终的学习率变为10^-4。

7.根据权利要求1-6中任意一项所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(5)中，将得出的预测标签与测试数据集中的真实标签作对比，如果相同则正确预测样本数加1，最后用总的预测正确样本数除以预测样本总数，得到整个测试数据集的分类准确率。