CN112766420B - 一种基于时频域信息的人体行为识别方法 - Google Patents

Abstract

本发明公开了一种基于时频域信息的人体行为识别方法，其步骤包括：1、采集人体行为的三轴加速度序列样本并进行预处理；2、将预处理后的人体行为三轴加速度序列样本分割为训练集和测试集；3、构建LSTM‑CNN网络模型；4、融合基于时频域提取的特征向量并进行人体行为识别；5、通过梯度下降反向传播算法更新LSTM‑CNN网络参数。本发明能够有效提高人体行为识别的准确率。

Description

一种基于时频域信息的人体行为识别方法

技术领域

本发明涉及人工智能和模式识别领域，人体行为识别技术，深度学习技术，具体涉及一种基于时频域信息的人体行为识别方法。

背景技术

人体行为识别与状态监测是当前人工智能和模式识别领域的一个的研究热点，在医疗健康、智能家居、老年护理等领域有着广泛的应用。人体行为识别通过人体行为数据获取的方法来划分大致分为两类，基于计算机视觉的行为识别方法和基于可穿戴设备的行为识别方法。相对于计算机视觉的人体行为识别而言，基于可穿戴设备通过采集传感器数据来实现人体行为识别。此方法不受特定场景和时间的限制且能量消耗少、成本较低，更适合推广使用。

宁波大学於晨阳等人发明了一种基于深度学习的无源人体运动识别方法(公开号：CN 110991251 A)，该方法首先对采集的人体运动数据进行行为特征提取获取训练数据，然后基于训练数据对BP神经网络模型进行训练，最终通过神经网络模型实现运动识别。该方法对人体行为识别准确率有一定的提升且识别时间短，但特征提取通过手选特征的方式，只能在某些行为动作方面获得较好的识别率，对于更大的数据集的识别仍存在一些问题。

南京邮电大学李争彦等人发明了一种基于神经网络的人体行为识别方法及系统(公开号：CN 108764059 A)，该方法首先对穿戴式图像传感器采集的图像信息进行预处理，再使用LSTM-RNN神经网络算法对图像信息进行运动场景识别。其次使用LSTM-RNN神经网络算法对运动传感器的加速度信息进行动作识别。最后将使用场景标记的运动序列在行为数据库中进行匹配，得到具体的行为信息从而实现人体行为动作识别。该方法提高了人体行为识别的准确性与稳定性，但需要同时采集图像和传感器数据，使得识别效率降低且可推广性差。

发明内容

本发明是为避免上述现有技术所存在的不足之处，提供一种基于时频域信息的人体行为识别方法，以期通过LSTM-CNN网络模型充分获取人体行为的时空信息，从而能有效识别出被监测对象的人体行为，并提高识别准确率和效率。

本发明为解决技术问题采用如下技术方案：

本发明一种基于时频域信息的人体行为识别方法的特点在于包含以下步骤：

步骤1、按照采样频率以固定的采样时长对I种不同的人体行为分别进行连续采样，从而得到N位测试人员在I种人体行为上的三轴加速度序列集合G＝{Q^1,1,...,Q^n,i,...,Q^N,I}，其中，Q^n,i表示第n位测试人员在进行第i种人体行为的三轴加速度序列，且

表示第n位测试人员在进行第i种人体行为的X轴加速度序列，

表示第n位测试人员在进行第i种人体行为的Y轴加速度序列；

表示第n位测试人员在进行第i种人体行为的Z轴加速度序列，n＝1,2,...,N，i＝1,2,...,I；

步骤2、对所述三轴加速度序列集合G进行小波去噪得到去噪后的三轴加速度序列集合

其中，

表示去噪后的第n位测试人员在进行第i种人体行为的三轴加速度序列；

步骤3、定义滑动窗口大小为m×3，对所述去噪后的三轴加速度序列集合G₁的每个三轴加速度序列进行竖向滑动取值，得到预处理后的三轴加速度序列集合G_prog；从所述预处理后的三轴加速度序列集合G_prog中取出p个三轴加速度序列作为训练集T；

步骤4、构建LSTM-CNN神经网络；

所述LSTM-CNN神经网络包含LSTM网络、小波包特征提取模块、CNN网络、特征融合层、SCN分类器以及输出层；其中，LSTM网络的输入节点个数为m×3，包含2个LSTM层和1个Dense层，输出维数为h₁×1；所述CNN网络的输入节点个数为2^l×1，包含2个卷积层、2个池化层和1个Dense层，输出维数为h₂×1；l表示小波包变换的层数；

步骤5、定义网络当前迭代次数为μ，并初始化μ＝1；最大迭代次数为μ_max；对所述LSTM-CNN神经网络中各层的参数进行第μ次随机初始化，从而得到第μ次迭代的LSTM-CNN神经网络；

步骤6、定义变量j；

步骤7、初始化j＝1；

步骤8、从所述训练集T中取第j个三轴加速度序列样本输入第μ次迭代的LSTM-CNN神经网络中的LSTM网络，得到维数为h₁×1的第一特征向量

步骤9、将所述训练集T中取第j个三轴加速度序列样本并输入所述小波包特征提取模块中进行l层小波包能量特征提取和归一化处理，得到维数大小为2^l×1的第j个三轴加速度序列样本能量特征向量E_j；

步骤10、将所述第j个三轴加速度序列样本能量特征向量E_j输入第μ次迭代的LSTM-CNN神经网络中的CNN网络，得到维数为h₂×1的第二特征向量

步骤11、所述特征融合层构建维数为(h₁+h₂)×1的人体行为状态特征向量

步骤12、定义LSTM-CNN神经网络的期望输出为

表示第j个三轴加速度序列样本输入LSTM-CNN神经网络，输出层第n_c个节点的期望输出值，将所述人体行为状态特征向量F_j,μ输入第μ次迭代的LSTM-CNN神经网络的SCN分类器，再经过输出层，得到网络输出

表示第j个三轴加速度序列样本输入第μ次迭代的LSTM-CNN神经网络，输出层第n_c个节点的输出值，将网络输出

与期望输出t_j作差得到第μ次迭代的网络输出误差e_j,μ；

步骤13、将j+1赋值给j后，判断j＞p是否成立；若成立，则继续执行步骤14，否则返回步骤8；其中，p是训练集T所包含样本的个数；

步骤14、定义

为LSTM-CNN网络第μ次迭代网络输出的均方根误差；判断e_μ＜error是否成立，若成立，则将当前第μ次迭代的LSTM-CNN网络模型A_μ用于人体行为识别；否则，继续执行步骤15，其中，error是人工设定误差阈值；

步骤15、根据梯度下降的反向传播算法更新第μ次迭代的LSTM-CNN网络的特征融合层到输入层的权重和偏置，并利用式(1-1)-式(1-3)更新第μ次迭代的LSTM-CNN网络的输出层到特征融合层的权重和偏置：

式(1-1)-式(1-3)中，r表示SCN分类器的节点个数；F_μ表示第μ次迭代的LSTM-CNN特征融合层的输出集，F_μ＝{F_1,μ,...,F_j,μ,...,F_p,μ}，β_r,μ表示第μ次迭代的LSTM-CNN神经网络的SCN分类器第r个节点到输出层的权重；

表示第μ次迭代的LSTM-CNN网络的特征融合层到SCN分类器第r个节点的权重；b_r,μ表示第μ次迭代的LSTM-CNN网络的特征融合层到SCN分类器第r个节点的偏置；k表示LSTM-CNN神经网络的激活函数；

步骤16、将μ+1赋值给μ后，判断μ＞μ_max是否成立，若成立，将当前第μ次迭代的LSTM-CNN网络模型A_μ用于人体行为识别，否则，返回步骤7。

与已有技术相比，本发明的有益效果体现在：

1、本发明利用LSTM网络和CNN网络分别提取加速度传感器数据在时间维度和空间维度上的特征并进行特征融合，增强了该方法的时空特征表达能力，从而保证了人体行为识别的准确率和可靠性。

2、本发明通过融合LSTM网络和CNN网络实现了端到端的人体行为识别模型，避免了传统识别方法的特征提取与分类器割裂的现象，从而提高了人体行为识别的效率。

3、本发明采用随机配置网络代替了传统深度学习神经网络中的softmax层，实现了加速度传感器数据多尺度特征的人体行为状态的全局逼近，增强了网络的学习能力和泛化能力。

附图说明

图1为基于时频域信息的人体行为识别方法流程图；

图2为基于时频域信息的人体行为识中LSTM-CNN网络模型架构图。

具体实施方式

本实施例中，参照图1，一种基于时频域信息的人体行为识别方法，包含以下步骤：

步骤1、按照采样频率以固定的采样时长对I种不同的人体行为分别进行连续采样，从而得到N位测试人员在I种人体行为上的三轴加速度序列集合G＝{Q^1,1,...,Q^n,i,...,Q^N,I}，其中，Q^n,i表示第n位测试人员在进行第i种人体行为的三轴加速度序列，且

表示第n位测试人员在进行第i种人体行为的X轴加速度序列，

表示第n位测试人员在进行第i种人体行为的Y轴加速度序列；

表示第n位测试人员在进行第i种人体行为的Z轴加速度序列，n＝1,2,...,N，i＝1,2,...,I；具体实施例中，采样频率为50Hz，采样时长为2min，I＝7，7种动作分别为站立、行走、跑步、卧躺、就坐、上楼、下楼；

步骤2、对三轴加速度序列集合G进行小波去噪得到去噪后的三轴加速度序列集合

其中，

表示去噪后的第n位测试人员在进行第i种人体行为的三轴加速度序列；

步骤3、定义滑动窗口大小为m×3，对去噪后的三轴加速度序列集合G₁的每个三轴加速度序列进行竖向滑动取值，得到预处理后的三轴加速度序列集合G_prog；从预处理后的三轴加速度序列集合G_prog中取出p个三轴加速度序列作为训练集T；具体实施例中，m＝64；将预处理后的三轴加速度序列集合G_prog剩余三轴加速度序列作为测试集；

步骤4、构建LSTM-CNN神经网络；

LSTM-CNN神经网络包含LSTM网络、小波包特征提取模块、CNN网络、特征融合层、SCN分类器以及输出层；其中，LSTM网络的输入节点个数为m×3，包含2个LSTM层和1个Dense层，输出维数为h₁×1；CNN网络的输入节点个数为2^l×1，包含2个卷积层、2个池化层和1个Dense层，输出维数为h₂×1；l表示小波包变换的层数；具体实施例中，基于时频域信息的人体行为识中LSTM-CNN网络模型架构图如图2所示；LSTM网络的输入节点个数为192*1，输出维数为20*1；CNN网络的输入节点个数为64*1，输出维数为10*1；输出层的输出节点数为7,分别为站立、行走、跑步、卧躺、就坐、上楼、下楼,分别用001、010、011、100、101、110、111表示；

步骤5、定义网络当前迭代次数为μ，并初始化μ＝1；最大迭代次数为μ_max；对LSTM-CNN神经网络中各层的参数进行第μ次随机初始化，从而得到第μ次迭代的LSTM-CNN神经网络；

步骤6、定义变量j；

步骤7、初始化j＝1；

步骤8、从训练集T中取第j个三轴加速度序列样本输入第μ次迭代的LSTM-CNN神经网络中的LSTM网络，得到维数为h₁×1的第一特征向量

步骤9、将训练集T中取第j个三轴加速度序列样本并输入小波包特征提取模块中进行l层小波包能量特征提取和归一化处理，得到维数大小为2^l×1的第j个三轴加速度序列样本能量特征向量E_j；

步骤10、将第j个三轴加速度序列样本能量特征向量E_j输入第μ次迭代的LSTM-CNN神经网络中的CNN网络，得到维数为h₂×1的第二特征向量

步骤11、特征融合层构建维数为(h₁+h₂)×1的人体行为状态特征向量

步骤12、定义LSTM-CNN神经网络的期望输出为

表示第j个三轴加速度序列样本输入LSTM-CNN神经网络，输出层第n_c个节点的期望输出值，将人体行为状态特征向量F_j,μ输入第μ次迭代的LSTM-CNN神经网络的SCN分类器，再经过输出层，得到网络输出

表示第j个三轴加速度序列样本输入第μ次迭代的LSTM-CNN神经网络，输出层第n_c个节点的输出值，将网络输出t′_j,μ与期望输出t_j作差得到第μ次迭代的网络输出误差e_j,μ；

步骤13、将j+1赋值给j后，判断j＞p是否成立；若成立，则继续执行步骤14，否则返回步骤8；其中，p是训练集T所包含样本的个数；

步骤14、定义

为LSTM-CNN网络第μ次迭代网络输出的均方根误差；判断e_μ＜error是否成立，若成立，则将当前第μ次迭代的LSTM-CNN网络模型A_μ用于人体行为识别；否则，继续执行步骤15，其中，error是人工设定误差阈值。

步骤15、根据梯度下降的反向传播算法更新第μ次迭代的LSTM-CNN网络的特征融合层到输入层的权重和偏置，并利用式(1-1)-式(1-3)更新第μ次迭代的LSTM-CNN网络的输出层到特征融合层的权重和偏置：

式(1-1)-式(1-3)中，r表示SCN分类器的节点个数；F_μ表示第μ次迭代的LSTM-CNN特征融合层的输出集，F_μ＝{F_1,μ,...,F_j,μ,...,F_p,μ}，β_r,μ表示第μ次迭代的LSTM-CNN神经网络的SCN分类器第r个节点到输出层的权重；

表示第μ次迭代的LSTM-CNN网络的特征融合层到SCN分类器第r个节点的权重；b_r,μ表示第μ次迭代的LSTM-CNN网络的特征融合层到SCN分类器第r个节点的偏置；k表示LSTM-CNN神经网络的激活函数；

步骤16、将μ+1赋值给μ后，判断μ＞μ_max是否成立，若成立，将当前第μ次迭代的LSTM-CNN网络模型A_μ用于人体行为识别，否则，返回步骤7。

步骤17、利用测试集评估所述步骤14得到的LSTM-CNN网络模型A_μ的精度，准确率可达90.6％。

Claims (1)

1.一种基于时频域信息的人体行为识别方法，其特征在于包含以下步骤：

步骤1、按照采样频率以固定的采样时长对I种不同的人体行为分别进行连续采样，从而得到N位测试人员在I种人体行为上的三轴加速度序列集合G＝{Q^1,1,...,Q^n,i,...,Q^N,I}，其中，Q^n,i表示第n位测试人员在进行第i种人体行为的三轴加速度序列，且

表示第n位测试人员在进行第i种人体行为的X轴加速度序列，

表示第n位测试人员在进行第i种人体行为的Y轴加速度序列；

表示第n位测试人员在进行第i种人体行为的Z轴加速度序列，n＝1,2,...,N，i＝1,2,...,I；

步骤2、对所述三轴加速度序列集合G进行小波去噪得到去噪后的三轴加速度序列集合

其中，

表示去噪后的第n位测试人员在进行第i种人体行为的三轴加速度序列；

步骤3、定义滑动窗口大小为m×3，对所述去噪后的三轴加速度序列集合G₁的每个三轴加速度序列进行竖向滑动取值，得到预处理后的三轴加速度序列集合G_prog；从所述预处理后的三轴加速度序列集合G_prog中取出p个三轴加速度序列作为训练集T；

步骤4、构建LSTM-CNN神经网络；

所述LSTM-CNN神经网络包含LSTM网络、小波包特征提取模块、CNN网络、特征融合层、SCN分类器以及输出层；其中，LSTM网络的输入节点个数为m×3，包含2个LSTM层和1个Dense层，输出维数为h₁×1；所述CNN网络的输入节点个数为2^l×1，包含2个卷积层、2个池化层和1个Dense层，输出维数为h₂×1；l表示小波包变换的层数；

步骤5、定义网络当前迭代次数为μ，并初始化μ＝1；最大迭代次数为μ_max；对所述LSTM-CNN神经网络中各层的参数进行第μ次随机初始化，从而得到第μ次迭代的LSTM-CNN神经网络；

步骤6、定义变量j；

步骤7、初始化j＝1；

步骤8、从所述训练集T中取第j个三轴加速度序列样本输入第μ次迭代的LSTM-CNN神经网络中的LSTM网络，得到维数为h₁×1的第一特征向量

步骤9、将所述训练集T中取第j个三轴加速度序列样本并输入所述小波包特征提取模块中进行l层小波包能量特征提取和归一化处理，得到维数大小为2^l×1的第j个三轴加速度序列样本能量特征向量E_j；

步骤10、将所述第j个三轴加速度序列样本能量特征向量E_j输入第μ次迭代的LSTM-CNN神经网络中的CNN网络，得到维数为h₂×1的第二特征向量

步骤11、所述特征融合层构建维数为(h₁+h₂)×1的人体行为状态特征向量

步骤12、定义LSTM-CNN神经网络的期望输出为

表示第j个三轴加速度序列样本输入LSTM-CNN神经网络，输出层第n_c个节点的期望输出值，将所述人体行为状态特征向量F_j,μ输入第μ次迭代的LSTM-CNN神经网络的SCN分类器，再经过输出层，得到网络输出

表示第j个三轴加速度序列样本输入第μ次迭代的LSTM-CNN神经网络，输出层第n_c个节点的输出值，将网络输出t′_j,μ与期望输出t_j作差得到第μ次迭代的网络输出误差e_j,μ；

步骤13、将j+1赋值给j后，判断j＞p是否成立；若成立，则继续执行步骤14，否则返回步骤8；其中，p是训练集T所包含样本的个数；

步骤14、定义

为LSTM-CNN网络第μ次迭代网络输出的均方根误差；判断e_μ＜error是否成立，若成立，则将当前第μ次迭代的LSTM-CNN网络模型A_μ用于人体行为识别；否则，继续执行步骤15，其中，error是人工设定误差阈值；

步骤15、根据梯度下降的反向传播算法更新第μ次迭代的LSTM-CNN网络的特征融合层到输入层的权重和偏置，并利用式(1-1)-式(1-3)更新第μ次迭代的LSTM-CNN网络的输出层到特征融合层的权重和偏置：

式(1-1)-式(1-3)中，r表示SCN分类器的节点个数；F_μ表示第μ次迭代的LSTM-CNN特征融合层的输出集，F_μ＝{F_1,μ,...,F_j,μ,...,F_p,μ}，β_r,μ表示第μ次迭代的LSTM-CNN神经网络的SCN分类器第r个节点到输出层的权重；

表示第μ次迭代的LSTM-CNN网络的特征融合层到SCN分类器第r个节点的权重；b_r,μ表示第μ次迭代的LSTM-CNN网络的特征融合层到SCN分类器第r个节点的偏置；k表示LSTM-CNN神经网络的激活函数；

步骤16、将μ+1赋值给μ后，判断μ＞μ_max是否成立，若成立，将当前第μ次迭代的LSTM-CNN网络模型A_μ用于人体行为识别，否则，返回步骤7。

Images