CN114916928B - 一种人体姿态多通道卷积神经网络检测方法 - Google Patents

Abstract

本发明公开了一种人体姿态多通道卷积神经网络检测方法，包括以下步骤：S1：采集人体各项活动时传感器数据；S2：对采集的传感器数据进行预处理；S3：搭建多通道卷积神经网络模型；S4：将经过预处理的传感器数据输入到网络模型中进行训练；S5：模型已完成训练，获得人体姿态检测结果。本发明主要贡献是使用多通道卷积神经网络进行人体姿态检测，单独通道的卷积头对每个传感器的数据进行独立的特征提取，使提取特征的效果更加优秀，提升了人体姿态检测的准确性，在日常检测中本发明具有比传统方法更高的检测准确率。同时还优化了数据采集和数据处理的过程，使前期准备工作的复杂度降低。

Description

一种人体姿态多通道卷积神经网络检测方法

技术领域

本发明属于人体姿态检测领域，涉及一种人体姿态多通道卷积神经网络检测方法。

背景技术

目前基于传感器数据的人体姿态检测研究，主要通过可穿戴的传感器设备采集人体活动数据来进行分类识别。通过在研究者身上佩戴传感器设备，采集人体运动数据，更加贴合用户的日常生活，并且不受外界环境的影响，使用者到处移动也依然能保持检测状态。传统方法主要依赖从运动过程中提取传感器数据的特征作为输入对模型进行训练。比如一些窗口化的特征值，包括最值、均值、标准差、幅度以及功率谱密度等时频域特征。这种方法的局限性在于，需要研究人员有信号处理相关领域的知识，并且要对原始数据有足够的分析认识，所以有时分类效果并不好。

发明内容

针对现有技术存在的不足，本发明提出了一种人体姿态多通道卷积神经网络检测方法，能够去除数据处理时特征提取的过程，提高人体姿态检测的识别准确率。

本发明的技术方案是：一种人体姿态多通道卷积神经网络检测方法，包括以下步骤：

S1：采集人体各项活动时传感器数据；

S2：对采集的传感器数据进行预处理；

S3：搭建多通道卷积神经网络模型；

S4：将经过预处理的传感器数据输入到网络模型中进行训练；

S5：模型已完成训练，获得人体姿态检测结果。

进一步地，步骤S1包括以下子步骤：

S11：将采集人体活动数据的传感器设备佩戴在大腿根部，采集人体活动时的三轴总加速度数据、三轴角速度数据以及三轴线性加速度数据，其中三轴指将空间中数据在X、Y、Z三个轴上进行分解，线性加速度是指从包含重力加速度的总加速度数据中去除重力分量的加速度数据；

S12：采集人体活动时的传感器数据，对每个需要检测的人体姿态重复进行，持续进行一段时间的数据采集。

S13：给采集的每段人体活动数据打上标签，告诉计算机这些数据对应的类别，计算机才能使用这些数据训练出一个模型；

上述进一步方案的有益效果是：传统方法习惯将传感器设备佩戴在腰部进行采集，有些不同类别的人体姿态如坐下和站立，在腰部以上的身体动作是一致的，这样会导致部分采集的数据重合，无法很好的区分这两种状态。而本发明实施例的数据采集方法能避免这一问题。同时本采集方案大幅减少采集数据以及处理数据的工作量，也能够有效采集到人体进行各种活动时传感器数据的变化。

进一步地，步骤S2包括以下子步骤：

S21：对采集到的原始数据进行中值滤波处理，中值滤波的原理如下：通过一个固定长度为N的滑动窗口划过整个数据序列，将窗口中的N个数据样本进行排序找出中值，再将窗口正中间的样本替换成中值。中值滤波的窗口大小N的选择可根据实际情况而定；

S22：处理滤波后的数据，将开始后5秒以及结束前5秒数据切割后丢弃，保留剩下的数据；

S23：将剩下的数据切割分段，采用50％重叠滑动窗口的方法将数据分为一系列长度为同一时间步长的数据段。50％重叠滑动窗口是指滑动窗口每次滑动的距离为窗口大小的一半，这样前一个窗口的后半部分会和后一个窗口的前半部分完全重叠；

S24：将数据集每类活动的数据随机划分，其中80％的数据定为训练集，用于训练模型输入；另外20％的数据定为测试集，用于检测训练完的模型的性能。

进一步地，步骤S3包括以下子步骤：

S31：设置每个卷积头的卷积层层数、卷积核数量以及卷积核大小。多通道卷积神经网络模型为层次结构，数据顺序输入到每一层网络处理，如图4所示该网络使用多个卷积头将多种不同类型的传感器数据分开并行提取特征，然后将提取到的特征合并进行预测。每个卷积头包括x层卷积层，一层遗忘层，一层池化层和一层展平层，其中卷积层的原理如下：

其中a_i为卷积层输出结果(特征图)的第i列元素，f()表示激活函数，K为卷积核的大小，w_m,n表示卷积核第m行第n列权重，x_m,i+n表示传感器数据序列第i+n时刻的第m维特征，b为偏置项。

S32：设置每个卷积头的遗忘层的遗忘概率p。遗忘层会在训练时以一定的概率p(通常是50％)关闭遗忘层神经元的输出，也就是输出为0，可以降低过拟合风险，提高模型的泛化能力；

S33：设置每个卷积头的池化层的池化函数和池大小。池化层的作用是降采样，可以压缩特征图规模去除冗余信息，从而大大减少网络神经元的数量，简化神经网络的规模。池化层的原理是将整个特征图切割成多个不重叠的池大小的小块，每个小块以池化函数指定的规则输出一个值，这样对特征图进行降采样；

S34：设置展平层，展平层的作用是将学习到的多维特征图展平为一个一维向量，以便后续解释特征；

S35：设置拼接层，将所有卷积头的输出连接到拼接层，拼接层的作用是将所有卷积头输出的一维向量拼接成一个一维长向量；

S36：设置全连接层的神经元数量和激活函数，全连接层的目的是将前面提取的特征，在全连接层经过非线性变换，提取这些特征之间的关联，最后映射到输出空间上；

S37：设置输出层的神经元数量和激活函数，神经元数量应等于待检测的人体姿态类别数，通过输出层输出预测结果。

进一步地，步骤S4包括以下子步骤：

S41：设置网络训练时迭代次数epochs和批大小batch_size。一次迭代过程表示将所有的数据送入网络中，完成了一次网络参数更新的过程，经过多次迭代后网络的预测值会越来越靠近真实值。批大小batch_size指的是将所有数据分割成几份，每份的大小，因为数据量过大计算机无法一次性处理所有数据，需要分批处理；

S42：将训练集输入到多通道卷积神经网络中，在训练数据集上拟合模型，等待模型完成所有的参数迭代过程；

S43：将测试集输入到模型中查看模型预测准确率，如果预测准确率到达要求，则进入步骤S5；否则进入步骤S3，修改网络模型结构或者参数设置，重新进行训练。

本发明的有益效果是：本发明通过使用多通道卷积神经网络独立提取不同传感器数据特征，具有比传统方法更高的预测精确度。同时改进了传统的人体姿态检测数据准备的方法，减少了人体姿态检测前期准备工作。

附图说明

图1为人体姿态检测方法的流程图；

图2为本发明实施例中采集数据方式图；

图3为本发明实施例中数据保存格式图；

图4为本发明实施例中多通道卷积神经网络结构图；

图5为本发明实施例中多通道卷积神经网络学习曲线图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种人体姿态多通道卷积神经网络检测方法，包括以下步骤：

S1：采集人体各项活动时传感器数据，其实现方法如下：

S11：将采集人体活动数据的传感器设备佩戴在大腿根部，采集人体活动时的三轴总加速度数据、三轴角速度数据以及三轴线性加速度数据；

S12：采集人体活动时的传感器数据，对每个需要检测的人体姿态重复进行，持续进行一段时间的数据采集。本发明实施例采集的人体活动包括步行、站立、跑步、坐下、上楼和下楼；

S13：如图3所示，给采集的每段人体活动数据打上标签，告诉计算机这些数据对应的类别，计算机才能使用这些数据训练出一个模型；

在本发明实施例中，如图2所示通过使用手机传感器采集三轴加速度计、三轴线性加速度传感器以及三轴陀螺仪数据，来区分不同的人体姿态。通过人体加速度、角速度等数据来综合分类，与仅使用加速度计数据的人体姿态检测方法相比，更加精确。传统方法习惯将传感器设备佩戴在腰部进行采集，有些不同类别的人体姿态如坐下和站立，在腰部以上的身体动作是一致的，这样会导致部分采集的数据重合，无法很好的区分这两种状态。而本发明实施例的数据采集方法能避免这一问题。同时本采集方案大幅减少采集数据以及处理数据的工作量，也能够有效采集到人体进行各种活动时传感器数据的变化。

S2：对采集的传感器数据进行预处理，其实现方法如下：

S21：对采集到的原始数据进行中值滤波处理，中值滤波的原理如下：通过一个固定长度为N的滑动窗口划过整个数据序列，将窗口中的N个数据样本进行排序找出中值，再将窗口正中间的样本替换成中值。本实施例中滑动窗口大小N＝3；

S22：处理滤波后的数据，将开始后5秒以及结束前5秒数据切割后丢弃，保留剩下的数据；

S23：将剩下的数据切割分段，采用50％重叠滑动窗口的方法将数据分为一系列长度为同一时间步长的数据段。50％重叠滑动窗口是指滑动窗口每次滑动的距离为窗口大小的一半，这样前一个窗口的后半部分会和后一个窗口的前半部分完全重叠；

S24：将数据集每类活动的数据随机划分，其中80％的数据定为训练集，用于训练模型输入；另外20％的数据定为测试集，用于检测训练完的模型的性能。

S3：搭建多通道卷积神经网络模型,其实现方法如下：

S31：设置每个卷积头的卷积层层数、卷积核数量以及卷积核大小。本实施例中，每个卷积头的卷积层层数为2，第一层有128个卷积核，第二层有64个卷积核。每层卷积核大小为7。多通道卷积神经网络模型为层次结构，数据顺序输入到每一层网络处理，如图4所示该网络使用多个卷积头将多种不同类型的传感器数据分开并行提取特征，然后将提取到的特征合并进行预测。每个卷积头包括x层卷积层，一层遗忘层，一层池化层和一层展平层，其中卷积层的原理如下：

其中a_i为卷积层输出结果(特征图)的第i列元素，f()表示激活函数，K为卷积核的大小，w_m,n表示卷积核第m行第n列权重，x_m,i+n表示传感器数据序列第i+n时刻的第m维特征，b为偏置项。

S32：设置每个卷积头的遗忘层的遗忘概率p，本实施例将遗忘概率设置为50％。遗忘层会在训练时以一定的概率p(通常是50％)关闭遗忘层神经元的输出，也就是输出为0，可以降低过拟合风险，提高模型的泛化能力；

S33：设置每个卷积头的池化层的池化函数和池大小，本实施例使用池化函数为MaxPooling函数，池大小设置为2。池化层的作用是降采样，可以压缩特征图规模去除冗余信息，从而大大减少网络神经元的数量，简化神经网络的规模。池化层的原理是将整个特征图切割成多个不重叠的池大小的小块，每个小块以池化函数指定的规则输出一个值，这样对特征图进行降采样；

S34：设置展平层，展平层的作用是将学习到的多维特征图展平为一个一维向量，以便后续解释特征；

S35：设置拼接层，将所有卷积头的输出连接到拼接层，拼接层的作用是将所有卷积头输出的一维向量拼接成一个一维长向量；

S36：设置全连接层的神经元数量和激活函数，本实施例设置全连接层的神经元数量为100，激活函数为Relu函数。全连接层的目的是将前面提取的特征，在全连接层经过非线性变换，提取这些特征之间的关联，最后映射到输出空间上；

S37：设置输出层的神经元数量和激活函数，神经元数量应等于待检测的人体姿态类别数，本实施例中为6，激活函数设置为SoftMax函数。通过输出层输出预测结果。通过这种网络结构可以提升对传感器数据的特征提取效果，提高检测准确率。

本实施例中，多通道卷积神经网络的设计思想在于将每个传感器的三轴数据分开处理，使用三个单独通道的卷积头对每个传感器的数据进行独立的特征提取。这样的好处在于，可以根据不同类型传感器数据对于时间长度的敏感程度不同，模型配置不同的超参数。

S4：将经过预处理的传感器数据输入到网络模型中进行训练，其实现方法如下：

S41：设置网络训练时迭代次数epochs为10和批大小batch_size为32。一次迭代过程表示将所有的数据送入网络中，完成了一次网络参数更新的过程，经过多次迭代后网络的预测值会越来越靠近真实值。批大小batch_size指的是将所有数据分割成几份，每份的大小，因为数据量过大计算机无法一次性处理所有数据，需要分批处理；

S42：将训练集输入到多通道卷积神经网络中，在训练数据集上拟合模型，等待模型完成所有的参数迭代过程；

S43：将测试集输入到模型中查看模型预测准确率，如果预测准确率到达要求，则进入步骤S5；否则进入步骤S3，修改网络模型结构或者参数设置，重新进行训练。

S5：模型已完成训练，获得人体姿态检测结果。

在本发明实施例中，对于本发明创建的人体姿态多通道卷积神经网络检测方法，以实现对每个传感器的数据进行独立的特征提取。通过改进采集数据的方式，本发明制作了更适合神经网络区分的数据集。通过设计一些实验场景，来验证发明提出的算法对于人体姿态检测的准确性。

本实验邀请教研室的10名同学作为志愿者，年龄分布为23-25岁，实验时使用两部手机分别放在裤子左右口袋中进行预设活动。采集的姿态有六类：步行、站立、跑步、坐下、上楼和下楼。采集的原始数据经过中值滤波之后，去除初始和结束的异常数据，设置时间步长为128，用50％重叠滑动窗口分割成数据段。再将每类活动的数据随机划分，其中80％的数据定为训练集，另外20％的数据定为测试集。最终获得的数据集，训练集的数据为13498条，测试集的数据为3373条。

本实施例中，对于人体姿态检测，图5为多通道卷积神经网络训练过程中随着迭代次数增加损失值以及准确率的变化曲线，经过50次迭代后训练停止。可以看到前10次迭代时模型收敛速度较快，损失值迅速下降，准确率随之快速上升；在第10次到第50次迭代之间收敛速度放缓，并且伴随着较小的波动，同时测试集的损失值有所上升，主要是产生了过拟合现象，即在训练集上表现优异，在测试集上则表现一般，这样的模型泛化能力差。所以推荐的迭代次数一般为10左右。

表1为测试集分类结果混淆矩阵，六类活动分类的总体准确率为97.792％，观察混淆矩阵发现，每一类别的准确率也都保持在95％以上，可以较为准确地分辨出数据对应的人体姿态。

表1

同时，在表2中统计了本发明提出的人体姿态检测算法与传统的人体姿态检测算法间的性能，以检测准确率作为评价指标。

表2

算法	检测准确率
		基于支持向量机的人体姿态检测算法	89％
基于卷积神经网络的人体姿态检测算法	91.7％
		基于多通道卷积神经网络的人体姿态检测算法	97.8％

基于上述实验结果分析，证明本发明提出的一种基于卷积神经网络的人体姿态检测算法性能优秀，能够对日常生活中人体的各类活动进行实时检测并区分。本发明主要贡献是使用多通道卷积神经网络进行人体姿态检测，单独通道的卷积头对每个传感器的数据进行独立的特征提取，使提取特征的效果更加优秀，提升了人体姿态检测的准确性，在日常检测中本发明具有比传统方法更高的检测准确率。同时还优化了数据采集和数据处理的过程，使前期准备工作的复杂度降低。

Claims (3)

1.一种人体姿态多通道卷积神经网络检测方法，其特征在于，包括以下步骤：

S1：采集人体各项活动时传感器数据；

S2：对采集的传感器数据进行预处理；

S3：搭建多通道卷积神经网络模型；

S4：将经过预处理的传感器数据输入到网络模型中进行训练；

S5：模型已完成训练，获得人体姿态检测结果；

所述步骤S1包括以下子步骤：

S11：将采集人体活动数据的传感器设备佩戴在大腿根部，采集人体活动时的三轴总加速度数据、三轴角速度数据以及三轴线性加速度数据，其中三轴指将空间中数据在X、Y、Z三个轴上进行分解，线性加速度是指从包含重力加速度的总加速度数据中去除重力分量的加速度数据；

S12：采集人体活动时的传感器数据，对每个需要检测的人体姿态重复进行，持续进行一段时间的数据采集；

S13：给采集的每段人体活动数据打上标签，告诉计算机这些数据对应的类别，计算机才能使用这些数据训练出一个模型；

所述步骤S3包括以下子步骤：

S31：设置每个卷积头的卷积层层数、卷积核数量以及卷积核大小，多通道卷积神经网络模型为层次结构，数据顺序输入到每一层网络处理，该网络使用多个卷积头将多种不同类型的传感器数据分开并行提取特征，然后将提取到的特征合并进行预测，每个卷积头包括x层卷积层，一层遗忘层，一层池化层和一层展平层，其中卷积层的原理如下：

其中a_i为卷积层输出结果的第i列元素，f()表示激活函数，K为卷积核的大小，w_m,n表示卷积核第m行第n列权重，x_m,i+n表示传感器数据序列第i+n时刻的第m维特征，b为偏置项；

S32：设置每个卷积头的遗忘层的遗忘概率p，遗忘层会在训练时以一定的概率p关闭遗忘层神经元的输出，也就是输出为0，可以降低过拟合风险，提高模型的泛化能力；

S33：设置每个卷积头的池化层的池化函数和池大小，池化层的作用是降采样，可以压缩特征图规模去除冗余信息，从而大大减少网络神经元的数量，简化神经网络的规模，池化层的原理是将整个特征图切割成多个不重叠的池大小的小块，每个小块以池化函数指定的规则输出一个值，这样对特征图进行降采样；

S34：设置展平层，展平层的作用是将学习到的多维特征图展平为一个一维向量，以便后续解释特征；

S35：设置拼接层，将所有卷积头的输出连接到拼接层，拼接层的作用是将所有卷积头输出的一维向量拼接成一个一维长向量；

S36：设置全连接层的神经元数量和激活函数，全连接层的目的是将前面提取的特征，在全连接层经过非线性变换，提取这些特征之间的关联，最后映射到输出空间上；

S37：设置输出层的神经元数量和激活函数，神经元数量应等于待检测的人体姿态类别数，通过输出层输出预测结果。

2.根据权利要求1所述的人体姿态多通道卷积神经网络检测方法，其特征在于，所述步骤S2包括以下子步骤：

S21：对采集到的原始数据进行中值滤波处理，中值滤波的原理如下：通过一个固定长度为N的滑动窗口划过整个数据序列，将窗口中的N个数据样本进行排序找出中值，再将窗口正中间的样本替换成中值，中值滤波的窗口大小N的选择可根据实际情况而定；

S22：处理滤波后的数据，将开始后5秒以及结束前5秒数据切割后丢弃，保留剩下的数据；

S23：将剩下的数据切割分段，采用50％重叠滑动窗口的方法将数据分为一系列长度为同一时间步长的数据段，50％重叠滑动窗口是指滑动窗口每次滑动的距离为窗口大小的一半，这样前一个窗口的后半部分会和后一个窗口的前半部分完全重叠；

S24：将数据集每类活动的数据随机划分，其中80％的数据定为训练集，用于训练模型输入，另外20％的数据定为测试集，用于检测训练完的模型的性能。

3.根据权利要求1所述的人体姿态多通道卷积神经网络检测方法，其特征在于，所述步骤S4包括以下子步骤：

S41：设置网络训练时迭代次数epochs和批大小batch_size，一次迭代过程表示将所有的数据送入网络中，完成了一次网络参数更新的过程，经过多次迭代后网络的预测值会越来越靠近真实值，批大小batch_size指的是将所有数据分割成几份，每份的大小，因为数据量过大计算机无法一次性处理所有数据，需要分批处理；

S42：将训练集输入到多通道卷积神经网络中，在训练数据集上拟合模型，等待模型完成所有的参数迭代过程；

S43：将测试集输入到模型中查看模型预测准确率，如果预测准确率到达要求，则进入步骤S5；否则进入步骤S3，修改网络模型结构或者参数设置，重新进行训练。