CN110334573A - 一种基于密集连接卷积神经网络的人体运动状态判别方法 - Google Patents

Abstract

本发明提供了一种多维信息融合的步态数据采集方式，以及基于密集连接卷积神经网络的运动状态判别方法。在多维信息融合的步态数据采集过程中，同时测量实验对象在直行、左转、右转、爬楼梯时左小腿(LS)、右小腿(RS)和腰上(L5)的加速度和角速度信息以及足底压力信息，可操作性强、复杂度低。本发明提出的针对原始步态序列的密集连接卷积神经网络不再需要特征提取，无需先验知识，同时配合特征选择，减少了所需的配套测量装备个数和特征数目，降低了网络模型的复杂度。且通过将中间部分卷积层的输入和输出特征图连接形成下一层的输入，使得本网络的准确率有明显提高。在上述自采数据集上测试单人多任务(直行、左转、右转)的运动状态判别(直行、左转、右转)准确率可达99.1％，和SVM的91.79％相比，准确率有所提高。

Description

一种基于密集连接卷积神经网络的人体运动状态判别方法

技术领域

本发明提供了一种基于密集连接卷积神经网络的人体运动状态判别方法，它 提供了多维信息融合的步态信息采集方式、为面向步态信息的运动状态判别提供 了新的分析方法，属于人体步态识别和模式识别领域。

背景技术

人体步态识别技术旨在分析运动对象的步态加速度数据，实现对运动对象步 态的定性判断。此前基于视频或图像序列的步态分析(贲晛烨,徐森,王科俊.行 人步态的特征表达及识别综述.模式识别与人工智能,2012,25(1):71-81.(BEN X Y,XU S,WANG K J,et al.Review on Pedestrian Gait Feature Expression and Recognition.PatternRecognition and Artificial Intelligence,2012,25(1):71-81.))，易 受到现场光照变化、运动目标遮挡等多种因素影响，不利于后续机器学习。本发 明提出的多维信息融合的步态数据采集方式融合了足底压力和多维动力学时间 序列，可操作性强、复杂度低，在保证实时性的同时可为监督式学习提供更加准 确的分类标记(支撑相和摆动相的划分)，在本发明的一个实施例中根据上述采 集方式得到了一个29名被试的步态信息数据集。

近年来，随着深度学习的兴起，卷积神经网络(convolution neural network，CNN)在图像、语音、视频等诸多领域都取得了一定的应用效果。与传统基于支 持向量机(support vector machine，SVM)等传统机器学习方法实现的人体步态 识别相比，本发明提出的针对原始步态序列的密集连接卷积神经网络不再需要特 征提取，无需先验知识，同时配合特征选择，减少了所需的配套测量装备个数和 特征数目，降低了网络模型的复杂度。且通过将中间部分卷积层的输入和输出特 征图连接形成下一层的输入，使得本网络的准确率有明显提高。在上述自采数据 集上测试单人多任务(直行、左转、右转)的运动状态判别(直行、左转、右转) 准确率可达99.1％，和SVM的91.79％相比，准确率有所提高。

发明内容

本发明提供了一种多维信息融合的步态数据采集方式，以及基于密集连接卷 积神经网络的运动状态判别方法。在多维信息融合的步态数据采集过程中，同时 测量实验对象在直行、左转、右转、爬楼梯时左小腿(LS)、右小腿(RS)和腰 上(L5)的加速度和角速度信息以及足底压力信息。并利用决策树进行特征选择， 减少预测时所需的惯性传感器数目和特征数量。根据特征选择的结果，最终选用 左小腿和右小腿分别的角速度y轴、角速度z轴和加速度z轴共6个通道的动力 学时间序列作为卷积神经网络的输入，实现单人单任务(直行、左转、右转)的 运动状态判别(直行、左转、右转)，并进行结果比对。

为实现上述目的，本发明包括如下步骤：

1.数据采集：采用足底压力分析系统和惯性传感器相结合的方式进行数据 采集，所用惯性传感器中自带滤波，过滤掉信号采集时的噪声和其他无关 成分；

2.特征选择：对腿上和腰上的加速度和角速度信息利用决策树进行特征重 要性排序，以减少所需惯性传感器和特征数目；

3.构建卷积神经网络：将上一步中特征重要性排序相对靠前的左小腿(LS)、 右小腿(RS)的角速度y轴、角速度z轴和加速度z轴共6个通道的动 力学时间序列截成固定长度的序列作为输入，输出对应预测分类；

4.训练卷积神经网络：采用平方误差函数作为损失函数计算预测值与标签 的误差，不断通过反向传播与随机梯度下降算法更新网络中每一层的参 数，直至准确率开始下降，或大于1000次，训练停止；

5.测试卷积神经网络：输入测试数据及标签，对输出结果进行分析；

6.结果比对：

(1)分别通过密集连接卷积神经网络和支持向量机实现单人多任务运动 状态判别，以左小腿(LS)、右小腿(RS)的角速度y轴、角速度z轴 和加速度z轴共6个通道的动力学时间序列作为输入，对比分类结果；

(2)仅改变输入层参数，用未经特征选择的左小腿、右小腿、腰上共18个 通道的数据替换步骤3中的原始输入，比对两次的输出结果；

其中，在所述步骤1中，通过足底压力分析系统得到运动对象的足底压力， 进而得到地面垂直支反力曲线，可作为后续步态时相划分研究的分类标记，准确 率高。采用惯性传感器(加速度计、角加速度计、磁力计)采集运动对象左小腿、 右小腿及腰上的数据，作为机器学习的特征使用，实时性好，可操作性强。

在所述步骤3中，利用步骤2得到的特征重要性排序，选择左小腿(LS)、 右小腿(RS)的角速度y轴、角速度z轴和加速度z轴共6个通道的动力学时 间序列截成固定长度的序列作为输入，将中间部分卷积层的输入和输出特征图连 接形成下一层的输入。

本发明所提供的基于密集连接卷积神经网络的运动状态判别方法的优点包 括：

1.采用多维信息融合的数据采集方式得到的步态数据，可操作性强、复杂度 低，在保证实时性的同时可为监督式学习提供更加准确的分类标记(支撑 相和摆动相的划分)；

2.本发明提出的针对原始步态序列的卷积神经网络不再需要特征提取，无 需先验知识，同时配合特征选择，减少了所需的配套测量装备个数和特征 数目，降低了网络模型的复杂度。同时将中间部分卷积层的输入和输出特 征图连接形成下一层的输入，有效提高了分类准确率。在上述自采数据集 上测试单人多任务的运动状态判别(直行、左转、右转)准确率较高。

附图说明

图1为本发明的流程图；

图2为进行多维信息融合的步态数据采集方式时的现场图，图中已用白圈标 注出了惯性传感器和足底压力分析系统所在位置，其中足底压力分析系统所配备 的测力鞋垫与图2(c)中下方两个白圈所标注的接收装置连接，穿于鞋内；

图3为对腰上和右腿上的惯性传感器所采特征进行重要性排序的结果，其中 图(a)、图(b)分别对应腰和右腿；

图4为卷积神经网络结构图；

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

根据本发明的一个实施例，提出了基于运动对象的动力学时间序列的运动意 图辨识方法。同时采集运动对象左右小腿和腰上的加速度及角速度信息和足底压 力信息，相结合用于运动时相划分和运动状态判别。之后提出了一种具体通过构 建密集连接卷积神经网络实现的运动状态判别方法。

下面具体介绍根据本发明所提供的基于步态信息卷积神经网络的运动状态 判别方法流程，其步骤包括：

1.步态数据采集：采用足底压力分析系统和惯性传感器相结合的方式进行 数据采集：

(1)前期准备。实验开始前确认被试穿着无根平底鞋(确保足底压力分析系 统测得足底压力数据准确)、裤装(便于测量装置的固定)，记录被试的身高 体重等信息，用于后续足底压力分析系统的调零校准。根据被试的鞋码大小 剪裁F-scan足底压力分析系统的测量鞋垫。最后为被试穿戴测量装备，并对 测量装备进行调零校准。其中，腰上惯性传感器的x、y、z轴正方向依次为 上、左、右，左腿上惯性传感器的x、y、z轴正方向依次为上、前、左，右 腿上惯性传感器的x、y、z轴正方向依次为上、后、右。测量频率100Hz。 具体惯性传感器和足底压力分析系统的佩戴情况见附图2；

(2)确认足底压力分析系统的测量鞋垫在鞋中没有褶皱、大小合适、不会滑 动、不会影响被试的正常行走后，对足底压力分析系统用被试本人的体重信 息进行调零校准；

(3)开始试验。每次试验开始和结束时被试原地跳起一次作为有效时间序列 的标记。依次进行如下实验：

a)室内直行。记录被试直行400米所需时间，实验重复两次。

b)左转向。被试绕一半径2米的圆连续左转2分钟，实验重复两次。

c)右转向。被试绕同一圆连续右转2分钟，实验重复两次。

d)爬楼梯。被试爬2层楼梯后不停歇回到出发点，记录全程时间,实验重复 两次。

(4)步态时相标记。由足底压力分析系统得到的地面垂直支反力曲线可得到 步态支撑相和摆动相的划分，作为运动时相划分的分类标记。

经过三周时间，我们完成了对44名志愿者的步态数据采集，其中男生15名， 女生29名。将实验最终测得的44组数据整理得表1。

表1数据质量记录

最终得到的数据集共包含29名被试，其中12男性。17女性。

2.特征选择：通过训练决策树模型进行特征选择；

在建立一颗决策树时，会首先利用信息熵等原则选取能使分类效果最好的特 征优先建立决策树，这是一种天然的对特征的打分过程。

通过决策树得到的特征重要性排序结果如图3所示，基于步态对称性，特征 选择时只比较了腰上和右小腿上惯性传感器所得特征。

对于腰上的六轴数据进行特征重要性排序结果如下：

角速度y轴>角速度x轴>加速度x轴>加速度z轴>角速度z轴> 加速度y轴；

对于右小腿上的六轴数据进行重要性排序结果如下：

角速度z轴>角速度y轴>加速度z轴>角速度x轴>加速度y轴> 加速度x轴；

同时对比发现腿上惯性传感器所得特征比腿上惯性传感器所得特征在分类 效果上明显更好。

基于上述结论，选择左右小腿的角速度z轴、角速度y轴和加速度z轴共6 个通道的特征作为卷积神经网络的输入。

3.构建密集连接卷积神经网络：本发明中的卷积神经网络结构如图4所示， 具体如下：

(1)输入层

a)用sklearn库中preprocessing模块的scale函数，将输入的6个通道数据 沿时间方向归一化，使其均值为0、方差为1；

b)将预处理后的输入截取成固定长度的事件，每一事件分配和所属原始输 入一样的分类标签，最终输入的数据形式为n*6*200*1,对应样本数*通 道数*采样点数*1；

c)为实现跨通道的交互和信息整合、增加非线性特性，进行卷积核大小1*1 的卷积，步长为1，得到45张特征图，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征 图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积 运算；

为便于第二层的时间卷积，将输出特征图进行三维转置(将第一维和第三维 度转置，此时维度从0开始)，此时输出大小为n*1*200*45；

(2)第二层

该层中包括时间卷积层和空间卷积层两部分。

a)时间卷积中，卷积核大小11*1，步长为1，输出25张特征图，公式如 下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征 图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积 运算；

b)空间卷积中，卷积核大小1*45，步长为1*1，在经过ReLU激活函数后 进入池化层，池化大小为3*1，步长为3*1，采用maxpooling，即在相邻 3个像素中选取最大值作为输出，最终输出25张特征图，公式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征 图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积 运算，max(x)表示maxpooling，f()表示ReLU激活函数，即f(x)＝max(0,x), 表示第l层的偏置；

(3)第三层

在该层中先后通过卷积核大小为1*1、步长1*1的卷积输出100张特征图、 ReLU激活函数、卷积核大小为7*1、步长1*1的卷积输出50张特征图、ReLU 激活函数后，进入池化层，仍采用maxpooling，池化大小为3*1、步长3*1。公 式如下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征 图和第l层中第j张特征图的卷积核，表示第l层中连接l层中第j张特征图 和第l+1层中第q张特征图的卷积核，M_j表示l-1层特征图的集合，M_q表示l-1 层特征图的集合，代表卷积运算，max(x)表示maxpooling，f()表示ReLU 激活函数，即f(x)＝max(0,x)，表示第l+1层的偏置；

该层的最后，将该层的原始输入25张特征图和最终输出的50张特征图进行 连接，注意在第2次卷积时，为保证拼接时特征图大小一致，增加((7-1)/2,0)的 padding。此时输出75张特征图；

(4)第四层

第四层和第三层类似，先后通过卷积核大小为1*1、步长1*1的卷积输出200 张特征图、ReLU激活函数、卷积核大小为7*1、步长1*1的卷积输出100张特 征图、ReLU激活函数后，进入池化层，仍采用maxpooling，池化大小为3*1、 步长3*1。该层的最后，同样将该层的原始输入75张特征图和最终输出的100张 特征图进行连接，注意在第2次卷积时，为保证拼接时特征图大小一致，增加((7- 1)/2,0)的padding。此时输出175张特征图；

(5)第五层

该层中卷积核大小3*1，步长为1*1，在经过ReLU激活函数后进入池化层， 池化大小为3*1，步长为3*1，采用maxpooling，最终输出4张特征图，公式如 下：

其中表示第l层的第j张特征图，表示第l层中连接l-1层中第i张特征 图和第l层中第j张特征图的卷积核，M_j表示l-1层特征图的集合，代表卷积 运算，max(x)表示maxpooling，f()表示ReLU激活函数，即f(x)＝max(0,x), 表示第l层的偏置；

(6)第六层

最后一层将上层输出展开为一维数据，标签有三类，所以输出层有三个神经 元，输出结果为输入数据属于各个类别的概率值。

注意在每一卷积层后均会进行批量正则化操作，可明显减少迭代次数。

4.训练密集连接卷积神经网络

将上述测得数据集按8：2分成训练集和测试集，再将训练集按8：2分成训 练集和验证集。在训练集上训练模型，在验证集上测试模型，当迭代训练至1000 次或准确率开始下降时，停止训练，保存模型。

5.测试密集连接卷积神经网络

(1)单人多任务(直行、左转、右转)的运动状态判别(直行、左转、右转)

使用上述所得数据集进行单人多任务的运动状态判别测试。同时用支持向量 机进行结果对比。为了同样使用原始步态动力学序列而不提取特征，支持向量机 的相关实验步骤如下：

分别对左右小腿的角速度z轴、角速度y轴和加速度z轴共六个通道数据进 行运动时相划分(支撑相和摆动相的划分)，将同步采集到的足底压力序列通过 阈值划分转成0-1序列作为分类标记，通过时相划分结果间接得到运动状态判别 结果。

依次训练两种模型，最终得到的分类结果进行对比，结果如表2。29名被试 的运动状态判别结果均验证了本发明提出的卷积神经网络模型的高准确率。

(2)对比有无特征选择步骤对分类准确率的影响

将每位被试的腰上、左右小腿上全部18个通道的数据全部作为输入，修改卷 积神经网络输入层的参数，其余层保持不变，重新训练卷积神经网络，每类(直 行、左转、右转)数据每人截取20000个数据点，对应截取成固定长度的事件100 段。结果如表2所示。

表2针对单人多任务的运动状态判别结果对比

由表2可知，基于6个输入通道的卷积神经网络在分类准确率上明显优于支 持向量机，而和基于18个输入通道的卷积神经网络在分类准确率上基本持平， 但特征选择使得后续预测部分所需惯性传感器数目更少，操作性更强。

本发明提出的基于密集连接卷积神经网络的人体运动状态判别方法具有易 采集,远距离,非接触,难伪装和非侵入性等优势,是生物特征识别、计算机视觉和 信息安全等领域的研究热点，在智能监控,人机交互,安防领域等方面有广泛的应 用前景。基于密集连接卷积神经网络的人体运动状态判别方法实现了多特征的融 合，准确率高，将其扩展用于疾病和健康监测等其他领域，均有重大意义。

以上对本发明所提供的基于密集连接卷积神经网络的运动状态判别方法进 行了详细的说明，但显然本发明的范围并不局限于此。在不脱离所附权利要求书 所限定的保护范围的情况下，对上述实施例的各种改变都在本发明的范围之内。

Claims (3)

1.基于密集连接卷积神经网络的运动状态判别方法，其特征在于包括：

步骤1.数据采集：采用足底压力分析系统和惯性传感器相结合的方式进行数据采集，所用惯性传感器中自带滤波，过滤掉信号采集时的噪声和其他无关成分；

步骤2.特征选择：对腿上和腰上的加速度和角速度信息利用决策树进行特征重要性排序，以减少所需惯性传感器和特征数目；

步骤3.构建卷积神经网络：将上一步中特征重要性排序相对靠前的左小腿(LS)、右小腿(RS)的角速度y轴、角速度z轴和加速度z轴共6个通道的动力学时间序列截成固定长度的序列作为输入，输出对应预测分类；

步骤4.训练卷积神经网络：采用平方误差函数作为损失函数计算预测值与标签的误差，不断通过反向传播与随机梯度下降算法更新网络中每一层的参数，直至准确率开始下降，或大于1000次，训练停止；

步骤5.测试卷积神经网络：输入测试数据及标签，对输出结果进行分析；

步骤6.结果比对：

(1)分别通过密集连接卷积神经网络和支持向量机实现单人多任务运动状态判别，以左小腿(LS)、右小腿(RS)的角速度y轴、角速度z轴和加速度z轴共6个通道的动力学时间序列作为输入，对比分类结果；

(2)仅改变输入层参数，用未经特征选择的左小腿、右小腿、腰上共18个通道的数据替换步骤3中的原始输入，比对两次的输出结果。

2.如权利要求1所述的基于密集连接卷积神经网络的运动状态判别方法，其特征在于：

所述步骤1中，通过足底压力分析系统得到运动对象的足底压力，进而得到地面垂直支反力曲线，可作为后续步态时相划分研究的分类标记，准确率高。采用惯性传感器(加速度计、角加速度计、磁力计)采集运动对象左小腿、右小腿及腰上的数据，作为机器学习的特征使用，实时性好，可操作性强。

3.如权利要求1所述的基于密集连接卷积神经网络的运动状态判别方法，其特征在于：

在所述步骤3中，利用步骤2得到的特征重要性排序，选择左小腿(LS)、右小腿(RS)的角速度y轴、角速度z轴和加速度z轴共6个通道的动力学时间序列截成固定长度的序列作为输入，将中间部分卷积层的输入和输出特征图连接形成下一层的输入。