CN110232412B - 一种基于多模态深度学习的人体步态预测方法 - Google Patents

Abstract

本发明提供一种基于多模态深度学习的人体步态预测方法，属于步态预测、深度学习领域。该方法基于时间卷积网络构建深度神经网络，对融合了惯性传感器、足底压力传感器和声音传感器三种模态的信息进行分析处理，实时输出步态预测结果。本发明不需要人为设计特征提取器提取步态特征，而是自动将特征学习和步态预测集为一体，可以在不同行走环境下实时预测不同人体步态行为，提高了步态预测的准确率和鲁棒性，未来可以应用于在医疗康复和军事领域中外骨骼机器人的步态预测。

Description

一种基于多模态深度学习的人体步态预测方法

技术领域

本发明涉及一种基于多模态深度学习的人体步态预测方法，属于步态预测、深度学习领域。

背景技术

随着人工智能的发展，尤其近年来深度学习的兴起，人与机器之间的智能协作成为人工智能的重要领域。外骨骼机器人是人机智能协作的一个重要代表，将人的智能和机器人的力量完美地结合在一起，未来在医疗康复和军事领域有巨大的发展潜力。外骨骼机器人通过传感器感知系统实时捕获人体运动步态，控制器产生控制信号驱动机械骨骼跟随人体运动。但是，由于数据采集、信号处理、执行机构响应等需要一定时间，导致机械骨骼运动步态滞后于人体的运动步态，从而影响穿戴者的穿戴舒适性与人机协调性。为解决此问题，外骨骼机器人需要对人体步态进行实时准确预测，使得控制系统的参考信号超前于人体的运动步态，进而实现实时跟随穿戴者的运动步态。

步态预测的本质是利用历史数据预测下一段时间的步态数据和趋势，是一种时序信号预测。而对于外骨骼机器人而言，配置的往往是穿戴式传感器，因此需要研究基于穿戴式传感器的步态预测方法。目前，大部分步态预测方法是基于图像数据的预测方法，或针对单一模态的传感器，如惯性传感器。基于图像数据的预测方法往往很难得到精确的人体步态，不适于高精度的外骨骼机器人步态控制。而现有的基于单一模态传感器的预测方法大多数需要人工提取步态特征，算法的计算效率和预测精度比较低、鲁棒性也较差。

卷积神经网络在最初常用于图像分类、目标检测等二维数据中，而近来有些研究者发现将卷积神经网络用于一维的时间序列中也可以取得不错的效果，其输入为一维时间序列，此时卷积核和池化窗口都由之前的二维变成一维。由于时间序列的先后性，时间序列预测算法在计算时只能利用历史信息，因此最近出现了时间卷积网络(TemporalConvolutional Networks，TCN)，其性能超越了深度学习目前最常用的循环神经网络(Recurrent Neural Networks，RNN)，成为一种新的能够处理时间序列数据的网络结构。

发明内容

本发明的目的是为克服现有技术中所存在的不足，提出一种基于多模态深度学习的人体步态预测方法。本发明基于时间卷积网络构建深度神经网络，对融合了惯性传感器、足底压力传感器和声音传感器三种模态的信息进行分析处理，不需要人为设计特征提取器提取步态特征，而是自动将特征学习和步态预测集为一体，可以在不同行走环境下预测人体的不同步态，提高了步态预测的准确率和鲁棒性。

本发明提出一种基于多模态深度学习的人体步态预测方法，其特征在于，包括以下步骤：

1)利用步态预测装置采集多模态数据并进行预处理，建立数据样本集，然后将数据样本集划分为训练数据集、验证数据集和测试数据集；具体步骤如下：

1-1)测试者穿戴由7个惯性传感器、12个压力传感器、2个声音传感器组成的步态预测装置；其中，7个惯性传感器分别安装在测试者的腰背、左右大腿、左右小腿和左右脚背共7个位置，用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据；12个压力传感器采用鞋垫方式进行布局，左右脚底各1个鞋垫，每个鞋垫包含6个压力传感器数据采集点，用于采集12个数据点的足底压力数据；声音传感器穿戴在脚背上，左右脚背各1个，用于采集人体行走的足底声音；

1-2)令测试者穿戴步态预测装置在5种行走环境下分别进行5种人体步态行为，所述行走环境包括：瓷砖地、水泥地、柏油地、沙土地、草地，所述步态行为包括：平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯；其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，共得到17种环境步态组合；其中，单个环境步态组合的时长为10-60分钟；

1-3)在每种环境步态组合下，分别获取由惯性传感器采集得到的7组3维加速度、3维角速度、3维角度、3维磁场共84维数据，由压力传感器采集的12维足底压力数据和由声音传感器采集的2维行走声音数据，各传感器的采样频率为20-100Hz，单个采样时刻的所有数据组成1×98的原始数据样本，

i＝1,2,…,17，j＝1,2,3,…，

为第i种环境步态组合下的第j个原始数据样本

中的第k维原始数据，k＝1,2，…，98，其中98维数据的排列顺序依次为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音；单个环境步态组合采样得到的所有原始数据样本

构成的集合为

17种环境步态组合对应的所有

形成原始数据样本集合

X^Raw的数据样本总大小为N；

1-4)对X^Raw中的所有原始数据样本进行滤波、归一化预处理；滤波方法选择卡尔曼滤波方法，单个原始数据样本

中的每一维数据

k＝1,2,…,98的归一化方法如下：

式中：

为第i种步态环境组合下的第j个原始数据样本的第k维原始数据归一化后的数据，

为第i种步态环境组合下的第j个原始数据样本的第k维原始数据，

为所有第k维原始数据的最大值，

为所有第k维原始数据的最小值，

表示所有第k维原始数据的均值；

对所有原始数据样本预处理完毕后，得到数据样本集X^Norm；

1-5)将X^Norm按设定比例分别划分为训练数据集X_Train、验证数据集X_Validate和测试数据集X_Test；其中，训练数据集X_Train的比例不低于75％，验证数据集的比例不低于5％，测试数据集的比例不低于5％；

2)构建基于时间卷积网络的深度神经网络；具体步骤如下：

2-1)确定深度神经网络结构；

采用时间卷积网络构建深度神经网络，所述深度神经网络分为过渡时刻预测网络和目标时刻预测网络两部分；

令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为深度神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

所述过渡时刻预测网络的输入数据为t₁时刻到t₂时刻的数据样本x(t₁)…x(t₂)，输出预测数据为t₃时刻到t₄时刻的数据样本预测值

目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测数据为t₅时刻的预测值

令t₂＝t₁+7T_sample，t₃＝t₂+T_sample，t₄＝t₃+T_sample，t₅＝t₄+T_sample，T_sample为数据采样间隔，即过渡时刻预测网络输入8个采样时刻数据序列x(t₁)…x(t₂)，预测输出2个采样时刻的数据

目标时刻预测网络输入8个采样时刻数据序列x′(t₁)…x′(t₂)和2个采样时刻的过渡时刻预测数据

预测输出1个采样时刻的数据

2-2)确定深度神经网络的损失函数；

深度神经网络的损失函数L为：

式中，L_y和L_z分别表示过渡时刻预测网络和目标时刻预测网络的损失函数，

和y分别表示过渡时刻预测网络输出的预测值和标签值，

和z分别表示目标时刻预测网络输出的预测值和标签值，w_y和w_z分别为L_y和L_z权系数，L_y和L_z选择L₁损失函数或L₂损失函数中的任意一种：

式中，N_B表示批处理样本数，取值范围为{32,64,128,256}，

为网络输出的预测值，u为网络输出的标签值，j表示网络第j个输出值的编号；

2-3)确定深度神经网络的参数和结构超参数；

过渡时刻预测网络参数包含卷积层的权重W_yc和偏置B_yc，全联接层的权重W_yf和偏置B_yf；

目标时刻预测网络参数包含卷积层的权重W_zc和偏置B_zc，全联接层的权重W_zf和偏置B_zf；

深度神经网络的结构超参数，包括Block数、通道数、节点数、卷积核长度、空洞系数、Dropout系数；

其中，Block数的取值范围为[5,10]范围的整数，通道数的取值为[30,200]范围的整数，节点数的取值为[50,500]内的整数，卷积核长度的取值为3或5，空洞系数的取值为1或2，Dropout的取值范围为[0,1]；

3)训练步骤2)构建的深度神经网络，得到训练完毕的深度神经网络及对应的最优参数；具体步骤如下：

3-1)训练深度神经网络；

确定深度神经网络的训练参数，包括：训练回合数N_Epochs和学习速率α；其中，将训练数据集的全部数据样本训练一轮为一个回合，训练回合数N_Epochs的取值范围为N_Epochs≥100、学习速率α取值范围为[0,1]；

采用随机方法初始化深度神经网络的参数W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf，利用训练数据集X_Train对深度神经网络参数进行训练，并采用标准的随机梯度下降方法对W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf进行参数更新；每间隔N_V个训练回合数，利用验证数据集X_Validate对深度神经网络进行一次验证，并自动保存对于验证集数据集X_Validate误差最小的网络参数作为当前网络参数；

如果验证数据集误差不再下降或者训练次数达到了指定的次数N_Epochs，则结束训练，进入步骤3-2)；

3-2)利用测试数据集X_Test对训练结束的深度神经网络进行测试，评估最优的深度神经网络参数；

评估的标准为平均误差值p，计算表达式为：

式中，N_Test为测试数据集样本个数，

和z_i分别表示目标时刻预测网络输出的第i个预测值和标签值；

如果评估的平均误差值p<3％，则结束评估，保存当前网络参数为深度神经网络的最优参数W_yc*、B_yc*、W_yf*、B_yf*、W_zc*、B_zc*、W_zf*、B_zf*，进入步骤4)；如果评估的平均误差值p≥3％，则返回步骤3-1)，重新训练深度神经网络；

4)利用训练完毕的深度神经网络进行人体步态预测；具体步骤如下：

4-1)选取一个新的测试者，重复步骤1-1)，穿戴步态预测装置；

4-2)从步骤1-2)的5种行走环境中任意选择1种行走环境，并从步骤1-2)的5种人体步态行为中任意选取1种人体步态行为，其中上下楼梯只在瓷砖地行走环境下采集，上下斜坡只在柏油地行走环境下采集，重复步骤1-3)，测试者穿戴步态预测装置实时采集该环境步态组合下的原始数据样本，单次采样的所有数据排列组成1×98的1个原始数据样本

为原始数据样本

中的第k维原始数据，k＝1,2，...，98；

4-3)重复步骤1-4)，对

进行预处理，得到预处理完毕的数据样本记为

4-4)将

对应采样时刻的前7个采样时刻的数据样本及

组成新的t₁时刻到t₂时刻的深度神经网络输入数据，将该输入数据输入到步骤3)训练好的深度神经网络中，网络实时输出测试者第t₅时刻的步态预测结果

为步态预测结果数据

中的第k维原始数据，k＝1,2，...，98。

本发明的特点及有益效果在于：

1、本发明的一种基于多模态深度学习的人体步态预测方法，对融合了惯性传感器、足底压力传感器和声音传感器三种模态的信息进行处理，可以在不同行走环境下实时预测不同人体步态行为的3维加速度、3维角速度、3维角度、3维磁场、12维足底压力和2维行走声音。

2、本发明的一种基于多模态深度学习的人体步态预测方法，采用时间卷积网络构建深度神经网络进行步态预测，不需要人为设计特征提取器提取步态特征，而是自动将特征学习和步态预测集为一体，提高了人体步态预测的准确率和鲁棒性。

3、本发明的一种基于多模态深度学习的人体步态预测方法，适用于大部分不同人体的步态预测，未来可以应用于在医疗康复和军事领域中外骨骼机器人的步态预测。

附图说明

图1为本发明方法的传感器穿戴示意图。

图2为本发明方法的基于TCN的深度神经网络结构图。

图3为本发明方法的TCN深度神经网络的Block图。

图中，1-7为惯性传感器，8-9为声音传感器，10-11为鞋垫式足底压力传感器。

具体实施方式

本发明提出一种基于多模态深度学习的人体步态预测方法，下面结合附图和具体实施例进一步详细说明如下。

本发明提出一种基于多模态深度学习的人体步态预测方法，包括以下步骤：

1)利用步态预测装置采集多模态数据进行预处理，建立数据样本集，然后将数据样本集划分为训练数据集、验证数据集和测试数据集；具体步骤如下：

1-1)测试者穿戴由7个惯性传感器、12个压力传感器、2个声音传感器组成的步态预测装置。选择1个测试者穿戴步态预测装置，穿戴效果如图1所示：其中，7个惯性传感器分别安装在测试者的腰背、左右大腿、左右小腿和左右脚背共7个位置，用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据；12个压力传感器采用鞋垫方式进行布局，左右脚底各1个鞋垫，每个鞋垫包含6个压力传感器数据采集点，用于采集12个数据点的足底压力数据；声音传感器穿戴在脚背上，左右脚背各1个，用于采集人体行走的足底声音。

1-2)采集原始数据样本。令测试者穿戴步态预测装置在5种行走环境下(如瓷砖地、水泥地、柏油地、沙土地、草地)分别进行5种人体步态行为(如平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯)；其中上下楼梯只在瓷砖地行走环境下采集，上下斜坡只在柏油地行走环境下采集，共得到17种环境步态组合，其中，单个环境步态组合的时长为10-60分钟；

1-3)在每种环境步态组合下，分别获取由惯性传感器采集得到的7组3维加速度、3维角速度、3维角度、3维磁场共84维数据，由压力传感器采集的12维足底压力数据和由声音传感器采集的2维行走声音数据；各传感器的采样频率为20-100Hz，单个采样时刻的所有数据组成1×98的原始数据样本

i＝1,2,...,17，j＝1,2,3,…，

为第i种环境步态组合下的第j个原始数据样本中的第k维原始数据，k＝1,2，...，98，其中98排列顺序依次为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音，共98维。单个环境步态组合的采样时长为10-60分钟，单个环境步态组合采样得到的所有原始数据样本

构成的集合为

17种环境步态组合对应的所有

形成原始数据样本集合

X^Raw的数据样本总大小为N。

本实施例中，各传感器的采样频率为20Hz，单个环境步态组合的采样时长为20分钟。

1-4)数据预处理。对X^Raw中的所有原始数据样本进行滤波、归一化预处理，缩放到神经网络中常用的数值范围[-1,1]范围之间，以消除由于数据大小范围不一致带来的学习困难。滤波方法选择标准的卡尔曼滤波方法，单个原始数据样本

中的每一维数据

k＝1,2,...,98的归一化方法采用如下计算公式：

式中：

为第i种步态环境组合下的第j个原始数据样本的第k维原始数据归一化后的数据，

为第i种步态环境组合下的第j个原始数据样本的第k维原始数据，

为采集的对应传感器对应维所有原始数据中的最大值，

为采集的对应传感器对应维所有原始数据中的最小值，

表示采集的对应传感器对应维所有原始数据的均值。

对所有原始数据样本预处理完毕后，得到数据样本集X^Norm；

1-5)将X^Norm按一定比例划分为训练数据集X_Train、验证数据集X_Validate和测试数据集X_Test。其中，训练数据集用于训练深度神经网络模型，验证数据集用于反映训练过程中的效果，但不参与深度神经网络的训练，而测试数据集是在训练结束以后评估训练好的深度神经网络效果。训练数据集X_Train的比例不低于75％，验证数据集的比例不低于5％，测试数据集的比例不低于5％。

本实施例中，将数据样本集X^Norm中的前80％作为训练数据集X_Train，再在剩余的数据样本中选取前10％的数据样本组成验证数据集X_Validate，最后剩下的10％数据样本作为测试数据集X_Test。

2)构建基于时间卷积网络的深度神经网络，具体步骤包括：

2-1)确定深度神经网络结构。

由于在利用卷积神经网络进行步态预测时，一般采用滑动窗口的形式来提取过去时间信息，从而保持网络输入大小一致，而步态预测时一般要求预测的值是一段时间以后的步态数值，因此，令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为深度神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

本发明采用时间卷积网络构建深度神经网络，网络结构分为过渡时刻预测网络和目标时刻预测网络两部分，结构如图2所示，其中，(a)为过渡时刻预测网络，(b)为目标时刻预测网络。过渡时刻预测网络的输入数据为x(t₁)…x(t₂)，输出预测数据为

其中

的数据维数可以与x(t₁)…x(t₂)的维数相同，也可以不相同；目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测数据为

其中，x′(t₁)…x′(t₂)的传感器数据类型与数据维数与

的数据类型与维数相同，

的数据类型与维数可以与x′(t₁)…x′(t₂)和

的数据类型与维数相同，也可以不相同。在步态预测时，一般方法都是直接通过x(t₁)…x(t₂)预测

而本发明加入了过渡过程

这样可以使得网络学习到更多的变化趋势，降低个别时刻的随机误差带来的预测不准确，提升预测效果。

所述深度神经网络中的Block采用残差结构，按照顺序执行空洞因果卷积、权重归一化、ReLU、Dropout操作，然后再按顺序重复执行一次，具体操作流程如图3所示。TCN的Block结构中的1×1卷积是可选模块，当残差输入和输出维度不同时，执行卷积操作；当残差输入和输出维度相同时，不需要执行卷积操作，用单位矩阵替代即可，这种残差结构可以有效地减少信息在卷积网络中的丢失，更便于程序扩展。

所述的空洞因果卷积操作F作用在第s个输出神经元的计算公式为：

式中：x为输入层序列x(t₁)…x(t₂)，x_s-d*i为输入层序列中对应第s-d*i个输入，f为卷积核，d为空洞系数，k是卷积核长度。

所述的ReLU(Rectified Linear Unit)函数，其计算公式为：

f(u)＝max(0,u)

u为ReLU函数的输入，当u>0时，函数导数为1；当u<0时，函数导数为0，这样使得函数具有非线性。

所述Dropout操作是随机舍弃输入中部分神经元的激活值，以避免过拟合，提高卷积神经网络的泛化能力。Dropout的取值范围为[0,1]。

所述的权重归一化操作是通过一个向量参数v和一个标量参数g对神经网络的每个权重向量w进行重新参数化，并对新引入的参数进行随机梯度下降，以加快优化过程的收敛速度。权重向量w可以表示为：

式中，v是k维向量，g是标量，||·||表示欧几里得范数，这种重新参数化具有固定权重参数w的欧几里得范数的效果，使得w＝g，而与参数v无关。

本实施例中，令t₂＝t₁+7T_sample，t₃＝t₂+T_sample，t₄＝t₃+T_sample，t₅＝t₄+T_sample，T_sample为数据采样间隔，即过渡时刻预测网络输入8个采样时刻数据序列x(t₁)…x(t₂)，预测输出2个采样时刻的数据

过渡时刻预测输出

与x(t₁)…x(t₂)的数据维数一致；目标时刻预测网络输入8个采样时刻数据序列x′(t₁)…x′(t₂)和2个采样时刻的过渡时刻预测数据

预测输出1个采样时刻的数据

其中，x′(t₁)…x′(t₂)的数据与x(t₁)…x(t₂)的数据相同。

2-2)确定深度神经网络的损失函数。损失函数用来衡量深度神经网络模型的拟合效果，通过求得各个参数的偏导数进行梯度的反向传递，以对神经网络参数进行优化。深度神经网络的损失函数L为：

式中，L_y和L_z分别表示过渡时刻预测网络和目标时刻预测网络的损失函数，

和y分别表示过渡时刻预测网络输出的预测值和标签值，

和z分别表示目标时刻预测网络输出的预测值和标签值，w_y和w_z分别为L_y和L_z权系数。L_y和L_z可以选择L₁损失函数或L₂损失函数中的任意一种：

式中，N_B表示批处理样本数，取值范围为{32,64,128,256}，

为网络输出的预测值，u为网络输出的标签值，j表示网络第j个输出值的编号。

本实施例选择N_B＝64，w_y＝0.5，w_z＝0.5，以及L_y和L_z都选择L₁损失函数。

2-3)确定深度神经网络的参数和结构超参数。过渡时刻预测网络需要优化的参数包含卷积层的权重W_yc和偏置B_yc，全联接层的权重W_yf和偏置B_yf；目标时刻预测网络需要优化的参数包含卷积层的权重W_zc和偏置B_zc，全联接层的权重W_zf和偏置B_zf。深度神经网络需要确定的结构超参数，包括Block数、通道数、节点数、卷积核长度、空洞系数、Dropout系数。其中，Block数的取值范围为[5,10]范围的整数，通道数的取值为[30,200]范围的整数，节点数的取值为[50,500]内的整数，卷积核长度的取值为3或5，空洞系数的取值为1或2，Dropout的取值范围为[0,1]。

本实施例中，深度神经网络的结构超参数如表1所示。

表1深度神经网络的结构超参数

Block*6表示6个Block串联，作为特征提取网络；通道数或节点数，对于Block则为Block中空洞因果卷积层的通道数，对于全联接层则为神经元输出节点数。

3)训练步骤2)构建的深度神经网络，得到训练完毕的深度神经网络及对应的最优参数。具体步骤如下：

3-1)训练深度神经网络。确定深度神经网络的训练参数，包括：训练回合数N_Epochs和学习速率α。其中，将训练数据集的全部数据样本训练一轮为一个回合，训练回合数N_Epochs的取值范围为N_Epochs≥100、学习速率α取值范围为[0,1]。采用随机方法初始化深度神经网络的参数W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf，利用训练数据集X_Train对深度神经网络参数进行训练，并采用标准的随机梯度下降方法对W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf进行参数更新。每间隔N_V个训练回合数，利用验证数据集X_Validate对深度神经网络进行一次验证，并自动保存对于验证集数据集X_Validate误差最小的网络参数作为当前网络参数。如果验证数据集误差不再下降或者训练次数达到了指定的次数N_Epochs，则结束训练，进入步骤3-2)。

本实施例中，取N_Epochs＝200，N_V＝1，初始学习速率α＝1e-3，当N_Epochs＝60回合时，学习速率变为α＝2e-4。

3-2)训练结束以后，利用测试数据集X_Test对训练结束的深度神经网络进行测试，评估出最优的深度神经网络参数。评估的标准为平均误差值p，计算公式为：

式中，N_Test为测试数据集样本个数，

和z_i分别表示目标时刻预测网络输出的第i个预测值和标签值(也即步态的预测值和标签值)。

如果评估的平均误差值p<3％，则结束评估，保存当前网络参数为深度神经网络的最优参数W_yc*、B_yc*、W_yf*、B_yf*、W_zc*、B_zc*、W_zf*、B_zf*，进入步骤4)；如果评估的平均误差值p≥3％，则返回步骤3-1)，重新训练深度神经网络。

4)利用训练完毕的深度神经网络进行人体步态预测，具体步骤包括：

4-1)选取一个新的测试者，重复步骤1-1)，穿戴步态预测装置。

4-2)任意选择1种行走环境下(如瓷砖地、水泥地、柏油地、沙土地、草地)1种人体步态行为(如平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯)，其中上下楼梯只在瓷砖地行走环境下采集，上下斜坡只在柏油地行走环境下采集。重复步骤1-3)，测试者穿戴步态预测装置实时采集该环境步态组合下的原始数据样本，包括由惯性传感器采集得到的7组3维加速度、3维角速度、3维角度、3维磁场共84维数据，由压力传感器采集的12维足底压力数据和由声音传感器采集的2维行走声音数据。各传感器的采样频率为20-100Hz，单次采样的所有数据排列组成1×98的1个原始数据样本

为原始数据样本

中的第k维原始数据，k＝1,2，...，98，排列顺序分别为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音，共98维。将此时的采样时刻记为新的t₁时刻到t₂时刻。

4-3)重复步骤1-4)，对多模态数据

进行预处理，得到预处理完毕的数据样本记为

本实施例中，选择瓷砖地行走环境的平地慢走，各传感器的采样频率为20Hz。

4-4)将

对应采样时刻的前7个采样时刻的数据样本及

组成新的t₁时刻到t₂时刻的深度神经网络输入数据，将该输入数据输入到步骤3)训练好的深度神经网络中，网络实时输出测试者第t₅时刻的步态预测结果

为步态预测结果数据

中的第k维原始数据，k＝1,2，…，98，对应为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音的预测数据。

本发明的一种基于多模态深度学习的人体步态预测方法，输出的步态预测结果可以直接传输给外骨骼机器人或其它系统，用于步态的闭环控制使用。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种基于多模态深度学习的人体步态预测方法，其特征在于，包括以下步骤：

1)利用步态预测装置采集多模态数据并进行预处理，建立数据样本集，然后将数据样本集划分为训练数据集、验证数据集和测试数据集；具体步骤如下：

1-1)测试者穿戴由7个惯性传感器、12个压力传感器、2个声音传感器组成的步态预测装置；其中，7个惯性传感器分别安装在测试者的腰背、左右大腿、左右小腿和左右脚背共7个位置，用于采集人体下肢不同部位的3维加速度、3维角速度、3维角度、3维磁场数据；12个压力传感器采用鞋垫方式进行布局，左右脚底各1个鞋垫，每个鞋垫包含6个压力传感器数据采集点，用于采集12个数据点的足底压力数据；声音传感器穿戴在脚背上，左右脚背各1个，用于采集人体行走的足底声音；

1-2)令测试者穿戴步态预测装置在5种行走环境下分别进行5种人体步态行为，所述行走环境包括：瓷砖地、水泥地、柏油地、沙土地、草地，所述步态行为包括：平地慢走、平地快走、上下楼梯、上下斜坡、左右转弯；其中上下楼梯只在瓷砖地行走环境下进行，上下斜坡只在柏油地行走环境下进行，共得到17种环境步态组合；其中，单个环境步态组合的时长为10-60分钟；

1-3)在每种环境步态组合下，分别获取由惯性传感器采集得到的7组3维加速度、3维角速度、3维角度、3维磁场共84维数据，由压力传感器采集的12维足底压力数据和由声音传感器采集的2维行走声音数据，各传感器的采样频率为20-100Hz，单个采样时刻的所有数据组成1×98的原始数据样本，

为第i种环境步态组合下的第j个原始数据样本

中的第k维原始数据，k＝1,2，...，98，其中98维数据的排列顺序依次为21维加速度、21维角速度、21维角度、21维磁场、12维压力、2维声音；单个环境步态组合采样得到的所有原始数据样本

构成的集合为

17种环境步态组合对应的所有

形成原始数据样本集合

X^Raw的数据样本总大小为N；

1-4)对X^Raw中的所有原始数据样本进行滤波、归一化预处理；滤波方法选择卡尔曼滤波方法，单个原始数据样本

中的每一维数据

的归一化方法如下：

式中：

为第i种步态环境组合下的第j个原始数据样本的第k维原始数据归一化后的数据，

为第i种步态环境组合下的第j个原始数据样本的第k维原始数据，

为所有第k维原始数据的最大值，

为所有第k维原始数据的最小值，

表示所有第k维原始数据的均值；

对所有原始数据样本预处理完毕后，得到数据样本集X^Norm；

1-5)将X^Norm按设定比例分别划分为训练数据集X_Train、验证数据集X_Validate和测试数据集X_Test；其中，训练数据集X_Train的比例不低于75％，验证数据集的比例不低于5％，测试数据集的比例不低于5％；

2)构建基于时间卷积网络的深度神经网络；具体步骤如下：

2-1)确定深度神经网络结构；

采用时间卷积网络构建深度神经网络，所述深度神经网络分为过渡时刻预测网络和目标时刻预测网络两部分；

令时间0＜t₁＜t₂＜t₃＜t₄＜t₅，在数据样本集X^Norm中，选取t₁时刻到t₂时刻的数据样本作为深度神经网络的输入数据x(t₁)…x(t₂)，t₃时刻到t₄时刻的数据样本创建为过渡时刻样本标签y(t₃)…y(t₄)，t₅时刻的数据样本创建为目标时刻样本标签z(t₅)；

所述过渡时刻预测网络的输入数据为t₁时刻到t₂时刻的数据样本x(t₁)…x(t₂)，输出预测数据为t₃时刻到t₄时刻的数据样本预测值

目标时刻预测网络将x(t₁)…x(t₂)的全部或部分数据x′(t₁)…x′(t₂)和

同时作为输入，输出预测数据为t₅时刻的预测值

令t₂＝t₁+7T_sample，t₃＝t₂+T_sample，t₄＝t₃+T_sample，t₅＝t₄+T_sample，T_sample为数据采样间隔，即过渡时刻预测网络输入8个采样时刻数据序列x(t₁)…x(t₂)，预测输出2个采样时刻的数据

目标时刻预测网络输入8个采样时刻数据序列x′(t₁)…x′(t₂)和2个采样时刻的过渡时刻预测数据

预测输出1个采样时刻的数据

2-2)确定深度神经网络的损失函数；

深度神经网络的损失函数L为：

式中，L_y和L_z分别表示过渡时刻预测网络和目标时刻预测网络的损失函数，

和y分别表示过渡时刻预测网络输出的预测值和标签值，

和z分别表示目标时刻预测网络输出的预测值和标签值，w_y和w_z分别为L_y和L_z权系数，L_y和L_z选择L₁损失函数或L₂损失函数中的任意一种：

式中，N_B表示批处理样本数，取值范围为{32,64,128,256}，

为网络输出的预测值，u为网络输出的标签值，j表示网络第j个输出值的编号；

2-3)确定深度神经网络的参数和结构超参数；

过渡时刻预测网络参数包含卷积层的权重W_yc和偏置B_yc，全联接层的权重W_yf和偏置B_yf；

目标时刻预测网络参数包含卷积层的权重W_zc和偏置B_zc，全联接层的权重W_zf和偏置B_zf；

深度神经网络的结构超参数，包括Block数、通道数、节点数、卷积核长度、空洞系数、Dropout系数；

其中，Block数的取值范围为[5,10]范围的整数，通道数的取值为[30,200]范围的整数，节点数的取值为[50,500]内的整数，卷积核长度的取值为3或5，空洞系数的取值为1或2，Dropout的取值范围为[0,1]；

3)训练步骤2)构建的深度神经网络，得到训练完毕的深度神经网络及对应的最优参数；具体步骤如下：

3-1)训练深度神经网络；

确定深度神经网络的训练参数，包括：训练回合数N_Epochs和学习速率α；其中，将训练数据集的全部数据样本训练一轮为一个回合，训练回合数N_Epochs的取值范围为N_Epochs≥100、学习速率α取值范围为[0,1]；

采用随机方法初始化深度神经网络的参数W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf，利用训练数据集X_Train对深度神经网络参数进行训练，并采用标准的随机梯度下降方法对W_yc、B_yc、W_yf、B_yf、W_zc、B_zc、W_zf、B_zf进行参数更新；每间隔N_V个训练回合数，利用验证数据集X_Validate对深度神经网络进行一次验证，并自动保存对于验证集数据集X_Validate误差最小的网络参数作为当前网络参数；

如果验证数据集误差不再下降或者训练次数达到了指定的次数N_Epochs，则结束训练，进入步骤3-2)；

3-2)利用测试数据集X_Test对训练结束的深度神经网络进行测试，评估最优的深度神经网络参数；

评估的标准为平均误差值p，计算表达式为：

式中，N_Test为测试数据集样本个数，

和z_i分别表示目标时刻预测网络输出的第i个预测值和标签值；

如果评估的平均误差值p<3％，则结束评估，保存当前网络参数为深度神经网络的最优参数W_yc*、B_yc*、W_yf*、B_yf*、W_zc*、B_zc*、W_zf*、B_zf*，进入步骤4)；如果评估的平均误差值p≥3％，则返回步骤3-1)，重新训练深度神经网络；

4)利用训练完毕的深度神经网络进行人体步态预测；具体步骤如下：

4-1)选取一个新的测试者，重复步骤1-1)，穿戴步态预测装置；

4-2)从步骤1-2)的5种行走环境中任意选择1种行走环境，并从步骤1-2)的5种人体步态行为中任意选取1种人体步态行为，其中上下楼梯只在瓷砖地行走环境下采集，上下斜坡只在柏油地行走环境下采集，重复步骤1-3)，测试者穿戴步态预测装置实时采集该环境步态组合下的原始数据样本，单次采样的所有数据排列组成1×98的1个原始数据样本

为原始数据样本

中的第k维原始数据，k＝1,2，...，98；

4-3)重复步骤1-4)，对

进行预处理，得到预处理完毕的数据样本记为

4-4)将

对应采样时刻的前7个采样时刻的数据样本及

组成新的t₁时刻到t₂时刻的深度神经网络输入数据，将该输入数据输入到步骤3)训练好的深度神经网络中，网络实时输出测试者第t₅时刻的步态预测结果

为步态预测结果数据

中的第k维原始数据，k＝1,2，...，98。

Images