CN113977557B - 一种基于运动想象时频空特征的外骨骼机器人控制方法 - Google Patents

Abstract

本发明公开了一种基于运动想象时频空特征的外骨骼机器人控制方法。该方法可将使用者的主动运动意图作为外骨骼的运动指令。本发明提取MI信号在不同通道的多个频带在时间窗口的功率特征，先利用两层全连接层获取多个通道在空间上和频率上的功率关系，然后把不同时间的全连接层输出结果输入BI LSTM中提取时间上的变化特征，训练出基础模型。然后把模型部署在服务器上，每次使用运动想象模型控制外骨骼之前，进行一小段时间的在线训练，提高模型对不同时间段的脑电信号的特征的分类能力。最后使用运动想象左右手的分类结果，控制下肢外骨骼分别做出左腿迈出右腿跟进，或者右腿迈出左腿跟进的动作。

Description

一种基于运动想象时频空特征的外骨骼机器人控制方法

技术领域

本发明属于脑机接口与工程器械领域，具体涉及了一种运动想象时频空特征的在线Bi LSTM运动想象模型的外骨骼控制方法。

背景技术

从20世纪90年代开始，随着机器人和计算机技术的发展，美国、日本、中国等多个国家相继开展了外骨骼机器人及其相关技术的研究，早期的研究主要集中于军事方面。随着需求的逐步增长，外骨骼机器人逐渐成为辅助型机器人研究的一个重要方向，越来越多的科研院所和企业纷纷投入到医用外骨骼机器人的研究中。此外，外骨骼机器人是运动障碍训练的重要技术手段和方法。在外骨骼控制方式中，脑电控制是比较先进的技术，不仅控制外骨骼带动使用者运动，并且进一步能够锻炼使用者的脑神经。

但是，目前的脑机接口中使用运动想象控制外骨骼，通常使用的是传统的CSP方法在已有的数据中进行训练出模型，模型被固定在已经采集的数据上，能够分辨出不同的想象任务，但是由于脑电信号的不稳定性，在不同的时间里面采集的数据的特征不尽相同，导致以前数据训练的模型不能准确识别使用者想象的动作，使得外骨骼控制的难度增大。在线深度学习指的是在使用过程中，一直采集脑电信号，提取特征，然后实时的学习新的特征，更新分类模型，模型能够适应不同时段的脑电信号。其可有效地降低系统的假阳性率，并增加系统可识别的任务数量。

发明内容

本发明的目的是针对现存方案存在的不足和改善需要，提出一种基于在线深度学习模型的运动想象(MI)脑机接口，并应用到下肢外骨骼的控制中，可将使用者的主动运动意图作为外骨骼的运动指令。本发明提取MI信号在不同通道的多个频带在时间窗口的功率特征，先利用两层全连接层获取多个通道在空间上和频率上的功率关系，然后把不同时间的全连接层输出结果输入BI LSTM中提取时间上的变化特征，训练出基础模型。然后把模型部署在服务器上，每次使用运动想象模型控制外骨骼之前，进行一小段时间的在线训练，提高模型对不同时间段的脑电信号的特征的分类能力。最后使用运动想象左右手的分类结果，控制下肢外骨骼分别做出左腿迈出右腿跟进，或者右腿迈出左腿跟进的动作。这样两个交叉的动作，不仅可以达到下肢不便的使用者主动实现运动意图，而且可以自然地在外骨骼辅助下进行行走。

该基于运动想象时频空特征的外骨骼机器人控制方法，的具体步骤如下：

步骤1、在一个或多个被试进行不同运动想象时进行EEG信号采集，得到带有运动想象类型标签的EEG数据集。

步骤2、对步骤1所得的EEG数据集进行预处理。

步骤3、能量特征提取

提取每个通道不同频率在时间轴上的能量特征，将其减去所有时间段的平均值后再除以平均值，得到EEG数据集各通道不同频率段时间轴上更新的能量特征。

步骤4、构建深度神经网络

深度神经网络包括依次连接的两个全连接层、Bi LSTM层和输出层。两个全连接层学习各个通道和频率之间的表层关系；Bi LSTM层用于学习脑电信号的能量特征在时间轴上的深层特征。Bi LSTM层由两个双层叠加的LSTM层组成，其中一个双层LSTM按时间正序输入，另一个双层LSTM按时间逆序输入；输出由这两个双层LSTM的隐藏层的状态决定。

步骤5、利用深度神经网络识别外骨骼机器人使用者的脑电信号，将其转为运动想象指令，用以控制外骨骼机器人运动。

作为优选，步骤1中，被试的运动想象包括三种，分别为静止、左手抓握运动和右手抓握运动。

作为优选，步骤1中，EEG信号采集的采样通道数为32个，采样率为128Hz，单次采样时长为10s；单次采样时长中，0～6秒为放松状态，6-10秒为运动想象状态。

作为优选，步骤2中的预处理的过程为：提取C3、CZ、C4脑电通道中任务前0.5秒到任务后4秒的部分，以及放松时间中的4.5秒部分；设置1-36Hz带通滤波，滤波类型为fir滤波器。

作为优选，步骤3中对单通道数据f(t)进行能量特征提取的具体过程如下：

3-1.通过Mallat小波分析算法，分解EEG信号f(t)到不同的频率波段：

A₀[f(t)]＝f(t)

A_j[f(t)]为信号f(t)在第j层低频部分小波系数，D_j[f(t)]为信号f(t)在第j层高频部分小波系数。j＝1,2,...J；J＝log₂N；N为采样率。H(·)，G(·)为时域中小波分解滤波器；t为采样点序数，其范围为t＝1,2,3...,N。A₀[f(t)]为初始小波系数。

用Mallat重构算法进行重构，重构算法表述为：

3-2.计算能量特征。

计算能量

对执行运动想象任务的过程中采集的数据截取信号；截取的时间窗口宽度为0.4s，滑动距离为0.1s。得到数据大小为：(n-epoch，n-channel，n-freq，n-times)；考虑到深度学习模型的时间维度的输入，降维为(n-epoch，n-times，n-channel*n-freq)；其中，n-epoch为想象任务次数；n-times为时间窗口数；n-channel为通道数；n-freq为频带数。

作为优选，所述的采样率为128，提取的频率范围分别为8-14Hz、18-22Hz两个频带。

作为优选，在深度神经网络中，输出层先把分类向量维度计算到长度为2，然后使用sigmoid函数把两个值映射到(0,1)区间，结果大的那个就是分类的结果。sigmoid函数的输出

x为Bi LSTM层输出的深层特征。

作为优选，步骤4中，Bi LSTM层的输出值y_t的表达式如下：

其中，x_t为当前的输入值；h_t-1为上一个时间节点的双层LSTM的输出；c_t-1为时间轴上的累计记忆内容作为输出的一个参数；b_t-1为双层LSTM上一个时间节点输出的偏置参数；w_y为Bi LSTM层输出的权重参数；b_y为Bi LSTM层输出的偏置参数；

代表的是时间轴方向的正逆；Hid(·)为LSTM操作函数。

作为优选，LSTM操作函数Hid(·)的工作步骤如下：

①.利用sigmoid层的参数f_t为一个0到1的数，其表达式如下：

f_t＝σ(w_f·[h_t-1,x_t]+b_f)

其中，σ(·)为sigmoid函数；w_f为遗忘门的权重参数；b_f为遗忘门的偏置参数。

②.计算临时向量

及其权重参数i_t如下：

i_t＝σ(w_i·[h_t-1,x_t]+b_i)

其中，w_i为更新门的权重参数；b_i为更新门的偏置参数；w_c为记忆门的权重参数；b_c为记忆门的偏置参数。

③.从上一时间节点的记忆信息c_t-1更新到这一时间节点的记忆信息c_t如下：

④.计算LSTM操作函数的输出权重o_t和LSTM操作函数的输出值h_t。

o_t＝σ(w_o·[h_t-1,x_t]+b_o)

h_t＝o_t tanh(c_t)

其中，w_o为输出门的权重参数；b_o为输出门的偏置参数。

作为优选，步骤1中的运动想象共有三种类型，分别为放松、左手运动、右手运动，该三种运动想象类型分别对应外骨骼机器人的静止、左腿迈出后右腿跟进、右腿迈出后左腿跟进。

本发明的有益效果是：

本发明用于外骨骼的控制中，可将使用者的主动运动意图与外骨骼的运行状态相融合，提供一种简便的主动控制方式。此外，本发明学习的是脑电信号能量特征在时间上的变化(即ERDS现象)，能够很好的区分运动想象任务，并且利用深度学习的在线学习方式进行模型的更新，以便于适应脑电的不稳定性，达到更高的分类准确率，一定程度上解决了现存模型不能跨时间的问题。

附图说明

图1为本发明的工作流程图；

图2为离线EEG信号采集过程图；

图3为深度学习网络示意图；

图4为下肢外骨骼控制流程图；

图5为下肢外骨骼的动作过程图。

具体实施方式

下面结合附图，对本发明方法做详细描述。

如图1所示，一种基于能量特征的在线Bi LSTM运动想象模型的外骨骼控制方案，其工作流程，具体如下：

步骤1、EEG信号采集

如图2所示，使用者跟随设定好的运动想象任务提示进行运动想象，系统通过脑电采集设备以对EEG原始信号进行采集，然后加入任务信息，组成基础模型的训练数据。脑电采集设备的电极分布为国际10-20导联标准，共Cz，Fz，Fp1，F7，F3，FC1，C3，FC5，FT9，T7，CP5，CP1，P3，P7，PO9，O1，Pz，Oz，O2，PO10，P8，P4，CP2，CP6，T8，FT10，FC6，C4，FC2，F4，F8，Fp232个电极，采样率为128Hz，每段时间为10s，想象任务为左右手的抓握运动，第6秒开始提示被试进行运动想象，6-10秒为运动想象状态。则0-6秒为放松状态。一共就有2种状态，3个分类。

步骤2、EEG数据预处理

本发明选择需要的脑电通道为C3,CZ,C4；提取时间为任务前0.5到任务后4秒，和放松时间0.5-5秒，都是4.5秒时间的信号；设置1-36Hz带通滤波，滤波类型为fir滤波器。对各段原始脑电信号均进行数据预处理，1Hz滤波是去除低频率偏移，36Hz滤波目的是减少50Hz工电伪迹的干扰，提高信噪比，从而提高特征提取的有效性。去除信号异常的数据段。

步骤3、能量特征提取，提取每个通道不同频率在时间轴上的能量特征，将其减去所有时间段的平均值后再除以平均值，以便于学习能量的变化趋势。具体是：

从步骤2取得的EEG信号集合为X∈R^c×p，其中c为通道数，p为采样点数，p＝sfreq*time，sfreq为采样率，time为一段任务的时间。一个通道一段时间的信号表示为f(t)，t为时间序号。

通过Mallat小波分析算法，分解EEG信号f(t)到不同的频率波段：

A₀[f(t)]＝f(t)

公式中，j为分解层数，t＝1,2,3...,N，N为采样点；j＝1,2,...J,J＝log₂N；为最大分解层数；H(·)，G(·)为时域中小波分解滤波器，A_j为信号f(t)在第j层低频部分小波系数，D_j为信号f(t)在第j层高频部分小波系数。

用Mallat重构算法进行重构，重构算法表述为：

根据需要的频带决定我们要分解的层数，我们的采样率为128，感兴趣频率范围分别为8-14Hz、18-22Hz两个频带，这两个频段脑电信号的ERDS现象最明显，所以分为3层，第一层为0-32Hz和32-64Hz,分解0-32Hz信号到第三层，分解得到的频率段分别为0-8Hz,8-16Hz,16-24Hz,24-32Hz，选择第三层分解得到的信号重构8-16Hz,16-24Hz两段频率信号f(t)。

EEG特征提取与分类，大脑两侧发生ERD/ERS是对称的，想象右手运动时，大脑左侧运动感觉皮层出现ERD，同时右侧出现ERS；想象左手运动时，大脑左侧运动感觉皮层出现ERS，同时右侧出现ERD，即两侧信号的能量会出现明显差异。

之后再计算我们需要的能量特征。具体步骤如下：

我们要在上面重构的8-16Hz,16-24Hz两个频段脑电信号，分别计算能量

对任务提示前0.5s到任务提示后4s一共4.5s的数据截取信号；截取的时间窗口宽度为0.4s，滑动距离为0.1s，也就是重合0.3s的数据，最后得到41组时间维度上的能量值。每个通道的两个频段脑电信号共计得到82个不同窗口的能量。

经过上述的方法，我们把EEG信号成功提取为要进行基础模型训练的特征，其数据大小为：(n-epoch，n-channel，n-freq，n-times)；考虑到深度学习模型的时间维度的输入，降维为(n-epoch，n-times，n-channel*n-freq)；其中，n-epoch为想象任务次数；n-times为-0.5s到4s的时间窗口数，本实施例中取值为41；n-channel为通道数，本实施例中取值为3；n-freq为频带数，本实施例中取值为2；这样不仅可以将EEG信号变为时间维度上的特征，而且叠加通道和频带，可以学习不同通道同一频带之间的规律，还可以学习同一通道不同频带之间的规律。可以学习到更加多的特征去区分不同的任务，提高准确率。

步骤4、构建深度神经网络：如图3所示，深度神经网络包括依次连接的两个全连接层、Bi LSTM层和输出层。两个全连接层学习各个通道和频率之间的表层关系；Bi LSTM层(改进的深度学习中的双层双向长短时记忆模型网络)用于学习脑电信号的能量特征在时间轴上的深层特征。输出层先把分类向量维度计算到长度为2，然后使用sigmoid函数把两个值映射到(0,1)区间，结果大的那个就是分类的结果。sigmoid函数的输出

x为第Bi LSTM层输出的深层特征。

Bi LSTM层由两个双层叠加的LSTM层组成，其中一个双层LSTM按时间正序输入，另一个双层LSTM按时间逆序输入；输出由这两个双层LSTM的隐藏层的状态决定。计算公式如下：

其中，x_t为当前的输入值；y_t为输出值；h_t-1为上一个时间节点的输出；c_t-1为时间轴上的累计记忆内容作为输出的一个参数；b_t-1为LSTM层上一个时间节点输出的偏置参数；w_y为Bi LSTM层输出的权重参数；b_y为Bi LSTM层输出的偏置参数；

代表的是时间轴方向的正逆；Hid(·)为LSTM操作函数。

LSTM操作函数的工作步骤如下：

①.决定我们要丢弃哪些信息。这个决定由一个称为“遗忘门”的sigmoid层做出。它取决于h_t-1和x_t，也就是上一时间节点的输出和这一时间节点的输入；sigmoid层的输出f_t，其为一个0到1的数，表达式如下：

f_t＝σ(w_f·[h_t-1,x_t]+b_f)

f_t用于决定忘记多少以前的记忆信息c_t-1；σ(·)为sigmoid函数；w_f为遗忘门的权重参数；b_f为遗忘门的偏置参数。输出f_t与标签不一致时丢弃特征。

②.决定需要记忆下的信息，保存在临时的向量

里面，并临时保存信息的向量

及其权重参数i_t如下：

i_t＝σ(w_i·[h_t-1,x_t]+b_i)

其中，w_i为更新门的权重参数；b_i为更新门的偏置参数；w_c为记忆门的权重参数；b_c为记忆门的偏置参数。

③.结合需要忘记的和需要记忆的信息，将从上一时间节点的记忆信息c_t-1更新到这一时间节点的记忆信息c_t如下：

④.决定输出值，LSTM操作函数的输出权重o_t为0到1的数，tanh(c_t)把保存的学习信息投射在-1～1区间内，然后把两者相乘，就是LSTM操作函数的输出值h_t。

o_t＝σ(w_o·[h_t-1,x_t]+b_o)

h_t＝o_t tanh(c_t)

其中，w_o为输出门的权重参数；b_o为输出门的偏置参数。

上述为LSTM层中一个时间节点的计算过程，然后将这个节点的c_t和h_t传到下一个时间节点，作为c_t-1，h_t-1，重复所有的时间节点的计算。时间轴分别进行正方向和逆方向的运算。并且我们为了更加深层的挖掘特征，设计双层LSTM；Bi LSTM层中有两个双层LSTM，具体为两个正向的LSTM层和两个逆向的LSTM层：两个双层LSTM中各自第一层的输出分别为为

其分别作为两个双层LSTM中各自第二层的输入；两个双层LSTM中各自第二层的输出为

利用

计算最终输出

t∈[1,T],T为时间长度。这里取最后一个节点的输出向量作为输出层的输入。

步骤5、如图1所示，部署基础模型，在线学习实时的运动想象特征，更新模型参数，训练出符合此时使用人物，和此时该人物佩戴外在环境要求的模型，放在系统里面。这个步骤可以在使用外骨骼之前进行一个20批次的在线学习，一般时间为5分钟左右，来提高分类的准确率。

步骤6、如图4、图5所示：将模型对所采集的运动想象脑电信号进行分类，进行动作指令编码，传输到外骨骼接收端，控制外骨骼进行康复动作。

使用者穿戴好外骨骼和脑电帽，外骨骼先是静止直立状态，然后使用者开始运动想象，在此期间，外骨骼控制命令为使能状态，也就是电机处于使能但并不转动的状态。使用者进行运动想象4s，结束后根据上面训练的模型预测是想象的那种运动或者处于放松状态，给出控制指令是左、右、静止。静止表示要休息一会儿再进行训练，外骨骼任然处于直立状态。左指令，控制外骨骼迈出左腿后右腿跟进。右指令控制外骨骼迈出右腿后左腿跟进。最后都恢复直立状态，使用者开始下一次运动想象。

Claims (9)

1.一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤1、在一个或多个被试进行不同运动想象时进行EEG信号采集，得到带有运动想象类型标签的EEG数据集；

步骤2、对步骤1所得的EEG数据集进行预处理；

步骤3、能量特征提取

提取每个通道不同频率在时间轴上的能量特征，将其减去所有时间段的平均值后再除以平均值，得到EEG数据集各通道的单通道数据f(t)在不同频率段时间轴上更新的能量特征；

步骤4、构建深度神经网络

深度神经网络包括依次连接的两个全连接层、Bi LSTM层和输出层；两个全连接层学习各个通道和频率之间的表层关系；Bi LSTM层用于学习脑电信号的能量特征在时间轴上的深层特征；Bi LSTM层由两个双层叠加的LSTM层组成，其中一个双层LSTM按时间正序输入，另一个双层LSTM按时间逆序输入；输出由这两个双层LSTM的隐藏层的状态决定；

步骤5、利用深度神经网络识别外骨骼机器人使用者的脑电信号，将其转为运动想象指令，用以控制外骨骼机器人运动。

2.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤1中，被试的运动想象包括三种，分别为静止、左手抓握运动和右手抓握运动。

3.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤1中，EEG信号采集的采样通道数为32个，采样率为128Hz，单次采样时长为10s；单次采样时长中，0～6秒为放松状态，6-10秒为运动想象状态。

4.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤2中的预处理的过程为：提取C3、CZ、C4脑电通道中任务前0.5秒到任务后4秒的部分，以及放松时间中的4.5秒部分；设置1-36Hz带通滤波，滤波类型为fir滤波器。

5.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤3中对单通道数据f(t)进行能量特征提取的具体过程如下：

3-1.通过Mallat小波分析算法，分解单通道数据f(t)到不同的频率波段：

A₀[f(t)]＝f(t)

A_j[f(t)]为单通道数据f(t)在第j层低频部分小波系数，D_j[f(t)]为单通道数据f(t)在第j层高频部分小波系数；j＝1,2,...J；J＝log₂N；N为采样率；H(·)，G(·)为时域中小波分解滤波器；t为采样点序数，其范围为t＝1,2,3...,N；A₀[f(t)]为初始小波系数；

用Mallat重构算法进行重构，重构算法表述为：

3-2.计算能量特征；

计算能量

对执行运动想象任务的过程中采集的数据截取信号；截取的时间窗口宽度为0.4s，滑动距离为0.1s；得到数据大小为：(n-epoch，n-channel，n-freq，n-times)；考虑到深度学习模型的时间维度的输入，降维为(n-epoch，n-times，n-channel*n-freq)；其中，n-epoch为想象任务次数；n-times为时间窗口数；n-channel为通道数；n-freq为频带数。

6.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：在深度神经网络中，输出层先把分类向量维度计算到长度为2，然后使用sigmoid函数把两个值映射到(0,1)区间，结果大的那个就是分类的结果；sigmoid函数的输出

x为Bi LSTM层输出的深层特征。

7.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤4中，Bi LSTM层的输出值y_t的表达式如下：

其中，x_t为当前的输入值；h_t-1为上一个时间节点的双层LSTM的输出；c_t-1为时间轴上的累计记忆内容作为输出的一个参数；b_t-1为双层LSTM上一个时间节点输出的偏置参数；w_y为Bi LSTM层输出的权重参数；b_y为Bi LSTM层输出的偏置参数；→，←代表的是时间轴方向的正逆；Hid(·)为LSTM操作函数。

8.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：LSTM操作函数Hid(·)的工作步骤如下：

①.利用sigmoid层的参数f_t为一个0到1的数，其表达式如下：

f_t＝σ(w_f·[h_t-1,x_t]+b_f)

其中，σ(·)为sigmoid函数；w_f为遗忘门的权重参数；b_f为遗忘门的偏置参数；

②.计算临时向量

及其权重参数i_t如下：

i_t＝σ(w_i·[h_t-1,x_t]+b_i)

其中，w_i为更新门的权重参数；b_i为更新门的偏置参数；w_c为记忆门的权重参数；b_c为记忆门的偏置参数；

③.从上一时间节点的记忆信息c_t-1更新到这一时间节点的记忆信息c_t如下：

④.计算LSTM操作函数的输出权重o_t和LSTM操作函数的输出值h_t；

o_t＝σ(w_o·[h_t-1,x_t]+b_o)

h_t＝o_t tanh(c_t)

其中，w_o为输出门的权重参数；b_o为输出门的偏置参数。

9.根据权利要求1所述的一种基于运动想象时频空特征的外骨骼机器人控制方法，其特征在于：步骤1中的运动想象共有三种类型，分别为放松、左手运动、右手运动，该三种类型分别对应外骨骼机器人的静止、左腿迈出后右腿跟进、右腿迈出后左腿跟进。

Images