CN109620651A

CN109620651A - 基于同步脑肌电的智能辅助康复设备

Info

Publication number: CN109620651A
Application number: CN201811366643.2A
Authority: CN
Inventors: 丛松宇; 张旭; 俞轶
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2019-04-16
Anticipated expiration: 2038-11-16
Also published as: CN109620651B

Abstract

本发明公开了一种基于同步脑肌电的智能辅助康复设备，该智能辅助康复设备可以定量控制动作任务类型与动作任务强度，在欠活动时予以增强，提升了运动效率；在过度活动时予以抑制，提高了安全性；相对于传统方案而言，可以更为有针对性的进行运动辅助，极大的提高了辅助运动的效果。

Description

基于同步脑肌电的智能辅助康复设备

技术领域

本发明涉及辅助康复设备领域，尤其涉及一种基于同步脑肌电的智能辅助康复设备。

背景技术

目前，对于辅助运动大多采用人工方式结合一些简易的器械来进行，例如，有需求的用户通常通过拐杖等来进行腿部辅助运动，但是，这种简易的器械的辅助运动效果并不理想，辅助运动效果也受限于用户的体力与用户所在的环境。或者，通过他人搀扶的方式来进行腿部辅助运动，但是，这种辅助方式不仅增加人工成本，而且通过他人搀扶的方式也难以达到预期的腿部辅助运动效果，尤其是他人不是专业认识，也可能存在一定的安全隐患。

此外，目前也有一些研究机构通过提取脑电信号或者肌电信号来配合辅助设备，来辅助有需求的用户进行相应的辅助运动，但是，脑电信号或者肌电信号与辅助设备的配合方式并不完善，而且属于研究阶段，并没有较为有效的技术方案。

鉴于以上这些传统辅助运动方式的效果不佳，辅助运动效率也较低，某些研究机构的也没有提出较为有效的技术方案，因此，有必要研究较为有效的、智能的辅助设备。

发明内容

本发明的目的是提供一种基于同步脑肌电的智能辅助康复设备，可以同时采集脑肌电两类电生理信号，同步实现对运动意图判断和运动状态监测，从而提高辅助运动的效果。

本发明的目的是通过以下技术方案实现的：

一种基于同步脑肌电的智能辅助康复设备，包括：脑肌电同步采集设备、数据处理设备与辅助设备；其中：

所述脑肌电同步采集设备，用于同步采集脑电信号与肌电信号；

所述数据处理设备，用于通过脑肌电同步采集设备采集健康用户的脑电信号与肌电信号，利用其中的脑电信号来训练预先构建的神经网络中的固定参数，并将肌电信号送入运动任务脑肌电协同关联标准模式库；还通过脑肌电同步采集设备采集的需要使用智能辅助康复设备用户的脑电信号来对神经网络进行有监督的学习，并在后续过程中，通过脑肌电同步采集设备采集需要使用智能辅助康复设备用户的脑电信号与肌电信号，利用学习后的神经网络来对的脑电信号进行分类，确定动作任务类型，并将采集到的肌电信号和运动任务脑肌电协同关联标准模式库中的肌电信号进行比对，确定动作任务强度，最终将动作任务类型与相应的动作任务强度以信号的形式传输给辅助设备；

所述辅助设备，用于根据数据处理设备传输的信号来驱动辅助器械执行相应类型与相应强度的动作任务。

由上述本发明提供的技术方案可以看出，智能辅助康复设备可以定量控制动作任务类型与动作任务强度，在欠活动时予以增强，提升了运动效率；在过度活动时予以抑制，提高了安全性；相对于传统方案而言，可以更为有针对性的进行运动辅助，极大的提高了辅助运动的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于同步脑肌电的智能辅助康复设备的示意图；

图2为本发明实施例提供的智能辅助康复设备的工作流程图；

图3为本发明实施例提供的自适应功能的卷积神经网络的学习流程图。

图4为本发明实施例提供的脑肌电一体化同步采集及自适应反馈的辅助运动系统的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提高一种基于同步脑肌电的智能辅助康复设备，如图1所示，其主要包括：脑肌电同步采集设备、数据处理设备与辅助设备；其中：

本发明实施例提供的上述智能辅助康复设备主要工作过程如图2所示，通过采集脑电信号建立用于动作分类的神经网络(动作分类网)，再通过动作辨识输出合适的信号驱动辅助设备执行相应动作任务。在建立运动辨识神经网络的过程中，根据健康人群完成康复任务的脑电信号(EEG，Electroencephalogram)初始化网络参数，再根据需要使用智能辅助康复设备用户的肌电(EMG，Electromyogram)信号进行有监督学习，完成网络的学习过程。之后，在建立肌肉激活模式库完成对比功能的过程中，对于任一动作任务，通过获取健康人群的同步EEG和EMG信号，并把两类信号联合作为运动任务脑肌电协同关联标准模式库的一个条目。在后续过程中，将需要使用智能辅助康复设备用户的EEG信号采集并输入到神经网络中分类，确定需要执行的动作任务类型，再从运动任务脑肌电协同关联标准模式库中调取健康人群的EMG信号与需要使用智能辅助康复设备用户的EMG信号对比，通过肌群激活水平和时序的差异判断运动任务实际完成状态，最后根据差异确定动作任务类型以及对应强度，并由辅助设备完成。

本发明实施例中，标准模式库的一个动作条目包括两项：1、用于分类的脑电模式；2、健康人的肌电发放模式。用户使用该模式库时，用户的脑电与第1项做匹配，确定动作任务类型；再将用户的肌电发放(通常是异常发放)与该条目下的第2项肌电发放(健康发放)模式做对比，确定补强或抑制的强度。从而根据所得强度确定辅助类型与大小。

为了便于理解，下面针对设备中的各个部分做详细的介绍。

一、脑肌电同步采集设备。

本发明实施例中，脑肌电同步采集设备主要包括：传感器阵列(传感器层)、放大滤波模块(放大器层)、数字采用单元(ADC阵列)、处理器以及传输模块；其中：

所述传感器阵列包括：脑电传感器阵列与肌电传感器阵列；鉴于可靠、方便使用的原因，脑电传感器阵列选用标准接口的10-20导联脑电帽。由于可以需要获取肌肉激活活动的空间信息，因此使用柔性高密度表面肌电阵列作为肌电传感器。两种信号传感器能够有效贴合采集区域表面，可以有效、便捷地获取相应信号。对于本设备而言，重要的设备特征之一是脑肌电信号的高度的同步性，以及时反馈肌肉运动情况。

所述放大滤波模块包括：分别独立与脑电传感器阵列、肌电传感器阵列连接的放大滤波器；示例性的，常用的脑电信号滤波通带为0.1～100Hz，肌电信号滤波通带为20～500Hz。

数字采用单元，连接在放大滤波模块的输出端，用于对放大滤波模块输出的模拟信号进行数字采样；示例性地，数字采样器采用多通道同步模数转换器ADS1299，所有转换器的片选(CS)信号共用一个I/O口。每8路脑电或肌电信号分为一组，接入到同一转换器，同类信号的所有转换器共用启动转换()信号；两类信号的片选和启动转换信号分别接入到系统核心的不同I/O口，且在默认采样率下，启动转换的分频系数可以为5，以控制两类在不同采样率下可以同步获得信号。

处理器，连接在数字采用单元的输出端，用于维持同步数字采样的时序，并进行处理后通过传输模块传输给数据处理设备。示例性地，处理器可以采用EP4CE30F23C8N型FPGA以支持多通道的同步数据采集，还可以控制随机访问存储器(RAM)和通信接口，在本发明实例中，由于信号的类别需要区分，在采样存入RAM的过程中，需要进行封帧处理。

二、数据处理设备。

数据处理设备可以通过PC来实现，其首先要基于EEG建立神经网络，用于分类各个动作任务对应的EEG信号，通过前述的脑肌电同步采集设备获取的EEG信号，确定用户正在尝试进行的动作。从可行性和准确性方面考虑，采用具有自适应校准性能的卷积神经网络来解决EEG信号分类问题。该卷积神经网络由健康人群的EEG数据初始化网络参数作为固定参数，通过需要使用智能辅助康复设备的用户的EEG数据进行有监督学习完成差异化动作分类网络的校准。

整个过程主要包括：

1、网络构建与初始化过程。

1)确定需要的动作任务类型，假设共有N个动作任务类型，对于每一个动作任务类型，均通过脑肌电同步采集设备采集健康用户的脑电信号与肌电信号。

2)预先构建具有自适应功能的卷积神经网络，并将构建的卷积神经网络作为脑电信号分类器；利用所采集到的各个动作任务类型下的脑电信号来训练卷积神经网络的固定参数，包括显层与隐层、隐层与隐层之间的连接系数，并将固定参数记录到神经网络中；对于不同的需要使用智能辅助康复设备用户这部分固定参数都不会发生改变。

此外，同步采集到的肌电信号也将存入运动任务脑肌电协同关联标准模式库。

2、网络校准与学习过程。

对于不同的需要使用智能辅助康复设备的用户，在使用之前都需要重新进行卷积神经网络的学习：

1)通过脑肌电同步采集设备采集完成每一动作任务类型时的脑电信号。

2)将采集到的各个动作任务类型下的脑电信号输入到卷积神经网络中进行网络学习，提取其中的特异性参数，并将特异性参数记录到卷积神经网络中。

3、后续网络工作过程。

在后续过程中，通过脑肌电同步采集设备采集需要使用智能辅助康复设备用户的脑电信号与肌电信号，利用学习后的神经网络来对的脑电信号进行分类，确定动作任务类型X，并使用基于肌电信号的肌群激活水平和激活时序分析方法结合运动任务脑肌电协同关联标准模式库来确定相应的动作任务强度。具体来说，在某一次过程中，接收到脑肌电同步采集设备采集到的脑电信号后，通过学习后的神经网络分类可以确定对应的任务动作类型(不妨假设正在进行的任务动作编号为X)；如图2所示，由于运动任务脑肌电协同关联标准模式库中记录了各个动作任务类型对应的健康用户的肌电信号，所以可以通过运动任务脑肌电协同关联标准模式库查询任务动作X对应的EMG标准激活模式，然后提取用户的实际肌群激活信息和时序，与标准激活模式对比，最后确定动作任务强度。

在实际用于中，前述的第1个过程，即网络构建与初始化过程只需要执行一次即可，同时，运动任务脑肌电协同关联标准模式库也可以适用于不同的需要使用智能辅助康复设备的用户。对于同一需要使用智能辅助康复设备的用户而言，也只需要执行一次前述的第2个过程，对于不同的需要使用智能辅助康复设备的用户而言，每次都需要重新执行一次前述的第2个过程。

本发明实施例中，所构建的具有自适应功能的卷积神经网络可以借助云处理技术扩展为云分类网，以增强训练集空间，提高网络可靠性。所述云分类网的原始输入信号是同步获取的健康人群的同步脑肌电信号。

首先将采集到的EEG信号加窗处理并对窗内信号进行短时傅里叶变换得到其相应的频谱图。相应的EEG频谱图将作为卷积神经网络的输入参与到网络固定参数的调整中。示例性地，所设计的卷积神经网络包括三个卷积层，三个池化层(或称“汇合层”，Pooling)，两个全连接层。所述网络的显层与隐层以及隐层与隐层的连接系数参数被设计成为固定参数，固定参数的训练通过将健康个体的数据输入到神经网络之中并进行线下训练获得，并且对于一个新的需要使用智能辅助康复设备的用户，网络固定参数在网络参数的校准过程当中不发生改变。此外，在每层的输入之前设有批归一化层(Batch NormalizationLayer)。批归一化参数作为自适应的用户特异性参数参与到网络的自适应校准过程当中，特异性参数由需要接受康复训练的用户完成实验并获得。网络参数的训练采用有监督的方式，即将相应EEG窗内的信号赋予相应的任务范式标签。之后，网络整体参数的调整通过梯度下降法和反向传播的方式进行；

主要具体的网络学习方法如下：

1)首先将加窗处理后的s点EEG时间序列信号与窗长为k的Hamming窗相乘并进行重叠率为50％的k点的短时傅里叶变换。对于采样率为f的脑电信号，采用如上所述的短时傅里叶变换之后将会在0～f之间得到(k/2+1)个不同的频率段，以及((s-k)×2)/k+1个时间段。因此对于有c个脑电通道的系统，网络最终输入将会是大小为(k/2+1)×((s-k)*2/k+1)×c的矩阵(频率段数×时间段数×通道数)，既往研究表明对数频谱图可以显著提高基于频谱图的模式识别的准确性(Zihlmann et al,2017,arXiv)，因而此处采用频谱图的对数化处理。

2)将上步骤处理好的频谱图的通道数作为CNN(卷积神经网络)输入层的色彩通道数。而二维的频率段数*时间段数的矩阵则作为二维图像输入到网络中。对于CNN的卷积层，可以采用5*5的卷积核，而对于池化层则可以采用最大池化的方式进行。

3)反向传播的过程按照下述公式进行，对于网络中的任意参数，在从第t次的训练到第t+1次的过程中，其参数值的变化大小取决于损失函数对该参数的梯度大小以及学习率大小α：

其中，θ_n表示第n次迭代后的神经网络中的权重参数，α表示学习率，表示根据输入x和参数θ求得的损失函数。表示后续函数对θ求偏导。

基于以上原理，自适应功能的卷积神经网络的学习流程如图3所示，其中图3a对应于健康用户，图3b对应于需要使用智能辅助康复设备的用户。

本发明实施例中，使用基于肌电信号的肌群激活水平和激活时序分析方法由肌肉协同分析实现，肌肉协同分析通过矩阵分解实现，所得到的分解矩阵确定动作任务强度；实现矩阵分解的方式如下：对采集到的肌电信号矩阵进行非负矩阵分解获得肌肉协同矩阵和肌肉协同激活系数矩阵；同样对运动任务脑肌电协同关联标准模式库中相同动作任务下的肌电信号矩阵进行非负矩阵分解获得肌肉协同矩阵和肌肉协同激活系数矩阵，将两者进行比较后确定动作任务强度。

肌肉协同是由一系列骨骼肌组合而成，并被某一下行神经控制信号调制的协同结构(D’avella et al.,2003)，是由中枢神经系统募集来支配骨骼肌协调收缩来完成动作的最小单位。可以使用肌肉协同来作为控制参量完成辅助运动的实时控制，对于健康人群成员而言，所得的肌肉协同是肌电激活基准；对需要使用智能辅助康复设备用户而言，所得的肌肉协同是待调整的实际激活水平。

获取一次运动中的肌肉协同方法如下：

使用原始信号为多通道肌电信号，不妨设通道数为m。截取的当前信号窗时长为TimeLength，肌电信号采样率为SampleRate_M，窗数据长度为t＝TimeLength×SampleRate_M。首先对每个通道数据进行40Hz高通滤波消除运动伪迹噪声，然后对滤波后的数据列取绝对值，其次对数据进行10Hz低通滤波获取包络信号，各通道包络信号排列成包络矩阵，最后对包络矩阵进行最大值归一化获得信号矩阵

基于信号矩阵V_m×t的肌肉协同的提取算法有因子分析、主成分分析、独立成分分析、非负矩阵分解等。以下使用非负矩阵分解(NMF)的方法提取肌肉协同信息。

NMF的中心思想是：对待分解矩阵寻找与且n≤m，使得V≈WC，基矩阵W_m×n即为肌肉协同结构矩阵，C_n×t为肌肉激活系数模式。以噪声服从高斯分布为例，通过梯度下降法求W和C的迭代公式为：

其中，W_ik表示i行k列的肌肉协同结构矩阵；C_kj表示k行j列的肌肉激活系数模式矩阵；V表示i行j列待分解矩阵。

利用NMF算法求肌肉协同矩阵的步骤如D列步骤所示：

D1.随机初始化矩阵W和C，且各元素非负。

D2.噪声服从高斯分布，按照梯度下降准则，根据上述公式先更新W，再更新C。

D3.当||V-WC||误差小于10^-5，或迭代次数超过5000时停止，否则返回步骤D2直至满足条件。

当噪声满足其它分布时，除迭代公式变化之外(Lee and Seung,1999)，求解肌肉协同矩阵的步骤不变。在上述过程中，协同数目n的确定步骤如E列步骤所示：

E1.首次执行时n初始化为1，采用NMF算法对待分解矩阵V_m×t进行S次分解。

E2.将分解所得的W矩阵和C矩阵相乘求出重构矩阵Vr_m×t。

E3.根据下述公式计算出S个矩阵数据变异度VAF：

E4.对S个VAF参数值进行t检验，验证参数均值是否显著大于0.95，若是，当前n值即为肌肉协同数，否则n←n+1，返回E1步骤，或n>m，停止求解。

实际情况中，对于不同的需要接受康复训练的用户，可以先根据肌肉协同的改变情况重新在运动任务脑肌电协同关联标准模式库中查找对应的标准激活模式，再根据记录的标准激活模式予以辅助。

三、辅助设备。

所述辅助设备包括：由MCU或者FPGA实现的处理器以及多自由度的辅助机械；所述处理器根据数据处理设备传输的信号来确定动作任务类型与相应的动作任务强度，从而驱动多自由度的辅助机械进行相应的分支进行运动；所述自由度的辅助机械包括：外骨骼装置、智能假肢及功能电刺激器等。

举例来说，需要使用智能辅助康复设备的用户可以根据需要装备相应的辅助机械，有结论表明(Tang L,2017)对于同一个步态任务，不同健康成人的肌肉协同结构和激活系数相似程度较高，同时由于肌肉协同在具体任务中可以表达肌肉实际激活程度，因此可以作为参考量。以结论所述的上肢近端关节活动为例，用户手持标志物，从圆心出发，顺时针依次完成与圆周上八等分点之间的往返运动。健康成人完成该运动时可以提出4个肌肉协同(wa)，wa1由肱桡肌、背阔肌和斜方肌主导，wa2由肱三头肌、三角肌中束和三角肌后束主导，wa3由三角肌前束和胸大肌主导，wa4由肱肌和肱二头肌主导。在辅助过程中，若判断用户正在尝试完成此动作，则选取用户在该10块肌肉上的肌电信号，并对该10列肌电数据加窗处理，提取完成动作时的肌肉协同。示例性地，若观测到wa1的肌肉激活情况显著低于正常人，则对wa1的主导肌群进行加强型辅助；若观测到激活情况显著高于正常人，则对主导肌群进行抑制型辅助，辅助强度为最大激活力度乘以信号归一化系数。若观察到用户的某块肌肉在wa1～wa4上的均值显著低于或高于正常人，相似地对该肌肉进行加强或抑制。

另一方面，整个智能辅助康复设备中，脑肌电同步采集设备可以通过接口输出信号到PC机(即数据处理设备)，同时该接口还作为外部电源为设备供电的输入端。PC机一方面用来存储脑肌电信号作为数据留存，另一方面是计算分类情况和肌电活动强度，产生输出信号，并将输出信号通过接口发送给辅助设备，由辅助设备的处理器根据接收到的信号来驱动辅助机械，以产生相应动作。

在应用于中，可以将脑肌电同步采集设备与辅助设备集成在一起，从而构成脑肌电一体化同步采集及自适应反馈的辅助运动系统，如图4所示，集成后脑肌电同步采集设备与辅助设备可以共用一个处理器(核心处理器)，核心处理器可以完成前述脑肌电同步采集设备与辅助设备中所提到的处理器所要完成的全部功能，同时，通过一个传输模块(即传输层)可以实现脑电信号的发送以及数据处理设备输出信号的接收。

需要强调的是，本发明所要求保护方案是针对整个智能辅助康复设备而言，其中涉及的数据处理全部都在设备内部完成，数据处理所需要的全部数据都是由脑肌电同步采集设备所采集的一些中间结果数据，同时处理结果所驱动的也是设备内部的硬件结构(即辅助机械)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种基于同步脑肌电的智能辅助康复设备，其特征在于，包括：脑肌电同步采集设备、数据处理设备与辅助设备；其中：

2.根据权利要求1所述的一种基于同步脑肌电的智能辅助康复设备，其特征在于，所述脑肌电同步采集设备包括：传感器阵列、放大滤波模块、数字采用单元、处理器以及传输模块；其中：

所述传感器阵列包括：脑电传感器阵列与肌电传感器阵列；

所述放大滤波模块包括：分别独立与脑电传感器阵列、肌电传感器阵列连接的放大滤波器；

数字采用单元，连接在放大滤波模块的输出端，用于对放大滤波模块输出的模拟信号进行数字采样；

处理器，连接在数字采用单元的输出端，用于维持同步数字采样的时序，并进行处理后通过传输模块传输给数据处理设备。

3.根据权利要求1所述的一种基于同步脑肌电的智能辅助康复设备，其特征在于，假设共有N个动作任务类型，对于每一个动作任务类型，均通过脑肌电同步采集设备采集健康用户的脑电信号与肌电信号；

预先构建具有自适应功能的卷积神经网络，并将构建的卷积神经网络作为脑电信号分类器；

利用所采集到的各个动作任务类型下的脑电信号来训练卷积神经网络的固定参数，包括显层与隐层、隐层与隐层之间的连接系数，并将固定参数记录到神经网络中；对于不同的需要使用智能辅助康复设备用户这部分固定参数都不会发生改变。

4.根据权利要求3所述的一种基于同步脑肌电的智能辅助康复设备，其特征在于，所述运动任务脑肌电协同关联标准模式库中记录了各个动作任务类型对应的健康用户的肌电信号。

5.根据权利要求3所述的一种基于同步脑肌电的智能辅助康复设备，其特征在于，

对于不同的需要使用智能辅助康复设备的用户，在使用之前都需要重新进行卷积神经网络的学习：通过脑肌电同步采集设备采集完成每一动作任务类型时的脑电信号；将采集到的各个动作任务类型下的脑电信号输入到卷积神经网络中进行网络学习，提取其中的特异性参数，并将特异性参数记录到卷积神经网络中；

在后续过程中，通过脑肌电同步采集设备采集需要使用智能辅助康复设备用户的脑电信号与肌电信号，利用学习后的神经网络来对的脑电信号进行分类，确定动作任务类型X，并使用基于肌电信号的肌群激活水平和激活时序分析方法结合运动任务脑肌电协同关联标准模式库来确定相应的动作任务强度。

6.根据权利要求5所述的一种基于同步脑肌电的智能辅助康复设备，其特征在于，所述使用基于肌电信号的肌群激活水平和激活时序分析方法结合运动任务脑肌电协同关联标准模式库来确定相应的动作任务强度包括：

所述使用基于肌电信号的肌群激活水平和激活时序分析方法由肌肉协同分析实现，肌肉协同分析通过矩阵分解实现，所得到的分解矩阵确定动作任务强度；

实现矩阵分解的方式如下：对采集到的肌电信号矩阵进行非负矩阵分解获得肌肉协同矩阵和肌肉协同激活系数矩阵；同样对运动任务脑肌电协同关联标准模式库中相同动作任务下的肌电信号矩阵进行非负矩阵分解获得肌肉协同矩阵和肌肉协同激活系数矩阵，将两者进行比较后确定动作任务强度。

7.根据权利要求1所述的一种基于同步脑肌电的智能辅助康复设备，其特征在于，所述辅助设备包括：由MCU或者FPGA实现的处理器以及多自由度的辅助机械；

所述处理器根据数据处理设备传输的信号来确定动作任务类型与相应的动作任务强度，从而驱动多自由度的辅助机械进行相应的分支进行运动；

所述自由度的辅助机械包括：外骨骼装置、智能假肢及功能电刺激器。