CN111584032B - 基于胶囊网络的新型脑控智能康复方法及应用 - Google Patents

Abstract

基于胶囊网络的新型脑控智能康复方法及应用：上位机根据使用者选择的康复训练项目产生对应的运动刺激视频，通过显示器显示给使用者，使用者想象相应的动作，并通过脑电采集装置采集使用者同步的运动想象脑电信号，并进行放大滤波预处理，通过无线方式传输至上位机；上位机接收到运动想象脑电信号，进行再次处理后，通过基于胶囊网络算法提取运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；康复运动装置带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机采用Fugl‑Meyer评估法对使用者训练动作的信号数据进行评估。本发明可以提高脑控康复系统的安全。

Description

基于胶囊网络的新型脑控智能康复方法及应用

技术领域

本发明涉及一种脑控智能康复方法。特别是涉及一种基于胶囊网络的新型脑控智能康复方法及应用。

背景技术

由于运动想象能够实现大脑有动作意图时肢体不执行任何动作，并且不依赖于患者的残存功能，又与患者的主动运动密切相关，因此在康复医疗中通常采用运动想象激活和修复脑卒中患者运动网络，改善脑卒中患者的运动功能。基于运动想象的康复系统可以有效地提升康复效果并解决传统康复治疗手段中存在的问题，该系统中最关键且重要的一步在于对运动想象脑电信号的正确识别与分类，从而向运动装置传输正确的控制指令。

深度神经网络可以充分挖掘数据，提高分类性能，因此已成功应用于脑电信号的特征提取与分类中。常用的深度神经网络包括：卷积神经网络、由多个限制玻尔兹曼机堆叠成的深度置信网络、循环神经网络和长短时记忆网络等。由于运动康复系统不仅对脑电信号分类的准确率有较高的要求，同时要求系统具有实时在线处理能力，所以过于复杂的深度神经网络会导致系统的实时性降低，控制指令的输出存在延迟。胶囊(Capsule)网络中用一个向量表示一个特征，该向量称为胶囊(Capsule)，通过对输入胶囊聚类，每类用一个输出胶囊表示。为了实现聚类，使用内积来衡量每个输出胶囊和各个输入胶囊的相似度，并且这个过程使用迭代的方式来完成，也称作动态路由算法。胶囊抛弃了卷积和池化的观念，引入聚类的概念，因此具有更好的表示输入数据结构的性能。胶囊网络相比卷积神经网络等收敛更快，能够在保证脑电信号分类准确率的同时，提升系统的工作效率；卷积神经网络通常容易在训练集数据上过度拟合，导致在测试集上的分类结果不佳，而胶囊网络依靠网络自身特性可以学习到更多的特征，在测试集上得到更优的效果；并且胶囊网络相较卷积神经网络等具有较好的抗攻击性，因此可以应用在脑控康复系统中，提高系统的安全性能与实时性能。

发明内容

本发明所要解决的技术问题是，提供一种能够在保证脑电信号分类准确率的同时，提升系统的工作效率的基于胶囊网络的新型脑控智能康复方法及应用。

本发明所采用的技术方案是：一种基于胶囊网络的新型脑控智能康复方法，包括如下步骤：

1)上位机根据使用者选择的康复训练项目产生对应的运动刺激视频，通过显示器显示给使用者，所述运动刺激视频包括有左侧上肢康复训练或左侧下肢康复训练或右侧上肢康复训练或右侧下肢康复训练的图像，使用者想象相应的动作，并通过脑电采集装置采集使用者同步的运动想象脑电信号，并进行放大滤波预处理，通过无线方式传输至上位机；

2)上位机接收到使用者的运动想象脑电信号，进行再次处理后，通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；

3)康复运动装置带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机中的数据库保存使用者训练动作的信号数据，并采用Fugl-Meyer评估法对使用者训练动作的信号数据进行评估。

步骤1)所述显示的频率和时间长度相同。

步骤1)所述的脑电采集装置是通过分别位于电极帽的C3区电极、C4区电极、Cz区电极以及右腿驱动电极获取使用者运动想象脑电信号。

步骤2)所述的再次处理，是将运动想象脑电信号经1-40Hz带通滤波器滤波和使用共同平均参考法进行去噪处理，采用独立成分分析方法去除眼动和与眨眼伪迹由。

步骤2)所述的胶囊网络的每一层都是采用Adam优化器并使用早停法进行训练，Adam优化器的学习率设置为0.001。

步骤2)所述的通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，包括由胶囊网络依次进行如下处理：

(2.1)输入层，用于将接收到的使用者的运动想象脑电信号转为二维图像；

(2.2)低级特征的卷积层(Conv1)，用于对二维图像的像素做局部特征检测，得到图像像素的低级特征；

(2.3)初级胶囊(Primary Capsule)卷积层(Conv2)，用于储存低级特征的特征向量；

(2.4)全连接层(FC)，用于从低级特征的特征向量中产生高级特征的特征向量，并进行储存，同时将低级特征的特征向量与高级特征的特征向量进行连接，并将高级特征的特征向量送入输出层；

(2.5)输出层，取高级特征的特征向量的L2范数进行输出，输出的L2范数1、2、3、4分别对应输出的结果分别代表左手运动想象、右手运动想象、左脚运动想象、右脚运动想象。

所述的时频表征，是将预处理后的运动想象脑电信号用连续小波变换对每个运动想象脑电信号提取时频表征，即将运动想象脑电信号由一维信号转化为二维图像。

所述的L2范数即为分类结果。

一种基于胶囊网络的新型脑控智能康复方法的应用，包括如下步骤：

1)使用者坐卧于康复运动装置上并固定上肢、下肢，将脑电采集装置中的电极帽固定在头部对应位置，显示器放置于使用者正前方的位置，待康复运动装置完成初始自检后，使用者面对显示器中的相应视觉提示，使用者想象相应的动作；

2)脑电采集装置通过电极帽的C3区电极、C4区电极、Cz区电极以及右腿驱动电极分别采集使用者的运动想象脑电信号；

3)脑电采集装置对采集的运动想象脑电信号进行预处理后传入上位机中，上位机再对接收的运动想象脑电信号进行1-40Hz的带通滤波后，通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；

4)康复运动装置根据上位机传送的控制指令带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机采用Fugl-Meyer评估法对使用者训练动作的信号数据进行康复评估。

本发明的基于胶囊网络的新型脑控智能康复方法及应用，具有以下几项优点：

1、胶囊网络收敛较快，能够在保证脑电信号分类准确率的同时，提升脑控康复系统系统的工作效率；

2、胶囊网络依靠网络自身特性可以学习到更多的特征，在测试集上得到更优的效果；

3、胶囊网络具有较好的抗攻击性，可以提高脑控康复系统的安全性能与实时性能。

附图说明

图1是本发明基于胶囊网络的新型脑控智能康复方法的流程图；

图2是本发明中的脑电采集装置的构成框图；

图3是本发明的脑电采集装置获取运动想象信号的电极分布图；

图4是本发明中胶囊网络的结构图示意图。

具体实施方式

下面结合实施例和附图对本发明的基于胶囊网络的新型脑控智能康复方法及应用做出详细说明。

如图1所示，本发明的基于胶囊网络的新型脑控智能康复方法，包括如下步骤：

1)上位机根据使用者选择的康复训练项目产生对应的运动刺激视频，通过显示器显示给使用者，所述显示的频率和时间长度相同。所述运动刺激视频包括有左侧上肢康复训练或左侧下肢康复训练或右侧上肢康复训练或右侧下肢康复训练的图像，使用者想象相应的动作，并通过脑电采集装置采集使用者同步的运动想象脑电信号，并进行放大滤波预处理，通过无线方式传输至上位机。

本发明所述的脑电采集装置，是采用申请号为201810168228.X、发明名称为“便携式脑电采集设备及其在SSVEP和运动想象中的应用”的专利申请所公开的结构，如图2所示，包括，系统供电电路11、脑电极帽转接线12、PGA放大电路13、AD转换器14、STM32处理器15和WIFI模块16，其中，所述脑电极帽转接线12的输入端连接脑电极帽用于采集脑电信号，输出端依次连接PGA放大电路13、AD转换器4和STM32处理器15，所述STM32处理器15分别连接PGA放大电路13和AD转换器14用于对PGA放大电路13和AD转换器14的工作状态进行控制，所述WIFI模块16连接STM32处理器15用于通过无线局域网使STM32处理器15与上位机进行通信，所述系统供电电路11分别连接PGA放大电路13、AD转换器14、STM32处理器15和WIFI模块16用于提供电源。

所述的脑电采集装置通过如图3所示的分别位于脑电极帽的C3区电极、C4区电极、Cz区电极以及右腿驱动电极获取使用者的同步的运动想象脑电信号。

2)上位机接收到使用者的运动想象脑电信号，进行再次处理，所述的再次处理，是将运动想象脑电信号经1-40Hz带通滤波器滤波和使用共同平均参考法进行去噪处理，采用独立成分分析方法去除眼动和与眨眼伪迹由。然后，通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；本发明中所述的胶囊网络的每一层都是采用Adam优化器并使用早停法进行训练，Adam优化器的学习率设置为0.001。

所述的通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，包括由图4所示的胶囊网络依次进行如下处理：

(2.1)输入层，用于将接收到的使用者的运动想象脑电信号转为二维图像；所述的时频表征，是将预处理后的运动想象脑电信号用连续小波变换对每个运动想象脑电信号提取时频表征，即将运动想象脑电信号由一维信号转化为二维图像。

(2.2)低级特征的卷积层(Conv1)，用于对二维图像的像素做局部特征检测，得到图像像素的低级特征；

(2.3)初级胶囊(Primary Capsule)卷积层(Conv2)，用于储存低级特征的特征向量；

(2.4)全连接层(FC)，用于从低级特征的特征向量中产生高级特征的特征向量，并进行储存，同时将低级特征的特征向量与高级特征的特征向量进行连接，并将高级特征的特征向量送入输出层；

(2.5)输出层，取高级特征的特征向量的L2范数(也就是该特征向量的长度)进行输出。所述的L2范数即为分类结果，其中，输出的L2范数1、2、3、4分别对应输出的结果分别代表左手运动想象、右手运动想象、左脚运动想象、右脚运动想象。

3)康复运动装置带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机中的数据库保存使用者训练动作的信号数据，并采用Fugl-Meyer评估法对使用者训练动作的信号数据进行评估。

本发明中所述的康复运动装置，可以采用力迈徳医疗康复器械：上肢智能反馈训练系统A300，或上肢智能反馈训练系统C300，或下肢康复训练器AL200，或上下肢主被动训练系统L220L，或四肢联动智能反馈训练系统AL450。

本发明的基于胶囊网络的新型脑控智能康复方法的应用，包括如下步骤：

1)使用者坐卧于康复运动装置上并固定上肢、下肢，将脑电采集装置中的电极帽固定在头部对应位置，显示器放置于使用者正前方的位置，待康复运动装置完成初始自检后，使用者面对显示器中的相应视觉提示，使用者想象相应的动作；

2)脑电采集装置通过电极帽的C3区电极、C4区电极、Cz区电极以及右腿驱动电极分别采集使用者的运动想象脑电信号，电极分布如图3所示，分别是位于头顶左侧的C3区，头顶右侧C4区，前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号；

3)脑电采集装置对采集的运动想象脑电信号进行预处理后传入上位机中，上位机再对接收的运动想象脑电信号进行1-40Hz的带通滤波后，通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；

4)康复运动装置根据上位机传送的控制指令带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机采用Fugl-Meyer评估法对使用者训练动作的信号数据进行康复评估。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (6)

1.一种基于胶囊网络的新型脑控智能康复方法，其特征在于，包括如下步骤：

1)上位机根据使用者选择的康复训练项目产生对应的运动刺激视频，通过显示器显示给使用者，所述运动刺激视频包括有左侧上肢康复训练或左侧下肢康复训练或右侧上肢康复训练或右侧下肢康复训练的图像，使用者想象相应的动作，并通过脑电采集装置采集使用者同步的运动想象脑电信号，并进行放大滤波预处理，通过无线方式传输至上位机；所述的脑电采集装置是通过分别位于电极帽的C3区电极、C4区电极、Cz区电极以及右腿驱动电极获取使用者运动想象脑电信号；

2)上位机接收到使用者的运动想象脑电信号，进行再次处理后，通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；

所述的再次处理，是将运动想象脑电信号经1-40Hz带通滤波器滤波和使用共同平均参考法进行去噪处理，采用独立成分分析方法去除眼动和眨眼伪迹；

所述的通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，包括由胶囊网络依次进行如下处理：

(2.1)输入层，用于将接收到的使用者的运动想象脑电信号转为二维图像，输入为脑电信号的时频表征；

(2.2)低级特征的卷积层，用于对二维图像的像素做局部特征检测，得到图像像素的低级特征；

(2.3)初级胶囊卷积层，用于储存低级特征的特征向量；

(2.4)全连接层，用于从低级特征的特征向量中产生高级特征的特征向量，并进行储存，同时将低级特征的特征向量与高级特征的特征向量进行连接，并将高级特征的特征向量送入输出层；

(2.5)输出层，取高级特征的特征向量的L2范数进行输出，输出的L2范数1、2、3、4分别对应输出的结果分别代表左手运动想象、右手运动想象、左脚运动想象、右脚运动想象；

3)康复运动装置带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机中的数据库保存使用者训练动作的信号数据，并采用Fugl-Meyer评估法对使用者训练动作的信号数据进行评估。

2.根据权利要求1所述的基于胶囊网络的新型脑控智能康复方法，其特征在于，步骤1)所述显示的频率和时间长度相同。

3.根据权利要求1所述的基于胶囊网络的新型脑控智能康复方法，其特征在于，步骤2)所述的胶囊网络的每一层都是采用Adam优化器并使用早停法进行训练，Adam优化器的学习率设置为0.001。

4.根据权利要求1所述的基于胶囊网络的新型脑控智能康复方法，其特征在于，所述的时频表征，是将预处理后的运动想象脑电信号用连续小波变换对每个运动想象脑电信号提取时频表征，即将运动想象脑电信号由一维信号转化为二维图像。

5.根据权利要求1所述的基于胶囊网络的新型脑控智能康复方法，其特征在于，所述的L2范数即为分类结果。

6.一种权利要求1所述的基于胶囊网络的新型脑控智能康复方法的应用方法，其特征在于，包括如下步骤：

1)使用者坐卧于康复运动装置上并固定上肢、下肢，将脑电采集装置中的电极帽固定在头部对应位置，显示器放置于使用者正前方的位置，待康复运动装置完成初始自检后，使用者面对显示器中的相应视觉提示，使用者想象相应的动作；

2)脑电采集装置通过电极帽的C3区电极、C4区电极、Cz区电极以及右腿驱动电极分别采集使用者的运动想象脑电信号；

3)脑电采集装置对采集的运动想象脑电信号进行预处理后传入上位机中，上位机再对接收的运动想象脑电信号进行1-40Hz的带通滤波后，通过基于胶囊网络算法提取所述运动想象脑电信号的特征并进行分类，将分类结果转化为相应的康复训练控制信号，传输至康复运动装置；

4)康复运动装置根据上位机传送的控制指令带动使用者进行相应的训练动作，并将使用者训练动作的信号数据反馈给上位机，上位机采用Fugl-Meyer评估法对使用者训练动作的信号数据进行康复评估。

Images