CN111631908A - 基于脑机交互与深度学习的主动式手部训练系统及方法 - Google Patents

基于脑机交互与深度学习的主动式手部训练系统及方法 Download PDF

Info

Publication number
CN111631908A
CN111631908A CN202010481483.7A CN202010481483A CN111631908A CN 111631908 A CN111631908 A CN 111631908A CN 202010481483 A CN202010481483 A CN 202010481483A CN 111631908 A CN111631908 A CN 111631908A
Authority
CN
China
Prior art keywords
training
electroencephalogram
brain
network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010481483.7A
Other languages
English (en)
Other versions
CN111631908B (zh
Inventor
高忠科
任飞跃
芮林格
马超
马文庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Original Assignee
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Furuilong Metal Products Co ltd, Tianjin University filed Critical Tianjin Furuilong Metal Products Co ltd
Priority to CN202010481483.7A priority Critical patent/CN111631908B/zh
Publication of CN111631908A publication Critical patent/CN111631908A/zh
Application granted granted Critical
Publication of CN111631908B publication Critical patent/CN111631908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A61H1/0288—Fingers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1238—Driving means with hydraulic or pneumatic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635—Hand or arm, e.g. handle
    • A61H2201/1638—Holding means therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/06—Arms
    • A61H2205/065—Hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/06—Arms
    • A61H2205/065—Hands
    • A61H2205/067—Fingers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/10—Electroencephalographic signals
    • A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus

Abstract

本发明公开了一种基于脑机交互与深度学习的主动式手部训练系统及方法：包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架；脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。本发明具有安全性高、节省人力、趣味性高的特点，可以最大程度的发挥使用者的主动性，提高康复效果。

Description

基于脑机交互与深度学习的主动式手部训练系统及方法
技术领域
本发明属于康复工程、脑机接口以及神经控制等领域，更具体地说，是涉及一种基于脑机交互与深度学习的主动式手部训练系统及方法。
背景技术
根据世卫组织报道，在世界范围内脑卒中已经成为仅次于癌症和心冠病死亡的原因。近几年以来，随着我国社会老龄化不断加剧，由于脑卒中引起的运动功能障碍患者数量正持续增加。调查显示，城乡合计脑卒中已成为我国第一位死亡原因，也是中国成年人残疾的首要原因，脑卒中具有发病率高、死亡率高和致残率高的特点。脑卒中后患者常常患有不同部位和不同程度的偏瘫，当偏瘫发生在手部时，由于脑部缺血引起控制手部神经损伤，来自上神经元的神经冲动不能传到下运动神经，导致手部运动功能出现运动障碍，包括无法完成日常的抓取、移动等以及手指间的协调配合。由于手部偏瘫患者丧失了手部运动功能，神经元细胞也遭到了不同程度的损坏，导致手部的反射能力也会突然的扩大或减小，手部运动功能障碍患者临床通常会表现为手指肌张力增高、肌肉痉挛、手指屈伸困难、手指间运动失调等的病理现象。
经临床研究证明，对于初期的偏瘫患者应当尽早的参与康复治疗，加强偏瘫部位的肌功能，通常患病后的1-3个月时间为偏瘫康复的最佳时期，在这一时间段参与康复治疗往往能达到最佳的治疗效果，加快偏瘫患者的康复进程，3个月后会因为废用综合征、误用综合征等出现运动功能恢复缓慢的症状，甚至可能会留有后遗症。
将脑机接口技术应用于手指康复系统中，可以让患者的脑部直接参与到康复训练中，有助于患者脑部神经皮质的重构，修复大脑中枢神经控制系统的功能，另一方面也能够激发患者的主动性和积极性，提高康复治疗的效果。传统的临床康复训练效率低下，尤其是针对脑卒中瘫软期，治疗过程枯燥乏味，患者的主动性较差、效果有限，这使得康复周期较长。康复器械与传统的医疗康复具有无可比拟的优势。康复器械在帮助患者康复的过程中可以定量的调节康复的训练量，产生客观的康复评价指标。
然而，国内外现有的康复系统仍然存在很多缺点和不足。目前主流功能康复疗法，如冷疗法、电刺激法、借助康复机器人等方法，不但会耗费大量的人力物力，而且忽视了患者的主动性。缺乏大脑神经系统的直接参与，这些原因使得外部肢体和大脑之间的功能连接修复有限，康复效果不尽如人意。为了解决上述问题，人们一直在寻求一种更加合理的解决方案。
发明内容
本发明的目的是为了克服现有技术中的不足，提出一种基于脑机交互与深度学习的主动式手部训练系统及方法，具有安全性高、节省人力、趣味性高的特点，可以最大程度的发挥使用者的主动性，提高康复效果。
本发明的目的可通过以下技术方案实现。
本发明基于脑机交互与深度学习的主动式手部训练系统，包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架，所述FPGA采集设备与脑电帽通过DUSB37接口连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接；
所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。
所述脑电帽具有37个电极，其中4个电极为HEOL、HEOR、VEOL和VEOU眼电电极，1个电极为设备的参考电极GND，32个电极为遵循“国际10-20系统”分布的脑电电极和耳后参考电极A1、A2。
所述FPGA采集设备包括电源模块、FPGA处理器、脑电信号采集模块和WIFI通信模块，所述电源模块分别与FPGA处理器、脑电信号采集模块、WIFI模块电连接，所述FPGA处理器还分别与脑电信号采集模块、WIFI模块电连接；其中，所述电源模块为FPGA处理器、脑电信号采集模块和WIFI模块提供所需要的电压；所述FPGA处理器是整个采集设备的核心，用于控制整个采集设备，包括无线通讯和脑电信号采集模块的初始化；所述WIFI通信模块和FPGA处理器以SPI协议进行通讯，满足多通道大数据的实时传输。
所述脑电信号采集模块包括依次电连接的高共模抑制比模拟输入前端、可编程增益放大器和模数转换器，将模拟脑电信号转化为数字信号；其中，所述高共模抑制比模拟输入前端与脑电帽电连接，所述模数转换器与FPGA处理器电连接。
所述图像刺激模块由显示屏构成。
所述手部运动支架包括五指形式的手套体、气动肌条、气软管、弹性钢片和气泵；所述气动肌条设置五根，分别沿手指方向固定于手套体手背侧，且每根气动肌条和手套体之间均设置有弹性钢片，每根气动肌条均通过气软管与气泵相连接，所述气泵与上位机电连接；
当接收到收缩控制信号时，气泵充气使得气动肌条充气膨胀，带动手套体弯曲；当接收到放松控制信号时，气泵放气使得气动肌条排气收缩，带动手套体舒展。
本发明的目的还可通过以下技术方案实现。
本发明基于脑机交互与深度学习的主动式手部训练方法，包括以下过程：
步骤一：被试者将需要训练的手部分别固定在两个手部运动支架上，同时头部佩戴脑电帽，图像刺激模块放置在被试者面前；
步骤二：设置上位机参数，包括训练时间、手指活动范围，并等待手部训练系统初始化完成；
步骤三：图像刺激模块显示随机指向左或右方向的箭头，被试者根据箭头指向想象上肢左侧或右侧运动，左箭头代表进行左手想象运动，右箭头代表进行右手想象运动；
步骤四：图像刺激模块发出蜂鸣提示，并且同时屏幕显示变为黑色；
步骤五：通过脑电帽和FPGA采集设备记录这期间的脑电信号，并传输给上位机，在上位机解码，并驱动手部运动支架带动手部运动；
步骤六：手部运动支架恢复运动到原位置，被试者休息后重复步骤三至步骤六，直到训练结束。
步骤五中上位机采用多特征融合运动想象分类算法进行解码，具体步骤如下：
步骤一：使用FBCSP对获取的脑电信号解码
首先将脑电信号经过带通滤波器滤波，假设xl和xr分别是经过预处理之后的左、右手运动想象信号，其大小均为N×T的矩阵，其中N表示脑电采集数据时的通道数量，T表示每个通道数量的样本数；数据的归一化空间协方差矩阵表示为：
Figure BDA0002517562610000041
其中，XT为X转置，tr(A)表示A的迹，R方差l是xl的协矩阵，Rr是xr的协方差矩阵；对每次实验的协方差矩阵求均值得到
Figure BDA0002517562610000042
和
Figure BDA0002517562610000043
则复合空间的协方差矩阵分解为：
Figure BDA0002517562610000044
其中，B是特征向量矩阵，λ是特征值组成的对角矩阵，并且按照对角线上的元素进行递减排列，求得白化变换矩阵如下：
Figure BDA0002517562610000045
平均协方差矩阵
Figure BDA0002517562610000046
和
Figure BDA0002517562610000047
变换为：
Figure BDA0002517562610000048
Sl与Sr有共同的特征向量，利用下式求出特征向量D：
Figure BDA0002517562610000049
其中，λ1+λ2＝I，I为单位矩阵，将λ1对角线上的元素按照从大到小排列，则对应的λ2对角线上的元素为从小到大排列，选取λ1的前m个最大特征值对应的特征向量Dl，和后m个最小的特征值Dr来构造滤波器Wcsp，Wcsp构造变换如下所示：
Figure BDA00025175626100000410
对于单次任务的脑电数据x做如下变化：Z＝Wcspx；对于脑电数据的特征提取，取投影后的信号Zp(p＝1,.....,2m)做如下变换之后的值作为特征值：
Figure BDA0002517562610000051
将这部分特征作为第一类特征；
步骤二：脑电信号的高低频部分通过小波包变换后得到分解，利用小波包算法对运动想象脑电信号分析；
小波分解，将尺度函数
Figure BDA0002517562610000052
记为u0(t)，小波函数δ(t)记为u1(t)，双尺度方程为：
Figure BDA0002517562610000053
u0(t)＝δ(t)所对应的小波包为{un(t)n∈z}，z表示自然数集；设S(t)是时间信号，
Figure BDA0002517562610000054
是第n层上的第m个小波，二进制小波包分解为：
Figure BDA0002517562610000055
小波包重构：
Figure BDA0002517562610000056
n＝N-1,N-2,.....1,0；m＝2n-1,....,2,1；
N＝log2 K，K是小波的数量；H(k)是一个小波包重构滤波器相关的拓展函数，G(k)是另一个小波包重构滤波器相关的小波，经过重构的脑电信号利用CSP得到的特征，作为第二类特征；
步骤三：使用脑网络获取的脑电信号特征
首先对脑电信号进行带通滤波，滤波器的截止频率分别为7-14Hz、16-30Hz；网络中的节点和连边分别选择脑电信号的通道，以及任意两个通道之间的相关性；使用典型相关分析来计算连边，分析整个脑电频率以及特定频段范围之间的信号，对于两组长度相同的一维序列U、V，相关系数为：
Figure BDA0002517562610000057
得到的功能网络是一个相关矩阵，其中每个元素代表两个大脑区域之间的相关性；在获得相关矩阵后，下一步是通过设置阈值对其进行二值化；如果矩阵中某个元素的值大于此阈值，则认为两个大脑区域之间存在功能联系，此处的值设置为1；否则，该值设置为0；从而建立一个完整的二值化函数网络；将二值化函数网络作为第三类特征；
步骤四：在三类特征的基础上搭建深度学习网络模型对脑电信号进行分类；
其中，深度学习网络模型的搭建过程如下：
1)对于第一类特征，深度学习网络模型的第一个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；
一个二维卷积层：卷积核数量为32，卷积核大小为6×6，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000061
一个最大池化层：池化核大小为2×2，具体过程描述为Pp＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出；
一个二维卷积层：卷积核数量为64，卷积核大小为4×4，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure BDA0002517562610000062
二个二维卷积层：卷积核数量为64，卷积核大小为3×3，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure BDA0002517562610000063
二个全连接层：包含64个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000064
2)对于第二类特征，深度学习网络模型的第二个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；
一个二维卷积层：卷积核数量为32，卷积核大小为3×32，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000071
一个最大池化层：池化核大小为3×3；
一个二维卷积层：卷积核数量为64，卷积核大小为3×16，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure BDA0002517562610000072
一个二维卷积层：卷积核数量为64，卷积核大小为2×8，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure BDA0002517562610000073
一个全连接层：包含64个神经元，采用Relu激活函数fRelu(x)＝max(0,x)
3)对于第三类特征，深度学习网络模型的第三个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；
一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure BDA0002517562610000074
一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure BDA0002517562610000075
4)将三个分支网络使用concatenate层连接，分类器作为神经网络的输出层，输出分类结果，使用4个神经元表示，通过Softmax函数处理，Softmax函数本质上是归一化的指数函数，定义为
Figure BDA0002517562610000081
其中z是上一层网络的输出，维度为C，yi为预测对象属于第i类的概率。
5)对深度学习网络模型进行训练：
(a)将样本集中70％的数据作为训练集，用于训练初始深度学习网络模型，确定初始深度学习网络模型参数，30％的数据作为测试集，用于测试已经训练好的深度学习网络模型的泛化能力；
(b)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述超参数包括学习率、权值衰减、学习率衰减；
(c)通过反向传播算法对初始深度学习网络模型进行训练；
(d)在训练中通过梯度下降法对网络权值进行调整，公式为
Figure BDA0002517562610000082
W是更新前的网络权值，Wnew是更新后的网络权值，ξ是学习率，
Figure BDA0002517562610000083
是误差对网络权值的偏导；
(e)当网络训练迭代次数超过设定值M时，停止训练。
与现有技术相比，本发明的技术方案所带来的有益效果是：
本发明基于运动想象范式，将脑机接口与脑卒中康复系统融合，构建一整套脑卒中上肢主动康复系统，通过采集使用者的脑电信号，解码使用者的运动意图，并控制手部运动支架辅助使用者运动，以实现脑卒中使用者的主动康复训练，增强了使用者的参与度，提高了康复训练的准确度和效率。
附图说明
图1是本发明基于脑机交互与深度学习的主动式手部训练系统的框图。
图2是本发明涉及到的脑电帽的电极分布位置及名称示意图。
图3是本发明涉及到的FPGA采集设备的原理框图。
图4是本发明涉及到的刺激界面。
图5是本发明涉及到的手部运动支架示意图。
附图标记：1-手套体，2-气动肌条，3-气软管。
具体实施方式
下面结合附图对本发明作进一步的描述。
如图1所示，本发明基于脑机交互与深度学习的主动式手部训练系统，包括脑电帽、FPGA采集设备、图像刺激模块、上位机、手部运动支架。所述FPGA采集设备通过DUSB37接口与脑电帽连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接。
所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行滤波放大等预处理操作，通过无线传输到上位机。如图2所示，所述脑电帽具有37个电极，其中4个电极为HEOL、HEOR、VEOL和VEOU眼电电极，1个电极为设备的参考电极GND，32个电极为遵循“国际10-20系统”分布的脑电电极和耳后参考电极A1、A2。
由于市面上的脑电采集设备普遍体积较大，价格昂贵。因此本发明中设计了一套FPGA采集设备。所述FPGA采集设备用于生物电信号的采集和传输如图3所示，包括电源模块、FPGA处理器、脑电信号采集模块和WIFI通信模块。所述电源模块分别与FPGA处理器、脑电信号采集模块、WIFI模块电连接，所述FPGA处理器还分别与脑电信号采集模块、WIFI模块电连接。其中，所述电源模块控制整个系统硬件系统的开关，为FPGA处理器、脑电信号采集模块和WIFI模块提供所需要的电压。所述FPGA处理器是整个采集设备的核心，用于控制整个采集设备，包括无线通讯和脑电信号采集模块的初始化。所述WIFI通信模块和FPGA处理器以SPI协议进行通讯，可满足多通道大数据的实时传输。所述脑电信号采集模块包括依次电连接的高共模抑制比模拟输入前端、低噪声的可编程增益放大器(PGA)和高分辨率的模数转换器，可以将模拟脑电信号转化为数字信号。其中，所述高共模抑制比模拟输入前端与脑电帽电连接，所述模数转换器与FPGA处理器电连接。
所述图像刺激模块由显示屏构成，根据训练项目产生对应的运动视觉提示，显示刺激界面，以提示被试者进行相应动作的想象运动；同时所述上位机接收到脑电信号后通过多特征融合算法对脑电信号进行多特征解码，特征包括FBCSP、小波包变换和脑网络三方面特征。上位机中深度学习网络模型对特征进行分类，生成对应的控制信号。所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的康复运动训练。
所述手部运动支架收到上位机传来的控制信号进行相应的运动，所述的手部运动支架具有实时控制功能，其结构如图5所示，包括五指形式的手套体1、气动肌条2、气软管3、弹性钢片和气泵。所述手套体1是弹性材料制成，所述气动肌条2设置五根，分别沿手指方向固定于手套体1手背侧，且每根气动肌条2和手套体1之间均设置有弹性钢片，每根气动肌条2均通过气软管3与气泵相连接，所述气泵与上位机电连接。所述手部运动支架用于带动被试者进行关节运动并提供保护作用，手部运动支架可以提供运动助力或者阻力，可以通过上位机设置，以适应不同康复周期的需求。
当接收到收缩控制信号时，气泵充气使得气动肌条2充气膨胀，带动手套体1弯曲。当接收到放松控制信号时，气泵放气使得气动肌条2排气收缩，带动手套体1舒展。所述手部运动支架运动幅度为0-90度，具有力学阈值保护的功能，当检测到压力过大时会自动断电，从而达到保护手部关节的作用。
本发明基于脑机交互与深度学习的主动式手部训练方法，包括以下过程：
步骤一：被试者坐在舒适的座椅上，放松准备，将需要训练的手部分别固定在两个手部运动支架上，同时头部佩戴脑电帽，图像刺激模块放置在被试者面前。
步骤二：设置上位机参数，包括训练时间、手指活动范围，并等待手部训练系统初始化完成。
步骤三：图像刺激模块显示随机指向左或右方向的箭头，被试者根据箭头指向想象上肢左侧或右侧运动，左箭头代表进行左手想象运动，右箭头代表进行右手想象运动；此步骤可维持2s。
步骤四：在步骤三结束后，图像刺激模块发出蜂鸣提示，并且同时屏幕显示变为黑色；此步骤可维持1s。
步骤五：通过脑电帽和FPGA采集设备记录这期间的脑电信号，并通过WIFI传输到上位机中保存，在上位机解码，并驱动手部运动支架带动手部运动；此过程可维持3s。
其中，上位机采用多特征融合运动想象分类算法进行解码，具体步骤如下：
(1)使用FBCSP对获取的脑电信号解码
首先将脑电信号经过若干个带通滤波器滤波，假设xl和xr分别是经过预处理之后的左、右手运动想象信号，其大小均为N×T的矩阵，其中N表示脑电采集数据时的通道数量，T表示每个通道数量的样本数。数据的归一化空间协方差矩阵表示为：
其中，XT为X转置，tr(A)表示A的迹，R方差l是xl的协矩阵，Rr是xr的协方差矩阵。对每次实验的协方差矩阵求均值得到
Figure BDA0002517562610000112
和
Figure BDA0002517562610000113
则复合空间的协方差矩阵分解为：
Figure BDA0002517562610000114
其中，B是特征向量矩阵，λ是特征值组成的对角矩阵，并且按照对角线上的元素进行递减排列，求得白化变换矩阵如下：
Figure BDA0002517562610000115
平均协方差矩阵
Figure BDA0002517562610000116
和
Figure BDA0002517562610000117
可以变换为：
Figure BDA0002517562610000118
Sl与Sr有共同的特征向量，利用下式可以求出特征向量D：
Figure BDA0002517562610000119
其中，λ1+λ2＝I，I为单位矩阵，将λ1对角线上的元素按照从大到小排列，则对应的λ2对角线上的元素为从小到大排列，选取λ1的前m个最大特征值对应的特征向量Dl，和后m个最小的特征值Dr来构造滤波器Wcsp，Wcsp构造变换如下所示：
Figure BDA00025175626100001110
对于单次任务的脑电数据x做如下变化：Z＝Wcspx；对于脑电数据的特征提取，可以取投影后的信号Zp(p＝1,.....,2m)做如下变换之后的值作为特征值：
Figure BDA0002517562610000121
将这部分特征作为第一类特征。
(2)脑电信号的高低频部分通过小波包变换后得到细致的分解，利用小波包算法对运动想象脑电信号分析，能显著提升运动想象脑电特征分类的准确率。
小波分解，将尺度函数
Figure BDA0002517562610000122
记为u0(t)，小波函数δ(t)记为u1(t)。双尺度方程为：
Figure BDA0002517562610000123
u0(t)＝δ(t)所对应的小波包为{un(t)n∈z}，z表示自然数集。设S(t)是时间信号，
Figure BDA0002517562610000124
是第n层上的第m个小波，二进制小波包分解为：
Figure BDA0002517562610000125
小波包重构：
Figure BDA0002517562610000126
n＝N-1,N-2,.....1,0；m＝2n-1,....,2,1；
N＝log2 K，K是小波的数量；H(k)是一个小波包重构滤波器相关的拓展函数，G(k)是另一个小波包重构滤波器相关的小波，经过重构的脑电信号利用CSP得到的特征，作为第二类特征。
(3)使用脑网络获取的脑电信号特征
首先对脑电信号进行带通滤波，滤波器的截止频率分别为7-14Hz、16-30Hz；网络中的节点和连边分别选择脑电信号的通道，以及任意两个通道之间的相关性。使用典型相关分析来计算连边，此方法可以分析整个脑电频率以及特定频段范围之间的信号，对于两组长度相同的一维序列U、V，相关系数
Figure BDA0002517562610000127
可以由上述公式计算得到。从数学上讲，得到的功能网络是一个相关矩阵，其中每个元素代表两个大脑区域之间的相关性。在获得相关矩阵后，下一步是通过设置阈值对其进行二值化。如果矩阵中某个元素的值大于此阈值，则认为两个大脑区域之间存在功能联系，此处的值设置为1。否则，该值设置为0。经过试验可以设置阈值为0.84，从而建立一个完整的二值化函数网络。将二值化函数网络作为第三类特征。
(4)在三类特征的基础上搭建深度学习网络模型对脑电信号进行分类；
其中，深度学习网络模型的搭建过程如下：
1)对于第一类特征，深度学习网络模型的第一个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据。
一个二维卷积层：卷积核数量为32，卷积核大小为6×6，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000131
一个最大池化层：池化核大小为2×2，具体过程描述为Pp＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出。
一个二维卷积层：卷积核数量为64，卷积核大小为4×4，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数.
Figure BDA0002517562610000132
二个二维卷积层：卷积核数量为64，卷积核大小为3×3，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000133
二个全连接层：包含64个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000134
2)对于第二类特征，深度学习网络模型的第二个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据。
一个二维卷积层：卷积核数量为32，卷积核大小为3×32，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000141
一个最大池化层：池化核大小为3×3；
一个二维卷积层：卷积核数量为64，卷积核大小为3×16，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000142
一个二维卷积层：卷积核数量为64，卷积核大小为2×8，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000143
一个全连接层：包含64个神经元，采用Relu激活函数fRelu(x)＝max(0,x)。
3)对于第三类特征，深度学习网络模型的第三个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据。
一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000144
一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure BDA0002517562610000145
4)将三个分支网络使用concatenate层连接，分类器作为神经网络的输出层，输出分类结果，使用4个神经元表示，通过Softmax函数处理，Softmax函数本质上是归一化的指数函数，定义为
Figure BDA0002517562610000151
其中z是上一层网络的输出，维度为C，yi为预测对象属于第i类的概率。
5)对深度学习网络模型进行训练：
a)将样本集中70％的数据作为训练集，用于训练初始深度学习网络模型，确定初始深度学习网络模型参数，30％的数据作为测试集，用于测试已经训练好的深度学习网络模型的泛化能力；
b)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述超参数包括学习率、权值衰减、学习率衰减；
c)通过反向传播算法对初始深度学习网络模型进行训练；
d)在训练中通过梯度下降法对网络权值进行调整，公式为
Figure BDA0002517562610000152
W是更新前的网络权值，Wnew是更新后的网络权值，ξ是学习率，
Figure BDA0002517562610000153
是误差对网络权值的偏导；
e)当网络训练迭代次数超过设定值M时，停止训练。
为了评估上述算法的可靠性，本发明手部训练系统在公开的数据集中进行了评估，数据集包括8名被试者，每个人共进行了576次试验。将采集到的数据利用上述算法进行测试，四分类准确率达到80.12％。
步骤六：手部运动支架恢复运动到原位置，被试者休息，此过程可维持1s。
步骤七：重复步骤三至步骤六，直到训练结束。
尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种基于脑机交互与深度学习的主动式手部训练系统，其特征在于，包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架，所述FPGA采集设备与脑电帽通过DUSB37接口连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接；
所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。
2.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述脑电帽具有37个电极，其中4个电极为HEOL、HEOR、VEOL和VEOU眼电电极，1个电极为设备的参考电极GND，32个电极为遵循“国际10-20系统”分布的脑电电极和耳后参考电极A1、A2。
3.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述FPGA采集设备包括电源模块、FPGA处理器、脑电信号采集模块和WIFI通信模块，所述电源模块分别与FPGA处理器、脑电信号采集模块、WIFI模块电连接，所述FPGA处理器还分别与脑电信号采集模块、WIFI模块电连接；其中，所述电源模块为FPGA处理器、脑电信号采集模块和WIFI模块提供所需要的电压；所述FPGA处理器是整个采集设备的核心，用于控制整个采集设备，包括无线通讯和脑电信号采集模块的初始化；所述WIFI通信模块和FPGA处理器以SPI协议进行通讯，满足多通道大数据的实时传输。
4.根据权利要求3所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述脑电信号采集模块包括依次电连接的高共模抑制比模拟输入前端、可编程增益放大器和模数转换器，将模拟脑电信号转化为数字信号；其中，所述高共模抑制比模拟输入前端与脑电帽电连接，所述模数转换器与FPGA处理器电连接。
5.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述图像刺激模块由显示屏构成。
6.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述手部运动支架包括五指形式的手套体(1)、气动肌条(2)、气软管(3)、弹性钢片和气泵；所述气动肌条(2)设置五根，分别沿手指方向固定于手套体(1)手背侧，且每根气动肌条(2)和手套体(1)之间均设置有弹性钢片，每根气动肌条(2)均通过气软管(3)与气泵相连接，所述气泵与上位机电连接；
当接收到收缩控制信号时，气泵充气使得气动肌条(2)充气膨胀，带动手套体(1)弯曲；当接收到放松控制信号时，气泵放气使得气动肌条(2)排气收缩，带动手套体(1)舒展。
7.一种基于上述权利要求1至6中任意一项所述的基于脑机交互与深度学习的主动式手部训练系统的训练方法，其特征在于，包括以下过程：
步骤一：被试者将需要训练的手部分别固定在两个手部运动支架上，同时头部佩戴脑电帽，图像刺激模块放置在被试者面前；
步骤二：设置上位机参数，包括训练时间、手指活动范围，并等待手部训练系统初始化完成；
步骤三：图像刺激模块显示随机指向左或右方向的箭头，被试者根据箭头指向想象上肢左侧或右侧运动，左箭头代表进行左手想象运动，右箭头代表进行右手想象运动；
步骤四：图像刺激模块发出蜂鸣提示，并且同时屏幕显示变为黑色；
步骤五：通过脑电帽和FPGA采集设备记录这期间的脑电信号，并传输给上位机，在上位机解码，并驱动手部运动支架带动手部运动；
步骤六：手部运动支架恢复运动到原位置，被试者休息后重复步骤三至步骤六，直到训练结束。
8.根据权利要求7所述的基于脑机交互与深度学习的主动式手部训练方法，其特征在于，步骤五中上位机采用多特征融合运动想象分类算法进行解码，具体步骤如下：
步骤一：使用FBCSP对获取的脑电信号解码
首先将脑电信号经过带通滤波器滤波，假设xl和xr分别是经过预处理之后的左、右手运动想象信号，其大小均为N×T的矩阵，其中N表示脑电采集数据时的通道数量，T表示每个通道数量的样本数；数据的归一化空间协方差矩阵表示为：
Figure FDA0002517562600000031
其中，XT为X转置，tr(A)表示A的迹，R方差l是xl的协矩阵，Rr是xr的协方差矩阵；对每次实验的协方差矩阵求均值得到
Figure FDA0002517562600000032
和
Figure FDA0002517562600000033
则复合空间的协方差矩阵分解为：
Figure FDA0002517562600000034
其中，B是特征向量矩阵，λ是特征值组成的对角矩阵，并且按照对角线上的元素进行递减排列，求得白化变换矩阵如下：
Figure FDA0002517562600000035
平均协方差矩阵
Figure FDA0002517562600000036
和
Figure FDA0002517562600000037
变换为：
Figure FDA0002517562600000038
Sl与Sr有共同的特征向量，利用下式求出特征向量D：
Figure FDA0002517562600000039
其中，λ1+λ2＝I，I为单位矩阵，将λ1对角线上的元素按照从大到小排列，则对应的λ2对角线上的元素为从小到大排列，选取λ1的前m个最大特征值对应的特征向量Dl，和后m个最小的特征值Dr来构造滤波器Wcsp，Wcsp构造变换如下所示：
Figure FDA00025175626000000310
对于单次任务的脑电数据x做如下变化：Z＝Wcspx；对于脑电数据的特征提取，取投影后的信号Zp(p＝1,.....,2m)做如下变换之后的值作为特征值：
Figure FDA00025175626000000311
将这部分特征作为第一类特征；
步骤二：脑电信号的高低频部分通过小波包变换后得到分解，利用小波包算法对运动想象脑电信号分析；
小波分解，将尺度函数
Figure FDA0002517562600000041
记为u0(t)，小波函数δ(t)记为u1(t)，双尺度方程为：
Figure FDA0002517562600000042
u0(t)＝δ(t)所对应的小波包为{un(t)n∈z}，z表示自然数集；设S(t)是时间信号，
Figure FDA0002517562600000043
是第n层上的第m个小波，二进制小波包分解为：
Figure FDA0002517562600000044
小波包重构：
Figure FDA0002517562600000045
n＝N-1,N-2,.....1,0；m＝2n-1,....,2,1；
N＝log2K，K是小波的数量；H(k)是一个小波包重构滤波器相关的拓展函数，G(k)是另一个小波包重构滤波器相关的小波，经过重构的脑电信号利用CSP得到的特征，作为第二类特征；
步骤三：使用脑网络获取的脑电信号特征
首先对脑电信号进行带通滤波，滤波器的截止频率分别为7-14Hz、16-30Hz；网络中的节点和连边分别选择脑电信号的通道，以及任意两个通道之间的相关性；使用典型相关分析来计算连边，分析整个脑电频率以及特定频段范围之间的信号，对于两组长度相同的一维序列U、V，相关系数为：
Figure FDA0002517562600000046
得到的功能网络是一个相关矩阵，其中每个元素代表两个大脑区域之间的相关性；在获得相关矩阵后，下一步是通过设置阈值对其进行二值化；如果矩阵中某个元素的值大于此阈值，则认为两个大脑区域之间存在功能联系，此处的值设置为1；否则，该值设置为0；从而建立一个完整的二值化函数网络；将二值化函数网络作为第三类特征；
步骤四：在三类特征的基础上搭建深度学习网络模型对脑电信号进行分类；
其中，深度学习网络模型的搭建过程如下：
1)对于第一类特征，深度学习网络模型的第一个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；
一个二维卷积层：卷积核数量为32，卷积核大小为6×6，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000051
一个最大池化层：池化核大小为2×2，具体过程描述为Pp＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出；
一个二维卷积层：卷积核数量为64，卷积核大小为4×4，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000052
二个二维卷积层：卷积核数量为64，卷积核大小为3×3，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000053
二个全连接层：包含64个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数。
Figure FDA0002517562600000054
2)对于第二类特征，深度学习网络模型的第二个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；
一个二维卷积层：卷积核数量为32，卷积核大小为3×32，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000061
一个最大池化层：池化核大小为3×3；
一个二维卷积层：卷积核数量为64，卷积核大小为3×16，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000062
一个二维卷积层：卷积核数量为64，卷积核大小为2×8，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000063
一个全连接层：包含64个神经元，采用Relu激活函数fRelu(x)＝max(0,x)
3)对于第三类特征，深度学习网络模型的第三个分支网络依次包括：
一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；
一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000064
一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；
Figure FDA0002517562600000065
4)将三个分支网络使用concatenate层连接，分类器作为神经网络的输出层，输出分类结果，使用4个神经元表示，通过Softmax函数处理，Softmax函数本质上是归一化的指数函数，定义为
Figure FDA0002517562600000066
其中z是上一层网络的输出，维度为C，yi为预测对象属于第i类的概率；
5)对深度学习网络模型进行训练：
(a)将样本集中70％的数据作为训练集，用于训练初始深度学习网络模型，确定初始深度学习网络模型参数，30％的数据作为测试集，用于测试已经训练好的深度学习网络模型的泛化能力；
(b)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述超参数包括学习率、权值衰减、学习率衰减；
(c)通过反向传播算法对初始深度学习网络模型进行训练；
(d)在训练中通过梯度下降法对网络权值进行调整，公式为
Figure FDA0002517562600000071
W是更新前的网络权值，Wnew是更新后的网络权值，ξ是学习率，
Figure FDA0002517562600000072
是误差对网络权值的偏导；
(e)当网络训练迭代次数超过设定值M时，停止训练。
CN202010481483.7A 2020-05-31 2020-05-31 基于脑机交互与深度学习的脑卒中主动式手部康复系统 Active CN111631908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481483.7A CN111631908B (zh) 2020-05-31 2020-05-31 基于脑机交互与深度学习的脑卒中主动式手部康复系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481483.7A CN111631908B (zh) 2020-05-31 2020-05-31 基于脑机交互与深度学习的脑卒中主动式手部康复系统

Publications (2)

Publication Number Publication Date
CN111631908A true CN111631908A (zh) 2020-09-08
CN111631908B CN111631908B (zh) 2022-05-27

Family

ID=72324264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481483.7A Active CN111631908B (zh) 2020-05-31 2020-05-31 基于脑机交互与深度学习的脑卒中主动式手部康复系统

Country Status (1)

Country Link
CN (1) CN111631908B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112057047A (zh) * 2020-09-11 2020-12-11 首都师范大学 用于实现运动想象分类的装置及其混合网络系统构建方法
CN112200066A (zh) * 2020-10-09 2021-01-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
CN112936259A (zh) * 2021-01-26 2021-06-11 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN113359991A (zh) * 2021-06-10 2021-09-07 西安交通大学 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
CN113656624A (zh) * 2021-10-18 2021-11-16 深圳江财教育科技有限公司 一种基于增强现实的教学设备控制方法、系统和存储介质
CN115617180A (zh) * 2022-12-02 2023-01-17 浙江大学 一种基于侵入式脑机接口的灵巧手部运动解码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN108904980A (zh) * 2018-08-01 2018-11-30 国家康复辅具研究中心 基于脑电和功能性电刺激的上肢主动康复方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN108904980A (zh) * 2018-08-01 2018-11-30 国家康复辅具研究中心 基于脑电和功能性电刺激的上肢主动康复方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NICHOLAS CHENG 等: "Brain-Computer Interface-based Soft Robotic Glove Rehabilitation for Stroke", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112057047A (zh) * 2020-09-11 2020-12-11 首都师范大学 用于实现运动想象分类的装置及其混合网络系统构建方法
CN112200066A (zh) * 2020-10-09 2021-01-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
CN112200066B (zh) * 2020-10-09 2022-04-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
CN112936259A (zh) * 2021-01-26 2021-06-11 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN112936259B (zh) * 2021-01-26 2023-06-20 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN113359991A (zh) * 2021-06-10 2021-09-07 西安交通大学 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
CN113359991B (zh) * 2021-06-10 2023-08-04 西安交通大学 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
CN113656624A (zh) * 2021-10-18 2021-11-16 深圳江财教育科技有限公司 一种基于增强现实的教学设备控制方法、系统和存储介质
CN113656624B (zh) * 2021-10-18 2022-02-08 深圳江财教育科技有限公司 一种基于增强现实的教学设备控制方法、系统和存储介质
CN115617180A (zh) * 2022-12-02 2023-01-17 浙江大学 一种基于侵入式脑机接口的灵巧手部运动解码方法
CN115617180B (zh) * 2022-12-02 2023-04-07 浙江大学 一种基于侵入式脑机接口的灵巧手部运动解码方法

Also Published As

Publication number Publication date
CN111631908B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111631908B (zh) 基于脑机交互与深度学习的脑卒中主动式手部康复系统
CN110238863B (zh) 基于脑电-肌电信号的下肢康复机器人控制方法及系统
Yang et al. Automatic ocular artifacts removal in EEG using deep learning
Gurve et al. Subject-specific EEG channel selection using non-negative matrix factorization for lower-limb motor imagery recognition
CN111584030A (zh) 基于深度学习和复杂网络的意念控制智能康复系统及应用
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN110495893B (zh) 一种运动意图连续脑肌电多层次动态融合识别系统及方法
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
CN102306303B (zh) 一种基于小训练样本的脑电信号特征提取方法
CN101332136A (zh) 脑电肌电联合控制的电动假手以及控制方法
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
CN114052744B (zh) 基于脉冲神经网络的心电信号分类方法
CN105892676B (zh) 一种血管介入手术送丝机构的人机交互装置、系统及方法
Hameed et al. A review on surface electromyography-controlled hand robotic devices used for rehabilitation and assistance in activities of daily living
CN111887858A (zh) 基于跨模态映射的心冲击图信号心率估计方法
CN104571504A (zh) 一种基于想象动作的在线脑-机接口方法
CN107808166A (zh) 一种memd张量线性拉普拉斯判别的肌电特征提取方法
CN115568866A (zh) 一种神经损伤的评价系统及其方法
CN113723557A (zh) 一种基于多频带时空卷积网络的抑郁脑电分类系统
Feng et al. Feature extraction algorithm based on csp and wavelet packet for motor imagery eeg signals
CN112998725A (zh) 一种基于运动观察的脑机接口技术的康复方法与系统
CN113558638A (zh) 基于Vine Copula的脑肌耦合模型构建方法
CN116831874A (zh) 一种基于肌电信号的下肢康复器控制方法
CN111584028B (zh) 基于可视图符号网络和宽度学习的新型脑控智能康复系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant