CN114242202A - 脑卒中手部康复训练方法、装置及系统 - Google Patents

脑卒中手部康复训练方法、装置及系统 Download PDF

Info

Publication number
CN114242202A
CN114242202A CN202111550794.5A CN202111550794A CN114242202A CN 114242202 A CN114242202 A CN 114242202A CN 202111550794 A CN202111550794 A CN 202111550794A CN 114242202 A CN114242202 A CN 114242202A
Authority
CN
China
Prior art keywords
dimensional
neural network
eeg
images
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111550794.5A
Other languages
English (en)
Inventor
王贺
陈云刚
孟庆典
张兴剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Junsheng Tianjin Technology Development Co ltd
Original Assignee
Junsheng Tianjin Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Junsheng Tianjin Technology Development Co ltd filed Critical Junsheng Tianjin Technology Development Co ltd
Priority to CN202111550794.5A priority Critical patent/CN114242202A/zh
Publication of CN114242202A publication Critical patent/CN114242202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种脑卒中手部康复训练方法、装置及系统，所述方法包括：获取四十电极的EEG脑电信号；对所述EEG脑电信号进行快速傅里叶变换，分别提取EEG频谱中的θ，α，β频带作为EEG特征；将40导联电极的位置从3维空间投影到2维平面；将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；获取所述运动信号卷积神经网络模型输出的运动想象结果；根据所述运动想象结果引导手部康复设备对进行康复治疗。

Description

脑卒中手部康复训练方法、装置及系统
技术领域
本发明涉及脑卒中康复技术领域，尤其涉及一种脑卒中手部康复训练方法、装置及系统。
背景技术
脑电图(EEG)作为一种记录脑电活动的生理监测方法，它通过布置在大脑皮层附近的电极源源不断地收集大脑的电位变化。近年来数字化技术的发展，为脑电信号的收集与分析创造了极大的便利，信号的时间分辨率可以被精确到毫秒级甚至更高。作为对比，除脑电图之外，无创认知神经科学技术中仅有头颅磁共振波谱(MRS)和脑磁图(MEG)能够获取处于这个采样率的数据。此外，由于EEG不会带来噪音，因此EEG可以更加准确的反应人脑对于声音的刺激。EEG信号中所蕴含的丰富信息已经被成功提取，并应用到了癫痫诊断，睡眠障碍诊断，麻醉深度判别，情感辨识，运动想象等诸多领域。脑机接口技术(BCI)的发展更是让EEG信号的应用扩展到了脑控外设领域，近年来脑控轮椅，脑控义肢设备的发明为残疾人复健开创了全新的前景。
脑卒中的发病率近年来在我国逐渐上升，其致病原因多样，患者广泛，群体巨大。患者发病后，脑部血管的堵塞或破损会导致患者部分脑区功能的受损，引发患者部分肢体的无力，甚至是瘫痪。为了保证脑卒中患者能够恢复手部的日常功能性活动，保证其脑部意图与手部对应活动的协调同步，需要不仅仅单纯恢复手部的运动能力，而且需要结合大脑意识同步进行康复训练。基于EEG信号的康复治疗设备应运而生。
在EEG信号研究领域，为了克服人脑这一复杂系统带来的信号耦合，研究人员们提出了许多相应的方法来对EEG信号进行辨识，分类与预测。例如提取EEG经典特征的方法，EEG信号时频域分析技术，贝叶斯方法，以及近年来正在逐渐得到广泛关注的深度学习方法。如何提取EEG信号中的不同特征，将收集到的被试多元状态信息进行有效融合，从而更加精准的判断被试当前运动意图是一项十分具有挑战性的任务。创造一种能够在不同被试者身上都具有良好辨识表现的方法将会促进运动想象辨识系统在实际场景中的应用与推广。
发明内容
本发明实施例提供了一种脑卒中手部康复训练方法、装置及系统，以解决现有技术中无法针对大量种类的EEG信号判断被试当前运动意图的技术问题。
第一方面，本发明实施例提供了一种脑卒中手部康复训练方法，包括：
获取四十电极的EEG脑电信号；
对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；
将40导联电极的位置从3维空间投影到2维平面；
将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；
将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；
获取所述运动信号卷积神经网络模型输出的运动想象结果；
根据所述运动想象结果引导手部康复设备对进行康复治疗。
第二方面，本发明实施例还提供了一种脑卒中手部康复训练装置，包括：
获取模块，用于获取四十电极的EEG脑电信号；
提起模块，用于对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；
投影模块，用于将40导联电极的位置从3维空间投影到2维平面；
匹配模块，用于将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；
转化模块，用于将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；
输出模块，用于获取所述运动信号卷积神经网络模型输出的运动想象结果；
引导模块，用于根据所述运动想象结果引导手部康复设备对进行康复治疗。
第三方面，本发明实施例还提供了一种脑卒中手部康复训练系统，包括：
上述实施例提供的任一所述的脑卒中手部康复训练装置；
高精度40导脑电采集设备和手部康复设备。
本发明实施例提供的脑卒中手部康复训练方法、装置及系统，通过获取四十电极的EEG脑电信号；对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；将40导联电极的位置从3维空间投影到2维平面；将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；获取所述运动信号卷积神经网络模型输出的运动想象结果；根据所述运动想象结果引导手部康复设备对进行康复治疗。利用位置投影，可以将不同位置的脑电极投射到一个平面中，并通过归一化生成离散图像，并通过图像转换，最终形成重要三个频带对应的彩色脑电信号图像，可以将多种脑电信号特征融合到一张图像中，便于神经网络模型进行判别，同时又不会导致重要信息缺失。并利用判别结果引导病人进行康复训练。同时，还方便构建运动信号卷积神经网络模型。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例一提供的脑卒中手部康复训练方法的流程示意图；
图2为本发明实施例一提供的脑卒中手部康复训练方法中高精度40导联脑电采集设备的结构示意图；
图3为本发明实施例一提供的脑卒中手部康复训练方法中最小插值单元示意图；
图4为本发明实施例一提供的脑卒中手部康复训练方法中EEG时域信号转换为二维彩色图像的流程与结果展示示意图
图5是本发明实施例二提供的脑卒中手部康复训练方法的流程示意图；
图6为本发明实施例二提供的脑卒中手部康复训练方法中CELL内部结构图；
图7为本发明实施例二提供的脑卒中手部康复训练方法中one-shot模型的基础架构示意图；
图8为本发明实施例二提供的脑卒中手部康复训练方法中网络梯度传播示意图；
图9为本发明实施例二提供的脑卒中手部康复训练方法中最终网络结构搜索得到的网络基础单元CELL示意图；
图10为本发明实施例三提供的脑卒中手部康复训练装置的结构示意图；
图11为发明实施例四提供的脑卒中手部康复训练系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的脑卒中手部康复训练方法的流程图，本实施例可适用于利用四十电极的EEG脑电信号判别动作信号引导康复的情况，该方法可以由脑卒中手部康复训练装置来执行，具体包括如下步骤：
S110，获取四十电极的EEG脑电信号。
示例性的，可以采用高精度40导联脑电采集设备获取四十电极的EEG脑电信号。图2为本发明实施例一提供的脑卒中手部康复训练方法中高精度40导联脑电采集设备的结构示意图，参见图2，所述高精度40导联脑电采集设备包括有：依次连接的用于采集EEG脑电信号的脑电极帽及其转接线、用于脑电信号放大和转换的高精度生物电信号采集电路、用于对模拟信号与数字信号进行区分隔离，保证EEG信号纯净的隔离电路(，用于控制生物电信号采集模块并对其采集数据进行读取与传输的STM32处理器、用于将EEG脑电信号传输至上位机的USB通信电路，以及分别为生物电信号采集电路和STM32处理器供电的电源电路，其中，所述的脑电极帽及其转接线中的脑电极帽采集使用者不同脑区的EEG脑电信号，通过转接线与Y2系列圆形电连接器接口和生物电信号采集模块相连接，用于生物电信号的采集和传输；
所述的生物电信号采集模块是由数片集成了用于接收脑电极帽采集的生物电信号的高共模抑制比模拟输入模块、用于进行生物电压信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)的生物电信号采集芯片组成；所述的STM32处理器用于控制生物电信号采集模块的采集模式、参数以工作状态，并控制USB通信电路的传输模式与传输速度；
所述的USB通信电路的输出连接所述运动想象学习模块与运动想象判别模块的输入端，在HID设备的工程基础上设置为高速传输设备，最高传输速率480Mbps，将脑电信号数据向运动想象学习模块(5)与运动想象判别模块(6)传输；
所述的电源电路，输入电压为5V，由PC端的USB端口进行供电，通过电压转换模块提供系统不同芯片的工作电压，无需额外电源适配器。
自主研发的高精度40导脑电采集设备可获取使用者对应于脑电极帽的FP1,FP2,AF7,AF3,AFz,AF4,AF8,F3,F7,Fz,F4,F8,FT7,FC3,FCz,FC4,FT8,T7,C3,Cz,C4,T8,TP7,CP3,CPZ,CP4,TP8,P7,P3,Pz,P4,P8,PO7,PO3,POz,PO4,PO8,O1,O2,Oz,共四十个电极的EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联。
S120，对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征。
首先需要对采集到的脑电信号进行预处理，将采样频率从1000Hz降采样到250Hz以降低输入维度提升算法分析效率。此后，程序会自动调用Matlab中的EEGLab工具箱的带通滤波器将0.2-50Hz的信号数据保留，去除其他频段信号以减少噪声。通过EEGlab的预处理，并利用独立分量分析(Independent Component Correlation Algorithm，ICA)来消除EEG信号中的闪烁伪迹(Blink artifacts)和眼电信号干扰。
在使用者进行运动想象时，大脑EEG信号的频域θ，α，β频带包含最多关于运动想象的特征信息。首先对预处理后的运动想象EEG信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征进行分析。
S130，将40导联电极的位置从3维空间投影到2维平面。
为了得到脑部空间活动图的二维图像，将40导联电极的位置从3维空间投影到2维平面上。这种变换保持了相邻电极之间的空间相对位置不变。
示例性的，所述将40导联电极的位置从3维空间投影到2维平面，可以包括：建立二维极坐标系，选取人脑球面上的一个位置作为极坐标的坐标原点；计算球面上其他点相对于坐标原点的距离，以及相对于坐标原点的角度；将当前极坐标系转化为笛卡尔坐标系，即获得人脑的二维投影。即首先建立二维极坐标系，选取球面上的一个位置作为投影平面的“中心点”——即极坐标的坐标原点。之后计算地球上其他点相对于坐标原点的距离ρ(即球体上的弧长)，以及相对于坐标原点的角度θ。之后，将当前极坐标系转化为笛卡尔坐标系，即可获得人脑的二维投影。
需要说明的是，上述步骤也可在S120之前，不影响最终运动想象结果判断。
S140，将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像。
示例性的，可以包括：采用如下方式进行归一化；
Figure BDA0003417143410000071
t代表了频谱功率值，Pt即为归一化后结果；
对各个电极所对应的频谱功率值进行插值，最终获得32×32的图像；根据属于θ、α和β电极对应的离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像。可选的，所述对各个电极所对应的频谱功率值进行插值，可以包括：对二维坐标系中电极通道的点进行三角剖分以形成临时三角形不规则网络；在每个三角形上定义二元多项式，以创建由一系列三角形曲面片组成的曲面，三角形顶点与质心的连线将三角形分为三个子三角形，所定义的二元三次多项式如下：
Figure BDA0003417143410000081
其中，cij由各个顶点的函数值f和一阶偏导数fx，fy，以及三边中点的法向导数
Figure BDA0003417143410000082
共12个参数确定；根据临时三角形的差值曲面进行插值。
可选的，在获取了EEG电极的二维平面投影后，将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像。归一化公式如式:
Figure BDA0003417143410000083
t代表了频谱功率值，Pt即为归一化后结果。经过上式的归一化处理，保证了在利用频谱功率值生成对应像素值时，大小均保持在0到255区间范围内。
图3为本发明实施例一提供的脑卒中手部康复训练方法中最小插值单元示意图，如图3所示，可以对头皮上的频谱功率值进行插值，最终获得32×32的图像。在插值之前，对二维坐标系中电极通道的点进行三角剖分以形成临时三角形不规则网络，在每个三角形上定义二元多项式以创建由一系列三角形曲面片组成的曲面，三角形顶点与质心的连线将三角形分为三个子三角形，所定义的二元三次多项式如下：
Figure BDA0003417143410000091
其中，cij由各个顶点的函数值f和一阶偏导数fx，fy，以及三边中点的法向导数
Figure BDA0003417143410000092
这12个参数确定。
S150，将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型。
图4为本发明实施例一提供的脑卒中手部康复训练方法中EEG时域信号转换为二维彩色图像的流程与结果展示示意图。参见图4，对运动想象的θ、α和β三个不同的频带重复上述图像映射过程，得到θ、α和β三个频带的二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像。可选的，可以将单频域的图像看作是一个通道的灰度图。把多个频域的图像看作是不同的RGB通道，进行混合得到彩色图像。将得到的彩色图像输入到训练完成的运动信号卷积神经网络模型。
S160，获取所述运动信号卷积神经网络模型输出的运动想象结果。
利用训练完成的运动信号卷积神经网络模型输出对应的运动想象判别结果。
S170，根据所述运动想象结果引导手部康复设备对进行康复治疗。
目前，可支持9个康复动作，分别为：屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指。九种动作在手部康复设备中均由对应的指关节的电刺激与电机振动完成。实现动作引导。
本实施例通过过获取四十电极的EEG脑电信号；对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；将40导联电极的位置从3维空间投影到2维平面；将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；获取所述运动信号卷积神经网络模型输出的运动想象结果；根据所述运动想象结果引导手部康复设备对进行康复治疗。利用位置投影，可以将不同位置的脑电极投射到一个平面中，并通过归一化生成离散图像，并通过图像转换，最终形成重要三个频带对应的彩色脑电信号图像，可以将多种脑电信号特征融合到一张图像中，便于神经网络模型进行判别，同时又不会导致重要信息缺失。并利用判别结果引导病人进行康复训练。同时，还方便构建运动信号卷积神经网络模型。
实施例二
图5为本发明实施例二提供的脑卒中手部康复训练方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，所述方法还可增加如下步骤：利用所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型。
相应的，本实施例所提供的脑卒中手部康复训练方法，具体包括：
S210，利用所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型。
由于每个病人的脑电信号差距较大，因此，不适用于一个运动信号卷积神经网络模型对所有病人进行判别。如果采用，出现较大的误差，进而影响康复训练的效果。因此，在本实施例中，分别为每个病人建立相应的运动信号卷积神经网络模型。而建立相应的运动信号卷积神经网络模型则会需要大量的运算和调整工作，费时费力，不能便于快速为每个病人建立对应的运动信号卷积神经网络模型。
因此，在本实施例中可以通过所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型。示例性的，首先对已经存储的使用者运动想象数据进行预处理，将采样频率从1000Hz降采样到250Hz以降低输入维度提升算法分析效率。此后，程序会自动调用Matlab中的EEGLab工具箱的带通滤波器将0.2-50Hz的信号数据保留，去除其他频段信号以减少噪声。通过EEGlab的预处理，并利用独立分量分析(Independent ComponentCorrelation Algorithm，ICA)来消除EEG信号中的闪烁伪迹(Blink artifacts)和眼电信号干扰。针对人脑运动想象的大脑活跃区域，脑电信号的主要特征频带，对获得的脑电数据分别进行对应的特征提取。将获得的使用者运动想象开始后4s数据作为使用者当时脑部状态的判断依据，并同时利用对应动作作为数据类别，给脑电数据打上标签。
所述构建所述运动信号卷积神经网络模型，可以包括：构建适用于EEG脑电信号分析的网络结构搜索空间，网络由依次连接的模块化单元构成；将学习率设为0.1，共进行200周期的循环训练，Batchsize大小为128，寻找针对当前使用者不同运动想象的最优卷积神经网络结构，分别获得每个人的特有深度卷积神经网络模型结构；将每位使用者的二维彩色脑电信号图像，再依次送入所述特有深度卷积神经网络模型结构，利用Pytorch对此深度卷积神经网络模型进行全监督训练，模型学习率设为0.01，共进行200周期的循环训练，Batchsize大小为128，获得运动信号深度卷积神经网络模型。
图6为本发明实施例二提供的脑卒中手部康复训练方法中CELL内部结构图。参见图6，所述模块化单元结构为：具有4个节点的有向无环图，且每个节点只能具有两个输入，一个输出。每个单元内部的节点可以将之前两个单元的输出作为输入，也可以将同一个单元内部不同节点的输出作为输入。每个输入在预先设定好的操作空间中挑选合适的操作进行处理，得到当前节点的特征图。有向无环图中不同颜色的连线代表不同的操作，图中因为空间关系并未画出所有操作种类。
操作种类的搜索空间设置为以下八种：卷积核大小为3×3与5×5的深度可分离卷积(depthwise-separable convolution)，卷积核大小为3×3与5×5的扩展卷积(dilatedconvolution)，大小为3×3的最大池化(max pooling)，大小为3×3的平均池化(averagepooling)，用来降低网络复杂度的“跳过连接”(skip connect)与无连接。所有卷积操作的卷积核数目均设置为16。
网络在最终搭建时，首先使用普通卷积操作对输入图片进行处理。第一个与第二个单元的输入即可通过从这一卷积的输出中抽取获得。当全部单元堆叠完毕，网络的最后将连接全连接层进行分类操作。
可以采用基于强化学习的网络结构搜索算法，具体的，
可以将网络基础单元构建为one-shot模型。图7为本发明实施例二提供的脑卒中手部康复训练方法中one-shot模型的基础架构示意图。如图7所示，在该模型中，网络每条连边上的可能操作均被列出。网络结构搜索中将包含所有可能操作连边的网络总图称作母网络，最终搜索得到的子图称作子网络。
并构建基于one-shot架构的注意力机制模型，建立网络结构权重概念。区分于传统神经网络中的神经变换权重，网络结构权重用来代表每种操作的重要性，二者在one-shot模型中同时存在。在此基础上，母网络被作为包含所有可能结构的超网络直接进行训练，不再单独训练子网络，并同时优化网络中的结构权重与网络神经变换权重。示例性的，即将3×3卷积，5×5卷积及最大池化同时进行训练，将三者的输出求和作为当前模块输出，在训练过程中即开始对不同结构操作进行排序。当母网络训练收敛后，根据各个操作的结构权重，选择其中最大者进行保留便可得到最优的网络架构。
具体的，基于强化学习的网络结构搜索算法步骤可以如下：在网络结构搜索算法中，每一次网络结构的变化都可以看作是一次强化学习中的状态转移，那么便可以将一个子网的采样过程转化为：
p(τ)＝Πtπ(at|st)
p(τ)代表了在采样策略π下，强化学习所采样得到的状态序列的概率分布。这条序列连接起来便组成了一个采样子网络。
利用强化学习中的策略梯度算法，将最终网络结构的优劣作为策略梯度方法的性能度量J(θ)，那么整个搜索过程将不再是黑箱模型，而是具有了梯度作为搜寻指导。但是子网络的准确率是一个常数并不可微，因此这里舍弃子网络准确率，而是采用子网络损失这一可微量作为网络结构的性能度量。而网络损失与网络准确率都是网络最终性能的体现，因此这一更改并没有改变“寻找最优架构”这一优化目标。
根据下式描述的策略梯度算法优化目标，基于策略梯度的网络结构搜索算法的目标函数可以表达为：
Figure BDA0003417143410000131
其中Lω即代表以ω作为神经变换权重的网络损失。
取得了策略梯度算法的最终优化目标后，需要将强化学习中的状态与动作替换为网络结构的采样过程。由于每个采样操作可以近似的认为是相互独立的，因此将状态序列的概率分布p(τ)进行替换：
p(τ)＝Πip(zi)
其中Zi代表了在第i步采样得到的网络结构编码(one-hot编码)，这里使用Z直接代表整个子网络的全部结构编码：
p(τ)＝p(Z)
因此最终的策略梯度算法优化目标表达式为：
Figure BDA0003417143410000141
从本质上说，这里强化学习的策略是一个关于网络结构的概率分布，而θ便是这个概率分布的构成参数，整个网络搜索过程便是利用这个概率分布来采样不同的子网络，并通过子网络的损失来不断优化这个概率分布，使其接近最优架构。
网络结构的概率分布是一个离散分布，无法直接的求取性能度量——子网络损失函数对于概率分布参数θ的梯度，这里需要一种方法来对概率分布进行采样，同时不丢失概率分布参数θ的梯度信息。在这里引入强化学习中常用的重参数化方法来获取离散分布中参数的梯度信息。具体过程如式：
Figure BDA0003417143410000142
其中，Zi,j是连续化后的one-hot变量，代表了连边(i,j)上的所选择的操作类型。Gi,j代表了与Zi,j相同维度的Gumbel随机变量，用来作为采样过程的噪声，保证采样过程的随机性。生成过程如下式所示。
Gi,j＝-log(-log(Ui,j))
Ui,j是与Zi,j维度相同的连续均匀分布(uniform distribution)随机变量。λ是softmax的温度。这一操作的目的是在采样过程中保证离散分布参数θ的梯度信息不被破坏。但是由于Gumbel argmax操作是不可导的，因此采用Gumbel softmax获得了采样的最终结果，即one-hot向量的光滑近似。经过这样的连续化采样，便能够获得离散的结构概率分布中参数θ的梯度信息，进而求取性能度量对于概率分布参数θ的的梯度。在训练过程中，softmax温度λ由1逐渐趋于0，最终得到一个确定的one-hot变量，这个变量便是结构搜索的最终结果。
经过上述推导，成功将强化学习策略的更新过程与网络神经变换权重的更新过程相结合，使二者同步进行，图8为本发明实施例二提供的脑卒中手部康复训练方法中网络梯度传播示意图。过程如图8所示。
图9为本发明实施例二提供的脑卒中手部康复训练方法中最终网络结构搜索得到的网络基础单元CELL示意图。如图9所示：每个卷积核的数量均为16，每个卷积核均选择ReLU作为激活函数，网络由三个基础单元串接而成，并在最后进行自适应全局平均池化。池化层后接全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.0009；全连接层后为分类层，输出与运动想象判别模块的识别结果。所述分类层输出的运动想象的识别结果，分别是运动想象九个动作的一个。
S220,获取四十电极的EEG脑电信号。
S230，对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征。
S240，将40导联电极的位置从3维空间投影到2维平面。
S250,将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像。
S260,将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型。
S270,获取所述运动信号卷积神经网络模型输出的运动想象结果。
S280,根据所述运动想象结果引导手部康复设备对进行康复治疗。
本实施例通过增加如下步骤：利用所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型。利用网络结构搜索和根据自动优化的梯度下降算法，并且利用图像特点快速构建不同病人的运动信号卷积神经网络模型。避免了构建运动信号卷积神经网络模型所需的大量工作。
实施例三
图10为本发明实施例三提供的脑卒中手部康复训练装置的结构示意图，如图10所示，所述装置包括：
获取模块310，用于获取四十电极的EEG脑电信号；
提起模块320，用于对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；
投影模块330，用于将40导联电极的位置从3维空间投影到2维平面；
匹配模块340，用于将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；
转化模块350，用于将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；
输出模块360，用于获取所述运动信号卷积神经网络模型输出的运动想象结果；
引导模块370，用于根据所述运动想象结果引导手部康复设备对进行康复治疗。
本实施例提供的脑卒中手部康复训练装置，通过获取四十电极的EEG脑电信号；对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；将40导联电极的位置从3维空间投影到2维平面；将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；获取所述运动信号卷积神经网络模型输出的运动想象结果；根据所述运动想象结果引导手部康复设备对进行康复治疗。利用位置投影，可以将不同位置的脑电极投射到一个平面中，并通过归一化生成离散图像，并通过图像转换，最终形成重要三个频带对应的彩色脑电信号图像，可以将多种脑电信号特征融合到一张图像中，便于神经网络模型进行判别，同时又不会导致重要信息缺失。并利用判别结果引导病人进行康复训练。同时，还方便构建运动信号卷积神经网络模型。
在上述各实施例的基础上，所述分割模块用于：
将所述音频分割为若干时间等长的音频片段。
在上述各实施例的基础上，所述匹配模块，包括：
归一单元，用于采用如下方式进行归一化；
Figure BDA0003417143410000171
t代表了频谱功率值，P_t即为归一化后结果；
插值单元，用于对各个电极所对应的频谱功率值进行插值，最终获得32×32的图像；
得到单元，用于根据属于θ、α和β电极对应的离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像。
在上述各实施例的基础上，所述投影模块，包括：
建立单元，用于建立二维极坐标系，选取人脑球面上的一个位置作为极坐标的坐标原点；
计算单元，用于计算球面上其他点相对于坐标原点的距离ρ，以及相对于坐标原点的角度θ；
转化单元，用于将当前极坐标系转化为笛卡尔坐标系，即获得人脑的二维投影。
在上述各实施例的基础上，所述装置还包括：
构建模块，用于利用所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型；
所述构建模块用于：
构建适用于EEG脑电信号分析的网络结构搜索空间，网络由依次连接的模块化单元构成；
将学习率设为0.1，共进行200周期的循环训练，Batchsize大小为128，寻找针对当前使用者不同运动想象的最优卷积神经网络结构，分别获得每个人的特有深度卷积神经网络模型结构；
将每位使用者的二维彩色脑电信号图像，再依次送入所述特有深度卷积神经网络模型结构，利用Pytorch对此深度卷积神经网络模型进行全监督训练，模型学习率设为0.01，共进行200周期的循环训练，Batchsize大小为128，获得运动信号深度卷积神经网络模型。
本发明实施例所提供的脑卒中手部康复训练装置可执行本发明任意实施例所提供的脑卒中手部康复训练方法，具备执行方法相应的功能模块和有益效果。
实施例四
图11为发明实施例四提供的脑卒中手部康复训练系统的结构示意图，参见图11，所述脑卒中手部康复训练系统，包括：
上述实施例提供的任一脑卒中手部康复训练系统；
高精度40导脑电采集设备和手部康复设备。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种脑卒中手部康复训练方法，其特征在于，包括：
获取四十电极的EEG脑电信号；
对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；
将40导联电极的位置从3维空间投影到2维平面；
将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；
将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；
获取所述运动信号卷积神经网络模型输出的运动想象结果；
根据所述运动想象结果引导手部康复设备对进行康复治疗。
2.根据权利要求1所述的方法，其特征在于，所述将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像，包括：
采用如下方式进行归一化；
Figure FDA0003417143400000011
t代表了频谱功率值，Pt即为归一化后结果；
对各个电极所对应的频谱功率值进行插值，最终获得32×32的图像；
根据属于θ、α和β电极对应的离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；
所述对各个电极所对应的频谱功率值进行插值，包括：
对二维坐标系中电极通道的点进行三角剖分以形成临时三角形不规则网络；
在每个三角形上定义二元多项式，以创建由一系列三角形曲面片组成的曲面，三角形顶点与质心的连线将三角形分为三个子三角形，所定义的二元三次多项式如下：
Figure FDA0003417143400000021
其中，cij由各个顶点的函数值f和一阶偏导数fx，fy，以及三边中点的法向导数
Figure FDA0003417143400000022
共12个参数确定；
根据临时三角形的差值曲面进行插值。
3.根据权利要求2所述的方法，其特征在于，将40导联电极的位置从3维空间投影到2维平面，包括：
建立二维极坐标系，选取人脑球面上的一个位置作为极坐标的坐标原点；
计算球面上其他点相对于坐标原点的距离ρ，以及相对于坐标原点的角度θ；
将当前极坐标系转化为笛卡尔坐标系，即获得人脑的二维投影。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型；
所述构建所述运动信号卷积神经网络模型，包括：
构建适用于EEG脑电信号分析的网络结构搜索空间，网络由依次连接的模块化单元构成；
将学习率设为0.1，共进行200周期的循环训练，Batchsize大小为128，寻找针对当前使用者不同运动想象的最优卷积神经网络结构，分别获得每个人的特有深度卷积神经网络模型结构；
将每位使用者的二维彩色脑电信号图像，再依次送入所述特有深度卷积神经网络模型结构，利用Pytorch对此深度卷积神经网络模型进行全监督训练，模型学习率设为0.01，共进行200周期的循环训练，Batchsize大小为128，获得运动信号深度卷积神经网络模型。
5.根据权利要求1所述的方法，其特征在于，所述模块化单元结构为：
具有4个节点的有向无环图，且每个节点只能具有两个输入，一个输出。每个单元内部的节点可以将之前两个单元的输出作为输入，也可以将同一个单元内部不同节点的输出作为输入。
6.一种脑卒中手部康复训练装置，其特征在于，包括：
获取模块，用于获取四十电极的EEG脑电信号；
提起模块，用于对所述EEG脑电信号进行快速傅里叶变换，然后分别提取EEG频谱中的θ，α，β频带作为EEG特征；
投影模块，用于将40导联电极的位置从3维空间投影到2维平面；
匹配模块，用于将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，基于所述离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像；
转化模块，用于将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像，并将所述二维彩色脑电信号图像输入至训练完成的运动信号卷积神经网络模型；
输出模块，用于获取所述运动信号卷积神经网络模型输出的运动想象结果；
引导模块，用于根据所述运动想象结果引导手部康复设备对进行康复治疗。
7.根据权利要求6所述的装置，其特征在于，所述匹配模块，包括：
归一单元，用于采用如下方式进行归一化；
Figure FDA0003417143400000041
t代表了频谱功率值，Pt即为归一化后结果；
插值单元，用于对各个电极所对应的频谱功率值进行插值，最终获得32×32的图像；
得到单元，用于根据属于θ、α和β电极对应的离散的图像得到θ、α和β三个频带的二维灰度脑电信号图像。
8.根据权利要求7所述的装置，其特征在于，所述投影模块，包括：
建立单元，用于建立二维极坐标系，选取人脑球面上的一个位置作为极坐标的坐标原点；
计算单元，用于计算球面上其他点相对于坐标原点的距离ρ，以及相对于坐标原点的角度θ；
转化单元，用于将当前极坐标系转化为笛卡尔坐标系，即获得人脑的二维投影。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
构建模块，用于利用所述彩色脑电信号图像和对应的运动标签构建所述运动信号卷积神经网络模型；
所述构建模块用于：
构建适用于EEG脑电信号分析的网络结构搜索空间，网络由依次连接的模块化单元构成；
将学习率设为0.1，共进行200周期的循环训练，Batchsize大小为128，寻找针对当前使用者不同运动想象的最优卷积神经网络结构，分别获得每个人的特有深度卷积神经网络模型结构；
将每位使用者的二维彩色脑电信号图像，再依次送入所述特有深度卷积神经网络模型结构，利用Pytorch对此深度卷积神经网络模型进行全监督训练，模型学习率设为0.01，共进行200周期的循环训练，Batchsize大小为128，获得运动信号深度卷积神经网络模型。
10.一种脑卒中手部康复训练系统，其特征在于，包括：
权利要求6-9任一所述的脑卒中手部康复训练装置；
高精度40导脑电采集设备和手部康复设备。
CN202111550794.5A 2021-12-17 2021-12-17 脑卒中手部康复训练方法、装置及系统 Pending CN114242202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111550794.5A CN114242202A (zh) 2021-12-17 2021-12-17 脑卒中手部康复训练方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111550794.5A CN114242202A (zh) 2021-12-17 2021-12-17 脑卒中手部康复训练方法、装置及系统

Publications (1)

Publication Number Publication Date
CN114242202A true CN114242202A (zh) 2022-03-25

Family

ID=80757669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111550794.5A Pending CN114242202A (zh) 2021-12-17 2021-12-17 脑卒中手部康复训练方法、装置及系统

Country Status (1)

Country Link
CN (1) CN114242202A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115985464A (zh) * 2023-03-17 2023-04-18 山东大学齐鲁医院 一种基于多模态数据融合的肌肉疲劳度分类方法及系统
CN117653995A (zh) * 2022-08-18 2024-03-08 山东海天智能工程有限公司 采用神经形态感知运动系统的脑机交互技术康复训练装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102096565B1 (ko) * 2018-11-08 2020-04-02 광운대학교 산학협력단 움직임 상상 뇌신호 인식을 위한 웨이블릿 변환 기반의 컨볼루션 신경망 분석 방법
CN111513991A (zh) * 2020-05-31 2020-08-11 天津大学 基于人工智能技术的新型主动式手部全指康复设备
CN111657935A (zh) * 2020-05-11 2020-09-15 浙江大学 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质
CN111671423A (zh) * 2020-06-18 2020-09-18 四川大学 一种eeg信号的表示方法、分类方法、可视化方法及介质
CN112370066A (zh) * 2020-09-30 2021-02-19 北京工业大学 一种基于生成对抗网络的脑卒中康复系统脑机接口方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102096565B1 (ko) * 2018-11-08 2020-04-02 광운대학교 산학협력단 움직임 상상 뇌신호 인식을 위한 웨이블릿 변환 기반의 컨볼루션 신경망 분석 방법
CN111657935A (zh) * 2020-05-11 2020-09-15 浙江大学 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质
CN111513991A (zh) * 2020-05-31 2020-08-11 天津大学 基于人工智能技术的新型主动式手部全指康复设备
CN111671423A (zh) * 2020-06-18 2020-09-18 四川大学 一种eeg信号的表示方法、分类方法、可视化方法及介质
CN112370066A (zh) * 2020-09-30 2021-02-19 北京工业大学 一种基于生成对抗网络的脑卒中康复系统脑机接口方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117653995A (zh) * 2022-08-18 2024-03-08 山东海天智能工程有限公司 采用神经形态感知运动系统的脑机交互技术康复训练装置
CN115985464A (zh) * 2023-03-17 2023-04-18 山东大学齐鲁医院 一种基于多模态数据融合的肌肉疲劳度分类方法及系统

Similar Documents

Publication Publication Date Title
CN109199414B (zh) 一种基于脑电信号的视听诱发情绪识别方法及系统
EP3933551A1 (en) Motor imagery electroencephalogram signal processing method, device, and storage medium
CN107122788B (zh) 一种基于心电信号的身份识别方法及装置
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
Sikder et al. Human activity recognition using multichannel convolutional neural network
CN114242202A (zh) 脑卒中手部康复训练方法、装置及系统
CN108363493B (zh) 基于脑机接口的用户特征模型建立方法、系统及存储介质
Lan et al. Channel selection and feature projection for cognitive load estimation using ambulatory EEG
CN111513991B (zh) 基于人工智能技术的主动式手部全指康复设备
CN111631907A (zh) 基于脑机交互混合智能的脑卒中患者手部康复系统
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN113951900B (zh) 一种基于多模态信号的运动想象意图识别方法
Mzurikwao et al. A channel selection approach based on convolutional neural network for multi-channel EEG motor imagery decoding
Li et al. A low-complexity ECG processing algorithm based on the Haar wavelet transform for portable health-care devices
CN110558975A (zh) 一种基于lrf-elm和blstm的心电信号分类方法及系统
CN113749656B (zh) 基于多维生理信号的情感识别方法和装置
Milan et al. Adaptive brain interfaces for physically-disabled people
CN114504330A (zh) 一种基于便携式脑电采集头环的疲劳状态监测系统
Wang et al. Research on the key technologies of motor imagery EEG signal based on deep learning
US20230315203A1 (en) Brain-Computer Interface Decoding Method and Apparatus Based on Point-Position Equivalent Augmentation
CN112401905A (zh) 一种基于源定位和脑网络的自然动作脑电识别方法
Chen et al. An extended spatial transformer convolutional neural network for gesture recognition and self-calibration based on sparse sEMG electrodes
CN111543983A (zh) 一种基于神经网络的脑电信号通道选择方法
CN111466930A (zh) 一种基于脑电信号的视听诱发情绪识别方法及系统
Liu et al. EEG classification algorithm of motor imagery based on CNN-Transformer fusion network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination