CN111631907A - 基于脑机交互混合智能的脑卒中患者手部康复系统 - Google Patents

基于脑机交互混合智能的脑卒中患者手部康复系统 Download PDF

Info

Publication number
CN111631907A
CN111631907A CN202010481475.2A CN202010481475A CN111631907A CN 111631907 A CN111631907 A CN 111631907A CN 202010481475 A CN202010481475 A CN 202010481475A CN 111631907 A CN111631907 A CN 111631907A
Authority
CN
China
Prior art keywords
ssmvep
electroencephalogram
brain
convolution
electroencephalogram signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010481475.2A
Other languages
English (en)
Other versions
CN111631907B (zh
Inventor
高忠科
吕冬梅
党伟东
马文庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Original Assignee
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Furuilong Metal Products Co ltd, Tianjin University filed Critical Tianjin Furuilong Metal Products Co ltd
Priority to CN202010481475.2A priority Critical patent/CN111631907B/zh
Publication of CN111631907A publication Critical patent/CN111631907A/zh
Application granted granted Critical
Publication of CN111631907B publication Critical patent/CN111631907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0218—Drawing-out devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A61H1/0288—Fingers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1657—Movement of interface, i.e. force application means
    • A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/10—Electroencephalographic signals
    • A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于脑机交互混合智能的脑卒中患者手部康复系统：便携式脑电信号采集设备通过运动想像脑电信号处理与识别模块连接机械手套，视觉刺激模块包括SSMVEP视觉刺激界面和运动想像视觉界面，用于给被试者提供SSMVEP视觉刺激选项和机械手套执行手部动作的画面；便携式脑电信号采集设备用于采集被试者的SSMVEP脑电信号和运动想象脑电信号；SSMVEP脑电信号处理与识别模块对SSMVEP信号进行分类与辨识，分类结果同时传输到机械手套与视觉刺激模块；运动想像脑电信号处理与识别模块对运动想象脑电信号进行分类与辨识，转化为指令控制机械手套带动被试者患肢完成预选手部动作。本发明减少了机械手套的误操作率，提高了手部康复系统的适用性。

Description

基于脑机交互混合智能的脑卒中患者手部康复系统
技术领域
本发明涉及一种手部康复装置。特别是涉及一种基于脑机交互混合智能的脑卒中患者手 部康复系统。
背景技术
脑卒中是一种由于脑组织损伤而使患者发生运动障碍、视觉障碍、语言障碍或认知障碍 等障碍的疾病，在世界范围内致残率、致死率位居前列。患者发生脑卒中后会给自身带来极 大的不方便，甚至导致生活不能自理，还会给家庭以及社会带来极大的负担。很大一部分脑 卒中患者的上肢运动功能退化严重，严重影响了穿衣、吃饭等一些日常活动的进行。脑机接 口(Brain-computer interface，BCI)的出现，将大大改善脑卒中患者不便的生活状态。脑-机 接口是一种不依赖于外围神经、感受器和执行器，通过采集和分析脑电信号来实现人与外部 环境直接交互的技术，在康复医疗领域正在发挥着越来越重要的作用。对于控制肌肉的神经 通路受到损伤的脑卒中患者，基于BCI技术的康复设备可协助他们进行康复训练，加快康复 进程；另外通过脑-机接口可以帮助他们实现意念控制轮椅、机械臂、键盘鼠标等等，为他们 提供更有效的与外界交流的渠道，进而改善他们的生活质量。
由于系统配置简单和在安全性、可操作性及成本方面的显著优势，基于EEG的BCI得到 了广泛研究。根据诱发方式的不同，目前常用的EEG信号可分为两大类：事件相关同步/去 同步电位等由大脑自发思维活动产生的运动想象脑电信号(MI)，以及如事件相关电位(ERP)、 稳态视觉诱发电位(SSVEP)、运动起始视觉诱发电位(mVEP)、稳态运动视觉诱发电位 (SSMVEP)等经由外界刺激所诱发的脑电信号。其中基于运动想象BCI的康复系统可以将 患者的运动意图转化为患者的肢体运动，在脑卒中患者的运动意图和肢体感觉之间形成通路， 帮助患者更好地进行主动康复训练，逐渐恢复患者受损的运动功能。而稳态运动视觉诱发电 位与运动想象的结合可以方便脑卒中患者对日常训练动作进行选择，进一步提升患者康复训 练的主动性，提高BCI在康复医疗方面的适用性。
发明内容
本发明所要解决的技术问题是，提供一种能够帮助上肢运动通路损伤以致于活动受限的 脑卒中病患进行康复训练的基于脑机交互混合智能的脑卒中患者手部康复系统。
本发明所采用的技术方案是：一种基于脑机交互混合智能的脑卒中患者手部康复系统， 包括有：依次连接的视觉刺激模块、便携式脑电信号采集设备、SSMVEP脑电信号处理与识 别模块和机械手套，所述的便携式脑电信号采集设备通过运动想像脑电信号处理与识别模块 连接机械手套，其中，视觉刺激模块包括SSMVEP视觉刺激界面和运动想像视觉界面，用于 给被试者提供SSMVEP视觉刺激选项和机械手套执行手部动作的画面；所述的便携式脑电信 号采集设备用于采集被试者的SSMVEP脑电信号和运动想象脑电信号；所述的SSMVEP脑 电信号处理与识别模块(3)对SSMVEP信号进行分类与辨识，分类结果同时传输到机械手 套与视觉刺激模块；所述运动想像脑电信号处理与识别模块对运动想象脑电信号进行分类与 辨识，转化为指令控制机械手套带动被试者患肢完成预选手部动作。
本发明的基于脑机交互混合智能的脑卒中患者手部康复系统，使得脑卒中患者的运动意 愿和肢体感觉之间形成闭环通路，促进脑卒中患者受损神经通路的恢复，同时SSMVEP脑电 信号的加入使得脑卒中患者可自主选择想要进行的手部康复动作，为脑卒中患者的主动训练 带来了更大的自主选择的余地；同时本发明手部康复系统不仅适用于非疲劳状态、脑电信号 辨识精度正常的脑卒中患者的主动康复训练，还能够提高非疲劳状态、脑电信号辨识精度低 于70％的脑卒中患者以及疲劳状态下的脑卒中患者的分类辨识精度，减少了机械手套的误操 作率，提高了手部康复系统的适用性。
附图说明
图1是本发明基于脑机交互混合智能的脑卒中患者手部康复系统的整体框图；
图2是本发明SSMVEP视觉刺激界面的示意图；
图3是本发明便携式脑电采集设备的构成框图。
具体实施方式
下面结合实施例和附图对本发明的基于脑机交互混合智能的脑卒中患者手部康复系统做 出详细说明。
如图1所示，本发明的基于脑机交互混合智能的脑卒中患者手部康复系统，包括有：依 次连接的视觉刺激模块1、便携式脑电信号采集设备2、SSMVEP脑电信号处理与识别模块3 和机械手套5，所述的便携式脑电信号采集设备2通过运动想像脑电信号处理与识别模块4 连接机械手套5，其中，视觉刺激模块1包括SSMVEP视觉刺激界面1.2和运动想像视觉界 面1.1，用于给被试者6提供SSMVEP视觉刺激选项和机械手套5执行手部动作的画面；所述的便携式脑电信号采集设备2用于采集被试者6的SSMVEP脑电信号和运动想象脑电信号；所述的SSMVEP脑电信号处理与识别模块3对SSMVEP信号进行分类与辨识，分类结果同 时传输到机械手套5与视觉刺激模块1；所述运动想像脑电信号处理与识别模块4对运动想 象脑电信号进行分类与辨识，转化为指令控制机械手套5带动被试者6患肢完成预选手部动 作。
本发明的基于脑机交互混合智能的脑卒中患者手部康复系统运行包括以下步骤：
1)被试者观看视觉刺激模块的SSMVEP视觉刺激界面中与运动意愿对应的SSMVEP视 觉刺激选项，便携式脑电信号采集设备采集被试者的SSMVEP脑电信号，所述的运动意愿为 6种动作中的一种，包括屈曲、伸展、二指捏、三指捏、弯小拇指和弯无名指；
2)SSMVEP脑电信号处理与识别模块对获得的SSMVEP脑电信号进行预处理、特征提取与分类；
3)将SSMVEP脑电信号处理与识别模块的分类结果转化为指令传输到机械手套，机械 手套对被试者运动意愿对应的手部动作进行预选，做好手部动作的待启动；
4)将SSMVEP脑电信号处理与识别模块的分类结果传输到视觉刺激模块，视觉刺激模 块根据分类结果将SSMVEP视觉刺激界面切换为呈现机械手套预选手部动作的运动想像视觉 界面；
5)被试者观看运动想像视觉界面，同时对患肢完成预选手部动作进行运动想象，运动想 象的进行直到机械手套开始执行预选手部动作后结束，便携式脑电信号采集设备采集被试者 的运动想象脑电信号；
6)运动想像脑电信号处理与识别模块对获得的运动想象信号进行预处理，并使用CSP 进行特征提取，然后使用SVM进行运动想象信号的辨识；
CSP即共空间模式是一种有效的脑电模式分析方法，CSP的基本思想是寻找一个投影矩 阵，即空间滤波器，使得投影后的信号一类方差最大，同时另一类方差最小，从而达到最大 程度区分两类信号的目的；所述的使用CSP进行特征提取，是令El和Er分别代表运动想象 状态的运动想象脑电信号的一个样本和非运动想象状态的运动想象脑电信号的一个样本，El和Er的归一化协方差矩阵表示为：
Figure BDA0002517562370000031
Figure BDA0002517562370000032
其中，Cl和Cr分别代表El和Er的归一化协方差矩阵，ET是E的转置，trace是矩阵的迹； 对运动想象状态所有样本和非运动想象状态所有样本的归一化协方差矩阵进行平均，得到
Figure BDA0002517562370000033
和
Figure BDA0002517562370000034
对复合平均归一化协方差矩阵C进行特征值分解：
Figure BDA0002517562370000035
其中，Uc为特征向量矩阵，λc为特征值构成的对角矩阵，将特征值由大到小排列，特征 值所对应的特征向量也相应排列；白化变换矩阵Q为：
Figure BDA0002517562370000036
将
Figure BDA0002517562370000037
和
Figure BDA0002517562370000038
分别做白化变换为Sl和Sr，并做特征值分解：
Figure BDA0002517562370000039
Figure BDA00025175623700000310
λl+λr＝I
其中，B为特征向量矩阵，I为单位矩阵，两类运动想象样本对应的特征值λl和λr的和 总为I，则Sl最大的特征值总是对应着Sr最小的特征值；空间滤波器(即投影矩阵)M为：
M＝BTQ
经CSP空间滤波后的信号Z为：
Z＝ME
其中，E为运动想象信号，然后通过计算Z的方差进行特征e提取：
Figure BDA00025175623700000311
其中，var表示求方差运算。
7)运动想像脑电信号处理与识别模块将运动想象信号的辨识结果转化为指令传输到机械 手套，被试者运动想象信号的质量决定机械手套是否启动，如果辨识结果为运动想象状态， 则控制机械手套启动预选手部动作，如果辨识结果为非运动想象状态，则机械手套不启动预 选手部动作；启动预选手部动作后，机械手套带动被试者患肢完成运动意愿对应的手部动作， 所述的手部动作包括屈曲、伸展、二指捏、三指捏、弯小拇指和弯无名指。
本发明的基于脑机交互混合智能的脑卒中患者手部康复系统，使得脑卒中被试者的运动 意愿和肢体感觉之间形成闭环通路，促进脑卒中被试者受损神经通路的恢复，同时SSMVEP 脑电信号的加入使得脑卒中被试者可自主选择想要进行的手部康复动作，为脑卒中被试者的 主动训练带来了更大自主选择的余地；本发明手部康复设备不仅可以适用于状态正常、脑电 信号辨识精度正常的脑卒中被试者，还可以服务于脑电信号辨识精度非常低的脑卒中被试者 以及疲劳状态下的脑卒中被试者；对于状态正常、脑电信号辨识精度正常的脑卒中被试者， SSMVEP脑电信号处理与识别模块(3)采用传统方法CCA+FFT方法进行特征提取，采用 SVM进行分类，尽管传统方法已经在状态正常、脑电信号辨识精度正常的脑卒中被试者的 SSMVEP脑电信号的分类上取得了高准确率，但是在脑电信号辨识精度非常低的脑卒中被试 者以及疲劳状态下的脑卒中被试者的SSMVEP脑电信号的分类上准确率却非常低，说明传统 方法并不适用于脑电信号辨识精度非常低的脑卒中被试者以及疲劳状态下的脑卒中被试者； SSMVEP脑电信号处理与识别模块(3)使用本发明辨识强化神经网络可以大幅提高脑电信号 辨识精度非常低的脑卒中被试者的分类准确率，同时SSMVEP脑电信号处理与识别模块使用 本发明认知强化神经网络可以提高疲劳状态下的脑卒中被试者的分类准确率，增强了BCI对 脑卒中被试者的适用性。
如图2所示，本发明所述视觉刺激模块1中的SSMVEP视觉刺激界面，包括有6个不同刺激频率的环形运动棋盘格刺激范式和6种不同的手部动作画面，每一个SSMVEP视觉刺激选项是由一个环形运动棋盘格刺激范式与一个手部动作画面共同构成，每一个环形运动棋盘 格刺激范式对应于机械手套执行一种手部动作；所述的6个SSMVEP视觉刺激选项为上下两 行分布，每行具有3个SSMVEP视觉刺激选项；6个环形运动棋盘格刺激范式的刺激频率依次为4.6Hz、6.7Hz、8.6Hz、11Hz、16Hz和18Hz，环形运动棋盘格范式的刺激频率从左上到 右下逐渐增大；
环形运动棋盘格刺激范式由从内到外的8个圆环构成，每个圆环被分割为数目相等，大 小相同的黑白两色格子，黑白两色格子相间排列以确保图案整体亮度和明暗区域的均匀性。 每个圆环上黑白两色所占区域面积相等，每个格子的圆心角均为15°，在整个环形棋盘格的中 心处设有1.2像素大小的黑色实心点，帮助被试者定位视野中心，每个圆环被分割为12对黑 白格子；范式图案上的所有黑白网格沿着径向运动，通过棋盘中的环的变化过程来演示棋盘 的收缩扩张运动，但是图案的整体大小一直保持不变，当最外层的环形区域膨胀超出图案的 边界时，它将消失，并从内层添加一个新的环；当最内层的环形区域收缩到中心点时也会消 失，并从外层补充一个新的环，一个完整的运动周期由收缩运动和扩张运动两个阶段组成， 环形运动棋盘格刺激范式通过固定频率的稳态翻转运动刺激来诱发获取SSMVEP信号，视觉 上刺激较柔和，对亮度对比度变化的敏感度较低，不容易引起被试者的视觉和精神疲劳，有 助于获取更加稳定的SSMVEP信号；
所述视觉刺激模块中的运动想像视觉界面呈现6种机械手套执行手部动作的画面，每次 根据SSMVEP脑电信号分类结果呈现6种机械手套执行手部动作中的一种，被试者观看运动 想像视觉界面的同时对患肢完成预选手部动作进行运动想象，运动想象的进行直到机械手套 开始执行预选手部动作后结束，运动想像视觉界面呈现5分钟后，单个手部动作的康复训练 结束，运动想像视觉界面自动切换为SSMVEP视觉刺激界面。
本发明中所述的便携式脑电采集设备，如图3所示，包括有：依次连接的用于采集脑电 信号的脑电极帽及其转接线2.1、用于脑电信号放大和转换的生物电信号采集模块2.2、用于 控制脑电信号的采集并通过USB通信电路2.4输出脑电信号的FPGA处理器2.3，以及分别 连接生物电信号采集模块2.2和FPGA处理器2.3的系统供电电路2.5，其中，
所述的脑电极帽及其转接线2.1中的脑电极帽采集不同脑区的脑电信号，通过转接线及 DSUB37接口与生物电信号采集模块2.2相连接，用于生物电信号的采集和传输；
所述的生物电信号采集模块2.2是由数片集成了用于接收脑电帽采集的脑电压信号的高 共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器和用于将模 拟信号转换为数字信号的高分辨率同步采样模数转换器的生物电信号采集芯片组成；
所述的FPGA处理器2.3用于调整生物电信号采集模块2.2的采集模式与参数和控制USB 通信电路2.4向数据处理分析模块输出脑电信号数据；
所述的USB通信电路2.4工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器3的控制下周期性地将采集到的脑电信号以数据包的形式向数据处理分析模块输出；
所述的系统供电电路2.5，输入电压为5V，由USB接口进行供电，通过电压转换模块提 供系统不同芯片的工作电压。
本发明中所述SSMVEP脑电信号处理与识别模块3分别对三种状况被试者的SSMVEP脑电信号进行处理与识别，所述的三种状况包括：非疲劳状态、脑电信号辨识精度正常的脑卒中被试者，非疲劳状态、脑电信号辨识精度低于70％的脑卒中被试者，疲劳状态下的脑卒中被试者。其中，
1、对于非疲劳状态、脑电信号辨识精度正常的脑卒中被试者：
对于非疲劳状态、脑电信号辨识精度正常的脑卒中被试者。SSMVEP脑电信号处理与识 别模块采用CCA+FFT方法进行特征提取，采用SVM进行分类，具体包括：
1)对便携式脑电信号采集设备采集的5秒的多元SSMVEP脑电信号进行预处理；
所述便携式脑电信号采集设备获得的5秒的多元SSMVEP脑电信号，是通过40通道的 电极帽采集的，电极的排布按10-20国际标准导联方法分配，所述的预处理是对多元SSMVEP 脑电信号进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法 去除眼电伪迹，得到预处理后的多元SSMVEP脑电信号。
2)对预处理后的5秒的多元SSMVEP脑电信号舍弃掉第1秒，获得后4秒的多元SSMVEP 脑电信号，通过CCA方法将多元SSMVEP脑电信号拟合为一元变量x；
所述的通过CCA方法将多元SSMVEP脑电信号拟合为一元变量x，是将预处理后的将多 元SSMVEP脑电信号的每一通道视为一个变量，多元SSMVEP脑电信号全部通道作为变量组X，频率为刺激频率的正弦信号和余弦信号共同组成参考信号，作为另一组变量Y，用CCA方法计算两组变量X、Y之间的相关性，将相关系数最高的特征作为目标特征；变量组X表 示如下：
Figure BDA0002517562370000061
其中，channel表示通道，n包含多元SSMVEP脑电信号的通道数目；
参考信号Y表示如下：
Figure BDA0002517562370000062
其中，k为谐波的数量，m表示采样点数目，fs表示采样率，fn表示第n个刺激频率值，t表示时间，参考信号Y的长度和变量组X保持一致；CCA通过最大化
Figure BDA0002517562370000063
和
Figure BDA0002517562370000064
之间的相 关系数ρ(xi,yi)来寻找两个典型的加权系数wx和wy，
Figure BDA0002517562370000065
即为与刺激频率最相关的一元变量；相关系数ρ(xi,yi)计算公式如下：
Figure BDA0002517562370000066
其中，E(·)表示方差。
3)利用FFT将一元变量x转化为频域下的表达来提取频域特征；
所述的将一元变量x转化为频域下的表达来提取频域特征，首先对一元变量x计算功率 谱P(f)：
Figure BDA0002517562370000067
其中，N表示FFT变换中采样点的数目，f表示刺激频率值，在功率谱P(f)中选择6个刺激频率所对应的功率谱幅值μi构成特征向量F，具体计算公式如下：
μi＝P(fi),i＝1,2,...,6
F＝[μ1,μ2,μ3,μ4,μ5,μ6]
其中，fi表示第i个刺激频率值。
4)将频域特征通过SVM中进行分类与辨识。
2、对于非疲劳状态、脑电信号辨识精度低于70％的脑卒中被试者
所述脑电信号辨识精度非常低的脑卒中患者一般分类识别精度小于70％，由于脑电信号 辨识精度非常低的脑卒中被试者的SSMVEP脑电信号中含有的与任务有关的信息较少或者有 效信息被伪影淹没，脑电信号辨识精度非常低的脑卒中被试者在特定的BCI方式中的表现要 更为地“迟钝”，不能有效地利用特定的BCI方式来对外部设备进行控制，脑电信号辨识精度 非常低的问题极大地限制了BCI适用的脑卒中被试者群体；对于非疲劳状态、脑电信号辨识 精度低于70％的脑卒中被试者，所述的SSMVEP脑电信号处理与识别模块使用辨识强化神经 网络提高脑电信号辨识精度低于70％的脑卒中被试者的分类准确率，具体包括以下步骤：
1)通过便携式脑电信号采集设备采集脑电信号辨识精度低于70％的脑卒中被试者5秒的 SSMVEP脑电信号，并进行预处理；
是通过40通道的电极帽采集被试者5秒的SSMVEP脑电信号，电极的排布按10-20国际标准导联方法分配，对SSMVEP脑电信号进行预处理，是对SSMVEP脑电信号进行1-40Hz 的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到 预处理后的SSMVEP脑电信号。
2)对预处理后的5秒的SSMVEP脑电信号舍弃掉前1.1秒SSMVEP脑电信号，获得后3.9秒的SSMVEP脑电信号，使用3个连续的长度为1秒的时间窗对3.9秒的SSMVEP脑电 信号进行分割，以0.1秒为步长依次往后同时移动3个时间窗，得到10组不重复的SSMVEP 脑电信号样本，每组SSMVEP脑电信号样本包括3个SSMVEP脑电信号样本，即第一组脑 电信号样本为0.1～1.1秒，1.1～2.1秒和2.1～3.1秒；第二组脑电信号样本为0.2～1.2秒，1.2～2.2秒和2.2～3.2秒，依次类推至第十组脑电信号样本为1～2秒，2～3秒和3～4秒；
3)通过FFT对每个SSMVEP脑电信号样本的每个通道求取三个频带中每个频带的平均 功率，并作为该通道的测量值，测量值为3个，所述的三个频带分别为：θ频带，频率范围为4-7Hz；α频带，频率范围为8-13Hz；β频带，频率范围为13-30Hz，这三个频带包括了视 觉刺激模块(1)中的全部刺激频率；
4)将每个SSMVEP脑电信号样本的全部通道的测量值映射为二维彩色EEG图像；包括：
(4.1)通过等距方位投影将各个通道对应电极的三维坐标转换成二维坐标，所有电极共 同的投影中心到其他电极的距离保持不变，以保持电极之间的相对距离；
(4.2)利用有限元插值法将全部通道单个频带的测量值映射为二维灰度EEG图像，该 二维灰度EEG图像保持了SSMVEP脑电信号中蕴含的空间结构信息和频域信息；
(4.3)对三个频带重复第(4.2)步图像映射过程，得到各个频带的二维灰度EEG图像；
(4.4)将三个频带的二维灰度EEG图像转化为一个二维彩色EEG图像。
5)对每组SSMVEP脑电信号样本中3个SSMVEP脑电信号样本重复步骤3)～步骤4)，得到3个二维彩色EEG图像；
6)将3个二维彩色EEG图像输入辨识强化神经网络进行特征提取与分类，辨识强化神 经网络结合卷积神经网络与长短时记忆网络，提取SSMVEP脑电信号中的时-空深度特征。 所述辨识强化神经网络运行如下步骤：
1)将3个二维彩色EEG图像依次输入三个平行卷积组，通过平行卷积组提取各个二维 彩色EEG图像的频域和空间特征，获得特征向量；所述三个平行卷积组结构相同，均包括有 依次连接的：
1)4个堆叠的第一卷积层，卷积核大小都为5×5，激活函数都为ReLU函数；
2)第一最大池化层；
3)4个堆叠的第二卷积层，卷积核大小都为5×5，激活函数都为ReLU函数；
4)第二最大池化层；
5)2个堆叠的第三卷积层，卷积核大小都为5×5，激活函数都为ReLU函数；
6)第三最大池化层；
7)第四卷积层，卷积核大小为5×5，激活函数为ReLU函数；
8)第四最大池化层；
9)展平层。
其中，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层，均是采用卷积核在特 征图上滑动的方式，对特征图上各个局部特征执行卷积运算来提取更高级特征；以Hj表示堆 叠的卷积层中第j层卷积层的特征图，对于第四卷积层，j＝1，通过如下公式得到第j层卷积 层的特征图：
Figure BDA0002517562370000081
其中Wj和bj分别表示第j层卷积层的一个卷积核的权重矩阵和偏移向量；
Figure BDA0002517562370000082
表示第j-1 层卷积层的特征图与卷积核权重矩阵的卷积运算；h表示激励函数，将卷积操作的结果进行 非线性激活，得到第j层卷积层的特征图。
2)将获得的特征向量输入到长短时记忆网络中，按各个二维彩色EEG图像的时间顺序 连接各个长短时记忆模块以处理和提取二维彩色EEG图像序列中的时序信息；
3)对各个平行卷积组的输出进行一维卷积；
4)将进行一维卷积后的输出和所述长短时记忆网络的最后一个长短时记忆模块的输出进 行整合，将整合后的输出馈送到全连接层中，最终送入到Softmax层进行分类。
3、对于疲劳状态下的脑卒中被试者
脑卒中被试者的疲劳状态是由于为完成认知任务而长时间集中注意力关注SSMVEP视觉 刺激界面造成的，与正常状态相比，在疲劳状态下脑卒中被试者将会承受更大的认知工作量， 认知能力大幅度降低，较难专注于自己的认知任务，进而会增加BCI的误操作率；对于疲劳 状态下的脑卒中被试者的SSMVEP脑电信号，使用认知强化神经网络提高疲劳状态下的脑卒 中被试者的分类准确率，具体包括如下步骤：
1)对便携式脑电信号采集设备采集的疲劳状态下的脑卒中被试者5秒的SSMVEP脑电 信号进行预处理；
所述的SSMVEP脑电信号，是通过40通道的电极帽采集的，电极的排布按10-20国际标准导联方法分配，所述的预处理是对SSMVEP脑电数据进行0.1Hz-60Hz的带通滤波，使 用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到预处理后的 SSMVEP脑电信号。
2)利用FFT对SSMVEP脑电信号进行处理，并保留前50Hz的100个频率点；
3)将FFT处理后的SSMVEP脑电信号利用max-min方法归一化到0到1之间，得到 归一化后的SSMVEP脑电信号，以加快认知强化神经网络的收敛速度；
4)将归一化后的SSMVEP脑电信号输入认知强化神经网络进行特征提取与分类。所述 的认知强化神经网络，依次包括：5个卷积组，一个全连接层和一个Softmax分类层；第一个 卷积组为5个堆叠的卷积层后连接第一最大池化层；第2个卷积组为4个堆叠的卷积层后连 接第二最大池化层；第3个卷积组为3个堆叠的卷积层后连接第三最大池化层；第4个卷积 组为3个堆叠的卷积层后连接第四最大池化层；第5个卷积组为1个卷积层连接第五最大池 化层；所有的卷积层中都使用大小为4×4的卷积核。
本发明中所述机械手套进行屈曲、伸展、二指捏、三指捏、弯小拇指、弯无名指六种手 部动作，所述的六种手部动作与SSMVEP视觉刺激界面中的六个SSMVEP视觉刺激选项一一对应；对于SSMVEP脑电信号的分类结果，机械手套根据分类结果在六种手部动作中预选一种手部动作，但不启动手部动作，当运动想象脑电信号的分类结果传输过来后，如果分类结果为运动想象状态，则机械手套启动预选手部动作，如果分类结果为非运动想象状态，则机械手套不启动预选手部动作，机械手套带动被试者患肢完成运动意愿对应的手部动作。
具体进行上肢康复训练时，脑卒中患者坐于座椅之上，将脑电极帽佩戴于患者头部，将 患者上肢置于所述机械手套中，通过患者进行观看SSMVEP视觉刺激模块和MI视觉模块完 成上肢的自主康复训练。
以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式 之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结 构或实施例，均属本发明的保护范围。

Claims (19)

1.一种基于脑机交互混合智能的脑卒中患者手部康复系统，其特征在于，包括有：依次连接的视觉刺激模块(1)、便携式脑电信号采集设备(2)、SSMVEP脑电信号处理与识别模块(3)和机械手套(5)，所述的便携式脑电信号采集设备(2)通过运动想像脑电信号处理与识别模块(4)连接机械手套(5)，其中，视觉刺激模块(1)包括SSMVEP视觉刺激界面(1.2)和运动想像视觉界面(1.1)，用于给被试者(6)提供SSMVEP视觉刺激选项和机械手套(5)执行手部动作的画面；所述的便携式脑电信号采集设备(2)用于采集被试者(6)的SSMVEP脑电信号和运动想象脑电信号；所述的SSMVEP脑电信号处理与识别模块(3)对SSMVEP信号进行分类与辨识，分类结果同时传输到机械手套(5)与视觉刺激模块(1)；所述运动想像脑电信号处理与识别模块(4)对运动想象脑电信号进行分类与辨识，转化为指令控制机械手套(5)带动被试者(6)患肢完成预选手部动作。
2.根据权利要求1所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，系统运行包括以下步骤：
1)被试者观看视觉刺激模块的SSMVEP视觉刺激界面中与运动意愿对应的SSMVEP视觉刺激选项，便携式脑电信号采集设备采集被试者的SSMVEP脑电信号，所述的运动意愿为6种动作中的一种，包括屈曲、伸展、二指捏、三指捏、弯小拇指和弯无名指；
2)SSMVEP脑电信号处理与识别模块对获得的SSMVEP脑电信号进行预处理、特征提取与分类；
3)将SSMVEP脑电信号处理与识别模块的分类结果转化为指令传输到机械手套，机械手套对被试者运动意愿对应的手部动作进行预选，做好手部动作的待启动；
4)将SSMVEP脑电信号处理与识别模块的分类结果传输到视觉刺激模块，视觉刺激模块根据分类结果将SSMVEP视觉刺激界面切换为呈现机械手套预选手部动作的运动想像视觉界面；
5)被试者观看运动想像视觉界面，同时对患肢完成预选手部动作进行运动想象，运动想象的进行直到机械手套开始执行预选手部动作后结束，便携式脑电信号采集设备采集被试者的运动想象脑电信号；
6)运动想像脑电信号处理与识别模块对获得的运动想象信号进行预处理，并使用CSP进行特征提取，然后使用SVM进行运动想象信号的辨识；
7)运动想像脑电信号处理与识别模块将运动想象信号的辨识结果转化为指令传输到机械手套，被试者运动想象信号的质量决定机械手套是否启动，如果辨识结果为运动想象状态，则控制机械手套启动预选手部动作，如果辨识结果为非运动想象状态，则机械手套不启动预选手部动作；启动预选手部动作后，机械手套带动被试者患肢完成运动意愿对应的手部动作，所述的手部动作包括屈曲、伸展、二指捏、三指捏、弯小拇指和弯无名指。
3.根据权利要求2所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤6)所述的使用CSP进行特征提取，令El和Er分别代表运动想象状态的运动想象脑电信号的一个样本和非运动想象状态的运动想象脑电信号的一个样本，El和Er的归一化协方差矩阵表示为：
Figure FDA0002517562360000021
Figure FDA0002517562360000022
其中，Cl和Cr分别代表El和Er的归一化协方差矩阵，ET是E的转置，trace是矩阵的迹；对运动想象状态所有样本和非运动想象状态所有样本的归一化协方差矩阵进行平均，得到
Figure FDA0002517562360000023
和
Figure FDA0002517562360000024
对复合平均归一化协方差矩阵C进行特征值分解：
Figure FDA0002517562360000025
其中，Uc为特征向量矩阵，λc为特征值构成的对角矩阵，将特征值由大到小排列，特征值所对应的特征向量也相应排列；白化变换矩阵Q为：
Figure FDA0002517562360000026
将
Figure FDA0002517562360000027
和
Figure FDA0002517562360000028
分别做白化变换为Sl和Sr，并做特征值分解：
Figure FDA0002517562360000029
Figure FDA00025175623600000210
λl+λr＝I
其中，B为特征向量矩阵，I为单位矩阵，两类运动想象样本对应的特征值λl和λr的和总为I，则Sl最大的特征值总是对应着Sr最小的特征值；空间滤波器M为：
M＝BTQ
经CSP空间滤波后的信号Z为：
Z＝ME
其中，E为运动想象信号，然后通过计算Z的方差进行特征e提取：
Figure FDA00025175623600000211
其中，var表示求方差运算。
4.根据权利要求1所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，所述视觉刺激模块(1)中的SSMVEP视觉刺激界面，包括有6个不同刺激频率的环形运动棋盘格刺激范式和6种不同的手部动作画面，每一个SSMVEP视觉刺激选项是由一个环形运动棋盘格刺激范式与一个手部动作画面共同构成，每一个环形运动棋盘格刺激范式对应于机械手套执行一种手部动作；所述的6个SSMVEP视觉刺激选项为上下两行分布，每行具有3个SSMVEP视觉刺激选项；6个环形运动棋盘格刺激范式的刺激频率依次为4.6Hz、6.7Hz、8.6Hz、11Hz、16Hz和18Hz，环形运动棋盘格范式的刺激频率从左上到右下逐渐增大；环形运动棋盘格刺激范式通过固定频率的稳态翻转运动刺激来诱发获取SSMVEP脑电信号；
所述视觉刺激模块中的运动想像视觉界面呈现6种机械手套执行手部动作的画面，每次根据SSMVEP脑电信号分类结果呈现6种机械手套执行手部动作中的一种，被试者观看运动想像视觉界面的同时对患肢完成预选手部动作进行运动想象，运动想象的进行直到机械手套开始执行预选手部动作后结束，运动想像视觉界面呈现5分钟后，单个手部动作的康复训练结束，运动想像视觉界面自动切换为SSMVEP视觉刺激界面。
5.根据权利要求1所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，所述SSMVEP脑电信号处理与识别模块(3)分别对三种状况被试者的SSMVEP脑电信号进行处理与识别，所述的三种状况包括：非疲劳状态、脑电信号辨识精度正常的脑卒中被试者，非疲劳状态、脑电信号辨识精度低于70％的脑卒中被试者，疲劳状态下的脑卒中被试者。
6.根据权利要求5所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，对于非疲劳状态、脑电信号辨识精度正常的脑卒中被试者，SSMVEP脑电信号处理与识别模块采用CCA+FFT方法进行特征提取，采用SVM进行分类，具体包括：
1)对便携式脑电信号采集设备采集的5秒的多元SSMVEP脑电信号进行预处理；
2)对预处理后的5秒的多元SSMVEP脑电信号舍弃掉第1秒，获得后4秒的多元SSMVEP脑电信号，通过CCA方法将多元SSMVEP脑电信号拟合为一元变量x；
3)利用FFT将一元变量x转化为频域下的表达来提取频域特征；
4)将频域特征通过SVM中进行分类与辨识。
7.根据权利要求6所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤1)所述便携式脑电信号采集设备获得的5秒的多元SSMVEP脑电信号，是通过40通道的电极帽采集的，电极的排布按10-20国际标准导联方法分配，所述的预处理是对多元SSMVEP脑电信号进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到预处理后的多元SSMVEP脑电信号。
8.根据权利要求6所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤2)所述的通过CCA方法将多元SSMVEP脑电信号拟合为一元变量x，是将预处理后的将多元SSMVEP脑电信号的每一通道视为一个变量，多元SSMVEP脑电信号全部通道作为变量组X，频率为刺激频率的正弦信号和余弦信号共同组成参考信号，作为另一组变量Y，用CCA方法计算两组变量X、Y之间的相关性，将相关系数最高的特征作为目标特征；变量组X表示如下：
Figure FDA0002517562360000031
其中，channel表示通道，n包含多元SSMVEP脑电信号的通道数目；
参考信号Y表示如下：
Figure FDA0002517562360000041
其中，k为谐波的数量，m表示采样点数目，fs表示采样率，fn表示第n个刺激频率值，t表示时间，参考信号Y的长度和变量组X保持一致；CCA通过最大化
Figure FDA0002517562360000042
和
Figure FDA0002517562360000043
之间的相关系数ρ(xi,yi)来寻找两个典型的加权系数wx和wy，
Figure FDA0002517562360000044
即为与刺激频率最相关的一元变量；相关系数ρ(xi,yi)计算公式如下：
Figure FDA0002517562360000045
其中，E(·)表示方差。
9.根据权利要求6所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤3)所述的将一元变量x转化为频域下的表达来提取频域特征，首先对一元变量x计算功率谱P(f)：
Figure FDA0002517562360000046
其中，N表示FFT变换中采样点的数目，f表示刺激频率值，在功率谱P(f)中选择6个刺激频率所对应的功率谱幅值μi构成特征向量F，具体计算公式如下：
μi＝P(fi),i＝1,2,...,6
F＝[μ1,μ2,μ3,μ4,μ5,μ6]
其中，fi表示第i个刺激频率值。
10.根据权利要求5所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，对于非疲劳状态、脑电信号辨识精度低于70％的脑卒中被试者，所述的SSMVEP脑电信号处理与识别模块使用辨识强化神经网络提高脑电信号辨识精度低于70％的脑卒中被试者的分类准确率，具体包括以下步骤：
1)通过便携式脑电信号采集设备采集脑电信号辨识精度低于70％的脑卒中被试者5秒的SSMVEP脑电信号，并进行预处理；
2)对预处理后的5秒的SSMVEP脑电信号舍弃掉前1.1秒SSMVEP脑电信号，获得后3.9秒的SSMVEP脑电信号，使用3个连续的长度为1秒的时间窗对3.9秒的SSMVEP脑电信号进行分割，以0.1秒为步长依次往后同时移动3个时间窗，得到10组不重复的SSMVEP脑电信号样本，每组SSMVEP脑电信号样本包括3个SSMVEP脑电信号样本，即第一组脑电信号样本为0.1～1.1秒，1.1～2.1秒和2.1～3.1秒；第二组脑电信号样本为0.2～1.2秒，1.2～2.2秒和2.2～3.2秒，依次类推至第十组脑电信号样本为1～2秒，2～3秒和3～4秒；
3)通过FFT对每个SSMVEP脑电信号样本的每个通道求取三个频带中每个频带的平均功率，并作为该通道的测量值，测量值为3个，所述的三个频带分别为：θ频带，频率范围为4-7Hz；α频带，频率范围为8-13Hz；β频带，频率范围为13-30Hz，这三个频带包括了视觉刺激模块(1)中的全部刺激频率；
4)将每个SSMVEP脑电信号样本的全部通道的测量值映射为二维彩色EEG图像；
5)对每组SSMVEP脑电信号样本中3个SSMVEP脑电信号样本重复步骤3)～步骤4)，得到3个二维彩色EEG图像；
6)将3个二维彩色EEG图像输入辨识强化神经网络进行特征提取与分类，辨识强化神经网络结合卷积神经网络与长短时记忆网络，提取SSMVEP脑电信号中的时-空深度特征。
11.根据权利要求10所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤1)是通过40通道的电极帽采集被试者5秒的SSMVEP脑电信号，电极的排布按10-20国际标准导联方法分配，对SSMVEP脑电信号进行预处理，是对SSMVEP脑电信号进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到预处理后的SSMVEP脑电信号。
12.根据权利要求10所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤4)包括：
(4.1)通过等距方位投影将各个通道对应电极的三维坐标转换成二维坐标，所有电极共同的投影中心到其他电极的距离保持不变，以保持电极之间的相对距离；
(4.2)利用有限元插值法将全部通道单个频带的测量值映射为二维灰度EEG图像，该二维灰度EEG图像保持了SSMVEP脑电信号中蕴含的空间结构信息和频域信息；
(4.3)对三个频带重复第(4.2)步图像映射过程，得到各个频带的二维灰度EEG图像；
(4.4)将三个频带的二维灰度EEG图像转化为一个二维彩色EEG图像。
13.根据权利要求10所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤6)所述辨识强化神经网络运行如下步骤：
1)将3个二维彩色EEG图像依次输入三个平行卷积组，通过平行卷积组提取各个二维彩色EEG图像的频域和空间特征，获得特征向量；
2)将获得的特征向量输入到长短时记忆网络中，按各个二维彩色EEG图像的时间顺序连接各个长短时记忆模块以处理和提取二维彩色EEG图像序列中的时序信息；
3)对各个平行卷积组的输出进行一维卷积；
4)将进行一维卷积后的输出和所述长短时记忆网络的最后一个长短时记忆模块的输出进行整合，将整合后的输出馈送到全连接层中，最终送入到Softmax层进行分类。
14.根据权利要求13所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤1)所述三个平行卷积组结构相同，均包括有依次连接的：
1)4个堆叠的第一卷积层，卷积核大小都为5×5，激活函数都为ReLU函数；
2)第一最大池化层；
3)4个堆叠的第二卷积层，卷积核大小都为5×5，激活函数都为ReLU函数；
4)第二最大池化层；
5)2个堆叠的第三卷积层，卷积核大小都为5×5，激活函数都为ReLU函数；
6)第三最大池化层；
7)第四卷积层，卷积核大小为5×5，激活函数为ReLU函数；
8)第四最大池化层；
9)展平层。
15.根据权利要求14所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层，均是采用卷积核在特征图上滑动的方式，对特征图上各个局部特征执行卷积运算来提取更高级特征；以Hj表示堆叠的卷积层中第j层卷积层的特征图，对于第四卷积层，j＝1，通过如下公式得到第j层卷积层的特征图：
Figure FDA0002517562360000061
其中Wj和bj分别表示第j层卷积层的一个卷积核的权重矩阵和偏移向量；
Figure FDA0002517562360000062
表示第j-1层卷积层的特征图与卷积核权重矩阵的卷积运算；h表示激励函数，将卷积操作的结果进行非线性激活，得到第j层卷积层的特征图。
16.根据权利要求5所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，对于疲劳状态下的脑卒中被试者的SSMVEP脑电信号，使用认知强化神经网络提高疲劳状态下的脑卒中被试者的分类准确率，具体包括如下步骤：
1)对便携式脑电信号采集设备采集的疲劳状态下的脑卒中被试者5秒的SSMVEP脑电信号进行预处理；
2)利用FFT对SSMVEP脑电信号进行处理，并保留前50Hz的100个频率点；
3)将FFT处理后的SSMVEP脑电信号利用max-min方法归一化到0到1之间，得到归一化后的SSMVEP脑电信号，以加快认知强化神经网络的收敛速度；
4)将归一化后的SSMVEP脑电信号输入认知强化神经网络进行特征提取与分类。
17.根据权利要求16所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤1)所述的SSMVEP脑电信号，是通过40通道的电极帽采集的，电极的排布按10-20国际标准导联方法分配，所述的预处理是对SSMVEP脑电数据进行0.1Hz-60Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到预处理后的SSMVEP脑电信号。
18.根据权利要求16所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，步骤4)所述的认知强化神经网络，依次包括：5个卷积组，一个全连接层和一个Softmax分类层；第一个卷积组为5个堆叠的卷积层后连接第一最大池化层；第2个卷积组为4个堆叠的卷积层后连接第二最大池化层；第3个卷积组为3个堆叠的卷积层后连接第三最大池化层；第4个卷积组为3个堆叠的卷积层后连接第四最大池化层；第5个卷积组为1个卷积层连接第五最大池化层；所有的卷积层中都使用大小为4×4的卷积核。
19.根据权利要求1所述的基于脑机交互混合智能的脑卒中被试者手部康复系统，其特征在于，所述机械手套进行屈曲、伸展、二指捏、三指捏、弯小拇指、弯无名指六种手部动作，所述的六种手部动作与SSMVEP视觉刺激界面中的六个SSMVEP视觉刺激选项一一对应；对于SSMVEP脑电信号的分类结果，机械手套根据分类结果在六种手部动作中预选一种手部动作，但不启动手部动作，当运动想象脑电信号的分类结果传输过来后，如果分类结果为运动想象状态，则机械手套启动预选手部动作，如果分类结果为非运动想象状态，则机械手套不启动预选手部动作，机械手套带动被试者患肢完成运动意愿对应的手部动作。
CN202010481475.2A 2020-05-31 2020-05-31 基于脑机交互混合智能的脑卒中患者手部康复系统 Active CN111631907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481475.2A CN111631907B (zh) 2020-05-31 2020-05-31 基于脑机交互混合智能的脑卒中患者手部康复系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481475.2A CN111631907B (zh) 2020-05-31 2020-05-31 基于脑机交互混合智能的脑卒中患者手部康复系统

Publications (2)

Publication Number Publication Date
CN111631907A true CN111631907A (zh) 2020-09-08
CN111631907B CN111631907B (zh) 2022-06-03

Family

ID=72324201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481475.2A Active CN111631907B (zh) 2020-05-31 2020-05-31 基于脑机交互混合智能的脑卒中患者手部康复系统

Country Status (1)

Country Link
CN (1) CN111631907B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230768A (zh) * 2020-09-30 2021-01-15 深圳睿瀚医疗科技有限公司 基于ssmvep-erp-osr混合脑机接口驱动的轮椅
CN112933369A (zh) * 2021-01-27 2021-06-11 东南大学 一种脑卒中患者运动与感觉神经联合康复装置及控制方法
CN113017648A (zh) * 2021-03-18 2021-06-25 内蒙古工业大学 一种脑电信号识别方法和系统
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113332101A (zh) * 2021-06-11 2021-09-03 上海羿生医疗科技有限公司 基于脑机接口的康复训练装置的控制方法和装置
CN113655884A (zh) * 2021-08-17 2021-11-16 河北师范大学 设备控制方法、终端及系统
CN113752259A (zh) * 2021-09-03 2021-12-07 北京航空航天大学 机械臂的脑机接口控制方法、装置及设备
CN114082169A (zh) * 2021-11-22 2022-02-25 江苏科技大学 基于脑电信号的伤残手软体康复机器人运动想象识别方法
CN114145756A (zh) * 2021-12-15 2022-03-08 电子科技大学中山学院 协作机器人控制方法、装置及计算机可读存储介质
CN114190955A (zh) * 2021-11-22 2022-03-18 哈工大机器人（合肥）国际创新研究院 一种枕颞区视觉脑电信号采集系统
CN114504468A (zh) * 2022-01-30 2022-05-17 天津大学 一种基于人工智能技术的手部全指康复训练及评估系统
CN116919424A (zh) * 2023-08-24 2023-10-24 之江实验室 脑机接口康复方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105853140A (zh) * 2016-03-24 2016-08-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练系统
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法
US20200142421A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105853140A (zh) * 2016-03-24 2016-08-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练系统
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法
US20200142421A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
POUYA BASHIVAN 等: "LEARNING REPRESENTATIONS FROM EEG WITH DEEP RECURRENT-CONVOLUTIONAL NEURAL NETWORKS", 《CONFERENCE PAPER AT ICLR 2016》 *
ZHONGKE GAO 等: "A Deep Learning Method for Improving the Classification Accuracy of SSMVEP-Based BCI", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS-II: EXPRESS BRIEFS》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230768A (zh) * 2020-09-30 2021-01-15 深圳睿瀚医疗科技有限公司 基于ssmvep-erp-osr混合脑机接口驱动的轮椅
CN112933369B (zh) * 2021-01-27 2023-01-31 东南大学 一种脑卒中患者运动与感觉神经联合康复装置及控制方法
CN112933369A (zh) * 2021-01-27 2021-06-11 东南大学 一种脑卒中患者运动与感觉神经联合康复装置及控制方法
CN113017648A (zh) * 2021-03-18 2021-06-25 内蒙古工业大学 一种脑电信号识别方法和系统
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113332101B (zh) * 2021-06-11 2023-08-01 上海羿生医疗科技有限公司 基于脑机接口的康复训练装置的控制方法和装置
CN113332101A (zh) * 2021-06-11 2021-09-03 上海羿生医疗科技有限公司 基于脑机接口的康复训练装置的控制方法和装置
CN113655884A (zh) * 2021-08-17 2021-11-16 河北师范大学 设备控制方法、终端及系统
CN113752259A (zh) * 2021-09-03 2021-12-07 北京航空航天大学 机械臂的脑机接口控制方法、装置及设备
CN114082169A (zh) * 2021-11-22 2022-02-25 江苏科技大学 基于脑电信号的伤残手软体康复机器人运动想象识别方法
CN114190955A (zh) * 2021-11-22 2022-03-18 哈工大机器人（合肥）国际创新研究院 一种枕颞区视觉脑电信号采集系统
CN114190955B (zh) * 2021-11-22 2023-10-31 哈工大机器人（合肥）国际创新研究院 一种枕颞区视觉脑电信号采集系统
CN114145756A (zh) * 2021-12-15 2022-03-08 电子科技大学中山学院 协作机器人控制方法、装置及计算机可读存储介质
CN114504468A (zh) * 2022-01-30 2022-05-17 天津大学 一种基于人工智能技术的手部全指康复训练及评估系统
CN114504468B (zh) * 2022-01-30 2023-08-08 天津大学 一种基于人工智能技术的手部全指康复训练及评估系统
CN116919424A (zh) * 2023-08-24 2023-10-24 之江实验室 脑机接口康复方法、装置、电子设备和存储介质
CN116919424B (zh) * 2023-08-24 2024-05-03 之江实验室 脑机接口康复装置和电子设备

Also Published As

Publication number Publication date
CN111631907B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN111631907B (zh) 基于脑机交互混合智能的脑卒中患者手部康复系统
CN111631848B (zh) 基于脑机混合智能的意念控制假肢系统
Fang et al. A multichannel surface EMG system for hand motion recognition
CN108304068B (zh) 一种基于脑机接口的上肢康复训练机器人控制系统及方法
RU2635632C1 (ru) Способ и система управления интеллектуальной бионической конечностью
Pancholi et al. Improved classification scheme using fused wavelet packet transform based features for intelligent myoelectric prostheses
CN106214391B (zh) 基于脑机接口的智能护理床及其控制方法
CN100594858C (zh) 一种脑电肌电联合控制的电动假手的控制方法
CN109366508A (zh) 一种基于bci的高级机械臂控制系统及其实现方法
CN111513991B (zh) 基于人工智能技术的主动式手部全指康复设备
CN111150935B (zh) 一种肌电颈部按摩装置以及控制方法
Kasim et al. User-friendly labview gui for prosthetic hand control using emotiv eeg headset
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN113143676B (zh) 一种基于脑肌电协同的外肢体手指的控制方法
CN113871028A (zh) 一种基于肌电智能穿戴的交互式康复系统
Lin et al. Design of SSVEP enhancement-based brain computer interface
Lin et al. Design of smart EEG cap
CN114647314A (zh) 一种基于肌电的穿戴式肢体运动智能感知系统
CN114504330A (zh) 一种基于便携式脑电采集头环的疲劳状态监测系统
CN113101021B (zh) 基于mi-ssvep混合式脑机接口的机械臂控制方法
Alhammadi et al. Cursor Control Using electroencephalogram (EEG) Technology
CN114242202A (zh) 脑卒中手部康复训练方法、装置及系统
CN114504333B (zh) 一种基于肌电的穿戴式前庭监测系统及应用
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法
Park et al. Application of EEG for multimodal human-machine interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant