CN113952160A - 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 - Google Patents
融合脑机接口的康复外骨骼控制方法、装置及康复机器人 Download PDFInfo
- Publication number
- CN113952160A CN113952160A CN202011347753.1A CN202011347753A CN113952160A CN 113952160 A CN113952160 A CN 113952160A CN 202011347753 A CN202011347753 A CN 202011347753A CN 113952160 A CN113952160 A CN 113952160A
- Authority
- CN
- China
- Prior art keywords
- rehabilitation
- rehabilitation training
- motor imagery
- freedom
- exoskeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 151
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 210000004556 brain Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 210000001364 upper extremity Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 208000006011 Stroke Diseases 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 5
- 210000000323 shoulder joint Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 4
- 206010019468 Hemiplegia Diseases 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
- A61H1/0277—Elbow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
- A61H1/0281—Shoulder
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/12—Driving means
- A61H2201/1207—Driving means with electric or magnetic drive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1657—Movement of interface, i.e. force application means
- A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5041—Interfaces to the user control is restricted to certain individuals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
- A61H2230/08—Other bio-electrical signals
- A61H2230/10—Electroencephalographic signals
- A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Rehabilitation Therapy (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明提供一种融合脑机接口的康复外骨骼控制方法、装置及康复机器人，该方法包括：控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取用户的目标通道的运动想象脑电信号；识别运动想象脑电信号的类别；类别包括处于运动想象状态或者处于安静状态；根据运动想象脑电信号对应的类别确定用户选择的康复训练自由度；根据类别及康复训练自由度控制康复外骨骼启动或停止康复训练。本发明可以进行多自由度康复训练，满足康复训练要求。
Description
技术领域
本发明涉及康复机器人技术领域，具体而言，涉及一种融合脑机接口的康复外骨骼控制方法、装置及康复机器人。
背景技术
近几十年来，康复机器人已经成为神经功能康复治疗领域的研究热点，其可以辅助甚至替代医师为患者提供更加持续、有效以及更具针对性的康复训练治疗，缓解康复医疗人力资源紧缺问题，而且可以实时记录患者的治疗数据，为病情评估和方案改进提供客观依据。
脑-机接口(Brain-Computer Interface，BCI)是一项新兴的技术，为大脑和外部设备建立了沟通的桥梁，使得外部设备能够直接用大脑中的信号来指导外部的活动，比如控制康复机器人的运动等。基于运动想象(Motor Imagery，MI)脑电信号的脑-机接口是该技术的主要应用之一，通过分析大脑进行想象运动的脑电信号，识别大脑状态和活动，来达到控制外部设备的目的。结合运动想象的康复机器人已成为脑卒中患者运动康复治疗方法的研究重点，可以作为辅助工具参与中风患者的康复治疗，在生物交叉领域中有着广泛的应用前景。
仅考虑各关节单独运动时，正常人的上肢运动就包括肩关节旋内/旋外自由度、外摆/内收自由度、前屈/后伸自由度，肘关节屈曲/伸展自由度，前臂旋前/旋后自由度，以及腕关节尺屈/桡屈、背屈/掌屈自由度总共7个自由度，而现有的基于运动想象脑电信号的上肢康复外骨骼无法控制这么多的康复训练自由度，大多只能控制单关节1个自由度的康复训练，还远远达不到康复训练的需求。
发明内容
本发明解决的是现有基于运动想象的康复机器人大多只能控制单关节1个自由度的康复训练，无法达到康复训练要求的问题。
为解决上述问题，本发明提供一种融合脑机接口的康复外骨骼控制方法，所述方法包括：控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取所述用户的目标通道的运动想象脑电信号；识别所述运动想象脑电信号的类别；所述类别包括处于运动想象状态或者处于安静状态；根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度；根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练。
可选地，所述根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练，包括：当获取的运动想象脑电信号的类别为处于运动想象状态时，根据所述康复训练自由度控制康复外骨骼启动康复训练；当获取的运动想象脑电信号的类别为处于安静状态时，控制所述康复外骨骼停止康复训练。
可选地，所述根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练，包括：当获取的运动想象脑电信号的类别为处于运动想象状态且持续时长大于预设时长阈值时，根据所述康复训练自由度控制康复外骨骼启动康复训练；当获取的运动想象脑电信号的类别为处于安静状态且持续时长大于预设时长阈值时，控制所述康复外骨骼停止康复训练。
可选地，所述根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度，包括：当获取的运动想象脑电信号的类别为处于运动想象状态时，确定当前输出的康复训练自由度选择画面对应的康复训练自由度为所述用户选择的康复训练自由度。
可选地，所述康复训练自由度包括康复训练单自由度和/或康复训练多自由度。
可选地，所述目标通道为国际通用10-20系统中的C3、C4、Cz采集通道。
可选地，所述识别所述运动想象脑电信号的类别，包括：对所述运动想象脑电信号进行滤波；将滤波后的所述运动想象脑电信号输入预先训练的卷积神经网络，得到所述运动想象脑电信号的类别。
本发明提供一种融合脑机接口的康复外骨骼控制装置，所述装置包括：脑电信号采集模块，用于控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取所述用户的目标通道的运动想象脑电信号；脑电信号分类模块，用于识别所述运动想象脑电信号的类别；所述类别包括处于运动想象状态或者处于安静状态；自由度确定模块，用于根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度；外骨骼控制模块，用于根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练。
本发明提供一种康复外骨骼系统，所述系统包括：脑电信号采集模块、脑电信号分类模块、虚拟现实模块和上肢康复外骨骼；所述虚拟现实模块，用于在虚拟现实界面显示康复训练自由度动画，以及将使用者选择的康复训练自由度发送给所述上肢康复外骨骼；所述脑电信号采集模块，用于实时采集使用者的脑电信号；所述脑电信号分类模块，用于识别所述脑电信号的类别，以及将所述类别对应的控制指令发送至所述上肢康复外骨骼；所述类别为处于运动想象状态时对应启动控制指令，所述类别为处于安静状态时对应停止控制指令；所述上肢康复外骨骼，用于接收所述控制指令进行康复训练。
本发明提供一种康复机器人，包括：康复外骨骼及控制器；所述控制器，用于执行上述融合脑机接口的康复外骨骼控制方法。
本发明提供一种融合脑机接口的康复外骨骼控制方法、装置及康复机器人，通过结合虚拟现实与运动想象脑电信号控制康复外骨骼，用户可自主控制康复外骨骼的多个自由度，在虚拟现实界面中通过运动想象对应脑电信号的类别选择康复训练自由度，并通过上述脑电信号的类别控制何时启动和停止康复外骨骼，从而进行多自由度康复训练，可以满足康复训练要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种康复外骨骼系统的结构示意图；
图2为本发明实施例中一种EEG脑电信号采集位置分布示意图；
图3为本发明实施例中一种融合脑机接口的康复外骨骼控制方法的示意性流程图；
图4为本发明实施例中一种EEG脑电信号分类方法的流程示意图；
图5为本发明实施例中一种康复训练自由度选择的流程示意图；
图6为本发明实施例中一种上肢康复外骨骼的结构示意图；
图7为本发明实施例中一种融合脑机接口的康复外骨骼控制装置的结构示意图。
附图标记说明：
101-EEG采集模块；102-EEG分类模块；103-虚拟现实模块；104-上肢外骨骼；801-脑电信号采集模块；802-脑电信号分类模块；803-自由度确定模块；804-外骨骼控制模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
脑卒中俗称中风，是由于脑血管堵塞或破裂而造成的急性脑血管循环障碍疾病，具有高发病率、高死亡率、高致残率、高复发率等特点。中风所导致的运动神经受损会使患者出现偏瘫，造成患侧肢体的运动功能障碍，给偏瘫患者的日常生活和工作带来了极大阻碍，严重危害身心健康，而且还造成沉重的经济和医疗负担。在传统的偏瘫临床治疗中，医师通常以徒手方式对患者进行一对一的康复治疗，医师个人的治疗手段、经验差异、主观意识以及疲劳程度会直接影响治疗效果，治疗过程劳动强度大，护理成本高昂，而且医师和患者的数量比例严重失衡，难以满足日益增长的医疗需求。
现有康复机器人可以辅助甚至替代医师为患者提供更加持续、有效以及更具针对性的康复训练治疗，缓解康复医疗人力资源紧缺问题。
虽然运动想象脑电信号在康复外骨骼上取得了一些应用，但目前结合运动想象的康复机器人大多只能控制单关节1个自由度的康复训练，还远远达不到康复训练的需求。
为了控制更多的康复训练自由度，相关研究机构提出了一些方法。现有的一种方法，使用左上肢和右上肢的运动想象来控制康复机器人辅助上肢康复，康复机器人采用2种组合方式，组合方式1用来训练肘关节和肩关节在托盘平面内摆动，组合方式2用来训练肘关节和肩关节在托盘平面内摆动。虽然通过康复机器人的不同组合方式增加了康复训练自由度，但是也存在以下问题：首先，患者无法自主选择康复自由度，需要康复医师来更改康复机器人的组合才能改变康复自由度；其次，康复机器人的组合方式有限，且每次改变康复自由度都需要对机器人的结构进行更改，难以提供多达7种康复运动自由度。因此，依靠这种方式只能增加少数几个康复训练自由度，无法从根本上解决问题。
基于运动想象脑电信号的上肢康复外骨骼只能控制这么少的康复训练自由度，究其原因，是因为运动想象脑电信号本身的可识别类别较少且识别准确率不高，在二类识别问题上的准确率普遍只有80％左右，且随着识别类别的增加准确率进一步降低，因此目前结合运动想象的康复机器人大多只能控制单关节1个自由度康复训练。
针对以上问题，本发明提供一种融合虚拟现实与运动想象的融合脑机接口的康复外骨骼控制方法、装置及康复机器人，可自主控制上肢康复外骨骼的全部7个自由度。康复训练使用者在虚拟现实界面中选择康复训练自由度，并通过脑电信号控制何时启动和停止上肢康复外骨骼。
参见图1所示的康复外骨骼系统的结构示意图，示出了本实施例提供的康复外骨骼控制方法的应用环境。如图1所示，康复外骨骼系统由EEG(Electroencephalogram，脑电波)采集模块101、EEG分类模块102、虚拟现实模块103和上肢外骨骼104组成。
康复训练时使用者头部佩戴脑电采集电极帽，眼部穿戴VR(Virtual Reality，虚拟现实)眼镜，手臂连接康复外骨骼进行康复训练。进入康复训练模式后，EEG采集模块实时采集使用者的脑电信号，并通过EEG分类模块识别当前处于运动想象状态还是安静状态。
使用者可以在虚拟现实界面中选择康复训练自由度，虚拟现实模块将所选的康复训练自由度发送给康复外骨骼。康复外骨骼接收到来自虚拟现实模块的康复训练自由度和来自EEG分类模块的启动指令后产生辅助力辅助使用者进行康复训练，接收到来自EEG分类模块的停止指令则停止康复训练。
图2为EEG脑电信号采集位置分布示意图。使用者佩戴电极帽采集脑电信号，采样率设置为256Hz，电极帽的电极分布按照国际通用10-20系统，分别位于FC5、FC3、FC1、FCz、FC2、FC4、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP3、CP1、CPz、CP2、CP4、CP6处，这些区域覆盖了与运动有关的初级感觉及运动皮层及前运动区。本发明实施例只需要识别是否产生左右手的想象运动，因此只关注与左右手想象运动相关的区域，即C3、C4和Cz这3个采集通道，后续的信号处理也仅适用上述3个通道的数据，数据量大大减少。
图3是本发明的一个实施例中一种融合脑机接口的康复外骨骼控制方法的示意性流程图，该方法可以应用于上述康复外骨骼系统，在本实施例中以上肢康复外骨骼系统为例，其包括上肢外骨骼，上述方法包括：
S302，控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取用户的目标通道的运动想象脑电信号。
虚拟现实模块可以包括VR眼镜，通过VR眼镜向用户输出康复训练自由度选择画面。可选地，该康复训练自由度可以包括康复训练单自由度和/或康复训练多自由度。VR眼镜循环播放上述康复训练单自由度、康复训练多自由度的动作动画，用户可以直观地选择需要进行训练的自由度动作。
EEG采集模块可以包括电极帽，通过电极帽采集用户进行运动想象时的脑电信号。在本实施例中以左右手的想象运动对应的脑电信号作为控制康复外骨骼的信号来源，上述目标通道即国际通用10-20系统中的采集通道C3、C4和Cz。
S304，识别运动想象脑电信号的类别。其中，该类别可包括处于运动想象状态或者处于安静状态。
可选地，基于预先训练的神经网络对运动想象脑电信号进行识别。在本实施例中，需要用户通过运动想象主动选择康复训练自由度，为了提高识别准确率，仅识别上述左右手运动想象是运动想象状态或者安静状态，由于只需要进行二分类，因此分类识别准确性较高。在此需要说明的是，对运动想象脑电信号的获取及识别持续进行，识别得到的类别结果既可以用于确定用户选择的康复训练自由度，还可以用于触发控制信号以控制康复外骨骼启动或停止康复训练。
S306，根据运动想象脑电信号对应的类别确定用户选择的康复训练自由度。
虚拟现实模块循环播放上述康复训练单自由度、康复训练多自由度的动作动画供用户选择。用户看到欲进行训练的动作动画时，可以想象左右手运动，此时用户被采集的脑电信号应被识别为处于运动想象状态，在其他不想进行训练的动作动画时，可以不进行左右手运动想象，此时用户被采集的脑电信号应被识别为处于安静状态。
可选地，当获取的运动想象脑电信号的类别为处于运动想象状态时，确定当前输出的康复训练自由度选择画面对应的康复训练自由度为用户选择的康复训练自由度。通过结合虚拟现实与运动想象控制康复外骨骼，可自主控制康复外骨骼的全部7个自由度，使用者在虚拟现实界面中选择康复训练自由度，并通过脑电信号控制何时启动和停止康复外骨骼。
S308，根据上述类别及康复训练自由度控制康复外骨骼启动或停止康复训练。
可选地，当获取的运动想象脑电信号的类别为处于运动想象状态时，根据上述康复训练自由度控制康复外骨骼启动康复训练；当获取的运动想象脑电信号的类别为处于安静状态时，控制康复外骨骼停止康复训练。
在确定上述康复训练自由度后，可以将其发送至康复外骨骼，然后在EEG分类模块识别得到上述类别后，若其为处于运动想象状态则EEG分类模块向康复外骨骼发送启动指令，若其为处于安静状态则EEG分类模块向康复外骨骼发送停止指令。康复外骨骼可以接收上述康复训练自由度、启动指令及停止指令控制启动及停止。
可选地，当获取的运动想象脑电信号的类别为处于运动想象状态且持续时长大于预设时长阈值时，根据康复训练自由度控制康复外骨骼启动康复训练；当获取的运动想象脑电信号的类别为处于安静状态且持续时长大于预设时长阈值时，控制康复外骨骼停止康复训练。
其中，该预设时长阈值可以为0.5秒、1秒等。考虑到提高类别识别及康复机器人控制的稳定性，可以将类别识别结果持续一段时间后触发启动指令或停止指令。
本实施例提供的融合脑机接口的康复外骨骼控制方法，通过结合虚拟现实与运动想象脑电信号控制康复外骨骼，用户可自主控制康复外骨骼的多个自由度，在虚拟现实界面中通过运动想象对应脑电信号的类别选择康复训练自由度，并通过上述脑电信号的类别控制何时启动和停止康复外骨骼，从而进行多自由度康复训练，可以满足康复训练要求。
可选地，识别运动想象脑电信号的类别，包括以下步骤：首先，对运动想象脑电信号进行滤波；然后，将滤波后的运动想象脑电信号输入预先训练的卷积神经网络，得到运动想象脑电信号的类别。
脑电信号采集装置每采集满1秒的信号就将其发送给EEG分类模块进行分类，分类的目的是识别每秒的运动想象信号是处于运动想象状态还是安静状态。如果前一个状态是安静状态而当前状态是运动想象状态则启动康复外骨骼，如果前一个状态是运动想象状态且当前状态也是运动想象状态则保持康复外骨骼工作状态，如果前一个状态是运动想象状态而当前状态是安静状态则停止康复外骨骼。
参见图4所示的EEG脑电信号分类方法的流程示意图，包括以下步骤：
S401，EEG数据进行带通滤波5-30HZ。
S402，将滤波后的EEG数据输入卷积神经网络。卷积神经网络的输入是一个3ⅹ256维度的2D数据，其中3代表C3、C4和Cz这3个采集通道，256表示采样1秒得到的256个数据。
可选地，该卷积神经网络包括卷积层1:3×3×16卷积核、批规范化层1、ReLU层1、卷积层1:3×3×32卷积核、批规范化层2、ReLU层2、全连接层和softmax层。
S403，卷积神经网络进行分类并输出分类结果。
输入数据经过2组卷积层+批规范化层+ReLU层提取数据特征，再依次经过全连接层和softmax层输出分类结果。通常在卷积神经网络中卷积层后需要连接降采样层，但是由于所述神经网络的输入数据维度较小，因此省去了采样层。需要说明的是，神经网络需要训练，神经网络的训练为本领域技术人员所熟知的现有技术，本实施例并未对此进行改进，故不再进行赘述。
上述分类方法的特点是数据处理简单，只需要进行简单的滤波操作，无需进行两类样本的特征值提取及利用自回归(autoregression model，AR)模型估计EEG信号的功率谱密度，特征提取过程由卷积神经网络自动完成。
参见图5所示的康复训练自由度选择的流程示意图，包括以下步骤：
S501，进入虚拟现实界面。
S502，循环播放各个康复训练自由度动画。具体地，包括：肩关节外摆/内收自由度动画、前屈/后伸自由度动画，旋内/旋外自由度动画，肘关节屈曲/伸展自由度动画，前臂旋前/旋后自由度动画，以及腕关节尺屈/桡屈动画、背屈/掌屈自由度动画共7种自由度动画。
S503，判断是否产生1秒以上运动想象信号。若是，则执行S504；若是，则继续执行S502。
可选地，每种动画停留时间约3秒，结合脑电信号分类模块输出的分类结果，如果使用者在当前界面下处于运动想象状态，则认为使用者选择当前自由度进行训练，持续播放当前康复训练自由度动画，否则切换到下一个康复训练自由度动画并重复以上过程。
S504，选择当前自由度。
参见图6所示的一种上肢康复外骨骼的结构示意图，该上肢外骨骼包括肩关节外摆/内收自由度1041、前屈/后伸自由度1042，旋内/旋外自由度1043，肘关节屈曲/伸展自由度1044，前臂旋前/旋后自由度1045，以及腕关节尺屈/桡屈1046、背屈/掌屈自由度1047共7种自由度，各个自由度可单独进行康复训练或组合进行康复训练，可满足脑卒中患者上肢康复训练的使用要求。
上肢康复外骨骼接收到来自虚拟现实模块的康复训练自由度和来自脑电信号分类模块的启动指令后产生辅助力辅助使用者进行相应关节自由度的康复训练，接收到来自脑电信号分类模块的停止指令则停止康复训练。
图7是本发明的一个实施例中一种融合脑机接口的康复外骨骼控制装置的结构示意图，该康复外骨骼控制装置包括：
脑电信号采集模块701，用于控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取所述用户的目标通道的运动想象脑电信号；
脑电信号分类模块702，用于识别所述运动想象脑电信号的类别；所述类别包括处于运动想象状态或者处于安静状态；
自由度确定模块703，用于根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度；
外骨骼控制模块704，用于根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练。
本实施例提供的融合脑机接口的康复外骨骼控制装置，通过结合虚拟现实与运动想象脑电信号控制康复外骨骼，用户可自主控制康复外骨骼的多个自由度，在虚拟现实界面中通过运动想象对应脑电信号的类别选择康复训练自由度，并通过上述脑电信号的类别控制何时启动和停止康复外骨骼，从而进行多自由度康复训练，可以满足康复训练要求。
可选地，作为一个实施例，所述外骨骼控制模块804，具体用于：当获取的运动想象脑电信号的类别为处于运动想象状态时，根据所述康复训练自由度控制康复外骨骼启动康复训练；当获取的运动想象脑电信号的类别为处于安静状态时，控制所述康复外骨骼停止康复训练。
可选地，作为一个实施例，所述外骨骼控制模块804，具体用于：当获取的运动想象脑电信号的类别为处于运动想象状态且持续时长大于预设时长阈值时，根据所述康复训练自由度控制康复外骨骼启动康复训练；当获取的运动想象脑电信号的类别为处于安静状态且持续时长大于预设时长阈值时，控制所述康复外骨骼停止康复训练。
可选地，作为一个实施例，所述自由度确定模块803，具体用于：当获取的运动想象脑电信号的类别为处于运动想象状态时，确定当前输出的康复训练自由度选择画面对应的康复训练自由度为所述用户选择的康复训练自由度。
可选地，作为一个实施例，所述康复训练自由度包括康复训练单自由度和/或康复训练多自由度。
可选地，作为一个实施例，所述目标通道为国际通用10-20系统中的C3、C4、Cz采集通道。
可选地，作为一个实施例，所述脑电信号分类模块802，具体用于：对所述运动想象脑电信号进行滤波；将滤波后的所述运动想象脑电信号输入预先训练的卷积神经网络，得到所述运动想象脑电信号的类别。
本发明实施例还提供一种康复外骨骼系统，所述系统包括：脑电信号采集模块、脑电信号分类模块、虚拟现实模块和上肢康复外骨骼；
所述虚拟现实模块，用于在虚拟现实界面显示康复训练自由度动画，以及将使用者选择的康复训练自由度发送给所述上肢康复外骨骼；
所述脑电信号采集模块，用于实时采集使用者的脑电信号；
所述脑电信号分类模块，用于识别所述脑电信号的类别，以及将所述类别对应的控制指令发送至所述上肢康复外骨骼；所述类别为处于运动想象状态时对应启动控制指令，所述类别为处于安静状态时对应停止控制指令；
所述上肢康复外骨骼，用于接收所述控制指令进行康复训练。
本发明实施例还提供一种康复机器人，包括：康复外骨骼及控制器；所述控制器，用于执行上述融合脑机接口的康复外骨骼控制方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述康复外骨骼控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种融合脑机接口的康复外骨骼控制方法，其特征在于，所述方法包括：
控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取所述用户的目标通道的运动想象脑电信号；
识别所述运动想象脑电信号的类别；所述类别包括处于运动想象状态或者处于安静状态；
根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度；
根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练。
2.根据权利要求1所述方法，其特征在于，所述根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练，包括：
当获取的运动想象脑电信号的类别为处于运动想象状态时，根据所述康复训练自由度控制康复外骨骼启动康复训练；
当获取的运动想象脑电信号的类别为处于安静状态时，控制所述康复外骨骼停止康复训练。
3.根据权利要求1所述方法，其特征在于，所述根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练，包括：
当获取的运动想象脑电信号的类别为处于运动想象状态且持续时长大于预设时长阈值时，根据所述康复训练自由度控制康复外骨骼启动康复训练；
当获取的运动想象脑电信号的类别为处于安静状态且持续时长大于预设时长阈值时，控制所述康复外骨骼停止康复训练。
4.根据权利要求1-3任一项所述方法，其特征在于，所述根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度，包括：
当获取的运动想象脑电信号的类别为处于运动想象状态时，确定当前输出的康复训练自由度选择画面对应的康复训练自由度为所述用户选择的康复训练自由度。
5.根据权利要求1-3任一项所述方法，其特征在于，所述康复训练自由度包括康复训练单自由度和/或康复训练多自由度。
6.根据权利要求1-3任一项所述方法，其特征在于，所述目标通道为国际通用10-20系统中的C3、C4、Cz采集通道。
7.根据权利要求1-3任一项所述方法，其特征在于，所述识别所述运动想象脑电信号的类别，包括：
对所述运动想象脑电信号进行滤波；
将滤波后的所述运动想象脑电信号输入预先训练的卷积神经网络，得到所述运动想象脑电信号的类别。
8.一种融合脑机接口的康复外骨骼控制装置，其特征在于，所述装置包括：
脑电信号采集模块，用于控制虚拟现实模块向用户输出康复训练自由度选择画面，以及获取所述用户的目标通道的运动想象脑电信号；
脑电信号分类模块，用于识别所述运动想象脑电信号的类别；所述类别包括处于运动想象状态或者处于安静状态；
自由度确定模块，用于根据所述运动想象脑电信号对应的类别确定所述用户选择的康复训练自由度；
外骨骼控制模块，用于根据所述类别及所述康复训练自由度控制康复外骨骼启动或停止康复训练。
9.根据权利要求8所述装置，其特征在于，所述外骨骼控制模块具体用于：
当获取的运动想象脑电信号的类别为处于运动想象状态时，根据所述康复训练自由度控制康复外骨骼启动康复训练；
当获取的运动想象脑电信号的类别为处于安静状态时，控制所述康复外骨骼停止康复训练。
10.一种康复机器人，其特征在于，包括：康复外骨骼及控制器；
所述控制器，用于执行权利要求1-7任一项所述的融合脑机接口的康复外骨骼控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347753.1A CN113952160A (zh) | 2020-11-26 | 2020-11-26 | 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347753.1A CN113952160A (zh) | 2020-11-26 | 2020-11-26 | 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113952160A true CN113952160A (zh) | 2022-01-21 |
Family
ID=79460161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011347753.1A Pending CN113952160A (zh) | 2020-11-26 | 2020-11-26 | 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113952160A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304068A (zh) * | 2018-01-30 | 2018-07-20 | 山东建筑大学 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
| CN109091819A (zh) * | 2018-08-13 | 2018-12-28 | 上海理工大学 | 上肢康复机器人控制系统 |
| US20200135042A1 (en) * | 2017-04-11 | 2020-04-30 | Daegu Gyeongbuk Institute Of Science And Technology | Simulator and simulation system for brain training based on behavior modeling |
| CN111544846A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 一种纯意念控制康复机器人的训练与模式切换方法 |
| CN111584030A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于深度学习和复杂网络的意念控制智能康复系统及应用 |
-
2020
- 2020-11-26 CN CN202011347753.1A patent/CN113952160A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200135042A1 (en) * | 2017-04-11 | 2020-04-30 | Daegu Gyeongbuk Institute Of Science And Technology | Simulator and simulation system for brain training based on behavior modeling |
| CN108304068A (zh) * | 2018-01-30 | 2018-07-20 | 山东建筑大学 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
| CN109091819A (zh) * | 2018-08-13 | 2018-12-28 | 上海理工大学 | 上肢康复机器人控制系统 |
| CN111544846A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 一种纯意念控制康复机器人的训练与模式切换方法 |
| CN111584030A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于深度学习和复杂网络的意念控制智能康复系统及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109394476B (zh) | 脑肌信息自动意图识别与上肢智能控制方法及系统 | |
| Duan et al. | Design of a multimodal EEG-based hybrid BCI system with visual servo module | |
| Lalitharatne et al. | Towards hybrid EEG-EMG-based control approaches to be used in bio-robotics applications: Current status, challenges and future directions | |
| Leeb et al. | Multimodal fusion of muscle and brain signals for a hybrid-BCI | |
| Gohel et al. | Review on electromyography signal acquisition and processing | |
| Norani et al. | A review of signal processing in brain computer interface system | |
| CN112244774A (zh) | 脑机接口康复训练系统及方法 | |
| Zhang et al. | Asynchronous brain-computer interface shared control of robotic grasping | |
| JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
| Lee et al. | SessionNet: Feature similarity-based weighted ensemble learning for motor imagery classification | |
| Zhang et al. | A hybrid EEG-based BCI for robot grasp controlling | |
| Lee et al. | Decoding movement imagination and execution from eeg signals using bci-transfer learning method based on relation network | |
| Naves et al. | Virtual and augmented reality environment for remote training of wheelchairs users: Social, mobile, and wearable technologies applied to rehabilitation | |
| CN113730190A (zh) | 一种三维空间运动的上肢康复机器人系统 | |
| CN113952160A (zh) | 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 | |
| CN207120250U (zh) | 基于脑机接口技术bci的智能机器人 | |
| Pilla et al. | Cybernetic Systems: Technology Embedded into the Human Experience | |
| Han et al. | Confidence-aware subject-to-subject transfer learning for brain-computer interface | |
| Jo et al. | EEG-EMG hybrid real-time classification of hand grasp and release movements intention in chronic stroke patients | |
| Duvinage et al. | Human walk modeled by PCPG to control a lower limb neuroprosthesis by high-level commands | |
| Zhang et al. | The Application of EMG and Machine Learning in Human Machine Interface | |
| Kæseler et al. | Brain patterns generated while using a tongue control interface: a preliminary study with two individuals with ALS | |
| CN114936574A (zh) | 一种基于bci的高灵活度机械手系统及其实现方法 | |
| JP6675541B1 (ja) | 機能回復訓練システム、機能回復訓練装置およびプログラム | |
| Bolaños et al. | Non-invasive control of a intelligent room using EEG signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |