CN109657560A - 机械手臂控制在线脑-机接口系统及实现方法 - Google Patents
机械手臂控制在线脑-机接口系统及实现方法 Download PDFInfo
- Publication number
- CN109657560A CN109657560A CN201811411533.3A CN201811411533A CN109657560A CN 109657560 A CN109657560 A CN 109657560A CN 201811411533 A CN201811411533 A CN 201811411533A CN 109657560 A CN109657560 A CN 109657560A
- Authority
- CN
- China
- Prior art keywords
- eeg
- mechanical arm
- thumb
- finger
- computer interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 210000003811 finger Anatomy 0.000 claims abstract description 31
- 210000003813 thumb Anatomy 0.000 claims abstract description 28
- 210000004932 little finger Anatomy 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000013461 design Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000001939 inductive effect Effects 0.000 claims abstract description 9
- 238000002474 experimental method Methods 0.000 claims description 31
- 238000012706 support-vector machine Methods 0.000 claims description 26
- 238000005424 photoluminescence Methods 0.000 claims description 22
- 230000000638 stimulation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 239000004615 ingredient Substances 0.000 claims description 14
- 238000003909 pattern recognition Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 3
- 239000000956 alloy Substances 0.000 claims description 3
- 229910045601 alloy Inorganic materials 0.000 claims description 3
- 230000003203 everyday effect Effects 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- LWUVWAREOOAHDW-UHFFFAOYSA-N lead silver Chemical compound [Ag].[Pb] LWUVWAREOOAHDW-UHFFFAOYSA-N 0.000 claims description 3
- SDLBJIZEEMKQKY-UHFFFAOYSA-M silver chlorate Chemical compound [Ag+].[O-]Cl(=O)=O SDLBJIZEEMKQKY-UHFFFAOYSA-M 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000004936 stimulating effect Effects 0.000 claims description 3
- 238000002560 therapeutic procedure Methods 0.000 claims description 3
- 230000002051 biphasic effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims 2
- 210000004556 brain Anatomy 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000007659 motor function Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 abstract description 4
- 239000002131 composite material Substances 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 4
- 238000000537 electroencephalography Methods 0.000 description 30
- 230000003340 mental effect Effects 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007996 neuronal plasticity Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007433 nerve pathway Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
- A61N1/36025—External stimulators, e.g. with patch electrodes for treating a mental or cerebral condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
- A61N1/3603—Control systems
- A61N1/36031—Control systems using physiological parameters for adjustment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychology (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Neurology (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Evolutionary Biology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Child & Adolescent Psychology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Hospice & Palliative Care (AREA)
- Rehabilitation Tools (AREA)
- Developmental Disabilities (AREA)
Abstract
本发明涉及大脑思维与外界环境的直接沟通，为提出一种基于混合特征的精细动作机械手臂在线控制BCI系统,能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的BCI技术发展开拓思路并奠定技术基础。同时，满足多指令输出。为此，本发明采取的技术方案是，机械手臂控制在线脑‑机接口实现方法，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。本发明主要应用于医疗器械设计制造场合。
Description
技术领域
本发明涉及大脑思维与外界环境的直接沟通，涉及脑机接口技术，具体讲,涉及精细机械手臂控制在线脑-机接口系统。
背景技术
脑-机接口(brain computer interface,BCI)系统是不依赖于身体的神经通路和肌肉的一种通讯系统。BCI技术的发展初衷是服务于那些外周运动系统受损而大脑完好的病人，替代其失效的信息交流通路，改善其生活质量。但近年来，研究者开始将BCI技术应用于大脑受损的患者，不仅完成思维指令的输出，还可以诱发神经可塑性变化，重建受损信息通路，实现医学上神经康复的治疗作用。BCI技术已经在生活、医疗和军事领域都有重要的应用前景，随着BCI研究的不断进步，必将在各个领域绽放异彩。
运动想象(motor imagery,MI)可导致大脑皮层感觉运功区中大量神经元活动状态的改变，从而使脑电信号中的某些频率成分同步衰减或增强，这种现象称为事件相关去同步化或者同步化现象(event-related desynchronization/synchronization,ERD/ERS)。BCI技术通过放置在不同脑区的电极检测相应的脑电能量变化情况，从而判别出使用者的运动意图。由于人体脑电(Electroencephalography,EEG)信号容易受到干扰，信噪比低等缺点，无创的MI-BCI系统识别精度低，因此，在目前的康复应用中，患者仅能通过MI-BCI进行一些简单的康复动作，这就对MI-BCI在康复训练领域的应用形成了很重要的制约。
近年来，混合BCI范式被用于提升传统BCI效率的研究受到了广泛关注。以MI范式为主体，混合BCI范式包括时序和同步两种。时序混合BCI是指将一种信号作为开关控制另一种信号工作，从而实现一种异步BCI。比如有研究表明通过脚的运动想象作为大脑开关控制两种不同频率的稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)，降低了控制机械臂开合的假阳率。而同步混合BCI则要求使用者同时完成两个大脑活动，比如同时进行运动想象和视觉P300电位诱发，P300信号用于控制光标的垂直移动，左/右手运动想象用于控制光标的水平移动，实现了光标二维运动。然而，这两种组合方式虽然对BCI的整体性能有所提升，但是对于运动想象的识别并无帮助，同时，时序式增加了指令产生的环节，有可能降低解码速度，而同步式则需要被试消耗额外的注意资源，一方面削弱脑电信号的特征，另一方面增加使用者的操作复杂度，影响用户体验。
是否存在一种混合策略既能提高MI-BCI的整体性能，又不引起注意资源的竞争？直到融合稳态体感电位(steady-state somatosensory evoked potential,SSSEP)和MI的混合范式被提出来。已有研究表明，融合这两种特征用于识别运动想象动作的识别正确率明显高于仅使用一种特征的识别正确率。在这种范式下，使用者无需刻意关注体感刺激，而是采用与传统MI范式一样的想象模式进行想象即可。这种混合范式不仅不影响MI-BCI主动式的优势，而且能够提高MI-BCI的识别性能，因此为本发明设计提供了思路。
本发明设计了三类基于右手不同手指的精细想象动作混合范式，包括拇指、食指和小指。通过加入电刺激，诱发感觉运动皮层的SSSEP特征，实现通过单一运动想象任务同时获取ERD和SSSEP两种模态的识别信息，提升脑电信号可识别的信息量。手套设计能够增加用户的触觉感和体验感，用户通过想象右手的不同手指的运动，控制机械手臂完成指定的动作，提升用户的互动。本设计不同于原有的MI-BCI，通过构建精细动作机械手臂在线控制系统，实现精细动作意图的识别，为康复治疗提供新思路。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于混合特征的精细动作机械手臂在线控制BCI系统,能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的BCI技术发展开拓思路并奠定技术基础。同时，满足多指令输出。为此，本发明采取的技术方案是，机械手臂控制在线脑-机接口实现方法，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。
被试进行电刺激强度的调整：电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26Hz、小指31Hz，刺激强度调整至使用者轻微震颤，以足以产生SSSEP为止，每个被试的刺激强度根据每个被试的身体条件而确定。
通过在拇指和小指两个位置给予电刺激诱发SSSEP特征具体过程是，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下；单个轮次的流程共包含4个阶段，持续时间为8s，首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始，在第2s时，屏幕中间出现提示字符，提醒用户即将执行的想象任务；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的MI想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次；在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。每个用户的刺激强度在实验开始前进行调整。
共采集5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次，前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能，在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程，整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本；
通过放置在头颅的64导联银/氯化银Ag/AgC1合金电极帽由Neuroscan SynAmps 2系统进行EEG信号采集，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下，数据采集过程中，50Hz陷波器被用于去除工频干扰，预处理中对原始数据降采样到200Hz，并采用共平均参考进行空间滤波；
采用事件相关谱扰动ERSP(event-related spectral perturbation)分析EEG信号的时频域特征，分析不同想象任务下的ERD/SSSEP模式，ERSP的定义公式如下：
其中，n表示实验轮次的个数，Fk(f,t)指的是第k轮次实验的t时刻在频率f下的频谱估计。计算ERSP时采用短时傅里叶变换，hanning窗宽为256个采样点，并从原始数据中减去任务前3s内的频谱均值从而去除基线，针对每个想象任务，主要分析FC3、FC1和C3三个关键导联的时频特征。
特征提取和多分类支持向量机
采用基于多频率成分空间滤波的算法FBCSP(filter bank common spatialpattern)，首先设计Nf个带通滤波器，将EEG数据分为Nf个不同频段的EEG成分，然后分别对每一个频段的EEG成分计算CSP投影矩阵，进而分别提取每个EEG成分的空间特征。
采用多分类支持向量机SVM(support vector machine)进行模式识别，为了更好地将支持向量机应用于多类识别，采用“一对一”的多分类策略将多分类问题转化为若干个两分类问题求解；
模式识别的过程：截取任务开始后0.5-3.5s内3s的数据，将离线采集到的90个试次的数据用于构建SVM分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值，并将决策值通过蓝牙装置发送给控制机械臂的CPU模块，CPU模块通过指令转换驱使机械臂完成相应的动作。
机械手臂控制在线脑-机接口系统，包括采集模块、处理模块和控制模块，采集模块用于脑电信号的采集、电刺激的施加和刺激的呈现，由电极、标准电极帽、刺激的呈现模块构成，脑电信号通过标准电极帽进行采集，并通过脑电放大器实现信号的放大；通过嵌在手套上的电极施加电刺激，用于诱发SSSEP特征；刺激的呈现模块中刺激呈现界面通过编写计算机的matlab工具包实现；处理模块包括特征提取和多分类支持向量机，将采集模块采集到的脑电数据进行空间滤波提取特征后输入多分类支持向量机训练分类器，训练好的分类器用于预测在线采集的每个试次数据，并输出决策结果；控制模块获取决策结果，由控制模块完成指令的转换，控制机械臂执行相应的动作。
进一步地，处理模块特征提取，基于多频率成分空间滤波的算法FBCSP(filterbank common spatial pattern)，利用Nf个带通滤波器，将EEG数据分为Nf个不同频段的EEG成分，然后分别对每一个频段的EEG成分计算CSP投影矩阵，进而分别提取每个EEG成分的空间特征；采集到的90个试次的空间特征数据构建多分类支持向量机分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值。
本发明的特点及有益效果是：
对右手三个手指进行识别，使得该系统更加灵活操作，同时融合的电刺激保证了系统处理模块的输出性能，减少误触发率，给用户真实的触觉感受。采用与机械手臂对应的模拟手套，增强用户的体验感，有助于运动功能障碍患者的康复训练。在线的机械臂操作能够强化用户的参与度，进一步研究可以得到更完善的脑-机接口系统，获得可观的社会效益和经济效益。提升当前MI-BCI技术较低的想象动作识别的空间精度，对于充分发挥MI-BCI独特的中风康复治疗效用，具有关键性的作用。
附图说明：
图1本发明结构示意图。
图2.实验范式示意图。
图3.算法流程示意图。
具体实施方式
本发明设计了三类基于右手不同手指的精细想象动作混合范式，包括拇指、食指和小指。通过加入电刺激，诱发感觉运动皮层的SSSEP特征，实现通过单一运动想象任务同时获取ERD和SSSEP两种模态的识别信息，提升脑电信号可识别的信息量。手套设计能够增加用户的触觉感和体验感，用户通过想象右手的不同手指的运动，控制机械手臂完成指定的动作，提升用户的互动。本设计不同于原有的MI-BCI，通过构建精细动作机械手臂在线控制系统，实现精细动作意图的识别，为康复治疗提供新思路。
脑-机接口(brain-computer interface,BCI)可以不依赖于大脑正常的输出通路，实现大脑思维与外界环境的直接沟通。基于运动想象(motor imagery,MI)的脑-机接口技术是主动式BCI中最主要的范式之一，能够直接反映使用者的主观运动意识，而不需要使用者明显的动作输出。MI-BCI在运动功能辅助、运动功能康复等方面具有潜在的应用价值，因此受到了广泛的关注。目前，MI-BCI的主要问题是基于无创脑电信号的识别精度不高，尤其是对于运动想象发生部位的空间定位精度低。因此，在目前的康复治疗或者实际操作中，用户只能通过MI-BCI进行一些简单的动作，从而对MI-BCI的应用形成了严重的制约。本发明设计了一种新型的基于混合特征的精细机械手臂脑-机接口系统。通过在模拟手套上嵌入振荡电极，不仅融入了体感特征，提高系统处理模块的性能，而且可以增加用户的触觉体验感，有助于康复训练；最后搭建实时的机械手臂在线系统，使用者可以自主控制机械手臂的运动实现相应的功能。该发明从一定程度上为康复治疗提供了新思路，未来可以进一步完善主动式BCI系统，具有广阔的应用前景。
本发明的主旨是提出一种基于混合特征的精细动作机械手臂在线控制BCI系统。通过融合ERD和SSSEP特征对右手不同手指做分类识别并控制机械手臂。该项发明能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的BCI技术发展开拓思路并奠定技术基础。同时，该项发明也有望拓展传统MI-BCI的指令集，满足多指令输出，具有广阔的应用场景
1.实验设计
本发明针对右手不同手指设计了三类动作，包括拇指、食指和小指。通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升系统的识别性能。最后通过空间滤波、特征提取和模式识别等过程输出决策值，然后通过蓝牙装置控制机械臂完成指定的动作。本发明的结构示意图如图1所示。
本发明的结构组成可分为采集模块、处理模块和控制模块。首先，采集模块包括信号的采集、电刺激的施加和刺激的呈现。用户的脑电信号通过标准电极帽进行采集，并通过脑电放大器实现信号的放大；电刺激装置通过嵌在手套上的电极施加，用于诱发SSSEP特征；刺激呈现界面通过编写计算机的matlab工具包实现；其次，处理模块包括特征提取和多分类支持向量机。将离线采集到的脑电数据进行空间滤波提取特征后输入SVM训练分类器，用于预测在线采集的每个试次数据，并输出决策结果；最后是控制模块。在线获得的决策结果通过蓝牙装置传送给CPU控制模块，由CPU控制模块完成指令的转换，控制机械臂执行相应的动作。
实验开始前，被试进行电刺激强度的调整。电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26Hz、小指31Hz，刺激强度调整至使用者轻微震颤，以足以产生SSSEP为止。每个被试的刺激强度根据每个被试的身体条件而确定。
实验时，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下，尽量避免身体无明显动作。单个轮次的实验流程如图2所示，共包含4个阶段，持续时间为8s。首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的MI想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次实验。在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。每个用户的刺激强度在实验开始前进行调整。整个实验在安静无干扰的环境中完成。
实验共采集了5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次。前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能。在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程。整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本。
通过放置在头颅的64导联银/氯化银(Ag/AgC1)合金电极帽由Neuroscan SynAmps2系统进行EEG信号采集，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下。数据采集过程中，50Hz陷波器被用于去除工频干扰。预处理中对原始数据降采样到200Hz，并采用共平均参考进行空间滤波。
2.时频分析
事件相关谱扰动(event-related spectral perturbation,ERSP)方法被用来分析EEG信号的时频域特征，分析不同想象任务下的ERD/SSSEP模式。ERSP的定义公式如下：
其中，n表示实验轮次的个数，Fk(f,t)指的是第k轮次实验的t时刻在频率f下的频谱估计。计算ERSP时采用短时傅里叶变换，hanning窗宽为256个采样点，并从原始数据中减去任务前3s内的频谱均值从而去除基线。针对每个想象任务，主要分析FC3、FC1和C3三个关键导联的时频特征。
3.特征提取和多分类支持向量机
为了有效提取该范式诱发EEG信号中不同频率分布的ERD和SSSEP特征，本设计采用了基于多频率成分空间滤波的算法(filter bank common spatial pattern,FBCSP)，如图3所示。首先设计Nf个带通滤波器，将EEG数据分为Nf个不同频段的EEG成分，然后分别对每一个频段的EEG成分计算CSP投影矩阵，进而分别提取每个EEG成分的空间特征。
本发明采用多分类支持向量机(support vector machine,SVM)进行模式识别。为了更好地将支持向量机应用于多类识别，采用“一对一”的多分类策略将多分类问题转化为若干个两分类问题求解。本设计的分类识别在LIBSVM平台上实现。
模式识别的过程：截取任务开始后0.5-3.5s内3s的数据，将离线采集到的90个试次的数据用于构建SVM分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值，并将决策值通过蓝牙装置发送给控制机械臂的CPU模块，CPU模块通过指令转换驱使机械臂完成相应的动作。
本发明设计了一种基于精细运动意图的机械臂控制在线BCI系统，以实现精细手指运动想象下机械臂的成功控制。针对目前MI-BCI所面临的问题，我们设计了无创精细运动意图识别，以日常生活中用途最为广泛的手指作为研究目标，分别是拇指、食指和小指。为了更好的解决实际输出与真实意图之间的认知缺联，我们设计了对应于机械手臂的模拟手套，使用户更好的认知感受。本发明可以改善现有BCI系统动作输出的连续性，为未来大指令输出的研究奠定基础；同时，范式中所加入的电刺激，能够有效提高系统处理模块的整体性能，降低系统的误触发率，增强被试的使用信心；目前，机械手臂的控制仅限于相应的动作，未来可以进一步完善动作指令，使真实操作更贴近日常生活。对于运动功能损伤患者的康复治疗，更为精细的动作训练可以增强神经可塑性，同时模拟手套和真实机械臂的互相对应，能够加强用户的真实感受，对于康复效果具有更大的促进作用。
本发明设计了一种精细机械手臂控制在线脑-机接口系统，对右手三个手指进行识别，使得该系统更加灵活操作，同时融合的电刺激保证了系统处理模块的性能，减少误触发率，给用户真实的触觉感受。采用与机械手臂对应的模拟手套，增强用户的认知，有助于运动功能障碍患者的康复训练。在线的机械臂操作能够强化用户的参与度，进一步研究可以得到更完善的脑-机接口系统，获得可观的社会效益和经济效益。提升当前MI-BCI技术较低的想象动作识别的空间精度，对于充分发挥MI-BCI独特的中风康复治疗效用，具有关键性的作用。
Claims (7)
1.一种机械手臂控制在线脑-机接口实现方法，其特征是，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。
2.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，被试进行电刺激强度的调整：电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26Hz、小指31Hz，刺激强度调整至使用者轻微震颤，以足以产生SSSEP为止，每个被试的刺激强度根据每个被试的身体条件而确定。
3.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，通过在拇指和小指两个位置给予电刺激诱发SSSEP特征具体过程是，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下；单个轮次的流程共包含4个阶段，持续时间为8s，首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始，在第2s时，屏幕中间出现提示字符，提醒用户即将执行的想象任务；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的MI想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次；在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。
每个用户的刺激强度在实验开始前进行调整。
4.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，共采集5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次，前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能，在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程，整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本；
通过放置在头颅的64导联银/氯化银Ag/AgC1合金电极帽由Neuroscan SynAmps 2系统进行EEG信号采集，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下，数据采集过程中，50Hz陷波器被用于去除工频干扰，预处理中对原始数据降采样到200Hz，并采用共平均参考进行空间滤波；
采用事件相关谱扰动ERSP(event-related spectral perturbation)分析EEG信号的时频域特征，分析不同想象任务下的ERD/SSSEP模式，ERSP的定义公式如下：
其中，n表示实验轮次的个数，Fk(f,t)指的是第k轮次实验的t时刻在频率f下的频谱估计。计算ERSP时采用短时傅里叶变换，hanning窗宽为256个采样点，并从原始数据中减去任务前3s内的频谱均值从而去除基线，针对每个想象任务，主要分析FC3、FC1和C3三个关键导联的时频特征。
5.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，特征提取和多分类支持向量机具体步骤如下：采用基于多频率成分空间滤波的算法FBCSP(filterbank common spatial pattern)，首先设计Nf个带通滤波器，将EEG数据分为Nf个不同频段的EEG成分，然后分别对每一个频段的EEG成分计算CSP投影矩阵，进而分别提取每个EEG成分的空间特征；
采用多分类支持向量机SVM(support vector machine)进行模式识别，为了更好地将支持向量机应用于多类识别，采用“一对一”的多分类策略将多分类问题转化为若干个两分类问题求解；
模式识别的过程：截取任务开始后0.5-3.5s内3s的数据，将离线采集到的90个试次的数据用于构建SVM分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值，并将决策值通过蓝牙装置发送给控制机械臂的CPU模块，CPU模块通过指令转换驱使机械臂完成相应的动作。
6.一种机械手臂控制在线脑-机接口系统，其特征是，包括采集模块、处理模块和控制模块，采集模块用于脑电信号的采集、电刺激的施加和刺激的呈现，由电极、标准电极帽、刺激的呈现模块构成，脑电信号通过标准电极帽进行采集，并通过脑电放大器实现信号的放大；通过嵌在手套上的电极施加电刺激，用于诱发SSSEP特征；刺激的呈现模块中刺激呈现界面通过编写计算机的matlab工具包实现；处理模块包括特征提取和多分类支持向量机，将采集模块采集到的脑电数据进行空间滤波提取特征后输入多分类支持向量机训练分类器，训练好的分类器用于预测在线采集的每个试次数据，并输出决策结果；控制模块获取决策结果，由控制模块完成指令的转换，控制机械臂执行相应的动作。
7.如权利要求6所述的机械手臂控制在线脑-机接口系统，其特征是，进一步地，处理模块特征提取，基于多频率成分空间滤波的算法FBCSP(filter bank common spatialpattern)，利用Nf个带通滤波器，将EEG数据分为Nf个不同频段的EEG成分，然后分别对每一个频段的EEG成分计算CSP投影矩阵，进而分别提取每个EEG成分的空间特征；采集到的90个试次的空间特征数据构建多分类支持向量机分类器，得到匹配模型，然后用这个模型对未知的想象动作类型进行预测，也就是在线控制，得到的结果即对未知想象动作类型的模式识别结果，输出相应的决策值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811411533.3A CN109657560A (zh) | 2018-11-24 | 2018-11-24 | 机械手臂控制在线脑-机接口系统及实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811411533.3A CN109657560A (zh) | 2018-11-24 | 2018-11-24 | 机械手臂控制在线脑-机接口系统及实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109657560A true CN109657560A (zh) | 2019-04-19 |
Family
ID=66112456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811411533.3A Pending CN109657560A (zh) | 2018-11-24 | 2018-11-24 | 机械手臂控制在线脑-机接口系统及实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657560A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111939469A (zh) * | 2020-08-05 | 2020-11-17 | 深圳扶林科技发展有限公司 | 多模态脑电刺激装置及手指屈伸刺激康复装置 |
| CN112207816A (zh) * | 2020-08-25 | 2021-01-12 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
| CN113101021A (zh) * | 2021-04-02 | 2021-07-13 | 上海交通大学 | 基于mi-ssvep混合式脑机接口的机械臂控制方法 |
| CN113274032A (zh) * | 2021-04-29 | 2021-08-20 | 上海大学 | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 |
| CN113576496A (zh) * | 2021-07-08 | 2021-11-02 | 华南理工大学 | 视觉追踪的脑机接口检测系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102755162A (zh) * | 2012-06-14 | 2012-10-31 | 天津大学 | 一种基于视听认知事件相关脑电的身份识别方法 |
| CN106371588A (zh) * | 2016-08-29 | 2017-02-01 | 上海大学 | 基于运动想象脑机接口的手功能康复方法 |
| CN106362287A (zh) * | 2016-10-24 | 2017-02-01 | 天津大学 | 一种新型mi‑sssep混合脑‑机接口方法及系统 |
| CN106502404A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 一种基于稳态体感诱发电位的新型脑‑机接口方法及系统 |
| CN106726030A (zh) * | 2016-11-24 | 2017-05-31 | 浙江大学 | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 |
| CN107562191A (zh) * | 2017-08-03 | 2018-01-09 | 天津大学 | 基于混合特征的精细想象动作在线脑‑机接口方法 |
| CN108304068A (zh) * | 2018-01-30 | 2018-07-20 | 山东建筑大学 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
| CN108563324A (zh) * | 2018-03-04 | 2018-09-21 | 天津大学 | 一种面向过程控制的运动想象脑-机接口设计方法 |
-
2018
- 2018-11-24 CN CN201811411533.3A patent/CN109657560A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102755162A (zh) * | 2012-06-14 | 2012-10-31 | 天津大学 | 一种基于视听认知事件相关脑电的身份识别方法 |
| CN106371588A (zh) * | 2016-08-29 | 2017-02-01 | 上海大学 | 基于运动想象脑机接口的手功能康复方法 |
| CN106362287A (zh) * | 2016-10-24 | 2017-02-01 | 天津大学 | 一种新型mi‑sssep混合脑‑机接口方法及系统 |
| CN106502404A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 一种基于稳态体感诱发电位的新型脑‑机接口方法及系统 |
| CN106726030A (zh) * | 2016-11-24 | 2017-05-31 | 浙江大学 | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 |
| WO2018094720A1 (zh) * | 2016-11-24 | 2018-05-31 | 浙江大学 | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 |
| CN107562191A (zh) * | 2017-08-03 | 2018-01-09 | 天津大学 | 基于混合特征的精细想象动作在线脑‑机接口方法 |
| CN108304068A (zh) * | 2018-01-30 | 2018-07-20 | 山东建筑大学 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
| CN108563324A (zh) * | 2018-03-04 | 2018-09-21 | 天津大学 | 一种面向过程控制的运动想象脑-机接口设计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 奕伟波: "复合运动想象诱发下的脑电响应机制与解码技术研究" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111939469A (zh) * | 2020-08-05 | 2020-11-17 | 深圳扶林科技发展有限公司 | 多模态脑电刺激装置及手指屈伸刺激康复装置 |
| CN112207816A (zh) * | 2020-08-25 | 2021-01-12 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
| CN113101021A (zh) * | 2021-04-02 | 2021-07-13 | 上海交通大学 | 基于mi-ssvep混合式脑机接口的机械臂控制方法 |
| CN113101021B (zh) * | 2021-04-02 | 2022-06-21 | 上海交通大学 | 基于mi-ssvep混合式脑机接口的机械臂控制方法 |
| CN113274032A (zh) * | 2021-04-29 | 2021-08-20 | 上海大学 | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 |
| CN113576496A (zh) * | 2021-07-08 | 2021-11-02 | 华南理工大学 | 视觉追踪的脑机接口检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657560A (zh) | 机械手臂控制在线脑-机接口系统及实现方法 | |
| Martišius et al. | A prototype SSVEP based real time BCI gaming system | |
| Jayarathne et al. | BrainID: Development of an EEG-based biometric authentication system | |
| CN101464729B (zh) | 基于听觉认知神经信号的自主意愿表达方法 | |
| Ebrahimi et al. | Brain-computer interface in multimedia communication | |
| Ochoa | EEG signal classification for brain computer interface applications | |
| CN101464728B (zh) | 视觉运动相关神经信号为载体的人机交互方法 | |
| CN110765920A (zh) | 基于卷积神经网络的运动想象分类方法 | |
| CN113398422B (zh) | 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法 | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 | |
| CN106407733A (zh) | 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法 | |
| WO2020124838A1 (zh) | 一种基于实时闭环振动刺激增强的脑机接口方法及系统 | |
| CN106362287A (zh) | 一种新型mi‑sssep混合脑‑机接口方法及系统 | |
| WO2008097201A1 (en) | A system and method for processing brain signals in a bci system | |
| Su et al. | A biometric-based covert warning system using EEG | |
| Ozmen et al. | A biologically inspired approach to frequency domain feature extraction for EEG classification | |
| CN107562191A (zh) | 基于混合特征的精细想象动作在线脑‑机接口方法 | |
| CN106502405A (zh) | 基于同步性复合肢体想象动作多模态脑机接口方法及系统 | |
| CN108721048A (zh) | 康复训练控制方法、计算机可读存储介质和终端 | |
| CN109247917A (zh) | 一种空间听觉诱发p300脑电信号识别方法及装置 | |
| CN106774851A (zh) | 基于脑机接口的触感手指运动康复系统及方法 | |
| CN108491792A (zh) | 基于眼电信号的办公场景人机交互行为识别方法 | |
| Risangtuni et al. | Towards online application of wireless EEG-based open platform Brain Computer Interface | |
| CN109901711A (zh) | 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法 | |
| CN109078262A (zh) | 一种基于外周神经电刺激的mi-bci训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190419 |