CN107037883A - 一种基于运动想象的混合脑机接口系统及方法 - Google Patents

一种基于运动想象的混合脑机接口系统及方法 Download PDF

Info

Publication number
CN107037883A
CN107037883A CN201710238130.2A CN201710238130A CN107037883A CN 107037883 A CN107037883 A CN 107037883A CN 201710238130 A CN201710238130 A CN 201710238130A CN 107037883 A CN107037883 A CN 107037883A
Authority
CN
China
Prior art keywords
ica
eeg
user
mental imagery
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710238130.2A
Other languages
English (en)
Inventor
吴小培
刘锦
胡盼
张磊
周蚌艳
郭晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201710238130.2A priority Critical patent/CN107037883A/zh
Publication of CN107037883A publication Critical patent/CN107037883A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于运动想象的混合脑机接口系统及方法,包括脑电与眼电采集/处理模块、ICA滤波器设计模块、零训练MI分类模块,目标运动控制和路径显示模块以及信息反馈模块。ICA滤波器及BCI系统可在线或离线设计;系统设计完成后,眼动检测模块通过对用户眨眼次数的分析,判断是否进入脑电处理和分类模式,其分类结果将转化为命令,用于控制系统主界面上的目标按规定路径运动。用户可观察目标真实运动轨迹和规划路径的差异,及时调整MI模式,和控制目标回到规划路径。本发明借助ICA无监督学习的优势,有效减少了BCI训练数据的采集量,并通过合理的算法模块设计,使所设计的混合BCI系统具有良好的稳定性和可操作性。

Description

一种基于运动想象的混合脑机接口系统及方法
技术领域
本发明属于脑-机接口(Brain-Computer Interface,BCI)技术领域,具体涉及一种基于运动想象的混合脑机接口系统。
背景技术
脑-机接口作为一种以脑电(electroencephalography,EEG)为信息载体的新型人-机交互技术,近年来受到了广泛的关注。脑-机接口技术的实现过程是通过对多导联EEG信号进行分析和处理,提取出EEG中任务相关的特征模式并转化为命令,进而实现大脑对外部设备的直接控制。BCI技术的终极目标是为肢体残疾(或运动功能障碍)群体提供一个控制外部设备的直接通信通道。同时,BCI技术也可应用于运动功能康复训练、脑-机控制游戏的开发、精神和心理状态评估以及特殊环境下的人-机交互等。
人在进行肢体的实际运动或想象运动时,EEG信号中运动诱发的mu和beta节律会发生能量衰减或增强现象,我们称之为事件相关去同步化(Event-RelatedDesynchronization,ERD)和事件相关同步化(Event-Related Synchronization,ERS)。不同的运动想象(motor imagery,MI)类型会产生不同的ERD/ERS模式,可用于脑-机控制的实现。因此,该类BCI技术被称为运动想象BCI(motor imagery BCI,MIBCI)。
空域滤波技术在MIBCI系统实现中具有非常重要的作用,利用该技术,可以充分挖掘和利用多导头皮EEG中的空间相关信息,以改善MIBCI系统的稳定性和可靠性。目前比较常用的空域滤波方法有共同空间模式(Common spatial pattern,CSP,CSP)和独立分量分析(Independent component analysis,ICA)等。ICA作为一种无监督的空域滤波方法,能从多导EEG中有效分离出真实的神经活动成分和干扰伪迹,其盲源分离性能在多导EEG的离线分析中已得到了充分的展示。但根据现有的报道,在基于空域滤波的MIBCI系统实现研究中,CSP空域滤波方法的应用占有绝对的主导地位。这一现象与CSP方法自身的特点有一定的关系,例如其数学原理比较容易理解,使用比较方便等。但CSP方法一直存着一些难以克服的不足,具体为;1)对EEG中的噪声和伪迹干扰非常敏感;2)作为一种有监督的设计方法,CSP空域滤波器的设计需要采集大量训练样本;3)由于EEG具有很强的非平稳性,CSP滤波器及其MIBCI系统的过拟合现象比较严重;这些因素很大程度上限制了CSP算法的实际应用效果,并且至今也没有找到非常有效的解决方法。
在MIBCI的实际应用中,脑-机异步控制技术是另一个比较难以克服的技术瓶颈。在异步控制模式下,使用者可以在任意时刻自主进行任务状态与空闲状态的切换,而同步系统则要求使用者必须按照规定的范式(计算机提示)进行相应的运动想象任务,显然异步BCI具有更好的交互性与实用性。异步BCI系统的难点在于大脑空闲状态与非空闲状态的确定,即如何准确判断出使用者运动想象的开始时刻,由于运动想象随机性和使用者个体差异性较大,异步BCI系统的实现难度较大,且一旦对当前脑状态判断错误,系统将会出现严重的误操作。
发明内容
本发明的目的就是希望能在一定程度解决上述MIBCI系统在实际应用中存在的问题,提供一种基于运动想象的混合脑机接口系统及方法,在训练阶段尽可能少地使用头皮电极和训练数据量,以减缓用户操作过程中的疲劳和不适感;同时采用EOG和EEG混合模式实现异步脑-机控制,可有效改善MIBCI系统的实用性;本发明提出并建立的混合MIBCI系统具有较稳定的性能和可操作性,系统实现算法复杂度低,可在不同的计算平台上实现,具有很大的应用推广价值。
本发明的技术方案是这样得以实现的:
一种基于运动想象的混合脑机接口系统,其特点是:该系统包括脑电EEG与眼电EOG的采集/处理模块、基于独立分量分析ICA的空域滤波器设计模块、零训练MIEEG分类模块、目标运动控制和路径显示模块以及信息反馈模块;系统开始工作后,可在线采集100秒EEG数据设计ICA空域滤波器,也可以读取事先设计好的ICA空域滤波器;然后,使用者根据事先规定的眨眼动作,产生同步眼电EOG脉冲信号,用于启动运动想象数据处理和肢体运动想象识别模块,识别结果将转化成相应的命令,控制运动目标小球按预设的运动轨迹运动;使用者可根据运动目标当前位置和运动方向,自主决定肢体运动想象类型,屏幕同时显示被控目标的真实运动轨迹与规划路径,两者对比产生的反馈信息可供使用者及时进行MI方式和类型调整,尽可能准确地控制目标在预设的路径上运动;当目标的一次运动控制过程结束后,系统重新进入眨眼检测和MI模式,直至目标运动到指定位置。
一种基于运动想象的混合脑机接口系统的控制方法,其特点是:包括如下步骤:
步骤1:将实验相关设备连接并调试好,使用者戴好电极帽坐在计算机屏幕前,电极所接收的EEG与EOG信号经NuAmps脑电放大器放大后,再通过USB接口传输到NeuroScan数据采集系统,NeuroScan软件对原始信号进行时域滤波预处理后,再利用TCP/IP协议,向BCI系统传输EEG与EOG信号数据;
步骤2:BCI系统在线采集训练数据设计ICA空域滤波器或读取离线设计的ICA空域滤波器;在线设计的过程为采集使用者在休闲状态下100s时长的EEG数据,再依据ICA算法设计空域滤波器;
步骤3:ICA滤波器设计完成后,系统进入眨眼检测模式,眨眼检测方法为:采集使用者的EOG信号,采用滑动时间窗机制和双向阈值法,在线实时检测时间窗内使用者的连续眨眼次数;当眨眼检测次数达到2次以上时,系统进入MI模式,并同步向使用者发出“开始运动想象”声音提示信息,否则使用者继续休息状态;
步骤4:进入MI模式后,使用者根据计算机屏幕上显示的运动目标当前位置和规划路径方向,进行相应类型的肢体运动想象,计算机同步提取有效MIEEG数据段(MI提示信息后的0.5~5s),利用步骤2所设计的ICA滤波器对MIEEG数据进行预处理和特征提取,并结合零训练分类器,对MI类型进行识别和分类,然后将识别结果转化为目标运动控制命令;
步骤5:系统运动控制模块在接收到控制命令后,运动目标按指定方向在屏幕上移动,并自动绘制出运动轨迹;使用者根据目标真实运动轨迹与规划路径的对比所形成的反馈信息,即时调整MI模式和自身精神状态,以尽可能保证目标按在规定路径上运动;单步运动控制过程结束后,系统重复执行步骤3,4,5,直至运动目标到达终点。
与已有技术相比,本发明有益效果体现在:1)本发明的混合脑-机接口系统具有更好的交互性和实用性。本发明仅采用少量EEG导联和训练数据进行BCI系统设计,有效改善了系统的使用效率。在脑-机控制过程中,使用者通过眨眼自主决定运动想象的开始,避免了传统脑-机接口技术中因脑空闲状态监测困难所带来的不稳定性,使得系统具有更好的可操作性和实用性。2)本发明的混合脑-机接口系统针对不同的用户具有较好的普适性。本发明的混合脑-机接口系统采用ICA空域滤波器对原始信号进行盲分离和信噪比改善,相比其他类型的空域滤波方法,能更准确地从多导EEG中分离出真实的运动相关EEG成分。ICA空域滤波器和零训练分类器的结合使得系统具有更好的模型迁移性能和抗干扰性能。3)本发明的混合脑-机接口系统具有较好的可扩展性和跨平台移植性。本发明的混合脑-机接口系统所采用的算法模块运算复杂度低,可在便携式移动计算平台上实现;另外,根据需要,也可方便地进行新的算法功能模块扩展。4)本发明的混合脑-机接口系统具有巨大的应用潜力。本发明的混合脑-机接口系统合理地结合了EEG和EOG两种生物电信号实现脑-机控制,这种控制模式不仅适合运动功能残疾群体的人-机交互和康复训练,也可作为一种新的人-机控制模式应用于正常群体,例如开发新型的游戏等,这种眼-脑结合控制的游戏娱乐方式对缓解眼/脑疲劳会起到积极的作用,本发明的混合脑-机系统具有很好的实现性和可操作性,因此在相关领域具有很大的应用潜力和市场价值。
附图说明
图1为本发明中脑电信号采集所用的电极分布图。
图2为EEG信号传输的基本结构图。
图3为本发明的EEG与EOG的混合脑-机接口系统结构图。
图4为本发明的ICA滤波器设计基本流程图。
图5为本发明的ICA算法的运动想象分类方法。
图6为本发明的目标运动界面。
图7为使用者眨眼时的波形显示及检测示意图。
图8为状态转换图。
具体实施方式
参见图1~8,一种基于运动想象的混合脑机接口系统,该系统包括脑电EEG与眼电EOG的采集/处理模块、基于独立分量分析ICA的空域滤波器设计模块、零训练MIEEG分类模块、目标运动控制和路径显示模块以及信息反馈模块。系统开始工作后,可在线采集100秒EEG数据设计ICA空域滤波器,也可以读取事先设计好的ICA空域滤波器。然后,使用者根据事先规定的眨眼动作,产生同步眼电EOG脉冲信号,用于启动运动想象数据处理和肢体运动想象识别模块,识别结果将转化成相应的命令,控制运动目标按预设的运动轨迹运动。使用者可根据运动目标当前位置和运动方向,自主决定肢体运动想象类型,屏幕同时显示被控目标的真实运动轨迹与规划路径,两者对比产生的反馈信息可供使用者及时进行MI方式和类型调整,尽可能准确地控制目标在预设的路径上运动。当目标的一次运动控制过程结束后,系统重新进入眨眼检测和MI模式,直至目标运动到指定位置。
一种基于运动想象的混合脑机接口系统的控制方法,包括如下步骤:
步骤1:将实验相关设备连接并调试好,使用者戴好电极帽坐在计算机屏幕前,电极所接收的EEG与EOG信号经NuAmps脑电放大器放大后,再通过USB接口传输到NeuroScan软件,NeuroScan软件对原始信号进行预处理后,再利用TCP/IP协议,向BCI系统传输EEG与EOG信号;
步骤2:BCI系统在线采集训练数据设计ICA空域滤波器或读取离线设计的ICA空域滤波器。在线设计的过程为采集使用者在休闲状态下100s时长的EEG数据,再依据ICA算法设计空域滤波器;
步骤3:ICA滤波器设计完成后,系统进入眨眼检测模式,眨眼检测方法为:采集使用者的EOG信号,采用滑动时间窗机制和双向阈值法,在线实时检测时间窗内使用者的连续眨眼次数。当眨眼检测次数达到2次以上时,系统进入MI模式,并同步向使用者发出“开始运动想象”声音提示信息,否则使用者继续脑休闲状态;
步骤4:进入MI模式后,使用者根据计算机屏幕上显示的运动目标当前位置和规划路径方向,进行相应类型的肢体运动想象,计算机同步提取有效MIEEG数据段(MI提示信息后的0.5~5s),利用步骤2中的ICA滤波器进行预处理和特征提取,并结合零训练分类器,对MIEEG类型进行识别分类,再将分类结果转化为目标移动方向的控制命令;
步骤5:收到控制命令后,运动目标按指定方向在屏幕上移动,并自动绘制出运动轨迹,与规划路径对比所形成的反馈信息便于使用者调整MI模式。一次运动想象控制过程结束后,系统重复执行步骤3,4,5,直至运动目标到达终点。
所述步骤1中的NuAmps脑电放大器为轻便式40导DC放大器,采样频率为250Hz,对原始信号的预处理为50Hz的工频陷波,0.5~100Hz的带通滤波。
所述步骤1中的利用TCP/IP协议为将NeuroScan软件所在计算机与BCI系统计算机的IP地址设置在同一网段下,再用一根网线实现两台电脑的互联通信。
所述步骤2中的ICA滤波器的设计过程为:
Step1:取8导联(Fp1,Fp2,C3,Cz,C4,O1,Oz,O2)或9导联(CP3,Fp1,Fp2,C3,Cz,C4,O1,Oz,O2)EEG数据,x(t)=[x1(t),x2(t),…xn(t)],令x(t)由源s(t)经线性组合而成的混合信号;
x(t)=A s(t) (1)
Step2:假设u(t)为源信号s(t)的估计值,W为分离矩阵;
u(t)=W x(t) (2)
Step3:采用信息极大准则作为各个源信号的独立性度量准则,使用自然梯度方法对分离矩阵W进行迭代学习;
ΔW∞[I-K tanh(u)uT-uuT]W (3)
Step4:对估计源u(t)进行了方差归一化处理,并同时对A和W做相应调整,得到最终混合矩阵A;
u=u/diag(std(u)) (4)
A=W-1·diag(std(u)) (5)
Step5:利用MI滤波器自动筛选方法,从W矩阵的行向量中获取三类MI独立源的空域滤波器wl,wr,wf
所述ICA滤波器设计过程的Step5中的运动想象滤波器自动筛选方法,包括:
步骤1:记录C3,Cz,C4电极在EEG导联数据中的导联位置,分别记录在l,f,r中;
步骤2:对ICA分离后的混合矩阵A取绝对值,并将每一列最大值所在的行记录在向量P中;
步骤3:在P中找到值为l,f,r对应的列,并将序号记录为i,j,k;
步骤4:取分离矩阵W中第i,j,k行向量分别组成滤波器wl,wr,wf
所述步骤3中的采用滑动窗机制检测眨眼次数为选择时长为4s的时间窗,在眨眼检测模式下,数据窗不断向前滑动,当时间窗内检测到2次以上眨眼次数,运动想象开始,滑动窗停止滑动,并清除窗内原数据。
所述步骤3中的检测滑动窗内眨眼次数的方法为双向阈值法,使用者在眨眼时,VEOU电极所接收的EOG信号会出现明显的能量上升与下降现象,在能量上升峰值与下降低谷分别设置一个阈值D_H,D_L,当滑动时间窗内依次出现x(t)>D_H和x(t)<D_L后,使用者出现一次眨眼,检测滑动窗内所有眨眼并统计次数。
所述步骤4中的零训练分类器是基于MI分量方差比较的简单分类准则,具有很好的实时性和较好的准确性。其过程为:原始EEG信号经时域滤波预处理和ICA空域滤波后,分别得到对应左手、右手和脚的三个运动相关EEG信号分量。然后通过对所得运动相关分量的方差比较,确定MI类型。
所述步骤5中的控制过程为MI分类结果作为控制命令发送给运动目标,控制目标的运动方向,当分类结果为“左手运动想象”时则控制目标向左运动,当分类结果为“右手运动想象”时则控制目标向右运动,当分类结果为“脚运动想象”时则控制目标向下运动。
图1为采集脑电信号所用的电极分布图。电极的安放位置按照国际脑电图学会的10/20电极导联定位标准,并在每个电极上注入电极膏以提高电极的导通性。
图2为EEG/EOG信号传输的基本结构图。其基本过程为:首先通过头皮电极接收EEG信号,然后通过脑电放大器将微弱的EEG/EOG信号放大,再将信号传输给NeuroScan软件,最后采用TCP/IP协议,将EEG/EOG信号传输给BCI系统。
图3为EEG与EOG的混合脑-机接口系统结构图。系统接收到EEG数据后,首先,在线采集训练数据训练ICA滤波器或读取离线ICA空域滤波器,然后系统进入眨眼检测模式,使用者自主控制进入运动想象的时刻,当滑动时间窗内检测到2次以上眨眼后,使用者根据规划路径进行运动想象,运动想象结束后,利用ICA滤波器进行特征提取和分类识别,再将识别结果传递给目标运动界面,目标在运动界面上移动,若目标未到达目的地,系统重新进入眨眼检测模式,使用者准备下一次运动想象。
图4为ICA滤波器设计基本流程图。首先在训练样本中获取运动相关电极C3,Cz,C4在导联中的位置,以8导联Fp1,Fp2,C3,Cz,C4,O1,Oz,O2为例,C3,Cz,C4在导联中的位置分别为l=3,f=4,r=5。对源信号ICA分离后,得到混合矩阵A和分离矩阵W,对矩阵A所有元素取绝对值,并将|A|中每一列最大值所在的行序号记录在向量P中,在P中找到值为l,f,r的元素位置序号i,j,k,然后选择W中第i,j,k行向量分别组成三类运动想象的空域滤波器wl,wr,wf
图5为ICA算法的运动想象分类方法。ICA作为一种无监督空域滤波算法,被广泛应用于盲源分离问题,在脑-机接口问题上,ICA滤波器的设计不需要标签信息,避免了CSP等有监督空域滤波对大量标签训练数据的要求,有效改善了系统的实用性和可操作性。基于所得ICA空域滤波器wl,wr,wf,对测试EEG数据进行滤波处理以获取运动相关EEG成分,然后通过直接比较它们的方差大小(零训练分类器),确定MI类型。
图6为BCI系统的目标运动界面。如图所示,界面上提前设计了运动路径与目的地,目标在收到控制命令后移动,并自动绘制出运动轨迹,使用者在控制目标到达目的地后,任务结束。
图7使用者眨眼时的波形显示及检测示意图。如图所示,图中出现了3次眨眼,每次眨眼伴随着波形明显上升与下降的过程,所设置的双向阈值可以准确地检测出波形的上升与下降,避免了因波形漂移而错误地检测眨眼信号。
图8为状态转换图。系统包括运动想象状态和眨眼检测状态(休息状态),运动想象状态包括三类:左手运动想象、右手运动想象和脚运动想象,眨眼检测状态下出现两次以上连续眨眼则进入运动想象状态,运动想象状态结束后自动进入眨眼检测状态。

Claims (10)

1.一种基于运动想象的混合脑机接口系统,其特征是:该系统包括脑电(EEG)与眼电(EOG)的采集/处理模块、基于独立分量分析(ICA)的空域滤波器设计模块、零训练MIEEG分类模块、目标运动控制和路径显示模块以及信息反馈模块;系统开始工作后,可在线采集100秒EEG数据设计ICA空域滤波器,也可以读取事先设计好的ICA空域滤波器;然后,使用者根据事先规定的眨眼动作,产生同步眼电(EOG)脉冲信号,用于启动运动想象数据处理和肢体运动想象识别模块,识别结果将转化成相应的命令,控制运动目标小球按预设的运动轨迹运动;使用者可根据运动目标当前位置和运动方向,自主决定肢体运动想象类型,屏幕同时显示被控目标的真实运动轨迹与规划路径,两者对比产生的反馈信息可供使用者及时进行MI方式和类型调整,尽可能准确地控制目标在预设的路径上运动;当目标的一次运动控制过程结束后,系统重新进入眨眼检测和MI模式,直至目标运动到指定位置。
2.一种基于运动想象的混合脑机接口系统的控制方法,其特征是:包括如下步骤:
步骤1:将实验相关设备连接并调试好,使用者戴好电极帽坐在计算机屏幕前,电极所接收的EEG与EOG信号经NuAmps脑电放大器放大后,再通过USB接口传输到NeuroScan数据采集系统,NeuroScan软件对原始信号进行时域滤波预处理后,再利用TCP/IP协议,向BCI系统传输EEG与EOG信号数据;
步骤2:BCI系统在线采集训练数据设计ICA空域滤波器或读取离线设计的ICA空域滤波器;在线设计的过程为采集使用者在休闲状态下100s时长的EEG数据,再依据ICA算法设计空域滤波器;
步骤3:ICA滤波器设计完成后,系统进入眨眼检测模式,眨眼检测方法为:采集使用者的EOG信号,采用滑动时间窗机制和双向阈值法,在线实时检测时间窗内使用者的连续眨眼次数;当眨眼检测次数达到2次以上时,系统进入MI模式,并同步向使用者发出“开始运动想象”声音提示信息,否则使用者继续休息状态;
步骤4:进入MI模式后,使用者根据计算机屏幕上显示的运动目标当前位置和规划路径方向,进行相应类型的肢体运动想象,计算机同步提取有效MIEEG数据段(MI提示信息后的0.5~5s),利用步骤2所设计的ICA滤波器对MIEEG数据进行预处理和特征提取,并结合零训练分类器,对MI类型进行识别和分类,然后将识别结果转化为目标运动控制命令;
步骤5:系统运动控制模块在接收到控制命令后,运动目标按指定方向在屏幕上移动,并自动绘制出运动轨迹;使用者根据目标真实运动轨迹与规划路径的对比所形成的反馈信息,即时调整MI模式和自身精神状态,以尽可能保证目标按在规定路径上运动;单步运动控制过程结束后,系统重复执行步骤3,4,5,直至运动目标到达终点。
3.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述步骤1中的NuAmps脑电放大器为轻便式40导DC放大器,采样频率为250Hz,对原始信号的预处理为50Hz的工频陷波,0.5~100Hz的带通滤波。
4.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述步骤1中的利用TCP/IP协议为将NeuroScan软件所在计算机与BCI系统计算机的IP地址设置在同一网段下,再用一根网线实现两台电脑的互联通信。
5.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述步骤2中的ICA滤波器的设计过程为:
Step1:取8导联(FP1,FP2,C3,Cz,C4,O1,Oz,O2)或9导联(FC3,FCz,FC4,C3,Cz,C4,CP3,CPz,CP4)EEG数据,x(t)=[x1(t),x2(t),…xn(t)],令x(t)由源s(t)经线性组合而成的混合信号;
x(t)=A s(t) (1)
Step2:假设u(t)为源信号s(t)的估计值,W为分离矩阵;
u(t)=W x(t) (2)
Step3:采用信息极大准则作为各个源信号的独立性度量准则,使用自然梯度方法对分离矩阵W进行迭代学习;
ΔW∞[I-K tanh(u)uT-uuT]W (3)
Step4:对估计源u(t)进行了方差归一化处理,并同时对A和W做相应调整,得到最终混合矩阵A;
u=u/diag(std(u)) (4)
A=W-1·diag(std(u)) (5)
Step5:利用MI滤波器自动筛选方法,从W矩阵的行向量中获取三类MI独立源的空域滤波器wl,wr,wf
其中I为单位矩阵,K为对角矩阵,tanh()为双曲正切函数,diag()为矩阵对角化函数。
6.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述Step5中的MI滤波器自动筛选方法,包括:
步骤1:记录C3,Cz,C4电极在全部EEG导联中的位置序号,分别记录在l,f,r中;
步骤2:对ICA分离后的混合矩阵A取绝对值,并将每一列最大值元素所在的行位置记录在向量P中;
步骤3:将向量P中元素值为l,f,r的位置序号分别记录在i,j,k三个变量中;
步骤4:取分离矩阵W中第i,j,k行向量分别作为三类运动想象EEG分量的检测空域滤波器wl,wr,wf
步骤5:如果向量P中不存在三值为l,f,r的元素,则需要重新采集一段100s EEG数据,然后重复权利要求2~6的MI滤波器设计和自动选择过程。
7.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述步骤3中的采用滑动窗机制检测眨眼次数为:选择时长为4s的时间窗,在眨眼检测模式下,数据窗不断向前滑动,当时间窗内检测到2次以上眨眼次数时,系统向使用者发出“运动想象开始”开始提示信息,并暂停眼动检测模块。
8.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述步骤3中的检测滑动窗内眨眼次数的方法为双向阈值法,使用者在眨眼时,VEOU电极所接收的EOG信号会出现明显的能量上升与下降现象,在能量上升峰值与下降低谷分别设置一个阈值D_H,D_L,当滑动时间窗内依次出现x(t)>D_H和x(t)<D_L后,使用者出现一次眨眼,检测滑动窗内所有眨眼并统计次数。
9.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:所述步骤4中的零训练分类器是基于MI分量方差比较的简单分类准则,具有很好的实时性和较好的准确性;其过程为:原始EEG信号经时域滤波预处理和ICA空域滤波后,分别得到对应左手、右手和脚的三个运动相关EEG信号分量;根据肢体运动诱发的ERS/ERD现象,通过对三类运动相关EEG分量的方差比较确定MI类型。
10.根据权利要求2所述的一种基于运动想象的混合脑机接口系统的控制方法,其特征是:MI分类结果作为控制命令发送给运动目标,可控制目标的运动方向,当分类结果为“左手运动想象”时则控制目标向左运动,当分类结果为“右手运动想象”时则控制目标向右运动,当分类结果为“脚运动想象时”则控制目标向下运动。
CN201710238130.2A 2017-04-13 2017-04-13 一种基于运动想象的混合脑机接口系统及方法 Pending CN107037883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710238130.2A CN107037883A (zh) 2017-04-13 2017-04-13 一种基于运动想象的混合脑机接口系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710238130.2A CN107037883A (zh) 2017-04-13 2017-04-13 一种基于运动想象的混合脑机接口系统及方法

Publications (1)

Publication Number Publication Date
CN107037883A true CN107037883A (zh) 2017-08-11

Family

ID=59535343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710238130.2A Pending CN107037883A (zh) 2017-04-13 2017-04-13 一种基于运动想象的混合脑机接口系统及方法

Country Status (1)

Country Link
CN (1) CN107037883A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107981997A (zh) * 2017-11-23 2018-05-04 郑州布恩科技有限公司 一种基于人脑运动意图的智能轮椅控制方法及系统
CN109144266A (zh) * 2018-08-29 2019-01-04 安徽大学 一种基于独立分量分析的脑机接口导联优化方法
CN109284004A (zh) * 2018-10-29 2019-01-29 中国矿业大学 一种基于脑机接口的智能护理系统
CN109308118A (zh) * 2018-09-04 2019-02-05 安徽大学 基于eog的中文眼写信号识别系统及其识别方法
CN109508094A (zh) * 2018-12-11 2019-03-22 西安交通大学 一种结合异步眼动开关的视觉诱发脑机接口方法
CN109528450A (zh) * 2019-01-24 2019-03-29 郑州大学 一种运动意图识别的外骨骼康复机器人
CN109605385A (zh) * 2018-11-28 2019-04-12 东南大学 一种混合脑机接口驱动的康复辅助机器人
CN109805923A (zh) * 2019-01-29 2019-05-28 北京京东方光电科技有限公司 可穿戴设备、信号处理方法及装置
CN110037696A (zh) * 2019-04-24 2019-07-23 广州贝方医疗设备有限公司 基于眼电开关的脑电生物反馈系统
CN110038300A (zh) * 2019-04-29 2019-07-23 电子科技大学 一种采用人脑控制的对抗游戏系统
CN110534180A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN110739042A (zh) * 2019-10-29 2020-01-31 浙江迈联医疗科技有限公司 基于脑机接口的肢体运动康复方法、装置、存储介质及设备
CN110916652A (zh) * 2019-10-21 2020-03-27 昆明理工大学 用于基于运动想象的脑电控制机器人移动的数据采集装置、方法及其应用
CN111487988A (zh) * 2020-03-03 2020-08-04 天津大学 基于稳态视觉诱发电位脑-机接口的脑控无人机方法
CN112016415A (zh) * 2020-08-14 2020-12-01 安徽大学 结合集成学习与独立分量分析的运动想象分类方法
CN112205988A (zh) * 2020-10-13 2021-01-12 北京理工大学 一种双手协同运动下的手部运动方向解码方法及系统
CN113146618A (zh) * 2021-03-16 2021-07-23 深兰科技(上海)有限公司 机械臂的控制方法、系统、电子设备及存储介质
CN115982558A (zh) * 2023-03-17 2023-04-18 同心智医科技(北京)有限公司 脑电运动意图分类模型建立方法及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103300852A (zh) * 2012-10-19 2013-09-18 西安电子科技大学 基于运动想象脑电控制遥控小车的训练方法
CN104360730A (zh) * 2014-08-19 2015-02-18 西安交通大学 一种多模态非植入式脑机接口技术支撑下的人机交互方法
CN106108893A (zh) * 2016-06-20 2016-11-16 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103300852A (zh) * 2012-10-19 2013-09-18 西安电子科技大学 基于运动想象脑电控制遥控小车的训练方法
CN104360730A (zh) * 2014-08-19 2015-02-18 西安交通大学 一种多模态非植入式脑机接口技术支撑下的人机交互方法
CN106108893A (zh) * 2016-06-20 2016-11-16 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王磊: "基于运动想象的脑电信号分类与脑机接口技术研究", 《中国博士学位论文全文数据库(信息科技辑)》 *
胡盼 等: "基于独立分量分析的在线脑机接口系统", 《生物医学工程学杂志》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107981997B (zh) * 2017-11-23 2019-11-29 郑州布恩科技有限公司 一种基于人脑运动意图的智能轮椅控制方法及系统
CN107981997A (zh) * 2017-11-23 2018-05-04 郑州布恩科技有限公司 一种基于人脑运动意图的智能轮椅控制方法及系统
CN109144266A (zh) * 2018-08-29 2019-01-04 安徽大学 一种基于独立分量分析的脑机接口导联优化方法
CN109308118A (zh) * 2018-09-04 2019-02-05 安徽大学 基于eog的中文眼写信号识别系统及其识别方法
CN109308118B (zh) * 2018-09-04 2021-12-14 安徽大学 基于eog的中文眼写信号识别系统及其识别方法
CN109284004A (zh) * 2018-10-29 2019-01-29 中国矿业大学 一种基于脑机接口的智能护理系统
CN109284004B (zh) * 2018-10-29 2022-01-04 中国矿业大学 一种基于脑机接口的智能护理系统
CN109605385A (zh) * 2018-11-28 2019-04-12 东南大学 一种混合脑机接口驱动的康复辅助机器人
CN109508094A (zh) * 2018-12-11 2019-03-22 西安交通大学 一种结合异步眼动开关的视觉诱发脑机接口方法
CN109528450A (zh) * 2019-01-24 2019-03-29 郑州大学 一种运动意图识别的外骨骼康复机器人
CN109805923A (zh) * 2019-01-29 2019-05-28 北京京东方光电科技有限公司 可穿戴设备、信号处理方法及装置
US11717163B2 (en) 2019-01-29 2023-08-08 Beijing Boe Optoelectronics Technology Co., Ltd. Wearable device, signal processing method and device
CN110037696A (zh) * 2019-04-24 2019-07-23 广州贝方医疗设备有限公司 基于眼电开关的脑电生物反馈系统
CN110038300A (zh) * 2019-04-29 2019-07-23 电子科技大学 一种采用人脑控制的对抗游戏系统
CN110534180A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN110534180B (zh) * 2019-08-20 2022-06-07 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN110916652A (zh) * 2019-10-21 2020-03-27 昆明理工大学 用于基于运动想象的脑电控制机器人移动的数据采集装置、方法及其应用
CN110739042A (zh) * 2019-10-29 2020-01-31 浙江迈联医疗科技有限公司 基于脑机接口的肢体运动康复方法、装置、存储介质及设备
CN111487988B (zh) * 2020-03-03 2022-04-15 天津大学 基于稳态视觉诱发电位脑-机接口的脑控无人机方法
CN111487988A (zh) * 2020-03-03 2020-08-04 天津大学 基于稳态视觉诱发电位脑-机接口的脑控无人机方法
CN112016415A (zh) * 2020-08-14 2020-12-01 安徽大学 结合集成学习与独立分量分析的运动想象分类方法
CN112016415B (zh) * 2020-08-14 2022-11-29 安徽大学 结合集成学习与独立分量分析的运动想象分类方法
CN112205988B (zh) * 2020-10-13 2021-08-20 北京理工大学 一种双手协同运动下的手部运动方向解码方法及系统
CN112205988A (zh) * 2020-10-13 2021-01-12 北京理工大学 一种双手协同运动下的手部运动方向解码方法及系统
CN113146618A (zh) * 2021-03-16 2021-07-23 深兰科技(上海)有限公司 机械臂的控制方法、系统、电子设备及存储介质
CN113146618B (zh) * 2021-03-16 2022-07-01 深兰科技(上海)有限公司 机械臂的控制方法、系统、电子设备及存储介质
CN115982558A (zh) * 2023-03-17 2023-04-18 同心智医科技(北京)有限公司 脑电运动意图分类模型建立方法及其应用

Similar Documents

Publication Publication Date Title
CN107037883A (zh) 一种基于运动想象的混合脑机接口系统及方法
Townsend et al. Continuous EEG classification during motor imagery-simulation of an asynchronous BCI
CN106726030B (zh) 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN101711709B (zh) 利用眼电和脑电信息的电动假手控制方法
CN103793058B (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
CN104107134B (zh) 基于肌电反馈的上肢训练方法及系统
CN110179643A (zh) 一种基于环带传感器的颈部康复训练系统和训练方法
CN105956624B (zh) 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN107981997B (zh) 一种基于人脑运动意图的智能轮椅控制方法及系统
CN105654063B (zh) 基于人工蜂群时频参数优化的运动想象脑电模式识别方法
CN107329571B (zh) 一种面向虚拟现实应用的多通道自适应脑机交互方法
Wei et al. EMG and visual based HMI for hands-free control of an intelligent wheelchair
WO2008097201A1 (en) A system and method for processing brain signals in a bci system
CN103699226A (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN104548347A (zh) 一种纯意念神经肌肉电刺激控制与神经功能评价系统
CN112465059A (zh) 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN110772249A (zh) 注意力特征识别方法及应用
CN102096468A (zh) 一种基于脑-机接口的家电遥控装置及方法
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN108992066A (zh) 基于肌电信号的便携式下肢行为模式实时识别系统及方法
CN107562191A (zh) 基于混合特征的精细想象动作在线脑‑机接口方法
CN107480716A (zh) 一种结合eog和视频的扫视信号识别方法及系统
CN111584031A (zh) 基于便携式脑电采集设备的脑控智能肢体康复系统及应用
CN110262658A (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170811

WD01 Invention patent application deemed withdrawn after publication