CN103150023B - 一种基于脑机接口的光标控制系统及方法 - Google Patents
一种基于脑机接口的光标控制系统及方法 Download PDFInfo
- Publication number
- CN103150023B CN103150023B CN201310111544.0A CN201310111544A CN103150023B CN 103150023 B CN103150023 B CN 103150023B CN 201310111544 A CN201310111544 A CN 201310111544A CN 103150023 B CN103150023 B CN 103150023B
- Authority
- CN
- China
- Prior art keywords
- ssvep
- eeg signals
- user
- evoked ptential
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000763 evoking effect Effects 0.000 claims abstract description 71
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000004936 stimulating effect Effects 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 230000008054 signal transmission Effects 0.000 claims abstract 2
- 230000000638 stimulation Effects 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 206010049669 Dyscalculia Diseases 0.000 description 1
- 241000863486 Vinca minor Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请提供一种基于脑机接口的光标控制系统及方法,该系统包括视觉诱发刺激模块、脑电采集仪和处理器;其中,所述视觉诱发刺激模块用于将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以界面显示方式提供给使用者;脑电采集仪用于实时采集使用者脑电信号并且进行放大和模数转换,通过数据线与处理器进行信号传输;处理器用于接收脑电信号并且对脑电信号进行处理,判断使用者的控制意图并且控制光标移动。
Description
技术领域
本发明涉及脑科学应用技术,更具体地,涉及一种基于脑机接口的光标控制系统及方法。
背景技术
脑机接口(Brain-ComputerInterface)是一种基于脑电信号实现人与外界进行信息交流的通讯和控制系统,是人脑和计算机或者其他电子设备之间建立的直接交流和控制通道。脑机接口技术可以把电生理学活动或有机器官的神经系统活动转化为机械装置可以识别的信号,把大脑的信息直接转化为相应的控制命令,在人脑和计算机或其它外界设备之间建立一种直接的信息交流通道。
P300诱发电位是ERP(事件相关电位)的一种,其是指在人认知靶刺激之后300ms左右的时间,在脑电图上会出现一个明显的正电位波峰。SSVEP(SteadyStateVEP)诱发电位(稳态视觉诱发电位)是诱发电位(VEP)中的一种,是指当以持续的闪光频率对人眼进行刺激时,大脑皮层的神经元会使其发放率与闪光刺激频率同步,枕、顶部在脑电图上将出现与刺激频率相同或成谐振关系,并与刺激有一定相位关系的频率波,使得脑电信号中与刺激频率及其谐波频率对应的节律成分明显增强。稳态诱发电位的刺激频率一般要大于6Hz,这样各次刺激引起的响应在时间上就不断重叠,从而加强了信号的特征。
目前存在的利用脑机接口技术进行光标控制的主要是利用P300诱发电位和ERD\ERS电位技术,如中国专利“一种脑-机接口的二维光标控制方法及装置”(201010509561.6)利用P300诱发电位控制光标的垂直位移,利用运动想象来控制光标的水平位移。中国专利“一种基于运动想象与P300脑电电位的功能键选择方法”(201010509550.8)利用某种脑机接口控制光标移动到相应的位置后,再利用P300诱发电位和运动想象确认光标是否到达了使用者的预定目的地。但是,ERD\ERS电位对人的要求较高,需要使用者在使用前进行大量的训练(例如数个周,甚至更长的时间)。
发明内容
为克服现有技术的上述缺陷,本发明提出一种基于脑机接口的光标控制系统及方法。
根据本发明的一个方面,提供一种基于脑机接口的光标控制系统,包括视觉诱发刺激模块、脑电采集仪和处理器;其中,所述视觉诱发刺激模块用于将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以界面显示方式提供给使用者;脑电采集仪用于实时采集脑电信号并且进行放大和模数转换,通过数据线与处理器进行数据传输;其中,处理器用于接收脑电信号并且对脑电信号进行处理,判断使用者的控制意图并且控制光标移动。
其中,处理器包括信号处理模块和光标控制模块;其中,信号处理模块用于对实时采集到的一段脑电信号进行有、无SSVEP诱发电位的判断;信号处理模块还用于当识别结果为使用者未选择SSVEP刺激时,判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激;其中,光标控制模块用于根据信号处理模块的处理结果,控制光标进行相应方向的移动。
根据本发明的另一个方面,提供一种基于脑机接口的光标控制方法,包括:步骤1,将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以界面显示方式提供给使用者;步骤2,实时采集脑电信号并且进行放大和模数转换;步骤3,处理器接收脑电信号,并且对脑电信号进行处理,判断使用者的控制意图;以及步骤4,根据所述控制意图,控制光标进行相应方向的移动。
其中,步骤3包括:步骤31,对实时采集到的一段脑电信号进行有、无SSVEP诱发电位的判断;当确定选择左侧或右侧SSVEP刺激,则将判断结果传递用于光标控制,该周期结束;步骤32,当识别结果为使用者未选择SSVEP刺激时,对采集到的原始脑电信号重新进行处理,判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
本发明提出一种应用范围广泛、使用简便、准确率较高的光标控制方法,利用P300诱发电位和SSVEP诱发电位两类视觉诱发电位,分别代表垂直方向和水平方向,进行光标控制。对绝大多数使用者而言,不需要进行训练,可以直接使用,并且准确率较高,控制过程更灵活简便。
本发明与现有的通过脑-机接口控制光标的方法相比,结合了P300诱发电位和SSVEP诱发电位的优点,适用人群数量大;由于P300诱发电位和SSVEP诱发电位的普适性,使用者不需经过训练,可以直接使用;准确率高,P300诱发电位和SSVEP诱发电位都是通过视觉诱发产生,诱发条件简单,相对应的脑电信号特征明显,易识别分类;并且该光标控制方法对于那些有肢体障碍的残疾人有重大意义。
附图说明
图1是本发明的光标控制系统的工作原理框图;
图2是视觉诱发刺激界面及光标界面图;
图3是导联分布示意图;
图4是滤波前包含P300诱发电位的脑电信号示意图;
图5是滤波后包含P300诱发电位的脑电信号示意图;
图6是使用者注视SSVEP左侧刺激时脑电信号功率谱图;
图7是使用者注视SSVEP右侧刺激时脑电信号功率谱图;以及
图8是脑电信号处理流程示意图。
如图所示,为了能明确实现本发明的实施例的结构,在图中标注了特定的结构和器件,但这仅为示意需要,并非意图将本发明限定在该特定结构、器件和环境中,根据具体需要,本领域的普通技术人员可以将这些器件和环境进行调整或者修改,所进行的调整或者修改仍然包括在后附的权利要求的范围中。
具体实施方式
下面结合附图和具体实施例对本发明提供的一种基于脑机接口的光标控制系统和方法进行详细描述。
同时,在这里做以说明的是,为了使实施例更加详尽,下面的实施例为最佳、优选实施例,对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施;而且附图部分仅是为了更具体的描述实施例,而并不旨在对本发明进行具体的限定。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外,为了避免对本发明的实质造成不必要的混淆,并没有详细说明众所周知的方法、过程、流程、元件和电路等。
实施例1
在本发明的第一实施例中,提出了一种基于脑机接口的光标控制系统,参考图1,该系统包括视觉诱发刺激模块、脑电采集仪和处理器。其中,处理器包括信号处理模块和光标控制模块。其中,所述视觉诱发刺激模块包括P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激两种刺激模式,以界面显示方式提供给使用者。
其中,P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激都分别包含了数个目标刺激。其中,根据现有的P300诱发电位技术,依据Oddball范式设计了P300诱发电位视觉刺激,包括了A、B、C、D、E、F、G、H八个闪烁发光块。根据现有的SSVEP诱发电位技术,设计SSVEP诱发电位视觉刺激包括左、右两个闪烁发光块(每个都包含了30*10个小方块)。P300诱发电位视觉刺激分布在刺激界面的上部和下部(各四个),分别代表控制光标向上运动和向下运动;SSVEP诱发电位视觉刺激分布在刺激界面的左部和右部(各一个),分别代表控制光标向左运动和向右运动。其中,使用者可以端坐在诱发界面的前端0.75米左右的位置。
其中,脑电采集仪用于实时采集脑电信号并且进行放大和模数转换,通过数据线与处理器进行数据传输。其中,由于P300诱发电位主要产生在大脑的顶部,SSVEP诱发电位主要产生在大脑的枕部,所以根据“10-20国际标准导联”,将脑电采集电极放置在使用者头部的Cz、Pz、Fz、Oz、P3、P4、T5、T6、O1、O2位置,将参考电极放置在使用者耳垂上的A11、A12位置,将接地电极接地。
其中,通过视觉诱发刺激模块运行视觉诱发刺激,两类刺激会同时闪烁,使用者一次只能选择一个目标刺激进行注视,并观察光标的移动。若光标移动与使用者的控制意图相符(如使用者选择了左侧SSVEP诱发电位视觉刺激,光标也向左移动),则进行下一次注视;若光标移动与使用者的控制意图不相符,则使用者继续注视已选择的目标刺激。
其中,处理器用于接收脑电信号,并且对脑电信号进行处理,判断使用者的控制意图。
其中,信号处理模块用于对实时采集到的一段脑电信号进行有、无SSVEP诱发电位的判断。信号处理模块还用于当识别结果为使用者未选择SSVEP刺激时,对采集到的原始脑电信号重新进行处理,判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
其中,该重新进行处理包括:1、预处理,包括叠加去噪、滤波、主成分分析;2、提取信号叠加后的时域幅值作为P300诱发电位特征,代入Fisher线性判别模型进行分类,以判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
其中,光标控制模块用于根据信号处理模块的处理结果,控制光标进行相应方向的移动。其中,任一方向的每次移动的距离都为50像素。
其中,信号处理模块用于对实时采集到的一段脑电信号进行有、无SSVEP诱发电位的判断,包括:对信号进行快速傅里叶变换,得到其功率谱信息,然后提取12Hz、13Hz处以及24Hz处、26Hz处功率谱谱值作为SSVEP特征;利用支持向量机进行分类识别,判断该段信号有、无SSVEP诱发电位,即能具体判断出使用者选择的是左侧SSVEP刺激、右侧SSVEP刺激还是未选择SSVEP刺激。
实施例2
在本发明的第二实施例中,提出了一种基于脑机接口的光标控制方法,参考图1和图8,该方法包括:步骤1,将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以界面显示方式提供给使用者;步骤2,实时采集脑电信号并且进行放大和模数转换;步骤3,处理器接收脑电信号,并且对脑电信号进行处理,判断使用者的控制意图;步骤4,根据所述控制意图,控制光标进行相应方向的移动。其中,任一方向的每次移动的距离都为50像素。
其中,步骤3包括:步骤31,对实时采集到的一段脑电信号进行有、无SSVEP诱发电位的判断;步骤32,当识别结果为使用者未选择SSVEP刺激时,对采集到的原始脑电信号重新进行处理,判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
其中,步骤1中,P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激都分别包含了数个目标刺激。其中,根据现有的P300诱发电位技术,依据Oddball范式设计了P300诱发电位视觉刺激,包括了A、B、C、D、E、F、G、H八个闪烁发光块。根据现有的SSVEP诱发电位技术,设计SSVEP诱发电位视觉刺激包括左、右两个闪烁发光块(每个都包含了30*10个小方块)。P300诱发电位视觉刺激分布在刺激界面的上部和下部(各四个),分别代表控制光标向上运动和向下运动;SSVEP诱发电位视觉刺激分布在刺激界面的左部和右部(各一个),分别代表控制光标向左运动和向右运动。其中,使用者可以端坐在诱发界面的前端0.75米左右的位置。
图2为视觉诱发刺激界面及光标界面图。如图2所示,上、下两侧为P300视觉诱发刺激,左、右两侧为SSVEP视觉诱发刺激,刺激界面中间为光标控制界面,光标在该界面内进行移动。P300视觉诱发刺激为暗状态时,RGB颜色设置为(40,40,40),亮状态时的RGB颜色设置为(255,255,255)。左、右SSVEP视觉诱发刺激都各包含30*10个闪烁小方块,每个小方块大小为0.5cm*0.5cm,左SSVEP视觉诱发刺激的闪烁频率为12Hz,右SSVEP视觉诱发刺激的闪烁频率为13Hz。
其中,步骤2中,实时采集脑电信号并且进行放大和模数转换,通过数据线与处理器进行数据传输。其中,由于P300诱发电位主要产生在大脑的顶部,SSVEP诱发电位主要产生在大脑的枕部,所以根据“10-20国际标准导联”,图3标记出了电极需要被安放的具体位置。其中,将脑电采集电极放置在使用者头部的Cz、Pz、Fz、Oz、P3、P4、T5、T6、O1、O2位置,将参考电极放置在使用者耳垂上的A11、A12位置,将接地电极接地。
其中,通过视觉诱发刺激模块运行视觉诱发刺激,两类刺激会同时闪烁,使用者一次只能选择一个目标刺激进行注视,并观察光标的移动。若光标移动与使用者的控制意图相符(如使用者选择了左侧SSVEP诱发电位视觉刺激,光标也向左移动),则进行下一次注视;若光标移动与使用者的控制意图不相符,则使用者继续注视已选择的目标刺激。
其中,步骤32中,该重新进行处理包括:321、预处理,包括叠加去噪、滤波、主成分分析;322、提取信号叠加后的时域幅值作为P300诱发电位特征,代入Fisher线性判别模型进行分类,以判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
其中,步骤31进一步包括:步骤311,对信号进行快速傅里叶变换,得到其功率谱信息,然后提取12Hz、13Hz处以及24Hz处、26Hz处功率谱谱值作为SSVEP特征;步骤312,利用支持向量机进行分类识别,判断该段信号有、无SSVEP诱发电位,即能具体判断出使用者选择的是左侧SSVEP刺激、右侧SSVEP刺激还是未选择SSVEP刺激。
其中,步骤311中,采用Welch经典谱估计法,提取滤波后脑电信号的频谱特征。如使用者注视左侧SSVEP刺激或右侧SSVEP刺激时,提取11.5-12.5Hz、5.5-6.5Hz、23.5-24.5、12.5-13.5Hz、6-7Hz、25.5-26.5Hz处的功率谱幅值作为六个特征,一个样本内有三个通道,所以一个样本的特征数为3*6。
其中,步骤312中,利用支持向量机技术建立一个三分类模型。建立模型所需的样本分别来自使用者注视左侧SSVEP刺激、右侧SSVEP刺激和注视P300刺激。使用者实时使用时,提取脑电信号的功率谱特征,代入该三分类模型,得到识别结果。
具体地,步骤312中利用支持向量机建模的步骤进一步包括:
1)将样本分为三类,建立一个txt格式文档,数据格式为:[label][index1]:[value1][index2]:[value2]...如:+11:0.7082:13:14:-0.3205:-0.1056:-1,其中“label”代表该样本的类别,如“+1”,本发明中所用的“label”为“+1”、“+2”、“+3”。“index”代表有顺序的索引,为连续的整数。“value”就是具体的数据。
2)利用LIBSVM软件工具中的“svmtrain”函数来训练分类模型。具体的调用格式如下:Svmtrain–svalue1–tvalue2–cvalue3–gvalue4Sample_File.txtModel_File.txt,其中“-s”、“-t”、“-c”、“-g”都代表需要设定的参数,“value1”到“value4”为具体的参数值,“Sample_File.txt”为训练模型所需的样本,“Model_File.txt”即为得到的模型。
在进行判别时,所用的判别语句具体如下:SvmpredictTest_file.txtModel_File.txtOutput_File.txt,“Test_file.txt”即为需要进行判别的数据,“Model_File.txt”为上一步得到的判别模型,“Output_File.txt”为输出的判别结果。
其中,步骤31中,如果识别结果为使用者选择了左侧或右侧SSVEP刺激,则将判断结果传递给光标控制程序,该周期结束。图6和图7分别为使用者选择左侧/右侧SSVEP刺激时的脑电信号功率谱图。
其中,步骤321包括叠加去噪、滤波、主成分分析;具体如下:
1)叠加去噪
由于脑电信号比较微弱,为了消除随机噪音的影响,把每个样本各轮对应的脑电信号进行线性叠加求平均。如果脑电信号在300ms的位置有P300电位的话,在叠加之后会变得更加明显,而噪音信号在叠加过程中会互相抵消,便于分类。
2)滤波去噪
由于采集脑电信号时极易受到外界的噪音干扰、使用者自身的眼动干扰等,所以首先对叠加后的脑电信号进行滤波处理,滤除低频动作干扰和眼电干扰等,对每个通道叠加后的脑电数据进行带通滤波,截止频率为0.53-15Hz。滤波后脑电信号变得更为平滑,如图4即为滤波前的P300诱发电位波形图,图5为滤波后的P300诱发电位波形图。滤波之后把8个通道的数据按通道排列成一个具有4096(512*8)个特征的样本。
3)特征提取
包含P300信息的脑电信号经过叠加、滤波之后,一个样本包含的特征数多达4096个,如果用这些特征进行分类,会因维数过高而计算困难。因此本发明中用主成分分析方法对样本进行降维处理,使得到的少数的综合指标能尽量多的反映原始特征的信息。
其中,所用主成分分析方法的具体计算步骤如下:
i.标准化变换
上式中Xi为随机样本变量,为样本均值,Si为样本标准差;
ii.计算相关系数矩阵
上式中,rij(i,j=1,2,…,p)为原来变量xi与xj的相关系数,其计算公式为
iii.计算特征值与特征向量
先求解特征方程|λI-R|=0,得到特征值λi(i=1,2,…,p),并将特征值按大小顺序排列,即λ1≥λ2≥…≥λp≥0;然后求出对应于每个特征值λi的特征向量ei(i=1,2,…,p)。
iv.求出每个主成分的贡献率与累计贡献率
主成分zi贡献率:
累计贡献率:
v.计算主成分载荷
eki为λk对应标准化后的特征向量的第k个分量
vi.求出各主成分的载荷以后,可按照式(1)进一步计算主成分得分:
通过计算各主成分的累计贡献率,选择前50个主成分作为样本的特征。前50个主成分的累计贡献率可达到95%以上。
之后,将得到的样本代入Fisher线性判别方法建立的P300判别模型,得值最大的那个信号被认定为包含了P300信息,就可以判别出使用者选择的是具体哪个P300刺激。具体的Fisher判别步骤如下:
选择出要进行分类的两类样本,对两类样本进行标定,例如对于判断脑电信号中是否包含P300信息。假设含有P300成分的样本为X1类,不含P300成分的样本为X2类;
A.计算各类样本在高维空间的样本均值向量mi;
B.计算样本的类内离散度矩阵Si,总类内离散度矩阵Sw和类间离散度矩阵Sb;
Sw=S1+S2
Sb=(m1-m2)(m1-m2)T
C.确定判别准则函数
a)各类样本在投影空间的均值:
b)各类样本在投影空间的类内离散度矩阵总类内离散度矩阵和类间离散度矩阵
c)样本x与其投影y的统计量之间的关系:
D.确定投影方向w的准则是:使原样本在该方向上类内样本的投影尽量密集,类间样本的投影尽量分离,最佳投影方向就是使得JF取得极值的w:
阈值w0的选取采用ROC曲线。ROC曲线是一种用于检测二分类问题的阈值函数曲线,是根据二分类问题的一系列不同分界值,以真阳率(TruePositiveRate)为纵坐标,以假阳率(FalsePositiveRate)为横坐标绘制的函数曲线。通过ROC曲线可以很方便的看出选取不同分界值(阈值)时的分类性能。使用时,可以结合对实际问题的分析,选择出最佳的分界值。
最后应说明的是,以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制,本发明在应用上可以延伸为其他的修改、变化、应用和实施例,并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。
Claims (8)
1.一种基于脑机接口的光标控制系统,包括视觉诱发刺激模块、脑电采集仪和处理器;其中,所述视觉诱发刺激模块用于将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以界面显示方式提供给使用者;脑电采集仪用于实时采集使用者的脑电信号并且进行放大和模数转换,通过数据线与处理器进行信号传输;处理器用于接收脑电信号并且对脑电信号进行处理,判断使用者的控制意图并且控制光标移动;
其中,处理器包括信号处理模块和光标控制模块;
其中,信号处理模块用于对实时采集到的使用者脑电信号进行有、无SSVEP诱发电位的判断;
信号处理模块还用于当识别结果为使用者未选择SSVEP刺激时,判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激;
其中,光标控制模块用于根据信号处理模块的处理结果,控制光标进行相应方向的移动。
2.根据权利要求1所述的基于脑机接口的光标控制系统,其中,P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激分别包含多个目标刺激;进一步,P300诱发电位视觉刺激包括分布在刺激界面上部和下部的八个闪烁发光块;SSVEP诱发电位视觉刺激包括左、右两个闪烁发光块。
3.一种基于脑机接口的光标控制方法,包括:
步骤1,将P300诱发电位视觉刺激和SSVEP诱发电位视觉刺激以界面显示方式提供给使用者;
步骤2,实时采集使用者脑电信号并且进行放大和模数转换;
步骤3,处理器接收使用者脑电信号,并且对脑电信号进行处理,判断使用者的控制意图;以及
步骤4,根据所述控制意图,控制光标进行相应方向的移动;
其中,步骤3包括:
步骤31,对实时采集到的脑电信号进行有、无SSVEP诱发电位的判断;当确定使用者选择左侧或右侧SSVEP刺激,则将判断结果传递用于光标控制;
步骤32,当识别结果为使用者未选择SSVEP刺激时,对采集到的原始脑电信号重新进行处理,判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
4.根据权利要求3所述的基于脑机接口的光标控制方法,其中,步骤32中,该重新进行处理的步骤包括:
步骤321,对采集到的原始脑电信号进行叠加去噪、滤波、主成分分析;
步骤322,提取信号叠加后的时域幅值作为P300诱发电位特征,代入Fisher线性判别模型进行分类,以判断使用者选择的是屏幕上部的P300刺激,还是屏幕下方的P300刺激。
5.根据权利要求3所述的基于脑机接口的光标控制方法,其中,步骤31进一步包括:
步骤311,对信号进行快速傅里叶变换,得到其功率谱信息,提取12Hz、13Hz处以及24Hz处、26Hz处功率谱谱值作为SSVEP特征;
步骤312,利用支持向量机进行分类识别,通过分析脑电信号来确定使用者选择的是左侧SSVEP刺激、右侧SSVEP刺激还是未选择SSVEP刺激。
6.根据权利要求5所述的基于脑机接口的光标控制方法,其中:
步骤311中,采用Welch经典谱估计法,提取滤波后脑电信号的频谱特征;
步骤312中,利用支持向量机技术建立三分类模型,建立模型所需的样本分别来自使用者注视左侧SSVEP刺激、右侧SSVEP刺激和注视P300刺激,根据提取脑电信号的功率谱特征,代入该三分类模型,得到识别结果。
7.根据权利要求4所述的基于脑机接口的光标控制方法,其中,
步骤321进一步包括:包含P300信息的脑电信号经过叠加、滤波之后,采用主成分分析方法对样本进行降维处理;
步骤322进一步包括:将得到的样本代入Fisher线性判别方法建立的P300判别模型,得值最大的信号被认定为包含P300信息,判别出使用者选择的具体的P300刺激。
8.根据权利要求3所述的基于脑机接口的光标控制方法,其中,步骤4中,任一方向的每次移动的距离都为50像素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310111544.0A CN103150023B (zh) | 2013-04-01 | 2013-04-01 | 一种基于脑机接口的光标控制系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310111544.0A CN103150023B (zh) | 2013-04-01 | 2013-04-01 | 一种基于脑机接口的光标控制系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103150023A CN103150023A (zh) | 2013-06-12 |
CN103150023B true CN103150023B (zh) | 2016-02-10 |
Family
ID=48548149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310111544.0A Expired - Fee Related CN103150023B (zh) | 2013-04-01 | 2013-04-01 | 一种基于脑机接口的光标控制系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103150023B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103399639B (zh) * | 2013-08-14 | 2016-04-06 | 天津医科大学 | 基于ssvep和p300联合脑机接口方法及装置 |
CN103472922A (zh) * | 2013-09-23 | 2013-12-25 | 北京理工大学 | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 |
CN103488297B (zh) * | 2013-09-30 | 2016-04-13 | 华南理工大学 | 一种基于脑机接口的在线半监督文字输入系统及方法 |
CN103543836A (zh) * | 2013-10-28 | 2014-01-29 | 哈尔滨工业大学 | 基于脑机接口全自动控制网页浏览方法 |
CN103995583B (zh) * | 2014-04-28 | 2017-06-16 | 三星半导体(中国)研究开发有限公司 | 实现针对p300成分的脑机接口界面的设备及其方法 |
CN104090653B (zh) * | 2014-06-16 | 2017-02-22 | 华南理工大学 | 一种基于ssvep和p300的多模态脑开关检测方法 |
CN104615250A (zh) * | 2015-02-11 | 2015-05-13 | 中国兵器科学研究院 | 一种基于脑机接口的二维光标快速控制方法 |
CN108853678B (zh) * | 2015-03-21 | 2021-05-11 | 杭州晚萤科技有限公司 | 用于提高大脑“注意”切换能力的神经训练装置 |
CN105718953B (zh) * | 2016-01-25 | 2019-07-05 | 西北工业大学 | 一种基于矩阵灰建模的单次p300检测方法 |
CN106214391B (zh) * | 2016-07-21 | 2020-09-08 | 山东建筑大学 | 基于脑机接口的智能护理床及其控制方法 |
CN106650636A (zh) * | 2016-11-30 | 2017-05-10 | 同济大学 | 一种基于脑机接口的驾驶警觉度实时监测装置及方法 |
CN107272905B (zh) * | 2017-06-29 | 2018-10-09 | 华南理工大学 | 一种基于eog和emg的交互方法 |
WO2019001360A1 (zh) | 2017-06-29 | 2019-01-03 | 华南理工大学 | 一种基于视觉刺激的人机交互方法 |
CN109656356A (zh) * | 2018-11-13 | 2019-04-19 | 天津大学 | 一种ssvep脑-机接口的异步控制系统 |
CN109805923A (zh) | 2019-01-29 | 2019-05-28 | 北京京东方光电科技有限公司 | 可穿戴设备、信号处理方法及装置 |
CN111966218A (zh) * | 2020-07-20 | 2020-11-20 | 中国人民解放军军事科学院国防科技创新研究院 | 一种二维光标控制方法和装置 |
CN113520409B (zh) * | 2021-05-31 | 2024-03-26 | 杭州回车电子科技有限公司 | Ssvep信号识别方法、装置、电子装置和存储介质 |
CN113434040B (zh) * | 2021-06-07 | 2024-01-05 | 西北工业大学 | 基于增强现实诱发的脑机接口技术方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101968715A (zh) * | 2010-10-15 | 2011-02-09 | 华南理工大学 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
CN101980106A (zh) * | 2010-10-15 | 2011-02-23 | 华南理工大学 | 一种脑机接口的二维光标控制方法及装置 |
CN102789316A (zh) * | 2012-07-12 | 2012-11-21 | 上海海事大学 | 一种基于运动想象脑机接口二维光标运动的控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008152799A1 (ja) * | 2007-06-12 | 2008-12-18 | Panasonic Corporation | 脳波インタフェースシステムおよび起動装置 |
-
2013
- 2013-04-01 CN CN201310111544.0A patent/CN103150023B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101968715A (zh) * | 2010-10-15 | 2011-02-09 | 华南理工大学 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
CN101980106A (zh) * | 2010-10-15 | 2011-02-23 | 华南理工大学 | 一种脑机接口的二维光标控制方法及装置 |
CN102789316A (zh) * | 2012-07-12 | 2012-11-21 | 上海海事大学 | 一种基于运动想象脑机接口二维光标运动的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103150023A (zh) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103150023B (zh) | 一种基于脑机接口的光标控制系统及方法 | |
CN104461007B (zh) | 一种基于脑电信号的驾驶员辅助人车交互系统 | |
CN103472922A (zh) | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 | |
CN104586387B (zh) | 一种时、频、空域多参数脑电特征提取与融合方法 | |
CN101980106B (zh) | 一种脑机接口的二维光标控制方法及装置 | |
CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
CN104914994A (zh) | 基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法 | |
CN110991406B (zh) | 一种基于rsvp脑电特征的弱小目标检测方法及系统 | |
CN105824418B (zh) | 一种基于非对称视觉诱发电位的脑-机接口通讯系统 | |
CN106384095B (zh) | 基于手机拍摄图像的轿车故障指示灯识别方法 | |
CN103400146B (zh) | 基于颜色建模的中医面色识别方法 | |
CN104503580A (zh) | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 | |
CN102200833B (zh) | 一种Speller BCI系统及其控制方法 | |
CN104778466B (zh) | 一种联合多种上下文线索的图像关注区域检测方法 | |
CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
CN102521505A (zh) | 用于控制意图识别的脑电和眼电信号决策融合方法 | |
CN104050480A (zh) | 基于计算机视觉的吸烟烟雾检测方法 | |
CN103247059A (zh) | 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法 | |
CN103413050A (zh) | 基于极速学习机的运动想象脑电信号投票策略分类方法 | |
CN105708587A (zh) | 一种运动想象模式脑机接口触发的下肢外骨骼训练方法及系统 | |
CN103019382A (zh) | 一种利用诱发电位反映脑部主观动机信号的脑机接口方法 | |
CN105426895A (zh) | 基于马尔科夫模型的显著性检测方法 | |
CN107656612A (zh) | 基于p300‑ssvep的大指令集脑‑机接口方法 | |
CN109009098B (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
CN107480716A (zh) | 一种结合eog和视频的扫视信号识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160210 |