CN103955270B - 一种基于p300的脑机接口系统的字符高速输入方法 - Google Patents
一种基于p300的脑机接口系统的字符高速输入方法 Download PDFInfo
- Publication number
- CN103955270B CN103955270B CN201410148541.9A CN201410148541A CN103955270B CN 103955270 B CN103955270 B CN 103955270B CN 201410148541 A CN201410148541 A CN 201410148541A CN 103955270 B CN103955270 B CN 103955270B
- Authority
- CN
- China
- Prior art keywords
- character
- probability
- blinking
- threshold
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于P300的脑机接口系统的字符高速输入方法,采用基于Bayesian框架的DSC算法,计算出当前闪烁字符成为目标字符的后验概率并进行处理,其实现主要分为两个阶段:1)训练阶段:采集受试者的训练数据,完成预处理、特征提取、训练Bayesian LDA(BLDA)分类器,并得到P300与non‑P300两类响应的概率密度函数(即先验分布);2)测试阶段:根据先验分布以及在线获取的脑电特征向量,计算当前闪烁字符成为目标字符的后验概率,此概率值用于:a)动态缩短闪烁字符序列的长度,即将后验概率低的字符从闪烁序列中剔除;b)动态输出目标字符,即将此概率与预先设定的输出阈值比较,若大于该阈值则输出该字符。本发明在不影响字符输入准确率的前提下,能够明显提高输入速度。
Description
技术领域
本发明涉及基于P300的脑机接口系统的技术领域,尤其是指一种基于P300的脑机接口系统的字符高速输入方法。
背景技术
脑机接口(brain computer interface,BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道,它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织),是一种全新的人机接口方式。它通过实时记录人脑的脑电波,在一定程度上解读人的思维,并将其转换成控制命令,由此来实现对计算机、家用电器、机器人等设备的控制。脑机接口是神经科学和工程技术学科交叉产生的一项具有深远意义的创新性发明。它在医疗、康复、娱乐乃至国防领域有着广泛的前景。从认知科学研究的角度看,脑机接口为科学家揭示大脑奥秘提供了一个强有力的平台。在人脑与电脑交互过程中,科学家将从观察到大脑的动态活动过程,从而为理解大脑的工作机制,改进和提高人工智能的信息处理能力提供可能。脑机接口技术建立了大脑与外部世界直接控制周围环境中的各种设备,以实现某种程度上的生活自理。这些强劲的需求都为脑机接口研究提供了巨大的动力。
基于P300的脑机接口系统是一项重要的应用,P300是一种事件相关电位(eventrelated potentials,ERP)的内源成分,在相关事件发生后的300ms左右出现一个正向峰值,它有着广泛的应用前景。最初的P300单波由Sutto等在1965年发现的,其在Oddball实验模式下出现。当在频繁的标准刺激中夹杂着不长出现但明显有差异的听觉、视觉或体觉刺激时,会在偏差刺激后约300ms后在头顶皮层引起的EEG正峰。基于P300的原理,人们利用P300的波形,实现了字符输入、测谎、网络浏览等功能。此外,基于P300的脑机接口已经渐渐来到我们的生活中,而用于开发使用的目标人群主要是残障人士,利用脑机接口目前的优势来帮助那些由于各种原因导致身体语言器官严重受损的患者,对于他们和外界正常通讯的能力的恢复和对现有社会资源的充分应用具有重大的科学意义和现实意义。
ERP:事件相关电位是人大脑对于特定事件的变化电位,其电位变化是人身体或心理活动有关的事件相关脑电活动。在记录下原始的EEG信号后,可以通过一定的步骤将ERP信号从EEG信号中分离出来。相比普通的诱发电位,ERP具有一些特点,例如需要被试者主观参与、被试者的心理状态等一些外在因素。目前主要研究的ERP信号包括P300、N200等。
基于P300的脑机接口系统最早自1988年出现以来,一直受到许多研究单位的关注。对于脑机接口系统而言,它的可用性主要体现在系统的准确率和传输率上,而因为P300信号采集于人的头皮部位,信号中包含有许多噪声,并且成分比较微弱。因此,在传统的实验过程中,为达到较高的准确率和传输率,提出了一些改进方法。目前,基于P300的脑机接口系统已经有了许多新型的应用,最有现实的意义就是字符拼写,这项应用为残障人士与外界交流提供了平台。
现有技术中存在以下情况:
1、最早的技术是采用固定闪烁次数进行字符输入,设定每输入一个目标字符需要闪烁的遍数,即对于当前目标字符闪完设定的固定次数后,字符输入,并开始下一个目标字符。此种技术的缺点是:对于某些目标字符,可能在小于设定的闪烁遍数时,就能检测到P300信号,若仍采用固定闪烁次数,只会延长实验时间,且降低系统的传输率。
2、这是一种非固定闪烁次数的技术方案,将采集的训练数据经过多次叠加平均的方法提取特征向量,在线测试时,使用归一化后的分类响应的最大值与次大值作为停止重复刺激的指标,设定一个合理的阈值,当指标大于该阈值时,字符输入。此种技术的缺点是:2.1)要想得到停止重复刺激的指标,必须是闪完一遍(即40个字符),而对于某些目标字符,在40个闪烁字符的过程中,就能检测出P300信号,并不需要闪完一个序列(即40个字符),这样只会延长实验时间,从而影响系统的传输率;2.2)由于P300信号因人而异,则该阈值不容易确定。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种基于P300的脑机接口系统的字符高速输入方法,该方法利用贝叶斯框架的先验分布,提高了系统的信息传输率。
为实现上述目的,本发明所提供的技术方案为:一种基于P300的脑机接口系统的字符高速输入方法,采用基于贝叶斯框架的DSC算法,计算出当前闪烁字符成为目标字符的后验概率,当某个字符的后验概率大于设定的阈值θ0,则停止当前闪烁序列,输出目标字符;否则,将该闪烁序列的后验概率排序并与阈值θ1相比,若大于该阈值θ1则保留下来,并将保留下来的字符序列按后验概率递减排序,若小于该阈值θ1则删除,使得在线测试过程中,闪烁字符序列缩短,然而对于每位受试者,在进行在线反馈实验之前都要采集一段训练数据,其用于:1)建立在线分类用到的分类器;2)用上述分类器得到两类响应的概率密度估计函数;3)用该数据进行交叉验证获得的最优阈值;在训练过程中所完成的内容包括,每位受试者进行M个试次的训练,1个试次中包括N次重复闪烁轮,每个轮包含40个闪烁字符,一个闪烁字符对应一个特征数据段,共40个特征数据段;训练阶段完成后,受试者开始进行在线测试实验,在整个实验过程中,系统根据设计的DSC算法,输出检测到的目标字符。
所述基于P300的脑机接口系统的字符高速输入方法,采用的实验系统是最常见的脑机接口系统,其中,诱发P300模块是由40个字符排列而成的一个4×10的矩阵界面,而实验中选择的通道包括与视觉相关的即可,实验设计主要分为以下几个步骤:
1)首先需进行训练数据的采集,启动上述40字符矩阵的矩阵界面,然后对受试者进行目标字符提示,告诉受试者此刻该盯着哪个字符,当该字符闪烁完N次后,再给出另一个字符,同样闪烁完N次再给另一个字符,直至所需训练的M个字符全部给出,在训练的过程中,每一个闪烁序列有40个字符,包括1个目标字符和39个非目标字符,将每个字符闪烁N次后,就可以得到诱发的P300波形;
2)采取滤波器对上述诱发的P300波形进行预处理,对于处理后的P300波形,每个通道选取多个采样点作为特征点,且该多个采样点所对应的时间长度为600ms,将该多个采样点作为每一个字符的特征向量;
3)预处理后,进行贝叶斯线性判别分类,得到目标字符和非目标字符的分类器响应,之后根据高斯核密度估计方法,得到两类响应的概率估计图;
4)上述训练阶段完成后,开始进入在线测试阶段,对于当前闪烁序列的每个字符,根据训练分类器得到在对应的分类响应的条件下,目标字符和非目标字符出现的概率,并根据贝叶斯法则计算出每个字符的后验概率,计算公式如下:
式中,Si表示当前的闪烁序列,xi表示当前闪烁字符的分类响应,X表示当前闪烁字符之前的分类响应,p(C/xi,Si,X)表示当前闪烁字符成为目标字符的概率,p(C/X)表示当前闪烁字符之前的分类响应成为目标字符的概率,而p(xi/C,Si)则分为两种情况:
式中,p(xi/H1)和p(xi/H0)是根据训练数据产生的核密度估计曲线计算出来的,其中,p(xi/H1)表示出现目标字符的概率密度估计,p(xi/H0)表示非目标字符的概率密度估计,在更新时,对于当前闪烁则按照p(xi/H1)计算,其余的按照p(xi/H0)更新计算,因此,对于每一个字符闪烁都会计算出相应的成为目标字符的概率p(C/xi,Si,X);
5)在线测试过程中,首先设定至少闪烁一遍,对于每一遍闪烁,40个字符每个均闪烁且仅闪烁一次,字符才会有输入;当进行第一遍闪烁序列时,根据步骤4)将计算出的后验概率与设定阈值θ0比较,若当前闪烁字符后验概率大于该阈值,则直接输出,开始下一个试次;否则,将该闪烁序列字符的后验概率与设定的阈值θ1比较,若大于该阈值则保留下来,并将保留下来的字符序列按后验概率递减排序;由于系统设计的原因,两个轮之间的闪烁间隔与字符闪烁间隔的时间相同,则在线获取数据时,当闪烁到第二遍的前20个字符时才能获得第一闪烁40个字符的后验概率,因此,只能将这个排序后的缩短序列作为第三遍的字符闪烁顺序,对于闪烁第二遍序列时,若有当前闪烁字符概率大于设定阈值θ0,则目标字符输出,否则进行序列缩短并作为第四个轮的闪烁序列,以此类推,采用交叉方式进行字符序列缩短;此外,对于每一遍闪烁,都设定两个固定阈值,其中一个阈值是作为判断是否为目标字符,另一个阈值用来作为删除字符的指标;上述算法可进一步描述为以下步骤:
5.1)设每个字符成为目标字符的概率是相等的,则每个字符的先验概率P(C)为1/40,此处的C是指目标字符,初始化闪烁序列的遍数kr=0,此处kr是指1个轮,在1个轮中40个字符每个都闪烁且闪烁一次,每一次闪烁为1个特征数据段,设为n=0,对于阈值,设定目标字符输出的阈值为θ0,字符保留或删除的阈值为θ1;
5.2)接受一个新的脑电数据段,对这个数据段进行处理,提取出特征向量,利用已建立好的训练模型得到相应的概率密度估计值,计算其后验概率p(C/xi,Si,X),如果p(C/xi,Si,X)>θ0,则直接输出该字符,并转入步骤5.4);否则,将p(C/xi,Si,X)与阈值θ1比较,若p(C/xi,Si,X)>θ1,则保留该字符,否则删除,并将保留得到的字符按后验概率递减排序,作为下下个的字符闪烁序列,并n=n+1;
5.3)如果n<40,则返回步骤5.2);否则n=0;kr=kr+1;
5.4)如果kr<lmax,则返回到步骤5.2);否则输出lmax中40个字符中后验概率最大的字符,此处,lmax指输出一个字符允许的最大重复轮数;
5.5)返回到步骤5.1),进入下一个目标字符。
关于阈值参数的选择,除了先设定一个固定的阈值作为选择目标字符的依据外,在改变序列的长度时,还需要设置阈值判断字符是否保留;对每位受试者训练数据采用交叉验证方法来设定阈值的,两种类型的阈值设定如下:
①对于判断目标字符输出的阈值θ0,是通过交叉验证得到平均后的分类决策的准确率和信息传输率来设定的,所述信息传输率是指系统在单位时间内能够传输多少比特的信息量,其计算公式如下:
式中,M是系统每分钟输出的字符个数,N是字符的种类总数,P是系统的分类准确率;
实际上,由于每个字符成为目标字符的后验概率,取值范围是0到1,所以阈值θ0的取值范围也是在0到1之间,设定步长为0.05,进行搜索并判断;在实际系统中,必须兼顾有高的信息传输率的同时,且要保证系统的分类准确率,在此,将会选取准确率达到最高准确率的90%之后,且信息传输率也最大时所对应的阈值的值作为在线测试的最终使用的阈值θ0;
②对于判断字符是否保留的阈值θ1,根据由训练数据得到的两类响应的似然函数概率图来决定的,由于P300因人而异,则每个人的概率估计图不相同,当选取的回归分值范围太小,容易造成漏检,而范围太大,会导致误检,为适应每个人的回归分值范围,在设计中,设定了因人而异的阈值θ1,计算出每个人的目标字符的回归分值在[u-mσ,u+mσ]的范围值,m参数由离线分析可得,在线测试时,当闪烁字符的分类回归分值在上述范围内,则认为可能是目标字符,应保留下来,否则,应删除该字符。
所述40个字符包括26个英文字母、10个数字以及4个常用符号。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明采用DSC算法,先根据训练数据得到两类字符的先验信息,在线测试时,利用两类响应的高斯核密度估计迭代更新,计算当前闪烁字符的后验概率,当后验概率大于设定的阈值θ0,则目标字符输出,停止未闪烁的字符序列,序列长度缩短,字符输入速度明显提高;
2、本发明中还设定了阈值θ1来判断每一遍闪烁中字符是否保留,将最终保留的字符排序作为下下遍的字符闪烁顺序,在这个过程中,先是删除字符,序列长度减小,有利于输入速度的提高,此外,将保留的字符排序,经实验分析,后验概率比较大的字符中会包含目标字符,那么将得到的后验概率按递减排序,闪烁过程中会提前检测到目标字符,因此也提高了字符的输入速度。
附图说明
图1为本发明所述4×10矩阵的矩阵界面示意图。
图2为本发明的整个方法流程图。
图3为本发明所述两类响应的似然函数图。
图4为本发明一段实验的时序图。
图5为本发明所述DSC在线测试过程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
对于P300波形的诱发,目前存在的很多种类的范式。本发明采用的是40个字符(包括26个英文字母,10个数字以及4个常用符号)排列成的一个4*10矩阵的矩阵界面,如图1所示。在著名的Farwell-Donchin的脑机接口系统中,按行列方式呈现闪烁刺激,即某一行或者某一列中的所有字符都是同时闪烁。而我们实验中采用的诱发模块是单个字符闪烁的刺激,即某个字符开始闪烁一定的时间后开始下一个字符闪烁,此处设定的刺激间隔时间为30ms。此外,闪烁字符的颜色呈白/绿,即闪烁前是白色,开始闪烁后字符变成绿色,这里设定的颜色变绿持续的时间为100ms,称为刺激持续时间。40个字符闪烁顺序是随机的,一个序列或者一轮(round)指的是共有40个字符闪烁,每个字符均闪烁一次。闪烁完每一个轮需要1.2s。用来做P300检测的是从闪烁刺激开始后的600ms的数据,这段数据称为一个特征数据段,因此,每个闪烁对应一个特征数据段。由于一个特征数据段对应的600ms大于刺激间隔时间,所以多个刺激对应的数据会有重叠。
本发明的实验设计选取包括Fz、FCz、Cz、CPz、Pz、Oz、O1、O2、P3、P4、C3、C4等12个主要视觉区域的通道,为减少受试者训练时间和疲劳,根据数据分析,设定训练目标字符的个数为小于或等于20个试次即可,每个试次重复闪烁N个轮,一般设为10次,因此样本个数有(20target*10times*40characters)8000个。
本发明主要采用基于贝叶斯框架的DSC算法,在测试过程中缩短了字符闪烁序列,提高了输出字符的速度。将DSC算法用于P300的脑机接口系统中,需要分为训练和测试两个阶段。
如图2所示,本发明所述基于P300的脑机接口系统的字符高速输入方法,其具体情况如下:
1)首先需进行训练数据的采集,启动上述40字符矩阵的矩阵界面,然后对受试者进行字符提示,告诉受试者此刻该盯着哪个字符,当该字符闪烁完10次后,再给出另一个字符,同样闪烁完10次再给另一个字符,直至20个字符全部给出为止,在训练的过程中,每一个闪烁序列有40个字符,包括1个目标字符和39个非目标字符,将每个字符闪烁10次,得到诱发的P300波形。
2)采取滤波器对诱发的P300波形进行预处理,对于处理后的P300波形,每个通道选取17个采样点作为特征点,且该17个采样点对应的时间长度为600ms,将该多个采样点作为每一个字符的特征向量。
3)进行贝叶斯线性判别分类,得到目标字符和非目标字符的分类器响应,之后根据高斯核密度估计方法,得到两类响应的概率估计图,如图3所示,在图中,两条曲线图代表的是在分类响应的条件下目标字符和非目标字符的分类器响应的概率分布,其中峰值较低的曲线代表目标字符的分类器响应的概率分布,峰值较高的曲线代表非目标字符的分类器响应的概率分布。
4)上述训练阶段完成后,开始进入在线测试阶段,对于当前闪烁序列的每个字符,根据训练分类器得到在对应的分类响应的条件下,目标字符和非目标字符出现的概率,并根据贝叶斯法则计算出每个字符的后验概率,计算公式如下:
式中,Si表示当前的闪烁序列,xi表示当前闪烁字符的分类响应,X表示当前闪烁字符之前的分类响应,p(C/xi,Si,X)表示当前闪烁字符成为目标字符的概率,p(C/X)表示当前闪烁字符之前的分类响应成为目标字符的概率,而p(xi/C,Si)则分为两种情况:
式中,p(xi/H1)和p(xi/H0)是根据训练数据产生的核密度估计曲线计算出来的,其中,p(xi/H1)表示出现目标字符的概率密度估计,p(xi/H0)表示非目标字符的概率密度估计,在更新时,对于当前闪烁则按照p(xi/H1)计算,其余的按照p(xi/H0)更新计算,因此,对于每一个字符闪烁都会计算出相应的成为目标字符的概率p(C/xi,Si,X)。
5)在线测试过程中,首先设定至少闪烁一遍,对于每一遍闪烁,40个字符每个均闪烁且仅闪烁一次,字符才会有输入;当进行第一遍闪烁序列时,根据步骤4)将计算出的后验概率与设定阈值θ0比较,若当前闪烁字符后验概率大于该阈值,则直接输出,开始下一个试次;否则,将该闪烁序列字符的后验概率与设定的阈值θ1比较,若大于该阈值则保留下来,并将保留下来的字符序列按后验概率递减排序;由于系统设计的原因,两个轮之间的闪烁间隔与字符闪烁间隔的时间相同,则在线获取数据时,当闪烁到第二遍的前20个字符时才能获得第一闪烁40个字符的后验概率,因此,只能将这个排序后的缩短序列作为第三遍的字符闪烁顺序,对于闪烁第二遍序列时,若有当前闪烁字符概率大于设定阈值θ0,则目标字符输出,否则进行序列缩短并作为第四个轮的闪烁序列,以此类推,采用交叉方式进行字符序列缩短,如图4和图5所示。此外,对于每一遍闪烁,都设定两个固定阈值,其中一个阈值是作为判断是否为目标字符,另一个阈值用来作为删除字符的指标。上述过程可进一步描述为以下步骤:
5.1)设每个字符成为目标字符的概率是相等的,则每个字符的先验概率P(C)为1/40,此处的C是指目标字符,初始化闪烁序列的遍数kr=0,此处kr是指1个轮,在1个轮中40个字符每个都闪烁且闪烁一次,每一次闪烁为1个epoch,设为n=0,对于阈值,设定目标字符输出的阈值为θ0,字符保留或删除的阈值为θ1;
5.2)接受一个新的脑电数据段,对这个数据段进行处理,提取出特征向量,利用已建立好的训练模型得到相应的概率密度估计值,计算其后验概率p(C/xi,Si,X),如果p(C/xi,Si,X)>θ0,则直接输出该字符,并转入步骤5.4);否则,将p(C/xi,Si,X)与阈值θ1比较,若p(C/xi,Si,X)>θ1,则保留该字符,否则删除,并将保留得到的字符按后验概率递减排序,作为下下个的字符闪烁序列,并n=n+1;
5.3)如果n<40,则返回步骤5.2);否则n=0;kr=kr+1;
5.4)如果kr<lmax,则返回到步骤5.2);否则输出lmax中40个字符中后验概率最大的字符,此处,lmax指输出一个字符允许的最大重复轮数;
5.5)返回到步骤5.1),进入下一个目标字符。
对于衡量系统的性能指标,不仅仅要依靠分类准确率,而且系统输出的速度也是非常重要的指标。针对字符的输出速度衡量,可以采用信息传输率(Information transferrate,ITR)或者比特率(bit rate),它是指系统在单位时间(一分钟)内能够传输多少比特的信息量(bits per minute,BPM)。它是用来衡量同类脑机接口乃至不同类型脑机接口性能的客观指标,同时兼顾了可选项的数量(字符的种类总数)、分类准确率以及每次输出一个字符所需要的平均时间,其计算公式如下:
其中,M是系统每分钟输出的字符个数,N是字符的种类总数,P是系统的分类准确率。
关于阈值参数的选择,在本发明中除了先设定一个固定的阈值作为选择目标字符的依据外,在改变序列的长度时,还需要设置阈值判断字符是否保留的指标。在设定阈值时,均采用交叉验证方法,即对每位受试者采集的训练数据,随机选取35个目标字符,做7重交叉验证(7-fold cross validation),每折中包含5个测试字符,30个训练字符。因此,综合考虑,需要设置两种类型的阈值,如下:
①对于判断目标字符输出的阈值θ0,是通过交叉验证得到平均后的分类决策的准确率和信息传输率来设定的。实际上,由于每个字符成为目标字符的后验概率的取值范围是0到1,所以阈值θ0的取值范围也是在0到1之间,设定步长为0.05,进行搜索并判断。在实际系统中,必须兼顾有高的信息传输率的同时,且要保证系统的分类准确率。在此,将会选取准确率达到最高准确率的90%之后,且信息传输率也最大时所对应的阈值的值作为在线测试的最终使用的固定阈值。
②对于判断字符是否保留的阈值θ1,根据由训练数据得到的两类响应的似然函数概率图,由于P300因人而异,则每个人的概率估计图不相同,当选取的回归分值范围太小,容易造成“漏检”,而范围太大,会导致“误检”,为适应每个人的回归分值范围,在设计中,设定了因人而异的阈值,计算出每个人的目标字符的回归分值在[u-mσ,u+mσ]的范围值(m参数由离线分析可得),在线测试时,当闪烁字符的分类回归分值在上述范围内,则认为可能是目标字符,应保留下来,否则,应删除该字符。
本发明的最终目的就是在较高的准确率的情况下,提高字符的输入速度,而字符的输入速度主要体现在两个方面:1、采用的DSC算法,先根据训练数据得到两类字符的先验信息,在线测试时,利用两类响应的高斯核密度估计迭代更新,计算当前闪烁字符的后验概率,当后验概率大于设定的固定阈值,则目标字符输出,停止未闪烁的字符序列,序列长度缩短,字符输入速度明显提高;2、设定了阈值来判断每一遍闪烁中字符是否保留,将最终保留的字符排序作为下下遍的字符闪烁顺序,在这个过程中,先是删除字符,序列长度减小,有利于输入速度的提高,此外,将保留的字符排序,经实验分析,后验概率比较大的字符中会包含目标字符,那么将得到的后验概率按递减排序,闪烁过程中会提前检测到目标字符,因此也提高了字符的输入速度。
以上所述之实施例子只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于P300的脑机接口系统的字符高速输入方法,其特征在于:采用基于贝叶斯框架的DSC算法,计算出当前闪烁字符成为目标字符的后验概率,当某个字符的后验概率大于设定的阈值θ0,则停止当前闪烁序列,输出目标字符;否则,将该闪烁序列的后验概率排序并与阈值θ1相比,若大于该阈值θ1则保留下来,并将保留下来的字符序列按后验概率递减排序,若小于该阈值θ1则删除,使得在线测试过程中,闪烁字符序列缩短,然而对于每位受试者,在进行在线反馈实验之前都要采集一段训练数据,其用于:1)建立在线分类用到的分类器;2)用上述分类器得到目标字符和非目标字符这两类响应的概率密度估计函数;3)用该数据进行交叉验证获得的最优阈值;在训练过程中所完成的内容包括,每位受试者进行M个试次的训练,1个试次中包括N次重复闪烁轮,每个轮包含40个闪烁字符,一个闪烁字符对应一个特征数据段,共40个特征数据段;训练阶段完成后,受试者开始进行在线测试实验,在整个实验过程中,系统根据设计的DSC算法,输出检测到的目标字符。
2.根据权利要求1所述的一种基于P300的脑机接口系统的字符高速输入方法,其特征在于:诱发P300模块是由40个字符排列而成的一个4×10的矩阵界面,而实验中选择的通道包括与视觉相关的即可,实验设计包括以下步骤:
1)首先需进行训练数据的采集,启动上述40字符矩阵的矩阵界面,然后对受试者进行目标字符提示,告诉受试者此刻该盯着哪个字符,当该字符闪烁完N次后,再给出另一个字符,同样闪烁完N次再给另一个字符,直至所需训练的M个字符全部给出,在训练的过程中,每一个闪烁序列有40个字符,包括1个目标字符和39个非目标字符,将每个字符闪烁N次后,就可以得到诱发的P300波形;
2)采取滤波器对上述诱发的P300波形进行预处理,对于处理后的P300波形,每个通道选取多个采样点作为特征点,且该多个采样点所对应的时间长度为600ms,将该多个采样点作为每一个字符的特征向量;
3)预处理后,进行贝叶斯线性判别分类,得到目标字符和非目标字符的分类器响应,之后根据高斯核密度估计方法,得到两类响应的概率估计图;
4)上述训练阶段完成后,开始进入在线测试阶段,对于当前闪烁序列的每个字符,根据训练分类器得到在对应的分类响应的条件下,目标字符和非目标字符出现的概率,并根据贝叶斯法则计算出每个字符的后验概率,计算公式如下:
式中,Si表示当前的闪烁序列,xi表示当前闪烁字符的分类响应,X表示当前闪烁字符之前的分类响应,p(C/xi,Si,X)表示当前闪烁字符成为目标字符的概率,p(C/X)表示当前闪烁字符之前的分类响应成为目标字符的概率,而p(xi/C,Si)则分为两种情况:
式中,p(xi/H1)和p(xi/H0)是根据训练数据产生的核密度估计曲线计算出来的,其中,p(xi/H1)表示出现目标字符的概率密度估计,p(xi/H0)表示非目标字符的概率密度估计,在更新时,对于当前闪烁则按照p(xi/H1)计算,其余的按照p(xi/H0)更新计算,因此,对于每一个字符闪烁都会计算出相应的成为目标字符的概率p(C/xi,Si,X);
5)在线测试过程中,首先设定至少闪烁一遍,对于每一遍闪烁,40个字符每个均闪烁且仅闪烁一次,字符才会有输入;当进行第一遍闪烁序列时,根据步骤4)将计算出的后验概率与设定阈值θ0比较,若当前闪烁字符后验概率大于该阈值,则直接输出,开始下一个试次;否则,将该闪烁序列字符的后验概率与设定的阈值θ1比较,若大于该阈值则保留下来,并将保留下来的字符序列按后验概率递减排序;由于系统设计的原因,两个轮之间的闪烁间隔与字符闪烁间隔的时间相同,则在线获取数据时,当闪烁到第二遍的前20个字符时才能获得第一闪烁40个字符的后验概率,因此,只能将这个排序后的缩短序列作为第三遍的字符闪烁顺序,对于闪烁第二遍序列时,若有当前闪烁字符概率大于设定阈值θ0,则目标字符输出,否则进行序列缩短并作为第四个轮的闪烁序列,以此类推,采用交叉方式进行字符序列缩短;此外,对于每一遍闪烁,都设定两个固定阈值,其中一个阈值是作为判断是否为目标字符,另一个阈值用来作为删除字符的指标;上述过程能够进一步描述为以下步骤:
5.1)设每个字符成为目标字符的概率是相等的,则每个字符的先验概率P(C)为1/40,此处的C是指目标字符,初始化闪烁序列的遍数kr=0,此处kr是指1个轮,在1个轮中40个字符每个都闪烁且闪烁一次,每一次闪烁为1个特征数据段,设为n=0,对于阈值,设定目标字符输出的阈值为θ0,字符保留或删除的阈值为θ1;
5.2)接受一个新的脑电数据段,对这个数据段进行处理,提取出特征向量,利用已建立好的训练模型得到相应的概率密度估计值,计算其后验概率p(C/xi,Si,X),如果p(C/xi,Si,X)>θ0,则直接输出该字符,并转入步骤5.4);否则,将p(C/xi,Si,X)与阈值θ1比较,若p(C/xi,Si,X)>θ1,则保留该字符,否则删除,并将保留得到的字符按后验概率递减排序,作为下下个的字符闪烁序列,并n=n+1;
5.3)如果n<40,则返回步骤5.2);否则n=0;kr=kr+1;
5.4)如果kr<lmax,则返回到步骤5.2);否则输出lmax中40个字符中后验概率最大的字符,此处,lmax指输出一个字符允许的最大重复轮数;
5.5)返回到步骤5.1),进入下一个目标字符。
3.根据权利要求2所述的一种基于P300的脑机接口系统的字符高速输入方法,其特征在于:关于阈值参数的选择,除了先设定一个固定的阈值作为选择目标字符的依据外,在改变序列的长度时,还需要设置阈值判断字符是否保留;对每位受试者训练数据采用交叉验证方法来设定阈值的,两种类型的阈值设定如下:
①对于判断目标字符输出的阈值θ0,是通过交叉验证得到平均后的分类决策的准确率和信息传输率来设定的,所述信息传输率是指系统在单位时间内能够传输多少比特的信息量;
实际上,由于每个字符成为目标字符的后验概率,取值范围是0到1,所以阈值θ0的取值范围也是在0到1之间,设定步长为0.05,进行搜索并判断;在实际系统中,必须兼顾有高的信息传输率的同时,且要保证系统的分类准确率,在此,将会选取准确率达到最高准确率的90%之后,且信息传输率也最大时所对应的阈值的值作为在线测试的最终使用的阈值θ0;
②对于判断字符是否保留的阈值θ1,根据由训练数据得到的两类响应的似然函数概率图来决定的,由于P300因人而异,则每个人的概率估计图不相同,当选取的回归分值范围太小,容易造成漏检,而范围太大,会导致误检,为适应每个人的回归分值范围,在设计中,设定了因人而异的阈值θ1,计算出每个人的目标字符的回归分值在[u-mσ,u+mσ]的范围值,m参数由离线分析可得,在线测试时,当闪烁字符的分类回归分值在上述范围内,则认为可能是目标字符,应保留下来,否则,应删除该字符。
4.根据权利要求2所述的一种基于P300的脑机接口系统的字符高速输入方法,其特征在于:所述40个字符包括26个英文字母、10个数字以及4个常用符号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410148541.9A CN103955270B (zh) | 2014-04-14 | 2014-04-14 | 一种基于p300的脑机接口系统的字符高速输入方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410148541.9A CN103955270B (zh) | 2014-04-14 | 2014-04-14 | 一种基于p300的脑机接口系统的字符高速输入方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103955270A CN103955270A (zh) | 2014-07-30 |
CN103955270B true CN103955270B (zh) | 2017-02-22 |
Family
ID=51332555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410148541.9A Active CN103955270B (zh) | 2014-04-14 | 2014-04-14 | 一种基于p300的脑机接口系统的字符高速输入方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103955270B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503580B (zh) * | 2014-12-25 | 2018-04-13 | 天津大学 | 一种对稳态视觉诱发电位脑‑机接口目标的识别方法 |
CN105528072A (zh) * | 2015-12-02 | 2016-04-27 | 天津大学 | 一种动态停止策略下的脑-机接口拼写系统 |
CN105511622B (zh) * | 2015-12-14 | 2019-01-29 | 华南理工大学 | 一种基于p300脑电模式的无阈值脑开关方法 |
CN106940592B (zh) * | 2017-02-20 | 2019-10-18 | 华南理工大学 | 一种脑控虚拟人避障控制方法 |
WO2018232617A1 (zh) * | 2017-06-21 | 2018-12-27 | 陈晓苏 | 一种确定激励图片的方法、系统及可读取存储介质 |
CN108304917B (zh) * | 2018-01-17 | 2020-11-24 | 华南理工大学 | 一种基于lstm网络的p300信号检测方法 |
CN108415554B (zh) * | 2018-01-18 | 2020-11-10 | 大连理工大学 | 一种基于p300的脑控机器人系统及其实现方法 |
CN109645994B (zh) * | 2019-01-04 | 2020-04-28 | 华南理工大学 | 一种基于脑-机接口系统辅助评估视觉定位的方法 |
CN110262658B (zh) * | 2019-06-14 | 2023-02-03 | 长春理工大学 | 一种基于强化注意的脑机接口字符输入系统及实现方法 |
CN114146283A (zh) * | 2021-08-26 | 2022-03-08 | 上海大学 | 一种基于目标检测和ssvep的注意力训练系统及方法 |
CN115633090B (zh) * | 2022-10-21 | 2023-07-18 | 北京中电飞华通信有限公司 | 一种基于eSIM卡和5G网络的多源数据链接方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102629156A (zh) * | 2012-03-06 | 2012-08-08 | 上海大学 | 一种基于Matlab和DSP的运动想象脑机接口实现方法 |
CN103190904A (zh) * | 2013-04-03 | 2013-07-10 | 山东大学 | 基于缺项特征的脑电图分类检测装置 |
-
2014
- 2014-04-14 CN CN201410148541.9A patent/CN103955270B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102629156A (zh) * | 2012-03-06 | 2012-08-08 | 上海大学 | 一种基于Matlab和DSP的运动想象脑机接口实现方法 |
CN103190904A (zh) * | 2013-04-03 | 2013-07-10 | 山东大学 | 基于缺项特征的脑电图分类检测装置 |
Non-Patent Citations (1)
Title |
---|
An Online Simi-supervised Brain-Computer Interface;Zhenghui Gu et al.;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20130930;第2614-2623页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103955270A (zh) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103955270B (zh) | 一种基于p300的脑机接口系统的字符高速输入方法 | |
US20200367800A1 (en) | Method for identifying driving fatigue based on cnn-lstm deep learning model | |
CN105654063B (zh) | 基于人工蜂群时频参数优化的运动想象脑电模式识别方法 | |
CN108960182A (zh) | 一种基于深度学习的p300事件相关电位分类识别方法 | |
CN108304917A (zh) | 一种基于lstm网络的p300信号检测方法 | |
CN105877766A (zh) | 一种基于多生理信号融合的精神状态检测系统及方法 | |
CN102542283B (zh) | 脑机接口的最优电极组自动选取方法 | |
CN105894039A (zh) | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 | |
CN102508545B (zh) | 一种视觉P300-Speller脑-机接口方法 | |
CN109480833A (zh) | 基于人工智能的癫痫患者脑电信号的预处理和识别方法 | |
CN112043473B (zh) | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 | |
CN105528072A (zh) | 一种动态停止策略下的脑-机接口拼写系统 | |
CN104035563B (zh) | 基于w‑pca和无监督ghsom的脑电信号识别方法 | |
CN103996054B (zh) | 一种基于组合差异进化的脑电信号特征选择及分类方法 | |
CN108992066A (zh) | 基于肌电信号的便携式下肢行为模式实时识别系统及方法 | |
CN112732092B (zh) | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 | |
CN113205074A (zh) | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 | |
CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
CN112884063B (zh) | 基于多元时空卷积神经网络的p300信号检测识别方法 | |
Dai et al. | Reliability of motor and sensory neural decoding by threshold crossings for intracortical brain–machine interface | |
CN111000555A (zh) | 一种癫痫脑电信号的训练数据生成方法、自动识别模型建模方法和自动识别方法 | |
CN105303771A (zh) | 一种疲劳判断系统及方法 | |
CN105843377A (zh) | 基于异步并行诱发策略的混合范式脑-机接口 | |
CN114145745B (zh) | 基于图的多任务自监督情绪识别方法 | |
Veer | Experimental study and characterization of SEMG signals for upper limbs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |