CN103488297A - 一种基于脑机接口的在线半监督文字输入系统及方法 - Google Patents

一种基于脑机接口的在线半监督文字输入系统及方法 Download PDF

Info

Publication number
CN103488297A
CN103488297A CN201310461601.8A CN201310461601A CN103488297A CN 103488297 A CN103488297 A CN 103488297A CN 201310461601 A CN201310461601 A CN 201310461601A CN 103488297 A CN103488297 A CN 103488297A
Authority
CN
China
Prior art keywords
vector
character
square
label
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310461601.8A
Other languages
English (en)
Other versions
CN103488297B (zh
Inventor
顾正晖
张锦涛
俞祝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201310461601.8A priority Critical patent/CN103488297B/zh
Publication of CN103488297A publication Critical patent/CN103488297A/zh
Application granted granted Critical
Publication of CN103488297B publication Critical patent/CN103488297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于脑机接口的在线半监督文字输入系统及方法,该系统包括脑电信号采集系统,用于采集用户脑电信号,并对采集到的脑电信号进行处理;信号处理模块,用于将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量;在线分类模块,用于根据信号处理模块提取的特征,对最小二乘支持向量机分类器进行在线更新并用其进行在线分类;视觉刺激界面,用于诱发用户产生P300信号,并且在该界面上显示用户需要输入的字符,显示最小二乘支持向量机分类器预测的结果。本发明大大减少了用户使用系统之前的训练时间,并且具有准确度高的优点。

Description

一种基于脑机接口的在线半监督文字输入系统及方法
技术领域
[0001 ] 本发明涉及脑机接口领域,特别涉及一种基于脑机接口的在线半监督文字输入系统及方法。
背景技术
[0002] 脑机接口是在人脑和外界之间建立不依赖于常规大脑信息输出通路(外围神经和肌肉组织)的一种通信系统。通过这种通道,人就可以直接通过脑来表达思想或操作其它设备,而不需要通过语言或肢体的动作,是一种全新的通讯和控制方式。特别是,近年来脑科学、计算机科学、信号处理技术的飞速发展以及残疾人需求意识的不断提高,使得脑机接口技术不断发展。
[0003] 脑机接口技术的研究具有重要的意义,并且具有多方面的用途。一个重要用途是能够为思维正常但有运动功能障碍的人如严重脊髓损伤等或者有语言功能障碍的人提供与他人交流的机会;它还可以为人们提供不需要人为操作的新的人机通讯方式和控制方式;脑机接口同时能够通过包含的精神和状态信息丰富游戏的趣味性,增加用户游戏的体验度等。目前我国60岁人口已经达到I. 34亿,残疾人口也达到5千多万,这对我国对老年人和残疾人的服务保障提出了新的挑战。迫切需要相应方面的研究,来提高老年人或者残疾人的自理能力和生活质量,让他们更好的享受生活、体验生活。
[0004] 其中针对于具有运动障碍及语音障碍的用户与外界通信最常用的交流方式就是文字,用户通过脑机接口在计算机输入其所想表达的文字,以发送信息或控制外部设备做出相应的操作。现有的基于脑机接口的文字输入系统在使用之前要经过较长时间的训练,因为在这过程中需要采集足够的有标签数据训练分类器,这个时间可能需要数分钟或者更长。另外在某些情况下,同一个用户的不同使用阶段脑电信号发生变化,就需要对分类器进行重新的间歇性训练或矫正(此时中断用户的使用),否则分类器的性能就会下降。而进行重新的间歇性训练就会中断用户的使用,降低了使用效率。
[0005] 现有的脑机接口系统包括有监督学习和半监督学习的方式。
[0006] 有监督学习就是利用有标签数据对分类器进行训练,该方式在训练过程中要利用采集到的所有数据(要经过特征提取的特征向量)以及它们的标签对分类器进行训练,得到一个分类器。这个过程就需要得到所有有标签数据之后才能够训练分类器。从用户的角度来看,用户就不能够自由输入字符,他就要按照要求进行训练。一般要得到一个好的分类器,即对特征向量预测要足够准确,就需要有大量的样本特征向量进行训练。所以一般的这种字符输入脑机接口系统就是首先要给用户带上电极帽,按照系统提示注视目标字符,由系统去采集数据。一般需要采集20个目标字符以上(就是训练阶段用户要按照系统提示的字符去注视20个字符以上)的数据,之后系统就会利用所有这些有标签特征向量对分类器进行训练,因此这个训练过程的时间就很长;并且这种方式的数据量很大,计算过程就会很长。之后系统还要对这些数据进行特征提取后对分类器进行训练。在用户真正能够使用系统后,就是利用这个已经训练好的分类器对特征向量进行分类,将结果反馈给用户。[0007] 现有传统的大多数半监督脑机接口需要经过初始训练来收集有标签数据,但是相对更长的时间来收集无标签数据。分类器就是利用这两种类型的数据来进行训练。从用户的角度来看,在用户可以使用这种系统之前,整个的训练时间就不但包括对有标签数据的采集,也包括对无标签数据的采集。因此,对于用户来讲,现有传统的半监督学习也就没有最小化整个的训练时间,实际上现有的这种半监学习和有监督学习时间差不多,只是利用两种类型的数据,因为某些情况下有标签数据不容易获取。这种方式是一种离线的方式,因为系统需要采集完所有的少量有标签数据和所有的无标签数据后,利用这些少量有标签数据和他们的标签以及无标签数据,才能对分类器进行训练,得到分类器。在这个过程中,系统不能交由用户使用,系统只能来采集这些数据,训练分类器。
发明内容
[0008] 本发明的目的在于克服现有技术的缺点与不足,提供一种基于脑机接口的在线半监督文字输入系统。
[0009] 本发明的另一个目的在于提供一种基于脑机接口的在线半监督文字输入方法。能够大大减少用户使用该系统之前的训练时间,并且具有准确度高的优点。
[0010] 本发明的第一个目的通过下述技术方案实现:一种基于脑机接口的在线半监督文字输入系统,包括
[0011] 脑电信号采集系统,用于采集用户脑电信号,并对采集到的脑电信号进行处理;
[0012] 信号处理模块,用于将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量;
[0013] 在线分类模块,用于根据信号处理模块提取的特征,对最小二乘支持向量机分类器进行在线更新并用其进行在线分类;
[0014] 视觉刺激界面,用于诱发用户产生P300信号,并且在该界面上显示用户需要输入的字符,显示最小二乘支持向量机分类器预测的结果。
[0015] 优选的,所述视觉刺激界面上总共包含有40个字符,以4行10列的矩阵形式显示在计算机的屏幕上展示给用户。
[0016] 优选的,所述视觉刺激界面上包含有两个编辑框,其中一个编辑框中显示用户训练阶段所要输入的系统的字符;另一个编辑框用于反馈显示用户在输入模式下所输入的字符。
[0017] 本发明的第二个目的通过下述技术方案实现:一种基于脑机接口的在线半监督文字输入方法,包括系统初始化步骤、系统监督训练步骤和系统文字输入步骤:
[0018] 系统初始化:
[0019] 用户带上与计算机连接的电极帽,开启计算机屏幕的视觉刺激界面,在计算机屏幕视觉刺激界面上显示字符;其中每个字符按照随机顺序闪烁,设定在用户输入一个字符过程中,每个字符重复闪烁A次,相邻字符闪烁的时间间隔为C秒,相邻两个字符输入的时间间隔为B秒;
[0020] 系统监督训练:
[0021 ] (I)系统随机选取m个目标字符,并提示用户输入这m个目标字符,用户注视需要输入的目标字符;在用户注视目标字符期间,计算机对用户的脑电信号数据进行采集;[0022] (2)将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量;
[0023] (3)将目标字符对应的特征向量标记为+1,将其它字符对应的特征向量标记为-I ;然后采用这些特征向量及其对应标签的训练数据集建立初始最小二乘支持向量机分类器;
[0024] 系统文字输入:
[0025] (a)首先系统转换为用户输入模式,用户注视界面中其要输入的字符,计算机对用户的脑电信号数据进行采集;
[0026] ( b )将采集到的脑电信号进行低通滤波、平均和下采样处理后,提取每个字符的特征向量,形成称为块的数据集;
[0027] (C)计算当前块中每个字符特征向量对应于当前最小二乘支持向量机分类器的隐含变量值,将隐含变量值最大的特征向量对应的标签标记为+1,其它特征向量对应的标签标记为-1,作为它们的预测标签;
[0028] (d)根据各特征向量和各特征向量当前的预测标签对最小二乘支持向量机分类器进行在线更新;重新计算当前块中每个字符特征向量对应于更新后的最小二乘支持向量机分类器的隐含变量值,将隐含变量值最大的特征向量对应的标签标记为+1,其它特征向量对应的标签标记为-1,作为它们的预测标签;
[0029] (e)判断最小二乘向量机分类器的更新次数是否达到Z次;
[0030] 若是,则进入步骤(g);
[0031] 若否,则进入步骤(f);
[0032] (f)检测块中各特征向量前后两次的预测标签是否对应相等;
[0033] 若是,则进入步骤(g);
[0034] 若否,则进入步骤(d)继续更新最小二乘支持向量机分类器;
[0035] (g)停止更新,将预测标签为+1的特征向量对应的字符确定为输入字符,完成一个字符的输入;用户注视下一个要输入的字符,继续执行步骤(b)。
[0036] 优选的,所述用户输入一个字符过程中,每个字符重复闪烁9次,相邻字符闪烁的时间间隔为25毫秒,相邻两个字符输入的时间间隔为3秒。
[0037] 优选的,系统在训练阶段,所述步骤(I)中系统随机选取2~6个目标字符,并提示用户依次输入这2~6个目标字符;即所述m为2~6。
[0038] 优选的,所述步骤(3)最初最小二乘支持向量机分类器建立过程如下:
[0039] (3-1)最小二乘支持向量机分类器的优化问题为:
[0040]
min||w||2+f ||e|卜,+ d =另 + , ί - ;
[0041] 其中A) = 为训练数据集,%eRd为一个训练样本特征向量,
.V,, e {-1,+1}是训练样本特征向量对应的标签,L是训练样本特征向量的个数;θζϋθρ . . .,eJT为误差向量,Y≥O为正则化项,I为单位矩阵,标量b e R为最小二乘支持向量机分类器的偏置,权值向量w e Rd ;
[0042] (3-2)根据上述优化问题,得出优化问题的解,即初始最小二乘支持向量机分类器为:
[0043]
Figure CN103488297AD00091
[0044] 最初最小二乘支持向量机分类器的隐含变量值为:
[0045]
Figure CN103488297AD00092
[0046] 其中5,_为向量£ = [ϋ; 的第i个元素;
X E #为测试样本特征向量;
[0048]记 为矩阵KeRLXL的第i行第j列元素, I e Rlxl为一个单位矩阵,向量I中所有元素都为1,即1=[1. . . 1]τ,其与h同维;
[0049] y, =Lrr-V,]"是由训练数据集的标签组成的标签向量;
[0050] 则向量S以及标量S由下面式子求得:
Figure CN103488297AD00093
[0054] 权值向量w由下式给出:
[0055]
Figure CN103488297AD00094
[0056] 更进一步的,系统文字输入阶段,所述步骤(C)中,块D中各特征向量对应的预测标签通过以下步骤得到:
[0057] (c-ί)根据当前最小二乘支持向量机分类器y(x)计算该分类器的隐含变量值
S(X);
[0058] 其中当前最小二乘支持向量机分类器y(x)为:
Figure CN103488297AD00095
[0060] 则对应当前最小二乘支持向量机分类器y(x)的隐含变量值S(X)为:
Figure CN103488297AD00096
[0062] 其中数据隼=I(U)G1;为当前最小二乘支持向量机分类器>(x)对应训练数据集,N表示数据集Dn中特征向量的个数,Xi表示特征向量,Yi表示特征向量应的标签;当前最小二乘支持向量机分类器y(x)的模型矩阵为Hn,向量
Figure CN103488297AD00101
[0063] (c-2)根据当前最小二乘支持向量机分类器y(x)的隐含变量值sOO计算当前块中每个特征向量对应于当前最小二乘支持向量机分类器的隐含变量值,然后从中选取出最
大值,所述最大值为:
[0064]
Figure CN103488297AD00102
[0065] 其中5=民}二为步骤(b)得到的块的数据集,M表示块5中特征向量的个数,&
表示块中的特征向量,X尸力块中特征向量&对应于当前最小二乘支持向量机分类器的隐含变量值;
[0066] (c-3)将块万中特征向量\对应的标签1标记为+1,将块万ί中的其他特征向量
对应的标签yf),j-ί,...,Μ-Ά j幸P标记为-1,作为块D各特征向量的预测标签。
[0067] 更进一步的,所述步骤(d)中最小二乘支持向量机分类器更新过程如下:
[0068] (d-Ι)联合当前最小二乘支持向量机分类器对应训练数据集Dn、块数据集5及块
数据集δ中各特征向量的当前预测标签为增量数据集力= ,记增量数据
集D中的标签组成的标签向量yl 1力:
[0069]
Figure CN103488297AD00103
[0070] 其中为步骤(C-3)中得到的块中各特征向量当前的预测标签;
[0071] (d-2)根据标签向量gamma(~和增量数据集乃的增量模型矩阵Ην+μ的逆11^„得到更新后最小二乘支持向量机分类器y(x)(1)为:
[0072]
Figure CN103488297AD00104
[0073]其中
Figure CN103488297AD00105
;向量 I 中所有元素都为1,即1=[1...1]'其与5^同维数;
[0074] 其中,为增量数据集凡^万的增量模型矩阵HN+M的逆,根据对应训练数据集Dn的最小二乘支持向量机分类器模型矩阵Hn的逆矩阵H得到:
[0075]
Figure CN103488297AD00106
[0079]其中
Figure CN103488297AD00111
[0080]其中
Figure CN103488297AD00112
Uij 为矩阵
Um e Rm的第i行j列元素,Vm e Rmxm为:
[0081]
Figure CN103488297AD00113
[0082] 优选的,所述步骤(d )中的Z为3。
[0083] 本发明相对于现有技术具有如下的优点及效果:
[0084] (I)本发明在初始训练过程中只需要几个字符的监督学习,通过初始训练得到有标签的特征向量,利用这些特征向量和它们的标签建立一个初始的最小二乘支持向量机分类器;然后转入用户输入模式,此时用户可以按照自己的意愿自由注视目标字符,在这种模式下,计算机通过电极帽采集到脑电信号为无标签数据,提取无标签数据的特征向量,形成一个称为块的数据集,然后利用当前最小二乘支持向量机分类器预测出块中各特征向量的标签,根据各特征向量和特征向量当前的预测标签在线不断更新最小二乘支持向量机分类器,待各特征向量的前后预测标签满足相同的情况或者分类器在线更新次数达到一定值时,停止更新,并将预测结果反馈给用户,经过大概5-25个字符以上的自由输入之后最小二乘支持向量机分类器就可以达到很高的分类准确率,大约为90%-100%。由于我们利用初始训练的少量的有标签数据以及之后适量的无标签数据对最小二乘支持向量机分类器进行不断的迭代训练;其中初始训练的时间不会超过70s,因此单调沉闷和耗时的训练过程就会被大大减少。
[0085] (2)本发明在最小二乘向量机分类器进行在线更新过程中,利用当前最小二乘支持向量机分类器的模型矩阵Hn的逆矩阵,求新的增量模型矩阵Hn+m的逆,从而得到更新后的最小二乘支持向量机分类器,大大降低了本发明方法计算的复杂度以及节省了计算时间。
附图说明
[0086] 图I是本发明系统组成框图。
[0087] 图2是本发明视觉刺激界面的示意图。
[0088] 图3是本发明方法的流程图。
具体实施方式
[0089] 下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
[0090] 实施例
[0091] 如图I所示,本实施例公开了一种基于脑机接口的在线半监督文字输入系统,包括
[0092] 视觉刺激界面,用于诱发用户产生P300信号,并且在该界面上显示各字符;如图2所示,视觉刺激界面上总共包含有40个不同的字符和两个编辑框,其中40个字符以4行10列的矩阵形式显示在计算机的屏幕上展示给用户。视觉刺激界面上的两个编辑框,其中一个编辑框中显示用户训练阶段所要输入的系统的字符;提醒用户在训练阶段所要输入的字符;另一个编辑框用于反馈显示用户在输入模式下所输入的字符。
[0093] 脑电信号采集系统,用于采集用户脑电信号,并对采集到的脑电信号进行处理。
[0094] 信号处理模块,用于将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量。
[0095] 在线分类模块,用于根据信号处理模块提取的特征向量,对最小二乘向量机分类器进行在线更新并用其进行在线分类。
[0096] 如图3所示,本实施例还公开了一种基于脑机接口的在线半监督文字输入方法,包括系统初始化步骤,系统监督训练步骤和系统文字输入步骤:
[0097] 系统初始化:
[0098] 用户首先带上电极帽,调整电极帽位置满足国际10-20系统的标准;接着向电极帽中每个电极注入导电胶,并确定所有重要导联电极处于导通状态;然后开启计算机屏幕的视觉刺激界面,在计算机屏幕视觉刺激界面上显示字符,提示用户准备后,用户可以开始注视目标字符;其中界面上每个字符按照随机顺序闪烁,在用户输入一个字符过程中,每个字符重复闪烁9次,相邻字符闪烁的时间间隔为25毫秒,相邻两个字符输入的时间间隔为3秒。当完成9次闪烁之后,完成一个字符的输入,系统停止闪烁3秒中,用于给用户作输入下一个字符的准备。
[0099] 系统监督训练:
[0100] (I)系统随机选取3个目标字符,并显示在如图2所示的input下的编辑框中,用于提示用户需要依次输入这3个目标字符,用户根据该编辑框上的3个字符,注视需要输入的目标字符;在用户注视目标字符期间,即界面中每个字符闪烁9次的过程中,计算机对用户的脑电信号数据进行采集。在这过程中目标字符也可以选择2、4、5或6个等合适的数量。
[0101] (2)将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量。
[0102] (3)将目标字符对应的特征向量标记为+1,将其它字符对应的特征向量标记为-I;然后采用这些特征向量建立初始最小二乘向量机分类器;其中本实施例中初始最小二乘向量机分类器如下:
[0103] (3-1)最小二乘支持向量机分类器的优化问题为:
[0104]
Figure CN103488297AD00121
[0105] 其中/¾ = I(XpVi)It1为训练数据集,%eRd为一个训练样本特征向量,
>^{-1,+1}是训练样本特征向量Si对应的标签,L是训练样本特征向量的个数;S=Iie1, . . .,eJT为误差向量,Y
O为正则化项,I为单位矩阵,标量b e R为最小二乘支持向量机分类器的偏置,权值向量w e Rd。
[0106] (3-2)根据上述优化问题,得出优化问题的解,即初始最小二乘支持向量机分类器
为:
[0107]
Figure CN103488297AD00131
[0108] 定义最初最小二乘支持向量机分类器的隐含变量值为:
[0109]
Figure CN103488297AD00132
[0110]其中为向量S=[Sr··毛f的第i个元素;
[0111] K (X5Xi) = Xi χ,·» xei?£/为测试样本特征向量;
[0112]记Kij = Kdij) = Vij,i = \,...,L ^ i = ; Kij 为矩阵 K e Rlxl 的第 i 行第 j列元素,I e RLM为一个单位矩阵,向量I中所有元素都为1,即1=[1... 1]τ,其与h同维;
[0113] V, =[>>..>’/.]"是由训练数据集的标签组成的标签向量;
[0114] 则向量S以及标量S由下面式子求得:
[0115] Hl=K+/1I,
[0116]
Figure CN103488297AD00133
[0117]
Figure CN103488297AD00134
[0118] 权值向量w由下式给出:
[0119]
Figure CN103488297AD00135
[0120] 系统文字输入:
[0121] (a)首先系统转换为用户输入模式,用户通过注视界面中的字符输入其要输入的字符,计算机对用户的脑电信号数据进行采集。
[0122] ( b )将采集到的脑电信号进行低通滤波、平均和下采样处理后,提取每个字符的特征向量,形成称为块的数据集。
[0123] (C)计算当前块中每个字符特征向量对应于当前最小二乘支持向量机分类器的隐含变量值,将隐含变量值最大的特征向量对应的标签标记为+1,其它特征向量对应的标签标记为-1,作为它们的预测标签;本实施例块D中各特征向量对应的预测标签通过以下步骤得到:
[0124] (c-ί)根据当前最小二乘支持向量机分类器y(x)计算该分类器的隐含变量值
S(X);
[0125] 其中当前最小二乘支持向量机分类器y(x)为:
(N \
[0126] v(x) = sign + ,ί - I,..., N ;
V /=1 J[0127] 则对应当前最小二乘支持向量机分类器J(X)的隐含变量值S(X)为:
Figure CN103488297AD00141
[0129] 其中数据集
Figure CN103488297AD00142
为当前最小二乘支持向量机分类器y(x)对应训练数据集,N表示数据集Dn中特征向量的个数,Xi表示特征向量,Yi表示特征向量Xi对应的标签;当前最小二乘支持向量机分类器y(x)的模型矩阵为Hn,向量i ,-[αί°)..40)] 。
[0130] (c-2)根据当前最小二乘支持向量机分类器.l’(x)的隐含变量值计算当前块中每个特征向量对应于当前最小二乘支持向量机分类器的隐含变量值,然后从中选取出最大值,所述最大值为:
Figure CN103488297AD00143
[0132] 其中0 = 为步骤(b)得到的块的数据集,M表示块万中特征向量的个数,Xi
表示块中的特征向量为块中特征向量I对应于当前最小二乘支持向量机分类器的
隐含变量值。
[0133] (c-3)将块D中特征向量对应的标签:标记为+1,将块万中的其他特征向量
对应的标签
Figure CN103488297AD00144
M且j关P标记为-I,作为块P各特征向量的预测标签。
[0134] (d)根据各特征向量和各特征向量当前的预测标签对最小二乘支持向量机分类器进行在线更新;重新计算当前块中每个字符特征向量对应于更新后的最小二乘支持向量机分类器的隐含变量值,将隐含变量值最大的特征向量对应的标签标记为+1,其它特征向量对应的标签标记为-1,作为它们的预测标签;具体步骤如下:
[0135] ( d-ι)联合当前最小二乘支持向量机分类器对应训练数据集Dn、块数据集5及块数据集5中各特征向量的当前预测标签为增量数据集力
Figure CN103488297AD00145
,记增量数据
集乃中的标签组成的标签向量y⑺力:
Figure CN103488297AD00146
[0137] 其中W
Figure CN103488297AD00147
为步骤(c-3)中得到的块中各特征向量当前的预测标签。
[0138] (d_2)根据标签向量和增量数据集乃的增量模型矩阵Hn+m的逆Η=#得到更新后最小二乘支持向量机分类器y(x)(1)为:
Figure CN103488297AD00148
[0140]其中
Figure CN103488297AD00149
向量 I 中所有元素都为1,即1=[1...1]T,其与Vul同维数;
[0141] 其中,为增量数据集Div UD的增量模型矩阵HN+M的逆,根据对应训练数据集Dn的最小二乘支持向量机分类器模型矩阵Hn的逆矩阵H=得到:
Figure CN103488297AD00151
的第i行j列元素,Vm e Rmxm为:
Figure CN103488297AD00152
[0149] (d-3)对应更新后最小二乘支持向量机分类器的隐含变量值S(X)⑴为:
Figure CN103488297AD00153
[0151] 其中力向量a(1)的第i个元素,为向量a(1)的第N+j个元素;
`[0152] (d_4)重新计算当前块中每个字符特征向量对应于更新后的最小二乘支持向量机分类器的隐含变量值,从中选取出最大值,所述最大值办,P为:
[0153]
Figure CN103488297AD00154
[0154] 其中41)ΠΙ为当前块万中特征向量&对应于更新后最小二乘支持向量机分类器的隐含变量值
[0155] (d_5)将块5中特征向量&对应的标竺标记为+1,将块5中的其他特征向量
对应的标签J7T,j=l, . . .,M且j关q标记为-I,作为块万各特征向量的预测标签。
[0156] (e)判断最小二乘向量机分类器的更新次数是否达到Z次;
[0157] 若是,则进入步骤(g);
[0158] 若否,则进入步骤(f);
[0159] (f)检测块中各特征向量前后两次的预测标签是否对应相等;
[0160] 若是,则进入步骤(g);[0161] -,[0162] (g) +1input mëiiü[0163]

Claims (10)

1. 一种基于脑机接口的在线半监督文字输入系统,其特征在于:包括 脑电信号采集系统,用于采集用户脑电信号,并对采集到的脑电信号进行处理; 信号处理模块,用于将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量; 在线分类模块,用于根据信号处理模块提取的特征,对最小二乘支持向量机分类器进行在线更新并用其进行在线分类; 视觉刺激界面,用于诱发用户产生P300信号,并且在该界面上显示用户需要输入的字符,显示最小二乘支持向量机分类器预测的结果。
2.根据权利要求1所述的基于脑机接口的在线半监督文字输入系统,其特征在于,所述视觉刺激界面上总共包含有40个字符,以4行10列的矩阵形式显示在计算机的屏幕上展示给用户。
3.根据权利要求1所述的基于脑机接口的在线半监督文字输入系统,其特征在于,所述视觉刺激界面上包含有两个编辑框,其中一个编辑框中显示用户训练阶段所要输入的系统的字符;另一个编辑框用于反馈显示用户在输入模式下所输入的字符。
4. 一种基于脑机接口的在线半监督文字输入方法,其特征在于,包括系统初始化步骤、系统监督训练步骤和系统文字输入步骤: 系统初始化: 用户带上与计算机连接的电极帽,开启计算机屏幕的视觉刺激界面,在计算机屏幕视觉刺激界面上显示字符;其中每个字符按照随机顺序闪烁,设定在用户输入一个字符过程中,每个字符重复闪烁A次,相邻字符闪烁的时间间隔为C秒,相邻两个字符输入的时间间隔为B秒; 系统监督训练: (1)系统随机选取m个目标字符,并提示用户输入这m个目标字符,用户注视需要输入的目标字符;在用户注视目标字符期间,计算机对用户的脑电信号数据进行采集; (2)将采集的脑电信号进行低通滤波、次数平均和下采样处理,然后将电极帽所有通道的数据依次串接起来构成一个样本特征向量; (3)将目标字符对应的特征向量标记为+1,将其它字符对应的特征向量标记为-I ;然后采用这些特征向量及其对应标签的训练数据集建立初始最小二乘支持向量机分类器; 系统文字输入: (a)首先系统转换为用户输入模式,用户注视界面中其要输入的字符,计算机对用户的脑电信号数据进行采集; (b )将采集到的脑电信号进行低通滤波、平均和下采样处理后, 提取每个字符的特征向量,形成称为块的数据集; (c)计算当前块中每个字符特征向量对应于当前最小二乘支持向量机分类器的隐含变量值,将隐含变量值最大的特征向量对应的标签标记为+1,其它特征向量对应的标签标记为-1,作为它们的预测标签; (d)根据各特征向量和各特征向量当前的预测标签对最小二乘支持向量机分类器进行在线更新;重新计算当前块中每个字符特征向量对应于更新后的最小二乘支持向量机分类器的隐含变量值,将隐含变量值最大的特征向量对应的标签标记为+1,其它特征向量对应的标签标记为-1,作为它们的预测标签; Ce)判断最小二乘向量机分类器的更新次数是否达到Z次; 若是,则进入步骤(g); 若否,则进入步骤(f); Cf)检测块中各特征向量前后两次的预测标签是否对应相等; 若是,则进入步骤(g); 若否,则进入步骤(d)继续更新最小二乘支持向量机分类器; (g)停止更新,将预测标签为+1的特征向量对应的字符确定为输入字符,完成一个字符的输入;用户注视下一个要输入的字符,继续执行步骤(b)。
5.根据权利要求4所述的基于脑机接口的在线半监督文字输入方法,其特征在于,设定用户输入一个字符过程中,每个字符重复闪烁9次,相邻字符闪烁的时间间隔为25毫秒,相邻两个字符输入的时间间隔为3秒。
6.根据权利要求4所述的基于脑机接口的在线半监督文字输入方法,其特征在于,系统在训练阶段,所述步骤(I)中系统随机选取2~6个目标字符,并提示用户依次输入这2~6个目标字符;即所述m为2~6。
7.根据权利要求4所述的基于脑机接口的在线半监督文字输入方法,其特征在于,所述步骤(3)最初最小二乘支持向量机分类器建立过程如下: (3-1)最小二乘支持向量机分类器的优化问题为:
Figure CN103488297AC00031
; 其中D。= {«9,.)};^为训练数据集,XiERd为一个训练样本特征向量,J;e{-l,+n是训练样本特征向量Si对应的标签,L是训练样本特征向量的个数;e=[ei,eL]T为误差向量,Y > O为正则化项,I为单位矩阵,标量b e R为最小二乘支持向量机分类器的偏置,权值向量w e Rd ; (3-2)根据步骤(3-1)中最小二乘支持向量机分类器优化问题,得出优化问题的解,即初始最小二乘支持向量机分类器为:
Figure CN103488297AC00032
最初最小二乘支持向量机分类器的隐含变量值为:
Figure CN103488297AC00033
其中为向量S = 的第i个元素;
Figure CN103488297AC00034
'为测试样本特征向量; 记
Figure CN103488297AC00035
为矩阵 K GRlxl 的第 i 行第 j 列元素,I e Rlxl为一个单位矩阵,向量I中所有元素都为1,即1=[1... 1]τ,其与K同维;
Figure CN103488297AC00036
是由训练数据集的标签组成的标签向量;则向量S以及标量ί由下面式子求得:
Figure CN103488297AC00041
权值向量w由下式给出:
Figure CN103488297AC00042
8.根据权利要求7所述的基于脑机接口的在线半监督文字输入方法,其特征在于,系统文字输入阶段,所述步骤(c)中,块D中各特征向量对应的预测标签通过以下步骤得到: (c-Ι)根据当前最小二乘支持向量机分类器y(x)计算该分类器的隐含变量值S(x); 其中当前最小二乘支持向量机分类器y OO为:
Figure CN103488297AC00043
则对应当前最小二乘支持向量机分类器J<x)的隐含变量值X(X)为:
Figure CN103488297AC00044
其中数据集仏={(U) 为当前最小二乘支持向量机分类器K巧对应训练数据集,N表示数据集Dn中特征向量的个数,xr表示特征向量,Yi表示特征向量Xi对应的标签;当前最小二乘支持向量机分类器的模型矩阵为Hn,向量
Figure CN103488297AC00045
(c-2)根据当前最小二乘支持向量机分类器y(x)的隐含变量值S(X)计算当前块中每个特征向量对应于当前最小二乘支持向量机分类器的隐含变量值,然后从中选取出最大值,所述最大值为:
Figure CN103488297AC00046
其中6 = ^}&为步骤(b)得到的块的数据集,M表示块5中特征向量的个数,&表示块中的特征向量,4χ·)(0)为块中特征向量&对应于当前最小二乘支持向量机分类器的隐含变量值;(c-3)将块万中特征向量&对应的标签yr标记为+1,将块D中的其他特征向量对应的标
Figure CN103488297AC00047
标记为-1,作为块万各特征向量的预测标签。
9.根据权利要求8所述的基于脑机接口的在线半监督文字输入方法,其特征在于,所述步骤(d)中最小二乘支持向量机分类器更新过程如下:(d-Ι)联合当前最小二乘支持向量机分类器对应训练数据集Dn、块数据集D及块数据集3中各特征向量的当前预测标签为增量数据集记增量数据集D中的标签组成的标签向量为:
Figure CN103488297AC00051
其中炉,#...#:为步骤(c-3)中得到的块中各特征向量当前的预测标签; (d-2)根据标签向量严和增量数据集色的增量模型矩阵Hn+m的逆Ha^m得到更新后最小二乘支持向量机分类器y(x)(1)为:
Figure CN103488297AC00052
其中 6(1) =1THUtfi(IfHU)-1,a« = H^+Af(y(0)-0(1)l)i 向量 I 中所有元素都为 1,即1=[1...1]τ,其与y(">同维数; 其中,
Figure CN103488297AC00053
为增量数据集D、UD的增量模型矩阵Hn+m的逆,根据对应训练数据集Dn的最小二乘支持向量机分类器模型矩阵Hn的逆矩阵H彳」到:
Figure CN103488297AC00054
其中
Figure CN103488297AC00055
其中
Figure CN103488297AC00056
J 为矩阵 Um e Rm的第i行j列元素Vm e Rmxm为:
Figure CN103488297AC00057
10.根据权利要求4所述的基于脑机接口的在线半监督文字输入方法,其特征在于,所述步骤(d)中的Z为3。
CN201310461601.8A 2013-09-30 2013-09-30 一种基于脑机接口的在线半监督文字输入系统及方法 Active CN103488297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310461601.8A CN103488297B (zh) 2013-09-30 2013-09-30 一种基于脑机接口的在线半监督文字输入系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310461601.8A CN103488297B (zh) 2013-09-30 2013-09-30 一种基于脑机接口的在线半监督文字输入系统及方法

Publications (2)

Publication Number Publication Date
CN103488297A true CN103488297A (zh) 2014-01-01
CN103488297B CN103488297B (zh) 2016-04-13

Family

ID=49828585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310461601.8A Active CN103488297B (zh) 2013-09-30 2013-09-30 一种基于脑机接口的在线半监督文字输入系统及方法

Country Status (1)

Country Link
CN (1) CN103488297B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677043A (zh) * 2016-02-26 2016-06-15 福州大学 运动想象脑机接口的两阶段自适应训练方法
CN106778865A (zh) * 2016-12-13 2017-05-31 重庆邮电大学 一种多域特征下的半监督脑电信号睡眠分期方法
CN106983509A (zh) * 2017-04-24 2017-07-28 华南理工大学 一种具有实时打标功能的便携式脑电采集系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085744A1 (en) * 2003-10-20 2005-04-21 Stmicroelectronics S.R.I. Man-machine interfaces system and method, for instance applications in the area of rehabilitation
JP2008538041A (ja) * 2005-04-14 2008-10-02 本田技研工業株式会社 局所的近傍点ラプラス固有マップに基づくデータ分類の一部学習済学習機械
JP2009075737A (ja) * 2007-09-19 2009-04-09 Nec Corp 半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラム
EP2180436A1 (fr) * 2008-10-23 2010-04-28 Commissariat A L'energie Atomique Système de procédé d'apprentissage semi-supervisé pour la classification de données à partir de paramètres discriminants
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN101576772B (zh) * 2009-05-14 2011-07-27 天津工程师范学院 基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法
CN102184019A (zh) * 2011-05-16 2011-09-14 天津大学 基于隐性注意的视听联合刺激脑-机接口方法
CN102200833A (zh) * 2011-05-13 2011-09-28 天津大学 一种Speller BCI系统及其控制方法
WO2011150407A2 (en) * 2010-05-28 2011-12-01 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
CN102508545A (zh) * 2011-10-24 2012-06-20 天津大学 一种视觉P300-Speller脑-机接口方法
US20130050503A1 (en) * 2010-04-30 2013-02-28 Feng Xu Method and apparatus for measuring video quality using at least one semi-supervised learning regressor for mean observer score prediction
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法
CN103150023A (zh) * 2013-04-01 2013-06-12 北京理工大学 一种基于脑机接口的光标控制系统及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085744A1 (en) * 2003-10-20 2005-04-21 Stmicroelectronics S.R.I. Man-machine interfaces system and method, for instance applications in the area of rehabilitation
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
JP2008538041A (ja) * 2005-04-14 2008-10-02 本田技研工業株式会社 局所的近傍点ラプラス固有マップに基づくデータ分類の一部学習済学習機械
JP2009075737A (ja) * 2007-09-19 2009-04-09 Nec Corp 半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラム
EP2180436A1 (fr) * 2008-10-23 2010-04-28 Commissariat A L'energie Atomique Système de procédé d'apprentissage semi-supervisé pour la classification de données à partir de paramètres discriminants
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN101576772B (zh) * 2009-05-14 2011-07-27 天津工程师范学院 基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法
US20130050503A1 (en) * 2010-04-30 2013-02-28 Feng Xu Method and apparatus for measuring video quality using at least one semi-supervised learning regressor for mean observer score prediction
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
WO2011150407A2 (en) * 2010-05-28 2011-12-01 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
CN102200833A (zh) * 2011-05-13 2011-09-28 天津大学 一种Speller BCI系统及其控制方法
CN102184019A (zh) * 2011-05-16 2011-09-14 天津大学 基于隐性注意的视听联合刺激脑-机接口方法
CN102508545A (zh) * 2011-10-24 2012-06-20 天津大学 一种视觉P300-Speller脑-机接口方法
CN103150023A (zh) * 2013-04-01 2013-06-12 北京理工大学 一种基于脑机接口的光标控制系统及方法
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677043A (zh) * 2016-02-26 2016-06-15 福州大学 运动想象脑机接口的两阶段自适应训练方法
CN105677043B (zh) * 2016-02-26 2018-12-25 福州大学 运动想象脑机接口的两阶段自适应训练方法
CN106778865A (zh) * 2016-12-13 2017-05-31 重庆邮电大学 一种多域特征下的半监督脑电信号睡眠分期方法
CN106778865B (zh) * 2016-12-13 2019-10-01 重庆邮电大学 一种多域特征下的半监督脑电信号睡眠分期方法
CN106983509A (zh) * 2017-04-24 2017-07-28 华南理工大学 一种具有实时打标功能的便携式脑电采集系统

Also Published As

Publication number Publication date
CN103488297B (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN104239858B (zh) 一种人脸特征验证的方法和装置
CN101794396B (zh) 基于迁移网络学习的遥感图像目标识别系统及方法
CN102279358B (zh) 一种基于mcskpca的神经网络模拟电路故障诊断方法
CN108304917A (zh) 一种基于lstm网络的p300信号检测方法
CN108491077B (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN106803081A (zh) 一种基于多分类器集成的脑电分类方法
CN106292705A (zh) 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法
CN102521505A (zh) 用于控制意图识别的脑电和眼电信号决策融合方法
CN103294199B (zh) 一种基于脸部肌音信号的无声信息识别系统
CN107822623A (zh) 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN107256392A (zh) 一种联合图像、语音的全面情绪识别方法
CN103488297A (zh) 一种基于脑机接口的在线半监督文字输入系统及方法
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN104799852A (zh) 基于超限学习机自编码的运动想象脑电信号特征的提取方法
CN107122050B (zh) 基于csfl-gdbn的稳态运动视觉诱发电位脑-机接口方法
CN106200984A (zh) 运动想象脑‑机接口模型建模方法
CN104850225B (zh) 一种基于多层次融合的活动识别方法
CN104035563B (zh) 基于w‑pca和无监督ghsom的脑电信号识别方法
CN108629326A (zh) 目标体的动作行为识别方法及装置
CN110070105A (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN107168524A (zh) 一种基于深度学习混合模型的稳态视觉诱发电位分类方法
CN110490242A (zh) 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110353673A (zh) 一种基于标准互信息的脑电通道选择方法
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN106569604A (zh) 视听双模态语义匹配和语义失配协同刺激脑机接口范式

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model