CN103995582A - 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 - Google Patents

一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 Download PDF

Info

Publication number
CN103995582A
CN103995582A CN201410171291.0A CN201410171291A CN103995582A CN 103995582 A CN103995582 A CN 103995582A CN 201410171291 A CN201410171291 A CN 201410171291A CN 103995582 A CN103995582 A CN 103995582A
Authority
CN
China
Prior art keywords
character
input
brain
led
character input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410171291.0A
Other languages
English (en)
Other versions
CN103995582B (zh
Inventor
魏庆国
卢宗武
李茂全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Chiba Color Printing Co ltd
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201410171291.0A priority Critical patent/CN103995582B/zh
Publication of CN103995582A publication Critical patent/CN103995582A/zh
Application granted granted Critical
Publication of CN103995582B publication Critical patent/CN103995582B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一个基于稳态视觉诱发电位脑机接口的字符输入方法及系统,将可输入的字符分为N1个字符组和一个字符与功能混合组,N1个字符组中排列顺序相同的字符使用同一个按键进行选择;系统包括LED视觉刺激器、脑电采集平台、PC实时处理系统和字符输入接口;视觉刺激器用于产生不同频率的视觉刺激;脑电采集平台用于实时采集脑电信号,经放大、滤波与模数转换后输入PC计算机;PC实时处理系统用于对接收的脑电信号进行实时处理,检测SSVEP信号频率,识别该频率对应LED,并将其代表的命令传送到字符输入接口;字符输入接口根据命令的类型做相应的处理,并将欲输入的字符在计算机屏幕显示区域显示。本发明输入速度快,准确率高,稳健性好,不需要用户训练。

Description

一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统
技术领域
本发明涉及脑科学技术和计算机技术,更具体地说,本发明涉及脑机接口技术与字符输入技术。
背景技术
人脑通过神经肌肉通道与外界通信或控制外部环境,而许多疾病可能破坏这些神经肌肉通道。例如,肌肉萎缩性侧索硬化、脑干中风、脊髓损伤、脑瘫、帕金森氏、多种硬化病以及其他许多疾病会损害控制肌肉的神经通道或损害肌肉本身。那些受到这些疾病严重影响的人可能会失去自主的肌肉控制,因而产生运动功能障碍,以至于不能与外界进行通信或控制外部设备。
脑机接口(Brain-Computer Interface,BCI)监测用户的脑活动,解读用户的意图,并将用户的意图转换为外部命令。作为一种新的、非肌肉的通信通道,BCI能够使人直接通过大脑来表达思想或操纵设备,而不需要借助语言或肢体动作。对于严重的运动残疾患者,BCI能够将他们的意图传送到外部装置,比如计算机、家用电器、护理设备以及神经假体等,从而改进他们的生活质量。
传统的字符输入方法,无论是基于键盘或鼠标,还是基于手写或手势,都需要健全的手指才能实现。对于那些遭受运动功能障碍以至于双上肢残疾的患者,这些方法都无能为力。为了解放双手,实现不依赖于人手的字符输入,人们发明了基于语音技术、视线跟踪技术以及脑机接口技术的字符输入方法。语音技术的局限是易受环境噪声的影响,而视线跟踪技术的缺点是视线点定位精度低。另外,视线跟踪系统无法对用户操作时有意和无意的目标选择活动进行有效的区分,限制了这类系统的实际应用。
不同的脑电(Electroencephalography,EEG)信号分量,例如慢皮层电位、运动想象产生的mu/beta节律、事件相关P300电位、以及视觉诱发电位(Visual Evoked Potential,VEP),都可以用作BCI的特征信号。其中,基于P300电位的BCI能够提供足够多的控制命令,实现一个控制命令输入一个字符,因而大多数现有的脑拼写器(MentalSpeller)使用P300电位作为BCI的特征信号。然而,基于P300电位的BCI存在两个固有的缺点:一是当需输入的字符数较多时,输入一个字符所需要的时间较长,导致低的字符输入速度;二是缺乏时间上和用户之间的稳健性,导致低的字符输入正确率。其中第一个缺点可通过其他技术进行弥补,而第二个缺点是难以克服的,使基于P300的BCI在实际应用中受到限制。在这些BCI实现方法中,基于VEP的BCI由于具有如下四个优点,因而获得了越来越多的注意和重视:1)高的信息传输率;2)几乎不需要用户训练;3)低的用户变化率;4)易于使用。
VEP反映了大脑的视觉信息处理机制,是人眼对闪光刺激的一种响应。按照重复刺激的频率不同,VEP可分为暂态VEP与稳态VEP。当视觉刺激的重复频率较低时,两次连续刺激引起的响应不会产生交迭,每次刺激产生的响应独立于以前的刺激,这种响应称为暂态VEP(Transient VEP,TVEP);当视觉刺激的重复频率高于6Hz时,连续几次刺激诱发的响应会迭加在一起,使大脑皮层神经元发放与刺激频率同步,在枕区和顶区脑电活动的节律明显增强,形成一种稳定的响应,称为稳态VEP(Steady-StateVEP,SSVEP)。SSVEP具有与视觉刺激频率相同的基波频率及其谐波,其基波频率可用特定的信号处理算法进行检测。
SSVEP响应的幅度和相位重复视觉模式的频率、强度和结构,这种视觉模式的重复既可以由计算机LCD显示器产生,也可以由独立于计算机的LED显示器产生。由于受到屏幕刷新率和谐波频率的制约,计算机LCD显示器最多只能产生5个基于频率编码的刺激频率(即控制命令)。为了增加可输入字符的数目,基于LCD的字符输入装置要求一个自适应的策略创建一个图形用户接口(Graphic User Interface,GUI),按照这个接口结合几个命令输入一个字符,导致低的字符输入速度。
相比而言,一个独立的LED视觉刺激器在结构上没有限制,并能提供比LCD显示器更强的视觉刺激。理论上,LED视觉刺激器能够提供足够的刺激目标,实现一个命令输入一个字符;实际上,在一个面积受限的LED面板上,太多的刺激目标(即LED显示器)导致相邻刺激目标之间的间隔变小,引起刺激光源之间的相互干扰,严重影响刺激频率的识别,从而降低字符输入的正确率。因此,LED面板上刺激目标的多少应仔细考虑,刺激目标的数目应在输入速度与精度上取得平衡。
目前存在的利用BCI实现字符输入的主要技术是基于P300的BCI技术、基于视线跟踪和P300的技术,以及基于SSVEP和P300的混合BCI技术。例如,中国专利“基于P300脑电电位的中文输入BCI系统(200710164418.6)”,将汉字按五笔字型拆分为5个基本笔划,通过检测P300电位输入每个汉字所需笔划,实现中文文字输入;中国专利“一种基于视线跟踪和P300脑电电位的字符输入装置(200910080852.5)”,以视线点为中心限定需输入字符所在的区域,在限定区域通过检测P300电位实现字符的输入;中国专利“采用脑电时频成分双重定位范式的快速字符输入方法(201210013087.7)”,将可输入的字符按功能分为4个区域,通过检测SSVEP电位选择字符所在的分区,在选定的区域内通过检测P300电位进行字符输入。这些技术克服了基于P300的BCI的第一个缺点,即字符输入速度的问题,而没有克服其第二个缺点,即在时间上和用户之间的稳健性问题。
发明内容
本发明的目的是提供一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统,其特点是输入速度快、输入正确率高、系统稳健性好、不需要用户训练。
本发明是通过以下技术方案实现的。
本发明所述的基于稳态视觉诱发电位脑机接口的字符输入方法,其特征在于,采用一个两步的判决树字符输入规则,以便使用少量的LED按键实现较多字符的输入,并且输入一个字符或功能命令最多需要两个选择。
所述的两步判决树输入规则是指,将可输入的K个字符和功能命令分成K1个字符组和一个字符与功能混合组;每一个字符组包括K2个字符命令,而混合组包括K3个字符与功能命令;K1个字符组构成一个主菜单,其中每个字符组可用一个主菜单按键进行选择;每个字符组中的K2字符构成一个子菜单,K1个子菜单中排列顺序相同的字符,可用同一个顺序号按键进行选择;字符与功能混合组构成一个独立菜单,独立菜单中的每个字符或功能命令可用一个按键进行选择。这样,K=K1×K2+K3个字符和功能可用K1+K2+K3个按键进行选择,实现了用较少的按键输入较多字符的目的。
所述的字符输入方法是:
若要输入的字符与前一个已输入的字符不在同一个子菜单,则用户首先要选择该字符所在字符组的主菜单按键,再按照该字符所在字符组的顺序选择顺序号按键;
若要输入的字符与前一个已输入的字符在同一个子菜单,则用户无需选择该字符所在字符组的主菜单按键,直接按照该字符所在字符组的顺序选择顺序号按键;
若要输入独立菜单中的字符和功能命令,分别用一个按键直接输入。
本发明所述的基于稳态视觉诱发电位脑机接口的字符输入系统,包括一个LED视觉刺激器,一个脑电采集平台,一个PC实时处理系统和一个字符输入接口。其中,视觉刺激器用于产生不同频率的视觉刺激;脑电采集平台用于实时采集EEG信号,经过放大、滤波与模数转换后,通过数据线输入PC计算机;PC实时处理系统用于对接收的EEG信号进行实时处理,检测SSVEP信号的频率,识别该频率对应的LED,并将其代表的命令传送到字符输入接口;字符输入接口用于根据命令的类型做相应的处理,并将欲输入的字符在计算机屏幕显示区域显示。
1、所述的LED视觉刺激器由刺激器面板与刺激器控制电路组成,用于产生不同频率的视觉刺激。
其中,所述的刺激器面板,用于模拟一个由N个按键组成的字符输入键盘。刺激器面板由N个发白色光的LED显示器组成,排列成N1×N2的刺激矩阵。每个LED为2cm×2cm的矩形方块。为了避免光源产生相互干扰,相邻LED之间应有足够的距离。本发明两个相邻LED的水平和垂直距离均为2.5cm。每个LED显示器内部包含6个发光二极管,组成由3个发光二极管串连的双列结构。
其中,所述的刺激器控制电路,包括刺激信号产生电路和LED电流驱动电路;刺激信号产生电路用于产生N路不同频率的方波信号,LED电流驱动电路用于给每个LED显示器施加足够的驱动电流,以保证LED具有足够的发光强度。
刺激信号产生电路由CPLD芯片及其外围电路构成,N路方波信号由CPLD芯片I/O端口输出。它们的工作模式由CPLD外围的4个拨码开关来设定。每个LED的闪光频率可以通过程序设定和改变,频率范围为6Hz~20Hz,频率之间的最小间隔为0.2Hz。
由CPLD芯片I/O端口输出的N路方波信号,输送至N路LED电流驱动电路,施加电流驱动后的方波信号用于控制LED显示器发光。N路方波信号以及电流驱动电路相互独立、互不干扰。
2、所述脑电采集平台包括电极帽与脑电放大器,电极帽用于采集脑电信号,脑电放大器用于对采集的脑电信号进行滤波、放大与模数转换。电极帽包括由7个电极组成EEG信号记录通道,位于大脑枕域。按照国际10/20系统放置标准,7个信号电极分别位于O1,O2,Pz,P3,P4,P7,P8。地电极位于Fz,参考电极位于左耳垂;脑电放大器放大倍数为20000,滤波频带为0.01~30Hz,模数转换的抽样率为1024Hz。
3、所述PC实时处理系统执行系统初始化、视觉刺激器启动、数据采集控制、数据接收与保存、数字信号处理、以及控制命令输出等操作。PC实时处理系统具有两个主要功能:一是对整个系统的工作状态进行控制,二是对脑电数据进行实时处理,识别用户的操作命令。系统控制软件基于C++平台开发。数字信号处理程序由Matlab语言编写,通过应用程序接口(Application Program Interface,API)由系统控制程序调用。脑电放大器与计算机之间的数据传输遵循TCP/IP协议。
数字信号处理是指使用专门的算法对脑电信号进行实时处理,检测SSVEP信号的频率,识别该频率对应的用户命令。本发明提供的字符输入装置使用典型相关分析(Canonical Correlation Analysis,CCA)对脑电信号中SSVEP的频率进行检测。CCA是一种多变量统计方法,用于两个变量存在某种隐含相关的情况。在该字符输入装置中,CCA方法用于描述刺激信号与记录的脑电信号之间的相关性。
4、所述字符输入接口接收PC实时处理系统发送的命令,根据命令的类型进行相应的处理,包括以下三种情况:
1)如果接收的是主菜单命令,则等待接收子菜单命令;
2)如果接收的是子菜单命令,则将其与前一个主菜单命令进行组合,确定用户想要输入的字符,并将该字符在计算机屏幕显示区显示;
3)如果接收的是独立菜单命令,则需要判断是字符键还是功能键。若是字符键,则将其对应的字符在计算机屏幕显示区显示;若是功能键,则首先需要判别是何种功能键,然后执行相应的功能操作。
本发明的基本思想是,在采用中等规模刺激目标的条件下,使用一个两步的判决树字符输入策略构造字符输入接口,以便输入一个字符最多需要两个命令。由于SSVEP电位的稳定性好,这种字符输入系统在取得高的输入速度和正确率的前提下,具有高的稳健性,而且不需要用户训练,使该字符输入系统可以作为一个实际应用系统,服务于广大的运动残疾患者。
与现有技术相比,本发明具有以下有益的效果:
1)本发明提供的字符输入系统以SSVEP信号作为BCI系统的输入信号,具有高的字符输入准确率、以及在时间上和用户之间的高稳健性;
2)本发明提供的字符输入系统输入一个字符最多需要两个命令,字符输入速度快;
3)本发明提供的字符输入系统工作稳定,用户不需要训练就能使用。
附图说明
图1是本发明基于稳态视觉诱发电位脑机接口的字符输入系统原理框图。
图2是本发明两步判决树字符输入规则示意图。
图3是本发明LED视觉刺激器面板示意图。
图4是本发明LED视觉刺激器控制信号产生电路原理图。
图5是本发明LED视觉刺激器电流驱动电路原理图。
图6是本发明字符输入系统脑电信号记录电极位置分布图。
图7是本发明字符输入系统PC实时处理系统程序流程图。
图8是本发明字符输入系统使用CCA检测SSVEP频率的方法。X为多通道脑电信号,为刺激频率fk的参考信号。
图9是本发明字符输入系统字符输入接口程序流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例进一步详细说明。应当理解的是,本发明的应用不限于下述的举例,对本领域的专业人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都属于本发明所附权利要求的保护范围。
如图1所示,基于稳态视觉诱发电位脑机接口的字符输入系统包括一个LED视觉刺激器,一个脑电采集平台,一个PC实时处理系统和一个字符输入接口。其中,视觉刺激器由16个LED显示器组成,它们以不同的频率同时发光。当用户注视某个LED时,在大脑枕部区域就会产生SSVEP,其基波频率与该LED的发光频率相同;脑电采集平台实时采集EEG信号,经过放大、滤波与模数转换后,通过数据线输入PC计算机;PC实时处理系统对接收的EEG信号进行实时处理,检测SSVEP信号的频率,识别该频率对应的LED,并将其代表的命令传送到字符输入接口。字符输入接口根据命令的类型做相应的处理,并将欲输入的字符在计算机屏幕显示区域显示。
如图2所示,可输入的字符和功能选择为35个,包括26个英文字母A-Z与1个空格字符5个常用的英文标点符号:逗号(,)、句号(.)、问号(?)、引号(”)与冒号(:),以及3个功能键:←(退格),(回车)与CL(大写锁定)。为了减少视觉刺激器上LED按键的数目,字符输入采用一个两步的判决树规则。将这35个选择分成5个字符组和1个字符与功能混合组。每一个字符组包括6个字符选择,而混合组包括5个字符与功能选择。这5个字符组分别用标签A-F、G-L、M-R、S-X、Y-:表示,它们构成一个主菜单,排列在图中第一行。每个字符组可用一个LED按键进行选择,对其中的字符选择起开关作用;每个字符组中的6个字符构成一个子菜单,5个子菜单中排列顺序相同的字符,可用同一个按键进行选择;字符与功能混合组构成一个独立菜单,每个字符或功能使用一个按键进行选择。因此,这35个字符和功能命令可用5+6+5=16个按键进行选择,从而大大减少了刺激器面板上LED的数目。
如图3所示,每个矩形方块代表一个LED显示器,16个LED分布在视觉刺激器面板上,组成了一个4×4的刺激矩阵。每个方块中的字符为该LED按键的标签。标签为A-F、G-L、M-R、S-X、Y-:的5个LED按键为主菜单按键。每个主菜单按键下面显示了其对应子菜单的6个字符,以方便用户选择;5个子菜单中排列顺序相同的字符,可用同一个按键进行选择。因此,每个子菜单中的6个字符按照排列顺序可分别使用标签为1、2、3、4、5、6的LED按键进行选择;标签为.、←、CL的LED按键分别用于选择图2独立菜单中的5个字符和功能命令。
按照这种两步的判决树输入规则,要选择一个子菜单中的字符,一般要先选择其对应的主菜单键。如果要选择的一个或连续几个字符与前一个已选的字符属于同一个子菜单,则可在子菜单中直接选择这个字符或连续选择几个字符,无需经过主菜单键选择。例如,当用户想要输入单词‘bad’时,由于这个单词中的三个字母都在图2的第一个子菜单中,他只需要在输入字母‘b’之前选择主菜单按键‘A-F’一次,然后连续注视标签为2、1、4的LED按键即可。因此,这种两步的判决树输入方法,在很多情况下减少输入步骤,缩短了字符输入的时间。与独立菜单对应的5个按键用于快捷操作,可用一个按键直接进行选择。因此,本发明输入一个字符最多需要两个命令,具有较快的输入速度。
如图4、图5所示,刺激器控制电路由LED调制信号产生电路与LED电流驱动电路组成。图4LED调制信号产生电路由CPLD芯片EMP1270T144及其外围电路构成,产生16路调制深度为1/2的方波信号,由I/O端口S1~S16输出。端口CLK0(引脚18)与晶体振荡器LTC6905-80相连,用于产生48MHz的方波信号,经过分频可产生所需要的LED调制信号。LED的闪光频率可以通过程序设定和改变,频率范围为6Hz~20Hz,频率之间的最小间隔为0.2Hz。拨码开关SW1~SW4可用于设定16路方波信号的工作模式。方波调制信号S1~S16分别输出至一路电流驱动电路。图5给出了一路电流驱动电路原理图。经电流驱动后的方波信号,控制16个LED以不同的频率和不同的时序模式闪光,并确保具有足够的发光强度。16路电流驱动电路相互独立、互不干扰。
如图6所示,电极帽用于采集脑电信号,位于枕部区域的7个电极作为脑电信号记录通道,电极按照国际10/20系统放置,7个信号电极位置分别为O1,O2,Pz,P3,P4,P7,P8,地电极位于Fz,而参考电极位于左耳垂。为保证电极与头皮接触良好,电极插孔中注入导电特性良好的导电胶,电阻在5千欧以下。
受试者通过注视特定的LED来表达操作意图,相应的脑电信号经电极帽采集,再经脑电放大器放大、滤波和模数转换后,传输到PC实时处理系统。脑电放大器的放大倍数为20000倍,滤波频带为0.01~30Hz,模数转换的抽样率为1024Hz。
如图7所示,PC实时处理系统在计算机中通过软件来实现,其处理步骤依次为系统初始化、视觉刺激器启动、数据采集控制、数据接收与保存、数字信号处理以及控制命令输出。PC实时处理系统具有两个主要功能:一是对整个系统的工作状态进行控制,二是对脑电数据进行实时处理,识别用户的操作命令。系统控制软件基于C++平台开发。数字信号处理程序由Matlab语言编写,通过应用程序接口(API)由系统控制程序调用。脑电放大器与计算机之间的数据传输遵循TCP/IP协议。
数字信号处理是指使用典型相关分析(Canonical Correlation Analysis,CCA)对数字化的脑电信号进行实时处理,检测SSVEP信号的频率,识别该频率对应的LED显示器及其代表的用户命令。
用于实时处理的脑电数据长度为2秒,移动步长为0.5秒。为了改进目标识别的可靠性,只有在连续两次检测到同一刺激频率时,SSVEP频率识别才有效。
如图8所示,使用CCA算法识别SSVEP信号的频率的具体步骤如下:
1)确定参考信号:假定存在刺激频率分别为f1,f2,…,fK的K个目标。X与Yf表示两个多维的随机变量,其中X为Nt秒长的多通道脑电信号;Yf表示与X长度相同的参考信号。该参考信号是一个由刺激频率f及其谐波的正弦和余弦组成的列矢量
Yf=(sin(2πft),cos(2πft),…,sin(2πNhft),cos(2πNhft))T   (1)
式中Nh是谐波的数目,在本实施例中Nh=3。
2)对所有刺激频率计算CCA系数:多通道脑电信号X与参考信号之一作为CCA算法的输入,对这个LED视觉刺激器的每个刺激频率计算CCA系数。
考虑一对线性结合x=XTWx与y=YTWy。CCA的作用是找到权矢量Wx与Wy,使x与y之间的相关最大化。换句话说,下面的优化问题(2)可在两个约束条件(3)与(4)下求解
max W x , W y ρ ( x , y ) = E [ x T y ] E [ x T x ] E [ y T y ] = E [ W x T XY T W y ] E [ W x T XX T W x ] E [ W y T YY T W y ] - - - ( 2 )
E [ xx T ] = E [ W x T XX T W x ] = 1 - - - ( 3 )
E [ yy T ] = E [ W y T XX T W y ] = 1 - - - ( 4 )
3)确定用户命令:与Wx和Wy对应的最大值ρ为最大典型相关。X和Y分别在Wx和Wy上的投影,即x和y,被称为典型变量。输出的典型相关ρk可用于SSVEP频率识别。具有最大系数ρ的频率被判决为用户的命令C,可用公式表示如下
C = max k ρ k , k = 1,2 , · · · , K - - - ( 5 )
式中ρk是脑电信号在刺激频率fk的CCA系数,K是刺激目标的数目。
如图9所示,字符输入接口在计算机中由软件实现,用于接收PC实时处理系统发送的命令,并根据命令的类型进行相应的处理,包括下面三种情况:
1)如果接收的是主菜单命令,则等待接收子菜单命令;
2)如果接收的是子菜单命令,则结合主菜单命令确定用户想要输入的字符,并将该字符在计算机屏幕显示区显示;
3)如果接收的是独立菜单命令,则需要判断是字符键还是功能键。若是字符键,则将其对应的字符在计算机屏幕显示区显示;若是功能键,则首先需要判别是何种功能键,然后执行如下三种功能操作之一:
①若是退格键(←),则执行删除最后输入的字符操作;
②若是回车键则执行输入一个新段落的换行操作;
③若是大写锁定键(CL),则执行转换到输入大写字母的操作。
字符输入准确率和字符输入速度是评价一个字符输入系统的两个主要技术指标。为了评价本发明基于稳态视觉诱发电位脑机接口的字符输入系统的性能,七个受试者参加了一个基于本实施例的输入英文字符、单词和句子的实验。这七个受试者都成功地完成了这个测试实验,他们平均的字符输入准确率与字符输入速度分别为95.8%与7.0字符/分钟。这个实验结果表明,该系统与基于脑机接口的同类系统相比具有高的性能。

Claims (8)

1.一种基于稳态视觉诱发电位脑机接口的字符输入方法,其特征是采用两步的判决树字符输入规则完成字符输入;
所述的两步判决树输入规则是将可输入的K个字符和功能命令分成K1个字符组和一个字符与功能混合组;每一个字符组包括K2个字符命令,而混合组包括K3个字符与功能命令;K1个字符组构成一个主菜单,其中每个字符组可用一个主菜单按键进行选择;每个字符组中的K2字符构成一个子菜单,K1个子菜单中排列顺序相同的字符,可用同一个顺序号按键进行选择;字符与功能混合组构成一个独立菜单,独立菜单中的每个字符或功能命令可用一个按键进行选择;
字符输入的过程是:
若要输入的字符与前一个已输入的字符不在同一个子菜单,则用户首先选择该字符所在字符组的主菜单按键,再按照该字符所在字符组的顺序选择顺序号按键;
若要输入的字符与前一个已输入的字符在同一个子菜单,则用户无需选择该字符所在字符组的主菜单按键,直接按照该字符所在字符组的顺序选择顺序号按键;
独立菜单中的字符和功能命令,作为快捷命令分别用一个按键直接输入。
2.一种权利要求1所述的基于稳态视觉诱发电位脑机接口的字符输入方法所实现的系统,其特征是,包括一个LED视觉刺激器,一个脑电采集平台,一个PC实时处理系统和一个字符输入接口;其中,所述的LED视觉刺激器,用于产生不同频率的视觉刺激;所述的脑电采集平台,用于实时采集EEG信号,经过放大、滤波与模数转换后,通过数据线输入PC计算机;所述的PC实时处理系统,用于对接收的EEG信号进行实时处理,检测SSVEP信号的频率,识别该频率对应的LED,并将其代表的命令传送到字符输入接口;所述的字符输入接口,用于根据命令的类型做相应的处理,并将欲输入的字符在计算机屏幕显示区域显示。
3.根据权利要求2所述的一种基于稳态视觉诱发电位脑机接口的字符输入系统,其特征是所述的LED视觉刺激器包括刺激器面板与刺激器控制电路;
其中,所述的刺激器面板,用于模拟一个由N个按键组成的字符输入键盘;
其中,所述的刺激器控制电路,用于产生N路不同频率、调制深度为1/2的方波信号,控制N个LED以不同的频率和不同的时序闪光。
4.根据权利要求2所述的一种基于稳态视觉诱发电位脑机接口的字符输入系统,其特征是所述的脑电采集平台包括电极帽和脑电放大器;
其中,所述的电极帽,用于采集头皮脑电信号;包括由7个电极组成EEG信号记录通道,位于大脑枕部区域;按照国际10/20系统放置标准,7个信号电极分别位于O1,O2,Pz,P3,P4,P7,P8,一个地电极位于Fz,一个参考电极位于左耳垂;
其中,所述的脑电放大器,用于对采集的脑电信号进行滤波、放大与模数转换。
5.根据权利要求2所述的一种基于稳态视觉诱发电位脑机接口的字符输入系统,其特征是所述的PC实时处理系统包括对系统工作状态进行实时控制和对脑电数据进行实时处理;
其中,所述的对系统工作状态进行实时控制,用于执行系统初始化、视觉刺激器启动、数据采集控制、数据接收与保存、以及控制命令输出等操作;
其中,所述的对脑电数据进行实时处理,用于检测SSVEP信号的频率,识别该频率对应的LED显示器及其代表的用户命令。
6.根据权利要求2所述的一种基于稳态视觉诱发电位脑机接口的字符输入系统,其特征是所述的字符输入接口,用于接收PC实时处理系统发送的命令,根据命令的类型进行相应的处理,包括下列三种情况:
如果接收的是主菜单命令,则等待接收子菜单命令;
如果接收的是子菜单命令,则结合主菜单命令确定用户想要输入的字符,并将该字符在计算机屏幕显示区显示;
如果接收的是独立菜单命令,则需要判断是字符键还是功能键;若是字符键,则将其对应的字符在计算机屏幕显示区显示;若是功能键,则执行相应的功能操作。
7.根据权利要求3所述的一种基于稳态视觉诱发电位脑机接口的字符输入系统,其特征是所述的刺激器面板,由N个发白色光的LED显示器组成,排列成N1×N2的刺激矩阵;每个LED为2cm×2cm的矩形方块,起一个按键的作用;两个相邻LED的水平和垂直距离均为2.5cm;每个LED显示器内部包含6个发光二极管,组成由3个发光二极管串连的双列结构。
8.根据权利要求3所述的一种基于稳态视觉诱发电位脑机接口的字符输入系统,其特征是所述的刺激器控制电路,包括刺激信号产生电路和LED电流驱动电路;
其中,所述的刺激信号产生电路,用于产生N路不同频率的方波信号;该电路由CPLD芯片及其外围电路构成,N路方波信号由CPLD芯片I/O端口输出;它们的工作模式由CPLD外围的4个拨码开关来设定;每个LED的闪光频率可以通过程序设定和改变,频率范围为6Hz~20Hz,频率之间的最小间隔为0.2Hz;
其中,所述的LED电流驱动电路,用于给每个LED显示器施加足够的驱动电流,以保证LED具有足够的发光强度;由CPLD芯片I/O端口输出的N路方波信号,输送至N路LED电流驱动电路,施加电流驱动后的方波信号用于控制LED显示器发光;N路方波信号以及电流驱动电路相互独立、互不干扰。
CN201410171291.0A 2014-04-25 2014-04-25 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 Expired - Fee Related CN103995582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410171291.0A CN103995582B (zh) 2014-04-25 2014-04-25 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410171291.0A CN103995582B (zh) 2014-04-25 2014-04-25 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统

Publications (2)

Publication Number Publication Date
CN103995582A true CN103995582A (zh) 2014-08-20
CN103995582B CN103995582B (zh) 2017-02-15

Family

ID=51309770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410171291.0A Expired - Fee Related CN103995582B (zh) 2014-04-25 2014-04-25 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统

Country Status (1)

Country Link
CN (1) CN103995582B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681494A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种基于脑机接口的环境控制方法
CN106774843A (zh) * 2016-11-23 2017-05-31 同济大学 一种密码输入设备和方法
CN106802723A (zh) * 2017-01-18 2017-06-06 西安电子科技大学 一种基于稳态视觉诱发电位的双拼中文输入系统
CN107037889A (zh) * 2017-03-06 2017-08-11 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及系统
CN107212883A (zh) * 2017-05-24 2017-09-29 天津理工大学 一种基于脑电控制的机械臂写字装置及控制方法
CN107291239A (zh) * 2017-06-29 2017-10-24 清华大学 视觉刺激系统、视觉刺激产生方法及bci系统
CN107296586A (zh) * 2017-06-20 2017-10-27 黄涌 视觉误差检测设备/方法及基于该设备的书写系统/方法
CN107390869A (zh) * 2017-07-17 2017-11-24 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN107967064A (zh) * 2018-01-22 2018-04-27 南京邮电大学 基于脑机接口与激光辅助瞄准的智能家居控制系统
CN108604124A (zh) * 2016-10-28 2018-09-28 商业与文化合作专家发展中心(非商业合伙协会) 基于脑活动记录选择命令的神经计算机系统
CN109917905A (zh) * 2017-12-12 2019-06-21 艾博纽诺股份公司 一种具有实时解剖显示和控制功能的用于交互式脑和身体导航的控制装置和机器
CN110262658A (zh) * 2019-06-14 2019-09-20 长春理工大学 一种基于强化注意的脑机接口字符输入系统及实现方法
CN110379376A (zh) * 2019-07-04 2019-10-25 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法
CN113934300A (zh) * 2021-10-19 2022-01-14 北京烽火万家科技有限公司 基于脑机接口的设备控制方法、装置、电子设备及介质
CN114081510A (zh) * 2021-11-22 2022-02-25 西安交通大学 基于应激运动-视觉多源刺激的运动想象脑机接口方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609090A (zh) * 2012-01-16 2012-07-25 中国人民解放军国防科学技术大学 采用脑电时频成分双重定位范式的快速字符输入方法
CN103607519A (zh) * 2013-10-17 2014-02-26 南昌大学 基于脑机接口的双上肢残疾人电话系统
CN103699217A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609090A (zh) * 2012-01-16 2012-07-25 中国人民解放军国防科学技术大学 采用脑电时频成分双重定位范式的快速字符输入方法
CN103607519A (zh) * 2013-10-17 2014-02-26 南昌大学 基于脑机接口的双上肢残疾人电话系统
CN103699217A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604124A (zh) * 2016-10-28 2018-09-28 商业与文化合作专家发展中心(非商业合伙协会) 基于脑活动记录选择命令的神经计算机系统
EP3396495A4 (en) * 2016-10-28 2019-08-21 Assotsiatsiya "Nekommercheskoe Partnerstvo "Tsentr Razvitiya Delogovo I Kulturnogo Sotrudnichestva "Ekspert" NEUROCOMPUTERS SYSTEM FOR THE SELECTION OF COMMUNICATIONS BASED ON RECORDING OF BRAIN ACTIVITY
CN106774843A (zh) * 2016-11-23 2017-05-31 同济大学 一种密码输入设备和方法
CN106681494A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种基于脑机接口的环境控制方法
CN106802723A (zh) * 2017-01-18 2017-06-06 西安电子科技大学 一种基于稳态视觉诱发电位的双拼中文输入系统
CN107037889A (zh) * 2017-03-06 2017-08-11 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及系统
CN107037889B (zh) * 2017-03-06 2020-04-03 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及系统
CN107212883A (zh) * 2017-05-24 2017-09-29 天津理工大学 一种基于脑电控制的机械臂写字装置及控制方法
CN107212883B (zh) * 2017-05-24 2019-10-18 天津理工大学 一种基于脑电控制的机械臂写字装置及控制方法
CN107296586A (zh) * 2017-06-20 2017-10-27 黄涌 视觉误差检测设备/方法及基于该设备的书写系统/方法
CN107291239A (zh) * 2017-06-29 2017-10-24 清华大学 视觉刺激系统、视觉刺激产生方法及bci系统
CN107291239B (zh) * 2017-06-29 2020-03-31 清华大学 视觉刺激系统、视觉刺激产生方法及bci系统
CN107390869A (zh) * 2017-07-17 2017-11-24 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN107390869B (zh) * 2017-07-17 2019-07-02 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN109917905A (zh) * 2017-12-12 2019-06-21 艾博纽诺股份公司 一种具有实时解剖显示和控制功能的用于交互式脑和身体导航的控制装置和机器
CN107967064A (zh) * 2018-01-22 2018-04-27 南京邮电大学 基于脑机接口与激光辅助瞄准的智能家居控制系统
CN110262658A (zh) * 2019-06-14 2019-09-20 长春理工大学 一种基于强化注意的脑机接口字符输入系统及实现方法
CN110262658B (zh) * 2019-06-14 2023-02-03 长春理工大学 一种基于强化注意的脑机接口字符输入系统及实现方法
CN110379376A (zh) * 2019-07-04 2019-10-25 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法
CN110379376B (zh) * 2019-07-04 2020-11-24 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法
CN113934300A (zh) * 2021-10-19 2022-01-14 北京烽火万家科技有限公司 基于脑机接口的设备控制方法、装置、电子设备及介质
CN114081510A (zh) * 2021-11-22 2022-02-25 西安交通大学 基于应激运动-视觉多源刺激的运动想象脑机接口方法

Also Published As

Publication number Publication date
CN103995582B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN103995582A (zh) 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统
CN107037889B (zh) 一种基于视觉脑机接口的自然书写字符输入方法及系统
CN102609090B (zh) 采用脑电时频成分双重定位范式的快速字符输入方法
CN103793058B (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN101201696B (zh) 基于p300脑电电位的中文输入bci系统
CN103995583B (zh) 实现针对p300成分的脑机接口界面的设备及其方法
CN101976115B (zh) 一种基于运动想象与p300脑电电位的功能键选择方法
CN105022488B (zh) 基于ssvep脑电电位的无线bci输入系统
CN101576772B (zh) 基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法
CN103699216A (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN102063180B (zh) 基于hht高频组合编码稳态视觉诱发电位脑机接口方法
CN107390869B (zh) 基于运动视觉诱发电位的高效脑控中文输入方法
CN106527716A (zh) 一种基于肌电信号的穿戴设备及其与终端的交互方法
CN102654793B (zh) 基于双模校验机制的脑电驱动高可靠操控系统
Nielsen et al. EEG based BCI-towards a better control. Brain-computer interface research at Aalborg University
CN102799267A (zh) Ssvep及阻断和p300三特征多脑-机接口方法
CN101464728A (zh) 视觉运动相关神经信号为载体的人机交互方法
EP3396495B1 (en) Neurocomputer system for selecting commands on the basis of recording brain activity
Cao et al. A high rate online SSVEP based brain-computer interface speller
CN109582131A (zh) 一种异步混合脑机接口方法及系统
CN104850230B (zh) 模拟键盘鼠标的脑机接口控制方法
CN103607519A (zh) 基于脑机接口的双上肢残疾人电话系统
US11442536B2 (en) EOG-based method and apparatus for asynchronous character input
Yin et al. Design and application of brain-computer interface web browser based on VEP
CN103869979A (zh) 一种基于选择性感受的脑机接口系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200619

Address after: No.369 Shiqiao Road, Changdong Industrial Zone, Nanchang City, Jiangxi Province

Patentee after: Jiangxi Chiba Color Printing Co.,Ltd.

Address before: 999 No. 330031 Jiangxi province Nanchang Honggutan University Avenue

Patentee before: Lattice Power (Jiangxi) Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170215

Termination date: 20210425