CN107390869B - 基于运动视觉诱发电位的高效脑控中文输入方法 - Google Patents

Abstract

基于运动视觉诱发电位的高效脑控中文输入方法，设计采用音形两步拼字法，两步完成中文字符的输入，同时采用稳态运动视觉诱发电位作为脑‑机接口方法，使用时先在使用者头部安放电极，使用者接受交互界面的运动视觉刺激后诱发脑电响应，经电极与脑电采集模块处理，得到脑电信号，数据处理与控制模块接收脑电信号后，分析得到辨识结果，并控制用户界面显示相应的字符；本发明能够显著减少操作步骤与时间，操作简单便捷，使用舒适，实现了大字库下中文字符的脑控高效输入，能够辅助运动功能障碍病人生活交流，具备良好的实用化前景。

Description

基于运动视觉诱发电位的高效脑控中文输入方法

技术领域

本发明涉及脑-机接口与康复辅助技术领域,具体涉及基于运动视觉诱发电位的高效脑控中文输入方法。

背景技术

人脑通过外部神经通路控制肌肉，从而实现与外部环境的交互。但许多疾病会损伤中枢神经，破坏神经通路，如肌萎缩性侧索硬化等疾病，严重者甚至完全无法控制肌肉随意运动。

脑-机接口是一种不依赖人的神经肌肉通道而实现大脑与外部设备间的直接信息交流的技术。这一技术在近十几年内得到了迅猛发展，人们开始尝试将脑-机接口应用到康复辅助领域，国际上开发了大量的脑控拼写系统，可以实现脑控输入英文26个字母和部分标点符号，以辅助实现严重运动障碍患者的交流功能。

但对于国内大部分运动障碍患者，英文脑控拼写器难以掌握，需要脑控汉字拼写器来辅助他们进行日常交流，例如中国专利“基于P300电位的中文输入BCI系统”,采用汉字基本笔画组合实现中文输入，中国专利“一种用脑电波输入汉字的虚拟键盘设计方案”，配合电脑输入法，采用组合汉字拼音声母韵母的方式实现中文输入。但是由于现代汉语中常用汉字数目非常多，现有的中文脑-机接口系统大多采用P300电位脑-机接口方法，容易疲劳，舒适性差，需要如单个拼音字母输入、翻页选择操作等较多步骤，输入速度慢，系统字库小，无法实现高效完整的脑控汉字拼写要求。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供基于运动视觉诱发电位的高效脑控中文输入方法，通过在两级菜单上布置拼音和汉字，使用音形两步拼字方法即可输入超过3500个中文常用字符，无需翻页选择，操作简单快捷；同时采用基于运动视觉诱发电位的脑-机接口方法，辨识准确性高，降低用户使用疲劳，提高系统舒适性。

为了达到上述目的，本发明采取的技术方案为：

基于运动视觉诱发电位的高效脑控中文输入方法，包括以下步骤：

1)设计音形两步拼字方法：采用音形两步拼字法实现中文字符的输入，即在第一级界面选音，第二级界面选字，两步操作实现输入中文；在第一级界面中，汉语拼音被分为若干组，每一组拼音的首字母相同；这些拼音组选项依次排列在第一级界面中，首先用户需要确定输入汉字拼音的所在范围，选择对应的拼音组选项；根据第一级界面的选择，第二级界面中按行呈现拼音组包含的中文字符，每一行汉字除音调外拼音相同，如果同音字过多则会在下一行继续显示；

2)运动视觉诱发刺激范式：采用基于稳态视觉运动诱发电位(SSMVEP)方法，通过刺激目标物的周期性收缩-扩张运动刺激诱发SSMVEP，在人脑运动视觉敏感频率范围优化选择刺激频率，在满足界面字符所需刺激目标总数的同时，保证目标间频域特征差异；

3)脑-机接口平台搭建：在使用者头部视觉枕区安放测量电极，在其单侧耳垂位置安放参考电极，在其头部前额处位置安放地电极，电极与脑电采集模块的输入连接，经过放大、滤波与数模转换处理，脑电采集模块输出脑电信号数据，与数据处理与控制模块的输入连接，数据处理与控制模块采用提取脑电信号数据的特征，并控制辨识结果输出，与计算机交互界面模块的输入连接；

4)交互界面显示：计算机交互屏幕上呈现第一级界面，使用者根据自己的选择找到相应的拼音组提示；一段时间后拼音组提示消失，相同位置处呈现出运动刺激图案；使用者注视选择的运动图案刺激，产生SSMVEP响应，经脑电采集模块以及数据处理与控制模块后得到辨识结果；根据辨识结果交互屏幕呈现第二级界面，使用者找到需要输入的中文字符，受对应位置的运动刺激产生SSMVEP响应，分析得到最终中文输入结果；

5)输入字符结果反馈：计算机交互界面模块将最终输入字符呈现在界面中字符显示框，实现对使用者的反馈；

6)完成中文字符输入后，返回步骤4)，重复步骤4)和步骤5)，进行下一次输入。

所述的步骤1)字库中包括超过3500个常用中文字符以及超过70个常用非中文字符。

所述的步骤1)能够实现52个英文字母大小写字符、10个阿拉伯数字、标点符号以及控制命令的输入，在第一级界面的第1行1列，设定了单独的指令用以分配这些非中文字符，与汉字输入指令不重复，在相应的第二级界面显示这些非中文字符或者指令提示，在第一级界面的第10行、第9第10列，分配退格与退出操作，选择完成后直接实现功能，不出现第二级界面。

本发明针对现有中文脑控输入方法操作步骤繁琐，汉字输入效率低下，容易造成用户疲劳的问题，提出了基于运动视觉诱发电位的高效脑控中文输入方法，操作简单快捷，舒适度高，具有良好的人机交互性能，为重度运动障碍病人的对外交流提供了一种有效的方法，显示了如下优越性：

(1)设计的音形拼字法采用两步操作实现中文字符的输入，熟悉汉字拼音即可使用，步骤简单高效，大大降低了用户的脑控操作负荷。

(2)字库中包括超过3500个常用中文字符以及超过70个常用非中文字符，完全可以满足用户正常生活交流需求，扩展性好，可以个性化设置。

(3)选用的基于稳态视觉运动诱发电位的脑-机接口刺激范式具有不易引起被试者视觉疲劳，诱发脑电信号强，无需大量训练的优点，通过在人脑最敏感的频带中优选运动刺激频率，显著提高大量目标的辨识效率。

附图说明

图1为音形两步拼字方法第一级拼音选择界面。

图2为音形两步拼字方法第二级汉字选择界面。

图3为SSMVEP范式在不同刺激频率下的脑电信号的平均响应图，横坐标为刺激频率，纵坐标为对应SSMVEP响应频率，色彩条代表典型相关系数，即响应强度。

图4为脑-机接口平台示意图。

具体实施方式

下面结合附图对本发明作详细描述。

基于运动视觉诱发电位的高效脑控中文输入方法，包括以下步骤：

1)音形两步拼字方法设计：采用音形两步拼字法实现中文字符的输入，即在第一级界面选音，第二级界面选字，两步操作实现输入中文；参照图1，在第一级界面中，汉语中409种常用拼音被分为77组，每一组拼音的首字母基本相同。为方便显示，采用不同颜色突出显示该拼音组的首字母。这些拼音组选项依次排列在第一级界面中，每一行10个选项，共8行。首先用户需要确定输入汉字拼音的所在范围，选择对应的拼音组选项。参照图2，第二级界面中按行呈现拼音组包含的中文字符。每一行汉字除音调外拼音相同，且不超过10个，同音字过多则会在下一行继续显示。为了方便快速选择，在每一行的起始位置都会呈现对应拼音提示并且标注本行音调，用户可以首先根据这些拼音提示找到需要输入汉字的具体读音，然后在本行中找到唯一字形。

本发明还可以实现52个英文字母大小写字符、10个阿拉伯数字、常用标点符号以及如退格等控制命令的输入。参照图1，在第一级界面的第1行1列，设定了单独的指令用以分配这些非中文字符，与汉字输入指令不重复，在相应的第二级界面显示这些非中文字符或者指令提示。在第一级界面的第10行、第9第10列，分配退格与退出操作，选择完成后直接实现功能，不出现第二级界面；

2)运动视觉诱发刺激范式：采用脑-机接口应用中最具实用意义的基于稳态视觉运动诱发电位(SSMVEP)的脑-机接口方法，通过PSYCHTOOLBOX工具箱编程绘制范式图案纹理的周期性正弦收缩-扩张运动，能够稳定刺激诱发SSMVEP，用户使用时不易视觉疲劳，参照图3，范式刺激频率范围设置为6.15Hz至18Hz，刺激频率间隔设置为0.15Hz，共80个频率。响应信号具有很高的信噪比，在对应的刺激频率处平均相关系数高于0.4，远高于背景噪声。同时不同刺激目标的特征单一，没有重叠，不会互相干扰。运动视觉诱发刺激范式不仅提供了系统所需要的大量不同刺激目标，而且具有非常好的诱发响应，保证了辨识正确率；

3)搭建脑电数据采集处理平台：在使用者头部视觉枕区安放测量电极，操作10/20系统法布置测量电极，位置为O1、Oz、O2、POz、PO3和PO4，在其单侧耳垂位置A1或A2处安放参考电极，在其头部前额处Fpz位置安放地电极，给各测量电极注入导电膏，保证电极与头皮良好接触。参照图4，电极与脑电采集模块的输入连接。经过放大、滤波与数模转换等处理，脑电采集模块输出脑电信号数据，与数据处理与控制模块的输入连接，数据处理与控制模块采用典型相关分析方法提取脑电信号数据的特征，并控制刺激范式以及辨识结果的输出，与计算机交互界面模块的输入连接；

4)交互界面显示：计算机交互屏幕上呈现第一级界面，使用者根据自己的选择找到相应的拼音组提示，一段时间后拼音组提示消失，相同位置处呈现出共80个运动刺激图案。使用者注视选择的运动图案刺激，产生SSMVEP响应，经脑电采集模块以及数据处理与控制模块后得到辨识结果。根据辨识结果交互屏幕呈现第二级界面，使用者找到需要输入的中文字符，受对应位置的运动刺激产生SSMVEP响应，分析得到最终中文输入结果；

5)中文输入字符结果反馈：参照图1、图2，当两步选择完成后，处理得到辨识结果，输入字符将立即呈现在界面上方的字符显示框中，实现对使用者的反馈。若输入换行指令，则字体变小并且另起一行显示，系统字符显示框能够完整显示两行字体，超出两行则自动向下翻页。

6)完成中文字符输入后，返回步骤4)，重复步骤4)和步骤5)，进行下一次输入。

下面再结合实施例对本发明进行说明。

采用本技术对三名使用者(S1～S3)进行了实验，按照上述步骤3)对使用者安放电极并搭建脑-机接口平台，使用者头部距离计算机屏幕为75厘米。按照上述步骤4)将提示界面与最多80个运动刺激图案呈现，刺激频率设置为6.15Hz至18Hz并按列分配给运动刺激图案。提示时间与刺激时间皆设为3秒，每名使用者按要求输入40个不同字符。按照上述步骤5)在交互界面上显示输入完成的中文字符。系统测试结果表明平均识别正确率为95.4％，平均信息传输率约为99.1比特/分钟，每个中文字符的目标平均识别时间约为13.6秒。

本发明能够显著减少操作步骤与时间，提高输入效率，降低使用疲劳，实现大字库下中文字符的脑控高效输入，改善运动功能障碍病人生活交流需要，具备良好的实用化前景。

Claims (3)

1.基于运动视觉诱发电位的高效脑控中文输入方法，其特征在于，包括以下步骤：

1)设计音形两步拼字方法：采用音形两步拼字法实现中文字符的输入，即在第一级界面选音，第二级界面选字，两步操作实现输入中文；在第一级界面中，汉语拼音被分为若干组，每一组拼音的首字母相同；这些拼音组选项依次排列在第一级界面中，首先用户需要确定输入汉字拼音的所在范围，选择对应的拼音组选项；根据第一级界面的选择，第二级界面中按行呈现拼音组包含的中文字符，每一行汉字除音调外拼音相同，如果同音字过多则会在下一行继续显示；

2)运动视觉诱发刺激范式：采用基于稳态视觉运动诱发电位SSMVEP方法，通过刺激目标物的周期性收缩-扩张运动刺激诱发SSMVEP，在人脑运动视觉敏感频率范围优化选择刺激频率，在满足界面字符所需刺激目标总数的同时，保证目标间频域特征差异；

3)脑-机接口平台搭建：在使用者头部视觉枕区安放测量电极，在其单侧耳垂位置安放参考电极，在其头部前额处位置安放地电极，电极与脑电采集模块的输入连接，经过放大、滤波与数模转换处理，脑电采集模块输出脑电信号数据，与数据处理与控制模块的输入连接，数据处理与控制模块采用提取脑电信号数据的特征，并控制辨识结果输出，与计算机交互界面模块的输入连接；

4)交互界面显示：计算机交互屏幕上呈现第一级界面，使用者根据自己的选择找到相应的拼音组提示；一段时间后拼音组提示消失，相同位置处呈现出运动刺激图案；使用者注视选择的运动图案刺激，产生SSMVEP响应，经脑电采集模块以及数据处理与控制模块后得到辨识结果；根据辨识结果交互屏幕呈现第二级界面，使用者找到需要输入的中文字符，受对应位置的运动刺激产生SSMVEP响应，分析得到最终中文输入结果；

5)输入字符结果反馈：计算机交互界面模块将最终输入字符呈现在界面中字符显示框，实现对使用者的反馈；

6)完成中文字符输入后，返回步骤4)，重复步骤4)和步骤5)，进行下一次输入。

2.根据权利要求1所述的基于运动视觉诱发电位的高效脑控中文输入方法，其特征在于：所述的步骤1)字库中包括超过3500个常用中文字符以及超过70个常用非中文字符。

3.根据权利要求1所述的基于运动视觉诱发电位的高效脑控中文输入方法，其特征在于：所述的步骤1)能够实现52个英文字母大小写字符、10个阿拉伯数字、标点符号以及控制命令的输入，在第一级界面的第1行1列，设定了单独的指令用以分配这些非中文字符，与汉字输入指令不重复，在相应的第二级界面显示这些非中文字符或者指令提示，在第一级界面的第10行、第9第10列，分配退格与退出操作，选择完成后直接实现功能，不出现第二级界面。