CN115185369A - 一种结合眼动仪与p300技术实现汉字输入的方法 - Google Patents

一种结合眼动仪与p300技术实现汉字输入的方法 Download PDF

Info

Publication number
CN115185369A
CN115185369A CN202210784254.1A CN202210784254A CN115185369A CN 115185369 A CN115185369 A CN 115185369A CN 202210784254 A CN202210784254 A CN 202210784254A CN 115185369 A CN115185369 A CN 115185369A
Authority
CN
China
Prior art keywords
chinese character
user
eye
coordinates
pinyin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210784254.1A
Other languages
English (en)
Inventor
于扬
方洵
李�浩
叶泽祺
储星星
卢盖
胡德文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210784254.1A priority Critical patent/CN115185369A/zh
Publication of CN115185369A publication Critical patent/CN115185369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明公开了一种结合眼动仪与P300技术实现汉字输入的方法，利用眼动仪的空间调制信息实现模式的选定：通过眼动仪实时采集用户的视觉轨迹，获得用户眼动点的坐标，当用户注视开始选项时，系统通过检测这个意图并生成命令来激活拼写过程；结合眼动仪和P300技术，选择汉字的声母和韵母；结合拼音输入法实现输入汉字功能：选定声母和韵母后，转到拼音输入法里，选择目标汉字，实现汉字输入功能。本发明结合眼动仪与P300技术实现汉字输入，使得用户可以不采取任何动作，只凭眼睛与大脑就实现计算机打字功能，另外结合标准的中文输入法提供的汉字库可以实现拼写后匹配汉字。使得运动障碍患者的助残设备不再局限于电脑设备本身，具有重大的实际意义。

Description

一种结合眼动仪与P300技术实现汉字输入的方法
技术领域
本发明属于脑科学与认知科学技术领域，特别是涉及一种结合眼动仪与P300技术实现汉字输入的方法。
背景技术
脑机接口，指在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。通常脑机接口的信号采集可以分为非侵入式、半侵入式以及侵入式三种。非侵入式脑机接口通过附着在头皮上的穿戴设备(如脑电帽、近红外头盔或磁共振头线圈等)测量大脑的电活动或代谢活动，无需手术，安全无创。其中，脑电帽是最常用的非侵入式传感器，可以在头皮上监测到群体神经元的放电活动，其时间分辨率高并且因其不对人体造成伤害而有可能在未来最早地被应用于现实生活。
目前主流的脑机接口技术主要针对三种脑电信号(EEG信号)：运动感知节律信号、稳态视觉诱发电位信号(SSVEP信号)和P300信号。相对应的脑机接口也包括三种：运动想象型脑机接口、SSVEP脑机接口和P300脑机接口。相对其他两者，P300型脑机接口识别准确率较高，在实验中可提供的选项数较多，实际信息传输率也较高。
但是传统大多数的单一式非侵入式P300脑机接口存在着准确率不够高、用户体验感不高和只能同步识别的缺点。
眼动仪是心理学基础研究的重要仪器，通常用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。目前许多笔记本电脑开始搭载眼动仪作为卖点，例如Alienware 17R5搭载了Tobii的眼动仪。但是因为其只能追踪人眼视觉的注视轨迹，而不具备确认等功能，在日常生活中的实际用途十分有限，通常用于游戏，或者专业性的心理学分析。
发明内容
针对以上技术问题，本发明提供了一种结合眼动仪与P300技术实现汉字输入的方法，其目的是为了解决背景技术中分别只使用P300型脑机接口和眼动仪缺陷的技术问题。
本发明解决其技术问题采用的技术方案是：
一种结合眼动仪与P300技术实现汉字输入的方法，方法包括以下步骤：
步骤S100：通过眼动仪的眼动追踪信号确定注视点的空间位置信息，通过分析空间位置信息确定用户当前目光所在位置，检测到目光停留在开始键预设时长后激发P300拼写器界面；
步骤S200：拼音和功能键序列的闪烁诱发P300事件对应电位产生脑电波信号，对脑电波信号预处理后进行分析，确定用户当前注视点处所选择的拼音或功能键位置的字符P1；
步骤S300：根据眼动跟踪装置提供的眼动空间信息，确定用户当前注视点处的预设参考位置的字符P2，若P1和P2一致且注视位置为声母或韵母时，则将P300的输入写入缓冲区，若P1和P2一致且注视位置为功能键位置时，则执行功能键的指令，重复步骤S200和步骤S300直至完成声母和韵母的选择；
步骤S400：调用拼音输入法，根据选定的声母和韵母，确定目标汉字，实现拼写汉字功能。
优选地，步骤S100包括：
步骤S110：在拼写开始前校正用户的眼动信息，使用Python库获得原始的空间眼动信息；
步骤S120：随着用户眼睛移动，眼动仪获取用户的注视坐标；
步骤S130：在获取到的用户的注视点坐标中选取有效数据，对异常坐标进行剔除，异常坐标为眨眼、视线迅速转移过程中采集的样本点坐标；
步骤S140：将用户采样点坐标表示的眼动视觉轨迹坐标写入缓冲区；
步骤S150：判断缓冲区的坐标是否位于开始键上且持续预设时长，若是，则激活拼写过程。
优选地，步骤S130具体为：
步骤S131：剔除眼动仪捕捉不到眼睛眨眼的坐标：将眼动仪捕捉不到眼睛眨眼的坐标标定为(-1,-1)，剔除坐标小于0的点，即可剔除眼动仪捕捉不到眼睛眨眼的坐标；
步骤S132：剔除眼动仪捕捉的眼跳的坐标：根据眼动仪的采样率，获得两次采样点之间的距离，即获得眼动速度；通过速度阈值识别分类算法，将眼动速度大于一定阈值的采样点定为眼跳样本而进行剔除，保留用户注视目标的采样点坐标。
优选地，步骤S200包括：
步骤S210：通过Python工具库跟踪获取眼动信息，同时检测目光注视点坐标在时间上的分布情况；
步骤S220：激活脑机接口系统的P300拼写器，显示屏进行拼音或其他功能键序列的闪烁；
步骤S230：通过脑电采集装置进行脑电波信号采集；
步骤S240：对采集的脑电波信号通过滤波以及信号放大后，对其进行解码，确定用户当前注视点处所选择的拼音或功能键位置的字符P1。
优选地，步骤S240包括：
步骤S241：读取一段至少2500ms的脑电波信号；
步骤S242：解析出脑电信号中的P300时序位置，并对照字符闪烁刺激序列的时序，确定刺激的行列位置，从而确定此时用户注视到的拼音或功能键位置的字符P1。
优选地，步骤S300包括：
步骤S310：记录当前用户眼动信息记录的样本点的空间位置信息，通过主机计算得到空间坐标的期望，作为注视点的参考位置；
步骤S320：将注视点的参考位置的坐标输入电脑缓存区内；
步骤S330：将注视点的横纵坐标和各个功能键的位置信息比照，得出此时眼动仪的参考位置的字符P2；
步骤S340：比较P1和P2的内容，若P1和P2一致且注视位置为声母或韵母时，则将P300的输入写入缓冲区，若P1和P2一致且注视位置为功能键位置时，则执行功能键的指令，返回步骤S200直至完成声母和韵母的选择。
优选地，步骤S400包括：
步骤S410：根据选定的声母和韵母确定当前的拼音为Y1，将拼音Y1输入到输入栏中；
步骤S420：输入Y1后将会自动调用标准的中文输入法的汉字库，并进行Y1和输入法汉字库的匹配，选取其中最匹配最常用的作为待选汉字；如果没有，则通过注视PageUp激活P300拼写器，进入下一页寻找符合要求的汉字；
步骤S430：确定汉字H1后将其输出到输入栏中，返回步骤S200进行下一个汉字的拼写。
优选地，步骤S400之后还包括：
步骤S500：目光凝视到Del功能键预设时长；眼动仪的眼动追踪系统确定用户当前注视点在选择功能键区域，刺激序列闪烁诱发P300信号，确定是否删除当前汉字或拼音，确定后删除显示屏输出区域的最后一个汉字或者当前缓冲区内输入的最后一个拼音。
本发明能够取得下列有益效果：实现一种眼动仪和P300拼写器结合的汉字拼写方案，使得用户可以不经手工点击键盘按键便可以通过眼睛的移动注视实现汉字的拼写，且对经典的P300拼写器做出了优化与创新，提高了拼写器的准确性，另外结合标准的中文输入法提供的汉字库可以实现拼写后匹配汉字。使得运动障碍患者的助残设备不再局限于电脑设备本身，具有重大的实际意义。
附图说明
图1为本发明的一种结合眼动仪与P300技术实现汉字输入的方法流程图；
图2为本发明的一种结合眼动仪与P300技术实现汉字输入的方法的一个实施示例的流程示意图；
图3为脑机接口的电极帽电极配置图；
图4为显示器拼写拼音序列的示意图；
图5为显示器拼写拼音序列有效像素区域示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
本发明针对现有的问题，提出了一种结合眼动仪与P300技术实现汉字输入的方法，实现异步进行可靠准确汉字拼写输入。本发明的实施过程示例中包含眼动仪进行实时采集用户的视觉轨迹，当用户有了拼写意图之后，通过注视开始键表达自己的拼写意图，眼动追踪系统可以自动检测此目标意图并以此生成一个命令来激活拼写过程。
眼动仪负责空间的调制信息，P300负责时间的调制信息，通过眼动仪实时采集用户的视觉信息，确定当前用户眼睛目光的位置(显示屏的屏幕坐标)A1。与此同时，用户通过凝视目标点，通过分析P300成分，激活该目标点处指令(拼写拼音或功能键如PageUp)。
比如要拼写一个叫做“专利”的汉字词语：步骤1、注视此时电脑显示屏上的开始按钮，从而激活拼写过程；步骤2、显示屏上第一次出现的所有的声母刺激序列中选择“Zh”并进行注视，其他无关声母不注视，从而使得眼动追踪装置可以确定此时用户选择的第一个拼音的位置的字符P1，与此同时拼音刺激序列闪烁，从而诱发P300电位，分析出此时的P300电位确定脑机接口的拼写结果P2。步骤3、如果P1和P2一致，系统自动将这个位置的拼音输入到电脑的缓冲区里。重复上述步骤直到第一个汉字的韵母也拼写完毕，步骤4、调用电脑的标准的汉字输入法的汉字库，系统自动进行拼音比对，并将待选汉字输出到电脑屏幕上。步骤5、注视待选汉字中的目标汉字一段时间后，眼动追踪装置和P300拼写器共同确定用户已经确定此时要输入的汉字，在显示屏上输出所选择的汉字。第二个汉字的输入同理。
比如，要实现删除掉已经输入但是输入错误的拼音或汉字，步骤1，目光凝视到Del键一段时间；步骤2、眼动仪的眼动追踪系统确定用户此时在选择功能键区域，与此同时刺激序列闪烁诱发P300信号两者综合考虑之后确定是否删除，确定后删除显示屏输出区域的最后一个汉字或者此时缓冲区内输入的最后一个拼音。
图1为本发明的一种结合眼动仪与P300技术实现汉字输入的方法流程图；图2为本发明的一种结合眼动仪与P300技术实现汉字输入的方法的一个实施示例的流程示意图；图3为脑机接口的电极帽电极配置图；图4为显示器拼写拼音序列的示意图；图5为显示器拼写拼音序列有效像素区域示意图。
实施流程中具体包括如下步骤：
步骤S100：通过眼动仪的眼动追踪信号确定注视点的空间位置信息，通过分析空间位置信息确定用户当前目光所在位置，检测到目光停留在开始键预设时长后激发P300拼写器界面；
步骤S200：拼音和功能键序列的闪烁诱发P300事件对应电位产生脑电波信号，对脑电波信号预处理后进行分析，确定用户当前注视点处所选择的拼音或功能键位置的字符P1；
步骤S300：根据眼动跟踪装置提供的眼动空间信息，确定用户当前注视点处的预设参考位置的字符P2，若P1和P2一致且注视位置为声母或韵母时，则将P300的输入写入缓冲区，若P1和P2一致且注视位置为功能键位置时，则执行功能键的指令，重复步骤S200和步骤S300直至完成声母和韵母的选择；
步骤S400：调用拼音输入法，根据选定的声母和韵母，确定目标汉字，实现拼写汉字功能。
我们选用市场上比较常见的Tobii Eye Tracks 4c(一款眼动仪的型号)眼动追踪装置，其采样率为90Hz。校正视觉信息后通过Python程序得到用户此时的注视点位置坐标。另外为了区分记录的位置信息是否为用户目光注视点。引进眼动速度的概念，使得眼动速度大于某一阈值时所记录的位置信息为无效样本点而不予采用。
由于眼动仪对用户眼动信息采样的时候会受到被试者眨眼，看向别处，或者眼动位置超过了采集范围而有部分信息无效采样，此时通过将这些眼跳眨眼等无效采样点剔除后获得有效的采样点。
另一方面，记录的信息包括每一采样点的时间信息，此时可以通过计算两个采样点间的距离来大致计算此时目光扫视的眼动速度(此时的计算t2-t1可以大致认为是1/90，因为90为选用眼动仪的采样频率)
Figure BDA0003731300060000061
与此同时通过BCI系统进行脑电图的分析，通过诱发出的P300信号在脑电图上的时序特征确定激发此时的事件相关电位的拼音或者功能键。
上述步骤的具体实现过程如下：
步骤S110：在拼写开始前校正用户的眼动信息，使用Python库获得原始的空间眼动信息；
步骤S120：随着用户眼睛移动，眼动仪获取用户的注视坐标；
步骤S130：在获取到的用户的注视点坐标中选取有效数据，对异常坐标进行剔除，异常坐标为眨眼、视线迅速转移过程中采集的样本点坐标；
步骤S140：将用户采样点坐标表示的眼动视觉轨迹坐标写入缓冲区；
步骤S150：判断缓冲区的坐标是否位于开始键上且持续预设时长，若是，则激活拼写过程。
进一步地，步骤S130具体为：
步骤S131：剔除眼动仪捕捉不到眼睛眨眼的坐标：将眼动仪捕捉不到眼睛眨眼的坐标标定为(-1,-1)，剔除坐标小于0的点，即可剔除眼动仪捕捉不到眼睛眨眼的坐标；
步骤S132：剔除眼动仪捕捉的眼跳的坐标：根据眼动仪的采样率，获得两次采样点之间的距离，即获得眼动速度；通过速度阈值识别分类算法，将眼动速度大于一定阈值的采样点定为眼跳样本而进行剔除，保留用户注视目标的采样点坐标。
在一个实施例中，步骤S200包括：
步骤S210：通过Python工具库跟踪获取眼动信息，同时检测目光注视点坐标在时间上的分布情况；
步骤S220：激活脑机接口系统的P300拼写器，显示屏进行拼音或其他功能键序列的闪烁；
步骤S230：通过脑电采集装置进行脑电波信号采集；
步骤S240：对采集的脑电波信号通过滤波以及信号放大后，对其进行解码，确定用户当前注视点处所选择的拼音或功能键位置的字符P1。
在一个实施例中，步骤S240包括：
步骤S241：读取一段至少2500ms的脑电波信号；
步骤S242：解析出脑电信号中的P300时序位置，并对照字符闪烁刺激序列的时序，确定刺激的行列位置，从而确定此时用户注视到的拼音或功能键位置的字符P1。
为了提升用户体验，在显示屏上为眼动装置提供一个“休息区”，此区域中不提供任何与拼写或功能键相关的服务，而仅仅作为用户思考时的视觉暂留点，如果用户在步骤S100期间的注视点位置为休息区的空间坐标，那么将不会激发拼写过程或进入步骤S200，直到注视点变为开始键，这里实际上可以实现异步的P300拼写器。
注视点处于开始键的坐标范围内时会开始计时，当计时时间达到2s时，判断此时用户在注视，且有拼写意图，激活步骤S200，并且清空该计时；如果注视点位置在休息区空间坐标范围内，则持续清空计时。
在一个实施例中，步骤S300包括：
步骤S310：记录当前用户眼动信息记录的样本点的空间位置信息，通过主机计算得到空间坐标的期望，作为注视点的参考位置；
步骤S320：将注视点的参考位置的坐标输入电脑缓存区内；
步骤S330：将注视点的横纵坐标和各个功能键的位置信息比照，得出此时眼动仪的参考位置的字符P2；
步骤S340：比较P1和P2的内容，若P1和P2一致且注视位置为声母或韵母时，则将P300的输入写入缓冲区，若P1和P2一致且注视位置为功能键位置时，则执行功能键的指令，返回步骤S200直至完成声母和韵母的选择。
具体地，假设在选韵母的时候发现声母选错了，则选择韵母区里的DEL功能键，选定DEL键后，声母会被删除，并且会回到选声母的界面上，进行声母重选，直至声母和韵母选择完毕。
在一个实施例中，步骤S400包括：
步骤S410：根据选定的声母和韵母确定当前的拼音为Y1，将拼音Y1输入到输入栏中；
步骤S420：输入Y1后将会自动调用标准的中文输入法的汉字库，并进行Y1和输入法汉字库的匹配，选取其中最匹配最常用的作为待选汉字；如果没有，则通过注视PageUp激活P300拼写器，进入下一页寻找符合要求的汉字；
步骤S430：确定汉字H1后将其输出到输入栏中，返回步骤S200进行下一个汉字的拼写。
在本实施示例中，计算机主机利用脑电波检测用户的脑电图并截取一段时间上的脑电序列，脑机接口系统对截取的脑电波信号进行处理，通过滤波器得到0.1-30Hz的脑电信号，随后进行信号放大，对处理后的脑电信号进行时间序列分析，比照诱发出的P300信号出现的时序和行列闪烁的时间特征，确定注视点位置的行列，从而确定此时拼写的拼音。
若仅采用眼动仪，眼动仪仅具有使得确定目光位置的功能而无法进行键盘拼音的拼写，而结合P300拼写器可以为ALS(肌肉萎缩性侧索硬化症)患者提供更加实时高效的打字方案，实现随心所想开始拼写，通过眼动仪的空间调制信息可以大幅提高P300拼写器的准确率和性能，无需担心因P300拼写器准确率不高而出现反复删除输入的情况。
在一个实施例中，步骤S400之后还包括：
步骤S500：目光凝视到Del功能键预设时长；眼动仪的眼动追踪系统确定用户当前注视点在选择功能键区域，刺激序列闪烁诱发P300信号，确定是否删除当前汉字或拼音，确定后删除显示屏输出区域的最后一个汉字或者当前缓冲区内输入的最后一个拼音。
本发明可以取得以下有益成果：实现一种眼动仪和P300拼写器结合的汉字拼写方案，使用眼动仪作为P300拼写器的参考，使得用户可以不经手工点击键盘按键便可以通过眼睛的移动注视实现汉字的拼写，可以在一定程度上减少传统P300范式结果的不准确造成的反复拼写问题，提高拼写效率以及准确性。另外结合标准的中文输入法(如谷歌，讯飞等)提供的汉字库可以实现拼写后匹配汉字。使得ALS患者可以通过本专利提供的拼写方案，更加便捷高效地实现打汉字的功能，具有很强的实用价值，使用眼动仪还可以降低P300拼写时经常闪烁导致的视觉疲劳。另一方面通过眼动仪提供的信息对经典P300拼写器的实验范式进行优化，这对于ERP(Event-Related Potential事件相关电位)脑机接口技术的研究同样具有借鉴意义。
以上对本发明所提供的一种结合眼动仪与P300技术实现汉字输入的方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种结合眼动仪与P300技术实现汉字输入的方法，其特征在于，所述方法包括以下步骤：
步骤S100：通过眼动仪的眼动追踪信号确定注视点的空间位置信息，通过分析所述空间位置信息确定用户当前目光所在位置，检测到目光停留在开始键预设时长后激发P300拼写器界面；
步骤S200：拼音和功能键序列的闪烁诱发P300事件对应电位产生脑电波信号，对所述脑电波信号预处理后进行分析，确定用户当前注视点处所选择的拼音或功能键位置的字符P1；
步骤S300：根据眼动跟踪装置提供的眼动空间信息，确定用户当前注视点处的预设参考位置的字符P2，若所述P1和所述P2一致且注视位置为声母或韵母时，则将P300的输入写入缓冲区，若所述P1和所述P2一致且注视位置为功能键位置时，则执行所述功能键的指令，重复步骤S200和步骤S300直至完成声母和韵母的选择；
步骤S400：调用拼音输入法，根据选定的声母和韵母，确定目标汉字，实现拼写汉字功能。
2.根据权利要求1所述的方法，其特征在于，步骤S100包括：
步骤S110：在拼写开始前校正用户的眼动信息，使用Python库获得原始的空间眼动信息；
步骤S120：随着用户眼睛移动，眼动仪获取用户的注视坐标；
步骤S130：在获取到的所述用户的注视点坐标中选取有效数据，对异常坐标进行剔除，所述异常坐标为眨眼、视线迅速转移过程中采集的样本点坐标；
步骤S140：将用户采样点坐标表示的眼动视觉轨迹坐标写入缓冲区；
步骤S150：判断所述缓冲区的坐标是否位于开始键上且持续预设时长，若是，则激活拼写过程。
3.根据权利要求2所述的方法，其特征在于，所述步骤S130具体为：
步骤S131：剔除眼动仪捕捉不到眼睛眨眼的坐标：将眼动仪捕捉不到眼睛眨眼的坐标标定为(-1,-1)，剔除坐标小于0的点，即可剔除眼动仪捕捉不到眼睛眨眼的坐标；
步骤S132：剔除眼动仪捕捉的眼跳的坐标：根据眼动仪的采样率，获得两次采样点之间的距离，即获得眼动速度；通过速度阈值识别分类算法，将眼动速度大于一定阈值的采样点定为眼跳样本而进行剔除，保留用户注视目标的采样点坐标。
4.根据权利要求3所述的方法，其特征在于，步骤S200包括：
步骤S210：通过Python工具库跟踪获取眼动信息，同时检测目光注视点坐标在时间上的分布情况；
步骤S220：激活脑机接口系统的P300拼写器，显示屏进行拼音或其他功能键序列的闪烁；
步骤S230：通过脑电采集装置进行脑电波信号采集；
步骤S240：对采集的所述脑电波信号通过滤波以及信号放大后，对其进行解码，确定用户当前注视点处所选择的拼音或功能键位置的字符P1。
5.根据权利要求4所述的方法，其特征在于，步骤S240包括：
步骤S241：读取一段至少2500ms的脑电波信号；
步骤S242：解析出所述脑电信号中的P300时序位置，并对照字符闪烁刺激序列的时序，确定刺激的行列位置，从而确定此时用户注视到的拼音或功能键位置的字符P1。
6.根据权利要求5所述的方法，其特征在于，步骤S300包括：
步骤S310：记录当前用户眼动信息记录的样本点的空间位置信息，通过主机计算得到空间坐标的期望，作为注视点的参考位置；
步骤S320：将所述注视点的参考位置的坐标输入电脑缓存区内；
步骤S330：将所述注视点的横纵坐标和各个功能键的位置信息比照，得出此时眼动仪的参考位置的字符P2；
步骤S340：比较所述P1和所述P2的内容，若所述P1和所述P2一致且注视位置为声母或韵母时，则将P300的输入写入缓冲区，若所述P1和所述P2一致且注视位置为功能键位置时，则执行所述功能键的指令，返回步骤S200直至完成声母和韵母的选择。
7.根据权利要求6所述的方法，其特征在于，步骤S400包括：
步骤S410：根据选定的声母和韵母确定当前的拼音为Y1，将所述拼音Y1输入到输入栏中；
步骤S420：输入所述Y1后将会自动调用标准的中文输入法的汉字库，并进行所述Y1和输入法汉字库的匹配，选取其中最匹配最常用的作为待选汉字；如果没有，则通过注视PageUp激活P300拼写器，进入下一页寻找符合要求的汉字；
步骤S430：确定汉字H1后将其输出到输入栏中，返回步骤S200进行下一个汉字的拼写。
8.根据权利要求7所述的方法，其特征在于，步骤S400之后还包括：
步骤S500：目光凝视到Del功能键预设时长；眼动仪的眼动追踪系统确定用户当前注视点在选择功能键区域，刺激序列闪烁诱发P300信号，确定是否删除当前汉字或拼音，确定后删除显示屏输出区域的最后一个汉字或者当前缓冲区内输入的最后一个拼音。
CN202210784254.1A 2022-07-05 2022-07-05 一种结合眼动仪与p300技术实现汉字输入的方法 Pending CN115185369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210784254.1A CN115185369A (zh) 2022-07-05 2022-07-05 一种结合眼动仪与p300技术实现汉字输入的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210784254.1A CN115185369A (zh) 2022-07-05 2022-07-05 一种结合眼动仪与p300技术实现汉字输入的方法

Publications (1)

Publication Number Publication Date
CN115185369A true CN115185369A (zh) 2022-10-14

Family

ID=83518135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210784254.1A Pending CN115185369A (zh) 2022-07-05 2022-07-05 一种结合眼动仪与p300技术实现汉字输入的方法

Country Status (1)

Country Link
CN (1) CN115185369A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608402A (zh) * 2023-11-23 2024-02-27 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608402A (zh) * 2023-11-23 2024-02-27 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN117608402B (zh) * 2023-11-23 2024-05-14 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Similar Documents

Publication Publication Date Title
US20220404910A1 (en) Brain-computer interface with high-speed eye tracking features
Martínez-Cagigal et al. An asynchronous P300-based brain-computer interface web browser for severely disabled people
US20200337653A1 (en) Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
Jacques et al. Early electrophysiological responses to multiple face orientations correlate with individual discrimination performance in humans
Postelnicu et al. P300-based brain-neuronal computer interaction for spelling applications
Barbara et al. EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard
KR101571848B1 (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
Solon et al. Decoding P300 variability using convolutional neural networks
US11442536B2 (en) EOG-based method and apparatus for asynchronous character input
CN115185369A (zh) 一种结合眼动仪与p300技术实现汉字输入的方法
Lv et al. Design and implementation of an eye gesture perception system based on electrooculography
Ding et al. Design and development of an EOG-based simplified Chinese eye-writing system
Liu et al. Improving the cross-subject performance of the ERP-based brain–computer interface using rapid serial visual presentation and correlation analysis rank
Kumar et al. A framework for a real time intelligent and interactive Brain Computer Interface
Wang Simulation of sports movement training based on machine learning and brain-computer interface
Shishkin et al. Improving eye-brain-computer interface performance by using electroencephalogram frequency components
CN109189222B (zh) 一种基于检测瞳孔直径变化的人机交互方法及装置
CN112764544B (zh) 一种结合眼动仪与异步运动想象技术实现虚拟鼠标的方法
Sadeghi et al. A comprehensive benchmark dataset for SSVEP-based hybrid BCI
JP7165910B2 (ja) 印象評価システム、及び、印象評価方法
Qin et al. Decision prediction using visual patterns
Li et al. Sensitive Text Information Detection Based on Single-trial EEG Signals
Li et al. A practical hybrid BCI speller for Chinese Character Input: Integrating an Eye Tracker into a P300-Based Spelling approach
Touyama Post-saccadic event related potential toward a new technique for information retrieval
CN111629653B (zh) 具有高速眼睛跟踪特征的大脑-计算机接口

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination