CN106681495A - 一种基于eog的异步字符输入方法及装置 - Google Patents

一种基于eog的异步字符输入方法及装置 Download PDF

Info

Publication number
CN106681495A
CN106681495A CN201611118744.9A CN201611118744A CN106681495A CN 106681495 A CN106681495 A CN 106681495A CN 201611118744 A CN201611118744 A CN 201611118744A CN 106681495 A CN106681495 A CN 106681495A
Authority
CN
China
Prior art keywords
button
wheel
eog
signal
glittering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611118744.9A
Other languages
English (en)
Other versions
CN106681495B (zh
Inventor
李远清
何盛鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201611118744.9A priority Critical patent/CN106681495B/zh
Publication of CN106681495A publication Critical patent/CN106681495A/zh
Priority to PCT/CN2017/110102 priority patent/WO2018103495A1/zh
Priority to US16/324,926 priority patent/US11442536B2/en
Application granted granted Critical
Publication of CN106681495B publication Critical patent/CN106681495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

本发明公开了一种基于EOG的异步字符输入方法及装置，方法包括步骤：在显示器上显示的虚拟键盘，共有N个键，虚拟键盘一轮一轮进行闪烁，在每一轮中，所有N个键随机闪烁一次；拼写时用户跟着目标键的闪烁进行眨眼，实时采集用户的眼电信号，从采集到的眼电信号中截取一个按键闪亮后一段时间之内的眼电数据作为该闪烁键的原始特征向量，每一轮就产生N个原始特征向量，调用眼电识别方法对上述N个原始特征向量进行识别，输出0‑N中的某一个结果，0表示不满足字符输入的条件，1‑N对应虚拟键盘上的N个按键。本发明在保证眨眼被正常检测的同时，有效排除对非眨眼信号的误判，提高了字符输入的准确率。

Description

一种基于EOG的异步字符输入方法及装置
技术领域
本发明属于依靠人体生物信号的字符输入技术领域，特别涉及一种基于EOG的异步字符输入方法及装置。
背景技术
为了让具有运动功能障碍的残疾人也能跟外界交互，提高他们的生活质量和自理能力，一类利用人体生物电信号实现与计算机或外部设备通信的新型人机接口已经成为近年来研究的前沿和热点。人体的生物电信号主要包括脑电(EEG，Electroencephalogram)、肌电(EMG，Electromyography)、心电(ECG，Electrocardiogram)、眼电(EOG，Electrooculogram)。基于生物电信号实现的人机接口几乎不需要使用者进行任何显著的运动，即能实现与外界的交互，对于具有严重运动障碍的残疾人(如肌萎缩性侧索硬化ALS，脑干中风，脊髓损伤SCI等)来讲具有重大意义。
在以上生物电信号中，心电很难受人自主控制，肌电信号要求使用者具有能运动的同时又适合用来作为控制信号的肌肉组织，脑电信号比较复杂而且很微弱，用于实现高性能人机接口的难度较大，所以现有技术中涉及的人机接口相当一部分采用眼电信号。眼电(EOG，Electrooculogram)，是由眼球水平运动、垂直运动、转动或眨眼等动作产生的生物电信号。
公开号为CN1601445A的中国发明专利申请，于2005年3月30日公开了一种“多功能人体生物眼电开关控制装置”，该方案将受试者连续3次，4次，5次眨眼对应的眼电信号作为控制命令，用于开关外部设备。该方法控制指令单一，无法满足复杂的人机交互任务。
公开号为CN102129307A的中国发明专利申请，于2011年7月20日公开了“一种基于眼电信号的计算机输入控制方法”，在该方案中，虚拟键盘中的行列以循环的方式高亮，同时由眼电采集模块采集并识别眼电，当识别到眼电信号时将当前高亮的行列判定为目标字符所在的行列,该方案采用的眼电识别策略为当检测到连续30毫秒的信号幅值均大于120μV时判断为一个眨眼。虽然通过该专利公开的方法确实能够进行复杂的计算机输入控制，但至少还存在以下几点不足。首先，该专利公开的其中一个具体实施例键盘输入，由7行8列组成的键盘区以行列的形式循环高亮，每次高亮时间为1秒，所以理论上一轮循环高亮的时间为15秒，假设每次眨眼都能成功被检测，那么输入一个字符的时间平均需要7.5秒(行列无需完整闪完)，如果某一次眨眼检测不成功则时间至少会再增加7-8秒，所以字符输入的速度比较慢。其次，该公开方法不能很好的控制误报，当设备启动但使用者暂时不想输入字符时，也会因为不自主的眨眼而产生误输入。最后，该公开方法对眨眼检测的策略过于简单，只是对连续30毫秒内的信号进行阈值判断，这种判断条件过于松弛，因为眼球的其他运动比如水平扫视、斜视、转动、跳视等也很容易产生一个超过120μV的眼电波而被误判为眨眼，进而产生误输入，但实际上这些眼电活动在波形上跟眨眼是存在明显差别的。
因此，提供一种根据眼电信号准确输入字符的方法及装置具有重要的意义。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于EOG的异步字符输入方法，在保证眨眼被正常检测的同时，有效排除对非眨眼信号的误判，提高了字符输入的准确率。
本发明的另一目的在于提供一种基于EOG的异步字符输入装置，其能够实现保证眨眼被正常检测的同时，有效排除对非眨眼信号的误判，提高了字符输入的准确率。
本发明的目的通过以下的技术方案实现：一种基于EOG的异步字符输入方法，包括以下步骤：
在显示器上显示的虚拟键盘，假设共有N个键，虚拟键盘一轮一轮进行闪烁，在每一轮中，所有N个键随机闪烁一次；拼写时用户跟着目标键的闪烁进行眨眼，眼电采集模块实时采集用户的眼电信号，从采集到的眼电信号中截取一个按键闪亮后一段时间之内的眼电数据作为该闪烁键的原始特征向量，每一轮就产生N个原始特征向量，当这N个原始特征向量收集完成时调用眼电识别方法进行识别，眼电识别算法将输出0-N中的某一个结果，0表示不满足字符输入的条件，1-N对应虚拟键盘上的N个按键。
具体步骤如下：
S1：虚拟键盘一轮一轮进行闪烁，在每一轮中，所有N个键随机闪烁一次，拼写时用户跟着目标键的闪烁进行眨眼，眼电采集模块实时采集用户的眼电信号，从采集到的眼电信号中为每个按键截取其闪亮后100-500毫秒时间范围之内的眼电数据作为该按键在本轮闪烁中的初始特征；
S2：对所截取到的初始特征数据依次进行包括去除基线漂移、去除50Hz工频干扰以及0.1-30Hz带通滤波在内的预处理；
S3：对步骤S2预处理之后的眼电数据x求一阶差分，具体方法为：
di＝xi+1-xi
其中，i表示第i个采样点，d表示差分后的信号；
S4：对差分之后的N个特征D＝[d1,d2,...,dN]，对应一轮中N次按键闪烁，进行SVM分类和波形检测，得到N个SVM分类结果S＝[s1,s2,...，si,...,sN]和N个波形检测结果W＝[w1,w2,...,wi,...,wN]，其中对SVM分类结果S只保留其最大的前M个分值并将其余置零；将SVM分类结果S和波形检测结果W相乘，得到Rt，t表示第t轮：
Rt是一个包含M个非零值的N维行向量。
S5：遍历Rt，若不存在则当前轮无目标输出，返回步骤S1继续检测；若存在则满足的按键被视为当前轮的候选目标，作进一步判断；
S6：在连续三次的检测中(第t,t-1,t-2次检测)，如果没有任何一个按键两次被检测为候选目标，则当前轮无目标输出，输出结果为0，返回步骤S1继续检测；否则，对应最大的按键被确定为目标，并根据按键执行其对应的操作，然后转入步骤S1继续检测。
优选的，所述虚拟键盘有4行10列共40个按键组成。
具体的，虚拟键盘所有按键以一种“有条件的随机”方式闪亮，具体闪亮方式为：以1.2秒为一轮，在一轮中40个按键中的每一个都将闪亮一次，每个按键每次闪亮的持续时间为100毫秒，相邻两个闪烁按键之间的时间间隔为30毫秒。
进一步的，所述“有条件的随机”闪亮方式是指在每轮闪烁中，40个按键的先后顺序是随机的，但需要满足以下两个条件：
(1-1)任何一个按键在连续两轮中闪亮的时间间隔不少于600毫秒；
(1-2)确定一轮中按键的闪烁顺序时，需要确定前两轮按键闪烁的先后顺序，即尽量保证任何一个字符周围不会出现前两轮中该字符周围出现过的字符。
优选的，所述步骤S4中的波形检测包括以下步骤：
差分信号Di进行以下3个条件的检查：a、波谷在波峰出现以后40-140毫秒的位置出现；b、波峰/波谷对应整段信号的最大/最小值点；c、波峰到波谷这段信号的能量总和大于预先设定的阈值P；
当这3个条件都检查通过时，则该差分信号Di对应的按键i的波形检查通过；wi取值为0或1，wi＝0表示特征di的波形检测不通过，wi＝1表示特征di的波形检测通过。
优选的，所述步骤S4中用到的SVM分类器需事先训练好，训练过程包含以下步骤：
(4-1)采集若干次试验的眼电数据，每次试验有一个指定的目标键，且每次试验进行若干轮，在每一轮中N个按键以随机方式各闪亮一次，要求用户只有当目标按键闪亮时执行眨眼操作，这样在每一次试验，每一轮中，每一个按键都产生一个特征向量，所有特征向量包含了训练SVM分类器所需要的正负样本；
(4-2)在所有采集到的特征向量中，目标按键对应的特征为正样本特征，赋予标签1；非目标按键对应的特征为负样本特征，赋予标签-1；
(4-3)用这些带标签的正负样本训练SVM分类器。
优选的，当虚拟键盘有40个键时，步骤S4中M取值为5。
一种基于EOG的异步字符输入装置，包括电极、眼电采集模块、计算机主机和显示器；电极通过自带的连接导线与眼电采集模块相连，眼电采集模块得到的眼电信号通过普通串口跟计算机主机连接，计算机主机通过普通VGA连接线与显示器连接。
优选的，电极为普通氯化银电极。
优选的，眼电采集模块包括信号放大模块、信号滤波模块、A/D转换模块以及串口通信模块，其中：
(1)信号放大模块基于INA128芯片，其共模抑制比在120db以上，放大倍数在1000倍以上；
(2)信号滤波模块基于OPA4227芯片，包含了一个截止频率为3Hz的二阶巴特沃斯高通滤波器，一个截止频率为25Hz的四阶巴特沃斯低通滤波器，以及一个巴特沃斯50Hz陷波滤波器；
(3)A/D转换模块基于AD7606芯片，其转换精度为16位；
(4)串口通信模块采用STM32自带的串口通信模块。
本发明与现有技术相比，具有如下优点和有益效果：
(1)在眨眼检测中，本发明采用波形匹配和SVM分类两种方法结合，在保证眨眼被正常检测的同时，基本上排除了对非眨眼信号的误判。
(2)本发明将按键的闪亮时序严格地作为用户眨眼的时机，一方面增加了眨眼检测的精度，另一方面可以将一个生理上毫无区别的眨眼动作对应成40种不同的按键操作，进而实现本发明所公开的多达40个不同按键的EOG虚拟键盘，并且加快了字符的输入速度。
(3)本发明提取的“有条件的随机闪烁”能很好的解决对时序很接近的非目标键的错判。
(4)本发明中采取3轮中检测到2次才认为是目标输入的机制，既有助于降低非自主眨眼引起的误报，也能减少正直眨眼时错判为其他键。
附图说明
图1是本实施例电极布置示意图；
图2是本实施例眼电采集模块框图；
图3是本实施例基于EOG的异步字符输入实现方法流程图；
图4是本实施例虚拟键盘示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1、2，本实施例一种基于EOG的异步字符输入装置，包括电极、眼电采集模块、计算机主机和显示器。电极通过自带的连接导线与眼电采集模块相连，眼电采集模块得到的眼电信号通过普通串口跟计算机主机连接，计算机主机通过普通VGA连接线与显示器连接。
电极为普通氯化银电极，如图1，本实施例中包括3个电极(GND：接地，E：眼电，REF：参考)，用于采集被试眼电信号。
眼电采集模块，其采集眼电时所用的采样率为250Hz，如图2，包括：信号放大、信号滤波、A/D转换以及串口通信等四个子模块，各个子模块的特点为：
(1)信号放大模块主要基于INA128芯片设计，其共模抑制比在120db以上，放大倍数在1000倍以上；
(2)信号滤波模块主要基于OPA4227芯片设计，包含了一个截止频率为3Hz的二阶巴特沃斯高通滤波器，一个截止频率为25Hz的四阶巴特沃斯低通滤波器，以及一个巴特沃斯50Hz陷波滤波器；
(3)A/D转换模块主要基于AD7606芯片设计，其转换精度为16位；
(4)串口通信模块主要基于STM32自带的串口通信模块实现。
本实施例中，计算机主机为普通PC机(台式机或笔记本电脑)，操作系统为WindowsXP或Windows 7。显示器为普通液晶显示器。
本实施例基于上述装置的EOG的异步字符输入方法，如图3，包括以下步骤：
S1:显示器上显示虚拟键盘，所述虚拟键盘有4行10列共40个按键组成，如图4所示。
虚拟键盘所有按键以一种“有条件的随机”方式闪亮，具体闪亮方式为以1.2秒为一个round(指一轮)，在一个round中40个按键中的每一个都将闪亮一次，每个按键每次闪亮的持续时间为100毫秒，相邻两个闪烁按键之间的时间间隔为30毫秒。
所述“有条件的随机”闪亮方式是指在每个round闪烁中，40个按键的先后顺序是随机的，但需要满足以下两个条件：
(1)任何一个按键在连续两个round中闪亮的时间间隔不少于600毫秒。
(2)确定一个round中按键的闪烁顺序时，需要考虑前两个round按键闪烁的先后顺序，即尽量保证任何一个字符周围不会出现前两个round中该字符周围出现过的字符。假设第i个round按键10前后各3个出现过的按键为集合A{1，2，3，5，12，6}，第i+1个round按键10前后各3个出现过的按键为集合B{4，14，8，30，36，11}，则在确定第i+2个round的闪烁顺序时，按键10前后的各3个闪烁键不能属于集合A或集合B。
S2：虚拟键盘按步骤S1的方式一轮一轮闪烁，拼写时要求用户跟着目标键的闪烁眨眼，从眼电采集模块采集到的眼电信号中截取一个按键闪亮时开始100-500毫秒的眼电数据作为该闪烁键的原始特征，每个round对应有40个原始特征向量，当这40个原始特征向量收集完成时调用眼电识别算法进行识别，眼电识别算法将输出0-40中的某一个结果，0表示不满足字符输入的条件，1-40对应步骤2界面上的40个按键。
本步骤的详细过程包括如下步骤：
S2-1：截取每个按键闪亮后100-500毫秒的眼电数据作为初始特征。
注意到步骤S1中两个闪烁按键之间的时间间隔为30毫秒，所以按键的初始特征之间会有数据重叠，但这种重叠不影响本发明的实施。
S2-2：对所采集到的持续时间为400毫秒的初始特征数据依次进行包括去除基线漂移、去除50Hz工频干扰以及0.1-30Hz带通滤波在内的预处理。
S2-3：对步骤S2-2预处理之后的眼电数据x求一阶差分，具体方法为：
di＝xi+1-xi
其中，i表示第i个采样点(采样频率为250Hz，400毫秒的特征共包含100个采样点)，d表示差分后的信号。
S2-4：对差分之后的40个特征D＝[d1,d2,...,d40]，对应一个round中40次按键闪烁，进行SVM分类和波形检测，得到40个SVM分类结果S＝[s1,s2,...，si,...,s40]和40个波形检测结果W＝[w1,w2,...,wi,...,w40]，其中对S只保留其最大的前5个分值并将其余置零。将SVM分类结果S和波形检测结果W相乘，得到Rt：
S2-5：遍历Rt，若不存在则当前round无目标输出，返回步骤S2-1继续检测；若存在则满足的按键被视为当前Round的候选目标，作进一步判断。
S2-6：在连续三次的检测中(第t,t-1,t-2次检测)，如果没有任何一个按键两次被检测为候选目标，则当前round无目标输出，输出结果为0，返回步骤S2-1继续检测；否则，对应最大的按键被确定为目标，并执行其对应的操作，如输出相应字符，删除字符，大小写切换和键盘锁定等操作，然后转入步骤S2-1继续检测。
比如第t-1轮候选按键1、2、3，第t轮候选按键2、3、4，那么按键2、3都满足条件，则对按键2、3进行计算，因第t-2轮候选肯定没有2、3(否则第t-1轮就应该输出2或3了)，则计算按键2、3在t-2，t-1，t轮的r值之和，选出最大的为目标。注意第t-2轮的r值实际上是0，因t-2轮的候选中没有2、3。
所述步骤S2-4中的波形检测是指对差分信号Di进行以下3个条件的检查：(1)波谷在波峰出现以后40-140毫秒的位置出现；(2)波峰/波谷确实对应整段信号的最大/最小值点；(3)波峰到波谷这段信号的能量总和大于预先设定的阈值P。当这3个条件都检查通过时，则该差分信号Di对应的按键i的波形检查通过。wi取值为0或1，wi＝0表示特征di的波形检测不通过，wi＝1表示特征di的波形检测通过
所述步骤S2-4中用到的SVM分类器需事先训练好，训练过程包含以下步骤：(1)按步骤S2-1，S2-2，S2-3的方式采集20次试验的眼电数据，每次试验有一个指定的目标键，且包含10个round，在每个round中40个按键以随机方式各闪亮一次，只有当目标按键闪亮时执行眨眼操作，这样采集到的数据包含了训练SVM分类器所需要的正负样本；(2)在所有采集到的8000个(20次试验×10个round×40个按键)特征向量中，目标按键对应的特征为正样本特征(共200个)，赋予标签1；非目标按键对应的特征为负样本特征(共7800个)，赋予标签-1；(3)用这些带标签的正负样本训练SVM分类器。
因眨眼波形比较稳定，且两类(眨眼信号和非眨眼信号)之间的区分度比较大，所以训练好的一个SVM分类器经试验可以被不同的用户长期使用，若某些用户效果不佳则可以针对性的再训练一个特定的SVM分类器。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于EOG的异步字符输入方法，其特征在于，包括以下步骤：
在显示器上显示的虚拟键盘，共有N个键，虚拟键盘一轮一轮进行闪烁，在每一轮中，所有N个键随机闪烁一次；拼写时用户跟着目标键的闪烁进行眨眼，眼电采集模块实时采集用户的眼电信号，从采集到的眼电信号中截取一个按键闪亮后一段时间之内的眼电数据作为该闪烁键的原始特征向量，每一轮产生N个原始特征向量，当这N个原始特征向量收集完成时调用眼电识别方法进行识别，眼电识别算法将输出0-N中的某一个结果，0表示不满足字符输入的条件，1-N对应虚拟键盘上的N个按键。
2.根据权利要求1所述的基于EOG的异步字符输入方法，其特征在于，包括步骤：
S1：虚拟键盘一轮一轮进行闪烁，在每一轮中，所有N个键随机闪烁一次，拼写时要求用户跟着目标键的闪烁进行眨眼，眼电采集模块实时采集用户的眼电信号，从采集到的眼电信号中为每个按键截取其闪亮后100-500毫秒时间范围之内的眼电数据作为该按键在本轮闪烁中的初始特征；
S2：对所截取到的初始特征数据依次进行包括去除基线漂移、去除50Hz工频干扰以及0.1-30Hz带通滤波在内的预处理；
S3：对步骤S2预处理之后的眼电数据x求一阶差分，具体方法为：
di＝xi+1-xi
其中，i表示第i个采样点，d表示差分后的信号；
S4：差分之后的N个特征D＝[d1,d2,...,dN]，对应一轮中N次按键闪烁，进行SVM分类和波形检测，得到N个SVM分类结果S＝[s1,s2,...，si,...,sN]和N个波形检测结果W＝[w1,w2,...,wi,...,wN]，其中对SVM分类结果S只保留其最大的前M个分值并将其余置零；将SVM分类结果S和波形检测结果W相乘，得到Rt，t表示第t轮：
R t = [ r 1 t , r 2 t , ... , r i t ... , r N t ] = [ s 1 · w 1 , s 2 · w 2 , ... , s i · w i , ... , s N · w N ]
Rt是一个包含M个非零值的N维行向量；
S5：遍历Rt，若不存在则当前轮无目标输出，返回步骤S1继续检测；若存在则满足的按键被视为当前轮的候选目标，作进一步判断；
S6：在连续三次的检测中(第t,t-1,t-2次检测)，如果没有任何一个按键两次被检测为候选目标，则当前轮无目标输出，输出结果为0，返回步骤S1继续检测；否则，对应最大的按键被确定为目标，并根据按键执行其对应的操作，然后转入步骤S1继续检测。
3.根据权利要求2所述的基于EOG的异步字符输入方法，其特征在于，所述虚拟键盘有4行10列共40个按键组成，虚拟键盘所有按键以一种“有条件的随机”方式闪亮，具体闪亮方式为：以1.2秒为一轮，在一轮中40个按键中的每一个都将闪亮一次，每个按键每次闪亮的持续时间为100毫秒，相邻两个闪烁按键之间的时间间隔为30毫秒。
4.根据权利要求3所述的基于EOG的异步字符输入方法，其特征在于，所述“有条件的随机”闪亮方式是指在每轮闪烁中，40个按键的先后顺序是随机的，但需要满足以下两个条件：
(1-1)任何一个按键在连续两轮中闪亮的时间间隔不少于600毫秒；
(1-2)确定一轮中按键的闪烁顺序时，需要确定前两轮按键闪烁的先后顺序，即尽量保证任何一个字符周围不会出现前两轮中该字符周围出现过的字符。
5.根据权利要求2所述的基于EOG的异步字符输入方法，其特征在于，所述步骤S4中的波形检测包括以下步骤：
差分信号Di进行以下3个条件的检查：a、波谷在波峰出现以后40-140毫秒的位置出现；b、波峰/波谷对应整段信号的最大/最小值点；c、波峰到波谷这段信号的能量总和大于预先设定的阈值P；
当这3个条件都检查通过时，则该差分信号Di对应的按键i的波形检查通过；wi取值为0或1，wi＝0表示特征di的波形检测不通过，wi＝1表示特征di的波形检测通过。
6.根据权利要求2所述的基于EOG的异步字符输入方法，其特征在于，所述步骤S4中用到的SVM分类器需事先训练好，训练过程包含以下步骤：
(4-1)采集若干次试验的眼电数据，每次试验有一个指定的目标键，且每次试验进行若干轮，在每一轮中N个按键以随机方式各闪亮一次，要求用户只有当目标按键闪亮时执行眨眼操作，这样在每一次试验，每一轮中，每一个按键都产生一特征向量，所有特征向量包含了训练SVM分类器所需要的正负样本；
(4-2)在所有采集到的特征向量中，目标按键对应的特征为正样本特征，赋予标签1；非目标按键对应的特征为负样本特征，赋予标签-1；
(4-3)用这些带标签的正负样本训练SVM分类器。
7.根据权利要求2所述的基于EOG的异步字符输入方法，其特征在于，当虚拟键盘有40个键时，步骤S4中M取值为5。
8.一种用于实现权利要求1-7任一项所述的基于EOG的异步字符输入方法的输入装置，其特征在于，包括电极、眼电采集模块、计算机主机和显示器；电极通过自带的连接导线与眼电采集模块相连，眼电采集模块得到的眼电信号通过普通串口跟计算机主机连接，计算机主机通过普通VGA连接线与显示器连接。
9.根据权利要求8所述的输入装置，其特征在于，眼电采集模块包括信号放大模块、信号滤波模块、A/D转换模块以及串口通信模块，其中：
(1)信号放大模块基于INA128芯片，其共模抑制比在120db以上，放大倍数在1000倍以上；
(2)信号滤波模块基于OPA4227芯片，包含了一个截止频率为3Hz的二阶巴特沃斯高通滤波器，一个截止频率为25Hz的四阶巴特沃斯低通滤波器，以及一个巴特沃斯50Hz陷波滤波器；
(3)A/D转换模块基于AD7606芯片，其转换精度为16位；
(4)串口通信模块采用STM32自带的串口通信模块。
10.根据权利要求8所述的输入装置，其特征在于，电极为普通氯化银电极。
CN201611118744.9A 2016-12-08 2016-12-08 一种基于eog的异步字符输入方法及装置 Active CN106681495B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611118744.9A CN106681495B (zh) 2016-12-08 2016-12-08 一种基于eog的异步字符输入方法及装置
PCT/CN2017/110102 WO2018103495A1 (zh) 2016-12-08 2017-11-09 一种基于eog的异步字符输入方法及装置
US16/324,926 US11442536B2 (en) 2016-12-08 2017-11-09 EOG-based method and apparatus for asynchronous character input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611118744.9A CN106681495B (zh) 2016-12-08 2016-12-08 一种基于eog的异步字符输入方法及装置

Publications (2)

Publication Number Publication Date
CN106681495A true CN106681495A (zh) 2017-05-17
CN106681495B CN106681495B (zh) 2018-09-14

Family

ID=58867938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611118744.9A Active CN106681495B (zh) 2016-12-08 2016-12-08 一种基于eog的异步字符输入方法及装置

Country Status (3)

Country Link
US (1) US11442536B2 (zh)
CN (1) CN106681495B (zh)
WO (1) WO2018103495A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103495A1 (zh) * 2016-12-08 2018-06-14 华南理工大学 一种基于eog的异步字符输入方法及装置
CN109144238A (zh) * 2018-05-14 2019-01-04 孙佳楠 一种基于眼电编码的人机交互系统及其交互方法
CN109901715A (zh) * 2019-03-01 2019-06-18 华南理工大学 一种面向虚拟现实的交互系统及其方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153317A (zh) * 2022-02-07 2022-03-08 深圳市心流科技有限公司 基于肌电信号的信息处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061544A1 (en) * 2004-09-20 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
CN102129307A (zh) * 2011-03-10 2011-07-20 电子科技大学 一种基于眼电信号的计算机输入控制方法
CN104010089A (zh) * 2014-06-18 2014-08-27 中南大学 一种基于眨眼肌电信号检测的手机拨号方法及系统
US8878782B1 (en) * 2008-10-24 2014-11-04 Sprint Communications Company L.P. Electrooculographical control for a mobile device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4320768A (en) * 1979-07-17 1982-03-23 Georgetown University Medical Center Computerized electro-oculographic (CEOG) system
US4889422A (en) * 1986-01-28 1989-12-26 George Pavlidis Method and means for detecting dyslexia
US8244340B2 (en) * 2006-12-22 2012-08-14 Natus Medical Incorporated Method, system and device for sleep stage determination using frontal electrodes
EP2304627A4 (en) * 2008-05-26 2014-08-13 Agency Science Tech & Res METHOD AND SYSTEM FOR CLASSIFYING CEREBRAL SIGNALS IN BCI
CA2894414C (en) * 2012-12-11 2023-08-29 Ami Klin Systems and methods for detecting blink inhibition as a marker of engagement and perceived stimulus salience
US9792823B2 (en) * 2014-09-15 2017-10-17 Raytheon Bbn Technologies Corp. Multi-view learning in detection of psychological states
CN106681495B (zh) * 2016-12-08 2018-09-14 华南理工大学 一种基于eog的异步字符输入方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061544A1 (en) * 2004-09-20 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
US8878782B1 (en) * 2008-10-24 2014-11-04 Sprint Communications Company L.P. Electrooculographical control for a mobile device
CN102129307A (zh) * 2011-03-10 2011-07-20 电子科技大学 一种基于眼电信号的计算机输入控制方法
CN104010089A (zh) * 2014-06-18 2014-08-27 中南大学 一种基于眨眼肌电信号检测的手机拨号方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
甘玉龙: "基于眼电的智能输入系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103495A1 (zh) * 2016-12-08 2018-06-14 华南理工大学 一种基于eog的异步字符输入方法及装置
US11442536B2 (en) 2016-12-08 2022-09-13 South China University Of Technology EOG-based method and apparatus for asynchronous character input
CN109144238A (zh) * 2018-05-14 2019-01-04 孙佳楠 一种基于眼电编码的人机交互系统及其交互方法
CN109144238B (zh) * 2018-05-14 2021-09-28 孙佳楠 一种基于眼电编码的人机交互系统及其交互方法
CN109901715A (zh) * 2019-03-01 2019-06-18 华南理工大学 一种面向虚拟现实的交互系统及其方法
CN109901715B (zh) * 2019-03-01 2022-03-18 华南理工大学 一种面向虚拟现实的交互系统及其方法

Also Published As

Publication number Publication date
WO2018103495A1 (zh) 2018-06-14
CN106681495B (zh) 2018-09-14
US11442536B2 (en) 2022-09-13
US20210278894A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
US20200367800A1 (en) Method for identifying driving fatigue based on cnn-lstm deep learning model
CN103793058B (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
Townsend et al. Continuous EEG classification during motor imagery-simulation of an asynchronous BCI
CN106681495A (zh) 一种基于eog的异步字符输入方法及装置
Postelnicu et al. EOG-based visual navigation interface development
Lee et al. A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach
CN107037883A (zh) 一种基于运动想象的混合脑机接口系统及方法
CN103892829B (zh) 一种基于共同空间模式的眼动信号识别系统及其识别方法
AU2008212131A1 (en) A system and method for processing brain signals in a BCI system
CN103425249A (zh) 基于正则化csp和src的脑电信号分类识别方法及其遥控系统
CN111012367A (zh) 一种精神疾病的智能识别系统
CN107480716B (zh) 一种结合eog和视频的扫视信号识别方法及系统
CN105640500A (zh) 基于独立分量分析的扫视信号特征提取方法和识别方法
CN105447475A (zh) 一种基于独立分量分析的扫视信号样本优化方法
CN110037693A (zh) 一种基于面部表情和eeg的情绪分类方法
CN104267807A (zh) 基于手部动作肌音信号的人机交互方法及交互系统
CN107480635B (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统
CN109144238A (zh) 一种基于眼电编码的人机交互系统及其交互方法
CN112957049A (zh) 基于脑机接口设备技术的注意力状态监测装置及方法
CN110705656A (zh) 一种基于eeg传感器的面部动作识别方法
Han et al. Confidence-aware subject-to-subject transfer learning for brain-computer interface
Anchan et al. Optimal bipolar lead placement in electrooculography (eog): A comparative study with an emphasis on prolonged blinks
CN206563944U (zh) 一种基于eog的开关装置
KR101768106B1 (ko) 뇌-컴퓨터 인터페이스 기반 문자 입력 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190716

Address after: 510640 Tianhe District, Guangdong, No. five road, No. 381,

Co-patentee after: Guangzhou South China University of Technology Asset Management Co., Ltd.

Patentee after: Li Yuanqing

Address before: Nansha District Avenue South Ring of 511458 cities in Guangdong province Guangzhou City, No. 25 Hua Da Guangzhou production and Research Institute

Patentee before: South China University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190820

Address after: 510670 Room 201, Building 72, Nanxiang Second Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.

Address before: 510640 Tianhe District, Guangdong, No. five road, No. 381,

Co-patentee before: Guangzhou South China University of Technology Asset Management Co., Ltd.

Patentee before: Li Yuanqing

TR01 Transfer of patent right