CN107329582A - 一种基于eog的快速字符输入方法 - Google Patents

Abstract

本发明公开了一种基于EOG的快速字符输入方法，包括步骤：1)通过采集放大模块采集和放大眼电EOG；2)采集放大模块与智能移动终端的app建立无线连接通信；3)智能移动终端的app开启字符闪烁刺激界面，同时接收来自采集放大模块的眼电数据；4)智能移动终端的app根据接收到的眼电数据做出决策，将结果输出到刺激界面上。本发明实现了基于EOG的快速字符输入，使得肢体不便的残疾人可以利用眨眼实现字符的输入，操作简单，且输入速度快，准确率高。

Description

一种基于EOG的快速字符输入方法

技术领域

本发明涉及生理医学信号处理以及人机交互领域，具体为一种基于眼电(Electrooculogram，EOG)的快速字符输入方法。

背景技术

正常人可以通过各种人机交互的设备如键盘，鼠标等与计算机或者智能手机进行沟通。随着科学技术的进步，人机交互技术取得了飞速的发展和进步，人机交互的方式也变得更加的自然，舒适和智能；比如触摸屏的应用，语音控制的实现等等；但是这些常见的高效率的人机的交互方式都需要人通过肢体的运动来实现，这样对于某些肢体有缺失的残疾人，运动神经损伤，肢体运动障碍的患者而言，普通的人机交互很难满足这些特定人群的需求，基于生物医学电信号的人机交互技术应运而生；基于生物医学电信号的人机交互技术是当前人机交互的研究热点，也是实现智能化控制的重要方向，具有深远的意义和广阔的应用前景。人体具有多种生物电信号，比如脑电信号、肌电信号、心电信号、眼电信号等等，从这些信号中可以挖掘出很多的有用信息，现如今已经实现的基于脑电、肌电、心电进行医疗诊断得到脑电图技术、肌电图技术、心电图技术等。在人机交互方面，实现了利用人工智能、信号处理等有效方法获取这些生物电信号中包含的有用信息，给人们提供了一种与外界进行信息的交流以及控制的新途径。

眼电(EOG，Electrooculogram)信号可以由眼球的移动和眨眼动作产生，同时可以分成传统的基于眼电信号设计的虚拟键盘系统或者鼠标控制系统都是通过识别眼部的动作，如皱眉、眼球左右移动、眨眼来产生不同的控制信号，从而实现文字的录入或者其他的控制选项；但是这种方法存在不足之处：第一不同种眼部动作的区分的算法增加系统的复杂度；第二对于使用者而言，眼部动作多而且繁杂，容易造成疲劳，影响系统的使用体验。如中国专利(一种基于眼电的智能字符输入系统，公开号：CN205644443U)，中国专利(一种基于眼电信号的计算机输入控制方法，公开号：CN102119307A)实现了基于眨眼的字符输入，其中设计的键盘刺激系统都是选择区按行循环进行亮度选择区的切换，眼电采集识别眼电后选定行，同时按行循环进行的亮度选择区停止切换，所选行作为选择区按时按照列循环进行高亮按键的切换；虽然该刺激方案实现起来简单，但是需要通过很长的时间才能定位到所需要的键，导致字符的输入速度很慢。

发明内容

本发明的目的在于克服现有技术的不足与缺点，提供了一种基于EOG的快速字符输入方法，该方法使得肢体不便的残疾人可以利用眨眼实现字符的输入，操作简单，输入速度快，且正确率高。

为实现上述目的，本发明所提供的技术方案为：一种基于EOG的快速字符输入方法，包括以下步骤：

1)通过采集放大模块采集和放大眼电EOG，其中，所述采集放大模块上安置有三个电极，分别为EOG电极、参考电极、反馈电极，该EOG电极帖于眉毛稍上位置，用于采集原始眼电信号，该参考电极帖于左边耳根上，该反馈电极用于抑制共模噪，贴于右边耳根上；

2)采集放大模块与智能移动终端的app建立无线连接通信，具体过程如下：

2.1)采集放大模块上安置有WiFi模块，设置WiFi模块的IP地址，智能移动终端打开无线网络，连接名为Amp的WiFi后，建立无线连接，智能移动终端与WiFi模块能够互传数据，其中智能移动终端作为client端，采集放大模块作为sever端；

2.2)智能移动终端连接TCP端口，智能移动终端与采集放大模块建立基于TCP协议的连接，智能移动终端接收来自采集放大模块发送过来的眼电数据；

2.3)智能移动终端连接UDP端口，智能移动终端与采集放大模块建立基于UDP协议的连接，采集放大模块接收由智能移动终端发送过来的标记数据；

3)智能移动终端的app开启字符闪烁刺激界面，同时接收来自采集放大模块的眼电数据；其中，所述刺激界面是一个n×n的闪烁单位阵，当闪烁单位处于静息状态时为白字黑底，当闪烁单位处于闪烁状态时闪烁单位处于黑字白底状态，此过程开始后n×n个闪烁单位以一个固定的顺序闪烁，当某一个闪烁单位闪烁时智能移动终端的app会发送字符标记event到采集放大模块上，其中event代表闪烁单位上的字符，字符标记是一个大于或等于1但小于或等于n×n的整数，采集放大模块收到后立刻换回字符标记event到智能移动终端的app，此过程耗时2ms-4ms，智能移动终端的app以接收到字符标记event的时刻起，将会采集从接收到字符标记后的600ms眼电数据，然后将数据放到epoch中，epoch由眼电数据和字符标记event组成，其中眼电数据为两个通道600ms的采样数据；直到每一轮闪烁完毕即n×n个闪烁单位都闪烁一次后600ms，都会完成每一轮n×n个不同字符标记的epoch的收集；

4)智能移动终端的app根据接收到的眼电数据做出决策，将结果输出到刺激界面上，具体过程如下：

4.1)离线训练；

4.2)第一轮闪烁完毕后对收集到的n×n个epoch新建长度为n×n的posToAve数组和value数组，posToAve和value都是整型数组，分别对posToAve和value零初始化；

4.3)对本轮第i个epoch都提取第一个通道的数据为一个数组data，i为计数单位，代表第i个epoch，初始值为零，找到该数组data中最大值点的下标值a，通过公式：

posToA ve[i]＝|posTop[i]-topA ve|

式中，posTop[i]＝a表示最大值点出现的位置，topAve代表使用者离线训练时多次受到闪烁单位闪烁刺激眨眼后，最大值a的平均值，posToAve[i]表示posTop[i]到topAve的距离，计算该数组data的差分，找到差分值中的最大值b，判断b是否大于avethrehold，avethrehold代表使用者离线训练时多次受到闪烁单位闪烁刺激眨眼后，b的平均值；如果b大于或等于avethrehold则value[event-1]＝value[event-1]+posToAve[event-1]；如果b小于avethrehold，value[event-1]＝value[event-1]+1000，其中这里的event代表第i个epoch的字符标记；i加1循环执行步骤4.3)直到i等于n×n；

4.4)本轮结束后，posToAve零初始化，下一轮闪烁开始，收集到n×n个epoch，回到步骤4.3)执行，两轮结束后value数组中最小值对应的event即为结果，然后将event代表的字符输出到刺激界面上。

所述智能移动终端为基于安卓系统的手机或者平板电脑。

本发明与现有的基于EOG字符拼写相比，具有如下优点与有益效果：

1、连接采集放大模块、开启刺激界面、输出结果，所有这些操作都在app上完成，相比于在电脑上多个软件协同操作而言，操作简单，使用者体验更好。

2、本发明把刺激界面和处理模块都集成在智能移动终端的app上，智能移动终端可以是智能手机、平板电脑，安装下载本发明提供的apk文件，安装APP应用后就可以使用。

3、本发明的打标发送event的方式为硬件实现，相比于软件实现不会受到操作系统线程阻塞造成的影响，更加的精准。

4、本发明使用无线网络传输数据，抗干扰能力增强，传输的范围广，更便于扩展模块和应用。

5、刺激方式为单个闪烁单位轮流闪烁，眨眼引导性更强，算法复杂度变低，两轮闪烁即可完成字符选定，输出结果；经试验得出：平均选定一个字符的时间为2.6s，准确率是96.7％。

附图说明

图1为本发明的智能移动终端的app主界面图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

以刺激界面是一个4×4的闪烁单位阵(可以拼写16种不同字符)实现字符B的拼写过程为例，本实施例所提供的快速字符输入方法，其具体情况如下：

1)通过采集放大模块采集和放大眼电EOG，其中，所述采集放大模块上安置有三个电极，分别为EOG电极、参考电极、反馈电极，该EOG电极帖于眉毛稍上位置，用于采集原始眼电信号，该参考电极帖于左边耳根上，反馈电极用于抑制共模噪，贴于右边耳根上。

2)采集放大模块与智能移动终端(基于安卓系统的手机或者平板电脑)的app建立无线连接通信，具体过程如下：

2.1)打开采集放大模块上安置的WiFi模块，智能移动终端打开无线网络，连接名为Amp的WiFi后，建立无线连接；智能移动终端与WiFi模块可以互传数据，智能移动终端作为客户端，而采集放大模块作为服务器端；

2.2)打开安装在智能移动终端上的名为EOG的app，点击菜单栏上的NETSTIM连接UDP端口后，智能移动终端与采集放大模块建立基于UDP协议的连接，采集放大模块接收由智能移动终端发送过来的标记数据；

2.3)点击菜单栏上的NETREADER连接TCP端口后，智能移动终端与采集放大模块建立基于TCP协议的连接，智能移动终端接收来自采集放大模块发送过来的眼电数据，与此同时，NETREADER会显示接受到的眼电波形。

3)智能移动终端的app开启字符闪烁刺激界面，同时接收来自采集放大模块的眼电数据；参见图1所示，刺激界面是一个4×4的闪烁单位阵，当闪烁单位处于静息状态时为白字黑底，当闪烁单位处于闪烁状态时闪烁单位处于黑字白底状态；此过程开始后16个闪烁单位以一个固定的顺序闪烁，当某一个闪烁单位闪烁时智能移动终端的app会发送字符标记event(event代表闪烁单位上的字符，字符标记是一个大于或等于1但小于或等于n×n的整数)到采集放大模块上，采集放大模块又会马上换回字符标记event到智能移动终端的app，此过程耗时2ms-4ms，智能移动终端的app以接收到字符标记event的时刻起，将会采集从接收到字符标记event后的600ms眼电数据(2×150个采样点)，然后将数据放到epoch中，epoch由眼电数据和字符标记event组成，其中眼电数据为两个通道600ms(2×150)的采样数据；直到每一轮闪烁完毕即16个闪烁单位都闪烁一次后600ms，都会完成每一轮16个不同字符标记event的epoch的收集。

4)智能移动终端的app根据接收到的眼电数据做出决策，将结果输出到刺激界面上，具体过程如下：

4.1)离线训练：离线训练时使用者只盯着B，当B闪烁时马上眨眼，B闪烁11次之后，去掉第一次闪烁的epoch另外10个epoch作为训练样本，对每个epoch都提取第一个通道的数据(150个采样点)为一个数组data，找到150个点中最大值点的下标值t取平均后得到topAve，对每个epoch都提取第一个通道的数据(150个采样点)为一个数组data，找到150个点中最大值点的下标值v取平均后得到avethrehold(avethrehold代表使用者离线训练时多次受到闪烁单位闪烁刺激眨眼后，b的平均值)；

4.2)待步骤4.1)训练完毕后，重新启动app，重复上面步骤2)至步骤3)，点击app上的START控件，刺激界面启动后，使用者只需在闪烁到字符B时眨眼；

4.3)新建长度为16的value数组，并零初始化；

4.4)一轮闪烁完毕后对收集到的16个epoch，新建长度为16的posToAve数组，并零初始化；对每个epoch都提取第一个通道的数据(150个采样点)为一个数组data，找到150个点中最大值点的下标值a，posTop[event-1]＝a，通过公式：

posToA ve[i]＝|posTop[i]-topA ve|

计算posTop[event-1]到topAve的距离；计算150个采样点的的差分，找到差分值中的最大值b，diffTop[event-1]＝b，判断diffTop[event-1]是否大于avethrehold，如果diffTop大于或等于avethrehold则value[event-1]＝value[event-1]+posToAve，如果diffTop小于avethrehold，value[event-1]＝value[event-1]+1000；

4.5)本轮结束后，下一轮闪烁开始，回到步骤4.4)执行，两轮结束后value数组中最小值对应的event为字符B，然后将结果B输出显示到刺激界面上方。

综上所述，本发明方法为一种全新的基于EOG的字符输入方案，不但能够实现单靠眨眼完成字符输入，而且操作起来简单，输入快速，基本达到平均2.6s每一个字符，准确率高达96.7％。这相比现有技术，本发明的操作方便，准确率高，具有非常广阔的应用前景，特别是便利有肢体障碍的残疾人与外界的沟通，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (2)

1.一种基于EOG的快速字符输入方法，其特征在于，包括以下步骤：

1)通过采集放大模块采集和放大眼电EOG，其中，所述采集放大模块上安置有三个电极，分别为EOG电极、参考电极、反馈电极，该EOG电极帖于眉毛稍上位置，用于采集原始眼电信号，该参考电极帖于左边耳根上，该反馈电极用于抑制共模噪，贴于右边耳根上；

2)采集放大模块与智能移动终端的app建立无线连接通信，具体过程如下：

2.1)采集放大模块上安置有WiFi模块，设置WiFi模块的IP地址，智能移动终端打开无线网络，连接名为Amp的WiFi后，建立无线连接，智能移动终端与WiFi模块能够互传数据，其中智能移动终端作为client端，采集放大模块作为sever端；

2.2)智能移动终端连接TCP端口，智能移动终端与采集放大模块建立基于TCP协议的连接，智能移动终端接收来自采集放大模块发送过来的眼电数据；

2.3)智能移动终端连接UDP端口，智能移动终端与采集放大模块建立基于UDP协议的连接，采集放大模块接收由智能移动终端发送过来的标记数据；

3)智能移动终端的app开启字符闪烁刺激界面，同时接收来自采集放大模块的眼电数据；其中，所述刺激界面是一个n×n的闪烁单位阵，当闪烁单位处于静息状态时为白字黑底，当闪烁单位处于闪烁状态时闪烁单位处于黑字白底状态，此过程开始后n×n个闪烁单位以一个固定的顺序闪烁，当某一个闪烁单位闪烁时智能移动终端的app会发送字符标记event到采集放大模块上，其中event代表闪烁单位上的字符，字符标记是一个大于或等于1但小于或等于n×n的整数，采集放大模块收到后立刻换回字符标记event到智能移动终端的app，此过程耗时2ms-4ms，智能移动终端的app以接收到字符标记event的时刻起，将会采集从接收到字符标记后的600ms眼电数据，然后将数据放到epoch中，epoch由眼电数据和字符标记event组成，其中眼电数据为两个通道600ms的采样数据；直到每一轮闪烁完毕即n×n个闪烁单位都闪烁一次后600ms，都会完成每一轮n×n个不同字符标记的epoch的收集；

4)智能移动终端的app根据接收到的眼电数据做出决策，将结果输出到刺激界面上，具体过程如下：

4.1)离线训练；

4.2)第一轮闪烁完毕后对收集到的n×n个epoch新建长度为n×n的posToAve数组和value数组，posToAve和value都是整型数组，分别对posToAve和value零初始化；

4.3)对本轮第i个epoch都提取第一个通道的数据为一个数组data，i为计数单位，代表第i个epoch，初始值为零，找到该数组data中最大值点的下标值a，通过公式：

posToA ve[i]＝|posTop[i]-topA ve|

式中，posTop[i]＝a表示最大值点出现的位置，topAve代表使用者离线训练时多次受到闪烁单位闪烁刺激眨眼后，最大值a的平均值，posToAve[i]表示posTop[i]到topAve的距离，计算该数组data的差分，找到差分值中的最大值b，判断b是否大于avethrehold，avethrehold代表使用者离线训练时多次受到闪烁单位闪烁刺激眨眼后，b的平均值；如果b大于或等于avethrehold则value[event-1]＝value[event-1]+posToAve[event-1]；如果b小于avethrehold，value[event-1]＝value[event-1]+1000，其中这里的event代表第i个epoch的字符标记；i加1循环执行步骤4.3)直到i等于n×n；

4.4)本轮结束后，posToAve零初始化，下一轮闪烁开始，收集到n×n个epoch，回到步骤4.3)执行，两轮结束后value数组中最小值对应的event即为结果，然后将event代表的字符输出到刺激界面上。

2.根据权利要求1所述的一种基于EOG的快速字符输入方法，其特征在于：所述智能移动终端为基于安卓系统的手机或者平板电脑。