CN102129307A - 一种基于眼电信号的计算机输入控制方法 - Google Patents

Abstract

本发明涉及一种基于眼电信号的计算机输入控制方法，包括如下步骤：步骤1：在计算机内预先设定一键盘按键选择区，所述键盘按键选择区中按键按多行多列的矩阵排列；步骤2：所述键盘按键选择区按行循环进行高亮选择区的切换，眼电采集传输模块采集并识别眼电后将其作为控制信号输入计算机，同时按行循环进行的高亮选择区停止切换，所述高亮选择区开始按列循环进行高亮按键的切换；步骤3：当眼电采集传输模块再次采集并识别眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果。本发明的有益效果是：能够进行复杂的计算机输入控制，使用者通过本发明可以无障碍的使用计算机。

Description

一种基于眼电信号的计算机输入控制方法

技术领域

本发明涉及生物信息技术领域，特别涉及眼电信号的控制技术。

背景技术

目前，利用人体的生物信号与计算机或者控制设备进行系统通信所构建的人机交互系统，是残疾人辅助装置研究的前沿和热点。例如公开号为CN1423228A的中国发明专利申请，于2003年6月11日公开了一种“识别人眼注视方向的装置和方法及其应用”，它包括摄像头，图像接口和处理器所构成的硬件设备，定时循环图像采集与人眼注视方向识别以及将人眼注视用作控制指令和辅助信号的非接触智能控制技术，该方案的基本原理是通过一图像采集装置如摄像头将人眼的机械动作如眨眼采集为图像，然后再对图像进行分析处理后得到控制信号输入到计算机，该方案系统结构复杂，处理过程繁琐，造成操作不便，成本也高。

眼动和眨眼所产生的电信号统称为眼电(EOG，Electro-oculogram)，可分为水平眼电(HEOG，Horizontal Electro-oculogram)、垂直眼电(VEOG，Vertical Electro-oculogram)和径向眼电(REOG，Radial Electro-oculogram)。眼电的持续时间一般不超过200～300ms，眼电的幅度为50μV～1mV。眼电可以通过放置在眼睛附近的一系列电极得到。电极放置的位置如图1所示。水平眼电主要反映了眼球的水平运动，用放置在两眼外侧的电极E5、E6测量；垂直眼电主要反映了眼球的垂直运动及眨眼，用放置在两眼上下位置的电极E1、E3或者E2、E4测量；径向眼电主要反映了眼球的转动，用垂直眼电电极E1、E3和参考电极E7联合测量，也可以用垂直眼电电极E2、E4和参考电极E7联合测量，具体测量公式为式(1)。例如公开号为CN1601445A的中国发明专利专利申请，于2005年3月30日公开了一种“多功能人体生物眼电开关控制装置”，它包括眼电信号采集装置、单片嵌入式单片机处理、开关驱动电路等，它的原理是利用眼电得到控制信号，虽然该方案结构简单，但是多次眼电输出后才能获得一次控制命令，因此控制功能单一，只能提供少数开关控制信号，不能用于复杂的计算机输入控制

发明内容

本发明的目的是为了便于残疾人特别是上肢残疾的人员进行复杂的计算机输入控制，提供了一种基于眼电信号的计算机输入控制方法。

为了实现上述目的，本发明的技术方案是：一种基于眼电信号的计算机输入控制方法，包括如下步骤：

步骤1：在计算机内预先设定一键盘按键选择区，所述键盘按键选择区中按键按多行多列的矩阵排列；

步骤2：所述键盘按键选择区按行循环进行高亮选择区的切换，眼电采集传输模块采集并识别眼电后将其作为控制信号输入计算机，同时按行循环进行的高亮选择区停止切换，所述高亮选择区开始按列循环进行高亮按键的切换；

步骤3：当眼电采集传输模块再次采集并识别眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果。

为了实现上述目的，本发明的另一技术方案是：一种基于眼电信号的计算机输入控制方法，包括如下步骤：

步骤1：在计算机内预先设定一鼠标按键选择区，所述鼠标按键选择区中按键按一行多列的方式排列；

步骤2：所述鼠标按键选择区按列循环进行高亮按键的切换，当眼电采集传输模块采集并生成眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果。

本发明的有益效果是：本发明将计算机内预先设定的键盘按键选择区或鼠标按键选择区的高亮切换与采集到的眼电信号关联起来，将眼电信号作为按键选择的控制信号，在通过所选择的按键间接实现对计算机的输入控制，因此相对现有的眼电输入控制方案，本发明能够进行复杂的计算机输入控制，使用者通过本发明可以无障碍的使用计算机，进一步可以同步计算机控制更多的设备。

附图说明

图1眼电测量电极位置示意图；

图2是本发明所采用的基于眼电信号的计算机输入控制装置的原理示意图；

图3是本发明的键盘按键选择区的示意图；

图4是本发明的鼠标按键选择区的示意图。

图5是本发明实施例1的流程图。

图6是本发明实施例2的流程图。

具体实施方式

在对本发明的具体实施例进行说明前，首先对本发明所采用的基于眼电信号的计算机输入控制装置做详细的说明。如图2所示，

本发明硬件系统包括能根据眼电信号特点采集并放大眼电信号的眼电采集传输模块和计算机主机以及显示模块，如图2所示。所述的眼电采集传输模块包括氯化银采集电极、放大器、滤波器、模/数转化器(A/D转换器)、能与计算机连接的USB接口(Universal SerialBUS，通用串行总线)；所述的计算机主机及显示模块包括通用计算机(主机)和显示器。所述的氯化银采集电极经电缆与放大器相连；经放大器放大的眼电信号输入滤波器；然后经A/D转换器进入USB接口与计算机(主机)连接；同时所述计算机(主机)还可以与鼠标、键盘、显示器设备等外设连接。

所述的氯化银采集电极使用普通的氯化银电极；所述的放大器为低噪音高精度仪器运算放大器要求其共模抑制比在100dB以上放大倍数在1000倍以内；所述的滤波器为低通滤波器采用截至频率为100Hz的二阶巴特沃兹滤波器；所述的A/D转换器采用双极性12位A/D转换器；所述的USB接口采用COMPAQ、Hewlett Packard、Intel、Lucent、Microsoft、NEC和PHILIPS这7家厂商联合制定了USB 2.0接口协议。所述的计算机(主机)为500MHzPentium处理器(或更快)、256MB系统RAM(或更大)、10GB硬盘(或更大)和USB2.0接口，操作系统为windows XP或者windows vista。所述的显示器为CRT显示器或者液晶显示器，显示屏最小为14英寸。眼电识别阈值设定为120μV，即将放大器送来的大于120μV的信号识别为眨眼动作。通过USB接口送入的信号采集、眼电识别程序和屏幕显示、控制命令输出均采用C++builder编写。

本发明的软件系统包括可以读取上述USB接口的数据采集分析部分和键盘鼠标控制选择部分。所述的数据采集分析部分负责通过USB接口接收所述的眼电采集传输模块传送过来的眼电数据，通过设定阈值的方法，将超过阈值(如阈值设定为120μV)的数据判定为眨眼眼电。键盘鼠标控制选择部分用于实现在眼电信号的控制下利用显示器上面的键盘按键选择区或者鼠标按键选择区进行计算机输入控制。

下面结合附图和具体实施例对本发明的具体方案做进一步的说明。

实施例1：如图5所示，一种基于眼电信号的计算机输入控制方法，包括如下步骤：

步骤1：在计算机内预先设定一键盘按键选择区，所述键盘按键选择区中按键按多行多列的矩阵排列。

所述的键盘按键选择区如图3所示，由一个M(如M＝8)列×N行(如N＝7)的矩阵组成，每个矩阵单元代表一个键盘按键符号，键盘按键括号中的符号为先选择“shift”后，再选择的按键所输出给计算机的符号，所述的键盘选择区中非显示的符号Shift、Space、Caps lock、Esc、Ctrl、Alt、Tab、Enter的定义与通用键盘定义相同。

步骤2：所述键盘按键选择区按行循环进行高亮选择区的切换，眼电采集传输模块采集并识别眼电后将其作为控制信号输入计算机，同时按行循环进行的高亮选择区停止切换，所述高亮选择区开始按列循环进行高亮按键的切换。本实施例中眼电采集传输模块的采样率为1kHz，即每1ms(毫秒)采集一个数据点，并且每隔10毫秒送入计算机一个数据包，即一个数据包中包含10个数据点。本步骤的详细过程包括如下步骤：

步骤21：眼电采集传输模块的控制程序完成键盘按键选择区行列数值的初始化，令列M＝1，行N＝1，并读取眼电采集传输模块经USB接口送入到计算机的数据，前述数据为30ms时间段内的眼电数据，包括了30个数据点的眼电数据，标记为眼电数据D30；

步骤22：控制程序使得键盘按键选择区的第N行高亮，并启动操作系统提供的定时器开始记录第N行高亮的时间；

步骤23：再次读取眼电采集传输模块经USB接口送入的10毫秒时间内(即10个数据点)的眼电数据标记为眼电数据D₁₀，并将上述步骤21中的眼电数据D₃₀的前10个数据点移出眼电数据D₃₀，用本步骤中的眼电数据D₁₀的数据在后端补齐眼电数据D₃₀的空缺得到新的眼电数据D₃₀；

步骤24：判断步骤23中新的眼电数据D₃₀的30个数据点是否全部大于120μV，如果大于120μV则转入步骤3，否则转入步骤25；

步骤25：根据步骤22中开启的定时器的记录的时间，判断第N行高亮的时间是否大于规定的时间T(本实施例中定义T＝1s)，如果大于规定的时间T则令N＝N+1，程序转入步骤26，否则转入步骤23；

步骤26：判断N是否大于键盘按键选择区的最大行数(本实施例最大行数为7)，如果不大于最大行数则程序转入步骤22，否则将令N＝N-7后，转入步骤22；

步骤3：当眼电采集传输模块再次采集并识别眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果。本步骤的详细过程包括如下步骤：

步骤31：眼电采集传输模块的控制程序使得键盘按键选择区的第N行第M列对应的键盘按键高亮作为高亮按键，并启动操作系统提供的定时器开始记录高亮按键的时间；

步骤32：计算机再次读取眼电采集传输模块经USB接口送入的眼电数据D₁₀，并将上述步骤23中的眼电数据D₃₀的前10个数据点移出眼电数据D₃₀，用本步骤中的眼电数据D₁₀在后端补齐眼电数据D₃₀的空缺得到新的眼电数据D₃₀；

步骤33：判断步骤32中的眼电数据D₃₀的30个数据点是否全部大于120μV，如果大于120μV则转入步骤36，否则转入步骤34；

步骤34：根据步骤31中开启的定时器的记录的时间，判断第N行第M列高亮的时间是否大于规定的时间T(本实施例中定义T＝1s)，如果大于规定的时间T，则令M＝M+1，程序转入步骤35，如果不大于规定的时间T，则转入步骤32；

步骤35：判断M是否大于键盘按键选择区的最大列数(本实施例最大列数为8)，如果不大于最大列数则程序转入步骤31，否则将令M＝M-8后，转入步骤31；

步骤36：输出第N行第M列对应的高亮按键的按键值到应用程序后转入到步骤2；

下面以实施例1的方案为例输入数值“Welcome”，首先屏幕出现的图3的键盘按键显示界面，在图3中依次的以行为单位，变换高亮颜色，并不断的循环，变换的维持时间为1秒钟。由于所打的英文的第一个字母为大写的W，所以当图3的Caps lock单元所在的行即由上至下第6行的高亮颜色发生变化时，使用者眨眼，所产生的眼电信号经放大器送入计算机，由眼电识别程序判断信号是否超过120μV的阈值，如果没有超过阈值，则在第6行背景变换1秒钟后，恢复第6行的颜色，并改变第7行的高亮颜色；如果超过了阈值，则维持第6行的高亮颜色不变，并依次由左至右改变第6行中每一个单元格的高亮颜色，每次改变时也维持1秒钟，当Caps lock单元格高亮颜色发生变化时，操作者则再次眨眼确认，同样经过上述的眼电识别后，如果超过阈值，则Caps lock被选中。然后图3又按行为单位依次轮换改变高亮颜色，当w所在的第2行高亮颜色改变时，使用者眨眼确认后，图3维持第2行高亮颜色不变，由左至右改变每个单元格的高亮颜色，当w所在的单元格即从左至右的第4个单元格高亮颜色发生变化时，使用者再次眨眼则大写的W将作为使用选择的字符予以输出。剩余的elcome6个字母的输出也按照上述过程，通过眨眼选择e所在的行，再通过眨眼选择e所在行中的所在的单元格，程序输出使用者选择的字符e；通过眨眼选择e所在的行，再通过眨眼选择e所在行中的所在的单元格，程序输出使用者选择的字符e；通过眨眼选择l所在的行，再通过眨眼选择l所在行中的所在的单元格，程序输出使用者选择的字符l；通过眨眼选择c所在的行，再通过眨眼选择c所在行中的所在的单元格，程序输出使用者选择的字符c；通过眨眼选择o所在的行，再通过眨眼选择o所在行中的所在的单元格，程序输出使用者选择的字符o；通过眨眼选择m所在的行，再通过眨眼选择m所在行中的所在的单元格，程序输出使用者选择的字符m；通过眨眼选择e所在的行，再通过眨眼选择e所在行中的所在的单元格，程序输出使用者选择的字符e。至此完成了一个英文单词的输出。

实施例2：如图6所示，一种基于眼电信号的计算机输入控制方法，包括如下步骤：

一种基于眼电信号的计算机输入控制方法，包括如下步骤：

步骤1：在计算机内预先设定一鼠标按键选择区，所述鼠标按键选择区中按键按一行多列的方式排列；所述的鼠标按键选择及鼠标方向控制区如图4所示，由一个M(如M＝11)列×N行(如N＝1)的矩阵组成，每个矩阵单元代表一个鼠标控制命令。其中“←”代表鼠标向左移动一个水平步长(水平步长为计算机显示器水平有效显示距离的二十五分之一)；“→”代表鼠标向右移动一个水平步长；“↑”代表鼠标向上移动一个垂直步长(垂直步长为计算机显示器垂直有效显示距离的十分之一)；“↓”代表鼠标向下移动一个垂直步长；其它按键分别代表鼠标向下移动一个垂直步长向左移动一个水平步长；鼠标向上移动一个垂直步长向右移动一个水平步长；鼠标向上移动一个垂直步长向左移动一个水平步长；鼠标向下移动一个垂直步长向右移动一个水平步长。键盘选择区中的“鼠标”键与鼠标按键选择及鼠标方向控制区中“键盘”键，用于在键盘选择区和鼠标按键选择及鼠标方向控制区之间相互切换。

步骤2：所述鼠标按键选择区按列循环进行高亮按键的切换，当眼电采集传输模块采集并生成眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果，本实施例中眼电采集传输模块的采样率为1kHz，即每1ms(毫秒)采集一个数据点，并且每隔10毫秒送入计算机一个数据包，即一个数据包中包含10个数据点。本步骤的详细过程为：

步骤21：眼电采集传输模块的控制程序完成鼠标按键选择区列数值的初始化，令列M＝1，并读取眼电采集传输模块经USB接口送入到计算机的数据，前述数据为30ms时间段内的眼电数据，包括了30个数据点的眼电数据，标记为眼电数据D₃₀；

步骤22：控制程序使得鼠标按键选择区的第M列高亮，并启动操作系统提供的定时器开始记录第M列高亮的时间；

步骤23：再次读取眼电采集传输模块经USB接口送入的10毫秒时间内(即10个数据点)的眼电数据标记为眼电数据D₁₀，并将上述步骤21中的眼电数据D₃₀的前10个数据点移出眼电数据D₃₀，用本步骤中的眼电数据D₁₀的数据在后端补齐眼电数据D₃₀的空缺得到新的眼电数据D₃₀；

步骤24：判断步骤23中新的眼电数据D₃₀的30个数据点是否全部大于120μV，如果大于120μV则转入步骤27，否则转入步骤25；

步骤25：根据步骤22中开启的定时器的记录的时间，判断第M列高亮的时间是否大于规定的时间T(本实施例中定义T＝1s)，如果大于规定的时间T则令M＝M+1，程序转入步骤26，否则转入步骤23；

步骤26：判断M是否大于鼠标按键选择区的最大列数(本实施例最大列数为11)，如果不大于最大列数则程序转入步骤22，否则将令M＝M-11后，转入步骤22；

步骤27：输出第M列对应的高亮按键的按键值到应用程序后转入到步骤22。

下面以实施例2的方案为例在使用鼠标控制时，使用者的操作如下：首先假定在使用鼠标之前使用的是图3的键盘按键选择，那么当图3依次按行变换每一行的高亮颜色时，当“鼠标”按键所在的由上至下的第7行高亮颜色变化时，使用者眨眼确认；然后第7行高亮颜色不变，依次由左至右改变每一个单元格的高亮颜色，当“鼠标”所在的第8个单元格的高亮颜色发生变化时，使用者眨眼确认，此时图3将不会继续改变任何行与单元格的高亮颜色。而变成图4按照由左至右的方式依次改变每一个单元格的方式，使用者只需要在所期望的鼠标移动方向上眨眼确认即可输出控制鼠标移动的命令，同时也可以输出鼠标的左右键，对于上、下、左、右、左上、左下、右上、右下等方向命令系统将控制鼠标移动一个水平步长或垂直步长或水平垂直步长。对于左键、右键控制命令系统将直接将这些命令输出，用于控制计算机。当使用者想输入字符时，只需等到图4的“键盘”按键的单元格高亮颜色发生变化时，眨眼确认。则图4的单元格将不发生高亮颜色变化，改由图3按照前述的方式改变高亮颜色。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为发明的保护范围并不局限于这样的特别陈述和实施例。凡是根据上述描述做出各种可能的等同替换或改变，均被认为属于本发明的权利要求的保护范围。

Claims (5)

1.一种基于眼电信号的计算机输入控制方法，包括如下步骤：

步骤1：在计算机内预先设定一键盘按键选择区，所述键盘按键选择区中按键按多行多列的矩阵排列；

步骤2：所述键盘按键选择区按行循环进行高亮选择区的切换，眼电采集传输模块采集并识别眼电后将其作为控制信号输入计算机，同时按行循环进行的高亮选择区停止切换，所述高亮选择区开始按列循环进行高亮按键的切换；

步骤3：当眼电采集传输模块再次采集并识别眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果。

2.根据权利要求1所述的一种基于眼电信号的计算机输入控制方法，其特征在于，所述步骤2包括如下步骤：

步骤21：眼电采集传输模块的控制程序完成键盘按键选择区行列数值的初始化，令列M＝1，行N＝1，并读取眼电采集传输模块经USB接口送入到计算机的数据，前述数据为30ms时间段内的眼电数据，包括了30个数据点的眼电数据，标记为眼电数据D₃₀；

步骤22：控制程序使得键盘按键选择区的第N行高亮，并启动操作系统提供的定时器开始记录第N行高亮的时间；

步骤23：再次读取眼电采集传输模块经USB接口送入的10毫秒时间内(即10个数据点)的眼电数据标记为眼电数据D₁₀，并将上述步骤21中的眼电数据D₃₀的前10个数据点移出眼电数据D₃₀，用本步骤中的眼电数据D₁₀的数据在后端补齐眼电数据D₃₀的空缺得到新的眼电数据D₃₀；

步骤24：判断步骤23中新的眼电数据D₃₀的30个数据点是否全部大于120μV，如果大于120μV则转入步骤3，否则转入步骤25；

步骤25：根据步骤22中开启的定时器的记录的时间，判断第N行高亮的时间是否大于规定的时间T(本实施例中定义T＝1s)，如果大于规定的时间T则令N＝N+1，程序转入步骤26，否则转入步骤23；

步骤26：判断N是否大于键盘按键选择区的最大行数(本实施例最大行数为7)，如果不大于最大行数则程序转入步骤22，否则将令N＝N-7后，转入步骤22。

3.根据权利要求1所述的一种基于眼电信号的计算机输入控制方法，其特征在于，所述步骤3包括如下步骤：

步骤31：眼电采集传输模块的控制程序使得键盘按键选择区的第N行第M列对应的键盘按键高亮作为高亮按键，并启动操作系统提供的定时器开始记录高亮按键的时间；

步骤32：计算机再次读取眼电采集传输模块经USB接口送入的眼电数据D₁₀，并将上述步骤23中的眼电数据D₃₀的前10个数据点移出眼电数据D₃₀，用本步骤中的眼电数据D₁₀在后端补齐眼电数据D₃₀的空缺得到新的眼电数据D₃₀；

步骤33：判断步骤32中的眼电数据D₃₀的30个数据点是否全部大于120μV，如果大于120μV则转入步骤36，否则转入步骤34；

步骤34：根据步骤31中开启的定时器的记录的时间，判断第N行第M列高亮的时间是否大于规定的时间T(本实施例中定义T＝1s)，如果大于规定的时间T，则令M＝M+1，程序转入步骤35，如果不大于规定的时间T，则转入步骤32；

步骤35：判断M是否大于键盘按键选择区的最大列数(本实施例最大列数为8)，如果不大于最大列数则程序转入步骤31，否则将令M＝M-8后，转入步骤31；

步骤36：输出第N行第M列对应的高亮按键的按键值到应用程序后转入到步骤2。

4.一种基于眼电信号的计算机输入控制方法，包括如下步骤：

步骤1：在计算机内预先设定一鼠标按键选择区，所述鼠标按键选择区中按键按一行多列的方式排列；

步骤2：所述鼠标按键选择区按列循环进行高亮按键的切换，当眼电采集传输模块采集并生成眼电后将其作为控制信号输入计算机后，同时按列循环进行的高亮按键停止切换，并将该高亮按键作为计算机的输入控制结果。

5.根据权利要求4所述的一种基于眼电信号的计算机输入控制方法，其特征在于，所述步骤2包括如下步骤：

步骤21：眼电采集传输模块的控制程序完成鼠标按键选择区列数值的初始化，令列M＝1，并读取眼电采集传输模块经USB接口送入到计算机的数据，前述数据为30ms时间段内的眼电数据，包括了30个数据点的眼电数据，标记为眼电数据D₃₀；

步骤22：控制程序使得鼠标按键选择区的第M列高亮，并启动操作系统提供的定时器开始记录第M列高亮的时间；

步骤23：再次读取眼电采集传输模块经USB接口送入的10毫秒时间内(即10个数据点)的眼电数据标记为眼电数据D₁₀，并将上述步骤21中的眼电数据D₃₀的前10个数据点移出眼电数据D₃₀，用本步骤中的眼电数据D₁₀的数据在后端补齐眼电数据D₃₀的空缺得到新的眼电数据D₃₀；

步骤24：判断步骤23中新的眼电数据D₃₀的30个数据点是否全部大于120μV，如果大于120μV则转入步骤27，否则转入步骤25；

步骤25：根据步骤22中开启的定时器的记录的时间，判断第M列高亮的时间是否大于规定的时间T(本实施例中定义T＝1s)，如果大于规定的时间T则令M＝M+1，程序转入步骤26，否则转入步骤23；

步骤26：判断M是否大于鼠标按键选择区的最大列数(本实施例最大列数为11)，如果不大于最大列数则程序转入步骤22，否则将令M＝M-11后，转入步骤22；

步骤27：输出第M列对应的高亮按键的按键值到应用程序后转入到步骤22。

Images