CN101598973B - 基于眼电信号的人机交互系统 - Google Patents

Abstract

基于眼电信号的人机交互系统，其特征是眼电信号采集与放大模块通过眼电信号传感器获取眼电信号，并对其进行放大；在线眼电信号处理模块实现对来自眼电信号采集与放大模块的信号进行在线模式识别，实时判断出操作者的眼部动作；以受控单元实现眼动模式的编码及受控命令的生成。本发明应用性强、测量精度高、识别速度快、操作简单方便，实现了基于眼电的特殊人机交互。本发明可以帮助肢体残疾人象正常人一样实现操控计算机、书写文本、浏览网页等操作或实现对其他电子设备，如对家电的无线控制等人机交互动作；同时还可以用于正常人不便用手操作计算机的场合，比如：矿井、营救手术、航天器、水下等条件苛刻或狭窄的环境中。

Description

基于眼电信号的人机交互系统

技术领域

本发明涉及属于生物医学与信息学交叉领域，更具体地说是一种基于眼电信号的人机交互系统的设计、实现与应用。

背景技术

个人计算机在工作单位以及在普通家庭中不断普及。传统的计算机系统以键盘和鼠标作为最主要的输入输出设备。目前大部分计算机系统采用的人机交互模式为：键盘鼠标——显示器——键盘鼠标。虽然这种人机交互的模式可以满足大部分计算机用户的需求，但是对于肢体严重残疾和运动神经系统损伤的群体而言，无法正常使用鼠标和键盘等传统的输入设备。因此，适合残障群体人机交互方式的研究和相关设备的开发具有重要的社会价值和实际应用价值。

另外，有关国内、外许多眼电的研究证明，眼球中角膜部分是一个正电极，视网膜部分是一个负电极。眼睛沿水平方向或垂直方向每运动1°，将分别会产生约16uV和14uV的电压，这种在视网膜色素上皮和光感受器细胞之间存在的视网膜静电位信号被称为electro-oculogram，简称EOG信号，该信号可以被放置在眼眶周围的电极直接检测到。正因为眼电信号具有幅度较强，易于检测等特点，所以利用人眼运动特征信息的人机交互研究成为了当前人机交互领域的热点问题。

围绕基于眼电信号的人机交互方式这一思路，科技人员已开展了广泛的研究，开发出多种可通过眼睛运动来控制计算机或外部设备的系统，并申报了相关专列成果，如专利US3462604，US4109145，US3986030，US3507988，US4651145。但是，上述人机交互方式的实现需要用到光学设备和图象处理技术，其最大的缺点是：(1)系统复杂；(2)容易受到环境光源的干扰；(3)一些实现方式需要特殊的视觉刺激信号供给操作者，并需要相应的用于监控的反应码。

发明内容

本发明是为避免上述人机交互方式所存在的不足，提供一种应用性较强、测量精度高、识别速度快、操作简单方便的基于眼电信号的人机交互系统。

本发明解决技术问题采用如下技术方案：

本发明基于眼电信号的人机交互系统，其特点是所述系统组成包括眼电信号采集与放大模块、在线眼电信号处理模块及受控设备单元。

所述眼电信号采集与放大模块通过眼电信号传感器获取眼电信号，并对其进行放大；

所述在线眼电信号处理模块实现对来自眼电信号采集与放大模块的信号进行在线模式识别，实时判断出操作者的眼部动作；

所述受控单元实现眼动模式的编码及受控命令的生成。

本发明基于眼电信号的人机交互系统的特点也在于：

所述眼电信号采集与放大模块包括眼电信号传感单元、信号放大单元及USB接口电路。

所述眼电信号传感单元为：设置四电极双通道结构，用于采集眼球水平方向运动眼动信号的第一通道电极I位于颢侧；用于采集眼球垂直方向运动眼电信号的第二通道电极II位于眼眉正上方；参考电极C位于乳凸处；接地电极GND位于额头正中间；

所述信号放大单元依次设置为：射随器、一级放大器、反馈式高通滤波单元、二级放大器和后续低通滤波单元；

所述USB接口电路用于将所放大的眼电信号送入计算机。

本发明基于眼电信号的人机交互系统的特点也在于：

所述放大单元的放大倍数为8000，所述高通滤波的截至频率为0.159Hz，低通滤波的截止频率为10Hz。

本发明基于眼电信号的人机交互系统的特点还在于：

所述在线眼电信号处理模块包括预处理、特征提取与识别单元。

以所述预处理单元对眼电信号进行预滤波、去均值、归一化及去噪；

所述特征提取单元从眼电信号中提取眼电信号的特征序列，包括峰值、波形趋势、零值点、中位数、上四分位数、下四分位数、持续时间、信号能量；所述峰值包括波峰和波谷，所述波形趋势包括波形的上升沿和下降沿趋势；

所述识别单元通过对输入眼电的特征来判断操作者眼部的实际动作。

本发明基于眼电信号的人机交互系统的特点还在于：

所述受控设备单元包括虚拟键盘和鼠标的计算机输入设备和无线电子设备。

与现有技术相比，本发明有益效果体现在：

1、本发明应用性较强，本发明在诸多领域具有重大的应用意义，它不仅可以适于肢体有残疾的人员与计算机之间的交互，操作者可以通过眼睛的运动来操控计算机、书写文本、浏览网页等，帮助肢体残疾人象正常人般使用计算机，或实现对其他电子设备，如对家电的无线控制。同时还可以用于正常人不便用手操作计算机的场合，比如：矿井、营救手术、航天器、水下等条件苛刻或狭窄的环境中。

2、本发明测量精度高，本发明改进了眼电传感器的贴片位置，减少了电极数量，在一定程度上降低了电极与受试者之间的相互影响，提高了测量精度；另一方面本发明提出了一种眼电采集系统中放大器、信号滤波器的组合方式，保证了对眼电信号的准确采集。

3、本发明识别速度快，本发明采用了在线处理的方法，克服了传统批处理算法的识别速度较慢的缺点，实现了对眼电信号逐个样本点操作，实时获取操作者眼部动作，大大提高了系统的识别速度。

4、本发明具有较强的人机交互能力，本发明通过对眼动模式的检测和编码设计，增强了眼动控制计算机设备的能力。

5、本发明使用简单方便，本发明不需要使用者提前进行训练，可直接实现对眼电信号的判断，大大简化了使用过程；人性化用户界面的设计，使用者可以很快适应整个操作规程。

附图说明

图1为本发明基于眼电信号的人机交互系统结构框图。

图2为本发明的双通道四电极接线示意图。

图3为本发明的放大器及滤波器组合电路原理图。

图4为本发明眼电信号的信号采集流程图。

图5为本发明眼电信号的信号在线处理流程图。

图6为本发明所采集到的眼睛转动及眨眼时的眼电信号波形图。

图7为本发明进行特征值选取示意图。

以下通过具体实施方式，结合附图对本发明作进一步说明。

具体实施方式

参见图1，本实施例中的系统由眼电信号采集与放大模块、在线眼电信号处理模块及受控设备单元三部分组成。

参见图2，实施例中电极贴放方式为：第一通道为采集眼球水平方向运动的眼动信号，电极位于颢侧，如图2电极I位置；第二通道为采集眼球垂直方向运动的眼电信号、电极位于眼眉正上方，如图2电极II位置；参考电极位于乳凸处，如图2电极C位置；接地电极位于额头正中间，如图2电极GND位置。

取水平电极和垂直电极每个方向中的一个电极作为公共参考电极，贴片位置选取对电势干扰小的乳凸处，以三个电极实现已有技术中需要有四个电极配对的接法。这一接法对眼电信号的测量无大变化，但降低过多电极对受试者造成的不适感。同时也减少了测量误差。

具体实施中，除了参考地电极GND之外，其他的生物电极的接法左右位置皆可，水平电极I在右颢侧和左颢侧互换后，采集得到的眼电图波形正负方向正好相反。

参见图3，本实施例中眼电信号采集与放大模块包括放大器和滤波器两部分。根据眼电信号的特点，前置放大器采用低噪声低功耗高共模抑制比的差分放大器芯片INA128，通过调节电阻R₁改变放大增益，前置放大器增益为 $G_1=1+\frac{50\mathrm{k\Ω}}{R_1};$ 其后电路结构中均采用具有低噪声高精度高输入阻抗特性的放大器芯片OPA2227系列，单元A中的电路结构通过INA128的反馈管脚5，与其形成组合高通滤波器单元，去除眼电信号中的波形漂移和直流分量噪声，截止频率为 $f_H=\frac{1}{2\mathrm{\π}{R}_4{C}_1},$ 调节电阻R₄和电容C₁使f_H＝0.159Hz；随后的单元B内电路结构为补充放大器，补足整个电路所需的放大倍数，增益公式为 $G_2=1+\frac{R_3}{R_2};$ 最后通过单元C内的电路结构实现低通滤波，滤除工频干扰及高频分量等噪声，电路中设计R₅＝R₆＝R₇＝R，用于简化电路设计过程，相应低通滤波传输函数为 $H\left(s\right)=\frac{1}{3C_4\mathrm{Rs}+C_3{C}_4{R}^2{s}^2+1},$ 通过调节电阻R和电容C₃、C₄使低通截止频率定在f_L＝10Hz。

为了更好地采集眼电信号，在图3所示电路结构的前端添加跟随器电路，目的在于降低整个电路的输入阻抗，提高信噪比，为后级信号的采集做准备。

参见图4，本实施例中系统的基本控制流程，主要包括程序初始化、检查系统指令、接收眼电数据及对数据分析处理等部分。

基于本实施例系统的方法主要包括以下步骤：

1、把眼电传感器按照图2所示，分别安装在颢侧，以采集水平眼电信号、眼眉正上方以采集垂直眼电信号、乳凸处作为参考电极及额头正中间作为地信号；

2、眼电传感器采集到的微弱眼电信号通过射随器、一级放大器、反馈式高通滤波单元、二级放大器和后续低通滤波单元，实现对眼电信号8000倍的放大；

3、放大后的眼电信号，为了去除自身的眼震、眨眼，带电物体的静电、电磁噪声，还有人体肌电信号、心电信号等噪声，进行去均值、归一化和10Hz低通滤波等预处理操作后(基本流程如图5所示)，所得到的波形如图6所示。图6中(a)图至(e)图了分别描述了滤波后不同通道所采集的眨眼信号、向左扫视信号、向右扫视信号、向下扫视信号及向上扫视信号。并根据不同的信号分别提取出峰值、波形趋势、零值点、中位数、上四分位数、下四分位数、持续时间、信号能量，峰值包括波峰和波谷，波形趋势包括波形的上升沿和下降沿趋势等特征，如图7所示。零值点表示眼电波形数据保持在水平线位置。为避免静止状态时眼电波形的不平稳性，及提高系统对眼电波形判断的准确性，故在系统设计中，可以规定数据参考值的绝对值小于0.2时的数据为零值点。当眼电波形数据达到最大值或最小值时，产生波峰和波谷两个特征点。眼电波形数据下降到波谷参考值的四分之一或上升到波峰参考值的四分之一时的眼电数据为下四分位数，同理，中位数为眼电波形数据下降到波谷或上升到波峰参考值的一半时的数据参考值，同理可得上四分位数。眼电模式的持续时间指从眼电模式波形数据参考值的绝对值超过0.2时开始计时，到眼电波形数据第二次返回零值点时为止的时间间隔，眼电模式的持续时间反映着眼球扫视或眼睛眨眼运动持续的时间间隔。通过上述特征，系统可以判断出操作者的眼部动作，比如：眨眼、眼球向上、向下、向左、向右眼动信号，其步骤如下：

3.1判断当前波形数据是否属于零值点——一般限定数据幅值的绝对值小于预设的门限为零值点。例如：|数据幅值|＜1，则幅值小于1的数据在零值点处。这样做的好处是可以忽略眼睛的微小运动对眼电信号波形类型识别带来的干扰。

3.2若波形数据属于零值点，则初始化参变量；否则判断波形趋势是上升趋势还是下降趋势。

3.3若波形处于上升趋势，则判断波形是否达到波峰；若波形处于下降趋势，则判断是否达到波谷。

3.4当波形达到波峰时，把峰值另赋予峰值变量。

3.5根据波形上升或下降趋势和峰值大小判断眼电模式开始端。

3.6同第3.1、3.2、3.3、3.4步。

3.7根据波形下降或上升趋势和峰值大小判断相应波形类型的结束端，初始化参变量。若波形发生异常，例如波形数据在一定时间内始终在零值点内等，则强制结束判断，并初始化参变量。

3.8返回第3.1步继续执行。

4、使用步骤3所判断出的操作者眼部动作，对鼠标的基本操作步骤如下：

4.1获取鼠标当前位置。

4.2当有眼睛扫视信号时，计算相应方向鼠标移动一定距离后的位置，并设置该位置为当前位置。

4.3设置鼠标位置于当前位置，即移动鼠标于当前位置。

4.4当有眨眼信号时，对眨眼次数进行编码，实现鼠标击键动作，例如左键单击、左键双击和右键单击。以眨眼信号为首编码，对眨眼信号次数和眼睛扫视信号混合编码，可以设置鼠标移动的单位距离，或设置其他操作，例如移动鼠标于当前活动框等。例如眨眼2、3、4次分别实现鼠标左键单击、左键双击和右键单击动作，眼睛向右扫视一次实现鼠标向右移动一个单元格距离等。

4.5返回第4.1步继续执行。

5、使用步骤3所判断出的操作者眼部动作，对屏幕键盘的步骤如下：

5.1通过对眨眼次数编码，或对眨眼次数与扫视信号的混合编码，实现屏幕键盘的开启与关闭。例如连续眨眼5次开启屏幕键盘，再次连续眨眼5次关闭屏幕键盘等。

5.2当屏幕键盘开启时，自动定位鼠标当前位置于屏幕键盘某按键处，以方便对按键的操作，并初始化鼠标单位移动距离大小，以屏幕键盘按键最小距离为宜。

5.3以眼动信号移动鼠标的方式移动屏幕键盘的当前按键位置，以眨眼次数编码实现鼠标击键动作，实现屏幕键盘按键功能，实现文本输入或快捷键操作。

5.4当关闭屏幕键盘时，还原鼠标单位移动距离大小，并移动鼠标于当前活动框处。

Claims (3)

1.基于眼电信号的人机交互系统，其特征是所述系统组成包括眼电信号采集与放大模块、在线眼电信号处理模块及受控设备单元；

所述眼电信号采集与放大模块通过眼电信号传感单元获取眼电信号，并对其进行放大；

所述在线眼电信号处理模块实现对来自眼电信号采集与放大模块的信号进行在线模式识别，实时判断出操作者的眼部动作；

所述受控单元实现眼动模式的编码及受控命令的生成；

所述眼电信号采集与放大模块包括眼电信号传感单元、信号放大单元及USB接口电路；

所述眼电信号传感单元为：设置四电极双通道结构，用于采集眼球水平方向运动眼电信号的第一通道电极I位于颢侧；用于采集眼球垂直方向运动眼电信号的第二通道电极II位于眼眉正上方；参考电极C位于乳凸处；接地电极GND位于额头正中间；

所述信号放大单元依次设置为：射随器、一级放大器、反馈式高通滤波单元、二级放大器和后续低通滤波单元；

所述USB接口电路用于将所放大的眼电信号送入在线眼电信号处理模块。

2.根据权利要求1所述的基于眼电信号的人机交互系统，其特征是所述放大单元的放大倍数为8000，高通滤波的截至频率为0.159Hz，低通滤波的截止频率为10Hz。

3.根据权利要求1所述的基于眼电信号的人机交互系统，其特征是所述在线眼电信号处理模块包括预处理单元、特征提取单元与识别单元；

以所述预处理单元对眼电信号进行预滤波、去均值、归一化及去噪；

所述特征提取单元从眼电信号中提取眼电信号的特征序列，包括峰值、波形趋势、零值点、中位数、上四分位数、下四分位数、持续时间、信号能量；所述峰值包括波峰和波谷，所述波形趋势包括波形的上升沿和下降沿趋势；

所述识别单元通过对输入的眼电信号的特征来判断操作者眼部的实际动作。

Images