CN110134245A - 一种基于eog和姿态传感器的眼控装置以及眼控方法 - Google Patents

Abstract

本发明公开了一种基于EOG和姿态传感器的眼控装置，由信号采集模块、无线通信模块、控制模块、驱动模块和显示界面模块五个部分组成；所述信号采集模块用于采集用户头部的EOG信号和姿态信号，通过无线通信模块传输至控制模块；所述控制模块根据所采集的姿态信号对用户头部的姿态进行算法识别，根据识别结果确定操作部件的当前操作类型，并发送给驱动模块；驱动模块用于接收控制模块的计算结果，控制使操作部件完成对应的操作；所述显示界面模块用于显示人眼注视点的位置以及整个操作界面，本发明中的眼控方法可有效的实现利用人眼来对待操作器件进行控制。

Description

一种基于EOG和姿态传感器的眼控装置以及眼控方法

技术领域

本发明属于人机交互技术领域，具体涉及一种基于EOG和姿态传感器的眼控装置以及眼控方法。

背景技术

在现有技术中，人与操作设备(如头戴显示设备、计算机、手机等)之间的交互主要是通过手工操作的交互方式。例如，人与头戴显示设备进行交互时，可以利用物理按键进行提高音量、播放或暂停等操作；人与计算机进行交互时，需要手工操作键盘或鼠标进行播放或打开等操作；但对于残障人士或者双手暂时没有空闲(例如双手正在进行洗漱、做饭、吃饭等活动)进行操作的用户，利用输入设备(例如鼠标、键盘、操作器等)实现人机交互就非常困难。

在人机交互领域中，眼睛作为又一种重要的信息交互通道，而视线反应人的注意方向，因而将视线应用于人机交互领域具有其自然性、直接性和交互性等特点，备受人们的关注，因此如何基于人眼的动作来实现人机交互是亟需解决的技术问题。

专利CN104866100B公开了一种眼控装置及其眼控方法和眼控系统，其中，该眼控装置包括：注视点获取单元、人眼动作检测单元和控制信号生成单元，注视点获取单元用于获取人眼在待操作器件上的注视点的位置信息；人眼动作检测单元用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；控制信号生成单元用于根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，并将控制信号发送至待操作器件以供待操作器件执行相应的操作，该技术方案可有效的实现利用人眼来对待操作器件进行控制；但对类似这样的装置研究依然相对较少，以至于视线追踪交互装置尚未普及大众。

发明内容

为解决以上解决技术问题，本发明提供一种基于EOG和姿态传感器的眼控装置以及眼控方法，可基于人眼的动作来对待操作器件进行控制。

本发明提供的技术方案如下：

一种基于EOG和姿态传感器的眼控装置，由信号采集模块、无线通信模块、控制模块、驱动模块和显示界面模块五个部分组成；无线通信模块包含无线发送单元和无线接收单元，无线发送单元设置在信号采集模块的信号采集端，无线接收单元设置在控制模块的控制算法端，控制模块、驱动模块和显示界面模块依次连接；所述信号采集模块用于采集用户头部的EOG信号和姿态信号，通过无线通信模块传输至控制模块；所述控制模块根据所采集的姿态信号对用户头部的姿态进行算法识别，根据识别结果确定特定标识的当前坐标，并根据所采集的EOG信号对用户的眼球动作进行算法识别，根据识别结果确定操作部件的当前操作类型，然后将特定标识的坐标值和操作类型值发送给驱动模块；驱动模块用于接收控制模块的计算结果，将其转化为操作系统的操作部件控制指令，使操作部件完成对应的操作；所述显示界面模块用于显示人眼注视点的位置以及整个操作界面。

优选地，所述信号采集模块为可穿戴式设备，佩戴在用户头部，包括电极单元、EOG信号放大单元、姿态传感器单元和微处理器单元，电极单元、EOG信号放大单元与微处理器单元依次连接，姿态传感器单元与微处理器单元连接；电极单元含有三个导电电极，紧贴用户头部皮肤，其中一个置于用户额头，另外两个置于耳后；所述EOG信号放大单元中设置有AD8232集成仪表放大器，AD8232集成仪表放大器上集成有仪表放大器、高通滤波器、低通滤波器和右腿驱动电路；姿态传感器单元中设置有MPU9250传感器，该传感器为九轴姿态传感器，由三轴加速度传感器、三轴陀螺仪和三轴磁力计组成；微处理器单元采用STM32F103芯片，负责整个信号采集模块各组成部分的同步与控制。

优选地，无线通信模块的无线通讯协议为蓝牙、Wifi或2G/3G/4G/5G网络。

优选地，所述控制模块可运行在台式计算机、便携式计算机、平板电脑、手机或VR/AR平台。

优选地，所述显示界面模块为电脑显示器、触摸屏或VR/AR头盔显示器。

本发明还公开了一种基于EOG和姿态传感器的眼控方法，包括以下步骤：

(1)进行数据采集：选择生物电技术的采集设备，将若干电极贴近用户人体皮肤，完成采集准备，并通过姿态传感器采集若干个人眼在显示界面上的注视点的三维方向实时坐标数据；

(2)将生物电技术的采集设备中的无线通信模块连接显示设备；

(3)将步骤(1)采集到的三维方向实时坐标数据分别依次存储，并启动相应算法，换算成屏幕的像素坐标，并将特定标识显示在坐标区域；

(4)根据步骤(3)中的像素坐标值的变化，特定标识在屏幕上进行实时运动，实现对特定标识的控制；

(5)将特定标识运动到软件图标上面，启动确认状态识别。

优选地，步骤(4)中的特定标识的控制方法包括以下步骤：

(1)初始状态：用户初始的头部所在位置正对显示设备的屏幕中间区域，将一个特定标识同时移至屏幕中间区域，完成初始状态标定；

(2)移动状态：用户通过头部移动完成特定标识在屏幕中的移动，将头部从中间区域转向左，特定标识同步完成连续从中间区域向左边区域移动定义为左移动作；依次类推实现右移动作、上移动作以及下移动作；当头部动作停止后，特定标识移动至目标区域后停止；

(3)选择状态，当特定标识移动到屏幕中的软件应用图标上时，该图标改变颜色，指示软件应用进入选择状态；

(4)确认状态，根据不同类型的显示界面实现不同的确认方式，当显示界面为电脑显示器时，确认操作有两种：a.鼠标左击，当光标进入选择状态时，用户执行单次眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的单次眨眼动作，则发出鼠标左击指令；b.鼠标右击，当光标进入选择状态时，用户执行两次连续眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的两次连续眨眼动作，则发出对应的鼠标右击指令；当显示界面为触摸屏时，确认方式有一种，当特定标识进入选择状态时，用户眨眼完成确认功能；当显示界面为VR\AR时：确认方式有一种，当特定标识进入选择状态时，用户眨眼完成确认功能。

更优选地，所述移动状态的识别方法包括以下步骤：

(1)消除噪声的数据预处理；

(2)坐标换算：完成空间坐标系b和平面空间坐标系的坐标转换，完成姿态矩阵cn的构建，根据惯性传感器的输出实时计算出矩阵cn。

更优选地，所述确认状态的识别方法包括以下步骤：

(1)同步信息获取，当特定标识改变颜色时，同步给出当前的状态信息，记为t0；

(2)确认状态时间窗标定，在t0之后的600ms时间段为确认状态的时间窗，时间窗内检测到眨眼信息，启动则确认状态下的确认方式；超出时间窗口，退出确认状态；若特定标识一直停留在目标图标上时，则一直保持确认状态；

(3)确认方式检测，包括以下步骤：

a.眨眼校准过程，即设置眨眼信号检测的信号峰值，在交互系统开始运行时，预设初始阈值，其值大小根据所有眨眼信号采集数据样本求均值得到，针对具体的用户，进行阈值修正，具体为：在测试开始时，提供单个按钮在屏幕中央，以一定的时间间隔闪烁若干次，将得到的眨眼信号峰值的平均值即为信号检测的阈值；

b.在确认状态的时间窗内，当检测到有超过阈值的信号峰值时，则视为发生一次确认。

与现有技术相比，本发明具有以下技术优势：

(1)本发明通过人眼在待操作设备上注视点的位置信息控制光标的移动，通过注视点位置信息满足的预设条件控制光标的输入操作，彻底解放了双手，提高了操作效率；

(2)本发明只需要通过人眼便控制目标器件进行对应的操作，方便便捷，特别适用于残障人士或双手暂时没有空闲的用户，适用性广泛，推广力度大。

具体实施方式

现以眼控鼠标为例，对本发明做进一步的说明。

一种基于EOG和姿态传感器的眼控鼠标，包括信号采集模块、无线通信模块、控制模块、鼠标驱动模块和显示界面模块五个部分，无线通信模块包含无线发送单元和无线接收单元，无线发送单元设置在信号采集模块的信号采集端，无线接收单元设置在控制模块的控制算法端，采用Wifi无线通讯协议，控制模块、鼠标驱动模块和显示界面模块依次连接。

信号采集模块用于采集用户头部的EOG信号和姿态信号，通过无线通信模块传输至控制模块；信号采集模块为可穿戴式设备，佩戴在用户头部，包括电极单元、EOG信号放大单元、姿态传感器单元和微处理器单元，电极单元、EOG信号放大单元与微处理器单元依次连接，姿态传感器单元与微处理器单元连接；电极单元含有三个导电电极，紧贴用户头部皮肤，其中一个置于用户额头，另外两个置于耳后；所述EOG信号放大单元中设置有AD8232集成仪表放大器芯片，芯片上集成有仪表放大器、高通滤波器、低通滤波器和右腿驱动电路；姿态传感器单元中设置有MPU9250传感器芯片，该芯片为九轴姿态传感器，由三轴加速度传感器、三轴陀螺仪和三轴磁力计组成；微处理器单元采用STM32F103芯片，负责整个信号采集模块各组成部分的同步与控制。

控制模块根据所采集的姿态信号对用户头部的姿态进行算法识别，根据识别结果确定鼠标光标当前的坐标，并根据所采集的EOG信号对用户的眼球动作进行算法识别，根据识别结果确定鼠标的当前操作类型(左击、右击、校准)，然后将光标的坐标值和操作类型值发送给鼠标驱动模块，控制模块安装在台式计算机上。

鼠标驱动模块用于接收控制模块的计算结果，将其转化为操作系统的鼠标控制指令，使鼠标完成对应的操作；显示界面模块即为电脑显示器，用于显示鼠标的位置以及整个操作界面。

本发明还公开了一种基于EOG和姿态传感器的眼控鼠标的眼控方法，包括以下步骤：

(1)进行数据采集：选择生物电技术的采集设备，将若干电极贴近用户人体皮肤，完成采集准备，并通过姿态传感器采集若干个人眼在电脑显示器上的注视点的三维方向实时坐标数据；

(2)将生物电技术的采集设备中的无线通信模块连接电脑显示器；

(3)将步骤(1)采集到的三维方向实时坐标数据分别依次存储，并启动相应算法，换算成屏幕的像素坐标，并将光标显示在坐标区域；

(4)根据步骤(3)中的像素坐标值的变化，光标在屏幕上进行实时运动，实现对光标的控制；

(5)将光标运动到软件图标上面，启动确认状态识别。

其中，步骤(4)中的光标控制方法包括以下步骤：

A.光标校准操作：用户头部正对电脑显示器中间区域，执行三次连续眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的三次连续眨眼动作，则发出校准命令，使光标回到电脑显示器的中心位置；

B.光标移动操作：用户执行头部动作，控制模块通过基于姿态信息的姿态识别方法，识别出用户头部的姿态角，根据用户头部的旋转角度使光标在电脑显示器上发生相应的移动：当头部向上/下/左/右转动时，光标分别往上/下/左/右移动，用户通过头部的连续运动，可以使光标移动到感兴趣的目标区域，当头部动作停止时，光标的移动也停止；

C.光标状态切换：当光标移动到电脑显示器中的任一可操作图标上时(如某个菜单选项或应用程序的图标)，该图标改变颜色，指示光标进入选择状态，此时可以进行下一步光标确认操作。若光标没有移动到任何可操作图标上面，则光标状态不发生改变，不能进行下一步光标确认操作，此时用户可以继续移动光标，使光标移动到想要操作的目标图标上面；

D.光标确认操作：电脑显示器的光标确认操作有两种：a.鼠标左击，当光标进入选择状态时，用户执行单次眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的单次眨眼动作，则发出鼠标左击指令；b.鼠标右击，当光标进入选择状态时，用户执行两次连续眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的两次连续眨眼动作，则发出对应的鼠标右击指令。

其中，步骤A和步骤D中基于EOG的眨眼识别方法，具体实现包括以下步骤：

(Ⅰ)预处理：控制模块每100毫秒执行一次眨眼识别，首先将采集的EOG波形数据进行0.1-20赫兹带通滤波，然后提取从当前时间点开始600毫秒长度的数据段，数据段再经过一个去基线处理，即将数据段的数据减去一个基线段(当前时间点之前的100到0毫秒)数据的平均值，得到经过预处理后的EOG波形；

(Ⅱ)特征提取：用f(t)表示经过预处理后原始EOG波形，f′(t)表示经过一阶差分后的EOG波形，f(t_p)表示原始EOG波形的峰值，d_n＝t_e-t_s表示眨眼持续时间。t_s和t_e可以根据差分EOG波形f′(t)来求出。首先，找出f′(t)最大值对应的时间点t_peak和最小值对应的时间点t_rough，然后根据如下公式求出t_s和t_e：

t_k是第k个数据点所对应的时间，v是波形幅度门限值，取v＝5微伏。因此，对应于每个的EOG波形数据段，提取EOG特征f(t_p)、d_n得到一个特征向量；

(Ⅲ)波形检测：对于每一个EOG波形数据段，完成特征提取之后，对提取出的特征向量通过阈值条件来判断是否存在眨眼动作。具体来说，如果特征向量满足以下两个公式的条件，则认为存在眨眼动作，反之，则不存在眨眼动作：

f(t_p)＞A_min (3)

D_min＜d_n＜D_max (4)

其中A_min代表眨眼幅度阈值，D_min和D_max分别代表眨眼持续时间的最小阈值和最大阈值，这里取A_min＝50微伏，D_min＝200毫秒，D_max＝400毫秒；

(Ⅳ)决策：每检测到一次眨眼动作时，则从当前时间点开始计时，如果一秒钟之内再次检测到一次眨眼动作，则将最终的决策输出设置为两次连续眨眼动作，如果一秒钟之内再次检测到两次眨眼动作，则将最终的决策输出设置为三次连续眨眼动作，如果一秒钟之内没有再次检测到任何眨眼动作，则将最终的决策输出设置为单次眨眼动作。

步骤B中的基于姿态信息的姿态识别方法，具体实现包括以下步骤：

(ⅰ)角度计算：九轴姿态传感器包含陀螺仪、加速度计、磁力计三个部件，陀螺仪测量的为旋转的角速度，通过积分得到对应的角度值，计算公式如下：

θ_k＝(ω_k-ω_{bias_k})dt+θ_k01 (5)

其中θ_k为当前时刻的角度值，θ_k-1为前一时刻的角度值，ω_k为陀螺仪测量当前时刻的角速度，ω_{bias_k}为当前时刻角速度的偏移量，dt

为积分时间。

加速度计测量的为三个轴的加速度分量，利用三角函数关系解算角度姿态：

其中A_x、A_y、A_z分别是X、Y、Z这3个轴的加速度分量，γ为Z轴与重力加速度的夹角，ρ为俯仰角，为翻滚角。

磁力计测量的是三个轴的磁感应强度，磁力计在水平位置且无外加磁场干扰时，航向角可通过如下三角函数关系计算：

其中H_x和H_y分别为X轴和Y轴输出的磁感应强度数据。

当磁力计不在水平位置的时候，可利用倾斜补偿后的磁感应强度H′_x、H′_y和式(7)计算航向角，H′_x和H′_y可由以下公式求出：

(ⅱ)卡尔曼滤波：利用卡尔曼滤波算法对多个传感器得到的数据进行融合，抑制噪声，提高姿态角检测的准确性。以陀螺仪的角度状态作为观测量，加速度计和电子罗盘测量的对应角度值作为观测反馈值，系统的状态方程为：

其中为第k-1次估计值，为基于k-1次对k次的估计值，T_s为采样周期，ω_k和ω_k-1分别为陀螺仪测量k时刻以及k-1时刻的角速度。

(ⅲ)头部姿态识别：根据经过卡尔曼滤波得到的姿态角，识别用户头部转向动作，每100毫秒更新一次角度数据。若当前为俯仰角ρ相对于之前的值为正，则识别为用户头部向上转动，若当前为俯仰角ρ相对于之前的值为负，则识别为用户头部向下转动；若当前为航向角α相对于之前的值为正，则识别为用户头部向右转动，若当前为航向角α相对于之前的值为负，则识别为用户头部向左转动。

Claims (9)

1.一种基于EOG和姿态传感器的眼控装置，其特征在于：由信号采集模块、无线通信模块、控制模块、驱动模块和显示界面模块五个部分组成；无线通信模块包含无线发送单元和无线接收单元，无线发送单元设置在信号采集模块的信号采集端，无线接收单元设置在控制模块的控制算法端，控制模块、驱动模块和显示界面模块依次连接；所述信号采集模块用于采集用户头部的EOG信号和姿态信号，通过无线通信模块传输至控制模块；所述控制模块根据所采集的姿态信号对用户头部的姿态进行算法识别，根据识别结果确定特定标识的当前坐标，并根据所采集的EOG信号对用户的眼球动作进行算法识别，根据识别结果确定操作部件的当前操作类型，然后将特定标识的坐标值和操作类型值发送给驱动模块；驱动模块用于接收控制模块的计算结果，将其转化为操作系统的操作部件控制指令，使操作部件完成对应的操作；所述显示界面模块用于显示人眼注视点的位置以及整个操作界面。

2.根据权利要求1所述的一种基于EOG和姿态传感器的眼控装置，其特征在于：所述信号采集模块为可穿戴式设备，佩戴在用户头部，包括电极单元、EOG信号放大单元、姿态传感器单元和微处理器单元，电极单元、EOG信号放大单元与微处理器单元依次连接，姿态传感器单元与微处理器单元连接；电极单元含有三个导电电极，紧贴用户头部皮肤，其中一个置于用户额头，另外两个置于耳后；所述EOG信号放大单元中设置有AD8232集成仪表放大器，AD8232集成仪表放大器上集成有仪表放大器、高通滤波器、低通滤波器和右腿驱动电路；姿态传感器单元中设置有MPU9250传感器，该传感器为九轴姿态传感器，由三轴加速度传感器、三轴陀螺仪和三轴磁力计组成；微处理器单元采用STM32F103芯片，负责整个信号采集模块各组成部分的同步与控制。

3.根据权利要求1所述的一种基于EOG和姿态传感器的眼控装置，其特征在于：无线通信模块的无线通讯协议为蓝牙、Wifi或2G/3G/4G/5G网络。

4.根据权利要求1所述的一种基于EOG和姿态传感器的眼控装置，其特征在于：所述控制模块可运行在台式计算机、便携式计算机、平板电脑、手机或VR/AR平台。

5.根据权利要求1所述的一种基于EOG和姿态传感器的眼控装置，其特征在于：所述显示界面模块为电脑显示器、触摸屏或VR/AR头盔显示器。

6.一种基于EOG和姿态传感器的眼控方法，其特征在于包括以下步骤：

(1)进行数据采集：选择生物电技术的采集设备，将若干电极贴近用户人体皮肤，完成采集准备，并通过姿态传感器采集若干个人眼在显示界面上的注视点的三维方向实时坐标数据；

(2)将生物电技术的采集设备中的无线通信模块连接显示设备；

(3)将步骤(1)采集到的三维方向实时坐标数据分别依次存储，并启动相应算法，换算成屏幕的像素坐标，并将特定标识显示在坐标区域；

(4)根据步骤(3)中的像素坐标值的变化，特定标识在屏幕上进行实时运动，实现对特定标识的控制；

(5)将特定标识运动到软件图标上面，启动确认状态识别。

7.根据权利要求6所述的一种基于EOG和姿态传感器的眼控方法，其特征在于：步骤(4)中的特定标识的控制方法包括以下步骤：

(1)初始状态：用户初始的头部所在位置正对显示设备的屏幕中间区域，将一个特定标识同时移至屏幕中间区域，完成初始状态标定；

(2)移动状态：用户通过头部移动完成特定标识在屏幕中的移动，将头部从中间区域转向左，特定标识同步完成连续从中间区域向左边区域移动定义为左移动作；依次类推实现右移动作、上移动作以及下移动作；当头部动作停止后，特定标识移动至目标区域后停止；

(3)选择状态，当特定标识移动到屏幕中的软件应用图标上时，该图标改变颜色，指示软件应用进入选择状态；

(4)确认状态，根据不同类型的显示界面实现不同的确认方式，当显示界面为电脑显示器时，确认操作有两种：a.鼠标左击，当光标进入选择状态时，用户执行单次眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的单次眨眼动作，则发出鼠标左击指令；b.鼠标右击，当光标进入选择状态时，用户执行两次连续眨眼动作，控制模块通过基于EOG的眨眼识别方法，一旦识别到用户的两次连续眨眼动作，则发出对应的鼠标右击指令；当显示界面为触摸屏时，确认方式有一种，当特定标识进入选择状态时，用户眨眼完成确认功能；当显示界面为VR\AR时：确认方式有一种，当特定标识进入选择状态时，用户眨眼完成确认功能。

8.根据权利要求7所述的一种基于EOG和姿态传感器的眼控方法，其特征在于：所述移动状态的识别方法包括以下步骤：

(1)消除噪声的数据预处理；

(2)坐标换算：完成空间坐标系b和平面空间坐标系的坐标转换，完成姿态矩阵cn的构建，根据惯性传感器的输出实时计算出矩阵cn。

9.根据权利要求7所述的一种基于EOG和姿态传感器的眼控方法，其特征在于：所述确认状态的识别方法包括以下步骤：

(1)同步信息获取，当特定标识改变颜色时，同步给出当前的状态信息，记为t0；

(2)确认状态时间窗标定，在t0之后的600ms时间段为确认状态的时间窗，时间窗内检测到眨眼信息，启动则确认状态下的确认方式；超出时间窗口，退出确认状态；若特定标识一直停留在目标图标上时，则一直保持确认状态；

(3)确认方式检测，包括以下步骤：

a.眨眼校准过程，即设置眨眼信号检测的信号峰值，在交互系统开始运行时，预设初始阈值，其值大小根据所有眨眼信号采集数据样本求均值得到，针对具体的用户，进行阈值修正，具体为：在测试开始时，提供单个按钮在屏幕中央，以一定的时间间隔闪烁若干次，将得到的眨眼信号峰值的平均值即为信号检测的阈值；

b.在确认状态的时间窗内，当检测到有超过阈值的信号峰值时，则视为发生一次确认。