CN105867603A

CN105867603A - 一种眼控方法及装置

Info

Publication number: CN105867603A
Application number: CN201510899912.1A
Authority: CN
Inventors: 王坤; 赵谦谦
Original assignee: Leshi Zhixin Electronic Technology Tianjin Co Ltd
Current assignee: Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority date: 2015-12-08
Filing date: 2015-12-08
Publication date: 2016-08-17

Abstract

本发明公开了一种眼控方法及装置，其中，该方法包括：获取人眼在待操作设备上的注视点的位置信息；控制待操作设备屏幕上的光标移动到与人眼注视点位置信息相对应的位置；如果人眼在待操作设备上的注视点位置信息满足预设条件，则控制在所述光标的位置输入设定操作。本发明基于人眼的动作实现对光标的控制，进而实现控制操作设备。

Description

一种眼控方法及装置

技术领域

本发明涉及眼控技术领域，尤其涉及一种眼控方法及装置。

背景技术

在现有技术中，人与操作设备(如头戴显示设备、计算机、手机等)之间的交互主要是通过手工操作的交互方式。例如，人与头戴显示设备进行交互时，可以利用物理按键进行提高音量、播放或暂停等操作；人与计算机进行交互时，需要手工操作键盘或鼠标进行播放或打开等操作。但是这些手工的操作在用户在双手忙碌时或其他情形时会有种种的不便。

在人与操作设备交互的过程中，眼睛也作为又一种重要的信息交互通道，而视线反应人的注意方向，因而将视线应用于人机交互技术具有其自然性、直接性和交互性等特点，备受人们的关注，因此如何基于人眼的动作来实现人机交互是急需解决的技术问题。

发明内容

有鉴于此，本发明实施例提供一种眼控方法及装置，基于人眼的动作实现对光标的控制，进而实现控制操作设备的目的。

第一方面，本发明实施例提供了一种眼控方法，包括：

获取人眼在待操作设备上的注视点的位置信息；

控制待操作设备屏幕上的光标移动到与人眼注视点位置信息相对应的位置；

如果人眼在待操作设备上的注视点位置信息满足预设条件，则控制在所述光标的位置输入设定操作。

第二方面，本发明实施例还提供了一种眼控装置，包括：

注视点位置信息获取模块，用于获取人眼在待操作设备上的注视点的位置信息；

光标控制模块，用于控制待操作设备屏幕上的光标移动到与人眼注视点位置信息相对应的位置；

设定操作输入模块，用于如果人眼在待操作设备上的注视点位置信息满足预设条件，则控制在所述光标的位置输入设定操作。

本发明实施例提供的一种眼控方法及装置，通过人眼在待操作设备上注视点的位置信息控制光标的移动，通过注视点位置信息满足的预设条件控制光标的输入操作，实现了通过人眼动作控制待操作设备屏幕上的光标，进而控制待操作设备的目的。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1a是本发明实施例一提供的一种眼控方法流程图；

图1b是本发明实施例一提供的人机交互时的映射图；

图2a是本发明实施例二提供的一种眼控方法流程图；

图2b是本发明实施例二提供的获取人眼瞳孔映射到角膜平面位置坐标流程图；

图2c是本发明实施例二提供的人眼图像的原图，

图2d是本发明实施例二提供的提取图像进行灰度化后的图；

图2e是本发明实施例二提供的提取的图像二值化后的图；

图2f本发明实施例二提供的提取的图像膨胀运算后的图；

图3a是本发明实施例三提供的一种眼控装置的结构框图；

图3b是本发明实施例三提供的另一种眼控装置的结构图；

图3c是本发明实施例三提供的用户使用头戴显示设备时的侧视图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1a是本发明实施例一提供的一种眼控方法的流程图；本实施例的技术方案可由眼控装置来执行，该装置可以采用硬件和/或软件的方式来实现，所述装置设于电子设备内部，典型的是集成于诸如头戴显示设备等待操作设备的内部。如图1a所示，所述方法包括：

S110：获取人眼在待操作设备上的注视点的位置信息。

在本实施例中，所述待操作设备为头戴显示设备、手机、触控显示屏、计算机、平板电脑、平视显示器等能够识别人眼注视点的电子设备。

所述待操作设备上具有眼控功能的物理按键或设定标识，用户可以根据自己的需要对眼控功能的物理按键或设定标识进行打开或关闭。例如，当待操作设备为头戴显示设备时，头戴显示设备上具有眼控功能的物理按键，当用户不方便采用手动操作时，可以按下具有眼控功能的物理按键，通过人眼的动作对头戴显示设备进行操作。当待操作设备上具有眼控功能的设定标识时，通过人眼注视设定标识的时间，判定对待操作设备的眼控功能的打开或关闭。其中设定标识可以为待操作设备屏幕上的设定图标，待操作设备上的设定位置或操作设备上的设定按钮。

当待操作设备上的眼控功能打开以后，获取人眼在待操作设备上的注视点的位置信息。在获取人眼在待操作设备上的注视点位置信息过程中，首先通过红外拍摄单元拍摄人眼图像，通过眼控装置对人眼图像进行处理。如图1b所示，当人眼注视待操作设备上不同的位置时，经处理的人眼图像瞳孔的位置是不同的，经过分析可以得到人眼的瞳孔101映射到角膜平面的映射点在角膜平面102移动，同时人眼在待操作设备103上的注视点也随之移动。其中，角膜平面为根据人眼图像将人眼的眼球表面映射至预设位置的一个二维平面。将人眼的瞳孔映射到角膜平面102的映射点和人眼在待操作设备上的注视点通过归纳、统计计算，一一实现校准，并且通过统计计算，可以获得人眼的瞳孔101映射到角膜平面102的位置和人眼在待操作设备103上的注视点位置的对应关系，其中，对应关系可以是公式或函数等。进行校准后，获取人眼图像，并对人眼图像进行处理，获得人眼瞳孔映射到角膜平面的位置，根据对应关系就可以获取人眼在待操作设备上的注视点位置信息。

S120：控制待操作设备屏幕上的光标移动到与人眼注视点位置信息相对应的位置。

在本实施例中，举例说明，当待操作设备为头戴显示设备时，如果用户正在观看视频，根据用户的需求对视频进行快进，用户可以注视头戴显示设备屏幕中的快进键的位置，待操作设备上的眼控装置获取人眼在快进键位置的位置信息，控制头戴显示设备屏幕上的光标移动到快进键的位置。

又如，当待操作设备为计算机时，如果用户的需求是打开目标应用或目标文件，用户可以注视计算机屏幕上目标应用或目标文件的图标，待操作设备上的眼控装置获取人眼在目标应用的图标位置信息或目标文件的图标位置信息，控制计算机屏幕上的光标移动到目标应用图标的位置或目标文件图标的位置。其中，目标应用可以为浏览器、qq等应用。目标文件可以是word文档、PDF文件、压缩文件等。

S130：如果人眼在待操作设备上的注视点位置信息满足预设条件，则控制在所述光标的位置输入设定操作。

在本实施例中,人眼在待操作设备上的注视点位置信息满足预设条件优选包括下述至少一项：人眼在待操作设备上的注视点位置信息持续第一预设时间；

人眼在待操作设备上在第二预设时间内，保持注视点位置信息不变时进行至少一次眨眼动作。在本实施例中，如果人眼在待操作设备上的注视点位置信息持续第一预设时间，即人眼在待操作设备上的注视点位置信息在第一预设时间内不发生变化，则控制在所述光标的位置输入设定操作。

示例性的，控制在所述光标的位置输入设定操作优选包括：控制在所述光标的位置输入点击、长按、或者长按结合拖动操作。其中，点击的操作可以是单击操作，也可以是双击操作，关于单击或双击的操作，可以根据用户的需要进行自定义设置。

当人眼在待操作设备上的注视点位置信息满足预设条件包括:人眼在待操作设备上的注视点位置信息持续第一预设时间时,对于点击操作的设置进行举例说明,如，将人眼在待操作设备上的注视点位置信息持续1s设置为输入单击操作。将人眼在待操作设备上的注视点位置信息持续2s设置为输入双击操作。

当用户在待操作设备上控制视频的快进、后退、播放或暂停以及关闭窗口等操作时，用户可以注视相应的位置1s，即可以实现自己的需求。当用户在操作设备需要打开目标文件或目标应用时，可以注视相应的位置2s，即可实现自己的需求。

在本实施例中，长按的操作是指光标在某一位置的时间达到了设定的时间，长按操作可以根据用户的需要进行自定义设置。例如，如果人眼在待操作设备上的注视点位置信息持续2-3s设为长按操作。当待操作设备为手机时，如果人眼在手机屏幕上微信中的编辑位置注视2-3s，可以实现微信内容的编辑，但是如果人眼对手机屏幕上的图标注视2-3，仅仅能实现长按图标的操作，当人眼的注视点位置信息变化时，不能将图标进行拖动。

在本实施例中，长按结合拖动的操作可以根据用户的需要进行设置。例如，如果人眼在待操作设备上的注视点位置信息持续3-4s设置为长按结合拖动的操作。当待操作设备为手机时，如果人眼在手机屏幕上的图标注视3-4s，可以将实现对图标长按的操作，当人眼的注视点位置信息变化时，还能够拖动图标。

在本实施例中,当人眼在待操作设备上的注视点位置信息满足预设条件包括:人眼在待操作设备上在第二预设时间内，保持注视点位置信息不变时进行至少一次眨眼动作时,控制在所述光标的位置输入设定的操作。其中，关于控制在光标的位置输入设置的操作，眨眼的动作的次数可以根据用户的需求进行自定义设置。例如，在1-2s时间内，人眼在待操作设备上注视点位置信息不变的情形下如果快速眨眼一次，设定为输入单击操作，如果快速眨眼两次，设定为输入双击操作。人眼的眨眼动作能够通过红外拍摄单元拍摄的用于判断人眼动作的人眼图像得到。所述人眨眼的动作还可以实现在光标的位置输入其他形式的操作，如，长按或者长按结合拖动的操作等。

在上述实施例的基础上，凡是在待操作设备上通过手动进行操作的动作，均可以通过上述的方法来实现。

本发明实施例一提供了一种眼控方法，通过人眼在待操作设备上注视点的位置信息控制光标的移动，通过注视点位置信息满足的预设条件控制光标的输入操作，实现了通过人眼动作控制待操作设备屏幕上的光标，进而控制待操作设备的目的。

实施例二

图2a是本发明实施例二提供的一种眼控方法的流程图；在上述实施例的基础上，所述获取人眼在待操作设备上的注视点的位置信息优选包括：

获取人眼图像，根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标；

根据预存的人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系，获取人眼在待操作设备上注视点的位置信息。

位置坐标之间的对应关系可以预先确定，即，在根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标之前，还包括：

当人眼的瞳孔映射到角膜平面时的位置与角膜平面形成的高亮度的反射点相对应时，获取人眼注视点在操作设备上的第一预设位置；

以角膜平面形成的高亮度的反射点作为第一参考点建立角膜平面坐标系，以第一预设位置作为第二参考点建立注视点平面坐标系；

获取人眼注视点在待操作设备上的至少一个第二预设位置时的校准人眼图像，从所述校准人眼图像中获取人眼瞳孔映射到角膜平面的位置坐标；

根据人眼注视点在待操作设备上的第二预设位置时的瞳孔映射到角膜平面位置坐标与待操作设备上第二预设位置的坐标，获取人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系。

为了更加准确的确定人眼瞳孔的位置坐标，所述根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标优选包括：

根据人眼图像提取人眼睛中黑色眼球的区域图像；

对提取的图像进行处理，根据处理后图像中人眼瞳孔的位置确定人眼瞳孔映射到角膜平面的位置；

根据人眼瞳孔映射到角膜平面位置以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面的位置坐标。

基于上述的优化，本实施例提供的技术方案具体如下：

S210：当人眼的瞳孔映射到角膜平面的位置与角膜平面形成的高亮度的反射点相对应时，获取人眼注视点在待操作设备上的第一预设位置。

在本实施例中，待操作设备为头戴显示设备。设置于头戴显示设备内部的眼控装置发出红外光线在人眼的角膜平面上形成一个高亮度的反射点。当用户注视头戴显示设备屏幕上不同的位置时，由于眼球是球体并且头戴显示设备与人眼的相对位置不变，则红外光线在人眼角膜平面形成的反射点的位置不变，但瞳孔的位置发生变化。

当人眼的瞳孔映射到角膜平面的位置与角膜平面形成的高亮度的反射点相对应时，人眼在头戴显示设备上的注视点在一个目标位置，目标位置为第一预设的位置，第一预设位置也为头戴显示设备屏幕所在的注视点平面坐标系的参考位置。

S220：以角膜平面形成的高亮度的反射点作为第一参考点建立角膜平面坐标系；以第一预设位置作为第二参考点建立注视点平面坐标系。

S230：获取人眼注视点在待操作设备上的至少一个第二预设位置时的校准人眼图像，从所述校准人眼图像中获取人眼瞳孔映射到角膜平面的位置坐标。

在本实施例中，可预先进行位置校准，即预先选取一个或多个第二预设位置，告知校准人分别注视这几个第二预设位置，且记录下注视时的人眼图像。即，校准人眼图像为当人眼注视点在待操作设备上的第二预设位置时记录的人眼图像。再从校准人眼图像中识别人眼瞳孔映射到角膜平面的位置坐标。

在本实施例中，举例说明，当人眼的瞳孔映射到角膜平面的位置与角膜平面形成的高亮度的反射点相对应时，如果人眼在头戴显示设备屏幕中间的位置，此时人眼的瞳孔映射到角膜平面的位置坐标为(0，0)，头戴显示设备屏幕中间的位置为第一预设位置，也为注视点平面坐标系的第二参考点，即在注视点平面坐标系中坐标为(0,0)。第二预设位置选取多个位置，如头戴显示设备屏幕的左上角、左下角、右上角、右下角等位置。当人眼注视点在头戴显示设备屏幕的左上角、左下角、右上角、右下角等位置时，根据校准人眼图像，获取人眼瞳孔映射到角膜平面的位置，通过角膜平面坐标系，可以获取人眼瞳孔映射到角膜平面的位置坐标(a，b)，(a，c)、(d，b)和(d，c)等。

S240：根据人眼注视点在待操作设备上的第二预设位置时的瞳孔映射到角膜平面位置坐标与待操作设备上第二预设位置的坐标，获取人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系。

在本实施例中，举例说明，当人眼注视点在头戴显示设备屏幕的左上角、左下角、右上角、右下角等位置时，根据校准人眼图像，获取人眼瞳孔映射到角膜平面的位置，通过角膜平面坐标系，可以获取人眼瞳孔映射到角膜平面的位置坐标(a，b)，(a，c)、(d，b)和(d，c)，相应的，头戴显示设备屏幕的左上角、左下角、右上角、右下角对应的在注视点坐标系中坐标分别是(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)，其中，当当人眼注视点在头戴显示设备屏幕的左上角、左下角、右上角、右下角等位置均可以作为第二预设位置。

根据(a，b)，(a，c)、(d，e)和(d，f)分别和(x1，y1)、(x1，y2)、(x2，y3)和(x2，y4)的对应关系，经过统计分析，得到人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系，其中，对应关系可以是函数或公式等。例如，函数或公式可以为(x，y)＝λ(a,b)例，其中，λ可以为常数，也可以为函数。

需要说明的是，在获取人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系过程中，需要大量的统计计算，所以，需要预先获取人眼注视点在头戴显示设备屏幕的多个位置时的人眼图像，不仅仅局限于预先获取头戴显示设备屏幕有限的几个位置的人眼图像，其中，头戴显示设备屏幕的多个位置在注视点平面坐标系的坐标均可以确定。然后，通过校准人眼图像，获取人眼瞳孔映射到角膜平面的位置坐标，进而确定人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系。

S250：获取人眼图像，根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标。

在本实施例中，所述根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标，优选包括：根据人眼图像提取人眼睛中黑色眼球的区域图像；对提取的图像进行处理，根据处理后的图像中人眼瞳孔的位置确定人眼瞳孔映射到角膜平面的位置；根据人眼瞳孔映射到角膜平面位置以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面的位置坐标。

其中，所述对提取的图像进行处理优选包括：对提取的图像分别进行灰度化、归一化、高斯平滑处理和二值化处理；将二值化处理后的图像进行腐蚀运算处理，判断腐蚀运算处理后的图像是否是一个连通区域；如果腐蚀运算处理后的图像是一个连通区域，对腐蚀运算处理的图像进行膨胀运算处理。

基于上述的优化，如图2b所示，获取人眼瞳孔映射到角膜平面位置坐标流程如下：

S251：根据人眼图像提取人眼睛中黑色眼球的区域图像。

S252：对提取的图像分别进行灰度化、归一化、高斯平滑处理和二值化处理。

在本实施例中，图2c为人眼图像的原图，图2d为提取的图像进行灰度化后图，图2e为提取的图像二值化后的图。使用双线性插值法把提取的图像归一化大小为55×35。对提取的图像进行高斯平滑滤波处理过程中，采用θ＝(n/2-1)×0.3+0.8的标准差及选取n＝11模板大小进行处理。对提取的图像二值化是采用自适应阈值算法进行的，其中提取阈值方法是采用高斯算法，先求出块中的加权和，然后再二值化图像(如图2e所示)。

S253：将二值化处理后的图像进行腐蚀运算处理，判断腐蚀运算处理后的图像是否是一个连通区域。如果是，执行S254，如果不是，则返回S252。

在本实施例中，分别经过灰度化、归一化、高斯平滑处理和二值化处理处理后的图像中除得到眼球(虹膜区内)的区域外，还得到了一些其他的多余信息，采用数学形态学的开运算方法处理，先用3×3的方形结构元素对前面处理后的图像进行多次腐蚀运算，判断腐蚀运算处理后的图像是否是一个连通区域。

S254：对腐蚀运算处理的图像进行膨胀运算处理。

在本实施例中，膨胀运算处理图像如图2f所示，处理后的图像是一个连通区域，并且在图像中存在人眼瞳孔的映射点。

S255:根据处理后的图像中人眼瞳孔的位置确定人眼瞳孔映射到角膜平面的位置。

在本实施例中，处理后图像中连通区域的宽度和面积，可以判断人眼的闭合或打开状态。当判断人眼处理闭合状态时，不能基于人眼动作对待操作设备进行操作。在处理后的图像中，存在人眼瞳孔的位置信息(图2f所示)，再将人眼瞳孔映射到角膜平面，在角膜平面上形成映射点，进而确定人眼瞳孔映射到角膜平面的位置。

S256:根据人眼瞳孔映射到角膜平面位置以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面的位置坐标。

在本实施例中，在角膜平面坐标系中可以获取人眼瞳孔映射到角膜平面的位置坐标。

S260：根据预存的人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系，获取人眼在待操作设备上注视点的位置信息。

在本实施例中，例如，当用户使用头戴显示设备观看视频时，通过获取人眼图像并对人眼图像进行处理，获取的人眼瞳孔映射到角膜平面的坐标为(0.04,0.07)，则根据预存的人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系，获得人眼在待操作设备上注视的位置为(c，c)。

S270：如果人眼在待操作设备上的注视点位置信息持续预设时间，则控制在所述光标的位置输入设定操作

S280：如果人眼在待操作设备上的注视点位置信息满足预设条件，则控制在所述光标的位置输入设定操作。

在上述实施例的基础上，获取人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系方法还可以采用如下方式：分别获取人眼注视点在待操作设备上的第一预设位置和第二预设位置时的瞳孔映射到角膜平面位置；以人眼注视点在待操作设备上的第一预设位置时的瞳孔映射到角膜平面的位置为第一参考点建立角膜平面坐标系；以待操作设备上的第一预设位置为第二参考点建立注视点平面坐标系；根据人眼注视点在待操作设备上的第二预设位置时的瞳孔映射到角膜平面的坐标与待操作设备上的第二预设位置的坐标，获取人眼瞳孔位置坐标与人眼在待操作设备上注视点位置坐标对应关系。其中，第二预设位置存在多个。

在上述实施例的基础上，人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系的方法还可以存在其他的方式。

本发明实施例提供了一种眼控方法，通过获取人眼图像并对人眼图像的处理，获取人眼瞳孔的位置信息，通过人眼瞳孔位置信息，获取人眼在待操作设备的注视点的位置信息，实现基于人眼的动作控制待操作设备的目的。

实施例三

图3是本发明实施例三提供的一种眼控装置的结构框图，如图3所示，所述装置，包括：注视点位置信息获取模块310、光标控制模块320和设定操作输入模块330。

其中，注视点位置信息获取模块310，用于获取人眼在待操作设备上的注视点的位置信息；

光标控制模块320，用于控制待操作设备屏幕上的光标移动到与人眼注视点位置信息相对应的位置；

设定操作输入模块330，用于如果人眼在待操作设备上的注视点位置信息满足预设条件，则控制在所述光标的位置输入设定操作。

进一步的,人眼在待操作设备上的注视点位置信息满足预设条件包括下述至少一项：

人眼在待操作设备上的注视点位置信息持续第一预设时间；

人眼在待操作设备上在第二预设时间内，保持注视点位置信息不变时进行至少一次眨眼动作。

进一步的，设定操作输入模块330，具体用于：

控制在所述光标的位置输入点击、长按、或者长按结合拖动操作。

进一步的，注视点位置信息获取模块310，包括：

瞳孔位置坐标获取子模块311，用于获取人眼图像，根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标；

注视点位置信息获取子模块312，用于根据预存的人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系，获取人眼在待操作设备上注视点的位置信息。

进一步的，所述装置还包括：对应关系获取模块340，用于在根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标之前，当人眼的瞳孔映射到角膜平面时的位置与角膜平面形成的高亮度的反射点相对应时，获取人眼注视点在操作设备上的第一预设位置；以角膜平面形成的高亮度的反射点作为第一参考点建立角膜平面坐标系，以第一预设位置作为第二参考点建立注视点平面坐标系；获取人眼注视点在待操作设备上的至少一个第二预设位置时校准人眼图像，从所述校准人眼图像中获取人眼瞳孔映射到角膜平面的位置坐标；根据人眼注视点在待操作设备上的第二预设位置时的瞳孔映射到角膜平面位置坐标与待操作设备上第二预设位置的坐标，获取人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系。

进一步的，瞳孔位置坐标获取子模块311具体用于：

根据人眼图像提取人眼睛中黑色眼球的区域图像；

对提取的图像进行处理，根据处理后的图像中人眼瞳孔的位置确定人眼瞳孔映射到角膜平面的位置；

根据人眼瞳孔映射到角膜平面位置以及预设的图像坐标系获取人眼瞳孔的位置坐标。

进一步的，所述对提取的图像进行处理优选包括：

对提取的图像分别进行灰度化、归一化、高斯平滑处理和二值化处理；

将二值化处理后的图像进行腐蚀运算处理，判断腐蚀运算处理后的图像是否是一个连通区域；

如果腐蚀运算处理后的图像是一个连通区域，对腐蚀运算处理的图像进行膨胀运算处理。

在上述实施例的基础上,如图3b所示,所述装置300还包括红外发射单元350和红外拍摄单元360。其中，红外发射单元350，用于向人眼发射红外光，以使角膜平面上形成高亮度的反射点；红外拍摄单元360，用于拍摄人眼图像，并将人眼图像发送给注视点位置信息获取模块310。

红外发射单元350、红外拍摄单元360均设置在待操作设备上，注视点位置信息获取模块310、光标控制模块320和设定操作输入模块330均集成在芯片301上。当待操作设备为头戴显示设备302时，图3c是用户使用头戴显示设备时的侧视图，如图3c所示，红外发射单元350设置在头戴显示设备302两个屏幕中间的位置，红外拍摄单元360、芯片301分别设置在头戴显示设备302上。当打开头戴显示设备上的眼控装置时，由红外发射单元350向人眼发射红外光，以使角膜平面形成高亮度的反射点；红外拍摄单元360拍摄人眼图像，将人眼的图像发送给集成在芯片301上的注视点位置信息获取模块，经过芯片301中各个模块对人眼图像进行分析，获取人眼的动作。基于人眼的动作控制光标的移动以及在光标所在位置的点击、长按或长按结合拖动的操作，实现通过人眼动作对头戴显示设备进行控制的目的。在所述的头戴显示设备中，芯片、红外发射单元、红外拍摄单元的位置可以根据需要进行设置。

上述装置可执行本发明任意实施例所提供的眼控方法，具备执行方法相应的功能模块和有益效果。

本发明实施例提供了一种眼控装置，通过人眼在待操作设备上注视点的位置信息控制光标的移动，通过注视点位置信息满足的预设条件控制光标的输入操作，实现了通过人眼动作控制待操作设备屏幕上的光标，进而控制操作设备的目的。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种眼控方法，其特征在于，包括：

获取人眼在待操作设备上的注视点的位置信息；

2.根据权利要求1所述的方法，其特征在于，人眼在待操作设备上的注视点位置信息满足预设条件包括下述至少一项：

人眼在待操作设备上的注视点位置信息持续第一预设时间；

3.根据权利要求1所述的方法，其特征在于，控制在所述光标的位置输入设定操作包括：

4.根据权利要求1所述的方法，其特征在于，获取人眼在待操作设备上的注视点的位置信息，包括：

获取人眼图像，根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面的位置坐标；

5.根据权利要求4所述的方法，其特征在于，在根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标之前，还包括：

6.根据权利要求4所述的方法，其特征在于，所述根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标，包括：

根据人眼图像提取人眼睛中黑色眼球的区域图像；

7.根据权利要求6所述的方法，其特征在于，所述对提取的图像进行处理包括：

8.一种眼控装置，其特征在于，包括：

9.根据权利要求8所述的装置，其特征在于，人眼在待操作设备上的注视点位置信息满足预设条件包括下述至少一项：

人眼在待操作设备上的注视点位置信息持续第一预设时间；

10.根据权利要求8所述的装置，其特征在于，设定操作输入模块，具体用于：

11.根据权利要求8所述的装置，其特征在于，注视点位置信息获取模块，包括：

瞳孔位置坐标获取子模块，用于获取人眼图像，根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标；

注视点位置信息获取子模块，用于根据预存的人眼瞳孔映射到角膜平面的位置坐标与人眼在待操作设备上注视点位置坐标对应关系，获取人眼在待操作设备上注视点的位置信息。

12.根据权利要求11所述的装置，其特征在于，还包括：对应关系获取模块，用于在根据人眼图像以及预设的角膜平面坐标系获取人眼瞳孔映射到角膜平面位置坐标之前，当人眼的瞳孔映射到角膜平面时的位置与角膜平面形成的高亮度的反射点相对应时，获取人眼注视点在操作设备上的第一预设位置；

13.根据权利要求11所述的装置，其特征在于，瞳孔位置坐标获取子模块具体用于：

根据人眼图像提取人眼睛中黑色眼球的区域图像；

14.根据权利要求13所述的装置，其特征在于，所述对提取的图像进行处理包括：

15.根据权利要求8所述的装置，其特征在于，还包括；

红外发射单元，用于向人眼发射红外光，以使角膜平面上形成高亮度的反射点；

红外拍摄单元，用于拍摄人眼图像，并将人眼图像发送给注视点位置信息获取模块。