CN104360751B - 一种实现智能控制的方法和设备 - Google Patents

Abstract

本发明提出一种实现智能控制的方法和设备，其中方法包括：按照固定的周期获取用户的眼动坐标数据，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；根据所述眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令；采用该控制命令控制智能设备。本发明能够提高智能控制的准确性并且不影响屏幕显示效果。

Description

一种实现智能控制的方法和设备

技术领域

本发明涉及智能控制技术领域，尤其涉及一种实现智能控制的方法和设备。

背景技术

对于终端设备的控制操作，传统的方式是鼠标/键盘/遥控器控制方式，其缺点是用户离开鼠标/键盘/遥控后即无法执行控制功能，而这往往给用户造成控制上的不便；并且对某些特殊人群，或者某些应用场景，有诸多不便之处。

为了解决该问题，现有技术中出现了基于眼睛的屏幕操作方式，这种方式通过眼睛注视在屏幕的位置触发对应的动作，至少存在如下缺点：

1)需要界面上首先存在一些控制项目，然后通过眼睛的凝视和眨眼等动作来激活这些控制项目。但是，在屏幕的特定位置放置控制项目会影响用户观看，特别是对于全屏播放的视频文件，这一问题更为突出；

2)通过对眼睛注视位置和眨眼动作来判定用户的动作，这往往有一些不准确性。因为用户可能无意间注视到了特定的位置，并进行了眨眼的动作，从而引起误判。

发明内容

本发明提供了一种实现智能控制的方法，能够提高智能控制的准确性并且不影响屏幕显示效果。

本发明还提供了一种实现智能控制的设备，能够提高智能控制的准确性并且不影响屏幕显示效果。

本发明的技术方案是这样实现的：

一种实现智能控制的方法，包括：

按照固定的周期获取用户的眼动坐标数据，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；

判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；

根据所述眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令；

采用该控制命令控制智能设备。

一种实现智能控制的设备，包括：

眼动数据管理模块，用于按照固定的周期获取用户的眼动坐标数据，将所述眼动坐标数据发送至事件生成模块；其中，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；

事件生成模块，用于判断收到的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件，将所述眼动事件发送至控制管理模块；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；

控制管理模块，用于根据收到的眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令，将该控制命令发送至UI管理模块；

UI管理模块，用于采用收到的控制命令控制智能设备。

可见，本发明提出的实现智能控制的方法和设备，检测用户视线的滑动及凝视动作，通过视线滑动及注视的双重动作对用户意图进行判定，从而降低误判的可能性；并且，不需要在屏幕特定位置方式控制项目，因此不影响智能终端的全屏显示。

附图说明

图1本发明提出的实现智能控制的方法实现流程图；

图2为本发明实施例一介绍的判断是否满足视线轨迹要求的实现流程图；

图3为本发明实施例二介绍的判断滑动数据序列中的眼动坐标数据组成的用户视线轨迹是否满足视线滑动要求的实现流程图；

图4为本发明实施例三介绍的判断凝视数据序列中的眼动坐标数据是否满足视线凝视要求的实现流程图；

图5为视线滑动举例示意图；

图6为视线凝视举例示意图；

图7本发明提出的实现智能控制的设备结构示意图。

具体实施方式

本发明提出一种实现智能控制的方法，如图1为该方法的实现流程图，包括：

步骤101：按照固定的周期获取用户的眼动坐标数据，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；

步骤102：判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则执行步骤103；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；

步骤103：查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件；

步骤104：根据所述眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令；

步骤105：采用该控制命令控制智能设备。

上述步骤104中，可以针对不同的应用场景设置并保存眼动事件与控制命令的对应关系；即，当应用场景不同时，相同的眼动事件对应不同的控制命令。

上述步骤102中，视线轨迹要求可以包括：前部分的视线滑动要求及后部分的视线凝视要求；也就是说，获取的多个眼动坐标数据所组成的视线轨迹需要满足首先按照预定的轨迹滑动、之后在规定的位置凝视的要求。当满足该要求时，生成对应的眼动事件。

在步骤102中，为了判断获取的多个眼动坐标数据是否满足预先设定的视线轨迹要求，可以设置两个数据序列，即滑动数据序列和凝视数据序列，这两个数据序列的初始内容均为空；每次获取到一个新的眼动坐标数据时，将该眼动坐标数据添加至滑动数据序列或凝视数据序列(具体添加至哪个序列，将在后续实施例中详细描述)；之后，判断滑动数据序列中的多个眼动坐标数据组成的用户视线轨迹是否满足视线滑动要求、以及凝视数据序列中的多个眼动坐标数据是否满足视线凝视要求，如果均满足，则判定满足预先设定的视线轨迹要求。

以下举具体的实施例，对上述判断过程详细介绍。

实施例一：

本实施例介绍上述步骤102中判断步骤的具体实现方式。如图2为本实施例的实现流程图，包括：

步骤201：当获取到一个眼动坐标数据时，判断滑动数据序列中的眼动坐标数据组成的用户视线轨迹是否已满足所述视线滑动要求；如果不满足，则执行步骤202；否则，执行步骤203。

步骤202：将所述眼动坐标数据添加入滑动数据序列，对所述滑动数据序列中的眼动坐标数据组成的用户视线轨迹进行判断，之后结束当前判断；具体判断过程将在实施二中详细介绍。

步骤203：将所述眼动坐标数据添加入凝视数据序列，判断所述凝视数据序列中的眼动坐标数据是否满足视线凝视要求；具体判断过程将在实施例三中详细介绍。

步骤204：当所述视线滑动要求和视线凝视要求均被满足时，判定获取的多个眼动坐标数据组成的用户视线轨迹满足预先设定的视线轨迹要求。

实施例二：

本实施例介绍上述步骤202中判断步骤的具体实现方式。如图3为本实施例的实现流程图，包括：

步骤301：判断滑动数据序列中的第一个眼动坐标数据是否位于视线起点区域，如果不是，则判定为不满足视线滑动要求，并清空滑动数据序列；如果是，则执行步骤302。

步骤302：判断所述滑动数据序列中的最后一个眼动坐标数据是否位于所述视线终点区域，如果不是，则判定为不满足视线滑动要求；如果是，则执行步骤303。

步骤303：计算实际滑动距离和直线滑动距离，其中，实际滑动距离为所述滑动数据序列中相邻两个眼动坐标数据的距离之和，实际滑动距离为所述滑动数据序列中第一个眼动坐标数据和最后一个眼动坐标数据的距离。

步骤304：判断所述实际滑动距离和直线滑动距离的差值是否满足预先设定的条件，如果满足，则判定满足所述视线滑动要求；如果不满足，则判定不满足所述视线滑动要求。

其中，判断实际滑动距离和直线滑动距离的差值是否满足预先设定的条件的方式可以为：

判断实际滑动距离与直线滑动距离的比例是否满足预先设定的比例要求，或者，判断实际滑动距离与直线滑动距离的差值是否满足预先设定的差值要求。

实施例三：

本实施例介绍上述步骤203中判断步骤的具体实现方式。如图4为本实施例的实现流程图，包括：

步骤401：判断所述凝视数据序列中的最后一个眼动坐标数据是否位于视线终点区域，如果不是，则执行步骤402；如果是，则执行步骤403。

步骤402：判定为不满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列，将所述当前获取的眼动坐标数据添加入滑动数据序列；结束当前判断。

步骤403：则判断所述凝视数据序列中的眼动坐标数据的数量是否超过预先设定的阈值，如果超过，则判定为满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列；否则，判定为不满足视线凝视要求。

如图5和图6显示了一种视线滑动和视线凝视的实例。

图5中，中间圆形划定的区域为预先设定的视线起点区域，四角弧形及屏幕边缘划定的区域为预先设定的四个视线终点区域；用户视线由点A滑动至点B，其中，点A位于视线起点区域，点B位于视线终点区域。在图5的右下角显示了视线由A滑动至B的实际滑动路线和直线滑动路线，其中，由点A到点B的折线为实际滑动路径，该折线的长度为视线由A滑动至B的实际滑动距离；由点A到点B的直线为直线滑动路径，该直线的长度为视线由A滑动至B的直线滑动距离。

图6中，显示了用户视线最终停留在屏幕右上方的视线终点区域，并在该视线终点区域凝视。

获取的多个眼动坐标数据满足前部分的视线滑动要求及后部分的视线凝视要求时，即可判定满足视线轨迹要求，生成相应的眼动事件。

为了执行上述方法，本发明还提出一种实现智能控制的设备，如图7为该设备的结构示意图，包括：

眼动数据管理模块701，用于按照固定的周期获取用户的眼动坐标数据，将所述眼动坐标数据发送至事件生成模块702；其中，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；

事件生成模块702，用于判断收到的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件，将所述眼动事件发送至控制管理模块703；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；

控制管理模块703，用于根据收到的眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令，将该控制命令发送至UI管理模块704；

UI管理模块704，用于采用收到的控制命令控制智能设备。

上述设备中，眼动数据管理模块701为了实现获取及发送眼动坐标数据，可以采用A线程将获取到的眼动坐标数据存储入眼动数据队列，采用B线程按次序取出眼动数据队列中的眼动坐标数据，并递交至事件生成模块702进行处理。

事件生成模块702根据接收的眼动坐标数据更新其事件状态机，事件生成模块702检查事件状态机是否有新的眼动事件产生，如果反馈没有满足新眼动事件产生的条件，则结束本次活动；如果反馈满足新眼动事件产生的条件，则事件生成模块702将新的眼动事件递交给控制管理模块703。

控制管理模块703根据新的眼动事件查询其命令映射表(包含眼动事件与控制命令的对应关系)，并解析出眼动事件所对应的控制命令，将控制命令递交至用户界面(UI，User Interface)管理模块704。

UI管理模块给用户界面反馈，结束本次活动。

上述装置中，事件生成模块702可以预先保存视线起点区域、视线终点区域、滑动数据序列和凝视数据序列；其中，所述滑动数据序列和凝视数据序列的初始内容为空；

所述事件生成模块702判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求的方式可以为：

当获取到一个眼动坐标数据时，判断滑动数据序列中的眼动坐标数据组成的用户视线轨迹是否已满足所述视线滑动要求；

如果不满足，则将所述眼动坐标数据添加入滑动数据序列，对所述滑动数据序列中的眼动坐标数据组成的用户视线轨迹进行判断；

如果满足，则将所述眼动坐标数据添加入凝视数据序列，判断所述凝视数据序列中的眼动坐标数据是否满足视线凝视要求；

当所述视线滑动要求和视线凝视要求均被满足时，判定获取的多个眼动坐标数据组成的用户视线轨迹满足预先设定的视线轨迹要求。

其中，事件生成模块702对滑动数据序列中已有的眼动坐标数据组成的用户视线轨迹进行判断的方式可以为：

判断所述滑动数据序列中的第一个眼动坐标数据是否位于所述视线起点区域，如果不是，则判定为不满足视线滑动要求，并清空滑动数据序列；

如果是，则判断所述滑动数据序列中的最后一个眼动坐标数据是否位于所述视线终点区域，如果不是，则判定为不满足视线滑动要求；

如果是，则计算实际滑动距离和直线滑动距离，其中，实际滑动距离为所述滑动数据序列中相邻两个眼动坐标数据的距离之和，实际滑动距离为所述滑动数据序列中第一个眼动坐标数据和最后一个眼动坐标数据的距离；判断所述实际滑动距离和直线滑动距离的差值是否满足预先设定的条件，如果满足，则判定满足所述视线滑动要求；如果不满足，则判定不满足所述视线滑动要求。

事件生成模块702判断实际滑动距离和直线滑动距离的差值是否满足预先设定的条件的方式可以为：

判断实际滑动距离与直线滑动距离的比例是否满足预先设定的比例要求，或者，判断实际滑动距离与直线滑动距离的差值是否满足预先设定的差值要求。

事件生成模块702判断凝视数据序列中的眼动坐标数据是否满足视线凝视要求的方式为：

判断所述凝视数据序列中的最后一个眼动坐标数据是否位于视线终点区域，如果不是，则判定为不满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列，将所述当前获取的眼动坐标数据添加入滑动数据序列；

如果是，则判断所述凝视数据序列中的眼动坐标数据的数量是否超过预先设定的阈值，如果超过，则判定为满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列；否则，判定为不满足视线凝视要求。

此外，上述设备还可以包括设备适配模块705，用于提供对具体的眼动设备的接口适配功能。

综上可见，本发明提出的实现智能控制的方法和设备，提出了通过屏幕的四个角落，实现眼睛的聚焦；通过当前的场景和眼睛所注视的具体角落位置，自动执行预定义的动作，避免了需要在界面上放置固定菜单，也实现了屏幕操作时解放人的双手的目的。本发明所提出的眼动控制方案通过滑动加注视的双重动作，对用户意图进行判定，从而大大降低了误判的可能性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种实现智能控制的方法，其特征在于，所述方法包括：

按照固定的周期获取用户的眼动坐标数据，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；

判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；

根据所述眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令；

采用该控制命令控制智能设备；

预先设定视线起点区域、视线终点区域、滑动数据序列和凝视数据序列；其中，所述滑动数据序列和凝视数据序列的初始内容为空；

所述判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求的方式为：

当获取到一个眼动坐标数据时，判断滑动数据序列中的眼动坐标数据组成的用户视线轨迹是否已满足所述视线滑动要求；

如果不满足，则将所述眼动坐标数据添加入滑动数据序列，对所述滑动数据序列中的眼动坐标数据组成的用户视线轨迹进行判断；

如果满足，则将所述眼动坐标数据添加入凝视数据序列，判断所述凝视数据序列中的眼动坐标数据是否满足视线凝视要求；

当所述视线滑动要求和视线凝视要求均被满足时，判定获取的多个眼动坐标数据组成的用户视线轨迹满足预先设定的视线轨迹要求。

2.根据权利要求1所述的方法，其特征在于，所述对滑动数据序列中已有的眼动坐标数据组成的用户视线轨迹进行判断的方式为：

判断所述滑动数据序列中的第一个眼动坐标数据是否位于所述视线起点区域，如果不是，则判定为不满足视线滑动要求，并清空滑动数据序列；

如果是，则判断所述滑动数据序列中的最后一个眼动坐标数据是否位于所述视线终点区域，如果不是，则判定为不满足视线滑动要求；

如果是，则计算实际滑动距离和直线滑动距离，其中，实际滑动距离为所述滑动数据序列中相邻两个眼动坐标数据的距离之和，直线滑动距离为所述滑动数据序列中第一个眼动坐标数据和最后一个眼动坐标数据的距离；判断所述实际滑动距离和直线滑动距离的差值是否满足预先设定的条件，如果满足，则判定满足所述视线滑动要求；如果不满足，则判定不满足所述视线滑动要求。

3.根据权利要求2所述的方法，其特征在于，所述判断实际滑动距离和直线滑动距离的差值是否满足预先设定的条件的方式为：

判断实际滑动距离与直线滑动距离的比例是否满足预先设定的比例要求，或者，判断实际滑动距离与直线滑动距离的差值是否满足预先设定的差值要求。

4.根据权利要求1所述的方法，其特征在于，所述判断凝视数据序列中的眼动坐标数据是否满足视线凝视要求的方式为：

判断所述凝视数据序列中的最后一个眼动坐标数据是否位于视线终点区域，如果不是，则判定为不满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列，将所述当前获取的眼动坐标数据添加入滑动数据序列；

如果是，则判断所述凝视数据序列中的眼动坐标数据的数量是否超过预先设定的阈值，如果超过，则判定为满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列；否则，判定为不满足视线凝视要求。

5.一种实现智能控制的设备，其特征在于，所述设备包括：

眼动数据管理模块，用于按照固定的周期获取用户的眼动坐标数据，将所述眼动坐标数据发送至事件生成模块；其中，所述眼动坐标数据为用户视线在智能设备屏幕上的坐标位置；

事件生成模块，用于判断收到的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求，如果满足，则查询预先保存的视线轨迹与眼动事件的对应关系，得到该视线轨迹对应的眼动事件，将所述眼动事件发送至控制管理模块；其中，所述视线轨迹要求包括：前部分的视线滑动要求及后部分的视线凝视要求；

所述事件生成模块预先保存视线起点区域、视线终点区域、滑动数据序列和凝视数据序列；其中，所述滑动数据序列和凝视数据序列的初始内容为空；

所述事件生成模块判断获取的多个眼动坐标数据组成的用户视线轨迹是否满足预先设定的视线轨迹要求的方式为：

当获取到一个眼动坐标数据时，判断滑动数据序列中的眼动坐标数据组成的用户视线轨迹是否已满足所述视线滑动要求；

如果不满足，则将所述眼动坐标数据添加入滑动数据序列，对所述滑动数据序列中的眼动坐标数据组成的用户视线轨迹进行判断；

如果满足，则将所述眼动坐标数据添加入凝视数据序列，判断所述凝视数据序列中的眼动坐标数据是否满足视线凝视要求；

当所述视线滑动要求和视线凝视要求均被满足时，判定获取的多个眼动坐标数据组成的用户视线轨迹满足预先设定的视线轨迹要求；

控制管理模块，用于根据收到的眼动事件查询预先保存的眼动事件与控制命令的对应关系，得到该眼动事件对应的控制命令，将该控制命令发送至UI管理模块；

UI管理模块，用于采用收到的控制命令控制智能设备。

6.根据权利要求5所述的设备，其特征在于，所述事件生成模块对滑动数据序列中已有的眼动坐标数据组成的用户视线轨迹进行判断的方式为：

判断所述滑动数据序列中的第一个眼动坐标数据是否位于所述视线起点区域，如果不是，则判定为不满足视线滑动要求，并清空滑动数据序列；

如果是，则判断所述滑动数据序列中的最后一个眼动坐标数据是否位于所述视线终点区域，如果不是，则判定为不满足视线滑动要求；

如果是，则计算实际滑动距离和直线滑动距离，其中，实际滑动距离为所述滑动数据序列中相邻两个眼动坐标数据的距离之和，直线滑动距离为所述滑动数据序列中第一个眼动坐标数据和最后一个眼动坐标数据的距离；判断所述实际滑动距离和直线滑动距离的差值是否满足预先设定的条件，如果满足，则判定满足所述视线滑动要求；如果不满足，则判定不满足所述视线滑动要求。

7.根据权利要求6所述的设备，其特征在于，所述事件生成模块判断实际滑动距离和直线滑动距离的差值是否满足预先设定的条件的方式为：

判断实际滑动距离与直线滑动距离的比例是否满足预先设定的比例要求，或者，判断实际滑动距离与直线滑动距离的差值是否满足预先设定的差值要求。

8.根据权利要求5所述的设备，其特征在于，所述事件生成模块判断凝视数据序列中的眼动坐标数据是否满足视线凝视要求的方式为：

判断所述凝视数据序列中的最后一个眼动坐标数据是否位于视线终点区域，如果不是，则判定为不满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列，将所述当前获取的眼动坐标数据添加入滑动数据序列；

如果是，则判断所述凝视数据序列中的眼动坐标数据的数量是否超过预先设定的阈值，如果超过，则判定为满足视线凝视要求，并清空所述滑动数据序列和凝视数据序列；否则，判定为不满足视线凝视要求。