CN102981625A - 眼动遥控方法和系统 - Google Patents

Abstract

本发明公开了一种眼动遥控方法和系统，所述眼动遥控方法包括步骤：眼动遥控装置追踪眼球相对于受控终端的运动，并将追踪结果发送给受控终端；受控终端根据追踪结果确定眼睛停留于受控终端的位置；眼动遥控装置检测眼睛停留在所述位置处是否有眨眼动作，如果有，则将检测到的眨眼信号发送至受控终端；受控终端根据所述眨眼信号，执行眼睛停留于受控终端的位置处的指令。从而，通过眼动遥控装置追踪眼球相对于受控终端的运动和检测眨眼动作，使得受控终端得以实时执行眼睛停留于受控终端的位置处的指令，实现了解放双手、通过眼睛远距离控制受控终端的目的，特别是方便远距离文字输入、有利于肢体不便的残疾人士方便快捷的控制受控终端。

Description

眼动遥控方法和系统

技术领域

本发明涉及人机交互技术领域，尤其是涉及一种眼动遥控方法和系统。

背景技术

现有的智能终端，用户均需近距离的使用鼠标点击终端所显示的菜单图标来激活相应的指令，或者使用键盘来输入文字，但这对于肢体不便的残疾人士来说是比较困难的。同时，随着科技的进步，市场上已经出现了无线鼠标和无线键盘可供用户远距离操控智能终端，并且人机互动越来越受欢迎，尤其是当智能电视如安卓电视终端的出现后，人机互动更加成为了一个未来技术发展的一个大趋势，所以，如果能利用眼睛远距离操控终端，不但方便快捷，还能解放双手，实现虚拟现实的人机交互，特别是对于肢体不便的残疾人士也可以方便的操控终端。

发明内容

本发明的主要目的在于提供一种眼动遥控方法和系统，旨在解放双手、通过眼睛远距离控制受控终端。

为达以上目的，本发明提出一种眼动遥控方法，包括步骤：

眼动遥控装置追踪眼球相对于受控终端的运动，并将追踪结果发送给受控终端；

受控终端根据追踪结果确定眼睛停留于受控终端的位置；

眼动遥控装置检测眼睛停留在所述位置处是否有眨眼动作，如果有，则将检测到的眨眼信号发送至受控终端；

受控终端根据所述眨眼信号，执行眼睛停留于受控终端的位置处的指令。

优选地，所述眼动遥控装置追踪眼球相对于受控终端的运动包括：

眼动遥控装置获取眼球的初始位置；

眼动遥控装置追踪眼球相对于头部的运动作为追踪眼球相对于受控终端的运动，以获取眼球相对于初始位置移动后的实时位置。

优选地，所述受控终端根据追踪结果确定眼睛停留于受控终端的位置包括：

受控终端根据眼球的初始位置建立眼球的位置与眼睛停留于受控终端的位置的关联；并根据眼球相对于初始位置移动后的实时位置，确定眼睛停留于受控终端的位置。

优选地，所述眼动遥控装置追踪眼球相对于受控终端的运动包括：

眼动遥控装置获取眼球和头部的初始位置；

眼动遥控装置追踪眼球相对于头部的运动和头部相对于受控终端的运动作为追踪眼球相对于受控终端的运动，以获取眼球和头部相对于初始位置移动后的实时位置。

优选地，所述受控终端根据追踪结果确定眼睛停留于受控终端的位置包括：

受控终端根据眼球和头部的初始位置建立眼球和头部的位置与眼睛停留于受控终端的位置的关联；并根据眼球和头部相对于初始位置移动后的实时位置，确定眼睛停留于受控终端的位置。

本发明同时提出一种眼动遥控系统，包括眼动遥控装置和受控终端，其中：

眼动遥控装置，用于追踪眼球相对于受控终端的运动并将追踪结果发送至受控终端，检测眨眼动作并将检测到的眨眼信号发送至受控终端；

受控终端，用于根据追踪结果确定眼睛停留于受控终端的位置，并在收到眨眼信号后执行眼睛停留于受控终端的位置处的指令。

优选地，所述眼动遥控装置包括眼动追踪器和肌电感应器，其中：

眼动追踪器，用于获取眼球的初始位置；追踪眼球相对于头部的运动作为追踪眼球相对于受控终端的运动，以获取眼球相对于初始位置移动后的实时位置；将眼球的初始位置和实时位置发送至受控终端；

肌电感应器，用于检测眨眼动作并将检测到的眨眼信号发送至受控终端。

优选地，所述眼动遥控装置还包括定位装置，该定位装置用于：

获取头部的初始位置；追踪头部相对于受控终端的运动，以获取头部相对于初始位置移动后的实时位置；将头部的初始位置和实时位置发送至受控终端。

优选地，所述肌电感应器还用于：在持续预设时间后，都没有检测到眨眼信号时，则关闭眼动遥控装置。

优选地，所述眼动遥控装置还包括温度传感器，其通过检测温度变化来控制眼动遥控装置的开关。

本发明所提供的一种眼动遥控方法，通过眼动遥控装置追踪眼球相对于受控终端的运动和检测眨眼动作，使得受控终端得以实时执行眼睛停留于受控终端的位置处的指令，实现了解放双手、通过眼睛远距离控制受控终端的目的，特别是方便远距离文字输入、有利于肢体不便的残疾人士方便快捷的控制受控终端。

附图说明

图1是本发明的眼动遥控方法第一实施例的流程图；

图2 是本发明的眼动遥控方法第二实施例的流程图；

图3 是本发明的眼动遥控方法第三实施例的流程图；

图4是本发明的眼动遥控系统第一实施例的结构示意图；

图5是图4中眼动遥控装置的结构示意图；

图6是图5中受控终端的结构示意图；

图7是本发明的眼动遥控系统第二实施例的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，提出本发明的眼动遥控方法第一实施例，所述眼动遥控方法包括：

步骤S101、眼动遥控装置追踪眼球相对于受控终端的运动，并将追踪结果发送给受控终端。

用户的眼球相对于头部运动的时候或者头部相对于受控终端运动的时候，眼球都会相对于受控终端运动，从而用户的眼睛停留于受控终端的位置就会不断变化。因此本步骤S101中通过实时追踪眼球相对于受控终端的运动来确定眼睛停留于于受控终端的位置。

步骤S102、受控终端根据追踪结果确定眼睛停留于受控终端的位置。

步骤S103、眼动遥控装置检测眼睛停留在所述位置处是否有眨眼动作，如果有，则将检测到的眨眼信号发送至受控终端。

步骤S104、受控终端根据所述眨眼信号，执行眼睛停留于受控终端的位置处的指令。

例如，受控终端上显示有各种菜单，当用户的眼睛盯着某个菜单眨眼时，则打开相应的菜单，从而用户可以通过眼睛遥控受控终端；或者受控终端上显示有虚拟键盘，当用户的眼睛盯着虚拟键盘上的某个字母眨眼时，则输出相应的字母，从而用户可以通过眼睛遥控受控终端进行文字输入。

据此，本实施例通过眼动遥控装置追踪眼球相对于受控终端的运动和检测眨眼动作，使得受控终端得以实时执行眼睛停留于受控终端的位置处的指令，实现了解放双手、通过眼睛远距离控制受控终端的目的，特别是方便远距离文字输入，以及有利于肢体不便的残疾人士方便快捷的控制受控终端。

参见图2，提出本发明的眼动遥控方法第二实施例，当用户保持不动时，可以通过以下步骤实现眼动遥控：

步骤S201、眼动遥控装置获取眼球的初始位置并发送至受控终端。

本步骤S201中首先对眼动遥控装置初始化，记录眼睛的左眼角、眼球瞳孔和右眼角的位置坐标，从而获取眼球的初始位置，可以仅记录左眼球或右眼球的位置坐标，最好同时获取两只眼睛的眼球的位置坐标，以提高准确率。

步骤S202、眼动遥控装置追踪眼球相对于头部的运动，以获取眼球相对于初始位置移动后的实时位置并发送至受控终端。

本步骤S202中，以眼球的初始位置为参考基准，实时追踪眼球相对于头部的运动，获取眼球相对于初始位置移动后的实时位置。由于用户保持不动，因此追踪眼球相对于头部的运动就相当于追踪眼球相对于受控终端的运动。

步骤S203、受控终端根据眼球的初始位置和实时位置，确定眼睛停留于受控终端的位置。

本步骤S203中，受控终端根据眼球的初始位置建立起眼球的位置与眼睛停留于受控终端的位置的关联，再根据眼球相对于初始位置移动后的实时位置，来确定眼睛停留于受控终端的位置。

步骤S204、眼动遥控装置检测眼睛停留在所述位置处是否有眨眼动作，如果有，则将检测到的眨眼信号发送至受控终端。

步骤S205、受控终端根据所述眨眼信号，执行眼睛停留于受控终端的位置处的指令。

本步骤S205中，当受控终端检测到眨眼信号后，就实时执行眨眼时眼睛停留于受控终端的位置处的指令。

本实施例中，眼动遥控装置在获取眼球的初始位置后，用户就不能随意走动，需要固定于原位置，才能准确的遥控受控终端；如果用户离开了原来的位置，则需要对遥控装置重新初始化，重新获取眼球的初始位置。

参见图3，提出本发明的眼动遥控方法第三实施例，本实施例克服了上一实施例中用户不能随意走动的问题，可同时追踪眼球相对于头部的运动以及头部相对于受控终端的运动，从而用户走动之后也能精确追踪眼球相对于受控终端的运动，具体步骤如下：

S301、眼动遥控装置获取眼球和头部的初始位置并发送至受控终端。

有时用户不但眼球移动，头部也会晃动甚至会随意走动而导致头部偏离原来的位置，因此当用户的头部偏离了原来的位置后，仅仅追踪眼球相对于头部的运动并不能精确的确定眼睛停留于受控终端的位置。因此，本步骤S301中首先对眼动遥控装置初始化，获取眼球和头部的初始位置。记录眼睛的左眼角、眼球瞳孔和右眼角的位置坐标，从而获取眼球的初始位置；检测头部相对于受控终端的初始位置，从而获取头部的初始位置。

步骤S302、眼动遥控装置追踪眼球相对于头部的运动和头部相对于受控终端的运动，以获取眼球和头部相对于初始位置移动后的实时位置并发送至受控终端。

本步骤S302中，以眼球和头部的初始位置为参考基准，通过追踪眼球相对于头部的运动和头部相对于受控终端的运动，得以实现精确追踪眼球相对于受控终端的运动。其中，实时追踪眼球相对于头部的运动以获取眼球相对于初始位置移动后的实时位置，实时追踪头部相对于受控终端的运动以获取头部相对于初始位置移动后的实时位置。

步骤S303、受控终端根据眼球和头部的初始位置及实时位置，确定眼睛停留于受控终端的位置。

本步骤S303中，受控终端根据眼球和头部的初始位置建立眼球和头部的位置与眼睛停留于受控终端的位置的关联，再根据眼球和头部相对于初始位置移动后的实时位置，精确确定眼睛停留于受控终端的位置。

步骤S304、眼动遥控装置检测眼睛停留在所述位置处是否有眨眼动作，如果有，则将检测到的眨眼信号发送至受控终端。

步骤S305、受控终端根据所述眨眼信号，执行眼睛停留于受控终端的位置处的指令。

本步骤S305中，当受控终端检测到眨眼信号后，就实时执行眨眼时眼睛停留于受控终端的位置处的指令。

据此，本实施例通过追踪眼球相对于头部的运动以及头部相对于受控终端的运动，来实现追踪眼球相对于受控终端的运动，使得用户不必固定在一个位置，头部可以随意晃动，甚至用户可以随意走动，也可以精确定位眼睛停留于受控终端的位置，使得眼动遥控更加方便、适用性更强。

参见图4-图6，提出本发明的眼动遥控系统的第一实施例，所述眼动遥控系统100包括眼动遥控装置110和受控终端120，其中眼动遥控装置110可以佩戴于头上，例如类似于眼镜的造型，其用于追踪眼球相对于受控终端的运动并将追踪结果发送至受控终端120，检测眨眼动作并将检测到的眨眼信号发送至受控终端120；受控终端120可以是电视、电脑或者投影设备等，其用于根据追踪结果确定眼睛停留于受控终端120的位置，并在收到眨眼信号后执行眼睛停留于受控终端120的位置处的指令。眼动遥控装置110包括眼动追踪器111和肌电感应器112，其中眼动追踪器111用于追踪眼球相对于头部的运动作为追踪眼球相对于受控终端120的运动并将追踪结果发送至受控终端120；肌电感应器112用于检测眨眼动作并将检测到的眨眼信号发送至受控终端120。受控终端120包括分析处理模块121和执行模块122，其中分析处理模块121用于接收眨眼信号和追踪结果并对其分析处理，从而确定眼睛停留于受控终端120的位置；执行模块122则在收到眨眼信号后执行眼睛停留于受控终端120的位置处的指令。

眼动遥控装置110启动后，利用无线网络或蓝牙设备与受控终端120进行对接，对接成功后则进行初始化：眼动追踪器111通过设置于眼动遥控装置110上的视频拍摄设备记录眼睛的左眼角、眼球瞳孔和右眼角的位置坐标，从而获取眼球的初始位置并发送至受控终端120，受控终端120的分析处理模块121再根据该初始位置建立眼球的位置与眼睛停留于受控终端120的位置的关联。初始化完成后，眼动追踪器111以眼球的初始位置为参考基准，实时追踪眼球相对于头部的运动（当用户保持不动时，追踪眼球相对于头部的运动就相当于追踪眼球相对于受控终端120的运动），记录眼球相对于初始位置移动后的实时位置并发送至受控终端120，受控终端120的分析处理模块121对该实时位置进行分析处理，计算出眼睛停留于受控终端120的位置；同时，位于用户头部两侧的肌电感应器112实时检测用户眨眼时眼角肌肉的收缩动作，并将检测到的眨眼动作转化为眨眼信号发送至受控终端120，受控终端120收到眨眼信号后，其执行模块122就实时执行眨眼时眼睛停留于受控终端120的位置处的指令，从而完成眼动遥控过程。

例如，受控终端120上显示有各种菜单图标，眼动追踪器111实时追踪眼球的运动以使受控终端120实时确定眼睛停留于哪一个菜单图标上，当用户盯着虚拟键盘的菜单图标眨眼时，肌电感应器112检测到眨眼动作并将眨眼信号发送至受控终端120，受控终端120则打开该菜单，显示虚拟键盘，完成了眼睛对受控终端120的远距离控制。接下来，用户可以对虚拟键盘上的某个字母眨眼，受控终端120则输出相应的字母，使得用户可以通过眼睛遥控受控终端120进行文字输入。

据此，本实施例通过眼动遥控装置110追踪眼球相对于受控终端的运动和检测眨眼动作，并将追踪结果和眨眼信号发送至受控终端120，受控终端120则分析处理追踪结果和眨眼信号，执行用户眨眼时眼睛停留于受控终端120的位置处的指令，从而实现了通过眼睛远距离控制受控终端120的目的，操作便利快捷。

进一步地，所述肌电感应器112还用于在持续超过一段时间如10~15分钟后，都没有检测到眨眼信号时，判定用户已经进入睡眠，则关闭眼动遥控装置110。或者，当受控终端120收到眼动追踪器111发送的眼球的实时位置，经分析处理发现用户没有停留受控终端120超过一段时间如10~15分钟后，则向眼动遥控装置110发送关闭信号，从而可以节约电能。

进一步地，所述眼动遥控装置110还包括一温度传感器113，其可以检测温度变化，进而控制眼动遥控装置110的开关。本实施例优选接触式温度传感器。当用户戴上眼动遥控装置110后，温度传感器113与人体接触感应到温度升高到人体温度，则自动开启眼动遥控装置110；当用户取下眼动遥控装置110后，温度传感器113感应到温度降低，则自动关闭眼动遥控装置110，从而实现自动开关，更加智能方便。

进一步地，参见图7，提出本发明的眼动遥控系统第二实施例，本实施例的眼动遥控系统100与上述实施例的区别是增加了定位装置114，该定位装置114可以设于眼动遥控装置110上，当然也可以设于受控终端120，其用于追踪头部相对于受控终端120的运动并将追踪结果发送至受控终端120。进而，用户不必固定在单一位置，头部可以随意晃动，甚至用户可以随意走动，也可以精确定位眼睛停留于受控终端120的位置。

定位装置114可以选择红外线室内定位装置、超声波定位装置、蓝牙定位装置、超宽带定位装置、WiFi定位装置或射频射频识别定位装置等等。本实施例优选射频识别定位装置，其优点是非接触、非视距识别，它能穿透雪、雾、冰、涂料、尘垢等各种障碍，并能在各种恶劣环境进行信息识别，传输范围大，识别速度快，大多数情况下不到100毫秒，而且成本较低。射频识别定位装置可以设于眼动遥控装置上，与受控终端120上贴附的供射频识别定位装置识别的射频标签相配合使用；或者将射频识别定位装置设于受控终端上，将射频标签贴附于眼动遥控装置110的中部，射频识别定位装置向射频标签发射信号，并接收标签的应答，从而获取用户头部的实时位置，并将该实时位置发送至分析处理模块121。

具体的，眼动遥控装置110启动后，利用无线网络或蓝牙设备与受控终端120进行对接，对接成功后则对眼动追踪器111和定位装置114进行初始化：眼动追踪器111通过视频拍摄设备记录眼睛的左眼角、眼球瞳孔和右眼角的位置坐标，从而获取眼球的初始位置并发送至受控终端120；定位装置114获取用户头部的初始位置并发送至分析处理模块121；受控终端120的分析处理模块121再根据眼球和头部的初始位置建立眼球和头部的位置与眼睛停留于受控终端120的位置的关联，从而完成初始化。初始化完成后，眼动追踪器111以眼球的初始位置为参考基准，实时追踪眼球相对于头部的运动，记录眼球相对于初始位置移动后的实时位置并发送至受控终端120；定位装置114以头部的初始位置为参考基准，实时追踪头部相对于受控终端120的运动如头部晃动或用户移动导致头部偏离初始位置，记录头部相对于初始位置移动后的实时位置并发送至受控终端120的分析处理模块121。从而，通过追踪头部相对于受控终端120的运动和眼球相对于头部的运动，得以实现追踪眼球相对于受控终端120的运动。受控终端120的分析处理模块121对眼球和头部的实时位置进行分析处理，计算出用户在立体空间中眼睛停留于受控终端120的位置；同时，位于用户头部两侧的肌电感应器112实时检测用户眨眼时眼角肌肉的收缩动作，并将检测到的眨眼动作转化为眨眼信号发送至受控终端120，受控终端120的分析处理模块121将眨眼信号和眼睛停留于受控终端120的位置发送至执行模块122，执行模块122就实时执行眨眼时眼睛停留于受控终端120的位置处的指令，从而完成眼动遥控过程。

据此，本实施例通过加入定位装置114实时追踪用户头部相对于受控终端120的运动，即使用户头部晃动甚至走动而导致头部偏离初始位置，眼动遥控系统100也能精确的确定眼睛停留于受控终端120的位置，使得眼动遥控更加方便、适用性更强。

应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种眼动遥控方法，其特征在于，包括步骤：

眼动遥控装置追踪眼球相对于受控终端的运动，并将追踪结果发送给受控终端；

受控终端根据追踪结果确定眼睛停留于受控终端的位置；

眼动遥控装置检测眼睛停留在所述位置处是否有眨眼动作，如果有，则将检测到的眨眼信号发送至受控终端；

受控终端根据所述眨眼信号，执行眼睛停留于受控终端的位置处的指令。

2.根据权利要求1所述的眼动遥控方法，其特征在于，所述眼动遥控装置追踪眼球相对于受控终端的运动包括：

眼动遥控装置获取眼球的初始位置；

眼动遥控装置追踪眼球相对于头部的运动作为追踪眼球相对于受控终端的运动，以获取眼球相对于初始位置移动后的实时位置。

3.根据权利要求2所述的眼动遥控方法，其特征在于，所述受控终端根据追踪结果确定眼睛停留于受控终端的位置包括：

受控终端根据眼球的初始位置建立眼球的位置与眼睛停留于受控终端的位置的关联；并根据眼球相对于初始位置移动后的实时位置，确定眼睛停留于受控终端的位置。

4.根据权利要求1所述的眼动遥控方法，其特征在于，所述眼动遥控装置追踪眼球相对于受控终端的运动包括：

眼动遥控装置获取眼球和头部的初始位置；

眼动遥控装置追踪眼球相对于头部的运动和头部相对于受控终端的运动作为追踪眼球相对于受控终端的运动，以获取眼球和头部相对于初始位置移动后的实时位置。

5.根据权利要求4所述的眼动遥控方法，其特征在于，所述受控终端根据追踪结果确定眼睛停留于受控终端的位置包括：

受控终端根据眼球和头部的初始位置建立眼球和头部的位置与眼睛停留于受控终端的位置的关联；并根据眼球和头部相对于初始位置移动后的实时位置，确定眼睛停留于受控终端的位置。

6.一种眼动遥控系统，其特征在于，包括眼动遥控装置和受控终端，其中：

眼动遥控装置，用于追踪眼球相对于受控终端的运动并将追踪结果发送至受控终端，检测眨眼动作并将检测到的眨眼信号发送至受控终端；

受控终端，用于根据追踪结果确定眼睛停留于受控终端的位置，并在收到眨眼信号后执行眼睛停留于受控终端的位置处的指令。

7.根据权利要求6所述的眼动遥控系统，其特征在于，所述眼动遥控装置包括眼动追踪器和肌电感应器，其中：

眼动追踪器，用于获取眼球的初始位置；追踪眼球相对于头部的运动作为追踪眼球相对于受控终端的运动，以获取眼球相对于初始位置移动后的实时位置；将眼球的初始位置和实时位置发送至受控终端；

肌电感应器，用于检测眨眼动作并将检测到的眨眼信号发送至受控终端。

8.根据权利要求7所述的眼动遥控系统，其特征在于，所述眼动遥控装置还包括定位装置，该定位装置用于：

获取头部的初始位置；追踪头部相对于受控终端的运动，以获取头部相对于初始位置移动后的实时位置；将头部的初始位置和实时位置发送至受控终端。

9.根据权利要求6-8任一项所述的眼动遥控系统，其特征在于，所述肌电感应器还用于：在持续预设时间后，都没有检测到眨眼信号时，则关闭眼动遥控装置。

10.根据权利要求6-8任一项所述的眼动遥控系统所述的，其特征在于，所述眼动遥控装置还包括温度传感器，其通过检测温度变化来控制眼动遥控装置的开关。

Images