CN105068646B - 终端的控制方法和系统 - Google Patents

Abstract

本发明涉及一种终端的控制方法和系统，改方法包括以下步骤：获取用户眼球反射图像，并提取所述反射图像中的中心图像；将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；终端根据所述浏览区域以及用户的触发信息执行相应操作。本发明通过检测用户眼球反射图像并提取中心图像，基于该中心图像计算出用户在终端当前显示页面上对应的浏览区域，通过该浏览区域以及用户的触发信息生成各种控制指令，实现对终端的精确控制，操作简单方便，可以有效解放用户的双手，而且能防止用户手指在终端屏幕上的误操作，提高用户体验。

Description

终端的控制方法和系统

技术领域

本发明涉及控制技术领域，特别是涉及一种终端的控制方法和系统。

背景技术

智能机的普及和Android开放式的开发致使手机行业迅猛发展，手机的屏幕尺寸越来越大，虽然大屏幕的手机可以给予用户更好的视觉享受，但随之产生的问题是单手操作的局限性。为了解决该问题，目前有诸多可以辅助用户实现单手操作的解决方案，但是这些方案都有局限性并且操作上仍不够方便，例如，现有技术中提供一种单手操作界面，就是把界面缩小到单手可以操作，但这样也更易造成误操作，另外现有技术中还有通过检测用户眼球轨迹进行相应操作的解决方案，但这种方案难以判断用户到底需要什么内容或者想发送什么指令，操控精确度较差，因此该方案实用性较低且难以实现。

发明内容

基于此，为解决现有技术中存在的问题，本发明提供一种终端的控制方法和系统，通过获取用户眼球反射图像分析出浏览区域，并结合用户的触发信息，实现对终端的精确控制，操作方便、简单。

为实现上述技术目的，本发明实施例采用以下技术方案：

一种终端的控制方法，包括以下步骤：

获取用户眼球反射图像，并提取所述反射图像中的中心图像，所述中心图像为所述反射图像中处于居中位置的图像；

将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；

终端根据所述浏览区域以及用户的触发信息执行相应操作。

以及一种终端的控制系统，包括：

反射图像获取模块，用于获取用户眼球反射图像；

中心图像提取模块，用于提取所述反射图像中的中心图像，所述中心图像为所述反射图像中处于居中位置的图像；

匹配分析模块，用于将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；

控制模块，用于根据所述浏览区域以及用户的触发信息执行相应操作。

用户在观看手机、平板等终端的屏幕时，终端显示的图像会经用户眼球反射出来，本发明基于该原理，通过检测用户眼球反射图像获取浏览区域，并结合用户的触发信息，实现对终端的精确控制，操作简单方便，可以有效解放用户的双手，而且能防止用户手指在终端屏幕上的误操作，提高用户体验。

附图说明

图1为本发明实施例一中终端的控制方法的流程示意图；

图2为本发明实施例一中提取中心图像的示意图；

图3为本发明实施例二中根据中心图像确定对应浏览区域的示意图；

图4为本发明实施例二中根据浏览区域以及用户的触发信息执行相应操作的流程示意图；

图5为本发明实施例三中终端的控制系统的结构示意图；

图6为本发明实施例三中控制模块的一种结构示意图。

具体实施方式

下面结合较佳实施例及附图对本发明的内容作进一步详细描述。应当说明的是，下述各实施例中均以手机为例进行说明，但不能以此来限制本发明的保护范围，本发明提供的终端的控制方法及系统，除了适用于手机，还适用于平板、笔记本电脑等多种终端，因此，本发明专利的保护范围应以所附权利要求为准。

实施例一

如图1所示，本实施例一提供一种终端的控制方法，包括以下步骤：

S10 获取用户眼球反射图像，并提取所述反射图像中的中心图像；

S11 将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；

S12 终端根据所述浏览区域以及用户的触发信息执行相应操作。

具体的，人的眼球有类似于镜子的效果，当两人相对而视时，通过反射光线可以在对方的眼球里看到自己的头像。同理，用户在观看手机、平板等终端的屏幕时，终端显示屏的图像也会经用户眼球而反射，基于该原理，本实施例一通过检测用户眼球反射图像来实现对终端的控制，下面以手机为例对该控制过程进行详细描述。

现有的手机一般配置有前置摄像头，随着手机摄像头像素越来越高，提取眼球反射图像也将越来越方便。在本实施例中，可通过手机配置的高像素前置摄像头实时获取用户眼球反射图像，例如，通过前置摄像头拍摄高像素人脸图像，然后对该高像素人脸图像进行放大，提取出用户眼球反射图像。考虑到人眼注视的目标都会成像到中间，因此本实施例一中还需要对用户眼球反射图像进行过滤，提取出该反射图像中的中心图像。其中，中心图像是指反射图像中处于居中位置的图像，具体参照图2所示。

提取中心图像后，即可确定用户注视的目标，此时再将中心图像与手机当前显示页面进行匹配分析，确定手机当前显示页面上与中心图像相对应的浏览区域。例如，采用基于灰度区域的图像匹配分析算法，使用中心图像作为模板，在手机当前显示页面上进行移动，通过相似性度量来寻找最佳匹配点，从而找到用户在手机当前显示页面上相应的浏览区域。确定浏览区域后，即可依据用户输入的触发信息及该浏览区域对手机进行控制。例如，在一种具体实施中，当手机检测到用户的触发信息后，对浏览区域进行放大或缩小操作；或者当浏览区域包含超链接时，若检测到预设次数(例如两次)的触发信息，则打开超链接，将手机当前显示页面切换至超链接指向的页面。上述的触发信息可以根据用户的实际使用需求进行设定，例如在终端上设置快捷键或设置相应按钮，当用户按下快捷键或相应按钮后，生成触发指令，终端即可检测到触发信息。

综上所述，本实施例通过检测用户眼球反射图像并提取中心图像，基于该中心图像计算出用户在终端当前显示页面上对应的浏览区域，通过该浏览区域以及用户的触发信息生成各种控制指令，实现对终端的精确控制，操作简单方便，可以有效解放用户的双手，而且能防止用户手指在终端屏幕上的误操作，提高用户体验。

实施例二

本实施例二提供一种终端的控制方法，下面仍以手机为例进行说明。

在本实施例二中，手机通过前置高像素摄像头接收用户眼球反射光，并进行光电转化，从而获得用户眼球反射图像。然后基于该反射图像进行坐标运算，提取反射图像中处于居中位置的中心图像，由于人眼注视的目标都会成像到中间，因此该中心图像反应了用户正在注视的目标。

提取中心图像后，采用图像匹配分析算法计算出手机当前显示页面上与中心图像相对应的浏览区域，具体算法可参照现有技术中的基于灰度区域的图像匹配分析算法、基于图像特征的匹配算法等等。

如图3所示，经匹配分析获得与中心图像对应的浏览区域，然后依据该浏览区域以及用户输入的触发信息生成各种控制指令，对手机进行相应控制。在本实施例二中，如图4所示，手机根据浏览区域以及用户的触发信息执行相应操作的过程包括如下步骤：

S21 获取所述浏览区域与终端当前显示页面的相对位置信息；

S22 判断是否检测到用户的触发信息，若是，则进入S23；

S23 当终端检测到触发信息后，终端根据所述相对位置信息滑动当前显示页面。

具体的，通过匹配分析获得浏览区域后，可通过坐标运算判断浏览区域与手机当前显示页面的相对位置，获取相对位置信息。仍以图3为例，在图3中浏览区域处于当前显示页面的上方，此时，手机对用户的触发信息进行检测，一旦检测到用户的触发信息，则根据浏览区域与手机当前显示页面的相对位置信息滑动当前显示页面。在一种具体实施方式中，若浏览区域处于当前显示页面的上方，则手机在检测到触发信息后向上滑动显示页面；若浏览区域处于当前显示页面的下方，则手机在检测到触发信息后向下滑动显示页面；若浏览区域处于当前显示页面的左方，则手机在检测到触发信息后向左滑动显示页面；若浏览区域处于当前显示页面的右方，则手机在检测到触发信息后向右滑动显示页面。

在一种具体实施方式中，触发信息包括眨眼信息，终端可以通过眨眼检测方法检测眨眼信息。眨眼检测方法较多，目前基于视觉的眨眼检测方法可以分为两类：主动的眨眼检测和被动的眨眼检测。主动的眨眼检测方法需要特殊的照明以利用人眼的反光性能。光落在眼睛会在视网膜进行反射，反射光很窄，因为它是通过瞳孔直接指向光源，因此当光源位于或非常接近相机的聚焦轴时，在记录亮瞳效应的图像中可以见到反射光束，因此利用闪光摄影可以观察到明亮的瞳孔现象，进而实现眨眼检测。而被动的眨眼检测方法不需使用额外的光源，在自然光照下从可见光谱的序列图像中就可以识别眨眼，最简单的检测图像序列中的眨眼的方法是从序列图像中减去连续帧然后创建一个差分图像。然而，这种方法仍需要保持用户头部的位置，因为头部动作会引入检测误差。大多数的被动眨眼检测方法事实上是检测眼睛区域图像，例如基于模板匹配的方法，使用一个眼睛图像类型，输入对比段的图像，用关联模板对当前图像帧以及输入的图像进行匹配分析。另外还有基于皮肤颜色模型的眨眼检测方法、定向循环霍夫变换法、基于多个伽柏响应波的眨眼检测方法等等。

通过上述方法可以实现眨眼信息的检测，根据用户的眨眼信息以及浏览区域与手机当前显示页面的相对位置信息可以生成各种控制指令，实现对手机的控制。例如，当浏览区域处于当前显示页面的上方时，手机检测到眨眼信息后向上滑动显示页面；当浏览区域处于当前显示页面的下方时，手机检测到眨眼信息后向下滑动显示页面；当浏览区域处于当前显示页面的左方时，手机检测到眨眼信息后向左滑动显示页面；当浏览区域处于当前显示页面的右方时，手机在检测到眨眼信息后向右滑动显示页面。

在实施例一中也给出了几种依据用户输入的触发信息及浏览区域对手机进行控制的方法，若其中的触发信息采用本实例二中所提供的眨眼信息，则可以实现以下控制：当手机检测到眨眼信息后，对浏览区域进行放大或缩小操作；当浏览区域包含超链接时，若检测到预设次数(例如两次)的眨眼信息，则打开超链接，将手机当前显示页面切换至超链接指向的页面。

由此可见，采用本实施例二提供的终端的控制方法，在依据用户眼球反射图像最终分析出用户在终端当前显示页面上对应的浏览区域后，根据浏览区域以及用户的眨眼信息可以生成各种控制指令，用户通过眨眼动作便能实现对终端的精确控制，操作十分简单，彻底解放双手，而且能防止因手指触屏而产生的误操作，显著提高了用户体验。

实施例三

本实施例三提供一种终端的控制系统，下面给出该终端的控制系统的较佳实施例。

如图5所示，终端的控制系统包括：

反射图像获取模块1，用于获取用户眼球反射图像；

中心图像提取模块2，用于提取所述反射图像中的中心图像；

匹配分析模块3，用于将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；

控制模块4，用于根据所述浏览区域以及用户的触发信息执行相应操作。

下面以手机为例对上述各个模块进行说明。

现有的手机一般配置有前置摄像头，随着手机摄像头像素越来越高，提取眼球反射图像也将越来越方便。在本实施例中，反射图像获取模块1包含了高像素摄像头，通过该高像素前置摄像头可以实时获取用户眼球反射图像。考虑到人眼注视的目标都会成像到中间，因此本实施例中还需要通过中心图像提取模块2提取反射图像中的中心图像，该中心图像是指反射图像中处于居中位置的图像，具体如图2所示。

提取中心图像后，即可确定用户注视的目标，匹配分析模块3将中心图像与手机当前显示页面进行匹配分析，确定手机当前显示页面上与中心图像相对应的浏览区域。以图2为例，采用基于灰度区域的图像匹配分析算法，根据中心图像搜索用户在手机当前显示页面上相应的浏览区域，确定该浏览区域后，控制模块4即可依据用户输入的触发信息及浏览区域对手机进行控制。

在一种具体实施方式中，当控制模块4检测到用户的触发信息后，对浏览区域进行放大或缩小操作。

在一种具体实施方式中，控制模块4判断浏览区域是否包含超链接；若是，则控制模块4在检测到预设次数的触发信息后，将当前显示页面切换至超链接指向的页面。

上述的触发信息可以根据用户的实际使用需求进行设定，例如在终端上设置快捷键或设置相应按钮，当用户按下快捷键或相应按钮后，生成触发指令，终端即可检测到触发信息。

在一种具体实施方式中，如图6所示，控制模块4包括：

位置判定模块41，用于获取所述浏览区域与终端当前显示页面的相对位置信息；

检测模块42，用于检测所述触发信息；

滑动切换模块43，用于在检测到所述触发信息后，根据所述相对位置信息滑动当前显示页面。

具体的，在匹配分析模块3通过匹配分析获得浏览区域后，位置判定模块41通过坐标运算判断浏览区域与手机当前显示页面的相对位置，获取相对位置信息。仍以图3为例，在图3中浏览区域处于当前显示页面的上方，此时，检测模块42对用户的触发信息进行检测，一旦检测到用户的触发信息，滑动切换模块43即根据浏览区域与手机当前显示页面的相对位置信息滑动当前显示页面。

在一种具体实施方式中，触发信息包括眨眼信息，终端可以通过眨眼检测方法检测眨眼信息。根据用户的眨眼信息以及浏览区域与手机当前显示页面的相对位置信息可以生成各种控制指令，实现对手机的控制。例如，当位置判定模块4判定浏览区域处于当前显示页面的上方时，若检测模块42检测到眨眼信息，则滑动切换模块43向上滑动显示页面；当位置判定模块4判定浏览区域处于当前显示页面的下方时，若检测模块42检测到眨眼信息，则滑动切换模块43向下滑动显示页面；当位置判定模块4判定浏览区域处于当前显示页面的左方时，若检测模块42检测到眨眼信息，则滑动切换模块43向左滑动显示页面；当位置判定模块4判定浏览区域处于当前显示页面的右方时，若检测模块42检测到眨眼信息，则滑动切换模块43向右滑动显示页面。

上述各个模块其具体功能的实现方法可参照实施例一、实施例二中描述的方法，此处不再一一说明。

综上所述，本实施例三中的终端的控制系统通过检测用户眼球反射图像并提取中心图像，基于该中心图像计算出用户在终端当前显示页面上对应的浏览区域，通过该浏览区域以及用户的触发信息生成各种控制指令，实现对终端的精确控制，操作简单方便，可以解放用户的双手，显著提高用户体验，而且能有效防止用户手指在终端屏幕上的误操作。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种终端的控制方法，其特征在于，包括以下步骤：

获取用户眼球反射图像，并提取所述反射图像中的中心图像，所述中心图像为所述反射图像中处于居中位置的图像；

将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；

终端根据所述浏览区域以及用户的触发信息执行相应操作。

2.根据权利要求1所述的终端的控制方法，其特征在于，获取用户眼球反射图像的过程包括如下步骤：

接收用户眼球反射光并进行光电转化，获得所述反射图像。

3.根据权利要求1所述的终端的控制方法，其特征在于，终端根据所述浏览区域以及用户的触发信息执行相应操作的过程包括如下步骤：

获取所述浏览区域与终端当前显示页面的相对位置信息；

当终端检测到所述触发信息后，终端根据所述相对位置信息滑动当前显示页面。

4.根据权利要求1所述的终端的控制方法，其特征在于，终端根据所述浏览区域以及用户的触发信息执行相应操作的过程包括如下步骤：

当终端检测到所述触发信息后，对所述浏览区域进行放大或缩小操作。

5.根据权利要求1所述的终端的控制方法，其特征在于，终端根据所述浏览区域以及用户的触发信息执行相应操作的过程包括如下步骤：

判断所述浏览区域是否包含超链接；

若是，则终端在检测到预设次数的所述触发信息后，将当前显示页面切换至所述超链接指向的页面。

6.根据权利要求1至5中任一项所述的终端的控制方法，其特征在于，所述触发信息包括眨眼信息，终端通过眨眼检测方法检测所述眨眼信息。

7.一种终端的控制系统，其特征在于，包括：

反射图像获取模块，用于获取用户眼球反射图像；

中心图像提取模块，用于提取所述反射图像中的中心图像，所述中心图像为所述反射图像中处于居中位置的图像；

匹配分析模块，用于将所述中心图像与终端当前显示页面进行匹配分析，确定终端当前显示页面上与所述中心图像相对应的浏览区域；

控制模块，用于根据所述浏览区域以及用户的触发信息执行相应操作。

8.根据权利要求7所述的终端的控制系统，其特征在于，所述控制模块包括：

位置判定模块，用于获取所述浏览区域与终端当前显示页面的相对位置信息；

检测模块，用于检测所述触发信息；

滑动切换模块，用于在检测到所述触发信息后，根据所述相对位置信息滑动当前显示页面。

9.根据权利要求7所述的终端的控制系统，其特征在于，所述控制模块在检测到所述触发信息后，对所述浏览区域进行放大或缩小操作。

10.根据权利要求7所述的终端的控制系统，其特征在于，所述控制模块判断所述浏览区域是否包含超链接；若是，则所述控制模块在检测到预设次数的所述触发信息后，将当前显示页面切换至所述超链接指向的页面。