CN103135762A - 用于基于眼睛跟踪操作用户功能的方法及其移动装置 - Google Patents

Abstract

提供了一种用于基于眼睛跟踪操作用户功能的方法及其移动装置。在执行特定用户功能的同时激活移动装置的照相机单元。从经照相机单元获取的图像获取用户的眼睛的注视角度。执行根据注视角度控制执行状态的眼睛跟踪功能。

Description

用于基于眼睛跟踪操作用户功能的方法及其移动装置

技术领域

本公开一般地涉及在电子装置中控制用户功能和节省功率，具体地讲，在移动通信装置中控制用户功能和节省功率。

背景技术

移动装置(诸如，智能电话和平板PC)由于其便携性和对各种用户功能的支持而变得广受欢迎。近来的设计提供综合用户功能，诸如照相机功能结合存储获取的照片和视频、立即搜索获取的照片或视频等。随着更新型号的移动装置装备了相对较大的显示器，虽然它们仍然容易用手携带，但出现用户可控性的折衷。例如，笔记本大小的平板能够由一只手握住，同时用户利用同一只手或另一只手触摸显示器；然而，他/她可能由于重量和尺寸而无法继续稳定地握住它。这可引起各种问题，诸如移动装置从用户手里滑落或者引起肌肉损伤。

为了节省电池电量，传统移动装置将状态从显示器具有正常亮度的正常状态改变为显示器变暗或关闭的节电状态(后者在这里称为休眠状态)。在未接收到任何用户输入(诸如，触摸输入命令)的预定耗用时间之后，转变为节电状态。这种耗用时间在本质上是用户不再有效地观看显示器的预测时间。为此，在默认设置的条件下或通过偏好设置的条件下，设置状态控制功能。

然而，设置的条件可能不总是与特定用户与移动装置的交互匹配。例如，触发从正常模式到休眠模式的转变的所述预定耗用时间是固定值，该固定值并不根据用户的状态或环境而适应性地变化。因此，传统移动装置可在不希望的时间点(例如，当用户仍然想要使用该装置时)进入节电或休眠模式。在这种情况下，用户必须将另外的操作应用于移动装置，例如唤醒操作。另外的操作给移动装置用户(具体地讲，常常被更有效地使用的具有更大显示器的装置的用户)带来不便。另外，如果用于转变为节电模式的耗用时间被设置得太长，则在用户停止观看显示器之后但在耗用时间点之前的时间段中基本上浪费电池电量。

发明内容

这里公开了一种能够基于眼睛跟踪高效地并且适应性地控制移动装置的用户功能的方法和一种适应于该方法的移动装置。

根据本发明的示例性实施例，提供了一种基于眼睛跟踪控制用户功能的移动装置，该移动装置包括：照相机单元，获取对象的图像；控制器，构造为从经照相机单元获取的图像获取用户的眼睛的注视角度，并执行根据注视角度控制用户功能的执行状态的眼睛跟踪功能；和存储单元，存储与用户功能对应的数据和用于跟踪用户的眼睛的注视角度的程序。

还提供了一种用于基于眼睛跟踪操作移动装置中的用户功能的方法。在执行特定用户功能的同时激活移动装置的照相机单元。从经照相机单元获取的图像获取用户的眼睛的注视角度。执行根据注视角度控制执行状态的眼睛跟踪功能。

附图说明

通过结合附图考虑的下面的详细描述，本发明的特点和优点将会变得更加清楚，其中：

图1示出根据本发明实施例的具有眼睛跟踪功能的移动装置的示意性方框图；

图2示出图1中示出的控制器的示例性结构；

图3示出根据本发明实施例的经眼睛跟踪支持用户功能的用户界面屏幕；

图4示出根据本发明另一实施例的经眼睛跟踪支持用户功能的用户界面屏幕；

图5示出根据本发明另一实施例的经眼睛跟踪支持用户功能的用户界面屏幕；

图6示出根据本发明实施例的描述用于基于眼睛跟踪控制用户功能的方法的流程图；和

图7示出根据本发明实施例的描述用于基于眼睛跟踪打电话的方法的屏幕。

具体实施方式

以下，将参照附图详细地描述本发明的示例性实施例。

这里包括的公知功能和结构的详细描述可被省略以避免模糊本发明的主题。包括相同元件并执行相同功能的结构的详细描述将不会在描述中被重复解释。

虽然附图代表本发明的实施例，但附图不必按照比例绘制，并且某些特征可被夸大或省略以便更好地示出和解释本发明。应该理解，本发明不限于附图比例。

应该理解，单数形式包括复数所指对象，除非上下文清楚地另外指明。因此，例如，对“部件表面”的提及包括对一个或多个这种表面的提及。

图1示出根据本发明实施例的具有眼睛跟踪功能的移动装置100的示意性方框图。根据本发明的移动装置可以是根据与各种类型的通信系统对应的通信协议操作的任何信息通信装置、多媒体装置等。移动装置的示例包括移动通信终端、便携式多媒体播放器(PMP)、数字广播播放器、个人数字助理(PDA)、音频播放器(例如，MP3播放器)、移动游戏机、智能电话、膝上型计算机、手提式PC等。

移动装置100包括通信单元110、输入单元120、音频处理单元130、显示单元140、存储单元150、照相机单元170和控制器160。

当在移动装置100中执行特定用户功能或激活特定状态时，移动装置100自动激活照相机单元170并控制它在某一角度获取图像。移动装置100经眼睛跟踪使用获取的图像测量用户的眼睛的运动，并辨别用户注视的方向。如果用户注视的方向是预设方向，则移动装置100产生与其对应的命令。其后，移动装置100根据产生的命令改变或保持当前状态或执行功能。由于能够根据用户的注视来控制移动装置100，所以用户能够在移动装置100上容易地、适应性地并且有效地管理操作。

通信单元110支持移动装置100的通信，并利用用于支持通信(具体地讲，移动通信)的模块来实现。通信单元110与移动通信系统建立通信信道，并向其发送信号/从其接收信号。例如，通信单元110与移动通信系统建立语音、视频和数据服务信道中的至少一种，并经信道发送/接收对应信号。(这里需要注意的是，如果在不支持通信功能的情况下实现移动装置100，则可省略通信单元110。)

通信单元110还可执行与照相机单元170关联的操作。例如，如果移动装置100经通信单元110从另一移动装置接收到呼叫连接请求消息或答复服务消息的接收的消息，则控制器160将指示已接收到该消息的信息输出到显示单元140和/或音频处理单元130。在这个过程期间，控制器160可将与消息接收事件对应的信号从通信单元110传送到照相机单元170。也就是说，当眼睛跟踪模式被激活时，如果通信单元110接收到消息，则照相机单元170被激活预设时间段并在预设角度拍摄视频，该视频用于支持眼睛跟踪。控制器160从经照相机单元170获取的视频检测用于眼睛跟踪的用户的眼睛和眼睛角度，并基于该检测控制通信单元110。也就是说，能够建立示例性眼睛跟踪模式以方便呼入电话的接受。在这种模式下，当接收到呼入电话时，如果用户注视移动装置100显示器，则自动发送电话连接请求消息，答复经通信单元110呼入的电话，由此在它们之间建立电话连接。因此，如果移动装置100从另一移动装置接收到电话连接请求消息，则在用户注视移动装置100的情况下它能够与另一移动装置建立电话连接，而不需要另外的操作。在另一实施例中，以这种方法经脸部识别(辨别)实现移动装置100与另一移动装置的自动电话连接，即如果移动装置100辨别出预定义的脸，则它执行自动电话连接过程。

输入单元120产生移动装置100的操作所需的信号。根据与移动装置的兼容性，可利用键盘、键区、按钮等来实现输入单元120。如果利用触摸屏实现显示单元140，则该触摸屏执行输入单元120的至少部分功能(尽管触摸面板143被显示为显示单元140的部分)。在本发明的实施例中，输入单元120根据用户的命令产生用于支持眼睛跟踪功能的输入信号，例如用于执行或解除眼睛跟踪模式的信号、用于调用与眼睛跟踪功能关联的用户功能的信号、用于使眼睛跟踪功能与用户功能关联的信号等。输入单元120将产生的输入信号传送到控制器160，并且控制器160根据输入信号执行对应的功能。

音频处理单元130输出在移动装置100的操作期间设置的音频信号、当重放存储在存储单元150中的音频文件时产生的音频信号或者从外部接收的音频信号。音频处理单元130还支持音频信号收集功能。为此，音频处理单元130包括扬声器(SPK)和麦克风(MIC)。在本发明的实施例中，当最初激活利用眼睛跟踪设置的用户功能时，音频处理单元130输出指示正在执行眼睛跟踪功能的对应音频信号。如果能够支持眼睛跟踪功能的移动装置100未执行眼睛跟踪功能，则音频处理单元130可输出向用户通知可设置对应的眼睛跟踪功能的音频信号。可根据用户的设置禁用这种音频信号输出功能。

可经眼睛跟踪控制音频处理单元130输出音频信号的时间点。例如，可按照这种方法控制音频处理单元130，即仅当照相机单元170获取与预设角度对应的针对移动装置100的用户注视角度时，音频处理单元130输出用于当前执行的功能的音频信号；然而，如果用户以除所述预设注视角度之外的角度注视移动装置100，则音频处理单元130停止输出音频信号。这里，如本领域技术人员所理解，对“注视角度”的提及表示具有容许范围的注视角度。因此，除预设注视角度之外的角度表示在预设注视角度的预定容许范围之外的角度。换句话说，当本申请这样规定时，“注视角度”应该被理解为表示“注视角度范围”。

显示单元140提供移动装置100的操作所需的各种屏幕界面。例如，显示单元140支持空闲屏幕、菜单屏幕等。在本发明的实施例中，显示单元140提供根据与眼睛跟踪关联的用户功能的执行的屏幕、用于使用户功能与眼睛跟踪功能关联的设置屏幕、用于启动或禁用眼睛跟踪功能的屏幕等。

可利用触摸屏实现显示单元140。在这种情况下，触摸屏包括显示面板141和触摸面板143，其中触摸面板143被安装在显示面板141的前面(以下，为了简洁而仅称为“显示器”或“屏幕”)。显示面板141显示与上述各种屏幕对应的图像、文本等。触摸面板143包括根据显示面板141上显示的屏幕的特征定义的触摸有效区域和非触摸有效区域，并将与在触摸有效区域上发生的触摸事件对应的信号传送到控制器160。经眼睛跟踪可激活触摸面板143。例如，如果用户以预设注视角度观看移动装置100，则触摸面板143被激活并检测根据他的/她的触摸动作的触摸事件的存在。另一方面，如果用户以除预设注视角度之外的角度观看移动装置100，则触摸面板143被禁用。可按照这种方法实现移动装置100，即移动装置100经眼睛跟踪支持临时锁定功能或解锁功能。

存储单元150存储移动装置100的操作所需的操作系统、应用程序实现算法、数据等。在本发明的实施例中，存储单元150存储用于支持眼睛跟踪功能的眼睛跟踪支持程序151、用于跟踪用户的眼睛的注视角度以便支持眼睛跟踪支持程序151的眼睛跟踪算法153。

在示例性实现方式中，眼睛跟踪支持程序151包括如下与眼睛跟踪功能的操作相关的许多例程：用于在执行与眼睛跟踪关联的用户功能的情况下激活照相机单元170的例程；用于经由激活的照相机单元170获取图像的例程；用于从获取的图像识别脸和眼睛的例程；用于基于识别结果辨别眼睛的注视角度的例程；和用于根据辨别的注视角度控制当前执行的用户功能的例程。如这里所定义的“用户功能”表示经各部件(例如，通信单元110、显示单元140、音频处理单元130等)在移动装置100中执行的各种功能。用户功能的示例是电话功能、内容文件重放功能、文件搜索功能、web访问功能、用于输出空闲屏幕、菜单屏幕等的功能、广播接收功能等。

眼睛跟踪算法153分析由经眼睛跟踪支持程序151激活的照相机单元170获取的图像。眼睛跟踪算法153能够既包括脸部识别算法又包括虹膜识别算法。这里，“脸部识别”表示在照相机单元170的视野中的任何成像的脸(不必是特定人的脸)的存在的检测。也就是说，这里的实施例的脸部识别不需要身份检测。简而言之，眼睛跟踪支持程序可如下操作：当照相机单元170获取图像时，该程序经眼睛跟踪算法153的脸部识别算法识别获取的图像中的脸的轮廓。然后从识别的脸部图像提取眼睛部分，然后从眼睛部分获取关于眼睛的注视角度的信息。该程序比较获取的注视角度与预定义的信息，并支持当前执行的用户功能的状态改变，稍后将参照附图对此进行详细描述。

在控制器160的控制下，照相机单元170被激活并获取图像。如果以这种方法设置移动装置100，即默认激活与眼睛跟踪关联的用户功能或者激活眼睛跟踪功能，则当移动装置100被激活时，照相机单元170被激活并获取图像。照相机单元170将获取的图像传送到控制器160，并且控制器160根据眼睛跟踪功能分析它们。获取的图像表示按照规则的间隔定期地获取的静止图像或实时地获取的视频。如果与眼睛跟踪功能关联的用户功能的执行结束，则照相机单元170可被自动禁用(直至在照相机模式下被用户激活)。

控制器160控制信号的流动、信息收集和输出操作，以支持与由照相机单元170获取的图像关联的眼睛跟踪功能。为此，控制器160支持图像收集功能和信息分析功能，并经这两种功能控制用户功能。

图2示出图1中示出的示例性控制器160的功能框图。控制器160包括照相机信息收集单元161、眼睛跟踪确定单元163和功能操作单元165。

如果特定用户功能被激活，则照相机信息收集单元161确定该用户功能是否与眼睛跟踪功能关联；如果该用户功能与眼睛跟踪功能关联，则控制器激活照相机单元170。照相机信息收集单元161根据预设值设置照相机单元170，并控制它获取图像。照相机信息收集单元161针对用户的脸执行脸部识别过程，并允许照相机单元170自动聚焦在虹膜上。在执行自动聚焦过程之后，照相机信息收集单元161获取具有眼睛(即，虹膜)的用户的脸的图像，并将它们传送到眼睛跟踪确定单元163。移动装置100在存储单元150中存储与眼睛跟踪关联的用户功能的列表，以确定与眼睛跟踪关联的用户功能是否被激活。如果特定用户功能被激活，则照相机信息收集单元161在列表中辨别出该用户功能，并激活照相机单元170以经眼睛跟踪支持该用户功能。

眼睛跟踪确定单元163分析从照相机信息收集单元161传送的图像和其中的眼睛的注视角度，并将分析结果传送到功能操作单元165。为此，眼睛跟踪确定单元163可使用存储在存储单元150中的眼睛跟踪算法153。眼睛跟踪确定单元163首先在接收的图像中执行脸部识别，并从脸部图像提取眼睛部分。眼睛跟踪确定单元163从眼睛部分辨别眼睛的注视角度。例如，在一些实施例中，当用户的眼睛相对于显示器的前表面的位置和方向使得用户被确定为正在注视屏幕上的任何点时，该注视角度能够被视为零度。在其它应用(诸如，结合图5描述的电子书阅读器应用)中，分析注视角度以确定用户当前正在注视的屏幕上的点。

当用户的脸被确定为基本上位于显示器的前方并且注视方向被检测为平行于显示器的前表面的法线时，注视角度(注视角度也可被视为注视“方向”)也能够经该算法被检测为等于零度。如果用户的脸在图像中基本上位于中心并且用户的虹膜的图像在成像的眼睛中基本上位于中心，则也能够经该算法检测到零度的注视角度。如果用户的头偏离显示器的前方但用户通过从她的眼角观看显示器来直接注视显示器的前方，则也能够检测到零度注视角度。

如果不再检测到用户的脸(例如，用户已放下移动装置或者从移动装置走开)，则能够自动确定非零度注视角度。

利用确定的注视角度，在至少一些实施例中，眼睛跟踪确定单元163能够基于辨别出的注视角度确定用户注视的显示单元140上的点(或者用户是否不再注视)。另外，眼睛跟踪确定单元163将辨别出的注视角度传送到功能操作单元165。

功能操作单元165基于关于从眼睛跟踪确定单元163传送的辨别出的注视角度的信息确定是改变还是保持当前执行的用户功能的状态。为此，功能操作单元165辨别当前执行的用户功能，并根据注视角度信息产生命令。功能操作单元165能够根据产生的命令控制用户功能。在本发明的实施例中，定期地或实时地，眼睛跟踪功能可被应用于移动装置100。因此，功能操作单元165可对应于定期地接收的注视角度改变或保持用户功能。如果功能操作单元165接收到与以前接收的值不同的注视角度(即，新检测到的注视角度在与当前执行的用户功能的执行关联的预定范围(例如，零+/-X度的范围)之外)，则它将当前用户功能改变为另一用户功能。如果功能操作单元165接收到与以前接收的值相同的注视角度，则它保持该用户功能。

如上所述，根据本发明的移动装置100能够在正在执行特定用户功能的同时经眼睛跟踪有效地并且适应性地控制该功能，而不需要操作另外的触摸动作或输入按钮。如下参照附图对用于基于眼睛跟踪控制用户功能的移动装置100进行详细描述。

图3示出根据本发明实施例的经眼睛跟踪支持用户功能的用户界面屏幕。在这个实施例中，移动装置100经眼睛跟踪将执行用户功能的模式改变为节电模式(例如，低照明模式)，在节电模式之后可跟着休眠模式(显示器被关闭)。

参照图3，如果用户操作移动装置100以激活特定用户功能(例如，内容观看功能)，则移动装置100激活显示单元140的照明功能。为此，如果显示单元140包括背光，则移动装置100将电力提供给背光，由此背光发射某一级别的光。可选择地，如果显示单元140包括OLED，则移动装置100将电力提供给它们，控制某一级别的光的发射。结合背景照明，移动装置100检索到用户的选择的内容并将它显示在显示面板141上，如图3的示图301中所示。

如果移动装置100确定内容观看功能与眼睛跟踪关联，则它激活照相机单元170并识别用户的眼睛的虹膜。在示图301中，用户的虹膜被示出为指向与显示器的前表面正交的方向，与前面所讨论的零度的注视角度一致。由此，确定用户正在注视显示器。以下，零度的注视角度(即，零度+/-x度，其中x是预定的)将会被用作用户正在注视显示器的检测的示例。非零注视角度将会被称为用户未注视显示器或不再检测到用户的脸的存在的检测到的角度。非零注视角度也将会被称为“第一注视角度”。如果移动装置100经获取的注视角度确定用户未注视显示单元140，则它逐步地改变光的级别，如示图303、305和307中所示。也就是说，如果移动装置100辨别出用户的眼睛的非零注视角度(意味着用户未注视显示单元140)，则它控制显示单元140在第一时间段期间发射某一级别的光，如示图303中所示。示图303中的光的级别可低于示图301中的级别。其后，如果移动装置100确定在第一时间段期间保持非零注视角度(即，用户在第一时间段期间未注视显示单元140)，则它控制显示单元140将发射的光的量减少到比前一级别更低的级别，如示图305中所示。其后，如果移动装置100确定在大于第一时间段的第二时间段期间仍然保持非零注视角度(即，用户在第二时间段期间未注视显示单元140)，则它控制显示单元140关闭照明功能，如示图307中所示。如果移动装置100在关闭照明功能之后在某一时间段期间获取非零注视角度，则它可自动在休眠模式下工作。

相反地，如果移动装置100在它显示如示图305或307中所示的屏幕的时间点辨别出用户的眼睛的零度注视角度(以下，“第二注视角度”)(意味着用户注视显示单元140)，则它返回到如示图303中所示显示单元140以原始级别的光显示屏幕的操作状态。然而，如果移动装置100在从它进入休眠模式(如示图307中所示)的时间点开始的某一时间段中辨别出用户的眼睛的第二注视角度，则它可显示用于解除锁定的屏幕的锁屏幕，移动装置100根据预设例程在进入休眠模式时自动将屏幕锁定为锁定的屏幕。为此，在如示图307中所示关闭显示单元140的状态下，在移动装置100进入休眠模式的状态下，或者在从移动装置100进入休眠模式的时间点开始已过去某一时间段的状态下，移动装置100需要在预设时间段期间激活照相机单元170以支持眼睛跟踪。另外，根据如示图307中所示关闭显示单元140的状态、移动装置100进入休眠模式的状态或者从移动装置100进入休眠模式的时间点开始已过去某一时间段的状态，移动装置100也可停止眼睛跟踪。也就是说，如果显示单元140被关闭，则移动装置100进入休眠模式，或者从移动装置100进入休眠模式的时间点开始已过去某一时间段；则移动装置100可停止眼睛跟踪并禁用照相机单元170。

同时，如果在如示图301中所示显示屏幕的同时用户继续注视显示单元140(即，移动装置100获取第二注视角度)，则移动装置100控制显示单元140保持显示屏幕的相同状态，如示图302、304和306中所示。移动装置100可不执行当前状态自动改变为另一状态的模式，直至满足某一条件或者直至它在预设时间段中接收到输入信号。因此，虽然用户在没有产生输入信号的情况下在相对较长时间段期间阅读显示单元140上的内容，但移动装置100不会进入休眠模式或降低光的级别。这允许用户在执行内容观看功能的同时方便地使用移动装置100。相比之下，在常规装置中，即使用户继续阅读当前内容屏幕，如果在预定时间段内未接收到新的输入命令，则也自动进入显示器变暗/休眠模式。利用当前描述的图3的实施例消除了这种烦恼。

图4示出根据本发明另一实施例的经眼睛跟踪支持用户功能的用户界面屏幕。在这个实施例中，移动装置100经眼睛跟踪控制内容重放功能。

参照图4，用户操作移动装置100以执行内容重放功能。为此，用户选择存储单元150中的对应内容，并操作移动装置100以产生用于重放该内容的命令。例如，如果用户请求重放视频，则移动装置100调用用于重放该视频的应用程序，并控制显示单元140显示根据重放的屏幕，如示图401中所示。

移动装置100辨别内容重放功能是否与眼睛跟踪关联。如果内容重放功能与眼睛跟踪关联，则移动装置100激活照相机单元170并定期地或实时地获取图像，以支持眼睛跟踪功能(由示图401表现这种情况)。

如果在执行眼睛跟踪功能的同时移动装置100获取用户的眼睛的第一(非零)注视角度(意味着用户未注视显示单元140)，则它进入它显示如示图403中所示的屏幕并暂停内容重放的模式。例如，如果由于用户未注视显示单元140而导致移动装置100立即获取用户的眼睛的第一注视角度，则移动装置100进入它暂停内容重放的模式，如示图403中所示。为此，移动装置100实时地执行眼睛跟踪功能。可选择地，仅当移动装置100在超过预定最小时间段的时间段期间获取第一注视角度时，执行暂停操作。

如果在显示单元140显示如示图403中所示的屏幕的状态下用户注视显示单元140，即如果在执行眼睛跟踪功能的同时移动装置100获取第二(零度)注视角度，则移动装置100解除它暂停内容重放的模式并继续重放内容，如示图405中所示。因此，根据这个实施例的移动装置100在用户未注视重放内容的显示单元140的情况下暂停内容重放而无需另外的操作，然后在用户再次注视显示单元140的情况下继续重放内容。

如果在移动装置100显示如示图403中所示的屏幕时移动装置100继续在某一时间段期间获取非零注视角度，则它关闭显示单元140。可选择地，移动装置100可关闭显示单元140，并且还结束内容重放功能。作为另一替代方案，在从移动装置100关闭显示单元140的时间点开始已过去某一时间段之后，移动装置100结束内容重放功能。另外，在关闭显示单元140或结束内容重放功能的时间点，移动装置100可结束眼睛跟踪功能，由此防止根据照相机单元170的激活的电力消耗。其后，如果移动装置100经眼睛跟踪获取第二注视角度，则它进入重放模式，诸如示图405中示出的模式。

图5示出根据本发明另一实施例的经眼睛跟踪支持用户功能的用户界面屏幕。在这个实施例中，移动装置100经眼睛跟踪控制电子书内容观看功能。

参照图5，用户在移动装置100中选择电子书内容观看功能。为此，移动装置100在存储单元150中存储电子书内容，并且还存储用于重放电子书内容的应用。如果用户产生用于选择对应的电子书内容并重放电子书内容的信号，则移动装置100在如示图501中所示的屏幕上重放电子书内容。另外，移动装置100确定电子书内容观看功能是否与眼睛跟踪关联。如果电子书内容观看功能与眼睛跟踪关联，则确定眼睛跟踪模式是否被激活。如果眼睛跟踪被激活，则照相机单元170经眼睛跟踪定期地或实时地获取图像。

如果移动装置100跟踪用户的眼睛位置并辨别出用户以预设注视角度观看显示单元140，则它翻页，如示图503中所示。例如，如果移动装置100获取用户正在看着显示单元140上的右下角部分的注视角度，则它检测这种注视角度检测作为用于翻页到下一页的命令。如果移动装置100继续在某一时间段期间获取这个注视角度，则它检测该注视角度作为继续翻页的命令。

因此，移动装置100允许用户经眼睛跟踪方便地翻转电子书的页，而无需另外的与触摸动作对应的命令或输入信号。在一些实现方式中，移动装置100可适应性地改变眼睛跟踪的应用时间段。也就是说，移动装置100检查并存储翻转的页的数量，并根据该信息在将会发生用于翻页的事件的估计时间点之前在某一时间段期间激活照相机单元170以支持眼睛跟踪。例如，如果用户翻转到下一页平均花费两分钟，则移动装置100在比平均翻页间隔短的“照相机禁用时间”期间禁用照相机单元170。例如，在发生用于翻页的事件之后，照相机被禁用，然后在从发生该事件的时间点开始已过去1分30秒或1分40秒之后被再次启动以支持眼睛跟踪。如果翻页间隔逐渐地缩短，则移动装置100可动态地对应于缩短的间隔减少照相机禁用时间，以便它能够支持眼睛跟踪功能。为此，移动装置100可经预设数量的页估计平均翻页间隔。例如，移动装置100可将翻转的页的数量限制为三，针对这三张翻转的页估计平均翻页间隔，然后定义照相机禁用时间以支持眼睛跟踪功能。与尽管不执行眼睛跟踪功能但照相机单元170保持启动的状态相比，这种方法防止照相机单元170浪费电力。

如果移动装置100在显示单元140上显示电子书内容的最后一页，则它可自动结束眼睛跟踪功能。

同时，如果移动装置100获取用于选择前一页的用户的注视角度(例如，用户注视页上的左下角部分的注视角度)，则它检测该注视角度作为用于翻页到前一页的命令，然后执行至前一页的翻页操作。另外，移动装置100也可根据它获取用户注视页上的右下部分或左下部分的注视角度的时间段，定义翻页速度。也就是说，如果用户在某一时间段期间注视页上的右下部分或左下部分，则移动装置100可设置翻页速度，以便翻页速度逐渐地增加或者保持在预设值上。因此，用户能够快速地搜索对应的页。如上所述，移动装置100能够根据它获取用于翻页的注视角度的时间段控制翻页速度，并且在它获取与用于翻页的注视角度不同的注视角度的情况下停止翻页。图5的实施例特别有益于帮助残疾或瘫痪人士阅读电子书。

图6示出根据本发明实施例的描述用于基于眼睛跟踪控制用户功能的方法的流程图。在开始，控制器160(以下，为了简洁而称为“控制器”)将电力提供给移动装置100中的部件(601)。此时，控制器准备好经眼睛跟踪执行用户功能。

如果用户产生用于执行特定用户功能的信号，则移动装置100执行该用户功能。在这个过程期间，控制器确定眼睛跟踪模式是否被设置(603)。例如，控制器辨别用户功能是否与眼睛跟踪关联，并且如果用户功能与眼睛跟踪关联，则辨别眼睛跟踪模式是否被激活。如果在步骤603，眼睛跟踪模式未被设置，则根据输入信号控制激活的用户功能(605)。

相反地，如果在步骤603，眼睛跟踪模式被设置，则激活照相机单元170(607)。控制器控制照相机单元170获取图像。在获取图像之后，控制器执行眼睛跟踪功能(609)。也就是说，辨别用户的眼睛的位置以及根据眼睛位置的注视角度。

控制器根据注视角度执行对应操作(611)。例如，如果在已执行内容观看功能或内容重放功能的状态下控制器根据获取的注视角度确定用户注视显示单元140(以下，“显示器”)，则它保持内容观看功能或内容重放功能的执行。也就是说，控制器将电力提供给显示器并控制显示器显示内容。相反地，如果控制器基于获取的注视角度确定用户未注视显示器，则它控制显示器降低亮度的级别或关闭显示器，或者暂停或结束内容重放。如果已执行电子书重放功能，则控制器根据获取的注视角度控制电子书的翻页操作。

如果控制器在电话连接请求消息的接收期间获取用户注视显示器的注视角度，则它执行自动电话连接。参照图7对此进行详细描述。如图7中所示，如果移动装置100接收到来自另一移动装置的电话连接请求消息，则控制器被从休眠模式唤醒或在空闲状态下显示通知接收到电话连接请求消息的屏幕，如示图701中所示。控制器确定电话连接功能与眼睛跟踪关联，并激活照相机单元170。控制器将照相机单元170激活某一时间段，并辨别是否从获取的图像辨别出预设注视角度。如果控制器从获取的图像辨别出预设注视角度，则它执行自动电话连接，如示图703中所示。

如果在保持眼睛跟踪功能的执行的同时电话连接请求结束，则控制器可结束眼睛跟踪功能。控制器可仅在预设时间段期间执行眼睛跟踪功能，以便在所述预设时间段过去时结束对应的功能。如果电话被连接并且随后电话功能结束，则控制器可结束眼睛跟踪功能。如果经眼睛跟踪连接电话并且控制器在从建立电话连接的时间点开始已过去某一时间段之后获取用户注视显示器的注视角度，则控制器可结束电话连接。另外，通过将经脸部识别过程获取的信息以及用户的眼睛的注视角度与用户的预设信息进行匹配，控制器也可建立电话连接。例如，仅当控制器在移动装置中辨别出被登记为移动装置所有者的脸的脸时，控制器能够获取注视角度并根据获取的注视角度建立电话连接。

在在步骤611根据注视角度执行对应操作之后，控制器确定是否发生用于解除眼睛跟踪模式的事件(613)。如果发生用于解除眼睛跟踪模式的事件，则控制器确定是否输入了用于结束该过程的信号(615)。用于解除眼睛跟踪模式的事件的示例可以是控制器获取用户在某一时间段期间未注视显示器的注视角度的情况或者产生用于解除眼睛跟踪模式的触摸动作或输入信号的情况。

相反地，如果控制器在步骤613确定未发生用于解除眼睛跟踪模式的事件，则它返回到步骤607并继续执行步骤607。另外，如果控制器在步骤615确定未输入用于结束该过程的信号，则它返回到步骤603并继续执行步骤603。

虽然刚刚描述的实施例包括用于确定眼睛跟踪模式是否被激活的步骤，但作为替代方案，能够默认地执行眼睛跟踪模式。

如上所述，根据本发明的方法能够经眼睛跟踪控制移动装置中的用户功能(诸如，改变状态或保持当前状态)，而无需另外的操作(诸如，应用触摸动作或产生输入信号)，由此方便移动装置的使用。具体地讲，如果本发明被应用于具有大显示器并且通常被握在一只手中并且被另一只手操作的移动装置，则经眼睛跟踪方便其使用。

如上所述，根据本发明的方法和适应于该方法的移动装置能够基于眼睛跟踪高效地并且适应性地控制各种功能，以便用户能够方便地使用该移动装置。

虽然在附图中未示出，但该移动装置可选择性地还包括各种类型的部件，例如：用于短距离通信的短距离通信模块；用于在无线或有线模式下发送/接收数据的接口；互联网通信模块；和用于接收和再现广播的数字广播模块。随着数字融合的展开，虽然不必在本描述中列出移动装置的所有变型，但本领域技术人员将会容易地理解，与以上列出的部件等同的其它部件可被进一步包括于根据本发明的移动装置。此外，将会理解，根据特定应用，通过省略特定部件或利用其它部件替换特定部件可实现该移动装置。

根据本发明的经控制器160实现的上述方法能够被实现在硬件、固件中，或者实现为能够存储在记录介质(诸如，CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码或最初存储在远程记录介质或非暂态机器可读介质上的经网络下载并且将要被存储在本地记录介质上的计算机代码，以便使用通用计算机或专用处理器在存储在记录介质上的这种软件中或者在可编程或专用硬件(诸如，ASIC或FPGA)中能够提供这里描述的方法。在本领域将会理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储部件，例如RAM、ROM、闪存等，当由计算机、处理器或硬件访问并执行所述软件或计算机代码时，所述软件或计算机代码实现这里描述的处理方法。另外，将会意识到，当通用计算机访问用于实现这里示出的处理的代码时，该代码的执行将通用计算机变换成用于执行这里示出的处理的专用计算机。

在本描述和权利要求中描述的术语或词语不应受到一般或词汇意义的限制，而是应该作为这样的意义和概念被分析，即通过该意义和概念，发明人以其最大努力定义并描述本发明的示例性实施例。因此，本领域技术人员将会理解，在描述中公开的实施例和在附图中示出的结构仅是示例性实施例，相反地，可存在其各种修改、变化和等同物以替换在提交本申请时的实施例。虽然以上详细描述了本发明的示例性实施例，但应该理解，这里描述的基本发明构思的许多改变和修改(这些改变和修改对于本领域技术人员而言可以是明显的)将会仍然落在如所附权利要求中所限定的本发明的示例性实施例的精神和范围内。

Claims (15)

1.一种用于操作移动装置中的用户功能的方法，包括：

执行特定用户功能；

在执行特定用户功能的同时激活移动装置的照相机单元；

从经照相机单元获取的图像获取用户的眼睛的注视角度；以及

执行眼睛跟踪功能，在眼睛跟踪功能中，根据注视角度控制用户功能的执行状态。

2.如权利要求1所述的方法，还包括：

在激活照相机单元之前，确定激活的用户功能是否与眼睛跟踪关联，并且如果激活的用户功能与眼睛跟踪关联，则确定眼睛跟踪模式是否被激活。

3.如权利要求1所述的方法，其中，当获取的注视角度是指示用户未注视显示单元的第一注视角度时，所述执行眼睛跟踪功能的步骤包括下面的至少一项：

降低移动装置的显示单元的照明的级别；

关闭显示单元；

结束用户功能执行；

暂停用户功能执行；以及

设置或解锁显示单元的触摸面板的触摸锁。

4.如权利要求3所述的方法，其中，所述执行眼睛跟踪功能的步骤还包括：

如果关闭显示单元或者结束用户功能执行，则禁用照相机单元。

5.如权利要求3所述的方法，其中，在获取的注视角度是指示用户注视显示单元的第二注视角度的情况下，所述执行眼睛跟踪功能的步骤还包括下面的至少一项：

将显示单元的照明级别恢复到原始照明级别；

打开显示单元；

重新执行用户功能；

重新开始暂停的用户功能执行；以及

解锁或设置锁定的触摸面板的触摸锁。

6.如权利要求1所述的方法，其中，所述执行眼睛跟踪功能的步骤包括：

当获取的注视角度是指示用户注视移动装置的显示单元的第二注视角度时，保持显示单元的当前屏幕。

7.如权利要求1所述的方法，其中，所述获取注视角度的步骤包括：

检测到对象的脸的存在；

自动聚焦在检测到的脸中的虹膜上；以及

获取自动聚焦的对象的虹膜的注视。

8.如权利要求1所述的方法，其中，所述执行眼睛跟踪功能的步骤包括下面的至少一项：

当在接收到电话连接请求消息的状态下获取的注视角度是指示用户注视移动装置的显示单元的第二注视角度时，自动建立电话连接；

当获取的注视角度是用户注视显示电子书内容的移动装置的显示单元中的某个点的注视角度时，翻转电子书内容的页；

根据获取用户注视显示单元中的同一点的注视角度的时间段，控制翻页间隔速度。

9.一种移动装置，包括：

照相机单元，获取对象的图像；

控制器，构造为从经照相机单元获取的图像获取用户的眼睛的注视角度，并执行根据注视角度控制用户功能的执行状态的眼睛跟踪功能；和

存储单元，存储与用户功能对应的数据和用于跟踪用户的眼睛的注视角度的程序。

10.如权利要求9所述的移动装置，其中，所述存储单元存储与眼睛跟踪关联的用户功能的列表。

11.如权利要求9所述的移动装置，还包括：

显示单元，

其中，如果获取的注视角度是指示用户未注视显示单元的第一注视角度，则降低显示单元的照明级别或者关闭显示单元。

12.如权利要求11所述的移动装置，其中，如果关闭显示单元或者结束用户功能执行，则控制器禁用照相机单元。

13.如权利要求9所述的移动装置，其中，如果控制器在预设时间段期间获取指示用户未注视显示单元的第一注视角度，则它暂停或结束用户功能执行；以及

其中，控制器：如果获取的注视角度是指示用户未注视显示单元的第一注视角度，则设置或解锁显示单元的触摸面板的触摸锁；并且如果获取的注视角度是指示用户注视显示单元的第二注视角度，则解锁或设置显示单元的触摸面板的触摸锁。

14.如权利要求9所述的移动装置，其中，所述照相机单元在对象的图像的获取期间自动聚焦在用户的眼睛的虹膜上。

15.如权利要求9所述的移动装置，其中，所述控制器：

如果在接收到电话连接请求消息的状态下获取的注视角度是指示用户注视移动装置的显示单元的第二注视角度，则自动建立电话连接；

当获取的注视角度是用户注视显示电子书内容的移动装置的显示单元中的某个点的注视角度时，翻转电子书内容的页；以及

根据获取用户注视显示单元中的同一点的注视角度的时间段，控制翻页间隔速度。

Images