CN110446999A - 眼睛信号增强控制 - Google Patents

Abstract

一种电子系统(100)跟踪用户的注视以将光标(157、210)迅速传送到用户的眼睛的聚焦区域(240)内的位置。电子系统响应于检测到用户的眼睛的一个或多个扫视和/或聚散移动或者响应于指示用户期望将光标移动到用户的一个眼睛或多个眼睛的聚焦区域内的新位置的信号而将光标从初始位置(215)跨一个或多个显示器传送到新位置(230)。电子系统例如沿着轨迹(225)将光标移动到新位置，其中，光标沿着轨迹的至少一部分是可见的，从而允许用户更容易地定位并跟随光标。

Description

眼睛信号增强控制

背景技术

光标或指针指示显示器上的可以输入或者删除文本、或者可以实现对显示的标记或信息的其它操纵的位置。在人机交互期间，计算机鼠标、触控板、操纵杆和其它手动跟踪设备指定光标或指针的位置信息。例如，通过操纵计算机鼠标或触控板，用户可指定在显示器上放置光标或指针的地方。然而，在使用大显示器或多个显示器工作时，用户定位光标或指针或者将光标或指针移动到显示器处的期望位置可能是困难的或耗时的。

附图说明

通过参考附图，可以更好地理解本公开，并且本公开的许多特征和优点对于本领域的技术人员而言变得显而易见。在不同的附图中使用相同的附图标记指示类似或完全相同的项。

图1是图示依照本公开的至少一个实施例的被配置为跟踪用户的眼睛的注视和显示器处的光标的位置并且将光标自动地移动到用户的眼睛的聚焦区域内的位置的电子系统的图。

图2是图示依照本公开的至少一个实施例的在其中光标沿着轨迹从第一位置移动到用户的眼睛的聚焦区域内的第二位置的图1的电子系统的实施例的图。

图3是图示依照本公开的至少一个实施例的在其中图标沿着轨迹从第一显示器处的第一位置移动到第二显示器处的用户的眼睛的聚焦区域内的第二位置的图1的电子系统的实施例的图。

图4是图示依照本公开的至少一个实施例的在其中与图3中图示的图标相关联的文本消息出现在第二显示器处的第二位置的图1的电子系统的实施例的图。

图5A是图示依照本公开的至少一个实施例的在其中电子系统响应于跟踪用户的眼睛的注视而选择出现在显示器处的第一位置处的文本的一部分的图1的电子系统的实施例的图。

图5B是图示依照本公开的至少一个实施例的在其中电子系统响应于跟踪用户的眼睛的注视而将图5A中选择的文本的该部分移动到第二位置的图1的电子系统的实施例的图。

图6是图示依照本公开的至少一个实施例的图1的电子系统跟踪用户的眼睛的注视和光标的位置并且沿着轨迹将光标移动到用户的眼睛的聚焦区域内的位置的操作的流程图。

具体实施方式

以下描述旨在通过提供许多具体实施例和细节来传达对本公开的透彻理解，所述许多具体实施例和细节涉及将光标定位在显示器上并且基于用户的一个眼睛或多个眼睛的注视来将光标移动到用户的一个眼睛或多个眼睛的聚焦区域内的位置。“光标”指代表示显示器处的位置的指针或其它指示器，在所述位置处的诸如示出键入文本将被输入的地方的对显示器的改变可以通过来自用户的输入实现。然而，应理解的是，本公开不限于仅作为示例的这些具体实施例和细节，并且因此本公开的范围旨在仅由以下权利要求及其等同物限制。还应理解的是，取决于具体设计和其它需要，根据已知的系统和方法，本领域的普通技术人员将理解在任何数量的替代实施例中的用于本公开的旨在的目的和益处的本公开的使用。

图1-6图示用于采用电子系统来将光标从显示器处的第一位置移动到第二位置——诸如相同显示器或不同显示器内的第二位置——的各种技术，其中第二位置在用户的一个眼睛或多个眼睛的注视的聚焦区域内。例如，光标可以由处理器投影到位于一个位置处的显示器上并且具有处理器已知的运动。替代地，电子设备的场景相机可以跟踪光标相对于一个或多个显示器和用户的注视的位置。电子设备的处理器从场景相机接收图像并且基于图像来确定光标相对于用户的注视和一个或多个显示器的位置和运动。

一个或多个面向用户的检测器(例如，一个或多个相机)捕获用户的一个眼睛或多个眼睛的图像并且将用户的一个眼睛或多个眼睛的图像提供给基于眼睛图像来确定用户的注视方向和焦点的处理器。处理器基于输入设备(例如，语音命令、计算机鼠标、触控板、触摸板、操纵杆、键盘或其它输入设备)接收指示用户期望将光标移动到第二位置的信号。在替代实施例中，处理器检测指示用户期望在扫视或聚散移动之后将光标移动到用户的一个眼睛或多个眼睛的聚焦区域处的第二位置的用户的眼睛的扫视或聚散移动。响应于所述信号和/或响应于用户的眼睛的扫视或聚散移动，如由所捕获的用户的眼睛的图像所指示的，处理器沿着轨迹将光标快速地移动到用户的眼睛的聚焦区域内的第二位置，其中光标在它沿着轨迹的至少一部分移动时可以是可见的。因此，电子设备响应于用户的眼睛聚焦在第二位置上或另一信号而沿着轨迹将光标从第一显示器处的第一位置移动到第一显示器处或第二显示器处的第二位置。通过跟踪用户的注视，电子设备可响应于用户的眼睛的一个或多个扫视和/或聚散移动和/或指示用户期望将光标移动到用户的一个眼睛或多个眼睛的聚焦区域内的位置的信号而跨长距离并且跨一个或多个显示器快速地传送光标(即，基本上瞬时地或者加速、“跳跃”和减速)。通过沿着轨迹将光标移动到第二位置，其中光标沿着轨迹的至少一部分是可见的，电子设备使得用户能够更容易地找到光标，从而改进用户体验。

图1图示依照本公开的至少一个实施例的电子系统100，所述电子系统100被配置为沿着轨迹将光标155从显示器160处的第一位置157移动到相同显示器处或不同显示器处的用户的眼睛105的注视的聚焦区域内的第二位置175，其中光标沿着轨迹的至少一部分是可见的。电子系统100可包括用户便携式移动设备，诸如平板计算机、计算使能的蜂窝电话(例如，“智能手机”)、头戴式显示器(HMD)、笔记本计算机、个人数字助理(PDA)、游戏系统遥控器、电视遥控器等。在其它实施例中，电子系统100可包括另一类型的移动设备，诸如汽车、机器人、遥控无人机或其它机载设备等。为了便于图示，在本文中在诸如平板计算机、HMD、智能手表或智能手机的移动设备的示例背景中大致对电子系统100进行描述；然而，电子系统100不限于这些示例实施方式。在所描绘的示例中，系统100包括处理单元(未示出)、至少一个场景相机120、至少一个面向用户的相机或检测器110、深度传感器115、至少一个照明源125、第一显示器160和第二显示器170。

电子系统100包括多个传感器以获取关于电子系统100的局部环境112的信息。电子系统100经由场景相机120和深度传感器115获取局部环境112的视觉信息(影像)。在一些实施例中，场景相机120和深度传感器115被设置在HMD或眼镜的面向前方的表面处，并且面向用户的相机或检测器110被设置在HMD或眼镜的面向用户的表面处。在一个实施例中，场景相机120被实现为具有鱼眼透镜或其它广角透镜的广角成像传感器以提供面向第一显示器160和第二显示器170的局部环境112的较广角度的视图。

在一些实施例中，电子系统100包括被实现为具有通常视角的透镜的窄角成像传感器的第二场景相机130以提供面向第一显示器160和第二显示器170的局部环境112的较窄角度的视图。因此，场景相机120和第二场景相机130分别在本文中还被称为“广角场景相机120”和“窄角场景相机130”。如在下面更详细地描述的，广角场景相机120和窄角场景相机130可被定位和定向在HMD或眼镜的面向前方的表面上，使得它们的视场在距HMD或眼镜的指定距离处开始重叠，从而使得能够经由图像分析实现对局部环境112中的被定位在重叠视场的区域中的对象的深度感测。面向用户的相机110可用于捕获用户的至少一个眼睛105的图像数据。

在一个实施例中，深度传感器115使用调制光投影仪126以将调制光图案从HMD或眼镜的面向前方的表面投影到局部环境112中并且在光图案从局部环境112中的对象处反射回来时，使用场景相机120和130中的一个或两个来捕获调制光图案的反射。这些调制光图案可以是空间上调制的光图案或时间上调制的光图案。所捕获的调制光图案的反射在本文中被称为“深度影像”。深度传感器115然后可以基于对深度影像的分析来计算对象的深度，即对象距HMD或眼镜的距离。从深度传感器115获取的结果深度数据可以用于校准或者以其它方式增强从对由场景相机120和130捕获的图像数据的图像分析(例如，基于视差的立体分析)中获取的深度信息。替代地，来自深度传感器115的深度数据可以被用于代替从图像分析中获取的深度信息。为了图示，多视图分析通常更适合于明亮光照条件和对象相对遥远时，然而基于调制光的深度感测更适合于较低光条件或被观察的对象相对近(例如，在4-5米内)时。因此，在电子系统100感测到它是在室外或者以其他方式在相对良好的光照条件下时，电子系统100可以选择使用基于多视图的重建来确定对象深度。相反地，在电子系统100感测到它是在室内或者以其他方式在相对不良的光照条件下时，电子系统100可以切换到经由深度传感器115的使用基于调制光的深度感测。

在一些实施例中，第一显示器160和第二显示器170中的一个或两个是物理表面，诸如平板、移动电话、智能设备、显示监视器、显示监视器的阵列、膝上型电脑、标牌等或到物理表面上的投影。在一些实施例中，第一显示器160和第二显示器170中的一个或两个是平面的。在一些实施例中，第一显示器160和第二显示器170中的一个或两个是曲面的。在一些实施例中，第一显示器160和第二显示器170中的一个或两个是虚拟表面，诸如对象在包括虚拟现实和增强现实的空间中的三维或全息投影。在第一显示器160和第二显示器170中的一个或两个是虚拟表面的一些实施例中，虚拟表面被显示在用户的HMD内。虚拟表面的位置可以是相对于用户的局部环境112内的静止对象(诸如墙壁或家具)。

电子系统100使用显示器内的一个或多个处理器平台以及诸如蓝牙、WiFi和/或其它形式的移动通信的通信协议来控制光标155在显示器之间的移动。在示例性实施例中，眼睛跟踪以及起始光标位置的显示区域、沿着光标的轨迹的一个或多个显示设备以及所期望的光标位置处的显示均可以由单独的处理器控制。在这样的情况下，可以在处理器之间使用通信协议(例如，蓝牙、WiFi)以共享注视矢量、光标位置、用户控件、参考位置、定时信息和其它数据以使得能实现光标的适当显示和移动。

在一些实施例中，场景相机120和130可以确定在第一显示器160和第二显示器170内相对于光标155的参考位置。例如，第一显示器160上的参考位置可以包括第一显示器160的边缘161和/或拐角162、第一显示器160上的标记、附到或者粘到第一显示器160的可识别对象、并入在第一显示器160内或第一显示器160周围的可见或不可见发光设备(例如，发光二极管)和/或一个或多个显示对象。

面向用户的相机或检测器110被配置为检测用户的眼睛105或多个眼睛的注视方向和焦点。在一些实施例中，面向用户的相机或检测器110可以是CMOS(互补金属氧化物)或CCD(电荷耦合设备)检测器。通过跟踪并分类眼睛移动，电子系统100可辨别用户的意图。在至少一个实施例中，电子系统100跟踪以下类型的眼睛移动中的一个或多个：1)前庭眼动、2)聚散、3)平滑追踪和4)扫视。电子系统100可基于参数来区分不同类型的移动，所述参数诸如运动的范围、速度分布图、两只眼睛是否执行共轭(对比不相同的方向)移动以及头部或视场是否也在移动。在辨别眼睛信号的过程中，眼睛的自发移动可由电子系统100分析以识别电子系统100的用户的有意识的意图。

例如，扫视眼睛移动是突然改变眼睛的注视点的快速移动。在扫视在一旦被发起，则被扫视覆盖的方向和距离仅受扫视发动控制的意义上，扫视是“弹道的”。换句话说，即使目标的位置在扫视发起和/或扫视执行期间改变，在扫视期间中途校正也通常是不可能的。扫视是由人体产生的最快的肌肉移动，达到多达900°/秒的角速度。根据扫视的速度分布图，扫视也是“弹道的”。响应于未预料到的刺激，扫视的发起部分花费大约200毫秒。启动导致迅速的加速阶段，其中(类似于其它弹道速度分布图)峰值速度近似地与要越过的距离成比例。取决于越过的总角距离，扫视的移动阶段持续20到200毫秒。通常，只要头部保持不动，扫视就不会使眼睛在扭转轴上旋转(即，所谓的利斯廷氏(Listing’s)定律)。大于约20°的扫视经常伴随有头部移动，尽管这根据而变化很大并且也根据年龄而变化。

在视线方向落在新目标位置上时存在迅速的减速阶段。在非常短的延迟之后，大扫视经常伴随有至少一个较小的校正扫视以进一步接近目标位置。即使已经使目标消失也可发生校正扫视，进一步支持扫视移动的投射的、弹道的性质。然而，如果目标保持可见，则校正扫视更频繁。因此，在至少一个实施例中，电子系统100可检测到扫视，包括校正扫视，以识别用户的可能的意图。

可在自发控制下直接地或间接地执行的最常见类型的眼睛移动是：1)扫视、2)平滑追踪、3)聚散和4)前庭眼动。使用根据由面向用户的相机110捕获的一系列眼睛图像所确定的眼睛位置数据，算法“过滤器”可被电子系统100应用以实时地识别和区分特别是扫视或前庭眼睛移动的存在。例如，在一个实施例中，电子系统100可采用扫视过滤器。扫视过滤器主要依靠扫视是迅速的事实。事实上，如先前所提及的，扫视是具有多达每秒900°的角速度的人体中最迅速的移动。扫视速度分布图是弹道的，其中(多达大约60°的位移)峰值速度近似是越过的距离的线性函数。例如，10°扫视具有大约每秒300°的角速度，然而30°位移的峰值角速度大致是每秒500°。在本文中的系统和方法内实现基于扫视的眼睛信号的一个方面是不含糊地耦合或者连接位于观察者的视场内任何地方的两个位置(即，扫视发动位置和扫视到达位置)处的虚拟或真实对象而不被沿着两个位置之间的视觉通路的对象干扰的能力。通过执行一系列扫视，任何数量的对象或位置可在自发用户控制下被逻辑地连接以辨别意图。

扫视移动比与平滑追踪相关联的最快运动快一个数量级。此速度差异是在过滤器内区分例如平滑追踪眼睛移动的关键区别。平滑追踪眼睛移动的总体方向和速度也必须与受到观察的对象的速度分布图匹配(除非观察者已接受大量训练以避免此)。因此，电子系统100可基于速度来区分平滑追踪和扫视，并且基于与显示或真实的对象的速度分布图相比较是否存在匹配来区分平滑追踪和其它眼睛移动(例如，聚散和前庭眼动移动)。

更具体地，在观察缓慢地移动的对象时，可通过在约100毫秒的时延之后对对象的紧密跟随来辨识平滑追踪。平滑追踪通常以小于大约每秒30°的角速度被辨识；尽管可发生稍微较高的速度，尤其在水平方向上。在对象移动速度大于平滑追踪可以遵循的那些速度时，所谓的“追赶扫视”被人类使用以跟踪环境中的对象。电子系统100可基于总体速度以及扫视序列的开始/停止速度分布图来区分扫视-注视序列和平滑追踪。

在一些实施例中，电子系统100实现被配置为确定用户何时自发地跟随特定对象的平滑追踪过滤器。通过将含义或目的指派给可四处移动的不同对象，电子系统100可通过测量哪一个对象(如果有的话)正在被跟随以识别用户意图。在至少一个实施例中，如果如捕获的影像所指示的，存在四处移动的N个“可跟踪”对象，则电子系统100选择N个状态中的1个(或不存在跟踪任何对象)。

如上所述，可用于识别(即，在算法上过滤)聚散眼睛移动的关键特性是一个眼睛相对于另一个眼睛的相异的或不相同的移动。聚散眼睛移动也通常比扫视移动慢。在生理上，在不同距离处观察对象时，聚散眼睛移动维持单一双目视觉。在聚散眼睛移动被识别时，聚散眼睛移动可以被用于控制目标光标地点的径向距离(即，深度)。显示的光标的视距可以由包括光标大小、光场矢量和/或被设备用户的视场中的位于各种径向距离处的其它对象部分地遮挡的视觉线索(visual cue)来控制。使用聚散或者通过知道被指向的对象的距离(如上所述)在第三(即径向)维度上传送光标可以是三维光标控制的直观方法。

电子系统100基于瞳孔数据、闪光数据或虹膜数据中的任何一种或其组合来辨别眼睛注视。例如，瞳孔可以是可见的并生成稳定的边缘，正确数量的间隔良好的角膜闪光可以由系统的照明电路产生，角膜缘及其在人口平均值的范围内的直径可以被检测，并且/或者具有可确定虹膜姿态的足够信息的虹膜可以是可见的。一个或多个面向用户的相机或检测器110被配置为与一个或多个照明源125协同工作。照明源125可以包括一个或多个发光二极管(LED)以提供一般照明和/或在眼睛105的表面上产生参考“闪光”106的照明。在一些实施例中，照明源125利用不可见(例如，近红外)光来避免分散用户的注意力并且仍然可由CMOS或CCD检测器检测。一个或多个闪光107提供参考方向或矢量以帮助使用本领域中已知的技术来计算注视方向。在一些实施例中，面向用户的相机或检测器110包括一个或多个透镜111并且可以包括一个或多个光过滤器114以阻挡杂散或环境光(例如，耦合到检测器的不需要的光)。

为了便于沿着轨迹将光标155从第一显示器160处的第一位置157移动到在第一显示器160处或在第二显示器170处的用户的眼睛的注视的聚焦区域内的第二位置175，面向用户的相机110获取眼睛105的图像，包括眼睛的结构，诸如瞳孔106、虹膜和闪光(即，光从角膜的反射)107。在一些实施例中，电子系统100使用闪光连同(产生闪光矢量的)照明源125和面向用户的相机110的已知位置以确定眼睛105的相对注视方向。通过过滤扫视和其它形式的眼睛移动，电子系统100可确定用户的眼睛105是聚焦在第一显示器160处还是第二显示器170处的位置上。

在操作期间，光标位置和移动可以是至少一个处理器已知的。替代地，场景相机120和130捕获用户的环境112的图像，包括光标155和/或第一显示器160和第二显示器170的图像。在第一显示器160和第二显示器170中的一个或两个是虚拟表面的那些实施例中，场景相机120和130捕获光标155关于虚拟表面的图像，所述虚拟表面的坐标是电子系统100已知的。电子系统100的处理单元(未示出)可以使用所捕获的来自场景相机120和130的影像和/或来自深度传感器115的深度数据以确定在目标光标位置的方向上(前面或后面)从光标155到显示器表面160或真实对象的距离。一个或多个面向用户的相机110捕获用户的至少一个眼睛105的图像。电子系统100的处理单元(未示出)使用所捕获的用户的眼睛105的影像基于瞳孔跟踪、闪光和/或虹膜跟踪来确定用户的眼睛105是否聚焦在距光标155的位置多于阈值距离的位置上。

响应于在扫视或聚散移动或光标通过鼠标、跟踪球、操纵杆或(被称为“光标控制设备”的)其它控制设备大致在用户的注视方向上的移动之后检测到用户的眼睛聚焦在第二位置175处并且第二位置175距光标155所位于的第一位置157多于阈值距离，则电子系统100沿着轨迹将光标155从第一位置157传送到第二位置175。在一些实施例中，轨迹是矢量(直线)，并且在一些实施例中，轨迹可以不在直线中，诸如以弧的形式。在一些实施例中，光标的轨迹可以涉及径向方向上(即，朝向或远离用户)的移动。在一些实施例中，电子系统100响应于光标控制设备将光标155朝向注视位置175移动多于阈值距离而将光标155传送到注视位置175。

在一些实施例中，电子系统100将光标155基本上瞬时地移动(即，“跳跃”)到注视位置175的区域。在一些实施例中，在光标155从第一位置157到用户的中央凹视图内的第二位置175的基本上瞬时的传送之后，光标155重新出现沿着从第一位置157朝向用户的注视位置(第二位置175)移动的矢量而移动。一旦光标155重新出现在用户的中央凹视图内，电子系统100就将对光标155的控制从眼睛跟踪子系统传递到光标设备，诸如鼠标或触控板。因此，电子系统100使用眼睛控制以在大距离上迅速地传送光标，同时使用定点设备来维持对光标的精确控制。在一些实施例中，即使在定点设备仅包含2个自由度(例如，水平和垂直移动)时，电子系统100也附加地使用眼睛控制以将光标定位在3维空间中。

在一些实施例中，电子系统100响应于检测到用户的眼睛105聚焦在距光标155多于阈值距离的位置处而改变光标控制设备的灵敏度或空间增益。因此，电子系统100调整空间增益或光标控制设备的移动或信令与光标155所移过的成比例的距离之间的关系，使得光标155针对给定的光标控制设备移动或者其他输入以越大的速度移动，光标155处于与注视位置越远的位置。在一些实施例中，电子系统100在传送到第二位置开始时使光标155的移动加速，并且在光标接近第二位置时使光标155减速。

在一些实施例中，电子系统100响应于来自用户的信号或从诸如开关、计算机鼠标、跟踪球或数字笔的输入/输出设备接收到的信号而发起将光标155传送到第二位置175，所述来自用户的信号诸如是语言信号、手势或移动(例如，通过手指、手臂、嘴、脚、嘴唇)。电子系统100被编程为响应于各种输入(即，手势、移动、声音激活、所说的具体单词、眨眼持续时间)和阈值(例如，第一位置与注视位置之间的距离)以发起传送光标155。例如，用于指示期望光标155朝向注视位置的迅速移动的手势和信号包括超过阈值速度的移动、摇动光标控制设备、光标控制设备的移动的模式(诸如圆形的或在固定方向上的移动)、按钮按压、眨眼、摇动某人的头部等。在一些实施例中，如果光标155距注视位置175在指定的阈值距离内，则电子系统100抑制传送功能性。

在一些实施例中，在电子系统100传送光标155时，电子系统100传送与光标155相关联的显示的信息。例如，如果光标155与第一显示器160处的图像、图标或文本的部分相关联或者被“钉(pinned)”到第一显示器160处的图像、图标或文本的部分，则电子系统100将该图像、图标或文本和关联的信息与光标155一起传送到第二位置。第二位置可以被定位在第一显示器上或在第二显示器170上。以这种方式，电子系统100可将图像、视频、文本、数字、文件、应用以及由应用执行的具体功能从一个设备和/或位置迅速地传送到另一设备和/或位置。这样的位置可以进而确定处理器功能。在光标响应于确定用户的注视聚焦在第二显示器170处而被从第一显示器160传送到第二显示器170时，可以涉及多于一个处理器。光标155和/或指派给光标155的关联的传送允许用户更高效地找到光标155并且跨多个显示器访问多个平台的功能性。

图2图示依照本公开的至少一个实施例的在其中光标210沿着直线轨迹225从显示器200处的第一位置215移动到显示器200处的用户的眼睛(未示出)的聚焦区域240内的第二位置230的图1的电子系统100的实施例。诸如鼠标、跟踪球、触摸板或操纵杆的光标控制设备(未示出)控制光标210的移动。响应于确定用户的注视聚焦在距第一光标位置215多于阈值距离的聚焦区域240处并且响应于光标控制设备大致在聚焦区域240的方向上移动光标210，电子系统100沿着轨迹225将光标210从第一位置215基本上瞬时地移动到聚焦区域240内的第二位置230。在一些实施例中，光标210重新出现沿着轨迹225的大致路径从第一位置215移动到第二位置230。

在一些实施例中，在光标210接近第二位置230时，电子系统100将对光标210的控制返回给光标控制设备。在一些实施例中，电子系统100在光标155重新出现时调整灵敏度或增益或光标控制设备，使得可使用一个或多个光标控制设备来高精度地操纵光标位置。以这种方式，在最小的眼睛移动的情况下，电子系统100跨第一位置215与第二位置230之间的大距离迅速地传送光标210，同时保持高精度控制。

图3图示依照本公开的至少一个实施例的在其中图标325沿着轨迹350从移动设备300的第一显示区域320处的第一位置移动到第二显示器340处的用户的眼睛的聚焦区域内的第二位置的图1的电子系统100的实施例。在图3的示例中，电子系统100跨平台将与图标325相关联的功能从诸如智能电话或平板这样的移动设备300的显示区域320传送到显示时钟345的智能手表340。

移动设备300的显示区域320包括表示各种功能的多个图标330。显示区域320还包括可通过眼睛信号语言选择的激活图标的列335。用户可使用触摸、眼睛信号、使用麦克风的语音命令等的任何组合来操纵显示区域320以执行期望的功能。在图3的示例中，电子系统100响应于传送发起信号并检测到穿过移动设备300与智能手表340之间的距离的一个或多个扫视和/或聚散眼睛移动而将表示文本消息和关联的功能性的图标325从移动设备300传送到智能手表340。传送发起信号是指示期望图标325的传送的信号，诸如眼睛信令、触摸显示区域320、语音或其它输入模态。在一些实施例中，电子系统100在智能手表340或其它接收设备处提供指示正在发生图标325的传送的图形反馈，诸如在所检测到的眼睛移动的方向上朝向智能手表340的中心扫过的图标325。

图4图示依照本公开的至少一个实施例的在其中与图3中图示的图标325相关联的文本消息450出现在第二显示器440处的第二位置处的图1的电子系统100的实施例。与被从移动设备300传送到智能手表340的文本消息传送图标325相关联的功能性也被传送到智能手表340。在图4的示例中，已被以大格式显示在图3中的智能手表340上的时钟345被最小化445以为要在智能手表340上显示的文本消息450让出空间。可使用眼睛信号和其它输入来操纵传送的图3的文本消息传送图标325的功能性。

图5A图示依照本公开的至少一个实施例的在其中电子系统100响应于跟踪用户的眼睛的注视而选择出现在显示器500处的第一位置处的文本520的一部分的图1的电子系统100的实施例。显示器500显示包含文本的正文的文档510。在图5A的示例中，用户希望将文本的第一个句子520移动到文档510中更下方的位置。电子系统10响应于眼睛信号和多模态(例如，鼠标、触控板、语音控制)输入的任何组合而将光标515移动到所选文本在该处被指定的句子520的起始。响应于用户注视句子520的末尾530附近的区域，电子系统100沿着轨迹525朝向句子520的末尾530传送光标515。在一些实施例中，电子系统100瞬时地或者以高速度朝向注视方向传送光标515。在一些实施例中，电子系统100在光标515接近注视位置时使光标515变慢。

图5B图示依照本公开的至少一个实施例的在其中电子系统100响应于跟踪用户的眼睛的注视而将图5A中选择的文本的部分520移动到第二位置517的图1的电子系统100的实施例。在用户已使用一个或多个输入模态指定了所选文本的末尾之后，响应于检测到第二位置517的扫视或聚散眼睛移动525，电子系统100将所选文本522传送到第二位置517。在一些实施例中，电子系统100接受多模态输入以将所选文本522精确地引导到第二位置517。

图6是图示依照本公开的至少一个实施例的图1的电子系统100跟踪用户的眼睛的注视和光标的位置并且沿着轨迹将光标移动到用户的眼睛的聚焦区域内的位置的操作600的流程图。在步骤602处，电子系统100基于由面向用户的相机110捕获的图像来跟踪用户的眼睛的位置。在步骤604处，电子系统100计算相对于光标155和/或显示器160、170的用户的注视。在步骤606处，电子系统100接收指示用户期望将光标155移动到用户的眼睛聚焦在该处的第二位置的信号。在一些实施例中，电子系统100确定第二位置距光标155的当前位置多于阈值距离。在步骤608处，电子系统100沿着轨迹将光标从当前(第一)位置移动到用户的注视的聚焦区域内的第二位置。在一些实施例中，在光标沿着轨迹的至少一部分移动时，光标是可见的。在一些实施例中，光标基本上瞬时地从第一位置移动到第二位置。

在一些实施例中，可以通过执行软件的处理系统的一个或多个处理器来实现上述技术的某些方面。软件包括被存储或者以其它方式有形地具体实现在非暂时性计算机可读存储介质上的一个或多个可执行指令集。软件可包括指令和某些数据，所述指令和某些数据在被一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备、诸如闪速存储器的固态存储设备、高速缓存、随机存取存储器(RAM)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其它非易失性存储器设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码、硬件描述语言(HDL)或由一个或多个处理器解释或者以其它方式能够执行的其它指令格式。

计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可包括但不限于光学介质(例如，紧致盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁硬盘)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪速存储器)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以被嵌入在计算系统(例如，系统FPGA、ASIC、RAM或ROM)中，固定地附接到计算系统(例如，磁硬盘)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪速存储器)或经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

注意的是，不要求上面在总体描述中描述的全部活动或要素，可能不要求具体活动或设备的一部分并且可以执行一个或多个另外的活动或者包括除了所描述的那些之外的元素。更进一步，活动被列举的顺序不一定是它们被执行的顺序。另外，已经参考具体实施例描述了概念。然而，本领域的普通技术人员理解的是，可在不脱离如下面的权利要求中所阐述的本公开的范围的情况下做出各种修改和变化。因此，本说明书和图将在说明性而非限制性意义上考虑，并且全部这样的修改旨在被包括在本公开的范围内。

已经在上面关于具体实施例描述了益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可以使任何益处、优点或解决方案发生或者变得更明显的任何特征不应被解释为任何或全部权利要求的关键的、必需的或基本的特征。此外，上面公开的特定实施例仅是说明性的，因为可以以对受益于本文教导的本领域的技术人员而言显而易见的不同但等效的方式修改和实践所公开的主题。除如下面的权利要求中所描述的之外，对本文示出的构造或设计的细节没有限制。因此显然的是，可以更改或者修改上面公开的特定实施例并且全部这样的变化都被认为在所公开的主题的范围内。因此，本文寻求的保护如下面的权利要求中所阐述的。

Claims (21)

1.一种方法，包括：

由处理单元基于由面向用户的相机(110)捕获的图像来跟踪第一用户的眼睛(105)的注视位置(175)；

由所述处理单元计算相对于第一显示器(200)处的光标(157、210)的位置的所述注视位置；

响应于检测到所述第一用户的注视聚焦在包括第二位置(230)的聚焦区域(240)处，由所述处理单元沿着轨迹(225)将所述光标从第一位置(215)选择性地移动到所述第二位置。

2.根据权利要求1所述的方法，其中，在所述光标沿着所述轨迹的至少一部分移动时，所述光标是可见的。

3.根据权利要求1所述的方法，其中，选择性地移动包括：将所述光标从所述第一位置移动到所述第二位置，使得所述光标对于所述用户显现为基本上瞬时地移动。

4.根据权利要求1所述的方法，还包括：在第一持续时间内以第一速率沿着所述轨迹移动所述光标，并且在所述光标接近所述第二位置时，使所述光标相对于所述第一速率减速。

5.根据权利要求1所述的方法，其中，所述第一位置在所述第一显示器(300)处并且所述第二位置在第二显示器(340)处，以及选择性地移动所述光标包括：沿着所述轨迹将所述光标从所述第一显示器转移到所述第二显示器。

6.根据权利要求5所述的方法，其中，所述第一显示器和所述第二显示器由不同的处理单元控制。

7.根据权利要求1所述的方法，其中，移动所述光标还响应于检测到在鼠标、键盘、操纵杆、触摸板或麦克风中的一个处生成的信号，所述信号指示所述光标应该被移动到所述第二位置。

8.根据权利要求1所述的方法，还包括：响应于确定所述光标在所述第二位置的阈值距离内而抑制将所述光标移动到所述第二位置。

9.根据权利要求1所述的方法，还包括：响应于在有目的的扫视移动之后检测到所述第一用户的注视聚焦在包括所述第二位置的聚焦区域处，由所述处理单元将与所述光标相关联的功能、图标、文本或图形中的一个或多个从所述第一位置选择性地移动到所述第二位置。

10.一种方法，包括：

由处理单元基于由面向用户的相机(110)捕获的图像来跟踪第一用户的眼睛(105)的注视位置(175)；

由所述处理单元计算相对于第一显示器(2--)处的光标(157、210)的位置的所述注视位置；

在所述处理单元处接收指示所述用户期望从所述第一显示器处的第一位置(215)移动所述光标的信号；以及

响应于检测到所述第一用户的注视聚焦在包括第二位置(230)的聚焦区域(240)处，沿着轨迹(225)将所述光标从所述第一位置移动到所述第二位置。

11.根据权利要求10所述的方法，其中，在所述光标沿着所述轨迹的至少一部分移动时，所述光标是可见的。

12.根据权利要求10所述的方法，还包括：在第一持续时间内以第一速率沿着所述轨迹移动所述光标，并且在所述光标接近所述第二位置时，使所述光标相对于所述第一速率减速。

13.根据权利要求10所述的方法，其中，所述第一位置在所述第一显示器(300)处并且所述第二位置在第二显示器(340)处，以及移动所述光标包括：沿着所述轨迹将所述光标从所述第一显示器转移到所述第二显示器。

14.根据权利要求13所述的方法，其中，所述第一显示器和所述第二显示器由不同的处理单元控制。

15.根据权利要求10所述的方法，其中，移动所述光标还响应于检测到所述用户的眼睛朝向所述第二位置的扫视移动。

16.根据权利要求10所述的方法，其中，所述信号在鼠标、键盘、操纵杆、触摸板、开关或麦克风中的一个处生成。

17.根据权利要求10所述的方法，还包括：响应于检测到所述第一用户的注视聚焦在包括所述第二位置的聚焦区域处，由所述处理单元将与所述光标相关联的功能、图标、文本或图形中的一个或多个从所述第一位置选择性地移动到所述第二位置。

18.一种电子设备(100)，包括：

面向用户的相机(110)，所述面向用户的相机(110)被配置为跟踪第一用户的眼睛(105)的注视；

第一显示器(160、300)；

光标(157)，所述光标(157)被显示在所述第一显示器处的第一位置(155、215)处；以及

处理器，所述处理器被配置为：响应于接收到指示所述用户期望从所述第一位置移动所述光标的信号并且还响应于检测到所述第一用户的注视聚焦在包括第二位置(230)的聚焦区域(240)处，沿着轨迹(225)将所述光标从所述第一位置选择性地移动到所述第二位置。

19.根据权利要求18所述的电子设备，其中，在所述光标接近所述第二位置时，所述光标是可见的。

20.根据权利要求18所述的电子设备，其中，所述第二位置在第二显示器(340)处，并且所述处理器被配置成通过沿着所述轨迹将所述光标从所述第一显示器转移到所述第二显示器而选择性地移动所述光标。

21.根据权利要求18所述的电子设备，其中，所述第一显示器和所述第二显示器由不同的处理单元控制。