CN107209849A - 眼睛跟踪 - Google Patents

Abstract

在此公开了涉及基于二维图像数据的眼睛跟踪的各示例。一个示例提供了在计算设备上的一种跟踪眼睛的方法。所述方法包括从图像传感器接收图像数据、检测图像数据中的用户的脸部、定位在图像数据中的脸部区域中的眼睛以获得眼睛图像，规范化眼睛图像的比例和照明中的一个或多个、将一个椭圆形拟合于眼睛图像中的眼睛的虹膜、并基于所拟合的椭圆形输出眼睛注视方向的确定。

Description

眼睛跟踪

背景

眼睛跟踪技术可以出于多种目的被用于电子设备中，包括但不限于做广告、市场调查、汽车工程、可用性研究以及自然人类-计算机交互。例如，通过确定用户注视与图形用户界面的相交的位置并使用所确定的位置作为与图形用户界面交互的定位信号，眼睛跟踪可以被用于人类-计算机交互。

概述

在此揭示了涉及基于图像数据的眼睛跟踪的各示例。一种示例提供了在计算设备上的一种方法，包括从图像传感器接收图像数据、检测图像数据中的用户的脸部、定位在图像数据中的脸部区域中的眼睛以获得眼睛图像，规范化眼睛图像的比例和照明中的一个或多个、将一个椭圆形拟合于眼睛图像中的眼睛的虹膜、并基于所拟合的椭圆形输出眼睛注视方向的确定。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图简述

图1示出用于计算设备的示例眼睛跟踪系统。

图2示出眼睛的各种构造。

图3示出了描述示例眼睛跟踪方法的流程图。

图4示出在图3的眼睛跟踪方法的各个阶段处的示例图像的示意描述。

图5示出示例眼睛图像和对应的投票图(voting map)。

图6示出拟合于虹膜的各图像的椭圆形的各示例。

图7示出了示例计算系统的框图。

详细描述

许多眼睛跟踪方法可以利用图像数据来相对于来自已知光源的光的角膜反射或闪光的各位置检测瞳孔的位置。然而，由于光源的使用，这样的眼睛跟踪技术可能消耗了比用移动电池供电的设备所期望的功率更大的功率。而且，基于图像的眼睛跟踪方法可以利用涉及昂贵训练数据收集的机器学习技术。

因此，在此公开了涉及在无需使用闪光光源的情况下可以操作的基于图像的眼睛跟踪的示例。所公开的示例可以允许使用常见的可见光相机来执行眼睛跟踪。这可以允许使用在现有设备上广泛可用的图像传感器来实现眼睛跟踪。而且，闪光光源的省略可以帮助节省功率，并且从而延长电池寿命和充电间隔时间。

图1示出示例眼睛跟踪系统100。眼睛跟踪系统100包括用于获取观看计算设备108的显示器106的用户104的图像的图像传感器102。眼睛跟踪系统100可以被用于确定用户104的注视与显示器106相交的位置110。随后，位置108可以被用作与显示在显示器106上的图形用户界面交互的定位信号。尽管在较大规格的显示器(例如监视器或电视)的上下文中进行描述，但将理解所公开的示例可以与任何合适的计算设备一起使用，包括但不局限于移动设备、可穿戴设备等。

如下将更加详细解释地，眼睛跟踪系统100可以被配置为标识眼睛的各构造以帮助确定眼睛的注视方向。图2示出眼睛200的简化描绘，并示出各种眼睛构造，包括虹膜202(控制瞳孔的直径的着色的肌肉群)、瞳孔204(允许光进入眼睛的孔)以及巩膜206(覆盖眼睛剩余部分的白色保护性组织)。眼睛跟踪系统100可以例如通过利用可见图像数据定位眼睛200的虹膜202和/或瞳孔204来跟踪用户的眼睛200。这些构造可用任意合适的方式在图像数据中被定位。例如，利用可见光相机的一些示例可以检测虹膜和巩膜之间的椭圆形轮廓作为缘(limbus，图2中的208)，因为巩膜强烈反射可见光。相反，在使用红外图像数据时，瞳孔可以更加容易地被检测到，因为巩膜和虹膜两者都强烈反射红外光而瞳孔却不这样。尽管在此主要在二维可见图像的上下文中进行描述，但将理解在此公开的示例可以被用于跟踪来自二维红外图像、红外或可见深度图像和/或任何其它合适类型的图像数据中的注视。

图3示出了眼睛跟踪的示例方法300的流程图，而图4示出了在方法300的各个阶段处的图像数据。方法300包括，在302处，接收由图像传感器获取的图像数据，并在304处检测图像数据内的用户的脸部。参考图4，图像402表示由图像传感器获得的图像。脸部检测方法可以被用于处理图像402以定义盒形区域404，所述盒形区域包括用户的脸，如在图像406中所示。任何合适的脸部检测方法都可以被使用，包括但不限于基于级联分类器的方法。

继续图3，方法300还包括在306处定位在脸部的区域中的眼睛以获得眼睛图像。任何合适的方法可以被用于定位在图像的脸部的区域中的眼睛。例如，再次参考图4，一旦脸部的盒形区域404被获得，可以执行脸部对准，如在408处所示，以定位脸部标志，包括眼睛、鼻子、嘴巴等。脸部对准还可以被用于定位眼角和眼中心。这样的特征的标识可以被用于从脸部图像中剪裁出眼睛图像410，这可以帮助减少用于定位虹膜的搜索区域的大小并因而提高了检测速度。使用基于形状回归的方法或任何其它适合的方法可以执行脸部对准。

根据诸如用户到图像传感器的可变距离以及在不同的图像传感器之间的分辨率差异性之类的因素，在每个图像中的跨眼睛的像素数目可以变化。这样，方法300可以包括在310处规范化眼睛图像的比例。眼睛的比例的规范化可以便利于在随后的处理步骤中的眼睛结构的检测。在一些示例中，在裁剪出眼睛图像并对其缩放之前，可以首先对脸部图像执行比例规范化。作为一个非限制性示例，脸部图像可以以使得通过脸部对准获得的两个眼中心之间的距离被设定为200像素来在比例上被规范化。随后，经比例规范化的眼睛图像410可以通过裁剪具有以所检测的眼中心为中心的宽120像素和高80像素的区域来获得。另外或另选地，在单只眼睛的内角和外角之间和/或任何其它合适的脸部标志之间的距离可以被规范化。将理解，这些比例规范化方法是出于示例的目的而呈现的，并且任何其它合适的规范化过程可以被使用。

继续图3，方法300还包括在312处规范化眼睛图像的照明。照明规范化可以帮助增强在巩膜和虹膜之间的边缘对比度，并使得后续的虹膜检测相对于不同的光照条件都是更加强健的。经照明规范化的图像的一个示例在4中的412处示出。任何合适的方法可以被用于规范化图像内的照明。作为一个非限制性示例，如果经比例规范化的眼睛图像410最初是彩色图像，则经比例规范化的眼睛图像410首先可以被转换成灰度图像，并且随后可以使用高斯规范化来规范化图像强度。一个示例高斯规范化技术可以通过使用下述条件函数来执行：

其中I(x,y)是在像素(x,y)处的原始像素强度，μ是在经裁剪的眼睛图像中的所有像素的平均强度，σ是所有像素强度的标准偏差，而I’(x,y)是经规范化的像素强度。经比例和照明规范化的眼睛图像412的一个示例在图4中示出。在其它示例中，任何其它照明规范化可被使用。

为了进一步限制搜索区域以帮助加速虹膜检测并且还帮助减少来自图像的非相关区域的干扰，方法300可以进一步包括在314处对眼睛图像执行分割。分割可以例如被用于遮蔽非眼睛和/或非虹膜区域，如分别在316和318处所示。图4示出作为遮蔽图像中的非眼睛区域(用黑色示出)而保留了眼睛区域(用白色示出)的示例结果的经遮蔽的眼睛图像414。分割可以使用任何合适的方法来执行。示例包括但不局限于使用图像的纹理和颜色特征的强度阈值和/或基于学习的方案。

在遮蔽之后，可以通过在多个椭圆形中寻找具有适当紧密拟合于经遮蔽的眼睛图像中的缘虹膜的一个椭圆形来定位虹膜，如图3中在320处所指示的。拟合椭圆形可以包括在322处应用多个椭圆形假设。作为一个非限制性示例，可使用基于霍夫变换的椭圆形拟合(Hough transform-based ellipse fitting)方法。在该示例中，可以从一组虹膜椭圆形的不同假设中确定最佳拟合椭圆形，每个假设通过旋转角θ、半径r和长短轴比率t的组合被参数化。对于经遮蔽的眼睛图像中的每个像素其梯度向量可以被标记为每个椭圆形假设可以由投票图V来表示，其中投票图V与眼睛遮蔽图像大小相同，并且投票图的每个像素对应于眼睛图像中的一个对应的像素。用于每个椭圆形假设的投票图V可以被初始化为零。接着，对于眼睛遮蔽图像内的每个像素可以如下确定正影响像素(例如梯度向量所指向的像素)和负影响像素(例如梯度向量从其离开的像素)：

其中，且随后，以梯度向量像素和处的投票图V，如下：

因此，方法300还包括在324处确定每个椭圆形假设的投票图，并在326处对于每个像素确定梯度向量并更新投票图的值。

图5示出用于眼睛图像502的椭圆形假设的示例投票图500。因为虹膜比其它眼睛构造更暗，每个椭圆形假设的虹膜中心可以通过寻找具有在对应的投票图上的最小值的像素来确定。在图5中，黑色像素504是具有投票图500中最小值的像素并且表示眼睛图像502中的虹膜中心。因此，方法300还可以包括在328处基于投票图的值确定虹膜的中心。可以通过跨所有投票图的优化(例如最小化)来选择被认为是适当紧密拟合的椭圆形。返回图4，示出了示例的椭圆形拟合的眼睛图像416，其中白色虚线椭圆形表示该虹膜的最佳匹配的椭圆形。将理解，在其它示例中，椭圆形可以拟合于眼睛的红外图像中的瞳孔，而不是虹膜，并且可以通过查找具有跨所有投票图的最大值的像素来确定瞳孔中心。将进一步理解，这样的椭圆形拟合可以使用经遮蔽的虹膜图像以取代经遮蔽的眼睛图像来执行，如在此所公开的。

继续图3，方法300包括在330处基于所确定的虹膜中心(或瞳孔中心)输出眼睛注视方向的确定。如上面所公开的，确定观看者正在注视的方向可以帮助标识用户正盯着看的显示器的位置。随后，注视方向可以被计算设备用于与用户界面进行交互和/或其它基于计算机的交互。通过这种方式，用户可通过注视跟踪与计算设备进行交互，而不使用眼睛闪光源。与使用眼睛闪光源相比，这可以帮助减少功耗，并且还可以简化用于眼睛跟踪的硬件配置，因为它可以允许通过单个可见光相机(例如在现今计算设备上常用的那些相机)执行眼睛跟踪。

图6描述了拟合于样本数据集中的多个眼睛图像的椭圆形的示例。所描述的图像示出了即使在变化的图像条件下仍然稳健的结果，所述情况诸如眼睛的虹膜在不同的位置中，虹膜被眼皮部分或大部分遮挡，以及图像是模糊和/或具有低分辨率(例如当用户远离图像传感器时)的情况，如在底部行所示。

在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图7示意性地示出了可执行上述方法和过程中的一个或多个的计算系统700的非限制性实施例。以简化形式示出了计算系统700。计算系统700可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。眼睛跟踪系统100是计算系统700的非限制性示例实现。

计算系统700包括逻辑子系统702和数据保持子系统704。计算系统700可任选地包括显示子系统706、输入子系统708、通信子系统710、和/或在图7中未示出的其他组件。

逻辑子系统702包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统702可被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。

逻辑子系统702可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统702可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统702的处理器可以是单核的或多核的，并且其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑子系统702的各方面可以由云计算配置中配置的可远程访问的联网计算设备来虚拟化和执行。

数据保持子系统704包括一个或多个物理设备，该一个或多个物理设备被配置成保持可由逻辑机执行以实现本文中所述的方法和过程的指令。在实现这样的方法和过程时，可以变换数据保持子系统704的状态(例如，以保持不同的数据)。

数据保持子系统704可包括可移动和/或内置设备。数据保持子系统704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。数据保持子系统704可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

将理解，数据保持子系统704包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。

逻辑子系统702和数据保持子系统704的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

当被包括时，显示子系统706可用于呈现由数据保持子系统704所保持的数据的可视表示。此视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统706的状态以视觉地表示底层数据的改变。显示子系统706可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统702和/或数据保存子系统704一起组合在共享封装中，或此类显示设备可以是外围显示设备。

当被包括时，输入子系统708可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可以包括或相接于所选择的自然用户输入(NUI)部件。这样的部件可以是集成式的或者是外设，并且输入动作的转换和/或处理可以在板上或板下处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。

当包括通信子系统710时，通信子系统710可被配置成将计算系统700与一个或多个其他计算设备通信地耦合。通信子系统710可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统700经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。

将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

另一种示例提供了在计算设备上的一种跟踪眼睛的方法，所述方法包括从图像传感器接收图像数据、检测图像数据中的用户的脸部、定位在图像数据中的脸部区域中的眼睛以获得眼睛图像，规范化眼睛图像的比例和照明中的一个或多个、将一个椭圆形拟合于眼睛图像中的眼睛的虹膜、并基于所拟合的椭圆形输出眼睛注视方向的确定。在该示例中，所述方法可以另外地或替换地包括：通过缩放眼睛图像来规范化在眼睛图像中的各特征之间的距离来规范化眼睛图像的比例，并且规范化眼睛图像的照明包括从眼睛图像中形成灰度图像并规范化灰度图像的强度。所述方法可以另外地或替换地包括在拟合椭圆形之前对图像数据执行分割以遮蔽眼睛图像的非眼睛区域和非虹膜区域中的一个或多个。所述方法可以另外地或替换地包括通过将多个椭圆形假设应用于图像数据并为每个椭圆形假设确定对应于眼睛图像的投票图来将椭圆形拟合到虹膜。所述方法可以另外地或替换地包括例如通过为眼睛图像的每个像素确定该像素的梯度向量并且用梯度向量的幅度来更新投票图的对应的像素的值来拟合椭圆形。所述方法可以另外地或替换地包括通过基于投票图的每个像素的值确定虹膜的中心来拟合椭圆形。所述方法可以另外地或替换地包括其中所述多个椭圆形假设中的每个包括旋转角、半径以及长短轴比率中的一个或多个。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

另一种示例提供了一种眼睛跟踪系统，包括被配置为获取图像数据的图像传感器、逻辑子系统和包括存储在其上的指令的存储子系统，所述指令可由逻辑子系统执行以检测图像数据中的用户的脸部，定位在图像数据中的脸部区域中的眼睛以获得眼睛图像，规范化眼睛图像的比例和照明中的一个或多个，为多个椭圆形假设中的每个确定投票图，基于每个椭圆形假设的投票图将椭圆形拟合到眼睛图像中的眼睛的虹膜，并基于拟合的椭圆形输出注视方向的确定。所述指令可以另外地或替换地可执行以通过缩放眼睛图像来规范化在眼睛图像中的各特征之间的距离来规范化眼睛图像的比例。所述指令可以另外地或替换地可执行以通过从眼睛图像中形成灰度图像并规范化灰度图像的强度来规范化眼睛图像的照明。所述指令可以另外地或替换地可执行以在拟合椭圆形之前对图像数据执行分割以遮蔽眼睛图像的非眼睛区域和非虹膜区域中的一个或多个。所述指令可以另外地或替换地可执行以通过为眼睛图像的每个像素确定该像素的梯度向量并且对于每个投票图用梯度向量的幅度来更新该投票图的对应的像素的值来拟合椭圆形。所述指令可以另外地或替换地可执行以通过基于投票图的每个像素的值确定虹膜的中心来拟合椭圆形。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

另一种示例提供了一种眼睛跟踪系统，包括被配置为获取图像数据的图像传感器、逻辑子系统和包括存储在其上的指令的存储子系统，所述指令可由逻辑子系统执行以从图像数据中检测用户的脸部，从图像数据中定位脸部区域中的眼睛以获得眼睛图像，规范化眼睛图像的比例和照明中的一个或多个，对图像数据执行分割以遮蔽眼睛图像的非眼睛区域和非虹膜区域中的一个或多个，基于应用多个椭圆形假设将椭圆形拟合于眼睛图像中的眼睛的虹膜，并基于拟合的椭圆形输出注视方向的确定。所述指令可以另外地或替换地可执行以通过缩放眼睛图像来规范化在眼睛图像中的各特征之间的距离来规范化眼睛图像的比例。所述指令可以另外地或替换地可执行以通过从眼睛图像中形成灰度图像并规范化灰度图像的强度来规范化眼睛图像的照明。所述指令可以另外地或替换地可执行以为每个椭圆形假设确定对应于眼睛图像的投票图。所述指令可以另外地或替换地可执行以针对眼睛图像的每个像素确定该像素的梯度向量并且用梯度向量的幅度来更新投票图的对应的像素的值来拟合椭圆形。所述指令可以另外地或替换地可执行以通过基于投票图的每个像素的值确定虹膜的中心来拟合椭圆形。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (14)

1.一种眼睛跟踪系统，包括：

被配置为获取图像数据的图像传感器；

逻辑子系统；以及

存储子系统，包括存储在其上的可由所述逻辑子系统执行以执行下列操作的指令：

检测所述图像数据中的用户的脸部，

定位在所述图像数据中的所述脸部的区域中的眼睛以获得眼睛图像，

规范化所述眼睛图像的比例和照明中的一个或多个，

为多个椭圆形假设中的每个确定投票图，

基于每个椭圆形假设的所述投票图将一椭圆形拟合于所述眼睛图像中的眼睛的虹膜，以及

基于所拟合的椭圆形输出注视方向的确定。

2.如权利要求1所述的眼睛跟踪系统，其特征在于，所述指令可执行以通过缩放所述眼睛图像来规范化在所述眼睛图像中的各特征之间的距离来规范化所述眼睛图像的比例。

3.如权利要求1所述的眼睛跟踪系统，其特征在于，所述指令可执行以通过从所述眼睛图像中形成灰度图像并规范化所述灰度图像的强度来规范化所述眼睛图像的照明。

4.如权利要求1所述的眼睛跟踪系统，其特征在于，所述指令可进一步执行以在拟合所述椭圆形之前对所述图像数据执行分割以遮蔽所述眼睛图像的非眼睛区域和非虹膜区域中的一个或多个。

5.如权利要求1所述的眼睛跟踪系统，其特征在于，所述指令可执行以通过为所述眼睛图像的每个像素确定所述像素的梯度向量并且对于每个投票图用所述梯度向量的幅度来更新所述投票图的对应的像素的值来拟合所述椭圆形。

6.如权利要求5所述的眼睛跟踪系统，其特征在于，所述指令可执行以通过基于所述投票图的每个像素的值确定所述虹膜的中心来拟合所述椭圆形。

7.在一个计算设备上，一种跟踪眼睛的方法，所述方法包括：

从图像传感器接收图像数据；

检测所述图像数据中的所述用户的脸部；

定位在所述图像数据中的所述脸部的区域中的眼睛以获得眼睛图像；

规范化所述眼睛图像的比例和照明中的一个或多个；

将椭圆形拟合于所述眼睛图像中的所述眼睛的虹膜；以及

基于所拟合的椭圆形输出眼睛注视方向的确定。

8.如权利要求7所述的方法，其特征在于，规范化所述眼睛图像的比例包括缩放所述眼睛图像来规范化在所述眼睛图像中的各特征之间的距离。

9.如权利要求7所述的方法，其特征在于，规范化所述眼睛图像的照明包括从所述眼睛图像中形成灰度图像并规范化所述灰度图像的强度。

10.如权利要求7所述的方法，其特征在于，还包括在拟合所述椭圆形之前对所述图像数据执行分割以遮蔽所述眼睛图像的非眼睛区域和非虹膜区域中的一个或多个。

11.如权利要求7所述的方法，其特征在于，将所述椭圆形拟合于所述虹膜包括将多个椭圆形假设应用于所述图像数据，并为每个椭圆形假设确定对应于所述眼睛图像的投票图。

12.如权利要求11所述的方法，其特征在于，拟合所述椭圆形包括为所述眼睛图像的每个像素确定所述像素的梯度向量，并且用所述梯度向量的幅度来更新所述投票图的对应的像素的值。

13.如权利要求12所述的方法，其特征在于，拟合所述椭圆形包括基于所述投票图的每个像素的值确定所述虹膜的中心。

14.如权利要求11所述的方法，其特征在于，所述多个椭圆形假设中的每个包括旋转角、半径以及长短轴比率中的一个或多个。