CN101816547B - 基于瞳孔对称性的自动直视检测方法和系统 - Google Patents

Abstract

本发明提供了一种用于基于瞳孔对称性进行直视检测的系统和方法。该系统和方法以如下方式工作：通过首先找到摄像机图像中的用户眼睛，并且测量瞳孔区域的对称性。如果该瞳孔区域接近于圆形，则本发明确定用户几乎直接或近似于直接地注视摄像机，或具有对该摄像机的直视。该技术处理双眼运动和头部运动(例如，注视可以在头部转动或者不转动时改变)。

Description

基于瞳孔对称性的自动直视检测方法和系统

技术领域

本发明提供基于瞳孔对称性的直视检测。

背景技术

存在用于检测人类用户何时正在直视设备的很多应用。一个此类应用是自助服务机。该自助服务机可以通常处于利用闪烁图形吸引注意力的模式中，直到某人实际注视该设备。在这点上，其可以发起定向促销活动，因为该促销活动得到了用户的注意。

自助服务机也可以由简单的接近性传感器或由采用诸如背景减除之类技术的机器视觉系统来激活。然而，这些方案仅确保有人在附近，但是不确保他正在注视着设备。

另一应用是操作者告警监视。可能需要机器的操作者以规则的间隔来查看各种任务相关区域或方向。例如，警觉的汽车司机需要通过风挡向前看并且不时查看后视镜。如果没有这样做或者仅查看一个点，则该司机可能已经变得昏昏欲睡。可以通过在每个特定的点(即，风挡的基部以及后视镜中)处放置注视检测器来确定适当的注视交替。

还存在多个司机告警系统。它们中的大部分是基于眨眼频率或眼皮闭合速率的。同样，它们无法确保司机正在注意其环境的重要方面(例如，他可能正面对行人)。

在市场上有很多眼睛跟踪设备。然而，它们中的大部分必须由用户佩戴。其他设备是笨重的或针对用户头部而言具有有限的可接受位置范围。

发明内容

本发明提供基于瞳孔对称性的直视检测。该系统通过首先在摄像机图像中找到用户的眼睛，并且测量瞳孔区域的对称性来工作。瞳孔和瞳孔区域可以互换地使用。如果该瞳孔区域接近于圆形，则系统确定用户正几乎直接或近似于直接地注视摄像机，或向该摄像机直视。该技术处理双眼运动和头部运动(例如，注视可以在头部转动或不转动时改变)。

本发明的一个实施方式公开了一种用于基于瞳孔对称性进行直视检测的方法，包括：在来自于摄像机的摄像机图像中找到用户的一个或两个用户眼睛的瞳孔区域；测量瞳孔区域的对称性；确定该瞳孔区域是否接近于圆形；以及如果该瞳孔区域接近于圆形，则确定该用户正注视着该摄像机。

本发明的另一实施方式是一种用于基于瞳孔对称性进行直视检测的系统，该系统包括：摄像机，用于找到用户眼睛和瞳孔区域，该摄像机具有光轴；第一组红外发光二极管(LED)，用于发出红外光到用户眼睛中，从而该摄像机可以获取用户瞳孔区域的第一图像；第二组红外发光二极管，用于发出红外光到用户眼睛中，从而该摄像机可以获取用户瞳孔区域的第二图像；以及处理单元，用于计算第一获取图像和第二获取图像的逐个像素的差而标识可能的回射器。

在又一实施方式中，一种用于在系统中操作的计算机程序产品包含在计算机可读介质中，该系统包括处理单元、存储器、总线以及输入/输出(I/O)接口，该计算机程序产品用于实现一种用于检测用户对摄像机的直视的方法，该方法包括：在来自于摄像机的摄像机图像中找到用户的一个或两个用户眼睛的瞳孔区域；测量至少瞳孔区域的对称性；确定该至少一个瞳孔区域是否接近于圆形；以及如果该至少一个瞳孔区域接近于圆形，则确定该用户正注视着该摄像机。

另一个实施方式描述了一种用于将包括集成计算机可读代码的计算基础设施部署到计算系统中的方法，其中与该计算系统组合的该代码能够执行用于检测用户对摄像机的直视的处理，该处理包括：在来自于摄像机的摄像机图像中找到用户的一个或两个用户眼睛瞳的孔区域；测量至少瞳孔区域的对称性；确定至少一个瞳孔区域是否接近于圆形；以及如果该至少一个瞳孔区域接近于圆形，则确定该用户正在注视该摄像机。

附图说明

从结合附图在下面详细描述的本发明的各个方面中，将更容易理解本发明的这些和其他特征，在附图中：

图1示出了适于实现本发明实施方式的数据处理系统。

图2示出了用于实现本发明实施方式的网络。

图3示出了本发明可以检测的面部表情的各种绘图。

图4示出了具有透镜、两组LED和光轴的本发明的实施方式。

图5示出了用于扫描用户眼睛和瞳孔区域以及用于确定用户是否正在注视摄像机的方法的一个实施方式。

附图不必按比例绘制。这些附图仅是示意性图示，而不旨在绘出本发明的具体参数。这些附图旨在仅绘出本发明的典型实施方式，并且因此不应认为是对本发明范围的限制。

具体实施方式

本发明包括一种用于基于瞳孔对称性来进行直视检测的系统和方法。瞳孔是中央透明区域0020(其通常示出为黑色并且形状为圆形)。环绕瞳孔的区域是虹膜。白色的外部区域是巩膜，其中央透明部分是角膜。该系统首先在摄像机图像中找到用户的眼睛，然后测量瞳孔区域的对称性或形状。如果该区域是圆形或接近于圆形，则用户对摄像机的直视，或正在几乎直接地注视摄像机。如果该区域不是接近于圆形或更接近于椭圆，则用户对摄像机的直视，或正在几乎直接地注视着摄像机。该技术处理双眼运动和头部运动(例如，注视可以随着在头部转动或者不转动而改变)。

虽然如果在眼睛区域提供足够的分辨率，则可能估计实际的注视方向(角度数)，但是通常这是不现实的。对于低分辨率影像(例如，用户远离摄像机)，对称性的检测比可靠注视角度推断更容易实现。而且，对称性检测对于以下现象也更鲁棒，诸如高亮度条件下(其使得瞳孔更小)虹膜的闭合。

此类系统具有多个优势。首先，其可以采用常规的摄像机在合理的范围(几英尺)处提供足够的分辨率(例如，10像素的瞳孔)，并且还允许用户的某些运动。(在数字成像中，像素(图片元素)是图像中的最小信息片)。其还是不引人注目的、非接触式传感器，该传感器可以与非合作用户(例如，自助服务机的一般路过者)一起使用。最后，所需的对图像的计算机处理相当简单，并且可以利用低成本处理器实现。该系统与诸如通过使用立体深度视觉来测量鼻子位置从而找到头部角度的技术形成对比，该找到头部角度的技术需要第二摄像机和更多的计算。

诸如系统100的系统可以具有数据处理系统，诸如图1所示的数据处理系统102，该系统102适于存储和/或执行本发明的程序代码，并且系统100可以包括计算机系统，诸如计算机系统104，其具有至少一个通过系统总线(诸如系统总线102)直接或间接耦合至存储器元件(存储器110)的处理单元(处理单元106)。存储器110可以包括在程序代码实际执行期间所用的本地存储器(RAM 130)、大容量存储设备(存储设备118)和高速缓存存储器(高速缓存132)，该高速缓存存储器为于在执行期间减少必须从存储设备118获取代码的次数而提供至少某些程序代码的临时存储。包括但不限于键盘、指示设备等的输入/输出或I/O设备(诸如显示器120和其他外部设备(外部设备116))可以通过中介I/O控制器(一个或多个I/O接口114)直接或间接地耦合至计算机系统104。一个或多个I/O接口114可以进一步耦合用于找到用户眼睛的摄像机140。一个或多个网络适配器(网络适配器138)可以提供对外部网络的访问。

图2示出了诸如系统200的联网系统，其使得数据处理系统(数据处理单元202)能够通过一个或多个网络连接(网络连接206、208、216、218)耦合至其他数据处理系统(数据处理单元214)，通过一个或多个中介私有和/或公共网络(网络210)耦合至远程打印机(打印机212)和/或存储设备(存储设备214)。

通常，系统首先需要在摄像机140捕捉的视频图像中找到瞳孔。实现该目的的快速、简单以及可靠的方式是使用“红眼”效应。如图4所示，打开位于摄像机140的光轴406附近的一组近红外发光二极管(内环LED 408)，并且获取环境的图像。这在图5中的方法500中示出，该方法500开始于502并且继续到504，在504中，接收瞳孔的数字图像、在存储器单元414中存储该图像并且由处理单元412进行处理。这是通过闪烁瞳孔处的内环LED 408实现的。近红外光通过瞳孔从眼睛反射回来并且由摄像机140获取。在506，另一图像继而通过在瞳孔处闪烁从摄像机140的光轴406进一步移位的一组类似的LED(外环LED 410)来获取。(在光学中，术语光轴用于定义这样一种方向，即沿着该方向存在某种程度的旋转对称性。在光学系统中，光轴是影像线，其定义了光传播通过系统的路径)。这在系统400中如图4所示。对于由简单透镜(透镜402、透镜404)和镜构成的系统来说，光轴406通过每个表面的曲率中心，并且与旋转对称轴重合。在离轴光学系统中，光轴经常但不总是与系统的机械轴重合。

然后，在图5的508处，计算两个图像逐个像素的差，以标识可能的回射器。(回射器(有时称为回返射器)是一种以最小光散射将光反射回到其源的设备或表面)。接下来，在512，系统标识检测区域对，该检测区域对是大约相同的形状和大小，并且通常以指示为一双眼睛的方式水平地并排移位。这在图3中示出为多个面部表情和脸部方向300。例如，斜视302具有这样的检测区域对，它们是大约相同形状和大小，并且以指示为向上以及向左注视的一双眼睛314的方式水平移位。类似地，由于脸的方向正处于沿向上的方向，而使得脸向上304具有指向上方的一双眼睛316。脸斜向306具有示出以一定角度倾斜的脸的一双眼睛318。向右注视的脸308具有指向左侧的一双眼睛320。直视的脸310具有直接指向摄像机的眼睛322。由于脸朝向左侧，脸向左312具有指向左侧的眼睛324。

在图5中的514处，针对对称性检验一个或两个瞳孔区域。这可以通过在516处对亮点设置阈值，以及在518处基于二值化区域的矩(moment)计算等面积椭圆的方向和轴的测量来完成。然后，将区域的纵横比定义为椭圆宽度除以其高度。在520，椭圆宽度除以其高度。接近于一的比(例如，+/-10％)表示是圆，并且因此用于标示环境中的特定个体的直视，并且在522，计算纵横比。例如，如果直视的脸310具有几乎或近似于圆形瞳孔区域322，则系统确定用户正在直视摄像机。相比之下，其他脸具有指示用户没有注视摄像机的更为椭圆的瞳孔区域。

这些步骤中的很多步骤可以通过备选方式实现。可以通过匹配于范例眼睛的模板、或通过在视频流中寻找由眨眼运动引入的时间差，来找到眼睛。一旦定位了眼睛区域，则可以通过适当地设置阈值找到区域中的最暗点来找到瞳孔。然后，可以利用椭圆方法或通过其他方式如上测量对称性。备选方案是将眼睛区域的中央部分与针对不同眼睛注视角度(例如，[-1 1 1]为左、[1 1-1]为右以及[1-1 1]为中央)调谐的匹配过滤器进行卷积，并且比较它们的响应。又一方法是，使用已经利用直视示例和非直视示例训练过的神经网络，来处理眼睛中央附近的一小块像素强度。这对于极低分辨率的影像可能特别有用，在此类影像中，用户瞳孔的大小几乎相当于一个像素。最终，对直视的标示不必基于逐帧的基础完成，而是可以代之以随时间积分。当最后20个图像全部具有对称性瞳孔时或当最后一秒的80％的视频帧具有对称性瞳孔时，可以标示直视。

应该理解，本发明通常是经由硬件和/或软件的计算机实现的。同样，客户端系统和/或服务器将包括本领域公知的计算机化的组件。此类组件通常包括(除其他之外)处理单元、存储器、总线、输入/输出(I/O)接口、外部设备等。

虽然在这里示出了用于基于瞳孔对称性进行直视检测的系统和方法，但是应该理解，本发明还提供各种备选实施方式。例如，在一个实施方式中，本发明提供计算机可读/可用介质，其包括用于支持基于瞳孔对称性进行直视检测的计算机基础设施的计算机程序代码。那么，计算机可读/可用介质包括实现本发明各种处理步骤中每个的程序代码。应该理解，术语计算机可读介质或计算机可用介质包括一个或多个任何类型的程序代码的物理实施方式。特别地，计算机可读/可用介质可以包括程序代码，该程序代码包含在一个或多个便携式存储制品上(例如，压缩盘、磁盘、带等)、计算设备的一个或多个数据存储部分上，诸如存储器和/或存储系统(例如，固定盘、只读存储器、随机访问存储器、高速缓存存储器等)和/或诸如通过网络传输的数据信号(例如，传播的信号)(例如，在程序代码的有线/无线电子分发期间)。

在另一实施方式中，本发明提供了一种用于基于瞳孔对称性进行直视检测的计算机实现的方法。在该情况下，可以提供计算机化的基础设施，并且可以获得(例如，创建、购买、使用、修改等)一个或多个用于执行本发明处理步骤的系统，并将该系统部署到计算机化基础设施中。那么，系统的部署可以包括以下的一个或多个(1)从计算机可读介质在诸如计算机系统的计算设备上安装程序代码；(2)将一个或多个计算设备添加到计算机基础设施；以及(3)集成和/或修改一个或多个现有的计算机基础设施的系统，以使计算机化基础设施能够执行本发明的处理步骤。

如本文所用，应该理解，术语“程序代码”和“计算机程序代码”是同义的，并且意味着指令集的任何表达(以任何语言、代码或标记)，该指令集旨在使得具有信息处理能力的计算设备能够直接执行特定功能，或在以下之一或两者之后执行特定功能：(a)转换到另一种语言、代码或标记；和/或(b)以不同的材料形式重现。那么，程序代码可以实现为以下的一个或多个：应用/软件程序、组件软件/功能库、操作系统、用于特定计算和/或I/O设备的基本I/O系统/驱动器等。

已经出于示出和描述的目的呈现了本发明的各个方面的前述描述。其不旨在穷举或限制本发明为所公开的精确形式，并且显然，可以进行很多修改和变形。对本领域的技术人员明显的此类修改和变形旨在被包括在如由所附权利要求书所限定的本发明的范围内。

Claims (13)

1.一种用于基于瞳孔对称性进行直视检测的方法，包括：

在来自于摄像机的摄像机图像中找到用户的一个或两个用户眼睛的瞳孔区域；

测量至少一个瞳孔区域的对称性；

确定所述至少一个瞳孔区域是否为圆形；以及

如果所述至少一个瞳孔区域为圆形，则确定所述用户正在注视所述摄像机。

2.根据权利要求1所述的方法，进一步包括：使用所述摄像机在离开所述用户眼睛定位的所述摄像机图像中找到所述用户的至少一个瞳孔区域。

3.根据权利要求2所述的方法，进一步包括：将所述摄像机定位在距离所述用户的眼睛几英尺远。

4.根据权利要求1所述的方法，进一步包括：使用红眼效应找到所述图像中的所述用户的至少一个瞳孔区域。

5.根据权利要求4所述的方法，其中所述摄像机具有光轴，所述方法进一步包括：从所述摄像机的所述光轴附近的第一组红外发光二极管发出红外光，并且获取所述用户的至少一个瞳孔区域的第一图像。

6.根据权利要求5所述的方法，进一步包括：通过从第二组发光二极管发出第二红外光来获取所述用户的至少一个瞳孔区域的第二图像，所述第二组发光二极管与所述第一组红外发光二极管相比从所述摄像机的所述光轴进一步移位。

7.根据权利要求6所述的方法，进一步包括：计算所述第一图像和所述第二图像的逐个像素差来用于标识回射器。

8.根据权利要求7所述的方法，其中所述在来自于摄像机的摄像机图像中找到用户的一个或两个用户眼睛的瞳孔区域为在来自于摄像机的摄像机图像中找到用户的两个用户眼睛的瞳孔区域，并且所述方法进一步包括：标识检测的瞳孔区域对，所述检测的瞳孔区域对是大约相同的形状和大小，并且以指示一双眼睛的方式水平移位。

9.根据权利要求8所述的方法，进一步包括：通过对亮点设置阈值并且基于二值化区域的矩计算等面积椭圆的方向和轴，来检验至少一个瞳孔区域的对称性。

10.根据权利要求1所述的方法，进一步包括：通过匹配于范例眼睛的模板来找到至少一个瞳孔区域。

11.根据权利要求1所述的方法，进一步包括：通过查找视频流中由眨眼运动引入的时间差来找到至少一个瞳孔区域。

12.一种用于基于瞳孔对称性进行直视检测的系统，所述系统包括：

摄像机，用于找到用户眼睛和瞳孔区域，所述摄像机具有光轴；

第一组红外发光二极管，用于发出红外光到所述用户眼睛中，从而所述摄像机可以获取所述用户的至少一个瞳孔区域的第一图像；

第二组红外发光二极管，用于发出红外光到所述用户眼睛中，从而所述摄像机可以获取所述用户的至少一个瞳孔区域的第二图像；以及

处理单元，用于计算所述第一图像和所述第二图像逐个像素的差来用于标识回射器。

13.根据权利要求12所述的系统，进一步包括：用于存储范例眼睛模板的存储器单元，其中所述处理单元进一步通过将获取的所述第一和第二图像与所述范例眼睛模板进行比较来找到至少一个瞳孔区域。

Images