CN102802502B

CN102802502B - 用于跟踪观察者的注视点的系统和方法

Info

Publication number: CN102802502B
Application number: CN201180015519.1A
Authority: CN
Inventors: F.J.德布鲁恩; K.C.范布里; T.格里蒂; H.A.W.施梅茨
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2010-03-22
Filing date: 2011-03-15
Publication date: 2016-03-30
Anticipated expiration: 2031-03-15
Also published as: BR112012023787A2; EP2549914A1; BR112012023787B1; JP2013528406A; US20130002846A1; WO2011117776A1; EP2549914B1; CN102802502A; RU2565482C2; JP5816257B2; US9237844B2; RU2012144651A

Abstract

一种用于跟踪观察对象的观察者的注视点的系统包括用于记录观察者的眼睛的图像的相机，包括用于提供发光标记的装置和用于分析眼睛的图像以确定标记在眼睛上的反射和瞳孔中心的装置。标记的角膜反射和瞳孔中心的相对位置被测量。依据所确定的相对位置，重定位标记，以改进标记的角膜反射与瞳孔中心之间的相符性。

Description

用于跟踪观察者的注视点的系统和方法

技术领域

本发明涉及用于跟踪观察对象的观察者的注视点的系统，其中该系统包括用于记录观察者的眼睛的图像的设备，包括用于在被观察的对象上提供发光标记或提供与被观察的对象相关联的发光标记的装置和用于从图像确定标记的角膜反射位置和瞳孔的中心位置的装置。

本发明进一步涉及用于跟踪观察对象的观察者的注视点的方法，其中该方法包括记录观察者的眼睛的图像，在被观察的对象上提供发光标记或提供与被观察的对象相关联的发光标记，以及从图像确定标记的角膜反射位置和瞳孔的中心位置。

背景技术

从美国专利申请US2006/0110008获悉一种上述类型的系统和方法。

在该文献中，提供了多个标记，并且其中至少一个标记（其角膜反射在瞳孔中心的阈值距离内）被识别或者至少两个标记具有靠近瞳孔中心的角膜反射。所识别的一个或多个标记指示观察者在对象处的注视点。

对观看方向或称为注视的连续测量通常被称为“注视-跟踪”（经常使用更含糊不清的术语“眼睛-跟踪”）。存在各种方法来执行注视跟踪。视频捕获已表明是一种用于远程的且真正不引人注目的注视跟踪的可行选择。然而，实际上，所有注视跟踪系统需要用户特定的校准，在此之后，仅允许用户较小的头部移动。因此，这些系统被限制于桌面（desktop）使用并且不适合消费者应用。在消费者应用中，用户特定的校准不是现实的选择。免校准的注视跟踪广泛地受到若干研究中心的追求，经常通过基于现有概念推断（更多相机，更多处理），观察者可以是人（无论是成年人还是儿童），而且可以是动物。

US2006/0110008试图补救该问题并提供一种免校准系统和方法。在眼睛正在注视光源的情形下，该光源在角膜中的反射看似与瞳孔中心一致。2006/0110008的系统和方法在对象上提供了多个标记。在所记录的眼睛图像中，具有在瞳孔中心的阈值距离内的角膜反射的标记或具有靠近瞳孔中心的角膜反射的多个标记被识别。这些用于估计注视的方向。

然而，已知的系统具有多个缺点：

-这些标记中的每一个必须被标注。该条件需要在可以对标记进行识别之前分析多个视频帧。这在注视跟踪过程中引入了延迟（latency）。给定眼睛的运动性，时间延迟（latency）快速地引起运动伪影。

-在使用一个标记的地方，在所建立的注视方向的精度中总是存在等价于阈值距离的误差（inaccuracy）。

-在使用超过一个标记的地方，需要插值。这需要计算能力并引入了误差。

发明内容

本发明的目的是提供一种改进注视跟踪的速度和/或精度的系统和方法。

为此，该系统是这样一种系统：其包括用于确定标记的角膜反射与瞳孔中心之间的位置差异以提供差异信号的装置、和用于依据差异信号改变被观察的对象上的或与之相关联的标记的位置以使标记的角膜反射与瞳孔中心基本一致以用于将标记的位置更新成与注视点基本一致的装置。

该方法是一种这样的方法：其中确定标记的角膜反射与瞳孔中心之间的差异以提供差异信号，并且依据差异信号改变被观察的对象上的或与之相关联的标记的位置以使标记的角膜反射与瞳孔中心基本一致，以用于将标记的位置更新成与注视点基本一致。

在本发明的系统和方法中，减少了时间延迟（latency），因为标记不是静态标记，而是基于对标记的角膜反射与瞳孔中心的相对位置的测量的反馈而被重定位。该标记被重定位（即标记在被观察的对象上的位置或与被观察对象相关联的位置被改变）以改进标记的角膜反射与瞳孔中心之间的相符性（correspondence），优选地以使标记的角膜反射与瞳孔中心一致或几乎一致。当角膜反射与瞳孔中心一致时，可以精确地确定注视的方向，因为标记在被观察的对象上的位置或与被观察对象相关联的位置然后以高精确度指示注视的方向。

观察者可以是人类并且在许多情况下将会是人类，但是在根据本发明的方法和系统中，观察者也可以是非人类观察者，例如在动物研究中的动物，以便例如研究诸如狗或灵长类之类的动物的注视。

该系统和方法相对于先前的方法提供了多个优点：

●与许多当前解决方案对照，该系统和方法不需要用户-相关的校准。

●该系统和方法基于眼睛的光学属性，其很大程度上独立于头部位置和取向并且在不同个体之中几乎不变。

●该系统和方法允许头部移动的自由度远超现有注视跟踪系统的自由度。这是在使得注视跟踪能够用于消费者应用中的必要步骤。

●相对于US2006/0110008的系统和方法，不需要利用唯一标识符对单独的标记或标记组进行标注（label）。该已知的系统使用时间光调制来编码引入与代码长度成比例的（以帧数来表达的）时间延迟（latency）不同的标识符。本发明的系统和方法响应得快得多，并且反馈系统已经显示出收敛更快，经常在单个帧延迟内。与US2006/0110008的系统和方法相比，标记的角膜反射与瞳孔中心之间的相符性可得到更多改进，从而减少了误差。通过让标记的反射与瞳孔中心一致，由于US2006/0110008中的阈值引起的任何误差被减少或最小化。

根据本发明的系统和方法使用用于响应于记录的图像中所确定的角膜反射与瞳孔中心的位置差异而改变标记的位置的装置。尽管标记的自适应重定位提供了比使用固定标记的已知系统和方法稍微更复杂的方法和系统，但所述优点是显著的。

在实施例中，该系统包括显示设备，并且标记的位置与显示设备有关。

存在若干种方式将标记的位置关联到显示设备（例如，TV或监视器）。一种方式是在显示设备的显示屏上、在位于显示屏前面的透明屏幕上使标记闪光（shine），或者在优选地实施例中，用于提供标记的装置和显示设备被集成到单个设备。

在实施例中，该显示设备本身包括用于在显示设备的显示屏上的图像中提供标记的装置。

这可以例如通过在所显示的可见图像中隐藏标记来完成。隐藏（意指标记对观察者而言无法辨别）可以通过向标记提供时间或空间或组合的时间和空间特征和/或谱特征（signature）以使得被调谐到所述特征的相机能够检测标记（而观察者不能检测）来进行。

可以通过使用在人类范围之外的光谱的一部分中的标记来提供不引人注目的标记。该标记于是对人眼而言是不可见的。红外（IR）标记和紫外（UV）标记是这样的标记的示例。

甚至可以使得可见范围中的标记对观察者而言在它不能被观察者看到的情况下是不可检测的。例如，标记可以通过形成图像序列来提供，其中标记对于人类或动物眼睛而言被隐藏，但是对针对标记调谐的相机而言是可辨别的。在这种实施例中，标记具有时间特征。

在实施例中，该标记对人眼而言是可检测的。

在实施例中，可能有利的是，向人类观察者或第三人提供在注视方向上的直接的可见信息。

然而，在许多实例中，优选的是标记对观察者而言是不引入注目的，以避免振荡行为。如果标记被注意到，则观察者的眼睛可能尝试跟踪标记，这是难以避免的，因为观察者的注视可能被标记吸引。由于移动标记经由系统反馈而跟踪眼睛移动，并且眼睛可能在观察者不知道的情况下尝试跟随标记，则振荡行为可跟着发生。然而，如果需要，这种振荡行为可以通过在所测量的注视点（POG）与可见地显示的POG（典型地为鼠标光标）之间引入间接耦合来抑制。这种间接耦合可以通过在控制工程领域中已知的各种方法来实现。线性解决方案的一个示例是在控制循环中使用比例积分微分（PID）元件。非线性解决方案的一个示例是使用死区，以在测量的和显示的POG之间产生滞后（hysteresis）。

显示设备和用于提供标记的装置可以如上所述地被集成到单个设备中。将显示设备和用于提供标记的装置集成到单个设备中具有以下优点：可见信息与标记之间的匹配被精确地知道。

一个优选的示例是包括液晶显示器（LCD）的系统，该LCD具有IR背光和可见光背光。该LCD设备因此能够在显示屏上提供可见图像以及不可见IR标记。另一个示例是包括多基色显示设备的系统。这样的设备还能够在显示屏上所显示的图像中提供标记。

在实施例中，显示设备是图像投影设备。

可替代地，显示设备和用于提供标记的装置可以是分离的。用于提供标记的装置例如可以由位于显示设备的图像屏幕前面的透明防护物形成。在该防护物内，标记被生成，或者在该防护物上，借助投影仪来投影标记。在优选实施例中，其中透明防护物被用在显示屏的前面，透明防护物设有用于确定该防护物相对于显示设备的显示屏的定位的装置。

该标记还可以被直接投影到显示屏上。使用分离的设备具有以下优点：标准的显示设备可以用在该系统内，而无需许多进一步的调整。

在其他实施例中，该系统包括用于提供标记并建立标记的位置以及将该标记重定位在场景上或在场景前面的透明板中或板上的装置。在这样的实施例中，该系统不包括显示设备。这样的系统例如对监控驾驶汽车或卡车的人的集中注意力是有用的。例如，在优选实施例中，该透明板是车辆的挡风玻璃，并且在挡风玻璃内侧上生成不可见IR标记，从而保持向外朝向前方公路的无阻挡的视界。驾驶员的注视被跟踪，并且如果该跟踪示出驾驶员处于入睡或注意力放松的危险中，给出警报信号以警告驾驶员。

将标记投影在场景上可以例如有利地用于跟踪观察者透过橱窗到达所展示的物品上的注视。

在实施例中，该系统包括用于提供超过一个标记的装置和用于识别标记并将标记耦合到观察者的一个或多个眼睛的装置。该系统的该实施例的优点是，延迟（latency）仅随着同时被跟踪的观察者的数量增加而增加。

附图说明

这些和其他目的和有利的各方面根据将使用以下附图描述的示例性实施例而将变得清楚明白。

图1图示了镜面光反射效应。

图2图示了在移动眼睛时固定光源的固定反射。

图3图示了基本的注视跟踪配置。

图4图示了当前的注视跟踪系统的典型视频帧。

图5图示了当观察者正观看标记时标记的反射与瞳孔中心的一致性。

图6图示了US2006/011008的方法与本发明的方法之间的差异。

图7图示了本发明的系统。

图8图示了在反馈的基础上标记移动的基本原理。

图9图示了用于发现瞳孔中心的方法。

图10图示了根据本发明的系统的示例。

图11图示了作为波长的函数的、在可见光区域101和近IR区域102中常用的LC材料的相对透射T功率（power）。

图12图示了基于置于显示器前面并由外围分割IR光照照射的光导漫射板的使用的另一个实施例。

图13图示了包括楔形（Wedge）显示器的系统。

图14显示了在示例中交叉图案的标记如何作为眼睛中的反射而是可见的。

图15图示了作为标记的伪随机IR-光图案。

图16图示了使用两个分别获取的IR目标以及它们在角膜上的出现，作为用于估计两个比例常数的手段，其充当真实关系的一阶（线性）近似。

图17图示了多个观察者的方法和系统。

图18图示了投影仪将IR目标投影在场景中的实施例。

图19示意性图示了在显示器192前面的透明OLED板191的使用。

这些图未按比例绘制。一般地，在这些图中，相同组件由相同的参考数字表示。

具体实施方式

图1图示了镜面光反射效应。眼睑1包围眼球2。虹膜4包括瞳孔3。光源的角膜反射由5示意性指示。

图2图示了角膜反射或“闪光（glint）”正由固定光源引起，它有随着眼球旋转从而改变注视方向而大致保持固定位置的趋势。固定光源的反射趋于在眼球旋转以改变注视方向时保持固定位置。“×”-标志指示随着人改变注视方向而移动的瞳孔中心。

该相对稳定的“旋转不变”闪光位置构成了几乎所有使用视频和例如IR光源的商用注视跟踪系统的基础。图3中的图示出如何可以通过构造相关联的光线来找到该闪光的投影和瞳孔中心。cam指示相机，l指示光源，c指示角膜中心，p指示瞳孔中心，r指示瞳孔中心的折射，q指示光源的反射，F指示相机的焦距，v指示相机中瞳孔中心的图像，u指示相机CAM中光源1的角膜反射的图像。

这里由光轴o表示的所估计的注视方向基于针对一个或多个闪光位置而对所捕获的瞳孔中心的评估。由于瞳孔基本上是均匀的圆盘，因此需要进行一些图像处理以从瞳孔盘的一般椭圆投影中恢复（recover）瞳孔中心。注意到，在眼睛的含水区域与空气之间的界面处发生折射。在图4中，示出了利用普通相机观察的眼睛的视频帧。瞳孔P上的四个闪光A、B、C和D是四个IRLEDA’、B’、C’和D’在显示器的角落上的反射。监视器M上所估计的注视方向g在图4中被指示。

利用该方法可以恢复注视方向g的精度相对较高。然而，该方法具有的主要缺点如下：

●需要校准以相对于每个闪光位置将瞳孔中心的位置平移到注视方向中或显示屏上的注视点中。

●由于注视点与该相对瞳孔位置之间的关联采用固定光源，因此跟踪器变得对头部位置的变化非常敏感。

●对于每个新的个体，需要校准以处理生理上的小差异（角膜表面曲率，瞳孔沿着光轴的放置）。

瞳孔中心的投影与光反射之间的关联保持有非凡的属性。在眼睛正注视光源的情形中，其在角膜中的反射显现为与瞳孔中心一致。该情形在图5中概述。注意到，闪光与瞳孔中心的该文字上的“一致性”不是微不足道的情形。眼睛的折射率的值和瞳孔在角膜表面后面放置碰巧导致该幸运的光学现象。

在某种程度上，这被用在US2006/0110008的系统和方法中。该已知系统使用相对大量的标记来发现处在瞳孔中心的阈值距离内的标记。

然而，该已知系统和方法具有多个缺陷：

该已知系统使用时间光调制来编码不同的标识符，引入与代码长度成比例的延迟（latency）（以帧的数量来表达）。

所述精度由阈值距离来确定。要么人们为了高精度必须使阈值距离小，这需要大量的标记并且因此需要大时间延迟，要么人们接受相对较大的阈值距离以减少时间延迟，但是确定注视方向的精度受到损害。

图6图示了US2006/0110008的系统和方法与本发明的系统和方法之间的差异，其中左手方案图示了已知的系统和方法，而右手方案图示了根据本发明的系统和方法。

在已知的系统和方法中，所述标记构成覆盖注视区域的固定图案。在图6的左手侧上示意性图示的已知系统中，时间调制被用于通过使用时间调制（例如通过使用时间二进制编码）标注每个单独的IR－标记或标记组。这意味着，为了二进制编码n个不同的IR－标记或标记组，至少为m＝log2（n）位的代码长度是必需的。因此，m个视频帧是识别所有编码的IR－标记或标记组所必需的。

存在若干缺点：

●通过例如16×16唯一标注的IR－标记跟踪注视需要对256个不同的编码标注进行识别，使得对相对粗糙的注视估计而言已需要8帧的延迟。注视估计得越精细，标记必定使用得越多，并且时间延迟变得越大。

●给定眼睛的运动性，时间延迟快速产生运动伪影。

●在用于眼睛引导的光标控制的应用中，注视跟踪器的响应应当是即时的，具有最小延迟。

在图6的右手侧上示意性示出的本发明的系统和方法与已知的系统和方法不同之处在于（多个）光源的位置不是固定的，而是可动态调整的。为了建立“闪光－瞳孔一致性”，使用可移动标记，使得通过控制机构使动态可移动标记的反射保持在瞳孔的中心。瞳孔中心和标记反射的相对位置被检测。根据瞳孔中心和标记的角膜反射的相对位置，计算标记的新位置。计算该新位置以使标记的角膜反射与瞳孔中心一致。这在图6中由重定位信号S示意性指示。使用该重定位信号S，来重定位标记。应当注意，“重定位信号”可以是可以通过其可重定位标记的任何形式的任何数据。重定位的结果是，注视方向总是沿着直线或至少非常靠近标记的瞬时位置。因为标记的位置被连续地移动以使得其反射与瞳孔中心一致，所以标记的物理位置被更新以与注视点一致。当反馈回路被适当关闭时，该系统连续提供注视点的坐标，其与标记的坐标相同或者至少非常接近标记的坐标。

图7图示了根据该方法的系统。该系统包括相机71（更一般地：用于获得图像的装置）。处于操作中的相机记录观察者的眼睛72的图像。该系统包括用于在观察者的视野中提供可移动发光标记74的装置73。该光源起标记的作用。观察者的视野内标记的位置可以被动态适应性调节。为此，该系统包括用于适应性调节（75）标记位置的装置。在本发明的概念内，光源是产生可被眼睛反射的光线的任何装置。该图像数据在图像分析器（76）中被分析。图像分析器建立光源的角膜反射（u）与瞳孔中心（v）的差u－v，即关于瞳孔中心和标记的角膜反射的相对位置的数据。分析器直接计算用于重定位标记的数据，或者分析器提供用于标记的反射和瞳孔中心的相对位置的数据并且另一个分析器基于关于相对位置的数据提供用于重定位标记的数据。该数据（或从该数据导出的数据）可以是重定位信号的形式，即该系统的链进一步向下用于重定位标记的信号。该信号被发送到用于适应性调节标记（74）的位置以减小角膜反射与瞳孔中心之间的距离的装置（75）。该分析装置和用于适应性调节的装置可以被组合在控制单元C中。标记74所做的移位Δ（即重定位）是所记录的图像中差u－v的函数。再次分析在标记的重定位之后产生的图像，并且如果需要，重复适应性调节标记的位置的过程，直到标记的角膜反射在合理的精度内与瞳孔中心一致。在该示例中，示出单个标记74；在本发明的概念内，超过一个可移动的标记可以用于同时跟踪若干观察者的注视。角膜反射是在观察者的晶状体（lens）的外表面上的反射。在观察者佩戴隐形眼镜的情况下，隐形眼镜的外表面被认为形成观察者的晶状体的外表面。

本发明基于以下认识：有利的是，通过反馈控制系统建立标记的位置与注视点之间的连接。控制系统调整标记位置，直到其在角膜中的反射与瞳孔中心一致或几乎一致。角膜反射的位置和瞳孔中心之间的差构成用于重定位标记的反馈信号的基础或成为其基础。

已经发现，根据本发明的系统的时间延迟比已知系统的时间延迟小得多。而且，它更精确，因为不存在固定的阈值。取代固定的标记位置，依据从标记的角膜反射与瞳孔中心的相对位置的测量导出的反馈信号来调整标记的位置。

在本发明的系统和方法中，延迟得到减少，因为标记被允许移动以与瞳孔中心一致。基于反馈的标记移动的基本原理在图8中被图示。该图示出在事件序列期间的眼睛和IR“显示器”。注意到，该显示图案相对于反射图案而被镜像。瞳孔中心由“×”给出，标记的角膜反射由“+”给出。

部分A图示了初始位置处的IR－标记；瞳孔也开始于初始位置。

在部分B中，IR－标记被移动，直到其角膜反射与瞳孔中心一致（从点线“+”到实线“+”）。

在部分C，观察者改变注视方向，并且瞳孔采用新位置（从点线“×”到实线“×”）。

在部分D中，IR－标记再次被移动以保持其角膜反射与瞳孔中心匹配，再次直接指示注视方向。

本发明可以在多种多样的实施例中使用。下面，给出一些非限制性示例。

在许多示例中，为了简化起见，标记将被描述为红外（IR）标记。尽管IR标记的使用构成优选实施例，但是被明确陈述的是，其它类型的发光标记（比如UV标记或可见光区域中的标记）可以被使用。

该系统具有控制系统，该控制系统包含：

●位置比较操作（在图7中被示出为分析装置），其将标记（例如IR标记）的角膜光反射的位置与瞳孔中心的明显位置进行比较；

●位置计算操作，其计算IR标记的新位置或当前位置与理想位置之间的差，其目的在于新的或经调整的位置使得IR标记反射和明显的瞳孔中心位置一致，然后；

根据新计算的位置适应性调节标记的位置；

用于适应性调节位置的数据也被称为“重定位信号”。

应当注意，在该方法和系统内，使用反馈回路，因此初始较不理想的位置计算将具有如下效应：在重定位之后，标记的反射将更靠近瞳孔中心，但是不是以最有效的方式靠近。于是，将采取下面的计算步骤以改进一致性。在优选实施例中，位置计算操作的参数是可被调整的以便微调计算，从而改进精度，使得尽可能少的迭代步骤是必需的。这将改进计算速度，并且由此减少反馈回路的延迟。可以一步一步地或在单个操作中执行计算。

图9图示了用于发现瞳孔中心的方法。可以通过使用靠近相机的光源（尽可能靠近相机光轴放置）来辅助瞳孔的分割（segmentation）。尽管该解决方案不是新的并且广泛地在常规注视跟踪中应用，但是它还可以用在新提出的系统中。

当该“共轴照明”是活动的时，创建IR“红眼”效应，其使得视网膜在瞳孔中点亮，如图9所示。瞳孔盘是根据两个图像之间的差异得出的，一个有共轴照明且一个没有共轴照明。图9示意性示出所捕获的眼睛图像，其具有单个线视图的强度轮廓，该视图具有a）由非共轴源的照明；b）由共轴源的照明；c）差异图像，b减去a。对瞳孔中心的估计可以通过多种多样的算法来执行，其中最廉价的是计算瞳孔盘的投影的质心。

本发明可以在各种系统中以各种方式体现。

该系统可以包括显示设备和用于在显示器上提供标记的装置。用于在显示器上提供标记的装置可以被集成到显示设备中。用于提供标记的装置还可以与显示设备分离。集成的设备的一个示例是显示设备在其中提供图像以及标记二者的设备。分离标记提供装置的一个示例是将标记投影到显示屏上的设备或包括置于显示屏前的分离的透明防护物（在该防护物中可以生成IR标记）的设备。

图10图示了根据本发明的系统的示例。第一实施例基于LCD显示器102的使用，该LCD显示器除了普通的可见背光（RGB）之外具有IR背光（IR），如图10所描绘。使用控制单元C的系统的实施方式和控制原则上类似于扫描背光LCD系统的实施方式和控制，特别是彩色顺序制LCD系统的实施方式和控制。摄像机（cam）与背光照明系统同步。该同步使得背光在IR与可见光之间交替。在可见光阶段期间，示出正常的图像。在IR阶段期间，LCD面板102显示充当可移动IR标记103的图案；在该阶段期间，相机（CAM）利用反射的标记捕获眼睛101的图像。例如在可见光阶段期间，可以使用稍早讨论的方法获得瞳孔的中心。实验已经表明，LC材料能够调制近IR光，正如它调制可见光一样。图11图示了作为波长的函数的、近IR区域112和可见光区域111中常用的LC材料的透射T的相对功率。在开放状态中LC材料的透射曲线T使得可见光以及近IR光被透射。在关闭状态中，如由曲线C所图示，可见光以及IR光未被透射。图11的透射示出LC显示器能够调制IR光并且因此创建移动的IR标记。IR光源还可以被连续点亮，因为人眼无论如何不会看到很多的近IR光。然而，同步是优选的，因为这提供了更容易地区分来自IR标记源的IR光与其它伪IR光反射的可能性。

相机CAM记录图像，控制系统C（或相机cam内的计算器）计算IR标记的角膜反射与瞳孔中心之间的差异，其计算IR标记必需移动到LCD显示器上的哪个位置以与瞳孔中心一致，该IR标记被重定位，以及如果需要，重复该过程。在该示例中，用于提供标记的装置将在很大程度上被集成到显示设备中。

IR标记叠加的第二实施例是，除了可见背光之外使用空间分割的IR背光。通过选择充分远离可见范围的IR光波长，已经发现LC材料变得对IR光透明，不管像素是开放还是关闭状态。优点在于，可见背光可以保持活动并且LC面板可以排他地用于普通的可见图像。现在，IR标记的分辨率是分割的IR背光的分辨率。分割的IR背光被控制以控制IR标记的位置。在该示例中，用于提供标记的装置也被集成到显示装置中，但是比第一示例的程度更小。可替代的，用于提供标记的装置可以由投影仪构成，该投影仪经由可移动镜的系统将IR束投影到LC显示设备上。在该示例中，用于提供标记的装置更大程度地与显示设备分离。

而更进一步地将是提供透明板，透明板上提供了可移动IR标记。这可以例如通过将标记投影到透明屏幕上来完成。然后，针对观看者的图像是透过透明板的视野。

从LCD显示器开始，标记也可以通过下述方式提供：

根据如提供给显示器的图像信息显示图像。在标记的位置处，将强度（或例如颜色之一的强度）少量地减少。在下一个帧中，将标记位置处的强度增加相同量。如果强度的这种增加和减少以足够高的频率执行，则人眼不能感知由于强度变化引起的任何闪烁。然而，与标记频率同步的相机可以通过减去两个连续图像，找到标记的位置。该实施例的优点在于，它可以在任何现有的显示设备中使用或用于任何现有的显示设备，倘若显示设备具有足够高的图像频率。最现代的设备能够执行这一特别技术。不需要提供IR源来提供IR标记。在该实施例中，标记被隐藏在可见信号中，对观察者而言无法分辨，但是对针对标记的时间特征而被调谐的相机而言是可分辨的。缺点是，在几乎黑色的屏幕部分处，可能难以增加和减少强度。然而，人眼无论如何趋于注视具有最高或至少高强度的屏幕的那些部分。为了找到标记需要至少两个帧的事实是个缺点，但是显示器设有更高的图像频率。可替代地，标记可以设有这样的空间特征：其对观察者而言不是引人注目的，但是对于针对该空间特征而被调谐的相机而言是引人注目的。

如果已知的显示设备能够以两种不同方式产生相同的颜色，则用于使用该已知显示设备提供隐藏的标记的可替代方法是可能的。所谓的RGB－W显示设备是已知的。这样的显示设备包括红色、绿色和蓝色像素以及白色像素。这允许图像中的白色区域（或实际上大范围的颜色内）以两种不同方式产生。最简单的示例是可以由红色、绿色和蓝色像素的组合以及由白色像素产生白色区域的设备。对于人眼，“RGB”－白色区域和“白色”－白色区域之间的差异是不可见的。然而，在IR和/或UV区域中或在可见光谱的特定区域中，该差异是可检测的。显示器本身未被改变并且所显示的信息也未被改变。然而，通过利用可以以两种不同方式产生白色光的可能性，有可能在图像中提供对相机（例如IR或UV相机或其前面具有滤色器的可见光相机）而言可见但对观察者而言不可见的标记。因此该标记可通过其谱特征（意指区别性特征（feature）的特征）分辨。该实施例可以例如有利地用于跟踪阅读文本的人类观察者的注视。文本由白色背景上相对较小的黑色字母构成。也可以跟踪跟随白色背景上动画的图的人眼。相同类型的方法可以用于能够以两种不同方式提供颜色的任何设备。示例是例如所谓的谱顺序显示器，也被称为混合型空间-时间颜色显示器。这些显示器将常规的LCD和彩色序列LCD组合。这种显示器在常规上具有可寻址元件，其具有两个（宽带）滤色器（例如品红色和青色）和两种类型的背光色场（例如青色和黄色），尽管色场和滤色器的其它组合也可以使用，比如：

（1）具有黄色和蓝色色场的品红色和青色滤色器，以及

（2）具有黄色和青色色场的品红色和绿色滤色器。

另一个实施例基于光导漫射板的使用，其被置于显示器前面并由外围分割的IR光照照射。该实施例在图12中被图示。使用光导漫射板122，其被置于显示器121前面并由外围分割的IR光照设备123照射。该透明的漫射光导122充当用于创建不可见IR标记而不阻挡对图像、显示器或其后的场景的自由观看的装置。通过使用覆盖至少两个外围IR光照设备123的标记并且通过随着IR标记移动位置逐渐改变相互强度，标记的中心可以以比设备123之间的距离更小的分辨率恢复。因此，设备123的数量可以相对较小，而同时提供高分辨率。

关于该实施例的变体基于楔形（Wedge）显示器的使用。楔形显示器基本包括光导，其基于连续的内部反射将聚焦的光场从投影仪传递到投影屏幕使得光线的几何完整性得到保持。图13图示了这种设备。

图13示出光导可以是透明的，因为所投影的光受到内部反射的限制。当光线以小于临界角与材料界面交叉时，该光场最终逃出光导。缺乏正面的漫射器和背面的覆盖物，该技术适合创建允许在显示器或后面的场景上自由观看的半透明显示器。

在另一个实施例中，IR光照通过使用荧光将UV和/或可见光转换成红外光来实现。目的是在环境IR光通过相机系统使（多个）IR-标记的易读性恶化（典型地户外）情形下获得生成IR光的高效方式。在日益更亮的日光中，从IR-标记发射的光在强度方面增加。荧光的IR光源可以被认为是连续的背光，使得局部或全局的快门（shutter）可以用于调制其强度。荧光颜料的范围是已知的，其可以给很多种（透明）塑料赋予荧光属性。在该产品范围中，还存在将任何可见光转换成IR光的可用的颜料。该颜料例如用在工业应用中，比如透明塑料激光焊接。这样的颜料作为注视跟踪背景下的被动式IR照明器的应用是未知的。

在另一个实施例中，IR标记由仅发射对用户而言不可见的IR光的投影仪（基本上是光束器）投影。该IR标记是如下聚焦图像：其要么被投影到普通视觉显示器上，要么被投影到充分漫射的透明屏幕上，该屏幕允许后面场景上或场景本身上的透明视图。

在另一个实施例中，IR标记图像和普通视觉图像由两个单独的显示器生成，其图像利用半透明镜、使用古典讲词提词器或自动提词器配置叠加。

图12图示了标记不必是点。标记是可以被显著区别的任何点、区域或图案。它可以是点、圆、交叉标线或另一个图案。

上文和下文中描述了产生标记的多种方式。在下文中提及“IR-标记”的地方，将会认识到标记还可以在可见范围内或UV范围内。给定如下事实：对许多实施例而言IR标记的使用是优选的，在下文中使用“IR-标记”。然而，在更广泛的意义上，它没有构成本发明的限制。

IR标记的形状优选为了位置跟踪的目标使得其在眼睛中的反射容易被相机捕获并且容易通过计算机视觉算法检测。而IR-标记的形状可以通过在可视图像上生成或叠加标记的方式来限制。

基于反馈的注视跟踪系统的实施例将基于点状标记，该标记的反射变成角膜上的点状闪光。尽管大多数当前注视跟踪系统依靠点状IR源，但是基于它们的反射的位置估计的精度由传感器分辨率快速管理。

该标记优选地由连接的形状（即图案）组成。

连接形状的一个实施例已经在图12中示出。在图12的示例中，连接形状的实施例基于由两个交叉线构成的十字（“+”）状图案，每个线跨越目标显示器的整个宽度或高度。在此情况下，注视点与两条线的交点关联。十字图案的优点是，它可以使用如在上述图12的实施例中提出的外围光照生成。在图14中示出这种十字如何作为眼睛中的反射而是清楚可见的。图案的连接性允许交叉坐标的子像素恢复。

另一个实施例基于伪随机IR光图案的使用，其潜在地为相机系统提供更鲁棒的检测，因为更多简单图案可能产生错误的图案检测。

图15显示了这种示例。该图案看似是随机的，但是它是伪随机的。该相机可以识别图案并且可以找到图案内的点，例如重心。该重心然后提供“标记”的位置。复杂的图案可以避免错误图案识别的问题。当相机和/或标记识别算法最初将另一个IR源（例如灯的反射）识别为IR标记时，错误图案识别可以例如存在。这种错误识别可以通过检查IR标记位置的变化结果来校正，因为真实IR标记将移动，而“错误”IR标记将不移动，但是在环境中，这可以减少系统的精度或反应时间。

另一个实施例使用IR-目标的已知空间移动来解决真实世界中IR-目标的位置与角膜上的反射位置之间的关联。当我们提出反馈机制来控制IR-目标位置以最终匹配注视点时，在缺乏模型的情况下，注视点典型地在连续迭代步骤中被找到。每个迭代步骤需要新视频帧，其示出IR-目标的新位置的反射。下述方法旨在最小化迭代的数量，并且因此最小化响应中的延迟。由于角膜的曲率的缘故，坐标与角膜上的反射位置之间的关系不是线性（仿射的或透视的）变换。

图16在下面图示了使用两个单独获取的IR目标和它们作为角膜上的反射的外观，作为用于估计两个比例常数的手段。

这两个比例常数可以被定义为

实验已经表明，基于两个连续测量对C_x和C_y的估计足以确切地匹配下一个迭代中的注视点。通过保持C_x和C_y的先前差异和先前值的历史，对大型扫视的响应已经示出为几乎瞬时的。在缺乏更精确的模型的情况下，每个连续步骤可以基于现有模型的范围，比如平分。

在另一个精炼的实施例中，上述方法包括坐标的存储设施以保持真实的和反射的目标位置的历史，以及真实目标位置和其反射位置的模型。该模型允许处理真实的与反射的坐标之间的非线性关联并且提供对将用在反馈回路中的IR-标记的最好的下一个位置的更精确的预测。

本发明可以用许多不同方式体现。在上述实施例中，使用一个标记。在实施例中，对多对眼睛的检测表明多个观察者被检测；对于公共显示器和橱窗的典型情形。在检测到每个附加的观察者时，该系统添加附加的标记并更新与相机的同步，使得检测和跟踪在多个观察者上按时间分配。该系统在图17中被图示。图17的系统允许通过以时间顺序方式执行IR-目标呈现、图像捕获和注视估计来跟踪多个（N个）观察者的眼睛注视。注意到，该箭头指示时间顺序而非信息流。应当注意，尽管使用了不同的标记，但是与已知系统有根本差异。标记是可移动的并且每个标记具有它自身的反馈和相关联的观看者。该系统的优点是，延迟仅在同时跟踪的观察者的数量增加时才增加。

根据本发明的方法和系统可以用于大量应用，在这些应用之中：

免校准的注视跟踪开启了各种各样的应用；远超过其中应用当前注视跟踪系统的传统领域。缺少校准意味着头部移动相对于跟踪设备的自由度。缺少校准还意味着注视跟踪过程的“即时-启动（instantly-on）”操作。

在消费者产品领域，免校准注视跟踪可以具有多种应用：

●控制（典型地与有形确认按钮结合的鼠标光标）：

○倘若注视跟踪器提供足够的精度，各种研究已经表明注视控制对于指点任务而言比常规的计算机鼠标更高效。本发明的方法和系统的增加的反应速度和精度在该领域中提供了巨大的优点。

○对于固定设备，比如（因特网使能的）TV，本发明的方法和系统提供用于基本指点动作的鲁棒的光标控制，使得一键web冲浪变成可能的“来自沙发（fromthecouch）”。

○对于手持式设备，该解决方案可以释放另一只手，用于当前需要使用触针或与触摸屏交互的那些操作。许多手持式设备已经包括相机，所以本发明可以相对容易地在手持式设备中实现。

○可以使设备“专心”，使得它们仅当你观看该设备时对我们的动作（按钮按下或口头命令）作出响应。

●通信：

○存在在两方或更多方之间的视频会议中传递眼神接触的各种方法，其中许多需要参与会议的个体的注视点。在过去，现有注视跟踪已被证明是高度无效的；由所提及的当前系统的限制引起的从未离开实验室的概念。本发明的系统和方法的增加的速度和精度在用于许多方时大大增加了效率。

○我们已经确认用户关于在视频呼叫期间眼神接触的相关性的认识。

在保健和健康领域中，注视跟踪提供了监控危险任务中的注意力水平的鲁棒方式。

●控制

○眼睛注视仍然向患有严重缺乏运动（motor）技巧的人们提供重要的用户接口；通过增加他们的独立和幸福感水平来提高生活质量。

○眼睛注视可以在医院的手术室中提供无接触控制，从而减少通过触觉式用户接口污染的风险。

●监控

●本发明提供一种不引人注目的方式来监控在单调危险任务（比如驾驶车辆）期间的注意力水平。一个示例是监控卡车驾驶员的视觉注意力，使用风挡玻璃作为介质来覆盖移动但不可察觉的IR-目标。

●模拟器，比如驾驶或飞行模拟器。在模拟器中，如果受训者的注视可被快速和精确地监控，则这是巨大的优点。在一些模拟器中，速度是最重要的，例如在飞行模拟器或F1赛车模拟器中；跟踪F1车手或飞行器的飞行员的注视的可靠且快速的方式是最重要的，因为这样的人要在一刹那间作出重要决定。

●运动：在这种如网球、壁球或接触类运动的高速运动中，可以从跟踪人的注视中学到很多。使得改进的训练方法成为可能。

在零售和数字标牌领域，注视跟踪可以用于提供关于观察者的注意力焦点的有价值的反馈。

●当前注视跟踪系统已经找到其进入广告代理的方式，以便分析对印刷的和在线的广告的个体响应。本发明的系统和方法的增加的速度和精度将大大地扩展操作的领域。

●注视跟踪还正被应用于通过对注视眼球的对数以及它们的注意力的持续时间进行计数、来测量对特定商业显示器或海报的集体的真实生活的集中注意力。

本发明不限于所示出的显示器类型。

可以有利地用在本发明的方法和系统中的另一个显示器类型的示例是OLED显示器。

使用OLED技术，可以使得透明材料板发光。OLED技术还允许该材料发射IR光。OLED材料对可见光保持透明，但是发射IR光。使用电极，IROLED像素的矩阵可以在透明层中产生。该IROLED矩阵表现得与常规的OLED显示器几乎相同，除了它对可见光是透明的并且发射在IR中可寻址的像素之外。该IR标记由OLEDIR像素的活动网格来寻址，并且该位置是根据IR像素的寻址而可变的。图19示意性图示了在显示器192前面使用透明OLED板191。使用控制器193来寻址OLED矩阵。控制器193接收信息I。该信息I取决于从相机CAM拍摄的图像中进行的测量。OLED像素的矩阵在透明的OLED材料上提供了IR标记194。

就可以放置在显示器或场景前面的任何屏幕而言，透过屏幕的透明视图（transparentview-throughscreen）的优点在于它可以用于任何现有显示器或场景。

该透明层可以用作显示器前面或场景前面的屏幕。使用OLED透明屏幕具有以下优点：OLED的寻址速度非常高，从而允许甚至更快的注视跟踪。

本发明不限于给定的示例性实施例。

例如，当利用投影的标记时，该标记可以被投影在显示屏上、投影到透明屏幕上（通过该屏幕，观察者观看场景或显示设备）或直接投影在场景上。

图18图示了投影仪P将IR目标投影在场景上的实施例，在该示例中由场景上的十字的中心表示。在图18中，目标位于圆柱体的中心。还示出了相机。该相机拍摄眼睛的图像并且更特别地拍摄IR目标的角膜反射和瞳孔的中心。

如上所解释，本发明可以用于跟踪超过一个人的注视。本发明还可以用于跟踪同一个人的两只眼睛的注视方向。在所述实施例中，拍摄了左眼和右眼的图像并且在所述眼睛中的一个或两个上的角膜反射被测量，并且对于所述眼睛中的至少一个，产生标记。在实施例中，对于两只眼睛，可以使用标记，在此情况下，两只眼睛的注视可以被独立监控。可替代地，跟踪一只眼睛的注视，并且对另一只眼睛，测量或估计注视的偏差。一种应用例如是用于以定量方式测量弱视的“惰性”的设备。向孩子提供一对具有两个相机的眼镜，其中一个小相机拍摄左眼的图像，而另一个拍摄右眼的图像。可替代地，这两个相机可以与孩子隔开一定距离。还有可能的是，使用单个相机来记录两个图像。要求孩子玩视频游戏，其中必须用他的眼睛跟随某个目标。这将在他/她必须利用光标抓住对象或引导动画人物穿过迷宫的情况下自动发生。测量两只眼睛的移动。以对于两只眼睛完全不引人注目的方式，可以测量眼睛对动画人物的移动的反应时间，从而提供用于两只眼睛的惰性的测量和两只眼睛相对所述移动的协调。以对于孩子有趣的方式，可以定量地测量眼睛的惰性。弱视的治疗的进展可以被跟踪，而不会对孩子造成任何不适。

另一个应用是针对两只眼睛监控看穿风挡玻璃的驾驶员的移动，其中在该风挡玻璃上提供了IR目标。在警戒的普通状态中，两只眼睛将合作并进行某种模式的移动以记住在驾驶员前面的道路上发生了什么。也可能的是，测量眼睛的会聚。当驾驶员疲劳时，这将在眼睛的移动和眼睛之间的合作中示出，并且可以给驾驶员一个休息一下的信号。

当两只眼睛的注视被跟踪时，可以确定每只眼睛的注视、眼睛之间的注视的差异、以及作为两只眼睛的平均值的平均注视。在这种应用中，标记本身未被投影到被观察的对象、公路，或显示屏上的被观察图像的一部分上而是仍然与被观察对象相关联，因为该标记指示被观察对象的位置。注视的方向与风挡玻璃上的标记位置一致。

一对眼睛的会聚角度可以用于估计观察者正从多远的距离观看对象。这在监控情境的过程中（例如监控卡车驾驶员或观看橱窗的顾客的注视）特别有用。

该系统的延迟取决于要被跟踪的眼睛的数量。我们可以通过针对每个观察者（眼对）使用单个标记来减少延迟。

对两个位移矢量（每个眼睛一个）取平均产生更新的矢量。该标记位置随后利用该平均来更新。由于观察者的眼睛将朝向相同位置会聚（假设正常视力），因此任何残留误差在这对眼睛上对称分布。位移矢量相对更新矢量的振幅与会聚关联。当直接观看标记时，所有矢量将为零（当该系统已经会聚时）。当观看比标记（投影）板更远的对象时，水平位移矢量对一只眼而言是负的，而对另一只眼而言是相等地正的。

另一个应用涉及将该原理扩展到超出人类或动物眼睛的可能性，以包括人工眼，例如在机器人的情况下。已知红眼效应的原理应用于相机，而不管安装在相机上的特定镜头。另一方面，光源反射与相机瞳孔中心的一致性归因于人类和动物眼睛中存在的组织的特定反射率。将会可能的是，设计出将会保持这种一致性、而同时允许获得期望的光学属性的特殊光学配置。这样的特殊镜头的应用将是多样的。如果在机器人的情况下采用，则它将允许检测它们的注视点。不同的应用将利用这些镜头作为标记，取代镜头。在该上下文中，光学元件将在任何对象的表面上被应用，作为标记，允许建立对象表面的取向，利用在所描述的注视跟踪系统中使用的相同的原理。

简言之，本发明可以通过以下内容来描述：

一种用于跟踪观察对象的观察者的注视点的系统包括：用于记录观察者的眼睛的图像的相机，包括用于提供发光标记的装置和用于分析眼睛的图像以确定标记在眼睛上的反射和瞳孔中心的装置。标记的角膜反射和瞳孔中心的相对位置被测量。依据所确定的相对位置，将标记进行重定位，以改进标记的角膜反射与瞳孔中心之间的相符性。

所述方法的简短描述对应于系统的上述描述。

在权利要求中，置于括号之间的任何附图标记不应被解释为限制该权利要求。

词语“包括”不排除权利要求中所列那些之外的其他元件或步骤的存在。本发明可以由上述各种不同的优选实施例的特征的任何组合实现。

相机是用于记录图像的任何设备。

它可以是也用于其他目的（比如通信）的设备的一部分，或附接到、集成在这种通信设备中或与其协作。

用于分析的装置、用于寻址的装置、用于计算的装置等等可以是硬件、软件或其任意组合的形式。

在利用该方法和系统的地方，任何这样的装置可以存在于相机中或附近或存在于相机连接的场景处或附近的设备中。然而，图像数据也可以远程地被分析，如标记可以被远程地控制那样。例如，在商店中，若干相机可以观察若干地点，每个地点例如是窗口显示器，其中在每个地点处，若干观察者可以被跟踪。标记与瞳孔中心之间的差异的计算和由每个标记进行的移动的计算和要被发送以移动标记的信号可以在商店内的中央计算机上被处理，或者甚至可能同样的操作在遍及国家的各种商店中完成，在总部的中央计算机、或在中央服务器处完成。

本发明还涉及包括程序代码装置的计算机程序，该程序代码装置在所述程序在计算机上运行时用于执行根据本发明的方法，以及涉及包括存储在计算机可读介质上用于执行根据本发明的方法的程序代码装置的计算机程序产品。

Claims

1.用于跟踪观察对象的观察者的注视点的系统，该系统包括:

用于记录观察者的眼睛的图像的相机（cam，71），

用于提供在被观察的对象上或与之相关联的发光标记（74,103,191）的装置（73,102,122,191,192），所述发光标记可在观察者的视野中移动；和

图像分析器（76），用于根据图像确定标记在眼睛上的角膜反射位置和瞳孔中心位置、以及用于确定标记的角膜反射（q）与瞳孔中心（p）之间的位置差异以提供差异信号（S）；

控制单元（C），包括用于依据差异信号（S）改变被观察的对象上的或与之相关联的标记（74）的位置以使标记的角膜反射（q）的位置与瞳孔中心（p）的位置基本一致以用于将标记（74）的位置更新成与注视点基本一致的装置（75），其中该控制单元包括分析器，其被配置成基于所确定的关于标记的角膜反射和瞳孔中心之间的位置差异的数据来提供用于重定位标记的数据，以减小该标记的角膜反射和瞳孔中心之间的位置差异直到该标记的角膜反射的位置与瞳孔中心的位置基本一致；以及

根据所述用于重定位标记的数据来重定位标记的装置。

2.如权利要求1所述的系统，其中所述系统包括显示设备并且标记的位置与该显示设备相关。

3.如权利要求2所述的系统，其中所述显示设备和用于提供标记的装置被集成到单个设备中。

4.如权利要求2所述的系统，其中所述显示设备和用于提供标记的装置是分离的设备。

5.如权利要求4所述的系统，其中用于提供标记的装置包括位于显示设备的图像屏幕前面的透明防护物。

6.如权利要求1中所述的系统，其中所述标记以图案成形。

7.如权利要求1所述的系统，其中所述系统包括用于提供标记并在场景上或在场景前面的透明板中或板上对标记进行重定位的装置。

8.如权利要求3所述的系统，其中所述显示设备包括用于在显示设备的显示屏上的图像中提供标记的装置。

9.如前述权利要求中任一项所述的系统，其中用于提供标记的装置提供红外（IR）标记。

10.如权利要求8所述的系统，其中所述系统包括液晶显示器设备，其具有红外（IR）背光和可见光背光。

11.如前述权利要求1－8中任一项所述的系统，其中用于提供标记的装置包括用于提供标记的透明OLED屏幕。

12.如前述权利要求1－8中任一项所述的系统，其中所述系统被布置成通过针对超过一个观察者提供超过一个标记来跟踪超过一个观察者的注视。

13.用于跟踪观察对象的观察者的注视点的方法，其中该方法包括：

记录观察者的眼睛的图像，

提供在被观察的对象上或与之相关联的发光标记（74），所述发光标记可在观察者的视野中移动，

根据图像确定标记（74）的角膜反射（q）的位置和瞳孔中心（p）的位置，其中确定标记的角膜反射与瞳孔中心的位置差异以提供差异信号（S），

依据差异信号（S）改变被观察的对象上的或与之相关联的标记（74）的位置以使角膜反射的位置与瞳孔中心的位置基本一致，以用于将标记的位置更新成与注视点基本一致，其中基于所确定的关于标记的角膜反射和瞳孔中心之间的位置差异的数据来提供用于重定位标记的数据，以减小该标记的角膜反射和瞳孔中心之间的位置差异直到该标记的角膜反射的位置与瞳孔中心的位置基本一致；以及

根据所述用于重定位标记的数据来重定位标记。

14.如权利要求13所述的方法，其中所述标记以图案成形。

15.如权利要求13或14所述的方法，其中所述标记在透明板中或板上提供。