CN110502099A - 可靠地检测注视与刺激之间的关联的方法 - Google Patents

Abstract

本申请描述了用于校准眼睛跟踪系统的系统和技术。所述系统基于用户在用户界面上的注视而连续地更新个人校准参数的校准，用户在用户界面上的注视发生在用户界面刺激事件之后。通过确定用户眼睛连续事件和刺激事件之间的关联并且相应地更新个人校准参数，所述系统改进了连续校准技术。记录指示用户注视在一时间段内保持，所述用户注视包括眼睛连续事件(例如，眼睛运动或眼睛固定)。检测与所述用户界面相关联并且在所述时间段内发生的用户界面刺激事件。确定所述眼睛连续事件和所述用户界面刺激事件之间的关联。产生包括眼睛连续事件和刺激事件的位置的交互观察。基于该交互观察更新个人校准参数。

Description

可靠地检测注视与刺激之间的关联的方法

技术领域

本申请涉及注视检测系统和方法。在一个示例中，这类系统和方法取决于对眼睛模型或深度学习模型的个人校准参数，以确保从用户眼睛的观察准确地推断出用户注视的目标。

背景技术

与计算设备的交互是当今世界中的基本动作。诸如个人计算机、平板电脑、智能电话等的计算设备是日常生活中随处可见的。另外，可佩戴的计算设备——例如可佩戴头戴设备(例如，虚拟现实头戴设备和增强现实头戴设备)——变得越来越流行。用于与这些设备互动的系统和方法定义了它们的使用方式和它们的用途。

眼睛跟踪技术的发展可实现利用人的注视信息而与计算设备交互。换句话说，用户在显示器上注视的位置。该信息可单独地使用或与基于接触的交互技术(例如，使用用户输入设备，例如键盘、鼠标、触摸屏、或另一输入/输出接口)结合地使用以进行交互。

先前提出的使用注视信息的交互技术可以在美国专利6,204,828、美国专利申请公布20130169560、美国专利7,113,170、美国专利申请公布20140247232以及美国专利9,619,020中找到。这些专利和申请的说明书全文被援引包含于此。

为了确保从用户眼睛的观察准确地推断出用户注视的目标，需要对诸如基于深度学习的模型或瞳孔中心角膜反射(PCCR)模型之类的眼睛模型进行校准。注意，术语“眼睛模型”和“个人校准参数”在本文中用于表示校准眼睛跟踪系统的参数，其中这些参数可针对眼睛跟踪系统的用户被个性化。这可包括诸如PCCR的眼睛模型、机器学习或深度学习系统或另一模型。

例如，可使用5点、7点或9点图案来获得个人校准参数(例如，瞳孔和中央凹偏移)的彻底校准。然而，随着时间流逝，从这种最初校准产生的个人校准参数在由于光照改变、眼睛疲劳等导致的用户眼睛改变(例如，瞳孔尺寸改变)的情况下变得不大适用。例如，当瞳孔尺寸改变时，瞳孔偏移可能改变，并且角膜形状在一整天都会变化。

结果，基于已有校准参数计算出的注视逐渐地变得不那么准确，并且模型需要重新校准。对此进行校准的一种方法是提示用户作出有补充手动校准，其类似于最初校准。然而，这对于用户是不便的和具有扰乱性的，因为在执行完全多点校准过程时必须中断其它应用。

发明内容

本公开的一个实施例提供了用于校准眼睛跟踪系统的系统和方法。在操作中，所述系统更新记录，所述记录指示在一时间段内用户在用户界面上的注视，所述用户界面与眼睛跟踪系统关联，所述记录包括眼睛连续事件。所述系统检测在所述时间段内发生并与用户界面关联的用户界面刺激事件。所述系统接着基于所述记录确定眼睛连续事件与用户界面刺激事件之间的关联。所述系统然后基于该关联产生第一交互观察，所述第一交互观察至少包括眼睛连续事件和与用户界面关联的用户界面刺激事件的位置。最后，系统基于所述第一交互观察而更新个人校准参数以用于跟踪用户注视。

在一个实施例中，当确定眼睛连续事件和用户界面刺激事件之间的关联时，系统基于用户界面刺激事件的类型确定记录的时间段内的用户注视时间间隔。系统从所述记录识别在所述用户注视时间间隔内发生的眼睛连续事件。系统随后基于眼睛连续事件的识别来确定所述关联。

在一个实施例中，当识别与刺激事件关联的眼睛连续事件时，所述系统可从所述记录识别出在所述记录的时间段内的眼睛固定时间间隔期间用户注视是稳定的。在该实施例中，用户注视可包括固定注视，即，经过滤的稳定信号。替代地，当识别与刺激事件关联的眼睛连续事件时，系统可从所述记录识别出眼睛连续事件的模式对应于用户界面刺激事件的运动模式。在该实施例中，用户界面刺激事件可包括移动的刺激。

在一个实施例中，在确定用户注视时间间隔时，系统基于应用的类型确定期望类型的候选用户界面刺激事件。系统接着确定所述用户界面刺激事件的类型是期望的类型。

在一个实施例中，系统基于执行更新检查的结果来产生个人校准参数更新决定。所述更新检查可至少使用第一交互观察。更新检查可包括下面各项中一个或多个：随机抽样一致性(RANSAC)、最大似然估计样本一致性(MLESAC)、最大后验样本一致性(MAPSAC)、KALMANSAC过程和机器学习。

在一个实施例中，系统通过访问包括刺激事件的位置和眼睛连续事件的一组至少四个交互观察而产生个人校准参数更新决定，这组交互观察包括第一交互观察和第二交互观察，所述第二交互观察包括第二刺激事件的第二位置和第二眼睛连续事件。系统然后从这组交互观察中选择第二交互观察。系统然后基于第二交互观察来构造试验个人校准参数，以使得使用所述试验个人校准参数针对第二眼睛连续事件投射的注视目标落在第二位置附近。系统随后基于试验个人校准参数和这组交互观察中的其余交互观察的眼睛连续事件来对于其余交互观察投射注视目标。系统然后检测其余交互观察的内点子集(inliersubset)，以使得相应内点的相应投射注视落在与相应内点的位置相距第一阈值的范围内。系统然后检测其余交互观察的外点子集(outlier subset)，以使对于相应外点的相应投射注视落在与相应外点的位置相距第一阈值的范围之外。系统然后计算内点的数目与外点的数目之比。响应于该比大于第二阈值，系统随后产生更新个人校准参数的决定。响应于该比在第二阈值范围内，系统随后丢弃试验个人校准参数并基于第二组交互观察而构造第二试验个人校准参数。

在一个实施例中，在更新个人校准参数时，系统确定试验个人校准参数与所述个人校准参数之间的差异。响应于所述差异大于第三阈值，系统随后用所述试验个人校准参数来替代所述个人校准参数。响应于所述差异在第三阈值范围内，系统随后保留所述个人校准参数。

在一个实施例中，眼睛连续事件包括下面各项中的一个或多个：用户的眼睛固定和用户的眼睛移动。眼睛固定可对应于固定的注视，即，经过滤的稳定信号。

在一个实施例中，用户界面刺激事件包括下面各项中一个或多个：用户鼠标点击、用户屏幕触碰、用户选择、用户键盘输入、用户摇杆或游戏手柄输入、用户手动控制器输入、显示的光标、显示的图标、显示的通知和显示的动画。

在一个实施例中，关联的刺激事件的位置是二维或三维的。

在一个实施例中，记录被存储在环形缓存(环形缓冲区)内。

在一个实施例中，环形缓存的大小取决于给出用户界面刺激事件的应用的类型。

在一个实施例中，一旦更新个人校准参数，系统将第一交互观察的记录删除。

在一个实施例中，基于记录中的时间戳或置信度量度来确定所述关联。

在一个实施例中，在更新个人校准参数时，系统不执行最初校准地产生个人校准参数。

在一个实施例中，检测用户界面刺激事件进一步包括下面各项中的一个或多个：立即复制用户注视的记录；在预定时间段之后复制用户注视的记录；在可变的时间段之后复制用户注视的记录；以及暂停用户注视的记录的改变。

在一个实施例中，识别与刺激事件关联的眼睛连续事件基于下面各项中的一个或多个：从刺激事件的位置到眼睛连续事件的投射注视的距离、眼睛连续事件的持续时间、跟踪眼睛连续事件的准确性以及眼睛连续事件内的相关运动。

附图说明

通过参照下面的附图可以实现对各个实施例的本质和优势的进一步理解。在所附附图中，相似的部件或特征可具有相同的附图标记。此外，相同类型的各个部件可通过在附图标记后面加上划线和在相似部件间作出区分的第二附图标记而作出区分。只要在说明书中使用第一附图标记，这种描述可适用于具有相同第一附图标记的类似部件中的任何一个，而不管第二附图标记如何。

图1示出根据一个实施例的眼睛跟踪系统。

图2示出根据一个实施例的由图像传感器捕获的眼睛的图像的一个示例。

图3是根据一个实施例的示出专用的计算机系统的方框图。

图4示出根据一个实施例的可佩戴计算设备的示例，该可佩戴计算设备实施眼睛跟踪系统的部件。

图5A示出根据一个实施例的从眼睛连续事件投射的注视的示例。图5B示出个人校准参数校准的效果。

图6示出根据一个实施例的用于存储用户注视的环形缓存的示例。

图7A示出根据一个实施例的示例性用户界面刺激事件。图7B示出根据一个实施例的示例性移动的用户界面刺激事件。图7C示出根据一个实施例的在用户界面刺激事件与眼睛连续事件之间的时间关联的示例。图7D示出根据一个实施例的在延长时间的用户界面刺激事件与眼睛连续事件之间的时间关联的示例。

图8示出根据一个实施例的投射注视与来自一组示例性交互观察的事件位置之间的接近性。

图9示出根据一个实施例的用于校准眼睛跟踪系统的示例性流程。

图10示出根据一个实施例的用于确定眼睛连续事件与用户界面刺激事件之间的关联的示例性流程。

图11示出根据一个实施例的用于产生个人校准参数更新决定的示例性流程。

图12示出根据一个实施例的用于在检测到用户界面刺激事件之后复制用户注视的记录的替代示例性流程。

具体实施方式

本公开的实施例涉及校准眼睛跟踪系统。通过基于输入的刺激来校准用户的注视而不使用手动校准过程，所述系统可执行眼睛模型参数的可靠的连续校准。系统可通过将用户的注视与刺激事件(其与用户界面相关联)相关联并同时滤除不可靠的事件而执行上述任务。

更具体地，校准样本(包括注视)被连续地存储在缓存内。随后将候选注视固定和/或运动模式与刺激匹配以形成交互观察。这些交互观察可在之后用于执行校准、改善已有校准或调整校正层。

在各个实施例中，所公开的眼睛模型校准系统和方法可在不同的眼睛跟踪系统中使用，包括与不同类型的智能电话、平板电脑、膝上电脑、可佩戴的头戴设备(例如，虚拟现实和增强现实头戴设备)整合在一起的眼睛跟踪系统以及独立的眼睛跟踪系统。

下面对训练和校准眼睛跟踪系统的这些和其它特征进行进一步描述。接着描述眼睛跟踪系统的各种部件和配置以提供对校准技术的更好理解。

图1示出根据一个实施例的眼睛跟踪系统100(其也被称为注视跟踪系统)。系统100包括：照明器111、112，用于照射用户的眼睛；以及图像传感器113，用于捕获用户眼睛的图像。照明器111、112例如可以是发光二极管，其发出红外频带或近红外频带内的光。图像传感器113可以例如是相机，例如，互补金属氧化物半导体(CMOS)相机或电荷耦合器件(CCD)相机。相机不限于IR相机或深度相机或光场相机。图像传感器的快门机构可以是滚动快门或全局快门。

第一照明器111与图像传感器113同轴地设置(或靠近图像传感器113设置)，以使图像传感器113能够捕获用户眼睛的亮瞳孔图像。由于第一照明器111与图像传感器113的同轴设置，从眼睛的视网膜反射的光通过瞳孔朝向图像传感器113返回，以使得在第一照明器111照射眼睛的图像中瞳孔看上去比瞳孔周围的虹膜更亮。第二照明器112与图像传感器113非同轴地设置(或更远离图像传感器113设置)以捕捉暗瞳孔图像。由于第二照明器112与图像传感器113的非同轴设置，从眼睛的视网膜反射的光不到达图像传感器113，并且在第二照明器112照射眼睛的图像中瞳孔看上去比瞳孔周围的虹膜更暗。照明器111、112可例如轮流照射眼睛，以使每个第一图像是亮瞳孔图像而每个第二图像是暗瞳孔图像。

眼睛跟踪系统100也包括电路120(例如，包括一个或多个处理器)，用于处理由图像传感器113捕获的图像。电路120可例如经由有线连接或无线连接而连接至图像传感器113和照明器111、112。在另一示例中，一个或多个处理器形式的电路120可在图像传感器113的光敏表面下的一个或多个层叠的层内提供。

图2示出由图像传感器113捕获的眼睛200的图像的示例。电路120可例如采用图像处理(例如，数字图像处理)以提取图像中的特征。电路120可例如采用瞳孔中心角膜反射(PCCR)眼睛跟踪来确定眼睛200正看向哪里。在PCCR眼睛跟踪中，处理器120估计瞳孔210的中心的位置和眼睛200处的闪光点220的中心的位置。闪光点220是由来自照明器111、112中的一个的光的反射造成的。处理器120使用闪光点220来计算用户在空间内的位置，并使用瞳孔210计算用户眼睛200朝向的位置。由于在眼睛200的光学中心与中央凹之间通常具有偏移，因此处理器120执行中央凹偏移的校准以能够确定用户正看向哪里。从左眼和从右眼获得的注视方向随后可被组合在一起以形成组合的估计注视方向(或观看方向)。如下文中将要描述的，当形成这种组合时，许多不同的因素可能影响应当如何对左眼和右眼的注视方向相对于彼此分配权重。

在参照图1描述的实施例中，照明器111、112被设置在位于由用户观看的显示器下的眼睛跟踪模块110内。这种布置仅作为一个示例。将理解，更多或更少数量的照明器和图像传感器可用于眼睛跟踪，并且这些照明器和图像传感器可相对于由用户观看的显示器以许多不同的方式分布。将理解，本公开中描述的眼睛跟踪方案可例如用于远程眼睛跟踪(例如，在个人计算机、智能电话中或整合在车辆中)或者用于可佩戴眼睛跟踪(例如，在虚拟现实眼镜或增强现实眼镜中)。

图3是示出专用计算机系统300的方框图，在该专用计算机系统300中可实施本公开的实施例。该示例示出例如可完整地、部分地使用或通过各种修改地使用以提供本文描述的部件的功能的专用计算机系统300。

示出专用计算机系统300，其包括可经由总线390电气耦接的硬件元件。硬件元件可包括一个或多个中央处理单元310、一个或多个输入设备320(例如，鼠标、键盘、眼睛跟踪设备等)以及一个或多个输出设备330(例如，显示设备、打印机等)。专用计算机系统300也可包括一个或多个存储设备340。作为示例，存储设备340可以是盘驱动器、光学存储设备、固态存储设备(例如，随机存取存储器(RAM)和/或只读存储器(ROM)，它们可以是可编程的、可闪速更新的)和/或类似物。

专用计算机系统300可另外包括计算机可读存储介质读取器350、通信系统360(例如，调制解调器、无线或有线的网卡、红外通信设备、蓝牙^TM设备、蜂窝通信设备等)以及工作存储器380(其可包括如上所述的RAM或ROM设备)。在一些实施例中，专用计算机系统300也可包括处理加速单元370，该处理加速单元370可包括数字信号处理器、专用处理器和/或类似物。

图4示出可佩戴计算设备400的一个示例，该可佩戴计算设备400实施结合图1-2描述的眼睛跟踪系统的上述部件中的一些或全部。可佩戴计算设备400可以是可由用户佩戴的虚拟现实(VR)头戴设备或增强现实(AR)头戴设备。如所示，可佩戴计算设备400包括例如菲涅尔透镜的一组透镜410、一组相机420、一组热反射镜430(例如，这组热反射镜在各个实施例中可包括两个热反射镜以用于每个眼睛)以及一组显示器440。相机420可包括图1的图像传感器113。尽管图4中未示出，可佩戴计算设备400也可包括一组照明器和处理电路。这些和其它部件可整合在可佩戴计算设备400的壳体450内。如此，一旦用户将可佩戴计算设备400戴在他或她的头上，这组透镜410将相对靠近用户的眼睛并且这组显示器将相对远离用户眼睛，并且其余部件将位于这组透镜与这组显示器之间。这些部件的布置允许检测在三维虚拟空间或真实空间内的用户注视点。

图5A示出根据一个实施例的从眼睛连续事件(eye sequence)投射的注视的一个示例。在该示例中，用户的眼睛500注视用户界面520上的目标510。界面520可以是2D显示器或立体或3D界面，例如，图4所示的可佩戴计算设备400中的显示器440。诸如图1中的系统100的眼睛跟踪系统或与可佩戴计算设备400整合在一起的眼睛跟踪系统使用眼睛模型来将用户的注视投射到目标510。

图5B示出个人校准参数校准的效果。为了确保从用户眼睛的观察准确地推断出用户注视的目标，需要对眼睛模型(例如，瞳孔中心角膜反射(PCCR)模型)进行校准。注意，本公开不局限于PCCR眼睛模型，并且诸如PCCR眼睛模型的眼睛模型是系统所使用的个人校准参数的一个示例。术语“眼睛模型”、“眼睛模型参数”和“个人校准参数”在本文中表示用于校准眼睛跟踪系统的参数，其中这些参数可针对眼睛跟踪系统的用户而被个性化。在各实施例中，这可以包括：诸如PCCR的眼睛模型；诸如深度神经网络、深度信念网络、或递归神经网络的机器学习或深度学习架构；或者现在已知或将来形成的任何其它模型。在深度学习的情况下，参数可以是完全连接的层的参数。

特别地，由于人和人之间具有很大的差异，因此眼睛跟踪系统可较为有利地调整个人校准参数——例如，瞳孔和中央凹偏移——以匹配用户的眼睛。在该示例中，系统可根据眼睛模型参数的校准而确定用户正注视着目标550或者目标560。例如，当用户实际正在注视目标560时，系统可能基于误校准而错误地确定用户正在注视目标550。因此，有利的是，系统例如藉由多点校准程序来确保眼睛模型参数对于给定的用户是正确的，从而准确地投射用户注视。

然而，随着时间流逝，从最初校准产生的眼睛模型随着用户眼睛由于光照变化、眼睛疲劳等而发生改变(例如，瞳孔尺寸改变)而变得不太适用。特别地，当瞳孔尺寸改变时瞳孔偏移改变，并且角膜形状在一整天不断地变化。结果，基于现有校准参数计算出的注视变得越来越不准确，并且模型需要重新校准。通常，能够保持以1-2°范围内的误差准确预测注视位置的校准将是足够的，而大于约2.5°的误差将需要重新校准。解决这个问题的一种方法是提示用户作出补充手动校准，其类似于最初校准。然而，这对于用户是不便的和具有扰乱性的，因为在执行完全多点校准过程时用户必须推迟其它应用。

本文接下来描述眼睛跟踪校准系统的使用。为了清楚解释，该系统是结合相机、屏幕和用户双眼来描述的(例如，相机捕获多个图像，这些图像中的一些或全部示出用户双眼)。眼睛跟踪校准系统可用于任意相机和屏幕配置以进行眼睛跟踪，所述眼睛跟踪使用可见光、被动红外光、主动亮瞳孔(BP)红外光和类似物。然而，本公开的实施例不仅限于此。例如，这些实施例同样适用于对每个用户眼睛使用一个相机的眼睛跟踪系统，例如，在虚拟现实头戴装置或增强现实头戴装置的背景下。对于每个眼睛跟踪一个相机的情况如何实施眼睛跟踪校准系统的改型对于受本公开启发的本领域技术人员来说应当是显而易见的。

通过提供眼睛模型再校准技术，所公开的系统和方法相比已有的校准技术有改进，所述眼睛模型再校准技术滤除不可靠的刺激并将刺激与用户注视相关联以提高不显眼(非干扰性)的校准的准确性。系统可执行数个步骤以增加这种关联的置信度并减少不确定性。在各实施例中，所公开的系统和方法可以使用或者不使用由给定用户作出的先前个人校准。在操作过程中，系统将所选择的注视数据的连续事件识别为候选校准眼睛连续事件，所述候选校准眼睛连续事件通常关联于用户界面刺激事件。

为了识别候选校准连续事件，系统首先维持和更新存储于存储器(例如，环形缓存)内的记录中的校准样本(例如，用户注视)。图6示出根据一个实施例的用于存储用户注视的记录的环形缓存600的示例。使用环形缓存允许系统重新使用缓存以节省存储空间。注意，其它类型的缓存也是可能的，并且不受本公开的限制。所存储的校准样本可包括下列各项中的任何一个：注视数据、时间戳和置信度量度。诸如环形缓存600的缓存可保持在暂时性或非暂时性存储器或存储装置中。

系统可使用记录来识别多个交互观察，所述多个交互观察可各自包括用户眼睛连续事件与用户界面刺激事件。相应的交互观察指示眼睛连续事件和刺激事件之间的联系。在该示例中，环形缓存600存储用户鼠标参照610，其可包括由用户经由鼠标执行的事件(例如，右击、双击等)以及用户界面上的检测到此事件的位置。环形缓存600进一步存储诸如眼睛连续事件620的数个用户眼睛连续事件，例如，眼睛固定(凝视)或眼睛移动。由于用户鼠标参照610在眼睛连续事件620之后很短时间之后发生，因此用户鼠标参照610和眼睛连续事件620(例如，眼睛固定)可一起形成交互观察。在各实施例中，系统可在检测到用户界面刺激事件之后立即确定这种关联或者可周期地(例如，以与缓存长度对应的频率)确定这种关联，并将多个刺激事件与多个用户眼睛连续事件相匹配。

在一些实施例中，系统使用刺激激活或触发信号来确定用户可能正在与刺激交互。例如，刺激激活可包括：鼠标点击、键盘输入、摇杆运动、游戏手柄或手动控制器(VR)输入、或定时器(即，要素已被显示在屏幕上的时间定序)。当发生诸如鼠标参照610的刺激激活时，系统可复制缓存(例如，环形缓存600)以供进一步分析。在各实施例中，根据刺激的类型，系统可以：立即复制记录；在预定或可变的时间周期后复制记录；或暂停记录的改变，即，不向记录添加新数据直到对该记录进行分析为止。例如，如果对于特定类型的刺激事件，预期用户眼睛连续事件将跟随或落后于该刺激事件，系统可在复制记录之前等待预定或可变的时间段。相反，如果预期用户眼睛连续事件将领先于刺激事件(比如眼睛连续事件620领先于鼠标参照610)，则系统可立即复制该记录。

总的来说，系统可识别刺激事件，所述刺激事件从光标(例如，鼠标光标)或被显示在用户界面内的物体(例如，屏幕上的图标)的坐标得到。用户界面刺激事件可包括一般将会吸引用户注视的用户发起事件，例如：用户鼠标点击；用户屏幕敲击；用户选择；用户键盘输入；用户摇杆或游戏手柄输入；和/或用户手动控制器输入。或者，刺激事件可包括所显示的事件，例如：所显示的光标；所显示的图标；所显示的通知；和/或所显示的动画。刺激可以是静态的或动态的。注意，刺激事件可具有在2D或3D空间内的已知位置或定位。

刺激事件的类型一般可取决于用户所参与的应用。例如，如果用户正在使用web浏览器，则系统可确定用户刺激事件可能包括对超级链接的点击并且眼睛连续事件可能包括对广告的注视。对于运动类视频游戏，系统可确定刺激事件可能包括传球、进球等。在一个实施例中，系统可根据潜在的应用访问预期事件的列表，检测预期事件的发生，并在合适的情况下产生记录。

图7A示出根据一个实施例的示例性用户界面刺激事件。在该示例中，用户眼睛700注视刺激事件，所述刺激事件是显示的通知710，例如，对话框。系统可确定用户可能在通知710被显示在计算机显示器720上的时间附近注视通知710。此外，通知710可关联于其它潜在刺激事件。例如，用户可能在阅读通知710之后点击按钮730。为了选择按钮730，在点击鼠标之前，用户可能注视鼠标光标740和/或按钮730。因此，基于定时和其它线索，系统可确定眼睛连续事件和例如在图7A中图示的用户界面刺激事件之间的关联。

眼睛连续事件可包括：眼睛固定(即，经过滤的稳定信号)，其一般可对应于例如在图7A的示例中的固定或静态刺激事件；或者眼睛运动，其一般可对应于移动的刺激事件。图7B示出根据一个实施例的移动的用户界面刺激事件的示例。在该示例中，可在计算机显示器752上显示动画750或视频片段。动画750示出弹力球754。用户眼睛756跟随弹力球754的运动，这导致由系统检测的移动的眼睛连续事件。在一个实施例中，系统可使用用户眼睛连续事件的运动模式与移动的刺激事件中的模式之间的对应性来确定用户眼睛连续事件与刺激事件之间的关联。该对应性可包括相似的运动模式、相关的时间定序等，并且不受本公开限制。

系统可从存储的注视数据搜索用户注视记录(例如，复制的环形缓存600)以识别候选校准眼睛连续事件，例如，注视固定或注视运动。系统可使用一些方法来进行搜索，所述方法例如为：时间驱动的步骤检测；模式匹配；或数据点的集群。用来识别并选择候选校准眼睛连续事件的方法以及所选择的眼睛连续事件的类型可取决于刺激和激活的性质。具体地说，对于静止的刺激，系统可识别眼睛固定的集合，而对于动态的刺激，系统可选择流畅的眼睛运动或追视的集合。因此，候选校准连续事件可包括候选固定的校准连续事件或候选移动的校准连续事件。为了简化起见，从用户注视记录可检测和可选择的所有类型眼睛连续事件将被称为候选校准眼睛连续事件。

如果已识别了候选校准眼睛连续事件，系统可将候选校准眼睛连续事件中的一个或多个与一个或多个刺激事件进行匹配以形成交互观察。系统可通过加权函数来执行匹配，所述加权函数可基于下面各项中的一个或多个：从刺激到注视坐标的距离；在固定(凝视)期间的帧数或匹配运动的长度；在眼睛固定或运动期间的精度(例如，信噪比)；以及在动态刺激事件的情况下，匹配可基于关联运动。

系统也可使用时间关联以确定刺激和眼睛连续事件之间的关联。图7C示出根据一个实施例的简短的用户界面刺激事件760(如图7A的示例所示)和眼睛连续事件770之间的时间关联的示例。在这种情况下，用户注视770领先于鼠标点击760，因为在点击实际发生之前用户的注视通常集中在点击的对象上。图7D示出根据一个实施例的延长时间的用户界面刺激事件780(如图7B的示例中所示)与眼睛连续事件790之间的时间关联的示例。在该示例中，用户注视790大部分与视频片段780同时发生。根据刺激事件的性质，系统可使用如图7C和图7D的示例中的定时信息以确定这种关联性。

基于识别的交互观察，系统可产生决定和/或更新检查以更新眼睛模型的参数(该眼睛模型可以是已有的眼睛模型或新的眼睛模型)。在一个实施例中，系统根据被施加至交互观察的一致性算法来产生决定。眼睛模型更新决定和/或更新检查可基于下列各项一个或多个：随机抽样一致性(RANSAC)、最大似然估计样本一致性(MLESAC)、最大后验样本一致性(MAPSAC)、KALMANSAC过程和机器学习。

在例如RANSAC的一致性检查过程中，系统可令更新决定基于适合不同交互观察的眼睛模型参数之间的一致性和/或交互观察的相应刺激事件与眼睛连续事件位置之间的距离。因此，如果在这些观察之间具有一致性，则交互观察被认为是可靠的。在一个实施例中，形成一致性的标准可基于每个交互观察的经观察的注视误差。如果注视误差倾向于以一致的方式使眼睛模型的参数平移、扩展或收缩，则系统可确定所述注视误差是一致的。在另一示例中，形成一致性可基于总校准残差(优化误差)不增大。

在一个实施例中，系统可执行进一步的可靠性检查，例如，检查刺激事件的位置分布。如果刺激事件是不均匀分布的(例如，集中在用户界面的角落)，则基于这些刺激事件执行再校准可能使眼睛模型产生偏移，从而使得眼睛模型对于用户界面(UI)的具有多个交互观察的部分中的用户注视表现良好，而对于UI的其它区域表现很差。因此，如果系统检测到刺激事件的分布是不均匀的，则系统可丢弃一些或全部的交互观察。

在一个典型示例中，RANSAC更新决定可基于眼睛模型参数多么一致地预测注视位置，所述注视位置由至相应用户界面刺激事件的距离测量。图8示出根据一个实施例的投射注视与来自示例性的一组交互观察的事件位置之间的接近性。用户界面刺激事件用○表示，并且使用试验组的眼睛模型参数投射的注视用X表示。眼睛跟踪系统可访问一个或多个交互观察以确定关联的眼睛连续事件和刺激事件。系统然后从眼睛连续事件确定注视信息，并根据试验眼睛模型从注视信息投射用户的注视(即，根据试验眼睛模型确定注视将落在的投射位置)。系统然后计算投射的注视位置与交互观察中指示的刺激事件位置之间的距离。再校准的策略是更新眼睛模型，以使投射的注视和刺激事件尽可能地彼此接近，由此使该距离最小化。

具体地说，系统可继续以通过选择交互观察的一个子集来执行一致性检查过程。系统可随机地或根据任何其它标准来选择该子集，并且不受本公开限制。在该示例中，系统已选择了与事件位置810、850对应的交互观察。系统然后产生试验眼睛模型以使所选择的交互观察具有与对应刺激事件的位置接近的投射注视(基于试验眼睛模型)。系统然后基于试验眼睛模型投射与其余未选择的交互观察对应的注视，并执行一致性检查。

为了执行这种一致性检查(例如，RANSAC)，系统可检测内点，例如，与事件位置830对应的交互观察，对于所述交互观察，从投射的注视到刺激事件的距离落在阈值内。同样，系统可检测外点，例如，与事件820、840对应的交互观察，对于所述交互观察，相应的距离超过阈值。基于内点与外点的数量之比，系统可决定更新眼睛模型参数，例如，通过用试验眼睛模型来代替眼睛模型。在一个实施例中，系统基于与事件位置810、850对应的所选交互观察来更新眼睛模型。示例性一致性检查过程的进一步细节在下面在与图11对应的流程中予以描述。注意，图8是用于解说目的；系统不需要实际显示投射的注视，而是基于试验眼睛模型来确定投射的注视位置以确定它们的接近性。

在一个典型示例中，在产生更新决定之前，系统可积累最多50个交互观察。尽管系统可用少至三个的交互观察来执行校准，但优选的是执行更多个积累，例如，10个或甚至20个。然而要注意，如果存储的交互观察的数量变得太高，则校准的计算负担可增加。

图9-12示出根据实施例的为了支持眼睛跟踪系统(例如，眼睛跟踪系统400)的连续校准而产生和使用交互观察的示例性流程。眼睛跟踪系统被描述为执行示例流程的操作。然而，实施例不仅限于此。实施例同样适用于远程计算机系统，所述远程计算机系统可从眼睛跟踪系统接收关于用户注视和刺激事件的信息，然后产生交互观察并更新眼睛模型，并将更新的眼睛模型发送至眼睛跟踪系统，从而对眼睛跟踪系统进行再校准。在另一示例中，再校准可分布在眼睛跟踪系统和远程计算机系统之间(例如，眼睛跟踪系统可主存交互观察和/或用户注视记录，而眼睛跟踪系统可主存一致性检查模块)。

用于执行该解释性流程的操作的指令可作为计算机可读指令被存储在眼睛跟踪系统的非暂时性计算机可读介质上。一旦被存储，所述指令代表可编程模块，所述可编程模块包括可由眼睛跟踪系统的(一个或多个)处理器执行的代码或数据。这种指令的执行配置眼睛跟踪系统以执行附图所示和本文所述的具体操作。每个可编程模块与处理器结合地代表用于执行(一个或多个)相应操作的手段。尽管这些操作是以特定顺序示出的，但应理解，特定的顺序不是必需的，并且可省去、跳过和/或重新排列一个或多个操作。

图9示出根据一个实施例的用于校准眼睛的示例流程。该示例流程开始于操作902，其中眼睛跟踪系统更新记录，所述记录指示用户在一时间段内在用户界面上的注视。用户界面可关联于眼睛跟踪系统，并可包括2D计算机屏幕或3D显示器(例如，之前所述的VR或AR头戴装置)。用户注视记录可包括用户的一个或多个眼睛连续事件，例如，眼睛固定和/或眼睛运动。该记录可以是保持在暂时性或非暂时性存储器或存储装置中的缓存，例如图6中所示的环形缓存600。在一个实施例中，与缓存大小对应的时间段可取决于给出用户界面刺激事件的应用的类型。例如，如果用户启动软件应用或在线流媒站点以观看视频片段或动画，则缓存的长度可与片段或片段内的场景的长度相当。另一方面，如果用户启动需要频繁鼠标点击的图像编辑软件，则缓存可以是几秒长的。在一个实施例中，用户注视的记录包括时间戳或置信度量度。

在操作904，眼睛跟踪系统检测在该时间段内发生并且与用户界面关联的用户界面刺激事件。例如，用户界面刺激事件可包括通常会吸引用户注视的用户发起事件或显示的事件，例如：用户鼠标点击；用户屏幕轻击；用户选择；用户键盘输入；用户摇杆或游戏手柄输入；用户手动控制器输入；显示的光标；显示的图标、显示的通知；和/或显示的动画。由于这些事件预期会吸引用户的注视，因此校准系统可使用这些事件来增加识别用户注视的位置的置信度。在各实施例中，用户界面刺激事件可具有例如在计算机屏幕上的2D位置，或例如由VR或AR头戴装置显示的3D位置。

在操作906，眼睛跟踪系统基于该记录确定眼睛连续事件和用户界面刺激事件之间的关联。在一个典型示例中，刺激事件可以是用户界面(UI)中吸引用户注视的事件(例如，视频游戏中的动画或运动)，或者需要用户注意的用户输入事件(例如，鼠标点击或打字)。因此，这种关联通常将反映刺激与眼睛连续事件之间的因果关系。例如，系统可基于刺激和眼睛连续事件的相对时序来确定这种关联，如在图7B和7C的示例中所示的并且在下文中在与图10对应的流程中予以描述的。

在操作908，眼睛跟踪系统基于这种关联产生第一交互观察，所述第一交互观察至少包括眼睛连续事件以及与用户界面关联的用户界面刺激事件的位置。在操作910，眼睛跟踪系统基于第一交互观察来更新眼睛模型以跟踪用户注视。注意，在各实施例中，眼睛模型可包括：眼睛模型(例如，PCCR)的参数；一组机器学习或深度学习参数，例如，深度神经网络、深度信念网络或递归神经网络；或者现在已知或将来形成的任何其它模型的参数。

具体地说，更新眼睛模型可包括再校准，这可基于用户的注视正朝向相同交互观察内的关联的刺激事件的位置的假设。注意，在一些示例中，更新眼睛模型可实际上不包括采用推荐的一组模型参数，这或者是由于推荐的模型被发现是不一致的，由于推荐的模型与现有模型太过相似，或者是由于推荐的模型与现有模型“混同”或以其它方式合并。

在一个实施例中，更新眼睛模型可基于眼睛模型更新决定和/或更新检查，所述眼睛模型更新决定和/或更新检查可根据被施加至交互观察的一致性算法来作出。在又一些实施例中，眼睛模型更新决定和/或更新检查可基于下面各项中的一个或多个：随机抽样一致性(RANSAC)、最大似然估计样本一致性(MLESAC)、最大后验样本一致性(MAPSAC)、KALMANSAC过程和机器学习。用于更新眼睛模型的示例性一致性过程的细节将在下面在与图11对应的流程中予以描述。

图10示出根据一个实施例的用于确定眼睛连续事件和用户界面刺激事件之间的关联的示例性流程。该流程提供与图9对应的操作906的进一步示例性细节。示例性流程开始于操作1002，其中眼睛跟踪系统基于用户界面刺激事件的类型来确定在记录的时间段内的用户注视时间间隔。该用户注视时间间隔可以是记录的时间段内的子集，在该子集的时间段内用户的眼睛连续事件预期会跟着用户界面刺激事件。根据用户界面刺激事件的类型，该用户注视时间间隔可能在用户界面刺激事件之前、与用户界面刺激事件同时发生和/或在用户界面刺激事件之后。例如，如图7B所示，用户的眼睛连续事件预期与延长时间的刺激事件(例如，视频片段或动画序列)同时发生。比如在图7C的示例中，用户的眼睛连续事件可领先于用户发起的事件，例如，鼠标点击。在操作1004，眼睛跟踪系统从用户注视记录识别出在用户注视时间间隔内发生的眼睛连续事件。在操作1006，眼睛跟踪系统基于眼睛连续事件的识别来确定关联性。在一些实施例中，作为时间定序的替代或附加，系统基于刺激激活、刺激与连续事件的相对位置、眼睛连续事件期间的准确性或相关的运动来确定这种关联性，如前所述。

图11示出根据一个实施例的用于产生眼睛模型更新决定的示例性流程。该流程提供与图9对应的操作910中用于更新眼睛模型的进一步示例性细节。该流程继续，从而构建试验眼睛模型并根据该试验眼睛模型来确定是否更新眼睛模型。

示例性流程开始于操作1102，其中眼睛跟踪系统访问包括刺激事件的位置和眼睛连续事件的一组交互观察。在各个实施例中，这组交互观察包括至少四个交互观察，或者可包括更多或更少的交互观察。这组交互观察可包括第一交互观察(在与图9对应的操作908中产生)和第二交互观察，所述第二交互观察包括第二刺激事件的第二位置和第二眼睛连续事件。在操作1104中，眼睛跟踪系统从这组交互观察中选择第二交互观察。在操作1106中，眼睛跟踪系统基于第二交互观察来构建试验眼睛模型，以使通过施加试验眼睛模型而对第二眼睛连续事件投射的注视目标落在接近第二刺激事件的第二位置的位置处。所述接近指对准的(例如，相同位置)或彼此相隔小于预定接近阈值的距离(例如，彼此相距小于10个像素、彼此相距小于0.25cm或者彼此相距小于其它度量，所述其它度量取决于由眼睛跟踪系统进行的注视检测的目标准确性)。在一个实施例中，眼睛跟踪系统可构建试验眼睛模型以使第一交互观察和第二交互观察两者都是接近的。例如，第一交互观察和第二交互观察两者都可具有落在与对应的位置相距预定接近阈值的范围内的投射注视。

在操作1108，眼睛跟踪系统基于试验眼睛模型和其余交互观察的眼睛连续事件来确定其余交互观察的投射注视目标。在操作1110，眼睛跟踪系统检测其余交互观察的内点子集，以使相应内点的相应投射注视落在与相应内点的位置相距第一阈值的范围内，如图8中的示例所示。在操作1112中，眼睛跟踪系统检测其余交互观察的外点子集，以使相应外点的相应投射注视落在与相应外点的位置相距第一阈值的范围之外，如图8中的示例所示。在操作1114，眼睛跟踪系统计算内点数目与外点数目之比。

如果所计算的比足够大，则系统可确定试验眼睛模型是更新现有模型的可接受候选。在操作1116，响应于该比大于第二阈值，眼睛跟踪系统产生更新眼睛模型的决定。在一个实施例中，更新眼睛模型可包括用试验眼睛模型来更新该眼睛模型。

替代地，更新眼睛模型可包括根据一些情况采用试验眼睛模型，例如，试验模型足够地不同于现有眼睛模型。也就是说，在确定试验眼睛模型是可接受的之后，系统可确定是否值得更新模型(例如，基于试验眼睛模型是否显著不同于现有模型)。具体地，操作1116中的眼睛模型更新决定可以是一致性算法的一部分以选择可靠的交互观察，并且可以基于试验眼睛模型与数个所观察的交互观察一致的置信度度量(例如，内点与外点之比)。在另一方面，采用试验眼睛模型可基于与现有模型的比较。例如，系统可确定试验眼睛模型与现有眼睛模型之间的差异(例如，两个模型之间的瞳孔尺寸的变化)，并响应于该差异大于第三阈值，用试验眼睛模型来取代现有眼睛模型。响应于该差异落在第三阈值之内，系统可保持现有眼睛模型。

在操作1118，响应于内点与外点之比落在第二阈值内，眼睛跟踪系统丢弃试验眼睛模型，并基于第二组交互观察来构建第二试验眼睛模型。

图12示出根据一些实施例的在检测到用户界面刺激事件之后复制用户注视的记录的替代性示例流程。如图所示，在操作1202，眼睛跟踪系统可立即复制用户注视的记录。替代地，在操作1204，眼睛跟踪系统可在预定时间段(例如，1分钟或2分钟)之后复制用户注视的记录。替代地，在操作1206，眼睛跟踪系统可在可变的时间段之后复制用户注视的记录。替代地，在操作1208，眼睛跟踪系统可中止用户注视的记录的改变。

虽然已描述了若干示例性配置，但可使用各种修改、替代结构和等效物而不脱离本公开的精神。例如，上述要素可以是较大系统的组成部分，其中其它规则可优先于本发明的应用或以其它方式改变本发明的应用。另外，可在考虑上述要素之前、之中或之后开始许多步骤。

已为了清楚和理解的目的对本公开进行了详细描述。然而要理解，在所附权利要求的范围内可实践某些变化和修改。

上面的描述仅提供示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，示例性实施例的以上描述将为本领域技术人员提供使其能够实现一个或多个示例性实施例的描述。要理解，可以对各个要素的功能和布置作出各种改变而不脱离本文所述的公开内容的精神和范围。

例如，针对一个实施例讨论的任何细节可以在该实施例的所有构想方案中出现或者不出现。同样，针对一个实施例讨论的任何细节可以在本文描述的其它实施例的所有构想方案中出现或者不出现。最后，针对本文的实施例未讨论的任何细节应当暗示这些细节可以在本文讨论的任何实施例的任何方案中出现或者不出现。

下面的描述中给出具体细节以提供对实施例的彻底理解。然而，本领域内技术人员将理解，可以在没有这些具体细节的情况下实践这些实施例。例如，为了不以不必要的细节使这些实施例变得晦涩难懂，本公开中的电路、系统、网络、过程和其它要素可以表示成框图的组成部分。在其它情况下，为了避免使实施例变得晦涩难懂，可以没有不必要的细节的方式示出公知的电路、过程、算法、结构和技术。

另外要注意，各实施例可以被描述为过程，所述过程被描绘为流程表、流程图、数据流程图、结构图或方框图。尽管流程图可将操作描述为依序的过程，但许多这样的操作可以并行或同时地执行。另外，可以重新安排操作的顺序。当过程的操作完成时，过程可以终止，但过程可以具有附图中未讨论或未包括的额外步骤。此外，不是任何具体描述的过程中的所有操作都可出现在所有实施例中。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，过程的终止对应于函数返回到调用函数或主函数。

术语“机器可读介质”包括但不限于：暂时性和非暂时性、便携或固定的存储设备，光学存储设备、无线信道，和能够存储、容纳或携带(一个或多个)指令和/或数据的各种其它介质。代码段或机器可执行指令可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任意组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，一代码段可以耦接到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包括存储共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或传输。

此外，本公开的实施例可至少部分手动或自动地实施。手动或自动实施可通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来执行或至少形成辅助。当以软件、固件、中间件或微代码实施时，执行必要任务的程序代码或代码段可被存储在机器可读介质中。一个或多个处理器可执行必要的任务。

如本文中所使用的，“基于第二物的第一物”等的术语可表示第一物仅基于第二物，或者第一物基于第二物以及一个或多个额外的物。

Claims (23)

1.一种用于校准眼睛跟踪系统的方法，所述方法由所述眼睛跟踪系统执行并且包括：

更新指示在一时间段内用户在用户界面上的注视的记录，所述用户界面与所述眼睛跟踪系统相关联，所述记录包括眼睛连续事件；

检测在所述时间段内发生的并与所述用户界面相关联的用户界面刺激事件；

基于所述记录确定所述眼睛连续事件与所述用户界面刺激事件之间的关联；

基于所述关联产生第一交互观察，所述第一交互观察至少包括所述眼睛连续事件以及与所述用户界面相关联的所述用户界面刺激事件的位置；以及

基于所述第一交互观察而更新个人校准参数以用于跟踪用户注视。

2.如权利要求1所述的计算机实施的方法，其中确定所述眼睛连续事件与所述用户界面刺激事件之间的关联包括：

基于所述用户界面刺激事件的类型确定所述记录的所述时间段内的用户注视时间间隔；

从所述记录识别在所述用户注视时间间隔内发生的所述眼睛连续事件；以及

基于所述眼睛连续事件的识别来确定所述关联。

3.如权利要求2所述的计算机实施的方法，其中确定所述用户注视时间间隔包括：

基于应用的类型确定期望类型的候选用户界面刺激事件；以及

确定所述用户界面刺激事件的类型是期望的类型。

4.如权利要求1所述的计算机实施的方法，进一步包括通过使用第一交互观察执行更新检查来产生个人校准参数更新决定，所述更新检查包括下面各项中的一个或多个：

随机抽样一致性(RANSAC)；

最大似然估计样本一致性(MLESAC)；

最大后验样本一致性(MAPSAC)；

KALMANSAC过程；以及

机器学习。

5.如权利要求1所述的计算机实施的方法，所述方法进一步包括通过以下步骤产生个人校准参数更新决定：

访问包括刺激事件的位置和眼睛连续事件的一组交互观察，所述一组交互观察包括至少四个交互观察，所述一组交互观察包括第一交互观察和第二交互观察，所述第二交互观察包括第二刺激事件的第二位置和第二眼睛连续事件；

从所述一组交互观察中选择所述第二交互观察；

基于所述第二交互观察来构造试验个人校准参数，以使得使用所述试验个人校准参数而对所述第二眼睛连续事件投射的注视目标落在所述第二位置附近；

基于所述试验个人校准参数和所述一组交互观察中的其余交互观察的眼睛连续事件来对所述其余交互观察投射注视目标；

检测所述其余交互观察的内点子集，以使得对于相应内点的相应投射注视落在与相应内点的位置相距第一阈值的范围内；

检测所述其余交互观察的外点子集，以使得对于相应外点的相应投射注视落在与相应外点的位置相距所述第一阈值的范围之外；

计算内点的数目与外点的数目之比；以及

响应于所述比大于第二阈值，产生更新所述个人校准参数的决定；以及

响应于所述比在所述第二阈值范围内，丢弃所述试验个人校准参数并基于第二组交互观察而构造第二试验个人校准参数。

6.如权利要求5所述的计算机实施的方法，其中更新所述个人校准参数包括：

确定所述试验个人校准参数与所述个人校准参数之间的差异；

响应于所述差异大于第三阈值，用所述试验个人校准参数来替代所述个人校准参数；以及

响应于所述差异在所述第三阈值的范围内，保留所述个人校准参数。

7.如权利要求1所述的计算机实施的方法，其中所述眼睛连续事件包括下面各项中的一个或多个：

用户的眼睛固定；以及

用户的眼睛移动。

8.如权利要求1所述的计算机实施的方法，其中所述用户界面刺激事件包括下面各项中一个或多个：

用户鼠标点击；

用户屏幕触碰；

用户选择；

用户键盘输入；

用户摇杆或游戏手柄输入；

用户手动控制器输入；

显示的光标；

显示的图标；

显示的通知；以及

显示的动画。

9.一种非暂时性计算机可读存储介质，其存储指令，一旦在计算机系统上执行所述指令，所述指令导致所述计算机系统执行用于校准眼睛跟踪系统的方法，所述方法包括：

更新指示在一时间段内用户在用户界面上的注视的记录，所述用户界面与所述眼睛跟踪系统相关联，所述记录包括眼睛连续事件；

检测在所述时间段内发生的并与所述用户界面相关联的用户界面刺激事件；

基于所述记录确定所述眼睛连续事件与所述用户界面刺激事件之间的关联；

基于所述关联产生第一交互观察，所述第一交互观察至少包括所述眼睛连续事件以及与所述用户界面相关联的所述用户界面刺激事件的位置；以及

基于所述第一交互观察而更新个人校准参数以用于跟踪用户注视。

10.如权利要求9所述的非暂时性计算机可读存储介质，其中确定所述眼睛连续事件与所述用户界面刺激事件之间的关联包括：

基于所述用户界面刺激事件的类型确定所述记录的所述时间段内的用户注视时间间隔；

从所述记录识别在所述用户注视时间间隔内发生的所述眼睛连续事件；以及

基于所述眼睛连续事件的识别来确定所述关联。

11.根据权利要求9所述的非暂时性计算机可读存储介质，其中所述关联的刺激事件的位置是二维或三维的。

12.根据权利要求9所述的非暂时性计算机可读存储介质，其中所述记录被存储在环形缓存内。

13.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述环形缓存的大小取决于给出所述用户界面刺激事件的应用的类型。

14.根据权利要求9所述的非暂时性计算机可读存储介质，其中所述方法进一步包括：一旦更新所述个人校准参数，删除所述第一交互观察的记录。

15.根据权利要求9所述的非暂时性计算机可读存储介质，其中基于所述记录中的时间戳或置信度量度来确定所述关联。

16.一种眼睛跟踪系统，包括：

相机；

处理器；以及

存储器，所述存储器存储计算机可读指令，一旦由所述处理器执行所述计算机可读指令，所述计算机可读指令导致所述眼睛跟踪系统执行用于校准所述眼睛跟踪系统的方法，所述方法包括：

更新指示在一时间段内用户在用户界面上的注视的记录，所述用户界面与所述眼睛跟踪系统相关联，所述记录包括眼睛连续事件；

检测在所述时间段内发生的并与所述用户界面相关联的用户界面刺激事件；

基于所述记录确定所述眼睛连续事件与所述用户界面刺激事件之间的关联；

基于所述关联产生第一交互观察，所述第一交互观察至少包括所述眼睛连续事件以及与所述用户界面相关联的所述用户界面刺激事件的位置；以及

基于所述第一交互观察而更新个人校准参数以用于跟踪用户注视。

17.如权利要求16所述的眼睛跟踪系统，其中识别与所述刺激事件关联的所述眼睛连续事件包括以下各项中的一个或多个：

从所述记录识别在所述记录的所述时间段内的眼睛固定时间间隔期间所述用户注视是稳定的；

从所述记录识别所述眼睛连续事件的模式对应于所述用户界面刺激事件的运动模式。

18.如权利要求16所述的眼睛跟踪系统，其中更新所述个人校准参数包括不执行最初校准地产生所述个人校准参数。

19.如权利要求16所述的眼睛跟踪系统，其中检测所述用户界面刺激事件进一步包括下面各项中的一个或多个：

立即复制所述用户注视的所述记录；

在预定时间段之后复制所述用户注视的所述记录；

在可变的时间段之后复制所述用户注视的所述记录；以及

暂停所述用户注视的所述记录的改变。

20.如权利要求16所述的眼睛跟踪系统，其中识别与所述刺激事件关联的所述眼睛连续事件是基于下面各项中的一个或多个：

从所述刺激事件的位置到所述眼睛连续事件的投射注视的距离；

所述眼睛连续事件的持续时间；

跟踪所述眼睛连续事件的准确性；以及

所述眼睛连续事件内的相关运动。

21.一种方法，包括权利要求1-8中的任意一项技术特征或技术特征的任意组合。

22.一种非暂时性计算机可读存储介质，包括权利要求9-15中的任意一项技术特征或技术特征的任意组合。

23.一种眼睛跟踪系统，包括权利要求16-20中的任意一项技术特征或技术特征的任意组合。