CN111902070A - 左眼和右眼凝视追踪数据的可靠性 - Google Patents

Abstract

凝视/眼睛追踪系统的电路获得左眼的一个或多个图像和右眼的一个或多个图像、基于至少一个所获得的左眼图像确定左眼的凝视方向、基于至少一个所获得的右眼图像确定右眼的凝视方向、基于所获得的左眼的一个或多个图像来确定第一置信度值、基于所获得的右眼的一个或多个图像来确定第二置信度值，以及至少部分地基于第一置信度值和第二置信度值来确定最终凝视方向。第一置信度值和第二置信度值分别表示所确定的左眼和右眼的凝视方向的可靠性的指示。还提供了相应的方法和计算机可读介质。

Description

左眼和右眼凝视追踪数据的可靠性

背景技术

本公开总体上涉及眼睛追踪领域。具体地，本公开涉及用于生成和/或使用指示眼睛的凝视方向的凝视追踪数据的系统和方法。

在本领域中已知几种不同的眼睛追踪系统。例如，可以采用这样的系统来允许用户通过看着计算机显示器上的某个位置来指示该位置。眼睛追踪系统可以捕获用户面部的图像，然后采用图像处理来从用户面部提取关键特征，诸如瞳孔中心和来自照亮用户面部的照明器的闪光。然后可以采用所提取的特征来确定用户看着显示器上的位置。自然而言，期望诸如眼睛追踪的准确性、速度和可靠性/鲁棒性的因素来实现积极的用户体验。因此，已经提出了几种方案来减轻在眼睛追踪系统中可能发生的不同类型的误差或不准确性的负面影响。

例如，US 2010/0328444 A1(其通过引用整体并入本文)公开了一种眼睛追踪器，该眼睛追踪器包括用于照亮眼睛的至少一个照明器、用于对眼睛成像的至少两个相机，以及控制器。该照明器和相机的配置使得至少一个相机与基准照明器同轴且至少一个相机与基准照明器不同轴。该控制器被适配成将这些相机之一选择成工作的以使图像质量度量最大化并且避免遮挡物体。该眼睛追踪器可工作在双相机模式下以提高准确度。还公开了一种方法和计算机程序产品，用于从多个基准照明器中选择工作的基准照明器和从多个相机中选择工作的相机的组合。

作为另一示例，US 2014/0362446 A1(其通过引用整体并入本文)公开了一种头戴式显示器(HMD)系统。该HMD系统包括眼睛位置检测器、优势眼检测器和图像生成器，该眼睛位置检测器包括被配置成检测该HMD用户的每只眼睛的位置的一个或多个相机，该优势眼检测器被配置成检测该HMD用户的优势眼，该图像生成器被配置成根据该HMD用户的眼睛位置来生成供该HMD显示的图像。该图像生成器被配置成对该优势眼的检测位置施加比该非优势眼的检测位置更大的权重。通过以下一个或多个步骤来检测该优势眼：(i)具有较宽移动范围的眼睛，(ii)最接近和/或最快地到达适合于所显示的刺激点的凝视方向的眼睛，(iii)保持与所显示的刺激点相关联的位置的眼睛。

作为另一个示例，US 2016/0004303 A1(通过引用将其整体并入本文)公开了一种眼睛凝视追踪系统，该眼睛凝视追踪系统包括凝视数据采集系统，该凝视数据采集系统包括多个光源和多个图像传感器。这些光源被布置成向该用户的头部发射光，并且这些图像传感器被配置成接收该光。在实施例中，该系统进一步包括凝视追踪模块，该凝视追踪模块包括视觉特征提取模块、关注点(POR)计算模块和POR平均模块。该视觉特征提取模块被配置成处理该凝视数据并且提取与每个图像传感器相关联的视觉特征，并且被配置成确定与每个图像传感器的这些参数的准确度相关联的置信度值。该置信度值可以例如取决于头部姿势角(偏转、俯仰和倾侧角)、用户距离和特征检测可靠性。该POR计算模块被配置成用于根据针对每个图像传感器的视觉特征来确定POR。该POR平均模块被配置成使用该各图像传感器的POR的置信度值来确定平均POR。

然而，期望提供解决上述问题中的至少一个的另外的系统和方法。

发明内容

本公开的目的是解决至少一个上述问题。

根据第一方面，提供了一种包含电路的眼睛追踪系统。该眼睛追踪系统也可以被称为凝视追踪系统。该电路被配置成用于获得用户的左眼的一个或多个图像以及该用户的右眼的一个或多个图像，基于所获得的左眼的至少一个图像来确定(或计算)该用户的左眼的凝视方向，以及基于所获得的右眼的至少一个图像来确定(或计算)用户的右眼的凝视方向。该电路被配置成用于基于该左眼的一个或多个所获得的图像来确定(或计算)第一置信度值。该第一置信度值表示所确定的左眼的凝视方向的可靠性的指示。该电路被配置成用于基于所获得的该右眼的一个或多个图像来确定(或计算)第二置信度值。该第二置信度值表示所确定的右眼的凝视方向的可靠性的指示。该电路被配置成用于至少部分地基于该第一置信度值和该第二置信度值来确定(或计算)最终凝视方向。最终凝视方向也可以被称为组合凝视方向。

由于左眼和右眼位于不同的位置，因此即使对于左眼和右眼的凝视追踪采用相同的图像，由眼镜或诸如眼睫毛或鼻子的遮挡元件引起的光学效果可能对针对左眼和右眼所确定的凝视方向具有不同的影响。当用户将视线聚焦在例如计算机屏幕上的某个点时，两只眼睛的不同定位通常也使得眼睛朝向稍微不同的方向。左眼和右眼的不同位置和/或取向可以例如导致来自照明器的闪光位于两个眼睛的不同部分。由于眼睛的不同部分具有不同的形状，这可能导致基于闪光所确定的凝视方向对于左眼和右眼具有不同的质量/准确度。左眼和右眼自身的光学特性也可以不同。例如，角膜的形状对于两只眼睛可以是不同的。眼睛的光学中心和中央凹的位置之间的偏移在左眼和右眼之间也可以不同。虽然这些差值可以是相对小的，但是这样的差值可以使得针对这些眼睛中的一只眼睛所确定的凝视方向比针对另一只眼睛所确定的凝视方向更不可靠。

如上所述，几种不同的因素可能潜在地使所确定的一只眼睛的凝视方向比所确定的另一只眼睛的凝视方向更可靠。如果最终凝视方向(或凝视点)是经由针对左眼和右眼的所确定的凝视方向的简单平均值来计算的，则在一只眼睛的所确定的凝视方向上的暂时误差可能在所获得的最终(或组合的)凝视方向上引起大的误差，即使在该时间段内其他眼睛的所确定的凝视方向是非常可靠的。确定左眼和右眼的置信度值，并且基于该置信度值确定最终(或组合的)凝视方向允许考虑这些因素来为用户提供更准确的最终(或组合的)凝视方向。例如，如果针对一只眼睛所确定的凝视方向被确定为不可靠，则可以向该凝视方向提供比针对另一只眼睛所确定的凝视方向更低的权重。

例如可以由一个或多个照明器照明左眼和右眼，该一个或多个照明器例如可以是诸如发光二极管的光源。

左眼和右眼的图像可以例如已经由一个或多个图像传感器(诸如一个或多个相机)捕获。

所确定的左眼的凝视方向可以例如定义估计的左眼凝视点。类似地，所确定的右眼的凝视方向可以例如定义右眼的所估计的凝视点。

应当理解，所确定的左眼的凝视方向的可靠性可以例如经由其中高置信度值表示高可靠性/置信度的正标度来指示，或者经由其中高置信度值表示低可靠性/置信度的负(或相反)标度来指示。换句话说，高置信度值可用于指示高可靠性或可用于指示高的不确定性/不可靠性。类似地，将认识到，所确定的右眼的凝视方向的可靠性可以例如经由其中高置信度值指示高可靠性/置信度的正标度来指示，或者经由其中高置信度值指示低可靠性/置信度的负(或相反)标度来指示。

该第一置信度值可以例如基于一个或多个参数来确定(或计算)，所述参数代表指示(或影响)为左眼所确定的凝视方向的可靠性的相应因素。该一个或多个参数可以例如基于该一个或多个所获得的左眼图像来计算(或确定)。该第一置信度值可以例如是指左眼的第一组合可靠性参数或组合可靠性参数。

该第二置信度值可以例如基于一个或多个参数来确定(或计算)，该一个或多个参数代表指示(或影响)为该右眼所确定的凝视方向的可靠性的相应因素。该一个或多个参数可以例如基于该一个或多个所获得的右眼图像来计算(或确定)。第二置信度值例如可以是指右眼的第二组合可靠性参数或组合可靠性参数。

根据一些实施例，该电路可以被配置成基于所确定的左眼的凝视方向、所确定的右眼的凝视方向、第一置信度值和第二置信度值来确定最终凝视方向。

根据一些实施例，最终凝视方向的确定可以至少部分地基于所确定的左眼的凝视方向和所确定的右眼的凝视方向的加权组合(或加权和)。

在加权组合中，所确定的左眼的凝视方向可以例如基于(或由)第一置信度值来加权，并且所确定的右眼的凝视方向可以例如基于(或由)第二置信度值来加权。

根据一些实施例，该电路可以被配置成基于所获得的左眼的一个或多个图像来确定(或估计)左眼的预定区域中的一个或多个闪光位置，并且基于所获得的右眼的一个或多个图像来确定(或估计)右眼的预定区域中的一个或多个闪光位置。

左眼和右眼例如可以由一个或多个照明器照明，该一个或多个照明器例如可以是诸如一个或多个发光二极管的光源。

在左眼和右眼处的闪光可以例如由来自照亮眼睛的一个或多个照明器的光的反射引起。

根据一些实施例，电路可以被配置成基于左眼的一个或多个图像来确定(或估计)左眼的瞳孔的位置和左眼处的一个或多个闪光位置，并且基于一个或多个闪光位置和瞳孔的位置来确定左眼的凝视方向。该电路可以被配置成基于右眼的一个或多个图像来确定或估计右眼的瞳孔位置和右眼处的一个或多个闪光位置，并且基于一个或多个闪光位置和瞳孔位置来确定右眼的凝视方向。

根据一些实施例，左眼的预定区域(并且类似地对于右眼的预定区域)可以包括从角膜中心延伸至角膜的球形区域的边缘的第一区域、从角膜的球形区域的边缘延伸至角膜的边缘的第二区域，和/或位于角膜边缘外部的第三区域。

眼睛的角膜在位于瞳孔周围的角膜的中心区域中通常是大致球形的，但越远离角膜的中心越偏离球形形状。因此角膜的中心区域可以被视为球形区域，而角膜的在球形区域之外的区域可以被视为非球形区域。

根据一些实施例，该第三区域可以位于巩膜处。

根据一些实施例，第一置信度值的确定可以至少部分地基于左眼的角膜中心(或瞳孔中心)与左眼处的一个或多个闪光之间的距离。该第二置信度值的确定可以至少部分地基于该右眼的角膜中心(或瞳孔中心)与该右眼处的一个或多个闪光之间的距离。

眼睛的角膜通常在瞳孔周围的中心区域是大致球形的，但是越远离角膜的中心并且因此也越远离瞳孔的中心越偏离球形形状。因此，眼睛的光学特性在这些区域中可能更难以建模，这使得在角膜上位于远处(或甚至远至巩膜)的闪光对于凝视方向的计算不太可靠。

确定该第一置信度值可以例如包含：将第一距离值(即，左眼的一个或多个闪光与角膜中心之间的距离)与与相比第二距离值相关联的可靠性更低的可靠性相关联。该第一距离值可以高于该第二距离值。换句话说，使用位置远离角膜中心的闪光获得的凝视方向可以被赋予(或分配)比赋予(或分配)给使用位置更靠近角膜中心的闪光获得的凝视方向的可靠性更低的可靠性。换句话说，当闪光进一步远离角膜中心移动时，可靠性可能降低。应当理解，其他因素也可以影响所确定的凝视方向的总体可靠性，并且所确定的凝视方向的总体可靠性因此可以增加，即使闪光远离角膜中心移动。

根据一些实施例，确定第一置信度值可以包括将位于左眼的第一区域的闪光与比与位于左眼的第二区域的闪光相关联的可靠性更高的可靠性相关联。该左眼的第一区域可以从角膜中心延伸至该角膜的球形区域的边缘。该左眼的第二区域可以从该角膜的球形区域的边缘延伸至该角膜的边缘。换句话说，使用位于第一区域中的闪光所获得的凝视方向可以被赋予(或分配)比分配(或赋予)给使用位于第二区域中的闪光所获得的凝视方向被的可靠性更高的可靠性。换句话说，所确定的凝视方向的可靠性可以随着闪光从第一区域移动到第二区域而降低。应当理解，其他因素也可以影响所确定的凝视方向的总体可靠性，并且因此即使闪光从第一区域移动到第二区域，总体可靠性也可以增加。

根据一些实施例，确定第一置信度值可以包括将位于左眼的第二区域的闪光与比与位于左眼的第三区域的闪光相关联的可靠性更高的可靠性相关联。左眼的第三区域可以位于角膜的边缘的外部。换句话说，使用位于第二区域中的闪光所获得的凝视方向可以被赋予(或分配)比分配(或赋予)给使用位于第三区域中的闪光所获得的凝视方向的可靠性更高的可靠性。换句话说，所确定的凝视方向的可靠性可以随着闪光从第二区域移动到第三区域而降低。应当理解，其他因素也可以影响所确定的凝视方向的总体可靠性，并且因此即使闪光从第二区域移动到第三区域，总体可靠性也可以增加。

根据一些实施例，确定第二置信度值可以包括将位于右眼的第一区域的闪光与比与位于右眼的第二区域的闪光相关联的可靠性更高的可靠性相关联。该右眼的第一区域可以从角膜中心延伸至该角膜的球形区域的边缘。右眼的第二区域可以从角膜的球形区域的边缘延伸到角膜的边缘。换句话说，使用位于第一区域中的闪光所获得的凝视方向可以被赋予(或分配)比分配(或赋予)给使用位于第二区域中的闪光所获得的凝视方向的可靠性更高的可靠性。换句话说，所确定的凝视方向的可靠性可以随着闪光从第一区域移动到第二区域而降低。应当理解，其他因素也可以影响所确定的凝视方向的总体可靠性，并且因此即使闪光从第一区域移动到第二区域，总体可靠性也可以增加。

根据一些实施例，确定第二置信度值可以包括将位于右眼的第二区域的闪光与比与位于右眼的第三区域的闪光相关联的可靠性更高的可靠性相关联。右眼的第三区域可以位于角膜的边缘之外。换句话说，使用位于第二区域中的闪光所获得的凝视方向可以被赋予(或分配)比被分配(或赋予)给使用位于第三区域中的闪光所获得的凝视方向的可靠性更高的可靠性。换句话说，所确定的凝视方向的可靠性可以随着闪光从第二区域移动到第三区域而降低。应当理解，其他因素也可以影响所确定的凝视方向的总体可靠性，并且因此即使闪光从第二区域移动到第三区域，总体可靠性也可以增加。

根据一些实施例，第一置信度值的确定可以基于左眼处的一个或多个闪光相对于左眼的瞳孔边缘的位置。该第二置信度值的确定可以基于该右眼处的一个或多个闪光相对于该右眼的瞳孔边缘的位置。

瞳孔的边缘可以用于估计瞳孔的位置和大小。如果闪光位于瞳孔的边缘处，则它将影响瞳孔边缘检测。较少的检测到的瞳孔边缘点将使得瞳孔位置和瞳孔大小确定不太可靠，这可能影响瞳孔中心和瞳孔边缘计算的准确性，从而可能影响所确定的凝视方向的可靠性。如果闪光在亮瞳孔图像中(其中瞳孔被照亮使得其在图像中是明亮的)位于瞳孔的边缘处，则瞳孔的亮度可能导致不正确地估计闪光的位置，使得凝视追踪数据不可靠。在这种情况下，位于瞳孔边缘上的闪光可以影响瞳孔边缘检测，同时闪光位置确定变劣，这两者都可以影响所确定的凝视方向的可靠性。

该第一置信度值的确定(并且类似地，该第二置信度值的确定)可以例如包括将基于与瞳孔边缘重叠的闪光而确定的凝视方向与较低的可靠性相关联，所述较低的可靠性是相比与基于不与瞳孔边缘重叠的闪光而确定的凝视方向相关联的可靠性而言的。换句话说，使用与瞳孔边缘重叠的闪光所获得的凝视方向可以被赋予(或分配)比被分配(或赋予)给使用不与瞳孔边缘重叠的闪光所获得的凝视方向的可靠性更低的可靠性。

根据一些实施例，电路可以被配置成确定左眼的瞳孔中心、右眼的瞳孔中心、左眼的眼球中心和右眼的眼球中心。

根据一些实施例，角膜中心可以是在角膜的球形区域处的位置，在该位置处，从眼球中心延伸穿过瞳孔中心的虚拟线与角膜的球形区域相交。

根据一些实施例，第一置信度值的确定可以至少部分地基于左眼的瞳孔和虹膜之间的对比度。高的瞳孔-虹膜对比度(比如瞳孔比虹膜亮很多，或虹膜比瞳孔亮很多)有利于瞳孔中心、瞳孔位置和瞳孔大小的确定。如果瞳孔-虹膜对比度太低，可能难以估计瞳孔的位置和大小，这可能影响所确定的凝视方向的可靠性。

该第一置信度值的确定可以例如包括将第一水平的对比度与较低的可靠性相关联，所述较低的可靠性是相比与第二水平的对比度相关联的可靠性而言的。第一水平的对比度可以低于第二水平的对比度。换句话说，基于瞳孔与虹膜之间具有高对比度的图像所确定的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比被分配(或赋予)给使用瞳孔与虹膜之间具有低对比度的图像所确定的凝视方向的可靠性而言的。换句话说，所确定的凝视方向的可靠性可以随着瞳孔和虹膜之间的对比度的降低而降低。

根据一些实施例，第二置信度值的确定可以至少部分地基于右眼的瞳孔和虹膜之间的对比度。第二置信度值的确定可以例如包括将第一水平的对比度(即，右眼的瞳孔-虹膜对比度)与较低的可靠性相关联，所述较低的可靠性是相比与第二水平的对比度相关联的可靠性而言的。第一水平的对比度可以低于第二水平的对比度。

根据一些实施例，第一置信度值的确定可以至少部分地基于在显示设备处所确定的左眼凝视位置相对于显示设备处的预定位置(或基准位置)的第一集中程度。类似地，第二置信度值的确定可以至少部分地基于在显示设备处所确定的右眼的凝视位置相对于显示设备处的预定位置的第二集中程度。

相同显示设备和预定位置例如可以用于双眼。可替代地，不同的预定位置和/或显示设备可以例如用于左眼和右眼。

应当理解，集中程度是所确定的凝视位置在显示设备处的聚拢程度的量度。集中程度也可以被认为是统计可变性的量度，或随机误差的大小。集中程度也可以被认为是凝视追踪的精准性的量度。

高的统计可变性(或随机大误差)可以指示所确定的凝视方向不太可靠。因此，第一置信度值和第二置信度值的确定可以例如包括将第一水平统计可变性与较低的可靠性相关联，所述较低的可靠性是相比与第二水平统计可变性相关联的可靠性而言的。该第一水平统计可变性可以高于该第二水平统计可变性。

可以例如在凝视追踪期间监测集中程度，和/或可以在凝视追踪系统的校准期间确定聚集水平(或统计可变性水平)。

根据一些实施例，第一置信度值的确定可以至少部分地基于在显示设备处的预定位置与所确定的左眼凝视位置(例如在显示设备处)的平均值之间的第一距离。该第二置信度值的确定可以至少部分地基于在显示设备处的预定位置与该右眼的所确定的凝视位置(例如在该显示设备处)的平均值之间的第二距离。

相同显示设备和预定位置例如可以用于双眼。可替代地，不同的预定位置和/或显示设备可以例如用于左眼和右眼。

预定位置与所确定的凝视位置的平均值之间的第一距离和第二距离可以例如被认为是凝视追踪的准确度的统计偏差的量度，或系统误差的大小的量度。

大的统计偏差可以指示所确定的凝视方向不太可靠。因此，第一置信度值和第二置信度值的确定可以例如包括将第一水平统计偏差与较低的可靠性相关联，所述较低的可靠性是相比与第二水平统计偏差相关联的可靠性而言的。该第一水平统计偏差可以高于该第二水平统计偏差。换句话说，当统计偏差水平为低时所获得的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比被分配(或赋予)给当水平统计偏差为高时所获得的凝视方向的可靠性而言的。换句话说，当统计偏差水平增加时，可靠性可能降低。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，并且因此即使统计偏差减小，总体可靠性也可能减小。

可以例如在凝视追踪期间监测，或者可以在校准步骤期间确定预定位置与分别针对左眼和右眼的所确定的凝视位置的平均值之间的第一距离和第二距离。

根据一些实施例，第一置信度值的确定可以至少部分地基于左眼处的闪光强度、左眼处的闪光的形状和/或左眼处的闪光数目。类似地，第二置信度值的确定可以至少部分地基于右眼处的闪光强度、右眼处的闪光形状和/或右眼处的闪光数目。

闪光可以例如分别位于左眼和右眼的角膜。

如果闪光的强度太高，则可能导致图像中的大白点，使得难以确定闪光中心的位置，这可能影响针对该眼睛的所确定的凝视方向的可靠性。具有高强度的闪光可以例如使图像中的像素饱和，使得闪光的大部分在图像中看起来与闪光的中心一样亮。如果闪光的强度太低，也可能难以准确地确定闪光的位置。因此，与具有在某个中间强度范围(合适的范围可以例如取决于捕获图像的图像传感器或相机)内的强度的闪光相比，具有过高或过低强度的闪光可能与较低的可靠性相关联。

根据一些实施例，第一置信度值的确定可以至少部分地基于对预期(或预定)的闪光形状与在左眼处检测到的闪光的形状之间的相似性的估计。

第一置信度值的确定可以例如包括将闪光形状之间的第一水平的闪光形状相似性与较低的可靠性相关联，所述较低的可靠性是相比与闪光形状之间的第二水平的闪光形状相似性相关联的可靠性而言的。第一水平的闪光形状相似性可以低于第二水平的闪光形状相似性。换句话说，使用形状与预期闪光形状相似的闪光所获得的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比被赋予(或分配)给使用闪光形状与预期闪光形状不太相似的闪光所获得的凝视方向的可靠性而言的。换句话说，当闪光的形状更多地偏离预期闪光形状时，可靠性可能降低。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，并且因此即使闪光的形状更多地偏离期望的闪光形状，总的可靠性也可以增加。

通常由来自照明器的光的反射引起闪光。闪光的形状取决于照明器的形状和光被反射的表面的几何形状。因此，可以预测闪光的形状。偏离预期形状可以指示闪光位于眼睛的具有预料之外的光学特性(这可能有损于所确定的凝视方向的可靠性)的区域，或者指示闪光源于与预期不同的光源。因此，意外的闪光形状可以指示所确定的凝视方向的较低可靠性。

根据一些实施例，第二置信度值的确定可以至少部分地基于对预期闪光形状和在右眼处检测到的闪光的形状之间的相似性的估计。

该第二置信度值的确定可以例如包括将闪光形状之间的第一水平的闪光形状相似性与较低的可靠性相关联，所述较低的可靠性是相比与闪光形状之间的第二水平的闪光形状相似性相关联的可靠性而言的。第一水平的闪光形状相似性可以低于第二水平的闪光形状相似性。换句话说，使用形状与预期闪光形状相似的闪光所获得的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比赋予(或分配)给使用形状与预期闪光形状不太相似的闪光所获得的凝视方向的可靠性而言的。换句话说，当闪光的形状更多地偏离预期闪光形状时，可靠性可能降低。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，并且因此即使闪光的形状更多地偏离预期闪光形状也可以增加可靠性。

根据一些实施例，第一置信度值的确定可以至少部分地基于在左眼处检测到的闪光数目与预定(或预期)的闪光数量之间的比较。

第一置信度值的确定可以例如包括将其中检测到的闪光数目与比与预定(或预期)闪光数目一致的情况与较高的可靠性相关联，所述较高的可靠性是相比其中检测到的闪光数目偏离预定(或预期)闪光数目的情况相关联的可靠性而言的。换句话说，使用来自具有预定数量的闪光的图像的闪光所确定的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比被赋予(或分配)给使用来自具有不同数量的闪光的图像的闪光所确定的凝视方向的可靠性而言的。换句话说，当闪光数目偏离预定的闪光数目时，可以降低可靠性。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，并且因此即使检测到的闪光数目偏离预定闪光数目，总体可靠性也可能增加。

可以通过使用来自多个照明器的闪光来增加所确定的凝视方向的可靠性。如果图像中缺少一些期望的闪光，这可能影响凝视追踪的可靠性。如果在图像中存在出乎意料地高数量的闪光，则可能更难以识别用于凝视追踪的正确闪光，并且不正确的闪光可能遮挡与凝视估计相关联的图像数据。例如，可以由环境中的其他光源和/或闪光将要从角膜上脱离而引起意料不到的大量闪光。

根据一些实施例，第二置信度值的确定可以至少部分地基于在右眼处检测到的闪光数目与预定(或预期)闪光数目之间的比较。

该第二置信度值的确定可以例如包括将检测到的右眼处的闪光数目与预定(或预期)闪光数目一致的情况与较高的可靠性相关联，所述较高的可靠性是相比与检测到的右眼处的闪光数目偏离预定(或预期)闪光数目的情况相关联的可靠性而言的。换句话说，使用来自具有预定数量的闪光的图像的闪光所确定的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比被赋予(或分配)给使用来自具有不同数量的闪光的图像的闪光所确定的凝视方向而言的。换句话说，当闪光数目偏离预定的闪光数目时，可以降低可靠性。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，并且因此即使检测到的闪光数目偏离预定闪光数目，总体可靠性也会增加。

根据一些实施例，第一置信度值的确定可以至少部分地基于指示在一个或多个所获得的左眼图像中存在来自眼镜的反射的参数，和/或基于指示在一个或多个所获得的左眼图像中左眼的某一区域是否至少部分被遮挡的参数。类似地，第二置信度值的确定可以至少部分地基于指示在一个或多个所获得的右眼图像中存在来自眼镜的反射的参数，和/或基于指示在一个或多个所获得的右眼图像中右眼的某一区域是否至少部分被遮挡的参数。

在凝视追踪中使用的闪光和/或瞳孔可以例如在来自眼镜的反射中被淹没，由此可以影响所确定的凝视方向的可靠性。计算第一置信度值可以例如包含将在左眼中存在来自眼镜的反射期间所确定的凝视方向与较低的可靠性相关联，所述较低的可靠性是相比与在左眼中不存在这样的反射的情况下所获得的凝视追踪数据相关联的可靠性而言的。类似地，计算第二置信度值可以例如包含将在右眼中存在来自眼镜的反射期间所确定的凝视方向与较低的可靠性相关联，所述较低的可靠性是相比与在右眼中不存在这样的反射时所获得的凝视追踪数据相关联的可靠性而言的。

遮挡眼睛的某些区域的物体(诸如眼睑或眼睫毛)可能遮挡在凝视追踪中使用的特征，诸如闪光和/或瞳孔，由此可以降低所确定的凝视方向的可靠性。因此，当眼睛的某些区域被遮挡时所确定的凝视方向可以关联于(或被分配)较低的可靠性，所述较低的可靠性是相比当眼睛的这些区域被遮挡时所获得的凝视方向而言的。

根据一些实施例，第一置信度值和第二置信度值的确定可以至少部分地基于分别用于左眼和右眼的参数，该参数指示眼睛的一个或多个所获得的图像中的瞳孔边缘像素的数量。瞳孔边缘像素可以是沿着(或位于)瞳孔边缘的在一个或多个所获得的眼睛图像中可见的那些一个或多个部分定位的图像像素。

瞳孔的边缘可用于估计瞳孔中心的位置、瞳孔的边缘和瞳孔大小。该数据可以用于估计眼睛的凝视方向和/或凝视点(或注视点)。如果沿着瞳孔的边缘(或在瞳孔的边缘处)定位的图像像素的数量较低，则瞳孔位置(以及由此基于瞳孔位置所确定的凝视方向)的可靠性可能降低。

第一置信度值和第二置信度值的确定可以例如包括将第一数量的瞳孔边缘像素与较低的可靠性相关联，所述较低的可靠性是相比与第二数量的瞳孔边缘像素相关联的可靠性而言的。第一数量的瞳孔边缘像素可以例如低于第二数量瞳孔边缘像素。换句话说，基于具有较少数量的瞳孔边缘像素的图像所确定的凝视方向可以被赋予(或分配)较低的可靠性，所述较低的可靠性是相比基于具有较多数量的瞳孔边缘像素的图像所确定的凝视方向而言的。换句话说，如果瞳孔边缘像素的数量增加，则可靠性可能增加。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，使得即使瞳孔边缘像素的数量增加，总体可靠性也会降低。

根据一些实施例，该电路可以被配置成分别针对左眼和右眼，基于眼睛的一个或多个图像来确定由来自第一照明器的光的反射引起的眼睛处的第一闪光位置，基于第一闪光位置以及第一照明器和第二照明器之间的空间关系来预测由来自第二照明器的光的反射引起的眼睛处的第二闪光位置，以及基于眼睛的一个或多个图像确定由来自第二照明器的光的反射引起的眼睛处的第二闪光位置。

当眼睛被第一照明器照亮时，可以例如由相机捕获一个或多个图像，从中确定第一闪光位置。当眼睛被第二照明器照亮时，可以例如捕捉一个或多个图像，从中确定第二闪光位置。

可以例如基于在眼睛处的第一闪光的位置并且基于第二照明器相对于第一照明器的位置和/或取向的了解来预测在眼睛处的第二闪光的位置，并且可选地还基于该第二照明器相对于布置成捕获该第二图像的相机的位置和/或取向、眼睛的几何模型和/或眼睛的估计位置的了解来预测在眼睛处的第二闪光的位置，。

应当理解，基于第一闪光位置“预测”第二闪光位置不一定意味着第二闪光出现在第一闪光之后。第二闪光可以例如出现在与第一闪光相同的图像中。第二闪光可以例如出现在第一闪光出现的图像之前或之后的图像中。

根据一些实施例，第一置信度值和第二置信度值的确定可以至少部分地基于预测的第二闪光位置和所确定的第二闪光位置之间的差(或距离)。

在眼睛处的第二闪光的预测位置和所确定的位置之间的大的差可以指示针对该眼睛所确定的凝视方向可能不如针对另一只眼睛所确定的凝视方向可靠。

因此，计算第一置信度值(并且类似地计算第二置信度值,但却是针对右眼而不是左眼)可以例如包含将左眼处的第二闪光的预测位置和确定位置之间的第一大小的差与较低的可靠性相关联，所述较低的可靠性是相比与左眼处的第二闪光的预测位置和确定位置之间的第二大小的差相关联的可靠性而言的。该第一大小的距离可以大于该第二大小的差。换句话说，使用第二闪光的确定位置和预测位置彼此靠近的图像所获得的凝视方向可以被赋予(或分配)较高的可靠性，所述较高的可靠性是相比被赋予(或分配)给使用第二闪光的预测位置和确定位置彼此较远离的图像所获得的凝视方向的可靠性而言的。换句话说，当第二闪光的预测位置和确定位置之间的距离增加时，可靠性可能降低。应当理解，其他因素也可以影响所确定的凝视方向的可靠性，并且即使第二闪光的预测位置和确定位置之间的距离增加，总体可靠性也可能增加。

根据一些实施例，第一置信度值和第二置信度值的确定可以至少部分地基于指示眼睛相对于另一只眼睛是否占优势的参数。

例如可以基于相应眼睛如何移动和/或基于当用户被提示看着基准点时相应眼睛的关注点与基准点之间的相应偏差来计算指示一只眼睛相对于另一只眼睛是否占优势的参数。

根据一些实施例，该系统可以包含用于照射眼睛的至少一个照明器，以及用于捕获眼睛的图像的一个或多个相机。

至少一个照明器可以例如与用于捕获亮瞳孔图像的至少一个相机同轴地布置。至少一个照明器可以例如与用于捕获暗瞳孔图像的至少一个相机非同轴地布置。

根据一些实施例，第一置信度值和第二置信度值的确定可以至少部分地基于指示在分别用于计算左眼和右眼的凝视方向的眼睛模型的校准之后剩余的残差的大小的参数。

根据一些实施例，该电路可以被配置成针对图像序列对左眼执行凝视追踪，估计从该图像序列到左眼的距离(例如，从捕获该图像序列的相机到左眼的距离)，并且估计在所估计的到左眼的距离中的噪声水平。该电路可以被配置成针对图像序列执行对右眼的凝视追踪，估计从该图像序列到右眼的距离(例如，从捕获该图像序列的相机到右眼的距离)，并且估计在所估计的到右眼的距离中的噪声水平。第一置信度值和第二置信度值的确定可以分别基于指示到左眼和右眼的所估计的距离中的噪声水平的参数。

在所估计的到眼睛的距离中的高噪声水平可以指示该眼睛的所确定的凝视方向是不可靠的。因此，眼睛(诸如左眼和/或右眼)的置信度值的计算可以例如包含将第一噪声水平与比与第二噪声水平相关联的可靠性更低的可靠性相关联。该第一噪声水平可以高于该第二噪声水平。换句话说，当所估计的距离中的噪声水平高时所获得的凝视方向可以被赋予(或分配)较低的可靠性，所述较低的可靠性是相比被赋予(或分配)给当所估计的距离中的噪声水平低时所获得的凝视方向的可靠性。换句话说，当所估计的距离中的噪声水平增加时，可靠性可能降低。应当理解，其他因素可以影响所确定的眼睛凝视方向的可靠性，并且因此即使所估计的距离中的噪声水平增加，总体可靠性也可以增加。

根据第二方面，提供了一种方法。该方法包含获得用户的左眼的一个或多个图像和用户的右眼的一个或多个图像。该方法包含基于所获得的左眼的至少一个图像来确定该用户的左眼的凝视方向，并且基于该右眼的至少一个所获得的图像来确定该用户的右眼的凝视方向。该方法包含基于该一个或多个所获得的左眼图像来确定第一置信度值。该第一置信度值表示所确定的左眼的凝视方向的可靠性的指示。该方法包含基于该一个或多个所获得的右眼图像来确定第二置信度值。该第二置信度值表示所确定的右眼的凝视方向的可靠性的指示。该方法包含至少部分地基于该第一置信度值和第二置信度值来确定最终凝视方向。

第二方面的方法可以例如由第一方面的任何实施例的系统执行，或者由包含在这样的系统中的电路执行。

根据第二方面的方法的实施例可以例如包括与根据第一方面的系统的任何实施例的特征相对应的特征。

根据第三方面，提供了一种或多种存储计算机可执行指令的计算机可读存储介质，该计算机可执行指令在由执行眼睛/凝视数据处理的计算系统执行时使得该计算系统执行一种方法。该方法可以例如是根据第二方面的方法。

根据第三方面的一个或多个计算机可读存储介质的实施例可以例如包括与根据第一方面的系统的任何实施例的特征相对应的特征。

该一个或多个计算机可读介质可以例如是一个或多个非暂时性计算机可读介质。

注意，本发明的实施例涉及权利要求中该特征的所有可能组合。

附图说明

下面将参考附图描述示例性实施例，其中：

图1示出了根据实施例的眼睛追踪系统；

图2示出了眼睛的示例性图像；

图3是眼睛的一部分的横截面图；

图4a-4g示出了根据用户正在看的位置，来自照明器的闪光可以位于左眼和右眼中的什么位置的示例；

图5示出了明亮瞳孔图像的示例；

图6示出一眼睛，其中闪光位于瞳孔的边缘；

图7a和7b示出了校准之前和之后所估计的凝视点；

图8示出了低和高统计可变性的示例；

图9示出了低和高统计偏差的示例；

图10-12是根据实施例的方法的流程图；和

图13是能够在本发明的装置或系统的至少一些部分中使用，或者实施本发明的方法的至少一些部分的专用计算机系统的框图。

所有附图都是示意性的，并且通常仅示出为了阐明各个实施例而必需的部分，而其他部分可以被省略或者仅仅被暗示出。

具体实施方式

随后的描述仅提供示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，随后对示例性实施例的描述将向本领域技术人员提供用于实现一个或多个示例性实施例的可能性描述。应当理解，在不脱离本文阐述的本发明的精神和范围的情况下，可以对各种要素的功能和布置进行各种改变。

例如，关于一个实施例所讨论的任何细节可以存在于该实施例的所有预期版本中或者可以不那样。同样地，关于一个实施例所讨论的任何细节可以存在于本文所讨论的其他实施例的所有预期版本中或者可以不那样。最后，关于本文实施例的任何细节如果未被讨论，则表示这样的细节可以存在于本文讨论的任何实施例的任何版本中或者可以不那样。

在以下描述中给出了具体细节以提供对实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践实施例。例如，本发明的电路、系统、网络、过程和其他元件可以被图示为框图形式的组件，以免因不必要的细节上使实施例变得晦涩难懂。在其他实例中，可以示出公知的电路、过程、算法、结构和技术而没有不必要的细节，以避免使实施例变得晦涩难懂。

此外，应当注意，各个实施例可以被描述一过程，该过程为被描绘为流程表、流程图、数据流程图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时地执行。此外，可以重新排列操作的顺序。过程可在其操作完成时终止，但可具有图中未论述或包含的额外步骤。此外，并非任何特别描述的过程中的所有操作都可以在所有实施例中出现。过程可以对应于方法、函数、过程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。

术语“机器可读介质”等包括但不限于暂时性和非暂时性、便携式或固定存储装置、光学存储装置、无线信道以及能够存储、包含或携带指令和/或数据的各种其他介质。代码段或机器可执行指令可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类别，或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，一代码段可耦合到另一代码段或硬件电路。可以经由包括存储器共享、消息传递、令牌传递、网络传输等在内的任何合适的手段来传递、转发或传输信息、自变量、参数、数据等。

此外，可以至少部分地手动地或自动地实现本发明的实施例。可通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实施方案。当用软件、固件、中间件或微代码实施时，用于执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要的任务。

眼睛追踪

图1示出了根据实施例的眼睛追踪系统100(其也可以被称为凝视追踪系统)。系统100包含用于照亮用户眼睛的照明器111和112以及用于捕获用户眼睛的图像的光传感器113。照明器111和112例如可以是发射红外频带或近红外频带中的光的发光二极管。光传感器113可以例如是相机，诸如互补金属氧化物半导体(CMOS)相机或电荷耦合器件(CCD)相机。

第一照明器111与光传感器113同轴(或靠近)布置，使得光传感器113可以捕获用户眼睛的亮瞳孔图像。由于第一照明器111和光传感器113的同轴布置，从眼睛的视网膜反射的光通过瞳孔朝向光传感器113返回，使得瞳孔在第一照明器111照射眼睛的图像中显得比其周围的虹膜更亮。第二照明器112布置成与捕获暗瞳孔图像额光传感器113非同轴(或更远离)。由于第二照明器112和光传感器113的非同轴布置，从眼睛的视网膜反射的光没有到达光传感器113，并且在第二照明器112照射眼睛的图像中瞳孔看起来比其周围的虹膜更暗。照明器111和112可以例如轮流照射眼睛，使得每个第二图像有时是亮瞳孔图像有时是暗瞳孔图像。

眼睛追踪系统100还包含用于处理由光传感器113捕获的图像的电路120(例如包括一个或多个处理器)。电路120可以例如经由有线或无线连接而连接到光传感器113以及照明器111和112。在另一个示例中，可以在光传感器113的光敏表面下方的一个或多个堆叠层中提供一个或多个处理器形式的电路120。

图2示出了由光传感器113捕获的眼睛200的图像的示例。电路120例如可以采用图像处理(例如数字图像处理)来提取图像中的特征。电路120可以例如采用瞳孔中心角膜反射(PCCR)眼睛追踪来确定眼睛200正在凝视的位置。在PCCR眼睛追踪中，处理器120估计瞳孔210的中心的位置和眼睛200处的闪光220的中心的位置。闪光220是由来自照明器111和112中的一个的光的反射引起的。处理器120使用闪光220计算用户在空间中的位置并使用瞳孔210计算用户眼睛200所指向的位置。由于在眼睛200的光学中心和视网膜中央凹之间通常存在偏移，因此处理器120执行视网膜中央凹偏移的校准以能够确定用户正在凝视的位置。从左眼和右眼所获得的凝视方向然后可以被组合以形成组合的估计凝视方向(或观看方向)。如下文所述，当形成这种组合时，许多不同的因素可能影响左眼和右眼的凝视方向应当如何相对于彼此被加权。

在参考图1描述的实施例中，照明器111和112布置在眼睛追踪模块110中，所述眼睛追踪模块位于由用户观看的显示器下方。这种布置仅用作示例。应当理解，可以采用几乎任何数量的照明器和光传感器用于眼睛追踪，并且这种照明器和光传感器可以相对于用户观看的显示器以许多不同的方式分布。应当理解，本公开中描述的眼睛追踪方案可以例如用于远程眼睛追踪(例如在个人计算机、智能电话中，或集成在车辆中)或用于可佩戴式眼睛追踪(诸如在虚拟现实眼镜或增强现实眼镜中)。

角膜上的闪光位置

工业发展趋势是更大的屏幕。虽然存在支持高达27”(16：9)的屏幕的眼睛追踪器，但期望支持比这更大的屏幕。支持大屏幕的问题在于，当用户观看靠近屏幕边缘的点时，闪光倾向于从角膜上脱离，使得难以确定用户的关注点(也称为凝视点)。

然而，右眼上的闪光通常不会与左眼上的闪光同时从角膜上脱离。这意味着即使来自其中一只眼睛的凝视追踪数据不是非常有用(或者不是非常可靠)，但来自另一只眼睛的凝视追踪数据仍然可以具有良好的质量。今天，屏幕上的凝视点通常被形成为左眼的凝视点和右眼的凝视点的简单平均值。因此，用户体验受到最坏眼睛的限制，而不受最好眼睛。如果在来自左眼和右眼的凝视追踪数据的加权期间将闪光在每只眼睛处的位置考虑在内，则可以提供与最佳眼睛的凝视追踪数据更一致的用户体验。眼睛的凝视追踪数据可以例如包括相应眼睛的凝视方向和/或相应眼睛的凝视点。

图3示出了眼睛300的不同部分的横截面。角膜310具有中心区域311和外部区域312，该中心区域311通常接近于球形，该外部区域312是非球形的并且因此更难以建模。中心区域311(在本文也称为角膜310的球形区域)从角膜中心313延伸至球形区域314的边缘314。角膜中心313是在角膜310的球形区域311处的位置，在该位置处，从眼球中心330延伸穿过瞳孔中心350的虚拟线340与角膜310的球形区域311相交。角膜310的外部区域312(在本文也称为角膜310的非球形区域)从角膜310的球形区域311的边缘314延伸到角膜310的边缘315。图3还示出了眼睛300的巩膜320。

为了确定眼睛300的凝视点，需要找到用户在空间中的位置，这通过使用闪光的位置和眼睛的几何形状来完成。闪光也用于确定眼睛的旋转角度。即使闪光没有完全从角膜310脱离，它也可能位于角膜310的非球形区域312中，那里的形状因人而异的程度非常大。角膜310的非球形区域312的形状甚至在人的左眼和右眼之间也可能不同。

图4a-4g示出了来自照明器的闪光可以位于左眼和右眼的什么位置的示例，这取决于用户410正在看屏幕420的哪个部分。

在这些图中，屏幕420在右上角示出，并且用户的实际凝视点(或实际关注点)由圆421示出。屏幕420上的点422表示例如在校准期间用户可以看着的基准点。每个附图4a-4g展示了闪光411在左眼412的位置和闪光413在右眼414的位置。

在图4a中，用户410正直视位于屏幕420下方的相机。闪光411和413都在角膜的球形区域311上。因此双眼的闪光似乎都适合于凝视追踪。

在图4b中，用户的凝视点421已经在屏幕420上向上并向右移动。左眼闪光411和右眼闪光413都仍然在角膜的球形区域311中。因此双眼处的闪光似乎非常适合于凝视追踪。

在图4c中，用户的凝视点421在屏幕420上进一步向上并向右移动。左眼闪光411现在在角膜的非球形区域312中，而右眼闪光413仍然在角膜的球形区域311中。因此，右眼处的闪光413似乎非常适合于凝视追踪，而左眼处的闪光411将使凝视追踪变得不太可靠。

在图4d中，用户的凝视点421在屏幕420上进一步向上并向右移动。左眼闪光411在角膜的非球形区域312中，而右眼闪光413在角膜的球形区域311中。因此，右眼处的闪光413似乎非常适合于凝视追踪，而左眼处的闪光411将使凝视追踪变得不太可靠。

在图4e中，用户的凝视点421已经在屏幕420上进一步向上移动。左眼闪光411靠近角膜310的边缘，而右眼闪光413在角膜的非球形区域312中。由于左眼闪光411将要从角膜310上脱离，因此眼睛的几何形状导致在左眼412上出现多个闪光而不是仅一个闪光。这使得基于左眼闪光411的凝视追踪不可靠，而右眼闪光413可以稍微更好地适合于凝视追踪。

在图4f中，用户的凝视点421已经移动到屏幕420的右上角。左眼闪光411现在在巩膜320上(可以通过该闪光的非圆形形状以及在巩膜上进一步向外的位置存在额外闪光而看到这个)，而右眼闪光413在角膜的非球形区域312中。

在图4g中，用户的凝视点已经进一步向上并向右移动。左眼闪光411在巩膜320上，而右眼闪光413现在在角膜310的边缘上。由于右眼闪光413将要从角膜310上脱离，眼睛的几何形状导致在右眼414处出现多个闪光而不是仅一个闪光。

如上所述，闪光在角膜上的位置在双眼之间可以不同。这是可能影响分别基于左眼和右眼上的闪光所确定的凝视追踪数据(诸如凝视方向)的可靠性的一个因素，并且在下表1中作为因素A列出。该因素A例如可以表示为闪光与角膜中心313之间的距离。由于角膜310的球形区域311位于靠近瞳孔的角膜310中心，因此角膜310处的闪光的位置也可以表示为闪光相对于眼睛的瞳孔(或相对于瞳孔中心350)的位置。因素A可以例如表示为眼睛处的闪光与眼睛瞳孔的中心350之间的距离。

瞳孔/虹膜对比度

瞳孔与虹膜之间的对比度既取决于虹膜的反射又取决于用户的亮瞳孔效应。亮瞳孔效应可根据年龄、种族、瞳孔大小和眼睛追踪器几何形状而显著不同，但也可由于若干其他原因而不同。这意味着瞳孔/虹膜对比度可能例如始终在一只眼睛处是不良的，或者瞳孔/虹膜对比度可能在两只眼睛处都是好的，但是对于一只眼睛可能突然消失。亮瞳孔效应可以例如在一定角度内消失。当瞳孔和虹膜之间存在低对比度(或没有对比度)时，可能难以检测瞳孔，从而无法正确地确定凝视方向。如果这发生在一只眼睛上，则对该眼睛的凝视追踪数据(例如凝视方向)应该给予比另一只眼睛的凝视点数据更低的权重(或置信度)。换句话说，瞳孔/虹膜对比度是影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的因素，并且在下面的表1中被列为因素B。

图5示出了一个示例，其中右眼510的瞳孔511作为亮点是清楚可见的，而在左眼520中由于低的瞳孔/虹膜对比度几乎不可能确定左眼520中的瞳孔中心。

闪光强度

如果瞳孔或闪光被不正确地确定，则屏幕上的所估计的凝视点可能消失。即使小的误差也可能导致不良的眼睛追踪体验。为了准确地确定闪光的位置，重要的是闪光在图像中不会过度饱和，并且闪光的强度不会过低。饱和可能导致闪光在图像中表现为大的白色斑点。闪光的中心可能难以估计，因为饱和可能导致整个区域具有与闪光的中心相同的颜色。低/高强度闪光的可能原因可能是眼睛外科手术或眼睛上的泪膜厚度变化。闪光强度是影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的因素，并且在下面的表1中被列为因素C。

瞳孔边缘上的闪光

图6示出了眼睛600，其中来自照明器的闪光610位于瞳孔630的边缘620处。闪光610与瞳孔边缘620重叠并且因此导致边缘620的较小部分在图像中可见，从而使得瞳孔中心的估计更不可靠。在不同的情况下，闪光610相对于瞳孔630的大小可以不同。如果闪光610相对于瞳孔630较大，则其可以覆盖瞳孔630的边缘620的显著部分。

此外，在亮瞳孔图像中，如果闪光610位于瞳孔630的边缘620，则闪光610的中心的计算可能受到亮瞳孔630的影响。可以例如类似于计算质心那样来执行闪光610的中心的计算(但是使用光强度而不是质量)。所计算的闪光位置因此可以被“拖动到”瞳孔630内，这可能导致不正确地确定的用户位置和/或凝视角度。

鉴于上述内容，如果眼睛之一在瞳孔边缘620上具有闪光610(或者具有与瞳孔边缘620重叠的闪光610)，则来自该眼睛的凝视追踪数据应当以低于来自另一眼睛的凝视追踪数据的权重被加权，尤其是在闪光610覆盖大部分瞳孔边缘620的情况下。瞳孔边缘上的闪光是影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中作为因素D列出。

眼镜反射

佩戴眼镜可能导致眼睛图像的大反射。如果这样的反射以不好的方式覆盖眼睛(例如覆盖诸如瞳孔的某些区域)，则可能难以或者甚至不可能在图像中找到瞳孔中心和/或闪光。如果一只眼睛发生这种情况，则可能期望完全忽略来自该眼睛的凝视追踪数据。另一方面，在一些情况下，眼镜反射可以仅覆盖眼睛的一部分，使得瞳孔和闪光仍然可以被检测到，但是准确度比正常情况低。在这样的情况下，可能期望使用来自该眼睛的凝视追踪数据，但是与其他眼睛相比具有较低的权重。眼睛追踪器可被设计成使得两只眼睛同时具有来自眼镜的反射的概率非常低(例如，通过将照明器和相机布置在适当的位置处)。因此，可以通过适当地加权来自左眼和右眼的凝视追踪数据(诸如凝视方向)来减少来自眼镜的反射的影响。眼镜反射的存在是影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中作为因素E列出。

遮挡物体

诸如眼睫毛或眼睑的物体在一些情况下可能覆盖任何眼睛的关键部分，使得难以确定该眼睛的凝视点(或凝视方向)。在这样的情况下，可能期望对来自该眼睛的凝视追踪数据(例如凝视方向)给予比来自另一眼睛的凝视追踪数据更低的权重(或更低的置信度)。在眼睛的关键区域被遮挡的一些情况下，甚至可能期望完全忽略来自该眼睛的凝视追踪数据(或凝视方向)，转而使用来自未被遮挡的眼睛的凝视追踪数据(或凝视方向)。遮挡对象的存在是影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素F。

机器学习置信度

可以采用黑盒机器学习算法来为每只眼睛产生置信度值。如果足够量的训练数据可供该算法使用，则适当设计的机器学习算法可能潜在地产生适当的置信度值。这样的置信度值可以被用作指示左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素G。例如，可以基于所确定的凝视追踪数据与用户实际凝视的对应基准点/位置之间的比较来训练机器学习算法。

瞳孔边缘像素的数量

可以使用瞳孔边缘的在图像中可见的那些部分来计算瞳孔中心。图像通常是数字图像，对于这些图像，采用沿着(或覆盖)瞳孔边缘定位的像素来估计的瞳孔中心的位置。在图像中可以获得的瞳孔边缘像素越多，越容易确定瞳孔中心。许多因素可能影响瞳孔边缘像素的数量，比如瞳孔大小、遮挡等。基本上，期望使用没有任何东西遮盖/遮挡瞳孔的图像，并且期望具有尽可能多的瞳孔边缘像素。如果一只眼睛具有较少的瞳孔边缘像素，则可能因此期望给予该眼睛的凝视追踪数据(例如所确定的凝视方向)比来自另一只眼睛的凝视追踪数据更低的权重(或更低的置信度)。瞳孔边缘像素的数量是分别影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素H。

瞳孔边缘像素的空间分布

瞳孔边缘像素的空间分布也可以影响能够多好地估计瞳孔中心位置、瞳孔大小和/或瞳孔形状。例如，与在瞳孔的左半部分处x/2个瞳孔边缘像素可用且在瞳孔的右半部分处x/2个瞳孔边缘像素可用的情形相比，仅位于瞳孔的左半部分处的x个瞳孔边缘像素可能导致不太可靠的凝视追踪数据(例如不太可靠的凝视方向)。换句话说，瞳孔边缘像素在从相应眼睛所获得的一个或多个图像中的空间分布程度因此是分别影响左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素Q。因素Q也可以表示为可用瞳孔边缘像素沿着眼睛的瞳孔边缘的空间分布程度，或者表示为瞳孔边缘像素关于瞳孔中心的角分布。

校准质量(残差)

为了提供良好的眼睛追踪体验，需要校准。图7a-7b示出了眼睛追踪器的校准。在校准过程期间，用户观看屏幕上的测试点，并且算法优化眼睛模型以便使这些点中的每一者的误差最小化。如图7a中所示，用户观看多个测试点701。由眼睛追踪器为每个测试点701估计凝视点702。在本示例中，为每个测试点701生成十个连续凝视点702。然后校准眼睛模型以使测试点701和相关联的所估计的凝视点702之间的偏差最小化(例如，以使偏差的平方和最小化)。校准后的结果示于图7b中，其中新凝视点703更靠近测试点701。其余偏差(或误差)可称为残差，或简称为残余。残差的大小可以被认为是校准质量的量度。对于每只眼睛执行校准，并且对于每只眼睛残差通常是不同的。如果针对一只眼睛的凝视数据(诸如所确定的凝视方向)与大残差相关联，则这可以指示针对此眼睛的凝视追踪数据不太可靠，并且可能期望针对该眼睛给予凝视追踪数据比针对另一只眼睛更低的权重(或更低的置信度)。换句话说，残差的大小(或校准质量)是影响分别针对左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素I。

在表1中，因素I被表示为指示在用于计算眼睛的凝视追踪数据的眼睛模型的校准之后剩余的残差的大小的参数。残差可以是不同类型的残差。在上面参考图7a和7b描述的示例中，测试点701和所估计的凝视点702之间的偏差被最小化，并且残差是剩余偏差的量度(例如平方和)。在校准中使用的其他可能的量包括实际眼睛位置和所估计的眼睛位置之间的偏差，或者实际瞳孔大小和所估计的瞳孔大小之间的偏差。如果执行校准以使这些其他量最小化，则所获得的残差可以例如形成为在校准之后所剩余的这些量(或偏差)的平方和。

如上所述，在针对眼睛(诸如左眼和/或右眼)的校准之后剩余的残差的大小可以指示在该眼睛的凝视追踪期间所获得的凝视追踪数据在校准之后的可靠性。例如，计算眼睛(诸如左眼和/或右眼)的置信度值可以包括将第一残差大小与较低的可靠性相关联，所述较低的可靠性是相比与第二残差大小相关联的可靠性而言的。第一残差大小可以高于第二残差大小。

闪光关联置信度

采用多个照明器的眼睛追踪器，诸如上面参考图1描述的眼睛追踪系统100，可以使用来自第一照明器111的闪光来预测来自第二照明器112的闪光应该出现在哪里。眼睛追踪器100可以在第一图像帧期间例如使用第一照明器111照亮一只眼睛(或双眼)，并且在第二图像帧期间使用第二照明器112照亮一只眼睛(或双眼)，该第二图像帧是在第一图像帧之后的帧。由光传感器113在第一图像帧处捕获的图像将包括由来自第一照明器111的光的反射引起的在眼睛处的闪光。由于在第一图像帧和第二图像帧之间经过了如此短的时间，所以用户通常不会在这些帧之间移动太多距离。由于第二照明器112相对于第一照明器111和光传感器113的位置是已知的，因此可以通过使用来自第一照明器111的闪光在第一图像帧中的位置来预测由来自第二照明器112的光的反射引起的闪光应该出现在下一图像帧捕获的图像中的何处。这种预测也可以基于眼睛的几何模型以及眼睛相对于照明器111和112以及光传感器113的估计位置。

在图像中有时可能出现若干闪光，并且存在在图像中检测到错误闪光的风险，从而导致所估计的凝视点的误差。预测闪光位置的能力允许眼睛追踪器检查所检测的闪光(或所确定的闪光位置)看起来是否为正确的那一个。换句话说，检测到的闪光越靠近预测位置，它成为正确闪光的机会就越大。预测位置和图像中实际检测(或实际确定或估计)的位置之间的差是表示分别针对左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中作为因素J列出。

应当理解，即使已检测到正确的闪光，但是检测到的位置仍可能偏离预测位置。如果这样的偏差大，则它可以指示其它方面出错和/或对于该眼睛的凝视追踪数据是不可靠的。因此，可以为预测闪光位置和检测到的闪光位置之间具有大偏差的眼睛的凝视追踪数据提供比另一只眼睛的凝视追踪数据更低(置信度的)权重。

还可以理解，两个照明器111和112可以例如用于在同一图像帧中照亮眼睛。然后可以采用来自其中一个照明器的闪光在图像中的位置来预测来自另一照明器的闪光在同一图像中的位置。换句话说，不一定需要从一个图像到后续图像执行“预测”。实际上，也可以从一个图像到前一图像反向地执行预测。

眼优势

如果用户具有优势眼，则来自该眼睛的凝视追踪数据可以被给予比来自另一眼睛的凝视追踪更高的权重(或更高的置信度)。例如可以通过分析左眼和右眼如何移动和/或通过在用户查看测试点时分析左眼和右眼的实际凝视点来检测优势眼。眼优势分别是表示左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中作为因素K列出。

即使可以通过分析由眼追踪器捕获的图像来检测优势眼，优势眼也可以是事先知道的。例如，用户可以手动输入该信息。

凝视精准度(集中程度)

精准度是统计可变性的量度，或者凝视点集中/汇聚的接近程度。在图8的左侧示出了较差精准度(或高统计可变性，或大的随机误差)的示例，其中所估计的凝视点801分布在相对大的区域上，而不是在小的区域中集中/汇聚在一起。在图8的右侧示出了精准度更好的示例，其中所估计的凝视点803的位置彼此更靠近(或集中/汇聚)。所估计的凝视点801和803相对于用户的真实凝视点(在图8中由802和804指示)的位置对于精度是不相关的。

在凝视追踪期间，可以连续地计算每只眼睛的凝视精准度(即，分别针对左眼和右眼所确定的凝视方向的精准度)以监视图像中是否存在使算法难以正确地找到瞳孔和闪光的任何东西。如果一只眼睛的精准度变得比另一只眼睛的精准度差，则在图像中可能存在算法无法处理的东西。因此，可能期望对该眼睛的凝视追踪数据施加较低的权重(或置信度)，所述较低的权重是相比对另一只眼睛的凝视追踪数据而言的。凝视精准度是表示分别用于左眼和右眼的凝视追踪数据的可靠性的一个因素，并且在下面的表1中被列为因素L。因素L也可以被表达为所确定的凝视位置的集中程度。

当用户正在凝视固定点时，所确定的双眼凝视方向应该是恒定的。在扫视期间(当用户将他们的凝视移动到新的点时)，所确定的双眼的凝视方向应当改变。由于扫视引起的所确定的凝视方向的变化可能被误认为是双眼的不良凝视精准度。然而，如果在所确定的第二只眼睛的凝视方向是恒定的同时所确定的第一只眼睛的凝视方向上的变化，则这可以是第一只眼睛的精准度不佳的指示。

凝视准确度

准确度是统计偏差(或系统误差)的量度。在图9的左侧示出了较差准确度(或大统计偏差)的示例，其中所估计的凝视点901分布在用户的真实凝视点902之上的区域中(所估计的凝视点901的平均值位于真实凝视点902之上)。在图9的右侧示出了较高准确度(或小的统计偏差)的示例，其中所估计的凝视点903分布在用户的真实凝视点904周围，使得所估计的凝视点903的平均值位于接近真实凝视点904的位置。如果对于一只眼睛的准确度更差，则可能期望将较低的权重(或置信度)施加于该眼睛的凝视追踪数据(或所确定的凝视方向)，而不是施加于具有较高准确度的另一只眼睛的凝视追踪数据(或所确定的凝视方向)。凝视准确度是表示分别针对左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素M。表1中的因素M可以例如被表示为预定位置(诸如基准位置或真实凝视位置)与针对眼睛的所确定凝视位置的平均值之间的距离。

可以在凝视追踪期间或校准期间连续地确定凝视准确度。

用户距离中的噪声

闪光位置可用于计算用户距离。闪光位置中的误差可能导致所计算的空间中的用户位置有噪声，这也将导致所估计的凝视点(或凝视方向)中的噪声。换句话说，所计算的用户距离中的高噪声水平是凝视追踪数据不可靠的指示。对于每只眼睛，可以连续地计算用户位置。可以在凝视追踪期间监测针对每只眼睛计算的用户距离中的噪声水平。如果噪声水平对于针对一只眼睛计算的用户距离是高的，则可能期望将比来自另一只眼睛的凝视追踪数据(或所确定的凝视方向)更低的权重(或置信度)施加于该眼睛的凝视追踪数据(或所确定的凝视方向)。所计算的用户距离中的噪声水平是指示分别针对左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素N。

闪光形状

如果采用圆形照明器(或可被视为点源的照明器)来照射眼睛，则在角膜的球形部分处的反射将通常导致图像中的圆形闪光。如果闪光的形状不是圆形的，这可能指示角膜具有非球形结构(诸如疤痕)或闪光在角膜上根本不复存在。这两种情况都可能导致用户位置的不良估计以及糟糕的眼睛追踪体验。

光传感器(或相机)的光学器件和/或照明器的形状可以影响图像中的闪光形状。但是，图像中的闪光形状可以至少在某种程度上被预测(例如，如果假设闪光位于角膜的球形部分，则可以预测闪光形状)。

对于左眼和右眼，可以监测检测到的闪光的形状与期望的闪光形状之间的相似性。如果针对第一只眼睛检测到意外的闪光形状但针对第二只眼睛却没有，则可能期望将较低的权重(或置信度)施加于针对第一只眼睛的凝视追踪数据(或所确定的凝视方向)，所述较低的权重是相比针对第二只眼睛的凝视追踪数据(或所确定的凝视方向)而言的。闪光形状是分别指示左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素O。

闪光数目

当发现大量潜在闪光时，选择错误闪光的风险增加。这可以例如当在环境中存在具有红外内容的其他光源时，或者当闪光将要从角膜上脱离时发生。因此，意料不到的大量闪光可以是来自该眼睛的凝视追踪数据不可靠的指示。

在一些眼睛追踪器中(例如在虚拟现实眼睛追踪器中)，可以同时使用多个照明器，使得在眼睛处有意地出现若干闪光。如果在眼睛的图像中缺失一些预期闪光，则可以降低凝视追踪数据的可靠性。

鉴于上述内容，与来自检测到的闪光数目与期望的闪光数目不同的眼睛的凝视追踪数据(或所确定的凝视方向)相比，可能期望为来自检测到的闪光数目与期望的闪光数目匹配的眼睛的凝视追踪数据(或所确定的凝视方向)提供更高的权重(或更高的置信度)。所检测到的闪光数目是表示分别针对左眼和右眼的凝视追踪数据(诸如所确定的凝视方向)的可靠性的一个因素，并且在下面的表1中被列为因素P。

示例性实施例

图10是方法1000的流程图，该方法1000例如可以由如上面参考图1所描述的眼睛追踪系统100执行，或者由眼睛/凝视追踪系统100的电路120执行。

方法1000包含获得1001用户的左眼的一个或多个图像和用户的右眼的一个或多个图像。图像可以由图像传感器113获得。

方法1000包含基于至少一个所获得的左眼图像确定1002用户的左眼的凝视方向，以及基于至少一个所获得的右眼图像确定1003用户的右眼的凝视方向。

方法1000包含基于一个或多个所获得的左眼图像确定1004第一置信度值。该第一置信度值表示所确定的左眼凝视点的可靠性的指示。

方法1000包含基于一个或多个所获得的右眼图像确定1005第二置信度值。该第二置信度值表示所确定的右眼凝视点的可靠性的指示。

方法1000包含基于所确定的左眼和右眼的凝视方向并且基于第一置信度值和第二置信度值来确定1006最终(或组合的)凝视方向。步骤1006可以例如基于所确定的左眼和右眼的凝视方向并且基于第一置信度值和第二置信度值来确定组合凝视点，而不是确定最终凝视方向。

在步骤1004和1005基于一个或多个参数来确定(或计算)第一置信度值和第二置信度值，该一个或多个参数表示指示所确定的左眼和右眼的凝视追踪数据(或凝视方向)的可靠性的相应因素。

在步骤1004和1005处用于确定置信度值的参数可以包括下表1中列出的所有参数A-Q，或者可以包括参数A-Q的子集。

表1

在步骤1004和1005处用于确定置信度值的参数可以例如包括以下参数：

参数A-Q中的至少一个

参数A-Q中的至少两个

参数A-Q中的至少三个

参数A-Q中的至少四个

参数A-Q中的至少五个

A和参数A-Q中的至少一个以上

B和参数A-Q中的至少一个以上

H和参数A-Q中的至少一个以上

A和B

A和H

A、B和H

可以以不同的方式计算第一置信度值和第二置信度值。眼睛(诸如左眼和/或右眼)的置信度值可以例如被计算为针对该眼睛计算的不同参数的加权平均值。现在将描述一个明确的示例。在本示例中，使用参数A、B和H。

参考图3描述了与闪光相对于角膜的位置有关的参数A的计算。在本示例中，参数A的值彼此独立地赋予左眼和右眼。如果闪光处于角膜310的球形区域311中，则参数A被赋予值1。如果闪光处于角膜310的非球形区域312中，则参数A被赋予随着闪光移动得更靠近角膜310的边缘315而从1逐渐减小到0的值。当闪光在巩膜320处时，参数A被赋予值0。

与瞳孔/虹膜对比度相关联的参数B的计算可以如下进行。在本示例中，彼此独立地将参数B的值赋予左眼和右眼。当在明亮瞳孔图像中瞳孔强度不大于虹膜强度的1.3倍时，赋予参数B的值为0。当在明亮瞳孔图像中瞳孔强度增加到虹膜强度的2倍时，赋予参数B的值从0线性地增加到1。对于较高的对比度值，赋予参数B的值保持在1。当在暗瞳孔图像中虹膜强度不大于瞳孔强度的1.3倍时，赋予参数B的值为0。当在暗瞳孔图像中虹膜强度增加到瞳孔强度的2倍时，赋予参数B的值从0线性地增加到1。对于较高的对比度值，赋予参数B的值保持在1。

可以如下执行与瞳孔边缘像素的数量有关的参数H的计算。在本示例中，为左眼和右眼相对于彼此赋予参数H的值(即，赋予左眼和右眼的参数H的值彼此不独立)。赋予左眼的值可以形成为左眼的瞳孔边缘像素的数量除以右眼的瞳孔边缘像素的数量：

类似地，赋予右眼的值可以形成为右眼的瞳孔边缘像素的数量除以左眼的瞳孔边缘像素的数量：

左眼的置信度值然后可以被计算为：

类似地，右眼的置信度可以被计算为：

从上面的等式可以看出，对左眼和右眼的置信度值进行归一化，使得置信度值之和为1。如果要形成左眼和右眼的凝视追踪数据(诸如凝视方向或凝视点)的加权平均值，则这使得置信度值适合作为权重。

如以上示例所示，参数A-Q的值可以例如针对左眼和右眼彼此独立地计算(如以上示例中的参数A和B)，或者可以针对左眼和右眼相对于彼此计算(如以上示例中的参数H)。

应当理解，上面给出的示例仅仅是使用来自上面表1的参数计算置信度值的许多不同方式中的一种。

确定最终凝视方向的步骤1006可以例如包括形成左眼的凝视方向和右眼的凝视方向的加权组合。当形成加权组合时，相应眼睛的凝视方向由相应相关联的置信度值加权。换句话说，用右眼置信度值对右眼的凝视方向进行加权，用左眼置信度值对左眼的凝视方向进行加权。以这种方式，获得组合的(或最终的)凝视方向作为左眼和右眼的估计凝视方向的加权组合。

由于该加权组合考虑了左眼和右眼的因素A-Q中的一个或多个，因此与不考虑这些因素而组合左眼和右眼凝视追踪数据(或凝视方向)的情况相比，可以更有效地减轻仅存在于一只眼睛的凝视追踪数据(或所确定的凝视方向)中的误差的负面影响。

在步骤1004和1005处所确定的左眼和右眼的置信度值可以例如由眼睛追踪系统100与左眼和右眼的凝视追踪数据(或凝视方向)一起输出。如下面参考图12所描述的，接收这种信号的系统则本身可以确定(或计算)组合凝视方向。

不是基于参数A-Q中的一个或多个来确定1004第一置信度值和确定1005第二置信度值两者，而是这样的参数A-Q可以由眼睛追踪系统100与左眼和右眼的凝视追踪数据(或凝视方向)一起输出。如下面参考图11所描述的，接收这样的信号的系统则本身可以确定(或计算)左眼和右眼的置信度值，并且然后确定(或计算)组合的凝视方向。

图11是方法1100的流程图，该方法可以由从以上参考图1描述的凝视追踪系统100接收数据的系统来执行。方法1100例如可以由操作系统或一个或多个处理器来执行。

方法1100包含接收1101指示左眼的凝视方向和/或凝视点的凝视追踪数据，以及接收1102指示右眼的凝视方向和/或凝视点的凝视追踪数据。

方法1100包含接收1103表示指示左眼的凝视追踪数据的可靠性的不同因素的多个参数，以及接收1104表示指示右眼的凝视追踪数据的可靠性的不同因素的多个参数。在步骤1103和1104接收的多个参数可以是上表1中的参数A-Q中的任何一个。

方法1100包含基于所接收的与左眼相关联的参数中的至少一个来计算1105(或确定)左眼的凝视追踪数据的组合可靠性参数(或第一置信度值)，以及基于所接收的与右眼相关联的参数中的至少一个来计算1106右眼的凝视追踪数据的组合可靠性参数(或第二置信度值)。方法1100的步骤1105和1106例如可以与以上参考图10描述的方法1000的步骤1004和1005相同。

执行方法1100的系统例如能够选择当在步骤1105和1106计算左眼和右眼的置信度值时要使用在步骤1103和1104接收的参数中的哪一个。例如，任何眼睛追踪系统100可以提供所有参数A-Q，但是当形成左眼和右眼的置信度值时，执行方法1100的系统可以选择仅使用这些参数的一个子集，例如参数A、B和H。

可选地，方法1100可以包含形成1107(或确定)左眼的凝视追踪数据(或所确定的凝视方向)和右眼的凝视追踪数据(或所确定的凝视方向)的加权组合。当形成加权组合时，基于相应的关联置信度值来对用于相应眼睛的凝视追踪数据进行加权。方法1100的步骤1107例如可以与上面参考图10描述的方法1000的步骤1006相同。步骤1107例如可以产生组合凝视方向或组合凝视点。

图12是方法1200的流程图，该方法可以由从以上参考图1描述的凝视追踪系统100接收数据的系统来执行。方法1200例如可以由操作系统或一个或多个处理器来执行。

就像上面参考图11描述的方法1100一样。方法1200包括接收1101指示左眼的凝视方向和/或凝视点的凝视追踪数据，以及接收1102指示右眼的凝视方向和/或凝视点的凝视追踪数据。

代替接收来自上表1的参数，方法1200包含接收1203左眼的凝视追踪数据的置信度值(或组合可靠性参数)(例如在方法1000的步骤1004中计算的)，以及接收1204右眼的凝视追踪数据的置信度值(或组合可靠性参数)(例如在方法1000的步骤1005中计算的)。

就像上面参考图11描述的方法1100一样，方法1200包含形成1107(或确定，或计算)左眼的凝视追踪数据(或凝视方向)和右眼的凝视追踪数据(或凝视方向)的加权组合。

其他事项

本领域技术人员认识到，本发明绝不限于上述优选实施例。相反，在所附权利要求的范围内，许多修改和变化是可能的。例如，本领域技术人员认识到，本文所描述的眼睛/凝视追踪方法可以由图1所示的示例眼睛/凝视追踪系统100以外的许多其他眼睛/凝视追踪系统(例如使用多个照明器和多个相机)来执行。应当理解，除了本文明确提到的那些之外，表1中的参数A-Q的任何其他组合也可用于确定左眼和右眼的置信度值(或组合的可靠性参数)。

另外，通过研究附图、公开内容和所附权利要求，本领域技术人员在实施要求保护的发明时可以理解和实现对所公开的实施例的变化。在权利要求中，词语“包含”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。本公开中提及的功能单元之间的任务划分不一定对应于不同物理单元的划分；相反，一个物理组件可以具有多个功能，并且一个任务可以通过协作的多个物理组件以分配方式执行。计算机程序可以存储/分配在合适的非暂时性介质上，例如与其他硬件一起提供或作为其他硬件的一部分的光学存储介质或固态介质，但也可以以其他形式分配，例如经由因特网或其他有线或无线电信系统。在相互不同的从属权利要求中陈述某些措施/特征的这一事实并不表示这些措施/特征的组合不能被有利地使用。方法步骤不一定以它们在权利要求中或在本文所描述的实施例中出现的顺序执行，除非明确地描述了需要特定的顺序。权利要求中的任何附图标记不应被解释为对范围构成限制。

专用计算机系统

图13是示出其中可实现本发明的各实施例的专用计算机系统1300的框图。该示例示出了例如可以全部地、部分地或通过各种修改来使用专用计算机系统1300以提供在本文描述的各个组件的功能。

专用计算机系统1300被示出为包含可以经由总线1390电连接的硬件元件。硬件元件可以包括一个或多个中央处理单元1310、一个或多个输入装置1320(例如，鼠标、键盘、眼睛追踪装置等)，以及一个或多个输出装置1330(例如，显示装置、打印机等)。专用计算机系统1300还可以包括一个或多个存储装置1340。作为示例，存储装置1340可以是盘驱动器、光存储装置，诸如随机存取存储器(RAM)和/或只读存储器(ROM)之类的固态存储装置，它们可以是可编程的、可闪速更新的等等。

专用计算机系统1300还可以包括计算机可读存储介质读取器1350、通信系统1360(例如，调制解调器、网卡(无线或有线)、红外通信设备、蓝牙^TM装置、蜂窝通信设备等)，以及工作存储器1380，其可以包括如上所述的RAM和ROM装置。在一些实施例中，专用计算机系统1300还可以包括处理加速单元1370，其可以包括数字信号处理器、专用处理器等。

计算机可读存储介质读取器1350可以进一步连接到计算机可读存储介质，一起(以及可选地，结合存储装置1340)广泛地表示远程、本地、固定和/或可移动存储装置加上用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统1360可以允许与上述网络、系统、计算机和/或其他组件交换数据。

专用计算机系统1300还可包含示出为当前位于工作存储器1380内的软件元件，包括操作系统1384和/或其他代码1388。应当理解，专用计算机系统1300的可选实施例可以具有与上述实施例不同的许多变化。例如，也可以使用定制的硬件和/或可以以硬件、软件(包括便携式软件，诸如小程序)或硬件和软件两者来实施特定元件。此外，与其他计算装置(诸如网络输入/输出和数据采集装置)的连接也是可能的。

专用计算机系统1300的软件可以包括代码1388，用于实施本文所描述的架构的各种元件的任何或全部功能。例如，存储在诸如专用计算机系统1300的专用计算机系统上和/或由其执行的软件可以提供诸如上述那些的本发明的组件的功能。上面已经更详细地讨论了可由软件在这些组件中的一些组件上实施的方法。

一些示例性实施例的列表

实施例1：一种方法(1000)，包含：获得(1001)左眼的一个或多个图像和右眼的一个或多个图像；基于左眼的一个或多个图像计算(1002)指示左眼的估计凝视方向的左眼的凝视追踪数据；基于右眼的一个或多个图像计算(1003)指示该右眼的估计凝视方向的右眼的凝视追踪数据；基于左眼的一个或多个图像计算表示指示左眼的凝视追踪数据的可靠性的不同因素的多个参数；以及基于右眼的一个或多个图像计算表示指示该右眼的凝视追踪数据的可靠性的不同因素的多个参数。

实施例2：根据实施例1的方法，进一步包含：基于针对左眼计算的多个参数来计算(1004)用于左眼的凝视追踪数据的组合可靠性参数；以及基于针对右眼计算的多个参数来计算(1005)右眼的凝视追踪数据的组合可靠性参数。

实施例3：根据实施例2的方法，进一步包含：基于左眼和右眼的凝视追踪数据和相关联的组合可靠性参数来计算(1006)组合凝视方向或凝视点。

实施例4：根据实施例3的方法，其中计算组合的凝视方向或凝视点包括：形成针对左眼的凝视追踪数据和针对右眼的凝视追踪数据的加权组合，其中基于相应的相关联的组合可靠性参数对针对相应眼睛的凝视追踪数据进行加权。

实施例5：根据前述任一实施例的方法，其中计算眼睛(200)的凝视追踪数据包括：基于眼睛的一个或多个图像来估计的眼睛的瞳孔(210)的位置和闪光(220)在眼睛处的位置；以及基于所估计的眼睛的瞳孔位置和闪光位置来计算眼睛的凝视追踪数据。

实施例6：根据前述任一实施例的方法，其中针对眼睛(300)计算的多个参数包括：在眼睛处的闪光(220)相对于眼睛角膜(310)的位置；在眼睛处的闪光(220)与眼睛的角膜(310)的中心(313)之间的距离；在眼睛处的闪光(220)相对于眼睛的瞳孔(210)的位置；眼睛处的闪光(220)与眼睛瞳孔的中心(350)之间的距离；和/或在眼睛处的闪光(610)相对于眼睛的瞳孔(630)的边缘(620)的位置。

实施例7：根据实施例6所述的方法，包含：基于针对左眼计算的多个参数来计算(1004)针对左眼的凝视追踪数据的组合可靠性参数；以及基于针对右眼计算的多个参数来计算(1005)右眼的凝视追踪数据的组合可靠性参数，其中计算眼睛的凝视追踪数据的组合可靠性参数包含：将在眼睛处的闪光与眼睛角膜中心之间的距离的第一值与较低的可靠性相关联，所述较低的可靠性是相比与所述距离的第二值相关联的可靠性而言的，其中所述距离的第一值高于所述距离的第二值；和/或将眼睛处的闪光位于眼睛的瞳孔的边缘处的情况与较低可靠性相关联，较低可靠性是相比与闪光相对于瞳孔的其他位置相关联的可靠性而言的。

实施例8：根据前述任一实施例的方法，其中针对眼睛510计算的多个参数包括：眼睛的瞳孔511与眼睛的虹膜之间的对比度水平。

实施例9：根据实施例8的方法，包含：基于针对左眼计算的多个参数来计算(1004)左眼的凝视追踪数据的组合可靠性参数；以及基于针对右眼计算的多个参数计算(1005)右眼的凝视追踪数据的组合可靠性参数，其中计算眼睛的凝视追踪数据的组合可靠性参数包含：将该对比度水平的第一值与较低的可靠性相关联，所述较低的可靠性是相比与该对比度水平的第二值相关联的可靠性而言的，其中该对比度水平的第一值低于该对比度水平的第二值。

实施例10：根据前述任一实施例的方法，其中针对眼睛(200)计算的多个参数包括：用于计算眼睛的凝视追踪数据的闪光(220)的强度；用于计算眼睛的凝视追踪数据的闪光(220)的形状；和/或在用于获得眼睛的凝视追踪数据的眼睛的一个或多个图像中检测到的多个闪光(220)。

实施例11：根据实施例10的方法，包含：基于针对左眼计算的多个参数来计算(1004)左眼的凝视追踪数据的组合可靠性参数；以及基于针对右眼计算的多个参数来计算(1005)右眼的凝视追踪数据的组合可靠性参数，其中计算眼睛的凝视追踪数据的组合可靠性参数包含：估计该形状与期望闪光形状之间的相似性；以及将该形状之间的相似性的第一水平与较低的可靠性相关联，所述较低的可靠性是相比与该形状之间的相似性的第二水平相关联的可靠性而言的，其中该相似性的第一水平低于该相似性的第二水平。

实施例12：根据实施例10-11中任一项的方法，包含：基于针对左眼计算的参数来计算(1004)用于左眼的凝视追踪数据的组合可靠性参数；以及基于针对右眼计算的参数来计算(1005)用于右眼的凝视追踪数据的组合可靠性参数，其中计算眼睛的凝视追踪数据的组合可靠性参数包含：将在用于获得眼睛的凝视追踪数据的眼睛的一个或多个图像中检测到的闪光数目与期望闪光数目进行比较；以及将检测到的闪光数目与期望闪光数目一致的情况与较高的可靠性相关联，所述较高的可靠性是相比检测到的闪光数目偏离期望闪光数目的情况相关联的可靠性而言的。

实施例13：根据前述任一实施例的方法，其中针对眼睛计算的多个参数包含：指示在眼睛的一个或多个图像中存在来自眼镜的反射的参数；和/或指示眼睛的某个区域在眼睛的一个或多个图像中是否至少部分被遮挡的参数。

实施例14：根据前述任一实施例的方法，其中针对眼睛(600)计算的多个参数包含：指示眼睛的一个或多个图像中的瞳孔边缘像素的数量的参数，其中这些瞳孔边缘像素是沿着瞳孔(630)的边缘(620)在该眼睛的一个或多个图像中可见的那些一个或多个部分定位的图像像素。

实施例15：根据实施例14的方法，包含：基于针对左眼计算的多个参数来计算(1004)左眼的凝视追踪数据的组合可靠性参数；以及基于针对右眼计算的参数计算(1005)右眼的凝视追踪数据的组合可靠性参数，其中计算眼睛的凝视追踪数据的组合可靠性参数包含：将第一数量的瞳孔边缘像素与比与第二数量的瞳孔边缘像素相关联的可靠性更低的可靠性相关联，其中该瞳孔边缘像素的第一数量低于该瞳孔边缘像素的第二数量。

实施例16：根据前述任一实施例的方法，其中针对眼睛计算的多个参数包括：指示在用于计算眼睛的凝视追踪数据的眼睛模型的校准之后剩余的残差的大小的参数。

实施例17：根据前述任一实施例的方法，包含，对于左眼和右眼中的每一个：基于眼睛的一个或多个图像，估计由来自第一照明器的光的反射引起的在眼睛处的第一闪光的位置(111)；基于第一闪光的位置并且基于如何相对于第一照明器布置第二照明器(112)的认识，预测由来自第二照明器的光的反射引起的第二闪光在眼睛处的位置；以及在眼睛的一个或多个图像中检测由来自第二照明器的光的反射引起的第二闪光在眼睛处的位置，其中针对眼睛计算的多个参数包括：第二闪光的预测位置和检测位置之间的差。

实施例18：根据前述任一实施例的方法，包含：针对一系列图像单独地对左眼和右眼执行凝视追踪；监测针对左眼估计的凝视追踪位置的可变性；以及监测针对右眼估计的凝视追踪位置的可变性，其中针对眼睛计算的多个参数包括：指示针对眼睛估计的凝视追踪位置的所监测到的可变性的参数。

实施例19：根据前述任一实施例的方法，包含：针对一系列图像对左眼执行凝视追踪；针对用于左眼的凝视追踪的一系列图像估计到左眼的距离；对于到左眼的所估计的距离中的噪声水平进行估计；对一系列图像序列执行右眼凝视追踪；针对用于右眼的凝视追踪的一系列图像估计到右眼的距离；以及对于到右眼的所估计的距离中的噪声水平进行估计，其中针对眼睛计算的多个参数包括：指示到眼睛的所估计的距离中的噪声水平的参数。

实施例20：根据前述任一实施例的方法，其中针对眼睛计算的多个参数包括：指示基准位置与针对眼睛估计的凝视追踪位置的平均值之间的距离的参数。

实施例21：根据前述任一实施例的方法，其中针对眼睛计算的多个参数包括：指示该眼睛相对于另一只眼睛是否占优势的参数。

实施例22：一种计算机程序产品，包含具有用于执行根据实施例1-21中任一项的方法的指令的一个或多个计算机可读介质。

实施例23：一种系统(100)，包含：一个或多个被配置成执行实施例1-21中任一项的方法的处理器(120)。

实施例24：根据实施例23的系统，进一步包含：一个或多个用于照亮眼睛的照明器(111、112)；以及一个或多个相机(112)，用于捕获眼睛的图像。

实施例25：一种(1100)方法，包含：接收(1101)指示左眼的凝视方向的凝视追踪数据；接收(1102)指示右眼的凝视方向的凝视追踪数据；接收(1103)表示指示左眼的凝视追踪数据的可靠性的不同因素的多个参数；接收(1104)表示指示右眼的凝视追踪数据的可靠性的不同因素的多个参数；基于与左眼相关联的参数中的至少一个来计算(1105)用于左眼的凝视追踪数据的组合可靠性参数；以及基于与右眼相关联的参数中的至少一个来计算(1106)右眼的凝视追踪数据的组合可靠性参数。

实施例26：根据实施例25的方法，进一步包含：基于左眼和右眼的凝视追踪数据和相关联的组合可靠性参数来计算(1107)组合凝视方向或凝视点。

实施例27：根据实施例26的方法，其中计算组合的凝视方向或凝视点包括：形成左眼的凝视追踪数据和右眼的凝视追踪数据的加权组合，其中基于相应的相关联的组合的可靠性参数对相应的眼睛的凝视追踪数据进行加权。

实施例28：根据实施例25-27中任一项的方法，其中基于所接收的与眼睛相关联的参数中的至少一个来计算眼睛的凝视追踪数据的组合可靠性参数包含：选择与眼睛相关联的多个参数中的一个或多个；以及基于所选择的一个或多个参数来计算眼睛的凝视追踪数据的组合可靠性参数。

实施例29：根据实施例25-28中任一项的方法，其中分别表示指示左眼和右眼的凝视追踪数据的可靠性的不同因素的多个参数包括表1中列出的参数A-Q中的一个或多个。

实施例30：一种方法(1200)，包含：接收(1101)指示左眼的凝视方向和/或凝视点的凝视追踪数据；接收(1102)指示右眼的凝视方向和/或凝视点的凝视追踪数据；接收(1203)左眼的凝视追踪数据的组合可靠性参数；接收(1204)右眼的凝视追踪数据的组合可靠性参数；以及基于左眼和右眼的凝视追踪数据和相关联的组合可靠性参数来计算(1107)组合凝视方向或凝视点。

实施例31：根据实施例30所述的方法，其中计算组合凝视方向或凝视点包括：形成左眼的凝视追踪数据和右眼的凝视追踪数据的加权组合，其中基于相应的相关联的组合可靠性参数对相应眼睛的凝视追踪数据进行加权。

实施例32：一种计算机程序产品，包含具有用于执行实施例25-31中任一项的方法的指令的一个或多个计算机可读介质。

实施例33：一种系统，包含：一个或多个被配置成执行根据实施例25-31中任一项的方法的处理器。

Claims (23)

1.一种眼睛/凝视追踪系统，包含电路，其中所述电路被配置成：

获得用户的左眼的一个或多个图像和所述用户的右眼的一个或多个图像；

基于所获得的所述左眼的至少一个图像来确定所述用户的所述左眼的凝视方向；

基于所获得的所述右眼的至少一个图像确定所述用户的所述右眼的凝视方向；

基于所获得的所述左眼的一个或多个图像来确定第一置信度值，所述第一置信度值表示所确定的所述左眼的凝视方向的可靠性的指示；

基于所获得的所述右眼的一个或多个图像来确定第二置信度值，所述第二置信度值表示所确定的所述右眼的凝视方向的可靠性的指示；和

至少部分地基于所述第一置信度值和所述第二置信度值来确定最终凝视方向。

2.根据权利要求1所述的眼睛/凝视追踪系统，其中确定所述最终凝视方向进一步基于所确定的所述左眼的凝视方向和所确定的所述右眼的凝视方向。

3.根据权利要求1所述的眼睛/凝视追踪系统，其中确定所述最终凝视方向进一步基于所确定的所述左眼的凝视方向和所确定的所述右眼的凝视方向的加权组合。

4.根据权利要求1所述的眼睛/凝视追踪系统，其中所述电路被进一步配置成：

基于所获得的所述左眼的一个或多个图像，确定所述左眼的预定区域中的一个或多个闪光位置；和

基于所获得的所述右眼的一个或多个图像，确定所述右眼的预定区域中的一个或多个闪光位置。

5.根据权利要求4所述的眼睛/凝视追踪系统，其中所述左眼或右眼的所述预定区域包括以下各项中的至少一项：

从角膜中心延伸到所述角膜的球形区域的边缘的第一区域；

从所述角膜的所述球形区域的所述边缘延伸到所述角膜的边缘的第二区域；或

位于所述角膜的所述边缘的外部的第三区域。

6.根据权利要求5所述的眼睛/凝视追踪系统，其中所述第三区域位于巩膜处。

7.根据权利要求1所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值包含基于所述左眼的角膜中心与所述左眼处的一个或多个闪光之间的距离来确定所述第一置信度值；和

基于所获得的所述右眼的一个或多个图像来确定所述第二置信度值包含基于所述右眼的角膜中心与所述右眼处的一个或多个闪光之间的距离来确定所述第二置信度值。

8.根据权利要求7所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值进一步包含：

将位于所述左眼的第一区域的闪光与较高的可靠性相关联，所述较高的可靠性相比与位于所述左眼的第二区域的闪光相关联的可靠性而言的，其中所述左眼的所述第一区域从所述角膜中心延伸到所述角膜的球形区域的边缘，并且其中所述左眼的所述第二区域从所述角膜的所述球形区域的所述边缘延伸到所述角膜的边缘；和

将位于所述左眼的所述第二区域的闪光与较高的可靠性相关联，所述较高的可靠性是相比与位于所述左眼的第三区域的闪光相关联的可靠性而言的，其中所述左眼的所述第三区域位于所述角膜的所述边缘之外；和

基于所述一个或多个所获得的右眼图像来确定所述第二置信度值进一步包含：

将位于所述右眼的第一区域的闪光与较高的可靠性相关联，所述较高的可靠性是相比与位于所述右眼的第二区域的闪光相关联的可靠性而言的，其中所述右眼的所述第一区域从角膜中心延伸到所述角膜的球形区域的边缘，并且其中所述右眼的所述第二区域从所述角膜的所述球形区域的所述边缘延伸到所述角膜的边缘；和

将位于所述右眼的所述第二区域中的闪光与较高的可靠性相关联，所述较高的可靠性是相比与位于所述右眼的第三区域中的闪光相关联的可靠性而言的，其中所述右眼的所述第三区域位于所述角膜的所述边缘之外。

9.根据权利要求1所述的眼睛/凝视追踪系统，其中所述电路被进一步配置成：

确定所述左眼的瞳孔中心、所述右眼的瞳孔中心、所述左眼的眼球中心和所述右眼的眼球中心。

10.根据权利要求5所述的眼睛/凝视追踪系统，其中所述角膜中心是在所述角膜的所述球形区域处的一个位置，在所述位置处从所述眼球中心延伸穿过所述瞳孔中心的虚拟线与所述角膜的所述球形区域相交。

11.根据权利要求1所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值进一步包含：

基于左眼的瞳孔和虹膜之间的对比度确定所述第一置信度值；和

将所述对比度的第一水平与较低的可靠性相关联，所述较低的可靠性是相比与所述对比度的第二水平相关联的可靠性而言的，其中所述对比度的第一水平低于所述对比度的第二水平；和

基于所述一个或多个所获得的右眼图像来确定所述第二置信度值进一步包含：

基于右眼的瞳孔和虹膜之间的对比度确定第二置信度值；和

将所述对比度的第一水平与较低的可靠性相关联，所述较低的可靠性是相比与所述对比度的第二水平相关联的可靠性而言的，其中所述对比度的第一水平低于所述对比度的第二水平。

12.根据权利要求1所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值进一步包含：

基于所确定的所述左眼的凝视位置相对于显示设备处的预定位置的第一集中程度来确定所述第一置信度值，以及

基于所述一个或多个所获得的所述右眼图像来确定所述第二置信度值进一步包含：

基于所确定的所述右眼的凝视位置相对于显示设备上的预定位置的第二集中程度来确定所述第二置信度值。

13.根据权利要求1所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值进一步包含：

基于在显示设备处的预定位置与所确定的所述左眼凝视位置的平均值之间的第一距离来确定所述第一置信度值，以及

基于所述一个或多个所获得的所述右眼图像来确定所述第二置信度值进一步包含：

基于在显示设备处的预定位置与所确定的所述右眼的凝视位置的平均值之间的第二距离来确定所述第二置信度值。

14.根据权利要求1所述的眼睛/凝视追踪系统，其中所述第一置信度值或所述第二置信度值的所述确定分别是基于以下各项中的至少一项：

分别在所述左眼或所述右眼处的闪光强度；

分别在所述左眼或所述右眼处的闪光形状；或

分别在所述左眼或所述右眼处的闪光数量。

15.根据权利要求1所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值进一步包含：

基于对预期闪光形状与在所述左眼处检测到的闪光的形状之间的相似性的评价来确定所述第一置信度值；和

将所述闪光形状之间的第一水平闪光形状相似性与较低的可靠性相关联，所述较低的可靠性是相比与所述闪光形状之间的第二水平闪光形状相似性相关联的可靠性而言的，其中所述第一水平闪光形状相似性低于所述第二水平闪光形状相似性；和

基于所述一个或多个所获得的所述右眼图像来确定所述第二置信度值进一步包含：

基于预期闪光形状与在所述右眼处检测到的闪光的形状之间的相似性的评价来确定所述第二置信度值；和

将所述闪光形状之间的第一水平的闪光形状相似性与较低的可靠性相关联，所述较低的可靠性是相比与所述闪光形状之间的第二水平的闪光形状相似性相关联的可靠性而言的，其中所述第一水平的闪光形状相似性低于所述第二水平的闪光形状相似性。

16.根据权利要求1所述的眼睛/凝视追踪系统，其中：

基于所获得的所述左眼的一个或多个图像来确定所述第一置信度值进一步包含：

基于在所述左眼处检测到的闪光数目与预定闪光数目之间的比较来确定所述第一置信度值；和

将所述检测到的闪光数目与所述预定闪光数目一致的情况与较高的可靠性相关联，所述较高的可靠性是相比与所述检测到的闪光数目偏离所述预定闪光数目的情况相关联的可靠性而言的；和

基于所述一个或多个所获得的所述右眼图像来确定所述第二置信度值进一步包含：

基于在所述右眼处检测到的闪光数目与预定闪光数目之间的比较来确定所述第二置信度值；和

将所述检测到的闪光数目与所述预定闪光数目一致的情况与较高的可靠性相关联，所述较高的可靠性是相比与所述检测到的闪光数目偏离所述预定闪光数目的情况相关联的可靠性而言的。

17.根据权利要求1所述的眼睛/凝视追踪系统，其中所述第一置信度值或所述第二置信度值的所述确定分别至少部分地基于：

分别指示在所获得的所述左眼或所述右眼的所述一个或多个图像中存在来自眼镜的反射的参数；或

分别指示所述左眼或所述右眼的某一区域在所获得的所述左眼或所述右眼的所述一个或多个图像中至少部分被遮挡的参数。

18.根据权利要求1所述的眼睛/凝视追踪系统，其中所述第一置信度值或所述第二置信度值的确定分别至少部分地基于：

分别针对所述左眼或所述右眼的参数，所述参数指示所述眼睛的一个或多个所获得图像中的瞳孔边缘像素的数量，其中所述瞳孔边缘像素是沿着所述瞳孔的所述边缘的分别在所述左眼或所述右眼的一个或多个所获得图像中可见的一个或多个部分定位的图像像素；和

将第一数量的瞳孔边缘像素与较低的可靠性相关联，所述较低的可靠性是相比与第二数量的瞳孔边缘像素相关联的可靠性而言的，其中所述第一数量的瞳孔边缘像素低于所述第二数量的瞳孔边缘像素。

19.根据权利要求1所述的眼睛/凝视追踪系统，其中所述电路进一步被配置成分别针对所述左眼和所述右眼执行以下动作：

基于所述眼睛的一个或多个图像，确定由来自第一照明器的光的反射引起的所述眼睛处的第一闪光位置；

基于所述第一闪光位置和所述第一照明器与第二照明器之间的空间关系，预测由来自所述第二照明器的光的反射引起的所述眼睛处的第二闪光位置；和

基于所述眼睛的一个或多个图像，确定由来自所述第二照明器的光的反射引起的所述眼睛处的第二闪光位置。

20.根据权利要求19所述的眼睛/凝视追踪系统，其中所述第一置信度值或所述第二置信度值的所述确定分别至少部分地基于：

所述预测的第二闪光位置与所述确定的第二闪光位置之间的差。

21.根据权利要求1所述的眼睛/凝视追踪系统，其中所述第一置信度值和所述第二置信度值的所述确定分别至少部分地基于：

指示所述眼睛相对于另一只眼睛是否占优势的参数。

22.一个或多个存储计算机可执行指令的非暂时性计算机可读存储介质，所述计算机可执行指令在由实施眼睛/凝视数据处理的计算系统执行时致使所述计算系统执行方法，所述方法包含：

获得用户的左眼的一个或多个图像和所述用户的右眼的一个或多个图像；

基于所获得的所述左眼的至少一个图像来确定所述用户的所述左眼的凝视方向；

基于所获得的所述右眼的至少一个图像来确定所述用户的所述右眼的凝视方向；

基于所获得的所述左眼的一个或多个图像来确定第一置信度值，所述第一置信度值表示所确定的所述左眼的所述凝视方向的所述可靠性的指示；

基于所获得的所述右眼的一个或多个图像来确定第二置信度值，所述第二置信度值表示所确定的所述右眼的所述凝视方向的所述可靠性的指示；和

至少部分地基于所述第一置信度值和所述第二置信度值来确定最终凝视方向。

23.一种方法，包含：

获取用户的左眼的一个或多个图像和所述用户的右眼的一个或多个图像；

基于所获得的所述左眼的至少一个图像来确定所述用户的所述左眼的凝视方向；

基于所获得的所述右眼的至少一个图像来确定所述用户的所述右眼的凝视方向；

基于所获得的所述左眼的一个或多个图像来确定第一置信度值，所述第一置信度值表示所确定的所述左眼的所述凝视方向的所述可靠性的指示；

基于所获得的所述右眼的一个或多个图像来确定第二置信度值，所述第二置信度值表示所确定的所述右眼的所述凝视方向的所述可靠性的指示；和

至少部分地基于所述第一置信度值和所述第二置信度值来确定最终凝视方向。

Images