CN112165894A - 用于闪光/反射识别的方法和系统 - Google Patents

Abstract

公开一种在眼睛追踪系统中识别来自光学装置的反射的方法以及对应的眼睛追踪系统。从图像传感器接收用户的眼睛的图像，所述图像源自图像传感器，所述图像传感器检测来自一个或更多个发光器的、从所述用户的眼睛反射以及从位于所述一个或更多个发光器与所述用户的眼睛之间的光学装置反射的光，其中所述光学装置包括具有已知图案的特征。在所述图像中识别两个或更多个闪光，其中某一闪光是来自所述用户的眼睛的角膜和/或来自所述光学装置的特征的光反射在所述图像中的表示。确定所述所识别的闪光在所述图像中的相对位置，并且在所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致的情况下，将所述所识别的闪光中的至少一个闪光识别为来自所述光学装置的特征的反射在所述图像中的表示。

Description

用于闪光/反射识别的方法和系统

技术领域

本公开总的来说涉及眼睛追踪领域。明确地说，本公开涉及用于在眼睛追踪系统中识别来自光学装置的反射的系统和方法。

背景技术

在眼睛追踪应用中，获取用户的眼睛的数字图像，并分析数字图像以便估计用户的注视方向。实现这种估计有不同方法。在一些方法中，当获取用户的眼睛的图像时，使用环境光，并且在一些方法中，使用额外光源(发光器)来照射眼睛以用于获取用户的眼睛的图像。通常，注视的估计是基于对用户的眼睛的瞳孔的识别以及对用户的眼睛中的闪光(角膜反射)的识别。

一种已知的眼睛追踪方法包含使用红外光和图像传感器。红外光被引导向用户的瞳孔，并且光的反射被图像传感器捕捉。通过对反射点的分析，可计算用户注视的方向。一种这样的系统描述在US 7,572,008(其全部内容以引用方式并入本文中)中。

之前已描述过便携式或可穿戴的眼睛追踪装置。一种这样的眼睛追踪系统描述在US 9,041,787(其全部内容以引用方式并入本文中)中。描述了一种可穿戴眼睛追踪装置，所述可穿戴眼睛追踪装置使用发光器和图像传感器以确定注视方向。

在用于便携式或可穿戴的眼睛追踪装置中的眼睛追踪应用中，诸如，在虚拟现实(VR)装置中——其中使用包含眼睛追踪系统的头戴式装置，所述眼睛追踪系统基于瞳孔中心以及来源自射用户眼睛的发光器的闪光而确定眼睛方向和/或注视方向——例如对于在VR眼镜下戴着一副眼镜的用户，可能出现问题。例如，由一个或多个发光器引起的来自所述一副眼镜的光学装置的一个或更多个反射可能导致无法准确识别瞳孔或者无法识别闪光或识别出的闪光过少而不能进行眼睛追踪的情形。在这些情形下，将很难或不可能确定眼睛方向和/或注视方向，或者至少不能以期望可靠性来确定眼睛方向。

将需要提供一种眼睛追踪技术以应对这样的情况：来自戴在VR眼镜下的眼镜的反射降低眼睛追踪的准确性，或者难以或不可能确定眼睛方向和/或注视方向来进行眼睛追踪。

发明内容

本公开的目标是解决已知系统和方法的问题。

根据第一方面，提供一种在眼睛追踪系统中识别来自光学装置的反射的方法。所述方法包括从图像传感器接收用户的眼睛的图像。所述图像源自所述图像传感器检测到来自一个或更多个发光器的、从所述用户的眼睛反射以及从位于所述一个或更多个发光器与所述用户的眼睛之间的光学装置反射的光。所述光学装置包括具有已知图案的特征。在所述图像中识别两个或更多个闪光，其中某一闪光是来自所述用户的眼睛的角膜和/或来自所述光学装置的特征的光反射在所述图像中的表示。接着，确定所述所识别的闪光在所述图像中的相对位置。在所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致的情况下，将所述所识别的多个闪光中的至少一个闪光识别为来自所述光学装置的特征的反射在所述图像中的表示。

如背景技术中所指出的那样，基于用户的眼睛的瞳孔的识别以及闪光的识别的已知方法和系统中仍存在可能潜在地导致难以确定注视方向的一些因素。在眼睛追踪系统中，例如使用不同光学装置以将所发出的引导向用户的眼睛和图像传感器，从而产生用于眼睛追踪中的图像。此外，可存在不直接连接到眼睛追踪系统的其它光学装置，诸如，眼睛追踪系统的用户所使用的一副眼镜的透镜/镜片。在一些情形下，眼睛追踪系统的光学装置和其它装置都将是导致将在被捕捉以用于眼睛追踪系统中的图像中被表示为闪光的反射的成因。这些闪光对于眼睛追踪通常是无用的，并且反倒有被误认为在眼睛追踪中使用的角膜反射的风险，并且因此有引入误差的风险。例如，在某种情况下——即在图像中除了来自用户的眼睛的反射的表示之外，还有来自位于多个发光器与用户的眼睛之间的光学装置的特征的反射的表示——这些反射有以下风险：在眼睛追踪算法中引入误差，以致于将很难或不可能确定眼睛方向和/或注视方向或者至少不能以期望准确性来确定眼睛方向和/或注视方向。识别闪光——该闪光作为来自光学装置的特征的反射的表示——降低了以下风险：通过错误地将这些闪光识别为角膜反射的表示而在眼睛追踪系统中引入误差。

所述系统可以是可穿戴系统(头戴式系统)，诸如，虚拟现实(VR)系统，其中护目镜(眼镜)布置在用户的头部上，以使得当所述系统由用户使用时，布置在头戴式系统中的发光器将与用户的头部一起移动，并且因此发光器将相对于用户的眼睛固定。发光器相对于用户的眼睛固定，只要VR装置在使用期间不相对于头部移动即可。

图像传感器可以是任何合适类型的成像传感器。

眼睛可例如由多个发光器照亮，所述发光器可例如是诸如发光二极管等光源，并且所发射的光可以是可见光或红外光。

所识别的闪光在图像中的相对位置与光学装置的特征的已知图案相一致可例如意味着，所识别的闪光在图像中按照一定的距离、角度、图案等而相对于彼此布置，根据光学装置的特征给出的已知图案，这些距离、角度、图案对于源自反射的闪光将会是预期的。

在一些实施例中，所述光学装置包括菲涅耳透镜，并且具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离。已知距离可以是相等的，即，两个连续环之间的距离在所有两个连续环之间可以是相同的。已知距离也可以根据距菲涅耳透镜的中心的距离而变动，例如如果环的位置与透镜的中心距离越远，则两个连续环之间的距离变得越来越大或越来越小，例如以使得所述两个连续环之间的距离首先与从透镜的中心到距透镜的中心给定距离的第一距离相一致，并且接着与相距给定距离并更远离透镜的中心的第二(较大或较小)距离相一致。所有函数关系便都是可行的，只要这些函数关系是已知的。

在一些实施例中，确定所述所识别的闪光的相对位置包括确定在所述图像中、所述所识别的闪光中的第一闪光与第二闪光之间的距离。在所述图像中、所述所识别的闪光中的所述第一闪光与所述第二闪光之间的距离与所述菲涅耳透镜的多个同心菲涅耳环中的连续菲涅耳环之间的已知距离相一致的情况下，所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致。

来自菲涅耳环的反射通常将来自不同菲涅耳环的对应部分。因此，在给出两个连续菲涅耳环之间的已知距离的情况下，来自两个连续环的反射之间的距离将基本上与连续环之间的距离相同。这将导致图像中的闪光在图像中的距离对应于环之间的距离。在给出包括用于捕捉图像的图像传感器和菲涅耳透镜的眼睛追踪系统的当前设置的情况下，可计算对应距离。

在所述光学装置包括菲涅耳透镜的一些实施例中，确定所述眼睛的瞳孔在所述图像中的表示的瞳孔位置，并且确定所述图像中从所述瞳孔位置到所述所识别的闪光的距离。在所述图像中从所述瞳孔位置到所述至少一个闪光的距离大于预定阈值的进一步的情况下，所述至少一个闪光被识别为来自所述菲涅耳透镜的菲涅耳环的反射的表示。

在角膜可以被近似视为球形表面的情况下，对于眼睛追踪最有用的、由角膜反射导致的闪光是那些由与瞳孔位置相距一定距离内的角膜反射导致的闪光。为了避免错误地将图像中对眼睛追踪最有用的、由角膜反射导致的这些闪光识别为由来自光学装置的特征(菲涅尔环)的反射导致的闪光，仅将距瞳孔的距离大于预定阈值的闪光识别为由来自光学装置的特征的反射导致的闪光。在角膜可以被近似视为球形表面的情况下，预定阈值可例如被设置为(或基于)图像中的距离，该距离与距瞳孔位置的距离对应。

在所述光学装置包括菲涅耳透镜并且识别出至少三个闪光的一些实施例中，确定所述所识别的闪光在所述图像中的相对位置包括确定所述图像中、第一闪光与第二闪光之间的距离，以及确定所述图像中、第二闪光与第三闪光之间的距离。在所述图像中、所述第一闪光与所述第二闪光之间的所确定的距离以及所述第二闪光与所述第三闪光之间的所确定的距离与所述菲涅耳透镜的多个同心菲涅耳环中的连续菲涅耳环之间的已知距离相一致，并且所述第一闪光、所述第二闪光和所述第三闪光在所述图像中位于一条直线上的情况下，所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致。

来自菲涅耳环的反射通常将来自不同菲涅耳环的对应部分。因此，在给出两个连续菲涅耳环之间的已知距离的情况下，来自两个连续环的反射之间的距离将基本上与连续环之间的距离相同。这将导致闪光在图像中的距离对应于环之间的距离。在给出包括用于捕捉图像的图像传感器和菲涅耳透镜的眼睛追踪系统的当前设置的情况下，可计算对应距离。此外，因为来自菲涅耳环的反射通常将来自不同菲涅耳环的对应部分，所以反射通常将出现在从菲涅尔透镜的中心开始的直线上。因此，在包括用于捕捉图像的图像传感器和菲涅尔透镜的眼睛追踪系统的当前设置中，图像中由来自菲涅尔环的反射导致的闪光通常将在图像中出现在从图像中对应于菲涅尔透镜的中心的位置开始的直线中。

在所述光学装置包括菲涅尔透镜并且所述菲涅尔透镜的多个同心菲涅尔环中的连续菲涅尔环之间的已知距离随着距所述菲涅尔透镜的中心的距离而改变的一些实施例中，确定所述所识别的闪光在所述图像中的位置，并且确定与所述所识别的闪光在所述图像中的位置对应的、距所述菲涅尔透镜的中心的距离。

在包括用于捕捉图像的图像传感器和菲涅耳透镜的眼睛追踪系统的给定设置中，可以确定图像中对应于菲涅耳透镜的中心的位置，并且可以确定图像中与菲涅耳透镜上的距离对应的距离。因此，可基于所述函数关系而确定图像中由来自菲涅耳环的反射导致的闪光之间的预期距离。

在一些实施例中，在图像中定义感兴趣区域(ROI)，该感兴趣区域包含所述瞳孔的表示。此外，仅识别所述ROI中的闪光。

感兴趣区域被定义成使得由感兴趣区域外的来自用户的眼睛的反射导致的闪光不适合用于眼睛追踪算法中，而由感兴趣区域内的来自用户的眼睛的反射导致的闪光可适合用于眼睛追踪算法中。感兴趣区域可具有任何合适形状，诸如，长方形、正方形、圆形、椭圆形等。

图像中感兴趣区域外的任何闪光可选地未被识别或者至少未被进一步处理。对于由来自用户的眼睛的角膜的光反射导致的闪光与由来自光学装置的特征的光反射导致的闪光都是这样。通过将被识别和/或进一步处理的闪光限于感兴趣区域中的任何闪光，实现了所需的处理量的减少。同时，不处理感兴趣区域外的闪光将不会影响或至少仅在很小程度上影响在图像中识别出瞳孔和/或闪光的表示的可能性，这取决于感兴趣区域的清晰度。

在一些实施例中，当使用所述系统时，所述一个或更多个发光器相对于用户的眼睛布置在基本上固定的位置处。

在一些实施例中，当用户正使用眼睛追踪系统时位于多个发光器与用户的眼睛之间的光学装置可包括使光会聚或发散的光学装置，例如作为眼睛追踪系统的附加并且独立于眼睛追踪系统的用户戴着的一副眼镜的透镜/镜片。

根据第二方面，提供一种眼睛追踪系统，包括接收器，所述接收器用于从图像传感器接收用户的眼睛的图像，所述图像由图像传感器所产生，所述图像传感器检测来自一个或更多个发光器的、从所述用户的眼睛反射以及从位于所述一个或更多个发光器与所述用户的眼睛之间的光学装置反射的光，其中所述光学装置包括具有已知图案的特征。所述眼睛追踪系统还包括处理电路，所述处理电路用于在所述图像中识别两个或更多个闪光，其中某一闪光是来自所述用户的眼睛的角膜或来自所述光学装置的特征的光反射在所述图像中的表示；确定所述所识别的闪光在所述图像中的相对位置；以及在所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致的情况下，将所述所识别的闪光中的至少一个闪光识别为来自所述光学装置的特征的反射的表示。

当用户正使用眼睛追踪系统时位于多个发光器与用户的眼睛之间的光学装置可包括使光会聚或发散的任何光学装置，例如作为眼睛追踪系统的附加并且独立于眼睛追踪系统的用户戴着的一副眼镜的透镜/镜片。

在所述眼睛追踪系统的实施例中，所述光学装置包括菲涅耳透镜，并且具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离。

根据第三方面，提供一种眼睛追踪系统，包括被配置成执行第一方面的方法和第一方面的实施例中的任一个的电路。

根据第三方面的眼睛追踪系统的实施例可例如包含与根据第一方面的方法的实施例中的任一个的特征对应的特征。

根据第四方面，提供一个或更多个存储计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在由眼睛追踪系统执行时，使所述眼睛追踪系统执行根据第一方面的方法。

根据第四方面的一个或更多个计算机可读存储介质的实施例可例如包含与根据第一方面的方法的实施例中的任一个的特征对应的特征。

一个或更多个计算机可读介质可例如是一个或更多个非暂时性计算机可读介质。

应注意，本发明的实施例涉及权利要求中所述的特征的所有可能组合。

附图说明

下文将参照附图来描述示范实施例：

图1示出眼睛追踪系统的示意图，其中本发明的实施例可实现在该眼睛追踪系统中；

图2示出眼睛的实例图像；

图3a示出头戴式装置的选定部分的视图；

图3b示出头戴式装置的选定部分的侧视图；

图3c示出头戴式装置的选定部分的简化分解图；

图4示出眼睛的图像的简化视图；

图5示出眼睛的图像；

图6是在眼睛追踪系统中识别来自光学装置的反射的方法的实例的流程图。

所有附图是示意性的，并且仅大体上示出阐明相应实施例所需的部分，而其它部分可被省略或仅被暗示出。

具体实施方式

图1示出呈虚拟现实(VR)装置或VR眼镜的形式的头戴式装置中的眼睛追踪系统100(也可称为注视追踪系统)的简化视图。系统100包括用于照射用户的眼睛的发光器110到119以及用于捕捉用户的眼睛的图像的光传感器120。发光器110到119可例如是发射红外频带或近红外频带中的光的发光二极管。光传感器120可例如是任何类型的图像传感器，诸如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。图像传感器可由含有像素传感器的阵列的集成电路组成，每个像素含有光电检测器和有源放大器。图像传感器能够将光转换为数字信号。在现实中，作为实例，图像传感器可以是：

·红外图像传感器或IR图像传感器

·RGB传感器

·RGBW传感器

·具有IR滤光片的RGB或RGBW传感器

眼睛追踪系统100还包括用于接收和处理由光传感器120捕捉的图像的电路125，所述电路例如包含接收器126和处理电路127。电路125可例如经由有线或无线连接而连接到光传感器120和发光器110到119，并且与光传感器120和发光器110到119位于同一位置，或相隔一定距离，例如，位于不同装置中。在另一实例中，电路125可设置在光传感器120的光敏表面下的一个或更多个叠层中。

应注意，图1中的图像传感器120的位置仅出于说明目的。VR装置中用于一只眼睛的传感器的位置通常远离用户的视线，以便不遮挡为这只眼睛布置在VR装置中的VR显示器。这例如通过所谓的热反射镜来实现，所述热反射镜反射光的一部分，并且使光的剩余部分通过，例如，反射红外光并允许可见光通过。

在参照图1所述的眼睛追踪系统中，发光器110到119沿着圆圈的圆周布置在眼睛追踪模块中。这种布置仅作为实例。应了解，任何数量的更多或更少的发光器和光传感器可用于眼睛追踪，并且这些发光器和光传感器可按不同方式分布。

图2示出由图1的光传感器120捕捉的眼睛200的图像的简化实例。电路125可例如采用图像处理(诸如，数字图像处理)以提取图像中的特征。电路125可例如使用瞳孔中心角膜反射(PCCR)眼睛追踪以确定眼睛200正看着何处。在PCCR眼睛追踪中，在电路125中估计眼睛200处的瞳孔210的中心的位置和闪光220的中心的位置。闪光220是由来自多个发光器110到119的光反射引起的。电路125使用闪光220来计算用户眼睛位于空间中的何处，并且使用瞳孔210来计算用户眼睛200正朝向何处。因为眼睛200的光学中心与中央凹之间通常存在偏移，所以电路125执行中央凹偏移的校准，以能够确定用户正看着何处。接着，从左眼和右眼获得的注视方向可被组合以形成组合的估计注视方向(或观察方向)。

图3a到图3c各自示出呈虚拟现实(VR)装置(VR眼镜)300的形式的头戴式装置的选定部分的独立视图，所述头戴式装置包含眼睛追踪系统，其中在所述眼睛追踪系统中可实施本发明的实施例。

图3a示出呈VR眼镜300的形式的头戴式装置的选定部分的视图，所述头戴式装置包含眼睛追踪系统，其中在所述眼睛追踪系统中可实施本发明的实施例。除了VR眼镜300之外，还示出用户的眼睛302和头部304。所示出的VR眼镜300的VR部分包括两个VR显示器305和两个VR透镜330，每只眼睛302一个VR显示器305和一个VR透镜330。VR显示器305定位在眼睛302之前，并且VR透镜330定位在眼睛302与VR显示器305之间。作为两个VR显示器305的替代，可以使用单个VR显示器的两个区域。VR眼镜300的眼睛追踪部分包括两个热反射镜335和两个相机320。为了捕捉眼睛302的图像以用于眼睛追踪中，热反射镜335布置在VR显示器305与VR透镜330之间。通常，例如为了减小VR眼镜300的重量和大小，VR透镜330是所谓的菲涅耳透镜。此外，发光器(未示出)布置在VR眼镜300上或VR眼镜内，以使得照射光线被引导向眼睛302。照射光线从眼睛302朝向热反射镜335的反射将朝向相机320反射，在所述相机中，照射光线被检测以产生眼睛的图像。例如，热反射镜335可以被设计成将反射红外频带中的光但使可见频带中的光透过。所使用的发光器(未示出)接着将产生红外频带中的照射光线，并且相机320将包含能够检测红外频带中的光的图像传感器。

图3b示出VR眼镜300的选定部分的侧视图。从发光器(未示出)朝向眼睛302的照射光线将反射回来，并朝向热反射镜335而穿过VR透镜330，并朝向相机320反射，在所述相机中，照射光线被检测以产生眼睛的图像。

图3c示出VR眼镜300的选定部分的分解图。示出了用于一只眼睛的选定部分，包含发光器盖324、呈发光二极管(LED)310到319的形式的发光器、包含图像传感器的相机320、VR透镜330、透镜杯或透镜管326、热反射镜335、VR显示器305和电子线路板328。图3c示出呈LED 310到319的形式的发光器的实例布置，其中LED 310到319沿着VR透镜330的周缘布置，以在照射眼睛302时产生图案。从眼睛和热反射镜335反射的、来自LED 310到319的照射光线在相机320中被检测以产生眼睛的图像。

诸如在VR眼镜300中的头戴式装置可通过包含可穿戴眼睛追踪装置来增强，所述可穿戴眼睛追踪装置使用布置在头戴式装置中的发光器和一个或更多个光传感器320，用于基于瞳孔的中心的位置和源自发光器的、眼睛处的一个或更多个闪光的中心的位置的估计来确定眼睛方向和/或注视方向。当使用使光会聚或发散的又一光学装置(诸如，用户在VR眼镜300下戴着的眼镜)时在这些装置中可能出现的问题是，来自发光器的光可由眼镜的透镜/镜片以及VR透镜330的特征(诸如，在VR透镜330是菲涅尔透镜的情况下的菲涅尔环)一起反射到图像传感器320上。眼睛的图像中与这些反射对应的、用于眼睛追踪的闪光可能使得很难或不可能确定眼睛方向和/或注视方向或者至少不能以期望准确性来确定眼睛方向和/或注视方向。

固定在图3a到图3c中的VR眼镜中的发光器的布置将导致当使用所述系统时，发光器相对于用户的眼睛布置在基本上固定的位置处，只要VR眼镜在使用期间相对于用户的眼睛不移动即可。

然而，因为光学装置的特征(诸如，菲涅耳透镜的菲涅耳环)通常具有已知图案，所以来自这些特征的反射通常将导致图像中与已知图案相一致的闪光。因此，通过研究图像中的所识别的闪光以及这些闪光是否与已知图案相一致，可以识别由来自光学装置的特征(诸如，菲涅耳透镜的菲涅耳环)的反射导致的闪光。在识别之后，这些闪光可以被剔除而不进一步用于所使用的眼睛追踪算法中。

图4关联于一些实施例示出用户的眼睛的图像400的简化视图，这些实施例的实例将在下文中予以公开。在诸如关于图3a到图3c而公开的VR眼镜(包含作为菲涅耳透镜的VR透镜)等头戴式系统中捕捉图像。

图像400涉及用户除了VR眼镜之外还戴着一副眼镜的情形。图像400是示意性的。有关更详细的图像，请参照图5。

对于眼睛追踪，通过多个发光器来照射用户的眼睛。图像400是从图像传感器得到的，该图像传感器检测来自多个发光器的、从用户的眼睛反射的光以及从眼镜的透镜与VR眼镜的菲涅尔透镜的菲涅尔环一起反射的光。眼镜的透镜位于多个发光器与用户的眼睛之间，并且也位于菲涅耳透镜与用户的眼睛之间。接着，在处理电路中从图像传感器接收用户的眼睛的图像400。

如图4所图示，由来自多个发光器的、从用户眼睛的角膜反射的光导致的闪光430出现在图像400中。此外，由来自多个发光器的、从眼镜的透镜与VR眼镜的菲涅尔透镜的菲涅尔环一起反射的光导致的闪光440也出现在图像400中。与图4相关的菲涅耳透镜具有已知图案，在具体情况下，所述已知图案的特征在于，菲涅耳环是同心的并且两个连续菲涅耳环之间的距离对于所有两个连续菲涅耳环是已知的。例如，两个连续菲涅尔环之间的距离可以是相等的，即，两个连续菲涅尔环之间的距离相同，而不管两个连续菲涅尔环距菲涅尔透镜的中心的距离如何。或者，所述距离可根据距菲涅耳透镜的中心的距离的函数而变化。闪光440的位置与VR眼镜的菲涅耳透镜的已知图案相一致。以相等的距离，闪光440出现在多条直线上，其中所有的两个连续闪光之间的距离相同，其中所述直线是从图像中对应于菲涅耳透镜的中心的点开始。在给定设置中给出菲涅耳透镜的两个连续菲涅耳环之间的已知距离的情况下，将可能确定图像中的两个连续闪光440之间的预期距离。以变化的距离，闪光440出现在多条直线上，其中连续闪光440之间的距离根据所述函数关系而变化，其中所述直线是从图像中对应于菲涅耳透镜的中心的点开始。在给定设置中给出距菲涅耳透镜的中心对应距离处的菲涅耳透镜的两个连续菲涅耳环之间的已知距离的情况下，将可能确定两个连续闪光440之间的预期距离，这两个闪光在图像中与图像中对应于菲涅耳透镜的中心的位置相隔一定距离。

图5关于实例公开在下文中的实施例而示出用户的眼睛的图像500。在诸如关于图3a到图3c而公开的VR眼镜(包含作为菲涅耳透镜的VR透镜)等头戴式系统中捕捉图像。

图像500是图像传感器检测到来自多个发光器的、从用户的眼睛反射以及从眼镜的透镜与VR眼镜的菲涅尔透镜的菲涅尔环反射的光的结果。眼镜的透镜位于多个发光器与用户的眼睛之间，并且也位于菲涅耳透镜与用户的眼睛之间。接着，在处理电路中从图像传感器接收用户的眼睛的图像500。

如图5所图示，由来自多个发光器的、从用户眼睛的角膜反射的光导致的闪光530出现在图像中。此外，由来自多个发光器的、从眼镜的透镜与VR眼镜的菲涅尔透镜的菲涅尔环一起反射的光导致的闪光540也出现在图像中。与图5相关的菲涅耳透镜具有已知图案，在具体情况下，所述已知图案的特征在于，菲涅耳环是同心的并且两个连续菲涅耳环之间的距离对于所有的两个连续菲涅耳环是已知的。例如，两个连续菲涅尔环之间的距离可以是相等的，即，两个连续菲涅尔环之间的距离相同，而不管两个连续菲涅尔环距菲涅尔透镜的中心的距离如何。或者，所述距离可根据距菲涅耳透镜的中心的距离的函数而变化。闪光540的位置与VR眼镜的菲涅耳透镜的已知图案相一致。以相等的距离，闪光540出现在直线上，其中所有的两个连续闪光之间的距离相同，其中直线从图像中对应于菲涅耳透镜的中心的点开始。在给定设置中给出菲涅耳透镜的两个连续菲涅耳环之间的已知距离的情况下，将可能确定图像中的两个连续闪光540之间的预期距离。以变化的距离，闪光540出现在直线上，其中连续闪光540之间的距离根据所述函数关系而变化，其中直线从图像中对应于菲涅耳透镜的中心的点开始。在给定设置中给出距菲涅耳透镜的中心对应距离处的菲涅耳透镜的两个连续菲涅耳环之间的已知距离的情况下，将可能确定两个连续闪光540之间的预期距离，这两个连续闪光在图像中与图像中对应于菲涅耳透镜的中心的位置相隔一定距离。

此外，斑点550出现在图像500中，其中斑点550是来自多个发光器的、从眼镜的透镜反射的光。斑点550不是因菲涅耳透镜所致，并且不同于由来自多个发光器的、从眼镜的透镜与VR眼镜的菲涅耳透镜的菲涅耳环一起反射的光导致的闪光540。

对眼睛追踪有用的、由来自用户眼睛的角膜的反射导致的闪光530将在距瞳孔510在图像中的位置的特定距离内出现在图像500中。对眼睛追踪有用的、由来自角膜的反射导致的任何闪光530不应被误认为是由来自眼镜的透镜与VR眼镜的菲涅耳透镜的菲涅耳环一起的反射导致的闪光540。因此，可以关联于该特定距离而设置预定阈值，并且仅当图像中从瞳孔位置到闪光540的距离大于预定阈值时，闪光540才被识别为来自菲涅耳透镜的菲涅耳环的反射的表示。

可定义感兴趣区域ROI 570。ROI 570在图5中以正方形虚线示出，但可具有任何其它合适形状，诸如，长方形、圆形、椭圆形等。ROI 570是图像的一部分，包含瞳孔510在图像中的表示。感兴趣区域570优选被定义为包含对眼睛追踪有用的、由来自用户眼睛的角膜的反射导致的所有闪光530的最小区域。仅识别出现在ROI中的闪光。ROI 570外的任何闪光不被识别或者至少不被进一步处理。通过如上所述地将被识别且进一步处理的闪光斑点限制为ROI 570中的任何闪光530、540，可减少所需的处理量。同时，不处理ROI 570外的闪光可以不影响或仅在很小程度上影响识别瞳孔550和/或闪光530在图像500中的表示的可能性。

图6示出在眼睛追踪系统中识别来自光学装置的反射的方法的实例。所述方法包括从图像传感器接收用户的眼睛的图像(610)。所述图像源自图像传感器，所述图像传感器检测来自一个或更多个发光器的、从所述用户的眼睛反射以及从位于所述一个或更多个发光器与所述用户的眼睛之间的光学装置反射的光。当使用所述系统时，所述一个或更多个发光器可相对于用户的眼睛布置在基本上固定的位置处。所述光学装置包括具有已知图案的特征。例如，所述光学装置可包括菲涅耳透镜，其中具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离。所述菲涅尔透镜的多个同心菲涅尔环中的连续菲涅尔环之间的已知距离在所有的两个连续菲涅尔环之间可以是相同的，或者可根据距菲涅尔透镜的中心的距离的函数而变化。

当使用所述系统时，所述一个或更多个发光器可相对于用户的眼睛布置在基本上固定的位置处。

所述方法还包括在所述图像中识别两个或更多个闪光(620)。闪光是来自所述用户的眼睛的角膜和/或来自所述光学装置的特征的光反射在所述图像中的表示。例如，当所述光学装置包括菲涅耳透镜时，光反射可与菲涅耳透镜的菲涅耳环有关。

所述方法还包括确定所述所识别的闪光在所述图像中的相对位置(630)；以及在所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致的情况下，将所述所识别的闪光中的至少一个闪光识别为来自所述光学装置的特征的反射在所述图像中的表示(640)。例如，当所述光学装置包括菲涅耳透镜时——其中具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离——确定所述图像中、所述所识别的闪光中的第一闪光与第二闪光之间的距离。此外，在所述图像中、所述所识别的闪光中的所述第一闪光与所述第二闪光之间的距离与所述菲涅耳透镜的多个同心菲涅耳环中的连续菲涅耳环之间的已知距离相一致的情况下，所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致。所述光学装置可还包括用户戴着的一副眼镜的透镜。

在连续菲涅尔环之间的已知距离相等的情况下，即，所有两个连续菲涅尔环之间的距离相同的情况下，如果在给出连续菲涅尔环之间的已知距离的情况下，所述第一闪光与所述第二闪光之间的距离是对于来自两个连续菲涅尔环的反射的表示所预期的距离，那么在所述图像中、在所述第一闪光与所述第二闪光之间的距离与连续菲涅尔环之间的已知距离相一致。

在连续菲涅尔环之间的已知距离是距所述菲涅尔透镜的中心的距离的函数的情况下，所述方法还包括确定所述所识别的闪光在所述图像中的位置；以及确定对应于所述所识别的闪光在所述图像中的位置的、距所述菲涅尔透镜的中心的距离。如果在给出距所述菲涅耳透镜的中心所确定的距离处的两个连续菲涅耳环之间的已知距离的情况下，所述第一闪光与所述第二闪光之间的距离是对于来自两个连续菲涅尔环的反射的表示所预期的距离，那么在所述图像中、所识别的闪光中的所述第一闪光与所述第二闪光之间的距离与连续菲涅尔环之间的已知距离相一致。

所述方法可还包括确定所述眼睛的瞳孔在所述图像中的表示的瞳孔位置；以及确定所述图像中从所述瞳孔位置到所述所识别的闪光的距离。在这种情况下，可仅将所述图像中从所述瞳孔位置到至少一个闪光的距离大于预定阈值的闪光识别为来自所述菲涅耳透镜的菲涅耳环的反射的表示。

当所述光学装置包括菲涅耳透镜时——其中具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离——所述方法可包括识别至少三个闪光；以及进一步确定在所述图像中、第二闪光与第三闪光之间的距离。对于这种情况，在所述图像中、所述第一闪光与所述第二闪光之间的所确定的距离以及所述第二闪光与所述第三闪光之间的所确定的距离与连续菲涅耳环之间的已知距离相一致，并且所述第一闪光、所述第二闪光和所述第三闪光在所述图像中位于一条直线上的情况下，所述所识别的闪光在所述图像中的相对位置与所述光学装置的特征的已知图案相一致。

所述方法可还包括定义包含所述瞳孔在所述图像中的表示的感兴趣区域ROI，其中仅识别所述ROI中的闪光。

本领域的技术人员应认识到，本发明绝不限于上文所述的优选实施例。相反，许多修改和变化可以落在随附权利要求书的范围内。例如，本领域的技术人员应认识到，本文所述的方法可由除图1所示的实例眼睛/注视追踪系统100之外的其它眼睛/注视追踪系统执行，例如，当使用时发光器的位置相对于用户的眼睛固定的任何眼睛/注视追踪系统，以及当使用时发光器的位置相对于用户的眼睛并不固定的眼睛/注视追踪系统。

此外，已关于一只眼睛进行描述。然而，本领域的技术人员应认识到，所述方法和系统也可对两只眼睛执行。

此外，所公开的实施例的变化形式可被本领域的技术人员在实践所要求保护的发明时从对附图、公开内容和随附权利要求书的研读来理解和实行。在权利要求书中，用词“包括”不排除其它元件或步骤，并且用词“某一”或“一个”不排除多个。本公开中所参照的功能单元之间的任务划分未必对应于物理单元的划分；相反，一个物理部件可具有多种功能，并且一个任务可按分散方式由若干物理部件协同执行。计算机程序可存储/分配在合适的非暂时性介质(诸如，与其它硬件一起供应或作为其它硬件的一部分供应的光学存储介质或固态介质)上，但是也可诸如经由互联网或其它有线或无线电信系统以其它形式分配。在相互不同的从属权利要求中引述某些度量/特征这一单纯事实不表示这些度量/特征的组合不能优先使用。方法步骤不一定要按照它们出现在权利要求书或本文所述的实施例中的次序来执行，除非明确描述需要某一次序。权利要求书中的任何附图标记不应解释为对范围构成限制。

Claims (13)

1.一种在眼睛追踪系统(100)中识别来自光学装置的反射的方法，所述方法包括：

从图像传感器(120)接收用户的眼睛的图像，所述图像源自所述图像传感器(120)，所述图像传感器检测来自一个或更多个发光器(110到119)的、从所述用户的所述眼睛反射以及从位于所述一个或更多个发光器(110到119)与所述用户的所述眼睛之间的光学装置反射的光，其中所述光学装置包括具有已知图案的特征；

在所述图像中识别两个或更多个闪光，其中某一闪光是来自所述用户的所述眼睛的角膜和/或来自所述光学装置的特征的光反射在所述图像中的表示；

确定所述所识别的闪光在所述图像中的相对位置；以及

在所述所识别的闪光在所述图像中的所述相对位置与所述光学装置的所述特征的所述已知图案相一致的情况下，将所述所识别的闪光中的至少一个闪光识别为来自所述光学装置的特征的反射在所述图像中的表示。

2.根据权利要求1所述的方法，其中所述光学装置包括菲涅耳透镜，并且其中具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离。

3.根据权利要求2所述的方法，其中确定所述所识别的闪光的相对位置包括：

确定所述图像中、所述所识别的闪光中的第一闪光与第二闪光之间的距离，

并且，其中在所述图像中、所述所识别的闪光中的所述第一闪光与所述第二闪光之间的所述距离与所述菲涅耳透镜的所述多个同心菲涅耳环中的连续菲涅耳环之间的所述已知距离相一致的情况下，所述所识别的闪光在所述图像中的所述相对位置与所述光学装置的所述特征的所述已知图案相一致。

4.根据权利要求3所述的方法，还包括：

确定所述眼睛的瞳孔在所述图像中的表示的瞳孔位置；以及

确定所述图像中从所述瞳孔位置到所述所识别的闪光的距离；

其中在所述图像中从所述瞳孔位置到所述至少一个闪光的所述距离大于预定阈值的进一步的情况下，所述至少一个闪光被识别为来自所述菲涅耳透镜的菲涅耳环的反射的表示。

5.根据权利要求2所述的方法，其中识别至少三个闪光，并且其中确定所述所识别的闪光在所述图像中的相对位置包括：

确定所述图像中、所述第一闪光与所述第二闪光之间的距离；以及

确定所述图像中、所述第二闪光与所述第三闪光之间的距离；

其中在以下情况下，所述所识别的闪光在所述图像中的所述相对位置与所述光学装置的所述特征的所述已知图案相一致：

所述图像中、所述第一闪光与所述第二闪光之间的所述所确定的距离以及所述第二闪光与所述第三闪光之间的所述所确定的距离与所述菲涅耳透镜的所述多个同心菲涅耳环中的连续菲涅耳环之间的所述已知距离相一致；并且

所述第一闪光、所述第二闪光和所述第三闪光在所述图像中位于一条直线上。

6.根据权利要求2到5中任一项所述的方法，其中所述菲涅尔透镜的所述多个同心菲涅尔环中的连续菲涅尔环之间的所述已知距离是距所述菲涅尔透镜的中心的距离的函数，所述方法还包括：

确定所述所识别的闪光在所述图像中的位置；以及

确定对应于所述所识别的闪光在所述图像中的所述位置的、距所述菲涅尔透镜的所述中心的距离。

7.根据前述权利要求中任一项所述的方法，还包括：

定义包含所述瞳孔在所述图像中的所述表示的感兴趣区域ROI，

其中仅识别所述ROI中的闪光。

8.根据前述权利要求中任一项所述的方法，其中当使用所述系统(100)时，所述一个或更多个发光器(110到119)相对于用户的眼睛布置在基本上固定的位置处。

9.根据权利要求1所述的方法，其中所述光学装置还包括一副眼镜的透镜。

10.一种眼睛追踪系统(100)，包括：

接收器(126)，用于从图像传感器(120)接收用户的眼睛的图像，所述图像源自所述图像传感器(120)，所述图像传感器检测来自一个或更多个发光器(110到119)的、从所述用户的所述眼睛反射以及从位于所述一个或更多个发光器(110到119)与所述用户的所述眼睛之间的光学装置反射的光，其中所述光学装置包括具有已知图案的特征；

处理电路(127)，用于：

识别所述图像中的两个或更多个闪光，其中闪光是来自所述用户的所述眼睛的角膜或来自所述光学装置的特征的光反射在所述图像中的表示；

确定所述所识别的闪光在所述图像中的相对位置；以及

在所述所识别的闪光在所述图像中的所述相对位置与所述光学装置的所述特征的所述已知图案相一致的情况下，将所述所识别的闪光中的至少一个闪光识别为来自所述光学装置的特征的反射的表示。

11.根据权利要求1所述的眼睛追踪系统(100)，其中所述光学装置包括菲涅耳透镜，并且其中具有已知图案的所述特征是所述菲涅耳透镜的多个同心菲涅耳环，所述同心菲涅耳环在连续菲涅耳环之间具有已知距离。

12.一种眼睛追踪系统(100)，包括被配置成执行根据权利要求1到9中任一项所述的方法的电路(125)。

13.存储计算机可执行指令的一个或多个计算机可读存储介质，所述计算机可执行指令在由眼睛追踪系统(100)执行时，使所述眼睛追踪系统(100)执行根据权利要求1到9中任一项所述的方法。

Images