CN107533362B - 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 - Google Patents

Abstract

本发明涉及包括处理单元(18)和光学系统(14)的眼睛跟踪设备(10a；10b；10c)，光学系统(14)包括捕获单元。光学系统(14)提供具有第一成像特性的第一光路径(P；P1)和具有第二成像特性的第二光路径(P；P2)，并且捕获单元(C；C1，C2)通过捕获沿着第一光路径(P；P1)通过的光来捕获第一图像(24a)并且通过捕获沿着第二光路径(P；P2)的光来捕获第二图像(24b)，使得由于第一成像特性与第二成像特性的差异，第一图像(24a)和第二图像(24b)包括与第一图像(24a)和第二图像(24b)的至少一部分的特性相关的差异，其中眼睛跟踪设备(10a；10b；10c)被配置为基于第一图像(24a)和第二图像(24b)中的至少一个来确定眼睛(12)的特性。

Description

眼睛跟踪设备和用于操作眼睛跟踪设备的方法

技术领域

本发明涉及一种包括光学系统的眼睛跟踪设备，该光学系统包括用于捕获用户的至少一只眼睛的至少一部分的图像的捕获单元。眼睛跟踪设备还包括用于基于捕获的图像确定所述至少一只眼睛的至少一个特性(例如，注视方向)的处理单元。而且，捕获单元被配置为捕获用户的所述至少一只眼睛的所述至少一部分的第一图像和第二图像。本发明还涉及用于操作眼睛跟踪设备的对应方法。

背景技术

现有技术中已知有不同的眼睛跟踪设备，如远程眼睛跟踪器或头戴式眼睛跟踪器，以及不同的眼睛追踪方法，如基于外观的眼睛跟踪或基于模型的眼睛跟踪。此类眼睛跟踪设备通常捕获用户的眼睛的图像并且基于捕获的图像确定眼睛的某些特征。通常，从这些图像中确定瞳孔位置或虹膜位置。例如，可以通过首先在图像中搜索瞳孔然后计算瞳孔中心(例如，通过找到瞳孔轮廓点的中心)来找到瞳孔位置。一些眼睛跟踪器还使用主动照明在眼睛上产生角膜反射。通过假设角膜表面是球形并且通过确定两个或更多个此类角膜反射的位置，可以确定角膜中心。而且，注视方向可以例如作为通过角膜中心和瞳孔中心的直线来确定。这条直线定义眼睛的光轴并且可以在校准过程中进行校准，以考虑到每个个体用户的光轴与视线的个体偏差。

关于眼睛跟踪器和眼睛跟踪方法，一般而言，始终需要增强准确度和精度。注视方向或其它确定的眼睛特征的精度和准确度主要依赖于眼睛特征物(如瞳孔或角膜反射)及其位置在捕获的图像中可以多准确地被确定。而且，由于眼睛跟踪器被集成到越来越多的设备中(如计算机、汽车、虚拟现实眼镜等)，因此还需要提供非常紧凑的眼睛跟踪设备并提供很大的灵活性。

发明内容

因此，本发明的目标是提供一种眼睛跟踪设备和用于操作眼睛跟踪设备的方法，通过所述眼睛跟踪设备和方法可以实现高精度和准确度，并且通过所述眼睛跟踪设备和方法可以增强眼睛跟踪能力。

这个目标通过具有相应独立权利要求的特征的眼睛跟踪设备和用于操作眼睛跟踪设备的方法来解决。本发明的有利实施例在从属权利要求中给出。

根据本发明的眼睛跟踪设备包括光学系统，该光学系统包括用于捕获用户的至少一只眼睛的至少一部分的图像的捕获单元，并且眼睛跟踪设备还包括处理单元，用于基于捕获的图像确定所述至少一只眼睛的至少一个特性，其中捕获单元被配置为捕获用户的所述至少一只眼睛的所述至少一部分的第一图像和第二图像。此外，光学系统包括成像特性，其包括至少一个第一成像特性和与第一成像特性不同的第二成像特性。而且，光学系统提供具有第一成像特性的第一光路径和具有第二成像特性的第二光路径。此外，眼睛跟踪设备被配置为使得捕获单元通过捕获沿着第一光路径通过的光来捕获第一图像并且通过捕获沿着第二光路径通过的光来捕获第二图像，使得由于第一与第二成像特性的差异，第一图像与第二图像包括与第一和第二图像的至少一部分的特点相关的差异，其中眼睛跟踪设备被配置为基于第一图像和第二图像中的至少一个确定眼睛的至少一个特性。

通过提供不同的成像特性(例如，通过不同的焦距)，通过同一个眼睛跟踪设备，为适应不同的情况提供了多得多的灵活性。而且，由此可以提供巨大的优点，尤其是关于准确度和精度。特别地，本发明基于若干发现：例如，可以通过不同的焦距或不同的图像平面来提供不同的成像特性。通常的眼睛跟踪器使用具有固定景深的固定焦距透镜。固定景深是不利的，尤其是针对远程眼睛跟踪器，其中用户相对于相机的位置可以有很大变化。因此，即使眼睛相对于相机的位置不同，景深也必须大到能够捕获眼睛的清晰图像。为了提供大的景深，相机的光圈必须非常小，这再次导致对于图像捕获的大的光损耗和低的光强度，这导致不良的图像质量，并且使得难以精确地确定图像中的眼睛特征(如瞳孔)。但是，根据本发明，有可能具有不同的成像特性，其允许例如在不需要大景深的情况下聚焦在用户的眼睛上。这再次允许用于图像捕获的较大的光圈、较高的光强度，较高的图像质量，并因此在确定眼睛的至少一个特性时增强精度和准确度。此外，本发明的另一个重要发现是，如果使用不清晰或模糊的图像，那么可以更准确地确定角膜反射的位置。例如，如果捕获了眼睛的对焦(in-focus)图像，那么角膜反射在图像中作为非常小且明亮的点出现。但是，依赖于情况或者也依赖于图像传感器的分辨率，难以精确地确定这样的小点的位置。所确定的点的位置与角膜反射的实际位置的小偏差就将导致最终确定的注视方向的大误差。相反，如果捕获了眼睛的失焦(out-of-focus)图像，那么这种角膜反射看起来不是作为点，而是作为扩展的圆圈，并且已经发现，基于圆圈轮廓点对这个圆圈中心的确定导致在准确度和精度方面好得多的结果，尤其是当对这些点进行平均时可以更好地补偿轮廓点的位置确定中的误差，例如通过将椭圆拟合到找到的轮廓点，用于确定这个轮廓的中心。但是，当确定瞳孔的位置时，情况就不一样了。相反，图像越清晰，瞳孔位置可以越准确地确定。因此，依赖于要确定的特征，本发明还有利地允许使用不同的成像特性。例如，可以同时或连续地捕获清晰和不清晰的图像，并且然后清晰的图像可以被用来确定瞳孔位置，而不清晰的图像可以被用于确定角膜反射的位置。本发明还具有关于将眼睛跟踪设备集成到其它设备(尤其是头戴式显示器)中的巨大优点，因为在这种设置中，由光学系统提供的不同成像特性不仅可以用于增强眼睛跟踪，而且用于以非常有利的方式投影显示器的图像，这将在后面更详细地解释。因此，眼睛跟踪设备的光学器件可以与其它设备(如显示设备)共享，这有助于眼睛跟踪设备在其它设备中的紧凑集成。

本发明的进一步的巨大优点是，例如，可以使用焦点扫描(focus sweep)来估计眼睛特征的深度，有意地使用不清晰的图像来模糊不想要的特征(如用户的眼镜上的不期望的反射)，或主动使用图像中特点的差异来更容易地识别某些特征(如角膜反射)。例如，如果提供用于在用户的眼睛上产生角膜反射的光源并且光源通过具有不同成像特性的光学系统照射眼睛，那么捕获的图像中的角膜反射的外观将相应地变化，并且因此可以更容易地与环境光区别开。

因此，通过提供不同的成像特性，可以在准确度和精度方面实现许多优点，从而减少光的损失并适于许多不同的眼睛跟踪情况。

眼睛跟踪设备可以是头戴式眼睛跟踪设备(如眼睛跟踪眼镜设备，或集成在头盔中或者集成在头戴式显示设备中、虚拟现实眼镜中、增强现实眼镜或其它头戴设备中的眼睛跟踪器)。眼睛跟踪设备还可以是远程眼睛跟踪器，可选地与其它设备(如计算机、显示器、监视器等)集成或耦合。捕获单元可以包括一个或多个相机、光传感器(如图像传感器，例如CCD传感器或CMOS传感器)。一般而言，处理单元可以是处理器、控制器、微控制器或任何种类的集成电路。光学系统可以包括任何光学元件(如一个或多个透镜、棱镜、光束分离器、反射镜、反射器、光导、准直器等)。

根据本发明的优选实施例，第一和第二成像特性各自涉及以下至少一个：焦距、眼睛跟踪设备的至少一个元件(特别是光学系统)相对于参考位置的位置，尤其是图像距离，特别是捕获单元的至少一部分(如图像传感器)与光学系统的至少一个光学元件之间的距离、眼睛跟踪设备的至少一个光源与光学系统的至少一个光学元件之间的距离、光学系统的至少一个元件(尤其是光学系统的光学元件和/或捕获单元的图像传感器平面)相对于参考位置的倾斜和/或旋转，以及光圈值。

眼睛跟踪设备的成像特性还可以在空间上或时间上变化。例如，第一和第二光路径可以在空间上分离，每条路径包括一定的成像特性，例如通过在这些路径中的每一条中使用具有不同焦距的透镜。眼睛跟踪设备的这些光路径也可以在空间上完全相同，并且仅在时间上关于它们的成像特性有变化，例如通过使用具有可控和可变焦距的透镜(如液体透镜)或通过相对于透镜(例如平行于透镜平面)移动图像传感器平面或通过将图像传感器平面倾斜一个角度。为此目的，捕获单元可以包括普通相机或Scheimpflug相机。通过移动捕获单元的至少一部分，可以影响捕获的图像的清晰度，因为传感器平面可以相对于聚焦平面移动，并且视点或透视角也可以改变。而且，在成像特性在时间上变化的情况下，处理单元优选地被配置为控制成像特性，例如，通过控制变焦透镜的焦距、通过控制光学系统的元件的相对位置、通过控制光学系统的孔径光阑的打开或闭合，等等。而且，如果眼睛跟踪设备的光源通过光学系统照射眼睛，用于在眼睛上产生角膜反射，那么光源可以相对于光学系统可移动，并且由处理单元控制它们的位置，这会影响眼睛上产生的角膜反射的外观(如尺寸和形状)。此外或替代地，光源(尤其是由光源提供的发射特点和/或照度分布)可以受至少一个液体透镜的影响，例如，液体透镜越聚焦，光源照射得越亮，特别是由光源产生的角膜反射越亮。在另外的实施例中，光源(尤其特别是由光源提供的发射特点和/或照度分布)经由处理单元通过至少一个参数或多个参数来控制。用于参数和参数的组合的示例是一个或多个液体透镜的焦距和/或用来控制所述一个或多个液体透镜的电压。最后，相互的，可以由处理单元通过光源的参数(即，电压或亮度)控制液体透镜。

通过提供关于成像特性的这种不同设置，这导致分别捕获的图像的不同图像特点。这些图像特点优选地涉及图像特征(尤其是捕获的图像中眼睛特征的图像)的清晰度和/或清晰度范围和/或缩放因子和/或对比度和/或亮度和/或光谱和/或饱和度和/或尺寸和/或形状，和/或第一和第二图像中每一个的至少一部分的透视角和/或视点。图像中关于这些特点的差异一方面可以有目的地产生(例如为了实现图像中的一定的清晰度或为了优化图像特征的对比度)，另一方面图像之间与这些特点相关的差异还可以被用来得出关于眼睛和眼睛特征的进一步信息，例如使用不同图像中的图像特征的尺寸差异(这是由于不同焦距产生的)，来基于尺寸的这种差异计算这些眼睛特征或眼睛本身离捕获单元的距离、眼睛的位置或眼睛的尺寸(例如，直径)。光学系统的设置和设置的改变也可以在外部被控制或触发，例如，通过与眼睛跟踪设备的处理单元分离的控制单元，例如，通过其中集成有眼睛跟踪设备的头戴式显示器的控制单元。然后处理单元不一定必须被用于控制光学系统的设置的单独的控制单元通知关于当前设置或设置的改变，而可以从捕获的图像的图像特点和/或图像特点的差异得出关于当前设置或设置的改变的信息。用于可以在外部触发设置的系统和应用的示例是由医疗设备、Web接口、人机接口等发送或转发的命令、信息或数据。

而且，优选的是眼睛的至少一个特性是眼睛的位置和/或眼睛的朝向和/或眼睛的注视方向和/或其它眼睛特点(如瞳孔、角膜缘、虹膜或角膜反射的特点)或者此类特征的维度、尺寸、形状、位置、结构和/或朝向中的任何一个。

根据本发明的另一个有利实施例，光学系统被配置为使得沿着第一路径传播的光的传播方向以第一预定方式更改，尤其是通过以第一预定义程度折射光，并且沿着第二路径传播的光的传播以第二预定方式更改，尤其是通过以第二预定义程度折射光，其中第一与第二程度是不同的。因此，可以例如通过可变焦距透镜或通过提供各自具有不同焦距的透镜的不同路径来实现光的不同折射。这些设置是非常有利的，因为不需要位置可变元件。由此，可以减少系统的机械暴露。

根据本发明的另一个有利实施例，处理单元被配置为：

-导出与第一和第二图像的至少一部分的特点(尤其是图像特征的清晰度和/或清晰度的范围和/或缩放因子和/或对比度和/或亮度和/或光谱和/或尺寸和/或图像特征的形状和/或透视)相关的差异，并且基于该差异导出关于至少一只眼睛的至少一部分的第一信息并且基于关于所述至少一只眼睛的所述至少一部分的所述第一信息确定所述至少一只眼睛的特性；和/或

-分析第一图像并且基于对第一图像的这种分析来预先确定眼睛跟踪设备的设置，使得捕获包括相对于第一图像的差异的第二图像。

例如，如果关于特点的差异是关于捕获的图像中的图像特征(这是如瞳孔或虹膜的特征)的清晰度、缩放因子或尺寸导出的，其中关于这些特点的差异已经由例如不同的焦距产生，那么可以计算这些特征实际的尺寸以及它们离光学系统的距离。因此，通过分析捕获的图像的特点的差异或改变，可以导出眼睛特征或眼睛本身的深度信息。通过从彼此减去第一和第二图像来导出与特点相关的差异也是非常有利的。以这种方式，尤其是可以非常准确地确定眼睛特征的轮廓，因为清晰度、放大倍数或对比度的小的改变尤其对图像中特征的轮廓有影响。因此，即使使用两个不清晰的图像来确定瞳孔位置，如果这两个图像是利用稍不同的焦距捕获的，那么这些不清晰的图像的相减也将非常准确地示出结果得到的瞳孔轮廓。而且，第一图像可以例如关于具体条件(如关于清晰度条件、对比度条件、亮度条件等)来分析，并且如果这些图像特点不满足所述条件，那么可以选择关于光学系统的成像特性的新设置，使得所述条件被满足。以这种方式，图像可以被优化，例如关于清晰度、对比度和其它图像特点，尤其是还关于要从这些图像中确定的特征。如已经提到的那样，使用不清晰图像来确定角膜反射的位置可能是有利的，而为了确定瞳孔位置，清晰度应当尽可能好。

根据本发明的另一个有利实施例，处理单元被配置为控制和/或通知光学系统，使得第一成像特性改变为第二成像特性，并且处理单元还被配置为在确定眼睛的至少一个特性时考虑成像特性的这种改变。以这种方式，可以有利地在眼睛跟踪期间提供和考虑对成像特性的改变的补偿。例如，如果捕获单元通过包括具有可变焦距的透镜的眼睛跟踪设备的光学系统捕获眼睛的图像，那么这个焦距的改变也将对相应图像中的图像特征的外观产生影响。因此，例如，虽然眼睛相对于光学系统的位置不变，但是眼睛或瞳孔的尺寸在图像中改变了。因此，光学系统的成像特性的改变影响图像特征的尺寸，以及它们的几何形式、它们的清晰度、对比度、亮度等。因此，可以使用对成像特性或至少成像特性的改变的了解用于例如在尺寸或甚至其形式方面重新调整检测到的图像特征。而且，用于检测某些图像特征的约束可以依赖于光学系统的成像特性进行修改。例如，如果图像被分析以检测图像中的瞳孔，那么处理单元搜索图像中具有一定的最小和/或最大尺寸的椭圆形暗区域。但是，由于这种图像特征的颜色、形状和尺寸特性会由于光学系统的成像特性的改变而改变，因此通过相应地改动检测标准来考虑这一点是有利的。因此，通过对光学系统的成像特性或成像特性的改变的了解，可以补偿这种改变对捕获的图像的影响。因此，可以有利地避免检测到的图像特征的尺寸的改变被误解为眼睛或眼睛特征相对于光学系统的位置的改变，或者避免由于它们的形式、尺寸或色谱的变化而使图像特征在图像中被错误地识别不出来。

因此，当处理单元被配置为依赖于成像特性的已知值来确定关于至少一只眼睛的至少一部分的第一信息时，其是本发明非常有利的实施例。第一信息再次可以是例如眼睛特征或角膜反射的尺寸或位置，基于此，最终注视方向可以被计算。因此，当确定这些眼睛特征的位置、形状、尺寸、距离时，有利的是考虑光学系统的当前设置，特别是哪个构成光学系统的成像特性的已知值。但是，如果成像特性的当前值(如当前的焦距)未知，这也是有可能的，因为如果只知道成像特性的改变的话，那么这种值也可以从捕获的图像的特性的差异中导出和计算。如果例如只有焦距的改变是已知的，但焦距未知，那么可以根据由焦距的改变引起的图像特征的尺寸差异来计算焦距的对应值。

根据本发明的另一个有利实施例，处理单元被配置为控制光学系统，使得成像特性根据预设的变化模式以预定义的(尤其是交替或变化的)方式改变，尤其是使用一个或多个第一图像来确定第一眼睛特征并且使用一个或多个第二图像来确定第二眼睛特征，例如，使用具有第一清晰度值的图像来确定至少一只眼睛的瞳孔的位置，并且使用具有第二清晰度值的图像(尤其是提供比第一清晰度值低的清晰度)来确定角膜反射在所述至少一只眼睛的角膜上的位置，优选地，其中眼睛的至少一个特性是基于第一和第二眼睛特征确定的。以这种方式，可以实现：为了确定角膜反射的位置，可以使用不清晰的眼睛图像，而为了确定瞳孔的位置，可以使用清晰的眼睛图像。最后，基于所确定的角膜反射位置，可以计算角膜中心，并可以结合瞳孔的位置确定光轴。通过使用不清晰图像来确定角膜反射位置，可以实现关于这个位置的更高的准确度，并且可以提供注视方向的精度和准确度的总体增强。这些优点不仅可以在光学系统的成像特性的时间变化中实现，而且还可以通过光学系统的局部或空间变化的成像特性来实现。

因此，一般而言，当处理单元被配置为使得第一眼睛特征(例如，角膜反射在至少一只眼睛上的位置)基于第一图像来确定，并且第二眼睛特征(例如，至少一只眼睛的瞳孔的位置)基于第二图像来确定时，尤其是其中眼睛的至少一个特性是依赖于第一和第二眼睛特征来确定的，其是本发明的非常有利的实施例。因此，有利地包括不同图像特点的不同图像可以用于精确地确定不同眼睛特征的位置或形状，无论它们是否被同时或相继地被捕获。

根据本发明的另一个有利实施例，眼睛跟踪设备被配置为基于差异来确定第一图像和/或第二图像是否用于确定至少一只眼睛的至少一个特性，优选地还确定第一图像的哪一部分和/或第二图像的哪一部分被使用。因此，通过捕获具有不同成像特性的第一和第二图像，控制单元可以选择更好的图像(例如更清晰的图像)用于确定眼睛的至少一个特性。使用这些图像中的哪一个也可以依赖于要基于这个图像要确定的特征，如已经解释的，例如，采用这些图像中的一个来确定角膜位置，以及采用另一个来确定瞳孔位置。因此，是否使用第一图像和/或第二图像可以依赖于不同的图像特点本身(如清晰度、强度、对比度等)，或者依赖于待确定的特征。因此，通过总是选择最佳图像，并且尤其是还通过能够通过改变成像特性主动产生具有不同且更合适特点的图像，可以增强准确度和位置。

根据本发明的另一个有利实施例，处理单元被配置为依赖于第一和/或第二图像的至少一部分的特点来提供信号并且依赖于该信号：

-设置定义光学系统的成像特性的值的参数，优选地设置焦距和/或图像距离和/或光圈值；和/或

-设置定义第一图像或第二图像是否用于确定眼睛的至少一个特性的参数；和/或

-确定眼睛的至少一个特性，优选地，其中信号包括关于以下当中的至少一个的信息：眼睛和/或眼睛的特征的深度值或距离(例如眼睛的3D位置的z坐标)，尤其是光学系统的至少一部分与眼睛和/或眼睛的特征之间的距离、眼睛和/或眼睛的特征的3D位置、眼睛和/或眼睛的特征的朝向、第一和/或第二成像特性，以及用于检测眼睛的特征的确定性值。

因此，基于相应图像或其部分的特点，并且尤其是还依赖于从图像到图像或不同图像之间这些特点的变化，可以提供许多信息，尤其是关于眼睛和眼睛特征本身，而且还关于光学系统本身的当前设置或状态。以上提到的确定性值在这里为图像中检测到的特征(例如为检测到的瞳孔)定义这个检测到的图像特征实际上与真实眼睛特征(即，待检测的真实瞳孔)对应的概率。图像特点的差异也可以被用来增强特征检测的确定性。例如，如果光源被用来通过光学系统照射眼睛，那么成像特性的修改也将修改眼睛上的角膜反射的外观。角膜反射的外观的这种修改也可以最终在捕获的图像中被检测，使得可以更容易地将角膜反射与环境光区分开。换句话说，如果在捕获的图像中检测到反射并且这些反射的外观根据光学系统的成像特性的改变而改变，那么非常确定这些反射是由眼睛跟踪设备的光源产生的而不是由环境光产生，该环境光不穿过具有修改的成像特性的光学系统。

根据本发明的有利实施例，光学系统包括至少一个光学元件，其被配置为或包括多焦点和/或变焦元件(如一个或多个透镜或棱镜)，和/或位置可变光学元件，其被配置为其定位是可变的，尤其是其中眼睛跟踪设备(尤其是处理单元)被配置为改变位置可变光学元件的位置。例如，位置可变光学元件可以是其位置相对于图像传感器可移动的透镜，或者位置可变光学元件可以是其位置相对于透镜可移动的图像传感器。因此，有利地，通过多焦点、变焦或位置可变光学元件，可以提供不同成像特性。

根据本发明的另一个有利实施例，光学元件包括至少一个第一和/或第二光学元件，其包括第一光学特性，尤其是第一焦距或第一表面结构，以将光以一定程度折射，由此提供第一成像特性，和/或第二光学特性，尤其是第二焦距或第二表面结构，以将光以第二程度折射，由此提供第二成像特性。第一和第二光学元件可以是例如具有不同折射能力的第一和第二透镜，由此提供不同的成像特性。

根据另一个示例，至少一个第一和第二光学元件可以分别位于第一和第二光路径中。在这种情况下，第一和第二光路径例如通过光束分离器在空间上分离，并且由于所使用的透镜的不同焦距，每条路径提供不同的成像特性。因此，存在提供不同成像特性以便能够捕获具有不同图像特点的眼睛的图像的许多可能性。

但是，本发明的最有利实施例是具有光学元件(优选地是透镜)，其具有可变的光学特性(尤其是可变焦距)，并且优选地被配置为当光学元件的可变焦距被设置为第一焦距时提供第一成像特性并且当光学元件的可变焦距被设置为第二焦距时提供第二成像特性。使用这种变焦透镜(如液体透镜)是非常有利的，因为可以以非常紧凑的方式提供不同的成像特性，例如，不需要分离光路径。因此，可以将用于提供不同成像特性的必要光学元件的数量减到最少。这种变焦透镜关于调节成像特性也提供了多得多的灵活性，例如，这种变焦透镜的焦距可以被持续地或者至少以非常小的步幅以高分辨率被调节。

根据本发明的另一个有利实施例，光学系统被配置为在时间上相继地提供第一和第二成像特性，例如由上述变焦透镜，优选地其中第一和第二光路径在空间上重合，或者光学系统被配置为同时提供第一和第二成像特性，其中第一和第二光学路径至少部分地在空间上分离，尤其是通过至少一个光束分离器。在这后一种情况下，例如通过使用不同的透镜，每条路径可以提供有不同的成像特性。而且，这些空间和时间变化可以组合，例如通过将光路径分离成两条单独的光路径，其中一条光路径再次包括变焦透镜，使得第一条路径的成像特性可以是固定的，而另一条可以是可变的。

根据本发明的另一个有利实施例，眼睛跟踪设备被配置为使得捕获路径从用户的至少一只眼睛延伸到捕获单元，其中捕获路径包括第一和/或第二光路径，尤其是其中至少一个光学元件被定位在捕获路径中。以这种方式，可以通过具有不同成像特性的捕获单元捕获眼睛的图像。成像特性的改变自动导致图像中捕获的所有眼睛特征的改变。

根据本发明的另一个有利实施例，眼睛跟踪设备包括照射单元，其包括例如一个或多个光源，并且被配置为照射至少一只眼睛以减少所述至少一只眼睛上的反射，尤其是在眼睛的角膜上的角膜反射，其中眼睛跟踪设备被配置为使得照射路径从照射单元延伸到眼睛，其中照射路径包括第一和/或第二光路径，尤其是其中至少一个光学元件定位在照射路径中。以这种方式，可以根据由第一和第二光路径提供的第一和第二成像特性来改变眼睛的照射。例如，如果捕获单元直接捕获眼睛的图像，即，无需在其间具有提供不同成像特性的光学元件，那么光学系统的成像特性的变化将导致仅图像中角膜反射的外观的改变，而图像中的其它眼睛特征不变。这种设置可以用于更容易地识别角膜反射或修改角膜反射的外观，以增强其位置的确定的准确性。

这些实施例也可以组合，例如，如果用于提供不同成像特性的一个或多个光学元件定位在照射路径以及捕获路径中。

一般而言，照射单元可以包括一个或多个光源(如LED或其它光源)，用于发射光，优选地在可见光或红外光谱范围内。

根据本发明的另一个有利实施例，眼睛跟踪设备包括被配置为显示显示图像的显示器。此外，眼睛跟踪设备被配置为使得显示图像可以由用户的至少一只眼睛通过光学系统的至少一部分作为该显示图像的虚像被看到，使得显示图像根据第一和/或第二成像特性被成像，由此构成虚像。优选地，眼睛跟踪设备还被配置为设置参数，使得虚像被显示在虚拟显示区域中，该虚拟显示区域与所确定的感兴趣的深度对应，优选地是所述至少一只眼睛的聚散(vergence)深度和/或眼适应提示(accommodation cue)，这可以由例如眼睛跟踪设备确定。特别地，显示器可以被配置为3D显示设备，被配置为显示3D图像。例如，显示器可以被配置为一对立体显示器，其中一个立体显示器为左眼提供图像，并且一个立体显示器为右眼提供显示图像。但是，现有技术中已知的许多其它不同的技术可以被用于提供3D显示图像、使用快门或滤光器的光等。根据这个有利实施例，例如变焦透镜可以被用于显示头戴式显示器的图像，作为处于不同深度的虚像。同时，这种变焦透镜可以被用来增强眼睛跟踪能力以及如上所述的准确度和精度。尤其是，变焦透镜和/或其不同设置由处理单元用于眼睛和/或眼睛特征的3D重建，例如，用于确定角膜反射的3D位置、角膜中心的3D位置、瞳孔中心的3D位置、3D注视方向等。

在这种场景中，可以控制可变焦距透镜的焦距，以改动与用户眼睛的聚散或眼调节对应的虚拟显示区域。对于焦距的具体设置，存在容限区域，其中焦距的改变不会被用户注意到，例如在0.2dpt内。然后，关于要由眼睛跟踪设备检测的眼睛特征，可以使用这种容限区域来优化透镜的设置，尤其是这种容限区域内的焦距。而且，通过将包括焦点差异的图像减去，或者通过使用更清晰的图像来确定瞳孔位置并使用较不清晰的图像来确定角膜反射的位置，或者使用焦点的差异来导出关于眼睛或眼睛特征的深度信息(如眼睛离眼睛跟踪设备或其部件的距离)，焦点的差异(例如，由于在上述容限区域内焦距的改变)可以被用于检测和/或确定眼睛特征(如瞳孔轮廓或角膜反射轮廓)。

根据本发明的另一个有利实施例，还可以依赖于当前使用的眼睛跟踪算法来选择用于调节成像特性的眼睛跟踪设备的设置。例如，一些眼睛跟踪算法能够比其它算法更好或更快地处理具有不同清晰度值的特定帧序列。眼睛跟踪设备还可以包括用于选择用于更高精度的眼睛跟踪的选项的按钮、开关或其它用户接口，并且如果用户通过这种接口注意到眼睛跟踪设备，那么眼睛跟踪设备可以切换到其成像特性(如焦距)变化以实现这种更高的眼睛跟踪精度的模式。

根据根据本发明的用于操作眼睛跟踪设备的方法，眼睛跟踪设备包括光学系统，其中光学系统的捕获单元捕获用户的至少一只眼睛的至少一部分的图像并且眼睛跟踪设备的处理单元基于捕获的图像确定所述至少一只眼睛的至少一个特性，其中，捕获单元捕获用户的所述眼睛的所述至少一部分的第一图像和第二图像，并且其中眼睛跟踪设备包括光学系统。这种光学系统包括成像特性，其包括至少一个第一成像特性和与第一成像特性不同的第二成像特性，其中光学系统提供具有第一成像特性的第一光路径和具有第二成像特性的第二光路径，其中捕获单元通过捕获沿着第一光路径通过的光来捕获第一图像并且通过捕获沿着第二光路径通过的光来捕获第二图像，使得，由于第一与第二成像特性的差异，第一图像和第二图像包括与第一和第二图像的所述至少一部分的特点相关的差异，其中处理单元基于第一图像和第二图像中的至少一个来确定眼睛的所述至少一个特性。

关于根据本发明的眼睛跟踪设备描述的优选实施例和优点对应地适用于根据本发明的方法。尤其是，根据本发明的眼睛跟踪设备可以用于执行根据本发明的方法。此外，根据本发明的眼睛跟踪设备的所描述实施例构成根据本发明的方法的进一步的步骤。

附图说明

在下文中，参考附图更详细地描述本发明的有利实施例。

附图示出：

图1是根据本发明的第一实施例的眼睛跟踪设备的示意图；

图2a是根据眼睛跟踪设备的光学系统的第一设置，由眼睛跟踪设备的捕获单元捕获的第一图像的示意图；

图2b是根据眼睛跟踪设备的光学系统的第二设置，由眼睛跟踪设备的捕获单元捕获的第二图像的示意图；

图3是根据本发明的第二实施例的眼睛跟踪设备的示意图；

图4是根据本发明的第三实施例的眼睛跟踪设备的示意图；

图5图示了根据本发明的实施例的、用于操作眼睛跟踪设备的方法的流程图；以及

图6图示了根据本发明的另一个实施例的、用于操作眼睛跟踪设备的方法的流程图。

具体实施方式

图1示出了根据本发明的实施例的眼睛跟踪设备10a的示意图，其在这种情况下被配置为头戴式眼睛跟踪设备。眼睛跟踪设备10a包括捕获单元C，其可以包括用于捕获(例如，佩戴头戴式眼睛跟踪设备的)用户的眼睛12的图像的一个或多个相机或图像传感器。此外，捕获单元C是眼睛跟踪设备的光学系统14的一部分，其中光学系统14可以包括一个或多个光学元件(如透镜、棱镜、反射镜、光束分离器等)。在这个示例中，光学系统14包括具有可变焦距的变焦透镜Lv。而且，眼睛跟踪设备10a可以可选地包括一个或多个光源L，其中在图1中示例性地示出了其中两个光源。作为另外的可选部件，眼睛跟踪设备10a可以包括热反射镜M和显示设备16。而且，眼睛跟踪设备10a包括处理单元18，用于处理捕获的图像并确定眼睛12的至少一个特征(例如注视方向)。此外，处理单元18可以控制眼睛跟踪设备10a的光源L、显示设备16、可变焦距透镜Lv以及孔径光阑20的打开。

相对于从眼睛12到捕获单元C的光路径P，可变焦距透镜Lv被放置在捕获单元C和用户的眼睛12之间，使得由捕获单元C捕获的图像中的至少一些眼睛特征可以在捕获的图像中被更改其外观(例如，其形式、尺寸和/或位置)。例如，捕获单元C和眼睛12之间的变焦透镜Lv可以放大捕获的图像中的瞳孔12a。

光源L可以尤其是以结构化的方式(如以环形形式、以点状方式和/或圆形方式)在角膜上产生反射，即，所谓的角膜反射CR。在这种设置中从光源L到眼睛12的光路径也由光学系统14(尤其是由变焦透镜Lv)更改。特别地，在这种配置中，由光源L发射的光也被反射镜M反射、通过变焦透镜Lv并撞击在眼睛12上。由捕获单元C捕获的图像由处理单元18处理并且眼睛12的特征被检测，基于此，例如可以计算注视方向。

热反射镜M关于捕获单元C和光源L的定位提供更多的灵活性，并且仍然使得有可能捕获单元C的中心视图到眼睛12上。这由虚拟相机Cv图示。捕获单元C的视图在没有反射镜M的情况下与虚拟相机Cv的位置处的相机的视图对应。而且，在这种情况下，光源L至少部分地发射在IR光谱范围内的光并且热反射镜M被配置为反射在IR光谱范围内的光并且传输在可见光谱范围内的光，使得用户在显示器16上具有无阻碍的视图。

在本发明的其它实施例中，例如对于眼睛跟踪设备10a的不同用途(例如对于医疗或诊断目的)，捕获单元10也可以被放置在所示的虚拟相机Cv的位置，并且反射镜M和显示设备16可以被省略。捕获单元C还可以在不同的地方包括多于一个相机或图像传感器。捕获单元C还可以被放置成具有到眼睛12上的直接视图，而无需其间具有光学系统14的任何元件，并且仅光源L被放置成使得从光源L到眼睛12的光路径通过变焦透镜Lv。另一方面，光源L也可以被放置成使得它们直接照射眼睛12而无需其间具有光学系统14，并且捕捉单元C如图所示定位。

眼睛跟踪设备10a的光学系统14被配置为提供不同的成像特性。这些不同的成像特性再次可以通过光学系统14的一个或多个元件的变化来提供。例如，可变焦距透镜Lv的焦距可以变化，这导致捕获的图像的不同放大率。焦距的变化也导致焦平面的变化，焦平面是其中对象(在这种情况下是眼睛12)被聚焦成像的平面。图像特性也可以受孔径光阑20的打开的影响，其中大的打开导致小的景深，并且小的打开导致大的景深。可选地，光学系统14还可以包括其位置可变的元件。例如，捕获单元C或其至少一部分(如图像传感器)可以可变地安装在其位置，这在图1中由箭头22示出。以这种方式，图像传感器的位置可以相对于焦平面移动和变化，这导致捕获的图像的不同清晰度。光学系统14的不同部件的这些不同设置(如光圈20的不同值、变焦透镜Lv的不同焦距或捕获单元C的图像传感器的不同位置)在下面被表示为光学系统14的不同设置。

光学系统14的这些不同设置现在可以有利地用于增强眼睛跟踪质量。例如，通过可变焦距透镜Lv和捕获单元C的可变位置，可以在同时具有孔径光阑20的大打开时提供眼睛12的放大和清晰的图像。由于这种大的光圈打开，可以捕获更多的光，这增强图像质量并由此正面地影响眼睛的跟踪结果。而且，通过捕获不清晰的图像，可以增强眼睛跟踪质量，因为可以使用不清晰的图像来更准确地确定角膜反射CR的位置。这是由于通常角膜反射CR在图像中看起来只是非常小的亮点。但是，如果捕获眼睛12的不清晰图像，那么这些角膜反射CR看起来模糊，因此放大成像亮的圆形。因此，可以更准确地确定其最终定义角膜反射CR的位置的轮廓(尤其是其中心)。但是，提供不同成像特性的可能性可以在不同的场景中使用，如图1中以非常有利的方式所示。

如图1中所示，可变焦距透镜Lv的主要功能是不仅提供用于眼睛跟踪的不同成像特性，而且还提供用于在显示设备16上作为虚像在离用户眼睛12一定距离处显示或投影显示图像的不同成像特性。在这种场景中，显示设备16可以被配置为立体图像显示设备，用于向用户的双眼12显示三维图像。可变焦距透镜Lv可以被用来将显示设备16上所示的图像作为虚像在离用户眼睛12一定距离处显示，所述距离与用户的眼睛12被适应(accommodate)的距离对应，因此导致非常自然的视觉(vision)。因此，通过变焦镜头Lv可以产生与用户眼睛的适应对应的适应提示。因此，可变焦距透镜Lv主要被用来依赖于用户的3D注视点来改变显示设备16的虚像的位置，这可以再次通过眼睛跟踪设备10a来确定。此外并且同时，如上所述，可变焦距透镜Lv可以用于优化眼睛跟踪质量。而且，必须注意的是，如果透镜Lv依赖于所确定的注视点或适应提示被控制，以在距离用户眼睛一定距离处投影图像，那么这可以导致由捕获单元C捕获的不清晰的图像。然后这种不清晰的图像可以被用来阻止角膜反射的位置。而且，捕获单元C的图像传感器的位置也可以对应地移动，以获得清晰的图像并且控制变焦透镜Lv还附加地控制图像特性。因此，变焦镜头不仅可以用于产生正确的适应提示，而且同时焦距的变化可以被用来改善眼睛的3D重建。

图2a示出了由具有光学系统14的第一设置的捕获单元C捕获的第一图像24a的示意图，并且图2b示出了由具有光学系统14的设置的捕获单元C捕获的第二图像24b的示意图。为了说明的目的，这些图像24a、24b不显示真实的眼睛，而是显示人造眼睛和棋盘(checkerboard)，尤其是对于变焦透镜Lv的不同设置，其中以比第二图像24b更大的焦距捕获第一图像24a。这现在导致各种不同的图像特点，尤其是关于与眼睛12相关的图像特征(如眼睛图像26a、26b，瞳孔图像28a、28b和角膜反射图像30a、30b)。首先，所成像的对象关于其尺寸有所不同，对于第二设置，提供比第一设置更大的放大倍数。其次，由于焦平面相对于图像传感器平面移动，它们关于其清晰度有所不同。这再次影响图像特征之间和图像特征内的对比度。这些图像24a、24b也由于放大倍数而关于其亮度有所不同，较少量的光分布到第二图像24b中图像传感器的相同像素区域。

图像特征中的这些差异现在可以用于各种不同的目的。例如，可以控制光学系统14的设置，使得为了眼睛跟踪的目的而优化图像特点。具有不同特点的图像可以相减，以导出关于所成像的对象的轮廓点的位置的信息，焦点扫描和/或特征的尺寸的变化可以被用来确定对象距离，并且还可以被用来确定所成像的对象的3D位置。图像特点的差异也可以被用来导出关于光学系统14本身的信息(如关于焦距的当前设置)。可以选择设置来有意产生不清晰的图像，例如，以模糊不需要的特征或更准确地确定位置或角膜反射CR。光学系统14的设置也可以依赖于所使用的眼睛跟踪算法进行选择。因此，总体来说，通过提供使得有可能构成不同成像特性的光学系统14，可以实现各种优点，尤其是关于眼睛跟踪。

图1示出了其中时间上相继构成不同的成像特性的本发明的实施例，图3和图4示出了本发明的另外两个实施例，其中不同的成像特性由至少部分地空间分离的光路径P1、P2同时构成。

图3以简化的方式示出了眼睛跟踪设备10b的第二实施例的示意图。眼睛跟踪设备还包括处理单元18，以及可选的光源L或孔径光阑20，尽管它们在图3中以及图4中的图示已被省略。在这种情况下，光学系统14包括两个光束分离器M1、M2，用于将光路径P1、P2分离成两条单独的光路径P1、P2。在这种情况下，捕获单元C包括两个相机C1、C2，其中第一光路径P1从眼睛12延伸到第一相机C1，并且第二光路径P2从眼睛12延伸到第二相机C2。光束分离器M1、M2可以被配置为使得它们对于可见光是透射的，并且对于红外光至少部分地是反射的。尤其是，第一和第二光束分离器M1、M2可以对可见光透射。此外，第一光束分离器M1可以部分地反射红外光并部分地透射红外光，其中透射的红外光然后被第二光束分离器M2反射，尤其是完全反射。在每条光路径P1、P2中，定位透镜L1、L2，用于在相应的光路径P1、P2中提供不同的成像特性。为此，第一透镜L1可以包括与第二透镜L2不同的焦距。而且，有可能第一透镜L1具有固定的预定义焦距，而第二透镜L2被配置为具有可变焦距的可变焦距透镜。而且在这种情况下，相应相机C1、C2的位置，或者至少相应图像传感器的位置可以是可变的(这些外形上再次由箭头22示出)。因此，通过这种设置，由相应相机C1、C2捕获的图像的不同图像特点也可以通过在至少部分空间上分离的光路径P1、P2中提供不同的成像特性来产生。

图4示出了本发明的另一个实施例，其中眼睛跟踪设备10c包括光学系统14，还具有两个光束分离器M1、M2，但是处于不同位置。再次在这种设置中，捕获单元C包括两个相机C1、C2，第一光路径P1从眼睛12延伸到第一相机C1并且第二光路径P2从眼睛12延伸到第二相机C2。在每条光路径P1、P2中定位透镜L1、L2，其中这些透镜L1、L2可以具有不同的焦距和/或被配置为可变焦距透镜。在这里再次，第二光束分离器M2对于可见光透射并且对于红外光是全反射，而第一光束分离器M1被配置为使得红外光部分地被透射并且部分地被反射，以提供两条单独的路径P1、P2。

而且，本发明的这些所示实施例也可以以任意方式组合。可以提供甚至多于两条独立路径，例如三条、四条等等，并且可以使用光束分离器和可变焦距透镜的任意组合。而且，有可能例如通过简单地将可变焦距透镜放置在眼睛跟踪相机前面而将眼睛跟踪设备配置为远程眼睛跟踪设备。因此，依赖于眼睛跟踪设备的情况和实现，本发明的这些实施例关于定位眼睛跟踪设备的各个元件提供了很大程度的灵活性。而且，这些实施例在拆分和定位相机时提供了很大的灵活性，使得可以实现各种眼睛跟踪器设计。

图5示出了图示根据本发明的实施例、用于操作眼睛跟踪设备的方法的流程图。该方法可以由图1中所示的眼睛跟踪设备10a执行。因此，首先，在S10中，利用光学系统14的第一设定捕获图像。这种第一设置可以与光学系统的标准设置或参考设置等对应。在S12中，在捕获的图像中检测眼睛特征(如瞳孔12a、瞳孔轮廓点、瞳孔中心、虹膜、虹膜中心、闪光或角膜反射CR等)。基于这些在图像中检测到的眼睛特征，可以在S14中确定注视方向。

现在，可以在S16中改变光学系统14的设置，并且在S18中利用光学系统14的新的且不同的设置捕获另一个图像。但是，由于光学系统14的不同设置对图像中的对象的外观有影响，因此在进行眼睛跟踪时必须考虑外观上的这种变化，否则将导致错误或不正确的眼睛特征位置和最终计算出的注视方向的确定。因此，在S20中，眼睛跟踪设备根据第二设置改动用于特征检测的约束。通常，处理单元18在捕获的图像中搜索例如具有一定尺寸的椭圆形暗区域，以识别捕获的图像中的瞳孔。但是，眼睛特征的尺寸会由于光学系统14的设置的改变而改变，这个尺寸约束需要适于当前设置。依赖于光学系统14的设置的改变，也可以改动其它约束，例如关于眼睛特征的形状，即，它们的几何形式、关于亮度、饱和度、光谱等。通过这种约束改动，提供第一补偿，从而补偿成像特性的变化对图像中捕获的眼睛特征的外观的影响。处理单元18现在可以根据经改动的约束检测图像中的眼睛特征，在S22中。之后，在S24中，可以确定注视方向。而且在这里还必须考虑光学系统的设置的改变，这有利地可以通过根据第二设置改动计算参数来实现。由此，可以避免例如眼睛的放大图像被错误地解释为眼睛靠近光学系统14移动。因此，光学系统14的当前设置(如缩放因子、焦距等)可以在计算检测到的眼睛特征的位置并从其计算注视方向时被考虑。因此，通过依赖于当前设置来改动计算参数，可以提供第二补偿。之后，可以重复这个过程，例如通过返回到S16并再次选择新的设置。

图6示出了用于图示根据本发明的另一个实施例的、用于操作眼睛跟踪设备10a、10b、10c的方法的另一个流程图，其也可以与图5所示的方法组合。根据这个过程，眼睛跟踪设备10a、10b、10c在S30a中利用光学系统14的第一设置捕获第一图像，尤其是使得这个图像具有高清晰度。而且，眼睛跟踪设备的捕获单元在S30b中利用光学系统14的第二设置捕获第二图像，尤其是使得图像包括比第一图像低的清晰度。可以例如通过图1中所示的眼睛跟踪设备10a时间上相继捕获第一和第二图像，或者通过图4或图3中所示的眼睛跟踪设备10b、10c同时捕获第一和第二图像。然后第一图像可以被用来确定瞳孔位置，其中使用不清晰的图像来确定闪光位置，即，由眼睛跟踪设备10a、10b、10c的光源L产生的角膜反射CR的位置。基于S32a中确定的瞳孔位置和S32b中确定的闪光位置，可以在S34中确定注视方向，并且可以在S30a和S30b中再次开始该过程。由于例如关于相对于眼睛捕获清晰和不清晰图像的交替，可以实现可靠得多和准确得多的眼睛跟踪结果。尤其是，产生虚拟光源(例如角膜CR上的反射)的散景(bokeh)(其表示图像中失焦对象的大部分不清晰的圆形外观)的去焦允许更精确的定位。而且，焦点深度之间的快速交替可以尤其被用来创建瞳孔的高度聚焦的图像和角膜反射CR的去焦图像，以实现所确定的注视方向的高精度和准确度。也可以使用两个图像中的角膜反射CR的差异，例如，通过第一和第二图像从彼此相减来优化轮廓检测(以不同焦距捕获的图像的差异，高斯差异)。

总之，可以提供用于眼睛跟踪的眼睛跟踪设备或系统和方法，其允许动态变焦和/或多焦点图像捕获，尤其是其有效焦距可以改动/更改的光学系统的装置，因此可以提高注视精度和准确度、眼睛的生理模型的建立，例如使用焦点扫描来估计特征的深度，并允许通过允许更大的光圈(＝更快的透镜)来更好地利用可用的光。通过本发明，例如，可以优化用于不同跟踪场景的眼睛以及有可能反射/特征的清晰度，例如通过特定于算法的优化，或者用于更高注视准确度和/或精度和外观(physiognomy)的优化。

眼睛跟踪设备和/或方法可以高度改善捕获的(一个或多个)图像中的眼睛特征的检测/确定，诸如：

-至少一只眼睛的表面或其部分上的(一个或多个)反射(例如，Purkinje图像)，例如，角膜反射(CR)是至少一只眼睛的角膜上的反射

-至少一只眼睛的瞳孔作为捕获的图像中作为属于眼睛的瞳孔的区域可检测的区域

-角膜缘

-角膜

-眼球

-巩膜

-虹膜

-血管

-第一到第四阶Purkinje反射之一。

上面提到的每个眼睛特征可以被进一步描述，例如，上面提到的眼睛特征的上面提到的特性的2D位置和/或3D姿势(pose)、形状、纹理、对比度、清晰度、颜色、边缘、光谱、极化、相关性、梯度和/或分布。

通过优化光学系统的设置/或选择图像的一部分(例如，在光束分离器的情况下)，其优化至少一个特征的标准，眼睛跟踪设备还允许优化测量标准，如注视精度、注视准确度、特征精度、特征准确度、特征(非)确定性(量化算法可以关于用于眼睛特征值的特性的(一个或多个)值有多(不)确定的测量，例如以从图像中识别出的特征的位置和形状的形式的空间差异导出)、图像/边缘的清晰度(评估眼睛跟踪的当前情况的“质量”的图像处理标准)、对比度、特征内和特征间对比度比率。例如，如果边缘对于瞳孔检测来说太模糊，那么改动焦距，直到检测到的瞳孔/瞳孔置信度被认为是好的。本发明还可以用于许多其它不同的目的，如使用浅景深来模糊掉不想要的特征，使用多个以前报告的光学系统状态或特性或同时获取的图像的特性之一的历史来导出信息(如深度、朝向、清晰度、置信度、焦距等)。

标号列表

10a，10b，10c 眼睛跟踪设备

12 眼睛

12a 瞳孔

14 光学系统

16 显示设备

18 处理单元

20 孔径光阑

22 箭头

24a 第一图像

24b 第二图像

26a，26b 眼睛图像

28a，28b 瞳孔图像

30a，30b 角膜反射图像

CR 角膜反射

C 捕获单元

Cv 虚拟相机

C1 第一相机

C2 第二相机

M 热反射镜

M1 第一光束分离器

M2 第二光束分离器

P 光路径

P1 第一光路径

P2 第二光路径

L 光源

Lv 可变焦距镜头

L1 第一透镜

L2 第二透镜

Claims (11)

1.一种眼睛跟踪设备，包括：

成像系统，所述成像系统用第一焦距捕获用户的眼睛的第一图像提供第一图像的第一清晰度并且用第二焦距捕获所述用户的所述眼睛的第二图像提供第二图像的低于第一清晰度的第二清晰度，所述第二焦距与所述第一焦距不同；以及

处理器，所述处理器基于具有第一清晰度的第一图像确定所述用户的所述眼睛的瞳孔的位置，基于具有第二清晰度的第二图像确定所述用户的所述眼睛的角膜上的角膜反射的位置，并且基于所述瞳孔的位置和所述角膜反射的位置确定所述用户的注视方向。

2.如权利要求1所述的眼睛跟踪设备，其中所述成像系统同时捕获所述第一图像和所述第二图像。

3.如权利要求1所述的眼睛跟踪设备，其中所述成像系统在时间上相继地捕获所述第一图像和所述第二图像。

4.如权利要求1所述的眼睛跟踪设备，其中所述成像系统包括变焦透镜，并且所述处理器设置变焦透镜的焦距以得到具有第一清晰度的第一图像并且设置所述变焦透镜的焦距以得到具有第二清晰度的第二图像。

5.如权利要求1所述的眼睛跟踪设备，其中所述成像系统沿第一路径捕获所述第一图像并且沿第二路径捕获所述第二图像，所述第二路径至少部分地与所述第一路径在空间上分离。

6.如权利要求5所述的眼睛跟踪设备，所述成像系统包括将所述第一路径和所述第二路径空间上分离的光束分离器。

7.如权利要求1所述的眼睛跟踪设备，其中所述成像系统包括变焦透镜，并且所述处理器执行以下操作：

基于所述第一图像确定所述用户的一个或多个眼睛特征；

基于所述一个或多个眼睛特征确定所述第二焦距；以及

设置所述变焦透镜以用所述第二焦距捕获所述第二图像。

8.一种用于眼睛跟踪的方法，包括：

用第一焦距捕获用户的眼睛的第一图像提供第一图像的第一清晰度；

用第二焦距捕获所述用户的所述眼睛的第二图像提供第二图像的低于第一清晰度的第二清晰度，所述第二焦距与所述第一焦距不同；

基于具有第一清晰度的第一图像确定所述用户的所述眼睛的瞳孔的位置；

基于具有第二清晰度的第二图像确定所述用户的所述眼睛的角膜上的角膜反射的位置；以及

基于所述瞳孔的位置和所述角膜反射的位置确定所述用户的注视方向。

9.如权利要求8所述的方法，其中捕获所述第一图像包括设置变焦透镜的焦距以得到具有第一清晰度的第一图像并且其中捕获所述第二图像包括设置所述变焦透镜的焦距以得到具有第二清晰度的第二图像。

10.如权利要求8所述的方法，其中捕获所述第二图像包括：

基于所述第一图像确定所述用户的一个或多个眼睛特征；以及

基于所述一个或多个眼睛特征确定所述第二焦距。

11.一种用于眼睛跟踪的装置，包括：

用于利用第一焦距捕获用户的眼睛的第一图像提供第一图像的第一清晰度以及利用第二焦距捕获所述用户的所述眼睛的第二图像的部件提供第二图像的低于第一清晰度的第二清晰度，所述第二焦距与所述第一焦距不同；

用于基于具有第一清晰度的第一图像确定所述用户的所述眼睛的瞳孔的位置的部件；

用于基于具有第二清晰度的第二图像确定所述用户的所述眼睛的角膜上的角膜反射的位置的部件；以及

用于基于所述瞳孔的位置和所述角膜反射的位置确定所述用户的注视方向的部件。

Images