CN111279353B - 用于确定眼睛的姿势的方法和系统 - Google Patents

Abstract

确定使用者的眼睛的姿势，通过：提供眼睛的参数化3D模型，所述模型包括已被校准的参数集；采集(步骤S11)该眼睛的至少一个跟踪图像；在所采集的跟踪图像中标识(步骤S12)多个表征性特征；将所述表征性特征与已校准的3D模型的光学投影的相应特征进行拟合(步骤S13)，从而形成方程组；以及对该方程组进行数值求解(步骤S14)，以确定该眼睛的姿势。

Description

用于确定眼睛的姿势的方法和系统

技术领域

本发明涉及基于眼睛的3D模型的眼睛姿势检测。

背景技术

存在多种途径来基于一个或若干个图像传感器采集的图像来确定人的眼睛姿势或注视方向。通常，眼睛的模型与所获取的图像相关，从而确定注视方向。

一种途径是使用眼睛的3D模型。常规地，此类方法将包括校准阶段，在该校准阶段中通过分析所采集的图像数据来解析地确定3D模型的比如角膜尺寸和曲率等基本参数。在进行这样的校准之后，可以使用该模型和眼睛图像来解析地确定注视方向，可以从该眼睛图像中标识出闪烁以及瞳孔或虹膜。

上述途径可以很好地起作用，但是要求许多计算是解析性的通常导致使用过于简化的模型。如果使用更复杂的模型，找到解析解将变得非常复杂。

发明内容

本发明的目的是缓解上述问题，并且使用眼睛的3D模型来提供在计算上更有效的眼睛姿势检测，还允许更精细的模型。

根据本发明的第一方面，此目的和其他目的通过一种用于确定使用者的眼睛的姿势的方法来实现，该姿势包括眼睛的位置和取向，该方法包括：提供该眼睛的参数化3D模型，该模型包括已被校准的参数集；以及确定该姿势，通过：采集该眼睛的至少一个跟踪图像，在所采集的跟踪图像中标识多个表征性特征，将这些表征性特征与已校准的3D模型在该跟踪图像的图像平面上的光学投影的相应特征进行拟合，从而形成方程组，以及对该方程组进行数值求解，以确定该眼睛的姿势。

根据本发明的实施例，通过求解通过将眼睛的图像与3D模型在图像的图像平面中的光学2D投影进行比较而生成的方程组，来数值地执行对眼睛姿势的检测。这些方程可以是非线性的。方程组中的方程的数量由可以可靠地标识在图像中并映射到经投影的3D模型中的相应特征上的特征的数量确定。这些特征在图像中应是不同的，并且可轻松地从经投影的3D模型中提取。这样的特征的实例包括瞳孔中心点、瞳孔轮廓、以及虹膜轮廓的形状和尺寸。

该3D模型可以包括眼睛的角膜和瞳孔，在这种情况下，该参数集可以包括在该瞳孔与该角膜的远点之间的距离、该角膜的曲率、以及该角膜的半径。这样的参数对于建模眼睛的个体变化是有利的，并且可以使用本发明有效地校准。

“眼睛的姿势”是指六个自由度的位置(取向和地点)。眼睛姿势可以相对于“头部空间”、即在与头部对齐的坐标系中来表示。但是典型地，眼睛跟踪系统的最终输出是在空间的参考坐标系中表示的眼睛姿势。

“光学投影”是指从图像平面观看时3D模型的视觉外观。眼睛的外部部分(例如角膜的边缘)将简单地投影到平面上，而内部部分(例如瞳孔)将通过角膜表面折射。除了任何几何参数之外，3D模型将因此包括用于对角膜与周围介质(例如空气)之间的折射进行建模的光学参数。实际上，折射将由具有不同折射率的介质之间的一系列界面引起。然而，折射典型地通过单一界面和单一折射率来建模。此“总”折射率可以通过实验确定，并且相对接近盐水溶液的折射率。

另外的合适参数包括眼睛的光轴线与眼睛的视轴线之间的空间角，该空间角被表示为笛卡尔空间中的两个角度、或以光轴线作为Z轴的圆柱空间中的两个角度。如本领域技术人员将了解的，光轴线是经过眼睛的中心和瞳孔的中心的轴线，而视轴线是经过黄斑和瞳孔的结点的轴线。出于实际原因，结点典型地以瞳孔的中心或与角膜对齐的球体中心来近似。

根据一个实施例，使用在空间上彼此分离的两个图像传感器来采集至少两个跟踪图像。在这种情况下，将针对两个或更多个图像执行标识表征特征和使表征性特征与3D模型的投影拟合的步骤，从而形成更大(例如，两倍大)的方程组。

在一些实施例中，跟踪系统包括用于照明目标区域的光源。跟踪图像则将包括角膜中的反射，即所谓的“闪烁”。该方程组则可以进一步包括基于跟踪图像中的闪烁位置、图像传感器与光源之间的已知几何关系、以及在闪烁位置的建模角膜法线方向的方程。在具有若干个图像传感器和/或若干个光源的系统中，可以存在若干个闪烁。

根据本发明的方法需要校准3D模型的参数集。根据一个实施例，这样的校准通过以下操作来执行：对于一组已知注视方向，采集该眼睛的至少一个校准图像；对于每个校准图像，标识多个表征性特征，并且将所述表征性特征与该3D模型在该校准图像的图像平面上的光学投影的相应特征拟合，从而形成每个已知注视方向的方程组；以及对这些方程组进行数值求解，以确定该3D模型的该参数集。

对于只有几个参数的简单模型，仅一个已知注视方向就可以足够了。然而，在典型的应用中，将需要多于一个的已知注视方向，比如四个或六个已知注视方向。一般而言，在所有其他条件相同的情况下，如果更多的已知注视方向是可用的，则校准将变得更加准确。

涉及针对已知注视方向的图像采集的这种校准是可靠且具有鲁棒性的，但是典型地需要离线执行，或者至少在指定的校准序列期间执行。可以考虑其他方法，例如统计校准或在线校准。在线校准是指可以在头部或眼睛跟踪系统运行时执行的校准，并且可以例如通过在跟踪过程中从多个视图评估模型与投影之间的剩余误差并通过修改模型参数以将这种误差最小化来实现。典型地，这些参数被约束为基于正常总体的值。

附图说明

将参考附图更详细地描述本发明，附图中示出了本发明的当前优选实施例。

图1示出了可以应用本发明的眼睛跟踪系统的示意图。

图2示出了人的眼睛的示意性模型。

图3a和图3b是根据本发明的实施例的方法的流程图。

图4a和图4b示出了眼睛的图像和叠置在其上的3D模型中的选定特征的示意性图示。

具体实施方式

现在将参考眼睛跟踪系统讨论本发明的实施例。然而，本发明的原理对于确定眼睛姿势的任何应用同样有用。

图1中的眼睛跟踪系统包括图像采集设备或相机1，该图像采集设备或相机包括图像传感器2(例如CMOS图像传感器)以及合适的光学器件3。相机1被布置为采集使用者4的图像，更具体地采集使用者的头部和眼睛的图像。

如图1上所示的，用10表示使用者的头部的坐标系，同时用11表示眼睛的坐标系。

该系统进一步包括处理电路8(也称为处理器)，该处理电路连接以接收传感器2所采集的图像。处理器8被进一步编程为确定和跟踪眼睛的姿势以确定使用者的注视方向，即使用者正在看的地方。图1中的系统具有许多不同的应用，包括例如出于安全原因跟踪驾驶员眼睛的汽车应用、以及各种人机接口。

基于在没有照明的情况下采集的图像，通过确定头部姿势(坐标系10在空间中的地点和取向)、然后确定眼睛姿势(坐标系11相对于坐标系10的地点和取向)来确定注视方向。在简单的情况下，有时称为估计法眼睛跟踪，基于虹膜相对于头部的位置来确定眼睛的姿势。然而，在许多应用中，需要更精确的眼睛注视检测，并且为此目的，该系统可以配备有与传感器2具有已知几何关系的一个或若干个照明源5。在光源照明的情况下，所采集的图像将包括在眼睛的角膜中的反射(闪烁)，该反射可以用于使对眼睛注视的确定更准确。在下文中，披露了这种“精确”眼睛跟踪系统，但应指出的是，本发明在无照明式“估计法”眼睛跟踪系统中也是有利的。

所展示的实例包括两个光源5，从而使得能够采集在不同照明情况下的图像，并且因此能够采集位于不同位置的闪烁。

(多个)光源典型地被配置为发射可见范围之外的光，比如红外(IR)光或近红外(NIR)光。光源可以是固态光源，比如LED。在所展示的实例中，光源5是被配置用于发射光谱集中在以约850nm或940nm(NIR)为中心的50nm带中的光的LED。进一步地，光学带通滤波器6(例如干涉滤波器)被布置在使用者与相机1之间。滤波器6被配置为具有基本上对应于光源5的发光光谱的通带。因此，在上述实例中，滤波器6应具有约850nm或940nm(例如825nm-875nm或915nm-965nm)的通带。

控制器7连接到相机1和LED 5，并且被编程为控制传感器2在LED 5的照明下采集连续图像。通常，以给定的占空比来驱动LED 5，然后控制器7控制传感器1与来自LED 5的光脉冲同步地采集图像。

在工作期间，使用者4被光源照明，并且从物体(使用者的面部)反射的光通过滤波器6并被相机光学器件3接收并存储在传感器2中。应指出的是，大多数环境光将被滤波器阻挡，从而降低了光源所需的功率。

根据本发明的实施例，处理器8被编程为执行图3a和图3b的流程图中概述的方法。该程序基于存储在处理器8可访问的存储器9中的人的眼睛的参数化3D模型。

图2中示意性地示出了人的眼睛的3D模型的实例。在此，该模型包括眼球31、角膜32(即覆盖虹膜的圆顶)以及瞳孔33(即允许光进入眼睛的开口)。要校准的合适参数可以包括：

-眼球31的半径R，

-与角膜32对齐的假想球体34的半径r，

-角膜的曲率κ，即与假想球体34的偏差，

-瞳孔33与角膜表面的远点(远极)之间的距离d，

-光轴线A和视轴线V之间的空间角，其中光轴A是穿过眼球的中心O_眼和瞳孔的中心O_p的轴线，而视轴线V是穿过瞳孔33的中心P和黄色斑区或黄斑M的轴线。在此，将空间角表示为笛卡尔空间中的两个角度α、β。

应指出的是，此参数列表并不详尽，在更复杂的模型中可能扩展。例如，在所展示的实例中，假定瞳孔33是在垂直于光轴线的平面35中的盘形开口，并且距离d采用从角膜的外点到此平面35的距离。实际上，瞳孔33由透镜36限定，该透镜在图面中具有椭圆形的延伸。为了更加真实，透镜36位于平面35的后方，在该平面上透镜被固定就位并且由肌肉(未示出)成形。进一步，在此假设瞳孔33的中心O_p始终位于角膜的中心轴线上，而实际上瞳孔的中心可能稍微偏离中心并且还取决于瞳孔的尺寸(小的瞳孔典型地比大的瞳孔更偏离中心)。更复杂的模型将需要更多参数进行校准，但可以提高性能。

相反，该模型也可以比所展示的情况更简单，例如，可以假定所有人的眼球半径R相同，从而无需校准半径R。进一步，角膜32可以假定为球形，从而无需校准曲率κ。

除了比如上述几何参数等几何参数外，模型还包括与光学特性有关的参数。例如，可以通过实验确定的角膜的折射率。

现在将参考图3a、图3b和图4a、图4b讨论系统的操作。图3a和图4a示出了用于确定3D模型的参数的校准程序的实例。图3b和图4b示出了对眼睛姿势(六个自由度)的实际检测。涉及计算的步骤可以由处理电路8执行。

校准

即使不进行校准，也可以使用常规技术来确定使用者的近似注视方向。但是，为了获得对眼睛姿势的更精确的确定，将需要对3D模型的未知参数进行校准。下面概述的程序是校准过程的一个实例，但其他选项也是可能的。例如，校准可以基于统计数据，而不是基于具有已知注视方向的一系列图像，有时被称为“统计校准”。校准也可以在线执行，即正在进行眼睛跟踪时。

所展示的校准过程在步骤S1中通过使用相机1采集一组校准图像37开始，其中每个校准图像与已知且唯一的注视方向相关联。例如，可以在使用者观看屏幕上显示的特定物体时采集校准图像。采集过程可以包括当他/她看着该物体时来自使用者的某种形式的确认，或者在系统被配置为识别使用者何时稳定地看着物体的意义上可以是半自动的。

对于每个已知的注视方向，可以采集一系列单独的校准图像。典型地，从每个已知的注视方向采集少量校准图像，例如3个至5个校准图像。为了采集校准图像，可能有利的是，采集数量大得多的图像，例如多达50个图像，将这些图像集群，然后从集群中选择3个至5个代表性校准图像。

在步骤S2中，标识每个校准图像37中的表征性特征，并且在步骤S3中，将所标识的特征与3D模型在校准图像的图像平面中的光学2D投影中的对应特征拟合，从而限定方程组。

图4a展示了对用于确定方程可能有用的特征的实例。由光学投影产生的特征在此包括瞳孔的中心41、瞳孔的外形或轮廓42、以及虹膜的外形或轮廓43。可以看出，与图像相比，瞳孔42的中心稍微偏移，瞳孔的尺寸太大，并且虹膜的尺寸和形状与图像不匹配。这表明模型的参数未被校准。

在图4a中，建模特征，即由模型的光学投影产生的特征41、42、43被展示为稍微偏离图像，这对应于未校准模型的光学投影。当然，实际上，光学投影是包括要校准的未知参数集的数学模型，并且每个特征41、42、43是基于已知眼睛姿势(已知注视方向)的数学表达式、但是包括这些未知参数中的一个或若干个未知参数。然后将每个这样的表达式设定为等于图像中标识的相应特征(使用适当的图像处理)，这将产生该方程组中的一个(或多个)方程。不同的参数可以并且将相互作用，因此将需要确定和数值求解若干个方程，以便确定所有参数。

为了进一步改善校准，可以在校准图像中标识一个或若干个闪烁，在此为两个闪烁44a、44b。应指出的是，闪烁的数量将取决于传感器的数量和/或光源的数量。应进一步指出的是，对于每个闪烁，可以基于关于传感器2与(多个)光源5的几何相对位置的知识来确定闪烁位置的法线方向45a、45b。在模型中，参数r(角膜半径)和κ(角膜曲率)将限定每个闪烁位置的建模法线方向46a、46b的数学表达式。再次，通过将此表达式设定为等于实际法线方向，确定可以包含在方程组中的方程。

步骤S4用于针对该系列图像中的每个校准图像以及每个已知注视方向重复步骤S2和S3。

然后，在步骤S5中，对包括从每个已知注视方向采集到的每个校准图像的多个方程在内的整个方程组进行数值求解，以确定3D模型的参数。

已知注视方向的数量以及为每个方向采集到的校准图像的数量需要足以实现参数集的确定，并且因此将取决于参数的数量以及每个校准图像中标识的特征的数量。作为实例，对于三个至六个已知注视方向，采集三个至五个校准图像应该就足够了。如上文所讨论的，每个校准图像产生多个方程，使得该方程组中的方程总数可以是百位数数量级。

应指出的是，在所展示的实例中，步骤S1中的已知注视方向的数量被预先设定。另一替代方案是自适应校准序列，其中，对于从一个已知注视方向采集到的所有图像，重复步骤S2、S3和S5，然后针对下一注视方向采集一系列图像。在这种情况下，将在步骤S5之后进行对当前可用校准的质量的某种类型的评估，并且决定是否从又一注视方向采集图像。

眼睛姿势检测

在步骤S11中，通过使用相机1采集眼睛的跟踪图像38来开始所展示的眼睛姿势检测。在步骤S12中，标识表征特征集，并且在步骤S13中，将所标识的特征与3D模型在校准图像的图像平面中的2D投影中的相应特征进行拟合，从而限定方程组。

步骤S12和S13基本上对应于图3a中的步骤S2和S3，其重要区别在于现在模型的参数是已知的，而眼睛姿势未知。眼睛姿势在六个自由度加以限定，并且包括眼睛在空间中的位置以及眼睛的取向。在步骤S14中，求解方程组，从而确定眼睛的姿势。

图4b类似于图4a，但是在此展示了已校准模型在眼睛的跟踪图像38上的投影。正如在图4a中那样，由光学投影产生的特征包括瞳孔的中心41、瞳孔的外形或轮廓42、以及虹膜的外形或轮廓43。

在图4b中，虹膜和瞳孔的形状和尺寸与跟踪图像相对应，但略有偏差。这对应于眼睛姿势的误差，即它是模型在错误位置的光学投影。当然，实际上，光学投影是基于未知位置(眼睛姿势)的3D模型的数学模型，并且每个特征41、42、43是基于已校准模型并包括眼镜姿势的六个未知自由度的数学表达式。然后将每个这样的表达式设定为等于图像中标识的相应特征(使用适当的图像处理)，从而产生该方程组中的一个(或多个)方程。

为了进一步改善跟踪，可以在跟踪图像中标识一个或若干个闪烁，在此为两个闪烁44a、44b，正如参考校准图像所讨论的那样。在图4b中，由于位置(眼睛姿势)不正确，每个闪烁位置45a、45b的实际法线方向(基于(多个)传感器与(多个)光源之间的已知几何关系)略微偏离建模法线方向46a、46b。与校准过程类似，将每个闪烁位置的建模法线方向的数学表达式设定为等于实际法线方向，从而形成可以包含在方程组中的方程。

在所展示的实例中，图1中的系统仅具有一个相机，并且在给定情况下只能采集一个图像。可以利用来自两个光源5的交替照明来采集图像，从而增加信息。

在另一实施例中，该系统包括两个(或更多个)相机，从而使得能够从略微不同的角度同时采集图像。在这样的系统中，步骤S11将包括采集眼睛的两个图像，并且步骤S12至S14中的方程组将包括根据两个图像确定的方程(即，两倍的方程)。这样的处理将增加眼睛姿势检测的准确性和鲁棒性。

处理图3b可以一次只针对一只眼睛来执行，或者同时针对两只眼睛来执行。进一步，可以连续地重复该过程，以便监测和跟踪眼睛。通过跟踪两只眼睛的眼睛姿势，可以高准确性地确定使用者正在看的地方。

本领域的技术人员认识到，本发明绝不局限于上文描述的优选实施例。相反地，在所附权利要求的范围内，许多修改和变化是可能的。例如，该系统可以包括多于一个的相机，并且还包括多于一个的光源。进一步，取决于3D模型的确切定义，参数集可以包括除以上讨论的参数之外的额外参数。

Claims (17)

1.一种用于确定使用者的眼睛的姿势的方法，所述姿势包括具有六个自由度的眼睛的位置和取向，该方法包括：

提供该眼睛的参数化3D模型，所述模型包括已被使用一组校准图像而校准的参数集，每个校准图像与已知注视方向相关联；

确定所述姿势，通过：

步骤S11：使用具有图像平面的图像传感器来采集该眼睛的至少一个跟踪图像(38)，

步骤S12：使用图像处理来在所采集的跟踪图像中标识多个表征性特征(38)，

步骤S13：将所述表征性特征与已校准的3D模型在该图像平面上的光学投影的相应特征相关联，其中每个相应特征是基于已校准的3D模型并包括代表眼睛姿势的六个自由度的六个变量的数学表达式，从而形成方程组，以及

步骤S14：对该方程组进行数值求解，以确定所述变量。

2.根据权利要求1所述的方法，其中，该方程组是非线性的。

3.根据权利要求1或2所述的方法，其中，该3D模型包括角膜(32)和瞳孔(33)。

4.根据权利要求1或2所述的方法，其中，该多个表征性特征包括瞳孔中心(41)点和瞳孔轮廓(42)中的至少一个。

5.根据权利要求1或2所述的方法，其中，该多个表征性特征包括虹膜轮廓(43)的形状和尺寸中的至少一个。

6.根据权利要求1或2所述的方法，其中，该跟踪图像是由图像传感器(2)在光源(5)的照明下采集的，使得该跟踪图像(38)包括在闪烁位置的至少一个闪烁(44a，44b)，并且其中，该方程组包括由在所述闪烁位置的实际法线方向(45a，45b)与基于所述3D模型在所述闪烁位置的建模法线方向(46a，46b)之间的关系确定的至少一个方程，所述实际法线方向基于该图像传感器与该光源之间的已知几何关系。

7.根据权利要求1或2所述的方法，其中，跟踪图像是在来自至少两个光源(5)的交替照明下采集的。

8.根据权利要求1或2所述的方法，进一步包括校准该3D模型，通过：

步骤S1：对于一组已知注视方向，采集:该眼睛的至少一个校准图像(37)，

步骤S2：对于每个校准图像(37)，标识多个表征性特征，并且将所述表征性特征与该3D模型在该校准图像的图像平面上的光学投影的相应特征拟合，

步骤S3：从而形成每个已知注视方向的方程组，以及

步骤S5：对这些方程组进行数值求解，以确定该3D模型的该参数集。

9.根据权利要求3所述的方法，进一步包括校准该3D模型，通过：

步骤S1：对于一组已知注视方向，采集:该眼睛的至少一个校准图像(37)，

步骤S2：对于每个校准图像(37)，标识多个表征性特征，并且将所述表征性特征与该3D模型在该校准图像的图像平面上的光学投影的相应特征拟合，

步骤S3：从而形成每个已知注视方向的方程组，以及

步骤S5：对这些方程组进行数值求解，以确定该3D模型的该参数集。

10.根据权利要求9所述的方法，其中，该参数集包括该瞳孔与该角膜的远极之间的距离(d)、该角膜(32)的曲率(κ)、以及该角膜(32)的半径(r)。

11.根据权利要求8所述的方法，其中，该参数集包括该眼睛的光轴线(A)与该眼睛的视轴线(V)之间的空间角(α，β)。

12.根据权利要求8所述的方法，其中，该组已知注视方向包括多于一个的注视方向。

13.根据权利要求12所述的方法，其中，该组已知注视方向包括至少三个注视方向。

14.根据权利要求8所述的方法，其中，对于每个已知注视方向，采集多于一个的校准图像。

15.一种用于确定眼睛的姿势的系统，所述姿势包括具有六个自由度的眼睛的位置和取向，包括：

具有图像平面的至少一个图像传感器(2)，

控制器(7)，该控制器用于控制该图像传感器以采集眼睛的跟踪图像(38)，

处理电路(8)，该处理电路被配置为：

访问该眼睛的参数化3D模型，所述模型包括已被校准的参数集；

使用图像处理来在所采集的跟踪图像中标识多个表征性特征(38)，

将所述表征性特征与已校准的3D模型在该图像平面上的光学投影的相应特征相关联，其中每个相应特征是基于已校准的3D模型并包括代表眼睛姿势的六个自由度的六个变量的数学表达式，从而形成方程组，以及

对该方程组进行数值求解，以确定所述变量。

16.根据权利要求15所述的系统，包括用于在采集跟踪图像期间照明该眼睛的至少一个光源(5)，并且其中，所述处理电路(8)被进一步配置为在该跟踪图像中标识至少一个闪烁(44a，4b)。

17.根据权利要求15所述的系统，包括：至少两个光源(5)，其中，所述控制器(7)被配置为在来自所述至少两个光源(5)的交替照明下采集跟踪图像。