CN109964230A - 用于眼睛度量采集的方法和设备 - Google Patents

Abstract

本公开涉及用于采集位于采集空间(29)中的眼睛(1)的度量的方法和设备。该设备包括：至少一个光源(11)，配置为朝向采集空间发光；相机(15)，配置为从采集空间接收光以(29)生成图像数据；以及分析单元(14)，配置为从图像数据中提取至少一个度量。相机(15)配置为经由至少两个光路(17,19)从采集空间接收光，所述两个光路相对于相机的光轴成不同角度，至少一个光路的光通过第一镜子(21)接收。相机通过第一和第二光路从采集空间的重叠部分接收光，以便允许相机接收单个眼的至少两个表象。该度量可用于例如眼动追踪或自动折射/适应。

Description

用于眼睛度量采集的方法和设备

技术领域

本公开涉及一种用于采集位于采集空间中的眼睛的眼睛度量的设备。该设备包括：至少一个光源，配置为朝向采集空间的发射光；相机，配置为从采集空间接收光以生成图像数据；以及分析单元，配置为从图像数据中提取至少一个度量。本公开还涉及相应的方法。

背景技术

这种装置例如在EP-2696259-A1中公开，并且可以用作输入装置，允许用户使用他的眼睛去控制，例如计算机；或者进行行为研究，测试人如何对不同刺激反应，等等。

这种系统的一般问题是如何使它们更有效和稳健，例如处理各种光学干扰。

发明内容

因此，本公开的一个目的是提供一种眼睛度量采集设备，其能够进行稳健的度量采集。

该目的通过如权利要求1限定的装置实现。更具体地，在最初提到的类型的设备中，相机配置为经由至少第一和第二光路，相对于相机的光轴以不同角度从采集空间接收光。通过第一镜子接收至少第一光路的光，并且以这种方式相机通过第一和第二光路从采集空间的重叠部分接收光。因此，相机接收单个眼的至少两个表象。

这意味着在单个图像中，可以生成眼睛的两个表象，并且可以从稍微不同的方向看到。即使第一子图像形式的一个表象，例如由于大的注视角度或用户的眼镜而失真，第二子图像形式的另一个表象可以提供对眼睛度量采集有用的信息。这提供了更稳健的度量采集。

通常，第二光路的光可以通过第二镜子接收。此外，第一和第二光路可以具有超过最短长度的1％的长度差。这意味着产生的图像中的一个在相机焦距深度内的概率变得更大。因此，可以允许更小的焦距深度，例如使用更大的相机光圈，这允许更快的图像捕获。

相机可以配置为从多个镜子接收光，每个镜子在采集空间和相机之间提供单独的光路，其成像了采集空间中与另一个镜子的区域重叠的区域。这提供了非常强大的捕获能力。多个镜子可以设置在面向采集空间的凹面上。镜子法线矢量与相机光轴之间的角度可能小于15°，这允许镜子向相机呈现相对平坦的图像。

分析单元可以配置为确定闪烁光到瞳孔距离以确定用户的眼睛光轴，即注视角度。这允许产生的数据用于眼睛跟踪。

分析单元还可以配置为通过基于单个眼睛的至少两个表象执行分析来确定用户的眼睛注视角度。这可以允许确定注视角度，甚至不会在眼角膜中产生闪烁光。

替代地或与其组合，分析单元可以配置为记录用户的视网膜的图像以确定眼睛的屈光不正，或者可以配置为确定虹膜角度特征以确定用户的眼睛光学扭转。

二向色滤光镜可以位于采集空间和第一镜子之间。这允许系统在可见光谱中显示对眼睛的刺激，同时例如在红外光谱中进行眼追踪。可以使用多于一个的这样的二向色镜，使得可以向例如右眼和左眼显示不同的内容，例如允许3D效果。

光源通常可以产生红外光谱中的光。

还考虑了相应的方法。

附图说明

图1示出了从侧面照亮的眼睛的捕获图像。

图2示出了从靠近其光轴的位置照亮的眼睛的捕获图像。

图3示意性地示出了用于采集眼睛度量的布置。

图4示意性地示出了适合眼睛跟踪的布置。

图5示意性地示出了适用于自动折射应用的布置。

图6示出了图像采集布置的透视图。

图7示出了利用图6的设置生成的图像的示例。

图8示出了镜子的偏移以允许更浅的相机焦距深度。

图9示出了图7的图像的后处理。

图10示出了用于自动折射测量的镜子和光源设置的正视图。

图11示出了可佩戴眼睛度量采集布置的第一示例。

图12示出了可佩戴眼睛度量采集布置的第二示例。

具体实施方式

本公开总体涉及用于采集眼睛度量的设备和方法。可以通过发射光，借助于朝向眼睛的光源，捕获眼睛的图像以提供图像数据，以及分析数据以从中提取至少一个度量来实现这种采集。进行这种眼睛度量采集的示例性应用是眼睛跟踪和自动折射。

通过眼睛跟踪是指注视矢量的测量，即眼睛看的方向、或眼睛相对于头部的运动。眼睛跟踪器可以用于例如行为研究，例如确定人如何对某些刺激作出反应，或作为输入装置，允许用户使用眼球运动来控制计算机。眼睛运动是作为一系列的扫视发生。扫视是指眼睛的两个连续固定之间的快速眼睛运动。人类扫视通常持续20到100毫秒，并且可以达到每秒高达800°的速度。许多随后检测到的注视向量描述了眼睛如何移动。

通常，光源可以布置在眼睛的侧面。在眼睛1的最终图像中，如图1所示，在其角膜上产生可见的闪烁光3。通过测量闪烁光3和眼睛瞳孔5的中心的相对位置，可以获得眼睛的注视向量的测量。

利用本眼睛度量采集装置，还可以在不使用闪烁光的情况下检测注视角度，这将进一步讨论。

在下文中，使用了术语热镜和冷镜。通过冷镜是指包括二向色滤光的镜子，使得镜子反射可见光谱同时有效地传输更长(通常高于700nm)的红外波长。热镜以相反的方式起作用，在传输可见光谱的同时反射红外光。热镜和冷镜本身是众所周知的。

可以设计一种已知的眼睛跟踪布置，例如，作为远程或移动式眼睛跟踪器。远程跟踪器从距离眼睛所在的采集空间一定距离的固定位置捕获眼睛的图像。另一方面，移动式跟踪器可以安装在用户的头部上，以自动补偿任何头部移动，或者可以布置成以其他方式动态地跟随用户的眼睛。用户在这里指的是其眼睛度量被采集的人。

眼睛跟踪器可以设置有下巴托架以确保用户的头部仅移动少许，并且因此眼睛被限制在非常小的采集空间中。这允许使用超过500Hz的更高的相机帧速率，代价是用户被固定。或者，设计相机以允许更大的采集空间，例如，一个尺寸为40x 30x 25厘米的假想盒子，允许用户移动他的头部。然而，这限制了帧速率，因为难以以高速度读出具有高分辨率的图像。

戴眼镜的用户可能会出现问题，因为可以读出一个或几个额外的闪烁光或反射，一个在角膜，其中在侧面的眼镜会产生不必要的反射。分析单元可能难以确定哪个闪烁光用于注视矢量检测。当眼镜坚固时，例如-6屈光度和大注视角度，这个问题可能特别明显。甚至可能检测到对于每只眼睛的额外的瞳孔，一个是通过眼镜看到的瞳孔，并且直接地在紧邻眼镜处再次看到同一瞳孔，因此使分析更加复杂。本公开旨在至少部分地减少一个或多个上述困难。

通常，眼睛跟踪可以在电磁波谱的红外部分内进行。这降低了图像处理要求，仅需要处理有限的光谱，并且允许使用光谱的可见部分，例如向用户提供刺激。例如，使用冷镜可以通过从用户眼睛的光轴垂直反射图像来向用户显示可见图像，同时红外波长用于检测冷镜后面的光轴伸长时的眼睛运动。在这种情况下，用户看不到跟踪布置。

通过自动折射是指用于评估用户眼睛的屈光不正的布置。通常，从靠近眼睛的光轴处看，图像从用户的眼睛中捕获。从以不同角度略微偏离光轴的位置顺序点亮光源。这意味着相机可以捕获眼睛视网膜的一组图像，即所谓的亮瞳7图像，如图2所示。通过比较许多这些图像，可以获得折射误差(球形和/或圆柱形的)的测量值。在本身已知的示例中，相机可以位于距眼睛大约1米的距离处，其中六个光源位于相机周围，围绕中心具有相机光轴的圆圈均匀地间隔开。在其他实施例中，相机可以极为靠近眼睛来定位。许多重复的自动折射测量可以提供适应度量。

图3以简单的形式示意性地示出了根据本公开的用于眼睛度量采集的布置。光线以光束9的形式从光源11朝向眼睛1发射。如果该光源11位于远离眼睛1的光轴13的位置，则如前面图1所示，可以看到闪烁光3。相机15捕获眼睛1的图像。相机15通过第一光路17和第二光路19接收来自眼睛所在的采集空间29的光。第一光路17和第二光路19相对于相机的光轴和相对于眼睛的光轴13成不同的角度。这是通过镜子21实现的，镜子21设置成完成第一光路。因此，相机15接收来自眼睛的重叠部分的光，其中提供至少两个表象。

图3的角度设置当然将通过镜子接收相对失真的图像，虽然这可能非常有用并且可以通过图像分析软件补偿失真，但是在某些情况下其他设置可能更有用。

图4示意性地示出了用于眼睛跟踪应用的设置。在该设置中，第二光路19的光经由第二镜子23接收。由于两个光路17,19的类似特性，所获得的两个表象将具有相对类似的特性。由于该设置不需要相机15和眼睛1之间的直接视线，因此相机和眼睛的光轴可以具有相似的方向。此外，平面镜21,23的表面可以面向眼睛1，即镜子的法向矢量相对于眼睛1的光轴和/或相机15的光轴可以具有小于15°的角度在图4中，该角度是表示为镜子23的法向矢量和眼睛的光轴13之间的角度。这意味着与通过图3的镜子21获得的投影相比，获得了相对平坦的眼睛投影。镜子21,23可以是热镜，这意味着用户可以观察镜子后面的物品。因此可以使镜子仅对用户略微可见。应该注意的是，图3-5的附图是示意性的，用于说明目的，其几何形状不一定准确。

图5示出了供选择的方案，其中光源11已经放置在靠近镜子21,23或靠近相机15的位置。当从眼睛、通过镜子或直接地看到的相机和光源之间的角度小于6°时，由于视网膜上的反射光，瞳孔可能变成明亮的瞳孔(参见图2)。由于从具有已知几何形状的已知角度捕获眼睛，因此可以知道眼睛的精确位置和瞳孔大小。这些视网膜图像之间的差异可用于确定眼睛1的屈光不正，即自动折射。如图所示，可以优选的替代是将光源11'与相机15一起布置。

明亮的瞳孔图像也可以用于眼睛跟踪目的。

在图5中，冷镜25位于一边的眼睛1和另一边的镜子21,23以及光源11之间。该镜子可以相对于眼睛的光轴13成约45°的角度，使得可见光可以从图像捕获布置的侧面引入到眼睛的视野中。只要红外光用于这些功能，该镜子就不会影响光源11或用相机15和镜子21,23捕获图像。同时，可以通过冷镜25向眼睛1提供视觉光谱刺激27，例如显示的图像、闪光灯等。这种冷镜也可以用于图4中的设置。可以使用一个单独的冷镜将可见光投射到用户的双眼。或者，可以为每只眼睛使用单独的冷镜，其甚至允许向用户呈现3D内容。

图6以透视图示出了可以使用的设置，例如，用于眼睛追踪。在这种情况下，相机15位于用户眼睛1所在的采集空间29上方，并且相机面向的方向与用户面向的方向相同。在图示情况的18个镜子中，多个镜子21,23布置在镜子支撑件31上。镜面被定向使得它们将采集空间29的重叠部分进行成像。也就是说，平面镜面具有不同方向的法向矢量。通常，镜子21,23布置在球形表面上，使得它们在相机15和采集空间29之间提供具有相似长度的光路，尽管这些长度可以如图所示的有所不同。不同的重叠方案是可能的。例如，具有第一和第二镜子的一对镜子可以将采集空间的重叠部分进行成像，具有第二镜子和第三镜子的一对镜子也可如此。同时，第一和第三镜子不需要将重叠部分成像。两个镜子可能提供几乎完全重叠的图片。由于不同方向的镜子的法向矢量，重叠量还取决于在采集空间中用户的脸与镜子的距离。

图7示出了利用如图6所示的设置捕获的图像33。由于多个镜子，表示采集空间的一部分的多个子图像35,37将出现在图像33中。即使由于如前所述的大注视角度、眼镜等，一些子图像不能被使用，其他子图像也可以提供所需的信息。也就是说，例如，如图6所示的几何设置在大多数情况下将提供有用的内容，例如，即使用户略微移动或转动他的头部、侧视或上/下注视、或者具有高屈光度眼镜。

另外，一些镜子很可能提供描述眼睛几乎直接进入瞳孔的子图像，这使得可选的瞳孔尺寸检测更加简单。而且，可以检测虹膜角度特征。虹膜具有独特的可检测图案，并且这些图案可用于确定用户的眼睛光学扭转，即可以检测到眼睛绕其自身的光轴略微转动。

此外，即使不使用如图1中的角膜中的闪烁，使用如图7所示的图像数据，也可以确定注视角度。利用对应于图7的图像数据，分析单元可以基于单个眼的两个或多个表象来执行分析。分析单元可以具有允许将图像数据的子部分与特定镜子相关联的知识，并且还可以具有关于该镜子相对于相机15的位置和倾斜度的知识。可以使用图像分析算法，该分析算法基于例如在瞳孔或虹膜相对于眼睛的其余部分(如眼睑等)的位置上，以确定眼睛的注视角度。例如，可以使用自学习神经网络来确定。

图8示意性地示出了穿过镜子支撑件的示例的横截面。如图所示，镜子通常可以设置在球面曲率39上。然而，镜子可以可选地在镜子的法向矢量41的方向上，从该曲率朝向或远离采集空间处偏移一定长度l_off。通过以不同方式偏移镜子，即使该焦距深度很小，也更有可能一些镜子将在相机的焦距深度内，因为不同的光路将具有略微不同的长度。这允许使用更宽的相机光圈，从而提供更快的图像渲染。通常，光路差可以是相机焦距深度的约10％，或相机与眼睛之间的最短光学长度的约2％，尽管超过1％的差异在许多情况下将提供实质性效果。

图9示出了图7的图像，其中多个子图像被忽略，例如因为失焦，具有太大的注视角度，重要特征模糊，或提供虚假信息，例如由厚眼镜以相当大的角度提供的双瞳孔。因此，可以仅在少量子图像上执行图像的后处理以提供眼睛度量，这也提供了提高的处理速度。在所示的情况下，为此目的保留四个子图像，对应于四个镜子，右眼中的两个和左眼中的两个(图中划掉的其他子图像)。这可能会随着时间而改变，例如片刻之后，例如，如果用户移动了他的头部或改变了他的注视角度，则可以使用对应于两个其他镜子的两个子图像。

图10示出了用于自动折射测量的镜子和光源设置的正视图。在该图中，从相机看到三个镜子21,23,41。光源11的位置使得通过三个镜子21,23,41从眼睛看到的光源和照相机之间的角度被最小化，例如小于6°，这样，在相机拍摄的每个镜子21、23、41中都会产生明亮的瞳孔图像(参见图2)。利用这种配置，可以使用三张图片化的明亮瞳孔(即视网膜)的特征差异来确定眼睛的屈光不正，包括球面和圆柱形误差。这可以通过由相机捕获的并且包括由镜子提供的子图像的单个图像来实现。如图所示，镜子可以位于距眼睛大约相同的距离处，从光源11以120°间隔径向偏移到瞳孔轴。也可以使用更多镜子，例如围绕光轴具有60°间隔的六个镜子。

光源11'也可以位于相机镜头附近或前方，如图5所示。返回图10，这种光源可以提供朝向一个或多个镜子的光流。可以提供一个以上的光源。如果布置在相机镜头前，应避免光源遮挡镜子或将光线直接照射到相机中。

本公开的总体概念还可以与可穿戴配置相关联。例如，所谓的虚拟现实VR眼镜可以设置有眼睛跟踪功能。

以简单形式，这种VR眼镜可以通过头戴式屏幕实现，每个眼睛具有一些光学器件。例如，大屏幕智能手机可以位于用户眼前，并且针对每只眼睛的凸透镜可用于允许用户近距离观看屏幕。智能手机中的位置传感器可用于检测用户的头部运动，例如，结果是改变显示的内容，以提供虚拟现实效果。例如，在本公开中，眼睛跟踪可以增强这种效果。

图11示意性地示出了可佩戴眼睛度量采集布置的第一示例。该示例为每只眼睛提供与图3中类似的设置。针对每只眼睛的一个相机15捕获眼睛的一个直接图像，以及通过镜子21从另一个方向观察眼睛的一个图像。这可以用于提供如前所述的眼睛跟踪信息。

图12示出了可佩戴眼睛度量采集布置的第二示例。在该示例中，单个相机15向用户的双眼中的每个眼提供两张图像。分光镜41将相机的视图分成两半，每一半通过第一镜子21和第二镜子23产生不同的眼睛图像。

在图11和12中使用的镜子21,23可以是热镜，使得它们仅在一定程度上阻碍用户视觉。

本发明主要是参照一些实施例来描述的。然而，如本领域技术人员容易理解的，除了上述公开的实施例之外，其他实施例在由所附权利要求书限定的本发明的范围内同样可行。

Claims (15)

1.一种用于采集位于采集空间(29)中的眼睛(1)的度量的设备，该设备包括：至少一个光源(11)，配置为朝向采集空间(29)发射光；相机(15)，配置为从采集空间(29)接收光以生成图像数据；和分析单元(14)，配置为从图像数据中提取至少一个度量，其特征在于，相机(15)配置为通过至少第一(17)和第二(19)光路从采集空间接收光，所述第一(17)和第二(19)光路相对于相机的光轴成不同角度，其中第一光路(17)的光通过第一镜子(21)接收，这样使得照相机通过第一和第二光路(17,19)从采集空间的重叠部分接收光，以便允许相机接收单个眼的至少两个表象。

2.根据权利要求1所述的设备，其中第二光路(19)的光通过第二镜子(23)接收。

3.根据权利要求2所述的设备，其中所述第一和第二光路(17,19)的长度差超过所述眼睛和所述相机之间的最短光路的1％。

4.根据前述权利要求中任一项所述的设备，其中所述相机配置为从多个镜子接收光，每个镜子在所述采集空间和所述相机之间提供单独的光路，其将所述采集空间的与另一镜子区域重叠的区域进行成像。

5.根据权利要求4所述的设备，其中所述多个镜子设置在面向采集空间的凹面(39)上。

6.根据前述权利要求中任一项所述的设备，其中每个镜子法线与相机的光轴之间的角度小于15°。

7.根据前述权利要求中任一项所述的设备，其中所述分析单元(11)配置为确定闪烁光到瞳孔距离以确定用户的眼睛注视角度。

8.根据前述权利要求中任一项所述的设备，其中所述分析单元(11)配置为基于单个眼睛的至少两个表象执行分析来确定用户的眼睛注视角度。

9.根据前述权利要求中任一项所述的设备，其中，所述分析单元(11)配置为记录用户视网膜的图像来确定眼睛的屈光不正。

10.根据前述权利要求中任一项所述的设备，其中，所述分析单元(11)配置为确定虹膜角度特征来确定用户的眼睛光学扭转。

11.根据前述权利要求中任一项所述的设备，其中至少一个二向色滤光镜(25)位于所述采集空间和第一镜子之间。

12.根据权利要求11所述的设备，其中第一和第二二向色滤光镜位于相机和分别配置用于第一和第二用户眼睛的采集空间的第一和第二部分之间的光路中。

13.根据前述权利要求中任一项所述的设备，其中所述至少一个光源(11)产生红外光。

14.一种用于采集位于采集空间中的眼睛的度量的方法，其中至少一个光源朝向采集空间发射光，相机从采集空间接收光以生成图像数据，并且分析图像数据以从中提取至少一个度量，其特征在于，相机通过至少第一和第二光路接收来自采集空间的光，所述第一和第二光路相对于相机的光轴成不同角度，其中第一光路的光通过第一镜子接收，这样使得相机通过第一和第二光路从采集空间的重叠部分接收光，以便允许相机接收单个眼的至少两个表象。

15.根据权利要求14所述的方法，其中通过基于单个眼的至少两个表象执行分析来确定用户的眼睛注视角度。