CN114206201A - 眼球跟踪注视监测系统及方法 - Google Patents

Abstract

用于在诊断程序期间跟踪眼球运动的系统和方法，包括捕捉眼球的图像的眼球跟踪器、以及控制处理器，该控制处理器被配置用于：检测这些图像中的每个图像中的眼球位置和取向；确定相对于该眼球跟踪器的光轴的眼球注视位置和取向；至少部分地基于所确定的眼球注视位置和取向来估计眼球注视参数；以及通过分析这些图像以确定相对于眼球注视参数的眼球位置和取向，来跟踪眼球位置和取向。这些眼球注视参数可以包括该眼球在注视时的参考位置和取向。用检测到的眼球位置和取向来构建直方图并且进行分析以确定眼球注视位置和取向。

Description

眼球跟踪注视监测系统及方法

背景

技术领域

本披露总体上涉及眼球跟踪系统及方法，并且更具体地涉及例如用于在成像、跟踪、诊断、和/或手术系统中跟踪眼球的位置和/或取向的系统及方法。

背景技术

多种多样的眼科装置被用于对患者的眼球进行成像、测量、诊断、跟踪、手术矫正和/或手术修复。眼科装置、比如断层扫描装置、角膜曲率测量装置、波前分析器或测量眼球各方面(例如，光学、几何等)的其他装置的操作通常是基于这样的假设：眼球相对于诊断装置被维持在限定的位置和取向。眼科装置的人类操作者(human operator)可以让患者定位并指示其例如看向装置中的目标物体(例如，注视灯)以将患者的视线(例如，人看着事物所沿着的轴线)对准眼科装置的光轴。如果患者没有恰当地注视，读数可能不准确和/或系统可能不能恰当发挥作用。

为了确保准确的数据采集，眼科装置的人类操作者通常负责在数据采集期间监测患者和/或监测来自该装置的反馈，以确定患者是否已经恰当地注视目标物体而对准了眼球。一种已知的技术包括依靠患者的合作来按照装置操作者(device operator)的指示注视目标物体。然而，现有的途径具有许多缺点，包括患者试图注视时的人为误差(例如，老年患者可能无法维持眼球位置，患者可能缺乏足够的注意力来让眼球注视，患者可能无法直视目标物体等)和在该程序期间监视着患者的操作者的人为误差。在另一种途径中，可以使用视网膜扫描与成像分析来跟踪患者的眼球位置和取向，但视网膜成像系统的操作可能干扰诊断程序。因此，在使用眼科装置进行的诊断程序期间，经常要关掉视网膜扫描与成像系统或以其他方式使其无法用于眼球跟踪。

鉴于前述内容，本领域持续需要用于在眼科程序期间确定和/或跟踪患者眼球的位置和取向的改进的技术。

发明内容

根据多个不同的实施例，披露了用于评估和/或促进眼球注视的系统及方法。本文披露的改进可以用于各种眼球成像、跟踪、诊断和/或手术系统，以在测量序列、手术程序和/或其他程序期间检测患者是否在恰当地注视。在一些实施例中，系统评估患者是否正注视着诊断装置的某个光轴。该系统可以结合视网膜成像系统来使用眼球跟踪技术和统计评估，以允许实现绝对注视监测，甚至在视网膜成像不可获得的诊断程序阶段也是如此。

在多个不同的实施例中，一种系统包括被配置用于捕捉眼球的第一多个图像的眼球跟踪器、以及控制处理器，该控制处理器被配置用于：检测该第一多个图像中的每个图像中的眼球位置和取向；确定相对于该眼球跟踪器的光轴的眼球注视位置和取向；至少部分地基于所确定的眼球注视位置和取向来估计眼球注视参数；以及通过分析该第一多个图像中的一个或多个图像以确定相对于眼球注视参数的眼球位置和取向，来跟踪眼球位置和取向。眼球注视参数可以包括眼球在注视时的参考位置和取向。

在一些实施例中，该控制处理器进一步被配置用于通过构建并分析检测到的眼球位置和取向的直方图来检测相对于眼球跟踪器的光轴的注视位置。分析直方图进一步包括确定相对最大值并且确定相对最大值的坐标是否包含注视位置和取向，并且确定相对最大值的坐标是否可能包含注视位置和取向进一步包括将相对最大值与阈值和/或直方图的平均坐标值进行比较。

该系统可以进一步包括视网膜成像系统，该视网膜成像系统包括被配置用于进行视网膜扫描的光学相干断层扫描(OCT)扫描仪，该视网膜成像系统被配置用于：捕捉眼球的第二多个图像；检测中央凹是否存在于该第二多个图像中的一个或多个图像中；从该第二多个图像中识别具有检测到的中央凹的第一图像；从该第一多个图像中确定与该第一图像在时间上接近的第二图像；以及分析该第二图像来确定眼球注视参数。

该控制处理器还可以被配置用于跟踪眼球位置和取向并且计算与眼球注视参数的偏离量并确定偏离量是否小于阈值。当偏离量小于阈值时，确定眼球在注视，并且控制处理器生成注视指示。当偏离量大于阈值时，确定眼球未对准，并且控制处理器生成未注视指示。

在一些实施例中，该控制处理器进一步被配置用于进行眼球诊断程序，并且在眼球诊断程序期间使用眼球跟踪器来跟踪眼球位置。该系统可以进一步包括诊断装置，该诊断装置被配置用于在使用图像捕捉装置来跟踪眼球的位置和取向时进行眼球诊断程序；该诊断装置进一步被配置为在眼球诊断程序期间至少部分地基于表示注视和眼球位置的数据来接收该表示注视和眼球位置的数据。

在多个不同的实施例中，一种方法包括：捕捉眼球的第一多个图像；检测该第一多个图像中的每个图像中的眼球位置和取向；确定相对于眼球跟踪器的光轴的眼球注视位置和取向；至少部分地基于所确定的眼球注视位置和取向来估计眼球注视参数；以及通过分析该第一多个图像中的一个或多个图像以确定相对于眼球注视参数的眼球位置和取向，来跟踪眼球位置和取向。该方法可以进一步包括：对神经网络进行训练以接收该第一多个图像并且输出对眼球位置的确定。眼球注视参数包括眼球在注视时的参考位置和取向。

该方法可以进一步包括通过构建并分析检测到的眼球位置和取向的直方图来检测相对于眼球跟踪器的光轴的注视位置，并且分析该直方图进一步包括确定相对最大值。

在一些实施例中，该方法包括：使用光学相干断层扫描(OCT)扫描仪来进行眼球的视网膜成像扫描；通过视网膜成像扫描来捕捉眼球的第二多个图像；检测中央凹是否存在于该第二多个图像中的一个或多个图像中；从该第二多个图像中识别具有检测到的中央凹的第一图像；从该第一多个图像中确定与该第一图像在时间上接近的第二图像；以及分析该第二图像来确定眼球注视参数。

在一些实施例中，该方法进一步包括：跟踪眼球位置和取向并且计算与眼球注视参数的偏离量并确定偏离量是否小于阈值；其中，当偏离量小于阈值时，确定眼球在注视，并且该控制处理器生成注视指示；并且其中，当偏离量大于阈值时，确定眼球未对准，并且该控制处理器生成未注视指示。

该方法可以进一步包括进行眼球诊断程序、并且在眼球诊断程序期间使用眼球跟踪器来跟踪眼球位置。该方法可以在使用图像捕捉装置来跟踪眼球的位置和取向时进行眼球诊断程序；并且至少部分地基于表示眼球注视参数的数据和所跟踪到的眼球位置来修改眼球诊断程序。

在多个不同的实施例中，一种系统包括：视网膜成像系统，该视网膜成像系统被配置用于捕捉眼球的第一多个图像；眼球跟踪器，该眼球跟踪器被配置用于捕捉眼球的第二多个图像、并且分析所捕捉的图像来跟踪眼球位置和取向；以及控制处理器，该控制处理器被配置用于在该第一多个图像中检测中央凹；从该第一多个图像中识别具有检测到的中央凹的第一图像；从该第二多个图像中确定在时间上接近该第一图像的第二图像；以及分析该第二图像以确定眼球注视参数。

眼球注视参数可以包括眼球在注视时的参考位置和取向，并且该控制处理器可以进一步被配置用于分析该第二多个图像来确定相对于眼球在注视时的参考位置和取向而言的当前眼球位置和取向。该控制处理器可以进一步被配置用于跟踪眼球位置和取向并且计算与参考位置和取向的偏离量。在一些实施例中，当偏离量小于阈值时，可以确定眼球在注视，并且控制处理器生成注视指示。如果偏离量大于阈值时，则确定眼球未对准，并且控制处理器生成眼球未恰当对准的指示。

在一些实施例中，该视网膜成像系统包括被配置用于进行视网膜扫描的光学相干断层扫描(OCT)扫描仪，并且提供了眼科装置来进行诊断程序。在眼球诊断程序的一部分期间，该视网膜成像系统可能不捕捉眼球的图像和检测中央凹，并且控制处理器被配置为在眼球诊断程序期间使用眼球跟踪器来跟踪眼球位置。眼科装置可以被配置用于在使用图像捕捉装置跟踪眼球的位置和取向时进行眼球诊断程序。在一些实施例中，图像捕捉装置被配置用于捕捉眼球表面的图像，而不干扰诊断程序。该眼科装置可以进一步被配置为在眼球诊断程序期间至少部分地基于表示注视和眼球位置的数据来接收该表示注视和眼球位置的数据。可以在诊断程序期间分析并更新眼球跟踪。

该系统可以进一步包括一个或多个神经网络，所述神经网络被训练来分析来自眼球跟踪器的眼球跟踪数据、来自视网膜成像系统的视网膜成像数据、和/或来自诊断程序的数据。可以使用包括图像和眼球注视和/或偏离量信息的被标记数据的数据集来训练该神经网络。在一些实施例中，可以在一个或多个任务期中捕捉、分析、和/或存储患者的视网膜成像数据和/或眼球跟踪数据，并且被系统调用以供在诊断程序期间使用。

在多个不同的实施例中，一种方法包括：使用视网膜成像系统来捕捉眼球的第一多个图像；以及使用眼球跟踪器来捕捉眼球的第二多个图像。该方法可以进一步包括在该第一多个图像中检测中央凹、并且基于对该第二多个图像的分析来跟踪眼球的位置和取向。该方法可以进一步包括：从该第一多个图像中识别具有检测到的中央凹的第一图像；从该第二多个图像中确定在时间上接近该第一图像的第二图像；以及分析该第二图像以确定眼球注视参数。在一些实施例中，可以通过对视网膜的光学相干断层扫描来捕捉该第一多个图像。

在一些实施例中，可以通过眼科诊断装置来进行该方法，该眼科诊断装置包括视网膜成像系统和眼球跟踪器。眼球注视参数可以包括眼球在注视时的参考位置和取向，该方法可以进一步包括分析该第二多个图像来确定相对于眼球在注视时的参考位置和取向而言的当前眼球位置和取向。该方法可以进一步包括使用眼球跟踪器来跟踪当前眼球位置和取向、并且计算与参考位置和取向的偏离量、并且在偏离量小于阈值时生成眼球注视指示。

该方法可以进一步包括进行眼球诊断程序、以及在眼球诊断程序期间使用眼球跟踪器来跟踪眼球位置，其中在眼球诊断程序的至少一部分期间，视网膜成像系统不捕捉眼球的图像和检测中央凹。可以在使用图像捕捉装置来跟踪眼球的位置和取向时进行眼球诊断程序，并且该方法可以包括在眼球诊断程序期间至少部分地基于表示注视和眼球位置的数据来接收该表示注视和眼球位置的数据。可以在诊断程序期间分析并更新眼球跟踪。

本披露的范围由权利要求限定，权利要求通过援引并入本部分中。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将获得更完整的理解并实现其额外的优点。将参考附图，首先将对附图进行简要描述。

附图说明

参考以下附图和随后的详细描述，可以更好地理解本披露的方面及其优点。应了解的是，相同的附图标记用于标识一个或多个图中所示的相同元件，其中的显示是为了展示本披露的实施例而不是为了限制本披露。附图中的部件不一定按比例绘制，而是将重点放在清楚地展示本披露的原理上。

图1展示了根据本披露的一个或多个实施例的示例性眼球跟踪与成像系统。

图2展示了根据本披露的一个或多个实施例，在诊断程序期间图1的示例性眼球跟踪与成像系统。

图3展示了根据本披露的一个或多个实施例的示例性神经网络。

图4展示了根据本披露的一个或多个实施例的示例性计算系统。

图5展示了根据本披露的一个或多个实施例的眼科系统的示例性操作。

图6展示了根据本披露的一个或多个实施例的用于估计绝对眼球位置的方法。

图7展示了根据本披露的一个或多个实施例的使用眼球跟踪器检测到的眼球位置和取向的示例性热图。

图8展示了根据本披露的一个或多个实施例的由使用眼球跟踪器检测到的眼球位置和取向数据构建的示例性直方图。

图9展示了根据本披露的一个或多个实施例的用于实施图6的方法的示例性系统。

具体实施方式

本文披露了用于在眼球成像、跟踪、诊断和/或手术系统中评估和/或促进眼球注视的系统及方法。例如，本文披露的改进可以用于在启用眼科装置以进行测量序列或其他诊断程序之前，帮助装置操作者将患者的视线对准眼科装置的光轴。

根据各种实施例，使用诊断系统来促进对患者眼球的准确测量，该诊断系统确定患者的视线(在本文中还称为患者的视轴)是否与诊断系统的光轴对准。患者的视线/视轴可以是患者的眼球被定向为看着物体时所沿着的轴线。根据本文披露的系统及方法所采集的诊断数据比通过常规途径采集的数据更有意义且更准确。这些系统及方法还可以被配置为向诊断装置的人类操作者提供关于患者在数据采集期间是否已经注视恰当轴线的反馈。

本文披露的系统及方法提供了超越常规途径的许多优点。例如，从患者眼球的数据采集可以包括指示患者注视目标物体以将眼球恰当对准。然而，这种技术容易出错，因为诊断装置的人类操作者经常依赖于患者的合作，而患者可能没有在恰当地注视目标物体。在另一种途径中，可以使用视网膜光学相干断层扫描(OCT)来对患者的视网膜成像并向操作者提供患者是否在恰当注视的指示。但是，OCT扫描的分析仅在OCT正扫描视网膜时有效。如果诊断系统在需要将OCT扫描切换到眼球的不同部分或关掉OCT扫描(例如，出于眼球安全原因)的程序期间使用不同类型的传感器，则该分析对于这些测量时间段不可靠。其他光学视网膜成像技术也具有与视网膜OCT扫描相同的缺点。在利用不同传感器的测量序列中，注视信息仅在视网膜成像在工作的期间有效。在需要关掉视网膜成像的时间段期间，注视信息不可获得。

本文披露的系统及方法克服了常规系统的上述限制和其他限制，并引入了许多优点。本披露提供了可以在各种各样的系统(包括使用相机和照明系统的常规眼科诊断装置)中实施的具有成本效益的改进的解决方案。甚至在关掉视网膜OCT时，眼科诊断装置与视网膜OCT系统的组合仍允许实现绝对注视控制。在一些实施例中，系统及方法将在测量序列期间视网膜OCT已经检测到中央凹至少一次之后提供准确的注视信息。在其他实施例中，系统及方法将在视网膜OCT扫描不可获得和/或中央凹未被检测到的实现方式中提供准确的注视信息。

现在将参考附图进一步详细地描述本披露的实施例。参见图1，根据一个或多个实施例的系统100包括可通信地联接的眼球跟踪模块110(在此还称为“眼球跟踪器”)和视网膜成像系统130。眼球跟踪模块110被配置用于跟踪眼球102的取向并且可以包括成像装置112和一个或多个照明部件114。在一些实施例中，成像装置112是数码相机或其他数码成像装置，其被配置用于对眼球的某些特征比如瞳孔和角膜缘(角膜与眼白、即巩膜之间的边界)、以及来自照明部件114的反射进行成像。在一些实施例中，例如，照明部件114可以包括围绕相机光学器件定位的LED环(例如，围绕成像装置的同轴照明)，使得环的中心类似于角膜的曲率中心。

系统100包括控制逻辑118，其可以包括执行所存储的程序指令的处理器，所述程序指令被配置为执行本文披露的功能。在一些实施例中，控制逻辑118对由成像装置112捕捉的多个图像执行测量序列。测量序列通过使用图像数据(例如眼球跟踪数据116)中眼球102的可检测特征(例如瞳孔、角膜缘和虹膜特征)的位置来确定眼球102的位置和取向。测量序列还可以确定照明系统在角膜处的反射(例如包括被照明元件的圆形图案的反射117)的位置。在一些实施例中，在测量序列期间，使用捕捉的图像来连续确定眼球102的位置和取向。

控制逻辑118可以实施在眼球跟踪器110、视网膜成像系统130和/或其他系统部件中。控制逻辑118被配置为在系统110的操作期间检测相对眼球运动，这可以包括根据捕捉的图像和对照明源位置的了解来检测并跟踪眼球特征(例如，检测瞳孔)。例如，检测并计算瞳孔中心的偏离量和角膜曲率的偏离量可以提供关于眼球的相对凝视的信息。

视网膜成像系统130可以包括用于对眼球102的视网膜进行成像的任何装置或系统。视网膜成像系统130可以实施为视网膜光学相干断层扫描(OCT)系统、视网膜光学系统或用于对视网膜进行成像的类似系统。在一些实施例中，视网膜成像系统130和/或控制逻辑118被配置用于在整个测量序列期间检测患者的中央凹至少一次。由此，视网膜成像系统130不需要在整个诊断序列期间是工作的(例如，出于技术或安全原因)并且可以在需要时关停或暂停。

中央凹通常看起来像视网膜中的凹陷，其在某些视网膜成像系统中可以被检测到。在多个不同的实施例中，视网膜成像系统130生成视网膜成像数据132，比如视网膜OCT图像134和/或眼底图像136。视网膜成像系统130可以包括视网膜OCT扫描系统、眼底成像系统、或其他类似的装置。如果患者在注视与系统100相关联的目标物体，则中央凹将存在于视网膜成像装置的光轴的中心。视网膜成像装置可能仅需要扫描该装置的光轴周围的中心部分。如果患者正在注视，则中央凹存在于视网膜成像数据中。在一些实施例中，视网膜成像装置被配置用于对眼球的后部成像以进行中央凹检测。如果系统需要对眼球的不同部分成像(例如，对角膜的高分辨率扫描)，则中央凹在图像中将不可见，并且眼球跟踪器110将用于跟踪眼球位置和旋转。

系统100协调对来自眼球跟踪模块110的眼球取向相关信息(例如眼球跟踪数据116，包括检测到的照明源反射117)与来自视网膜成像系统130的信息(例如视网膜成像数据132)的处理。在操作中，如果系统100(例如，经由视网膜成像系统130和/或控制逻辑118)在视网膜成像数据132的某个区域中检测到中央凹，则系统100将知晓眼球的对应取向。利用这个信息，系统100可以进一步确定甚至在视网膜成像不可获得的测量阶段中患者是否在正确地注视。

在一些实施例中，如果患者正在注视，则中央凹出现在图像的中心。眼球跟踪模块110被配置为与视网膜成像同时地对眼球位置和眼球旋转进行成像和跟踪。在一些实施例中，捕捉的图像包括相关联的时间特性，比如时间戳、帧参考值(例如，10帧以前)或允许将视网膜图像和眼球跟踪器信息同步的其他信息。在检测到中央凹之后，可以向控制逻辑118、眼球跟踪模块110和/或其他系统部件提供中央凹检测信息，该信息可以包括对应的时间特性和是否检测到中央凹的指示。

在一些实施例中，对眼球102的位置和取向的分析包括以下方法：将在视网膜成像系统可看到中央凹时眼球的取向/位置与当前眼球跟踪数据进行比较。例如，系统100可以在包括测量序列的诊断程序中使用。通过在程序期间使用眼球跟踪器110来跟踪眼球位置和取向，可以收集测量数据并与对应的眼睛跟踪数据一起进行分析。在一个实施例中，在眼球102注视时(例如，当眼球位置在注视位置的可接受偏离范围内时)采集的测量数据被认为是有效的，并被用于进一步诊断/分析，而在眼球102未注视时采集的测量数据(例如，当眼球位置超出注视位置的可接受偏离量时)可以被忽略和/或丢弃。

在多个不同的实施例中，系统100使用中央凹检测信息来建立参考注视信息，该参考注视信息可以包括瞳孔相对于角膜的某种取向。眼球跟踪器110可以接收中央凹检测信息(例如，在特定时间或其他时间参考值时确定的注视)、调用来自同一时间帧的一个或多个对应的图像、并且分析所捕捉的(多个)图像以确定在注视期间瞳孔与角膜中心之间的特定关系。然后，可以通过将新捕捉的图像中的眼球位置和取向与参考图像中的眼球位置和取向进行比较来跟踪眼球位置。这允许视网膜成像系统130在眼球跟踪器110确认了眼球正在注视时对眼球102的另一部分进行成像(或根据需要操作其他眼科设备)。眼球跟踪模块110可以向视网膜成像系统130提供注视信息，指示当前扫描是否是在眼球正注视(相对于参考数据在误差范围内)时进行的，或当前扫描是否是在未注视时、比如在当前眼球位置与参考眼球位置之间的偏离量超过阈值时进行的。

参见图2，在系统100的操作期间，视网膜成像系统130可以在诊断或其他程序期间关停，从而不再生成视网膜成像数据132。如果视网膜成像系统130之前已经检测到中央凹至少一次，如参见图1所描述的，则甚至在不可获得视网膜成像的程序阶段期间，系统100仍可以继续向装置操作者提供关于患者眼球注视的信息。例如，系统100可以将使用眼球跟踪器110所捕捉的当前眼球位置和取向与视网膜成像系统130检测到中央凹时确定的眼球位置和取向进行比较。眼球跟踪器110可以通过一种或多种视觉提示(例如，指示灯、显示屏上的状态信息)或听觉提示(例如，蜂鸣声)向装置操作者提供指示。眼球跟踪器110还可以向系统100的其他部件提供注视信息，例如，以控制需要眼球注视的操作和/或验证采集的数据有效/无效。

应了解的是，图1和图2中描述的系统及方法是各种实施例的示例性实现方式，并且本披露的教导内容可以用于其他眼球跟踪系统中，例如使用了产生浦肯野反射的照明系统和捕捉眼球的数字图像的相机的系统或装置中。

为了帮助确定眼球是否在注视，控制逻辑118可以被配置为确定眼球的当前位置和取向并且计算偏离量以确定眼球是否充分注视着期望的物体。在一个实施例中，可以确定阈值，并且任何低于该阈值的偏离量将确定眼球在注视。在一些实施例中，注视的确定和阈值取决于应用，并且不同的实现方式可以接受不同的偏离量。

在示例性操作中，视网膜成像系统130可以被配置用于进行多次扫描和视网膜成像分析，这可以聚焦在眼球102的多个不同部分上。在一种配置中，视网膜成像系统130被配置用于对眼球的后部进行成像并识别中央凹。中央凹可能出现在图像的中间，这指示患者的凝视与系统100的光轴是对准的。视网膜成像系统130可以被配置为接下来对眼球的不同部分进行其他扫描，从其中不可获得中央凹检测。在这些扫描期间，期望患者注视目标物体，但视网膜成像系统可能不能检测到中央凹以确认恰当的眼球位置和对准。

在一些实施例中，视网膜成像系统130识别检测到中央凹的时间帧(例如，一段时间段、一个或多个图像、顺序索引值等)，以允许眼球跟踪器识别在同一时间或大约同一时间获取的对应眼球跟踪图像。眼球跟踪模块110然后可以确定与注视位置相关联的眼球参考位置，包括瞳孔和角膜的相对位置。系统100可以立即使用该眼球注视信息来跟踪眼球位置和取向和/或将其存储并调用来供系统100稍后使用。例如，可以针对患者来确定并存储眼球注视信息并调用其来供系统100(或类似系统)用于患者的后续程序或用于对捕捉的图像进行离线分析。

当视网膜成像装置130在进行其他扫描和/或其他眼科部件在操作中时，眼球跟踪器110捕捉图像流并参考从(多个)参考图像中确定的位置和取向来分析眼球位置和对准。此分析可以在程序期间实时进行和/或离线进行(例如，在分析先前捕捉的数据时)。将当前图像与(多个)参考图像进行比较并计算偏离量。如果偏离量小于阈值，则眼球在注视并且对应的视网膜图像是准确的。如果偏离量大于阈值，则眼球未注视并且对应的视网膜图像可以被标记出、丢弃或采取其他动作。

在一些实施例中，眼球跟踪器110在整个程序中连续地对眼球进行成像。对于每一帧，可以至少部分地基于在图像流中检测到反射的位置来检测图像中的瞳孔位置。在多个不同的实施例中，所跟踪和记录的信息可以包括以下中的一种或多种：图像、从图像中提取的图像特征、图像特性、图像中的瞳孔位置和/或反射位置。眼球跟踪系统和视网膜成像系统是同步的，使得对于扫描的每个视网膜图像，可以识别对应的一个或多个眼球跟踪器图像。在一个实施例中，存在一一对应。在其他实施例中，通过时间戳或与捕捉的图像相关联的其他同步数据来使这些图像同步。

应了解的是，虽然眼球跟踪模块110和视网膜成像系统130被描述为单独的部件，但是系统100可以包括具有各种子部件的诊断装置，子部件包括眼球跟踪模块110、视网膜成像系统130、以及其他子部件。在一些实施例中，可以提供中央处理器来控制系统100的操作、同步并控制这两个系统之间的通信、以及执行其他系统功能。对眼球位置和取向的分析可以由系统100实时进行，或者在程序完成之后进行。上线时，系统100可以向患者和操作者提供反馈。离线时，系统100和/或其他系统可以执行更复杂的分析以获得更准确的扫描和结果。

在一些实施例中，系统100可以包括较大的诊断装置，该诊断装置包括相机(例如，用于对眼球表面进行成像)和用于测量视网膜的第二部件。系统100可以包括被配置用于对眼球进行成像以创建3-D眼球模型的多个传感器。第一传感器可以包括用于恢复角膜形状并进行眼球跟踪的(多个)相机。第二传感器可以包括测量眼球的波前(眼球的光学参数)的波前传感器。第三传感器可以包括可以测量眼球的不同屈光表面之间的距离的OCT系统。OCT可以包括多种模式和分辨率，包括全眼模式、半眼模式(眼球前部)和角膜模式(具有较高分辨率)。

传感器数据可以被提供给处理器(例如，如图4所示)，该处理器收集数据并将数据存储在存储器中。该处理器可以使用融合算法来推导出眼球的3D模型，该模型包括结合了各种传感器数据的参数化模型。3D模型可以用于例如白内障和角膜屈光手术规划。该数据可以用于光线跟踪，以辅助将人工晶状体(IOL)植入物放置在眼球中等。本文描述的中央凹检测和眼球跟踪的创新技术可以与包括用于扫描视网膜的装置的任何诊断装置或仪器一起使用。眼球跟踪可以在角膜曲率计、生物测量计、波前测量装置以及包括数码相机和照明件的其他装置中实现。

在多个不同的实施例中，绝对眼球取向利用了扫描视网膜的装置、比如OCT装置，该装置可以包括生物测量计和(i)提供视网膜扫描和其他诊断模式的其他装置、以及(ii)执行其他输入功能的其他传感器。在多个不同的实施例中，本文披露的系统可以与更多部件、不同的部件和更少诊断装置一起使用。

本领域技术人员将理解本申请的优点。本文披露的系统及方法独立于患者(例如，不依靠患者的合作)来提供关于患者在注视和未注视的时间的信息。眼球跟踪信息被收集并提供给处理器，以实现进一步分析。可以采集其他传感器数据并通过回溯数据来进行验证，以基于眼球跟踪数据来调整已知或投影的取向。例如，可以确定眼球位置并将其提供给视网膜成像系统以用于分析扫描数据。标记出患者是在注视还是未注视的能力对于许多系统操作都很有价值。确定注视程度的能力允许系统适于在各种实现方式中使用。存储所捕捉的数据以供后续调用并分析将允许例如通过使用复杂的神经网络或其他分析过程进行进一步的离线计算和更复杂的分析和选择。

在一个实施例中，处理器被配置为具有参考点和阈值，以用于过滤掉不可靠的传感器数据。例如，系统可以被配置为使得小的凝视变化(例如，0.03度的偏离)可能没问题，但是较大的凝视变化将指示应被过滤掉的不可靠数据。在一些实施例中，在注视期间采集的传感器数据可以一起被平均或以其他方式组合。在其他实施例中，可以通过在采集期间使用计算出的偏离量和针对参考点的已知眼球位置和取向来计算眼球位置，来分析采集的数据以及眼球位置和取向信息。在一些实施例中，可以使用融合引擎来处理各种传感器和数据输入和计算以生成期望的输出数据。

在多个不同的实施例中，可以使用一个或多个神经网络来进行图像和数据分析，以确定眼球是否在注视目标物体。图3是根据一些实施例的示例性多层神经网络300的图。神经网络300可以表示用于实施本文描述的逻辑、图像分析、和/或眼球注视确定逻辑中的至少一些的神经网络。神经网络300使用输入层320来处理输入数据310。在一些示例中，输入数据310可以对应于图像捕捉数据和捕捉到的视网膜图像数据，如本文之前描述的。在一些实施例中，输入数据对应于用于训练神经网络300来作出注视、取向和/或其他确定的输入训练数据。

输入层320包括用于通过缩放、范围限制、和/或类似方式来调节输入数据310的多个神经元。输入层320中的每个神经元生成的输出被馈送至隐藏层331的输入端。隐藏层331包括处理来自输入层320的输出的多个神经元。在一些示例中，隐藏层331中的每个神经元生成输出，所述输出接着统一被传播经过一个或多个额外的隐藏层(以隐藏层339结束)，如图所示。隐藏层339包括处理来自前一个隐藏层的输出的多个神经元。隐藏层339的输出被馈送至输出层340。输出层340包括用于通过缩放、范围限制、和/或类似方式来调节来自隐藏层339的输出的一个或多个神经元。应理解的是，神经网络300的架构仅是代表性的，并且其他架构是可能的，包括具有仅一个隐藏层的神经网络、没有输入层和/或输出层的神经网络、具有递归层的神经网络等。

在一些示例中，输入层320、隐藏层331-339、和/或输出层340中的每一者包括一个或多个神经元。在一些示例中，输入层320、隐藏层331-339、和/或输出层340中的每一者可以包括相同数量或不同数量的神经元。在一些示例中，每个神经元将其输入x进行组合(例如，使用可训练加权矩阵W获得的加权和)、加上可选的可训练偏置量b、并且应用激活函数f来生成输出a，如等式a＝f(Wx+b)所示。在一些示例中，激活函数f可以是线性激活函数、具有上限和/或下限的激活函数、对数s形(log-sigmoid)函数、双曲正切函数、修正线性单元函数等。在一些示例中，每个神经元可以具有相同或不同的激活函数。

在一些示例中，可以使用监督学习来训练神经网络300，其中训练数据的组合包括输入数据和标准真值(ground truth)(例如，预期的)输出数据的组合。可以将所生成的输出数据350与标准真值输出数据之间的差异反馈到神经网络300中，以对各个可训练的权重和偏置量进行校正。在一些示例中，可以通过使用随机梯度下降算法的反向传播技术等来反馈这些差异。在一些示例中，可以将一大组的训练数据组合多次呈现给神经网络300，直到总损失函数(例如，基于每个训练组合的差异的均方误差)收敛到可接受的水平为止。经训练的神经网络可以存储在眼科装置(例如，图1的系统100)中并在其中实施以对捕捉的图像进行实时分类(例如，注视或未注视)、和/或存储在离线系统中并在其中实施以分析所捕捉的数据。

图4展示了示例性计算系统，该计算系统可以包括系统100的一个或多个部件和/或装置，包括眼球跟踪模块110和视网膜成像系统130的实现方式。计算系统400可以包括彼此电通信的一个或多个装置，包括计算装置410，该计算装置包括处理器412、存储器414、多个通信部件422、以及用户接口434。

处理器412可以经由总线或其他硬件布置(例如，一个或多个芯片组)联接至各个系统部件。存储器414可以包括只读存储器(ROM)、随机存取存储器(RAM)和/或其他类型的存储器(例如，PROM、EPROM、FLASH-EPROM和/或任何其他存储芯片或盒)。存储器414可以进一步包括与处理器412直接连接、与之紧邻、或集成为其一部分的高速存储器的缓存。计算装置410可以通过缓存来访问存储在ROM、RAM、和/或一个或多个存储装置424中的数据以供处理器412进行高速访问。

在一些示例中，存储器414和/或存储装置424可以存储一个或多个软件模块(例如，软件模块416、418和/或420)，其可以控制和/或被配置用于控制处理器412执行各种动作。虽然计算装置410被示出为具有仅一个处理器412，但是应理解的是，处理器412可以代表一个或多个中央处理器(CPU)、多核处理器、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、图形处理单元(GPU)、张量处理单元(TPU)等。在一些示例中，计算装置410可以被实施为独立式子系统、和/或实施为添加至计算装置的板、或实施为虚拟机。

为了使得使用者能够与系统400交互，计算装置410包括一个或多个通信部件422和/或促进用户输入/输出(I/O)的一个或多个用户接口装置434。在一些示例中，该一个或多个通信部件422可以包括一个或多个网络接口、网络接口卡等，以根据一个或多个网络和/或通信总线标准来提供通信。在一些示例中，该一个或多个通信部件422可以包括经由网络480(比如局域网、无线网络、因特网或其他网络)与计算装置410通信的接口。在一些示例中，该一个或多用户接口装置434可以包括一个或多个用户接口装置(比如，键盘、定点/选择装置(例如，鼠标、触摸板、滚轮、轨迹球、触摸屏)、音频装置(例如，麦克风和/或扬声器)、传感器、致动器、显示装置、和/或其他输入/输出装置。

根据一些实施例，用户接口装置434可以提供图形用户接口(GUI)，其适合于辅助使用者(例如，外科医生和/或其他医务人员)执行本文披露的过程。GUI可以包括关于要执行的下一动作的指令、带注释和/或无注释的解剖学结构图(比如眼球的术前和/或术后图像)、输入请求等。在一些示例中，GUI可以显示解剖学结构的真彩色图像和/或假彩色图像，等。

存储装置424可以包括比如由硬盘、光学介质、固态驱动器等提供的非暂态非易失性存储装置。在一些示例中，存储装置424可以与计算装置410(例如，本地存储装置)位于同一地点、和/或远离系统400(例如，云存储装置)。

计算装置410可以联接至一个或多个诊断装置、成像装置、手术装置和/或供医务人员使用的其他装置。在所展示的实施例中，系统400包括眼科装置450、眼球跟踪器460以及视网膜成像器470，它们可以实施在一个或多个计算系统(包括计算装置410)中。眼科装置450包括用户接口454，用于控制在患者的眼球452上进行程序的操作者和/或向其提供反馈。眼科装置450可以包括用于对患者的眼球424进行成像、测量、诊断、跟踪和/或手术矫正和/或修复的装置。

眼科装置450可通信地联接至眼球跟踪器460(比如图1的眼球跟踪器110)，该眼球跟踪器从眼科装置接收眼球成像数据、并且在程序期间提供眼球452的位置和对准的状态信息。视网膜成像器470可通信地联接至眼科装置450和眼球跟踪器460二者，并且被配用于捕捉眼球452的视网膜图像以用于眼科程序中以及用于检测中央凹从而在注视跟踪中使用。

在多个不同的实施例中，存储器414包括视网膜成像分析模块416、眼球跟踪器模块418以及眼科程序模块420。视网膜图像分析模块416包括用于指示处理器412使用视网膜成像器470捕捉视网膜图像和/或分析所捕捉的视网膜图像的程序指令。视网膜图像分析模块416可以包括神经网络，该神经网络被训练来接收所捕捉的一个或多个视网膜图像(例如，捕捉的图像、实时视网膜图像流、存储的视网膜图像等)、提取相关的图像特征、并检测中央凹的存在与否(例如，输出指示中央凹检测的分类、输出恰当眼球位置和/或对准的概率等)。

眼球跟踪器模块418包括用于指示处理器412使用眼球跟踪器460捕捉眼球452的图像和/或分析所捕捉的图像的程序指令。眼球跟踪器模块418可以包括神经网络，该神经网络被训练来接收所捕捉的一个或多个图像(例如，捕捉的图像、来自眼球跟踪器460的眼球图像的实时流、存储的眼球图像等)、提取相关的图像特征、并输出眼球跟踪信息(例如，输出眼球对准的指示、输出恰当眼球位置和/或对准的概率、输出眼球与恰当位置和对准的偏离量等)。

在多个不同的实施例中，眼球跟踪器418被配置为基于从视网膜图像分析模块416接收的对准数据来确定参考眼球位置。例如，眼球跟踪器418可以从视网膜图像分析模块416接收中央凹检测信息，该信息用于识别来自眼球跟踪器460的、显示眼球452恰当对准的对应图像。眼球跟踪器模块418进一步被配置用于分析由眼球跟踪器460捕捉的图像，并参照参考图像来输出眼球跟踪信息。

眼科程序420包括用于指示处理器412进行眼科程序的程序指令，并且可以包括在程序期间通过用户接口454进行用户输入和输出、以及对捕捉数据进行分析。在一些实施例中，眼科程序420包括用于分析在程序期间捕捉的数据的经训练的神经网络。眼科程序420接收来自眼球跟踪器模块418的眼球跟踪信息，该信息可以包括可接受偏离量阈值内的对准状态、偏离量数据和/或其他信息。在一些实施例中，眼科程序420被配置为在患者的眼球452处于可接受的对准位置时工作、并且在患者的眼球未对准时通过用户接口454向眼科装置450的操作者提供指示(例如，蜂鸣声等声音、闪光灯等视觉指示等)。

系统400可以存储所捕捉的视网膜数据、眼球跟踪数据和眼科程序数据以便后续处理，包括在线处理(例如，在随后的程序期间)和离线处理。存储装置424可以存储针对患者捕捉的视网膜图像数据426，其可以包括患者标识符、捕捉的图像流、时间信息(例如，时间戳、顺序索引等)和/或关于是否在图像中检测到中央凹的信息。存储装置424还可以存储眼球跟踪器数据428，其可以包括患者标识符、捕捉的图像流、时间信息(例如，时间戳、顺序索引等)、捕捉的图像是否与检测到中央凹的时间段相对应、和/或提供了眼球在注视期间的参考位置的注视信息。存储装置424还可以存储在程序期间针对患者捕捉的程序数据430，包括患者标识符、在程序期间捕捉的数据流(例如，图像、数据读数、数据计算结果等)、时间信息(例如，时间戳、顺序索引等)、针对在程序中某个时间点时的眼球位置所计算的偏离量信息、和/或眼球在程序期间的某个时刻是否在注视。

计算装置410可以与向该计算装置提供一种或多种应用服务的一个或多个网络服务器482通信。在一些实施例中，网络服务器482包括神经网络训练模块484，用于使用训练数据集486来训练其中一个或多个神经网络，该训练数据集可以包括被标记图像。例如，视网膜图像分析模块416可以包括使用一组被标记来识别中央凹的存在和/或不存在的视网膜图像所训练过的神经网络。眼球跟踪器模块418可以包括使用捕捉的一组被标记来识别中央凹的存在和/或不存在的眼球图像所训练过的神经网络。眼球跟踪器模块418可以进一步包括使用捕捉的一组眼球图像和参考数据所训练过的神经网络，这些眼球图像和参考数据被标记来识别图像相对于参考数据的偏离量。眼科程序420可以包括使用代表在程序期间捕捉的数据的一组数据所训练过的神经网络，该数据包括来自眼球跟踪器模块418的对准和/或偏离量数据。

参见图5，现在将描述用于操作图1的系统100的方法500的实施例。在步骤510中，使患者位于眼科系统处并且引导其聚焦在目标物体上而将患者的视线与眼科装置的对准轴线对准。在步骤512中，分析视网膜以检测中央凹。在一个实施例中，该眼科系统包括视网膜成像系统(比如图1的视网膜成像系统130)，该视网膜成像系统被配置用于扫描视网膜、采集扫描的视网膜数据、并分析采集的数据以检测中央凹。在一些实施例中，如果眼球在注视，则在OCT图像的中心可看到中央凹。在步骤514中，确定与检测到的中央凹相关联的视网膜图像数据的时间特性。在多个不同的实施例中，时间特性可以包括时间戳、顺序图像索引、或允许视网膜成像数据与系统的其他部件同步的其他指标。

同时，眼球跟踪系统在步骤520中捕捉眼球的图像流，并且在步骤522中使用捕捉到的图像数据来跟踪眼球运动。在一些实施例中，当在步骤512和514中检测视网膜时，眼球跟踪系统跟踪眼球运动并确定注视位置并针对给定程序应用可接受的偏离量。在步骤530中，识别并分析与该时间特性匹配的一个或多个所捕捉图像，以确定眼球在注视目标物体时的位置和取向。在步骤540中，进行系统诊断，这可以包括眼球测量和其他采集的数据。在一些实施例中，由视网膜成像系统来进行对视网膜的分析(步骤512)和对与检测到的中央凹相关联的时间特性的确定(步骤514)，视网膜成像系统在步骤540的眼球诊断期间禁用。因此，在诊断程序期间视网膜成像系统不用于跟踪眼球位置。

在步骤540的测量期间，眼球跟踪系统在步骤550中跟踪眼球的位置和取向以确定眼球在测量期间是否被恰当定位并对准。在一些实施例中，眼球跟踪系统聚焦在角膜的前侧或室内侧。眼球跟踪系统可以在诊断期间分析所捕捉的眼球图像(步骤540)并且基于所捕捉的图像来确定当前位置和旋转。将当前位置和旋转与注视位置和旋转进行比较以确定偏离量。如果偏离量低于误差阈值，则确定眼球处于适合于测量的恰当位置和对准。如果偏离量高于误差阈值，则可以告知诊断过程和/或系统操作者：眼球未对准，从而允许操作者暂停诊断程序并指示患者重新定位眼球、允许确定相关联的测量数据是有效/无效的、或允许采取其他动作。在一些实施例中，在眼球诊断程序(步骤540)期间采集的数据被存储在存储装置560中，并且在眼球跟踪程序(步骤550)期间采集的数据被存储在存储装置570中，用于后续处理和分析。在一个实施例中，除了中央凹信息之外，还跟踪患者的数据，并且可以在可用的情况下使用中央凹信息来验证该患者数据。以此方式，可以确定值的范围和平均注视位置。

视网膜成像信息和/或中央凹检测信息可能并不总是可用于眼球跟踪。例如，一些眼科装置不包括OCT视网膜扫描仪。在一些程序中，在程序开始之前可能没有可靠地检测到中央凹(例如，患者没有恰当注视、没有以令人满意的确定程度在图像中检测到中央凹、操作者或系统误差等等)。在这些实施例中，可以至少部分地基于对由眼球跟踪器捕捉的图像(例如，眼球表面的图像)的分析来确定绝对注视位置。

在多个不同的实施例中，如下进行注视分析：检测由相机捕捉的图像流中的眼球位置并分析结果以估计绝对注视位置。该分析可以包括使用从这些捕捉的图像中确定的眼球位置的直方图进行的统计分析。如果根据分析，直方图显示出明显的最大值，则该方法可以估计绝对注视位置。如果直方图没有显示出明显的最大值，则该方法可以指示没有检测到注视。在一些实施例中，对捕捉的图像的分析可以包括在患者的眼球与在已知位置的其他眼球之间进行比较(例如，使用通过一组被标记的训练图像训练过的神经网络)、患者的历史注视信息、图像分析(包括容差/阈值)、和/或对可用信息的其他分析。在一些实施例中，该方法可以依靠操作者和患者来使患者的眼球恰当地注视。在一些实施例中，该方法可以解决操作者和/或患者误差(例如，如果患者有意注视错误的斑点，或者操作者没有恰当地指示和/或监视患者)导致图像没有反映注视的情况。

现在将参考图6至图9来描述用于眼球跟踪的系统和方法的实施例，其中在程序之前不可获得视网膜OCT扫描和/或没有可靠地检测到中央凹。如先前所讨论的，使用眼科装置对眼球进行准确测量通常始于将患者的视线(患者的视轴)对准眼科装置的某个光轴。在此背景下，视线可以是患者看着事物时所沿着的轴线。在患者没有恰当注视期间，所得的诊断数据和/或该眼科程序的其他结果可能不可靠。本文披露了使眼科装置能够通过对由眼球跟踪器模块(例如，图1的眼球跟踪器110和/或另一其他图像捕捉装置)捕捉的图像的分析来估计绝对注视位置的系统及方法。

眼科装置可以使用所估计的眼球注视信息来向装置操作者提供关于患者在程序(例如，测量程序)期间是否在注视(或未恰当注视)诊断装置的某个光轴的反馈。眼科装置可以在程序期间使用所估计的眼球注视信息来识别患者在恰当注视时的时间段。该系统还可以使用所估计的眼球注视信息、至少部分地基于在数据采集期间确定患者是否在注视，来确定在程序期间采集的数据是可靠的和/或不可靠的数据。

参见图6，现在将描述用于估计绝对眼球注视的方法600的实施例。方法600是使用计算装置和成像系统来进行的，该成像系统可以包括用于对患者眼球的表面进行成像的相机和照明系统(例如，图1的相机112和照明部件114)。该方法利用图像中眼球的可检测特征(例如瞳孔、角膜缘、虹膜特征等)的位置和照明系统在角膜处的反射的位置来确定眼球的位置和取向。在程序期间、或期望患者恰当地定位并且参照眼科装置的光轴进行注视的其他时间期间，确定眼球的位置。操作者可以通过提供反馈(例如，通过按压一个或多个按钮)来开始该过程和/或操作者可以开始该个序列，接着由患者来跟随。可选地，操作者可以提供关于患者遵照该程序的确认。

方法600展示了由可以包括视网膜OCT成像装置的眼科装置的计算装置实施的实施例。为了确定绝对注视位置，计算系统确定中央凹检测信息是否可获得(步骤602)。例如，如果眼科装置包括视网膜成像装置，则中央凹检测信息可以是可获得的，该视网膜成像装置在患者恰当注视时扫描患者的眼球。如果中央凹检测信息可获得，则该方法进行到步骤604，此时计算系统识别与检测到的中央凹数据相对应的眼球跟踪图像(例如，如上文参见图1至图5所描述的)。在步骤606中，使用这些对应的图像来计算绝对注视参数。然后可以在程序期间使用眼球跟踪图像和注视参数来跟踪患者的眼球。

回到步骤602，如果中央凹检测不可获得，则该方法使用捕捉的眼球图像(例如，眼球表面的图像)来估计绝对注视参数。在步骤620中，计算装置接收来自相机的所捕捉图像流并且确定在多个图像中的每个图像中眼球位置和取向。计算装置可以处理每个接收到的图像或所接收图像的子集(例如，根据处理的约束条件)。当分析所捕捉的数据时，可以在程序之前/期间和/或程序之后接收图像。

在针对一系列所捕捉图像确定了眼球的位置和取向之后，在步骤630中生成所确定的位置和取向的直方图。在一些实施例中，位置和取向信息包括每个图像中瞳孔中心的像素位置，将其用于构建(x，y)坐标的二维直方图。位置和取向信息可以包括从每个图像中确定的眼球的绝对位置和取向，将其用于构建二维直方图。在本方法中，还可以使用位置和取向数据的其他表示(例如，热图)。在一些实施例中，可以使用操作者反馈来指示其中已经让患者注视的图像、和/或指示患者是否尚未注视，并且可以将相应的图像添加到分析中或从分析中丢弃。可以进行以下程序：其中系统的操作者在测量序列期间指示患者注视物体。

参见图7，展示了热图700，示出了患者所看着的注视点的示例性分布。该图可以是彩色编码的、三维的、或以其他方式包括用于跟踪患者注视某些斑点的频率的标志。可以使用其他指示符(例如，接近背景颜色的颜色)来指示短时间地注视该斑点。在所展示的实施例中，热图的区域710示出了最常见的坐标、并且可以指示患者眼球在恰当注视目标物体时的位置和取向。虚线圆圈720指示的位置和取向在取决于程序或分析所需的精度水平将选择用于注视确定的阈值偏离量以内。

图8展示了绘制从捕捉的图像中检测到的眼球坐标的示例性直方图800。此分布810的最大值可以用于估计在注视的眼球的位置和取向(例如，通过识别患者最常注视时的位置和取向)。此估计出的位置和取向可以用作进一步眼球注视确定的参考位置。例如，对在测量序列中获取的医学数据的分析可以仅使用当眼球的取向和位置在相对于参考位置(例如，其至少部分基于直方图的最大值)的可接受偏离量以内(例如，如圆圈820所示)时采集的数据点。

如先前所讨论的，直方图800可以通过绘制从捕捉的图像中确定的注视点来构建。例如，直方图可以将眼球位置跟踪为检测到的瞳孔或以其他方式识别的眼球中心的一系列像素位置(例如，根据反射或其他测量所确定的)。随着图像序列被接收并分析，可以显现出指示患者最常注视时的位置的图案。在一些实施例中，直方图中的值可以包括相邻像素的平均值和/或纳入其他的平滑化。

返回参见图6的方法600，在步骤640中，分析直方图以检测注视位置。如先前所讨论的，注视位置可以与直方图的满足特定分析指标的最大值有关。例如，可以基于各种各样的因素来选择最大值，包括最大值超过平均值的程度、针对给定数量的图像超过阈值的程度等。在一些实施例中，在程序期间眼球跟踪继续进行，并且可以随着更多图像被分析而实时更新最大值/注视位置。

参见步骤650，如果没有找到可接受的最大值(或满足其他注视点指标)，则通过此过程无法获得眼球注视信息。在一些实施例中，在程序期间眼球跟踪继续进行，并且可以随着更多图像被分析而实时识别和/或更新最大值/注视位置。

在步骤660中，基于检测到的注视信息来确定估计的注视参数(例如，程序可接受的注视位置和偏离半径)。然后可以在步骤608中在程序期间使用眼球跟踪图像和估计的注视参数来跟踪患者的眼球。

参见图9，现在将讨论用于实施图6至图8的方法的示例性系统900。计算装置902(例如图4的计算装置410)可通信地联接至眼科设备960、并且被配置用于进行与眼球跟踪器930和眼科程序940相关联的过程。计算装置902可以被配置为使用眼科设备960的视网膜成像装置(如果可获得)来进行视网膜图像分析910、并存储视网膜图像数据912。计算装置902进一步包括注视分析模块920，用于进行图6所展示的方法的实施。在一个实施例中，注视分析模块920接收并分析由眼球跟踪器930捕捉并存储(例如，在存储装置932中)的眼球图像流、构建并分析注视位置的直方图、并且确定参考位置和相关联的半径。注视数据(包括直方图数据)可以保存在存储装置922(例如，存储器或存储装置)中。

在一些实施例中，计算装置902包括被配置用于执行被存储在存储器中的程序指令的处理器，该处理器可以包括注视分析模块920、可选的视网膜图像分析模块910、眼球跟踪器930、以及与眼科程序相关联的过程940。

注视分析模块920可以被配置用于使用由眼球跟踪器930捕捉的图像来分析患者眼球的相对凝视。注视分析模块920可以构建跟踪凝视取向直方图(例如，眼球的上下运动和偏转、相对向上/向下和向左/向右偏离、曲率/旋转等)并分析直方图的峰值(例如，每个位置时的数据值数量)以获得绝对参考值的估计值。在一些实施例中，注视分析模块920估计眼球的光轴和与眼球跟踪器相机的交点，以跟踪凝视取向。

眼球跟踪器模块930可以被配置用于捕捉、存储并处理患者眼球的图像。眼球跟踪器模块930可以被配置用于根据捕捉的图像来确定患者眼球的位置和取向，以便通过注视分析模块920来进一步分析。在一些实施例中，所分析的每个图像可以包括表示眼球位置和取向(例如，围绕x轴和y轴的旋转)的x，y位置。眼球跟踪器可以结合绝对注视位置(例如，通过视网膜图像分析910确定的)或估计的绝对注视位置(例如，通过注视分析模块920确定的)来使用关于从一个图像到另一图像的相对取向变化的信息。在一些实施例中，注视分析模块920基于以下假设进行操作：患者大部分时间都在尝试注视，并且可以通过构建x和y旋转的直方图并确定最主要的凝视取向来确定估计的绝对注视位置。在多个不同的实施例中，直方图可以由像素坐标、围绕x和/或y的旋转、偏离值或其他数据构建。每个图像可以提供表示计算出的眼球凝视取向的坐标对，该坐标对被添加到直方图中。

在一些实施例中，注视分析模块920被配置用于通过检测一个不同的峰(例如，被多个较小峰环绕的主峰)并确定已经检测到注视位置的置信水平来分析直方图。如果没有检测到明显的峰值，则置信水平可能低。可以使用检测到的峰值周围的半径(例如，人类可以注视正/负0.5度)。峰值比平均值的阈值和/或半径的大小可以取决于系统和程序的要求而改变。

计算装置902可以包括一个或多个神经网络，该神经网络被训练来作出本文披露的一种或多种确定，包括分析直方图数据以确定是否可以确定眼球注视位置。在一些实施例中，注视分析可以进一步包括针对该患者和/或其他患者将已知眼球跟踪图像和/或眼球注视参数进行比较。例如，可以将一个或多个图像输入到使用历史数据训练过的神经网络中，以确定图像中的眼球是否正在注视。

在多个不同的实施例中，在数据采集期间，甚至在视网膜成像数据不可获得(例如，不是系统的一部分和/或在程序之前中央凹检测不可获得)时，也可以向操作者提供关于患者是否在注视此轴线的反馈。本文披露的系统及方法提供了适合与使用如本文描述的图像捕捉装置和照明系统的眼科诊断装置一起使用的具有成本效益的解决方案。

本领域技术人员应理解的是，所展示实施例的方法提供了用于在操作期间独立地验证患者的眼球是否在恰当地注视目标物体的改进的技术。通过在特定时间点检测中央凹，系统可以确定患者的视线/视轴位于何处。此信息允许系统确定患者在测量序列或其他诊断或校正程序期间当前是否在注视。此方法将对视网膜进行成像的系统和使用表面信息来跟踪眼球的系统相结合。根据视网膜图像中的中央凹位置，系统可以确定眼球跟踪位置，并确定眼球是向左还是向右/向上还是向下运动。根据本披露，系统可以跟踪用户凝视、计算偏离量、确定当前眼球位置和取向、作出关于眼球注视的确定、确定数据有效性、以及提供其他特征。

根据上述实施例的方法可以实施为存储在非暂态有形机器可读介质上的可执行指令。这些可执行指令在被一个或多个处理器(例如，处理器412)运行时可以致使该一个或多个处理器执行方法500、600的过程、或本文披露的其他过程中的一个或多个过程。实施根据这些披露内容的方法的装置可以包括硬件、固件和/或软件，并且可以采用多种形状因子中的任一种。这样的形状因子的典型示例包括膝上型计算机、智能电话、小型个人计算机、个人数字助理等。本文描述的功能的一部分也可以体现在外围设备和/或附加卡中。通过进一步示例，此类功能还可以在单一装置中的不同芯片或在其中执行的不同过程之间、在电路板上实现。

虽然已经示出和描述了展示性实施例，但是在前述披露中设想了各种各样的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不相应地使用其他特征。本领域普通技术人员应认识到许多变型、替代方案和修改。因此，本发明的范围应仅由以下权利要求来限制，并且恰当的是，应以与本文披露的实施例的范围一致的方式广义地解释权利要求。

Claims (20)

1.一种系统，包括：

眼球跟踪器，所述眼球跟踪器被配置用于捕捉眼球的第一多个图像；以及

控制处理器，所述控制处理器被配置用于：

检测所述第一多个图像中的每个图像中的眼球位置和取向；

确定相对于所述眼球跟踪器的光轴的眼球注视位置和取向；

至少部分地基于所确定的眼球注视位置和取向来估计眼球注视参数；以及

通过分析所述第一多个图像中的一个或多个图像以确定相对于眼球注视参数的眼球位置和取向，来跟踪眼球位置和取向。

2.如权利要求1所述的系统，其中，所述眼球注视参数包括所述眼球在注视时的参考位置和取向。

3.如权利要求1所述的系统，其中，所述控制处理器进一步被配置用于通过构建并分析检测到的眼球位置和取向的直方图来检测相对于所述眼球跟踪器的光轴的注视位置。

4.如权利要求3所述的系统，其中，分析所述直方图进一步包括确定相对最大值并且确定所述相对最大值的坐标是否包含注视位置和取向。

5.如权利要求4所述的系统，其中，确定所述相对最大值的坐标是否包含注视位置和取向进一步包括将所述相对最大值与阈值和/或所述直方图的平均坐标值进行比较。

6.如权利要求1所述的系统，进一步包括：

视网膜成像系统，所述视网膜成像系统包括光学相干断层扫描(OCT)扫描仪和/或眼底相机，其被配置用于进行视网膜扫描。

7.如权利要求6所述的系统，其中，所述视网膜成像系统被配置用于捕捉眼球的第二多个图像；

检测中央凹是否存在于所述第二多个图像中的一个或多个图像中；

从所述第二多个图像中识别具有所检测到的中央凹的第一图像；

从所述第一多个图像中确定与所述第一图像在时间上接近的第二图像；以及

分析所述第二图像来确定眼球注视参数。

8.如权利要求1所述的系统，其中，所述控制处理器被配置用于跟踪所述眼球位置和取向并且计算与所述眼球注视参数的偏离量并确定所述偏离量是否小于阈值；

其中，当所述偏离量小于所述阈值时，确定所述眼球在注视，并且所述控制处理器生成注视指示；以及

其中，当偏离量大于阈值时，确定眼球未对准，并且该控制处理器生成未注视指示。

9.如权利要求1所述的系统，其中，所述控制处理器进一步被配置用于进行眼球诊断程序并且在所述眼球诊断程序期间使用所述眼球跟踪器来跟踪眼球位置。

10.如权利要求1所述的系统，进一步包括诊断装置，所述诊断装置被配置用于在使用图像捕捉装置来跟踪所述眼球的位置和取向时进行眼球诊断程序；

其中，所述诊断装置进一步被配置为在所述眼球诊断程序期间至少部分地基于表示注视和眼球位置的数据来接收所述表示注视和眼球位置的数据。

11.一种方法，所述方法包括：

捕捉眼球的第一多个图像；

检测所述第一多个图像中的每个图像中的眼球位置和取向；

确定相对于所述眼球跟踪器的光轴的眼球注视位置和取向；

至少部分地基于所确定的眼球注视位置和取向来估计眼球注视参数；以及

通过分析该第一多个图像中的一个或多个图像以确定相对于眼球注视参数的眼球位置和取向，来跟踪眼球位置和取向。

12.如权利要求11所述的方法，进一步包括对神经网络进行训练以接收所述第一多个图像并且输出对眼球位置的确定。

13.如权利要求11所述的方法，其中所述眼球注视参数包括所述眼球在注视时的参考位置和取向。

14.如权利要求11所述的方法，进一步包括通过构建并分析检测到的眼球位置和取向的直方图来检测相对于所述眼球跟踪器的光轴的注视位置。

15.如权利要求14所述的方法，其中分析所述直方图进一步包括确定相对最大值。

16.如权利要求11所述的方法，进一步包括：

使用光学相干断层扫描(OCT)扫描仪来进行所述眼球的视网膜成像扫描。

17.如权利要求16所述的方法，进一步包括：

通过所述视网膜成像扫描来捕捉眼球的第二多个图像；

检测中央凹是否存在于所述第二多个图像中的一个或多个图像中；

从所述第二多个图像中识别具有所检测到的中央凹的第一图像；

从所述第一多个图像中确定与所述第一图像在时间上接近的第二图像；以及

分析所述第二图像来确定眼球注视参数。

18.如权利要求11所述的方法，进一步包括跟踪所述眼球位置和取向并且计算与所述眼球注视参数的偏离量并确定所述偏离量是否小于阈值；

其中，当所述偏离量小于所述阈值时，确定所述眼球在注视，并且所述控制处理器生成注视指示；以及

其中，当偏离量大于阈值时，确定眼球未对准，并且该控制处理器生成未注视指示。

19.如权利要求11所述的方法，进一步包括进行眼球诊断程序，并且在所述眼球诊断程序期间使用眼球跟踪器来跟踪眼球位置。

20.如权利要求11所述的方法，进一步包括在使用图像捕捉装置来跟踪所述眼球的位置和取向时进行眼球诊断程序；以及

至少部分地基于表示眼球注视参数的数据和所跟踪到的眼球位置来修改所述眼球诊断程序。

Images