CN117689691A - 眼球跟踪方法和跟踪系统 - Google Patents

Abstract

本申请涉及一种眼球跟踪方法和跟踪系统。所述方法包括：基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果，并根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息，以根据待跟踪眼球的位移信息，对待跟踪眼球进行跟踪。其中，参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像，第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域。采用本方法能够提高对待跟踪眼球进行跟踪的准确性。

Description

眼球跟踪方法和跟踪系统

技术领域

本申请涉及图像技术领域，特别是涉及一种眼球跟踪方法和跟踪系统。

背景技术

以光学相干断层扫描仪(Optical coherence tomography，OCT)对待跟踪眼球进行跟踪为例。在使用OCT采集患者的眼部数据时，会对待跟踪眼球进行跟踪，以确定待跟踪眼球移动后的目标位置，并根据目标位置更新OCT的扫描位置，进而完成对患者的眼部数据的采集。

相关技术中会根据待跟踪眼球的角膜上的反光点对待跟踪眼球进行跟踪，然而，由于角膜上的反光点在角膜上的相对位置会发生变化，使得对待跟踪眼球进行跟踪的准确性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高对待跟踪眼球进行跟踪的准确性的眼球跟踪方法和跟踪系统。

第一方面，本申请提供了一种眼球跟踪方法，包括：

基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果；参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像；

根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息；

根据待跟踪眼球的位移信息，对待跟踪眼球进行跟踪。

在其中一个实施例中，根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息，包括：

根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息；交界特征信息根据第一分割结果中瞳孔区域与虹膜区域的交界确定。

在其中一个实施例中，第一分割结果和第二分割结果均还包含眼白区域；根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息，包括：

根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息，交界特征信息根据第一分割结果中虹膜区域与眼白区域的交界确定。

在其中一个实施例中，根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息，包括：

根据第一分割结果中的交界特征信息，从第一分割结果中确定参考模板；

根据参考模板确定待匹配区域；

根据待匹配区域和第二分割结果，将第二分割结果中与参考模板之间的匹配系数最大的待匹配区域作为目标匹配区域；

根据参考模板中的第一预设位置，以及目标匹配区域中与第一预设位置对应的第二预设位置，确定待跟踪眼球的位移信息。

在其中一个实施例中，根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息，包括：

确定第一分割结果中瞳孔区域的第一质心位置；

确定第二分割结果中瞳孔区域的第二质心位置；

根据第一质心位置与第二质心位置，确定待跟踪眼球的位移信息。

在其中一个实施例中，根据待跟踪眼球的位移信息，对待跟踪眼球进行跟踪，包括：

分别对第一分割结果中的第一虹膜区域和第二分割结果中第二虹膜区域进行极坐标转换处理，得到第一虹膜区域对应的第一虹膜极坐标图以及第二虹膜区域对应的第二虹膜极坐标图；

对第一虹膜极坐标图与第二虹膜极坐标图进行模板匹配，得到待跟踪眼球的旋转信息；

根据位移信息和旋转信息对待跟踪眼球进行跟踪。

在其中一个实施例中，待检测图像包括第一眼部图像的分割结果或第二眼部图像的分割结果；该方法还包括：

若待检测图像满足全部的预设条件，则确定待检测图像的质量检测结果为通过；其中，预设条件包括以下中的至少一项：

待检测图像的瞳孔区域占待检测图像的面积的比大于预设占比；

待检测图像中瞳孔区域的近圆指数大于预设指数；

待检测图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值。

在其中一个实施例中，该方法还包括：

若参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，和/或，目标图像对应的运动信息大于第一预设差异，则丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第一扫描位置重新获取待跟踪眼球的扫描数据；运动信息包括位移信息和/或旋转信息；第一扫描位置包括与目标图像的采集时间重叠的扫描位置。

在其中一个实施例中，该方法还包括：

若第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，和/或，第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异，则丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第二扫描位置重新获取待跟踪眼球的扫描数据；第二扫描位置包括与第二图像的采集时间重叠的扫描位置；

第一图像和第二图像为两个不同时间点的目标图像，第一图像的时间点早于第二图像的时间点。

第二方面，本申请还提供了一种眼球跟踪装置，包括：

第一确定模块，用于基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果；参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像；第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域；

第二确定模块，用于根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息；

跟踪模块，用于根据待跟踪眼球的位移信息，对待跟踪眼球进行跟踪。

第三方面，本申请还提供一种跟踪系统，跟踪系统包括视觉传感器、扫描设备以及跟踪装置；视觉传感器包括瞳孔相机；扫描设备包括OCT；

跟踪装置，用于执行上述任一项的眼球跟踪方法。

第四方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。

第五方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。

第六方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

上述眼球跟踪方法和跟踪系统，参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像，进而基于深度学习分割模型确定参考图像的第一分割结果和目标图像的第二分割结果。由于第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域，因此，深度学习分割模型是用于输出至少包含瞳孔和虹膜的像素级的分割模型。进而利用深度学习分割模型，无需根据待跟踪眼球的角膜上的反光点对待跟踪眼球进行跟踪，避免了反光点在角膜上的位置会发生相对变化的情况，根据第一分割结果和第二分割结果，就可以较为准确地确定待跟踪眼球的位移信息，从而提高了对待跟踪眼球进行跟踪的准确性。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中眼球跟踪方法的应用环境图；

图2为本申请实施例中眼球跟踪方法的流程示意图；

图3为本申请实施例提供的一种眼部图像的示意图；

图4为本申请实施例中一种分类图像的示意图；

图5为本申请实施例中一种交界特征信息的示意图；

图6为本申请实施例中一种确定位移信息的流程示意图；

图7为本申请实施例中一种候选匹配区域的大小示意图；

图8为本申请实施例中又一种确定位移信息的流程示意图；

图9为本申请实施例中一种对待跟踪眼球进行跟踪的流程示意图；

图10为本申请实施例中一种确定旋转信息的流程示意图；

图11为本申请实施例中坐标转换的示意图；

图12为本申请实施例中一种确定参考图像的流程示意图；

图13为本申请实施例中一种扫描设备重扫的流程示意图；

图14为本申请实施例中瞳孔比的示意图；

图15为本申请实施例中一种眼球跟踪方法的过程示意图；

图16为本申请实施例中眼球跟踪调整装置的结构框图；

图17为本申请实施例中一种跟踪系统的结构示意图；

图18为本申请实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

目前，在对待跟踪眼球进行跟踪时，一些现有技术会根据待跟踪眼球的角膜上的反光点对待跟踪眼球进行跟踪。另一些现有技术会通过阈值分割的方式分割出待跟踪眼球中的瞳孔，并根据分割出的瞳孔对待跟踪眼球进行跟踪。

然而，一方面，角膜上的反光点在角膜上的相对位置会发生变化，另一方面，瞳孔存在缩放，有疾病的眼睛的瞳孔的缩放不一定是绝对对称的。因此，目前对待跟踪眼球进行跟踪的准确性较低。基于此，有必要针对上述技术问题，提出一种眼球跟踪方法，下述将介绍该眼球跟踪方法。

图1为本申请实施例中眼球跟踪方法的应用环境图，本申请实施例提供的眼球跟踪方法，可以应用于如图1所示的应用环境中。其中，计算机设备102能够分别与视觉传感器101和扫描设备103进行通信。视觉传感器101用于采集待跟踪眼球的眼部图像。进而，计算机设备102能够利用获取视觉传感器101获取的待跟踪眼球的图像确定参考图像和目标图像，并基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果，以根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息。示例性地，计算机设备102可以根据待跟踪眼球的位移信息，控制扫描设备103对待跟踪眼球进行跟踪。

其中，视觉传感器101包括但不限于是瞳孔相机。计算机设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，便携式可穿戴设备可为智能手表、智能手环、头戴设备等，当然，计算机设备102也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。扫描设备103包括但不限于是OCT设备。

在一些实施例中，计算机设备102也可以设置于扫描设备103的内部，计算机设备102包括但不限于是中央处理器(Central Processing Unit，CPU)、括数字信号处理器(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件中的至少一种。

需要说明的是，图1仅示例了一种对待跟踪眼球进行跟踪的应用场景，本实施例提供的眼球跟踪方法还可以应用在其他应用场景中，例如飞秒手术中。

图2为本申请实施例中眼球跟踪方法的流程示意图，在一个示例性的实施例中，如图2所示，提供了一种眼球跟踪方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下S201至S203。

S201，基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果；参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像；第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域。

在本实施例中，视觉传感器能够获取待跟踪眼球的眼部图像。图3为本申请实施例提供的一种眼部图像的示意图。可选的，视觉传感器可以按照一定的拍摄频率，周期性地拍摄待跟踪眼球的眼部图像，并向计算机设备发送眼部图像。进而，计算机设备可以利用视觉传感器获取待跟踪眼球的参考图像和目标图像。

可选的，计算机设备可以按照预设规则从多个眼部图像中确定参考图像。例如，计算机设备可以选择瞳孔中心的位置位于中心的眼部图像作为参考图像，又例如，计算机设备也可以将第一眼球无遮挡的眼部图像作为参考图像。在一些实施例中，计算机设备也可以响应于用户的选择操作，基于用户的选择从多个眼部图像中确定参考图像。

进一步地，确定参考图像之后，计算机设备可以继续利用视觉传感器获取待跟踪眼球的目标图像。示例性地，若计算机设备在时刻1确定给出参考图像，则计算机设备可以将图像传感器在时刻2采集到的待跟踪眼球的眼部图像作为目标图像。

更进一步地，计算机设备就可以基于深度学习分割模型确定参考图像的第一分割结果和目标图像的第二分割结果。可选的，计算机设备可以直接将参考图像输入至深度学习分割模型得到第一分割结果，也可以对参考图像进行预处理之后输入至深度学习分割模型中得到第一分割结果。同样地，计算机设备可以直接将目标图像输入至深度学习分割模型得到第二分割结果，也可以对参考图像进行预处理之后输入至深度学习分割模型中得到第二分割结果。预处理包括但不限于是灰度处理、滤波处理等。

其中，深度学习分割模型可以是基于眼部图像样本以及眼部图像样本中各眼部结构标签训练得到的模型。深度学习分割模型用于分割出参考图像或目标图像中的眼部结构，眼部结构至少包括虹膜和瞳孔。进而，第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域。

在一些实施例中，眼部结构还可以包括眼皮、眼白等生理结构，本实施例并不以此为限。

深度学习分割模型可以是监督学习模型、半监督学习模型、无监督学习模型等。深度学习分割模型可以包括但不限于是卷积神经网络(Convolutional Neural Networks，CNN)模型、循环神经网络(Recurrent Neural Network，RNN)、全卷积神经网络(FullyConvolutional Neural Network，FCN)模型、生成对抗网络(GenerativeAdversarialNetwork，GAN)模型、径向基函数(Radial Basis Function，RBF)模型、深度信念网络(DeepBeliefNetworks，DBN)模型、Elman模型，或其组合模型中的至少一种。示例性地，深度学习分割模型可以是UNet模型。

在一个示例性的实施例中，可选的，第一分割结果的形式可以是概率函数和分类图像中的至少一种；第二分割结果的形式可以是概率函数和分类图像中的至少一种。

其中，以第一分割结果为例，第一分割结果中的概率函数用于指示参考图像各像素点属于各眼部结构的概率。换句话说，将参考图像输入至深度学习分割模型中，深度学习分割模型输出的第一分割结果可以包括两通道的输出图像A和输出图像B。

其中，输出图像A中各像素点的像素值用于表征属于对应像素点属于虹膜的概率值，输出图像B中各像素点的像素值用于表征属于对应像素点属于瞳孔的概率值。针对各输出图像中的同一位置的像素点，概率值之和等于1。第二分割结果同理，此处不再赘述。

上述以两通道的输出图像为例，在一些实施例中，深度学习分割模型输出的第一分割结果可以包括三通道、四通道等多通道的输出图像。示例性地，深度学习分割模型输出的第一分割结果不仅包括上述的输出图像A和输出图像B，还可以包括输出图像C和输出图像D。输出图像C中各像素点的像素值用于表征属于对应像素点属于眼白的概率值，输出图像D中各像素点的像素值用于表征属于对应像素点属于眼皮的概率值。

继续以第一分割结果为例，第一分割结果中的分类图像用于指示参考图像中各像素点属于哪个眼部结构。分类图像可以根据概率函数确定。例如，计算机设备可以根据输出图像A～输出图像B中同一位置的像素点中最大的概率值，确定该像素点所属的眼部结构。

由于第一分割结果包括概率函数和分类图像中的至少一种，第二分割结果包括概率函数和分类图像中的至少一种，因此，提高了第一分割结果和第二分割结果的灵活性。

图4为本申请实施例中一种分类图像的示意图，以参考图像为例，若将参考图像输入至深度学习分割模型，则基于深度学习分割模型确定出的第一分割结果可以如图4所示，也即实现了从参考图像中分割出的眼皮、瞳孔、虹膜和眼白。目标图像同理，此处不再赘述。

S202，根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息。

在本实施例中，计算机设备得到第一分割结果和第二分割结果之后，就可以根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息。其中，位移信息包括待跟踪眼球的位移量和位移方向。在一些实施例中，位移信息也可以是待跟踪眼球在运动后的瞳孔中心的坐标，本实施例不做限制。

可选的，计算机设备可以利用瞳孔区域所在的位置，对第一分割结果和第二分割结果进行模板匹配，确定出待跟踪眼球的位移信息。当然，计算机设备也可以利用虹膜区域所在的位置，对第一分割结果和第二分割结果进行模板匹配，确定出待跟踪眼球的位移信息。其中，第一分割结果和第二分割结果可以使用概率函数，也可以使用分类图像。

S203，根据待跟踪眼球的位移信息，对待跟踪眼球进行跟踪。

其中，眼球跟踪可以应用于扫描成像。进而，计算机设备根据待跟踪眼球的位移信息，控制扫描成像的驱动部件进行对应的补偿，以快速跟踪待跟踪眼球。

以OCT成像为例，初始时刻下OCT在位置1扫描待跟踪眼球，若根据时刻2的目标图像，计算机设备确定出的位移信息指示待跟踪眼球向上移动1厘米，则计算机设备可以向OCT发送该位移信息，以控制OCT由位置1向上移动1厘米后达到位置2，并在位置2扫描待跟踪眼球，得到待跟踪眼球的扫描数据，扫描数据用于得到待跟踪眼球扫描影像。

在一些实施例中，眼球跟踪也可以应用于眼科手术，例如在飞秒手术的场景中。

上述眼球跟踪方法中，参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像，进而基于深度学习分割模型确定参考图像的第一分割结果和目标图像的第二分割结果。由于第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域，因此，深度学习分割模型是用于输出至少包含瞳孔和虹膜的像素级的分割模型。进而利用深度学习分割模型，无需根据待跟踪眼球的角膜上的反光点对待跟踪眼球进行跟踪，避免了反光点在角膜上的位置会发生相对变化的情况，根据第一分割结果和第二分割结果，就可以较为准确地确定待跟踪眼球的位移信息，从而提高了对待跟踪眼球进行跟踪的准确性。

在一个示例性的实施例中，可选的，上述的S202可以通过如下方式实现：

根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息；交界特征信息根据第一分割结果中瞳孔区域与虹膜区域的交界确定。

在本实施例中，交界特征信息用于指示第一分割结果中得到的眼部结构的边界。交界特征信息可以根据眼部结构的边界所在的像素点、曲率等信息确定，本实施例不做限制。

其中，交界特征信息可以根据第一分割结果中瞳孔区域与虹膜区域的交界确定。图5为本申请实施例中一种交界特征信息的示意图。如图5所示，图5中的区域501包括第一分割结果中瞳孔区域与虹膜区域的交界。

进一步地，计算机设备确定第一分割结果中的交界特征信息之后，就可以根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息。

可选的，计算机设备可以通过模板匹配法、特征匹配法、尺度不变特征转换(Scale-invariant feature transform，SIFT)法、快速最近邻搜索算法(Fast Libraryfor Approximate Nearest Neighbors，FLANN)等方式，根据第一分割结果中的交界特征信息以及第二分割结果确定出待跟踪眼球的位移信息，本实施例并不以此为限。

上述实施例中，由于交界特征信息根据第一分割结果中瞳孔区域与虹膜区域的交界确定，因此，利用第一分割结果中的交界特征信息，就可以较为准确地根据第一分割结果中的交界特征信息以及第二分割结果确定位移信息。

在一个示例性的实施例中，可选的，第一分割结果和第二分割结果均还包含眼白区域；上述的S202还可以通过如下方式实现：

根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息，交界特征信息根据第一分割结果中虹膜区域与眼白区域的交界确定。

在本实施例中，如图4所示，第一分割结果和第二分割结果均还包含眼白区域。由于瞳孔在待跟踪眼球的移动过程中会进行缩放，进而会引起瞳孔区域与虹膜区域的交界发生变化，而虹膜区域和眼白区域的交接并不会因为待跟踪眼球的运动而发生变化，因此，本实施例中交界特征信息会根据第一分割结果中虹膜区域与眼白区域的交界确定。如图5所示，图5中的区域502包括第一分割结果中虹膜区域与眼白区域的交界。

进而，计算机设备确定第一分割结果中的交界特征信息之后，就可以根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息。确定位移信息的方式可以参考上述实施例，此处不再赘述。

上述实施例中，由于第一分割结果和第二分割结果均还包含眼白区域，而交界特征信息根据第一分割结果中虹膜区域与眼白区域的交界确定。因此，交接特征信息不会随着待跟踪眼球的运动而变化，精度更高。故而，根据第一分割结果中的交界特征信息以及第二分割结果，就可以更准确地确定出位移信息。

在一些实施例中，如图5所示，交接特征信息还可以既包括瞳孔区域与虹膜区域的交界，也包括根据第一分割结果中虹膜区域与眼白区域的交界。

图6为本申请实施例中一种确定位移信息的流程示意图，在一个示例性的实施例中，如图6所示，上述的“根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息”包括S601至S604。

S601，根据第一分割结果中的交界特征信息，从第一分割结果中确定参考模板。

示例性地，计算机设备可以根据第一分割结果中虹膜区域与眼白区域的交界处的边缘像素点的位置和预设扩展距离，从第一分割结果中确定参考模板。继续以图5为例，计算机设备以参考图像中的虹膜区域与眼白区域的边缘像素点为中心，上下左右各扩展预设扩展距离，得到区域502，并将区域502作为参考模板。

需要说明的是，下述将以一个参考模板为例进行说明，参考模板的也可以是多个，本实施例不做限制。

S602，根据参考模板确定待匹配区域。

在本实施例中，待匹配区域的大小可以根据待跟踪眼球的预设最大位移量和参考模板的尺寸确定。图7为本申请实施例中一种待匹配区域的大小示意图，示例性地，计算机设备可以参考模板的尺寸的基础上，从长度和宽度的四个方向上扩展得到待匹配区域的大小，如图7所示的区域701所示。其中，待跟踪眼球的预设最大位移量可以提前预设。

在一些实施例中，待匹配区域也可以是第二分割结果的全图，本实施例不做限制。

S603，根据待匹配区域和第二分割结果，将第二分割结果中与参考模板之间的匹配系数最大的待匹配区域作为目标匹配区域。

在本实施例中，匹配系数包括但不限于是互相关系数等用于指示参考模板与第二分割结果中待匹配区域之间的匹配情况的参数。可以理解的是，匹配系数越大则说明两个区域之间越匹配。

计算机设备确定待匹配区域之后，可以将待匹配区域在第二分割结果中进行滑动，并在待匹配区域滑动至第二分割结果中的不同位置时，计算待匹配区域与参考模板之间的匹配系数。进一步地，计算机设备就可以将第二分割结果中与参考模板之间的匹配系数最大的待匹配区域作为目标匹配区域。

S604，根据参考模板中的第一预设位置，以及目标匹配区域中与第一预设位置对应的第二预设位置，确定待跟踪眼球的位移信息。

其中，第一预设位置可以是参考模板的中心位置，第二预设位置可以是目标匹配区域的中心位置。

进而，计算机设备确定出参考模板和目标匹配区域之后，就可以根据参考模板中的第一预设位置，以及目标匹配区域中与第一预设位置对应的第二预设位置，确定待跟踪眼球的位移信息。示例性地，计算机设备可以将目标匹配区域中的第二预设位置与参考模板中的第一预设位置作差，以确定待跟踪眼球的位移信息。

上述实施例中，由于能够根据第一分割结果中的交界特征信息，从第一分割结果中确定参考模板，根据参考模板确定待匹配区域，并根据待匹配区域和第二分割结果，将第二分割结果中与参考模板之间的匹配系数最大的待匹配区域作为目标匹配区域，因此，就可以根据参考模板中的第一预设位置，以及目标匹配区域中与第一预设位置对应的第二预设位置，确定出较为准确的待跟踪眼球的位移信息。

图8为本申请实施例中又一种确定位移信息的流程示意图，在一个示例性的实施例中，如图8所示，S202包括S801至S803。

S801，确定第一分割结果中瞳孔区域的第一质心位置。

在本实施例中，第一质心位置用于指示第一分割结果中瞳孔区域所在的质心的位置。可选的，计算机设备可以通过质心法或者椭圆拟合法确定第一质心位置。

在一个实施例中，计算机设备可以根据第一分割结果各像素点的坐标乘以对应的权值确定在第一质心位置。

在第一分割结果为分类图像的情况下，权重非0即1，也就是说，第一分割结果中属于瞳孔区域的像素点的权重均为1，除瞳孔区域之外的区域中各像素点的权重为0。在第一分割结果为概率函数的情况下，权重根据瞳孔对应的输出图像B中各像素点的概率值确定，也就是说，权重在0～1之间。

故而，为了提高第一质心位置的准确性，本实施例中第一分割结果包括概率函数，进而计算机设备就可以确定第一分割结果中瞳孔区域的第一质心位置。

S802，确定第二分割结果中瞳孔区域的第二质心位置。

S802与S801的原理相同，第二质心位置用于指示第二分割结果中瞳孔区域所在的质心的位置。可选的，计算机设备可以通过质心法或者椭圆拟合法确定第一质心位置。

同样地，在一个实施例中，计算机设备可以根据第二分割结果各像素点的坐标乘以对应的权值确定在第二质心位置。进而，为了提高第二质心位置的准确性，本实施例中第二分割结果包括概率函数，进而计算机设备就可以确定第二分割结果中瞳孔区域的第二质心位置。

S803，根据第一质心位置与第二质心位置，确定待跟踪眼球的位移信息。

其中，第一质心位置与第二质心位置考虑到了瞳孔区域的分布情况，相比于计算瞳孔区域的中心位置精度更高。进一步地，确定第一质心位置和第二质心位置之后，计算机设备就可以根据第一质心位置与第二质心位置，确定待跟踪眼球的位移信息。示例性地，计算机设备可以将第二质心位置与第一质心位置作差，以确定待跟踪眼球的位移信息。

上述实施例中，确定第一分割结果中瞳孔区域的第一质心位置，并确定第二分割结果中瞳孔区域的第二质心位置，这样，根据第一质心位置与第二质心位置，就可以高效且准确地确定出待跟踪眼球的位移信息。

图9为本申请实施例中一种对待跟踪眼球进行跟踪的流程示意图，在一个示例性的实施例中，如图9所示，S203包括S901至S902。

S901，根据第一分割结果和第二分割结果，确定待跟踪眼球的旋转信息。

在本实施例中，为了提高跟踪的精度，计算机设备还需要确定待跟踪眼球的旋转信息。可选的，计算机设备可以通过特征匹配法，根据第一分割结果和第二分割结果，确定待跟踪眼球的旋转信息，本实施例并不以此为限。

S902，根据位移信息和旋转信息对待跟踪眼球进行跟踪。

进一步地，根据位移信息和旋转信息，就可以准确地对待跟踪眼球进行跟踪。与S203的原理类似，眼球跟踪可以用于扫描成像。在一些实施例中，眼球跟踪也可以应用于眼科手术，例如在飞秒手术的场景中。

以OCT成像为例，初始时刻下OCT在位置1扫描待跟踪眼球，若根据时刻2目标图像，计算机设备确定出的位移信息指示待跟踪眼球向上移动1厘米，确定出的旋转信息指示待跟踪眼球顺时针旋转10°，则计算机设备可以向OCT发送该位移信息和旋转信息，以控制OCT由位置1向上移动1厘米，并顺时针旋转10后达到位置2，并在位置2扫描待跟踪眼球，得到待跟踪眼球的扫描影像。

上述实施例中，由于还需要根据第一分割结果和第二分割结果，确定待跟踪眼球的旋转信息，并根据位移信息和旋转信息对待跟踪眼球进行跟踪，因此，既考虑了待跟踪眼球的位移运动，又考虑到了待跟踪眼球的旋转运动，进一步提高了对待跟踪眼球进行跟踪的准确性。

图10为本申请实施例中一种确定旋转信息的流程示意图，在一个示例性的实施例中，如图10所示，S902包括S1001至S1002。

S1001，分别对第一分割结果中的第一虹膜区域和第二分割结果中第二虹膜区域进行极坐标转换处理，得到第一虹膜区域对应的第一虹膜极坐标图以及第二虹膜区域对应的第二虹膜极坐标图。

在本实施例中，可以利用虹膜中纹理信息确定旋转信息。其中，第一分割结果和第二分割结果可以为分类图像。这样，就可以将第一分割结果中的虹膜区域作为第一虹膜区域，并将第二分割结果中的虹膜区域作为第二虹膜区域。

进而，计算机设备对第一虹膜区域进行极坐标转换处理，也就是将第一虹膜区域由笛卡尔坐标系转换至极坐标系，从而确定第一虹膜区域对应的第一虹膜极坐标图。

同样地，计算机设备对第二虹膜区域进行极坐标转换处理，就可以确定第二虹膜区域对应的第二虹膜极坐标图。

进一步可选的，为了后续精确地计算出旋转信息，第一虹膜极坐标图与第二虹膜极坐标图的大小需要相同。因此，在一些实施例中，计算机设备可以对第一虹膜极坐标图与第二虹膜极坐标图做线形拉伸，使得第一虹膜极坐标图与第二虹膜极坐标图之间的大小相同。

S1002，对第一虹膜极坐标图与第二虹膜极坐标图进行模板匹配，得到待跟踪眼球的旋转信息。

更进一步地，计算机设备就可以对第一虹膜极坐标图与第二虹膜极坐标图进行模板匹配，得到待跟踪眼球的旋转信息。

图11为本申请实施例中坐标转换的示意图，图11(a)示出了待跟踪眼球在发生旋转运动前的第一虹膜区域，第一虹膜区域中包括纹理1、纹理2、纹理3和纹理4。对图11(a)所示的第一虹膜区域进行极坐标转换处理，则可以得到图11(b)所示的第一虹膜极坐标图。

图11(c)示出了待跟踪眼球在发生旋转运动后的第二虹膜区域，第二虹膜区域中也仍然包括纹理1、纹理2、纹理3和纹理4。对图11(c)所示的第二虹膜区域进行极坐标转换处理，则可以得到图11(d)所示的第二虹膜极坐标图。

其中，第一虹膜极坐标图和第二虹膜极坐标图的大小相同。在第一虹膜极坐标图和第二虹膜极坐标图中，上边界表示虹膜外缘，下边界表示虹膜内缘。

结合图11可知，由于待跟踪眼球发生转动，因此，第一虹膜极坐标图和第二虹膜极坐标图之间纹理的位置也会发生移动。故而，可以利用模板匹配法，确定出待跟踪眼球的旋转信息。示例性地，计算机设备滑动第一虹膜极坐标图，在极坐标的theta方向使用循环边界条件，确定出每次滑动后第一虹膜极坐标图和第二虹膜极坐标图之间的匹配系数，并根据匹配系数最大时的滑动距离确定出待跟踪眼球的旋转信息。其中，theta方向也即图11(b)和图11(d)中的水平向右的方向。

上述实施例中，由于分别对第一分割结果中的第一虹膜区域和第二分割结果中第二虹膜区域进行极坐标转换处理，得到第一虹膜区域对应的第一虹膜极坐标图以及第二虹膜区域对应的第二虹膜极坐标图，因此，对第一虹膜极坐标图与第二虹膜极坐标图进行模板匹配之后，就可以较为准确地得到待跟踪眼球的旋转信息。

图12为本申请实施例中一种确定参考图像的流程示意图，在一个示例性的实施例中，如图12所示，上述的眼球跟踪方法还包括S1201至S1204。

S1201，基于视觉传感器获取待跟踪眼球的多个第一眼部图像。

在本实施例中，视觉传感器可以按照一定的拍摄频率，周期性地获取待跟踪眼球的多个第一眼部图像，并将第一眼部图像发送至计算机设备。示例性地，计算机设备每50毫秒获取到一张第一眼部图像，计算机设备可以获取前1秒内20张第一眼部图像。第一眼部图像可以参考图3。

S1202，根据深度学习分割模型得到各第一眼部图像的分割结果。

其中，计算机设备可以直接将各第一眼部图像输入深度学习分割模型，以得到每个第一眼部图像的分割结果。计算机设备也可以对各第一眼部图像进行预处理之后输入至深度学习分割模型，以得到各第一眼部图像的分割结果。

S1203，确定各第一眼部图像的分割结果对应的质量检测结果。

进一步地，计算机设备会对各第一眼部图像的分割结果进行质量检测，以确定各第一眼部图像的分割结果对应的质量检测结果。质量检测结果可以包括通过或者不通过，质量检测结果也可以用质量分数表示，数字越大质量越好。

其中，第一眼部图像的分割结果对应的质量检测结果可以用于表征第一眼部图像的分割结果中瞳孔和/或虹膜的遮挡情况。例如，计算机设备可以确定在第一眼部图像中虹膜区域的面积占比大于预设值的情况下，确定待跟踪眼球的质量检测结果为通过。

当然，在一些实施例中，质量检测结果也可以用于表征分割结果的信噪比、分辨率等情况。在一些实施例中，计算机设备可以根据各质量检测项的权重确定质量分数。例如，第一眼部图像中被遮挡的部分越少、信噪比越高，则质量分数越高。

S1204，根据各质量检测结果，从各第一眼部图像中确定参考图像。

进一步地，计算机设备就可以根据每个第一眼部图像的质量检测结果，从各第一眼部图像中确定参考图像。

可选的，在质量检测结果包括质量分数的情况下，计算机设备可以将质量分数最高的第一眼部图像作为参考图像。在质量检测结果包括通过或者不通过的情况下，计算机设备可以将第一眼部图像中第一个质量检测结果为通过的图像作为参考图像，本实施例并不以此为限。

上述实施例中，基于视觉传感器获取待跟踪眼球的多个第一眼部图像，并根据深度学习分割模型得到各第一眼部图像的分割结果，由于会确定各第一眼部图像的分割结果对应的质量检测结果，并根据各质量检测结果，从各第一眼部图像中确定参考图像，因此，提高的参考图像的质量，从而提高了后续跟踪的准确性。

图13为本申请实施例中一种扫描设备重扫的流程示意图，在一个示例性的实施例中，如图13所示，在对待跟踪眼球进行跟踪之前，上述的眼球跟踪方法还包括S1301至S1304。

S1301，基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备获取待跟踪眼球的扫描数据。

在本实施例中，确定参考图像之后，计算机设备就可以继续基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备获取待跟踪眼球的扫描数据。其中，控制扫描设备获取待跟踪眼球的扫描数据可以是控制扫描设备在第一位置获取扫描数据。第二眼部图像包括至少一帧眼部图像。第二眼部图像同样可以参考图3。示例性地，计算机设备在时刻1确定参考图像之后，在时刻2继续获取待跟踪眼球的第二眼部图像。

进一步地，在确定参考图像之后，扫描设备就可以开始获取待跟踪眼球的扫描数据。示例性地，扫描设备在时刻1之后可以持续采集待跟踪眼球的扫描数据。

需要说明的是，视觉传感器采集眼部图像以及扫描设备获取扫描数据可以是异步进行的。

S1302，根据深度学习分割模型得到第二眼部图像的分割结果。

同样地，与S1202的原理相同，计算机设备可以直接将各第二眼部图像输入深度学习分割模型，以得到每个第一眼部图像的分割结果。计算机设备也可以对各第二眼部图像进行预处理之后输入至深度学习分割模型，以得到各第一眼部图像的分割结果。

继续上述的示例，则计算机设备根据时刻2的第二眼部图像确定该第二眼部图像的分割结果。

S1303，确定第二眼部图像的分割结果对应的质量检测结果。

S1303与S1203的原理类似。质量检测结果可以包括通过或者不通过，质量检测结果也可以用质量分数表示，数字越大质量越好。

其中，第二眼部图像的分割结果对应的质量检测结果可以用于表征第二眼部图像的分割结果中瞳孔和/或虹膜的遮挡情况。例如，计算机设备可以确定在第二眼部图像中虹膜区域的面积占比大于预设值的情况下，确定待跟踪眼球的质量检测结果为通过。

当然，在一些实施例中，质量检测结果也可以用于表征分割结果的信噪比、分辨率等情况。在一些实施例中，计算机设备可以根据各质量检测项的权重确定质量分数。例如，第二眼部图像中被遮挡的部分越少、信噪比越高，则质量分数越高。

S1304，根据第二眼部图像的分割结果对应的质量检测结果，控制扫描设备重新获取待跟踪眼球的扫描数据。

在本实施例中，可选的，在质量检测结果包括质量分数的情况下，若第二眼部图像对应的质量分数小于预设分数，则计算机设备可以返回S1301的步骤，也即重新基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备重新获取待跟踪眼球的扫描数据。

在质量检测结果包括通过或者不通过的情况下，若第二眼部图像的质量检测结果为不通过，则计算机设备也可以返回S1301的步骤，重新基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备重新获取待跟踪眼球的扫描数据，本实施例并不以此为限。

也就是说，计算机设备可以在第二眼部图像质量较差的情况下，重新基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备重新获取待跟踪眼球的扫描数据，直到第二眼部图像质量较好，就可以根据第二眼部图像和参考图像进行眼球跟踪。

进一步可选的，在第二眼部图像质量检测结果为通过，或者第二眼部图像的质量分数不小于预设分数的情况下，计算机设备可以将第二眼部图像作为目标图像，进而进入S201的步骤。

上述实施例中，由于基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备获取待跟踪眼球的扫描数据，并根据深度学习分割模型得到第二眼部图像的分割结果，进而确定第二眼部图像的分割结果对应的质量检测结果，并根据第二眼部图像的分割结果对应的质量检测结果，控制扫描设备重新获取待跟踪眼球的扫描数据，因此，通过质量检测结果，可以减小较大眼动和眨眼影响，提高了扫描数据的质量。

在一个示例性的实施例中，可选的，待检测图像包括第一眼部图像的分割结果或第二眼部图像的分割结果；上述的眼球跟踪方法还包括：

若待检测图像满足全部的预设条件，则确定待检测图像的质量检测结果为通过；其中，预设条件包括以下中的至少一项：

待检测图像的瞳孔区域占待检测图像的面积的比大于预设占比；

待检测图像中瞳孔区域的近圆指数大于预设指数；

待检测图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值。

在本实施例中，质量检测结果可以用于表征待跟踪眼球的遮挡情况。质量检测结果包括通过或不通过。待检测图像包括第一眼部图像的分割结果或第二眼部图像的分割结果。

其中，判断待检测图像的瞳孔区域占待检测图像的面积的比是否大于预设占比，用于确定待检测图像中是否存在眼皮遮挡。也就是说，若待检测图像的瞳孔区域占待检测图像的面积的比不大于预设占比，则说明待检测图像中存在眼皮遮挡，无法看清瞳孔。

判断待检测图像中瞳孔区域的近圆指数是否大于预设指数，同样用于确定瞳孔是否有遮挡。可以理解的是，若无眼皮遮挡的情况下，待跟踪瞳孔的形状接近圆形，因此，若待检测图像中瞳孔区域的近圆指数不大于预设指数，则说明待检测图像中存在遮挡。

其中，近圆指数则可以待检测图像的瞳孔区域的形状确定。例如，可以根据瞳孔区域的形状与瞳孔区域的周长，确定瞳孔区域的近圆指数。示例性地，计算机设备可以根据W-4T×S/C确定瞳孔区域的近圆指数。W表示的是近圆指数、S表示的是瞳孔区域的面积、C表示的是瞳孔区域的周长。

同样地，待检测图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值是否大于预设比值，也能够用于确定瞳孔是否有遮挡。图14为本申请实施例中瞳孔比的示意图，如图14所示，待检测图像的瞳孔中心到虹膜区域边界的最小距离为L2，瞳孔中心到虹膜边界的最大距离为L1，若最小距离为L2与最大距离为L1之间的比值小于预设比值，则说明待检测图像中存在遮挡。

在一些实施例中，待检测图像中虹膜区域的上边缘和瞳孔区域的上边缘可能重叠，此种情况下，可以将瞳孔中心与虹膜区域的上边缘之间的距离认为是最小距离为L2。

需要说明的是，待检测图像需要满足预设条件中的所有内容，计算机设备才会确定质量检测结果为通过。示例性地，若预设条件包括待检测图像的瞳孔区域占待检测图像的面积的比大于预设占比，以及待检测图像中瞳孔区域的近圆指数大于预设指数，则待检测图像必须同时满足瞳孔区域占待检测图像的面积的比大于预设占比，以及瞳孔区域的近圆指数大于预设指数，计算机设备才会判定待检测图像的质量检测结果为通过。

上述实施例中，由于预设条件包括在待检测图像的瞳孔区域占待检测图像的面积的比大于预设占比、待检测图像中瞳孔区域的近圆指数大于预设指数、待检测图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值中的至少一项，而在预设条件中所有条件都满足的情况下，才会确定待检测图像的质量检测结果为通过，因此，提高了质量检测结果的准确性。

在一个示例性的实施例中，可选的，上述的眼球跟踪方法还包括如下步骤：

若参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，和/或，目标图像对应的运动信息大于第一预设差异，则丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第一扫描位置重新获取待跟踪眼球的扫描数据；运动信息包括位移信息和/或旋转信息；第一扫描位置包括与目标图像的采集时间重叠的扫描位置。

在本实施例中，第一预设面积差值和第一预设差异用于限制待跟踪眼球所允许移动的范围。

若参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，则说明参考图像和目标图像中瞳孔的变化过大，此种情况下可以认为待跟踪眼球的瞳孔移动过大。其中，面积变化可以包括参考图像中瞳孔区域的面积与目标图像中瞳孔区域的面积之间的差值。

若目标图像对应的运动信息大于第一预设差异，则说明计算机设备根据目标图像确定出的位移信息和/或旋转信息相当于参考图像来说变化过大，此种情况也可以认为待跟踪眼球的移动过大。

示例性地，假设在时刻1确定参考图像，在时刻2确定目标图像A，则计算机设备确定参考图像中瞳孔区域与目标图像A中瞳孔区域之间的面积变化是否大于预设面积差值，和/或，目标图像A对应的运动信息是否大于预设差异。

进而，计算机设备就可以在参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于预设面积差值，和/或，目标图像对应的运动信息大于第一预设差异的情况下，认为之前的待跟踪眼球的运动情况不可靠，以丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第一扫描位置重新获取所述待跟踪眼球的扫描数据。进一步地，计算机设备可以继续获取下一帧目标图像，以根据下一帧目标图像和参考图像继续计算待跟踪眼球的移动信息。

其中，第一扫描位置包括与目标图像的采集时间重叠的扫描位置。扫描设备和视觉传感器在采集数据时，都会为采集的数据建立时间戳。可以理解的是，扫描设备采集的数据指扫描数据，视觉传感器采集的数据指眼部图像。也就是说，计算机设备能够确定扫描数据对应的采集时间以及眼部图像对应的采集时间。

这样，当目标图像对应的运动信息大于第一预设差异，计算机设备就可以确定与目标图像的采集时间重叠的扫描位置，将该扫描位置作为第一扫描位置，控制扫描设备在第一扫描位置重新获取待跟踪眼球的扫描数据。

换句话说，在认为目标图像中待跟踪眼球的运动情况不可靠的情况下，计算机设备可以控制扫描设备在与目标图像的采集时间重叠的扫描数据对应的扫描位置处开始重扫。

进一步可选的，若参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化不大于第一预设面积差值，和/或，目标图像对应的运动信息不大于第一预设差异，则计算机设备可以根据计算出的运动信息控制扫描设备由第一扫描位置运动至第三扫描位置，并控制扫描设备在第三扫描位置获取待跟踪眼球的扫描数据，以实现对待跟踪眼球的跟踪，从而提高眼球跟踪的准确性。

上述实施例中，由于在参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，和/或，目标图像对应的运动信息大于第一预设差异的情况下，丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第一扫描位置重新获取待跟踪眼球的扫描数据，而第一扫描位置包括与目标图像的采集时间重叠的扫描位置，因此，减小了待跟踪眼球移动过大的影响，提高了跟踪的准确性。

在一个示例性的实施例中，可选的，上述的眼球跟踪方法还包括如下步骤：

若第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，和/或，第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异，则丢弃扫描设备在第二扫描位置获取的扫描数据，控制扫描设备在第二扫描位置重新获取待跟踪眼球的扫描数据；第二扫描位置包括与第二图像的采集时间重叠的扫描位置；第一图像和第二图像为两个不同时间点的目标图像，第一图像的时间点早于第二图像的时间点。

在本实施例中，第二预设面积差值和第二预设差异用于限制待跟踪眼球最大允许移动速度。

其中，第一图像和第二图像为两个不同时间点的目标图像，第一图像的时间点早于第二图像的时间点。其中，第一图像与第二图像可以扫描时间不相邻的图像，也可以为扫描时间相邻的图像。示例性地，假设在时刻2确定目标图像A，在时刻3确定目标图像B，则目标图像A为第一图像，目标图像B为第二图像。

若第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，则说明参考图像和目标图像中瞳孔的变化过快，此种情况下可以认为待跟踪眼球的瞳孔移动过快。其中，面积变化可以包括第一图像中瞳孔区域的面积与第二图像中瞳孔区域的面积之间的差值。

同样地，若第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异，则也说明待跟踪眼球的移动过快。同样地，运动信息包括位移信息和/或旋转信息。

继续在时刻2确定目标图像A，在时刻3确定目标图像B的示例，则计算机设备确定目标图像A中瞳孔区域与目标图像B中瞳孔区域之间的面积变化是否大于第二预设面积差值，和/或，目标图像A对应的运动信息与目标图像B对应的运动信息之间的差异是否大于第二预设差异。

进而，计算机设备就可以在第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，和/或，第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异的情况下，认为待跟踪眼球的运动情况不可靠，以丢弃扫描设备在第二扫描位置获取的扫描数据，控制扫描设备在第二扫描位置重新获取所述待跟踪眼球的扫描数据。进一步地，计算机设备可以继续获取下一帧目标图像，以根据下一帧目标图像和参考图像继续计算待跟踪眼球的移动信息。

其中，第二扫描位置包括与第二图像的采集时间重叠的扫描位置。这样，在认为第二图像中待跟踪眼球的运动情况不可靠的情况下，计算机设备可以控制扫描设备在与第二图像的采集时间重叠的扫描数据对应的扫描位置处开始重扫。

进一步可选的，若第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化不大于第二预设面积差值，和/或，第二图像对应的运动信息与第一图像对应的运动信息之间的差异不大于第二预设差异，则计算机设备可以根据计算出的运动信息控制扫描设备由第二扫描位置运动至第三扫描位置，并控制扫描设备在第三扫描位置获取待跟踪眼球的扫描数据，以实现对待跟踪眼球的跟踪，从而提高眼球跟踪的准确性。

上述实施例中，由于第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，和/或，第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异的情况下，丢弃扫描设备在第二扫描位置获取的扫描数据，控制扫描设备在第二扫描位置重新获取待跟踪眼球的扫描数据，而第二扫描位置包括与第二图像的采集时间重叠的扫描位置，第一图像和第二图像为两个不同时间点的目标图像，第一图像的时间点早于第二图像的时间点，因此，减小了待跟踪眼球移动过快的影响，提高了跟踪的准确性。

为了更清楚地介绍本申请的眼球跟踪方法，在此结合图15进行说明。图15为本申请实施例中一种眼球跟踪方法的过程示意图，如图15所示，计算机设备可以按照如下流程执行该眼球跟踪方法。

S1501，基于视觉传感器获取待跟踪眼球的多个第一眼部图像。

S1502，根据深度学习分割模型得到各第一眼部图像的分割结果。

S1503，确定各第一眼部图像的分割结果对应的质量检测结果。其中，若第一眼部图像中瞳孔区域占第一眼部图像的面积的比大于预设占比、第一眼部图像中瞳孔区域的近圆指数大于预设指数，且，第一眼部图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值，则确定第一眼部图像的质量检测结果为通过。

S1504，根据各质量检测结果，从各第一眼部图像中确定参考图像。

S1505，基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备获取待跟踪眼球的扫描数据。

S1506，根据深度学习分割模型得到第二眼部图像的分割结果。

S1507，确定第二眼部图像的分割结果对应的质量检测结果。若质量检测结果不通过，则返回执行S1505的步骤，以控制扫描设备重扫。若质量检测结果通过，则将第二眼部图像作为目标图像，进入S1509的步骤。其中，若第二眼部图像中瞳孔区域占第二眼部图像的面积的比大于预设占比、第二眼部图像中瞳孔区域的近圆指数大于预设指数，且，第二眼部图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值，则确定第二眼部图像的质量检测结果为通过。

S1508，根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息。其中，第一分割结果是基于深度学习分割模型和参考图像确定的分割结果，第二分割结果是基于深度学习分割模型和目标图像确定的分割结果。可选的，计算机设备可以按照S601～S604的方式确定位移信息，也可以按照S801～S803的方式确定位移信息。

S1509，分别对第一分割结果中的第一虹膜区域和第二分割结果中第二虹膜区域进行极坐标转换处理，得到第一虹膜区域对应的第一虹膜极坐标图以及第二虹膜区域对应的第二虹膜极坐标图。其中，第一虹膜极坐标图与第二虹膜极坐标图的大小相同。

S1510，对第一虹膜极坐标图与第二虹膜极坐标图进行模板匹配，得到待跟踪眼球的旋转信息。

S1511，若满足预设运动条件，则丢弃扫描设备在第一扫描位置或第二扫描位置获取的扫描数据，并返回S1505的步骤，以控制扫描设备在第一扫描位置或第二扫描位置重扫。其中，预设运动条件包括参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，目标图像对应的运动信息大于第一预设差异，第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差，以及第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异。

S1512，若不满足预设运动条件，则根据位移信息和旋转信息，控制扫描设备由第一扫描位置或第二扫描位置运动至第三扫描位置，并控制扫描设备在第三扫描位置获取待跟踪眼球的扫描数据，以对待跟踪眼球进行跟踪。

S1501～S1513可以参考上述实施例，此处不再赘述。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的眼球跟踪方法的眼球跟踪装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个眼球跟踪装置实施例中的具体限定可以参见上文中对于眼球跟踪方法的限定，在此不再赘述。

图16为本申请实施例中眼球跟踪调整装置的结构框图，在一个示例性的实施例中，如图16所示，提供了一种眼球跟踪装置1600，包括：第一确定模块1601、第二确定模块1602和跟踪模块1603，其中：

第一确定模块1601，用于基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果；参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像；第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域。

第二确定模块1602，用于根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息。

跟踪模块1603，用于根据待跟踪眼球的位移信息，对待跟踪眼球进行跟踪。

上述眼球跟踪装置中，参考图像和目标图像是利用视觉传感器获取的待跟踪眼球的图像，进而基于深度学习分割模型确定参考图像的第一分割结果和目标图像的第二分割结果。由于第一分割结果和第二分割结果均包括虹膜区域和瞳孔区域，因此，深度学习分割模型是用于输出至少包含瞳孔和虹膜的像素级的分割模型。进而利用深度学习分割模型，无需根据待跟踪眼球的角膜上的反光点对待跟踪眼球进行跟踪，避免了反光点在角膜上的位置会发生相对变化的情况，根据第一分割结果和第二分割结果，就可以较为准确地确定待跟踪眼球的位移信息，从而提高了对待跟踪眼球进行跟踪的准确性。

可选的，第二确定模块1602，还用于根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息；交界特征信息根据第一分割结果中瞳孔区域与虹膜区域的交界确定。

可选的，第一分割结果和第二分割结果均还包含眼白区域；第二确定模块1602，还用于根据第一分割结果中的交界特征信息以及第二分割结果，确定位移信息，交界特征信息根据第一分割结果中虹膜区域与眼白区域的交界确定。

可选的，第二确定模块1602包括：

第一确定单元，用于根据第一分割结果中的交界特征信息，从第一分割结果中确定参考模板。

第二确定单元，用于根据参考模板确定待匹配区域。

第三确定单元，用于根据待匹配区域和第二分割结果，将第二分割结果中与参考模板之间的匹配系数最大的待匹配区域作为目标匹配区域。

第四确定单元，用于根据参考模板中的第一预设位置，以及目标匹配区域中与第一预设位置对应的第二预设位置，确定待跟踪眼球的位移信息。

可选的，第二确定模块1602包括：

第五确定单元，用于确定第一分割结果中瞳孔区域的第一质心位置。

第六确定单元，用于确定第二分割结果中瞳孔区域的第二质心位置。

第七确定单元，用于根据第一质心位置与第二质心位置，确定待跟踪眼球的位移信息。

可选的，跟踪模块1603包括：

第八确定单元，用于根据第一分割结果和第二分割结果，确定待跟踪眼球的旋转信息。

跟踪单元，用于根据位移信息和旋转信息对待跟踪眼球进行跟踪。

可选的，第八确定单元包括：

处理子单元，用于分别对第一分割结果中的第一虹膜区域和第二分割结果中第二虹膜区域进行极坐标转换处理，得到第一虹膜区域对应的第一虹膜极坐标图以及第二虹膜区域对应的第二虹膜极坐标图。

匹配子单元，用于对第一虹膜极坐标图与第二虹膜极坐标图进行模板匹配，得到待跟踪眼球的旋转信息。

可选的，眼球跟踪装置1600还包括：

第一获取模块，用于基于视觉传感器获取待跟踪眼球的多个第一眼部图像，

第三确定模块，用于根据深度学习分割模型得到各第一眼部图像的分割结果。

第四确定模块，用于确定各第一眼部图像的分割结果对应的质量检测结果。

第五确定模块，用于根据各质量检测结果，从各第一眼部图像中确定参考图像。

可选的，在对待跟踪眼球进行跟踪之前，眼球跟踪装置1600还包括：

第二获取模块，用于基于视觉传感器获取待跟踪眼球的第二眼部图像，并控制扫描设备获取待跟踪眼球的扫描数据。

第六确定模块，用于根据深度学习分割模型得到第二眼部图像的分割结果；

第七确定模块，用于确定第二眼部图像的分割结果对应的质量检测结果。

第一控制模块，用于根据第二眼部图像的分割结果对应的质量检测结果，控制扫描设备重新获取待跟踪眼球的扫描数据。

可选的，眼球跟踪装置1600还包括：

第八确定模块，用于若待检测图像满足全部的预设条件，则确定待检测图像的质量检测结果为通过；其中，预设条件包括以下中的至少一项：

待检测图像的瞳孔区域占待检测图像的面积的比大于预设占比；

待检测图像中瞳孔区域的近圆指数大于预设指数；

待检测图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值。

可选的，眼球跟踪装置1600还包括：

第二控制模块，用于若参考图像中瞳孔区域与目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，和/或，目标图像对应的运动信息大于第一预设差异，则丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第一扫描位置重新获取待跟踪眼球的扫描数据；运动信息包括位移信息和/或旋转信息；第一扫描位置包括与目标图像的采集时间重叠的扫描位置。

可选的，眼球跟踪装置1600还包括：

第三控制模块，用于若第一图像中瞳孔区域与第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，和/或，第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异，则丢弃扫描设备在第一扫描位置获取的扫描数据，控制扫描设备在第二扫描位置重新获取待跟踪眼球的扫描数据；第二扫描位置包括与第二图像的采集时间重叠的扫描位置；

第一图像和第二图像为两个不同时间点的目标图像，第一图像的时间点早于第二图像的时间点。

上述眼球跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图17为本申请实施例中一种跟踪系统的结构示意图，如图17所示，在一个实施例中，提供了一种跟踪系统1700，跟踪系统1700包括视觉传感器1701、扫描设备1702以及上述任一项的跟踪装置1600。其中，视觉传感器1701包括瞳孔相机。扫描设备1702包括OCT。

在跟踪系统1700中，视觉传感器1701获取参考图像和目标图像，进而跟踪装置1600会基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果，并根据第一分割结果和第二分割结果，确定待跟踪眼球的位移信息，以根据待跟踪眼球的位移信息，控制扫描设备1702对待跟踪眼球进行跟踪。跟踪系统1700可以参考上述实施例，此处不再赘述。

图18为本申请实施例中计算机设备的内部结构图，在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图18所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种眼球跟踪方法。

本领域技术人员可以理解，图18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric RandomAccess Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static RandomAccess Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种眼球跟踪方法，其特征在于，所述方法包括：

基于深度学习分割模型，确定参考图像的第一分割结果和目标图像的第二分割结果；所述参考图像和所述目标图像是利用视觉传感器获取的待跟踪眼球的图像；所述第一分割结果和所述第二分割结果均包括虹膜区域和瞳孔区域；

根据所述第一分割结果和所述第二分割结果，确定所述待跟踪眼球的位移信息；

根据所述待跟踪眼球的位移信息，对所述待跟踪眼球进行跟踪。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一分割结果和所述第二分割结果，确定所述待跟踪眼球的位移信息，包括：

根据所述第一分割结果中的交界特征信息以及所述第二分割结果，确定所述位移信息；所述交界特征信息根据所述第一分割结果中瞳孔区域与虹膜区域的交界确定。

3.根据权利要求1所述的方法，其特征在于，所述第一分割结果和所述第二分割结果均还包含眼白区域；所述根据所述第一分割结果和所述第二分割结果，确定所述待跟踪眼球的位移信息，包括：

根据所述第一分割结果中的交界特征信息以及所述第二分割结果，确定所述位移信息，所述交界特征信息根据所述第一分割结果中虹膜区域与眼白区域的交界确定。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一分割结果中的交界特征信息以及所述第二分割结果，确定所述位移信息，包括：

根据所述第一分割结果中的交界特征信息，从所述第一分割结果中确定参考模板；

根据所述参考模板确定待匹配区域；

根据所述待匹配区域和所述第二分割结果，将所述第二分割结果中与所述参考模板之间的匹配系数最大的待匹配区域作为目标匹配区域；

根据所述参考模板中的第一预设位置，以及所述目标匹配区域中与所述第一预设位置对应的第二预设位置，确定所述待跟踪眼球的位移信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一分割结果和所述第二分割结果，确定所述待跟踪眼球的位移信息，包括：

确定所述第一分割结果中瞳孔区域的第一质心位置；

确定所述第二分割结果中瞳孔区域的第二质心位置；

根据所述第一质心位置与所述第二质心位置，确定所述待跟踪眼球的位移信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述待跟踪眼球的位移信息，对所述待跟踪眼球进行跟踪，包括：

分别对所述第一分割结果中的第一虹膜区域和所述第二分割结果中第二虹膜区域进行极坐标转换处理，得到所述第一虹膜区域对应的第一虹膜极坐标图以及所述第二虹膜区域对应的第二虹膜极坐标图；

对所述第一虹膜极坐标图与所述第二虹膜极坐标图进行模板匹配，得到所述待跟踪眼球的旋转信息；

根据所述位移信息和所述旋转信息对所述待跟踪眼球进行追踪。

7.根据权利要求1所述的方法，其特征在于，待检测图像包括第一眼部图像的分割结果或第二眼部图像的分割结果；所述方法还包括：

若所述待检测图像满足全部的预设条件，则确定所述待检测图像的质量检测结果为通过；其中，所述预设条件包括以下中的至少一项：

所述待检测图像的瞳孔区域占所述待检测图像的面积的比大于预设占比；

所述待检测图像中瞳孔区域的近圆指数大于预设指数；

所述待检测图像的瞳孔中心到虹膜区域边界的最小距离与瞳孔中心到虹膜边界的最大距离的比值大于预设比值。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述参考图像中瞳孔区域与所述目标图像中瞳孔区域之间的面积变化大于第一预设面积差值，和/或，所述目标图像对应的运动信息大于第一预设差异，则丢弃扫描设备在第一扫描位置获取的扫描数据，控制所述扫描设备在所述第一扫描位置重新获取所述待跟踪眼球的扫描数据；运动信息包括位移信息和/或旋转信息；所述第一扫描位置包括与所述目标图像的采集时间重叠的扫描位置。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一图像中瞳孔区域与所述第二图像中瞳孔区域之间的面积变化大于第二预设面积差值，和/或，所述第二图像对应的运动信息与第一图像对应的运动信息之间的差异大于第二预设差异，则丢弃扫描设备在第二扫描位置获取的扫描数据，控制所述扫描设备在所述第二扫描位置重新获取所述待跟踪眼球的扫描数据；所述第二扫描位置包括与所述第二图像的采集时间重叠的扫描位置；

所述第一图像和所述第二图像为两个不同时间点的目标图像，所述第一图像的时间点早于所述第二图像的时间点。

10.一种跟踪系统，其特征在于，所述跟踪系统包括视觉传感器、扫描设备以及跟踪装置；所述视觉传感器包括瞳孔相机；所述扫描设备包括OCT；

所述跟踪装置，用于执行权利要求1-9任一项所述的方法。