CN115984952B - 基于球结膜血管图像识别的眼动跟踪系统及其方法 - Google Patents

Abstract

本申请涉及智能识别领域，其具体地公开了一种基于球结膜血管图像识别的眼动跟踪系统及其方法，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行更为精准地眼球追踪。

Description

基于球结膜血管图像识别的眼动跟踪系统及其方法

技术领域

本申请涉及智能识别领域，且更为具体地，涉及一种基于球结膜血管图像识别的眼动跟踪系统及其方法。

背景技术

随着建立在通讯和社交功能基础上的移动产业发展步入平稳期，以虚拟/增强现实为代表的新一代移动计算平台开始在工业应用领域大展身手，引领起人机协作等技术的新一轮研究和发展热潮。而新的可穿戴设备形态，就需要相应的安全、交互技术作为支撑。人体球结膜血管网，即眼纹，以测量简便、特征丰富等特点成为生物识别领域近十年最为重要的新兴技术，而且以更高的识别精度在目视跟踪任务中显现了巨大的发展潜力。球结膜血管网的特征识别和跟踪技术使得球结膜血管网成为眼纹识别、眼动跟踪和眼表诊断的共同测量目标，为在一个系统中能同时满足安全、交互和生理检测多方面的测量需求提供了基本的可能性。

当前针对球结膜血管网图像的研究受到了眼纹识别技术应用的推动而跨出传统的医学领域，而随着相关研究和应用的不断深入，围绕着结膜血管网特征识别和跟踪的主要问题也涌现出来，例如在眼纹识别研究中，不同深度的结膜血管间存在相对滑移和变形，导致结膜血管网图案随眼球转动而变化，难以对其中的特征进行精确的识别和跟踪，是当前眼纹识别精度提升的主要瓶颈之一。并且，目前缺乏球结膜血管网成像分析的理论依据，难以在血管网运动变形情况下进行高精度的特征识别和跟踪，是目前阻碍结膜血管网在医学、生物识别、人机交互等领域应用的主要问题。

因此，期望一种基于球结膜血管图像识别的眼动跟踪系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于球结膜血管图像识别的眼动跟踪系统，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行两个眼球是否为同一眼球的识别检测，从而提高眼球追踪精度。

根据本申请的一个方面，提供了一种基于球结膜血管图像识别的眼动跟踪系统，其包括：图像数据采集模块，用于获取第一球结膜血管图像和第二球结膜图像；光学成像模型构建模块，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；分层图像提取模块，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；空间特征增强模块，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；差分模块，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；优化模块，用于对所述分类特征图进行特征分布调制以得到优化分类特征图；结果评估模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及追踪模块，用于基于所述分类结果，进行眼球追踪。

在上述基于球结膜血管图像识别的眼动跟踪系统中，所述空间特征增强模块，包括：第一深度卷积编码单元，用于使用所述卷积神经网络模型的各层在层的正向传递中分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及，空间注意力单元，用于将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。

在上述基于球结膜血管图像识别的眼动跟踪系统中，所述差分模块，用于：以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；其中，所述公式为：其中，/>和/>表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，/>表示所述多个差分特征矩阵，/>表示按位置差分。

在上述基于球结膜血管图像识别的眼动跟踪系统中，所述优化模块，包括：特征图展开单元，用于将所述分类特征图展开为分类特征向量；结构优化单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及，重构单元，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征图。

在上述基于球结膜血管图像识别的眼动跟踪系统中，所述结构优化单元，用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：，其中/>是所述分类特征向量，/>和/>分别是所述分类特征向量和所述优化分类特征向量的第/>个位置的特征值，且/>是行向量形式，/>和/>是所述分类特征向量的各个位置特征值集合的均值和方差，/>表示向量的二范数的平方，/>表示矩阵的Frobenius范数，/>表示指数运算。

在上述基于球结膜血管图像识别的眼动跟踪系统中，所述结果评估模块，包括：展开单元，用于将所述优化分类特征图基于行向量或列向量展开为展开分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述展开分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一方面，提供了一种基于球结膜血管图像识别的眼动跟踪方法，其包括：获取第一球结膜血管图像和第二球结膜图像；构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；对所述分类特征图进行特征分布调制以得到优化分类特征图；将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及基于所述分类结果，进行眼球追踪。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于球结膜血管图像识别的眼动跟踪方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于球结膜血管图像识别的眼动跟踪方法。

与现有技术相比，本申请提供的一种基于球结膜血管图像识别的眼动跟踪系统及其方法，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行两个眼球是否为同一眼球的识别检测，从而提高眼球追踪精度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统的应用场景图。

图2为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统的框图。

图3为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统的系统架构图。

图4为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统中空间特征增强模块的框图。

图5为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统中优化模块的框图。

图6为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统中结果评估模块的框图。

图7为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪方法的流程图。

图8为结膜图像中不同深度、尺度的三条血管中心线上蓝绿亮度差示意图。

图9为基于多光谱图像光强差异的球结膜血管分层初步效果图。

图10为浅层血管图像中提取出的血管交叉点和分支点和参数化后的血管中心线的效果图。

图11为球结膜血管跟踪实验示意及所检测到的运动速度向量分布示意图。

图12为头戴式球结膜图像测量装置及方案示意图。

图13为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述：如前背景技术所言，在眼纹识别研究中，不同深度的结膜血管间存在相对滑移和变形，导致结膜血管网图案随眼球转动而变化，难以对其中的特征进行精确的识别和跟踪，是当前眼纹识别精度提升的主要瓶颈之一。并且，目前缺乏球结膜血管网成像分析的理论依据，难以在血管网运动变形情况下进行高精度的特征识别和跟踪，是目前阻碍结膜血管网在医学、生物识别、人机交互等领域应用的主要问题。因此，期望一种基于球结膜血管图像识别的眼动跟踪系统。

具体地，在本申请的技术方案中，为了解决球结膜血管网在眼动过程中变形复杂，难以实现精确的特征识别和跟踪的问题，通过对结膜血管网组织光学模型的分析，构建一种基于血管深度、分层跟踪结膜血管网变形的方法，为结膜血管分析在身份识别、人机交互及医学等方面应用打下理论和方法的基础。具体地，首先，通过对球结膜血管成像的组织光学模型分析，建立球结膜血管成像分析的理论基础。结合结膜和巩膜的实际解剖学构造，建立一个完整的包含结膜、巩膜、血管、光源和相机等各部分及其相对的几何和位置关系的结膜血管网成像模型。保证理论数值计算与实际测量结果的一致性的同时，实现理论模型的一般性，能够兼容不同的生物膜厚度、血管几何尺寸及层叠关系、相机量子效率、光源光谱等实际测量系统的可变因素。

接着，对比不同深度血管的图像特征差异，确立不同深度球结膜血管的图像分层依据。对比不同光谱范围、不同深度和几何尺度的血管成像差异，确定一个或一组分层参数对球结膜血管网图像中的血管深度进行量化估计。建立三维组织光学成像模型和二维测量图像之间的关系，并利用结膜血管网二维图像所得的参数，实现三维的结膜层和巩膜层血管的区分。

然后，构建球结膜血管特征的分层识别方法，实现对血管网的动态跟踪。结合分层算法和球结膜血管图像的实际特点，构建简洁高效的特征提取和匹配算法，在试制的头戴式测量系统上通过对深层血管的识别，实现实时的目视跟踪。

相应地，在本申请的技术方案中，考虑到在实际进行眼球追踪时，关键在于确定第一个眼球与第二个眼球属于同一个眼球，以保证重识别的准确性。因此，为了提高眼球追踪的精度，需要提高对象重识别的精度，难点也就在于如何确定第一个眼球与第二个眼球属于同一个眼球，而这在实际检测判断中可以通过对于第一球结膜血管图像和第二球结膜图像的分析来实现。但是，考虑到由于球结膜血管图像中存在有大量的信息量，并且不同生物的球结膜血管图像存在差异性，有关于球结膜血管特征信息在图像中属于小尺度的信息，难以进行捕捉提取。因此，在进行眼球追踪时，难点在于如何挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行两个眼球是否为同一眼球的识别检测，从而提高眼球追踪精度。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述第一球结膜血管图像和所述第二球结膜图像中关于球结膜血管特征的差异性特征分布信息提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过头戴式测量装置获取第一球结膜血管图像和第二球结膜图像。接着，考虑到由于球结膜血管网在眼动过程中具有为三维动态特性，因此，为了能够提取出球结膜图像中关于球结膜血管网在眼动过程中的球结膜血管特征，以此来实现眼球的精准识别跟踪，在本申请的技术方案中，进一步构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型。

然后，考虑到由于不同深度血管的图像存在特征差异，因此，进一步对于不同深度球结膜血管的图像进行分层，以此来关注到各个层上的关于球结膜血管的隐含特征信息，例如结膜层和巩膜层血管的隐含特征信息。具体地，在本申请的技术方案中，进一步提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像。

进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来分别进行所述多个第一分层图像和所述多个第二分层图像的特征提取。特别地，考虑到在实际进行眼球追踪判断时，为了能够提高对于检测的两个眼球是否属于同一对象进行准确地判断，应更加关注于空间位置上不同层的关于球结膜的血管隐含特征，并忽略与所述眼球追踪检测无关的干扰特征信息。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型，以提取出聚焦于所述各个层的空间位置上的关于球结膜的血管隐含特征分布信息，从而得到多个第一分层特征矩阵和多个第二分层特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于不同层的血管隐藏特征信息。

接着，为了能够对于第一个眼球与第二个眼球属于同一个眼球进行准确地检测判断，以此来提高对象重识别的精度，进而提高眼球追踪的精度，在本申请的技术方案中，进一步计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵，以此来表示两个眼球聚焦于各个层的空间位置上的关于球结膜的血管隐含特征的差异性特征分布信息，从而得到由多个差分特征矩阵沿通道维度聚合而成的分类特征图。

然后，将所述分类特征图通过分类器中进行分类处理以得到用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括第一球结膜血管图像和第二球结膜图像中的眼球属于同一对象，以及，第一球结膜血管图像和第二球结膜图像中的眼球不属于同一对象，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象的判断标签，因此，在得到所述分类结果后，可基于所述分类结果来准确地对于第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象进行检测判断，以此来精准地进行眼球追踪。

特别地，在本申请的技术方案中，这里，由于所述第一球结膜血管图像和所述第二球结膜图像本身在图像源域内的图像语义差异会由于使用空间注意力机制的卷积神经网络模型的特征提取而在特征域内放大特征语义之间的差异，这虽然有利于所述分类特征图表达所述第一球结膜血管图像和所述第二球结膜图像之间的差异特征，但所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的逐位置差分计算也会导致所述分类特征图的整体特征分布的离散化，从而使得所述分类特征图在通过分类器进行分类时存在相对于分类器的预定的类标签收敛性差，这样，就会影响分类器的训练速度和分类结果的准确性。

因此，在本申请的技术方案中，对所述分类特征图在通过分类器时展开后得到的分类特征向量进行正定赋范空间的几何约束重参数化，具体为：其中/>和/>是特征集合/>的均值和方差，/>表示向量的二范数的平方，/>表示矩阵的Frobenius范数，/>和/>分别是所述分类特征向量和所述优化分类特征向量的第/>个位置的特征值，且/>是行向量形式。

这里，所述分类特征向量的正定赋范空间的几何约束重参数化可以基于贝塞尔不等式的投影模长度量关系，通过以内积形式表示的向量范数平方在向量自身的关联集合空间内的投影，来使得向量的分布集合在具有正定性的赋范空间的几何度量子空间内具有模长约束性，以基于特征分布的几何约束来将分布空间重参数化到具有闭子空间的有界正定赋范空间。这样，就提高所述分类特征向量/>整体的特征分布在预定类标签下的收敛性，从而提升了分类器的训练速度和分类结果的准确性。这样，能够准确地进行两个眼球是否为同一眼球的识别检测，从而提高重识别的准确性，提高眼球追踪精度。

基于此，本申请提出了一种基于球结膜血管图像识别的眼动跟踪系统，其包括：图像数据采集模块，用于获取第一球结膜血管图像和第二球结膜图像；光学成像模型构建模块，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；分层图像提取模块，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；空间特征增强模块，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；差分模块，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；优化模块，用于对所述分类特征图进行特征分布调制以得到优化分类特征图；结果评估模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及，追踪模块，用于基于所述分类结果，进行眼球追踪。

图1为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统的应用场景图。如图1所示，在该应用场景中，通过头戴式测量装置（例如，如图1中所示意的M）获取第一球结膜血管图像（例如，如图1中所示意的F1）和第二球结膜图像（例如，如图1中所示意的F2）。接着，将上述图像输入至部署有用于基于球结膜血管图像识别的眼动跟踪算法的服务器（例如，图1中的S）中，其中，所述服务器能够以所述用于基于球结膜血管图像识别的眼动跟踪算法对上述输入的图像进行处理，以生成用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

实施例1：图2为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统的框图。如图2所示，根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统300，包括：图像数据采集模块310；光学成像模型构建模块320；分层图像提取模块330；空间特征增强模块340；差分模块350；优化模块360；结果评估模块370；以及，追踪模块380。

其中，所述图像数据采集模块310，用于获取第一球结膜血管图像和第二球结膜图像；所述光学成像模型构建模块320，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；所述分层图像提取模块330，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；所述空间特征增强模块340，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；所述差分模块350，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；所述优化模块360，用于对所述分类特征图进行特征分布调制以得到优化分类特征图；所述结果评估模块370，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及，所述追踪模块380，用于基于所述分类结果，进行眼球追踪。

图3为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统的系统架构图。如图3所示，在该网络架构中，首先通过所述图像数据采集模块310获取第一球结膜血管图像和第二球结膜图像；接着，所述光学成像模型构建模块320构建所述图像数据采集模块310获取的第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；所述分层图像提取模块330提取所述光学成像模型构建模块320构建所得的第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；然后，所述空间特征增强模块340将所述分层图像提取模块330提取所得的多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；所述差分模块350计算所述空间特征增强模块340得到的多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；所述优化模块360对所述差分模块350计算所得的分类特征图进行特征分布调制以得到优化分类特征图；然后，所述结果评估模块370将所述优化模块360得到的优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；进而，所述追踪模块380基于所述分类结果，进行眼球追踪。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述图像数据采集模块310，用于获取第一球结膜血管图像和第二球结膜图像。应可以理解，在实际进行眼球追踪时，关键在于确定第一个眼球与第二个眼球属于同一个眼球，以保证重识别的准确性。而在对于确定第一个眼球与第二个眼球属于同一个眼球的实际检测判断中，可以通过对于第一球结膜血管图像和第二球结膜图像的分析来实现。因此，在本申请的技术方案中，首先，可通过头戴式测量装置获取第一球结膜血管图像和第二球结膜图像。特别的，所述头戴式测量装置能够满足对于色彩分辨率的要求，在本申请的一个具体示例中，应选择尽量小巧轻便型号的测量装置，以方便被试者佩戴和头部运动，为规模化结膜测量实验做好硬件上的准备。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述光学成像模型构建模块320，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型。考虑到由于球结膜血管网在眼动过程中具有为三维动态特性，因此，为了能够提取出球结膜图像中关于球结膜血管网在眼动过程中的球结膜血管特征，以此来实现眼球的精准识别跟踪，在本申请的技术方案中，进一步构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述分层图像提取模块330，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像。应可以理解，由于不同深度血管的图像存在特征差异，因此，进一步对于不同深度球结膜血管的图像进行分层，以此来关注到各个层上的关于球结膜血管的隐含特征信息，例如结膜层和巩膜层血管的隐含特征信息。具体地，在本申请的技术方案中，进一步提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述空间特征增强模块340，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵。也就是，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来分别进行所述多个第一分层图像和所述多个第二分层图像的特征提取。特别地，考虑到在实际进行眼球追踪判断时，为了能够提高对于检测的两个眼球是否属于同一对象进行准确地判断，应更加关注于空间位置上不同层的关于球结膜的血管隐含特征，并忽略与所述眼球追踪检测无关的干扰特征信息。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型，以提取出聚焦于所述各个层的空间位置上的关于球结膜的血管隐含特征分布信息，从而得到多个第一分层特征矩阵和多个第二分层特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于不同层的血管隐藏特征信息。在一个具体示例中，所述卷积神经网络包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述卷积神经网络的编码过程中，所述卷积神经网络的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理。

图4为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统中空间特征增强模块的框图。如图4所示，所述空间特征增强模块340，包括：第一深度卷积编码单元341，用于使用所述卷积神经网络模型的各层在层的正向传递中分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及，空间注意力单元342，用于将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述差分模块350，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图。为了能够对于第一个眼球与第二个眼球属于同一个眼球进行准确地检测判断，以此来提高对象重识别的精度，进而提高眼球追踪的精度，在本申请的技术方案中，进一步计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵，以此来表示两个眼球聚焦于各个层的空间位置上的关于球结膜的血管隐含特征的差异性特征分布信息，从而得到由多个差分特征矩阵沿通道维度聚合而成的分类特征图。在本申请的一个具体示例中，可通过按位置差分的方式来进行计算，具体地，以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；其中，所述公式为：所述公式为：其中，/>和/>表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，/>表示所述多个差分特征矩阵，/>表示按位置差分。再将所述多个差分特征矩阵进行沿通道维度的聚合以得到分类特征图。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述优化模块360，用于对所述分类特征图进行特征分布调制以得到优化分类特征图。在本申请的技术方案中，这里，由于所述第一球结膜血管图像和所述第二球结膜图像本身在图像源域内的图像语义差异会由于使用空间注意力机制的卷积神经网络模型的特征提取而在特征域内放大特征语义之间的差异，这虽然有利于所述分类特征图表达所述第一球结膜血管图像和所述第二球结膜图像之间的差异特征，但所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的逐位置差分计算也会导致所述分类特征图的整体特征分布的离散化，从而使得所述分类特征图在通过分类器进行分类时存在相对于分类器的预定的类标签收敛性差，这样，就会影响分类器的训练速度和分类结果的准确性。因此，在本申请的技术方案中，对所述分类特征图在通过分类器时展开后得到的分类特征向量进行正定赋范空间的几何约束重参数化，具体为：其中/>是所述分类特征向量，/>和/>分别是所述分类特征向量和所述优化分类特征向量的第/>个位置的特征值，且/>是行向量形式，和/>是所述分类特征向量的各个位置特征值集合的均值和方差，/>表示向量的二范数的平方，/>表示矩阵的Frobenius范数，/>表示指数运算。这里，所述分类特征向量/>的正定赋范空间的几何约束重参数化可以基于贝塞尔不等式的投影模长度量关系，通过以内积形式表示的向量范数平方在向量自身的关联集合空间内的投影，来使得向量的分布集合在具有正定性的赋范空间的几何度量子空间内具有模长约束性，以基于特征分布的几何约束来将分布空间重参数化到具有闭子空间的有界正定赋范空间。这样，就提高所述分类特征向量/>整体的特征分布在预定类标签下的收敛性，从而提升了分类器的训练速度和分类结果的准确性。这样，能够准确地进行两个眼球是否为同一眼球的识别检测，从而提高重识别的准确性，提高眼球追踪精度。

图5为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统中优化模块的框图。如图5所示，所述优化模块360，包括：特征图展开单元361，用于将所述分类特征图展开为分类特征向量；结构优化单元362，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及，重构单元363，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征图。

具体地，在所述基于球结膜血管图像识别的眼动跟踪系统300的运行过程中，所述结果评估模块370和所述追踪模块380，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；并基于所述分类结果，进行眼球追踪。也就是，在本申请的技术方案中，将所述优化分类特征图通过分类器中进行分类处理以得到分类结果，具体地，使用所述分类器以如下公式对所述优化分类特征图进行处理以获得分类结果，其中，所述公式为：，其中/>表示将所述优化分类特征图投影为向量，/>和/>为各层全连接层的权重矩阵，/>至/>表示各层全连接层的偏置向量。具体地，所述分类器包括多个全连接层和与所述多个全连接层最后一个全连接层级联的Softmax层。其中，在所述分类器的分类处理中，首先将所述优化分类特征图投影为向量，例如，在一个具体的示例中，将所述优化分类特征图沿着行向量或者列向量进行展开为分类特征向量；然后，使用所述分类器的多个全连接层对所述展开分类特征向量进行多次全连接编码以得到编码分类特征向量；进而，将所述编码分类特征向量输入所述分类器的Softmax层，即，使用所述Softmax分类函数对所述编码分类特征向量进行分类处理以得到分类标签。在本申请的技术方案中，所述分类器的标签包括第一球结膜血管图像和第二球结膜图像中的眼球属于同一对象，以及，第一球结膜血管图像和第二球结膜图像中的眼球不属于同一对象，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象的判断标签，因此，在得到所述分类结果后，可基于所述分类结果来准确地对于第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象进行检测判断，以此来精准地进行眼球追踪。

图6为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统中结果评估模块的框图。如图6所示，所述结果评估模块370，包括：展开单元371，用于将所述优化分类特征图基于行向量或列向量展开为展开分类特征向量；全连接编码单元372，用于使用所述分类器的多个全连接层对所述展开分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元373，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统300被阐明，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行两个眼球是否为同一眼球的识别检测，从而提高眼球追踪精度。

如上所述，根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的基于球结膜血管图像识别的眼动跟踪系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于球结膜血管图像识别的眼动跟踪系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于球结膜血管图像识别的眼动跟踪系统300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于球结膜血管图像识别的眼动跟踪系统300与该终端设备也可以是分立的设备，并且该基于球结膜血管图像识别的眼动跟踪系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法：图7为根据本申请实施例的基于球结膜血管图像识别的眼动跟踪方法的流程图。如图7所示，根据本申请实施例的基于球结膜血管图像识别的眼动跟踪方法，包括步骤：S110，获取第一球结膜血管图像和第二球结膜图像；S120，构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；S130，提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；S140，将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；S150，计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；S160，对所述分类特征图进行特征分布调制以得到优化分类特征图；S170，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及，S180，基于所述分类结果，进行眼球追踪。

在一个示例中，在上述基于球结膜血管图像识别的眼动跟踪方法中，所述步骤S140，包括：使用所述卷积神经网络模型的各层在层的正向传递中分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及，将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。

在一个示例中，在上述基于球结膜血管图像识别的眼动跟踪方法中，所述步骤S150，包括：以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；其中，所述公式为：其中，/>和/>表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，/>表示所述多个差分特征矩阵，/>表示按位置差分。

一个示例中，在上述基于球结膜血管图像识别的眼动跟踪方法中，所述步骤S160，包括：将所述分类特征图展开为分类特征向量；对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及，将所述优化分类特征向量进行维度重构以得到所述优化分类特征图。其中，对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量，包括：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：其中/>是所述分类特征向量，/>和/>分别是所述分类特征向量和所述优化分类特征向量的第/>个位置的特征值，且/>是行向量形式，和/>是所述分类特征向量的各个位置特征值集合的均值和方差，/>表示向量的二范数的平方，/>表示矩阵的Frobenius范数，/>表示指数运算。

在一个示例中，在上述基于球结膜血管图像识别的眼动跟踪方法中，所述步骤S170，包括：将所述优化分类特征图基于行向量或列向量展开为展开分类特征向量；使用所述分类器的多个全连接层对所述展开分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，根据本申请实施例的基于球结膜血管图像识别的眼动跟踪方法被阐明，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行两个眼球是否为同一眼球的识别检测，从而提高眼球追踪精度。

实施例2：本申请针对在利用球结膜血管网进行特征分析、识别和跟踪匹配过程中结膜血管不同层间存在相对滑移和弹性变形，从而导致血管交叉点等主要图像特征随眼球转动角度而变化，无法实现精确识别及跟踪的问题展开具体研究。本申请拟由结膜/巩膜覆盖下的血管成像机理分析入手，在组织光学模型分析的基础上建立针对不同深度的球结膜血管进行分层的理论依据，进而提出一种对于球结膜血管网图像特征进行分层识别和跟踪的方法。具体的研究内容包括：1) 建立结膜、巩膜覆盖下血管成像的组织光学模型。通常相机测得的图像就是测量目标区域的反射光强度的分布。以往的研究一般从图像特征分析入手，本申请拟以从理论上对结膜/巩膜覆盖下的血管光散射过程进行建模为起点，建立球结膜血管、结膜及巩膜三者的空间几何模型，使用数值模拟的方法计算在图像测量的条件下结膜表面的漫反射光强度，通过对相机接受到的目标区域光强进行分析来研究球结膜血管的成像原理。2) 确立球结膜血管深度与图像特征对应关系。实现球结膜血管网特征的精确识别和跟踪，关键在于对不同深度的血管进行分层识别。因此，需要对不同深度和直径的血管在结膜表面的反射光成分与强度进行比较，确定其与相机图像中不同光谱通道的亮度与几何尺度等特征的对应关系。再根据头戴式测量方案中浅景深、亮度变化大等特点，精心选取特征以构建球结膜血管分层参数。3) 构建眼动过程中的球结膜血管网的特征跟踪方法。球结膜血管网的变形是组成血管网的不同层血管之间的相对滑移和弹性变形引起的血管网分布图案变化，如果想对其进行量化的研究分析，就需要依据血管的分层结果，建立一套结膜血管图像特征提取和跟踪的方法。首先实现结膜图像中血管的识别与分割，在血管分层的基础上利用弯曲角点和分支点等血管的形态特征，构建跟踪结膜血管网变形的视频分析方法。期间，研制和改进头戴式球结膜图像测量装置，利用对周围环境场景的图像测量结果评价眼动跟踪测量的精度。

为了解决上述三个研究问题，本申请执行方案也依次以结膜/巩膜覆盖下的血管成像组织光模型分析，建立不同深度球结膜血管进行分层的理论依据，开发出球结膜血管网图像特征分层识别和跟踪方法三个步骤展开。在先期尝试性研究成果的基础上，具体的方案步骤展示如下：1) 结膜、巩膜覆盖下的血管光散射模型建立和数值分析。

结膜血管图像的定量分析中多层血管在光学性质和图像形态上的差异，是球结膜血管图像的典型现象。眼部结膜血管的观测图像中往往包含多种不同深度血管，且结膜血管的分布和形态因人而异，所以结膜血管图像中的血管形态、宽度和覆于其上层的生物膜性质和厚度均有差异。所以，不同深度球结膜血管的光学特性与其血流参数之间具有不确定性，对球结膜血管成像的定量研究造成了影响。为此，本申请拟建立结膜/巩膜覆盖下的球结膜血管光散射模型，以计算相机接受到的球结膜目标区域光强为目标，定量分析球结膜血管的成像机理。生物组织本身是一种复杂介质，一般从组织光学的角度用输运理论分析光在生物组织中的光能分布。当组织体内部的吸收系数远小于约化散射系数时，模型满足漫射近似条件，可以根据Boltzmann传输方程推导出定态漫射方程在无限介质中对于一个点光源情况下的解：（1）其中，是组织的吸收系数，/>是组织的约化散射系数,/>是散射系数，光子的扩射系数，/>是光源与检测器之间的径向距离，/>为等效衰减系数。/>

当入射光进入组织后，光子与组织中的粒子发生相互作用后出射得到漫反射光，可用光通量近似代替漫反射光能量进行分析。把/>视为空间位置或者光波长的函数，可以在空间或者频域上分别计算出组织的吸收和散射特性对/>的影响。一般情况下，假设生物组织为半无限介质，扩散方程在外推边界条件下的解析解可以表示为：（2） 在稳定的光照条件下，入射表面上(z=0)距离光源为r的位置检测到的漫反射光强为：（3） 以上便是在理想的均匀光照条件下，处于半无限介质外一点的相机所接受到的球结膜表面反射光强的计算模型。以上理论计算公式建立贴近现实情况的球结膜血管成像模型，还需要考虑光源、血管与生物膜的三维几何尺寸及其相对位置关系。而如此复杂模型的分析，就需要借助蒙特卡洛方法等数值计算的方法来进行模拟。为了测定结膜图像中图像传感器接收的散射光强度，就需要建立光子在结膜、巩膜以及血液中传播的三维组织光学模型，使用蒙特卡洛模拟方法，对球结膜血管成像模型进行分析。首先，需要建立局部区域中结膜，巩膜和血管的三维模型：使用高长径比的圆柱体模拟无限长血管以及其中充盈的血液，定义远大于血管直径的平面模拟无限大的巩膜和覆盖于其上的结膜。分别计算对以一定深度为间隔的不同血管深度情况以及不存在血管的情况，在模拟计算中，光源为理想的均匀平行入射光，光谱范围以一般的彩色图像传感器每个光谱带宽为标准。通过蒙特卡洛方法计算模型组织中各处的光通量，求解模型表面漫反射光强，进而根据镜头的光学参数和位置条件计算出相机接收到的光强分布。

2) 比较不同深度球结膜血管的图像特征，确定血管网的分层参数。

对不同深度和直径的血管在结膜表面的反射光成分与强度进行比较，需要对相机，即镜头和图像传感器所接收到的光强信号进行分析，对多光谱、不同深度条件下模型表面漫反射的光强进行比较和分析，进一步发掘结膜血管图像的亮度及光强分布特征，根据组织光学理论模型将二维图像信息还原为三维几何位置关系。球结膜血管网组织光学模拟的理论结果要与实际成像的图像结果相对应，着重比较不同深度血管的图像特征差异，以建立血管深度和图像特征间的对应关系。例如，由不同血管深度的模型表面的归一化漫反射光强度的比较，可以得出：随着血管深度的增加，血液对于光的吸收强度减小，血管边缘漫反射光的梯度变低，与在图像中的血管边界逐渐模糊，颜色趋于灰白的成像结果一致。进一步比较不同频率的光源照明条件下，血管截面上的光吸收量，通过深浅层血管光吸收量的波长差异，进而建立与球结膜血管网图像中深浅层血管饱和度的对应关系。

在缺乏组织光学理论模型的情况下，结膜图像分析一直是球结膜血管网相关研究的主要着力点。而为达到建立血管深度和图像特征间对应关系的研究目的，也要充分利用图像传感器采集到的二维结膜血管图像的量化分析结果，尤其是为过去研究中所忽视的多光谱成像差异。图8中左图所示，我们在一幅球结膜血管图像中选取了三条较为典型的不同深度、尺度血管，一条深层主干血管，一条浅层分支血管和一条浅层主干血管。以结膜血管成像的理论模型为依据，对血管中心线处的绿色和蓝色两通道的像素灰度值进行对比。对于血管中心线处像素灰度值的比较，如图8中右图所示。由于眼球的弧形表面使得照明均一性相对较差，使得图像中不同区域的灰度均值相差较大，所以即便是同一层血管，其中心线处像素灰度均值也相对不同区域有显著的不同，而同一条血管中心线上的像素灰度也往往有很大的波动，这也是一般直接以阈值进行分割、分层的方法所面临的主要困难。而血管中心线处蓝、绿通道的灰度差异，却在均值和波动都较大的情况下保持着较为稳定的趋势变化关系。这说明实际结膜血管图像中蓝绿通道的灰度差异可以作为分离深层血管的重要指标。

由结膜血管图像的量化分析与蒙特卡洛模拟对比就可以得出，球结膜观测图像中，深层血管和背景巩膜的绿、蓝色通道灰度差值较小，明显小于浅层血管对应两通道强度的差。根据不同光谱图像亮度差异方面的信息挖掘就可以实现较为理想的结膜血管网测量图像中血管的简单分层，而进一步将这个差值与相应绿色通道的灰度值之比作为一个分离参量，将浅层血管从深层血管和巩膜构成的图像背景当中分离出来。之后，将分离参数与小波等传统的血管识别和提取方法相结合，就可以浅层血管区域从球结膜血管网图像中分割出来，如图9所示。

之前的初步研究成果显示，利用好不同光谱图像亮度差异信息，构建的分层参数就会在实际应用中获得较好的适用性，有效地应对头戴式设备的近眼测量条件下，结膜表面高反射，照明强度不均，微距测量景深浅等的问题。而本申请中进一步充分利用结膜血管图像的亮度及光强分布特征，根据组织光学理论模型将二维图像信息还原为三维几何位置关系，能够更精确的确定结膜血管网图像中血管的深度信息，为基于结膜血管特征动态识别和匹配打下基础，使得量化分析球结膜血管网变形成为可能。

3) 构建结膜血管特征的分层跟踪方法，从而实现对结膜血管网变形的动态分析。

实现了球结膜血管网的分层，就克服了球结膜血管特征识别和跟踪的技术的最大障碍。为球结膜血管网的变形的量化分析铺平了道路。分离了表层结膜血管和底层巩膜血管，就使得球结膜血管网变形问题转化为两个相互独立的常规视频特征匹配跟踪问题。目前基于血管形态学、几何、灰度特征描述子等方法就可以很好的融合进来。而由于球结膜测量图像，背景亮度和对比度高，特征明显且数量大、随机性强，是传统视频跟踪算法比较容易处理的一类问题。所以，本申请中拟建立的一套结膜血管图像特征提取和跟踪的方法，首要考虑的便是算法的简洁和高效性，以提高算法的可用性和应用潜力。另外，对于近眼的结膜血管测量方案，图像设备距离近，放大倍率高，使用高分辨率相机很容易达到较高的眼动测量精度。在前期的研究测量工作中，我们使用分辨率为1920x1080的图像采集设备，特殊安装的8mm焦距工业镜头，在30mm的物距上实现了近200pixel/mm的实际分辨率，相应的结膜眼动跟踪测量精度可以超过0.1°，优于之前研究的测量精度0.24°和目前主流商用方案的0.5°。如图10所示。

由球结膜血管网的解剖结构及前期的研究可知，球结膜会因为弹性在巩膜表面有小幅的拉伸和滑动，所以较为深层的巩膜层血管特征才是随眼球转动的“锚点”，如图11所示。而巩膜因为光散射强烈，故在图像中可见血管数量少、颜色浅、边缘模糊，不利于图像特征的识别与匹配；而相反的结膜层血管数量多、锐度高、细节丰富，可却存在与巩膜之间的相对运动和非线性变形，无法直接计算出眼球的转动角度。正因如此，本研究尝试分别构建两种测量方案，首先使用“巩膜层血管区块匹配” 的方法，直接将包含深层血管及其周围巩膜背景的像素区块整体作为跟踪元素，在视频帧之间通过基于灰度匹配的方法，实现深层巩膜血管的跟踪。而由于结膜的滑动和拉伸变形是由眼球运动引起的，与相应的运动角度和方向直接相关，所以，也可以应用“结膜层特征预标定”的方法，在对眼球主要转到方向上的眼动转角进行初始标定的时候，对浅层球结膜血管特征进行“初值”设置。通过插值的方法实现对各个转动方向的变形建模，间接地测量眼球转动角度。通过再次对比巩膜层血管特征跟踪（即真实眼动角度），实现结膜弹性和滑移的测量，为生物医学等方面的应用提供新的球结膜弹性等新的生理指标。

在前期球结膜脉搏波检测相关研究中，我们已经尝试搭建了球结膜视频测量装置，能够实现在短时间（3~5分钟）内的稳定视频测量。但鉴于对色彩分辨率的要求，相机设备体积和重量都不适合长时间的跟踪测量，而且相关设备的视野也受到限制。故而，在跟踪算法的研究期间，需要开展在此基础上的头戴式跟踪设备的改进和试制工作。测量的基本方案予以保留，而相机和固定装置以实际跟踪速度和精度要求，选取尽量小巧轻便的型号，以方便被试者佩戴和头部运动，为规模化结膜测量实验做好硬件上的准备。

与此同时，眼动跟踪的硬件方案也要考虑到标定以及精度评价方法，为此我们拟采用 “结膜测量+场景测量”双相机的方案，如图12，通过场景相机的图像实现环境目标的方位指示，略去头部姿态测量的工作，能够有效的简化头戴式眼动测量系统复杂度，是目前眼动跟踪测量系统研制方面比较主流的系统方案。

示例性电子设备：下面，参考图13来描述根据本申请实施例的电子设备。

图13图示了根据本申请实施例的电子设备的框图。

如图13所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于球结膜血管图像识别的眼动跟踪系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如优化分类特征图等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图13中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质：除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的基于球结膜血管图像识别的眼动跟踪方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的基于球结膜血管图像识别的眼动跟踪方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (6)

1.一种基于球结膜血管图像识别的眼动跟踪系统，其特征在于，包括：

图像数据采集模块，用于获取第一球结膜血管图像和第二球结膜图像；

光学成像模型构建模块，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；

分层图像提取模块，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；

空间特征增强模块，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；

差分模块，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；

优化模块，用于对所述分类特征图进行特征分布调制以得到优化分类特征图；

结果评估模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及

追踪模块，用于基于所述分类结果，进行眼球追踪；

其中，所述差分模块，用于：以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；

其中，所述公式为：

，

其中，和/>表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，/>表示所述多个差分特征矩阵，/>表示按位置差分；

其中，所述优化模块，包括：

特征图展开单元，用于将所述分类特征图展开为分类特征向量；

结构优化单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及

重构单元，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征图；

其中，所述结构优化单元，用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；

其中，所述公式为：

，

其中是所述分类特征向量，/>和/>分别是所述分类特征向量和所述优化分类特征向量的第/>个位置的特征值，且/>是行向量形式，/>和/>是所述分类特征向量的各个位置特征值集合的均值和方差，/>表示向量的二范数的平方，/>表示矩阵的Frobenius范数，/>表示指数运算。

2.根据权利要求1所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述空间特征增强模块，包括：

第一深度卷积编码单元，用于使用所述卷积神经网络模型的各层分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及

空间注意力单元，用于将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。

3.根据权利要求2所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述结果评估模块，包括：

展开单元，用于将所述优化分类特征图基于行向量或列向量展开为分类特征向量；

全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

分类结果生成单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

4.一种基于球结膜血管图像识别的眼动跟踪方法，其特征在于，包括：

获取第一球结膜血管图像和第二球结膜图像；

构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；

提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；

将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；

计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；

对所述分类特征图进行特征分布调制以得到优化分类特征图；

将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及

基于所述分类结果，进行眼球追踪；

其中，计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图，包括：以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；

其中，所述公式为：

，

其中，和/>表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，/>表示所述多个差分特征矩阵，/>表示按位置差分；

其中，对所述分类特征图进行特征分布调制以得到优化分类特征图，包括：

将所述分类特征图展开为分类特征向量；

对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及

将所述优化分类特征向量进行维度重构以得到所述优化分类特征图；

其中，对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；

其中，所述公式为：

，

其中是所述分类特征向量，/>和/>分别是所述分类特征向量和所述优化分类特征向量的第/>个位置的特征值，且/>是行向量形式，/>和/>是所述分类特征向量的各个位置特征值集合的均值和方差，/>表示向量的二范数的平方，/>表示矩阵的Frobenius范数，/>表示指数运算。

5.根据权利要求4所述的基于球结膜血管图像识别的眼动跟踪方法，其特征在于，将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵，包括：

使用所述卷积神经网络模型的各层分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及

将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。

6.根据权利要求5所述的基于球结膜血管图像识别的眼动跟踪方法，其特征在于，将所述优化分类特征图通过分类器以得到分类结果，包括：

将所述优化分类特征图基于行向量或列向量展开为分类特征向量；

使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。