CN115880283A - 用于检测角膜类型的装置、方法和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种用于检测角膜类型的装置、方法和计算机可读存储介质，该装置包括：处理器；以及存储器，其存储有用于检测角膜类型的程序指令，当所述程序指令由处理器运行时，使得所述装置执行以下操作：基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征；基于所述左眼角膜特征和所述右眼角膜特征，获取双眼的对称性特征；以及基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜类型的第一检测结果和右眼角膜类型的第二检测结果。根据本发明实施例的装置，可以获得更加精准的角膜类型检测结果。

Description

用于检测角膜类型的装置、方法和计算机可读存储介质

技术领域

本发明一般涉及图像处理技术领域。更具体地，本发明涉及一种用于检测角膜类型的装置、方法和计算机可读存储介质。

背景技术

圆锥角膜是一种严重的角膜扩张疾病，以中央变薄向前凸出，呈圆锥形为特征，其可导致不规则散光和视力下降，因此针对圆锥角膜的检测和治疗是必要的且至关重要的。目前在临床上，角膜地形图成为判断圆锥角膜的主要方法，其中角膜的曲率和厚度等参数可以从角膜地形图中获取，并在圆锥角膜的判断中起重要作用。然而，该方法需要训练有素的临床医生检查和评估各种数字参数和彩色角膜扫描图像，往往比较耗时，且判断的准确性更多的依赖于专业医生的经验。

目前，一些研究提出基于机器学习的方法来辅助进行圆锥角膜的判断，可以较大的提升检测效率。然而，无论是医生根据角膜地形图进行评估，还是基于机器学习的方法进行圆锥角膜的判断，均是基于单眼的角膜地形图来进行单眼的角膜类型判断或分类，其检测准确性仍有待提高。

有鉴于此，亟需提供一种更加精准的检测角膜类型的技术方案。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本发明在多个方面中提出了一种用于检测角膜类型的装置、方法和计算机可读存储介质。

在第一方面中，本发明提供一种用于检测角膜类型的装置，包括：处理器；以及存储器，其存储有用于检测角膜类型的程序指令，当所述程序指令由处理器运行时，使得所述装置执行以下操作：基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征；基于所述左眼角膜特征和所述右眼角膜特征，获取双眼的对称性特征；以及基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜类型的第一检测结果和右眼角膜类型的第二检测结果。

在一些实施例中，当所述程序指令由处理器运行时，还使得所述装置在基于双眼的角膜图像数据提取左眼角膜特征和右眼角膜特征中执行以下操作：获取双眼的角膜图像数据中的原始通道数据；以及使用特征提取器对输入的双眼的原始通道数据进行特征提取，以分别提取所述左眼角膜特征和所述右眼角膜特征。

在另一些实施例中，当所述程序指令由处理器运行时，还使得所述装置在使用特征提取器对输入的双眼的原始通道数据进行特征提取中还执行以下操作：对每个原始通道数据进行归一化处理，以便使用特征提取器对归一化处理后的归一化通道数据进行特征提取。

在又一些实施例中，当所述程序指令由处理器运行时，还使得所述装置在获取双眼的对称性特征中执行以下操作：使用多个第一卷积层分别对所述左眼角膜特征进行处理，以输出多个左眼特征层；使用多个第二卷积层分别对所述右眼角膜特征进行处理，以输出多个右眼特征层；以及基于多个左眼特征层和多个右眼特征层的融合结果，获得所述对称性特征。

在一些实施例中，当所述程序指令由处理器运行时，还使得所述装置在基于融合结果获得对称性特征中执行以下操作：将多个左眼特征层中一部分左眼特征层与多个右眼特征层中一部分右眼特征层进行融合操作，以得到多个融合特征；以及将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。

在另一些实施例中，多个左眼特征层包括第一左眼特征层、第二左眼特征层和第三左眼特征层；多个右眼特征层包括第一右眼特征层、第二右眼特征层和第三右眼特征层；当所述程序指令由处理器运行时，还使得所述装置在基于融合结果获得对称性特征中进一步执行以下操作：将第一左眼特征层与第一右眼特征层进行融合操作，以得到第一融合特征；将第二左眼特征层与第二右眼特征层进行融合操作，以得到第二融合特征；将第一融合特征与第三右眼特征层进行融合操作，以得到第一对称性特征；以及将第二融合特征与第三左眼特征层进行融合操作，以得到第二对称性特征。

在又一些实施例中，当所述程序指令由处理器运行时，还使得所述装置在分别输出第一检测结果和第二检测结果中进一步执行以下操作：基于所述第一对称性特征和所述左眼角膜特征，输出所述第一检测结果；基于所述第二对称性特征和所述右眼角膜特征，输出所述第二检测结果。

在一些实施例中，所述融合操作包括矩阵乘法运算。

在另一些实施例中，所述第一检测结果包括左眼角膜的检测类型的第一分数；所述第二检测结果包括右眼角膜的检测类型的第二分数；所述检测类型包括以下中的至少一种：正常角膜类型；圆锥角膜类型；早期圆锥角膜类型；顿挫型圆锥角膜类型；疑似圆锥角膜类型；和/或术后圆锥角膜类型。

在又一些实施例中，所述角膜图像数据包括角膜地形图。

在一些实施例中，所述原始通道数据包括以下中的至少一种：前房深度；前表面曲率；后表面曲率；前表面高度；后表面高度；相对厚度。

在第二方面中，本发明提供一种用于检测角膜类型的方法，包括：基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征；基于所述左眼角膜特征和所述右眼角膜特征，获取双眼的对称性特征；以及基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜的检测类型的第一分数和右眼角膜的检测类型的第二分数。

在一些实施例中，基于双眼的角膜图像数据提取左眼角膜特征和右眼角膜特征包括：获取双眼的角膜图像数据中的原始通道数据；以及使用特征提取器对输入的双眼的原始通道数据进行特征提取，以分别提取所述左眼角膜特征和所述右眼角膜特征。

在另一些实施例中，在使用特征提取器对输入的双眼的原始通道数据进行特征提取之前，所述方法还包括：对每个原始通道数据进行归一化处理，以便使用特征提取器对归一化处理后的归一化通道数据进行特征提取。

在又一些实施例中，获取双眼的对称性特征包括：使用多个第一卷积层分别对所述左眼角膜特征进行处理，以输出多个左眼特征层；使用多个第二卷积层分别对所述右眼角膜特征进行处理，以输出多个右眼特征层；以及基于多个左眼特征层和多个右眼特征层的融合结果，获得所述对称性特征。

在一些实施例中，基于融合结果获得对称性特征包括：将多个左眼特征层中一部分左眼特征层与多个右眼特征层中一部分右眼特征层进行融合操作，以得到多个融合特征；以及将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。

在另一些实施例中，多个左眼特征层包括第一左眼特征层、第二左眼特征层和第三左眼特征层；多个右眼特征层包括第一右眼特征层、第二右眼特征层和第三右眼特征层；获得对称性特征进一步包括：将第一左眼特征层与第一右眼特征层进行融合操作，以得到第一融合特征；将第二左眼特征层与第二右眼特征层进行融合操作，以得到第二融合特征；将第一融合特征与第三右眼特征层进行融合操作，以得到第一对称性特征；以及将第二融合特征与第三左眼特征层进行融合操作，以得到第二对称性特征。

在又一些实施例中，分别输出第一分数和第二分数包括：基于所述第一对称性特征和所述左眼角膜特征，输出所述第一分数；基于所述第二对称性特征和所述右眼角膜特征，输出所述第二分数。

在一些实施例中，所述融合操作包括矩阵乘法运算。

在另一些实施例中，所述检测类型包括以下中的至少一种：正常角膜类型；圆锥角膜类型；早期圆锥角膜类型；顿挫型圆锥角膜类型；疑似圆锥角膜类型；和/或术后圆锥角膜类型。

在又一些实施例中，所述角膜图像数据包括角膜地形图。

在一些实施例中，所述原始通道数据包括以下中的至少一种：前房深度；前表面曲率；后表面曲率；前表面高度；后表面高度；相对厚度。

在第三方面中，本发明提供一种计算机可读存储介质，其上存储有用于检测角膜类型的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如本发明在第二方面中任意一项所述的方法。

通过如上所提供的用于检测角膜类型的技术方案，本发明的方案中通过基于分别提取的左眼角膜特征和右眼角膜特征，获得双眼角膜的对称性特征，从而可以通过结合对称性特征，获得更加精准的角膜类型检测结果。进一步，在一些实施例中，通过使用双眼的原始通道数据作为输入，可以避免部分原始数据和有效信息的丢失或遗漏，有利于进一步提高检测结果的准确性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本发明实施例的用于检测角膜类型的装置的示意性框图；

图2是示出根据本发明实施例的检测角膜类型的流程示意图；

图3是示出根据本发明另一个实施例的检测双眼角膜类型的流程示意图；

图4是示出根据本发明实施例的用于检测角膜类型的方法流程图；

图5示出了根据本发明实施例的装置在测试集中的ROC曲线；以及

图6示出了单眼模型在测试集中的ROC曲线。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合附图来详细描述本发明的具体实施方式。

图1是示出根据本发明实施例的用于检测角膜类型的装置的示意性框图。如图1中所示，该用于检测角膜类型的装置100可以包括处理器110和存储器120。在一些实施方式中，这里的处理器110可以包括通用处理器(“CPU”)和/或专用图形处理器（“GPU”），并且存储器120可以存储有用于检测角膜类型的程序指令。

在检测角膜类型的操作中，当上述程序指令由处理器110运行时，将使得本发明的装置100执行以下操作：基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征。这里双眼的角膜图像数据应该是来自同一个体（即同一患者）的双眼的角膜图像数据，而非分别来自不同患者。在一些实施例中，角膜图像数据可以由图像采集设备采集得到，例如可以由眼前节分析仪采集得到。双眼的角膜图像数据可以由图像采集设备对双眼分别采集而得到，也可以同时采集来得到。

在一些应用场景中，眼前节分析仪可以基于Scheimpflug相机成像，Scheimpflug相机基于Scheimpflug定律。Scheimpflug相机可以具有两个摄像头，其中一个位于中心的静态摄像头，用于检测瞳孔大小并保持患者的固定，另一个摄像头在旋转轮上，用于从角膜缘到角膜缘捕捉角膜和眼前节的3D视图。在另一些实施例中，角膜图像数据可以包括角膜地形图。

在一些实施例中，可以使用特征提取器来对输入的双眼的角膜图像数据进行特征提取。左眼角膜特征可以来自左眼的角膜图像数据。右眼角膜特征可以来自右眼的角膜图像数据。特征提取器可以采用现有的或者未来可实现的技术实现。在一些实施例中，特征提取器可以采用例如ResNet、InceptionResnetv2、DenseNet等模型中的特征提取模块的网络结构来实现。在另一些实施例中，特征提取器可以包括卷积层和池化层等。

本发明人发现，现有的研究主要使用单眼的数据，忽略了角膜对称性这一重要特性。对于基于单眼数据的角膜类型检测方案，往往只能基于固定的判断标准来确定角膜类型是否正常或者是否为圆锥角膜。相比较而言，通过对双眼角膜特征的比较，能够发现双眼角膜之间的细微差别，从而可以有利于更敏感、更准确的判断出双眼角膜的类型。

基于以上发现，在基于双眼的角膜图像数据，获得了左眼角膜特征和右眼角膜特征之后，本发明的装置100可以进一步执行：基于左眼角膜特征和右眼角膜特征，获取双眼的对称性特征。在一些实施例中，可以通过对左眼角膜特征和右眼角膜特征进行比较，来获得对称性特征。在另一些实施例中，可以通过对左眼角膜特征和右眼角膜特征进行特征融合，来获得对称性特征。在又一些实施例中，可以使用深度神经网络来对左眼角膜特征和右眼角膜特征进行学习，以获得双眼之间的对称性特征。例如，可以使用Inception V3模型来对左眼角膜特征和右眼角膜特征进行推理，以输出对称性特征。在一些实施例中，对称性特征可以包括例如双眼角膜的曲率、厚度、深度等特征的对称性。

在又一些实施例中，装置100可以进一步执行：基于左眼角膜特征和右眼角膜特征，可以分别获取第一对称性特征和第二对称性特征。在一些实施例中，第一对称性特征可以表示例如左眼到右眼的对称性；第二对称性特征可以表示例如右眼到左眼的对称性。根据这样的设置，可以分别获得表达方向不同的对称性特征，有利于充分提取双眼角膜之间的对称性特征，以获得更好的检测结果。

在获得了对称性特征之后，本发明的装置100还可以执行：基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜类型的第一检测结果和右眼角膜类型的第二检测结果。在一些实施例中，本发明的装置100还可以进一步执行：基于左眼角膜特征和对称性特征，输出左眼角膜类型的第一检测结果；基于右眼角膜特征和对称性特征，输出右眼角膜类型的第二检测结果。在另一些实施例中，第一检测结果和第二检测结果的计算过程可以采用包括卷积层、池化层和全连接层的网络结构来实现。

在一些实施例中，第一检测结果可以包括左眼角膜对应的检测类型的分类结果；第二检测结果可以包括右眼角膜对应的检测类型的分类结果。在另一些实施例中，第一检测结果可以包括左眼角膜的检测类型的第一分数；第二检测结果可以包括右眼角膜的检测类型的第二分数。在一些实施例中，检测类型可以包括以下中的至少一种：正常角膜类型（“Normal”）；圆锥角膜类型（简称KC）；早期圆锥角膜类型（简称Early KC）；顿挫型圆锥角膜类型（简称FF KC）；疑似圆锥角膜类型（“Suspect”）；和/或术后圆锥角膜类型（“Post_Operative”）等。左眼角膜对应的检测类型和右眼角膜对应的检测类型可以相同或不同。左眼角膜对应的检测类型和右眼角膜对应的检测类型的数量可以设置的相同或不同。

在一些实施例中，第一分数和/或第二分数可以为概率值，用于表示待测角膜（即左眼角膜或右眼角膜）属于检测类型的概率。左眼角膜对应的每个检测类型可以对应输出一个第一分数，右眼角膜对应的每个检测类型可以对应输出一个第二分数。在一些应用场景中，当设置的左眼角膜对应的检测类型和/或右眼角膜对应的检测类型均仅包括一种时，可以对应输出一个第一分数和/或一个第二分数。在另一些应用场景中，当设置的左眼角膜对应的检测类型和/或右眼角膜对应的检测类型为多种时，可以对应输出多个第一分数和/或多个第二分数。

以上结合图1对根据本发明实施例的用于检测角膜类型的装置进行了详细的描述，可以理解的是，本发明实施例的装置能够通过检测对称性特征，并结合对称性特征输出双眼角膜的检测结果，有利于提高检测结果的准确性。还可以理解的是，上面的描述是示例性的而非限制性的，本发明还在多个具体实施例中提供了有利于进一步提高检测结果准确性的方案，例如采用原始通道数据、构建双眼模型等。下面将结合图2进行示例性的描述。

图2是示出根据本发明实施例的检测角膜类型的流程示意图。如图2中所示，在一些实施例中，当程序指令由处理器运行时，还使得本发明实施例的装置在基于双眼的角膜图像数据提取左眼角膜特征和右眼角膜特征中执行以下操作：获取双眼的角膜图像数据中的原始通道数据；以及使用特征提取器210对输入的双眼的原始通道数据进行特征提取，以分别提取左眼角膜特征220和右眼角膜特征230。

上文中所述的原始通道数据来源于角膜图像数据中的原始数据，而不是对角膜图像数据进行处理或者参数转换后的数据。上述原始通道数据可以是经由角膜图像采集设备（例如眼前节分析仪）直接采集得到的数据类型。在一些实施例中，原始通道数据可以包括以下中的至少一种：前房深度（简称ACD）；前表面曲率（简称CUR-1）；后表面曲率（简称CUR-2）；前表面高度（简称ELE-1）；后表面高度（简称ELE-2）；相对厚度（简称PAC）等通道数据。这里的相对厚度可以表示角膜表面不同区域角膜的相对厚度，即与周围区域的厚度差。在一些应用场景中，当待处理的单眼的原始通道数据类型为一种时，输入特征提取器210的数据为双眼的两个通道的原始通道数据。在另一些应用场景中，当待处理的单眼的原始通道数据类型为六种时，输入特征提取器210的数据为双眼的十二个通道的原始通道数据。

本发明人发现，现有的用于辅助进行角膜检测的机器学习模型中，通常是对角膜地形图的参数（例如角膜曲率，角膜厚度，角膜方位等）进行学习，以实现对角膜数据的分类，而这些输入的不同参数来自于对角膜地形图的分析和处理，导致数据采集的流程复杂且可能会造成部分角膜地形图的原始数据和信息的丢失。通过本发明实施例的使用原始通道数据来直接进行特征提取，可以有效避免图像及参数转换过程中造成的信息损失，进而有利于模型学习到更多更准确的原始信息，从而有利于进一步提高检测结果的准确性。

在另一些实施例中，当程序指令由处理器运行时，还使得本发明实施例的装置在使用特征提取器210对输入的双眼的原始通道数据进行特征提取中还可以执行以下操作：对每个原始通道数据进行归一化处理，以便使用特征提取器210对归一化处理后的归一化通道数据进行特征提取。由于不同通道的数值范围存在一定的差异，因此通过进行归一化处理，可以防止因数据规模的不同而对模型学习造成的影响。

在一些实施例中，归一化处理即为将每个原始通道数据中的各数据均归一化到0-1的范围内。在另一些实施例中，对于任一原始通道数据中的每个数据，可以通过如下操作来获得其归一化结果：将该数据与该数据所在原始通道数据中的数据最小值之间作差，以获得二者之间的差值；以及将该差值与原始通道数据中的数据最大值的比值作为该数据的归一化结果。各数据的归一化结果构成了所在通道的归一化通道数据。

为了进一步提高检测结果的准确性，本发明实施例中构建了更适合进行双眼角膜检测的双眼模型，该双眼模型中可以包括上述特征提取器210，还可以包括左眼检测分支、右眼检测分支以及二者之间的融合等，左眼检测分支可以包括多个并列设置的第一卷积层240，右眼检测分支可以包括多个并列设置的第二卷积层260。根据本发明实施例的装置中的存储器可以存储该双眼模型的结构和模型参数，以便处理器可以执行基于该双眼模型进行双眼角膜类型检测的操作。下面将结合图2进行详细说明。

在又一些实施例中，当程序指令由处理器运行时，还使得本发明实施例的装置在获取双眼的对称性特征280中可以执行以下操作：使用多个第一卷积层240分别对左眼角膜特征220进行处理，以输出多个左眼特征层250；使用多个第二卷积层260分别对右眼角膜特征230进行处理，以输出多个右眼特征层270；以及基于多个左眼特征层250和多个右眼特征层270的融合结果，获得对称性特征280。

通过设置多个卷积层分别对角膜特征进行处理，可以输出多个层次的特征层。在一些实施例中，多个左眼特征层250和/或多个右眼特征层270可以为隐藏层。进一步地，通过基于多个左眼特征层250和多个右眼特征层270的一次或者多次融合操作，可以获得一个或者多个对称性特征280。在另一些实施例中，融合操作可以包括矩阵乘法运算。

如图2中进一步示出的，双眼模型还可以包括左眼输出分支291和右眼输出分支292。具体地，可以结合左眼角膜特征220和对称性特征280，通过左眼输出分支291输出第一检测结果；以及结合右眼角膜特征230和对称性特征280，通过右眼输出分支292输出第二检测结果。在一些实施例中，左眼输出分支291和右眼输出分支292可以分别包括卷积层、池化层和全连接层来实现。在另一些实施例中，左眼输出分支291和右眼输出分支292可以采用现有的或者未来可实现的分类模型的输出结构来实现。

以上结合图2对根据本发明实施例的基于构建的双眼模型进行双眼角膜检测的流程进行了示例性的描述，可以理解的是，上面的描述是示例性的而非限制性的，例如对称性特征可以不限于图示中的一个，可以根据融合结果输出多个。进一步地，在图2所示实施例的基础上，本发明人进一步对构建的双眼模型进行了优化，以期获得更好的检测效果。下面将结合图3进行描述。

图3是示出根据本发明另一个实施例的检测双眼角膜类型的流程示意图。通过下面的描述可知，图3所示的流程可以是图2所示的流程的一个具体化表现形式，因此前文中结合图2的描述也可以适用于下面对图3的描述中。

如图3中所示，根据本发明实施例的双眼模型可以包括图示中的特征提取器210、多个第一卷积层（图中未示出）、多个第二卷积层（图中未示出）、多个左眼特征层、多个右眼特征层以及多个融合操作等。特征提取器210可以对输入的双眼的角膜图像数据进行特征提取，以分别输出左眼角膜特征220和右眼角膜特征230；左眼角膜特征220经过多个第一卷积层处理后，可以分别输出多个对应的左眼特征层，右眼角膜特征230经过多个第二卷积层处理后，可以分别输出多个对应的右眼特征层。该过程已经在前文中结合图2进行了描述，此处不再赘述。

在一些实施例中，当程序指令由处理器运行时，还使得本发明实施例的装置在基于融合结果获得对称性特征中可以执行以下操作：将多个左眼特征层中一部分左眼特征层与多个右眼特征层中一部分右眼特征层进行融合操作，以得到多个融合特征；以及将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。

为了便于说明，下面将以图3中所示的三个左眼特征层和三个右眼特征层为例进行示例性的描述。如图3中进一步示出的，在设置三个第一卷积层和三个第二卷积层的情况下，可以对应输出的多个左眼特征层可以包括第一左眼特征层311、第二左眼特征层312和第三左眼特征层313，以及输出的多个右眼特征层可以包括第一右眼特征层321、第二右眼特征层322和第三右眼特征层323。

进一步地，当程序指令由处理器运行时，还使得本发明实施例的装置在基于融合结果获得对称性特征中可以进一步执行以下操作：可以将多个左眼特征层（例如图示中的第一左眼特征层311、第二左眼特征层312和第三左眼特征层313）中一部分左眼特征层（例如第一左眼特征层311和第二左眼特征层）与多个右眼特征层（例如图示中的第一右眼特征层321、第二右眼特征层322和第三右眼特征层323）中一部分右眼特征层（例如第一右眼特征层321、第二右眼特征层322）进行融合操作，以得到多个融合特征。例如，可以将第一左眼特征层311与第一右眼特征层321进行融合操作，以得到第一融合特征331；将第二左眼特征层312与第二右眼特征层322进行融合操作，以得到第二融合特征332。

在一些实施例中，第一融合特征331可以用于表示第一左眼特征层311到第一右眼特征层321的融合特征。在另一些实施例中，第二融合特征332可以用于表示第二右眼特征层322到第二左眼特征层312的融合特征。在又一些实施例中，通过设置左眼特征层与右眼特征层进行矩阵乘法运算时的左乘右乘关系，可以确定融合操作后的融合特征的方向性。例如，左眼特征层左乘以右眼特征层，可以得到右眼特征层到左眼特征层的融合特征。获得不同方向性的融合特征可以有利于生成能够用于与左眼角膜特征和右眼角膜特征分别结合的第一对称性特征和第二对称性特征。下面将进行具体说明。

然后，本发明实施例的装置还可以执行以下操作：将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。另一部分左眼特征层即为多个左眼特征层中除用于得到融合特征的那一部分左眼特征层之外的其他左眼特征层，例如图示中的第三左眼特征层313。另一部分右眼特征层即为多个右眼特征层中除用于得到融合特征的那一部分右眼特征层之外的其他右眼特征层，例如图示中的第三右眼特征层323。

如图3中进一步示出的，当程序指令由处理器运行时，还使得本发明实施例的装置在分别得到第一对称性特征和第二对称性特征中可以进一步执行以下操作：将第一融合特征331与第三右眼特征层323进行融合操作，以得到第一对称性特征341；以及将第二融合特征332与第三左眼特征层313进行融合操作，以得到第二对称性特征342。

在又一些实施例中，当程序指令由处理器运行时，还使得本发明实施例的装置在分别输出第一检测结果和第二检测结果中可以进一步执行以下操作：基于第一对称性特征341和左眼角膜特征220，经由左眼输出分支291输出第一检测结果；基于第二对称性特征342和右眼角膜特征230，经由右眼输出分支292输出第二检测结果。在一些实施例中，第一对称性特征341和左眼角膜特征220可以经由卷积层、池化层和全连接层的处理后，输出第一检测结果；第二对称性特征342和右眼角膜特征230可以经由卷积层、池化层和全连接层的处理后，输出第二检测结果。

以上结合图3对根据本发明另一个实施例的检测角膜类型的流程进行了示例性的说明，需要理解的是，上面的说明是示例性的而非限制性的，例如左眼特征层的数量和右眼特征层的数量可以不限于图示中的三个，可以根据需要设置的更多。还例如，另一部分左眼特征层的数量可以不限于图示中的一个，可以根据需要设置的更多；类似地，另一部分右眼特征层的数量可以不限于图示的一个，可以根据需要设置的更多。此处将不做穷举，本领域技术人员可以在本文公开的技术教导下，根据需要来设置卷积层的数量，以便进行类似的融合操作的过程，来实现双眼角膜检测的目的。

本发明还在第二方面中提供一种用于检测角膜类型的方法，下面将结合图4进行说明。如图4中所示，该方法400可以包括：在步骤401中，可以基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征；在步骤402中，可以基于左眼角膜特征和右眼角膜特征，获取双眼的对称性特征；以及在步骤403中，可以基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜的检测类型的第一分数和右眼角膜的检测类型的第二分数。

在一些实施例中，基于双眼的角膜图像数据提取左眼角膜特征和右眼角膜特征可以包括：获取双眼的角膜图像数据中的原始通道数据；以及使用特征提取器对输入的双眼的原始通道数据进行特征提取，以分别提取左眼角膜特征和右眼角膜特征。

在另一些实施例中，在使用特征提取器对输入的双眼的原始通道数据进行特征提取之前，方法400还可以包括：对每个原始通道数据进行归一化处理，以便使用特征提取器对归一化处理后的归一化通道数据进行特征提取。

在又一些实施例中，获取双眼的对称性特征可以包括：使用多个第一卷积层分别对左眼角膜特征进行处理，以输出多个左眼特征层；使用多个第二卷积层分别对右眼角膜特征进行处理，以输出多个右眼特征层；以及基于多个左眼特征层和多个右眼特征层的融合结果，获得对称性特征。

在一些实施例中，基于融合结果获得对称性特征可以包括：将多个左眼特征层中一部分左眼特征层与多个右眼特征层中一部分右眼特征层进行融合操作，以得到多个融合特征；以及将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。

在另一些实施例中，多个左眼特征层可以包括第一左眼特征层、第二左眼特征层和第三左眼特征层；多个右眼特征层可以包括第一右眼特征层、第二右眼特征层和第三右眼特征层；获得对称性特征可以进一步包括：将第一左眼特征层与第一右眼特征层进行融合操作，以得到第一融合特征；将第二左眼特征层与第二右眼特征层进行融合操作，以得到第二融合特征；将第一融合特征与第三右眼特征层进行融合操作，以得到第一对称性特征；以及将第二融合特征与第三左眼特征层进行融合操作，以得到第二对称性特征。

在又一些实施例中，分别输出第一分数和第二分数可以包括：基于第一对称性特征和左眼角膜特征，输出第一分数；基于第二对称性特征和右眼角膜特征，输出第二分数。

在一些实施例中，融合操作可以包括矩阵乘法运算。

在另一些实施例中，检测类型可以包括以下中的至少一种：正常角膜类型；圆锥角膜类型；早期圆锥角膜类型；顿挫型圆锥角膜类型；疑似圆锥角膜类型；和/或术后圆锥角膜类型等。

在又一些实施例中，角膜图像数据可以包括角膜地形图。

在一些实施例中，原始通道数据可以包括以下中的至少一种：前房深度；前表面曲率；后表面曲率；前表面高度；后表面高度；相对厚度等。

本发明实施例的方法已经在前文中结合装置进行了详细的描述，此处将不再赘述。

还应当理解，当本发明的方案还可以借助于计算机指令来实现，该计算机指令可以存储于计算机可读介质中。根据不同的实现方式，该计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。

基于上文，本发明还公开了一种计算机可读存储介质，其上存储有用于检测角膜类型的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如本发明在第二方面中任意一项所述的方法。换句话说，该程序指令的执行可以实现结合图1-图4任一所描述的本发明的方案。

上述的计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（StaticRandom-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（HybridMemory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是本公开的设备的一部分或可访问或可连接到设备。本公开描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。

为了便于理解本发明实施例的技术效果，下面将结合实验例来进行进一步的说明。首先，在下面的实验例中，采用的装置中的处理器可以包括：型号为Intel(R) Xeon(R)Gold 6252 CPU @ 2.10GHz的CPU和型号为GTX 1080的GPU。然后，本实验例中收集了16579张角膜图像数据，其可以分为六组患者，即包括正常角膜类型、圆锥角膜、早期圆锥角膜、顿挫型圆锥角膜、疑似圆锥角膜和术后圆锥角膜这六种类型的组别患者。

在构建了例如前文中结合图3所描述的双眼模型之后，在对该双眼模型的训练阶段，可以按照8:1:1的比例将上述实验数据划分为训练集、验证集和测试集。具体划分的数据分布可以如下表1所示。

表1：

/>

另外，在基于训练集进行训练之前，可以获取原始通道数据，并进行归一化处理。在使用训练集的数据对本发明实施例的双眼模型进行训练的过程中，可以使用交叉熵损失函数作为模型优化目标，模型的输入图片大小可以为141x141，批大小可以为32，并且可以采用Adam优化算法，其初始学习率可以设置为0.0001。

进一步地，实验中在训练集上训练，选取验证集上结果最好的双眼模型的模型参数，在测试集上对加载有该结果最好的双眼模型的装置进行测试。针对实验结果，可以使用AUC、Accuracy（准确率）、Sensitivity（灵敏度）和Specificity（特异性）作为评估指标。AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，ROC曲线一般指接受者操作特征曲线。图5示出了根据本发明实施例的装置在测试集中的ROC曲线。基于图5中所示的ROC曲线，可以得到测试集上的AUC值。本发明实施例的装置在测试集上的测试结果可参见下表2。

表2：

为了比较使用双眼数据与单眼数据造成的模型性能的差异，本实验例中还将仅用于对输入的单眼数据进行检测的单眼模型作为对比实验，并使用与本发明实施例的双眼模型相同的训练集进行单眼模型的训练。该单眼数据的输入数据可以为单眼的原始通道数据，并可包括特征提取器的模型结构，以及通过单眼输出模块输出单眼检测结果。单眼模型中不包括本发明实施例的双眼模型中的对称性特征提取模块，例如图3中所示出的双眼的角膜特征到双眼的输出分支之间的网络结构。本实验例中单眼模型在测试集上的结果表现可见表3。图6示出了单眼模型在测试集中的ROC曲线。表3中的AUC值即基于图6中所示的ROC曲线得到。

表3：

通过对比表2和表3，可以看出，相比较于传统的方案中使用单眼模型进行检测，本发明实施例的基于双眼模型的检测方案在各类别的整体性能均普遍高于单眼模型，尤其对于早期圆锥角膜和顿挫型圆锥角膜类，检测结果的提升效果更加明显。

此外，相比较于使用不同参数组合进行圆锥角膜的检测算法，本发明实施例中使用原始通道数据进行检测得到的检测结果也优于使用参数进行检测的方案。例如，在文献“Ruiz Hidalgo, Irene MSc; Rodriguez, Pablo MSc, PhD; Rozema, Jos J. MSc, PhD;Ní Dhubhghaill, Sorcha MBBS, PhD; Zakaria, Nadia MBBS, PhD;Tassignon, Marie-José MD, PhD; Koppen, Carina MD, PhD. Evaluation of a Machine-LearningClassifier forKeratoconus Detection Based on Scheimpflug Tomography. Cornea:June 2016 - Volume 35 - Issue 6 - p 827-832 doi: 10.1097/ICO.0000000000000834”中使用角膜曲率、前房、角膜厚度等22个参数通过机器学习模型进行圆锥角膜的预测，该模型的平均准确率为88.8%，低于本发明实施例中的双眼模型的平均准确率94.3%（由表2中所示的各类型对应的准确率的平均值得出）。

通过上面对本发明的用于检测角膜类型的技术方案以及多个实施例的描述，本领域技术人员可以理解的是，本发明的装置可以通过对双眼的角膜图像数据进行分析，以获得对称性特征，并通过结合对称性特征来分别输出针对左眼角膜的第一检测结果和针对右眼角膜的第二检测结果，有利于实现更高的检测性能，具有很强的实用价值，以及为圆锥角膜的检测和筛选提供了有效的工具。在一些实施例中，通过设置对左右眼特征的多次融合操作以得到第一对称性特征和第二对称性特征，可以使得装置能够自动且更好的学习到双眼的曲率分布等对称性，从而能够实现比基于单眼模型的检测方案更加高效、精准和更优性能的检测结果。

虽然本文已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。

Claims (23)

1.一种用于检测角膜类型的装置，其特征在于，包括：

处理器；以及

存储器，其存储有用于检测角膜类型的程序指令，当所述程序指令由处理器运行时，使得所述装置执行以下操作：

基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征；

基于所述左眼角膜特征和所述右眼角膜特征，获取双眼的对称性特征；以及

基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜类型的第一检测结果和右眼角膜类型的第二检测结果。

2.根据权利要求1所述的装置，其特征在于，当所述程序指令由处理器运行时，还使得所述装置在基于双眼的角膜图像数据提取左眼角膜特征和右眼角膜特征中执行以下操作：

获取双眼的角膜图像数据中的原始通道数据；以及

使用特征提取器对输入的双眼的原始通道数据进行特征提取，以分别提取所述左眼角膜特征和所述右眼角膜特征。

3.根据权利要求2所述的装置，其特征在于，当所述程序指令由处理器运行时，还使得所述装置在使用特征提取器对输入的双眼的原始通道数据进行特征提取中还执行以下操作：

对每个原始通道数据进行归一化处理，以便使用特征提取器对归一化处理后的归一化通道数据进行特征提取。

4.根据权利要求1-3任一所述的装置，其特征在于，当所述程序指令由处理器运行时，还使得所述装置在获取双眼的对称性特征中执行以下操作：

使用多个第一卷积层分别对所述左眼角膜特征进行处理，以输出多个左眼特征层；

使用多个第二卷积层分别对所述右眼角膜特征进行处理，以输出多个右眼特征层；以及

基于多个左眼特征层和多个右眼特征层的融合结果，获得所述对称性特征。

5.根据权利要求4所述的装置，其特征在于，当所述程序指令由处理器运行时，还使得所述装置在基于融合结果获得对称性特征中执行以下操作：

将多个左眼特征层中一部分左眼特征层与多个右眼特征层中一部分右眼特征层进行融合操作，以得到多个融合特征；以及

将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。

6.根据权利要求5所述的装置，其特征在于，

多个左眼特征层包括第一左眼特征层、第二左眼特征层和第三左眼特征层；

多个右眼特征层包括第一右眼特征层、第二右眼特征层和第三右眼特征层；

当所述程序指令由处理器运行时，还使得所述装置在基于融合结果获得对称性特征中进一步执行以下操作：

将第一左眼特征层与第一右眼特征层进行融合操作，以得到第一融合特征；

将第二左眼特征层与第二右眼特征层进行融合操作，以得到第二融合特征；

将第一融合特征与第三右眼特征层进行融合操作，以得到第一对称性特征；以及

将第二融合特征与第三左眼特征层进行融合操作，以得到第二对称性特征。

7.根据权利要求5或6所述的装置，其特征在于，当所述程序指令由处理器运行时，还使得所述装置在分别输出第一检测结果和第二检测结果中进一步执行以下操作：

基于所述第一对称性特征和所述左眼角膜特征，输出所述第一检测结果；

基于所述第二对称性特征和所述右眼角膜特征，输出所述第二检测结果。

8.根据权利要求5或6所述的装置，其特征在于，所述融合操作包括矩阵乘法运算。

9.根据权利要求1所述的装置，其特征在于，

所述第一检测结果包括左眼角膜的检测类型的第一分数；

所述第二检测结果包括右眼角膜的检测类型的第二分数；

所述检测类型包括以下中的至少一种：正常角膜类型；圆锥角膜类型；早期圆锥角膜类型；顿挫型圆锥角膜类型；疑似圆锥角膜类型；和/或术后圆锥角膜类型。

10.根据权利要求1所述的装置，其特征在于，所述角膜图像数据包括角膜地形图。

11.根据权利要求2所述的装置，其特征在于，所述原始通道数据包括以下中的至少一种：前房深度；前表面曲率；后表面曲率；前表面高度；后表面高度；相对厚度。

12.一种用于检测角膜类型的方法，其特征在于，包括：

基于双眼的角膜图像数据，分别提取左眼角膜特征和右眼角膜特征；

基于所述左眼角膜特征和所述右眼角膜特征，获取双眼的对称性特征；以及

基于左眼角膜特征、右眼角膜特征和对称性特征，分别输出左眼角膜的检测类型的第一分数和右眼角膜的检测类型的第二分数。

13.根据权利要求12所述的方法，其特征在于，基于双眼的角膜图像数据提取左眼角膜特征和右眼角膜特征包括：

获取双眼的角膜图像数据中的原始通道数据；以及

使用特征提取器对输入的双眼的原始通道数据进行特征提取，以分别提取所述左眼角膜特征和所述右眼角膜特征。

14.根据权利要求13所述的方法，其特征在于，在使用特征提取器对输入的双眼的原始通道数据进行特征提取之前，所述方法还包括：

对每个原始通道数据进行归一化处理，以便使用特征提取器对归一化处理后的归一化通道数据进行特征提取。

15.根据权利要求12-14任一所述的方法，其特征在于，获取双眼的对称性特征包括：

使用多个第一卷积层分别对所述左眼角膜特征进行处理，以输出多个左眼特征层；

使用多个第二卷积层分别对所述右眼角膜特征进行处理，以输出多个右眼特征层；以及

基于多个左眼特征层和多个右眼特征层的融合结果，获得所述对称性特征。

16.根据权利要求15所述的方法，其特征在于，基于融合结果获得对称性特征包括：

将多个左眼特征层中一部分左眼特征层与多个右眼特征层中一部分右眼特征层进行融合操作，以得到多个融合特征；以及

将多个融合特征分别与另一部分左眼特征层和另一部分右眼特征层进行融合操作，以分别得到第一对称性特征和第二对称性特征。

17.根据权利要求16所述的方法，其特征在于，

多个左眼特征层包括第一左眼特征层、第二左眼特征层和第三左眼特征层；

多个右眼特征层包括第一右眼特征层、第二右眼特征层和第三右眼特征层；

获得对称性特征进一步包括：

将第一左眼特征层与第一右眼特征层进行融合操作，以得到第一融合特征；

将第二左眼特征层与第二右眼特征层进行融合操作，以得到第二融合特征；

将第一融合特征与第三右眼特征层进行融合操作，以得到第一对称性特征；以及

将第二融合特征与第三左眼特征层进行融合操作，以得到第二对称性特征。

18.根据权利要求16或17所述的方法，其特征在于，分别输出第一分数和第二分数包括：

基于所述第一对称性特征和所述左眼角膜特征，输出所述第一分数；

基于所述第二对称性特征和所述右眼角膜特征，输出所述第二分数。

19.根据权利要求16或17所述的方法，其特征在于，所述融合操作包括矩阵乘法运算。

20.根据权利要求12所述的方法，其特征在于，所述检测类型包括以下中的至少一种：正常角膜类型；圆锥角膜类型；早期圆锥角膜类型；顿挫型圆锥角膜类型；疑似圆锥角膜类型；和/或术后圆锥角膜类型。

21.根据权利要求12所述的方法，其特征在于，所述角膜图像数据包括角膜地形图。

22.根据权利要求13所述的方法，其特征在于，所述原始通道数据包括以下中的至少一种：前房深度；前表面曲率；后表面曲率；前表面高度；后表面高度；相对厚度。

23.一种计算机可读存储介质，其特征在于，其上存储有用于检测角膜类型的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求12-22中任意一项所述的方法。

Images