CN115578783A - 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 - Google Patents

Abstract

本公开涉及一种基于眼部图像进行眼部疾病识别的装置、方法及相关产品。该装置包括处理器；存储器；以及存储在所述存储器中并且可在所述处理器上执行的程序指令，其中所述存储器中还存储有多个特征提取模型和决策模型；所述处理器执行所述程序指令时实现以下操作：获取待识别眼部疾病的眼部图像；使用所述多个特征提取模型对所述眼部图像进行特征提取，以获得每个所述特征提取模型对应的特征结果；以及使用所述决策模型来至少基于所述对应的特征结果对与所述眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。利用本公开的方案，能够基于眼部图像获得更准确的眼部疾病识别结果。

Description

基于眼部图像进行眼部疾病识别的装置、方法及相关产品

技术领域

本公开一般地涉及眼部疾病识别技术领域。更具体地，本公开涉及一种基于眼部图像进行眼部疾病识别的装置、方法以及计算机可读存储介质。

背景技术

眼底是人体中唯一能够直接看到血管的器官，而人体疾病的发生，往往会致使全身血管以及各个组织产生不同的变化。由此，临床通常使用眼部图像来识别眼部疾病。具体地，通过使用不同图像采集设备对眼部进行拍照以及扫描，以得到不同类型的眼部图像，进而通过眼部图像来观察例如血管或者视网膜等眼底器官的变化，以识别常见的眼底疾病（例如视网膜脱离，病理性近视，青光眼等）以及部分非眼底疾病引起的眼底病变（例如高血压眼底病变，糖尿病性视网膜病变，静脉阻塞等）。

目前，通常利用深度学习的图像分类技术来对眼部疾病进行分类识别，并且可以由识别单一疾病分级扩展到多种疾病的分类识别。然而，由于眼部疾病的特点以及医学问题的复杂性，单纯使用分类模型或者病灶检测模型，往往无法有效捕捉病灶和疾病之间的复杂关系，从而无法识别位于决策边界的眼部疾病。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本公开的方案提供了一种基于眼部图像进行眼部疾病识别的方案。利用本公开的方案，可以获得更准确的眼部疾病识别结果。为此，本公开在如下的多个方面提供解决方案。

在一个方面中，本公开提供一种基于眼部图像进行眼部疾病识别的装置，包括：处理器；存储器；以及存储在所述存储器中并且可在所述处理器上执行的程序指令，其中所述存储器中还存储有多个特征提取模型和决策模型；所述处理器执行所述程序指令时实现以下操作：获取待识别眼部疾病的眼部图像；使用所述多个特征提取模型对所述眼部图像进行特征提取，以获得每个所述特征提取模型对应的特征结果；以及使用所述决策模型来至少基于所述对应的特征结果对与所述眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。

在一个实施例中，所述多个特征提取模型包括以下中的一个或多个模型：用于对疾病种类的特征进行提取的疾病种类提取模型；用于对病灶的特征进行提取的病灶提取模型；用于对特定区域的特征以及特定区域疾病的特征进行提取的特定区域提取模型；以及用于对眼部血管的特征以及眼部血管疾病的特征进行提取的眼部血管提取模型。

在另一个实施例中，所述特定区域提取模型包括特定区域分割模块和特定区域分类模块，其中：所述特定区域分割模块用于对所述眼部图像中的特定区域的特征进行分割提取，以获得所述特定区域的特征；以及所述特定区域分类模块用于对所述特定区域进行疾病分类，以获得所述特定区域疾病的特征。

在又一个实施例中，所述眼部血管提取模型包括眼部血管分割模块和眼部血管分类模块，其中：所述眼部血管分割模块用于对所述眼部图像中的眼部血管的特征进行分割提取，以获得所述眼部血管的特征；以及所述眼部血管分类模块用于对所述眼部血管进行疾病分类，以获得眼部血管疾病的特征。

在又一个实施例中，所述眼部血管提取模型还包括眼部血管量化模块，并且所述眼部血管量化模块用于对所述眼部血管的特征进行量化估计，以获得眼部血管量化特征。

在又一个实施例中，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：将所述对应的特征结果，以及选择性地将医学先验信息以及与患者相关的结构化数据作为决策输入数据，输入至所述决策模型，以输出眼部疾病的识别结果。

在一些实施例中，所述结构化数据至少包括患者的疾病史信息。

在一些实施例中，所述决策输入数据包括文本、数字和图片中任一或多种形式。

在一些实施例中，所述决策模型为逻辑判断模型，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：将所述决策输入数据进行数字化和/或向量化，以生成用于所述逻辑判断模型的输入数据；以及使用所述逻辑判断模型至少基于所述输入数据来对眼部疾病进行逻辑条件判断，以输出眼部疾病的判断结果。

在一些实施例中，所述决策模型为第一类机器学习模型，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：将所述决策输入数据进行数字化和/或向量化，以获得与决策判断相关的向量化数据，其中所述向量化数据具有固定维度；以及将所述向量化数据输入至所述第一类机器学习模型，以输出眼部疾病的识别结果，所述识别结果包括疾病的概率。

在一些实施例中，所述决策模型为第二类机器学习模型，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：至少将所述决策输入数据输入至所述第二类机器学习模型，以输出眼部疾病的识别结果，其中所述决策输入数据的规模可变。

在一些实施例中，所述第二类机器学习模型包括自然语言处理NLP模型。

在一些实施例中，当所述决策输入数据包含图片时，所述处理器进一步执行所述程序指令实现以下操作：将所述图片分割成图片块，所述图片包括原始眼底图像和/或疾病概率图，其中所述疾病概率图中的每个像素表示属于指定疾病种类的概率；将所述图片块通过映射转换为图片块嵌入；以及将包括所述图片块嵌入的输入嵌入输入至所述第二类机器学习模型，以获得疾病分类结果。

在一些实施例中，当所述决策输入数据包含文本时，所述处理器进一步执行所述程序指令实现以下操作：将所述文本通过映射转化为词嵌入，其中所述文本包括以关键词罗列或短语描述的疾病史信息；以及将包括所述词嵌入的输入嵌入输入至所述第二类机器学习模型，以获得疾病分类结果。

在一些实施例中，当所述决策输入数据包含数字时，所述处理器进一步执行所述程序指令实现以下操作：将所述数字作为输入嵌入的特定维度的值包括在所述输入嵌入中，输入至所述第二类机器学习模型，以获得疾病分类结果，其中所述数字包括以数值表征的所述特征结果。

在另一个方面，本公开还提供一种基于眼部图像进行眼部疾病识别的方法，包括：获取待识别眼部疾病的眼部图像；使用所述多个特征提取模型对所述眼部图像进行特征提取，以获得每个所述特征提取模型对应的特征结果；以及使用所述决策模型来至少基于所述对应的特征结果对与所述眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。

在又一个方面，本公开还提供一种计算机可读存储介质，其上存储有基于眼部图像进行眼部疾病识别的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如前述另一个方面中所述的实施例。

通过本公开的方案，通过多个特征提取模型来对眼部图像进行特征提取，并至少基于对应的特征结果来对眼部疾病进行多任务多模态的决策判断，从而能够获得更准确的识别结果。进一步地，本公开实施例通过对特定区域和眼部血管进行分割、分类，并对眼部血管进行量化估计，以获得更多特征，提升了病灶的分割和分类的精度。此外，本公开实施例还通过加入医学先验信息以及患者的结构化数据来进行决策判断，以获得更准确的识别结果。更进一步地，本公开一些实施例使用自然语言处理模型来实现决策模型，其直接以特征提取模型的特征结果作为输入数据，可以包含更全面的信息，从而获得更准确的决策结果。并且，自然语言处理模型还可以适应长度变化的特征结果，同时能够更好的适应实际场景中难以定量标准化的医学描述。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出不同类型的眼部图像的示意图；

图2是示出根据本公开实施例的基于眼部图像进行眼部疾病识别的装置的示例性结构框图；

图3是示出根据本公开实施例的基于眼部图像进行眼部疾病识别的整体的示例性示意图；

图4是示出根据本公开实施例的特定区域提取的示例性示意图；

图5是示出根据本公开实施例的基于眼部图像进行眼部疾病识别的方法的示例性流程框图；

图6示出根据本公开实施例的一种决策模型的架构示意图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本公开的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

如背景技术描述可知，通过使用不同图像采集设备对眼部进行拍照获得不同类型的眼部图像，进而通过眼部图像来观察例如血管或者视网膜等眼底器官的变化能够识别眼部疾病以及部分非眼底疾病引起的眼底病变。其中，前述不同类型的眼部图像可以包括眼底图像、光学断层扫描眼部图像以及超广角眼底图像，例如图1所示。

图1是示出不同类型的眼部图像的示意图。如图1中（a）所示为眼底图像，其是通过眼底相机拍摄眼底获得。图1中（b）所示为光学断层扫描眼部图像，该光学断层扫描眼部图像是经由光学相干断层扫描(Optical Coherence Tomography，“OCT”)对眼部进行扫描获得。图1中（c）所示为超广角眼底图像，即经由超广角光学摄像头拍摄眼部获得。在本公开实施例中，将基于眼底图像以及超广角眼底图像两种眼部图像来进行眼部疾病识别。

通过利用深度学习的图像分类技术基于眼部图像进行分类识别，可以识别出眼部疾病，其最初是应用于糖网分级中。例如通过构建端到端的深度卷积神经网络（Convolutional Neural Networks，“CNN”）来识别不同的糖尿病性视网膜病变程度。由此，实现了单一疾病识别，进而可以扩展至多种疾病的分类识别。然而，对于眼部图像的眼部疾病识别而言，存在以下几个方面的问题。

一方面，由于眼底疾病的特点以及医学问题的复杂性，使得单纯使用分类模型来进行眼部疾病识别，无法较好地解决眼底图像疾病识别问题。例如，一些疾病的特征非常细微，只有零星的出血点或渗出，使用整体全图进行分类识别，由于受限于分类网络的设计，从而无法从整体捕捉局部细小的病灶。又例如一些疾病的特征需要通过量化估计，才能够判断是否存在疾病，例如在青光眼的识别中，需要计算视杯视盘的区域比例。在该场景下，单独依靠整体的分类模型，很难学习到此类特征。

另一方面，由于病灶和疾病之间往往是多对多的复杂关系，对于严重程度不是较高的病灶（例如玻璃体积血、杯盘比较大的病灶），可能会对应多个疾病，这需要进一步寻找其他病变的依据来识别疾病。又例如视神经纤维损失，玻璃体色素变性等病灶，并不是局部病灶，因此无法通过单独的目标检测技术来实现。

此外，现有方法通常采用单张眼部图像来进行识别，而患者左右眼疾病的进程往往并不一致，由此单张眼部图像的识别结果无法代表患者个体的疾病状况。

基于此，为了克服上述一个或多个方面的缺陷，本公开提出一种基于眼部图像进行眼部疾病识别的方案，即通过多张眼部图像，并且综合多个特征提取模型以及多任务多模态决策来获得更准确的眼部疾病识别结果。

图2是示出根据本公开实施例的基于眼部图像进行眼部疾病识别的装置200的示例性结构框图。如图2中所示，该装置200可以包括处理器201和存储器202。其中，前述处理器201可以包括例如通用处理器(“CPU”)或专用图形处理器(“GPU”)，前述存储器202中存储有可在所述处理器上执行的程序指令。在一些实施例中，前述存储器202可以包括但不仅限于阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）。

进一步地，上述存储器202还存储有多个特征提取模型203和决策模型204。在实现场景中，当处理器执行存储在存储器上的程序指令时，使用前述多个特征提取模型203和决策模型204能够实现眼部疾病识别。具体来说，当处理器执行存储在存储器上的程序指令，能够实现获取待识别眼部疾病的眼部图像，使用多个特征提取模型对眼部图像进行特征提取，以获得每个特征提取模型对应的特征结果以及使用决策模型来至少基于对应的特征结果对与眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。

在一个实施例中，眼部图像可以例如是眼底图像（例如图1中（a）所示）和超广角眼底图像（例如图1中（c）所示），并且通常包括被检者的左右眼的多张眼部图像。在应用场景中，可以同时输入多张眼部图像，进而使用多个特征提取模型同时对多张眼部图像进行特征提取，也即每个特征提取模型都是使用多图像输入，直接获得统一的输出结果。也可以依次输入单张眼部图像，逐图进行特征提取，再通过多图特征的合并来获得统一的输出结果。在进行特征提取之前，可以对多张眼部图进行例如图像拉伸、图像截取和/或图像标准化等预处理操作。在一个实施场景中，还可以对多张眼部图像进行质量监控，并且质量监控的结果也可以用于眼部疾病的决策判断，例如可以用于评估决策模型中的置信度，以提高识别结果的精度。其中，前述质量监控包括检测眼部图像是否存在漏光、过曝等情况，并且生成存在前述情况的概率结果（即质量监控的结果）。

在一个实施例中，上述多个特征提取模型可以包括以下中的一个或多个模型。即，用于对疾病种类的特征进行提取的疾病种类提取模型，用于对病灶的特征进行提取的病灶提取模型，用于对特定区域的特征以及特定区域疾病的特征进行提取的特定区域提取模型，以及用于对眼部血管的特征以及眼部血管疾病的特征进行提取的眼部血管提取模型。在一个实现场景中，前述特定区域提取模型可以包括特定区域分割模块和特定区域分类模块。其中特定区域分割模块用于对眼部图像中的特定区域的特征进行分割提取，以获得特定区域的特征，而特定区域分类模块用于对特定区域进行疾病分类，以获得特定区域疾病的特征。在一些实施例中，前述特定区域可以包括但不仅限于视盘、黄斑以及视杯盘。

与上述特定区域提取模型类似地，眼部血管提取模型可以包括眼部血管分割模块和眼部血管分类模块。前述眼部血管分割模块用于对眼部图像中的眼部血管的特征进行分割提取，以获得眼部血管的特征，而眼部血管分类模块用于对眼部血管进行疾病分类，以获得眼部血管疾病的特征。可选地或附加地，本公开实施例的眼部血管提取模型还可以包括眼部血管量化模块。该眼部血管量化模块可以用于对眼部血管的特征进行量化估计，以获得眼部血管量化特征。稍后将结合图3来详细描述各个特征提取模型。

基于上述多个特征模型输出的对应的特征结果，进一步地，使用决策模型来至少基于对应的特征结果对眼部疾病进行决策判断，能够输出眼部疾病的识别结果。为了提高识别精度，本公开实施例还可以通过加入医学先验信息、患者相关的结构化数据以及前文所描述的质量控制来进行多任务多模态的决策。例如使用决策模型基于对应的特征结果、医学先验信息、与患者相关的结构化数据以及质量控制的结果来对眼部疾病进行决策判断，以输出眼部疾病的识别结果。

可以理解，上述对应的特征结果可以包括疾病种类的特征图或者概率、病灶的特征图或者概率、特定区域和特定区域疾病的特征图或者概率以及血管疾病的特征图或者概率。其中，前述各个特征的特征图可以是提取的中间特征图，也可以是经由相应特征提取模型输出的最终特征图。上述医学先验信息即为医生依据临床经验总结得到的疾病信息，例如某类疾病仅对应相应的某个或者某几个病灶，而不会对应其他病灶。上述患者相关的结构化数据可以包括患者的疾病史信息，还可以包括例如患者的身高、体重、血压等信息。

结合上述描述可知，本公开实施例通过使用多个特征提取模型来将多张眼底图像进行相应的特征提取，并使用决策模型来基于多个特征结果、医生先验信息以及患者的结构化数据进行多任务多模态的决策判断，提升了特征提取精度，从而能够获得准确的眼部疾病识别结果。

图3是示出根据本公开实施例的基于眼部图像进行眼部疾病识别的整体的示例性示意图。需要理解的是，图3是上述图2中装置200的一个具体实施例，因此上述图2关于装置200所作的描述同样适用于图3。

如图3中所示，当处理器执行存储在存储器上的程序指令时，首先获取多张眼部图像301。如前所述，该多张眼部图像301可以包括被检者（或者患者）左眼和右眼的多种眼部图像，并且该眼部图像可以是眼底图像或者超广角眼底图像。接着，对多张眼部图像301执行预处理操作302。其中，前述预处理操作302包括但不仅限于例如图像拉伸、图像截取和/或图像标准化等操作。为了评估决策模型输出的置信度，提升识别结果的精度，还可以对预处理后的多张眼部图像301进行质量监控303。例如检测眼部图像是否存在漏光、过曝等情况。

进一步地，可以分别使用疾病种类提取模型304、病灶提取模型305、特定区域提取模型306以及眼部血管提取模型307分别基于多张眼部图像301进行对眼部图像特征提取，以获得对应的特征结果。在一个实施例中，前述疾病种类提取模型304、病灶提取模型305、特定区域提取模型306以及眼部血管提取模型307可以例如包括但不仅限于CNN网络模型、Transformer网络模型或者全链接的MLP网络模型，并且前述每个特征网络提取模型可以相同也可以不同。

其中，前述疾病种类提取模型304属于分类模型。通过将图像输入疾病种类提取模型中的特征网络可以得到不同层级的特征图。特征图不限于网络最后一层的输出特征图，也可以从网络中间层输出特征图，因此在不同层级的特征图上，可以输出分类的概率结果。因此，使用该疾病种类提取模型304可以获得关于疾病种类的特征图和/或概率308。疾病种类例如可以包括糖网疾病、高血压疾病等。

前述病灶提取模型305属于分割模型。类似地，通过将图像输入病灶提取模型中的特征网络可以得到不同层级的特征图，在不同层级的特征图上，可以病灶的定位结果和分类概率结果。因此，使用该病灶提取模型305可以获得病灶的特征图和/或概率309，例如普通病灶位置或者严重病灶位置的特征图或者概率。在一些实施例中，前述疾病种类提取模型304和病灶提取模型305还可以共享一个特征网络，即在同一个特征网络上以多任务的方式提供多个输出，从而同时输出疾病种类以及病灶位置。就此而言，上文的疾病种类提取模型304和病灶提取模型305仅是从逻辑功能上的划分，模型之间可以共享部分网络模型（例如特征网络），也可以是完全独立的模型，本申请实施例在此方面没有限制。

根据前文知，疾病种类提取模型是以整个眼部图像作为输入，进而通过多分类头部结构同时识别多个疾病病种。当以整个眼部图像作为输入，其中的特定区域例如黄斑（例如图4中矩形框A所示）、视盘（例如图4中矩形框B所示）等局部区域在特征图上会退化为一个或有限个点。然而，在通常情况下，由于多分类头部结构会在特征图上将特征图拉平成特征向量，再输入分类器。此时，黄斑、视盘、视神经等局部区域的响应有可能会被其他区域或类别掩盖。基于此，本公开一些实施例加入了上述特定区域提取模型306，并通过特定区域提取模型306中的特定区域分割模块308来检测特定区域（例如黄斑、视盘），以及通过特定区域提取模型306中的特定区域分类模块309对特定区域疾病进行分类。也即，该特定区域提取模型306属于分割以及分类相结合的模型。在一些实现中，可以使用一个单独的检测模型，从整个眼部图像中检测并分割出特定区域图像，继而基于该特定区域图像进行特征提取和分类。在另一些实现中，可以使用例如前述病灶提取模型305在多病灶检测过程中得到的特定局部区域的图像，基于该特定局部区域的图像进行特征提取和分类。例如，可以将检测过程中得到的目标边界框进行扩展以包括其周边的区域，然后将对应位置的图像截取出来，从而得到特定区域图像。由此，经由该单个特定区域提取模型306可以获得特定区域以及特定区域疾病的特征图或者概率310。可以理解，对于黄斑、视盘、视神经相关等特定位置的疾病分类，除了在疾病种类提取模型304中会输出相关的疾病种类之外，在特定区域提取模型306中也会输出相关的疾病种类（分类标签）。这些信息都可以提供给决策模型318进行最终决策。

在一些实现场景中，很多疾病的病灶特征或疾病的判断依据往往还需要参考眼部血管的走向以及眼部血管的管径等特点。由此，本公开一些实施例引入独立的眼部血管提取模型307来更有效地捕捉血管上的变化。通过上述眼部血管提取模型307中的眼部血管分割模块311和眼部血管分类模块312来分别对眼部血管进行分割以及对眼部血管疾病进行分类，以独立于上述疾病种类的分类，并最终输出眼部血管以及眼部血管疾病的特征图或者概率313。眼部血管分割模块311例如可以分割眼部中的血管，得到眼部血管图。眼部血管图中还可以进一步区分动脉血管和静脉血管。眼部血管分类模块312可以将眼部血管图作为附加输入，进行血管相关疾病的分类。此外，本公开一些实施例还可以通过眼部血管量化模块314来针对分割的眼部血管（或者掩码图）进行量化统计估计，以获得量化特征，用于后续的疾病识别。量化特征例如可以包括测量一定区域内的血管平均直径，计算血管分叉数，检测动静脉交叉压迹，计算主动脉或主静脉的曲率，计算主动脉和主静脉的管径比值等。通过计算这些量化特征，可以更深入挖掘与血管关联的疾病体征，从而有利于准确地判断疾病种类。

基于上述多个特征提取模型输出的特征结果，图中进一步示出，可以将多个特征结果，选择性附加医学先验信息315以及患者的结构化数据316进行多模式数据整合317。整合后的数据可以提供给决策模型318，以进行决策判断，得到最终的识别结果。

图4是示出根据本公开实施例的特定区域提取的示例性示意图。如图4中所示，将眼部图像401输入至本公开实施例的装置时，疾病种类提取模型以该整个眼部图像401作为输入，并且通过多分类头部结构输出多个疾病病种。如前所述，多分类头部结构会在特征图上拉平特征图到特征向量，会导致黄斑、视盘等局部区域的响应被其他区域或类别掩盖。因此，本公开实施例进一步通过特定区域提取模型306来提取例如黄斑、视盘以及相关疾病。

具体地，通过特定区域提取模型中的特定区域分割模块来检测黄斑（例如图中矩形框A所示）和视盘（例如图中矩形框B所示），进而通过特定区域提取模型中的特定区域分类模块对黄斑以及视盘的疾病进行分类，以输出黄斑疾病和视盘区域的特征图或者概率。

图5是示出根据本公开实施例的基于眼部图像进行眼部疾病识别的方法500的示例性流程框图。如图5中所示，在步骤S502处，获取待识别眼部疾病的眼部图像。在一个实施例中，该眼部图像是由眼底相机拍摄的眼底图像或者由超广角拍摄的超广角眼底图像，并且该眼部图像可以包括被检者左眼和右眼的多张眼部图像。接着，在步骤S504处，使用多个特征提取模型对眼部图像进行特征提取，以获得每个特征提取模型对应的特征结果。其中，在特征提取之前，可以对前述眼部图像进行预处理、质量监控等操作。在一个实施例中，前述多个特征提取模型可以包括疾病种类提取模型、病灶提取模型、特定区域提取模型和/或眼部血管提取模型，以分别提取疾病种类、病灶、特定区域（例如黄斑和视盘）以及特定区域疾病、眼部血管以及眼部血管疾病的特征，并且获得对应的特征结果。关于前述多个特征提取模型可以参考上述图3所描述的内容，本公开在此不再赘述。

在获得上述对应的特征结果后，在步骤S506处，使用决策模型来至少基于对应的特征结果对眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。在实现场景中，还可以基于例如医学先验信息、患者的结构化数据（例如患者的身高、体重、血压以及疾病史等信息）以及质量监控的结果来进行决策判断。例如将前述对应的特征结果、医学先验信息、患者的结构化数据以及质量监控的结果输入决策模型中，最终输出眼部疾病的识别结果。这些输入到决策模型的数据可以统称为决策输入数据。

在一些实施例中，决策模型可以是逻辑判断模型。逻辑判断模型中可以包括诸如if else的条件判断规则，通过人工定义的启发式方法，利用不同的阈值来确定判决规则，得到疾病识别结果。例如，前述特征结果中有些直接是某些疾病种类的概率，例如分类模块的某个疾病对应的结果，可以通过阈值来筛选高概率的疾病类别；有些则可能涉及不同病灶的有无状态，可以通过条件判断来综合确定；还有的涉及数值测量，例如分割模块对应的出血的个数、面积，血管分割对应的动静脉比值等测量值；决策输入数据中还可能包含额外的病史数据，明确设定的有无糖尿病，有无高血压等。为了适应逻辑判断模型，需要将决策输入数据进行数字化和/或向量化处理，从而便于基于逻辑判断模型进行逻辑条件判断得到最后结果。

在另一些实施例中，决策模型可以是第一类机器学习模型。第一类机器学习模型可以是各种传统机器学习模型，包括但不限于决策树、支持向量机（SVM）等。如上面所提到的，特征结果可能包括各种形式，疾病种类的概率、各种病灶的概率、病灶的有无状态，甚至可以直接包括特征图。在一些实现中，可以将包括前述多个特征结果以及选择性附加的医学先验信息和患者的结构化数据的决策输入数据进行数字化和/或向量化，并且将获得的向量化数据输入至决策模型中进行疾病决策。例如，对于概率一类的结果，可以直接使用概率数值作为向量化数据的元素。对于病灶的有无状态这类结果，可以构造一个向量，向量元素的1值和0值代表对应的病灶是有还是无。而对于特征图一类的结果，则可以将特征图按一维展开，从而将特征图转换为数字序列，也即将特征图进行向量化。通常，第一类机器学习模型要求输入数据具有固定的维度。因此，可以将上述特征结果以及选择性附加的其他信息转换为固定维度的数学表示形式，以提供给机器学习模型进行最终疾病决策。

在又一些实施例中，决策模型可以是第二类机器学习模型。第二类机器学习模型可以是自然语言处理类模型。自然语言处理（Natural Language Processing，NLP）是以语言为对象，利用计算机技术来分析、理解和处理自然语言的技术。自然语言处理可以涉及语音、语法、语义等多个维度的操作，但简单而言，自然语言处理的基本任务是基于本体词典、词频统计、上下文语义分析等方式对待处理语料进行分词，形成以最小词性为单位，且富含语义的词项单元。

NLP模型的一个特点在于支持可变长度的输入数据。在本申请实施例中，通过上述各种特征提取模型得到的特征结果的长度可能是变化的，例如有些病灶没有，有些病灶没有。而且，选择性附加的信息的长度也可能是变化的，例如不同患者的病史长度可能不同。又或者一些病史信息难以进行严格的标准量化，而需要通过定性的短语来进行描述。因此，采用自然语言处理模型作为决策模型，可以很好地适应长度/规模可变的输入数据以及支持模糊的定性语言描述作为输入。

进一步地，在本申请实施例中，直接将特征提取模型得到的特征结果（诸如概率、特征图等），也即中间结果作为NLP模型的输入，有助于更准确地做出最终决策。可以理解，从中间结果到判断结果通常会丢失一些信息，因此有可能影响决策模型的判决。

图6示出了根据本公开实施例的一种决策模型的架构示意图。在此实施例中，决策模型采用NLP类模型，例如类似Transformer模型中的编码器Encoder。NLP模型，尤其是类似Transformer的模型或者RNN（LSTM）模型，在NLP输入中，需要将语言文字通过某种嵌入（embedding）转化为向量化的数字，之后通过模型计算之间关系得到特征。Transformer中将次转化过程称为令牌化（Tokenizer）。模型的输入称为输入嵌入（Input Embedding）。

如前所述，决策输入数据可能包括各种形式的数据或其混合，这些数据形式包括文本、数字和图片等。在使用NLP类模型时，需要将这些不同形式的决策输入数据转化为统一的输入嵌入。

前文针对图像处理得到的输出结果通常可以分为两大类。一类是分类得到的概率向量或者再前一层N维的特征；另一类是分割得到的和原图尺寸相同的疾病概率图，其中每个像素表示属于某类疾病的概率。当存在多个疾病种类时，则输出为多维疾病概率图，例如维度为N*H*W，N代表疾病种类。

如图6所示，当决策输入数据包含图片时，可以将图片转换为图片块嵌入（patchembedding）。图片可以是原始眼部/眼底图片，也可以是经特征提取得到的疾病概率图，或者兼而有之。具体地，可以将图片601分割成多个图片块602，例如划分为P*P的图片块（patch），每个图片块可以作为token输入。这些图片块602通过映射模块610转换为图片块嵌入603，类似于NLP中的字词words和词嵌入word embedding。映射模块610可以采取多种形式实现，常用的如使用全连接层（Fully Connect Layer）作为线性映射。图片块嵌入603上还可以嵌入位置信息，用于指示对应图片块在原图的位置。继而，图片块嵌入603可以包括在输入嵌入620中输入至第二类机器学习模型（例如编码器630 ），以获得疾病分类结果。

通过支持图片形式的决策输入数据，图像处理中得到的特征，尤其是病灶分割特征，可以直接使用特征图作为决策模型的输入，而不用强制转换为某种定量特征。

可选地或附加地，当决策输入数据包含文本时，可以将文本转换为词嵌入。词嵌入的转换过程可以与已知的NLP模型类似。例如，将文字转为字典中编码数值或向量，通过映射将词604转化为词嵌入605。此处的映射可以与前面图片的映射模块610联通（图6的示例中示意性联通），也可以分开处理，或者使用某个语言模型的初始化映射。词嵌入605也包括在输入嵌入620中输入至第二类机器学习模型（例如编码器630 ），以获得疾病分类结果。

在一些实施例中，文本可以包括不定长的疾病史信息。疾病史信息可以通过关键词罗列的方式提供，也可以直接使用语言描述，优选采用短语描述的形式提供，可以有模糊的定性描述，诸如略有出血，有明显出血，等等。通过支持不定长文本形式的决策输入数据，可以灵活适应可能出现的各种情况，无需增加额外的定长对齐处理，也不会产生冗余处理。

进一步可选地或附加地，当决策输入数据包含数字时，可以将数字直接包括在输入嵌入中。具体地，可以将数字606作为输入嵌入的特定维度的值包括在输入嵌入620中，输入至所述第二类机器学习模型，以获得疾病分类结果。这些数字可以包括以数值表征的特征结果。例如，有些分割病灶结果需要以某种数值测量后输入，尤其是血管特征，如动静脉比、弯曲程度等等。此类数值可以作为特定的token维度直接挂入输入嵌入620中。通过支持数字/数值形式的决策输入数据，可以灵活地引入不同形式的信息进行决策。

上述各种不同形式的信息都可以通过适当的方式转化为嵌入，也即数值向量，进入类似Transformer的编码器中进行分类决策。

此外，还可以利用上述质量监控的结果对决策模型进行置信度评估，以获得眼部疾病的最终识别结果。

根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图5所描述的基于眼部图像进行眼部疾病识别的方法。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本公开的实施方式如上，但所述内容只是为便于理解本公开而采用的实施例，并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (17)

1.一种基于眼部图像进行眼部疾病识别的装置，其特征在于，包括：

处理器；

存储器；以及

存储在所述存储器中并且可在所述处理器上执行的程序指令，其中所述存储器中还存储有多个特征提取模型和决策模型；

所述处理器执行所述程序指令时实现以下操作：

获取待识别眼部疾病的眼部图像；

使用所述多个特征提取模型对所述眼部图像进行特征提取，以获得每个所述特征提取模型对应的特征结果；以及

使用所述决策模型来至少基于所述对应的特征结果对与所述眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。

2.根据权利要求1所述的装置，其特征在于，所述多个特征提取模型包括以下中的一个或多个模型：

用于对疾病种类的特征进行提取的疾病种类提取模型；

用于对病灶的特征进行提取的病灶提取模型；

用于对特定区域的特征以及特定区域疾病的特征进行提取的特定区域提取模型；以及

用于对眼部血管的特征以及眼部血管疾病的特征进行提取的眼部血管提取模型。

3.根据权利要求2所述的装置，其特征在于，所述特定区域提取模型包括特定区域分割模块和特定区域分类模块，其中：

所述特定区域分割模块用于对所述眼部图像中的特定区域的特征进行分割提取，以获得所述特定区域的特征；以及

所述特定区域分类模块用于对所述特定区域进行疾病分类，以获得所述特定区域疾病的特征。

4.根据权利要求2所述的装置，其特征在于，所述眼部血管提取模型包括眼部血管分割模块和眼部血管分类模块，其中：

所述眼部血管分割模块用于对所述眼部图像中的眼部血管的特征进行分割提取，以获得所述眼部血管的特征；以及

所述眼部血管分类模块用于对所述眼部血管进行疾病分类，以获得眼部血管疾病的特征。

5.根据权利要求4所述的装置，其特征在于，所述眼部血管提取模型还包括眼部血管量化模块，并且所述眼部血管量化模块用于对所述眼部血管的特征进行量化估计，以获得眼部血管量化特征。

6.根据权利要求1所述的装置，其特征在于，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：

将所述对应的特征结果，以及选择性地将医学先验信息以及与患者相关的结构化数据作为决策输入数据，输入至所述决策模型，以输出眼部疾病的识别结果。

7.根据权利要求6所述的装置，其特征在于，所述结构化数据至少包括患者的疾病史信息。

8.根据权利要求6所述的装置，其特征在于，所述决策输入数据包括文本、数字和图片中任一或多种形式。

9.根据权利要求6所述的装置，其特征在于，所述决策模型为逻辑判断模型，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：

将所述决策输入数据进行数字化和/或向量化，以生成用于所述逻辑判断模型的输入数据；以及

使用所述逻辑判断模型至少基于所述输入数据来对眼部疾病进行逻辑条件判断，以输出眼部疾病的判断结果。

10.根据权利要求6所述的装置，其特征在于，所述决策模型为第一类机器学习模型，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：

将所述决策输入数据进行数字化和/或向量化，以获得与决策判断相关的向量化数据，其中所述向量化数据具有固定维度；以及

将所述向量化数据输入至所述第一类机器学习模型，以输出眼部疾病的识别结果，所述识别结果包括疾病的概率。

11.根据权利要求6所述的装置，其特征在于，所述决策模型为第二类机器学习模型，所述处理器进一步执行所述程序指令实现以下操作，以输出眼部疾病的识别结果：

至少将所述决策输入数据输入至所述第二类机器学习模型，以输出眼部疾病的识别结果，其中所述决策输入数据的规模可变。

12.根据权利要求11所述的装置，其特征在于，所述第二类机器学习模型包括自然语言处理NLP模型。

13.根据权利要求12所述的装置，其特征在于，当所述决策输入数据包含图片时，所述处理器进一步执行所述程序指令实现以下操作：

将所述图片分割成图片块，所述图片包括原始眼底图像和/或疾病概率图，其中所述疾病概率图中的每个像素表示属于指定疾病种类的概率；

将所述图片块通过映射转换为图片块嵌入；以及

将包括所述图片块嵌入的输入嵌入输入至所述第二类机器学习模型，以获得疾病分类结果。

14.根据权利要求12所述的装置，其特征在于，当所述决策输入数据包含文本时，所述处理器进一步执行所述程序指令实现以下操作：

将所述文本通过映射转化为词嵌入，其中所述文本包括以关键词罗列或短语描述的疾病史信息；以及

将包括所述词嵌入的输入嵌入输入至所述第二类机器学习模型，以获得疾病分类结果。

15.根据权利要求12所述的装置，其特征在于，当所述决策输入数据包含数字时，所述处理器进一步执行所述程序指令实现以下操作：

将所述数字作为输入嵌入的特定维度的值包括在所述输入嵌入中，输入至所述第二类机器学习模型，以获得疾病分类结果，其中所述数字包括以数值表征的所述特征结果。

16.一种基于眼部图像进行眼部疾病识别的方法，其特征在于，包括：

获取待识别眼部疾病的眼部图像；

使用多个特征提取模型对所述眼部图像进行特征提取，以获得每个所述特征提取模型对应的特征结果；以及

使用决策模型来至少基于所述对应的特征结果对与所述眼部图像相关的眼部疾病进行决策判断，以输出眼部疾病的识别结果。

17.一种计算机可读存储介质，其上存储有基于眼部图像进行眼部疾病识别的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求16所述的方法。

Images