CN112927228A - 图像评估方法和装置、模型训练方法和装置 - Google Patents

Abstract

本申请提供了一种图像评估方法和装置、模型训练方法和装置，涉及图像处理技术领域。该图像评估方法包括：将所述待评估眼底图像输入等级评估模型，以生成所述待评估眼底图像对应的第一等级评估结果，以及利用计算机视觉算法，确定所述待评估眼底图像对应的第二等级评估结果。由于等级评估模型是经过了大量的数据训练得到的，因此能够得到准确性较高的第一等级评估结果，从而为医生提供较准确的诊断建议，减少了医生的诊断时间，即提高了医生诊断时可参考信息的准确性，并提高了医生的诊断效率。另外，利用计算机视觉算法，确定第二等级评估结果，无需复杂的硬件设备，提高了基层落地的可能性。

Description

图像评估方法和装置、模型训练方法和装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像评估方法、图像评估装置、模型训练方法、模型训练装置、计算机可读存储介质和电子设备。

背景技术

目前，检查病人患糖尿病视网膜病变(Diabetic Retinopathy,DR)的情况时，都是通过采集眼底图像后进行人工诊断，但是需要经验丰富的医生，诊断结果受限于医生的经验，诊断效率较低。另外，也有部分检测方法需要复杂的设备，基层落地性的可能性差。

发明内容

有鉴于此，本申请实施例提供了一种图像评估方法、图像评估装置、模型训练方法、模型训练装置、计算机可读存储介质和电子设备，解决了医生的可参考信息的准确性差以及基层落地性差的问题。

根据本申请的一方面，本申请一实施例提供的一种图像评估方法，包括：确定待评估对象对应的待评估眼底图像；以及将所述待评估眼底图像输入等级评估模型，以生成所述待评估眼底图像对应的第一等级评估结果，其中，所述第一等级评估结果包括：轻中度和重度；以及如果所述第一等级评估结果是所述轻中度，利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果。

在本申请一实施例中，所述所述利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果包括：基于所述待评估眼底图像确定病灶区域；基于所述病灶区域确定所述病灶区域的病变信息；基于所述病变信息确定所述待评估眼底图像对应的第二等级评估结果。

在本申请一实施例中，所述基于所述病灶区域确定所述病灶区域的病变信息，包括：基于所述病灶区域确定所述病灶区域的病灶特征信息，其中，所述病灶特征信息包括形状信息、颜色信息、拓扑信息和位置信息中的至少一种；基于所述病灶特征信息确定所述病变信息。

在本申请一实施例中，所述基于所述病变信息确定所述待评估眼底图像对应的第二等级评估结果，包括：对所述病变信息进行量化，得到量化结果；基于所述量化结果确定所述待评估眼底图像对应的所述第二等级评估结果。

在本申请一实施例中，所述对所述病变信息进行量化，得到量化结果，包括：基于所述病变信息确定所述病变信息对应的病变特征信息，其中，所述病变特征信息包括病变位置信息、病变数量信息、病变面积信息、分布信息、形态信息中的至少一种；基于所述病变特征信息确定所述量化结果。

在本申请一实施例中，在所述基于待评估眼底图像确定病灶区域之前，还包括：对所述待评估眼底图像进行预处理操作，以得到预处理图像；其中，所述基于所述待评估眼底图像确定病灶区域，包括：基于所述预处理图像确定所述病灶区域。

在本申请一实施例中，所述预处理操作包括图像质量评估操作、去噪处理操作、归一化处理操作和增强处理操作中的至少一种。

在本申请一实施例中，所述病变信息包括微血管瘤信息、出血信息和渗出信息中的至少一种。

根据本申请的另一方面，本申请一实施例提供的一种模型训练方法，包括：确定眼底图像样本及所述眼底图像样本对应的第一等级评估结果，其中，所述第一等级评估结果包括：轻中度和重度；建立初始模型，并基于所述眼底图像样本及所述眼底图像样本对应的第一等级评估结果训练所述初始模型，以生成等级评估模型，其中，所述等级评估模型用于基于待评估眼底图像生成所述待评估眼底图像对应的第一等级评估结果。

根据本申请的另一方面，本申请一实施例提供的一种图像评估装置，包括：图像确定模块，配置为确定待评估对象对应的待评估眼底图像；第一评估模块，配置为将所述待评估眼底图像输入等级评估模型，以生成所述待评估眼底图像对应的第一等级评估结果，其中，所述第一等级评估结果包括：轻中度和重度；以及第二评估模块，配置为如果所述第一等级评估结果是所述轻中度，利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果。

根据本申请的另一方面，本申请一实施例提供的一种模型训练装置，包括：训练数据确定模块，配置为确定眼底图像样本及所述眼底图像样本对应的第一等级评估结果；以及模型训练模块，配置为建立初始模型，并基于所述眼底图像样本及所述眼底图像样本对应的第一等级评估结果训练所述初始模型，以生成等级评估模型，其中，所述等级评估模型用于基于待评估眼底图像生成所述待评估眼底图像对应的第一等级评估结果，其中，所述待评估眼底图像对应的第一等级评估结果包括：轻中度和重度。

根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的图像评估方法和模型训练方法。

根据本申请的另一方面，本申请一实施例提供了一种电子设备，所述电子设备包括：处理器；以及用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一实施例所述的图像评估方法和模型训练方法。

本申请实施例提供的一种图像评估方法、图像评估装置、模型训练方法、模型训练装置、计算机可读存储介质和电子设备，通过将待评估眼底图像输入等级评估模型的方式，即可生成待评估眼底图像对应的第一等级评估结果。由于等级评估模型是经过了大量的数据训练得到的，因此能够得到准确性较高的第一等级评估结果，从而为医生提供较准确的诊断建议，减少了医生的诊断时间，即提高了医生诊断时可参考信息的准确性，并提高了医生的诊断效率。然后，如果所述第一等级评估结果是所述轻中度，利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果，可以使等级评估结果更加细化和准确，从而为医生提供更加准确的诊断建议，进一步减少了医生的诊断时间，即进一步提高了医生诊断的准确性。另外，利用计算机视觉算法，确定第二等级评估结果，无需复杂的硬件设备，提高了基层落地的可能性。

附图说明

图1所示为本申请实施例所适用的一场景示意图。

图2所示为本申请一示例性实施例提供的图像评估方法的流程示意图。

图3所示为本申请一示例性实施例提供的待评估眼底图像。

图4所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。

图5所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。

图6所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。

图7所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。

图8所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。

图9所示为本申请另一示例性实施例提供的待评估眼底图像。

图10所示为本申请一示例性实施例提供的模型训练方法的流程示意图。

图11所示为本申请一示例性实施例提供的图像评估装置的结构示意图。

图12所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。

图13所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。

图14所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。

图15所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。

图16所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。

图17所示为本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

示例性系统

图1所示为本申请实施例所适用的一场景示意图。如图1所示，本申请实施例所适用的场景中包括图像采集设备1和计算机设备2，其中，图像采集设备1和计算机设备2之间存在通信连接关系。通信连接可以是有线连接，也可以是无线连接。

具体而言，图像采集设备1用于采集待评估眼底图像。图像采集设备1可以是眼底摄像机，也可以是其它具有图像采集功能的设备，只要是可以采集眼底图像即可，本公开对图像采集设备1的结构不做具体限定。

计算机设备2用于接收图像采集设备1采集的待评估眼底图像，并基于待评估眼底图像确定第一等级评估结果。计算机设备2可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本公开实施例对此不做具体限定。例如，计算机设备2可以是手机、平板电脑等移动终端设备，也可以是便携计算机、台式计算机等，本公开对计算机设备2的类型不做具体限定。计算机设备2的数量可以是一个，也可以是多个，多个计算机设备2的类型可以相同也可以不同，本公开对计算机设备2的数量和类型不做具体限定。计算机设备2可以用于通过待评估眼底图像生成待评估眼底图像对应的第一等级评估结果，从而为医生提供较准确的诊断建议，减少了医生的诊断时间，即提高了医生诊断时可参考信息的准确性，并提高了医生的诊断效率。另外，利用计算机视觉算法，确定第二等级评估结果，无需复杂的硬件设备，提高了基层落地的可能性。

示例性方法

图2所示为本申请一示例性实施例提供的图像评估方法的流程示意图。如图2所示，本申请实施例提供的图像评估方法包括如下步骤。

步骤201，确定待评估对象对应的待评估眼底图像。

图3所示为本申请一示例性实施例提供的待评估眼底图像。待评估眼底图像可以是通过通用或专用的拍摄设备拍摄眼球底部所得到的图像。待评估眼底图像可以包括血管图像区域4、视盘图像区域3、黄斑图像区域(图3中未示出)等非病变生理结构的图像区域，也可以包括微血管瘤图像区域(图3中未示出)、出血图像区域2和渗出图像区域1等病变结构的图像。待评估眼底图像可以是彩色眼底图像，共焦眼底图像，荧光造影眼底图像等，本申请对待评估眼底图像的类型不做具体限定。待评估眼底图像可以是模拟图像，也可以是数字图像，本申请不做具体限定。待评估对象可以是患有DR的人或其它动物。

步骤202，将待评估眼底图像输入等级评估模型，以生成待评估眼底图像对应的第一等级评估结果。

示例性地，第一等级评估结果包括：轻中度和重度。即，第一等级评估结果可以是待评估对象患有轻中度DR或重度DR。

示例性地，等级评估模型可以是基于深度学习的神经网络模型，比如包括卷积层等结构的卷积神经网络模型。等级评估模型可以是3维网络模型，也可以是2维网络模型，本申请对等级评估模型的维度不做具体限定。轻中度可以是待评估眼底图像不包括增生性病变图像的一种结果。重度可以是待评估眼底图像包括增生性病变图像的一种结果。增生性病变可以是待评估眼底图像出现新生血管图像区域、玻璃体出血图像区域和视网膜出血图像区域中的至少一种。轻中度和重度的等级判断标准还可以是其它的判断标准，本申请不做具体限定。

在实际应用中，轻中度可以是非增生期，重度对应的可以是增生期。轻中度也可以是单纯型，重度对应的可以是增殖型。轻中度还可以是Ⅰ期、Ⅱ期和Ⅲ期，重度对应的可以是Ⅳ期、Ⅴ期和Ⅵ期。轻中度还可以是非增殖期和增殖前期，重度对应的可以是增殖期。本申请对轻中度和重度的实际分类方式不做具体限定。

步骤203，如果第一等级评估结果是轻中度，利用计算机视觉算法，基于待评估眼底图像，确定待评估眼底图像对应的第二等级评估结果。

示例性地，第二等级评估结果可以包括：轻度、中度和中重度。即，第二等级评估结果可以是待评估对象患有轻度DR、中度DR或中重度DR。轻度可以是待评估眼底图像仅包括微血管瘤图像区域的一种结果。中度可以是待评估眼底图像包括小于或等于预设数量的微血管瘤图像区域、出血图像区域和渗出图像区域的一种结果。中重度可以是待评估眼底图像包括大于预设数量的出血图像区域的一种结果，也可以是待评估眼底图像包括大于预设数量的静脉串珠样改变图像的一种结果，还可以是待评估眼底图像包括至少一个明显的视网膜内微血管异常图像的一种结果。预设数量可以根据具体情况确定，本申请不做具体限定。轻度、中度和中重度的等级判断标准还可以是其它的判断标准，本申请不做具体限定。

示例性地，如果第二等级评估结果是轻度，无需建议对待评估眼底图像对应的待评估对象进行医疗干预，只需要建议待评估对象进行定期检查。如果第二等级评估结果是中度或中重度，则建议对待评估对象进行医疗干预。

在实际应用中，第二等级评估结果也可以包括：Ⅰ期，Ⅱ期和Ⅲ期。本申请对第二等级评估结果的等级分类方式不做具体限定。

本申请实施例提供的图像评估方法，通过将待评估眼底图像输入等级评估模型的方式，即可生成待评估眼底图像对应的第一等级评估结果。由于等级评估模型是经过了大量的数据训练得到的，因此能够得到准确性较高的第一等级评估结果，从而为医生提供较准确的诊断建议，减少了医生的诊断时间，即提高了医生诊断时可参考信息的准确性，并提高了医生的诊断效率。另外，利用计算机视觉算法，确定第二等级评估结果，无需复杂的硬件设备，提高了基层落地的可能性。然后，如果第一等级评估结果是轻中度，利用计算机视觉算法，基于待评估眼底图像，确定待评估眼底图像对应的第二等级评估结果，可以使等级评估结果更加细化和准确，从而为医生提供更加准确的诊断建议，进一步减少了医生的诊断时间，即进一步提高了医生诊断的准确性。

图4所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。在本申请图2所示实施例的基础上延伸出本申请图4所示实施例，下面着重叙述图4所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图4所示，在本申请实施例提供的图像评估方法中，利用计算机视觉算法，基于待评估眼底图像，确定待评估眼底图像对应的第二等级评估结果，包括如下步骤。

步骤401，基于待评估眼底图像确定病灶区域。

如果第一等级评估结果是轻中度，可以基于待评估眼底图像确定病灶区域。病灶区域可以是待评估眼底图像中包括微血管瘤图像区域、出血图像区域2和渗出图像区域1等病变结构的图像区域。

具体而言，可以通过提取待评估眼底图像中不同区域的颜色、亮度等来确认病灶区域。例如，如图3所示，出血图像区域2的灰度较周围区域偏小，即出血图像区域2的颜色较周围区域偏暗，因此，可以通过灰度差异或颜色差异提取出血图像区域。另外，微血管瘤图像区域(图3未示出)的灰度较周围区域也偏小，即血管瘤图像的颜色较周围区域也偏暗，因此，通过待评估眼底图像的灰度差异或颜色差异可以提取出血图像区域2和微血管瘤图像区域等病灶区域。

步骤402，基于病灶区域确定病灶区域的病变信息。

具体而言，确定病灶区域后，可以根据病灶区域的其它特征继续判断病灶区域的病变信息。

步骤403，基于病变信息确定待评估眼底图像对应的第二等级评估结果。

通过基于待评估眼底图像确定病灶区域，基于病灶区域确定病灶区域的病变信息，并基于病变信息确定待评估眼底图像对应的第二等级评估结果，可以使等级评估结果更加细化和准确，从而为医生提供更加准确的辅助诊断建议，进一步减少了医生的诊断时间，即进一步提高了医生诊断的准确性。

图5所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图5所示，在本申请实施例提供的图像评估方法中，基于病灶区域确定病灶区域的病变信息，还包括如下步骤。

步骤501，基于病灶区域确定病灶区域的病灶特征信息。

示例性地，病灶特征信息包括形状信息、颜色信息、拓扑信息和位置信息中的至少一种。

示例性地，基于病灶区域确定病灶区域的病灶特征信息，可以提取病灶区域的边缘，从而得到病灶区域的形状信息，提取病灶区域的边缘可以使用最大外接矩形算法、最大外接圆算法、边缘特征提取算法等，本申请不做具体限定。基于病灶区域确定病灶区域的病灶特征信息，也可以提取病灶区域的颜色(包括亮暗程度)，从而得到病灶区域的颜色信息，提取病灶区域的颜色可以是使用提取各个像素的灰度值总和的方法，也可以是提取各个像素的灰度值平均值的方法，本申请不做具体限定。基于病灶区域确定病灶区域的病灶特征信息，也可以提取病灶区域的拓扑信息，例如，提取病灶区域周围的区域中与病灶区域颜色相同的区域。基于病灶区域确定病灶区域的病灶特征信息，也可以提取病灶区域的位置信息，位置信息可以是病灶区域的几何中心相对视盘的位置信息，也可以是病灶区域的几何中心在待评估眼底图像中的绝对位置。病灶特征信息可以包括形状信息、颜色信息、拓扑信息和位置信息中的一种或多种，本申请不做具体限定。

步骤502，基于病灶特征信息确定病变信息。

病变信息可以包括微血管瘤信息、出血信息和渗出信息中的至少一种。病变信息还可以包括棉绒斑信息、静脉串珠状信息、视网膜内微血管异常信息和新生血管信息中的一种或多种。

示例性地，因为在待评估眼底图像中渗出图像区域相对微血管瘤图像区域和出血图像区域的亮度都较高，因此，可以设置亮度阈值，当病灶区域的亮度满足预设的亮度阈值时，病变信息可以是渗出信息。在灰度值方面，渗出图像区域相对微血管瘤图像区域和出血图像区域的灰度都较大，因此可以设置灰度阈值，当病灶区域的灰度满足预设的灰度阈值或阈值范围时，病变信息可以是渗出信息。

示例性地，微血管瘤图像区域和出血图像区域灰度值相近，亮度相近，无法通过颜色信息确定，但是微血管瘤图像区域和出血图像区域边缘形状不同。因为微血管瘤图像区域一般是边缘光滑的椭圆形或圆形，所以当病灶区域的形状信息是边缘光滑的椭圆形或圆形时，病变信息可以是微血管瘤信息。因为出血图像区域一般是边缘为锯齿状或毛刺状的椭圆形或圆形，所以当病灶区域的形状信息是边缘为锯齿状或毛刺状的椭圆形或圆形时，病变信息可以是出血信息。

示例性地，小段血管图像区域与出血图像区域灰度值相近，亮度相近，无法通过颜色信息确定，且小段血管的边缘信息可能和出血信息相似，例如小段血管可以是椭圆形，因此，不容易通过颜色信息和形状信息来区分小段血管图像区域和出血图像区域。但是，由于血管都是连续的，因此，可以通过拓扑信息来判断病变信息是否是出血，当在病变区域周围提取到的病变区域的拓扑信息是血管，且与血管共线时，说明病变信息是小段血管信息，需要说明的是，小段血管只是可疑的病变信息，并不是真的病变。当在病变区域周围无法提取到病变区域的拓扑信息时，说明病变信息是出血信息。

示例性地，不同的病变信息可能出现在待评估眼底图像中的不同位置，因此，也可以通过位置信息确定病变信息。

基于病灶区域确定病灶区域的病灶特征信息，并基于病灶特征信息确定病变信息，可以使病变信息的确认得到更多的参考，从而提高病变信息判断的准确性。

图6所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图6所示实施例，下面着重叙述图6所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图6所示，在本申请实施例提供的图像评估方法中，基于病变信息确定待评估眼底图像对应的第二等级评估结果，还包括如下步骤。

步骤601，对病变信息进行量化，得到量化结果。

示例性地，可以通过对病变信息的数量等进行量化，也可以是对病变信息的其他特征进行量化，从而得到量化结果。例如，计算待评估眼底图像中有多少个微血管瘤图像区域，有多少个出血图像区域2，有多个少渗出图像区域1等，即量化结果可以是病变信息的数量。量化结果也可以是病变信息在待评估眼底图像中的绝对位置信息，只要是对病变信息进行量化得到的量化结果即可，本申请对量化结果的内容不做具体限定。

步骤602，基于量化结果确定待评估眼底图像对应的第二等级评估结果。

示例性地，可以根据量化结果确定第二等级评估结果。例如，可以根据病变信息的数量确定第二等级评估结果，也可以根据病变信息在待评估眼底图像中的绝对位置信息确定第二等级评估结果，只要是根据量化结果确定第二等级评估结果即可，本申请对用于确定第二等级评估结果的量化结果不做具体限定。

通过对病变信息进行量化，得到量化结果，并基于量化结果确定待评估眼底图像对应的第二等级评估结果，对病变信息进行了进一步的分析，而第二等级评估结果是基于病变信息确定的，从而进一步提高了第二等级评估结果的准确性。

图7所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。在本申请图6所示实施例的基础上延伸出本申请图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之处，相同之处不再赘述。

如图7所示，在本申请实施例提供的图像评估方法中，对病变信息进行量化，得到量化结果，还包括如下步骤。

步骤701，基于病变信息确定病变信息对应的病变特征信息。

示例性地，病变特征信息包括病变位置信息、病变数量信息、病变面积信息、分布信息、形态信息中的至少一种。

示例性地，病变位置信息可以是病变信息对应的病灶区域的几何中心的位置信息。例如，当病变信息是微血管瘤信息时，病变位置信息可以是微血管瘤信息对应的病灶区域的几何中心在待评估眼底图像中的绝对位置信息。病变数量信息可以是病变信息对应的病灶区域的数量。例如，当病变信息是微血管瘤信息时，病变数量信息可以是微血管瘤信息对应的病灶区域的数量。病变面积信息可以是病变信息对应的病灶区域的总面积或平均面积。例如，当病变信息是微血管瘤信息时，病变面积信息可以是微血管瘤信息对应的病灶区域的总面积或平均面积。分布信息可以是病变信息对应的病灶区域的分布情况，例如，当病灶区域分布在黄斑附近时，病变信息对DR病情的影响较大。形态信息可以是病变信息对应的病灶区域的形状和态势，例如，形状可以是圆形、椭圆形、锯齿形等，态势可以是圆形的圆度。

步骤702，基于病变特征信息确定量化结果。

基于病变特征信息确定量化结果后，可以基于量化结果确定第二等级评估结果。示例性地，第二等级评估结果可以包括轻度、中度和中重度。轻度可以是待评估眼底图像仅包括微血管瘤图像区域，且微血管瘤图像区域的面积小于第一预设面积阈值的一种结果。中度可以是待评估眼底图像包括小于或等于预设数量的微血管瘤图像区域、出血图像区域和渗出图像区域，且微血管瘤图像区域的面积小于第二预设面积阈值的一种结果。中重度可以是待评估眼底图像包括大于预设数量的出血图像区域，且微血管瘤图像区域的面积大于第二预设面积阈值的一种结果，也可以是待评估眼底图像包括大于预设数量的静脉串珠样改变图像的一种结果，还可以是待评估眼底图像包括至少一个明显的视网膜内微血管异常图像的一种结果。预设数量可以根据具体情况确定，本申请不做具体限定。轻度、中度和中重度的等级判断标准还可以是其它的判断标准，例如，中度还可以是待评估眼底图像包括小于或等于预设数量的微血管瘤图像区域、出血图像区域和渗出图像区域，且出血图像区域的面积小于预设出血面积阈值的一种结果，本申请对轻度、中度和中重度的等级判断标准不做具体限定。

通过基于病变信息确定病变信息对应的病变特征信息，并基于病变特征信息确定量化结果，可以使量化结果更加准确，而第二等级评估结果是基于量化结果确定的，从而进一步提高了第二等级评估结果的准确性。

图8所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图8所示实施例，下面着重叙述图8所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图8所示，在本申请实施例提供的图像评估方法中，在基于待评估眼底图像确定病灶区域之前，还包括如下步骤。

步骤801，对待评估眼底图像进行预处理操作，以得到预处理图像。

预处理操作包括图像质量评估操作、去噪处理操作、归一化处理操作和增强处理操作中的至少一种。例如，可以先进行图像质量评估操作，得到符合质量要求的待评估眼底图像，然后进行去噪处理操作，得到去噪后的待评估眼底图像，然后对去噪后的待评估眼底图像进行归一化处理操作，得到归一化后的待评估眼底图像，然后对归一化后的待评估眼底图像进行增强处理操作，得到增强后的待评估眼底图像。也可以只对待评估眼底图像进行去噪处理操作，或者归一化处理操作，或者增强处理操作，即以上几种预处理操作可以根据实际需求进行选择，本申请不做具体限定。

示例性地，图像质量评估操作可以是评估待评估眼底图像是否是眼底的图像，如果不是眼底图像，可以直接去除。图像质量评估也可以是评估待评估眼底图像是否清晰，如果清晰度不够，也可以直接去除。

示例性地，去噪处理操作可以是去除待评估眼底图像在拍摄过程中产生的噪声，例如，如图9所示，在待评估眼底图像的拍摄过程中，由于眼睑遮挡造成的面积较大且灰度较小的遮挡区域5。图3所示的渗出图像区域1的灰度和图9所示的遮挡区域5的灰度相近，但是渗出图像区域1的面积相对遮挡区域5的面积较小，因此，可以提取小于预设噪声灰度阈值的区域，得到疑似噪声区域，并计算疑似噪声区域的面积，然后将疑似噪声区域的面积大于预设噪声面积阈值的区域判定为噪声区域，最后将噪声区域去除。去噪处理操作也可以是去除待评估眼底图像中其它与病灶区域无关的信息。例如，待评估眼底图像中患者的个人信息文字、拍摄时间文字等。去噪处理操作还可以采用基于Shearlet框架的多尺度去噪算法、基于Ridgelet变换的多尺度去噪算法等，本申请对去噪处理操作的算法不做具体限定。通过去噪处理操作可以减小遮挡区域5、患者的个人信息文字、拍摄时间文字等噪声对确定病灶区域的干扰，从而提高确定病灶区域的准确性。

示例性地，归一化处理操作可以是将不同大小的数值限制在一个数值范围内，而不影响这些数值之间的相对大小关系。例如，归一化处理操作可以是将多个像素的灰度数值换算到[0,1]的区间内，而多个像素的灰度数值之间的相对大小关系不变。示例性地，可以按照公式(x-min)/(max-min)进行归一化处理，其中，x代表一个像素的灰度值，max代表待评估眼底图像中像素的灰度值中的最大值，min代表待评估眼底图像中像素的灰度值中的最小值。通过归一化处理操作，使多个像素的灰度数值限制在一个数值范围内，从而便于后续计算。

示例性地，增强处理操作可以是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征。例如，灰度值较小的区域是待评估眼底图像中的一种感兴趣的特征区域，可以将灰度值较小的区域的灰度值设置为0，具体而言，可以将灰度值小于10的区域的灰度值设置为0。再例如，灰度值较大的区域是待评估眼底图像中的一种感兴趣的特征区域，可以将灰度值较大的区域的灰度值设置为255，具体而言，可以将灰度值大于200的区域的灰度值设置为255。增强处理操作也可以是将待评估眼底图像中所有像素的灰度值都乘以一定的数值，例如都乘以3，或者都乘以5，具体乘以的数值可根据实际需求进行选择，本申请不做具体限定。通过增强处理操作，可以使病灶区域更易于提取和识别，进一步提高确定病灶区域的准确性。

如图8所示，在本申请实施例提供的图像评估方法中，基于待评估眼底图像确定病灶区域，还包括如下步骤。

步骤802，基于预处理图像确定病灶区域。

具体而言，通过对待评估眼底图像进行预处理操作，以得到预处理图像，并基于预处理图像确定病灶区域，使病灶区域更易于提取和识别。

图10所示为本申请一示例性实施例提供的模型训练方法的流程示意图。如图10所示，该模型训练方法包括如下步骤。

步骤1001，确定眼底图像样本及眼底图像样本对应的第一等级评估结果。

示例性地，第一等级评估结果包括：轻中度和重度。

具体而言，步骤1001中提及的眼底图像样本与上述实施例提及的待评估眼底图像对应。

步骤1002，建立初始模型，并基于眼底图像样本及眼底图像样本对应的第一等级评估结果训练初始模型，以生成等级评估模型。

具体而言，等级评估模型用于基于待评估眼底图像生成待评估眼底图像对应的第一等级评估结果。

本申请实施例提供的网络模型训练方法，通过确定眼底图像样本及眼底图像样本对应的第一等级评估结果，建立初始模型，并基于眼底图像样本及眼底图像样本对应的第一等级评估结果训练初始模型的方式，实现了训练生成等级评估模型的目的。

示例性装置

图11所示为本申请一示例性实施例提供的图像评估装置的结构示意图。如图11所示，该图像评估装置110包括：

图像确定模块111，配置为确定待评估对象对应的待评估眼底图像；

第一评估模块112，配置为将待评估眼底图像输入等级评估模型，以生成待评估眼底图像对应的第一等级评估结果，其中，第一等级评估结果包括：轻中度和重度。

第二评估模块115，配置为如果第一等级评估结果是轻中度，利用计算机视觉算法，基于待评估眼底图像，确定待评估眼底图像对应的第二等级评估结果。

图12所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。在本申请图11所示实施例的基础上延伸出本申请图12所示实施例，下面着重叙述图12所示实施例与图11所示实施例的不同之处，相同之处不再赘述。

如图12所示，本申请实施例提供的图像评估装置110还包括：

病灶区域确定模块113，配置为如果第一等级评估结果是轻中度，基于待评估眼底图像确定病灶区域；

病变信息确定模块114，配置为基于病灶区域确定病灶区域的病变信息；

第二评估模块115进一步配置为：基于病变信息确定待评估眼底图像对应的第二等级评估结果。

图13所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。在本申请图12所示实施例的基础上延伸出本申请图13所示实施例，下面着重叙述图13所示实施例与图12所示实施例的不同之处，相同之处不再赘述。

如图13所示，病变信息确定模块114包括：

病灶特征信息确定单元1141，配置为基于病灶区域确定病灶区域的病灶特征信息，其中，病灶特征信息包括形状信息、颜色信息、拓扑信息和位置信息中的至少一种；

病变信息确定单元1142，配置为基于病灶特征信息确定病变信息。

图14所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。在本申请图12所示实施例的基础上延伸出本申请图14所示实施例，下面着重叙述图14所示实施例与图12所示实施例的不同之处，相同之处不再赘述。

如图14所示，第二评估模块115包括：

量化单元1151，配置为对病变信息进行量化，得到量化结果；

评估结果确定单元1152，配置为基于量化结果确定待评估眼底图像对应的第二等级评估结果。

在本申请一实施例中，量化单元1151，进一步配置为基于病变信息确定病变信息对应的病变特征信息，其中，病变特征信息包括病变位置信息、病变数量信息、病变面积信息、分布信息、形态信息中的至少一种；基于病变特征信息确定量化结果。

图15所示为本申请另一示例性实施例提供的图像评估装置的结构示意图。在本申请图12所示实施例的基础上延伸出本申请图15所示实施例，下面着重叙述图15所示实施例与图12所示实施例的不同之处，相同之处不再赘述。

如图15所示，本申请实施例提供的图像评估装置110还包括：

预处理模块116，配置为对待评估眼底图像进行预处理操作，以得到预处理图像；

病灶区域确定模块113，进一步配置为：基于预处理图像确定病灶区域。

图16所示为本申请一示例性实施例提供的模型训练装置的结构示意图。该模型训练装置160包括：

训练数据确定模块1601，配置为确定眼底图像样本及眼底图像样本对应的第一等级评估结果；

模型训练模块1602，配置为建立初始模型，并基于眼底图像样本及眼底图像样本对应的第一等级评估结果训练初始模型，以生成等级评估模型，其中，等级评估模型用于基于待评估眼底图像生成待评估眼底图像对应的第一等级评估结果，其中，待评估眼底图像对应的第一等级评估结果包括：轻中度和重度。

示例性电子设备

下面，参考图17来描述根据本申请一示例性实施例的电子设备。图17所示为本申请一示例性实施例提供的电子设备的结构示意图。

如图17所示，电子设备170包括一个或多个处理器1701和存储器1702。

处理器1701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备170中的其他组件以执行期望的功能。

存储器1702可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1701可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像评估方法、模型训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待评估眼底图像等各种内容。

在一个示例中，电子设备170还可以包括：输入装置1703和输出装置1704，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置1703可以包括例如键盘、鼠标等等。

该输出装置1704可以向外部输出各种信息，包括第一等级评估结果等。该输出装置1704可以包括例如显示器、通信网络及其所连接的远程输出设备等等。

当然，为了简化，图17中仅示出了该电子设备170中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备170还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像评估方法和/或模型训练方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像评估方法和/或模型训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像评估方法，其特征在于，包括：

确定待评估对象对应的待评估眼底图像；

将所述待评估眼底图像输入等级评估模型，以生成所述待评估眼底图像对应的第一等级评估结果，其中，所述第一等级评估结果包括：轻中度和重度；以及

如果所述第一等级评估结果是所述轻中度，利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果。

2.根据权利要求1所述的图像评估方法，其特征在于，所述利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果包括：

基于所述待评估眼底图像确定病灶区域；

基于所述病灶区域确定所述病灶区域的病变信息；

基于所述病变信息确定所述待评估眼底图像对应的所述第二等级评估结果。

3.根据权利要求2所述的图像评估方法，其特征在于，所述基于所述病灶区域确定所述病灶区域的病变信息，包括：

基于所述病灶区域确定所述病灶区域的病灶特征信息，其中，所述病灶特征信息包括形状信息、颜色信息、拓扑信息和位置信息中的至少一种；

基于所述病灶特征信息确定所述病变信息。

4.根据权利要求2所述的图像评估方法，其特征在于，所述基于所述病变信息确定所述待评估眼底图像对应的第二等级评估结果，包括：

对所述病变信息进行量化，得到量化结果；

基于所述量化结果确定所述待评估眼底图像对应的所述第二等级评估结果。

5.根据权利要求4所述的图像评估方法，其特征在于，所述对所述病变信息进行量化，得到量化结果，包括：

基于所述病变信息确定所述病变信息对应的病变特征信息，其中，所述病变特征信息包括病变位置信息、病变数量信息、病变面积信息、分布信息、形态信息中的至少一种；

基于所述病变特征信息确定所述量化结果。

6.根据权利要求2至5任一所述的图像评估方法，其特征在于，在所述基于待评估眼底图像确定病灶区域之前，还包括：

对所述待评估眼底图像进行预处理操作，以得到预处理图像；

其中，所述基于所述待评估眼底图像确定病灶区域，包括：

基于所述预处理图像确定所述病灶区域。

7.根据权利要求6所述的图像评估方法，其特征在于，所述预处理操作包括图像质量评估操作、去噪处理操作、归一化处理操作和增强处理操作中的至少一种。

8.根据权利要求1至5任一所述的图像评估方法，其特征在于，所述病变信息包括微血管瘤信息、出血信息和渗出信息中的至少一种。

9.一种模型训练方法，其特征在于，包括：

确定眼底图像样本及所述眼底图像样本对应的第一等级评估结果，其中，所述第一等级评估结果包括：轻中度和重度；

建立初始模型，并基于所述眼底图像样本及所述眼底图像样本对应的第一等级评估结果训练所述初始模型，以生成等级评估模型，其中，所述等级评估模型用于基于待评估眼底图像生成所述待评估眼底图像对应的第一等级评估结果。

10.一种图像评估装置，其特征在于，包括：

图像确定模块，配置为确定待评估对象对应的待评估眼底图像；

第一评估模块，配置为将所述待评估眼底图像输入等级评估模型，以生成所述待评估眼底图像对应的第一等级评估结果，其中，所述第一等级评估结果包括：轻中度和重度；以及

第二评估模块，配置为如果所述第一等级评估结果是所述轻中度，利用计算机视觉算法，基于所述待评估眼底图像，确定所述待评估眼底图像对应的第二等级评估结果。

11.一种模型训练装置，其特征在于，包括：

训练数据确定模块，配置为确定眼底图像样本及所述眼底图像样本对应的第一等级评估结果；以及

模型训练模块，配置为建立初始模型，并基于所述眼底图像样本及所述眼底图像样本对应的第一等级评估结果训练所述初始模型，以生成等级评估模型，其中，所述等级评估模型用于基于待评估眼底图像生成所述待评估眼底图像对应的第一等级评估结果，其中，所述待评估眼底图像对应的第一等级评估结果包括：轻中度和重度。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至8任一所述的图像评估方法，或上述权利要求9所述的模型训练方法。

13.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至8任一所述的图像评估方法，或上述权利要求9所述的模型训练方法。

Images