CN115206494A - 基于眼底图像分类的阅片系统及阅片方法 - Google Patents

Abstract

本公开描述了一种基于眼底图像分类的阅片系统及阅片方法。该阅片系统包括获取眼底图像的获取模块；利用第一分类模型对眼底图像进行分类以获取第一分类结果和分类结果类型的第一分类模块；将眼底图像分成阴性结果图像、阳性结果图像和待再分类图像的分组模块；第一质控模块，其基于利用预设阴性预测率和预设阳性预测率配置的质控模型以获取最终分类结果和待仲裁图像；第二分类模块，其利用第二分类模型对待再分类图像进行分类以获取最终分类结果和待仲裁图像；对待仲裁图像进行仲裁以获取仲裁分类结果的仲裁模块。由此，能够提高分类准确率。

Description

基于眼底图像分类的阅片系统及阅片方法

技术领域

本公开大体涉及一种基于眼底图像分类的阅片系统及阅片方法。

背景技术

医疗图像常常包含身体结构或组织的诸多细节。在现代化的医院中，大部分的治疗信息来源于医疗图像例如眼底图像。在临床中，通过理解医疗图像中的这些细节，能够帮助医生进行相关疾病识别。医疗图像已经发展成临床识别疾病的主要方法。然而，传统的基于医疗图像识别疾病信息主要依靠专业的医师根据经验进行判断。在这种情况下，开发一种能够辅助医生进行相关疾病识别的自动阅片的阅片技术已经成为医疗图像学领域的热门方向。随着人工智能技术的发展，基于计算机视觉和人工智能例如机器学习的阅片技术已经在医疗图像识别中得到开发和应用。

例如，专利文献1(CN105513077A)中公开了一种用于糖尿病性视网膜病变筛查的系统，该系统包括：眼底图像获取设备、图像处理及筛查设备以及报告输出设备，眼底图像获取设备用于采集或接收被检人员的眼底图像；图像处理及筛查设备用于对眼底图像进行处理并检测其中是否存在病变，然后将检测结果输送给报告输出设备；报告输出设备基于检测结果输出相应检测报告。

然而，在实际临床应用中，由于眼底图像的多样性，专利文献1所描述的筛查系统在处理某些眼底图像时可能输出错误或者不准确的检测报告，导致筛查系统的分类准确率下降。

发明内容

本公开是鉴于上述的状况而提出的，其目的在于提供一种能够提高分类准确率的基于眼底图像分类的阅片系统及阅片方法。

为此，本公开第一方面提供了一种基于眼底图像分类的阅片系统，包括：获取模块，其用于获取眼底图像；第一分类模块，其利用第一分类模型对所述眼底图像进行分类以获取第一分类结果并基于所述第一分类结果获取包括是否需要再次分类的分类结果类型；分组模块，其基于所述第一分类结果和所述分类结果类型将所述眼底图像分成阴性结果图像、阳性结果图像和待再分类图像；第一质控模块，其包括阴性质控模块和阳性质控模块，所述阴性质控模块利用基于预设阴性预测率对第一置信度阈值进行配置的第一质控模型获取所述阴性结果图像的阴性质控结果，基于所述阴性质控结果获取最终分类结果或将所述阴性结果图像作为第一待仲裁图像，所述阳性质控模块利用基于预设阳性预测率对第二置信度阈值进行配置的第二质控模型获取所述阳性结果图像的阳性质控结果，基于所述阳性质控结果获取所述最终分类结果或将所述阳性结果图像作为第二待仲裁图像；第二分类模块，其利用针对所述待再分类图像进行训练的第二分类模型对所述待再分类图像进行分类以获取第二分类结果，基于所述第二分类结果获取所述最终分类结果或将所述待再分类图像作为第三待仲裁图像；以及仲裁模块，其接收所述第一待仲裁图像、所述第二待仲裁图像或所述第三待仲裁图像并作为待仲裁图像，对所述待仲裁图像进行仲裁以获取仲裁分类结果并作为所述最终分类结果。在这种情况下，将眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，对于阴性结果图像和阳性结果图像，基于阴性预测率获取风险较低的阴性结果图像和基于阳性预测率获取风险较高的阳性结果图像并进行一致性判断，且对于待再分类图像，利用第二分类模型进一步地分类，最后对待仲裁图像进行仲裁。由此，能够提高阅片系统的分类准确率。

另外，在本公开第一方面涉及的阅片系统中，可选地，对于所述阴性结果图像，若所述阴性质控结果和所述第一分类结果一致，则将所述阴性质控结果作为所述最终分类结果，否则将所述阴性结果图像作为所述第一待仲裁图像；对于所述阳性结果图像，若所述阳性质控结果和所述第一分类结果一致，则将所述阳性质控结果作为所述最终分类结果，否则将所述阳性结果图像作为所述第二待仲裁图像；对于所述待再分类图像，若所述第二分类结果和所述第一分类结果一致，则将所述第二分类结果作为所述最终分类结果，否则将所述待再分类图像作为所述第三待仲裁图像。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，基于所述预设阴性预测率利用金标准数据对所述第一置信度阈值进行配置；基于所述预设阳性预测率利用金标准数据对所述第二置信度阈值进行配置。由此，能够确定置信度阈值。

另外，在本公开第一方面涉及的阅片系统中，可选地，所述反向求解为按照预设步长遍历预设范围内的置信度阈值并求解性能指标以获得多个置信度阈值与多组性能指标的对应关系，基于所述多个置信度阈值与多组性能指标的对应关系和所述预设阴性预测率确定所述第一置信度阈值，基于所述多个置信度阈值与多组性能指标的对应关系和所述预设阳性预测率确定所述第二置信度阈值。在这种情况下，利用多个置信度阈值与多组性能指标的对应关系能够方便地且快速地确定第一置信度阈值和第二置信度阈值。

另外，在本公开第一方面涉及的阅片系统中，可选地，所述性能指标包括敏感性、特异性、阳性预测率和阴性预测率。

另外，在本公开第一方面涉及的阅片系统中，可选地，所述第一分类结果包括无视网膜病变、背景期、增殖前期和增殖期；所述阴性结果图像包括所述第一分类结果为无视网膜病变且所述分类结果类型为不需要再次分类的所述预处理眼底图像；所述阳性结果图像包括所述第一分类结果为增殖前期或增殖期且所述分类结果类型为不需要再次分类的所述预处理眼底图像；所述待再分类图像包括所述分类结果类型为需要再次分类的所述预处理眼底图像。在这种情况下，将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，能够方便后续对每种图像进行针对性的处理。由此，能够进一步提高阅片系统的分类准确率。

另外，在本公开第一方面涉及的阅片系统中，可选地，所述预设阴性预测率为95％至99％，所述预设阳性预测率为95％至99％。由此，能够获取预设阴性预测率和预设阳性预测率。

另外，在本公开第一方面涉及的阅片系统中，可选地，所述阅片系统还包括自检模块，所述自检模块用于对所述阴性质控结果的眼底图像进行抽检以判断所述第一置信度阈值是否符合要求和用于对所述阳性质控结果的眼底图像进行抽检以判断所述第二置信度阈值是否符合要求。在这种情况下，可以进一步地确认第一置信度阈值和第二置信度阈值是否符合要求。由此，能够提高阅片系统的分类准确率。

另外，在本公开第一方面涉及的阅片系统中，可选地，所述第一分类模型基于机器学习的算法建立，所述机器学习的算法是传统机器学习的算法和深度学习的算法中的至少一种。由此，能够基于机器学习的算法建立第一分类模型。

本公开第二方面提供了一种基于眼底图像分类的阅片方法，包括：获取眼底图像；利用第一分类模型对所述眼底图像进行分类以获取第一分类结果并基于所述第一分类结果获取包括是否需要再次分类的分类结果类型；基于所述第一分类结果和所述分类结果类型将所述眼底图像分成阴性结果图像、阳性结果图像和待再分类图像；利用基于预设阴性预测率对第一置信度阈值进行配置的第一质控模型获取所述阴性结果图像的阴性质控结果，基于所述阴性质控结果获取最终分类结果或将所述阴性结果图像作为第一待仲裁图像，利用基于预设阳性预测率对第二置信度阈值进行配置的第二质控模型获取所述阳性结果图像的阳性质控结果，基于所述阳性质控结果获取所述最终分类结果或将所述阳性结果图像作为第二待仲裁图像；利用针对所述待再分类图像进行训练的第二分类模型对所述待再分类图像进行分类以获取第二分类结果，基于所述第二分类结果获取所述最终分类结果或将所述待再分类图像作为第三待仲裁图像；并且将所述第一待仲裁图像、所述第二待仲裁图像或所述第三待仲裁图像作为待仲裁图像，对所述待仲裁图像进行仲裁以获取仲裁分类结果并作为所述最终分类结果。在这种情况下，将眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，对于阴性结果图像和阳性结果图像，基于阴性预测率获取风险较低的阴性结果图像和基于阳性预测率获取风险较高的阳性结果图像并进行一致性判断，且对于待再分类图像，利用第二分类模型进一步地分类，最后对待仲裁图像进行仲裁。由此，能够提高分类准确率。

根据本公开，能够提供一种提高分类准确率的基于眼底图像分类的阅片系统及阅片方法。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开，其中：

图1是示出了本公开示例所涉及的基于眼底图像分类的阅片方法的应用场景图。

图2是示出了本公开示例所涉及的基于眼底图像分类的阅片系统的框图。

图3(a)是示出了本公开示例所涉及的眼底图像的示意图。

图3(b)是示出了本公开示例所涉及的眼底图像的示意图。

图4是示出了本公开示例所涉及的第一分类模块的卷积神经网络中所采用的卷积核的示意图。

图5是示出了本公开示例所涉及的基于眼底图像分类的阅片系统的框图。

图6是示出了本公开示例所涉及的基于眼底图像分类的阅片方法的流程图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。

本公开涉及一种能够提高分类准确率的基于眼底图像分类的阅片系统200及阅片方法。其中，基于眼底图像分类的阅片系统200有时可以简称为阅片系统200，基于眼底图像分类的阅片方法有时可以简称为阅片方法。

图1是示出了本公开示例所涉及的基于眼底图像分类的阅片方法的应用场景图。

在一些示例中，阅片方法(稍后描述)可以应用于如图1所示的应用场景100中。在应用场景100中，操作员110可以通过控制连接在终端120上的采集设备130以采集人眼140的眼底的眼底图像，在采集设备130完成眼底图像采集后，终端120可以将眼底图像通过计算机网络提交至服务器150，服务器150可以通过执行存储在服务器150上的计算机程序指令以实现阅片方法，通过该阅片方法接收眼底图像并生成眼底图像的结果报告，服务器150可以将生成的眼底图像的结果报告返回给终端120。在一些示例中，终端120可以显示结果报告。在另一些示例中，结果报告可以作为中间结果存储在终端120或者服务器150的存储器中。在另一些示例中，阅片方法接收的眼底图像可以是存储在终端120或服务器150中的眼底图像。

在一些示例中，操作员110可以是专业人员例如眼科医生。在另一些示例中，操作员110可以是经过阅片培训的普通人员。阅片培训可以包括但不限于采集设备130的操作和涉及阅片方法的终端120的操作。在一些示例中，终端120可以包括但不限于是笔记本电脑、平板电脑或台式机等。在一些示例中，采集设备130可以是相机。相机例如可以是手持式眼底相机或台式眼底相机。在一些示例中，采集设备130可以通过串口跟终端120相连接。在一些示例中，采集设备130可以集成在终端120中。

在一些示例中，服务器150可以包括一个或多个处理器和一个或多个存储器。其中，处理器可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件，能够执行计算机程序指令。存储器可以用于存储计算机程序指令。在一些示例中，服务器150通过执行存储器上的计算机程序指令可以实现阅片方法。在一些示例中，服务器150也可以是云端服务器。

以下，结合附图详细描述本公开涉及的阅片系统200。本公开涉及的阅片系统200用于实施上述的阅片方法。图2是示出了本公开示例所涉及的基于眼底图像分类的阅片系统200的框图。

在一些示例中，如图2所示，阅片系统200可以包括获取模块210、预处理模块220、第一分类模块230、分组模块240、第一质控模块250、第二分类模块260和仲裁模块270。在一些示例中，获取模块210可以用于获取眼底图像，预处理模块220可以用于对眼底图像进行预处理以获取预处理眼底图像，第一分类模块230可以用于对预处理眼底图像进行分类并获取第一分类结果和分类结果类型，分组模块240可以将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，第一质控模块250可以基于阴性结果图像和阳性结果图像获取最终分类结果、第一待仲裁图像和第二待仲裁图像，第二分类模块260可以基于待再分类图像获取最终分类结果和第三待仲裁图像，仲裁模块270可以用于对待仲裁图像进行仲裁以获取仲裁分类结果并作为最终分类结果。在这种情况下，将眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，对于阴性结果图像和阳性结果图像，基于阴性预测率获取风险较低的阴性结果图像和基于阳性预测率获取风险较高的阳性结果图像并进行一致性判断，且对于待再分类图像，利用第二分类模型进一步地分类，最后对待仲裁图像进行仲裁。由此，能够提高阅片系统200的分类准确率。

图3(a)是示出了本公开示例所涉及的眼底图像的示意图。图3(b)是示出了本公开示例所涉及的眼底图像的示意图。

在一些示例中，获取模块210可以用于获取眼底图像。在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。另外，眼底图像可以为RGB模式、CMYK模式、Lab模式或灰度模式的图像等。在一些示例中，眼底图像可以由采集设备130获取。在另一些示例中，眼底图像可以是存储在终端120或服务器150中的眼底图像。作为眼底图像的示例，例如图3(a)和图3(b)分别为不同的人眼140的眼底图像。

在一些示例中，预处理模块220可以用于对眼底图像进行预处理以获取预处理眼底图像。具体地，预处理模块220可以获取获取模块210输出的眼底图像，并对眼底图像进行预处理得到预处理眼底图像。

在一些示例中，预处理模块220可以对眼底图像进行裁切。一般而言，由于由获取模块210所获取的眼底图像可能存在图像格式或尺寸不同的问题，因此需要对眼底图像进行裁切，使眼底图像转换为固定标准形式的图像。固定标准形式可以指图像的格式相同，尺寸一致。例如，在一些示例中，眼底图像经过预处理后的尺寸可以统一为256×256、374×374、512×512、768×768或1024×1024像素的眼底图像。

在一些示例中，预处理模块220可以对眼底图像进行归一化处理。

在一些示例中，归一化处理可以包括对眼底图像进行坐标中心化、缩放归一化等操作。由此，能够克服不同眼底图像的差异性，提高第一分类模型的性能。另外，在一些示例中，预处理模块220可以包括对眼底图像进行降噪、灰度化等处理。由此，能够突出眼底图像的特征。

在一些示例中，眼底图像也可以不用进行预处理，后续直接对眼底图像进行分类。也即，预处理模块220也可以不是必须的。

在一些示例中，第一分类模块230可以用于对预处理眼底图像进行分类并获取第一分类结果和分类结果类型。在一些示例中，第一分类模块230还可以获取第一分类结果的置信度。在一些示例中，第一分类模块230可以根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系输出第一分类结果。在一些示例中，第一分类结果可以至少包括无视网膜病变(R0)、背景期(R1)、增殖前期(R2)和增殖期(R3)。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高阅片系统200的分类准确率。在一些示例中，第一分类结果还可以包括无糖尿病性黄斑水肿(M0)和黄斑水肿(M1)。

但本公开的示例不限于此，在另一些示例中，第一分类结果可以至少包括阴性结果和阳性结果。在一些示例中，第一分类模块230可以筛选出无法分类的预处理眼底图像(例如图片质量太差导致无法分类的预处理眼底图像)。

在一些示例中，分类结果类型可以包括是否需要再次分类的类型(例如需要再次分类和不需要再次分类)。在一些示例中，可以基于第一分类结果获取分类结果类型。在一些示例中，可以将第一分类结果为背景期的预处理眼底图像的分类结果类型设置为需要再次分类，其他预处理眼底图像设置为不需要再次分类。在一些示例中，可以基于第一分类结果的置信度判定是否需要再次分类以获取分类结果类型。例如，将具有低于预设置信度(例如40％或50％)的第一分类结果的预处理眼底图像设置为需要再次分类，其他预处理眼底图像设置为不需要再次分类。

在一些示例中，第一分类模块230可以利用机器学习的算法对眼底图像进行分类以获取第一分类结果。在一些示例中，机器学习的算法可以是传统机器学习的算法和深度学习的算法中的至少一种。在这种情况下，能够根据实际需要选择合适的机器学习的算法。在一些示例中，可以基于机器学习的算法建立第一分类模型。

图4是示出了本公开示例所涉及的第一分类模块230的卷积神经网络中所采用的卷积核的示意图。

在一些示例中，基于深度学习的算法建立的第一分类模型可以是卷积神经网络(CNN)。在一些示例中，卷积神经网络(CNN)可以使用3×3卷积核(参见图4)自动识别眼底图像中的特征。但本公开的示例不限于此，在另一些示例中，卷积神经网络(CNN)的卷积核可以为5×5卷积核、2×2卷积核或7×7卷积核等。在这种情况下，由于卷积神经网络(CNN)具备对图像特征识别的高效性的特点，能够有效地提高阅片系统200的性能。

但本公开的示例不限于此，在另一些示例中，第一分类模块230的机器学习的算法可以是传统机器学习的算法。在一些示例中，传统机器学习的算法可以包括但不限于是线性回归算法、逻辑回归算法、决策树算法、支持向量机算法或贝叶斯算法等。在这种情况下，可以先利用图像处理算法提取眼底图像中的眼底特征，再将眼底特征输入基于传统机器学习的算法建立的第一分类模型以实现对眼底图像进行分类。

在一些示例中，第一分类模型可以包括多个子分类模型。各个子分类模型可以是针对每类糖尿病视网膜病变的。各个子分类模型可以接收预处理眼底图像并获取子分类结果。在一些示例中，第一分类模块230可以基于多个子分类结果获取第一分类结果。由此，能够基于多个子分类模型获取第一分类结果。

具体地，可以针对无视网膜病变、背景期、增殖前期、增殖期、无糖尿病性黄斑水肿和黄斑水肿建立不同的子分类模型并进行训练以获取是否为某个糖尿病视网膜病变的子分类结果(例如是背景期或不是背景期)和置信度，进而可以根据各个子分类结果和置信度获取第一分类结果。例如可以获取置信度最高的子分类结果作为第一分类结果。

在一些示例中，分组模块240可以将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像。在一些示例中，可以基于第一分类结果和分类结果类型将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像。在这种情况下，将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，能够方便后续对每种图像进行针对性的处理。由此，能够进一步提高阅片系统200的分类准确率。

具体地，阴性结果图像可以包括第一分类结果为无视网膜病变且分类结果类型为不需要再次分类的预处理眼底图像。阳性结果图像可以包括第一分类结果为增殖前期或增殖期且分类结果类型为不需要再次分类的预处理眼底图像。待再分类图像可以包括分类结果类型为需要再次分类的预处理眼底图像。在一些示例中，需要再次分类的预处理眼底图像可以包括第一分类结果为背景期的预处理眼底图像和无法分类的预处理眼底图像。

在一些示例中，第一质控模块250可以基于阴性结果图像和阳性结果图像获取最终分类结果、第一待仲裁图像和第二待仲裁图像。如图2所示，在一些示例中，第一质控模块250可以包括阴性质控模块251和阳性质控模块252。

在一些示例中，阴性质控模块251可以接收阴性结果图像，利用基于预设阴性预测率对第一置信度阈值进行配置的第一质控模型获取阴性质控结果。一般而言，阴性预测率越高，第一质控模型对阴性结果(也即无视网膜病变)越敏感，不确定的阴性结果图像会被分类为阳性结果(也即存在某类糖尿病视网膜病变)。具体地，在阅片系统200正式发布到正式环境前，可以根据要求(例如客户要求或默认要求)设置预设阴性预测率。在一些示例中，预设阴性预测率可以为95％至99％。例如预设阴性预测率可以为95％、96％、97％、98％或99％等。

在一些示例中，可以利用金标准数据对第一置信度阈值进行配置。由此，能够确定第一置信度阈值。在一些示例中，可以基于金标准数据根据预设阴性预测率反向求解第一置信度阈值。在一些示例中，在反向求解中，可以按照预设步长遍历预设范围(例如预设范围可以为90％至100％)内的置信度阈值并求解性能指标以获得多个置信度阈值与多组性能指标的对应关系，基于多个置信度阈值与多组性能指标的对应关系和预设阴性预测率确定第一置信度阈值。在这种情况下，利用多个置信度阈值与多组性能指标的对应关系能够方便地且快速地确定第一置信度阈值。在一些示例中，性能指标可以包括敏感性、特异性、阳性预测率和阴性预测率。

具体地，由于在金标准数据上，各个置信度阈值对应的敏感性、特异性、阳性预测率(阳性预测率可以是真阳性的数量/(真阳性的数量+假阳性的数量))和阴性预测率(阴性预测率可以是真阴性的数量/(真阴性的数量+假阴性的数量))等性能指标是确定的。在一些示例中，可以按照预设步长遍历预设范围内的置信度阈值并求解相关性能指标。例如预设步长可以为0.01、0.001或0.0001等。在这种情况下，可以基于多个置信度阈值与多组性能指标的对应关系创建记录各个置信度阈值对应的一组性能指标的表格，该表格中包括预设阴性预测率的性能指标对应的置信度阈值即为第一置信度阈值。

但本公开的示例不限于此，在另一些示例中，可以基于预设阴性预测率通过不断地调整第一置信度阈值并测试以获得预设阴性预测率对应的第一置信度阈值。例如，可以基于金标准数据设置第一初始置信度阈值并获取基于第一初始置信度阈值的阴性预测率，若阴性预测率与预设阴性预测率绝对差值大于预设值(例如1％、2％或3％)，则调整第一初始置信度阈值并进行继续比较阴性预测率与预设阴性预测率，否则第一初始置信度阈值作为第一置信度阈值。

在一些示例中，第一质控模型可以与第一分类模型一样。在另一些示例中，第一质控模型可以是针对阴性结果图像重新进行训练的模型。在一些示例中，阴性质控结果可以包括部分第一分类结果。例如阴性质控结果可以包括无视网膜病变。在一些示例中，置信度可以是阴性结果图像属于某个阴性质控结果的概率。在一些示例中，第一置信度阈值可以包括阳性放行阈值、阴性放行阈值和结果阈值。在一些示例中，若第一质控模型包括针对每类糖尿病视网膜病变的多个第一子质控模型，则第一置信度阈值可以为多组。例如若存在n个第一子质控模型，则需要n组第一置信度阈值。在一些示例中，第一质控模型可以根据结果阈值输出阴性质控结果。在一些示例中，第一质控模型置信度在阴性放行阈值和阳性放行阈值之间的阴性质控结果可以进行仲裁。

在一些示例中，阴性质控模块251可以基于阴性质控结果获取最终分类结果或将阴性结果图像作为第一待仲裁图像。在一些示例中，若阴性结果图像的阴性质控结果和第一分类结果一致，则将该阴性质控结果作为该阴性结果图像的最终分类结果，否则将该阴性结果图像作为第一待仲裁图像。在这种情况下，通过设置预设阴性预测率能够区分出风险较低的阴性结果图像并与第一分类结果进行比较。

在一些示例中，第一质控模块250可以包括阳性质控模块252。在一些示例中，阳性质控模块252可以接收阳性结果图像，利用基于预设阳性预测率对第二置信度阈值进行配置的第二质控模型获取阳性质控结果。一般而言，阳性预测率越高，第二质控模型对阳性结果(也即存在某类糖尿病视网膜病变)越敏感，不确定的阳性结果图像会被分类为阴性结果(也即无视网膜病变)。具体地，在阅片系统200正式发布到正式环境前。可以根据要求(例如客户要求或默认要求)设置预设阳性预测率。在一些示例中，预设阳性预测率可以为95％至99％。例如预设阳性预测率可以为95％、96％、97％、98％或99％等。

在一些示例中，可以利用金标准数据对第二置信度阈值进行配置。由此，能够确定第二置信度阈值。在一些示例中，可以基于金标准数据根据预设阳性预测率反向求解第二置信度阈值。在一些示例中，可以基于上述的多个置信度阈值与多组性能指标的对应关系和预设阳性预测率确定第二置信度阈值。在这种情况下，利用多个置信度阈值与多组性能指标的对应关系能够方便地且快速地确定第二置信度阈值。具体内容参见第一置信度阈值中的反向求解的相关描述。

但本公开的示例不限于此，在另一些示例中，可以基于预设阳性预测率通过不断地调整第二置信度阈值并测试以获得预设阳性预测率对应的第二置信度阈值。

在一些示例中，第二质控模型可以与第一分类模型一样。在另一些示例中，第二质控模型可以是针对阳性结果图像重新进行训练的模型。在一些示例中，阳性质控结果可以包括部分第一分类结果。例如阳性质控结果可以包括增殖前期和增殖期。在一些示例中，置信度可以是阳性结果图像属于某个阳性质控结果的概率。在一些示例中，第二置信度阈值可以包括阳性放行阈值、阴性放行阈值和结果阈值。具体内容可以参照第一置信度阈值相关的描述。

在一些示例中，阳性质控模块252可以基于阳性质控结果获取最终分类结果或将阳性结果图像作为第二待仲裁图像。在一些示例中，若阳性结果图像的阳性质控结果和第一分类结果一致，则将该阳性质控结果作为该阳性结果图像的最终分类结果，否则将该阳性结果图像作为第二待仲裁图像。在这种情况下，通过设置预设阳性预测率能够区分出风险较高的阳性结果图像并与第一分类结果进行比较。

如上所述，阅片系统200可以包括第二分类模块260(参见图2)。在一些示例中，第二分类模块260可以基于待再分类图像获取最终分类结果和第三待仲裁图像。

在一些示例中，第二分类模块260可以接收待再分类图像，利用第二分类模型对待再分类图像进行分类以获取第二分类结果。第二分类模型可以是基于深度学习且针对待再分类图像进行训练获得的。在一些示例中，第二分类结果可以包括部分第一分类结果。例如第二分类结果可以包括无视网膜病变、背景期、增殖前期和增殖期。在一些示例中，针对待再分类图像进行训练时，可以提取待再分类图像这类图像相关的特征并结合待再分类图像一起训练第二分类模型。在一些示例中，相关的特征可以包括微动脉瘤、出血、渗出、棉绒斑、新生血管或黄斑病变。在一些示例中，相关的特征可以包括健康情况、年龄和病史记录。在一些示例中，还可以结合待再分类图像的颜色特征、纹理特征和形状特征对第二分类模型进行训练。

在一些示例中，第二分类模块260可以基于第二分类结果获取最终分类结果或将待再分类图像作为第三待仲裁图像。在一些示例中，若待再分类图像的第二分类结果和第一分类结果一致，则将该第二分类结果作为待再分类图像的最终分类结果，否则将该待再分类图像作为第三待仲裁图像。

在一些示例中，仲裁模块270可以用于对待仲裁图像进行仲裁以获取仲裁分类结果。在一些示例中，可以将仲裁分类结果作为最终分类结果。在一些示例中，待仲裁图像可以为第一待仲裁图像、第二待仲裁图像或第三待仲裁图像。在一些示例中，仲裁分类结果可以与第一分类结果一致。在一些示例中，可以由仲裁医生对待仲裁图像进行判断以获取仲裁分类结果。

图5是示出了本公开示例所涉及的基于眼底图像分类的阅片系统200的框图。

在一些示例中，如图5所示，阅片系统200还包括自检模块280，在一些示例中，自检模块280可以用于对阴性质控结果的眼底图像进行抽检以判断第一置信度阈值是否符合要求。在一些示例中，自检模块280可以用于对阳性质控结果的眼底图像进行抽检以判断第二置信度阈值是否符合要求。在一些示例中，可以利用抽样方法进行抽检。例如可以利用随机抽样进行抽检。在一些示例中，对于刚发布的阅片系统200的抽检的程度可以加严(例如提高抽样比例)。在这种情况下，可以进一步地确认第一置信度阈值和第二置信度阈值是否符合要求。由此，能够提高阅片系统200的分类准确率。

在一些示例中，如图5所示，阅片系统200还可以包括输出模块290。在一些示例中，输出模块可以用于输出结果报告。在一些示例中，输出模块290可以对第一分类结果、阴性质控结果、阳性质控结果、第二分类结果、仲裁分类结果、最终分类结果中的至少一种进行判断以输出眼底图像的结果报告。在一些示例中，结果报告可以包括各个结果的置信度。

以下，结合图6详细描述本公开的基于眼底图像分类的阅片方法。本公开涉及的基于眼底图像分类的阅片方法有时可以简称为阅片方法。阅片方法应用于上述的阅片系统200中。图6是示出了本公开示例所涉及的基于眼底图像分类的阅片方法的流程图。

在一些示例中，如图6所示，阅片方法可以包括获取眼底图像(步骤S110)，对眼底图像进行预处理以获取预处理眼底图像(步骤S120)，对预处理眼底图像进行分类并获取第一分类结果和分类结果类型(步骤S130)，将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像(步骤S140)，基于阴性结果图像和阳性结果图像获取最终分类结果、第一待仲裁图像和第二待仲裁图像(步骤S150)，基于待再分类图像获取最终分类结果和第三待仲裁图像(步骤S160)，对待仲裁图像进行仲裁以获取仲裁分类结果并作为最终分类结果(步骤S170)。在这种情况下，将眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，对于阴性结果图像和阳性结果图像，基于阴性预测率获取风险较低的阴性结果图像和基于阳性预测率获取风险较高的阳性结果图像并进行一致性判断，且对于待再分类图像，利用第二分类模型进一步地分类，最后对待仲裁图像进行仲裁。由此，能够提高分类准确率。

在一些示例中，在步骤S110中，可以获取眼底图像。眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。具体描述可以参见阅片系统200中的获取模块210的相关描述。

在一些示例中，在步骤S120中，可以对眼底图像进行预处理以获取预处理眼底图像。在一些示例中，可以对眼底图像进行裁切、归一化、降噪、灰度化等处理。具体描述可以参见阅片系统200中的预处理模块220的相关描述。

在一些示例中，在步骤S130中，可以利用基于深度学习的第一分类模型对预处理眼底图像进行分类以获取第一分类结果。在一些示例中，可以基于第一分类结果获取分类结果类型。在一些示例中，分类结果类型包括是否需要再次分类的类型。在一些示例中，可以根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系输出第一分类结果。在一些示例中，第一分类结果可以至少包括无视网膜病变(R0)、背景期(R1)、增殖前期(R2)和增殖期(R3)。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高分类准确率。在一些示例中，可以获取无法分类的预处理眼底图像(例如图片质量太差导致无法分类的预处理眼底图像)。在一些示例中，第一分类模型可以包括多个子分类模型。各个子分类模型可以是针对每类糖尿病视网膜病变的。各个子分类模型可以接收预处理眼底图像并获取子分类结果。在一些示例中，第一分类模块230可以基于多个子分类结果获取第一分类结果。由此，能够基于多个子分类模型获取第一分类结果。具体描述可以参见阅片系统200中的第一分类模块230的相关描述。

在一些示例中，在步骤S140中，可以基于第一分类结果和分类结果类型将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像。在这种情况下，将预处理眼底图像分成阴性结果图像、阳性结果图像和待再分类图像，能够方便后续对每种图像进行针对性的处理。由此，能够进一步提高分类准确率。具体地，阴性结果图像可以包括第一分类结果为无视网膜病变且分类结果类型为不需要再次分类的预处理眼底图像。阳性结果图像可以包括第一分类结果为增殖前期或增殖期且分类结果类型为不需要再次分类的预处理眼底图像。待再分类图像可以包括分类结果类型为需要再次分类的预处理眼底图像。在一些示例中，需要再次分类的预处理眼底图像可以包括第一分类结果为背景期的预处理眼底图像和无法分类的预处理眼底图像。具体描述可以参见阅片系统200中的分组模块240的相关描述。

在一些示例中，在步骤S150中，可以利用第一质控模型获取阴性结果图像的阴性质控结果。在一些示例中，第一质控模型可以是基于预设阴性预测率对第一置信度阈值进行配置的。在一些示例中，若阴性质控结果和第一分类结果一致，则将该阴性质控结果作为最终分类结果，否则将阴性结果图像作为第一待仲裁图像。在一些示例中，可以利用第二质控模型获取阳性结果图像的阳性质控结果。第一质控模型可以是基于预设阳性预测率对第二置信度阈值进行配置的。在一些示例中，若阳性质控结果和第一分类结果一致，则将阳性质控结果作为最终分类结果，否则将阳性结果图像作为第二待仲裁图像。在一些示例中，可以利用金标准数据对第一置信度阈值进行配置(也即利用金标准数据不断地调整第一置信度阈值并最终确定第一置信度阈值)。由此，能够确定第一置信度阈值。在一些示例中，可以利用金标准数据对第二置信度阈值进行配置(也即利用金标准数据不断地调整第二置信度阈值并最终确定第二置信度阈值)。由此，能够确定第二置信度阈值。具体描述可以参见阅片系统200中的第一质控模块250的相关描述。

在一些示例中，在步骤S160中，可以利用基于深度学习第二分类模型对待再分类图像进行分类以获取第二分类结果。在一些示例中，第二分类模型可以是针对待再分类图像进行训练的。在一些示例中，若第二分类结果和第一分类结果一致，则将第二分类结果作为最终分类结果，否则将待再分类图像作为第三待仲裁图像。具体描述可以参见阅片系统200中的第二分类模块260的相关描述。

在一些示例中，在步骤S170中，可以对待仲裁图像进行仲裁以获取仲裁分类结果并作为最终分类结果。在一些示例中，待仲裁图像可以为第一待仲裁图像、第二待仲裁图像或第三待仲裁图像。具体描述可以参见阅片系统200中的仲裁模块270的相关描述。

在一些示例中，阅片方法还包括自检步骤(未图示)。在一些示例中，在自检步骤中，可以对阴性质控结果的眼底图像进行抽检以判断第一置信度阈值是否符合要求。在一些示例中，对阳性质控结果的眼底图像进行抽检以判断第二置信度阈值是否符合要求。在这种情况下，可以进一步地确认第一置信度阈值和第二置信度阈值是否符合要求。由此，能够提高阅片系统200的分类准确率。具体描述可以参见阅片系统200中的自检模块280的相关描述。

在一些示例中，阅片方法还包括输出步骤。在一些示例中，输出步骤可以用于输出结果报告。具体描述可以参见阅片系统200中的输出模块290的相关描述。

虽然以上结合附图和实施方式对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种基于眼底图像分类的阅片系统，其特征在于，包括：

获取模块，其用于获取眼底图像；

第一分类模块，其利用第一分类模型对所述眼底图像进行分类以获取第一分类结果并基于所述第一分类结果获取包括是否需要再次分类的分类结果类型；

分组模块，其基于所述第一分类结果和所述分类结果类型将所述眼底图像分成阴性结果图像、阳性结果图像和待再分类图像；

第一质控模块，其包括阴性质控模块和阳性质控模块，所述阴性质控模块利用基于预设阴性预测率对第一置信度阈值进行配置的第一质控模型获取所述阴性结果图像的阴性质控结果，基于所述阴性质控结果获取最终分类结果或将所述阴性结果图像作为第一待仲裁图像，所述阳性质控模块利用基于预设阳性预测率对第二置信度阈值进行配置的第二质控模型获取所述阳性结果图像的阳性质控结果，基于所述阳性质控结果获取所述最终分类结果或将所述阳性结果图像作为第二待仲裁图像；

第二分类模块，其利用针对所述待再分类图像进行训练的第二分类模型对所述待再分类图像进行分类以获取第二分类结果，基于所述第二分类结果获取所述最终分类结果或将所述待再分类图像作为第三待仲裁图像；以及

仲裁模块，其接收所述第一待仲裁图像、所述第二待仲裁图像或所述第三待仲裁图像并作为待仲裁图像，对所述待仲裁图像进行仲裁以获取仲裁分类结果并作为所述最终分类结果。

2.根据权利要求1所述的阅片系统，其特征在于：

对于所述阴性结果图像，若所述阴性质控结果和所述第一分类结果一致，则将所述阴性质控结果作为所述最终分类结果，否则将所述阴性结果图像作为所述第一待仲裁图像；

对于所述阳性结果图像，若所述阳性质控结果和所述第一分类结果一致，则将所述阳性质控结果作为所述最终分类结果，否则将所述阳性结果图像作为所述第二待仲裁图像；

对于所述待再分类图像，若所述第二分类结果和所述第一分类结果一致，则将所述第二分类结果作为所述最终分类结果，否则将所述待再分类图像作为所述第三待仲裁图像。

3.根据权利要求1所述的阅片系统，其特征在于：

基于金标准数据根据所述预设阴性预测率反向求解所述第一置信度阈值，基于金标准数据根据所述预设阳性预测率反向求解所述第二置信度阈值。

4.根据权利要求3所述的阅片系统，其特征在于：

所述反向求解为按照预设步长遍历预设范围内的置信度阈值并求解性能指标以获得多个置信度阈值与多组性能指标的对应关系，基于所述多个置信度阈值与多组性能指标的对应关系和所述预设阴性预测率确定所述第一置信度阈值，基于所述多个置信度阈值与多组性能指标的对应关系和所述预设阳性预测率确定所述第二置信度阈值。

5.根据权利要求4所述的阅片系统，其特征在于：

所述性能指标包括敏感性、特异性、阳性预测率和阴性预测率。

6.根据权利要求1所述的阅片系统，其特征在于：

所述第一分类结果包括无视网膜病变、背景期、增殖前期和增殖期；

所述阴性结果图像包括所述第一分类结果为无视网膜病变且所述分类结果类型为不需要再次分类的所述眼底图像；

所述阳性结果图像包括所述第一分类结果为增殖前期或增殖期且所述分类结果类型为不需要再次分类的所述眼底图像；

所述待再分类图像包括所述分类结果类型为需要再次分类的所述眼底图像。

7.根据权利要求1所述的阅片系统，其特征在于：

所述预设阴性预测率为95％至99％，所述预设阳性预测率为95％至99％。

8.根据权利要求1所述的阅片系统，其特征在于：

所述阅片系统还包括自检模块，所述自检模块用于对所述阴性质控结果的眼底图像进行抽检以判断所述第一置信度阈值是否符合要求和用于对所述阳性质控结果的眼底图像进行抽检以判断所述第二置信度阈值是否符合要求。

9.根据权利要求1所述的阅片系统，其特征在于：

所述第一分类模型基于机器学习的算法建立，所述机器学习的算法是传统机器学习的算法和深度学习的算法中的至少一种。

10.一种基于眼底图像分类的阅片方法，其特征在于，包括：

获取眼底图像；

利用第一分类模型对所述眼底图像进行分类以获取第一分类结果并基于所述第一分类结果获取包括是否需要再次分类的分类结果类型；

基于所述第一分类结果和所述分类结果类型将所述眼底图像分成阴性结果图像、阳性结果图像和待再分类图像；

利用基于预设阴性预测率对第一置信度阈值进行配置的第一质控模型获取所述阴性结果图像的阴性质控结果，基于所述阴性质控结果获取最终分类结果或将所述阴性结果图像作为第一待仲裁图像，利用基于预设阳性预测率对第二置信度阈值进行配置的第二质控模型获取所述阳性结果图像的阳性质控结果，基于所述阳性质控结果获取所述最终分类结果或将所述阳性结果图像作为第二待仲裁图像；

利用针对所述待再分类图像进行训练的第二分类模型对所述待再分类图像进行分类以获取第二分类结果，基于所述第二分类结果获取所述最终分类结果或将所述待再分类图像作为第三待仲裁图像；并且

将所述第一待仲裁图像、所述第二待仲裁图像或所述第三待仲裁图像作为待仲裁图像，对所述待仲裁图像进行仲裁以获取仲裁分类结果并作为所述最终分类结果。

Images