CN115206477A - 基于眼底图像的阅片系统及阅片方法 - Google Patents

Abstract

本公开描述了一种基于眼底图像的阅片系统，包括：输入模块，其用于接收眼底图像；筛查模块，其基于眼底图像输出筛查结果，筛查结果至少包括质控判断结果和病变判断结果；第一分类模块，其基于质控判断结果将眼底图像分成筛查合格图像和第一待质控图像，并将第一待质控图像和筛查合格图像中的至少一张图像作为待质控图像；质控模块，其基于待质控图像输出质控结果；校验模块，其基于病变判断结果和质控结果将待质控图像分为质控合格图像和第一待仲裁图像，并将第一待仲裁图像和质控合格图像中的至少一张图像作为待仲裁图像；以及仲裁模块，其基于待仲裁图像输出仲裁结果。根据本公开，能够提高阅片系统的筛查准确率。

Description

基于眼底图像的阅片系统及阅片方法

技术领域

本公开涉及一种基于眼底图像的阅片系统及阅片方法。

背景技术

医疗图像常常包含身体结构或组织的诸多细节。在现代化的医院中，大部分的治疗信息来源于医疗图像例如眼底图像。在临床中，通过理解医疗图像中的这些细节，能够帮助医生进行相关疾病识别。医疗图像已经发展成临床识别疾病的主要方法。然而，传统的基于医疗图像识别疾病信息主要依靠专业的医师根据经验进行判断。在这种情况下，开发一种能够辅助医生进行相关疾病识别的自动阅片的阅片技术已经成为医疗图像学领域的热门方向。随着人工智能技术的发展，基于计算机视觉和人工智能例如机器学习的阅片技术已经在医疗图像识别中得到开发和应用。

例如，专利文献1(CN105513077A)中公开了一种用于糖尿病性视网膜病变筛查的系统，该系统包括：眼底图像获取设备、图像处理及筛查设备以及报告输出设备，眼底图像获取设备用于采集或接收被检人员的眼底图像；图像处理及筛查设备用于对眼底图像进行处理并检测其中是否存在病变，然后将检测结果输送给报告输出设备；报告输出设备基于检测结果输出相应检测报告。

然而，在实际临床应用中，由于眼底图像的多样性，专利文献1所描述的筛查系统在处理某些眼底图像时可能输出错误或者不准确的检测报告，导致筛查系统的筛查准确率下降。

发明内容

本公开是鉴于上述的状况而提出的，其目的在于提供一种能够提高筛查准确率的基于眼底图像的阅片系统及阅片方法。

为此，本公开的第一方面提供了一种基于眼底图像的阅片系统，包括：输入模块，其用于接收眼底图像；筛查模块，其基于所述眼底图像输出筛查结果，所述筛查结果至少包括利用机器学习的算法基于所述眼底图像输出的是否存在病变的病变判断结果和基于包括所述病变判断结果的信息输出的判断所述眼底图像是否需要质控的质控判断结果；第一分类模块，其基于所述质控判断结果将所述眼底图像分成筛查合格图像和第一待质控图像，并将所述第一待质控图像和所述筛查合格图像中的至少一张图像作为待质控图像；质控模块，其用于接收所述待质控图像，并基于所述待质控图像输出质控结果；校验模块，其基于所述病变判断结果和所述质控结果将所述待质控图像分为质控合格图像和第一待仲裁图像，并将所述第一待仲裁图像和所述质控合格图像中的至少一张图像作为待仲裁图像，其中所述质控合格图像为所述病变判断结果与所述质控结果相同的待质控图像，所述第一待仲裁图像为所述病变判断结果与所述质控结果不同的待质控图像；以及仲裁模块，其用于接收所述待仲裁图像，并基于所述待仲裁图像输出仲裁结果。

在本公开中，筛查模块利用机器学习的算法基于输入模块接收的眼底图像输出包括质控判断结果和病变判断结果的筛查结果；第一分类模块基于质控判断结果将眼底图像分成筛查合格图像和第一待质控图像并将第一待质控图像和部分筛查合格图像作为待质控图像；质控模块基于待质控图像输出质控结果；校验模块基于病变判断结果和质控结果将待质控图像分为质控合格图像和第一待仲裁图像并将第一待仲裁图像和部分质控合格图像作为待仲裁图像；仲裁模块基于待仲裁图像输出仲裁结果。在这种情况下，能够基于筛查结果、质控结果和仲裁结果对眼底图像进行多级阅片。由此，能够提高阅片系统的筛查准确率。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述阅片系统还包括第二分类模块，所述第二分类模块基于所述病变判断结果将所述筛查合格图像分为阴性结果图像和阳性结果图像。在这种情况下，针对筛查合格图像获得阳性结果图像，能够提高阅片系统的筛查准确率。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述阅片系统还包括复查模块，所述复查模块基于所述阳性结果图像输出复查结果。在这种情况下，通过进一步处理阳性结果图像，能够有效地提高阅片系统的筛查准确率。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述机器学习的算法是传统机器学习的算法和深度学习的算法中的至少一种。在这种情况下，能够根据实际需要选择合适的机器学习的算法。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述筛查模块根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系输出所述病变判断结果。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高阅片系统的筛查准确率。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述筛查模块还输出所述病变判断结果的置信度。由此，能够根据置信度判断病变判断结果的可靠性。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述筛查模块还结合健康情况、年龄和病史记录输出所述病变判断结果。在这种情况下，将患者的健康情况、年龄和病史记录等作为病变判断结果的考量因素，能够进一步提高阅片系统的筛查准确率。

另外，在本公开的第一方面所涉及的阅片系统中，可选地，所述阅片系统还包括输出模块，所述输出模块用于输出所述眼底图像的结果报告。由此，能够获得眼底图像的结果报告。

本公开的第二方面提供了一种基于眼底图像的阅片方法，其包括：输入步骤，接收眼底图像；筛查步骤，基于所述眼底图像输出筛查结果，所述筛查结果至少包括利用机器学习的算法基于所述眼底图像输出的是否存在病变的病变判断结果和基于包括所述病变判断结果的信息输出的判断所述眼底图像是否需要质控的质控判断结果；第一分类步骤，基于所述质控判断结果将所述眼底图像分成筛查合格图像和第一待质控图像，并将所述第一待质控图像和所述筛查合格图像中的至少一张图像作为待质控图像；质控步骤，基于所述待质控图像输出质控结果；校验步骤，基于所述病变判断结果和所述质控结果将所述待质控图像分为质控合格图像和第一待仲裁图像，并将所述第一待仲裁图像和所述质控合格图像中的至少一张图像作为待仲裁图像，其中所述质控合格图像为所述病变判断结果与所述质控结果相同的待质控图像，所述第一待仲裁图像为所述病变判断结果与所述质控结果不同的待质控图像；以及仲裁步骤，基于所述待仲裁图像输出仲裁结果。

在本公开中，利用机器学习的算法基于眼底图像输出包括质控判断结果和病变判断结果的筛查结果；基于质控判断结果将眼底图像分成筛查合格图像和第一待质控图像并将第一待质控图像和部分筛查合格图像作为待质控图像；基于待质控图像输出质控结果；基于病变判断结果和质控结果将待质控图像分为质控合格图像和第一待仲裁图像并将第一待仲裁图像和部分质控合格图像作为待仲裁图像；基于待仲裁图像输出仲裁结果。在这种情况下，能够基于筛查结果、质控结果和仲裁结果对眼底图像进行多级阅片。由此，能够提高阅片的筛查准确率。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，所述阅片方法包括第二分类步骤，基于所述病变判断结果将所述筛查合格图像分为阴性结果图像和阳性结果图像。在这种情况下，针对筛查合格图像获得阳性结果图像，能够提高阅片的筛查准确率。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，所述阅片方法包括复查步骤，基于所述阳性结果图像输出复查结果。在这种情况下，通过进一步处理阳性结果图像，能够有效地提高阅片的筛查准确率。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，所述机器学习的算法是传统机器学习的算法和深度学习的算法中的至少一种。在这种情况下，能够根据实际需要选择合适的机器学习的算法。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，在所述筛查步骤中，根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系输出所述病变判断结果。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高阅片的筛查准确率。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，在所述筛查步骤中，还输出所述病变判断结果的置信度。由此，能够根据置信度判断病变判断结果的可靠性。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，在所述筛查步骤中，还结合健康情况、年龄和病史记录输出所述病变判断结果。在这种情况下，将患者的健康情况、年龄和病史记录等作为病变判断结果的考量因素，能够进一步提高阅片的筛查准确率。

另外，在本公开的第二方面所涉及的阅片方法中，可选地，所述阅片方法还包括输出步骤，输出所述眼底图像的结果报告。在这种情况下，能够获得眼底图像的结果报告。

根据本公开，提供一种能够提高筛查准确率的基于眼底图像的阅片系统及阅片方法。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开的实施例，其中：

图1是示出了本公开示例所涉及的基于眼底图像的阅片方法的应用场景图。

图2是示出了本公开示例所涉及的第一种基于眼底图像的阅片系统的框图。

图3(a)是示出了本公开示例所涉及的眼底图像的示意图。

图3(b)是示出了本公开示例所涉及的眼底图像的示意图。

图4是示出了本公开示例所涉及的筛查模块的卷积神经网络中所采用的卷积核的示意图。

图5是示出了本公开示例所涉及的第二种基于眼底图像的阅片系统的框图。

图6是示出了本公开示例所涉及的第三种基于眼底图像的阅片系统的框图。

图7是示出了本公开示例所涉及的第四种基于眼底图像的阅片系统的框图。

图8是示出了本公开示例所涉及的第一种基于眼底图像的阅片方法的流程图。

图9是示出了本公开示例所涉及的第二种基于眼底图像的阅片方法的流程图。

图10是示出了本公开示例所涉及的第三种基于眼底图像的阅片方法的流程图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。

需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本公开涉及一种能够提高筛查准确率的基于眼底图像的阅片系统及阅片方法。其中，基于眼底图像的阅片系统有时可以简称为阅片系统，基于眼底图像的阅片方法有时可以简称为阅片方法。

图1是示出了本公开示例所涉及的基于眼底图像的阅片方法的应用场景图。

在一些示例中，阅片方法(稍后描述)可以应用于如图1所示的应用场景1中。在应用场景1中，操作员11可以通过控制连接在终端12上的采集设备13以采集医疗图像(例如眼底图像)，在采集设备13完成医疗图像采集后，终端12可以将医疗图像通过计算机网络提交至服务器14，服务器14可以通过执行存储在服务器14上的计算机程序指令以实现阅片方法，通过该阅片方法接收医疗图像并生成医疗图像的结果报告，服务器14可以将生成的医疗图像的结果报告返回给终端12。在一些示例中，终端12可以显示结果报告。在另一些示例中，结果报告可以作为中间结果存储在终端12或者服务器14的存储器中。在另一些示例中，阅片方法接收的医疗图像可以是存储在终端12或服务器14中的医疗图像。

在一些示例中，操作员11可以是专业人员例如眼科医生。在另一些示例中，操作员11可以是经过阅片培训的普通人员。阅片培训可以包括但不限于采集设备13的操作和涉及阅片方法的终端12的操作。

在一些示例中，终端12可以包括但不限于是笔记本电脑、平板电脑或台式机等。

在一些示例中，采集设备13可以是相机。相机例如可以是手持式眼底相机或台式眼底相机。在一些示例中，采集设备13可以通过串口跟终端12相连接。在一些示例中，采集设备13可以集成在终端12中。

在一些示例中，服务器14可以包括一个或多个处理器和一个或多个存储器。其中，处理器可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件，能够执行计算机程序指令。存储器可以用于存储计算机程序指令。在一些示例中，服务器14通过执行存储器上的计算机程序指令可以实现阅片方法。在一些示例中，服务器14也可以是云端服务器。

以下，结合附图详细描述本公开涉及的阅片系统2。本公开涉及的阅片系统2用于实施上述的阅片方法。图2是示出了本公开示例所涉及的第一种基于眼底图像的阅片系统2的框图。

在一些示例中，阅片系统2可以应用于基于医疗图像进行筛查的领域。例如糖尿病视网膜(糖网)筛查、肺结节筛查、肺结核筛查、肺肿瘤筛查、腰部骨质增生筛查或各种类型骨折筛查等。由此，能够对医疗图像进行快速且准确地筛查，获得关于医疗图像的筛查结果例如阴性/阳性。

在一些示例中，如图2所示，阅片系统2可以包括输入模块10、筛查模块20、第一分类模块30和质控模块40。在阅片系统2中，输入模块10可以用于接收眼底图像；筛查模块20可以基于眼底图像输出筛查结果；第一分类模块30可以基于筛查结果将眼底图像分成筛查合格图像和待质控图像；质控模块40可以基于待质控图像输出质控结果。在这种情况下，能够基于筛查结果和质控结果对眼底图像进行多级阅片。由此，能够提高阅片系统2的筛查准确率。

在一些示例中，阅片系统2可以是包括输入模块10、筛查模块20、第一分类模块30和质控模块40的计算机装置。

图3(a)是示出了本公开示例所涉及的眼底图像的示意图。图3(b)是示出了本公开示例所涉及的眼底图像的示意图。

在一些示例中，输入模块10可以用于接收眼底图像。在一些示例中，眼底图像可以由采集设备13获取。在另一些示例中，眼底图像可以是存储在终端12或服务器14中的眼底图像。作为眼底图像的示例，例如图3(a)和图3(b)为两张人眼的眼底图像。但本公开的示例不限于此，在另一些示例中，输入模块10可以用于接收其他医疗图像。例如肺部图像、脑部图像或胸透图像等。在这种情况下，阅片系统2能够对不同的医疗图像进行筛查。

图4是示出了本公开示例所涉及的筛查模块的卷积神经网络中所采用的卷积核的示意图。

在一些示例中，筛查模块20可以基于眼底图像输出筛查结果。在一些示例中，筛查结果可以至少包括病变判断结果和质控判断结果。

在一些示例中，筛查模块20可以利用机器学习的算法基于眼底图像输出病变判断结果。

在一些示例中，病变判断结果可以用于判断眼底图像是否存在病变。在一些示例中，病变判断结果可以包括阴性结果和阳性结果两种结果。

在一些示例中，机器学习的算法可以是传统机器学习的算法和深度学习的算法中的至少一种。在这种情况下，能够根据实际需要选择合适的机器学习的算法。在一些示例中，可以基于机器学习的算法建立筛查分类模型。

在一些示例中，基于深度学习的算法建立的筛查分类模型可以是卷积神经网络(CNN)。在一些示例中，卷积神经网络(CNN)可以使用3×3卷积核(参见图4)自动识别眼底图像中的特征。但本公开的示例不限于此，在另一些示例中，卷积神经网络(CNN)的卷积核可以为5×5卷积核、2×2卷积核或7×7卷积核等。在这种情况下，由于卷积神经网络(CNN)具备对图像特征识别的高效性的特点，能够有效地提高阅片系统2的性能。

在一些示例中，例如在糖尿病视网膜(糖网)筛查中，卷积神经网络(CNN)可以学习阴性结果的眼底图像的特征和阳性结果的眼底图像的特征，从而使卷积神经网络(CNN)获得能够输出眼底图像的病变判断结果(例如阴性结果/阳性结果)的能力。

但本公开的示例不限于此，在另一些示例中，筛查模块20的机器学习的算法可以是传统机器学习的算法。在一些示例中，传统机器学习的算法可以包括但不限于是线性回归算法、逻辑回归算法、决策树算法、支持向量机算法或贝叶斯算法等。在这种情况下，可以先利用图像处理算法提取眼底图像中的眼底特征(例如颜色特征、形状特征或纹理特征)，再将眼底特征输入基于传统机器学习的算法建立的筛查分类模型以实现对眼底图像进行筛查。

如上所述，阅片系统2可以被应用在糖尿病视网膜(糖网)筛查中。在一些示例中，在筛查模块20中，可以根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系对眼底图像进行筛查。

例如，在一些示例中，可以将英国国家视网膜病变筛查项目使用的视网膜病变分级体系中的视网膜病变等级为无视网膜病变(R0)的眼底图像的病变判断结果设置为阴性结果，视网膜病变等级为背景期(R1)、增殖前期(R2)和增殖期(R3)的眼底图像的病变判断结果设置为阴性结果。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高阅片系统2的筛查准确率。

在一些示例中，可以将黄斑病变等级为M0的眼底图像判定为阴性结果，黄斑病变等级为M1的眼底图像判定为阳性结果。

但本公开的示例不限于此，在另一些示例中，可以将视网膜病变等级为R0且黄斑病变等级为M0的眼底图像判定为阴性结果，其他情况的眼底图像判定为阳性结果。

如上所述，筛查结果可以至少包括质控判断结果和病变判断结果。在一些示例中，可以基于眼底图像相关的信息输出质控判断结果。眼底图像相关的信息可以包括病变判断结果。例如，眼底图像相关的信息可以是病变判断结果、病变判断结果的置信度、眼底图像的来源地点，眼底图像的拍摄设备型号，眼底图像的质量或患者信息(例如健康情况或病史)等。在一些示例中，质控判断结果可以用于判断眼底图像是否需要质控。在一些示例中，质控判断结果可以包括需要质控和不需要质控两种结果。

在一些示例中，筛查模块20可以基于预设规则获取眼底图像的质控判断结果。也即，筛查模块20可以基于预设规则将眼底图像分为需要质控和不需要质控两种结果。

在一些示例中，预设规则可以具有不同的维度。在一些示例中，维度可以包括但不限于病变判断结果、病变判断结果的置信度、眼底图像的来源地点，眼底图像的拍摄设备型号，眼底图像的质量或患者信息(例如健康情况或病史)中的至少一种。

在一些示例中，可以通过分析阅片系统2预设时间段内(例如按天、按月或按季度)的错判的眼底图像以确定错判的维度，然后基于错判的维度不断地更新预设规则。在这种情况，基于更新的预设规则能够及时筛选出需要进行质控的眼底图像。

例如可以根据病变判断结果、病变判断结果的置信度和患者信息等维度设置初步的预设规则并不断地更新预设规则。具体地，假设初步的预设规则可以为将病变判断结果为阳性、存在病史且病变判断结果的置信度低于预设值例如90％的眼底图像分为需要质控，否则分为不需要质控。若在分析阅片系统2的错判的情况时，检测到预设规则未包括需要质控的眼底图像或者不需要质控的眼底图像被分为需要质控，则确定错判的维度并更新预设规则。

在一些示例中，可以通过对错判的眼底图像进行分类以确定错判的类别并将错判的类别作为错判的维度。在一些示例中，对错判的眼底图像进行分类可以确定每个类别中错判的眼底图像的数量或错判的眼底图像的占比，进而根据该数量或该占比确定错判的类别并作为错判的维度。例如若某个类别中错判的眼底图像的数量大于预设数量或错判的眼底图像的占比大于预设值则将该类别作为错判的类别。

在一些示例中，预设规则的数量可以是多个。在一些示例中，更新预设规则可以包括增加预设规则、删除预设规则和修改预设规则。

在一些示例中，筛查模块20还可以输出病变判断结果的置信度。由此，能够根据置信度判断病变判断结果的可靠性。

另外，在一些示例中，筛查模块20还可以结合健康情况、年龄和病史记录输出病变判断结果。例如，在一些示例中，可以先提取眼底图像中的眼底特征，并基于眼底特征、健康情况、年龄和病史记录对眼底图像进行筛查。在这种情况下，将患者的健康情况、年龄和病史记录等作为病变判断结果的考量因素，能够进一步提高阅片系统2的筛查准确率。

在一些示例中，筛查模块20可以结合眼底图像的其他特征例如微动脉瘤、出血、渗出、棉绒斑、新生血管或黄斑病变等情况以输出眼底图像的病变判断结果。

如上所述，阅片系统2可以包括第一分类模块30。在一些示例中，第一分类模块30可以基于筛查结果将眼底图像分成筛查合格图像和待质控图像。

在一些示例中，第一分类模块30可以基于质控判断结果将眼底图像分成筛查合格图像和第一待质控图像。例如可以将质控判断结果为不需要质控的眼底图像作为筛查合格图像，将质控判断结果为需要质控的眼底图像作为第一待质控图像。

在一些示例中，第一分类模块30还可以根据筛查模块20输出的病变判断结果的置信度将眼底图像分为筛查合格图像和第一待质控图像。例如可以将置信度高于80％的眼底图像作为筛查合格图像，置信度低于80％的眼底图像作为第一待质控图像，或者可以将置信度高于90％的眼底图像作为筛查合格图像，置信度低于90％的眼底图像作为第一待质控图像。

在一些示例中，可以将筛查模块20无法判定的眼底图像作为第一待质控图像。

在一些示例中，第一分类模块30可以根据质控判断结果和病变判断结果的置信度进行综合判断以将眼底图像分成筛查合格图像和第一待质控图像。例如可以将质控判断结果为不需要质控，置信度高于80％的眼底图像作为筛查合格图像、质控判断结果为需要质控，置信度低于80％的眼底图像作为第一待质控图像、质控判断结果为需要质控，置信度高于80％的眼底图像作为第一待质控图像、质控判断结果为不需要质控，置信度低于80％的眼底图像作为第一待质控图像。

在一些示例中，第一分类模块30可以将第一待质控图像和筛查合格图像中的至少一张图像作为待质控图像。在这种情况下，通过后续进一步处理部分筛查合格图像可以分析部分筛查合格图像的出错率，进而可以根据出错率判断是否需要对全部筛查合格图像重新进行筛查。由此，能够有效地提高阅片系统2的筛查准确率。其中，可以将筛查合格图像中的至少一张图像看作是目标筛查合格图像。

在一些示例中，目标筛查合格图像可以是10％的筛查合格图像。但本公开的示例不限于此，在另一些示例中，目标筛查合格图像的数量可以根据实际需要调整，例如目标筛查合格图像的数量可以为筛查合格图像的预设比例。例如预设比例可以为5％、15％、20％或30％等。在一些示例中，目标筛查合格图像可以具有预定数量，例如预定数量可以为1000张、2000张或3000张等。

如上所述，阅片系统2可以包括质控模块40。在一些示例中，质控模块40可以用于接收待质控图像，并基于待质控图像输出质控结果。在一些示例中，质控结果可以包括阴性结果和阳性结果两种结果。在一些示例中，质控模块40还可以输出质控结果的置信度。

在一些示例中，质控模块40可以包括质控分类模型，该质控分类模型可以与筛查模块20中的筛查分类模型的网络架构相同，例如该质控分类模型可以是卷积神经网络(CNN)。在另一些示例中，质控模块40中的质控分类模型可以是比筛查模块20中更为复杂的分类模型。由此，能够取得置信度较高的质控结果。

在一些示例中，可以通过训练使得质控模块40中的质控分类模型具备基于待质控图像输出质控结果的能力。

具体地，在一些示例中，例如在糖尿病视网膜(糖网)筛查中，可以由具备质控经验的医生对目标待质控图像进行判断以获取目标待质控图像的目标质控结果，并将目标质控结果例如阴性结果/阳性结果作为真值。利用目标待质控图像和该真值对质控模块40中的质控分类模型进行训练和优化，以使质控模块40中的质控分类模型具有同该医生一样的基于待质控图像输出质控结果例如阴性结果/阳性结果的能力。在一些示例中，可以基于目标眼底图像并利用第一分类模块30获得目标待质控图像。在一些示例中，目标眼底图像可以是来自合作医院且去除患者信息的例如5-20万幅眼底图像。在这种情况下，质控模块40中的质控分类模型输出的质控结果更接近于具备质控经验的医生的质控结果。由此，能够提高阅片系统2的筛查准确率。

在一些示例中，可以由具备质控经验的医生对待质控图像进行判断以获得质控结果。具体地，在一些示例中，可以将待质控图像在阅片系统2中输出，由具备质控经验的医生完成待质控图像的质控结果分析后，将质控结果保存入阅片系统2中以便后续基于质控结果输出结果报告。

图5是示出了本公开示例所涉及的基于眼底图像的第二种阅片系统的框图。

如图5所示，在一些示例中，阅片系统2可以包括校验模块50。在一些示例中，校验模块50可以基于病变判断结果和质控结果将待质控图像分为质控合格图像和第一待仲裁图像。在一些示例中，校验模块50可以将第一待仲裁图像和质控合格图像中的至少一张图像作为待仲裁图像。在这种情况下，通过进一步处理待仲裁图像，能够有效地提高阅片系统2的筛查准确率。

在一些示例中，质控合格图像可以为病变判断结果与质控结果相同的待质控图像。例如若病变判断结果为阴性结果，质控结果也为阴性结果，则可以将该待质控图像作为质控合格图像。在一些示例中，第一待仲裁图像可以为病变判断结果与质控结果不同的待质控图像。例如病若变判断结果为阴性结果，质控结果为阳性结果，则可以将该待质控图像作为第一待仲裁图像。

另外，在一些示例中，校验模块50可以将第一待仲裁图像和质控合格图像中的至少一张图像作为待仲裁图像。在这种情况下，通过后续进一步处理部分质控合格图像，可以分析部分质控合格图像的出错率，进而可以根据出错率判断是否需要对全部质控合格图像重新进行质控。由此，能够有效地提高阅片系统2的筛查准确率。其中，可以将质控合格图像中的至少一张图像看作是目标质控合格图像。

在一些示例中，目标质控合格图像可以是10％的质控合格图像。但本公开的示例不限于此，在另一些示例中，目标质控合格图像的数量可以根据实际需要调整，例如目标质控合格图像的数量可以为质控合格图像的预设比例。例如预设比例可以为5％、15％、20％或30％等。在一些示例中，目标质控合格图像具有预定数量，例如预定数量可以为1000张、2000张或3000张等。

在一些示例中，阅片系统2可以包括仲裁模块60(参见图5)。仲裁模块60可以接收待仲裁图像，并基于待仲裁图像输出仲裁结果。在一些示例中，仲裁结果可以包括阴性结果和阳性结果两种结果。在一些示例中，仲裁模块60还可以输出仲裁结果的置信度。

在一些示例中，仲裁模块60可以包括仲裁分类模型，该仲裁分类模型可以与筛查模块20中的筛查分类模型和质控模块40中的仲裁分类模型的网络架构相同，例如该仲裁分类模型可以是卷积神经网络(CNN)。

在一些示例中，可以通过训练使得仲裁模块60中的仲裁分类模型具备基于待仲裁图像输出仲裁结果的能力。

具体地，在一些示例中，例如在糖尿病视网膜(糖网)筛查中，可以由具备仲裁经验的医生对目标待仲裁图像进行判断以获取目标待仲裁图像的目标仲裁结果，并将目标仲裁结果例如阴性结果/阳性结果作为真值。利用目标待仲裁图像和该真值对仲裁模块60中的仲裁分类模型进行训练和优化，以使仲裁模块60中的仲裁分类模型具备同该医生一样的基于待仲裁图像输出仲裁结果例如阴性结果/阳性结果的能力。在一些示例中，可以基于目标眼底图像并利用校验模块50获得目标待仲裁图像。在这种情况下，仲裁模块60中的仲裁分类模型输出的仲裁结果更接近于具备仲裁经验的医生的仲裁结果，由此，能够提高阅片系统2的筛查准确率。

在一些示例中，可以由具备仲裁经验的医生对待仲裁图像进行判断，以获得仲裁结果。具体地，在一些示例中，可以将待仲裁图像在阅片系统2中输出，具备仲裁经验的医生完成待仲裁图像的仲裁结果分析后，将仲裁结果保存入阅片系统2中以便后续基于仲裁结果输出结果报告。

图6是示出了本公开示例所涉及的基于眼底图像的第三种阅片系统的框图。

如图6所示，在一些示例中，阅片系统2可以包括第二分类模块70。在一些示例中，第二分类模块70可以基于病变判断结果(例如阳性结果或阴性结果)将筛查合格图像分为阴性结果图像和阳性结果图像。在这种情况下，针对筛查合格图像获得阳性结果图像，能够提高阅片系统的筛查准确率。

在一些示例中，筛查合格图像为阴性结果图像可以利用输出模块90(稍后描述)输出结果报告。

但本公开的示例不限于此，在另一些示例中，第二分类模块70可以基于质控结果(例如阳性结果或阴性结果)将质控合格图像分为阴性结果图像和阳性结果图像。在另一些示例中，第二分类模块70可以基于仲裁结果(例如阳性结果或阴性结果)将待仲裁图像分为阴性结果图像和阳性结果图像。

在一些示例中，阅片系统2可以包括复查模块80(参见图6)。复查模块80可以基于阳性结果图像输出复查结果。在临床上，阳性结果图像往往比阴性结果图像关注度更高。在这种情况下，通过进一步处理阳性结果图像，能够有效地提高阅片系统2的筛查准确率。

在一些示例中，复查模块80可以包括复查分类模型。在一些示例中，可以通过训练使得复查模块80中的复查分类模型学习具备基于阳性结果图像输出复查结果的能力。

具体地，在一些示例中，例如在糖尿病视网膜(糖网)筛查中，可以由具备复查经验的医生对目标阳性结果图像进行判断以获取目标阳性结果图像的目标复查结果，并将目标复查例如阴性结果/阳性结果作为真值。利用目标阳性结果图像和该真值对复查模块80中的复查分类模型进行训练和优化，以使复查模块80中的复查分类模型具备同该医生一样的基于阳性结果图像输出复查结果例如阴性结果/阳性结果的能力。在一些示例中，目标阳性结果图像可以是基于目标眼底图像并利用第二分类模块70获得。在这种情况下，复查模块80中的复查分类模型输出的复查结果更接近具备复查经验的医生的复查结果，由此，能够提高阅片系统2的筛查准确率。

在一些示例中，可以由具备复查经验的医生对阳性结果图像进行判断，以获得复查结果。具体地，在一些示例中，可以将阳性结果图像在阅片系统2中输出，具备复查经验的医生完成阳性结果图像的复查结果分析后，将复查结果保存入阅片系统2中以便后续基于复查结果输出结果报告。

图7是示出了本公开示例所涉及的第四种基于眼底图像的阅片系统的框图。

如图7所示，在一些示例中，阅片系统2还可以包括输出模块90。输出模块90可以输出眼底图像的结果报告。在一些示例中，输出模块90可以对病变判断结果、质控结果、仲裁结果和复查结果中的至少一种进行判断以输出眼底图像的结果报告。

在一些示例中，输出模块90可以对病变判断结果、质控结果、仲裁结果和复查结果中的至少两种进行判断以输出眼底图像的结果报告。在这种情况下，可以综合阅片系统2的多个结果以输出眼底图像的结果报告。在一些示例中，结果报告还可以包括关于患者的病史记录、健康情况和年龄等多方面的信息。

在一些示例中，输出模块90可以对不同的结果设置相应的优先级。具体地，在输出模块90中，可以对病变判断结果、质控结果、仲裁结果、复查结果中至少两个结果设置相应的优先级。在一些示例中，可以将优先级最高的结果输出至结果报告中。在一些示例中，可以按复查结果、仲裁结果、质控结果和病变判断结果的排列顺序设置从高至低的优先级。但本公开的示例不限于此，优先级的设置方式可以根据实际需要进行调整。

在一些示例中，结果报告可以包括一个至少具有六列的表格。表格中的第一列可以为眼底图像的编号，第二列可以为眼底图像的病变判断结果，第三列可以为眼底图像的质控结果，第四列可以为眼底图像的仲裁结果，第五列可以为眼底图像的复查结果，第六列可以为眼底图像的最终结果。在一些示例中，表格中还可以具有第七列数据，第七列数据可以为眼底图像的其他信息。在这种情况下，能够详细地展示眼底图像经过的判定过程及结果。由此，能够对眼底图像进行综合判定。

以下，结合图8详细描述本公开基于眼底图像的阅片方法。本公开涉及的基于眼底图像的阅片方法有时可以简称为阅片方法。阅片方法应用于上述的阅片系统2中。图8是示出了本公开示例所涉及的第一种基于眼底图像的阅片方法的流程图。

在一些示例中，如图8所示，阅片方法可以包括接收眼底图像(输入步骤S10)，基于眼底图像输出筛查结果(筛查步骤S20)，将眼底图像分成筛查合格图像和待质控图像(第一分类步骤S30)和基于待质控图像输出质控结果(质控步骤S40)。在这种情况下，能够基于筛查结果和质控结果对眼底图像进行多级阅片。由此，能够提高阅片的筛查准确率。

在一些示例中，在输入步骤S10中，可以接收眼底图像。具体描述可以参见阅片系统2中的输入模块10，此处不再赘述。

在一些示例中，在筛查步骤S20中，可以基于眼底图像输出筛查结果。在一些示例中，筛查结果可以至少包括病变判断结果和质控判断结果。在一些示例中，可以利用机器学习的算法基于眼底图像输出病变判断结果。在一些示例中，病变判断结果可以用于判断眼底图像是否存在病变。在一些示例中，病变判断结果可以包括阴性结果和阳性结果两种结果。在一些示例中，机器学习的算法可以是传统机器学习的算法和深度学习的算法中的至少一种。在这种情况下，能够根据实际需要选择合适的机器学习的算法。在一些示例中，基于深度学习的算法建立的筛查分类模型可以是卷积神经网络(CNN)。在这种情况下，由于卷积神经网络(CNN)具备对图像特征识别的高效性的特点，因此能够有效地提高阅片的性能。在一些示例中，在筛查步骤S20中，可以根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系对眼底图像进行筛查。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高阅片的筛查准确率。具体描述可以参见阅片系统2中的筛查模块20，此处不再赘述。

在一些示例中，在筛查步骤S20中，可以基于眼底图像相关的信息输出质控判断结果。眼底图像相关的信息可以包括病变判断结果。在一些示例中，质控判断结果可以用于判断眼底图像是否需要质控。在一些示例中，质控判断结果可以包括需要质控和不需要质控两种结果。另外，在一些示例中，在筛查步骤S20中，还可以输出病变判断结果的置信度。由此，能够根据置信度判断病变判断结果的可靠性。另外，在一些示例中，在筛查步骤S20中，还可以结合健康情况、年龄和病史记录输出病变判断结果。在这种情况下，将患者的健康情况、年龄和病史记录等作为病变判断结果的考量因素，能够进一步提高阅片的筛查准确率。具体描述可以参见阅片系统2中的筛查模块20，此处不再赘述。

在一些示例中，在第一分类步骤S30中，可以将眼底图像分成筛查合格图像和待质控图像。在一些示例中，可以基于质控判断结果将眼底图像分成筛查合格图像和第一待质控图像。在一些示例中，可以将第一待质控图像和筛查合格图像中的至少一张图像作为待质控图像。在这种情况下，通过进一步处理部分筛查合格图像可以分析部分筛查合格图像的出错率，进而可以根据出错率判断是否需要对全部筛查合格图像重新进行筛查。由此，能够有效地提高阅片的筛查准确率。具体描述可以参见第一分类模块30的相关描述，此处不再赘述。

在一些示例中，在质控步骤S40中，可以基于待质控图像输出质控结果。在一些示例中，在质控步骤S40中，可以基于机器学习的算法建立质控分类模型，并通过训练使得该质控分类模型具备基于待质控图像输出质控结果的能力。具体描述可以参见质控模块40的相关描述，此处不再赘述。

在一些示例中，在质控步骤S40中，可以由具备质控经验的医生对待质控图像进行判断以获得质控结果。具体地，在一些示例中，可以将待质控图像输出，由具备质控经验的医生完成待质控图像的质控结果分析后，将质控结果保存以便后续基于质控结果输出结果报告。

图9是示出了本公开示例所涉及的第二种基于眼底图像的阅片方法的流程图。

如图9所示，阅片方法可以包括校验步骤S50。在一些示例中，在校验步骤S50中，可以将待质控图像分为质控合格图像和待仲裁图像。在一些示例中可以基于病变判断结果和质控结果将待质控图像分为质控合格图像和第一待仲裁图像。在一些示例中，可以将第一待仲裁图像和质控合格图像中的至少一张图像作为待仲裁图像。在这种情况下，通过进一步处理待仲裁图像，能够有效地提高阅片系统2的筛查准确率。在一些示例中，质控合格图像为病变判断结果与质控结果相同的待质控图像，第一待仲裁图像为病变判断结果与质控结果不同的待质控图像。具体描述可以参见校验模块50的相关描述，此处不再赘述。

在一些示例中，阅片方法还可以包括仲裁步骤S60(参见图9)。在一些示例中，在仲裁步骤S60中，可以基于待仲裁图像输出仲裁结果。在一些示例中，在仲裁步骤S60中，可以基于机器学习的算法建立仲裁分类模型，并通过训练使得该仲裁分类模型具备基于待仲裁图像输出仲裁结果的能力。具体描述可以参见仲裁模块60的相关描述，此处不再赘述。

在一些示例中，在仲裁步骤S60中，可以由具备仲裁经验的医生对待仲裁图像进行判断，以获得仲裁结果。具体地，在一些示例中，可以将待仲裁图像输出，具备仲裁经验的医生完成待仲裁图像的仲裁结果分析后，将仲裁结果保存以便后续基于仲裁结果输出结果报告。

图10是示出了本公开示例所涉及的第三种基于眼底图像的阅片方法的流程图。

如图10所示，阅片方法可以包括第二分类步骤S70。在一些示例中，在第二分类步骤S70中，可以将筛查合格图像分为阴性结果图像和阳性结果图像。在一些示例中，在第二分类步骤S70中，可以基于病变判断结果将筛查合格图像分为阴性结果图像和阳性结果图像。在这种情况下，针对筛查合格图像获得阳性结果图像，能够提高阅片系统的筛查准确率。具体描述可以参见第二分类模块70的相关描述，此处不再赘述。

在一些示例中，阅片方法可以包括复查步骤S80(参见图10)。在一些示例中，在复查步骤S80中，可以基于阳性结果图像输出复查结果。在这种情况下，通过进一步处理阳性结果图像，能够有效地提高阅片的筛查准确率。在一些示例中，在复查步骤S80中，可以基于机器学习的算法建立复查分类模型，并通过训练使得该复查分类模型学习具备基于阳性结果图像输出复查结果的能力。具体描述可以参见复查模块80的相关描述，此处不再赘述。

在一些示例中，在复查步骤S80中，可以由具备复查经验的医生对阳性结果图像进行判断，以获得复查结果。具体地，在一些示例中，可以将阳性结果图像输出，具备复查经验的医生完成阳性结果图像的复查结果分析后，将复查结果保存以便后续基于复查结果输出结果报告。

在一些示例中，阅片方法可以包括输出步骤(未图示)，输出步骤可以输出眼底图像的结果报告。在这种情况下，能够输出眼底图像的结果报告。具体描述可以参见输出模块90的相关描述，此处不再赘述。

虽然以上结合附图和实施方式对本发明进行了具体说明，但是可以理解，上述说明不以任何形式限制本发明。本领域技术人员在不偏离本发明的实质精神和范围的情况下可以根据需要对本发明进行变形和变化，这些变形和变化均落入本发明的范围内。

Claims (10)

1.一种基于眼底图像的阅片系统，其特征在于，包括：

输入模块，其用于接收眼底图像；筛查模块，其基于所述眼底图像输出筛查结果，所述筛查结果至少包括利用机器学习的算法基于所述眼底图像输出的是否存在病变的病变判断结果和基于包括所述病变判断结果的信息输出的判断所述眼底图像是否需要质控的质控判断结果；第一分类模块，其基于所述质控判断结果将所述眼底图像分成筛查合格图像和第一待质控图像，并将所述第一待质控图像和所述筛查合格图像中的至少一张图像作为待质控图像；质控模块，其用于接收所述待质控图像，并基于所述待质控图像输出质控结果；校验模块，其基于所述病变判断结果和所述质控结果将所述待质控图像分为质控合格图像和第一待仲裁图像，并将所述第一待仲裁图像和所述质控合格图像中的至少一张图像作为待仲裁图像，其中所述质控合格图像为所述病变判断结果与所述质控结果相同的待质控图像，所述第一待仲裁图像为所述病变判断结果与所述质控结果不同的待质控图像；以及仲裁模块，其用于接收所述待仲裁图像，并基于所述待仲裁图像输出仲裁结果。

2.根据权利要求1所述的阅片系统，其特征在于：

所述阅片系统还包括第二分类模块，所述第二分类模块基于所述病变判断结果将所述筛查合格图像分为阴性结果图像和阳性结果图像。

3.根据权利要求2所述的阅片系统，其特征在于：

所述阅片系统还包括复查模块，所述复查模块基于所述阳性结果图像输出复查结果。

4.根据权利要求1所述的阅片系统，其特征在于：

所述筛查模块根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系输出所述病变判断结果。

5.根据权利要求1所述的阅片系统，其特征在于：

所述筛查模块还输出所述病变判断结果的置信度。

6.根据权利要求1所述的阅片系统，其特征在于：

所述筛查模块还结合健康情况、年龄和病史记录输出所述病变判断结果。

7.根据权利要求1-6任一项所述的阅片系统，其特征在于：

所述阅片系统还包括输出模块，所述输出模块用于输出所述眼底图像的结果报告。

8.一种基于眼底图像的阅片方法，其特征在于，包括：

输入步骤，接收眼底图像；筛查步骤，基于所述眼底图像输出筛查结果，所述筛查结果至少包括利用机器学习的算法基于所述眼底图像输出的是否存在病变的病变判断结果和基于包括所述病变判断结果的信息输出的判断所述眼底图像是否需要质控的质控判断结果；第一分类步骤，基于所述质控判断结果将所述眼底图像分成筛查合格图像和第一待质控图像，并将所述第一待质控图像和所述筛查合格图像中的至少一张图像作为待质控图像；质控步骤，基于所述待质控图像输出质控结果；校验步骤，基于所述病变判断结果和所述质控结果将所述待质控图像分为质控合格图像和第一待仲裁图像，并将所述第一待仲裁图像和所述质控合格图像中的至少一张图像作为待仲裁图像，其中所述质控合格图像为所述病变判断结果与所述质控结果相同的待质控图像，所述第一待仲裁图像为所述病变判断结果与所述质控结果不同的待质控图像；以及仲裁步骤，基于所述待仲裁图像输出仲裁结果。

9.根据权利要求8所述的阅片方法，其特征在于，

所述阅片方法包括第二分类步骤，基于所述病变判断结果将所述筛查合格图像分为阴性结果图像和阳性结果图像。

10.根据权利要求9所述的阅片方法，其特征在于，

所述阅片方法包括复查步骤，基于所述阳性结果图像输出复查结果。

Images