CN114283143A - 对眼底疾病的治疗效果进行预测的方法及其相关产品 - Google Patents

Abstract

本公开涉及一种用于对眼底疾病的治疗效果进行预测的方法、系统、设备及计算机可读存储介质。该方法包括：使用病灶遮挡图生成模块接收原始眼底图像并对所述原始眼底图像中的病灶进行遮挡，以生成病灶遮挡图；以及使用效果预测模块接收所述原始眼底图像和所述病灶遮挡图并基于所述原始眼底图像和所述病灶遮挡图进行预测，以输出对眼底疾病的治疗效果的预测结果。利用本公开的方案，能够获得眼底疾病治疗的预测结果，提升了患者的遵医依从性，从而提高了治愈率。

Description

对眼底疾病的治疗效果进行预测的方法及其相关产品

技术领域

本公开一般地涉及图像处理技术领域。更具体地，本公开涉及一种用于对眼底疾病的治疗效果进行预测的方法、设备、系统以及计算机可读存储介质。

背景技术

人体很多的系统性慢病会引发眼底并发症，例如高血压引起的高血压性视网膜病变、糖尿病引起的糖尿病性视网膜病变等，而当慢病发生在患者的相应指标控制不佳时，所引起的并发症病情较重可致盲。然而，慢病的治疗监控过程往往漫长而繁琐，从而导致患者的遵医依从性变差，增加了眼底并发症发生和恶化的风险。其中，高血压视网膜病变和糖尿病视网膜病变已经成为发病率最高的两种眼底病，所以防治慢病眼底并发症成为非常重要的公共卫生问题。

在治疗慢病并发症的过程中，患者的遵医依从性又是相当重要的。例如糖尿病患者需要积极主动服药、严格改善生活习惯，这是治疗慢病并发症的基础。目前，由于慢病患者对全身性慢病可引发眼底并发症的认知水平较低，漫长的治疗周期和病灶减轻的滞后性，使得患者遵医依从性降低。因此，如何有效地提升患者的遵医依从性成为需要解决的技术问题。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本公开的方案提供了一种用于对眼底疾病的治疗效果进行预测的方案。利用本公开的方案，可以通过预测结果来引导患者对疾病治疗有正确的认知，从而有效地提升患者的遵医依从性，提升治愈率。为此，本公开在如下的多个方面提供解决方案。

在第一方面中，本公开提供一种用于对眼底疾病的治疗效果进行预测的方法，包括：获取待预测的原始眼底图像；使用病灶遮挡图生成模块接收所述原始眼底图像并对所述原始眼底图像中的病灶进行遮挡，以生成病灶遮挡图；以及使用效果预测模块接收所述原始眼底图像和所述病灶遮挡图并基于所述原始眼底图像和所述病灶遮挡图进行预测，以输出对眼底疾病的治疗效果的预测结果。

在一个实施例中，所述病灶遮挡图生成模块包括分割模块和/或交互模块，其中所述病灶遮挡图通过以下方式生成：使用所述分割模块对所述原始眼底图像中的病灶进行分割并遮挡；和/或使用所述交互模块对所述原始眼底图像中的病灶进行遮挡；和/或使用所述分割模块对所述原始眼底图像中的病灶进行分割并遮挡，并使用所述交互模块对其进行再次遮挡。

在另一个实施例中，所述分割模块包括Unet网络模型或者PSPNet网络模型，所述交互模块包括图像编辑器。

在又一个实施例中，所述方法还包括执行以下操作，以对所述效果预测模块进行训练：分别基于病灶治疗后的眼底图像和健康眼底图像形成对应的第一训练集和第二训练集；以及使用所述第一训练集和/或所述第二训练集输入至所述效果预测模块，以对所述效果预测模块进行训练。

在又一个实施例中，基于所述病灶治疗后的眼底图像形成对应的第一训练集包括：将所述病灶治疗后的眼底图像与其对应的病灶治疗前的眼底图像进行图像配准操作并且标记病灶消失区域，以形成第一训练遮挡图；以及基于所述病灶治疗后的眼底图像和所述第一训练遮挡图形成所述第一训练集。

在又一个实施例中，所述方法还包括：使用眼底血管分割模型对所述健康眼底图像中的眼底非血管区域和眼底血管区域进行分割，以辅助形成所述第二训练集。

在又一个实施例中，基于所述健康眼底图像形成对应的第二训练集包括：在健康眼底图像的所述眼底非血管区域中随机生成一个或多个遮挡区域；根据所述一个或多个遮挡区域、所述眼底非血管区域以及所述眼底血管区域生成第二训练遮挡图；以及基于所述健康眼底图像和所述第二训练遮挡图形成所述第二训练集。

在又一个实施例中，反复执行以下操作直至所述一个或多个遮挡区域的总面积达到预设面积值时，生成第二训练遮挡图：当所述一个或多个遮挡区域的总面积小于所述预设面积值，在所述眼底非血管区域中随机的初始化坐标点；基于所述初始化坐标点向所述眼底非血管区域进行面积扩展并且在到达所述眼底血管区域处停止；以及当所述一个或多个遮挡区域的总面积达到所述预设面积值时，生成第二训练遮挡图。

在又一个实施例中，所述方法还包括：使用结果分类器对所述预测结果进行真假判断，以确定对眼底疾病的治疗效果的最终预测结果。

在第二方面中，本公开还提供一种用于对眼底疾病的治疗效果进行预测的设备，其特征在于，包括：处理器；以及存储器，其存储有用于对眼底疾病的治疗效果进行预测的程序指令，当所述程序指令由处理器运行时，使得所述设备执行根据第一方面及其多个实施例所述的方法。

在第三方面中，本公开还提供一种计算机可读存储介质，其上存储有用于对眼底疾病的治疗效果进行预测的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现根据第一方面及其多个实施例所述的方法。

通过本公开的方案，通过病灶遮挡图生成模块来基于原始眼底图像生成病灶遮挡图，进而将病灶遮挡图与原始眼底图像输入效果预测模块中进行预测，以获得对眼底疾病的治疗效果的预测结果（例如病灶减轻或者病灶消失）。基于该预测结果，可以辅助医护人员可视化的讲解治疗效果，以引导患者对疾病治疗有正确的认知，并且通过让患者看到治疗效果的预测结果，能够有效的提升患者的遵医依从性，从而提升了治愈率。进一步地，本公开实施例通过使用病灶治疗后的眼底图像和健康眼底图像对效果预测模块进行训练，提高了效果预测模块的泛化性。此外，本公开实施例还通过加入结果分类器来对预测结果进行真假判断，提高了预测结果的真实性。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出根据本公开实施例的用于对眼底疾病的治疗效果进行预测的方法的示例性流程框图；

图2是示出根据本公开实施例的原始眼底图像以及病灶遮挡图的示例性示意图，并且图2中的（a）图所示为原始眼底图像，图2中的（b）图所示为原始眼底图像上病灶放大图，图2中的（c）图所示为病灶遮挡图；

图3是示出根据本公开实施例的基于病灶治疗后的眼底图像来形成第一训练集的示例性示意图，并且图3中的（a）图中的左图所示为病灶减轻的病灶眼底图像，图3中的（a）图中的右图所示为（a）图中左图的放大图，图3中的（b）图中的左图所示为病灶消失的病灶眼底图像，图3中的（b）图中的右图所示为（b）图中左图的放大图；

图4是示出根据本公开实施例的生成第二训练遮挡图的示例性流程框图；

图5是示出根据本公开实施例的第二训练遮挡图的示例性示意图;

图6是示出根据本公开实施例的对效果预测模块进行训练的示例性示意图；

图7是示出根据本公开实施例的用于对眼底疾病进行预测的示例性结果示意图，并且图7中的（a）图所示为原始眼底图像，图7中的（b）图所示为病灶遮挡图，图7中的（c）图所示为病灶减轻的预测结果，图7中的（d）图所示为病灶消失的预测结果；

图8是示出根据本公开实施例的用于对眼底疾病的治疗效果进行预测的系统的示例性结构框图；以及

图9是示出根据本公开实施例的于对眼底疾病的治疗效果进行预测的设备的框图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本公开的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是示出根据本公开实施例的用于对眼底疾病的治疗效果进行预测的方法100的示例性流程框图。如图1中所示，在步骤S102处，获取待预测的原始眼底图像。在一个实施例中，前述原始眼底图像可以利用例如眼底相机进行采集，并且该原始眼底图像可以包括被检者（或者患者）的双眼的原始眼底图像。

基于获得的前述原始眼底图像，在步骤S104处，使用病灶遮挡图生成模块接收原始眼底图像并对原始眼底图像中的病灶进行遮挡，以生成病灶遮挡图。在一个实施场景中，该病灶遮挡图生成模块可以包括分割模块和/或交互模块。其中，前述分割模块可以包括但不仅限于Unet网络模型或者PSPNet网络模型，而前述交互模块可以包括图像编辑器。由此，可以通过以下方式来生成病灶遮挡图：使用分割模块对原始眼底图像中的病灶进行分割并遮挡，以生成病灶遮挡图；和/或使用交互模块对原始眼底图像中的病灶进行遮挡生成病灶遮挡图；和/或使用分割模块对原始眼底图像中的病灶进行分割并遮挡，并使用交互模块对其进行再次遮挡，以生成病灶遮挡图。也就是说，本公开实施例可以通过分割模块来对原始眼底图像中的病灶进行语义分割，进而直接返回病灶遮挡图。另外，还可以通过例如图像编辑器直接对原始眼底图像中的病灶进行遮挡（或者涂抹、编辑）或者对分割模块中分割的病灶进行再遮挡，例如增加遮挡区域、减少遮挡区域，以返回病灶遮挡图（例如图2中的（c）图所示）。在一些实施例中，前述病灶例如是出血斑（例如图2中（b）图中的矩形框所示）、硬性渗出、软性渗出等。

在生成病灶遮挡图后，在步骤S106处，使用效果预测模块接收原始眼底图像和病灶遮挡图并基于原始眼底图像和病灶遮挡图进行预测，以输出对眼底疾病的治疗效果的预测结果。在一个实施例中，前述效果预测模块中可以至少包括编码器和解码器，经过编码器对原始眼底图像和病灶遮挡图进行特征提取，使得解码器能够输出对眼底疾病的治疗效果的预测结果。在一些实施例中，还可以通过使用结果分类器来对预测结果进行真假判断，以增加最终预测结果的真实性。在实现场景中，该预测结果可以包括例如病灶减轻的效果图（例如图7中的（c）图所示）或者病灶消失的效果图（例如图7中的（d）图所示）。

在一个实施场景中，在使用上述效果预测模块进行预测之前，可以利用病灶治疗后的眼底图像和健康眼底图像来对其进行训练。具体地，可以分别基于病灶治疗后的眼底图像和健康眼底图像形成对应的第一训练集和第二训练集，进而使用第一训练集和/或第二训练集对效果预测模块进行训练。通过健康眼底图像加入训练集，增强了数据的多样性，并且提高效果预测模块的泛化性。在一个实施例中，可以将病灶治疗后的眼底图像与其对应的病灶治疗前的眼底图像进行图像配准操作并且标记病灶消失区域，以形成第一训练遮挡图，接着基于病灶治疗后的眼底图像和第一训练遮挡图形成第一训练集。稍后将结合图3详细描述。

对于健康眼底图像而言，通过随机生成遮挡区域来模拟病灶，以形成第二训练集。可以理解，由于出血斑、软性渗出等病灶发生在眼底非血管区域，因此在生成随机遮挡区域时，往往需要避开眼底血管区域。基于此，本公开实施例通过使用眼底血管分割模型来对健康眼底图像中的眼底非血管区域和眼底血管区域进行分割，以辅助形成第二训练集。具体地，在健康眼底图像的眼底非血管区域中随机生成一个或多个遮挡区域。接着根据一个或多个遮挡区域、眼底非血管区域以及眼底血管区域生成第二训练遮挡图以及基于健康眼底图像和第二训练遮挡图形成第二训练集。稍后将结合图4-图5详细描述如何形成前述第二训练集。基于前述第一训练集和/或第二训练集，可以完成效果预测模块的训练，以用于对眼底疾病的治疗效果进行预测。

结合上述描述可知，本公开实施例通过分割模块以及交互模块来生成病灶遮挡图，并且将病灶遮挡图和原始眼底图像同时输入基于第一训练集和第二训练集训练完成后的效果预测模块进行预测，可以获得包含例如病灶减轻的效果图或者病灶消失的效果图的预测结果。基于获得的预测结果，可以为医护人员和患者提供可视化的治疗效果，引导患者对疾病治疗有正确的认知。这有利于提升患者的遵医依从性，从而提升治愈率。

图2是示出根据本公开实施例的原始眼底图像以及病灶遮挡图的示例性示意图。如图2中的（a）图所示为原始眼底图像，该原始眼底图像可以由眼底相机采集被检者（或者患者）的双眼眼底获得。在原始眼底图像上的示出有病灶，其放大图如图2中的（b）图所示，并且其图2中的（b）图中矩形框内所示出暗区即为病灶。作为示例，该原始眼底图像上所示为出血斑病灶。如前所述，经由病灶遮挡图生成模块可以对该原始眼底图像进行遮挡，以生成病灶遮挡图，例如图2中的（c）图所示。例如通过对病灶进行涂抹（黑色椭圆区域），可以形成病灶遮挡图。

图3是示出根据本公开实施例的基于病灶治疗后眼底图像来形成第一训练集的示例性示意图。在基于病灶治疗后眼底图像形成第一训练集之前，首先可以对单个患者两次采集的眼底图像（包括病灶治疗后的眼底图像以及其对应的病灶治疗前的眼底图像）进行例如图像配准操作。接着，在图像配准后，在病灶减轻或者病灶消失的病灶眼底图像上标记病灶消失区域，并且将标记的该区域保存为第一训练遮挡图。如图3中的（a）图中的左图所示为病灶减轻的病灶眼底图像，其放大图如图3中的（a）图中的右图所示。进一步地，图3中的（b）图中的左图所示为病灶消失的病灶眼底图像，其放大图如图3中的（b）图中的右图所示。在实现场景中，通过将前述两种眼底图像进行图像配准，以标记病灶消失的区域。在一个示例性场景中，假设病灶消失的病灶眼底图像记为

，将标记病灶消失区域的区域（也即第一训练遮挡图）记为

。由此，将（

）作为第一训练集。

根据前文可知，还可以基于健康眼底图像来形成第二训练集。例如，在健康眼底图像的眼底非血管区域中随机生成一个或者多个遮挡区域。接着，根据一个或者多个遮挡区域、眼底非血管区域以及眼底血管区域生成第二训练遮挡图以及基于健康眼底图像和第二训练遮挡图形成第二训练集。在一个实施例中，可以通过任意涂抹来随机生成一个或者多个遮挡区域，并且生成的第二训练遮挡图需要避开眼底血管区域，这是由于出血斑、软性渗出等病灶发生在眼底非血管区域。下面将结合图4详细描述如何形成第二训练遮挡图。

图4是示出根据本公开实施例的生成第二训练遮挡图的示例性流程框图。如图4中所示，在步骤S402处，在眼底非血管区域中随机的初始化坐标点。即，从眼底非血管区域中的任意一点开始，随机生成遮挡区域。接着，在步骤S404处，基于该初始化坐标点向眼底非血管区域进行面积扩展并且在到达眼底血管区域处停止。在一个实施例中，可以采用例如广度优先搜索算法来进行面积扩展，当遇到眼底血管区域时，跳过眼底血管区域并继续进行面积扩展。由此来避免选取眼底血管区域作为遮挡区域。在实施场景中，可以通过设置随机的预设面积值来结束前述面积扩展。

具体地，在步骤S406处，将一个或多个遮挡区域的总面积与随机的预设面积值进行比较，以检测一个或多个遮挡区域的总面积是否达到随机的预设面积值。当一个或多个遮挡区域的总面积达到随机的预设面积值时，在步骤S408处，生成第二训练遮挡图。也即，将达到随机的预设面积值的一个或多个遮挡区域作为第二训练遮挡图。与之相反地，当一个或多个遮挡区域的面积小于预设面积值，则返回步骤S404。通过反复执行前述步骤S402-步骤S408，可以生成第二训练遮挡图（例如图5所示）。进一步地，前述第二训练遮挡图以及健康眼底图像即可形成第二训练集。

图5是示出根据本公开实施例的第二训练遮挡图的示例性示意图。需要理解的是，图5是上述图4的一个具体实施例，因此上述关于图4所作的描述同样适用于图5。

如图5中所示为截取的部分健康眼底图像，假设该部分健康眼底图像记为

。参考上述图4的描述，首先通过在该健康眼底图像上的眼底非血管区域上初始化坐标点，并且基于该坐标点进行面积扩展，即可生成第二训练遮挡图。作为示例，假设图中所示A点为眼底非血管区域上的初始化坐标点。接着，基于该初始化坐标点A在该健康眼底图像上的眼底非血管区域处向四周进行面积扩展，当扩展到眼底血管区域（例如图中曲线所示）时，则跳过眼底血管区域继续扩展。在该场景下，当该初始化坐标点在任何方向均无搜索结果并且前述扩展的遮挡区域的面积仍小于预设面积值

时，将前述扩展的遮挡区域保留。进一步地，重新在眼底非血管区域上随机初始化坐标点，并且由此坐标点再进行面积扩展，直至一个或者多个遮挡区域的总面积达到预设面积值

时，将一个或者多个遮挡区域作为第二训练遮挡图

。例如图中生成的大小不同、形状各异的灰色区域即为多个遮挡区域，也即第二训练遮挡图

。基于此，将（

）作为第二训练集。

基于上述获得的第一训练集（

）和/或第二训练集（

），能够实现对效果预测模块的训练。通过将原始眼底图像和病灶遮挡图输入训练好的效果预测模块，即可获得对眼底疾病的预测结果。下面将结合图6详细描述对效果预测模块的训练。

图6是示出根据本公开实施例的对效果预测模块进行训练的示例性示意图。如图6中所示，本公开实施例的效果预测模块可以至少包括编码器601和解码器602。在实现场景中，通过将上述第一训练集（

）和/或第二训练集（

）输入效果预测模块，通过计算其损失函数来不断调整权重，使得预测值接近于真实值，即可完成效果预测模块的训练。作为示例，将前述第二训练集（

）输入效果预测模块，并且依次经过效果预测模块中的编码器601和解码器602进行特征提取，以输出预测结果

。在一些实施例中，可以在解码器602后使用例如重建损失来对第二训练集中的眼底图像

和预测结果

进行像素级图像重建的监督，以提高预测结果的准确度。此外，还可以通过例如结果分类器来对前述眼底图像

和预测结果

进行监督。也即，通过对前述眼底图像

和预测结果

的全局图或局部图的判别真伪，使得预测结果图像更加清晰。附加地或者可选地，本公开实施例还可以通过对例如Two-stage网络模型进行修改或者重建来实现效果预测模块的预测功能。或者，还可以增加或者替换成一些常用的损失函数，例如感知损失。本公开对此不作限制。

图7是示出根据本公开实施例的用于对眼底疾病进行预测的示例性结果示意图。如图7中的（a）图所示为原始眼底图像，该原始眼底图像中包含出血斑病灶，例如图7中的（a）图圆圈内暗区所示。进一步地，图7中的（b）图所示为病灶遮挡图，其中黑色椭圆形区域为病灶遮挡区域。根据前文知，该病灶遮挡图可以直接由分割模块进行病灶分割获得，也可以直接由交互模块（例如图像编辑器）对病灶进行编辑获得。基于上述描述可知，通过将原始眼底图像和病灶遮挡图输入训练好的效果预测模块，可以输出预测结果。例如图7中的（c）图所示的病灶减轻（图7中的（c）图圆圈内所示）的预测结果或者图7中的（d）图所示的病灶消失的预测结果。

图8是示出根据本公开实施例的用于对眼底疾病的治疗效果进行预测的系统的示例性结构框图。如图8中所示，该系统可以包括病灶遮挡图生成模块801和效果预测模块802，并且前述病灶遮挡图生成模块801可以包括分割模块803和/或交互模块804。其中，前述病灶遮挡图生成模块801可以用于接收原始眼底图像805并对原始眼底图像805中的病灶进行遮挡，以生成病灶遮挡图806。前述效果预测模块802可以用于接收原始眼底图像805和病灶遮挡图806并基于805和病灶遮挡图806进行预测，以输出对眼底疾病的治疗效果的预测结果（例如病灶减轻或者病灶消失的效果图）。在一个实施例中，前述分割模块803可以对原始眼底图像进行病灶分割后直接返回病灶遮挡图，而使用交互模块804可以对原始眼底图像上的病灶进行遮挡或者对分割模块提取的病灶进行再编辑，以返回病灶遮挡图。

进一步地，将原始眼底图像805和病灶遮挡图806输入训练好的效果预测模块802中，可以输出用于眼底疾病的治疗效果的预测结果。在一个实施例中，可以基于病灶治疗后的图像和健康眼底图像形成第一训练集和第二训练集，进而基于第一训练集和第二训练集对效果预测模块进行训练。关于形成第一训练集和第二训练集以及效果预测模块的训练可以参考上述图3-图6所描述的内容，本公开在此不再赘述。

在一些实施例中，本公开实施例的系统还可以包括眼底血管分割模型，以分割健康眼底图像中的眼底血管区域，以便于辅助形成上述第二训练集以及避免眼底血管对预测结果的干扰。此外，本公开实施例的系统还可以包括结果分类器，以对预测结果进行真假（或者真伪）判断，提高预测结果的准确度。

图9是示出根据本公开实施例的于对眼底疾病的治疗效果进行预测的设备900的框图。可以理解的是，实现本公开方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

如图9中所示，本公开的设备可以包括中央处理器或中央处理单元（“CPU”）911，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备900还可以包括大容量存储器912和只读存储器（“ROM”）913，其中大容量存储器912可以配置用于存储各类数据，包括各种与待预测的原始眼底图像、算法数据、中间结果和运行设备900所需要的各种程序。ROM 913可以配置成存储对于设备900的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地，设备900还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）914、图形处理单元（“GPU”）915、现场可编程门阵列（“FPGA”）916和机器学习单元（“MLU”）917。可以理解的是，尽管在设备900中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备900可以仅包括CPU、相关存储设备和接口设备来实现本公开的用于对眼底疾病的治疗效果进行预测的方法。

在一些实施例中，为了便于数据与外部网络的传递和交互，本公开的设备900还包括通信接口918，从而可以通过该通信接口918连接到局域网/无线局域网（“LAN/WLAN”）905，进而可以通过该LAN/WLAN连接到本地服务器906或连接到因特网（“Internet”）907。替代地或附加地，本公开的设备900还可以通过通信接口918基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本公开的设备900还可以根据需要访问外部网络的服务器908和数据库909，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如病灶遮挡图、图像配准等的各类数据或指令。

设备900的外围设备可以包括显示装置902、输入装置903和数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本公开的对眼底图像的病灶进行遮挡的过程或者最终预测结果进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收原始眼底图像的输入和/或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案，该数据传输接口904可以接收来自于眼底相机采集的被检者双眼的眼底图像，并且向设备900传送包括眼底图像或各种其他类型的数据或结果。

本公开的设备900的上述CPU 911、大容量存储器912、ROM 913、TPU 914、GPU 915、FPGA 916、MLU 917和通信接口918可以通过总线919相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线919，CPU 911可以控制设备900中的其他硬件组件及其外围设备。

以上结合图9描述了可以用于执行本公开的用于对眼底疾病的治疗效果进行预测的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本公开的实现方式和实现实体并不受其限制，而是可以在不偏离本公开的精神下做出改变。

根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图1-图7所描述的用于对眼底疾病的治疗效果进行预测的方法。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本公开的实施方式如上，但所述内容只是为便于理解本公开而采用的实施例，并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种用于对眼底疾病的治疗效果进行预测的方法，其特征在于，包括：

获取待预测的原始眼底图像；

使用病灶遮挡图生成模块接收所述原始眼底图像并对所述原始眼底图像中的病灶进行遮挡，以生成病灶遮挡图；以及

使用效果预测模块接收所述原始眼底图像和所述病灶遮挡图并基于所述原始眼底图像和所述病灶遮挡图进行预测，以输出对眼底疾病的治疗效果的预测结果。

2.根据权利要求1所述的方法，其特征在于，所述病灶遮挡图生成模块包括分割模块和/或交互模块，其中所述病灶遮挡图通过以下方式生成：

使用所述分割模块对所述原始眼底图像中的病灶进行分割并遮挡；和/或

使用所述交互模块对所述原始眼底图像中的病灶进行遮挡；和/或

使用所述分割模块对所述原始眼底图像中的病灶进行分割并遮挡，并使用所述交互模块对其进行再次遮挡。

3.根据权利要求2所述的方法，其特征在于，所述分割模块包括Unet网络模型或者PSPNet网络模型，所述交互模块包括图像编辑器。

4.根据权利要求1所述的方法，其特征在于，还包括执行以下操作，以对所述效果预测模块进行训练：

分别基于病灶治疗后的眼底图像和健康眼底图像形成对应的第一训练集和第二训练集；以及

使用所述第一训练集和/或所述第二训练集对所述效果预测模块进行训练。

5.根据权利要求4所述的方法，其特征在于，基于所述病灶治疗后的眼底图像形成对应的第一训练集包括：

将所述病灶治疗后的眼底图像与其对应的病灶治疗前的眼底图像进行图像配准操作并且标记病灶消失区域，以形成第一训练遮挡图；以及

基于所述病灶治疗后的眼底图像和所述第一训练遮挡图形成所述第一训练集。

6.根据权利要求4所述的方法，其特征在于，还包括：

使用眼底血管分割模型对所述健康眼底图像中的眼底非血管区域和眼底血管区域进行分割，以辅助形成所述第二训练集。

7.根据权利要求6所述的方法，其特征在于，基于所述健康眼底图像形成对应的第二训练集包括：

在健康眼底图像的所述眼底非血管区域中随机生成一个或多个遮挡区域；

根据所述一个或多个遮挡区域、所述眼底非血管区域以及所述眼底血管区域生成第二训练遮挡图；以及

基于所述健康眼底图像和所述第二训练遮挡图形成所述第二训练集。

8.根据权利要求7所述的方法，其特征在于，反复执行以下操作直至所述一个或多个遮挡区域的总面积达到预设面积值时，生成第二训练遮挡图：

当所述一个或多个遮挡区域的总面积小于所述预设面积值时，在所述眼底非血管区域中随机的初始化坐标点；

基于所述初始化坐标点向所述眼底非血管区域进行面积扩展并且在到达所述眼底血管区域处停止；以及

当所述一个或者多个遮挡区域的总面积达到所述预设面积值时，生成第二训练遮挡图。

9.根据权利要求1所述的方法，其特征在于，还包括：

使用结果分类器对所述预测结果进行真假判断，以确定对眼底疾病的治疗效果的最终预测结果。

10.一种用于对眼底疾病的治疗效果进行预测的设备，其特征在于，包括：

处理器；以及

存储器，其存储有用于对眼底疾病的治疗效果进行预测的程序指令，当所述程序指令由处理器运行时，使得所述设备执行根据权利要求1-9任意一项所述的方法。

11.一种用于对眼底疾病的治疗效果进行预测的系统，其特征在于，包括：

病灶遮挡图生成模块，其用于接收原始眼底图像并对所述原始眼底图像中的病灶进行遮挡，以生成病灶遮挡图；以及

效果预测模块，其用于接收所述原始眼底图像和所述病灶遮挡图并基于所述原始眼底图像和所述病灶遮挡图进行预测，以输出对眼底疾病的治疗效果的预测结果。

12.一种计算机可读存储介质，其上存储有用于对眼底疾病的治疗效果进行预测的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-9任意一项所述的方法。

Images