CN112508919A - 图像处理方法及装置、电子设备、可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法及装置、电子设备、可读存储介质。图像处理方法，包括：获取同一患者的对应不同的治疗阶段的至少两张视网膜图像；根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果；根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度；将所述同一患者在所述不同的治疗阶段内的视网膜厚度进行比对展示。该方法用以提供更直观的视网膜临床参考数据，实现对视网膜层的变化进行实时监测。

Description

图像处理方法及装置、电子设备、可读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置、电子设备、可读存储介质。

背景技术

对于糖尿病患者来说，视觉质量的下降通常与糖尿病性视网膜病变有关，因为糖尿病会导致视网膜血管受损。现有技术中，基本可以实现基于视网膜图像的视网膜分层，即能够针对特定的视网膜图像提供分层数据。

但是对于糖尿病性视网膜病变患者来说，特定的视网膜图像的分层数据不能实现实时监测视网膜层的变化，并不能起到有效的监测效果。

可见，现有技术缺乏更直观的视网膜临床参考数据，不能实现对视网膜层的变化进行实时监测。

发明内容

本申请实施例的目的在于提供一种图像处理方法及装置、电子设备、可读存储介质，用以提供更直观的视网膜临床参考数据，实现对视网膜层的变化进行实时监测。

第一方面，本申请实施例提供一种图像处理方法，包括：获取同一患者的对应不同的治疗阶段的至少两张视网膜图像；根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果；根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度；将所述同一患者在所述不同的治阶段内的视网膜厚度进行比对展示。

在本申请实施例中，获取同一患者的对应不同的治疗阶段的至少两张视网膜图像，然后基于至少两张视网膜图像确定对应的视网膜分层结果，然后根据视网膜分层结果确定同一患者在不同的治疗阶段内的视网膜厚度，最终将同一患者在不同的治疗阶段内的视网膜厚度进行比对展示。与现有技术相比，一方面，利用预先训练好的分层模型对视网膜图像进行分层，提高视网膜分层的效率和准确率；另一方面，针对同一患者，将不同的治疗阶段的视网膜厚度进行比对展示，提供更直观的视网膜临床参考数据，实现对视网膜层的变化进行实时监测。

作为一种可能的实现方式，所述根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果，包括：将所述至少两张视网膜图像的尺寸调整为与所述预先训练好的分层模型适配的图像尺寸；将调整尺寸后的所述至少两张视网膜图像分别输入到所述预先训练好的分层模型中，得到所述至少两张视网膜图像各自对应的视网膜分层结果。

在本申请实施例中，在获取到至少两张视网膜图像后，可以对其尺寸进行调整，使其适配分层模型，然后基于调整后的图像和分层模型进行视网膜分层，提高最终的分层质量。

作为一种可能的实现方式，在所述获取同一患者的对应不同的治疗阶段的至少两张视网膜图像之前，所述方法还包括：获取训练数据集；所述训练数据集中包括第一原视网膜图像和第一标签图像，所述第一标签图像为对所述第一原视网膜图像标注视网膜层后得到的图像；将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型。

在本申请实施例中，通过原视网膜图像和标注有视网膜层的标签图像，能够实现分层模型的训练，提高训练好的分层模型的准确率。

作为一种可能的实现方式，所述将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型，包括：将所述训练数据集输入到初始的分层模型中进行预设次数的训练，得到训练好的分层模型。

在本申请实施例中，通过对分层模型进行预设次数的训练，能够提高最终得到的训练好的分层模型的准确率。

作为一种可能的实现方式，所述将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型，包括：将所述训练数据集输入到初始的分层模型中训练多次，直至分层模型在预设的验证数据集上的Dice系数不再提升时，完成训练，得到训练好的分层模型；所述验证数据集中包括：第二原视网膜图像和第二标签图像，所述第二标签图像为对所述第二原视网膜图像标注视网膜层后得到的图像。

在本申请实施例中，在训练时，还可以基于验证数据集验证分层模型的精度，进而通过分层模型在验证数据集上Dice系数来判定分层模型是否训练好，进而保证最终训练得到的分层模型的精度。

作为一种可能的实现方式，根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度，包括：针对每张视网膜图像的视网膜分层结果，依次计算每个视网膜层的厚度，确定每张视网膜图像的各个视网膜层的厚度，进而确定每张视网膜图像对应的治疗阶段的各个视网膜层的厚度。

在本申请实施例中，在确定每张视网膜图像对应的治疗阶段的各个视网膜层的厚度时，可以针对每张视网膜图像的视网膜分层结果，依次计算每个视网膜层的厚度，即针对每张视网膜图像的每个视网膜层都计算厚度，提高最终得到的厚度结果的临床参考性。

作为一种可能的实现方式，所述将所述同一患者在所述不同的治疗阶段内的视网膜厚度进行比对展示，包括：计算所述不同的治疗阶段内的视网膜厚度之间的差值；通过预设的展示形式展示所述不同的治疗阶段内的视网膜厚度和所述差值。

在本申请实施例中，在展示不同的治疗阶段内的视网膜厚度时，可以将各自的视网膜厚度和视网膜厚度差值都进行展示，实现更直观的数据比对效果。

第二方面，本申请实施例提供一种图像处理装置，包括用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的方法的功能模块。

第三方面，本申请实施例提供一种电子设备，包括存储器、处理器和显示屏，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的方法。

第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如第一方面以及第一方面的任意一种可能的实现方式中所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的图像处理方法的流程图；

图2为本申请实施例提供的原视网膜图像的示意图；

图3为本申请实施例提供的原视网膜图像的视网膜层边界标注示意图；

图4为本申请实施例提供的标签图像的示意图；

图5为本申请实施例提供的对应治疗阶段的视网膜图像的示意图；

图6为本申请实施例提供的分层结果的示意图；

图7为本申请实施例提供的视网膜层比对展示示意图；

图8为本申请实施例提供的图像处理装置的功能模块结构框图；

图9为本申请实施例提供的电子设备的结构示意图。

图标：200-图像处理装置；201-获取模块；202-确定模块；203-展示模块；300-电子设备；301-存储器；302-处理器；303-显示屏；304-输入输出模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供的图像处理方法可以应用于医疗场景，用于提供临床参考数据，其中，该临床参考数据可以是针对糖尿病患者的临床参考数据，也可以是针对与视网膜图像相关的其他病症患者的临床参考数据。具体可以应用于医院的图像处理设备和图像采集设备等可以获取或者采集视网膜图像的电子设备。以图像采集设备为例，当图像采集设备采集到视网膜图像后，可以按照本申请实施例所提供的图像处理方法对视网膜图像进行处理，以得到临床参考数据。以图像处理设备为例，当用于采集视网膜图像的图像采集设备采集到视网膜图像后，将视网膜图像传输给图像处理设备，图像处理设备对视网膜图像进行处理，以得到临床参考数据。

进一步地，本申请实施例中的视网膜图像指的是OCT(Optical CoherenceTomography，光学相干断层扫描仪)图像，OCT是一种非侵入性的眼底影像学检查设备，原理类似于B超对眼底进行断层扫描，是目前世界上最先进的眼底病变检查设备。利用OCT技术获取的OCT图像，可以直观清晰地观察到视网膜的每一层结构。

进一步地，基于本申请实施例所提供的图像处理方法所得到的临床参考数据，可作为视网膜相关的疾病的临床参考数据，比如：作为DR(Diabetic Retinopathy，糖尿病视网膜病变)的临床参考数据、作为DME(Diabetic Macular Edema，糖尿病性黄斑水肿)的临床参考数据。DR是糖尿病最常见的微血管并发症之一，会导致视网膜血管受损；DME指由于糖尿病引起的黄斑中心凹一个视盘直径范围内的细胞外液积聚所致的视网膜增厚或硬性渗出沉积。可见，这两种疾病都与视网膜厚度有关系，因此，本申请实施例所得到的结果可作为其临床参考数据，起到对患者的视网膜的监测作用。

基于上述应用场景，请参照图1，为本申请实施例提供的图像处理方法的流程图，该图像处理方法包括：

步骤101：获取同一患者的对应不同的治疗阶段的至少两张视网膜图像。

步骤102：根据预先训练好的分层模型确定至少两张视网膜图像各自对应的视网膜分层结果。

步骤103：根据至少两张视网膜图像各自对应的视网膜分层结果确定同一患者在不同的治疗阶段内的视网膜厚度。

步骤104：将同一患者在不同的治疗阶段内的视网膜厚度进行比对展示。

在本申请实施例中，获取同一患者的对应不同的治疗阶段的至少两张视网膜图像，然后基于至少两张视网膜图像确定对应的视网膜分层结果，然后根据视网膜分层结果确定同一患者在不同的治疗阶段内的视网膜厚度，最终将同一患者在不同的治疗阶段内的视网膜厚度进行比对展示。与现有技术相比，一方面，利用预先训练好的分层模型对视网膜图像进行分层，提高视网膜分层的效率和准确率；另一方面，针对同一患者，将不同的治疗阶段的视网膜厚度进行比对展示，提供更直观的视网膜临床参考数据，实现对视网膜层的变化进行实时监测。

接下来对步骤101-步骤104的详细实施方式进行介绍。

在步骤101中，基于前述应用场景的介绍，如果该图像处理方法应用于图像处理设备，那么至少两张视网膜图像可以来自用于采集视网膜图像的视网膜图像采集设备(如光学相干断层扫描仪，OCT)，当图像采集设备在不同的治疗阶段采集到视网膜图像后，可以实时地将采集的视网膜图像传输给图像处理设备进行存储和处理。如果该处理方法应用于图像采集设备自身，如OCT，那么至少两张视网膜图像可以是在不同的治疗阶段实时采集并存储的视网膜图像。可以理解，当只有一张视网膜图像时，可以基于单张的视网膜图像进行视网膜分层处理，并输出分层处理结果，但是此时不进行比对，因此，可以预先设置需要进行比对的视网膜图像数量，当图像处理设备或者图像采集设备中存储有预设数量的视网膜图像时，再进行不同的治疗阶段的视网膜图像的视网膜分层以及分层后求取厚度的比对。

进一步地，不同的治疗阶段可以包括：治疗前、治疗后以及治疗期间(比如治疗一个月、治疗两个月)；为了能够体现同一患者的视网膜层的变化情况，至少取两张，若为两张，可以是治疗前和治疗后的视网膜图像；若为多张，可以包括：治疗前的视网膜图像、治疗期间每间隔一个月的视网膜图像(比如假设治疗5个月，则一共5张)、治疗后的视网膜图像。

进一步地，至少两张视网膜图像对应同一个患者，对于医院的每个患者来说，可以通过各自的身份标识(如身份证号)进行区分，并且每个患者的相关信息(比如病例、就诊资料等)都是与身份标识进行绑定存储的，因此，在获取视网膜图像时，可以获取到同一个患者在不同的治疗阶段的视网膜图像。

在步骤101中获取到至少两张视网膜图像后，执行步骤102：根据预先训练好的分层模型确定至少两张视网膜图像各自对应的视网膜分层结果。为了便于理解步骤102，接下来先对预先训练分层模型的实施方式进行介绍。

作为一种可选的实施方式，分层模型的训练过程包括：获取训练数据集；训练数据集中包括第一原视网膜图像和第一标签图像，第一标签图像为对第一原视网膜图像标注视网膜层后得到的图像；将训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型。

在这种实施方式中，首先可以先收集大量的视网膜图像，并通过专家对视网膜层进行标注得到标注图像，对于专家来说，可以仅对视网膜图像中的视网膜层边界进行标注，当专家标注完视网膜层边界后，基于视网膜层边界对得到的标注图像进行处理，便得到标注有视网膜层图像的标签图像。其中，对标注图像进行处理，可以理解为：专家标注的是视网膜层边界，边界可以用于对不同的像素进行分类(或者说划分)，那么基于划分的边界，便能确定各个视网膜层所对应的像素，比如：专家一共标注了5条边界，依次为：边界1、边界2、边界3、边界4和边界5，则：边界1和边界2中间的像素属于第一个视网膜层，边界2和边界3中的像素属于第二个视网膜层，边界3和边界4中的像素属于第三个视网膜层，边界4和边界5中的像素属于第四个视网膜层，一共包括4个视网膜层。

为了便于理解，请参照图2-图4，图2为原视网膜图像(OCT图像)，图3为专家标注的标注图像，可以看到图3中专家对原视网膜图像的各个视网膜边界进行了标注，图4为基于图3进行处理得到的标签图像，可以看到图4在图3的基础上，基于标注的视网膜边界，填充得到了各个视网膜层。

进一步地，针对收集到的每一张视网膜图像都进行标注处理，得到对应的标签图像，最终得到训练数据集，训练数据集中包括：多张原视网膜图像和多张原视网膜图像对应的标签图像。然后再将训练数据集输入到初始的分层模型中进行训练，当训练完成后，便得到训练好的分层模型。

其中，初始的分层模型可以是各种神经网络深度模型，比如：ReLayNet，U-Net或者其他像素级分类/分割算法深度模型。其中，ReLayNet在训练过程中，可以使用交叉熵和Dice overlap loss函数进行优化。

在本申请实施例中，通过原视网膜图像和标注有视网膜层的标签图像，能够实现分层模型的训练，提高训练好的分层模型的准确率。

在本申请实施例中，由于不同的分层模型所适配的图片尺寸是不同的，比如：RelayNet与512*512(或者8的其他倍数)的图像是适配的，因此，在将训练数据集输入到初始的分层模型中之前，需要先将原视网膜图像和标签图像均调整为与分层模型适配的尺寸(比如通过缩放的方式调整图像尺寸)，然后再将调整尺寸后的图像输入到初始的分层模型中进行训练。

在本申请实施例中，图像的尺寸可以采用两种调整方式，第一种：将所有的图像都放缩到同一尺寸，且该同一尺寸与分层模型适配。第二种：对每张图像单独处理，保证当前输入模型中的图像的尺寸与分层模型适配即可。采用第二种实施方式，可以根据当前输入模型中的图像的尺寸进行更合适的调整，减少尺寸放缩对分层造成的影响。

进一步地，在训练分层模型时，可以通过一些方式来保证最终训练得到的分层模型的精度。

作为一种可选的实施方式，将训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型，包括：将训练数据集输入到初始的分层模型中进行预设次数的训练，得到训练好的分层模型。

在这种实施方式中，预先设置模型的训练次数，通过多次训练，能够保证最终训练得到的分层模型的精度。对于预设次数，可以根据选用的分类模型和训练数据集中的数据量来进行设置。比如：选用的分类模型本身精度就较高(比如分割算法较精确)的情况下，预设次数可以设置得较少；选用的分类模型本身精度(比如分割算法精确度一般)如果较低，预设次数可以设置得较多。

在本申请实施例中，通过对分层模型进行预设次数的训练，能够提高最终得到的训练好的分层模型的准确率。

作为另一种可选的实施方式，将训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型，包括：将训练数据集输入到初始的分层模型中训练多次，直至分层模型在预设的验证数据集上的Dice系数不再提升时，完成训练，得到训练好的分层模型；验证数据集中包括：第二原视网膜图像和第二标签图像，第二标签图像为对第二原视网膜图像标注视网膜层后得到的图像。

在这种实施方式中，除了训练数据集，还需要利用验证数据集。对于验证数据集，可以理解，其中的数据获取方式可以与训练数据集中的数据获取方式相同。作为一种实施方式，在获取训练数据集时，可以将得到的数据分为两部分，一部分作为训练数据集，另一部分作为验证数据集。利用分层模型在验证数据集上的Dice系数值来对分层模型的精度进行判断，以确定分层模型是否训练好。Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，在模型的训练过程中，Dice系数用于计算分割图(可理解为标签图，真值图)与预测图(基于原图得到的分割预测图)之间的相似度，当Dice系数不再提升时，说明分割图与预测图之间的相似度也达到了阈值，则可以判定分层模型的精度也达到阈值，分层模型的训练完成。

在本申请实施例中，在训练时，还可以基于验证数据集验证分层模型的精度，进而通过分层模型在验证数据集上的Dice系数来判定分层模型是否训练好，进而保证最终训练得到的分层模型的精度。

在本申请实施例中，当得到训练好的分层模型后，还可以对训练好的分层模型进行测试，测试的方式可以是：将测试数据集输入到训练好的分层模型中，根据测试数据集对应的分层结果确定训练好的分层模型的准确度。其中，测试数据集中可以包括待测试的视网膜图像，待测试的视网膜图像与训练数据集中的原视网膜图像的获取方式相同。当得到基于测试数据集的分层结果后，再将分层结果与测试数据集中的待测试的视网膜图像对应的标准分层结果进行比对，确定训练好的分层模型的准确度。其中，对于待测试的视网膜图像的标准分层结果，标准分层结果可以是通过人工标注的标准分层结果，可以理解，标准分层结果与训练数据集中的标签图像的获取方式相同。

进一步地，在确定训练好的分层模型的准确度后，可以基于准确度对训练好的分层模型进行进一步地处理。比如：若准确度高于阈值(比如可以是百分之95)，那么该训练好的分层模型可以进行利用。若准确度低于阈值，那么可以增加训练数据集中的训练数据集，对分层模型进行再次训练；或者采用其他可以增加模型的准确度的方式对训练好的分层模型进行调整。

进一步地，基于上述对分层模型的训练过程的介绍，可以理解，在步骤102中，将至少两张视网膜图像输入到训练好的分层模型中后，分层模型便能输出至少两张视网膜图像分别对应的分层结果。

作为一种可选的实施方式，步骤102包括：将至少两张视网膜图像的尺寸调整为与预先训练好的分层模型适配的图像尺寸；将调整尺寸后的至少两张视网膜图像分别输入到预先训练好的分层模型中，得到至少两张视网膜图像各自对应的视网膜分层结果。

在这种实施方式中，为了使至少两张视网膜图像的尺寸与训练好的分层模型适配，需要对至少两张视网膜图像的尺寸进行调整。调整方式也可以采用前述实施例中介绍过的放缩(放大或者缩小)方式，但是放缩方式可能会使得视网膜层变形，适用于对视网膜分层的质量要求不是特别高的应用场景。若在对视网膜分层的质量要求较高的应用场景下，可以采用根据训练好的分类模型的核大小(神经网络中卷积的大小)设置修改代码，该修改代码可以实现对输入训练好的分类模型中的图像的尺寸进行调整，当步骤102执行时，运行该修改代码，便能实现图像尺寸的修改。

在进行图像调整时，假设分层模型的输入图像的尺寸需要是8的倍数，至少两张视网膜图像的尺寸为：850*850的，则最接近850的8的倍数是800，在这种情况下，就可以将视网膜图像的尺寸调整为800*800，在尺寸调整较小的情况，还能保证输入图像的尺寸是8的倍数。因而，在修改代码中，其修改逻辑可以是：将图像的尺寸调整为最接近当前尺寸值的8的倍数值。

采用这种实施方式，输入训练好的分类模型中的图像的大小可以是任意尺寸，不受限制，在获取到至少两张视网膜图像后，可以对其尺寸进行调整，使其适配分层模型，然后基于调整后的图像和分层模型进行视网膜分层，提高最终的分层质量。

进一步地，在步骤102中，能够得到视网膜图像的视网膜分层结果，为了便于理解，请参照图5和图6，图5为输入训练好的分层模型的图像，图6为训练好的分层模型所输出的分层结果。

进一步地，在步骤102中得到视网膜分层结果后，执行步骤103，根据所至少两张视网膜图像各自对应的视网膜分层结果确定同一患者在不同的治疗阶段内的视网膜厚度。

作为一种可选的实施方式，针对每张视网膜图像的视网膜分层结果，依次计算每个视网膜层的厚度，确定每张视网膜图像的各个视网膜层的厚度，进而确定每张视网膜图像对应的治疗阶段的各个视网膜层的厚度。

在这种实施方式中，针对每张视网膜图像的每个视网膜层都计算厚度。在计算每个视网膜层的厚度时，每个视网膜层都具有上下边界，但是在不同的位置处，上下边界之间的距离是不同的，进而导致整个视网膜层的厚度是不均匀的。因此，作为一种可选的实施方式，在计算视网膜层的厚度时，可以遍历整个视网膜层，依次计算各个位置处的上下边界之间的距离，以作为不同的位置处的视网膜厚度，然后将得到的所有视网膜厚度值进行平均，作为该视网膜层的最终厚度值。当然，也可以将求取出的视网膜厚度中的最大厚度值作为该视网膜层的厚度值，或者其他确定方式。但是，需要注意的是，各个视网膜层的厚度的确定方式须一致，比如：所有的视网膜层的厚度都采用平均厚度的确定方式。

在本申请实施例中，在确定每张视网膜图像对应的治疗阶段的各个视网膜层的厚度时，可以针对每张视网膜图像的视网膜分层结果，依次计算每个视网膜层的厚度，即针对每张视网膜图像的每个视网膜层都计算厚度，提高最终得到的厚度结果的临床参考性。

当然，除了针对每张视网膜图像的每个视网膜层都计算厚度，也可以采用针对每张视网膜图像的特定视网膜层计算厚度的实施方式，在这种实施方式中，可以预设需要计算厚度的视网膜层(即特定视网膜层)，比如：特定视网膜层为从上到下的第一个视网膜层。需要注意的是，每张视网膜图像对应的特定视网膜层相同。

可以理解，当确定每张视网膜图像的视网膜层厚度后，每张视网膜图像所对应的治疗阶段的视网膜厚度便确定，此时便可以执行步骤104，将同一患者在不同的治疗阶段内的视网膜厚度进行比对展示。

作为一种可选的实施方式，步骤104包括：计算不同的治疗阶段内的视网膜厚度之间的差值；通过预设的展示形式展示不同的治疗阶段内的视网膜厚度和差值。

在这种实施方式中，先计算不同的治疗阶段内的视网膜厚度之间的差值，然后在展示时，将视网膜厚度差值与视网膜厚度进行同时展示。并且，预设有展示形式，展示形式包括但不限于：图和表等展示形式。作为一种举例，请参照表1，为治疗前的视网膜图像与治疗后的视网膜图像的比对展示表，通过该比对展示表，治疗前和治疗后的视网膜层厚度能够直观的呈现，作为临床参考数据，能够提高其参考性。需要注意的是，该展示表中所列的视网膜层数以及厚度等均是示例性举例，在实际应用中，视网膜层数和厚度不限于表中的举例。

	第一视网膜层厚度	第二视网膜层厚度	第三视网膜层厚度
				治疗前	D1	D2	D3
治疗后	d1	d2	d3
				厚度差值	D1-d1	D2-d2	D3-d3

表1

除了表的展示形式，还可以采用图的展示形式，作为一种举例，请参照图7，为治疗前的视网膜图像与治疗后的视网膜图像的比对展示图，通过该比对展示图，治疗前和治疗后的视网膜层厚度能够直观地呈现，作为临床参考数据，能够提高其参考性。

在本申请实施例中，在展示不同的治疗阶段内的视网膜厚度时，可以将各自的视网膜厚度和视网膜厚度差值都进行展示，实现更直观的数据比对效果。除了将厚度差值和厚度都进行展示的实施方式，也可以采用其他比对展示方式，比如：仅比对展示视网膜厚度；比对展示视网膜厚度与正常的视网膜厚度值，以及视网膜厚度与正常的视网膜厚度之间的差值等。

在展示时，可以采用全部视网膜厚度(和厚度差值)进行展示的方式，也可以采用选择性的展示的方式。比如：由用户自主选择展示指定的视网膜层的厚度(和厚度差值)的对比。

基于同一发明构思，请参照图8，本申请实施例中还提供一种图像处理装置200，包括：获取模块201、确定模块202以及展示模块203。

获取模块201，用于获取同一患者的对应不同的治疗阶段的至少两张视网膜图像。确定模块202，用于根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果；确定模块202还用于根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度。展示模块203，用于将所述同一患者在所述不同的治疗阶段内的视网膜厚度进行比对展示。

可选的，确定模块202具体用于：将所述至少两张视网膜图像的尺寸调整为与所述预先训练好的分层模型适配的图像尺寸；将调整尺寸后的所述至少两张视网膜图像分别输入到所述预先训练好的分层模型中，得到所述至少两张视网膜图像各自对应的视网膜分层结果。

可选的，图像处理装置200还包括训练模块，用于：获取训练数据集；所述训练数据集中包括第一原视网膜图像和第一标签图像，所述第一标签图像为对所述第一原视网膜图像标注视网膜层后得到的图像；将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型。

可选的，训练模块具体用于：将所述训练数据集输入到初始的分层模型中进行预设次数的训练，得到训练好的分层模型。

可选的，训练模块具体还用于：将所述训练数据集输入到初始的分层模型中训练多次，直至分层模型在预设的验证数据集上的Dice系数不再提升时，完成训练，得到训练好的分层模型；所述验证数据集中包括：第二原视网膜图像和第二标签图像，所述第二标签图像为对所述第二原视网膜图像标注视网膜层后得到的图像。

可选的，确定模块202具体还用于：针对每张视网膜图像的视网膜分层结果，依次计算每个视网膜层的厚度，确定每张视网膜图像的各个视网膜层的厚度，进而确定每张视网膜图像对应的治疗阶段的各个视网膜层的厚度。

可选的，展示模块203具体用于：计算所述不同的治疗阶段内的视网膜厚度之间的差值；通过预设的展示形式展示所述不同的治疗阶段内的视网膜厚度和所述差值。

前述实施例中的图像处理方法中的各实施方式和具体实例同样适用于图8的装置，通过前述对图像处理方法的详细描述，本领域技术人员可以清楚地知道图8中的图像处理装置200的实施方法，所以为了说明书的简洁，在此不再详述。

基于同一发明构思，请参照图9，本申请实施例还提供一种电子设备300(可作为前述实施例中介绍的图像采集装置或者图像处理装置)，前述实施例中所述的图像处理方法可应用于电子设备300。该电子设备300包括存储器301、处理器302以及图像处理装置200。还可以包括：显示屏303、输入输出模块304。

存储器301、处理器302、显示屏303、输入输出模块304各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。图像处理方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器301中的软件功能模块，例如图像处理装置200包括的软件功能模块或计算机程序。

存储器301可以存储各种软件程序以及模块，如本申请实施例提供的图像处理方法及装置对应的程序指令/模块。处理器302通过运行存储在存储器301中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的方法。此外，存储器301在处理器302运行程序的过程中，还可以存储例如分层结果，获取到的视网膜图像等数据。

存储器301可以包括但不限于RAM(Random Access Memory，随机存取存储器)，ROM(Read Only Memory，只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，EPROM(Erasable Programmable Read-Only Memory，可擦除只读存储器)，EEPROM(Electric Erasable Programmable Read-Only Memory，电可擦除只读存储器)等。

处理器302可以是一种集成电路芯片，具有信号处理能力。处理器302可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

显示屏303在电子设备300与用户之间提供一个交互界面(例如用户操作界面)或用于显示处理过程中产生的结果给用户参考。在本申请实施例中，显示屏303可以是液晶显示屏或触控显示屏。若为触控显示屏，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示屏能感应到来自该触控显示屏上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器302进行计算和处理。例如，在本申请实施例中，显示屏303可以用于显示比对结果等。

输入输出模块304用于提供给用户输入数据实现用户与电子设备300的交互。输入输出模块304可以是，但不限于，鼠标和键盘等。例如，用户通过输入输出模块304输入相关的数据或者信息等。

可以理解，图9所示的结构仅为示意，电子设备300还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。

基于同一发明构思，本申请实施例还提供一种可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行上述任一实施方式的图像处理方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括:

获取同一患者的对应不同的治疗阶段的至少两张视网膜图像；

根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果；

根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度；

将所述同一患者在所述不同的治疗阶段内的视网膜厚度进行比对展示。

2.根据权利要求1所述的方法，其特征在于，所述根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果，包括：

将所述至少两张视网膜图像的尺寸调整为与所述预先训练好的分层模型适配的图像尺寸；

将调整尺寸后的所述至少两张视网膜图像分别输入到所述预先训练好的分层模型中，得到所述至少两张视网膜图像各自对应的视网膜分层结果。

3.根据权利要求1所述的方法，其特征在于，在所述获取同一患者的对应不同的治疗阶段的至少两张视网膜图像之前，所述方法还包括：

获取训练数据集；所述训练数据集中包括第一原视网膜图像和第一标签图像，所述第一标签图像为对所述第一原视网膜图像标注视网膜层后得到的图像；

将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型。

4.根据权利要求3所述的方法，其特征在于，所述将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型，包括：

将所述训练数据集输入到初始的分层模型中进行预设次数的训练，得到训练好的分层模型。

5.根据权利要求3所述的方法，其特征在于，所述将所述训练数据集输入到初始的分层模型中进行训练，得到训练好的分层模型，包括：

将所述训练数据集输入到初始的分层模型中训练多次，直至分层模型在预设的验证数据集上的Dice系数不再提升时，完成训练，得到训练好的分层模型；所述验证数据集中包括：第二原视网膜图像和第二标签图像，所述第二标签图像为对所述第二原视网膜图像标注视网膜层后得到的图像。

6.根据权利要求1所述的方法，其特征在于，根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度，包括：

针对每张视网膜图像的视网膜分层结果，依次计算每个视网膜层的厚度，确定每张视网膜图像的各个视网膜层的厚度，进而确定每张视网膜图像对应的治疗阶段的各个视网膜层的厚度。

7.根据权利要求1所述的方法，其特征在于，所述将所述同一患者在所述不同的治疗阶段内的视网膜厚度进行比对展示，包括：

计算所述不同的治疗阶段内的视网膜厚度之间的差值；

通过预设的展示形式展示所述不同的治疗阶段内的视网膜厚度和所述差值。

8.一种图像处理装置，其特征在于，包括:

获取模块，用于获取同一患者的对应不同的治疗阶段的至少两张视网膜图像；

确定模块，用于根据预先训练好的分层模型确定所述至少两张视网膜图像各自对应的视网膜分层结果；

所述确定模块还用于根据所述至少两张视网膜图像各自对应的视网膜分层结果确定所述同一患者在所述不同的治疗阶段内的视网膜厚度；

展示模块，用于将所述同一患者在所述不同的治疗阶段内的视网膜厚度进行比对展示。

9.一种电子设备，其特征在于，包括存储器、处理器和显示屏，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如权利要求1-7中任一项所述的方法。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-7任一项所述的方法。

Images