CN116012639A - 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 - Google Patents

一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 Download PDF

Info

Publication number
CN116012639A
CN116012639A CN202211605072.XA CN202211605072A CN116012639A CN 116012639 A CN116012639 A CN 116012639A CN 202211605072 A CN202211605072 A CN 202211605072A CN 116012639 A CN116012639 A CN 116012639A
Authority
CN
China
Prior art keywords
meta
stage
training
learning
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211605072.XA
Other languages
English (en)
Inventor
陈新建
郝旭辰
范煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bigway Medical Technology Co ltd
Original Assignee
Guangzhou Bigway Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Bigway Medical Technology Co ltd filed Critical Guangzhou Bigway Medical Technology Co ltd
Priority to CN202211605072.XA priority Critical patent/CN116012639A/zh
Publication of CN116012639A publication Critical patent/CN116012639A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，面对新的应用场景（如不同医院或不同成像设备）的ROP影像时，可以使用少量的数据和时间便可以训练得到一个性能较好的模型，通过引入元学习的方法，将原型分割网络ADNet与GAN相结合的分割模型的定量分析结果应用于ROP病变分期，可以用少量的数据和更快的速度达到较好的效果，并且提高了早产儿视网膜病变一期二期的分类准确率。

Description

一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法
技术领域
本发明涉及了一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，属于计算机视觉处理技术领域。
背景技术
早产儿视网膜病变(Retinopathy of Prematurity，ROP)是一种与视网膜血管发育相关的疾病，通常认为与氧气浓度有关。早产儿出生时视网膜血管未发育成熟，周边为无血管区，正在发育的血管末梢为未分化的新生血管。未成熟的视网膜血管对氧气十分敏感，高浓度氧气会使视网膜毛细血管内皮细胞损伤、血管收缩和闭塞，导致视网膜缺氧，从而刺激纤维血管组织增生。孕龄越短，ROP发病率越高；早产儿体重越轻，ROP发病率越高。我国的早产儿发生率约为6％-7％。ROP会引起异常血管的破裂出血，纤维增殖，严重的可能会导致眼底病变，视力严重丧失。如果任其发展可能出现继发性青光眼、白内障、角巩膜葡萄肿、眼球萎缩等严重晚期并发症，甚至可导致失明，给患儿终身痛苦并给家庭及社会造成负担。
随着人工智能技术的发展，针对于ROP疾病的自动筛查和分期成为可能，极大的缓解了医疗资源不足的问题，然而当前技术的应用仍然存在一定的问题。首先，ROP数据来源广泛，不同设备或不同医院之间的数据集存在差异，无法直接进行应用，需要进行针对性的数据收集和模型训练，这将耗费大量人力物力财力和时间成本；其次，ROP数据标注存在困难，由于ROP病灶不清晰，因此需要专业的医师来标注，难以获得较多数据影像用于构建数据集；最后，ROP分期存在困难，一般而言，临床上将ROP分5期：即分界期、嵴形成期、增生期、次全视网膜脱离期、视网膜全脱离期，然而一期和二期之间过于相似难以分类。上述问题导致ROP分期的临床应用存在较大困难。
发明内容
本发明所要解决的技术问题是提供一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，通过引入元学习的方法，将原型分割网络ADNet与GAN相结合的分割模型的定量分析结果应用于ROP病变分期，可以用少量的数据和更快的速度达到较好的效果，并且提高了早产儿视网膜病变一期二期的分类准确率。
为了解决上述技术问题，本发明所采用的技术方案是：
一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，包括如下步骤：
(1)元数据采集：收集两组来源不同的ROP数据集分别作为元学习训练过程的元训练数据和元学习测试过程的元测试数据，其中，元训练数据即为源域数据，元测试数据即为目标域数据，并将数据按照正常、一期、二期、三期、四期和五期共六个阶段分别放置在不同的文件夹中；
(2)元数据集的标注：使用Labelme软件对ROP数据集进行标注，得到ROP病灶的分割mask，即金标准；
(3)元数据集预处理：使用快速进行算法去除ROP影像上的病人信息，同时将ROP影像转换到YCrCb空间，再使用自适应直方图均衡化，在保留ROP细节的同时增强病灶和背景的对比度，之后将图片和标注图像进行扩增；
(4)建立元学习模型：使用了原型网络ADNet和GAN相结合的分割模型，作为ROP病灶的分割任务的网络模型，使用Resnet101作为骨架网络；
(5)元学习模型预训练：将元学习模型在COCO数据集上以深度学习的方式进行预训练，保存好预训练权重；
(6)元学习模型元训练阶段：在源域数据中采集样本组成若干个训练任务进行模型训练，每个训练任务中均包含支持集和查询集，支持集用来生成病灶原型，查询集用来与病灶原型生成分割结果，元训练数据集的构建采取6-way和5-shot，即训练任务中包含六个类别(来自正常和一到五期)，支持集中每个类别有5张训练图像，默认支持集中每个类别有15张图像，此外，损失函数选用交叉熵损失函数，并将该处损失记为L1。
(7)GAN的辨别器的训练：只使用生成对抗网络中辨别器的部分，该辨别器是一个二分类卷积神经网络，该辨别器的训练需要用到元训练阶段的查询集图像及其分割结果图像和标注图像，辨别器的两个类别为：(a)ROP原图及其分割结果图像；(b)ROP原图及其标注图像，因此，同时输入辨别器的有两张图像，对于类别(a)的label为0(即fake)，对于类别(b)的label为1(即true)，此外，此处损失函数选用交叉熵损失函数，并将该处损失记为L2。
(8)网络参数更新：网络更新总损失L为L1和L2的总和，反向传播更新元学习器和辨别器。
(9)元学习模型元测试阶段：元测试阶段与元训练阶段类似，在目标域数据采集样本生成测试任务，每个测试任务也包含支持集和测试集，支持集用来生成病灶原型，测试集用来与病灶原型生成分割结果；
(10)分割结果后处理：对输出的分割结果进行后处理，处理方式为膨胀腐蚀，目的是连通分割出来的病灶区域，方便后续定量化指标的计算，包括长度、平均宽度、占比面积和明显程度，用于辅助ROP分期分类，此外，首先需要对元测试数据集进行指标分析，统计分析不同分期的病灶的长度、平均宽度、占比面积和明显程度。然后再将元测试中查询集的分割结果的定量化指标与统计结果进行比对，从而进行ROP分期。
前述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：长度指标的计算需要使用骨架提取算法，具体算法如下：
Figure BDA0003998369460000031
其中，N代表骨架像素点的数量；Pi bone代表第i个骨架像素点。
前述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：将骨架一侧的病灶区域去掉，计算每个骨架像素点与距其最近的病灶边界像素点的距离，并将所有距离取平均值作为平均宽度，如下式所示：
Figure BDA0003998369460000032
其中，N代表骨架像素点的个数，即病灶长度；Pi代表第i个骨架像素点；Pi′代表距离第i个骨架像素点最近的病灶边界像素点。
前述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：占比面积的计算即病灶区域像素点数量占整张图像像素点数量的比值，如下式所示：
Figure BDA0003998369460000041
其中，N代表病灶像素点的个数，K代表整张图像像素点的数量；
Figure BDA0003998369460000042
代表第i个病灶像素点，
Figure BDA0003998369460000043
代表第i个图像像素点。
前述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：明显程度计算公式如下：
Obvious＝AVEsur-AVEseg
其中，AVEseg表示网络分割出来的病灶区域在原图上的平均像素值，AVEsur表示病灶区域周围的部分区域在原图上的平均像素值。
前述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：L1的计算过程为：直接将分割结果与金标准，利用nn.CrossEntropyLoss()函数，计算得到L1，具体的计算流程如下：对分割结果的每个像素值取log，然后与金标准相乘，最后再将每个元素相加取平均值，再取反，得到最终的L1；L2的计算过程为：利用nn.CrossEntropyLoss()函数，计算得到L2，具体流程如下：辨别器输出一个二维向量，将该二维输出向量经过Softmax函数处理，然后将该二维输出向量取log，对标签(非0即1)进行one-hot处理，得到一个二维标签向量，将二维输出向量与二维标签向量逐元素相乘，求和取平均值，得到L2；将L1和L2加起来得到总损失L，Resnet101和辨别器中的每个参数都可以对总损失L链式求导得到一个梯度值，每个参数再梯度下降的方式更新参数值。本发明的有益效果是：
1、面对新的应用场景(如不同医院或不同成像设备)的ROP影像时，可以使用少量的数据和时间便可以训练得到一个性能较好的模型；
2、通过对分割结果使用一些定量化指标分析，辅助早产儿视网膜一期二期的分类，能够达到一个更好的分类效果。
附图说明
图1是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法的流程图；
图2是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法的网络模型图；
图3是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中ROP设备拍摄的原图；
图4是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中对ROP设备拍摄的原图去敏后的示意图；
图5是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中对去敏后图形进行自适应直方图均衡化后的示意图；
图6是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中分割出来的病灶区域的示意图；
图7是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中分割出来的病灶区域连通后的示意图；
图8是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中连通后的病灶区域长度的示意图；
图9是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中连通后的病灶骨架一侧的示意图；
图10是本发明一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法中病灶区域明显程度示意图。
具体实施方式
下面将结合具体实施例，对本发明做进一步的说明。
如图1所示，一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，包括如下步骤：
(1)元数据采集：收集两组来源不同的ROP数据集分别作为元学习训练过程的元训练数据和元学习测试过程的元测试数据，其中，元训练数据即为源域数据，元测试数据即为目标域数据，并将数据按照正常、一期、二期、三期、四期和五期共六个阶段分别放置在不同的文件夹中；在数据划分时，依据疾病严重程度，正常就是没有疾病，至于一期到五期，随着期数的增加，疾病越来越严重。以划分数据的方式，便于后期构建学习任务，构建学习任务需要分别在六个文件夹中采样若干图片。
(2)元数据集的标注：使用Labelme软件对ROP数据集进行标注，得到ROP病灶的分割mask，即金标准；在ROP图像上进行标注，将病灶标注出来，得到的是分割mask，也就是金标准，为的是后续模型输出分割结果后可以与人工标注出来的金标准进行对比，对比之后才能更新模型。
(3)元数据集预处理：使用快速进行算法去除ROP影像上的病人信息，同时将ROP影像转换到YCrCb空间，再使用自适应直方图均衡化，在保留ROP细节的同时增强病灶和背景的对比度，如图5所示，之后将图片和标注图像进行扩增，包括旋转，切割，变色等，扩增的目的是增强模型的泛化能力，比如说我们可以将ROP图像旋转一定的角度得到新的ROP图像，再输入模型进行分割处理，这样的话如果后续遇到一些ROP图像也存在一定角度，模型也是可以进行良好的分割的；扩增的目的是增强模型的泛化能力，由于有些ROP设备拍出的影像(如图3所示)上存在一些病人的敏感信息，因此先使用快速进行算法(Fast MarchingMethod，FMM)去除ROP影像上的病人信息，如图4所示；
(4)建立元学习模型：使用了原型网络ADNet和GAN相结合的分割模型，作为ROP病灶的分割任务的网络模型，使用Resnet101作为骨架网络，如图2所示；元学习模型包括一个基础模型(resnet101)和一个辨别器(四层卷积层和两层全连接层)，首先将支持集和查询集输入resnet101，得到支持集的特征图和查询集的特征图，将支持集的特征图与支持集的，，利用掩码平均池化的方法，计算病灶原型(prototype)，将病灶原型(prototype)与查询集的特征图，利用余弦相似度的计算方法，得到对查询集的分割图，再将查询集的分割图经过sigmoid激活函数，得到最终的查询集分割图，将查询集分割图与查询集原图同时输入辨别器，再将查询集金标准与查询集原图同时输入辨别器；
使用了原型网络ADNet和GAN相结合的分割模型，作为ROP病灶的分割任务的网络模型的优点是：ADNet的元学习方法可以使用小样本数据进行训练(因为标注数据还是比较昂贵的)，还可以得到一个较好的分割结果；并且当遇到一个其他医院或设备的ROP图像时，仅需要少量的图像就可以适应新的使用环境；利用GAN中的辨别器可以提高分割精准度使用resnet101的优点是由于网络较深，因此网络性能较强大，且可以直接下载现成的预训练模型参数权重；
(5)元学习模型预训练：将元学习模型在COCO数据集上以深度学习的方式进行预训练，进行预训练就是为了获得预训练权重，即预训练模型参数。保存好预训练权重，后续进行元训练的时候可以读取这个训练好的权重，具体为：利用常规深度学习训练方式，对resnet101的模型参数进行预训练，将图片输入resnet101，直接得到分割结果，然后与金标准计算loss，更新resnet101模型参数；(6)元学习模型元训练阶段：在源域数据中采集样本组成若干个训练任务进行模型训练，每个训练任务中均包含支持集和查询集，支持集用来生成病灶原型，查询集用来与病灶原型生成分割结果，元训练数据集的构建采取6-way和5-shot，即训练任务中包含六个类别(来自正常和一到五期)，支持集中每个类别有5张训练图像，默认支持集中每个类别有15张图像，这样构建任务是元学习构建任务的一种要求，其中6way说明有六个类别，也就是会生成六个原型。将六个类别的loss都加起来再进行更新模型的话可以产生更好的效果。其实也可以看作是6个1way，只是要在这6个1way任务都得到loss后相加求均值再更新模型；此外，损失函数选用交叉熵损失函数，并将该处损失记为L1；其中，有关支持集如何产生病灶原型。首先，假设支持集中某张图片经过resnet101输出后的尺寸为1×64×224×224，即特征图有64个通道。使用该图片的金标准(如尺寸为1×224×224)，即金标准只有一个通道，且金标准是二值图像，即病灶部分像素值为1，背景部分像素值为0。将金标准与特征图每个通道相乘，得到的特征图尺寸为1×64×224×224，接着，对特征图的高度和宽度进行相加，得到的特征图为1×64，然后，对金标准的高度和宽度也进行相加，得到的金标准尺寸为1×64。最后，将特征图(1×64)除以金标准(1×64)，便得到病灶原型，尺寸为1×64，由于实际的支持集有多张图像，因此会产生多个原型，直接将多个原型取均值，便可得到一个病灶原型，有关查询集如何与病灶原型生产分割结果，首先，假设查询集中的某张图片经过resnet101输出后的特征图尺寸为1×64×224×224，病灶原型尺寸为1×64，将病灶原型利用pytorch广播机制扩充为1×64×224×224，计算特征图和原型之间的余弦相似度，得到的分割结果图为1×224×224，
L1的计算过程为：直接将分割结果与金标准，利用nn.CrossEntropyLoss()函数，计算得到L1，具体的计算流程如下：对分割结果的每个像素值取log，然后与金标准相乘，最后再将每个元素相加取平均值，再取反，得到最终的L1；
(7)GAN的辨别器的训练：只使用生成对抗网络中辨别器的部分，该辨别器是一个二分类卷积神经网络，该辨别器的训练需要用到元训练阶段的查询集图像及其分割结果图像和标注图像，辨别器的两个类别为：(a)ROP原图及其分割结果图像；(b)ROP原图及其标注图像，因此，同时输入辨别器的有两张图像，对于类别(a)的label为0(即fake)，对于类别2的label为(b)(即true)，第一个类别的输入是查询集中的ROP原图像及对应的分割结果图像，输出是0；第二个类别的输入是查询集中的ROP原图及对应的标注图像，输出是1；期待增强辨别器区分真实标签和分割结果图片的能力，来促进分割的效果，通过使辨别器学习分辨某个分割结果到底是金标准还是模型处理的结果，来反向促进ADNet的分割精确度；此外，此处损失函数选用交叉熵损失函数，并将该处损失记为L2，其中，L2直接用分类交叉熵来计算，利用nn.CrossEntropyLoss()函数，计算得到L2，具体流程如下：辨别器输出一个二维向量，将该二维输出向量经过Softmax函数处理，然后将该二维输出向量取log，对标签(非0即1)进行one-hot处理，得到一个二维标签向量，将二维输出向量与二维标签向量逐元素相乘，求和取平均值，得到L2；
(8)网络参数更新：网络更新总损失L为L1和L2的总和，反向传播更新元学习器和辨别器，直接将L1和L2加起来得到总损失L，Resnet101和辨别器中的每个参数都可以对总损失L链式求导得到一个梯度值，每个参数再梯度下降的方式更新参数值；
(9)元学习模型元测试阶段：元测试阶段与元训练阶段类似，在目标域数据采集样本生成测试任务，每个测试任务也包含支持集和测试集，支持集用来生成病灶原型，测试集用来与病灶原型生成分割结果，如图6所示；
(10)分割结果后处理：对输出的分割结果进行后处理，处理方式为膨胀腐蚀，目的是连通分割出来的病灶区域，如图7所示，方便后续定量化指标的计算，包括长度、平均宽度、占比面积和明显程度，用于辅助ROP分期分类，此外，首先需要对元测试数据集进行指标分析，统计分析不同分期的病灶的长度、平均宽度、占比面积和明显程度。然后再将元测试中查询集的分割结果的定量化指标与统计结果进行比对，从而进行ROP分期；其中，利用膨胀腐蚀连通分割出来的病灶区域的方法为：首先，得到的分割结果是一个二值图像，病灶部分的像素值为1，背景为0，然后膨胀就是将病灶部分周围的像素值由0变为1，腐蚀就是将病灶边缘的像素值由1变为0，经过n次膨胀操作后，就可以将分开的病灶区域都连通起来，连通起来后，还需要进行n次腐蚀操作，可以恢复原来的病灶大小，但是病灶依旧是连通的状态，(先膨胀后腐蚀的操作也称为闭操作)。
如图8所示，长度指标的计算需要使用骨架提取算法，具体算法如下：
Figure BDA0003998369460000091
其中，N代表骨架像素点的数量；Pi bone代表第i个骨架像素点，骨架提取算法可以有效得到病灶区域的长度。病灶区域一般是弯曲的，骨架提取算法可以计算弯曲的病灶的长度。
如图9所示，将骨架一侧的病灶区域去掉，计算每个骨架像素点与距其最近的病灶边界像素点的距离，并将所有距离取平均值作为平均宽度，如下式所示：
Figure BDA0003998369460000101
其中，N代表骨架像素点的个数，即病灶长度；Pi代表第i个骨架像素点；Pi′代表距离第i个骨架像素点最近的病灶边界像素点。因为之前骨架提取算法所生成的骨架线条会将病灶一分为二，因此只需要去掉骨架某侧的病灶区域，计算骨架距离另一侧病灶边缘的最近距离即可得到单侧宽度。
占比面积的计算即病灶区域像素点数量占整张图像像素点数量的比值，如下式所示：
Figure BDA0003998369460000102
其中，N代表病灶像素点的个数，K代表整张图像像素点的数量；
Figure BDA0003998369460000103
代表第i个病灶像素点，
Figure BDA0003998369460000104
代表第i个图像像素点。这个方法简单明了，就是将分割得到的病灶区域的像素点数加起来，除以整幅图像的像素点数。
明显程度计算公式如下：
Obvious＝dVEsur-dVEseg
其中，AVEseg表示网络分割出来的病灶区域在原图上的平均像素值，AVEsur表示病灶区域周围的部分区域在原图上的平均像素值，其结果如图10所示。因为ROP病灶是一条明显的线条或区域，因此可以计算病灶与病灶边缘的颜色变化来判断病灶的明显程度。
综上所述，本发明提供的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，通过引入元学习的方法，将原型分割网络ADNet与GAN相结合的分割模型的定量分析结果应用于ROP病变分期，可以用少量的数据和更快的速度达到较好的效果，并且提高了早产儿视网膜病变一期二期的分类准确率。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。

Claims (6)

1.一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：包括如下步骤：
(1)元数据采集：收集两组来源不同的ROP数据集分别作为元学习训练过程的元训练数据和元学习测试过程的元测试数据，其中，元训练数据即为源域数据，元测试数据即为目标域数据，并将数据按照正常、一期、二期、三期、四期和五期共六个阶段分别放置在不同的文件夹中；
(2)元数据集的标注：使用Labelme软件对ROP数据集进行标注，得到ROP病灶的分割mask，即金标准；
(3)元数据集预处理：使用快速进行算法去除ROP影像上的病人信息，同时将ROP影像转换到YCrCb空间，再使用自适应直方图均衡化，在保留ROP细节的同时增强病灶和背景的对比度，之后将图片和标注图像进行扩增；
(4)建立元学习模型：使用了原型网络ADNet和GAN相结合的分割模型，作为ROP病灶的分割任务的网络模型，使用Resnet101作为骨架网络；
(5)元学习模型预训练：将元学习模型在COCO数据集上以深度学习的方式进行预训练，保存好预训练权重；
(6)元学习模型元训练阶段：在源域数据中采集样本组成若干个训练任务进行模型训练，每个训练任务中均包含支持集和查询集，支持集用来生成病灶原型，查询集用来与病灶原型生成分割结果，元训练数据集的构建采取6-way和5-shot，即训练任务中包含六个类别(来自正常和一到五期)，支持集中每个类别有5张训练图像，默认支持集中每个类别有15张图像，此外，损失函数选用交叉熵损失函数，并将该处损失记为L1。
(7)GAN的辨别器的训练：只使用生成对抗网络中辨别器的部分，该辨别器是一个二分类卷积神经网络，该辨别器的训练需要用到元训练阶段的查询集图像及其分割结果图像和标注图像，辨别器的两个类别为：(a)ROP原图及其分割结果图像；(b)ROP原图及其标注图像，因此，同时输入辨别器的有两张图像，对于类别(a)的label为0(即fake)，对于类别(b)的label为1(即true)，此外，此处损失函数选用交叉熵损失函数，并将该处损失记为L2。
(8)网络参数更新：网络更新总损失L为L1和L2的总和，反向传播更新元学习器和辨别器。
(9)元学习模型元测试阶段：元测试阶段与元训练阶段类似，在目标域数据采集样本生成测试任务，每个测试任务也包含支持集和测试集，支持集用来生成病灶原型，测试集用来与病灶原型生成分割结果；
(10)分割结果后处理：对输出的分割结果进行后处理，处理方式为膨胀腐蚀，目的是连通分割出来的病灶区域，方便后续定量化指标的计算，包括长度、平均宽度、占比面积和明显程度，用于辅助ROP分期分类，此外，首先需要对元测试数据集进行指标分析，统计分析不同分期的病灶的长度、平均宽度、占比面积和明显程度。然后再将元测试中查询集的分割结果的定量化指标与统计结果进行比对，从而进行ROP分期。
2.根据权利要求1所述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：长度指标的计算需要使用骨架提取算法，具体算法如下：
Figure FDA0003998369450000021
其中，N代表骨架像素点的数量；Pi bone代表第i个骨架像素点。
3.根据权利要求2所述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：将骨架一侧的病灶区域去掉，计算每个骨架像素点与距其最近的病灶边界像素点的距离，并将所有距离取平均值作为平均宽度，如下式所示：
Figure FDA0003998369450000022
其中，N代表骨架像素点的个数，即病灶长度；Pi代表第i个骨架像素点；Pi′代表距离第i个骨架像素点最近的病灶边界像素点。
4.根据权利要求1所述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：占比面积的计算即病灶区域像素点数量占整张图像像素点数量的比值，如下式所示：
Figure FDA0003998369450000031
其中，N代表病灶像素点的个数，K代表整张图像像素点的数量；
Figure FDA0003998369450000032
代表第i个病灶像素点，
Figure FDA0003998369450000033
代表第i个图像像素点。
5.根据权利要求1所述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：明显程度计算公式如下：
Obvious＝AVEsur-AVEseg
其中，AVEseg表示网络分割出来的病灶区域在原图上的平均像素值，AVEsur表示病灶区域周围的部分区域在原图上的平均像素值。
6.根据权利要求1所述的一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法，其特征在于：L1的计算过程为：直接将分割结果与金标准，利用nn.CrossEntropyLoss()函数，计算得到L1，具体的计算流程如下：对分割结果的每个像素值取log，然后与金标准相乘，最后再将每个元素相加取平均值，再取反，得到最终的L1；L2的计算过程为：利用nn.CrossEntropyLoss()函数，计算得到L2，具体流程如下：辨别器输出一个二维向量，将该二维输出向量经过Softmax函数处理，然后将该二维输出向量取log，对标签(非0即1)进行one-hot处理，得到一个二维标签向量，将二维输出向量与二维标签向量逐元素相乘，求和取平均值，得到L2；将L1和L2加起来得到总损失L，Resnet101和辨别器中的每个参数都可以对总损失L链式求导得到一个梯度值，每个参数再梯度下降的方式更新参数值。
CN202211605072.XA 2022-12-14 2022-12-14 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 Pending CN116012639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211605072.XA CN116012639A (zh) 2022-12-14 2022-12-14 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211605072.XA CN116012639A (zh) 2022-12-14 2022-12-14 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法

Publications (1)

Publication Number Publication Date
CN116012639A true CN116012639A (zh) 2023-04-25

Family

ID=86034535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211605072.XA Pending CN116012639A (zh) 2022-12-14 2022-12-14 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法

Country Status (1)

Country Link
CN (1) CN116012639A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877103A (zh) * 2024-03-13 2024-04-12 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877103A (zh) * 2024-03-13 2024-04-12 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法
CN117877103B (zh) * 2024-03-13 2024-05-24 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法

Similar Documents

Publication Publication Date Title
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
Wang et al. Multi-label classification of fundus images with efficientnet
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
CN111401480B (zh) 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN109325942B (zh) 基于全卷积神经网络的眼底图像结构分割方法
CN112016626B (zh) 基于不确定度的糖尿病视网膜病变分类系统
CN112733961A (zh) 基于注意力机制的糖尿病视网膜病变的分类方法及系统
CN111938569A (zh) 基于深度学习的眼底多病种分类的检测方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN114693961B (zh) 眼底照片分类方法、眼底图像处理方法和系统
CN112541923B (zh) 一种基于眼底图数据集迁移学习的视杯视盘分割方法
Cao et al. Gastric cancer diagnosis with mask R-CNN
CN113793301B (zh) 基于稠密卷积网络模型的眼底影像分析模型的训练方法
CN111369501B (zh) 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN111080579A (zh) 基于深度学习实现图像分割和分类的骨龄评估方法
CN112233061A (zh) 一种基于深度学习的皮肤基底细胞癌和鲍温病识别方法
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN116012639A (zh) 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
CN113989833A (zh) 一种基于EfficientNet网络的口腔粘膜性疾病识别方法
Fu et al. Automatic grading of Diabetic macular edema based on end-to-end network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination