CN111968107A - 基于不确定度的早产儿视网膜病plus病变分类系统 - Google Patents
基于不确定度的早产儿视网膜病plus病变分类系统 Download PDFInfo
- Publication number
- CN111968107A CN111968107A CN202010901076.7A CN202010901076A CN111968107A CN 111968107 A CN111968107 A CN 111968107A CN 202010901076 A CN202010901076 A CN 202010901076A CN 111968107 A CN111968107 A CN 111968107A
- Authority
- CN
- China
- Prior art keywords
- training
- uncertainty
- image
- blood vessel
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 42
- 206010038933 Retinopathy of prematurity Diseases 0.000 title claims abstract description 23
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 73
- 230000011218 segmentation Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims abstract description 35
- 238000003745 diagnosis Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 64
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 9
- 201000010099 disease Diseases 0.000 claims description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 206010036590 Premature baby Diseases 0.000 claims 3
- 230000007170 pathology Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 2
- 206010038923 Retinopathy Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002028 premature Effects 0.000 description 2
- 210000001210 retinal vessel Anatomy 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013531 bayesian neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种基于不确定度的早产儿视网膜病plus病变分类系统，涉及深度学习技术领域。通过血管分割模块，先分割出眼底图像的血管，分类模块再利用贝叶斯深度学习分类网络模型提取特征，通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。在实际投入使用时，可以通过两种不确定度判定图像分类结果的可信程度，而不是选择盲目相信模型给予的诊断结果，这对于医生和患者而言，考虑是否需要人工眼科专家重新诊断帮助非常大，在实际临床使用更加安全可靠。
Description
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于不确定度的早产儿视网膜病plus病变分类系统。
背景技术
近年来，随着人工智能发展的日益成熟，以深度学习为代表的算法在许多医学图像应用中显示出巨大的优势，在眼科领域也得到了大量的应用。其中在早产儿视网膜病变(retinopathyofprematurity,ROP)的分类分级中也取得广泛应用。
现有针对ROP的分类分级的方法例如申请号为CN201811482400.5，名称为的早产儿视网膜病plus病变分类方法的专利申请文件，公开了通过构建能够从眼底图像中分割出血管图的血管分割模型，构建能够对血管图进行plus病变分类的分类模型，应用血管分割模型从目标眼底图像中分割出目标眼底图像中的血管图，应用分类模型对目标眼底图像中的血管图进行分类，得到目标眼底图像中的血管图所属的plus病变类别。从而基于血管分割模型及分类模型实现对眼底图像进行血管分割及血管图进行分类，与现有的通过人为进行plus病变分类的方式相比，能够提高早产儿视网膜病plus病变分类效率。
然而，在医疗图像处理中，基于深度学习的方法非常依赖于模型的训练数据集的数量和质量，并且模型的参数在训练好之后是确定的。当模型被训练好之后被应用于ROP筛查的时候，对于筛查结果，模型无法展示结果的可信程度。在实际使用中，模型无法做到100％的准确率，尤其在模型诊断训练集中没有的图片类型，很有可能发生误诊情况，这对病人的身体健康产生了严重的危害。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于不确定度的早产儿视网膜病plus病变分类系统，解决了现有技术无法展示模型分类结果的可信程度的问题。
(二)技术方案
一种基于不确定度的早产儿视网膜病plus病变分类系统，包括：预处理模块、血管分割模块、分类模块以及用于存储图像的存储模块；
所述预处理模块用于对眼底图像进行预处理，预处理模块还用于对血管分割图像进行归一化处理；
所述血管分割模块用于利用训练好的血管分割网络模型将眼底图像转化为血管分割图像；
所述分类模块用于将归一化处理后的血管分割图像作为训练好的贝叶斯深度学习分类网络模型的输入，并通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。
进一步的，所述预处理模块对眼底图像进行预处理包括：统一把尺寸通过不变形缩放到固定大小；再通过减均值、除方差所有图像进行像素级别的归一化。
进一步的，所述血管分割网络模型为U-net结构的卷积神经网络模型。
进一步的，所述系统还包括第一模型训练模块；所述第一模型训练模块用于训练血管分割网络模型；且所述血管分割网络模型的训练方法如下：
T1、获取含有血管像素级标注的眼底图像；
T2、对眼底图像进行预处理；
T3、对眼底图像进行数据扩增；
T4、利用预处理后的眼底图像训练渗出血管分割网络模型；
T5、输出训练好的渗出分割网络模型和微血管瘤分割网络模型。
进一步的，所述T4、利用预处理后的眼底图像训练渗出血管分割网络模型包括：
使用交叉熵损失函数；
使用batchsize迭代方式训练；
训练的epoch设置为250，初始学习率设置为0.005，衰减系数为0.986，最终学习率下降到0.001则不再下降停止训练；
使用随机梯度下降优化器进行优化训练；
每层卷积操作中加入L2WeightDecay正则化。
进一步的，所述贝叶斯深度学习分类网络模型为ResNet50结构，包括多个三层的残差模块，且在每个残差模块后设置dropout层；将两个3x3的卷积层替换为1×1+3×3+1×1卷积操作；残差函数为：
F(x)＝H(x)-x
x是每个残差模块的输入，Hl是第l个残差模块的映射函数，包含三个连续的操作，批标准化、ReLU激活函数和1×1+3×3+1×1的卷积运算；
且分类层的输出节点设置为四个，其中三个节点分别对应三重病变类型，第四个节点用于学习图像的噪声。
进一步的，所述系统还包括第二模型训练模块，所述第二模型训练模块用于训练贝叶斯深度学习分类网络模型，包括如下步骤：
K1、获取标注有三种病变类型的眼底图像；
K2、对眼底图像进行预处理；
K3、对眼底图像进行数据扩增；
K4、预处理后的眼底图像作为训练好的血管分割网络模型的输入，得到血管分割图像；
K5、预处理模块将血管分割图像进行归一化处理；
K6、利用归一化处理后的血管分割图像训练贝叶斯深度学习分类网络模型；
K7、输出训练好的贝叶斯深度学习分类网络模型。
进一步的，所述K6、利用归一化处理后的血管分割图像训练贝叶斯深度学习分类网络模型，具体包括：
使用CrossEntropyLoss+偶然不确定度+模型不确定度作为损失函数；
使用小批量梯度下降算法作为学习算法；
训练的epoch设置为300，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次，初始学习率设置为0.005，衰减率设置为0.995，最终学习率固定至0.0001时停止训练；
测试时，通过多次dropout蒙特卡洛，得到预测分布，即三组对应三个病变类型的概率值和一组图像噪声。
进一步的，所述数据扩增包括随机左右、上下翻转，随机加高斯噪声以及随机饱和度、对比度和亮度抖动。
进一步的，所述系统还包括分类结果可信度判定模块，用于当模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％时，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断，其中，所述训练集的平均不确定度的计算方法为对每张图像计算不确定度，然后再计算期望。
(三)有益效果
本发明提供了一种基于不确定度的早产儿视网膜病plus病变分类系统。与现有技术相比，具备以下有益效果：
通过血管分割模块，先分割出眼底图像的血管，分类模块再利用贝叶斯深度学习分类网络模型提取特征，通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。相较于已有的普通深度学习技术，更加安全可靠。在实际投入使用时，可以通过两种不确定度判定图像分类结果的可信程度，而不是选择盲目相信模型给予的诊断结果，这对于医生和患者而言，考虑是否需要人工眼科专家重新诊断帮助非常大，在实际临床使用更加安全可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的系统框图；
图2为本发明实施例的贝叶斯深度学习分类网络模型的结构示意图；
图3为本发明实施例对眼底图像进行视网膜病变分类的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于不确定度的早产儿视网膜病plus病变分类系统，解决了现有技术无法展示模型分类结果的可信程度的问题，实现了展示模型分类结果的可信程度的功能。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
通过血管分割模块，先分割出眼底图像的血管，分类模块再利用贝叶斯深度学习分类网络模型提取特征，通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。相较于已有的普通深度学习技术，更加安全可靠。在实际投入使用时，可以通过两种不确定度判定图像分类结果的可信程度，而不是选择盲目相信模型给予的诊断结果，这对于医生和患者而言，考虑是否需要人工眼科专家重新诊断帮助非常大，在实际临床使用更加安全可靠。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示，本发明提供了一种基于不确定度的早产儿视网膜病plus病变分类系统，该系统包括：该系统包括：预处理模块、血管分割模块、分类模块以及用于存储图像的存储模块；
所述预处理模块用于对眼底图像进行预处理，预处理模块还用于对血管分割图像进行归一化处理；
所述血管分割模块用于利用训练好的血管分割网络模型将眼底图像转化为血管分割图像；
所述分类模块用于将归一化处理后的血管分割图像作为训练好的贝叶斯深度学习分类网络模型的输入，并通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。
本实施例的有益效果为：
通过血管分割模块，先分割出眼底图像的血管，分类模块再利用贝叶斯深度学习分类网络模型提取特征，通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。相较于已有的普通深度学习技术，更加安全可靠。在实际投入使用时，可以通过两种不确定度判定图像分类结果的可信程度，而不是选择盲目相信模型给予的诊断结果，这对于医生和患者而言，考虑是否需要人工眼科专家重新诊断帮助非常大，在实际临床使用更加安全可靠。
本发明实施例的具体实现过程如下：
1)关于血管分割网络模型的构建：
1-1)首先需要获取包含像素级血管标注的视网膜眼底图像，用于分割出血管图像，包含normal、preplu和plus的三种病变类型，标注可请专业的眼底专家进行标注。
1-2)预处理模块对眼底图像进行预处理；具体的，预处理包括：统一把尺寸通过不变形缩放到480x640大小，再通过减均值、除方差所有图像进行像素级别的归一化，可以起到加速网络训练和收敛的作用。(即归一化操作，输出的图像上每个像素强度范围在0和1之间，每个像素值表示它属于视网膜血管的概率。)
1-3)所述血管分割网络模型采用U-Net结构的卷积神经网络，通过相同次数下采样和上采样保持模型最后输出大小和输入大小完全一致；
通过级联下采样过程中上采用过程中相同尺寸的特征图，保证既获取到高阶的语义信息同时也保留了低阶的结构信息。这种结构保证模型在对细小特征的分割准确性大大提高，并且模型可以在比较少的数据上获得较好的性能。
1-4)按照4：1：1的比例将预处理后的眼底图像划为训练集、验证集和测试集；
第一模型训练模块在训练血管分割网络模型时：
A、对预处理后的训练数据进行数据扩增，包括随机左右、上下翻转，随机加高斯噪声以及随机饱和度、对比度和亮度抖动。以提高卷积神经网络的泛化能力和准确率。
B、使用交叉熵损失函数即CrossEntropyLoss(SoftMaxLoss)；
C、由于GPU计算资源有限，使用batchsize迭代方式训练模型；
D、训练的epoch设置为250，初始学习率设置为0.005，衰减系数为0.986，最终学习率下降到0.001则不再下降。
E、使用随机梯度下降优化器进行优化训练。
F、在每层卷积操作中加入L2WeightDecay正则化，防止权重参数过大带来的过拟合问题。
最终，训练好的血管分割网络模型各层的具体结构如表1所示：
表1
对于血管分割网络模型，由于输入为眼底彩图，因此输入通道为3，即480x640x3的RGB图像作为血管分割网络模型的输入，对应输出的血管分割图像也是480x640大小的图像。该图像上每个像素值范围在0和1之间。每个像素值表示它属于视网膜血管的概率。
2)关于贝叶斯深度学习分类网络模型的构建：
2-1)首先，获取包含三种病变类型标注的眼底图像；同样，可请专业的眼底专家进行标注。
2-2)预处理模块对眼底图像进行预处理；
2-3)利用训练好的血管分割网络模型得到眼底图像对应的血管分割图像；
2-4)预处理模块对血管分割图像进行归一化处理；
2-5)为了构建贝叶斯深度学习分类网络模型，将普通深度卷积神经网络的权值和偏置由定值变为分布。对于贝叶斯深度学习网络的训练，即给定一个训练集D＝{(X1,Y1),…,(XN,YN)}，想获得模型权重的后验分布p(W|X,Y)，可以由贝叶斯公式得到：
先验分布p(W)被设定为标准正态分布。但是由于边际分布p(Y|X)需要在整个W进行积分，而深度学习卷积网络层数深，权重参数数量大，这些权重构成的空间非常复杂，积分结果很难求出，因此真实权重后验概率分布求不出来。通过采用变分推断的方法近似求出模型后验分布，即采用一个简单点的分布qθ(W)去近似后验概率的分布p(W|X,Y)，为了能够使近似后验分布尽可能接近真实后验分布，计算二者之间的KL散度并且通过优化使得二者之间的KL散度尽可能小。最小化KL散度等价于最小化负的ELBO(negativeevidencelowerbound)，也就是最小化-∫qθ(W)logp(Y|X,W)dW+KL[qθ(W)|p(W)]，最后得到最佳近似后验分布
但是在贝叶斯神经网络中用来近似后验的变分方法在计算上会大大增加参数的数量，而优化变分推断方法的后验分布和优化利用dropout正则化网络模型是等价的，因此采用dropout正则化手段作为贝叶斯近似手段获取到模型后验分布。
在获得模型近似后验分布后，测试使用时，由于近似后验分布比较复杂，采用dropout蒙特卡洛模拟手段(例如50次前向传播)进行采样获取在
下的分类结果分布。通过获取分类结果的均值以及方差，获取到分类结果和模型不确定度。
因此，所述贝叶斯深度学习分类网络模型的基本框架模型采用的是ResNet50结构。
为了更好地利用层间的信息流信息，直接将旁路的支线将输入直接连到后面的层，使得后面的层直接学习残差，保护信息的完整性，整个网络则只需要学习输入、输出差别的那一部分，简化学习目标和难度。
在模型结构中，使用多个三层的残差模块，考虑计算的成本，对残差块做了计算优化，即将两个3x3的卷积层替换为1×1+3×3+1×1卷积操作。在模型中学习的残差函数为：
F(x)＝H(x)-x
x是每个残差模块的输入，Hl是第l个残差模块的映射函数，包含三个连续的操作，批标准化(BatchNormalization)、ReLU激活函数和1×1+3×3+1×1的卷积运算。为了能够获得模型权重分布，在每个残差模块后面加一层dropout层；
且分类层的输出节点设置为四个，其中三个节点分别对应三重病变类型，第四个节点用于学习图像的噪声，其平均值即偶然不确定度。
2-6)第二训练模块在训练贝叶斯深度学习分类网络模型时：
A、使用CrossEntropyLoss+偶然不确定度(aleatoricuncertainty)+模型不确定度(modeluncertainty)作为损失函数。
B、使用小批量梯度下降算法作为卷积神经网络的学习算法；
C、训练的epoch设置为300，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次。初始学习率设置为0.005，衰减率设置为0.995，最终学习率固定至0.0001。
D、早产儿眼底图像数据库中的类别标注分为0、1和2级，分别对应normal、preplus和plus级别。由于收集到的数据有限，为了充分地训练卷积神经网络，因此在训练的过程中，通过数据扩增的方法来对预处理后的训练数据进行了大量的扩增，使得数据量达到了百倍以上的扩增，从而使得训练出的网络得到充分训练，并具有较好的防滑能力。
E、测试时，通过多次前向传播(dropout层在测试时仍然起作用)得到三个病变类型的概率均值以及方差。概率均值对应三类概率最高为最终预测病变类别，分类结果的图像噪声的均值为该张图像的偶然不确定度，方差和(即三组概率值的方差的总和)作为模型不确定度。
在测试和使用时，根据模型不确定度和偶然不确定度大小判断模型分类结果的可信程度，如果模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断。其中，训练集的平均不确定度计算方法为对每张图像计算不确定度，然后再计算期望。
最终，训练好的贝叶斯深度学习分类网络模型的结构如图2所示，每层结构如表2所示。
表2
3)本实施例的分类系统在使用时，分类的流程如图3所示，包括：
S1、通过预处理模块对待分类的眼底图像进行预处理；
S2、血管分割模块将预处理后的眼底图像作为训练好的血管分割网络模型的输入，得到血管分割图像；
S3、预处理模块对血管分割图像进行归一化处理；具体为通过减均值、除方差所有图像进行像素级别的归一化；
S4、分类模块将归一化处理后的待分类的血管分割图像作为训练好的贝叶斯深度学习分类网络模型的输入，通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。
其中，三组概率值的部分内容如表3所示；
表3
| Normal | preplus | plus | |
| 1 | 0.20 | 0.75 | 0.05 |
| 2 | 0.15 | 0.79 | 0.06 |
| …… | …… | …… | …… |
| n | 0.12 | 0.83 | 0.05 |
| …… | …… | …… | …… |
步骤5、分类结果可信度判定模块综合考虑偶然不确定度和模型不确定度大小判断模型分类结果的可信程度，如果模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断，否则，输出分类结果。
综上所述，与现有技术相比，本发明具备以下有益效果：
①本发明中基于贝叶斯深度学习的早产儿视网膜病变分类分级方法，可以借助深度学习自动学习眼底图像中不同层次的抽象特征，从而更好地提取出了眼底图像中的高维度信息。实现自动判断眼底图像的疾病类别，分类结果兼具准确性与快速性。
②本发明采用贝叶斯深度学习的方法，在给出分类结果的同时还可以得到偶然不确定度和模型不确定度这两种不确定度信息，综合考虑偶然不确定度和模型不确定度大小判断模型分类结果的可信程度，可将两种不确定度比较大的分类结果的原图重新给眼科专家进行筛查，从而降低筛查的误诊率。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，该系统包括：预处理模块、血管分割模块、分类模块以及用于存储图像的存储模块；
所述预处理模块用于对眼底图像进行预处理，预处理模块还用于对血管分割图像进行归一化处理；
所述血管分割模块用于利用训练好的血管分割网络模型将眼底图像转化为血管分割图像；
所述分类模块用于将归一化处理后的血管分割图像作为训练好的贝叶斯深度学习分类网络模型的输入，并通过多次dropout蒙特卡洛，获取三组分别对应三个病变类型的概率值和一组图像噪声，并计算每组概率值的均值以及方差，将均值最大的病变类型作为最终分类结果，将图像噪声的均值作为偶然不确定度，方差和作为模型不确定度。
2.如权利要求1所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述预处理模块对眼底图像进行预处理包括：统一把尺寸通过不变形缩放到固定大小；再通过减均值、除方差所有图像进行像素级别的归一化。
3.如权利要求1所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述血管分割网络模型为U-net结构的卷积神经网络模型。
4.如权利要求1所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述系统还包括第一模型训练模块；所述第一模型训练模块用于训练血管分割网络模型；且所述血管分割网络模型的训练方法如下：
T1、获取含有血管像素级标注的眼底图像；
T2、对眼底图像进行预处理；
T3、对眼底图像进行数据扩增；
T4、利用预处理后的眼底图像训练渗出血管分割网络模型；
T5、输出训练好的渗出分割网络模型和微血管瘤分割网络模型。
5.如权利要求4所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述T4、利用预处理后的眼底图像训练渗出血管分割网络模型包括：
使用交叉熵损失函数；
使用batch size迭代方式训练；
训练的epoch设置为250，初始学习率设置为0.005，衰减系数为0.986，最终学习率下降到0.001则不再下降停止训练；
使用随机梯度下降优化器进行优化训练；
每层卷积操作中加入L2 Weight Decay正则化。
6.如权利要求1所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述贝叶斯深度学习分类网络模型为ResNet50结构，包括多个三层的残差模块，且在每个残差模块后设置dropout层；将两个3x3的卷积层替换为1×1+3×3+1×1卷积操作；残差函数为：
F(x)＝H(x)-x
x是每个残差模块的输入，Hl是第l个残差模块的映射函数，包含三个连续的操作，批标准化、ReLU激活函数和1×1+3×3+1×1的卷积运算；
且分类层的输出节点设置为四个，其中三个节点分别对应三重病变类型，第四个节点用于学习图像的噪声。
7.如权利要求6所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述系统还包括第二模型训练模块，所述第二模型训练模块用于训练贝叶斯深度学习分类网络模型，包括如下步骤：
K1、获取标注有三种病变类型的眼底图像；
K2、对眼底图像进行预处理；
K3、对眼底图像进行数据扩增；
K4、预处理后的眼底图像作为训练好的血管分割网络模型的输入，得到血管分割图像；
K5、预处理模块将血管分割图像进行归一化处理；
K6、利用归一化处理后的血管分割图像训练贝叶斯深度学习分类网络模型；
K7、输出训练好的贝叶斯深度学习分类网络模型。
8.如权利要求7所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述K6、利用归一化处理后的血管分割图像训练贝叶斯深度学习分类网络模型，具体包括：
使用CrossEntropy Loss+偶然不确定度+模型不确定度作为损失函数；
使用小批量梯度下降算法作为学习算法；
训练的epoch设置为300，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次，初始学习率设置为0.005，衰减率设置为0.995，最终学习率固定至0.0001时停止训练；
测试时，通过多次dropout蒙特卡洛，得到预测分布，即三组对应三个病变类型的概率值和一组图像噪声。
9.如权利要求4或7中任一所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述数据扩增包括随机左右、上下翻转，随机加高斯噪声以及随机饱和度、对比度和亮度抖动。
10.如权利要求1所述的一种基于不确定度的早产儿视网膜病plus病变分类系统，其特征在于，所述系统还包括分类结果可信度判定模块，用于当模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％时，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断，其中，所述训练集的平均不确定度的计算方法为对每张图像计算不确定度，然后再计算期望。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010901076.7A CN111968107B (zh) | 2020-08-31 | 2020-08-31 | 基于不确定度的早产儿视网膜病plus病变分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010901076.7A CN111968107B (zh) | 2020-08-31 | 2020-08-31 | 基于不确定度的早产儿视网膜病plus病变分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968107A true CN111968107A (zh) | 2020-11-20 |
| CN111968107B CN111968107B (zh) | 2024-03-12 |
Family
ID=73399524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010901076.7A Active CN111968107B (zh) | 2020-08-31 | 2020-08-31 | 基于不确定度的早产儿视网膜病plus病变分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968107B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205082A (zh) * | 2021-06-22 | 2021-08-03 | 中国科学院自动化研究所 | 基于采集不确定性解耦的鲁棒虹膜识别方法 |
| CN113537298A (zh) * | 2021-06-23 | 2021-10-22 | 广东省人民医院 | 一种视网膜图像分类方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110022319A1 (en) * | 2009-07-22 | 2011-01-27 | Schlumberger Technology Corporation | Guided bayesian experimental design |
| US20190080474A1 (en) * | 2016-06-28 | 2019-03-14 | Google Llc | Eye gaze tracking using neural networks |
| CN109635862A (zh) * | 2018-12-05 | 2019-04-16 | 合肥奥比斯科技有限公司 | 早产儿视网膜病plus病变分类方法 |
| US20200234445A1 (en) * | 2018-04-13 | 2020-07-23 | Bozhon Precision Industry Technology Co., Ltd. | Method and system for classifying diabetic retina images based on deep learning |
-
2020
- 2020-08-31 CN CN202010901076.7A patent/CN111968107B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110022319A1 (en) * | 2009-07-22 | 2011-01-27 | Schlumberger Technology Corporation | Guided bayesian experimental design |
| US20190080474A1 (en) * | 2016-06-28 | 2019-03-14 | Google Llc | Eye gaze tracking using neural networks |
| US20200234445A1 (en) * | 2018-04-13 | 2020-07-23 | Bozhon Precision Industry Technology Co., Ltd. | Method and system for classifying diabetic retina images based on deep learning |
| CN109635862A (zh) * | 2018-12-05 | 2019-04-16 | 合肥奥比斯科技有限公司 | 早产儿视网膜病plus病变分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| 曹鸿钧;朱玉强;张功;: "基于高斯过程分类的结构贝叶斯可靠性分析", 计算力学学报, no. 06, 15 December 2012 (2012-12-15) * |
| 赵亮;杨战平;: "考虑认知不确定性的模型确认贝叶斯因子法", 计算机应用研究, no. 02, 6 September 2015 (2015-09-06) * |
| 高伟;: "混沌系统参数估计结果的不确定性分析", 计算机应用研究, no. 01, 15 January 2010 (2010-01-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205082A (zh) * | 2021-06-22 | 2021-08-03 | 中国科学院自动化研究所 | 基于采集不确定性解耦的鲁棒虹膜识别方法 |
| CN113537298A (zh) * | 2021-06-23 | 2021-10-22 | 广东省人民医院 | 一种视网膜图像分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968107B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11295178B2 (en) | Image classification method, server, and computer-readable storage medium | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN108717869B (zh) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 | |
| CN112016626B (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| Prasad et al. | Early detection of diabetic retinopathy from digital retinal fundus images | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| Mumtaz et al. | Automatic detection of retinal hemorrhages by exploiting image processing techniques for screening retinal diseases in diabetic patients | |
| CN111968107B (zh) | 基于不确定度的早产儿视网膜病plus病变分类系统 | |
| CN112446875A (zh) | 基于黄斑注意力机制和不确定度的amd分级系统 | |
| JP2023551899A (ja) | カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング | |
| Fang et al. | Diabetic retinopathy classification using a novel DAG network based on multi-feature of fundus images | |
| Sharma et al. | Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition | |
| Krishnamoorthy et al. | GO-DBN: Gannet optimized deep belief network based wavelet kernel elm for detection of diabetic retinopathy | |
| Triyadi et al. | Deep learning in image classification using vgg-19 and residual networks for cataract detection | |
| Ali et al. | Cataract disease detection used deep convolution neural network | |
| US20220351377A1 (en) | Automated selection of ultra-widefield angiography images | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| Deepa et al. | Pre-Trained Convolutional Neural Network for Automated Grading of Diabetic Retinopathy | |
| CN110969117A (zh) | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 | |
| Saranya et al. | Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model | |
| Cao et al. | Alzheimer’s Disease Stage Detection Method Based on Convolutional Neural Network | |
| KR102591395B1 (ko) | 딥러닝 기반의 입천장심장얼굴 증후군(vcfs) 진단 지원 시스템 및 방법 | |
| El-Hoseny et al. | Optimized Deep Learning Approach for Efficient Diabetic Retinopathy Classification Combining VGG16-CNN. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |