CN112016626B - 基于不确定度的糖尿病视网膜病变分类系统 - Google Patents
基于不确定度的糖尿病视网膜病变分类系统 Download PDFInfo
- Publication number
- CN112016626B CN112016626B CN202010899023.6A CN202010899023A CN112016626B CN 112016626 B CN112016626 B CN 112016626B CN 202010899023 A CN202010899023 A CN 202010899023A CN 112016626 B CN112016626 B CN 112016626B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- uncertainty
- network model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 137
- 238000013135 deep learning Methods 0.000 claims abstract description 32
- 238000003745 diagnosis Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 67
- 208000009857 Microaneurysm Diseases 0.000 claims description 36
- 230000003902 lesion Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013531 bayesian neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于不确定度的糖尿病视网膜病变分类系统，涉及神经网络技术领域。利用训练好的两个分割网络模型得到渗出分割图像和微血管瘤分割图像，将渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合为多通道图像，并利用训练好的贝叶斯深度学习分类网络模型提取特征，分类模块在最终输出模型分类结果的同时，给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证，当遇到诊断图像不能非常确定地给出结果，可通过两种不确定度确定是否需要人工专家是否重新诊断，使得模型在临床使用更加安全可靠。
Description
技术领域
本发明涉及神经网络技术领域，具体涉及一种基于不确定度的糖尿病视网膜病变分类系统。
背景技术
近年来，随着人工智能发展的日益成熟，以深度学习为代表的算法在许多医学图像应用中显示出巨大的优势，得到了大量的应用。例如利用深度学习对糖尿病视网膜病变进行检测。
现有的糖尿病视网膜病变的检测方法通常利用卷积神经网络模型将眼底图片作为输入进行检测，最终得到模型的分类结果。
然而，在医疗图像处理中，基于深度学习的方法非常依赖于模型的训练数据集的数量和质量，并且模型的参数在训练好之后是确定的。当模型被训练好之后被应用于糖尿病视网膜病变的时候，对于筛查结果，模型无法展示结果的可信程度。在实际使用中，模型无法做到100％的准确率，尤其在模型诊断训练集中没有的图片类型，很有可能发生误诊情况，会对病人的身体健康产生了严重的危害。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于不确定度的糖尿病视网膜病变分类系统，解决了现有技术无法展示模型分类结果的可信程度的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于不确定度的糖尿病视网膜病变分类系统，包括：用于存储图像的存储模块、预处理模块、渗出分割模块、微血管瘤分割模块、分类模块；
所述预处理模块用于对眼底图像进行预处理；还用于对渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合后的多通道图像进行归一化处理；
所述渗出分割模块用于通过训练好的渗出分割网络模型将眼底图像分割为渗出分割图像；
所述微血管瘤分割模块用于通过训练好的微血管瘤分割网络模型将眼底图像分割为微血管瘤分割图像；
所述分类模块用于将分割出的渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像按通道进行叠加，得到多通道图像，再将归一化处理后的多通道图像作为贝叶斯深度学习分类网络模型的输入进行特征提取，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组图像噪声，并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度。
进一步的，所述预处理模块对眼底图像进行预处理包括：统一把尺寸通过不变形缩放到固定大小；再通过减均值、除方差所有图像进行像素级别的归一化，并进行自适应直方图均衡化处理以及gamma校正。
进一步的，所述渗出分割网络模型和微血管瘤分割网络模型均为Refined-Unet结构的卷积神经网络。
进一步的，所述系统还包括第一模型训练模块；所述第一模型训练模块用于训练渗出分割网络模型和微血管瘤分割网络模型；且训练渗出分割网络模型和微血管瘤分割网络模型包括如下步骤：
T1、获取含有渗出像素级标注的眼底图像以及含有微血管瘤像素级标注的眼底图像；
T2、对眼底图像进行预处理；
T3、对眼底图像进行数据扩增；
T4、利用预处理后的眼底图像分别训练渗出分割网络模型和微血管瘤分割网络模型；
T5、输出训练好的渗出分割网络模型和微血管瘤分割网络模型。
进一步的，所述T4、利用预处理后的眼底图像分别训练渗出分割网络模型和微血管瘤分割网络模型具体包括：
使用多尺度交叉熵损失函数，每一种尺度均用即Cross-Entropy Loss(SoftmaxLoss)，总的损失函数是L＝ΣLi(1≤i≤4)，Li＝Cross-Entropy Loss(Yi,Pi)；
使用sub-sampling方式训练模型；
训练的epoch设置为1000，batch_size设为2，初始学习率设置为0.001，衰减系数为0.995，最终学习率下降到0.0001则不再下降,停止训练；
使用Adam优化器进行优化训练；
在每层卷积操作中加入L2Weight Decay正则化。
进一步的，所述贝叶斯深度学习分类网络模型的提取特征信息部分采用三个Inception-DW模块构成，并在每个Inception结构后面设置一层dropout层；
其中，Inception-DW1模块用于将融合后的多通道图像作为输入；
Inception-DW2模块用于将渗出、微血管瘤分割模型的下采样的特征和Inception-DW1模块输出结果融合在一起作为输入进行特征提取；
Inception-DW3模块用于对Inception-DW2模块的输出进行进一步提取特征；
最后，经过softmax输出；输出节点设置五个，包括四个对应病变分类的分类节点和一个对应图像噪声的噪声节点。
进一步的，所述系统还包括第二模型训练模块，所述第二模型训练模块用于训练贝叶斯深度学习分类网络模型；训练步骤如下：
K1、获取标注有四种病变类型的眼底图像；
K2、对眼底图像进行预处理；
K3、对眼底图像进行数据扩增；
K4、预处理后的眼底图像利用训练好的渗出分割网络模型和微血管瘤分割网络模型，得到渗出分割图像和微血管瘤分割图像；
K5、将得到的渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像按照通道进行叠加，得到多通道图像；
K6、对多通道图像进行归一化处理；
K7、利用归一化后的多通道图像作为输入，训练贝叶斯深度学习分类网络模型；
K8、输出训练好的贝叶斯深度学习分类网络模型。
进一步的，所述K7、利用归一化后的多通道图像作为输入，训练贝叶斯深度学习分类网络模型，具体包括：
使用Cross-Entropy Loss+偶然不确定度+模型不确定度作为损失函数。
使用sub-sampling梯度下降算法作为卷积神经网络的学习算法；
每个卷积神经网络训练300个epoch，batch_size设为2，初始学习率设置为0.001，衰减系数为0.995，最终学习率下降到0.0001则不再下降,停止训练；
使用Adam优化器进行优化训练；
测试时，通过多次dropout蒙特卡洛，得到预测分布，即四组对应四个病变类型的概率值。
进一步的，所述数据扩增包括随机旋转、翻转，随机加高斯噪声以及直方图均衡化。
进一步的，所述系统还包括分类结果可信度判定模块，用于当模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％时，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断，其中，所述训练集的平均不确定度的计算方法为对每张图像计算不确定度，然后再计算期望。
(三)有益效果
本发明提供了一种基于不确定度的糖尿病视网膜病变分类系统。与现有技术相比，具备以下有益效果：
本发明利用训练好的两个分割网络模型得到渗出分割图像和微血管瘤分割图像，将渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合为多通道图像，并利用训练好的贝叶斯深度学习分类网络模型提取特征，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组噪声；并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度；分类模块在最终输出模型分类结果的同时，给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证，当遇到诊断图像不能非常确定地给出结果，可通过两种不确定度确定是否需要人工专家是否重新诊断，使得模型在临床使用更加安全可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的系统框图；
图2为本发明实施例中渗出分割网络模型以及微血管瘤分割网络模型的结构示意图；
图3为本发明实施例中贝叶斯深度学习分类网络模型的结构示意图；
图4为本发明实施例的糖尿病视网膜病变分类流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于不确定度的糖尿病视网膜病变分类系统，解决了现有技术无法展示模型分类结果的可信程度的问题，提高了分类系统的安全性。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
利用训练好的两个分割网络模型得到渗出分割图像和微血管瘤分割图像，将渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合为多通道图像，利用训练好的贝叶斯深度学习分类网络模型提取特征，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组噪声；并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度；分类模块在最终输出模型分类结果的同时，给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证，当遇到诊断图像不能非常确定地给出结果，可通过两种不确定度确定是否需要人工专家是否重新诊断，使得模型在临床使用更加安全可靠。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
如图1所示，本发明提供了一种基于不确定度的糖尿病视网膜病变分类系统，该系统包括：用于存储图像的存储模块、预处理模块、渗出分割模块、微血管瘤分割模块、分类模块；
所述预处理模块用于对眼底图像进行预处理；还用于对渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合后的多通道图像进行归一化处理；
所述渗出分割模块用于通过训练好的渗出分割网络模型将眼底图像分割为渗出分割图像；
所述微血管瘤分割模块用于通过训练好的微血管瘤分割网络模型将眼底图像分割为微血管瘤分割图像；
所述分类模块用于将分割出的渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像按通道进行叠加，得到多通道图像，再将归一化处理后的多通道图像、作为贝叶斯深度学习分类网络模型的输入进行特征提取，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组图像噪声，并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度。
本实施例的有益效果为：
利用训练好的两个分割网络模型得到渗出分割图像和微血管瘤分割图像，将渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合为多通道图像，利用训练好的贝叶斯深度学习分类网络模型提取特征，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组噪声；并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度；分类模块在最终输出模型分类结果的同时，给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证，当遇到诊断图像不能非常确定地给出结果，可通过两种不确定度确定是否需要人工专家是否重新诊断，使得模型在临床使用更加安全可靠。
下面对本发明实施例的实现过程进行详细说明：
1)关于所述渗出分割网络模型和微血管瘤分割网络模型的构建：
1-1)首先需要获取含有渗出像素级标注的眼底图像以及含有微血管瘤像素级标注的眼底图像，可通过让眼科眼底专家对眼底图形进行标注。
1-2)预处理模块再对眼底图像进行预处理；具体的，预处理包括统一把尺寸通过不变形缩放到576×576大小；再通过减均值、除方差所有图像进行像素级别的归一化。
由于眼底图像光照不均匀会影响到两种病灶的分割，采用自适应直方图均衡化处理以及gamma校正，使得鲁棒性更强。
1-3)所述渗出分割网络模型和微血管瘤分割网络模型均采用Refine-Unet结构的血管分割网络模型，
由于渗出和微血管瘤在每张图像上占有的比重非常小，但是渗出和微血管瘤的检测对糖尿病视网膜的分类至关重要，采用Refine-Unet结构第一可以实现图像到图像分割，模型训练好之后，输入一张眼底图像，可以自动分割对应的渗出或微血管瘤，输出尺寸与输入尺寸完全一致；第二可以实现微小物体分割，尽可能提高渗出或微血管瘤的分割准确率。模型输出结果是一张概率图，图上每个像素在0到1之间，表明该像素属于渗出或者微血管瘤的概率。
由于输入为预处理后的眼底彩图，因此输入通道为3，输出大小为576x576。
Refined-Unet网络的下采样和上采样保持模型次数相同保证最后输出大小和输入大小完全一致。在级联下采样过程中上采样中相同尺寸的特征图过程，对上采样中的级联特征图经过一次卷积再和下采样中图进行级联，保证特征融合的性能更好。
此外，模型输出是多尺度输出，在上采样支路中，每次上采样后经过两次卷积进行输出，不同尺度输出与对应尺度标签计算多尺度损失，加强损失监督效果，提升模型分割性能。
1-4)将预处理后的含有渗出像素级标注的眼底图像以及含有微血管瘤像素级标注的眼底图像按70％、15％和15％的比例分别划分为训练集、验证集和测试集。
第一模型训练模块在训练渗出分割网络模型和微血管瘤分割网络模型时：
将预处理后的576×576×3的眼底图像作为输入，分别训练渗出分割网络模型和微血管瘤分割网络模型。
训练的具体细节和参数包括：
A、使用多尺度交叉熵损失函数，每一种尺度均用即Cross-Entropy Loss(SoftmaxLoss)，总的损失函数是L＝ΣLi(1≤i≤4)，Li＝Cross-Entropy Loss(Yi,Pi)；
B、由于GPU计算资源有限，使用sub-sampling方式训练模型；
C、训练的epoch设置为1000，batch_size设为2，初始学习率设置为0.001，衰减系数为0.995，最终学习率下降到0.0001则不再下降,停止训练。
D、使用Adam优化器进行优化训练。
E、在每层卷积操作中加入L2Weight Decay正则化，防止权重参数过大带来的过拟合问题。
F、由于训练数据数量不是很多，为了提高性能，在训练时，进行数据扩增处理，数据扩增包括随机旋转、翻转，随机加高斯噪声以及直方图均衡化。
G、训练好渗出和微血管瘤两个分割网络模型后，权值固定不变。
最终，训练好的渗出分割网络模型和微血管瘤分割网络模型的结构如图2所示，各层的具体结构如表1所示：
表1
2)关于所述贝叶斯深度学习分类网络模型的构建：
为了构建贝叶斯深度学习分类网络模型，将普通深度卷积神经网络的权值和偏置由定值变为分布。对于贝叶斯深度学习网络的训练，即给定一个训练集D＝{(X1,Y1),…,(XN,YN)}，想获得模型权重的后验分布p(W|X,Y)，可以由贝叶斯公式得到：
先验分布p(W)被设定为标准正态分布。但是由于边际分布p(Y|X)需要在整个W进行积分，而深度学习卷积网络层数深，权重参数数量大，这些权重构成的空间非常复杂，积分结果很难求出，因此真实权重后验概率分布求不出来。通过采用变分推断的方法近似求出模型后验分布，即采用一个简单点的分布qθ(W)去近似后验概率的分布p(W|X,Y)，为了能够使近似后验分布尽可能接近真实后验分布，计算二者之间的KL散度并且通过优化使得二者之间的KL散度尽可能小。最小化KL散度等价于最小化负的ELBO(negative evidencelower bound)，也就是最小化-∫qθ(W)logp(Y|X,W)dW+KL[qθ(W)|p(W)]，最后得到最佳近似后验分布
但是在贝叶斯神经网络中用来近似后验的变分方法在计算上会大大增加参数的数量，而优化变分推断方法的后验分布和优化利用dropout正则化网络模型是等价的，因此采用dropout正则化手段作为贝叶斯近似手段获取到模型后验分布。
在获得模型近似后验分布后，测试使用时，由于近似后验分布比较复杂，采用dropout蒙特卡洛模拟手段(例如50次前向传播)进行采样获取在下的分类结果分布。通过获取分类结果的均值和方差，获取到分类结果和模型不确定度。
因此，在构建贝叶斯深度学习分类网络模型时：
2-1)同样，需要获取标注有四种病变类型的眼底图像；可通过眼科专家对眼底图像进行标注分级。
2-2)在输入网络模型前，出于相同原因，同样预处理模块对眼底图像进行相同的预处理。
2-3)渗出分割模块和微血管瘤分割模块分别利用训练好的渗出分割网络模型和微血管瘤分割网络模型，将预处理后的标注有四种病变类型的眼底图像进行分割，得到渗出分割图像和微血管瘤分割图像。
2-4)将上面得到的渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像叠加成一个多通道图像中作为提取特征信息部分的输入；即按照通道将图像直接concat在一起；再进行归一化处理；
2-5)贝叶斯深度学习分类网络模型的提取特征信息部分采用三个Inception-DW模块构成，其中：
Inception-DW1模块主要是将融合后的多通道图像作为输入；
Inception-DW2模块主要是将渗出、微血管瘤分割模型的下采样的特征和Inception-DW1模块输出结果作为输入进行特征提取；
最后经过Inception-DW3对Inception-DW2的输出结果进行进一步提取特征。
其中采取Inception-DW模块的好处就是采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合，此外卷积核大小采用1、3和5可以实现网络结构在宽度和深度上兼具的效果。为了能够获得模型权重分布，在每个卷积模块中卷积层后加dropout层用来获取模型权重近似后验分布。
通过Inception-DW1卷积模块-下采样-Inception-DW2卷积模块-下采样-Inception-DW3卷积模块-下采样处理，最终模型预测为4类并通过softmax层，分别对应4个病变类型健康、轻度、中度和重度。且噪声节点学习得到的是图像噪声的均值为该张图像的偶然不确定度。
2-6)第二模型训练模块在训练所述贝叶斯深度学习分类网络模型时：
以576×576的渗出和微血管瘤二值化图像和576×576×3的眼底彩照融合为576×576×5的多通道图像作为输入。
在训练贝叶斯深度学习分类网络模型采用以下方式：
A、使用Cross-Entropy Loss+偶然不确定度(aleatoric uncertainty)+模型不确定度(modeluncertainty)损失(L＝LCEL+Laleatoric+Lmodle)作为损失函数。
B、使用sub-sampling梯度下降算法作为卷积神经网络的学习算法；
C、每个卷积神经网络训练300个epoch，训练参数和优化器与分割模型相同；
D、糖尿病视网膜眼底数据的诊断标记从0、1、2和3级，分别对用健康、轻度、中度和重度级别。在训练过程中，同样进行对训练数据进行数据扩增，使得模型性能更加鲁棒。
E、测试时，通过多次dropout蒙特卡洛，如表3所示，得到预测分布，即四组对应四个病变类型的概率值；
表3
在测试时，概率均值最高的病变类型为最终分类结果，方差为模型不确定度，模型噪声节点学习得到的是图像噪声平均值为该张图像的偶然不确定度。从模型得到的两种不确定度，综合考虑比较测试集得到的结果与训练集的平均不确定度进行比较，得到结果的可信程度，其中，所述训练集的平均不确定度的计算方法为对每张图像计算不确定度，然后再计算期望。
最终训练好的贝叶斯深度学习分类网络模型的网络结构如图3所示，具体各层结构如表2所示；
表2
3)训练好的渗出分割网络模型、微血管瘤分割网络模型、贝叶斯深度学习分类网络模型后，即可使用分类系统进行分类，流程如图4所示：
S1、获取待分类的眼底图像；
S2、预处理模块对眼底图像进行预处理；
S3、渗出分割模块和微血管瘤分割模块将预处理后的待分类眼底图像分别作为利用训练好的渗出分割网络模型和微血管瘤分割网络模型的输入，分别获得渗出分割图像和微血管瘤分割图像；
S4、分类模块将待分类眼底图像以及对应的渗出分割图像和微血管瘤分割图像按通道叠加为一个多通道图像；随后分类模块再将多通道图像作为训练好的贝叶斯深度学习分类网络模型的输入，并通过多次dropout蒙特卡洛，最终得到对应四个病变类型的四组概率值和一组图像噪声，并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度。
S5、分类结果可信度判定模块当模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％时，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断；其中，所述训练集的平均不确定度的计算方法为对每张图像计算不确定度，然后再计算期望。
综上所述，与现有技术相比，本发明具备以下有益效果：
利用训练好的两个分割网络模型得到渗出分割图像和微血管瘤分割图像，将渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合为多通道图像，利用训练好的贝叶斯深度学习分类网络模型提取特征，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组噪声；并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度；分类模块在最终输出模型分类结果的同时，给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证，最后分类结果可行度判定模块通过两种不确定度确定是否需要人工专家是否重新诊断，使得模型在临床使用更加安全可靠。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，包括：用于存储图像的存储模块、预处理模块、渗出分割模块、微血管瘤分割模块、分类模块；
所述预处理模块用于对眼底图像进行预处理；还用于对渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像进行融合后的多通道图像进行归一化处理；
所述渗出分割模块用于通过训练好的渗出分割网络模型将眼底图像分割为渗出分割图像；
所述微血管瘤分割模块用于通过训练好的微血管瘤分割网络模型将眼底图像分割为微血管瘤分割图像；
所述分类模块用于将分割出的渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像按通道进行叠加，得到多通道图像，再将归一化处理后的多通道图像作为贝叶斯深度学习分类网络模型的输入进行特征提取，并通过多次dropout蒙特卡洛，输出对应四个病变类型的四组概率值和一组图像噪声，并获取四组概率值的均值和方差，将概率均值最大的病变类型作为最终分类结果，将噪声的均值作为偶然不确定度，将方差和作为模型不确定度。
2.如权利要求1所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述预处理模块对眼底图像进行预处理包括：统一把尺寸通过不变形缩放到固定大小；再通过减均值、除方差所有图像进行像素级别的归一化，并进行自适应直方图均衡化处理以及gamma校正。
3.如权利要求1所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述渗出分割网络模型和微血管瘤分割网络模型均为Refined-Unet结构的卷积神经网络。
4.如权利要求3所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述系统还包括第一模型训练模块；所述第一模型训练模块用于训练渗出分割网络模型和微血管瘤分割网络模型；且训练渗出分割网络模型和微血管瘤分割网络模型包括如下步骤：
T1、获取含有渗出像素级标注的眼底图像以及含有微血管瘤像素级标注的眼底图像；
T2、对眼底图像进行预处理；
T3、对眼底图像进行数据扩增；
T4、利用预处理后的眼底图像分别训练渗出分割网络模型和微血管瘤分割网络模型；
T5、输出训练好的渗出分割网络模型和微血管瘤分割网络模型。
5.如权利要求4所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述T4、利用预处理后的眼底图像分别训练渗出分割网络模型和微血管瘤分割网络模型具体包括：
使用多尺度交叉熵损失函数，每一种尺度均用即Cross-Entropy Loss(SoftmaxLoss)，总的损失函数是L＝ΣLi(1≤i≤4)，Li＝Cross-EntropyLoss(Yi,Pi)；
使用sub-sampling方式训练模型；
训练的epoch设置为1000，batch_size设为2，初始学习率设置为0.001，衰减系数为0.995，最终学习率下降到0.0001则不再下降,停止训练；
使用Adam优化器进行优化训练；
在每层卷积操作中加入L2Weight Decay正则化。
6.如权利要求1所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述贝叶斯深度学习分类网络模型的提取特征信息部分采用三个Inception-DW模块构成，并在每个Inception结构后面设置一层dropout层；
其中，Inception-DW1模块用于将融合后的多通道图像作为输入；
Inception-DW2模块用于将渗出、微血管瘤分割模型的下采样的特征和Inception-DW1模块输出结果融合在一起作为输入进行特征提取；
Inception-DW3模块用于对Inception-DW2模块的输出进行进一步提取特征；
最后，经过softmax输出；输出节点设置五个，包括四个对应病变分类的分类节点和一个对应图像噪声的噪声节点。
7.如权利要求6所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述系统还包括第二模型训练模块，所述第二模型训练模块用于训练贝叶斯深度学习分类网络模型；训练步骤如下：
K1、获取标注有四种病变类型的眼底图像；
K2、对眼底图像进行预处理；
K3、对眼底图像进行数据扩增；
K4、预处理后的眼底图像利用训练好的渗出分割网络模型和微血管瘤分割网络模型，得到渗出分割图像和微血管瘤分割图像；
K5、将得到的渗出分割图像、微血管瘤分割图像以及对应的预处理后的眼底图像按照通道进行叠加，得到多通道图像；
K6、对多通道图像进行归一化处理；
K7、利用归一化后的多通道图像作为输入，训练贝叶斯深度学习分类网络模型；
K8、输出训练好的贝叶斯深度学习分类网络模型。
8.如权利要求7所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述K7、利用归一化后的多通道图像作为输入，训练贝叶斯深度学习分类网络模型，具体包括：
使用Cross-Entropy Loss+偶然不确定度+模型不确定度作为损失函数；
使用sub-sampling梯度下降算法作为卷积神经网络的学习算法；
每个卷积神经网络训练300个epoch，batch_size设为2，初始学习率设置为0.001，衰减系数为0.995，最终学习率下降到0.0001则不再下降,停止训练；
使用Adam优化器进行优化训练；
测试时，通过多次dropout蒙特卡洛，得到预测分布，即四组对应四个病变类型的概率值。
9.如权利要求4或7中任一所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述数据扩增包括随机旋转、翻转，随机加高斯噪声以及直方图均衡化。
10.如权利要求1所述的一种基于不确定度的糖尿病视网膜病变分类系统，其特征在于，所述系统还包括分类结果可信度判定模块，用于当模型不确定度或者偶然不确定度比训练集的平均不确定度高出50％时，则判断该张图像的预测可信程度低，将该张眼底图像交给眼科专家进行重新诊断，其中，所述训练集的平均不确定度的计算方法为对每张图像计算不确定度，然后再计算期望。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010899023.6A CN112016626B (zh) | 2020-08-31 | 2020-08-31 | 基于不确定度的糖尿病视网膜病变分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010899023.6A CN112016626B (zh) | 2020-08-31 | 2020-08-31 | 基于不确定度的糖尿病视网膜病变分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112016626A CN112016626A (zh) | 2020-12-01 |
| CN112016626B true CN112016626B (zh) | 2023-12-01 |
Family
ID=73503999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010899023.6A Active CN112016626B (zh) | 2020-08-31 | 2020-08-31 | 基于不确定度的糖尿病视网膜病变分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112016626B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381821A (zh) * | 2020-12-08 | 2021-02-19 | 北京青燕祥云科技有限公司 | 一种智能手持式眼底相机以及图像分析方法 |
| CN112869704B (zh) * | 2021-02-02 | 2022-06-17 | 苏州大学 | 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 |
| CN112966759B (zh) * | 2021-03-15 | 2022-05-10 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习的眼底图像识别分类方法 |
| CN113012148A (zh) * | 2021-04-14 | 2021-06-22 | 中国人民解放军总医院第一医学中心 | 一种基于眼底影像的糖尿病肾病-非糖尿病肾病鉴别诊断装置 |
| CN113205082B (zh) * | 2021-06-22 | 2021-10-15 | 中国科学院自动化研究所 | 基于采集不确定性解耦的鲁棒虹膜识别方法 |
| CN113273959B (zh) * | 2021-07-19 | 2021-10-29 | 中山大学中山眼科中心 | 一种便携式糖尿病视网膜病变诊疗仪 |
| CN113576399B (zh) * | 2021-08-02 | 2024-03-08 | 北京鹰瞳科技发展股份有限公司 | 一种糖网分析方法、系统以及电子设备 |
| CN114862798A (zh) * | 2022-05-09 | 2022-08-05 | 华东师范大学 | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8879813B1 (en) * | 2013-10-22 | 2014-11-04 | Eyenuk, Inc. | Systems and methods for automated interest region detection in retinal images |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN107038704A (zh) * | 2017-05-04 | 2017-08-11 | 季鑫 | 视网膜图像渗出区域分割方法、装置和计算设备 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108615051A (zh) * | 2018-04-13 | 2018-10-02 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| WO2020056454A1 (en) * | 2018-09-18 | 2020-03-26 | MacuJect Pty Ltd | A method and system for analysing images of a retina |
-
2020
- 2020-08-31 CN CN202010899023.6A patent/CN112016626B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8879813B1 (en) * | 2013-10-22 | 2014-11-04 | Eyenuk, Inc. | Systems and methods for automated interest region detection in retinal images |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN107038704A (zh) * | 2017-05-04 | 2017-08-11 | 季鑫 | 视网膜图像渗出区域分割方法、装置和计算设备 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108615051A (zh) * | 2018-04-13 | 2018-10-02 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| WO2020056454A1 (en) * | 2018-09-18 | 2020-03-26 | MacuJect Pty Ltd | A method and system for analysing images of a retina |
Non-Patent Citations (2)
| Title |
|---|
| 糖尿病视网膜病变眼底图像分类方法;梁平;熊彪;冯娟娟;廖瑞端;汪天富;刘维湘;;深圳大学学报(理工版)(03);全文 * |
| 邻域约束模型的眼底图像硬性渗出聚类检测方法;曹新容;林嘉雯;薛岚燕;余轮;;计算机辅助设计与图形学学报(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112016626A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016626B (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| CN111259982B (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| Sopharak et al. | Simple hybrid method for fine microaneurysm detection from non-dilated diabetic retinopathy retinal images | |
| Saranya et al. | Blood vessel segmentation in retinal fundus images for proliferative diabetic retinopathy screening using deep learning | |
| CN113768461B (zh) | 一种眼底图像分析方法、系统和电子设备 | |
| KR102313143B1 (ko) | 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 | |
| CN112446875A (zh) | 基于黄斑注意力机制和不确定度的amd分级系统 | |
| CN114693961B (zh) | 眼底照片分类方法、眼底图像处理方法和系统 | |
| Vij et al. | A novel deep transfer learning based computerized diagnostic Systems for Multi-class imbalanced diabetic retinopathy severity classification | |
| CN111968107B (zh) | 基于不确定度的早产儿视网膜病plus病变分类系统 | |
| Tripathi et al. | MTCD: Cataract detection via near infrared eye images | |
| Nurrahmadayeni et al. | Analysis of deep learning methods in diabetic retinopathy disease identification based on retinal fundus image | |
| Syed et al. | A diagnosis model for detection and classification of diabetic retinopathy using deep learning | |
| KG et al. | An approach to the detection of retinoblastoma based on apriori algorithm | |
| Mathias et al. | Categorization of Diabetic Retinopathy and Identification of Characteristics to Assist Effective Diagnosis | |
| Abirami et al. | A New Benchmarking for Diabetic Retinopathy Using Machine Learning, Deep Learning and Image Processing Techniques | |
| Saranya et al. | Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model | |
| CN114557670A (zh) | 生理年龄预测方法、装置、设备及介质 | |
| Aswathy | Diabetic Retinopathy Detection Using Semantic Segmentation And Optic Disc Localization | |
| Fu et al. | Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation | |
| Kuruba et al. | Robust blood vessel detection with image enhancement using relative intensity order transformation and deep learning | |
| Taş et al. | Detection of retinal diseases from ophthalmological images based on convolutional neural network architecture. | |
| Sivapriya et al. | Detection and Segmentation of Retinopathy Diseases using EAD-Net with Fundus Images | |
| Hussein et al. | Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration | |
| Hatamizadeh | An Artificial Intelligence Framework for the Automated Segmentation and Quantitative Analysis of Retinal Vasculature |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 33, Dongqi Road, Dongshan street, Jiangning District, Nanjing City, Jiangsu Province, 211103 Applicant after: Zhongke Taiming (Nanjing) Technology Co.,Ltd. Address before: No. 33, Dongqi Road, Dongshan street, Jiangning District, Nanjing City, Jiangsu Province, 211103 Applicant before: NANJING TAIMING BIOLOGICAL TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |