CN114882218A - 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 - Google Patents
一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 Download PDFInfo
- Publication number
- CN114882218A CN114882218A CN202210477600.1A CN202210477600A CN114882218A CN 114882218 A CN114882218 A CN 114882218A CN 202210477600 A CN202210477600 A CN 202210477600A CN 114882218 A CN114882218 A CN 114882218A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- segmentation
- attention
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 35
- 206010012601 diabetes mellitus Diseases 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 20
- 206010038862 Retinal exudates Diseases 0.000 title claims description 7
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 210000001525 retina Anatomy 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000002207 retinal effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 210000000416 exudates and transudate Anatomy 0.000 abstract description 15
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 206010012689 Diabetic retinopathy Diseases 0.000 abstract description 6
- 201000010099 disease Diseases 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 230000008034 disappearance Effects 0.000 abstract 1
- 230000003902 lesion Effects 0.000 description 10
- 238000012216 screening Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000001421 hyperglycemia Diseases 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010057430 Retinal injury Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000016097 disease of metabolism Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002008 hemorrhagic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003914 insulin secretion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003556 vascular endothelial cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提出一种基于嵌入残差卷积和注意力模块的U型糖尿病视网膜渗出物分割算法，主要用于解决糖尿病视网膜早期病变阶段渗出物病灶区域精确识别分割问题。本发明基于编码器‑解码器结构，在编码路径中使用ResNet50预训练模型作为主特征提取器，在加深特征提取网络深度的同时缓解了梯度消失、模型退化等问题；同时设计注意力机制，并将其嵌入至解码单元中，提升模型对小病灶点的识别能力，在保证大量细节特征信息的同时提高模型对病灶区域特征通道权重的学习；最后在模型解码端建立多尺度特征的融合结构，丰富不同尺度特征的语义信息。利用IDRiD和DIARETDB1两个数据集进行训练，取得较好的分割效果，提高了对眼科医生诊断病情的辅助作用。
Description
技术领域
本发明涉及一种利用深度学习进行糖尿病视网膜病灶渗出物分割方法，具体为一种基于编码器-解码器结构的视网膜渗出物分割方法，属于人工智能和医学图像处理领域。
背景技术
随着社会的不断发展，人们的生活水平不断提升，日常的饮食习惯也发生了很大的变化，随之而来的相关疾病如糖尿病等诸多慢性疾病不断危害着人们的健康。糖尿病是一种因胰岛素分泌不足导致高血糖的代谢疾病，是现代社会的一种高发病。据国际糖尿病联盟公布的数据显示，全世界糖尿病成人患者的数量从本世纪的1.51亿增加到现在的4.25亿。我国的糖尿病防治工作非常严峻，最新数据显示，中国现有糖尿病患者1亿960万，近30年来糖尿病患病率呈急剧增长的趋势，已成为全球糖尿病第一大国。糖尿病视网膜病变(diabetic retinopathy，DR，简称“糖网病”)是糖尿病的一种并发症，已经成为适龄人群失明的主要原因之一。由于眼部微细血管比较脆弱，在高血糖的情况下影响眼部血管容易发生变化，该症状也是糖尿病最常见、最严重的症状之一。DR在实际诊断中发病机制较为复杂，很可能的原因是糖尿病患者中血液成分的改变引起了血管内皮细胞功能异常，从而导致视网膜损坏。
目前，以深度学习方法为基础的糖尿病视网膜病变分级任务日趋成熟，而糖尿病视网膜病变的不同阶段会出现不同程度的常见病理特征，如微动脉瘤、出血病变、硬性渗出和软性渗出等病灶点。由于眼底视网膜环境的复杂性、病灶形状的多样性和图像噪声的干扰等问题，自动精准的病灶检测仍具有较大的挑战，在正常分类的基础上精准识别和定位眼底图像中不同病灶区域更有利于早期糖尿病视网膜病变的筛查。渗出物是糖尿病视网膜病变早期特征表现之一，它在眼底中的表现形式为蜡黄色的点片状。渗出物的大小表现不一，有多样的形状。渗出物的分布是离散的，常见于眼底后部的各个血管之间。如果在黄斑区周围发现渗出物，这样将会严重损害患者的视力。因此，渗出物作为视网膜病变的早期特征，是其早期病变筛查的依据，其检测已成为眼底图像处理中的一个研究热点。在眼底图像中，虽然渗出物表观明显，与眼底背景对比度较大，但由于渗出物病灶边缘复杂，且图像中光照不均、对比度低及色彩多样性时常发生，给渗出物检测工作带来困难。
针对糖尿病视网膜图像渗出检测，根据其解决方法将其分为基于图论的方法、基于聚类的方法、基于分类的方法和结合聚类分类的方法。目前国内外研究者们常针对视网膜渗出物的亮度、梯度、形态等特征来进行分割和检测。基于图论的方法主要是将图像看作是点的集合，每个相邻像素点间根据特征的相似度被划分到同类的集合中，这是一个图的区域划分问题；基于聚类的方法是将整个图像集合根据一定准则进行分类，然后重新计算各类内距离，从而更新聚类中心，直至各个类中心收敛；基于分类的方法是对整个图像的每个像素点提取局部特征，然后根据其特征使用分类器进行预测，最终得到整个检测结果图像；结合聚类分类的方法是先用聚类算法无监督地提取感兴趣区域，然后用分类算法对各候选区进行渗出物分类检测。
近年来，随着卷积神经网络和其他人工智能算法在图像、视频、音频处理中的发展，基于深度学习自动特征学习算法已经成为一种可行性算法，并在医学图像等领域得到了广泛的应用。机器学习尤其是深度学习在医疗影像中的识别、分类以及量化模型中取得了巨大飞跃，这种进步的关键是利用从数据中学习的分层特征而不是依赖于传统医生根据领域知识设计的手工特征。最近在许多研究中提出了基于深度学习的自动DR病变检测算法，其中包括微动脉瘤、出血、和渗出物的检测，这些病变与DR诊断结果有着重要的联系，实际中医生对DR的诊断正是基于这些病变症状来判断患者病情的，这些研究为我们实现基于深度学习的DR分类研究提供了可能。采用深度学习算法能够对这些特征进行自动提取并识别检测学习，在眼疾病自动筛查算法中，应用深度学习的算法研究还处于初步阶段，为满足医生出诊便捷需求，同时减轻人工诊断分析DR的工作量以及大规模DR筛查诊断需要，将深度学习应用到DR自动筛查诊断方法中具有很大的发展前景，深度学习能够解决传统方法手工设计特征复杂度高、泛化能力差等诸多问题，大大提高诊断结果的可靠性，对眼底的早期筛查将会带来重要的意义。
发明内容
本发明所要解决的技术问题是：由于眼底视网膜环境地复杂性、病灶形状的多样性和图像噪声干扰等问题，导致现有渗出物分割方法难以实现高精度的病灶点区域分割，为此，本研究方法基于深度学习，结合注意力机制等有利于分割等技术，构建更利于实现分割的深度模型，实现眼底渗出物病灶点区域的精确分割。
本发明的发明构思是：针对复杂的眼底图像，首先对数据集进行一系列的处理，增强图像中渗出物的病变区域，减少图像噪声的影响，同时利用图像扩增技术扩大数据集，更好的训练模型，最后优化改进深度模型，基于编码-解码器结构，通过编码端特征提取和跳层连接融合待分割区域的低层特征信息和高级特征信息，同时设计注意力机制和多尺度融合机制，用于准确定位目标像素点。
为解决本方法的技术问题，本发明采取的技术方案如下：
步骤1：构建算法模型，设计U型网络编码路径模块，将ResNet50预训练模型设置为编码端的特征提取器，模型中4个特征提取单元与ResNet50中的4个Block残差块对应。
步骤2：设计卷积-批量归一化-激活处理结构，暂命名为Bridge Conv，其中卷积核大小设为3×3，采用LeakReLu激活函数，将步骤1的特征输出作为Bridge Conv的输入。
步骤3：设计注意力机制模块，将通道注意力机制与空间注意力机制相结合构成GAM全局注意力模块，重新评估输入特征中的通道重要性。在解码器端将步骤2的特征输出作为GAM的输入，然后输入到一个与Bridge Conv相同的结构中，构成嵌入注意力机制的解码单元U-Attention中。
步骤4：步骤1中的编码单元输出与步骤3中的解码单元进行拼接，丰富模型的细节特征，同时在解码端的后3个解码单元后面设计一步卷积操作，最后实现模型的多尺度融合，生成更加精确的像素分割图像。
步骤5：以Tensorflow为深度模型框架，实现对以上步骤模型算法的组合搭建。至此，基于深度学习的糖尿病视网膜图像病灶分割模型设计完毕，接下来进行数据的处理。
步骤6：获取公开的用于视网膜眼底病灶检测分割数据集IDRiD和DIARETDB1，将两个数据集对应的原始图像和分割标签进行整合处理，形成一个混合数据集。
步骤7：对原始彩色眼底图像继续进行预处理，将每张图像的多余黑色区域进行裁剪，并对图像中的四个方向边缘进行检测，提取图像中心，得到眼底中心图像。
步骤8：调整图像分辨率，设置为1024×1024像素大小；对每张图像进行绿色单通道提取，再进行一系列的对比度增强和降噪处理。
步骤9：对步7中产生的中心眼底图像进行扩增处理，采用图像翻转、图像旋转或对比度调整对数据集进行扩充，将扩增后的图像执行步骤8，输入到步骤1所设计的编码器进行全局特征提取。
步骤10：实验平台环境设置，GPU型号为NVIDIA RTX 2080Ti、16G显存、cuda10.0、cudnn7.6.0，操作系统为Ubuntu16.04。在此平台下，采用Python3编程语言对步骤5中的模型进行构建。
步骤10：设计损失函数，引入焦点损失函数(Focal loss)作为目标函数，训练过程中，它降低了简单多样本的Loss贡献，使模型更加关注学习难以训练且样本较少的目标，计算公式：FL(pt)＝-αt(1-pt)γlog(pt)，其中，αt为平衡焦点损失，代表正负样本比例，pt是预测标签，γ为调节因子，当γ为0时，焦点损失函数相当于分类交叉熵。随着γ的增加，调制因子(1-pt)的影响同样增加，实验证明，当α取值为0.25，γ取值为2时，效果最佳。
步骤11：设置模型训练超参数，模型训练过程中使用Adam优化器进行参数调优，初始学习率设为0.00005，batch_size设置为1，Loss计算过程中采用步骤10中的Focal loss，梯度下降寻优过程中采用可变的学习率，学习率衰减因子设置为0.01，且调整学习率等待周期为10个epoch。同时采用5折交叉验证来训练模型，选出性能指标最佳的模型。
步骤12：对步骤11训练完成的模型进行保存，对模型分割效果进行验证，得到的分割效果图与原始标签图像进行比较。同时，为了验证步骤3所设计的注意力模型对分割效果的影响，模型训练时设计分组对照实验，将含有注意力机制和不含有注意力机制的模型框架进行分割性能对比分析。本发明具有以下有益效果：
本针对糖尿病视网膜渗出物病变区域的识别分割问题，本文提出的一种嵌入残差卷积和注意力模块的U型分割算法，所提出的模型在IDRiD和DIARETDB1混合数据集上进行训练和测试，模型的分割效果比较理想，整体性能指标较优。
附图说明
图1是设计的GAM注意力结构
图2是本文所提出的模型框架
图3是改进的具体结构示意图
图4眼底图像处理过程示意图
图5眼底图像分割效果图
图6眼底图像分割细节对比
具体实施方式
针对糖尿病视网膜渗出物病变区域的识别分割问题，提出的一种嵌入残差卷积和注意力模块的U型分割算法，以U-Net网络模型为基本框架，在编码端，为了更好的提取更高层次数据特征和保留更加丰富的空间信息，引入残差模块，加深特征网络的深度。残差结构还有效减少下采样阶段信息丢失的问题。在解码端设计U-Attention单元，引入GAM全局注意力层结构，扩大模型的感受野，减少背景信息的干扰，保证细节信息的同时有效提高模型识别病灶的注意权重，并与相应的上采样层相结合，充分利用上下文信息。最后利用解码端后三层的输出进行多尺度特征融合。所提出的模型在IDRiD和DIARETDB1混合数据集上进行训练和测试。
具体而言，本发明包括以下步骤：
步骤1：构建算法模型，设计U型网络编码路径模块，将ResNet50预训练模型设置为编码端的特征提取器，模型中4个特征提取单元与ResNet50中的4个Block残差块对应。
步骤2：设计卷积-批量归一化-激活处理结构，暂命名为Bridge Conv，其中卷积核大小设为3×3，采用LeakReLu激活函数，将步骤1的特征输出作为Bridge Conv的输入。
步骤3：设计注意力机制模块，将通道注意力机制与空间注意力机制相结合构成GAM全局注意力模块，重新评估输入特征中的通道重要性。在解码器端将步骤2的特征输出作为GAM的输入，然后输入到一个与Bridge Conv相同的结构中，构成嵌入注意力机制的解码单元U-Attention中。
步骤4：步骤1中的编码单元输出与步骤3中的解码单元进行拼接，丰富模型的细节特征，同时在解码端的后3个解码单元后面设计一步卷积操作，最后实现模型的多尺度融合，生成更加精确的像素分割图像。
步骤5：以Tensorflow为深度模型框架，实现对以上步骤模型算法的组合搭建。至此，基于深度学习的糖尿病视网膜图像病灶分割模型设计完毕，接下来进行数据的处理。
步骤6：获取公开的用于视网膜眼底病灶检测分割数据集IDRiD和DIARETDB1，将两个数据集对应的原始图像和分割标签进行整合处理，形成一个混合数据集。
步骤7：对原始彩色眼底图像继续进行预处理，将每张图像的多余黑色区域进行裁剪，并对图像中的四个方向边缘进行检测，提取图像中心，得到眼底中心图像。
步骤8：调整图像分辨率，设置为1024×1024像素大小；对每张图像进行绿色单通道提取，再进行一系列的对比度增强和降噪处理。
步骤9：对步7中产生的中心眼底图像进行扩增处理，采用图像翻转、图像旋转或对比度调整对数据集进行扩充，将扩增后的图像执行步骤8，输入到步骤1所设计的编码器进行全局特征提取。
步骤10：实验平台环境设置，GPU型号为NVIDIA RTX 2080Ti、16G显存、cuda10.0、cudnn7.6.0，操作系统为Ubuntu16.04。在此平台下，采用Python3编程语言对步骤5中的模型进行构建。
步骤10：设计损失函数，引入焦点损失函数(Focal loss)作为目标函数，训练过程中，它降低了简单多样本的Loss贡献，使模型更加关注学习难以训练且样本较少的目标，计算公式：FL(pt)＝-αt(1-pt)γlog(pt)，其中，αt为平衡焦点损失，代表正负样本比例，pt是预测标签，γ为调节因子，当γ为0时，焦点损失函数相当于分类交叉熵。随着γ的增加，调制因子(1-pt)的影响同样增加，实验证明，当α取值为0.25，γ取值为2时，效果最佳。
步骤11：设置模型训练超参数，模型训练过程中使用Adam优化器进行参数调优，初始学习率设为0.00005，batch_size设置为1，Loss计算过程中采用步骤10中的Focal loss，梯度下降寻优过程中采用可变的学习率，学习率衰减因子设置为0.01，且调整学习率等待周期为10个epoch。同时采用5折交叉验证来训练模型，选出性能指标最佳的模型。
步骤12：对步骤11训练完成的模型进行保存，对模型分割效果进行验证，得到的分割效果图与原始标签图像进行比较。同时，为了验证步骤3所设计的注意力模型对分割效果的影响，模型训练时设计分组对照实验，将含有注意力机制和不含有注意力机制的模型框架进行分割性能对比分析。
Claims (1)
1.一种基于嵌入残差卷积和注意力模块的U型糖尿病视网膜渗出物分割算法，其特征在于，具体步骤如下：
步骤1：构建算法模型，设计U型网络编码路径模块，将ResNet50预训练模型设置为编码端的特征提取器，模型中4个特征提取单元与ResNet50中的4个Block残差块对应；
步骤2：设计卷积-批量归一化-激活处理结构，暂命名为Bridge Conv，其中卷积核大小设为3×3，采用LeakReLu激活函数，将步骤1的特征输出作为Bridge Conv的输入；
步骤3：设计注意力机制模块，将通道注意力机制与空间注意力机制相结合构成GAM全局注意力模块，重新评估输入特征中的通道重要性；在解码器端将步骤2的特征输出作为GAM的输入，然后输入到一个与Bridge Conv相同的结构中，构成嵌入注意力机制的解码单元U-Attention中；
步骤4：步骤1中的编码单元输出与步骤3中的解码单元进行拼接，丰富模型的细节特征，同时在解码端的后3个解码单元后面设计一步卷积操作，最后实现模型的多尺度融合，生成更加精确的像素分割图像；
步骤5：以Tensorflow为深度模型框架，实现对以上步骤模型算法的组合搭建；至此，基于深度学习的糖尿病视网膜图像病灶分割模型设计完毕，接下来进行数据的处理；
步骤6：获取公开的用于视网膜眼底病灶检测分割数据集IDRiD和DIARETDB1，将两个数据集对应的原始图像和分割标签进行整合处理，形成一个混合数据集；
步骤7：对原始彩色眼底图像继续进行预处理，将每张图像的多余黑色区域进行裁剪，并对图像中的四个方向边缘进行检测，提取图像中心，得到眼底中心图像；
步骤8：调整图像分辨率，设置为1024×1024像素大小；对每张图像进行绿色单通道提取，再进行一系列的对比度增强和降噪处理；
步骤9：对步7中产生的中心眼底图像进行扩增处理，采用图像翻转、图像旋转或对比度调整对数据集进行扩充，将扩增后的图像执行步骤8，输入到步骤1所设计的编码器进行全局特征提取；
步骤10：实验平台环境设置，GPU型号为NVIDIA RTX 2080Ti、16G显存、cuda10.0、cudnn7.6.0，操作系统为Ubuntu16.04；在此平台下，采用Python3编程语言对步骤5中的模型进行构建；
步骤10：设计损失函数，引入焦点损失函数(Focal loss)作为目标函数，训练过程中，它降低了简单多样本的Loss贡献，使模型更加关注学习难以训练且样本较少的目标，计算公式：FL(pt)＝-αt(1-pt)γlog(pt)，其中，αt为平衡焦点损失，代表正负样本比例，pt是预测标签，γ为调节因子，当γ为0时，焦点损失函数相当于分类交叉熵；随着γ的增加，调制因子(1-pt)的影响同样增加，实验证明，当α取值为0.25，γ取值为2时，效果最佳；
步骤11：设置模型训练超参数，模型训练过程中使用Adam优化器进行参数调优，初始学习率设为0.00005，batch_size设置为1，Loss计算过程中采用步骤10中的Focal loss，梯度下降寻优过程中采用可变的学习率，学习率衰减因子设置为0.01，且调整学习率等待周期为10个epoch；同时采用5折交叉验证来训练模型，选出性能指标最佳的模型；
步骤12：对步骤11训练完成的模型进行保存，对模型分割效果进行验证，得到的分割效果图与原始标签图像进行比较；同时，为了验证步骤3所设计的注意力模型对分割效果的影响，模型训练时设计分组对照实验，将含有注意力机制和不含有注意力机制的模型框架进行分割性能对比分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477600.1A CN114882218A (zh) | 2022-04-28 | 2022-04-28 | 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477600.1A CN114882218A (zh) | 2022-04-28 | 2022-04-28 | 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882218A true CN114882218A (zh) | 2022-08-09 |
Family
ID=82673994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210477600.1A Pending CN114882218A (zh) | 2022-04-28 | 2022-04-28 | 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882218A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740076A (zh) * | 2023-05-15 | 2023-09-12 | 苏州大学 | 视网膜色素变性眼底图像中色素分割的网络模型及方法 |
| CN117495800A (zh) * | 2023-11-03 | 2024-02-02 | 北京透彻未来科技有限公司 | 一种病理图像大模型的病变预测分析系统及方法 |
| CN118365658A (zh) * | 2024-06-19 | 2024-07-19 | 电子科技大学长三角研究院(衢州) | 一种用于糖尿病视网膜病变的多病灶分割方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN110136147A (zh) * | 2019-05-21 | 2019-08-16 | 湖北工业大学 | 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 |
| WO2019196268A1 (zh) * | 2018-04-13 | 2019-10-17 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112785617A (zh) * | 2021-02-23 | 2021-05-11 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN114119637A (zh) * | 2021-11-29 | 2022-03-01 | 大连大学 | 基于多尺度融合和拆分注意力的脑白质高信号分割方法 |
| CN114287878A (zh) * | 2021-10-18 | 2022-04-08 | 江西财经大学 | 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法 |
-
2022
- 2022-04-28 CN CN202210477600.1A patent/CN114882218A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019196268A1 (zh) * | 2018-04-13 | 2019-10-17 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN110136147A (zh) * | 2019-05-21 | 2019-08-16 | 湖北工业大学 | 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112785617A (zh) * | 2021-02-23 | 2021-05-11 | 青岛科技大学 | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 |
| CN114287878A (zh) * | 2021-10-18 | 2022-04-08 | 江西财经大学 | 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法 |
| CN114119637A (zh) * | 2021-11-29 | 2022-03-01 | 大连大学 | 基于多尺度融合和拆分注意力的脑白质高信号分割方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740076A (zh) * | 2023-05-15 | 2023-09-12 | 苏州大学 | 视网膜色素变性眼底图像中色素分割的网络模型及方法 |
| CN117495800A (zh) * | 2023-11-03 | 2024-02-02 | 北京透彻未来科技有限公司 | 一种病理图像大模型的病变预测分析系统及方法 |
| CN117495800B (zh) * | 2023-11-03 | 2024-05-17 | 北京透彻未来科技有限公司 | 一种病理图像大模型的病变预测分析系统及方法 |
| CN118365658A (zh) * | 2024-06-19 | 2024-07-19 | 电子科技大学长三角研究院(衢州) | 一种用于糖尿病视网膜病变的多病灶分割方法 |
| CN118365658B (zh) * | 2024-06-19 | 2024-08-23 | 电子科技大学长三角研究院(衢州) | 一种用于糖尿病视网膜病变的多病灶分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | On OCT image classification via deep learning | |
| US11666210B2 (en) | System for recognizing diabetic retinopathy | |
| CN114882218A (zh) | 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 | |
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| CN110648344B (zh) | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 | |
| CN113689954B (zh) | 高血压风险预测方法、装置、设备及介质 | |
| CN110120055B (zh) | 基于深度学习的眼底荧光造影图像无灌注区自动分割方法 | |
| CN114881962A (zh) | 一种基于改进U-Net网络的视网膜图像血管分割方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Valarmathi et al. | A survey on diabetic retinopathy disease detection and classification using deep learning techniques | |
| CN114724231A (zh) | 一种基于迁移学习的青光眼多模态智能识别系统 | |
| CN112712531A (zh) | 一种基于卷积循环神经网络的as-oct图像的房角分类方法 | |
| CN115831364A (zh) | 基于多模态特征融合的2型糖尿病风险分层预测方法 | |
| CN115908241A (zh) | 一种基于UNet和Transformer相融合的视网膜血管分割方法 | |
| CN114938952B (zh) | 基于先验因果模型的血红蛋白浓度预测方法 | |
| CN116630345A (zh) | 一种基于全局特征增强的视网膜血管分割方法 | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| Agustin et al. | Implementation of data augmentation to improve performance CNN method for detecting diabetic retinopathy | |
| Qin et al. | Classification of diabetic retinopathy based on improved deep forest model | |
| CN114820632A (zh) | 基于双通道U形改进Transformer网络的视网膜血管图像分割方法 | |
| CN113273959B (zh) | 一种便携式糖尿病视网膜病变诊疗仪 | |
| CN115294093A (zh) | 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法 | |
| CN116091449A (zh) | 一种基于无监督异构蒸馏框架的视网膜oct图像病变分类方法 | |
| CN115049682A (zh) | 一种基于多尺度密集网络的视网膜血管分割方法 | |
| CN115619814A (zh) | 一种视盘和视杯联合分割方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |