CN112733961A - 基于注意力机制的糖尿病视网膜病变的分类方法及系统 - Google Patents
基于注意力机制的糖尿病视网膜病变的分类方法及系统 Download PDFInfo
- Publication number
- CN112733961A CN112733961A CN202110104745.2A CN202110104745A CN112733961A CN 112733961 A CN112733961 A CN 112733961A CN 202110104745 A CN202110104745 A CN 202110104745A CN 112733961 A CN112733961 A CN 112733961A
- Authority
- CN
- China
- Prior art keywords
- adense2net
- network
- network model
- module
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 38
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000011176 pooling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于注意力机制的糖尿病视网膜病变的分类方法及系统，包括以下步骤：获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型；使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。其在糖尿病视网膜病变分类任务上具有较高的准确率和鲁棒性。
Description
技术领域
本发明涉及图像分类技术领域，具体涉及一种基于注意力机制的糖尿病视网膜病变的分类方法及系统。
背景技术
近年来，随着科学技术的不断发展，深度学习也取得了突破性的进展。深度学习算法通过从大量的数据中学习并提取特征，具有良好的性能，通过和医疗图像相结合，可以为相关疾病的诊断提供可靠的依据，已成为了现代医疗领域的具有前景的发展方向。
在医疗图像的分析中，由于病变的多样性和复杂性，导致诊断分析的难度较大。如糖尿病视网膜病变分析中，图像通常具有较小的类间差异和较大的类内差异，这也是医学图像分析中的一大难点。而且随着近些年人们生活方式的调整、饮食条件的改善等一些原因，患病人数呈现逐年增加的趋势，而受医疗条件的限制，医生的工作强度很大，容易出现患者没有及时得到诊治而耽误病情的情况。因此亟需一种高效、精准的糖尿病视网膜病变自动分类的方法来进行辅助治疗。而糖尿病视网膜病变自动分类面临的主要的课题是如何准确、快速和全面的识别出图像中的病变区域。需要对病变区域的信息进行重点的学习，解决不同病变之间差异小难以细分的问题，减少错误分类的问题。目前深度学习拥有许多优秀的神经网络模型，但在糖尿病视网膜病变分类这一复杂的图像识别任务中，网络整体的表现不佳，目前并没有一套十分有效的解决方案。
中国专利CN108021916A提出了一种基于注意力机制的深度学习糖尿病视网膜病变分类方法。该方法通过在深度网络中嵌入基于全卷积网络的注意力网络，先通过对主神经网络的训练生成特征图，再通过对注意力网络的训练生成病变候选区域图并归一化得到注意力图，将注意力图和特征图乘积得到注意力机制，最后将注意力机制的结果再输入主神经网络训练得到最后的分类模型。即该方法通过保留原始特征的基础上对病变候选区域的信息进行增强但该方法需要引入二个网络，速度较慢，同时分类结果还有待提高。
医学图像的分类具有很强的严谨性，但由于糖尿病视网膜病变图像病变的复杂性和细微性，现有的神经网络的分类算法通常会从全局去学习提取特征，而没有去充分学习提取细微病变区域的特征，因而会影响算法分类的准确性，导致误分类。
发明内容
本发明要解决的技术问题是提供一种基于注意力机制的糖尿病视网膜病变的分类方法及系统，其在糖尿病视网膜病变分类任务上具有较高的准确率和鲁棒性。
为了解决上述技术问题，本发明提供了一种基于注意力机制的糖尿病视网膜病变的分类方法，包括以下步骤：
获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；
构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；
使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；
通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型；
使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。
作为优选的，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
改进DenseNet网络模型的非线性激活函数，将卷积网络的非线性激活函数改为FReLU，获得改进后的DenseNet网络模型；
在改进后的DenseNet网络模型中引用注意力机制模块，所述注意力机制模块为ECANet网络中的ECA模块，并使用残差模块将注意力机制模块与DenseNet网络进行融合。
作为优选的，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
将DenseNet网络中原始的3×3的主卷积替换为Res2Net网络中的残差分层结构的多尺度卷积模块，使得DenseNet网络中间的主卷积从单分支变为了多分支。
作为优选的，，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
对于DenseNet网络的最后一个池化层，使用可调参数的广义平均池化替换全局平均池化。
作为优选的，所述获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集，包括：
获取眼底图像的数据集，对眼底图像的数据集进行预处理，将预处理后的眼底图像的数据集划分为训练集和测试集。
作为优选的，所述对眼底图像的数据集进行预处理，包括以下一种或多种操作方式：
删除数据集中质量差的图像，其中，所述质量差的图像包括镜头污染引起的噪声的图像、光线引起的噪声的图像、只保留部分有用信息的图像和不包含纹理信息的图像；
去除图像黑色背景后进行缩放以减小图像分辨率；
采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理。
作为优选的，所述对眼底图像的数据集进行预处理还包括数据扩增，
所述数据扩增包括：通过镜像、平移、缩放的方法对图像进行数据扩增以增加训练数据的数量。
作为优选的，所述ADense2Net网络模型的验证度量指标包括准确率、敏感度、特异性和二次加权的kappa一致性评判指标；
所述准确率
所述敏感度
所述特异性
所述二次加权的kappa一致性评判指标
其中，TP、FP、FN、TN分别代表真阳性、假阳性、假阴性、真阴性；二次加权的kappa一致性评判指标中的O是N*N的矩阵，oi,j代表将第i类图片预测为第j类的数量，n为样本总数，wi,j为二次加权系数，
作为优选的，所述根据测试结果优化ADense2Net网络模型的参数，包括：
根据测试集的验证度量结果，不断的调整模型的超参数，优化ADense2Net网络模型的参数。
本发明公开了一种基于注意力机制的糖尿病视网膜病变的分类系统，包括：
数据处理模块，所述数据处理模块获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；
网络模型构建模块，其与数据处理模块连接，所述网络模型构建模块构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；
训练模块，其与网络模型构建模块连接，所述训练模块使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；
测试模块，其与训练模块连接，所述测试模块通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。
本发明的有益效果：
1、本发明针对目前糖尿病视网膜病变的分类算法的不足，本发明通过在现有的优秀神经网络的基础上，针对糖尿病视网膜病变图像的特点，进行网络结构上的改进，提出了一种基于注意力机制的糖尿病视网膜病变的分类方法，在糖尿病视网膜病变分类任务上具有较高的准确率和鲁棒性。
2、本发明提出了一种基于注意力机制的糖尿病视网膜病变分类方法，所述的ADense2Net卷积神经网络的主体结构为DenseNet网络，并根据糖尿病视网膜图像的特点对原有的网络进行了网络结构上的修改，在一定程度上提高了糖尿病视网膜图像的分类准确率。
3、本发明中的网络模型的学习能力较强，鲁棒性较好，在糖尿病视网膜病变图像的分类上有较强的适应性。
附图说明
图1为本发明的分类算法的流程示意图；
图2为本发明的改进的多尺度卷积特征提取模块；
图3为非线性激活函数FReLU的结构示意图；
图4为ECA注意力机制模块的结构示意图；
图5为本发明ADense2Net卷积神经网络模型的主体结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1和图5所示，本发明的公开了一种基于注意力机制的糖尿病视网膜病变的分类方法，包括以下步骤：
步骤一、获取眼底图像的数据集，对眼底图像的数据集进行预处理，将预处理后的眼底图像的数据集划分为训练集和测试集。
其中，对眼底图像的数据集进行预处理，包括：
(1)删除数据集中质量差的图像，其中，所述质量差的图像包括镜头污染引起的噪声的图像、光线引起的噪声的图像、只保留部分有用信息的图像和不包含纹理信息的图像；
(2)去除图像黑色背景后进行缩放以减小图像分辨率；
(3)采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理。
(4)所述对眼底图像的数据集进行预处理还包括数据扩增，所述数据扩增包括：通过镜像、平移、缩放的方法对图像进行数据扩增以增加训练数据的数量。
具体的，选取EyePACS数据集作为眼底图像的原始数据样本，其中包含了三万多张带标签的糖尿病视网膜病变图像数据。首先对数据集中质量较差的图像进行删除，删除图像主要包含4类，第一类是镜头污染引起的带噪声的图像，第二类是光线过曝引起的带噪声的图像，第三类是光线不足而使得整体图像过暗，且只保留部分有效信息的图像，第四类是图像中不包含任何的纹理信息，完全无效的图像。由于视网膜图像分辨率较高，为了减小网络的计算量，将图像尽量去除圆形视网膜区域外黑色背景后进行缩放以减小图像分辨率。同时为了便于网络能够更好的提取图像的特征，采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理，抑制图像噪声，提高分类的准确率。最后，通过镜像、平移、缩放等方法对图像进行数据扩增以增加训练数据的数量，提高模型的泛化能力，避免出现过拟合的现象。最后对数据按照8：2的比例划分出训练集和测试集。
步骤二、构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
S21、改进DenseNet网络模型的非线性激活函数，将卷积网络的非线性激活函数改为FReLU(原始的DenseNet网络的使用的非线性激活函数为ReLU)，获得改进后的DenseNet网络模型。
S22、为了能够让网络更加关注病变区域的学习，在改进后的DenseNet网络模型中引用注意力机制模块，所述注意力机制模块为ECANet网络中的ECA模块，并使用残差模块将注意力机制模块与DenseNet网络进行融合。
S23、为了提高网络的细粒度识别能力，将DenseNet网络中原始的3×3的主卷积替换为Res2Net网络中的残差分层结构的多尺度卷积模块，使得DenseNet网络中间的主卷积从单分支变为了多分支，获得更细粒度的特征信息。
S24、对于DenseNet网络的最后一个池化层，使用可调参数的广义平均池化(Generalized mean Pooling)替换全局平均池化(Global average Pooling)。
参照图2所示，为本发明改进的多尺度卷积特征提取模块，其中，图2(a)为原始的的特征提取模块，图2(b)为改进后的结合多尺度卷积的特征提取模块。图3为非线性激活函数FReLU的结构示意图，图4为ECA注意力机制模块的结构示意图。
步骤三、使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型。
所述ADense2Net网络模型的验证度量指标包括准确率(accuracy,ACC)、敏感度(sensitivity,SE)、特异性(specificity，SP)和二次加权的kappa一致性评判指标；
所述准确率
所述敏感度
所述特异性
所述二次加权的kappa一致性评判指标
其中，TP、FP、FN、TN分别代表真阳性、假阳性、假阴性、真阴性；二次加权的kappa一致性评判指标中的O是N*N的矩阵，这里为五分类，所以N＝5，oi,j代表将第i类图片预测为第j类的数量，n为样本总数，wi,j为二次加权系数，是对错误分类的惩罚，分类错误差距越大，惩罚越大，具体的二次加权系数定义如下：
在训练过程中，本发明采用Adam的方法进行优化，网络采用交叉熵作为损失函数，并对网络中的各参数使用L2正则化项，权重衰减因子为0.0005。设置初始学习率为0.0002，学习率随着学习的深入而变得越来越小。
本方法在所用的EyePACS数据集的测试集上取得82.6％的准确率和0.802的kappa值。为了对我们的方法进行进一步的验证，进行了正常和患病糖尿病视网膜病变图像的二分类实验，取得了92.5％的准确率，90.8％的敏感度和94.4％的特异性。
步骤四、通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。
其中，所述根据测试结果优化ADense2Net网络模型的参数，包括：根据测试集的验证度量结果，不断的调整模型的超参数，优化ADense2Net网络模型的参数。
步骤五、使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。
本发明公开了一种基于注意力机制的糖尿病视网膜病变的分类系统，包括数据处理模块、网络模型构建模块、训练模块和测试模块。
所述数据处理模块获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；
网络模型构建模块与数据处理模块连接，所述网络模型构建模块构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；
训练模块与网络模型构建模块连接，所述训练模块使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；
测试模块与训练模块连接，所述测试模块通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.一种基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，包括以下步骤：
获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；
构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；
使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；
通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型；
使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。
2.如权利要求1所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
改进DenseNet网络模型的非线性激活函数，将卷积网络的非线性激活函数改为FReLU，获得改进后的DenseNet网络模型；
在改进后的DenseNet网络模型中引用注意力机制模块，所述注意力机制模块为ECANet网络中的ECA模块，并使用残差模块将注意力机制模块与DenseNet网络进行融合。
3.如权利要求1所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
将DenseNet网络中原始的3×3的主卷积替换为Res2Net网络中的残差分层结构的多尺度卷积模块，使得DenseNet网络中间的主卷积从单分支变为了多分支。
4.如权利要求1所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：
对于DenseNet网络的最后一个池化层，使用可调参数的广义平均池化替换全局平均池化。
5.如权利要求1所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集，包括：
获取眼底图像的数据集，对眼底图像的数据集进行预处理，将预处理后的眼底图像的数据集划分为训练集和测试集。
6.如权利要求5所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述对眼底图像的数据集进行预处理，包括以下一种或多种操作方式：
删除数据集中质量差的图像，其中，所述质量差的图像包括镜头污染引起的噪声的图像、光线引起的噪声的图像、只保留部分有用信息的图像和不包含纹理信息的图像；
去除图像黑色背景后进行缩放以减小图像分辨率；
采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理。
7.如权利要求5所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述对眼底图像的数据集进行预处理还包括数据扩增，
所述数据扩增包括：通过翻转、平移、缩放的方法对图像进行数据扩增以增加训练数据的数量。
8.如权利要求1所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述ADense2Net网络模型的验证度量指标包括准确率、敏感度、特异性和二次加权的kappa一致性评判指标；
所述准确率
所述敏感度
所述特异性
所述二次加权的kappa一致性评判指标
其中，TP、FP、FN、TN分别代表真阳性、假阳性、假阴性、真阴性；二次加权的kappa一致性评判指标中的O是N*N的矩阵，oi,j代表将第i类图片预测为第j类的数量，n为样本总数，wi,j为二次加权系数，
9.如权利要求8所述的基于注意力机制的糖尿病视网膜病变的分类方法，其特征在于，所述根据测试结果优化ADense2Net网络模型的参数，包括：
根据测试集的验证度量结果，不断的调整模型的超参数，优化ADense2Net网络模型的参数。
10.一种基于注意力机制的糖尿病视网膜病变的分类系统，其特征在于，包括：
数据处理模块，所述数据处理模块获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；
网络模型构建模块，其与数据处理模块连接，所述网络模型构建模块构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；
训练模块，其与网络模型构建模块连接，所述训练模块使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；
测试模块，其与训练模块连接，所述测试模块通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110104745.2A CN112733961A (zh) | 2021-01-26 | 2021-01-26 | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110104745.2A CN112733961A (zh) | 2021-01-26 | 2021-01-26 | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112733961A true CN112733961A (zh) | 2021-04-30 |
Family
ID=75593590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110104745.2A Pending CN112733961A (zh) | 2021-01-26 | 2021-01-26 | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733961A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469967A (zh) * | 2021-06-28 | 2021-10-01 | 哈尔滨工程大学 | 一种尿沉渣中透明管型、病理管型的识别方法 |
| CN113537375A (zh) * | 2021-07-26 | 2021-10-22 | 深圳大学 | 一种基于多尺度级联的糖尿病视网膜病变分级方法 |
| CN114037660A (zh) * | 2021-10-26 | 2022-02-11 | 国药集团基因科技有限公司 | Oct视网膜病变图像识别方法及系统 |
| CN114418999A (zh) * | 2022-01-20 | 2022-04-29 | 哈尔滨工业大学 | 基于病变关注金字塔卷积神经网络的视网膜病变检测系统 |
| CN114494195A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
| CN114663318A (zh) * | 2022-05-25 | 2022-06-24 | 江西财经大学 | 基于生成对抗网络的眼底图像生成方法与系统 |
| CN115131612A (zh) * | 2022-07-02 | 2022-09-30 | 哈尔滨理工大学 | 一种基于递归残差网络的视网膜oct图像分类方法 |
| CN115511882A (zh) * | 2022-11-09 | 2022-12-23 | 南京信息工程大学 | 一种基于病变权重特征图的黑色素瘤识别方法 |
| CN115587979A (zh) * | 2022-10-10 | 2023-01-10 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
| CN114494195B (zh) * | 2022-01-26 | 2024-06-04 | 南通大学 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960257A (zh) * | 2018-07-06 | 2018-12-07 | 东北大学 | 一种基于深度学习的糖尿病视网膜病变等级分级方法 |
| CN109934241A (zh) * | 2019-03-28 | 2019-06-25 | 南开大学 | 可集成到神经网络架构中的图像多尺度信息提取方法及应用 |
| CN109948719A (zh) * | 2019-03-26 | 2019-06-28 | 天津工业大学 | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
-
2021
- 2021-01-26 CN CN202110104745.2A patent/CN112733961A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960257A (zh) * | 2018-07-06 | 2018-12-07 | 东北大学 | 一种基于深度学习的糖尿病视网膜病变等级分级方法 |
| CN109948719A (zh) * | 2019-03-26 | 2019-06-28 | 天津工业大学 | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 |
| CN109934241A (zh) * | 2019-03-28 | 2019-06-25 | 南开大学 | 可集成到神经网络架构中的图像多尺度信息提取方法及应用 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| GUOYUHAOAAA: "一种基于CNN的自动化提取n-gram feanture的文本分类模型", 《CSDN》 * |
| SHANG-HUA GAO等: "Res2Net： 一种新的多尺度骨干架构", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 张子振等: "融合注意力机制和高效网络的糖尿病视网膜病变识别与分类", 《中国图象图形学报》 * |
| 杨松霖: "卷积神经网络在糖尿病性视网膜病变分类中的研究与应用", 《中国优秀硕士学位论文全文数据库（电子期刊）（卫生医药科技辑）》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469967A (zh) * | 2021-06-28 | 2021-10-01 | 哈尔滨工程大学 | 一种尿沉渣中透明管型、病理管型的识别方法 |
| CN113537375A (zh) * | 2021-07-26 | 2021-10-22 | 深圳大学 | 一种基于多尺度级联的糖尿病视网膜病变分级方法 |
| CN114037660A (zh) * | 2021-10-26 | 2022-02-11 | 国药集团基因科技有限公司 | Oct视网膜病变图像识别方法及系统 |
| CN114418999A (zh) * | 2022-01-20 | 2022-04-29 | 哈尔滨工业大学 | 基于病变关注金字塔卷积神经网络的视网膜病变检测系统 |
| CN114494195A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
| CN114494195B (zh) * | 2022-01-26 | 2024-06-04 | 南通大学 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
| CN114663318B (zh) * | 2022-05-25 | 2022-08-30 | 江西财经大学 | 基于生成对抗网络的眼底图像生成方法与系统 |
| CN114663318A (zh) * | 2022-05-25 | 2022-06-24 | 江西财经大学 | 基于生成对抗网络的眼底图像生成方法与系统 |
| CN115131612A (zh) * | 2022-07-02 | 2022-09-30 | 哈尔滨理工大学 | 一种基于递归残差网络的视网膜oct图像分类方法 |
| CN115587979A (zh) * | 2022-10-10 | 2023-01-10 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
| CN115587979B (zh) * | 2022-10-10 | 2023-08-15 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
| CN115511882A (zh) * | 2022-11-09 | 2022-12-23 | 南京信息工程大学 | 一种基于病变权重特征图的黑色素瘤识别方法 |
| CN115511882B (zh) * | 2022-11-09 | 2023-03-21 | 南京信息工程大学 | 一种基于病变权重特征图的黑色素瘤识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733961A (zh) | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 | |
| CN110992382B (zh) | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 | |
| CN114693961B (zh) | 眼底照片分类方法、眼底图像处理方法和系统 | |
| CN110276763A (zh) | 一种基于可信度和深度学习的视网膜血管分割图生成方法 | |
| CN112016626A (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| CN114066884B (zh) | 视网膜血管分割方法及装置、电子设备和存储介质 | |
| CN113989551B (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
| CN114037011B (zh) | 一种中医舌色噪声标注样本的自动识别与清洗方法 | |
| Sharma et al. | Machine learning approach for detection of diabetic retinopathy with improved pre-processing | |
| CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
| CN114299082A (zh) | 一种新冠肺炎ct图像分割方法、装置及存储介质 | |
| Firke et al. | Convolutional neural network for diabetic retinopathy detection | |
| Zhang et al. | Automated quality classification of colour fundus images based on a modified residual dense block network | |
| CN115661066A (zh) | 基于分割和分类相融合的糖尿病性视网膜病变检测方法 | |
| CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
| Miao et al. | Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| Kanse et al. | HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection | |
| Duanggate et al. | A review of image analysis and pattern classification techniques for automatic pap smear screening process | |
| CN116664483A (zh) | 一种多指标协同的oct视网膜图像病变演进预测方法 | |
| CN116012639A (zh) | 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 | |
| US11717151B2 (en) | Method for early diagnosis of keratoconus based on multi-modal data | |
| CN114998300A (zh) | 一种基于多尺度信息融合网络的角膜溃疡分类方法 | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |