CN117333722A - 一种基于双路径多模块的糖尿病视网膜病变图像分类方法 - Google Patents
一种基于双路径多模块的糖尿病视网膜病变图像分类方法 Download PDFInfo
- Publication number
- CN117333722A CN117333722A CN202311547390.XA CN202311547390A CN117333722A CN 117333722 A CN117333722 A CN 117333722A CN 202311547390 A CN202311547390 A CN 202311547390A CN 117333722 A CN117333722 A CN 117333722A
- Authority
- CN
- China
- Prior art keywords
- fundus image
- fundus
- dp2m
- image
- net model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 15
- 230000003902 lesion Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 210000004204 blood vessel Anatomy 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 208000032843 Hemorrhage Diseases 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000009977 dual effect Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 206010046996 Varicose vein Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双路径多模块的糖尿病视网膜病变图像分类方法，包括获取眼底图像数据集，基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强，获取增强后的眼底图像数据集，构建新型的双路径多模块的网络模型即DP2M‑Net模型，所述DP2M‑Net模型用于获取增强后的眼底图像的病变信息，将眼底图像数据集和增强后的眼底图像数据集划分为训练集和测试集，对DP2M‑Net模型的参数进行初始化，基于训练集对DP2M‑Net模型进行训练，将测试集的所有样本输入至训练后的DP2M‑Net模型进行预测并对预测结果和分类精度进行统计。本发明具有较强的通用性和鲁棒性，提高了分类的准确率。
Description
技术领域
本发明涉及糖尿病视网膜病变分类领域，尤其涉及一种基于双路径多模块的糖尿病视网膜病变图像分类方法。
背景技术
糖尿病视网膜病变(diabetic retinopathy，DR)是一种由糖尿病引起的影响视力甚至导致失明的慢性眼科疾病。DR的早期发现对确保成功诊断和有效治疗具有重要作用。对于DR的患者眼底彩照常出现眼底新生血管、点状出血、晚期灰色渗出和血管静脉曲张等现象。因此，视网膜血管特征作为DR分类的先验基础是十分关键的。
随着医疗设备和信息技术的进步，生理图像和功能图像呈爆炸式增长。然而，人工疾病诊断不仅是主观的和耗时的，而且检测结果还取决于医生的理论知识和实践能力。深度学习模型分析了大量医学图像中的病变特征，并更新原始神经元之间的连接权值。传统的深度学习模型及其改进模型在DR分类方面取得了显著进展，如AlexNet网络，SqueezeNet网络，GooleNet网络，ResNet网络和最近提出的TL-MobileNet网络，NDAG-Net网络，R-AlexNet网络，DenseNet-TF网络模型。
然而，传统的机器学习分类方法需要较大的样本量和手动设置图像特征和概率值。因此，会导致结果不稳定，假阳性率高，在实际应用中可行性低。对于最先进的网络模型算法，R-AlexNet模型具有较高的空间分辨率和较强的对比度结构，解决了依赖于大量数据等问题，但异常区域的分类仍有待改进。DenseNet-TF模型通过局部二进制模式来提取纹理特征，但在训练时十分消耗内存。NDAG-Net模型通过局部处理和并行计算，可以使得交易速度大幅度提升，但DAG网络模型作为异步操作，不存在一个全局的排序机制，导致节点间所存储的数据在运行一段时间后出现偏差。
发明内容
本发明提供一种基于双路径多模块的糖尿病视网膜病变图像分类方法，以克服上述技术问题。
一种基于双路径多模块的糖尿病视网膜病变图像分类方法，包括，
步骤一、获取眼底图像数据集，基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强，获取增强后的眼底图像数据集，
步骤二、构建新型的双路径多模块的网络模型即DP2M-Net模型，所述DP2M-Net模型用于获取增强后的眼底图像的病变信息，
步骤三、将眼底图像数据集和增强后的眼底图像数据集划分为训练集和测试集，对DP2M-Net模型的参数进行初始化，基于训练集对DP2M-Net模型进行训练，将测试集的所有样本输入至训练后的DP2M-Net模型进行预测并对预测结果和分类精度进行统计。
优选地，所述基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强包括
S11、对眼底图像进行白平衡处理，
S12、对白平衡处理后的眼底图像进行基于高斯滤波的锐化处理，所述基于高斯滤波的锐化处理包括根据公式(1)进行锐化处理，
其中，I表示白平衡处理后的图像，N{}表示线性归一化算子，μ*I表示图像I的高斯滤波结果，
S13、对锐化处理后的眼底图像进行对比度增强，所述对比度增强包括基于拉普拉斯金字塔的融合方法对锐化后的图像中的眼底血管、眼底出血区域的边缘和细节进行增强。
优选地，所述DP2M-Net模型包括卷积层、激活层、全连接层和最大池化层，其中，卷积层用于对增强后的眼底图像进行病变特征提取，激活层用于通过非线性激活函数和批量归一化函数对提取的病变特征进行优化，全连接层用于将提取的病变特征进行多尺度融合并将融合后的特征映射到一维空间，最大池化层用于降低病变特征之间的耦合。
优选地，所述对眼底图像进行白平衡处理还包括将眼底图像进行缩放后进行白平衡处理。
优选地，所述白平衡处理包括根据公式(2)对眼底图像中每个像素位置的红色通道进行降低，并根据公式(3)对每个像素位置的蓝色通道进行增加，
其中，IRed(x)、IGreen(x)表示眼底图像I的红色、绿色通道，每个通道根据通道取值的动态范围的上限进行归一化后位于区间[0,1]内；和/>表示IRed(x)、IGreen(x)和IBlue(x)的平均值，k表示一个常数参数且设置K＝1，IBlue(x)表示图像I的蓝色通道，IRc(x)表示降低后的红色通道，IBc(x)为增加后的蓝色通道。
本发明提供一种基于双路径多模块的糖尿病视网膜病变图像分类方法，利用卷积层优化局部信息，实现了广泛的感知范围和非线性病变映射能力，解决了异常区域与周围组织之间的弱边界问题。构建了DP2M-Net深度学习网络模型，使泛化能力更强，并提高了分类的准确率。本发明具有较强的通用性和鲁棒性，可帮助医生为糖尿病患者提供辅助诊断和治疗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法流程图；
图2是本发明CB-MsFU算法流程图；
图3是本发明CB-MsFU图像增强算法实验结果图；
图4是本发明DP2M-Net模型结构图；
图5是本发明利用卷积模块在不同输入通道下提取的特征映射；
图6是本发明系统结构图；
图7是本发明混淆矩阵结果；
图8是本发明图像有无预处理的比较结果；
图9是本发明不同学习率对模型的对比结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明方法流程图，如图1所示，本实施例的方法可以包括：
步骤一、获取眼底图像数据集，基于色彩平衡和多尺度融合算法(Color balanceand multi-scale fusion，CB-MsFU)对眼底图像数据集中的眼底图像的特征进行增强，获取增强后的眼底图像数据集，
步骤二、构建新型的双路径多模块的网络模型即DP2M-Net模型，所述DP2M-Net模型用于获取增强后的眼底图像的病变信息，
步骤三、将眼底图像数据集和增强后的眼底图像数据集划分为训练集和测试集，对DP2M-Net模型的参数进行初始化，基于训练集对DP2M-Net模型进行训练，将测试集的所有样本输入至训练后的DP2M-Net模型进行预测并对预测结果和分类精度进行统计。
基于上述方案，本实施例利用卷积层优化局部信息，实现了广泛的感知范围和非线性病变映射能力，解决了异常区域与周围组织之间的弱边界问题。构建了DP2M-Net深度学习网络模型，使泛化能力更强，并提高了分类的准确率。本发明具有较强的通用性和鲁棒性，可帮助医生为糖尿病患者提供辅助诊断和治疗。
具体地，本实施例给出了病变分类方法的详细内容，包括，
步骤一、获取眼底图像数据集，基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强，获取增强后的眼底图像数据集，
所述基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强包括
S11、对眼底图像进行图像白平衡处理，白平衡目的是降低眼底彩色图像的红色通道的过度补偿，并弥补绿色通道和蓝色通道的损失。所述基于多通道的图像白平衡处理包括根据公式(1)对眼底图像中每个像素位置的红色通道进行降低，并根据公式(2)对每个像素位置的蓝色通道进行增加，
其中，IRed(x)、IGreen(x)表示眼底图像I的红色、绿色通道，每个通道根据通道取值的动态范围的上限进行归一化后位于区间[0,1]内；和/>表示IRed(x)、IGreen(x)和IBlue(x)的平均值，K表示一个常数参数且设置K＝1，IBlue(x)表示图像I的蓝色通道，IRc(x)表示降低后的红色通道，IBc(x)为增加后的蓝色通道，
具体地，所述对眼底图像进行白平衡处理还包括将眼底图像进行缩放后进行白平衡处理，
S12、尽管白色平衡对于增强眼底特征至关重要，但并不足以解决眼底血管模糊问题，为了弥补此问题，进行高斯滤波的锐化处理。对白平衡处理后的眼底图像进行基于高斯滤波的锐化处理，所述基于高斯滤波的锐化处理包括根据公式(3)进行锐化处理，
其中，I表示白平衡处理后的图像，N{}表示线性归一化算子，μ*I表示图像I的高斯滤波结果。
具体地，为了保证数据的均匀性，将眼底图像缩放到256×256像素作为CB-MsFU算法的输入图像。此外，基于CB-MsFU算法进行了眼底图像增强，通过基于多通道的图像白平衡处理之后进行基于高斯滤波的锐化处理，然后通过多尺度融合进行眼底图像的对比度增强，进而将增强图像和原始图像同时作为深度模型的训练数据以达到数据增强，降低模型过拟合。CB-MsFU算法流程如图2所示。
S13、对锐化处理后的眼底图像进行对比度增强，所述对比度增强包括基于拉普拉斯金字塔的融合方法对锐化后的图像中的眼底血管、眼底出血区域的边缘和细节进行增强。
具体地，为了进一步减轻图像对比度的损失，提高DR的分类精度，所提出算法通过基于拉普拉斯金字塔的融合方法增强眼底血管、眼底出血区域的边缘和细节，所述细节包括精细的血管、纹理等信息。
金字塔表示将一个图像分解为一个带通图像的和。在本发明中，金字塔的每一层都使用低通高斯核G对输入图像进行滤波，并在x轴和y轴两个方向上将滤波后的图像抽取2倍，从输入中减去低通图像的上采样版本，从而近似(逆)拉普拉斯算子，并使用抽取的低通图像作为金字塔后续级别的输入。形式上，使用Gl表示l个低通滤波和抽取序列，然后使用l个上采样操作，定义金字塔的N级Ll如下：
其中，Ipro(x)代表被处理的图像，Ll表示拉普拉斯金字塔的第l层。
本实施例所提出的CB-MsFU图像增强算法可以在彩色眼底图像中获得了良好的视觉性能。实验结果如图3所示。
步骤二、构建新型的双路径多模块的网络模型即DP2M-Net模型，所述DP2M-Net模型包括卷积层、激活层、全连接层和最大池化层，其中，卷积层用于对增强后的眼底图像进行病变特征提取，激活层用于通过非线性激活函数和批量归一化函数对提取的病变特征进行优化，全连接层用于将提取的病变特征进行多尺度融合并将融合后的特征映射到一维空间，最大池化层用于降低病变特征之间的耦合。具体地，DP2M-Net模型由8个卷积层、10个激活层、2个全连接层以及5个最大池化层构成，所述DP2M-Net模型用于获取增强后的眼底图像的病变信息，
具体地，由于眼底血管和周围组织的病变会导致局部模糊和交错图像。为了有效地解决这一问题，构建了一个更相关的DP2M-Net模型，如图4所示，所述DP2该模型首先基于不同大小内核的多路复用结构优化局部信息，然后通过多尺度特征的融合连接中、高级特征图，获得病变的全局信息，正确地反映眼底病变位置，并允许以更少的医学图像进行准确的DR分类。
DP2M-Net模型的卷积层用于对增强后的眼底图像进行特征提取，卷积层包括一个大卷积核11×11和小卷积核1×1，具体地，卷积层主要进行图像的特征提取，本发明设置了一个大卷积核11×11和一个小卷积核1×1。该卷积过程是在不改变分辨率的情况下通过扩大图像深度来获得眼底的低水平特征。由大小为j*j的核s(i)j在补丁区域Ilocal上映射的特征F(i)j表示如下：
其中，b(i)是偏差项(1≤i≤N，N是图像中的补丁数)。对应的特征是：这里，d分别代表原始图像和CB-MsFU增强图像。
激活层用于通过非线性激活函数和批量归一化函数对提取的病变特征进行优化，激活层通过非线性激活函数Relu(x,y)＝max{0,(x,y)}和批量归一化对病变特征信息进行优化，以对抗由模型深度增加导致的网络退化，如下所示：
其中，γ是一个防止错误计算的常数。Fi表示第i幅图像的结果，表示第i幅图像的第j层经过非线性激活函数Relu优化后的结果。/>表示优化后的影像信号特征值。
全连接层用于将提取的不同层级的特征进行多尺度融合并将非线性特征映射到一维空间，DP2M-Net模型叠加了从连续卷积的多隐藏层中获得的非线性眼底特征。随着其路径学习能力的提高，可以充分收集局部病变征象。为了适当地补偿原始输入空间中眼底信息的缺失，DP2M-Net模型通过全连接层将中级特征与高级特征/>进行多尺度融合。可以在m层上获得更丰富的上下文相关性MRI符号Fm：
最大池化层用于降低不同层次间特征的耦合。最大池化层可以减少从上层映射到下层的特征和局部最大值的影响，降低层间的高相关性或耦合。在多尺度卷积下，不仅可以避免错误积累和多尺度特征融合造成的数据爆炸，还能够有效地减少了训练数据量和网络的复杂性以提高模型的泛化能力。病变特征图由不同的卷积层得到，如图5(a)(b)所示可以看出，随着卷积深度的增加，可以收集到更多精细的眼底信息，并可以更有效地描绘局部视觉体征。经过多尺度特征连接后，如图5(c)(d)为连续卷积得到的病变特征图。
为了有效地降低多维信息的影响，通过全连接层将所有的非线性特征都映射到一维空间。每个类别的估计值类(其中class＝{1,2}分别对应正常类别和DR病变类)。因此，在实际医疗图像较少的情况下，可以获得更及时、更准确的DR自动分类，降低了医疗费用，并协助临床医生进行初步分类诊断。
步骤三、将眼底图像数据集和增强后的眼底图像数据集划分为训练集和测试集，对DP2M-Net模型的参数进行初始化，如权重值、偏移值和超参数值(如学习率、批处理大小和数字)，参数设置如表1所示，
表1.本发明模型参数设置
基于训练集对DP2M-Net模型进行训练，将测试集的所有样本输入至训练后的DP2M-Net模型进行预测，此外，通过计算混淆矩阵，对预测结果和分类精度进行统计。
同时提供了一种糖尿病视网膜病变分类系统，系统结构如图6所示，包括模块一、基于CB-MsFU算法的眼底特征增强，模块二、基于新型的双路径多么快模型的构建，模块三、DP2M-Net模型的训练与测试，
具体的：所述模块一用于获取眼底图像数据集，基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强，获取增强后的眼底图像数据集，
所述模块二用于构建新型的双路径多模块的网络模型即DP2M-Net模型，所述DP2M-Net模型由8个卷积层、10个激活层、2个全连接层以及5个最大池化层构成，所述DP2M-Net模型用于获取增强后的眼底图像的病变信息，
所述模型三用于将眼底图像数据集和增强后的眼底图像数据集划分为训练集和测试集，对DP2M-Net模型的参数进行初始化，基于训练集对DP2M-Net模型进行训练，将测试集的所有样本输入至训练后的DP2M-Net模型进行预测并对预测结果和分类精度进行统计。
本发明分别对三个数据集进行了训练和测试，采用的是两个公共数据集数据集和大连第三人民医院提供的眼底图像。数据集DR1中的50幅正常图像和100幅病变图像，数据集DR2中360幅正常和病变图像和大连第三人民医院的100幅典型眼底图像(50幅正常和异常视网膜图像，分辨率为2992*2000)，实验结果如图7所示。
此外，为了增强图像细节和保证数据的均匀性，本发明提出了CB-MsFU算法进行预处理，在预处理和未预处理数据集上进行了训练和测试，实验结果如图8所示；为了验证学习率与模型训练的关系，本发明进行了不同学习率设置的对比实验，实验结果如图9所示；为了进一步衡量本发明在DR分类上的性能优势，本发明分别使用数据集DR1、数据集DR2以及医院真实数据集将实验结果与一些基线方法进行了比较，实验结果如表2，3，4所示。所提出的基于DP2M-Net算法对DR2数据集也取得了非常显著的影响，与基线方法和经典网络模型相比具有明显的优势。
表2.本发明算法与其他网络模型在数据集DR1上的性能优势对比结果
表3.本发明算法与其他网络模型在数据集DR2上的性能优势对比结果
表4.本发明算法与其他网络模型在数据集DR1上的性能优势对比结果
整体的有益效果：
本发明提供一种基于双路径多模块的糖尿病视网膜病变图像分类方法，利用不同大小卷积核的多路复用结构优化局部信息，实现了广泛的感知范围和非线性病变映射能力，解决了异常区域与周围组织之间的弱边界问题。构建了DP2M-Net深度学习网络模型，使泛化能力更强，并提高了分类的准确率。本发明具有较强的通用性和鲁棒性，可帮助医生为糖尿病患者提供辅助诊断和治疗。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于双路径多模块的糖尿病视网膜病变图像分类方法，其特征在于，包括，
步骤一、获取眼底图像数据集，基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强，获取增强后的眼底图像数据集，
步骤二、构建新型的双路径多模块的网络模型即DP2M-Net模型，所述DP2M-Net模型用于获取增强后的眼底图像的病变信息，
步骤三、将眼底图像数据集和增强后的眼底图像数据集划分为训练集和测试集，对DP2M-Net模型的参数进行初始化，基于训练集对DP2M-Net模型进行训练，将测试集的所有样本输入至训练后的DP2M-Net模型进行预测并对预测结果和分类精度进行统计。
2.根据权利要求1所述的一种基于双路径多模块的糖尿病视网膜病变图像分类方法，其特征在于，所述基于色彩平衡和多尺度融合算法对眼底图像数据集中的眼底图像的特征进行增强包括
S11、对眼底图像进行白平衡处理，
S12、对白平衡处理后的眼底图像进行基于高斯滤波的锐化处理，所述基于高斯滤波的锐化处理包括根据公式(1)进行锐化处理，
其中，I表示白平衡处理后的图像，N{}表示线性归一化算子，μ*I表示图像I的高斯滤波结果，
S13、对锐化处理后的眼底图像进行对比度增强，所述对比度增强包括基于拉普拉斯金字塔的融合方法对锐化后的图像中的眼底血管、眼底出血区域的边缘和细节进行增强。
3.根据权利要求1所述的一种基于双路径多模块的糖尿病视网膜病变图像分类方法，其特征在于，所述DP2M-Net模型包括卷积层、激活层、全连接层和最大池化层，其中，卷积层用于对增强后的眼底图像进行病变特征提取，激活层用于通过非线性激活函数和批量归一化函数对提取的病变特征进行优化，全连接层用于将提取的病变特征进行多尺度融合并将融合后的特征映射到一维空间，最大池化层用于降低病变特征之间的耦合。
4.根据权利要求2所述的一种基于双路径多模块的糖尿病视网膜病变图像分类方法，其特征在于，所述对眼底图像进行白平衡处理还包括将眼底图像进行缩放后进行白平衡处理。
5.根据权利要求2所述的一种基于双路径多模块的糖尿病视网膜病变图像分类方法，其特征在于，所述白平衡处理包括根据公式(2)对眼底图像中每个像素位置的红色通道进行降低，并根据公式(3)对每个像素位置的蓝色通道进行增加，
其中，IRed(x)、IGreen(x)表示眼底图像I的红色、绿色通道，每个通道根据通道取值的动态范围的上限进行归一化后位于区间[0,1]内；和/>表示IRed(x)、IGreen(x)和IBlue(x)的平均值，κ表示一个常数参数且设置κ＝1，IBlue(x)表示图像I的蓝色通道，IRc(x)表示降低后的红色通道，IBc(x)为增加后的蓝色通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311547390.XA CN117333722A (zh) | 2023-11-20 | 2023-11-20 | 一种基于双路径多模块的糖尿病视网膜病变图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311547390.XA CN117333722A (zh) | 2023-11-20 | 2023-11-20 | 一种基于双路径多模块的糖尿病视网膜病变图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333722A true CN117333722A (zh) | 2024-01-02 |
Family
ID=89283208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311547390.XA Pending CN117333722A (zh) | 2023-11-20 | 2023-11-20 | 一种基于双路径多模块的糖尿病视网膜病变图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333722A (zh) |
-
2023
- 2023-11-20 CN CN202311547390.XA patent/CN117333722A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| CN108172291B (zh) | 基于眼底图像的糖尿病视网膜病变识别系统 | |
| CN111292338B (zh) | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 | |
| Mayya et al. | Automated microaneurysms detection for early diagnosis of diabetic retinopathy: A Comprehensive review | |
| Sekhar et al. | Automated localisation of retinal optic disk using Hough transform | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| WO2018201632A1 (zh) | 用于识别眼底图像病变的人工神经网络及系统 | |
| CN112017185B (zh) | 病灶分割方法、装置及存储介质 | |
| CN110786824B (zh) | 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统 | |
| CN109919179A (zh) | 微动脉瘤自动检测方法、装置及计算机可读存储介质 | |
| CN108416371A (zh) | 一种糖尿病性视网膜病变自动检测方法 | |
| Uribe-Valencia et al. | Automated Optic Disc region location from fundus images: Using local multi-level thresholding, best channel selection, and an Intensity Profile Model | |
| Acharya et al. | Swarm intelligence based adaptive gamma corrected (SIAGC) retinal image enhancement technique for early detection of diabetic retinopathy | |
| CN109410191B (zh) | 基于oct图像的眼底血管定位方法及其贫血筛查方法 | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
| CN116452571A (zh) | 一种基于深度神经网络的图像识别方法 | |
| CN117333722A (zh) | 一种基于双路径多模块的糖尿病视网膜病变图像分类方法 | |
| CN113576399A (zh) | 一种糖网分析方法、系统以及电子设备 | |
| Makala et al. | Survey on automatic detection of diabetic retinopathy screening | |
| WO2022160118A1 (zh) | 基于计算机视觉特征的oct图像分类方法及系统、设备 | |
| Hakeem et al. | Inception V3 and CNN Approach to Classify Diabetic Retinopathy Disease | |
| CN112767375B (zh) | 基于计算机视觉特征的oct图像分类方法及系统、设备 | |
| Dong et al. | Vessels Segmentation Base on Mixed Filter for Retinal Image | |
| Feroui et al. | COMPUTER HYBRID SYSTEM OF HEMORRHAGE (HES) DETECTION USED FOR AIDED DIAGNOSIS OF DIABETIC RETINOPATHY | |
| Vikram et al. | Blood Vessels Extraction using Green Channel Extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |