CN117333931A - 基于深度学习的糖尿病视网膜病变眼底图像分类方法 - Google Patents

基于深度学习的糖尿病视网膜病变眼底图像分类方法 Download PDF

Info

Publication number
CN117333931A
CN117333931A CN202311288314.1A CN202311288314A CN117333931A CN 117333931 A CN117333931 A CN 117333931A CN 202311288314 A CN202311288314 A CN 202311288314A CN 117333931 A CN117333931 A CN 117333931A
Authority
CN
China
Prior art keywords
image
fundus image
attention
retina
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311288314.1A
Other languages
English (en)
Inventor
李昱芃
梁旭
王静娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhu Xianyi Memorial Hospital Of Tianjin Medical University
Original Assignee
Zhu Xianyi Memorial Hospital Of Tianjin Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhu Xianyi Memorial Hospital Of Tianjin Medical University filed Critical Zhu Xianyi Memorial Hospital Of Tianjin Medical University
Priority to CN202311288314.1A priority Critical patent/CN117333931A/zh
Publication of CN117333931A publication Critical patent/CN117333931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及医学图像处理技术领域，公开了基于深度学习的糖尿病视网膜病变眼底图像分类方法，其中方法包括：S1：对视网膜图像进行预处理，得到预处理后的糖尿病视网膜眼底图像；S2：对预处理后的所述糖尿病视网膜眼底图像进行分割，得到视网膜眼底图像的病变区域；S3：采用混合注意力模块和注意力驱动聚合模块协同处理所述视网膜眼底图像的病变区域，从而实现视网膜眼底图像的分类；本发明在图像预处理过程中，为了提高原始图像的质量，使用了图像大小调整、颜色通道提取、改进的对比度受限自适应直方图均衡和高斯滤波器降噪；在图像分割过程中，基于特征融合的网络用于从视网膜眼底图像中分割病变位置。

Description

基于深度学习的糖尿病视网膜病变眼底图像分类方法
技术领域
本发明涉及医学图像处理技术领域，具体涉及基于深度学习的糖尿病视网膜病变眼底图像分类方法。
背景技术
糖尿病是一种全球性流行病，糖尿病视网膜病变（DR）是由糖尿病引起的一种眼病，是糖尿病慢性并发症之一，由长期高血糖导致的视网膜微血管受损所引起，是一种影响视力甚至致盲的慢性进行性疾病, 目前已成为致盲率最高的眼病之一。
糖尿病视网膜病变会导致新生血管数量增加，而这些新生血管较弱，容易发生破裂出血，从而影响视力。因此，糖尿病患者应该定期筛查糖尿病视网膜病变。根据世界卫生组织对糖尿病视网膜病变的诊断和分类标准，非增殖性糖尿病视网膜病变（NPDR）和增殖性糖尿病性视网膜病变（PDR）是糖尿病视网膜病变的两种主要类型。
早期诊断视网膜病变被认为是阻止视力下降以预防失明的有效方法，而眼底摄影是一种常见的眼部检查，用于检测早期疾病，在临床上，眼底相机是一种广泛使用的DR分级设备，因为它可以帮助眼科医生直接观察视网膜上的病变，然而，对于眼科医生来说，大规模DR分类是一项繁重且容易出错的工作，因此设计自动准确的DR分类方法对于减轻负担和提高眼科医生的诊断准确性至关重要，通过病变分析和检测研究人员提出了两类分类方法，其中一类为用于DR分类的两阶段CNN模型，为工程师和眼科医生的常用方法。
用于DR分类的两阶段CNN模型，在第一阶段，他们应用了基于离线病变的加权方案，使网络更加关注病变斑块；在第二阶段，他们融合了所有补丁的提取特征，以生成DR分类分数，但是该方法仍存在以下局限性：
（1）经典网络是专门为自然图像分类设计的，专门用于挖掘高级信息，直接应用这些网络很难获得令人满意的性能，因为它们在病变感知特征提取的能力有限；
（2）两阶段方法通常分别训练病变感知模块和分类模块，忽略了病变特征和分类特征之间的协同作用。
因此，亟需一种有效的DR分类方法，并能够同时利用低水平和高水平特征，而不需要任何病变注释。
发明内容
本发明的目的在于提供基于深度学习的糖尿病视网膜病变眼底图像分类方法，以解决现有技术中的问题。
为解决上述技术问题，本发明具体提供下述技术方案：
基于深度学习的糖尿病视网膜病变眼底图像分类方法，包括如下步骤：
S1：对视网膜图像进行预处理，得到预处理后的糖尿病视网膜眼底图像；
S2：对预处理后的所述糖尿病视网膜眼底图像进行分割，得到视网膜眼底图像的病变区域；
S3：采用混合注意力模块和注意力驱动聚合模块协同处理所述视网膜眼底图像的病变区域，从而实现视网膜眼底图像的分类；
所述S3具体包括：
S31：所述混合注意力模块用于自动识别粗略的视网膜眼底图像的病变区域，并为病变感知特征的提取和传输提供指导信息；
S32：所述注意力驱动聚合模块基于所述指导信息从浅层到高层进一步提取和细化病变感知特征。
作为本发明的一种优选方案，在所述S1中，所述对图像进行的预处理包括如下步骤：
S11：选定数据集：选取包含健康人和病人的视网膜眼底图的数据集，所述数据集中具有三种像素类型的眼科彩色眼底数字图像；
S12：调整数据集图像尺寸大小：将所有输入的图像缩放为统一像素类型图像；
S13：通道提取：使用灰度缩放和通道转换将所述统一像素类型图像转换为各种色调的单色分量图像；
S14：图像去噪：使用高斯模糊滤波器去除所述单色分量图像的背景噪声；
S15：对比度增强：使用直方图均衡技术提高去除背景噪声的所述单色分量图像的整体对比度。
作为本发明的一种优选方案，在所述S11中，所述数据集中眼科彩色眼底数字图像的三种像素类型包括1440×960像素、2240×1488像素和2304×1536像素；
在所述S12中，将所述三种像素类型统一调整为512×512像素。
作为本发明的一种优选方案，在所述S14中，使用高斯模糊滤波器去除背景噪声具体为：基于高斯模糊中相邻像素值的加权平均值，将每个像素的值重置为新值，采用的公式为：
其中，为一维高斯函数，/>是标准偏差，x为像素值。
作为本发明的一种优选方案，在所述S2中，所述糖尿病视网膜眼底图像进行分割的具体步骤如下：
S21：设置编码器网络和解码器网络，所述编码器网络为预训练的网络，具有在所述编码器网络各个阶段添加的下采样池化层；所述解码器网络中使用上采样和联级；
S22：将编码器网络的判别特征投影到所述糖尿病视网膜眼底图像的像素空间上；
S23：使用解码器网络对投影后的所述糖尿病视网膜眼底图像进行解码，得到从所述视网膜眼底图像上分割出的病变区域。
作为本发明的一种优选方案，在所述S31中，所述混合注意力模块的输入和输出分别为侧输出Fi和粗略注意力图Ai，所述侧输出Fi为视网膜眼底图像上的第i个病变区域，所述粗略注意力图Ai为对应所述Fi的粗略注意力图，所述S31具体包括如下步骤：
S311、将侧输出Fi拆分为K个沿通道储存均匀分布的分布组；
S312、将每个分布组平均分为多组/>，并将得到的多组反馈到双通道单元中生成重要性系数，其中，k1和k2分别表示在所述每个分布组中k所属范围内的任意两个数字；
S313、在每个通道中重复执行上述步骤S311-S312，得到每个通道中生成的重要性系数，用以增强提取的所述视网膜眼底图像的病变区域特征。
作为本发明的一种优选方案，在所述S32中，所述指导信息为所述侧输出Fi和所述粗略注意力图Ai，所述注意力驱动聚合模块从浅层到高层进一步提取和细化病变感知特征的具体步骤如下：
S321、使用注意力驱动聚合模块以平行的方式提取所述侧输出Fi并集成后得到；
S322、根据所述得到生成特征图/>，所述特征图/>由两个核大小为1×1的顺序卷积单元、一个标准的3×3卷积单元和一个加法处理单元组成；
S323、根据所述特征图生成细化注意力图/>，从而得到细化后的病变感知特征。
本发明与现有技术相比较具有如下有益效果：
（1）本发明在图像分类模型部分，采用融合混合注意力模块和注意力驱动聚合模块的新策略，以促进病变感知信息沿着级联网络架构的传输和交互。
（2）本发明在图像预处理过程中，为了提高原始图像的质量，使用了图像大小调整、颜色通道提取、改进的对比度受限自适应直方图均衡和高斯滤波器降噪；在图像分割过程中，基于特征融合的网络用于从视网膜眼底图像中分割病变位置。
（3）本发明在图像分割网络过程中，融合混合注意力模块和注意力驱动聚合模块，混合注意力模块由多分支空间注意力和损失注意力组成，与现有的只考虑图像级别预测的注意力模块不同，它考虑了图像级别和补丁级别预测在注意力生成中的优势；注意力驱动聚合模块以促进病变感知信息沿着级联网络架构的传输和交互，它提取当前层的多尺度上下文特征，并合并相邻下层的先验信息，以生成下一层的病变感知信息。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明分类方法的流程示意图。
图2为本发明分类方法的算法框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定；同时，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
如图1至图2所示，本发明提供了基于深度学习的糖尿病视网膜病变眼底图像分类方法，包括如下步骤：
S1：对视网膜图像进行预处理，得到预处理后的糖尿病视网膜眼底图像。
预处理是使用图像处理检测技术的重要部分，预处理阶段通过去除视网膜图像中的噪声和波动来提高图像质量和对比度。在通过任何模型运行图像之前，预处理都是至关重要的，经过图像的预处理，可以使许多图像达到接近强度、颜色、比例和其他参数的程度，因为它们是用不同功率的单独相机在不同的照明条件下获取的。
具体地，在所述S1中，所述对图像进行的预处理包括如下步骤：
S11：选定数据集：选取包含健康人和病人的视网膜眼底图的数据集，所述数据集中具有三种像素类型的眼科彩色眼底数字图像；
更进一步地，所述数据集选定Messidor数据集，Messidor数据集是由法国国防研究部在2004年资助研究的TECHNO-VISION项目中建立的，也是目前公开的最大的眼底图数据库，共 1200 幅眼底图，来自于 3 个不同的眼科机构，它给出了对应糖尿病视网膜病变分期和黄斑性水肿症状，同时给出了专家手动标定的视盘，也是常用的眼底图像库。
在所述S11中，所述数据集中眼科彩色眼底数字图像的三种像素类型包括1440×960像素、2240×1488像素和2304×1536像素。
示例性地，Messidor数据集中的图像为得出结论的图像，临床医生（训练有素的病理学家）使用以下测量方法对每张图像中是否存在糖尿病视网膜病变进行评分，评分范围为0至4：如果值为0，则无DR，其他的1，2，3，4分别对应糖尿病视网膜病变的四个阶段：轻度NPDR、中度NPDR、重度NPDR和增殖性DR。
S12：调整数据集图像尺寸大小：将所有输入的图像缩放为统一像素类型图像；
在所述S12中，将所述三种像素类型统一调整为512×512像素。
具体地，因为更大的图像需要每层更多的计算操作和更多的内存，因此首先必须对输入图像进行缩放，以使训练模型在学习特征时更快地操作，并实现更高的性能。
S13：通道提取：使用灰度缩放和通道转换将所述统一像素类型图像转换为各种色调的单色分量图像；
具体地，由于灰度视觉只能用黑色和白色来表达，而绿色通道的照片提供了比灰度视觉比例更清晰的视图，并且该通道还显示了ROI或眼底渗出物，比灰度或任何其他颜色表现都好。因此，图像的绿带被提取出来。
S14：图像去噪：使用高斯模糊滤波器去除所述单色分量图像的背景噪声；
具体地，提供的数据集和采集的图像都是未处理且有噪声的，几乎不可能捕获完全没有背景噪声的图像，并且图像中的随机噪声会大大降低图像的视觉质量，从而导致低对比度。
在所述S14中，使用高斯模糊滤波器去除背景噪声具体为：基于高斯模糊中相邻像素值的加权平均值，将每个像素的值重置为新值，采用的公式为：
其中，为一维高斯函数，/>是标准偏差，x为像素值；
基于高斯模糊中相邻像素值的加权平均值，将每个像素的值重置为新值。
S15：对比度增强：使用直方图均衡技术提高去除背景噪声的所述单色分量图像的整体对比度。
具体地，直方图均衡是一种提高整体对比度的技术，因为它突出了图像的重要细节，并消除了某些三级信息，以提高图像的分类质量。
更进一步地，本发明采用具有对比度限制的自适应直方图均衡，在将增强函数应用于所有相邻像素之后计算变换函数。对比度增强用于提高视力清晰度并区分背景中的多个特征，改进的对比度受限自适应直方图均衡执行与自适应直方图均衡相同的功能，但有一个额外的参数：直方图的最佳剪裁水平。在实际的糖尿病视网膜病变检测模型中，剪辑限制被设置为2，网格大小被设置为8×8，局部对比度增强方法中的最佳剪切水平和增强参数用于实现眼底图像的最佳对比度增强。
S2：对预处理后的所述糖尿病视网膜眼底图像进行分割，得到视网膜眼底图像的病变区域。
具体地，本发明对U-net基于特征融合进行重新设计，在所述S2中，所述糖尿病视网膜眼底图像进行分割的具体步骤如下：
S21：设置编码器网络和解码器网络，所述编码器网络为预训练的网络，具有在所述编码器网络各个阶段添加的下采样池化层；所述解码器网络中使用上采样和联级；
S22：将编码器网络的判别特征投影到所述糖尿病视网膜眼底图像的像素空间上；
S23：使用解码器网络对投影后的所述糖尿病视网膜眼底图像进行解码，得到从所述视网膜眼底图像上分割出的病变区域。
S3：采用混合注意力模块和注意力驱动聚合模块协同处理所述视网膜眼底图像的病变区域，从而实现视网膜眼底图像的分类；
所述S3具体包括：
S31：所述混合注意力模块用于自动识别粗略的视网膜眼底图像的病变区域，并为病变感知特征的提取和传输提供指导信息。
在所述S31中，所述混合注意力模块的输入和输出分别为侧输出Fi和粗略注意力图Ai，所述侧输出Fi为视网膜眼底图像上的第i个病变区域，所述粗略注意力图Ai为对应所述Fi的粗略注意力图，所述S31具体包括如下步骤：
S311、将侧输出Fi拆分为K个沿通道储存均匀分布的分布组；
S312、将每个分布组平均分为多组/>，并将得到的多组反馈到双通道单元中生成重要性系数，其中，k1和k2分别表示在所述每个分布组中k所属范围内的任意两个数字；
S313、在每个通道中重复执行上述步骤S311-S312，得到每个通道中生成的重要性系数，用以增强提取的所述视网膜眼底图像的病变区域特征。
示例性地，以左侧通道为例，首先处理通过沿着通道1维度的空间平均操作来全局逼近语义向量：
其中，H和W分别表示视网膜眼底图像病变区域的高度和宽度，和分别为/>侧面输出的高度和宽度，
是/>在坐标(i，j)出的坐标。
S32：所述注意力驱动聚合模块基于所述指导信息从浅层到高层进一步提取和细化病变感知特征。
在所述S32中，所述指导信息为所述侧输出Fi和所述粗略注意力图Ai，所述注意力驱动聚合模块从浅层到高层进一步提取和细化病变感知特征的具体步骤如下：
S321、使用注意力驱动聚合模块以平行的方式提取所述侧输出Fi并集成后得到；
S322、根据所述得到生成特征图/>，所述特征图/>由两个核大小为1×1顺序卷积单元、一个标准的3×3卷积单元和一个加法处理单元组成；
S323、根据所述特征图生成细化注意力图/>，从而得到细化后的病变感知特征。
本发明在图像分类模型部分，采用融合混合注意力模块和注意力驱动聚合模块的新策略，以促进病变感知信息沿着级联网络架构的传输和交互。
本发明在图像预处理过程中，为了提高原始图像的质量，使用了图像大小调整、颜色通道提取、改进的对比度受限自适应直方图均衡和高斯滤波器降噪；在图像分割过程中，基于特征融合的网络用于从视网膜眼底图像中分割病变位置。
本发明在图像分割网络过程中，融合混合注意力模块和注意力驱动聚合模块，混合注意力模块由多分支空间注意力和损失注意力组成，与现有的只考虑图像级别预测的注意力模块不同，它考虑了图像级别和补丁级别预测在注意力生成中的优势；注意力驱动聚合模块以促进病变感知信息沿着级联网络架构的传输和交互，它提取当前层的多尺度上下文特征，并合并相邻下层的先验信息，以生成下一层的病变感知信息。
实施例二
本实施例包括一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行实施例一的基于深度学习的糖尿病视网膜病变眼底图像分类方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或是还包括为这种过程、方法或设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。以上所述仅是本申请的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本申请的保护范围。

Claims (7)

1.基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，包括如下步骤：
S1：对视网膜图像进行预处理，得到预处理后的糖尿病视网膜眼底图像；
S2：对预处理后的所述糖尿病视网膜眼底图像进行分割，得到视网膜眼底图像的病变区域；
S3：采用混合注意力模块和注意力驱动聚合模块协同处理所述视网膜眼底图像的病变区域，从而实现视网膜眼底图像的分类；
所述S3具体包括：
S31：所述混合注意力模块用于自动识别粗略的视网膜眼底图像的病变区域，并为病变感知特征的提取和传输提供指导信息；
S32：所述注意力驱动聚合模块基于所述指导信息从浅层到高层进一步提取和细化病变感知特征。
2.根据权利要求1所述的基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，在所述S1中，所述对图像进行的预处理包括如下步骤：
S11：选定数据集：选取包含健康人和病人的视网膜眼底图的数据集，所述数据集中具有三种像素类型的眼科彩色眼底数字图像；
S12：调整数据集图像尺寸大小：将所有输入的图像缩放为统一像素类型图像；
S13：通道提取：使用灰度缩放和通道转换将所述统一像素类型图像转换为各种色调的单色分量图像；
S14：图像去噪：使用高斯模糊滤波器去除所述单色分量图像的背景噪声；
S15：对比度增强：使用直方图均衡技术提高去除背景噪声的所述单色分量图像的整体对比度。
3.根据权利要求2所述的基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，在所述S11中，所述数据集中眼科彩色眼底数字图像的三种像素类型包括1440×960像素、2240×1488像素和2304×1536像素；
在所述S12中，将所述三种像素类型统一调整为512×512像素。
4.根据权利要求2所述的基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，在所述S14中，使用高斯模糊滤波器去除背景噪声具体为：基于高斯模糊中相邻像素值的加权平均值，将每个像素的值重置为新值，采用的公式为：
其中，为一维高斯函数，/>是标准偏差，x为像素值。
5.根据权利要求1所述的基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，在所述S2中，所述糖尿病视网膜眼底图像进行分割的具体步骤如下：
S21：设置编码器网络和解码器网络，所述编码器网络为预训练的网络，具有在所述编码器网络各个阶段添加的下采样池化层；所述解码器网络中使用上采样和联级；
S22：将编码器网络的判别特征投影到所述糖尿病视网膜眼底图像的像素空间上；
S23：使用解码器网络对投影后的所述糖尿病视网膜眼底图像进行解码，得到从所述视网膜眼底图像上分割出的病变区域。
6.根据权利要求1所述的基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，在所述S31中，所述混合注意力模块的输入和输出分别为侧输出Fi和粗略注意力图Ai，所述侧输出Fi为视网膜眼底图像上的第i个病变区域，所述粗略注意力图Ai为对应所述Fi的粗略注意力图，所述S31具体包括如下步骤：
S311、将侧输出Fi拆分为K个沿通道储存均匀分布的分布组；
S312、将每个分布组平均分为多组/>，并将得到的多组反馈到双通道单元中生成重要性系数，其中，k1和k2分别表示在所述每个分布组中k所属范围内的任意两个数字；
S313、在每个通道中重复执行上述步骤S311-S312，得到每个通道中生成的重要性系数，用以增强提取的所述视网膜眼底图像的病变区域特征。
7.根据权利要求6所述的基于深度学习的糖尿病视网膜病变眼底图像分类方法，其特征在于，在所述S32中，所述指导信息为所述侧输出Fi和所述粗略注意力图Ai，所述注意力驱动聚合模块从浅层到高层进一步提取和细化病变感知特征的具体步骤如下：
S321、使用注意力驱动聚合模块以平行的方式提取所述侧输出Fi并集成后得到；
S322、根据所述得到生成特征图/>，所述特征图/>由两个核大小为1×1顺序卷积单元、一个标准的3×3卷积单元和一个加法处理单元组成；
S323、根据所述特征图生成细化注意力图/>，从而得到细化后的病变感知特征。
CN202311288314.1A 2023-10-08 2023-10-08 基于深度学习的糖尿病视网膜病变眼底图像分类方法 Pending CN117333931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311288314.1A CN117333931A (zh) 2023-10-08 2023-10-08 基于深度学习的糖尿病视网膜病变眼底图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311288314.1A CN117333931A (zh) 2023-10-08 2023-10-08 基于深度学习的糖尿病视网膜病变眼底图像分类方法

Publications (1)

Publication Number Publication Date
CN117333931A true CN117333931A (zh) 2024-01-02

Family

ID=89292673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311288314.1A Pending CN117333931A (zh) 2023-10-08 2023-10-08 基于深度学习的糖尿病视网膜病变眼底图像分类方法

Country Status (1)

Country Link
CN (1) CN117333931A (zh)

Similar Documents

Publication Publication Date Title
US20220076420A1 (en) Retinopathy recognition system
Xiao et al. Weighted res-unet for high-quality retina vessel segmentation
CN110197493B (zh) 眼底图像血管分割方法
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109615632B (zh) 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法
Mayya et al. Automated microaneurysms detection for early diagnosis of diabetic retinopathy: A Comprehensive review
CN110276356A (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN112017185B (zh) 病灶分割方法、装置及存储介质
CN110786824B (zh) 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统
CN113870270B (zh) 一种统一框架下的眼底影像视杯、视盘分割方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
Lei et al. Automated detection of retinopathy of prematurity by deep attention network
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
Yang et al. Retinal image enhancement with artifact reduction and structure retention
Qin et al. A review of retinal vessel segmentation for fundus image analysis
Lin et al. Stimulus-guided adaptive transformer network for retinal blood vessel segmentation in fundus images
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Mehidi et al. A high accuracy segmentation method for retinal blood vessel detection based on hybrid filters and an adaptive thresholding
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
Shelar et al. Detection of diabetic retinopathy and its classification from the fundus images
Yu et al. MIA-UNet: Multi-Scale Iterative Aggregation U-Network for Retinal Vessel Segmentation.
CN117333931A (zh) 基于深度学习的糖尿病视网膜病变眼底图像分类方法
Kumari et al. Deep learning based detection of diabetic retinopathy using retinal fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination