CN116309631A - 基于深度学习的糖网病眼底图像自动分割方法 - Google Patents

基于深度学习的糖网病眼底图像自动分割方法 Download PDF

Info

Publication number
CN116309631A
CN116309631A CN202310082658.0A CN202310082658A CN116309631A CN 116309631 A CN116309631 A CN 116309631A CN 202310082658 A CN202310082658 A CN 202310082658A CN 116309631 A CN116309631 A CN 116309631A
Authority
CN
China
Prior art keywords
node
layer
image
feature
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310082658.0A
Other languages
English (en)
Inventor
王德广
李凤岐
徐凤强
李家俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Jiaotong University
Original Assignee
Dalian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Jiaotong University filed Critical Dalian Jiaotong University
Priority to CN202310082658.0A priority Critical patent/CN116309631A/zh
Publication of CN116309631A publication Critical patent/CN116309631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的糖网病眼底图像自动分割方法，包括如下步骤：S1将糖尿病视网膜病变眼底图像大小调整成512*512，S2开始图像预处理，S3将预处理完成的图像传入网络模型进行节点特征初始化，S4特征传递与融合，S5每个节点传递特征给上层节点，通过反卷积/插值/反池化的方法将图像中的血管结构分割出来，第一层最后一个节点完成特征融合时，分辨率恢复至原来输入图像的相同大小，S6血管结构分割结束后，通过单层卷积输出血管结构分割灰度图；为医疗辅助系统提供自动分割眼底血管结构，解决了阅片慢、血管末端模糊不清及易丢失新生细小血管导致分割不完整的问题。本发明具有实现眼底血管自动提取、计算耗费资源较少、分割精准度高的优点。

Description

基于深度学习的糖网病眼底图像自动分割方法
技术领域
本发明涉及一种糖尿病视网膜病变眼底图像血管分割方法，尤其涉及一种基于深度学习的糖网病眼底图像自动分割方法。属于医学图像处理技术领域。
背景技术
糖尿病视网膜病变又称为糖网病，是糖尿病最常见的微血管并发症。在我国糖尿病人群中，糖尿病确诊5年后DR的患病率为25％，15年后会高达75％-80％。随着时间的增长，病情发展会恶化，在视网膜表面会长出新的脆弱的血管，新生的脆弱血管一旦破裂，就会造成眼球内出血、视力模糊等情况，严重时会引起新生血管性青光眼，导致永久性视力丧失。
医学图像分割的目的是将医学图像中具有特殊含义的部分单独分割出来。在医学领域中，医生主要靠医学影片图像和主观判断来诊断疾病，医学图像分割是医学三维重建和定量分析中的关键步骤，更是病灶区量化、选择治疗手段和放射治疗的重要技术前提，分割结果的准确性直接影响后续治疗效果。目前，医学图像分割主要有以下难点：医学组织影像结构复杂，有多种成像模态，PET、MRI、CT安全模型、算法与编程《网络安全技术与应用》2022年第2期‖50‖和超声等，根据不同的成像方法和成像部位要选择不同的分割方法。另外一点是，医学图像同自然图像不同，具有较高的复杂性，由于图像的像素单一，所以在病变部位的界线、形状等信息也比较模糊，医学图像的准确分割仍是一项难题。
在视网膜眼底图像中，血管结构是早期观察眼科疾病的重要依据，然而对病变眼球中的血管结构进行标注提取是一项费时费力、效率低且人力资源不足的工作。近些年随着人工智能的兴起，尤其是神经网络的迅速发展给医学图像处理领域提供了新的思路。
视网膜血管分割和糖尿病视网膜病变筛查工作主要是通过分析眼底图像来完成。糖尿病视网膜病变的早期病变特征不容易通过观察被发现，病变中晚期会对患者的视力造成严重损伤。视网膜血管的分割工作要求极高且费时费力，所以仅依靠人工是很困难的。因此，糖尿病视网膜病变血管分割算法自动提取血管结构可以很大程度上减缓医疗系统的负担，提高医疗人员的工作效率，能够更广泛的服务于各地糖尿病患者，具有很大的实际意义。
发明内容
一种基于深度学习的糖网病眼底图像自动分割方法，为医疗辅助系统提供自动分割眼底血管结构服务，依靠提取通道和滤波提升图像的特征提取效果，通过神经网络模型进行血管结构提取，可以有效地简化医生对糖网病病情的诊断和医治，提升工作效率。
本发明的技术解决方案是这样实现的：
一种基于深度学习的糖网病眼底图像自动分割方法，包括如下步骤：
S1、将糖尿病视网膜病变眼底图像大小调整成512*512；
S2、开始图像预处理：(1)提取出绿色通道部分；(2)除低频分量，除低频分量是指让原图像经过25*25均值滤波，用绿色通道图像减去均值滤波图像；(3)进行线性滤波；(4)形态学腐蚀消除噪声；
S3、将预处理完成的图像传入网络模型进行节点特征初始化：网络模型是基于Unet++网络模型改进而来，是由残差块为单元构成的上下五层的扇型结构，每一个残差块视为一个节点，每层左侧第一个残差块为编码器节点(共5个)，其余为解码器节点，网络模型第一层左侧第一个节点为整个模型的入口，第一层右侧最后一个节点为模型出口；首先预处理完成的图像输入进网络模型第一层编码器节点进行特征提取，经过提取后的特征会被发往同层的所有解码器节点及下一层的编码器节点；然后第二层编码器节点在收到上层编码器节点传递来的特征后，继续进行特征提取，并将提取的特征向同层中的所有解码器节点及下一层的编码器节点传递；以此类推完成网络模型全部节点特征初始化；
S4、特征传递与融合：全部节点完成特征初始化后，每个节点实时进行特征融合和特征传递，除第一层外所有节点，进行特征融合的上采样过程，从第二层第一个结点至第五层最后一个节点的所有节点，每个位于第i层的第j个节点，会将本节点提取的特征向上一层即i-1层的第j+1个节点传递，i-1层的第j+1个节点在接收到特征后，与原来的特征进行拼接操作，并将拼接后的特征传递给同层所有的在该节点右侧之后的节点，经过不断地实时传递与融合，直至传递至第一层右侧最后一个节点，特征趋于稳定；
S5、每个节点传递特征给上层节点，本层特征通过反卷积/插值/反池化的方法将图像中的血管结构分割出来，第一层最后一个节点完成特征融合时，分辨率恢复至原来输入图像的相同大小，血管结构分割完毕；
S6、血管结构分割结束后，通过单层卷积输出血管结构分割灰度图。
其特征还在于所述的S2中的残差块，是指残差模块、通道注意力和空间注意力以串联的形式组合在一起的结构；残差模块提取特征；空间注意力调整图像有效部分在图像整体的位置，让有效部分占据图像的中间，放大并充满整个图像；通道注意力关注特征图中有意义的特征；对于模型整体结构而言，编码器节点先进行特征提取和先调整图像没有区别，可以任意调整残差模块、通道注意力和空间注意力三部分的顺序。
其特征还在于所述的S2中的编码器节点和解码器节点(除每一层最后一个节点外)接收特征的残差块，卷积方式使用空洞卷积，在不增加计算资源消耗的前提下，增大感受野范围。
与现有技术相比较，本发明的优点是显而易见的，主要表现在：
1、提出了一个自动进行眼底血管分割的方法，实现医疗辅助系统对眼底血管进行自动提取。
2、模型结构和卷积方式改变减轻了训练和计算时的资源耗费，在速度上提升较大。
3、上采样结构的不同卷积方式对血管末端分割效果提升大，在末端新生血管的恢复上效果很好。
附图说明
本发明共有附图2幅。
图1是本发明基于深度学习的糖网病眼底图像自动分割方法的流程图；
图2是网络模型结构示意图。
具体实施方式
如图1、2所示的一种基于深度学习的糖网病眼底图像自动分割方法，包括如下步骤：
S1、将糖尿病视网膜病变眼底图像大小调整成512*512；
S2、开始图像预处理：(1)提取出绿色通道部分；(2)除低频分量，除低频分量是指让原图像经过25*25均值滤波，用绿色通道图像减去均值滤波图像；(3)进行线性滤波；(4)形态学腐蚀消除噪声；
S3、将预处理完成的图像传入网络模型进行节点特征初始化：网络模型是基于Unet++网络模型改进而来，是由残差块为单元构成的上下五层的扇型结构，每一个残差块视为一个节点，每层左侧第一个残差块为编码器节点(共5个)，其余为解码器节点，网络模型第一层左侧第一个节点为整个模型的入口，第一层右侧最后一个节点为模型出口；首先预处理完成的图像输入进网络模型第一层编码器节点进行特征提取，经过提取后的特征会被发往同层的所有解码器节点及下一层的编码器节点；然后第二层编码器节点在收到上层编码器节点传递来的特征后，继续进行特征提取，并将提取的特征向同层中的所有解码器节点及下一层的编码器节点传递；以此类推完成网络模型全部节点特征初始化；
S4、特征传递与融合：全部节点完成特征初始化后，每个节点实时进行特征融合和特征传递，除第一层外所有节点，进行特征融合的上采样过程，从第二层第一个结点至第五层最后一个节点的所有节点，每个位于第i层的第j个节点，会将本节点提取的特征向上一层即i-1层的第j+1个节点传递，i-1层的第j+1个节点在接收到特征后，与原来的特征进行拼接操作，并将拼接后的特征传递给同层所有的在该节点右侧之后的节点，经过不断地实时传递与融合，直至传递至第一层右侧最后一个节点，特征趋于稳定；
S5、每个节点传递特征给上层节点，本层特征通过反卷积/插值/反池化的方法将图像中的血管结构分割出来，第一层最后一个节点完成特征融合时，分辨率恢复至原来输入图像的相同大小，血管结构分割完毕；
S6、血管结构分割结束后，通过单层卷积输出血管结构分割灰度图。
所述的S2中的残差块，是指残差模块、通道注意力和空间注意力以串联的形式组合在一起的结构；残差模块提取特征；空间注意力调整图像有效部分在图像整体的位置，让有效部分占据图像的中间，放大并充满整个图像；通道注意力关注特征图中有意义的特征；对于模型整体结构而言，编码器节点先进行特征提取和先调整图像没有区别，可以任意调整残差模块、通道注意力和空间注意力三部分的顺序。
所述的S2中的编码器节点和解码器节点(除每一层最后一个节点外)接收特征的残差块，卷积方式使用空洞卷积，在不增加计算资源消耗的前提下，增大感受野范围。

Claims (3)

1.一种基于深度学习的糖网病眼底图像自动分割方法，其特征在于，包括如下步骤：
S1、将糖尿病视网膜病变眼底图像大小调整成512*512；
S2、开始图像预处理：(1)提取出绿色通道部分；(2)除低频分量，除低频分量是指让原图像经过25*25均值滤波，用绿色通道图像减去均值滤波图像；(3)进行线性滤波；(4)形态学腐蚀消除噪声；
S3、将预处理完成的图像传入网络模型进行节点特征初始化：网络模型是基于Unet++网络模型改进而来，是由残差块为单元构成的上下五层的扇型结构，每一个残差块视为一个节点，每层左侧第一个残差块为编码器节点(共5个)，其余为解码器节点，网络模型第一层左侧第一个节点为整个模型的入口，第一层右侧最后一个节点为模型出口；首先预处理完成的图像输入进网络模型第一层编码器节点进行特征提取，经过提取后的特征会被发往同层的所有解码器节点及下一层的编码器节点；然后第二层编码器节点在收到上层编码器节点传递来的特征后，继续进行特征提取，并将提取的特征向同层中的所有解码器节点及下一层的编码器节点传递；以此类推完成网络模型全部节点特征初始化；
S4、特征传递与融合：全部节点完成特征初始化后，每个节点实时进行特征融合和特征传递，除第一层外所有节点，进行特征融合的上采样过程，从第二层第一个结点至第五层最后一个节点的所有节点，每个位于第i层的第j个节点，会将本节点提取的特征向上一层即i-1层的第j+1个节点传递，i-1层的第j+1个节点在接收到特征后，与原来的特征进行拼接操作，并将拼接后的特征传递给同层所有的在该节点右侧之后的节点，经过不断地实时传递与融合，直至传递至第一层右侧最后一个节点，特征趋于稳定；
S5、每个节点传递特征给上层节点，本层特征通过反卷积/插值/反池化的方法将图像中的血管结构分割出来，第一层最后一个节点完成特征融合时，分辨率恢复至原来输入图像的相同大小，血管结构分割完毕；
S6、血管结构分割结束后，通过单层卷积输出血管结构分割灰度图。
2.根据权利要求1所述的一种基于深度学习的糖网病眼底图像自动分割方法，其特征还在于所述的S2中的残差块，是指残差模块、通道注意力和空间注意力以串联的形式组合在一起的结构；残差模块提取特征；空间注意力调整图像，有效部分在图像整体的位置，让有效部分占据图像的中间，放大并充满整个图像；通道注意力关注特征图中有意义的特征；对于模型整体结构而言，编码器节点先进行特征提取和先调整图像没有区别，可以任意调整残差模块、通道注意力和空间注意力三部分的顺序。
3.根据权利要求1所述的一种基于深度学习的糖网病眼底图像自动分割方法，其特征还在于所述的S2中的编码器节点和解码器节点(除每一层最后一个节点外)接收特征的残差块，卷积方式使用空洞卷积，在不增加计算资源消耗的前提下，增大感受野范围。
CN202310082658.0A 2023-02-08 2023-02-08 基于深度学习的糖网病眼底图像自动分割方法 Pending CN116309631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310082658.0A CN116309631A (zh) 2023-02-08 2023-02-08 基于深度学习的糖网病眼底图像自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310082658.0A CN116309631A (zh) 2023-02-08 2023-02-08 基于深度学习的糖网病眼底图像自动分割方法

Publications (1)

Publication Number Publication Date
CN116309631A true CN116309631A (zh) 2023-06-23

Family

ID=86787886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310082658.0A Pending CN116309631A (zh) 2023-02-08 2023-02-08 基于深度学习的糖网病眼底图像自动分割方法

Country Status (1)

Country Link
CN (1) CN116309631A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078697A (zh) * 2023-08-21 2023-11-17 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078697A (zh) * 2023-08-21 2023-11-17 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法
CN117078697B (zh) * 2023-08-21 2024-04-09 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法

Similar Documents

Publication Publication Date Title
CN110517235B (zh) 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN109166126A (zh) 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
CN112884729B (zh) 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN111489328B (zh) 一种基于血管分割和背景分离的眼底图像质量评价方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN112614145A (zh) 一种基于深度学习的颅内出血ct图像分割方法
US11830193B2 (en) Recognition method of intracranial vascular lesions based on transfer learning
CN116309631A (zh) 基于深度学习的糖网病眼底图像自动分割方法
CN110008992A (zh) 一种用于前列腺癌辅助诊断的深度学习方法
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN117612221B (zh) 结合注意力shift的OCTA图像血管提取方法
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN112957005A (zh) 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法
CN117315258A (zh) 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
CN114820632A (zh) 基于双通道U形改进Transformer网络的视网膜血管图像分割方法
CN111242850B (zh) 一种广域眼底光学相干血流成像分辨率提升方法
CN113537300A (zh) 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法
CN116452571A (zh) 一种基于深度神经网络的图像识别方法
Liu et al. Vct-net: An octa retinal vessel segmentation network based on convolution and transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination