CN111242949A - 一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法 - Google Patents

一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法 Download PDF

Info

Publication number
CN111242949A
CN111242949A CN202010002508.0A CN202010002508A CN111242949A CN 111242949 A CN111242949 A CN 111242949A CN 202010002508 A CN202010002508 A CN 202010002508A CN 111242949 A CN111242949 A CN 111242949A
Authority
CN
China
Prior art keywords
image
neural network
convolution
blood vessel
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010002508.0A
Other languages
English (en)
Other versions
CN111242949B (zh
Inventor
刘义鹏
芮雪
蒋莉
王海霞
陈朋
梁荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010002508.0A priority Critical patent/CN111242949B/zh
Publication of CN111242949A publication Critical patent/CN111242949A/zh
Application granted granted Critical
Publication of CN111242949B publication Critical patent/CN111242949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法，包括以下步骤：1)对眼底视网膜图像进行预处理；2)将预处理后的图像分割成图像块进行数据扩充；3)构建卷积神经网络模型，并利用扩充后的数据进行网络训练；4)将训练好的模型进行测试，得到分割结果。本发明通过连接一种编码和两种不同的解码结构，并采用多种跳过连接，可以克服血管图像数据集数量少、图像质量低导致的分割精度低等缺点，更加充分地融合不同深度的特征，并且有效缓解由网络深度增加导致的梯度消失问题，与传统分割方法相比，拥有更高的准确率与较高的鲁棒性。

Description

一种基于全卷积神经网络多尺度特征的眼底图像血管分割 方法
技术领域
本发明涉及医学图像处理以及计算机视觉领域，具体涉及一种基于卷积神经网络的眼底图像血管分割方法。
背景技术
眼底视网膜微血管网络同人脸、指纹、掌纹等人体特征一样，也具有个体唯一性，每个人的视网膜血管的分布、走向、粗细、曲率等特征都不相同，因此眼底信息可用于生物识别。此外，在人体所有较深层的微血管循环网络中，唯一可以使用无创便直接观察的就是视网膜微血管的网络。通常情况下该血管网络是长期保持不变的，但糖尿病、高血压等心脑血管疾病可导致视网膜微血管网络的结构形态等发生变化。然而，医生在观察眼底图像时，大多根据个人的诊断经验进行定性判断，因此人工诊断眼底图像存在主观性强、准确率低、劳动强度大、诊断效率低等诸多缺点。由此可见，血管分割是决定眼底图像在临床诊断中能否提供可靠信息的关键。目前对于眼底血管分割的算法主要分为：(1)无监督方法，主要包括：血管跟踪法、基于形变模型的方法和匹配滤波法等；(2)有监督方法，主要指机器学习以及深度学习方法。无监督的分割方法不需要先验标记信息，但是对图像质量要求较高，通常需要较多的附加条件，且分割效果略差。有监督的方法主要基于提取的特征分类器已达到识别血管与背景的目的，神经网络模型需要逐层提取图像特征，容易丢失许多有用的信息，导致神经网络不能很好的分割血管图像。
发明内容
为了克服现有技术中的上述缺陷，本发明提出一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法，基于编码-解码结构的全卷积网络，在结构之间添加多种跳过连接，充分融合低层与高层之间不同尺度的特征，使得分割更加精确，同时可以有效缓解反向传播中的梯度消失问题。
本发明解决其技术问题所采用的技术方案是：
一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法，包括以下步骤：
1)首先，对数据库中用于训练的眼底血管图像进行一系列预处理，包括灰度转换、标准化、直方图均衡化和Gamma校正；
2)对步骤1)预处理后的图片进行分块处理，进行数据扩充；
3)使用扩充好的样本训练多尺度特征卷积神经网络，得到模型参数；
4)将训练好的卷积神经网络模型对测试图片进行分割，测试图像需要和训练图像一样进行步骤1)、2)的预处理与数据扩充。
进一步，所述步骤3)中实施的网络结构，包括三个部分：一个编码和两个解码部分，编码部分由四个编码卷积块组成，每个卷积块内部结构相同，编码最后一个卷积块的输出通过不同方式与两个解码卷积块的输入分别相连，并且在相应层次中，三个部分通过不同的跳过连接进行连接；一种解码部分由四个结构相同的解码卷积块组成，与编码部分形成跳过连接，由此形成一个对称结构；另外在此对称结构中间加入另一种解码部分，同样由四个卷积块组成，并与之间的对称结构分别通过跳过连接，进行特征融合。
本发明有益效果主要表现在：在少量的数据上通过数据扩充，采用编码-解码网络结构进行图像分割，避免复杂的图像处理过程，其灵敏度、特异性以及准确率等各项评价指标都优于现有技术。
附图说明
图1为本发明采用的网络结构示意图；
图2为视网膜血管图像分割结果示意图；其中，(a)为原始眼底血管图片经过预处理后的图像；(b)为专家手动分割图像；(c)为本发明分割结果图像。
具体实施方式
下面结合示意图对本发明做进一步描述。
参照图1和图2，一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法，包括以下步骤：
1)图像预处理
图像质量的好坏直接影响效果的精度，图像预处理的目的主要是消除图像中无关信息，最大限度简化数据，克服图像干扰。首先对每一幅彩色视网膜图像的R、G、B通道的值根据公式Gray＝R*0.299+G*0.587+B*0.114赋予不同的权重，将图像转化为单通道灰度图。然后进行归一化处理，提高图片中血管的对比度和清晰度。最后进行Gamma校正来增强图像的对比度。预处理后如图2(a)所示。
2)数据扩充
由于数据集中图片数量很少，而网络本身需要大量的数据来驱动模型的训练，有效的数据扩充一方面可以避免过拟合，另一方面会带来模型性能的提升。本发明提出的扩充方法是对预处理后的每幅图片随机分割成若干个的图像块，其中图像块的大小与数量都可以提前设定，可以使本发明的模型适用于不同大小的眼底图像。
3)模型训练
将处理完毕的图片块作为输入送到神经网络中进行训练，本发明设计的特征多尺度卷积神经网络如图1所示。左边的编码部分由四个编码卷积块组成，每个卷积块包含两次卷积和一次上采样。右边的解码部分由四个解码卷积块构成，每个卷积块由两次卷积和一次反卷积构成。在编码部分结束与解码部分开始之间由两个卷积操作连接，并且在每个相应层次，将编码卷积块的输出直接连接到解码卷积块的输入，形成跳过连接。
此外，在编码部分输出后添加了另外一种解码部分，将编码部分最后一个卷积块的输出进行一次1×1的卷积，使编码卷积块的通道输出映射到新的通道空间，再将其进行一次反卷积，上一层的编码卷积块进行相同的1×1卷积后与其相加，以此类推，这种解码部分也进行了四次。在与编码部分进行1X1卷积连接同时，每个相应层次还通过3×3的卷积与右边的解码部分相连接，因此本发明使用了三种不同类型的跳过连接，使得不同深度的特征通道进行融合，可以提取到更加准确和丰富的血管特征信息。
最后一层卷积后输出的特征图连接一个Softmax分类层，将特征图转化为表示每个像素点属于血管还是背景的概率图，使用交叉熵损失函数与随机梯度下降优化函数，在模型训练开始阶段，卷积核内参数可以通过多种方式随机初始化。最终经过迭代训练得到最终可用于血管分割的模型。
4)模型测试
测试使用的图片数据集与训练时进行相同的预处理，并分割成与训练图像相同大小的图像块。将其输入到模型进行分割后，进行二值化得到分割结果。将测试中分割结果与专家手动分割结果进行对比，图2(b)为其中一幅专家手动分割结果图，图2(c)为基于本发明方法的血管分割结果。

Claims (2)

1.一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法，其特征在于，所述方法包括以下步骤：
1)对用于训练的眼底图像进行预处理；
2)对于预处理后的图片分割成指定大小的图像块，进行数据扩充；
3)使用扩充好的样本训练多尺度特征卷积神经网络，得到模型参数；
4)将用于测试的图片进行同样的预处理步骤，并分割成与训练图片相同大小，利用训练好的多尺度特征卷积神经网络对测试图片进行分割，得到最终分割结果。
2.根据权利要求1所述的一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法，其特征在于，所述步骤3)中实施的网络结构，包括三个部分：一个编码和两个解码部分，编码部分由四个编码卷积块组成，每个卷积块内部结构相同，编码最后一个卷积块的输出通过不同方式与两个解码卷积块的输入分别相连，并且在相应层次中，三个部分通过不同的跳过连接进行连接；一种解码部分由四个结构相同的解码卷积块组成，与编码部分形成跳过连接，由此形成一个对称结构；另外在此对称结构中间加入另一种解码部分，同样由四个卷积块组成，并与之间的对称结构分别通过跳过连接，进行特征融合。
CN202010002508.0A 2020-01-02 2020-01-02 基于全卷积神经网络多尺度特征的眼底图像血管分割方法 Active CN111242949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010002508.0A CN111242949B (zh) 2020-01-02 2020-01-02 基于全卷积神经网络多尺度特征的眼底图像血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010002508.0A CN111242949B (zh) 2020-01-02 2020-01-02 基于全卷积神经网络多尺度特征的眼底图像血管分割方法

Publications (2)

Publication Number Publication Date
CN111242949A true CN111242949A (zh) 2020-06-05
CN111242949B CN111242949B (zh) 2021-06-18

Family

ID=70872379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010002508.0A Active CN111242949B (zh) 2020-01-02 2020-01-02 基于全卷积神经网络多尺度特征的眼底图像血管分割方法

Country Status (1)

Country Link
CN (1) CN111242949B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738338A (zh) * 2020-06-23 2020-10-02 征图新视(江苏)科技股份有限公司 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法
CN113223002A (zh) * 2021-05-07 2021-08-06 西安智诊智能科技有限公司 一种血管图像分割方法
CN113724206A (zh) * 2021-08-12 2021-11-30 武汉大学 一种基于自监督学习的眼底图像血管分割方法及系统
CN117745856A (zh) * 2023-12-18 2024-03-22 中国人民解放军总医院 基于平扫ct的cta图像生成方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110335276A (zh) * 2019-07-10 2019-10-15 四川大学 医学图像分割模型、方法、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110335276A (zh) * 2019-07-10 2019-10-15 四川大学 医学图像分割模型、方法、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZONGWEI ZHOU 等: "UNet++: A Nested U-Net Architecture for Medical Image Segmentation", 《RESEARCHGATE》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738338A (zh) * 2020-06-23 2020-10-02 征图新视(江苏)科技股份有限公司 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法
CN113223002A (zh) * 2021-05-07 2021-08-06 西安智诊智能科技有限公司 一种血管图像分割方法
CN113724206A (zh) * 2021-08-12 2021-11-30 武汉大学 一种基于自监督学习的眼底图像血管分割方法及系统
CN113724206B (zh) * 2021-08-12 2023-08-18 武汉大学 一种基于自监督学习的眼底图像血管分割方法及系统
CN117745856A (zh) * 2023-12-18 2024-03-22 中国人民解放军总医院 基于平扫ct的cta图像生成方法及系统
CN117745856B (zh) * 2023-12-18 2024-07-12 中国人民解放军总医院 基于平扫ct的cta图像生成方法及系统

Also Published As

Publication number Publication date
CN111242949B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN111242949B (zh) 基于全卷积神经网络多尺度特征的眼底图像血管分割方法
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110930418B (zh) 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
CN113793348B (zh) 一种视网膜血管分割方法和装置
CN111598894B (zh) 基于全局信息卷积神经网络的视网膜血管图像分割系统
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN111815563B (zh) 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN116503422A (zh) 一种基于注意力机制与多尺度特征融合的视杯视盘分割方法
CN111899272B (zh) 基于耦合神经网络和线连接器的眼底图像血管分割方法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN113763292A (zh) 一种基于深度卷积神经网络的眼底视网膜图像分割方法
CN116740080A (zh) 一种基于改进U-Net模型的眼底图像血管分割方法
CN110992309A (zh) 基于深层信息传递网络的眼底图像分割方法
CN117593317A (zh) 基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法
CN111767842B (zh) 基于迁移学习和自编码器数据增强的微表情种类判别方法
CN113421250A (zh) 一种基于无病变影像训练的眼底疾病智能诊断方法
CN117523202A (zh) 一种基于视觉注意力融合网络的眼底血管图像分割方法
CN117078697A (zh) 一种基于级联模型融合的眼底病种检测方法
CN115049682A (zh) 一种基于多尺度密集网络的视网膜血管分割方法
CN115410032A (zh) 基于自监督学习的octa图像分类结构训练方法
Liang et al. Retinal vessel segmentation based on W-net conditional generative adversarial nets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant