CN113592843B - 基于改进的U-Net眼底视网膜血管图像分割方法及装置 - Google Patents

基于改进的U-Net眼底视网膜血管图像分割方法及装置 Download PDF

Info

Publication number
CN113592843B
CN113592843B CN202110910626.6A CN202110910626A CN113592843B CN 113592843 B CN113592843 B CN 113592843B CN 202110910626 A CN202110910626 A CN 202110910626A CN 113592843 B CN113592843 B CN 113592843B
Authority
CN
China
Prior art keywords
block
image segmentation
module
net
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110910626.6A
Other languages
English (en)
Other versions
CN113592843A (zh
Inventor
韩静园
王育坚
宫浩栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN202110910626.6A priority Critical patent/CN113592843B/zh
Publication of CN113592843A publication Critical patent/CN113592843A/zh
Application granted granted Critical
Publication of CN113592843B publication Critical patent/CN113592843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于改进的U‑Net眼底视网膜血管图像分割方法，通过获取待检测的视网膜血管图像；将所述视网膜血管图像输入训练好的改进的U‑Net网络模型中进行图像分割；输出视网膜血管图像分割结果。将U‑Net网络的普通卷积块改为随机丢弃卷积块，能够更好地提取图像相关特征，有效缓解网络过拟合；然后，在编码解码结构的底部加入NoL‑block注意力模块，在不增加参数量的基础上，扩大感受野和增强像素信息的相关性。通过将NoL‑block作为一个组件，嵌入U‑Net网络结构,使得可以使用NoL‑block用前向传播的方式直接捕获在图像分割中有距离的像素之间在空间中的依赖关系，从而使得可以更好地定位和分割血管。

Description

基于改进的U-Net眼底视网膜血管图像分割方法及装置
技术领域
本发明属于图像分割领域，尤其是涉及一种基于改进的U-Net眼底视网膜血管图像分割方法及装置。
背景技术
视网膜血管的分割对于视网膜血管疾病的诊断和筛查具有重要意义，包括糖尿病、眼科疾病和心血管疾病。随着视力障碍患者逐年增加和医疗资源不足，特别是合格眼科医生严重匮乏，导致眼科患者往往因为错过最佳治疗期而引发无法挽回的视力损害。眼底血管的精准分割，可以有效辅助眼科医生的诊断，提高眼科医生的工作效率。
随着图像处理技术的不断发展，现有方法根据是否利用血管分割标准等先验信息作为监督来指导血管预测模型的获取过程，可分为无监督方法和监督方法。无监督方法不需要人工事先标记信息，直接在图像上提取血管，主要包括基于追踪的分割算法，匹配滤波方法，形态学方法，多尺度方法,基于活动轮廓的分割方法。
有监督的方法，是具有人工分割标签作为标准的图像集，并结合血管的特征以获得用于对血管进行分割的最终分类器。Alom等人提出在U-Net中使用递归卷积。Simon等将U-Net中的卷积层替换为密集块。Xiao等提出的加权注意力的U-Net网络模型达到了不错的分割效果。Zhang等人提出了一种AG-Net，可以更好地保留血管的结构信息。Wang等提出RVSeg-Net，使用“特征金字塔级联网络”(feature pyramid cascade network)去捕获多尺度特征以应对视网膜血管的尺度变化。
但是现有方法对于细粒度血管区域的分割其精度还比较低，尤其是针对眼底视网膜血管的低对比度信息难以识别，如何更好地定位和分割微血管是当前需要重点解决的问题。
发明内容
本发明要解决的技术问题是怎样快速定位和分割低对比度信息的视网膜微血管，提出了一种基于改进的U-Net眼底视网膜血管图像分割方法及装置。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于改进的U-Net眼底视网膜血管图像分割方法，包括以下步骤：
步骤1：获取待检测的视网膜血管图像；
步骤2：将所述视网膜血管图像输入训练好的改进的U-Net网络模型中进行图像分割；
步骤3：输出视网膜血管图像分割结果。
进一步地，所述改进的U-Net网络模型结构为：
在全卷积网络U-Net的基础上，在所述全卷积网络U-Net的编码器和解码器之间增加NoL-block注意力模块，所述NoL-block注意力用于捕获在图像分割中有距离的像素之间在空间中的依赖关系，所述编码器最后一个卷积块的输出经过NoL-block注意力模块后输入到所述解码器的第一个卷积块中进行上采样。
进一步地，所述编码器的结构为由4个卷积块组成，每个卷积块使用2个有效卷积、批标准化Batch Normalization、随机丢弃卷积Dropblock、激活函数ReLU、和1个MaxPooling。
进一步地，所述解码器包括4个转置卷积块和一个卷积块，每个转置卷积块使用2个有效卷积、批标准化Batch Normalization、随机丢弃卷积模块Dropblock、激活函数ReLU、和1个Max Pooling，每个转置卷积块与来自编码器的相应特征映射连接。
进一步地，所述NoL-block注意力模块的结构包括Dropblock随机丢弃模块和non-local非局部模块，所述编码器最后一个卷积块输出的特征图输入Dropblock随机丢弃模块进行部分像素丢弃处理，然后将经丢弃处理后的输出图输入所述non-local非局部模块，计算输出图中任意两个像素之间的相互作用，捕获在图像分割中有距离的像素之间在空间中的依赖关系，将经所述non-local非局部模块处理后的输出图输入所述解码器的第一个卷积块中。
进一步地，所述随机丢弃模块Dropblock对像素进行丢弃处理时的两个参数分别是：
一个是block_size，表示drop像素区域长和宽的大小，
一个是γ，表示drop过程中的丢弃概率，即伯努利函数的概率：
Figure BDA0003203434130000031
其中，keep_prob为保存信息的比率，feat_size为输出的特征图feature map的大小，feat_size-block_size+1为目标区域的大小。
进一步地，所述non-local非局部模块计算输出图中任意两个像素之间的相互作用，捕获在图像分割中有距离的像素之间在空间中的依赖关系的方法是指：
将编码器输出的特征图经随机丢弃模块Dropblock处理后的输出图x，对于其中任意第i个位置的像素xi，通过该像素xi与输出图x上所有其他像素xj之间的相关性f(xi,xj)所计算出的特征值yi，
Figure BDA0003203434130000032
一元函数g(xj)表示像素xj处的特征值，y是与输出图x同样尺寸的图,yi表示输出图y上与像素xi相对应的特征值，C(x)是归一化函数。
进一步地，所述non-local非局部模块处理后的输出图是指：
zi＝Wzyi+xi
Wz表示non-local非局部模块中最后一个1*1*1卷积层。
本发明还提供了一种基于改进的U-Net眼底视网膜血管图像分割装置，包括以下模块：
数据获取模块：用于获取待检测的视网膜血管图像；
图像分割模块：用于将所述视网膜血管图像输入训练好的神经网络模型中进行图像分割；
分割结果输出模块：用于输出视网膜血管图像分割结果。
采用上述技术方案，本发明具有如下有益效果：
本发明提供的一种基于改进的U-Net眼底视网膜血管图像分割方法及装置，通过将U-Net网络的普通卷积块改为随机丢弃卷积块，能够更好地提取图像相关特征，有效缓解网络过拟合；然后，在编码解码结构的底部加入NoL-block注意力模块，在不增加参数量的基础上，扩大感受野和增强像素信息的相关性。通过将NoL-block作为一个组件，嵌入U-Net网络结构,使得可以使用NoL-block用前向传播的方式直接捕获在图像分割中有距离的像素之间在空间中的依赖关系，从而使得可以更好地定位和分割血管。在两个公共常用眼底图像数据集上的实验表明，在网络模型上实现了0.9861、0.9891的AUC，0.8224、0.8076的F1以及0.9692、0.9755的Acc，总参数小于0.56M,这使得网络模型非常适合于提升眼底图像的鲁棒性、准确性以及较低的推理时间的实际应用，在辅助诊断中具有实际应用。
附图说明
图1本发明的神经网络模型结构示意图；
图2为具体实施例中神经网络模型结构示意图；
图3为NoL-Block注意力模块原理示意图；
图4为NoL-UNet在DRIVE和CHASE-DB1两种训练集和验证集的性能表现；(a)为在DRIVE数据集上的性能表现，(b)为在CHASE-DB1数据集上的性能表现；
图5为在DRIVE数据集分割结果；(a)为眼底图，(b)为掩膜，(c)为金标准，(d)为U-Net结果，(e)为本发明的NoL-UNet结果；
图6为在CHASE_DB1数据集分割结果；(a)为眼底图，(b)为掩膜，(c)为金标准，(d)为U-Net结果，(e)为本发明的NoL-UNet结果；
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过一个实验来验证说明本发明。实验训练环境和训练参数的具体设置为：实验是基于Tesorflow的Keras框架，开发集成环境为PyCharm，运行平台为Ubuntu系统，GPU为GeForce RTX 2080Ti，内存11GB*2。设置批量大小为4，实验迭代训练次数为150次。采用Adam优化方法对参数进行优化，学习率设定为0.001，损失函数为二值交叉熵损失函数。
图1至图6示出了本发明一种基于改进的U-Net眼底视网膜血管图像分割方法的一种具体实施例，包括以下步骤：
步骤1：获取待检测的视网膜血管图像；
步骤2：将所述视网膜血管图像输入训练好的改进的U-Net网络模型中进行图像分割；
步骤3：输出视网膜血管图像分割结果。
实验使用视网膜公共数据集评估改进U-Net模型NoL-UNet：实验中使用的数据集是：文献1“Staal J,Abràmoff M D,Niemeijer M,et al.Ridge-based vesselsegmentation in color images of the retina[J].IEEE transactions on medicalimaging,2004,23(4):501-509”重点DRIVE数据集和文献2“Owen C G,Rudnicka A R,Mullen R,et al.Measuring retinal vessel tortuosity in 10-year-old children:validation of the computer-assisted image analysis of the retina(CAIAR)program[J].Investigative ophthalmology&visual science,2009,50(5):2004-2010”中的CHASE_DB1数据集。DRIVE数据集共有40张视野为45°的彩色眼底图片，图像分辨率为584pixel×565pixel，官方提供专家手动分割金标准，在分割视网膜血管方法中最常用的为此数据集。DRIVE数据集共有435名受试者，图像具有一致的、良好的质量和对比度，低分辨率的大多数是健康的患者，一些患者有轻度的糖尿病眼底病变。DRIVE数据集的官方将其划分为训练集和测试集各20张图片。
CHASE_DB1数据集共有28张视野为30°的彩色眼底图片，图像分辨率为999pixel×960pixel。CHASE_DB1数据集来源于10岁儿童的右眼中心图像，其背景光照不均匀，对比度差。采用CHASE_DB1数据集的20张图片作为训练集和验证集，其余为测试集。
相机视野中除了目标外还存在大量的背景干扰，为了把目标区域分割出来，预框选感兴趣区域，将感兴趣区域的掩膜与原始图像进行处理，得到感兴趣区域图像，感兴趣区域外图像像素都设为0。在图像输入周围填充(Padding)0的方法，避免了逐渐丢失图像边缘信息和图像输入和输出的维度改变。在对图像预处理时，DRIVE数据集的输入大小被Padding为584pixel×584pixel，CHASE_DB1数据集被Padding为1008pixel×1008pixel。
由于在公共数据集中训练图像的数量较少，需要一些增强技术来避免过拟合。数据集采用文献3“Guo C,Szemenyei M,Yi Y,et al.Sa-unet:Spatial attention u-netfor retinal vessel segmentation[C]//202025th International Conference onPattern Recognition(ICPR).IEEE,2021:1236-1242.”的数据增强方法：采用随机旋转，添加高斯噪声，色彩抖动，水平、垂直和对角线翻转的方法，每种方法都从一个原始图像生成三个新图像，即将原始数据集从原来的20个训练图像增加到256个图像。对于DRIVE数据集，训练的参数如表1所示。训练和验证需要1300s，分割一幅测试图像需要5.1s。
表1 DRIVE数据集的训练参数
Figure BDA0003203434130000071
Figure BDA0003203434130000081
如图1所示，本实施例中改进的U-Net网络模型的结构为：
在全卷积网络U-Net的基础上，在所述全卷积网络U-Net的编码器和解码器之间增加NoL-block注意力模块，所述NoL-block注意力模块用于捕获在图像分割中有距离的像素之间在空间中的依赖关系，所述编码器最后一个卷积块的输出经过NoL-block注意力模块后输入到所述解码器的第一个卷积块中进行上采样。本实施例中，改进后的U-Net网络模型NoL-UNet如图2所示，通过将全卷积网络U-Net中编码器输出的特征图与解码器输入之间的模块更换为NoL-block注意力模块，将NoL-Block作为一个组件，嵌入到U-Net网络结构，在不增加参数量的基础上，扩大感受野和增强像素信息的相关性，很好地提升分割效果。
本实施例中改进后的NoL-UNet网络的编码器的结构为由4个卷积块组成，每个卷积块使用2个有效卷积、批标准化Batch Normalization、随机丢弃卷积Dropblock、激活函数ReLU、和1个Max Pooling构成的下采样操作。NoL-UNet网络输入是一张584x584经过预处理的图片,网络左侧的编码器(Encoder)进行特征提取，由3x3卷积、2x2最大池化(MaxPooling)构成的下采样操作，每次下采样之后特征图(Feature Map)的个数乘2，并逐渐减小特征图的大小，捕获更高级别的语义信息。如图2所示的变化，最终得到尺寸为73x73的Feature Map。
本实施例中，如图2所示，在原全卷积网络U-Net编码器原结构的基础上,在每个卷积块中经过2个卷积核为3×3的有效卷积以及批标准化Batch Normalization后，在激活函数ReLU之前，增加了随机丢弃卷积模块Dropblock，能够更好地提取图像相关特征，有效缓解网络过拟合。
本实施例中，Dropblock是drop某个区域的像素，Dropblock的drop方法使得语义信息不会冗余，一定程度上使学习到的特征更加鲁棒，使其在卷积层中发挥作用，如图3所示。Dropblock在每个Feature Map中应用cutout，将输入图像的部分权重和偏置置零使得网络关注更多的特征以及防止过拟合。实验表明，Dropblock能够更好地提高模型准确度。
所述随机丢弃模块Dropblock对像素进行丢弃处理时的两个参数分别是：
一个是block_size，表示drop像素区域长和宽的大小，
一个是γ，表示drop过程中的丢弃概率，即伯努利函数的概率：
Figure BDA0003203434130000091
其中，keep_prob为保存信息的比率，本实施例中取为0.85，feat_size为编码器输出的特征图feature map的大小(73x73)，feat_size-block_size+1为图3中目标区域的大小。
本实施例中所述解码器包括4个转置卷积块和一个卷积块，每个转置卷积块使用2个有效卷积、批标准化Batch Normalization、随机丢弃卷积Dropblock、激活函数ReLU、和1个Max Pooling，每个转置卷积块与来自编码器的相应特征映射连接。同样，本实施例是在原全卷积网络U-Net解码器的基础上，在每个转置卷积块中，经历2个卷积核为3×3的有效卷积以及批标准化Batch Normalization后，增加了一个随机丢弃卷积模块Dropblock，能够更好地提取图像相关特征，有效缓解网络过拟合，解码器的其他结构不变。如图2所示的NoL-UNet网络的右侧部分为解码器(Decoder),用于上采样并将特征信道数减半，然后与来自编码器的相应特征映射相连接，然后再连接一个卷积块，在解码器最后一层，使用1×1卷积来改变通道维数和使用Sigmoid激活函数以得到输出分割图。
本实施例中，如图3所示，所述NoL-block注意力模块的结构包括Dropblock随机丢弃模块和non-local非局部模块，所述编码器最后一个卷积块输出的特征图输入Dropblock随机丢弃模块进行部分像素丢弃处理，然后将经丢弃处理后的输出图输入所述non-local非局部模块，计算输出图中任意两个像素之间的相互作用，捕获在图像分割中有距离的像素之间在空间中的依赖关系，将经所述non-local非局部模块处理后的输出图输入所述解码器的第一个卷积块中。在深度神经网络中，捕捉长距离依赖的问题尤为重要，图像处理时通常会加深卷积层数以获得长距离依赖性，不断卷积则感受野相应随之扩大。U-Net网络对于小样本数据集的视网膜图像有着很好的处理，然而不断卷积的重复和层数的加深使得参数庞大，计算效率迅速降低，并不能很好地适用于数据集较小的医学图像分割。本发明为了解决这个问题，引入NoL-block注意力模块。
本实施例中，所述non-local非局部模块计算输出图中任意两个像素之间的相互作用，捕获在图像分割中有距离的像素之间在空间中的依赖关系的方法是指：
将编码器输出的特征图经随机丢弃模块Dropblock处理后的输出图x，对于其中任意第i个位置的像素xi，通过该像素xi与输出图x上所有其他像素xj之间的相关性f(xi,xj)所计算出的特征值yi，
Figure BDA0003203434130000101
一元函数g(xj)表示像素xj处的特征值，y是与输出图x同样尺寸的图,yi表示输出图y上与像素xi相对应的特征值，C(x)是归一化函数，以保证变换前后信息的整体不变性。
所述non-local非局部模块处理后的输出图是指：
zi＝Wzyi+xi (3)
Wz表示non-local非局部模块中最后一个1*1*1卷积层。本实施例中，通过融合后的特征值zi将非局部模块non-local与改进的U-net网络框架进行结合。在不破坏原始网络结构的基础上，很便捷的将non-local嵌入到U-net网络模型中去,通过捕获在图像分割中有距离的像素之间在空间中的依赖关系，从而使得可以更好地定位和分割血管。
为了评估模型，将分割结果与标定过的真实数据进行比较，并将每个像素的比较结果分为真阳性(TP)、假阳性(FP)、假阴性(FN)和真阴性(TN)。然后用敏感性(SE)、特异性(SP)、F1-Measure(F1)和准确度(ACC)来评价模型的性能，公式如下：
Figure BDA0003203434130000111
Figure BDA0003203434130000112
Figure BDA0003203434130000113
Figure BDA0003203434130000114
Figure BDA0003203434130000115
Figure BDA0003203434130000116
AUC(ROC曲线下的面积)可以用来衡量分割的性能，如果AUC值为1，则表示完全分割。在视网膜血管的分割中，只有9％-14％的像素属于血管，而其他像素则属于非血管像素。马修斯相关系数(MCC)适用于两类不同大小的二元分类的性能度量，因此，MCC值适用于评估血管分割算法的性能。MCC定义为：
Figure BDA0003203434130000121
通过实验验证，
1、从整体性能上来说，在图4(a)和图4(b)中分别对DRIVE和CHASE-DB1的Accuracy进行了可视化，用于NoL-UNet的验证，生成的Accuracy曲线图显示出较好的整体性能。
2、从对不同网络结构比较中，为了对模型的性能进行基准测试，使用了DRIVE和CHASE_DB1视网膜分割数据集，基于不同网络结构体系比较。如表2和表3所示，在两个公共数据集上，U-Net网络、加入Non local的U-Net_nl、加入dropblock的U-Net_db与改进方法NoL-UNet的性能对比，可以清晰的对比出改进方法在AUC、Se、F1都有明显的提高。
表2 DRIVE数据集中不同网络结构的结果
方法名称 Acc AUC Se Sp F1 MCC
U-Net 0.9630 0.9738 0.7751 0.9811 0.7860 0.7659
U-Net_nl 0.9688 0.9839 0.7703 0.9879 0.8124 0.7968
U-Net_db 0.9692 0.9854 0.7566 0.9896 0.8114 0.7972
NoL-UNet 0.9692 0.9861 0.8289 0.9863 0.8224 0.8052
表3 CHASE_DB1数据集中不同网络结构的结果
方法名称 Acc AUC Se Sp F1 MCC
U-Net 0.9719 0.9828 0.8055 0.9831 0.7831 0.7684
U-Net_nl 0.9729 0.9840 0.7884 0.9853 0.7858 0.7714
U-Net_db 0.9753 0.9894 0.8234 0.9855 0.8078 0.7947
NoL-UNet 0.9755 0.9891 0.8419 0.9906 0.8079 0.7949
3、在定性定量分析中，为了进行定性分析，DRIVE、CHASE_DB1数据集随机选取的分割结果表示在图5和图6：(a)是原始视网膜眼底图像，(b)对应掩膜，(c)改进方法NoL-UNet分割结果，(d)是人类专家的金标准，(e)U-Net分割结果。血管应该相互连接是由线或曲线形成的一个脉络，这种结构冗余使得专家和改进的模型通过学习能够在视网膜图像的模糊区域内连接血管。
定量分析结果见表4、表5。从表4中可以看出，对于DRIVE数据集，在所有评价指标中，提出的NoL-UNet模型都表现出了更好的性能。改进模型在AUC、Acc、Se、Sp这四个指标方面优于Li et al、Liskowski et al、Mo and Zhang、R2U-Net、DNet+PRW、BS+CWRGC+CWRVA模型和大多的UNet派生的体系结构，相比文献4“Sun X,Cao X,Yang Y,et al.RobustRetinal Vessel Segmentation from a Data Augmentation Perspective[J].arXivpreprint arXiv:2007.15883,2020”分别提高1.47％、0.73％、0.62％、1.22％。其中，Li etal.模型为文献5“Li Q,Feng B,Xie L P,et al.A cross-modality learning approachfor vessel segmentation in retinal images[J].IEEE transactions on medicalimaging,2015,35(1):109-118.”中提出的模型，Liskowski et al.模型为文献6“Liskowski P,Krawiec K.Segmenting retinal blood vessels with deep neuralnetworks[J].IEEE transactions on medical imaging,2016,35(11):2369-2380.”中提出的模型，Mo and Zhang模型为文献7“Mo J,Zhang L.Multi-level deep supervisednetworks for retinal vessel segmentation[J].International journal of computerassisted radiology and surgery,2017,12(12):2181-2193.”中提出的模型，R2U-Net模型为文献8“Alom M Z,Yakopcic C,Taha T M,et al.Nuclei segmentation withrecurrent residual convolutional neural networks based U-Net(R2U-Net)[C]//NAECON 2018-IEEE National Aerospace and Electronics Conference.IEEE,2018:228-233.”中提出的模型，DNet+PRW模型为文献9“Mou L,Chen L,Cheng J,et al.Densedilated network with probability regularized walk for vessel detection[J].IEEE transactions on medical imaging,2019,39(5):1392-1403.”中提出的模型，BS+CWRGC+CWRVA模型为文献4中提出的模型。正如表5中CHASE_DB1数据集的性能对比，文献4中的Se高于改进方法0.62％，改进的模型在AUC、Acc、Sp这三个指标方面优于Li et al.、Liskowski et al.、Mo and Zhang、R2U-Net、DNet+PRW、BS+CWRGC+CWRVA模型和大多的UNet派生的体系结构，相比文献4分别提高1.43％、0.53％、2.33％。在表4中，改进方法具有更好的特异性Sp和准确度Acc，然而更高的特异性意味着更好的背景像素分割，其通用性就会相应的下降一些。期望是有更好的敏感性Se和AUC，特别是对于CHASE DB1图像中的暗区，改进模型的AUC有较好的提高，证明了所提出方法对分割任务的有效性。
表4 DRIVE数据集上的性能比较
年 方法 Acc AUC Se Sp
2015 Li et al. 0.9527 0.9738 0.7569 0.9816
2016 Liskowski et al. 0.9535 0.9790 0.7811 0.9807
2017 Mo and Zhang 0.9521 0.9782 0.7779 0.9780
2018 R2U-Net 0.9556 0.9784 0.7792 0.9813
2019 DDNet+PRW 0.9607 0.9796 0.8132 0.9783
2020 BS+CWRGC+CWRVA 0.9545 0.9788 0.8227 0.9741
2021 NoL-UNet 0.9692 0.9861 0.8289 0.9863
表5 CHASE_DB1数据集上的性能比较
年 方法 Acc AUC Se Sp
2015 Li et al. 0.9527 0.9738 0.7569 0.9816
2016 Liskowski et al. 0.9628 0.9823 0.7816 0.9836
2017 Mo and Zhang 0.9581 0.9812 0.7661 0.9793
2018 R2U-Net 0.9634 0.9815 0.7756 0.9820
2019 DDNet+PRW 0.9648 0.9812 0.8275 0.9768
2020 BS+CWRGC+CWRVA 0.9612 0.9838 0.8818 0.9673
2021 NoL-UNet 0.9755 0.9891 0.8419 0.9906
本发明针对眼底视网膜血管医学图像样本比较小的问题，提出改进的非局部丢弃使用数据增强方法，通过加入非局部模块和随机丢弃模块，增强像素之间信息的相关性和提升模型的泛化性，更精确地定位和分割细粒度区域的微细血管。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于改进的U-Net眼底视网膜血管图像分割方法，其特征在于，包括以下步骤：
步骤1：获取待检测的视网膜血管图像；
步骤2：将所述视网膜血管图像输入训练好的改进的U-Net网络模型中进行图像分割；
步骤3：输出视网膜血管图像分割结果；
所述改进的U-Net网络模型的结构为：
在全卷积网络U-Net的基础上，在所述全卷积网络U-Net的编码器和解码器之间增加NoL-block注意力模块，所述NoL-block注意力模块的结构包括Dropblock随机丢弃模块和non-local非局部模块，所述NoL-block注意力模块用于捕获在图像分割中有距离的像素之间在空间中的依赖关系，所述编码器最后一个卷积块的输出经过NoL-block注意力模块后输入到所述解码器的第一个卷积块中进行上采样。
2.根据权利要求1所述的图像分割方法，其特征在于，
所述编码器的结构为由4个卷积块组成，每个卷积块使用2个有效卷积、批标准化BatchNormalization、随机丢弃卷积Dropblock、激活函数ReLU、和1个Max Pool ing。
3.根据权利要求2所述的图像分割方法，其特征在于，所述解码器包括4个转置卷积块和一个卷积块，每个转置卷积块使用2个有效卷积、批标准化Batch Normalization、随机丢弃卷积模块Dropblock、激活函数ReLU、和1个Max Pool ing，每个转置卷积块与来自编码器的相应特征映射连接。
4.根据权利要求2所述的图像分割方法，其特征在于，所述编码器最后一个卷积块输出的特征图输入Dropblock随机丢弃模块进行部分像素丢弃处理，然后将经丢弃处理后的输出图输入所述non-local非局部模块，计算输出图中任意两个像素之间的相互作用，捕获在图像分割中有距离的像素之间在空间中的依赖关系，将经所述non-local非局部模块处理后的输出图输入所述解码器的第一个卷积块中。
5.根据权利要求4所述的图像分割方法，其特征在于，所述Dropblock随机丢弃模块对像素进行丢弃处理时的两个参数分别是：
一个是block_size，表示drop像素区域长和宽的大小，
一个是γ，表示drop过程中的丢弃概率，即伯努利函数的概率：
Figure QLYQS_1
其中，keep_prob为保存信息的比率，feat_size为输出的特征图feature map的大小，feat_size-block_size+1为目标区域的大小。
6.根据权利要求5所述的图像分割方法，其特征在于，所述non-local非局部模块计算输出图中任意两个像素之间的相互作用，捕获在图像分割中有距离的像素之间在空间中的依赖关系的方法是指：
将编码器输出的特征图经随机丢弃模块Dropblock处理后的输出图x，对于其中任意第i个位置的像素xi，通过该像素xi与输出图x上所有其他像素xj之间的相关性f(xi,xj)所计算出的特征值yi，
Figure QLYQS_2
一元函数g(xj)表示像素xj处的特征值，y是与输出图x同样尺寸的图,yi表示输出图y上与像素xi相对应的特征值，C(x)是归一化函数。
7.根据权利要求6所述的图像分割方法，其特征在于，所述non-local非局部模块处理后的输出图是指：
zi＝Wzyi+xi
Wz表示non-local非局部模块中最后一个1*1*1卷积层。
8.一种基于改进的U-Net眼底视网膜血管图像分割装置，其特征在于，包括以下模块：
数据获取模块：用于获取待检测的视网膜血管图像；
图像分割模块：用于将所述视网膜血管图像输入训练好的改进的U-Net网络模型中进行图像分割；所述改进的U-Net网络模型结构为：
在全卷积网络U-Net的基础上，在所述全卷积网络U-Net的编码器和解码器之间增加NoL-block注意力模块，所述NoL-block注意力模块的结构包括Dropblock随机丢弃模块和non-local非局部模块，所述NoL-block注意力用于捕获在图像分割中有距离的像素之间在空间中的依赖关系所述编码器最后一个卷积块的输出经过NoL-block注意力模块后输入到所述解码器的第一个卷积块中进行上采样；
分割结果输出模块：用于输出视网膜血管图像分割结果。
CN202110910626.6A 2021-08-09 2021-08-09 基于改进的U-Net眼底视网膜血管图像分割方法及装置 Active CN113592843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110910626.6A CN113592843B (zh) 2021-08-09 2021-08-09 基于改进的U-Net眼底视网膜血管图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110910626.6A CN113592843B (zh) 2021-08-09 2021-08-09 基于改进的U-Net眼底视网膜血管图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN113592843A CN113592843A (zh) 2021-11-02
CN113592843B true CN113592843B (zh) 2023-06-23

Family

ID=78256535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110910626.6A Active CN113592843B (zh) 2021-08-09 2021-08-09 基于改进的U-Net眼底视网膜血管图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN113592843B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082500B (zh) * 2022-05-31 2023-07-11 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
WO2021041772A1 (en) * 2019-08-30 2021-03-04 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising
CN112507826A (zh) * 2020-11-27 2021-03-16 西安电子科技大学 一种端到端生态变化监测方法、终端、计算机设备及介质
CN113012169A (zh) * 2021-03-22 2021-06-22 深圳市人工智能与机器人研究院 一种基于非局部注意力机制的全自动抠图方法
CN113192147A (zh) * 2021-03-19 2021-07-30 西安电子科技大学 显著性压缩的方法、系统、存储介质、计算机设备及应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3432263B1 (en) * 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
CN112884772B (zh) * 2019-11-29 2024-03-19 北京四维图新科技股份有限公司 语义分割架构

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
WO2021041772A1 (en) * 2019-08-30 2021-03-04 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法
CN112507826A (zh) * 2020-11-27 2021-03-16 西安电子科技大学 一种端到端生态变化监测方法、终端、计算机设备及介质
CN113192147A (zh) * 2021-03-19 2021-07-30 西安电子科技大学 显著性压缩的方法、系统、存储介质、计算机设备及应用
CN113012169A (zh) * 2021-03-22 2021-06-22 深圳市人工智能与机器人研究院 一种基于非局部注意力机制的全自动抠图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
融合注意力机制的移动端人像分割网络;周鹏;姚剑敏;林志贤;严群;郭太良;;液晶与显示(第06期);第38-45页 *
遥感影像地物分类多注意力融和U型网络法;李道纪;郭海涛;卢俊;赵传;林雨准;余东行;;测绘学报(第08期);第117-130页 *

Also Published As

Publication number Publication date
CN113592843A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
Cherukuri et al. Deep retinal image segmentation with regularization under geometric priors
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
Wang et al. ScleraSegNet: An attention assisted U-Net model for accurate sclera segmentation
Liu et al. CR-U-Net: Cascaded U-net with residual mapping for liver segmentation in CT images
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
Upadhyay et al. Unsupervised multiscale retinal blood vessel segmentation using fundus images
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
Yang et al. A robust iris segmentation using fully convolutional network with dilated convolutions
Ghosh et al. SDCA: a novel stack deep convolutional autoencoder–an application on retinal image denoising
CN113592843B (zh) 基于改进的U-Net眼底视网膜血管图像分割方法及装置
Tripathi et al. MTCD: Cataract detection via near infrared eye images
Han et al. Fundus retinal vessels image segmentation method based on improved U-Net
Yi et al. C2FTFNet: Coarse-to-fine transformer network for joint optic disc and cup segmentation
Pavani et al. Multistage DPIRef-Net: An effective network for semantic segmentation of arteries and veins from retinal surface
CN117392156A (zh) 基于深度学习的巩膜镜oct图像泪液层分割模型和方法和设备
Huang et al. DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel
Upadhyay et al. Characteristic patch-based deep and handcrafted feature learning for red lesion segmentation in fundus images
Putri et al. Retracted: Implementation of Neural Network Classification for Diabetes Mellitus Prediction System through Iridology Image
Yadav A deep data‐driven approach for enhanced segmentation of blood vessel for diabetic retinopathy
Al-Taani et al. Automatic detection of pneumonia using concatenated convolutional neural network
Wahid et al. Classification of Diabetic Retinopathy from OCT Images using Deep Convolutional Neural Network with BiLSTM and SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant