CN113012163A - 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 - Google Patents
一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113012163A CN113012163A CN202110263762.0A CN202110263762A CN113012163A CN 113012163 A CN113012163 A CN 113012163A CN 202110263762 A CN202110263762 A CN 202110263762A CN 113012163 A CN113012163 A CN 113012163A
- Authority
- CN
- China
- Prior art keywords
- vessel segmentation
- scale
- retinal
- data set
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000001525 retina Anatomy 0.000 title claims abstract description 21
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 20
- 210000001210 retinal vessel Anatomy 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 15
- 239000003795 chemical substances by application Substances 0.000 claims description 14
- 230000004256 retinal image Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims 1
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G06T5/80—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本发明涉及一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质，包括：步骤1：获取数据集；步骤2：数据集预处理；对数据集依次进行灰度处理、自适应直方图均衡化、伽马矫正处理；步骤3：构建视网膜血管分割模型；步骤4：训练视网膜血管分割模型；步骤5：视网膜血管分割；将待分割的眼底视网膜图像预处理后输入训练好的视网膜血管分割模型，得到分割后的输出图像；步骤6：使用分割后的输出图像拼接得到原图，重叠部分取平均的像素值得到视网膜血管分割结果。本发明融合了各个层的特征图，获得了更好的特征表示。增加了注意力模块，关注了那些对结果贡献更大的区域以取得更准确的结果。
Description
技术领域
本发明涉及深度学习算法在医学图像处理领域，具体涉及一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质。
背景技术
眼睛作为人体最重要的器官之一，其对人类观察和认知世界起到至关重要的作用，保护人眼视力一直是社会广泛关注的热点。而中国是世界上盲人最多的国家，需要采取切实有效的措施做好防盲工作。眼底病是我国导致不可逆转性失明的主要因素，所以需要开展大规模的眼底普查，对潜在眼底病患者进行定期的眼底视网膜检查，这对于眼底疾病的积极预防以及早期诊断与治疗有非常重要的意义。
眼底病潜在患者数量庞大，临床上对眼底病变检查主要是通过人工观察眼底视网膜图像来实现，可以通过眼底视网膜图像中血管的特征来进行诊断。但仅靠眼科医学专家人工进行的大规模眼底普查开展较为困难，而且由于对临床医师技术水平要求较高，医师的临床经验直接影响对眼底病诊断的准确性，缺乏经验的医师可能造成对眼底病检测的不准确，存在漏诊和误诊的情况。
为了预防潜在的眼底疾病、提高眼底疾病的诊断效率，我们需要借助图像处理、计算机视觉以及深度学习等技术，对相关医学影像进行处理和分析，设计先进准确的视网膜血管分割算法，可以有效量化和可视化相关病理结构，从而实现计算机辅助甚至代替医生对病情进行准确诊断和精确治疗。
近年来，随着图像处理和分析技术的快速发展，利用计算机进行医学图像处理已经广泛应用于医学的各个学科和领域。传统的机器学习算法有时需要根据实验手动选择特征，不利于自动化的实现。深度学习中各类算法网络结构被用于处理视网膜血管分割并取得了很大的成就。深度卷积神经网络CNN的巨大成功，使得U-Net在医学图像分割方面取得了广泛的应用，但该网络也忽略了路径中的比例变化和特征图中的特定区域，分割准确率还有进一步提升的空间。
发明内容
针对现有技术的不足，本发明提出了一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质；
本发明还提出了一种计算机设备及存储介质；
本发明提出了一个多尺度的注意力神经网络对眼底视网膜图片血管进行分割，通过编码和解码路径中的多尺度连接融合不同层的信息以确保更好的特征表示，同时结合注意力机制抑制特征图中的无关区域来突出显著的特征。
术语解释：
1、自适应直方图均衡化(AHE)，用来提升图像的对比度的一种计算机图像处理技术。和普通的直方图均衡算法不同，AHE算法通过计算图像的局部直方图，然后重新分布亮度来改变图像对比度。因此，该算法更适合于改进图像的局部对比度以及获得更多的图像细节。
2、对比度受限的自适应直方图均衡化(CLAHE)，为了有效的限制噪声放大的情形。自适应直方图均衡化算法处理的局部领域，矩形领域小，局部对比度强，矩形领域大，局部对比度弱。如果矩形区域内的图像块信息比较平坦，灰度接近，其灰度直方图呈尖状，在直方图均衡的过程中就可能会出现过度放大噪声的情况。而由于对比度放大的程度与像素点的概率分布直方图的曲线斜度成比例，所以将大于一定阈值的部分平均分配到直方图的其他地方，通过限制像素点的概率分布直方图的斜率来一定程度的限制对比度来有效的限制噪声的放大。
3、伽马矫正，对图像的伽马曲线进行编辑,以对图像进行非线性色调编辑的方法,检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。
4、U-Net，U-Net是比较早的使用全卷积网络进行语义分割的算法之一，网络模型为包含压缩路径和扩展路径的对称结构，因网络形状结构为U型而得名。U-Net是一个全卷积网络，网络左侧是由卷积和最大池化层构成的下采样操作，叫做压缩路径；网络右侧是由反卷积以及卷积和最大池化层构成的上采样，叫做扩展路径。
5.上采样和下采样：在网络结构中，上采样是为了放大图像，从而可以恢复原图片的大小。下采样是为了缩小图像，获得图片的细节信息。
6.交叉熵损失函数：是深度学习分类问题中经常使用的一种损失函数，能表征真实样本标签和预测概率之间的差值。
7.骰子损失函数：是深度学习中的一种损失函数，用于评估两个样本的相似性的度量函数。
本发明的技术方案如下：
一种基于多尺度注意力网络(Multi-ScaleAttentionNet)的视网膜血管分割方法，包括以下步骤：
步骤1：获取数据集；
步骤2：数据集预处理；
对步骤1获取的数据集依次进行灰度处理、自适应直方图均衡化、伽马(gamma)矫正处理；
步骤3：构建视网膜血管分割模型；
步骤4：训练视网膜血管分割模型；
步骤5：视网膜血管分割测试；
将眼底视网膜图像测试集预处理(依次进行灰度处理、自适应直方图均衡化、伽马(gamma)矫正处理)后输入训练好的视网膜血管分割模型，得到分割后的输出图像；
步骤6：使用分割后的输出图像拼接得到原图，重叠部分取平均的像素值得到视网膜血管分割结果。
根据本发明优选的，步骤1中，获取数据集；是指：获取公开的DRIVE数据集中的眼底视网膜图像作为数据集，该数据集包括40张分辨率为565×584彩色眼底图像，其中7张为病变图像，33张为健康图像，数据集中还包括人工分割的视网膜血管图像标签，其中，20张作为训练集，20张作为测试集。
根据本发明优选的，步骤1中，获取数据集；是指：获取公开的CHASE_DB1数据集中的眼底视网膜图像作为数据集，该数据集包含14个儿童左右眼的28幅彩色视网膜图像，每幅图像的像素大小为999×960，数据集分为两组，随机选择样本，20张作为训练集，20张作为测试集。
根据本发明优选的，步骤2中，数据集预处理，包括步骤如下：
步骤2.1：对步骤1获取的数据集进行灰度处理，将所有的图片都转换成灰度图；
步骤2.2：对步骤2.1得到的灰度图进行对比度受限的自适应直方图均衡化；对比度受限的自适应直方图均衡算法能够有效的限制噪声放大的情形。
步骤2.3：使用伽马矫正，对步骤2.2处理后得到的图像进行非线性操作。这将减少了图片的噪声并能够提升血管的整体对比度，有利于进行血管的提取。
根据本发明优选的，步骤2之后进行如下操作，包括：
步骤2.4：由于图片边界处基本没有血管，为了获得正方形数据，将步骤2.3处理后得到的565×584像素的图片裁剪为仅包含从第9列到第574列的有效数据，得到565×565像素的正方形图片；
步骤2.5：对正方形图片进行裁剪，从20张图片中随机采样裁剪出190000张48×48像素大小图片，以扩展数据集，其中的90％作为训练集，剩下的10％作为验证集。
本发明使用多尺度注意力网络Multi-ScaleAttentionNet，使用U-Net中的编码和解码路径，再引入跳跃连接来使网络能够学习更好的特征。每个路径都包含四个空间比例块(spatialscaleblock)，融合每个比例块和不同空间比例块中的特征图。每个跳跃连接上还加入了注意力机制，使用注意力门(AGs)来突出编码路径中空间比例块的显著输出特征。
根据本发明优选的，所述视网膜血管分割模型包括多尺度连接网络和注意力模块；
所述多尺度连接网络包括编码路径和解码路径，编码路径和解码路径均包括四个空间比例块，每个空间比例块经过两次大小为3×3的2D卷积滤波器、ReLU和批量归一化(BN)层，并且输入和该输入经过卷积层的输出特征图被连接起来；这将减少过拟合，并将输入的尺寸减小了一半，有利于网络学习上下文的信息。
编码路径中，在每个空间比例块中，输入和该输入经过卷积层的输出特征图被连接起来，以增强感受野的尺度；每一个空间比例块的输入和输出分别经过2×2最大池化层最大池化后连接起来作为下一个空间比例块的输入；
解码路径和编码路径基本相同，解码路径中，每个空间比例块也经过两次大小为3×3的2D卷积滤波器、ReLU和批量归一化(BN)层，并且输入和该输入经过卷积层的输出特征图被连接起来，每个空间比例块中将经过2×2的上采样之后的前一个空间比例块的输出与空间比例块的输出相结合；这些连接可以更好的融合空间比例信息块以确保更好的特征表示。对于最后一层，解码路径的输出特征图由具有L通道的1×1卷积层处理，L是包括背景的类别数，使用softmax函数激活，计算每个像素属于每个类别的概率。
所述注意力模块包括三个注意力门即AG门；
为了突出编码路径中的每个空间比例块中的显著输出特征，我们加入了三个注意力门(AGs)。AGs加入到多尺度连接网络中，可以抑制跳跃连接中的不相关的区域。
AG门包括门控向量g和目标信号x，门控向量g用于根据特征的重要性为目标信号x的每个像素赋予权重；
将编码路径中的每个空间比例块的输出作为目标信号x，从解码路径中空间比例块的上采样结果中采集门控向量g，AG门的输出
是由权重矩阵和目标信号x相乘得到的，得到的输出作为解码路径的部分输入；
在AG门中，首先，用1×1的卷积滤波器处理g和x后加上输出的特征图，F是特征图通道的数量，H和W是特征图的高度和宽度；然后，将特征图经过ReLU激活函数和1×1的卷积滤波器后用作输出张量；最后，采用sigmoid激活函数对上一步的结果进行处理，得到权重矩阵Hk×Wk。在每个卷积层之后使用批量归一化(BN)层以减少过拟合。AG门将门控向量g和目标信号x的特征连接起来以保证网络能够更好的关注目标信号的特定区域。
本发明提出了一种新的网络结构，通过连接来自不同外部和内部空间尺度块的特征来更全面的学习多尺度信息，并增加注意力模块来关注重要的特征。本发明在两个公开的数据库上进行了广泛的实验评估，在多个评价指标上取得了显著的分割效果，在DRIVE和CHASE_DB1数据集上的准确率分别为95.57％和95.94％，ROC曲线值达到96.77％和97.15％，可实现快速自动的视网膜血管分割。
步骤4中，训练视网膜血管分割模型，是指：使用PyTorch框架进行视网膜血管分割模型的训练，损失函数使用交叉熵损失函数以及骰子损失函数相结合来解决类平衡问题，系数都为0.5，学习率设置为0.0002，迭代次数为150。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述基于多尺度注意力网络的视网膜血管分割方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多尺度注意力网络的视网膜血管分割方法的步骤。
本发明的有益效果为：
1、融合了各个层的特征图，获得了更好的特征表示。
2、利用不同层次的多尺度连接获得了更全面的信息表达。
3、增加了注意力模块，关注了那些对结果贡献更大的区域以取得更准确的结果。
附图说明
图1为本发明基于多尺度注意力网络的视网膜血管分割方法的流程示意图；
图2为现有的DRIVE数据集中训练集中的图片之一tra_40的视网膜灰度图像示意图；
图3为本发明对图2视网膜灰度图像采用自适应直方图均衡化和伽马矫正处理后的效果示意图；
图4为本发明裁剪出的48×48像素大小的图片的效果示意图；
图5为本发明视网膜血管分割模型完整结构示意图；
图6为本发明注意力门的结构示意图；
图7(a)为本发明在DRIVE数据集上的最终的分割结果图示例一；
图7(b)为本发明在DRIVE数据集上的最终的分割结果图示例二；
图7(c)为本发明在DRIVE数据集上的最终的分割结果图示例三；
图8(a)为本发明在CHASE_DB1数据集上的最终的分割结果图示例一；
图8(b)为本发明在CHASE_DB1数据集上的最终的分割结果图示例二；
图8(c)为本发明在CHASE_DB1数据集上的最终的分割结果图示例三；
图9为本发明视网膜血管分割方法在DRIVE数据集上的ROC曲线图；
图10为本发明视网膜血管分割方法在CHASE_DB1数据集上的ROC曲线图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于多尺度注意力网络(Multi-ScaleAttentionNet)的视网膜血管分割方法，如图1所示，包括以下步骤：
步骤1：获取数据集；
步骤2：数据集预处理；
对步骤1获取的数据集依次进行灰度处理、自适应直方图均衡化、伽马(gamma)矫正处理；
步骤3：构建视网膜血管分割模型；
步骤4：训练视网膜血管分割模型；是指：使用PyTorch框架进行视网膜血管分割模型的训练，损失函数使用交叉熵损失函数以及骰子损失函数相结合来解决类平衡问题，系数都为0.5，学习率设置为0.0002，迭代次数为150。
步骤5：视网膜血管分割测试；
将眼底视网膜图像测试集预处理(依次进行灰度处理、自适应直方图均衡化、伽马(gamma)矫正处理)后输入训练好的视网膜血管分割模型，得到分割后的输出图像；
步骤6：使用分割后的输出图像拼接得到原图，重叠部分取平均的像素值得到视网膜血管分割结果。
实施例2
根据实施例1所述的一种基于多尺度注意力网络(Multi-ScaleAttentionNet)的视网膜血管分割方法，其区别在于：
步骤2中，数据集预处理，包括步骤如下：
步骤2.1：对步骤1获取的数据集进行灰度处理，将所有的图片都转换成灰度图；图2为现有的DRIVE数据集中训练集中的图片之一tra_40的视网膜灰度图像示意图。
步骤2.2：对步骤2.1得到的灰度图进行对比度受限的自适应直方图均衡化；对比度受限的自适应直方图均衡算法能够有效的限制噪声放大的情形。
步骤2.3：使用伽马矫正，对步骤2.2处理后得到的图像进行非线性操作。这将减少了图片的噪声并能够提升血管的整体对比度，有利于进行血管的提取。图3为对图2视网膜灰度图像采用自适应直方图均衡化和伽马矫正处理后的效果示意图。
步骤2之后进行如下操作，包括：
步骤2.4：由于图片边界处基本没有血管，为了获得正方形数据，将步骤2.3处理后得到的565×584像素的图片裁剪为仅包含从第9列到第574列的有效数据，得到565×565像素的正方形图片；图4为裁剪出的48×48像素大小的图片的效果示意图。
步骤2.5：对正方形图片进行裁剪，从20张图片中随机采样裁剪出190000张48×48像素大小图片，以扩展数据集，其中的90％作为训练集，剩下的10％作为验证集。
本发明使用多尺度注意力网络Multi-ScaleAttentionNet，使用U-Net中的编码和解码路径，再引入跳跃连接来使网络能够学习更好的特征。每个路径都包含四个空间比例块(spatialscaleblock)，融合每个比例块和不同空间比例块中的特征图。每个跳跃连接上还加入了注意力机制，使用注意力门(AGs)来突出编码路径中空间比例块的显著输出特征。
实施例3
根据实施例2所述的一种基于多尺度注意力网络(Multi-ScaleAttentionNet)的视网膜血管分割方法，其区别在于：
如图5所示，视网膜血管分割模型包括多尺度连接网络和注意力模块；
多尺度连接网络包括编码路径和解码路径，编码路径和解码路径均包括四个空间比例块，每个空间比例块经过两次大小为3×3的2D卷积滤波器、ReLU和批量归一化(BN)层，并且输入和该输入经过卷积层的输出特征图被连接起来；这将减少过拟合，并将输入的尺寸减小了一半，有利于网络学习上下文的信息。
编码路径中，在每个空间比例块中，输入和该输入经过卷积层的输出特征图被连接起来，以增强感受野的尺度；每一个空间比例块的输入和输出分别经过2×2最大池化层最大池化后连接起来作为下一个空间比例块的输入；
解码路径和编码路径基本相同，解码路径中，每个空间比例块也经过两次大小为3×3的2D卷积滤波器、ReLU和批量归一化(BN)层，并且输入和该输入经过卷积层的输出特征图被连接起来，每个空间比例块中将经过2×2的上采样之后的前一个空间比例块的输出与空间比例块的输出相结合；这些连接可以更好的融合空间比例信息块以确保更好的特征表示。对于最后一层，解码路径的输出特征图由具有L通道的1×1卷积层处理，L是包括背景的类别数，使用softmax函数激活，计算每个像素属于每个类别的概率。
注意力模块包括三个注意力门即AG门；
为了突出编码路径中的每个空间比例块中的显著输出特征，我们加入了三个注意力门(AGs)。AGs加入到多尺度连接网络中，可以抑制跳跃连接中的不相关的区域。
如图6所示，AG门包括门控向量g和目标信号x，门控向量g用于根据特征的重要性为目标信号x的每个像素赋予权重；
将编码路径中的每个空间比例块的输出作为目标信号x，从解码路径中空间比例块的上采样结果中采集门控向量g，AG门的输出
是由权重矩阵和目标信号x相乘得到的，得到的输出作为解码路径的部分输入；
在AG门中，首先，用1×1的卷积滤波器处理g和x后加上输出的特征图，F是特征图通道的数量，H和W是特征图的高度和宽度；然后，将特征图经过ReLU激活函数和1×1的卷积滤波器后用作输出张量；最后，采用sigmoid激活函数对上一步的结果进行处理，得到权重矩阵Hk×Wk。在每个卷积层之后使用批量归一化(BN)层以减少过拟合。AG门将门控向量g和目标信号x的特征连接起来以保证网络能够更好的关注目标信号的特定区域。
本发明将U-Net拓展为MA-Net，使用了空间比例块以学习多尺度信息，融合不同层的信息以确保更好的特征表示，加入注意力机制抑制特征图中的无关区域来突出显著特征。本发明具有视网膜血管分割准确率高的优点，可以作为医疗领域的计算机辅助诊断，提高医生的诊断效率和降低误诊率，以帮助大规模眼底普查和眼部疾病的诊断。
本发明通过连接来自不同外部和内部空间尺度块的特征来更全面的学习多尺度信息，并增加注意力模块来关注重要的特征。
本发明在两个公开的数据库上进行了广泛的实验评估。
实验对象为公开数据集DRIVE，该数据集包括40张分辨率为565×584彩色眼底图像，其中7张为病变图像，33张为健康图像，数据集中还包含人工分割的视网膜血管图像标签，其中20张作为训练集，20张作为测试集。
另一个公开数据集为CHASE_DB1，该数据集包含14个儿童左右眼的28幅彩色视网膜图像，每幅图像的像素大小为999×960。数据集分为两组，随机选择样本。20个样本用作训练数据，另外8个样本用于测试。所有训练图像中的90％作为训练集，数据集中的10％作为验证集。
图7(a)为在DRIVE数据集上的最终的分割结果图示例一；图7(b)为在DRIVE数据集上的最终的分割结果图示例二；图7(c)为在DRIVE数据集上的最终的分割结果图示例三；图9为视网膜血管分割方法在DRIVE数据集上的ROC曲线图。
图8(a)为在CHASE_DB1数据集上的最终的分割结果图示例一；图8(b)为在CHASE_DB1数据集上的最终的分割结果图示例二；图8(c)为在CHASE_DB1数据集上的最终的分割结果图示例三；图10为视网膜血管分割方法在CHASE_DB1数据集上的ROC曲线图。
在多个评价指标上取得了显著的分割效果，在DRIVE和CHASE_DB1数据集上的准确率分别为95.57％和95.94％，ROC曲线值达到96.77％和97.15％，可实现快速自动的视网膜血管分割。
实施例4
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行实施例1-3任一所述基于多尺度注意力网络的视网膜血管分割方法的步骤。
实施例5
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1-3任一所述基于多尺度注意力网络的视网膜血管分割方法的步骤。
Claims (8)
1.一种基于多尺度注意力网络的视网膜血管分割方法，其特征在于，包括以下步骤：
步骤1：获取数据集；
步骤2：数据集预处理；
对步骤1获取的数据集依次进行灰度处理、自适应直方图均衡化、伽马矫正处理；
步骤3：构建视网膜血管分割模型；
步骤4：训练视网膜血管分割模型；
步骤5：视网膜血管分割测试；
将眼底视网膜图像测试集预处理后输入训练好的视网膜血管分割模型，得到分割后的输出图像；
步骤6：使用分割后的输出图像拼接得到原图，重叠部分取平均的像素值得到视网膜血管分割结果。
2.根据权利要求1所述的一种基于多尺度注意力网络的视网膜血管分割方法，其特征在于，所述视网膜血管分割模型包括多尺度连接网络和注意力模块；
所述多尺度连接网络包括编码路径和解码路径，编码路径和解码路径均包括四个空间比例块，每个空间比例块经过两次大小为3×3的2D卷积滤波器、ReLU和批量归一化层，并且输入和该输入经过卷积层的输出特征图被连接起来；
编码路径中，在每个空间比例块中，输入和该输入经过卷积层的输出特征图被连接起来，每一个空间比例块的输入和输出分别经过2×2最大池化层最大池化后连接起来作为下一个空间比例块的输入；
解码路径中，每个空间比例块也经过两次大小为3×3的2D卷积滤波器、ReLU和批量归一化层，并且输入和该输入经过卷积层的输出特征图被连接起来，每个空间比例块中将经过2×2的上采样之后的前一个空间比例块的输出与空间比例块的输出相结合；对于最后一层，解码路径的输出特征图由具有L通道的1×1卷积层处理，L是包括背景的类别数，使用softmax函数激活，计算每个像素属于每个类别的概率；
所述注意力模块包括三个注意力门即AG门；
AG门包括门控向量g和目标信号x，门控向量g用于根据特征的重要性为目标信号x的每个像素赋予权重；
将编码路径中的每个空间比例块的输出作为目标信号x，从解码路径中空间比例块的上采样结果中采集门控向量g，AG门的输出
是由权重矩阵和目标信号x相乘得到的，得到的输出作为解码路径的部分输入；
在AG门中，首先，用1×1的卷积滤波器处理g和x后加上输出的特征图，F是特征图通道的数量，H和W是特征图的高度和宽度；然后，将特征图经过ReLU激活函数和1×1的卷积滤波器后用作输出张量；最后，采用sigmoid激活函数对上一步的结果进行处理，得到权重矩阵Hk×Wk。
3.根据权利要求1所述的一种基于多尺度注意力网络的视网膜血管分割方法，其特征在于，步骤1中，获取数据集；是指：获取公开的DRIVE数据集中的眼底视网膜图像作为数据集，该数据集包括40张分辨率为565×584彩色眼底图像，其中7张为病变图像，33张为健康图像，数据集中还包括人工分割的视网膜血管图像标签，其中，20张作为训练集，20张作为测试集。
4.根据权利要求1所述的一种基于多尺度注意力网络的视网膜血管分割方法，其特征在于，步骤1中，获取数据集；是指：获取公开的CHASE_DB1数据集中的眼底视网膜图像作为数据集，该数据集包含14个儿童左右眼的28幅彩色视网膜图像，每幅图像的像素大小为999×960，数据集分为两组，随机选择样本，20张作为训练集，20张作为测试集。
5.根据权利要求1所述的一种基于多尺度注意力网络的视网膜血管分割方法，其特征在于，步骤2中，数据集预处理，包括步骤如下：
步骤2.1：对步骤1获取的数据集进行灰度处理，转换成灰度图；
步骤2.2：对步骤2.1得到的灰度图进行对比度受限的自适应直方图均衡化；
步骤2.3：使用伽马矫正，对步骤2.2处理后得到的图像进行非线性操作。
6.根据权利要求1所述的一种基于多尺度注意力网络的视网膜血管分割方法，其特征在于，步骤2之后进行如下操作，包括：
步骤2.4：将步骤2.3处理后得到的565×584像素的图片裁剪为仅包含从第9列到第574列的有效数据，得到565×565像素的正方形图片；
步骤2.5：对正方形图片进行裁剪，从20张图片中随机采样裁剪出190000张48×48像素大小图片，其中90％作为训练集，剩下的10％作为验证集。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行权利要求1-6任一所述基于多尺度注意力网络的视网膜血管分割方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一所述基于多尺度注意力网络的视网膜血管分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110263762.0A CN113012163A (zh) | 2021-03-11 | 2021-03-11 | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110263762.0A CN113012163A (zh) | 2021-03-11 | 2021-03-11 | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113012163A true CN113012163A (zh) | 2021-06-22 |
Family
ID=76404879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110263762.0A Pending CN113012163A (zh) | 2021-03-11 | 2021-03-11 | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012163A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487615A (zh) * | 2021-06-29 | 2021-10-08 | 上海海事大学 | 基于残差网络特征提取的视网膜血管分割方法及终端 |
| CN114494196A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| CN115205298A (zh) * | 2022-09-19 | 2022-10-18 | 真健康（北京）医疗科技有限公司 | 肝部区域血管分割的方法及设备 |
| CN117274278A (zh) * | 2023-09-28 | 2023-12-22 | 武汉大学人民医院（湖北省人民医院） | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
-
2021
- 2021-03-11 CN CN202110263762.0A patent/CN113012163A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| YULIN WU 等: ""Multi-scale Attention Net for Retina Blood Vessel Segmentation"", 《CSAI 2020》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487615A (zh) * | 2021-06-29 | 2021-10-08 | 上海海事大学 | 基于残差网络特征提取的视网膜血管分割方法及终端 |
| CN113487615B (zh) * | 2021-06-29 | 2024-03-22 | 上海海事大学 | 基于残差网络特征提取的视网膜血管分割方法及终端 |
| CN114494196A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| WO2023143628A1 (zh) * | 2022-01-26 | 2023-08-03 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| CN114494196B (zh) * | 2022-01-26 | 2023-11-17 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| CN115205298A (zh) * | 2022-09-19 | 2022-10-18 | 真健康（北京）医疗科技有限公司 | 肝部区域血管分割的方法及设备 |
| CN117274278A (zh) * | 2023-09-28 | 2023-12-22 | 武汉大学人民医院（湖北省人民医院） | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 |
| CN117274278B (zh) * | 2023-09-28 | 2024-04-02 | 武汉大学人民医院（湖北省人民医院） | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197493B (zh) | 眼底图像血管分割方法 | |
| US20200250497A1 (en) | Image classification method, server, and computer-readable storage medium | |
| Li et al. | Accurate retinal vessel segmentation in color fundus images via fully attention-based networks | |
| Haloi | Improved microaneurysm detection using deep neural networks | |
| CN109543719B (zh) | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN109345538A (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN112150476A (zh) | 基于时空判别性特征学习的冠状动脉序列血管分割方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
| CN111104961A (zh) | 基于改进的MobileNet网络对乳腺癌进行分类的方法 | |
| Ye et al. | MFI-Net: Multiscale feature interaction network for retinal vessel segmentation | |
| CN114038564A (zh) | 一种糖尿病无创风险预测方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN113763292A (zh) | 一种基于深度卷积神经网络的眼底视网膜图像分割方法 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| Miao et al. | Classification of Diabetic Retinopathy Based on Multiscale Hybrid Attention Mechanism and Residual Algorithm | |
| Qin et al. | A review of retinal vessel segmentation for fundus image analysis | |
| Tian et al. | Learning discriminative representations for fine-grained diabetic retinopathy grading | |
| Vamsi et al. | Early Detection of Hemorrhagic Stroke Using a Lightweight Deep Learning Neural Network Model. | |
| Nandakumar et al. | Detection of Diabetic Retinopathy from Retinal Images Using DenseNet Models. | |
| CN115049682A (zh) | 一种基于多尺度密集网络的视网膜血管分割方法 | |
| CN114649092A (zh) | 基于半监督学习和多尺度特征融合的辅助诊断方法及装置 | |
| Zijian et al. | AFFD-Net: A Dual-Decoder Network Based on Attention-Enhancing and Feature Fusion for Retinal Vessel Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210622 |