CN111862056A - 一种基于深度学习的视网膜血管图像分割方法 - Google Patents

一种基于深度学习的视网膜血管图像分割方法 Download PDF

Info

Publication number
CN111862056A
CN111862056A CN202010719019.7A CN202010719019A CN111862056A CN 111862056 A CN111862056 A CN 111862056A CN 202010719019 A CN202010719019 A CN 202010719019A CN 111862056 A CN111862056 A CN 111862056A
Authority
CN
China
Prior art keywords
image
feature
layer
input
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010719019.7A
Other languages
English (en)
Inventor
赵晓芳
陈雪芳
林盛鑫
梁桢灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202010719019.7A priority Critical patent/CN111862056A/zh
Publication of CN111862056A publication Critical patent/CN111862056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的视网膜血管图像分割方法，通过对眼底图像增强，扩增训练集数据，构建密集连接卷积块，并采用密集连接卷积块取代传统卷积块实现特征重用并增强特征提取能力；构建注意力机制模块，通过对特征图进行自适应调整，使重要特征突出显现以抑制无效特征；搭建模型，搭建DA‑Unet网络，并使用处理好的数据集进行训练、调参，得到最佳分割模型并保存；实际分割，利用滑动窗口把需要分割视网膜血管的眼底图像分割为48x48的子块图像输入DA‑Uet网络中进行分割，输出分割后的子块图像结果，再对分割后的小方块图像拼接完整视网膜血管分割图像。本发明能够自动分割血管，对微小血管也具有良好的分割效果。

Description

一种基于深度学习的视网膜血管图像分割方法
技术领域
本发明涉及一种图像分割方法，特别是一种基于深度学习的视网膜血管图像分割方法，属于图像处理领域。
背景技术
视网膜血管的形态结构变化往往意味着某些病理疾病的出现，例如高血压或糖尿病。高血压性视网膜病变是一种由高血压引起的视网膜疾病，其病理特征往往表现为视网膜血管曲度增大，或导致血管收缩。而糖尿病视网膜病变则是由血糖升高引起的视网膜疾病，往往伴有视网膜血管肿胀的病理特征。因此，眼底图像中的视网膜血管结构变化情况可以辅助眼科医生发现和诊断某些严重疾病的早期情况。然而，视网膜血管中存在大量微小血管，血管交互重叠且结构非常复杂。另外，视网膜血管与眼球对比度低，微小血管很难区别出来，且眼底图像在成像时，光线不均匀和噪声对其影响非常大。所以，在眼底图片上分离出视网膜血管异常复杂困难。眼底图分割视网膜血管主要分为人工分割和自动分割。前者费时费力，并要求眼科医生具有丰富的经验，效率低下，难以推广。而后者大幅度减少人工分割的工作量，因此自动分割视网膜血管具有重要意义。
目前，分割视网膜方法主要分为人工分割和自动分割，但人工分割主要依靠眼科医生的观察和手动标记，这个不仅导致效率低，而且具有较大差异性，对眼科医生水平要求较高，无法普及。同时因为视网膜血管结构复杂，存在很多微小血，眼科医生需要耗费大量的时间和精力，往往会耽搁患者的治疗时间。而自动分割，无需眼科医生的协助也可以实现自动化分割血管，并且得到数据较为客观，排除水平不同导致的结果差异，且对微小血管也得到较好的分割效果。然而自动分割方法的优劣，直接会导致最后的图像是否清楚直观，目前现有技术的分割方法效果并不理想。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的视网膜血管图像分割方法，实现视网膜血管图像的自动分割并且达到良好的分割效果。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于深度学习的视网膜血管图像分割方法，其特征在于包含以下步骤：
步骤一：眼底图像增强，对眼底图像进行对比度增强以突出视网膜血管细节；
步骤二：训练集数据扩增，对图像增强后的眼底图进行随机旋转，并随机分割出一系列48x48的小方块作为数据集；
步骤三：构建密集连接卷积块，并采用密集连接卷积块取代传统卷积块实现特征重用并增强特征提取能力；
步骤四：构建注意力机制模块，通过对特征图进行自适应调整，使重要特征突出显现以抑制无效特征；
步骤五：搭建模型，搭建DA-Unet网络，并使用处理好的数据集进行训练、调参，得到最佳分割模型并保存；
步骤六：实际分割，利用滑动窗口把需要分割视网膜血管的眼底图像分割为48x48的子块图像输入DA-Uet网络中进行分割，输出分割后的子块图像结果，再对分割后的小方块图像拼接完整视网膜血管分割图像。
进一步地，所述步骤一具体为对训练集的眼底图像提取对比度较高的绿色通道，归一化处理；再使用自适应直方图均衡化，对图像中每一个像素计算邻域直方图得到直方图变换函数，使用直方图变换函数对图像进行均衡化，提高视网膜血管与背景对比度；最后使用gamma矫正，对图像进行非线性操作，使矫正后图像像素与矫正前呈指数关系，矫正眼底图像因光线不均导致的漂白或过暗。
进一步地，所述步骤二具体为将增强后的眼底图像，进行边缘填充得到一张正方形图像，沿着正方形图像的中心坐标旋转一个随机角度并保存，按照此方法把原有数据集扩充5倍；然后构造生成器，生成器每次训练时在数据集中任意图片上的任意坐标采集一个48*48的子块作为训练集图像。
进一步地，所述步骤三具体为
首先构建密集连接子块，密集连接子块先通过1x1的卷积层将输入信息进行特征整合，限制输入特征层使其不会过宽，再通过3x3的卷积层进行特征提取，提取的特征图通过归一化层和ReLU激活函数层将特征进行非线性划分提取；
然后将4层密集连接子块搭建为密集连接卷积块，每个密集连接子块卷积得到的特征图都与输入相叠加后作为输出，其数学表达式为：
xl＝Hl([x0,x1,…,xl-1])
其中，Hl代表第l层的密集连接子块，xi为第i个密集连接子块提取的特征图，[x0,x1,…,xl-1]为前l-1层特征图集合；密集连接子块的输入均为前一个密集连接子块输出的全部特征图；
在密集连接中，密集连接子块输入为前一个子块卷积得到的特征图，根据最大化提取特征的原则，此层提取的特征图为此层独有，使得网络不会提取得到相同的特征图，最大化了网络模型的特征信息保留，实现了特征重用，提高特征利用率，并且以前一个密集连接子块输出的全部特征图作为本密集连接子块的输入，缓和梯度消失问题。
进一步地，所述步骤四具体为
CBAM注意力机制由通道注意力模块和空间注意力模块组成；
通道注意力模块使用全局平均池化和全局最大化池化获取两个全局信息向量，然后分别输入共享网络中进行通道特征提取，最后将提取到的通道特征信息相加，通过sigmoid激活函数得到通道注意力图谱Mc；
Mc(F)＝sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，MLP为共享网络，由多层感知器组成；F为输入特征图；通道注意力图谱Mc与输入特征图进行相乘得到通道调整后的新特征图；
空间注意力模块主要关注特征位置信息，通过在通道维度上进行最大池化和平均池化，得到两个特征图，将两个特征图连接起来使用7x7的卷积核进行特征提取，得到空间注意力图谱Ms；
Ms(F)＝sigmoid(f7×7([AvgPool(F)；MaxPool(F)]))
其中，f7×7为7x7的卷积核卷积操作，空间注意力图谱Ms与输入特征图进行相乘得到空间调整后的新特征图。
进一步地，所述步骤五具体为
构建DA-Unet网络模型；
使用密集连接卷积块和最大池化层组成下采样层，包含4个下采样层，前3个下采样层后均接有最大池化层用以特征压缩；
使用密集连接卷积块和放卷积层构成上采样层，与下采样层作为对称结构，上采样层也具有4层，其中后3个上采样层后采用反卷积方法来对特征图进行上采样；
前3层下采样层和上采用层以跳跃连接的方法把特征图连接起来，使得下采样的深度信息与上采样中的浅层信息相结合，利用信息丰富的深度信息来弥补上采样中浅层信息的信息缺少问题，最大化保证上采样的信息完整性；
在最后一层下采样与第一层上采样中使用CBAM注意力模块进行连接；
DA-Unet模型最后输出时使用2层卷积层进行血管分割，激活函数为sigmoid；分割视网膜血管属于二分类，损失函数为：
Figure BDA0002599284110000061
其中，yi为样本的标签，正类为1，负类为0；
Figure BDA0002599284110000062
为预测为正确的概率；
使用adam优化器，将数据输入DA-Unet网络中进行训练，保存测试集上最佳性能的模型最为最终模型。
进一步地，使用adam优化器，将数据输入DA-Unet网络中进行100轮训练，每轮输入数据为100000张，每个batch为40，保存测试集上最佳性能的模型最为最终模型。
进一步地，所述步骤六具体为实际需分割的眼底图取绿色通道，以48x48的滑动窗口、步进为5的方式在图像上滑动切割出48x48的小块，并输入训练好的DA-Unet模型中，得到分割后的输出图像；然后将输出小块以步进5的方法进行拼接。
进一步地，将输出小块以步进5的方法进行拼接，其中重叠的像素部分取平均值像素。
本发明与现有技术相比，具有以下优点和效果：本发明提供了一种基于深度学习的视网膜血管图像分割方法，能够自动分割血管，对微小血管也具有良好的分割效果；本发明通过对眼底图像数据进行取绿色通道，归一化处理，自适应对比度增强，gamma矫正，减少噪声以及光照影响，并提高对比度；对数据进行增强和分割得到更大的训练数据集，提高识别精度；构建密集连接卷积取代传统卷积块，实现特征重用，增强特征提取能力；构建注意力机制模块，通过对特征图做出自适应调整，使得重要特征得到更好的表现，从而抑制无效特征；在U-Net模型基础上，融合CBAM注意力机制和Densenet密集连接构建Densenet-Attention-Unet(DA-Unet)网络进行训练并得到较好的分割模型。
附图说明
图1是本发明的一种基于深度学习的视网膜血管图像分割方法的流程图。
图2是本发明的眼底图像增强的效果图。
图3是本发明的训练集数据扩增的示意图。
图4是本发明的密集连接子块结构图。
图5是本发明的密集连接卷积块的结构图。
图6是本发明的DA-Unet网络的结构图。
图7是本发明的视网膜血管图像分割结果图。
具体实施方式
下面通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
如图1所示，本发明的一种基于深度学习的视网膜血管图像分割方法，包含以下步骤：
步骤一：眼底图像增强，对眼底图像进行对比度增强以突出视网膜血管细节。
该部分的处理主要为了提高视网膜血管和背景对比度，使得血管更加明显突出，提高分割精度。对训练集的眼底图像提取对比度较高的绿色通道，归一化处理；再使用自适应直方图均衡化，对图像中每一个像素计算邻域直方图得到直方图变换函数，使用直方图变换函数对图像进行均衡化，提高视网膜血管与背景对比度；最后使用gamma矫正，对图像进行非线性操作，使矫正后图像像素与矫正前呈指数关系，矫正眼底图像因光线不均导致的漂白或过暗。效果示意图如图2所示。
步骤二：训练集数据扩增，对图像增强后的眼底图进行随机旋转，并随机分割出一系列48x48的小方块作为数据集。
如图3所示，将增强后的眼底图像，进行边缘填充得到一张正方形图像，沿着正方形图像的中心坐标旋转一个随机角度并保存，按照此方法把原有数据集扩充5倍；然后构造生成器，生成器每次训练时在数据集中任意图片上的任意坐标采集一个48*48的子块作为训练集图像。
步骤三：构建密集连接卷积块，并采用密集连接卷积块取代传统卷积块实现特征重用并增强特征提取能力。
首先构建密集连接子块，密集连接子块先通过1x1的卷积层将输入信息进行特征整合，限制输入特征层使其不会过宽，再通过3x3的卷积层进行特征提取，提取的特征图通过归一化层和ReLU激活函数层将特征进行非线性划分提取；密集连接子块结构如图4所示。
然后将4层密集连接子块搭建为密集连接卷积块，每个密集连接子块卷积得到的特征图都与输入相叠加后作为输出，其数学表达式为：
xl＝Hl([x0,x1,…,xl-1])
其中，Hl代表第l层的密集连接子块，xi为第i个密集连接子块提取的特征图，[x0,x1,…,xl-1]为前l-1层特征图集合；密集连接子块的输入均为前一个密集连接子块输出的全部特征图，缩短了前后层距离，最大化层与层之间信息流动。
在密集连接中，密集连接子块输入为前一个子块卷积得到的特征图，根据最大化提取特征的原则，此层提取的特征图为此层独有，使得网络不会提取得到相同的特征图，最大化了网络模型的特征信息保留，实现了特征重用，提高特征利用率，并且以前一个密集连接子块输出的全部特征图作为本密集连接子块的输入，缓和梯度消失问题。密集连接卷积块结构如图5所示。
步骤四：构建注意力机制模块，通过对特征图进行自适应调整，使重要特征突出显现以抑制无效特征。
注意力机制对特征进行自适应处理，使得关键特征更加突出并抑制无关特征。CBAM注意力机制由通道注意力模块和空间注意力模块组成；
通道注意力模块使用全局平均池化和全局最大化池化获取两个全局信息向量，然后分别输入共享网络中进行通道特征提取，最后将提取到的通道特征信息相加，通过sigmoid激活函数得到通道注意力图谱Mc；
Mc(F)＝sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，MLP为共享网络，由多层感知器组成；F为输入特征图；通道注意力图谱Mc与输入特征图进行相乘得到通道调整后的新特征图；
空间注意力模块主要关注特征位置信息，通过在通道维度上进行最大池化和平均池化，得到两个特征图，将两个特征图连接起来使用7x7的卷积核进行特征提取，得到空间注意力图谱Ms；
Ms(F)＝sigmoid(f7×7([AvgPool(F)；MaxPool(F)]))
其中，f7×7为7x7的卷积核卷积操作，空间注意力图谱Ms与输入特征图进行相乘得到空间调整后的新特征图。
步骤五：搭建模型，搭建DA-Unet网络，并使用处理好的数据集进行训练、调参，得到最佳分割模型并保存。
构建DA-Unet网络模型；
使用密集连接卷积块和最大池化层组成下采样层，包含4个下采样层，前3个下采样层后均接有最大池化层用以特征压缩，去除冗余信息，降低运算量。
使用密集连接卷积块和放卷积层构成上采样层，与下采样层作为对称结构，上采样层也具有4层，其中后3个上采样层后采用反卷积方法来对特征图进行上采样，还原图像大小。
前3层下采样层和上采用层以跳跃连接的方法把特征图连接起来，使得下采样的深度信息与上采样中的浅层信息相结合，利用信息丰富的深度信息来弥补上采样中浅层信息的信息缺少问题，最大化保证上采样的信息完整性；
在最后一层下采样与第一层上采样中使用CBAM注意力模块进行连接；
DA-Unet模型最后输出时使用2层卷积层进行血管分割，激活函数为sigmoid；DA-Unet模型如图6所示。因为分割视网膜血管属于二分类，损失函数为：
Figure BDA0002599284110000111
其中，yi为样本的标签，正类为1，负类为0；
Figure BDA0002599284110000112
为预测为正确的概率。
使用adam优化器，将数据输入DA-Unet网络中进行100轮训练，每轮输入数据为100000张，每个batch为40，保存测试集上最佳性能的模型最为最终模型。
步骤六：实际分割，利用滑动窗口把需要分割视网膜血管的眼底图像分割为48x48的子块图像输入DA-Uet网络中进行分割，输出分割后的子块图像结果，再对分割后的小方块图像拼接完整视网膜血管分割图像。
如图7所示，实际需分割的眼底图取绿色通道，以48x48的滑动窗口、步进为5的方式在图像上滑动切割出48x48的小块，并输入训练好的DA-Unet模型中，得到分割后的输出图像；然后将输出小块以步进5的方法进行拼接，其中重叠的像素部分取平均值像素。
本发明提供了一种基于深度学习的视网膜血管图像分割方法，能够自动分割血管，对微小血管也具有良好的分割效果；本发明通过对眼底图像数据进行取绿色通道，归一化处理，自适应对比度增强，gamma矫正，减少噪声以及光照影响，并提高对比度；对数据进行增强和分割得到更大的训练数据集，提高识别精度；构建密集连接卷积取代传统卷积块，实现特征重用，增强特征提取能力；构建注意力机制模块，通过对特征图做出自适应调整，使得重要特征得到更好的表现，从而抑制无效特征；在U-Net模型基础上，融合CBAM注意力机制和Densenet密集连接构建Densenet-Attention-Unet(DA-Unet)网络进行训练并得到较好的分割模型。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (9)

1.一种基于深度学习的视网膜血管图像分割方法，其特征在于包含以下步骤：
步骤一：眼底图像增强，对眼底图像进行对比度增强以突出视网膜血管细节；
步骤二：训练集数据扩增，对图像增强后的眼底图进行随机旋转，并随机分割出一系列48x48的小方块作为数据集；
步骤三：构建密集连接卷积块，并采用密集连接卷积块取代传统卷积块实现特征重用并增强特征提取能力；
步骤四：构建注意力机制模块，通过对特征图进行自适应调整，使重要特征突出显现以抑制无效特征；
步骤五：搭建模型，搭建DA-Unet网络，并使用处理好的数据集进行训练、调参，得到最佳分割模型并保存；
步骤六：实际分割，利用滑动窗口把需要分割视网膜血管的眼底图像分割为48x48的子块图像输入DA-Uet网络中进行分割，输出分割后的子块图像结果，再对分割后的小方块图像拼接完整视网膜血管分割图像。
2.按照权利要求1所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：所述步骤一具体为对训练集的眼底图像提取对比度较高的绿色通道，归一化处理；再使用自适应直方图均衡化，对图像中每一个像素计算邻域直方图得到直方图变换函数，使用直方图变换函数对图像进行均衡化，提高视网膜血管与背景对比度；最后使用gamma矫正，对图像进行非线性操作，使矫正后图像像素与矫正前呈指数关系，矫正眼底图像因光线不均导致的漂白或过暗。
3.按照权利要求1所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：所述步骤二具体为将增强后的眼底图像，进行边缘填充得到一张正方形图像，沿着正方形图像的中心坐标旋转一个随机角度并保存，按照此方法把原有数据集扩充5倍；然后构造生成器，生成器每次训练时在数据集中任意图片上的任意坐标采集一个48*48的子块作为训练集图像。
4.按照权利要求1所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：所述步骤三具体为
首先构建密集连接子块，密集连接子块先通过1x1的卷积层将输入信息进行特征整合，限制输入特征层使其不会过宽，再通过3x3的卷积层进行特征提取，提取的特征图通过归一化层和ReLU激活函数层将特征进行非线性划分提取；
然后将4层密集连接子块搭建为密集连接卷积块，每个密集连接子块卷积得到的特征图都与输入相叠加后作为输出，其数学表达式为：
xl＝Hl([x0,x1,…,xl-1])
其中，Hl代表第l层的密集连接子块，xi为第i个密集连接子块提取的特征图，[x0,x1,…,xl-1]为前l-1层特征图集合；密集连接子块的输入均为前一个密集连接子块输出的全部特征图；
在密集连接中，密集连接子块输入为前一个子块卷积得到的特征图，根据最大化提取特征的原则，此层提取的特征图为此层独有，使得网络不会提取得到相同的特征图，最大化了网络模型的特征信息保留，实现了特征重用，提高特征利用率，并且以前一个密集连接子块输出的全部特征图作为本密集连接子块的输入，缓和梯度消失问题。
5.按照权利要求1所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：所述步骤四具体为
CBAM注意力机制由通道注意力模块和空间注意力模块组成；
通道注意力模块使用全局平均池化和全局最大化池化获取两个全局信息向量，然后分别输入共享网络中进行通道特征提取，最后将提取到的通道特征信息相加，通过sigmoid激活函数得到通道注意力图谱Mc；
Mc(F)＝sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，MLP为共享网络，由多层感知器组成；F为输入特征图；通道注意力图谱Mc与输入特征图进行相乘得到通道调整后的新特征图；
空间注意力模块主要关注特征位置信息，通过在通道维度上进行最大池化和平均池化，得到两个特征图，将两个特征图连接起来使用7x7的卷积核进行特征提取，得到空间注意力图谱Ms；
Ms(F)＝sigmoid(f7×7([AvgPool(F)；MaxPool(F)]))
其中，f7×7为7x7的卷积核卷积操作，空间注意力图谱Ms与输入特征图进行相乘得到空间调整后的新特征图。
6.按照权利要求1所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：所述步骤五具体为
构建DA-Unet网络模型；
使用密集连接卷积块和最大池化层组成下采样层，包含4个下采样层，前3个下采样层后均接有最大池化层用以特征压缩；
使用密集连接卷积块和放卷积层构成上采样层，与下采样层作为对称结构，上采样层也具有4层，其中后3个上采样层后采用反卷积方法来对特征图进行上采样；
前3层下采样层和上采用层以跳跃连接的方法把特征图连接起来，使得下采样的深度信息与上采样中的浅层信息相结合，利用信息丰富的深度信息来弥补上采样中浅层信息的信息缺少问题，最大化保证上采样的信息完整性；
在最后一层下采样与第一层上采样中使用CBAM注意力模块进行连接；
DA-Unet模型最后输出时使用2层卷积层进行血管分割，激活函数为sigmoid；分割视网膜血管属于二分类，损失函数为：
Figure FDA0002599284100000041
其中，yi为样本的标签，正类为1，负类为0；
Figure FDA0002599284100000042
为预测为正确的概率；
使用adam优化器，将数据输入DA-Unet网络中进行训练，保存测试集上最佳性能的模型最为最终模型。
7.按照权利要求6所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：使用adam优化器，将数据输入DA-Unet网络中进行100轮训练，每轮输入数据为100000张，每个batch为40，保存测试集上最佳性能的模型最为最终模型。
8.按照权利要求1所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：所述步骤六具体为实际需分割的眼底图取绿色通道，以48x48的滑动窗口、步进为5的方式在图像上滑动切割出48x48的小块，并输入训练好的DA-Unet模型中，得到分割后的输出图像；然后将输出小块以步进5的方法进行拼接。
9.按照权利要求8所述的一种基于深度学习的视网膜血管图像分割方法，其特征在于：将输出小块以步进5的方法进行拼接，其中重叠的像素部分取平均值像素。
CN202010719019.7A 2020-07-23 2020-07-23 一种基于深度学习的视网膜血管图像分割方法 Pending CN111862056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719019.7A CN111862056A (zh) 2020-07-23 2020-07-23 一种基于深度学习的视网膜血管图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719019.7A CN111862056A (zh) 2020-07-23 2020-07-23 一种基于深度学习的视网膜血管图像分割方法

Publications (1)

Publication Number Publication Date
CN111862056A true CN111862056A (zh) 2020-10-30

Family

ID=72950555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719019.7A Pending CN111862056A (zh) 2020-07-23 2020-07-23 一种基于深度学习的视网膜血管图像分割方法

Country Status (1)

Country Link
CN (1) CN111862056A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001923A (zh) * 2020-11-02 2020-11-27 中国人民解放军国防科技大学 一种视网膜图像分割方法及装置
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
CN112258514A (zh) * 2020-11-20 2021-01-22 福州大学 一种ct影像肺血管的分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112634279A (zh) * 2020-12-02 2021-04-09 四川大学华西医院 一种基于注意力Unet模型的医学图像语义分割方法
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112700420A (zh) * 2020-12-31 2021-04-23 中南大学 一种眼底图像补全、分类方法及系统
CN112767416A (zh) * 2021-01-19 2021-05-07 中国科学技术大学 一种基于空间和通道双重注意力机制的眼底血管分割方法
CN112949838A (zh) * 2021-04-15 2021-06-11 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN113205534A (zh) * 2021-05-17 2021-08-03 广州大学 基于U-Net++的视网膜血管分割方法和装置
CN113205538A (zh) * 2021-05-17 2021-08-03 广州大学 基于CRDNet的血管图像分割方法及装置
CN113269783A (zh) * 2021-04-30 2021-08-17 北京小白世纪网络科技有限公司 一种基于三维注意力机制的肺结节分割方法及装置
CN113706570A (zh) * 2021-08-02 2021-11-26 中山大学 一种斑马鱼荧光图像的分割方法及装置
CN113763387A (zh) * 2021-07-22 2021-12-07 深圳大学 一种胎盘超微血管的分割方法、存储介质及终端设备
CN114219817A (zh) * 2022-02-22 2022-03-22 湖南师范大学 新冠肺炎ct图像分割方法及终端设备
CN114494195A (zh) * 2022-01-26 2022-05-13 南通大学 用于眼底图像分类的小样本注意力机制并行孪生方法
CN114549520A (zh) * 2022-04-08 2022-05-27 北京端点医药研究开发有限公司 基于全卷积注意力增强网络的视网膜病理切片分析系统
CN114862879A (zh) * 2022-07-05 2022-08-05 深圳科亚医疗科技有限公司 包含生理管状结构的图像的处理方法、处理系统和介质
CN114881962A (zh) * 2022-04-28 2022-08-09 桂林理工大学 一种基于改进U-Net网络的视网膜图像血管分割方法
CN117437519A (zh) * 2023-11-06 2024-01-23 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510473A (zh) * 2018-03-09 2018-09-07 天津工业大学 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割
CN108846334A (zh) * 2018-05-30 2018-11-20 安徽大学 一种云类别自动识别方法及系统
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN110163870A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于深度学习的腹部体影像肝脏分割方法及装置
CN110473188A (zh) * 2019-08-08 2019-11-19 福州大学 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法
CN110991311A (zh) * 2019-11-28 2020-04-10 江南大学 一种基于密集连接深度网络的目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510473A (zh) * 2018-03-09 2018-09-07 天津工业大学 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割
CN108846334A (zh) * 2018-05-30 2018-11-20 安徽大学 一种云类别自动识别方法及系统
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN110163870A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于深度学习的腹部体影像肝脏分割方法及装置
CN110473188A (zh) * 2019-08-08 2019-11-19 福州大学 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法
CN110991311A (zh) * 2019-11-28 2020-04-10 江南大学 一种基于密集连接深度网络的目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AI之路: "DenseNet算法详解", 《HTTPS://BLOG.CSDN.NET/U014380165/ARTICLE/DETAILS/75142664》 *
SANGHYUN WOO 等: "CBAM: Convolutional Block Attention Module", 《HTTPS://ARXIV.ORG/ABS/1807.06521》 *
梅旭璋 等: "基于密集注意力网络的视网膜血管图像分割", 《计算机工程》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001923A (zh) * 2020-11-02 2020-11-27 中国人民解放军国防科技大学 一种视网膜图像分割方法及装置
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
CN112288739B (zh) * 2020-11-20 2022-04-22 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112258514A (zh) * 2020-11-20 2021-01-22 福州大学 一种ct影像肺血管的分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112634279A (zh) * 2020-12-02 2021-04-09 四川大学华西医院 一种基于注意力Unet模型的医学图像语义分割方法
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112651978B (zh) * 2020-12-16 2024-06-07 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112700420A (zh) * 2020-12-31 2021-04-23 中南大学 一种眼底图像补全、分类方法及系统
CN112767416A (zh) * 2021-01-19 2021-05-07 中国科学技术大学 一种基于空间和通道双重注意力机制的眼底血管分割方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN112949838B (zh) * 2021-04-15 2023-05-23 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN112949838A (zh) * 2021-04-15 2021-06-11 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN113269783A (zh) * 2021-04-30 2021-08-17 北京小白世纪网络科技有限公司 一种基于三维注意力机制的肺结节分割方法及装置
CN113205534B (zh) * 2021-05-17 2023-02-03 广州大学 基于U-Net++的视网膜血管分割方法和装置
CN113205538A (zh) * 2021-05-17 2021-08-03 广州大学 基于CRDNet的血管图像分割方法及装置
CN113205534A (zh) * 2021-05-17 2021-08-03 广州大学 基于U-Net++的视网膜血管分割方法和装置
CN113763387A (zh) * 2021-07-22 2021-12-07 深圳大学 一种胎盘超微血管的分割方法、存储介质及终端设备
CN113763387B (zh) * 2021-07-22 2023-09-01 深圳大学 一种胎盘超微血管的分割方法、存储介质及终端设备
CN113706570A (zh) * 2021-08-02 2021-11-26 中山大学 一种斑马鱼荧光图像的分割方法及装置
CN113706570B (zh) * 2021-08-02 2023-09-15 中山大学 一种斑马鱼荧光图像的分割方法及装置
CN114494195A (zh) * 2022-01-26 2022-05-13 南通大学 用于眼底图像分类的小样本注意力机制并行孪生方法
CN114494195B (zh) * 2022-01-26 2024-06-04 南通大学 用于眼底图像分类的小样本注意力机制并行孪生方法
CN114219817A (zh) * 2022-02-22 2022-03-22 湖南师范大学 新冠肺炎ct图像分割方法及终端设备
CN114549520A (zh) * 2022-04-08 2022-05-27 北京端点医药研究开发有限公司 基于全卷积注意力增强网络的视网膜病理切片分析系统
CN114549520B (zh) * 2022-04-08 2024-05-07 北京端点医药研究开发有限公司 基于全卷积注意力增强网络的视网膜病理切片分析系统
CN114881962A (zh) * 2022-04-28 2022-08-09 桂林理工大学 一种基于改进U-Net网络的视网膜图像血管分割方法
CN114881962B (zh) * 2022-04-28 2024-04-19 桂林理工大学 一种基于改进U-Net网络的视网膜图像血管分割方法
CN114862879B (zh) * 2022-07-05 2022-09-27 深圳科亚医疗科技有限公司 包含生理管状结构的图像的处理方法、处理系统和介质
CN114862879A (zh) * 2022-07-05 2022-08-05 深圳科亚医疗科技有限公司 包含生理管状结构的图像的处理方法、处理系统和介质
CN117437519A (zh) * 2023-11-06 2024-01-23 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置
CN117437519B (zh) * 2023-11-06 2024-04-12 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置

Similar Documents

Publication Publication Date Title
CN111862056A (zh) 一种基于深度学习的视网膜血管图像分割方法
CN109118495B (zh) 一种视网膜血管分割方法和装置
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN110070531B (zh) 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN104899876B (zh) 一种基于自适应高斯差分的眼底图像血管分割方法
CN113793348B (zh) 一种视网膜血管分割方法和装置
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN112132817A (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
CN111292338A (zh) 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN109919954B (zh) 目标对象的识别方法和装置
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN115731242A (zh) 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN111563884A (zh) 基于神经网络的眼底疾病识别方法、计算机设备及介质
CN117495876B (zh) 基于深度学习的冠状动脉图像分割方法及系统
CN113223002A (zh) 一种血管图像分割方法
CN113052849A (zh) 腹部组织图像自动分割方法及系统
CN116503422A (zh) 一种基于注意力机制与多尺度特征融合的视杯视盘分割方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN116452571A (zh) 一种基于深度神经网络的图像识别方法
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN111598838B (zh) 心脏mr图像自动分割方法、装置、电子设备和存储介质
Hu et al. Retinal vessel segmentation based on recurrent convolutional skip connection U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication