CN109448006A - 一种注意力机制u型密集连接视网膜血管分割方法 - Google Patents

一种注意力机制u型密集连接视网膜血管分割方法 Download PDF

Info

Publication number
CN109448006A
CN109448006A CN201811291942.4A CN201811291942A CN109448006A CN 109448006 A CN109448006 A CN 109448006A CN 201811291942 A CN201811291942 A CN 201811291942A CN 109448006 A CN109448006 A CN 109448006A
Authority
CN
China
Prior art keywords
image
information
retinal
feature
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811291942.4A
Other languages
English (en)
Other versions
CN109448006B (zh
Inventor
梁礼明
盛校棋
杨国亮
吴健
冯新刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Original Assignee
Jiangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Science and Technology filed Critical Jiangxi University of Science and Technology
Priority to CN201811291942.4A priority Critical patent/CN109448006B/zh
Publication of CN109448006A publication Critical patent/CN109448006A/zh
Application granted granted Critical
Publication of CN109448006B publication Critical patent/CN109448006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种注意力机制U型密集连接视网膜(融合DenseNet和Attention U‑net网络的新型视网膜)血管分割方法，包括视网膜血管图像预处理、构建视网膜血管分割模型步骤。本发明能有效地解决相邻血管易相连、微血管过宽、细小血管易断裂、血管交叉处分割不足以及对图像噪声过于敏感、目标与背景灰度值交叉、视盘与病灶误分割等问题。本发明在较低复杂度的情况下融合多种网络模型，在DRIVE数据集上取得优异的分割结果，其准确率和灵敏度分别为96.95％和85.94％，比最新文献公布的视网膜分割结果准确率提升约0.59％，灵敏度提升约7.92％。

Description

一种注意力机制U型密集连接视网膜血管分割方法
技术领域
本发明涉及一种注意力机制U型密集连接视网膜(融合DenseNet和Attention U-net网络的新型视网膜)血管分割方法，较好地解决了现有算法存在微血管分割不足、微血管分割过宽、血管交叉处分割断裂、病变处血管断裂、病灶与视盘误分割为血管等问题。
背景技术
人类视网膜是一种覆盖在眼睛内表面的光敏组织，其中视网膜血管是全身血管系统中唯一可以无创伤直接观测到的部分，通过视网膜血管数量、分支、角度、宽度等信息均可作为视网膜血管相关疾病的诊断依据。卷积神经网络方法具有强大的特征提取能力和学习能力，它能在Attention U-net与DenseNet网络中发挥与传统深度学习相比更高效，且能高精度地捕捉血管特征，可以解决目前眼科专家采取手工提取视网膜血管的繁琐过程，并将其从定性分析转为定量分析，解决不同眼科医生存在主观因素存在的误差，为临床眼科医生对疾病的诊断和治疗提供帮助。
最新文献“Retinal blood vessel segmentation based on the Gaussianmatched filter and U-net(Gao X,Cai Y,Qiu C,et al.Retinal blood vesselsegmentation based on the Gaussian matched filter and U-net[C]//InternationalCongress on Image and Signal Processing,Biomedical Engineering andInformatics.IEEE,2018)”记载的分割准确率和灵敏度分别在96.36％和78.02％，而在医学图像处理技术中，视网膜血管分割结果准确率即使提升0.1％都需要在算法复杂度与分割性能之间做出优异的权衡，往往高精度代表着算法的高复杂度，达不到实时辅助专家医疗的水平。
发明内容
本发明的目的是针对视网膜血管特征复杂多样与现有分割算法存在的不足，提出一种注意力机制U型密集连接视网膜血管分割方法。
本发明的技术方案：一种注意力机制U型密集连接视网膜血管分割方法，包括以下步骤：
步骤A01，视网膜血管图像预处理：首先对采集的视网膜图像按比例选取RGB三通道颜色特征信息；然后采取限制对比度直方图均衡化(Contrast Limited AdaptiveHistgram Equalization，CLAHE)和filter2D滤波提升血管与背景的对比度，并采用局部自适应Gamma矫正视网膜图像较暗的伪影区域，突显血管像素；最后利用新型多尺度形态Hot-top滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；
步骤A02，构建视网膜血管分割模型：首先在U-net模型的编码部分引入DenseNet网络结构，充分利用前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U-net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在解码部分引入软注意模型(Soft Attention Model)，构建注意门(Attention gates，AGs)模型；注意门模型可以根据金标准图像gi特征信息增加经编码处理后训练图像xi血管的权重特征，粗略提取血管整体“骨架”，过滤背景伪影、硬性渗出物、视盘和黄斑，提升后期血管上采样恢复图像信息与最终分割的鲁棒性，并结合U-net自身具有将高层信息与底层信息相结合的优点，提取更多的视网膜图像细节信息；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割。
所述的视网膜血管图像预处理包括以下四个子步骤：
步骤A01.1，考虑到视网膜图像单一颜色通道会丢失部分颜色特征的现象，故采用RGB三通道的线性组合转换成单个强度通道，其定义如下：
Ipre＝a1Ig+a2IR+a3Ib (1)
式(1)中，Ipre表示三通道转换为单个通道图像；Ig,IR,Ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重；给予绿色通道较大权重，能更多突出血管信息，而且将一定比例分给其他通道解决了部分图像绿色通道图像过暗和黄斑区域过分突出的现象；然后，将Ipre由双边滤波进行降噪得到图像Id；
步骤A01.2，将经过去噪的视网膜图像Id首先利用限制对比度直方图均衡化将图像分块进行对比度限幅，提升整体血管的对比度；其次，经过以内核为菱形的filter2D滤波补偿视网膜图像的轮廓信息，增强图像的血管边缘及灰度跳变的部分，进一步降低噪音与图像平滑后边界与轮廓模糊现象；
步骤A01.3，用局部自适应Gamma矫正图像伪影提升图像整体亮度，突出血管像素部分，并且降低CLAHE之后图像黄斑像素过分突出的现象；
步骤A01.4，将经过步骤A01.2与A01.3处理的图像由新型多尺度形态学Top-Hot变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子wi，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；新型多尺度形态学Top-Hot模型定义如下：
式(2)中，n为视网膜图像像素索引，k是视网膜图像细节增强因子，Ir是经局部自适应Gamma增强的输入视网膜图像，f是新型多尺度形态学Top-Hot增强后的图像，Dopi与Dcli分别为视网膜图像亮细节与暗细节特征；控制因子wi的值由下式给出：
式(3)中，Solfplus(·)为激活函数；eimax与eimin分别为ei的最大值与最小值；ei是视网膜图像膨胀与腐蚀之差；wi的变化主要由视网膜图像的梯度信息决定；x，y为图像邻域像素值。
所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：
A02.1编码部分：
首先将新型多尺度形态学Top-Hot增强后的图像f进行归一化处理，即
式(4)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；
将U-net解码部分与DenseNet网络相结合，即采用级联特征学习法的密集连接网络结构引入到U-net网络，通过U-net学习促进网络更加容易优化的同时，使得片内特征提取部分遵循DenseNet结构，缩短底层特征图到高层特征图之间的路径，保证层与层之间的最大信息流，进一步强化特征的传播能力；设l层的输出为xl，则该模型第l层的输出定义为：
xl＝Hl([x0,x1,…,xl-1]) (5)
式(5)中，[x0,x1,…,xl-1]表示0,1,…,l-1层输出的特征层合并，Hl(·)表示第l层的非线性映射；这种密集连接结构缩短了前后层的距离，因此可以强化特征传播，鼓励特征的复用；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率因子K；设第l层提取K0个特征图，则下一层的输出特征图数目为K0+K×(l-1)，因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能，可以更准确且更多地提取微血管特征信息，保证网络编码部分的特征提取能力，其结构如图1所示；图1中卷积层(Convolutional layer)，每一个卷积层利用线性修正单元(Rectified Linear Unit，ReLU)激活函数进行特征提取；线性修正单元ReLU能有效地减少反向传播过程的梯度消失，降低网络计算复杂度，使得训练数据获得一定的稀疏性；线性修正单元ReLU激活函数定义如下：
ReLU(xl)＝max(xl,0) (6)
式(6)中，当xl<0时数据出现硬饱和状态，当xl>0时导数值恒为1；批量归一化(Batch Normalization，BN)放在网络中间可以不断地对中间输出进行优化调整，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性噪音造成梯度消失，并且具有较好地保持原有模型的表达能力；下采样层(Maxpooling)用来压缩和提取特征图特征，降低参数复杂度；
A02.2解码部分
为了捕获足够多的血管特征图信息，在标准的卷积神经网络(ConvolutionalNeural Network，CNN)体系结构中对特征映射网络进行上采样；以此联系空间网络水平模型的位置和全局范围内血管组织的关系，并在此基础上引入AGs模型；AGs模型通过一个“跳过”连接传播特征，即不再经过上采样层，更重要的是AGs模型每跳过连接的选通信号可以聚集来自多个成像尺度的血管信息；AGs模型在不相关的背景区中会逐渐抑制特征响应，而不需要在网络之间裁剪感兴趣区域(ROI)，进而降低算法的计算复杂度，解决传统U-net卷积网络对特征图“注意力分散”的现象，使得血管权重与背景噪音权重具有明显差异，大幅度提高U型网络对背景的抗噪能力，降低假阳性率；定义AGs模型中注意函数为αi，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图xi,c和注意函数αi的逐元素乘法，定义如下：
式(7)中，l是特征层，i是元素个数，c为常数项；
AGs的门注意函数αi包含上下层的血管结构信息，用来修剪较低级别的特征响应；通过加性函数matt来得到门注意函数αi，其定义如下：
式(8)和(9)中，η为血管特征图学习参数；线性转换系数Wx,Wg分别为编码后的输入图像和金标准图像权重系数，bg和bη为偏置项；上标T与l分别为迭代次数与网络的特征层；σ1为ReLU激活函数：σ1(x)＝max(0,x)；σ2(xi,c)为sigmoid激活函数；AGs提取的血管特征包含在参数ξatt中，是在血管特征参数ξatt前提下进行计算加性函数matt；xi与gi分别为编码后的输入图像与金标准图像；通过对gi的分析决定AGs网络结构聚焦的感兴趣区域，剔除与视网膜图像病灶相关的噪音影响，AGs模型图2所示；
A02.3视网膜血管分割部分
视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数交叉验证定义如下：
式(10)中，i表示分类个数，y为金标准，预测数据；最后由Softmax激活函数对血管图像精分割。
本发明不需要按照最新文献“融合形状先验的水平集眼底图像血管分割[J]，梁礼明等，计算机学报，2018,41(7):1678-1692”进行后处理步骤即可得到较精细血管图像。
本发明能有效地解决相邻血管易相连、微血管过宽、细小血管易断裂、血管交叉处分割不足以及对图像噪声过于敏感、目标与背景灰度值交叉、视盘与病灶误分割等问题。本发明在较低复杂度的情况下融合多种网络模型，在DRIVE数据集上取得优异的分割结果，其准确率和灵敏度分别为96.95％和85.94％，比最新文献公布的视网膜分割结果准确率提升约0.59％，灵敏度提升约7.92％。
附图说明
图1为本发明U-net与DenseNet结合的解码部分结构图。
图2为本发明AGs模型示意图。
图3为本发明的视网膜图像的RGB三通道线性组合图像Ipre。
图4为本发明自动获得视网膜的“掩模”。
图5为本发明限制对比度直方图均衡化的图像效果图。
图6为本发明经filter滤波锐化的图像效果图。
图7为本发明局部自适应Gamma矫正伪影的图像效果图。
图8为本发明采用多尺度形态学高低帽滤波的图像效果图。
图9为本发明Dense-block的特征传播图。
图10为本发明AGs聚焦的血管感兴趣区域图像。
图11为本发明所提取的粗分割的血管图像。
图12为本发明最终的分割结果图。
图13为本发明的整体网络结构原理图。
图14为本发明DRIVE数据集ROC曲线图。
具体实施方式
实验说明：实施例数据来自DRIVE数据库健康人的02_test视网膜图像。
下面结合具体实施方式，进一步阐述本发明。
步骤A01，视网膜血管图像预处理
步骤A01.1采用RGB三通道的线性组合转换成单个强度通道Ipre，其定义如下：
Ipre＝a1Ig+a2IR+a3Ib (1)
式(1)中，Ig,IR,Ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重，其系数分别为0.78，0.12和0.1；然后二值化[0,255]得到图像的掩模，如图3和图4所示；
步骤A01.2首先，将步骤A01.1中图3的视网膜图像先由双边滤波进行降噪，其中像素邻域直径为25，颜色空间Sigma为25×2，坐标空间Sigma为25/2；然后将经过降噪的图像Id由水平网与垂直网为8×8的CLAHE增强血管的对比度；最后通过7×7的filter2D滤波对图像进行锐化，修复由双边滤波造成的边缘信息损失，补偿视网膜图像的轮廓信息，如图5和图6所示；
步骤A01.3根据血管与背景的不同像素特征采用自适应局部Gamma值匹配，将视网膜图像分区域矫正光照不均匀等伪影信息，使得光照不均匀因素与中心线反射现象加以抑制，得到图像Ir如图7所示；
步骤A01.4将图Ir通过新型多尺度形态学Top-Hot变换，局部提取视网膜图像的微血管信息；通过控制图像边缘信息控制因子wi，调整相邻血管像素尺度的差值，降低视盘与黄斑等特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；新型多尺度Top-Hot模型定义如下：
式(2)中，f为新型多尺度形态学Top-Hot增强后的图像，Dopi与Dcli分别为视网膜图像亮细节与暗细节特征，根据血管像素特征选取4个尺度[3,5,7,9]，细节增强因子k＝0.5，控制因子wi的值由下式给出：
式(3)中，Softplus(·)为激活函数，eimax与eimin分别为ei的最大值与最小值；ei是视网膜图像膨胀与腐蚀之差，wi的变化主要由视网膜图像的梯度信息决定；黄斑、宽血管与背景之间梯度信息较大，增强程度较弱；微小血管与背景梯度信息适中，为突出微小血管特征等隐藏细节，进行较大的增强；微小血管与主血管存在较小梯度信息，为避免微小血管过度增强致使分割结果变粗，增强程度相应减弱，效果图如图8所示；
步骤A02构建视网膜血管分割模型
步骤A02.1编码部分：定义视网膜图像I(x,y)的邻域像素位置为N(x,y)，目标是通过卷积神经网络根据血管像素信息提取特征，将邻域中N(x,y)的每一个像素准确地识别为血管和背景；采用96×96的滑动窗口，迭代T＝100次；将新型多尺度形态学Top-Hot增强后的图像f进行归一化处理，其定义如下：
式(4)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；
首先将归一化的图像xp经过编码器，由卷积核为3×3四部分密集连接层(Denseblock)网络结构提取相关血管特征，并设定特征图增长率因子K＝12控制特征参数的数目，提高特征提取的效率，降低特征图冗余度；接着将每层的前后层特征图信息进行合并并重复利用，如图9所示；其中密集连接层的卷积层的激活函数均采用修正线性单元ReLU；然后将视网膜图像特征图信息进行批量归一化(Batch Normalization，BN)，每次选取15个数据处理，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性造成梯度消失，并且降低网络对初始参数选择的敏感性；密集连接层后均有一层具有平移不变性的2×2最大下采样层(Max pooling)用以整合Dense block提取的血管特征，提高特征图感受野，减少后续训练的参数；
步骤A02.2解码部分：AGs根据金标准图像将输入图像血管权重系数Wx增大，削弱背景病理信息、视盘和黄斑权重比例，并且粗提取血管感兴趣区域(ROI)(如图10与11所示)，其中AGs模型的注意函数为αi，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图xi,c和注意函数αi的逐元素乘法，定义如下：
式(7)中，l是特征层，i是元素个数，c为常数项；
门注意函数αi与加性注意函数matt定义如下：
式(8)、式(9)中，η为血管特征图学习参数；线性转换系数Wx,Wg分别为输入图像和金标准图像权重系数，bg和bη为偏置项；上标T与l分别为迭代次数与网络的特征层；σ1为ReLU激活函数：σ1(x)＝max(0,x)；σ2(xi,c)为sigmoid激活函数；AGs提取的血管特征包含在参数ξatt中，是在血管特征参数ξatt前提下进行计算加性函数matt；xi与gi分别为编码后的输入图像与金标准图像；
将AGs提取的特征图通过U型网络特性将编码部分的底层信息与解码部分的高层信息相结合通过3×3卷积层提取更加复杂的特征，从而提高微小血管的分割精度，使得设计的较浅层网络能够完成深层网络的分割性能；紧接着通过核大小为2×2的上采样层进行图像编码，恢复图像信息，并根据金标准图像与网络提取的血管特征信息补足粗分割的血管信息；
步骤A02.3视网膜血管分割部分：视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数其学习率为0.001，其中交叉验证定义如下：
式(10)中，i表示分类个数，y为金标准，预测数据；最后由Softmax激活函数对血管图像精分割，得到血管分割结果如图12所示，并且不需要进一步的后处理即可得到较精细血管图像，不存在视盘和相关病理信息误分割的现象。本发明总共24层网络层包括卷积层、下采样层、归一化层、上采样层和注意力机制，整体网络结构如图13所示。
本发明采用了一种新型的卷积神经网络，在U型网络框架下引入DenseNet网络较好地改善了现有算法在视网膜血管分割中微血管分割不足的现象，引入AGs解决了现有传统深度学习算法血管特征与噪音的权重比例差距不明显而造成的误分割，得到的最终分割结果准确率与灵敏度分别高达96.95％和85.94％，总体性能由受试者工作特征曲线(receiver operating characteristic curve,简称ROC曲线)体现，ROC曲线以假阳性概率(False positive rate,FPR)为横轴，真阳性率(True positive rate,TPR)为纵轴，如图14所示；ROC曲线值达到98.56％，已达到现在医疗实际应用的水准。

Claims (4)

1.一种注意力机制U型密集连接视网膜血管分割方法，其特征是，包括以下步骤：
步骤A01，视网膜血管图像预处理：首先对采集的视网膜图像按比例选取RGB三通道颜色特征信息；然后采取限制对比度直方图均衡化CLAHE和filter2D滤波提升血管与背景的对比度，并采用局部自适应Gamma矫正视网膜图像较暗的伪影区域，突显血管像素；最后利用新型多尺度形态Hot-top滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；
步骤A02，构建视网膜血管分割模型：首先在U-net模型的编码部分引入DenseNet网络结构，充分利用前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U-net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在解码部分引入软注意模型，构建注意门模型AGs；注意门模型可以根据金标准图像gi特征信息增加经编码处理后训练图像xi血管的权重特征，粗略提取血管整体“骨架”，过滤背景伪影、硬性渗出物、视盘和黄斑，提升后期血管上采样恢复图像信息与最终分割的鲁棒性，并结合U-net自身具有将高层信息与底层信息相结合的优点，提取更多的视网膜图像细节信息；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割。
2.根据权利要求1所述的一种注意力机制U型密集连接视网膜血管分割方法，其特征是，所述的视网膜血管图像预处理包括以下四个子步骤：
步骤A01.1，考虑到视网膜图像单一颜色通道会丢失部分颜色特征的现象，故采用RGB三通道的线性组合转换成单个强度通道，其定义如下：
Ipre＝a1Ig+a2IR+a3Ib (1)
式(1)中，Ipre表示三通道转换为单个通道图像；Ig,IR,Ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重；给予绿色通道较大权重，能更多突出血管信息，而且将一定比例分给其他通道解决了部分图像绿色通道图像过暗和黄斑区域过分突出的现象；然后，将Ipre由双边滤波进行降噪得到图像Id；
步骤A01.2，将经过去噪的视网膜图像Id首先利用限制对比度直方图均衡化将图像分块进行对比度限幅，提升整体血管的对比度；其次，经过以内核为菱形的filter2D滤波补偿视网膜图像的轮廓信息，增强图像的血管边缘及灰度跳变的部分，进一步降低噪音与图像平滑后边界与轮廓模糊现象；
步骤A01.3，用局部自适应Gamma矫正图像伪影提升图像整体亮度，突出血管像素部分，并且降低CLAHE之后图像黄斑像素过分突出的现象；
步骤A01.4，将经过步骤A01.2与A01.3处理的图像由新型多尺度形态学Top-Hot变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子wi，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；新型多尺度形态学Top-Hot模型定义如下：
式(2)中，n为视网膜图像像素索引，k是视网膜图像细节增强因子，Ir是经局部自适应Gamma增强的输入视网膜图像，f是新型多尺度形态学Top-Hot增强后的图像，Dopi与Dcli分别为视网膜图像亮细节与暗细节特征；控制因子wi的值由下式给出：
式(3)中，Solfplus(·)为激活函数；eimax与eimin分别为ei的最大值与最小值；ei是视网膜图像膨胀与腐蚀之差；wi的变化主要由视网膜图像的梯度信息决定；x，y为图像邻域像素值。
3.根据权利要求1所述的一种注意力机制U型密集连接视网膜血管分割方法，其特征是，所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：
A02.1编码部分：
首先将新型多尺度形态学Top-Hot增强后的图像f进行归一化处理，即
式(4)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；
将U-net解码部分与DenseNet网络相结合，即采用级联特征学习法的密集连接网络结构引入到U-net网络，通过U-net学习促进网络更加容易优化的同时，使得片内特征提取部分遵循DenseNet结构，缩短底层特征图到高层特征图之间的路径，保证层与层之间的最大信息流，进一步强化特征的传播能力；设l层的输出为xl，则该模型第l层的输出定义为：
xl＝Hl([x0,x1,…,xl-1]) (5)
式(5)中，[x0,x1,…,xl-1]表示0,1,…,l-1层输出的特征层合并，Hl(·)表示第l层的非线性映射；这种密集连接结构缩短了前后层的距离，因此可以强化特征传播，鼓励特征的复用；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率因子K；设第l层提取K0个特征图，则下一层的输出特征图数目为K0+K×(l-1)，因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能，可以更准确且更多地提取微血管特征信息，保证网络编码部分的特征提取能力；每一个卷积层利用线性修正单元ReLU激活函数进行特征提取；线性修正单元ReLU能有效地减少反向传播过程的梯度消失，降低网络计算复杂度，使得训练数据获得一定的稀疏性；线性修正单元ReLU激活函数定义如下：
ReLU(xl)＝max(xl,0) (6)
式(6)中，当xl<0时数据出现硬饱和状态，当xl>0时导数值恒为1；批量归一化BN放在网络中间可以不断地对中间输出进行优化调整，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性噪音造成梯度消失，并且具有较好地保持原有模型的表达能力；下采样层用来压缩和提取特征图特征，降低参数复杂度；
A02.2解码部分
为了捕获足够多的血管特征图信息，在标准的卷积神经网络CNN体系结构中对特征映射网络进行上采样；以此联系空间网络水平模型的位置和全局范围内血管组织的关系，并在此基础上引入AGs模型；AGs模型通过一个“跳过”连接传播特征，即不再经过上采样层，更重要的是AGs模型每跳过连接的选通信号可以聚集来自多个成像尺度的血管信息；AGs模型在不相关的背景区中会逐渐抑制特征响应，而不需要在网络之间裁剪感兴趣区域(ROI)，进而降低算法的计算复杂度，解决传统U-net卷积网络对特征图“注意力分散”的现象，使得血管权重与背景噪音权重具有明显差异，大幅度提高U型网络对背景的抗噪能力，降低假阳性率；定义AGs模型中注意函数为αi，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图xi,c和注意函数αi的逐元素乘法，定义如下：
式(7)中，l是特征层，i是元素个数，c为常数项；
AGs的门注意函数αi包含上下层的血管结构信息，用来修剪较低级别的特征响应；通过加性函数matt来得到门注意函数αi，其定义如下：
式(8)和(9)中，η为血管特征图学习参数；线性转换系数Wx,Wg分别为编码后的输入图像和金标准图像权重系数，bg和bη为偏置项；上标T与l分别为迭代次数与网络的特征层；σ1为ReLU激活函数：σ1(x)＝max(0,x)；σ2(xi,c)为sigmoid激活函数；AGs提取的血管特征包含在参数ξatt中，是在血管特征参数ξatt前提下进行计算加性函数matt；xi与gi分别为编码后的输入图像与金标准图像；通过对gi的分析决定AGs网络结构聚焦的感兴趣区域，剔除与视网膜图像病灶相关的噪音影响；
A02.3视网膜血管分割部分
视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数交叉验证定义如下：
式(10)中，i表示分类个数，y为金标准，预测数据；最后由Softmax激活函数对血管图像精分割。
4.根据权利要求1所述的一种注意力机制U型密集连接视网膜血管分割方法，其特征是，具体实施为：
步骤A01，视网膜血管图像预处理
步骤A01.1采用RGB三通道的线性组合转换成单个强度通道Ipre，其定义如下：
Ipre＝a1Ig+a2IR+a3Ib (1)
式(1)中，Ig,IR,Ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重，其系数分别为0.78，0.12和0.1；然后二值化[0,255]得到图像的掩模；
步骤A01.2首先，将步骤A01.1中视网膜图像先由双边滤波进行降噪，其中像素邻域直径为25，颜色空间Sigma为25×2，坐标空间Sigma为25/2；然后将经过降噪的图像Id由水平网与垂直网为8×8的CLAHE增强血管的对比度；最后通过7×7的filter2D滤波对图像进行锐化，修复由双边滤波造成的边缘信息损失，补偿视网膜图像的轮廓信息；
步骤A01.3根据血管与背景的不同像素特征采用自适应局部Gamma值匹配，将视网膜图像分区域矫正光照不均匀等伪影信息，使得光照不均匀因素与中心线反射现象加以抑制，得到图像Ir；
步骤A01.4将图Ir通过新型多尺度形态学Top-Hot变换，局部提取视网膜图像的微血管信息；通过控制图像边缘信息控制因子wi，调整相邻血管像素尺度的差值，降低视盘与黄斑等特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；新型多尺度Top-Hot模型定义如下：
式(2)中，f为新型多尺度形态学Top-Hot增强后的图像，Dopi与Dcli分别为视网膜图像亮细节与暗细节特征，根据血管像素特征选取4个尺度[3,5,7,9]，细节增强因子k＝0.5，控制因子wi的值由下式给出：
式(3)中，Softplus(·)为激活函数，eimax与eimin分别为ei的最大值与最小值；ei是视网膜图像膨胀与腐蚀之差，wi的变化主要由视网膜图像的梯度信息决定；黄斑、宽血管与背景之间梯度信息较大，增强程度较弱；微小血管与背景梯度信息适中，为突出微小血管特征等隐藏细节，进行较大的增强；微小血管与主血管存在较小梯度信息，为避免微小血管过度增强致使分割结果变粗，增强程度相应减弱；
步骤A02构建视网膜血管分割模型
步骤A02.1编码部分：定义视网膜图像I(x,y)的邻域像素位置为N(x,y)，目标是通过卷积神经网络根据血管像素信息提取特征，将邻域中N(x,y)的每一个像素准确地识别为血管和背景；采用96×96的滑动窗口，迭代T＝100次；将新型多尺度形态学Top-Hot增强后的图像f进行归一化处理，其定义如下：
式(4)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；
首先将归一化的图像xp经过编码器，由卷积核为3×3四部分密集连接层网络结构提取相关血管特征，并设定特征图增长率因子K＝12控制特征参数的数目，提高特征提取的效率，降低特征图冗余度；接着将每层的前后层特征图信息进行合并并重复利用；其中密集连接层的卷积层的激活函数均采用修正线性单元ReLU；然后将视网膜图像特征图信息进行批量归一化BN，每次选取15个数据处理，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性造成梯度消失，并且降低网络对初始参数选择的敏感性；密集连接层后均有一层具有平移不变性的2×2最大下采样层用以整合Dense block提取的血管特征，提高特征图感受野，减少后续训练的参数；
步骤A02.2解码部分：AGs根据金标准图像将输入图像血管权重系数Wx增大，削弱背景病理信息、视盘和黄斑权重比例，并且粗提取血管感兴趣区域ROI，其中AGs模型的注意函数为αi，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图xi,c和注意函数αi的逐元素乘法，定义如下：
式(7)中，l是特征层，i是元素个数，c为常数项；
门注意函数αi与加性函数matt定义如下：
式(8)、式(9)中，η为血管特征图学习参数；线性转换系数Wx,Wg分别为输入图像和金标准图像权重系数，bg和bη为偏置项；上标T与l分别为迭代次数与网络的特征层；σ1为ReLU激活函数：σ1(x)＝max(0,x)；σ2(xi,c)为sigmoid激活函数；AGs提取的血管特征包含在参数ξatt中，是在血管特征参数ξatt前提下进行计算加性函数matt；xi与gi分别为编码后的输入图像与金标准图像；
将AGs提取的特征图通过U型网络特性将编码部分的底层信息与解码部分的高层信息相结合通过3×3卷积层提取更加复杂的特征，从而提高微小血管的分割精度，使得设计的较浅层网络能够完成深层网络的分割性能；紧接着通过核大小为2×2的上采样层进行图像编码，恢复图像信息，并根据金标准图像与网络提取的血管特征信息补足粗分割的血管信息；
步骤A02.3视网膜血管分割部分：视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数其学习率为0.001，其中交叉验证定义如下：
式(10)中，i表示分类个数，y为金标准，预测数据；最后由Softmax激活函数对血管图像精分割，得到的血管分割结果不需要进一步的后处理即可得到较精细血管图像，不存在视盘和相关病理信息误分割的现象；
实验数据来自DRIVE数据库健康人的02_test视网膜图像。
CN201811291942.4A 2018-11-01 2018-11-01 一种注意力机制u型密集连接视网膜血管分割方法 Active CN109448006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811291942.4A CN109448006B (zh) 2018-11-01 2018-11-01 一种注意力机制u型密集连接视网膜血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811291942.4A CN109448006B (zh) 2018-11-01 2018-11-01 一种注意力机制u型密集连接视网膜血管分割方法

Publications (2)

Publication Number Publication Date
CN109448006A true CN109448006A (zh) 2019-03-08
CN109448006B CN109448006B (zh) 2022-01-28

Family

ID=65550229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811291942.4A Active CN109448006B (zh) 2018-11-01 2018-11-01 一种注意力机制u型密集连接视网膜血管分割方法

Country Status (1)

Country Link
CN (1) CN109448006B (zh)

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903298A (zh) * 2019-03-12 2019-06-18 数坤（北京）网络科技有限公司 血管分割图像断裂的修复方法、系统和计算机存储介质
CN109934816A (zh) * 2019-03-21 2019-06-25 数坤（北京）网络科技有限公司 一种互补模型的方法、设备及计算机可读存储介质
CN109949302A (zh) * 2019-03-27 2019-06-28 天津工业大学 基于像素点的视网膜特征结构分割方法
CN109977834A (zh) * 2019-03-19 2019-07-05 清华大学 从深度图像中分割人手与交互物体的方法和装置
CN110085298A (zh) * 2019-04-26 2019-08-02 南方医科大学 基于深度网络学习的调强放疗计划三维剂量分布预测方法
CN110120055A (zh) * 2019-04-12 2019-08-13 浙江大学 基于深度学习的眼底荧光造影图像无灌注区自动分割方法
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110197495A (zh) * 2019-05-30 2019-09-03 数坤（北京）网络科技有限公司 血管提取的调整方法及装置
CN110310280A (zh) * 2019-07-10 2019-10-08 广东工业大学 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN110309734A (zh) * 2019-06-14 2019-10-08 暨南大学 一种基于目标识别的微循环血流速度测量方法及测量系统
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110517250A (zh) * 2019-08-27 2019-11-29 东北大学 一种基于增强对抗生成网络的眼底视网膜血管分割系统
CN110598582A (zh) * 2019-08-26 2019-12-20 深圳大学 一种眼图像处理模型构建方法和装置
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110827283A (zh) * 2019-10-28 2020-02-21 北京深睿博联科技有限责任公司 基于卷积神经网络的头颈血管分割方法及装置
CN110853051A (zh) * 2019-10-24 2020-02-28 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
CN110930418A (zh) * 2019-11-27 2020-03-27 江西理工大学 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111091554A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车摇枕断裂故障图像识别方法
CN111275721A (zh) * 2020-02-14 2020-06-12 北京推想科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111339862A (zh) * 2020-02-17 2020-06-26 中国地质大学（武汉） 一种基于通道注意力机制的遥感场景分类方法及装置
CN111598804A (zh) * 2020-05-12 2020-08-28 西安电子科技大学 基于深度学习的图像多级去噪方法
CN111652852A (zh) * 2020-05-08 2020-09-11 浙江华睿科技有限公司 一种产品表面缺陷检测方法和装置及设备
CN111723635A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 实时场景理解系统
CN111815563A (zh) * 2020-06-10 2020-10-23 三峡大学 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
CN111815562A (zh) * 2020-06-10 2020-10-23 三峡大学 一种U-Net与自适应PCNN相结合的视网膜血管分割方法
CN111815628A (zh) * 2020-08-24 2020-10-23 武汉精测电子集团股份有限公司 显示面板缺陷检测方法、装置、设备及可读存储介质
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN111862123A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN111968135A (zh) * 2020-08-15 2020-11-20 中南大学 一种基于全卷积网络的三维腹部ct图像多器官配准方法
CN111986181A (zh) * 2020-08-24 2020-11-24 中国科学院自动化研究所 基于双注意力机制的血管内支架图像分割方法和系统
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112168211A (zh) * 2020-03-26 2021-01-05 成都思多科医疗科技有限公司 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统
CN112258514A (zh) * 2020-11-20 2021-01-22 福州大学 一种ct影像肺血管的分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112348794A (zh) * 2020-11-05 2021-02-09 南京天智信科技有限公司 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112560778A (zh) * 2020-12-25 2021-03-26 万里云医疗信息科技（北京）有限公司 Dr图像身体部位识别方法、装置、设备及可读存储介质
CN112634284A (zh) * 2020-12-22 2021-04-09 上海体素信息科技有限公司 基于权重图损失的分阶段神经网络ct器官分割方法及系统
CN112634180A (zh) * 2021-03-05 2021-04-09 浙江大华技术股份有限公司 一种图像增强方法、图像增强装置和计算机可读存储介质
CN113205534A (zh) * 2021-05-17 2021-08-03 广州大学 基于U-Net++的视网膜血管分割方法和装置
WO2021164429A1 (zh) * 2020-02-21 2021-08-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN115294126A (zh) * 2022-10-08 2022-11-04 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN117689893A (zh) * 2024-02-04 2024-03-12 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端
CN117689893B (zh) * 2024-02-04 2024-06-04 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN107248161A (zh) * 2017-05-11 2017-10-13 江西理工大学 一种多特征融合的有监督视网膜血管提取方法
CN107507201A (zh) * 2017-09-22 2017-12-22 深圳天琴医疗科技有限公司 一种医学图像分割方法及装置
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
US20180122082A1 (en) * 2016-11-02 2018-05-03 General Electric Company Automated segmentation using deep learned priors
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180240235A1 (en) * 2017-02-23 2018-08-23 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN108648172A (zh) * 2018-03-30 2018-10-12 四川元匠科技有限公司 一种基于3D-Unet的CT图肺结节检测系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
US20180122082A1 (en) * 2016-11-02 2018-05-03 General Electric Company Automated segmentation using deep learned priors
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180240235A1 (en) * 2017-02-23 2018-08-23 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN107248161A (zh) * 2017-05-11 2017-10-13 江西理工大学 一种多特征融合的有监督视网膜血管提取方法
CN107507201A (zh) * 2017-09-22 2017-12-22 深圳天琴医疗科技有限公司 一种医学图像分割方法及装置
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN108648172A (zh) * 2018-03-30 2018-10-12 四川元匠科技有限公司 一种基于3D-Unet的CT图肺结节检测系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MARTIN KOLAˇR´IK 等: "3D Dense-U-Net for MRI Brain Tissue Segmentation", 《2018 41ST INTERNATIONAL CONFERENCE ON TELECOMMUNICATIONS AND SIGNAL PROCESSING》 *
OZAN OKTAY 等: "Attention U-Net：Learning Where to Look for the Pancreas", 《ARXIV:1804.03999V3》 *
WANG XIANCHENG 等: "Retina Blood Vessel Segmentation Using A U-Net Based Convolutional Neural Network", 《INTERNATIONAL CONFERENCE ON DATA SCIENCE (ICDS 2018)》 *
刘艳莉 等: "多尺度top-hat变换提取细节的对比度增强算法", 《计算机工程与设计》 *
徐峰等: "基于U-Net的结节分割方法", 《软件导刊》 *

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903298A (zh) * 2019-03-12 2019-06-18 数坤（北京）网络科技有限公司 血管分割图像断裂的修复方法、系统和计算机存储介质
CN109977834B (zh) * 2019-03-19 2021-04-06 清华大学 从深度图像中分割人手与交互物体的方法和装置
CN109977834A (zh) * 2019-03-19 2019-07-05 清华大学 从深度图像中分割人手与交互物体的方法和装置
CN111723635A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 实时场景理解系统
CN111723635B (zh) * 2019-03-20 2023-08-18 北京四维图新科技股份有限公司 实时场景理解系统
CN109934816A (zh) * 2019-03-21 2019-06-25 数坤（北京）网络科技有限公司 一种互补模型的方法、设备及计算机可读存储介质
CN109949302A (zh) * 2019-03-27 2019-06-28 天津工业大学 基于像素点的视网膜特征结构分割方法
CN110120055A (zh) * 2019-04-12 2019-08-13 浙江大学 基于深度学习的眼底荧光造影图像无灌注区自动分割方法
CN110120055B (zh) * 2019-04-12 2023-04-18 浙江大学 基于深度学习的眼底荧光造影图像无灌注区自动分割方法
CN110085298A (zh) * 2019-04-26 2019-08-02 南方医科大学 基于深度网络学习的调强放疗计划三维剂量分布预测方法
CN110085298B (zh) * 2019-04-26 2022-02-01 南方医科大学 基于深度网络学习的调强放疗计划三维剂量分布预测方法
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110197495A (zh) * 2019-05-30 2019-09-03 数坤（北京）网络科技有限公司 血管提取的调整方法及装置
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110309734A (zh) * 2019-06-14 2019-10-08 暨南大学 一种基于目标识别的微循环血流速度测量方法及测量系统
CN110310280A (zh) * 2019-07-10 2019-10-08 广东工业大学 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN110310280B (zh) * 2019-07-10 2021-05-11 广东工业大学 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110443813B (zh) * 2019-07-29 2024-02-27 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110598582A (zh) * 2019-08-26 2019-12-20 深圳大学 一种眼图像处理模型构建方法和装置
CN110517250A (zh) * 2019-08-27 2019-11-29 东北大学 一种基于增强对抗生成网络的眼底视网膜血管分割系统
CN110689526B (zh) * 2019-09-09 2022-06-07 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110853051B (zh) * 2019-10-24 2022-06-03 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN110853051A (zh) * 2019-10-24 2020-02-28 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN110827283A (zh) * 2019-10-28 2020-02-21 北京深睿博联科技有限责任公司 基于卷积神经网络的头颈血管分割方法及装置
CN110930418A (zh) * 2019-11-27 2020-03-27 江西理工大学 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN110930418B (zh) * 2019-11-27 2022-04-19 江西理工大学 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN110930397B (zh) * 2019-12-06 2022-10-18 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
CN111091554B (zh) * 2019-12-12 2020-08-28 哈尔滨市科佳通用机电股份有限公司 铁路货车摇枕断裂故障图像识别方法
CN111091554A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车摇枕断裂故障图像识别方法
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111047613B (zh) * 2019-12-30 2021-04-27 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111275637B (zh) * 2020-01-15 2024-01-30 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111275721A (zh) * 2020-02-14 2020-06-12 北京推想科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111339862A (zh) * 2020-02-17 2020-06-26 中国地质大学（武汉） 一种基于通道注意力机制的遥感场景分类方法及装置
WO2021164429A1 (zh) * 2020-02-21 2021-08-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN112168211A (zh) * 2020-03-26 2021-01-05 成都思多科医疗科技有限公司 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统
CN111652852B (zh) * 2020-05-08 2024-03-29 浙江华睿科技股份有限公司 一种产品表面缺陷检测方法和装置及设备
CN111652852A (zh) * 2020-05-08 2020-09-11 浙江华睿科技有限公司 一种产品表面缺陷检测方法和装置及设备
CN111598804B (zh) * 2020-05-12 2022-03-22 西安电子科技大学 基于深度学习的图像多级去噪方法
CN111598804A (zh) * 2020-05-12 2020-08-28 西安电子科技大学 基于深度学习的图像多级去噪方法
CN111815562B (zh) * 2020-06-10 2024-04-09 重庆贝奥新视野医疗设备有限公司 一种U-Net与自适应PCNN相结合的视网膜血管分割方法
CN111815563B (zh) * 2020-06-10 2024-04-09 重庆贝奥新视野医疗设备有限公司 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
CN111815563A (zh) * 2020-06-10 2020-10-23 三峡大学 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
CN111815562A (zh) * 2020-06-10 2020-10-23 三峡大学 一种U-Net与自适应PCNN相结合的视网膜血管分割方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN111862123B (zh) * 2020-07-29 2024-01-23 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN111862123A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN111968135A (zh) * 2020-08-15 2020-11-20 中南大学 一种基于全卷积网络的三维腹部ct图像多器官配准方法
CN111815628A (zh) * 2020-08-24 2020-10-23 武汉精测电子集团股份有限公司 显示面板缺陷检测方法、装置、设备及可读存储介质
CN111986181A (zh) * 2020-08-24 2020-11-24 中国科学院自动化研究所 基于双注意力机制的血管内支架图像分割方法和系统
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112102283B (zh) * 2020-09-14 2022-12-16 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112132817B (zh) * 2020-09-29 2022-12-06 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112348794A (zh) * 2020-11-05 2021-02-09 南京天智信科技有限公司 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法
CN112288739B (zh) * 2020-11-20 2022-04-22 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112258514A (zh) * 2020-11-20 2021-01-22 福州大学 一种ct影像肺血管的分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112634284A (zh) * 2020-12-22 2021-04-09 上海体素信息科技有限公司 基于权重图损失的分阶段神经网络ct器官分割方法及系统
CN112560778A (zh) * 2020-12-25 2021-03-26 万里云医疗信息科技（北京）有限公司 Dr图像身体部位识别方法、装置、设备及可读存储介质
CN112634180B (zh) * 2021-03-05 2021-08-03 浙江大华技术股份有限公司 一种图像增强方法、图像增强装置和计算机可读存储介质
CN112634180A (zh) * 2021-03-05 2021-04-09 浙江大华技术股份有限公司 一种图像增强方法、图像增强装置和计算机可读存储介质
CN113205534A (zh) * 2021-05-17 2021-08-03 广州大学 基于U-Net++的视网膜血管分割方法和装置
CN115409764B (zh) * 2021-05-28 2024-01-09 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN115294126B (zh) * 2022-10-08 2022-12-16 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN115294126A (zh) * 2022-10-08 2022-11-04 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN117689893A (zh) * 2024-02-04 2024-03-12 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端
CN117689893B (zh) * 2024-02-04 2024-06-04 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端

Also Published As

Publication number Publication date
CN109448006B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN109448006A (zh) 一种注意力机制u型密集连接视网膜血管分割方法
CN109685813A (zh) 一种自适应尺度信息的u型视网膜血管分割方法
CN110197493A (zh) 眼底图像血管分割方法
Giancardo et al. Automatic retina exudates segmentation without a manually labelled training set
CN110276356A (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
Rezaee et al. Optimized clinical segmentation of retinal blood vessels by using combination of adaptive filtering, fuzzy entropy and skeletonization
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN106682389B (zh) 一种用于监控高血压引发的眼部病变健康管理系统
CN108986106A (zh) 面向青光眼临床诊断的视网膜血管自动分割方法
CN104899876B (zh) 一种基于自适应高斯差分的眼底图像血管分割方法
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
EP2649558A1 (en) Method and an apparatus for determining vein patterns from a colour image
CN110705468B (zh) 基于图像分析的眼动范围识别方法和系统
CN111292338A (zh) 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN113689954A (zh) 高血压风险预测方法、装置、设备及介质
CN106780439B (zh) 一种筛选眼底图像的方法
CN112733961A (zh) 基于注意力机制的糖尿病视网膜病变的分类方法及系统
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN114881962A (zh) 一种基于改进U-Net网络的视网膜图像血管分割方法
CN111242949B (zh) 基于全卷积神经网络多尺度特征的眼底图像血管分割方法
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
CN109859139A (zh) 彩色眼底图像的血管增强方法
CN116363060A (zh) 一种基于残差u型网络的混合注意力视网膜血管分割方法
CN113763292A (zh) 一种基于深度卷积神经网络的眼底视网膜图像分割方法
CN113436128B (zh) 一种双鉴别器多模态mr图像融合方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant