CN111161287A - 基于对称双向级联网络深度学习的视网膜血管分割方法 - Google Patents
基于对称双向级联网络深度学习的视网膜血管分割方法 Download PDFInfo
- Publication number
- CN111161287A CN111161287A CN201911230491.8A CN201911230491A CN111161287A CN 111161287 A CN111161287 A CN 111161287A CN 201911230491 A CN201911230491 A CN 201911230491A CN 111161287 A CN111161287 A CN 111161287A
- Authority
- CN
- China
- Prior art keywords
- vessel
- retinal
- network
- scale
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 72
- 230000011218 segmentation Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 30
- 230000003321 amplification Effects 0.000 claims abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 4
- 210000001525 retina Anatomy 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 13
- 239000011800 void material Substances 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000004256 retinal image Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038910 Retinitis Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000006496 vascular abnormality Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于对称双向级联网络深度学习的视网膜血管分割方法，属于医学图像处理领域。该方法先通过改变对比度、旋转、缩放和平移等一系列方式进行数据增强，实现数据集扩增，然后将预处理后的图像输入到双向级联网络中进行训练学习以得到预测的视网膜血管分割结果。该网络由五个尺度检测模块组成，通过改变膨胀率的大小来提取不同直径尺度的视网膜血管特征，分别从网络的低层到高层和高层到低层两个方向生成两个血管轮廓预测图，结构上呈现为上下对称分布；接着将密集空洞卷积模块的两条路径的输出进行融合；最后采用类平衡的交叉熵损失函数对血管和背景像素进行分类，以实现视网膜血管的精准分割。
Description
技术领域
本发明属于医学图像处理领域，具体涉及一种基于对称双向级联网络深度学习的视网膜血管分割方法。
背景技术
视网膜血管是人体唯一可以通过无创伤手段观察到的清晰血管。目前医学研究表明，视网膜血管异常不仅表现为青光眼、白内障等眼科疾病，而且与高血压、冠心病、糖尿病、动脉粥样硬化等心血管疾病严重程度有直接联系。眼底视网膜血管的形态结构，能够反映出眼睛及周身血管系统的情况，通过对视网膜图像的分析，能够有效地预测、诊断和防治心血管疾病。因此基于眼底视网膜图像血管分割技术的研究，有助于自动、快速地得到视网膜图像中血管的形态结构，对于辅助诊疗与其相关的各类疾病具有极其重要的临床医学意义和实践价值。
以往对于眼底视网膜疾病的治疗，通常由眼科专家依靠经验对视网膜血管进行手动分割。然而视网膜上血管分布错综复杂且往往有病变干扰，血管末梢与背景的对比度低，且存在噪声、光照不均匀的问题，导致视网膜血管难以完全分割。另外人工标注耗时耗力，且具有较大的主观性。因此，依赖传统的手动分割视网膜图像的方法不仅费时费力，并且不能保证诊断精确度和效率。
根据是否利用图像标签信息将现有的视网膜血管分割方法划分为两大类：无监督的分割方法和有监督的分割方法。无监督的分割方法不需要先验标记信息，直接从血管本身的纹理、颜色等信息提取目标的特征表示。根据图像处理方法不同，可细分为：基于模型方法、血管追踪方法、匹配滤波方法和数学形态学方法。基于灰度方差和标准差的视网膜图像血管分割方法包括如下步骤：首先对视网膜图像进行预处理，得到感兴趣区域图像；然后计算感兴趣区域图像的纹理特征，并选取基于灰度方差的处理后视网膜图像和基于标准差的处理后视网膜图像。该方法快速高效，能够比较好地抑制噪声，但没有充分考虑血管剖面等显著特征，而且对结构元素的选取比较严格，难以将纤细的视网膜毛细血管精准地分割出来。
有监督的方法主要基于提取的特征训练分类器达到血管与非血管分类的目的。基于可信度和深度学习的视网膜血管分割图生成方法包括如下步骤：获取训练数据，并利用预设的可信度模型和训练数据构建训练集；从训练集中选取数据并输入基于卷积神经网络的深度学习模型进行训练得到分类器；获取待测图像，并对待测图像进行图像预处理；将步骤3中图像预处理后的待测图像输入步骤2中的分类器得到待测图像中像素点位于五类可信度区域的五个预测概率值；依据步骤4中待测图像中像素点位于五类可信度区域的预测概率值生成视网膜血管分割图。此方法对健康眼底图像分割效果较好，但是对含有亮斑或暗斑的病变眼底图像分割效果不佳，其假阳性率偏高。
发明内容
本发明的目的是针对上述不足，提出了一种基于对称双向级联网络深度学习的视网膜血管分割方法，该方法将血管分割转化为多尺度的轮廓检测问题，首先将原始的2D彩色眼底图像输入到尺度检测模块中以提取不同直径尺度的血管特征，每个尺度检测模块从低层到高层和从高层到低层两条路径产生两个血管轮廓预测图，然后通过1×1卷积融合所有中间层产生的血管轮廓预测图来计算最终的血管轮廓预测结果。
本发明具体采用如下技术方案：
基于对称双向级联网络深度学习的视网膜血管分割方法，包括以下步骤：
步骤1：对眼底视网膜图像进行预处理，通过切块、改变对比度、旋转、缩放和平移对输入的彩色眼底原始图像进行数据增强，实现数据集扩增；
步骤2：构建基于对称双向级联网络深度学习的视网膜血管分割模型，模型包括五个尺度检测模块，每两个尺度检测模块之间通过池化层相连，每个尺度检测模块中含有两个密集空洞卷积模块，密集空洞卷积模块通过改变膨胀率的大小来提取不同直径尺度的视网膜血管特征，分别从网络的低层到高层和高层到低层两条路径生成两个血管轮廓预测结果，然后将密集空洞卷积模块的两条路径的输出加以融合；
步骤3：采用类平衡的交叉熵损失函数对血管和背景像素进行分类，以实现视网膜血管的精准分割。
优选的，尺度检测模块是对称双向级联网络的基本组成单元，每个尺度检测模块最终生成两个血管轮廓预测图，每个尺度检测模块由若干卷积层组成，每个卷积层后紧跟一个密集空洞卷积模块，将多个密集空洞卷积模块的输出融合到两个卷积层中以分别产生两个血管轮廓预测结果
和
优选的，将血管轮廓标签Yd分解为两个互补的血管轮廓标记，其中一个标记忽略直径尺度小于d的血管，另一个忽略直径尺度大于d的血管；这两个标记在每个直径尺度上训练两个血管轮廓检测器，将直径尺度为d的血管轮廓标签的Yd两个互补标记定义为式(1)：
其中，上标l2h表示从网络低层到高层的特征传递，h2l表示从网络高层到低层的特征传递，对于直径尺度为d的血管轮廓预测结果
和
分别近似等于
和
因此两者的和近似于Yd，即
采用
表示直径尺度为d的血管轮廓预测结果。
优选的，P1 l2h是对称双向级联网络中第一阶段即第一个尺度检测模块的输出之一，此时产生的血管轮廓预测图分辨率与原图一致，因此无需上采样；P1 l2h会被送到它之后的所有阶段，与其他尺度检测模块经过上采样的输出相加来计算当前直径尺度下从低层到高层的损失函数；P5 h2l会被送到它之前的所有阶段，与其他尺度检测模块经过下采样的输出相加来计算当前直径尺度下由高层到低层的损失函数，然后通过1×1卷积将所有中间层产生的血管轮廓预测图进行融合。
优选的，密集空洞卷积模块置于3×3的卷积层之后以增强视网膜血管图像的多尺度表示，将一幅二维特征图
输入到卷积滤波器
中，那么在坐标点(i,j)处的空洞卷积输出
为
其中r为膨胀率，表示采样输入特征图的步幅。
优选的，密集空洞卷积模块中的各个空洞卷积以级联方式堆叠；该模块包含具有不同膨胀率的k个卷积分支，膨胀率分别从1，2，4，8增加到2k-1，对于第k个空洞卷积，将膨胀率设置为rk＝2k-1，其中k表示卷积层数；在每个空洞卷积分支中，均采用1×1卷积进行线性激活。
优选的，步骤3中的交叉熵损失函数包括侧损失和融合层损失两部分；则基于对称双向级联网络的整体损失表示为式(2)所示，
L＝wside·Lside+wfuse·Lfuse(P,Y) (2)
其中，
Lfuse＝|P-Y|，wside和wfuse分别表示侧损失和融合层损失的权重，P表示最终的视网膜血管轮廓预测图,Y表示彩色眼底视网膜图像对应的标准血管分割图。
优选的，计算损失函数引入阈值η以划分正负类，令标准血管分割图如式(3)所示，
Y＝{yi|i＝1,2,...,m,yi∈(0,1)} (3)
采用Y+和Y-分别表示血管像素和非血管像素，设Y+＝{yi|yi＞η}，Y-＝{yi|yi＝0}，则损失函数定义为式(4)
其中
表示视网膜血管预测图，β＝|Y-|/Y，1-β＝λ·Y+|/Y，β和1-β用来平衡视网膜血管图像中的血管和背景类别，将式(4)带入到侧损失Lside和融合层损失Lfuse中，以计算得到本网络的整体损失。
本发明具有如下有益效果：
该方法将视网膜血管分割转化为多尺度的轮廓检测问题，设计了轻量型的基于对称双向级联网络模型进行视网膜血管轮廓检测，更好的优化训练过程，避免计算冗余，节省了大量计算时间。
该方法提出采用密集空洞卷积模块提取视网膜血管的多尺度特征，在不明显增加网络参数的情况下，通过采用不同扩张率的多个空洞卷积来提取纤细模糊的血管特征，从而能够精准地检测出交叉处的纤细血管，并且可以有效避免病变背景的不良干扰，鲁棒性较强；
该方法克服了以往仅采用一幅通用的Groundtruth(标准血管分割图)对不同网络层进行训练而造成分割结果不精确的问题，而采用特定层的监督来训练每个网络层，使每层能够更专注于本身所提取到的特定尺度的血管特征，从而实现粗壮血管和纤细的毛细血管精准分割。
附图说明
图1为对称双向级联网络结构示意图；
图2为基于对称双向级联网络的视网膜血管分割方法的大致流程图；
图3为在原始眼底图像切块示意图，3a为在STARE数据集上得到的原始彩色眼底图像切块，3b为STARE数据集上得到的原始彩色眼底图像对应的标准血管分割图切块；
图4为基于对称双向级联网络的视网膜血管分割方法的细节架构图；
图5为本发明的基于对称双向级联网络的视网膜血管分割方法的密集空洞卷积模块细节架构图；
图6为患视网膜炎的眼底图像，其中a为原始图像，b为图像a的专家手工标注的视网膜血管手动分割图，c为图a在STARE数据集上得到的视网膜血管分割图；
图7为高血压的眼底图像，其中a为原始图像，b为图像a的专家手工标注的视网膜血管手动分割图，c为图a在STARE数据集上得到的视网膜血管分割图；
图8为患糖尿病的眼底图像，其中a为原始图像，b为图像a的专家手工标注的视网膜血管手动分割图，c为图a在STARE数据集上得到的视网膜血管分割图；
图9为正常眼底图像，其中a为原始图像，b为图像a的专家手工标注的视网膜血管手动分割图，c为图a在STARE数据集上得到的视网膜血管分割图；
图10为在STARE数据集上获得的ROC曲线图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
结合图1和图2，基于对称双向级联网络深度学习的视网膜血管分割方法，包括以下步骤：
步骤1：对眼底视网膜图像进行预处理，通过切块、改变对比度、旋转、缩放和平移对输入的彩色眼底原始图像进行数据增强，实现数据集扩增，具体步骤包括：
步骤1.1：将眼底视网膜图像及其对应的Groundtruth(标准血管分割图)切分成50×50大小的切块。STARE数据集中的原始图像切块和对应的Groundtruth(标准血管分割图)切块如图3a和3b所示。对于STARE数据集每次只测试一幅视网膜图像生成的切块，而另外19幅图像生成的切块用于训练。
步骤1.2：改变原图像的对比度：通过指数变换来改变HSV颜色空间中的饱和度分量和亮度分量，指数系数从-0.6到0.8，以0.2为步长。
步骤1.3：对原图像进行缩放，缩放比例从0.75到1.05，以0.005为步长。
步骤1.4：对原图像进行旋转，从0°到360°，以30°为步长。
步骤1.5：对原图像进行移动。将原始的视网膜图像在水平和竖直方向上从-80像素到100像素进行平移，以20像素为步长。
尺度检测模块是对称双向级联网络的基本组成单元，每个尺度检测模块最终生成两个血管轮廓预测图，每个尺度检测模块由若干卷积层组成，每个卷积层后紧跟一个密集空洞卷积模块，将多个密集空洞卷积模块的输出融合到两个卷积层中以分别产生两个血管轮廓预测结果
和
将血管轮廓标签Yd分解为两个互补的血管轮廓标记，其中一个标记忽略直径尺度小于d的血管，另一个忽略直径尺度大于d的血管；这两个标记在每个直径尺度上训练两个血管轮廓检测器，将直径尺度为d的血管轮廓标签的Yd两个互补标记定义为式(1)：
其中，上标l2h表示从网络低层到高层的特征传递，h2l表示从网络高层到低层的特征传递，对于直径尺度为d的血管轮廓预测结果
和
分别近似等于
和
因此两者的和近似于Yd，即
采用
表示直径尺度为d的血管轮廓预测结果。
基于对称双向级联网络的构建基于以下理论基础的支撑。
设(X,Y)表示训练集T上的图像对，其中X＝{xi,i＝1,2,...,m}表示原始输入图像，Y＝{yi,i＝1,2,...,m,yi∈(0,1)}表示原始图像对应的GroundTruth(标准血管分割图)。由于视网膜血管的直径不同，因此根据视网膜图像血管的粗细程度将Y中的血管边缘分解为D个二元边缘图，即，
其中Yd表示直径为d的血管边缘标注图像。
对于一幅训练图像X而言，假设由第d个卷积层输出的特征图为Md(X)∈Rl×w×h，将Md(X)作为输入以构建血管轮廓检测器C(·)，则第d层的损失函数可表示为：
其中Pd＝Cd(Md(X))表示血管直径大小为d的血管轮廓预测图。因此最终的血管轮廓检测器可以表示为深度神经网络中学习到的血管直径尺度从1至D的轮廓检测器的总和,则全局损失函数可表示为：
式(7)中的第d层特定直径尺度的血管轮廓标签Yd可以通过Groundtruth(标准血管分割图)和其他层轮廓预测图的差值来近似得到，即，
由等式(8)可知，对于训练集图像而言，第d层的血管轮廓预测图Pd近似于第d层的血管轮廓真实值Yd，即
将前面几个卷积层的血管轮廓预测图传递到第d层进行训练，可得到等价公式即
则式(8)的损失函数转化为L＝L(Y*,Y),其中
根据链式法则，第d层的血管轮廓预测图Pd的梯度为：
由等式(9)可知，对于任意两个卷积层i和d(i≠d)生成的血管轮廓预测结果Pi和Pd的梯度是一致的，因为
因此依据等式(9)进行的训练过程一直在用相同的标签去监督训练每个卷积层，并不能自适应地学习到适合每层的血管直径尺度信息。
针对上述问题，将血管轮廓标签Yd分解为两个互补的血管轮廓标记，其中一个标记忽略直径尺度小于d的血管，另一个忽略直径尺度大于d的血管。这两个标记在每个直径尺度上训练两个血管轮廓检测器。将直径尺度为d的血管轮廓标签的Yd两个互补标记定义为：
其中上标l2h表示从网络低层到高层的信息传递，h2l表示从网络高层到低层的信息传递。对于直径尺度为d的血管轮廓预测结果
和
分别近似等于
和
因此两者的和近似于Yd，即
因此采用
来表示直径尺度为d的血管轮廓预测结果。
步骤2：构建基于对称双向级联网络深度学习的视网膜血管分割模型，模型包括五个尺度检测模块，每两个尺度检测模块之间通过2×2的最大池化层相连，每个尺度检测模块中含有两个密集空洞卷积模块，密集空洞卷积模块通过改变膨胀率的大小来提取不同直径尺度的视网膜血管特征，分别从网络的低层到高层和高层到低层两条路径生成两个血管轮廓预测结果，然后将密集空洞卷积模块的两条路径的输出加以融合。该网络的细节架构图如图4所示。
基于对称双向级联网络深度学习的视网膜血管分割模型的具体实施细节分为如下几个步骤：
步骤2.1：尺度检测模块是对称双向级联网络的基本组成单元，每个尺度检测模块最终生成两个血管轮廓预测图。每个尺度检测模块由两个或三个3×3的卷积层组成，每个卷积层后紧跟一个密集空洞卷积模块。将多个密集空洞卷积模块的输出融合到两个1×1的卷积层中以分别产生两个血管轮廓预测结果
和
步骤2.2：P1 l2h是对称双向级联网络中第一阶段即尺度检测模块1的输出之一，此时产生的血管轮廓预测图分辨率与原图一致，因此无需上采样。P1 l2h会被送到它之后的所有阶段，与其他尺度检测模块经过上采样的输出相加来计算当前直径尺度下从低层到高层的损失函数。P5 h2l会被送到它之前的所有阶段，与其他尺度检测模块经过下采样的输出相加来计算当前直径尺度下由高层到低层的损失函数。然后通过1×1卷积将所有中间层产生的血管轮廓预测图进行融合。
步骤2.3：密集空洞卷积模块置于3×3的卷积层之后以增强视网膜血管图像的多尺度表示。将一幅二维特征图
输入到卷积滤波器
中，那么在坐标点(i,j)处的空洞卷积输出
为：
其中r为膨胀率，表示采样输入特征图的步幅。
步骤2.4：密集空洞卷积模块中的各个空洞卷积以级联方式堆叠，其细节架构图如图5所示。该模块包含具有不同膨胀率的k个卷积分支，膨胀率分别从1，2，4，8增加到2k-1。对于第k个空洞卷积，我们将膨胀率设置为rk＝2k-1，其中k表示卷积层数。在每个空洞卷积分支中，均采用1×1卷积进行线性激活。根据实验可知，当k＝5时实验效果最佳。
步骤3：采用类平衡的交叉熵损失函数对血管和背景像素进行分类，以实现视网膜血管的精准分割。
P1 l2h是对称双向级联网络中第一阶段即第一个尺度检测模块的输出之一，此时产生的血管轮廓预测图分辨率与原图一致，因此无需上采样；P1 l2h会被送到它之后的所有阶段，与其他尺度检测模块经过上采样的输出相加来计算当前直径尺度下从低层到高层的损失函数；P5 h2l会被送到它之前的所有阶段，与其他尺度检测模块经过下采样的输出相加来计算当前直径尺度下由高层到低层的损失函数，然后通过1×1卷积将所有中间层产生的血管轮廓预测图进行融合。
步骤3中的交叉熵损失函数包括侧损失和融合层损失两部分；由于网络中存在由低到高和由高到低的两条路径传递，故每个尺度检测模块都有两个侧损失。另外将五个尺度检测模块生成的十个视网膜血管轮廓预测图进行融合得到融合层损失。因此，该网络的整体损失由侧损失和融合层损失组成，则基于对称双向级联网络的整体损失表示为式(2)所示，
L＝wside·Lside+wfuse·Lfuse(P,Y) (2)
其中，
Lfuse＝|P-Y|，wside和wfuse分别表示侧损失和融合层损失的权重，P表示最终的视网膜血管轮廓预测图,Y表示彩色眼底视网膜图像对应的标准血管分割图。
针对视网膜图像中血管像素与背景像素存在严重的比例失衡而容易造成过拟合的问题，采用类平衡的交叉熵函数作为损失函数L(·)。此外由于视网膜血管的直径粗细程度不同，因此在计算损失函数引入阈值η以划分正负类计算损失函数引入阈值η以划分正负类，令标准血管分割图如式(3)所示，
Y＝{yi|i＝1,2,...,m,yi∈(0,1)} (3)
采用Y+和Y-分别表示血管像素和非血管像素，设Y+＝{yi|yi＞η}，Y-＝{yi|yi＝0}，则损失函数定义为式(4)
其中
表示视网膜血管预测图，β＝|Y-|/Y，1-β＝λ·|Y+|/Y，β和1-β用来平衡视网膜血管图像中的血管和背景类别，将式(4)带入到侧损失Lside和融合层损失Lfuse中，以计算得到本网络的整体损失。为了达到更准确的分割效果，将用于计算损失函数的阈值η设置为0.4，系数λ设置为1.1。损失函数的中权重wside和wfuse分别设置为0.5和1.2。
由上述交叉熵损失函数对STARE数据集中的视网膜图像进行分割，得到血管分割结果如图6-9所示。其中图6-9中的a列为原始彩色眼底图像，图6-9中的b为第一位专家的视网膜血管手动分割图，图6-9中c为本发明得到的视网膜血管分割图。图6-9选取的STARE数据集中的三幅图像分别含有视网膜炎、高血压和糖尿病型视网膜病变，由图6-9可知基于对称双向级联网络的视网膜血管分割方法能够精准地检测出交叉处的纤细血管，并且有效避免病变背景的不良干扰，鲁棒性较强。
本发明创造性地将视网膜血管分割转化为多尺度血管轮廓检测问题，设计了一种基于对称双向级联网络深度学习的视网膜血管分割方法。通过引入密集空洞卷积模块，在不明显增加网络参数的情况下，采用不同扩张率的多个空洞卷积来提取不同直径尺度的血管特征，从而实现视网膜血管的精细分割。本发明在STARE数据集上得到的分割结果准确度和灵敏度分别为98.72％和87.51％，总体性能由受试者工作特征曲线(receiveroperating characteristic curve,简称ROC曲线)体现，ROC曲线以假阳性概率(Falsepositive rate,FPR)为横轴，真阳性率(True positive rate,TPR)为纵轴，如图10所示，ROC曲线值达到97.93％，说明本发明对于视网膜血管分割的准确率较高。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (8)
1.基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，包括以下步骤：
步骤1：对眼底视网膜图像进行预处理，通过切块、改变对比度、旋转、缩放和平移对输入的彩色眼底原始图像进行数据增强，实现数据集扩增；
步骤2：构建基于对称双向级联网络深度学习的视网膜血管分割模型，模型包括五个尺度检测模块，每两个尺度检测模块之间通过池化层相连，每个尺度检测模块中含有两个密集空洞卷积模块，密集空洞卷积模块通过改变膨胀率的大小来提取不同直径尺度的视网膜血管特征，分别从网络的低层到高层和高层到低层两条路径生成两个血管轮廓预测结果，然后将密集空洞卷积模块的两条路径的输出加以融合；
步骤3：采用类平衡的交叉熵损失函数对血管和背景像素进行分类，以实现视网膜血管的精准分割。
2.如权利要求1所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，尺度检测模块是对称双向级联网络的基本组成单元，每个尺度检测模块最终生成两个血管轮廓预测图，每个尺度检测模块由若干卷积层组成，每个卷积层后紧跟一个密集空洞卷积模块，将多个密集空洞卷积模块的输出融合到两个卷积层中以分别产生两个血管轮廓预测结果
和
3.如权利要求1所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，将血管轮廓标签Yd分解为两个互补的血管轮廓标记，其中一个标记忽略直径尺度小于d的血管，另一个忽略直径尺度大于d的血管；这两个标记在每个直径尺度上训练两个血管轮廓检测器，将直径尺度为d的血管轮廓标签的Yd两个互补标记定义为式(1)：
其中，上标l2h表示从网络低层到高层的特征传递，h2l表示从网络高层到低层的特征传递，对于直径尺度为d的血管轮廓预测结果
和
分别近似等于
和
因此两者的和近似于Yd，即
采用
表示直径尺度为d的血管轮廓预测结果。
4.如权利要求3所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，P1 l2h是对称双向级联网络中第一阶段即第一个尺度检测模块的输出之一，此时产生的血管轮廓预测图分辨率与原图一致，因此无需上采样；P1 l2h会被送到它之后的所有阶段，与其他尺度检测模块经过上采样的输出相加来计算当前直径尺度下从低层到高层的损失函数；P5 h2l会被送到它之前的所有阶段，与其他尺度检测模块经过下采样的输出相加来计算当前直径尺度下由高层到低层的损失函数，然后通过1×1卷积将所有中间层产生的血管轮廓预测图进行融合。
5.如权利要求2所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，密集空洞卷积模块置于3×3的卷积层之后以增强视网膜血管图像的多尺度表示，将一幅二维特征图
输入到卷积滤波器
中，那么在坐标点(i,j)处的空洞卷积输出
为
其中r为膨胀率，表示采样输入特征图的步幅。
6.如权利要求2所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，密集空洞卷积模块中的各个空洞卷积以级联方式堆叠；该模块包含具有不同膨胀率的k个卷积分支，膨胀率分别从1，2，4，8增加到2k-1，对于第k个空洞卷积，将膨胀率设置为rk＝2k-1，其中k表示卷积层数；在每个空洞卷积分支中，均采用1×1卷积进行线性激活。
7.如权利要求1所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，步骤3中的交叉熵损失函数包括侧损失和融合层损失两部分；则基于对称双向级联网络的整体损失表示为式(2)所示，
L＝wside·Lside+wfuse·Lfuse(P,Y) (2)
其中，
Lfuse＝|P-Y|，wside和wfuse分别表示侧损失和融合层损失的权重，P表示最终的视网膜血管轮廓预测图,Y表示彩色眼底视网膜图像对应的标准血管分割图。
8.如权利要求1所述的基于对称双向级联网络深度学习的视网膜血管分割方法，其特征在于，计算损失函数引入阈值η以划分正负类，令标准血管分割图如式(3)所示，
Y＝{yi|i＝1,2,...,m,yi∈(0,1)} (3)
采用Y+和Y-分别表示血管像素和非血管像素，设Y+＝{yi|yi＞η}，Y-＝{yi|yi＝0}，则损失函数定义为式(4)
其中
表示视网膜血管预测图，β＝|Y-|/Y，1-β＝λ·|Y+|/Y，β和1-β用来平衡视网膜血管图像中的血管和背景类别，将式(4)带入到侧损失Lside和融合层损失Lfuse中，以计算得到本网络的整体损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230491.8A CN111161287A (zh) | 2019-12-05 | 2019-12-05 | 基于对称双向级联网络深度学习的视网膜血管分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230491.8A CN111161287A (zh) | 2019-12-05 | 2019-12-05 | 基于对称双向级联网络深度学习的视网膜血管分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161287A true CN111161287A (zh) | 2020-05-15 |
Family
ID=70555728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911230491.8A Pending CN111161287A (zh) | 2019-12-05 | 2019-12-05 | 基于对称双向级联网络深度学习的视网膜血管分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161287A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN112581486A (zh) * | 2020-11-27 | 2021-03-30 | 深圳点猫科技有限公司 | 一种基于双向级联网络的边缘检测方法、装置及设备 |
| CN113128564A (zh) * | 2021-03-23 | 2021-07-16 | 武汉泰沃滋信息技术有限公司 | 一种基于深度学习的复杂背景下典型目标检测方法及系统 |
| CN113205524A (zh) * | 2021-05-17 | 2021-08-03 | 广州大学 | 基于U-Net的血管图像分割方法、装置和设备 |
| CN114565620A (zh) * | 2022-03-01 | 2022-05-31 | 电子科技大学 | 一种基于骨架先验和对比损失的眼底图像血管分割方法 |
| CN115841625A (zh) * | 2023-02-23 | 2023-03-24 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
| CN117152168A (zh) * | 2023-10-31 | 2023-12-01 | 山东科技大学 | 一种基于频段分解和深度学习的医学图像分割方法 |
| WO2023236773A1 (zh) * | 2022-06-06 | 2023-12-14 | 南通大学 | 用于视网膜血管不确定边界精准分割的三支U-Net方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105261015A (zh) * | 2015-09-29 | 2016-01-20 | 北京工业大学 | 基于Gabor滤波器的眼底图像血管自动分割方法 |
| CN106530283A (zh) * | 2016-10-20 | 2017-03-22 | 北京工业大学 | 一种基于svm的医疗图像血管识别方法 |
| CN109325923A (zh) * | 2018-09-14 | 2019-02-12 | 哈尔滨理工大学 | 一种基于数字图像算法处理的糖尿病视网膜图像增强方法 |
| CN109658422A (zh) * | 2018-12-04 | 2019-04-19 | 大连理工大学 | 一种基于多尺度深监督网络的视网膜图像血管分割方法 |
| CN110473243A (zh) * | 2019-08-09 | 2019-11-19 | 重庆邮电大学 | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 |
-
2019
- 2019-12-05 CN CN201911230491.8A patent/CN111161287A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105261015A (zh) * | 2015-09-29 | 2016-01-20 | 北京工业大学 | 基于Gabor滤波器的眼底图像血管自动分割方法 |
| CN106530283A (zh) * | 2016-10-20 | 2017-03-22 | 北京工业大学 | 一种基于svm的医疗图像血管识别方法 |
| CN109325923A (zh) * | 2018-09-14 | 2019-02-12 | 哈尔滨理工大学 | 一种基于数字图像算法处理的糖尿病视网膜图像增强方法 |
| CN109658422A (zh) * | 2018-12-04 | 2019-04-19 | 大连理工大学 | 一种基于多尺度深监督网络的视网膜图像血管分割方法 |
| CN110473243A (zh) * | 2019-08-09 | 2019-11-19 | 重庆邮电大学 | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| JIANZHONG HE，ET AL: "《Bi-Directional Cascade Network for Perceptual Edge Detection》" * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN111612856B (zh) * | 2020-05-25 | 2023-04-18 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN112581486A (zh) * | 2020-11-27 | 2021-03-30 | 深圳点猫科技有限公司 | 一种基于双向级联网络的边缘检测方法、装置及设备 |
| CN113128564A (zh) * | 2021-03-23 | 2021-07-16 | 武汉泰沃滋信息技术有限公司 | 一种基于深度学习的复杂背景下典型目标检测方法及系统 |
| CN113205524A (zh) * | 2021-05-17 | 2021-08-03 | 广州大学 | 基于U-Net的血管图像分割方法、装置和设备 |
| CN114565620A (zh) * | 2022-03-01 | 2022-05-31 | 电子科技大学 | 一种基于骨架先验和对比损失的眼底图像血管分割方法 |
| CN114565620B (zh) * | 2022-03-01 | 2023-04-18 | 电子科技大学 | 一种基于骨架先验和对比损失的眼底图像血管分割方法 |
| WO2023236773A1 (zh) * | 2022-06-06 | 2023-12-14 | 南通大学 | 用于视网膜血管不确定边界精准分割的三支U-Net方法 |
| CN115841625A (zh) * | 2023-02-23 | 2023-03-24 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
| CN117152168A (zh) * | 2023-10-31 | 2023-12-01 | 山东科技大学 | 一种基于频段分解和深度学习的医学图像分割方法 |
| CN117152168B (zh) * | 2023-10-31 | 2024-02-09 | 山东科技大学 | 一种基于频段分解和深度学习的医学图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161287A (zh) | 基于对称双向级联网络深度学习的视网膜血管分割方法 | |
| Jin et al. | DUNet: A deformable network for retinal vessel segmentation | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| Porwal et al. | Idrid: Diabetic retinopathy–segmentation and grading challenge | |
| Asiri et al. | Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey | |
| CN113011485B (zh) | 多模态多病种长尾分布眼科疾病分类模型训练方法和装置 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| CN112883962B (zh) | 眼底图像识别方法、装置、设备、存储介质以及程序产品 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| Mahapatra et al. | A novel framework for retinal vessel segmentation using optimal improved frangi filter and adaptive weighted spatial FCM | |
| Waheed et al. | Hybrid features and mediods classification based robust segmentation of blood vessels | |
| CN112598661A (zh) | 一种基于机器学习的踝骨折及韧带损伤诊断方法 | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| CN111797900B (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
| Qin et al. | A review of retinal vessel segmentation for fundus image analysis | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN115984555A (zh) | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 | |
| CN111275720B (zh) | 一种基于深度学习的全端到端小器官图像识别方法 | |
| Taş et al. | Detection of retinal diseases from ophthalmological images based on convolutional neural network architecture. | |
| CN111210436B (zh) | 晶状体分割方法、装置及存储介质 | |
| CN114419061A (zh) | 一种肺部动静脉血管分割方法及系统 | |
| CN114332072A (zh) | 一种主动脉夹层疾病分型方法和装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |
|
| RJ01 | Rejection of invention patent application after publication |