CN110097554A - 基于密集卷积和深度可分离卷积的视网膜血管分割方法 - Google Patents
基于密集卷积和深度可分离卷积的视网膜血管分割方法 Download PDFInfo
- Publication number
- CN110097554A CN110097554A CN201910302372.2A CN201910302372A CN110097554A CN 110097554 A CN110097554 A CN 110097554A CN 201910302372 A CN201910302372 A CN 201910302372A CN 110097554 A CN110097554 A CN 110097554A
- Authority
- CN
- China
- Prior art keywords
- convolution
- intensive
- depth
- block
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 36
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 18
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 19
- 230000002207 retinal effect Effects 0.000 claims description 9
- 230000000717 retained effect Effects 0.000 claims description 7
- 230000002792 vascular Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000007306 turnover Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 7
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 8
- 230000004256 retinal image Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004233 retinal vasculature Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
基于密集卷积和深度可分离卷积的视网膜血管分割方法。包括：对视网膜血管图原始图像进行预处理；对数据集进行数据增强；构建基于密集卷积与深度可分离卷积结合的全卷积神经网络，并使用带有权重的损失函数对训练集进行训练；测试并得到最后分割结果图。本发明是以编码‑解码的对称网络作为主干网络。加入深度可分离卷积，大大降低了模型参数量；使用了密集卷积块，将所有层在通道上连接，加强了信息的传递并有效利用了各个尺度的特征值；在图像预处理过程中，对其进行自适应伽马矫正，对不同特征区域用不同的伽马值矫正，在提升特征对比度的同时弱化背景噪声；在训练时使用带有权重的损失函数，增强待分割血管在训练时所占比重。
Description
技术领域
本发明涉及医学图像处理领域，特别是涉及基于密集卷积和深度可分离卷积的视网膜血管分割方法。
背景技术
在视网膜眼底图像中，血管呈树状网络结构布满整个眼底图像，是眼底图像中可观察的最重要的结构。视网膜眼底图像是判断眼部疾病的重要依据，同时也对糖尿病、高血压、动脉硬化等疾病的诊断具有重要作用。手动分割视网膜血管是一项非常繁琐的任务，并需要经验和技巧。基于计算机自动提取分割视网膜血管的辅助诊断系统，在医学诊断中有着重要的应用价值。
根据分割时是否使用标准图像特工的特征数据，现有的视网膜血管分割方法主要分为两大类：无监督分割方法和有监督分割方法。
无监督分割方法不需要先验标记信息，包括基于模型方法、血管追踪方法、匹配滤波方法等。基于模型的血管分割方法主要依据眼底图像中血管的灰度变化。对于图像中亮的或者暗的病变以及血管分支点和交叉点等其他组织则需要建立更加复杂的模型。基于血管追踪分割方法首先确定初始点，然后通过血管中心线跟踪血管。这种方法计算量大，并且依赖于初始点和方向的选择，并且无法有效分割血管的分支点和低对比度血管。匹配滤波器的方法时将滤波器和图像进行卷积来提取目标，该方法对于病理图片分割效果，假阳性率偏大。
有监督分割方法主要是基于提取的特征训练分类器，达到血管与非血管分类的目的。Ricci等采用线操作结合支持向量机完成对样本的学习，特征提取简单，所需样本较少。Marin等提出基于神经网络的视网膜血管检测方法，首先预处理原始图像，使其灰度均匀且血管增强，并利用多层前馈神经网络进行训练和分类。该神经网络可以只在一个数据库上训练却在多个数据库上得到很好的血管分割结果。Wang等提出一种分层次的视网膜血管分割方法，该方法首先对图片的绿色通道进行直方图均衡化和高斯滤波，接着用简单的线性迭代聚类方法进行超像素分割，再从每个超像素中随机选中一个像素点代表整个超像素作为样本特征提取，最后用卷积神经网络完成层次特征提取并用随机森林进行分类。这些有监督分割方法的结果取决于手动特征选取的好坏，并需要大量预先分割好的视网膜血管图像进行训练来保证模型的准确率，对医学图像要求较高。
近年来，深度学习的方法取得了重大进展。卷积神经网络可以通过网络层数的增加学习到图片的深层特征。Fu等提出将卷积神经网络与条件随机场结合进行视网膜图像分割。其将血管分割作为边界检测问题处理，利用卷积神经网络产生分割概率图，再用条件随机场得到二值分割结果。但目前语义分割效果最好的方法都基于全卷积神经网络。Dasgupta等人提出将完全卷积网络(FCN)用于视网膜图像分割血管。但是，FCN只是通过单一的双线性插值来执行反卷积操作，在一定程度上损失了图片精度，使其难以准确重建血管边界的高度非线性结构。
现有的视网膜血管分割方法中，深度学习相比于传统方法有一定程度的提高，但血管不明显的区域或血管过于精细的部分分割结果还不是特别准确，不利于辅助医生的准确诊断。
发明内容
为了解决以上问题，本发明提供基于密集卷积和深度可分离卷积的视网膜血管分割方法，该方法结合了密集卷积和深度可分离卷积，使其可以充分融合浅层特征信息和深层特征信息，提高分割准确率，并且大大减少网络参数，减少训练时间，为达此目的，本发明提供基于密集卷积和深度可分离卷积的视网膜血管分割方法，包含以下步骤：
步骤1：对原始视网膜血管图像进行数据预处理：提取对比明显的绿色通道，限制对比度、直方图均衡化，并对其进行锐化操作；
步骤2：对上一步处理结果进行进一步的局部自适应伽马矫正；
步骤3：对训练集进行数据增强，并分组；
步骤4：以编码-解码结构的对称全卷积网络作为主干网络，构建基于密集卷积与深度可分离卷积结合的全卷积网络模型；
步骤5：构建自定义权重的损失函数用于训练；
步骤6：使用增强过的训练集作为网络的输入，使用步骤5的损失函数对步骤4构建的全卷积网络进行训练；
步骤7：采用训练好的网络模型对测试集进行分割，并生成最终视网膜血管分割图像。
本发明的进一步改进，所述步骤1中的数据预处理，根据视网膜血管图像特点，选取对比度较明显的绿色通道；对绿色通道限制图像对比度，直方图均衡化。
本发明的进一步改进，所述步骤2中的局部自适应伽马矫正，首先对整张图像进行一个相对较大的伽马值进行矫正，提高整幅图像的对比度，再对局部进行小值的伽马矫正，减小非特征部分的噪声。
本发明的进一步改进，所述步骤3中对训练集图像进行数据增强，首先将训练集的图片和标签在通道维度相加，使其可以同步实现相同的平移，旋转和翻转等变换，保存并分组，然后对增强过后的图片通道分离，分别保存图片和对应标签，实现对数量较小的数据集扩充。
本发明的进一步改进，所述步骤4中以编码-解码的对称全卷积网络作为主干网络，使得到的视网膜血管分割图像和输入图像大小相同，该网络结构一共有九个模块，前四个为编码模块，第五个是过渡模块，第六到第九为译码模块，第一个编码块为深度可分离卷积块，对输入图片进行两次深度可分离卷积，将结果保留，之后进行一次最大池化。
本发明的进一步改进，所述步骤4中第二个编码块到第四个编码块为密集卷积块，在每个密集卷积块内进行密集卷积层数次瓶颈层运算并把每次结果直接在通道相连，在每一个密集卷积块后，对通道数进行一半的降维，将结果保留，之后进行一次最大池化，假设在瓶颈层中，每次输出的通道数目为k，k为密集卷积块的增长率，那么第i层网络的输入通道数目为k0+(i-1)×k。本方法的增长率设为k＝32，第二到第四个卷积块的密集卷积层数分别为6，12，24。其中的瓶颈层包含一次1*1，深度为4倍增长率的卷积、一次3*3，深度为1倍增长率的卷积、每个卷积前一次批量标准化以防止训练过拟合，和进行一个ReLu激活函数，用于实现数据的非线性变换。
本发明的进一步改进，所述步骤4中，过渡模块进行了两次深度可分离卷积，一次反卷积上采样，将结果保留。
本发明的进一步改进，每个译码块通过反卷积对图像进行上采样，并进行两次卷积对通道数进行降维、提取特征，4次译码后使图像变回原图像大小，第四个编码块保留的结果连接到过渡模块保留的结果作为第一个译码块的输入，第一个译码块结果保留，连接到第三个编码块保留的结果作为第二个译码块的输入，第二个译码块结果保留，连接到第二个编码块保留的结果作为第三个译码块的输入，第三个译码块的结果保留，连接到第一个编码块保留的结果作为第四个译码块的输入。
本发明的进一步改进，步骤5中对损失函数自定义权重进行训练；
α—γ损失函数
其中，N为像素个数，为标签，yi为预测值，α为权重系数，γ为指数系数，权重系数α用来解决类别不平衡问题，指数系数γ用来解决难区分样本问题；
对于每个像素点i：
由于目标点(的点)的数量远小于背景点(的点)的数量，引入权重系数α，在这里，本方法取α＝0.8，使目标点相比背景点，对损失函数有更大的贡献，这弥补了目标点过少的不足，有利于更好地训练目标点；
指数系数γ的引入是为了更好的训练难以区分的像素点，本方法取γ＝2，对于目标点，y＝0.9时(1-y)γ的值，要比y＝0.6时(1-y)γ值要小得多；对于背景点，1-y＝0.9时yγ的值，要比1-y＝0.6时yγ的值要小得多，因此α—γ损失函数对于预测值在0.5左右的像素点更敏感；
视网膜血管图片中的待分割区域只有血管，其目标点的数量远小于背景点的数量，引入权重系数可以使目标点对损失函数有更大的贡献，弥补了目标点过少的不足，有利于更好地训练目标点。
本发明针对视网膜血管分割提出了一种新型深度神经网络结构，具有以下的优点和效果：
1、本发明进行的图像预处理操作，大大提升了原视网膜图像中血管的清晰度和对比度，减少了网络在提取特征时一些不必要的难度，同时提高了网络学习模型的精确度。
2、本发明提出的密集卷积和深度卷积结合的神经网络结构，复用了每层的特征信息，缩短了前后层之间的距离，加强了特征传播的能力，有效减少过拟合的问题。同时减少了网络参数，提高网络的训练效率。在DRIVE数据集上可达到：准确率96.83％，精确率87.02％，灵敏度73.71％，特异度98.95％。
附图说明
图1是本发明的实现流程框图；
图2密集卷积中瓶颈层结构示意图；
图3是密集卷积块结构示意图；
图4是本发明算法网络框图；
图5是数据集原图、预处理结果对比图；
图6是本发明实现视网膜血管分割的结果图：图(a)是视网膜眼底原图像，图(b)是手动分割标签，图(c)是本发明分割结果。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供基于密集卷积和深度可分离卷积的视网膜血管分割方法，该方法结合了密集卷积和深度可分离卷积，使其可以充分融合浅层特征信息和深层特征信息，提高分割准确率，并且大大减少网络参数，减少训练时间。
本发明的实现流程图如图1所示。
本发明使用的原始视网膜血管图像是DRIVE(Digital Retinal Image forVessel Extraction)公开数据集，该数据集中共有40张视网膜眼底图像，分为训练集和测试集，各有20张图片。在训练集中，每张视网膜图像都有一张对应的专家手动分割图。将专家分割结果作为训练数据的标签用于网络模型的训练。测试集中的每张视网膜原始图像有两个专家对应的手动分割图，在测试过程中，将第一个专家的分割结果作为真值来评估本发明所提出模型的分割性能，将得到的各种指标值和第二个专家的分割结果进行对比，以此来验证本发明中模型的性能和人类手动分割效果的优劣。具体实施步骤分别如下:
1.对图片进行预处理
由于训练集和测试集中的原始视网膜图片都是彩色图像，并且背景与血管目标的分辨度不高，所以需要对原始图像进行一些预处理，使其适合后续网络模型的输入。首先，提取分辨率较高的图片的绿色通道。然后将绿色通道的单通道灰度图进行限制对比度直方图均衡化(CLAHE)。再对处理过的图片进行锐化操作，抑制CLAHE增强后图像的伪影与黄斑等噪声信息，凸显血管信息。
利用局部自适应伽马矫正，首先对全局进行一个稍大的伽马值调节图片对比度，再根据血管和背景的不同像素特征进行伽马值匹配，将视网膜图像分区域进行矫正。
2.对经过预处理的训练集图片进行数据增强
因为DRIVE数据集中只有20张用来训练的图片，对于神经网络来说数量较少。进行数据增强时，首先，将图片与对应标签在通道数相加得到一张混合图片，使图片和对应标签可以同时进行数据增强的平移、旋转、翻转等变换，使得每张图片扩展70张，得到1400张图片。然后将1200张图片用于训练，200张用于验证。最后把每张混合图片按照对应的通道，分解成一一对应的输入图片和输入标签。
3.构建密集卷积和可分离卷积结合的全卷积神经网络
本发明的网络框架如附图4所示，由4个编码块，1个过渡块和4个译码块组成。其特征、作用、内部运算以及每层输出图片的尺寸在表格1中呈现。
表格1：本发明网络结构各层信息
第一个编码块由两层深度可分离卷积和一个最大池化层构成。深度可分离卷积将标准卷积分解为深度卷积和逐点卷积。标准卷积的卷积核尺寸为：DF×DF×M，共又N个，输出尺寸为DF×DF×N：其计算量为：cost1＝DK×DK×M×DF×DF×N。深度可分离卷积的深度卷积的卷积核尺寸为：DK×DK×1，共有M个。深度可分离卷积的逐点卷积的卷积核尺寸，为：1×1×M，共有N个。深度可分离卷积的计算量为：cost2＝DK×DK×M×DF×DF+M×DF×DF×N。同样效果的深度卷积与标准卷积的计算量相比：使用深度可分离卷积可以大大减少网络的参数量。减少训练和预测时间。两次深度可分离卷积运算之后将结果保留，进行最大池化运算，使图片尺寸减半。
第二个到第四个编码块由密集卷积块组成。密集卷积块结构如附图3。密集卷积：xl＝Hl([x0,x1,...,xl-1])，其中，xl是第l个卷积层的输出，Hi(·)是第l个卷积层的非线性运算，[x0,x1,...,xl-1]是第0，1，…,l-1个卷积层输出的拼接。Hi(·)包含3中操作：批标准化，修正先行单元，3*3卷积。假设在dense block中，每一个非线性变换Hi(·)的输出为k个feature map。设k为dense block的growth rate。那么第i层网络的输入为k0+(i-1)×k个feature map。其中k0为输入dense block的feature map的个数。
密集卷积块通过瓶颈层进行一系列的卷积操作。附图2是其结构示意图。本发明中选择增长率为32。则该过程首先将其输入进行一次批标准化，ReLu激活，然后经过一次1×1×128(增长率×4)尺寸的卷积层，再经过一次批标准化，ReLu激活，经过一次3×3×32(增长率)尺寸的卷积层，最后将卷积结果和输入进行通道拼接。每个密集卷积块进行l次的瓶颈层操作之后，再进行1次通道降维，将其数量减半。运算结果保留，进行最大池化运算，使图片尺寸减半。第二个到第四个编码块的l分别为6，12，24。
每一个密集卷积块中将每一个瓶颈层的卷积结果在通道拼接，作为下一次卷积的输入，使得网络特征被重复利用，不仅缩短了前后层之间的距离，还加强了特征传播的能力。在不增加网络深度的情况下，得到了更深层的特征信息。
表格2显示了本发明与同框架普通卷积网络编码块参数量对比。同框架普通卷积网络是指每个编码块使用两个3×3尺寸的普通卷积核，和本发明在过渡块输出同样尺寸的特征图。表格2中的结果显示了本发明在编码块的参数量比普通卷积网络编码块参数量减少了近一半。但分割精度依然有所提升。
表格2：本发明与同框架普通卷积网络编码块参数量对比
| 同框架普通卷积网络编码块参数量 | 本发明编码块参数量 | |
| 编码块1 | 9.8×10<sup>9</sup> | 1.2×10<sup>9</sup> |
| 编码块2 | 14.5×10<sup>9</sup> | 19.0×10<sup>9</sup> |
| 编码块3 | 14.5×10<sup>9</sup> | 11.2×10<sup>9</sup> |
| 编码块4 | 14.5×10<sup>9</sup> | 7.2×10<sup>9</sup> |
| 过渡块 | 14.5×10<sup>9</sup> | 1.6×10<sup>9</sup> |
| 总计 | 67.8×10<sup>9</sup> | 40.2×10<sup>9</sup> |
在过渡块中，经过两次深度可分离卷积，图片尺寸缩小到了输入时的1/16，通道数达到了1024。之后，经过一次反卷积运算，使图片增大一倍,为输入图片大小的1/8。将其与第四编码块结果拼接，作为第一个译码块的输入，进行两次卷积提取特征，一次反卷积，增加一倍图片尺寸。将其与第三编码块结果拼接，作为第二个译码块的输入，进行两次卷积提取特征，一次反卷积，增加一倍图片尺寸。将其与第二编码块结果拼接，作为第三个译码块的输入，进行两次卷积提取特征，一次反卷积，增加一倍图片尺寸。将其与第一编码块结果拼接，作为第四个译码块的输入，进行两次卷积提取特征，达到输入图像尺寸。
4.构建带有权重的损失函数
α—γ损失函数
其中，N为像素个数，为标签，yi为预测值，α为权重系数，γ为指数系数，权重系数α用来解决类别不平衡问题，指数系数γ用来解决难区分样本问题；
对于每个像素点i：
由于目标点(的点)的数量远小于背景点(的点)的数量，引入权重系数α，在这里，本方法取α＝0.8，使目标点相比背景点，对损失函数有更大的贡献，这弥补了目标点过少的不足，有利于更好地训练目标点；
指数系数γ的引入是为了更好的训练难以区分的像素点，本方法取γ＝2，对于目标点，y＝0.9时(1-y)γ的值，要比y＝0.6时(1-y)γ值要小得多；对于背景点，1-y＝0.9时yγ的值，要比1-y＝0.6时yγ的值要小得多，因此α—γ损失函数对于预测值在0.5左右的像素点更敏感；
视网膜血管图片中的待分割区域只有血管，其目标点的数量远小于背景点的数量。引入权重系数可以使目标点对损失函数有更大的贡献，弥补了目标点过少的不足，有利于更好地训练目标点。
5.训练结果模型
本发明将准确率、精确率、灵敏度和特异度作为方法的判别标准。表格1是混淆矩阵。
表格1：混淆矩阵
准确率是分类模型所有判断正确的结果站总观测值的比重，灵敏度(召回率)是在真实值是目标的所有结果中，模型预测对的比重，特异度是在真实值不是目标的所有结果中，模型预测对的比重，
本发明使用Adam优化器，学习率为1e-4，在训练集上训练了4次。达到了准确率96.83％，灵敏度73.71％，特异度98.95％。
6.测试网络模型
将预处理过的测试图片和标签输入网络模型，直接得到每张图片的预测图以及准确率等判别结果。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (9)
1.基于密集卷积和深度可分离卷积的视网膜血管分割方法，包含以下步骤，其特征在于：
步骤1：对原始视网膜血管图像进行数据预处理：提取对比明显的绿色通道，限制对比度、直方图均衡化，并对其进行锐化操作；
步骤2：对上一步处理结果进行进一步的局部自适应伽马矫正；
步骤3：对训练集进行数据增强，并分组；
步骤4：以编码-解码结构的对称全卷积网络作为主干网络，构建基于密集卷积与深度可分离卷积结合的全卷积网络模型；
步骤5：构建自定义权重的损失函数用于训练；
步骤6：使用增强过的训练集作为网络的输入，使用步骤5的损失函数对步骤4构建的全卷积网络进行训练；
步骤7：采用训练好的网络模型对测试集进行分割，并生成最终视网膜血管分割图像。
2.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：所述步骤1中的数据预处理，根据视网膜血管图像特点，选取对比度较明显的绿色通道；对绿色通道限制图像对比度，直方图均衡化。
3.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：所述步骤2中的局部自适应伽马矫正，首先对整张图像进行一个相对较大的伽马值进行矫正，提高整幅图像的对比度，再对局部进行小值的伽马矫正。
4.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：所述步骤3中对训练集图像进行数据增强，首先将训练集的图片和标签在通道维度相加，使其可以同步实现相同的平移，旋转和翻转相关变换，保存并分组，然后对增强过后的图片通道分离，分别保存图片和对应标签。
5.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：所述步骤4中以编码-解码的对称全卷积网络作为主干网络，使得到的视网膜血管分割图像和输入图像大小相同，该网络结构一共有九个模块，前四个为编码模块，第五个是过渡模块，第六到第九为译码模块，第一个编码块为深度可分离卷积块，对输入图片进行两次深度可分离卷积，将结果保留，之后进行一次最大池化。
6.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：所述步骤4中第二个编码块到第四个编码块为密集卷积块，在每个密集卷积块内进行密集卷积层数次瓶颈层运算并把每次结果直接在通道相连，在每一个密集卷积块后，对通道数进行一半的降维，将结果保留，之后进行一次最大池化，假设在瓶颈层中，每次输出的通道数目为k，k为密集卷积块的增长率，那么第i层网络的输入通道数目为k0+(i-1)×k，本方法的增长率设为k＝32，第二到第四个卷积块的密集卷积层数分别为6，12，24，其中的瓶颈层包含一次1*1，深度为4倍增长率的卷积、一次3*3，深度为1倍增长率的卷积、每个卷积前一次批量标准化以防止训练过拟合，和进行一个ReLu激活函数，用于实现数据的非线性变换。
7.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：所述步骤4中，过渡模块进行了两次深度可分离卷积，一次反卷积上采样，将结果保留。
8.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：每个译码块通过反卷积对图像进行上采样，并进行两次卷积对通道数进行降维、提取特征，4次译码后使图像变回原图像大小，第四个编码块保留的结果连接到过渡模块保留的结果作为第一个译码块的输入，第一个译码块结果保留，连接到第三个编码块保留的结果作为第二个译码块的输入，第二个译码块结果保留，连接到第二个编码块保留的结果作为第三个译码块的输入，第三个译码块的结果保留，连接到第一个编码块保留的结果作为第四个译码块的输入。
9.根据权利要求1所述的基于密集卷积和深度可分离卷积的视网膜血管分割方法，其特征在于：步骤5中对损失函数自定义权重进行训练；
α—γ损失函数
其中，N为像素个数，为标签，yi为预测值，α为权重系数，γ为指数系数，权重系数α用来解决类别不平衡问题，指数系数γ用来解决难区分样本问题；
对于每个像素点i：
由于目标点(的点)的数量远小于背景点(的点)的数量，引入权重系数α，在这里，本方法取α＝0.8，使目标点相比背景点，对损失函数有更大的贡献；
指数系数γ的引入是为了更好的训练难以区分的像素点，本方法取γ＝2，对于目标点，y＝0.9时(1-y)γ的值，要比y＝0.6时(1-y)γ值要小得多；对于背景点，1-y＝0.9时yγ的值，要比1-y＝0.6时yγ的值要小得多，因此α—γ损失函数对于预测值在0.5左右的像素点更敏感；
视网膜血管图片中的待分割区域只有血管，其目标点的数量远小于背景点的数量，引入权重系数可以使目标点对损失函数有更大的贡献。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910302372.2A CN110097554B (zh) | 2019-04-16 | 2019-04-16 | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910302372.2A CN110097554B (zh) | 2019-04-16 | 2019-04-16 | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110097554A true CN110097554A (zh) | 2019-08-06 |
| CN110097554B CN110097554B (zh) | 2023-03-31 |
Family
ID=67444961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910302372.2A Active CN110097554B (zh) | 2019-04-16 | 2019-04-16 | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097554B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179214A (zh) * | 2019-11-29 | 2020-05-19 | 苏州优纳医疗器械有限公司 | 一种基于图像语义分割的病理切片组织区域识别系统 |
| CN111274865A (zh) * | 2019-12-14 | 2020-06-12 | 深圳先进技术研究院 | 一种基于全卷积神经网络的遥感图像云检测方法及装置 |
| CN111583291A (zh) * | 2020-04-20 | 2020-08-25 | 中山大学 | 基于深度学习的视网膜层和积液区域的层分割方法及系统 |
| CN111709338A (zh) * | 2020-06-08 | 2020-09-25 | 苏州超云生命智能产业研究院有限公司 | 一种用于表格检测的方法、装置及检测模型的训练方法 |
| CN111931867A (zh) * | 2020-09-21 | 2020-11-13 | 长沙理工大学 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
| CN112053363A (zh) * | 2020-08-19 | 2020-12-08 | 苏州超云生命智能产业研究院有限公司 | 视网膜血管分割方法、装置及模型构建方法 |
| CN112529904A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 图像语义分割方法、装置、计算机可读存储介质和芯片 |
| CN112784806A (zh) * | 2021-02-04 | 2021-05-11 | 中国地质科学院矿产资源研究所 | 一种基于全卷积神经网络的含锂伟晶岩脉提取方法 |
| CN112800963A (zh) * | 2021-01-28 | 2021-05-14 | 新华三大数据技术有限公司 | 基于深度神经网络的版面分析方法、模型及电子设备 |
| WO2021128230A1 (zh) * | 2019-12-27 | 2021-07-01 | 上海昕健医疗技术有限公司 | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
| CN113066090A (zh) * | 2021-03-19 | 2021-07-02 | 推想医疗科技股份有限公司 | 血管分割模型的训练方法及装置、应用方法及装置 |
| TWI768555B (zh) * | 2020-11-23 | 2022-06-21 | 威盛電子股份有限公司 | 調整神經網路輸入資料的系統及方法 |
| CN114881962A (zh) * | 2022-04-28 | 2022-08-09 | 桂林理工大学 | 一种基于改进U-Net网络的视网膜图像血管分割方法 |
| CN117274256A (zh) * | 2023-11-21 | 2023-12-22 | 首都医科大学附属北京安定医院 | 一种基于瞳孔变化的疼痛评估方法、系统及设备 |
| CN117437249A (zh) * | 2023-12-21 | 2024-01-23 | 深圳大学 | 眼底血管图像的分割方法、终端设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017162456A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
| CN107292887A (zh) * | 2017-06-20 | 2017-10-24 | 电子科技大学 | 一种基于深度学习自适应权重的视网膜血管分割方法 |
| CN108288075A (zh) * | 2018-02-02 | 2018-07-17 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
| CN109345538A (zh) * | 2018-08-30 | 2019-02-15 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
-
2019
- 2019-04-16 CN CN201910302372.2A patent/CN110097554B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017162456A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
| CN107292887A (zh) * | 2017-06-20 | 2017-10-24 | 电子科技大学 | 一种基于深度学习自适应权重的视网膜血管分割方法 |
| CN108288075A (zh) * | 2018-02-02 | 2018-07-17 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
| CN109345538A (zh) * | 2018-08-30 | 2019-02-15 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529904A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 图像语义分割方法、装置、计算机可读存储介质和芯片 |
| CN111179214A (zh) * | 2019-11-29 | 2020-05-19 | 苏州优纳医疗器械有限公司 | 一种基于图像语义分割的病理切片组织区域识别系统 |
| CN111274865A (zh) * | 2019-12-14 | 2020-06-12 | 深圳先进技术研究院 | 一种基于全卷积神经网络的遥感图像云检测方法及装置 |
| CN111274865B (zh) * | 2019-12-14 | 2023-09-19 | 深圳先进技术研究院 | 一种基于全卷积神经网络的遥感图像云检测方法及装置 |
| WO2021128230A1 (zh) * | 2019-12-27 | 2021-07-01 | 上海昕健医疗技术有限公司 | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
| CN111583291A (zh) * | 2020-04-20 | 2020-08-25 | 中山大学 | 基于深度学习的视网膜层和积液区域的层分割方法及系统 |
| CN111583291B (zh) * | 2020-04-20 | 2023-04-18 | 中山大学 | 基于深度学习的视网膜层和积液区域的层分割方法及系统 |
| CN111709338B (zh) * | 2020-06-08 | 2024-02-27 | 苏州超云生命智能产业研究院有限公司 | 一种用于表格检测的方法、装置及检测模型的训练方法 |
| CN111709338A (zh) * | 2020-06-08 | 2020-09-25 | 苏州超云生命智能产业研究院有限公司 | 一种用于表格检测的方法、装置及检测模型的训练方法 |
| CN112053363A (zh) * | 2020-08-19 | 2020-12-08 | 苏州超云生命智能产业研究院有限公司 | 视网膜血管分割方法、装置及模型构建方法 |
| CN112053363B (zh) * | 2020-08-19 | 2023-12-15 | 苏州超云生命智能产业研究院有限公司 | 视网膜血管分割方法、装置及模型构建方法 |
| CN111931867A (zh) * | 2020-09-21 | 2020-11-13 | 长沙理工大学 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
| CN111931867B (zh) * | 2020-09-21 | 2020-12-18 | 长沙理工大学 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
| TWI768555B (zh) * | 2020-11-23 | 2022-06-21 | 威盛電子股份有限公司 | 調整神經網路輸入資料的系統及方法 |
| CN112800963A (zh) * | 2021-01-28 | 2021-05-14 | 新华三大数据技术有限公司 | 基于深度神经网络的版面分析方法、模型及电子设备 |
| CN112784806A (zh) * | 2021-02-04 | 2021-05-11 | 中国地质科学院矿产资源研究所 | 一种基于全卷积神经网络的含锂伟晶岩脉提取方法 |
| CN113066090B (zh) * | 2021-03-19 | 2022-02-08 | 推想医疗科技股份有限公司 | 血管分割模型的训练方法及装置、应用方法及装置 |
| CN113066090A (zh) * | 2021-03-19 | 2021-07-02 | 推想医疗科技股份有限公司 | 血管分割模型的训练方法及装置、应用方法及装置 |
| CN114881962A (zh) * | 2022-04-28 | 2022-08-09 | 桂林理工大学 | 一种基于改进U-Net网络的视网膜图像血管分割方法 |
| CN114881962B (zh) * | 2022-04-28 | 2024-04-19 | 桂林理工大学 | 一种基于改进U-Net网络的视网膜图像血管分割方法 |
| CN117274256A (zh) * | 2023-11-21 | 2023-12-22 | 首都医科大学附属北京安定医院 | 一种基于瞳孔变化的疼痛评估方法、系统及设备 |
| CN117274256B (zh) * | 2023-11-21 | 2024-02-06 | 首都医科大学附属北京安定医院 | 一种基于瞳孔变化的疼痛评估方法、系统及设备 |
| CN117437249A (zh) * | 2023-12-21 | 2024-01-23 | 深圳大学 | 眼底血管图像的分割方法、终端设备及存储介质 |
| CN117437249B (zh) * | 2023-12-21 | 2024-03-22 | 深圳大学 | 眼底血管图像的分割方法、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110097554B (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097554A (zh) | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 | |
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN109087302A (zh) | 一种眼底图像血管分割方法及设备 | |
| CN108898175B (zh) | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 | |
| CN111612790B (zh) | 一种基于t型注意力结构的医学图像分割方法 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN112508864B (zh) | 基于改进UNet++的视网膜血管图像分割方法 | |
| CN110276356A (zh) | 基于r-cnn的眼底图像微动脉瘤识别方法 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN111815562B (zh) | 一种U-Net与自适应PCNN相结合的视网膜血管分割方法 | |
| CN111815574A (zh) | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 | |
| CN112001928B (zh) | 一种视网膜血管分割方法及系统 | |
| CN111489328B (zh) | 一种基于血管分割和背景分离的眼底图像质量评价方法 | |
| CN112150476A (zh) | 基于时空判别性特征学习的冠状动脉序列血管分割方法 | |
| CN110675411A (zh) | 基于深度学习的宫颈鳞状上皮内病变识别算法 | |
| Cao et al. | Gastric cancer diagnosis with mask R-CNN | |
| CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
| CN114881962A (zh) | 一种基于改进U-Net网络的视网膜图像血管分割方法 | |
| CN111242949B (zh) | 基于全卷积神经网络多尺度特征的眼底图像血管分割方法 | |
| CN114972248A (zh) | 基于注意力机制改进的U-net肝肿瘤分割方法 | |
| CN111815563A (zh) | 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法 | |
| CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及系统 | |
| Jana et al. | Liver fibrosis and nas scoring from ct images using self-supervised learning and texture encoding | |
| CN110610480A (zh) | 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 | |
| Sallam et al. | Diabetic retinopathy grading using resnet convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |