CN109345538A - 一种基于卷积神经网络的视网膜血管分割方法 - Google Patents

一种基于卷积神经网络的视网膜血管分割方法 Download PDF

Info

Publication number
CN109345538A
CN109345538A CN201811002762.XA CN201811002762A CN109345538A CN 109345538 A CN109345538 A CN 109345538A CN 201811002762 A CN201811002762 A CN 201811002762A CN 109345538 A CN109345538 A CN 109345538A
Authority
CN
China
Prior art keywords
image
convolution block
retinal
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811002762.XA
Other languages
English (en)
Other versions
CN109345538B (zh
Inventor
周叶萍
陆以勤
覃健诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811002762.XA priority Critical patent/CN109345538B/zh
Publication of CN109345538A publication Critical patent/CN109345538A/zh
Application granted granted Critical
Publication of CN109345538B publication Critical patent/CN109345538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Abstract

本发明公开了一种基于卷积神经网络的视网膜血管分割方法,包括:对视网膜眼底图像进行预处理;对训练集图像进行块提取;构建血管分割卷积神经网络,用提取到的图像块进行训练;在预测阶段,对每张图像提取多个连续的重叠片段,对多个预测结果取平均获得每个像素的分类概率,得到最后的分割结果图。本发明针对视网膜血管分割提出的新的卷积神经网络结构,是一种基于Encoder‑Decoder结构的对称网络,在Encoder部分和Decoder部分之间添加了两种跳过连接。网络不仅可以实现视网膜图像端到端的分割,而且能在有限的数据集上得到精确的分割结果,并能有效避免梯度消失的问题,相比于现有技术的算法,具有一定的优势。

Description

一种基于卷积神经网络的视网膜血管分割方法
技术领域
本发明涉及医学图像处理及计算机视觉技术领域,具体涉及一种基于卷积神经网络的视网膜血管分割方法。
背景技术
视网膜眼底图像已被广泛应用于多种心血管和眼科疾病的诊断,筛选和治疗,视网膜血管的分析,在许多临床应用中,揭示全身性疾病的重要信息,具有十分重要的意义。视网膜血管的分割是定量分析的基本步骤。分割的血管树可以用来提取血管的形态属性,如长度,宽度,分支和角度。此外,血管树作为图像中最稳定的特征,已被采用在多模式视网膜图像配准,由于其独特性,血管树也被用于生物识别。手动分割视网膜图像中的血管树是一项繁琐的任务,需要经验和技巧。在开发眼科疾病的计算机辅助诊断系统时,视网膜血管的自动分割已经被认为是一个重要且具有挑战性的步骤。
广泛地说,现有的算法可以分为有监督和无监督的方法。无监督方法主要包括:基于匹配滤波、基于模型的方法等;有监督方法是集中在特征向量的提取以及使用特征作为输入的分类器的设计以区分血管像素和背景。监督方法的性能通常优于无监督方法,对视网膜图像能自动分割并且能产生良好的效果。
大多数监督方法采用支持向量机(SVM)或人工神经网络(ANN)作为分类器。与SVM相比,多层神经网络可以模拟更复杂的输入和输出之间的关系。Marin等人提出了一种基于神经网络的监督方法,训练一个神经网络(NN)进行像素分类。它们同时使用基于灰度和矩不变量的特征来构建 7维特征矢量,并利用多层前馈神经网络进行训练和分类。他们的方法报告的准确性,敏感性和特异性分别为0.9452,0.7067和0.9801(DRIVE数据库),和0.9526,0.6944和0.9819(STARE数据库)。决策树也被用于血管分割,Fraz等人提出了使用增强型决策树的集合方法来进行血管分割。他们利用四种技术来提取特征向量,包括梯度向量场,形态学变换,线特征和Gabor响应。在DRIVE数据库上的平均准确度,灵敏度和特异性分别提高到0.9480,0.7406和0.9807,在STARE数据库上的平均准确度,灵敏度和特异性提高到0.9534,0.7548和0.9763。大多数公开的监督方法使用人工设计的特征来模拟视网膜血管。然而,手动设计特征是一个启发式和艰苦的过程,严重依赖于经验和技能,血管交叉,分支和中心线反射的存在也使得用人工设计的特征精确地分割血管是困难的。而且,为了解决病变,图像噪声等复杂情况,通常需要仔细调整算法中使用的参数。
卷积神经网络(CNNs)可自动从训练图像中集中学习高度代表性的分层特征,基于其在医学图像分割中强大的表现,可以用卷积神经网络来提高分割算法的性能,有着很好的效果。Maninis等人提出了一个统一的视网膜图像分析框架,通过使用深度卷积神经网络进行视网膜血管和视盘分割。由于条件随机场(CRF)可以帮助模拟像素之间的长距离相互作用,并且在存在强度下降和噪声的情况下也可以提高分割性能,Hu等人将CRF整合到视网膜血管分割的深度神经网络中。Dasgupta等人提出了进一步的发展,将完全卷积网络(FCN)用于眼底图像中来分割视网膜血管。用于血管分割的FCN用一个或多个去卷积层代替全连接层,使得分割更快和更精确。然而,作为实现图像分割密集预测的常用网络,FCN只是通过单一的双线性插值来执行反卷积操作,并且难以准确重建血管边界的高度非线性结构。另外,边界细节和语义之间存在固有的张力,尽管定义了跳过架构以分别结合来自深层的语义信息和浅层的外观信息。由于视网膜血管的特殊性,需要更多上下文信息来生成逐像素分类。
上述的许多用于视网膜血管分割的方法,有些并不适合于实际应用,有些需要较复杂的预处理和后处理步骤,并且想要应用于计算机辅助诊断,对算法实现视网膜血管分割的精确度、灵敏度、特异性等有一定要求。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于卷积神经网络的视网膜血管分割方法,能够实现端到端的网络训练,不需要复杂的后处理方法,在视网膜血管图像分割上达到很好的效果。
本发明的目的可以通过采取如下技术方案达到:
一种基于卷积神经网络的视网膜血管分割方法,包括以下步骤:
S1、对数据库中的视网膜血管图像进行预处理,包括灰度转换、标准化、对比度受限直方图均衡化和Gamma校正;
S2、对数据库训练集中的经过预处理的图片进行块提取,进行样本扩充,用于作为神经网络结构的训练样本,增加训练数据,提高训练网络模型的泛化能力;
S3、基于Encoder-Dercoder结构构建视网膜血管分割卷积神经网络,将步骤S2提取的图像块作为卷积神经网络的输入,对网络进行训练,得到视网膜血管图像分割的模型参数;所述的卷积神经网络的结构分为 Encoder部分和Decoder部分,Encoder部分由四个Encoder卷积块组成,依次为第一Encoder卷积块、第二Encoder卷积块、第三Encoder卷积块和第四Encoder卷积块;Decoder部分由四个Decoder卷积块组成,依次为第一Decoder卷积块、第二Decoder卷积块、第三Decoder卷积块和第四Decoder卷积块;将相应层次Encoder卷积块的输出连接到Decoder卷积块的输入:第一Encoder卷积块的输出连接到第四Decoder卷积块的输入、第二Encoder卷积块的输出连接到第三Decoder卷积块的输入、第三Encoder卷积块的输出连接到第二Decoder卷积块的输入、第四Encoder 卷积块的输出连接到第一Decoder卷积块的输入,从而形成跳过连接;并在每个Encoder卷积块和Decoder卷积块的内部将输入直接连接到输出,形成另一个跳过连接,由此形成了对称的网络结构;
S4、将测试样本输入网络,在每个测试图像中提取多个连续的重叠片段,对多个预测结果进行平均获得每个像素的分类概率,得到视网膜血管的分割结果图。
进一步地,所述的步骤S1、对数据库中的视网膜血管图像进行预处理的过程如下:
S11、对每一幅彩色视网膜图像进行灰度转换,赋予R、G、B三个通道的值不同的权重,根据公式Gray=R*0.299+G*0.587+B*0.114,将原始图像转化为单通道灰度图;
S12、由于图像采集过程中存在的误差,将灰度图进行归一化处理,以防止在训练过程中进行梯度下降类似的优化算法时,最终值被数值大的特征所主导。图像归一化后也可以相应提高迭代求解的收敛速度和精度;
S13、对图像进行对比度受限直方图均衡化(CLAHE)处理以及Gamma 校正来调节图像的对比度,提高图像的质量。
进一步地,所述的步骤S2中,图像块提取方法具体为:在每张经过预处理的图像中随机提取一定数量的图像块,图像块的大小可以根据训练结果修改设定,由此,图像块可以在图片任意位置取得,通过在每张图像上进行块提取,训练样本数量得到有效扩增。
进一步地,所述的步骤S3中,基于Encoder-Decoder结构对称的卷积神经网络,Encoder部分用于提取输入图像块的特征,并且利用池化层减少像素空间;Decoder部分通过上采样重建目标的细节,恢复像素空间,以此实现图像视网膜血管的分割。在块间添加的跳过连接使得每个Decoder卷积块的输入为上一层的输出和相应Encoder卷积块输出的整合,使得上采样过程能同时获取足够的上下文信息和语义信息。在块内添加的跳过连接使得卷积块学习一个残差函数F(x)=H(x)–x,这种残差函数更容易优化。每个Encoder卷积块和Decoder卷积块的由相同部分组成,依次为:卷积层、ReLU层、Dropout层、卷积层、整合层,整合层的作用就是将该卷积块的输入和输出进行整合,一起作为网络下一部分的输入。不同的是,每一个Encoder卷积块后连接的是一个最大池化层和一个ReLU层;而每一个Decoder卷积块后连接的是一个反卷积层和一个ReLU层。
进一步地,所述步骤S4中,将测试样本输入网络,在每个测试图像中按照步长为7连续提取多个重叠片段,每个像素点对应多个图像块,每个图像块输入网络中进行一次分割,将多个预测结果进行平均获得每个像素的属于每一类的概率,最后进行二值化得到视网膜血管的分割结果图。
本发明相对于现有技术具有如下的优点及效果:
1、本发明样本数据扩增方法简单,仅是通过对训练集图片随机提取一定大小的图像块来增加训练数据,使数据达到一定数量来避免训练过拟合,而不用通过弹性形变、模糊操作等复杂变化来模拟可能的视网膜图像数据;提取的图像块可以出现在原始图像的任何位置,可根据实验测试结果改变其大小,进而改善视网膜血管分割的性能。
2、本发明所构建的卷积神经网络采用了Encoder-Decoder的对称结构,两种跳过连接的使用,使得网络能在上采样过程中获取在下采样过程中因池化而丢失的信息,能够同时获得足够的上下文信息和语义信息,由此得到更好的分割效果;也使得在模型训练时梯度消失的问题,提高网络的收敛速度;在每个卷积块中采用的Dropout层也可以有效减少过拟合的问题。
3、本发明用训练好的模型对视网膜图像进行血管分割时,采用的是对待分割图像进行重叠连续图像块提取,最后对每一像素多个分类概率图求其平均值的方法,以此作为最后的血管分割结果,进一步提高视网膜分割的准确度。
附图说明
图1是本发明中视网膜血管图像分割流程示意图;
图2是本发明中血管分割卷积神经网络的结构图;
图3是本发明中Encoder卷积块和Decoder卷积块的细节图;
图4是视网膜血管眼底图像分割结果示意图;其中,
图4中(a)是视网膜血管眼底的原始图像;
图4中(b)是第一位专家手动分割图;
图4中(c)是本发明模型分割结果图;
图5是DRIVE数据库血管图像分割ROC曲线图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例的整体分割流程图如图1所示。本实施例中使用DRIVE (DigitalRetinal Image for Vessel Extraction)公开数据库作为实验数据,该数据库中共有40张视网膜眼底图像,分为训练集和测试集,它们分别有20张图像。在训练集中,每张视网膜图像有一张原始图像和一个相对应的专家手动分割图(groundtruth),将专家分割结果作为标准即训练数据的标签用于网络模型的训练。测试集中的每张视网膜原始图像有两个专家对应的手动分割图,在测试过程中,将第一个专家的分割结果作为真值来评估本发明所提出模型的分割性能,将得到的各种指标值和第二个专家的分割结果进行对比,以此来验证本发明中模型的性能和人类手动分割效果的优劣。具体实施步骤分别如下:
1、图像预处理
由于训练集和测试集中的原始视网膜图像都属于彩色图像,需要对原始图像进行一些预处理,使其适合作为后续网络模型的输入。首先,对每一幅彩色视网膜图像进行灰度转换,赋予R、G、B三个通道的值不同的权重,根据公式Gray=R*0.299+G*0.587+B*0.114,将原始图像转化为单通道灰度图。由于图像采集过程中存在的误差,将灰度图进行归一化处理,以防止在训练过程中进行梯度下降类似的优化算法时,最终值被数值大的特征所主导。图像归一化后也可以相应提高迭代求解的收敛速度和精度。然后,对图像进行对比度受限直方图均衡化(CLAHE)处理以及Gamma 校正来调节图像的对比度,提高图像的质量。
2、样本扩增(图像块提取)
现有公开的医学图像相关的数据库比较少,本发明中使用的数据库训练集只有20张视网膜图像,然而深度神经网络的训练需要大量的数据,并且训练样本过少会引起过拟合问题。所以需要对训练样本进行扩增,在本发明中,采用的方法是在每张视网膜图像上进行随机图像块提取。首先设定提取图像块的大小,包括宽度和高度,以及每张图像提取的块数量n,然后在原始图像上随机提取连续的图像块。由于提取的随机性,提取的图像块可以出现在原始图像的任意位置,不仅可以扩增样本的数量,同时也能保证样本的有效性。可以根据不同像素值的视网膜图像调整图像块的大小,使本发明的模型适用于不同大小的视网膜图像。
另外,为了和训练样本一一对应,对于视网膜血管的专家分割图 (groundtruth)也需要进行一样的处理。最后,样本数量扩增为原来的n倍。将扩增后的训练样本数据的4/5作为训练集,1/5作为验证集用于后续的训练过程。
3、网络构建以及训练和测试过程
在Keras库中,基于Encoder-Dercoder结构构建视网膜血管分割卷积神经网络,将经样本扩增后提取的图像块作为神经网络的输入,对网络进行训练,得到视网膜血管图像分割的模型参数。
本发明中设计的视网膜血管分割神经网络是由8个卷积块组成,如图 2所示。作为一个Encoder-Decoder的对称结构,左边的Encoder部分主要由Encoder卷积块、池化(pooling)层、ReLU层组成,连续的4个Encoder 卷积块,每个卷积块后面都连接了一个池化层和ReLU层。池化层采用最大池化的方法,对特征图进行下采样,减少参数,核的大小为2x2,步长为2,每个池化层后面接着一个激活层,这里采用的是ReLU激活函数,用于实现数据的非线性变换。相应地,右边的Decoder部分主要由Decoder 卷积块、反卷积层、ReLU层组成,连续的4个Decoder卷积块,每个卷积块前面连接了一个反卷积层和ReLU层。反卷积层的作用是对输入的特征图进行上采样,恢复在池化过程中丢失的空间信息,最后将图片恢复到与网络输入图片的大小相等,以实现端到端的分割。
在每个相应层次,将Encoder卷积块的输出连接到Decoder卷积块的输入,形成跳过连接,如图2所示,总共有四个跳过链接。跳过链接的加入使得Decoder部分在上采样过程中能获得更多细节信息,得到更精细的特征图,以此提高分割性能。
Encoder卷积块和Decoder卷积块具有相同的内部结构,如图3所示,依次为:卷积层、ReLU层、Dropout层、卷积层、整合层,在卷积块输出之前,将卷积块的输入和输出通过整合层连接起来,一起作为网络下一部分的输入,形成卷积块内部的跳过连接。
假设卷积块的输入输出的映射关系为H(x),在块内添加的跳过连接使得卷积块学习一个残差函数F(x)=H(x)–x,这种残差函数更容易优化。因为神经网络的卷积层数越深,很容易出现梯度消失、梯度爆炸等问题,块内跳过链接可以使得加深网络深度后,整个网络学习到的特征不会变差。在卷积块内部的两个卷积层之间采用了一个Dropout层,Dropout层将在训练过程中每次更新参数时按一定概率(rate)随机断开输入神经元, Dropout层用于防止过拟合。在这里,选用rate=0.2的概率随机丢弃神经网络单元,对于随机梯度下降来说,每一个最小批图像块都在训练不同的网络,由此防止训练的网络出现过拟合,提高其泛化能力。
对于整个网络来说,输入图像经过最初的一个的卷积层后,进入到 Encoder部分,进过一系列的卷积池化等操作后,得到特征映射图,然后进入Decoder部分,两部分之间通过一个简单的卷积层相连。经过Decoder 部分中多次的卷积和上采样后,获得和输入尺寸相同的特征映射图。在网络的最后,连接一个Softmax分类层,用于将Decoder部分得到的特征图转化为每个像素点属于血管类和背景的概率图。
训练:整个卷积神经网络所有的卷积层都是采用补零方式进行卷积,除了Softmax层之外,都是采用交叉熵函数作为损失函数,并且采用随机梯度下降法(SGD)进行训练,使用反向传播算法作为优化算法来训练模型参数。在训练时,将图像块按照参数batch-size进行随机的批分类,依次输入数量为batch-size的样本到网络中进行迭代训练。在整个过程中,最初的学习速率设为0.01,当训练次数到达一半时,将学习速率降为0.001,以消除噪音达到稳定收敛,当达到设定的训练次数并且整个卷积神经网络收敛时,停止训练。
测试:将经过预处理的测试样本输入网络,在每个测试图像中按照步长为7,和训练图像块相同的尺寸大小提取图像块,然后经过训练好的网络进行分割。因为连续提取了多个重叠片段,每个像素点对应多个图像块,每个图像块输入网络中进行一次分割,则每个像素点对应多个分割概率图。将多个预测结果进行平均获得每个像素的属于每一类的概率,最后进行二值化得到视网膜血管的分割结果图。将测试集中每个图片的分割结果和专家手动分割图进行对比,并且以第一个专家的分割结果作为标准计算每张图像分割的准确度、特异性、灵敏度和AUC值。如图4所示,为测试集中视网膜血管分割结果。图5为DRIVE数据库血管图像分割ROC曲线图,AUC 定义为ROC曲线下面积,取值范围在0.5和1之间,作为评价标准时,值越大说明对应的分类器效果越好,它是作为一个分割效果的综合衡量标准。通过实验验证,在DRIVE数据库上,视网膜图像分割算法的AUC值最高达到97.90%,并且平均特异性达到了98.14%,平均灵敏度达到了78.12%,和目前提出的其他算法具有一定的有优势。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的视网膜血管分割方法包括以下步骤:
S1、对数据库中的视网膜血管图像进行预处理,包括灰度转换、标准化、对比度受限直方图均衡化和Gamma校正;
S2、对数据库训练集中的经过预处理的图片进行块提取,进行样本扩充,用于作为神经网络结构的训练样本;
S3、基于Encoder-Dercoder结构构建视网膜血管分割卷积神经网络,将步骤S2提取的图像块作为卷积神经网络的输入,对网络进行训练,得到视网膜血管图像分割的模型参数;所述的卷积神经网络的结构分为Encoder部分和Decoder部分,Encoder部分包括四个Encoder卷积块,依次为顺序连接的第一Encoder卷积块、第二Encoder卷积块、第三Encoder卷积块和第四Encoder卷积块,并且每个Encoder卷积块后面均连接一个池化层和ReLU层;Decoder部分包括四个Decoder卷积块,依次为顺序连接的第一Decoder卷积块、第二Decoder卷积块、第三Decoder卷积块和第四Decoder卷积块,并且每个Decoder卷积块前面连接一个反卷积层和ReLU层;其中,第一Encoder卷积块的输出连接到第四Decoder卷积块的输入、第二Encoder卷积块的输出连接到第三Decoder卷积块的输入、第三Encoder卷积块的输出连接到第二Decoder卷积块的输入、第四Encoder卷积块的输出连接到第一Decoder卷积块的输入,从而形成跳过连接;
S4、将测试样本输入卷积神经网络,在每个测试图像中提取多个连续的重叠片段,对多个预测结果进行平均获得每个像素的分类概率,得到视网膜血管的分割结果图。
2.根据权利要求1所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的步骤S1、对数据库中的视网膜血管图像进行预处理的过程如下:
S11、对每一幅彩色视网膜图像进行灰度转换,赋予R、G、B三个通道的值不同的权重,根据公式Gray=R*0.299+G*0.587+B*0.114,将原始图像转化为单通道灰度图;
S12、将灰度图进行归一化处理;
S13、对图像进行对比度受限直方图均衡化处理以及Gamma校正来调节图像的对比度。
3.根据权利要求1所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的步骤S2中图像块提取方法为在每张视网膜图像上进行随机图像块提取,首先设定提取图像块的大小,包括宽度和高度,以及每张图像提取的块数量n,然后在原始图像上随机提取连续的图像块。
4.根据权利要求1所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的步骤S4过程如下:
将测试样本输入卷积神经网络,在每个测试图像中按照步长为7连续提取多个重叠片段,每个像素点对应多个图像块,每个图像块输入网络中进行一次分割,将多个预测结果进行平均获得每个像素的属于每一类的概率,最后进行二值化得到视网膜血管的分割结果图。
5.根据权利要求1所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,
所述的池化层采用最大池化的方法,对特征图进行下采样,减少参数,核的大小为2x2,步长为2;
所述的ReLU层采用ReLU激活函数,用于实现数据的非线性变换
所述的反卷积层用于对输入的特征图进行上采样,恢复在池化过程中丢失的空间信息,最后将图片恢复到与卷积神经网络输入图片的大小相等,以实现端到端的分割。
6.根据权利要求1所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的Encoder卷积块和Decoder卷积块具有相同的内部结构,依次为顺序连接的卷积层、ReLU层、Dropout层、卷积层、整合层,在卷积块输出之前,将卷积块的输入和输出通过整合层连接起来,一起作为网络下一部分的输入,形成卷积块内部的跳过连接。
7.根据权利要求6所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的Dropout层将在训练过程中每次更新参数时按一定概率rate随机断开输入神经元,Dropout层用于防止过拟合。
8.根据权利要求1至7任一所述的一种基于卷积神经网络的视网膜血管分割方法,其特征在于,所述的数据库采用DRIVE公开数据库作为实验数据,该数据库中共有40张视网膜眼底图像,分为训练集和测试集,训练集和测试集分别有20张图像,在训练集中,每张视网膜图像有一张原始图像和一个相对应的专家手动分割图,将专家分割结果作为标准即训练数据的标签用于网络模型的训练;在测试集中的每张视网膜原始图像有两个专家对应的手动分割图,在测试过程中,将第一个专家的分割结果作为真值来评估本发明所提出模型的分割性能,将得到的各种指标值和第二个专家的分割结果进行对比。
CN201811002762.XA 2018-08-30 2018-08-30 一种基于卷积神经网络的视网膜血管分割方法 Active CN109345538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811002762.XA CN109345538B (zh) 2018-08-30 2018-08-30 一种基于卷积神经网络的视网膜血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811002762.XA CN109345538B (zh) 2018-08-30 2018-08-30 一种基于卷积神经网络的视网膜血管分割方法

Publications (2)

Publication Number Publication Date
CN109345538A true CN109345538A (zh) 2019-02-15
CN109345538B CN109345538B (zh) 2021-08-10

Family

ID=65292116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811002762.XA Active CN109345538B (zh) 2018-08-30 2018-08-30 一种基于卷积神经网络的视网膜血管分割方法

Country Status (1)

Country Link
CN (1) CN109345538B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886982A (zh) * 2019-04-24 2019-06-14 数坤(北京)网络科技有限公司 一种血管图像分割方法、装置及计算机存储设备
CN109934831A (zh) * 2019-03-18 2019-06-25 安徽紫薇帝星数字科技有限公司 一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110309849A (zh) * 2019-05-10 2019-10-08 腾讯医疗健康(深圳)有限公司 血管图像处理方法、装置、设备及存储介质
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110427946A (zh) * 2019-07-04 2019-11-08 天津车之家数据信息技术有限公司 一种文档图像二值化方法、装置和计算设备
CN110490212A (zh) * 2019-02-26 2019-11-22 腾讯科技(深圳)有限公司 钼靶影像处理设备、方法和装置
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110706233A (zh) * 2019-09-30 2020-01-17 北京科技大学 一种视网膜眼底图像分割方法及装置
CN110889859A (zh) * 2019-11-11 2020-03-17 珠海上工医信科技有限公司 一种用于眼底图像血管分割的u型网络
US20200193605A1 (en) * 2018-12-18 2020-06-18 Palo Alto Research Center Incorporated Curvilinear object segmentation with geometric priors
CN111445473A (zh) * 2020-03-31 2020-07-24 复旦大学 基于血管内超声图像序列多角度重建的血管膜精确分割方法及系统
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111598894A (zh) * 2020-04-17 2020-08-28 哈尔滨工业大学 基于全局信息卷积神经网络的视网膜血管图像分割系统
US10860885B2 (en) * 2017-11-16 2020-12-08 Samsung Electronics Co., Ltd. Method and system for management and operation over image in a computing system
CN112053363A (zh) * 2020-08-19 2020-12-08 苏州超云生命智能产业研究院有限公司 视网膜血管分割方法、装置及模型构建方法
CN112085745A (zh) * 2020-09-07 2020-12-15 福建农林大学 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112508814A (zh) * 2020-12-07 2021-03-16 重庆邮电大学 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN112560709A (zh) * 2020-12-18 2021-03-26 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN112561868A (zh) * 2020-12-09 2021-03-26 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
US20210125337A1 (en) * 2019-10-24 2021-04-29 Case Western Reserve University Plaque segmentation in intravascular optical coherence tomography (oct) images using deep learning
CN112767361A (zh) * 2021-01-22 2021-05-07 重庆邮电大学 基于轻量级残差U-net的反射光铁谱图像分割方法
CN113011340A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种基于视网膜图像的心血管手术指标风险分类方法及系统
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别系统、终端及存储介质
CN113256638A (zh) * 2021-05-11 2021-08-13 北京航空航天大学 基于卷积神经网络模型的眼球角膜神经分割方法及装置
CN113538472A (zh) * 2021-07-02 2021-10-22 华东师范大学 一种基于编码-解码网络的向量场引导精细化分割方法
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114037663A (zh) * 2021-10-27 2022-02-11 北京医准智能科技有限公司 一种血管分割方法、装置及计算机可读介质
WO2022095640A1 (zh) * 2020-11-09 2022-05-12 腾讯科技(深圳)有限公司 对图像中的树状组织进行重建的方法、设备及存储介质
CN114693648A (zh) * 2022-04-02 2022-07-01 深圳睿心智能医疗科技有限公司 一种血管中心线提取方法及其系统
CN115937192A (zh) * 2022-12-30 2023-04-07 北京航空航天大学 一种无监督视网膜血管分割方法、系统及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106815596A (zh) * 2016-12-08 2017-06-09 中国银联股份有限公司 一种图像分类器建立方法及装置
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107316307A (zh) * 2017-06-27 2017-11-03 北京工业大学 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN107909581A (zh) * 2017-11-03 2018-04-13 杭州依图医疗技术有限公司 Ct影像的肺叶段分割方法、装置、系统、存储介质及设备
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106815596A (zh) * 2016-12-08 2017-06-09 中国银联股份有限公司 一种图像分类器建立方法及装置
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107316307A (zh) * 2017-06-27 2017-11-03 北京工业大学 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN107909581A (zh) * 2017-11-03 2018-04-13 杭州依图医疗技术有限公司 Ct影像的肺叶段分割方法、装置、系统、存储介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《HTTPS://ARXIV.ORG/PDF/1512.03385.PDF》 *
吴晨玥 等: "基于改进卷积神经网络的视网膜血管图像分割", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/31.1252.O4.20180627.1741.026.HTML》 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860885B2 (en) * 2017-11-16 2020-12-08 Samsung Electronics Co., Ltd. Method and system for management and operation over image in a computing system
US20200193605A1 (en) * 2018-12-18 2020-06-18 Palo Alto Research Center Incorporated Curvilinear object segmentation with geometric priors
US10832413B2 (en) * 2018-12-18 2020-11-10 Palo Alto Research Center Incorporated Curvilinear object segmentation with geometric priors
CN111598891B (zh) * 2019-02-20 2023-08-08 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN110490212B (zh) * 2019-02-26 2022-11-08 腾讯科技(深圳)有限公司 钼靶影像处理设备、方法和装置
CN110490212A (zh) * 2019-02-26 2019-11-22 腾讯科技(深圳)有限公司 钼靶影像处理设备、方法和装置
CN109934831A (zh) * 2019-03-18 2019-06-25 安徽紫薇帝星数字科技有限公司 一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN109886982B (zh) * 2019-04-24 2020-12-11 数坤(北京)网络科技有限公司 一种血管图像分割方法、装置及计算机存储设备
CN109886982A (zh) * 2019-04-24 2019-06-14 数坤(北京)网络科技有限公司 一种血管图像分割方法、装置及计算机存储设备
CN110348541A (zh) * 2019-05-10 2019-10-18 腾讯医疗健康(深圳)有限公司 眼底血管图像分类方法、装置、设备及存储介质
CN110309849A (zh) * 2019-05-10 2019-10-08 腾讯医疗健康(深圳)有限公司 血管图像处理方法、装置、设备及存储介质
CN110348541B (zh) * 2019-05-10 2021-12-10 腾讯医疗健康(深圳)有限公司 眼底血管图像分类方法、装置、设备及存储介质
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110427946A (zh) * 2019-07-04 2019-11-08 天津车之家数据信息技术有限公司 一种文档图像二值化方法、装置和计算设备
CN110427946B (zh) * 2019-07-04 2021-09-03 天津车之家数据信息技术有限公司 一种文档图像二值化方法、装置和计算设备
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110689526B (zh) * 2019-09-09 2022-06-07 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110706233A (zh) * 2019-09-30 2020-01-17 北京科技大学 一种视网膜眼底图像分割方法及装置
US20210125337A1 (en) * 2019-10-24 2021-04-29 Case Western Reserve University Plaque segmentation in intravascular optical coherence tomography (oct) images using deep learning
US11710238B2 (en) * 2019-10-24 2023-07-25 Case Western Reserve University Plaque segmentation in intravascular optical coherence tomography (OCT) images using deep learning
CN110889859A (zh) * 2019-11-11 2020-03-17 珠海上工医信科技有限公司 一种用于眼底图像血管分割的u型网络
CN111445473A (zh) * 2020-03-31 2020-07-24 复旦大学 基于血管内超声图像序列多角度重建的血管膜精确分割方法及系统
CN111445473B (zh) * 2020-03-31 2023-04-28 复旦大学 基于血管内超声图像序列多角度重建的血管膜精确分割方法及系统
CN111598894A (zh) * 2020-04-17 2020-08-28 哈尔滨工业大学 基于全局信息卷积神经网络的视网膜血管图像分割系统
CN112053363A (zh) * 2020-08-19 2020-12-08 苏州超云生命智能产业研究院有限公司 视网膜血管分割方法、装置及模型构建方法
CN112053363B (zh) * 2020-08-19 2023-12-15 苏州超云生命智能产业研究院有限公司 视网膜血管分割方法、装置及模型构建方法
CN112085745A (zh) * 2020-09-07 2020-12-15 福建农林大学 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN112132817B (zh) * 2020-09-29 2022-12-06 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
WO2022095640A1 (zh) * 2020-11-09 2022-05-12 腾讯科技(深圳)有限公司 对图像中的树状组织进行重建的方法、设备及存储介质
CN112508814A (zh) * 2020-12-07 2021-03-16 重庆邮电大学 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN112561868A (zh) * 2020-12-09 2021-03-26 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
CN112560709A (zh) * 2020-12-18 2021-03-26 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN112560709B (zh) * 2020-12-18 2023-07-25 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN112767361B (zh) * 2021-01-22 2024-04-09 重庆邮电大学 基于轻量级残差U-net的反射光铁谱图像分割方法
CN112767361A (zh) * 2021-01-22 2021-05-07 重庆邮电大学 基于轻量级残差U-net的反射光铁谱图像分割方法
CN113011340B (zh) * 2021-03-22 2023-12-19 华南理工大学 一种基于视网膜图像的心血管手术指标风险分类方法及系统
CN113011340A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种基于视网膜图像的心血管手术指标风险分类方法及系统
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别系统、终端及存储介质
CN113256638A (zh) * 2021-05-11 2021-08-13 北京航空航天大学 基于卷积神经网络模型的眼球角膜神经分割方法及装置
CN113538472A (zh) * 2021-07-02 2021-10-22 华东师范大学 一种基于编码-解码网络的向量场引导精细化分割方法
CN113538472B (zh) * 2021-07-02 2022-07-08 华东师范大学 一种基于编码-解码网络的向量场引导精细化分割方法
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114037663A (zh) * 2021-10-27 2022-02-11 北京医准智能科技有限公司 一种血管分割方法、装置及计算机可读介质
CN114693648A (zh) * 2022-04-02 2022-07-01 深圳睿心智能医疗科技有限公司 一种血管中心线提取方法及其系统
CN115937192A (zh) * 2022-12-30 2023-04-07 北京航空航天大学 一种无监督视网膜血管分割方法、系统及电子设备
CN115937192B (zh) * 2022-12-30 2023-09-19 北京航空航天大学 一种无监督视网膜血管分割方法、系统及电子设备

Also Published As

Publication number Publication date
CN109345538B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
EP3674968A1 (en) Image classifying method, server and computer readable storage medium
CN108021916A (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
Francia et al. Chaining a U-net with a residual U-net for retinal blood vessels segmentation
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
Chen et al. Detection of diabetic retinopathy using deep neural network
Jin et al. Construction of retinal vessel segmentation models based on convolutional neural network
CN111862009A (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
Firke et al. Convolutional neural network for diabetic retinopathy detection
Zeng et al. Automated detection of diabetic retinopathy using a binocular siamese-like convolutional network
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
Gulati et al. Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
Subbarao et al. Detection of Retinal Degeneration via High-Resolution Fundus Images using Deep Neural Networks
WO2020219968A1 (en) Detecting avascular and signal reduction areas in retinas using neural networks
Kanse et al. HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection
CN110969117A (zh) 一种基于Attention机制的全卷积神经网络的眼底图像分割方法
Rao et al. Grouping and decoupling mechanism for diabetic retinopathy image grading
Maheswari et al. Detection of Glaucoma Using HMM Segmentation and Random Forest Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared