CN108921169A - 一种眼底图像血管分割方法 - Google Patents

一种眼底图像血管分割方法 Download PDF

Info

Publication number
CN108921169A
CN108921169A CN201810764851.1A CN201810764851A CN108921169A CN 108921169 A CN108921169 A CN 108921169A CN 201810764851 A CN201810764851 A CN 201810764851A CN 108921169 A CN108921169 A CN 108921169A
Authority
CN
China
Prior art keywords
layer
blood vessel
image
characteristic
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810764851.1A
Other languages
English (en)
Other versions
CN108921169B (zh
Inventor
季鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Quanyi Technology Co ltd
Original Assignee
Zhuhai Industrial And Medical Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Industrial And Medical Information Technology Co Ltd filed Critical Zhuhai Industrial And Medical Information Technology Co Ltd
Priority to CN201810764851.1A priority Critical patent/CN108921169B/zh
Publication of CN108921169A publication Critical patent/CN108921169A/zh
Application granted granted Critical
Publication of CN108921169B publication Critical patent/CN108921169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例涉及一种眼底图像血管分割方法,每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。本发明实施例通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使血管分割更加精确。

Description

一种眼底图像血管分割方法
技术领域
本发明实施例涉及计算机技术领域,具体涉及一种眼底图像血管分割方法。
背景技术
视网膜眼底图像分析有助于眼科医生处理心血管和眼科疾病的诊断、筛查和治疗,如黄斑变性,糖尿病视网膜病变,青光眼,高血压等。如果不及时治疗,这些疾病可能导致失明。血管分割是视网膜图像分析的基本步骤,有助于糖尿病视网膜病变和中心凹区域的定位。但是在临床实践中,人工标注视网膜图像中的血管耗时且需要有大量经验。因此,视网膜血管自动分割对于减少标注时间是必要的。
近几十年来视网膜图像血管的自动分割方案可以分为两类:无监督方案和有监督方案。
1)无监督方案:无监督方案可以分为三个子类:匹配滤波、血管跟踪和基于模型的算法。匹配滤波利用分段线性逼近以及视网膜血管的类高斯分布来设计匹配的滤波器内核。血管跟踪使用局部信息来划分两点之间的血管,血管纵向横截面的中心由灰度值和血管弯曲度决定。基于模型的算法使用的模型包括血管剖面模型、活动轮廓模型和基于水平集的几何模型。
2)有监督方案:有监督方案可以被看作是像素级别的二分类问题。每个像素属于血管或非血管。有监督方案可以分为三个子类:像素级分类方法、patch(图像块)级分割方法和图像级分割方法。像素级方法使用逐像素分类器来确定其属性,通过提供一个方形窗口来预测每个像素的类别标签,类别标签用于指示像素属于血管还是非血管。例如,采用深度卷积神经网络对血管像素和非血管像素进行分类。在处理大规模视网膜图像时,像素级方法耗时且难以满足临床要求。从某种意义上讲,血管识别可以被看作是一个语义分割问题。通常的分割方法由patch级分割方法和图像级分割方法组成。patch级分割方法的输入是一个patch(图像块),输出是patch对应的血管图。通过将各patch对应的血管图拼凑在一起来获得视网膜图像的血管分割图。此外,与图像级分割方法相比,引入超参数patch尺寸并将原始视网膜图像划分为多个patch,使得patch级分割方法更加复杂和耗时。图像级分割方法将原始视网膜图像作为输入,输出原始视网膜图像的血管分割图。
可见,无监督方案中,神经网络模型通常涉及较多需要满足的附加条件,对图像的质量要求较高,且分割出的血管精度较低。而有监督方案中,神经网络模型需要逐层提取图像特征,丢失许多有用的信息,导致神经网络模型学得的参数不能完全刻画血管特征。
发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了一种眼底图像血管分割方法。
为此目的,本发明实施例提出一种眼底图像血管分割方法,包括:
多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像;最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像;非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像;
多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像;
每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层;
血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
在一些实施例中,所述多个血管特征提取层,包括:卷积神经网络模型VGG16的卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3;
所述多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像;最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像;非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像,包括:
卷积层conv1_2提取眼底图像中的血管特征,得到特征图像;卷积层conv2_2基于卷积层conv1_2得到的特征图像进行血管特征提取,得到特征图像;卷积层conv3_3基于卷积层conv2_2得到的特征图像进行血管特征提取,得到特征图像;卷积层conv4_3基于卷积层conv3_3得到的特征图像进行血管特征提取,得到特征图像。
在一些实施例中,所述多个血管特征处理层,包括:第二上采样层、第三上采样层和第四上采样层;
所述多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像,包括:
第二上采样层、第三上采样层和第四上采样层分别对卷积层conv2_2、卷积层conv3_3和卷积层conv4_3得到的特征图像进行上采样处理,得到上采样图像。
在一些实施例中,所述多个血管特征优化层,包括:第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一非线性层、第二非线性层、第三非线性层和第四非线性层;
所述每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层,包括:
第二上采样层、第三上采样层和第四上采样层分别将本层得到的上采样图像发送给第二卷积层、第三卷积层和第四卷积层;卷积层conv2_2将得到的特征图像发送给第一卷积层;第四上采样层通过后向短连接将本层得到的上采样图像发送给第一卷积层;第一卷积层、第二卷积层、第三卷积层和第四卷积层分别对获取的每个图像进行血管特征提取;第一卷积层、第二卷积层和第三卷积层分别通过前向短连接将获取的每个图像发送给高一层的血管特征优化层;第一非线性层、第二非线性层、第三非线性层和第四非线性层分别对第一卷积层、第二卷积层、第三卷积层和第四卷积层卷积处理后的每个图像进行非线性化处理,得到非线性化图像。
在一些实施例中,所述血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像,包括:
血管图像融合层基于每个血管特征优化层预设的融合权重,融合第一非线性层、第二非线性层、第三非线性层和第四非线性层得到的非线性化图像,得到血管图像。
可见,本发明实施例的至少一个实施例中,通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使得血管分割更加精确。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于眼底图像血管分割的神经网络模型的结构示意图;
图2为本发明实施例提供的另一种用于眼底图像血管分割的神经网络模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
如图1所示,本实施例公开一种用于眼底图像血管识别的神经网络模型,可包括:眼底图像输入层、多个血管特征提取层、多个血管特征处理层、多个血管特征优化层、血管图像融合层和血管图像输出层。
本实施例中,眼底图像输入层,用于接收输入的眼底图像。可以理解,图1中虽然仅示出一个眼底图像输入层,但是本领域技术人员可根据实际需要在神经网络模型中设置多个眼底图像输入层,以接收多张眼底图像。
在一些实施例中,眼底图像输入层可以省略。
本实施例中,多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征。图1中,血管特征提取层的层级由左至右依次升高,也即最左侧的血管特征提取层是最低层的血管特征提取层,最右侧的血管特征提取层是最高层的血管特征提取层。
本实施例中,最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像。非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像。
本实施例中,血管特征提取层采用卷积操作实现血管特征提取。卷积是图像处理常用的方法,给定输入图像,对输入图像卷积后得到输出图像。输出图像中每一个像素是输入图像中一个小区域内像素的加权平均。加权平均的权值由一个函数定义,该函数称为卷积核。卷积操作所使用的卷积核可通过预先训练神经网络模型得到,训练方法可沿用现有技术,本实施例不再赘述。
本实施例中,多个血管特征处理层与非最低层的多个血管特征提取层一一对应连接。每个血管特征处理层对连接的血管特征提取层得到的特征图像进行上采样处理,得到上采样图像。
本实施例中,血管特征处理层的上采样处理可沿用现有技术,本实施例不再赘述。
本实施例中,最低层的血管特征优化层连接最低层的血管特征提取层。非最低层的多个血管特征优化层与非最低层的多个血管特征处理层一一对应连接。最高层的血管特征处理层通过后向短连接与最低层的血管特征优化层连接。每个血管特征优化层通过前向短连接与高一层的血管特征优化层连接。每个血管特征优化层,用于获取连接的血管特征处理层得到的上采样图像;最低层的血管特征优化层,还用于获取最低层的血管特征提取层的特征图像;每个血管特征优化层,还用于对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像,并通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。
本实施例中,通过前向短连接,将低层的语义信息发送给高层,降低了血管特征优化层之间的语义鸿沟,使得血管特征优化层得到的非线性化图像更加准确,解决了最低层的血管特征提取层得到的特征图像噪音大的问题,进而使得血管图像融合层得到的血管图像更加精确。
本实施例中,通过后向短连接,将高层的结构信息发送给低层,解决了最高层的血管特征提取层得到的特征图像模糊的问题,进而使得血管图像融合层得到的血管图像更加精确。
本实施例中,可基于1×1的卷积核与卷积神经网络框架(ConvolutionalArchitecture for Fast Feature Embedding,CAFFE)提供的连接操作实现前向短连接和后向短连接,具体实现代码在此不再赘述。本实施例公开的用于眼底图像血管分割的神经网络模型可称为为短连接深度监督全卷积神经网络模型(S-DSN)。
本实施例中,血管图像融合层分别连接每个血管特征优化层。血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
本实施例中,通过对每个血管特征优化层预设融合权重,使得血管图像融合层将每个血管特征优化层得到的非线性化图像按照对应的融合权重进行融合,得到更加精确的血管图像。融合权重可通过预先训练神经网络模型得到,训练方法可沿用现有技术,本实施例不再赘述。
本实施例中,血管图像输出层,用于输出血管图像融合层得到的血管图像。
在一些实施例中,血管图像输出层可以省略,血管图像融合层得到血管图像后可直接输出血管图像。
可见,本实施例公开的用于眼底图像血管分割的神经网络模型通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使得血管分割更加精确。
基于以上描述的用于眼底图像血管分割的神经网络模型,本实施例公开的眼底图像血管分割方法包括如下步骤1至步骤6:
步骤1:眼底图像输入层接收输入的眼底图像。
步骤2:多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像。具体地,最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像。非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像。
步骤3:多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像。
步骤4:每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层。最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像。最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层。每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像。每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。
步骤5:血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
步骤6:血管图像输出层输出血管图像融合层得到的血管图像。
综上所述,本实施例公开的眼底图像血管分割方法,通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使得血管分割更加精确。克服了传统无监督方案效率低、精度低的缺点,同时克服了有监督方案中,神经网络模型需要逐层提取图像特征,丢失许多有用的信息,导致神经网络模型学得的参数不能完全刻画血管特征的缺点。
在一些实施例中,如图2所示,多个血管特征提取层,包括:卷积神经网络模型VGG16的卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3。
需要说明的是,图2中卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3之间并非直接连接,图2所示的神经网络模型中省略了与卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3相关联的层。相关联的层是VGG16所使用的层,本实施例的神经网络模型可以直接沿用,为使附图简洁,图2省略了这些相关联的层。具体地,相关联的层具体为:卷积层conv1_1、非线性层relu1_1、非线性层relu1_2、池化层pool1、卷积层conv2_1、非线性层relu2_2、池化层pool2、卷积层conv3_1、非线性层relu3_1、卷积层conv3_2、非线性层relu3_2、非线性层relu3_3、池化层pool3、卷积层conv4_1、非线性层relu4_1、卷积层conv4_2以及非线性层relu4_2。VGG16中对于以上相关联的层的功能及连接关系有明确定义,本实施例直接沿用,因此不再赘述。
在一些实施例中,眼底图像输入层可以省略,眼底图像直接输入给卷积层conv1_1。
本实施例中,卷积层conv1_1、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3又可称为侧输出(side-output)层。
基于上一个实施例,如图2所示,多个血管特征处理层,包括:第二上采样层、第三上采样层和第四上采样层。
如图2所示,卷积层conv2_2连接第二上采样层;卷积层conv3_3连接第三上采样层;卷积层conv4_3连接第四上采样层。
基于上一个实施例,如图2所示,多个血管特征优化层,包括:第一卷积层、第二卷积层、第三卷积层和第四卷积层。
卷积层conv1_2连接第一卷积层。
第二上采样层连接第二卷积层。
第三上采样层连接第三卷积层。
第四上采样层连接第四卷积层。
第四上采样层通过后向短连接与第一卷积层连接。
第一卷积层通过前向短连接与第二卷积层连接。
第二卷积层通过前向短连接与第三卷积层连接。
第三卷积层通过前向短连接与第四卷积层连接。
基于上一个实施例,如图2所示,多个血管特征优化层,还包括:第一非线性层、第二非线性层、第三非线性层和第四非线性层;
第一卷积层连接第一非线性层。
第二卷积层连接第二非线性层。
第三卷积层连接第三非线性层。
第四卷积层连接第四非线性层。
本实施例中,用于眼底图像血管分割的神经网络模型共有四个血管特征优化层,每个血管特征优化层均包括卷积层和非线性层。例如,第一卷积层和第一非线性层构成一个血管特征优化层。
基于上一个实施例,如图2所示,第一非线性层、第二非线性层、第三非线性层和第四非线性层分别连接血管图像融合层。
基于图2公开的用于眼底图像血管分割的神经网络模型,本实施例公开的眼底图像血管分割方法包括如下步骤1至步骤6:
步骤1:眼底图像输入层接收输入的眼底图像。
步骤2:卷积层conv1_2提取眼底图像中的血管特征,得到特征图像。卷积层conv2_2基于卷积层conv1_2得到的特征图像再次进行血管特征提取,得到新的特征图像。卷积层conv3_3基于卷积层conv2_2得到的特征图像再次进行血管特征提取,得到新的特征图像。卷积层conv4_3基于卷积层conv3_3得到的特征图像再次进行血管特征提取,得到新的特征图像。
步骤3:第二上采样层、第三上采样层和第四上采样层分别对卷积层conv2_2、卷积层conv3_3和卷积层conv4_3得到的特征图像进行上采样处理,得到上采样图像。
步骤4:第二上采样层、第三上采样层和第四上采样层分别将本层得到的上采样图像发送给第二卷积层、第三卷积层和第四卷积层。卷积层conv2_2将得到的特征图像发送给第一卷积层。第四上采样层通过后向短连接将本层得到的上采样图像发送给第一卷积层。第一卷积层、第二卷积层、第三卷积层和第四卷积层分别对获取的每个图像进行血管特征提取。第一卷积层、第二卷积层和第三卷积层分别通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。第一非线性层、第二非线性层、第三非线性层和第四非线性层分别对第一卷积层、第二卷积层、第三卷积层和第四卷积层卷积处理后的每个图像进行非线性化处理,得到非线性化图像。
步骤5:血管图像融合层基于每个血管特征优化层预设的融合权重,融合第一非线性层、第二非线性层、第三非线性层和第四非线性层得到的非线性化图像,得到血管图像。
步骤6:血管图像输出层输出血管图像融合层得到的血管图像。
本实施例中,使用公开可用的视网膜图像血管分割数据集DRIVE对神经网络模型进行训练。DRIVE由40张彩色眼底照片组成。40张彩色眼底照片分成一个训练集和一个测试集,各包含20张图像。
本实施例中,对训练集中的图像进行预处理而得到训练范例照,用于输入神经网络模型。预处理包括:90°旋转、180°旋转和270°旋转,水平翻转和垂直翻转,以及对图像尺寸缩放0.5倍和0.8倍中的一种或多种。
本实施例中,训练神经网络模型过程中的参数设置如下:
对于图像级别的S-DSN,输入数据是眼底图像,并且输出数据是眼底图像对应的血管图像。对于patch级别的S-DSN,将眼底图像分割成9个patch。9个patch被2倍上采样后作为输入数据输入patch级别的S-DSN。
本实施例中,学习率设置为10-8,权值衰减系数为0.0005,动量为0.9。侧输出(side-output)层为四层。神经网络模型训练经过25000次迭代后学习率降低10倍,50000次迭代后固定参数作为神经网络模型最终参数。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (5)

1.一种眼底图像血管分割方法,其特征在于,包括:
多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像;最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像;非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像;
多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像;
每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层;
血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
2.根据权利要求1所述的方法,其特征在于,所述多个血管特征提取层,包括:卷积神经网络模型VGG16的卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3;
所述多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像;最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像;非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像,包括:
卷积层conv1_2提取眼底图像中的血管特征,得到特征图像;卷积层conv2_2基于卷积层conv1_2得到的特征图像进行血管特征提取,得到特征图像;卷积层conv3_3基于卷积层conv2_2得到的特征图像进行血管特征提取,得到特征图像;卷积层conv4_3基于卷积层conv3_3得到的特征图像进行血管特征提取,得到特征图像。
3.根据权利要求2所述的方法,其特征在于,所述多个血管特征处理层,包括:第二上采样层、第三上采样层和第四上采样层;
所述多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像,包括:
第二上采样层、第三上采样层和第四上采样层分别对卷积层conv2_2、卷积层conv3_3和卷积层conv4_3得到的特征图像进行上采样处理,得到上采样图像。
4.根据权利要求3所述的方法,其特征在于,所述多个血管特征优化层,包括:第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一非线性层、第二非线性层、第三非线性层和第四非线性层;
所述每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层,包括:
第二上采样层、第三上采样层和第四上采样层分别将本层得到的上采样图像发送给第二卷积层、第三卷积层和第四卷积层;卷积层conv2_2将得到的特征图像发送给第一卷积层;第四上采样层通过后向短连接将本层得到的上采样图像发送给第一卷积层;第一卷积层、第二卷积层、第三卷积层和第四卷积层分别对获取的每个图像进行血管特征提取;第一卷积层、第二卷积层和第三卷积层分别通过前向短连接将获取的每个图像发送给高一层的血管特征优化层;第一非线性层、第二非线性层、第三非线性层和第四非线性层分别对第一卷积层、第二卷积层、第三卷积层和第四卷积层卷积处理后的每个图像进行非线性化处理,得到非线性化图像。
5.根据权利要求4所述的方法,其特征在于,所述血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像,包括:
血管图像融合层基于每个血管特征优化层预设的融合权重,融合第一非线性层、第二非线性层、第三非线性层和第四非线性层得到的非线性化图像,得到血管图像。
CN201810764851.1A 2018-07-12 2018-07-12 一种眼底图像血管分割方法 Active CN108921169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810764851.1A CN108921169B (zh) 2018-07-12 2018-07-12 一种眼底图像血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810764851.1A CN108921169B (zh) 2018-07-12 2018-07-12 一种眼底图像血管分割方法

Publications (2)

Publication Number Publication Date
CN108921169A true CN108921169A (zh) 2018-11-30
CN108921169B CN108921169B (zh) 2019-05-24

Family

ID=64411817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810764851.1A Active CN108921169B (zh) 2018-07-12 2018-07-12 一种眼底图像血管分割方法

Country Status (1)

Country Link
CN (1) CN108921169B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136140A (zh) * 2019-04-16 2019-08-16 上海鹰瞳医疗科技有限公司 眼底图像血管影像分割方法及设备
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110414423A (zh) * 2019-07-25 2019-11-05 上海鹰瞳医疗科技有限公司 身份识别方法及设备
CN110610480A (zh) * 2019-08-02 2019-12-24 成都上工医信科技有限公司 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
US12014494B2 (en) 2020-02-20 2024-06-18 Beijing Boe Health Technology Co., Ltd. Image processing method and apparatus, screening system, computer-readable storage medium for improving screening performance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106296728A (zh) * 2016-07-27 2017-01-04 昆明理工大学 一种基于全卷积网络的非限制场景中运动目标快速分割方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106296728A (zh) * 2016-07-27 2017-01-04 昆明理工大学 一种基于全卷积网络的非限制场景中运动目标快速分割方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AVIJIT DASGUPTA: "A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation", 《2017 IEEE 14TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 *
SONG GUO: "Deeply supervised neural network with short connections for retinal vessel segmentation", 《ARXIV PREPRINT ARXIV》 *
谢林培: "基于深度学习的眼底图像血管分割方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136140A (zh) * 2019-04-16 2019-08-16 上海鹰瞳医疗科技有限公司 眼底图像血管影像分割方法及设备
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110264466B (zh) * 2019-06-28 2021-08-06 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110414423A (zh) * 2019-07-25 2019-11-05 上海鹰瞳医疗科技有限公司 身份识别方法及设备
CN110610480A (zh) * 2019-08-02 2019-12-24 成都上工医信科技有限公司 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
US12014494B2 (en) 2020-02-20 2024-06-18 Beijing Boe Health Technology Co., Ltd. Image processing method and apparatus, screening system, computer-readable storage medium for improving screening performance

Also Published As

Publication number Publication date
CN108921169B (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN108921169B (zh) 一种眼底图像血管分割方法
CN106408562B (zh) 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108876775B (zh) 糖尿病性视网膜病变的快速检测方法
EP3659067B1 (en) Method of modifying a retina fundus image for a deep learning model
CN112132817A (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN107679525A (zh) 图像分类方法、装置及计算机可读存储介质
CN112883962B (zh) 眼底图像识别方法、装置、设备、存储介质以及程序产品
CN111476283A (zh) 基于迁移学习的青光眼眼底图像识别方法
CN108520522A (zh) 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108388890A (zh) 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN110097554A (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN109410204A (zh) 一种基于cam的皮质白内障图像处理及增强方法
CN115205300A (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN109671094A (zh) 一种基于频域分级的眼底图像血管分割方法
CN109635812B (zh) 图像的实例分割方法及装置
CN109087296A (zh) 一种提取ct图像中人体区域的方法
CN109064453B (zh) 一种用于眼底图像血管分割的神经网络模型
CN107145885A (zh) 一种基于卷积神经网络的单字图文字识别方法及装置
CN104463216A (zh) 基于计算机视觉的眼动模式数据自动获取方法
CN107977605A (zh) 基于深度学习的眼部区域边界特征提取方法及装置
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
CN114972365A (zh) 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用
Kumari et al. Deep learning based detection of diabetic retinopathy using retinal fundus images
CN110084796A (zh) 一种复杂纹理ct图像的分析方法
CN108831519A (zh) 一种基于形态学和临床实践的皮肤疾病分类装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220531

Address after: 519000 unit Z, room 615, 6th floor, main building, No. 10, Keji 1st Road, Gangwan Avenue, Tangjiawan Town, Xiangzhou District, Zhuhai City, Guangdong Province (centralized office area)

Patentee after: Zhuhai Quanyi Technology Co.,Ltd.

Address before: 519090 rooms 201, 202 and 203, 2 / F, plant 3, West Huaxinrong Industrial Park, Shuanghu North Road, north side of Zhuhai Avenue, Hongqi Town, Jinwan District, Zhuhai City, Guangdong Province

Patentee before: ZHUHAI SHANGGONG MEDICAL INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right