发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了一种眼底图像血管分割方法。
为此目的,本发明实施例提出一种眼底图像血管分割方法,包括:
多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像;最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像;非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像;
多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像;
每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层;
血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
在一些实施例中,所述多个血管特征提取层,包括:卷积神经网络模型VGG16的卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3;
所述多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像;最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像;非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像,包括:
卷积层conv1_2提取眼底图像中的血管特征,得到特征图像;卷积层conv2_2基于卷积层conv1_2得到的特征图像进行血管特征提取,得到特征图像;卷积层conv3_3基于卷积层conv2_2得到的特征图像进行血管特征提取,得到特征图像;卷积层conv4_3基于卷积层conv3_3得到的特征图像进行血管特征提取,得到特征图像。
在一些实施例中,所述多个血管特征处理层,包括:第二上采样层、第三上采样层和第四上采样层;
所述多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像,包括:
第二上采样层、第三上采样层和第四上采样层分别对卷积层conv2_2、卷积层conv3_3和卷积层conv4_3得到的特征图像进行上采样处理,得到上采样图像。
在一些实施例中,所述多个血管特征优化层,包括:第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一非线性层、第二非线性层、第三非线性层和第四非线性层;
所述每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层;最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像;最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层;每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像;每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层,包括:
第二上采样层、第三上采样层和第四上采样层分别将本层得到的上采样图像发送给第二卷积层、第三卷积层和第四卷积层;卷积层conv2_2将得到的特征图像发送给第一卷积层;第四上采样层通过后向短连接将本层得到的上采样图像发送给第一卷积层;第一卷积层、第二卷积层、第三卷积层和第四卷积层分别对获取的每个图像进行血管特征提取;第一卷积层、第二卷积层和第三卷积层分别通过前向短连接将获取的每个图像发送给高一层的血管特征优化层;第一非线性层、第二非线性层、第三非线性层和第四非线性层分别对第一卷积层、第二卷积层、第三卷积层和第四卷积层卷积处理后的每个图像进行非线性化处理,得到非线性化图像。
在一些实施例中,所述血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像,包括:
血管图像融合层基于每个血管特征优化层预设的融合权重,融合第一非线性层、第二非线性层、第三非线性层和第四非线性层得到的非线性化图像,得到血管图像。
可见,本发明实施例的至少一个实施例中,通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使得血管分割更加精确。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
如图1所示,本实施例公开一种用于眼底图像血管识别的神经网络模型,可包括:眼底图像输入层、多个血管特征提取层、多个血管特征处理层、多个血管特征优化层、血管图像融合层和血管图像输出层。
本实施例中,眼底图像输入层,用于接收输入的眼底图像。可以理解,图1中虽然仅示出一个眼底图像输入层,但是本领域技术人员可根据实际需要在神经网络模型中设置多个眼底图像输入层,以接收多张眼底图像。
在一些实施例中,眼底图像输入层可以省略。
本实施例中,多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征。图1中,血管特征提取层的层级由左至右依次升高,也即最左侧的血管特征提取层是最低层的血管特征提取层,最右侧的血管特征提取层是最高层的血管特征提取层。
本实施例中,最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像。非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像。
本实施例中,血管特征提取层采用卷积操作实现血管特征提取。卷积是图像处理常用的方法,给定输入图像,对输入图像卷积后得到输出图像。输出图像中每一个像素是输入图像中一个小区域内像素的加权平均。加权平均的权值由一个函数定义,该函数称为卷积核。卷积操作所使用的卷积核可通过预先训练神经网络模型得到,训练方法可沿用现有技术,本实施例不再赘述。
本实施例中,多个血管特征处理层与非最低层的多个血管特征提取层一一对应连接。每个血管特征处理层对连接的血管特征提取层得到的特征图像进行上采样处理,得到上采样图像。
本实施例中,血管特征处理层的上采样处理可沿用现有技术,本实施例不再赘述。
本实施例中,最低层的血管特征优化层连接最低层的血管特征提取层。非最低层的多个血管特征优化层与非最低层的多个血管特征处理层一一对应连接。最高层的血管特征处理层通过后向短连接与最低层的血管特征优化层连接。每个血管特征优化层通过前向短连接与高一层的血管特征优化层连接。每个血管特征优化层,用于获取连接的血管特征处理层得到的上采样图像;最低层的血管特征优化层,还用于获取最低层的血管特征提取层的特征图像;每个血管特征优化层,还用于对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像,并通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。
本实施例中,通过前向短连接,将低层的语义信息发送给高层,降低了血管特征优化层之间的语义鸿沟,使得血管特征优化层得到的非线性化图像更加准确,解决了最低层的血管特征提取层得到的特征图像噪音大的问题,进而使得血管图像融合层得到的血管图像更加精确。
本实施例中,通过后向短连接,将高层的结构信息发送给低层,解决了最高层的血管特征提取层得到的特征图像模糊的问题,进而使得血管图像融合层得到的血管图像更加精确。
本实施例中,可基于1×1的卷积核与卷积神经网络框架(ConvolutionalArchitecture for Fast Feature Embedding,CAFFE)提供的连接操作实现前向短连接和后向短连接,具体实现代码在此不再赘述。本实施例公开的用于眼底图像血管分割的神经网络模型可称为为短连接深度监督全卷积神经网络模型(S-DSN)。
本实施例中,血管图像融合层分别连接每个血管特征优化层。血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
本实施例中,通过对每个血管特征优化层预设融合权重,使得血管图像融合层将每个血管特征优化层得到的非线性化图像按照对应的融合权重进行融合,得到更加精确的血管图像。融合权重可通过预先训练神经网络模型得到,训练方法可沿用现有技术,本实施例不再赘述。
本实施例中,血管图像输出层,用于输出血管图像融合层得到的血管图像。
在一些实施例中,血管图像输出层可以省略,血管图像融合层得到血管图像后可直接输出血管图像。
可见,本实施例公开的用于眼底图像血管分割的神经网络模型通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使得血管分割更加精确。
基于以上描述的用于眼底图像血管分割的神经网络模型,本实施例公开的眼底图像血管分割方法包括如下步骤1至步骤6:
步骤1:眼底图像输入层接收输入的眼底图像。
步骤2:多个血管特征提取层基于预设层级顺序提取眼底图像中的血管特征,得到多个特征图像。具体地,最低层的血管特征提取层提取眼底图像中的血管特征,得到特征图像。非最低层的血管特征提取层基于低一层的血管特征提取层得到的特征图像进行血管特征提取,得到特征图像。
步骤3:多个血管特征处理层分别对非最低层的多个血管特征提取层得到的特征图像进行上采样处理,得到上采样图像。
步骤4:每个血管特征处理层将本层得到的上采样图像发送给连接的血管特征优化层。最低层的血管特征优化层还获取最低层的血管特征提取层的特征图像。最高层的血管特征处理层通过后向短连接将本层得到的上采样图像发送给最低层的血管特征优化层。每个血管特征优化层对获取的每个图像均依次进行血管特征提取以及非线性化处理,得到每个图像对应的非线性化图像。每个血管特征优化层通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。
步骤5:血管图像融合层基于每个血管特征优化层预设的融合权重,融合每个血管特征优化层得到的非线性化图像,得到血管图像。
步骤6:血管图像输出层输出血管图像融合层得到的血管图像。
综上所述,本实施例公开的眼底图像血管分割方法,通过后向短连接将高层信息发送给低层,通过前向短连接将低层信息发送给高层,充分融合各级特征,使得血管分割更加精确。克服了传统无监督方案效率低、精度低的缺点,同时克服了有监督方案中,神经网络模型需要逐层提取图像特征,丢失许多有用的信息,导致神经网络模型学得的参数不能完全刻画血管特征的缺点。
在一些实施例中,如图2所示,多个血管特征提取层,包括:卷积神经网络模型VGG16的卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3。
需要说明的是,图2中卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3之间并非直接连接,图2所示的神经网络模型中省略了与卷积层conv1_2、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3相关联的层。相关联的层是VGG16所使用的层,本实施例的神经网络模型可以直接沿用,为使附图简洁,图2省略了这些相关联的层。具体地,相关联的层具体为:卷积层conv1_1、非线性层relu1_1、非线性层relu1_2、池化层pool1、卷积层conv2_1、非线性层relu2_2、池化层pool2、卷积层conv3_1、非线性层relu3_1、卷积层conv3_2、非线性层relu3_2、非线性层relu3_3、池化层pool3、卷积层conv4_1、非线性层relu4_1、卷积层conv4_2以及非线性层relu4_2。VGG16中对于以上相关联的层的功能及连接关系有明确定义,本实施例直接沿用,因此不再赘述。
在一些实施例中,眼底图像输入层可以省略,眼底图像直接输入给卷积层conv1_1。
本实施例中,卷积层conv1_1、卷积层conv2_2、卷积层conv3_3和卷积层conv4_3又可称为侧输出(side-output)层。
基于上一个实施例,如图2所示,多个血管特征处理层,包括:第二上采样层、第三上采样层和第四上采样层。
如图2所示,卷积层conv2_2连接第二上采样层;卷积层conv3_3连接第三上采样层;卷积层conv4_3连接第四上采样层。
基于上一个实施例,如图2所示,多个血管特征优化层,包括:第一卷积层、第二卷积层、第三卷积层和第四卷积层。
卷积层conv1_2连接第一卷积层。
第二上采样层连接第二卷积层。
第三上采样层连接第三卷积层。
第四上采样层连接第四卷积层。
第四上采样层通过后向短连接与第一卷积层连接。
第一卷积层通过前向短连接与第二卷积层连接。
第二卷积层通过前向短连接与第三卷积层连接。
第三卷积层通过前向短连接与第四卷积层连接。
基于上一个实施例,如图2所示,多个血管特征优化层,还包括:第一非线性层、第二非线性层、第三非线性层和第四非线性层;
第一卷积层连接第一非线性层。
第二卷积层连接第二非线性层。
第三卷积层连接第三非线性层。
第四卷积层连接第四非线性层。
本实施例中,用于眼底图像血管分割的神经网络模型共有四个血管特征优化层,每个血管特征优化层均包括卷积层和非线性层。例如,第一卷积层和第一非线性层构成一个血管特征优化层。
基于上一个实施例,如图2所示,第一非线性层、第二非线性层、第三非线性层和第四非线性层分别连接血管图像融合层。
基于图2公开的用于眼底图像血管分割的神经网络模型,本实施例公开的眼底图像血管分割方法包括如下步骤1至步骤6:
步骤1:眼底图像输入层接收输入的眼底图像。
步骤2:卷积层conv1_2提取眼底图像中的血管特征,得到特征图像。卷积层conv2_2基于卷积层conv1_2得到的特征图像再次进行血管特征提取,得到新的特征图像。卷积层conv3_3基于卷积层conv2_2得到的特征图像再次进行血管特征提取,得到新的特征图像。卷积层conv4_3基于卷积层conv3_3得到的特征图像再次进行血管特征提取,得到新的特征图像。
步骤3:第二上采样层、第三上采样层和第四上采样层分别对卷积层conv2_2、卷积层conv3_3和卷积层conv4_3得到的特征图像进行上采样处理,得到上采样图像。
步骤4:第二上采样层、第三上采样层和第四上采样层分别将本层得到的上采样图像发送给第二卷积层、第三卷积层和第四卷积层。卷积层conv2_2将得到的特征图像发送给第一卷积层。第四上采样层通过后向短连接将本层得到的上采样图像发送给第一卷积层。第一卷积层、第二卷积层、第三卷积层和第四卷积层分别对获取的每个图像进行血管特征提取。第一卷积层、第二卷积层和第三卷积层分别通过前向短连接将获取的每个图像发送给高一层的血管特征优化层。第一非线性层、第二非线性层、第三非线性层和第四非线性层分别对第一卷积层、第二卷积层、第三卷积层和第四卷积层卷积处理后的每个图像进行非线性化处理,得到非线性化图像。
步骤5:血管图像融合层基于每个血管特征优化层预设的融合权重,融合第一非线性层、第二非线性层、第三非线性层和第四非线性层得到的非线性化图像,得到血管图像。
步骤6:血管图像输出层输出血管图像融合层得到的血管图像。
本实施例中,使用公开可用的视网膜图像血管分割数据集DRIVE对神经网络模型进行训练。DRIVE由40张彩色眼底照片组成。40张彩色眼底照片分成一个训练集和一个测试集,各包含20张图像。
本实施例中,对训练集中的图像进行预处理而得到训练范例照,用于输入神经网络模型。预处理包括:90°旋转、180°旋转和270°旋转,水平翻转和垂直翻转,以及对图像尺寸缩放0.5倍和0.8倍中的一种或多种。
本实施例中,训练神经网络模型过程中的参数设置如下:
对于图像级别的S-DSN,输入数据是眼底图像,并且输出数据是眼底图像对应的血管图像。对于patch级别的S-DSN,将眼底图像分割成9个patch。9个patch被2倍上采样后作为输入数据输入patch级别的S-DSN。
本实施例中,学习率设置为10-8,权值衰减系数为0.0005,动量为0.9。侧输出(side-output)层为四层。神经网络模型训练经过25000次迭代后学习率降低10倍,50000次迭代后固定参数作为神经网络模型最终参数。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。