CN109598733A - 基于深度全卷积神经网络的视网膜眼底图像分割方法 - Google Patents

Abstract

本发明公开一种基于深度全卷积神经网络的视网膜眼底图像分割方法，包括：选取训练集和测试集，对视网膜眼底图像提取得到视盘定位区域图像并进行血管去除操作；构建深度全卷积神经网络，将视盘定位区域图像作为其输入，基于已经训练好的权重参数为初始值在训练集上进行视盘分割模型的训练以微调模型参数，在此基础上进行视杯分割模型的参数微调；用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合，依据视杯和视盘的分割边界计算垂直杯盘比。本发明实现视网膜眼底图像的视盘与视杯的自动分割，精度高，速度快。

Description

基于深度全卷积神经网络的视网膜眼底图像分割方法

技术领域

本发明涉及一种基于深度全卷积神经网络的视网膜眼底图像分割方法，属于医学图像处理领域。

背景技术

视杯视盘垂直比是医生判断多种眼底疾病的重要依据之一，在目前的临床实践中，杯盘比大多通过医生人工测量和计算，但是人工测量不仅耗时费力，而且不同医生的测量结果存在一定的主观性，因而不适于进行大规模的疾病筛查。因此自动的视杯视盘分割的杯盘比计算越发受到人们的关注。

视网膜眼底图像的视杯视盘分割方法大致可以分成三大类：基于模板的方法、基于形变模型的方法和基于像素点分类的方法，前两种方法主要基于视杯视盘的边缘特征，算法功能的实现好坏极大依赖于视杯视盘边缘和其他结构区域的边缘差异，当出现易混淆的病变时分割算法效果不佳，并且基于形变模型的方法对于初始点的选择相对敏感，对于好的初始化点的选择相对困难。基于像素点分类的方法极大受限于高分辨率图像的较高像素点数量，要实现在像素级别的模型优化十分困难。同时上述分割方法处理过程相对复杂，在图像分割时所需时间也相对较长。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种基于深度全卷积神经网络的视网膜眼底图像分割方法，实现视网膜眼底图像的视盘与视杯的自动分割，精度高，速度快。

技术方案：本发明所述基于深度全卷积神经网络的视网膜眼底图像分割方法，包括如下步骤：

(1)选取视网膜眼底图像数据集作为训练集和测试集，对视网膜眼底图像的视盘区域进行定位和提取得到视盘定位区域图像；

(2)对提取的视盘定位区域图像进行血管去除操作；

(3)在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度全卷积神经网络分为视盘分割和视杯分割；

(4)将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，输入时对视盘定位区域图像进行各个通道的减均值预处理操作，以在视盘分割数据集DRIONS-DB上预训练好的权重参数为训练初始值，在训练集上进行视盘分割模型的训练以微调模型参数；预处理操作采用现有方法，数据集DRIONS-DB为公开的数据集；

(5)在训练好的视盘分割模型参数上进行视杯分割模型的参数微调；

(6)用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘，依据视杯和视盘的分割边界计算垂直杯盘比。

进一步完善上述技术方案，所述步骤(2)中的血管去除操作为血管分割和基于掩膜的图像修复操作。

进一步地，所述深度全卷积神经网络包括卷积层、激活层、池化层、反卷积层和损失函数；所述卷积层是在图像上使用滑动卷积窗口，采用尺寸大小为3×3像素的卷积核与输入数据内一个窗口内的局部数据进行加权求和运算，直到卷积完所有的输入数据；所述激活层采用ReLu修正线性单元，将线性函数转化为非线性，通过激活函数max{0,x}对输入数据进行处理；所述池化层采用最大池化法；所述反卷积层是通过卷积方法将经过池化层后缩减的输入数据的尺寸扩大为原输入图像大小；所述损失函数是根据图像中视盘与视杯区域所占像素和背景区域像素的数量比例，调整其在损失函数中相应的系数以平衡像素数量的差异。

进一步地，所述步骤(6)中采用训练好的视盘分割模型、视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘。

进一步地，所述深度全卷积神经网络共46层，除最后的线性卷积层为1×1大小的卷积核外，剩余卷积层均为3*3的卷积核大小。

有益效果：本发明公开了一种基于深度全卷积神经网络的眼底图像视盘与视杯分割方法，对输入图像设计并训练了一个端到端的从图像到图像的基于像素点分类的深度学习分割网络结构模型，整个模型流程由两个主要部分组成：视盘分割部分和视杯分割部分，在图像输入端，对输入图像进行血管去除以减少对深度分割网络的干扰，并且在训练视杯分割模型时，是在与视盘分割网络相同的模型上以之前训练好的视盘网络参数进行微调，最后根据分割出的视杯视盘图像进行杯盘比的计算。与传统视盘视杯分割方法相比，本发明仅需通过一次前向运算即可完成对一幅完整图像的分割，处理效果高于目前技术水平，为视网膜眼底图像的病理诊断提供了强大的辅助诊断技术支持。根据眼底图像中视盘与视杯的结构特征，将医学理论知识与深度全卷积神经网络相结合，在进行分割时只需将待分割图像输入网络就可一次性获得与原图相对应视盘和视杯分割结果图，在保证了图像的分割精度的同时，也具有较快的分割速度。

附图说明

图1是本发明方法的流程示意图。

图2是视盘分割深度网络的结构示意图。

图3是视杯分割深度网络的结构示意图。

图4是分割前去除血管的输入图像。

图5是标准视盘与视杯分割示意图。

图6是本发明中视盘与视杯分割效果图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：本发明提供的基于深度全卷积神经网络的视网膜眼底图像分割方法，首先基于已有算法对眼底图的视盘区域进行定位和提取，之后将视盘定位区域图像作为深度全卷积神经网络的输入，然后采用深度全卷积神经网络对输入图像中的像素进行预测，最后通过得到的视盘和视杯分割结果计算相应的杯盘比，如图1所示。

下面通过具体实例对本发明方法及技术效果进行说明。

步骤一：以眼底图数据集ORIGA作为训练和测试视网膜眼底图像集，该数据总共有650张不同对象的左右眼图像。其中325幅图像作为训练样本，剩余325幅作为测试图像。基于已有的视盘定位方法提取出相应区域作为深度分割网络的输入。

步骤二：对输入视盘定位区域图像进行血管去除操作以减少血管结构对视盘和视杯分割过程的干扰，具体血管去除流程为血管分割和基于掩膜的图像修复操作。

步骤三：在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度分割网络分为视盘分割和视杯分割部分，将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，在输入图像时对图像进行各个通道的减均值预处理操作，把在公开的视盘分割数据集DRIONS-DB上预训练好的模型参数作为训练的初始值，预训练时采用同样的分割模型与损失函数，然后在训练样本上进行视盘分割网络的训练以微调模型参数。

步骤四：在训练好的视盘分割模型参数上进行视杯分割模型的参数微调，深度全卷积网络的输出结果是图像中每个像素属于视盘或视杯的概率图，最后对深度网络的分割图进行椭圆拟合得到最终的视盘和视杯分割结果，并计算相应的杯盘比。

实验硬件：中央处理器为2.8GHZ Intel Xeon E5-1603，图形处理器为英伟达GTX1080，显存为8GB。实验软件：操作系统为Ubuntu14.04LTS，深度学习工具Caffe。

本发明的深度全卷积神经网络主要由视盘分割和视杯分割两部分组成，所述深度全卷积神经网络包括卷积层、激活层、池化层、反卷积层和损失函数，具体的视盘和视杯深度分割网络结构图如图2、图3所示，共46层，其参数设置如表1所示。

表1

在该网络中有5个卷积特征提取阶段，每个阶段由多个卷积层和ReLU激活函数组成，在同一个卷积阶段，由不同卷积核的卷积层产生的特征图大小相同。池化层作用于每个阶段的卷积后(除了第5个阶段)用于缩减特征图的尺寸以实现随着网络深度的增加信息逐渐抽象化的目的，这也是获得更好泛化性能的关键因素。

为了更有效地利用每个卷积阶段不同大小的特征图的信息，受到GoogLeNet网络Inception结构的启发，通过针对视盘分割的特定反卷积层提取每个阶段最后的特征图结果，这个特定的反卷积层将不同尺度的特征图处理成16个通道的与原输入图像大小相同的特征图并串接在一起，以获得从具体到抽象的特征图整体，同时在训练时对每个阶段的内部卷积中加入监督，即对每个阶段的卷积结果回归对应的分割图像，并计算相应损失。在网络的最后使用卷积层线性组合之前的串接特征图以产生最后的分割结果。

本发明中出于局部特征提取和运算效率的目的，除了最后的线性卷积层是1×1大小的卷积核外，网络中的大多数卷积层为3*3的卷积核大小，在图像处理的过程中卷积的参数不是固定不变的，而是从训练的数据中学习得到的，训练过程中，通过采用梯度下降法最小化损失函数，不断更新网络层中的权重和偏置参数，因此效果更好。

本发明中为了解决在训练网络时出现的类不平衡的问题以达到较好地学习视盘特征的目的，采用了类平衡的交叉熵损失函数，假定训练集为S＝{(Xn，Yn)，n＝1，2，...N},其中N为训练图像总数，Xn代表输入图像，Yn代表图像中每个像素点的标签集合，即为了简化起见，省略了下标n，损失函数定义为：

其中W代表卷积网络的参数集合，可以通过后向传播进行训练。Y+和Y_分别为真实标签集Y的视盘或视杯部分和背景部分的像素集合。系数β用于解决在图片中存在的背景像素数量远多于前景像素的类不平衡问题，其中β＝|Y_|/|Y|。

采用动量随机梯度下降法最小化损失函数，出于硬件存储条件的考虑，每次将一张图片输入深度全卷积神经网络中，完成数据的前向运算后得到损失函数，然后利用该损失函数值进行梯度计算。选择多步学习率策略改变学习速率，根据迭代次数而逐渐减小。当达到最大的迭代次数或损失函数值趋于稳定时，深度全卷积神经网络停止训练，得到深度分割网络模型参数。

本发明中在训练时考虑到视盘信息与视杯信息差距较大和输入图像的类型差异，为了获得较好的微调效果，将网络学习率提升为原有视盘分割网络学习率的2倍。

训练好的深度全卷积分割网络模型中包含各个网络层中的权重和偏置的参数，采用本发明方法对视网膜眼底图像进行视盘和视杯分割，视盘分割和视杯分割结果的平均重叠误差分别为7.1％和36.9％，分割效果高于目前其他的方法。分割效果如图4至图6所示。由于血管去除操作、基于不同类别像素比例的损失函数的有效融入，该方法分割精度大大提高。本发明的深度全卷积分割网络仅需将待分割图像输入网络就可一次性获得与原图相对应视盘和视杯分割结果图，且每幅图像的处理时间仅为10ms。因此，基于深度全卷积网络的视网膜眼底图像的视盘和视杯分割方法是十分高效的。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (5)

1.基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于，包括如下步骤：

（1）选取视网膜眼底图像数据集作为训练集和测试集，对视网膜眼底图像的视盘区域进行定位和提取得到视盘定位区域图像；

（2）对提取的视盘定位区域图像进行血管去除操作；

（3）在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度全卷积神经网络分为视盘分割和视杯分割；

（4）将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，输入时对视盘定位区域图像进行各个通道的减均值预处理操作，以在视盘分割数据集DRIONS-DB上预训练好的模型参数作为训练的初始值，在训练集上进行视盘分割模型的训练以微调模型参数；

（5）在训练好的视盘分割模型参数上进行视杯分割模型的参数微调；

（6）用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘，依据视杯和视盘的分割边界计算垂直杯盘比。

2.根据权利要求1所述的基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于：所述步骤（2）中的血管去除操作为血管分割和基于掩膜的图像修复操作。

3.根据权利要求1所述的基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于：所述深度全卷积神经网络包括卷积层、激活层、池化层、反卷积层和损失函数；所述卷积层是在图像上使用滑动卷积窗口，采用尺寸大小为3×3像素的卷积核与输入数据内一个窗口内的局部数据进行加权求和运算，直到卷积完所有的输入数据；所述激活层采用ReLu修正线性单元，将线性函数转化为非线性，通过激活函数max{0,x}对输入数据进行处理；所述池化层采用最大池化法；所述反卷积层是通过卷积方法将经过池化层后缩减的输入数据的尺寸扩大为原输入图像大小；所述损失函数是根据图像中视盘与视杯区域所占像素和背景区域像素的数量比例，调整其在损失函数中相应的系数以平衡像素数量的差异。

4.根据权利要求1所述的基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于：所述步骤（6）中采用训练好的视盘分割模型、视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘。

5.根据权利要求3所述的基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于：所述深度全卷积神经网络共46层，除最后的线性卷积层为1×1大小的卷积核外，剩余卷积层均为3*3的卷积核大小。