CN109325942B - 基于全卷积神经网络的眼底图像结构分割方法 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络的眼底图像结构分割方法，首先对每幅眼底图像样本中的黄斑、视盘、视杯三个目标结构进行标示，生成每幅眼底图像样本对应的目标结果图，将每幅眼底图像样本和对应的目标结果图作为一对训练图像样本，得到训练图像样本集；采用训练图像样本集对全卷积神经网络进行训练，将待分割的眼底图像输入全卷积神经网络，得到对应的目标结果图，再采用K均值聚类和椭圆拟合进行后处理得到分割结果。本发明可以提高眼底图像分割的精度，更好地将眼底正常的生理结构区分开来。

Description

基于全卷积神经网络的眼底图像结构分割方法

技术领域

本发明属于眼底图像处理技术领域，更为具体地讲，涉及一种基于全卷积神经网络的眼底图像结构分割方法。

背景技术

眼底图像可以用于诊断诸如青光眼、眼底黄斑性病变等眼底疾病，也可以为诊断糖尿病、高血压等疾病提供参考依据。传统的视网膜图像处理方式主要是分阶段处理，受制于医生经验，耗时耗力，效率不高。通过计算机辅助自动检测得到患者眼底图像中的参数，既可以为医生在诊断疾病时提供方便，也可以大大缩短时间达到高效医学检测疾病的效果。

国内外许多学者都曾经进行过这方面的研究，并提出了多种进行眼底图像中视盘的识别方法。这些方法可以大致分为三类：第一类是基于视盘区域自身的形态特征进行视盘识别，这类方法通常计算速度较快，有较高的效率，但是因为以眼底图像中视盘的形态特征为依据，所以在因病变而导致视盘形态特征发生改变的眼底图像中难以获得准确的结果；第二类是基于血管结构信息进行视盘识别，由于血管结构不易发生严重改变，所以相对于基于视盘形态特征进行识别的方法，这类方法的稳定性较好，在有病变情况的眼底图像中也可以较准确的识别视盘，但是此类方法通常需要较复杂精确的计算，难以在短时间内完成视盘识别工作；第三类是以上两类方法的结合。

与眼底图像视盘识别技术相比，眼底图像中黄斑识别技术的研究时间更短、研究过程更加困难，已有的方法也较少。目前研究人员已经提出的眼底图像黄斑识别方法可以大致分为三类：第一类是基于黄斑的形态特征进行黄斑识别，这类方法计算时间较短，效率高，但是与根据视盘形态特征进行视盘识别类似，当因为病变导致黄斑的形态特征不明显时，此类方法的识别效果不好；第二类是基于视盘识别结果推断黄斑信息进行黄斑识别，这类方法计算速度较快，但是由于这类方法依据了视盘的识别结果，导致黄斑识别的精确性和稳定性受到所采用的视盘识别方法的精确性和稳定性的限制；第三类是基于血管结构信息进行黄斑识别，由于眼底视网膜血管结构不易因为病变而发生严重改变，所以这类方法的稳定性较好，对于有病变情况的眼底图像也能得到较好的结果，但是这类方法的计算量较大，效率较低。

对于眼底图像中的视杯来说，现有文献中的视杯分割方法主要包括基于阈值的方法，这类方法首先提取图像的绿色通道，然后以全局或局部阈值来分割视杯。算法有时也会使用动态阈值，即先统计局部区域直方图，然后进行相应像素的阈值设置；区域生长法,这类方法首先设定合适的种子点，然后根据视杯的亮度和边缘特征，对种子点进行扩张得到视杯轮廓；基于模型的方法(例如主动轮廓模型(Active Contour Modeling，ACM)，水平集算法，椭圆拟合等)，主动轮廓模型首先确定目标的大概轮廓，在外部约束力和内部能量的推动下轮廓线不断的演化，进而得到视杯轮廓，主动轮廓模型简明易用，但在背景血管颜色较复杂时分割效果不理想。水平集方法虽然精度高且稳定，但运算量大，为解决此问题，不少学者先用直方图中灰度值分布来定位视杯大致轮廓，然后用水平集分割算法得到视杯最终轮廓。椭圆拟合算法一般与其他视杯分割算法结合使用，在视杯粗分割后，对视杯边缘进行椭圆拟合得到光滑的视杯轮廓，但视杯并非都是椭圆形结构，因而算法会有一定误差；基于临床先验信息的方法，这类算法主要根据部分视杯边缘存在着血管转折点这一临床特征，对血管转折点组成的边缘进行校正平滑来确定视杯轮廓，虽然一定程度提高了视杯分割准确性，但血管转折点的提取非常困难和耗时，且部分视杯边缘并不存在血管转折点；像素分类法，这类方法首先对图像进行特征提取，而后进行图像训练分类，进而得到视杯区域。

卷积神经网络是一种使用局部连接的多层神经网络，基本结构一般包含三种层，第一个是卷积层，第二个是池化层，第三个全连接层。通过这三种层的特殊操作，不断地简化模型，减少不必要的参数，并将特征整合起来。卷积层也叫特征提取层。每个神经元的输入只和前一层对应位置的局部区域(比方说3*3)相连，提取局部特征。由于图像的各个区域都会提取相应局部特征，故下一层保持空间的位置关系。另外通过共享参数实现参数的进一步减少。共享参数也就是不同局部区域使用相同的参数来提取特征。这样，从前层传来的特征图进行特征提取，只需要训练9个参数，这3*3的参数叫做卷积核。因为一个卷积层只提取一种特征是不完备的，所以可以学习不同的卷积核来提取不同的特征。这样的话，一个卷积层可以训练多个卷积核来提取多种特征，方便下面各层对该层特征的组合。池化层也叫下采样层。通过特征提取层得到的图像，是具有局部相关性的特征图。将该特征图进行子抽样，用一个像素的信息去代替特征图的一小块区域，这样既可以减少数据的处理量又可以保留有用信息。这种操作还可以增加CNN网络对平移、缩放的鲁棒性。池化层主要有两种，平均池化和最大值池化。平均池化是用特征图的每个局部区域的平均值来代替该区域，最大值池化则是根据该区域的最大值来代替该区域。最终构成一个小的特征图。

全卷积网络(简称FCN)，可以看成是CNN的一个变种，和CNN相比，它没有全连接层。CNN网络可以通过全连接层使得输入一张图片来判断该图片的类别或其它基于全图的信息。因为全连接层的作用，它破坏了图像的空间结构信息，故CNN网络没办法判断图片中局部区域。举个例子，当狗和猫在同一张图片中，CNN只能判断出这张图片可能是狗，也可能是猫，但没办法判断图片中既有狗又有猫，更没办法判断狗和猫的相对位置。另外，由于有全连接的原因，层与层之间的全连接权重是固定的，CNN限制了图片输入的大小，对不同尺度大小的图片，需要先将图片放缩到统一模型训练时候的大小，再进行测试。因此在测试的时候，如果测试图片和训练图片的尺度相差太大，CNN网络对测试图片的预测就可能不准确。

FCN设计思路和CNN不同。因为FCN只有卷积层和池化层，FCN网络只用学习卷积核的参数，且它的输出是一个二维的图像。另外FCN网络可以接受任意大小的输入图片，并且输出的大小与输入是对应的。输出的二维图像称为热图(heat map)，热图上每一个像素点都可以看成对应回原位置的预测，预测信息之间是有空间性。因为预测的结果具有空间性，在图像分割和检测领域等需要预测空间信息的领域FCN更具有优势。但是如何将全卷积神经网络应用于眼底图像分割中，尚需进行进一步研究。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于全卷积神经网络的眼底图像结构分割方法，对全卷积神经网络的分割结果采用K均值聚类和椭圆拟合进行后处理，提高分割精度。

为实现上述发明目的，本发明基于全卷积神经网络的眼底图像结构分割方法包括以下步骤：

S1：获取若干眼底图像样本，将每幅眼底图像样本进行归一化处理预设尺寸，对每幅眼底图像样本中的黄斑、视盘、视杯三个目标结构进行标示，根据对应的目标结构标示信息生成目标结果图，目标结果图中除属于目标结构的像素点为原始像素点外，其余像素点全部设置为背景像素点；将每幅眼底图像样本和对应的目标结果图作为一对训练图像样本，从而得到训练图像样本集；

S2：将训练图像样本集中的每幅眼底图像样本作为全卷积神经网络的输入，将对应的目标结果图作为全卷积神经网络的期望输出，对全卷积神经网络进行训练；

S3：对于待分割的眼底图像，首先归一化至预设尺寸，然后将其输入全卷积神经网络，得到对应的目标结果图；在目标结果图中，会显示黄斑、视盘、视杯三个区域的像素，其余区域均为背景像素点；

S4：对于步骤S3得到的目标结果图中除背景像素点以外的像素点根据像素点之间的距离进行K均值聚类，得到聚类结果，筛选出像素点数量最多的前3个类别；

S5：分别对步骤S4得到的3个类别中每个类别的像素点求取连通域，然后对每个连通域轮廓进行椭圆拟合，将拟合出的椭圆区域作为目标结构区域；

S6：将步骤S5得到的3个目标结构区域在待分割眼底图像中进行标示，然后根据步骤S3得到的目标结果图中的三种目标结构，确定步骤S5得到的3个目标结构区域对应的目标结构类别，从而得到分割结果。

本发明基于全卷积神经网络的眼底图像结构分割方法，首先对每幅眼底图像样本中的黄斑、视盘、视杯三个目标结构进行标示，生成每幅眼底图像样本对应的目标结果图，将每幅眼底图像样本和对应的目标结果图作为一对训练图像样本，得到训练图像样本集；采用训练图像样本集对全卷积神经网络进行训练，将待分割的眼底图像输入全卷积神经网络，得到对应的目标结果图，再采用K均值聚类和椭圆拟合进行后处理得到分割结果。

本发明可以提高眼底图像分割的精度，更好地将眼底正常的生理结构区分开来，更加客观地反映出患者眼底的真实情况，便于发现不正常的病变情况，从而辅助医生准确、快速地观察眼底图像、分析病症、得出正确的诊断。

附图说明

图1是本发明基于全卷积神经网络的眼底图像结构分割方法的具体实施方式流程图；

图2是VGG16的结构示意图；

图3是本实施例中基于VGG16的全卷积神经网络的工作流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于全卷积神经网络的眼底图像结构分割方法的具体实施方式流程图。如图1所示，本发明基于全卷积神经网络的眼底图像结构分割方法的具体步骤包括：

S101：获取训练图像样本集：

获取若干眼底图像样本，将每幅眼底图像样本进行归一化处理预设尺寸，对每幅眼底图像样本中的黄斑、视盘、视杯三个目标结构进行标示，根据对应的目标结构标示信息生成目标结果图，目标结果图中除属于目标结构的像素点为原始像素点外，其余像素点全部设置为背景像素点。将每幅眼底图像样本和对应的目标结果图作为一对训练图像样本，从而得到训练图像样本集。

由于采集底图像的眼底照相机并不相同，并且不同的眼科医生操作也不相同，这导致获取的眼底图像样本存在光照不一等影响，因此对于眼底图像样本，还可以采用去噪预处理和去除光照预处理等技术手段，来消除这些影响。

由于本发明中采用全卷积神经网络来进行眼底图像结构的初步分割，而全卷积神经网络需要大规模的样本数据来训练网络参数，从而充分体现出样本数据的分布情况。当训练数据量不足时可能会导致过拟合现象，使得到的全卷积神经网络的分割效果不理想。因此当原始眼底图像样本不足时，可以通过多种数据扩增的方法扩增得到具有相似信息的图像。本实施例中通过对眼底图像旋转一定角度来扩增图像，由于眼底图像中包含圆形眼底视网膜区域和黑色背景区域，旋转一定角度的图像和原始图像有类似结构，眼底图像的基本结构信息没有发生变化，病灶信息也没有发生变化，因此不影响眼底图像结构的分类判别。

S102：训练全卷积神经网络：

将训练图像样本集中的每幅眼底图像样本作为全卷积神经网络的输入，将对应的目标结果图作为全卷积神经网络的期望输出，对全卷积神经网络进行训练。

全卷积神经网络目前已经研发出多种结构，本实施例中选用基于VGG16的全卷积神经网络。VGG16是一种识别性能较好的卷积神经网络。图2是VGG16的结构示意图。如图2所示，VGG16包括13层卷积层和3层全连接层，其中conv表示卷积层，maxpool表示最大池化层，FC表示全连接层，本实施例中基于VGG16的全卷积神经网络采用VGG16的前13层卷积层。VGG16的详细信息可以参照文献“Simonyan K,Zisserman A.Very Deep ConvolutionalNetworks for Large-Scale Image Recognition[J].Computer Science,2014.”

图3是本实施例中基于VGG16的全卷积神经网络的工作流程图。如图3所示，本实施例中基于VGG16的全卷积神经网络的工作流程如下：

输入图像经conv1、pool1处理后原图像缩小为1/2；1/2图像经conv2、pool2处理后缩小为1/4；1/4图像经conv3、pool3处理后缩小为原图像的1/8，此时保留pool3输出的featureMap；1/8图像经conv4、pool4处理后缩小为原图像的1/16，保留pool4的featureMap；1/16图像经conv5、pool5处理后缩小为原图像的1/32，保留pool5的featureMap；

跳跃结构：现在有1/32尺寸的featureMap，1/16尺寸的featureMap和1/8尺寸的featureMap，首先对1/32尺寸的featureMap进行反卷积操作放大2倍得到1/16尺寸的图像Map1，把Map1和1/16尺寸的featureMap进行融合，即对应像素点的像素值相加，得到图像Map2，限于精度问题Map2不能够很好地还原图像当中的特征，因此在这里向前迭代。再对Map2进行反卷积操作放大2倍得到1/8尺寸的图像Map3，并将Map3和1/8尺寸的featureMap进行融合，最后将融合的结果进行反卷积，放大8倍，还原为原输入图像尺寸，相当于完成了整个图像的还原。

本发明利用迁移学习(Transfer learning)对基于VGG16的全卷积神经网络进行训练。迁移学习就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。因为直接使用卷积神经网络的方法需要大量的训练数据和高成本的计算资源。为了解决获取的眼底图像数据不足和计算不充分的问题，考虑迁移学习在病理学图像和X线图像等其他医学图像中取得的成功，本实施例中使用迁移学习的方法对眼底图像进行分类分析。

用Google的第二代人工智能学习框架TensorFlow，利用全卷积神经网络对眼底数据集的数据特征进行深度学习。在进行全卷积神经网络训练时，需要定义一个指标来评估这个模型，这个指标称为损失，然后尽量最小化这个指标。损失函数是目标类别和预测类别之间的交叉熵，交叉熵是用来衡量实验的预测用于描述真相的低效性，可以自动地使用反向传播算法(backpropagation algorithm)来有效地确定变量是如何影响需要最小化的那个成本值的。然后，TensorFlow会用选择的优化算法来不断地修改变量以降低成本。本实施例中要求TensorFlow用梯度下降算法(gradient descent algorithm)以0.00004的学习速率最小化交叉熵。训练过程中，通过计算交叉熵损失，进行反向传播，不断更新参数，优化网络模型。

S103：眼底图像结构初步分割：

对于待分割的眼底图像，首先归一化至预设尺寸，然后将其输入全卷积神经网络，得到对应的目标结果图。在目标结果图中，会显示黄斑、视盘、视杯三个区域的像素，其余区域均为背景像素点。

S104：基于K均值聚类的分割结果后处理：

对于步骤S103得到的目标结果图中除背景像素点以外的像素点根据像素点之间的距离进行K均值聚类，得到聚类结果，筛选出像素点数量最多的前3个类别。

K均值聚类是一种非常常用的聚类算法，其过程可以简单概述如下：

(1)随机选取K个中心点；

(2)遍历所有数据，将每个数据划分到最近的中心点中；

(3)计算每个聚类的平均值，并作为新的中心点；

(4)重复步骤(2)和(3)，直到聚类结果不再变化。

本实施例中，K的值通过枚举确定，令K从2到10依次取值，每个K值分别进行K均值聚类，然后选取轮廓系数最大的值对应的K作为最终的聚类数目，对应的聚类结果即为最终聚类结果。

S105：椭圆拟合：

由于眼底结构通常为圆形或椭圆形这一形态特点，因此为了进一步优化识别结果，采用椭圆拟合进行进一步处理，具体方法为：分别对步骤S104得到的3个类别中每个类别的像素点求取连通域，然后对每个连通域轮廓进行椭圆拟合，将拟合出的椭圆区域作为目标结构区域。

S106：得到分割结果：

将步骤S105得到的3个目标结构区域在待分割眼底图像中进行标示，然后根据步骤S103得到的目标结果图中的三种目标结构，确定步骤S105得到的3个目标结构区域对应的目标结构类别，从而得到分割结果。

为了更好地说明本发明的技术效果，采用一个具体实施例进行实验说明。本次实验采用全卷积神经网络的分割结果作为对比，即未进行K均值聚类和椭圆拟合的分割结果和采用了K均值聚类和椭圆拟合的分割结果进行对比。本次实验中设置K均值聚类的类别数K＝4。通过实验验证，经过后处理之后，黄斑结构识别的准确率提高了1％，视杯视盘的识别准确率有略微提升；另外，在噪声较大的图像分割上，黄斑分割准确率提高接近4％。可见，本发明可以提高眼底图像分割的精度，更好地将眼底正常的生理结构区分开来，更加客观地反映出患者眼底的真实情况，便于发现不正常的病变情况，从而辅助医生准确、快速地观察眼底图像、分析病症、得出正确的诊断。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于全卷积神经网络的眼底图像结构分割方法，其特征在于，包括以下步骤：

S1：获取若干眼底图像样本，将每幅眼底图像样本进行归一化处理预设尺寸，对每幅眼底图像样本中的黄斑、视盘、视杯三个目标结构进行标示，根据对应的目标结构标示信息生成目标结果图，目标结果图中除属于目标结构的像素点为原始像素点外，其余像素点全部设置为背景像素点；将每幅眼底图像样本和对应的目标结果图作为一对训练图像样本，从而得到训练图像样本集；

S2：将训练图像样本集中的每幅眼底图像样本作为全卷积神经网络的输入，将对应的目标结果图作为全卷积神经网络的期望输出，对全卷积神经网络进行训练；全卷积神经网络采用基于VGG16的全卷积神经网络，包括VGG16的前13层卷积层，结构参数如下表：

基于VGG16的全卷积神经网络的具体工作流程如下：

输入图像经conv1、pool1处理后原图像缩小为1/2；1/2图像经conv2、pool2处理后缩小为1/4；1/4图像经conv3、pool3处理后缩小为原图像的1/8，此时保留pool3输出的featureMap；1/8图像经conv4、pool4处理后缩小为原图像的1/16，保留pool4的featureMap；1/16图像经conv5、pool5处理后缩小为原图像的1/32，保留pool5的featureMap；

对1/32尺寸的featureMap进行反卷积操作放大2倍得到1/16尺寸的图像Map1，把Map1和1/16尺寸的featureMap进行融合，得到图像Map2；再对Map2进行反卷积操作放大2倍得到1/8尺寸的图像Map3，并将Map3和1/8尺寸的featureMap进行融合，最后将融合的结果进行反卷积放大8倍，还原为原输入图像尺寸；

S3：对于待分割的眼底图像，首先归一化至预设尺寸，然后将其输入全卷积神经网络，得到对应的目标结果图；在目标结果图中，会显示黄斑、视盘、视杯三个区域的像素，其余区域均为背景像素点；

S4：对于步骤S3得到的目标结果图中除背景像素点以外的像素点根据像素点之间的距离进行K均值聚类，得到聚类结果，筛选出像素点数量最多的前3个类别；

S5：分别对步骤S4得到的3个类别中每个类别的像素点求取连通域，然后对每个连通域轮廓进行椭圆拟合，将拟合出的椭圆区域作为目标结构区域；

S6：将步骤S54得到的3个目标结构区域在待分割眼底图像中进行标示，然后根据步骤S3得到的目标结果图中的三种目标结构，确定步骤S5得到的3个目标结构区域对应的目标结构类别，从而得到分割结果。

Images