CN109886965B - 一种水平集和深度学习相结合的视网膜层分割方法及系统 - Google Patents

Abstract

本发明公开了一种水平集和深度学习相结合的视网膜层分割方法及系统，通过对光学相干断层成像设备采集到的图像进行预处理，然后利用视网膜层厚度的先验信息，通过水平集模型将活动轮廓演化到待分割边界。该方法包括以下步骤：采集正常视网膜OCT图像以及病变视网膜OCT图像，制作分类标签，并构建训练集和测试集；利用训练集中图像数据训练深度学习网路；利用训练好的深度学习网路对测试集中图像数据进行处理，得到视网膜层粗分类结果；将视网膜层粗分类的结果作为水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界。

Description

一种水平集和深度学习相结合的视网膜层分割方法及系统

技术领域

本公开涉及图像分割领域，具体为一种基于水平集模型和FCN深度学习网络相结合的OCT视网膜层分割方法及系统。

背景技术

光学相干断层成像(OCT)提供了一种非侵入性、非接触成像技术，可用于产生高空间分辨率的视网膜结构图像。视网膜结构的精确量化可能是一项非常繁琐的工作，因为它要求精度高，数据量大，对视网膜层厚度进行量化的一个关键步骤是分割。

目前，OCT视网膜层边界分割方法主要有：图搜索算法、活动轮廓与水平集方法及机器学习方法。图搜索算法利用动态规划技术对正常人和老年性黄斑变性患者视网膜层进行定位，但对OCT成像质量一般的图像空间结构信息及梯度信息变化不明显，能量函数不好构造无法精确定位搜索边界。活动轮廓法和水平集方法，通过最小化能量函数对视网膜层进行分割，其中考虑了形状先验知识、边缘信息和区域信息，但分割结果依赖于初始化。机器学习方法中使用支持向量机自动对OCT图像中的像素进行分类，随机森林分类器学习层间的边界像素，为每个边界生成精确的概率图，然后对每个边界进行处理以最终确定边界。发明人在研发过程中发现，虽然深度学习和机器学习方法在分层分割方面表现良好，但需要大量的标记样本。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于水平集模型和FCN深度学习网络相结合的OCT视网膜层分割方法及系统，通过对光学相干断层成像设备采集到的图像进行预处理，然后利用视网膜层厚度的先验信息，通过水平集模型将活动轮廓演化到待分割边界。

本公开的第一方面的一种水平集和深度学习相结合的视网膜层分割方法的技术方案是：

一种水平集和深度学习相结合的视网膜层分割方法，该方法包括以下步骤：

采集正常视网膜OCT图像以及病变视网膜OCT图像，制作分类标签，并构建训练集和测试集；

利用训练集中图像数据训练深度学习网路；

利用训练好的深度学习网路对测试集中图像数据进行处理，得到视网膜层粗分类结果；

将视网膜层粗分类的结果作为水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界。

作为本公开的进一步技术方案，所述制作分类标签的步骤包括：

标记正常视网膜OCT图像以及病变视网膜OCT图像中视网膜的多条边界，每两个相邻边界之间的区域构成视网膜层；

利用标记好的视网膜边界，读取每个边界的位置坐标，将每两个相邻边界之间的区域设为同一灰度值，作为一类；将除视网膜层之外的所有区域作为一类，设为同一灰度值。

作为本公开的进一步技术方案，所述构建训练集和测试集的步骤包括：

对采集到的正常视网膜OCT图像以及病变视网膜层OCT图像进行处理，得到多组正常视网膜图像数据和多组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成；

利用得到的多组正常视网膜图像数据和多组病变视网膜图像数据，构建训练集和测试集。

作为本公开的进一步技术方案，所述采用训练好的深度学习网路对测试集中图像数据进行处理的步骤包括：

将测试集中图像数据输入训练好的深度学习网络，利用训练好的深度学习网络对视网膜层进行粗分类，得到多张视网膜层图像，每张视网膜层图像呈现多种不同的灰度值，为灰度值相同的区域填充相同的RGB值，颜色相同的为一类。

作为本公开的进一步技术方案，所述将视网膜层粗分类的结果作为水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界的步骤包括：

根据深度学习网络对视网膜层的粗分类结果，提取视网膜层边界；

将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别作为水平集函数的正负集；

利用区域限制原理，使每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值；

采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

本公开的第二方面的一种水平集和深度学习相结合的视网膜层分割系统的技术方案是：

一种水平集和深度学习相结合的视网膜层分割系统，该系统包括：

图像采集模块，用于采集正常视网膜OCT图像以及病变视网膜OCT图像，制作分类标签；

数据集构建模块，用于对正常视网膜OCT图像以及病变视网膜OCT图像进行处理，构建训练集和测试集；

模型训练模块，用于利用训练集中图像数据训练深度学习网路；

粗分割模块，用于利用训练好的深度学习网路对测试集中图像数据进行处理，得到视网膜层粗分类结果；

轮廓演化模块，用于将视网膜层粗分类的结果作为水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界。

作为本公开的进一步技术方案，所述图像采集模块具体用于：

采集正常视网膜OCT图像以及病变视网膜OCT图像；

标记正常视网膜OCT图像以及病变视网膜OCT图像中视网膜的多条边界，每两个相邻边界之间的区域构成视网膜层；

利用标记好的视网膜边界，读取每个边界的位置坐标，将每两个相邻边界之间的区域设为同一灰度值，作为一类；将除视网膜层之外的所有区域作为一类，设为同一灰度值。

作为本公开的进一步技术方案，所述数据集构建模块具体用于：

对采集到的正常视网膜OCT图像以及病变视网膜层OCT图像进行处理，得到多组正常视网膜图像数据和多组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成；

利用得到的多组正常视网膜图像数据和多组病变视网膜图像数据，构建训练集和测试集。

作为本公开的进一步技术方案，所述粗分割模块具体用于：

将测试集中图像数据输入训练好的深度学习网络，利用训练好的深度学习网络对视网膜层进行粗分类，得到多张视网膜层图像，每张视网膜层图像呈现多种不同的灰度值，为灰度值相同的区域填充一样的RGB值，颜色相同的为一类。

作为本公开的进一步技术方案，所述轮廓演化模块具体用于：

根据深度学习网络对视网膜层的粗分类结果，提取视网膜层边界；

将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别为水平集函数的正负集；

利用区域限制原理，使得每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值；

采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

通过上述技术方案，本公开的有益效果是：

(1)本公开利用深度学习网络对视网膜层进行粗分类，既不需要很多的标签，也不需要很精细的损失函数，节省了运算量；

(2)本公开以深度学习网络的分类结果为水平集函数提供了一个很好的初始化，充分利用了视网膜层的先验信息，而且通过限制区域，层边界不会出现交叉重叠现象，达到较精细的分割。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。

图1是实施例一视网膜层分割方法的流程图；

图2是实施例二视网膜层分割系统的结构图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供一种基于水平集模型和FCN深度学习网络相结合的OCT视网膜层分割方法，该方法通过对光学相干断层成像设备采集到的图像进行预处理，然后利用视网膜层厚度的先验信息，通过水平集模型将活动轮廓演化到待分割边界。

请参阅附图1，所述OCT视网膜层分割方法包括以下步骤：

S101，采集正常视网膜OCT图像以及病变视网膜OCT图像，并分别对正常视网膜OCT图像以及病变视网膜OCT图像进行预处理。

具体地，利用光学相干断层成像(OCT)设备，分别采集正常视网膜OCT图像以及病变视网膜层OCT图像，并分别对正常视网膜OCT图像以及病变视网膜OCT图像进行去噪等预处理。

S102，利用步骤S101采集的图像制作分类标签，分别构建训练集、测试集和验证集。

在本实施例中，考虑到要分割8个视网膜层，再加上背景，因此，利用采集的正常视网膜OCT图像以及病变视网膜层OCT图像制作9个分类标签。

具体地，所述步骤102中，利用正常视网膜OCT图像以及病变视网膜层OCT图像制作9个分类标签，其具体实现方式如下：

由于视网膜层由其上下相邻边界之间的区域组成，因此，先标记视网膜的9条边界，从上到下依次为ILM、RNFL-GCL、GCL-IPL、IPL-INL、INL-OPL、OPL-HFL、BMEIS、IB-OPR和OB-RPE，每两个相邻边界之间的区域构成的视网膜层依次为RNFL、GCL、IPL、INL、OPL、ONL、CL1、CL2。

利用标注好的视网膜边界，通过MATLAB，读取边界的位置坐标，对每两个边界之间的区域设为同一灰度值，作为一类，从上往下依次为1、2、3、4、5、6、7、8。

将背景(除视网膜层之外的所有区域)作为一类，设为同一灰度值0，共9类，标签制作完成。

通过MATLAB分别对正常视网膜OCT图像以及病变视网膜层OCT图像进行处理，得到若干张1024*512大小的横向扫描图(B-scan图)，由128张1024*512大小的横向扫描图(B-scan图)构成一组图像数据，分别得到10组正常视网膜图像数据和10组病变视网膜图像数据，利用得到的10组正常视网膜图像数据和10组病变视网膜图像数据，构建训练集、测试集和验证集。

在本实施例中，所述训练集包括6组正常视网膜图像数据和6组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成。

所述测试集包括2组正常视网膜图像数据和2组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成。

所述验证集包括2组正常视网膜图像数据和2组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成。

S103，利用训练集中样本数据训练深度学习网路。

具体地，所述步骤103中，训练深度学习网路的具体实现过程如下：

首先，所述深度学习网路采用基于VGG-16的FCN-8s网络结构。

然后，采用交叉熵损失函数：

其中，ω为像素x_ij分配的权重；y_l为像素x_ij的真实分类：若x_ij属于l，则y_l等于1。反之，y_l等于0；p_l为像素x_ij属于l类的概率；i,j为图像尺寸，在本实验中，i＝1024,j＝512，ω＝1/N，其中，N＝i×j。

最后，采用MATLAB语言matconvnet工具包，输入训练集中样本数据训练FCN-8s网络，在训练阶段的超参数设置：共50个epochs，每批尺寸为10，epochs学习率为0.0001。

S104，利用训练好的深度学习网路对测试集中数据进行处理，得到视网膜层粗分类的结果。

具体地，利用训练好的深度学习网路对测试集中数据进行处理，得到视网膜层粗分类的结果，其具体实现方式如下：

将测试集中图像数据输入训练好的深度学习网络，利用训练好的深度学习网络模型自动对视网膜层进行粗分类，得到多张视网膜层图像，每张视网膜层图像一共呈现9种不同的灰度值，灰度值相同的区域为其填充一样的RGB值，一共9种RGB值，颜色相同的为一类。

本实施例利用深度学习网络对视网膜层进行粗分类，既不需要很多的标签，也不需要很精细的损失函数，节省了运算量。

S105，将视网膜层粗分类的结果作为水平集的初始化，利用水平集演化轮廓得到精细的视网膜层边界。

具体地，所述步骤105中，利用水平集演化轮廓得到精细的视网膜层边界，其具体实现过程如下：

(1)根据深度学习网络对视网膜层粗分类的结果，提取视网膜层边界。

(2)将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别为水平集函数的正负集。

(3)利用区域限制原理，使得每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值，这样避免了水平集函数在演化过程中出现交叉重叠现象。

(4)采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

本实施例以深度学习网络的分类结果为水平集函数提供了一个很好的初始化，充分利用了视网膜层的先验信息，而且通过限制区域，层边界不会出现交叉重叠现象，达到较精细的分割。

实施例二

请参阅附图2，本实施例提供一种水平集和深度学习相结合的视网膜层分割系统，该系统包括：

图像采集模块，用于采集正常视网膜OCT图像以及病变视网膜OCT图像，制作分类标签；

数据集构建模块，用于对正常视网膜OCT图像以及病变视网膜OCT图像进行处理，构建训练集和测试集；

模型训练模块，用于利用训练集中图像数据训练深度学习网路；

粗分割模块，用于利用训练好的深度学习网路对测试集中图像数据进行处理，得到视网膜层粗分类结果；

轮廓演化模块，用于将视网膜层粗分类的结果作为水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界。

在本实施例中，所述图像采集模块具体用于：

采集正常视网膜OCT图像以及病变视网膜OCT图像；

标记正常视网膜OCT图像以及病变视网膜OCT图像中视网膜的多条边界，每两个相邻边界之间的区域构成视网膜层；

利用标记好的视网膜边界，读取每个边界的位置坐标，将每两个相邻边界之间的区域设为同一灰度值，作为一类；将除视网膜层之外的所有区域作为一类，设为同一灰度值。

在本实施例中，所述数据集构建模块具体用于：

对采集到的正常视网膜OCT图像以及病变视网膜层OCT图像进行处理，得到多组正常视网膜图像数据和多组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成；

利用得到的多组正常视网膜图像数据和多组病变视网膜图像数据，构建训练集和测试集。

在本实施例中，所述粗分割模块具体用于：

将测试集中图像数据输入训练好的深度学习网络，利用训练好的深度学习网络对视网膜层进行粗分类，得到多张视网膜层图像，每张视网膜层图像呈现多种不同的灰度值，为灰度值相同的区域填充一样的RGB值，颜色相同的为一类。

在本实施例中，所述轮廓演化模块具体用于：

根据深度学习网络对视网膜层的粗分类结果，提取视网膜层边界；

将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别为水平集函数的正负集；

利用区域限制原理，使得每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值；

采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

本实施例提出的水平集和深度学习相结合的视网膜层分割系统，通过粗分割模块采用深度学习网络对视网膜层进行粗分类，既不需要很多的标签，也不需要很精细的损失函数，节省了运算量；通过轮廓演化模块以深度学习网络的分类结果为水平集函数提供了一个很好的初始化，充分利用了视网膜层的先验信息，而且通过限制区域，层边界不会出现交叉重叠现象，达到较精细的分割。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种水平集和深度学习相结合的视网膜层分割方法，其特征是，该方法包括以下步骤：

采集正常视网膜OCT图像以及病变视网膜OCT图像，制作分类标签，并构建训练集和测试集；

利用训练集中图像数据训练深度学习网路；

采用训练好的深度学习网路对测试集中图像数据进行分类处理，得到视网膜层粗分类结果；

将视网膜层粗分类的结果作为初始水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界；

所述将视网膜层粗分类的结果作为初始水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界的步骤包括：

根据深度学习网络对视网膜层的粗分类结果，提取视网膜层边界；

将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别作为水平集函数的正负集；

利用区域限制原理，使每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值；

采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

2.根据权利要求1所述的水平集和深度学习相结合的视网膜层分割方法，其特征是，所述制作分类标签的步骤包括：

标记正常视网膜OCT图像以及病变视网膜OCT图像中视网膜的多条边界，每两个相邻边界之间的区域构成视网膜层；

利用标记好的视网膜边界，读取每个边界的位置坐标，将每两个相邻边界之间的区域设为同一灰度值，作为一类；将除视网膜层之外的所有区域作为一类，设为同一灰度值。

3.根据权利要求1所述的水平集和深度学习相结合的视网膜层分割方法，其特征是，所述构建训练集和测试集的步骤包括：

对采集到的正常视网膜OCT图像以及病变视网膜层OCT图像进行横向扫描处理，得到多组正常视网膜图像数据和多组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成；

利用得到的多组正常视网膜图像数据和多组病变视网膜图像数据，构建训练集和测试集。

4.根据权利要求1所述的水平集和深度学习相结合的视网膜层分割方法，其特征是，所述采用训练好的深度学习网路对测试集中图像数据进行处理的步骤包括：

将测试集中图像数据输入训练好的深度学习网络，利用训练好的深度学习网络对视网膜层进行粗分类，得到多张视网膜层图像，每张视网膜层图像呈现多种不同的灰度值，为灰度值相同的区域填充相同的RGB值，颜色相同的为一类。

5.一种水平集和深度学习相结合的视网膜层分割系统，其特征是，该系统包括：

图像采集模块，用于采集正常视网膜OCT图像以及病变视网膜OCT图像，制作分类标签；

数据集构建模块，用于对正常视网膜OCT图像以及病变视网膜OCT图像进行横向扫描处理，构建训练集和测试集；

模型训练模块，用于利用训练集中图像数据训练深度学习网路；

粗分割模块，用于利用训练好的深度学习网路对测试集中图像数据进行分类处理，得到视网膜层粗分类结果；

轮廓演化模块，用于将视网膜层粗分类的结果作为初始水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界；

所述将视网膜层粗分类的结果作为初始水平集函数，采用梯度下降法，演化每个水平集函数，得到精细的视网膜层边界的步骤包括：

根据深度学习网络对视网膜层的粗分类结果，提取视网膜层边界；

将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别作为水平集函数的正负集；

利用区域限制原理，使每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值；

采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

6.根据权利要求5所述的水平集和深度学习相结合的视网膜层分割系统，其特征是，所述图像采集模块具体用于：

采集正常视网膜OCT图像以及病变视网膜OCT图像；

标记正常视网膜OCT图像以及病变视网膜OCT图像中视网膜的多条边界，每两个相邻边界之间的区域构成视网膜层；

利用标记好的视网膜边界，读取每个边界的位置坐标，将每两个相邻边界之间的区域设为同一灰度值，作为一类；将除视网膜层之外的所有区域作为一类，设为同一灰度值。

7.根据权利要求5所述的水平集和深度学习相结合的视网膜层分割系统，其特征是，所述数据集构建模块具体用于：

对采集到的正常视网膜OCT图像以及病变视网膜层OCT图像进行处理，得到多组正常视网膜图像数据和多组病变视网膜图像数据，每组图像数据由128张1024*512大小的横向扫描图构成；

利用得到的多组正常视网膜图像数据和多组病变视网膜图像数据，构建训练集和测试集。

8.根据权利要求6所述的水平集和深度学习相结合的视网膜层分割系统，其特征是，所述粗分割模块具体用于：

将测试集中图像数据输入训练好的深度学习网络，利用训练好的深度学习网络对视网膜层进行粗分类，得到多张视网膜层图像，每张视网膜层图像呈现多种不同的灰度值，为灰度值相同的区域填充一样的RGB值，颜色相同的为一类。

9.根据权利要求5所述的水平集和深度学习相结合的视网膜层分割系统，其特征是，所述轮廓演化模块具体用于：

根据深度学习网络对视网膜层的粗分类结果，提取视网膜层边界；

将深度学习网络得到的每个视网膜层作为一个水平集函数，将提取的视网膜层边界作为每个水平集函数的零水平集，边界上下区域分别为水平集函数的正负集；

利用区域限制原理，使得每个水平集函数的上边界不小于上一个视网膜层提取的下边界的最小值，下边界不超过下一个视网膜层提取的上边界的最大值；

采用梯度下降法，演化每个水平集函数，获取每个水平集函数的最优零解，得到精细的视网膜层边界。

Images