CN113240677B - 一种基于深度学习的视网膜视盘分割方法 - Google Patents

Abstract

一种基于深度学习的视网膜视盘分割方法，具体步骤如下：步骤1)将视网膜图像进行预处理；步骤2)构建网络模型；步骤3)设置训练策略；步骤4)训练网络和更新参数；5)设置评估模型；6)评估本发明中所提出的模型。本发明是在U‑Net的整体架构上进行改进。加入了并行卷积模块，通过三个并行的空洞卷积，空洞卷积能使网络的感受野在不增加卷积核参数的情况下得到提升，并行的结构能解决空洞卷积中使信息稀疏化的缺点。引入的减法运算和多尺度的池化层能得在编码过程中保留更多的边界信息，并在跳跃连接中串联更多的特征信息。

Description

一种基于深度学习的视网膜视盘分割方法

技术领域

本发明属于深度学习技术领域，应用于医学图像分割方面，具体使用了一种基于深度学习的视网膜视盘分割方法。

背景技术及意义

青光眼是一种不可逆的眼底疾病，会导致失明；青光眼早起可逐渐降低患者的视野。没有明显的症状，最终会导致视力严重恶化。因此，定期筛查和及时发现对于预防青光眼引起的视力下降十分重要。

目前，视神经头评估广泛应用于大规模青光眼筛查，其中杯盘比是视神经头评估的常用方法，在临床实践中，眼科医生通常通过基于彩色眼底图像手动测量杯盘比来评估青光眼，其中识别视盘是最重要的预处理步骤之一。然而人工测量不仅费时费力，而且容易收到眼科医生临床经验、情绪等主观因素的影响，给诊断的准确性带来困难。此外，眼底图像的低对比度、血管干扰、毛细血管周围萎缩等特点，使得眼科医生手工分割视盘更加困难。

传统的视盘分割分为：水平集方法、基于阈值的方法、主动形状建模方法、主动轮廓建模方法、基于组件的方法和基于聚类的方法。近些年来，深度学习在医学图像分割领域得到了广泛的应用，许多基于U-Net网络模型改进的神经网络模型越来越多地被应用到视盘的分割上来，并取得了很好的效果。因此，随着深度学习的不断发展如何更好地优化网络模型并将其应用到医学图像中来，使其分割的精度能更加地准确成了目前研究的主要方向。

发明内容

本发明要克服现有技术的上述不足，提供一种基于深度学习的视网膜视盘分割方法。

本发明建立在U-Net神经网络的框架上，通过对每一层下采样、上采样以及中间跳跃连接的变形得到了一种基于深度学习的视网膜视盘的医学图像分割方法。其中在每一层下采样中，将原先使用两个卷积操作的结构变成了一个并行的包含三个不同扩展率的空洞卷积模块，本文中称之为并行卷积模型，并且每一个下采样都采用两个最大池化层：2x2和4x4，经过4x4池化的部分会与下一层进行串联操作。跳跃连接的部分，不再只与相对应的下采样层所得到特征进行融合，通过串联多个部分的特征可以增强分割图像的边界信息，同时引入了减法运算，减法运算是由传统的边缘检测推动的，可以突出显示各种边缘信息。上采样部分则引入了1x1卷积和dropout层。

为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案作进一步描述。一种基于深度学习的视网膜视盘医学图像分割方法，包括如下步骤：

步骤1)将视网膜图像进行预处理；

首先将数据集中的图像调整为256x256像素的统一尺寸，并通过对原数据集进行裁剪、翻转、旋转、缩放、位移等方式来扩大数据，然后对数据集进行归一化，以减轻因光照的不同所造成的影响。最后将数据集以6:2:2的比例依次划分为训练集、测试集和验证集。

步骤2)构建网络模型；

2.1.编码部分中的并行卷积模块：

并行卷积模块一共由三条路径组成，每条路径分别经过拥有不同扩张率的空洞卷积。空洞卷积是通过在普通卷积核的任意两个相邻参数之间插入零来实现的，能使网络模型在相同的参数量和计算量下拥有更大的感受野。但是空洞卷积有一个显著的缺点，即由于在卷积核的任意位置都插入了零，因此只能对非零值滤波器参数对应的像素进行有效的采样，这样会导致采集的信息稀疏化，扩张率越大，这个问题会变得愈发严重。因此在该发明中使用了并行卷积这一模块，通过混合不同扩张率的空洞卷积能有效缓解这个问题。每条分支利用不用的扩张率提取不同尺度的上下文信息，接着将三个分支输出的特征映射相加，然后将该映射输入到1x1卷积核中，以此来增加该模块中的非线性特征，最后通过BN(batch normalization批标准化)和Relu激活函数。BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度。

在扩张率的选择上，如果扩张率过大，则会导致有过多零值的卷积核所采样的像素空间稀疏。反之，如果扩张率太小，空洞卷积则会退化成普通卷积。因此扩张率的选择也是至关重要的。同时任何两组的空洞卷积都应避免重复的采样，在本发明中扩张率的选择上应该满足如下公式：

其中选择的空洞卷积集合为r＝(r₁,...,r_i,r_j,...r_s)，[r_i,r_j]表示两个数之间的最小公倍数，k表示实际卷积核的长宽。在本发明中，我所选择的每层扩张率集合为：(1，4，7)、(1，3，5)、(1，3，4)、(1，2，4)、(1，2，3)。

2.2.跳跃连接中的结构：

本发明中所提出的跳跃连接，不仅仅将上采样得到的特征与其对应的低层特征进行融合，并且引入了逐元素减法操作，每层上采样得到的特征分别减去对应的低层特征以及它上一层经过4x4最大池化操作后具有相同尺寸的特征。最后将他们全部串联起来达到增强边界的目的。

2.3.解码部分中的卷积模块：

解码部分中，每层经过上采样的高层次特征与之前的低层次特征进行跳跃连接后，并会进入到卷积模块。首先会依次通过一个3x3卷积和一个1x1卷积，然后通过Relu激活函数，最后加入Dropout操作，Dropout可以使神经元以一定的概率停止工作，这样可以明显地减少过拟合现象，使模型的泛化性更强。

2.4.本发明所提出的网络模型：

这个小节介绍本发明所提出的模型的具体流程：自上而下一共分为6层，包含编码部分和解码部分。先是编码部分，输入的图片是256x256x3尺寸，图像在进行预处理之后，通过了并行卷积模块并进入第二层，然后分别通过2x2最大池化层、4x4最大池化层，通过4x4最大池化层的特征等待与下一层经过2x2最大池化层的特征进行串联操作，通过2x2最大池化层的特征进入并行卷积模块继续进行最大池化层操作，依次向下。然后是解码部分，每一层经过上采样之后的高层次特征会与之前得到的特征进行运算并进入到跳跃连接，融合到的特征进入解码部分中的卷积模块，然后依次向上，最终输出视网膜视盘的分割图。

步骤3)设置训练策略；

采用Adam优化算法。设置合适的BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)、初始学习率、学习率下降因子、动量、权重衰减系数。

步骤4)训练网络和更新参数；

根据设置好的训练策略对模型进行训练。更新参数：网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新。训练迭代过程中利用损失函数(Dice Loss)进行参数地更新。

损失函数Dice Loss公式为：

y代表真实值，p代表预测值。

步骤5)设置评价标准；

建立包括精确度Precision、召回率Recall、准确度ACC、骰子系数DC、F1分数的评价指标，通过计算评价指标将我们的模型与最先进的模型进行比较从而评估我们方法的性能。

评价标准的公式如下所示：

表示在所有预测为正样本的数据中，有多少是真正的正样本；

表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；

表示所有的样本数据中，有多少是被正确预测的；

表示正样本和预测样本间的相似度；

表示为精确率和召回率的调和平均数；

其中TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。

步骤6)评估网络模型；

将训练得到的评价标准与通过将最新的各种网络模型训练同一个数据集得到的评价标准进行分析对比。同时将本发明中所提出的网络模型分割出来的视盘与专家分割的视盘进行对比。

本发明具有以下优点：

1.本发明含有并行卷积模块，该模块是由并行的空洞卷积构成，空洞卷积能使网络的感受野在不增加卷积核参数的情况下得到有效的提升，有利于在卷积核中建立全局视野。并且通过三个并行的空洞卷积，解决了空洞卷积信息稀疏化的问题。

2.在下采样层中使用了不同尺寸的最大池化层，由于连续地使用池化操作会丢失对象的边界特征，因此使用这种多尺度输入特征来减少连续池化产生的影响，并在编码过程中保留关键的边界信息。在跳跃连接中，引入了减法运算提高模型对边界的敏感性，并串联了多种特征。

附图说明

图1是本发明所提出的网络结构图；

图2是本发明所提出的并行卷积模块结构图；

图3是本发明所提出的解码部分卷积模块结构图；

图4是使用本发明所提出的方法对视网膜进行分割得到的示意图，左边部分是视网膜图像，中间部分是专家分割出来的视网膜血管图像，右边部分是本发明所提出的方法分割得到的视网膜血管图像。

具体实施方式

以下结合附图对本发明做进一步说明：

本发明的一种基于深度学习的视网膜视盘分割方法具体包括以下步骤：

步骤1)将视网膜图像进行预处理；

首先将数据集中的图像调整为256x256像素的统一尺寸，并通过对原数据集进行裁剪、翻转、旋转、缩放、位移等方式来扩大数据，然后对数据集进行归一化，以减轻因光照的不同所造成的影响。最后将数据集以6:2:2的比例依次划分为训练集、测试集和验证集。

步骤2)构建网络模型；

2.1.编码部分中的并行卷积模块：

如图2所示，并行卷积模块一共由三条路径组成，每条路径分别经过拥有不同扩张率的空洞卷积(图中用dilated conv表示)。空洞卷积是通过在普通卷积核的任意两个相邻参数之间插入零来实现的，能使网络模型在相同的参数量和计算量下拥有更大的感受野。但是空洞卷积有一个显著的缺点，即由于在卷积核的任意位置都插入了零，因此只能对非零值滤波器参数对应的像素进行有效的采样，这样会导致采集的信息稀疏化，扩张率越大，这个问题会变得愈发严重。因此在该发明中使用了并行卷积这一模块，通过混合不同扩张率的空洞卷积能有效缓解这个问题。每条分支利用不用的扩张率提取不同尺度的上下文信息，接着将三个分支输出的特征映射相加，然后将该映射输入到1x1卷积核中，以此来增加该模块中的非线性特征，最后通过BN(batch normalization批标准化)和Relu激活函数。BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度。

在扩张率的选择上，如果扩张率过大，则会导致有过多零值的卷积核所采样的像素空间稀疏。反之，如果扩张率太小，空洞卷积则会退化成普通卷积。因此扩张率的选择也是至关重要的。同时任何两组的空洞卷积都应避免重复的采样，在本发明中扩张率的选择上应该满足如下公式：

其中选择的空洞卷积集合为r＝(r₁,...,r_i,r_j,...r_s)，[r_i,r_j]表示两个数之间的最小公倍数，k表示实际卷积核的长宽。在本发明中，我所选择的每层扩张率集合为：(1，4，7)、(1，3，5)、(1，3，4)、(1，2，4)、(1，2，3)。

2.2.跳跃连接中的结构：

本发明中所提出的跳跃连接，不仅仅将上采样得到的特征与其对应的低层特征进行融合，并且引入了逐元素减法操作，每层上采样得到的特征分别减去对应的低层特征以及它上一层经过4x4最大池化操作后具有相同尺寸的特征。最后将他们全部串联起来达到增强边界的目的。

2.3.解码部分中的卷积模块：

解码部分中，每层经过上采样的高层次特征与之前的低层次特征进行跳跃连接后，并会进入到卷积模块，如图3所示。首先会依次通过一个3x3卷积和一个1x1卷积，然后通过Relu激活函数，最后加入Dropout操作，Dropout可以使神经元以一定的概率停止工作，这样可以明显地减少过拟合现象，使模型的泛化性更强。

2.4.本发明所提出的网络模型：

本发明所提出的网络结构如图1所示。这个小节介绍本发明所提出的模型的具体流程：自上而下一共分为6层，包含编码部分和解码部分。先是编码部分，输入的图片是256x256x3尺寸，图像在进行预处理之后，通过了并行卷积模块并进入第二层，然后分别通过2x2最大池化层、4x4最大池化层，通过4x4最大池化层的特征等待与下一层经过2x2最大池化层的特征进行串联操作，通过2x2最大池化层的特征进入并行卷积模块继续进行最大池化层操作，依次向下。然后是解码部分，每一层经过上采样之后的高层次特征会与之前得到的特征进行运算并进入到跳跃连接，融合到的特征进入解码部分中的卷积模块，然后依次向上，最终输出视网膜视盘的分割图。

步骤3)设置训练策略；

采用Adam优化算法。设置合适的BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)、初始学习率、学习率下降因子、动量、权重衰减系数。

步骤4)训练网络和更新参数；

根据设置好的训练策略对模型进行训练。更新参数：网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新。训练迭代过程中利用损失函数(Dice Loss)进行参数地更新。

损失函数Dice Loss公式为：

y代表真实值，p代表预测值。

步骤5)设置评价标准；

建立包括精确度Precision、召回率Recall、准确度ACC、骰子系数DC、F1分数的评价指标，通过计算评价指标将我们的模型与最先进的模型进行比较从而评估我们方法的性能。

评价标准的公示如下所示：

表示在所有预测为正样本的数据中，有多少是真正的正样本；

表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；

表示所有的样本数据中，有多少是被正确预测的；

表示正样本和预测样本间的相似度；

表示为精确率和召回率的调和平均数；

其中TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。

步骤6)评估本发明中所提出的模型；

将训练得到的评价标准与通过将最新的各种网络模型训练同一个数据集得到的评价标准进行分析对比。同时将本发明中所提出的网络模型分割出来的视盘与专家分割的视盘进行对比，分割后的结果如图4所示。

本发明是在U-Net的整体架构上进行改进。加入了并行卷积模块，通过三个并行的空洞卷积，空洞卷积能使网络的感受野在不增加卷积核参数的情况下得到提升，并行的结构能解决空洞卷积中使信息稀疏化的缺点。引入的减法运算和多尺度的池化层能得在编码过程中保留更多的边界信息，并在跳跃连接中串联更多的特征信息。

Claims (1)

1.一种基于深度学习的视网膜视盘分割方法，具体步骤如下：

步骤1)将视网膜图像进行预处理；

首先将数据集中的图像调整为256x256像素的统一尺寸，并通过对原数据集进行裁剪、翻转、旋转、缩放、位移方式来扩大数据，然后对数据集进行归一化，以减轻因光照的不同所造成的影响；最后将数据集以6:2:2的比例依次划分为训练集、测试集和验证集；

步骤2)构建网络模型；

2.1并行卷积模块一共由三条路径组成，每条路径分别经过拥有不同扩张率的空洞卷积；空洞卷积是通过在普通卷积核的任意两个相邻参数之间插入零来实现的，能使网络模型在相同的参数量和计算量下拥有更大的感受野；但是空洞卷积有一个显著的缺点，即由于在卷积核的任意位置都插入了零，因此只能对非零值滤波器参数对应的像素进行有效的采样，这样会导致采集的信息稀疏化，扩张率越大，这个问题会变得愈发严重；因此使用了并行卷积这一模块，通过混合不同扩张率的空洞卷积能有效缓解这个问题；每条分支利用不用的扩张率提取不同尺度的上下文信息，接着将三个分支输出的特征映射相加，然后将该映射输入到1x1卷积核中，以此来增加该模块中的非线性特征，最后通过BN(batchnormalization批标准化)和Relu激活函数；BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度；

在扩张率的选择上，如果扩张率过大，则会导致有过多零值的卷积核所采样的像素空间稀疏；反之，如果扩张率太小，空洞卷积则会退化成普通卷积；因此扩张率的选择也是至关重要的；同时任何两组的空洞卷积都应避免重复的采样，扩张率的选择上应该满足如下公式：

其中选择的空洞卷积集合为r＝(r₁,...,r_i,r_j,...r_s)，[r_i,r_j]表示两个数之间的最小公倍数，k表示实际卷积核的长宽；所选择的每层扩张率集合为：(1，4，7)、(1，3，5)、(1，3，4)、(1，2，4)、(1，2，3)；

2.2.跳跃连接中的结构：

所提出的跳跃连接，不仅仅将上采样得到的特征与其对应的低层特征进行融合，并且引入了逐元素减法操作，每层上采样得到的特征分别减去对应的低层特征以及它上一层经过4x4最大池化操作后具有相同尺寸的特征；最后将他们全部串联起来达到增强边界的目的；

2.3.解码部分中的卷积模块：

解码部分中，每层经过上采样的高层次特征与之前的低层次特征进行跳跃连接后，并会进入到卷积模块；首先会依次通过一个3x3卷积和一个1x1卷积，然后通过Relu激活函数，最后加入Dropout操作，Dropout可以使神经元以一定的概率停止工作，这样可以明显地减少过拟合现象，使模型的泛化性更强；

2.4.构建网络模型：

自上而下一共分为6层，包含编码部分和解码部分；先是编码部分，输入的图片是256x256x3尺寸，图像在进行预处理之后，通过了并行卷积模块并进入第二层，然后分别通过2x2最大池化层、4x4最大池化层，通过4x4最大池化层的特征等待与下一层经过2x2最大池化层的特征进行串联操作，通过2x2最大池化层的特征进入并行卷积模块继续进行最大池化层操作，依次向下；然后是解码部分，每一层经过上采样之后的高层次特征会与之前得到的特征进行运算并进入到跳跃连接，融合到的特征进入解码部分中的卷积模块，然后依次向上，最终输出视网膜视盘的分割图；

步骤3)设置训练策略；

采用Adam优化算法；设置合适的BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)、初始学习率、学习率下降因子、动量、权重衰减系数；

步骤4)训练网络和更新参数；

根据设置好的训练策略对模型进行训练；更新参数：网络模型中采用反向传播算法BP算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数Dice Loss进行参数地更新；

损失函数Dice Loss公式为：

y代表真实值，p代表预测值；

步骤5)；设置评价标准

建立包括精确度Precision、召回率Recall、准确度ACC、骰子系数DC、F1分数的评价指标，通过计算评价指标将我们的模型与最先进的模型进行比较从而评估我们方法的性能；

评价标准的公示如下所示：

表示在所有预测为正样本的数据中，有多少是真正的正样本；

表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；

表示所有的样本数据中，有多少是被正确预测的；

表示正样本和预测样本间的相似度；

表示为精确率和召回率的调和平均数；

其中TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性；

步骤6)；评价网络模型

将训练得到的评价标准与通过将最新的各种网络模型训练同一个数据集得到的评价标准进行分析对比；同时将所述的网络模型分割出来的视盘与专家分割的视盘进行对比。

Images