CN112508864A - 基于改进UNet++的视网膜血管图像分割方法 - Google Patents

Abstract

本发明涉及基于改进UNet++的视网膜血管图像分割方法，属于医疗图像处理技术领域。本发明选取了深度监督网络UNet++作为图像分割网络模型，提升特征的使用效率；引入MulitRes特征提取模块，改善低对比度环境下细小血管的特征学习效果，通过协调图像在不同尺度下学习到的特征，进一步提升网络的泛化能力和网络结构的表达能力，并在特征提取后加上SeNet通道注意力模块进行挤压和激励操作，从而增强特征提取阶段的感受野，提高目标相关特征通道的权重。基于DRIVE视网膜图像数据集验证了本发明改进的UNet++网络模型，与现有模型对比了重叠率，交并比，准确度，灵敏度等评价指标均获得了一定的提升。

Description

基于改进UNet++的视网膜血管图像分割方法

技术领域

本发明涉及基于改进UNet++的视网膜血管图像分割方法，特别涉及一种基于端到端的神经网络嵌套视网膜血管图像分割模型方法，属于医疗图像处理技术领域。

背景技术

眼底视网膜血管图像分割作为现代眼科中的非入侵性诊断方法，已经是计算机辅助诊断视网膜疾病的重要组成部分。例如糖尿病性视网膜病变，高血压，青光眼，出血，静脉阻塞和新血管形成等疾病，定期准确的测量血管的宽度和生长状态可以为这些疾病提供有效的评估价值。因此，对视网膜图像进行血管分割从而对视网膜血管形态进行分析来进行眼部疾病的计算机辅助诊断，具有很高的应用价值。目前，眼底照片上的视网膜血管图像分割依旧是通过专业医生手工分割来获得的，这一任务耗时耗力，并且由于眼底视网膜血管的大小、形状极其不规律，导致人工分割的过程十分繁琐且容易出错，这在临床应用时海量的数据面前是不可行的，因此研究出一种自动分割视网膜血管的系统是十分有必要的。

眼底视网膜血管图像分割作为现代眼科中的非入侵性诊断方法，已经是计算机辅助诊断视网膜疾病的重要组成部分。针对视网膜图像中细微血管特征提取困难导致其分割难度高等问题，本发明提出了一种基于端到端的神经网络嵌套视网膜血管图像分割模型算法(简称MS-UNet++)。

发明内容

本发明提供了基于改进UNet++的视网膜血管图像分割方法，充分使用不同尺度的特征去解决分割结果细节丢失的问题，达到更好的分割性能。

本发明的技术方案是：基于改进UNet++的视网膜血管图像分割方法，该方法选取了深度监督网络UNet++作为分割网络模型，提升特征的使用效率；引入MulitRes图像特征提取模块，改善低对比度环境下细小血管的特征学习效果，并在图像特征提取之后加上SeNet模块进行挤压和激励操作，从而增强特征提取阶段的感受野，提高目标相关特征通道的权重。本方法以眼部医学图像作为输入，以通过像素级分类的方法实现对图像的分割结果作为输出。该方法通过四次下采样，以获取到不同尺度的图像特征，从而增强模型的泛化能力。将不同尺度的图像特征通过加权求和进行融合之后，最终得到对视网膜图像的分割结果，通过最小化损失函数来使误差反向传播从而训练模型，优化参数。

所述方法的具体步骤如下：

Step1.对DRIVE数据集中的视网膜图像进行随机裁剪的方式来扩充数据集；

Step2.利用MultiRes特征提取模块来实现对图像特征的提取，并通过SeNet模块来提取通道注意力，与MultiRes特征提取模块提取的图像特征融合，从而得到不同注意力权重的特征图；

Step3.通过若干次重复的进行Step2操作，将每次重复的结果通过一个加权求和的函数ξ将若干次Step2操作获得的特征进行融合，最后利用融合得到的特征进行视网膜血管图像分割；

Step4.通过与专家手工分割结果的对比来评价模型的分割结果。

进一步地，所述步骤Step1的具体步骤如下：

Step1.1对DRIVE数据集中的视网膜图像进行随机裁剪的方式来扩充数据集：在每张视网膜血管图像上随机选取5000个点进行裁剪，裁剪得到的图片大小为48*48，把视网膜图像数据集扩充为100000张局部图像样本块；

Step1.2随机选扩充之后的视网膜图像数据集的85％用于网络模型训练，其余的15％用于网络模型验证。

进一步地，所述步骤Step2的具体步骤如下：

Step2.1 UNet++的网络结构模型中输入视网膜图像之后，通过MultiRes特征提取模块对输入的视网膜图像进行特征提取，该模块使用1*1、3*3、5*5三种卷积核分别与上一层数据进行卷积分别得到不同的信息，并使用3*3最大池化层对不同卷积核得到的不同信息进行融合；两个3*3的卷积层和三个3*3卷积层输出分别近似于5*5的卷积层和7*7的卷积层的运算结果；为了在提取更多眼底视网膜血管有效特征的同时尽可能的减少对内存的需求，选取三个3*3的卷积块对输出进行提取，将它们连接在一起以提取不同尺度的空间特征；

Step2.2 SeNet模块能增强特征提取阶段的感受野，在提高与目标相关特征通道的权重的同时，抑制与目标无关的特征通道的权重，从而进一步提升特征图的语义信息；SeNet模块结构中的挤压和激励操作是最重要的；首先，对输入SeNet模块结构中的特征图进行全局平均池化(Global Average Pooling，GAP)来实现挤压操作，得到长度为M的实数列，使每个通道上的特征图具有全局的感受野，从而使感受野较小的浅层特征图能够利用全局信息，提升网络的特征提取能力，得到图像更为丰富的语义信息；其次，将长度为M的实数列输入到全连接层，先将特征维度降低为1×1×(M/r)的向量，挤压比r取16，使用ReLU激活函数，再升维成1×1×M的向量，采用Sigmoid激活函数计算通道的权重系数，从而实现激励操作；最后，将权重系数乘以对应特征通道，以此更新特征图。

进一步地，所述步骤Step3的具体步骤为：

Step3.1为了能够得到不同尺度的特征，不同层次的特征，从而进行多次的下采样与上采样，以及通道注意力提取操作，最终将不同深度的图像特征通过一个加权求和的函数ξ进行融合。

进一步地，所述步骤Step4的具体步骤为：

Step4.1在Step3得到了融合了不同尺度的视网膜图像特征之后，利用得到的融合特征，再进行像素级分类；

Step4.2通过最小化损失函数的值进行反向传播，对参数进行优化；最后根据模型预测结果与专家手工分割的结果的对比，计算其一系列的评指标。

对本发明做进一步阐述，所述步骤Step2，Step3和Step4中：

1)数据扩容方法：

研究表明，深度学习算法访问的数据越多就越有效，同时，通过数据增强可以减少模型的过度拟合。DRIVE数据库是在视网膜血管图像分割性能分析中最常用的数据库，DRIVE数据集一共包括40张彩色眼底图像，每张图像的尺寸大小为565*584，其中有33张不存在糖尿病视网膜病变现象，7张存在早期糖尿病视网膜病变现象，数据量明显不足，所以对其进行数据扩容是十分必要的。由于视网膜图像中血管和背景存在对比度低的问题，为了捕捉到细小血管中更多的特征从而提高细小血管的分割准确性，首先通过分离视网膜图像RGB三个通道，对其分析发现，G通道的图像血管最为清晰，因此通过图像预处理，结果如图4所示，使原始的彩色图像变换为G通道上的灰度图像。并且通过对灰度图进行伽马变化来增强图像较暗的部位。本发明还采用了随机裁剪的方式来扩充数据集，每张视网膜血管图片上随机选取5000个点进行裁剪，裁剪得到的图片大小为48*48，把视网膜图像数据集扩充为100000张局部图像样本块，随机选取85％用于网络模型训练，其余的15％用于网络模型验证。

特征提取以及通道注意力融合：将整个模型分为5层(为了方便解释第一层记为：00，01...04,第二层记为：10....13，第三层记为20，21，22，第四层记为30，31第五层记为为：40)第一层为未曾经过下采样处理的原始特征，首先通过MultiRes模块对原始视网膜图像进行特征提取得到01，之后对其进行下采样并且与SeNet产生的通道注意力相融合，得到10，再将上采样之后的结果和00中的特征融合，得到01。第二层的11模块的融合特征，是由10模块以及20模块特征上采样之后的结果融合而来，同样的整个模型中的每一个MultiRes模块的特征均可得到。

本发明的有益效果是：

1、本发明的基于改进UNet++的视网膜血管图像分割方法，通过在特征提取之后加入SeNet模块进行挤压和激励操作，提高目标相关特征通道的权重，抑制目标无关的特征通道，进一步提升特征图的语义信息，从而达到更好的分割性能；

2、设计了一种改进型UNet++网络模型结构，达到充分使用不同尺度的特征去解决分割结果细节丢失的问题。

附图说明

图1为本发明中的流程图；

图2为本发明中MultiRes模块结构示意图；

图3为本发明中SeNet结构示意图；

图4为本发明的一组原图像及其局部处理后的原图示意图；(a)原图像，(b)预处理后的图像，(c)视网膜血管局部样本块，(d)视网膜血管样本块真值。

具体实施方式

实施例1：如图1-4所示，基于改进UNet++的视网膜血管图像分割方法，所述方法的具体步骤如下：

Step1.对DRIVE数据集中的视网膜图像进行随机裁剪的方式来扩充数据集；

Step2.利用MultiRes特征提取模块来实现对图像特征的提取，并通过SeNet模块来提取通道注意力，与MultiRes特征提取模块提取的图像特征融合，从而得到不同注意力权重的特征图；

Step3.通过4次重复的进行Step2操作，将每次重复的结果通过一个加权求和的函数ξ将4次Step2操作获得的特征进行融合，最后利用融合得到的特征进行视网膜血管图像分割；

Step4.通过与专家手工分割结果的对比来评价模型的分割结果。

作为本发明的优选方案，所述步骤Step1的具体步骤为：

Step1.1本发明采用的眼底图像数据库采用的是在视网膜血管图像分割方面极具权威的DRIVE数据集，，目前相关研究大多都是采用此数据集进行对比和验证。DRIVE数据集一共包括40张彩色眼底图像，每张图像的尺寸大小为565*584，其中有33张不存在糖尿病视网膜病变现象，7张存在早期糖尿病视网膜病变现象。每张图像都有其对应的两个人工分割的真值图像和其对应的掩膜。DRIVE数据库是在视网膜血管图像分割性能分析中最常用的数据库。由于视网膜图像中血管和背景存在对比度低的问题，为了捕捉到细小血管中更多的特征从而提高细小血管的分割准确性，需要对视网膜图像进行预处理。本文先分离视网膜RGB图像的三个通道，并对其进行分析，可明显得出在三个通道中G通道中血管的清晰度最高，因此选用G通道使彩色图像变换为灰度图。由于自适应直方图均衡化可以增强图像对比度的同时不放大噪声，对得到的灰度图进行此操作，从而增强血管与背景之间的对比度。进而使用伽马变换算法在不增强图像较亮的部位的同时增强较暗的部位，最后对图像进行标准化处理。

Step1.2在网络训练中一般需要大量的数据来构建模型。由于视网膜图像数据较少，且视网膜图像中血管是连续的，为了获取更好的实验结果，本文选择DRIVE数据集中的视网膜图像进行随机裁剪的方式来扩充数据集。在每张视网膜血管图片上随机选取5000个点进行裁剪，裁剪得到的图片大小为48*48，把视网膜图像数据集扩充为100000张局部图像样本块，随机选取85％用于网络模型训练，其余的15％用于网络模型验证。

进一步地，所述步骤Step2的具体步骤如下：

Step2.1 UNet++的网络结构模型中输入视网膜图像之后，通过MultiRes特征提取模块对输入的视网膜图像进行特征提取，该模块使用1*1、3*3、5*5三种卷积核分别与上一层数据进行卷积分别得到不同的信息，并使用3*3最大池化层对不同卷积核得到的不同信息进行融合；两个3*3的卷积层和三个3*3卷积层输出分别近似于5*5的卷积层和7*7的卷积层的运算结果；为了在提取更多眼底视网膜血管有效特征的同时尽可能的减少对内存的需求，选取三个3*3的卷积块对输出进行提取，将它们连接在一起以提取不同尺度的空间特征；

Step2.2 SeNet模块能增强特征提取阶段的感受野，在提高与目标相关特征通道的权重的同时，抑制与目标无关的特征通道的权重，从而进一步提升特征图的语义信息；SeNet模块结构中的挤压和激励操作是最重要的；首先，对输入SeNet模块结构中的特征图进行全局平均池化(Global Average Pooling，GAP)来实现挤压操作，得到长度为M的实数列，使每个通道上的特征图具有全局的感受野，从而使感受野较小的浅层特征图能够利用全局信息，提升网络的特征提取能力，得到图像更为丰富的语义信息；其次，将长度为M的实数列输入到全连接层，先将特征维度降低为1×1×(M/r)的向量，挤压比r取16，使用ReLU激活函数，再升维成1×1×M的向量，采用Sigmoid激活函数计算通道的权重系数，从而实现激励操作；最后，将权重系数乘以对应特征通道，以此更新特征图。

具体的可以如下：UNet++的网络结构模型中输入图像之后，通过MultiRes模块对图像进行特征提取，并对当前提取的特征进行最大池化，且利用SeNet来提取通道注意力。特征提取以及通道注意力融合：将整个模型分为5层(为了方便解释一次记为第一层：00，01...04,第二层为：10....13，第三层20，21，22，第四层为30，31第五层为：40)第一层为未曾经过下采样处理的原始图像特征，首先通过MultiRes模块对原始图像进行特征提取得到01，之后对其进行下采样并且与SeNet产生的通道注意力相融合，得到10，再将上采样之后的结果和00中的特征融合，得到01。第二层的11模块的融合特征，是由10模块以及20模块特征上采样之后的结果融合而来，同样的整个模型中的每一个MultiRes模块的特征均可得到。

本发明分割模型整体上采用的是UNet++的网络结构，通过对MultiRes模块提取的图像特征进行下采样，与从SeNet模块中得到的通道注意力权重结合，再进行上采样。

进一步地，所述步骤Step3的具体步骤为：

Step3.1为了能够得到不同尺度的特征，不同层次的特征，从而进行多次的下采样与上采样，以及通道注意力提取操作，最终将不同深度的图像特征通过一个加权求和的函数ξ进行融合。

进一步地，所述步骤Step4的具体步骤为：

Step4.1在Step3得到了融合了不同尺度的视网膜图像特征之后，利用得到的融合特征，再进行像素级分类；

Step4.2通过最小化损失函数的值进行反向传播，对参数进行优化；最后根据模型预测结果与专家手工分割的结果的对比，计算其一系列的评指标。

实验：通过对DRIVE视网膜图像数据集的预处理，用训练得出的最优模型进行分割的结果与人工分割出的视网膜血管图像分割结果类似。为了研究本文模型在DRIVE数据集上的分割效果，与其他网络进行了对比，如表1所示，可以得出：本文算法在评价指标Dice、MIOU、准确度和灵敏度上的结果分别是83.63％、94.80％、96.79、81.78％，虽然本文网络在IOU指标上低于AA-Uet，但是综合所有评价指标可得出：整体性能较优，可以实现较为准确的分割，实验结果如下所示。

表1不同算法在DRIVE数据集上测试结果比较

Tab.1 Comparison of test results of different algorithms on DRIVEdata set

表1中的五种方法，分别总结了各种模型的Dice相似系数(Dice SimilariyCoefficient)、并交比(IOU)、准确率(Accuracy-ACC)、灵敏度(Sensitivity-SE)。UNet模型的平均相似系数为81.42，平均交并比为92.76，平均准确率为95.31，平均灵敏度为75.37；UNet++的平均相似系数为83.52，平均交并比为94.73，平均准确率为95.54，平均灵敏度为80.61；UU_Net的平均相似系数为82.91，平均交并比为94.43，平均准确率为95.85，平均灵敏度为80.63。AA_Uet的平均相似系数为82.16，平均交并比为95.68，平均准确率为95.58，平均灵敏度为79.41；MS-UNet++的平均相似系数为83.64，平均交并比为94.80，平均准确率为96.79，平均灵敏度为81.78。所提出的MS-UNet++在各方面都有优于其它模型的表现。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.基于改进UNet++的视网膜血管图像分割方法，其特征在于：所述方法的具体步骤如下：

Step1.对DRIVE数据集中的视网膜图像进行随机裁剪的方式来扩充数据集；

Step2.利用MultiRes特征提取模块来实现对图像特征的提取，并通过SeNet模块来提取通道注意力，与MultiRes特征提取模块提取的图像特征融合，从而得到不同注意力权重的特征图；

Step3.通过若干次重复的进行Step2操作，将每次重复的结果通过一个加权求和的函数ξ将若干次Step2操作获得的特征进行融合，最后利用融合得到的特征进行视网膜血管图像分割；

Step4.通过与专家手工分割结果的对比来评价模型的分割结果。

2.根据权利要求1所述的基于改进UNet++的视网膜血管图像分割方法，其特征在于：所述步骤Step1的具体步骤如下：

Step1.1对DRIVE数据集中的视网膜图像进行随机裁剪的方式来扩充数据集：在每张视网膜血管图像上随机选取5000个点进行裁剪，裁剪得到的图片大小为48*48，把视网膜图像数据集扩充为100000张局部图像样本块；

Step1.2随机选扩充之后的视网膜图像数据集的85％用于网络模型训练，其余的15％用于网络模型验证。

3.根据权利要求1所述的基于改进UNet++的视网膜血管图像分割方法，其特征在于：所述步骤Step2的具体步骤如下：

Step2.1 UNet++的网络结构模型中输入视网膜图像之后，通过MultiRes特征提取模块对输入的视网膜图像进行特征提取，该模块使用1*1、3*3、5*5三种卷积核分别与上一层数据进行卷积分别得到不同的信息，并使用3*3最大池化层对不同卷积核得到的不同信息进行融合；两个3*3的卷积层和三个3*3卷积层输出分别近似于5*5的卷积层和7*7的卷积层的运算结果；为了在提取更多眼底视网膜血管有效特征的同时尽可能的减少对内存的需求，选取三个3*3的卷积块对输出进行提取，将它们连接在一起以提取不同尺度的空间特征；

Step2.2 SeNet模块能增强特征提取阶段的感受野，在提高与目标相关特征通道的权重的同时，抑制与目标无关的特征通道的权重，从而进一步提升特征图的语义信息；SeNet模块结构中的挤压和激励操作是最重要的；首先，对输入SeNet模块结构中的特征图进行全局平均池化来实现挤压操作，得到长度为M的实数列，使每个通道上的特征图具有全局的感受野，从而使感受野较小的浅层特征图能够利用全局信息，提升网络的特征提取能力，得到图像更为丰富的语义信息；其次，将长度为M的实数列输入到全连接层，先将特征维度降低为1×1×(M/r)的向量，挤压比r取16，使用ReLU激活函数，再升维成1×1×M的向量，采用Sigmoid激活函数计算通道的权重系数，从而实现激励操作；最后，将权重系数乘以对应特征通道，以此更新特征图。

4.根据权利要求1所述的基于改进UNet++的视网膜血管图像分割方法，其特征在于：所述步骤Step3的具体步骤为：

Step3.1为了能够得到不同尺度的特征，不同层次的特征，从而进行多次的下采样与上采样，以及通道注意力提取操作，最终将不同深度的图像特征通过一个加权求和的函数ξ进行融合。

5.根据权利要求1所述的基于改进UNet++的视网膜血管图像分割方法，其特征在于：所述步骤Step4的具体步骤为：

Step4.1在Step3得到了融合了不同尺度的视网膜图像特征之后，利用得到的融合特征，再进行像素级分类；

Step4.2通过最小化损失函数的值进行反向传播，对参数进行优化；最后根据模型预测结果与专家手工分割的结果的对比，计算其一系列的评指标。

Images