CN114881962A - 一种基于改进U-Net网络的视网膜图像血管分割方法 - Google Patents

Abstract

本发明提出了一种基于改进U‑Net网络的视网膜血管分割方法。通过对彩色眼底图像进行图像增强，提高图像中血管与背景之间的对比度，同时扩增训练数据集。以U‑Net编码器‑解码器结构为基本分割框架，设计密集卷积块和CDBR层结构代替传统卷积块，实现了多尺度特征信息的学习，提高模型的特征提取能力。同时，在模型跳跃连接处引入注意力机制，使模型重新分配权重，调整特征通道的重要程度，抑制噪声同时解决解码器端上采样过程中的血管信息丢失问题，基于以上技术构建GAB‑D2BUNet网络模型。本发明采用国际公开的视网膜眼底血管数据集DRIVE进行训练，最后保留最佳的分割模型验证模型的分割性能。本发明实现了精确的分割视网膜眼底血管的任务，具有较优的分割性能。

Description

一种基于改进U-Net网络的视网膜图像血管分割方法

技术领域

本发明涉及一种利用深度学习进行图像分割方法，具体为一种基于改进U-Net网络的视网膜图像血管分割方法，属于图像处理领域。

背景技术

糖尿病视网膜病变是一种病发率和致盲率都很高的糖尿病并发症。糖尿病视网膜病变是由血糖升高引起的视网膜疾病，体内血糖水平较高会导致滋养视网膜的微小视网膜血管堵塞或损坏，为了维持眼部营养代谢，视网膜会滋生新的细小血管，但由于新生血管比较脆弱，容易出现血管物质渗出和出血的现象。久而久之，患者就会出现视力模糊症状，更严重的会导致失明。据世界卫生组织统计，全世界大约有2.2亿人受到糖尿病的影响。由于视网膜血管结构形态变化直接反映了眼部的健康状况,专业医生对视网膜血管状况的准确诊断对预防和治疗相关眼部疾病具有非常重要的意义。但眼部血管细密且分布复杂，视网膜血管与眼球的对比度较低，造成微小血管难以区分。除此之外，视网膜眼底图片在成像时，受光线不均和噪声的影响较大，造成眼底视网膜图像的血管分割困难。人工分割耗时较长且难以实现大量图像分割，另外，专业医生水平、诊断经验的不同造成实际的手动分割效果也相差较大，难以统一分割标准。视网膜血管的自动分割技术依然成为目前医学图像分割领域的研究重点。

国内外研究者提出了大量算法用于解决眼底图像分割任务，这些算法中根据是否需要标签主要分为有监督和无监督两种。无监督算法不需要对像素点进行标记，利用视网膜血管的结构分布等特征信息，通过匹配滤波、形态学处理、血管追踪、均值聚类等方法，学习利用特征信息的相关性来识别血管的大概分布。相比于无监督的方法，监督算法需要把像素点标记为血管还是背景,监督学习中的机器学习方式主要是利用卷积进行提取特征，然后训练分类器，同时对眼底图像全局或特定区域的血管进行分类。特征提取通常采用Gabor变换、离散小波变换、高斯滤波等方法，在分类阶段通常利用支持向量机SVM算法和人工神经网络作为分类器。

近年来，深度学习在目标检测、图像识别等计算机视觉领域取得了较大突破，目前越来越多的研究人员采用深度学习的方法进行眼底视网膜血管分割。卷积神经网络通过对原始图像数据进行从低层到高层的特征提取，有效提取高层的语义特征。最近几年，研究人员提出了一种基于全卷积神经网络的编码器-解码器网络架构，由于该结构对称呈U型，故称为U-Net。

发明内容

为了解决现有分割技术分割不精细的问题，本发明提供了一种基于改进U-Net网络的视网膜图像血管分割方法。采用公开的彩色眼底数据集DRIVE对模型进行训练,实现视网膜图像血管的精确分割。

为了验证模型的分割性能，本发明的技术方案为：

步骤1：获取公开的彩色视网膜眼底血管分割数据集DRIVE；

步骤2：随机划分原始数据集，验证集取20张和测试集取20张；

步骤3：对步骤2的训练集眼底图像预处理，提高图像对比度突出视网膜血管细节特征；

步骤4：对步骤3预处理后的图像，进行数据扩增处理，采用随机裁剪，加入高斯噪声，水平、垂直和对角线翻转等方式来处理数据；

步骤5：设计密集卷积块，利用密集卷积块替代传统卷积块以实现特征复用、提高模型的特征提取能力；

步骤6：引入DropBlock块来正则化网络，缓解卷积网络中的过拟合问题；

步骤7：构建注意力机制模块，强化目标特征信息，抑制无用特征信息；

步骤8：使用Tensorflow深度学习框架搭建GAB-D2BUNet网络；

步骤9：将增强后的训练数据集输入到步骤7所建立的分割网络中，进行模型的训练。模型训练过程中设置Batchsize为5，设置网络学习率为0.0001，DropBlock阈值概率设为0.8，丢弃块block_size大小为7，选择Adam优化器进行网络参数优化，采用交叉熵损失函数计算损失，epoch大小设为100；

步骤10：按照步骤8的参数配置训练模型，最后保存训练完成后的模型参数；

步骤11：引入模型框架，加载步骤9保存的模型参数，得到训练好的血管分割模型，利用步骤2随机划分的测试集输入到该模型中，获取最终的分割图。

附图说明

图1为本发明的流程图；

图2为本发明的眼底图像预处理效果图；

图3为本发明的密集卷积块结构图；

图4为本发明的改进注意力模块；

图5为本发明的GAB-D2BUNet网络模型框架图；

图6为本发明的U-Net传统卷积与CDBR结构化卷积结构对比图，其中左为U-Net传统卷积，右为CDBR结构化卷积；

图7为本发明模型训练的Accuracy和Loss曲线；

图8为本发明算法的分割效果对比图。

具体实施方式

根据本发明的一个实施例，提出了一个基于改进U-Net网络的视网膜图像血管分割方法。精简U-Net框架，采用对称的3次编码-解码结构，优化传统卷积，引入注意力机制，最后实现模型的精确分割效果。下面结合图和具体实例对本发明作进一步的详细描述，本发明的血管分割流程图如图1所示。本发明的基于改进U-Net网络的视网膜图像血管分割方法具体包含以下步骤：

步骤1：获取公开的彩色视网膜眼底血管分割数据集DRIVE；

步骤2：随机划分原始数据集，验证集取20张和测试集取20张；

步骤3：对步骤2的训练集眼底图像预处理，提高图像对比度突出视网膜血管细节特征，如图2所示。将数据集进行灰度转换，对眼底图像进行通道提取，观察可知绿色通道中眼底图片的血管和背景对比度较高，能够较为清晰的显示血管结构分布，包含的细节信息最丰富；对绿色单通图像进行对比度受限的自适应直方图均衡化(Contrast LimitedAdaptive Histogram Equalization，CLAHE)算法增强血管和背景之间的对比度,使血管结构特征更加清晰，增强图像边缘信息，同时抑制图像中存在的噪声；利用伽马gamma修正灰度化，降低光照不均和中心线反射现象的影响，在保证视网膜图像中高亮血管区域的同时增亮对比度较低的血管区域；对修正后的灰度图进行标准化处理，对图像进行零均值化和单位标准化处理，使其符合正态分布。使网络更好地学习图像的特征分布，加快网络的训练速度。

步骤4：对步骤3预处理后的图像，进行数据扩增处理，采用随机裁剪，加入高斯噪声，水平、垂直和对角线翻转等方式来处理数据；

步骤5：设计密集卷积块，利用密集卷积块替代传统卷积块以实现特征复用、提高模型的特征提取能力。首先构建密集连接子块,密集连接子块先通过1x1的卷积层将输入信息进行特征整合,然后通过一个批量归一化层和ReLU激活函数将特征进行非线性特征处理,再通过3x3的卷积层进行特征提取,提取的特征图再通过归一化层和ReLU激活函数层，密集卷积设计为4组密集连接子块，最后为了减少密集连接层输出特征图通道数过多，最后添加一个压缩层，恢复输入原始通道数，密集连接块结构如图3所示。在密集连接中，网络每一层的输入都是前面所有层输出的并集，每一层的输出也会直接传给之后的所有层作为输入，达到特征重复利用的目的。设网络第i层的输出为X_i,其计算公式如下：

X_i＝H_i([X₀,X₁,…X_i-1])；

其中，H_i是i层的非线性变换函数，其可以是批量归一化、激活、池化或者卷积的复合函数，[X₀,X₁,…X_i-1]表示将0到i-1层的输出进行合并。对于数据规模较小的模型输入，在训练过程中难以避免过拟合的问题，而密集连接具有较好的抗过拟合性能。密集连接可以充分利用浅层的特征，深浅层不同复杂度的特征综合利用，保证网络中各层之间特征信息流的最大化，增强抗拟合性。特征图每经过一个密集卷积块就会输出得到一个具有融合多尺度信息的特征图，而非冗余信息。另外，密集连接可以从前面的密集卷积块输出中获益，有效避免特征传播过程中梯度爆炸和消失的风险。

步骤6：引入DropBlock块来正则化网络，缓解卷积网络中的过拟合问题。模型采用DxopBlock,来正则化网络，这是一种结构化形式的dropout来正则化，它将feature map相邻区域中的单元放在一起丢弃，这种方式可以有效的丢弃部分语义信息，激励网络提取到更加有效的特征信息，可以有效防止卷积网络中的过拟合问题，DropBlock有两个主要参数，block_size和γ。Block_size表示要删除的块的大小，γ控制要删除的激活单元的个数。γ的计算公式如下：

其中，keep_prob表示阈值概率，特征图中所有低于这个值的元素都会被丢弃掉，feat_size表示为特征图的尺寸，feat_size-block_size+1为有效的种子区域。γ的大小取决于keep_prob,通常不直接设置γ的取值，而是设置阈值概率来计算γ。

步骤7：构建注意力机制模块，强化目标特征信息，抑制无用特征信息。设计注意力机制GAB模块，如图4所示。将其应用于U-Net的跳跃连接上，以赋予收缩路径的每个特征图新的权重，GAB由通道注意CA模块和空间注意力SA模块构成，采用单分支结构代替CBAM的双分支结构。GAB的特征输入F_gab-input∈R^H×W×C，特征图的每个通道可以视为对特定类别的响应,通道注意力更加关注有意义的特征。首先通过全局平均池化来聚合全局信息生成一个R^1×1×C维度的通道描述符，汇集有意义的特征。为了充分利用全局信息，捕获特征图各通道之间的依赖关系，采用1×1大小的卷积核进行通道压缩，即原来的通道数由C缩小为C′,生成特征图F_dense＝R^H×W×C′，其中C′＝C/r，参数r的大小不同，对模型性能影响效果也会不同，然后再经过一个全连接层，将通道数恢复至原来数量，接着Sigmoid函数激活得到权重系数M^c(F_gab-input)∈R^1×1×C。最后，特征图F_gab-input和权重系数相乘输出为缩放后的新特征图，通道注意力特征图F^c∈R^H×W×C计算公式如下：

F^c＝F_gab-inputM^c(F_gab-input)＝F_gab-input·σ(γ(f^1×1(f^1×1(GAB(F_gab-input)))))

上式中，γ(·)表示ReLU激活函数，σ(·)表示Sigmoid函数，GAP(·)为全局平均池化层，f^1×1(·)表示卷积核大小为1×1的卷积操作。

空间注意力SA使用特征之间的空间关系来产生空间注意力图，在计算过程中，改进传统的SA中对通道轴进行最大池化和平均池化，所提出的模块采用单分支结构，在SA中,只沿着通道轴进行平均池化操作，生成特征图

然后以卷积核为7×7大小对其进行卷积，接着采用Sigmoid激活函数进行激活处理得到新的空间权重系数M^s(F^c)∈R^H×W×C。最后将原来的特征图和新的空间权重系数相乘，由以下公式计算得出，输出特征F^s∈R^{H ×W×C}。

F^s＝F^c·M^s(F^c)＝F^c·σ(f^7×7(AvgPool(F^c)))；

其中，f^7×7(·)为卷积核大小为7的卷积操作，σ(·)表示Sigmoid函数。

步骤8：使用Tensorflow深度学习框架搭建GAB-D2BUNet分割网络，整体模型框架图5所示。采用对称的3次下采样网络结构取代传统的U-Net网络使用4次下采样操作和4次上采样结构。模型集成Conv2D层、DropBlock层、批量归一化BN层以及ReLU激活函数构成CDBR模块，如图6所示，并结合密集卷积块取代原始的U-Net卷积。

首先对模型输入的图像进行1x1的卷积，设置16个卷积核，实现单通道的灰度图映射为16通道的特征图，图片尺寸为596×596像素，输入到解码端。卷积输出图像数据经过密集卷积块得到指定输出通道数的特征图，密集卷积的输出特征传递到CDBR集成模块中。无论在编码端还是解码端，每一层对应密集卷积块和CDBR集成的组合。模型采用Max pooling下采样，利用反卷积进行上采样，还原图像原始分辨率。编码端与解码端以跳跃连接的方式将特征图连接起来，在跳跃连接结构与编码-解码的“桥”连接处中嵌入注意力机制，实现下采样的深度信息与上采样中的浅层信息融合，同时抑制无关信息。在最后一层，使用1×1大小的卷积生成一个与原始图像分辨率相同的特征图，

步骤9：将增强后的训练数据集输入到步骤7所建立的分割网络中，进行模型的训练。模型训练过程中设置Batchsize为5，设置网络学习率为0.0001，DropBlock阈值概率设为0.8，丢弃块block_size大小为7，选择Adam优化器进行网络参数优化，采用二分类交叉熵损失函数计算损失，epoch大小设为100。模型训练的准确率和损失变化曲线下图7所示。

步骤10：按照步骤8的参数配置训练模型，最后保存训练完成后的模型参数；

步骤11：引入模型框架，加载步骤9保存的模型参数，得到训练好的血管分割模型，利用步骤2随机划分的测试集输入到该模型中，获取最终的分割图。

基于改进U-Net网络的视网膜图像血管分割方法模型在测试集上的准确率为0.9690、特异性0.9873、灵敏度0.8441、AUC值0.9858、F1值0.8289，具体分割结果如图8所示，模型分割效果较好，在分割准确率和分割细节上表现出色。

以上对本发明所提供的基于改进U-Net网络的视网膜图像血管分割方法进行了详细的说明，但本发明的范围并不局限于此，在不脱离所附权利要求书所限定的保护范围的情况下，对上述实例的各种改变都在本发明的范围之内。

Claims (1)

1.基于改进U-Net网络的视网膜图像血管分割方法，其特征在于，具体步骤为：

步骤1：获取公开的彩色视网膜眼底血管分割数据集DRIVE；

步骤2：随机划分原始数据集，验证集取20张和测试集取20张；

步骤3：对步骤2的训练集眼底图像预处理，提高图像对比度突出视网膜血管细节特征；

步骤4：对步骤3预处理后的图像，进行数据扩增处理，采用随机裁剪，加入高斯噪声，水平、垂直和对角线翻转等方式来处理数据；

步骤5：设计密集卷积块，利用密集卷积块替代传统卷积块以实现特征复用、提高模型的特征提取能力；

步骤6：引入DropBlock块来正则化网络，缓解卷积网络中的过拟合问题；

步骤7：构建注意力机制模块，强化目标特征信息，抑制无用特征信息；

步骤8：使用Tensorflow深度学习框架搭建GAB-D2BUNet网络；

步骤9：将增强后的训练数据集输入到步骤7所建立的分割网络中，进行模型的训练；模型训练过程中设置Batchsize为5，设置网络学习率为0.0001，DropBlock阈值概率设为0.8，丢弃块block_size大小为7，选择Adam优化器进行网络参数优化，采用交叉熵损失函数计算损失，epoch大小设为100；

步骤10：按照步骤8的参数配置训练模型，最后保存训练完成后的模型参数；

步骤11：引入模型框架，加载步骤9保存的模型参数，得到训练好的血管分割模型，利用步骤2随机划分的测试集输入到该模型中，获取最终的分割图。

Images