CN111127447B - 基于生成式对抗网络的血管分割网络及方法 - Google Patents

Abstract

本发明公开了一种基于生成式对抗网络的血管分割网络及方法，分割网络包括生成模型和判别模型，生成模型在采用U型编码‑解码结构的基础上加入残差连接，判别模型采用VGG网络的全卷积形式，将中间部分的卷积层替换成密集连接模块，分割方法通过生成模型生成彩色眼底图像的生成样本，将生成样本和对应真实样本输入判别模型，对生成模型和判别模型进行交替训练优化，最后，将待分割的视网膜血管彩色图像输入训练优化后的模型中即可输出血管分割结果；本发明能够检测到更多视网膜血管图像中的微小毛细血管，并能更精确地定位血管边缘，大大提升血管分割精度，且极大提高了血管图像分割灵敏性、有效性和稳定性。

Description

基于生成式对抗网络的血管分割网络及方法

技术领域

本发明涉及卷积神经网络和视网膜血管分割技术领域，尤其涉及一种基于生成式对抗网络的血管分割网络及方法。

背景技术

眼睛是人体最重要的感觉器官之一，但世界上却有许多人正遭受失明的折磨。在众多致盲眼病中，老年黄斑性病变，糖尿病视网膜病变、高血压性视网膜病变等眼底疾病更是致盲的主要原因。从临床角度看，这些疾病的存在与视网膜血管的直径，曲度，分支形式或角度的形态学改变有密切关系，眼科医生可通过观察分割后的眼底视网膜血管图像来了解其他脏器血管情况，对眼病和全身多种疾病进行诊断。然而，在实际的临床诊断中，眼科专家主要依据本领域专业知识及个人经验对视网膜血管图像进行人工分割。但由于医患人数不均衡，近年来医学影像数量不断增加，使得人工分割方法耗时耗力，且对于临床经验不足的新手医生，分割的准确性难以保证，人工分割方法不利于大规模的疾病筛查和诊断工作。所以近年来视网膜血管的自动分割方法成为了领域的研究热点。

目前，在病理照片图像分割领域出现了大量的视网膜血管自动分割方法，但由于视网膜血管结构复杂，毛细血管部位表现度低，一般的分割方法很难保持血管的连通性，所以视网膜血管分割对计算机来说仍具有较大挑战。当今的分割方法根据是否需要人工标注的金标准可将其分为监督方法和非监督方法两大类。

(一)非监督分割方法：

非监督分割方法是通过观察给定的样本，手工设计特征和规则。对于视网膜血管分割，无监督方法可以挖掘视网膜图像中血管的固有模式，以确定像素是否为血管。常见无监督方法主要有基于数学形态学的，基于概率统计，基于匹配滤波器，以及血管跟踪方法。George Azzopardi等提出了一种选择性响应容器的滤波器，称之为B-cosfire，其通过计算高斯差分滤波器组输出的加权几何平均值来实现方向选择性的，通过对两种旋转不变B-COSFIRE滤波器的响应进行总结并进行阈值化，实现了对血管的分割。Yitian Zhao等提出了一种新的无限主动轮廓模型，利用图像的混合区域信息来自动化检测血管结构。Jiang等提出了一种基于形态学操作的全局阈值提取视网膜血管结构的新方法。梁恩慧，提出了基于线模板滤波和B-COSFIRE改进匹配滤波的视网膜血管分割算法，利用匹配滤波分割出粗血管，再利用宽度为单个像素的线模板滤波器探测到细小血管，并通过B-COSFIRE提取血管分叉点和交叉点信息；最后将三者分割结果图采用或操作进行融合。无监督方法适用于大量未标记数据训练，但在计算上非常复杂，且耗费大量时间成本。在正常视网膜图像上，这些方法大多表现良好，而在病理视网膜图像上，这些方法的分割精度较低。

(二)监督分割方法：

监督分割方法是用已提取的特征向量，也就是已标注的训练数据(金标准)，训练一个分类器，目的是从眼底视网膜图像中对视网膜血管和非血管像素进行自动分类。该算法将在训练数据集的基础上学习一套血管提取规则。标记训练数据集在监督方法中非常重要，因为血管分割的知识是直接从眼科医生手工分割的图像中获得的。因此，在单数据库测试中，有监督的方法的性能通常要优于无监督的方法。目前监督方法主要基于贝叶斯分类器，随机森林(RF)，支持向量机(SVM)，多层神经网络，决策树，高斯混合模型(GMM)等等。JoséIgnacio Orlando等人提出一个有区别的训练完全连接条件随机场模型，通过SVM监督学习模型参数，这种模型有助于对血管细长结构的处理。Muhammad Moazam Fraz等研究了一种集袋装和升压决策树为一体的集成系统，利用梯度向量场的方向分析、形态变换、线强度测量和Gabor滤波器响应为基础的特征向量。特征向量编码信息处理健康视网膜图像和病变视网膜图像。总的来说，这些方法根据已有的先验知识和复杂的概率统计学方法对分割模型进行设计。

近年来，随着大数据的发展，以及大规模硬件加速设备的出现，深度学习算法得到了迅速的发展，也得到全世界广泛的研究和关注。基于深度学习的分割方法已超越以往的传统分割方法。其中卷积神经网络(CNN)在不需要先验知识和额外预处理的情况下，可以通过一些卷积和池操作自动学习高遍历特征，广泛应用图像分类和图像检测中。由于传统CNN以像素点周围的像素块作为输入，计算效率低，感知区域小，不利于图像的语义分割。2014年，UC Berkeley的Jonathan Long等人提出了全卷积神经网络(Fully ConvolutionalNetworks，FCN)，将传统CNN的全连接层替成卷积层，并加入跳跃连接结构，实现图像端到端的语义分割。这种编码-解码结构成为图像语义分割的基础结构。2015年，在FCN基础上提出的U-net网络，采用对称的下采样-上采样结构，并通过短链接增加浅层特征的复用，在小数据集的生物医学图像分割领域取得较好结果。其后提出Segnet与U-net编码解码结构相似，只是在上采样的方法不同。医学图像语义分割方法大多基于以上提出的分割网络，在其基础上进行网络的深度或宽度拓展。Juan Mo和Lei Zhang利用深度监督全卷积网络的多层次层次特性，开发了深度监督全卷积网络，并利用从其他领域学习到的知识转移来缓解医学培训数据不足的问题。Kai Hu等提出了一种基于卷积神经网络(CNN)和全连通条件随机场(CRFs)的眼底血管分割新方法。Americo Filipe Moreira Oliveira，等人本文提出了一种将平稳小波变换提供的多尺度分析与多尺度全卷积神经网络(FCN)相结合来处理视网膜血管结构的宽度和方向的变化的新方法。Song Guo等在FCN基础上提出了一种具有短连接的多尺度深度监督网络，使用短连接在侧输出层之间传输语义信息，通过学习多尺度特征提高网络的性能。

然而，传统深度学习方法通常假设训练数据与测试数据服从同样的分布，或者是在训练数据上的预测结果与在测试数据上的预测结果服从同样的分布。这就会造成训练结果优于测试结果，即产生过拟合问题，并且由于专注于像素级别的分类，忽略像素与像素之间的关联性，造成分割结果模糊，需要对分割结果进行二值化后处理。

2014年，Ian Goodfellow提出生成对抗网络(Generative Adversarial Network，GAN)，其要解决的问题就是如何生成符合真实样本概率分布的新样本。对抗网络可以认为是由一个生成模型和一个判别模型组成。在训练过程中，两个网络交替迭代优化，形成竞争对抗，直到双方达到一个动态的平衡。通过对抗学习，让算法直接学习到数据的分布情况。然而对于复杂的数据，例如高分辨率的图像，无监督的学习到它的像素分布情况是极其困难的。2014年，Mehdi Mirza将约束条件引入了生成对抗网络，提出条件生成对抗网络(Conditional Generative Adversarial Network，CGAN)，使生成的新样本变得可控，更符合预期。2016年，Facebook AI团队将深度神经网络引入生成对抗网络，提出了深度卷积生成对抗网络(Deep Convolution Generative Adversarial Network，DCGAN)，引入卷积神经网络后不仅能够加快生成对抗网络的训练过程，而且还使得训练过程更加稳定。生成对抗网络将神经网络与对抗思想相结合，已经开始应用于医学图像处理，在医学图像分割领域也取得较好的成果。Moeskops等人利用GAN和扩张卷积实现了脑MR图像的自动分割，并加入扩张卷积来代替池化层，减少下采样中特征的丢失，使得分割结果好于全卷积网络。Xue等人提出了一种新的端到端对抗网络架构SegAN来分割医学图像，引入新的多尺度L1损失函数来评价真实分割结果和预测分割结果之间的特征差异，大量实验结果表明，SegAN实现了比包括U-net在内的最先进的基于CNN的架构相当或更好的结果。Sharath M将FCN和GAN相结合，对眼底的视神经盘进行自动分割，来辅助青光眼诊断，方法各种评价指标上都优于现有的方法。Lahiri等人使用生成对抗网络的半监督语义分割方法从眼底图像中分割血管，与正常的CNN训练相比，此方法的训练显示出更高的数据效率。

虽然上述应用GAN的方法都得到了比较好的分割结果，但对低像素毛细血管的分割还存在分割精度不足的问题，因为对抗训练的特点是两个模型之间的抗衡，一方性能的提升也是对另一方性能的压制，判别模型缺乏判别能力就会被生成模型生成的新样本迷惑，无法正确区分真实样本与生成样本，无法保证分割的精确度。

发明内容

本发明的目的是提供一种基于生成式对抗网络的血管分割网络及方法，能够检测到更多视网膜血管图像中的微小毛细血管，并能更精确地定位血管边缘，大大提升血管分割精度，且极大提高了血管图像分割灵敏性、有效性和稳定性。

本发明采用的技术方案为：

基于生成式对抗网络的血管分割网络，包括生成模型和判别模型两个子模型；生成模型采用编码-解码对称结构对输入的特征图进行端到端的分割，生成模型编码部分采用四个卷积模块对输入图像进行抽象特征的提取，每个卷积模块由两层卷积结构组成，卷积结构均采用3×3大小的卷积核且每个卷积块后均加一层2×2的最大池化层；判别模型的网络整体结构采用深度卷积网络，包括三个卷积模块、两个密集连接模块和两个压缩层。

进一步地，所述生成模型的编码部分中，每个卷积结构的卷积层后紧跟BatchNormlazation层和非线性单元层。

进一步地，所述密集连接模块由三个BN-Relu-Conv复合层结构组成。

进一步地，所述判别模型的池化层kernel size均为2×2，stride为2的最大池化。

基于生成式对抗网络的血管分割网络的分割方法，包括以下步骤：

A、建立基于生成式对抗网络的训练模型和样本集；训练模型包括生成模型和判别模型两个子模型，样本集包括彩色眼底图像及人工标注后的真实样本，彩色眼底图像与真实样本一一对应；

B、将样本集中彩色眼底图像输入生成模型，提取图像特征信息后输出视网膜血管概率图像作为生成样本；

C、将生成样本和对应的真实样本同时输入判别模型，判别模型分别赋予真实样本和生成样本以不同的标签，对真实样本和生成样本进行区分；

D、对生成模型和判别模型进行交替训练优化，直至判别模型与生成模型之间达到纳什平衡，网络训练完成，训练完成的训练模型即为生成式对抗网络的分割模型；

达到纳什动态平衡时，生成模型能够生成接近真实样本的新样本，生成模型能够恢复真实的样本分布，判别模型的判别结果为真实样本和生成样本各占50％，无法区分真实样本和生成样本，至此，网络训练完成；

E、将待分割视网膜血管彩色图像输入分割模型，输出血管分割结果。

进一步地，样本输入步骤A所述判别模型后的具体过程为：

a1：输入样本至判别模型的第一个卷积模块，经过多层卷积提取样本特征，并进行归一化和非线性激活处理；

a2：提取的样本特征输入至两个密集连接模块；密集连接模块中，将前层结果与本层结果合并作为下一层的输入，设网络第i层的输出为x_i，则一个密集连接模块第i层的输出表示为

x_i＝H_i([x₀,x₁,…x_i-1]) (1)

公式(1)中，H_i([x₀,x₁,…x_i-1])表示第i层的非线性映射，x₀,x₁,…x_i-1表示将0…i-1层输出的特征图合并；

a3：密集连接模块输出的特征经过压缩层进行多层特征图的压缩，最后进入两个卷积模块，提取抽象的样本特征，通过sigmod输出对真实样本和生成样本的判断。

进一步地，采用二元交叉熵损失函数对训练模型中生成式对抗网络的目标函数进行优化；生成式对抗网络的目标函数定义为：

公式(2)中，x表示输入的彩色眼底图像，y表示与其相对应的金标准图像，logD(x,y)表示判别模型认为y来自真实样本映射的概率，log(1-D(x,G(x)))表示判别模型认为G(x)来自生成模型的概率，

表示x来自真实样本概率分布的期望，

表示x来自生成样本概率分布的期望；

在训练阶段，判别模型的目标是最大化目标函数，生成模型的目标是最小化目标函数；因此，生成式对抗网络整体的优化目标为：

采用二元交叉熵损失函数对目标函数进行优化，训练过程中分别对判别模型和生成模型交替优化训练，因此，判别模型的优化表示为：

公式(4)中，θ_D表示判别模型需要优化的参数，L_D(D(x,G(x)),0)表示将生成样本判别为0的损失，L_D(D(x,y),1)表示将真实样本判别为1的损失；

用梯度下降方法先对判别模型进行K次的训练，使判别模型的判别准确度能够达到标准要求，然后再训练生成模型；

生成模型的损失包括分割血管树的生成概率图与金标准之间的像素级损失，还包括生成模型与判别模型之间的对抗损失，因此，生成模型的优化表示为：

公式(5)中，λ表示对抗损失的比例；

采用梯度下降的方法对生成模型进行训练，其中λ用来平衡两种损失，避免生成模型因为对抗训练而产生梯度弥散问题。

进一步地，所述λ数值选取0.1。

本发明具有以下有益效果：

(1)通过在生成模型的U型网络结构的基础上，结合残差网络思想，在每个卷积块间加入短链接结构，使网络对输出的变化以及网络权重的改变变得敏感，能够动态调整模型的复杂度，更好的调整网络的权重，提高生成模型对样本的分割能力，避免由判别模型的抗衡造成生成模型梯度消失训练困难的问题，提高生成模型的分割能力，提升生成模型的稳定性；

(2)在判别模型的卷积块中加入密集连接结构，提出一种新的深度卷积密集型强判别网络结构，判别模型在对抗网络中的作用相当一个二元分类器，所以构建具有多个隐藏层的深度卷积网络，对输入的图像进行抽象特征提取，输出其抽象表达，即对真实样本与生成样本的概率的判断，在此结构的基础上在深度卷积网络中部的卷积块中加入密集连接结构，构成Densen block模块，密集连接可以强化浅层特征向深度网络的传播，增强判别网络对生成样本的判别能力，使对抗性训练更好地指导特征的选择。

附图说明

图1为本发明中视网膜血管分割网络的结构示意图；

图2为图1中生成模型的结构示意图；

图3为原始残差网络结构；

图4为生成模型编码部分的短链接结构；

图5为图1中判别模型的结构示意图；

图6为图5中密集连接块Densen block的结构示意图；

图7为DRIVE数据集的彩色眼底图像；

图8为DRIVE数据集的金标准图像；

图9为DRIVE数据集的U-GAN分割结果图像；

图10为DRIVE数据集的RU-GAN分割结果图像；

图11为DRIVE数据集的RUD-GAN分割结果图像；

图12为STARE数据集的彩色眼底图像；

图13为STARE数据集的金标准图像；

图14为STARE数据集的U-GAN分割结果图像；

图15为STARE数据集的RU-GAN分割结果图像；

图16为STARE数据集的RUD-GAN分割结果图像。

具体实施方式

如图1所示，本发明公开了一种基于生成式对抗网络的血管分割网络，包括生成模型和判别模型两个子模型；生成模型采用编码-解码对称结构对输入的特征图进行端到端的分割，生成模型编码部分采用四个卷积模块对输入图像进行抽象特征的提取，每个卷积模块由两层卷积结构组成，卷积结构均采用3×3大小的卷积核且每个卷积块后均加一层2×2的最大池化层；判别模型的网络整体结构采用深度卷积网络，包括三个卷积模块、两个密集连接模块和两个压缩层。

本发明还公开了一种基于生成式对抗网络的血管分割方法，包括以下步骤：

A、建立基于生成式对抗网络的训练模型和样本集；训练模型包括生成模型和判别模型两个子模型，样本集包括彩色眼底图像及人工标注后的真实样本，彩色眼底图像与真实样本一一对应；

B、将样本集中彩色眼底图像输入生成模型，提取图像特征信息后输出视网膜血管概率图像作为生成样本；

C、将生成样本和对应的真实样本同时输入判别模型，判别模型分别赋予真实样本和生成样本以不同的标签，对真实样本和生成样本进行区分；

D、对生成模型和判别模型进行交替训练优化，直至判别模型与生成模型之间达到纳什平衡，网络训练完成，训练完成的训练模型即为生成式对抗网络的分割模型；

达到纳什动态平衡时，生成模型能够生成接近真实样本的新样本，生成模型能够恢复真实的样本分布，判别模型的判别结果为真实样本和生成样本各占50％，无法区分真实样本和生成样本，至此，网络训练完成；

E、将待分割视网膜血管彩色图像输入分割模型，输出血管分割结果。

为了更好地理解本发明，下面结合附图对本发明的技术方案做进一步说明。

本发明公开了一种基于生成式对抗网络的血管分割网络，如图1所示，包括生成模型和判别模型两个子模型；生成模型采用编码-解码对称结构对输入的特征图进行端到端的分割，生成模型编码部分采用四个卷积模块对输入图像进行抽象特征的提取，每个卷积模块由两层卷积结构组成，卷积结构均采用3×3大小的卷积核且每个卷积块后均加一层2×2的最大池化层；判别模型的网络整体结构采用深度卷积网络，包括三个卷积模块、两个密集连接模块和两个压缩层。

关于生成模型：

生成模型用于对输入的视网膜图像进行精确的语义分割。如图2所示，本发明所设计的生成模型是在U-net结构的基础上进行改进，网络结构整体采用编码-解码对称结构对输入的特征图进行端到端的分割。

编码部分采用四个卷积模块对输入图像进行抽象特征的提取，每个卷积模块由两层卷积结构组成，卷积结构均采用3×3大小的卷积核且每个卷积块后均加一层2×2的最大池化层。

每个卷积结构的卷积层后紧跟Batch Normlazation层和非线性单元层(RELU)，归一化处理层使样本特征分布更紧密，加快训练速度，非线性处理单元防止网络出现梯度消失问题。本发明中生成模型最大的特点在于，在卷积块批处理之间加入了类似于如图3所示残差网络的短链接结构，短链接结构如图4所示。

残差学习认为学习拟合一个残差映射F(x)＝H(x)-x比直接学习拟合一个近似恒等映射H(x)更加容易，引入残差后的映射对输出的变化更加敏感，也使网络更容易学习，防止随着网络层数的加深，会出现梯度消失或梯度爆炸的问题。因为BN层对输入的特征进行了归一化处理会使输出的特征分布较集中，而原输入特征分布相对松散，不能直接将输入特征加到带有BN层卷积后，不利于特征的提取，因此，本发明中在BN层之后加入短链接结构能够有效避免上述问题。

解码部分与编码结构相似，也由四个卷积模块组成，只是将下采样换成了上采样。

生成模型在编码部分通过mapool逐步扩大感受野，提取输入图像的抽象信息，经过一个瓶颈层卷积模块后，通过up pooling操作将抽象特征恢复成与输入图片相同分辨率的图像，并通过skip connection操作结合下采样各层信息和上采样的输入信息来还原细节信息，逐步还原图像精度，加入短链接够使生成网络更好的指导生成与真实样本相似的生成样本，提升生成网络的可靠性和稳定性，最后通过sigmoid输出分割概率图。

关于判别模型：

判别模型需对真实样本和生成样本进行精确区分，所以本发明中判别模型的网络整体结构采用深度卷积网络。如图5所示，判别模型采用VGG网络的全卷积形式，将中间部分的卷积层替换成密集连接模块，即判别模型由三个卷积模块、两个密集连接模块和两个压缩层组成，样本进入判别模型后依次经过第一个卷积模块、第一个密集连接模块、第一个压缩层、第二个密集连接模块、第二个压缩层、第二个卷积模块和第三个卷积模块。卷积全部采用3×3小卷积核，用较深的网络结构和较小的卷积核，来保证感受视野，减少卷积层的参数。

密集块后连接卷积核为1×1的卷积层，对多层特征图进行压缩，避免密集连接造成网络过宽，降低特征维度，提高模型的紧凑型和计算效率。最后再次进入两个多层卷积模块，提取抽象的样本特征，通过sigmod输出对真实样本和生成样本的判断。

密集连接块的加入使各层输出的特征图合并，提高了每层输出的特征图的利用率，既能减少特征参数，又能帮助浅层特征的有效传播，减少中间层信息的损耗，避免深度网络特征提取过程中缺乏细节特征，增强网络提取特征的能力，使判别网络能够可靠的区分真实样本和生成样本，强化了判别网络的判别能力。判别网络的池化层kernel size均为2×2，stride为2的最大池化max-pooling，小的池化核能够带来更细节的信息捕获，在图像任务上max-pooling的效果更好，更加容易捕捉图像上的变化，带来更大的局部信息差异性。

本发明还公开了一种基于生成式对抗网络的血管分割方法，包括以下步骤：

A、建立基于生成式对抗网络的训练模型和样本集；如图1所示，训练模型建立于生成式对抗网络GAN的结构之上，由生成模型G和判别模型D两个子模型组成。样本集包括彩色眼底图像及人工标注后的真实样本，彩色眼底图像与真实样本一一对应。

生成模型在编码部分通过mapool逐步扩大感受野，提取输入图像的抽象信息，经过一个瓶颈层卷积模块后，通过up pooling操作将抽象特征恢复成与输入图片相同分辨率的图像，并通过skip connection操作结合下采样各层信息和上采样的输入信息来还原细节信息，逐步还原图像精度，加入短链接够使生成网络更好的指导生成与真实样本相似的生成样本，提升生成网络的可靠性和稳定性，最后通过sigmoid输出分割概率图。

如图5所示，样本进入判别模型后的处理过程如下：

a1：输入样本至判别模型的第一个卷积模块，经过多层卷积提取样本特征，并进行归一化和非线性激活处理。

a2：之后紧跟着两个密集连接模块，提取的样本特征输入至两个密集连接模块，如图6所示，每个密集连接模块由三个BN-Relu-Conv复合层结构组成；密集连接模块中，将前层结果与本层结果合并作为下一层的输入，设网络第i层的输出为x_i，则一个密集连接模块第i层的输出表示为：

x_i＝H_i([x₀,x₁,…x_i-1]) (1)

公式(1)中，H_i([x₀,x₁,…x_i-1])表示第i层的非线性映射，x₀,x₁,…x_i-1表示将0…i-1层输出的特征图合并。

本发明在第一个卷积层后加入两个密集连接模块，这种密集连接结构缩短了前后层的距离，强化了特征的传播。

a3：密集连接模块输出的特征经过压缩层进行多层特征图的压缩，最后进入两个卷积模块，提取抽象的样本特征，通过sigmod输出对真实样本和生成样本的判断。

密集块后连接卷积核为1×1的卷积层，对多层特征图进行压缩，避免密集连接造成网络过宽，降低特征维度，提高模型的紧凑型和计算效率。最后再次进入两个多层卷积模块，提取抽象的样本特征，通过sigmod输出对真实样本和生成样本的判断。

密集连接块的加入使各层输出的特征图合并，提高了每层输出的特征图的利用率，既能减少特征参数，又能帮助浅层特征的有效传播，减少中间层信息的损耗，避免深度网络特征提取过程中缺乏细节特征，增强网络提取特征的能力，使判别网络能够可靠的区分真实样本和生成样本，强化了判别网络的判别能力。判别网络的池化层kernel size均为2×2，stride为2的最大池化max-pooling，小的池化核能够带来更细节的信息捕获，在图像任务上max-pooling的效果更好，更加容易捕捉图像上的变化，带来更大的局部信息差异性。

B、将样本集中彩色眼底图像输入生成模型，提取图像特征信息后输出视网膜血管概率图像作为生成样本。

C、将生成样本和对应的真实样本同时输入判别模型，判别模型分别赋予真实样本和生成样本以不同的标签，对真实样本和生成样本进行区分。

生成模型负责生成与真实样本(ground truth)尽可能接近的新样本(probability map)，然后将真实样本和生成样本一同输入到判别模型中，进行卷积特征取，最终输出对样本的一个概率判断；判别模型负责给真实样本赋予较高的标签，给生成样本赋予较低的标签，对输入的真实样本和生成样本进行区分。

D、对生成模型和判别模型进行交替训练优化，直至判别模型与生成模型之间达到纳什平衡，网络训练完成，训练完成的训练模型即为生成式对抗网络的分割模型。

训练过程对生成模型和判别模型进行交替训练，首先固定生成模型网络参数，对判别模型进行K次训练，更新判别网络的参数，使判别模型达到一定区分准确度的基础上再训练生成模型。二者通过交替训练，不断对自身网络进行优化，判别模型能够越来越准确的区分真实样本和生成样本，生成模型则生成会越来越接近真是样本的新样本，最终，双方达到一个动态的平衡，即纳什平衡。达到动态平衡时，生成模型能够生成和真实样本几乎一模一样的新样本，即生成模型能够恢复真实的样本分布。此时，判别模型的判别结果为真实样本和生成样本各占50％，无法区分真实样本和生成样本，至此，网络训练完成。

本发明采用二元交叉熵损失函数对训练模型中生成式对抗网络的目标函数进行优化。在原始GAN中，生成模型G从噪声矢量z生成图像G(z)，判别模型D计算输入图像是真实的或生成的概率。本发明提出的生成模型G将输入的彩色眼底图像(而不是噪声向量)映射到血管分割结果，并通过判别模型D进行判别是生成图像还是金标准图像。故本发明生成式对抗网络的目标函数定义为：

公式(2)中，x表示输入的彩色眼底图像，y表示与其相对应的金标准图像，logD(x,y)表示判别模型认为y来自真实样本映射的概率，log(1-D(x,G(x)))表示判别模型认为G(x)来自生成模型的概率，

表示x来自真实样本概率分布的期望，

表示x来自生成样本概率分布的期望。

在训练阶段，判别模型希望D(x，y)最大化，而D(x，G(x))最小化，另一方面，生成模型应该通过产生对真实数据不可分辨的输出来防止鉴别器做出正确的判断，即，判别模型的目标是最大化目标函数，生成模型的目标是最小化目标函数；因此，生成式对抗网络整体的优化目标为：

训练过程并不是直接对两个子模型进行优化，而是分别对判别模型和生成模型交替优化训练，由于本发明采用二元交叉熵损失进行优化，因此，判别模型的优化表示为：

公式(4)中，θ_D表示判别模型需要优化的参数，L_D(D(x,G(x)),0)表示将生成样本判别为0的损失，L_D(D(x,y),1)表示将真实样本判别为1的损失；

用梯度下降方法先对判别模型进行K次的训练，使判别模型的判别准确度能够达到一定的判别水平，然后再训练生成模型。

生成模型的损失包括分割血管树的生成概率图与金标准之间的像素级损失，还包括生成模型与判别模型之间的对抗损失，因此，生成模型的优化表示为：

公式(5)中，λ表示对抗损失的比例；

采用梯度下降的方法对生成模型进行训练，其中λ用来平衡两种损失，避免生成模型因为对抗训练而产生梯度弥散问题，其中，λ数值优选选取0.1。

E、将待分割视网膜血管彩色图像输入分割模型，输出血管分割结果。

下面通过具体实验数据对本发明的效果进行论证。

采用两种经典眼底图像数据集STARE和DRIVE对网络进行训练和测试。其中DRIVE数据集包含20张训练图片和10张测试图片，图片的尺寸为565×584。STARE数据集包含10张训练图片和10张测试图片，图片尺寸为700×605。

由于数据集较小，需要对数据进行增强处理，本实验采用在线增强的方法，对数据集图像进行三度间隔的水平旋转，反转，z score均值等增强操作。取增强后训练集的10％作为验证集。数据集实验设置batch_size为1，learning_rate为2e-4，采用Adama优化器，动能为0.5进行优化，训练迭代20000次。在NVIDIA GeForce GTX 1060 3GB处理器上训练时间大约为10h。

为了评估分割结果，我们采用5种常用评估标准：准确率(Acc)、灵敏度(se)、特异度(sp)、ROC曲线(AU-ROC)和PR曲线(AU-PR)。

公式(6)中，TP为真阳性，即分割正确的血管像素个数；TN为真阴性，即分割正确的非血管像素个数；FP为假阳性，即分割错误的血管像素个数；FN为假阴性，即分割错误的非血管像素个数。灵敏度Se用来衡量正确检测出血管像素的能力；特异度Sp用来衡量识别非血管像素的能力；准确率Acc表示正确分割的像素在全部像素中所占的比例。ROC曲线AU-ROC是以假阳性率

为横坐标、真阳性率/>

为纵坐标。PR曲线AU-PR以精确率

为纵坐标，召回率/>

为横坐标。ROC曲线、PR曲线下方的面积越接近1，说明算法的分割效果越好。

为了证明本发明中的残差结构和密集连接模块的有效性，我们在DRIVE和STARE两种数据集上应用三中不同的GAN架构上进行了实验，将具有U型生成网络和深度卷积判别网络的对抗网络命名为U-GAN，将具有残差思想的短链接U型生成网络和深度卷积判别网络结构的对抗网络命名为RU-GAN，在RU-GAN的基础上的对判别模型加入密集连接结构的对抗网络命名为RUD-GAN，进行了三者之间得对比实验，DRIVE数据集的彩色眼底图像如图7所示，DRIVE数据集的实验分割结果如图8至图11所示，STARE数据集的彩色眼底图像如图12所示，STARE数据集的实验分割结果如图13至图16所示。

从U-GAN与RU-GAN分割结果对比可以看，加入残差连接后，RU-GAN网络将U-GAN忽略的低像素毛细血管部位提取出来。加入密集连接模块后，RUD-GAN不仅实现了对大部分低像素毛细血管的分割，并更好的保持血管的联通性，分割出的血管树也较完整。

三种不同架构GAN在DRIVE数据集对比如表1所示：

表1

三种不同架构GAN在STARE数据集对比如表2所示：

表2

从上表中可以看出，与U-GAN相比，RU-GAN的准确率(Acc)、灵敏度(se)、ROC曲线(AU-ROC)和PR曲线(AU-PR)这4项性能指标均有较大提升，这表明了加入残差连接的有效性。在RU-GAN的判别模型加入密集连接模块后的RUD-GAN在性能上又实现了进一步的提升，表明加入的密集连接强判别网络有助于进一步提升整个对抗网络的性能。

在DRIVE数据集上RUD_GAN的准确率(Acc)、灵敏度(se)、特异度(sp)、ROC曲线(AU-ROC)和PR曲线(AU-PR)数值分别是0.9560、0.8340、0.9820、0.9786和0.8821，在STARE数据集上RUD_GAN的准确率(Acc)、灵敏度(se)、特异度(sp)、ROC曲线(AU-ROC)和PR曲线(AU-PR)数值分别是0.9663、0.8334、0.9897、0.9734、0.8718。

不同方法在DRIVE数据集上的对比结果如表3所示：

表3

不同方法在STARE数据集上的对比结果如表4所示：

表4

表3和表4在DRINE和STARE两个数据集上就Se、Sp、Acc，AUC方面，将RUD_GAN与一些最先进的包含监督方法和非监督方法的性能进行了比较。在DRIVE数据集上可以看出，在所对比的多种先进方法中，RUD_GAN在灵敏度和特异度性能上达到了最高，分别是0.8340和0.9820，并与Jose Ignacio所提方法的PR_AUC进行比较，大约高出其方法的10％。在ROC_AUC方面，也高于大多数先进方法。在STARE数据集中，与其他方法相比，RUD_GAN在灵敏度和特异度性能上同样达到了最高，分别是0.8334，0.9897。并与Jose Ignacio所提方法的PR_AUC进行比较，大约高出其方法的11％。RUD_GAN的ACC也高于大多数对比方法。

由于现有的基于CNN的视网膜血管分割方法不能很好地定位血管边缘和微小的薄血管等细节以及分割效果较模糊的问题，本发明所提出的视网膜血管分割网络和分割方法，对抗网络的生成模型部分在U型编码-解码网络的基础上加入残差短连结结构，判别模型部分在VGG全卷积网络的基础上将中间的卷积层替换成卷积的密集连接模块。这两种改进都在一定程度上优化了分割的性能，实验结果证明了这种残差连接和密集连接模块的有效性。一方面残差网络短链接结构的加入，解决网络退化和梯度消失问题，使生成模型的训练更加稳定，产生能够迷惑判别模型的分割概率图，另一方面，密集连接模块的加入强化了特征的传播，增加的浅层细节信息有助于判别网络区分真实样本和生成样本，增强了对抗网络的判别能力。本发明的分割方法，不需要对输入图片进行切片处理，也不需要额外的后处理过程。将整张图片作为输入，通过生成器与判别器之间的对抗训练，使网络直接拟合输入数据，产生视网膜血管语义分割结果，即简化了分割程序又可以防止过拟合现象的发生，其有益效果也在实验结果得以佐证，对视网膜血管分割领域具有重大意义。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (4)

1.基于生成式对抗网络的血管分割网络的分割方法，其特征在于：包括以下步骤：

A、建立基于生成式对抗网络的训练模型和样本集；训练模型包括生成模型和判别模型两个子模型，样本集包括彩色眼底图像及人工标注后的真实样本，彩色眼底图像与真实样本一一对应；

B、将样本集中彩色眼底图像输入生成模型，提取图像特征信息后输出视网膜血管概率图像作为生成样本；

C、将生成样本和对应的真实样本同时输入判别模型，判别模型分别赋予真实样本和生成样本以不同的标签，对真实样本和生成样本进行区分；

D、对生成模型和判别模型进行交替训练优化，直至判别模型与生成模型之间达到纳什平衡，网络训练完成，训练完成的训练模型即为生成式对抗网络的分割模型；

达到纳什动态平衡时，生成模型能够生成接近真实样本的新样本，生成模型能够恢复真实的样本分布，判别模型的判别结果为真实样本和生成样本各占50％，无法区分真实样本和生成样本，至此，网络训练完成；

E、将待分割视网膜血管彩色图像输入分割模型，输出血管分割结果；

所述生成式对抗网络的血管分割网络，包括生成模型和判别模型两个子模型；生成模型采用编码-解码对称结构对输入的特征图进行端到端的分割，生成模型编码部分采用四个卷积模块对输入图像进行抽象特征的提取，每个卷积模块由两层卷积结构组成，卷积结构均采用3×3大小的卷积核且每个卷积块后均加一层2×2的最大池化层；判别模型的网络整体结构采用深度卷积网络，包括三个卷积模块、两个密集连接模块和两个压缩层；

所述生成模型的编码部分中，每个卷积结构的卷积层后紧跟Batch Normlazation层和非线性单元层；

所述密集连接模块由三个BN-Relu-Conv复合层结构组成；

所述判别模型的池化层kernel size均为2×2，stride为2的最大池化。

2.根据权利要求1所述的基于生成式对抗网络的血管分割方法，其特征在于：样本输入步骤A所述判别模型后的具体过程为：

a1：输入样本至判别模型的第一个卷积模块，经过多层卷积提取样本特征，并进行归一化和非线性激活处理；

a2：提取的样本特征输入至两个密集连接模块；密集连接模块中，将前层结果与本层结果合并作为下一层的输入，设网络第i层的输出为x_i，则一个密集连接模块第i层的输出表示为

x_i＝H_i([x₀,x₁,…x_i-1]) (1)

公式(1)中，H_i([x₀,x₁,…x_i-1])表示第i层的非线性映射，x₀,x₁,…x_i-1表示将0…i-1层输出的特征图合并；

a3：密集连接模块输出的特征经过压缩层进行多层特征图的压缩，最后进入两个卷积模块，提取抽象的样本特征，通过sigmod输出对真实样本和生成样本的判断。

3.根据权利要求1所述的基于生成式对抗网络的血管分割方法，其特征在于：采用二元交叉熵损失函数对训练模型中生成式对抗网络的目标函数进行优化；生成式对抗网络的目标函数定义为：

公式(2)中，x表示输入的彩色眼底图像，y表示与其相对应的金标准图像，logD(x,y)表示判别模型认为y来自真实样本映射的概率，log(1-D(x,G(x)))表示判别模型认为G(x)来自生成模型的概率，

表示x来自真实样本概率分布的期望，

表示x来自生成样本概率分布的期望；

在训练阶段，判别模型的目标是最大化目标函数，生成模型的目标是最小化目标函数；因此，生成式对抗网络整体的优化目标为：

采用二元交叉熵损失函数对目标函数进行优化，训练过程中分别对判别模型和生成模型交替优化训练，因此，判别模型的优化表示为：

公式(4)中，θ_D表示判别模型需要优化的参数，L_D(D(x,G(x)),0)表示将生成样本判别为0的损失，L_D(D(x,y),1)表示将真实样本判别为1的损失；

用梯度下降方法先对判别模型进行K次的训练，使判别模型的判别准确度能够达到标准要求，然后再训练生成模型；

生成模型的损失包括分割血管树的生成概率图与金标准之间的像素级损失，还包括生成模型与判别模型之间的对抗损失，因此，生成模型的优化表示为：

公式(5)中，λ表示对抗损失的比例；

采用梯度下降的方法对生成模型进行训练，其中λ用来平衡两种损失，避免生成模型因为对抗训练而产生梯度弥散问题。

4.根据权利要求3所述的基于生成式对抗网络的血管分割方法，其特征在于：所述λ数值选取0.1。

Images