CN111325749A - 一种基于生成对抗网络的带出血病症的眼底血管图像生成方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的带出血病症的眼底血管图像生成方法，其中眼底图像生成方法包括：首先用图像分割技术从现有真实眼底图片中分割出血管树和出血块，然后利用WGAN生成眼底血管树，利用CGAN生成出血块；再把生成的眼底血管树和出血块输入到本发明改进的CycleGAN中生成完整的带出血病症的眼底血管图像。本发明把图像生成过程分为两部分：第一部分用WGAN和CGAN生成血管树和出血块，旨在生成高质量的血管图像和出血块图像，使局部信息更加真实；第二部分把生成的眼底血管树和出血块输入到本发明改进的CycleGAN中，在生成完整带出血病症的眼底血管图像的同时，进一步提升生成样本多样性，且最终生成质量得到显著提升。

Description

一种基于生成对抗网络的带出血病症的眼底血管图像生成 方法

技术领域：

本发明涉及图像生成领域，尤其涉及一种基于生成对抗网络的带出血病症的眼底血管图像方法。

背景技术：

智能医疗诊断系统的研究需要大量标注样本，但在现实中，对于医疗数据尤其是眼底图像的获取以及标注困难重重且成本极高，眼底图像样本数据不足以及样本分布不均称为一大难题。

针对眼底图像数据样本分布不均问题，传统的数据集扩充方法主要有翻转、旋转、裁剪、添加噪声等数据增强技术，以及过采样技术，但只能对现有数据集进行扩充，扩充结果对现有数据集具有很强的依赖性。在Ian Goodfellow提出GAN后，大量学者把GAN用于扩充数据集，且已有很多成功案例，但也存在细节丢失、生成样本单一等不足。在GAN在扩充数据集应用中，可大致分为两方面，一种是基于无监督学习的GAN及其改进模型DCGAN等，理论上可以生成丰富的图片数据，但实际训练过程却十分艰难，且Mode Collapse问题十分严重，生成效果也大多不尽人意。之后Guibas等提出的两步生成眼底血管图像的方法可以生成较高质量的图像，但仍然存在Mode Collapse问题，且训练过程不稳定；另一种是把无监督学习的GAN改进为有监督的CGAN以及改进的pix2pix，其中具有代表性的就是Appan等提出的生成带病组织的眼底血管图像方法，这种方法能够生成高质量的图像，但过于依赖成对的数据集，在成对数据集又十分有限的情况下，难以生成丰富的眼底图像。

发明内容：

本发明的目的是克服现有方法的不足，提出一种基于生成对抗网络的带出血病症的眼底血管图像方法,特别是涉及一种基于改进的CycleGAN的带出血病症的眼底血管图像方法，以解决眼底图像样本不足以及样本分布不均的问题。

一种基于生成对抗网络的带出血病症的眼底血管图像生成方法，其特征在于，包括如下步骤：

步骤1：利用图像分割技术对真实眼底图像进行图像分割，得到真实血管树和出血块；

步骤2：把真实血管树输入到WGAN中生成血管树图像，把真实出血块输入到CGAN中生成出血块图像；

步骤3：把生成的血管树和出血块输入到改进的CycleGAN中，得到完整带出血病症的眼底血管图像。

步骤1的实现包括：

步骤1.1：对真实眼底图像进行预处理，预处理包括去除噪声和等比例缩放及中心裁剪；

步骤1.2：利用图像分割技术对处理过的图像进行分割，得到真实血管树和出血块。

步骤2的实现包括：

步骤2.1：由于原始GAN训练困难，其中重要原因是由于梯度消失，即在接近最优的判别器下，生成数据和真实数据没有不可忽略重合时，由于优化生成器损失函数相当于优化P_g与P_data之间的JS散度，而此时此JS散度近似为常数log2，即生成器面临梯度消失，无法继续训练下去。WGAN模型是在GAN的基础上，引入Wassertein距离代替原损失函数，解决了梯度消失问题，目标函数：

其中f(x)是判别器函数，E表示数学期望，故本发明中采用WGAN生成血管树。把真实血管树输入到WGAN中，待网络稳定，得到生成血管树图像；

步骤2.2：由于眼底病症严重程度与出血块的数量直接相关，故本发明采用CGAN生成出血块，其中CGAN模型的生成器以出血块数量和随机噪声作为输入，输出生成的出血块，判别器以出血块的数量和真实出血块图像或生成出血块图像作为输入，输出真实出血块的概率。把真实出血块和所要生成出血块的数量一同输入到CGAN中，生成符合条件的出血块图像。

步骤3所述改进CycleGAN为：利用Wassertein距离代替原损失函数，用谱正则化技术在全局实现Lipschitz限制，并加入同一映射损失和感知损失；在生成器的网络结构中加入U-net的跳级结构，并在判别器网络中引入扩张卷积和多尺度判别器。

步骤3的实现包括：

步骤3.1：对损失函数的改进：应用Wassertein距离代替原始损失函数，解决了梯度消失问题。改进后的目标函数需要满足Lipschitz约束，利用矩阵谱范数的物理意义，即任何向量在经过矩阵变换后，长度都小于等于此向量与该矩阵谱范数乘积的长度。即：

其中σ(W)表示权重矩阵的谱范数，x表示该层的输入向量，δ表示x的改变量。只要控制权重矩阵的谱范数就可以实现Lipschitz约束，所以把谱范数当作正则项加入到损失函数中，即：

后半部分即为权重矩阵谱范数的正则项，通过对每层谱范数总和进行惩罚，使判别器满足Lipschitz约束。加入同一映射损失衡量图像转变后与原图像的差异，使模型对原图做尽量小的改动。并引入感知损失用于避免生成图像出现模糊和细节损失。综上，改进的CycleGAN的损失函数：

其中，L′(G,F,D_X,D_Y)为引入Wassertein的损失函数，

权重矩阵谱范数的正则项，λ_imlL_iml(F_X→Y,G_Y→X)为同一映射损失，其中λ_iml表示同一映射损失的调节权重λ_plL_pl(F_X→Y,G_Y→X)为感知损失，其中λ_pl表示感知损失的调节权重。

步骤3.2：在生成器的网络结构中加入U-net的跳级结构，用以保留不同分辨率下图像中像素级的图像细节。引入新型激活函数——PReLU激活函数：

PReLU＝max(αx,x)

其中α为(0,1)之间的数，且接近于0，PReLU函数是ReLU函数的改进，能够有效避免负数信息被弱化的情况，且PReLU函数相对于eLU函数实现简单，计算量小，更适用于发明。

基于马尔科夫的判别器(PatchGAN)只注意局部图像块中的结构，限制了网络对图像整体的认识，同时也限制了生成器的学习能力，即执行连贯的全局变化的能力。故本发明在判别器网络中加入扩张卷积，与正常卷积层相比，扩张卷积拥有额外的参数——扩张率，用于表示扩张的大小，能在相同参数数量的条件下，感受野随扩张率的增加呈指数增长，同时保持输出的特张映射大小不变，从而使判别器能够隐含的学习上下文。

具有高分辨率性质的眼底图像，需要一个具有很大感受野的判别器，若使用通常的处理方式，则需要增加网络容量，这样不仅容易导致过拟合，而且对内存要求过高。引入多尺度判别器，即对生成图像进行多次降低采样，用训练的多个不同尺度的判别器，判别这些图像的真假。利用粗糙和精细两种判别器尺度，其中尺度粗糙的判别器感受野较大，负责眼底图像的全局和谐，而精细尺度的判别器对眼底血管以及出血等局部特征更加敏感，用以引导生成器生成更完善的细节。

步骤3.3：把生成的血管树和出血块输入到改进的CycleGAN中，得到完整带出血病症的眼底血管图像。

本发明的有益效果：考虑到眼底图像中包含错综复杂的血管细节，本发明利用Wassertein距离代替原损失函数，能够在生成数据与真实数据没有不可忽略的重合的情况下进行训练，避免了梯度消失问题；为满足Lipschitz约束，在损失函数中加入权重矩阵谱范数正则项，对权重矩阵谱范数进行惩罚；并加入同一映射损失和感知损失,使网络更好的训练无配对样本。并用U-net的跳级结构改进网络的生成器模型，引入扩张卷积和多尺度判别器改进判别器模型，改进后的CycleGAN更适合生成眼底图像。本发明把生成过程分为两部分：第一部分在真实眼底图像中分割出血管树和出血块，然后利用WGAN和CGAN分别生成血管树和出血块，在提升样本多样性的同时，使局部信息更为真实；第二部分利用改进后的CycleGAN模型在不成对的图像集中生成带出血症状的眼底图像，在生成完整带出血病症的眼底血管图像的同时，进一步提升样本多样性，且最终生成质量得到显著提升。

附图说明：

图1是一种基于生成对抗网络的带出血病症的眼底血管图像方法的流程图。

图2是真实眼底图像和分割得到的血管树和出血块。

图3是生成血管树和生成出血块。

图4是U-net网络结构图。

图5是多尺度结构图。

图6是生成血管树、生成出血块和真实图像以及生成带出血病症的眼底血管图像。

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施的具体流程示意图，如图1所示，该方法包括：

1.利用图像分割技术对真实眼底图像进行分割：

首先对真实眼底图像进行预处理，预处理包括去除噪声和等比例缩放及中心裁剪；然后搭建图像分割模型，本发明采用U-net模型，该模型由特征提取和上采样两部分组成；最后把真实图像输入到训练好的U-net模型中进行图像分割，所得血管树和出血块如图2所示。

2.将分割出的真实血管树和出血块分别输入到WGAN和CGAN中：

由于原始GAN训练困难，其中重要原因是由于梯度消失，即在接近最优的判别器下，生成数据和真实数据没有不可忽略重合时，由于优化生成器损失函数相当于优化P_g与P_data之间的JS散度，而此时此JS散度近似为常数log2，即生成器面临梯度消失，无法继续训练下去。WGAN模型是在GAN的基础上，引入Wassertein距离代替原损失函数，解决了梯度消失问题，目标函数：

其中f(x)是判别器函数，E表示数学期望，故本发明中采用WGAN生成血管树。

由于眼底病症严重程度与出血块的数量直接相关，故本发明采用CGAN生成出血块，其中CGAN模型的生成器以出血块数量和随机噪声作为输入，输出生成的出血块，判别器以出血块的数量和真实出血块图像或生成出血块图像作为输入，输出真实出血块的概率。生成的血管树和出血块图像如图3所示。

3.将生成的血管树和出血块输入到改进的CycleGAN中，得到带出血病症的完整眼底血管图像：首先要对原始CycleGAN进行改进，其中包括两方面：

对损失函数的改进：应用Wassertein距离代替原始损失函数，解决了梯度消失问题。改进后的目标函数需要满足Lipschitz约束，利用矩阵谱范数的物理意义，即任何向量在经过矩阵变换后，长度都小于等于此向量与该矩阵谱范数乘积的长度。即：

其中σ(W)表示权重矩阵的谱范数，x表示该层的输入向量，δ表示x的改变量。只要控制权重矩阵的谱范数就可以实现Lipschitz约束，所以把谱范数当作正则项加入到损失函数中，即：

后半部分即为权重矩阵谱范数的正则项，通过对每层谱范数总和进行惩罚，使判别器满足Lipschitz约束。加入同一映射损失衡量图像转变后与原图像的差异，使模型对原图做尽量小的改动。并引入感知损失用于避免生成图像出现模糊和细节损失。综上，改进的CycleGAN的损失函数：

其中，L′(G,F,D_X,D_Y)为引入Wassertein的损失函数，

权重矩阵谱范数的正则项，λ_imlL_iml(F_X→Y,G_Y→X)为同一映射损失，其中λ_iml表示同一映射损失的调节权重λ_plL_pl(F_X→Y,G_Y→X)为感知损失，其中λ_pl表示感知损失的调节权重。

对网络模型的改进：在生成器的网络结构中加入U-net的跳级结构，用以保留不同分辨率下图像中像素级的图像细节，U-net网络结构如图4所示。引入新型激活函数——PReLU激活函数：

PReLU＝max(αx,x)

其中α为(0,1)之间的数，且接近于0，PReLU函数是ReLU函数的改进，能够有效避免负数信息被弱化的情况，且PReLU函数相对于eLU函数实现简单，计算量小，更适用于发明。

基于马尔科夫的判别器(PatchGAN)只注意局部图像块中的结构，限制了网络对图像整体的认识，同时也限制了生成器的学习能力，即执行连贯的全局变化的能力。故本发明在判别器网络中加入扩张卷积，与正常卷积层相比，扩张卷积拥有额外的参数——扩张率，用于表示扩张的大小，能在相同参数数量的条件下，感受野随扩张率的增加呈指数增长，同时保持输出的特张映射大小不变，从而使判别器能够隐含的学习上下文。

具有高分辨率性质的眼底图像，需要一个具有很大感受野的判别器，若使用通常的处理方式，则需要增加网络容量，这样不仅容易导致过拟合，而且对内存要求过高。引入多尺度判别器，即对生成图像进行多次降低采样，用训练的多个不同尺度的判别器，判别这些图像的真假。利用粗糙和精细两种判别器尺度，其中尺度粗糙的判别器感受野较大，负责眼底图像的全局和谐，而精细尺度的判别器对眼底血管以及出血等局部特征更加敏感，用以引导生成器生成更完善的细节，多尺度结构如图5所示。

改进的CycleGAN模型搭建完毕之后，把生成的血管树和出血块输入到模型中，得到完整带出血病症的眼底血管图像，生成血管树、生成出血块和真实图像以及生成带出血病症的眼底血管图像如图6所示。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。

本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (2)

1.一种基于生成对抗网络的带出血病症的眼底血管图像生成方法，其特征在于，包括如下步骤：

步骤1：利用图像分割技术对真实眼底图像进行图像分割，得到真实血管树和出血块；

步骤2：把真实血管树输入到WGAN中生成血管树图像，把真实出血块输入到CGAN中生成出血块图像；

步骤3：把生成的血管树和出血块输入到改进的CycleGAN中，得到完整带出血病症的眼底血管图像。

2.根据权利要求1所述的基于生成对抗网络的带出血病症的眼底血管图像生成方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：对真实眼底图像进行预处理，预处理包括去除噪声和等比例缩放及中心裁剪；

步骤1.2：利用图像分割技术对处理过的图像进行分割，得到真实血管树和出血块。图像分割可采用U-net模型，但不限于此。

根据权利要求1所述的基于生成对抗网络的带出血病症的眼底血管图像生成方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：把真实血管树输入到WGAN中，待网络稳定，得到生成血管树图像；

步骤2.2：把真实出血块和所要生成出血块的数量一同输入到CGAN中，生成符合条件的出血块图像。

根据权利要求1所述的基于生成对抗网络的带出血病症的眼底血管图像生成方法，其特征在于，所述步骤3所述改进CycleGAN为：利用Wassertein距离代替原损失函数，用谱正则化技术在全局实现Lipschitz限制，并加入同一映射损失和感知损失；在生成器的网络结构中加入U-net的跳级结构，并在判别器网络中引入扩张卷积和多尺度判别器。

所述步骤3包括如下步骤：

步骤3.1：改进CycleGAN的损失函数，应用Wassertein距离代替原始损失函数，解决了梯度消失问题。改进后的目标函数需要满足Lipschitz约束，故本发明通过控制权重矩阵的谱范数实现Lipschitz约束。加入同一映射损失衡量图像转变后与原图像的差异，使模型对原图做尽量小的改动。并引入感知损失用于避免生成图像出现模糊和细节损失。综上，改进的CycleGAN的损失函数：

式(1)中，L′(G,F,D_X,D_Y)为引入Wassertein的损失函数，

权重矩阵谱范数的正则项，λ_imlL_iml(F_X→Y,G_Y→X)为同一映射损失，其中λ_iml表示同一映射损失的调节权重λ_plL_pl(F_X→Y,G_Y→X)为感知损失，其中λ_pl表示感知损失的调节权重。

步骤3.2：在生成器的网络结构中加入U-net的跳级结构，用以保留不同分辨率下图像中像素级的图像细节，在判别器网络中引入扩张卷积和多尺度判别器。

步骤3.3：把生成的血管树和出血块输入到改进的CycleGAN中，得到完整带出血病症的眼底血管图像。

Images