CN111860782B - 三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质，属于CycleGAN领域。本发明的三重多尺度的CycleGAN，输入、输出有多个尺寸，增强了两个模态域之间不同尺度的约束，提高网络的鲁棒性和域间映射能力，且基于此增加了几个多尺度判别器，确保模型可以引导生成器获得更全局的图像视图；利用质量损失在生成和重构的每个过程的深层特征之间建立约束，从而得到高质量的图像；本发明的一种三重多尺度的CycleGAN，能够利用彩色眼底图像生成更加真实的眼底荧光造影。

Description

三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备 及存储介质

技术领域

本发明属于CycleGAN领域，尤其是三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。

背景技术

糖尿病性视网膜病变是糖尿病性眼病最常见的一种，也是导致可预防性失明的主要原因。常见的有两种用来检测糖尿病性视网膜病变的眼底图像方式，一种为眼底荧光造影，另一种为彩色眼底图像。临床上，眼底荧光造影是一种侵入性成像，由于其增强视网膜血管可视化，使得血管造影术成为一种更适合于糖尿病性视网膜病变检测的方式，因此作为首选原则使用。然而，进行眼底荧光造影需要将荧光染料注入患者体内，存在因荧光素过敏死亡的危险。相比之下，简单易获取的彩色眼底图像，不需要辐射或药物就能产生高分辨率的视觉效果。但是，眼底荧光造影是检测糖尿病视网膜病变的最常见方法，因为病变在荧光造影中比在彩色眼底图像中有更明显的反差。因此，利用彩色眼底图像合成眼底荧光造影具有十分重要的意义。

现有的方法，主要是利用神经网络学习两个不同领域之间复杂关系，来进行图像的生成，这其中需要大量的配对图像。但是在医学图像领域内，很难找到大量的配对图像，更不要说配对的配准图像了。使用两个生成对抗网络和循环一致性损失来合成图像，并提供源图像与合成图像之间的相似性度量让在两个未配对的图像域中合成图像成为可能。但循环一致性损失是一种间接性约束，不能保证两个域之间的完美域映射。特别是对于医学图像，上述方法不能保证对合成图像的严格约束，导致缺乏具有更精细细节信息的整体框架，不能合成出更加真实的图像。

发明内容

本发明的目的在于克服上述现有技术中缺少配对图像且多使用间接约束，导致生成的眼底荧光造影图像不够真实的缺点，提供三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

一种三重多尺度的CycleGAN，包括生成器G_A 、生成器G_B 和6个判别器 D_A0、D_A1、D_A2、D_B0、D_B1和D_B2，每个生成器对应三个判别器；

生成器G_A和生成器G_B之间设有质量损失函数，所述质量损失函数利用L1 范数来约束两个生成器的特征层；

生成器G_A和其对应的三个判别器、生成器G_B和其对应的三个判别器构成CycleGAN。

进一步的，生成器G_A和生成器G_B的底部均设有自注意力模块，自注意力模块位于生成器的编码器和解码器之间。

进一步的，所述自注意力模块包括通道注意块和空间注意块；

所述通道注意块用于捕获任何双通道映射之间的通道依赖关系以改进通道维度上的映射；

所述空间注意块用于捕获特征图的空间依赖关系，以增强空间映射，使生成器和判别器能够有效地建立分离空间区域之间的关系模型。

一种三重多尺度对抗学习的眼底荧光造影生成方法，包括以下步骤：

1)以彩色眼底图像原图、尺寸缩小图作为训练集或目标集，荧光造影图像的原图、尺寸缩小图作为训练集或目标集，分别输入到生成器G_A和生成器G_B中，训练本发明的三重多尺度CycleGAN，直至总损失函数收敛稳定时，得到训练好的三重多尺度CycleGAN；

2)将彩色眼底图像原图输入到训练好的三重多尺度CycleGAN中的生成器G_A 中，输出合成的荧光造影图像。

进一步的，步骤1)的训练过程为：

101)将彩色眼底图像原图、尺寸缩小图作为训练集输入到生成器G_A中，荧光造影图像的原图、尺寸缩小图作为目标集，生成器G_A将生成合成的荧光造影图像，并将合成的不同尺寸荧光造影图像进行分层，每层输出与对应的荧光造影图像的原图或尺寸缩小图共同输入到对应的判别器中，产生多尺度对抗损失；

102)以步骤101)中的分层输出作为输入数据，输入到生成器G_B中，生成器G_B对所述输入进行重建，得到重建图像与步骤1)的输入产生多尺度重建损失，即循环一致性损失；

103)将步骤101)的生成器G_A中的编码器产生的一个特征图和与步骤102) 的生成器G_B中的编码器产生的相应的特征图利用L1范数进行约束，产生质量损失函数；

104)将荧光造影图像的原图、尺寸缩小图作为训练集输入到生成器G_B中，彩色眼底图像原图、尺寸缩小图作为目标集，按照步骤101)-103)交替循环训练生成器G_B及其对应的判别器、生成器G_A及其对应的判别器，直至多尺度对抗损失、循环一致性损失和质量损失的总和收敛，得到训练好的三重多尺度 CycleGAN。

进一步的，多尺度对抗损失L_GAN为：

其中，L_adv与CycleGAN具有相同的对抗式损失格式，

和

对应于G_A和 G_B的多尺度判别器，i和j通过2ⁱ和2^j因子控制下采样图像的尺度，α_i和β_j分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像。

进一步的，多尺度循环一致性损失为：

其中，L_cyc与CycleGAN有相同格式的循环一致性损失，CF_i和FA_j对应的是通过2ⁱ和2^j得到A和B的不同尺度下采样，λ_i和γ_j分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像。

进一步的，质量损失函数为：

其中，μ_A和μ_B是归一化参数，

表示位于生成器第i个卷积层(激活后)的特征图。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明的三重多尺度对抗学习的眼底荧光造影生成方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明的三重多尺度对抗学习的眼底荧光造影生成方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明的三重多尺度的CycleGAN，为一种有效的图像生成网络，是一个包含多尺度输入、多尺度判别器和多尺度循环一致性损失的三重多尺度网络，增强了不同尺度视网膜形态间的相似性；本发明的三重多尺度的CycleGAN，输入、输出有多个尺寸，增强了两个模态域之间不同尺度的约束，提高网络的鲁棒性和域间映射能力，且基于此增加了几个多尺度判别器，确保模型可以引导生成器获得更全局的图像视图；利用质量损失在生成和重构的每个过程的深层特征之间建立约束，从而得到高质量的图像；本发明的三重多尺度的CycleGAN，能够利用彩色眼底图像生成更加真实的眼底荧光造影。

进一步的，在两个生成器的底部设有自注意力模块，有利于提高CycleGAN 的关系映射能力，帮助在不同图像领域中建立远程，有多层次依赖关系的模型。

本发明的三重多尺度对抗学习的眼底荧光造影生成方法，增强不同尺度视网膜形态间的相似性，并提供了更严格的约束，从不同的尺度和过程的生成和重建在特征层，提高了关系映射的模态能力。

本发明提供一种三重多尺度对抗学习的眼底荧光造影生成方法的计算机设备及存储介质，用于实现上述工作方法的具体步骤。

附图说明

图1为眼底荧光造影合成方法说明图；

图2为本发明所设计的网络架构图；

图3为自注意力模块图；

图4为本发明的方法得到的眼底荧光造影合成结果图；

图5为本发明实施例中计算机设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，图1为从眼底彩色照片合成荧光造影图像过程示意图，CF图像为彩色眼底图像，FA为荧光造影图像，CF通过G_A生成合成的FA，并将合成的FA 与原始的FA一起输入到生成器D_A0中，再将合成的FA通过G_B重建回CF；FA 通过G_B生成合成的CF，并将合成的CF与原始的CF一起输入到生成器D_A1中，再将合成的CF通过G_A重建回FA；本发明设计生成对抗网络，设计的生成对抗网络包含两个生成器G_A、G_B和六个判别器D_A0、D_A1、D_A2、D_B0、D_B1和D_B2。两个生成器均采用U-Net网络结构，判别器均采用PatchGAN中的判别器；

每个生成器的底部设有自注意力模块，所述自注意力模块用于连接生成器的编码器和解码器；参见图3，图3为自注意力模块的结构示意图，包括图3(a) 为空间注意块，图3(a)为空间注意力图，上面两个分支进行矩阵乘法是为了获取在水平和垂直方向的边缘信息，第三个分支是为了与上述得到的注意力图进行矩阵操作，将其恢复成原始尺寸大小；图3(b)为通道注意力图，上面两个分支进行矩阵乘法是为了度量两个通道之间的相似性，有助于提高特征的可辨别性。第三个分支是为了与上述得到的注意力图进行矩阵操作，将其恢复成原始尺寸大小。

在两个生成器之间还设有质量损失函数，用于来约束生成器中的特征层，提供了输入图像和生成的图像在特征空间中之间严格的相似性度量，生成了效果很好合成图像；针对两个生成器中编码器的某个卷积层的特征图，利用L1范数约束这两个特征层作为质量损失函数，其表达式为：

其中，μ_A和μ_B是归一化参数，

表示位于生成器第i个卷积层(激活后)的特征图。

参见图2，本发明提出一种基于三重多尺度对抗学习的眼底荧光造影生成方法，包括以下步骤：

本发明中的生成器的输入均为多尺度采样输出，将彩色眼底图像原图、尺寸缩小图输入到生成器G_A中，将荧光造影图像的原图、尺寸缩小图输入到生成器 G_B中，交替训练两个生成器G_A、G_B和6个判别器，直至收敛；

在此补充训练过程：

以一个方向上(从彩色眼底图像生成荧光造影图像)的训练为例，将彩色眼底图像原图、尺寸缩小图输入作为训练数据输入到生成器G_A中为例：

将彩色眼底图像原图、两个尺寸缩小图输入到生成器G_A中，生成器G_A生成的三个尺度的荧光造影图像分别输入至对应的3个判别器中，判别器进行判别，得到多尺寸对抗损失；多尺度对抗损失L_GAN，计算式为：

其中，L_adv与传统的CycleGAN具有相同的对抗式损失格式；

和

对应于 G_A和G_B的多尺度判别器，i和j通过2ⁱ和2^j因子控制下采样图像的尺度。α_i和β_j分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像；

同时，生成器G_A生成的3张图像输入到生成器G_B中，生成器G_B重建彩色眼底图像，生成器G_B的U-net的侧输出层生成不同尺度的图像与G_A的多尺度输入之间会产生多尺度重建损失，得到多尺度循环一致性损失；

由L1范数约束重建图像和原图尽可能相似，其中，多尺度循环一致性损失表示为：

其中，L_cyc与传统的CycleGAN有相同格式的循环一致性损失。CF_i和FA_j对应的是通过2ⁱ和2^j得到A和B的不同尺度下采样。λ_i和γ_j分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像；

同时，提取步骤1)的生成器G_A中的编码器产生的一个特征图，与步骤2) 的生成器G_B中的编码器产生的一个特征图，利用质量损失，即L1范数，约束这两个特征图的相似性。质量损失的计算式为：

其中，μ_A和μ_B是归一化参数，

表示位于生成器第i个卷积层(激活后)的特征图。

交替训练生成器G_A与其对应的3个判别器、生成器G_B与其对应的3个判别器，直至总损失函数收敛，生成器G_A合成最优的眼底荧光造影图像。

总损失函数由多尺度对抗损失、多尺度循环一致性损失和质量损失函数所组成，其数学表达式为：

L_total＝L_GAN+L_cycle+L_quality

实施例

参见图4，为由本发明设计网络从彩色眼底图得到荧光造影图像，其中，4(a) 显示的是原始眼底彩色图像，4(b)显示的CycleGAN方法得到的结果，4(c) 显示的是加入三重多尺度方法得到的结果，4(d)显示的是加入三重多尺度和自注意力方法得到的结果，4(e)显示的是本发明的方法得到的结果，4(f)显示的荧光造影真值，将图4(a)的原始眼底彩色图像和降采样两次一起作为输入到生成器G_A中，生成合成的多尺度荧光造影图像(即图4(e))，并将多尺度的合成荧光造影图像与多尺度的原始荧光造影图像一起输入到生成器D1中，再将多尺度的合成荧光造影图像通过生成器G_B重建回彩色眼底照片；本发明合成的荧光造影图像更接近原始荧光造影图像，相比于使用其他方法，本发明的结果保留了视盘以及病变区域，同时减少了产生的噪音，并且让病变区域变得更清楚和真实，而4(b)视盘中间会存在黑洞。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现三重多尺度对抗学习的眼底荧光造影生成方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：1)以将彩色眼底图像原图、尺寸缩小图作为训练集或目标集，荧光造影图像的原图、尺寸缩小图作为训练集或目标集，训练本发明的三重多尺度CycleGAN，直至总损失函数收敛，得到训练好的三重多尺度CycleGAN；

2)将彩色眼底图像原图、尺寸缩小图输入到训练好的三重多尺度CycleGAN 中的生成器G_A中，输出重建的荧光造影图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：1)将彩色眼底图像原图、尺寸缩小图作为训练集或目标集，荧光造影图像的原图、尺寸缩小图作为训练集或目标集，训练本发明的三重多尺度CycleGAN，直至总损失函数收敛，得到训练好的三重多尺度CycleGAN；

2)将彩色眼底图像原图、尺寸缩小图输入到训练好的三重多尺度CycleGAN 中的生成器G_A中，输出重建的荧光造影图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器 (RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路 (Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种三重多尺度对抗学习的眼底荧光造影生成方法，其特征在于，包括以下步骤：

1)以彩色眼底图像原图、尺寸缩小图作为训练集或目标集，荧光造影图像的原图、尺寸缩小图作为训练集或目标集，分别输入到生成器G_A和生成器G_B中，训练三重多尺度CycleGAN，直至总损失函数收敛稳定时，得到训练好的三重多尺度CycleGAN；

所述三重多尺度的CycleGAN，包括生成器G_A、生成器G_B和6个判别器D_A0、D_A1、D_A2、D_B0、D_B1和D_B2，每个生成器对应三个判别器；

生成器G_A和生成器G_B之间设有质量损失函数，所述质量损失函数利用L1范数来约束两个生成器的特征层；

生成器G_A和其对应的三个判别器、生成器G_B和其对应的三个判别器构成CycleGAN；

步骤1)的训练过程为：

101)将彩色眼底图像原图、尺寸缩小图作为训练集输入到生成器G_A中，荧光造影图像的原图、尺寸缩小图作为目标集，生成器G_A将生成合成的荧光造影图像，并将合成的不同尺寸荧光造影图像进行分层，每层输出与对应的荧光造影图像的原图或尺寸缩小图共同输入到对应的判别器中，产生多尺度对抗损失；

102)以步骤101)中的分层输出作为输入数据，输入到生成器G_B中，生成器G_B对所述输入进行重建，得到分层的不同尺寸的重建图像与步骤1)中的相同图像尺寸的输入产生多尺度重建损失，即循环一致性损失；

103)将步骤101)的生成器G_A中的编码器产生的一个特征图和与步骤102)的生成器G_B中的编码器产生的相应的特征图利用L1范数进行约束，产生质量损失函数；

104)将荧光造影图像的原图、尺寸缩小图作为训练集输入到生成器G_B中，彩色眼底图像原图、尺寸缩小图作为目标集，按照步骤101)-103)交替循环训练生成器G_B及其对应的判别器、生成器G_A及其对应的判别器，直至多尺度对抗损失、循环一致性损失和质量损失的总和收敛，得到训练好的三重多尺度CycleGAN；

2)将彩色眼底图像原图输入到训练好的三重多尺度CycleGAN中的生成器G_A中，输出合成的荧光造影图像。

2.根据权利要求1所述的三重多尺度对抗学习的眼底荧光造影生成方法，其特征在于，多尺度对抗损失L_GAN为：

其中，L_adv与CycleGAN具有相同的对抗式损失格式，

和

对应于G_A和G_B的多尺度判别器，i和j通过2ⁱ和2^j因子控制下采样图像的尺度，α_i和β_j分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像。

3.根据权利要求1所述的三重多尺度对抗学习的眼底荧光造影生成方法，其特征在于，多尺度循环一致性损失为：

其中，L_cyc与CycleGAN有相同格式的循环一致性损失，CF_i和FA_j对应的是通过2ⁱ和2^j得到A和B的不同尺度下采样，λ_i和γ_j分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像。

4.根据权利要求1所述的三重多尺度对抗学习的眼底荧光造影生成方法，其特征在于，质量损失函数为：

其中，μ_A和μ_B是归一化参数，

表示位于生成器第i个卷积层激活后的特征图。

5.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述的三重多尺度对抗学习的眼底荧光造影生成方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的三重多尺度对抗学习的眼底荧光造影生成方法的步骤。

Images