CN109785399A - 合成病变图像的生成方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种合成病变图像的生成方法、装置、设备及可读存储介质，根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，该病理描述符蕴含着病变特征；将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图。本方案中，通过对病理描述符进行增删改等操作，来操纵合成病变图中病变的位置和数量，以生成多样性的结果。因此，本方案对病变的合成更有针对性，且生理细节方面合成足够逼真，可以满足扩大深度学习检测器训练集规模的要求。

Description

合成病变图像的生成方法、装置、设备及可读存储介质

技术领域

本发明涉及计算机视觉和医疗图像处理领域，尤其涉及一种合成病变图像的生成方法、装置、设备及可读存储介质。

背景技术

医疗图像在疾病预防、医疗诊断的过程中起着重要的作用。

以糖尿病视网膜病变为例，这是在糖尿病患者中高发的一种疾病，如果没有早期发现、及时治疗，可能会导致失明。为了指导该疾病的诊疗，美国眼科学会按照病变增殖程度制定了5个病变等级，并分别给出治疗建议。长期以来，糖尿病视网膜病的诊断主要借助于视网膜眼底图，需要专业医师来给出判断。得益于深度学习的快速发展，大量的基于深度学习的神经网络，能够根据输入的眼底图，自动计算得到病变的严重程度，但会出现以下问题：

一方面，神经网络对眼底图进行分类时的依据不太明确，很难直接在病理层面进行更多操作。另一方面，神经网络的检测准确率、泛化能力还有待提高。为了提高深度学习检测器的分类准确率和泛化能力，最简单的方法是扩大训练集的规模。然而，扩大训练集直接导致人工标注成本的上升。

在医疗图像数据的合成领域，最初人们使用医学内的先验知识和复杂的方法来生成真实的图像，后来开始采用数据驱动的合成方式。这些研究大多是在生成对抗网络(Generative Adversarial Networks，简称GAN)的基础上完成的。GAN采用生成器和判别器互相博弈的方式进行训练，能够合成尽量真实的图片。为了解决图像合成领域内的不同问题，GAN本身也存在各种变体来让合成过程变得可控、结果更加真实。

现有的方法中，用一张特定的眼底图作为参考图，用GAN的方法训练一个生成器，训练过程中，用高层特征上计算出的损失函数，使合成的眼底图在内容上与真实眼底图相近，用低层特征上计算出的损失函数，使合成的眼底图的颜色与参考图相近，这种方法的合成病变图没有对病变进行针对性的合成，甚至不能很好地合成病变，在生理细节方面也不够逼真，不能满足作为深度学习检测器训练集的要求。

发明内容

有鉴于此，本发明实施例提供了一种合成病变图像的生成方法、装置、设备及可读存储介质，以能够生成对病变针对性较强，且生理细节方面更逼真的合成病变图。

第一方面，本发明实施例提供了一种合成病变图的生成方法，包括：

根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；

将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图；

其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

在一种可能的实现方式中，在本发明实施例提供的上述方法中，所述根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，具体包括：

对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据；

采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据；

获取预设层的特征层数据，激活层数据及掩码图；

根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。

在一种可能的实现方式中，在本发明实施例提供的上述方法中，所述将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络中，生成合成病变图之前，还包括：

构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型；所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应；

采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束；

调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。

在一种可能的实现方式中，在本发明实施例提供的上述方法中，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数；所述总损失函数表示为：

L＝w₁L_adv+w₂L_retina+w₃L_patho，其中

L_adv表示生成对抗损失函数，L_retina表示生理细节损失函数，L_patho表示病理损失函数，w表示超参数；

在一种可能的实现方式中，在本发明实施例提供的上述方法中，所述生成对抗损失函数为：

L_Pdv＝log D(x)+log(1-D(G(y,z))；其中，

D(·)表示判别器D的输出，G(·)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量；

所述生理细节损失函数为：其中，

代表VGG-19特征提取网络的输出，l代表特征层；

所述病理损失函数为：

其中，

|D|表示病理描述符个数，|Λ|表示特征层层数，W_r表示病变区域r的宽度，H_r表示病变区域r的高度，w_gram表示Gram矩阵的权值，d表示特征描述符，G(·)表示Gram矩阵，M(·)表示掩码图，A(·)表示激活数据，F(·)表示特征数据，表示合成病变图。

第二方面，本发明实施例提供了一种合成病变图的生成装置，包括：

生成模块，用于根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；

合成模块，用于将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图；

其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

在一种可能的实现方式中，在本发明实施例提供的上述装置中，所述生成模块包括：

特征单元，用于对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据；

激活单元，用于采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据；

获取单元，用于获取预设层的特征层数据，激活层数据及掩码图；

构建单元，用于根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。

在一种可能的实现方式中，在本发明实施例提供的上述装置中，还包括：

构建模块，用于在所述合成模块将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图之前，构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型；所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应；

训练模块，用于采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束；

确定模块，用于调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。

在一种可能的实现方式中，在本发明实施例提供的上述装置中，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数；所述总损失函数表示为：

L＝w₁L_adv+w₂L_retina+w₃L_patho，其中

L_adv表示生成对抗损失函数，L_retina表示生理细节损失函数，L_patho表示病理损失函数，w表示超参数；

在一种可能的实现方式中，在本发明实施例提供的上述装置中，所述生成对抗损失函数为：

L_adv＝log D(x)+log(1-D(G(y,z))；其中，

D(·)表示判别器D的输出，G(·)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量；

所述生理细节损失函数为：其中，

代表VGG-19特征提取网络的输出，l代表特征层；

所述病理损失函数为：

其中，

|D|表示病理描述符个数，|Λ|表示特征层层数，W_r表示病变区域r的宽度，H_r表示病变区域r的高度，w_gram表示Gram矩阵的权值，d表示特征描述符，G(·)表示Gram矩阵，M(·)表示掩码图，A(·)表示激活数据，F(·)表示特征数据，表示合成病变图。

第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

其中，所述处理器执行所述存储器中的计算机程序，以实现如第一方面至第一方面的第四种可能的实现方式中的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现如第一方面至第一方面的第四种可能的实现方式中的方法。

本发明提供的合成病变图像的生成方法、装置、设备及可读存储介质，根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，该病理描述符蕴含着病变特征，将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图。本方案中，通过采用生成对抗损失函数来约束生成网络模型中的参数，在一定程度上保证了合成病变图的真实性，采用生理细节损失函数来约束生成网络模型中的参数，保证了合成病变图中生理细节的精确合成，采用病理损失函数来约束生成网络模型中的参数，保证了病变外观的精确合成。通过对病理描述符进行增删改等操作，来操纵合成病变图中病变的位置和数量，以生成多样性的结果。因此，本方案对病变的合成更有针对性，且生理细节方面合成足够逼真，可以满足扩大深度学习检测器训练集规模的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的合成病变图的生成方法的流程示意图；

图2为本发明实施例提供的病理描述符的生成网络结构示意图；

图3为本发明实施例一提供的合成病变图的生成方法中步骤S101的流程示意图；

图4为本发明另一实施例提供的合成病变图的生成方法的流程示意图；

图5为本发明实施例提供的合成病变图生成网络模型的训练过程网络结构示意图；

图6为本发明实施例二提供的合成病变图的生成装置的结构示意图；

图7为本发明另一实施例提供的合成病变图的生成装置的结构示意图；

图8为本发明实施例三提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例一提供的合成病变图的生成方法的流程示意图，如图1所示，该方法可以包括以下步骤：

S101、根据病变参考图，病变检测网络及对称的激活网络生成病理描述符。

实际应用中，本实施例的执行主体可以为合成病变图的生成装置。在实际应用中，该合成病变图的生成装置可以通过虚拟装置，例如软件代码实现，也可以通过写入有相关执行代码的实体装置，例如，U盘实现，再或者，也可以通过集成有相关执行代码的实体装置实现，例如，芯片、智能终端等。

具体地，如图2所示，激活网络是一个与病变检测网络对称的网络，拥有与其互逆的结构，对于病变检测网络中的卷积层、池化层，分别替换成权重相同的反卷积层、反池化层，根据激活网络的中间输出，可以得到与病变检测网络各层对应的激活层。病变检测网络用来提取病变参考图中的病变特征，激活网络用来对病变特征进行筛选，去除无关特征，保留病理特征，得到与病理相关的神经元激活情况，该病理描述符携带了病变的外观、分布位置等特征，可以为病变医疗图像的合成提供全部信息，根据本发明的一个实施方式，如图3所示，步骤S101具体可以包括以下步骤：

S101a、对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据。

具体地，将一张病变参考图输入到病变检测网络进行多层特征提取，得到病变特征向量。

S101b、采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据。

具体地，将得到的病变特征向量输入对称的激活网络，得到激活网络中神经元的激活层，激活层中数值及其分布一定程度上反映了病变的外观和位置分布。

举例来说，以糖尿病视网膜病变为例，用作输入的彩色病变参考图可以用一个512×512×3维数组来描述，糖尿病视网膜病变检测网络(简称“糖网检测网络”)用来对输入的病变参考图进行检测，输出一个5个分级的病变严重程度。将糖网检测网络的顶端去掉，将1×1×1024的特征(或者仅取其中的6维有效特征)输入对应的激活网络中，与输入层对应的激活层，保留了与糖网检测密切相关的输入层特征，其取值的分布为病变的位置提供了信息。不同的检测网络，由于使用了不同的特征，可能会导致意义不同的激活结果。本例中使用严重程度来训练检测网络，每张训练图片仅有严重程度标记，检测网络在训练中能够对病变部分产生关注，通过激活层展示出来。

S101c、获取预设层的特征层数据，激活层数据及掩码图。

S101d、根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。

具体地，设输入图像x_s在第l层的特征为F_l，对应的激活是A_l。设输入层对应的激活层为A₀，对其进行阈值处理，得到二值掩码图M₀，用于指示病变的位置信息。在M₀中寻找连通区域，为每个连通区域寻找一个包含它的区域r∈R，代表病变区域。这一步操作即可将不同的病变分离开来。同时，掩码图M₀也可以下采样到特征层l中，得到特征层上的掩码图M_l。将第l层的特征F_l，对应的激活A_l和掩码图M_l进行裁剪，得到他们在区域r上的特征块F_lr即特征层数据、激活块A_lr即激活层数据和掩码图块M_lr，并在感兴趣的特征层Λ中构建一个病理描述符d_r＝{d_rl|l∈Λ}，其中d_rl＝<M_lr,A_lr,F_lr>。

S102、将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图。其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

实际应用中，可以采用基于GAN的方法来生成可控的合成病变图。生成器以一个生理特征图(如眼底血管分割图)y和一个使结果多样化的随机向量z作为输入，可以生成一个符合生理特征图，且在特定部位有特定病变的合成病变图举例来说，训练好的网络模型可以将输入的眼底血管分割图作为血管，合成出带有病变的视网膜眼底图，合成图在血管、视盘边界、病变等细节上均表现良好。当改变输入的随机向量时，生成器的输出结果会在一定程度上展示出多样性。

为了对生成网络模型进行训练，根据本发明的一个实施方式，如图4所示，步骤S102之前，还可以包括以下步骤：

S201、构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型。所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应。

S202、采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束。

S203、调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。

实际应用中，如图5所示，为了训练生成网络模型(即生成器)，需要在训练的结构中包括三个子网络，来分别计算三个部分的损失函数：生成对抗loss、生理细节loss和病理loss。生成对抗loss根据生成网络模型(简称生成器)和判别器子网络模型(简称判别器)的输出结果计算得出，用于保证合成的图片的整体真实性。生理细节loss使用了VGG特征提取网络来计算，用于保证合成图片与真实图片在较高层特征上的相似程度(比如生理结构的边界形状)，保证生理细节的真实性。病理loss的计算使用了该病变的检测器，在合成图与病理描述符的相应特征之间进行约束，以保证合成病变图与参考图中病变的特征相似。通过上述各loss函数作为约束，训练出的生成器可以按照给定的生理特征图，合成具有这种模式的、带有描述符中特定病理特征的合成病变图。

在上面的描述中，病理描述符采用了多层特征和图像块的形式，每个检测到的病变用一个图像块描述，并存储图像块对应的多层特征和神经元激活值。在生成网络模型中，与病变合成最相关的损失函数是病理loss，它与病理描述符的多层、图像块裁剪相一致，使合成图中的图像块的特征在激活部分与真实图尽量接近，以保证合成病变的模样。

病变合成位置的控制，是在生成器的训练阶段完成的。通过预先指定每一个病变的合成位置，在计算损失函数时在指定位置处裁剪特征块，即可使训练出的生成器倾向于在这些位置合成病变。此外，病变合成位置也受输入的随机向量的影响。

根据本发明的一个实施方式，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数。所述总损失函数表示为：

L＝w₁L_adv+w₂L_retina+w₃L_patho，其中

L_adv表示生成对抗损失函数，L_retina表示生理细节损失函数，L_patho表示病理损失函数，w表示超参数。

举例来说，在上述糖尿病视网膜病变的合成中，选择的超参数可以为w₁＝1，w₂＝10，w₃＝10⁶。以随机增强的DRIVE数据集作为训练集，在NVIDIA 1080上进行训练，大概1.5小时后模型收敛。

根据本发明的一个实施方式，所述生成对抗损失函数为：

L_adv＝log D(x)+log(1-D(G(y,z))。其中，

D(·)表示判别器D的输出，G(·)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量。

所述生理细节损失函数为：其中，

代表VGG-19特征提取网络的输出，l代表特征层。

所述病理损失函数为：

其中，

|D|表示病理描述符个数，|Λ|表示特征层层数，W_r表示病变区域r的宽度，H_r表示病变区域r的高度，W_gram表示Gram矩阵的权值，d表示特征描述符，G(·)表示Gram矩阵，M(·)表示掩码图，A(·)表示激活数据，F(·)表示特征数据，表示合成病变图。

具体地，在衡量合成病变与描述符在特征层的差异时，使用了Gram矩阵的差异。Gram矩阵计算了特征层的不同通道之间的协方差。对于W×H×K维的特征F，其Gram矩阵是K×K阶的：

除此以外，在具体实例中可以应用平滑项，来对合成图的平滑程度做正规化。其中比较重要的平滑项是，在病变生成位置上单独进行的平滑约束。具体方式为：首先将所有病变的局部掩码图按照指定的分布，融合成一张完整的二值病变分布图，使用高斯核进行扩张处理以获得一张连续的遮罩图，并与原图的梯度图进行逐元素相乘，得到带有权重的梯度图。对这个梯度图各元素的绝对值进行求和，便可得到需要优化的损失函数。

本实施例提供的合成病变图像的生成方法，根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，该病理描述符蕴含着病变特征，将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图。通过采用生成对抗损失函数来约束生成网络模型中的参数，在一定程度上保证了合成病变图的真实性，采用生理细节损失函数来约束生成网络模型中的参数，保证了合成病变图中生理细节的精确合成，采用病理损失函数来约束生成网络模型中的参数，保证了病变外观的精确合成。通过对病理描述符进行增删改等操作，来操纵合成病变图中病变的位置和数量，以生成多样性的结果。因此，本方案对病变的合成更有针对性，且生理细节方面合成足够逼真，可以满足扩大深度学习检测器训练集规模的要求。

下述为本发明装置实施例，可以用于执行本发明实施例一提供的合成病变图的生成方法。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

实施例二

图6为本发明实施例二提供的合成病变图的生成装置的结构示意图。如图6所示，该装置，包括：

生成模块610，用于根据病变参考图，病变检测网络及对称的激活网络生成病理描述符。

合成模块620，用于将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图。

其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

根据本发明的一个实施方式，如图7所示，生成模块610可以包括：

特征单元611，用于对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据。

激活单元612，用于采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据。

获取单元613，用于获取预设层的特征层数据，激活层数据及掩码图。

构建单元614，用于根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。

根据本发明的一个实施方式，如图7所示，上述装置还可以包括：

构建模块630，用于在合成模块620将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图之前，构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型。所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应。

训练模块640，用于采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束。

确定模块650，用于调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。

根据本发明的一个实施方式，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数。所述总损失函数可以表示为：

L＝w₁L_adv+w₂L_retina+w₃L_patho，其中

_adv表示生成对抗损失函数，L_retina表示生理细节损失函数，L_patho表示病理损失函数，w表示超参数。

具体地，所述生成对抗损失函数为：

L_adv＝log D(x)+log(1-D(G(y,z))。其中，

D(·)表示判别器D的输出，G(·)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量。

所述生理细节损失函数为：其中，

代表VGG-19特征提取网络的输出，l代表特征层。

所述病理损失函数为：

其中，

|D|表示病理描述符个数，|Λ|表示特征层层数，W_r表示病变区域r的宽度，H_r表示病变区域r的高度，w_gram表示Gram矩阵的权值，d表示特征描述符，G(·)表示Gram矩阵，M(·)表示掩码图，A(·)表示激活数据，F(·)表示特征数据，表示合成病变图。

实施例三

图8为本发明实施例三提供的电子设备，包括：存储器810和处理器820。

存储器810，用于存储计算机程序。

其中，处理器820执行存储器810中的计算机程序，以实现上述实施例一中的方法。

实施例四

本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述实施例一中的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种合成病变图的生成方法，其特征在于，包括：

根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；

将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图；

其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据病变参考图，病变检测网络及对称的激活网络生成病理描述符，具体包括：

对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据；

采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据；

获取预设层的特征层数据，激活层数据及掩码图；

根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。

3.根据权利要求1所述的方法，其特征在于，所述将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络中，生成合成病变图之前，还包括：

构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型；所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应；

采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束；

调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。

4.根据权利要求3所述的方法，其特征在于，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数；所述总损失函数表示为：

L＝w₁L_adv+w₂L_retina+w₃L_patho，其中

L_adv表示生成对抗损失函数，L_retina表示生理细节损失函数，L_patho表示病理损失函数，w表示超参数。

5.根据权利要求4所述的方法，其特征在于，所述生成对抗损失函数为：

L_adv＝logD(x)+log(1-D(G(y,z))；其中，

D(.)表示判别器D的输出，G(.)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量；

所述生理细节损失函数为：其中，

代表VGG-19特征提取网络的输出，l代表特征层；

所述病理损失函数为：

其中，|D|表示病理描述符个数，|Λ|表示特征层层数，W_r表示病变区域r的宽度，H_r表示病变区域r的高度，w_gram表示Gram矩阵的权值，d表示特征描述符，G(.)表示Gram矩阵，M(.)表示掩码图，A(.)表示激活数据，F(.)表示特征数据，表示合成病变图。

6.一种合成病变图的生成装置，其特征在于，包括：

生成模块，用于根据病变参考图，病变检测网络及对称的激活网络生成病理描述符；

合成模块，用于将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图；

其中，所述训练后的生成网络模型中采用生成对抗损失函数，生理细节损失函数和病理损失函数来共同约束生成网络模型中的参数以对所述生成网络模型进行训练。

7.根据权利要求6所述的装置，其特征在于，所述生成模块包括：

特征单元，用于对所述病变参考图采用所述病变检测网络进行多层特征提取，形成每个特征层数据；

激活单元，用于采用与所述病变检测网络对称的激活网络对每个所述特征数据层数据进行处理，获得每个特征层数据对应的激活层数据；

获取单元，用于获取预设层的特征层数据，激活层数据及掩码图；

构建单元，用于根据所述预设层的特征层数据，激活层数据及掩码图构建病理描述符。

8.根据权利要求6所述的装置，其特征在于，还包括：

构建模块，用于在所述合成模块将生理特征图和随机向量输入到用所述病理描述符训练后的生成网络模型中，生成合成病变图之前，构建生成网络模型，判别器子网络模型，特征提取子网络模型，及病变检测子网络模型；所述判别器子网络模型与所述生成对抗损失函数相对应，生理细节特征提取子网络模型与所述生理细节损失函数相对应，所述病变检测子网络模型与所述病理损失函数相对应；

训练模块，用于采用训练样本对所述生成网络模型进行训练，并在训练中采用总损失函数对所述生成网络模型的参数进行约束；

确定模块，用于调整所述生成网络模型的参数，若所述总损失函数达到最小，则确定所述生成网络模型为训练后的生成网络模型。

9.根据权利要求8所述的装置，其特征在于，所述总损失函数为生成对抗损失函数，生理细节损失函数和病理损失函数的加超参数求和后的损失函数；所述总损失函数表示为：

L＝w₁L_adv+w₂L_retina+w₃L_patho，其中

L_adv表示生成对抗损失函数，L_retina表示生理细节损失函数，L_patho表示病理损失函数，w表示超参数。

10.根据权利要求9所述的装置，其特征在于，所述生成对抗损失函数为：

L_adv＝logD(x)+log(1-D(G(y,z))；其中，

D(.)表示判别器D的输出，G(.)表示生成器G的输出，x代表真实病变图，y代表生理特征图，z代表随机向量；

所述生理细节损失函数为：其中，

代表VGG-19特征提取网络的输出，l代表特征层；

所述病理损失函数为：

其中，

|D|表示病理描述符个数，|Λ|表示特征层层数，W_r表示病变区域r的宽度，H_r表示病变区域r的高度，w_gram表示Gram矩阵的权值，d表示特征描述符，G(.)表示Gram矩阵，M(.)表示掩码图，A(.)表示激活数据，F(.)表示特征数据，表示合成病变图。

11.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

其中，所述处理器执行所述存储器中的计算机程序，以实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如权利要求1-5中任一项所述的方法。