CN111553858A - 基于生成对抗网络的图像修复方法、系统及其应用 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的图像修复方法及其系统与应用，所述图像修复方法包括：在第一生成对抗网络中，通过训练后的边界生成模型获得优化的生成缺损图像边界图；在第二生成对抗网络中，以原始完整图像、原始缺损图像及所述优化的生成缺损图像边界图作为输入对修复模型进行训练，得到训练后的修复模型；再通过训练后的边界生成模型及修复模型进行图像修复。本发明的修复方法可准确修复图像缺损区域，并显著抑制缺损区域生成的图像产生模糊或伪影，特别适用于对修复准确性等要求高的医学图像修复中。

Description

基于生成对抗网络的图像修复方法、系统及其应用

技术领域

本发明涉及通过生成对抗网络进行图像修复的技术领域。

背景技术

随着基于卷积神经网络(CNN)的深度学习方法在图像修复领域的广泛应用，特别是生成对抗网络的技术的提出，大量的相关方法和模型被用于解决自然图像的修复问题，并进一步应用于医学图像的修复中，在多数的情况下，其都可在不同情况下取得较好的修复结果，但仍存在较多缺陷需要克服。

如在一种现有技术方案中，通过内容生成网络和纹理生成网络实现图像修复，其中内容生成网络直接用于生成图像，可推断图像缺失部分的可能内容；纹理生成网络用于增强内容生成网络的产出的纹理。将通过内容生成网络得到的生成图像和原始无缺失图像输入进纹理生成网络，在某一个特征映射层(feature map)上计算损失，将损失记为LossNN。

则生成过程具体可包括以下步骤：

(1)定义缺失了某个部分的源图像为x0；

(2)将x0输入内容生成网络得到初级生成图片x；

(3)以x作为初始值，同时将无缺失的源图像输入纹理生成网络；

(4)保持纹理生成网络的参数不变，使用Loss NN对x进行梯度下降，得到最终结果。

该方案或其类似方案大多难以准确的重建图像的高频信息部分，导致在缺失区域生成的图像通常是模糊的或者有多余的伪影。

另一种现有技术方案为基于纹理合成的方法，也称为基于补丁的修复方法，适用于修复大尺寸缺失的图像。其通过使用一个较大的图像数据库来进行查询填充，再从匹配的图像中复制相应的区域并将它们粘贴到对应缺失部分来完成图像修复。

具体可包括以下步骤：

(1)在破损图像中确定出待修复区域，并将破损区域的边界信息提取出来，以此确定算法所需的初始修复点的信息；

(2)根据算法定义的优先权计算公式对破损边缘上由所有像素点确定的待修复块的优先权进行计算，然后通过对比选出优先权最大的那块作为图像修复的起始块；

(3)采用全局搜索的方式在已知区域内利用SSD匹配准则寻找一个与待修复块纹理信息最为相似的匹配块，即最佳匹配块，然后再将该块中的对应像素信息复制填充到待修复块中，然后更新破损区域，即重新确定破损边缘；

(4)重新计算更新后的破损边缘上的置信度，然后循环执行以上步骤直到图像的破损区域为空为止。

该方案或其类似方案主要通过计算置信度项和数据项的乘积来确定优先权大小，最后确定填充顺序的。但其中优先权计算方式存在着一定的缺陷，如在经过多次修复后，数据项出现急剧下降甚至为零的情况，此时由于计算中采用了乘积运算，会出现即使置信项值很高但是计算出的优先权值也不高的情况，导致得到的优先权值不再准确，容易造成低纹理区域滞后修复高纹理区域扩张过度的现象，而优先权计算中结构信息的缺失也会导致其无法优先修复边缘区域，最后使得修复后的图像中产生结构断裂。

其它的一些现有技术方案存在类似的缺陷，在其修复图像中对应于源图像缺损的部分常出现结构断裂、信息丢失，或出现模糊或伪影的现象，无法得到清晰完整的修复图像。

在自然修复图像中，上述缺陷在一定程度上可以忽略，但在医学图像修复中，上述缺陷会对医学诊断造成极大地影响，因此必须得到克服。

发明内容

本发明的目的在于提供一种基于CNN生成对抗网络的图像修复方法，其可准确修复图像缺损区域，并显著抑制缺损区域生成的图像产生模糊或伪影。本发明的目的还在于提供一种对应的修复系统及上述修复方法和/或修复系统的应用。

本发明首先提供了如下的技术方案：

基于生成对抗网络的图像修复方法，其包括：

S1：在第一生成对抗网络中，通过训练后的边界生成模型获得优化的生成缺损图像边界图；

S2：在第二生成对抗网络中，以原始完整图像及合成图像作为输入对修复模型进行训练，得到训练后的修复模型，其中所述合成图像包括原始缺损图像和所述优化的生成缺损图像边界图；

S3：通过训练后的边界生成模型及修复模型进行图像修复。

根据本发明的一些具体实施方式，所述第一生成对抗网络为条件生成式对抗网络，即第一条件生成式对抗网络。

根据本发明的一些具体实施方式，所述第二生成对抗网络为条件生成式对抗网络，即第二条件生成式对抗网络。

根据本发明的一些具体实施方式，所述边界生成模型包括用于获得所述生成缺损图像边界图的第一生成器和用于判断输入其中的边界图为生成边界图还是原始边界图的第一判别器，其中所述第一生成器通过所述第一生成对抗网络的生成网络实现，所述第一判别器通过所述第一生成对抗网络的判别网络实现。

根据本发明的一些具体实施方式，所述第一生成器的输入包括原始缺损图像和原始缺损图像边界图。

根据本发明的一些具体实施方式，所述第一判别器的输入包括所述生成缺损图像边界图、所述原始完整图像和原始完整图像的边界图。

根据本发明的一些具体实施方式，所述原始缺损图像边界图通过边缘检测算子对所述原始缺损图像进行边缘检测得到。

根据本发明的一些具体实施方式，所述原始完整图像边界图通过边缘检测算子对所述原始完整图像进行边缘检测得到。

根据本发明的一些具体实施方式，所述边缘检测算子选自Canny边缘检测算子。

根据本发明的一些具体实施方式，Canny边缘检测算子的敏感度通过Gaussian滤波器的标准差σ来调整。

根据本发明的一些具体实施方式，所述σ的大小为1.5～2.8，如可选2.5。

根据本发明的一些具体实施方式，所述修复模型包括用于生成所述合成图像的第二生成器和用于判断输入其中的图像为合成图像还是原始完整图像的第二判别器，其中所述第二生成器通过所述第二生成对抗网络的生成网络实现，所述第二判别器通过所述第二生成对抗网络的判别网络实现。

根据本发明的一些具体实施方式，所述修复方法还包括：

S0：获得用于边界生成模型进行训练的样本集。

根据本发明的一些具体实施方式，所述样本集的获得包括：

S01：获得多个具有完整图像的基础样本；

S02：对所述基础样本进行缺损设置。

根据本发明的一些具体实施方式，所述缺损设置包括在基础样本的每组样本上设置形状和/或大小和/或位置不同的至少三种图像缺失。

根据本发明的一些具体实施方式，所述缺损设置采用随机的形式。

根据本发明的一些具体实施方式，所述样本集的获得还包括：

S03：对缺损设置后的样本进行数据增强，扩大样本数量。

根据本发明的一些具体实施方式，所述数据增强的方式可包括对样本的水平或垂直翻转、旋转、缩放裁剪、平添加随机噪声等。可主要使用旋转、缩放等。

根据本发明的一些具体实施方式，用于训练所述边界生成模型的优化目标函数如式(1)：

其中，G1表示所述第一生成器，D1表示所述第一判别器，

表示取其后函数最大值时对应的D1的参数值，

表示取其后函数最小值时对应的G1的参数值，L_G1表示所述边界生成模型的总损失函数，其包括第一条件生成式对抗网络的损失函数L_adv，1和第一特征匹配损失函数L_FM，1，λ_adv，1和λ_FM，1为对应的正则化参数。

根据本发明的一些具体实施方式，所述第一特征匹配损失函数L_FM，1设置为式(2)：

其中，E_gl表示所述原始完整图像边界图，E_pred表示所述生成缺损图像边界图，E表示对其后的函数求数学期望，1表示所述第一判别器的最后一个卷积层，N_i表示所述第一判别器的第i个激活层的元素的个数，

表示对所述第一判别器的第i层的求方差计算，||||表示对其内的矩阵求Frobenius范数；

根据本发明的一些具体实施方式，所述λ_adv，1为1。

根据本发明的一些具体实施方式，所述λFM，1为10。

根据本发明的一些具体实施方式，所述第一条件生成式对抗网络的损失函数L_adv，1设置为式(3)：

L_adv，1＝E_(Egt，Igt)[log D₁(E_gt，I_gt)]+E(I_gt)[log(1-D₁(E_pred，I_gt))] (3)，

其中，Igt表示原始完整图像。

根据本发明的一些具体实施方式，所述修复模型的损失函数L_G2设置如式(4)：

L_G２＝λ_l1G_l1+λ_adv，2L_adv，2+λ_FM，2L_FM，2 (4)，

其中，G_l1为可提高输入图像与输出图像相似度的添加损失函数，L_adv，2为第二条件生成式对抗网络的损失函数，L_FM，2为第二特征匹配损失函数，λ_l1、λ_adv，2和λ_FM，2为其对应的正则化参数；

根据本发明的一些具体实施方式，所述添加损失函数G_l1设置为式(5)：

G_l1＝E[||I_gt-G₂(I_defect，E_prod)||₁] (5)，

其中，G₂表示求第二生成器参数。

根据本发明的一些具体实施方式，所述λ_l1为1。

根据本发明的一些具体实施方式，所述λ_adv，2为0.1。

根据本发明的一些具体实施方式，所述λ_FM，2为0.1。

本发明进一步提供了可用于上述图像修复方法的修复系统，所述修复系统包括含有第一生成器及第一判别器的第一生成对抗网络和含有第二生成器及第二判别器的第二生成对抗网络。

根据本发明的一些具体实施方式，所述第一生成器和/或第二生成器包括输入层，对输入图像进行处理的第一卷积层、第一激活层和第一池化层，对第一池化层所得特征图进行处理的第二卷积层、第二激活层和第二池化层，对第二池化层所得特征图通过下采样进行连续残差处理的残差块，对残差块所得特征图通过上采样进行拼接的第一转置卷积层，对第一转置卷积层所得特征图进行卷积的第三卷积层，对第三卷积层所得特征图通过上采样进行拼接的第二转置卷积层，对第二转置卷积层所得特征图进行依次卷积的第四卷积层和第五卷积层。

本发明进一步提供了上述图像修复方法和/或修复系统在修复医学图像中的应用。

根据本发明的一些具体实施方式，所述医学图像为CT图像。

根据本发明的一些具体实施方式，所述CT图像为颅骨CT图像。

本发明包括以下有益效果：

(1)本发明通过两个生成对抗网络进行图像修复，可显著提高修复的完整性、清晰性和准确性。

(2)本发明的修复方法可准确修复图像缺损区域，并显著抑制缺损区域生成的图像产生模糊或伪影，特别适用于对修复准确性等要求高的医学图像修复。

(3)相对于现有的一些图像修复方法，如EdgeConnect修复方法，本发明得到的边界特征图融合了更多的低阶特征，也使得不同尺度向的特征得到了很好融合，在一些具体实施方式中，判别器采用的PatchGAN结构可将高频信息进一步限制在期望范围之内。

(4)在一些具体实施方式中，本发明对基础样本进行了数据增强，如对CT体数据进行不同方向的绕轴旋转，增加了训练数据的样本量，可提高模型的准确性。

(5)本发明具有良好的医学图像修复能力，如在一些具体实施方式中，通过本发明的修复方法对缺损颅骨的CT片层图进行修复，其得到的修复图像中缺损颅骨的基本轮廓填补完整，修复区域的边界清晰，与背景的对比度强烈，缺损处与标准图像没有明显的差异。

附图说明

图1为本发明具体实施方式中所述整体修复模型的架构图；

图2为本发明具体实施方式中所述生成网络结构图；

图3为本发明具体实施方式中所述颅骨原始缺损图像；

图4为本发明具体实施方式中所述ITK图像的几何概念示意图；

图5为本发明具体实施方式中所述颅骨体素多角度旋转变换图；

图6为本发明具体实施方式中所述颅骨CT图像边界修复结果图；

图7为本发明具体实施方式中所述颅骨CT图像修复结果对比图。

具体实施方式

以下结合实施例和附图对本发明进行详细描述，但需要理解的是，所述实施例和附图仅用于对本发明进行示例性的描述，而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。

可通过如下方式对本发明进行实施：

在Pytorch及如表1所示的硬件环境中获得CT图像的整体修复模型，其中Pytorch是一个基于Torch的Python开源机器学习库，可实现强大的GPU加速，并支持动态计算图，适合用于设计新的架构和网络模型。具体实施中使用Windows10，Pytorch依托于Anaconda运行，硬件环境如下：

表1具体实施方式可选用的硬件环境

在获得整体修复模型的过程中，训练所用的图像可选大小为512×512，每次训练样本(batch size)为15的颅骨CT图像。

所述图像可采用3D Slicer进行多种处理以获得训练用的样本。

在获得整体修复模型的过程中，训练/优化过程可通过Adam优化器进行优化。

Adam优化器的参数可设置如β₁＝0，β₂＝0.9。

所述整体修复模型包括两个生成对抗网络，即边界修复网络(第一生成对抗网络)和图像修复网络(第二生成对抗网络)，整体修复模型可采用如附图1所示的架构，其中G₁和D₁分别表示边界修复网络的生成器和判别器，G₂和D₂分别表示图像修复网络的生成器和判别器。

其中，生成网络可采用如附图2所示的结构，通过如下的处理过程进行生成：

(1)输入2通道的W*H的图像，使其经过3*3的卷积核进行卷积，并通过一个ReLU激活层得到W*H*64的特征图；

(2)对所得特征图进行2*2的最大池化，得到(W/2)*(H/2)*64的特征图，同样经过3*3的卷积核进行卷积，并通过一个ReLU激活层得到(W/2)*(H/2)*128的特征图；

(3)对步骤(2)所得特征图进行第二次池化，得到(W/4)*(H/4)*128特征图；

(4)对步骤(3)所得特征图进行连续的残差块计算，得到的依然是(W/4)*(H/4)*128特征图；

(5)对步骤(4)所得特征图进行2*2的上采样，得到(W/2)*(H/2)*128特征图，并对该特征图进行拼接得到(W/2)*(H/2)*256特征图；

(6)对步骤(5)所得特征图进行3*3的卷积并激活，得到得到(W/2)*(H/2)*128特征图；

(7)对步骤(6)所得特征图进行上采样，并拼接得到W*H*128的特征图，再进行3*3的卷积操作，得到W*H*64特征图；

(8)最后进行一次卷积运算，得到W*H*1的结果图。

获得所述整体修复模型的具体步骤可包括：

(1)：训练样本集准备，可包括：

S01：获得多个具有完整图像的基础样本，即原始完整图像I_gt。

S02：在基础样本中设置缺损，得到原始缺损图像I_defect。

具体的，可将得到的基础样本中的每一组设置3种缺失类型，其中缺损区域的形状、大小和位置随机设置，例如附图3所示。

S03：通过数据增强扩大训练样本数量：

由于医学图像的标注过程耗时严重且对标注者的专业性要求比较高，导致医学图像数据集获取困难，无法获得足够的训练样本。

因此在具体实施中可通过数据增强的方式来增加训练样本数量，让数据集尽可能的多样化，提高模型的泛化能力。

数据增强的方式可包括水平或垂直翻转、旋转、缩放裁剪、平添加随机噪声等，可根据数据集的特征进行确定。

如在具体实施中可主要使用旋转、缩放等。

具体的，在如附图4所示的包含缺损部分的颅骨ITK图像中，圆圈表示像素中心，一个像素就是环绕在像素中心的一个矩形区域的有效值，Origin表示图像原点，Direction表示体素方向，Spacing表示体素之间的间距。图像原点、体素方向和体素间距对于医学图像来说非常重要，图像原点表示图像坐标系在物理坐标系中的位置，体素方向表示图像坐标系与物理坐标系的夹角，体素间距表示每个体素点之间的距离。一旦间距、原点和方向被初始化，就能够精确的将像素索引映射到物理空间坐标中。像素坐标系中的像素索引index和图像坐标系坐标点position的对应关系如式4.10所示：

position＝Origin+index*Direction*Spacing#(4.10)

在具体实施中，基于上述对应，可通过仿射变换让三维数据随机绕x轴、y轴和z轴的绕轴旋转，如将旋转中心设置为图像的中心，旋转角度范围为[-15°,15°]，可得到如附图5所示的多个变换图像，其中第一行图像为绕x轴旋转得到，第二行图像为绕y轴旋转得到，第三行图像为绕z轴旋转得到，每一列为不同的旋转角度。

通过上述过程，可在模型训练过程中，大大扩充训练样本的数量，提高模型的性能。

(2)其后，通过Canny边缘检测算子自所述原始缺损图像I_defect获得原始缺损图像边界图E_defect。通过Canny边缘检测算子自原始完整图像I_gt获得原始完整图像边界图E_gt。

(3)其后，基于原始完整图像I_gt、原始完整图像边界图E_gt、原始缺损图像I_defect和原始缺损图像边界图的样本集，进行整体模型训练，其包括：

(3-1)对边界修复网络的生成器G₁进行训练，得到训练后的边界生成模型，其学习率可先采用如10^-4；再进行降低如采用10^-5，训练直至收敛；其后可在训练过程中移除，通过端对端的方式继续训练网络，实现对网络的微调，该过程中学习率可采用如为10^-6。

训练过程包括：

将原始缺损图像I_defect和原始缺损图像边界图E_defect输入边界修复网络的生成器G₁中，得到生成缺损图像边界图E_pred，具体过程如式(4.1)所示：

E_pred＝G₁(I_defect，E_defect)#(4.1)

其后将原始完整图像I_gt作为条件输入，将原始完整图像边界图E_gt和生成缺损图像边界图E_pred分别与原始完整图像I_gt一起作为边界修复网络的判别器D₁的输入，通过判别器D₁判别输入的边界图是真实的还是生成的。

边界生成模型的优化目标函数如式(1)：

其中，λ_adv，1和λ_FM，1可分别采用如1和10。

L_FM，1为特征匹配损失函数，其通过比较判别器D₁的中间层的特征图，以最小化真实图像的特征和生成图像的特征之间的统计差异来稳定训练过程，保证网络的收敛性。L_FM可设置如式(2)：

L_adv，1为生成对抗网络的损失函数，其可以保证匹配的实现，L_adv，1可设置如式(3)：

L_adv，1＝E_(Egt，Igt)[log D₁(E_gt，I_gt)]+E(I_gt)[log(1-D₁(E_pred，I_gt))] (3)

(3-2)对图像修复网络的生成器G₂进行训练，得到训练后的修复模型，类似地，其学习率可先采用如10^-4；再进行降低如采用10^-5，训练直至收敛；其后可在训练过程中移除，通过端对端的方式继续训练网络，实现对网络的微调，该过程中学习率可采用如为10^-6。

训练过程包括：

将原始缺损图像I_defect和生成缺损图像边界图E_pred输入图像修复网络的生成器G₂中，得到修复后图像(即所述合成图像)I_pred，具体过程如式(4.5)所示：

I_pred＝G₂(I_defect，E_pred)#(4.5)

其后将原始完整图像I_gt和所述修复后图像I_pred一起作为图像修复网络的生成器G₂的输入，通过判别器D₂判别输入的图像是真实的还是修复的，至无法判别出差异时，训练完成。

修复模型的损失函数L_G2可设置如式(4)：

L_G2＝λ_l1G_l1+λ_adv，2L_adv，2+λ_FM，2L_FM，2(4)，

其中，λ_l1、λ_adv，2和λ_FM，2可分别采用1、0.1和0.1。

G_l1、L_adv，2和L_FM，2分别为添加损失函数、生成对抗损失函数和特征匹配损失函数。生成对抗损失函数和特征匹配损失函数与边界生成模型中相应的损失函数算法相同，分别如式(4.6)和式(4.7)所示：

G_l1是为保证输入和输出图像之间的相似度而进行的添加，其可设置为式(5)：

G_l1＝E[||I_gt-G₂(I_defect，E_prod)||₁] (5)。

(4)通过训练后的边界生成模型和修复模型进行图像修复。

实施例1

通过具体实施方式得到的训练后模型进行图像修复，具体过程包括：

采集图像完整的颅骨CT图像作为基础对比样本，对基础对比样本进行随机裁剪模拟缺损颅骨的CT图像，将该缺损颅骨的CT图像及通过3D Slicer对图像进行裁剪获得的边界图像作为边界生成模型的输入，输入进边界修复网络的生成器G₁中，可得到大致的边界修复图像，如图6所示。

将该缺损颅骨的CT图像及所得边界修复图像作为修复模型的输入，输入进图像修复网络的生成器G₂中，可得到完整的修复图像，如图7所示，其中第一列为缺损颅骨图像，第二列为本发明修复结果，第三列为基础对比样本。

从图中可以看出，将缺损颅骨的CT片层图像输入到本发明的模型中后，得到的修复图像中缺损颅骨的基本轮廓已经得到修复，且修复区域的边界清晰，与背景的对比度强烈，缺损处与标准图像没有明显的差异。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于生成对抗网络的图像修复方法，其包括：

S1：在第一生成对抗网络中，通过训练后的边界生成模型获得优化的生成缺损图像边界图；

S2：在第二生成对抗网络中，以原始完整图像及合成图像作为输入对修复模型进行训练，得到训练后的修复模型，其中所述合成图像包括原始缺损图像和所述优化的生成缺损图像边界图；

S3：通过训练后的边界生成模型及修复模型进行图像修复；

优选的，所述第一生成对抗网络为条件生成式对抗网络；

优选的，所述第二生成对抗网络为条件生成式对抗网络。

2.根据权利要求1所述的图像修复方法，其特征在于：所述边界生成模型包括用于获得所述生成缺损图像边界图的第一生成器和用于判断输入其中的边界图为生成边界图还是原始边界图的第一判别器，其中所述第一生成器通过所述第一生成对抗网络的生成网络实现，所述第一判别器通过所述第一生成对抗网络的判别网络实现。

3.根据权利要求3所述的图像修复方法，其特征在于：所述第一生成器的输入包括原始缺损图像和原始缺损图像边界图；和/或，所述第一判别器的输入包括所述生成缺损图像边界图、所述原始完整图像和原始完整图像的边界图；优选的，所述原始缺损图像边界图通过边缘检测算子对所述原始缺损图像进行边缘检测得到；优选的，所述原始完整图像边界图通过边缘检测算子对所述原始完整图像进行边缘检测得到；进一步优选的，所述边缘检测算子选自Canny边缘检测算子。

4.根据权利要求1所述的图像修复方法，其特征在于：所述修复模型包括用于生成所述合成图像的第二生成器和用于判断输入其中的图像为合成图像还是原始完整图像的第二判别器，其中所述第二生成器通过所述第二生成对抗网络的生成网络实现，所述第二判别器通过所述第二生成对抗网络的判别网络实现。

5.根据权利要求1-4中任一项所述的图像修复方法，其特征在于：所述修复方法还包括：S0：获得用于边界生成模型进行训练的样本集；优选的，所述样本集的获得包括：

S01：获得多个具有完整图像的基础样本；

S02：对所述基础样本进行缺损设置。

6.根据权利要求5所述的图像修复方法，其特征在于：所述样本集的获得还包括：S03：对缺损设置后的样本进行数据增强，扩大样本数量。

7.根据权利要求1-6中任一项所述的图像修复方法，其特征在于：用于训练所述边界生成模型的优化目标函数如式(1)：

其中，G1表示所述第一生成器，D1表示所述第一判别器，

表示取其后函数最大值时对应的D1的参数值，

表示取其后函数最小值时对应的G1的参数值，L_G1表示所述边界生成模型的总损失函数，其包括第一生成对抗网络的损失函数L_adv，1和第一特征匹配损失函数L_FM，1，λ_adv，1和λ_FM，1为对应的正则化参数；

优选的，所述第一特征匹配损失函数L_FM，1设置为式(2)：

其中，E_gl表示所述原始完整图像边界图，E_pred表示所述生成缺损图像边界图，E表示对其后的函数求数学期望，l表示所述第一判别器的最后一个卷积层，N_i表示所述第一判别器的第i个激活层的元素的个数，

表示对所述第一判别器的第i层的求方差计算，|| ||表示对其内的矩阵求Frobenius范数；

优选的，所述第一生成对抗网络的损失函数L_adv，1设置为式(3)：

L_adv，1＝E_(Egt，Igt)[log D₁(E_gt，I_gt)]+E(I_gt)[log(1-D₁(E_pred：I_gt))] (3)，

其中，I_gt表示原始完整图像。

优选的，所述λ_adv，1为1；优选的，所述λ_FM，1为10。

8.根据权利要求7所述的图像修复方法，其特征在于：所述修复模型的损失函数L_G2设置如式(4)：

L_G2＝λ_l1G_l1+λ_adv，2L_adv，2+λ_FM，2L_FM，2 (4)，

其中，G_n为可提高输入图像与输出图像相似度的添加损失函数，L_adv，2为第二生成对抗网络的损失函数，L_FM，2为第二特征匹配损失函数，λ_l1、λ_adv，2和λ_FM，2为其对应的正则化参数；

优选的，所述添加损失函数G_l1设置为式(5)：

G_l1＝E[||I_gt-G₂(I_dofoct，E_prod)||₁] (5)，

其中，G₂表示求第二生成器参数；

优选的，所述λ_n为1；优选的λ_adv，2为0.1；优选的，λ_FM，2为0.1。

9.权利要求1-8中任一项所述的图像修复方法用修复系统，其包括含有第一生成器及第一判别器的第一生成对抗网络和含有第二生成器及第二判别器的第二生成对抗网络；优选的，所述第一生成器和/或第二生成器包括输入层，对输入图像进行处理的第一卷积层、第一激活层和第一池化层，对第一池化层所得特征图进行处理的第二卷积层、第二激活层和第二池化层，对第二池化层所得特征图通过下采样进行连续残差处理的残差块，对残差块所得特征图通过上采样进行拼接的第一转置卷积层，对第一转置卷积层所得特征图进行卷积的第三卷积层，对第三卷积层所得特征图通过上采样进行拼接的第二转置卷积层，对第二转置卷积层所得特征图进行依次卷积的第四卷积层和第五卷积层。

10.权利要求1-9任一项所述的图像修复方法和/或修复系统在修复医学图像中的应用，优选的，所述医学图像为CT图像，进一步优选的，所述CT图像为颅骨CT图像。

Images