CN110210514A

CN110210514A - 生成式对抗网络训练方法、图像补全方法、设备及存储介质

Info

Publication number: CN110210514A
Application number: CN201910335424.6A
Authority: CN
Inventors: 杨刚; 冀俭俭; 杨猛
Original assignee: Beijing Forestry University
Current assignee: Beijing Forestry University
Priority date: 2019-04-24
Filing date: 2019-04-24
Publication date: 2019-09-06
Anticipated expiration: 2039-04-24
Also published as: CN110210514B

Abstract

本申请实施例提供一种生成式对抗网络训练方法、图像补全方法、设备及存储介质。在本申请一些示例性实施例中，首先，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；接着，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；最后，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性。

Description

生成式对抗网络训练方法、图像补全方法、设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种生成式对抗网络训练方法、图像补全方法、设备及存储介质。

背景技术

图像补全技术旨在合成图像中缺失或损坏的区域，是低级视觉中的基本问题。该技术已经引起了计算机视觉和图形领域的广泛兴趣，因为它可以用于补全被遮挡的图像区域或修复受损的照片。此外，分享照片之前，用户可能需要对图像进行修改，例如擦除分散注意力的场景元素，调整图像中的对象位置以获得更好的构图，或恢复遮挡图像区域中的图像内容等。这些以及其他许多编辑操作都需要自动补全图像缺失区域，这在过去的几十年里一直是计算机视觉和图形界的一个活跃的研究课题。

目前，由于该问题的固有模糊性和自然图像的复杂性，为任意自然图像合成具有合理细节的内容仍然是一项具有挑战性的任务。目前，如果人们希望修复图像或者从图像中删除不期望的目标时，经常会选择Adobe Photoshop和Corel Draw Pro等流行程序中的工具。然而，这些工具的修复功能并不完美，并且要求用户具有熟练的操作能力。图像补全技术面临的难题是以视觉上合理的方式填补留下的空白。

在过去，主要采取从未损坏区域中找出现有的结构或信息，以粘贴的方式进行图像补全。但是这种方法只有当待补全的图像具有很强的结构性且各个区域的颜色等纹理信息具有很强的相似性时才能取得较好的效果。因此这种直接从周围信息截取图像块的方法不具有通用性。

目前，深度学习得到了很大的发展。由于深度神经网络具有很强的学习能力，深度学习也被用于图像补全中。通常的基于深度学习的图像补全方法都是通过生成对抗网络(Generate Adversial Network，GAN)完成。GAN中的生成器和判别器可以生成清晰且合理的纹理内容。但是现有的基于GAN的图像补全方法都具有较大的局限性。GAN采用编码器解码器结构，其中中间的两个完全连接层(Fully Connected Netwoek，FCN)作为连接两个结构的中间层，第一个FCN将具有空间维度的卷积特征映射成一维向量，另一个FCN将该一维向量向后映射到具有空间信息的特征上。这个过程丢失了图像原有的空间信息；其次，判别器仅以合成区域作为输入而不考虑合成区域的上下文信息。因此，已有的用GAN方法进行图像补全的结果不能保持图像空间结构和上下文信息的一致性。

发明内容

本申请的多个方面提供一种生成式对抗网络训练方法、图像补全方法、设备及存储介质，在原始图像缺失面积较大和缺失区域位于边缘区域时，经过图像补全后的补全区域的纹理信息更加具有真实性，且保持与周围区域的局部一致性。

本申请实施例提供一种图像补全方法，适用于计算设备，所述方法包括：获取待补全图像，所述待补全图像含有缺失区域；将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

本申请实施例还提供一种生成式对抗网络训练方法，适用于服务端设备，所述方法包括：利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

本申请实施例还提供一种计算设备，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；所述一个或多个处理器，用于执行所述计算机程序，以用于：获取待补全图像，所述待补全图像含有缺失区域；将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行上述方法中的步骤。

本申请实施例还提供一种服务端设备，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；所述一个或多个处理器，用于执行所述计算机程序，以用于：利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；利用初步补全图像和原始图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

本申请实施例一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行上述方法中的步骤。

在本申请一些示例性实施例中，服务端设备首先，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；接着，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；最后，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性；此外采用三个判别器，平衡与补全网络之间的迭代速度，使得生成图像中补全区域的边缘更加真实自然。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的一种生成式对抗网络训练方法的方法流程图；

图2为本申请示例性实施例原始图像的各局部区域示意图；

图3为本申请示例性实施例提供的一种图像补全方法的方法流程图；

图4为采用本申请图像补全网络进行补全后的图像与现有方法补全图像的对比图；

图5为本申请示例性实施例提供的一种计算设备的结构框图；

图6为本申请示例性实施例提供的一种服务端设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对目前的图像补全方法的结果不能保持图像空间结构和上下文信息的一致性，尤其，在缺失区域面积较大时，最终的补全结果较为模糊；在缺失区域位于边缘区域时，由于上下文信息的缺失和补全网络与判别器网络训练速度的不一致性，导致补全的结果会出现模糊及色彩失真的问题。在本申请一些示例性实施例中，服务端设备首先，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；接着，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；最后，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性；此外采用三个判别器，平衡与补全网络之间的迭代速度，使得生成图像中补全区域的边缘更加真实自然。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请示例性实施例提供的一种生成式对抗网络训练方法的方法流程图，如图1所示，该方法包括以下步骤：

S101：利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；

S102：利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；

S103：利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，第一局部上下文判别器保持图像补全的局部一致性，第二局部上下文判别器保持图像补全的中心一致性，全局上下文判别器保持图像补全的全局一致性。

在本实施例中，训练补全网络的设备为补全网络的拥有者，可以为用户自身的设备，例如，某个企业用户存在图像补全的业务需求，可以利用企业用户服务器进行训练补全网络，显然，训练补全网络的设备也可以为服务提供商的服务设备，服务设备训练模型需要使用用户设备提供的用户数据，这里的用户数据往往涉及用户的隐私，用户可以将图片数据经过加密后发送给服务设备以进行模型训练。在本实施例中，并不限定服务器的实现形态，例如服务器可以是常规服务器云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类型。

在补全网络训练前，需要首先制作训练数据集。在每张原始图像上随机生成缺失区域，得到样本图像；将样本图像进行二值化处理，得到二值图像，将所有原始图像和对应的二值图像进行标注，形成训练模型所用的训练数据集。

本申请实施例生成式对抗网络训练方法进行图像补全训练，最终获得训练完成的图像补全网络。整个训练过程分为三个阶段：

一，第一训练阶段，训练得到初步补全网络和初步补全图像。

在训练过程中，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集。一种可实现的方式为，将样本图像和由样本图像二值化得到的二值图像作为输入参数，利用包含缺失区域的样本图像与原始图像中与缺失区域相应区域的均方误差进行图像补全训练，得到初步补全网络，得到初步补全网络后，固定初步补全网络的网络参数，得到初步补全图像。进一步，本申请实施例首先在原始图像orig上随机生成具有任意形状的空白区域(缺失区域)，形成样本图像，将此图作为输入图像x，并生成输入图像x对应的二值图像Mask，将输入图像x和二值图像Mask作为输入参数，训练过程中首先利用补全区域c与原图orig中对应区域之间的均方误差损失L(orig,M_c)训练补全网络，经过反复迭代之后得到初步补全网络，得到初步补全网络，初步补全网络可输出初步补全图像。其中，补全区域c与原图orig中对应区域之间的均方误差损失L(orig,M_c)的公式如下：

L(orig,M_c)＝||M_c e(C(orig,M_c)-orig)||²，

其中，M_c表示二值图像，orig表示原始图像；C表示初步补全网络，||||²表示均方误差，e表示内积。

二，第二训练阶段，训练得到第一局部上下文判别器、第二局部上下文判别器和全局判别器。

在第二训练阶段之前，从初步补全图像中提取第一局部图像和第二局部图像；其中，第一局部图像是初步补全图像中以补全区域为中心的图像块，第二局部图像是位于补全区域中心的图像块。

利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器。一种可实现的方式为，将第一局部图像输入初始判别器，以第一局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第一局部上下文判别器；将第二局部图像输入初始判别器，以第二局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第二局部上下文判别器；将初步补全图像输入初始判别器，以初步补全图像与原始图像之间的对抗损失作为目标函数，对初始判别器进行训练，得到全局判别器。

进一步，图2为本申请示例性实施例原始图像的各局部区域示意图。如图2所示，d代表第一局部图像，d′代表第二局部图像，c代表补全区域。第一局部上下文判别器和全局判别器采用相同的对抗损失函数L_advd进行训练获得，对抗损失函数L_advd公式如下：

其中，M_c表示二值图像，M_d表示第一局部图像，orig表示原始图像；C表示初步补全网络，D代表第一局部上下文判别器或者全局判别器，E表示期望值。

第二局部上下文判别器采用对抗损失函数L_advd'进行训练获得，对抗损失函数L_advd'公式如下：

其中，M_c表示二值图像，M_d'表示第二局部图像，orig表示原始图像；C表示初步补全网络，D代表判别器，E表示期望值。

在上述实施例中，初步补全结果中保留了图像的结构信息，全局上下文判别器用以保证图像的全局一致性，第一局部上下文判别器用于保持补全区域与其他区域的局部一致性；第二局部上下文判别器用于保证纹理信息的真实性和与补全中心区域与周围区域的一致性。

在第二阶段的训练中，三个初始判别器分别进行判别器训练，最终获得第一局部上下文判别器、第二局部上下文判别器、全局判别器，使得补全后的图像更加真实，整体一致性更高。

三，第三训练阶段，第一局部上下文判别器、第二局部上下文判别器、全局判别器和初级补全网络一起训练，得到图像补全网络。

在训练过程中，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络。一种可选实施方式为，

分别将第一局部图像输入第一局部上下文判别器中、将第二局部图像与输入第二局部上下文判别器中和将初步补全图像输入全局判别器中，以第一局部图像与原始图像中的对应区域、第二局部图像与原始图像中的对应区域和初步补全图像与原始图像的联合损失作为目标函数，同时训练第一局部上下文判别器、第二局部上下文判别器和全局判别器，得到对抗概率；以对抗概率反向调整初级补全网络的网络参数，得到图像补全网络。在本实施例中，采用联合损失函数L'训练整个网络，其中，联合损失函数L'公式如下：

M_c表示二值图像，M_d表示第一局部图像，M_d'表示第二局部图像，orig表示原始图像；C表示初步补全网络，D代表判别器，E表示期望值，C表示初步补全网络，α表示常系数。

在本申请生成式对抗网络训练方法的实施例中，服务端设备首先，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；接着，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；最后，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性；此外采用三个判别器，平衡与补全网络之间的迭代速度，使得生成图像中补全区域的边缘更加真实自然。

图3为本申请示例性实施例提供的一种图像补全方法的方法流程图，如图3所示，该方法包括：

S301：获取待补全图像，待补全图像含有缺失区域；

S302：将待补全图像输入预先训练出的图像补全网络，利用图像补全网络对缺失区域进行图像补全，得到补全后的图像；其中，图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；第一局部上下文判别器保持图像补全的局部一致性，第二局部上下文判别器保持图像补全的中心一致性，全局上下文判别器保持图像补全的全局一致性。

在本实施例中，图像补全方法的执行主体可以为训练模型之外的其他计算设备，服务端设备只需要将训练好的图像补全模型发送至计算设备即可。在本实施例中，图像补全方法的执行主体可以为企业的服务器，并不限定服务器的实现形态，例如服务器可以是常规服务器云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类型，此外，图像补全方法还可以为其他类型的终端设备，例如，个人电脑，智能手机、穿戴设备、平板电脑等。

在上述实施例中，获取待补全图像的方式有两种：

方式一，将原始图像中与图像内容不匹配的图像区域进行剪切，得到待补全图像；

方式二，获取原本包含缺失区域的图像作为待补全图像。

在上述方式一的应用场景例如PS，先对原始图像中的与图像整体内容不匹配的图像区域进行剪切，将剪切后的图像利用图像补全网络进行图像补全，得到补全后的图像。采用本申请图像补全网络进行图像补全后的图像，即使缺失区域面积较大或位于图像边缘位置时，也能获得很好的图像补全效果。

此外，利用本申请的图像补全方法可以进行擦除分散注意力的场景元素，调整图像中的对象位置以获得更好的构图，或恢复遮挡图像区域中的图像内容等。

图4为采用本申请图像补全网络进行补全后的图像与现有方法补全图像的对比图。其中，从左至右，左起第一幅图像和第二幅图像为现有技术补全后的效果图像，第三幅图像为采用本申请补全网络进行补全后的图像的效果图像。

在本申请图像补全方法的实施例中，第一局部上下文判别器保持图像补全的局部一致性，第二局部上下文判别器保持图像补全的中心一致性，全局上下文判别器保持图像补全的全局一致性，第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性；此外采用三个判别器，平衡与补全网络之间的迭代速度，使得生成图像中补全区域的边缘更加真实自然。

图5为本申请示例性实施例提供的一种计算设备的结构框图，如图5所示，该计算设备包括：存储器502和处理器501；计算设备还可以包括电源组件503，通信组件504等必要组件。

存储器502，用于存储计算机程序；

处理器501，用于执行计算机程序，以用于：获取待补全图像，待补全图像含有缺失区域；将待补全图像输入预先训练出的图像补全网络，利用图像补全网络对缺失区域进行图像补全，得到补全后的图像；其中，图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；第一局部上下文判别器保持图像补全的局部一致性，第二局部上下文判别器保持图像补全的中心一致性，全局上下文判别器保持图像补全的全局一致性。

可选地，处理器501在获取待补全图像时，具体用于：将原始图像中与图像内容不匹配的图像区域进行剪切，得到待补全图像；或者获取原本包含缺失区域的图像作为待补全图像。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质。当计算机可读存储介质存储计算机程序，且计算机程序被一个或多个处理器执行时，致使一个或多个处理器执行图3方法实施例中的各步骤。

在本申请上述计算设备实施例中，第一局部上下文判别器保持图像补全的局部一致性，第二局部上下文判别器保持图像补全的中心一致性，全局上下文判别器保持图像补全的全局一致性，第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性；此外采用三个判别器，平衡与补全网络之间的迭代速度，使得生成图像中补全区域的边缘更加真实自然。

图6为本申请示例性实施例提供的一种服务端设备的结构框图，如图6所示，该服务端设备包括：存储器602、处理器601；服务端设备还可以包括电源组件603、通信组件604等必要组件。

存储器602，用于存储计算机程序；

处理器601，用于执行计算机程序，以用于：

利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；利用初步补全图像和原始图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，第一局部上下文判别器保持图像补全的局部一致性，第二局部上下文判别器保持图像补全的中心一致性，全局上下文判别器保持图像补全的全局一致性。

可选地，处理器601在利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像时，具体用于：将样本图像和由样本图像二值化得到的二值图像作为输入参数，利用包含缺失区域的样本图像与原始图像中与缺失区域相应区域的均方误差进行图像补全训练，得到初步补全网络；固定初步补全网络的网络参数，得到初步补全图像。

可选地，处理器601在利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器之前，还可用于：从初步补全图像中提取第一局部图像和第二局部图像；其中，第一局部图像是初步补全图像中以补全区域为中心的图像块，第二局部图像是位于所述补全区域中心的图像块。

可选地，处理器601在利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器时，具体用于：将第一局部图像输入初始判别器，以第一局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第一局部上下文判别器；将第二局部图像输入初始判别器，以第二局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第二局部上下文判别器；将初步补全图像输入初始判别器，以初步补全图像与原始图像之间的对抗损失作为目标函数，对初始判别器进行训练，得到全局判别器。

可选地，处理器601在利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络时，具体用于：

分别将第一局部图像输入第一局部上下文判别器中、将第二局部图像与输入第二局部上下文判别器中和将初步补全图像输入全局判别器中，以第一局部图像与原始图像中的对应区域、第二局部图像与原始图像中的对应区域和初步补全图像与原始图像的联合损失作为目标函数，同时训练第一局部上下文判别器、第二局部上下文判别器和全局判别器，得到对抗概率；以对抗概率反向调整初级补全网络的网络参数，得到图像补全网络。

可选地，处理器601在在进行图像补全训练之前，还可用于：在每张原始图像上随机生成缺失区域，得到样本图像；将样本图像进行二值化处理，得到二值图像。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质。当计算机可读存储介质存储计算机程序，且计算机程序被一个或多个处理器执行时，致使一个或多个处理器执行图1方法实施例中的各步骤。

上述图5和图6中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术和蓝牙(BT)技术等，以促进短程通信。

上述图5和图6中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种图像补全方法，适用于计算设备，其特征在于，所述方法包括：

获取待补全图像，所述待补全图像含有缺失区域；

将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；

其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

2.根据权利要求1所述的方法，其特征在于，获取待补全图像，包括：

将原始图像中与图像内容不匹配的图像区域进行剪切，得到所述待补全图像；或者

获取原本包含缺失区域的图像作为所述待补全图像。

3.一种生成式对抗网络训练方法，适用于服务端设备，其特征在于，所述方法包括：

利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；

利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；

利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；

其中，所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

4.根据权利要求3所述的方法，其特征在于，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像，包括：

将所述样本图像和由所述样本图像二值化得到的二值图像作为输入参数，利用包含缺失区域的样本图像与原始图像中与所述缺失区域相应区域的均方误差进行图像补全训练，得到初步补全网络；

固定初步补全网络的网络参数，得到初步补全图像。

5.根据权利要求3所述的方法，其特征在于，在利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器之前，还包括：

从初步补全图像中提取第一局部图像和第二局部图像；其中，第一局部图像是初步补全图像中以补全区域为中心的图像块，第二局部图像是位于所述补全区域中心的图像块。

6.根据权利要求5所述的方法，其特征在于，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器，包括：

将第一局部图像输入初始判别器，以第一局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第一局部上下文判别器；

将第二局部图像输入初始判别器，以第二局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第二局部上下文判别器；

将初步补全图像输入初始判别器，以初步补全图像与原始图像之间的对抗损失作为目标函数，对初始判别器进行训练，得到全局判别器。

7.根据权利要求5所述的方法，其特征在于，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络，包括：

分别将第一局部图像输入第一局部上下文判别器中、将第二局部图像与输入第二局部上下文判别器中和将初步补全图像输入全局判别器中，

以第一局部图像与原始图像中的对应区域、第二局部图像与原始图像中的对应区域和初步补全图像与原始图像的联合损失作为目标函数，同时训练第一局部上下文判别器、第二局部上下文判别器和全局判别器，得到对抗概率；

以对抗概率反向调整初级补全网络的网络参数，得到图像补全网络。

8.根据权利要求4-7任一项所述的方法，其特征在于，在进行图像补全训练之前，还包括：

在每张原始图像上随机生成缺失区域，得到样本图像；

将所述样本图像进行二值化处理，得到二值图像。

9.一种计算设备，其特征在于，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；

所述一个或多个处理器，用于执行所述计算机程序，以用于：

获取待补全图像，所述待补全图像含有缺失区域；

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-2任一所述方法中的步骤。

11.一种服务端设备，其特征在于，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；

利用初步补全图像和原始图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；

12.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求3-8任一所述方法中的步骤。