CN112529058A - 图像生成模型训练方法和装置、图像生成方法和装置 - Google Patents

Abstract

本申请公开了一种图像生成模型训练方法和装置，涉及图像处理、增强现实、深度学习等技术领域。该方法的一具体实施方式包括：获取预先建立的生成式对抗网络，生成式对抗网络的解码器包括多个串联连接的生成模块，判别器包括多个分别独立的判别模块；从样本集中选取样本；将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；将每个伪图像以及对应尺度的第二域图像输入对应尺度的判别模块，并计算生成式对抗网络的损失值；若训练完成，则得到图像生成模型。该实施方式提升了图像生成模型的图片的分辨率。

Description

图像生成模型训练方法和装置、图像生成方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及图像处理、增强现实、深度学习等技术领域，尤其涉及一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备以及计算机可读介质。

背景技术

传统的生成式对抗网络实现的图像转换、翻译算法网络一般包括：编码器、解码器和判别器，在生成式对抗网络中，编码器从输入的图像中提取特征，解码器从特征向量还原特征生成的图片，并将图片送入判别器进行判别，然而传统的对抗式生成网络结构职责比较混乱，一方面要学习转换的信息，另一方面还要关注生成图片质量，身兼数职，往往导致最后生成的图片无论完整度还是质量都表现不佳。

进一步地，对于传统的生成式对抗网络，由于得到高分辨率图片较难训练和收敛，而生成低分辨率图片相对比较容易一些，但是低分辨率清晰度又不是太高，无法满足生成高质量图片的要求。

发明内容

提供了一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备以及计算机可读介质。

根据第一方面，提供了一种图像生成模型训练方法，上述方法包括：获取预先建立的生成式对抗网络，其中，生成式对抗网络的解码器包括多个串联连接的生成模块，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；执行以下训练步骤：从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算生成式对抗网络的损失值；响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。

根据第二方面，提供了一种图像生成模型训练装置，该装置包括：网络建立单元，被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络的解码器包括多个串联连接的生成模块，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；样本选取单元，被配置成从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；样本输入单元，被配置成将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；图像输入单元，被配置成针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算生成式对抗网络的损失值；模型输出单元，被配置成响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。

根据第三方面，提供了一种图像生成方法，该方法包括：获取待处理图像；将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。

根据第四方面，提供了一种图像生成装置，该装置包括：图像获取单元，被配置成获取待处理图像；图像输出单元，被配置成将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。

根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。

本申请的实施例提供的技术，将生成式对抗网络的解码器分解为多个串联连接的生成模块，多个生成模块对输入的图像进行不同倍率的分辨率提升处理，完成了对低分辨率的图像超分重建过程；判别器包括多个不同尺度的判别模块，将各个生成模块生成的图像输入对应尺度的判别模块进行判别加以监督，不仅得到了更高分辨率且比较完整的图片，还提升了图像的清晰度和局部纹理丰富度。该技术可以广泛应用到图像翻译、风格转换等多个任务中，具有很强的应用价值。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请图像生成模型训练方法的实施例的流程图；

图2是本申请中图像生成模型的一种结构示意图；

图3是本申请中图像生成模型的另一种结构示意图；

图4是根据本申请图像生成方法的实施例的流程图；

图5是根据本申请图像生成模型训练装置的实施例的结构示意图；

图6是根据本申请图像生成装置的实施例的结构示意图；

图7是用来实现本申请实施例的图像生成模型训练方法或图像生成方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本申请图像生成模型训练方法的一个实施例的流程100。上述图像生成模型训练方法包括以下步骤：

步骤101，获取预先建立的生成式对抗网络。

在本实施例中，生成式对抗网络(Generative Adversarial Nets，GAN)包括生成器、判别器。

生成器由编码器(如图2中的G)和解码器构成。编码器采用卷积神经网络从输入的图象中提取特征。例如，将图像压缩成256个64*64的特征向量。解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最后得到生成图像。

可选地，生成器还可以包括：位于编码器和解码器之间的转换器，转换器通过组合图像的不相近特征，将图像在DA域中的特征向量转换为DB域中的特征向量。例如，可以使用6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，从而达到在转换时同时保留原始图像特征的目标。

本实施例中，解码器包括多个串联连接的生成模块(如图2所示的GS1、GS2、GS3、GS4、GS5)，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像。

对抗式生成网络的解码器可以被划分为多个的生成模块，多个生成模块是串联的关系如图2中GS1、GS2、GS3、GS4、GS5之间的串联关系，多个串联连接的生成模块中前一个生成模块的输出端与后一个生成模块的输入端连接。各个生成模块除了生成图像的图像尺度不同之外，其得到生成图像功能与现有生成式对抗网络的解码器得到生成图像的功能相同。

本实施例中，如图2所示，解码器被划分为具有五个串联的生成模块的五级金字塔结构，五级金字塔结构中每个生成模块的输出的分辨率依次呈倍率增加。需要说明的是，多个串联的生成模块不限于图2所示的五级金字塔结构，解码器还可以被划分为其他等级，比如3个等级，形成三级金字塔结构。

在本实施例的一些可选实现方式中，各个生成模块的输出图像的尺度是输入图像的2倍。

本可选实现方式中，各生成模块的输出图像的尺度是输入图像的2倍，可以使串联连接的生成模块生成的图像的分辨率成2倍增加，保证了解码器输出图像的分辨率的逐次递增，保证了生成器的生成图像的效果。

本实施例中，判别器将一张图像作为输入，并尝试预测其为原始图像或是生成器的输出图像。判别器本身属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。

本实施例中，判别器被划分为多个不同尺度的判别模块，各个判别模块分别独立。各个判别模块除了处理图像的图像尺度不同之外，其判别功能与经典的生成式对抗网络的判别器的判别功能相同。各个判别模块均可以将一张图像作为输入，并尝试预测其为原始图像或是生成器的输出图像。判别模块本身也属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。

需要说明的是，上述生成模块可以是用于进行图像处理的卷积神经网络(例如包含卷积层、池化层、反池化层、反卷积层的各种卷积神经网络结构，可以依次进行降采样和上采样)；上述判别模块可以是卷积神经网络(例如包含全连接层的各种卷积神经网络结构，其中，上述全连接层可以实现分类功能)。此外，上述判别模块也可以是可以用于实现分类功能的其他模型结构，例如支持向量机(Support Vector Machine，SVM)。

在本实施例的一些可选实现方式中，生成式对抗网络还可以包括：多个不同尺度的上采样模块；各个上采样模块与其对应尺度的生成模块并联连接，且与各个上采样模块并联的生成模块不包括多个生成模块中的首部和尾部的生成模块。

本可选实现方式中上采样模块的工作原理：在原有图像像素的基础上，采用合适的插值算法在像素点之间插入新的元素。其中，插值算法可以采用经典插值、基于边缘图像的插值、基于区域的图像插值等不同的插值算法中的任意一种，各种插值算法均满足上采样模型要求，此处不再赘述。

本可选实现方式中，上采样模块与其对应尺度的生成模块并联连接，用于对生成模块输出的图像进行上采样插值，通过该上采样插值操作获得更高分辨率的图像输出，然后和同等倍率(即对应尺度)的生成模块生成的图像进行融合，再送入下一级生成模块。如图3中，上采样模块U1与生成模块GS2的尺度相对应，上采样模块U1与生成模块GS2两者生成的图像进行融合后，送入生成模块GS3。上采样模块U2与生成模块GS3的尺度相对应，上采样模块U2与生成模块GS3两者生成的图像进行融合后，送入生成模块GS3。上采样模块U3与生成模块GS4的尺度相对应，上采样模块U3与生成模块GS4两者生成的图像进行融合后，送入生成模块GS5。在图3中，生成模块GS1为多个生成模块中的首部的生成模块，生成模块GS5为多个生成模块中的尾部的生成模块，因此，生成模块GS1与生成模块GS5均没有与其对应尺度的上采样模块。

本可选实现方式中，上采样模块的上采样插值对图像进行倍率缩放，不需要额外参数学习和训练的，插值得到更高分辨率的图像输出，然后和同等倍率生成器模块输出进行融合，再送入下一级生成模块，这样下一级生成模块汇集了两路不同输入，输入的信息更加完备、充分和丰富，十分便于下一级生成模块学习，同时也降低了各个生成模块的学习压力，有利于最终获得更精细和完整的输出。

步骤102，从预置的样本集中选取样本。

在本实施例中，图像生成模型训练方法的执行主体可以首先通过多种方式来获取预置的样本集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的现有的样本集。再例如，用户可以通过终端(例如与上述数据库服务器连接的终端)来收集样本。这样，执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。

在这里，样本集中可以包括至少一个样本。其中，样本可包括第一域图像和多个不同尺度的第二域图像。域指的是图像的类别，例如，男性、女性、油画、照片、漫画等。样本可包括第一域照片图像和转换成第二域漫画图像。第一域和第二域图像类型在此不做限定，可以是任意的组合。

本实施例中，获得不同尺度的第二域图像时，可以首先获得一个原始第二域图像，对原始第二域图像进行不同倍率的缩放，可以得到不同尺度的第二域图像，本实施例中，不同尺度的图像是指分辨率不同的图像。

在本实施例中，执行主体可以从步骤102中获取的样本集中选取样本，以及执行步骤102至步骤105的训练步骤。其中，样本的选取方式和选取数量在本申请中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取清晰度较好(即像素较高)的样本。每个样本可以是多对图像。多对图像中包括一个第一域图像和多个不同尺度的第二域图像。可根据实际需求选择第一域图像和多个不同尺度的第二域图像。例如，如果需要进行图像性别转换，由男性转为女性，则选择男性图像作为第一域图像，选择多个不同尺度的女性图像作为多个不同尺度的第二域图像。如果需要进行图像风格转换，由照片转为漫画，则选择男性照片、女性照片、风景照片等照片中一种照片作为第一域图像，相应地选择男性漫画、女性漫画、风景漫画等漫画中一种作为第二域图像，并且选择的第二域图像包括多种不同尺度。图像风格转换也可以是多种组合，例如，油画转照片、照片转国画、国画转照片、莫奈转毕加索等。只需要将原类型的图像作为第一域图像，将目标类型的图像作为多个不同尺度的第二域图像，即可实现任意类型之间的图像转换。

步骤103，将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像。

在本实施例中，生成模块可将输入的第一域图像转换成第二域的伪图像。例如，如图2所示，向生成式对抗网络输入一个照片人脸图像，任一生成模块均会输出一个Q萌人脸漫画图像，在图2中输入的是男性的人脸图像，各个生成模块GS1、GS2、GS3、GS4、GS5均会输出一个Q萌男性漫画图像，只是各个生成模块输出的图像的尺度不同，从GS1、GS2、GS3、GS4、GS5输出的图像的分辨率呈倍率增加。

本实施例中，生成器解码器被划分为多个不同分辨率的生成模块(各个生成模块除输入分辨率不同外，均可以保持相似的结构)，首部的生成模块(比如GS1)首先生成相对比较完整的低分辨率的图片，后面的生成模块(比如GS2、GS3、GS4、GS5)，可以通过类似于图片分辨率超分重建的过程，生成更高分辨率且比较完整的图片。首部的生成模块生成的低分辨率的图片一般转换的比较完整，只是分辨率相对低一些，而后面的更高分辨率生成模块就可以更多关注于分辨率提升(较少关注语义转换)，每一个生成模块职责相对比较单一。

本实施例中，通过多分辨率的生成模块该种串联设计，使得越到后面的生成模块输出的图片更加精细，最终生成的图片无论是转换的语义完整性还是纹理丰富度以及细节清晰度都有大幅度提升。

步骤104，针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算生成式对抗网络的损失值。

本实施例中，除了各个判别模块的尺度不同之外，本申请中的各个判别模块的功能与经典对抗式生成网络的判别器相同。由于各个判别模块的功能与经典对抗式生成网络的判别器相同，因此计算各个判别模块的损失值的过程与经典的判别器的损失值的过程相同。

各个判别模块若判定与其对应的生成模块所输出的伪图像是输入的第二域图像，则可以输出1；若判定上述生成模块所输出的伪图像不是输入的第二域图像，则可以输出0。需要说明的是，各个判别模块也可以基于预先设定是输出其他数值，不限于1和0，比如，置信度分数值等。

本实施例中，如图2或图3所示，判别模块D1对生成模块GS1输出的图片进行判别，生成模块GS1输出和判别模块D1输入的分辨率是相同的。

图2或图3中，判别模块D2对生成模块GS2输出的图片进行判别，生成模块GS2输出和判别模块D2输入分辨率是相同的。

图2或图3中，判别模块D3对生成模块GS3输出的图片进行判别，生成模块GS3输出和判别模块D3输入分辨率是相同的。

图2或图3中，判别模块D4对生成模块GS4输出的图片进行判别，生成模块GS4输出和判别模块D4输入分辨率是相同的。

图2或图3中，判别模块D5对生成模块GS5输出的图片进行判别，生成模块GS5输出和判别模块D5输入分辨率是相同的。

本实施例中，计算生成式对抗网络的损失值的方式可以有多种，例如，计算各个判别模块的损失值，将所有判别模块的损失值按照损失值从大到小进行排序，选取损失值前几位(例如，3位)求平均得到生成式对抗网络的损失值。

在本实施例的一些可选实现方式中，计算生成式对抗网络的损失值包括：计算各个判别模块的损失值；对所有判别模块的损失值求均值，得到平均损失值，将平均损失值作为生成式对抗网络的损失值。

本可选实现方式中，计算各个判别模块的损失值，对所有判别模块的损失值求均值，得到的生成式对抗网络的损失值参照所有判别模块的损失值，提高了生成式对抗网络的损失值得到的可靠性。

在本实施例的一些可选实现方式中，计算生成式对抗网络的损失值包括：计算各个判别模块的损失值，获取各个判别模块的尺度权重值；将各个判别模块的损失值与其对应的尺度权重值相乘，得到各个判别模块的权重损失值；对所有判别模块的权重损失值求均值，得到生成式对抗网络的损失值。

本可选实现方式中，各个判别模块的尺度权重值可以根据各个判别模块的尺度进行预先设置，比如，判别模块的尺度相对大时，分配的判别模块的尺度权重值也相应地的增大。

本可选实现方式中，通过判别模块的损失值以及尺度权重值，计算生成式对抗网络的损失值，可以更好地确定生成式对抗网络的损失，保证生成式对抗网络训练的可靠性。

在本实施例的一些可选实现方式中，计算生成式对抗网络的损失值包括：计算各个判别模块的损失值，获取各个判别模块的尺度权重值；将各个判别模块的损失值与其对应的尺度权重值相乘，得到各个判别模块的权重损失值；将所有判别模块的权重损失值相加之后并除以所有判别模块的尺度权重值之和，得到生成式对抗网络的损失值。

本实施例中，得到各个判别模块的损失值之后，基于所有判别模块的损失值得到生成式对抗式网络的损失值，然后对生成式对抗式网络的损失值进行反向传播，计算生成式对抗式网络的梯度，可以更新生成式对抗式网络的各层参数权重。

步骤105，响应于确定生成式对抗网络满足训练完成条件，将生成网络作为图像生成模型。

在本实施例中，训练完成条件包括以下至少一项：训练迭代次数达到预定迭代阈值，所有判别模块的判别准确率均在预定范围内，生成式对抗网络的损失值小于预定损失值阈值。

例如，训练迭代达到5千次。生成式对抗网络的损失值小于0.05，判别模块的判别准确率达到50％。训练完成后只保留生成网络作为图像生成模型。设置训练完成条件可以加快模型收敛速度。

本实施例一些可选实现方式中，在步骤105之后，还可以包括：调整步骤，若生成式对抗网络不满足训练完成条件，则调整生成式对抗网络中的相关参数使得损失值收敛，基于调整后的生成式对抗网络，继续执行步骤102-105。

在本实施例中，若训练未完成，则调整生成网络或判别器的参数来使得损失值收敛。可先保持判别器的参数不变(即保持判别器中各个判别模块的参数不变)，反复执行步骤102-步骤105、调整步骤，调整对应生成网络的参数，使得损失值逐渐变小直至稳定。然后再保持生成器的参数不变，反复执行步骤102-步骤105、调整步骤，调整判别器的参数(比如统一调整所有判别模块的参数)，使得损失值逐渐变大直至稳定。交替训练生成器的参数和判别器的参数，直至损失值收敛。

本实施例提供的图像生成模型训练方法，通过把生成器的解码器部分划分多个生成模块，每个生成模块输出的分辨率依次增加，并且每一生成模块的输出分别送到对应尺度的判别模块进行判别，加以监督。由于生成式对抗网络在低分辨率生成上比较容易，而且收敛也比较快，后面更高分辨率的网络模块更多关注于分辨率提升，通过这种多分辨率级联的设计，依次生成更高分辨率的图片，使得最终生成的图片无论是整体的语义完整度还是局部纹理丰富度和清晰度都明显得到提升。

通过本实施例提供的图像生成模型训练方法生成的图像生成模型，不仅适用于如循环生成对抗网络(cycleGAN)、pix2pix(像素点对像素点做出预测，predict from pixelsto pixels)等图片翻译的框架，而且还广泛适用于与对抗式生成网络的图片生成相关的十分广阔的领域，只需要把生成器的解码器进行拆分，并对中间的输出送入对应尺度的判别模块分别进行判别来加以监督，就可大大提升最后生成图片的效果，生成的图片的瑕疵往往更少，完整度、清晰度和真实度等都有明显提升，在图片生成领域具有十分重要的利用价值。

请参见图4，其示出了本申请提供的图像生成方法的一个实施例的流程400。该图像生成方法可以包括以下步骤：

步骤401，获取待处理图像。

在本实施例中，图像生成方法的执行主体可以通过多种方式来获取待转换的图像。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的待处理图像。再例如，执行主体也可以接收终端(例如与数据库服务器连接的终端)或其他设备采集的待处理图像。

在本实施例中，获取待处理图像可以是彩色图像和/或灰度图像等等。且该待处理图像的格式在本申请中也不限制。

步骤402，将待处理图像输入图像生成模型中，输出生成后的图像。

在本实施例中，执行主体可以将步骤401中获取的待处理图像输入图像生成模型中，从而使图像生成模型输出生成后的图像。步骤101-107训练生成的图像生成模型可以将图像从第一域转换成第二域，采用由步骤101-107训练得到的图像生成模型，输入照片格式人脸图像，可以转换成Q萌人脸图像。

在本实施例中，图像生成模型可以是采用如上述图1实施例所描述的方法而生成的。具体生成过程可以参见图1实施例的相关描述，在此不再赘述。

需要说明的是，本实施例图像生成方法可以用于测试上述各实施例所生成的图像生成模型。进而根据转换结果可以不断地优化图像生成模型。该方法也可以是上述各实施例所生成的图像生成模型的实际应用方法。采用上述各实施例所生成的图像生成模型，来进行图像生成，有助于提高生成的图像的精细度。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了图像生成模型训练装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图5所示，本实施例提供的图像生成模型训练装置500包括：网络建立单元501，样本选取单元502，样本输入单元503，图像输入单元504，模型输出单元505。其中，上述网络建立单元501，可以被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络的解码器包括多个串联连接的生成模块，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立。上述样本选取单元502，可以被配置成从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像。上述样本输入单元503，可以被配置成将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像。上述图像输入单元504，可以被配置成针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算生成式对抗网络的损失值。上述模型输出单元505，可以被配置成响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。

在本实施例中，图像生成模型训练装置500中：网络建立单元501、样本选取单元502、样本输入单元503、图像输入单元504、模型输出单元505的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述各个生成模块的输出图像的尺度是输入图像的2倍。

在本实施例的一些可选的实现方式中，上述生成式对抗网络还包括：多个不同尺度的上采样模块；各个上采样模块与其对应尺度的生成模块并联连接，且与各个上采样模块并联的生成模块不包括多个生成模块中的首部和尾部的生成模块。

在本实施例的一些可选的实现方式中，上述图像输入单元504包括：计算模块(图中未示出)，均值模块(图中未示出)。其中，计算模块，可以被配置成计算各个判别模块的损失值。均值模块，可以被配置成对所有判别模块的损失值求均值，得到平均损失值，将平均损失值作为生成式对抗网络的损失值。

在本实施例的一些可选的实现方式中，上述图像输入单元504包括：计损模块(图中未示出)，获取模块(图中未示出)，相乘模块(图中未示出)，得到模块(图中未示出)。其中，上述计损模块，被配置成计算各个判别模块的损失值。上述获取模块，可以被配置成获取各个判别模块的尺度权重值。上述相乘模块，可以被配置成将各个判别模块的损失值与其对应的尺度权重值相乘，得到各个判别模块的权重损失值。上述得到模块，可以被配置成对所有判别模块的权重损失值求均值，得到生成式对抗网络的损失值。

通过本实施例提供的图像生成模型训练装置生成的图像生成模型，通过本实施例提供的图像生成模型训练方法生成的图像生成模型，不仅适用于如循环生成对抗网络(cycleGAN)、pix2pix(像素点对像素点做出预测，predict from pixels to pixels)等图片翻译的框架，而且还广泛适用于与对抗式生成网络的图片生成相关的十分广阔的领域，只需要把生成器的解码器进行拆分，并对中间的输出送入对应尺度的判别模块分别进行判别来加以监督，就可大大提升最后生成图片的效果，生成的图片的瑕疵往往更少，完整度、清晰度和真实度等都有明显提升，在图片生成领域具有十分重要的利用价值。

继续参见图6，作为对上述图4所示方法的实现，本申请提供了一种图像生成装置的一个实施例。该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的图像生成装置600可以包括：图像获取单元601，被配置成获取待处理图像。图像输出单元602，被配置成将待处理图像输入如上述图1或图4实施例所描述的方法生成的图像生成模型中，输出生成后的图像。

可以理解的是，该装置600中记载的诸单元与参考图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的图像生成模型训练方法或图像生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的图像生成模型训练方法或图像生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像生成模型训练方法或图像生成方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像生成模型训练方法对应的程序指令/模块(例如，附图5所示的网络建立单元501，样本选取单元502，样本输入单元503，图像输入单元504，模型输出单元505)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像生成模型训练方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像生成模型训练方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至图像生成模型训练方法或图像生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像生成模型训练方法或图像生成方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线705或者其他方式连接，图7中以通过总线705连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与图像生成模型训练方法或图像生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种图像生成模型训练方法，所述方法包括：

获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的解码器包括多个串联连接的生成模块，所述多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；所述生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；

执行以下训练步骤：从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；将该样本的第一域图像输入所述生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算所述生成式对抗网络的损失值；响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。

2.根据权利要求1所述的方法，其中，各个生成模块的输出图像的尺度是输入图像的2倍。

3.根据权利要求1所述的方法，其中，所述生成式对抗网络还包括：多个不同尺度的上采样模块；

各个上采样模块与其对应尺度的生成模块并联连接，且与各个上采样模块并联的生成模块不包括所述多个生成模块中的首部和尾部的生成模块。

4.根据权利要求1所述的方法，其中，所述计算所述生成式对抗网络的损失值包括：

计算各个判别模块的损失值；

对所有判别模块的损失值求均值，得到平均损失值，将所述平均损失值作为所述生成式对抗网络的损失值。

5.根据权利要求1所述的方法，其中，所述计算所述生成式对抗网络的损失值包括：

计算各个判别模块的损失值；

获取各个判别模块的尺度权重值；

将各个判别模块的损失值与其对应的尺度权重值相乘，得到各个判别模块的权重损失值；

对所有判别模块的权重损失值求均值，得到所述生成式对抗网络的损失值。

6.一种图像生成方法，所述方法包括：

获取待处理图像；

将所述待处理图像输入采用如权利要求1-5中任一项所述的方法生成的图像生成模型中，输出生成后的图像。

7.一种图像生成模型训练装置，所述装置包括：

网络建立单元，被配置成获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的解码器包括多个串联连接的生成模块，所述多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；所述生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；

样本选取单元，被配置成从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；

样本输入单元，被配置成将该样本的第一域图像输入所述生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；

图像输入单元，被配置成针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算所述生成式对抗网络的损失值；

模型输出单元，被配置成响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。

8.根据权利要求7所述的装置，其中，各个生成模块的输出图像的尺度是输入图像的2倍。

9.根据权利要求7所述的装置，其中，所述生成式对抗网络还包括：多个不同尺度的上采样模块；

各个上采样模块与其对应尺度的生成模块并联连接，且与各个上采样模块并联的生成模块不包括所述多个生成模块中的首部和尾部的生成模块。

10.根据权利要求7所述的装置，其中，所述图像输入单元包括：

计算模块，被配置成计算各个判别模块的损失值；

均值模块，被配置成对所有判别模块的损失值求均值，得到平均损失值，将所述平均损失值作为所述生成式对抗网络的损失值。

11.根据权利要求7所述的装置，其中，所述图像输入单元包括：

计损模块，被配置成计算各个判别模块的损失值；

获取模块，被配置成获取各个判别模块的尺度权重值；

相乘模块，被配置成将各个判别模块的损失值与其对应的尺度权重值相乘，得到各个判别模块的权重损失值；

得到模块，被配置成对所有判别模块的权重损失值求均值，得到所述生成式对抗网络的损失值。

12.一种图像生成装置，所述装置包括：

图像获取单元，被配置成获取待处理图像；

图像输出单元，被配置成将所述待处理图像输入采用如权利要求1-5中任一项所述的方法生成的图像生成模型中，输出生成后的图像。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images