CN111047507A - 图像生成模型的训练方法、图像生成方法及装置 - Google Patents

Abstract

本公开关于图像生成模型的训练方法、图像生成方法及装置，该训练方法包括：获取训练样本图像和目标生成图像；将训练样本图像输入图像生成模型的生成器输出训练结果图像，根据目标生成图像、训练结果图像和损失函数阈值确定辅助损失函数；根据图像生成模型的优化损失函数、辅助损失函数和辅助损失函数的权重得到生成器的最终损失函数；根据最终损失函数对生成器进行训练，直至满足收敛条件。本公开选择最小化绝对误差损失函数或最小化平方误差损失函数作为辅助损失函数，既可以实现像素值差别较小的像素点的梯度得到稳定保证，又可以实现像素值差别较大的像素点具有更大的梯度，提升图像生成模型的图像处理效果。

Description

图像生成模型的训练方法、图像生成方法及装置

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像生成模型的训练方法、图像生成方法及装置。

背景技术

生成对抗网络(Generative Adversarial Networks，GAN)是一种基于模型对抗的生成技术，通过生成器与辨别器在训练过程中的博弈来对目标分布进行拟合。GAN在各种产品中有着广泛的应用，在图像风格转换等领域有着重要作用。GAN被用来通过不同的卷积结构来生成真实自然的高质量图像。为了使GAN生成的图像更清晰真实，目前已经提出了大量的基于损失函数的改进方案。

在常用的一种基于配对数据的图像风格转换方案中，需要通过损失函数反向传播的方式对生成器进行更新，使得生成器可以高效学习数据分布之间的转换，以便完成高质量的图像风格转换。

相关技术中，基于配对数据的图像风格转换方案中仅使用一种损失函数更新生成器，常用的损失函数通常为L1损失函数(最小化绝对误差)或者L2损失函数(最小化平均误差)。如果使用L1损失函数更新生成器，那么生成器生成的图像会存在一些较为明显的锯齿状，在边缘部位清晰度较低；如果使用L2损失函数更新生成器，那么生成器生成的图像整体会有一些模糊，对较为细致的纹理，如人脸生成任务中皮肤的纹理等生成效果较差。因此，目前的图像风格转换方案生成的图像效果不理想。

发明内容

本公开提供了一种图像生成模型的训练方法、图像生成方法及装置，以至少解决相关技术中图像生成效果不理想的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供了一种图像生成模型的训练方法，包括：获取训练样本图像和与所述训练样本图像对应的目标生成图像；将所述训练样本图像输入图像生成模型的生成器，输出训练结果图像，所述训练结果图像与所述目标生成图像均为基于所述训练样本图像生成的图像内容相同、图像风格不同的图像；根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数，所述辅助损失函数表示最小化绝对误差损失函数或最小化平方误差损失函数；根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数；根据所述最终损失函数对所述生成器进行训练，直至将所述训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与所述目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

可选地，所述根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数的步骤，包括：按照预设的第一转换函数将所述目标生成图像中各像素点的像素值转换为第一转换结果，并按照预设的第二转换函数将所述训练结果图像中各像素点的像素值转换为第二转换结果；将所述目标生成图像中各像素点的所述第一转换结果与所述训练结果图像中相对应的各像素点的所述第三转换结果之间的差值，与所述损失函数阈值进行比较得到比较结果；根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数；其中，所述第一转换函数表示Y1＝(Y/255.0–0.5)/0.5，所述Y1表示所述目标生成图像中各像素点的所述第一转换结果，所述Y表示所述目标生成图像中各像素点的像素值，所述Y≥0，且所述Y≤255；所述第二转换函数表示双曲正切函数。

可选地，所述辅助损失函数还表示最小化立方绝对误差损失函数；所述根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数的步骤，包括：当所述比较结果表示所述差值小于或等于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化绝对误差损失函数；当所述比较结果表示所述差值大于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化平方误差损失函数或所述最小化立方绝对误差损失函数；

其中，所述最小化绝对误差损失函数表示

所述最小化平方误差损失函数表示

所述最小化立方绝对误差损失函数表示

所述len(delta)表示所述目标生成图像和所述训练结果图像中相对应的像素点的数量，所述i表示所述目标生成图像和所述训练结果图像中相对应的像素点的序号，所述delta_i表示所述目标生成图像和所述训练结果图像中相对应的各像素点的所述差值。

可选地，所述根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数的步骤，包括：根据如下公式生成所述最终损失函数：Loss_G＝L(G,D)+alpha*loss；

其中，所述Loss_G表示所述最终损失函数，所述L(G,D)表示所述优化损失函数，所述alpha表示所述权重，所述alpha大于0，且所述alpha小于或等于1，所述loss表示所述辅助损失函数；

所述

所述G表示所述生成器，所述G(x)表示所述训练结果图像中各像素点的像素值，所述x表示所述训练样本图像中各像素点的像素值，所述D表示所述图像生成模型的判别器，所述D()表示所述判别器的输出结果，所述(D(x，G(x))-1)²表示目标函数，所述

()表示所述目标函数的数学期望，所述p_data(x)表示所述图像生成模型在训练过程中按照随机的顺序输入所有的训练样本图像输出的图像队列，所述x～p_data(x)表示所述训练样本图像与所述图像队列之间的对应关系。

根据本公开实施例的第二方面，提供了一种图像生成方法，包括：获取待处理的第一图像；将所述第一图像输入至图像生成模型，输出第二图像；其中，所述图像生成模型根据如第一方面所述的图像生成模型的训练方法训练得到，所述第二图像的图像风格符合预设的风格类型条件。

根据本公开实施例的第三方面，提供了一种图像生成模型的训练装置，包括：获取模块，被配置为获取训练样本图像和与所述训练样本图像对应的目标生成图像；输入模块，被配置为将所述训练样本图像输入图像生成模型的生成器，输出训练结果图像，所述训练结果图像与所述目标生成图像均为基于所述训练样本图像生成的图像内容相同、图像风格不同的图像；确定模块，被配置为根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数，所述辅助损失函数表示最小化绝对误差损失函数或最小化平方误差损失函数；生成模块，被配置为根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数；训练模块，被配置为根据所述最终损失函数对所述生成器进行迭代训练，直至将所述训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与所述目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

可选地，所述确定模块，包括：像素转换模块，被配置为按照预设的第一转换函数将所述目标生成图像中各像素点的像素值转换为第一转换结果，并按照预设的第二转换函数将所述训练结果图像中各像素点的像素值转换为第二转换结果；数值比较模块，被配置为将所述目标生成图像中各像素点的所述第一转换结果与所述训练结果图像中相对应的各像素点的所述第二转换结果之间的差值，与所述损失函数阈值进行比较得到比较结果；函数选择模块，被配置为根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数；其中，所述第一转换函数表示Y1＝(Y/255.0–0.5)/0.5，所述Y1表示所述目标生成图像中各像素点的所述第一转换结果，所述Y表示所述目标生成图像中各像素点的像素值，所述Y≥0，且所述Y≤255；所述第二转换函数表示双曲正切函数。

可选地，所述辅助损失函数还表示最小化立方绝对误差损失函数；所述函数选择模块，被配置为当所述比较结果表示所述差值小于或等于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化绝对误差损失函数；当所述比较结果表示所述差值大于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化平方误差损失函数或所述最小化立方绝对误差损失函数；

其中，所述最小化绝对误差损失函数表示

所述最小化平方误差损失函数表示

所述最小化立方绝对误差损失函数表示

所述len(delta)表示所述目标生成图像和所述训练结果图像中相对应的像素点的数量，所述i表示所述目标生成图像和所述训练结果图像中相对应的像素点的序号，所述delta_i表示所述目标生成图像和所述训练结果图像中相对应的各像素点的所述差值。

可选地，所述生成模块，被配置为根据如下公式生成所述最终损失函数：Loss_G＝L(G,D)+alpha*loss；

其中，所述Loss_G表示所述最终损失函数，所述L(G,D)表示所述优化损失函数，所述alpha表示所述权重，所述alpha大于0，且所述alpha小于或等于1，所述loss表示所述辅助损失函数；

所述

所述G表示所述生成器，所述G(x)表示所述训练结果图像中各像素点的像素值，所述x表示所述训练样本图像中各像素点的像素值，所述D表示所述图像生成模型的判别器，所述D()表示所述判别器的输出结果，所述(D(x，G(x))-1)²表示目标函数，所述

()表示所述目标函数的数学期望，所述p_data(x)表示所述图像生成模型在训练过程中按照随机的顺序输入所有的训练样本图像输出的图像队列，所述x～p_data(x)表示所述训练样本图像与所述图像队列之间的对应关系。

根据本公开实施例的第四方面，提供了一种图像生成装置，包括：图像获取模块，被配置为获取待处理的第一图像；图像输入模块，被配置为将所述第一图像输入至图像生成模型，输出第二图像；其中，所述图像生成模型根据如第一方面所述的图像生成模型的训练方法训练得到，所述第二图像的图像风格符合预设的风格类型条件。

根据本公开实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像生成模型的训练方法。

根据本公开实施例的第六方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第二方面所述的图像生成方法。

根据本公开实施例的第七方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像生成模型的训练方法。

根据本公开实施例的第八方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第二方面所述的图像生成方法。根据本公开实施例的第九方面，提供了一种计算机程序产品，包括可读性程序代码，所述可读性程序代码可由电子设备的处理器执行以完成上述第一方面所述的图像生成模型的训练方法。

根据本公开实施例的第十方面，提供了一种计算机程序产品，包括可读性程序代码，所述可读性程序代码可由电子设备的处理器执行以完成上述第二方面所述的图像生成方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开的实施例首先获取训练样本图像和与训练样本图像对应的目标生成图像，将训练样本图像输入图像生成模型的生成器，输出训练结果图像。训练结果图像与目标生成图像均为基于训练样本图像生成的图像内容相同、图像风格不同的图像。然后，根据目标生成图像中各像素点的像素值与训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定训练样本图像中各像素点相对应的预设的辅助损失函数。辅助损失函数可以表示最小化绝对误差损失函数或最小化平方误差损失函数。再根据图像生成模型的优化损失函数、辅助损失函数和辅助损失函数的权重得到生成器的最终损失函数。接下来，根据最终损失函数对生成器进行训练，直至将训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

本公开的实施例根据目标生成图像中各像素点的像素值与训练结果图像中相对应的各像素点的像素值，以及损失函数阈值，确定训练样本图像中各像素点对应的辅助损失函数，即为训练样本图像中各像素点确定辅助损失函数为最小化绝对误差损失函数或最小化平方误差损失函数。本公开的实施例可以动态地选择最小化绝对误差损失函数作为训练样本图像中一部分像素点的辅助损失函数，并选择最小化平方误差损失函数作为训练样本图像另一部分像素点的辅助损失函数。若根据利用最小化绝对误差损失函数得到的最终损失函数训练生成器，则将训练样本图像输入至训练完毕的生成器，输出的新的训练结果图像中与目标生成图像中相对应且像素值差别较小的像素点的梯度得到稳定保证。若根据利用最小化平方误差损失函数得到的最终损失函数训练生成器，则将训练样本图像输入值训练完毕的生成器，输出的新的训练样本图像中与目标生成图像中相对应且像素值差别较大的像素点具有更大的梯度，总体上提升了图像生成模型的图像处理效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。

图2是根据一示例性实施例示出的一种用于转换图像风格的GAN的训练方法的操作示意图。

图3是根据一示例性实施例示出的一种图像生成方法的流程图。

图4是根据一示例性实施例示出的一种图像生成模型的训练装置的框图。

图5是根据一示例性实施例示出的一种图像生成装置的框图。

图6是根据一示例性实施例示出的一种图像生成模型的训练电子设备的框图。

图7是根据一示例性实施例示出的一种用于对图像生成模型进行训练的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图，如图1所示，该图像生成模型可以应为GAN，GAN由两部分组成，一部分为生成器，另一部分为判别器。通过生成器与判别器之间的博弈、对抗达到GAN的理想效果。例如，首先，有一个一代的生成器和一个一代的判别器，一代的生成器可以生成一些很差的图像，一代的判别器可以准确的把生成的图像和真实的图像进行分类。简而言之，判别器就是一个二分类器，对生成的图像输出0，对真实的图像输出1。然后，开始训练出二代的生成器，二代的生成器可以生成稍好一点的图像，能够让一代的判别器认为这些生成的图像是真实的图像。而且，还会训练出一个二代的判别器，它能准确的识别出真实的图像，和二代的生成器生成的图像。以此类推，会有三代、四代、……，更多代的生成器和判别器，最后的判别器无法分辨生成的图像和真实的图像，至此，GAN就拟合了。该图像生成模型的训练方法可以包括以下步骤。

在步骤S11中，获取训练样本图像和与训练样本图像对应的目标生成图像。

在本公开的实施例中，训练样本图像和目标生成图像可以成对出现。训练样本图像可以为图像风格为A的图像，目标生成图像可以为图像风格为B的图像。而且，训练样本图像中的图像内容与目标生成图像中的图像内容相同。例如，训练样本中包含一个人、一辆车。目标生成图像中也包含一个人、一辆车。而且，一个人、一辆车在训练样本图像和目标生成图像中的姿态、位置、角度等均相同。可以理解为，训练样本图像和目标生成图像为一原始图像在图像风格A和图像风格B下的两种表现形式。

在步骤S12中，将训练样本图像输入图像生成模型的生成器，输出训练结果图像。

在本公开的实施例中，可以将训练样本图像输入至GAN的生成器中，输出训练结果图像。训练结果图像与目标生成图像均为基于训练样本图像生成的图像内容相同、图像风格不同的图像。输出训练结果图像的目的在于将训练结果图像与目标生成图像进行比较得到比较结果，进而根据比较结果确定生成器是否需要训练以及如何训练。

在步骤S13中，根据目标生成图像中各像素点的像素值与训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定训练样本图像中各像素点相对应的预设的辅助损失函数。

在本公开的实施例中，在确定训练样本图像中各像素点相对应的预设的辅助损失函数时，先分别对目标生成图像和训练结果图像的各像素点的像素值进行转换，然后将转换后得到的第一转换结果和第二转换结果相减得到差值，再将差值与损失函数阈值进行比较得到比较结果，进而，根据比较结果确定训练样本图像中各像素点相对应的预设的辅助损失函数。

在实际应用中，可以按照预设的第一转换函数将目标生成图像的各像素点的像素值转换为第一转换结果，第一转换函数可以表示为：

Y1＝(Y/255.0–0.5)/0.5；

其中，Y1表示目标生成图像的各像素点的像素值进行转换后的数值即第一转换结果，Y表示目标生成图像的各像素点的像素值，255≥Y≥0，1≥Y1≥-1。

在实际应用中，可以按照预设的第二转换函数将训练结果图像的各像素点的像素值转换为第二转换结果。第二转换函数可以为双曲正切函数，例如，利用Tanh函数转换训练结果图像的各像素点的像素值，其中，训练结果图像的各像素点的像素值进行转换后的数值即第二转换结果为Y’，1≥Y’≥-1。Tanh函数是一种非线性函数，Tanh函数又称作双曲正切函数，Tanh函数的输出和输入能够保持非线性单调上升和下降关系，符合梯度求解，容错性好，有界，渐进于0、1，符合人脑神经饱和的规律。

然后，计算第一转换结果与第二转换结果之间的差值，将差值与损失函数阈值进行比较得到比较结果。例如，计算delta＝Y’-Y，delta表示第一转换结果与第二转换结果之间的差值，2≥delta≥-2。在实际应用中，还可以计算第一转换结果与第二转换结果之间的差值的绝对值，将绝对值与损失函数阈值进行比较得到比较结果。

在实际应用中，在根据比较结果确定训练样本图像中各像素点相对应的预设的辅助损失函数时，当比较结果表示差值小于或等于损失函数阈值时，确定训练样本图像中与比较结果对应的像素点相对应的辅助损失函数为最小化绝对误差损失函数。

上述最小化绝对误差损失函数可以表示为：

其中，loss1表示最小化绝对误差损失函数，len(delta)表示目标生成图像和训练结果图像中相对应的像素点的数量，i表示目标生成图像和训练结果图像中相对应的像素点的序号，delta_i表示目标生成图像和训练结果图像中相对应的各像素点的差值。

当比较结果表示差值大于损失函数阈值时，确定训练样本图像中与比较结果对应的像素点相对应的辅助损失函数为最小化平方误差损失函数或最小化立方绝对误差损失函数。

上述最小化平方误差损失函数可以表示为：

其中，loss2表示最小化平方误差损失函数，len(delta)表示目标生成图像和训练结果图像中相对应的像素点的数量，i表示目标生成图像和训练结果图像中相对应的像素点的序号，delta_i表示目标生成图像和训练结果图像中相对应的各像素点的差值。

上述最小化立方绝对误差损失函数可以表示为：

其中，loss3表示最小化立方绝对误差损失函数，len(delta)表示目标生成图像和训练结果图像中相对应的像素点的数量，i表示目标生成图像和训练结果图像中相对应的像素点的序号，delta_i表示目标生成图像和训练结果图像中相对应的各像素点的差值。

需要说明的是，上述损失函数阈值可以根据实际情况设定，例如，损失函数阈值可以为1、delta的平均值、delta的中位数或delta的几何平均数等等，本公开实施例对损失函数阈值的数值、单位等不做具体限制。

在步骤S14中，根据图像生成模型的优化损失函数、辅助损失函数和辅助损失函数的权重得到生成器的最终损失函数。

在实际应用中，可以根据如下公式生成最终损失函数：

Loss_G＝L(G,D)+alpha*loss；

其中，Loss_G表示最终损失函数，L(G,D)表示优化损失函数，alpha表示权重，alpha大于0，且alpha小于或等于1，loss表示辅助损失函数。

上述优化损失函数可以表示为：

其中，G表示生成器，G(x)表示训练结果图像中各像素点的像素值，x表示训练样本图像中各像素点的像素值，D表示图像生成模型的判别器，D()表示判别器的输出结果，(D(x，G(x))-1)²表示目标函数，

()表示目标函数的数学期望，p_data(x)表示图像生成模型在训练过程中按照随机的顺序输入所有的训练样本图像输出的图像队列，x～p_data(x)表示训练样本图像与图像队列之间的对应关系。

在步骤S15中，根据最终损失函数对生成器进行训练，直至将训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

在本公开实施例中，在根据最终损失函数对生成器进行训练时，可以调整各网络层的参数，直至将训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。其中，收敛条件可以包括但不限于：新的训练结果图像的各像素点的像素值与目标生成图像中相对应的各像素点的像素值之间的差值在预设的差值范围内，或者，新的训练结果图像的各像素点的像素值与目标生成图像中相对应的各像素点的像素值之间的差值的绝对值小于预设的差值阈值。需要说明的是，上述差值范围和差值阈值均可以根据实际情况设定，本公开的实施例对差值范围和差值阈值的数值、单位等不做具体限制。

基于上述关于一种图像生成模型的训练方法的相关说明，下面介绍一种用于转换图像风格的GAN的训练方法。如图2所示，该GAN包含生成器和判别器。首先，向生成器输入图像风格为A的图像01，生成器输出图像02。判别器根据与图像01对应的图像风格为B的目标生成图像，与图像02相对应的像素点之间的像素值进行判别，输出损失函数。具体地，判别器若确定图像02为生成器生成的图像，而非目标生成图像，则输出生成器的损失函数；判别器若确定图像02为目标生成图像，则输出判别器的损失函数。其中，生成器的损失函数即上述图像生成模型的训练方法中的最终损失函数。输出生成器的损失函数之后，利用生成器的损失函数对生成器进行训练，直至图像01输入至生成器，生成器输出图像n，判别器确定图像n为目标生成图像，至此，生成器的训练过程结束。

图3是根据一示例性实施例示出的一种图像生成方法的流程图，如图3所示，该图像生成方法可以基于上述训练完毕的图像生成模型。该图像生成方法可以包括如下步骤。

在步骤S31中，获取待处理的第一图像。

在本公开的实施例中，第一图像可以为图像风格为A的图像。该图像生成方法的目的在于将图像风格为A的图像转换为图像风格为B的图像，而且，转换前后的两张图像的图像内容保持不变。

在步骤S32中，将第一图像输入至图像生成模型，输出第二图像。

在本公开的实施例中，将第一图像输入至按照上述图像生成模型的训练方法训练完毕的图像生成模型中，输出得到第二图像。

第二图像的图像风格为B，而且，第二图像的图像内容与第一图像的图像内容保持一致。第一图像和第二图像可以认为是同一幅图像分别在图像风格A和图像风格B下的两种表现形式。

本公开的实施例首先获取训练样本图像和与训练样本图像对应的目标生成图像，将训练样本图像输入图像生成模型的生成器，输出训练结果图像。训练结果图像与目标生成图像均为基于训练样本图像生成的图像内容相同、图像风格不同的图像。然后，根据目标生成图像中各像素点的像素值与训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定训练样本图像中各像素点相对应的预设的辅助损失函数。辅助损失函数可以表示最小化绝对误差损失函数或最小化平方误差损失函数。再根据图像生成模型的优化损失函数、辅助损失函数和辅助损失函数的权重得到生成器的最终损失函数。接下来，根据最终损失函数对生成器进行训练，直至将训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

本公开的实施例根据目标生成图像中各像素点的像素值与训练结果图像中相对应的各像素点的像素值，以及损失函数阈值，确定训练样本图像中各像素点对应的辅助损失函数，即为训练样本图像中各像素点确定辅助损失函数为最小化绝对误差损失函数或最小化平方误差损失函数。本公开的实施例可以动态地选择最小化绝对误差损失函数作为训练样本图像中一部分像素点的辅助损失函数，并选择最小化平方误差损失函数作为训练样本图像另一部分像素点的辅助损失函数。若根据利用最小化绝对误差损失函数得到的最终损失函数训练生成器，则将训练样本图像输入至训练完毕的生成器，输出的新的训练结果图像中与目标生成图像中相对应且像素值差别较小的像素点的梯度得到稳定保证。若根据利用最小化平方误差损失函数得到的最终损失函数训练生成器，则将训练样本图像输入值训练完毕的生成器，输出的新的训练样本图像中与目标生成图像中相对应且像素值差别较大的像素点具有更大的梯度，总体上提升了图像生成模型的图像处理效果。

图4是根据一示例性实施例示出的一种图像生成模型的训练装置的框图。所述装置具体可以包括如下模块。

获取模块41，被配置为获取训练样本图像和与所述训练样本图像对应的目标生成图像；

输入模块42，被配置为将所述训练样本图像输入图像生成模型的生成器，输出训练结果图像，所述训练结果图像与所述目标生成图像均为基于所述训练样本图像生成的图像内容相同、图像风格不同的图像；

确定模块43，被配置为根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数，所述辅助损失函数表示最小化绝对误差损失函数或最小化平方误差损失函数；

生成模块44，被配置为根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数；

训练模块45，被配置为根据所述最终损失函数对所述生成器进行迭代训练，直至将所述训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与所述目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

在本公开的一种示例性实施例中，所述确定模块43，包括：

像素转换模块，被配置为按照预设的第一转换函数将所述目标生成图像中各像素点的像素值转换为第一转换结果，并按照预设的第二转换函数将所述训练结果图像中各像素点的像素值转换为第二转换结果；

数值比较模块，被配置为将所述目标生成图像中各像素点的所述第一转换结果与所述训练结果图像中相对应的各像素点的所述第二转换结果之间的差值，与所述损失函数阈值进行比较得到比较结果；

函数选择模块，被配置为根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数；

其中，所述第一转换函数表示Y1＝(Y/255.0–0.5)/0.5，所述Y1表示所述目标生成图像中各像素点的所述第一转换结果，所述Y表示所述目标生成图像中各像素点的像素值，所述Y≥0，且所述Y≤255；所述第二转换函数表示双曲正切函数。

在本公开的一种示例性实施例中，所述辅助损失函数还表示最小化立方绝对误差损失函数；

所述函数选择模块，被配置为当所述比较结果表示所述差值小于或等于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化绝对误差损失函数；当所述比较结果表示所述差值大于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化平方误差损失函数或所述最小化立方绝对误差损失函数；

其中，所述最小化绝对误差损失函数表示

所述最小化平方误差损失函数表示

所述最小化立方绝对误差损失函数表示

所述len(delta)表示所述目标生成图像和所述训练结果图像中相对应的像素点的数量，所述i表示所述目标生成图像和所述训练结果图像中相对应的像素点的序号，所述delta_i表示所述目标生成图像和所述训练结果图像中相对应的各像素点的所述差值。

在本公开的一种示例性实施例中，所述生成模块44，被配置为根据如下公式生成所述最终损失函数：

Loss_G＝L(G,D)+alpha*loss；

其中，所述Loss_G表示所述最终损失函数，所述L(G,D)表示所述优化损失函数，所述alpha表示所述权重，所述alpha大于0，且所述alpha小于或等于1，所述loss表示所述辅助损失函数；

所述

所述G表示所述生成器，所述G(x)表示所述训练结果图像中各像素点的像素值，所述x表示所述训练样本图像中各像素点的像素值，所述D表示所述图像生成模型的判别器，所述D()表示所述判别器的输出结果，所述(D(x，G(x))-1)²表示目标函数，所述

()表示所述目标函数的数学期望，所述p_data(x)表示所述图像生成模型在训练过程中按照随机的顺序输入所有的训练样本图像输出的图像队列，所述x～p_data(x)表示所述训练样本图像与所述图像队列之间的对应关系。

图5是根据一示例性实施例示出的一种图像生成装置的框图。所述装置具体可以包括如下模块。

图像获取模块51，被配置为获取待处理的第一图像；

图像输入模块52，被配置为将所述第一图像输入至图像生成模型，输出第二图像；

其中，所述图像生成模型根据如上所述的图像生成模型的训练装置训练得到，所述第二图像的图像风格符合预设的风格类型条件。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种图像生成模型的训练电子设备600的框图。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

需要说明的是，上述图6中的电子设备600还可以用于实现如上所述的图像生成方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述图像生成模型的训练方法或者图像生成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括可读性程序代码，该可读性程序代码可由电子设备600的处理器620执行以完成上述图像生成模型的训练方法或者图像生成方法。可选地，该程序代码可以存储在电子设备600的存储介质中，该存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图7是根据一示例性实施例示出的一种用于对图像生成模型进行训练的电子设备700的框图。例如，电子设备700可以被提供为一服务器。参照图7，电子设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述图像生成模型的训练方法。

电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理，一个有线或无线网络接口750被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

需要说明的是，上述图7中的电子设备700还可以用于实现如上所述的图像生成方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像生成模型的训练方法，其特征在于，包括：

获取训练样本图像和与所述训练样本图像对应的目标生成图像；

将所述训练样本图像输入图像生成模型的生成器，输出训练结果图像，所述训练结果图像与所述目标生成图像均为基于所述训练样本图像生成的图像内容相同、图像风格不同的图像；

根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数，所述辅助损失函数表示最小化绝对误差损失函数或最小化平方误差损失函数；

根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数；

根据所述最终损失函数对所述生成器进行训练，直至将所述训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与所述目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数的步骤，包括：

按照预设的第一转换函数将所述目标生成图像中各像素点的像素值转换为第一转换结果，并按照预设的第二转换函数将所述训练结果图像中各像素点的像素值转换为第二转换结果；

将所述目标生成图像中各像素点的所述第一转换结果与所述训练结果图像中相对应的各像素点的所述第三转换结果之间的差值，与所述损失函数阈值进行比较得到比较结果；

根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数；

其中，所述第一转换函数表示Y1＝(Y/255.0–0.5)/0.5，所述Y1表示所述目标生成图像中各像素点的所述第一转换结果，所述Y表示所述目标生成图像中各像素点的像素值，所述Y≥0，且所述Y≤255；所述第二转换函数表示双曲正切函数。

3.根据权利要求2所述的方法，其特征在于，所述辅助损失函数还表示最小化立方绝对误差损失函数；

所述根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数的步骤，包括：

当所述比较结果表示所述差值小于或等于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化绝对误差损失函数；

当所述比较结果表示所述差值大于所述损失函数阈值时，确定所述训练样本图像中与所述比较结果对应的像素点相对应的所述辅助损失函数为所述最小化平方误差损失函数或所述最小化立方绝对误差损失函数；

其中，所述最小化绝对误差损失函数表示

所述最小化平方误差损失函数表示

所述最小化立方绝对误差损失函数表示

所述len(delta)表示所述目标生成图像和所述训练结果图像中相对应的像素点的数量，所述i表示所述目标生成图像和所述训练结果图像中相对应的像素点的序号，所述delta_i表示所述目标生成图像和所述训练结果图像中相对应的各像素点的所述差值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数的步骤，包括：

根据如下公式生成所述最终损失函数：

Loss_G＝L(G,D)+alpha*loss；

其中，所述Loss_G表示所述最终损失函数，所述L(G,D)表示所述优化损失函数，所述alpha表示所述权重，所述alpha大于0，且所述alpha小于或等于1，所述loss表示所述辅助损失函数；

所述

所述G表示所述生成器，所述G(x)表示所述训练结果图像中各像素点的像素值，所述x表示所述训练样本图像中各像素点的像素值，所述D表示所述图像生成模型的判别器，所述D()表示所述判别器的输出结果，所述(D(x，G(x))-1)²表示目标函数，所述

表示所述目标函数的数学期望，所述p_data(x)表示所述图像生成模型在训练过程中按照随机的顺序输入所有的训练样本图像输出的图像队列，所述x～p_data(x)表示所述训练样本图像与所述图像队列之间的对应关系。

5.一种图像生成方法，其特征在于，包括：

获取待处理的第一图像；

将所述第一图像输入至图像生成模型，输出第二图像；

其中，所述图像生成模型根据如权利要求1至4中任一项所述的图像生成模型的训练方法训练得到，所述第二图像的图像风格符合预设的风格类型条件。

6.一种图像生成模型的训练装置，其特征在于，包括：

获取模块，被配置为获取训练样本图像和与所述训练样本图像对应的目标生成图像；

输入模块，被配置为将所述训练样本图像输入图像生成模型的生成器，输出训练结果图像，所述训练结果图像与所述目标生成图像均为基于所述训练样本图像生成的图像内容相同、图像风格不同的图像；

确定模块，被配置为根据所述目标生成图像中各像素点的像素值与所述训练结果图像中相对应的各像素点的像素值，以及预设的损失函数阈值，确定所述训练样本图像中各像素点相对应的预设的辅助损失函数，所述辅助损失函数表示最小化绝对误差损失函数或最小化平方误差损失函数；

生成模块，被配置为根据所述图像生成模型的优化损失函数、所述辅助损失函数和所述辅助损失函数的权重得到所述生成器的最终损失函数；

训练模块，被配置为根据所述最终损失函数对所述生成器进行迭代训练，直至将所述训练样本图像输入训练后的生成器，输出新的训练结果图像的各像素点的像素值与所述目标生成图像中相对应的各像素点的像素值满足预设的收敛条件。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，包括：

像素转换模块，被配置为按照预设的第一转换函数将所述目标生成图像中各像素点的像素值转换为第一转换结果，并按照预设的第二转换函数将所述训练结果图像中各像素点的像素值转换为第二转换结果；

数值比较模块，被配置为将所述目标生成图像中各像素点的所述第一转换结果与所述训练结果图像中相对应的各像素点的所述第二转换结果之间的差值，与所述损失函数阈值进行比较得到比较结果；

函数选择模块，被配置为根据所述比较结果确定所述训练样本图像中各像素点相对应的所述辅助损失函数；

其中，所述第一转换函数表示Y1＝(Y/255.0–0.5)/0.5，所述Y1表示所述目标生成图像中各像素点的所述第一转换结果，所述Y表示所述目标生成图像中各像素点的像素值，所述Y≥0，且所述Y≤255；所述第二转换函数表示双曲正切函数。

8.一种图像生成装置，其特征在于，包括：

图像获取模块，被配置为获取待处理的第一图像；

图像输入模块，被配置为将所述第一图像输入至图像生成模型，输出第二图像；

其中，所述图像生成模型根据如权利要求1至4中任一项所述的图像生成模型的训练方法训练得到，所述第二图像的图像风格符合预设的风格类型条件。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像生成模型的训练方法或如权利要求5所述的图像生成方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像生成模型的训练方法或如权利要求5所述的图像生成方法。

Images