CN111709873B - 图像转换模型生成器的训练方法和装置 - Google Patents

Abstract

本申请公开了一种图像转换模型生成器的训练方法和装置，涉及计算机视觉技术领域。具体实现方案为：通过获取源域的第一图像；将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，生成器用于将源域的图像转换至目标域；对第二图像进行前景提取，以生成第二图像的第二前景图像；根据第一前景图像和第二前景图像生成第一损失；以及根据第一损失对生成器进行训练。由此，经过训练后的生成器生成的目标域的图像可以较好的对生成的第二图像的前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合。

Description

图像转换模型生成器的训练方法和装置

技术领域

本申请涉及图像处理技术领域的计算机视觉技术领域，尤其涉及一种图像转换模型生成器的训练方法和装置。

背景技术

机器学习是人工智能的一个分支，其目的是让机器根据先验的知识进行学习，从而具有分类和判断的逻辑能力。例如，可以采用机器学习模型实现跨域图像的风格迁移，如将图像中男性脸转换为女性脸，将图像中的苹果转换为橘子，等等。

但是，由于现实环境比较复杂，现有的跨域图像的风格迁移时生成的图像前景和源域图像背景融合时存在边框差异，不能做到很好的融合，导致生成的图像质量较差。

发明内容

本申请提供了一种图像转换模型生成器的训练方法、装置、电子设备以及存储介质。

本申请第一方面实施例提供了一种图像转换模型生成器的训练方法，所述方法包括：

获取源域的第一图像；

将所述第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，所述生成器用于将源域的图像转换至目标域；

对所述第二图像进行前景提取，以生成第二图像的第二前景图像；

根据所述第一前景图像和所述第二前景图像生成第一损失；以及

根据所述第一损失对所述生成器进行训练。

本申请第二方面实施例提供了一种图像转换模型生成器的训练装置，所述装置包括：

第一获取模块，用于获取源域的第一图像；

输出模块，用于将所述第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，所述生成器用于将源域的图像转换至目标域；

第一生成模块，用于对所述第二图像进行前景提取，以生成第二图像的第二前景图像；

第二生成模块，用于根据所述第一前景图像和所述第二前景图像生成第一损失；以及

第一训练模块，用于根据所述第一损失对所述生成器进行训练。

本申请第三方面实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例的图像转换模型生成器的训练方法。

本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例的图像转换模型生成器的训练方法。

本申请第五方面实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例的图像转换模型生成器的训练方法。

上述申请中的一个实施例具有如下优点或有益效果：相较于现有的图像转换模型生成的图像背景和源域图像背景融合时存在边框差异，导致生成的图像质量较差的问题，本申请中基于生成器生成的第二图像的第一前景图像和对第二图像进行前景提取出的第二前景图像，确定生成器的第一损失，并基于第一损失更新生成器的模型参数，由此，经过训练后的生成器生成的目标域的图像可以较好的对生成的第二图像的前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合，从而有利于提高图像转换模型生成的图像质量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例一提供的图像转换模型生成器的训练方法的流程示意图；

图2为本申请实施例二提供的图像转换模型生成器的训练方法的流程示意图；

图3为本申请实施例三提供的图像转换模型生成器的训练方法的流程示意图；

图4为本申请实施例四提供的图像转换模型生成器的训练装置的结构示意图；

图5是用来实现本申请实施例的图像转换模型生成器的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

对本申请实施例进行介绍说明之前，首先对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

域，对应一个图像数据集，同一域下的图像数据集由同一图像采集设备/成像设备采集得到，例如，源域可以为第一成像设备获取到的第一图像数据集，目标域可以为第二成像设备获取到的第二图像数据集，不同域中的图像具备不同的色彩模式，如，具备不同的色彩分布、光照强度等等。

作为一种可能的情况，图像转换模型，可以将源域图像转换为目标域图像，例如，可以将图像中的男性脸转换为女性脸，也可以将图像中的猫脸转换成狗脸，也可以将图像中的苹果转换为橘子，等等。

为了实现源域图像到目标域图像的转换，相关技术提供了一种循环一致性生成对抗网络(Cycle-Consistent Generative Adversarial Networks，简称CycleGAN)模型。但是，由于现实环境比较复杂，传统的CycleGAN方法生成的图像背景相较于源域图像背景不是很清晰。

例如，采用图像转换模型将图像中的男性脸转换为女性脸时，由于现实环境比较复杂，图像中人脸外的背景部分千变万化，可能导致生成的女性脸背景清晰度不高。

针对上述问题，本申请提出了一种图像转换模型生成器的训练方法，通过获取源域的第一图像；将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，生成器用于将源域的图像转换至目标域；对第二图像进行前景提取，以生成第二图像的第二前景图像；根据第一前景图像和第二前景图像生成第一损失；以及根据第一损失对生成器进行训练。由此，使得图像转换模型的生成器经过训练之后，可以较好的对生成的第二图像的前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合。

下面参考附图描述本申请实施例的图像转换模型生成器的训练方法、装置、电子设备和存储介质。

图1为本申请实施例一提供的图像转换模型生成器的训练方法的流程示意图。

本申请实施例以该图像转换模型生成器的训练方法被配置于图像转换模型生成器的训练装置中来举例说明，该图像转换模型生成器的训练装置可以应用于任一电子设备中，以使该电子设备可以执行图像转换模型生成器的训练功能。

其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统的硬件设备。

如图1所示，该图像转换模型生成器的训练方法，可以包括以下步骤：

步骤101，获取源域的第一图像。

其中，源域的第一图像，可以为已有的图像，也就是用于图像转换的图像。

作为一种可能的情况，假设产品需求是将男女人脸性别转换，即将图像中男性脸转换为女性脸。这种情况下，可以从源域中获取包含有男性脸的第一图像。

步骤102，将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像。

其中，生成器是指源域的生成器，用于将源域的图像转换至目标域。第二图像，是指将源域的图像输入生成器后，生成器输出的图像。

例如，源域图像为男性人脸图像，目标域图像为女性人脸图像，生成器可以用于将男性人脸图像转换为女性人脸图像。

可以理解的是，每一张图像均包括前景和后景，可以将靠近成像设备的图像部分叫做前景。例如，第一图像可以为拍摄的男性人脸，此时，第一图像的第一前景图像为男性人脸部分，第一图像中其他部分则为后景部分。

在一种可能的情况下，在获取到源域的第一图像后，可以对获取到的第一图像进行预处理。例如，可以对第一图像进行大小调整，如可以将第一图像的大小调整为286*286，然后将第一图像的像素值进行归一化处理，如归一化至-1至1之间，进而，可以对归一化处理后的第一图像进行随机剪裁，以实现数据的增强。进一步的，将处理后的第一图像输入生成器，以输出第二图像和第二图像的第一前景图像。

本申请实施例中，在获取到源域的第一图像后，可以将第一图像输入图像转换模型的生成器，生成器可以对第一图像进行特征提取，以得到第一图像的图像特征，进而，生成器可以基于第一图像的图像特征对第一图像进行图像转换，得到第二图像，进而对第二图像进行分割，以得到第二图像的第一前景图像。

在一种可能的情况下，生成器可以由编码器、转换器和解码器组成。生成器的编码器可以利用卷积神经网络从第一图像中提取特征，以得到第一图像的图像特征。其中，第一图像的图像特征中包含有多个特征向量，如，可以将图像压缩成256个64*64的特征向量。进一步的，转换器可以通过组合图像的不相近特征，将第一图像在源域中的特征向量转换为目标域中的特征向量。例如，可以使用6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，能够达到在转换时同时保留原始图像特征的目标。最后，解码器可以利用反卷积层完成从目标域中的特征向量中还原出低级特征的工作，最后得到生成的第二图像。

步骤103，对第二图像进行前景提取，以生成第二图像的第二前景图像。

其中，前景提取，是指从一幅图中提取出任意形状的前景对象，例如，可以对第二图像进行前景提取，以提取出第二图像的前景部分。

作为一种可能的实现方式，可以对第二图像的背景做减法处理，以得到处理后的第二图像的第二前景图像。具体地，可以将第二图像输入背景模型，以根据模型的输出确定第二图像的背景部分，然后，将第二图像与第二图像的背景部分进行作差，从而可以得到第二图像的前景图像。

例如，可以基于第二图像的拍摄背景进行建模，背景建模方法众多，如帧差法、背景减除法等。

作为另一种可能的实现方式，还可以将第二图像输入经过训练的图像分割模型，以根据模型的输出得到第二图像的第二前景图像和背景图像。

步骤104，根据第一前景图像和第二前景图像生成第一损失。

其中，第一损失，可以为交叉熵损失函数的值。在机器学习中，交叉熵可以表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

本申请中，第一损失，可以用于衡量图像转换模型之中的生成器生成的第二图像的第一前景图像和对第二图像进行前景提取得到的第二图像的第二前景图像之间的差异程度。

为了使得图像转换模型之中的生成器生成的目标域的第二图像分割的前景和背景比较好，本申请中，可以采用生成器生成的第二图像的第一前景图像和对第二图像进行前景提取得到的第二图像的第二前景图像的第一损失对应的值对生成器进行训练。由此，训练后的生成器输出的目标域的图像能够对前景和背景进行较好的分割。

可选地，获取到第二图像的第一前景图像和第二前景图像后，可以计算第一前景图像和第二前景图像的相似程度，以根据相似度值确定第一损失对应的值。可以理解的为，第一前景图像和第二前景图像之间的相似度值越大，则第一损失对应的值越小；第一前景图像和第二前景图像之间的相似度值越小，则第一损失对应的值越大。

作为一种可能的实现方式，可以分别将第一前景图像和第二前景图像表示为向量形式，以通过计算两向量之间的余弦距离来表征第一前景图像和第二前景图像之间的相似程度。进而，可以根据第一前景图像和第二前景图像之间的相似程度，确定第一损失对应的值。

作为另一种可能的实现方式，还可以分别计算第一前景图像和第二前景图像的直方图H1和H2，并归一化到相同的尺度空间，然后可以通过计算直方图H1和H2之间的距离得到两个直方图的相似程度，进而可以得到第一前景图像和第二前景图像的相似程度。进而，可以根据第一前景图像和第二前景图像之间的相似程度，确定第一损失对应的值。

需要说明的是，确定第一前景图像和第二前景图像之间相似程度不限于上述方法，还可以采用其余的方式计算第一前景图像和第二前景图像之间相似程度，在此不做限定。

步骤105，根据第一损失对生成器进行训练。

本申请实施例中，根据第一前景图像和第二前景图像生成第一损失后，可以根据第一损失对图像转换模型之中的生成器的模型参数进行调整，以使得训练后的生成器的损失值最小。由此，经过训练后的生成器生成的目标域的图像可以较好的对前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合。

本申请实施例的图像转换模型生成器的训练方法，基于生成器生成的第二图像的第一前景图像和对第二图像进行前景提取出的第二前景图像，确定生成器的第一损失，并基于第一损失更新生成器的模型参数，由此，经过训练后的生成器生成的目标域的图像可以较好的对生成的第二图像的前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合，从而有利于提高图像转换模型生成的图像质量。

在上述实施例的基础上，作为一种可能的情况，为了提高图像转换模型之中判别器的判别能力，本申请中将源域的第一图像输入生成器，生成第二图像后，不是直接将第二图像输入判别器进行判别，而是将生成器生成的第二图像的第一前景图像与第一图像的背景图进行图像融合，以得到第三图像，进而将融合得到的第三图像和生成器生成的第二图像输入判别器进行判别，并对判别器进行训练。下面结合图2对上述过程进行详细介绍，图2为本申请实施例提供的图像转换模型生成器的训练方法的流程示意图。

如图2所示，该图像转换模型生成器的训练方法，还可以包括以下步骤：

步骤201，获取源域的第一图像。

步骤202，将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像。

本申请实施例中，步骤201和步骤202的实现过程，可以参见上述实施例中步骤101和步骤102的实现过程，在此不再赘述。

步骤203，获取第一图像的背景图。

其中，第一图像的背景图，可以为第一图像中除去前景部分的图像。

作为一种可能的实现方式，在获取到源域的第一图像后，可以将第一图像输入经过训练的图像分割模型，以根据模型的输出得到第一图像的背景图。

作为另一种可能的实现方式，还可以对第一图像进行前景提取，生成第一图像的前景图像后，根据第一图像和第一图像的前景图像，可以得到第一图像的背景图。

需要说明的是，本申请对步骤202和步骤203的执行顺序不做限定，也可以先执行步骤203，再执行步骤202，还可以同时执行步骤202和步骤203，在此不做限定。

步骤204，将第一图像的背景图与第一前景图像进行融合，以生成第三图像。

本申请实施例中，获取到第一图像的背景图和第二图像的第一前景图像后，可以将第一前景图像与第一图像的背景图进行融合，以生成融合后的第三图像。

作为一种可能的实现方式，可以采用Alpha边缘融合技术对第一图像的背景图与第一前景图像进行融合，以生成第三图像。边缘融合就是通过改变图像重叠区域的透明度来去除光学亮带，对相邻两个重叠区域的高亮部分进行亮度的平滑过渡处理，使得融合后的第三图像没有明显的边框差异。

由此，融合得到的第三图像的背景图为第一图像的背景图，使得融合后的第三图像的背景与第一图像完全一致，避免了生成器生成的目标域的图像存在背景图模糊或者存在色差的问题。

步骤205，将第三图像和第二图像输入至判别器进行判别，以对判别器进行训练。

其中，判别器，用于判别源域的图像输入生成器后生成的图像的真假。

本申请实施例中，将第一图像的背景图与第一前景图像进行融合得到的第三图像，以及将第一图像输入生成器输出的第二图像，输入判别器进行判别，以确定融合得到的第三图像和生成器生成的第二图像之间的差异程度。

作为一种示例，假设第一图像为男性人脸图像，图像转换模型用于将男性人脸图像转换为女性人脸图像，将男性人脸图像输入图像转换模型的生成器后，输出女性人脸图像和对应的前景图像。可以将女性人脸图像的前景图像与男性人脸图像的背景图进行融合，以得到融合后的女性人脸图像。进一步的，将融合后的女性人脸图像与生成器生成的女性人脸图像输入判别器，进行真假判别。

可以理解的是，将生成器生成的女性人脸图像的前景图像与男性人脸图像的背景图进行融合，得到的融合后的女性人脸图像的背景与男性人脸图像的背景完全一致，不会存在模糊和色差问题。

本申请实施例的图像转换模型生成器的训练方法，通过源域的第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像后，将第一图像的背景图与第一前景图像进行融合，生成第三图像，将融合生成的第三图像和第二图像输入至判别器进行判别，以对判别器进行训练。由此，通过融合得到的第三图像和生成器生成的第二图像对判别器进行训练，可以使得训练后的判别器能够准确识别出生成器生成的图像的真假，从而有利于提高图像转换模型的整体转换性能。

由于现实环境比较复杂，可能存在图像转换器生成的目标域图像的背景和输入的源域图像的背景存在色差的问题，导致目标域的前景图像与源域图像融合时会有明显的边框差异，不能做到很好的融合。为此，本申请中采用有监督的图像分割模型引入到无监督的图像转换模型中，以解决生成的第二图像的背景清晰度不高的问题，并且可以使得生成的第二图像的背景与源域图像的背景完全一致，使得生成第一图像的背景图与第一前景图像进行融合的更加自然，从而提高了目标域图像的整体图像质量。下面结合图3对上述过程进行详细介绍，图3为本申请实施例三提供的图像转换模型生成器的训练方法的流程示意图。

如3所示，该图像转换模型生成器的训练方法，还可以包括以下步骤：

步骤301，获取源域的第一图像。

步骤302，将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像。

本申请实施例中，步骤301和步骤302的实现过程，可以参见上述实施例中步骤101和步骤102的实现过程，在此不再赘述。

步骤303，将第二图像输入经过训练的图像分割模型，以生成第二图像的第二前景图像。

其中，图像分割模型，可以用于分割图像的前景和背景，是采用已经标注图像前景区域的样本图像进行训练得到的，能够准确分割出图像的前景图像和背景图像。

本申请实施例中，将第一图像输入生成器后，将生成器输出的第二图像输入经过训练的图像分割模型，可以根据模型输出生成第二图像的第二前景图像。由于图像分割模型时采用图像前景区域的样本图像进行训练得到的，因此能够准确分割出第二图像的前景图像和背景图像。

可以理解的是，图像的一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。

作为一种可能的实现方式，将第二图像输入经过训练的图像分割模型，图像分割模型输出第二图像中每一个像素点属于前景图像的概率，若某一像素点属于前景图像的概率大于0.5，则可以确定该像素点属于第二图像的前景图像。若某一像素点属于前景图像的概率小于0.5，则可以确定该像素点不属于第二图像的前景图像。进而，根据各像素点属于前景图像的概率，可以输出第二图像的第二前景图像。

步骤304，根据第一前景图像和第二前景图像生成第一损失。

本申请实施例中，步骤304的实现过程，可以参见上述实施例中步骤104的实现过程，在此不再赘述。

步骤305，获取第一图像的背景图。

步骤306，将第一图像的背景图与第一前景图像进行融合，以生成第三图像。

本申请实施例中，步骤305和步骤306的实现过程，可以参见上述实施例中步骤203和步骤204的实现过程，在此不再赘述。

步骤307，根据第三图像和第二图像生成第二损失。

本申请实施例中，第三图像为源域的第一图像的背景图与第一前景图像进行融合生成的图像，第二图像为将源域的第一图像输入生成器后生成的图像。因此，计算第三图像和第二图像之间的差异程度，得到的第二损失为有监督的损失。可见，第二损失，可以用于衡量图像转换模型之中的生成器生成的第二图像和将第一图像的背景图与第一前景图像融合得到的第三图像之间的差异程度。

可选地，获取到第二图像和第三图像后，可以计算第二图像和第三图像的相似程度，以根据相似度值确定第二损失对应的值。可以理解的为，第二图像和第三图像之间的相似度值越大，则第二损失对应的值越小；第二图像和第三图像之间的相似度值越小，则第二损失对应的值越大。

作为一种可能的实现方式，可以分别将第二图像和第三图像表示为向量形式，以通过计算两向量之间的余弦距离来表征第二图像和第三图像之间的相似程度。进而，可以根据第二图像和第三图像之间的相似程度，确定第二损失对应的值。

作为另一种可能的实现方式，还可以分别计算第二图像和第三图像的直方图H1和H2，并归一化到相同的尺度空间，然后可以通过计算直方图H1和H2之间的距离得到两个直方图的相似程度，进而可以得到第二图像和第三图像的相似程度。进而，可以根据第二图像和第三图像之间的相似程度，确定第二损失对应的值。

需要说明的是，确定第二图像和第三图像之间相似程度不限于上述方法，还可以采用其余的方式计算第二图像和第三图像之间相似程度，在此不做限定。

步骤308，根据第一损失和第二损失对生成器进行训练。

本申请实施例中，确定第一损失和第二损失后，可以根据第一损失和有监督第二损失生成总的生成器的损失，以对生成器进行训练，直至生成器生成的第二图像的背景图和第一图像的背景图一致，消除了背景色差，从而使得第二图像的前景图像和第一图像能够更好地融合在一起。

本申请实施例的图像转换模型生成器的训练方法，通过生成器生成源域的第一图像对应的第二图像和第二图像的第一前景图像，实现了图像由源域到目标域的转换；将第二图像输入经过训练的图像分割模型，以生成第二图像的第二前景图像，通过有监督的图像分割模型对第二图像进行分割，能够较好地对图像的前景和背景进行分割；基于第一前景图像和第二前景图像生成第一损失，以及将第一图像的背景图与第一前景图像进行融合得到的第三图像和第二图像生成第二损失后，根据第一损失和第二损失对生成器进行训练。由此，通过有监督的第二损失和第一损失对生成器进行训练，解决了现有的图像转换模型生成的图像背景清晰度不高的问题，使得转换后的图像更加自然，图像的整体效果更好。

为了实现上述实施例，本申请提出了一种图像转换模型生成器的训练装置。

图4为本申请实施例四提供的图像转换模型生成器的训练装置的结构示意图。

如图4所示，该图像转换模型生成器的训练装置400，可以包括：第一获取模块410、输出模块420、第一生成模块430、第二生成模块440以及第一训练模块450。

其中，第一获取模块410，用于获取源域的第一图像。

输出模块420，用于将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，生成器用于将源域的图像转换至目标域。

第一生成模块430，用于对第二图像进行前景提取，以生成第二图像的第二前景图像。

第二生成模块440，用于根据第一前景图像和第二前景图像生成第一损失。

第一训练模块450，用于根据第一损失对生成器进行训练。

作为一种可能的情况，该训练装置400，还可以包括：

第二获取模块，用于获取第一图像的背景图；

融合模块，用于将第一图像的背景图与第一前景图像进行融合，以生成第三图像；以及

判别模块，用于将第三图像和第二图像输入至判别器进行判别，以对判别器进行训练。

作为另一种可能的情况，该训练装置400，还可以包括：

第三生成模块，用于根据第三图像和第二图像生成第二损失；

第二训练模块，用于根据第一损失和第二损失对生成器进行训练。

作为另一种可能的情况，生成器为源域的生成器。

作为另一种可能的情况，第一生成模块430，还可以包括：

生成单元，用于将第二图像输入经过训练的图像分割模型，以生成第二图像的第二前景图像。

作为另一种可能的情况，图像分割模型，已经根据标注图像前景区域的样本图像进行训练。

需要说明的是，前述对图像转换模型之中生成器的训练方法实施例的解释说明也适用于该实施例的图像转换模型之中生成器的训练装置，此处不再赘述。

本申请实施例的图像转换模型生成器的训练装置，基于生成器生成的第二图像的第一前景图像和对第二图像进行前景提取出的第二前景图像，确定生成器的第一损失，并基于第一损失更新生成器的模型参数，由此，经过训练后的生成器生成的目标域的图像可以较好的对生成的第二图像的前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合，从而有利于提高图像转换模型生成的图像质量。

本申请第五方面实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例的图像转换模型生成器的训练方法。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是用来实现本申请实施例的图像转换模型生成器的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像转换模型生成器的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像转换模型生成器的训练方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像转换模型之中生成器的训练方法对应的程序指令/模块(例如，附图4所示的第一获取模块410、输出模块420、第一生成模块430、第二生成模块440以及第一训练模块450)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像转换模型生成器的训练方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过获取源域的第一图像；将第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，生成器用于将源域的图像转换至目标域；对第二图像进行前景提取，以生成第二图像的第二前景图像；根据第一前景图像和第二前景图像生成第一损失；以及根据第一损失对生成器进行训练。由此，经过训练后的生成器生成的目标域的图像可以较好的对生成的第二图像的前景和背景进行分割，以使得分割后的前景图像能够更好的和原图背景进行融合。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种图像转换模型生成器的训练方法，所述方法包括：

获取源域的第一图像；

将所述第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，所述生成器用于将源域的图像转换至目标域；

对所述第二图像进行前景提取，以生成第二图像的第二前景图像；

根据所述第一前景图像和所述第二前景图像生成第一损失；以及

根据所述第一损失对所述生成器进行训练。

2.如权利要求1所述的图像转换模型生成器的训练方法，其中，所述方法还包括：

获取所述第一图像的背景图；

将所述第一图像的背景图与所述第一前景图像进行融合，以生成第三图像；以及

将所述第三图像和所述第二图像输入至判别器进行判别，以对所述判别器进行训练。

3.如权利要求2所述的图像转换模型生成器的训练方法，其中，所述方法还包括：

根据所述第三图像和所述第二图像生成第二损失；

根据所述第一损失和所述第二损失对所述生成器进行训练。

4.如权利要求1所述的图像转换模型生成器的训练方法，其中，所述生成器为源域的生成器。

5.如权利要求1-4任一项所述的图像转换模型生成器的训练方法，其中，所述对所述第二图像进行前景提取，以生成所述第二图像的第二前景图像，包括：

将所述第二图像输入经过训练的图像分割模型，以生成所述第二图像的第二前景图像。

6.如权利要求5所述的图像转换模型生成器的训练方法，其中，所述图像分割模型，已经根据标注图像前景区域的样本图像进行训练。

7.一种图像转换模型生成器的训练装置，所述装置包括：

第一获取模块，用于获取源域的第一图像；

输出模块，用于将所述第一图像输入至生成器，以输出第二图像和第二图像的第一前景图像，其中，所述生成器用于将源域的图像转换至目标域；

第一生成模块，用于对所述第二图像进行前景提取，以生成第二图像的第二前景图像；

第二生成模块，用于根据所述第一前景图像和所述第二前景图像生成第一损失；以及

第一训练模块，用于根据所述第一损失对所述生成器进行训练。

8.如权利要求7所述的图像转换模型生成器的训练装置，其中，所述装置还包括：

第二获取模块，用于获取所述第一图像的背景图；

融合模块，用于将所述第一图像的背景图与所述第一前景图像进行融合，以生成第三图像；以及

判别模块，用于将所述第三图像和所述第二图像输入至判别器进行判别，以对所述判别器进行训练。

9.如权利要求8所述的图像转换模型生成器的训练装置，其中，所述装置还包括：

第三生成模块，用于根据所述第三图像和所述第二图像生成第二损失；

第二训练模块，用于根据所述第一损失和所述第二损失对所述生成器进行训练。

10.如权利要求7所述的图像转换模型生成器的训练装置，其中，所述生成器为源域的生成器。

11.如权利要求7-10任一项所述的图像转换模型生成器的训练装置，其中，所述第一生成模块，还包括：

生成单元，用于将所述第二图像输入经过训练的图像分割模型，以生成所述第二图像的第二前景图像。

12.如权利要求11所述的图像转换模型生成器的训练装置，其中，所述图像分割模型，已经根据标注图像前景区域的样本图像进行训练。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像转换模型生成器的训练方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的图像转换模型生成器的训练方法。

Images