CN110009018B - 一种图像生成方法、装置以及相关设备 - Google Patents

Abstract

本发明实施例公开了一种图像生成方法、装置以及相关设备，方法包括：获取图像生成指令；获取与图像内容属性对应的图像内容向量，将图像内容向量进行编码，得到原始图像特征信息；从属性转换模型集合中，提取与第一对象属性对应的第一转换模型以及与第二对象属性对应的第二转换模型；在第一转换模型中为原始图像特征信息配置第一对象属性，得到第一目标图像特征信息；在第二转换模型中为第一目标图像特征信息配置第二对象属性，得到第二目标图像特征信息；将第二目标图像特征信息进行解码，得到目标图像。采用本发明，可以生成特定属性的图像，丰富生成图像的属性种类，进而提高基于该图像进行模型训练的模型的准确性。

Description

一种图像生成方法、装置以及相关设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像生成方法、装置以及相关设备。

背景技术

随着信息技术的发展，人工智能已经应用到越来的越多的领域。人工智能中的分类模型需要通过大量的数据训练才能得到较好的效果。但存在一些图像数据(例如，卫星遥感数据、雷达图像数据等)采集难度高，数量较少，为了扩大训练数据的数量，可以基于图像生成技术生成多个图像数据，用于分类模型的训练。

现有图像生成技术中，基于生成对抗网络训练图像生成模型，该图像生成模型可以生成对应类型的图像，例如，可以生成人脸图像、数字图像等，但生成图像中对象的属性是随机的，例如，生成的人脸图像中表情属性是随机的，性别属性是随机的。

由于生成图像中对象的属性的随机性，若一直随机某一个属性，那么即使生成了多张图像，图像的属性种类可能并不丰富，难以保证所生成的图像符合预期的训练样本要求，进而基于这些随机生成的图像作为训练样本对分类模型进行训练，也难以保证训练后的分类模型的分类效果。

发明内容

本发明实施例提供一种图像生成方法、装置以及相关设备，可以生成特定属性的图像，丰富生成图像的属性种类，进而提高基于该图像进行模型训练的模型的分类效果。

节约运算时间，提高图像生成的效率。

本发明实施例一方面提供了一种图像生成方法，包括：

获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性；

获取与所述图像内容属性对应的图像内容向量，将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息；

从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型；

在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息；

在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息；

将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像。

其中，所述将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息，包括：

获取初始随机向量，将所述图像内容向量和所述初始随机向量组合为输入向量，并获取编码模型；

根据所述编码模型中的编码卷积层，对所述输入向量进行卷积，得到具有所述图像内容属性的原始图像特征信息。

其中，所述原始图像特征信息包括至少一个单位原始图像特征信息；

所述在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息，包括：

在所述第一转换模型中，获取与所述第一对象属性对应的条件属性向量；

根据单位原始图像特征信息的尺寸，扩展所述第一对象属性对应的条件属性向量，得到至少一个单位条件图像特征信息；单位条件图像特征信息与所述单位原始图像特征信息具有相同的尺寸；

将所述至少一个单位条件图像特征信息与所述原始图像特征信息连接为条件原始图像特征信息；

根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

其中，所述根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息，包括：

根据所述第一转换模型中的转换卷积层，对所述条件原始图像特征信息进行卷积，得到条件卷积张量；

根据所述第一转换模型中的残差层，对所述条件卷积张量进行残差连接，得到条件变换张量；

根据所述第一转换模型中的掩模卷积层，对所述条件变换张量进行卷积，生成用于标识变换区域的掩模图像；

根据所述条件变换张量、所述掩模图像和所述原始图像特征信息生成具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

其中，所述将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像，包括：

获取解码模型；

根据所述解码模型中的解码卷积层，对所述第二目标图像特征信息进行卷积，得到与所述图像生成指令匹配的目标图像。

其中，还包括：

所述编码模型的输出接口标准、所述属性转换模型集合中的所有转换模型的输入接口标准、输出接口标准、所述解码模型的输入接口标准均相同；所述输入接口标准所指示的输入对象的尺寸，与所述输出接口标准所指示的输出对象的尺寸相同。

其中，还包括：

获取第一样本图像；所述第一样本图像是根据所述图像内容向量、与所述第一对象属性对应的条件属性向量、样本编码模型、第一样本转换模型和样本解码模型生成的；

获取第二样本图像；所述第二样本图像是根据所述图像内容向量、与所述第二对象属性对应的条件属性向量、所述样本编码模型、第二样本转换模型和所述样本解码模型生成的；

获取具有所述图像内容属性的第三样本图像；所述第一样本图像属于采集图像类型；

根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型。

其中，所述根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型，包括：

获取与所述第一样本转换模型对应的第一判别模型，并获取与所述第二样本转换模型对应的第二判别模型；

根据所述第一判别模型、所述第二判别模型、所述第一样本图像、所述第二样本图像和所述第三样本图像确定所述目标损失值；

根据所述目标损失值调整所述样本编码模型中参数的权值、所述第一样本转换模型中参数的权值、所述第二样本转换模型中参数的权值、所述样本解码模型中参数的权值、所述第一判别模型中参数的权值和所述第二判别模型中参数的权值；

当所述目标损失值小于损失阈值时，将调整后的样本编码模型确定为所述编码模型，将调整后的第一样本转换模型确定为所述第一转换模型，将调整后的第二样本转换模型确定为所述第二转换模型，将调整后的样本解码模型确定为所述解码模型。

其中，所述第三样本图像是具有所述第一对象属性的图像；所述第一判别模型包括第一生成判别模型和第一类型判别模型；

所述获取与所述第一样本转换模型对应的第一判别模型，包括：

获取初始分类模型，将所述初始分类模型作为所述第一生成判别模型；

获取第四样本图像；所述第四样本图像是属于图像采集类型且具有第三对象属性的图像；所述第一对象属性和所述第三对象属性属于相同的对象属性类型；

根据所述第三样本图像和所述第四样本图像生成目标分类模型，并将所述目标分类模型作为所述第一类型判别模型。

其中，所述目标损失值包括生成损失值和判别损失值；所述第一判别模型包括第一生成判别模型和第一类型判别模型；所述第二判别模型包括第二生成判别模型和第二类型判别模型；

所述根据所述第一判别模型、所述第二判别模型、所述第一样本图像、所述第二样本图像和所述第三样本图像确定所述目标损失值，包括：

根据所述第一生成判别模型识别所述第一样本图像属于所述采集图像类型的第一概率，根据所述第二生成判别模型识别所述第二样本图像属于所述采集图像类型的第二概率；

根据所述第三样本图像、所述第一概率、所述第二概率确定所述生成损失值；

根据所述第一类型判别模型获取所述第一样本图像的第一标签集合；所述第一标签集合表示所述第一样本图像与所述第一类型判别模型中的多种对象属性之间的匹配度；

根据所述第二类型判别模型获取所述第二样本图像的第二标签集合；所述第二标签集合表示所述第二样本图像与所述第二类型判别模型中的多种对象属性之间的匹配度；

根据所述第一标签集合和所述第二标签集合确定所述判别损失值，并将所述生成损失值和所述判别损失值组合为所述目标损失值。

本发明实施例另一方面提供了一种图像生成装置，包括：

第一获取模块，用于获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性；

所述第一获取模块，还用于获取与所述图像内容属性对应的图像内容向量；

编码模块，用于将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息；

所述第一获取模块，还用于从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型；

第一转换模块，用于在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息；

第二转换模块，用于在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息；

解码模块，用于将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像。

其中，所述编码模块，包括：

组合单元，用于获取初始随机向量，将所述图像内容向量和所述初始随机向量组合为输入向量，并获取编码模型；

第一卷积单元，用于根据所述编码模型中的编码卷积层，对所述输入向量进行卷积，得到具有所述图像内容属性的原始图像特征信息。

其中，所述原始图像特征信息包括至少一个单位原始图像特征信息；

所述第一转换模块，包括：

第一获取单元，用于在所述第一转换模型中，获取与所述第一对象属性对应的条件属性向量；

扩展单元，用于根据单位原始图像特征信息的尺寸，扩展所述第一对象属性对应的条件属性向量，得到至少一个单位条件图像特征信息；单位条件图像特征信息与所述单位原始图像特征信息具有相同的尺寸；

所述扩展单元，还用于将所述至少一个单位条件图像特征信息与所述原始图像特征信息连接为条件原始图像特征信息；

生成单元，用于根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

其中，所述生成单元，包括：

卷积子单元，用于根据所述第一转换模型中的转换卷积层，对所述条件原始图像特征信息进行卷积，得到条件卷积张量；

所述卷积子单元，还用于根据所述第一转换模型中的残差层，对所述条件卷积张量进行残差连接，得到条件变换张量；

所述卷积子单元，还用于根据所述第一转换模型中的掩模卷积层，对所述条件变换张量进行卷积，生成用于标识变换区域的掩模图像；

确定子单元，用于根据所述条件变换张量、所述掩模图像和所述原始图像特征信息生成具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

其中，所述解码模块，包括：

第二获取单元，用于获取解码模型；

第二卷积单元，用于根据所述解码模型中的解码卷积层，对所述第二目标图像特征信息进行卷积，得到与所述图像生成指令匹配的目标图像。

其中，还包括：

所述编码模型的输出接口标准、所述属性转换模型集合中的所有转换模型的输入接口标准、输出接口标准、所述解码模型的输入接口标准均相同；所述输入接口标准所指示的输入对象的尺寸，与所述输出接口标准所指示的输出对象的尺寸相同。

其中，还包括：

第二获取模块，用于获取第一样本图像；所述第一样本图像是根据所述图像内容向量、与所述第一对象属性对应的条件属性向量、样本编码模型、第一样本转换模型和样本解码模型生成的；

所述第二获取模块，还用于获取第二样本图像；所述第二样本图像是根据所述图像内容向量、与所述第二对象属性对应的条件属性向量、所述样本编码模型、第二样本转换模型和所述样本解码模型生成的；

所述第二获取模块，还用于获取具有所述图像内容属性的第三样本图像；所述第一样本图像属于采集图像类型；

生成模块，用于根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型。

其中，所述生成模块，包括：

第三获取单元，用于获取与所述第一样本转换模型对应的第一判别模型；

第四获取单元，用于获取与所述第二样本转换模型对应的第二判别模型；

确定单元，用于根据所述第一判别模型、所述第二判别模型、所述第一样本图像、所述第二样本图像和所述第三样本图像确定所述目标损失值；

调整单元，用于根据所述目标损失值调整所述样本编码模型中参数的权值、所述第一样本转换模型中参数的权值、所述第二样本转换模型中参数的权值、所述样本解码模型中参数的权值、所述第一判别模型中参数的权值和所述第二判别模型中参数的权值；

所述调整单元，还用于当所述目标损失值小于损失阈值时，将调整后的样本编码模型确定为所述编码模型，将调整后的第一样本转换模型确定为所述第一转换模型，将调整后的第二样本转换模型确定为所述第二转换模型，将调整后的样本解码模型确定为所述解码模型。

其中，所述第三样本图像是具有所述第一对象属性的图像；所述第一判别模型包括第一生成判别模型和第一类型判别模型；

所述第三获取单元，包括：

获取子单元，用于获取初始分类模型，将所述初始分类模型作为所述第一生成判别模型；

所述获取子单元，还用于获取第四样本图像；所述第四样本图像是属于图像采集类型且具有第三对象属性的图像；所述第一对象属性和所述第三对象属性属于相同的对象属性类型；

训练子单元，用于根据所述第三样本图像和所述第四样本图像生成目标分类模型，并将所述目标分类模型作为所述第一类型判别模型。

其中，所述目标损失值包括生成损失值和判别损失值；所述第一判别模型包括第一生成判别模型和第一类型判别模型；所述第二判别模型包括第二生成判别模型和第二类型判别模型；

所述确定单元，包括：

识别子单元，用于根据所述第一生成判别模型识别所述第一样本图像属于所述采集图像类型的第一概率，根据所述第二生成判别模型识别所述第二样本图像属于所述采集图像类型的第二概率；

生成子单元，用于根据所述第三样本图像、所述第一概率、所述第二概率确定所述生成损失值；

所述生成子单元，还用于根据所述第一类型判别模型获取所述第一样本图像的第一标签集合；所述第一标签集合表示所述第一样本图像与所述第一类型判别模型中的多种对象属性之间的匹配度；

所述生成子单元，还用于根据所述第二类型判别模型获取所述第二样本图像的第二标签集合；所述第二标签集合表示所述第二样本图像与所述第二类型判别模型中的多种对象属性之间的匹配度；

所述生成子单元，还用于根据所述第一标签集合和所述第二标签集合确定所述判别损失值，并将所述生成损失值和所述判别损失值组合为所述目标损失值。

本发明实施例另一方面提供了一种电子设备，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本发明实施例中一方面中的方法。

本发明实施例另一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中一方面中的方法。

本发明实施例通过获取图像内容属性、第一对象属性和第二对象属性，生成具有图像内容属性的原始图像特征信息，分别为原始图像特征信息设置第一对象属性和第二对象属性，最后将图像特征信息解码，可以得到同时具有图像内容属性、第一对象属性和第二对象属性的目标图像。上述可知，分别为图像特征信息设置指定对象属性，解码后可以得到具有指定对象属性的图像，相比于生成随机属性的图像，生成指定对象属性的图像可以丰富生成图像的属性种类，进而保证生成的图像满足训练样本要求，后续基于多属性种类的图像训练的分类模型具有较好的分类效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像生成的系统架构图；

图2a-图2b是本发明实施例提供的一种图像生成的场景示意图；

图3是本发明实施例提供的一种图像生成方法的流程示意图；

图4是本发明实施例提供的一种确定原始图像特征信息的示意图；

图5是本发明实施例提供的一种确定第一目标图像特征信息的示意图；

图6a-图6c是本发明实施例提供的一种图像生成的模块架构图；

图7是本发明实施例提供的另一种图像生成方法的流程示意图；

图8是本发明实施例提供的一种模型训练的架构示意图；

图9是本发明实施例提供的一种图像生成装置的结构示意图；

图10是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，是本发明实施例提供的一种图像生成的系统架构图。服务器10f通过交换机10e和通信总线10d与用户终端集群建立连接，用户终端集群可以包括：用户终端10a、用户终端10b、...、用户终端10c。

以用户终端10a为例，当用户终端10a接收到用户选择的关于待生成图像的图像内容属性和图像对象属性(图像对象属性可以包括多个对象属性)时，将上述图像内容属性和图像对象属性通过交换机10e和通信总线10d至发送服务器10f。服务器10f从存储在数据库10g中的属性转换模型集合中，从提取出与图像对象属性对应的转换模型，其中图像对象属性中的每个对象属性都存在与之对应的转换模型。服务器10f中根据图像内容属性、提取出来的转换模型生成同时具有图像内容属性、图像对象属性的目标图像。服务器10f可以将生成的目标图像发送至用户终端10a，后续用户终端10a可以在屏幕中显示上述服目标图像。

当然，若用户终端10a本地存储了属性转换模型集合，也可以直接由用户终端10a根据图像内容属性、与图像对象属性对应的转换模型，生成目标图像。

下述以用户终端10a如何生成同时具有图像内容属性和图像对象属性的目标图像为例进行具体的说明。其中，图1所示的用户终端10a、用户终端10b、用户终端10c等可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID，mobile internetdevice)、可穿戴设备(例如智能手表、智能手环等)等。

请参见图2a-图2b，是本发明实施例提供的一种图像生成的场景示意图。如图2a中的属性选择界面20a所示，用户在属性选择界面20a中选择生成人脸图像，且用户选择生成的人脸图像中头发颜色是黑色，同时性别为女性，即图像内容属性为：人脸图像；图像对象属性是：黑发、女性。

可以知道，图像内容属性用于标识生成图像的整体内容，图像对象属性用于标识图像对象的特征。

用户终端10a获取与“人脸图像”对应的尺寸为a₀×1×1的图像内容向量20b，获取与“黑发”对应的尺寸为c×1×1的条件属性向量20c，并获取与“女性”对应的尺寸为c×1×1的条件属性向量20d。

用户终端10a随机生成尺寸为z×1×1的随机向量20e，将随机向量20e与图像内容向量20b进行组合，组合后可以得到尺寸为(z+a₀)×1×1的向量。用户终端10a获取编码模型20n，将上述尺寸为(z+a₀)×1×1的向量输入编码模型20n中。通过编码模型20n中的多个卷积层(卷积核)对上述向量依次进行卷积运算，可以得到具有图像内容属性(即是人脸图像属性)图像特征信息(feature map)20f，其中图像特征信息20f的尺寸为C×H×W，也可以将图像特征信息20f看做为是由C个高为H宽为W的图像特征信息组合而成的，图像特征信息20f也可以理解为具有人脸属性图像的特征信息。

用户终端10a从属性转换模型集合中提取图像对象属性中的“黑发”对应的属性转换模型20p，需要说明的是，属性转换模型20p是用于调整人脸图像中头发颜色属性，也就是说不论图像对象属性是：黑发、黄发或者白发，所对应的属性转换模型均是属性转换模型20p，但对应的条件属性向量各不相同，例如，黑发的条件属性向量为：[1,0,0]；黄发的条件属性向量为：[0,1,0]；白发的条件属性向量为：[0,0,1]。

用户终端10a将图像特征信息20f输入属性转换模型20p，在属性转换模型20p中首先将“黑发”对应的尺寸为c×1×1的条件属性向量20c复制扩展为c×H×W的条件图像特征信息，同样地可以将上述条件图像特征信息看做是c个高为H宽为W的图像特征信息组合而成。将尺寸为C×H×W的图像特征信息20f与尺寸为c×H×W的条件图像特征信息进行连接，可以得到尺寸为(c+C)×H×W的图像特征信息。通过属性转换模型20p中的多个卷积层以及残差层对上述尺寸为(c+C)×H×W的图像特征信息进行卷积运算和残差连接运算，得到具有人脸图像属性、黑发属性的图像特征信息20g，其中图像特征信息20g的尺寸同样为C×H×W。

用户终端10a从属性转换模型集合中提取图像对象属性中的“女性”对应的属性转换模型20q，同样地，属性转换模型20q是用于调整人脸图像中性别属性，也就是说不论图像对象属性是：男性或者女性，所对应的属性转换模型均是属性转换模型20q，但对应的条件属性向量各不相同。

用户终端10a将图像特征信息20g输入属性转换模型20q，在属性转换模型20q中首先将“女性”对应的尺寸为c×1×1的条件属性向量20d复制扩展为c×H×W的条件图像特征信息，同样地可以将该条件图像特征信息看做是c个高为H宽为W的图像特征信息组合而成。将尺寸为C×H×W的图像特征信息20g与尺寸为c×H×W的条件图像特征信息进行连接，可以得到尺寸为(c+C)×H×W的图像特征信息。通过属性转换模型20q中的多个卷积层以及残差层对上述尺寸为(c+C)×H×W的图像特征信息进行卷积运算和残差连接运算，得到具有人脸图像属性、黑发属性、女性属性的图像特征信息20k，其中图像特征信息20k的尺寸同样为C×H×W。

用户终端10a获取解码模型20r，解码模型20r可以将图像特征信息解码为灰度图像或者彩色图像。将图像特征信息20k输入解码模型20r中，通过解码模型20r中的多个卷积层的卷积运算，得到尺寸为A×B×3的图像20m。可以知道，图像20m是具有黑发属性、女性属性的人脸图像。

如图2b中的界面20x所示，用户终端10a在生成图像20m的过程中，可以在屏幕上播放预设的动画。当检测到图像20m生成完毕时，如界面20y所示，停止播放动画，将生成的图像20m显示在屏幕上。

其中，获取原始图像特征信息(如上述实施例中的图像特征信息20f)，获取第一目标图像特征信息(如上述实施例中的图像特征信息20g)，获取目标图像(如上述实施例中的图像20m)的具体过程可以参见下述图3-图8对应的实施例。

请参见图3，是本发明实施例提供的一种图像生成方法的流程示意图，如图3所示，该方法可以包括：

步骤S101，获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性。

具体的，终端设备(如上述图2a对应实施例中的用户终端10a)获取图像生成指令，该图像生成指令用于指示终端设备生成满足该指令中属性要求的图像。图像生成指令包括：图像内容属性(如上述图2a对应实施例中的脸部图像)和图像对象属性(如上述图2a对应实施例中的黑发、女性)。

图像内容属性用于标识生成图像的整体内容，例如，图像内容属性可以是：人脸图像、数字图像、小狗图像等。

图像对象属性用于标识生成图像中对象的属性，例如，当图像内容属性是人脸图像时，图像对象属性可以是：黑发、微笑、女性、带帽等；当图像内容属性是数字图像时，图像对象属性可以是：数值为4、红色字体、楷书线条、黄色背景等；当图像内容属性是小狗图像时，图像对象属性可以是：卷毛、短尾、白色毛发等。

图像对象属性中可以包括多个对象属性(例如，既有黑发对象属性，也有微笑对象属性)，为了更清楚的表达多个属性，可以将图像对象属性中的多个对象属性分别作为第一对象属性和第二对象属性，即图像对象属性包括第一对象属性和第二对象属性。

其中，终端设备可以将多个对象属性中的任意一个对象属性作为第一对象属性，剩余的对象属性作为第二对象属性；若第二对象属性还包括多个对象属性，同理终端设备还可以将其中的一个对象属性作为第一属性，其余的对象属性作为第二属性。通过层层嵌套，保证每个对象属性都参与了运算。

举例来说，图像对象属性为：黑发、微笑、女性；可以首先可以将“黑发”作为第一对象属性，将“微笑”、“女性”作为第二对象属性；即首先处理上述第一对象属性“黑发”。当处理上述第二对象属性时，再将“微笑”作为第一对象属性，将“女性”作为第二对象属性，即再处理新的第一对象属性“微笑”，最后处理新的第二对象属性“女性”。

步骤S102，获取与所述图像内容属性对应的图像内容向量，将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息。

具体的，终端设备获取与图像内容属性对应的向量，称为图像内容向量(如上述图2a对应实施例中的图像内容向量20b)，图像内容向量的尺寸可以表示为a₀×1×1。

例如，当图像内容属性为脸部图像时，对应的图像内容向量为：[1,0,0,0,0]^T；当图像内容属性为数字图像时，对应的图像内容向量为：[0,1,0,0,0]^T；当图像内容属性为小狗图像时，对应的图像内容向量为：[0,0,1,0,0]^T。

终端设备随机生成尺寸为z×1×1的向量(称为初始随机向量，如上述图2a对应实施例中的随机向量20e)，将随机向量和上述图像内容向量进行相连，可以得到尺寸为(z+a₀)×1×1的向量(称为输入向量)，其中输入向量中第一维度用于标识通道数，第二维度用于标识特征信息的高度，第三维度用于标识特征信息的宽度。终端设备获取编码模型(如图2a对应实施例中的编码模型20n)，将上述输入向量输入编码模型中。

在编码模型中，首先在第二维度和第三维度方向上扩大图像高度和图像宽度，得到尺寸为(z+a₀)×a×b的3维张量，扩大的数值(新增的数值)可以为0或者1。

通过编码模型中的多个卷积层(可以称为编码卷积层)，分别对上述(z+a₀)×a×b的3维张量进行卷积运算，得到具有图像内容属性的图像特征信息(称为原始图像特征信息，如上述图2a对应实施例中的图像特征信息20f)，原始图像特征信息的尺寸可以表示为C×H×W，也可以将原始图像特征信息理解为由C个高为H宽为W的单位原始图像特征信息组合而成。

由于原始图像特征信息是具有图像内容属性的图像特征信息，因此若直接将原始图像特征信息进行解码，可以得到具有图像内容属性的图像。例如，若图像内容属性是脸部图像，那么直接将该原始图像特征信息解码后，可以得到脸部图像，但脸部图像中各对象属性是随机的，即头发颜色是随机的，脸部表情是随机的，性别也是随机的。

每个编码卷积层对应1个或者多个卷积核(kernel，也可以称为滤波器，或者称为感受野)，每个卷积编码层中的卷积核的通道数是由输入数据的通道数决定的，每一层输出数据(也就是图像特征信息)的通道数是由该编码卷积层中的卷积核的数量决定的，且输出数据中图像高度H_out和图像宽度W_out(即是输出数据中的第二维和第三维)是由输入数据的尺寸、卷积核的尺寸、步长(stride)以及边界填充(padding)共同决定的，即H_out＝(H_in-H_kernel+2*padding)/stride+1，W_out＝(W_in-W_kernel+2*padding)/stride+1。H_in,H_kernel分别表示输入数据中图像的高度和卷积核的高度；W_in,W_kernel分别表示输入数据中图像的宽度和卷积核的宽度。

请参见图4，是本发明实施例提供的一种确定原始图像特征信息的示意图。若前述中(z+a₀)×a×b的3维张量的具体尺寸为1×3×3(第一维度用于标识通道数，第二维度用于标识图像高度，第三维度用于标识图像宽度)，即是1通道的3×3矩阵；卷积核是尺寸为1×2×2(第一维度用于标识通道数，第二维度用于标识卷积核高度，第三维度用于标识卷积核宽度)，即是1通道的2×2矩阵。

设stride＝1，padding＝0，卷积运算的具体过程为：首先将矩阵30a中虚线框中的数值与卷积核进行点乘计算，即：1*1+0*(-1)+1*1+1*(-1)＝1，可以确定矩阵30e；

然后将矩阵30b中虚线框中的数值与卷积核进行点乘计算，即：0*1+1*(-1)+1*1+1*(-1)＝-1；可以确定矩阵30f；

再将矩阵30c中虚线框中的数值与卷积核进行点乘计算，即：1*1+1*(-1)+1*1+0*(-1)＝1；可以确定矩阵30g；

最后将矩阵30d中虚线框中的数值与卷积核进行点乘计算，即：1*1+1*(-1)+0*1+1*(-1)＝-1；可以确定矩阵30h。矩阵30h是尺寸为1×2×2的原始图像特征信息。

步骤S103，从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型。

具体的，终端设备从属性转换模型集合中提取与第一对象属性对应的转换模型(称为第一转换模型，如上述图2a对应实施例中的属性转换模型20p)，终端设备从属性转换模型集合中提取与第二对象属性对应的转换模型(称为第二转换模型，如上述图2a对应实施例中的属性转换模型20q)。属性转换模型集合中包括多个转换模型。

需要说明的是，属性转换模型是用于为原始图像特征信息设置对象属性，不同的对象属性可能属于同一个对象属性类型，例如，对象属性“黑发”、对象属性“白发”、对象属性“黄发”等均对应对象属性类型“头发颜色”，即“黑发”、“白发”、“黄发”对应同一个转换模型，该转换模型是用于调整头发颜色，而不同之处在于不同颜色头发对应的条件属性向量各不相同。

步骤S104，在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

具体的，终端设备将原始图像特征信息输入第一转换模型中，在第一转换模型中获取与第一对象属性对应的条件属性向量(如上述图2a对应实施例中的条件属性向量20c)，该条件属性向量可以是尺寸为c×1×1的向量。在第一转换模型中首先将上述条件属性向量进行扩展，即是在第二维度和第三维度方向上扩展条件属性向量，得到尺寸为c×H×W的条件图像特征信息，可以将上述条件图像特征信息看做是由c个高为H宽为W的单位条件图像特征信息组合而成的。

扩展的过程可以是：首先将上述条件属性向量复制H次，得到大小为c×H×1的矩阵，然后将上述矩阵复制W次，可以得到尺寸为c×H×W的图像特征信息。上述可知，原始图像特征信息是由C个高为H宽为W的单位原始图像特征信息组合而成的，上述条件图像特征信息也是由c个高为H宽为W的单位条件图像特征信息组合而成的，即单位原始图像特征信息的尺寸和单位条件图像特征信息的尺寸是相同的。

在第一转换模型中，将原始图像特征信息以及扩展条件属性向量得到的条件图像特征信息连接为条件原始图像特征信息，可以知道，条件原始图像特征信息的尺寸为：(c+C)×H×W。

根据第一转换模型中的卷积层(称为转换卷积层)，对上述条件原始图像特征信息进行卷积运算，可以得到尺寸为C×H×W的条件卷积张量。卷积运算的具体过程可以参见前述步骤S102中的描述。

根据第一转换模型中的残差层，对上述条件卷积张量进行残差连接，可以得到条件变换张量。残差层的数量可以是一个也可以是多个，且每个残差层的输入数据的维度与输出数据的维度都是相同的，因此，通过第一转换模型中的残差层(一个或者是多个)，对尺寸为C×H×W的条件卷积张量进行残差连接后，所得到的条件变换张量的尺寸仍然是C×H×W。

残差连接是指两次连续卷积运算后，激活函数的作用域是卷积运算后的输出与卷积运算前的输入之和，残差连接的计算公式为下述公式(1)：

其中，R_out是残差层的输出；x是残差层的输入；W₁,W₂分别表示第一次卷积运算中权重和第二次卷积运算中权重；σ表示激活函数。

根据第一转换模型中的掩模卷积层，对条件变换张量进行卷积运算，可以得到用于标识第一对象属性所在变换区域的掩模图像，且该掩模图像的尺寸为H×W。卷积运算的具体过程可以参见前述步骤S102中的描述。

其中，掩模图像可以是黑白图像，该图像中对变换区域进行高亮显示，也就是说，若第一对象属性是：黑发，那么掩模图像是高亮显示头发区域的黑白图像；若第一对象属性是：微笑，那么掩模图像是高亮显示五官区域的黑白图像。

采用下述公式(2)，根据条件变换张量，掩模图像和原始图像特征信息计算第一目标图像特征信息(如上述图2a对应实施例中的图像特征信息20g)，且第一目标图像特征信息是具有图像内容属性与第一对象属性的图像特征信息。

f_t＝g*f'+(1-g)*f  (2)

其中，f_t表示第一目标图像特征信息，g表示尺寸为H×W的掩模图像，f'表示尺寸为C×H×W的条件变换张量，f表示尺寸为C×H×W的原始图像特征信息，*表示矩阵中的点乘运算，即是对位相乘。

从公式(2)可以知道，第一目标图像特征信息的尺寸仍然是C×H×W。

和原始图像特征信息类似，仍旧可以将第一目标图像特征信息看做是由C个高为H宽为W的单位第一目标图像特征信息组合而成。

由于第一目标图像特征信息是具有图像内容属性、以及第一对象属性的图像特征信息，因此若直接将第一目标图像特征信息进行解码，可以得到具有图像内容属性、具有第一对象属性的图像。例如，若图像内容属性是脸部图像，第一对象属性是女性，那么直接将该第一目标图像特征信息解码后，可以得到女性的脸部图像，但脸部图像中其余的对象属性是随机的，即头发颜色是随机的，脸部表情是随机的。

请参见图5，是本发明实施例提供的一种确定第一目标图像特征信息的示意图。将原始图像特征信息输入第一转换模型中，第一转换模型中的扩展器获取第一对象属性对应的条件属性向量，并将上述条件属性向量扩展为条件图像特征信息，连接器将原始图像特征信息和条件图像特征信息组合为条件原始图像特征信息。通过1个卷积层(转换卷积层)以及多个残差层(残差层的数量可以是6个)，可以得到条件变换张量。再通过1个卷积层(掩模卷积层)可以得到用于标识变换区域的掩模图像，根据掩模图像、原始图像特征信息、条件变换张量、公式(4)生成第一目标图像特征信息。

步骤S105，在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息。

具体的，终端设备将第一目标图像特征信息输入第二转换模型中，在第二转换模型中获取与第二对象属性对应的条件属性向量，该条件属性向量可以是尺寸为c×1×1的向量，在第二转换模型中将上述条件属性向量进行扩展，同样得到尺寸为c×H×W的条件图像特征信息(可以称为辅助图像特征信息)，可以将上述辅助图像特征信息看做是c个高为H宽为W的单位辅助图像特征信息组合而成，上述单位辅助图像特征信息的尺寸与单位原始图像特征信息的尺寸是相同的。

可以知道，第n个转换模型的条件图像特征信息是由该转换模型对应的条件属性向量以及第n-1个转换模型的输出(也是第n个转换模型的输入)决定的。

扩展第二对象属性的条件属性向量得到辅助图像特征信息的具体过程可以参见上述步骤S104的描述。

在第二转换模型中，将第一目标图像特征信息以及辅助图像特征信息连接为尺寸是(c+C)×H×W的辅助目标图像特征信息。

根据第二转换模型中的转换卷积层以及残差层，对上述辅助目标图像特征信息分别进行卷积运算以及残差连接，可以得到尺寸为C×H×W的条件变换张量(可以称为辅助变换张量)。卷积运算以及残差连接的具体过程可以参见前述步骤S102、S104中的描述。

根据第二转换模型中的掩模卷积层，对辅助变换张量进行卷积运算，得到用于标识第二对象属性所在变换区域的掩模图像(可以称为辅助图像)，且该辅助图像的尺寸为H×W。

采用下述公式(3)，根据辅助变换张量，辅助图像和第一目标图像特征信息计算第二目标图像特征信息，且第二目标图像特征信息是具有图像内容属性、第一对象属性和第二对象属性的图像特征信息。

f_a＝g_a*f_a'+(1-g_a)*f_t  (3)

其中，f_a是第二目标图像特征信息，g_a表示尺寸为H×W的辅助图像，f_a'表示尺寸为C×H×W的辅助变换张量，f_t表示尺寸为C×H×W的第一目标图像特征信息，*表示矩阵中的点乘运算，即是对位相乘。

从公式(3)可以知道，第二目标图像特征信息的尺寸仍然是C×H×W，且第n个转换模型的输出是由在第n个转换模型中确定的条件变换张量、在第n个转换模型中确定的用于标识变换区域的掩模图像，以及第n-1个转换模型的输出(也是第n个转换模型的输入)决定的。

和原始图像特征信息、第一目标图像特征信息类似，仍旧可以将第二目标图像特征信息看做是由C个高为H宽为W的单位第二目标图像特征信息组合而成。

步骤S106，将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像。

具体的，终端设备获取解码模型(如上述图2a中的解码模型20r)，将尺寸为C×H×W的第二目标图像特征信息输入该解码模型。根据解码模型中卷积层(称为解码卷积层)对第二目标图像特征信息进行卷积运算，可以得到同时具有图像内容属性、第一对象属性和第二对象属性的图像(如上述图2a中的图像20m)。

例如，若图像内容属性是脸部图像，第一对象属性是女性，第二对象属性是微笑，那么将该第二目标图像特征信息解码后，可以得到女性、微笑的脸部图像。若图像内容属性是数字图像，第一对象属性是数值为1，第二对象属性是红色字体，那么将该第二目标图像特征信息解码后，可以得到数值为1、红色字体的数字图像。

若有图像对象属性中包含的对象属性有多个，可以按照上述方式，首先处理第一对象属性，然后从剩余的对象属性(即第二对象属性)中提取新的第一对象属性进行处理，再从新的第二对象属性中再提取第一对象属性进行处理，不断循环，直至所有的对象属性都参与了运算。

从前述可知，编码模型的输出接口标准、属性转换模型集合中的所有转换模型的输入接口标准、所有转换模型的输出接口标准、解码模型的输入接口标准均相同，输出接口标准所指示的输入对象(即是图像特征信息)的尺寸与输出接口标准所指示的输出对象(即是图像特征信息)的尺寸都相同，与前文对应，输入的图像特征信息的尺寸均为C×H×W，输出的特图像特征信息的尺寸也均为C×H×W。

正是因为编码模型的输出接口标准、所有转换模型的输入接口标准、所有转换模型的输出接口标准、解码模型的输入接口标准均相同，编码模型和多个转换模型以及解码模型连接才可以进行串联，且多个转换模型之间的连接顺序不受限制，以生成同时具有图像内容属性、以及多个对象属性的图像。这种模块化的连接方式，可以满足不同的图像生成需求。

请参见图6a-图6c，是本发明实施例提供的一种图像生成的模块架构图，图6a-图6c中的生成器对应前述中的编码模型，变换器对应前述中的转换模型(例如，第一转换模型、第二转换模型)，重构器对应前述中的解码模型。生成器可以生成具有图像内容属性的图像特征信息，终端设备可以动态地、任意数量、任意顺序组合不同的变换器，用于调整图像特征信息的对象属性，重构器是可以将具有对象属性以及图像内容属性的图像特征信息重构为图像。如图6a所示，当存在1种对象属性的图像生成需求时，就调用对应的1个变换器，用于生成包含1种对象属性的图像；如图6b所示，当存在2种对象属性的图像生成需求时，就调用对应的2个变换器，用于生成包含2种对象属性的图像；如图6c所示，当存在n种对象属性的图像生成需求时，就调用对应的n个变换器，用于生成包含n种对象属性的图像。

上述可知，分别为图像特征信息设置指定对象属性，解码后可以得到具有指定对象属性的图像，相比于生成随机属性的图像，生成指定对象属性的图像可以的丰富生成图像的属性种类，后续基于多属性种类的图像训练的分类模型具有较好的分类效果。

若基于生成对抗网络训练多个独立的图像生成网络，每个图像生成网络通过编码、调整特征、解码可以得到具有对应特征的图像。

例如，图像生成网络1可以生成人脸图像、图像生成网络2可以调整人脸图像的头发颜色特征、图像生成网络3可以调整人脸图像的脸部表情特征，通过调用图像生成网络1、图像生成网络2和图像生成网络3可以生成具有指定头发颜色属性、指定脸部表情属性的人脸图像，即是一步一步地生成具有多对象属性的图像，且每次向模型的输入为图像，输出也是图像。

但本发明在一个网络结构中就可以生成同时具有多个对象属性的图像，相比于根据多个生成对抗网络一步一步地生成多对象属性图像，减少了编码、解码的次数，可以节约计算时间，进而提高图像生成的效率。

请参见图7，是本发明实施例提供的另一种图像生成方法的流程示意图，如图7所示，该方法可以包括：

步骤S201，获取第一样本图像；所述第一样本图像是根据所述图像内容向量、与所述第一对象属性对应的条件属性向量、样本编码模型、第一样本转换模型和样本解码模型生成的。

下述步骤S201-步骤S204对模型的训练进行具体的说明。

具体的，终端设备初始化样本编码模型，初始化第一样本转换模型和初始化样本解码模型。终端设备随机生成向量(称为第一样本随机向量)，并将第一样本随机向量、与图像内容属性对应的图像内容向量相连，得到第一样本输入向量。将第一样本输入向量输入样本编码模型中，在样本编码模型中对第一样本输入向量进行编码，得到第一样本原始图像特征信息。将第一样本原始图像特征信息输入第一样本转换模型中，根据与第一对象属性对应的条件属性向量，在第一样本转换模型中为第一样本原始图像特征信息配置第一对象属性，得到具有图像内容属性、第一对象属性的第一样本图像特征信息。根据解码模型对第一样本图像特征信息进行解码，得到第一样本图像。此处获取第一样本图像的过程，与获取第一解码图像的过程类似，只是第一样本图像对应的多个模型中的参数的权值没有满足模型收敛条件，其中第一解码图像是将第一目标图像特征信息解码后的图像。

步骤S202，获取第二样本图像；所述第二样本图像是根据所述图像内容向量、与所述第二对象属性对应的条件属性向量、所述样本编码模型、第二样本转换模型和所述样本解码模型生成的。

具体的，终端设备初始化第二样本转换模型。终端设备随机生成向量(称为第二样本随机向量)，并将第二样本随机向量、与图像内容属性对应的图像内容向量相连，得到第二样本输入向量。将第二样本输入向量输入样本编码模型中，在样本编码模型中对第二样本输入向量进行编码，得到第二样本原始图像特征信息。将第二样本原始图像特征信息输入第二样本转换模型中，根据与第二对象属性对应的条件属性向量，在第二样本转换模型中为第二样本原始图像特征信息配置第二对象属性，得到具有图像内容属性、第二对象属性的第二样本图像特征信息。根据解码模型对第二样本图像特征信息进行解码，得到第二样本图像。上述可知，获取第二样本图像与获取第一样本图像的过程类似，不同之处在于对应的转换模型、条件属性向量不同。

步骤S203，获取具有所述图像内容属性的第三样本图像；所述第一样本图像属于采集图像类型。

具体的，获取具有图像内容属性的真实图像(称为第三样本图像)，第三样本图像的来源是基于成像设备(例如，照相机、录像机等)真实采集的，而不是模型模拟生成的，因此第三样本图像是属于图像采集类型的图像；对应地，前述中的第一样本图像与第二样本图像是通过模型生成的仿真图像(或者是模拟图像)，而不是真实采集到的，也就是说第一样本图像和第二样本图像属于模拟图像类型。

步骤S204，根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型。

具体的，终端设备获取与第一样本转换模型对应的第一判别模型，并获取与第二样本转换模型对应的第二判别模型，可以知道，每个样本转换模型都存在与之对应的判别模型，但样本编码模型和样本解码模型是通用的。

每个判别模型都包括生成判别模型和类型判别模型，生成判别模型是用于识别图像属于图像采集类型的概率，也就是用于区分真实图像和模拟图像；类型判别模型用于是识别图与多种属性对象之间的匹配度。例如，样本转换模型A是用于调整头发颜色为红色、白色或黑色，对应的判别模型A中的类型判别模型是用于识别图像中的对象具有红色头发的概率、白色头发的概率和黑色头发的概率。

将第一判别模型中的生成判别模型和类型判别模型分别称为第一生成判别模型和第一类型判别模型；将第二判别模型中的生成判别模型和类型判别模型分别称为第二生成判别模型和第二类型判别模型。

下面对如何获取第一生成判别模型和第一类型判别模型进行具体的说明：由于第一生成判别模型是用于解决二分类问题，因此终端设备初始化二分类模型，称为初始分类模型，将该初始分类模型作为第一生成判别模型。终端设备获取具有第三对象属性的第四样本图像，第四样本图像属于图像采集类型，且第一对象属性和第三对象属性属于相同的对象属性类型。

例如，第一对象属性是黑色头发，那么第三对象属性可以是红色头发、白色头发或者黄色头发等，该第一对象属性(黑色头发)和该第三对象属性(红色头发、白色头发或者黄色头发等)均属于对象属性类型：头发颜色。

又例如，第一对象属性是开心，那么第三对象属性可以是哭泣、悲伤或者惊讶，且开心、哭泣、悲伤或者惊讶等均属于脸部表情，此处的对象属性类型就是脸部表情。

当第三样本图像具有第一对象属性时，此时第三样本图像是同时具有图像属性类型以及第一对象属性的真实图像。为第三样本图像设置一种标签，为第四样本图像设置另一种标签，根据第三样本图像以及第四样本图像，以及各自的标签，训练目标分类模型，该目标分类模型可以识别图像与多种对象属性之间的匹配度，且该多种对象属性是属于同一个对象属性类型的。将训练好的目标分类模型作为第一类型判别模型。例如，目标分类模型可以识别图像中的头发颜色是棕色、红色还是黑色等。

训练目标分类函数的损失函数可以是下述公式(4)：

其中，D_cls,i表示第i个类型判别模型(第一类型判别模型属于D_cls,i中的一个类型判别模型)，x表示用于训练第i个类型判别模型的真实图像(例如，第三样本图像和第四样本图像)，c_i表示第i个类型判别模型中的多种对象属性。

需要说明的，后续第一类型判别模型中的参数的取值是固定不变的，但第一生成判别模型的参数的取值还需要不断调整。

获取第二生成判别模型和第二类型判别模型和上述过程类似，此处就不再详述。

下面描述如何确定目标损失值，用于调整模型。

第一生成判别模型识别第一样本图像属于采集图像类型的概率(称为第一概率)，第二生成判别模型识别第二样本图像属于采集图像类型的概率(称为第二概率)。

由于第一样本图像和第二样本图像是由模型生成的图像，第三样本图像是真实采集得到的，对第一生成判别模型来说，希望识别出第一样本图像属于图像采集类型的概率为0，希望识别出第三样本图像属于图像采集类型的概率为1；对第二生成判别模型来说，希望识别出第二样本图像属于图像采集类型的概率为0，希望识别出第三样本图像属于图像采集类型的概率为1。

因此根据第一生成判别模型所识别出来的第一概率，和第二生成判别模型所识别出来的第二概率，以及第三样本图像可以确定第一生成判别模型和第二生成判别模型的生成损失值。

可以基于公式(5)计算生成损失值：

其中，L_adv,i表示第i个判别模型中的生成判别模型的损失值，L1表示第一生成判别模型和第二生成判别模型的生成损失值，y表示属于图像采集类型的第三样本图像，R(T_i(E(z,a₀)))表示由第i个样本转换模型生成的仿真图像(例如，第一样本图像或者第二样本图像)，E表示样本编码模型，T_i表示第i个样本转换模型(例如，第一样本转换模型和第二样本转换模型)，R表示样本解码模型，D_i表示第i个生成判别模型，因此D_i(R(T_i(E(z,a₀))))表示第i个样本转换模型所生成的样本图像属于图像采集类型的概率(例如，第一概率和第二概率)；D_i(y)表示第三样本图像属于图像采集类型的概率。

公式(5)确定的生成损失值用于在后续调整样本编码模型、第一样本转换模型、第二样本转换模型和样本解码模型过程中，保证通过上述模型所生成的图像尽可能的真实。

第一类型判别模型识别第一样本图像与第一类型判别模型中多种对象属性之间的匹配度，将得到的匹配度以及对应的对象属性组合为第一标签集合。第二类型判别模型识别第二样本图像与第二类型判别模型中多种对象属性之间的匹配度，将得到的匹配度以及对应的对象属性组合为第二标签集合。需要说明的是，同一个类型判别模型中的多种对象属性属于同一个对象属性类型。

根据第一标签集合和第二标签集合，以及第一对象属性对应的条件属性向量和第二对象属性对应的条件属性向量，可以计算出判别损失值。

可以基于公式(6)计算出判别损失值：

其中，

表示第i个判别模型中的类型判别模型确定的损失值，L2表示第一类型判别模型和第二类型判别模型的判别损失值，D_cls,i表示第i个类型判别模型，c_i表示第i个类型判别模型中的多种对象属性，上述公式可以解释为判别损失值等于第一标签集合与第一对象属性对应的条件属性向量之间的差异值，以及第二标签集合与第二对象属性对应的条件属性向量之间的差异值之和。

公式(6)确定的判别损失值用于在后续调整样本编码模型、第一样本转换模型、第二样本转换模型和样本解码模型过程中，保证通过上述模型所生成的图像的对象属性尽可能准确。

将生成损失值L1和判别别损失值L2，计算目标损失值L，计算公式如下：

L＝L1+μ_clsL2  (7)

其中，μ_cls表示加权系数。

目标损失值可以合并理解为：生成损失值保证生成图像尽量真实，判别损失值保证生成的图像的对象属性尽量准确。

根据目标损失值，采用误差反向传播方法，调整样本编码模型中参数的权值、第一样本转换模型中参数的权值、第二样本转换模型中参数的权值、样本解码模型中参数的权值、第一判别模型中第一生成判别模型参数的权值以及第二判别模型中第二生成判别模型参数的权值(第一类型判别模型参数的权值和第二类型判别模型参数的权值保持不变的)。参数权值调整后采用上述方法再次生成新的第一样本图像和新的第二样本图像，再计算目标损失值，不断循环，直至当目标损失值小于目标阈值时，或者目标损失值的变化率小于变化率阈值，或者循环的次数达到目标次数时，此时将调整后的样本编码模型确定为编码模型，将调整后的第一样本转换模型确定为第一转换模型，将调整后的第二样本转换模型确定为第二转换模型，将调整后的样本解码模型确定为解码模型。

可以知道，在模型训练过程中才会使用判别模型，使用模型也就是生成图像的过程中，不使用判别模型的。

步骤S205，获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性。

步骤S206，获取与所述图像内容属性对应的图像内容向量，将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息。

步骤S207，从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型。

步骤S208，在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

步骤S209，在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息。

步骤S210，将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像。

其中，步骤S205-步骤S210的具体过程可以参见上述图3对应实施例中对步骤S101-步骤S106的描述。

请参见图8，是本发明实施例提供的一种模型训练的架构示意图。生成器对应前述中的样本编码模型，变换器对应前述中的样本转换模型(例如，第一样本转换模型、第二样本转换模型)，重构器对应前述中的样本解码模型，判别器对应前述中的判别模型(例如，第一判别模型和第二判别模型)。可以看出，生成器连接多个变换器，每个变换器都进一步连接到重构器，多个判别器连接至重构器，判别器是用于将模型生成的仿真图像(或者是模拟图像)与真实图像区分开来，并预测生成图像的对象属性。向生成器输入图像内容向量a0，以及随机向量z，通过生成器编码，可以表示为E(z,a0)。通过不同的变换器，设置对象属性ci(例如将头发颜色设置为棕色，或者将性别设置为男性。)，可以表示为Ti(E(z,a0),ci)。重构器将图像特征信息解码为图像y＝R(Ti(E(z,a0),ci))。判别器用于区分图像y与真实图像，以及预测图像y的对象属性。

上述可知，分别为图像特征信息设置指定对象属性，解码后可以得到具有指定对象属性的图像，相比于生成随机属性的图像，生成指定对象属性的图像可以的丰富生成图像的属性种类，后续基于多属性种类的图像训练的分类模型具有较好的分类效果。

进一步的，请参见图9，是本发明实施例提供的一种图像生成装置的结构示意图。如图9所示，图像生成装置1可以应用于上述图3-图8对应实施例中的终端设备，图像生成装置1可以包括：第一获取模块11、编码模块12、第一转换模块13、第二转换模块14、解码模块15。

第一获取模块11，用于获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性；

所述第一获取模块11，还用于获取与所述图像内容属性对应的图像内容向量；

编码模块12，用于将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息；

所述第一获取模块11，还用于从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型；

第一转换模块13，用于在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息；

第二转换模块14，用于在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息；

解码模块15，用于将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像。

其中，第一获取模块11、编码模块12、第一转换模块13、第二转换模块14、解码模块15的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S106，这里不再进行赘述。

请参见图9，编码模块12可以包括：组合单元121、第一卷积单元122。

组合单元121，用于获取初始随机向量，将所述图像内容向量和所述初始随机向量组合为输入向量，并获取编码模型；

第一卷积单元122，用于根据所述编码模型中的编码卷积层，对所述输入向量进行卷积，得到具有所述图像内容属性的原始图像特征信息。

其中组合单元121、第一卷积单元122的具体功能实现方式可以参见上述图3对应实施例中的步骤S102，这里不再进行赘述。

请参见图9，所述原始图像特征信息包括至少一个单位原始图像特征信息；

第一转换模块13可以包括：第一获取单元131、扩展单元132、生成单元133。

第一获取单元131，用于在所述第一转换模型中，获取与所述第一对象属性对应的条件属性向量；

扩展单元132，用于根据单位原始图像特征信息的尺寸，扩展所述第一对象属性对应的条件属性向量，得到至少一个单位条件图像特征信息；单位条件图像特征信息与所述单位原始图像特征信息具有相同的尺寸；

所述扩展单元132，还用于将所述至少一个单位条件图像特征信息与所述原始图像特征信息连接为条件原始图像特征信息；

生成单元133，用于根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

其中，第一获取单元131、扩展单元132、生成单元133的具体功能实现方式可以参见上述图3对应实施例中的步骤S104，这里不再进行赘述。

请参见图9，生成单元133可以包括：卷积子单元1331、确定子单元1332。

卷积子单元1331，用于根据所述第一转换模型中的转换卷积层，对所述条件原始图像特征信息进行卷积，得到条件卷积张量；

所述卷积子单元1331，还用于根据所述第一转换模型中的残差层，对所述条件卷积张量进行残差连接，得到条件变换张量；

所述卷积子单元1331，还用于根据所述第一转换模型中的掩模卷积层，对所述条件变换张量进行卷积，生成用于标识变换区域的掩模图像；

确定子单元1332，用于根据所述条件变换张量、所述掩模图像和所述原始图像特征信息生成具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

其中，卷积子单元1331、确定子单元1332的具体功能实现方式可以参见上述图3对应实施例中的步骤S104，这里不再进行赘述。

请参见图9，解码模块15可以包括：第二获取单元151、第二卷积单元152。

第二获取单元151，用于获取解码模型；

第二卷积单元152，用于根据所述解码模型中的解码卷积层，对所述第二目标图像特征信息进行卷积，得到与所述图像生成指令匹配的目标图像。

其中，第二获取单元151、第二卷积单元152的具体功能实现方式可以参见上述图3对应实施例中的步骤S106，这里不再进行赘述。

请参见图9，图像生成装置1可以包括：第一获取模块11、编码模块12、第一转换模块13、第二转换模块14、解码模块15；还可以包括：第二获取模块16、生成模块17；

第二获取模块16，用于获取第一样本图像；所述第一样本图像是根据所述图像内容向量、与所述第一对象属性对应的条件属性向量、样本编码模型、第一样本转换模型和样本解码模型生成的；

所述第二获取模块16，还用于获取第二样本图像；所述第二样本图像是根据所述图像内容向量、与所述第二对象属性对应的条件属性向量、所述样本编码模型、第二样本转换模型和所述样本解码模型生成的；

所述第二获取模块16，还用于获取具有所述图像内容属性的第三样本图像；所述第一样本图像属于采集图像类型；

生成模块17，用于根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型。

其中，第二获取模块16、生成模块17的具体功能实现方式可以参见上述图7对应实施例中的步骤S201-步骤S204，这里不再进行赘述。

请参见图9，生成模块17可以包括：第三获取单元171、第四获取单元172、确定单元173、调整单元174。

第三获取单元171，用于获取与所述第一样本转换模型对应的第一判别模型；

第四获取单元172，用于获取与所述第二样本转换模型对应的第二判别模型；

确定单元173，用于根据所述第一判别模型、所述第二判别模型、所述第一样本图像、所述第二样本图像和所述第三样本图像确定所述目标损失值；

调整单元174，用于根据所述目标损失值调整所述样本编码模型中参数的权值、所述第一样本转换模型中参数的权值、所述第二样本转换模型中参数的权值、所述样本解码模型中参数的权值、所述第一判别模型中参数的权值和所述第二判别模型中参数的权值；

所述调整单元174，还用于当所述目标损失值小于损失阈值时，将调整后的样本编码模型确定为所述编码模型，将调整后的第一样本转换模型确定为所述第一转换模型，将调整后的第二样本转换模型确定为所述第二转换模型，将调整后的样本解码模型确定为所述解码模型。

其中，第三获取单元171、第四获取单元172、确定单元173、调整单元174的具体功能实现方式可以参见上述图7对应实施例中的步骤S204，这里不再进行赘述。

请参见图9，所述第三样本图像是具有所述第一对象属性的图像；所述第一判别模型包括第一生成判别模型和第一类型判别模型；

第三获取单元171可以包括：获取子单元1711、训练子单元1712。

获取子单元1711，用于获取初始分类模型，将所述初始分类模型作为所述第一生成判别模型；

所述获取子单元1711，还用于获取第四样本图像；所述第四样本图像是属于图像采集类型且具有第三对象属性的图像；所述第一对象属性和所述第三对象属性属于相同的对象属性类型；

训练子单元1712，用于根据所述第三样本图像和所述第四样本图像生成目标分类模型，并将所述目标分类模型作为所述第一类型判别模型。

其中，获取子单元1711、训练子单元1712的具体功能实现方式可以参见上述图7对应实施例中的步骤S204，这里不再进行赘述。

请参见图9，所述目标损失值包括生成损失值和判别损失值；所述第一判别模型包括第一生成判别模型和第一类型判别模型；所述第二判别模型包括第二生成判别模型和第二类型判别模型；

确定单元173可以包括：识别子单元1731、生成子单元1732。

识别子单元1731，用于根据所述第一生成判别模型识别所述第一样本图像属于所述采集图像类型的第一概率，根据所述第二生成判别模型识别所述第二样本图像属于所述采集图像类型的第二概率；

生成子单元1732，用于根据所述第三样本图像、所述第一概率、所述第二概率确定所述生成损失值；

所述生成子单元元1732，还用于根据所述第一类型判别模型获取所述第一样本图像的第一标签集合；所述第一标签集合表示所述第一样本图像与所述第一类型判别模型中的多种对象属性之间的匹配度；

所述生成子单元元1732，还用于根据所述第二类型判别模型获取所述第二样本图像的第二标签集合；所述第二标签集合表示所述第二样本图像与所述第二类型判别模型中的多种对象属性之间的匹配度；

所述生成子单元元1732，还用于根据所述第一标签集合和所述第二标签集合确定所述判别损失值，并将所述生成损失值和所述判别损失值组合为所述目标损失值。

其中，识别子单元1731、生成子单元1732的具体功能实现方式可以参见上述图7对应实施例中的步骤S204，这里不再进行赘述。

进一步地，请参见图10，是本发明实施例提供的一种电子设备的结构示意图。上述图3-图8对应实施例中的终端设备可以为电子设备1000，如图10所示，所述电子设备1000可以包括：用户接口1002、处理器1004、编码器1006以及存储器1008。信号接收器1016用于经由蜂窝接口1010、WIFI接口1012、...、或NFC接口1014接收或者发送数据。编码器1006将接收到的数据编码为计算机处理的数据格式。存储器1008中存储有计算机程序，处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器1008可包括易失性存储器(例如，动态随机存取存储器DRAM)，还可以包括非易失性存储器(例如，一次性可编程只读存储器OTPROM)。在一些实例中，存储器1008可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至电子设备1000。用户接口1002可以包括：键盘1018和显示器1020。

在图10所示的电子设备1000中，处理器1004可以用于调用存储器1008中存储计算机程序，以实现：

获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性；

获取与所述图像内容属性对应的图像内容向量，将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息；

从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型；

在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息；

在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息；

将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像。

应当理解，本发明实施例中所描述的电子设备1000可执行前文图3到图8所对应实施例中对所述图像生成方法的描述，也可执行前文图9所对应实施例中对所述图像生成装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的图像生成装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3到图8所对应实施例中对所述图像生成方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种图像生成方法，其特征在于，包括：

获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性；

获取与所述图像内容属性对应的图像内容向量，将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息；

从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型，所述第一转换模型是使用第一判别模型训练第一样本转换模型生成的，所述第二转换模型是使用第二判别模型训练第二样本转换模型生成的，所述第一判别模型包括第一生成判别模型和第一类型判别模型，所述第二判别模型包括第二生成判别模型和第二类型判别模型；

在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息；

在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息；

将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像；

其中，所述使用第一判别模型训练第一样本转换模型，以及所述使用第二判别模型训练第二样本转换模型，包括：

根据多个样本图像确定的目标损失值，采用误差反向传播算法，调整所述第一样本转换模型中参数的权值、所述第二样本转换模型中参数的权值、所述第一判别模型中参数的权值和所述第二判别模型中参数的权值，所述多个样本图像包括采集图像类型和模拟图像类型；在调整所述第一判别模型中参数的权值和所述第二判别模型中参数的权值时，仅调整所述第一生成判别模型参数的权值和所述第二生成判别模型参数的权值，并保持所述第一类型判别模型参数的权值和所述第二类型判别模型参数的权值不变；

当所述目标损失值小于损失阈值时，将调整后的第一样本转换模型确定为所述第一转换模型，将调整后的第二样本转换模型确定为所述第二转换模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息，包括：

获取初始随机向量，将所述图像内容向量和所述初始随机向量组合为输入向量，并获取编码模型；

根据所述编码模型中的编码卷积层，对所述输入向量进行卷积，得到具有所述图像内容属性的原始图像特征信息。

3.根据权利要求1所述的方法，其特征在于，所述原始图像特征信息包括至少一个单位原始图像特征信息；

所述在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息，包括：

在所述第一转换模型中，获取与所述第一对象属性对应的条件属性向量；

根据单位原始图像特征信息的尺寸，扩展所述第一对象属性对应的条件属性向量，得到至少一个单位条件图像特征信息；单位条件图像特征信息与所述单位原始图像特征信息具有相同的尺寸；

将所述至少一个单位条件图像特征信息与所述原始图像特征信息连接为条件原始图像特征信息；

根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息，包括：

根据所述第一转换模型中的转换卷积层，对所述条件原始图像特征信息进行卷积，得到条件卷积张量；

根据所述第一转换模型中的残差层，对所述条件卷积张量进行残差连接，得到条件变换张量；

根据所述第一转换模型中的掩模卷积层，对所述条件变换张量进行卷积，生成用于标识变换区域的掩模图像；

根据所述条件变换张量、所述掩模图像和所述原始图像特征信息生成具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

5.根据权利要求2所述的方法，其特征在于，所述将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像，包括：

获取解码模型；

根据所述解码模型中的解码卷积层，对所述第二目标图像特征信息进行卷积，得到与所述图像生成指令匹配的目标图像。

6.根据权利要求5所述的方法，其特征在于，还包括：

所述编码模型的输出接口标准、所述属性转换模型集合中的所有转换模型的输入接口标准、输出接口标准、所述解码模型的输入接口标准均相同；所述输入接口标准所指示的输入对象的尺寸，与所述输出接口标准所指示的输出对象的尺寸相同。

7.根据权利要求5所述的方法，其特征在于，还包括：

获取第一样本图像；所述第一样本图像是根据所述图像内容向量、与所述第一对象属性对应的条件属性向量、样本编码模型、第一样本转换模型和样本解码模型生成的；

获取第二样本图像；所述第二样本图像是根据所述图像内容向量、与所述第二对象属性对应的条件属性向量、所述样本编码模型、第二样本转换模型和所述样本解码模型生成的；

获取具有所述图像内容属性的第三样本图像；所述第三样本图像属于采集图像类型；

根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第一样本图像、所述第二样本图像、所述第三样本图像确定目标损失值，并根据所述目标损失值生成所述编码模型、所述第一转换模型、所述第二转换模型和所述解码模型，包括：

获取与所述第一样本转换模型对应的第一判别模型，并获取与所述第二样本转换模型对应的第二判别模型；

根据所述第一判别模型、所述第二判别模型、所述第一样本图像、所述第二样本图像和所述第三样本图像确定所述目标损失值；

根据所述目标损失值调整所述样本编码模型中参数的权值、所述第一样本转换模型中参数的权值、所述第二样本转换模型中参数的权值、所述样本解码模型中参数的权值、所述第一判别模型中参数的权值和所述第二判别模型中参数的权值；

当所述目标损失值小于损失阈值时，将调整后的样本编码模型确定为所述编码模型，将调整后的第一样本转换模型确定为所述第一转换模型，将调整后的第二样本转换模型确定为所述第二转换模型，将调整后的样本解码模型确定为所述解码模型。

9.根据权利要求8所述的方法，其特征在于，所述第三样本图像是具有所述第一对象属性的图像；所述第一判别模型包括第一生成判别模型和第一类型判别模型；

所述获取与所述第一样本转换模型对应的第一判别模型，包括：

获取初始分类模型，将所述初始分类模型作为所述第一生成判别模型；

获取第四样本图像；所述第四样本图像是属于图像采集类型且具有第三对象属性的图像；所述第一对象属性和所述第三对象属性属于相同的对象属性类型；

根据所述第三样本图像和所述第四样本图像生成目标分类模型，并将所述目标分类模型作为所述第一类型判别模型。

10.根据权利要求8所述的方法，其特征在于，所述目标损失值包括生成损失值和判别损失值；所述第一判别模型包括第一生成判别模型和第一类型判别模型；所述第二判别模型包括第二生成判别模型和第二类型判别模型；

所述根据所述第一判别模型、所述第二判别模型、所述第一样本图像、所述第二样本图像和所述第三样本图像确定所述目标损失值，包括：

根据所述第一生成判别模型识别所述第一样本图像属于所述采集图像类型的第一概率，根据所述第二生成判别模型识别所述第二样本图像属于所述采集图像类型的第二概率；

根据所述第三样本图像、所述第一概率、所述第二概率确定所述生成损失值；

根据所述第一类型判别模型获取所述第一样本图像的第一标签集合；所述第一标签集合表示所述第一样本图像与所述第一类型判别模型中的多种对象属性之间的匹配度；

根据所述第二类型判别模型获取所述第二样本图像的第二标签集合；所述第二标签集合表示所述第二样本图像与所述第二类型判别模型中的多种对象属性之间的匹配度；

根据所述第一标签集合和所述第二标签集合确定所述判别损失值，并将所述生成损失值和所述判别损失值组合为所述目标损失值。

11.一种图像生成装置，其特征在于，包括：

第一获取模块，用于获取图像生成指令；所述图像生成指令包括图像内容属性和图像对象属性；所述图像对象属性包括第一对象属性和第二对象属性；

所述第一获取模块，还用于获取与所述图像内容属性对应的图像内容向量；

编码模块，用于将所述图像内容向量进行编码，得到具有所述图像内容属性的原始图像特征信息；

所述第一获取模块，还用于从属性转换模型集合中，提取与所述第一对象属性对应的第一转换模型以及与所述第二对象属性对应的第二转换模型，所述第一转换模型是使用第一判别模型训练第一样本转换模型生成的，所述第二转换模型是使用第二判别模型训练第二样本转换模型生成的，所述第一判别模型包括第一生成判别模型和第一类型判别模型，所述第二判别模型包括第二生成判别模型和第二类型判别模型；

第一转换模块，用于在所述第一转换模型中为所述原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息；

第二转换模块，用于在所述第二转换模型中为所述第一目标图像特征信息配置所述第二对象属性，得到具有所述图像内容属性、所述图像对象属性的第二目标图像特征信息；

解码模块，用于将所述第二目标图像特征信息进行解码，得到与所述图像生成指令匹配的目标图像；

生成模块，用于根据多个样本图像确定的目标损失值，采用误差反向传播算法，调整所述第一样本转换模型中参数的权值、所述第二样本转换模型中参数的权值、所述第一判别模型中参数的权值和所述第二判别模型中参数的权值，所述多个样本图像包括采集图像类型和模拟图像类型；在调整所述第一判别模型中参数的权值和所述第二判别模型中参数的权值时，仅调整所述第一生成判别模型参数的权值和所述第二生成判别模型参数的权值，并保持所述第一类型判别模型参数的权值和所述第二类型判别模型参数的权值不变；当所述目标损失值小于损失阈值时，将调整后的第一样本转换模型确定为所述第一转换模型，将调整后的第二样本转换模型确定为所述第二转换模型。

12.根据权利要求11所述的装置，其特征在于，所述编码模块，包括：

组合单元，用于获取初始随机向量，将所述图像内容向量和所述初始随机向量组合为输入向量，并获取编码模型；

第一卷积单元，用于根据所述编码模型中的编码卷积层，对所述输入向量进行卷积，得到具有所述图像内容属性的原始图像特征信息。

13.根据权利要求11所述的装置，其特征在于，所述原始图像特征信息包括至少一个单位原始图像特征信息；

所述第一转换模块，包括：

第一获取单元，用于在所述第一转换模型中，获取与所述第一对象属性对应的条件属性向量；

扩展单元，用于根据单位原始图像特征信息的尺寸，扩展所述第一对象属性对应的条件属性向量，得到至少一个单位条件图像特征信息；单位条件图像特征信息与所述单位原始图像特征信息具有相同的尺寸；

所述扩展单元，还用于将所述至少一个单位条件图像特征信息与所述原始图像特征信息连接为条件原始图像特征信息；

生成单元，用于根据所述第一转换模型中的转换卷积层、所述原始图像特征信息，为所述条件原始图像特征信息配置所述第一对象属性，得到具有所述图像内容属性、所述第一对象属性的第一目标图像特征信息。

14.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-10任一项所述的方法。

15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-10任一项所述的方法。

Images