CN115936090A - 模型训练方法、设备和存储介质 - Google Patents

Abstract

本公开提供了一种模型训练方法、设备和存储介质，涉及深度学习、机器学习等人工智能技术领域。具体实现方案为：获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；获取目标任务对应的样本图像集合；针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量；确定目标噪声变量所服从的数据分布；根据数据分布和样本图像集合对目标GAN模型进行训练，由此，基于样本图像集合在源GAN模型中所学习到的数据分布来对目标GAN模型进行训练，可更好地利用源GAN模型的信息，实现对源GAN模型的信息的继承以及目GAN标模型的自适应调整，避免目标GAN模型出现过拟合，提高目标GAN模型的泛化能力。

Description

模型训练方法、设备和存储介质

技术领域

本公开涉及计算机技术领域，具体涉及深度学习、机器学习等人工智能技术领域，尤其涉及模型训练方法、设备和存储介质。

背景技术

目前，通常采用成式对抗网络(Generative Adversarial Network，GAN)模型来生成图像。其中，通常训练GAN模型通常需要依赖巨大的训练数据，然而，很多实际任务中通常只有非常有限的样本，例如，罕见的物体、特殊风格的图像等。

相关技术中，在目标任务所对应的样本量较少的情况下，通常采用基于大数据训练所得到的源GAN模型的网络参数对目标任务所对应的目标GAN模型进行初始化，并基于目标任务对应的样本图像数据对目标GAN模型进行训练。然而，上述方式训练得到的目标GAN模型的泛化能力较差，容易出现过拟合现象。

发明内容

本公开提供了一种用于模型训练方法、设备和存储介质。

根据本公开的一方面，提供了一种模型训练方法，包括：获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；获取目标任务对应的样本图像集合；针对所述样本图像集合中的各个样本图像，确定所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量；确定所述目标噪声变量所服从的数据分布；根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练。

根据本公开的另一方面，提供了一种模型训练装置，包括：第一获取模块，用于获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；第二获取模块，用于获取目标任务对应的样本图像集合；第一确定模块，用于针对所述样本图像集合中的各个样本图像，确定所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量；第二确定模块，用于确定所述目标噪声变量所服从的数据分布；训练模块，用于根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的模型训练方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的模型训练方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的模型训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第一实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是根据本公开第五实施例的示意图；

图6是根据本公开第六实施例的示意图；

图7是根据本公开一个实施例中的模型训练方法的示例图；

图8是根据本公开第七实施例的示意图；

图9是根据本公开第八实施例的示意图；

图10是用来实现本公开实施例的模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的模型训练方法、设备和存储介质。

图1是根据本公开第一实施例的示意图。

如图1所示，该模型训练方法可以包括：

步骤101，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型。

其中，需要说明的是，上述模型训练方法的执行主体为模型训练装置，该模型训练装置可以由软件和/或硬件的方式实现，该实施例中的模型训练装置可以为电子设备，或者，可以配置在电子设备中。

其中，本示例实施例中电子设备可以包括但不限于终端设备和服务器等设备，该实施例对电子设备不作限定。

其中，本示例中的源GAN模型是基于大量样本图像训练而得到的。

可以理解的是，本示例中的目标GAN模型的模型结构以及模型参数均是与源GAN模型相同的。

步骤102，获取目标任务对应的样本图像集合。

其中，本示例中的样本图像集合中样本图像的数量是有限的。

其中，本示例中的样本图像用于对目标模型进行训练。

在一些示例中，样本图像集合中各个样本图像所对应的类型是相同的。

步骤103，针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

在一些示例性的实施方式中，针对各个样本图像，可基于预先保存的样本图像和对应的噪声变量之间的对应关系中，获取源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

其中，对应关系中的噪声变量是源GAN模型的生成器在生成样本图像时所使用的噪声变量。

步骤104，确定目标噪声变量所服从的数据分布。

在一些示例性的实施方式中，在确定出各个样本图像对应的目标噪声变量后，可对所有目标噪声变量进行拟合，以得到目标噪声变量所服从的数据分布。

在确定出数据分布后，可确定出该数据分布所对应的标准差以及期望值等。

其中，通过对数据分布进行分析，可知，本示例中数据分布为混合高斯分布。

步骤105，根据数据分布和样本图像集合对目标GAN模型进行训练。

在一些示例性的实施方式中，在目标任务所对应的样本图像集合中各样本图像的类别是相同的，并且，源GAN模型对一个类别的图像进行处理过程的情况下，可直接基于数据分布和样本图像集合对目标GAN模型进行训练。

在另一些示例性的实施方式中，在目标任务所对应的样本图像集合中的各样本图像的类别是相同的，而源GAN模型可对多个类别的图像进行处理过程的情况下，在根据数据分布和样本图像集合对目标GAN模型进行训练之前，还可以将目标GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对单个类别嵌入层进行随机初始化；将目标GAN模型的判别器中的多个全连接层替换为单个全连接层，并对单个全连接层进行随机初始化。

在另一些示例性的实施方式中，在目标任务所对应的样本图像集合中的各样本图像的类别为多种的情况下，可将目标GAN模型的生成器中的原类别嵌入层替换为多个类别嵌入层，并对各个类别嵌入层进行随机初始化；将目标GAN模型的判别器中的原全连接层替换为多个全连接层，并对各个全连接层进行随机初始化。其中，类别嵌入层的数量以及全连接层的数量均与各个样本图像所对应的类别的数量相同。

其中，可以理解的是，相关技术中，通常是基于服从标准正态分布的噪声数据和样本图像集合对目标GAN模型进行训练，然而，在对目标GAN模型进行训练的过程中，不再基于标准正态分布的噪声数据对目标GAN模型进行训练，而是基于样本图像集合在源GAN模型中所学习到的数据分布来对目标GAN模型进行训练，从而可更好地利用源GAN模型的信息，实现了对源GAN模型的信息的继承以及目GAN标模型的自适应调整，避免目标GAN模型出现过拟合情况，提高所所训练出的目标GAN模型的泛化能力。

本公开实施例的模型训练方法，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；获取目标任务对应的样本图像集合；针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量；确定目标噪声变量所服从的数据分布；根据数据分布和样本图像集合对目标GAN模型进行训练，由此，基于样本图像集合在源GAN模型中所学习到的数据分布来对目标GAN模型进行训练，从而可更好地利用源GAN模型的信息，实现了对源GAN模型的信息的继承以及目GAN标模型的自适应调整，避免目标GAN模型出现过拟合情况，提高所所训练出的目标GAN模型的泛化能力。

在本公开的一个实施例中，在源GAN模型以及目标GAN模型均是对单类别的图像进行处理的情况下，为了可以准确确定出源GAN模型的生成器在生成样本图像时所使用的目标噪声变量，可基于源GAN模型的生成器所生成的第一生成图像和对应的样本图像在像素级上的差异来对输入到源GAN模型的噪声变量进行优化，为了可以清楚理解该过程，下结合图2对该实施例的模型训练方法进行示例性描述。

图2是根据本公开第二实施例的示意图。该实施例对图1所实施例的进一步细化或者优化。

如图2所示，该模型训练方法可以包括：

步骤201，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型。

步骤202，获取目标任务对应的样本图像集合。

其中，需要说明的是，关于步骤201至步骤202的具体实现方式，可参见本公开实施例的相关描述，此处不再赘述。

步骤203，针对样本图像集合中的各个样本图像，获取源GAN模型的生成器初始噪声变量为样本图像所生成的第一生成图像，其中，初始噪声变量是从服从标准正态分布的噪声数据中随机采样得到的。

具体地，针对每个样本图像而言，在将一个样本图像输入到源GAN模型的情况下，通常从服从标准正态分布的噪声数据中随机采样出一个初始噪声变量输入到源GAN模型的生成器，对应地，源GAN模型的生成器基于输入的初始噪声变量生成对应一个第一生成图像。

步骤204，根据各个样本图像和其对应的第一生成图像之间的像素级差异，确定损失值。

在一些示例性的实施方式中，可确定出各个样本图像和其对应的第一生成图像之间的像素级差异，并将像素级差异代入平均平方误差损失函数中，以得到损失值。也就是说，在对噪声变量进行优化的过程中，本示例中所使用的损失函数为生成图像和样本图像之间的像素级差异的平均平方误差损失函数。

步骤205，根据损失值，对初始噪声变量进行优化，直至损失值满足预设结束条件，其中，在对初始噪声变量进行优化的过程中，源GAN模型生成器的参数是固定的。

其中，预设结束条件即为对初始噪声变量结束优化的条件。预设结束条件可以根据实际需求进行相应的配置。例如，预设结束条件可以是损失小于对应的预设损失值，也可以是损失值的变化趋近于平稳，即相邻两次或多次优化初始噪声变量所得到的损失值的差值小于对应的设定值，也就是损失值基本不再变化。

步骤206，将在损失值满足预设结束条件时，源GAN模型的生成器在生成各个样本图像所对应的第一生成图像时所使用的噪声变量，作为源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

步骤207，确定目标噪声变量所服从的数据分布。

步骤208，根据数据分布和样本图像集合对目标GAN模型进行训练。

在本示例中，可基于源GAN模型的生成器所生成的第一生成图像和对应的样本图像在像素级上的差异来对输入到源GAN模型的初始噪声变量进行优化，以准确确定出源GAN模型的生成器在生成样本图像时所使用的目标噪声变量，并结合确定出目标噪声变量，可准确确定出其对应的数据分布，继而在数据分布对目标GAN模型进行训练时，使得目标GAN模型可更好地利用源GAN模型的信息，更好地对源GAN模型的信息的继承以及目GAN标模型的自适应调整，提高所训练输出的目标GAN模型的质量。

可以理解的是，在源GAN模型用来对多种类型的图像进行处理(也就是说，源GAN模型的生成器一次可生成多种类型的图像，并且，源GAN模型的判别器可对多种类型的图像进行判别真假)，而目标GAN模型仅用来对一种类型的图像进行处理的情况下，在确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量之前，可将源GAN模型的生成器(Generator)中的类别嵌入层(class embedding)以及判别器(Discriminator)中的全连接层重新定义为单类别并随机初始化。具体而言，将源GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对单个类别嵌入层进行随机初始化；将源GAN模型的判别器中的多个全连接层替换为单个全连接层，并对单个全连接层进行随机初始化。

其中，对单个类别嵌入层进行随机初始化是指对单个类别嵌入层的参数进行随机初始化。

其中，对单个全连接层进行随机初始化是对单个全连接层的参数进行随机初始化。

其中，可以理解的是，源GAN模型的生成器中的不同的类别嵌入层所对应的类型是不同的。

其中，源GAN模型的生成器中的不同的全连接层所对应的类型不同的。

在一些示例性的实施方式中，在源GAN模型用来对多种类型的图像进行处理(也就是说，源GAN模型的生成器一次可生成多种类型的图像，并且，源GAN模型的判别器可对多种类型的图像进行判别真假)，而目标GAN模型仅用来对一种类型的图像进行处理的情况下，为了可以实现对目标GAN模型进行准确训练，在对目标GAN模型进行训练之前，可对目标GAN模型的生成器中的类别嵌入层以及判别器中的全连接层设置为单类别，并对其进行随机初始化后，再结合数据分布和目标任务对应的样本图像集合对目标GAN模型进行训练，下面结合图3对该情况进行示例性描述。

图3是根据本公开第三实施例的示意图。

如图3所示，该模型训练方法可以包括：

步骤301，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型。

步骤302，获取目标任务对应的样本图像集合。

步骤303，针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

步骤304，确定目标噪声变量所服从的数据分布。

其中，关于步骤301至步骤304的具体实现方式，可参见本公开实施例的相关描述，此处不再赘述。

步骤305，将目标GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对单个类别嵌入层进行随机初始化。

步骤306，将目标GAN模型的判别器中的多个全连接层替换为单个全连接层，并对单个全连接层进行随机初始化。

基于上述描述，可以理解的是，本示例中的目标GAN模型中除了类别嵌入层以及全连接层与源GAN不同外，目标GAN模型的余各层以及对应的网络参数与源GAN模型是相同的。

步骤307，根据数据分布和样本图像集合对目标GAN模型进行训练。

在本示例中，在源GAN模型用来对多种类型的图像进行处理，而目标GAN模型仅用来对一种类型的图像进行处理的情况下，在对目标GAN模型进行训练之前，可对目标GAN模型的生成器中的类别嵌入层以及判别器中的全连接层设置为单类别，并对其进行随机初始化后，在结合数据分布和目标任务对应的样本图像集合对目标GAN模型进行训练，从而可实现对目标GAN模型进行准确训练，提高了所训练的目标GAN模型的质量。

基于上述任意一个实施例的基础上，为了进一步提高所训练出的目标GAN模型的质量，可结合数据分布和样本图像集合对目标GAN模型的生成器和判别器进行交替训练，使得生成器和判别器通过它们之间的博弈，实现各自的优化。下面结合图4对该过程进行示例性描述。

图4是根据本公开第四实施例的示意图。

如图4所示，该模型训练方法可以包括：

步骤401，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型。

步骤402，获取目标任务对应的样本图像集合。

步骤403，针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

步骤404，确定目标噪声变量所服从的数据分布。

步骤405，对数据分布进行多次随机采样，并获取目标GAN的生成器基于多次随机采样所得到的噪声变量所生成的生成图像集合。

具体地，可将多次随机采样所得到的噪声变量输入到目标GAN模型的生成器中，对应地，目标GAN模型的生成器基于输入的噪声变量生成与输入的噪声变量对应的一个第二生成图像，并基于所有采样所得到的噪声变量所对应的第二生成图像形成生成图像集合。

其中，可以理解的是，输入的噪声变量不同，目标GAN模型的生成器所生成的生成图像是不同的。

步骤406，将生成图像集合中的各个第二生成图像和样本图像集合中各个样本图像输入到目标GAN模型的判别器中，以得到各个第二生成图像的第一分类结果和各个样本图像的第二分类结果。

其中，第一分类结果用于表示生成图像来自样本图像集合或者生成图像集合。

其中，第二分类结果用于表示样本图像来自样本图像集合或者生成图像集合。

步骤407，从判别器中获得各个第二生成图像的特征向量。

可以理解的是，本示例中目标GAN模型的判别器包括特征提取层和全连接层，对应地，特征提取层用于对各个第二生成图像进行特征提取，以得到各个第二生成特征图像的特征向量。

在一些示例性的实施方式中，上述特征提取层可对各个第二生成图像进行傅里叶变换，以得到各个第二生成图像对应的频谱结果，并对频谱结果进行特征提取，以得到各个第二生成特征图像的特征向量。

其中，全连接层用于基于各个第二生成图像的特征向量，来分别确定出各个第二生成图像的分类结果。

步骤408，根据第一分类结果、特征向量和第二分类结果，对目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件。

在一些示例性的实施方式中，可根据第一分类结果、特征向量和第二分类结果确定出目标GAN模型的总损失值，并根据总损失值对目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件。

在本公开的一个实施例中，根据第一分类结果、特征向量和第二分类结果，对目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件的一种可能实现方式为：根据第一分类结果、特征向量和第二分类结果，确定目标GAN模型的总损失值；根据总损失值，对目标GAN模型的判别器进行训练，其中，在对目标GAN模型的判别器进行训练的过程中，目标GAN模型的生成器的参数不变；根据总损失值，对目标GAN模型的生成器进行训练，其中，在对目标GAN模型的生成器进行训练的过程中，目标GAN模型的判别器的参数不变；交替执行对目标GAN模型的判别器和生成器进行训练的步骤，直至满足训练结束条件。由此，基于总损失值，对目标GAN模型的生成器和判别器进行交替训练，实现对目标GAN模型的生成器和判别器各自进行优化，最终使得目标GAN模型无法准确区分样本图像集合和生成图像集合，进一步提高所训练出的目标GAN模型的质量。

其中，需要说明的是，在对目标GAN模型的判别器和生成器进行交替训练的过程中，在一些示例中，可先保持目标GAN模型的生成器的参数不变，对目标GAN模型的判别器进行训练，然后，再保持目标GAN模型的判别器的参数不变，对目标GAN模型的生成器进行训练。在另一些示例中，可先保持目标GAN模型的判别器的参数不变，对目标GAN模型的生成器进行训练，然后，再保持目标GAN模型的生成器的参数不变，对目标GAN模型的判别器进行训练。

其中，训练结束条件是指对目标GAN模型结束训练的条件。可以理解的是，在实际应用中，可根据实际情况来设置该目标GAN模型的训练结束条件，例如，训练结束条件可以为对目标GAN模型完成T轮训练，或者，总损失值小于预设的损失值，或者，总损失值变化趋近于平稳，即相邻两次或多次对目标GAN模型进行训练所得到的总损失值的差值小于对应的设定值，也就是损失值基本不再变化。

在本示例中，根据第一分类结果、特征向量和第二分类结果，对目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件，从而可进一步提高所训练出的目标GAN模型的效果，避免目标GAN模型的生成器只能生成样本图像集合中的少量样本图像情况的生成，提高了所训练出的目标GAN模型的生成器所生成的图像的多样性。

基于上述实施例的基础上，根据第一分类结果、特征向量和第二分类结果，确定目标GAN模型的总损失值的一种可能实现方式为：根据第一分类结果和第二分类结果，确定目标GAN模型的第一损失值；根据特征向量，确定生成图像集合的特征矩阵；根据特征矩阵，确定目标GAN模型的第二损失值；根据第一损失值和第二损失值，确定目标GAN模型的总损失值。由此，准确确定出了目标GAN模型的总损失值。

在一些示例性的实施方式中，根据特征矩阵，确定目标GAN模型的第二损失值的一种可能实现方式为：对特征矩阵进行奇异值分解，以得到特征矩阵所对应的多个奇异值；按照从小到大的顺序对多个奇异值进行排序，以得到排序结果；从排序结果中获取排序在前K位的目标奇异值，其中，K为大于或者等于1的整数，并且，K小于或者等于N，N为多个奇异值的总数；根据排序在前K位的目标奇异值，确定目标GAN模型的第二损失值。由此，准确确定出了目标GAN模型的第二损失值。

在另一些示例性的实施方式中，根据特征矩阵，确定目标GAN模型的第二损失值的一种可能实现方式为：对特征矩阵进行奇异值分解，以得到特征矩阵所对应的多个奇异值；按照从大到小的顺序对多个奇异值进行排序，以得到排序结果；从排序结果中获取排序在后K位的目标奇异值，其中，K为大于或者等于1的整数，并且，K小于或者等于N，N为多个奇异值的总数；根据排序在前K位的目标奇异值，确定目标GAN模型的第二损失值。由此，准确确定出了目标GAN模型的第二损失值。

在一些示例性的实施方式中，用于计算目标GAN模型的第二损失值J_loss的计算公式为：

其中，C是预先设置的系数，K表示目标奇异值的总数，s_i表示K个目标奇异值中的第i个目标奇异值。

在另一些示例性的实施方式中，根据特征矩阵，确定目标GAN模型的第二损失值的一种可能实现方式为：对特征矩阵进行奇异值分解，以得到特征矩阵所对应的多个奇异值，从多个奇异值中获取奇异值小于预设阈值的至少一个目标奇异值，根据所有目标奇异值，确定出目标GAN模型的第二损失值。

其中，预设阈值是根据预先设置的奇异值的临界值，在实际应用中，可根据实际应用需求来设置该预设阈值的取值，该实施例对此不作具体限定。

基于上述任意一个实施例的基础上，在预先设置模型训练结束条件为对目标GAN模型进行T轮训练的情况下，在对目标GAN模型进行第t轮训练时，为了有利于对目标GAN模型进行优化，可基于总训练轮次T和t，对数据分布的均值以及标准差进行调制，以实现对数据分布地更新，并结合更新后的数据分布和样本图像集合对目标GAN模型进行第j轮训练，为了可以清楚理解这个过程，下结合图5对该实施例的模型训练方法进行进一步示例性描述。

图5是根据本公开第五实施例的示意图。

如图5所示，该模型训练方法可以包括：

步骤501，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型。

步骤502，获取目标任务对应的样本图像集合。

步骤503，针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

步骤504，确定目标噪声变量所服从的数据分布。

其中，关于步骤501至步骤504的具体实现方式，可参见本公开实施例的相关描述，此处不再赘述。

步骤505，针对第t轮训练，根据t和T，对数据分布的均值和标准差进行调整，以对数据分布进行更新，其中，t为大于1的整数，并且，t小于或者等于T，并可根据更新后的数据分布和样本图像集合对目标GAN模型进行第t轮训练。

在一些示例的实施方式中，为了在训练的过程中，使得可将数据分布逐渐拉回到标准正态分布，在数据分布为混合高斯分布的情况下，假设在未对目标GAN模型进行训练时所对应的初始混合高斯分布为：

其中，z表示目标噪声变量，

表示初始混合高斯分布的均值，

表示初始混合高斯分布的标准差。

其中，在对第t次对目标GAN模型进行训练时所使用的混合高斯分布为：

其中，在对第t次对目标GAN模型进行训练时所使用的混合高斯分布的均值

为

在对第t次对目标GAN模型进行训练时所使用的混合高斯分布的均值

为

其中，I是预先设置的系数。

其中，可以理解的是，在对目标GAN模型进行第T轮训练时，所使用的数据分布为标准正态分布。也就是说，在对目标GAN模型进行第T轮训练，可使用服从标准正态分布的噪声数据和样本图像集合地目标GAN模型进行第T轮训练。

其中，每一轮训练中，根据数据分布和样本图像集合对目标GAN模型进行本轮训练的具体实现可以为：对本轮训练使用的数据分布进行多次随机采样，并获取目标GAN的生成器基于多次随机采样所得到的噪声变量所生成的生成图像集合；将生成图像集合中的各个第二生成图像和样本图像集合中各个样本图像输入到目标GAN模型的判别器中，以得到各个第二生成图像的第一分类结果和各个样本图像的第二分类结果，其中，第一分类结果用于表示生成图像来自样本图像集合或者生成图像集合，第二分类结果用于表示样本图像来自样本图像集合或者生成图像集合；从判别器中获得各个第二生成图像的特征向量；根据第一分类结果、特征向量和第二分类结果，对目标GAN模型的生成器和判别器进行一次交替训练。

其中，在对目标GAN模型的生成器和判别器进行交替训练时，可先对目标GAN模型的生成器进行训练，也可以先对目标GAN模型的判别器先进行训练，该实施例对此不作具体限定。

其中，t的初始值为1，t的最大值为T。

步骤506，对t进行加处理，并判断t是否小于或者等于T，如果是，继续执行步骤505，直至对目标GAN模型完成T轮训练。

为了可以清楚理解本公开，下面结合图6以及图7对该示例的模型训练方法进行示例性描述。

图6是根据本公开第六实施例的示意图。

如图6所示，该模型训练方法可以包括：

步骤601，获取一个预先训练好的源GAN模型。

其中，上述预先训练好的GAN模型是基于大量的样本图像数据训练得到的。

步骤602，创建一个和源GAN模型相同的目标GAN模型，可将源GAN模型的生成器的类别嵌入层以及判别器的分类层重新定义为单类别并进行随机初始化。

其中，关于源GAN模型的生成器的类别嵌入层以及判别器的分类层重新定义为单类别并进行随机初始化的具体描述，可参见本公开实施例的相关描述，此处不再赘述。

可以理解的是，由于源GAN模型的生成器通常生成多种类型的图像，并且源GAN模型的判别器对多种类型的图像进行处理，而本示例中的样本图像集合中的样本图像是来自同一个类别的，因此，在进行调优时，可将源GAN模型的生成器的类别嵌入层以及判别器的全连接层重新定义为单类别并进行随机初始化。

步骤603，针对目标任务对应的样本图像集合中各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

具体地，可从服从标准正态分布的噪声数据中随机采样一个初始噪声变量，将初始噪声变量输入到源GAN模型的生成器，以得到生成图像，根据样本图像和生成图像，确定出用于表征样本图像和生成图像在像素级上的平均平方误差L2损失值，对初始噪声变量进行优化，直至L2损失值满足预设的结束条件。其中，示例过程如图7中的a处所示。

步骤604，对所有目标噪声变量进行拟合，以得到混合高斯分布。

在一些示例性的实施方式中，可确定出混合高斯分布的标准差以及均值。

其中，确定混合高斯分布的标准差以及均值的具体实现方式，可参见相关技术，该实施例对此不作具体限定。

步骤605，根据所确定出的高斯混合分布和样本图像集合对目标GAN模型进行训练。

具体地，在对目标GAN模型进行训练之前，可将目标GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对单个类别嵌入层进行随机初始化，并将目标GAN模型的判别器中的多个全连接层替换为单个全连接层，并对单个全连接层进行随机初始化。

其中，可以理解的是，目标GAN模型中除了分类嵌入层和全连接层之外的其他各层的参数与源GAN模型的相同。

在基于所确定出的高斯混合分布和样本图像集合对目标GAN模型进行训练的过程中，所使用的训练步骤与对标准的GAN模型进行训练的步骤基本相同，交替对目标GAN模型的生成器和判别器进行参数的调优。不同的是，相关技术中是采用服从标准正态分布的噪声数据，然而，本公开是基于样本图像集合所确定出的混合高斯分布对目标GAN模型进行训练。

并且在对混合高斯分布对目标GAN模型多轮训练的过程中，为了可有利于目标GAN模型的优化，在对目标GAN模型进行第t轮训练的过程中，可对所确定出的混合高斯分布的标准差以及均值进行调整，以得到第t轮训练时所使用的目标混合高斯分布，并基于目标高斯分布和样本图像集合对目标GAN模型进行第t轮训练，其中，在对目标GAN模型第T轮训练时所使用的目标混合高斯分布的均值为0，并且标准差为1，即在在对目标GAN模型第T轮训练时所使用的目标混合高斯分布为标准正态分布，并基于服从标准正态分布的噪声数据和样本图像集合对对目标GAN模型进行第T轮训练。其中，T表示对目标GAN模型进行训练的总轮数。例如，T可以为6000，也就是说，可对目标GAN模型进行6000轮训练。

基于上述描述，可以看出，在一些示例中，为了有利于对目标GAN模型进行训练，在对目标GAN模型进行多轮训练的过程中，随着训练轮次的增加，可逐渐对初始所得到的混合高斯分布进行调整，以将混合高斯分布逐渐拉回正态标准分布。

此外，为了避免所训练的GAN模型只能生成样本图像集合中的样本图像，提高所训练的GAN模型的泛化能力，本示例中在每次迭代更新参数时，除了计算基于分类结果所确定出目标GAN模型的第一损失值(也可以将第一损失值称为分类损失值)之外，额外引入了一个基于生成图像的特征矩阵所计算出的第二损失值，在一些示例中，也可以将第二损失值称为图像频谱多样性损失值(Batch Spectral Diversification Loss，DSD Loss)。图像频谱多样性损失值是通过计算生成器生成图像的特征矩阵，并对其进行奇异值分解(Singular Value Decompose)，以得到多个奇异值，并对多个奇异值按照从小到大进行排序，以得到排序结果，并从排序结果中排序在K位的目标奇异值，并根据目标奇异值，确定出对应的损失值，其中，K为大于或者等于1的整数，并且小于或者等于奇异值的总数N。其中，基于样本图像集合所确定出的混合高斯分布H和样本图像集合对目标GAN模型进行训练的示例，如图7中的标记b处所示，其中，图7中第一分类损失值用分类损失值进行表示，第二损失值用图像频谱多样性损失值进行表示，可以理解的是在确定出第一损失值(分类损失值)和第二损失值(图像频谱多样性损失值)后，可确定出目标GAN模型的总损失值，并基于总损失值对目标GAN模型进行训练。

在本示例中，事先对样本图像集合在源GAN模型中的噪声空间中的分布探索，能在不破坏模型结构的前提下更好地利用源GAN模型的信息，对目标GAN模型进行训练，从而使得所训练出的目标GAN模型的生成器所生成的图像具有多样性，并且质量更好。

为了实现上述实施例，本公开实施例还提供一种模型训练装置。

图8是根据本公开第是第七实施例的示意图。

如图8所示，该模型训练装置800可以包括：第一获取模块801、第二获取模块802、第一确定模块803、第二确定模块804和训练模块805，其中：

第一获取模块801，用于获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型。

第二获取模块802，用于获取目标任务对应的样本图像集合。

第一确定模块803，用于针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

第二确定模块804，用于确定目标噪声变量所服从的数据分布。

训练模块805，用于根据数据分布和样本图像集合对目标GAN模型进行训练。

其中，需要说明的是，前述对模型训练方法实施例的解释说明也适用于本实施例，本实施对此不再赘述。

本公开实施例的模型训练装置，获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；获取目标任务对应的样本图像集合；针对样本图像集合中的各个样本图像，确定源GAN模型的生成器在生成样本图像时所使用的目标噪声变量；确定目标噪声变量所服从的数据分布；根据数据分布和样本图像集合对目标GAN模型进行训练，由此，基于样本图像集合在源GAN模型中所学习到的数据分布来对目标GAN模型进行训练，从而可更好地利用源GAN模型的信息，实现了对源GAN模型的信息的继承以及目GAN标模型的自适应调整，避免目标GAN模型出现过拟合情况，提高所所训练出的目标GAN模型的泛化能力。

在本公开的一个实施例中，如图9所示，该模型训练装置可以包括：第一获取模块901、第二获取模块902、第一确定模块903、第二确定模块904、训练模块905、第一初始化模块906、第二初始化模块907和调整模块908，其中，训练模块905可以包括生成图像确定子模块9051、分类子模块9052、获取子模块9053、训练子模块9054；训练子模块9054可以包括：确定单元90541、第一训练单元90542、第二训练单元90543、交替执行单元90544，其中，确定单元90541可以包括：第一确定子单元905411、第二确定子单元905412、第三确定子单元905413和第四确定子单元905414，其中：

其中，关于第一获取模块901、第二获取模块902和第二确定模块904的详细描述请参考图8所示实施例中第一获取模块801、第二获取模块802和第二确定模块804的说明，此处不再进行描述。

在本公开的一个实施例中，第一确定模块903，具体用于：

针对样本图像集合中的各个样本图像，获取源GAN模型的生成器初始噪声变量为样本图像所生成的第一生成图像，其中，初始噪声变量是从服从标准正态分布的噪声数据中随机采样得到的；

根据各个样本图像和其对应的第一生成图像之间的像素级差异，确定损失值；

根据损失值，对初始噪声变量进行优化，直至损失值满足预设结束条件，其中，在对初始噪声变量进行优化的过程中，源GAN模型生成器的参数是固定的；

将在损失值满足预设结束条件时，源GAN模型的生成器在生成各个样本图像所对应的第一生成图像时所使用的噪声变量，作为源GAN模型的生成器在生成样本图像时所使用的目标噪声变量。

在本公开的一个实施例中，装置还包括：

第一初始化模块906，用于将目标GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对单个类别嵌入层进行随机初始化；

第二初始化模块907，用于将目标GAN模型的判别器中的多个全连接层替换为单个全连接层，并对单个全连接层进行随机初始化。

在本公开的一个实施例中，训练模块905，包括：

生成图像确定子模块9051，用于对数据分布进行多次随机采样，并获取目标GAN的生成器基于多次随机采样所得到的噪声变量所生成的生成图像集合；

分类子模块9052，用于将生成图像集合中的各个第二生成图像和样本图像集合中各个样本图像输入到目标GAN模型的判别器中，以得到各个第二生成图像的第一分类结果和各个样本图像的第二分类结果，其中，第一分类结果用于表示生成图像来自样本图像集合或者生成图像集合，第二分类结果用于表示样本图像来自样本图像集合或者生成图像集合；

获取子模块9053，用于从判别器中获得各个第二生成图像的特征向量；

训练子模块9054，用于根据第一分类结果、特征向量和第二分类结果，对目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件。

在本公开的一个实施例中，训练子模块9054，包括：

确定单元90541，用于根据第一分类结果、特征向量和第二分类结果，确定目标GAN模型的总损失值；

第一训练单元90542，用于根据总损失值，对目标GAN模型的判别器进行训练，其中，在对目标GAN模型的判别器进行训练的过程中，目标GAN模型的生成器的参数不变；

第二训练单元90543，用于根据总损失值，对目标GAN模型的生成器进行训练，其中，在对目标GAN模型的生成器进行训练的过程中，目标GAN模型的判别器的参数不变；

交替执行单元90544，用于交替执行对目标GAN模型的判别器和生成器进行训练的步骤，直至满足训练结束条件。

在本公开的一个实施例中，确定单元90541，包括：

第一确定子单元905411，用于根据第一分类结果和第二分类结果，确定目标GAN模型的第一损失值；

第二确定子单元905412，用于根据特征向量，确定生成图像集合的特征矩阵；

第三确定子单元905413，用于根据特征矩阵，确定目标GAN模型的第二损失值；

第四确定子单元905414，用于根据第一损失值和第二损失值，确定目标GAN模型的总损失值。

在本公开的一个实施例中，第三确定子单元905413，具体用于：

对特征矩阵进行奇异值分解，以得到特征矩阵所对应的多个奇异值；

按照从小到大的顺序对多个奇异值进行排序，以得到排序结果；

从排序结果中获取排序在前K位的目标奇异值，其中，K为大于或者等于1的整数，并且，K小于或者等于N，N为多个奇异值的总数；

根据排序在前K位的目标奇异值，确定目标GAN模型的第二损失值。

在本公开的一个实施例中，在对目标GAN进行T轮训练时，针对第t轮训练，装置还包括：

调整模块908，用于根据t和T，对数据分布的均值和标准差进行调整，以对数据分布进行更新，其中，t为大于1的整数，并且，t小于或者等于T。

其中，需要说明的是，前述对模型训练方法实施例的解释说明也适用于本实施例中的模型训练装置，此处不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，该电子设备1000可以包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如模型训练方法。例如，在一些实施例中，模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法。

本文中以上描述的装置和技术的各种实施方式可以在数字电子电路装置、集成电路装置、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上装置的装置(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程装置上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储装置、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储装置、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行装置、装置或设备使用或与指令执行装置、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体装置、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的装置和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的装置和技术实施在包括后台部件的计算装置(例如，作为数据服务器)、或者包括中间件部件的计算装置(例如，应用服务器)、或者包括前端部件的计算装置(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的装置和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算装置中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将装置的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机装置可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器可以是云服务器，也可以为分布式装置的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种模型训练方法，包括：

获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；

获取目标任务对应的样本图像集合；

针对所述样本图像集合中的各个样本图像，确定所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量；

确定所述目标噪声变量所服从的数据分布；

根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练。

2.根据权利要求1所述的方法，其中，所述针对所述样本图像集合中的各个样本图像，确定所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量，包括：

针对所述样本图像集合中的各个样本图像，获取所述源GAN模型的生成器初始噪声变量为所述样本图像所生成的第一生成图像，其中，所述初始噪声变量是从服从标准正态分布的噪声数据中随机采样得到的；

根据各个样本图像和其对应的第一生成图像之间的像素级差异，确定损失值；

根据所述损失值，对所述初始噪声变量进行优化，直至所述损失值满足预设结束条件，其中，在对所述初始噪声变量进行优化的过程中，所述源GAN模型生成器的参数是固定的；

将在所述损失值满足所述预设结束条件时，所述源GAN模型的生成器在生成各个样本图像所对应的第一生成图像时所使用的噪声变量，作为所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量。

3.根据权利要求1所述的方法，其中，在所述根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练之前，所述方法还包括：

将所述目标GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对所述单个类别嵌入层进行随机初始化；

将所述目标GAN模型的判别器中的多个全连接层替换为单个全连接层，并对所述单个全连接层进行随机初始化。

4.根据权利要求1所述的方法，其中，所述根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练，包括：

对所述数据分布进行多次随机采样，并获取所述目标GAN的生成器基于多次随机采样所得到的噪声变量所生成的生成图像集合；

将所述生成图像集合中的各个第二生成图像和所述样本图像集合中各个样本图像输入到所述目标GAN模型的判别器中，以得到各个第二生成图像的第一分类结果和各个样本图像的第二分类结果，其中，所述第一分类结果用于表示所述生成图像来自所述样本图像集合或者所述生成图像集合，所述第二分类结果用于表示所述样本图像来自所述样本图像集合或者所述生成图像集合；

从所述判别器中获得各个第二生成图像的特征向量；

根据所述第一分类结果、所述特征向量和所述第二分类结果，对所述目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件。

5.根据权利要求4所述的方法，其中，所述根据所述第一分类结果、所述特征向量和所述第二分类结果，对所述目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件，包括：

根据所述第一分类结果、所述特征向量和所述第二分类结果，确定所述目标GAN模型的总损失值；

根据所述总损失值，对所述目标GAN模型的判别器进行训练，其中，在对所述目标GAN模型的判别器进行训练的过程中，所述目标GAN模型的生成器的参数不变；

根据所述总损失值，对所述目标GAN模型的生成器进行训练，其中，在对所述目标GAN模型的生成器进行训练的过程中，所述目标GAN模型的判别器的参数不变；

交替执行对所述目标GAN模型的判别器和生成器进行训练的步骤，直至满足训练结束条件。

6.根据权利要求4所述的方法，其中，所述根据所述第一分类结果、所述特征向量和所述第二分类结果，确定所述目标GAN模型的总损失值，包括：

根据所述第一分类结果和所述第二分类结果，确定所述目标GAN模型的第一损失值；

根据所述特征向量，确定所述生成图像集合的特征矩阵；

根据所述特征矩阵，确定所述目标GAN模型的第二损失值；

根据所述第一损失值和所述第二损失值，确定所述目标GAN模型的总损失值。

7.根据权利要求6所述的方法，其中，所述根据所述特征矩阵，确定所述目标GAN模型的第二损失值，包括：

对所述特征矩阵进行奇异值分解，以得到所述特征矩阵所对应的多个奇异值；

按照从小到大的顺序对所述多个奇异值进行排序，以得到排序结果；

从排序结果中获取排序在前K位的目标奇异值，其中，K为大于或者等于1的整数，并且，K小于或者等于N，N为所述多个奇异值的总数；

根据排序在前K位的目标奇异值，确定所述目标GAN模型的第二损失值。

8.根据权利要求1-7中任一项所述的方法，其中，在对所述目标GAN进行T轮训练时，针对第t轮训练，在根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练之前，所述方法还包括：

根据t和T，对所述数据分布的均值和标准差进行调整，以对所述数据分布进行更新，其中，t为大于1的整数，并且，t小于或者等于T。

9.一种模型训练装置，包括：

第一获取模块，用于获取与预训练好的源生成式对抗网络GAN模型相同的目标GAN模型；

第二获取模块，用于获取目标任务对应的样本图像集合；

第一确定模块，用于针对所述样本图像集合中的各个样本图像，确定所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量；

第二确定模块，用于确定所述目标噪声变量所服从的数据分布；

训练模块，用于根据所述数据分布和所述样本图像集合对所述目标GAN模型进行训练。

10.根据权利要求9所述的装置，其中，所述第一确定模块，具体用于：

针对所述样本图像集合中的各个样本图像，获取所述源GAN模型的生成器初始噪声变量为所述样本图像所生成的第一生成图像，其中，所述初始噪声变量是从服从标准正态分布的噪声数据中随机采样得到的；

根据各个样本图像和其对应的第一生成图像之间的像素级差异，确定损失值；

根据所述损失值，对所述初始噪声变量进行优化，直至所述损失值满足预设结束条件，其中，在对所述初始噪声变量进行优化的过程中，所述源GAN模型生成器的参数是固定的；

将在所述损失值满足所述预设结束条件时，所述源GAN模型的生成器在生成各个样本图像所对应的第一生成图像时所使用的噪声变量，作为所述源GAN模型的生成器在生成所述样本图像时所使用的目标噪声变量。

11.根据权利要求9所述的装置，其中，所述装置还包括：

第一初始化模块，用于将所述目标GAN模型的生成器中的多个类别嵌入层替换为单个类别嵌入层，并对所述单个类别嵌入层进行随机初始化；

第二初始化模块，用于将所述目标GAN模型的判别器中的多个全连接层替换为单个全连接层，并对所述单个全连接层进行随机初始化。

12.根据权利要求9所述的装置，其中，所述训练模块，包括：

生成图像确定子模块，用于对所述数据分布进行多次随机采样，并获取所述目标GAN的生成器基于多次随机采样所得到的噪声变量所生成的生成图像集合；

分类子模块，用于将所述生成图像集合中的各个第二生成图像和所述样本图像集合中各个样本图像输入到所述目标GAN模型的判别器中，以得到各个第二生成图像的第一分类结果和各个样本图像的第二分类结果，其中，所述第一分类结果用于表示所述生成图像来自所述样本图像集合或者所述生成图像集合，所述第二分类结果用于表示所述样本图像来自所述样本图像集合或者所述生成图像集合；

获取子模块，用于从所述判别器中获得各个第二生成图像的特征向量；

训练子模块，用于根据所述第一分类结果、所述特征向量和所述第二分类结果，对所述目标GAN模型的生成器和判别器进行交替训练，直至满足训练结束条件。

13.根据权利要求12所述的装置，其中，所述训练子模块，包括：

确定单元，用于根据所述第一分类结果、所述特征向量和所述第二分类结果，确定所述目标GAN模型的总损失值；

第一训练单元，用于根据所述总损失值，对所述目标GAN模型的判别器进行训练，其中，在对所述目标GAN模型的判别器进行训练的过程中，所述目标GAN模型的生成器的参数不变；

第二训练单元，用于根据所述总损失值，对所述目标GAN模型的生成器进行训练，其中，在对所述目标GAN模型的生成器进行训练的过程中，所述目标GAN模型的判别器的参数不变；

交替执行单元，用于交替执行对所述目标GAN模型的判别器和生成器进行训练的步骤，直至满足训练结束条件。

14.根据权利要求12所述的装置，其中，所述确定单元，包括：

第一确定子单元，用于根据所述第一分类结果和所述第二分类结果，确定所述目标GAN模型的第一损失值；

第二确定子单元，用于根据所述特征向量，确定所述生成图像集合的特征矩阵；

第三确定子单元，用于根据所述特征矩阵，确定所述目标GAN模型的第二损失值；

第四确定子单元，用于根据所述第一损失值和所述第二损失值，确定所述目标GAN模型的总损失值。

15.根据权利要求14所述的装置，其中，所述第三确定子单元，具体用于：

对所述特征矩阵进行奇异值分解，以得到所述特征矩阵所对应的多个奇异值；

按照从小到大的顺序对所述多个奇异值进行排序，以得到排序结果；

从排序结果中获取排序在前K位的目标奇异值，其中，K为大于或者等于1的整数，并且，K小于或者等于N，N为所述多个奇异值的总数；

根据排序在前K位的目标奇异值，确定所述目标GAN模型的第二损失值。

16.根据权利要求9-15中任一项所述的装置，其中，在对所述目标GAN进行T轮训练时，针对第t轮训练，所述装置还包括：

调整模块，用于根据t和T，对所述数据分布的均值和标准差进行调整，以对所述数据分布进行更新，其中，t为大于1的整数，并且，t小于或者等于T。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。

Images