CN110288097A - 一种模型训练的方法以及相关装置 - Google Patents

Abstract

本申请实施例公开了一种模型训练的方法以及相关装置，通过计算训练集合与目标集合的新特征，使得训练集合与目标集合训练样本与预测数据分布更相近，最后选择与目标集合相似度高的训练集合作为训练样本，通过该训练样本进行模型训练，降低了训练样本的偏差，提高了模型效果。

Description

一种模型训练的方法以及相关装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型训练的方法以及相关装置。

背景技术

在计算机软件中，建立模型然后通过模型实现计算机功能是一种常见的方式。算法模型的建立通常是选择训练样本，然后根据训练样本对模型进行训练，训练后的模型可用于实现一些功能。

在选择训练样本时，通常是选择某一时段的数据作为训练源数据，或者是选择某一地域的数据作为训练源数据，又或者是选择某些节点的数据作为训练源数据，诸如此类。然后对训练源数据进行采样得到训练样本，采样的方式可以是随机采样、上下采样等方法。

上述的选择训练样本的方法带有很大的随机性，训练样本容易出现较大的偏差，导致最后建立模型的偏差问题。

发明内容

本申请实施例提供了一种模型训练的方法以及相关装置，用于解决训练样本偏差较大导致建模失败的技术问题。

有鉴于此，本申请实施例第一方面提供一种模型训练的方法，包括：

获取训练集合和目标集合，所述训练集合包括至少一个数据样本，所述目标集合为预设的预测数据分布样本集合；

将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征；

根据所述新特征计算所述训练集合与所述目标集合之间的相似度，选择相似度超过第一预设阈值的所述训练集合作为训练样本；

采用所述训练样本进行模型训练。

本申请实施例第二方面提供一种模型训练的装置，包括：

获取单元，用于获取训练集合和目标集合，所述训练集合包括至少一个数据样本，所述目标集合为预设的预测数据分布样本集合；

处理单元，用于将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征；

处理单元，还用于根据所述新特征计算所述训练集合与所述目标集合之间的相似度，选择相似度超过第一阈值的所述训练集合作为训练样本；

训练单元，用于采用所述训练样本进行模型训练。

在一种可能的设计中，在本申请实施例的第二方面的一种实现方式中，所述生成式对抗网络包括生成器、第一判别器和第二判别器；

处理单元还通过所述生成器接收所述训练集合和所述目标集合，生成所述新特征；

处理单元还通过所述生成器输出具备所述新特征的所述训练集合和所述目标集合；

处理单元还通过所述第一判别器区分所述生成器输出的所述训练集合的正样本和负样本；

处理单元还通过所述第二判别器区分所述生成器输出的所述训练集合和所述目标集合。

在一种可能的设计中，在本申请实施例的第二方面的一种实现方式中，

处理单元还用于通过所述生成器接收所述训练集合，所述目标集合，第一标签以及第二标签，所述第一标签用于区分所述训练集合和所述目标集合，所述第二标签用于区分所述训练集合的所述正样本和所述负样本；

处理单元还用于以总体损失函数的输出最小为目标更新所述生成器的参数和所述第一判别器的参数；

处理单元还用于通过参数更新后的所述生成器生成所述新特征。

在一种可能的设计中，在本申请实施例的第二方面的一种实现方式中，

处理单元还用于通过所述第二判别器接收所述生成器输出的所述训练集合，所述目标集合和所述第一标签；

处理单元还用于以总体损失函数的输出最小为目标更新所述第二判别器的参数；

处理单元还用于通过参数更新后的所述第二判别器区分所述生成器输出的所述训练集合和所述目标集合。

在一种可能的设计中，在本申请实施例的第二方面的一种实现方式中，

处理单元还用于根据所述训练集合和所述目标集合通过所述生成器生成第一新特征；

处理单元还用于根据具备所述第一新特征的所述训练集合和所述目标集合计算所述第二判别器准确率；

处理单元还用于若所述第二判别器的准确率小于第二预设阈值，则输出所述第一新特征；

处理单元还用于若所述第二判别器的准确率不小于第二预设阈值，则根据所述训练集合和所述目标集合通过所述生成器生成第二新特征。

在一种可能的设计中，在本申请实施例的第二方面的一种实现方式中，

处理单元还用于根据所述训练集合和所述目标集合通过所述生成器生成第一迭代次数所对应的第一新特征；

处理单元还用于若所述第一迭代次数达到第三预设阈值，则输出所述第一新特征；

处理单元还用于若所述第一迭代次数未达到第三预设阈值，则根据所述训练集合和所述目标集合通过所述生成器生成第二迭代次数所对应的第二新特征。

在一种可能的设计中，在本申请实施例的第二方面的一种实现方式中，

处理单元还用于根据所述训练集合和所述目标集合通过所述生成器生成第一新特征；

处理单元还用于计算所述生成器的参数变化值；

处理单元还用于若所述生成器的参数变化值小于第四预设阈值，则输出所述第一新特征；

处理单元还用于若所述生成器的参数变化值不小于第四预设阈值，则根据所述训练集合和所述目标集合通过所述生成器生成第二新特征。

本申请实施例第三方面提供一种服务器，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取训练集合和目标集合，所述训练集合包括至少一个数据样本，所述目标集合为预设的预测数据分布样本集合；

将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征；

根据所述新特征计算所述训练集合与所述目标集合之间的相似度，选择相似度超过第一阈值的所述训练集合作为训练样本；

采用所述训练样本进行模型训练；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请实施例第四方面提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面的方法。

本申请实施例第五方面提供一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得计算机或处理器执行上述第一方面的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例通过计算训练集合与目标集合的新特征，使得训练集合的数据样本与目标集合的预测数据分布更相近，最后选择与目标集合相似度高的训练集合作为训练样本，通过该训练样本进行模型训练，降低了训练样本的偏差，提高了模型效果。

附图说明

图1为本申请实施例中应用架构图；

图2为本申请实施例提供的一种模型训练的方法流程图；

图3为本申请实施例中对抗网络的示意图；

图4为本申请实施例中一种模型训练的方法的一个实施例的流程图；

图5为本申请实施例提供的模型训练的方法的一个可选实施例的流程图；

图6为本申请实施例提供的模型训练的方法的一个可选实施例的流程图；

图7为本申请实施例提供的模型训练的方法的一个可选实施例的流程图；

图8为本申请实施例提供的模型训练的方法的一个可选实施例的流程图；

图9为本申请实施例中的一种模型训练的装置的示意图；

图10为本申请实施例提供的一种服务器结构示意图。

具体实施方式

本申请实施例提供了一种模型训练的方法以及相关装置，用于解决训练样本偏差较大导致建模失败的技术问题。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，采用训练样本训练模型是计算机软件领域一种常见的方式。训练样本一般会进行采样，例如随即采样和上下采样等方法，然而这个采样方法都是默认训练样本与预测样本同分布，无法解决样本分布不一致导致的建模偏差问题。因此，在本申请实施例中，通过样本对抗(与预测集合分布一致的样本和与预测集分布不一致的样本之间对抗)优化样本选择模型。使得选择的样本在很大程度上趋于预测集合的样本分布，避免了建模偏差。

图1为本申请实施例中应用架构图。应理解，本申请实施例可以应用于服务器或终端。可以是，服务器获取到训练样本后训练模型，将训练后的模型发送到终端设备以使终端设备根据模型进行运算；也可以是，服务器获取到训练样本后训练模型，然后服务器通过训练后的模型进行运算；还可以是终端获取到训练样本后训练模型，然后终端设备通过训练后的模型进行运算。在实际应用中，还可以有其他方式，例如第一服务器获取到训练样本后训练模型将训练后的模型发送到第二服务器以使第二服务器根据模型进行运算，具体此处不做限定。其中，终端设备包括但不限于笔记本电脑、平板电脑、手机、掌上电脑以及车辆终端设备。终端设备上安装有客户端，终端设备通过该客户端实现终端设备的功能。客户端可以包括但不限于应用软件、底层框架、操作系统、应用程序以及云客户端。

例如，服务器进行图像识别，则需要训练图像识别模型。可以是，客户端向服务器发送图像，服务器根据训练后的图像识别模型确定客户端发送的图像的类型，然后将结果返回客户端。首先，服务器需要选择训练样本对图像识别模型进行训练，可以从数据库中获取图像作为训练样本，然后对图像识别模型进行训练。获取的训练样本可以先进行采样或其他处理，以使得训练效果更好，本申请实施例提供一种模型训练的方法如图2所述，图2为本申请实施例提供的一种模型训练的方法流程图，该方法包括：

201、获取训练集合和目标集合；

在本申请实施例中，首先获取训练集合Xs和目标集合Xt，并将训练集合Xs和目标集合Xt混合后输入生成式对抗网络。

目标集合Xt中每个样本具有特征形式为x＝[x1,x2,x3,…xn]，其中，n为特征总数，而训练集合Xs与目标集合Xt具有相同的特征形式。当通过生成器生成新特征，输出具有新特征的训练集合Xs与目标集合Xt时，训练集合Xs与目标集合Xt还具有相同的特征形式。

在本申请实施例中，训练集合Xs中包括第二标签1/0，用于表示正样本或负样本。

可以理解的是，将训练集合Xs和目标集合Xt混合后生成第一标签1/0，用于表示该样本是属于训练集合Xs还是目标集合Xt。

202、构建对抗网络；

图3为本申请实施例中对抗网络的示意图，请参阅图3，对抗网络包括生成器、第一判别器和第二判别器；

对抗网络通过所述生成器接收所述训练集合和所述目标集合，生成所述新特征；

对抗网络通过所述生成器输出具备所述新特征的所述训练集合和所述目标集合；

对抗网络通过所述第一判别器区分所述生成器输出的所述训练集合的正样本和负样本；

对抗网络通过所述第二判别器区分所述生成器输出的所述训练集合和所述目标集合。

需要说明的是，对抗网络将数据来源分为源域和目标域，源域对应于训练集合，目标域对应于目标集合，输入数据为源域和目标域的混合数据，其中源域数据带有标签y和d，目标域带有标签d(其中第二标签y用来区分源域的正负样本，d用来区分源域和目标域)。

203、训练生成器和判别器直到稳定；

第一判别器的损失可以通过第一损失函数表示，第一损失函数为：

第二判别器的损失可以通过第二损失函数表示，第二损失函数为：

总体损失函数为：

在本申请实施例中，根据上述损失函数可以训练生成器、第一判别器和第二判别器；

训练生成器和第一判别器的过程为固定第二判别器的参数，更新生成器和第一判别器的参数，通过第一训练公式计算生成器和第一判别器更新后的参数：

训练第二判别器的过程为固定生成器和第一判别器的参数(一般是更新后的参数)，更新第二判别器的参数，具体通过第二训练公式计算第二判别器更新后的参数：

训练生成器和判别器(包括第一判别器和第二判别器)直到稳定的过程为：

1、训练第二判别器，使得第二判别器能较好的区分训练集合和目标集合；

2、训练生成器和第一判别器，生成器生成新特征，使得第二判别器不能区分具有新特征的训练集合和目标集合；

3、通过步骤1和步骤2的不断迭代，达到生成器能够生成足够好的新特征，使得训练集合和目标集合在新的特征空间上分布保持一致(普通的分类器无法区分)，则该对抗网络稳定。

204、利用生成器生成的新特征，建模选择与目标集合更接近的样本；

在本申请实施例中，训练完成的生成器的新特征使得训练集合和目标集合在新的特征空间上比较相近，则可以通过建立机器学习模型，然后对训练集合进行打分，判断训练集合与目标集合的相似度，可以选择其中相似度较高的部分作为样本。

205、利用与目标集合更接近的样本训练模型并进行预测。

在本申请实施例中，选取完样本后，可以利用该样本训练模型，然后利用训练完的模型进行预测。本申请实施例采用与目标集合更接近的样本对模型进行训练，训练出来的模型能够降低偏差，模型效果较好。

上面是对本申请实施例中一种模型训练的方法进行详细的描述，下面将对本申请实施例中一种模型训练的方法的一个实施例进行详细的描述。

图4为本申请实施例中一种模型训练的方法的一个实施例的流程图，请参阅图4，本申请实施例中一种模型训练的方法的一个实施例，包括以下步骤：

401、获取训练集合和目标集合，训练集合包括至少一个数据样本，目标集合为预设的预测数据分布样本集合；

在本申请实施例中，训练集合是从数据中提取的，包括至少一个数据样本。一个数据样本中可以包括至少一个数据参数。训练集合是根据所训练的模型需要的样本进行提取的，例如图像识别模型，则训练集合可以从图像数据库中选择图像作为数据样本，每个数据样本中包括像素点的色值等参数，在实际应用中，还存在其他情况，比如用户登录时间预测模型，则训练集合可以是从用户数据库中选择用户的登录时间作为数据样本，每个数据样本中可以包括用户ID、用户登录时间、用户下线时间等数据。

同理，目标集合也包括至少一个预测数据分布样本，一个预测数据分布样本中包括至少一个数据参数。不同的是，目标集合为预先设定的预测数据分布样本集合，可以是人工筛选的数据分布样本集合，也可以是通过预测算法得到的预测数据分布样本，还可以是通过算法虚拟合成的预测数据分布样本，对预测数据分布样本集合的来源具体此处不做限定。

在本申请实施例中，训练集合的数据样本和目标集合的预测数据分布样本中包括的数据参数特征具有相同的特征形式，数据样本和预测数据分布样本具有的相同特征形式为x＝[x1,x2,x3,…xn]，其中，n为特征总数，其中，x1,x2,x3,…xn为数据参数。训练集合和目标集合具有相同的特征形式，例如目标集合有三个数据参数，其特征形式为x＝[x1,x2,x3]，则获取数据样本时，获取这三个数据参数组成训练集合的数据样本，其特征形式也为x＝[x1,x2,x3]。

在一些可选实施例中，训练集合和目标集合带有第一标签d，第一标签d用于区分训练集合和目标集合，即区分数据样本和预测数据分布样本。例如，训练集合附带的第一标签d为0，目标集合带有的第一标签d为1，通过第一标签d的值可以判断训练集合和目标集合中的样本属于哪个集合。在实际应用中，也可以是训练集合附带的第一标签d为1，目标集合带有的第一标签d为0，此处不做具体限定。

在一些可选实施例中，还可以是目标集合带有第一标签d，而训练集合不带第一标签d，则可以通过样本是否带有第一标签d来判断该样本属于训练集合还是目标集合。在实际应用中，也可以是目标集合不带有第一标签d，而训练集合带第一标签d，具体此处不做限定。

在一些可选实施例中，训练集合还带有第二标签y，第二标签y用于区分训练集合中的正样本和负样本。例如，训练集合中的数据样本的第二标签y为1表示该数据样本为正样本，训练集合中的数据样本的第二标签y为0表示该数据样本为负样本。在实际应用中，还可以是训练集合中的数据样本的第二标签y为0表示该数据样本为正样本，训练集合中的数据样本的第二标签y为1表示该数据样本为负样本，具体此处不做限定。

402、将训练集合和目标集合输入生成式对抗网络，通过生成式对抗网络生成训练集合的新特征；

将训练集合和目标集合输入生成式对抗网络，具体是将训练集合中的数据样本和目标集合中的预测数据分布样本混合然后输入生成式对抗网络。在计算机软件中，可以是生成式对抗网络接收训练集合和目标集合。

生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，可以根据样本生成具备新特征样本。生成式对抗网络可以包括生成器(GenerativeModel)和判别器(Discriminative Model)，通过生成器和判别器的博弈学习使得生成器输出较好的具备新特征的样本，即具备新特征的数据样本和具备新特征的预测数据分布样本。

在本申请实施例中，生成式对抗网络输出具备新特征的数据样本和具备新特征的预测数据分布样本，也即训练集合和目标集合的新特征，例如训练集合和目标集合的原特征为x＝[x1,x2,x3,…xn]，其中，n为原特征总数，经过生成式对抗网络输出具备新特征的数据样本后，可以得到训练集合和目标集合的新特征为f(x)＝[x1,x2,x3,…xm]，其中，m为新特征总数。

403、根据新特征计算训练集合与目标集合之间的相似度，选择相似度超过第一预设阈值的训练集合作为训练样本；

在本申请实施例中，根据新特征f(x)＝[x1,x2,x3,…xm]可以得到所有具备新特征的数据样本，例如，将训练集合的数据样本输入生成器得到具备新特征的数据样本，将目标集合的预测数据分布样本输入生成器得到具备新特征的预测数据分布样本，在一些可选实施例中，可以通过标签判断该样本属于训练集合还是目标集合。

然后通过构建机器学习模型计算训练集合与目标集合之间的相似度，可以通过计算训练集合的数据样本与目标集合之间的相似度实现，也可以直接计算，此处不做具体限定。机器学习模型可以是计算相似度的算法或模型，例如空间向量模型(Vector SpaceModel)、神经网络模型等，具体此处不做限定。

在本申请实施例中，计算得到相似度后，一般是相似度越高，说明该训练集合与目标集合比较相似，若相似度超过第一预设阈值，则说明该新特征下的训练集合与目标集合相近，可以作为训练样本。在一些可选实施例中，还可以分别计算训练集合的数据样本与目标集合之间的相似度，然后选择相似度超过第一预设阈值的训练集合的数据样本作为训练样本。

404、采用训练样本进行模型训练。

在本申请实施例中，选择好训练样本后，可以采用选择好的训练样本进行模型训练。本申请实施例对训练的模型不做具体限定，可以是神经网络模型、决策树模型等。本申请实施例对训练的方式也不做具体限定。

采用本申请实施例中与目标集合的预测数据分布样本相近的训练样本进行模型训练，可以避免建模偏差，提高模型训练效果。

可选地，在上述图4对应的各个实施例的基础上，本申请实施例还提供模型训练的方法的一个可选实施例，如图5所示，图5为本申请实施例提供的模型训练的方法的一个可选实施例的流程图，该方法包括：

501、获取训练集合和目标集合，训练集合包括至少一个数据样本，目标集合为预设的预测数据分布样本集合；

本申请实施例中步骤501与前述图4所示实施例中步骤401类似，此处不再赘述。

502、将训练集合和目标集合输入生成式对抗网络；

本申请实施例中步骤502与前述图4所示实施例中步骤402中将训练集合和目标集合输入生成式对抗网络类似，此处不再赘述。

503、通过生成式对抗网络的生成器、第一判别器和第二判别器的博弈学习更新生成器、第一判别器和第二判别器的参数；

在本申请实施例中，通过生成器输出具备新特征的训练集合和目标集合，通过第一判别器区分生成器输出的训练集合的正样本和负样本，通过第二判别器区分生成器输出的训练集合和目标集合；

生成式对抗网络的生成器、第一判别器和第二判别器的博弈学习过程可以为生成器、第一判别器和第二判别器的循环训练过程，通过生成器、第一判别器和第二判别器的交替训练不断更新生成器、第一判别器和第二判别器的参数，使得生成器、第一判别器和第二判别器的参数趋于稳定，从而得到生成器、第一判别器和第二判别器的更新后的参数。

504、通过参数更新后的生成器生成训练集合的新特征；

在本申请实施例中，参数更新后的生成器可以生成新特征，使得训练集合与目标集合具有新的特征空间，训练集合的新特征即为目标集合的新特征，例如，参数更新后的生成器生成的新特征为f(x)＝[x1,x2,x3,…xm]，则训练集合的特征空间为f(x)＝[x1,x2,x3,…xm]，目标集合的特征空间也为f(x)＝[x1,x2,x3,…xm]。

505、根据新特征计算训练集合与目标集合之间的相似度，选择相似度超过第一预设阈值的训练集合作为训练样本；

本申请实施例中步骤505与前述图4所示实施例中步骤403类似，此处不再赘述。

506、采用训练样本进行模型训练。

本申请实施例中步骤506与前述图4所示实施例中步骤404类似，此处不再赘述。

可选地，在上述图4对应的各个实施例的基础上，本申请实施例还提供模型训练的方法的一个可选实施例，如图6所示，图6为本申请实施例提供的模型训练的方法的一个可选实施例的流程图，该方法包括：

601、获取训练集合和目标集合，训练集合包括至少一个数据样本，目标集合为预设的预测数据分布样本集合；

本申请实施例中步骤601与前述图4所示实施例中步骤401类似，此处不再赘述。

602、将训练集合和目标集合输入生成式对抗网络；

本申请实施例中步骤602与前述图5所示实施例中步骤502类似，此处不再赘述。

603、通过生成器接收训练集合，目标集合，第一标签以及第二标签，第一标签用于区分训练集合和目标集合，第二标签用于区分训练集合的正样本和负样本；

在本申请实施例中，第一标签为标签d，第二标签为标签y。生成器接收训练集合和目标集合时，同时接收训练集合和目标集合的第一标签和第二标签。也可以是，生成器生成第一标签，即生成器生成用于区分训练集合和目标集合的第一标签。

604、以总体损失函数的输出最小为目标更新生成器的参数和第一判别器的参数；

可以理解的是，根据总体损失函数和第一训练公式，本申请实施例可以以总体损失函数的输出最小为目标更新生成器的参数和第一判别器的参数。更新时，第一次更新采用的第二判别器的参数为第二判别器参数初始值，第二次以后更新时采用的第二判别器的参数为更新后的第二判别器参数。

605、通过参数更新后的生成器生成输出具备新特征的训练集合和目标集合以及新特征；

在本申请实施例中，参数更新后的生成器能够输出新特征以及具备新特征的训练集合和目标集合。

606、通过第二判别器接收生成器输出的训练集合，目标集合和第一标签；

在本申请实施例中，生成器输出的训练集合，目标集合为备新特征的训练集合和目标集合，每次生成性训练更新参数，生成器输出的训练集合，目标集合相应地更新，使得第二判别器更难区分训练集合和目标集合。第二判别器还接收第一标签，第一标签用于判断第二判别器是否能够区分训练集合和目标集合。

607、以总体损失函数的输出最小为目标更新第二判别器的参数；

可以理解的是，根据总体损失函数和第二训练公式，本申请实施例可以以总体损失函数的输出最小为目标更新第二判别器的参数。更新时采用的生成器参数和第一判别器参数为更新后的参数。

608、通过参数更新后的第二判别器区分生成器输出的训练集合和目标集合；

在本申请实施例中，参数更新后，第二判别器有了更强的判别能力，能够更好地区分生成器输出的训练集合和目标集合，具体第二判别器可以是神经网络模型，可以设定输入一个样本，输出1则判断为训练集合，输出0则判断为目标集合，在实际应用中，还可以用其他模型采用其他设定，具体此处不做限定。

609、若第二判别器的准确率小于第二预设阈值，则通过生成器输出新特征；若第二判别器的准确率不小于第二预设阈值，则返回执行步骤604；

可以理解的是，若第二判别器判别某样本属于训练集合且第一标签表示该样本属于训练集合，则第二判别器准确判别一个样本；若第二判别器判别某样本属于训练集合且第一标签表示该样本属于目标集合或者是第二判别器判别某样本属于目标集合且第一标签表示该样本属于目标集合，则第二判别器错误判别一个样本，第二判别器正确判别的样本数量除以总样本数为第二判别器的准确率。

得到第二判别器的准确率后，可以判断第二判别器的准确率是否小于第二阈值，若是，则说明第二判别器的准确率较低，第二判别器不能很好地区分训练集合和目标集合，训练集合和目标集合在新的特征空间上分布比较一致，生成器输出具有新特征的训练集合和目标集合。

若第二判别器的准确率不小于第二预设阈值，开始下一轮的训练更新参数。

610、根据新特征计算训练集合与目标集合之间的相似度，选择相似度超过第一预设阈值的训练集合作为训练样本；

本申请实施例中步骤610与前述图4所示实施例中步骤403类似，此处不再赘述。

611、采用训练样本进行模型训练。

本申请实施例中步骤611与前述图4所示实施例中步骤404类似，此处不再赘述。

可选地，在上述图4对应的各个实施例的基础上，本申请实施例还提供模型训练的方法的一个可选实施例，如图7所示，图7为本申请实施例提供的模型训练的方法的一个可选实施例的流程图，该方法包括：

701、获取训练集合和目标集合，训练集合包括至少一个数据样本，目标集合为预设的预测数据分布样本集合；

本申请实施例中步骤701与前述图4所示实施例中步骤401类似，此处不再赘述。

702、将训练集合和目标集合输入生成式对抗网络；

本申请实施例中步骤702与前述图5所示实施例中步骤502类似，此处不再赘述。

703、通过生成器接收训练集合，目标集合，第一标签以及第二标签，第一标签用于区分训练集合和目标集合，第二标签用于区分训练集合的正样本和负样本；

本申请实施例中步骤703与前述图6所示实施例中步骤603类似，此处不再赘述。

704、以总体损失函数的输出最小为目标更新生成器的参数和第一判别器的参数；

本申请实施例中步骤704与前述图6所示实施例中步骤604类似，此处不再赘述。

705、通过参数更新后的生成器生成输出具备新特征的训练集合和目标集合以及新特征；

本申请实施例中步骤705与前述图6所示实施例中步骤605类似，此处不再赘述。

706、通过第二判别器接收生成器输出的训练集合，目标集合和第一标签；

本申请实施例中步骤706与前述图6所示实施例中步骤606类似，此处不再赘述。

707、以总体损失函数的输出最小为目标更新第二判别器的参数；

本申请实施例中步骤707与前述图6所示实施例中步骤607类似，此处不再赘述。

708、通过参数更新后的第二判别器区分生成器输出的训练集合和目标集合。

本申请实施例中步骤708与前述图6所示实施例中步骤608类似，此处不再赘述。

709、迭代次数加一，若迭代次数达到第三预设阈值，则输出通过生成器输出新特征；若迭代次数未达到第三预设阈值，则返回执行步骤704；

在本申请实施例中，迭代次数初始值可以为0，经过一轮训练更新参数后，迭代次数加一，说明进行了一次迭代。经过几次迭代后，生成器、第一判别器和第二判别器都有了提升，当达到预设迭代次数(第三预设阈值)后，认为生成器、第一判别器和第二判别器已达到稳定，训练集合和目标集合在新的特征空间上分布比较一致，生成器输出具有新特征的训练集合和目标集合。

当没有达到预设迭代次数时，说明还需要迭代，返回前述步骤进行下一轮训练更新参数。

710、根据新特征计算训练集合与目标集合之间的相似度，选择相似度超过第一预设阈值的训练集合作为训练样本；

本申请实施例中步骤710与前述图4所示实施例中步骤403类似，此处不再赘述。

711、采用训练样本进行模型训练。

本申请实施例中步骤711与前述图4所示实施例中步骤404类似，此处不再赘述。

可选地，在上述图4对应的各个实施例的基础上，本申请实施例还提供模型训练的方法的一个可选实施例，如图8所示，图8为本申请实施例提供的模型训练的方法的一个可选实施例的流程图，该方法包括：

801、获取训练集合和目标集合，训练集合包括至少一个数据样本，目标集合为预设的预测数据分布样本集合；

本申请实施例中步骤801与前述图4所示实施例中步骤401类似，此处不再赘述。

802、将训练集合和目标集合输入生成式对抗网络；

本申请实施例中步骤802与前述图5所示实施例中步骤502类似，此处不再赘述。

803、通过生成器接收训练集合，目标集合，第一标签以及第二标签，第一标签用于区分训练集合和目标集合，第二标签用于区分训练集合的正样本和负样本；

本申请实施例中步骤803与前述图6所示实施例中步骤603类似，此处不再赘述。

804、以总体损失函数的输出最小为目标更新生成器的参数和第一判别器的参数；

本申请实施例中步骤804与前述图6所示实施例中步骤604类似，此处不再赘述。

805、通过参数更新后的生成器生成输出具备新特征的训练集合和目标集合以及新特征；

本申请实施例中步骤805与前述图6所示实施例中步骤605类似，此处不再赘述。

806、通过第二判别器接收生成器输出的训练集合，目标集合和第一标签；

本申请实施例中步骤806与前述图6所示实施例中步骤606类似，此处不再赘述。

807、以总体损失函数的输出最小为目标更新第二判别器的参数；

本申请实施例中步骤807与前述图6所示实施例中步骤607类似，此处不再赘述。

808、通过参数更新后的第二判别器区分生成器输出的训练集合和目标集合。

本申请实施例中步骤808与前述图6所示实施例中步骤608类似，此处不再赘述。

809、若生成器的参数变化值小于第四预设阈值，则通过生成器输出新特征，若生成器的参数变化值不小于第四预设阈值，则返回执行步骤804。

在本申请实施例中，生成器参数每次更新都会变化，更新后的参数的数值与更新前的参数的数值之间的差值可以为生成器的参数变化值，用于说明生成器参数更新前后的变化。

在本申请实施例中，若生成器的参数变化值小于第四预设阈值，则说明生成器已趋于稳定，其产生的新特征变化也较小，训练集合和目标集合在新的特征空间上分布比较一致，生成器输出具有新特征的训练集合和目标集合。

若生成器的参数变化值不小于第四预设阈值，则说明生成器还在不断进行大幅度的参数更新，需要将训练集合和目标集合的特征空间进行的大幅度的改动以使得第二判别器更难区分训练集合和目标集合，因此需要继续进行训练参数更新，因此返回前述步骤进行参数更新。

810、根据新特征计算训练集合与目标集合之间的相似度，选择相似度超过第一预设阈值的训练集合作为训练样本；

本申请实施例中步骤810与前述图4所示实施例中步骤403类似，此处不再赘述。

811、采用训练样本进行模型训练。

本申请实施例中步骤811与前述图4所示实施例中步骤404类似，此处不再赘述。

下面将对本申请实施例中的一种模型训练的装置进行详细的描述。

图9为本申请实施例中的一种模型训练的装置的示意图，请参阅图9，本申请实施例中的一种模型训练的装置，具体为服务器900，包括：

获取单元901，用于获取训练集合和目标集合，训练集合包括至少一个数据样本，目标集合为预设的预测数据分布样本集合；

处理单元902，用于将训练集合和目标集合输入生成式对抗网络，通过生成式对抗网络生成训练集合的新特征；

处理单元902，还用于根据新特征计算训练集合与目标集合之间的相似度，选择相似度超过第一阈值的训练集合作为训练样本；

训练单元903，用于采用训练样本进行模型训练。

可选地，在上述图9对应的各个实施例的基础上，本申请实施例提供的模型训练的装置的一个可选实施例中，生成式对抗网络包括生成器、第一判别器和第二判别器；

处理单元902还通过生成器接收训练集合和目标集合，生成新特征；

处理单元902还通过生成器输出具备新特征的训练集合和目标集合；

处理单元902还通过第一判别器区分生成器输出的训练集合的正样本和负样本；

处理单元902还通过第二判别器区分生成器输出的训练集合和目标集合。

可选地，在上述图9对应的各个实施例的基础上，本申请实施例提供的模型训练的装置的一个可选实施例中，

处理单元902还用于通过生成器接收训练集合，目标集合，第一标签以及第二标签，第一标签用于区分训练集合和目标集合，第二标签用于区分训练集合的正样本和负样本；

处理单元902还用于以总体损失函数的输出最小为目标更新生成器的参数和第一判别器的参数；

处理单元902还用于通过参数更新后的生成器生成新特征。

可选地，在上述图9对应的各个实施例的基础上，本申请实施例提供的模型训练的装置的一个可选实施例中，

处理单元902还用于通过第二判别器接收生成器输出的训练集合，目标集合和第一标签；

处理单元902还用于以总体损失函数的输出最小为目标更新第二判别器的参数；

处理单元902还用于通过参数更新后的第二判别器区分生成器输出的训练集合和目标集合。

可选地，在上述图9对应的各个实施例的基础上，本申请实施例提供的模型训练的装置的一个可选实施例中，

处理单元902还用于根据训练集合和目标集合通过生成器生成第一新特征；

处理单元902还用于根据具备第一新特征的训练集合和目标集合计算第二判别器准确率；

处理单元902还用于若第二判别器的准确率小于第二预设阈值，则输出第一新特征；

处理单元902还用于若第二判别器的准确率不小于第二预设阈值，则根据训练集合和目标集合通过生成器生成第二新特征。

可选地，在上述图9对应的各个实施例的基础上，本申请实施例提供的模型训练的装置的一个可选实施例中，

处理单元902还用于根据训练集合和目标集合通过生成器生成第一迭代次数所对应的第一新特征；

处理单元902还用于若第一迭代次数达到第三预设阈值，则输出第一新特征；

处理单元902还用于若第一迭代次数未达到第三预设阈值，则根据训练集合和目标集合通过生成器生成第二迭代次数所对应的第二新特征。

可选地，在上述图9对应的各个实施例的基础上，本申请实施例提供的模型训练的装置的一个可选实施例中，

处理单元902还用于根据训练集合和目标集合通过生成器生成第一新特征；

处理单元902还用于计算生成器的参数变化值；

处理单元902还用于若生成器的参数变化值小于第四预设阈值，则输出第一新特征；

处理单元902还用于若生成器的参数变化值不小于第四预设阈值，则根据训练集合和目标集合通过生成器生成第二新特征。

图10为本申请实施例提供的一种服务器结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。

服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图10所示的服务器结构。

在本申请实施例中，CPU1022用于执行如下步骤：

获取训练集合和目标集合，所述训练集合包括至少一个数据样本，所述目标集合为预设的预测数据分布样本集合；

将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征；

根据所述新特征计算所述训练集合与所述目标集合之间的相似度，选择相似度超过第一预设阈值的所述训练集合作为训练样本；

采用所述训练样本进行模型训练。

生成式对抗网络包括生成器、第一判别器和第二判别器，在本申请实施例中，CPU1022还用于执行如下步骤：

通过生成器接收训练集合和目标集合，生成新特征；

通过生成器输出具备新特征的训练集合和目标集合；

通过第一判别器区分生成器输出的训练集合的正样本和负样本；

通过第二判别器区分生成器输出的训练集合和目标集合。

在本申请实施例中，CPU1022还用于执行如下步骤：

通过生成器接收训练集合，目标集合，第一标签以及第二标签，第一标签用于区分训练集合和目标集合，第二标签用于区分训练集合的正样本和负样本；

以总体损失函数的输出最小为目标更新生成器的参数和第一判别器的参数；

通过参数更新后的生成器生成新特征。

在本申请实施例中，CPU1022还用于执行如下步骤：

通过第二判别器接收生成器输出的训练集合，目标集合和第一标签；

以总体损失函数的输出最小为目标更新第二判别器的参数；

通过参数更新后的第二判别器区分生成器输出的训练集合和目标集合。

在本申请实施例中，CPU1022还用于执行如下步骤：

根据训练集合和目标集合通过生成器生成第一新特征；

根据具备第一新特征的训练集合和目标集合计算第二判别器准确率；

若第二判别器的准确率小于第二预设阈值，则输出第一新特征；

若第二判别器的准确率不小于第二预设阈值，则根据训练集合和目标集合通过生成器生成第二新特征。

在本申请实施例中，CPU1022还用于执行如下步骤：

根据训练集合和目标集合通过生成器生成第一迭代次数所对应的第一新特征；

若第一迭代次数达到第三预设阈值，则输出第一新特征；

若第一迭代次数未达到第三预设阈值，则根据训练集合和目标集合通过生成器生成第二迭代次数所对应的第二新特征。

在本申请实施例中，CPU1022还用于执行如下步骤：

根据训练集合和目标集合通过生成器生成第一新特征；

计算生成器的参数变化值；

若生成器的参数变化值小于第四预设阈值，则输出第一新特征；

若生成器的参数变化值不小于第四预设阈值，则根据训练集合和目标集合通过生成器生成第二新特征。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种模型训练的方法，其特征在于，包括：

获取训练集合和目标集合，所述训练集合包括至少一个数据样本，所述目标集合为预设的预测数据分布样本集合；

将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征；

根据所述新特征计算所述训练集合与所述目标集合之间的相似度，选择相似度超过第一预设阈值的所述训练集合作为训练样本；

采用所述训练样本进行模型训练。

2.根据权利要求1所述的方法，其特征在于，所述生成式对抗网络包括生成器、第一判别器和第二判别器；

通过所述生成器接收所述训练集合和所述目标集合，生成所述新特征；

通过所述生成器输出具备所述新特征的所述训练集合和所述目标集合；

通过所述第一判别器区分所述生成器输出的所述训练集合的正样本和负样本；

通过所述第二判别器区分所述生成器输出的所述训练集合和所述目标集合。

3.根据权利要求2所述的方法，其特征在于，所述通过所述生成器接收所述训练集合和所述目标集合，生成所述新特征包括：

通过所述生成器接收所述训练集合，所述目标集合，第一标签以及第二标签，所述第一标签用于区分所述训练集合和所述目标集合，所述第二标签用于区分所述训练集合的所述正样本和所述负样本；

以总体损失函数的输出最小为目标更新所述生成器的参数和所述第一判别器的参数；

通过参数更新后的所述生成器生成所述新特征。

4.根据权利要求2所述的方法，其特征在于，所述通过所述第二判别器区分所述生成器输出的所述训练集合和所述目标集合包括：

通过所述第二判别器接收所述生成器输出的所述训练集合，所述目标集合和所述第一标签；

以总体损失函数的输出最小为目标更新所述第二判别器的参数；

通过参数更新后的所述第二判别器区分所述生成器输出的所述训练集合和所述目标集合。

5.根据权利要求2所述的方法，其特征在于，所述将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征包括：

根据所述训练集合和所述目标集合通过所述生成器生成第一新特征；

根据具备所述第一新特征的所述训练集合和所述目标集合计算所述第二判别器准确率；

若所述第二判别器的准确率小于第二预设阈值，则输出所述第一新特征；

若所述第二判别器的准确率不小于第二预设阈值，则根据所述训练集合和所述目标集合通过所述生成器生成第二新特征。

6.根据权利要求2所述的方法，其特征在于，所述将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征包括：

根据所述训练集合和所述目标集合通过所述生成器生成第一迭代次数所对应的第一新特征；

若所述第一迭代次数达到第三预设阈值，则输出所述第一新特征；

若所述第一迭代次数未达到第三预设阈值，则根据所述训练集合和所述目标集合通过所述生成器生成第二迭代次数所对应的第二新特征。

7.根据权利要求2所述的方法，其特征在于，所述将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征包括：

根据所述训练集合和所述目标集合通过所述生成器生成第一新特征；

计算所述生成器的参数变化值；

若所述生成器的参数变化值小于第四预设阈值，则输出所述第一新特征；

若所述生成器的参数变化值不小于第四预设阈值，则根据所述训练集合和所述目标集合通过所述生成器生成第二新特征。

8.一种模型训练的装置，其特征在于，包括：

获取单元，用于获取训练集合和目标集合，所述训练集合包括至少一个数据样本，所述目标集合为预设的预测数据分布样本集合；

处理单元，用于将所述训练集合和所述目标集合输入生成式对抗网络，通过所述生成式对抗网络生成所述训练集合的新特征；

处理单元，还用于根据所述新特征计算所述训练集合与所述目标集合之间的相似度，选择相似度超过第一阈值的所述训练集合作为训练样本；

训练单元，用于采用所述训练样本进行模型训练。

9.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行权利要求1至7中任一项所述的方法。

10.一种包含指令的计算机程序产品，其特征在于，当其在计算机或处理器上运行时，使得计算机或处理器执行权利要求1至7中任一项所述的方法。