CN111832613A - 模型训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了模型训练方法、装置、电子设备和存储介质，涉及深度学习技术领域。具体方案为：通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且应用场景广泛。

Description

模型训练方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，具体涉及深度学习技术领域，尤其涉及一种模型训练方法、装置、电子设备和存储介质。

背景技术

随着科技的发展，模型训练越来越重要，因为它可以为复杂问题提供解决方案。在相对于传统人工程序设计，这些解决方案更快、更准确、更具可扩展性。在进行模型训练时，需要利用大量的训练数据，训练得到想要的模型。

对一个非成熟产品来说，短时间内标注大量的训练数据用于模型训练是较难办到的。可见，如何利用现有的数据对非成熟产品进行模型训练是非常重要的。

发明内容

本申请提供一种模型训练方法、装置、电子设备和存储介质，以实现利用两个训练样本库中的样本进行混合训练，解决非成熟产品训练数据量少的问题。

根据第一方面，提供了一种模型训练方法，包括：

获取第一训练样本库和第二训练样本库；

根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；

获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；

通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；

根据所述预测分布和标注分布判断是否满足训练要求；

如果满足所述训练要求，则结束训练；以及

如果未满足所述训练要求，则通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。

本申请实施例的模型训练方法，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。

根据第二方面，提供了一种模型训练装置，包括：

第一获取模块，用于获取第一训练样本库和第二训练样本库；

生成模块，用于根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；

第二获取模块，用于获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；

训练模块，用于通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；

判断模块，用于根据所述预测分布和标注分布判断是否满足训练要求；如果满足所述训练要求，则结束训练；以及

所述训练模块，用于当未满足所述训练要求时，通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。

本申请实施例的模型训练装置，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。

根据第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的模型训练方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的模型训练方法。

根据本申请的实施例，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种模型训练方法的流程示意图；

图2为本申请实施例提供的另一种模型训练方法的流程示意图；

图3为本申请实施例提供的另一种模型训练方法的流程示意图；

图4为本申请实施例提供的一种模型训练装置的结构示意图；

图5为根据本申请实施例的模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本申请实施例的模型训练方法、装置、电子设备和存储介质。

对一个非成熟产品来说，短时间内产生的数据比较少，因此短时间内标注大量的训练数据用于模型训练是较难办到的。比如，对于一个非成熟的语音产品来说，音频数据比较少，短时间内标注大量的音频数据用于模型训练是比较难的。

本申请实施例的模型训练方法，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，不仅获得满足训练要求的模型，而且还解决了非成熟产品训练数据量少的问题。

图1为本申请实施例提供的一种模型训练方法的流程示意图。

本申请实施例的模型训练方法，可由本申请实施例提供的模型训练装置执行，该装置可配置于电子设备中，以利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，解决非成熟产品训练数据量少的问题。

如图1所示，该模型训练方法包括：

步骤101，获取第一训练样本库和第二训练样本库。

本实施例中，第一训练样本库与第一训练样本库是两个不同的训练样本库。比如，第一训练样本库中的训练样本为有标注的训练样本，第一训练样本库中的训练样本为无标注的训练样本。又如，第一训练样本库包括数量比较少的某非成熟产品的有标注训练样本，第二训练样本库包括其他同类型成熟产品的有标注训练样本。

以非成熟的语音产品为例，在训练声学模型时，可以将该非成熟语音产品的经过标注的音频数据作为第一训练样本库，将通过数据挖掘的方式获取的大量的音频数据作为第二训练样本库，或者也可以将其他成熟语音产品的有标注的音频数据作为第二训练样本库。

以非成熟的图像产品为例，在训练有的关图像模型时，可以将该非成熟图像产品的经过标注的图像数据作为第一训练样本库，第二训练样本库中的训练样本可以是其他成熟产品的有标注图像数据。

以非成熟的搜索产品为例，在训练与搜索相关度的模型时，可以将该非成熟搜索产品的经过标注的搜索数据作为第一训练样本库，将其他成熟的搜索产品的有标注搜索数据作为第二训练样本库。

步骤102，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合。

本实施例中，可以分别从第一训练样本库和第二训练训练样本中选出部分训练样本生成第一训练样本集合，然后再分别从第一训练样本库中和第二训练样本库中选出部分训练样本，生成第二训练样本集合，依次得到第N训练样本集合。其中，N为大于1的正整数。也就是说，根据第一训练样本库和第二训练样本库，生成多个训练样本集合用于模型训练。

可见，第一至第N训练样本集合中均包含第一训练样本库中的训练样本，即第一至第N训练样本集合中训练样本都是混合训练样本。

在从两个训练样本库中选择训练样本时，可以根据两个训练样本库中总训练样本的比例，按照该比例选择训练样本。比如，第一训练样本库与第二训练样本库中样本数量为1:3，那么从两样本库中选择训练样本的比例也可为1:3。

以非成熟的语音产品为例，若第一训练样本库中的训练样本为该非成熟语音产品的经过标注的音频数据，第二训练样本库中的训练样本为无标注音频数据。在生成训练样本集合时，可以按照预设的比例分别从第一训练样本库选取有标注的音频数据，和从第二训练样本库中选取无标注音频数据，选取的带标注音频数据和无标注音频数据组成第一训练样本集合，然后继续从第一训练样本库和第二训练样本库中选取训练样本，构成第二训练样本集合，由此可得到第一至第N训练样本集合。

以非成熟的图像产品为例，若第一训练样本库中的训练样本为该非成熟图像产品的有标注的图像数据，第二训练样本库中的训练样本是其他成熟产品的有标注的图像数据。在生成对应的训练样本集合时，可以从第一训练样本库中选取部分有标注图像数据，从第二训练样本库中选取部分有标注的图像数据，将选取的两种图像数据构成第一训练样本集合，然后继续从第一训练样本库和第二训练样本库中选取图像数据，构成第二训练样本集合，由此可得到第一至第N训练训练样本集合。

为了有效利用训练样本集合中的训练样本，本实施例中，第一至第N训练样本集合中训练样本的数量可以依次减少。步骤103，获取第一至第N训练本集合之中的第i训练样本集合。

其中，i为小于或等于N的正整数。在具体实现时，可从N个训练样本集合中，先获取第1训练样本集合。

步骤104，通过第i训练样本集合对待训练模型进行训练，以生成预测分布。

本实施例中，将第i训练样本集合中的训练样本，输入待训练模型中进行训练，待训练模型输出对应的预测结果，即预测分布。其中，预测分布中包括第i训练样本集合中每个训练样本的预测结果。

步骤105，根据预测分布和标注分布判断是否满足训练要求。

在获取第i训练样本集合对应的预测分布后，根据预测分布和标注分布计算损失值，根据损失值判断是否满足训练样本。

这里的标注分布为第i训练样本集合中各个训练样本对应的标注数据。如果训练样本为无标注训练样本，其对应的标注数据是通过预测得到，具体的，通过有标注训练数据进行训练得到一个模型，将无标注训练样本输入该模型中，该模型输出识别结果和置信度，将识别结果作为无标注训练样本的标注数据。

步骤106，如果满足训练要求，则结束训练。

本实施例中，当根据预测分布和标注分布得到损失值小于预设损失阈值，可以认为满足了训练要求，则结束训练。

步骤107，如果未满足训练要求，则通过第i+1训练样本集合继续对待训练模型继续训练，直至满足训练要求。

当根据预测分布和标注分布得到损失值大于预设损失阈值，说明模型未满足训练要求，则调整模型参数，然后通过第i+1训练样本集合继续对调整参数后的待训练模型继续训练。然后，根据第i+1训练样本集合的预测分布和对应的标注分布，判断是否满足训练要求。如果满足，则结束训练；如果不满足，则调整模型参数，然后通过第i+2训练样本集合对模型继续训练，直至满足训练要求。

需要说明的是，如果第N训练样本集合用于模型训练后，仍然没有达到训练要求，则再从两个训练样本库中获取训练样本集合。

本实施例的模型训练方法，可应用基于SMLTA(Streaming Multi-LayerTruncated Attention，流式截断的多层注意力)声学模型训练。对于一个非成熟语音产品，短时间内标注大量的音频数据用于基于SMLTA的声学模型训练比较难，利用本实施例的模型训练方法，通过利用少量的标注音频数据和大量的无标注音频数据，获取多个包含标注音频数据和无标注音频数据的训练样本集合，然后通过多个训练样本集合对SMLTA模型进行混合训练，从而可以解决非成熟语音产品声学训练数据量少的问题。其中，在训练SMLTA模型时，可以采用深度学习的方式进行训练。

本申请实施例的模型训练方法，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。

在本申请的一个实施例中，还可根据交叉熵判断是否满足训练要求。图2为本申请实施例提供的另一种模型训练方法的流程示意图。

如图2所示，上述根据预测分布和标注分布判断是否满足训练要求，包括：

步骤201，根据预测分布和标注分布计算交叉熵。

本实施例中，可以根据待训练模型生成的训练样本集的预测分布，和训练样本集对应的标注分布，计算交叉熵。

作为一种可能的实现方式，可以通过以下公式计算交叉熵：

o＝-∑_xp(x)log(q(x))，

其中，o为交叉熵，x为第i训练样本集合，p(x)为标注分布，q(x)表示预测分布。

本实施例中，通过上述公式根据待训练模型生成的预测分布，结合训练样本数据集的标注分布计算交叉熵，可以准确的获取模型的预测结果与标注分布之间的差异。

步骤202，根据交叉熵判断是否满足训练要求。

本实施例中，可根据交叉熵与预设值的比较结果，判断是否满足训练要求。如果交叉熵大于预设值，说明未满足训练要求，如果交叉熵小于或等于预设值，则说明满足训练要求。

或者，获取第i-1训练样本集合的第i-1交叉熵，然后计算第i训练样本集合的第i交叉熵和第i-1交叉熵的差值，如果差值小于预设阈值，可以认为满足训练要求，如果差值大于或等于预设阈值，认为未满足训练要求。由此，通过根据当前训练样本集合的交叉熵与前一训练样本集合的交叉熵的差值，确定是否满足训练要求，如果未满足则继续训练，使模型逐渐收敛。

本申请实施例中，在根据预测分布和标注分布判断是否满足训练要求时，可根据预测分布和标注分布计算交叉熵，然后根据交叉熵判断是否满足训练要求。由此，通过根据预测分布和标注分布计算的交叉熵，判断模型训练是否满足要求，提高了模型的准确性。

为了提高模型的收敛速度，在本申请的一个实施例中，可通过图3的方式，获取第一至第N训练样本集合。图3为本申请实施例提供的另一种模型训练方法的流程示意图。

如图3所示：上述根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，包括：

步骤301，从第一训练样本库提取第一候选样本集合。

本实施例中，可以从第一训练样本库中随机选择一些训练样本构成样本集合，这里称为第一候选样本集合。

步骤302，从第二训练样本库提取第二候选样本集合。

本实施例中，也可从第二训练样本库中随机选择一些训练样本构成样本集合，这里称为第二候选样本集合。

步骤303，计算第二候选样本集合之中每个候选样本的置信度。

在获取第二候选样本集合后，可将第二候选样本集合中的每个样本，输入至一通过有标注数据训练好的模型中，该模型输出每个样本的置信度。其中，置信度越高，表示样本的不确定性越小。

步骤304，根据第二候选样本集合之中每个候选样本的置信度对第二候选样本集合之中的候选样本进行筛选。

为了提高模型训练速度，可根据第二候选样本集合之中每个候选样本的置信度，从第二候选样本集合中筛选出置信度小于预设置信度阈值的样本。

步骤305，根据第一候选样本集合和筛选之后的第二候选样本集合生成第一训练样本集合。

具体的，将第一候选样本集合之中候选样本和筛选之后的第二候选样本集合中的候选样本，构成第一训练样本集合，即将第一训练样本集合中的候选样本与筛选出的置信度小的样本，构成第一训练样本集合。从而，第一训练样本集合中包括第一训练样本库中的训练样本和第二候选样本集合中置信度较低的训练样本。

步骤306，重复上述步骤，直至生成第N训练样本集合。

本实施例中，再从第一训练样本库提取第一候选样本集合，和从第二训练样本库提取第二候选样本集合，以使从第二候选样本集合中置信度高于第一训练样本集合中训练样本和第一候选样本集合，生成第二训练样本集合，直至第N训练样本集合。

其中，第一训练样本集合中从第二训练样本库中选出的训练样本的置信度，低于至第二训练样本集合中从第二训练样本库中选出的训练样本的置信度，第二训练样本集合中从第二训练样本库中选出的训练样本的置信度，低于第一训练样本集合中从第二训练样本库中选出的训练样本的置信度。由此，第一至第N训练样本集合中，属于第二训练样本库中的训练样本的置信度依次增高。

由此，利用第一至第N训练样本集合进行模型训练的过程中，随着模型训练的深入，使用的训练样本的置信度越来越高，使得模型在阶梯式训练数据中逐渐收敛。

另外，也可利用置信度对第二训练样本库中的训练样本进行聚类，可以得到不同置信度区间的集合，将每个集合与第一训练样本库中的训练样本进行组合，生成第一至第N训练样本集合。并且，第1至第N训练样本集合中的第一训练样本库中的样本数量依次减少。

本申请实施例中，在根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合时，通过根据第二候选样本集合之中每个候选样本的置信度对第二候选样本集合之中的候选样本进行筛选，根据第一候选样本集合和筛选之后的第二候选样本集合生成第一训练样本集合，重复上述操作，直至生成第N训练样本集合。由此，通过根据第二候选样本的置信度，生成第一至第N训练样本集合，根据第一至第N训练样本集合对模型进行训练，随着训练的加深，用于训练的训练样本的置信度降低，让模型在阶梯式训练样本训练中逐渐收敛。

在本申请的一个实施例中，第二训练样本库中的样本量大于第一训练样本库的样本量，由此，可以根据第二训练样本中大规模的训练样本，进行模型训练，有效利用两个样本库中的样本。

在实际应用中，对于非成熟产品，用于训练数据比较少，那么标注大量的训练数据用于模型训练是较难办到的，可以挖掘到其他产品的大量的无标注数据。基于此，在本申请的一个实施例中，第二训练样本库为无标注样本库，第一训练样本库为有标注样本库。由此，利用有标注和无标注混合训练模型，从而实现了利用少量的标注训练样本和大量的无标注训练样本对模型进行训练，解决了非成熟产品训练数据量少的问题。

在本申请的一个实施例中，第一至第N训练样本集合之中的样本数量依次降低。由此，随着模型训练的深入，使用的训练样本量逐渐减少，使得模型在阶梯式训练数据中逐渐收敛。

需要说明的是，在具体实现时，第一至第N训练样本集合中样本量可依次降低，且集合中无标注训练样本的置信度和样本量也依次降低，由此，随着模型训练的深入，使用的训练样本量逐渐减少，置信度也越来越高，使得模型在阶梯式训练数据中逐渐收敛。

对于上述第二训练样本库，在本申请的一个实施例中，可以通过挖掘的方式获取。

具体地，通过网络爬虫获取多个多媒体资料，比如通过网络爬虫获取大量音频资料、视频资料等，然后根据关键字列表，对获取的多个多媒体资料进行筛选。

具体的，可以将多媒体资料的标题与关键词列表中的关键字进行匹配，或者将多媒体资料中的文本内容与关键词列表中的关键字进行匹配，从中筛选出包含关键字列表中的关键字的多媒体资料。由此，可以得到与非成熟产品的场景匹配的多媒体资料。

之后，将筛选之后的多媒体资料添加到第二训练样本库中，即将筛选出的多媒体资料添加至第二训练样本库中。

本申请实施例中，在生成第二训练样本库时，通过网络爬虫获取多个多媒体资料，根据关键字列表对多个多媒体资料进行筛选，将筛选之后的多媒体资料添加至第二训练样本库。由此，通过网络爬虫、关键字列表筛选的方式，可以获取大量的与非成熟产品的场景匹配的训练样本，不仅丰富了第二训练样本库中训练样本的数量，而且降低了训练样本的噪声，由此通过大量的、噪声低的训练数据对模型进行训练，可以获取效果较好的模型。

为了实现上述实施例，本申请实施例还提出一种模型训练装置。图4为本申请实施例提供的一种模型训练装置的结构示意图。

如图4所示，该模型训练装置400包括：第一获取模块410、生成模块420、第二获取模块430、训练模块440、判断模块450。

第一获取模块410，用于获取第一训练样本库和第二训练样本库；

生成模块420，用于根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；

第二获取模块430，用于获取第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；

训练模块440，用于通过第i训练样本集合对待训练模型进行训练，以生成预测分布；

判断模块450，用于根据预测分布和标注分布判断是否满足训练要求；如果满足训练要求，则结束训练；以及

训练模块440，用于当未满足训练要求时，通过第i+1训练样本集合继续对待训练模型继续训练，直至满足训练要求。

在本申请实施例一种可能的实现方式中，判断模块450，包括：

计算单元，用于根据预测分布和标注分布计算交叉熵；以及

判断单元，用于根据交叉熵判断是否满足训练要求。

在本申请实施例一种可能的实现方式中，计算单元通过以下公式计算交叉熵：

o＝-∑_xp(x)log(q(x))，

其中，o为交叉熵，x为第i训练样本集合，p(x)为标注分布，q(x)表示预测分布。

在本申请实施例一种可能的实现方式中，判断单元，用于：

获取第i-1训练样本集合的第i-1交叉熵；

获取第i训练样本集合的第i交叉熵和第i-1交叉熵之间的差值；以及

如果差值小于预设阈值，则判断满足训练要求。

在本申请实施例一种可能的实现方式中，生成模块420，包括：

从第一训练样本库提取第一候选样本集合；从第二训练样本库提取第二候选样本集合；

计算第二候选样本集合之中每个候选样本的置信度；

根据第二候选样本集合之中每个候选样本的置信度对第二候选样本集合之中的候选样本进行筛选；

根据第一候选样本集合和筛选之后的第二候选样本集合生成第一训练样本集合；以及

重复上述步骤，直至生成第N训练样本集合。

在本申请实施例一种可能的实现方式中，第二训练样本库的样本量大于第一训练样本库的样本量。

在本申请实施例一种可能的实现方式中，第二训练样本库为无标注样本库，第一训练样本库为有标注样本库。

在本申请实施例一种可能的实现方式中，第一至第N训练样本集合之中的样本数量依次降低。

在本申请实施例一种可能的实现方式中，该装置还可包括：

第三获取模块，用于通过网络爬虫获取多个多媒体资料；

筛选模块，用于根据关键字列表对多个多媒体资料进行筛选；以及

添加模块，用于将筛选之后的多媒体资料添加至第二训练样本库。

需要说明的是，前述模型训练方法实施例的解释说明，也适用于该实施例的模型训练装置，故在此不再赘述。

本申请实施例的模型训练装置，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是根据本申请实施例的模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GU I的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的模型训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型训练方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型训练方法对应的程序指令/模块(例如，附图4所示的第一获取模块410、生成模块420、第二获取模块430、训练模块440、判断模块450)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型训练方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型训练电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至模型训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

模型训练方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与模型训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。

根据本申请实施例的技术方案，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。

在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种模型训练方法，包括：

获取第一训练样本库和第二训练样本库；

根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；

获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；

通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；

根据所述预测分布和标注分布判断是否满足训练要求；

如果满足所述训练要求，则结束训练；以及

如果未满足所述训练要求，则通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。

2.如权利要求1所述的模型训练方法，其中，所述根据所述预测分布和所述标注分布判断是否满足训练要求，包括：

根据所述预测分布和所述标注分布计算交叉熵；以及

根据所述交叉熵判断是否满足训练要求。

3.如权利要求2所述的模型训练方法，通过以下公式计算所述交叉熵：

o＝-∑_xp(x)log(q(x))，

其中，o为所述交叉熵，x为所述第i训练样本集合，p(x)为所述标注分布，q(x)表示预测分布。

4.如权利要求2所述的模型训练方法，其中，所述根据所述交叉熵判断是否满足训练要求，包括：

获取第i-1训练样本集合的第i-1交叉熵；

获取所述第i训练样本集合的第i交叉熵和所述第i-1交叉熵之间的差值；以及

如果所述差值小于预设阈值，则判断满足所述训练要求。

5.如权利要求1所述的模型训练方法，其中，所述根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，包括：

从所述第一训练样本库提取第一候选样本集合；

从所述第二训练样本库提取第二候选样本集合；

计算所述第二候选样本集合之中每个候选样本的置信度；

根据所述第二候选样本集合之中每个候选样本的置信度对所述第二候选样本集合之中的候选样本进行筛选；

根据所述第一候选样本集合和筛选之后的所述第二候选样本集合生成所述第一训练样本集合；以及

重复上述步骤，直至生成所述第N训练样本集合。

6.如权利要求1所述的模型训练方法，其中，所述第二训练样本库的样本量大于所述第一训练样本库的样本量。

7.如权利要求1所述的模型训练方法，其中，所述第二训练样本库为无标注样本库，所述第一训练样本库为有标注样本库。

8.如权利要求1所述的模型训练方法，所述第一至第N训练样本集合之中的样本数量依次降低。

9.如权利要求1所述的模型训练方法，其中，所述第二训练样本库通过以下步骤生成：

通过网络爬虫获取多个多媒体资料；

根据关键字列表对所述多个多媒体资料进行筛选；以及

将筛选之后的多媒体资料添加至所述第二训练样本库。

10.一种模型训练装置，包括：

第一获取模块，用于获取第一训练样本库和第二训练样本库；

生成模块，用于根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；

第二获取模块，用于获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；

训练模块，用于通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；

判断模块，用于根据所述预测分布和标注分布判断是否满足训练要求；如果满足所述训练要求，则结束训练；以及

所述训练模块，用于当未满足所述训练要求时，通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。

11.如权利要求10所述的模型训练装置，其中，所述判断模块，包括：

计算单元，用于根据所述预测分布和所述标注分布计算交叉熵；以及

判断单元，用于根据所述交叉熵判断是否满足训练要求。

12.如权利要求11所述的模型训练装置，其中，所述计算单元通过以下公式计算所述交叉熵：

o＝-∑_xp(x)log(q(x))，

其中，o为所述交叉熵，x为所述第i训练样本集合，p(x)为所述标注分布，q(x)表示预测分布。

13.如权利要求11所述的模型训练装置，所述判断单元，用于：

获取第i-1训练样本集合的第i-1交叉熵；

获取所述第i训练样本集合的第i交叉熵和所述第i-1交叉熵之间的差值；以及

如果所述差值小于预设阈值，则判断满足所述训练要求。

14.如权利要求10所述的模型训练装置，所述生成模块，包括：

从所述第一训练样本库提取第一候选样本集合；从所述第二训练样本库提取第二候选样本集合；

计算所述第二候选样本集合之中每个候选样本的置信度；

根据所述第二候选样本集合之中每个候选样本的置信度对所述第二候选样本集合之中的候选样本进行筛选；

根据所述第一候选样本集合和筛选之后的所述第二候选样本集合生成所述第一训练样本集合；以及

重复上述步骤，直至生成所述第N训练样本集合。

15.如权利要求10所述的模型训练装置，其中，所述第二训练样本库的样本量大于所述第一训练样本库的样本量。

16.如权利要求10所述的模型训练装置，其中，所述第二训练样本库为无标注样本库，所述第一训练样本库为有标注样本库。

17.如权利要求10所述的模型训练装置，所述第一至第N训练样本集合之中的样本数量依次降低。

18.如权利要求10所述的模型训练装置，还包括：

第三获取模块，用于通过网络爬虫获取多个多媒体资料；

筛选模块，用于根据关键字列表对所述多个多媒体资料进行筛选；以及

添加模块，用于将筛选之后的多媒体资料添加至所述第二训练样本库。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的模型训练方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的模型训练方法。

Images