CN110751177A - 分类模型的训练方法、预测方法及装置 - Google Patents

Abstract

本公开提供了一种分类模型的训练方法、预测方法及装置。其中，训练方法包括：针对训练样本集循环执行下述过程，直到满足循环结束条件：使用当前分类模型来得到训练样本集中的各个训练样本的预测值，基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果；在循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和训练样本的真实分类标签调整当前分类模型的模型参数，以得到调整后的分类模型，调整后的分类模型作为下一循环过程的当前分类模型。利用该方法，在训练阶段是基于各训练样本的分类标签掩码，与基于分类标签掩码的预测阶段保持了一致性，提高了分类模型的预测准确性。

Description

分类模型的训练方法、预测方法及装置

技术领域

本公开涉及机器学习技术领域，具体地，涉及分类模型的训练方法、预测方法及装置。

背景技术

在机器学习领域中，分类是一种常见的基础人工智能任务，尤其是大规模的分类任务。在分类任务中，包含有数量较多的标签，对于每一待分类的样本来说，从数量较多的标签中选出一个标签作为该样本的预测标签。

针对分类任务的分类模型，在训练过程中所采用的分类标签集与预测过程中所采用的分类标签集相同。即，利用分类标签集以及训练样本对分类模型进行训练，在训练好之后，利用训练好的分类模型以及同一分类标签集进行预测。

发明内容

鉴于上述，本公开提供了一种分类模型的训练方法、预测方法及装置。利用该分类模型的训练方法、预测方法及装置，在训练分类模型的阶段，是与基于各训练样本的分类标签掩码以及分类标签集中各分类标签的预测值进行训练的，在利用分类模型进行预测的阶段，也是基于待分类样本的分类标签掩码以及分类标签集中各分类标签的预测值进行预测的，这样保持了训练阶段和预测阶段的一致性，进而提高了分类模型的预测准确性。

根据本公开的一个方面，提供了一种用于训练分类模型的方法，包括：针对训练样本集循环执行下述过程，直到满足循环结束条件：使用当前分类模型来得到训练样本集中的各个训练样本的预测值，所述预测值是该训练样本针对分类模型的分类标签集中的各个分类标签的预测概率；基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果；在所述循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和所述训练样本的真实分类标签调整所述当前分类模型的模型参数，以得到调整后的分类模型，其中，所述调整后的分类模型作为下一循环过程的当前分类模型，其中，各个训练样本的分类标签掩码是基于该训练样本的样本信息确定的。

可选地，在一个示例中，在执行循环过程之前，所述方法还包括：基于各个训练样本的样本信息确定各个训练样本的分类标签掩码。

可选地，在一个示例中，基于各个训练样本的样本信息确定各个训练样本的分类标签掩码包括：基于各个训练样本的样本信息，从所述分类标签集中选择各个训练样本的适用分类标签子集；以及基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码。

可选地，在一个示例中，在生成各个训练样本的分类标签掩码之前，所述方法还包括：对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集；基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码包括：基于各个训练样本的经过加噪处理后的适用分类标签子集，生成各个训练样本的分类标签掩码。

可选地，在一个示例中，对所选择的适用分类标签子集进行加噪处理包括：从所述分类标签集中选取非适用分类标签；以及将所选取的非适用分类标签添加到所选择的适用分类标签子集。

可选地，在一个示例中，从所述分类标签集中选取非适用分类标签包括：从所述分类标签集中随机选取非适用分类标签。

可选地，在一个示例中，所述循环结束条件包括：循环次数达到预定次数；或所述当前分类模型的预测准确率达到预定值。

根据本公开的另一方面，还提供一种利用分类模型进行预测的方法，包括：基于待分类样本的样本信息，确定所述待分类样本的分类标签掩码；使用分类模型预测所述待分类样本的预测值，所述预测值是所述待分类样本针对所述分类模型的分类标签集中的各个分类标签的预测概率；基于所述待分类样本的分类标签掩码和所述待分类样本的预测值，确定所述待分类样本的分类标签预测结果，其中，所述分类模型是如上述任一所述的用于训练分类模型的方法训练的。

可选地，在一个示例中，基于待分类样本的样本信息，确定所述待分类样本的分类标签掩码包括：基于所述待分类样本的样本信息，从所述分类标签集中选择所述待分类样本的适用分类标签子集；以及基于所选择的适用分类标签子集，生成所述待分类样本的分类标签掩码。

可选地，在一个示例中，在生成所述待分类样本的分类标签掩码之前，所述方法还包括：对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集；基于所选择的适用分类标签子集，生成所述待分类样本的分类标签掩码包括：基于所述待分类样本的经过加噪处理后的适用分类标签子集，生成所述待分类样本的分类标签掩码。

可选地，在一个示例中，对所选择的适用分类标签子集进行加噪处理包括：从所述分类标签集中选取非适用分类标签；以及将所选取的非适用分类标签添加到所述适用分类标签子集。

可选地，在一个示例中，从所述分类标签集中选取非适用分类标签包括：从所述分类标签集中随机选取非适用分类标签。

根据本公开的另一方面，还提供一种用于训练分类模型的装置，包括：预测单元，被配置为使用当前分类模型来得到训练样本集中的各个训练样本的预测值，所述预测值是该训练样本针对分类模型的分类标签集中的各个分类标签的预测概率；预测结果确定单元，被配置为基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果，其中，各个训练样本的分类标签掩码是基于各个训练样本的样本信息生成的；模型参数调整单元，被配置为在循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和所述训练样本的真实分类标签调整所述当前分类模型的模型参数，以得到调整后的分类模型，其中，所述调整后的分类模型作为下一循环过程的当前分类模型，其中，所述预测单元、所述预测结果确定单元和所述模型参数调整单元被配置为针对训练样本集循环操作，直到满足循环结束条件。

可选地，在一个示例中，还包括：标签掩码确定单元，被配置为基于各个训练样本的样本信息，确定所述各个训练样本的分类标签掩码。

可选地，在一个示例中，所述标签掩码确定单元包括：标签子集选择模块，被配置为基于各个训练样本的样本信息，从所述分类标签集中选择各个训练样本的适用分类标签子集；以及标签掩码生成模块，被配置为基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码。

可选地，在一个示例中，还包括：加噪单元，被配置为对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集，以及所述标签掩码生成单元被配置为：基于各个训练样本的经过加噪处理后的适用分类标签子集，生成各个训练样本的分类标签掩码。

根据本公开的另一方面，还提供一种利用分类模型进行预测的装置，包括：标签掩码确定单元，被配置为基于待分类样本的样本信息，确定所述待分类样本的分类标签掩码；预测单元，被配置为使用分类模型预测所述待分类样本的预测值，所述预测值是所述待分类样本针对所述分类模型的分类标签集中的各个分类标签的预测概率；预测结果确定单元，被配置为基于所述待分类样本的分类标签掩码和所述待分类样本的预测值，确定所述待分类样本的分类标签预测结果，其中，所述分类模型是如上述任一所述的用于训练分类模型的方法训练的。

可选地，在一个示例中，所述标签掩码确定单元包括：标签子集选择模块，被配置为基于所述待分类样本的样本信息，从所述分类标签集中选择所述待分类样本的适用分类标签子集；以及标签掩码生成模块，被配置为基于所选择的适用分类标签子集，生成所述待分类样本的分类标签掩码。

可选地，在一个示例中，还包括：加噪单元，被配置为对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集；所述标签掩码生成模块被配置为：基于所述待分类样本的经过加噪处理后的适用分类标签子集，生成所述待分类样本的分类标签掩码。

根据本公开的另一方面，还提供一种计算设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于训练分类模型的方法。

根据本公开的另一方面，还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于训练分类模型的方法。

根据本公开的另一方面，还提供一种计算设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的利用分类模型进行预测的方法。

根据本公开的另一方面，还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的利用分类模型进行预测的方法。

附图说明

通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开的实施例，但并不构成对本公开的实施例的限制。在附图中：

图1示出了根据本公开的一个实施例的用于训练分类模型的方法的流程图；

图2示出了根据本公开的实施例的确定分类标签掩码的一个示例的流程图；

图3示出了根据本公开的实施例的确定分类标签掩码的另一个示例的流程图；

图4示出了根据本公开的实施例的利用分类模型进行预测的方法的流程图；

图5示出了根据本公开的实施例的用于训练分类模型的装置的方框图；

图6示出了根据本公开的实施例的利用分类模型进行预测的装置的方框图；

图7示出了根据本公开的实施例的用于训练分类模型的方法的计算设备的方框图；

图8示出了根据本公开的实施例的用于利用分类模型进行预测的方法的计算设备的方框图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

目前，针对分类任务的分类模型，在训练阶段是利用训练样本以及包含有若干分类标签的分类标签集进行训练的。具体地，将训练样本输入至待训练的分类模型中，该分类模型会输出针对分类标签集中每个分类标签的概率值，所输出的概率值即为该训练样本的预测值。将概率值最大的分类标签作为该训练样本的预测标签，根据预测标签和该训练样本的真实分类标签对分类模型的参数进行调整。

在训练完成之后得到训练好的分类模型，利用该训练好的分类模型可以进行预测。在预测阶段是利用分类标签集中的部分分类标签进行预测的。具体地，根据待分类样本从分类标签集中选出部分分类标签作为分类标签子集，并利用分类模型预测出该部分分类标签的概率值，并将该部分分类标签对应的概率值中最大的概率值对应的分类标签确定为待分类样本的预测分类标签。

然而，针对同一分类模型，训练阶段是基于分类标签集中的所有标签进行训练的，而预测阶段是基于分类标签集中的部分标签进行预测的。这样训练阶段和预测阶段的不一致，会影响分类模型的预测准确性，进而导致分类模型的预测效果不好。

为了解决上述问题，本公开提供了一种分类模型的训练方法及装置。在在训练分类模型的阶段，是与基于各训练样本的分类标签掩码以及分类标签集中各分类标签的预测值进行训练的，在利用分类模型进行预测的阶段，也是基于待分类样本的分类标签掩码以及分类标签集中各分类标签的预测值进行预测的，这样保持了训练阶段和预测阶段的一致性，进而提高了分类模型的预测准确性。

下面将结合附图来详细描述根据本公开实施例的分类模型的训练方法、预测方法及装置。

图1示出了根据本公开的一个实施例的用于训练分类模型的方法的流程图。

如图1所示，在块110，使用当前分类模型来得到训练样本集中的各个训练样本的预测值。

在本公开中，当前分类模型是处于针对训练样本集的循环过程中还未被训练好的分类模型。训练样本集可以包括多个训练样本，且训练样本集中的训练样本可以具有多样性，即，各训练样本可以是针对不同领域，不同学科或者不同人群的。例如，训练样本“信用卡如何还款”涉及到金融领域，训练样本“机器学习的原理”涉及到计算机技术。这样基于多样性的训练样本训练出来的分类模型，提高了该分类模型应用的广泛性。

在本公开中，预测值是训练样本针对分类模型的分类标签集中的各个分类标签的预测概率。每一训练样本对应有一组预测值，每一组预测值中的预测概率与分类标签集中的分类标签是一一对应的。例如，分类标签集中包括有10个分类标签，训练样本输入至当前分类模型中，得到10个预测值，该10个预测值对应于10个分类标签，每一个预测值表示该预测值对应的分类标签分配给该训练样本的概率。

在本公开中，分类标签集与分类模型是对应的，分类模型可以输出分类标签集中每个分类标签的概率值。分类标签集中包括有若干标签，该若干标签可以是表示不同领域、不同功能等。例如，训练样本集中的标签有：支付宝，QQ钱包，微信支付，爱奇艺，腾讯视频和滴滴等。

在块120，基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果。

在本公开中，各个训练样本的分类标签掩码是基于该训练样本的样本信息确定的。样本信息可以是训练样本的特征信息，比如，训练样本为文本信息，则样本信息可以是关键词信息。举例而言，训练样本“花呗如何还款”的关键词信息为“还款”。

不同的训练样本所确定出的分类标签掩码可以是不同的。对于每个训练样本来说，分类标签掩码用于区分分类标签集中的针对该训练样本的适用分类标签和非适用分类标签。适用分类标签是指与训练样本对应的分类标签，分类标签集中除适用分类标签以外的其他分类标签即为非适用分类标签。这样，基于训练样本的分类标签掩码和对应的预测值确定该训练样本的分类标签预测结果时，是先根据分类标签掩码确定出适用分类标签的预测值，然后从适用分类标签的预测值中将预测值最大的分类标签确定为分类标签预测结果。

在本公开的一个示例中，分类标签掩码可以是以向量的形式表示，该向量的维度与分类标签集中分类标签的数量的维度是相同的。分类标签掩码中仅包括0和1，以用来区分适用分类标签和非适用分类标签。其中，1用于表示适用分类标签，0用于表示非适用分类标签。

例如，分类标签集为{L1，L2，L3，L4，L5}，一训练样本的分类标签掩码为{1，0，0，1，0}，则针对该训练样本的适用分类标签包括L1和L4，非适用分类标签包括L2，L3和L5。

在块130，判断是否满足循环结束条件。如果满足循环结束条件，则流程结束，此时可以得到用于预测的分类模型。如果不满足循环结束条件，则流程进行到块140。

在本公开的一个示例中，循环结束条件可以包括循环次数达到预定次数。预定次数可以是根据经验值设置的。在该示例中，可以预先设置计数器，用于记录循环执行的次数。当计数器记录的次数达到预定次数时，则结束循环，并将当前所得到的分类模型作为用于预测的分类模型。

在本公开的另一个示例中，循环结束条件可以包括当前分类模型的预测准确率达到预定值。在该示例中，每一轮循环中在得到分类标签预测结果后，基于各训练样本的真实分类标签来计算此轮循环中当前分类模型的预测准确率。在预测准确率达到预定值时，则判定满足循环结束条件；在预测准确率未达到预定值时，则判定不满足循环结束条件。

在块140，根据各个训练样本的分类标签预测结果和训练样本的真实分类标签调整当前分类模型的模型参数，以得到调整后的分类模型。

在本公开中，训练样本的真实分类标签可以是预先设定的，每一训练样本对应至少一个真实分类标签。训练样本的真实分类标签用于作为依据以判断分类模型针对该训练样本的分类标签预测结果是否正确。

相比于调整前的分类模型，调整后的分类模型的预测准确率会提升。在得到调整后的分类模型后，可以将调整后的分类模型作为下一循环过程的当前分类模型，并继续执行下一轮循环，即，流程返回至块110。

在本公开的一个示例中，在执行循环过程之前，可以基于各个训练样本的样本信息来确定各个训练样本的分类标签掩码。各个训练样本的分类标签掩码是不变的，这样，在后续的每一轮循环过程中，都可以重复地利用各个训练样本的分类标签掩码。

针对分类标签掩码的确定方式，下面分别结合图2和图3进行描述。

图2示出了根据本公开的实施例的确定分类标签掩码的一个示例的流程图。

如图2所示，在块210，基于各个训练样本的样本信息，从分类标签集中选择各个训练样本的适用分类标签子集。

每个训练样本对应一个适用分类标签子集，每个训练样本对应的适用分类标签子集中包括若干针对该训练样本的适用分类标签。

一个示例中，预先设置分类标签与特征信息的对应关系，在该对应关系中每个分类标签可以对应多个特征信息，每个特征信息可以对应多个分类标签。并且，该对应关系中的分类标签均为分类标签集中的分类标签。在获取训练样本的特征信息之后，可以基于上述对应关系确定出所获取的特征信息对应的分类标签，所确定出的分类标签即为该训练样本的适用分类标签。

在从分类标签集中选择出适用分类标签子集后，在块220，基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码。

具体地，针对每个训练样本，将该训练样本的适用分类标签对应设置为1，非适用分类标签对应设置为0，由0和1组合得到的向量即为该训练样本的分类标签掩码。例如，分类标签集为{L1，L2，L3，L4，L5}，一训练样本的适用分类标签子集为{L1，L2，L5}，则将L1，L2以及L5对应设置为1，L3和L4对应设置为0，最终得到的该训练样本的分类标签掩码为{1，1，0，0，1}。

图3示出了根据本公开的实施例的确定分类标签掩码的另一个示例的流程图。

如图3所示，在块310，基于各个训练样本的样本信息，从分类标签集中选择各个训练样本的适用分类标签子集。块310的操作与上述图2中块210的操作相同，在此不再描述。

在块310中选择各个训练样本的适用分类标签子集之后，在块320，对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集。

在本公开中，加噪处理是指将至少一个非适用分类标签作为噪声标签添加至对适用分类标签子集中。

在本公开的一个示例中，对于每个训练样本的适用分类标签子集来说，可以从分类标签集中选取针对该训练样本的非适用分类标签，并将所选取的非适用分类标签添加至该训练样本的适用分类标签子集。

在该示例中，各个训练样本所选取的非适用分类标签可以是相同的，还可以是不相同的。另外，各个训练样本所选取的非适用分类标签的数量可以是相同的，还可以是不相同的。

在一个示例中，可以从分类标签集中随机选取非适用分类标签。其中，所选取的非适用分类标签的数量可以是随机的，所选取的非适用分类标签页可以是随机的。

例如，分类标签集为{L1，L2，L3，…，L19，L20}，训练样本1的适用分类标签子集1为{L1，L2}，训练样本2的适用分类标签子集2为{L19，L20}。则对于训练样本1来说，可以从L3，…，L19，L20中随机选取L18作为噪声标签添加至分类标签子集1中，这样，分类标签子集1变为{L1，L2，L18}。对于训练样本2来说，可以从L1，L2，L3，…，L18中随机选取L2和L3作为噪声标签添加至分类标签子集2中，这样，分类标签子集2变为{L2，L3，L19，L20}。

在另一个示例中，可以从分类标签集中选取指定的非适用分类标签。对于不同的训练样本来说，所指定的非适用分类标签可以是不相同的。具体地，可以为每个训练样本预先指定非适用分类标签，在进行加噪处理时可以将各训练样本所指定的非适用分类标签对应添加至该训练样本的适用分类标签子集中。

在块330，基于各个训练样本的经过加噪处理后的适用分类标签子集，生成各个训练样本的分类标签掩码。

通过本公开的上述实施例，对各个训练样本的适用分类标签子集进行加噪处理，可以增加该训练样本的真实分类标签被选为适用分类标签的概率，进而提高当前分类模型针对该训练样本的预测准确率。

图4示出了根据本公开的实施例的利用分类模型进行预测的方法的流程图。

如图4所示，在块410，基于待分类样本的样本信息，确定待分类样本的分类标签掩码。

在本公开的一个示例中，基于待分类样本的样本信息，从分类标签集中选择待分类样本的适用分类标签子集，并基于所选择的适用分类标签子集，生成待分类样本的分类标签掩码。

在本公开的一个示例中，在生成待分类样本的分类标签掩码之前，还可以对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集，再基于待分类样本的经过加噪处理后的适用分类标签子集，生成待分类样本的分类标签掩码。

在本公开的一个示例中，可以从分类标签集中选取非适用分类标签，将所选取的非适用分类标签添加到适用分类标签子集。在一个示例中，可以从分类标签集中随机选取非适用分类标签。

在块420，使用分类模型预测待分类样本的预测值。

预测值是待分类样本针对分类模型的分类标签集中的各个分类标签的预测概率。

在该实施例中，分类模型可以是按照如上参照图1至图3描述的任一分类模型训练方法进行训练得到的。

在块430，基于待分类样本的分类标签掩码和待分类样本的预测值，确定待分类样本的分类标签预测结果。

具体地，基于待分类样本的分类标签掩码，可以从待分类样本的预测值中确定出该待分类样本的适用分类标签对应的预测值，再从所确定出的适用分类标签中选取预测值最大的适用分类标签作为该待分类样本的分类标签预测结果。

通过本公开提供的实施例，在预测阶段所使用的分类模型是根据上述图1至图3所示的任一示例的方法进行训练得到的，也就是说，分类模型的训练是基于各训练样本的分类标签掩码以及分类标签集中各分类标签的预测值进行训练的。利用该分类模型进行预测的阶段，也是基于待分类样本的分类标签掩码以及分类标签集中各分类标签的预测值进行预测的，这样保持了训练阶段和预测阶段的一致性，进而提高了分类模型的预测准确性。

图5示出了根据本公开的实施例的用于训练分类模型的装置(在下文中简称为模型训练装置)的方框图。如图5所示，模型训练装置500包括预测单元510，预测结果确定单元520和模型参数调整单元530。

预测单元510被配置为使用当前分类模型来得到训练样本集中的各个训练样本的预测值，预测值是该训练样本针对分类模型的分类标签集中的各个分类标签的预测概率。预测单元510所执行的操作可以参考上面参照图1描述的块110的操作。

预测结果确定单元520被配置为基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果，其中，各个训练样本的分类标签掩码是基于各个训练样本的样本信息生成的。预测结果确定单元520所执行的操作可以参考上面参照图1描述的块120的操作。

模型参数调整单元530被配置为在循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和训练样本的真实分类标签调整当前分类模型的模型参数，以得到调整后的分类模型，其中，所述调整后的分类模型作为下一循环过程的当前分类模型。模型参数调整单元530所执行的操作可以参考上面参照图1描述的块140的操作。

在本公开的实施例中，预测单元510、预测结果确定单元520和模型参数调整单元530被配置为针对训练样本集循环操作，直到满足循环结束条件。当满足循环结束条件时，则流程结束。

在本公开的一个示例中，模型训练装置500还可以包括标签掩码确定单元。该标签掩码确定单元被配置为基于各个训练样本的样本信息，确定各个训练样本的分类标签掩码。

在本公开的一个示例中，标签掩码确定单元可以包括标签子集选择模块和标签掩码生成模块。标签子集选择模块被配置为基于各个训练样本的样本信息，从分类标签集中选择各个训练样本的适用分类标签子集。标签掩码生成模块被配置为基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码。

在本公开的一个示例中，模型训练装置500还可以包括加噪单元。加噪单元被配置为对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集。标签掩码生成单元被配置为：基于各个训练样本的经过加噪处理后的适用分类标签子集，生成各个训练样本的分类标签掩码。

图6示出了根据本公开的实施例的利用分类模型进行预测的装置(在下文中简称为模型预测装置)的方框图。如图6所示，模型预测装置600包括标签掩码确定单元610，预测单元620和预测结果确定单元630。

标签掩码确定单元610被配置为基于待分类样本的样本信息，确定待分类样本的分类标签掩码。标签掩码确定单元610所执行的操作可以参考上面参照图4描述的块410的操作。

预测单元620被配置为使用分类模型预测待分类样本的预测值，预测值是待分类样本针对分类模型的分类标签集中的各个分类标签的预测概率。预测单元620所执行的操作可以参考上面参照图4描述的块420的操作。

预测结果确定单元630被配置为基于待分类样本的分类标签掩码和待分类样本的预测值，确定待分类样本的分类标签预测结果。预测结果确定单元630所执行的操作可以参考上面参照图4描述的块430的操作。

在本公开的实施例中，分类模型可以是按照如上参照图1至图3描述的任一分类模型训练方法进行训练得到的。

在本公开的一个示例中，标签掩码确定单元610可以包括标签子集选择模块和标签掩码生成模块。标签子集选择模块被配置为基于待分类样本的样本信息，从分类标签集中选择待分类样本的适用分类标签子集。标签掩码生成模块被配置为基于所选择的适用分类标签子集，生成待分类样本的分类标签掩码。

在本公开的一个示例中，模型预测装置600还可以包括加噪单元。加噪单元被配置为对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集。标签掩码生成模块被配置为：基于待分类样本的经过加噪处理后的适用分类标签子集，生成待分类样本的分类标签掩码。

以上参照图1到图6，对根据本公开的分类模型的训练方法、预测方法及装置的实施例进行了描述。

本公开的分类模型的训练装置以及预测装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本公开中，分类模型的训练装置以及预测装置例如可以利用计算设备实现。

图7示出了根据本公开的实施例的用于训练分类模型的方法的计算设备700的方框图。如图7所示，计算设备700可以包括至少一个处理器710、存储器(例如，非易失性存储器)720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线760连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器710：针对训练样本集循环执行下述过程，直到满足循环结束条件：使用当前分类模型来得到训练样本集中的各个训练样本的预测值，预测值是该训练样本针对分类模型的分类标签集中的各个分类标签的预测概率；基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果；在循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和训练样本的真实分类标签调整当前分类模型的模型参数，以得到调整后的分类模型，其中，调整后的分类模型作为下一循环过程的当前分类模型，其中，各个训练样本的分类标签掩码是基于该训练样本的样本信息确定的。

应该理解，在存储器720中存储的计算机可执行指令当执行时使得至少一个处理器710进行本公开的各个实施例中以上结合图1-3以及图5描述的各种操作和功能。

根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-3以及图5描述的各种操作和功能。

图8示出了根据本公开的实施例的用于利用分类模型进行预测的方法的计算设备800的方框图。如图8所示，计算设备800可以包括至少一个处理器810、存储器(例如，非易失性存储器)820、内存830和通信接口840，并且至少一个处理器810、存储器820、内存830和通信接口840经由总线860连接在一起。至少一个处理器810执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器810：基于待分类样本的样本信息，确定待分类样本的分类标签掩码；使用分类模型预测待分类样本的预测值，预测值是待分类样本针对分类模型的分类标签集中的各个分类标签的预测概率；基于待分类样本的分类标签掩码和待分类样本的预测值，确定待分类样本的分类标签预测结果，其中，分类模型是按照如上参照图1至图3描述的任一分类模型训练方法进行训练得到的。

应该理解，在存储器820中存储的计算机可执行指令当执行时使得至少一个处理器810进行本公开的各个实施例中以上结合图4以及图6描述的各种操作和功能。

根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图4以及图6描述的各种操作和功能。

针对上述图7和图8中所提供的一种例如机器可读介质的程序产品，具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本公开的实施例的可选实施方式，但是，本公开的实施例并不限于上述实施方式中的具体细节，在本公开的实施例的技术构思范围内，可以对本公开的实施例的技术方案进行多种简单变型，这些简单变型均属于本公开的实施例的保护范围。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (23)

1.一种用于训练分类模型的方法，包括：

针对训练样本集循环执行下述过程，直到满足循环结束条件：

使用当前分类模型来得到训练样本集中的各个训练样本的预测值，所述预测值是该训练样本针对分类模型的分类标签集中的各个分类标签的预测概率；

基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果；

在所述循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和所述训练样本的真实分类标签调整所述当前分类模型的模型参数，以得到调整后的分类模型，其中，所述调整后的分类模型作为下一循环过程的当前分类模型，

其中，各个训练样本的分类标签掩码是基于该训练样本的样本信息确定的。

2.如权利要求1所述的方法，其中，在执行循环过程之前，所述方法还包括：

基于各个训练样本的样本信息确定各个训练样本的分类标签掩码。

3.如权利要求2所述的方法，其中，基于各个训练样本的样本信息确定各个训练样本的分类标签掩码包括：

基于各个训练样本的样本信息，从所述分类标签集中选择各个训练样本的适用分类标签子集；以及

基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码。

4.如权利要求3所述的方法，其中，在生成各个训练样本的分类标签掩码之前，所述方法还包括：

对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集；

基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码包括：

基于各个训练样本的经过加噪处理后的适用分类标签子集，生成各个训练样本的分类标签掩码。

5.如权利要求4所述的方法，其中，对所选择的适用分类标签子集进行加噪处理包括：

从所述分类标签集中选取非适用分类标签；以及

将所选取的非适用分类标签添加到所选择的适用分类标签子集。

6.如权利要求5所述的方法，其中，从所述分类标签集中选取非适用分类标签包括：

从所述分类标签集中随机选取非适用分类标签。

7.如权利要求1到6中任一所述的方法，其中，所述循环结束条件包括：

循环次数达到预定次数；或

所述当前分类模型的预测准确率达到预定值。

8.一种利用分类模型进行预测的方法，包括：

基于待分类样本的样本信息，确定所述待分类样本的分类标签掩码；

使用分类模型预测所述待分类样本的预测值，所述预测值是所述待分类样本针对所述分类模型的分类标签集中的各个分类标签的预测概率；

基于所述待分类样本的分类标签掩码和所述待分类样本的预测值，确定所述待分类样本的分类标签预测结果，

其中，所述分类模型是如权利要求1到7中任一所述的方法训练的。

9.如权利要求8所述的方法，其中，基于待分类样本的样本信息，确定所述待分类样本的分类标签掩码包括：

基于所述待分类样本的样本信息，从所述分类标签集中选择所述待分类样本的适用分类标签子集；以及

基于所选择的适用分类标签子集，生成所述待分类样本的分类标签掩码。

10.如权利要求9所述的方法，其中，在生成所述待分类样本的分类标签掩码之前，所述方法还包括：

对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集；

基于所选择的适用分类标签子集，生成所述待分类样本的分类标签掩码包括：

基于所述待分类样本的经过加噪处理后的适用分类标签子集，生成所述待分类样本的分类标签掩码。

11.如权利要求10所述的方法，其中，对所选择的适用分类标签子集进行加噪处理包括：

从所述分类标签集中选取非适用分类标签；以及

将所选取的非适用分类标签添加到所述适用分类标签子集。

12.如权利要求11所述的方法，其中，从所述分类标签集中选取非适用分类标签包括：

从所述分类标签集中随机选取非适用分类标签。

13.一种用于训练分类模型的装置，包括：

预测单元，被配置为使用当前分类模型来得到训练样本集中的各个训练样本的预测值，所述预测值是该训练样本针对分类模型的分类标签集中的各个分类标签的预测概率；

预测结果确定单元，被配置为基于各个训练样本的分类标签掩码以及对应的预测值，确定各个训练样本的分类标签预测结果，其中，各个训练样本的分类标签掩码是基于各个训练样本的样本信息生成的；

模型参数调整单元，被配置为在循环结束条件未被满足时，根据各个训练样本的分类标签预测结果和所述训练样本的真实分类标签调整所述当前分类模型的模型参数，以得到调整后的分类模型，其中，所述调整后的分类模型作为下一循环过程的当前分类模型，

其中，所述预测单元、所述预测结果确定单元和所述模型参数调整单元被配置为针对训练样本集循环操作，直到满足循环结束条件。

14.如权利要求13所述的装置，还包括：

标签掩码确定单元，被配置为基于各个训练样本的样本信息，确定所述各个训练样本的分类标签掩码。

15.如权利要求14所述的装置，其中，所述标签掩码确定单元包括：

标签子集选择模块，被配置为基于各个训练样本的样本信息，从所述分类标签集中选择各个训练样本的适用分类标签子集；以及

标签掩码生成模块，被配置为基于所选择的各个训练样本的适用分类标签子集，生成各个训练样本的分类标签掩码。

16.如权利要求15所述的装置，还包括：

加噪单元，被配置为对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集，以及

所述标签掩码生成单元被配置为：基于各个训练样本的经过加噪处理后的适用分类标签子集，生成各个训练样本的分类标签掩码。

17.一种利用分类模型进行预测的装置，包括：

标签掩码确定单元，被配置为基于待分类样本的样本信息，确定所述待分类样本的分类标签掩码；

预测单元，被配置为使用分类模型预测所述待分类样本的预测值，所述预测值是所述待分类样本针对所述分类模型的分类标签集中的各个分类标签的预测概率；

预测结果确定单元，被配置为基于所述待分类样本的分类标签掩码和所述待分类样本的预测值，确定所述待分类样本的分类标签预测结果，

其中，所述分类模型是如权利要求1到7中任一所述的方法训练的。

18.如权利要求17所述的装置，其中，所述标签掩码确定单元包括：

标签子集选择模块，被配置为基于所述待分类样本的样本信息，从所述分类标签集中选择所述待分类样本的适用分类标签子集；以及

标签掩码生成模块，被配置为基于所选择的适用分类标签子集，生成所述待分类样本的分类标签掩码。

19.如权利要求18所述的装置，还包括：

加噪单元，被配置为对所选择的适用分类标签子集进行加噪处理，以得到经过加噪处理后的适用分类标签子集；

所述标签掩码生成模块被配置为：基于所述待分类样本的经过加噪处理后的适用分类标签子集，生成所述待分类样本的分类标签掩码。

20.一种计算设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到7中任一所述的方法。

21.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到7中任一所述的方法。

22.一种计算设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求8到12中任一所述的方法。

23.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求8到12中任一所述的方法。

Images