CN110704599B - 为预测模型生成样本、预测模型训练的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种为预测模型生成样本可以使用大量选择数据为预测模型生成训练样本，并且在样本生成过程中，通过使用标准样本训练的初始预测模型作为指引，减少选择数据中的噪声干扰，提高生成的训练样本的有效性。本说明书实施例还提供一种训练预测模型的方法和装置，将以上训练样本用于训练预测模型，大大扩充了样本数量，可以减少人工打标的工作量，还可以增强预测模型的抗噪能力，大大提高预测模型的准确度。

Description

为预测模型生成样本、预测模型训练的方法及装置

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机为预测模型生成样本的方法和装置，以及，预测模型的训练方法及装置。

背景技术

随着人工智能的发展，智能服务系统的应用越来越普遍。例如，在智能问答领域，当用户提出问题时，通过智能问答系统，可以自动对用户问题进行语义分析，为用户提供答案。由于各个用户的个人表达习惯、表述方式等存在差异，因此，在智能服务系统中，用户的意图识别是重要环节。常规技术中往往采用预测模型来预测用户提供的描述信息对应的标准意图(如标准问题)。

常规技术中预测模型的训练样本通常由人工标注相应的标签，这样耗费人工成本较大。事实上，智能服务系统在无法确定用户意图的时候，通常会给出用户多个选项，供用户选择。这种选择数据数量巨大，且来源于用户的实际需求，对训练预测模型提供有力参考。虽然这种选择数据的数据量巨大，但是数据中存在大量的噪声，直接使用这样的选择数据会对模型的学习产生很大的负面影响。如何结合高质量的打标方法，将这些选择数据用于训练预测模型，是值得思考的问题。

发明内容

本说明书一个或多个实施例描述了一种为预测模型生成样本、预测模型训练的方法及装置，可以利用用户在意图识别场景中的选择数据，生成预测模型的训练样本。

根据第一方面，提供了一种为预测模型生成样本的方法，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述方法包括：获取第一用户在意图识别场景中的第一选择数据，所述第一选择数据包括，所述第一用户的当前输入信息、基于所述第一用户的当前输入信息提供的至少一条目标信息、所述第一用户从所述至少一条目标信息中选中的第一目标信息，所述至少一条目标信息从所述多条候选信息中选定；将所述第一用户的当前输入信息输入预先训练的初始预测模型，根据所述初始预测模型的输出结果，确定所述第一用户的当前输入信息对应的预测标签，其中，所述初始预测模型通过预先标注的标准样本训练得到；基于所述第一用户从所述至少一条目标信息中选中的第一目标信息确定所述第一用户的当前输入信息对应的选择标签；通过所述预测标签调整所述选择标签，从而生成所述第一用户的当前输入信息对应的第一目标标签；基于所述第一用户的当前输入信息和所述第一目标标签，确定与所述第一选择数据对应的训练样本。

在一个实施例中，所述初始预测模型的输出结果包括，在提供当前输入信息的情况下，所述第一用户分别对各条候选信息的各个意图概率；所述预测标签为各个意图概率组成的向量。

在一个实施例中，所述选择标签包括，以各条候选信息为数据库的情况下，所述第一用户从所述至少一条目标信息中选中的第一目标信息的独热表示。

在一个实施例中，所述选择标签和所述预测标签均通过向量表示，所述通过所述预测标签调整所述选择标签，从而生成所述第一选择数据对应的第一目标标签包括：确定所述选择标签对应的向量和所述预测标签对应的向量的平均向量；将所述平均向量作为所述第一目标标签。

在一个实施例中，在所述意图识别场景为智能问答场景的情况下，所述多条候选信息是预先设定的各个标准问题。

根据第二方面，提供一种通过计算机训练预测模型的方法，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述方法包括：获取通过预先标注的标准样本训练得到初始预测模型；从意图识别场景中抽取多条选择数据，其中，单条选择数据包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息；分别通过第一方面所述的方法处理各条选择数据，生成相应的各个训练样本；利用各个训练样本进一步训练所述初始预测模型。

在一个实施例中，单个标准样本对应着一条用户输入信息和一个标准问题，单个标准样本的标签是各个候选信息构成的数据库下，相应标准问题的独热表示。

根据第三方面，提供一种为预测模型生成样本的装置，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述装置包括：

获取单元，配置为获取第一用户在意图识别场景中的第一选择数据，所述第一选择数据包括，所述第一用户的当前输入信息、基于所述第一用户的当前输入信息提供的至少一条目标信息、所述第一用户从所述至少一条目标信息中选中的第一目标信息，所述至少一条目标信息从所述多条候选信息中选定；

第一确定单元，配置为将所述第一用户的当前输入信息输入预先训练的初始预测模型，根据所述初始预测模型的输出结果，确定所述第一用户的当前输入信息对应的预测标签，其中，所述初始预测模型通过预先标注的标准样本训练得到；

第二确定单元，配置为基于所述第一用户从所述至少一条目标信息中选中的第一目标信息确定所述第一用户的当前输入信息对应的选择标签；

调整单元，配置为通过所述预测标签调整所述选择标签，从而生成所述第一用户的当前输入信息对应的第一目标标签；

生成单元，配置为基于所述第一用户的当前输入信息和所述第一目标标签，确定与所述第一选择数据对应的训练样本。

根据第四方面，提供一种通过计算机训练预测模型的装置，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述装置包括：

初始化单元，配置为获取通过预先标注的标准样本训练得到初始预测模型；

抽取单元，配置为从意图识别场景中抽取多条选择数据，其中，单条选择数据包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息；

处理单元，配置为分别通过第三方面所述的装置处理各条选择数据，生成相应的各个训练样本；

更新单元，配置为利用各个训练样本进一步训练所述初始预测模型。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。

通过本说明书实施例提供的训练预测模型的方法和装置，可以在预测模型训练过程中，先基于少量的通过预先标注的标准样本训练初始预测模型，然后基于用户的选择数据生成大量点击训练样本来修正初始预测模型。这样，大大减少了人工打标的工作量，并通过大量选择数据对应的样本的使用，提高预测模型的准确度。

通过本说明书实施例提供的为预测模型生成样本的方法和装置，在生成训练样本的过程中，针对每条选择数据，利用初始预测模型预测用户对各条候选信息的意图情况，产生预测标签，并基于用户真实选择的目标信息产生选择标签调整预测标签，生成相应的目标标签，从而得到相应的点击训练样本。这样，一方面，充分利用了用户的真实选择数据产生训练样本，另一方面，利用用户的真实选择数据产生训练样本过程中，使用标准样本训练的模型的预测标签对真实选择数据产生的选择标签进行调整，从而可以消除用户主观兴趣导致的选择数据的噪声干扰，产生更有效的训练样本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出本说明书披露的一个实施例的实施场景示意图；

图2示出根据一个实施例的训练预测模型的方法流程图；

图3示出一个具体例子的真实场景中的选择数据的示意图；

图4示出根据一个实施例的为预测模型生成样本的方法流程图；

图5a和图5b示出根据本说明书实施例的为预测模型生成样本的方法的有益效果示意图；

图6示出根据一个实施例的为预测模型生成样本的装置示意性框图；

图7示出根据一个实施例的训练预测模型的装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

为了便于说明，结合图1示出的本说明书实施例的一个具体适用场景进行描述。图1为本说明书披露的一个实施例的实施场景示意图。在该实施场景中，用户可以通过终端上的各种应用和相应的应用服务器交互，以使用应用所提供的功能。其中，这里的终端可以是诸如计算机、平板电脑、智能手机之类的硬件设备。终端上运行的应用可以由应用服务器提供服务。

应用服务器端可以设置有客服平台。客服平台往往用于为用户解决应用使用过程中遇到的各种问题。例如，支付类应用支付不成功却显示扣款成功、借款应用如何还款，等等。用户在表达这些自己遇到的问题的时候，表达方式可能各不相同，例如有的人习惯性省略主语或模糊主语，如“怎么开通这个？”，有的人习惯用大量短句，如“‘账单’、‘到期了’、‘咋还’”，等等。

在本说明书的技术架构中，客服平台属于智能服务平台，无需人工参与。在接收到终端发送的用户的输入信息后，可以针对该输入信息确定用户的需求意图。在确定用户的需求意图过程中，可以使用本说明书实施例提供的预测模型进行预测。通常，预测模型会推送预测模型预测到的至少一条目标信息，供用户确认意图。用户确认意图的过程中，就产生了真实的选择数据。

该预测模型训练过程中，使用少量预先标注的标准样本训练初始预测模型，以及大量的真实选择数据产生的训练样本修正初始的预测模型，从而提高预测模型的准确度。在通过真实选择数据产生训练样本的过程中，使用初始预测模型进行去噪音处理，使得得到的训练样本更加有效。当经过去噪处理的训练样本用于修正或训练预测模型时，得到的预测模型具有更高的准确度。

值得说明的是，这里的终端和应用服务器的数量仅为示例，真实架构中可以设置任意数量，在此不作限定。

下面首先介绍训练预测模型的方法。

图2示出根据一个实施例的训练预测模型的方法流程图。该方法的执行主体可以是任何具有计算、处理能力的系统、设备、装置、平台或服务器。预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图。其中，多条候选信息可以是智能服务系统为用户提供的多条可供选择的信息。例如在智能问答系统中，可以是预先设定的标准问题，如“在借贷平台A的借款逾期了该怎么还款”等等。标准问题可以是能够清晰地、无歧义地表达用户意图的问题，并对应着唯一答案项(一个答案项可以包括多种表达)。为了理解方便，在智能问答系统中，可以理解为预测模型用于接收用户的输入信息，并预测代表用户意图的标准问题。

预测模型训练过程中得到的初始训练模型、中间训练模型等，可以存储在任何电子设备，例如上述用于训练预测模型的系统、设备、装置、平台或服务器，或者图1示出的客服平台等，用于用户的意图识别。

如图2所示，该方法训练预测模型的可以包括以下步骤：步骤201，获取通过预先标注的标准样本训练得到的初始预测模型；步骤202，通过意图识别场景抽取多条选择数据，其中，单条选择数据包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息；步骤203，分别处理各条选择数据，生成相应的各个训练样本；步骤204，利用各个训练样本进一步训练所述初始预测模型。

首先，在步骤201中，获取通过预先标注的标准样本训练得到的初始预测模型。其中，初始预测模型可以预先训练，并存储在本地或远端。

标准样本可以是具有确定对应关系的样本，该对应关系可以通过人工标注。例如在智能问答场景中，用户的输入信息为“‘到期忘还款了’、“平台A”、该怎么办”，对应着标准问题“平台A到期忘还款了该怎么办”。一个标准样本就可以对应着输入信息“‘到期忘还款了’、“平台A”、该怎么办”，标签可以对应着标准问题“平台A到期忘还款了该怎么办”。

在一个实施例中，标签可以通过向量表示。例如，标签是各个候选信息组成的数据库下，标准问题的独热表示(one-hot)。作为示例，假如标准问题的数量为10，则在各个候选信息组成的数据库下，各个标准问题的独热表示的向量维数为10，分别对应各个标准问题。当前标准问题对应的独热表示中，只有对应该当前标准问题的一个维度的数值为1，其余维度的数值都为0。

在另一个实施例中，标签可以通过数值表示。每个数值对应着一个标准问题，如1-10分别对应着10个标准问题，在此不再赘述。

在其他实施例中，标签还可以是其他形式，在此不再一一例举。

将各个标准样本对应的用户输入信息输入选定的模型，利用模型的输出结果与相应的样本标签的对比，调整模型参数，可以训练出初始预测模型。

值得说明的是，这里说的初始预测模型可以是经过一定训练的预测模型，这里说的一定训练可以是一次训练或多次训练。这里称为初始预测模型，是因为在该初始预测模型是本说明书实施例预测模型的训练流程的基础。通常，训练该初始预测模型使用的样本具有较高的置信度。

接着，在步骤202中，通过意图识别场景抽取多条选择数据。可以理解，实际场景中，用户输入需求信息(例如待解决的问题)，平台(如图1示出的计算平台)可以给出至少一个可选目标信息(例如基于用户输入的待解决的问题提供的可选标准问题)，用户可以从可选目标信息中选定其中一个(例如和自己的需求一致的标准问题)，平台根据用户的选择提供精准服务信息(如和选定的标准问题对应的答案)。相应地，一条选择数据可以包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息。

作为示例，如图3所示，是用户与客服平台的一次真实交互。用户的当前输入信息是：你好、怎么邀请新人，平台基于用户的当前输入信息提供的2条目标信息为：1、邀请新用户时该怎么进行操作；2、邀请新用户注册后怎么领取红包奖励。其中，这两条目标信息都是预先确定的标准问题中的其中一个。用户可以通过点击等方式从这2条目标信息中选定一条目标信息，例如选择2，邀请新用户注册后怎么领取红包奖励。此时，用户通过点击等方式选定目标信息的情况下，对话页面可以自动输入用户选定的目标信息。

图3示出的情形可以确定一条选择数据。通过多个实际场景，可以获取多条选择数据。一个用户可以对应有一条或多条选择数据，在此不作限定。

接着，在步骤203中，分别处理各条选择数据，生成相应的各个训练样本。这里，对各条选择数据在经过去噪等方法加工处理之后，可以分别添加为预测模型的训练样本。

如图3所示，对应的选择数据包括，用户的当前输入信息“你好、怎么邀请新人”，基于用户的当前输入信息提供的两条目标信息“1、邀请新用户时该怎么进行操作；2、邀请新用户注册后怎么领取红包奖励”，用户从两条目标信息中选中的目标信息“邀请新用户注册后怎么领取红包奖励”。假设该场景下，用户是想了解邀请新用户注册后怎么领取红包奖励，那么就是一条正常的选择数据。但是如果用户仅仅是想了解邀请新用户时该怎么进行操作，但是，当推送给该用户两个可供选择的问题时，由于个人主观上的好奇心、兴趣等，也可能选择“邀请新用户注册后怎么领取红包奖励”。也就是说，实际中的选择数据可能存在噪声。

在本步骤203中，多条选择数据的处理，可以包括去噪处理，生成尽可能准确的训练样本。对选择数据进行处理生成训练样本的过程如图4所示。获取一条选择数据之后，一方面通过步骤201中获取的初始预测模型确定相应的预测标签，另一方面，根据用户实际的选择结果确定相应的选择标签，然后，利用预测标签调整选择标签，得到对应的目标标签。针对该条选择数据，将用户的当前输入信息和得到的目标标签，作为相应的一条训练样本。具体过程将在下文详细说明，在此不再赘述。

进一步地，在步骤204，利用步骤203中得到的各个训练样本进一步训练初始预测模型，从而得到最终的预测模型。具体地，可以依次针对各个训练样本，将用户的当前输入信息输入训练中的预测模型，根据相应目标标签与预测模型的输出结果的对比，调整预测模型的参数。

如此，在预测模型初始训练时，使用少量标准样本，进一步地，可以充分利用实际场景中的用户选择数据，对初始预测模型进行调整。这些选择数据可以在训练得到的初始预测模型的指导下，进行自动打标，生成大量训练样本，减少人工工作量，提高效率。同时，由于这大量的训练样本来源于实际场景，更有助于训练更适应实际场景、更有效的预测模型。

下面参考图4所示，详细介绍为预测模型生成样本的流程。如图4所述，以第一用户在意图识别场景中的第一选择数据为例，为预测模型生成样本的流程包括：步骤401，获取第一用户在意图识别场景中的第一选择数据，第一选择数据包括，第一用户的当前输入信息、基于第一用户的当前输入信息提供的至少一条目标信息、第一用户从至少一条目标信息中选中的第一目标信息，至少一条目标信息从多条候选信息中选定；步骤402，将第一用户的当前输入信息输入预先训练的初始预测模型，根据初始预测模型的输出结果，确定第一用户的当前输入信息对应的预测标签，其中，初始预测模型通过预先标注的标准样本训练得到；步骤403，基于第一用户从至少一条目标信息中选中的第一目标信息确定第一用户的当前输入信息对应的选择标签；步骤404，通过预测标签调整选择标签，从而生成第一用户的当前输入信息对应的第一目标标签；步骤405，基于第一用户的当前输入信息和第一目标标签，确定与第一选择数据对应的训练样本。

值得说明的是，第一用户可以是任意一个用户，在本说明书中不限定具体的用户。第一用户在意图识别场景中可以产生多条选择数据，其中任意一条选择数据称之为第一选择数据。

首先，在步骤401中，获取第一用户在意图识别场景中的第一选择数据。如前文所描述的，第一选择数据可以包括，第一用户的当前输入信息、基于第一用户的当前输入信息提供的至少一条目标信息、第一用户从至少一条目标信息中选中的第一目标信息。其中，基于第一用户的当前输入信息提供的至少一条目标信息可以从多条候选信息中选定。候选信息可以是预先根据应用场景确定的信息。在智能问答场景中，各条候选信息分别可以对应各个标准问题。

接着，一方面，通过步骤402，将第一用户的当前输入信息输入预先训练的初始预测模型，根据初始预测模型的输出结果，确定第一用户的当前输入信息对应的预测标签。其中，初始预测模型通过预先标注的标准样本训练得到，在本说明书实施例中，初始预测模型可以与步骤201中的初始预测模型一致。

根据一个可能的实现方式，在提供当前输入信息的情况下，初始预测模型的输出结果可以是，第一用户分别对各条候选信息的各个意图概率。例如，在问答场景中，假设标准问题有5个，也就是说候选信息有5个。将第一用户的当前输入信息输入初始预测模型，初始预测模型可以输出，第一用户的当前输入信息所表达出的第一用户的当前意图是各个标准问题的概率。如，初始预测模型的输出结果为0.1、0.2、0.6、0.03、0.07。

此时，第一用户的当前输入信息对应的预测标签可以是，各个意图概率组成的向量。向量的长度与候选信息的条数一致，向量上的各个维度上的数值与相应的意图概率一致。例如(0.1，0.2，0.6，0.03，0.07)。这种方式可以准确反映初始预测模型针对第一用户的当前输入信息，在各个候选信息上的预测结果。

根据另一个可能的实现方式，在提供当前输入信息的情况下，初始预测模型的输出结果可以是，第一用户的意图概率最大的候选信息。例如上述例子中，5个标准问题中对应概率最大的标准问题。此时，第一用户的当前输入信息对应的预测标签可以是，该意图概率最大的候选信息对应的独热表示，例如(0，0，1，0，0)。

在其他可能的实现方式中，第一用户的当前输入信息对应的预测标签还可以通过其他合理的表述方式表示，在此不再赘述。

另一方面，在步骤403中，基于第一用户从至少一条目标信息中选中的第一目标信息确定第一用户的当前输入信息对应的选择标签。可以理解，选择标签基于用户的选择结果确定，是对用户实际选择情况确定的标签。

在一个实现方式中，上述选择标签可以包括，以各条候选信息为数据库的情况下，第一用户从至少一条目标信息中选中的第一目标信息的独热表示。本领域技术人员知晓，独热表示是以数据库的全部数据的条数作为向量维度，每条数据对应向量中的一个维度。一条数据的独热表示对应的向量中，只有该条数据对应的维度为1，其余维度为0。仍以智能问答场景为例，假设标准问题(候选信息)共有5个，提供给第一用户的标准问题为2个，分别是第二个和第四个，第一用户选中第四个，则第一用户的当前输入信息对应的选择标签可以为(0，0，0，1，0)。

实际场景中，用户可能由于误点击，或者好奇心等，对提供的多条目标信息中进行多次(如2次)选择，则对于多次选择的目标信息都需要考虑。此时，第一用户从至少一条目标信息中选中的目标信息还至少可以包括第一目标信息之外的另一个目标信息。于是，在另一个实现方式中，上述选择标签可以包括，第一用户从所提供的至少一条目标信息中选中的各个目标信息的独热表示之和，或者，归一化和(标签中各个元素的总和为1)。例如，在上述例子中，标准问题的总数量为5，向第一用户提供的至少一条目标信息包括第二个标准问题和第四个标准问题，用户选中第二个标准问题，对应独热表示(0，1，0，0，0)，又选中第四个标准问题，对应独热表示(0，0，0，1，0)，则为第一用户确定的选择标签为选中的各个目标信息的独热表示之和：(0，1，0，1，0)，或者归一化和：(0，0.5，0，0.5，0)。

如此，可以根据用户的选择确定出和用户真实意向更接近的实际选择标签。

进一步地，在步骤404，通过预测标签调整选择标签，从而生成第一用户的当前输入信息对应的第一目标标签。根据前述内容可知，本说明书技术构思的框架中，在使用用户的选择数据做样本时，最关键的是需要消除用户由于主观的好奇心、兴趣等的影响，更加关注用户针对当前输入信息的真实意图，通过标准样本训练的初始预测模型就是更加关注当前输入信息的真实意图本身的模型，然而，初始预测模型通过少量的标准样本训练，样本覆盖率可能存在不足。在步骤403中，就是要把初始预测模型的预测标签，与用户真实选择产生的选择标签相结合，来生成更接近真实的标签，这里称为目标标签(该名称不对保护内容形成限定)。

在一个实施例中，可以将选择标签对应的向量和预测标签对应的向量的平均向量，作为第一用户的当前输入信息对应的第一目标标签。例如上述的预测标签对应向量(0.1，0.2，0.6，0.03，0.07)，选择标签对应向量(0，1，0，0，0)，那么相应目标标签可以为，{(0.1，0.2，0.6，0.03，0.07)+(0，1，0，0，0)}/2。

在另一个实施例中，还可以对选择标签对应的向量和预测标签对应的向量求和后进行归一化处理，将归一化处理结果作为第一用户的当前输入信息对应的第一目标标签。例如，预测标签对应向量(0.1，0.2，0.6，0.03，0.07)，选择标签对应向量(0，1，0，0，0)，那么相应目标标签可以为，(0.1，1.2，0.6，0.03，0.07)的归一化结果。可选地，归一化系数为对该向量中各个元素的平方和求平方根后的倒数，每个元素的归一化结果为该元素对应的数值与归一化系数的乘积。

在更多实施例中，第一目标标签可以通过更多方式确定，本说明书对此不做限定。

然后，在步骤405中，基于第一用户的当前输入信息和第一目标标签，确定与第一选择数据对应的训练样本。在本步骤中，可以将第一用户的当前输入信息和第一目标标签，作为与第一选择数据对应的训练样本。例如，训练样本为：“你好、怎么邀请新人”；(0.05，0.1，0.8，0.015，0.035)。

如此，针对各条选择数据，都可以自动生成相应的训练样本，用于训练预测模型。为了更形象地描述图4示出的实施例达到的效果，请参考图5a和图5b所示。图5a和图5b中，将各个标签对应的向量看作空间中的方向。

将选择数据分为两种，一种是噪声数据(如智能问答场景中，用户由于好奇心进行的偏离原本问题的选择行为)，一种是正确数据。噪声数据直接用于模型训练会给出错误指引。在图5a和图5b中，真实意图方向是正确的优化方向，初始预测模型由于使用经过人工标注的标准样本进行训练，极大概率会给出很正确的指引方向，可以认为初始预测模型给出的预测标签对应的预测意图方向接近优化方向。预测意图方向用于调整用户实际选择产生的选择标签对应的选择方向，得到目标标签对应的修正后的意图方向。如图5a所示，若当前的选择数据是一个噪声数据，指引的选择方向是与真实意图方向相差较大(如几乎垂直)的错误方向，此错误方向与初始预测模型的预测意图方向相结合，指向修正后的意图方向，是一个介于预测意图方向和真实意图方向之间的优化方向，大大减轻噪声数据的干扰。如图5b所示，若当前的训练数据是一个正确选择数据，指引的选择方向是与真实意图方向相差较小，该选择方向与初始预测模型的预测意图方向相结合，修正后的意图方向更接近真实意图方向，也就是说训练样本进一步优化。

可以理解的是，在本说明书实施例中，初始的预测模型对于通过选择数据生成训练样本具有教导作用，因此也可以称之为“教师模型”。

图5a和图5b是针对为何初始预测模型在训练样本生成过程中获取的效果的直观解释。由于噪声数据的数据量巨大，通过以上去噪处理的训练样本训练的预测模型，其最终抗噪效果也会超过仅通过标准样本训练的初始预测模型。

回顾以上过程，可以使用大量选择数据为预测模型生成训练样本，并且在样本生成过程中，通过使用标准样本训练的初始预测模型作为指引，减少选择数据中的噪声干扰，提高生成的训练样本的有效性。将通过这种方式生成的训练样本用于预测模型的训练，大大扩充了样本数量，减少人工打标的工作量，还可以增强预测模型的抗噪能力，大大提高预测模型的准确度。

根据另一方面的实施例，还提供一种为预测模型生成样本的装置。预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图。图6示出根据一个实施例的为预测模型生成样本的装置的示意性框图。如图6所示，用于为预测模型生成样本的装置600包括：

获取单元61，配置为获取第一用户在意图识别场景中的第一选择数据，第一选择数据包括，第一用户的当前输入信息、基于第一用户的当前输入信息提供的至少一条目标信息、第一用户从至少一条目标信息中选中的第一目标信息，至少一条目标信息从多条候选信息中选定；

第一确定单元62，配置为将第一用户的当前输入信息输入预先训练的初始预测模型，根据初始预测模型的输出结果，确定第一用户的当前输入信息对应的预测标签，其中，初始预测模型通过预先标注的标准样本训练得到；

第二确定单元63，配置为基于第一用户从所述至少一条目标信息中选中的第一目标信息确定第一用户的当前输入信息对应的选择标签；

调整单元64，配置为通过预测标签调整选择标签，从而生成第一用户的当前输入信息对应的第一目标标签；

生成单元65，配置为基于第一用户的当前输入信息和第一目标标签，确定与第一选择数据对应的训练样本。

根据一个实施方式，初始预测模型的输出结果包括，在提供当前输入信息的情况下，第一用户分别对各条候选信息的各个意图概率；预测标签为各个意图概率组成的向量。

在一个实施例中，选择标签包括，以各条候选信息为数据库的情况下，第一用户从至少一条目标信息中选中的第一目标信息的独热表示。

根据一个可能的设计，调整单元64进一步配置为：

确定选择标签对应的向量和预测标签对应的向量的平均向量；

将平均向量作为第一目标标签。

在一个实施例中，在意图识别场景为智能问答场景的情况下，多条候选信息是预先设定的各个标准问题。

值得说明的是，图6所示的装置600是与图4示出的方法实施例相对应的装置实施例，图4示出的方法实施例中的相应描述同样适用于装置600，在此不再赘述。

根据另一方面的实施例，还提供一种通过计算机训练预测模型的装置。预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图。图7示出根据一个实施例的通过计算机训练预测模型的装置的示意性框图。如图7所示，用于通过计算机训练预测模型的装置700包括：

初始化单元71，配置为获取通过预先标注的标准样本训练得到初始预测模型；

抽取单元72，配置为从意图识别场景中抽取多条选择数据，其中，单条选择数据包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息；

处理单元73，配置为分别通过图6示出的装置600处理各条选择数据，生成相应的各个训练样本；

更新单元74，配置为利用各个训练样本进一步训练初始预测模型，得到预测模型。

可选地，单个标准样本对应着一条用户输入信息和一个标准问题，单个标准样本的标签是各个候选信息构成的数据库下，相应标准问题的独热表示。

值得说明的是，图7所示的装置700是与图2示出的方法实施例相对应的装置实施例，图2示出的方法实施例中的相应描述同样适用于装置700，在此不再赘述。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图4所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图4所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (16)

1.一种为预测模型生成样本的方法，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述方法包括：

获取第一用户在意图识别场景中的第一选择数据，所述第一选择数据包括，所述第一用户的当前输入信息、基于所述第一用户的当前输入信息提供的至少一条目标信息、所述第一用户从所述至少一条目标信息中选中的第一目标信息，所述至少一条目标信息从所述多条候选信息中选定；

将所述第一用户的当前输入信息输入预先训练的初始预测模型，根据所述初始预测模型的输出结果，确定所述第一用户的当前输入信息对应的预测标签，其中，所述初始预测模型基于预先标注的标准样本训练得到；

基于所述第一用户从所述至少一条目标信息中选中的第一目标信息确定所述第一用户的当前输入信息对应的选择标签；

通过所述预测标签调整所述选择标签，从而生成所述第一用户的当前输入信息对应的第一目标标签；

基于所述第一用户的当前输入信息和所述第一目标标签，确定与所述第一选择数据对应的训练样本。

2.根据权利要求1所述的方法，其中，所述初始预测模型的输出结果包括，在提供当前输入信息的情况下，所述第一用户分别对各条候选信息的各个意图概率；所述预测标签为各个意图概率组成的向量。

3.根据权利要求1所述的方法，其中，所述选择标签包括，以各条候选信息为数据库的情况下，所述第一用户从所述至少一条目标信息中选中的第一目标信息的独热编码。

4.根据权利要求1所述的方法，其中，所述选择标签和所述预测标签均通过向量表示，所述通过所述预测标签调整所述选择标签，从而生成所述第一选择数据对应的第一目标标签包括：

确定所述选择标签对应的向量和所述预测标签对应的向量的平均向量；

将所述平均向量作为所述第一目标标签。

5.根据权利要求1所述的方法，其中，在所述意图识别场景为智能问答场景的情况下，所述多条候选信息是预先设定的各个标准问题。

6.一种通过计算机训练预测模型的方法，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述方法包括：

获取通过预先标注的标准样本训练得到的初始预测模型；

通过意图识别场景抽取多条选择数据，其中，单条选择数据包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息；

分别通过权利要求1所述的方法处理各条选择数据，生成相应的各个训练样本；

利用各个训练样本进一步训练所述初始预测模型，得到预测模型。

7.根据权利要求6所述的方法，其中，单个标准样本对应着一条用户输入信息和一个标准问题，单个标准样本的标签是各个候选信息构成的数据库下，相应标准问题的独热编码。

8.一种为预测模型生成样本的装置，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述装置包括：

获取单元，配置为获取第一用户在意图识别场景中的第一选择数据，所述第一选择数据包括，所述第一用户的当前输入信息、基于所述第一用户的当前输入信息提供的至少一条目标信息、所述第一用户从所述至少一条目标信息中选中的第一目标信息，所述至少一条目标信息从所述多条候选信息中选定；

第一确定单元，配置为将所述第一用户的当前输入信息输入预先训练的初始预测模型，根据所述初始预测模型的输出结果，确定所述第一用户的当前输入信息对应的预测标签，其中，所述初始预测模型基于预先标注的标准样本训练得到；

第二确定单元，配置为基于所述第一用户从所述至少一条目标信息中选中的第一目标信息确定所述第一用户的当前输入信息对应的选择标签；

调整单元，配置为通过所述预测标签调整所述选择标签，从而生成所述第一用户的当前输入信息对应的第一目标标签；

生成单元，配置为基于所述第一用户的当前输入信息和所述第一目标标签，确定与所述第一选择数据对应的训练样本。

9.根据权利要求8所述的装置，其中，所述初始预测模型的输出结果包括，在提供当前输入信息的情况下，所述第一用户分别对各条候选信息的各个意图概率；所述预测标签为各个意图概率组成的向量。

10.根据权利要求8所述的装置，其中，所述选择标签包括，以各条候选信息为数据库的情况下，所述第一用户从所述至少一条目标信息中选中的第一目标信息的独热编码。

11.根据权利要求8所述的装置，其中，所述调整单元配置为：

确定所述选择标签对应的向量和所述预测标签对应的向量的平均向量；

将所述平均向量作为所述第一目标标签。

12.根据权利要求8所述的装置，其中，在所述意图识别场景为智能问答场景的情况下，所述多条候选信息是预先设定的各个标准问题。

13.一种通过计算机训练预测模型的装置，所述预测模型用于在意图识别场景中，根据用户的输入信息，预测用户针对多条候选信息的目标意图，所述装置包括：

初始化单元，配置为获取通过预先标注的标准样本训练得到初始预测模型；

抽取单元，配置为从意图识别场景中抽取多条选择数据，其中，单条选择数据包括，用户的当前输入信息、基于用户的当前输入信息提供的至少一条目标信息、用户从至少一条目标信息中选中的目标信息；

处理单元，配置为分别通过权利要求8所述的装置处理各条选择数据，生成相应的各个训练样本；

更新单元，配置为利用各个训练样本进一步训练所述初始预测模型，得到预测模型。

14.根据权利要求13所述的装置，其中，单个标准样本对应着一条用户输入信息和一个标准问题，单个标准样本的标签是各个候选信息构成的数据库下，相应标准问题的独热编码。

15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。

16.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。

Images