CN108021934B - 多要素识别的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种训练多要素识别模型的方法，在该方法中，首先获取输入文本，以及输入文本在多个类别中的各个类别的已标定要素；利用多要素识别模型，确定输入文本在各类别的备选要素及其对应的概率值。之后，基于上述备选要素及其概率值，以及已标定的要素，确定各个类别的损失函数，并基于各类别的损失函数确定总损失函数。最后基于总损失函数，更新多要素识别模型。还提供了利用该多要素识别模型识别用户的对话文本中的各类别要素的方法。

Description

多要素识别的方法及装置

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及多任务多要素识别的方法及装置。

背景技术

在在线或者热线服务中，热线系统可以接收用户发送的各种问题，并对接收的问题进行分析，例如语义分析和意图分析，从而更好地针对用户问题进行解答。在以上分析的过程中，常常需要对用户的对话文本进行多方面多类别的要素识别，根据识别结果来进行语义分析和意图分析。现有技术中常常针对一个方面的任务训练一个单一模型，要识别多方面的要素就需要利用多个模型进行识别。这样的方式难以满足需求。

因此，需要有效的方式，高效而准确地识别出对话文本中的多类别要素，从而进一步促进对话分析，提高用户体验。

发明内容

本说明书一个或多个实施例描述了一种训练多要素识别模型的方法及装置，以及识别对话文本中的多类别的要素的方法和装置，以整体地、快速地识别用户对话文本中多类别下的要素。

根据第一方面，提供了一种训练多要素识别模型的方法，包括：获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素；利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值；基于各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；基于所述各个类别的损失函数确定总损失函数；基于所述总损失函数，更新所述多要素识别模型。

根据第二方面，提供了一种识别用户对话文本中的要素的方法，其特征在于，包括：获取用户的对话文本；将所述对话文本输入多要素识别模型，使其输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值，其中所述多要素识别模型是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练；根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素。

根据第三方面，提供了一种训练多要素识别模型的装置，包括：文本获取单元，配置为获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素；要素确定单元，配置为利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值；第一确定单元，配置为基于各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；第二确定单元，配置为基于所述各个类别的损失函数确定总损失函数；更新单元，配置为基于所述总损失函数，更新所述多要素识别模型。

根据第四方面，提供了一种识别用户对话文本中的要素的装置，其特征在于，包括：文本获取单元，配置为获取用户的对话文本；识别单元，配置为将所述对话文本输入多要素识别模型，使其输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值，其中所述多要素识别模型是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练；确定单元，配置为根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法，和/或第二方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法，和/或第二方面的方法。

通过本说明书实施例提供的训练方法及装置，可以基于训练过程中的识别结果在多个类别下的总损失函数而训练得到多要素识别模型。利用该多要素识别模型，可以对用户对话文本在多个类别的要素进行识别。由此，可以高效而准确地识别出对话文本在多个类别中的要素，更有利于用户语义分析和意图分析。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出本说明书披露的一个实施例的应用场景示意图；

图2示出根据一个实施例的训练多要素识别模型的方法的流程图；

图3示出根据一个实施例的多要素识别模型的示意图；

图4示出根据一个实施例的识别用户对话文本中的要素的方法流程图；

图5示出根据一个实施例的训练装置的示意性框图；

图6示出根据一个实施例的识别装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1为本说明书披露的一个实施例的应用场景示意图。在图1中，服务系统根据语料库中的语料，训练出多要素识别模型。进而，在用户发送问题或对话的时候，接收用户的对话文本，利用训练出的多要素识别模型，识别对话文本在多个类别的要素。更具体地，服务系统可以是具有处理能力的设备、服务器和平台。服务系统可以体现为能够对用户问题进行分析的热线系统，例如“智能机器人”热线系统。

在第一应用场景中，服务系统根据语料库中的语料，训练多要素识别模型。上述语料库可以包含已经标定出多个类别中的要素的语料文本。利用这些语料，服务系统可以训练出能够识别多类别要素的多要素识别模型。

在第二应用场景中，用户通过各种用户终端(例如可以是电话、PC、平板电脑、可穿戴智能设备等)接入上述服务系统，输入会话。服务系统接收到用户的会话后，利用训练出的多要素识别模型进行要素识别，从而确定出用户会话在各个类别中的要素。识别出的要素可以用于对用户会话进行进一步分析，例如语义分析，意图分析，交互模式分析等。

尽管在图1中出于示意的目的示出了单独存储的语料库，但是可以理解，语料库也可以存储在服务系统中。本说明书实施例对此不作限定。

图2示出根据一个实施例的训练多要素识别模型的方法的流程图。该方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，如，图1中的服务系统。如图2所示，训练方法包括以下步骤：S21，获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素；S22，利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值；S23，基于所述各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；S24，基于所述各个类别的损失函数确定总损失函数；S25，基于总损失函数，更新所述多要素识别模型。下面具体描述各个步骤的执行方式。

首先，在步骤S21，获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素。可以理解，上述输入文本为语料库中的语料；作为用于训练的语料，已经预先对其多类别的要素进行了标定。所述多类别的要素可以是预先确定类别的、用于对文本的结构和/或语义进行分析的要素。这些要素的标定可以采用人工标定或者其他方式标定，只要使得标定的结果准确反映输入文本中实际的要素。

在一个实施例中，文本的要素例如包括三个类别的要素：文本中包含的主语、动词、宾语。相应地，语料库中不仅包含输入文本，还包括输入文本在这三个类别下的已标定要素。例如，输入文本为“我今天买了双鞋”，该输入文本在主语类别下的标定要素为“我”，在动词类别下的标定要素为“买”，在宾语类别下的标定要素为“鞋”。

在另一个实施例中，文本中的要素为预定义的要素，例如预定义的关键词，所述预定义的要素可以是从知识库中预先存储的知识点中提取的关键词集合。在一个例子中，预定义的要素可以分为以下三个类别：“业务类型”、“框架动词”以及“问题类型”。例如，假定知识库中存储了“花呗还款失败”这个知识点，其中“花呗”、“还款”和“失败”就可以作为预定义要素/关键词。并且，在这个例子中，“花呗”可以归属于“业务类型”，“还款”可以归属于“框架动词”，“失败”可以归属于“问题类型”。需要说明的是，在该实施例中，“业务类型”是一个比较宽泛的类别，归属于该类别的预定义要素还可以包括：“账户”、“密码”、“余额宝”、“花呗”、“借呗”、“定期理财”等。归属于“框架动词”的预定义要素通常是知识点中最核心的动词或者动词短语，如，可以为：“登录”、“忘记”、“支付”、“还款”、“借款”等。归属于“问题类型”可以为：“什么”、“何时”、“何地”、“是否”、“失败”、“什么意思”等。在这样的情况下，输入文本在多个类别的标定要素即为以上三个类别(“业务类型”、“框架动词”以及“问题类型”)下的预定义要素。例如，对于输入文本“花呗能不能分期？”，其在以上三个类别下的预定义要素可以标定为：“业务类型”为“花呗”，“框架动词”为“分期”，“问题类型”为“能不能”。在一个实施例中，以上所述的知识点的内容也可以作为用于训练模型的输入文本存储在语料库中。需要说明的是，允许有些输入文本的要素不全，也就是不存在某个类别下的要素，例如只有业务类型和框架动词而没有问题类型，或只有框架动词和问题类型而没有业务类型等。

可以理解，本领域技术人员在阅读本说明书的情况下，还可以对文本要素以及要素的类别进行其他设定。这些设定都应认为涵盖在本发明构思之内。

获取的输入文本用于多要素识别模型的训练。为了便于作为多要素模型的输入参数，在一个实施例中，在步骤S21，从所述输入文本中提取出一系列文本特征。在一个例子中，上述文本特征为输入文本中包含的词。这样的文本特征可以作为多要素识别模型的输入。

基于这样的输入，在步骤S22，利用多要素识别模型，确定所述输入文本在各个类别的备选要素及其对应的概率值。在一个实施例中，多要素识别模型为机器学习模型，该机器学习模型基于输入的文本特征，通过一些逻辑算法，对输入文本进行分析，输出上述输入文本在多个类别下的备选要素及其对应的概率值。在一个实施例中，上述多要素识别模型为神经网络模型，通过多层次、非线性的算法，确定出输入文本在各个类别下的备选要素和对应的概率值。

在一个示例中，多要素识别模型采用卷积神经网络(Convolution NeuralNetwork)CNN模型。根据CNN网络模型，输入文本的文本特征中的词作为向量元素构成一个词向量，该词向量可以作为CNN网络的输入。获取到这样的词向量之后，CNN算法对词向量进行过滤、卷积以及池化处理，再输入到神经网络的隐藏层进行进一步分析。

在一个示例中，多要素识别模型还采用长短期记忆LSTM(Long Short-TermMemory)网络模型。LSTM网络模型是一种时间递归神经网络，可以对输入的不必要的干扰信息进行判断和屏蔽。根据LSTM网络模型，可以将输入文本中的词作为一个有先后顺序的序列，将该序列作为LSTM网络的输入。LSTM网络对词序列进行时间递归处理，再输入到神经网络的隐藏层进行进一步分析。

可以理解，上述多要素识别模型还可以采用其他的、更多的算法模型，或者算法模型的结合，在此不做限定。

在一个实施例中，训练方法还包括，获取与所述输入文本有关的用户状态，并将用户状态也作为所述多要素识别模型的输入。例如，在输入文本是关于花呗还款的情况下，可以获取的用户状态例如包括，是否通过实人认证，余额宝是否开通，花呗还款是否逾期等等可能与输入文本有关的因素。这些因素有可能对输入文本的要素确定提供线索，具有辅助意义。因此，相应地，在步骤S22，多要素识别模型还根据所述用户状态来确定输入文本在各个类别下的备选要素及其对应概率值。更具体地，可以从所述用户状态中提取出一系列状态特征作为所述多要素识别模型的输入。多要素识别模型进一步参考和分析所述状态特征，确定输入文本在各个类别下的备选要素和对应概率值。

在一个实施例中，训练方法还包括，获取与所述输入文本有关的用户历史记录，并将所述历史记录也作为所述多要素识别模型的输入。用户历史记录可以包括，用户的行为记录(例如执行了什么样的操作)和服务记录(例如请求了什么样的服务)。例如，在输入文本是关于花呗还款的情况下，可以获取的用户行为记录例如包括，在x月x日实施了银行卡转账，在x点x分点击了花呗还款的按钮等，用户的服务记录例如包括，之前是否向客服提交了在线咨询问题，问题内容等。用户的行为记录和/或服务记录可以作为输入文本发生的背景，帮助模型“理解”输入文本的要素。因此，相应地，在步骤S22，多要素识别模型还根据所述行为记录和/或服务记录来确定输入文本在各个类别下的备选要素及其对应概率值。更具体地，可以从所述行为记录中提取出行为特征，从服务记录中提取出服务特征，作为所述多要素识别模型的输入。多要素识别模型进一步参考和分析所述服务特征和/或行为特征，确定输入文本在各个类别下的备选要素和对应概率值。

图3示出根据一个实施例的多要素识别模型的示意图。示意图左侧为多要素识别模型的输入，右侧为多要素识别模型的输出。如图3所示，多要素识别模型的输入至少包括，基于输入文本提取的文本特征。在图3的示例中，多要素识别模型包括了卷积神经网络CNN模型。相应地，由文本特征中的词W1,W2,Wi,…Wn构成的词向量V被输入到该CNN网络模型。CNN网络模型对词向量V进行过滤、卷积以及池化处理，然后输入到神经网络的隐藏层。在该示例中，多要素识别模型还采用长短期记忆LSTM网络。相应地，由文本特征中的词构成的序列(W1,W2,Wi,…Wn)被输入到该LSTM网络。LSTM网络对词序列进行时间递归处理，然后输入到神经网络的隐藏层进行进一步分析。

如图3所示，多要素识别模型的输入还包括基于用户状态确定的状态特征f1，f2,…fn。这些状态特征被输入到神经网络的隐藏层进行分析。可以理解，也可以在输入到隐藏层之前采用一些模型算法对该状态特征进行预分析和预处理。

多要素识别模型的输入还可以包括基于用户的行为记录确定的行为特征，该行为特征可以表示为具有时间先后顺序的一个序列B1,B2,…Bn，其中Bi表示用户的某项操作行为。该行为特征序列可以输入到多要素识别模型的隐藏层进行分析。或者，如图3所示，可以采用LSTM网络首先对该序列进行时间递归处理，然后输入到隐藏层。

此外，多要素识别模型的输入还可以包括基于用户的服务记录确定的服务特征，该服务特征可以表示为具有时间先后顺序的一个序列S1,S2,…Sn，其中Si表示用户进行的某项服务。类似地，可以采用LSTM网络首先对该服务特征序列进行时间递归处理，然后输入到隐藏层进行进一步分析。

尽管图3示出了2层隐藏层的网络模型，但是可以理解，多要素识别模型可以包含更多或更少的隐藏层。隐藏层之间的连线示出在隐藏层之间传递的中间结果、函数、参数等。

经过对输入的文本特征以及可选的其他特征的分析和计算，多要素识别模型可以输出其识别结果，即输入文本在多个类别下的备选要素及其对应的概率值。图3示意性示出了输出的三类备选要素，类别A为业务类型，类别B为框架动词，类别C为问题类型。在每一类别下，多要素识别模型输出多个可能作为结果的识别要素，即备选要素，以及该备选要素作为结果的概率值。例如，对于输入文本“花呗能不能分期？”，多要素识别模型有可能确定出，该输入文本在“框架动词”类别下的备选要素包括：“还款”，“分期”，“借款”，三个备选要素对应的概率值分别为30％，60％和10％。

可以理解，对于每一类别，各个备选要素对应的概率值的和为1。因此，如果要识别n个类别的要素，多要素识别模型输出的所有备选要素的概率值的总和即为n。尽管图3示出了三个类别的例子，但是可以理解，多要素识别模型也可以适用于更多或更少类别的要素识别。

基于如上所述确定的各个类别的备选要素及其对应的概率值，以及在S21获取的输入文本在各个类别的已标定要素，执行步骤S23，确定各个类别下的损失函数。

可以理解，步骤S21获取的已标定要素可以作为要素识别的“标准答案”，而损失函数用于衡量要素识别结果与真实结果之间的偏差。因此，可以通过将备选要素与标定要素进行比对的方式确定损失函数。具体地，在一个实施例中，确定各个类别的损失函数包括，根据某个类别下的已标定要素确定该类别下各个备选要素的概率标定值，基于各个备选要素的概率值与所述概率标定值之间的差值确定该类别的损失函数。

例如，对于输入文本“花呗能不能分期？”，假设多要素识别模型确定在“框架动词”类别下的备选要素包括：L1“还款”，L2“分期”，L3“借款”，三个备选要素对应的概率值分别为20％，70％和10％。另外假设该输入文本在“框架动词”类别下的标定要素为“分期”。根据一个实施例的方法，由于已标定要素为“分期”，那么就意味着，在标定情况下，“分期”的概率值应为1，其他备选要素的概率值为0。也就是说，3个备选要素的概率标定值分别为“还款”0％，“分期”100％，“借款”0％。因此，三个备选要素的概率值与概率标定值之间的差值分别为20％，30％，10％。在一个实施例中，可以简单地对以上差值求和，得出该类别下的损失函数，例如为60％。在另一实施例中，还可以通过平方和、均方差等方式，基于这些差值，确定损失函数。

在如此确定各个类别下的损失函数的基础上，在步骤S24，基于所述各个类别的损失函数确定总损失函数。在一个实施例中，将各个类别的损失函数求和，作为总损失函数。在另一实施例中，为不同类别的损失函数分配不同的权重，通过加权求和的方式确定总损失函数。在这样的情况下，可以使得总损失函数更侧重于反映权重较大的类别下的损失情况。本领域技术人员还可以采用更多算法，对各类别下的损失函数进行融合，得到总损失函数。

接着，在步骤S25，基于总损失函数，更新多要素识别模型。可以理解，在训练机器学习模型的过程中，需要将模型的输出结果与理想结果的差异作为反馈，不断调整模型中的参数，以使得模型的输出结果不断逼近甚至达到理想结果。对于多要素识别模型来说亦是如此。如前所述，多要素识别模型包含多个隐藏层，其中涉及大量的算法、函数、参数等。在步骤S25，根据总损失函数，相应地调整多要素识别模型中的至少部分函数和/或参数。更具体地，在该步骤中，对总损失函数进行求导，采用梯度传递来更新多要素识别模型中的参数。

可以理解，在更新多要素识别模型之后，反复执行步骤S21-S25，用更新的模型再次对已标定的输入文本进行识别，然后根据识别结果进行进一步更新，直到识别出的各个类别的要素逼近甚至达到输入文本的标定要素。在不断逼近的过程中，总损失函数也会相应地逐步降低，直到低至预定范围之内，可以认为模型训练完成。

通过以上的方法，训练出多要素识别模型，该模型能够一次性地、整体地对输入文本在多个类别下的要素进行识别。相比于单独训练识别单一类别要素的单一模型，效率得到很大提高。并且，由于各个类别下的要素之间可能存在关联，因此，如此训练得到的多要素识别模型还使得识别的准确率大幅提升。

基于如上方法训练得到的多要素识别模型，说明书的实施例还提供一种识别用户对话文本中的要素的方法。图4示出根据一个实施例的识别用户对话文本中的要素的方法流程图。如图4所示，该方法包括：步骤S41，获取用户的对话文本；步骤S42，将所述对话文本输入多要素识别模型，使其输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值，其中所述多要素识别模型是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练；以及步骤S43，根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素。下面描述以上各个步骤的具体执行方式。

首先在步骤S41，获取用户的对话文本。此处的对话文本可以为任一能表述用户想要问的问题的文字。在一个实施例中，用户通过在线方式接入系统，直接输入对话文本。在另一实施例中，用户通过热线电话等方式接入系统，进行语音通话。在这样的情况下，可以通过语音识别方式，将用户的语音转换为文本，由此获得用户的对话文本。

接着，在步骤S42，将所述对话文本输入多要素识别模型，使其输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值。该步骤中的多要素识别模型即为通过图2的方法训练得到的模型，换而言之，是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练得到的模型。可以理解，如此训练得到的多要素识别模型可以用于对对话文本进行分析，输出该对话文本在多个类别中的各个类别的备选要素及其对应的概率值。

在一个实施例中，上述多个类别的要素为预定义的要素，例如预定义的关键词，所述预定义的要素可以是从知识库中预先存储的知识点中提取的关键词集合。例如，预定义的要素可以分为以下三个类别：“业务类型”、“框架动词”以及“问题类型”。不过可以理解，也可以对要素内容及其类别进行其他规定，本说明书的实施例对此不作限定。

在一个实施例中，步骤S42包括，从对话文本中提取出文本特征作为多要素识别模型的输入。在一个例子中，上述文本特征为对话文本中包含的词。

在一个示例中，所述多要素识别模型包括卷积神经网络CNN模型。相应地，在步骤S42，以所述文本特征中的词作为向量元素构成一个词向量，将该词向量可以作为CNN网络的输入，从而使得CNN网络对词向量进行过滤、卷积、池化等处理。

在一个示例中，多要素识别模型还包括长短期记忆LSTM网络模型。相应地，在步骤S42，将文本特征中的词作为一个有先后顺序的词序列，将该词序列作为LSTM网络的输入，从而使得LSTM网络对词序列进行时间递归处理。

在一个实施例中，多要素识别模型被训练为参考用户状态确定各类别的要素。相应地，图4的识别方法还包括，获取所述用户的用户状态，并将用户状态也作为所述多要素识别模型的输入。所述用户状态例如包括，是否通过实人认证，余额宝是否开通，花呗还款是否逾期等等可能与用户的对话文本的因素。具体地，可以从所述用户状态中提取出一系列状态特征作为所述多要素识别模型的输入，使得多要素识别模型进一步参考和分析所述状态特征，来确定对话文本在各个类别下的备选要素和对应概率值。

在一个实施例中，多要素识别模型被训练为参考用户历史记录确定各类别的要素。相应地，图4的识别方法还包括，获取所述用户的用户历史记录，并将所述历史记录也作为所述多要素识别模型的输入。用户历史记录可以包括用户的行为记录，例如执行了什么样的操作，比如，在x月x日实施了银行卡转账，在x点x分点击了花呗还款的按钮等。用户历史记录还可以包括服务记录，例如请求了什么样的服务，比如，之前是否向客服提交了在线咨询问题，问题内容等。相应地，可以从所述行为记录中提取出行为特征，从服务记录中提取出服务特征，作为多要素识别模型的输入，使得所述多要素识别模型进一步参考和分析所述服务特征和/或行为特征，来确定用户的对话文本在各个类别下的备选要素和对应概率值。

根据多要素识别模型的训练过程，还可以向其输入其他的或更多的特征，用以辅助确定对话文本的各类别下的要素。相应地，多要素识别模型根据输入的文本特征和可选地其他特征，输出对话文本在各个类别下的备选要素及其对应的概率值。

表1示出根据一个具体例子多要素识别模型的输出结果。在该例子中，多要素识别模型针对对话文本“花呗能不能分期？”输出其在三个类别下的备选要素及其概率值。

表1

根据所述多要素识别模型输出的备选要素及其对应的概率值，在步骤S43，确定对话文本在各个类别的要素。

在一个实施例中，将每个类别下概率值最高的备选要素确定为该类别的要素。如此，可以在每个类别下唯一确定出一个要素。例如，对于表1示出的识别结果，可以确定三个类别下的要素分别为：“花呗”，“分期”，“行不行”。

在另一实施例中，预先设定概率的阈值，将概率值高于该阈值的备选要素确定为对应类别下的要素。例如，将阈值设定为0.7，那么确定出的要素为：“花呗”和“分期”。根据该方式，有可能有些类别下出现要素空缺的情况，例如该例子中“问题类型”出现要素空缺。通常，阈值的设定与要素分类时的规则相一致。在一些规则下，允许出现要素不全的情况。

在另一实施例中，为不同类别设定不同的阈值，例如，将业务类型和框架动词的概率阈值设定为0.7，将问题类型的概率阈值设定为0.6。如此，对于表1所示的识别结果，可以确定出三个类别下的要素分别为：“花呗”，“分期”，“行不行”。

可以理解，还可以采用其他方式根据识别结果确定对话文本在各个类别的要素。确定出的要素可以用于进一步的分析，例如语义分析，意图识别，交互模式分析等。

在一个实施例中，方法还可以包括，根据对话文本在各个类别的要素，来识别用户意图。这可以包括，将识别出的要素与预先形成的知识库中的知识点匹配，利用知识点标识用户意图。所述方法还可以包括利用识别出的要素对对话文本进行的其他进一步分析。

根据以上所述的方法，利用训练的多要素识别模型，从用户的对话文本中一次性地整体识别出多个类别下的要素。相比于每次利用一个模型识别一个类别要素的方式，效率得到极大提升。此外，由于不同类别的要素之间可能存在关联，整体识别多要素的方式在识别准确性上也得到提高。例如，对于识别文本三个类别的要素的情况，经过模拟和统计，在利用单一模型识别单一类别的要素的情况下，准确率大约为84％。而利用类似的识别算法，对三个类别的要素进行整体训练得到的多要素识别模型，识别准确率约为91％。由此可见，多要素识别模型在识别效率和准确度上都有明显提高。

根据另一方面的实施例，还提供训练多要素识别模型的装置。图5示出根据一个实施例的训练装置的示意性框图。如图5所示，用于训练多要素识别模型的装置50包括：文本获取单元51，配置为获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素；要素确定单元52，配置为利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值；第一确定单元53，配置为基于各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；第二确定单元54，配置为基于所述各个类别的损失函数确定总损失函数；以及更新单元55，配置为基于所述总损失函数，更新所述多要素识别模型。

在一个实施例中，所述文本获取单元51还配置为：从所述输入文本中提取文本特征，所述文本特征包括所述输入文本中的词。

根据一个实施例，所述多要素识别模型包括卷积神经网络CNN模型。相应地，所述要素确定单元52配置为：采用所述CNN模型，对所述文本特征中的词构成的词向量进行过滤、卷积以及池化处理。

根据一个实施例，多要素识别模型包括长短期记忆LSTM模型。相应地，所述要素确定单元52配置为：采用所述LSTM模型，对所述文本特征中的词构成的词序列进行时间递归处理。

在一个实施例中，装置50还包括状态获取单元(未示出)，配置为获取与所述输入文本有关的用户状态，从所述用户状态中提取出状态特征。相应地，要素确定单元52配置为：将所述状态特征作为所述多要素识别模型的输入，根据所述状态特征确定所述输入文本在各个类别下的备选要素及其对应概率值。

在一个实施例中，装置50还包括记录获取单元(未示出)，配置为获取与所述输入文本有关的用户的行为记录和服务记录，从所述行为记录和服务记录中分别提取出行为特征和服务特征。相应地，要素确定单元52配置为：将所述行为特征和所述服务特征作为所述多要素识别模型的输入，根据所述行为特征和所述服务特征确定所述输入文本在各个类别下的备选要素及其对应概率值。

在一个实施例中，第一确定单元53配置为：根据某个类别下的已标定要素确定该类别下各个备选要素的概率标定值；基于各个备选要素的概率值与所述概率标定值之间的差值确定该类别的损失函数。

根据一个实施例，第二确定单元54配置为：为各个类别的损失函数分配对应的权重，通过对所述各个类别的损失函数加权求和，确定总损失函数。

根据一个实施例，更新单元55配置为：对所述总损失函数进行求导，采用梯度传递来更新多要素识别模型中的参数。

根据又一方面的实施例，还提供识别用户对话文本中的要素的装置。图6示出根据一个实施例的识别装置的示意性框图。如图6所示，用于识别用户对话文本中的要素的装置60包括：文本获取单元61，配置为获取用户的对话文本；识别单元62，配置为将所述对话文本输入多要素识别模型，使其输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值，其中所述多要素识别模型是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练；确定单元63，配置为根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素。

在一个实施例中，所述多要素识别模型通过图2所示的方法训练；或者，利用图5所示的装置训练。具体而言，所述多要素识别模型通过以下方式训练得到：获取输入文本，以及所述输入文本在所述多个类别中的各个类别的已标定要素；利用所述多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值；基于所述输入文本在各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；基于所述各个类别的损失函数确定总损失函数；基于所述总损失函数，更新所述多要素识别模型。

在一个实施例中，上述获取单元61配置为：从所述对话文本中提取文本特征，所述文本特征包括所述对话文本中的词。

根据一个实施例，所述多要素识别模型包括卷积神经网络CNN模型。相应地，所述识别单元62配置为：将所述文本特征输入所述CNN模型，使其对所述文本特征中的词构成的词向量进行过滤、卷积以及池化处理。

根据一个实施例，所述多要素识别模型包括长短期记忆LSTM模型。相应地，所述识别单元62配置为：将所述文本特征输入所述LSTM模型，使其对所述文本特征中的词构成的词序列进行时间递归处理。

根据一个实施例，装置60还包括状态获取单元(未示出)，配置为获取所述用户的用户状态，从所述用户状态中提取出状态特征。相应地，所述识别单元62配置为，将所述状态特征输入所述多要素识别模型，使其根据所述状态特征输出所述对话文本在各个类别下的备选要素及其对应概率值。

根据一个实施例，装置60还包括记录获取单元(未示出)，配置为获取所述用户的行为记录和服务记录，从所述行为记录和服务记录中分别提取出行为特征和服务特征。相应地，所述识别单元62配置为，将所述行为特征和所述服务特征输入所述多要素识别模型，使其根据所述行为特征和所述服务特征确定所述对话文本在各个类别下的备选要素及其对应概率值。

在一个实施例中，所述确定单元63配置为：将每个类别下概率值最高的备选要素确定为该类别的要素。

在另一实施例中，所述确定单元63配置为：将概率值高于预定阈值的备选要素确定为对应类别下的要素。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法，和/或结合图4所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法，和/或结合图4所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

1.一种训练多要素识别模型的方法，包括：

获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素；所述输入文本中的要素为预定义的要素，所述预定义的要素是从知识库中预先存储的知识点中提取的关键词集合；

获取与所述输入文本有关的用户状态，从所述用户状态中提取出状态特征；

将所述输入文本和所述状态特征作为多要素识别模型的输入，根据所述状态特征，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值，其中所述状态特征被输入到所述多要素识别模型的隐藏层进行分析；

基于各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；

基于所述各个类别的损失函数确定总损失函数；

基于所述总损失函数，更新所述多要素识别模型。

2.根据权利要求1所述的方法，其中所述获取输入文本包括：从所述输入文本中提取文本特征，所述文本特征包括所述输入文本中的词。

3.根据权利要求2所述的方法，其中所述多要素识别模型包括卷积神经网络CNN模型，

所述利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值包括：

采用所述CNN模型，对所述文本特征中的词构成的词向量进行过滤、卷积以及池化处理。

4.根据权利要求3所述的方法，其中所述多要素识别模型包括长短期记忆LSTM模型，

所述利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值包括：

采用所述LSTM模型，对所述文本特征中的词构成的词序列进行时间递归处理。

5.根据权利要求1所述的方法，还包括：

获取与所述输入文本有关的用户的行为记录和/或服务记录，从所述行为记录和/或服务记录中分别提取出行为特征和/或服务特征；

所述利用多要素识别模型，确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值包括：

将所述行为特征和/或所述服务特征作为所述多要素识别模型的输入，根据所述行为特征和/或所述服务特征确定所述输入文本在各个类别下的备选要素及其对应概率值。

6.根据权利要求1所述的方法，其中所述基于各个类别的损失函数确定总损失函数包括：

为各个类别的损失函数分配对应的权重，

通过对所述各个类别的损失函数加权求和，确定总损失函数。

7.一种识别用户对话文本中的要素的方法，该方法基于权利要求1至6任一项方法得到的多要素识别模型来识别所述要素，该方法包括：

获取用户的对话文本；

获取所述用户的用户状态，从所述用户状态中提取出状态特征；

将所述对话文本和所述状态特征输入多要素识别模型，使其根据所述状态特征输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值，其中所述多要素识别模型是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练；

根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素。

8.根据权利要求7所述的方法，还包括：

获取所述用户的行为记录和/或服务记录，从所述行为记录和/或服务记录中分别提取出行为特征和/或服务特征；

将所述行为特征和/或所述服务特征输入所述多要素识别模型，使其根据所述行为特征和/或所述服务特征确定所述对话文本在各个类别下的备选要素及其对应概率值。

9.根据权利要求7所述的方法，其中，根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素包括：

将每个类别下概率值最高的备选要素确定为该类别的要素；或者

将概率值高于预定阈值的备选要素确定为对应类别下的要素。

10.一种训练多要素识别模型的装置，包括：

文本获取单元，配置为获取输入文本，以及所述输入文本在多个类别中的各个类别的已标定要素；所述输入文本中的要素为预定义的要素，所述预定义的要素是从知识库中预先存储的知识点中提取的关键词集合；

状态获取单元，配置为获取与所述输入文本有关的用户状态，从所述用户状态中提取出状态特征；

要素确定单元，配置为将所述输入文本和所述状态特征作为多要素识别模型的输入，根据所述状态特征确定所述输入文本在所述多个类别中的各个类别的备选要素及其对应的概率值，其中所述状态特征被输入到所述多要素识别模型的隐藏层进行分析；

第一确定单元，配置为基于各个类别的备选要素及其对应的概率值，以及所述各个类别的已标定要素，确定各个类别的损失函数；

第二确定单元，配置为基于所述各个类别的损失函数确定总损失函数；

更新单元，配置为基于所述总损失函数，更新所述多要素识别模型。

11.根据权利要求10所述的装置，其中所述文本获取单元配置为：从所述输入文本中提取文本特征，所述文本特征包括所述输入文本中的词。

12.根据权利要求11所述的装置，其中所述多要素识别模型包括卷积神经网络CNN模型，

所述要素确定单元配置为：

采用所述CNN模型，对所述文本特征中的词构成的词向量进行过滤、卷积以及池化处理。

13.根据权利要求12所述的装置，其中所述多要素识别模型包括长短期记忆LSTM模型，

所述要素确定单元配置为：

采用所述LSTM模型，对所述文本特征中的词构成的词序列进行时间递归处理。

14.根据权利要求10所述的装置，还包括：

记录获取单元，配置为获取与所述输入文本有关的用户的行为记录和/或服务记录，从所述行为记录和/或服务记录中分别提取出行为特征和/或服务特征；

所述要素确定单元配置为：

将所述行为特征和/或所述服务特征作为所述多要素识别模型的输入，根据所述行为特征和/或所述服务特征确定所述输入文本在各个类别下的备选要素及其对应概率值。

15.根据权利要求10所述的装置，其中所述第二确定单元配置为：

为各个类别的损失函数分配对应的权重，

通过对所述各个类别的损失函数加权求和，确定总损失函数。

16.一种识别用户对话文本中的要素的装置，该装置基于权利要求10至15任一项装置得到的多要素识别模型来识别所述要素，其特征在于，包括：

文本获取单元，配置为获取用户的对话文本；

状态获取单元，配置为获取所述用户的用户状态，从所述用户状态中提取出状态特征；

识别单元，配置为将所述对话文本和所述状态特征输入多要素识别模型，使其根据所述状态特征输出所述对话文本在多个类别中的各个类别的备选要素及其对应的概率值，其中所述多要素识别模型是基于训练过程中的识别结果在所述多个类别下的总损失函数而训练；

确定单元，配置为根据所述各个类别的备选要素及其对应的概率值，确定所述对话文本在各个类别的要素。

17.根据权利要求16所述的装置，还包括：

记录获取单元，配置为获取所述用户的行为记录和/或服务记录，从所述行为记录和/或服务记录中分别提取出行为特征和/或服务特征；

所述识别单元配置为，将所述行为特征和/或所述服务特征输入所述多要素识别模型，使其根据所述行为特征和/或所述服务特征确定所述对话文本在各个类别下的备选要素及其对应概率值。

18.根据权利要求17所述的装置，其中，所述确定单元配置为：

将每个类别下概率值最高的备选要素确定为该类别的要素；或者

将概率值高于预定阈值的备选要素确定为对应类别下的要素。

19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项的所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求7-9中任一项的所述的方法。

21.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的方法。

22.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求7-9中任一项所述的方法。

Images