CN111930921A - 意图预测的方法及装置 - Google Patents

Abstract

本发明公开了一种意图预测的方法及装置，所述方法包括根据用户输入的对话信息，生成预测所需的数据，将数据输入到相似度模型得到对话信息对应的预测意图及预测意图的相似度；当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，第一阈值小于第二阈值；当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。本发明是为了快速且准确地根据对话信息识别出对应的意图。

Description

意图预测的方法及装置

技术领域

本申请涉及物流技术领域，具体而言，涉及一种意图预测的方法及装置。

背景技术

随着人工智能技术的发展，智能对话系统已经应用在越来越多的电子设备中，如手机、智能助手、智能音箱、智能车载设备、智能机器人等。智能对话系统为客户提供了一种利用机器进行对话的交互方式，与传统人工对话方式相比，大幅减少了客服人员的工作量。在与机器的通过对话进行交互的过程中，准确识别客户话语背后的意图是对话流程正确执行的关键。如果意图识别有误，机器会出现答非所问或者执行错误指令的情况。通常，意图识别的作用是用来识别客户咨询的问题属于具体哪一个或哪一类问题，然后根据确定的问题进行对应的答复。但是在真实场景中，存在客户的问题可能会比较模糊甚至客户自己都不知道如何准确描述的问题，在此情况下，目前的意图识别的模型意图预测准确度不高，无法准确地对意图进行预测。因此，如何快速且准确地根据对话信息识别出对应的意图就成了当前亟待解决的问题。

发明内容

本申请的主要目的在于提供一种意图预测的方法及装置，以快速且准确地根据对话信息识别出对应的意图。

为了实现上述目的，根据本申请的第一方面，提供了一种意图预测的方法。

根据本申请的意图预测的方法包括：

根据用户输入的对话信息，生成预测所需的数据，将所述数据输入到相似度模型得到所述对话信息对应的预测意图及预测意图的相似度；

当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；

当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，所述第一阈值小于所述第二阈值；

当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将所述数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。

可选的，所述方法还包括：

确定相似度模型的预测准确率；

根据所述预测准确率动态地调整所述第二阈值。

可选的，根据所述预测准确率动态地调整所述第二阈值的原则包括：

第二阈值在其取值范围内随相似度模型的预测准确率的升高而提高。

可选的，所述方法还包括：

根据新的对话信息及其对应的意图，对所述相似度模型进行反馈更新。

可选的，所述第一阈值和所述第二阈值的取值范围为大于0且小于1；所述预测意图的相似度的取值范围为大于或等于0且小于或等于1。

可选的，所述第一阈值的取值范围为大于或等于0.1且小于或等于0.4；所述第二阈值的取值范围为大于或等于0.5且小于或等于0.9。

为了实现上述目的，根据本申请的第二方面，提供了一种意图预测的装置。

根据本申请的意图预测的装置包括：

预处理单元，用于将对话信息进行向量化预处理，生成预测所需的数据；

相似度模型预测单元，用于将所述预处理单元得到的所述数据输入到相似度模型得到所述对话信息对应的预测意图及预测意图的相似度；

预测意图答复单元，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；

无意图答复单元，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，所述第一阈值小于所述第二阈值；

分类模型预测单元，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将所述数据输入到分类模型进行二次预测；

分类模型预测输出单元，用于根据分类模型预测单元中分类模型的输出结果，将意图的答复信息或询问信息进行输出。

为了实现上述目的，根据本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中任意一项所述的意图预测的方法。

为了实现上述目的，根据本申请的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面中任意一项所述的意图预测的方法。

在本发明中，意图预测的方法及装置中，根据用户输入的对话信息，生成预测所需的数据，将数据输入到相似度模型得到对话信息对应的预测意图及预测意图的相似度；当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，第一阈值小于第二阈值；当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。本申请中，利用相似度模型预测过程快、训练时间短等特点，同时通过阈值比较，只选取相似度较高的预测结果进行直接输出。另外，对于相似度居中的预测结果，为了避免相似度模型预测不准确的情况出现，则选择利用准确率更高的分类模型进行预测，保证预测结果准确性，这种利用相似度选择预测模型的方式也避免了分类模型训练时间长、预测时间长的缺点。同时，即使没有大量的训练数据，也能够得到很好的预测效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种意图预测的方法流程图；

图2是根据本申请实施例提供的一种意图预测的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种意图预测的方法，如图1所示，该方法包括如下的步骤：

S101.根据用户输入的对话信息，生成预测所需的数据，将数据输入到相似度模型得到对话信息对应的预测意图及预测意图的相似度。

其中，相似度模型是提前根据历史的对话数据集及意图数据集对预设相似度模型进行训练得到的。预设相似度模型可以为annoy模型，或faiss模型，或其他能够计算相似度的模型。另外，对于如何训练并得到相似度模型这里不做限定，利用现有方式进行训练后得到的相似度模型均可。相似度模型的输入为对话信息对应的预测所需的数据（符合相似度模型以及后续的分类模型的输入需求的数据），输出为对话信息对应的预测意图及预测意图的相似度。当智能对话系统或意图识别装置等在收到用户输入的对话信息后，将对话信息进行预处理得到相似度模型预测所需的数据，然后将数据输入到相似度模型中，得到对话信息对应的预测意图以及预测意图的相似度。

预测意图是意图数据集中的意图。由于相似度模型的特性，其不仅能够预测得到预测意图，还能够得到与预测意图对应的相似度，现有的相似度结果可以通过多种形式表示，如距离（欧氏距离、马氏距离等），系数（Jaccard相似系数等）等表示方式，但是这些表示方式都可以转化为数值范围在[0,1]的相似度，且数值越小则相似度越高，转换方法利用现有方法即可，这里不再赘述。相似度为与意图数据集中的意图对应的相似度。

S102.当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出。

由于步骤S101中已经得到了预测意图的相似度，因此可以将预测意图的相似度与第一阈值进行比较，若预测意图的相似度小于第一阈值，则可以将预测意图的答复信息进行输出，从而使用户在输入对话信息后得到这个答复信息。

需要说明的是，意图数据集中的每一个意图都可以设置对应的答复信息，如意图为“人工客服服务时间咨询”的答复信息可以为“人工客服服务时间为8:00-20:00”。加之相似度模型的预测结果（即预测意图）为意图数据集中意图，因此可以将与意图对应的答复信息作为预测意图的答复信息进行输出，使用户得到该答复信息。第一阈值的取值范围在0至1之间。在实际应用中，优选的，第一阈值的取值范围为[0.1，0.4]，其中当第一阈值取0.2或0.3时为更优选择。

S103.当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出。

由于步骤S101中已经得到了预测意图的相似度，因此可以将预测意图的相似度与第二阈值进行比较，若预测意图的相似度大于第二阈值，则可以将无意图的答复信息进行输出，从而使用户在输入对话信息后得到这个答复信息。

需要说明的是，由于预测意图的相似度大于第二阈值，则在一定程度上说明该预测结果可能不尽如人意，或与意图数据集中的任何一个意图都不相似，乃至意图数据集中不存在与用户的实际意图相对应的意图，因此可以按照无意图的答复信息进行输出。这里无意图的答复信息可以人为提前设置好，如“请重新输入”，或“请进一步描述您需要咨询的事项”，或“尚未了解您希望咨询的事项，请更加详细地进行描述”，或“无法解答您提出的问题”等等。

需要说明的是，第二阈值的取值范围在0至1之间，且大于第一阈值。在实际应用中，优选的，第二阈值的取值范围为[0.5，0.9]，其中当第二阈值为0.7或0.8时为更优选择。

S104.当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。

由于步骤S101中已经得到了预测意图的相似度，因此可以将预测意图的相似度与第一阈值及第二阈值进行比较，若预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，则可以将步骤S101中生成的预测所需的数据输入到分类模型中，由分类模型进行二次预测，得到第二意图（为了区分，将相似度模型预测得到的预测意图记作第一意图，将分类模型预测得到的预测意图记作第二意图），并将第二意图对应的回复信息进行输出，使用户得到该回复信息。第二意图为意图数据集中的意图，意图数据集中的每个意图都设置了对应的答复信息，因此可以将与第二意图对应的答复信息输出。

需要说明的是，分类模型也应当是在进行预测之前就已经准备好或训练好。具体的分类模型在训练过程中是利用已有的对话数据集及意图数据集对预设分类模型进行训练，这些数据集是在训练前就已经准备好的，预设分类模型可以为文本算法分类模型-TextCNN模型，或支持向量机分类模型-SVM模型，或其他可以进行分类的模型。另外，对于如何训练并得到分类模型这里不做限定，利用现有方式进行训练后得到的分类模型均可。除此以外，利用分类模型预测得到的第二意图则为意图数据集中的意图。另外，相似度模型和分类模型所使用的训练数据是一样的，同时，在进行预测时，预测所需的数据也是一样的。

从以上的描述中，可以看出，本申请实施例的意图预测的方法中，根据用户输入的对话信息，生成预测所需的数据，将数据输入到相似度模型得到对话信息对应的预测意图及预测意图的相似度；当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，第一阈值小于第二阈值；当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。可以看出，本申请中，利用相似度模型预测过程快、训练时间短等特点，同时通过阈值比较，只选取相似度较高的预测结果进行直接输出。另外，对于相似度居中的预测结果，为了避免相似度模型预测不准确的情况出现，则选择利用准确率更高的分类模型进行预测，保证预测结果准确性，这种利用相似度选择预测模型的方式也避免了分类模型训练时间长、预测时间长的缺点。同时，即使没有大量的训练数据，也能够得到很好地预测效果。

进一步的，作为上述实施例的进一步的补充和细化：

上述实施例中“根据用户输入的对话信息，生成预测所需的数据”具体还包括：

将对话信息进行向量化预处理，得到与对话信息对应的句向量，具体的预处理方式可以为：利用bert模型(Bidirectional Encoder Representations from Transformers，bert)将对话信息转化成句向量，这样就可以达到根据用户输入的对话信息，生成预测所需的数据的目的。bert模型是Google提出的效果非常好的通用预训练语言表示模型，能够将文本中的词句转换为包含语义信息的向量。

当然，除了使用bert模型，还可以使用word2vec模型或seq2vec模型对对话信息进行预处理，得到与对话信息对应的句向量，来满足相似度模型和分类模型的输入需求。

进一步的，上述实施例中对于第二阈值的取值，可以动态调整，具体的调整方式为：

首先，确定相似度模型的预测准确率；

可以利用测试数据或历史数据等作为相似度模型的输入数据，进而得到相似度模型的预测准确率。

其次，根据预测准确率动态地调整第二阈值。

调整的原则为：若预测准确率越高，则第二阈值的取值越高，即第二阈值在其取值范围内随相似度模型的预测准确率升高而提高。

相似度模型可以将实时采集到的新的语料数据或对话数据作为训练数据，训练得到新的相似度模型（即对相似度模型进行不断地更新），根据新的相似度模型的预测准确率可以实时调整第二阈值，这样可以进一步的确保模型输出信息的准确率。另外，还需要说明的是，相似度模型训练速度快，利用此优势，可以更好的实现第二阈值的动态调整，进一步确保模型输出信息的准确率。

另外，分类模型也可以将实时采集到的新的语料数据或对话数据作为训练数据，训练得到新的分类模型（即对分类模型进行不断地更新）。

最后，对本申请的意图预测的方法的技术效果进行总结：

1、将相似度模型和分类模型进行结合进行意图的预测，并且根据相似度模型预测结果的相似度进行判断，进而确定是否需要利用分类模型进行预测；

2、利用相似度模型预测过程快、训练时间短等特点，在实际应用当中结合新采集到的语料可做到及时对相似度模型进行训练更新，同时通过阈值比较，只选取相似度较高的预测结果进行直接输出；

3、对于相似度居中的预测结果，为了避免相似度模型预测不准确的情况出现，则选择利用准确率更高的分类模型进行预测，保证预测结果准确性，这种利用相似度选择预测模型的方式也避免了分类模型训练时间长、预测时间长的缺点。同时，即使没有大量的训练数据，也能够得到很好地预测效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1方法的意图预测的装置，如图2所示，该装置包括：

预处理单元21，用于将对话信息进行向量化预处理，生成预测所需的数据；

相似度模型预测单元22，用于将所述预处理单元得到的所述数据输入到相似度模型得到所述对话信息对应的预测意图及预测意图的相似度；

预测意图答复单元23，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；

无意图答复单元24，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，所述第一阈值小于所述第二阈值；

分类模型预测单元25，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将所述数据输入到分类模型进行二次预测；

分类模型预测输出单元26，用于根据分类模型预测单元中分类模型的输出结果，将意图的答复信息或询问信息进行输出。

进一步的，意图预测的装置还包括：

阈值调整单元27，用于根据所述相似度模型的预测准确率动态地调整所述第二阈值。

从以上的描述中，可以看出，本申请实施例的意图预测的装置中，根据用户输入的对话信息，生成预测所需的数据，将数据输入到相似度模型得到对话信息对应的预测意图及预测意图的相似度；当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，第一阈值小于第二阈值；当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。可以看出，本申请中，利用相似度模型预测过程快、训练时间短等特点，同时通过阈值比较，只选取相似度较高的预测结果进行直接输出。另外，对于相似度居中的预测结果，为了避免相似度模型预测不准确的情况出现，则选择利用准确率更高的分类模型进行预测，保证预测结果准确性，这种利用相似度选择预测模型的方式也避免了分类模型训练时间长、预测时间长的缺点。同时，即使没有大量的训练数据，也能够得到很好地预测效果。

具体的，本申请实施例的装置中各单元、模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述方法实施例中的意图预测的方法。

根据本申请实施例，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述方法实施例中的意图预测的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种意图预测的方法，其特征在于，所述方法包括：

根据用户输入的对话信息，生成预测所需的数据，将所述数据输入到相似度模型得到所述对话信息对应的预测意图及预测意图的相似度；

当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；

当预测意图的相似度大于第二阈值时，将无意图的答复信息进行输出，其中，所述第一阈值小于所述第二阈值；

当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将所述数据输入到分类模型进行二次预测，根据分类模型的输出结果，将意图的答复信息或询问信息进行输出。

2.根据权利要求1所述的意图预测的方法，其特征在于，所述方法还包括：

确定相似度模型的预测准确率；

根据所述预测准确率动态地调整所述第二阈值。

3.根据权利要求2所述的意图预测的方法，其特征在于，根据所述预测准确率动态地调整所述第二阈值包括：

第二阈值在其取值范围内随相似度模型的预测准确率的升高而提高。

4.根据权利要求1所述的意图预测的方法，其特征在于，所述方法还包括：

根据新的对话信息及其对应的意图，对所述相似度模型进行反馈更新。

5.根据权利要求1所述的意图预测的方法，其特征在于，所述第一阈值和所述第二阈值的取值范围为大于0且小于1；所述预测意图的相似度的取值范围为大于或等于0且小于或等于1。

6.根据权利要求5所述的意图预测的方法，其特征在于，所述第一阈值的取值范围为大于或等于0.1且小于或等于0.4；所述第二阈值的取值范围为大于或等于0.5且小于或等于0.9。

7.一种使用如权利要求1-6任一所述方法的意图预测的装置，其特征在于，所述装置包括：

预处理单元，用于将对话信息进行向量化预处理，生成预测所需的数据；

相似度模型预测单元，用于将所述预处理单元得到的所述数据输入到相似度模型得到所述对话信息对应的预测意图及预测意图的相似度；

预测意图答复单元，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度小于第一阈值时，将预测意图的答复信息进行输出；

无意图答复单元，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度大于第二阈值时，则将无意图的答复信息进行输出，其中，所述第一阈值小于所述第二阈值；

分类模型预测单元，用于根据相似度模型预测单元的预测结果进行判断，当预测意图的相似度小于或等于第二阈值，且大于或等于第一阈值时，将所述数据输入到分类模型进行二次预测；

分类模型预测输出单元，用于根据分类模型预测单元中分类模型的输出结果，将意图的答复信息或询问信息进行输出。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6任意一项所述的意图预测的方法。

9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任意一项所述的意图预测的方法。

Images