CN115688758A

CN115688758A - 一种语句意图识别方法、装置和存储介质

Info

Publication number: CN115688758A
Application number: CN202211366403.9A
Authority: CN
Inventors: 吴寅延
Original assignee: Shenzhen Ideamake Software Technology Co Ltd
Current assignee: Shenzhen Ideamake Software Technology Co Ltd
Priority date: 2022-10-31
Filing date: 2022-10-31
Publication date: 2023-02-03

Abstract

本申请实施例提供一种语句意图识别方法、装置和存储介质。所述方法包括：获取待识别的目标文本；将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息，所述意图识别模型为根据多个增强文本和所述多个增强文本分别对应的意图信息训练得到的，其中，所述增强文本为根据预设算法识别训练文本中关于房地产行业的关键词的类型信息后，通过所述类型信息对所述训练文本进行增强处理得到的文本。采用本申请实施例，能够增强训练文本的特征，提高意图识别模型的识别精度。

Description

一种语句意图识别方法、装置和存储介质

技术领域

本申请涉及自然语言理解技术领域，尤其涉及一种语句意图识别方法、装置和存储介质。

背景技术

传统的意图识别方法通过人工分析每个意图下的有代表性的例句总结出规则模板，当利用该模板对用户文本进行匹配达到一定阈值或者匹配到关键词之后，则认为该文本属于该意图类别。这种方法需要人工收集大量的相关文本，并进行总结归纳后，利用人工书写正则表达式的方法对意图进行捕获分类。

在目前意图识别模型训练领域使用较多的方法是基于深度学习的意图识别方法，使用神经网络来建模文本分类任务，可以省略人工设计特征、提取特征的过程。这种方法直接利用已经经过标注的用户文本，将文本及对应的标签输入到深度模型中进行学习，使得模型可以对文本进行分类预测。

但在房地产行业中，相关术语多种多样，包括户型名、由数字组成的面积数、价格数、配套设施的简称等等，因此经过深度学习得到的模型确实可以直接从原始文本中自动地提取到相应的特征，但当某些意图的训练样本对应的特征不够明显时，模型也就难以有很好的预测表现。

发明内容

本申请实施例提供一种语句意图识别方法、装置和存储介质，能够增强训练文本的特征，提高意图识别模型的识别精度。

第一方面，本申请实施例提供了一种语句意图识别方法，所述方法包括：

获取待识别的目标文本；

将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息，所述意图识别模型为根据多个增强文本和所述多个增强文本分别对应的意图信息训练得到的，其中，所述增强文本为根据预设算法识别训练文本中关于房地产行业的关键词的类型信息后，通过所述类型信息对所述训练文本进行增强处理得到的文本。

具体的，意图识别任务旨在确定一句话的意图，即通过分类模型将问题分类到事先定义的问答系统中各种可能的意图类别当中，因此可以被认定为分类任务，是自然语言理解中的关键技术。意图识别任务较早就被提出，但由于缺乏标注数据无法在现实场景中得以应用，尤其是特定领域的意图识别任务当中数据匮乏更为严重。而深度学习在文本分类等多个自然语言处理任务中获得了很好的表现，但是这种方法需要大量的标注数据。基于此类问题，本方法能够在某些意图的训练样本过少或者样本对应的特征不够明显时使模型的识别精度更高，通过预设算法识别所述训练文本中关于房地产行业的关键词的类型信息，通过所述类型信息对所述训练文本进行增强处理，使所述训练文本中的特征或关键词能够显式的体现在文本中，以此得到增强文本，这些增强文本中有关房地产行业的关键词的特征由此被显著增强。通过所述增强文本得到的意图识别模型可以显式的学习到这些关键词对应的类别信息及相应特征，由于模型从所述增强文本中额外学习到了各个被识别到的关键词对应的类型信息，因此该意图识别模型在训练过程中能够聚焦这些类型信息与对应的文本的意图信息之间的关系，使得模型可以更好地对意图进行识别分类，模型的性能更好，识别精度更高，且能够聚焦于房地产行业的语句意图识别。

在第一方面的又一种可能的实施方式中，在所述将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息之前，所述方法还包括：

获取训练文本；

根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息；

通过所述类型信息对所述训练文本进行增强处理，得到增强文本；

根据所述增强文本和与所述增强文本对应的意图信息训练意图识别模型，其中，所述增强文本属于特征数据，所述与所述增强文本对应的意图信息属于标签数据。

具体的，首先获取训练文本，可选的，在获取训练文本后，优先对所述训练文本进行预处理，由于所述训练文本可能是直接从客户与业务人员或客服机器人的对话中提取的，因此所述训练文本中可能存在表情、多余符号或错别字等杂余信息，故对所述训练文本进行相应的预处理，去除上述杂余信息；其次，根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息，而所述类型信息即为增强训练文本特征的关键，例如，客户询问“有没有一百多平米的三室一厅的房子？”在该语句中“一百多平米”、“室”和“厅”即为与房地产行业相关的关键词，而与“一百多平米”、“室”和“厅”对应的类型信息分别为“面积”、“卧室”和“客厅”，在识别出所述训练文本中的关键词的类型信息后，通过所述类型信息对所述训练文本进行增强处理，得到增强文本，以此加强所述训练文本中的关键词和特征之间的联系。

在一种可选的实施方式中，得到增强文本后，使用这些增强文本对基于深度双向表示(BERT，Bidirectional Encoder Representation from Transformers)的深度学习模型进行训练，基于BERT的深度学习模型核心部分由BERT预训练模型所组成，在其下游对句首的[CLS]输出向量接一个全连接层映射到对应的类别数，并利用softmax层对句子的意图类别进行预测并训练，以此训练得到一个意图识别模型。经过增强的文本和原始的文本一样，可以直接输入到BERT模型的输入层，即无需增强额外的网络层和模型参数，就可以利用增强文本提升模型的意图分类性能。

需要说明的是，在该种可能的实施方式中，上述训练过程发生在使用意图识别模型的计算机设备上进行的，也就是说，该设备既可以进行模型训练，又可以使用训练得到的模型。

在第一方面的又一种可能的实施方式中，所述将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息之前，还包括：

接收服务器发送的所述意图识别模型。

具体的，所述意图识别模型可以是接收其他服务器发送的已经训练好的意图识别模型，可以理解的是，所述其他服务器是除使用意图识别模型的计算机设备之外的其他设备。

在第一方面的又一种可能的实施方式中，所述待识别的目标文本包括与客户的对话中提取的原始文本或在所述原始文本的基础上经过所述预设算法识别和增强处理得到的文本；

或者，所述待识别的目标文本包括将与客户的对话中提取的原始文本和在所述原始文本的基础上经过所述预设算法识别和增强处理得到的文本融合后得到的文本。

具体的，将所述待识别的目标文本输入至已训练好的意图识别模型中，得到与所述待识别的目标文本对应的意图信息，而在实际应用该意图识别模型的过程中，所述待识别的目标文本有可能无法识别提取出与房地产行业相关的关键词对应的类型信息，也可能所述待识别的目标信息中不存在与房地产行业相关的关键词，因此在实际应用该意图识别模型的过程中，所述待识别的目标文本可以是直接从与客户的对话中提取的原始文本，也可以是在所述原始文本的基础上，根据上述的预设算法和上述的增强处理过程得到的增强文本，也可以是所述原始文本和所述增强文本经过融合处理得到的融合文本。

在第一方面的又一种可能的实施方式中，所述根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息，包括：

将所述训练文本输入类型识别模型中，得到与所述训练文本中关于房地产行业的关键词的类型信息，其中，所述类型识别模型为根据多个语句样本和与所述多个语句样本中关于房地产行业的关键词各对应的类型信息训练得到的模型，所述语句样本属于特征数据，所述类型信息属于标签数据。

具体的，提取关键词的方法多种多样，由于本方法主要应用于房地产行业，而房地产行业的关键词或术语多且复杂，尤其是某些术语在不同的地区的称呼不同，假如单纯进行相关关键词或术语的收集难免会有疏漏，因此本方法还提供一种类型识别模型，通过类型识别模型的泛化性提高识别的准确度。

进一步的，所述类型识别模型为根据多个语句样本和与所述多个语句样本中关于房地产行业的关键词各对应的类型信息训练得到的模型，所述语句样本属于特征数据，所述类型信息属于标签数据，在得到所述类型识别模型后，将所述训练文本输入类型识别模型中，即可得到与所述训练文本中关于房地产行业的关键词的类型信息，方便快捷，且识别准确率较高。

提取所述训练文本中的关键词；

从对应关系库中提取所述关键词对应的类型信息，其中，所述对应关系库包括多个关键词与多个类型信息之间的对应关系。

具体的，假如所述意图识别模型仅应用于某些地区或公司，而在某些地区或公司与房地产行业相关的关键词或术语已深入人心，得到大众的认可，则无需额外增强成本进行模型训练，仅需建立包含关于房地产行业的关键词和对应的类型信息之间的对应关系的对应关系库，在训练文本需要识别关于房地产行业的关键词的类型信息的情况下，则首先提取所述训练文本中的关键词，随后从所述对应关系库中提取所述关键词对应的类型信息，节约成本。

在第一方面的又一种可能的实施方式中，所述通过所述类型信息对所述训练文本进行增强处理，得到增强文本，包括：

将所述类型信息添加至与所述类型信息对应的所述关键词之后或将所述关键词替换为对应的所述类型信息，得到增强文本。

具体的，在得到与关键词对应的类型信息后，可通过所述类型信息对所述训练文本进行增强处理，所述增强处理包括添加或替换，其中，由于意图识别模型一般按训练文本的原本语句顺序进行识别，也就是左往右的识别，因此所述添加为将所述类型信息添加至与所述类型信息对应的所述关键词之后，经过这种增强处理得到的增强文本训练出的意图识别模型在识别到所述关键词之后，还能额外快速得到与所述关键词对应的类型信息，因此通过这种方式可增强意图识别模型的识别精度，使该意图识别模型能够聚焦这些关键词与对应的文本的意图信息之间的关系；其次，所述替换为将所述关键词替换为对应的类型信息，通过该种增强处理得到的训练文本，虽然无法使意图识别模型显示的识别关键词和类型信息之间的对应关系，但通过这种增强处理得到的训练文本输入模型进行训练后，仍旧可以增加意图识别模型的识别精度。

在第一方面的又一种可能的实施方式中，所述将所述类型信息添加至与所述类型信息对应的所述关键词之后或替换所述关键词，得到增强文本，包括：

当基于所述训练文本中识别得到的所述类型信息数量大于预设数量的情况下，根据识别出的每条所述类型信息对应的权重确定其中的重点类型信息；

将所述训练文本中的所述重点类型信息添加至与所述重点类型信息对应的关键词之后；

将所述训练文本中与所述重点类型信息之外的其他类型信息对应的关键词替换为所述其他类型信息，得到增强文本。

具体的，意图识别模型在实际应用时，经常会面临用户想同时表达多个意图的情形，即一句话中想表达多个意思。比如在智能音箱控制技术领域，用户想要同时控制两个家电，或者控制同一家电执行不同的操作。又比如在智能客服技术领域，用户想同时询问两件事情。语音交互的总体流程大致可分为语音识别(Automatic Speech Recognition,ASR)、语义理解(Natural Language Understanding,NLU)、对话管理(DialogueManagement,DM)和语音合成(Text-To-Speech,TTS)四个步骤。其中，ASR是将用户说出的话语转化为文本，NLU是理解用户的意图并抽取语音转化文本中的关键信息，DM是对机器和用户的对话进行管理，TTS是将机器生成的文本用语音返回给用户。机器对于语义理解的准确率依赖于ASR的准确率，但最重要的还是取决于NLU的准确率。而语句意图识别(Multi-intent,MI)是NLU中的难题。与多标签分类类似，语句意图识别难于如何准确地确定用户有多少个意图，用户的这些意图分别属于什么类别。对于用户的语句意图识别，现有技术主要分为两种：一种是将问题转化为传统的分类问题；二是调整现有的算法来适应多意图的分类，但都不能更好的解决计算量大、准确率低的问题。

在传统的对话系统中，对多意图的处理过程繁琐，且准确率低下，用户体验感不好，造成对话系统功能的缺失。当对话系统遇到多个意图时，通常会按照一个意图输入对话管理系统进行处理，也就是丢弃系统没有识别到的另一个意图，这种做法，会影响到系统的实际使用体验，也会影响到对话系统的对话流畅性。

房地产行业是较为特殊的行业，购房可能是很多客户一辈子做过的唯一一笔或是最重要的一笔大宗交易，因此优中选优是每个购房客户的需求，因此在本方法应用的场景中，会存在大量的包含多意图的语句，如上述的客户询问“有没有一百多平米的三室一厅的房子？”在该语句中“一百多平米”、“室”和“厅”即为与房地产行业相关的关键词，而与“一百多平米”、“室”和“厅”对应的类型信息分别为“面积”、“卧室”和“客厅”，进一步的，与该举例语句对应的意图信息为“问面积”、“问卧室”和“问客厅”，由此可以明显看出，在房地产领域中的意图识别模型得到的意图信息和与关键词对应的类型信息之间存在密切的联系，因此通过对训练文本的增强还可增加意图识别模型对包含多意图的语句的识别精度。

但在实际应用中，将所述训练文本进行增强处理后得到的所述增强文本，如将所述类型信息添加至对应的关键词之后，可能存在将原本较为简单语句变得复杂，从而导致经过该增强文本训练的意图识别模型的识别精度下降的问题，因此在面对存在大量语句样本中包含多意图的情况时，需要对训练文本的增强方式进行合理地调整。

进一步的，当基于所述训练文本中识别得到的所述类型信息数量大于预设数量的情况下，根据识别出的每条所述类型信息对应的权重确定其中的重点类型信息；将所述训练文本中的所述重点类型信息添加至与所述重点类型信息对应的关键词之后，由于上述的意图信息和与关键词对应的类型信息之间存在密切的联系，通过该过程，可强化意图识别模型对所述关键词、与所述关键词对应的所述重点类型信息和该训练文本三者之间的对应关系的认知；而对于除所述重点类型信息之外的其他类型信息，则将与所述其他类型信息对应的关键词替换为所述其他类型信息，避免简单的语句变得复杂，且不影响训练得到的意图识别模型的精度。

在第一方面的又一种可能的实施方式中，所述目标文本和/或所述训练文本中的任意一个文本的意图信息包括第一意图和第二意图，所述第一意图为与所述文本对应的意图，所述第二意图为所述第一意图对应词汇的上位词汇所表达的意图。

具体的，在房地产领域每个客户的购房需求是不同的，比如某一客户因为家中人口变多购房用于住房改善，因此该客户的需求可能就聚焦在房子大小和卧室量，这也就代表着该客户的语句文本对应的意图可能就在询问房子大小和卧室量，如“有没有大户型、四室的房子？”，但一般来说，意图识别模型得到的意图是客户的直接意图，也就是语句中表达的意图，如与“有没有大户型、四室的房子？”对应的意图信息为“问大户型”和“问卧室”，这也就是该客户的第一意图，这就代表着该客户的关注点在与房子本身相关的属性上，这也就是本方法提出的第二意图，所述第二意图为所述第一意图对应词汇的上位词汇所表达的意图，如上述的例子中的第一意图的对应词汇为“大户型”和“卧室”，那与之对应的第二意图则为“房型”，可选的，所述第二意图可能为房型相关，也可能为小区相关或配套相关。由此，当意图识别模型识别出第一意图和第二意图后，可根据第一意图和第二意图综合分析，得到最优的与客户回复的话术。

在第一方面的又一种可能的实施方式中，所述将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息之后，还包括：

在回复数据库中查询与所述意图信息匹配度高于预设匹配度的回复文本；

将匹配度高于预设匹配度的回复文本按照匹配度从高到低的顺序进行展示。

具体的，在将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息之后，可通过所述意图信息，对客户的询问进行自动回复，在这个过程中，首先在预设的回复数据库中查询与所述意图信息匹配度高于预设匹配度的回复文本，可选的，所述匹配度为关键词相似度，所述回复数据库中包括多个关键词和与所述多个关键词对应的回复文本；在查询结束之后，将匹配度高于预设匹配度的回复文本按照匹配度从高到低的顺序进行展示。

在一种可选的实施方式中，仅将匹配度最高的回复文本展示给客户，提高客户的满意度，也可利用固定时间内发送给客户的回复文本来进行客服质检。

第二方面，本申请实施例提供一种语句意图识别装置，所述装置至少包括第一获取单元和输入单元。该语句意图识别装置用于实现第一方面任一项实施方式所描述方法，其中第一获取单元和输入单元的介绍如下：

第一获取单元，用于获取待识别的目标文本；

输入单元，用于将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息，所述意图识别模型为根据多个增强文本和所述多个增强文本分别对应的意图信息训练得到的，其中，所述增强文本中根据预设算法识别训练文本中关于房地产行业的关键词的类型信息后，通过所述类型信息对所述训练文本进行增强处理得到的文本。

具体的，意图识别任务旨在确定一句话的意图，即通过分类模型将问题分类到事先定义的问答系统中各种可能的意图类别当中，因此可以被认定为分类任务，是自然语言理解中的关键技术。意图识别任务较早就被提出，但由于缺乏标注数据无法在现实场景中得以应用，尤其是特定领域的意图识别任务当中数据匮乏更为严重。而深度学习在文本分类等多个自然语言处理任务中获得了很好的表现，但是这种方法需要大量的标注数据。基于此类问题，本方法能够在某些意图的训练样本过少或者样本对应的特征不够明显时使模型的识别精度更高，通过预设算法识别所述训练文本中关于房地产行业的关键词的类型信息，通过所述类型信息对所述训练文本进行增强处理，使所述训练文本中的特征或关键词能够显式的体现在文本中，以此得到增强文本，通过所述增强文本得到的意图识别模型可以显式的学习到这些关键词对应的类别信息及相应特征，由于模型从所述增强文本中额外学习到了各个被识别到的关键词对应的类型信息，因此该意图识别模型在训练过程中能够聚焦这些类型信息与对应的文本的意图信息之间的关系，使得模型可以更好地对意图进行识别分类，模型的性能更好，识别精度更高，且能够聚焦于房地产行业的语句意图识别。

在第二方面的又一种可能的实施方式中，所述装置还包括：

第二获取单元，用于获取训练文本；

识别单元，用于根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息；

增强单元，用于通过所述类型信息对所述训练文本进行增强处理，得到增强文本；

训练单元，用于根据所述增强文本和与所述增强文本对应的意图信息训练意图识别模型，其中，所述增强文本属于特征数据，所述与所述增强文本对应的意图信息属于标签数据。

在第二方面的又一种可能的实施方式中，所述装置还包括：

接收单元，用于接收服务器发送的所述意图识别模型。

在第二方面的又一种可能的实施方式中，所述识别单元具体用于：

具体的，提取关键词的方法多种多样，由于本方法主要应用于房地产行业，而房地产行业的关键词或术语多且复杂，尤其是某些术语在不同的地区的称呼不同，假如单纯进行相关关键词或术语的收集难免会有疏漏，因此本方法提供一种类型识别模型，通过类型识别模型的泛化性提高识别的准确度。

提取所述训练文本中的关键词；

在第二方面的又一种可能的实施方式中，所述增强单元具体用于：

在第二方面的又一种可能的实施方式中，在将所述类型信息添加至与所述类型信息对应的所述关键词之后或替换所述关键词，得到增强文本方面，所述增强单元具体用于：

房地产行业是较为特殊的行业，买房子也是很多人一辈子做过的唯一一笔大宗交易，因此优中选优是每个购房客户的需求，因此在本方法应用的场景中，存在大量的包含多意图的语句，如上述的客户询问“有没有一百多平米的三室一厅的房子？”在该语句中“一百多平米”、“室”和“厅”即为与房地产行业相关的关键词，而与“一百多平米”、“室”和“厅”对应的类型信息分别为“面积”、“卧室”和“客厅”，进一步的，与该举例语句对应的意图信息为“问面积”、“问卧室”和“问客厅”，由此可以明显看出，在房地产领域中的意图识别模型得到的意图信息和与关键词对应的类型信息之间存在密切的联系，因此通过对训练文本的增强还可增加意图识别模型对包含多意图的语句的识别精度。

在第二方面的又一种可能的实施方式中，所述装置还包括：

查询单元，用于在回复数据库中查询与所述意图信息匹配度高于预设匹配度的回复文本；

展示单元，用于将匹配度高于预设匹配度的回复文本按照匹配度从高到低的顺序进行展示。

第三方面，本申请实施例提供一种语句意图识别设备，该语句意图识别设备包括处理器、存储器和通信接口；存储器中存储有计算机程序；处理器执行计算机程序时，所述通信接口用于发送和/或接收数据，该语句意图识别设备可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。

需要说明的是，上述第五方面所描述的语句意图识别设备所包含的处理器，可以是专门用于执行这些方法的处理器(便于区别称为专用处理器)，也可以是通过调用计算机程序来执行这些方法的处理器，例如通用处理器。可选的，至少一个处理器还可以既包括专用处理器也包括通用处理器。

可选的，上述计算机程序可以存在存储器中。示例性的，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(Read Only Memory，ROM)，其可以与处理器集成在同一块器件上，也可以分别设置在不同的器件上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

在一种可选的实施方式中，上述至少一个存储器位于上述语句意图识别设备之外。

在又一种可能的实施方式中，上述至少一个存储器位于上述语句意图识别设备之内。

在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于上述语句意图识别设备之内，另一部分存储器位于上述语句意图识别设备之外。

本申请中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储计算机程序，当所述指令在至少一个处理器上运行时，实现前述第一方面或者第一方面的任一种可选的方案所描述的方法。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，当所述程序在至少一个处理器上运行时，实现前述第一方面或者第一方面的任一种可选的方案所描述的方法中。

可选的，该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。

本申请第三至第五方面所提供的技术方案，其有益效果可以参考第一方面和第二方面的技术方案的有益效果，此处不再赘述。

附图说明

下面将对实施例描述中所需要使用的附图作简单的介绍。

图1是本申请实施例提供的一种语句意图识别系统的系统架构图；

图2是本申请实施例提供的一种语句意图识别方法的流程示意图；

图3是本申请实施例提供的一种意图识别模型的训练方法的流程示意图；

图4是本申请实施例提供的一种语句意图识别装置的结构示意图；

图5是本申请实施例提供的一种语句意图识别设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细介绍。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本申请实施例应用的系统架构进行介绍。需要说明的是，本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

请参见图1，是本发明实施例提供的一种语句意图识别系统的系统架构图。该系统架构包括意图预测设备101和服务器102，其中，意图预测设备101和服务器102建立有通信连接。

意图预测设备101可以是一个物理实体构成，也可以是由两个或多个物理实体构成。例如所述意图预测设备101可以是手机、移动式终端、会议教学平板、工业控制计算机等终端设备，也可以是一个服务器或者多个服务器组成的服务器集群。该设备101可获取待检测的目标文本，且通过安装在意图预测设备101上意图识别模型对待检测的目标文本进行识别，需要说明的是，该待检测的目标文本可以是本地获取，也可以是通过网络从线上下载的，以及安装在意图预测设备101上的意图识别模型可以是接收服务器102发送的。

服务器102，该服务器102可以为一个服务器或者多个服务器组成的服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。该服务器102用于进行意图识别模型的训练，意图识别模型可以有多种，同时每一种意图识别模型可以采用不同的训练文本也可采用相同的训练文本，具体可根据实际应用场景确定，在此不做限制；训练模型所需要的训练文本可以是服务器102内置的，也可以是在网上下载的。在模型训练完成后，服务器102将训练好的意图识别模型发送给意图预测设备101。

值得说明的是，本申请实施例所提供的方法中涉及到的训练文本的关键词或类型信息的识别、增强处理过程可以在服务器102中完成，也可以在意图预测设备101中完成，具体可根据实际应用场景确定；且在某些应用场景中，意图预测设备101可以自行进行意图识别模型的训练，无需接收来自服务器102发送的意图识别模型。

请参见图2，图2是本申请实施例提供的一种语句意图识别方法的流程示意图，该语句意图识别方法可以基于图1所示的系统架构示意图实现，也可以基于其他架构实现，该方法包括但不限于如下步骤：

步骤S201：获取待识别的目标文本。

在实际应用中，人机交互的应用中，常常提供文字信息、语音信息、图片信息、等多种形式的信息输入方式。可以理解的是，当用户输入文字信息时，可以直接获取文本信息。

在一个可选的实施方式中，当用户输入语音信息时，基于对获取的语音信息进行语音识别，得到所述文本信息。具体的，本说明书实施例中，可以结合自动语音识别(AutomaticSpeech Recognition,ASR)技术来识别出语音信息中的文本信息。

在一个可选的实施方式中，当用户输入图片信息时，基于对获取的图片信息进行图像识别，得到所述文本信息。具体的，本说明书实施例中，可以结合图像识别算法来识别出图像信息中的文本信息。

在一个可选的实施方式中，所述待识别的目标文本可以是通过上述实施方式得到的文本信息，所述文本信息即为原始文本；也可以是在所述文本信息的基础上，经过预设算法识别和增强处理得到的文本；所述待识别的目标文本也可以是将与客户的对话中提取的原始文本和在所述原始文本的基础上经过所述预设算法识别和增强处理得到的文本融合后得到的文本。

步骤S202：将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息。

具体的，将所述目标文本输入至预先训练好的意图识别模型中，即可得到与所述目标文本对应的意图信息。所述意图识别模型为根据多个增强文本和所述多个增强文本分别对应的意图信息训练得到的，其中，所述增强文本为根据预设算法识别训练文本中关于房地产行业的关键词的类型信息后，通过所述类型信息对所述训练文本进行增强处理得到的文本。

在本申请实施例中，所述意图信息一般由一个或多个的词汇和/或短句组成，所述意图信息用于表示提出所述目标文本的客户想要什么或想要做什么，一个目标文本可能存在多个意图。在一种可选的实施方式中，一个意图信息会体现出客户的关注点和关注范围，所述目标文本中的任意一个文本的意图信息包括第一意图和第二意图，所述第一意图为与所述文本对应的意图，所述意图识别模型在识别所述目标文本的过程中，优先识别与所述目标文本对应的第一意图，在得到所述第一意图之后，所述意图识别模型针对所述第一意图对应的词汇进行处理和再次识别，以得到所述第二意图。下面举例进行说明，如表1所示，具体如下：

表1

综上，所述第二意图为所述第一意图对应词汇的上位词汇所表达的意图，如上表中的目标文本“这个房子总价多少？首付多少？”，对应的第一意图为“问总价”和“问首付”，而“总价”和“首付”的上位词汇所表达的意图在房地产领域中问“价格相关”，这也就代表着该客户比较在意这个房子的价格属性，简单地说，所述第一意图可体现出客户的关注点，所述第二意图可体现出客户的关注范围。根据意图识别模型识别出的该第二意图，可更有针对性的对该客户进行人工或自动回复。值得说明的是，所述第二意图至少包括房型、价格、地区、小区、配套中的一项或多项。可以理解的是，在本实施方式中，训练上述的意图识别模型所需的训练文本对应的意图信息也包括所述第一意图和所述第二意图。

所述意图识别模型可以是获取所述目标文本的计算机设备训练的，也可以是接收服务器训练好的。在一种可选的实施方式中，所述意图识别模型是使用意图识别模型的计算机设备训练的，其中，该意图识别模型的训练方法如图3所示，具体如下：

步骤11：获取训练文本。

具体的，所述训练文本包括一个或多个客户发送的语句原始文本，可选的，在对所述训练文本进行后续处理之前，对所述训练文本进行预处理，所述预处理可包括文本清洗和文本标注，所述文本清洗包括去除训练文本中的换行符、表情符号等对训练无用的杂余信息；进行文本清洗后，对所述训练文本对应的不同意图进行标注，在本申请实施例中，所述标注工作由人工作业，可选的，所述标注工作可以是由计算机采用多种算法自动标注完成的。

步骤12：根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息。

当获取到所述训练文本后，对所述训练文本根据预设算法进行处理，以得到所述训练文本中关于房地产行业的关键词的类型信息，所述类型信息为所述训练文本中关于房地产行业的关键词的概述，而所述类型信息也是与房地产行业相关的，例如“109平米”和“多大”对应的类型信息均为“面积”，所述关于房地产行业的关键词和所述类型信息在实施的过程中的呈现可如下所示：训练文本为“我想看109平米的”，则经过识别后，会将与房地产行业相关的“109平米”作为关键词，得到与“109平米”对应的类型信息“面积”。

而预设算法可以有多种实现，即可以是通过一种类型识别模型来实现，也可能是通过一种对应关系库来实现，具体的实施方式如下所述：

情况一：预先训练好一种类型识别模型，所述类型识别模型为根据多个语句样本和与所述多个语句样本中关于房地产行业的关键词各对应的类型信息训练得到的模型，所述语句样本属于特征数据，所述类型信息属于标签数据；

将所述训练文本输入所述类型识别模型中，得到与所述训练文本中关于房地产行业的关键词的类型信息。

情况二：首先提取所述训练文本中的关键词，可选的，将所述训练文本拆分为单个字或单个词汇，然后从对应关系库中查询所述单个字或单个词汇是否存在，所述对应关系库包括多个关键词与多个类型信息之间的对应关系，若在某一个字或词汇在所述对应关系库中存在，则该字或词汇即为关于房地产行业的关键词，随后可从对应关系库中提取所述关键词对应的类型信息。

步骤13：通过所述类型信息对所述训练文本进行增强处理，得到增强文本。

具体的，将所述类型信息添加至与所述类型信息对应的所述关键词之后或将所述关键词替换为对应的所述类型信息，得到增强文本，例如“我想看109平米的”的例子，“109平米”为与房地产行业相关的关键词，“面积”为“109平米”的类型信息，将“面积”这个词附加到“109平米”之后，得到增强文本“我想看109平米面积的”。这样的增强方式可以显式地让模型学习到意图标签与“面积”之间的关系。可以理解的是，对所有训练文本进行实体识别并增强，获得一批增强文本。上述的例子是关于将类型信息添加至对应的关键词之后的增强处理，而关于将所述关键词替换为对应的所述类型信息的增强处理，可参考如下例子，例如“我想看109平米的”的例子，进行关于将所述关键词替换为对应的所述类型信息的增强处理后，则可得对应的增强文本“我想看面积的”。

在一种可选的实施方式中，存在一个训练文本中包括多个与房地产行业相关的关键词，这也就代表着这个训练文本中存在着多个对应的类型信息，则可根据所述多个对应的类型信息对所述训练文本进行增强处理，例如“我想看109平米的三房一厅”，其中关键词“109平米”对应“面积”，关键词“三房一厅”对应“几房几厅”，值得说明的是，“三房一厅”可以被识别成“三房”对应“卧室”，“一厅”对应“客厅”，因此在进行增强处理时，可能出现多种情况，例如在训练文本“我想看109平米的三房一厅”进行增强处理时，可能出现以下情况：

情况一：利用替换的策略，将某一个关键词替换为对应的类型信息，即可以形成以下几种增强句子，“我想看面积的三房一厅”、“我想看109平米的几房几厅”、“我想看109平米的卧室一厅”、“我想看109平米的三房客厅”。

情况二：利用替换的策略，将多个或全部的关键词替换为对应的类型信息，即可以形成以下几种增强句子，“我想看面积的几房几厅”、“我想看面积的三卧室一厅”、“我想看面积的三房一客厅”、“我想看109平米的三卧室一客厅”、“我想看面积的三卧室一客厅”。

情况三：利用附加的策略，将识别出的一个或多个类型信息附加在对应的关键词之后，即可以形成以下几种增强句子，“我想看109平米面积的三房一厅”、“我想看109平米的三房一厅几房几厅”、“我想看109平米的三房卧室一厅”、“我想看109平米的三房一厅客厅”。

参考以上三种情况可知，一个训练文本经过增强处理后可得到多个增强文本，在训练文本较少的情况下，可根据以上三种情况对增强文本进行扩充，增加增强文本的数量。

在一种可选的实施方式中，当基于所述训练文本中识别得到的所述类型信息数量大于预设数量的情况下，根据识别出的每条所述类型信息对应的权重确定其中的重点类型信息，例如，预设数量为1，当所述训练文本中识别得到的类型信息的数量大于1时，则需要确定所述类型信息中的重点类型信息；而所述权重可以是根据历史场景中，在客户的对话中出现的次数确定的，也可以是在模型应用当地调研获得的，也可以是自设置的，所述权重在实际的应用中，可能的实施方式如表2所示，具体如下：

表2

综上，表2中的从上往下排列的第一项训练文本“我想看109平米的三房一厅”中存在三个关键词，分别为“109平米”、“房”、“厅”，对应的类型信息也会有三个，分别为“面积”、“卧室”、“客厅”，而经过权重比较，面积对应的权重最高，为0.65，因此该训练文本中的重点类型信息为“面积”，而表2中从上往下排列的第二项训练文本“有没有卧室大一点三房一厅”中的关键词为“卧室”、“房”、“厅”，对应的类型信息分别为“卧室”、“卧室”、“客厅”，“卧室”出现两次则在一定程度上代表着对应客户对“卧室”的关注度高，在意的点即意向，也会往“卧室”方向偏移，因此“卧室”对应的权重需要加权计算，在本申请实施例中，采用的计算方式为相加，“卧室”出现两次，则对应权重为0.3+0.3＝0.6，大于客厅对应的权重，则“卧室”为该训练文本的重点类型信息。

在得到重点类型信息之后，可将所述训练文本中的所述重点类型信息添加至与所述重点类型信息对应的关键词之后，使模型能够显式的学习到重点类型信息与对应的意图信息之间的联系，且不会使模型的召回率下降；对于除所述重点类型信息之外的其他类型信息，则可将与所述重点类型信息之外的其他类型信息对应的关键词替换为所述其他类型信息，得到增强文本。

步骤S14：根据所述增强文本和与所述增强文本对应的意图信息训练意图识别模型。

其中，所述增强文本属于特征数据，所述与所述增强文本对应的意图信息属于标签数据。

在一种可选的实施方式中

在一种可选的实施方式中，得到增强文本后，使用这些增强文本对基于BERT的深度学习模型进行训练，基于BERT的深度学习模型核心部分由BERT预训练模型所组成，在其下游对句首的[CLS]输出向量接一个全连接层映射到对应的类别数，并利用softmax层对句子的意图类别进行预测并训练，以此训练得到一个意图识别模型。经过增强的文本和原始的文本一样，可以直接输入到BERT模型的输入层，即无需增强额外的网络层和模型参数，就可以利用增强文本提升模型的意图分类性能。

在另一种可能的实施方式中，在搭建整体模型时用于生成词向量的BERT预训练模型还可以替换为其他的预训练模型，如ERNIE、DistilBert、RoBERTa、XLNet、ALBERT、TinyBert、GPT、ELMo等其他预训练模型。

需要说明的是，图3所示的模型训练方法发生在图2所示的语句意图识别方法进行之前。

前面得到的意图信息有很多种用途，比如与某一目标文本对应的意图信息可用于相应的业务人员更好的判断客户的需求和想法，比如与某一目标文本对应的意图信息可用于在机器人对话系统中对相应的客户进行自动回复，具体的实施过程可如下所示：

步骤S203：在回复数据库中查询与所述意图信息匹配度高于预设匹配度的回复文本。

具体的，预先建立回复数据库，所述回复数据库中包括多种回复文本，在得到所述意图信息之后，根据所述回复数据库，查询与所述意图信息匹配度高于预设匹配度的回复文本。

在一种可选的实施方式中，所述回复数据库中的回复文本预先设置有标注信息，所述匹配度基于意图信息与所述标注信息之间的相似度确定，相似度越高则代表这匹配度越高，也就代表着对应的回复文本更适合对该意图信息对应的客户进行回复。

步骤S204：将匹配度高于预设匹配度的回复文本按照匹配度从高到低的顺序进行展示。

若高于预设匹配度的回复文本有多条，则将匹配度高于预设匹配度的回复文本按照匹配度从高到低的顺序进行展示，在一种可选的实施方式中，将匹配度高于预设匹配度的回复文本展示给业务人员，由业务人员决定向客户回复哪一条回复文本，在又一种可能的实施方式中，在需要对话系统自动回复客户的场景中，优先选择匹配度最高的回复文本由机器人客服回复给客户。

综上，在本申请实施例中，根据识别得到的训练文本中关于房地产行业的关键词以及对应的类型信息对所述训练文本进行增强处理，可扩充文本的数量，显式的提升意图识别模型对类型信息和意图信息之间的联系认知，提升识别精度，且能够避免因样本过少导致模型的训练效果不佳，其次，在面对一个训练文本对应多个类型信息时，通过与类型信息对应的权重确定重点类型信息，对所述重点类型信息进行与其他类型信息不同的增强方式，额外加强意图识别模型对重点类型信息的识别度，显著提升意图识别模型对权重高的类型信息和对应的关键词的之间的联系认知，使意图识别模型的识别细粒度更高。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参见图4，图4是本申请实施例提供一种语句意图识别装置40的结构示意图，可以为前面图1所示的意图预测设备，或者意图预测设备中的模块，该装置40可以包括第一获取单元401和输入单元402，其中，各个单元的详细描述如下。

第一获取单元401，用于获取待识别的目标文本；

输入单元402，用于将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息，所述意图识别模型为根据多个增强文本和所述多个增强文本分别对应的意图信息训练得到的，其中，所述增强文本中根据预设算法识别训练文本中关于房地产行业的关键词的类型信息后，通过所述类型信息对所述训练文本进行增强处理得到的文本。

在一种可选方案中，所述装置40还包括：

第二获取单元，用于获取训练文本；

在一种可选方案中，所述装置40还包括：

接收单元，用于接收服务器发送的所述意图识别模型。

在一种可选方案中，所述识别单元具体用于：

提取所述训练文本中的关键词；

在一种可选方案中，所述增强单元具体用于：

在一种可选方案中，在将所述类型信息添加至与所述类型信息对应的所述关键词之后或替换所述关键词，得到增强文本方面，所述增强单元具体用于：

在一种可选方案中，所述装置40还包括：

请参见图5，图是本申请实施例提供的一种语句意图识别设备50的结构示意图，所述语句意图识别设备50包括：处理器501、通信接口502及存储器503。其中，处理器501、通信接口502及存储器503可通过总线或其他方式连接，本申请实施例以通过总线连接为例。

其中，处理器501是语句意图识别设备50的计算核心以及控制核心，其可以解析语句意图识别设备50内的各类指令以及语句意图识别设备50的各类数据，例如：该处理器501可为中央处理器(Central Processing Unit，CPU)，可以在语句意图识别设备50内部结构之间传输各类交互数据，等等。通信接口502可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)，受处理器501的控制可以用于收发数据；通信接口502还可以用于所述语句意图识别设备50内部信令或者指令的传输以及交互。存储器503(Memory)是所述语句意图识别设备50中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器503既可以包括所述语句意图识别设备50的内置存储器，当然也可以包括所述语句意图识别设备50所支持的扩展存储器。存储器503提供存储空间，该存储空间存储了所述语句意图识别设备50的操作系统，该存储空间还存储了处理器执行相应操作所需的程序代码或指令，可选的，该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。

在本申请实施例中，处理器501运行存储器503中的可执行程序代码，用于执行如下操作：

获取待识别的目标文本；

在一种可选方案中，所述处理器501还用于：

获取训练文本；

在一种可选方案中，所述处理器501还用于：

接收服务器发送的所述意图识别模型。

在一种可选方案中，在根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息方面，所述处理器501具体用于：

提取所述训练文本中的关键词；

在一种可选方案中，在通过所述类型信息对所述训练文本进行增强处理，得到增强文本方面，所述处理器501具体用于：

在一种可选方案中，在将所述类型信息添加至与所述类型信息对应的所述关键词之后或替换所述关键词，得到增强文本方面，所述处理器501具体用于：

在一种可选方案中，所述处理器501还用于：

需要说明的是，各个操作的实现可以对应参照图2和图3中所示的方法实施例的相应描述。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述计算机程序当被处理器执行时使所述处理器实现图2和图3所示的操作。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，实现图2和图3所示的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims

1.一种语句意图识别方法，其特征在于，所述方法包括：

获取待识别的目标文本；

2.根据权利要求1所述的方法，其特征在于，所述将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息之前，还包括：

获取训练文本；

3.根据权利要求1所述的方法，其特征在于，所述目标文本和/或所述训练文本中的任意一个文本的意图信息包括第一意图和第二意图，所述第一意图为与所述文本对应的意图，所述第二意图为所述第一意图对应词汇的上位词汇所表达的意图。

4.根据权利要求1所述的方法，其特征在于，所述待识别的目标文本包括与客户的对话中提取的原始文本或在所述原始文本的基础上经过所述预设算法识别和增强处理得到的文本；

5.根据权利要求2所述的方法，其特征在于，所述根据预设算法识别所述训练文本中关于房地产行业的关键词的类型信息，包括：

6.根据权利要求2所述的方法，其特征在于，所述通过所述类型信息对所述训练文本进行增强处理，得到增强文本，包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述类型信息添加至与所述类型信息对应的所述关键词之后或替换所述关键词，得到增强文本，包括：

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述将所述目标文本输入至意图识别模型，得到与所述目标文本对应的意图信息之后，还包括：

9.一种语句意图识别装置，其特征在于，所述装置包括：

第一获取单元，用于获取待识别的目标文本；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在处理器上运行时，实现如权利要求1-8任一项所述的方法。