CN111563140B - 一种意图识别方法及装置 - Google Patents

Abstract

本发明公开一种意图识别方法及装置，其特征在于，包括：对文本数据进行符号处理和切词处理得到切分后的语句片段；对所述语句片段标注词性标记；将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记；根据所述特定词性标记删除所述语句片段中的冗余片段；对删除冗余片段后剩余的所述语句片段标注位置信息生成文本特征；对所述文本特征进行意图识别。通过标注词性标记和位置信息，弥补了因切词处理而造成的信息丢失的问题，因此能够正确理解原文的意思，从而提高识别结果的准确度。并且由于无需人工参与，因此识别速度快、效率高。

Description

一种意图识别方法及装置

技术领域

本发明涉及一种意图识别方法及装置，属于人工智能技术领域。

背景技术

意图识别技术是指针对用户反馈的文本数据进行分析从而识别出该用户意图的技术，意图就是指用户想要表达的意愿或者想要做的事情。例如，在客服机器人的应用场景中，用户输入一段文本想询问商品价格，后台程序使用意图识别技术识别出用户的该意图，并查找到相应的商品价格返回给用户作为回答，如此，用户与客服机器人可以实现持续对话。

现有意图识别技术主要采用如下两种方式：

方式1：基于规则的识别

这种方式需要人工从以往的大量用户反馈数据中总结出规则，然后基于该规则针对当前应用场景进行意图识别。例如：当一句话中包含某三个关键词时，则表明用户具体是某种意图。这种方式的缺点是，要使总结出的规则达到一定的精确率就需要人工做大量的工作，成本高效率低；而且，规则对于一些复杂的包含上下文的语境很难准确识别。

2、基于文本特征的识别

这种方式由软件进行意义切词，从中挑选出最能代表文本特征的特征词与用户输入的反馈数据进行匹配，据此来进行意图识别。这种方式的缺点是，被挑选出来的特征词脱离了原本所在的句子，造成大量信息缺失，例如，相同的词不同的词性标记表达着不同的意思，同一个词在句子的不同位置也可能有不同的含义，从而不能正确理解原文的意思，致使意图识别结果的准确度较低。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供一种意图识别方法，用以提高意图识别的效率和准确度。

作为本发明实施例的一个方面，涉及一种意图识别方法，包括：对文本数据进行符号处理和切词处理得到切分后的语句片段；对所述语句片段标注词性标记；将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记；根据所述特定词性标记删除所述语句片段中的冗余片段；对删除冗余片段后剩余的所述语句片段标注位置信息生成文本特征；对所述文本特征进行意图识别。

作为本发明实施例的另一个方面，涉及一种意图识别装置，包括：词语处理模块，用于对文本数据进行符号处理和切词处理得到切分后的语句片段；词性标记标注模块，用于对对所述语句片段标注词性标记；词性标记替换模块，用于将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记；冗余删除模块，用于根据所述特定词性标记删除所述语句片段中的冗余片段；特征生成模块，用于对删除冗余后剩余的所述语句片段标注位置信息生成文本特征；意图识别模块，用于对所述文本特征进行意图识别。

作为本发明实施例的又一个方面，涉及一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述方法。

作为本发明实施例的再一个方面，涉及一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法。

本发明实施例通过标注词性标记和位置信息，弥补了因切词处理而造成的信息丢失的问题，因此能够正确理解原文的意思，从而提高识别结果的准确度。并且由于无需人工参与，因此识别速度快、效率高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1提供的意图识别方法的流程图；

图2为本发明实施例1中步骤400的具体流程图；

图3为本发明实施例1中步骤600的具体流程图；

图4为本发明实施例2提供的意图识别装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

实施例1

本实施例提供一种意图识别方法，可以用于数据准备阶段，属于特征工程的一部分，主要是用来针对性的简化特征，提取关键有效信息的作用。具体地，如图1所示，该方法包括如下步骤：

步骤100，对用户反馈的文本数据进行符号处理和切词处理得到切分后的语句片段。

其中，所述文本数据可以是具体应用场景中由用户反馈的文本数据；所述符号处理用于去掉所述文本数据中与语义无关的符号，例如：表情符号、感叹号等，通过进行符号处理有利于减少识别噪音；所述切词处理用于将整个语句切分成语句片段，具体可以根据现有的切词算法进行切词。

例如，一段文本数据为：“苹果专卖店已搬迁，现在是科瑞测绘仪器店，电话号码是18101012345”。经切词处理后得到的语句片段为：“苹果/专卖店/已/搬迁/现在/是/科瑞/测绘仪器/店，电话号码/是/18101012345”。

步骤200，对所述语句片段标注词性标记。

其中，所述词性是指语句片段的语言学类别，如：名词、动词、形容词、副词等；所述词标记是指表示相应词的标记。例如，在上例中，经词性标记的标注处理后得到的第二语句片段为：“苹果(n)/专卖店(n)/已(x)/搬迁(v)/现在(t)/是(v)/科瑞(n)/测绘仪器(n)/店(n)，电话号码(n)/是(v)/18101012345(n)”。其中，“n”表示名词，“x”表示副词、“t”表示时间名词、“v”表示动词。

步骤300，将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记。

未包含在特定语词典中的语句片段的词性标记是指：动词“v”、名词“n”等与语句片段的含义本身无直接关系的词性标记；所述特定词性标记是指专门为包含在特定语词典中的语句片段设定的词性标记，例如包括：表示相同意图的同义词标记和表示兴趣点名称后缀的后缀词标记。具体地，在进行替换时，将表示相同意图的多个语句片段的词性标记替换成同义词标记，将表示兴趣点名称后缀的语句片段的词性标记替换成后缀词标记。

例如，作为特定词语数据中的同义词标记，“搬迁”与“迁移”表达的是同一个意图，因此在特定语词典中为它们分配同义信息“gmove”；作为特定词语数据中的后缀词标记，“店”、“馆”、“厅”、“吧”等词均为兴趣点名的后缀，因此在特定语词典中为它们分配后缀信息“ndi”。

在上例中，经词性标记标注处理后得到的语句片段为：“苹果(n)/专卖店(ndi)/已(x)/搬迁(gmove)/现在(t)/是(v)/科瑞(n)/测绘仪器(n)/店(ndi)，电话号码(n)/是(v)/18101012345(gtel)”。可见，如果句子中包含“搬迁”、“迁移”等同义词标记，则可以通过本步骤将它们聚合，均标注成“gmove”，以起到降维去噪的效果。

步骤400，根据所述特定词性标记删除所述语句片段中的冗余片段。

其中，所述冗余片段是指删除后不影响整个句子意思表达的语句片段。具体地，如图2所示，删除冗余片段的过程可以包括如下步骤：

步骤410，对于所述特定词性标记为后缀词标记的语句片段，删除位于该语句片段之前的词性标记表示名词的语句片段。

在上例中，“专卖店(ndi)”和“店(ndi)”都属于后缀词标记，将位于它们之前的“苹果(n)”和“科瑞(n)/测绘仪器(n)”删除后得到的结果为：“专卖店(ndi)/已(x)/搬迁(gmove)/现在(t)/是(v)/店(ndi)，电话号码(n)/是(v)/18101012345(gtel)”。由于后缀词标记之前的名词“苹果”、“科瑞”和“测绘仪器”均只是具体店铺的名称，不影响整个句子的意思表达，因此将其作为冗余片段删除，即有利于减轻后续运算量，又不影响意图识别的结果。

此处需要说明的是，如果预先得知所适用的应用场景中并不包含兴趣点名称，则也就不会产生后缀词标记语数据，因此该步骤也是可以省略的。

步骤420，删除所述词性标记表示形容词和/或副词的语句片段。

在上例中，经删除处理后得到的语句片段为：“专卖店(ndi)/搬迁(gmove)/现在(t)/是(v)/店(ndi)，电话号码(n)/是(v)/18101012345(gtel)”。由于副词“已”只是对动词“搬迁”的补充说明，不影响整个句子的意思表达，因此将其作为冗余片段删除，即有利于减轻后续运算量，又也不影响意图识别的结果。

此处需要说明的是，如果所适应的应用场景对意图识别精确度的要求很高，也可以保留形容词和副词，因此该步骤也是可以省略的。

步骤430，使用所述特定词性标记替换所述语句片段并删除所述词性标记。

在上例中，经替换删除处理后得到的结果为：“ndi/gmove/现在/是/ndi/电话号码/是/gtel”。

步骤500，对删除冗余片段后剩余的所述语句片段标注位置信息生成文本特征。

其中，所述文本特征是从文本数据中提取出来用于表达其意图的特征信息；所述位置信息是表示相应词语数据在文本数据中的位置的信息。例如，在上例中，经位置标注处理后得到的文本特征为：“(Ndi，B)/(gmove，M)/(现在，M)/(是，M)/(Ndi，M)/(电话号码，M)/(是，M)/(gtel，E)”。

其中，B表示相应的词语数据位于文本数据的开始，M表示相应的词语数据位于文本数据的中间，E表示相应的词语数据位于文本数据的结尾。

步骤600，对所述文本特征进行意图识别。

具体地，如图3所示，该步骤600可以包括如下步骤：

步骤610，根据所述文本特征判断所述文本数据的意图类型。

步骤620，当所述意图类型为适用于线性学习模型的意图时，使用线性SVM模型进行所述意图识别。

其中，适用于线性学习模型的意图例如为新增意图和电话意图。所述新增意图表示用户想要新增某些信息的意思，例如：新增兴趣点等；所述电话意图表示与电话号码相关的意图，例如：提供电话号码等。这两种意图的词语数据与所得到意图识别结果之间呈线性映射关系，因此可以使用线性学习模型来实现，线性学习模型具体为线性SVM模型，线性SVM(Support Vector Machine，支持向量机)模型是一种有监督的学习模型，其可以通过模式识别、分类以及回归分析等方式实现对比较简单的意图进行识别。

步骤630，当所述意图类型为不适用于线性学习模型的意图时，使用加高斯核的SVM模型进行所述意图识别。

其中，不适用于线性学习模型的意图例如为：位置引导意图、变更意图、搬迁意图、已关闭意图和不存在意图等。这些意图的词语数据与所得到意图识别结果之间呈非线性映射关系，使用线性学习模型不足以进行识别，因此需要使用非线性学习模型来实现，非线性学习模型具体为加高斯核的SVM模型，这种加高斯核的SVM模型能够通过上下文分析的方式实现对比较复杂的意图进行识别。

步骤631，对使用所述加高斯核的SVM模型进行所述意图识别所得到的识别结果进行筛选处理。

本步骤为可选步骤，如上所述使用加高斯核的SVM模型进行识别的意图通常为比较复杂的意图，不同的意图之间有互斥等问题。例如，搬迁意图表明要搬迁到地址A，而不存在意图表明地址A不存在，这就造成了语义上的矛盾，因此需要进一步根据上下文进行筛选处理，经筛选后发现，此前识别出的不存在意图有误，应更正为变更意图，即表明地址A的商店名发生了变更，从而消除了与搬迁意图之间的矛盾。

通过区分简单意图和复杂意图分别由线性学习模型和非线性学习模型进行识别，实现了对意图的分层识别，有利于充分利用不同学习模型的运算能力，提高意图识别的效率。

本实施例所述方法通过标注词性标记和位置信息，弥补了因切词处理而造成的信息丢失的问题，因此能够正确理解原文的意思，从而提高识别结果的准确度。并且，通过使用特定语词典标注特定词性标记并替换特定词性标记，从而去掉了许多无效词汇，因此精减了句子语义、降低了数据维度，消除了噪音词汇对识别过程影响，提高了识别结果的准确度也减少了运算量。并且由于无需人工参与，因此识别速度快、效率高。并且，由于特定语词典的内容以及上述删除和替换的规则可以根据应用场景的需要进行相应调整，因此还具有很强的可扩展性。本实施例所述方法适合于大部分文本分类的场合，比如具体的情感分类、话题分类等。能够针对性的对具体的类别特征进行提取和简化，以代替现有模型学习过程中的人为干预部分。比较适合于少量的训练样本，或是需要针对特殊生僻的文字进行人工干预的情形。

另举一例，假设用户反馈的文本数据有三条，分别为：“川味小吃已经关闭了”，“川味小吃已经关闭了”，“川味小吃已经不开了”。经过上述方法中的切词处理、词标注和特定词性标记替换后得到的数据分别为：

“川味(n)/小吃(n)/已经(x)/关闭了(gclose)”

“川味(n)/小吃(n)/已经(x)/倒闭了(gclose)”

“川味(n)/小吃(n)/已经(x)/不开了(gclose)”

再经过上述方法中的删除冗余和位置标注处理后，这三条文本数据均被简化成：

“(川味小吃，B)/(已经，M)/(gclose，E)”

实施例2

本实施例提供一种意图识别装置，如图4所示，包括：词语处理模块10、词性标记标注模块20、词性标记替换模块30、冗余删除模块40、特征生成模块50和意图识别模块60。该装置对于硬件资源需求比较小，可以运行在单机本地或云服务器上。具体地，其工作原理如下：

当收到用户反馈的文本数据时，由词语处理模块10对文本数据进行符号处理和切词处理得到切分后的语句片段；并由词性标记标注模块20对对所述语句片段标注词性标记；然后由词性标记替换模块30将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记。具体地，在进行替换时，将表示相同意图的多个语句片段的词性标记替换成同义词标记，将表示兴趣点名称后缀的语句片段的记性标记替换成后缀词标记。

此后，由冗余删除模块40根据所述特定词性标记删除所述语句片段中的冗余片段。具体地，对于所述特定词性标记为后缀词标记的语句片段，删除位于该语句片段之前的词性标记为名词的语句片段；删除所述词性标记为形容词和/或副词的语句片段；使用所述特定词性标记替换所述语句片段并删除所述词性标记。

此后，由特征生成模块50对删除冗余片段后剩余的所述语句片段标注位置信息生成文本特征；并由意图识别模块60对所述文本特征进行意图识别。具体地，在进行意图识别时，先根据所述文本特征判断所述文本数据的意图类型；当所述意图类型为适用于线性学习模型的意图时，使用线性SVM模型进行所述意图识别；当所述意图类型为不适用于线性学习模型的意图时，使用加高斯核的SVM模型进行所述意图识别。

本实施例的技术效果及相关说明可参见上述各方法实施例的相关内容，此处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种意图识别方法，其特征在于，包括：

对文本数据进行符号处理和切词处理得到切分后的语句片段；

对所述语句片段标注词性标记；

将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记；

根据所述特定词性标记删除所述语句片段中的冗余片段；

对删除冗余片段后剩余的所述语句片段标注位置信息生成文本特征；

对所述文本特征进行意图识别；

其中，将所述词性标记替换成所述特定词性标记包括：将表示相同意图的多个语句片段的词性标记替换成同义词标记，将表示兴趣点名称后缀的语句片段的词性标记替换成后缀词标记；

其中，根据所述特定词性标记删除所述语句片段中的冗余片段包括：对于所述特定词性标记为后缀词标记的语句片段，删除位于该语句片段之前的词性标记为名词的语句片段；删除所述词性标记为形容词和/或副词的语句片段；使用所述特定词性标记替换所述语句片段并删除所述词性标记。

2.根据权利要求1所述的方法，其特征在于，对所述文本特征进行意图识别包括：

根据所述文本特征判断所述文本数据的意图类型；

当所述意图类型为适用于线性学习模型的意图时，使用线性SVM模型进行所述意图识别；

当所述意图类型为不适用于线性学习模型的意图时，使用加高斯核的SVM模型进行所述意图识别。

3.一种意图识别装置，其特征在于，包括：

词语处理模块，用于对文本数据进行符号处理和切词处理得到切分后的语句片段；

词性标记标注模块，用于对对所述语句片段标注词性标记；

词性标记替换模块，用于将所述语句片段中包含在预设的特定语词典中的语句片段的词性标记替换成特定词性标记；

冗余删除模块，用于根据所述特定词性标记删除所述语句片段中的冗余片段；

特征生成模块，用于对删除冗余片段后剩余的所述语句片段标注位置信息生成文本特征；

意图识别模块，用于对所述文本特征进行意图识别；

其中，将所述词性标记替换成所述特定词性标记包括：将表示相同意图的多个语句片段的词性标记替换成同义词标记，将表示兴趣点名称后缀的语句片段的词性标记替换成后缀词标记；

其中，根据所述特定词性标记删除所述语句片段中的冗余片段包括：对于所述特定词性标记为后缀词标记的语句片段，删除位于该语句片段之前的词性标记为名词的语句片段；删除所述词性标记为形容词和/或副词的语句片段；使用所述特定词性标记替换所述语句片段并删除所述词性标记。

4.根据权利要求3所述的装置，其特征在于，所述词性标记替换模块用于：将表示相同意图的多个语句片段的词性标记替换成同义词标记，将表示兴趣点名称后缀的语句片段的词性标记替换成后缀词标记。

5.根据权利要求4所述的装置，其特征在于，所述冗余删除模块用于：

对于所述特定词性标记为后缀词标记的语句片段，删除位于该语句片段之前的词性标记表示名词的语句片段；

删除所述词性标记表示形容词和/或副词的语句片段；

使用所述特定词性标记替换所述语句片段并删除所述词性标记。

6.根据权利要求3所述的装置，其特征在于，所述意图识别模块包括：

根据所述文本特征判断所述文本数据的意图类型；

当所述意图类型为适用于线性学习模型的意图时，使用线性SVM模型进行所述意图识别；

当所述意图类型为不适用于线性学习模型的意图时，使用加高斯核的SVM模型进行所述意图识别。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1或2所述的方法。

8.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1或2所述的方法。

Images