CN110968686A - 意图识别方法、装置、设备及计算机可读介质 - Google Patents

Abstract

本发明提出一种意图识别方法、装置、设备和计算机可读介质。所述方法包括构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词；构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条；获取查询词条，通过所述意图词典对所述查询词条的意图进行分类；计算所述查询词条与检索意图库中对应的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。本发明实施例先通过意图词典进行初步筛选，再通过检索意图库进行语义相似度比对，可以增加意图识别的准确率。另外，还可以动态扩充检索意图库，大大提高系统可扩展性和可维护性。

Description

意图识别方法、装置、设备及计算机可读介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种意图识别方法及装置、设备和计算机可读介质。

背景技术

目前，需要对用户的搜索时的意图进行识别，以防止不法行为的发生。例如，有些犯罪分子会通过搜索方式获取对应相关的信息。因此，需要对有犯罪意图的查询进行提取和识别。

现有技术中采用基于关键词词典规则的方法对查询词条进行识别，即根据查询词条和词典的匹配程度或者重合程度来进行判断该查询词条的意图。

然而，由于在某些领域中大部分关键词具有多重含义，通过关键词匹配进行识别误判率较高。

发明内容

本发明实施例提供一种意图识别方法、装置、设备及计算机可读介质，以解决或缓解现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种意图识别方法，包括：

构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词；

构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条；

获取查询词条，通过所述意图词典对所述查询词条的意图进行分类；

计算所述查询词条与检索意图库中对应的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。

在一种实施方式中，所述构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条，包括：

将历史查询词条与所述意图词典的意图关键词进行匹配，获得该历史查询词条的意图分类；

对历史查询词条的意图正确性进行标注，将标注正确的历史查询存储到检索意图数据库中。

在一种实施方式中，所述通过所述意图词典对所述查询词条的意图进行分类，包括：

将获取的查询词条与所述意图词典的意图关键词进行匹配，获取所述查询词条对应的意图分类。

在一种实施方式中，所述计算所述查询词条与检索意图库中对应的历史查询词条的语义相似度，获取所述查询词条的意图识别结果，包括：

计算所述查询词条与相同分类下的历史查询词条的语义相似度；

当所述语义相似度达到设定的阈值时，则将所述历史查询词条的意图作为所述查询词条的意图进行输出。

在一种实施方式中，所述方法还包括：

将获得的查询词条和该查询词条的检索意图添加至所述检索意图库。

第二方面，本发明实施例提供了一种意图识别装置，包括：

意图词典构建模块，用于构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词；

检索意图库构建模块，用于构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条；

分类模块，用于获取查询词条，通过所述意图词典对所述查询词条的意图进行分类；

识别模块，用于计算所述查询词条与对应的检索意图库中的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。

在一种实施方式中，所述检索意图库构建模块包括：

第一匹配子模块，用于将历史查询词条与所述意图词典的意图关键词进行匹配，获得该历史查询词条的意图分类；

标注子模块，用于对历史查询词条的意图正确性进行标注，将标注正确的历史查询存储到检索意图数据库中。

在一种实施方式中，所述分类模块包括：

第二匹配子模块，用于将获取的查询词条与所述意图词典的意图关键词进行匹配，获取所述查询词条对应的意图分类。

在一种实施方式中，所述识别模块包括：

计算子模块，用于计算所述查询词条与相同分类下的历史查询词条的语义相似度；

输出子模块，用于当所述语义相似度达到设定的阈值时，则将所述历史查询词条的意图作为所述查询词条的意图进行输出。

在一种实施方式中，所述装置还包括：

更新模块，用于将获得的查询词条和该查询词条的检索意图添加至所述检索意图库。

第三方面，在一个可能的设计中，意图识别装置的结构中包括处理器和存储器，所述存储器用于存储支持意图识别装置执行上述第一方面中意图识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述意图识别装置还可以包括通信接口，用于意图识别装置与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读介质，用于存储意图识别装置所用的计算机软件指令，其包括用于执行上述第一方面的意图识别方法所涉及的程序。

本发明实施例先通过意图词典进行初步筛选，再通过检索意图库进行语义相似度比对，可以增加意图识别的准确率。另外，还可以动态扩充检索意图库，大大提高系统可扩展性和可维护性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明一实施例的意图识别方法的流程图；

图2为本发明一实施例的步骤S120的具体步骤流程图；

图3为本发明一实施例的步骤S140的具体步骤流程图；

图4为本发明一实施例的意图识别方法的流程图；

图5为本发明一实施例的意图识别方法的应用流程图；

图6为本发明另一实施例的意图识别装置的连接框图；

图7为本发明另一实施例的检索意图库构建模块的内部框图；

图8为本发明另一实施例的分类模块的内部框图；

图9为本发明另一实施例的识别模块的内部框图；

图10为本发明另一实施例的意图识别装置的连接框图；

图11为本发明另一实施例的意图识别设备框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。本发明实施例主要提供了一种意图识别方法及装置，下面分别通过以下实施例进行技术方案的展开描述。

本发明提供了一种意图识别方法和装置，以下详细介绍本发明实施例的意图识别方法和装置的具体处理流程和原理。

如图1所示，其为本发明实施例的意图识别方法的流程图。本发明实施例的意图识别方法可以包括以下步骤：

S110：构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词。

在构建词典时，可以将相关领域的词包进行汇总，生成全局词包。例如，当需要构建一个有违法意图的词典时，可以将不同类别的犯罪意图进行汇总。例如，区分为A类犯罪意图、B类犯罪意图等进行汇总。如下表1所示，对不同分类的犯罪意图可以设置相关的关键词。

表1意图关键词及意图分类

意图分类	意图关键词
		A类犯罪	A1药物、A2药物
B类犯罪	B1行为、B2行为

S120：构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条。

如图2所示，在一种实施方式中，所述步骤S120中，可以包括：

S121：将历史查询词条与所述意图词典的意图关键词进行匹配，获得该历史查询词条的意图分类。

对于历史查询词条，可以从对历史全量数据进行抽样，例如可以按照查询时间进行抽样，获得数量合适的历史查询词条。然后，在进行意图分类时，根据意图词典中的关键词进行匹配，初步筛选出满足意图分类的用户。比如，对于一个历史查询词条中包含“A1药物”关键词时，经过关键词比对后，将其归类为有A类犯罪意图的查询词条。

S122：对历史查询词条的意图正确性进行标注，将标注正确的历史查询存储到检索意图数据库中。

在经过初步分类后，还需要对上述词条意图的正确性进行标注。具体的标注方法可以通过人工标注，或者半监督学习方式进行标注。如下表2所示，可以对以下查询词条的分类进行正确性标注。然后，再将标注正确的查询词条存储至检索意图库中。

表格2意图正确性标注

S130：获取查询词条，通过所述意图词典对所述查询词条的意图进行分类。

对于新的查询词条，可以通过将该查询词条与所述意图词典的意图关键词进行匹配，获取所述查询词条对应的意图分类。在对所述查询词条进行分类处理时，可以根据意图关键词和设定的规则进行匹配筛选。比如，查询词条中包含的关键词的匹配规则为：(A1类药物and买and卖)等。如下表3所示，假设获取的分类结果为：

表格3意图识别预处理结果

S140：计算所述查询词条与检索意图库中对应的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。

在特定领域中，大部分关键词具有多义性，通过简单规则和关键词匹配获取的意图用户准确率很低，因此需要语义理解进行精确筛选。因此，在本步骤中还需要对初步筛选的查询词条与历史查询词条计算语音相似度，从而获取更加精确的结果。如图3所示，在所述步骤S140中，可以包括：

S141：计算所述查询词条与相同分类下的历史查询词条的语义相似度。

在计算语义相似度时，可以通过现有的神经网络模型等将这两个词条转换为对应的语义向量，然后再计算两者的余弦相似度。

S142：当所述语义相似度达到设定的阈值时，则将所述历史查询词条的意图作为所述查询词条的意图进行输出。

例如，针对与查询词条“哪里有卖A1药物的”，假设历史查询词条中有“哪里可以买A1药物”的词条。经过计算，这两个词条的相似度达到设定阈值，则可以判断为当前查询的词条“哪里有卖A1药物”的查询意图分类为：A类。同理，若当前的查询词条为“哪里可以买到蛋白粉”，经过计算其与历史词条的语音相似度低于设定阈值，则表示当前的查询词条分类错误，其查询意图并非毒品。例如，在表3的基础上经过与历史查询词条的语音相似度的计算后，可以获得下表4的识别结果：

表4意图识别结果

用户ID	检索query词	意图关键词	意图分类
				1	一克A1药物多少钱	A1药物	A类
4	吸A2药物的人最怕吃什么	A2药物	A类
				5	哪里有卖A1药物的	A1药物	A类

如图4所示，在另一个实施例中，所述检索词意图识别方法还包括：

S150：将获得的查询词条和该查询词条的检索意图添加至所述检索意图库。

由于新产生的查询词条和意图关键词的动态变化，因此需要对标注正确和新增的可疑意图查询词条数据进行迭代计算，产生意图正确标注数据。迭代计算方式可以是定期人工标注或者半监督学习方式进行。基于表4产出的新标注数据如下表5所示：

表5意图标注

检索query词	意图关键词	意图分类	标注类型
				一克A1药物多少钱	A1药物	A类	原始标注
吸A2药物的人最怕吃什么	A2药物	A类	原始标注
				哪里有卖A1药物的	A1药物	A类	新增标注

如图5所示，其为本发明实施例的意图识别方法的应用流程图。以下整体介绍本发明实施例的意图识别方法的在犯罪筛查应用领域中的应用流程。

如图5所示，首先依次建立意图词典和检索意图库。其中所述意图词典可以汇总毒品意图词包、犯罪意图词包等。所述检索意图库则先对历史从检索词进行抽样，然后再对其检索意图进行标注，将标注为犯罪意图的存储入检索意图库中。

接着，对于当前需要判断是否有犯罪意图的检索数据源，先根据意图词典进行意图识别预处理，即根据意图词典中的关键词进行匹配筛查，获取具备所述意图词典中的关键词的检索词。

然后，再将筛选后的检索词与检索意图库中的检索词进行语义相似度的计算，根据计算结果输出该检索词的意图识别结果。

最后，根据最新的检索词的意图识别结果，将具有犯罪意图的检索词存储至检索意图库中。

本发明实施例先通过意图词典进行初步筛选，再通过检索意图库进行语义相似度比对，可以增加意图识别的准确率。另外，还可以动态扩充检索意图库，大大提高系统可扩展性和可维护性。

如图6所示，本发明在另一个实施例中还提供了一种意图识别装置，包括：

意图词典构建模块110，用于构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词；

检索意图库构建模块120，用于构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条；

分类模块130，用于获取查询词条，通过所述意图词典对所述查询词条的意图进行分类；

识别模块140，用于计算所述查询词条与对应的检索意图库中的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。

如图7所示，所述检索意图库构建模块120包括：

第一匹配子模块121，用于将历史查询词条与所述意图词典的意图关键词进行匹配，获得该历史查询词条的意图分类；

标注子模块122，用于对历史查询词条的意图正确性进行标注，将标注正确的历史查询存储到检索意图数据库中。

如图8所示，所述分类模块130包括：

第二匹配子模块131，用于将获取的查询词条与所述意图词典的意图关键词进行匹配，获取所述查询词条对应的意图分类。

如图9所示，所述识别模块140包括：

计算子模块141，用于计算所述查询词条与相同分类下的历史查询词条的语义相似度；

输出子模块142，用于当所述语义相似度达到设定的阈值时，则将所述历史查询词条的意图作为所述查询词条的意图进行输出。

如图10所示，所述装置还包括：

更新模块150，用于将获得的查询词条和该查询词条的检索意图添加至所述检索意图库。

本实施例的意图识别装置与上述实施例的意图识别方法的原理类似，故不再赘述。

在另一个实施例中，本发明还提供一种意图识别设备，如图11所示，该设备包括：存储器510和处理器520，存储器510内存储有可在处理器520上运行的计算机程序。所述处理器520执行所述计算机程序时实现上述实施例中的意图识别方法。所述存储器510和处理器520的数量可以为一个或多个。

该设备还包括：

通信接口530，用于与外界设备进行通信，进行数据交互传输。

存储器510可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器510、处理器520和通信接口530独立实现，则存储器510、处理器520和通信接口530可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器510、处理器520及通信接口530集成在一块芯片上，则存储器510、处理器520及通信接口530可以通过内部接口完成相互间的通信。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

本发明实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

在本发明实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种意图识别方法，其特征在于，包括：

构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词；

构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条；

获取查询词条，通过所述意图词典对所述查询词条的意图进行分类；

计算所述查询词条与检索意图库中对应的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。

2.根据权利要求1所述的方法，其特征在于，所述构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条，包括：

将历史查询词条与所述意图词典的意图关键词进行匹配，获得该历史查询词条的意图分类；

对历史查询词条的意图正确性进行标注，将标注正确的历史查询存储到检索意图数据库中。

3.根据权利要求1所述的方法，其特征在于，所述通过所述意图词典对所述查询词条的意图进行分类，包括：

将获取的查询词条与所述意图词典的意图关键词进行匹配，获取所述查询词条对应的意图分类。

4.根据权利要求1所述的方法，其特征在于，所述计算所述查询词条与检索意图库中对应的历史查询词条的语义相似度，获取所述查询词条的意图识别结果，包括：

计算所述查询词条与相同分类下的历史查询词条的语义相似度；

当所述语义相似度达到设定的阈值时，则将所述历史查询词条的意图作为所述查询词条的意图进行输出。

5.根据权利要求1所述的方法，其特征在于，还包括：

将获得的查询词条和该查询词条的检索意图添加至所述检索意图库。

6.一种意图识别装置，其特征在于，包括：

意图词典构建模块，用于构建意图词典，在所述意图词典中存储至少一个意图分类及该意图分类对应的意图关键词；

检索意图库构建模块，用于构建检索意图库，在所述检索意图库中存储至少一个意图分类及该意图分类对应的历史查询词条；

分类模块，用于获取查询词条，通过所述意图词典对所述查询词条的意图进行分类；

识别模块，用于计算所述查询词条与对应的检索意图库中的历史查询词条的语义相似度，获取所述查询词条的意图识别结果。

7.根据权利要求6所述的装置，其特征在于，所述检索意图库构建模块包括：

第一匹配子模块，用于将历史查询词条与所述意图词典的意图关键词进行匹配，获得该历史查询词条的意图分类；

标注子模块，用于对历史查询词条的意图正确性进行标注，将标注正确的历史查询存储到检索意图数据库中。

8.根据权利要求6所述的装置，其特征在于，所述分类模块包括：

第二匹配子模块，用于将获取的查询词条与所述意图词典的意图关键词进行匹配，获取所述查询词条对应的意图分类。

9.根据权利要求6所述的装置，其特征在于，所述识别模块包括：

计算子模块，用于计算所述查询词条与相同分类下的历史查询词条的语义相似度；

输出子模块，用于当所述语义相似度达到设定的阈值时，则将所述历史查询词条的意图作为所述查询词条的意图进行输出。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

更新模块，用于将获得的查询词条和该查询词条的检索意图添加至所述检索意图库。

11.一种意图识别设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的意图识别方法。

12.一种计算机可读介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的意图识别方法。

Images