CN110427478A - 一种基于知识图谱的问答搜索方法及系统 - Google Patents

Abstract

本发明公开了一种基于知识图谱的问答搜索方法及系统，方法包括从QA语料库中每条语料中抽取对应的实体、谓词和值；以三元组形式导入图形数据库，形成乒乓球领域的知识图谱；选取QA语料库中的问题表示为问题模板，形成问题模板知识库；根据问题模板知识库中的每个问题模板所对应的实体和值，查找连接实体和值的直接谓词，将问题模板映射到此谓词构建谓词模板知识库；对用户提出的问题抽取实体，在谓词模板知识库中查找出该实体所对应的谓词，得到对应的实体‑谓词对；根据实体‑谓词对在知识图谱中进行查询，得到对应的值即为答案。本发明使用问题模板进行问题表示，相比于之前基于关键字、规则、同义词的问题表示方法更加准确方便。

Description

一种基于知识图谱的问答搜索方法及系统

技术领域

本发明涉及人工智能中的自然语言处理技术领域，具体涉及一种基于知识图谱的问答搜索方法及系统。

背景技术

问答是计算机与人类以自然语言的形式进行交流的一种方式，是人工智能领域的一个分支，也是互联网搜索、人机交互等多个领域的关键应用技术。互联网的快速发展，导致网络上的信息量呈现出爆炸式增长的势头，准确的问答搜索方法显得尤为重要。基于知识库的问答搜索历史悠久，近年来，大规模的知识库，包括谷歌的知识图谱，Freebase，YAG02等，大大提高了问答系统的重要性和商业价值，大多数此类知识库采用RDF（资源描述框架，用于描述Web资源的标记语言）作为数据格式，它们包含数百万条的SPO(主题，谓词和对象)的三元组。除此之外，国外已经有几个比较成熟的问答系统，如Start，Webclopedia，AnswerBus等系统，这些问答系统允许用户以一种自然语言的形式进行提问，并且直接给出答案。但是相比之下，由于中文本身的语义、语法复杂性等多方面因素，中文问答系统的发展相对逊色一点。

优秀的问答搜索系统有两个关键点，精确的问题理解和高质量的知识来源。近年来，随着大数据的发展，这两点纷纷迎来了数据层面的发展契机。由于问题的多样性和复杂性，社交类问答网站的兴起，提供了问答理解的优质语料。知识图谱，本质上是一种语义网络，其节点代表实体，边代表实体之间的各种语义关系。鉴于乒乓球领域的问答语料多数为陈述性语料形式，并且可以按照人物、技术、赛事等类别进行分类，便于进行构建类别清晰的知识图谱。

给出一个针对知识库的问题，我们面临两个挑战，如何理解问题进行问题表示，以及如何将问题表示映射到针对知识库的结构化查询。在问题表示中，我们知道问题描述了多个意图，一个意图对应多个问题模板，问答系统针对不同问题设计不同的问题表示，这种问题表示必须能够识别不同的具有相同语义的问题，并且区分不同的问题意图。在确定了问题表示之后，我们需要将问题表示映射到结构化查询，结构化查询主要依赖于知识库中的谓词，由于谓词和问题表示之间的差距，找到这样的映射非常重要。

针对以前基于知识库的问答系统如何表示问题，我们大致将问题表示分为三类，基于规则、基于关键字、基于同义词。基于规则的方法通过使用手动构建的规则将问题映射到谓词，基于关键字的方法通过提取问题关键字并且通过关键字将问题映射到谓词，基于同义词的方法通过考虑预测的同义词来扩展基于关键字的方法。基于规则的方法，需要付出大量的人工标签工作，基于关键字或基于同义词的方法，一个单词或一个短语不能完全代表问题的语义意图。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于知识图谱的问答搜索方法，解决问答系统中无法明确识别具体问题，答案搜索速度慢的技术问题。

为解决上述技术问题，本发明提供了一种基于知识图谱的问答搜索方法，其特征是，包括以下过程：

从网站上爬取乒乓球相关语料形成QA语料库；

从QA语料库中每条语料中抽取对应的实体、谓词和值；

将每条语料以（实体、谓词、值）三元组形式导入图形数据库，形成乒乓球领域的知识图谱；

选取QA语料库中的问题表示为问题模板，形成问题模板知识库；

根据问题模板知识库中的每个问题模板所对应的实体和值，查找连接实体和值的直接谓词，将问题模板映射到此谓词构建谓词模板知识库；

对用户提出的问题抽取实体，在谓词模板知识库中查找出该实体所对应的谓词，得到对应的实体-谓词对；根据实体-谓词对在知识图谱中进行查询，得到对应的值即为答案。

进一步的，从QA语料库中每条语料中抽取对应的实体、谓词和值包括：

采用MITIE抽取工具从QA语料库中每条语料中抽取对应的实体、谓词和值。

进一步的，图形数据库为Neo4j图形数据库。

进一步的，问题表示为问题模板包括：

使用概念化机制将问题表示为问题模板。

相应的，本发明提供了一种基于知识图谱的问答搜索系统，其特征是，包括获取语料模块、语料抽取模块、知识图谱构建模块、问题模板构建模块、谓词模板构建模块和问答搜索模块；

获取语料模块，用于从网站上爬取乒乓球相关语料形成QA语料库；

语料抽取模块，用于从QA语料库中每条语料中抽取对应的实体、谓词和值；

知识图谱构建模块，用于将每条语料以（实体、谓词、值）三元组形式导入图形数据库，形成乒乓球领域的知识图谱；

问题模板构建模块，用于选取QA语料库中的问题表示为问题模板，形成问题模板知识库；

谓词模板构建模块，用于根据问题模板知识库中的每个问题模板所对应的实体和值，查找连接实体和值的直接谓词，将问题模板映射到此谓词构建谓词模板知识库；

问答搜索模块，用于对用户提出的问题抽取实体，在谓词模板知识库中查找出该实体所对应的谓词，得到对应的实体-谓词对；根据实体-谓词对在知识图谱中进行查询，得到对应的值即为答案。

进一步的，语料抽取模块中，从QA语料库中每条语料中抽取对应的实体、谓词和值包括：

采用MITIE抽取工具从QA语料库中每条语料中抽取对应的实体、谓词和值。

进一步的，知识图谱构建模块中，图形数据库为Neo4j图形数据库。

进一步的，问题模板构建模块中，问题表示为问题模板包括：

使用概念化机制将问题表示为问题模板。

与现有技术相比，本发明所达到的有益效果是：

1、本发明选取乒乓球网站爬取八千多条语料构建了乒乓球领域的知识图谱，为乒乓球领域的问答搜索提供了优质的语料库；

2、本发明使用问题模板进行问题表示，相比于之前基于关键字、规则、同义词的问题表示方法更加准确方便；

3、本发明选取语料库的部分语料进行问题模板的构建，提高计算速度；

4、本发明实现了乒乓球领域的问答系统，使得乒乓球领域的人机交互更加灵活。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种基于知识图谱的问答搜索方法，参见图1所示，包括以下步骤：

第一步，从乒乓球相关网站上爬取乒乓球相关语料，各语料以QA问答对形式存储形成QA语料库。

第二步，将第一步得到的QA语料库中的语料进行分类，用于在之后的知识图谱构建过程中导入指定节点。语料分为技术、赛事、人物等类别，每条语料使用已有的MITIE抽取工具进行实体抽取、谓词抽取、值抽取。

MITIE 即 MIT （麻省理工）的 NLP 团队发布的一个信息抽取库和工具，提供了训练自定义抽取器和谓词检测器的工具。

第三步，将第二步经过抽取之后的语料存入知识库，知识库中每条语料都是以(S,P,O)（S代表实体，P代表谓词，O代表值）形式的三元组来描述，例如：马龙-出生日期-1988.8。

第四步，将第三步得到的知识库中的(S,P,O)三元组数据人工参与质量评估，消除歧义。歧义的产生是因为有些词语在不同领域有不同意思，比如乒乓球拍的牌子“蝴蝶”和昆虫界的蝴蝶系统是区分不了的，所以需要消除歧义。这些易产生歧义的词可以根据生活经验自己设定。

第五步，将第四步中经过消除歧义的知识库语料以实体-谓词-值的形式导入Neo4j图形数据库，导入过程使用Neo4j相关指令，比如import，自动构建乒乓球领域的知识图谱，知识图谱是以图形形式展示上述（SPO）三元组的关系图，实际就是图形数据库的展示形式。

第六步，随机选取第一步中的QA语料库中30%的问题进行问题模板知识库的构建，选取部分语料而不是全部是为了提升计算速度。

构建过程为：使用现有的概念化机制（概念化机制是指将具体的实体表示为它的专有名词，比如南京可以用城市表示，概念即指实体的所属范畴词，这里的“城市”即指概念），该机制将自动对问题进行消歧，比如出现“蝴蝶”的时候，概念化机制将蝴蝶表示为乒乓球拍而不是昆虫，用概念替换问题中的实体，将问题表示为问题模板，构建问题模板知识库；

第七步，根据第六步中的问题模板知识库中的每个问题模板所对应的实体和值，在第四步处理后形成的知识库中查找连接实体和值的直接谓词，如果问题模板的大多数实例共享相同的谓词，将问题模板映射到此谓词，构建谓词模板知识库，存储形式为问题模板-谓词。

第八步，对用户提出的问题使用MITIE抽取工具进行实体抽取，同样使用概化机制进行问题模板构建，之后在第七步形成的问题模板知识库中查找出该问题模板所对应的谓词，得到对应的实体-谓词对。

第九步，根据第八步得到的实体-谓词对在第四步形成的Neo4j图形数据库中使用相关的查询语句进行查询，得到对应的值即答案，并返回。

相应的，本发明提供了一种基于知识图谱的问答搜索系统，其特征是，包括获取语料模块、语料抽取模块、知识图谱构建模块、问题模板构建模块、谓词模板构建模块和问答搜索模块；

获取语料模块，用于从网站上爬取乒乓球相关语料形成QA语料库；

语料抽取模块，用于从QA语料库中每条语料中抽取对应的实体、谓词和值；

知识图谱构建模块，用于将每条语料以（实体、谓词、值）三元组形式导入图形数据库，形成乒乓球领域的知识图谱；

问题模板构建模块，用于选取QA语料库中的问题表示为问题模板，形成问题模板知识库；

谓词模板构建模块，用于根据问题模板知识库中的每个问题模板所对应的实体和值，查找连接实体和值的直接谓词，将问题模板映射到此谓词构建谓词模板知识库；

问答搜索模块，用于对用户提出的问题抽取实体，在谓词模板知识库中查找出该实体所对应的谓词，得到对应的实体-谓词对；根据实体-谓词对在知识图谱中进行查询，得到对应的值即为答案。

进一步的，语料抽取模块中，从QA语料库中每条语料中抽取对应的实体、谓词和值包括：

采用MITIE抽取工具从QA语料库中每条语料中抽取对应的实体、谓词和值。

进一步的，知识图谱构建模块中，图形数据库为Neo4j图形数据库。

进一步的，问题模板构建模块中，问题表示为问题模板包括：

使用概念化机制将问题表示为问题模板。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (8)

1.一种基于知识图谱的问答搜索方法，其特征是，包括以下过程：

从网站上爬取乒乓球相关语料形成QA语料库；

从QA语料库中每条语料中抽取对应的实体、谓词和值；

将每条语料以实体、谓词和值三元组形式导入图形数据库，形成乒乓球领域的知识图谱；

选取QA语料库中的问题表示为问题模板，形成问题模板知识库；

根据问题模板知识库中的每个问题模板所对应的实体和值，查找连接实体和值的直接谓词，将问题模板映射到此谓词构建谓词模板知识库；

对用户提出的问题抽取实体，在谓词模板知识库中查找出该实体所对应的谓词，得到对应的实体-谓词对；根据实体-谓词对在知识图谱中进行查询，得到对应的值即为答案。

2.根据权利要求1所述的一种基于知识图谱的问答搜索方法，其特征是，从QA语料库中每条语料中抽取对应的实体、谓词和值包括：

采用MITIE抽取工具从QA语料库中每条语料中抽取对应的实体、谓词和值。

3.根据权利要求1所述的一种基于知识图谱的问答搜索方法，其特征是，图形数据库为Neo4j图形数据库。

4.根据权利要求1所述的一种基于知识图谱的问答搜索方法，其特征是，问题表示为问题模板包括：

使用概念化机制将问题表示为问题模板。

5.一种基于知识图谱的问答搜索系统，其特征是，包括获取语料模块、语料抽取模块、知识图谱构建模块、问题模板构建模块、谓词模板构建模块和问答搜索模块；

获取语料模块，用于从网站上爬取乒乓球相关语料形成QA语料库；

语料抽取模块，用于从QA语料库中每条语料中抽取对应的实体、谓词和值；

知识图谱构建模块，用于将每条语料以实体、谓词和值三元组形式导入图形数据库，形成乒乓球领域的知识图谱；

问题模板构建模块，用于选取QA语料库中的问题表示为问题模板，形成问题模板知识库；

谓词模板构建模块，用于根据问题模板知识库中的每个问题模板所对应的实体和值，查找连接实体和值的直接谓词，将问题模板映射到此谓词构建谓词模板知识库；

问答搜索模块，用于对用户提出的问题抽取实体，在谓词模板知识库中查找出该实体所对应的谓词，得到对应的实体-谓词对；根据实体-谓词对在知识图谱中进行查询，得到对应的值即为答案。

6.根据权利要求5所述的一种基于知识图谱的问答搜索系统，其特征是，语料抽取模块中，从QA语料库中每条语料中抽取对应的实体、谓词和值包括：

采用MITIE抽取工具从QA语料库中每条语料中抽取对应的实体、谓词和值。

7.根据权利要求5所述的一种基于知识图谱的问答搜索系统，其特征是，知识图谱构建模块中，图形数据库为Neo4j图形数据库。

8.根据权利要求5所述的一种基于知识图谱的问答搜索系统，其特征是，问题模板构建模块中，问题表示为问题模板包括：

使用概念化机制将问题表示为问题模板。