CN110555153A - 一种基于领域知识图谱的问答系统及其构建方法 - Google Patents

Abstract

本发明公开了一种基于领域知识图谱的问答系统构建方法，包括步骤：从互联网中爬取给定领域的信息，抽取信息中的三元组，将三元组插入到图数据库中进行存储；对用户输入的问句进行分词、句法分析，获得问句中各词语之间的依存关系表，依存关系指一个句子中各词语之间的依赖关系；通过遍历依存关系表生成查询语义图，并将查询语义图转换为图数据库的查询语句；最终用查询语句查询图数据库，得到答案。本发明还提出一种采用上述方法构建的问答系统，包括知识图谱构建模块、问答模块、后台处理模块和前端展示模块。本发明面向给定领域，爬取互连网中有效信息，抽取三元组创建知识图谱数据库，问答系统通过查询知识图谱数据库，返回准确且简洁的答案。

Description

一种基于领域知识图谱的问答系统及其构建方法

技术领域

本发明涉及知识图谱与自动问答系统研究领域，特别涉及一种基于领域知识图谱的问答系统及其构建方法。

背景技术

随着大数据时代的到来，互联网上的信息呈爆炸式增长，仅含有网页与网页之间链接的传统万维网已经不能满足人们快速获取信息的需求，人们希望以更智能的方式去组织互联网上的资源，以便快速、准确的获取自己需要的信息。问答系统有多种类型，如：社区问答系统，基于阅读理解的问答系统，基于知识图谱的问答系统等，涉及知识源搜索与构建、问题分析与答案获取等技术。传统的问答系统是根据用户输入的关键字，去数据库中进行匹配并计算相似度，返回一些相似度相对较高的网页链接，用户需要自己过滤网页中信息才能获取想要的答案。其中，基于知识图谱的问答系统，可以返回准确、简洁的答案，不需要用户额外的去筛选信息。此外，这种系统还可以方便、快捷的获取用户查询的相关信息，有利于更好地挖掘用户的潜在意图。

知识图谱是结构化的语义知识库，以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是三元组。三元组的基本形式主要包括两种：(实体1，关系，实体2)，(概念，属性，属性值)。知识图谱的数据通常来源于非结构化文本，需要从非结构化数据中抽取有效信息构建三元组。基于领域知识图谱的问答系统，目前在相关方面已研究取得了如下一些成果。

(1)知识图谱数据库建立方法

通过自然语言处理(Nature Language Processing，NLP)技术在领域文本中进行命名实体识别(Named Entity Recognition，NER)以及关系抽取，识别出特定名词和有含义的短语。例如：Wang C等人在文章《Information extraction and knowledge graph》中提出利用自然语言处理方法从中文地质科学文献中提取信息，构建一个混合语料库去训练地质单词分词器，并对分词器的分词结果进行频率统计分析来构建知识图谱。Jia Y等人在文章《A practical approach to constructing a knowledge graph for cybersecurity》中提出用Stanford NER来训练提取器以提取与网络安全相关的实体，构建了一个基于漏洞的网络安全本体。此外，Martinez-Rodriguez J L等人在文章《OpenIE-based approachfor knowledge graph construction from text》中提出了一种使用OpenIE生成的二元关系来构造知识图谱的方法，并提出了有利于从web网页上提取和链接知识图谱实体的策略。

(2)问答系统相关技术

传统的问答系统一般依据已经构建的历史问答库，对用户提出的问题进行预处理后，从已有的问题集中找出与所提出问题最相似的问题，再根据相似问题集合得到对应的答案集合。基于知识图谱的问答系统，需要构建知识图谱数据库，对问句进行自然语言处理与理解，并转换为知识图谱库可以实现查询的模式。例如，许坤等在文献《面向知识库的中文自然语言问句的语义理解》中提出利用Stanford Parser工具构建句法分析树以及依存关系生成查询语义图，丁烨在文献《基于本体的中文问答系统中问句的语义理解》中提出了基于本体的中文问答系统中问句的语义理解方法，等等。

目前，国内外对于中文知识图谱研究也越来越重视，现已取得了许多有价值的研究成果。商业应用以百度知心、搜狗知立方为代表，学术界以清华大学中英文跨语言知识图谱XLore、上海交通大学的中文知识图谱研究平台zhishi.me等为代表，这些项目的特点是知识库规模比较大，涵盖较广泛的知识领域，可以为用户提供一定的智能搜索及问答服务。但是这种搜索和问答服务仍普遍存在下述缺陷：

第一，目前大多数问答系统以及知识图谱涉及科技、人文等诸多领域，如：由Google于2012年提出的知识图谱是面向全领域的通用知识图谱，强调的是知识广度。对于特定专业知识的搜索而言，这些通用知识图谱信息庞大，通过搜索知识图谱数据库得到的问题答案通常包含过多不相关的信息，使得查准率不高。

第二，现有问答系统对特定领域的问题理解不够准确，没有采用有效的工具和算法对问题进行语法结构、语义分析，使得问题和知识图谱库匹配失败，找不到正确答案。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于领域知识图谱的问答系统及其构建方法，本发明可以基于特定领域的中文知识图谱返回准确且简洁的答案，不需要用户额外地去筛选信息。

本发明的目的通过以下的技术方案实现：一种基于领域知识图谱的问答系统构建方法，包括步骤：

从互联网中爬取给定领域的信息，抽取信息中的三元组，将三元组插入到图数据库中进行存储；

对用户输入的问句进行分词、句法分析，获得问句中各词语之间的依存关系表，所述依存关系指一个句子中各词语之间的依赖关系；

通过遍历依存关系表生成查询语义图，并将查询语义图转换为图数据库的查询语句；

最终用查询语句查询图数据库，得到答案。

优选的，所述从互联网中爬取给定领域的信息，包括如下步骤：

(1-1)初始化URL(WWW页的地址)待爬取队列；

(1-2)从待爬取队列中取出一个URL访问；

(1-3)获取所访问网页的源码，抽取三元组；

(1-4)从网页的源码中提取新的URL；

(1-5)根据当前待爬取队列和已爬队列对提取的新的URL进行过滤和去重；

(1-6)将过滤和去重后的新URL加入待爬取队列，把当前已经抽取信息的URL添加到已爬队列；

(1-7)重复(1-2)～(1-6)，直到待爬取队列为空。

优选的，从互联网中爬取给定领域的信息时，针对所访问网页的源码，利用正则表达式进行解析并抽取出三元组知识，方法是：

首先，利用xpath函数提取网页源码中所有<div class＝’para’></div>块中的段落内容；然后，利用python，使用pyltp接口对提取的段落内容进行分词、词性标注、语法解析，抽取出文本中的三元组信息。

优选的，所述三元组插入到Neo4j图数据库中进行存储。

优选的，采用自然语言处理工具HanLP对用户输入的问句进行分词，分词后采用自然语言处理工具HanLP得到问句中各词语之间的依存关系表。

优选的，利用语义图算法生成查询语义图，其中包括两次遍历依存关系：

(2-1)第一次遍历依存关系：找出其中的名词性词语，构建名词结点，并加入到名词性结点的集合中；找出其中的动词性词语，根据依存关系，找出谓语动词的主语(subject)和宾语(object)；

(2-2)第二次遍历依存关系：根据依存关系，建立名词性节点集合中修饰词和被修饰词之间的图关系。

优选的，将查询语义图转换为Neo4j图数据库的查询语句。

优选的，用查询语句查询Neo4j图数据库，得到答案。

一种基于领域知识图谱的问答系统，包括：

知识图谱构建模块，用于从互联网中爬取给定领域的信息，抽取信息中的三元组，将三元组插入到图数据库中进行存储；

问答模块，用于对用户输入的问句进行分词、句法分析，获得问句中各词语之间的依存关系表，所述依存关系指一个句子中各词语之间的依赖关系；通过遍历依存关系表生成查询语义图，并将查询语义图转换为图数据库的查询语句；用查询语句查询图数据库，得到答案；

后台处理模块，用于实现前端展示模块和知识图谱构建模块、问答模块之间的信息传递；

前端展示模块，用于获取用户提问信息，并向用户展示最终的答案结果。

与现有技术相比，本发明具有以下优点和技术效果：

1、本发明面向给定领域，爬取互连网中有效信息，抽取三元组创建知识图谱数据库，问答系统通过查询知识图谱数据库，可以返回准确且简洁的答案，不需要用户额外地去筛选信息。

2、本发明利用自然语言处理的开源工具HanLP对用户输入的问句进行分词、依存句法分析，然后采用语义图算法将句子的依存关系转换为知识图谱查询语句，使得问句的意图表达得更加准确，能够产生正确的结果。

3、按照本发明的方法构建的问答系统，可以方便、快捷地为用户提问的领域概念提供所有属性以及与其他概念的关系，可为基于特定领域知识图谱的问答系统的构建提供有效方法与技术支持，在教育﹑医疗﹑服务诸多领域具有广阔的应用市场。

附图说明

图1是本发明实施例基于领域知识图谱的问答系统构架图。

图2是本发明实施例构建知识图谱的流程图。

图3是本发明实施例问答处理的流程图。

图4是本发明实施例利用语义图算法生成查询语义图的流程图。

图5是本发明实施例查询语义图示例。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，该图给出了本实施例一种基于领域知识图谱的问答系统，其主要包括知识图谱构建模块、问答模块、后台处理模块和前端展示模块。其中知识图谱构建模块是用于从给定领域相关网页文本中抽取知识并存储在图数据库中，问答模块是针对用户的提问，采用自然语言处理工具与推理方法，对问句进行语法结构、语义分析，并转换为图数据库查询语句，从图数据库中查询得到精确的答案。后台处理模块主要是包括Flask应用框架，用于实现前端展示模块和知识图谱构建模块、问答模块之间的信息传递。前端展示模块用于获取用户提问信息，并向用户展示最终的答案结果。

针对图1所示一种基于领域知识图谱的问答系统，其构建方法如下：

S1、领域知识图谱构建

参见图2，该步骤主要是从互联网中爬取给定领域的相关网页，抽取网页信息中的三元组，将三元组插入到图数据库中进行存储。

其中，从互联网中爬取给定领域的相关网页，包括如下过程：

(1-1)初始化URL(WWW页的地址)待爬取队列，例如，将网址'https://baike.baidu.com/item/计算机网络/18763'放入待爬取队列；

(1-2)从待爬取队列中取出一个URL访问，例如，初始情况取出的URL为https://baike.baidu.com/item/计算机网络/18763；

(1-3)获取所访问网页的源码，抽取三元组；

(1-4)从网页的源码中提取新的URL；

(1-5)根据当前待爬取队列和已爬队列对提取的新的URL进行过滤和去重；

(1-6)将过滤和去重后的新URL加入待爬取队列，把当前已经抽取信息的URL添加到已爬队列；

(1-7)重复(1-2)～(1-6)，直到待爬取队列为空。

对于步骤(1-3)，在获取所访问网页的源码后，利用正则表达式进行解析并抽取出三元组，步骤是：

首先，利用xpath函数提取网页源码中所有<div class＝’para’></div>块中的段落内容；然后，利用python，使用pyltp接口对提取的段落内容进行分词、词性标注、语法解析，抽取出文本中的三元组信息。

例如，提取到的部分三元组如下：

(计算机网络，中文名，计算机网络)

(计算机网络，使用领域，互联网)

(计算机网络，功能，信息的传输与共享)

(计算机网络，类别，操作系统)

(计算机网络，定义，一些相互连接的﹑以共享资源为目的的﹑自治的计算机的集合)

汇总所有的三元组，将其插入到Neo4j图数据库中进行存储，用于后续的问答识别。

S2、问答处理

参见图3，该步骤主要是对用户输入的问句进行分词、句法分析，获得问句中各词语之间的依存关系表，所述依存关系指一个句子中各词语之间的依赖关系；通过遍历依存关系表生成查询语义图，并将查询语义图转换为图数据库的查询语句；最终用查询语句查询图数据库，得到答案。

本实施例中利用自然语言处理工具HanLP对用户输入的问句进行分词，根据得到的分词结果，利用自然语言处理工具HanLP得到问句中各词语与其它词语之间的依存关系表CoLLStence。依存关系指一个句子中各词语之间的依赖关系，如：主谓关系SVB，动宾关系VOB，定中关系ATT，等。

本实施例中采用语义图算法，生成查询语义图，参见图4，具体包括两次遍历依存关系：

(2-1)第一次遍历依存关系：找出其中的名词性词语，构建名词结点，并加入到名词性结点的集合中；找出其中的动词性词语，根据依存关系，找出谓语动词的主语(subject)和宾语(object)；

(2-2)第二次遍历依存关系：根据依存关系，建立名词性节点集合中修饰词和被修饰词之间的图关系。

在得到查询语义图后，将其转换为Neo4j图数据库的查询语句，根据查询语句查询Neo4j图数据库，即可得到答案。

下面通过一个实例，来对上述实施过程进行说明：

例如：用户输入问句：计算机网络的定义是什么？

首先，利用自然语言处理工具HanLP对用户输入的问句进行分词，分词结果为：计算机网络/n，的/ude1，定义/n，是/vshi，什么/ry，其中n为名词的标注，ude1为助词‘的’的标注，vshi为动词‘是’的标注，ry为疑问代词的标注；

然后，根据分词结果，利用自然语言处理工具HanLP得到问句中各词语之间的依存关系；

部分依存关系如下：

计算机网络-->定义：ATT(定中关系)

计算机网络-->的：RAD(右附加关系)

定义-->是：SBV(主谓关系)

是-->什么：VOB(动宾关系)

其次，采用语义图算法，生成查询语义图；根据依存关系可以得到名词性结点‘计算机网络’和‘定义’，‘计算机网络’修饰核心词‘定义’；动词结点‘是’，其主语是‘定义’，宾语是‘什么’，可以获得如图5所示的查询语义图。

最后，得到的查询语义图转换为Neo4j图数据库的cypher查询语句形式；

根据图5中名词间修饰与被修饰的关系，将被修饰名词‘定义’表示为边，修饰名词‘计算机网络’表示为节点，得到的如下查询语句：

match(n)-[r]->(？)

where n.name＝'计算机网络'and r.name＝'定义'

return？

采用上述得到的查询语句，查询Neo4j图数据库，得到问句“计算机网络的定义是什么？”的答案为：一些相互连接的﹑以共享资源为目的的﹑自治的计算机的集合。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于领域知识图谱的问答系统构建方法，其特征在于，包括步骤：

从互联网中爬取给定领域的信息，抽取信息中的三元组，将三元组插入到图数据库中进行存储；

对用户输入的问句进行分词、句法分析，获得问句中各词语之间的依存关系表，所述依存关系指一个句子中各词语之间的依赖关系；

通过遍历依存关系表生成查询语义图，并将查询语义图转换为图数据库的查询语句；

最终用查询语句查询图数据库，得到答案。

2.根据权利要求1所述的基于领域知识图谱的问答系统构建方法，其特征在于，所述从互联网中爬取给定领域的信息，包括如下步骤：

(1-1)初始化URL待爬取队列；

(1-2)从待爬取队列中取出一个URL访问；

(1-3)获取所访问网页的源码，抽取三元组；

(1-4)从网页的源码中提取新的URL；

(1-5)根据当前待爬取队列和已爬队列对提取的新的URL进行过滤和去重；

(1-6)将过滤和去重后的新URL加入待爬取队列，把当前已经抽取信息的URL添加到已爬队列；

(1-7)重复(1-2)～(1-6)，直到待爬取队列为空。

3.根据权利要求1所述的基于领域知识图谱的问答系统构建方法，其特征在于，从互联网中爬取给定领域的信息时，针对所访问网页的源码，利用正则表达式进行解析并抽取出三元组知识，方法是：

首先，利用xpath函数提取网页源码中所有<div class＝’para’></div>块中的段落内容；然后，利用python，使用pyltp接口对提取的段落内容进行分词、词性标注、语法解析，抽取出文本中的三元组信息。

4.根据权利要求1所述的基于领域知识图谱的问答系统构建方法，其特征在于，所述三元组插入到Neo4j图数据库中进行存储。

5.根据权利要求1所述的基于领域知识图谱的问答系统构建方法，其特征在于，采用自然语言处理工具HanLP对用户输入的问句进行分词，分词后采用自然语言处理工具HanLP得到问句中各词语之间的依存关系表。

6.根据权利要求1所述的基于领域知识图谱的问答系统构建方法，其特征在于，利用语义图算法生成查询语义图，其中包括两次遍历依存关系：

(2-1)第一次遍历依存关系：找出其中的名词性词语，构建名词结点，并加入到名词性结点的集合中；找出其中的动词性词语，根据依存关系，找出谓语动词的主语和宾语；

(2-2)第二次遍历依存关系：根据依存关系，建立名词性节点集合中修饰词和被修饰词之间的图关系。

7.根据权利要求6所述的基于领域知识图谱的问答系统构建方法，其特征在于，将查询语义图转换为Neo4j图数据库的查询语句。

8.根据权利要求7所述的基于领域知识图谱的问答系统构建方法，其特征在于，用查询语句查询Neo4j图数据库，得到答案。

9.一种基于领域知识图谱的问答系统，其特征在于，包括：

知识图谱构建模块，用于从互联网中爬取给定领域的信息，抽取信息中的三元组，将三元组插入到图数据库中进行存储；

问答模块，用于对用户输入的问句进行分词、句法分析，获得问句中各词语之间的依存关系表，所述依存关系指一个句子中各词语之间的依赖关系；通过遍历依存关系表生成查询语义图，并将查询语义图转换为图数据库的查询语句；用查询语句查询图数据库，得到答案；

后台处理模块，用于实现前端展示模块和知识图谱构建模块、问答模块之间的信息传递；

前端展示模块，用于获取用户提问信息，并向用户展示最终的答案结果。