CN108345640A - 一种基于神经网络语义分析的问答语料库构建方法 - Google Patents

Abstract

本发明提出了一种基于神经网络语义分析的问答语料库构建方法，其主要分为问答数据源获取、神经网络语义分析、问答自动生成以及问答增量更新四个步骤。本发明提出了使用网络爬虫搜集互联网上大量数据源作为问答语料库基础，并使用神经网络语义分析将文档转化为对应关系元组集合，以及通过问答类型匹配以及关键词替换方法来自动生成问答的方法，相较人工搜集整理的方法，本发明是全自动的，对于大规模数据处理具有重大的现实意义。

Description

一种基于神经网络语义分析的问答语料库构建方法

技术领域

本发明涉及计算机自然语言处理领域，尤其涉及一种基于神经网络语义分析的问答语料库构建方法。

背景技术

在近十几年来，计算机自然语言处理领域取得了长足的进展。依托自然语言处理的聊天机器人技术，正逐步运用到人机交互、客户服务、问答社区等任务中。聊天机器人技术又称为人机对话系统，旨在通过对话的形式完成人与机器人的交互，让机器人能够理解人的语言并做出适当的应答。聊天机器人的应答能力极大的依赖于自然语言处理技术，以及强大的问答语料库支持。在自然语言处理技术逐步开放的今天，问答语料库的构建成了聊天机器人重中之重的环节。

当前，问答语料库主要以一问一答的形式构成，其构建主要靠人力来完成。对于特定领域如医疗、餐饮、健康服务等，需要大量搜集该领域的文档，进行人工整理以抽取其中的问答并组成问答库。这种人工构建问答库的方法在一定程度上提高了问答的准确性，但是需要耗费大量的人力与时间来完成，且无法对领域知识进行全面的覆盖而存在一定的局限性。此外，由于是由特定机构人为整理，这些问答语料库往往是不对外开放的。对于通用领域，通过人工的方式整理问答语料库更加无法达到要求。在当今信息爆炸的时代，利用人力处理数量庞大的文本并从中抽取问答是不切实际的，因此，需要一种自动从文档中抽取问答来构建问答库的方法，来解决对话系统中问答语料库不充足的问题。

发明内容

本发明的目的是针对当前对话系统中问答语料库严重不足以及人工整理耗时的缺陷，提供一种基于神经网络语义分析的问答语料库构建方法，是一种使用神经网络语义分析技术自动从文档库中抽取问答并构建问答库的方法，让机器读懂文档内容并自动从中抽取问答，它能够准确的找出文档中的问题以及其答案。

为达到上述目的，本发明采用如下技术方案：

一种基于神经网络语义分析的问答语料库构建方法，具体步骤如下：

a）问答数据源获取：利用网络爬虫抓取百度百科、维基百科、百度知道、知乎以及各新闻媒体内容作为问答库数据源；

b）神经网络语义分析：利用神经网络语义分析对文档进行命名实体识别以及对应关系元组自动抽取；

c）问答自动生成：利用问答自动生成方法，分析文档实体对象以及其对应关系元组，进行问题匹配，并根据关系元组生成问题，根据实体对象生成答案；

d）问答增量更新：更新问答知识库，以满足问题答案随着时间推移不断变化的要求，每一个问答存库时都将记录时间戳，以时间戳来判定问题的差异。

所述步骤a）利用网络爬虫抓取的问答库数据源是符合问答知识库的构建的全自动的过程，这一自动化过程包括正文的抽取，数据清洗以及内容筛选环节抓取多源数据，保障数据的充分性以及覆盖面。

所述步骤b）利用神经网络语义分析进行命名实体识别以及对应关系元组抽取，是对原始文本的更高层抽象，从原始的文本信息中抽取关系元组，转化为知识表示，极大地简化了原始文本的表示，并且获取到了文本表达的更深层次的内容；此外，根据多个对应关系元组，生成多种问答，丰富了问答的种类，以对文本进行充分利用；利用深度神经网络进行文本语义分析大大地提高了对应关系抽取的准确性以及效率。

所述步骤c）利用问答自动生成，分析文档实体对象及其对应关系元组，并进行问题匹配以生成问答；问答自动生成方法首先定义好多种问题类型，对于文档中的每一个实体，问答生成系统首先分析其属性，匹配其可能的问题类型，再根据问题类型，查找该实体对象中属于该类型的关系元组，根据关系元组与问题类型生成问题，再以该实体对象作为答案；对于复杂问题，将多个关系与多个问题类型进行组合，再组合多个实体作为答案；此外，在一篇文档中，能够生成多个问题，保证问题的充分性。

所述步骤d）利用问答增量更新增量地更新数据库中的问题答案，使用时根据时间戳来获取问题答案；保证旧的问题答案不丢失，且每一个问题随着时间的推移，其答案的变化都记录在了知识库中。

本发明与现有方法相比较，具有如下显而易见的突出性质特点和显著的技术进步：

本发明提出了使用网络爬虫搜集互联网上大量数据源作为问答语料库基础，并使用神经网络语义分析将文档转化为对应关系元组集合，以及通过问答类型匹配以及关键词替换方法来自动生成问答的方法，相较人工搜集整理的方法，本发明是全自动的，对于大规模数据处理具有重大的现实意义。

附图说明

图1是本发明的基于神经网络语义分析的问答语料库构建方法的总流程图。

图2是本发明的神经网络语义分析抽取对应关系元组的网络结构图。

具体实施方式

下面结合附图，对本发明的具体实施例做进一步的说明。

如图1所示，一种基于神经网络语义分析的问答语料库构建方法，具体步骤如下：

a）问答数据源获取：利用网络爬虫抓取百度百科、维基百科、百度知道、知乎以及各新闻媒体内容作为问答库数据源；

b）神经网络语义分析：利用神经网络语义分析对文档进行命名实体识别以及对应关系元组自动抽取；

c）问答自动生成：利用问答自动生成方法，分析文档实体对象以及其对应关系元组，进行问题匹配，并根据关系元组生成问题，根据实体对象生成答案；

d）问答增量更新：更新问答知识库，以满足问题答案随着时间推移不断变化的要求，每一个问答存库时都将记录时间戳，以时间戳来判定问题的差异。

所述步骤a）的问答数据源获取具体为：

数据源获取。数据源是问答库构建的基础，充分且覆盖面广泛的数据源是对话系统的基本保障。在互联网上，百科类的文档知识层出不穷，典型的有百度百科、百度知道、知乎、维基百科等大型网站，它们普遍具有一定的问答特征，但是其词条往往过于冗长而不够精简，因此需要一套自动精简的方法来处理这些数据源。此外，百度新闻、搜狗新闻、微信公众号文章等内容也是非常优秀的数据源，它们通常具有鲜明的标题，文章的叙述具有丰富的事件特征，如发生时间、地点、涉及任务以及产生的影响等等，对于这样的数据源中，同样需要使用自动精简化的方法来提取大量的问答信息。对于这些初始数据源的获取，主要基于网络爬虫的方法进行抓取，抓取网页后需要进行数据清洗操作，清除图片、链接等无用数据，只保留标题和文本内容并存入数据库中。标题是这些数据源的关键所在，对于问答生成起到了辅助作用。对于百度知道、知乎等，由于一个问题存在多个答案，需要按照采纳和点赞情况进行筛选，选取被采纳或点赞量最多的作为正文内容。抓取该内容并进行清洗后，将标题和内容存入数据库中。在这些数据源中，标题以问题的形式出现，是非常优秀的生成问答的材料。

所述步骤b）神经网络语义分析具体为：

只获取数据源仍然无法满足对话系统的需求。对于每一个问题，机器回应一大段的文字是不可取的，因而需要根据每一个问题精简出特定的答案作为回复。神经网络语义分析技术在文档的简化中起到了重要的作用。神经网络语义分析技术旨在抓住文档中的重要信息，如时间、地点、人物、事件等实体内容。将低层次的文档转化为高层次的表示，找出文档中的所有对应关系。例如，对于“本杰明·富兰克林于1706年出生于波士顿的一个小镇”这一句话，神经网络语义分析技术能够有效的抓住以下几个重要特征：富兰克林何时出生、富兰克林在哪里出生、谁在1706年出生于波士顿等等。这些特征都被转化为对应关系存储在高层次的表示空间中。对于每一篇文档，可以找到大量的对应关系元组，这些对应关系元组的集合就是原始文档的高层抽象表示。

对文档正文进行命名实体识别，以找到文档中的所有命名实体。命名实体识别是自然语言处理中标注文本中人名、地名、物体、时间等重要信息的关键技术，使用命名实体识别可以找到文本中的关键信息。这些关键信息对于问答生成有着重要的作用，本发明的问答就是围绕这些关键信息来生成的。

使用神经网络语义分析技术来找出文档中各实体间的对应关系元组，对于每一个文档生成一个“< 实体，实体，关系 >”关系元组集合，其中，第一个为主动实体，第二个为被动实体为，关系表达了主动实体与被动实体以何种依赖关系相连。例如，“猴子爱吃香蕉而兔子喜欢胡萝卜”，可以转化为“< 猴子，香蕉，吃 >”，“< 兔子，胡萝卜，喜欢 >”两个对应关系元组，其中“猴子”对应主动实体，“香蕉”对应被动方实体，它们之间以动词“吃”作为依存的关系。对应关系元组集合抓住了文档的重要内容，神经网络语义分析技术将文档这个整体分散为一个个的对应关系元组，更加方便用户根据特定的问题查找其所关注的内容。例如对于“谁吃香蕉”这一问题，系统只需要查找关系元组集合并返回“猴子”，而忽略掉其他无关信息。神经网络语义分析方法使用依存句法分析以及语义依存关系将文本转化成关系树结构，然后从中提取对应关系元组，其神经网络结构参照图2。

所述步骤c）问答自动生成具体为：

在完成神经网络语义分析之后，获取了文档的命名实体信息，以及各个实体间的对应关系元组。对于每一个实体，找出与其相关的所有对应关系元组。

在自然语言模型中，问题的类型多种多样，其大体可以按5W2H法分为七种，即What（是什么）、When（什么时候）、Why（为什么）、Where（在哪里）、Who（是谁）、How（怎么做）、HowMuch（多少、什么程度）。问答自动生成系统的首要工作是整理出问题类型，然后根据神经网络语义分析抽取的关系元组进行问题匹配，利用关键词替换方法得出多个问答结果。例如在神经网络语义分析环节提出的例子，“富兰克林”是一个人名，在例子中我们将“富兰克林”用“Who（谁）”来替代，再将后面的两个并列实体进行分割，便得到了“谁出生于1706年”、“谁出生于波士顿”两个问题。利用同样的方法，抽出文档中的关键词，并使用问题进行配对，便可以生成大量的问题。

分析每一个实体可能的问题类型，根据实体的对应关系元组的“关系”来生成问题。例如“富兰克林”对应的是“Who（人物）”，“1706年”对应的是“When（时间）”，“波士顿”对应的是“Where（地点）” 等等。对于关系元组“<人物，时间，出生>”可以生成“谁出生”以及“何时出生”两个问题。对于更高层次问题的生成，可以将多个元组进行组合。例如“谁在何时出生在哪里”，问题的答案需要查找存在“出生”这一关系的所有元组，然后进行答复。此外，对于“为什么”这样的问题的生成，需要查找“因为”、“原因是”等这一类的关系来寻找答案。

将生成的问答附上当前时间戳，存入问答语料库。

所述步骤d）问答增量更新具体为：

互联网上的大量知识是在不断更新的，问题的答案可能会随着时间的推移而改变。例如冥王星在2006年前仍然位于太阳系九大行星之列，但是在2006年以后即被除名。因此，问答语料库的更新成了一种必要，但是更新过程不应对问答库中已存在的问答知识造成影响。本发明采用了增量更新的方案，对于每一个问题添加一个当前时间戳存入问答语料库。因此，问答库中可能存在多个相同的问答，但是由于它们的时间戳不同，因此可以通过时间来判定问答的差异。当用户问及某一个问题时，检测问题中有无时间提示，若无时间提示，则返回当前时间最近的答案，若存在时间提示，则根据时间提示获取距离其最近的答案。基于该方案，对于同样的问题，新的答案会记录到知识库中，而旧的答案也不会丢失，问答语料库对与问题的答案随着时间推移而发生的变化做了良好的记录。

Claims (5)

1.一种基于神经网络语义分析的问答语料库构建方法，其特征在于，具体步骤如下：

a）问答数据源获取：利用网络爬虫抓取百度百科、维基百科、百度知道、知乎以及各新闻媒体内容作为问答库数据源；

b）神经网络语义分析：利用神经网络语义分析对文档进行命名实体识别以及对应关系元组自动抽取；

c）问答自动生成：利用问答自动生成方法，分析文档实体对象以及其对应关系元组，进行问题匹配，并根据关系元组生成问题，根据实体对象生成答案；

d）问答增量更新：更新问答知识库，以满足问题答案随着时间推移不断变化的要求，每一个问答存库时都将记录时间戳，以时间戳来判定问题的差异。

2.根据权利要求1所述的基于神经网络语义分析的问答语料库构建方法，其特征在于，所述步骤a）利用网络爬虫抓取的问答库数据源是符合问答知识库的构建的全自动的过程，这一自动化过程包括正文的抽取，数据清洗以及内容筛选环节抓取多源数据，保障数据的充分性以及覆盖面。

3.根据权利要求1所述的基于神经网络语义分析的问答语料库构建方法，其特征在于，所述步骤b）利用神经网络语义分析进行命名实体识别以及对应关系元组抽取，是对原始文本的更高层抽象，从原始的文本信息中抽取关系元组，转化为知识表示，极大地简化了原始文本的表示，并且获取到了文本表达的更深层次的内容；此外，根据多个对应关系元组，生成多种问答，丰富了问答的种类，以对文本进行充分利用；利用深度神经网络进行文本语义分析大大地提高了对应关系抽取的准确性以及效率。

4.根据权利要求1所述的基于神经网络语义分析的问答语料库构建方法，其特征在于，所述步骤c）利用问答自动生成，分析文档实体对象及其对应关系元组，并进行问题匹配以生成问答；问答自动生成方法首先定义好多种问题类型，对于文档中的每一个实体，问答生成系统首先分析其属性，匹配其可能的问题类型，再根据问题类型，查找该实体对象中属于该类型的关系元组，根据关系元组与问题类型生成问题，再以该实体对象作为答案；对于复杂问题，将多个关系与多个问题类型进行组合，再组合多个实体作为答案；此外，在一篇文档中，能够生成多个问题，保证问题的充分性。

5.根据权利要求1所述的基于神经网络语义分析的问答语料库构建方法，其特征在于，所述步骤d）利用问答增量更新增量地更新数据库中的问题答案，使用时根据时间戳来获取问题答案；保证旧的问题答案不丢失，且每一个问题随着时间的推移，其答案的变化都记录在了知识库中。