CN109271505B - 一种基于问题答案对的问答系统实现方法 - Google Patents

Abstract

本发明一种基于问题答案对的问答系统实现方法包括：问题分析、问题检索、答案选择。用户向问答系统提交自然语言表述的问题之后，问答系统会利用问题向量化、关键词提取、关键词拓展等自然语言处理技术去理解用户的提问意图，然后利用检索引擎的方法在问题答案对数据库中获取与问题相关的候选问题答案对集合，并利用匹配算法和排序算法从这些候选集合中准确地挑选出最佳答案。本发明通过综合不同算法和模型学习得到问题与答案之间的匹配度评分的函数，实现从候选问题答案对中选取出最佳答案的方法，完成了一种基于卷积神经网络、Xgboost特征融合的答案选择方法，为问答系统的答案选择提供了一种更好的方法。

Description

一种基于问题答案对的问答系统实现方法

技术领域

本发明涉及一种基于问题答案对的问答系统实现方法，属于自然语言处理技术领域。

背景技术

搜索引擎技术在信息检索方面可以满足用户的信息需求，但是搜索引擎存在许多不完善的地方，主要体现在两个方面：一是搜索引擎对于用户输入的查询经过检索返回一系列相关网页，网页包含的内容过多，用户往往需要阅读这些网页才能定位自己的需求；二是搜索引擎采取关键词匹配对进行信息检索，关键词匹配技术只对句子进行语法解析而没有语义解析。对于难以用关键词表述的复杂需求，搜索无法给出令人满意的查询结果。为了改善信息检索的用户体验，直接以自然语言作为输入与输出的问答系统成为了研究热点。在众多问答系统中，有一类建立在已配对的问题答案对列表的问答系统，这类问答叫做基于问题答案对的问答系统。

用户向问答系统提交自然语言表述的问题之后，系统首先会对问题进行分析，利用各种自然语言处理的技术去理解问题的意图或者主题，例如对问题按意图或主题进行分类、提取问题中的关键词、根据关键词生成关联词，然后将自然语言表述的问题转换成检索所需要的查询语句。接下来，在检索得到的相关候选问题答案对中，通过复杂匹配度计算，选择最佳答案。

基于问题答案对的问答系统同时具有搜索引擎和问答系统的优点：

1)通过训练得到的关联词来获取相似问题集合，增强问题的特征。

2)建立问题与候选问题答案对之间更加复杂语义层面的匹配模型，融合了多个计算问题与候选问题答案对之间的相似度的算法和模型给出置信度更高的相似度评分，其中包括传统的统计分布、结构和语义相似度特征以及深度神经网络特征。

3)卷积神经网络模型允许网络捕获更长的距离依赖性，训练高效，在网络结构中加入传统相似度特征能够提高准确性。4)能够利用自然语言进行更加人性化的交互。

不足之处：

1)模型对比传统的检索模型更加复杂，训练模型的过程需要花费时间调参。

2)基于卷积神经网络的模型中两个句子在建模过程中是完全独立的，没有任何参数交互行为，一直到最后生成抽象向量表示后才有交互行为。

3)问题答案对中数据库更新之后，需要在之前模型的基础上继续训练。

基于上述缺陷，本发明专注于中文基于问题答案对的问答技术。答案选择模块是基于问题答案对的问答系统中最重要也最难的部分。本发明分别优化了答案选择模块的关键技术：基于卷积神经网络、Xgboost特征融合的候选问题答案对排序方法。

发明内容

本发明技术解决问题：针对用户可能提交的问题，提出了一种新的基于问题答案对的问答系统实现方法，在答案选择模块训练一个答案句子选择模型，这个模型能够学习问题答案对数据集中配对的问题和答案的相关性进行评分的函数，使得相关性强的答案评分排在前面。

本发明技术解决方案：一种基于问题答案对的问答系统实现方法，包括如下步骤：问题分析、问题检索和答案选择。具体步骤如下：

S1.问题分析，负责分析用户提出的问题，从而领会用户的提问意图。该步骤在分析用户的问题时，包括将问题向量化、从问题中提取关键词、关键词拓展等操作。这些分析结果会对后续的步骤S2问题检索和步骤S3答案选择产生帮助。

S2.问题检索，负责根据问题检索问题答案对的数据库，获得候选问题答案对集合。具体是在问题答案对的数据库上搭建一个搜索引擎，查询结果是按照BM25模型匹配度计算结果排序。

S3.答案选择，负责训练问题和基于步骤S2得到的候选问题答案对集合，通过对问题与候选问题答案对匹配度评分排序的方式得到最佳答案。

进一步的，步骤S1问题分析，具体包括以下子步骤：

S1.1问题向量化：

问题的文本表示可以方便人们的阅读，问题的向量表示则可以方便计算机的使用。将问题转化为向量之后，所得到的问题向量能够为其他步骤提供帮助；具体采用word2vec工具对问题进行向量化操作；

S1.2提取关键词：抽取出文本中的实体名词，作为关键词。

S1.3关键词拓展：训练词对词的关联概率，得到与关键词相关度高的词语。

进一步的，步骤S2问题检索，具体包括以下子步骤：

S2.1相似问题拓展：

通过将问题中关键词替换为相关度高的词语，将一个原问题拓展为相似问题的集合，相似问题与原问题的相似度由词之间的相关度决定。

S2.2候选问题答案对抽取：

在问题答案对的数据库上搭建一个搜索引擎，通过搜索引擎获得与每个问题相关的候选问题答案对集合，搜索结果的分数是按照BM25模型匹配度计算得到，在这个分数的基础上加权相似问题与原问题的相似度，按新评分重新排序，得到最终的候选问题答案对集合。

进一步的，步骤S3答案选择，具体包括以下子步骤：

S3.1提取传统特征：

从统计分布、结构和语义角度提取问题与候选问题、问题与候选答案匹配度特征，其中包括TF-IDF、BM25、TopNOverlap、最长公共子序列LCS、编辑距离ED、语言模型LM以及Word2Vec模型的特征。

S3.2提取深度学习特征：

训练基于卷积神经网络的文本相似度模型，计算问题与候选答案的相关度，其中对基于卷积神经网络的句子建模进行改进，在句子向量矩阵中添加Overlap的特征。首先，使用word2vec工具预训练词表获得词向量，把词向量连接起来得到句子向量，完成句子表示的建模。然后问题向量和候选答案向量分别经过获取句子的序列信息的卷积层，压缩句子向量维度的池化层，然后构建问题向量和候选答案向量的匹配矩阵，经过连接层将问题和候选答案向量转换为一个向量，最后输入到逻辑斯蒂分类模型，最后得到的结果为问题和候选答案匹相似度。

S3.3训练Xgboost：

使用步骤S3.1和S3.2中的算法和模型计算出相似度评分，作为Xgboost排序模型的特征输入，通过Xgboost模型综合所有特征计算得到问题与候选问题答案对的相似度，然后排序得到最佳的答案。

本发明一种基于问题答案对的问答系统实现方法，其优点及功效在于：建立问题与候选问题答案对之间更加复杂的语义层面的匹配模型，提高检索的准确性。

附图说明

图1为本发明系统的总体框架。

图2为本发明系统中的问题分析模块框架。

图3为本发明系统中的问题检索模块框架。

图4为本发明系统中的基于Solr检索系统的字段定义。

图5为本发明系统中的答案选择模块框架。

图6为本发明系统中的基于卷积神经网络匹配模型框架。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的说明。

如图1所示，本发明一种基于问题答案对的问答系统实现方法，包括：问题分析、问题检索和答案选择。

下面分别对各部分进行详细说明。

S1.问题分析

问题分析的主要目标是理解用户的查询意图。主要包括三个任务：1)问题向量化：问题的文本表示可以方便人们的阅读，问题的向量表示则可以方便计算机的使用。将问题转化为向量之后，所得到的问题向量能够为问题分析的其他步骤提供帮助；2)问题关键词提取：问题的关键词能够很好地反应用户的查询意图，这些关键词也是问题检索所需要的关键信息；3)拓展关联词生成：通过从问题中提取出关键词能够获得关联度大的词语，帮助检索得到相似问题的候选问题答案对。

问题分析模块的框架图如图2所示。

S1.1问题向量化

计算机无法理解文本，但是可以理解数字。将问题向量化，就通过将文本转换为一系列数字的方式，使得计算机能够理解文本的含义，并能根据文本的含义进行一些语义方面的深度操作。本文利用了word2vec工具对问题进行了向量化操作。由问题转换而来的问题向量可以计算句子相似度，同时问题向量也是卷积神经网络句子矩阵的基础。

S1.2问题关键词提取

关键词作为问题中的重要组成成分，可以非常好地刻画用户的提问意图。本文利用开源自然语言处理工具Stanford CoreNLP对问题进行处理，并提取问题的实体名词，作为关键词。

S1.3拓展关联词生成

问题中提取出的关键词通过关联词词表获得关联度大的词语，帮助得到相似问题并检索得到相似问题的候选问题答案对集合。本文利用MGIZA++训练词对词的关联概率，得到一个词对词关联概率的词表。

S2.问题检索

问题检索构建问题答案对的语料库，并提供检索服务。信息检索主要负责检索与问题相关的候选问题答案对集合。本文所实现的问题检索通过以下步骤实现功能：1)相似问题拓展：通过关键词拓展获得相似问题，相似问题能够增加候选问题答案对的数量；2)候选问题答案对抽取：对问题集合中每个问题进行检索，得到候选问题答案对集合。

问题检索模块的框架图如图3所示。

S2.1相似问题拓展

通过将问题中关键词替换为与之相关度高的词语，将一个问题拓展为相似问题的集合，相似问题与原问题的相似度由词之间的关联概率决定。

S2.2候选问题答案对抽取

本文利用基于Solr全文搜索引擎构建了问答数据的语料库，并利用其查询功能进行与用户输入的查询问句相似历史问答数据的初步检索工作。Solr导入数据时，首先需要配置schema，定义数据的字段、类型以及文本分析方式。具体定义如图4所示，其中IK_text为自定义类型，表示该值的解析方式需要使用IK analyzer分词器解析，故还需配置IKanalyzer分词器。同时设置IK的分词模式为细粒度，以防止不恰当的分词结果忽略了某些相关文档。

本文设计并定义Solr的字段，并为qtext(问题)字段建立索引；通过索引文件，系统可以迅速的检索出语料库中最相似的前100个问题及对应答案作为候选项，作为下一步的输入。Solr使用BM25算法来衡量查询问题与候选问题的相似度。

本文从百度知道社区问答平台爬取了问题答案对作为实验的语料库。

通过搜索引擎获得与每个问题相关的候选问题答案对集合，搜索结果的分数是按照BM25模型匹配度计算得到，在这个分数的基础上乘上相似问题与原问题的相似度，对新评分重新排序，得到前100的候选问题答案对集合。

S3.答案选择

步骤S1问题分析的分析结果和步骤S2信息检索的检索结果都是答案选择的重要依赖。问题分析模块的分析结果包含问题向量、问题关键词、拓展关键词等重要信息，这些信息能够很好地描述用户的提问意图。候选问题答案对集合作为问题检索模块的检索结果，是答案选择模块选择最佳答案的主要来源。答案选择模块通过对上述信息的综合利用，从而得到用户所需要的最佳答案。答案选择模块分为以下步骤完成上述功能：1)提取传统特征：从统计分布、结构和语义角度提取了问题与候选问题、问题与候选答案匹配度特征，其中包括TF-IDF、BM25、TopNOverlap、最长公共子序列LCS、编辑距离ED、语言模型LM以及Word2Vec模型的特征；2)提取深度学习特征：训练基于卷积神经网络的文本相似度模型，计算问题与候选答案的相关度，其中对基于卷积神经网络的句子建模进行改进，在句子向量矩阵中添加Overlap的特征；3)训练Xgboost：使用传统特征和深度学习特征匹配度训练Xgboost，通过Xgboost综合所有特征计算得到问题和候选问题答案对的相似度，然后排序得到最佳的答案。

答案抽取模块的框架图如图5所示。

S3.1提取传统特征

本文从统计分布、结构和语义角度提取了问题与候选问题、问题与候选答案匹配度特征，其中包括TF-IDF、BM25、TopNOverlap、最长公共子序列LCS、编辑距离ED、语言模型LM以及Word2Vec模型的特征。其中TF-IDF、BM25和TopNCross从统计分布角度提出，基于统计分布的特征考察了每个单词在问答语料库中分布情况，并根据词频等分布特征设定单词的权重；最长公共子序列LCS和编辑距离ED考察了两个句子的结构相一致性，基于结构的特征是指利用两个句子中单词顺序、句法结构、单词词性等句子本身内在联系信息来判断两个句子相似；语言模型LM从词汇角度利用生成概率来定义相似度；Word2Vec把词转换成词向量，进而把句子转换成句向量，并使用余弦相似值来直接定义问题与候选问题、问题与候选答案之间的Word2Vec相似性。本文把利用语言模型LM、Word2Vec提取的特征归类为基于语义的特征。

S3.2提取深度学习特征

卷积神经网络是一类功能强大的人工神经网络，基于卷积神经网络的分布句子模型在许多自然语言处理任务中已经取得了成功，如情绪分析、释义检测和文档分类。本文的句子模型基于卷积神经网络并使用较大宽度的卷积过滤器，从而允许网络捕获更长的距离依赖性。此外，深度学习模型的架构以及问答相似性分数也对模型中的问题和答案的向量特征表示进行了编码。因此，本文的模型构建并学习了问题答案对的更丰富的表示，从而在答案句子选择数据集上取得了较好的结果。本文基于卷积神经网络的匹配模型如图6所示。

对于一个文本相似度排序系统，该系统的输入是一个特征向量而不是包含自然语言的词或句子，所以能将原始语句转换成能够充分表达其语义的特征向量是其基本的处理。而本文答案句子选择任务模型的核心假设是：对于询问语句对应的正确答案的文本文档，它在语义上应当和该问题语义具有极高的相似度。因此，把询问语句和包含答案的文本映射到一个共同的特征空间中去可以更有效地描绘它们之间的联系。

特别地，卷积神经网络的句子模型，在句子向量矩阵上添加了一维问题与候选答案句子之间Overlap的特征，使句子向量矩阵维度由

变为

其中d为词向量的维度，|s|为句子长度(分词后)。这一维Overlap特征的定义为：若问题语句中的词在候选答案语句中出现了，该词增加的这一维度的值为1，否则为0。同理，若候选答案语句中的词在问题语句中出现了，该词增加的这一维度的值为1，否则为0。这样修改的目的是提供多余的问题语句和候选答案语句之间的关联信息，这些信息可能在网络后面信息特征压缩被丢掉。为了学习将给定句子中的单个词的特征从低级词嵌入转换到高级语义中，卷积神经网络对句子矩阵S进行一系列转换，包括卷积、非线性和池化操作。最后，本文的深度学习再排序系统是端对端的训练，最后将神经网络的输出用于单一的逻辑斯蒂分类模型。

最主要的模块就是两个基于卷积神经网络的分布式句子模型。这两个句子模型并行运作将问题和答案语句映射为分布式向量，然后通过这两个分布式向量计算原问答对在语义上的匹配程度。

S3.3训练Xgboost

本文利用(eXtreme Gradient Boosting，Xgboost)来训练候选问题答案对的排序。基于传统特征和深度学习的8种算法和模型计算出相似度评分作为Xgboost排序模型的特征输入。本文利用Xgboost工具综合这些特征并利用训练出的排序模型给出最终预测结果。

本文中需要使用Xgboost做排序，因此需要设置参数objective为“rank:pairwise”，并且使用平均准确率(Mean Average Precision，MAP)作为模型验证的评价指标。本文采用交叉验证的方式来进行模型训练。

对于用户输入的查询问句，系统经过问题预处理和Solr检索模块后得到100条可能相似的问题答案对。此时的排序结果是Solr使用BM25算法得出的，在Xgboost重排序模型，本文将使用Xgboost排序模型重新评估这100条候选问题与查询问句的语义相似度。在该模块，将根据语言模型、翻译模型、最长公共子序列等算法以及卷积神经网络模型提取出对应的相似度作为Xgboost排序模型的特征输入训练模型。系统将利用训练好的Xgboost模型预测出最终的相似度，并按照预测的相似度按照从大到小的进行排序，最终选取经过重新排序的100条问题答案对中的前3条问答作为系统输出返回给用户。

本文最终利用传统特征、卷积神经网络、Xgboost实现了候选问题答案对的排序，从而得到最佳答案。

Claims (4)

1.一种基于问题答案对的问答系统实现方法，其特征在于：该方法包括如下步骤：问题分析、问题检索和答案选择，具体如下：

S1.问题分析，分析用户提出的问题，从而领会用户的提问意图；该步骤在分析用户的问题时，包括将问题向量化、从问题中提取关键词、关键词拓展的操作；

S2.问题检索，根据问题检索问题答案对的数据库，获得候选问题答案对集合；具体是在问题答案对的数据库上搭建一个搜索引擎，查询结果是按照BM25模型匹配度计算结果排序；

S3.答案选择，训练问题和基于步骤S2得到的候选问题答案对集合，通过对问题与候选问题答案对匹配度评分排序的方式得到最佳答案；

步骤S3答案选择，具体包括以下子步骤：

S3.1提取传统特征：

从统计分布、结构和语义角度提取问题与候选问题、问题与候选答案匹配度特征，其中包括TF-IDF、BM25、TopNOverlap、最长公共子序列LCS、编辑距离ED、语言模型LM以及Word2Vec模型的特征；

S3.2提取深度学习特征：

训练基于卷积神经网络的文本相似度模型，计算问题与候选答案的相关度，其中对基于卷积神经网络的句子建模进行改进，在句子向量矩阵中添加Overlap的特征；

S3.3训练Xgboost：

使用步骤S3.1和S3.2中的算法和模型计算出相似度评分，作为Xgboost排序模型的特征输入，通过Xgboost模型综合所有特征计算得到问题与候选问题答案对的相似度，然后排序得到最佳的答案。

2.根据权利要求1所述的一种基于问题答案对的问答系统实现方法，其特征在于：步骤S1问题分析，具体包括以下子步骤：

S1.1问题向量化；

S1.2提取关键词：抽取出文本中的实体名词，作为关键词；

S1.3关键词拓展：训练词对词的关联概率，得到与关键词相关度高的词语。

3.根据权利要求1所述的一种基于问题答案对的问答系统实现方法，其特征在于：步骤S2问题检索，具体包括以下子步骤：

S2.1相似问题拓展：

将问题中关键词替换为相关度高的词语，将一个原问题拓展为相似问题的集合，相似问题与原问题的相似度由词之间的相关度决定；

S2.2候选问题答案对抽取：

在问题答案对的数据库上搭建一个搜索引擎，通过搜索引擎获得与每个问题相关的候选问题答案对集合，搜索结果的分数是按照BM25模型匹配度计算得到，在这个分数的基础上加权相似问题与原问题的相似度，按新评分重新排序，得到最终的候选问题答案对集合。

4.根据权利要求1所述的一种基于问题答案对的问答系统实现方法，其特征在于：S3.2提取深度学习特征，具体过程如下：

首先，使用word2vec工具预训练词表获得词向量，把词向量连接起来得到句子向量，完成句子表示的建模；然后问题向量和候选答案向量分别经过获取句子的序列信息的卷积层，压缩句子向量维度的池化层，然后构建问题向量和候选答案向量的匹配矩阵，经过连接层将问题和候选答案向量转换为一个向量，最后输入到逻辑斯蒂分类模型，最后得到的结果为问题和候选答案相似度。

Images