CN114357127A - 基于机器阅读理解及常用问题解答模型的智能问答方法 - Google Patents

Abstract

本发明公开了一种基于机器阅读理解及常用问题解答模型的智能问答方法，进行问答对采集，包括基于系统文档生成问答对，整理过滤后形成数据库；模型预训练，包括使用步骤1中的数据库对MRC模型以及FAQ模型进行训练；用户登录验证；用户问题信息采集，包括从前端获取用户输入的问题信息并输入预训练后的模型；答案生成，采用FAQ模型基于语义相似度匹配生成答案，若结果不理想则将用户问题文本输入MRC模型获取问题答案并返回前端展示。本发明支持多种模式检索，能在常见问题解答模型效果不理想的情况下，智能化深入理解文档提供答案，使生成答案更具针对性，为用户疑问解决提供更多参考，同时可为常见问题解答数据集提供补充，实现问答冷启动机制。

Description

基于机器阅读理解及常用问题解答模型的智能问答方法

技术领域

本发明属于自然语言处理领域，更具体地，涉及一种基于机器阅读理解及常用问题解答模型的智能问答方法。

背景技术

随着中国自然语言处理[1]技术的不断发展，机器阅读理解及常用问题解答技术也被广泛应用于各领域，帮助人们高效快捷的从大量文本中获取有价值的信息。自然语言理解是人工智能的重要研究领域，是实现智能化过程中必须要解决的技术问题。而自然语言理解的最终目标是为了让机器能够理解人类语言，实现机器通过语言符号了解人类的需求，从而智能化地服务于人类。·

MRC是英文Machine Reading Comprehension的缩写，意为机器阅读理解[2]。机器阅读理解是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式，因此机器阅读理解属于自然语言处理的范畴，也是其中最新最热门的课题之一。近些年来，随着机器学习，特别是深度学习的发展，机器阅读理解研究有了长足的进步，并在实际应用中崭露头角。常见的预训练语言模型结构包含编码输入层、网络结构层、编码输出层。预训练语言模型的区别主要体现在网络结构层以及预训练时对语言建模的任务。近年来出现的预训练语言模型根据建模方式、模型结构、模型介绍等，如表1所示。

表1预训练语言模型对比

机器阅读理解中抽取式[9]任务的答案，限定是文章的一个子句，需要模型在文章中标明正确的答案起始位置和终止位置。因此把该任务建模为输入问题和文本，预测出两个文本中的位置索引去指示答案的起始和结束位置。

FAQ是英文Frequently Asked Questions的缩写，意为常见问题解答[10]。FAQ是当前网络上提供在线帮助的主要手段，通过事先组织好一些可能的常见问答对，发布在网页上为用户提供咨询服务。FAQ具有高频问题优先、精确简明的特点，因此针对使用说明、操作文档的 FAQ能有效帮助用户快速了解文档内容，熟悉系统使用方法。然而上述方案无法满足用户的搜索需求，只能提供静态数据供用户检索，所以对于用户问题匹配的常用问题解答模型研究是极有意义的。

目前市面上的问答系统未能有效结合文本内容以及常用问答对，快速给用户提供优质准确的答案。使得用户无法及时解决问题，耗费了用户的线上时间。

相关文献：

[1]徐戈,王厚峰.自然语言处理中主题模型的发展[J].计算机学报,2011(08):1423-1436.[2] Barbieri D F,Braga D,Ceri S,et al.Continuous queries and real-time analysis of social semantic data with C-SPARQL[C]//ISWC Workshop onSocial Data on the Web.2009.

[2]Hu M,Peng Y,Huang Z,et al.Reinforced Mnemonic Reader for MachineReading Comprehension[J].2017.[4]J.Z.Pan,Y.Ren,and Y.Zhao,Tractableapproximate deduction for OWL,Artif.Intell.,vol.235,pp.95–155,2016.

[3]Peters M E，Neumann M，Iyyer M，et al.Deep contextualized wordrepresentations[J].arXiv： 1802.05365，2018.

[4]Devlin J，Chang M W，Lee K，et al.Bert：pretraining of deepbidirectional transformers for language understanding[J].arXiv：1810.04805，2018.

[5]Zhang Z，Han X，Liu Z，et al.ERNIE：enhanced language representationwith informative entities[C]//Proceedings of the 57th Annual Meeting of theAssociation for Computational Linguistics，2019：1441-1451.

[6]Joshi M，Chen D，Liu Y，et al.SpanBERT：improving pretraining byrepresenting and predicting spans[J].arXiv：1907.10529，2019.

[7]Liu Y，Ott M，Goyal N，et al.RoBERTa：a robustly optimized BERTpretraining approach[J].arXiv：1907.11692，2019.

[8]Liu W，Zhou P，Zhao Z，et al.K-BERT：enabling language representationwith knowledge graph[J].arXiv：1909.07606，2019.

[9]包玥,李艳玲,林民.抽取式机器阅读理解研究综述[J].计算机工程与应用,57(12):12.

[10]Song W,F Min,Gu N,et al.Question Similarity Calculation for FAQAnswering[C]// International Conference on Semantics.2007.[4]Martin gebser,Roland kaminski,Benjamin kaufmann,et al.Clingo＝Asp+Control:PreliminaryReport[J].Computer Science,vol. abs/1405.3694,2014.

发明内容

现有的智能问答系统依赖于FAQ问答集的规模和质量，而完善问答集的建立大量依赖人工，在系统建立的初始阶段面临较为严重的冷启动困难问题。为了解决上述现有技术中存在的不足，本发明提供了一种能够根据用户问题，结合常见问题解答模型和机器阅读理解模型提供答案的智能问答系统。

为了实现上述目的，本发明提出一种基于机器阅读理解及常用问题解答模型的智能问答方法，包括以下步骤：

步骤1，问答对采集，包括基于系统文档生成问答对，整理过滤后形成数据库；

步骤2，模型预训练，包括使用步骤1中的数据库对MRC模型以及FAQ模型进行训练；所述FAQ模型为常见问题解答模型，所述MRC模型为抽取式阅读理解模型；

步骤3，用户登录验证；

步骤4，用户问题信息采集，包括从前端获取用户输入的问题信息并输入预训练后的模型；步骤5，答案生成，采用FAQ模型基于语义相似度匹配生成答案，若结果不理想则将用户问题文本输入MRC模型获取问题答案并返回前端展示；

2.根据权利要求1所述基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于：所述常用问题解答模型，首先读取数据集中的问答对，将问答对中的文本进行分词、词性标注、停用词过滤；对问题文本进行向量化处理，并存入数据库中。

3.根据权利要求1所述基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于：所述抽取式阅读理解模型，首先分批读取数据集中的数据；将文本及问题进行分词并向量化；使用门控注意力RNNs向段落词向量融合问句信息，使用自匹配注意力得到具有段落上下文信息的语义向量，然后进行拼接；将拼接好的向量作为Bi-RNNs的输入，将其最后隐状态作为字级别向量表示，用于答案抽取任务。

4.根据权利要求1或2或3所述基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于：步骤5的实现包括以下子步骤，

步骤5.1，将步骤4中获取到的用户问题进行分词并向量化；

步骤5.2，将用户问题向量与步骤2中存入数据库的问题向量进行比较，通过计算两向量间的余弦值来反映其语义相似度，将语义相似度最高的问答对答案输出，并返回给前端展示；

步骤5.3，若用户问题向量与数据集中问答对语义相似度匹配较低，则将问题向量输入抽取式阅读理解模型，将模型的输出和数据库中文本段落的向量表示输入模型解码器，计算文本中每个词作为答案起止位置的概率，将概率最高的结果作为解码器的输出；

步骤5.4，将模型输出的答案起始位置所对应的文本段落，返回给前端展示。

本发明支持多种模式检索，相比现有方法，本发明能在常见问题解答模型效果不理想的情况下，深入理解文档提供答案，使生成答案更具针对性，为用户疑问的解决提供更多参考。同时可为常见问题解答数据集提供补充，实现问答冷启动机制。

本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的标注流程图；

图3为本发明实施例的常见问题解答模型数据预处理流程图；

图4为本发明实施例的结果展示界面图；

图5为本发明实施例的详细内容展示界面图。

具体实施方式

以下结合附图和实施例具体说明本发明的技术方案。

为了更加清晰、直观的展示本发明的目的、技术方案及优点，以下结合附图及实施例，对本发明进行进一步详细说明，图1为本发明整体流程图。

首先就本发明的技术术语进行解释和说明：

MRC:MRC是Machine Reading Comprehension的缩写，意为机器阅读理解，本文中使用的模型是抽取式机器阅读理解模型，即问题的答案抽取自原文片段；

FAQ:FAQ是Frequently Asked Questions的缩写，意为常见问题解答；

RNN:循环神经网络(Recurrent Neural Network)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。

Word2vec:是一群用来产生词向量的相关模型。

参见图1，本发明实施例提供一种基于机器阅读理解及常用问题解答模型的智能问答方法，包括以下步骤：

步骤1.首先构建问答对数据集，对文本特征进行分析的分析，并结合用户高频问题以及现实需求，制定如下问答对生成-规则：

步骤1.1对文本提问时，给予用户常提出的问题较高权重；

步骤1.2问答对内容简明精炼，避免答案冗余；

步骤1.3对于抽取式问答对，问题尽量不使用原文，并给出多种形式的答案。

具体实施时可以依据问答对生成规则对系统文档进行标注。标注人员共6人，两人一组，分10个标注轮次。每个轮次结束后，组内成员相互审查问答对是否符合标注规则。将不合格的问答对标记出，并注明原因，在下一轮次交由下一组进行重新标注(第三组交由第一组重新标注)。以最后一轮不合格问答对校对完成作为标注工作的结束。每个轮次的具体标注流程如图2所示。将所有文本标注完成后入，收集整理成为问答对数据集，表2为数据集样例。具体实施时，本步骤也可以预先进行，进行流程时直接输入预先生成的问答对数据集。

表2问答对数据集样例

步骤2.然后，使用整理好的数据集进行模型预训练与数据处理。

在本实施例中，抽取式阅读理解模型使用问答对数据集进行预训练，包含以下步骤：

步骤2.1：分批读取数据，对文本段落及问答对进行分词处理；

步骤2.2：将分词结果中的特殊字符以及停用词进行替换，便于模型处理；

步骤2.3：使用word2vec对处理后的分词结果进行向量化，生成词表，word2vec方法为现有技术，本发明不予赘述；

步骤2.4：将文本向量输入门控注意力RNNs，将段落词向量融合问句信息，RNNs表示循环神经网络，门控注意力RNNs具体实现为现有技术，本发明不予赘述；

步骤2.5：对门控注意力RNNs输出的具有问句感知的段落词向量使用自匹配注意力，得到具有段落上下文信息的语义向量；

步骤2.6：将段落词向量(步骤2.4输出)与上下文语义向量(步骤2.5输出)进行拼接，作为Bi-RNNs的输入，保存其最后隐藏层状态作为字级别向量表示，用于答案抽取任务。双向RNN(Bi-RNNs)这种网络模型是单独训练两个RNN网络，其中一个是根据文本的正常顺序输入训练，而另一个则是根据正常文本输入的反序输入训练，即将步骤2.4与2.5分别用正反序文本训练两次，最后将两个网络的输出进行拼接或者其他整合操作。

常用问题解答模型，仅对问答对中的问题进行文本分词、词性标注、停用词过滤，再使用word2vec对处理后的文本进行向量化。并存入数据库中，用于语义相似度匹配任务，图3 为FAQ模型的数据处理流程图。

步骤3.用户使用系统时，首先需要用户名密码登录。登陆成功后系统会自动跳转至搜索界面。用户在输入框中输入问题文本，点击搜索按钮。系统前端将用户输入的问题文本返回给后端，后端再将问题文本输入FAQ模型中。

步骤4.使用FAQ模型对问题文本进行语义相似度匹配，步骤如下：

步骤4.1：对问题文本进行分词、向量化；此步骤中，使用jieba分词对用户问题文本进行分词处理。例如用户输入问题为“如何关闭浏览器”，则问题文本将被切分为“如何”，“关闭”，“浏览器”三个词语。再使用word2vec模型对分词结果进行向量化处理，并融合分词词性以丰富向量的语义信息。

步骤4.2：对分词结果进行遍历，在停用词表中查找该词是否存在；若存在则将该词替换为UKN，便于模型统一处理；

步骤4.3：使用word2vec对分词结果进行向量化，具体过程如下：

(1)通过one-hot编码对每个词语进行唯一表示；

(2)使用one-hot编码与权重矩阵进行运算，所得的向量相加求平均作为隐藏层向量；

(3)再与输出权重矩阵进行运算后，经过激活函数处理得到用户问题分词的概率分布；

(4)通过概率分布中最大概率所指的词与真实值间的误差，更新权重矩阵；

(5)将输入层的词向量与更新完毕的权重矩阵进行渔村得到每个单词的词向量；

(6)最后对问句中每个单词的词向量做算术平均，作为用户问题的问题向量表示；

步骤4.4：判断问题向量与问答对数据集中问题向量的语义相似度；本专利通过计算两向量的余弦夹角值来判定其语义相似度。考虑到问答对数据集数据量大，逐个计算将耗费大量时间，产生较差的用户体验；本专利在计算余弦相似度时进行如下简化处理：

(1)向量的模无需重复计算，即对其进行预计算，并将预计算的结果留存，方便下次运算时直接取用，避免了大量重复运算；

(2)在计算两个向量的内积时，只需考虑向量中的非零元素，计算复杂度取决于两个向量中非零元素个数的最小值。

步骤4.5：将语义相似度排名前五的问题答案返回给系统前端；

步骤4.6：前端页面将用户问题、问题答案、发布日期、查看次数等基本信息以列表形式呈现给用户；

步骤5.若FAQ模型匹配结果低于语义相似度阈值，则后端将问题文本输入MRC模型中，步骤如下：

步骤5.1：同步骤4.1对问题文本进行分词、向量化处理；

步骤5.2：对用户问题的分词向量使用注意力机制，得到用户问题注意力分数作为pointer network的初始隐藏层输入；

步骤5.3：获取答案起始位置；根据给定段落表示，把注意力机制作为一个pointer来选取答案在段落中的起始位置，也就是基于初始语境信息，计算段落中每个词语的注意力权重，权重最高的作为起始位置；

步骤5.4：获取答案结束位置；在得到起始位置之后，利用RNN得到一个新的语境信息，该语境中编码了有关答案起始的信息。重复上述起始位置计算方法，利用新的语境信息，就可以计算得到答案的结束位置；

步骤5.5：将答案文本返回给前端展示；后端通过模型解码器输出的答案起止位置，从文本片段中将问题答案文本抽取出来。再利用答案的起止位置，对文本片段中的问题答案进行高亮处理，并将高亮后的文本片段以及答案文本返回给前端；

步骤5.6：若系统前端获取到的高亮文本片段超过300字，则只保留答案文本前后的段落，其他冗余文本用省略号代替。最后将文本片段与发布日期、查看次数等基本信息以列表形式呈现给用户；图4为搜索结果展示页面模型图，点击答案文本可进入答案详情页。

步骤5.7：用户可点击文本片段跳转到答案详情页；详情页展示了用户问题、完整的高亮文本片段、其他用户评论以及相关文档。为用户提供了更多参考信息，为用户的问题解答提供了有效帮助；图5中展示了MRC模式搜索结果的详细信息，包括用户的问题文本，后端返回的文本片段，以及被高亮的问题答案信息。

具体实施时，页面中还可以提供辅助功能按钮，用户信息等。

步骤5.8：前端页面将用户问题、问题答案、发布日期、查看次数等基本信息以列表形式呈现给用户。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。例如，可以提供相应系统，分模块实现问答对采集和标注机制、模型训练与用户问题采集以及答案生成。

问答对采集通过人工标注的方式，首先对系统文档进行段落划分。再通过人工生成的方式，分组标注文本段落，清洗数据后得到问答对数据集。

模型训练使用问答对数据集，对于抽取式阅读理解模型，首先分批读取数据集中的数据。再对文本及问题进行分词并向量化，使用门控注意力RNNs向段落词向量融合问句信息，使用自匹配注意力得到具有段落上下文信息的语义向量。将段落词向量与上下文语义向量进行拼接，作为Bi-RNNs的输入，将其最后隐状态作为字级别向量表示，用于答案抽取任务。对于常用问题解答模型，首先对问答对进行分词、词性标注、停用词过滤，再使用word2vec对处理后的文本进行向量化，并存入数据库中。用户问题信息采集通过前端网页，收集用户选择的搜索模式，以及问题文本信息。

答案生成模块，首先将前端获取到的用户问题进行分词并向量化，将问题向量输入FAQ 模型。并将用户问题向量与数据库中的问答对问题向量进行比较，通过计算两向量间的余弦值来反映其语义相似度，将语义相似度最高的问答对答案输出。若FAQ模型匹配结果不满足语义相似度阈值，则将收集到的用户问题向量输入到之前训练好的MRC模型中，将模型的输出和数据库中文本段落的向量表示输入模型解码器，计算文本中每个词作为答案起止位置的概率，将概率最高的结果作为解码器的输出。最后将模型输出的问题答案返回到前端展示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于，包括以下步骤：

步骤1，问答对采集，包括基于系统文档生成问答对，整理过滤后形成数据库；

步骤2，模型预训练，包括使用步骤1中的数据库对MRC模型以及FAQ模型进行训练；所述FAQ模型为常见问题解答模型，所述MRC模型为抽取式阅读理解模型；

步骤3，用户登录验证；

步骤4，用户问题信息采集，包括从前端获取用户输入的问题信息并输入预训练后的模型；

步骤5，答案生成，采用FAQ模型基于语义相似度匹配生成答案，若结果不理想则将用户问题文本输入MRC模型获取问题答案并返回前端展示。

2.根据权利要求1所述基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于：所述常用问题解答模型，首先读取数据集中的问答对，将问答对中的文本进行分词、词性标注、停用词过滤；对问题文本进行向量化处理，并存入数据库中。

3.根据权利要求1所述基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于：所述抽取式阅读理解模型，首先分批读取数据集中的数据；将文本及问题进行分词并向量化；使用门控注意力RNNs向段落词向量融合问句信息，使用自匹配注意力得到具有段落上下文信息的语义向量，然后进行拼接；将拼接好的向量作为Bi-RNNs的输入，将其最后隐状态作为字级别向量表示，用于答案抽取任务。

4.根据权利要求1或2或3所述基于机器阅读理解及常用问题解答模型的智能问答方法，其特征在于：步骤5的实现包括以下子步骤，

步骤5.1，将步骤4中获取到的用户问题进行分词并向量化；

步骤5.2，将用户问题向量与步骤2中存入数据库的问题向量进行比较，通过计算两向量间的余弦值来反映其语义相似度，将语义相似度最高的问答对答案输出，并返回给前端展示；

步骤5.3，若用户问题向量与数据集中问答对语义相似度匹配较低，则将问题向量输入抽取式阅读理解模型，将模型的输出和数据库中文本段落的向量表示输入模型解码器，计算文本中每个词作为答案起止位置的概率，将概率最高的结果作为解码器的输出；

步骤5.4，将模型输出的答案起始位置所对应的文本段落，返回给前端展示。

Images