CN113094486A - 一种量子干涉启发的文本问答匹配系统 - Google Patents

Abstract

本发明公开一种量子干涉启发的文本问答匹配方法，该方法分别提取全局、局部的问答特征表示优化问答系统的匹配准确度，包括问题‑答案复合系统模块、单词权重计算模块、答案概率分布模块、联合概率表示模块、双重特征融合与得分计算模块。通过构造问句密度矩阵与答句的约化密度矩阵分别提取两者的局部特征，其中受量子干涉的启发基于复合系统的约化密度矩阵捕捉答句蕴含单词之间干涉项的局部特征；基于联合概率表示模块融合问句与答句的特征信息，继而通过卷积提取有效的特征信息；最后拼接全局、局部特征并通过全连接层获得最后的预测匹配结果。本发明基于端到端的类量子语言模型，提出捕获全局‑局部特征表示的问答匹配方法，弥补了量子语言模型中局部交互信息缺失的问题，提高了问答匹配的效果。

Description

一种量子干涉启发的文本问答匹配系统

技术领域

本发明涉及文本匹配中的问答任务及语言建模技术领域。具体而言，提出了一种基于量子复合系统建模量子干涉信息的方法，从而有效提高问答任务中问句与答句间的相关性匹配得分的一种量子干涉启发的文本问答匹配系统。

背景技术

文本问答系统是自然语言处理领域中常见的子任务，即要求计算机可以用准确、简介的自然语言回答用户以自然语言的方式提出的问题。作为信息检索的一种衍生任务，问答系统的发展同样起源于人们对于信息获取的需求，其落地应用涉及搜索引擎、网购推荐、天气预报、聊天机器人等场景。一般而言，文本问答任务可以被分为两个阶段——首先，进行问题与文档的匹配，找到可能包含答案的文档；其次，从可能包含答案的文档中精确找到相关的答案。前者可以看作信息检索任务，后者则可以看作阅读理解等语义理解任务，这也是与传统信息检索任务最主要的区别。随着互联网用户的增加，问答系统的智能化、个性化需求不断提升，相关性信息的提取与匹配难度也逐步提升。具体而言，当前问答系统主要基于三种常见的模型：

传统的问答系统基于信息检索框架，其流程分为问题解析、信息检索、段落提取、答案抽取四个步骤。在问题解析部分，系统处理并分析用户输入的问题，并提取权重更高的搜索关键词；信息检索阶段通过计算数据库中文档与关键词的计算匹配程度，获取若干个可能包含答案的候选文章，并且根据它们的相似度进行排序；在段落提取阶段，系统从文章中提取出可能包含答案的段落，并对其做命名实体识别；最后，系统通过语义理解精确抽取出段落中所包含的答案信息。然而，这种基于信息检索的传统问答方法是基于统计学习方法的精确匹配，没有充分捕获问句与答句之间的语义相似度。同时，这些方法也存在泛化能力差、鲁棒性差等问题，难以真正在应用中部署。随着神经网络的广泛引用以及自然语言处理任务的不断兴起，问答系统迎来了技术革新，基于阅读理解、知识图谱的问答系统开始迎来飞速发展。

基于阅读理解的问答(Machine Reading Comprehension Question Answering，MRCQA)^[1]是指给定文档库，通过理解用户的问题，从文档中找到能够回答用户问题的满足需求的细粒度的片段(如段落、句子)的过程。从答案的生成方式划分，可以分为抽取式的阅读理解问答与生成式的阅读理解问答，其中前者使用LSTM等编码器进行文本高阶特征表示，通过相似度计算获得结果；而后者则是使用Seq2Seq模型通过编码-解码的方式生成答案。基于阅读理解的问答其优势在于可以捕捉有效的语义信息用于问答匹配过程。

以知识图谱构建事实型的问答系统，也称之为KBQA(Knowledge Base QuestionAnswering)^[2]。即给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识图谱进行查询、推理得出答案。通常，知识图谱问答系统首先将问句进行语义解析与语义表示，接下来通过与知识图谱进行语义匹配从而完成答案推理并生成最后的答句。可以看出，引入知识图谱后的问答系统优势在于将非结构化的文本数据表示为更加简洁的结构化知识表示。然而，当前基于神经网络的问答系统忽略了用户在问答匹配过程中的意图、语义等不确定信息，而这种不确定信息无法通过经典概率进行描述。

量子理论最早被应用于信息检索中，用于统一经典的逻辑、几何和概率检索模型^[3]。 Bengio等人提出的量子语言模型(Quantum Language Model,QLM)^[4]使用密度矩阵进行单词表示，用于建模语义的不确定性。现有技术中将量子语言模型扩展到神经网络的范畴，提出端到端的量子语言模型(End-to-End Quantum-like Language Model,NNQLM)^[5]，该模型使用词向量来表示单词，并提出一种新的密度矩阵解析计算(而非迭代计算)用于单词与句子表示。同时，量子认知相关工作也开始兴起，研究人员开始注意到量子理论(例如，量子干涉^[6]、量子纠缠^[7]等)在建模自然语言中的宏观类量子现象的优势。

本发明基于量子复合系统建模问句和答句子系统，同时利用量子干涉理论建模问答匹配过程中问句与答句之间的干涉信息，从而更好地从全局、局部两个层面建模文档系统的概率分布，继而获得更加精确的匹配得分。

为了构建复合系统下量子干涉启发的问答模型，仍面临的主要挑战如下：

(1)如何从理论层面证明，问答系统的相关性匹配过程中存在类量子干涉现象，同时这种类量子干涉现象如何通过数学形式化的问答相关性匹配过程进行解释。

(2)量子语言模型在建模用户意图与语义的不确定性层面已展现出超越经典语言模型的优势，然而当前在经典计算机环境下量子复合系统的构建所要求的计算代价巨大。如何基于量子复合系统，通过从全局层面以最小代价的建模文档子系统的概率分布，是本发明亟需解决的问题。

[参考文献]

[1]Tri Nguyen,Mir Rosenberg,Xia Song,Jianfeng Gao,Saurabh Tiwary,Rangan Majumder, and Li Deng.2016.MSMARCO:A Human Generated MAchine ReadingCOmprehension Dataset. In Proceedings of the Workshop on CognitiveComputation:Integrating neural and symbolic approaches 2016co-located withthe 30th Annual Conference on Neural Information Processing Systems(NIPS2016),Vol.1773.

[2]Wanyun Cui,Yanghua Xiao,Haixun Wang,Yangqiu Song,Seung-won Hwang,and Wei Wang.2017.KBQA:Learning Question Answering over QA Corpora andKnowledge Bases.Proc. VLDB Endow.10,5(2017),565–576.

[3]Cornelis Joost van Rijsbergen.2004.The geometry of informationretrieval.Cambridge University Press.

[4]Alessandro Sordoni,Jian-Yun Nie,and Yoshua Bengio.2013.Modelingterm dependencies with quantum language models for IR.In The 36thInternational ACM SIGIR conference on research and development in InformationRetrieval,SIGIR’13.ACM,653–662.

[5]Peng Zhang,Jiabin Niu,Zhan Su,Benyou Wang,Liqun Ma,and DaweiSong.2018. End-to-End Quantum-like Language Models with Application toQuestion Answering.In Proceedings of the Thirty-Second AAAI Conference onArtificial Intelligence,(AAAI-18).AAAI Press,5666–5673.

[6]Benyou Wang,Peng Zhang,Jingfei Li,Dawei Song,Yuexian Hou,andZhenguo Shang. 2016.Exploration of Quantum Interference in Document RelevanceJudgement Discrepancy. Entropy18,4(2016),144.

[7]Diederik Aerts and Sandro Sozzo.2013.Quantum Entanglement inConcept Combinations.CoRRabs/1302.3831(2013).

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种量子干涉启发的文本问答匹配系统，本系统基于量子复合系统理论构建问题-答案复合系统，其中问句与答句分别看作两个子系统；通过约化密度矩阵计算复合系统中的答句子系统的概率分布，其中包含单词交互过程中所产生的干涉信息；最后通过融合全局-局部特征信息计算最后的匹配得分。总之，本发明有效提高问答任务中问句与答句间的相关性匹配得分的一种量子干涉启发的文本问答匹配系统。

本发明的目的通过以下技术方案实现：

一种量子干涉启发的文本问答匹配系统，所述问答匹配系统包括：问题-答案复合模块、权重计算模块、局部特征表示模块、全局特征表示模块、卷积神经网络和双重特征融合与得分计算模块；其中：

所述问题-答案复合模块通过量子波函数对系统中问句与答句进行向量表示生成问句词向量w^q和答句词向量w^a；

所述权重计算模块分别对问句词向量w^q和答句词向量w^a特征提取；

所述局部特征表示模块分别对问句词向量w^q和答句词向量w^a进行矩阵运算获得密度矩阵的问题表示的问句局部特征和约化密度矩阵的答案表示的答句局部特征；

所述全局特征表示模块分别将密度矩阵的问题表示与约化密度矩阵的答案表示通过矩阵乘法构造二维联合概率矩阵；

所述卷积神经网络对二维联合概率矩阵进行特征提取获得全局匹配特征；

所述双重特征融合模块将全局匹配特征与问句、答句局部特征进行拼接获得全局特征向量；

得分计算模块通过全连接层对全局特征向量进行预测匹配计算输出匹配结果。

进一步，所述问句局部特征的密度矩阵的问题表示为

其中

为问句中第i个词向量表示，

为经过训练的单词权重系数。

进一步，所述答句局部特征的约化密度矩阵的答案表示为：

其中

为答句中第i个词向量表示，

为经过训练的单词权重系数。

进一步，所述得分计算模块通过全连接层对全局特征向量进行预测匹配计算输出匹配结果为：

P_i＝softmax(fea_i×W_i+b_i)

其中：W_i和b_i是全连接层中对应的权重与偏差，P_i表示最终的预测匹配结果。

有益效果

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明提出的量子干涉启发的文本问答匹配方法，通过偏迹操作实现问答匹配过程中干涉信息的构造。在WIKI问答数据集中，本发明所提出的模型在MAP和MRR评价指标上模型性能分别达到了0.6433和0.6543。

2.基于量子复合系统的概念，实现全局特征和局部特征的双重捕获。其中，通过构造问答二位联合概率矩阵捕获全局层面的特征信息；同时，通过约化密度矩阵与密度矩阵分别建模答案子系统与问题子系统，捕捉两个子系统的局部特征信息。最后通过拼接操作实现双重特征的捕获。

附图说明

图1为本发明的系统流程图；

图2为量子干涉启发的文本问答匹配模型图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

一种量子干涉启发的文本问答匹配系统，基于量子干涉问答匹配模型实现，包括：问题- 答案复合系统模块、权重计算模块、局部特征表示模块、全局特征表示模块、卷积神经网络和双重特征融合与得分计算模块：

问题-答案复合模块中问题与答案使用量子波函数进行表示。传统的输入中将问题与答案分别使用词向量进行表示，而本发明将每个词向量通过正则化形成符合波函数表示的单位向量。在此基础上，将问题与答案分别看作定义在向量空间的两个量子子系统，由二者共同张量积操作构成表示问答复合系统的量子叠加态，旨在对问答系统中所有的组合语义进行建模。问题-答案复合系统模块是将问句与答句分别看作两个量子子系统，其中问答子系统以词向量作为基态，进而通过张量积构建一个问题-答案复合系统。通过张量积构造文本表示的方法可以在词嵌入各维度之间进行交互作用，能够对所有可能的组合语义进行建模，因此所得到的叠加态向量具有较强的表达能力，可建模问答信息在全局向量空间中的分布，这一过程表示为：

其中，

和

分别表示问句子系统与答句子系统中的第i和第j个基向量；

和

分别表示问句和答句中第i个、第j个基向量的权重系数，它由一组可训练的参数表示并在模型训练过程中不断优化，此处的特征由权重计算模块获得。所述权重计算模块用于捕获单词在文本中的重要性用于构建模型的双重特征。该模块显式建模问题与答案中单词的重要性特征作为匹配过程中的信息，具体而言使用神经网络中可训练的参数衡量单词的重要性。

为了保证复合系统遵循量子理论的相关约束，此处的权重系数均满足归一化条件，即：

由于复合态系统的维度较高，直接计算会大大提高后续计算过程中对于计算资源的消耗。因此，在局部特征表示模块中通过偏迹运算获得答句的约化密度矩阵，用于观测复合系统中答句子系统的概率分布，旨在减少计算资源消耗的同时获得服务于全局视角的特征表示。基于偏迹运算的约化密度矩阵如下所示：

其中，

即问题系统中第i个单词与第j个单词所构成的密度矩阵，表示两个词之间的交互信息。通过约化密度矩阵的表示，本发明可以在建模答句子系统的过程中包含更多的子系统内部交互特征信息。

局部特征表示模块分为基于密度矩阵的问题表示与约化密度矩阵的答案表示。在实际计算中，由于量子复合系统的维度较高，直接使用其进行后续计算对计算资源要求比较高。因此，使用偏迹运算实现基于复合系统的约化密度矩阵的构建，建模答案子系统的概率分布，这部分的意义可以理解为从复合系统的层面得到答案子系统的分布，从而获得额外的干涉信息。

全局特征表示模块将得到的问句密度矩阵与答句约化密度矩阵通过矩阵相乘获得二维联合概率矩阵，用于构建问答系统过程中的全局特征信息，并通过卷积神经网络获得最后的全局匹配特征。

双重特征融合与得分计算模块中，一方面，使用卷积神经网络从全局层面捕捉问答联合概率表示中的有效特征；另一方面，融合由问题密度矩阵与答案约化密度矩阵所提供的局部子系统特征。最后，将上述双重文本特征进行拼接并通过全连接层获得最后的问答匹配得分。将上述步骤所获得全局与局部的双重特征进行拼接，并通过全连接网络获得最后的预测匹配结果。该模型在WIKI与TREC两个QA数据集上进行训练和测试，使用MAP和MRR作为评价指标对模型进行评估。

见图1显示了本方法提出的文本问答匹配系统的流程；图2显示了本发明设计的端到端的量子干涉启发的问答匹配模型。本发明方法的具体操作步骤如下：

(1)模型的输入为一个问答对，问题与答案分别表示为单词列表，使用此表中的单词索引表示。此处使用训练好的50维wiki词向量组成模型所需的单词嵌入矩阵

其中 |V|和d分别表示单词的个数与词嵌入的维度。

(2)输入问句

与答句

其中

和

分别表示第 i个问句单词、第j个答句单词的词嵌入表示。为了保证量子复合系统构建的约束条件，我们将每个词向量进行正则化获得其相应的单位向量：

为了保证模型训练过程中的稳定性，词向量在模型训练过程中保持不变。在此基础上，最后的问答系统分别表示为

与

(3)为了衡量在文本表示建模过程中单词的重要程度，本发明分别使用两个50×1维的权重矩阵g^q与g^a作为度量文本中单词重要性的系数，这两个权重系数矩阵在模型训练过程中会不断优化。

(4)构建问句密度矩阵和答句约化密度矩阵，用于捕获问答系统的局部信息。对于问句子系统而言，其密度矩阵构建过程如下：

其中

为50×1维的词向量表示，

为经过训练的单词权重系数，因此ρ^q为50×50的密度矩阵用于表示问句局部特征。

对于答句子系统而言，其约化密度矩阵构建过程如下：

其中

为50×1维的词向量表示，

为经过训练的单词权重系数，因此ρ^a为50×50的约化密度矩阵用于表示答句局部特征。

(5)构造问答系统的联合概率分布并通过卷积神经网络提取表示全局的特征信息，其过程表示如下：

M_qa＝ρ^q·ρ^a

其中，·表示矩阵乘法操作，M_qa表示为一个50×50的联合概率分布矩阵。进一步，使用卷积神经网络来进一步提取高维全局特征，定义第i轮卷积操作如下：

C_i＝δ(M_qa*W_i+b_i)

其中，δ(·)＝tanh(·)表示激活函数，*表示二维卷积操作，W_i和b_i分别表示第i个卷积核的权重和偏差，卷积核的大小为40×40，个数为120，因此最后获得的卷积层输出C的大小为11×11×120。

(6)分别对卷积层输出进行平均池化操作并铺平获得两个1320×1的向量，将最后的结果进行拼接形成最后全局特征信息向量fea_g，大小为2640×1。

(7)对于局部特征表示ρ^q和ρ^a，通过提取对角线元素信息获得最终的局部特征表示：

fea_{l_a}＝[tra_a；dia_a]

fea_{l_q}＝[tra_q；dia_q]

其中tra_(·)表示求取当前密度矩阵(约化密度矩阵)的对角线元素之和，dia_(·)表示当前密度矩阵(约化密度矩阵)对角线元素构成的向量。

(8)将全局特征与局部特征进行拼接，获得最后的特征向量：

将特征向量通过一个全连接层获得最后的预测匹配得分：

P_i＝softmax(fea_i×W_i+b_i)

其中W_i和b_i是全连接层中对应的权重与偏差，P_i表示最终的预测匹配得分。

(9)模型最后在两个问答数据集上进行测试和训练，实验中的超参设置如表1所示，关于两个问答数据集的详细描述如表1所示。

表1实验超参数设置

表2问答数据集信息统计

表3问答匹配数据集实验结果

从表3中可以看出，相比于原始的CNN模型、量子语言模型等，我们的工作在WIKI数据集上达到了最优的性能，在TREC数据集上表现性能良好。这说明基于约化密度矩阵建模系统间的干涉项信息能有效提升问答模型在局部特征建模过程中的交互信息的捕捉能力。同时，基于全局特征和局部特征的双重特征融合模型进一步提升了模型在问答任务中的性能。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种量子干涉启发的文本问答匹配系统，其特征在于：所述问答匹配系统包括：问题-答案复合模块、权重计算模块、局部特征表示模块、全局特征表示模块、卷积神经网络和双重特征融合与得分计算模块；其中：

所述问题-答案复合模块通过量子波函数对系统中问句与答句进行向量表示生成问句词向量w^q和答句词向量w^a；

所述权重计算模块分别对问句词向量w^q和答句词向量w^a特征提取；

所述局部特征表示模块分别对问句词向量w^q和答句词向量w^a进行矩阵运算获得密度矩阵的问题表示的问句局部特征和约化密度矩阵的答案表示的答句局部特征；

所述全局特征表示模块分别将密度矩阵的问题表示与约化密度矩阵的答案表示通过矩阵乘法构造二维联合概率矩阵；

所述卷积神经网络对二维联合概率矩阵进行特征提取获得全局匹配特征；

所述双重特征融合模块将全局匹配特征与问句、答句局部特征进行拼接获得全局特征向量；

得分计算模块通过全连接层对全局特征向量进行预测匹配计算输出匹配结果。

2.根据权利要求1所述的一种量子干涉启发的文本问答匹配方法，其特征在于：所述问句局部特征的密度矩阵的问题表示为

其中

为问句中第i个词向量表示，

为该单词经过训练的单词权重系数。

3.根据权利要求1所述的一种量子干涉启发的文本问答匹配方法，其特征在于：所述答句局部特征的约化密度矩阵的答案表示为：

其中

为问句中第i个词向量表示，

为经过训练的单词权重系数。

4.根据权利要求1所述的一种量子干涉启发的文本问答匹配方法，其特征在于：所述得分计算模块通过全连接层对全局特征向量进行预测匹配计算输出匹配结果为：

P_i＝softmax(fea_i×W_i+b_i)

其中：W_i和b_i是全连接层中对应的权重与偏差，P_i表示最终的预测匹配结果。

Images