CN113157879A - 一种基于量子测量的问答任务匹配的计算机介质 - Google Patents

Abstract

本发明公开一种基于量子测量的问答任务匹配方法，包括测量矩阵编码器以及问答匹配模块；所述语言编码器用于编码当前的问答句子，获取句子编码矩阵；其组成部分包括嵌入层和中间层；嵌入层是初始化单词编码；中间层是将单词编码进行进一步计算，得到单词的密度矩阵，从而进一步得到问答句子的密度矩阵；测量矩阵编码器主要是用于编码当前句子的观测信息，获取问答句子的测量编码矩阵；问答匹配模块用于判断当前输入的疑问句子与答案句子是否匹配；本发明基于端到端的量子语言模型，弥补了量子语言模型中不能考虑交互信息的问题，提高了问答匹配的效果。

Description

一种基于量子测量的问答任务匹配的计算机介质

技术领域

本发明属于数据挖掘的问答匹配任务计算机领域；尤其涉及一种基于量子测量的问答任务匹配的计算机介质。

背景技术

语言模型是自然语言处理中的一个很重要的部分。语言模型可以分为经典概率语言模型和量子概率语言模型，量子概率语言模型依托于量子概率以及量子现象。研究结果表明，人类认知中存在于量子现象^[1]，特别是在语言理解中^[2]。量子概率的不确定性可以被用来更好地表示句子语义的不确定性^[3]。Van Rijsbergen认为，量子理论可以通过数学形式主义来理解逻辑，几何和概率信息检索模型^[4]。它启发了后来的量子理论和自然语言处理技术的结合。后来，Bengio提出了量子语言模型，该模型创造性地使用了量子理论的公式来概括语言模型^[5]，并在密度矩阵中对单词的概率不确定性进行了编码，这对量子语言模型以后的发展起着重要的作用。但量子语言模型有很多问题。一方面，它使用独热编码来对单词进行编码，而没有考虑语义的重要性。另一方面，量子语言模型的密度矩阵是通过迭代过程而不是可分析过程估算的，计算时间很长。

基于以上问题，本发明提出了一种端到端的量子语言模型(NNQLM)，进行了一些改进^[6]，例如，它使用单词嵌入而不是独热编码来表示每个单词，其次，NNQLM是一个端到端的模型，无需迭代估计步骤即可获得疑问句子和答案句子的密度矩阵。

但是，NNQLM仍然没有考虑问题和答案之间相互作用的重要性。如果没有相互作用，匹配效果将会不强。通常，在比较两个句子时，我们通过从一个句子中提取与身份，同义词，反义和其他关系有关的部分来关注另一个句子的关键部分^[7]。因此，通过使用一个句子的内容来指导另一个句子的表示来建模两个句子是很有必要的。

本发明使用量子测量对问答句子进行编码，来更好地表示疑问句子与答案句子之间的信息交互，最后通过计算问答句子的匹配得分来输出结果，即为匹配结果。

在本发明中，我们将量子测量理论引入问答匹配任务。为此，有两个主要挑战：

(1)量子测量矩阵的构建要选择合适的基底，如何在端到端的模型中构建出测量矩阵。

(2)在构建出测量矩阵之后，如何通过测量矩阵来构建问答句子之间的信息交互。

[参考文献]

[1]Aerts D,Sozzo S.Quantum entanglement in concept combinations[J].InternationalJournal of Theoretical Physics,2014,53(10):3587-3603.

[2]Bruza P D,Kitto K,McEvoy D,et al.Entangling words and meaning[J].2008.

[3]Wang B,Zhang P,Li J,et al.Exploration of quantum interference indocumentrelevance judgement discrepancy[J].Entropy,2016,18(4):144.

[4]VanRijsbergen C J.The geometry of information retrieval[M].Cambridge University Press,2004.

[5]Sordoni A,Nie J Y,Bengio Y.Modeling term dependencies with quantumlanguagemodels for IR[C]//Proceedings of the 36th international ACM SIGIRconference onResearch and development in information retrieval.ACM,2013:653-662.

[6]Zhang P,Niu J,Su Z,et al.End-to-End Quantum-like Language ModelswithApplication to Question Answering.(2018)[J].2018.

[7]Yin W,Schtze H,Xiang B,et al.Abcnn:Attention-based convolutionalneuralnetwork for modeling sentence pairs[J].Transactions of the Associationfor Computational Linguistics,2016,4:259-272.

发明内容

本发明所要解决的技术问题是提供一种基于量子测量的量子语言模型，利用量子测量，加强问答句子之间的信息交互，结合密度矩阵的表示能力，加入模型的计算；同时利用反向传播、随机梯度下降优化方法训练网络模型得到最优模型在测试集上预测结果，最终得到更加准确的匹配结果。

本发明的目的是通过以下技术方案实现的：

1.一种基于量子测量的问答任务匹配的计算机介质，所述计算机介质包括端到端的量子语言系统；所述量子语言系统由语言编码器，测量矩阵编码器、问答匹配模块和卷积神经网络构成；其中：

--所述语言编码器用于编码当前的问答句子获取句子编码矩阵；

--所述测量矩阵编码器用于编码当前句子的观测信息获取问答句子的测量编码矩阵；

--所述问答匹配模块用于判断当前输入问答句子中的疑问句子与答案句子是否匹配；其中：疑问句子的密度矩阵与答案句子的测量编码矩阵交互得到疑问句子被观测之后的矩阵，同样地，答案句子的密度矩阵与疑问句子的测量编码矩阵交互得到答案句子被观测后的矩阵，将两个被观测之后的矩阵交互获取交互匹配矩阵；

--所述卷积神经网络提取交互匹配矩阵的特征信息；

--所述全连接神经网络对特征信息处理经softmax层输出匹配数据信息。

进一步，所述语言编码器包括嵌入层和中间层；其中：

--所述嵌入层是初始化单词编码；其采用gensim介质来学习每个单词在word2vec模型中的获得单词的词嵌入表示c_i＝α₁e₁+α₂e₂+…+α_ne_n，其中e_i为基向量，其共轭转置c^T就是一个列向量；

--所述中间层是将单词编码进行进一步计算，得到单词的密度矩阵，从而进一步得到问答句子的密度矩阵，即通过公式ρ_i＝p_ic_i ^Tc_i可以得到每个单词的密度矩阵，其中p_i是每个单词c_i出现的概率；

--所述语言编码器对句子中所有单词的密度矩阵求和，就能得到该句子的密度矩阵表示形式，问句和答句的密度矩阵分别为ρ_q和ρ_a。

进一步，所述测量矩阵编码器通过如下步骤获取问答句子的测量编码矩阵：

3.1、预设测量算子M_m,如果量子语言系统的当前状态为u行向量，则每个结果m出现的概率为：

其中：

表示测量算子M_m的共轭转置；m是状态粒子，可以表示一个事件；u是状态例子m的状态向量；u^T是u向量的转置向量。

3.2、使用测量算子来测量疑问和答案的系统状态获得句子塌缩之后的状态；

3.3、将答案句子中的单词用作测量算子来测量疑问句子获得被测量后的疑问句子状态表示为：

其中：tr(A)表示A的迹；M_m表示的是测量算子，且

是其共轭转置；ρ_q表示的是疑问句子的密度矩阵。

3.4、将疑问句子中的单词用作测量算子来测量答案句子获得被测量后的答案句子状态表示为：

3.5使用疑问句子状态表示中的测量算子获得答案句子测量编码矩阵：

其中：M_j表示的是第j个单词的测量算子，且

是其共轭转置；p_j表示的是第j个单词的重要性；ρ_a表示的是答案句子的密度矩阵。

3.6用答案句子状态表示中的测量算子获得疑问句子测量编码矩阵：

其中：M_i表示的是第i个单词的测量算子，且

是其共轭转置；p_i表示的是第i个单词的重要性；ρ_q表示的是答案句子的密度矩阵。

进一步，所述问答匹配模块通过如下公式获得交互匹配矩阵H_qa：

H_qa＝ρ_am×ρ_pm。

有益效果

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明提出的量子测量问答匹配方法，弥补了NNQLM模型无法考虑问答句子之间的交互作用的不足，提高了问答匹配的流畅性和准确性。

2.基于量子语言模型，我们使用了更流行的gensim工具，训练得到的单词嵌入编码，其表示能力更强，更准确。

附图说明

图1为本发明的方法流程图；

图2为基于量子观测的问答任务匹配方法的模型图

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示：本发明保护一种基于量子测量的问答任务匹配方法，包括语言编码器，测量矩阵编码器、问答匹配模块、卷积神经网络和全连接神经网络；其中：

语言编码器用于编码问答句子，获取句子编码矩阵。首先，本发明通过流行的gensim工具来学习每个单词在word2vec模型中的嵌入表示。然后，本发明得到单词的词嵌入表示 c_i＝α₁e₁+α₂e₂+…+α_ne_n，其中e_i为基向量，那么其共轭转置c^T就是一个列向量。随后，本发明通过公式ρ_i＝p_ic_i ^Tc_i可以得到每个单词的密度矩阵，其中p_i是每个单词c_i出现的概率。最后，本发明对对每个句子得到的单词的密度矩阵进行平均，就能得到该句子的密度矩阵表示形式，其中问句和答句的密度矩阵分别为ρ_q和ρ_a。

测量矩阵编码器主要是用于编码当前句子的观测信息，获取问答句子的测量编码矩阵。测量矩阵编码器主要是用于编码当前句子的观测信息，获取问答句子的测量编码矩阵。通过以问 (答)句作为基底，然后生成一个问(答)句的测量矩阵。

首先，我们定义测量算子为M_m,如果量子系统的当前状态为u(行向量)，则每个结果m出现的概率为：

其中：

表示测量算子M_m的共轭转置；m是状态粒子，可以表示一个事件；u是状态例子 m的状态向量；u^T是u向量的转置向量。本发明使用测量算子来测量问题和答案的系统状态，就能得到句子塌缩之后的状态。将答案句子中的单词用作测量算子来测量疑问句子。疑问句子被测量后的状态表示为：

其中tr(A)表示A的迹，M_m表示的是测量算子，且

是其共轭转置；ρ_q表示的是疑问句子的密度矩阵。同理，将疑问句子中的单词用作测量算子来测量答案句子。答案句子被测量后的状态表示为：

该方法使用密度矩阵表示疑问句子和答案句子。我们使用每个测量算子分别测量系统状态以获得另一个矩阵的测量状态。我们使用由疑问句子构成的测量算子来测量答案句子，然后将答案句子测量后的状态表示为：

其中：M_j表示的是第j个单词的测量算子，且

是其共轭转置；p_j表示的是第j个单词的重要性；ρ_a表示的是答案句子的密度矩阵；

同样的，我们也可以用答案句子组成的测量算子测量疑问句子之后得到的状态：

M_i表示的是第i个单词的测量算子，且

是其共轭转置；p_i表示的是第i个单词的重要性；ρ_q表示的是答案句子的密度矩阵。

问答匹配模块用于判断当前输入的疑问句子与答案句子是否匹配。对于得到的问答句子被测量之后的密度矩阵，我们通过匹配矩阵H_qa＝ρ_am×ρ_pm来得到测量之后的问答句子的匹配矩阵。问答匹配模块用于判断当前输入的疑问句子与答案句子是否匹配。疑问句子的密度矩阵与答案句子的密度矩阵，分别与对方的观测矩阵进行测量计算，然后得到被测量之后的结果，然后将测量结果再进行交互，通过卷积神经网络(CNN)提取特征，最后将提取到的特称通过一个全连接神经网络，经过一个softmax层，输出最终结果，即是否匹配。

在得到了匹配矩阵H_qa之后，我们使用卷积神经网络(CNN)来提取其特征，我们定义第i 轮卷积操作为：

其中δ为激活函数，我们选用的是ReLU激活函数，⊙是2d卷积操作，W_i ^C和

是第i个卷积核的权重值和偏差值。将提取到的特征通过一个全连接神经网络：

其中W_i ^Y和

是第i对问答句子对应的全连接网络的权重值和偏差值，Y_i是最终的得分。

图2显示了本发明设计的基于量子测量的问答任务匹配方法的模型。本发明方法的具体操作步骤如下：

(1)读取训练集中疑问句子和答案句子对，对训练集中所有句子进行分词，中文使用 jiebe工具，英语使用Moses工具。

(2)构建词向量矩阵W＝[c₁,c₂,…,c_n]，每一个单词所对应的词向量c_i的维度为50,矩阵每一列表示一个单词，并且会随着模型的训练进行优化。

(3)计算出每个单词的密度矩阵ρ_i＝p_ic_i ^Tc_i，并进一步计算得到每个句子的密度矩阵。

(4)根据每个句子的密度矩阵，计算得到每个句子对应的测量矩阵，并得到对应句子测量之后的结果。

(5)将测量之后的矩阵进行交互，得到匹配矩阵H_qa。

(6)对匹配矩阵H_qa进行卷积，提取特征信息

(7)把特征信息C_i输入到神经网络，输出最后结果。

(8)最后在问答匹配数据集上进行训练和测试，测试的指标为MAP和MRR分数。关于模型的各个超参数详细设置如表1所示，关于各个问答匹配数据集的详细描述如表2所示，包括训练集、验证集和测试集句子对数。表3表明本发明相比于其他的问答匹配数据集具有更好的翻译效果。

表1各超参数设置

表2数据集信息统计

表3各模型在问答匹配数据集上的对比结果

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于量子测量的问答任务匹配的计算机介质，其特征在于：所述计算机介质包括端到端的量子语言系统；所述量子语言系统由语言编码器，测量矩阵编码器、问答匹配模块和卷积神经网络构成；其中：

--所述语言编码器用于编码当前的问答句子获取句子编码矩阵；

--所述测量矩阵编码器用于编码当前句子的观测信息获取问答句子的测量编码矩阵；

--所述问答匹配模块用于判断当前输入问答句子的疑问句子与答案句子是否匹配；疑问句子的密度矩阵与答案句子的测量编码矩阵交互得到疑问句子被观测之后的矩阵，同样地，答案句子的密度矩阵与疑问句子的测量编码矩阵交互得到答案句子被观测后的矩阵，将两个被观测之后的矩阵交互获取交互匹配矩阵；

--所述卷积神经网络提取交互匹配矩阵的特征信息；

--所述全连接神经网络对特征信息处理经softmax层输出匹配数据信息。

2.根据权利要求1所述的一种基于量子测量的问答任务匹配的计算机介质，其特征在于：所述语言编码器包括嵌入层和中间层；其中：

--所述嵌入层是初始化单词编码；其采用gensim介质来学习每个单词在word2vec模型中的获得单词的词嵌入表示c_i＝α₁e₁+α₂e₂+…+α_ne_n，其中e_i为基向量，其共轭转置c^T就是一个列向量；

--所述中间层是将单词编码进行进一步计算，得到单词的密度矩阵，从而进一步得到问答句子的密度矩阵，即通过公式ρ_i＝p_ic_i ^Tc_i可以得到每个单词的密度矩阵，其中p_i是每个单词c_i出现的概率；

--所述语言编码器对句子中所有单词的密度矩阵求和，就能得到该句子的密度矩阵表示形式，问句和答句的密度矩阵分别为ρ_q和ρ_a。

3.根据权利要求2所述的一种基于量子测量的问答任务匹配的计算机介质，其特征在于：所述测量矩阵编码器通过如下步骤获取问答句子的测量编码矩阵：

3.1、预设测量算子M_m,如果量子语言系统的当前状态为u行向量，则每个结果m出现的概率为：

其中：

表示测量算子M_m的共轭转置；m是状态粒子，可以表示一个事件；u是状态例子m的状态向量；u^T是u向量的转置向量。

Images