CN107562792B

CN107562792B - 一种基于深度学习的问答匹配方法

Info

Publication number: CN107562792B
Application number: CN201710646328.4A
Authority: CN
Inventors: 黄震华
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2020-01-31
Anticipated expiration: 2037-07-31
Also published as: CN107562792A

Abstract

本发明涉及一种基于深度学习的问答匹配方法，主要包括两个步骤：1)利用长短期记忆网络(LSTM：Long Short‑Term Memory)和卷积神经网络(CNN：Convolutional Neural Network)两种深层次的深度神经网络，充分学习问题和答案文本的词序以及句子局部特征；2)基于注意力机制(AM：Attention Mechanism)的池化方式选择出语义匹配最好的关键词。与现有方法相比，本发明具有特征工程工作量低、跨领域性强以及准确度较高等优点，能够有效应用于商业智能客服机器人、自动驾驶、互联网医疗、在线论坛以及社区问答等领域。

Description

一种基于深度学习的问答匹配方法

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于深度学习的问答匹配技术。

背景技术

智能问答系统主要解决问句的真实意图分析、问句与答案之间的匹配关系，理解以自然语言形式描述的用户提问，并通过检索异构语料库或问答知识库返回简洁、精确的匹配正确答案。问答系统处理框架包括问句理解，信息检索，答案生成三个组成部分。依据用户问题的所属数据领域，问答系统可分为面向限定域的问答系统、面向开放域的问答系统、以及面向常用问题集(frequent asked questions,FAQ)的问答系统。本发明主要阐述基于检索式的问答系统的处理框架方法。

传统问答系统中构建的机器学习模型基本属于浅层模型，需要依赖人工构造基本特征，存在着主观性误差，缺少对不同领域数据处理的泛化能力。研究人员不得不进行针对性的数据标注，并且需要依据研究人员的观察和经验来提取模型所需的有效特征。这种特征提取方式不仅工作量巨大，特征质量较差，匹配准确度不高，而且还要往往需要借助引入诸如语义词典(WordNet)，语义知识库(Freebase)等外部语义资源。比如，问句分类过程中常用的基于支持向量机(SVM)的分类模型，答案抽取使用的基于条件随机场(CRF)的序列标注模型，以及候选答案验证过程中使用的基于逻辑回归(LR)的问答匹配模型等。

随着深度学习技术在图像分类、语音识别等任务上被深入探索并取得了突出的效果，表现出了优异的表示特征学习能力。深度学习主要以深度神经网络为主，在自然语言处理领域上主要集中在对词语、句子和篇章的表示学习以及相关应，使用一种名为词嵌入(Word Embedding)或词向量的新型向量表示，模型主要以递归神经网络(RecursiveNeural Network)、循环神经网络(Recurrent Neural Network，RNN)、卷积神经网络(Convolutional Neural Network,CNN)的句子建模。在问答系统领域上，深度学习方法可以抽象出问题和答案的本质信息的表示以及问句答案间的语义匹配关系，另外在问答语句匹配的过程中，一般是句子中某些关键语义的词语能够决定是否能够正确匹配，可以考虑舍弃一些对匹配关系无用的词语。所以基于注意力机制的池化(Pooling)方式可以选择出问答对中匹配关系最好的词语，从而能够提高问答句子的匹配准确率。基于注意力机制模型在自然语言处理任务中表现出较好的研究成果，譬如，在机器翻译上Encoder-Decoder模型，Bahdanau等人借用注意力机制根据目标输出词语，计算一个中间语义向量来生成源词语的注意力权值，语义关系越相近的一对源词语和目标词语，注意力权值就越大，这种机制也符合人类的注意力思维，对目标信息的提取进行进步的重点关注。结合深度神经网络学习模型以及注意力机制可以学习到语句中深层的语法和语义信息特征，选取出问答对中的适合于语义匹配的关键词，从而能够问答匹配的准确性。

然而，我们发现，上述现有方法主要存在特征工程工作量巨大、跨领域性较弱以及准确度不高等明显缺陷。

发明内容

本发明的目的就是为了解决上述现有方法存在的缺陷，提出一种基于深度学习的问答匹配技术，其主要处理流程如图1所示：

本发明可以通过以下技术方案来实现，主要包括两个步骤：

步骤1：对于问答文本集合中的每对问题和答案文本，首先基于Word2vec工具分别将它们转化为问题词向量和答案词向量，然后对于问题词向量和答案词向量，分别利用长短期记忆网络(LSTM：Long Short-Term Memory)进行问题和答案文本词序特征的学习，并将各自LSTM网络的输出向量接入到卷积神经网络(CNN：Convolutional Neural Network)中来提取问题和答案文本更深层的词语特征。

步骤2：基于步骤1中得到问题和答案文本的词语特征，计算出问题和答案文本的匹配程度矩阵，并对该矩阵做基于注意力机制的池化操作，选取问题和答案文本中语义最相关的若干个关键词。然后，把这些关键词输入到LSTM网络中进行训练，从而得到问题和答案文本的最终语义特征向量。根据计算语义特征向量的空间距离得到问答文本对之间的匹配分数，正确的答案匹配分数高，非正确的答案匹配分数低，从而选取最大的值作为问题的答案。

本发明具有以下优点：

1、本发明相比于传统的方法，不需要依赖复杂且耗时的人工特征构造工程，效率较高。

2、本发明基于预训练词向量和深度神经网络学习模型，在语料充足的情况下，能够充分学习文本的句法，语法和语义特征，模型具有很好的灵活性和鲁棒性。

3、本发明借助注意力机制方法，能够学习到问答对语义匹配的关键词语，丢弃一些非关键词的干扰影响，从而能够提高问答匹配的准确性。

附图说明

图1本发明的处理流程图。

具体实施方式

基于本发明概括的技术方案，以下进一步给出实施例技术方案，详细过程及细节如下：

在步骤1中，对于问答文本集合中的每对问题和答案文本，本发明首先基于Word2vec工具分别将它们转化为问题词向量和答案词向量，从而得到问答文本集合所对应的问题词向量矩阵Q＝(q₁，q₂，…，q_l)和答案词向量A＝(a₁，a₂，…，a_m)，其中l和m分别为问答文本集合中题和答案的数量，q_i(1≤i≤l)为第i个问题所对应的列向量，a_j(1≤j≤m)为第j个答案所对应的列向量。

接着，本发明把问题词向量矩阵Q和答案词向量A输入到LSTM网络中去训练学习词序序列的语义特征信息。为了便于并行矩阵的计算，本发明中输入的长度选定一个最大值，句子中的词语较少则用0补充，大于最大的词语长度的句子则会截掉，模型中所有权重W和偏置b随机初始化为U(-0.05，+0.05)均匀分布。

在学习过程中，本发明首先通过LSTM网络内部的遗忘门f_t来决定LSTM网络从细胞单元(cell)状态中丢弃哪些信息，同时，t时刻的词语会读取t-1个隐藏层的输出h_t-1和当前时刻输入词向量q_t，以及输入一个在0到1之间的偏置b_f，并传递给t-1时刻的细胞单元状态C_t-1，其计算方式为：f_t＝σ(W_f[q_t，h_t-1]+b_f)，其中σ为Sigmoid激励函数，W_f为遗忘门权重矩阵。其次，本发明通过输入门i_t来决定什么值需要进行更新，其计算公式表示为：i_t＝σ(W_i[q_t，h_t-1]+b_i)，其中σ为Sigmoid激励函数，W_i为输入门权重矩阵，b_i为0到1之间的偏置。然后，本发明根据Tanh非线性激活函数来创建候选值

其计算公式表示为：

其中W_c为候选权重矩阵，b_c为0到1之间的偏置。在此基础上，本发明更新t时刻的细胞单元内部状态C_t，其计算公式为：

最后，本发明计算并获取输出门的向量为O_t，其计算公式为：O_t＝σ(W_o[q_t，h_t-1]+b_o)，其中σ为Sigmoid激励函数，W_o为输出门权重矩阵，b_o为0到1之间的偏置，以及LSTM网络隐藏层的输出值h_t，其计算公式为：h_t＝O_t*tanh(C_t)。特别，为了能够让t时刻的输入包括在它之前和之后的信息，在在学习过程中，本发明使用双向长短期记忆神经网络(BLSTM：Bidirectional Long Short-Term Memory)将输入序列从正向和反向都输入，在t时刻的输出为两个方向隐层输出

和的叠加，即表示为：

接着，本发明把LSTM网络的输出结果作为输入到CNN网络中，去学习更深层次的句子n-gram局部特征信息。我们设定卷积窗口大小为k，相邻的词向量拼接矩阵为Z，卷积核数为c，那么卷积的过程如下：

G＝f(WZ+b)，

其中，f是ReLU激活函数，W和b为随机正态分布初始化U(0，0.05)的权重矩阵和偏置。经过卷积操作后，我们可以得到问题文本的深层词向量矩阵DQ和答案文本的深层词向量矩阵DA。

在步骤2中，本发明首先针对步骤1中获得的问题文本深层词向量矩阵DQ和答案文本深层词向量矩阵DA，计算问答文本对中每对词之间的一个匹配程度矩阵S，计算方式如下：

S(i，j)＝Tanh(DQ_i⊙DA_j)

其中Tanh为非线性激活函数，DQ_i表示问题文本中第i个词向量，DA_j表示答案文本中第j个词向量，⊙为向量点乘，S(i，j)表示问题文本第i个词与答案文本第j个词之间的语义匹配分数。接着，本发明对匹配程度矩阵S做行级的最大池化，并生成向量g^q，其中第i个值

表示问题文本第i个词对答案的重要性程度，同时，对匹配程度矩阵S做列级的最大池化，并生成向量g^a，其中第j个值

表示答案文本第j个词对问题的重要性程度。然后，本发明分别对g^q和g^a选取最大的p个值，分别把这p个值对应的词语重新输入到LSTM网络中，并选取最后时刻的隐藏层输出，分别得到维度为h的语义特征向量O_q和O_a，从而根据O_q与O_a来计算向量间的空间距离值作为问题文本和答案文本匹配的程度，其计算方式为：

其中||O_q||和||O_a||分别为O_q和O_a的长度。最终，本发明依据答案文本中与问题文本之间的匹配分数，选取最大的值作为问题的正确答案。

Claims

1.一种基于深度学习的问答匹配方法，其特征在于，包括如下步骤：

步骤1：对于问答文本集合中的每对问题和答案文本，首先基于Word2vec工具分别将它们转化为问题词向量和答案词向量，然后对于问题词向量和答案词向量，分别利用长短期记忆网络(LSTM：Long Short-Term Memory)进行问题和答案文本词序特征的学习，并将各自LSTM网络的输出向量接入到卷积神经网络(CNN：Convolutional Neural Network)中来提取问题和答案文本更深层的词语特征；

步骤2：基于步骤1中得到问题和答案文本的词语特征，计算出问题和答案文本的匹配程度矩阵，并对该矩阵做基于注意力机制的池化操作，选取问题和答案文本中语义最相关的若干个关键词；然后，把这些关键词输入到LSTM网络中进行训练，从而得到问题和答案文本的最终语义特征向量；根据计算语义特征向量的空间距离得到问答文本对之间的匹配分数，正确的答案匹配分数高，非正确的答案匹配分数低，从而选取最大的值作为问题的答案。