CN111444316A - 一种面向知识图谱问答的复合问句解析方法 - Google Patents

Abstract

本发明公开了一种面向知识图谱问答的复合问句解析方法，包括：接收复合问题并获得中心词，作为查询的起点；在解耦器中，将复合问题分解为多个简单问题；在关系检测器中，计算各个简单问题与候选关系的匹配概率，选择概率最大的关系作为该简单问题所属的关系，以中心词为起点、各个简单问题所属的关系为边，在知识图谱中进行匹配，得到复合问题的预测答案；计算复合问题的预测答案与真实答案的损失值，使用优化算法迭代求解直至损失值收敛，得到复合问题的答案。本发明所述的复合问句解析方法结合强化学习的思想，将复合问题分解为简单问题，再通过各个简单问题的答案组合出原始复合问题的答案，提升了智能问答系统在回答复合问题时的表现。

Description

一种面向知识图谱问答的复合问句解析方法

技术领域

本发明涉及知识问答系统领域，具体涉及一种面向知识图谱问答的复合问句解析方法。

背景技术

问答系统(Question Answering System,QA)是信息检索系统的一种高级形式，其研究兴起的主要原因是人们对快速、准确地获取信息的需求，问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。

面向知识图谱的智能问答系统(KBQA)在知识图谱中的大量事实和回答自然语言表示的问题之间搭建了一座桥梁，通过问答系统这个接口，用户可以轻松地使用自然语言在知识图谱中查询问题的答案。

传统的回答复合问题的语义解析过程包括两部分，首先检测问题中提及的作为主题词的实体，该实体作为在知识图谱中查询的起点，然后寻找由多个关系组成的路径，该路径从主题词(起点)连接至复合问题的答案(终点)。

对于知识图谱搜索空间的组合泛化，许多方法将KBQA定义为一个两阶段的串行任务，包括实体链接和关系检测；一些研究聚焦于直接对自然语言问题进行语义分析，把问题解析为结构化的查询，这往往需要大量预先定义的规则；另一些研究则更关注自然语言问题的表示而不是构造知识图谱的查询。

问答系统中的问题主要分为两大类，即只包含单一关系的单跳问题和包含多个关系的多跳问题，现有关于智能问答系统的研究大多只关注单跳问题这种简单的问题形式。

公开号为CN108153876A公开了一种智能问答方法及系统，该智能问答系统(100)包括：对话引擎(101)，用于接收用户提出的问题；分析模块(102)，用于对用户的问题进行分析；候选问答库(103)；检索模块(104)，用于基于所述分析模块(102)对问题分析的结果，在所述候选问答库(103)中检索出与用户问题相关的问答对；匹配模块(105)，用于计算所述检索模块(104)检索出的候选问答对与用户问题的匹配度值；重排序模块(106)，用于综合考虑问题分析、检索和匹配获得的结果，并结合业务需求，对候选问答对重新排序。所述对话引擎(101)进一步被配置为从所述重排序模块(106)重新排序的候选问答对中选择对用户的答复。

其中，关系检测被认为是KBQA的瓶颈，许多工作尝试从不同角度去解决该任务，比如设计丰富的特征、使用深度神经网络以及加入注意力机制，大多数方法能够处理上千个关系，但是很少有支持多关系检测。

基于深度神经网络的语义角色标注通过学习对每个单词进行语义角色标注来捕捉谓词和参数之间的依赖性。这些工作注重提高角色分类器的性能，但是仍然需要大量的监督信号。

发明内容

本发明提供了一种面向知识图谱问答的复合问句解析方法，该复合问句解析方法中引入了强化学习的思想，将复合问题分解为简单问题的模型，能够提升KBQA系统回答复合问题的表现。

一种面向知识图谱问答的复合问句解析方法，包括：

(1)接收客户提出的复合问题，获得复合问题的中心词，作为查询的起点；

(2)将复合问题分解为多个简单问题。

所述的复合问题由N个单词组成的单词序列，具体为式(1)所示；

X＝{X₁,X₂,……,X_i，X_N} (1)

其中，X为复合问题；X_i为单词；

所述的分解的过程为将单词序列输入解耦器中，对组成复合问题的单词序列进行分解。

所述的解耦器包括输入模块、记忆模块和动作模块；

所述的输入模块对输入的单词序列中的每个单词分配一个嵌入向量；同时每个单词都对应有一个动作，每个动作对应一个独热嵌入向量；输入模块通过单词的嵌入向量来建立和更新其对环境的理解；在每一次迭代中，将单词的嵌入向量与该单词对应的上一次的动作的独热嵌入向量连接起来得到的输入模块的输出向量；

所述的嵌入向量为式(2)所示：

e＝{e₁,e₂,……e_i,e_N} (2)

其中，e为嵌入向量；e_i为每个单词的嵌入向量。

所述的独热嵌入向量为式(3)所示：

a＝{a₁,a₂,……a_i,a_N} (3)

其中，a为独热嵌入向量；a_i为每个单词的独热嵌入向量。

所述的输入模块的输出向量为式(4)所示：

x_i＝[e_i,a_i-1] (4)

其中，x_i为每个单词对应的输入模块的输出向量；e_i为每个单词的嵌入向量；a_i-1为每个单词对应的上一次的动作的独热嵌入向量。

所述的记忆模块中利用长短期记忆神经网络LSTM存储输入模块的输出向量，在每次迭代时更新记忆模块所处状态，并输出记忆模块当前层所处的状态与当前所处的隐藏状态的两个状态的连接作为解耦器当前所处的状态向量。

所述的更新记忆模块所处状态的计算公式具体为式(5)所示:

i_i＝σ(w_i[x_i,h_i-1]+b_i)

f_i＝σ(w_f[x_i,h_i-1]+b_f)

g_i＝tanh(w_g[x_i,h_i-1]+b_g)

o_i＝σ(w_o[x_i,h_i-1]+b_o)

其中，x_i为记忆模块第i步的输入的输出模块的输出向量；h_i-1，h_i为记忆模块上一层和当前层的隐藏状态；c_i-1，c_i表示记忆模块中上一层和当前层的状态；W_i，W_f，W_o分别对应LSTM中输入门，遗忘门以及输出门的参数矩阵；b_i，b_f，b_o为LSTM中输入门，遗忘门以及输出门的偏置；i_i，f_i，o_i为LSTM中输入门，遗忘门以及输出门的输出；g_i表示转换后的第i步的输入，用于之后更新当前状态c_i，w_g，b_g分别为转换过程的参数矩阵和偏置；[]表示两个向量的拼接操作；

表示两个向量的内积运算；σ表示sigmoid函数。

所述的记忆模块当前层所处的状态与当前所处的隐藏状态的两个状态的连接，即解耦器当前所处的状态向量用s表示，具体为式(6)所示：

s_i＝[c_i，h_i] (6)

其中，s_i表示记忆模块第i步所处的状态c_i与当前所处的隐藏状态h_i的连接。

所述的动作模块根据解耦器根据当前所处状态选择相应的动作，帮助决定后续的状态转移；根据解耦器当前状态选择两层的前馈神经网络生成选择的动作，迭代完成后，复合问题的每个单词都对应着一个动作，把拥有相同动作的单词聚合为一组，表示一个简单问题，这样就将一个复合问题分解为了多个简单问题。

所述的解耦器根据当前所处状态选择相应的动作的具体过程为式(7)所示：

π(s，W₁，W₂)＝exp(W₂(ReLU(W₁s+b₁))+b₂) (7)

其中，π(s，w₁，w₂)为动作模块根据解耦器根据当前所处状态选择相应的动作；s为解耦器当前所处的状态向量；ReLU表示relu激活函数；W₁，W₂为两层的前馈神经网络对应偏置的参数矩阵；b₁，b₂为两层的前馈神经网络对应偏置。

在训练过程的每次迭代中，所述的解耦器会观察来自输入问题的一个新的单词，并据此更新自己的内部状态，然后，解耦器根据学到的策略选择相应的动作，其当前所处的状态和选取的动作共同决定了环境的下一个状态。

当解耦器完成对输入问题单词序列的遍历，由其选择的动作组成的轨迹也随之确定，同一个动作对应的单词属于同一个意义组，由此将复合问题分解为了多个简单的问题。每个简单问题将原始问题中被选中的单词保留，其余单词用零填充，这样保证了每个单词只出现在一个简单问题中，能够让解耦器充分利用有限的信息，同时采用零填充可以保留原始问题中各单词的位置信息。

(3)将每个简单问题输入至关系检测器中，使用编码器对每个简单问题进行编码，得到问题对应的特征向量；将特征向量输入全连接层进行计算，得到该问题与每个候选关系的匹配概率；选择概率最大的关系作为该简单问题所属的关系；以中心词为起点、各个简单问题所属的关系为边，在知识图谱中进行匹配，得到复合问题的答案。

利用损失函数计算复合问题的答案与真实答案的损失值，并用任意基于梯度下降的优化算法迭代求解直至损失值收敛，完成解耦器的训练，实现复合问句解析。

所述的损失函数具体为式(8)所示：

其中，N表示简单问题的个数；

为简单问题与正确关系的匹配程度；

简单问题与错误关系的匹配程度。

本发明的有益效果：

本发明所提供的面向知识图谱问答的复合问句解析方法中将强化学习引入到基于知识图谱的问题回答中来，提高了基于知识图谱回答复合问题(问题涉及多个关系)的性能，通过强化学习将复合问题分解为简单问题，再将每个简单问题的答案进行组合得到复合问题的答案的过程，能够提升KBQA系统回答复合问题的表现。

附图说明

图1为本发明所提供的面向知识图谱问答的复合问句解析方法流程示意图。

图2为本发明实施例1中解耦器的工作原理图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明所述的面向知识图谱问答的复合问句解析方法，将解耦器的记忆模块(LSTM)的隐藏状态数目设置为400，每个单词的嵌入向量维度设置为100，学习率固定为10^-4,词汇表中的所有单词采用标准正态分布随机初始化。

以下为训练完成后的样例：

输入的复合问题为

Who are the writers that the actors in their films also appear in thefilm<e>

首先根据实体链接技术找出问题中的中心词，即上述问题中的<e>。

如图2所示，将问题(单词序列)输入至解耦器中，则每个单词都对应有一个动作，每个动作是一个独热编码的向量，最终将具有相同动作的向量归为一个意义组，每个意义组可视为一个简单问题。此例中原始的复合问题被分解为三个简单问题，分别为

Who are the writers；

That the actors in their films；

Also appear in the film<e>。

所述模块(1)中解耦器的作用过程如下：

在训练过程的每次迭代中，所述的解耦器观察来自输入问题的一个新的单词，并据此更新内部状态然后，解耦器根据学到的策略选择相应的动作，其当前所处的状态和选取的动作共同决定了环境的下一个状态。

一旦解耦器完成对输入问题单词序列的遍历，由其选择的动作组成的轨迹也随之确定，同一个动作对应的单词属于同一个意义组，由此将复合问题分解为了多个简单的意义组，每个意义组将原始问题中被选中的单词保留，其余单词用零填充，这样保证了每个单词只出现在一个意义组中，能够让解耦器充分利用有限的信息，同时采用零填充可以保留原始问题中各单词的位置信息。

接着将每个简单问题输入至关系检测器，由于解耦器将原始的复合问题分解为多个简单问题，每个简单问题都对应一组候选的关系集合，关系检测器通过计算简单问题与其对应的候选集合中每个关系的相似度，选择相似度最高的关系作为该简单问题对应的关系。每个简单问题都对应知识图谱中的一个关系，这些关系连接起来组成一条路径，这条路径以中心词实体为起点，以预测的答案为终点，这样便得到了复合问题的最终答案。

该步骤具体过程如下：

1)使用编码器对每个简单问题进行编码，得到问题对应的特征向量；

2)将特征向量输入全连接层进行计算，得到该问题与每个候选关系的匹配概率；

3)选择概率最大的关系作为该简单问题所属的关系。

最后以中心词<e>为起点，各个关系为边，在知识图谱中进行匹配，路径的终点即为原始问题的答案，即“中心词——关系1——关系2——关系3——答案”。

利用损失函数计算预测答案与真实答案的损失值，并用任意基于梯度下降的优化算法迭代求解直至损失值收敛，得到复合问题的答案。

所述的损失函数具体为式(8)所示：

其中，N表示简单问题的个数；

为简单问题与正确关系的匹配程度；

简单问题与错误关系的匹配程度。

上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (9)

1.一种面向知识图谱问答的复合问句解析方法，其特征在于，包括：

(1)接收客户提出的复合问题，获得复合问题的中心词，作为查询的起点；

(2)在解耦器中，将复合问题分解为多个简单问题；

(3)在关系检测器中，计算步骤(2)得到的简单问题与各个候选关系的匹配概率，选择概率最大的关系作为该简单问题所属的关系，以中心词为起点、各个简单问题所属的关系为边，在知识图谱中进行匹配，得到复合问题的答案。

2.根据权利要求1所述的面向知识图谱问答的复合问句解析方法，其特征在于，步骤(2)中，所述的复合问题由N个单词组成的单词序列，具体为式(1)所示；

X＝{X₁,X₂,……,X_i，X_N} (1)

其中，X为复合问题；X_i为单词。

3.根据权利要求1所述的面向知识图谱问答的复合问句解析方法，其特征在于，步骤(2)中，所述的解耦器包括输入模块、记忆模块和动作模块。

4.根据权利要求3所述的面向知识图谱问答的复合问句解析方法，其特征在于，所述的输入模块中每个单词都对应一个嵌入向量和一个动作；每个动作对应一个独热嵌入向量；

所述的独热嵌入向量为式(2)所示：

a＝{a₁,a₂,……a_i,a_N} (2)

其中，a为独热嵌入向量；a_i为每个单词的独热嵌入向量；

所述的嵌入向量为式(3)所示：

e＝{e₁,e₂,……e_i,e_N} (3)

其中，e为嵌入向量；e_i为每个单词的嵌入向量。

5.根据权利要求4所述的面向知识图谱问答的复合问句解析方法，其特征在于，所述的输入模块的迭代过程中，将单词的嵌入向量与该单词对应的上一次的动作的独热嵌入向量连接起来，得到记忆模块的输入向量；

所述的记忆模块的输入向量为式(4)所示：

xi＝[e_i,a_i-1] (4)

其中，xi为每个单词对应的记忆模块的输入向量；ei为每个单词的嵌入向量；a_i-1为每个单词对应的上一次的动作的独热嵌入向量。

6.根据权利要求3所述的面向知识图谱问答的复合问句解析方法，其特征在于，所述的记忆模块中利用长短期记忆神经网络LSTM存储输入模块的输出向量，在每次迭代时更新记忆模块所处状态，并输出记忆模块当前层所处的状态与当前所处的隐藏状态的两个状态的连接作为解耦器当前所处的状态向量；

所述的更新记忆模块所处状态的计算公式具体为式(5)所示：

i_i＝σ(w_i[x_i,h_i-1]+b_i)

f_i＝σ(w_f[x_i,h_i-1]+b_f)

g_i＝tanh(w_g[x_i,h_i-1]+b_g)

o_i＝σ(w_o[x_i,h_i-1]+b_o)

c_i＝f_i⊙c_i-1+i_i⊙g_i

h_i＝o_i⊙tanh(c_i) (5)

其中，x_i为记忆模块第i步的输入的输出模块的输出向量；h_i-1，h_i为记忆模块上一层和当前层的隐藏状态；c_i-1，c_i表示记忆模块中上一层和当前层的状态；W_i，W_f，W_o分别对应LSTM中输入门，遗忘门以及输出门的参数矩阵；b_i，b_f，b_o为LSTM中输入门，遗忘门以及输出门的偏置；i_i，f_i，o_i为LSTM中输入门，遗忘门以及输出门的输出；g_i表示转换后的第i步的输入，用于之后更新当前状态c_i，w_g，b_g分别为转换过程的参数矩阵和偏置；[]表示两个向量的拼接操作；⊙表示两个向量的内积运算；σ表示sigmoid函数。

7.根据权利要求6所述的面向知识图谱问答的复合问句解析方法，其特征在于，所述的记忆模块当前层所处的状态与当前所处的隐藏状态的两个状态的连接具体为式(6)所示：

s_i＝[c_i,h_i] (6)

其中，s_i表示记忆模块第i步所处的状态c_i与当前所处的隐藏状态h_i的连接。

8.根据权利要求3所述的面向知识图谱问答的复合问句解析方法，其特征在于，所述的动作模块根据解耦器根据当前所处状态选择相应的动作，帮助决定后续的状态转移；根据解耦器当前状态选择两层的前馈神经网络生成选择的动作，迭代完成后，复合问题的每个单词都对应着一个动作，把拥有相同动作的单词聚合为一组，表示一个简单问题，这样就将一个复合问题分解为了多个简单问题；

所述的解耦器根据当前所处状态选择相应的动作的具体过程为式(7)所示：

π(s，W₁，W₂)＝exp(W₂(ReLU(W₁s+b₁))+b₂) (7)

其中，π(s,w₁,w₂)为动作模块根据解耦器根据当前所处状态选择相应的动作；s为解耦器当前所处的状态向量；ReLU表示relu激活函数；W₁，W₂为前馈神经网络的参数矩阵；b₁，b₂为两层的前馈神经网络对应偏置。

9.根据权利要求1所述的面向知识图谱问答的复合问句解析方法，其特征在于，计算步骤(3)得出的复合问题的答案与真实答案的损失值，使用基于梯度下降的优化算法迭代求解直至损失值收敛，得到训练后的解耦器；

所述的损失函数具体为式(8)所示：

其中，N表示简单问题的个数；

为简单问题与正确关系的匹配程度；

简单问题与错误关系的匹配程度。

Images