CN106156003A

CN106156003A - 一种问答系统中的问句理解方法

Info

Publication number: CN106156003A
Application number: CN201610512191.9A
Authority: CN
Inventors: 张晓东; 王厚峰
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2016-06-30
Filing date: 2016-06-30
Publication date: 2016-11-23
Anticipated expiration: 2036-06-30
Also published as: CN106156003B

Abstract

本发明公布了一种问答系统中的问句理解方法，针对一段问句文本，将问句文本表示为词向量矩阵或字向量矩阵，通过循环神经网络进行学习，使得问句文本表示为被意图识别任务和槽填充任务共享的词向量矩阵或字向量矩阵，再使用联合损失函数来共同学习意图识别任务和槽填充任务，由此完成问句理解；利用本发明提供的技术方案，可以充分利用意图识别和槽填充两个任务的内在联系，提高两个任务的准确率和F1值。

Description

一种问答系统中的问句理解方法

技术领域

本发明属于自然语言处理领域，涉及语言语义解析方法，尤其涉及一种问答系统中的问句理解方法，通过循环神经网络联合建模一同解决问句理解中的意图识别任务和槽填充任务，提高问句理解的准确率。

背景技术

问答系统中的问句理解是通过分析问句来判断用户的意图，提取相关的要素(槽)，从而进一步实现用户的需求。问句理解有广阔的应用前景，如问答系统、人机交互系统等。以自动问答系统为例，当获得用户提出的问题后，问句理解引擎理解用户的提问，提取出相关要素用于查询或其他处理，直接给出用户所需的答案或者相应操作，从而大大简化了人机交互的流程。

问句理解主要有两个子任务：意图识别和槽填充。给定一句话，意图识别是判断这句话的意图，可视作分类问题；槽填充是对这句话中的每个槽填上标签，可视作序列标注问题。以“从北京到上海的机票还有吗？”这句话为例，其意图为查询机票有无，要素是起点“北京”和终点“上海”，通过槽填充将要素表示出来。槽填充可以通过对每个字打上标签实现，即“从/O北/B-dept京/I-dept到/O上/B-arr海/I-arr的/O机/O票/O还/O有/O吗/O”，其中使用BIO标注体系，BIO分别表示开始、继续、其他，dept表示出发地，arr表示目的地。根据标注结果，可提取出发地为北京，目的地为上海。

近些年来，许多研究者提出了多种方法来解决这两个任务。传统方法依赖人工设计的特征，使用分类器进行预测，这些方法需要大量的人工干预，且存在着特征稀疏的问题。近年来，基于神经网络的方法大量涌现。文献[1](Mesnil,G.,He,X.,Deng,L.,&Bengio,Y.Investigation of recurrent-neural-network architectures and learningmethods for spoken language understanding.In INTERSPEECH,pp.3771-3775,2013,August.)记载，对于槽填充任务，当前最好的结果是由循环神经网络取得的。然而，该方法没有考虑到两个任务之间的联系。意图识别和槽填充往往具有关联性，举例说明，如果一句话的意图是查询机票，则其中的槽标签很可能包含出发地或目的地，反之亦然。之前的方法在解决这两个任务时，将这两个任务分别进行建模，无法利用两个任务之间的关联性，使得一个任务中可以帮助改进另外一个任务的信息无法被利用。

发明内容

为了克服上述现有技术的不足，本发明提供一种问答系统中的问句理解方法，基于循环神经网络方法，将问句理解中意图识别和槽填充这两个任务及其关联性进行联合学习，基于循环神经网络来联合建模一同解决意图识别和槽填充，利用这两个任务之间的关联性更好地实现两个任务。本发明能够提高两个任务的准确率，可以用于问答系统中的问句理解。

为了便于说明，首先引入如下几个概念：

意图识别(Intent Identification)：文献[2](Tur,G.,Hakkani-Tur,D.,&Heck,L.What is left to be understood in ATIS？.In Spoken Language TechnologyWorkshop(SLT),2010IEEE,pp.19-24,2010,December.)将意图识别(IntentIdentification)定义为：判断一句话的意图，划分到一个类别中。

槽填充(Slot filling)：文献[2]中定义，一句话中的槽可以是字或者词。槽填充即将一句话中的每个槽打上标签，后续可根据标签提取出相应要素。

词(字)向量：使用低维实数向量表示一个词(字)。与传统的稀疏表示相比，维度更低，适合作为神经网络的输入。

循环神经网络(Recurrent Neural Network,RNN)：根据文献[3](Hochreiter,S.,&Schmidhuber,J.(1997).Long short-term memory.Neural computation,9(8),1735-1780.)记载的定义，循环是神经网络的一种，其节点之间的连接形成一个有向环。与前馈神经网络不同，循环神经网络可利用内部存储来处理任意长度的输入。处理过程的每一步称作一个时刻(Time step)。

池化(Pooling)：根据文献[4](Krizhevsky,A.,Sutskever,I.,&Hinton,G.E.(2012).Imagenet classification with deep convolutional neural networks.InAdvances in neural information processing systems(pp.1097-1105).)记载，池化(Pooling)被定义为将多个输入进行聚合，通常有最大池化和平均池化两种方法。

本发明的原理是：首先使用词向量或字向量表示文本，然后使用循环神经网络学习文本的表示，该表示被意图识别和槽填充两个任务共享，再使用联合的损失函数来共同学习两个任务，由此实现两个任务，完成问句理解。本发明通过挖掘意图识别和槽填充两个任务的内在联系，提高两个任务的准确率。本发明提供的问答系统中的问句理解方法的流程图如图1所示。

本发明的技术方案是：

一种问答系统中的问句理解方法，针对一段问句文本，将所述问句文本表示为词向量矩阵或字向量矩阵，通过循环神经网络进行学习，使得所述问句文本表示为被意图识别任务和槽填充任务共享的词向量矩阵或字向量矩阵，再使用联合损失函数来共同学习意图识别任务和槽填充任务，由此完成问句理解；具体包括如下步骤：

A.使用词向量或字向量表示问句文本，将问句文本表示为词向量矩阵或字向量矩阵的形式：

B.使用循环神经网络学习A所述词向量矩阵或字向量矩阵，得到问句在循环神经网络各个时刻的表示和问句的全局表示h^u；

C.将B所述问句在循环神经网络各个时刻的表示用于预测每个槽的标签，将B所述问句的全局表示h^u用于预测该问句的意图，从而使得文本表示被意图识别任务和槽填充任务所共享；

D.使用联合损失函数共同学习意图识别任务和槽填充任务，分别得到意图识别任务和槽填充任务的类别标签，由此完成问句理解。

针对上述问答系统中的问句理解方法，进一步地，A所述将问句文本表示为词向量矩阵或字向量矩阵的形式，具体包括如下步骤：

A1.基于大规模语料学习得到每个词或字的向量表示，作为预训练好的词向量或字向量；

A2.针对每段输入的问句文本，当使用字向量表示文本时，直接将文本中每个字对应到上述A1预训练的字向量上，得到该段文本对应的字向量矩阵；当使用词向量表示文本时，对于每段输入的文本进行分词得到每个词，再将文本中每个词对应到上述A1预训练的词向量上，得到该段文本对应的词向量矩阵。

针对上述问答系统中的问句理解方法，进一步地，B步骤使用循环神经网络的具体输入是以每个词或字为中心的设定窗口内的词向量或字向量，通过循环神经网络学习得到循环神经网络各个时刻的表示；所述循环神经网络各个时刻的表示包括问句在循环神经网络各个时刻的表示和问句的全局表示h^u；所述每个窗口对应循环神经网络的一个时刻。更进一步地，所述设定窗口的大小取值范围为1～7。

针对上述问答系统中的问句理解方法，进一步地，C将B所述问句在循环神经网络各个时刻的表示通过槽填充分类器预测每个槽的标签，将B所述问句的全局表示h^u具体通过最大池化操作得到一个定长表示，再使用意图识别分类器预测识别所述问句的意图，从而使得文本表示被意图识别任务和槽填充任务所共享。更进一步地，所述槽填充分类器和意图识别分类器均采用softmax分类器。

针对上述问答系统中的问句理解方法，进一步地，D具体通过式14所示的联合损失函数共同学习槽填充任务和意图识别任务：

式14中，S为数据集中的问句文本；l^s为问句中每个字的槽标签；l^u为问句的意图标签；为槽填充任务的损失；为意图识别任务的损失；两者均使用交叉熵作为损失函数；α为两个损失的权重条件因子，用于调整两个任务的倾向性。进一步地，所述两个损失的权重条件因子α的取值范围为0.5～2.0。

与现有技术相比，本发明的有益效果是：

本发明提供一种问答系统中的问句理解方法，针对一段问句文本，将所述问句文本表示为词向量矩阵或字向量矩阵，通过循环神经网络进行学习，使得所述问句文本表示为被意图识别任务和槽填充任务共享的词向量矩阵或字向量矩阵，再使用联合损失函数来共同学习意图识别任务和槽填充任务，由此完成问句理解；利用本发明提供的技术方案，可以充分利用意图识别和槽填充两个任务的内在联系，提高两个任务的准确率(Accuracy)和F1值(精度Precision和召回率Recall的调和平均数)。

采用本发明提供的技术方案在两个数据集上进行实验，两个数据集为ATIS数据集和自百度知道(http://zhidao.baidu.com/)收集的3286个问题数据；结果表明，在ATIS数据集上意图识别准确率为98.32％，槽填充F1值为96.89％，相比于之前最好的方法分别提升1.34％和0.43％；对自百度知道(http://zhidao.baidu.com/)收集的3286个问题数据使用5折交叉验证，意图识别准确率为96.05％，槽填充F1值为87.12％，相比于之前最好的方法分别提升1.59％和1.24％。

附图说明

图1是本发明提供的问句理解方法的流程框图。

图2是本发明提供的神经网络的结构图；

其中，w_t表示输入文本的第t个字，e(w_t)为其对应的字向量，x_t为窗口内的字向量连接，为正向RNN在t时刻的表示，为反向RNN在t时刻的表示，为结合正反表示的双向RNN在t时刻的表示，h^u为整个句子的表示，为槽填充分类器对文本的第t个字预测的槽标签概率分布，y^u为意图识别分类器对文本预测的意图标签概率分布。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种问答系统中的问句理解方法，基于循环神经网络方法，将问句理解中意图识别和槽填充这两个任务及其关联性进行联合学习，基于循环神经网络来联合建模一同解决意图识别和槽填充，利用这两个任务之间的关联性更好地实现两个任务。本发明能够提高两个任务的准确率，可以用于问答系统中的问句理解；具体包括如下步骤：

A.使用词向量或字向量表示文本，将文本表示为词向量矩阵或字向量矩阵的形式：

A1.基于大规模语料学习得到每个词或字的向量表示，该步骤预先完成，后续A2步骤处理每段文本时使用本步骤预训练好的词(字)向量；

A2.对于每段输入的文本进行分词(若使用字向量，则不分词)，将文本中每个字或词对应到上述A1预训练的字向量或词向量上，得到该段文本对应的向量矩阵；

当用字向量表示文本时，直接将文本中每个字对应到上述A1预训练的字向量上，得到该段文本对应的字向量矩阵；当用词向量表示文本时，对于每段输入的文本进行分词得到每个词，再将文本中每个词对应到上述A1预训练的词向量上，得到该段文本对应的词向量矩阵；

B.使用循环神经网络学习文本的表示(词向量矩阵或字向量矩阵)，得到问句在RNN各个时刻的表示和问句的全局表示h^u：

具体地，输入为以每个词(字)为中心一定窗口内的词(字)向量，得到RNN各个时刻的表示，每个输入窗口对应一个时刻。

C.将问句在RNN各个时刻的表示用于预测每个槽的标签，将问句的全局表示h^u用于预测该问句的意图，从而使得文本表示被意图识别任务和槽填充任务所共享；

将学习到的表示分别用于两个任务，执行如下操作：

C1.每个时刻的表示分别使用槽填充分类器做预测，用于槽填充任务；

C2.各个时刻的表示通过最大池化操作得到一个定长表示，使用意图识别分类器做预测，用于意图识别任务；

D.使用联合的损失函数共同学习两个任务，分别得到意图识别任务和槽填充任务的类别标签。

上述方法，槽填充分类器和意图识别分类器均采用softmax分类器，预测意图和槽的标签。

以下实施例需要分析一个问句“从北京到上海的机票还有吗？”并进行理解(该问句来自于百度知道中的问题)。以下通过本发明提供的基于循环神经网络的问句理解方法，识别其意图并进行槽填充。图1是本发明提供的基于循环神经网络的问句理解方法的流程图，具体包括如下步骤：

首先使用词(字)向量表示文本：

本步骤的输入为上述问句。将文本表示为矩阵的形式。可以使用基于字的表示或者基于词的表示。这里以基于字表示为例：首先需要基于大规模语料预训练字向量。字向量的预训练(计算)可以直接使用开源工具Word2Vec，大规模语料可以使用中文Gigaword、维基百科和搜狗新闻语料等，字向量维度可以根据情况设置，例如设置为200维。文本中每个字对应到上述预训练的字向量上，这样，一段文本转换为一个实数矩阵

E＝(e(w₁),e(w₂),…,e(w_T)) (式1)

其中，e(w_t)为字w_t对应的字向量。该矩阵为本步骤的输出。

然后，使用循环神经网络学习文本的表示，得到问句在RNN各个时刻的表示和问句的全局表示h^u：

本步骤的输入为上述实数矩阵E。取一定大小的窗口(窗口大小取值范围一般为1-7，本例取大小为3)，将矩阵E每个窗口内的字向量连接，得到矩阵：

X＝(x₁,x₂,…,x_T) (式2)

其中，x_t＝(e(w_t-1),e(w_t),e(w_t+1))。矩阵X作为本发明提出的神经网络的输入，神经网络的结构如图2所示，其中，w_t表示输入文本的第t个字，e(w_t)为其对应的字向量，x_t为窗口内的字向量连接，为正向RNN在t时刻的表示，为反向RNN在t时刻的表示，为结合正反表示的双向RNN在t时刻的表示，h^u为整个句子的表示，为槽填充分类器对文本的第t个字预测的槽标签概率分布，y^u为意图识别分类器对文本预测的意图标签概率分布。

字向量首先经过循环神经网络层RNN，这里RNN可以使用基础的RNN或其改进版本(如长短期记忆网络LSTM、门限循环单元GRU)。以GRU为例，t时刻的隐状态h_t计算方式如下：

r_t＝σ(W_rx_t+U_rh_t-1) (式3)

z_t＝σ(W_zx_t+U_zh_t-1) (式5)

式3～式6中，x_t为t时刻的输入；r和z分别是重置门和更新门；σ是sigmoid函数；W、W_r、W_z以及、U_r、U_z是变换矩阵；表示两个向量逐元素相乘。为方便起见，上述公式6简记为：

h_t＝GRU(x_t,h_t-1) (式7)

本发明使用双向RNN学习句子表示，t时刻的双向表示为正向RNN隐状态和反向RNN隐状态的连接，即式8～式10：

通过最大池化操作，可以综合各个RNN各个时刻学习到的表示，得到整句话的全局表示，即式11：

本步骤的输出为两种表示，问句在RNN各个时刻的表示和问句的全局表示h^u。

最后，将学习到的表示分别用于两个任务：

本步骤的输入为上述两种表示(式8和式11)。问句在RNN各个时刻的表示用于预测每个槽的标签，整句话的全局表示h^u用于预测这句话的意图。最终，输出层使用softmax分类器预测意图和槽的标签，即式12和式13：

y^u＝softmax(W^uh^u+b^u) (式13)

其中，W^s,W^u是变换矩阵，b^s,b^u是偏置项。

通过定义联合损失函数，实现两个任务的共同训练，分别得到意图识别任务和槽填充任务的类别标签。

本发明定义联合损失函数如式14：

式14中，S为数据集中的问句文本；l^s为问句中每个字的槽标签；l^u为问句的意图标签；为训练数据集；为槽填充任务的损失；为意图识别任务的损失；两者均使用交叉熵作为损失函数；α为两个损失的权重条件因子，用于调整两个任务的倾向性(一般取值范围为0.5-2.0，本例取1.0，α越大即越倾向于槽填充任务)。

使用BIO标注体系，BIO分别表示开始、继续、其他，dept表示出发地，arr表示目的地。在训练过程中，本步骤的输出是问句在定义的联合损失函数下的损失；在预测(即对问句的理解)过程中，本步骤的输出是分类器预测概率最大的标签，对于意图识别任务，输出意图类别为“查询机票有无”，对于槽填充任务，输出为每个字的槽标签“从/O北/B-dept京/I-dept到/O上/B-arr海/I-arr的/O机/O票/O还/O有/O吗/O”。

利用本发明提供的技术方案，可以充分利用意图识别和槽填充两个任务的内在联系，提高两个任务的准确率(Accuracy)和F1值(精度Precision和召回率Recall的调和平均数)。为验证本发明的效果，在两个数据集上进行实验。第一个数据集是ATIS数据集，详细描述见文献[2](Tur,G.,Hakkani-Tur,D.,&Heck,L.What is left to be understood inATIS？.In Spoken Language Technology Workshop(SLT),2010IEEE,pp.19-24,2010,December.)，在测试集上意图识别准确率为98.32％，槽填充F1值为96.89％，相比于之前最好的方法分别提升1.34％和0.43％；第二个数据集是收集自百度知道(http://zhidao.baidu.com/)的3286个问题数据，使用5折交叉验证，意图识别准确率为96.05％，槽填充F1值为87.12％，相比于之前最好的方法分别提升1.59％和1.24％。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种问答系统中的问句理解方法，针对一段问句文本，将所述问句文本表示为词向量矩阵或字向量矩阵，通过循环神经网络进行学习，使得所述问句文本表示为被意图识别任务和槽填充任务共享的词向量矩阵或字向量矩阵，再使用联合损失函数来共同学习意图识别任务和槽填充任务，由此完成问句理解；具体包括如下步骤：

2.如权利要求1所述问答系统中的问句理解方法，其特征是，A所述将问句文本表示为词向量矩阵或字向量矩阵的形式，具体包括如下步骤：

3.如权利要求1所述问答系统中的问句理解方法，其特征是，B步骤使用循环神经网络的具体输入是以每个词或字为中心的设定窗口内的词向量或字向量，通过循环神经网络学习得到循环神经网络各个时刻的表示；所述循环神经网络各个时刻的表示包括问句在循环神经网络各个时刻的表示和问句的全局表示h^u；所述每个窗口对应循环神经网络的一个时刻。

4.如权利要求3所述问答系统中的问句理解方法，其特征是，所述设定窗口的大小取值范围为1～7。

5.如权利要求1所述问答系统中的问句理解方法，其特征是，C将B所述问句在循环神经网络各个时刻的表示通过槽填充分类器预测每个槽的标签，将B所述问句的全局表示h^u具体通过最大池化操作得到一个定长表示，再使用意图识别分类器预测识别所述问句的意图，从而使得文本表示被意图识别任务和槽填充任务所共享。

6.如权利要求5所述问答系统中的问句理解方法，其特征是，所述槽填充分类器和意图识别分类器均采用softmax分类器。

7.如权利要求1所述问答系统中的问句理解方法，其特征是，D具体通过式14所示的联合损失函数共同学习槽填充任务和意图识别任务：

式14中，S为数据集中的问句文本；l^S为问句中每个字的槽标签；l^u为问句的意图标签；为槽填充任务的损失；为意图识别任务的损失；两者均使用交叉熵作为损失函数；α为两个损失的权重条件因子，用于调整两个任务的倾向性。

8.如权利要求7所述问答系统中的问句理解方法，其特征是，所述两个损失的权重条件因子α的取值范围为0.5～2.0。