CN108829737B - 基于双向长短期记忆网络的文本交叉组合分类方法 - Google Patents

Abstract

本发明公开了一种基于双向长短期记忆网络的文本交叉组合分类方法，属于自然语言处理领域。方法步骤如下：S1：构建用于对两个文本蕴含关系进行分类的深度神经网络模型，在该模型中先对对待比较蕴含关系的前提文本和假设文本进行分词，将词表征为实数值词向量；然后将实数值词向量分别输入双向长短期记忆循环网络中，分别输出表征文本特征的句向量；把两个句向量分别正向和反向连接得到两个组合向量，然后构建可以表征两文本差异的混合向量并输入分类器；S2：将带标签的语料库送入该模型进行训练。本发明使用双向长短期记忆循环网络提取文本上下文特征，借助交叉组合的方法来表征两文本间的差异，能够确定输入自然语言长文本与目标文本的关系。

Description

基于双向长短期记忆网络的文本交叉组合分类方法

技术领域

本发明涉及计算机对人类自然语言文本进行蕴含关系分类处理的一种算法，涉及双向长短期记忆网络和文本向量的交叉组合。

背景技术

自然语言处理是人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。在人工智能发展的大趋势下，智能设备对于人类自然语言的获取、处理是解决设备智能化的一个重要工作。当前已有的智能设备只具备初步的智能功能，能和人进行简单的交互，能理解人发出的一些简单的指令，但仍存在无法对人类的长指令进行识别理解、无法将人类指令进行前后联系，即在时间上没有关联性等问题。

自然语言推理是自然语言处理领域中的一个挑战，也是人工智能实现的基础。自然语言推理也被称为文本蕴涵关系识别(Recognizing Textual Entailment,RTE)。RTE的目标是判断一个自然语言假设h是否可以从自然语言的前提p中推断出来。对于许多自然语言处理应用程序，如阅读理解(RC)、问题答案(QA)和信息检索(IR)，自然语言推理是必不可少的一步。

时间递归神经网络(Recurrent Natural Network,RNN)是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络，时间递归神经网络可以利用它内部的记忆来处理任意时序的输入序列，所以时间递归神经网络被广泛的应用到自然语言处理领域中。由时间递归神经网络发展而来的长短期记忆循环网络(Long Short-Term Memory,LSTM)可以很好的解决时间递归神经网络中存在的“梯度消失”问题。

发明内容

本发明的目的在于解决设备对人类长指令难以识别理解的问题，本发明提出了一种基于双向长短期记忆网络的文本交叉组合分类方法。该方法可以将输入的长文本和目标文本进行比较处理，对两者之间的蕴含关系进行分类，这对进一步理解长指令有着重要的指导作用。

本发明所采用的具体技术方案如下：

基于双向长短期记忆网络的文本交叉组合分类方法，用于比较两个文本的蕴含关系，其步骤如下：

S1：构建用于对两个文本蕴含关系进行分类的深度神经网络模型，在该模型中分类方法如下：

S11：对待比较蕴含关系的前提文本和假设文本进行分词，选择向量转化模型将词表征为实数值词向量；

S12：然后将S11中前提文本和假设文本的实数值词向量分别输入双向长短期记忆循环网络(Bi-direction Long Short-Term Memory,Bi-LSTM)中，分别输出表征文本特征的句向量；

S13：然后把两个句向量分别正向和反向连接得到两个组合向量，将前提向量、假设向量、两个组合向量之差、两个组合向量之积连接得到可以表征两文本差异的混合向量；

S14：最后将所述的混合向量输入分类器，对待比较的两个文本间的蕴含关系进行分类；

S2：将带标签的语料库送入该深度神经网络模型进行训练，训练完成后将该模型用于对文本蕴含关系进行分类。

上述步骤可以采用如下具体方式实现：

作为优选，所述的S11具体实现方式为：

S111：对待比较蕴含关系的前提文本和假设文本进行分词，分别得到词序列；

S112：使用GloVe模型，将前提文本和假设文本中的词序列分别转换为实数值词向量。

作为优选，文本的分词可采用自然语言处理工具进行。

作为优选，所述的S13具体实现方式为：

S131：将前提文本的句向量和假设文本的句向量分别正向和反向连接，得到交叉组合向量PH和PRH：

PH＝P+H

PRH＝P+reverse(H)

式中：+表示两向量连接；P表示从双向长短期记忆循环网络输出的前提文本句向量；H表示从双向长短期记忆循环网络输出的假设文本句向量；

S132：对交叉组合向量进行逐元素做差，得到反映向量间差异的交叉组合向量差：

CROSSVICsub＝PH-PRH

对交叉组合向量进行逐元素做积，得到反映向量间差异的交叉组合向量积：

CROSSVICmul＝PH⊙PRH

将前提文本句向量、假设文本句向量、交叉组合向量差、交叉组合向量积连接，得到表征两文本差异的混合向量：

MIXVIC＝P+CROSSVICsub+CROSSVICmul+H。

作为优选，S2中带标签的语料库可采用斯坦福自然语言推理(SNLI)语料库。

作为优选，所述的蕴含关系包括蕴涵、矛盾和中立。

本发明的有益效果是，使用双向长短期记忆循环网络提取文本上下文特征，借助交叉组合的方法来表征两文本间的差异，确定输入自然语言长文本与目标文本的关系是蕴涵、矛盾还是中立。该分类方法在计算系统中具有很重要的现实意义，表征和使用文本蕴含关系的语言处理办法在从信息检索到语义解析到常识推理的任务中是必不可少的。

附图说明

图1是本发明的神经网络结构图。

图2是长短期记忆模块的结构图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1所示，本发明中基于双向长短期记忆网络的文本交叉组合分类方法，用于比较两个文本的蕴含关系，蕴含关系包括蕴涵、矛盾和中立。分类方法的步骤如下：

S1、首先，构建一个用于对两个文本蕴含关系进行分类的深度神经网络模型。图1是本发明的神经网络结构图，神经网络结构主要分为四层：词嵌入层、词编码层、交叉组合层、分类层。待比较蕴含关系的两个文本设为前提文本和假设文本，均为如图1中所示的长文本。该网络中对这两个文本蕴含关系进行分类的过程如下：

1)词嵌入层中，采用自然语言处理工具，比如深度学习框架提供的分词工具，对待比较蕴含关系的前提文本和假设文本进行分词，分别得到词序列。然后选择合适的向量转化模型(例如将词表征为实数值向量的高效工具GloVe模型)将由两个长文本分词得到的词序列分别转换为实数值词向量，输入词编码层。

2)词编码层中，前提文本和假设文本的实数值词向量分别输入双向长短期记忆循环网络中，该层借助双向长短期记忆网络的特性可以提取长文本在序列上的特征，分别输出表征文本特征的句向量，然后输入交叉组合层。

长短期记忆循环网络是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，借用长短期记忆网络的时间关联性可以很好地处理长文本理解问题。单向的长短期记忆网络往往忽略了上下文信息，为了解决这个问题，使用双向长短期记忆循环网络。双向长短期记忆循环网络基本思想是每一个训练序列向前和向后分别是两个循环神经网络，而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。使用深度神经网络中的双向长短期记忆网络，可以解决长文本理解时的前后关联问题

3)交叉组合层中，将前提文本的句向量和假设文本的句向量分别正向和反向连接，得到交叉组合向量PH和PRH。其中P＝(p₁,p₂,...,p_n)表示从双向长短期记忆循环网络输出的前提文本句向量；H＝(h₁,h₂,...,h_n)表示从双向长短期记忆循环网络输出的假设文本句向量。

PH＝P+H＝(p₁,p₂,...,p_n,h₁,h₂,...,h_n)

PRH＝P+reverse(H)＝(p₁,p₂,...,p_n,h_n,h_n-1,...,h₁)

式中：+表示两向量连接；reverse(H)为H的反向量，即reverse(H)＝(h_n,h_n-1,...,h₁)

在神经网络的组合层中，将前提向量和假设向量进行正反向的连接，这可以反映句子文本前后的关联性。然后进行做差、做乘等运算，这可以体现两个向量之间的差异性，提高分类的准确性。

然后，对交叉组合向量进行逐元素做差，得到反映向量间差异的交叉组合向量差CROSSVICsub：

CROSSVICsub＝PH-PRH

对交叉组合向量进行逐元素做积，得到反映向量间差异的交叉组合向量积CROSSVICmul：

CROSSVICmul＝PH⊙PRH

再将前提文本句向量、假设文本句向量、交叉组合向量差、交叉组合向量积连接，得到表征两文本差异的混合向量MIXVIC：

MIXVIC＝P+CROSSVICsub+CROSSVICmul+H；

其中+表示两向量连接。

4)最后将前提文本句向量、假设文本句向量、交叉组合向量差、交叉组合向量积连接得到的混合向量送入分类层。在分类层中，利用分类器对待比较的两个文本间的蕴含关系进行分类。

由此，构成了完整的深度学习神经网络模型。

S2、将带蕴涵关系标签的语料库送入该深度神经网络模型进行训练，最终得到对长文本蕴含关系进行分类的模型。训练完成后即可将该模型用于对文本蕴含关系进行分类，确定输入自然语言长文本与目标文本的关系是蕴涵、矛盾还是中立。

实施例

以斯坦福自然语言推理(SNLI)语料库为例，将上述方法应用于语料库进行文本蕴涵关系分类的研究。

1.从SNLI语料库中提取前提文本、假设文本、关系标签的文本。然后使用自然语言处理工具，对前提文本和假设文本进行分词，分别得到词序列。关系标签有三种："entailment","contradiction","neutral"即是蕴涵、矛盾和中立，分别使用(0,0,1),(0,1,0),(1,0,0)量化三个关系标签。

2.使用训练好的斯坦福公开的GloVe 300维模型，将前提文本和假设文本的词序列分别转换为300维词向量序列

3.将得到的前提文本和假设文本的300维词向量序列分别输入bi-LSTM网络，网络中参数设置如下：

如图2所示，t时刻的长短期记忆模块，包含三个gate：

input gate:i_t＝g(W_xix_t+W_hih_t-1+b_i)

forget gate:f_t＝g(W_xfx_t+W_hfh_t-1+b_f)

output gate:o_t＝g(W_xox_t+W_hoh_t-1+b_o)

输入变换：c_t＝tanh(W_xcx_t+W_hch_t-1+b_c)

状态更新：C_t＝f_t*C_t-1+i_tc_t

h_t＝o_t*tanh(C_t)

其中，x_t是t时刻输入的字符向量，h_t是t时刻存储信息的隐藏层状态向量，W_xi,W_xf,W_xo,W_xc是输入x_t的权重矩阵，W_hi,W_hf,W_ho,W_hc是隐藏层状态向量h_t的权重矩阵，b_i，b_f，b_o，b_c为偏置向量；C_t为t时刻的存储信息；o_t为t时刻的输出。

上述h_t存储上文信息，再使用同样的方法设置一个存储下文信息的g_t，将这两者级联就得到双向长短期记忆网络。

从双向长短期记忆网络输出前提文本句向量P＝(p₁,p₂,...,p_n)和假设文本句向量H＝(h₁,h₂,...,h_n)。其中p₁,p₂,...,p_n以及h₁,h₂,...,h_n均为向量元素。

4.将前提文本的句向量P和假设文本的句向量H分别正向和反向连接得到交叉组合向量PH和PRH。

正向连接：PH＝P+H

反向连接：PRH＝P+reverse(H)

上式中的+表示两向量连接

5.对交叉组合向量进行逐元素做差、逐元素做积，分别得到反映向量间差异的向量差和向量积。将前提向量、假设向量、交叉组合向量差、交叉组合向量积连接，得到表征两文本差异的混合向量。

交叉组合向量差：CROSSVICsub＝PH-PRH

交叉组合向量积：CROSSVICmul＝PH⊙PRH

混合向量：MIXVIC＝P+CROSSVICsub+CROSSVICmul+H

6.最后将所述的混合向量输入分类器，对待比较的两个文本间的蕴含关系进行分类。本实施例中，所采用的分类器为以ReLU函数作为激活函数的全连接层。

由此，完成了用于对两个文本蕴含关系进行分类的深度神经网络模型的构建。

7.使用斯坦福自然语言推理(SNLI)语料库中的训练数据部分送入上述网络进行训练，然后使用语料库中的测试数据部分测试模型的性能。下表是将本发明应用于斯坦福自然语言推理语料库得到的最终测试结果。

实验次数	准确率/％
		1	83.46
2	83.28
		3	83.29
4	82.63
		5	82.97
6	83.21
		平均值	83.14

由此表明，本发明的分类模型能够较好的实现文本蕴含关系的分类，分类准确率较高。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种基于双向长短期记忆网络的文本交叉组合分类方法，用于比较两个文本的蕴含关系，其特征在于，步骤如下：

S1：构建用于对两个文本蕴含关系进行分类的深度神经网络模型，在该模型中分类方法如下：

S11：对待比较蕴含关系的前提文本和假设文本进行分词，选择向量转化模型将词表征为实数值词向量；

S12：然后将S11中前提文本和假设文本的实数值词向量分别输入双向长短期记忆循环网络中，分别输出表征文本特征的句向量；

S13：然后把两个句向量分别正向和反向连接得到两个组合向量，将前提向量、假设向量、两个组合向量之差、两个组合向量之积连接得到可以表征两文本差异的混合向量；

S14：最后将所述的混合向量输入分类器，对待比较的两个文本间的蕴含关系进行分类；

S2：将带标签的语料库送入该深度神经网络模型进行训练，训练完成后将该模型用于对文本蕴含关系进行分类。

2.如权利要求1所述的基于双向长短期记忆网络的文本交叉组合分类方法，其特征在于，所述的S11具体为：

S111：对待比较蕴含关系的前提文本和假设文本进行分词，分别得到词序列；

S112：使用GloVe模型，将前提文本和假设文本中的词序列分别转换为实数值词向量。

3.如权利要求2所述的基于双向长短期记忆网络的文本交叉组合分类方法，其特征在于，文本的分词采用自然语言处理工具进行。

4.如权利要求1所述的基于双向长短期记忆网络的文本交叉组合分类方法，其特征在于，所述的S13具体为：

S131：将前提文本的句向量和假设文本的句向量分别正向和反向连接，得到交叉组合向量PH和PRH：

PH＝P+H

PRH＝P+reverse(H)

式中：+表示两向量连接；P表示从双向长短期记忆循环网络输出的前提文本句向量；H表示从双向长短期记忆循环网络输出的假设文本句向量；reverse(H)为H的反向量；

S132：对交叉组合向量进行逐元素做差，得到反映向量间差异的交叉组合向量差：

CROSSVICsub＝PH-PRH

对交叉组合向量进行逐元素做积，得到反映向量间差异的交叉组合向量积：

CROSSVICmul＝PH⊙PRH

将前提文本句向量、假设文本句向量、交叉组合向量差、交叉组合向量积连接，得到表征两文本差异的混合向量：

MIXVIC＝P+CROSSVICsub+CROSSVICmul+H。

5.如权利要求1所述的基于双向长短期记忆网络的文本交叉组合分类方法，其特征在于，S2中带标签的语料库采用斯坦福自然语言推理语料库。

6.如权利要求1所述的基于双向长短期记忆网络的文本交叉组合分类方法，其特征在于，所述的蕴含关系包括蕴涵、矛盾和中立。

Images