CN111368026B - 基于词语义关系与动态卷积神经网络的文本蕴含分析方法 - Google Patents

Abstract

本发明公开了一种基于词语义关系与动态卷积神经网络的文本蕴含分析方法。本发明包括如下步骤：步骤1对需要进行文本蕴含的文本进行初步的数据预处理，使用ConceptNet获取词语义关系，将词语义关系嵌入到数据预处理后的词向量中；步骤2通过对词向量进行卷积操作，生成文本蕴含所需要的语义特征图；步骤3对于卷积生成的语义特征图，使用动态k‑max次池化获取句子特征向量；步骤4对两个句子分别重复以上步骤，生成两个句子特征向量，最后通过蕴含分类器输出最后文本蕴含的结果。本发明采用的技术方案具有更好的鲁棒性和自适应能力。

Description

基于词语义关系与动态卷积神经网络的文本蕴含分析方法

技术领域

本发明涉及文本蕴含领域，具体涉及一种基于词语义关系与动态卷积神经网络的文本蕴含分析方法。

背景技术

文本蕴含是自然语言处理中的一个重要任务。其目标是判断是否可以从给定的前提句中合理地推断出假设句。如能从前提句中推理出假设句则推理关系为蕴含关系；如果前提句与假设句语义矛盾则推理关系为矛盾关系；如果前提句与假设句在语义上不相关则为中立关系。近些年来，随着深度学习的不断发展，使得研究员们可以方便的使用大型的标记好的数据集，例如SNLI和MultiNLI数据集)，这使得训练相当复杂的基于神经网络的模型变得可行。通常，这些模型往往不使用语言分析和特征工程。但是能取得较好结果。

虽然已经证明神经网络使用大量训练数据进行建模在文本蕴含方面上非常有效，它们通常假设所有推论知识均可从提供的训练数据中学习到。但是，如果我们能利用到词汇级别的语义关系，这种语义关系应该有助于句子级别的文本蕴含。例如，前提句为有人在水壶里搅拌辣椒。假设句为有人在壶里搅拌辣椒。可以看到，在这个例子中，我们能从前提句推理出假设句。之所以我们能够正确识别这种关系是因为我们知道壶这个词包含了水壶。但是当计算机预测这两个句子之间的关系并且在训练数据集中不提供水壶与壶的词对，计算机将很难知道壶包含水壶从而判断不出这两个句子的关系。

发明内容

本发明的目的是针对现有文本蕴含技术的不足，提供一种新的利用词语义关系与动态卷积神经网络的文本蕴含方法。

为解决技术问题，本发明的解决方案包括以下步骤：

步骤1、对需要进行文本蕴含分析的语料进行初步的数据预处理，使用ConceptNet获取词语义关系，将词语义关系嵌入到数据预处理后的词向量中；

步骤2、通过对词向量进行卷积操作，生成文本蕴含所需要的语义特征图；

步骤3、对于卷积生成的语义特征图，使用动态k-max次池化获取句子特征向量；

步骤4、对两个句子分别重复以上步骤，生成两个句子特征向量，最后通过蕴含分类器输出最后文本蕴含的结果。

本发明的优点及有益效果如下：

本发明主要为了解决对文本进行文本蕴含的任务，现有的方法在训练集的数据进行预处理时没有包含两个句子之间词语义关系，这会导致模型不能利用到词与词之间关系，在测试数据中，当词对相似时，往往不能很好的正确的判断句子之间的关系，本发明采用的技术方案是利用ConceptNet获取到词对关系，并将关系嵌入到预训练好的词向量中，通过卷积池化操作获取句子特征，最后根据句子特征输出最后的结果，从而提升了准确率。

附图说明

图1是本发明的整体实施方案流程图；

图2是本发明的神经网络模型示意图；

具体实施方式

下面将结合附图详细的说明本发明的技术方案。

参照图1和图2，基于词语义关系与动态卷积神经网络的文本蕴含分析方法，包括以下步骤：

步骤1、对需要进行文本蕴含分析的语料进行初步的数据预处理，使用ConceptNet获取词语义关系，将词语义关系嵌入到数据预处理后的词向量中；

步骤2、对嵌入词语义关系的词向量进行卷积操作，生成文本蕴含所需要的语义特征图；

步骤3、对于卷积生成的语义特征图，使用动态k-max次池化获取句子特征向量；

步骤4、对两个句子分别重复步骤1-步骤3，生成两个句子特征向量，最后通过蕴含分类器输出最后文本蕴含分析的结果。

步骤1具体实现如下：

1-1对于需要进行文本蕴含分析的语料，将前提句的文本数据使用GloVe词向量模型转换成向量的表示P，P＝{p₁,p₂,...,p_n}，其中p_i为第i个词的词向量表示形式，n为句子的长度。注意，前提句与假设句的处理方式一致，为了方便说明，以下部分都以前提句为例。

1-2将前提句和假设句的词向量进行关联建模，生成词的权重向量，其目的是让对推理有利的词获得更好的关系向量。其公式如下所示，

f(p_i,q_j)＝W¹(p_i)^Tq_j+b¹

其中W¹，b¹是可学习的参数，p_i,q_j分别为前提句的第i个词的词向量和假设句的第j个词的词向量，a_ij为前提句的词权重向量。

1-3利用词的权重向量，将ConceptNet生成初始的词关系向量处理成词语义关系向量。其公式如下所示，

其中p′_i为前提句第i个词的词语义关系向量，r_ij为使用ConceptNet生成的前提句第i个词与假设句第j个词的词关系。

1-4将词语义关系向量嵌入到原本的词向量中，W＝((p₁,p′₁),(p₂,p′₂),...,(p_n,p′_n))，其中W为前提句新的词向量矩阵。

步骤2具体实现如下：

2-1对句子的词向量矩阵进行卷积操作，使用长度为5的滤波器对句子的词向量矩阵做滤波，同时采用补零法，在滤波器滤波过程中将落在词向量矩阵之外的元素都默认为零，虽然会使得输出特征图的宽度更宽，但是能更加有效的提取句子的句首和句尾信息，其公式如下所示：

C＝{k₁,k₂,,..,k_f,W,k₁,k₂,..,k_f}

其中，k_i为零向量，f为滤波器长度，W为前提句新的词向量矩阵，C为补零后的句子的词向量矩阵。

2-2.对补零后的句子的词向量矩阵，使用长度为5的滤波器滤波，提取语义特征图S，其公式如下：

其中s_i为卷积后的语义特征图中第i个特征，

为可训练的卷积权重，b为偏差；ci为词向量矩阵C中的第i个词向量表示形式；

步骤3、对于卷积生成的语义特征图，使用动态k-max次池化获取句子特征向量；

步骤3具体实现如下：

3-1.为了获得卷积生成的语义特征图中的重要特征，同时降低维度，对滤波器滤波的一个语义特征图取前k个最大特征值，将其组成子序列，并保持原来语义特征图序列的次序，根据网络的总共卷积层层数，当前输入句子的长度，从不同长度的句子中提取相应数量的语义特征信息；选取特征值数量的动态调整公式如下：

其中k_top为卷积池化层的层数，其层数为3，n为输入的句子长度，L是网络总共卷积层数，l为当前卷积的层数。

步骤4具体实现如下：

4-1将前提句与假设句卷积池化后生成的句子向量表示，通过连接u、v、u-v、u⊙v生成句子关系的表示，其中u为前提句的句子特征向量，v为假设句的句子特征向量；再将句子关系的表示利用300D的全连接层和3-类softmax输出层，输出最后文本蕴含的结果。

Claims (5)

1.基于词语义关系与动态卷积神经网络的文本蕴含分析方法，其特征在于包括如下步骤：

步骤1、对需要进行文本蕴含分析的语料进行初步的数据预处理，使用ConceptNet获取词语义关系，将词语义关系嵌入到数据预处理后的词向量中；

步骤2、对嵌入词语义关系的词向量进行卷积操作，生成文本蕴含所需要的语义特征图；

步骤3、对于卷积生成的语义特征图，使用动态k-max池化获取句子特征向量；

步骤4、对两个句子分别重复步骤1-步骤3，生成两个句子特征向量，最后通过蕴含分类器输出最后文本蕴含分析的结果。

2.根据权利要求1所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法，其特征在于步骤1具体实现如下：

1-1对于需要进行文本蕴含分析的语料，将前提句的文本数据使用GloVe词向量模型转换成向量的表示P，P＝{p₁,p₂,...,p_n}，其中p_i为第i个词的词向量表示形式，n为句子的长度；所述前提句与假设句的处理方式一致；

1-2将前提句和假设句的词向量进行关联建模，生成词的权重向量，其目的是让对推理有利的词获得更好的关系向量；其公式如下所示，

f(p_i,q_j)＝W¹(p_i)^Tq_j+b¹

其中W¹和b¹是可学习的参数，p_i,q_j分别为前提句的第i个词的词向量和假设句的第j个词的词向量，a_ij为前提句的词权重向量；

1-3利用词权重向量，将ConceptNet生成的初始词关系向量处理成词语义关系向量；其公式如下所示，

其中，p′_i为前提句第i个词的词语义关系向量，r_ij为使用ConceptNet生成的前提句第i个词与假设句第j个词的词关系；

1-4将词语义关系向量嵌入到原本的词向量中，W＝((p₁,p′₁),(p₂,p′₂),...,(p_n,p′_n))，其中W为前提句新的词向量矩阵。

3.根据权利要求2所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法，其特征在于步骤2具体实现如下：

2-1.对句子的词向量矩阵进行卷积操作，使用长度为5的滤波器对句子的词向量矩阵做滤波，同时采用补零法，在滤波器滤波过程中将落在词向量矩阵之外的元素都默认为零，虽然会使得输出特征图的宽度更宽，但是能更加有效的提取句子的句首和句尾信息，其公式如下所示，

C＝{k₁,k₂,..,k_i,..,k_f,W,k₁,k₂,..,k_i,..,k_f}

其中，k_i为零向量，f为滤波器长度，W为前提句新的词向量矩阵，C为补零后的句子的词向量矩阵；

2-2.对补零后的句子的词向量矩阵，使用长度为5的滤波器滤波，提取语义特征图S，其公式如下：

其中s_i为卷积后的语义特征图中第i个特征，

为可训练的卷积权重，b为偏差；c_i为词向量矩阵C中的第i个词向量表示形式。

4.根据权利要求3所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法，其特征在于步骤3对于卷积生成的语义特征图，使用动态k-max池化获取句子特征向量，具体实现如下：

3-1.为了获得卷积生成的语义特征图中的重要特征，同时降低维度，对滤波器滤波的一个语义特征图取前k个最大特征值，将其组成子序列，并保持原来语义特征图序列的次序，根据网络的总共卷积层层数，当前输入句子的长度，从不同长度的句子中提取相应数量的语义特征信息；选取特征值数量的动态调整公式如下

其中k_top为卷积池化层的层数，其层数为3，n为输入的句子长度，L是网络总共卷积层数，l为当前卷积的层数。

5.根据权利要求4所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法，其特征在于步骤4具体实现如下：

将前提句与假设句卷积池化后生成的句子向量表示，通过连接u、v、u-v、u⊙v生成句子关系的表示，其中u为前提句的句子特征向量，v为假设句的句子特征向量；再将句子关系的表示利用300D的全连接层和3-类softmax输出层，输出最后文本蕴含的结果。

Images