CN108664632B - 一种基于卷积神经网络和注意力机制的文本情感分类算法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和注意力机制的文本情感分类算法，包括步骤：1)建立包含多种卷积和池化的卷积神经网络，使用情感分类文本进行训练，得到第一个模型；2)建立加入残差连接和非线性的多头点积注意力机制，使用情感分类文本进行训练，得到第二个模型；3)对两个模型进行模型融合，得到文本的情感分类。本发明将多粒度、多种卷积、多种池化融入到卷积神经网络中，将残差连接和非线性引进注意力机制，并计算多次注意力，得到两个文本情感分类模型，通过Bagging模型融合方法，获得融合模型，对文本进行分类，能够结合卷积神经网络能较好地捕获局部特征和注意力机制能较好捕获全局信息的优点，得到更全面的文本情感分类模型。

Description

一种基于卷积神经网络和注意力机制的文本情感分类算法

技术领域

本发明涉及自然语言处理的文本分类领域，尤其是指一种基于卷积神经网络和注意力机制的文本情感分类算法。

背景技术

文本分类有多种应用，例如情感极性分类、主题分类等。针对文本分类，有多种常用的方法，例如基于词典和规则的无监督方法，基于机器学习的有监督方法。基于词典的方法，利用权威的词典，依照经验人工构造特征，模型准确率较高，但由于词典覆盖率较低，导致模型召回率较低。基于机器学习的有监督方法，利用SVM、最大熵模型、朴素贝叶斯、KNN等机器学习方法建模。这些机器学习方法较成熟，理论基础较为坚实，应用广泛，分类效果较好，但受限于文本规模。因为基于机器学习方法需要有类别标签的文本作为训练的输入，而文本的标签需要花费大量的人力物力，因此数据规模一般较小。最近，基于深度学习的方法引起广大学者的重视。基于深度学习的方法只需要少量标识文本和大量未标识文本即可。与传统的机器学习方法不同，基于深度学习的方法不需要手动构造特征，而是通过层次结构自动学习特征，高层的特征通过底层特征的不同组合方式构建，得到的特征具有更丰富的抽象表达能力。

获取输入文本句子的句向量的方法可以分成两类，一种方法是基于词向量的方法，通过不同的组合方式构造句向量，称为组合法。另一种是不通过词向量，直接训练句子得到句向量，称为分布法。

组合法中，可使用不同的神经网络结构组合句向量，例如卷积神经网络、循环神经网络等。卷积神经网络是一种经典的神经网络结构，具有局部感知和共享参数的特点，能够较好捕获到局部特征。但普通的卷积神经网络设定固定的过滤器和池化操作类型，捕获到的局部信息粒度固定、较为死板，缺少多样性。注意力机制是最近被提出用于机器翻译对齐问题的模型。注意力机制模拟人脑中的注意力机制，对重要的部分投放更多注意力，对不重要的部分投放更少注意力。在应用中，注意力机制一般作为卷积层或者循环层的下一层，与卷积神经网络和循环神经网络相结合使用。注意力机制能对句子上所有词语都分别计算权重，线性加权求和后得到句子表达特征，能提取较好的全局特征。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于卷积神经网络和注意力机制的文本情感分类算法，使用卷积神经网络和注意力机制两种模型进行模型融合，提高模型分类效果；另外，对卷积神经网络结构进行改造，引进多种卷积和池化，得到包含多粒度的局部隐含信息的文本特征表达。对于注意力机制，加入残差连接，再对其进行非线性变换，增加非线性。使用改造后的注意力机制建立多头注意力机制。所谓多头注意力机制就是并行地做多次注意力，每个注意力的线性变换权重不同，对所有注意力结果进行连接，得到最终的多头注意力结果。多头注意力能在不同的表示子空间里学习到不同的相关信息。最后，通过Bagging的模型融合方式融合两种模型，得到融合模型，对文本进行分类。

为实现上述目的，本发明所提供的技术方案为：一种基于卷积神经网络和注意力机制的文本情感分类算法，包括以下步骤：

1)建立包含多种卷积和池化的卷积神经网络，使用情感分类文本进行训练，得到第一个模型；

2)建立加入残差连接和非线性的多头点积注意力机制，使用情感分类文本进行训练，得到第二个模型；

3)对两个模型进行模型融合，得到文本的情感分类。

在步骤1)中，建立包含多种卷积和池化的卷积神经网络，包含以下步骤：

1.1)建立两种不同类型的卷积，第一种卷积的卷积核为整体卷积核，匹配整个词向量，第二种卷积的卷积核为单维卷积核，就是在词向量的每一维上进行匹配；假设句子输入sent∈R^len×Dim是len个词语序列，每一个词语由Dim维词向量表示，sent_i∈R^Dim代表词语序列中第i个词向量，sent_i:j代表第i到j个包括第j个词向量的连接，

代表第i个词向量的第k维，

代表第i到j个包括第j个词向量的第k维；假设一个整体卷积核为w∈R^{ws ×Dim}，其滑窗宽度为ws，b∈R为偏置，h为激活函数；当卷积核w应用于输入词语序列sent，w和sent内每一个长度为ws的词向量窗口进行内积，加上偏置值b，应用激活函数h，得到第一种卷积的输出向量c1∈R^1+len-ws，其中第i项等于c1[i]＝h(w⊙sent_i:i+ws-1+b)，i∈[1,1+len-ws]，⊙表示内积；假设一个应用于词向量的第k维的单维卷积核为单维卷积w_k，w_k∈R^ws×1，ws为滑窗宽度，b_k为偏置，h为激活函数；卷积核w_k的输出向量c_k∈R^1+len-ws，其中第i项等于

合并词向量所有维度的输出向量，得到第二种卷积的最终输出c2＝[c₁,c₂,...,c_Dim]；

1.2)对卷积层两种卷积的输出c1和c2分别进行最大池化和平均池化；假设第一种卷积的输出向量c1∈R^1+len-ws最大池化后的输出为

平均池化后的输出为

假设对第二种卷积的输出矩阵c2∈R^{(1+len-ws)×Dim}的第j个词向量维度上的向量c2[j]∈R^{1 +len-ws}进行最大池化后的结果为

平均池化后的结果为

对这两个值进行按位相减，再进行绝对值操作，

abs表示绝对值操作，得到输出为p^j；合并所有维度的结果，得到输出向量为p∈R^Dim；假设对p进行最大池化，得到第二种卷积的最大池化后的最终输出为

平均池化后的最终输出为

连接两种卷积的四个池化输出值

和

得到池化层的最终输出向量

表示连接操作；

1.3)在卷积层使用不同滑窗宽度ws的卷积核。

在步骤2)中，所述多头点积注意力机制由多头注意力机制和点积注意力机制组成，所述多头注意力机制是指并性地做多次注意力，所述点积注意力机制是指使用点积计算输入每个时刻的注意力权重的注意力机制，建立加入残差连接和非线性的多头点积注意力机制，包括以下步骤：

2.1)建立加入残差连接和非线性的点积注意力机制；假设句子输入s∈R^len×Dim是len个词语序列，每一个词语由Dim维词向量表示，s_i∈R^Dim代表词语序列中第i个词向量；假设第i个词向量的输入向量s_i的权重为w，对其进行内积，w_i＝w⊙s_i，⊙表示内积；获得每个词向量的注意力权重w_i后，对其进行归一化，α_i＝softmax(w_i)，α_i表示归一化后的第i个词向量的注意力权重；得到归一化的注意力概率后，加入残差连接，v_i＝α_is_i+s_i，即将权重α_i与输入s_i相乘后，再加上输入s_i本身；再进行非线性变换，得到第i个词向量的输出向量v_i＝relu(v_i)，relu(x)表示非线性relu函数；最后，对所有词向量的输出向量进行求和，得到最终的点积注意力机制输出向量

其中v∈R^Dim；

2.2)并性地做多次注意力；根据步骤2.1)，多次建立加入残差连接和非线性的点积注意力机制，假设第j个注意力机制的权重为w^j，其输出向量为v^j，对所有注意力机制的输出向量进行连接，得到多头点积注意力机制的最终输出向量

表示连接操作，其中h表示多头注意力机制中的注意力个数，即并行地做多次注意力的次数。

在步骤3)中，对两个模型进行模型融合，得到文本最终的情感分类，其具体如下：

使用Bagging的模型融合方法，对两个模型进行模型融合，得到文本的最终类别； 假定数据集的类别数目为K，对于特定的样本x，第一个模型预测样本x属于各个类别的概率 为p¹＝[p₁,p₂,...,p_K]，其融合权重为λ₁；第二个模型预测样本x属于各个类别的概率为p²＝ [p₁,p₂,...,p_K]，其融合权重为λ₂；对于特定的样本x，其最终的预测属于各个类别的概率为 p＝λ₁p¹+λ₂p²；对于特定的样本x，其最终预测类别为预测其属于各个类别的概率向量p中最 大值对应的索引值

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明使用包含多种卷积和池化的卷积神经网络，引进多种卷积和池化操作，得到第一个文本分类模型，其能够捕获更全面的多粒度局部信息。

2、本发明使用的点积注意力机制，增加残差连接和非线性，并且并行地做多次注意力机制，得到第二个文本分类模型，其能提取整个句子较丰富全局信息。

3、本发明分别使用卷积神经网络和注意力机制建立文本情感分类模型，通过Bagging融合方法进行模型融合，结合了改造卷积神经网络能较好捕获丰富的局部特征和改造注意力机制能较好捕获丰富的全局特征的优点。

4、本发明通过模型融合方式，融合两种不同的文本情感分类模型，得到分类效果更好的融合模型。

附图说明

图1为本发明算法的基本流程图。

图2是本文使用的卷积神经网络的结构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

参见图1和图2所示，本实施例所提供的基于卷积神经网络和注意力机制的文本情感分类算法，包括以下步骤：

1)建立包含多种卷积和池化的卷积神经网络，使用情感分类文本进行训练，得到第一个模型；其中，建立包含多种卷积和池化的卷积神经网络，包含以下步骤：

1.1)建立两种不同类型的卷积，第一种卷积的卷积核为整体卷积核，匹配整个词向量，第二种卷积的卷积核为单维卷积核，就是在词向量的每一维上进行匹配。假设句子输入sent∈R^len×Dim是len个词语序列，每一个词语由Dim维词向量表示，sent_i∈R^Dim代表词语序列中第i个词向量，sent_i:j代表第i到j个包括第j个词向量的连接，

代表第i个词向量的第k维，

代表第i到j个包括第j个词向量的第k维。假设一个整体卷积核为w∈R^{ws ×Dim}，其滑窗宽度为ws，b∈R为偏置，h为激活函数。当卷积核w应用于输入词语序列sent，w和sent内每一个长度为ws的词向量窗口进行内积，加上偏置值b，应用激活函数h，得到第一种卷积的输出向量c1∈R^1+len-ws，其中第i项等于c1[i]＝h(w⊙sent_i:i+ws-1+b)，其中i∈[1,1+len-ws]，⊙表示内积。假设一个应用于词向量的第k维的单维卷积核为单维卷积w_k，w_k∈R^{ws ×1}，ws为滑窗宽度，b_k为偏置，h为激活函数。卷积核w_k的输出向量c_k∈R^1+len-ws，其中第i项等于

合并词向量所有维度的输出向量，得到第二种卷积的最终输出c2＝[c₁,c₂,...,c_Dim]；

1.2)对卷积层两种卷积的输出c1和c2分别进行最大池化和平均池化。假设第一种卷积的输出向量c1∈R^1+len-ws最大池化后的输出为

平均池化后的输出为

假设对第二种卷积的输出矩阵c2∈R^{(1+len-ws)×Dim}的第j个词向量维度上的向量c2[j]∈R^{1 +len-ws}进行最大池化后的结果为

平均池化后的结果为

对这两个值进行按位相减，再进行绝对值操作，

abs表示绝对值操作，得到输出为p^j。合并所有维度的结果，得到输出向量为p∈R^Dim。假设对p进行最大池化，得到第二种卷积的最大池化后的最终输出为

平均池化后的最终输出为

连接两种卷积的四个池化输出值

和

得到池化层的最终输出向量

表示连接操作；

1.3)在卷积层使用不同滑窗宽度ws的卷积核。

2)建立加入残差连接和非线性的多头点积注意力机制，使用情感分类文本进行训练，得到第二个模型；其中，所述多头点积注意力机制由多头注意力机制和点积注意力机制组成，所述多头注意力机制是指并性地做多次注意力，所述点积注意力机制是指使用点积计算输入每个时刻的注意力权重的注意力机制，建立加入残差连接和非线性的多头点积注意力机制，包括以下步骤：

2.1)建立加入残差连接和非线性的点积注意力机制。假设句子输入s∈R^len×Dim是len个词语序列，每一个词语由Dim维词向量表示，s_i∈R^Dim代表词语序列中第i个词向量。假设第i个词向量的输入向量s_i的权重为w，对其进行内积，w_i＝w⊙s_i，⊙表示内积。获得每个词向量的注意力权重w_i后，对其进行归一化，α_i＝softmax(w_i)，α_i表示归一化后的第i个词向量的注意力权重。得到归一化的注意力概率后，加入残差连接，v_i＝α_is_i+s_i，即将权重α_i与输入s_i相乘后，再加上输入s_i本身。再对进行非线性变换，得到第i个词向量的输出向量v_i＝relu(v_i)，relu(x)表示非线性relu函数。最后，对所有词向量的输出向量进行求和，得到最终的点积注意力机制输出向量

其中v∈R^Dim；

2.2)并性地做多次注意力。根据步骤2.1)多次建立加入残差连接和非线性的点积注意力机制，假设第j个注意力机制的权重为w^j，其输出向量为v^j，对所有注意力机制的输出向量进行连接，得到多头点积注意力机制的最终输出向量

表示连接操作，其中h表示多头注意力机制中的注意力个数，即并行地做多次注意力的次数。

3)对两个模型进行模型融合，得到文本的情感分类，具体如下：

使用Bagging的模型融合方法，对步骤1)和2)得到的两个模型进行模型融合，得到文本的最终类别。假定数据集的类别数目为K，对于特定的样本x，第一个模型预测样本x属于各个类别的概率为p¹＝[p₁,p₂,...,p_K]，其融合权重为λ₁。第二个模型预测样本x属于各个类别的概率为p²＝[p₁,p₂,...,p_K]，其融合权重为λ₂。对于特定的样本x，其最终的预测属于各个类别的概率为p＝λ₁p¹+λ₂p²。对于特定的样本x，其最终预测类别为预测其属于各个类别的概率向量p中最大值对应的索引值

综上所述，在采用以上方案后，本发明为基于深度学习的文本情感分类方法提供了新的分类思路，将多粒度、多种卷积、多种池化融入到卷积神经网络中，将残差连接和非线性引进注意力机制，并计算多次注意力，得到两个文本情感分类模型，通过Bagging模型融合方法，获得融合模型，对文本进行分类。本发明通过融合两种不同的模型，能够结合卷积神经网络能较好地捕获局部特征和注意力机制能较好捕获全局信息的优点，得到更全面的文本情感分类模型，提高分类效果，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于卷积神经网络和注意力机制的文本情感分类算法，其特征在于，包括以下步骤：

1)建立包含多种卷积和池化的卷积神经网络，使用情感分类文本进行训练，得到第一个模型；

2)建立加入残差连接和非线性的多头点积注意力机制，使用情感分类文本进行训练，得到第二个模型；

3)对两个模型进行模型融合，得到文本最终的情感分类，其具体如下：

使用Bagging的模型融合方法，对两个模型进行模型融合，得到文本的最终类别；假定数据集的类别数目为K，对于特定的样本x，第一个模型预测样本x属于各个类别的概率为p¹＝[p₁,p₂,...,p_K]，其融合权重为λ₁；第二个模型预测样本x属于各个类别的概率为p²＝[p₁,p₂,...,p_K]，其融合权重为λ₂；对于特定的样本x，其最终的预测属于各个类别的概率为p＝λ₁p¹+λ₂p²；对于特定的样本x，其最终预测类别为预测其属于各个类别的概率向量p中最大值对应的索引值

2.根据权利要求1所述的一种基于卷积神经网络和注意力机制的文本情感分类算法，其特征在于：在步骤1)中，建立包含多种卷积和池化的卷积神经网络，包含以下步骤：

1.1)建立两种不同类型的卷积，第一种卷积的卷积核为整体卷积核，匹配整个词向量，第二种卷积的卷积核为单维卷积核，就是在词向量的每一维上进行匹配；假设句子输入sent∈R^len×Dim是len个词语序列，每一个词语由Dim维词向量表示，sent_i∈R^Dim代表词语序列中第i个词向量，sent_i:j代表第i到j个包括第j个词向量的连接，

代表第i个词向量的第k维，

代表第i到j个包括第j个词向量的第k维；假设一个整体卷积核为w∈R^{ws ×Dim}，其滑窗宽度为ws，b∈R为偏置，h为激活函数；当卷积核w应用于输入词语序列sent，w和sent内每一个长度为ws的词向量窗口进行内积，加上偏置值b，应用激活函数h，得到第一种卷积的输出向量c1∈R^1+len-ws，其中第i项等于c1[i]＝h(w⊙sent_i:i+ws-1+b)，i∈[1,1+len-ws]，⊙表示内积；假设一个应用于词向量的第k维的单维卷积核为单维卷积w_k，w_k∈R^ws×1，ws为滑窗宽度，b_k为偏置，h为激活函数；卷积核w_k的输出向量c_k∈R^1+len-ws，其中第i项等于

合并词向量所有维度的输出向量，得到第二种卷积的最终输出c2＝[c₁,c₂,...,c_Dim]；

1.2)对卷积层两种卷积的输出c1和c2分别进行最大池化和平均池化；假设第一种卷积的输出向量c1∈R^1+len-ws最大池化后的输出为

平均池化后的输出为

假设对第二种卷积的输出矩阵c2∈R^{(1+len-ws)×Dim}的第j个词向量维度上的向量c2[j]∈R^1+len-ws进行最大池化后的结果为

平均池化后的结果为

对这两个值进行按位相减，再进行绝对值操作，

abs表示绝对值操作，得到输出为p^j；合并所有维度的结果，得到输出向量为p∈R^Dim；假设对p进行最大池化，得到第二种卷积的最大池化后的最终输出为

平均池化后的最终输出为

连接两种卷积的四个池化输出值

和

得到池化层的最终输出向量

表示连接操作；

1.3)在卷积层使用不同滑窗宽度ws的卷积核。

3.根据权利要求1所述的一种基于卷积神经网络和注意力机制的文本情感分类算法，其特征在于：在步骤2)中，所述多头点积注意力机制由多头注意力机制和点积注意力机制组成，所述多头注意力机制是指并性地做多次注意力，所述点积注意力机制是指使用点积计算输入每个时刻的注意力权重的注意力机制，建立加入残差连接和非线性的多头点积注意力机制，包括以下步骤：

2.1)建立加入残差连接和非线性的点积注意力机制；假设句子输入s∈R^len×Dim是len个词语序列，每一个词语由Dim维词向量表示，s_i∈R^Dim代表词语序列中第i个词向量；假设第i个词向量的输入向量s_i的权重为w，对其进行内积，w_i＝w⊙s_i，⊙表示内积；获得每个词向量的注意力权重w_i后，对其进行归一化，α_i＝softmax(w_i)，α_i表示归一化后的第i个词向量的注意力权重；得到归一化的注意力概率后，加入残差连接，第i个词向量的输出向量v_i＝α_is_i+s_i，即将权重α_i与输入s_i相乘后，再加上输入s_i本身；再进行非线性变换，得到第i个词向量的输出向量v_i＝relu(v_i)，relu(x)表示非线性relu函数；最后，对所有词向量的输出向量进行求和，得到最终的点积注意力机制输出向量

其中v∈R^Dim；

2.2)并性地做多次注意力；根据步骤2.1)，多次建立加入残差连接和非线性的点积注意力机制，假设第j个注意力机制的权重为w^j，其输出向量为v^j，对所有注意力机制的输出向量进行连接，得到多头点积注意力机制的最终输出向量

表示连接操作，其中h表示多头注意力机制中的注意力个数，即并行地做多次注意力的次数。

Images