CN110097089A - 一种基于注意力组合神经网络的文档级别的情感分类方法 - Google Patents

Abstract

本发明公开了一种基于注意力组合神经网络的文档级别的情感分类方法。本发明提分为两个阶段来获得文档级别评论的特征用于情感分类：第一个阶段使用两层双向门控循环神经网络来获得具有组成语义的文档矩阵表示，并使用双层注意力机制来区分不同字词与不同句子的重要性；第二阶段使用二维卷积神经网络来采样由第一阶段获得的矩阵表示中更有意义的特征依赖，并生成高维表示用于情感分类，该阶段使用卷积注意力模块来关注重要特征并抑制不必要的特征。本发明解决了现有的情感分类方法中难以进行长文本建模、难以捕捉特征之间的依赖的问题，而且在长文本中，重要信息可出现在文档中的任何位置与组成部分中。

Description

一种基于注意力组合神经网络的文档级别的情感分类方法

技术领域

本发明属于自然语言处理领域，尤其涉及一种基于注意力组合神经网络的文档级别的情感分类方法。

背景技术

文本情感分类是在许多领域中使用的最多的自然语言处理技术之一，如电商网站，政治走向分析，在线社交网络等。文本情感分类是情感分析中重要的任务。传统的文本情感分类方法包括基于词典的方法以及基于语料库的方法。基于词典的方法利用现有的单词或短语情感词典和一些语言规则实现对文档的情感预测，而基于语料库的方法大多依赖具有注释情感极性的文本来构建分类器。随着深度学习取得巨大成功，研究者开始使用深度学习方法，例如卷积神经网络(CNN)和长短期记忆的神经网络(LSTM)用于文本情感分类，取代了需要特征工程以及语言规则的传统情感分类方法。

文本情感分类可分为文档级别、句子级别或短语级别的情感分类。其中句子级别和短语级别的是从单一有限的序列中提取特征表示然后进行分类，而文档级别的情感分类是情感分类中更为棘手的问题，它需要考虑文档的组成结构信息(包括句子之间的语义关系)并存储局部情感信息。CNN与LSTM是文本情感分类中非常流行的方法，许多研究者将这两种网络结合，期望解决文档级别的情感分类存在的问题。相比简单的CNN与LSTM模型，结合这两种网络有更大的优势捕获到文档的组成结构信息或者更有意义的特征依赖。为了提高模型的性能，研究者在神经网络中加入了一些注意力机制，来区分不同的组成部分以及特征的权重。这些注意力使网络模仿人类视觉的工作方式，将注意力集中在重要的部分，专注于重要特征并抑制不必要的特征来提高网络的性能。

发明内容

本发明的目的在于提供一种基于注意力组合神经网络的文档级别的情感分类方法，用于解决现有的情感分类方法中难以进行长文本建模以及难以捕捉特征之间的依赖的问题。

本发明的目的至少通过如下技术方案之一实现。

一种基于注意力组合神经网络的文档级别的情感分类方法，将基于注意力组合神经网络的文档级别的情感分类方法分为两个阶段，分别是文档矩阵表示生成阶段与文档向量表示生成阶段。文档矩阵表示生成阶段将文档的每个字词嵌入为词向量输入至网络中，并获得文档的初级矩阵表示。文档向量表示生成阶段对矩阵表示进一步进行特征提取，获得更高级的向量表示。

进一步地，文档矩阵表示生成包括:第一步，采用一层双向门控循环神经网络以词向量为输入来捕获句子中单词的上下文关系并获得每个句子的向量表示，过程中使用一个注意力层来区分句子中不同字词的重要性；第二步以第一步获得的句子向量作为另一层双向门控循环神经网络的输入，从而获得句子间更长的上下文关系并获得文档的低级矩阵表示，过程中使用一个注意力层来区分文档中不同句子的重要性；

文档向量表示生成包括:使用二维卷积层来采样由第一阶段生成的矩阵表示中更有意义的特征依赖，并使用卷积注意力模块来关注重要特征并抑制不必要的特征，以得到文档的更高级的向量表示。

进一步地，将文档级别情感分类分为了两个阶段，文档矩阵表示生成阶段以及文档向量表示生成阶段；文档矩阵表示生成阶段获得文档的低级矩阵表示，文档向量生成阶段获得文档更高维度的向量表示。

进一步地，所述的文档矩阵表示生成阶段以词向量为输入，使用一层双向门控循环神经网络来捕获句子中单词的上下文关系并获得每个句子的向量表示。

进一步地，所述的文档矩阵表示生成阶段以句子向量为输入，使用一层双向门控循环神经网络来获得句子间更长的上下文关系并获得文档的低级矩阵表示。

进一步地，所述的文档矩阵表示生成阶段使用了预训练的词嵌入向量作为网络的初始输入以获得词之间的语义以及语法相关性。

进一步地，所述的文档矩阵表示生成阶段使用两个注意力层，分别区分句子中不同字词的重要性以及文档中不同句子的重要性。

进一步地，所述的文档向量表示生成阶段中的二维卷积模块来采样由第一阶段生成的矩阵表示中更有意义的特征依赖。

进一步地，所述的文档向量表示生成阶段对二维卷积操作生成的中间特征图运用卷积注意力模块来关注重要特征并抑制不必要的特征。

进一步地，文档矩阵表示生成阶段将文档中的每个词嵌入到低维度的向量表示(GloVe)作为网络的输入，从而充分利用词之间的语义以及语法相关性。该阶段使用两层双向门控循环神(Bidirectional GRU，简称BGRU)捕获文档的组成语义(字词到句子，句子到文档)，并获得文档的矩阵表示。第一层BGRU根据输入，通过字词的两个方向汇总信息获得字词的注释，捕获句子中单词的上下文关系。第二层BGRU通过两个方向汇总信息获得句子的注释，从而捕获句子间更长的上下文信息。

文档矩阵表示生成阶段构建了基于字词与基于句子的注意力机制。基于BGRU的字词注释输入至一个前馈神经网络中，然后使用softmax计算字词的权重实现对字词的加权，而句子中的每个加权后的字词将汇成一个句子向量。基于BGRU的句子注释也输入至一个前馈神经网络中，同样使用softmax来计算句子的权重实现对句子的加权，最后文档中的每个加权后的句子将级联成一个矩阵，即文档的初级矩阵表示。

文档向量表示生成阶段将文档初级矩阵表示输入至一个二维卷积神经网络(2DCNN)，使用一个二维卷积层执行二维卷积操作来实现特征映射。二维卷积层使用二维卷积核应用于文档矩阵表示中所有可能的相对应大小的特征元素窗口来提取句子特征间的高维度的依赖，最后生成相对应的特征图。不同尺寸的二维卷积核将被用于学习互补特征。

进一步地，文档向量表示生成阶段在特征图上运用了卷积块注意力模块(Convolutional Block Attention Module，简称CBAM)。CBAM沿着特征图的通道和空间两个单独的维度顺序地推断出相对应的注意力图，然后将注意力图乘以输入特征图以进行自适应特征微调。通道注意力将注意力集中在特征图‘有用’的部分，而空间注意力将注意力集中于特征图的‘重要’的部分。微调后的特征图将通过二维最大池化实现维度的降低并将其固定成一个高级向量表示最终用于情感分类。

与现有技术相比，本发明具有如下的优点与技术效果：

1、将基于注意力组合神经网络的文档级别的情感分类方法分为两个阶段，首先提取文档的初级矩阵表示，然后再对该矩阵进行高级特征映射从而获得高级向量表示，使模型更适合长文本建模，捕捉特征之间的依赖。

2、文档矩阵表示生成阶段，使用双层BGRU捕获文档的组成语义(字词到句子，句子到文档)，从而捕获句子中单词的上下文关系以及句子间更长的上下文关系。

3、文档矩阵表示生成阶段，使用基于字词与基于句子的注意力机制，有效的提高了重要字词与句子的权重，从而提高了模型的精度。

4、文档向量表示生成阶段对特征图使用二维卷积以及池化操作，从而可以采样到句子特征间更加有意义的依赖。该阶段使用CBAM来专注于重要特征并抑制不必要的特征从而提高模型精度。

附图说明

图1为本发明方法的具体实施例中基于注意力组合神经网络的文档级别的情感分类方法的结构示意图。

图2为本发明方法具体实施例中的基于字词与基于句子的注意力机制的示意图。

图3为本为本发明方法具体实施例中卷积注意力模块的示意图。

具体实施方式

以下结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明之过程或符号，均是本领域技术人员可参照现有技术理解或实现的。

基于注意力组合神经网络的文档级别的情感分类方法，分为文档矩阵表示生成阶段以及文档向量表示生成阶段，结构示意图如图1所示。以下就每个阶段的具体实施方式详细说明。

1.文档矩阵表示生成阶段

文档矩阵表示生成阶段过使用组成双向GRU捕获句子中单词的上下文关系以及句子间更长的上下文关系，它包括两层双向GRU，第一层双向GRU将句子转换为向量表示，第二层双向GRU根据这些句子向量获得文档表示。每个双向GRU中运用了注意力机制来提高重要字词与句子的权重。GRU跟LSTM非常相似，但它使用了门控机制来跟踪序列的状态，而不是使用单独的存储单元，这使结构变得更加简单。它有两种门：分别为更新门z_t和重置门r_t，它们一起控制信息到状态的更新方式。r_t控制过去状态对候选状态的贡献程度，它的值越小说明忽略得越多。在t时刻r_t的更新如下：

r_t＝σ(U_rx_t+W_rh_t-1+b_r) (1)

其中σ是逻辑sigmoid函数，x_t，h_t-1分别表示输入和上一时刻的隐藏状态，W_r和U_r是学习到的权重矩阵。当r_t＝0时，它将遗忘先前的状态。更新门z_t用于控制决定保留过去信息的数量以及添加了多少新信息，更新门的值越大说明前一时刻的状态信息带入越多。更新门的更新如下：

z_t＝σ(U_zx_t+W_zh_t-1+b_z) (2)

t时刻GRU的状态通过下式计算：

其中⊙是向量元素乘法，候选状态如下式计算可得：

在(1)、(2)、(4)中，U_r，W_r，U_z，W_z，U_h，W_h是可以通过学习获得的权重矩阵，b_r，b_z，b_h分别为偏置项。

1)基于BGRU的字词表示

假设一个文档包含M个句子s_i，每个句子包含T个词，w_it表示第i个句子的第t个词，t∈[1，T]。句子中的每个词首先通过嵌入矩阵被嵌入到低维度的GloVe向量表示，其中d是词向量维度，V是词汇大小。第i个句子中的第t个词的向量表示为x_it＝L_ww_it，w_it是其索引项。双向GRU通过单词的两个方向汇总信息获得单词的注释，形式如下：

其中与分别前后向GRU，以及为由两个方向获得的单词注释，最终单词w_it的注释h_it通过和级联得到，即

2)具有字词注意力的句子表示

图2给出了字词与句子级别的注意力实现。句子中的词进行加权表示后汇聚成句子向量表示：

其中α_it为字词重要性权重，为了计算它，先用一层前馈神经网络获得e_it作为h_it的隐藏表示，即：

e_it＝f(W_wh_it+b_w) (8)

其中f是一个非线性变换函数，W_s和b_s分别为权重以及偏置项。最后每个字词的权重a_it由下式计算可得：

3)具有句子注意力的文档表示

句子的向量表示s_i，i∈[1，M]输入至双向GRU通过两个方向汇总信息获得句子的注释，即：

句子s_i的注释由和级联获得，即每个句子的向量表示进行注意力加权后最终形成文档矩阵表示。文档矩阵保存了文档更加完整的组成结构信息并用于捕获文更深层次的局部信息。加权后的句子表示为：

S_wi＝α_ih_i (12)

其中α_i为句子的重要性权重，为了计算它，用一层前馈神经网络获得e_i作为h_i的隐藏表示：

e_i＝f(W_sh_i+b_s) (13)

其中f是一个非线性变换函数W_s为权重矩阵，b_s为偏置项，注释h_i的权重α_i由下式计算可得：

由加权句子特征向量组成的文档中间矩阵表示：

该矩阵有两个维度，句子长度维度M，句子特征维度d，d可以在网络中定义修改。

2.文档向量表示生成阶段

该阶段使用二维卷积层来采样由第一阶段生成的矩阵表示中更有意义的特征依赖，并使用卷积注意力模块来关注重要特征并抑制不必要的特征，以得到文档的更高级的向量表示。第一阶段获得的文档矩阵表示捕获到了文档的组成结构以及更长的上下文关系，它被输入至2D卷积网络中。

1)二维卷积层

文档中第i个句子表示由d个特征单位组成，文档表示D＝[s_w1；s_w2；...；s_wM]，是由M*d个特征单位组成的二维图像。方法中使用卷积核去执行2D卷积操作，每个尺寸有M个卷积核，应用于k₁个句子和k₂个特征元素的窗口，来提取句子特征间的高维度的依赖。例如，对于第个卷积核，特征o_i，j由向量窗口通过下式产生：

其中i为句子下标，范围为1到(M-k₁+1)，j为特征元素下标，范围为1到(d-k₂+1)，·是点积操作，为第n个卷积核，是偏置项，f是一个非线性变换函数，可以是tanh、sigmoid等。在这个的场合中，使用ReLU。卷积核g_k运用于矩阵D中所有可能的窗口从而生成相对应的特征图：

其中假设有N个同一尺寸大小的卷积核来学习互补特征，每个卷积核生成一张特征图，则形成三维的特征图：

O^k＝[O^1，k，O2^，k，…，O^N，k] (18)

其中该特征图的空间尺寸为(M-k₁+1)×(d-k₂+1)，通道数为N。

2)卷积注意力模块

网络在三维的特征图O^k上运用了卷积块注意力模块，如示意图3所示。输入中间特征图可以认为该中间特征图高A是M-k₁+1，宽B为d-k₂+1，N是它的通道数，CBAM会沿着两个单独的维度(通道和空间)顺序地推断出相对应的注意力图，然后将注意力图乘以输入特征图以进行自适应特征微调。整体的关注过程为：

其中是顺序推断出的一维通道注意力图，是二维空间注意力图，逐元素乘法，即为提炼后的特征图。

由于特征图的每个通道都被视为特征检测器，因此通道注意力将注意力集中在给定输入中间特征图的“有用”上。O^k的通道注意力图I_c利用通道之间的关系生成，它通过下式计算获得：

I_c＝σ(MLP(avg(O^k))+MLP(max(O^k))) (21)

空间注意力将注意力集中在“哪里”是一个重要的部分，O^k的空间注意力图I_s通过特征的空间关系生成，它通过下式计算获得：

I_s＝σ(g^7×7([avgpool(O^k)；max(O^k)])) (22)

公式(21)以及公式(22)中，σ是sigmoid函数，MLP是一个多层感知器，avg和max分别为平均池化和最大池化操作，g^7×7表示使用尺寸为7×7的卷积核进行的卷积运算。注意力模块没有改变输入特征图O^k的尺寸，经过自适应特征提炼生成的特征图O^k″尺寸大小跟输入特征图O^k一致。

3)二维最大池化层

为了降低并固定特征图的维度，方法中使用了2D最大池化。给定O^k″中的一张特征图O^n，k″，一个池化操作将被运用于O^n，k″中的所有可能的窗口来提取最大值：

其中max(·)表示最大池化函数，i∈{1，1+p₁，…，1+((M-k₁+1)/p₁-1)·p1，j∈1，1+p2，…，1+d-k2+1p2-1·p2。最后，特征图On，k″的池化结果为：

其中完整的特征图P^k″＝[P^1，k″，P^2，k″，…，P^N，k″]，2D池化后的特征图P^k″压平为一维向量v，v是文档的高级表示。然后v将被传至一个softmax分类层来从一组离散的类Y中预测语义关系标签y：

p(y|s)＝softmax(W_sv+b_s) (25)

使用交叉熵损失作为训练目标并最小化它的值，为了避免过拟合，在所有参数上加入了L₂正则项，L₂正则项可以限制权重的大小，使模型不能随机拟合训练数据中的随机噪声，损失按正则总和计算：

其中T为训练数据，K是类别数量，i是类别的索引，t代表一个文档，是one-hot形式的真实类别值，p(t)为预测的情感分布。

上述流程为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，在获得用于情感分类的文档评论的特征表示时包括两个阶段，文档矩阵表示生成阶段将文档的每个字词嵌入为词向量输入至网络中，并获得文档的初级矩阵表示。文档向量表示生成阶段对矩阵表示进一步进行特征提取，获得更高级的向量表示。

2.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，文档矩阵表示生成包括:第一步，采用一层双向门控循环神经网络以词向量为输入来捕获句子中单词的上下文关系并获得每个句子的向量表示，过程中使用一个注意力层来区分句子中不同字词的重要性；第二步以第一步获得的句子向量作为另一层双向门控循环神经网络的输入，从而获得句子间更长的上下文关系并获得文档的低级矩阵表示，过程中使用一个注意力层来区分文档中不同句子的重要性；

文档向量表示生成包括:使用二维卷积层来采样由第一阶段生成的矩阵表示中更有意义的特征依赖，并使用卷积注意力模块来关注重要特征并抑制不必要的特征，以得到文档的更高级的向量表示。

3.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，将文档级别情感分类分为了两个阶段，文档矩阵表示生成阶段以及文档向量表示生成阶段；文档矩阵表示生成阶段获得文档的低级矩阵表示，文档向量生成阶段获得文档更高维度的向量表示。

4.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，所述的文档矩阵表示生成阶段以词向量为输入，使用一层双向门控循环神经网络来捕获句子中单词的上下文关系并获得每个句子的向量表示。

5.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，所述的文档矩阵表示生成阶段以句子向量为输入，使用一层双向门控循环神经网络来获得句子间更长的上下文关系并获得文档的低级矩阵表示。

6.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，所述的文档矩阵表示生成阶段使用了预训练的词嵌入向量作为网络的初始输入以获得词之间的语义以及语法相关性。

7.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，所述的文档矩阵表示生成阶段使用两个注意力层，分别区分句子中不同字词的重要性以及文档中不同句子的重要性。

8.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，所述的文档向量表示生成阶段中的二维卷积模块来采样由第一阶段生成的矩阵表示中更有意义的特征依赖。

9.根据权利要求1所述的一种基于注意力组合神经网络的文档级别的情感分类方法，其特征在于，所述的文档向量表示生成阶段对二维卷积操作生成的中间特征图运用卷积注意力模块来关注重要特征并抑制不必要的特征。