CN113283234A - 一种基于胶囊网络的情感分类方法 - Google Patents

Abstract

本发明涉及一种基于胶囊网络的情感分类方法，包括以下步骤：文本预处理；建立融合权重的FuBERT模型；针对情感分类任务，选用BERT Base模型,通过softmax训练权重的方式为12层BERT的每一层都赋予一个权重，用以保留各层对文本有用的信息，输出词向量；建立基于双向门控循环单元GRU的胶囊网络模型，以步骤二中的词向量输出作为输入，用胶囊网络进行情感分类，该模型依次分为五层，分别为：N‑gram卷积层、双向GRU层、主胶囊层、卷积胶囊层、全连接胶囊层；步骤四，最终分类。

Description

一种基于胶囊网络的情感分类方法

技术领域

本发明涉及自然语言处理的情感分类领域，具体是涉及一种在预训练语言模型下，利 用动态融合BERT多层表示的权重联合改进的胶囊网络对现有数据进行训练学习从而实现 情感分类的方法。

背景技术

随着互联网用户的逐渐增多，各种网络平台的信息量也越来越大，处理大量可用信息是 一项超出人类处理能力的艰巨任务。这些信息具有巨大价值，所以一个高效的情感分类算法 具有一定的理论意义与应用价值。然而，虽然在英语情感分析方面已经有人做了大量的工作， 但在中文领域的研究却很少。另外在可解释性和上下文关系以及一词多义方面，情感分析还 存在相当大的挑战。

由于BERT网络可以捕捉语言结构信息，但其仅仅使用其最后一个编码层的输出特征用 于分类，忽略了其他层学习到的语义特征。胶囊网络(CapsNet)是对卷积神经网络的一种 改进，克服了CNN空间不敏感的缺点，并且可以捕捉单词的位置信息。

发明内容

本发明的目的是提供一种高效解决文本情感分析的方法，应用于社交媒体情感分来。本 发明利用改进的谷歌BERT模型的表示结合胶囊网络来进行情感分析，该方法采用融合 BERT12层权重信息的模型预训练的方法，充分利用了BERT表示词嵌入作为胶囊网络的输 入，然后再利用胶囊网络对句子进行分类。本发明的技术方案如下：

一种基于胶囊网络的情感分类方法，包括以下步骤：

步骤一，文本预处理

1)过滤带有特殊符号的内容。

2)过滤微博文本中的无效字符。

步骤二，建立融合权重的FuBERT模型，用于词向量表示

针对情感分类任务，选用12层的BERT Base模型，把输入序列通过BERT分别生成1-12 层的嵌入表示，其中这些嵌入中：1-4层代表低层的短语级别的嵌入信息；5-8层代表中层句 法级别的嵌入信息；9-12层代表高层的语义级别的嵌入信息；通过softmax训练权重的方式 为12层BERT的每一层都赋予一个权重，用以保留各层对文本有用的信息，输出词向量；

步骤三，建立基于双向门控循环单元GRU的胶囊网络模型，用于提取特征

以步骤二中的词向量输出作为输入，用胶囊网络进行情感分类，该模型依次分为五层， 分别为：N-gram卷积层、双向GRU层、主胶囊层、卷积胶囊层、全连接胶囊层：

N-gram卷积层：从FuBERT模型中获得的词向量表示首先通过这一层，用来提取和学 习抽象特征。

双向GRU层：将N-gram卷积层的输出继续分析，捕获特定短语中的上下文，以学习文本中的长期依赖关系。

主胶囊层：由前两层生成的语义和上下文相关的特征通过主胶囊层的卷积操作将实例化 的部分集中分割，利用向量而摒弃标量来保留属于每个特征的实例化参数，捕获文本中单词 的局部排序以及相应的语义表示。

卷积胶囊层：为了减小参数量继续提取主胶囊层输出的特征。每个胶囊仅在空间上连接 到下面层中的局部区域，然后按协议路由算法来学习子胶囊和父胶囊的关系。

全连接胶囊层：卷积胶囊层输出被拉伸成一个胶囊列表，并作为全连接胶囊层的输入, 用于学习到局部以及全局的特征，全连接胶囊层由Y类胶囊组成，每个层对应于一个类别 标签或类别，每个胶囊中实例化参数的长度表示输入样本属于该类标签的概率，而每组实例 化参数的方向保留了特征属性的特征和方向，这些特征属性被视为输入样本的编码向量。

步骤四，最终分类。

数据经过全连接胶囊层之后，将输出作为输入送入softmax分类器进行最终的分类预测， 以完成最终的文本分类任务。

本发明的有益效果是：本发明通过softmax训练权重的方式为BERT每一层都赋予一个 权重，用以保留各层对文本有用的信息，然后利用一个改进的胶囊网络模型提取文本的特征， 再把结果输出到一个典型的softmax分类器已到达情感分类的的目的。其利用了BERT词嵌 入的使用，它通过多个注意力头并行处理输入的不同部分来提供深层的双向上下文表示，它 使得BERT的输出更丰富。还利用了胶囊网络，胶囊网络的主要优点之一是它保留了对象的 位置信息，而传统的卷积神经网络由于池化层只提取最有意义的信息而丢失了位置信息。本 发明提出的FuBERT-Caps模型利用这两个重要层的联合优化来学习文本的相关特征。

附图说明

图1是本发明的模型结构图，共包括五层，分别是：输入层，FuBERT层，空间Dropout层，胶囊网络层；

图2是对于FuBERT模型在12层权重融合上的模型图。

具体实施方式

下面结合附图对本发明做进一步详细地描述。

本发明利用改进的谷歌BERT模型的表示结合胶囊网络来进行情感分析，所提算法被称 为FuBERT-Caps。通过训练融合BERT的12层权重(FuBERT)，来对输入序列进行嵌入，生成全局的特征表示，以用来提高词嵌入的表达能力。然后利用胶囊网络和动态路由算法提取 文本序列的局部和空间层次关系，并给出其局部特征表示，最后通过softmax分类器进行分 类。

步骤一，数据预处理

首先，过滤带有用户名($“@”$)、主题(“\#”)和转发($“//”$)的内容。其次，过滤微博文本中的无效字符，如字母数字字符、标点符号、网页链接等。Emoji和表情符号与情感分析的结果有关。在新浪微博上，每个表情符号都可以翻译成相应的中文词语。因此，本发明在收集数据会时翻译相应的表情符号。最后，过滤掉停用词。

步骤二，融合权重的BERT模型(FuBERT用于生成词向量)

由于BERT的12层传播是上一层传递到下一层，虽然上一层将自己的嵌入信息传递到下 一层，但不可避免的会损失掉一部分信息，BERT的每一层信息都是有用的，考虑到不同层 数的特征信息，如果就是只是简单的把所有层的特征对文本分类的影响看做一样大，为每一 层分配相同的权重，效果很难达到预期，为此本发明针对特定情感分类任务，通过softmax 训练权重的方式为每一层都赋予一个权重，用以保留各层对文本有用的信息。

因此，本发明的FuBERT设计如图2所示：首先把输入序列通过BERT分别生成1-12层的嵌入表示，其中这些嵌入中：1-4层代表低层的短语级别的嵌入信息；5-8层代表中层句法级别的嵌入信息；9-12层代表高层的语义级别的嵌入信息。每一层的输出为B*L*768,然 后每一层都通过一个FC层降维成B*L*1的向量，一共12个，然后这12个向量再通过Concat 第三维度拼接成一个B*L*12，的向量。再通过softmax归一化处理，得到各层权重，最 后再用各层的权重值乘以原始12层的嵌入信息，进行反向传播以跟新权重值。最后得到的结 果为包含1-12层不同权重的B*L*768的嵌入。

步骤三，基于双向门控循环单元(GRU)的胶囊网络模型(提取特征)

步骤二的输出作为这步的输入。胶囊网络模型共分为五层，分别为：N-gram卷积层、 双向GRU层、主胶囊层、卷积胶囊层、全连接胶囊层。

1)N-gram卷积层：从BERT模型中获得的词向量表示首先通过卷积层，并且从N-gram 中提取和学习抽象特征。该层输出特征映射的方法是先将卷积运算的内层进行合并，

F₁＝W_b*k₁+b

其中$k_i$是带偏移b的卷积核，通过卷积输出特征映射$f_i$，p(.)是池化运算。接下来， 我们将这些特征映射集合起来形成一个t-channel层，如下所示

因此，N-gram卷积层可以捕获短语的抽象表示，在不同的位置重新描述其语义，最终 跨越整个句子。

2)双向门控循环单元(GRU)层：

门控循环单元(GRU)是长、短期记忆神经网络(LSTM)的一种变体。解决其梯度消失或 爆炸的问题。GRU结构包括一个更新门和一个复位门，GRU将LSTM中的遗忘门和输入门组合成一个更新门。因此，GRU不仅具有LSTM的优点，而且简化了其网络结构。在文本 分类任务中，GRU能有效提取特征。

z_t＝σ(w_z×[h_t-1，x_t])

r_t＝σ(w_r×[h_t-1，x_t])

其中，ht是最终隐藏层状态，它代表在N-gram卷积层获得的特征通过双向GRU层之后，将来自前向GRU和后向GRU的与其对应的前向和后向隐藏状态连接起来以获得单个 隐藏状态的特征。因此，该层捕获特定短语中的上下文，以学习文本中的长期依赖关系。

3)主胶囊层：上一步生成的语义和上下文相关的特征通过主胶囊层传递，主胶囊通常 利用向量而不是标量来保留属于每个特征的实例化参数。因为除了描述激活的强度之外，它 还在该层的输入中保留了实例化部分的某些细节。因此，在这种特殊的方式下，胶囊可以被 看作是由卷积核捕获的实例化部分的简要描述。因此，滑动到隐藏状态H上，每个卷积核 k_i输出一个胶囊序列。这些输出的胶囊由属于初级胶囊层的通道c_i组成，

C_i＝squash(k_i*H+b)

其中squash代表非线性压缩函数，b是胶囊的偏置参数。因此，所有这些通道都可以描 述为

C＝[C₁，C₂，...C_I]

该层捕获了文本中单词的局部排序以及相应的语义表示。这一层主要是对传统CNN的 缺陷进行弥补，它用胶囊的向量输出替换其标量输出特征，以保留实例化的参数。

4)卷积胶囊层：局部连接和权值共享是CNN中最重要的策略，其可以显著减少网络模型汇中参数数量，并提高模型的泛化能力。因此，本发明采用这些策略来设计卷积胶囊层(ConvCaps)。在这一层中，每个胶囊仅在空间上连接到下面层中的局部区域。区域中的 这些胶囊乘以变换矩阵来学习子胶囊-父胶囊关系，然后按协议路由算法在上一层中生成父胶囊。卷积胶囊层的胶囊维度应该与输入数据的标签类别高度相关，因为每一层都代表了每 一个类型的概率，而主胶囊的维度可以任意设定。

假设w表示共享权重，下层中局部区域中的子胶囊的数量为C，子胶囊被发送到的父 胶囊的数量是D。当转换矩阵在子胶囊之间共享时，每个潜在的父胶囊u_j|i由

决定。其中，b_j|i是胶囊偏置项，u_i是局部区域的子胶囊，W_j是权重矩阵，然后，利用动态路由算法生成父胶囊特征图。

5)全连接胶囊层：卷积胶囊层的输出被拉伸成一个胶囊列表，并作为全连接胶囊层的 输入。因为卷积层提取的是局部特征，动态路由层提取的是全局特征，输入部分是卷积层和 动态路由的输出，所以全连接胶囊层可以学习到局部以及全局的特征。所以，这个最终的胶 囊层由Y类胶囊组成，每个层对应于一个类别标签或类别。每个胶囊中实例化参数的长度 表示输入样本属于该类标签的概率，而每组实例化参数的方向保留了特征属性的特征和方 向，这些特征属性可以看作是输入样本的编码向量。具体如下式所示：

h(x)＝f(W^T·x+b)

其中，x为上一层的输出，即卷积胶囊层的输入，W为权重矩阵，b为偏置项。数据经过全连接胶囊层之后，将输出作为输入送入softmax分类器进行最终的分类预测，以完成最终的文本分类任务。

表1消融实验对比结果

表2 SOTA实验对比结果

在实践过程中对本发明利用消融实验和SOTA对结果比较。消融实验结果见表1，SOTA 比较结果见表2。以上结果说明本发明在情感分类效果上相比于之前的结果存在一定优势。

Claims (1)

1.一种基于胶囊网络的情感分类方法，包括以下步骤：

步骤一，文本预处理

1)过滤带有特殊符号的内容；

2)过滤微博文本中的无效字符。

步骤二，建立融合权重的FuBERT模型，用于词向量表示

针对情感分类任务，选用12层的BERT Base模型，把输入序列通过BERT分别生成1-12层的嵌入表示，其中这些嵌入中：1-4层代表低层的短语级别的嵌入信息；5-8层代表中层句法级别的嵌入信息；9-12层代表高层的语义级别的嵌入信息；通过softmax训练权重的方式为12层BERT的每一层都赋予一个权重，用以保留各层对文本有用的信息，输出词向量；

步骤三，建立基于双向门控循环单元GRU的胶囊网络模型，用于提取特征

以步骤二中的词向量输出作为输入，用胶囊网络进行情感分类，该模型依次分为五层，分别为：N-gram卷积层、双向GRU层、主胶囊层、卷积胶囊层、全连接胶囊层：

N-gram卷积层：从FuBERT模型中获得的词向量表示首先通过这一层，用来提取和学习抽象特征；

双向GRU层：将N-gram卷积层的输出继续分析，捕获特定短语中的上下文，以学习文本中的长期依赖关系；

主胶囊层：由前两层生成的语义和上下文相关的特征通过主胶囊层的卷积操作将实例化的部分集中分割，利用向量而摒弃标量来保留属于每个特征的实例化参数，捕获文本中单词的局部排序以及相应的语义表示；

卷积胶囊层：为了减小参数量继续提取主胶囊层输出的特征；每个胶囊仅在空间上连接到下面层中的局部区域，然后按协议路由算法来学习子胶囊和父胶囊的关系；

全连接胶囊层：卷积胶囊层输出被拉伸成一个胶囊列表，并作为全连接胶囊层的输入,用于学习到局部以及全局的特征，全连接胶囊层由Y类胶囊组成，每个层对应于一个类别标签或类别，每个胶囊中实例化参数的长度表示输入样本属于该类标签的概率，而每组实例化参数的方向保留了特征属性的特征和方向，这些特征属性被视为输入样本的编码向量；

步骤四，最终分类；

数据经过全连接胶囊层之后，将输出作为输入送入softmax分类器进行最终的分类预测，以完成最终的文本分类任务。

Images