CN114692604A - 一种基于深度学习的方面级情感分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的方面级情感分类方法，具体如下，构筑方面级情感分类数据集；将数据集中的方面级特征嵌入到语义空间中；使用基于对抗BERT的编码器进行特征编码；基于线性变换的方面级句子特征压缩层对编码后的结果进行线性变换，使其满足胶囊网络计算的需要；基于胶囊网络的方面级句子特征提取层对压缩后的矩阵进一步的特征提取，捕获方面词与其对应上下文的语义关系；融标签正则化机制的情感分类层依据模型学习到的内容对文本进行方面级情感分类，可用于社交媒体文本的方面级情感分类,本发明基于对句子的方面级特征进行充分地学习，结合对抗训练机制将数据集的效果发挥到最大化，在复杂的场景下仍能表现出良好的效果，具有准确率高、鲁棒性好的特点。

Description

一种基于深度学习的方面级情感分类方法

技术领域

本发明涉及一种基于深度学习的方面级情感分类方法，该方法可用于社交媒体方面级情感分类，属于互联网与自然语言处理技术领域。

背景技术

随着互联网的不断发展，人们从信息的获取者变为信息的生产者，大多数网民习惯于使用社交媒体(例如微博、Twitter等)表达对新闻时事、社会现实等事件的观点和态度，这些社交媒体平台上每天都会产生海量的数据。各大社交媒体平台逐渐成为现实世界事件发展的传感器，网络舆情在反映民意、折射现实等方面发挥着越来越重要的作用。与此同时，网络上也充斥着各种各样的不良言论，但是网络空间不是法外之地，通过网络舆情分析技术对网络舆论进行监管，有利于实现政府部门了解民意、妥善处理社会舆论事件、营造健康和谐的网络环境。情感分析技术作为舆情分析技术的重要组成部分，近年来已经取得了长足的发展。与此同时，网上的评论呈现出多样化的特征，即一条评论往往针对多个方面，因此传统的文档级情感分析技术和句子级情感分类都不能针对句子的每个方面分别进行分类，需要引入方面级情感分类技术。

近年来，许多学者对方面级情感分类技术进行了深入的研究。研究的方法大致可以分为三类：基于情感词典和规则的方法、基于机器学习的方法和基于深度学习的方法。基于情感词典和规则的方法通过人工构造情感词典和设计情感计算规则，在一定程度上能提升句子情感分类的准确性。但是，分类规则的设定往往和数据的特定领域相关，一旦算法被迁移到其它领域，效果很难保证，算法的泛化能力较差。此外，情感词典的构建是劳动密集型工程，需要依赖大量的人工，情感词典的质量直接决定着分类的质量，这种方法的成本高昂且灵活性较差。基于机器学习的分类方法在进行分类之前必须依赖人工提取的文本特征，文本特征的质量直接决定着分类的结果，人工特征提取的过程效率很低，且模型的迁移能力较差，难以在现实场景中应用。基于深度学习的方法相比于基于情感词典和规则的方法和基于机器学习的方法，分类效果显著提升。但是深度学习模型需要大量的训练语料，训练过程中需要耗费大量的算力，解释性较差，而且基于预训练模型的算法分类的效果依赖于下游设计网络的质量，在句子中包含多个方面词的情况下，下游的网络往往很难准确匹配方面词和上下文之间的对应关系。

针对目前网络空间安全严峻形势和现有方面级情感分类研究存在着方面词及其对应上下文关系不能被准确匹配的问题，本发明提出了一种基于深度学习的方面级情感分类方法，使用结合对抗训练机制的BERT模型作为方面级句子的编码层，并在下游引入胶囊网络捕获方面词与其对应的上下文，提升了方面级情感分类模型的鲁棒性，提高了分类的准确率。

发明内容

针对现有技术存在的问题与不足，本发明提供一种基于深度学习的方面级情感分类方法，该方法能够完成评论文本方面级情感分类的目标，相比现有方法，能够更有效地对评论文本进行方面级情感分类，从而改善现有分类方法准确率不足的问题。

为了实现上述目的，本发明的技术方案如下：一种基于深度学习的方面级情感分类方法，该方法涵盖方面级情感分类的全过程，主要包括方面词和句子编码、对抗扰动、特征变换、特征提取和情感分类等过程，能够有效地对评论文本进行方面级情感分类，从而提高该任务的准确率。该方法主要包括三个步骤，具体如下：

步骤1，构筑方面级情感分类数据集。首先收集了SemEval 2014Restaurant数据集和Laptop数据集，然后又收集ACL14 Twitter公开数据集，最后将这些数据集按照8:2划分为训练集和验证集，分别用于方面级情感分类模型的训练和验证。

步骤2，方面级情感分类模型训练。首先，将其送入模型的基于对抗BERT的方面级句子编码层中，得出方面级句子的编码结果；然后，方面级句子的编码结果会被送入基于线性变换的方面级句子特征压缩层中，进行句子特征压缩以满足胶囊网络的输入需要；接下来，胶囊网络对句子特征压缩层的输出进行进一步特征提取，识别出方面词与句子中的上下文的对应关系；最后，经过融合标签正则化机制的情感分类器给出情感预测结果。在训练阶段，模型的损失函数会将模型的预测值与真实值作比较并计算损失值，通过反向传播更新模型参数，使模型参数变得更优。此外，每经过一个轮次的训练，验证集的数据都会被送入模型中进行验证；

步骤2，方面级情感分类模型训练，该步骤实施过程分为6个子步骤：

子步骤2-1，使用基于对抗BERT的方面级句子编码层对句子和方面词进行编码，具体过程如下：

定义E_w代表三种信息整体嵌入的结果，E_T、E_s和E_P分别代表词嵌入、片段嵌入和位置嵌入，则BERT中信息嵌入可以表示为：

E_w＝E_T+E_S+E_P (1)

之后，多层Transformer编码器对嵌入的结果进行编码，定义第一层编码器的输入为H₀，则有H₀＝E_w，则编码的过程可以表示为：

H_i＝Transformer(H_i-1),i∈[1,L] (2)

其中，H_i代表第i层Transformer编码的结果，L代表BERT-base编码器Transformer的总层数；

子步骤2-2，对抗训练机制对嵌入的结果进行扰动，并将扰动的结果送入模型中进行二次训练，具体过程如下：

定义X_t+1代表第t+1时刻的输入，由t时刻的输入X_t和t时刻的梯度经过计算而来，Π_X+S代表如果扰动超出了某个范围，会被重新映射到范围S内，S为扰动的约束空间，ε为扰动的步长，此外，g_t代表在t时刻的梯度损失函数，计算过程可以表示为：

子步骤2-3，使用基于线性变换的方面级句子特征压缩层对编码层得到的向量进行变换，变换的策略包括线性变换和Squash激活，具体的过程如下：

H_squ＝Squash(W^hH_L+b^h) (4)

其中，H_L表示BERT编码层的输出隐藏状态向量，

表示特征压缩后的输出向量，col代表矩阵H_squ列向量的数量，W^h为线性变化权重矩阵，b^h为偏置值，Squash为压缩函数；

子步骤2-4，使用基于胶囊网络的特定方面级句子特征提取层对句子中的方面词与其对应的上下文的关系进行匹配，具体的过程如下：

首先，通过平均情感词的嵌入结果初始化情感矩阵

其中，c为情感胶囊的数量，d_m为嵌入向量的维度，假设情感胶囊为Z＝{z₁,z₂,...,z_c}，则参数更新的过程可以表示为：

z_i＝Squash(M_i) (6)

其中，w_ij代表主胶囊和情感胶囊之间的路由权重，W^r为权重矩阵，

表示经过句子特征压缩层压缩后得到的向量；

子步骤2-5，使用融合标签正则化机制的情感分类层对文本进行方面级情感分类，具体的分类计算方法如下：

融合标签正则化机制的情感分类层主要负责最后的情感分类，此外，为了提高分类的效果，在这一层融合了标签正则化机制，最后的分类结果以下面算法计算：

其中，λ为模型可学习的参数，y_j代表模型预测的结果，实际上，中性情感是一种模棱两可的情感，模型往往难以识别。引入了标签正则化(Label SmoothingRegularization,LSR)的方法进行缓解这个问题，在训练的过程中，LSR避免模型以全概率的方式预测句子中某一方面词的情感倾向，这一过程可以表示为：

q(k|x)＝(1-ξ)q(k|x)+ξu(k) (9)

其中，ξ代表正则化的参数，x代表输入模型的训练样例，q(k|x)代表真实标签分布，u(k)是标签的先验分布，c为情感的种类数量；

子步骤2-6，使用损失函数计算训练的损失值，具体的过程如下：

本模型使用的损失函数包含三部分，分别是交叉熵损失值、LSR损失值L_lsr和对抗训练损失值L_adv，可以表示为：

其中，

表示与真实标签的one-hot编码结果，y^c代表模型预测结果。标签正则化机制的损失值等于先验标签分布u(k)和网络预测分布p_θ之间的KL散度,可以表示为：

L_lsr＝-D_KL(u(k)||p_θ) (12)

对抗训练的损失可以表示为：

其中，Pb代表在输入上产生的扰动，ψ代表扰动的大小，logp(y^c|x)代表在给定输入x的情况下结果y^c出现的概率，θ代表模型的参数。

步骤3，对数据集测试集进行分类。对于待检测文本，首先将其送入经过步骤2训练过程得到的模型，该模型对方面词和句子进行编码、特征变换、特征提取等步骤，最后利用情感分类器获得方面级情感分类的结果。

相对于现有技术，本发明的有益效果如下：

本发明充分对数据集的特征进行学习，数据集投入模型训练的同时，通过在嵌入信息上添加扰动进一步提高数据集的利用率，增强了训练出来模型的鲁棒性，使得该模型在小样本数据上使用成为可能。此外，利用胶囊网络捕获方面词及其对应的上下文关系，进一步提高了模型分类的准确率。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例的方法总体框架图；

图3为句子和方面词嵌入的细节图；

图4为胶囊网络的向量神经元与普通标量神经元对比图。

具体实施方式

为了加深对本发明的认识和理解，下面结合具体实施例进一步阐明本发明。

实施例1：参见图1-图4，一种基于方面级情感分类方法，本发明的具体实施步骤如下：

步骤1，构筑方面级情感分类数据集。首先收集了SemEval2014 Restaurant数据集和Laptop数据集，然后又收集ACL14 Twitter公开数据集，最后将这些数据集按照8:2划分为训练集和验证集，分别用于方面级情感分类模型的训练和验证。

步骤2，方面级情感分类模型训练。该步骤实施过程分为6个子步骤：

子步骤2-1，使用基于对抗BERT的方面级句子编码层对句子和方面词进行编码，具体过程如下：

定义E_w代表三种信息整体嵌入的结果，E_T、E_s和E_P分别代表词嵌入、片段嵌入和位置嵌入，则BERT中信息嵌入可以表示为：

E_w＝E_T+E_S+E_P (1)

之后，多层Transformer编码器对嵌入的结果进行编码，定义第一层编码器的输入为H₀，则有H₀＝E_w，则编码的过程可以表示为：

H_i＝Transformer(H_i-1),i∈[1,L] (2)

其中，H_i代表第i层Transformer编码的结果，L代表BERT-base编码器Transformer的总层数。

子步骤2-2，对抗训练机制对嵌入的结果进行扰动，并将扰动的结果送入模型中进行二次训练，具体过程如下：

定义X_t+1代表第t+1时刻的输入，由t时刻的输入X_t和t时刻的梯度经过计算而来，Π_X+S代表如果扰动超出了某个范围，会被重新映射到范围S内，S为扰动的约束空间，ε为扰动的步长。此外，g_t代表在t时刻的梯度损失函数，计算过程可以表示为：

子步骤2-3，使用基于线性变换的方面级句子特征压缩层对编码层得到的向量进行变换，变换的策略包括线性变换和Squash激活，具体的过程如下：

H_squ＝Squash(W^hH_L+b^h) (4)

其中，H_L表示BERT编码层的输出隐藏状态向量，

表示特征压缩后的输出向量，col代表矩阵H_squ列向量的数量，W^h为线性变化权重矩阵，b^h为偏置值，Squash为压缩函数。

子步骤2-4，使用基于胶囊网络的特定方面级句子特征提取层对句子中的方面词与其对应的上下文的关系进行匹配，具体的过程如下：

首先，通过平均情感词的嵌入结果初始化情感矩阵

其中，c为情感胶囊的数量，d_m为嵌入向量的维度。假设情感胶囊为Z＝{z₁,z₂,...,z_c}，则参数更新的过程可以表示为：

z_i＝Squash(M_i) (6)

其中，w_ij代表主胶囊和情感胶囊之间的路由权重，W^r为权重矩阵，

表示经过句子特征压缩层压缩后得到的向量；

子步骤2-5，使用融合标签正则化机制的情感分类层对文本进行方面级情感分类，具体的分类计算方法如下：

融合标签正则化机制的情感分类层主要负责最后的情感分类，此外，为了提高分类的效果，在这一层融合了标签正则化机制，最后的分类结果以下面算法计算：

其中，λ为模型可学习的参数，y_j代表模型预测的结果。实际上，中性情感是一种模棱两可的情感，模型往往难以识别。引入了标签正则化(Label SmoothingRegularization,LSR)的方法进行缓解这个问题，在训练的过程中，LSR避免模型以全概率的方式预测句子中某一方面词的情感倾向，这一过程可以表示为：

q(k|x)＝(1-ξ)q(k|x)+ξu(k) (9)

其中，ξ代表正则化的参数，x代表输入模型的训练样例，q(k|x)代表真实标签分布，u(k)是标签的先验分布，c为情感的种类数量；

子步骤2-6，使用损失函数计算训练的损失值，具体的过程如下：

本模型使用的损失函数包含三部分，分别是交叉熵损失值、LSR损失值L_lsr和对抗训练损失值L_adv，可以表示为：

其中，

表示与真实标签的one-hot编码结果，y^c代表模型预测结果。标签正则化机制的损失值等于先验标签分布u(k)和网络预测分布p_θ之间的KL散度,可以表示为：

L_lsr＝-D_KL(u(k)||p_θ) (12)

对抗训练的损失可以表示为：

其中，Pb代表在输入上产生的扰动，ψ代表扰动的大小，logp(y^c|x)代表在给定输入x的情况下结果y^c出现的概率，θ代表模型的参数。

步骤3，对于待检测文本，首先将其送入经过步骤2训练过程得到的模型，该模型对方面词和句子进行编码、特征变换、特征提取等步骤，最后利用情感分类器获得方面级情感分类的结果。

综上，本发明首先使用基于对抗BERT的编码器对方面词和句子进行编码，然后，对抗训练机制对嵌入信息添加扰动，并将扰动后的结果送入模型进行二次训练，接下来通过特征变换层对编码结果进行变换，之后使用胶囊网络对方面级特征进行提取，最后利用情感分类器对文本进行方面级情感分类。

需要说明的是，上述实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

Claims (4)

1.一种基于深度学习的方面级情感分类方法，其特征在于，所述方法包括以下步骤：

步骤1，构筑方面级情感分类数据集，

步骤2，方面级情感分类模型训练，

步骤3，对数据集测试集进行分类。

2.根据权利要求1所述的基于深度学习的方面级情感分类方法，其特征在于，步骤1，构筑方面级情感分类数据集，具体如下，首先收集了SemEval 2014Restaurant数据集和Laptop数据集，然后又收集ACL14 Twitter公开数据集，最后将这些数据集按照8:2划分为训练集和验证集，分别用于方面级情感分类模型的训练和验证。

3.根据权利要求1所述的基于深度学习的方面级情感分类方法，其特征在于，步骤2具体如下，提取步骤1中数据的句子和方面词，首先，将其送入模型的基于对抗BERT的方面级句子编码层中，得出方面级句子的编码结果；然后，方面级句子的编码结果会被送入基于线性变换的方面级句子特征压缩层中，进行句子特征压缩以满足胶囊网络的输入需要；接下来，胶囊网络对句子特征压缩层的输出进行进一步特征提取，识别出方面词与句子中的上下文的对应关系；最后，经过融合标签正则化机制的情感分类器给出情感预测结果，在训练阶段，模型的损失函数会将模型的预测值与真实值作比较并计算损失值，通过反向传播更新模型参数，使模型参数变得更优。

4.根据权利要求3所述的基于深度学习的方面级情感分类方法，其特征在于，步骤2，方面级情感分类模型训练，该步骤实施过程分为6个子步骤：

子步骤2-1，使用基于对抗BERT的方面级句子编码层对句子和方面词进行编码，具体过程如下：

定义E_w代表三种信息整体嵌入的结果，E_T、E_s和E_P分别代表词嵌入、片段嵌入和位置嵌入，则BERT中信息嵌入表示为：

E_w＝E_T+E_S+E_P (1)

之后，多层Transformer编码器对嵌入的结果进行编码，定义第一层编码器的输入为H₀，则有H₀＝E_w，则编码的过程表示为：

H_i＝Transformer(H_i-1),i∈[1,L] (2)

其中，H_i代表第i层Transformer编码的结果，L代表BERT-base编码器Transformer的总层数；

子步骤2-2，对抗训练机制对嵌入的结果进行扰动，并将扰动的结果送入模型中进行二次训练，具体过程如下：

定义X_t+1代表第t+1时刻的输入，由t时刻的输入X_t和t时刻的梯度经过计算而来，Π_X+S代表如果扰动超出了某个范围，会被重新映射到范围S内，S为扰动的约束空间，ε为扰动的步长，此外，g_t代表在t时刻的梯度损失函数，计算过程表示为：

子步骤2-3，使用基于线性变换的方面级句子特征压缩层对编码层得到的向量进行变换，变换的策略包括线性变换和Squash激活，具体的过程如下：

H_squ＝Squash(W^hH_L+b^h) (4)

其中，H_L表示BERT编码层的输出隐藏状态向量，

表示特征压缩后的输出向量，col代表矩阵H_squ列向量的数量，W^h为线性变化权重矩阵，b^h为偏置值，Squash为压缩函数；

子步骤2-4，使用基于胶囊网络的特定方面级句子特征提取层对句子中的方面词与其对应的上下文的关系进行匹配，具体的过程如下：

首先，通过平均情感词的嵌入结果初始化情感矩阵

其中，c为情感胶囊的数量，d_m为嵌入向量的维度，假设情感胶囊为Z＝{z₁,z₂,...,z_c}，则参数更新的过程可以表示为：

z_i＝Squash(M_i) (6)

其中，w_ij代表主胶囊和情感胶囊之间的路由权重，W^r为权重矩阵，

表示经过句子特征压缩层压缩后得到的向量；

子步骤2-5，使用融合标签正则化机制的情感分类层对文本进行方面级情感分类，具体的分类计算方法如下：

融合标签正则化机制的情感分类层主要负责最后的情感分类，为了提高分类的效果，在这一层融合了标签正则化机制，最后的分类结果以下面算法计算：

其中，λ为模型可学习的参数，y_j代表模型预测的结果，引入了标签正则化(LabelSmoothing Regularization,LSR)的方法进行缓解这个问题，在训练的过程中，LSR避免模型以全概率的方式预测句子中某一方面词的情感倾向，这一过程表示为：

q(k|x)＝(1-ξ)q(k|x)+ξu(k) (9)

其中，ξ代表正则化的参数，x代表输入模型的训练样例，q(k|x)代表真实标签分布，u(k)是标签的先验分布，c为情感的种类数量；

子步骤2-6，使用损失函数计算训练的损失值，具体的过程如下：

本模型使用的损失函数包含三部分，分别是交叉熵损失值、LSR损失值L_lsr和对抗训练损失值L_adv，可以表示为：

其中，

表示与真实标签的one-hot编码结果，y^c代表模型预测结果,标签正则化机制的损失值等于先验标签分布u(k)和网络预测分布p_θ之间的KL散度,可以表示为：

L_lsr＝-D_KL(u(k)||p_θ) (12)

对抗训练的损失可以表示为：

其中，Pb代表在输入上产生的扰动，ψ代表扰动的大小，logp(y^c|x)代表在给定输入x的情况下结果y^c出现的概率，θ代表模型的参数。

Images