CN111881291A

CN111881291A - 一种文本情感分类方法及系统

Info

Publication number: CN111881291A
Application number: CN202010565182.2A
Authority: CN
Inventors: 李筱雯; 鲁燃; 刘杰; 张敬仁; 刘培玉; 朱振方
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-06-19
Filing date: 2020-06-19
Publication date: 2020-11-03

Abstract

本发明公开了一种文本情感分类方法及系统，包括对文本句以词为单位进行划分，对每个词映射为词向量；提取文本句中的关键词，根据关键词的词向量、关键词在文本句中的位置以及关键词所属的情感词性类型分别构建词向量注意力矩阵、位置注意力矩阵和词性注意力矩阵，并将三者融合构建第一特征；采用BiGRU网络根据关键词的上下文语义信息得到第二特征；采用由第一特征和第二特征作为训练集训练的多注意力卷积神经网络模型对待测文本句的情感类型进行分类。结合多注意力机制的CNN模型获取关键词情感分类第一维度特征，通过BiGRU获取初始句子情感分类第二维度特征，将两个维度特征融合，提升对文本深层次语义的感知能力进而提升文本情感分类准确率。

Description

一种文本情感分类方法及系统

技术领域

本发明涉及自然语言处理和深度学习技术领域，特别是涉及一种文本情感分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着社交网络的不断发展，互联网用户的角色也由原本的信息接受者转变为信息创造者，互联网用户习惯通过网络表达观点，在网络平台上发布带有情感态度的内容，形成以短文本为主的表达方式，其中文本信息数据量较大，且文本内容排列分散性，杂乱性较高，人工很难区分整理。因此如何利用自然语言处理相关技术分析社交网络短文本的情感极性，成为当今关注的热点之一。

目前文本情感分类方法有基于机器学习进行特征抽取和分类的研究；深度学习是机器学习的一条重要分支，深度学习是利用多重非线性变换结构对数据进行高阶抽象的算法。随着深度学习在图像与语音识别领域屡创佳绩，越来越多的研究人员开始使用深度学习技术解决文本情感分类的相关问题。Kim提出了英文分类模型，将经过预处理的词向量作为输入，利用卷积神经网络实现句子级别的分类任务；YinW等人用卷积神经网络(convolution neural networks,CNN)解决twitter的极性判断问题；虽然CNN在文本分类领域取得了巨大的突破，但是其更加关注局部特征进而忽略词的上下文含义，从而影响了分类的准确度。

在改进CNN模型的研究中，Zhao W等人在卷积神经网络基础上提出了capsulenetworks和动态路由，取得了比传统CNN更好的分类效果；Mikolov T等人相继提出将RNN模型并应用到文本分类任务。由于RNN当前节点的输出值由当前的输入和上一个节点的输出两部分共同决定，考虑了文本的语序结构问题，但是RNN容易出现梯度弥散等问题。

LSTM(Long Short-Term Memory)虽然可以解决RNN中存在的梯度弥散问题，但是LSTM由于其结构的复杂性计算开销很大，存储了大量冗余的中间变量，因此需要大量的训练时间和内存空间，并且其过度依赖历史信息，无法利用有实际价值的未来信息；

BiGRU是BiLSTM与GRU的一个变体，BiGRU在模型逻辑结构上精简优化BiLSTM三门(forget,input,output)结构为两个门，即(update和reset)，因此参数更少，加速了模型收敛的速度；同时，BiGRU结合短文本内容与上下文相关性较高的特点，充分考虑了词在上下文的含义，克服了原始GRU无法考虑词之后的语义信息的问题。

传统的LSTM模型通过引入递归的网络结构能够有效地解决文本数据的远程依赖关系，从文本数据中提取序列语义特征，并且有效避免了RNN梯度爆炸的问题。LSTM的变体BiGRU模型可以有效的提取文本前后语义信息，对句子整体语义的感知能力更强，并且模型相比于LSTM更加精简；虽然通过BiGRU模型能够有效地学习到与情感倾向性密切相关的文本序列语义特征，但是无法更进一步地学习文本的局部语义特征。

发明内容

为了解决上述问题，本发明提出了一种文本情感分类方法及系统，结合多注意力机制的CNN模型获取关键词情感分类第一维度特征，通过BiGRU获取初始句子情感分类第二维度特征，将两个维度特征融合，提升对文本深层次语义的感知能力进而提升文本情感分类准确率。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种文本情感分类方法，包括：

对文本句以词为单位进行划分，对每个词映射为词向量；

提取文本句中的关键词，根据关键词的词向量、关键词在文本句中的位置以及关键词所属的情感词性类型分别构建词向量注意力矩阵、位置注意力矩阵和词性注意力矩阵，并将三者融合构建第一特征；

采用BiGRU网络根据关键词的上下文语义信息得到第二特征；

采用由第一特征和第二特征作为训练集训练的多注意力卷积神经网络模型对待测文本句的情感类型进行分类。

第二方面，本发明提供一种文本情感分类系统，包括：

分割模块，用于对文本句以词为单位进行划分，对每个词映射为词向量；

第一特征提取模块，用于提取文本句中的关键词，根据关键词的词向量、关键词在文本句中的位置以及关键词所属的情感词性类型分别构建词向量注意力矩阵、位置注意力矩阵和词性注意力矩阵，并将三者融合构建第一特征；

第二特征提取模块，用于采用BiGRU网络根据关键词的上下文语义信息得到第二特征；

分类模块，用于采用由第一特征和第二特征作为训练集训练的多注意力卷积神经网络模型对待测文本句的情感类型进行分类。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明提出MATT-CNN+BiGRU融合模型，既能利用多注意力CNN对特征提取和目标关键词局部特征提取的优势，又结合BiGRU模型结构简单并且兼顾文本的全局特征从而充分考虑词的上下文语义信息的优势；其中多注意力机制CNN结合了特定目标情感分类方法，提取目标关键词在句子中情感极性，BiGRU分析句子级情感极性，将二者特征进行融合，构造融合全局特征向量，提升融合模型对文本深层次语义的感知能力进而提升文本情感分类准确率。

本发明将三种注意力机制，即词向量注意力机制、词性注意力机制、位置注意力机制构成融合多注意力机制输入融合模型CNN模块，提高注意力机制的功能多样性；考虑目标关键词的影响作用，丰富文本的情感特征表示，使文本的情感倾向性判断更准确。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的文本情感分类方法流程图；

图2为本发明实施例1提供的结合多注意力机制的卷积神经网络模块图；

图3为本发明实施例1提供的注意力机制运行图；

图4为本发明实施例1提供的位置计算示例图；

图5为本发明实施例1提供的特殊词词性标注示例图；

图6为本发明实施例1提供的BiGRU与多注意力CNN(MATT-CNN)融合模型结构图；

图7为本发明实施例1提供的MATT-CNN+BiGRU与传统的单CNN与BiLSTM的损失函数变化图；

图8为本发明实施例1提供的MRD数据集下不同的学习率对MATT-CNN+BiGRU性能影响图；

图9为本发明实施例1提供的在Laptop数据集上不同网络模型完成一次迭代的训练时间对比结果图；

图10为本发明实施例1提供的分类准确率与特征值累计贡献率的关系图；

图11为本发明实施例1提供的不同维度词性向量的分类正确率比较图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

目标关键词在句子级别语义短文本情感分析领域发挥着重要作用，甚至在一定层面上决定了整个句子的情感判断。因此，本实施例考虑目标关键词的影响作用，丰富文本的情感特征表示，使文本的情感倾向性判断更准确；目前在特定目标情感分类领域中，基于注意力机制的卷积神经网络模型被证明在语义细粒度的目标关键词抽取方面取得了良好的效果；基于此，基于上述两个模型的自身特点，本实施例提出MATT-CNN+BiGRU文本情感分类模型，建立了情感分类两个维度：即，结合多注意力机制的CNN(MATT-CNN)模型获取关键词情感分类第一维度，通过BiGRU获取初始句子情感分类第二维度，将两个维度的情感分类结果进行拼接构造融合模型，以此提升融合模型对文本深层次语义的感知能力进而提升文本情感分类准确率。

如图1所示，本实施例提供一种文本情感分类方法，包括：

S1：对文本句以词为单位进行划分，对每个词映射为词向量，构建词向量矩阵；

S2：提取文本句中的关键词，以关键词的词向量为初始注意力矩阵，将其与词向量矩阵构建词向量注意力矩阵；

S3：采用双向扫描算法确定每个词和关键词之间的位置取值，根据由位置取值映射得到的位置向量和词向量矩阵构建位置注意力矩阵；

S4：根据情感词性类别获取的关键词的情感词性构建词性注意力矩阵；

S5：由词向量注意力矩阵、位置注意力矩阵和词性注意力矩阵构建第一特征；

S6：采用BiGRU网络根据关键词的上下文语义信息得到第二特征；

S7：采用由第一特征和第二特征作为训练集训练的多注意力卷积神经网络模型对待测文本句的情感类别进行分类。

所述步骤S1中：将文本句通过预处理操作后，以词为单位构造词序列，将每个词映射为多维的连续值词向量，得到词向量矩阵；

对于长度为n的句子s＝{w₁,w₂，…t_vital,…w_n}，其中t_vital为经过关键词抽取算法抽取的关键词，即目标关键词；将句子以词为单位形成词序列，然后将每个词映射为多维的连续值词向量，得到词向量矩阵E∈R^k×|v|，其中k为词向量维度，即把每个词映射为k维向量x_i∈R^k，|V|为词典大小，即数据集包含所有词的数量；

对于长度为n的句子表示为矩阵：

其中，

为拼接操作，通过句子中的词向量集合{x₁,x₂,…,x_n}和关键词集合{t_i,t_j}之间的特征信息判断目标集合中每一个目标的情感极性。

用类别特征词嵌入拼接而成的矩阵表示类别，采用tf-idf和交叉熵结合的方法对文本关键词和类别的相关度进行评价；给定关于类别的文档集为p＝[p¹,p²,...p^l]，在每个类别中选用相关系数排名靠前的关键词作为类别特征词，即：

S＝[s₁,s₂,…,s_L]

其中，S为类别矩阵，

为拼接操作，s为类别关键词向量。

本实施例采用下述算法1，首先利用NLTK对每篇文本进行分词，分词后利用word2vec生成词向量，即第3行；第4-5行是使用tf-idf方法得到每个类别文章的高频词汇，通过交叉熵将这个类别的高频词与其他类别的高频词进行对比，判断这个类别的高频词在其他类别中是否出现的频率高，第6行得到关于这个类别的k个关键词，最后将其拼接成关键词文本特征向量；

注意力机制最早应用在图像处理领域，Mnih等人在2014年提出将注意力机制用在图像分类任务中取得了不错的实验效果，2015年Yin等人提出基于多层注意力机制的卷积神经网络，并将该网络应用在句子建模上，使其更好的捕获局部文本特征，验证了注意力机制和卷积神经网络结合的有效性。在本实施例中，如图2所示，采用多注意力卷积神经网络模型MATT-CNN，在特定目标情感分析(Aspect-based Sentiment Analysis,ABSA)中，相比于句子级别的文本情感分类来说是细粒度情感分类任务，作为情感分析的一个重要子任务，是更深层次的情感分析，其目标是识别不同的Aspect上下文中的情感极性(积极、中性、消极)等，而基于注意力机制的卷积神经网络模型被证明在语义细粒度的目标关键词抽取方面取得了良好的效果。

所述步骤S2中，构造词向量注意力机制，提取目标关键词的词向量作为其注意力矩阵，将注意力矩阵和词向量矩阵进行运算操作；

为了更好地学习不同目标的特征信息以及识别不同目标的情感极性，本实施例运用了词向量注意力机制和位置距离注意力机制以不同的方式侧重学习不同需要关注的信息。

针对包含t个关键词的句子，将其划分为t个分句，并用特殊符号《》来标记其位置；由于本实施例实验部分采用的数据集为semEval2014数据集，其目标词已完成标记工作，可以减小关键词抽取的工作量；

词向量注意力机制的目的是让模型在训练的过程中，关注不同的侧重点，了解哪一部分信息是重要的，从而使模型高度关注这些信息，对于特定目标分析，内容层面的信息至关重要的。

对于句子s＝{w₁,w₂,…t_i,…,w_n}，提取出关键词t_i的词向量作为注意力矩阵，将注意力矩阵和s的词向量矩阵进行下列公式所示运算操作，可以得到注意力特征矩阵A^c，操作过程如图3所示，其中A^c为对角矩阵：

其中，α为可调节参数，类似于神经网络中的学习率η，用来控制不同词向量对目标关键词的影响程度；α在开始时可以人工设定预值，也可以由位置注意力机制计算给出，通过α可以表示出每一个词的重要程度。

利用计算得到的注意力特征矩阵A^c和原来的词向量做运算可得到卷积神经网络的输入矩阵：

所述步骤S3中，构造位置注意力矩阵包括：

在本实施例中，以句子“The《atmosphere》is magnificent，but the《performance》of the actors are awful.”为例，按照以往的理解，距离目标关键词近的情感词往往对其影响更大；例如目标关键词atmosphere，毫无疑问情感词magnificent距离其更近，同时也是对其的正确表达；但是对于目标词performance来说，结果却不尽然，因为其距离描述自身的情感词awful的距离大于magnificent，如图4所示；在特定目标情感分类中，词语和目标关键词之间的位置往往隐藏着关键的信息，因此无法获取其真实情感内容；

针对此问题，本实施例提出一种双向扫描算法来确定词语和目标之间的位置取值，有效标识不同词语在句子中的程度，使卷积神经网络可以充分利用所提取关键词的位置信息；算法2如下：

本实施例采用矩阵ψ来存储数据集所有位置的取值，然后计算β的取值：

将矩阵ψ中储存所有位置取值映射为一个多维向量，即ψ_i∈R^k，计算的输入矩阵：

可以理解的，位置注意力矩阵可以以参数的形式加入到词向量注意力矩阵辅助其运算；也可以以独立的注意力机制输入到网络中，将位置注意力矩阵和其他注意力矩阵结合，充分表示每一个词在句子中的重要程度，

所述步骤S4中，构造词性注意力矩阵，对词向量注意力机制的补充，关联句子中词语词性，对文本内容词性进行分析，从而学习到更多的隐藏信息；

在本实施例中，在一些情感词涵盖率低的数据集和分词出现异常等情况下，情感分类工作仅仅依靠文本内容信息对文本情感进行分类的准确率将会大大降低；本实施例所述的词性注意力机制，通过对特殊词的词性重新标注，可以让融合模型加深目标关键词和情感词之间相互关联性。

以例句“The《atmosphere》is magnificent，but the performance of theactors are awful”为例，如图5所示，只分析关键目标词《atmosphere》，其中DA代表定冠词，LV代表系动词，Tar代表目标关键词，CC代表转折介词，Positive代表具有积极情感极性的情感词，Negative代表消极情感词；和词向量一样，将每个情感词映射成多维的连续值向量，称为词性向量，即Target_i∈R^l，其中l为词性向量维度；假设长度为m的句子，将词性向量按照向量矩阵表示：

其中，Tar为目标关键词的词性向量。

所提取目标关键词的词性向量作为词性注意力特征矩阵，即A^t＝Tar，计算网络的输入矩阵：

其中，β为权重系数值，通过调整β的取值，可以充分利用句子的情感特征。

所述步骤S5中，对词向量注意力矩阵、位置注意力矩阵和词性注意力矩阵进行融合，使用不同的运算操作构成输入文本的融合表示，作为融合模型卷积神经网络部分的输入，本实施例采用三种窗口大小的滑动窗口与多注意力机制结合进行卷积运算；

在具体实施中，CNN网络可以通过卷积核同时对文本中的多个词进行卷积计算，保留词与词之间的关联性；

对于长度为h的滑动窗口，对输入矩阵的卷机操作为：

C_i＝f(w·x_i:i+h-1+b)

其中，W∈R^h×k为卷积核权重，b∈R为bias值f为激活函数，x_i:i+h-1为一个卷积窗口的文本局部特征矩阵；

对于长度为n的句子，通过卷积核操作可得到所示的特征图：

c＝[c1,c2…,c_n-h+1]

即c∈R^n-h+1。

多注意力CNN模块(MATT-CNN)通过k-max pooling池化层进行下采样操作，从池化层提取得到的不同注意力机制的最重要的信息，并运用Softmax分类器输出考虑关键词影响力的情感分类第一维度结果。

本实施例采用k-max池化方法进行下采样：

其中，h代表卷积核即滑动窗口的高度，s代表短文本句子的长度(控制在30个字符之内)；相比于最大值池化策略，k-max方法可以根据多滑动窗口卷积层的特性，动态的提取多个重要的语义组合特征，保留特征之间的相对顺序关系。

所述步骤S6中，运用BiGRU网络根据关键词的上下文语义信息输出句子级情感分类第二维度特征；

在具体实施中，BiGRU模块第一层为词嵌入层，将嵌入层的句子矩阵作为输入；本实施例设置的词向量维度与MATTT-CNN模块一致，均为100维，其他参数保持不变。

采用BiGRU的双向扫描操作，分别从两个方向输入融合模型，经过隐含层保存两个方向的信息，即历史信息和未来信息；最后将两个隐层输出部分拼接，得到最后的BiGRU的输出，Tensorflow框架下的代码如下：

Output_bgru＝rnn.static_bidirectional_rnn(fw,bw,inputs)

所述步骤S7中，将融合模型全局特征表示运用PCA方法降维，通过softmax函数输出融合模型的卷积神经网络模块的文本分类结果，如图6所示。

在具体实施中，下采样层输出的特征向量作为全连接层的输入，所提模型采样softmax函数输出分类结果：

y＝softmax(W_fX_P+B_f)

其中，X_p为下采样层输出，

为全连接层权重矩阵，B_f∈R^C为全连接的bias值；通过交叉熵来优化损失函数，交叉熵代价函数为：

其中，D为训练数据集大小，C为类别数，y为预测类别，

为实际类别。λ||θ||²为正则项。

将融合后的特征保存在output中，作为第一个全连接层输入，在两个FC layer中引入了drouput机制，防止过拟合，每次迭代都会放弃部分训练好的参数，使得权重更新不再依赖部分固有特征。在将特征融合向量通过softmax分类器输出结果之前先运用之前介绍的PCA方法进行降维，保留又有用的主要信息，从而提高模型的收敛速度。本实施例模型中的softmax回归中将x分类为的概率为：

为了验证本实施例所提模型的有效性，采用康奈尔大学影评数据创建的MRD(Movie Review Data)和采用SemEval2016两种数据集，各项实验证明了比起目前广泛使用的注意力情感分类模型，本实施例所提MATT-CNN+BiGRU融合模型能够在提高准确率的同时降低模型的训练时间；

实验中使用多种窗口卷积核对输入矩阵进行卷积操作，卷积核函数为rectifiedlinear units，训练过程中采用Zeiler提出的Adadelta更新规则，其他超参数如表1所示：

表1 Experimental parameters

采用准确率指标(Accuracy)来衡量评价情感分类算法的性能，其计算方法为：

其中，TP表示实际为正，预测为正的样本数；FN表示实际为正，预测为负的样本数；TN表示实际为负，预测为负的样本数；FP表示实际为负，预测为正的样本数。

图7表示MATT-CNN+BiGRU模型和传统的单CNN与BiLSTM的损失函数对比变化；图8为在MRD数据集下不同的学习率对MATT-CNN+BiGRU性能的影响。经过对比，传统的CNN模型Loss值比BiLSTM和MATT-CNN+BiGRU损失函数迭代稳定值要低，但MATT-CNN+BiGRU模型相比于BiLSTM下降的速度更快，而且三者最终loss值都下降到了一个很低的数值，收敛效果良好。

在梯度下降算法中，若学习率设置的初始值过小，则会导致迭代次数增多，或陷入局部最优解形成死循环；若学习率设置过大，则会导致代价函数震荡不稳定，无法接近实际最小值，使算法收敛变慢。

为了验证PCA对于降维后的特征融合向量训练的积极影响，分析了不同网络模型在相同CPU，GPU和框架下完成所有实验，同时词向量构造方法等其他超参数也保持一致。

图9给出不同网络模型在Laptop数据集上完成一次迭代的训练时间对比结果，可以看出LSTM网络的训练时间代价是非常高的，这主要是因为LSTM网络训练的是序列性数据，其在Restaurant与Laptop迭代一次的训练时长分别为437s和500s；

此外，不加任何注意力机制的CNN是最快的，仅需要4s和5s，符合对CNN的惯性理解，本实施例所提出的MATT-CNN+BiGRU模型改变原始冗繁的LSTM模型，在两个数据集上与LSTM相比都有明显的提高；在加入了PCA降维之后，MATT-CNN+BiGRU模型在两个数据集上的训练时间分别降到了48s，53s，因此验证了PCA对本实施例所提MATT-CNN+BiGRU模型训练开销上的积极影响。

为了研究主成分特征值值累计贡献率对MATT-CNN+BiGRU模型的分类性能的影响，在MRD数据集下，分析了不同累计贡献率对MATT-CNN+BiGRU模型的分类准确度变化关系，分类准确率与特征值累计贡献率的关系如图10所示；设特征值累计贡献率为α，当α从100％到95％过程中，经过MATT-CNN模块提取到的文本特征经PCA降维处理，文本特征中的冗余被逐渐剔除，分类准确度增加；当α＝95％时，文本特征中的冗余信息剔除较充分，分类准确度也最高；当α从95％逐渐减小时，部分用于的文本也被剔除，导致分类准确度下降。由此可得，主成分的维度对分类准确率的影响至关重要。

本实施例加入了词性注意力机制，为了验证词性注意力机制的有效性，在MRD数据集和Restaurant数据集上分别提取2500和2000条数据进行验证试验；其中，词性向量维度为0表示不适用词性注意力机制，结果如图11所示。加入词性注意力机制后，在两个数据集下MATT-CNN+BiGRU模型上的分类效果都有了明显的提升；以峰值进行计算的话，在MRD数据集上MATT-CNN+BiGRU提升了8.9％，在Restaurant数据集上提升了9.9％；证明了加入词性注意力机制可以让模型更加充分地学习文本的情感信息，达到更好的情感分类效果。

当词向量大于100维时，模型在两个数据集都出现了波动；经过分析，其原因为MATT-CNN+BiGRU模型的输入矩阵是注意力机制有联系的输入。词向量注意力作为模型训练的主要特征，当词性向量的维度超过一定阈值时会影响其参数调整，降低了内容层面特征信息的学习效果；此外，随着向量维度的增加模型的训练代价也会相应的增大，因此在上述实验中本实施例使用了经验参数值100作为词性注意力向量的维度。

实施例2

本实施例提供一种文本情感分类系统，包括：

其中，第一特征提取模块包括：

第一矩阵模块，提取文本句中的关键词，以关键词的词向量为初始注意力矩阵，将其与词向量矩阵构建词向量注意力矩阵；

第二矩阵模块，采用双向扫描算法确定每个词和关键词之间的位置取值，根据由位置取值映射得到的位置向量和词向量矩阵构建位置注意力矩阵；

第三矩阵模块，根据情感词性类别获取的关键词的情感词性构建词性注意力矩阵；

融合模块，由词向量注意力矩阵、位置注意力矩阵和词性注意力矩阵构建第一特征。

此处需要说明的是，上述模块对应于实施例1中的步骤S1至S7，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种文本情感分类方法，其特征在于，包括：

对文本句以词为单位进行划分，对每个词映射为词向量；

采用BiGRU网络根据关键词的上下文语义信息得到第二特征；

2.如权利要求1所述的一种文本情感分类方法，其特征在于，采用关键词抽取算法提取文本句中的关键词，包括：

对每个词向量采用Tf-idf和交叉熵结合的方法判断每个类别特征词中出现频率最高的k个词，即为关键词。

3.如权利要求1所述的一种文本情感分类方法，其特征在于，根据每个词向量构建词向量矩阵，以关键词的词向量为初始注意力矩阵，将其与词向量矩阵构建词向量注意力矩阵。

4.如权利要求1所述的一种文本情感分类方法，其特征在于，采用双向扫描算法确定每个词和关键词之间的位置取值，由位置取值映射得到位置向量，根据每个词向量构建的词向量矩阵和位置向量构建位置注意力矩阵。

5.如权利要求1所述的一种文本情感分类方法，其特征在于，根据情感词性类别获取的关键词的情感词性构建词性注意力矩阵；

所述情感词性类别包括但不限于转折介词、积极情感词和消极情感词。

6.如权利要求1所述的一种文本情感分类方法，其特征在于，所述多注意力卷积神经网络模型中多注意力CNN网络通过卷积核同时对文本句的多个词进行卷积计算，通过k-max池化层进行下采样操作，从池化层提取得到三种注意力矩阵的特征，并运用Softmax分类器输出考虑关键词影响的第一特征。

7.如权利要求1所述的一种文本情感分类方法，其特征在于，对第一特征和第二特征融合后采用PCA降维技术对融合特征全局向量进行降维处理，采用softmax分类器输出最终情感分类结果。

8.一种文本情感分类系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。