CN110807320B - 基于cnn双向gru注意力机制的短文本情感分析方法 - Google Patents

Abstract

一种基于CNN双向GRU注意力机制的短文本情感分析方法，包括：对短文本预处理，除噪、分词、词性标注、去除停用词；通过连续词袋模型(CBOW)将句子以词为单位通过负采样训练表示成一个词序列，并将其映射为一个多维向量来构造词向量集合；计算情感词在不同数据集文档出现频数计算情感分值继而转化成情感特征向量矩阵；词嵌入与特征嵌入拓扑作为卷积神经网络输入，通过卷积，池化得到句子表征；通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征；两种表征拓扑结合作为全连接层输入，输出情感分析结果。

Description

基于CNN双向GRU注意力机制的短文本情感分析方法

技术领域

本发明属于自然语言处理领域，尤其涉及一种基于CNN双向GRU注意力机制的短文本情感分析方法

背景技术

随着互联网的高速发展，越来越多的用户通过社交媒体表达自己的观点抒发自己的情感评论，其中大多数评论以短文本的形式存在。热点事件会引起社会的广泛关注讨论，及时掌握舆情导向，获取用户情感倾向是一个极具挑战性任务。

情感分析通过对文本的预处理，分析，挖掘用户的情感倾向，可以了解到大众对热点事件的情感变化，也是自然语言处理的重要方向之一。情感分析研究方法主要分为基于词典的方法，基于机器学习的方法，基于深度学习的方法。基于词典的方法主要依赖于词典的构建与选择判断句子情感极性，不同的词语有着不用的情感得分，对句子情感分类的贡献度不同，但因其领域适应性较差，通常作为辅助方法。基于机器学习的方法依赖选取有效特征组合利用分类器进行情感分类，但这种方法需要大量人工标注数据集来训练模型，费时费力。基于深度学习的方法，可以挖掘深层的语义情感含义，应用广泛，但是有监督的深度学习仍需要大量标注，而无监督方法对于文本的语义关联要求较高，其中否定词、程度副词、转折词等的使用可能导致句子的情感极性偏移影响情感分析结果准确性，还需进一步发展改进。

发明内容

本发明针对上述问题：本发明提供一种基于CNN双向GRU注意力机制的短文本情感分析方法。充分利用情感词自身信息，根据情感词在数据集内不同极性的句子中出现的频率来计算情感得分得出情感特征向量矩阵融入卷积网络；对影响句子极性的否定词、转折词通过双向GRU注意力机制深入获取句子表征，从而提高情感分析结果的准确性；减少人工标注环节极大节省工时。

为实现上述目的，提出本发明的技术方案：基于CNN双向GRU注意力机制的短文本情感分析方法，根据情感词在数据集内不同极性的句子中出现的频率来计算情感得分，融入卷积神经网络，对影响句子极性的否定词转折词通过双向GRU注意力机制深入获取句子表征，从而提高情感分析结果的准确性。

本发明的技术方案包括：对短文本预处理，除噪、分词、词性标注、去除停用词；通过连续词袋模型(CBOW)将句子以词为单位通过负采样训练表示成一个词序列，并将其映射为一个多维向量来构造词向量集合；计算情感词在不同数据集文档出现频数计算情感分值继而转化成特征向量；词嵌入与特征嵌入拓扑作为卷积神经网络输入，卷积，池化得到句子表征；通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征；两种表征拓扑结合作为全连接层输入，输出情感分析结果。

具体步骤如下：

(1)对短文本预处理，除噪、分词、词性标注、去除停用词。用中科院分词系统(NLPIR)对句子进行分词、词性标注，用哈工大停用词库去除停用词。

(2)通过连续词袋模型(CBOW)将句子以词为单位通过负采样训练表示成一个词序列，并将其映射为一个多维向量来构造词向量集合。即每一个词w_i都会由一个多维的向量q_i表示。

(3)计算情感词在不同数据集文档出现频数计算情感分值继而转化成特征向量。

使用Hownet情感词典，w_i为情感词典的第i个情感词，

为包含情感词w_i的积极情感数据样本个数，

为包含情感词w_i的消极情感数据样本个数，F(w_i)为情感词w_i在数据集上的文档频数。F_min为最小文档频数，F_max为最大文档频数，S(w_i)为包含情感词w_i的情感得分。

β、k为可调参数。对每一个情感词w_i都会得到情感得S(w_i)分值继而得到一个多维的连续值向量e(w_i)。

(4)词嵌入与特征嵌入拓扑作为卷积神经网络输入，卷积，池化得到句子表征。若w_i词为情感词，词嵌入与特征嵌入拓扑得出为x_i，CNN可接收句子的平行化输入，卷积窗口长度为h，通过卷积核对输入矩阵x_1:n进行卷积操作可得到卷积后特征向量:c＝[c₁,c₂,…,c_n-h+1]。

(5)通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征。具体步骤如附图3所示。词嵌入表征经过双向GRU网络输出句子的隐含层表征向量ε。门控循环单元(GRU)如图2所示：

其中ω_t，ξ_t分别表示t时刻Bi-GRU所对应的前向隐层状态

和反向隐状态

的权重，ζ_t表示t时刻隐层状态所对应的偏置项。

将否定词、转折词和程度副词作为参数化查询项v_a，由双向GRU网络输出的句子表征和参数化查询项v_a得到M，由M和参数化查询项v_a得到权重α_i，由α_i和ε_i得到关于否定词、转折词和程度副词作为参数化查询项注意力机制的特征向量&。

M＝tanh(w_sε_i+w_tv_a)

其中w_s为特性向量ε_i的可调节权重矩阵，w_t为参数化查询项v_a的可调节权重矩阵，M^T为权重矩阵M的转置矩阵。

(6)将CNN提取的到的特征向量

和通过双向GRU循环神经网络参数查询项为否定词转折词注意力机制获取表征&拓扑结合作为全连接层输入，输出情感分析概率结果P。

其中w_p为权重矩阵，y为偏置项，soft max为CNN网络全连接层的回归函数，值域为[0，1]。

有益效果：

本发明提供一种基于CNN双向GRU注意力机制的短文本情感分析方法。充分利用情感词自身信息，根据情感词在数据集内不同极性的句子中出现的频率来计算情感得分得出情感特征向量矩阵融入卷积网络；对影响句子极性的否定词、转折词通过双向GRU注意力机制深入获取句子表征，从而提高情感分析结果的准确性；减少人工标注环节极大节省工时。

附图说明

图1本发明的方法流程图。

图2为本发明GRU网络内部结构图；

图3本发明双向GRU网络注意力机制模型。

具体实施方式

下面结合附图和具体实施方式对本发明进行描述。

其中，附图1描述了基于CNN双向GRU注意力机制的短文本情感分析方法方法处理过程。

如图1所示，本发明具体的实现步骤：

(1)对短文本预处理，除噪、分词、词性标注、去除停用词。用中科院分词系统(NLPIR)对句子进行分词、词性标注，用哈工大停用词库去除停用词。

(2)通过连续词袋模型(CBOW)将句子以词为单位训练表示成一个词序列，并将其映射为一个多维向量来构造词向量集合。连续词袋模型是Word2vec词嵌入的一种，基于某中心词在文本序列前后的背景词来生成该中心词，构建词向量矩阵。即每一个词w_i都会由一个多维的向量q_i表示。Word2vec词嵌入的训练方法主要有二次采样和负采样，负采样即对于一对中心词和背景词随机采样K个噪声词来进行近似训练，通过考虑同时含有正类样本和负类样本的相互独立事件来构造损失函数。每次让一个训练样本只更新部分权重，其他权重全部固定；减少计算量。

(3)计算情感词在不同数据集文档出现频数计算情感分值继而转化成特征向量。

使用Hownet情感词典，w_i为情感词典的第i个情感词，

为包含情感词w_i的积极情感数据样本个数，

为包含情感词w_i的消极情感数据样本个数，F(w_i)为情感词w_i在数据集上的文档频数。F_min为最小文档频数，F_max为最大文档频数，S(w_i)为包含情感词w_i的情感得分。

β、k为可调参数。对每一个情感词w_i都会得到情感得S(w_i)分值继而得到一个多维的连续值向量e(w_i)。

(4)词嵌入与特征嵌入拓扑作为卷积神经网络输入，卷积，池化得到句子表征。若w_i词为情感词，词嵌入与特征嵌入拓扑得出为：

CNN可接收句子的平行化输入，卷积窗口长度为h，通过卷积核对输入矩阵x_1:n进行卷积操作：

c_i＝f(w·x_i：i+h+1+b)

其中，w∈R^h×l为卷积核权重，l为x_i的维度，b为偏置项，f为激活函数，x_i:i+h+1为一个卷积窗口的词向量矩阵。长度为n的句子通过卷积操作可得到卷积后特征向量:c＝[c₁,c₂,…,c_n-h+1]，其中c∈R^n-h+1。

采取最大池化方法对卷积后的特征向量c进行池化操作，提取最重要信息，对于有m个卷积核的窗口池化后得到CNN提取的到的特征向量

(5)门控循环单元(GRU)如图2所示，图中更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选隐藏状态

上，重置门越小，前一状态的信息被写入的越少。候选隐藏状态

来辅助稍后的隐藏状态计算，如果重置门中元素值接近0，那么意味着重置对应隐藏状态元素为0，即丢弃上一时间步的隐藏状态。如果元素值接近1，那么表示保留上-时间步的隐藏状态。设隐藏单元个数为h，给定时间步t的小批量输入X_t∈R^n×d(样本数为n，输入个数为d和上一时间步隐藏状态H_t-1∈R^n×h。重置门R_t∈R^n×h和更新门Z_t∈R^n×h的计算如下：

R_t＝σ(X_tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(X_tW_xz+H_t-1W_hz+b_z)

其中W_xr，W_xz∈R^d×h和，W_hr，W_hz∈R^h×h是权重参数，b_r，b_z∈R^1×h是偏差参数。σ是sigmoid函数，值域为[0，1].时间步t的候选隐藏状态

的计算为：

其中W_xh∈R^d×h和W_hh∈R^h×h是权重参数，b_h∈R^1×h是偏差参数；

时间步t的隐藏状态H_t∈R^n×h为：

通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征。具体步骤如附图3所示。词嵌入表征经过双向GRU网络输出句子的隐含层表征向量ε。

其中ω_t，ξ_t分别表示t时刻Bi-GRU所对应的前向隐层状态

和反向隐状态

的权重，ζ_t表示t时刻隐层状态所对应的偏置项。

将否定词、转折词和程度副词作为参数化查询项v_a注意力嵌入，由双向GRU网络输出的句子表征和参数化查询项v_a得到M，由M和参数化查询项v_a得到特征权重α_i，最终由特征权重α_i和双向GRU网络输出的表征ε_i得到关于否定词、转折词和程度副词作为参数化查询项注意力机制的特征向量&。

M＝tanh(w_sε_i+w_tv_a)

其中w_s为特性向量ε_i的可调节权重矩阵，w_t为参数化查询项v_a的可调节权重矩阵，M^T为权重矩阵M的转置矩阵。

(6)将CNN提取的到的特征向量

和通过双向GRU循环神经网络参数查询项为否定词转折词注意力机制获取表征&拓扑结合作为全连接层输入，输出情感分析概率结果P。

其中w_p为权重矩阵，y为偏置项，soft max为CNN网络全连接层的回归函数，值域为[0，1]，因而每个短文本最后输出的概率结果P值域为[0，1]，即转换为一个二分类问题，以0.5为预值，概率大于0.5的为一类，概率小于0.5的为另一类，与之对应的分类是消极和积极，示例如表1所示。

表1经典短文本分析

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：所述包括以下步骤：

步骤(1)对短文本预处理，除噪、分词、词性标注、去除停用词，用中科院分词系统(NLPIR)对句子进行分词、词性标注，用哈工大停用词库去除停用词；

步骤(2)通过连续词袋模型(CBOW)将句子以词为单位通过负采样训练表示成一个词序列，并将其映射为一个多维向量来构造词向量集合；

步骤(3)计算情感词在不同数据集文档出现频数计算情感分值继而转化成情感特征向量矩阵；

步骤(4)词嵌入与特征嵌入拓扑作为卷积神经网络输入，通过卷积，池化得到句子表征；

步骤(5)通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征；所述步骤(5)中，通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征，词嵌入表征经过双向GRU网络输出句子的隐含层表征向量ε，门控循环单元(GRU)表示为：

其中ω_t，ξ_t分别表示t时刻Bi-GRU所对应的前向隐层状态

和反向隐状态

的权重，ζ_t表示t时刻隐层状态所对应的偏置项；

将否定词、转折词和程度副词作为参数化查询项v_a，由双向GRU网络输出的表征和参数化查询项v_a得到M，由M和参数化查询项v_a得到权重α_i，由α_i和ε_i得到关于否定词、转折词和程度副词作为参数化查询项注意力机制的特征向量&；

M＝tanh(w_sε_i+w_tv_a)

其中w_s为特性向量ε_i的可调节权重矩阵，w_t为参数化查询项v_a的可调节权重矩阵，M^T为权重矩阵M的转置矩阵；

步骤(6)两种表征拓扑结合作为全连接层输入，输出情感分析结果。

2.根据权利要求1所述的基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：

所述步骤(2)中，CBOW即连续词袋模型是Word2vec词嵌入的一种，基于某中心词在文本序列前后的背景词来生成该中心词，构建词向量矩阵，即每一个词w_i都会由一个多维的向量q_i表示。

3.根据权利要求1所述的基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：

所述步骤(3)中，计算情感词在不同数据集文档出现频数计算情感分值继而转化成特征向量，具体如下：

使用Hownet情感词典，w_i为情感词典的第i个情感词，

为包含情感词w_i的积极情感数据样本个数，

为包含情感词w_i的消极情感数据样本个数，F(w_i)为情感词w_i在数据集上的文档频数；F_min为最小文档频数，F_max为最大文档频数，S(w_i)为包含情感词w_i的情感得分；

β、k为可调参数；对每一个情感词w_i都会得到情感得S(w_i)分值继而得到一个多维的连续值向量e(w_i)。

4.根据权利要求1所述的基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：

所述步骤(4)中，词嵌入与特征嵌入拓扑作为卷积神经网络输入，卷积，池化得到句子表征；具体包括：

若w_i词为情感词，词嵌入与特征嵌入拓扑得出为：

CNN接收句子的平行化输入，卷积窗口长度为h，通过卷积核对输入矩阵x_1:n进行卷积操作：

c_i＝f(w·x_i:i+h+1+b)

其中，w∈R^h×l为卷积核权重，l为x_i的维度,b为偏置项，f为激活函数，x_i:i+h+1为一个卷积窗口的词向量矩阵；长度为n的句子通过卷积操作可得到卷积后特征向量:c＝[c₁,c₂,···,c_n-h+1]，其中c∈R^n-h+1；

采取最大池化方法对卷积后的特征向量c进行池化操作，提取最重要信息，对于有m个卷积核的窗口池化后得到CNN提取的到的特征向量

5.根据权利要求4所述的基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于，所述步骤(6)具体为：

将CNN提取的到的特征向量

和通过双向GRU循环神经网络参数查询项为否定词转折词注意力机制获取表征&拓扑结合作为全连接层输入，输出情感分析概率结果P：

其中w_p为权重矩阵，y为偏置项，softmax为CNN网络全连接层的回归函数，值域为[0,1]。

Images