CN111985214A - 基于bilstm及attention的人机交互负面情感分析方法 - Google Patents

Abstract

本发明公开了一种基于bilstm及attention的人机交互负面情感分析方法，包括以下步骤：A.采集数据并处理及构建负面情感词典、停用词典；B.对采集的数据进行分词及Word2vec词向量训练；C.构建双向长短时记忆网络bilstm，获取word2vec词向量并输入bilstm进行上下文特征提取；D.attention层权重调整；包括在bilstm网络加入注意力机制Attention，通过注意力机制的使用对句子中不同特征分配权重，并对于句子中倾向于用户情感的特征信息进行关注；E.情感分类结果输出。本发明的方法可对关键信息的权重进行调整，提高情感分析识别率，最终提高人机交互体验。

Description

基于bilstm及attention的人机交互负面情感分析方法

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于bilstm及attention的人机交互负面情感分析方法。

背景技术

情感分析技术是自然语言处理(Natural Language Processing，NLP)中一个重要方向，目前主要的文本情感分析研究主要是基于情感词典的方法、基于机器学习的方法和基于深度学习的方法的三类。它依靠情感词典和规则，通过计算情感值作为文本的情感倾向依据。这类方法其对情感词典的依赖成为其应用与发展

的主要障碍。基于机器学习的方法，机器学习的方法通过对人工标定的数据进行训练而得到一个情感分析分类器。然而，传统机器学习方法通常仅在某一特定领域表现优秀，泛化能力较差、拟合精度不高。这两种方法都需要人工标记数据从而完成情感词典构建和特征工程，这些任务繁琐且复杂而深度学习算法能够很好地解决这一问题。近年来深度学习在自然语言处理方面取得巨大的成功，比如机器翻译，问答系统。

注意力(Attention)机制是在信息处理时选择性地集中于某些重要的信息的一种机制，而忽略和关注目标意义相关性较弱的一种信息处理机制，它强调在信息处理时更关注信息的本质方面的信息，它将有限的资源集中于重要的信息的处理，从而取得了巨大的成功。注意力(Attention)机制在图像识别、自动翻译等领域已经取得了巨大的成功。结合本文的主题，在处理情感分析的时候，可以更加关注和重要情感词有关的信息从而提高情感分类的准确度。循环网络(RNN)因为其网络记忆性能够处理上下文信息而被广泛应用于自然语言处理中，本文将提出基于bilstm的人机交互负面情感分析算法，然后通过注意力机制将重要情感信息融合到模型中，使得算法模型更能够关注到关键信息对情感分类的影响，从而提高情感分类的精度。

经过长期观察统计发现，现有技术中存在人机交互过程中由于说话人口语化或语音识别不准导致用户在多次交互中得不到满意的答复时，用户情绪会变坏，会说些不文明的骂人语句。这时我们若能对用户情绪进行识别给用户一个友好的回复，用户心情会大好，从而减少对产品的厌恶，提高人机交互体验。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种基于bilstm及attention的人机交互负面情感分析方法，利用分词有效解决非规范化及新出现的情感词对文本的情感影响，利用双向长短时记忆网络有效提取文本的上下文文本信息，对双向长短时记忆网络的隐藏层输入attention权重调整层，可对关键信息的权重进行调整，提高情感分析识别率，最终提高人机交互体验。

为了达到上述的技术效果，本发明采取以下技术方案：

基于bilstm及attention的人机交互负面情感分析方法，包括以下步骤：

A.采集数据并处理及构建负面情感词典、停用词典；

B.对采集的数据进行分词及Word2vec词向量训练；

C.构建双向长短时记忆网络bilstm，获取word2vec词向量并输入bilstm进行上下文特征提取；

D.attention层权重调整；包括在bilstm网络加入注意力机制Attention，通过注意力机制的使用对句子中不同特征分配权重，并对于句子中倾向于用户情感的特征信息进行关注；

E.情感分类结果输出。

进一步地，所述步骤A具体为：

A1.对终端采集到的数据进行初步处理；

A2.构造特定领域负面情感词典及根据用户数据结合汉语常用停用词字典构造特定领域的停用词字典；

A3.通过负面情感词典将采集到的数据分为负面情绪数据及非负面情绪数据；

A4.将负面情绪数据标注为a，将非负面情绪数据标注为b；

A5.将所述负面情绪数据及非负面情绪数据按x、y、z的比例划分为训练集、验证集和测试集，x+y+z＝1。

进一步地，x＝0.6，y＝0.3，z＝0.1。

进一步地，所述步骤A1的初步处理包括数据清洗。

进一步地，构造负面情感词典时是对终端采集到的数据通过统计词频、聚类及网上搜集的负面情感词，构造负面情感词典。

进一步地，所述步骤B具体为：

B1.通过分词系统结合本领域数据特点对训练集的数据进行分词；

B2.将分词后的数据通过Word2vec训练80-300维的词向量。

进一步地，所述步骤C具体为：

C1.构建双向长短时记忆网络bilstm；

C2.将经步骤B得到的具有固定数据长度的word2vec词向量接入bilstm进行特征提取。

进一步地，在所述bilstm中具有2个隐含层，组成了双层LSTM模型。

进一步地，所述步骤C2中，进行特征提取时对于需要预测的情感语句X＝{x₁,x₂,...,x_t}，每个x_i(i＝1,2,...,t)为word2vec词向量，计算流程如下式：

其中，

表示提取的正向特征，

表示提取的逆向特征，W为权重矩阵，W_xh为当前时刻的权重矩阵，W_hh为上一时刻的权重矩阵，b_h为偏置向量，σ为激活函数，

表示正向bilstm的输出，

表示逆向bilstm的输出。

进一步地，所述步骤D具体为：

D1.将正向bilstm的输出

及逆向bilstm的输出

进行拼接为h_t：

其中，w_t为正向bilstm的权重，v_t为逆向bilstm的权重，b_t为偏置项；

D2.在bilstm网络加入注意力机制Attention；

D3.将h_t输入到注意力机制中，对隐含层的不同时间的输出进行不同的权重分配，其中，不同的权重代表了不同的注意程度，将h_t经过一层非线性转换为

其中，tanh为激活函数，w_w和b_w为注意力计算过程中的权重矩阵和偏置，且w_w随机初始化，随模型训练不断更新；

D4.将

通过一层softmax进行归一化处理得到注意力权重矩阵α_t：

D5.将α_t和h_t进行操作得到经过注意力机制的最终向量h′_t：h′_t＝∑α_th_t；

D6.在注意力机制Attention后面连接一个softmax输出预测类别概率：p(y)＝softmax(h′_t)，由softmax将输出类别概率映射到(0,1)区间内，取概率最大的类别为最终情感分类结果。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于bilstm及attention的人机交互负面情感分析方法中，提出基于bilstm的人机交互负面情感分析算法，然后通过注意力机制将重要情感信息融合到模型中，使得算法模型更能够关注到关键信息对情感分类的影响，从而提高情感分类的精度，具体包括利用分词手段有效解决非规范化及新出现的情感词对文本的情感影响，双向长短时记忆网络可有效提取文本的上下文文本信息，双向长短时记忆网络的隐藏层输入attention权重调整层，可对关键信息的权重进行调整，提高情感分析识别率。

附图说明

图1是本发明的基于bilstm及attention的人机交互负面情感分析方法的流程示意图。

图2是本发明的一个实施例的处理流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种基于bilstm及attention的人机交互负面情感分析方法，本实施例中将具体应用于智能电视产品以解决由于用户在与智能电视的人机交互时口语化、方言话等或语音识别有误导致用户不能搜索到心仪的影片，在多次未达用户意图时，用户情绪会随之变化，会爆粗口、说脏话的问题，实现对用户情感进行捕捉，从而可进一步反馈给用户友好或搞笑的人性化回复，以提高用户的体验，减少对产品的反感。

具体的，该方法包括以下步骤：

步骤1.用户数据处理，构造谩骂情感词典、停用词典。

具体包括对从电视终端采集到的约60万用户闲聊文本数据进行清洗处理，并通过统计词频、聚类及网上搜集的谩骂词，构造谩骂情感字典，如{笨蛋：100，坏蛋：80}，其中，词典的频次通过用户使用频次统计出来后均需归一化到0-100之间。

然后结合用户常用说法及汉语常用停用词构造停用词字典，具体的，本实施例中的停用词除了汉语常用的停用词表，还根据用户需求加入如‘长虹小白’等停用词，‘长虹小白’是业务用语，电视唤醒词，是为了提高准确率根据业务需要加入的。

然后通过谩骂情感字典初步将60万数据分为谩骂与非谩骂数据两类，通过规则及人工处理后余48万做训练数据，谩骂数据20万，非谩骂数据28万，本实施例中，为了不让数据严重倾斜，谩骂数据有部分重复数据。

最后，将谩骂数据标注为0，非谩骂数据标注为1，并将所有数据按0.6,0.3.0.1的比例划分为训练集、验证集和测试集。

步骤2.分词及Word2vec词向量训练

本实施例中是使用根据影视数据特点结合结巴分词研发的分词系统对训练集的数据进行分词，能够正确将影视名称、演员等实体分为完整的词。实际中也可采用现有技术中已有的分词系统如结巴分词系统实现分词。

然后将分词后的数据通过Word2vec训练80-300维的词向量，本实施例中是训练100维的词向量，具体维度根据业务文本长确定。

步骤3.构建双向长短时记忆网络bilstm，获取word2vec词向量并输入bilstm进行上下文特征提取。

构建双向长短时记忆网络bilstm，将经步骤2得到的具有固定数据长度的word2vec词向量接入bilstm进行特征提取。具体的，本实施例中输入文本长度为50，词向量维度为100(网络输入一般要求固定数据长度，本文处理短文本，将长度固定为50，不足的补0)。

具体的，本实施例的bilstm中具有2个隐含层，组成了双层LSTM模型，也就是两个LSTM进行叠加，能够更好的抽取特征的表现，LSTM(LongShort-Term Memory)是一种特殊的循环神经网络(Recurrent Neural Network,RNN).该结构中“门”的引入，巧妙地解决了RNN中由于时间间隔较长而产生的“梯度消失”问题，它保存了流经它的所有信息，是LSTM实现记忆”的关键部分。

具体的，在训练模型时，设置正向传播的dropout取值为0.5，反向传播的dropout取值为0.5。根据长短期记忆网络的特点，得到LSTM双向信息。假设需要预测的情感语句为x＝{x₁,x₂,...x_i...,x_n}，x_i表示第i个词，n为句长，如图2所示，语句“他是个大笨蛋”共有5个词，句长为5。

通过步骤2获取word2vec词向量，然后输入BILSTM进行上下文特征提取。本实施例中，进行特征提取时对于需要预测的情感语句X＝{x₁,x₂,...,x_t}，每个x_i(i＝1,2,...,t)为word2vec词向量，计算流程如下式：

其中，

表示提取的正向特征，

表示提取的逆向特征，W为权重矩阵，W_xh为当前时刻的权重矩阵，W_hh为上一时刻的权重矩阵，b_h为偏置向量，σ为激活函数，

表示正向bilstm的输出，

表示逆向bilstm的输出。

步骤4.attention层权重调整。

具体包括步骤3的正向bilstm的输出

及逆向bilstm的输出

进行拼接为h_t：

其中，w_t为正向bilstm的权重，v_t为逆向bilstm的权重，b_t为偏置项；

然后在bilstm网络加入注意力机制Attention；

接着将h_t输入到注意力机制中，对隐含层的不同时间的输出进行不同的权重分配，其中，不同的权重代表了不同的注意程度，将h_t经过一层非线性转换为

其中，tanh为激活函数，w_w和b_w为注意力计算过程中的权重矩阵和偏置，且w_w随机初始化，随模型训练不断更新；

然后通过一层softmax进行归一化得到注意力权重矩阵α_t：

然后将α_t和h_t进行以下操作得到经过注意力机制的最终向量h′_t：h′_t＝∑α_th_t；

最后在注意力机制Attention后面连接一个softmax输出预测类别概率：p(y)＝softmax(h′_t)，由softmax将输出类别概率映射到(0,1)区间内，从而进行分类，且具体是取概率最大的类别为最终情感分类结果。

步骤5.情感分类结果输出。

具体的，本实施例中，对谩骂情感分类结果封装时，为了业务需要优选将输出结果为谩骂的概率适当调小，再加入规则及情感字典判断高频常用谩骂语句。具体包括如下调整，一，模型预测输入每个分类标签的概率，如‘你真XX’，若得到谩骂概率为0.55，非谩骂概率为0.45，按最大概率则结果是属于谩骂语句，但本实施例中取谩骂概率设大于0.6的才分为谩骂；二、规则是通过谩骂词典匹配谩骂词条，一般为一些网络中性词，在不同的语境下可能为谩骂词也可为非谩骂词，这样可以实时根据用户需求修改情感分类结果。

最后用测试集的数据按照该方法进行测试后得到测试结果如下：Loss(失败率):0.045，Accuracy(准确率):0.96。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.基于bilstm及attention的人机交互负面情感分析方法，其特征在于，包括以下步骤：

A.采集数据并处理及构建负面情感词典、停用词典；

B.对采集的数据进行分词及Word2vec词向量训练；

C.构建双向长短时记忆网络bilstm，获取word2vec词向量并输入bilstm进行上下文特征提取；

D.attention层权重调整；包括在bilstm网络加入注意力机制Attention，通过注意力机制的使用对句子中不同特征分配权重，并对于句子中倾向于用户情感的特征信息进行关注；

E.情感分类结果输出。

2.根据权利要求1所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，所述步骤A具体为：

A1.对终端采集到的数据进行初步处理；

A2.构造特定领域负面情感词典及根据用户数据结合汉语常用停用词字典构造特定领域的停用词字典；

A3.通过负面情感词典将采集到的数据分为负面情绪数据及非负面情绪数据；

A4.将负面情绪数据标注为a，将非负面情绪数据标注为b；

A5.将所述负面情绪数据及非负面情绪数据按x、y、z的比例划分为训练集、验证集和测试集，x+y+z＝1。

3.根据权利要求2所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，x＝0.6，y＝0.3，z＝0.1。

4.根据权利要求2所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，所述步骤A1的初步处理包括数据清洗。

5.根据权利要求2所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，构造负面情感词典时是对终端采集到的数据通过统计词频、聚类及网上搜集的负面情感词，构造负面情感词典。

6.根据权利要求2所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，所述步骤B具体为：

B1.通过分词系统结合本领域数据特点对训练集的数据进行分词；

B2.将分词后的数据通过Word2vec训练80-300维的词向量。

7.根据权利要求6所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，所述步骤C具体为：

C1.构建双向长短时记忆网络bilstm；

C2.将经步骤B得到的具有固定数据长度的word2vec词向量接入bilstm进行特征提取。

8.根据权利要求7所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，在所述bilstm中具有2个隐含层，组成了双层LSTM模型。

9.根据权利要求8所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，所述步骤C2中，进行特征提取时对于需要预测的情感语句X＝{x₁,x₂,...,x_t}，每个x_i(i＝1,2,...,t)为word2vec词向量，计算流程如下式：

其中，

表示提取的正向特征，

表示提取的逆向特征，W为权重矩阵，W_xh为当前时刻的权重矩阵，W_hh为上一时刻的权重矩阵，b_h为偏置向量，σ为激活函数，

表示正向bilstm的输出，

表示逆向bilstm的输出。

10.根据权利要求9所述的基于bilstm及attention的人机交互负面情感分析方法，其特征在于，所述步骤D具体为：

D1.将正向bilstm的输出

及逆向bilstm的输出

进行拼接为h_t：

其中，w_t为正向bilstm的权重，v_t为逆向bilstm的权重，b_t为偏置项；

D2.在bilstm网络加入注意力机制Attention；

D3.将h_t输入到注意力机制中，对隐含层的不同时间的输出进行不同的权重分配，其中，不同的权重代表了不同的注意程度，将h_t经过一层非线性转换为

其中，tanh为激活函数，w_w和b_w分别为注意力计算过程中的权重矩阵和偏置，且w_w随机初始化，随模型训练不断更新；

D4.将

通过一层softmax进行归一化处理得到注意力权重矩阵α_t：

D5.将α_t和h_t进行以下操作得到经过注意力机制的最终向量h′_t：h′_t＝∑α_th_t；

D6.在注意力机制Attention后面连接一个softmax输出预测类别概率：p(y)＝softmax(h′_t)，由softmax将输出类别概率映射到(0,1)区间内，取概率最大的类别为最终情感分类结果。

Images