CN115906816A - 一种基于Bert的双通道Attention模型的文本情感分析方法 - Google Patents

Abstract

本发明提供一种基于Bert的双通道Attention模型的文本情感分析方法，涉及人工智能技术领域，包括：对文本数据集进行预处理，并通过Bert模型转化为词向量；将词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；将全局特征信息和局部特征信息分别输入注意力层，注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；融合全局特征向量和局部特征向量，输入全连接层；将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。本发明充分挖掘文本的深层语义信息，提高了情感分类的准确率。

Description

一种基于Bert的双通道Attention模型的文本情感分析方法

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种基于Bert的双通道Attention模型的文本情感分析方法。

背景技术

随着物流的发展和网上购物平台的普及，使得人们的在线购物更加高效与频繁，越来越多的人们通过网上购物平台购买自己需要的产品，并发表自己对于产品的评价，例如在淘宝平台中进行购物并对购买的产品发表自己关于产品以及客服态度和物流的观点，如何从购物平台中的文本评论信息中分析出信息发布者的情感倾向，是自然语言处理领域的一个重要内容。

情感分析的主要任务是针对各种带有主观性情感倾向的文本，通过对文本进行预处理、语义信息分析、总结及对文本所携带的情感倾向进行预测。目前，文本情感分析的方法主要有基于情感词典、基于机器学习和基于深度学习这三种方法。基于情感词典的文本情感分析主要依赖于情感词典的构建，构建合适的情感词典需要消耗大量的人力资源，同时各种新词语层出不穷，情感词典也需要不断进行更新维护才能保证情感词典的质量；基于机器学习的文本情感分析，首先需要使用人工的方法对数据集按照需求进行标注，标注好的数据集会被作为训练集，之后，利用机器学习的一些方法在训练集上进行特征提取并获取机器学习的模型，最后使用该模型对文本进行情感分析进而输出情感分析结果，文本情感的提取方法和分类器的设计对基于机器学习的文本情感分析方法的结果有至关重要的决定作用，同时机器学习的方法还依赖于人工标注数据的质量，还存在维度爆炸和特征稀疏的缺点，在特征提取上比较困难。

近来，自然语言领域逐渐应用深度学习的技术进行研究，卷积神经网络、长短期记忆网络和注意力机制等广泛应用在自然语言领域，在文本情感分析中的应用也较多，这些技术可以学习到文本深层次的信息，一定程度上提高了情感分类的准确度，但是仍旧存在无法挖掘到文本更多的隐含信息，存在对文本的语义信息利用不充分，准确率不高等问题。

发明内容

针对上述社交网络中隐私信息扩散传播问题，本发明提供了一种基于Bert的双通道Attention模型的文本情感分析方法，充分挖掘文本的深层语义信息，提高了情感分类的准确率。

为实现上述目的，本发明提供了一种基于Bert的双通道Attention模型的文本情感分析方法，包括：对文本数据集进行预处理，并通过Bert模型转化为词向量；

将所述词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

将所述全局特征信息和所述局部特征信息分别输入注意力层，所述注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；

融合所述全局特征向量和局部特征向量，输入全连接层；

将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。

作为本发明的进一步改进，采用爬虫技术获取产品的评论内容，构建所述文本数据集。

作为本发明的进一步改进，所述对文本数据集进行预处理，包括：

将不包含情感信息的空格符、标点符号、无法识别的表情符号及链接去除；

将自动好评去除；

将数字和字母大小写统一化；

将文本中的繁体字统一转换成简体字；

将全角字符转为半角字符。

作为本发明的进一步改进，将所述词向量通过BiLSTM模型提取文本的全局特征信息，包括：

通过前向LSTM训练前向序列得到前向序列的隐藏状态序列；

通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；

拼接所述前向序列的隐藏状态序列和所述后向序列的隐藏状态序列，得到文本的全局特征信息。

作为本发明的进一步改进，所述通过前向LSTM训练前向序列得到前向序列的隐藏状态序列和所述通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；均包括：

遗忘门计算：f_t＝σ(W_f×[h_t-1，x_t]+b_f)

记忆门的计算：i_t＝σ(W_i×[h_t-1，x_t]+b_i)，

当前时刻细胞状态的计算：

输出门的计算：o_t＝σ(W_o[h_t-1,x_t]+b_o)

当前时刻的隐藏状态的计算：h_t＝o_t*tanh(C_t)

其中，

f_t、i_t、

C_t、o_t、h_t分别表示遗忘门的值、记忆门的值、临时细胞状态、当前时刻的细胞状态、输出门的值、当前时刻的隐藏状态；

h_t-1表示LSTM训练中t-1时刻的隐藏状态；

C_t-1表示上一个时刻的细胞状态；

x_t表示当前时刻的输入词向量；

σ表示sigmoid激活函数；

W_f和b_f分别表示遗忘门的权重矩阵和偏移向量；

W_i和b_i分别表示记忆门的权重矩阵和偏移向量；

W_o和b_o分别表示输出门的权重矩阵和偏移向量；

前向序列各时刻隐藏状态的集合构成前向序列的隐藏状态序列

后向序列各时刻隐藏状态的集合构成后向序列的隐藏状态序列

将前向序列各时刻隐藏状态与后向序列各时刻隐藏状态进行拼接，得到文本的全局特征信息为：H_t(t＝1，2，…，n)。

作为本发明的进一步改进，所述注意力层通过全局注意力机制配置情感词的权重分值，对全局特征信息进行优化，得到全局特征向量，计算过程包括：

u_t＝tanh(w_sH_t+b_s)

其中，

W_s和b_s分别表示注意力层的全局注意力机制的权重矩阵和偏移向量；

H_t表示BiLSTM模型输出的全局特征信息；

u_t表示H_t序列中的各个元素与H_t序列的相关性，

为u_t的转置；

α_t表示各全局特征对应的注意力分数；

u_s是注意力层全局注意力训练的一个初始训练参数；

V_s表示经注意力层输出的全局特征向量。

作为本发明的进一步改进，将所述词向量通过BiGRU模型提取文本的局部特征信息，包括：

通过前向GRU训练前向序列得到前向GRU序列；

通过后向GRU训练后向序列得到后向GRU序列；

拼接所述前向GRU序列和所述后向GRU序列，得到文本的全局特征信息。

作为本发明的进一步改进，所述通过前向GRU训练前向序列得到前向序列的激活状态序列和所述通过后向GRU训练后向序列得到后向序列的激活状态序列；均包括：

重置门的计算：r_t＝σ(w_r·[p_t-1,x_t])

更新门的计算：z_t＝σ(w_z·[p_t-1,x_t])

候选激活状态的计算：

激活状态的计算：p_t＝(1-z_t)*p_t-1+z_t*q_t

其中，

r_t、z_t、

p_t分别表示t时刻的重置门、t时刻的重置门和更新门、t时刻的候选激活状态、t时刻的激活状态；

p_t-1表示GRU训练中t-1时刻的隐层状态；

q_t表示t时刻的接收到的新信息；

x_t表示当前时刻的输入词向量

σ表示sigmoid激活函数；

w_r、w_z、w分别表示相应的重置门的权重矩阵、更新门的权重矩阵、候选激活状态的权重矩阵；

前向序列各时刻激活状态的集合构成所述前向GRU序列

后向序列各时刻隐藏状态的集合构成所述后向GRU序列

将所述前向GRU序列和所述后向GRU序列进行拼接，得到文本的局部特征信息为：

作为本发明的进一步改进，所述注意力层通过局部注意力机制配置情感词的权重分值，对局部特征信息进行优化，得到局部特征向量；计算过程包括：

y_t＝tanh(w_wP_t+b_w)

其中，

W_w和b_w分别表示注意力层的局部注意力机制的权重矩阵和偏移向量；

P_t表示BiGRU模型输出的局部特征信息；

y_t表示P_t序列中的各个元素与P_t序列的相关性，

为y_t的转置；

β_t表示各局部特征对应的注意力分数；

y_w是注意力层局部注意力训练的一个初始训练参数；

V_e表示经注意力层输出的局部特征向量。

作为本发明的进一步改进，融合所述全局特征向量和局部特征向量，输入全连接层；将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果；包括：

构造矩阵V*＝(r_s+r_e)×c作为最终的情感特征向量输入softmax层；

所述softmax层根据公式m＝softmax(w_a V*+b_a)计算得到情感分类结果；

其中，

V_s、V_e分别表示经注意力层输出的全局特征向量和经注意力层输出的局部特征向量；

r_s和r_e分别表示是全局特征向量V_s矩阵和局部特征向量V_e矩阵的行数；

c表示全局特征向量V_s矩阵或局部特征向量V_e矩阵的列数；

w_a和b_a分别表示softmax层的权重矩阵和偏移量；

m表示情感分类结果。

与现有技术相比，本发明的有益效果为：

本发明使用Bert模型进行文本向量化，可以获取文本序列的动态词向量，将Bert模型获取到的词向量作为双通道的输入，双通道分别用来提取文本的全局特征和局部特征，并且在双通道后分别接注意力层对特征向量进行加权处理，获取影响较大的权重特征，由此构建了一种基于Bert的双通道Attention模型，该模型可以充分挖掘文本的深层语义信息，提高情感分类的准确率。

附图说明

图1为本发明一种实施例公开的基于Bert的双通道Attention模型的文本情感分析方法流程图；

图2为本发明一种实施例公开的Bert模型结构图；

图3为本发明一种实施例公开的LSTM神经元结构图；

图4为本发明一种实施例公开的BiLSTM网络结构示意图；

图5为本发明一种实施例公开的GRU神经元结构示意图；

图6为本发明一种实施例公开的BiGRU网络结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1-6所示，本发明提供的一种基于Bert的双通道Attention模型文本情感分析方法，包括：

S1、对文本数据集进行预处理，并通过Bert模型转化为词向量；

其中，

采用爬虫技术获取产品的评论内容，构建文本数据集，例如：采用爬虫技术爬取淘宝中某产品的评论内容，人工构建文本数据集；

预处理主要步骤为清洗数据，对于使用爬虫技术爬取的文本数据集，会包含大量无用的信息，包括：

(1)将不包含情感信息的空格符、标点符号、无法识别的表情符号及链接去除，这些信息不包含情感信息，同时占用存储空间且会对情感分析的结果产生干扰；

(2)将系统的自动好评去除；

(3)将数字和字母大小写统一化，即将文本数据中所有的数字以及字母都转换成大写或者是小写的形式；

(4)将文本中的繁体字统一转换成简体字；

(5)将全角字符转为半角字符。

进一步的。

将文本数据集中评论内容的词语使用Bert转化为词向量；

Bert是基于双向Transformer编码器结构进行编码的词向量预训练模型，该模型包含遮蔽语言模型和下一句预测两个任务，可以保证Bert能够提取文本动态的、深层次的信息，Bert通过将两种任务结合实现文本的向量化和语义信息的提取，可以提取到真实意义上的上下文信息。

Bert模型的输入序列由位置嵌入、词嵌入和片段嵌入组成，输入为文本数据集中的每一条评论数据，输出为评论文本的字、词融合了全局的语义信息之后计算得出的词向量。

如图2所示，X1，X2，…，Xn为BERT模型的输出的词向量序列。

S2、将词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

其中，

由于LSTM模型只能在单个方向进行读取文本，不能有效获取上下文信息，因此，本发明使用BiLSTM模型即双向长短时记忆网络模型，由一个前向LSTM和一个后向LSTM共同组成，分别用于训练前向序列和后向序列，可以有效解决序列问题。LSTM单元结构图和BiLSTM网络结构示意图如图3和图4所示。

进一步的，将词向量通过BiLSTM模型提取文本的全局特征信息，包括：

通过前向LSTM训练前向序列得到前向序列的隐藏状态序列；

通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；

拼接前向序列的隐藏状态序列和后向序列的隐藏状态序列，得到文本的全局特征信息。

具体的，

通过前向LSTM训练前向序列得到前向序列的隐藏状态序列和通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；均包括：

遗忘门计算：f_t＝σ(W_f×[h_t-1，x_t]+b_f)

记忆门的计算：i_t＝σ(W_i×[h_t-1，x_t]+b_i)，

当前时刻细胞状态的计算：

输出门的计算：o_t＝σ(W_o[h_t-1,x_t]+b_o)

当前时刻的隐藏状态的计算：h_t＝o_t*tanh(C_t)

公式中：

f_t、i_t、

C_t、o_t、h_t分别表示遗忘门的值、记忆门的值、临时细胞状态、当前时刻的细胞状态、输出门的值、当前时刻的隐藏状态；

h_t-1表示LSTM训练中t-1时刻的隐藏状态；

C_t-1表示上一个时刻的细胞状态；

x_t表示当前时刻的输入词向量；

σ表示sigmoid激活函数；

W_f和b_f分别表示遗忘门的权重矩阵和偏移向量；

W_i和b_i分别表示记忆门的权重矩阵和偏移向量；

W_o和b_o分别表示输出门的权重矩阵和偏移向量；

对于双向长短时记忆网络模型，经过前向序列和后向序列的训练，可以得到前向序列各时刻隐藏状态的集合构成前向序列的隐藏状态序列

后向序列各时刻隐藏状态的集合构成后向序列的隐藏状态序列

将前向序列各时刻隐藏状态与后向序列各时刻隐藏状态进行拼接，得到文本的全局特征信息为：H_t(t＝1，2，…，n)。

另外，

GRU神经元结构如图5所示，GRU是一种改进LSTM的深度学习网络模型，同样可以很好的解决循环神经网络中存在的长期依赖的问题，同时比LSTM更便于进行计算与实施，内部结构比LSTM更简单。BiGRU网络结构如图6所示，BiGRU由一个前向和后向的GRU序列组成，可以充分利用上下文信息。

因此，将词向量通过BiGRU模型提取文本的局部特征信息，包括：

通过前向GRU训练前向序列得到前向GRU序列；

通过后向GRU训练后向序列得到后向GRU序列；

拼接前向GRU序列和后向GRU序列，得到文本的全局特征信息；

具体的，

通过前向GRU训练前向序列得到前向序列的激活状态序列和通过后向GRU训练后向序列得到后向序列的激活状态序列；均包括：

重置门的计算：r_t＝σ(w_r·[p_t-1,x_t])

更新门的计算：z_t＝σ(w_z·[p_t-1,x_t])

候选激活状态的计算：

激活状态的计算：p_t＝(1-z_t)*p_t-1+z_t*q_t

其中，

r_t、z_t、

p_t分别表示t时刻的重置门、t时刻的重置门和更新门、t时刻的候选激活状态、t时刻的激活状态；

p_t-1表示GRU训练中t-1时刻的隐层状态；

q_t表示t时刻的接收到的新信息；

x_t表示当前时刻的输入词向量

σ表示sigmoid激活函数；

w_r、w_z、w分别表示相应的重置门的权重矩阵、更新门的权重矩阵、候选激活状态的权重矩阵；

前向序列各时刻激活状态的集合构成前向GRU序列

后向序列各时刻隐藏状态的集合构成后向GRU序列

将前向GRU序列和后向GRU序列进行拼接，得到文本的局部特征信息为：

S3、将全局特征信息和局部特征信息分别输入注意力层，注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；

其中，注意力层通过全局注意力机制配置情感词的权重分值，对全局特征信息进行优化，在全局注意力机制的作用下，可以整段评论文本中重要的句子，并给重要的句子分配较大的权重分值，突出其在文本序列中的重要程度，得到的全局特征向量能够增加分类的正确率；计算过程包括：

u_t＝tanh(w_sH_t+b_s)

公式中：

W_s和b_s分别表示注意力层的全局注意力机制的权重矩阵和偏移向量；

H_t表示BiLSTM模型输出的全局特征信息；

u_t表示H_t序列中的各个元素与H_t序列的相关性，

为u_t的转置；

α_t表示各全局特征对应的注意力分数；

u_s是注意力层全局注意力训练的一个初始训练参数；

V_s表示经注意力层输出的全局特征向量。

另外，注意力层通过局部注意力机制配置情感词的权重分值，对局部特征信息进行优化，在局部注意力机制的作用下，可以捕获单个句子中情感语义较大的词并分配给较大的权重分值，突出其在文本序列中的重要程度，得到的局部特征向量，能够增加分类的正确率，计算过程包括：

y_t＝tanh(w_wP_t+b_w)

公式中：

W_w和b_w分别表示注意力层的局部注意力机制的权重矩阵和偏移向量；

P_t表示BiGRU模型输出的局部特征信息；

y_t表示P_t序列中的各个元素与P_t序列的相关性，

为y_t的转置；

β_t表示各局部特征对应的注意力分数；

y_w是注意力层局部注意力训练的一个初始训练参数；

V_e表示经注意力层输出的局部特征向量。

S4、融合全局特征向量和局部特征向量，输入全连接层；

其中，

为了便于模型的计算，采用行向量拼接的形式对双通道模型的特征进行处理，即特征融合；

具体的，

构造一个(r_s+r_e)×c的矩阵V*，拼接好的矩阵作为最终的情感特征向量，构造矩阵V*＝(r_s+r_e)×c作为全连接层的输出，即最终的情感特征向量，输入softmax层；

公式中：

V_s、V_e分别表示经注意力层输出的全局特征向量和经注意力层输出的局部特征向量；

r_s和r_e分别表示是全局特征向量V_s矩阵和局部特征向量V_e矩阵的行数；

c表示全局特征向量V_s矩阵或局部特征向量V_e矩阵的列数；

S5、将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。

其中，

softmax层根据公式m＝softmax(w_a V*+b_a)计算得到情感分类结果；

公式中：

w_a和b_a分别表示softmax层的权重矩阵和偏移量；

m表示情感分类结果。

具体的：

情感分类结果m为概率表示，应处于0-1之间，0表示消极，1表示积极，设置中间值0.5，概率大于0小于0.5偏消极、概率等于0.5或大于0.5且小于1的偏积极。

本发明的优点：

本发明使用Bert模型进行文本向量化，可以获取文本序列的动态词向量，将Bert模型获取到的词向量作为双通道的输入，双通道分别用来提取文本的全局特征和局部特征，并且在双通道后分别接注意力层对特征向量进行加权处理，获取影响较大的权重特征，由此构建了一种基于Bert的双通道Attention模型，该模型可以充分挖掘文本的深层语义信息，提高情感分类的准确率。

本发明基于Bert的双通道Attention模型的文本情感分析方法，通过使用BiLSTM通道加注意力层提取评论的全局特征信息，使用BiGRU通道加注意力层提取评论的局部特征信息，之后将两个通道提取到的特征信息进行融合，可以充分提取评论文本的特征信息，进而可以有效地提高情感分类的能力以及情感极性判断的准确度。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Bert的双通道Attention模型文本情感分析方法，其特征在于，包括：

对文本数据集进行预处理，并通过Bert模型转化为词向量；

将所述词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

将所述全局特征信息和所述局部特征信息分别输入注意力层，所述注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；

融合所述全局特征向量和局部特征向量，输入全连接层；

将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。

2.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：采用爬虫技术获取产品的评论内容，构建所述文本数据集。

3.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述对文本数据集进行预处理，包括：

将不包含情感信息的空格符、标点符号、无法识别的表情符号及链接去除；

将自动好评去除；

将数字和字母大小写统一化；

将文本中的繁体字统一转换成简体字；

将全角字符转为半角字符。

4.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于，将所述词向量通过BiLSTM模型提取文本的全局特征信息，包括：

通过前向LSTM训练前向序列得到前向序列的隐藏状态序列；

通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；

拼接所述前向序列的隐藏状态序列和所述后向序列的隐藏状态序列，得到文本的全局特征信息。

5.根据权利要求4所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述通过前向LSTM训练前向序列得到前向序列的隐藏状态序列和所述通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；均包括：

遗忘门计算：f_t＝σ(W_f×[h_t-1，x_t]+b_f)

记忆门的计算：i_t＝σ(W_i×[h_t-1，x_t]+b_i)，

当前时刻细胞状态的计算：

输出门的计算：o_t＝σ(W_o[h_t-1,x_t]+b_o)

当前时刻的隐藏状态的计算：h_t＝o_t*tanh(C_t)

其中，

f_t、i_t、

C_t、o_t、h_t分别表示遗忘门的值、记忆门的值、临时细胞状态、当前时刻的细胞状态、输出门的值、当前时刻的隐藏状态；

h_t-1表示LSTM训练中t-1时刻的隐藏状态；

C_t-1表示上一个时刻的细胞状态；

x_t表示当前时刻的输入词向量；

σ表示sigmoid激活函数；

W_f和b_f分别表示遗忘门的权重矩阵和偏移向量；

W_i和b_i分别表示记忆门的权重矩阵和偏移向量；

W_o和b_o分别表示输出门的权重矩阵和偏移向量；

前向序列各时刻隐藏状态的集合构成前向序列的隐藏状态序列

后向序列各时刻隐藏状态的集合构成后向序列的隐藏状态序列

将前向序列各时刻隐藏状态与后向序列各时刻隐藏状态进行拼接，得到文本的全局特征信息为：H_t(t＝1，2，…，n)。

6.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述注意力层通过全局注意力机制配置情感词的权重分值，对全局特征信息进行优化，得到全局特征向量，计算过程包括：

u_t＝tanh(w_sH_t+b_s)

其中，

W_s和b_s分别表示注意力层的全局注意力机制的权重矩阵和偏移向量；

H_t表示BiLSTM模型输出的全局特征信息；

u_t表示H_t序列中的各个元素与H_t序列的相关性，

为u_t的转置；

α_t表示各全局特征对应的注意力分数；

u_s是注意力层全局注意力训练的一个初始训练参数；

V_s表示经注意力层输出的全局特征向量。

7.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于，将所述词向量通过BiGRU模型提取文本的局部特征信息，包括：

通过前向GRU训练前向序列得到前向GRU序列；

通过后向GRU训练后向序列得到后向GRU序列；

拼接所述前向GRU序列和所述后向GRU序列，得到文本的全局特征信息。

8.根据权利要求7所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述通过前向GRU训练前向序列得到前向序列的激活状态序列和所述通过后向GRU训练后向序列得到后向序列的激活状态序列；均包括：

重置门的计算：r_t＝σ(w_r·[p_t-1,x_t])

更新门的计算：z_t＝σ(w_z·[p_t-1,x_t])

候选激活状态的计算：

激活状态的计算：p_t＝(1-z_t)*p_t-1+z_t*q_t

其中，

r_t、z_t、

p_t分别表示t时刻的重置门、t时刻的重置门和更新门、t时刻的候选激活状态、t时刻的激活状态；

p_t-1表示GRU训练中t-1时刻的隐层状态；

q_t表示t时刻的接收到的新信息；

x_t表示当前时刻的输入词向量

σ表示sigmoid激活函数；

w_r、w_z、w分别表示相应的重置门的权重矩阵、更新门的权重矩阵、候选激活状态的权重矩阵；

前向序列各时刻激活状态的集合构成所述前向GRU序列

后向序列各时刻隐藏状态的集合构成所述后向GRU序列

将所述前向GRU序列和所述后向GRU序列进行拼接，得到文本的局部特征信息为：

9.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述注意力层通过局部注意力机制配置情感词的权重分值，对局部特征信息进行优化，得到局部特征向量；计算过程包括：

y_t＝tanh(w_wP_t+b_w)

其中，

W_w和b_w分别表示注意力层的局部注意力机制的权重矩阵和偏移向量；

P_t表示BiGRU模型输出的局部特征信息；

y_t表示P_t序列中的各个元素与P_t序列的相关性，

为y_t的转置；

β_t表示各局部特征对应的注意力分数；

y_w是注意力层局部注意力训练的一个初始训练参数；

V_e表示经注意力层输出的局部特征向量。

10.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于，融合所述全局特征向量和局部特征向量，输入全连接层；将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果；包括：

构造矩阵V*＝(r_s+r_e)×c作为最终的情感特征向量输入softmax层；

所述softmax层根据公式m＝softmax(w_aV*+b_a)计算得到情感分类结果；

其中，

V_s、V_e分别表示经注意力层输出的全局特征向量和经注意力层输出的局部特征向量；

r_s和r_e分别表示是全局特征向量V_s矩阵和局部特征向量V_e矩阵的行数；

c表示全局特征向量V_s矩阵或局部特征向量V_e矩阵的列数；

w_a和b_a分别表示softmax层的权重矩阵和偏移量；

m表示情感分类结果。

Images