CN113191155A - 基于门控深度记忆网络的电厂运行日志情感分析处理方法 - Google Patents

Abstract

本发明公开了基于门控深度记忆网络的电厂运行日志情感分析处理方法，该方法将门控深度记忆网络分为编码模块、记忆单元更新模块以及输出模块。首先，在编码模块利用GLOVE词嵌入技术计算输入文本的词向量表示，随后利用长短期记忆网络构建输入文本的外部记忆；随后在记忆单元更新模块，利用基于信息交互的注意力机制和长短期门控记忆单元更新网络计算出输入文最终的语义表示；最后将文本的予以表示输入到分类器中，在输出模块利用感知机和softmax函数求得输入文本情感极性。

Description

基于门控深度记忆网络的电厂运行日志情感分析处理方法

技术领域

本发明涉及深度学习领域，尤其涉及情感分析领域，具体是指基于门控深度记忆网络的电厂运行日志情感分析处理方法。

背景技术

目前，情感分析已逐渐成为许多商业和社会应用的核心，情感分析是对文本中的观点和情绪进行评估与分类，情感分析属于自然语言处理领域的重要研究分支，是通过机器学习或深度学习等方法对文本所涉及的情感极性做出分类。利用情感分析技术对电厂运行日志进行情感极性推断，以此辅助相关从业人员快速定位问题。然而，由于运行日志的记录往往不够规范且电力行业专业性较强，这使得对电厂运行日志进行情感分析具有一定挑战性。因此，使用机器学习或深度学习构建情感分类模型来提升电厂运行日志情感分类准确性具有重要的意义和较强的利用价值。

发明内容

本发明的目的是提供了基于门控深度记忆网络的电厂运行日志情感分析处理方法，可以快速、高效的对电厂运行日志的记录内容进行情感分类，以此来辅助相关人员进行数据分析工作。

本发明为实现上述目的，通过以下技术方案实现：

基于门控深度记忆网络的电厂运行日志情感分析处理方法，包括以下步骤：

步骤1)：获取电厂运行日志并进行情感极性标注，得到标注的文本数据集；

步骤2)：利用步骤1)标注的文本数据集，通过GLOVE词嵌入技术将标注的文本数据集的每一个词映射成一个低维连续实数向量，即输入文本的词向量序列；

步骤3)：利用步骤2)生成的词向量序列作为输入，通过长短期记忆网络计算词向量序列的隐状态，即该长短期记忆网络在编码模块所构建的外部记忆；

步骤4)：利用步骤3)所构建的外部记忆，同时初始化一个记忆单元，将二者作为输入，利用基于信息交互的注意力机制计算出外部记忆与记忆单元的注意力表示；

步骤5)：利用步骤4)计算的外部记忆与记忆单元的注意力表示，将其与上一层记忆单元输入到多层长短期记忆网络中，利用长短期记忆网络的门控机制对记忆单元进行更新，直到最后一层计算完毕，此时更新完毕的记忆单元即为输入文本的最终语义表示；

步骤6)：利用步骤5)所计算的输入文本的最终语义表示，将其输入到一个由感知机和softmax函数组成的情感分类器中，预测输入文本的情感极性。

步骤2)使用GLOVE词嵌入技术计算输入文本中每一个词的向量表示，由于GLOVE词嵌入方法在获得每一个词全局统计信息的同时也考虑到该词的上下文语境信息，因此，使用GLOVE词嵌入技术能更好的表达词的语义信息。

在步骤3)中，利用长短期记忆网络计算词向量序列的隐状态，即该长短期记忆网络在编码模块所构建的外部记忆，由于长短期记忆网络能够有效控制信息流的通过程度，因此使得所构建的外部记忆中包含更多与情感表达有关的信息；长短期记忆网络数学表达式具体如下：

f_t＝σ(W_f·[h_t-1,g_t]+b_f)

i_t＝σ(W_i·[h_t-1,g_t]+b_i)

o_t＝σ(W_o·[h_t-1,g_t]+b_o)

h_t＝o_t⊙tanh(C_t)

其中，σ代表sigmoid函数，⊙代表对应元素相乘，i_t，f_t，o_t分别代表输入门、遗忘门、输出门；g_t为输入文本的词向量序列；W_f,W_i,W_o,W_g,b_i,b_f,b_o,b_g分别是各个门控系统的权重和偏置项；

代表当前时刻记忆单元候选状态；C_t代表当前时刻记忆单元最终状态。

步骤4)中，利用基于信息交互的注意力机制计算外部记忆与记忆单元的注意力表示，具体计算过程为：

x_j＝[h_j；h_j⊙e_l-1]

其中，[；]代表向量拼接，e_l-1为上一层记忆单元；

batt，分别为权重和偏置项；h_j为文本的外部记忆片段；x_j为嵌入记忆单元信息的外部记忆片段；β_j为嵌入记忆单元信息的外部记忆片段注意力得分；α_j为每一个嵌入记忆单元信息的外部记忆片段注意力权重；Z_AL为当前层经过基于信息交互注意力机制求得的注意力表示。

在步骤6)中，情感分类器的表达式如下：

p＝W_ee_last+b_e

其中，W_e，b_e分别为权重矩阵和偏置项，e_last为文本的最终语义表示；C为情感类别数；y_i表示第i个情感类别的预测概率，取概率最大值作为输入文本的情感极性。

与现有技术相比较，本发明具备如下优点：

1)相较于其它标准的循环神经网络计算句子隐状态即外部记忆，采用长短期记忆网络能更好的抽取输入文本的抽象特征，且能更好的建模输入文本的长距离信息，避免了长距离建模过程中存在的梯度消失或梯度爆炸问题；

2)基于信息交互的注意力机制能更好的将外部记忆信息融合到待更新的记忆单元中，使得记忆单元更新过程中能更有效的关注到与情感表达有关的部分；

3)采用多层长短期记忆网络对记忆单元进行更新，有效利用长短期记忆网络门控系统控制记忆单元更新过程中信息的通过率，从而使得输出的记忆单元中含有更多与情感表达有关的信息，提升记忆单元的更新效率。

附图说明

图1为本发明所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法示意图。

图2为多层长短期记忆网络图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本发明基于门控深度记忆网络的电厂运行日志情感分析处理方法，包括如下步骤：

步骤1)：获取电厂运行日志作为输入文本，并人工对每条日志进行情感极性标注，情感极性分为：积极、消极、中性；得到标注的文本数据集；

步骤2)：词嵌入技术使用GLOVE词向量构建嵌入查找表，通过查找嵌入查找表将步骤1)获取的标注的文本数据集的每一个词映射成一个低维连续实数向量。GLOVE词向量的数学模型如下：

其中，x_ik表示为词k出现在词i语境中的次数，同理x_jk为词k出现在词j语句中的次数；p_ik表示单词k出现在单词i上下文中的概率；p_jk表示单词k出现在单词j上下文中的概率；ratio_ijk表示相对于词j,词i与词k的相关度；通常，ratio_ijk的值越接近于1，表示相对于词j，词i与词k的相关性越大。

步骤3)：利用步骤2)求得得词向量序列，通过长短期记忆网络计算词向量序列的隐状态，也就是长短期记忆网络在编码模块所构建的外部记忆。利用长短期记忆网络可以更好的建模序列中的长距离信息，并且避免了长距离建模过程中梯度消失或梯度爆炸问题。

步骤4)：利用步骤3)所构建的外部记忆，同时初始化一个记忆单元，将二者作为输入，利用基于信息交互的注意力机制计算外部记忆与记忆单元的注意力表示，其数学表达式具体如下：

x_j＝[h_j；h_j⊙e_l-1]

其中，[；]代表向量拼接，el-1为上一层记忆单元；

batt，分别为权重和偏置项；h_j为文本的外部记忆片段；x_j为嵌入记忆单元信息的外部记忆片段；β_j为嵌入记忆单元信息的外部记忆片段注意力得分；α_j为每一个嵌入记忆单元信息的外部记忆片段注意力权重；Z_AL为当前层经过基于信息交互注意力机制求得的注意力表示。由上述公式可以看出，外部记忆的注意力表示在每一个计算层都随着记忆单元的更新而进行更新。由此，可见模型更加关注与情感表达有关的词汇。

步骤5)：多层长短期记忆网络如图2所示，其输入分别为步骤4)求得的外部记忆与记忆单元的注意力表示以及上一层记忆单元。多层长短期记忆网络由多个计算层组成，每一个计算层都是利用长短期记忆网络的遗忘门、输入门、输出门对上一层记忆单元进行更新，在最后一个计算层更新完毕后，此时求得的记忆单元e_l就是输入文本的最终语义表示。长短期记忆网络具体的数学公式如下：

f_l＝σ(W_fZ_AL+U_fe_l-1+b_f)

i_l＝σ(W_iZ_AL+U_ie_l-1+b_i)

o_l＝σ(W_oZ_AL+U_oe_l-1+b_o)

h_t＝o_t⊙tanh(C_t)

其中，σ代表sigmoid函数，⊙代表对应元素相乘，i_t，f_t，o_t分别代表输入门、遗忘门、输出门；g_t为输入文本的词向量序列；W_f,W_i,W_o,W_g,b_i,b_f,b_o,b_g分别是各个门控系统的权重和偏置项；

代表当前时刻记忆单元候选状态；C_t代表当前时刻记忆单元最终状态；h_t代表向量序列的隐状态，即外部记忆。

步骤6)：利用步骤5)求得的输入文本的最终语义表示作为情感分类器的输入进行情感分类计算，求得输入文本的情感概率分布。具体来说，输出模块的情感分类器是由感知机和softmax函数组成。在输出模块中，首先通过感知机将记忆单元e_l投影到目标的向量空间中，然后再使用softmax函数计算情感概率分布。具体的计算过程如下：

p＝W_ee_last+b_e

其中，W_e，b_e分别为权重矩阵和偏置项，e_last为文本的最终语义表示；C为情感类别数，y_i是表示第i个情感类别的预测概率，本发明取概率最大值作为输入文本的情感类别预测值。

通过本发明方法的实施，可以快速高效的分析电厂运行日志所表达的情感极性，能有效帮助运行人员进行相关工作，同时能够有效分析电厂各器件的运行状况。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.基于门控深度记忆网络的电厂运行日志情感分析处理方法，其特征在于，包括以下步骤：

步骤1)：获取电厂运行日志并进行情感极性标注，得到标注的文本数据集；

步骤2)：利用步骤1)标注的文本数据集，通过GLOVE词嵌入技术将标注的文本数据集的每一个词映射成一个低维连续实数向量，即输入文本的词向量序列；

步骤3)：利用步骤2)生成的词向量序列作为输入，通过长短期记忆网络计算词向量序列的隐状态，即该长短期记忆网络在编码模块所构建的外部记忆；

步骤4)：利用步骤3)所构建的外部记忆，同时初始化一个记忆单元，将二者作为输入，利用基于信息交互的注意力机制计算出外部记忆与记忆单元的注意力表示；

步骤5)：利用步骤4)计算的外部记忆与记忆单元的注意力表示，将其与上一层记忆单元输入到多层长短期记忆网络中，利用长短期记忆网络的门控机制对记忆单元进行更新，直到最后一层计算完毕，此时更新完毕的记忆单元即为输入文本的最终语义表示；

步骤6)：利用步骤5)所计算的输入文本的最终语义表示，将其输入到一个由感知机和softmax函数组成的情感分类器中，预测输入文本的情感极性。

2.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法，其特征在于，步骤2)使用GLOVE词嵌入技术计算输入文本中每一个词的向量表示，由于GLOVE词嵌入方法在获得每一个词全局统计信息的同时也考虑到该词的上下文语境信息，因此，使用GLOVE词嵌入技术能更好的表达词的语义信息。

3.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法，其特征在于，在步骤3)中，利用长短期记忆网络计算词向量序列的隐状态，即该长短期记忆网络在编码模块所构建的外部记忆，由于长短期记忆网络能够有效控制信息流的通过程度，因此使得所构建的外部记忆中包含更多与情感表达有关的信息；长短期记忆网络数学表达式具体如下：

f_t＝σ(W_f·[h_t-1,g_t]+b_f)

i_t＝σ(W_i·[h_t-1,g_t]+b_i)

o_t＝σ(W_o·[h_t-1,g_t]+b_o)

h_t＝o_t⊙tanh(C_t)

其中，σ代表sigmoid函数，⊙代表对应元素相乘，i_t，f_t，o_t分别代表输入门、遗忘门、输出门；g_t为输入文本的词向量序列；W_f,W_i,W_o,W_g,b_i,b_f,b_o,b_g分别是各个门控系统的权重和偏置项；

代表当前时刻记忆单元候选状态；C_t代表当前时刻记忆单元最终状态；h_t代表向量序列的隐状态，即外部记忆。

4.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法，其特征在于，步骤4)中，利用基于信息交互的注意力机制计算外部记忆与记忆单元的注意力表示，具体计算过程为：

x_j＝[h_j；h_j⊙e_l-1]

其中，[；]代表向量拼接，e_l-1为上一层记忆单元；

b_att，分别为权重和偏置项；h_j为文本的外部记忆片段；x_j为嵌入记忆单元信息的外部记忆片段；β_j为嵌入记忆单元信息的外部记忆片段注意力得分；α_j为每一个嵌入记忆单元信息的外部记忆片段注意力权重；Z_AL为当前层经过基于信息交互注意力机制求得的注意力表示。

5.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法，其特征在于，在步骤6)中，情感分类器的表达式如下：

p＝W_ee_last+b_e

其中，W_e，b_e分别为权重矩阵和偏置项，e_last为文本的最终语义表示；C为情感类别数；y_i表示第i个情感类别的预测概率，取概率最大值作为输入文本的情感极性。

Images