CN113191155B - 基于门控深度记忆网络的电厂运行日志情感分析处理方法 - Google Patents
基于门控深度记忆网络的电厂运行日志情感分析处理方法 Download PDFInfo
- Publication number
- CN113191155B CN113191155B CN202110457564.8A CN202110457564A CN113191155B CN 113191155 B CN113191155 B CN 113191155B CN 202110457564 A CN202110457564 A CN 202110457564A CN 113191155 B CN113191155 B CN 113191155B
- Authority
- CN
- China
- Prior art keywords
- memory
- word
- emotion
- long
- memory unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 title claims abstract description 122
- 230000008451 emotion Effects 0.000 title claims abstract description 53
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 8
- 230000007787 long-term memory Effects 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 20
- 230000014509 gene expression Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了基于门控深度记忆网络的电厂运行日志情感分析处理方法,该方法将门控深度记忆网络分为编码模块、记忆单元更新模块以及输出模块。首先,在编码模块利用GLOVE词嵌入技术计算输入文本的词向量表示,随后利用长短期记忆网络构建输入文本的外部记忆;随后在记忆单元更新模块,利用基于信息交互的注意力机制和长短期门控记忆单元更新网络计算出输入文最终的语义表示;最后将文本的予以表示输入到分类器中,在输出模块利用感知机和softmax函数求得输入文本情感极性。
Description
技术领域
本发明涉及深度学习领域,尤其涉及情感分析领域,具体是指基于门控深度记忆网络的电厂运行日志情感分析处理方法。
背景技术
目前,情感分析已逐渐成为许多商业和社会应用的核心,情感分析是对文本中的观点和情绪进行评估与分类,情感分析属于自然语言处理领域的重要研究分支,是通过机器学习或深度学习等方法对文本所涉及的情感极性做出分类。利用情感分析技术对电厂运行日志进行情感极性推断,以此辅助相关从业人员快速定位问题。然而,由于运行日志的记录往往不够规范且电力行业专业性较强,这使得对电厂运行日志进行情感分析具有一定挑战性。因此,使用机器学习或深度学习构建情感分类模型来提升电厂运行日志情感分类准确性具有重要的意义和较强的利用价值。
发明内容
本发明的目的是提供了基于门控深度记忆网络的电厂运行日志情感分析处理方法,可以快速、高效的对电厂运行日志的记录内容进行情感分类,以此来辅助相关人员进行数据分析工作。
本发明为实现上述目的,通过以下技术方案实现:
基于门控深度记忆网络的电厂运行日志情感分析处理方法,包括以下步骤:
步骤1):获取电厂运行日志并进行情感极性标注,得到标注的文本数据集;
步骤2):利用步骤1)标注的文本数据集,通过GLOVE词嵌入技术将标注的文本数据集的每一个词映射成一个低维连续实数向量,即输入文本的词向量序列;
步骤3):利用步骤2)生成的词向量序列作为输入,通过长短期记忆网络计算词向量序列的隐状态,即该长短期记忆网络在编码模块所构建的外部记忆;
步骤4):利用步骤3)所构建的外部记忆,同时初始化一个记忆单元,将二者作为输入,利用基于信息交互的注意力机制计算出外部记忆与记忆单元的注意力表示;
步骤5):利用步骤4)计算的外部记忆与记忆单元的注意力表示,将其与上一层记忆单元输入到多层长短期记忆网络中,利用长短期记忆网络的门控机制对记忆单元进行更新,直到最后一层计算完毕,此时更新完毕的记忆单元即为输入文本的最终语义表示;
步骤6):利用步骤5)所计算的输入文本的最终语义表示,将其输入到一个由感知机和softmax函数组成的情感分类器中,预测输入文本的情感极性。
步骤2)使用GLOVE词嵌入技术计算输入文本中每一个词的向量表示,由于GLOVE词嵌入方法在获得每一个词全局统计信息的同时也考虑到该词的上下文语境信息,因此,使用GLOVE词嵌入技术能更好的表达词的语义信息。
在步骤3)中,利用长短期记忆网络计算词向量序列的隐状态,即该长短期记忆网络在编码模块所构建的外部记忆,由于长短期记忆网络能够有效控制信息流的通过程度,因此使得所构建的外部记忆中包含更多与情感表达有关的信息;长短期记忆网络数学表达式具体如下:
ft=σ(Wf·[ht-1,gt]+bf)
it=σ(Wi·[ht-1,gt]+bi)
ot=σ(Wo·[ht-1,gt]+bo)
ht=ot⊙tanh(Ct)
其中,σ代表sigmoid函数,⊙代表对应元素相乘,it,ft,ot分别代表输入门、遗忘门、输出门;gt为输入文本的词向量序列;Wf,Wi,Wo,Wg,bi,bf,bo,bg分别是各个门控系统的权重和偏置项;代表当前时刻记忆单元候选状态;Ct代表当前时刻记忆单元最终状态。
步骤4)中,利用基于信息交互的注意力机制计算外部记忆与记忆单元的注意力表示,具体计算过程为:
xj=[hj;hj⊙el-1]
其中,[;]代表向量拼接,el-1为上一层记忆单元;batt,分别为权重和偏置项;hj为文本的外部记忆片段;xj为嵌入记忆单元信息的外部记忆片段;βj为嵌入记忆单元信息的外部记忆片段注意力得分;αj为每一个嵌入记忆单元信息的外部记忆片段注意力权重;ZAL为当前层经过基于信息交互注意力机制求得的注意力表示。
在步骤6)中,情感分类器的表达式如下:
p=Weelast+be
其中,We,be分别为权重矩阵和偏置项,elast为文本的最终语义表示;C为情感类别数;yi表示第i个情感类别的预测概率,取概率最大值作为输入文本的情感极性。
与现有技术相比较,本发明具备如下优点:
1)相较于其它标准的循环神经网络计算句子隐状态即外部记忆,采用长短期记忆网络能更好的抽取输入文本的抽象特征,且能更好的建模输入文本的长距离信息,避免了长距离建模过程中存在的梯度消失或梯度爆炸问题;
2)基于信息交互的注意力机制能更好的将外部记忆信息融合到待更新的记忆单元中,使得记忆单元更新过程中能更有效的关注到与情感表达有关的部分;
3)采用多层长短期记忆网络对记忆单元进行更新,有效利用长短期记忆网络门控系统控制记忆单元更新过程中信息的通过率,从而使得输出的记忆单元中含有更多与情感表达有关的信息,提升记忆单元的更新效率。
附图说明
图1为本发明所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法示意图。
图2为多层长短期记忆网络图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述,以使本领域的技术人员可以更好的理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
如图1所示,本发明基于门控深度记忆网络的电厂运行日志情感分析处理方法,包括如下步骤:
步骤1):获取电厂运行日志作为输入文本,并人工对每条日志进行情感极性标注,情感极性分为:积极、消极、中性;得到标注的文本数据集;
步骤2):词嵌入技术使用GLOVE词向量构建嵌入查找表,通过查找嵌入查找表将步骤1)获取的标注的文本数据集的每一个词映射成一个低维连续实数向量。GLOVE词向量的数学模型如下:
其中,xik表示为词k出现在词i语境中的次数,同理xjk为词k出现在词j语句中的次数;pik表示单词k出现在单词i上下文中的概率;pjk表示单词k出现在单词j上下文中的概率;ratioijk表示相对于词j,词i与词k的相关度;通常,ratioijk的值越接近于1,表示相对于词j,词i与词k的相关性越大。
步骤3):利用步骤2)求得得词向量序列,通过长短期记忆网络计算词向量序列的隐状态,也就是长短期记忆网络在编码模块所构建的外部记忆。利用长短期记忆网络可以更好的建模序列中的长距离信息,并且避免了长距离建模过程中梯度消失或梯度爆炸问题。
步骤4):利用步骤3)所构建的外部记忆,同时初始化一个记忆单元,将二者作为输入,利用基于信息交互的注意力机制计算外部记忆与记忆单元的注意力表示,其数学表达式具体如下:
xj=[hj;hj⊙el-1]
其中,[;]代表向量拼接,el-1为上一层记忆单元;batt,分别为权重和偏置项;hj为文本的外部记忆片段;xj为嵌入记忆单元信息的外部记忆片段;βj为嵌入记忆单元信息的外部记忆片段注意力得分;αj为每一个嵌入记忆单元信息的外部记忆片段注意力权重;ZAL为当前层经过基于信息交互注意力机制求得的注意力表示。由上述公式可以看出,外部记忆的注意力表示在每一个计算层都随着记忆单元的更新而进行更新。由此,可见模型更加关注与情感表达有关的词汇。
步骤5):多层长短期记忆网络如图2所示,其输入分别为步骤4)求得的外部记忆与记忆单元的注意力表示以及上一层记忆单元。多层长短期记忆网络由多个计算层组成,每一个计算层都是利用长短期记忆网络的遗忘门、输入门、输出门对上一层记忆单元进行更新,在最后一个计算层更新完毕后,此时求得的记忆单元el就是输入文本的最终语义表示。长短期记忆网络具体的数学公式如下:
fl=σ(WfZAL+Ufel-1+bf)
il=σ(WiZAL+Uiel-1+bi)
ol=σ(WoZAL+Uoel-1+bo)
ht=ot⊙tanh(Ct)
其中,σ代表sigmoid函数,⊙代表对应元素相乘,it,ft,ot分别代表输入门、遗忘门、输出门;gt为输入文本的词向量序列;Wf,Wi,Wo,Wg,bi,bf,bo,bg分别是各个门控系统的权重和偏置项;代表当前时刻记忆单元候选状态;Ct代表当前时刻记忆单元最终状态;ht代表向量序列的隐状态,即外部记忆。
步骤6):利用步骤5)求得的输入文本的最终语义表示作为情感分类器的输入进行情感分类计算,求得输入文本的情感概率分布。具体来说,输出模块的情感分类器是由感知机和softmax函数组成。在输出模块中,首先通过感知机将记忆单元el投影到目标的向量空间中,然后再使用softmax函数计算情感概率分布。具体的计算过程如下:
p=Weelast+be
其中,We,be分别为权重矩阵和偏置项,elast为文本的最终语义表示;C为情感类别数,yi是表示第i个情感类别的预测概率,本发明取概率最大值作为输入文本的情感类别预测值。
通过本发明方法的实施,可以快速高效的分析电厂运行日志所表达的情感极性,能有效帮助运行人员进行相关工作,同时能够有效分析电厂各器件的运行状况。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换,或者直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (5)
1.基于门控深度记忆网络的电厂运行日志情感分析处理方法,其特征在于,包括以下步骤:
步骤1):获取电厂运行日志并进行情感极性标注,得到标注的文本数据集;
步骤2):利用步骤1)标注的文本数据集,通过GLOVE词嵌入技术将标注的文本数据集的每一个词映射成一个低维连续实数向量,即输入文本的词向量序列;
步骤3):利用步骤2)生成的词向量序列作为输入,通过长短期记忆网络计算词向量序列的隐状态,即该长短期记忆网络在编码模块所构建的外部记忆;
步骤4):利用步骤3)所构建的外部记忆,同时初始化一个记忆单元,将二者作为输入,利用基于信息交互的注意力机制计算出外部记忆与记忆单元的注意力表示;
步骤5):利用步骤4)计算的外部记忆与记忆单元的注意力表示,将其与上一层记忆单元输入到多层长短期记忆网络中,利用长短期记忆网络的门控机制对记忆单元进行更新,直到最后一层计算完毕,此时更新完毕的记忆单元即为输入文本的最终语义表示;
步骤6):利用步骤5)所计算的输入文本的最终语义表示,将其输入到一个由感知机和softmax函数组成的情感分类器中,预测输入文本的情感极性。
2.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法,其特征在于,步骤2)使用GLOVE词嵌入技术计算输入文本中每一个词的向量表示,由于GLOVE词嵌入方法在获得每一个词全局统计信息的同时也考虑到该词的上下文语境信息,因此,使用GLOVE词嵌入技术能更好的表达词的语义信息。
3.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法,其特征在于,在步骤3)中,利用长短期记忆网络计算词向量序列的隐状态,即该长短期记忆网络在编码模块所构建的外部记忆,由于长短期记忆网络能够有效控制信息流的通过程度,因此使得所构建的外部记忆中包含更多与情感表达有关的信息;长短期记忆网络数学表达式具体如下:
ft=σ(Wf·[ht-1,gt]+bf)
it=σ(Wi·[ht-1,gt]+bi)
ot=σ(Wo·[ht-1,gt]+bo)
ht=ot⊙tanh(Ct)
其中,σ代表sigmoid函数,⊙代表对应元素相乘,it,ft,ot分别代表输入门、遗忘门、输出门;gt为输入文本的词向量序列;Wf,Wi,Wo,Wg,bi,bf,bo,bg分别是各个门控系统的权重和偏置项;代表当前时刻记忆单元候选状态;Ct代表当前时刻记忆单元最终状态;ht代表向量序列的隐状态,即外部记忆。
4.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法,其特征在于,步骤4)中,利用基于信息交互的注意力机制计算外部记忆与记忆单元的注意力表示,具体计算过程为:
xj=[hj;hj⊙el-1]
其中,[;]代表向量拼接,el-1为上一层记忆单元;batt,分别为权重和偏置项;hj为文本的外部记忆片段;xj为嵌入记忆单元信息的外部记忆片段;βj为嵌入记忆单元信息的外部记忆片段注意力得分;αj为每一个嵌入记忆单元信息的外部记忆片段注意力权重;ZAL为当前层经过基于信息交互注意力机制求得的注意力表示。
5.根据权利要求1所述的基于门控深度记忆网络的电厂运行日志情感分析处理方法,其特征在于,在步骤6)中,情感分类器的表达式如下:
p=Weelast+be
其中,We,be分别为权重矩阵和偏置项,elast为文本的最终语义表示;C为情感类别数;yi表示第i个情感类别的预测概率,取概率最大值作为输入文本的情感极性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110457564.8A CN113191155B (zh) | 2021-04-27 | 2021-04-27 | 基于门控深度记忆网络的电厂运行日志情感分析处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110457564.8A CN113191155B (zh) | 2021-04-27 | 2021-04-27 | 基于门控深度记忆网络的电厂运行日志情感分析处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191155A CN113191155A (zh) | 2021-07-30 |
CN113191155B true CN113191155B (zh) | 2023-10-31 |
Family
ID=76979207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110457564.8A Active CN113191155B (zh) | 2021-04-27 | 2021-04-27 | 基于门控深度记忆网络的电厂运行日志情感分析处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191155B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106383815A (zh) * | 2016-09-20 | 2017-02-08 | 清华大学 | 结合用户和产品信息的神经网络情感分析方法 |
CN112434161A (zh) * | 2020-11-24 | 2021-03-02 | 哈尔滨工程大学 | 一种采用双向长短期记忆网络的方面级情感分析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
-
2021
- 2021-04-27 CN CN202110457564.8A patent/CN113191155B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106383815A (zh) * | 2016-09-20 | 2017-02-08 | 清华大学 | 结合用户和产品信息的神经网络情感分析方法 |
CN112434161A (zh) * | 2020-11-24 | 2021-03-02 | 哈尔滨工程大学 | 一种采用双向长短期记忆网络的方面级情感分析方法 |
Non-Patent Citations (1)
Title |
---|
基于知识图谱与循环注意力网络的视角级情感分析;邓立明;魏晶晶;吴运兵;余小燕;廖祥文;;模式识别与人工智能(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113191155A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11631007B2 (en) | Method and device for text-enhanced knowledge graph joint representation learning | |
CN112163426B (zh) | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 | |
CN109992780B (zh) | 一种基于深度神经网络特定目标情感分类方法 | |
CN112579778B (zh) | 基于多层次的特征注意力的方面级情感分类方法 | |
CN110472042B (zh) | 一种细粒度情感分类方法 | |
CN107832400A (zh) | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 | |
CN111368086A (zh) | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 | |
CN109726745B (zh) | 一种融入描述知识的基于目标的情感分类方法 | |
CN110929034A (zh) | 一种基于改进lstm的商品评论细粒度情感分类方法 | |
CN112256866B (zh) | 一种基于深度学习的文本细粒度情感分析算法 | |
CN112699222B (zh) | 基于量子启发式神经网络的文本分类方法及邮件分类方法 | |
CN113535904A (zh) | 一种基于图神经网络的方面级情感分析方法 | |
CN113705238B (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及系统 | |
CN111368082A (zh) | 一种基于层次网络的领域自适应词嵌入的情感分析方法 | |
CN108875024B (zh) | 文本分类方法、系统、可读存储介质及电子设备 | |
CN115374789A (zh) | 基于预训练模型bert的多粒度融合方面级情感分析方法 | |
CN114970497B (zh) | 基于预训练特征嵌入的文本分类方法及词义消歧方法 | |
CN113191155B (zh) | 基于门控深度记忆网络的电厂运行日志情感分析处理方法 | |
CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 | |
Zhang et al. | Hierarchical attention networks for grid text classification | |
Wang et al. | Sentiment analysis based on attention mechanisms and bi-directional LSTM fusion model | |
CN113505226A (zh) | 融合图卷积神经网络的文本情感分类系统 | |
Jiang et al. | Sentiment classification based on clause polarity and fusion via convolutional neural network | |
Toktarova et al. | Offensive Language Identification in Low Resource Languages using Bidirectional Long-Short-Term Memory Network | |
Long et al. | MCP-LSTM network for sentence-level sentiment classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |