CN111368086A - 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 - Google Patents
一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 Download PDFInfo
- Publication number
- CN111368086A CN111368086A CN202010184896.9A CN202010184896A CN111368086A CN 111368086 A CN111368086 A CN 111368086A CN 202010184896 A CN202010184896 A CN 202010184896A CN 111368086 A CN111368086 A CN 111368086A
- Authority
- CN
- China
- Prior art keywords
- layer
- bilstm
- convolution
- output
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 63
- 230000008451 emotion Effects 0.000 claims abstract description 33
- 238000011176 pooling Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000007774 longterm Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 208000025174 PANDAS Diseases 0.000 claims description 3
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 claims description 3
- 235000016496 Panda oleosa Nutrition 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 235000019580 granularity Nutrition 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 240000000220 Panda oleosa Species 0.000 claims 1
- 238000003058 natural language processing Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 240000004718 Panda Species 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于CNN‑BiLSTM+attention模型的涉案新闻观点句情感分类方法，所述模型包括：词嵌入层、卷积层、池化层、BiLSTM层、Attention注意力层、Softmax分类层；所述方法包括以下步骤：步骤1：对案件相关新闻的观点句进行预处理，然后将所有词通过词嵌入层编码为词向量；步骤2：将步骤1得到的词向量输入到卷积层，进行卷积操作；步骤3：将卷积后得到的特征向量输入到池化层进行最大池化操作；步骤4：将最大池化后得到的特征向量输入到BiLSTM层；步骤5：将BiLSTM层得到的每个隐藏状态向量进行Attention操作；步骤6：将Attention操作得到的输出通过softmax分类层进行分类，得到目标情感类别概率。本发明可以有效的解决复杂的特征工程和多余手工工作，可以在很大程度上减少工作量和复杂度。
Description
技术领域
本发明涉及自然语言处理和深度学习技术领域，特别涉及一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法。
背景技术
涉案新闻观点句的情感分类任务可以看作是句子级的情感分类，而情感分类的方法在以前主要有基于词典和基于机器学习。基于词典的方法一般有个情感词典，将词典中有情感倾向的词通过与句子中的词进行匹配，然后设计规则对整个句子进行情感倾向分析；基于机器学习的方法通常使用分类模型对句子进行情感分类，先从数据集中抽取文本特征，再通过这些特征和标注信息训练一个机器学习分类器，最后将训练好的分类器对句子的情感倾向进行判断。随着深度学习的发展，越来越多的人用神经网络模型去解决问题。
深度学习现在越来越多的应用到自然语言处理NLP任务中，并且取得很好的效果；基于神经网络进行涉案新闻观点句的情感分类时，不用人工做大量的特征提取，也不用加入额外的特征，神经网络可以自动化的提取重要特征；在情感分类方面的研究可以分为，一、基于单模型+特征，比如基于卷积神经网络来对评论进行情感倾向性分析,基于递归神经网络的,基于长短期记忆网络；二、现在的研究很多是基于混合模型+特征，比如将CNN和LSMT结合，即C-LSTM模型，基于双通道长短期记忆网络、卷进神经网络和依存树的BiLSTM+CNN+SPTree。
发明内容
本发明的目的是提供一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，以解决基于规则和统计机器学习方法复杂的特征工程和人工工程的问题。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于：
所述CNN-BiLSTM+attention模型包括：词嵌入层、卷积层、池化层、BiLSTM层、Attention注意力层、Softmax分类层；
所述词嵌入层是用来将句子的词转成低维词向量，所述卷积层是用来自动化抽取词特征，所述池化层是用来降低特征向量维度，所述BiLSTM层是用来记忆长时依赖的序列化信息，所述Attention注意力层是用来权重矩阵强化重要的信息，所述Softmax分类层是用来分类得到概率最大的情感类别；
所述方法包括以下步骤：
步骤1：对案件相关新闻的观点句进行预处理，然后将所有词通过词嵌入层编码为词向量；
步骤2：将步骤1得到的词向量输入到卷积层，进行卷积操作，通过不同大小的卷积核来提取多种粒度的特征；
步骤3：将卷积后得到的特征向量输入到池化层进行最大池化操作，即进行特征向量降维，提取重要的特征；
步骤4：将最大池化后得到的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取句子中的语义信息；
步骤5：将BiLSTM层得到的每个隐藏状态向量进行Attention操作，“去伪存真”，专注于找到输入数据中显著的与当前输出相关的有用信息；
步骤6：将Attention操作得到的输出通过softmax分类层进行分类，得到目标情感类别概率，即观点句是积极情感或消极情感的概率。
其中，词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称，具体地，词嵌入工具可以使用bert模型，bert是由Google提出来的一种预训练模型，能够用于自然领域内的多种任务：文本分类、生成摘要、机器翻译等，同时也能用来生成词向量；bert模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏向量。
具体地，步骤3所述池化操作分为最大池化maxpooling和平均池化averagepooling，本发明选择的是maxpooing；其中，池化公式：mpi＝max(si)，对于卷积后的特征，选取最大的特征作为池化输出。
进一步地，步骤1中所述预处理是指：将构建好的涉案新闻观点句数据集后通过jieba进行分词，通过numpy、pandas等工具去除无用符号、更改数据格式；通过谷歌提供的bert预训练模型得到每个词的词向量，建立词向量映射表。
进一步地，步骤2中，卷积层对词向量进行卷积，抽取高维特征，通过多个卷积核来抽取特征；所述卷积核为：f＝[f1+f2…fn],则在卷积之后的特征为s＝[s1+s2+…sl]；其中，
si＝g(∑fT k+1xT k+1+b)
g表示非线性激活函数，b是表示偏置项，使用不同的卷积核可以抽取到不同的特征。
进一步地，步骤3中所述最大池化操作就是将通过卷积得到的高维特征向量进行降维，提取重要特征。
进一步地，步骤4中所述BiLSTM层采用双向LSTM网络，对每个时间节点的隐藏状态输出作为注意力机制层的输入；
将池化后的特征经过一个非线性激活函数处理，将其处理后的特征表示为p＝[p1,p2…,pj]，其中，j为卷积核的数量；
接下来，将p送入序列BiLSTM层，学习句子的长期依赖性，保留重要历史特征信息；BiLSTM由两个方向的LSTM组成，其中LSTM由三个门控单元和记忆单元组成，门可以实现选择性地让信息通过，主要是通过一个sigmoid的神经层和一个逐点相乘的操作来实现的；sigmoid层输出(是一个向量)的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重(或者占比)。比如，0表示“不让任何信息通过”1表示“让所有信息通过”；这三个门分别输入门、遗忘门和输出门。
其中，LSTM是为了解决长期以来问题而专门设计出来的，其关键在于LSTM细胞的状态，和穿过细胞的那条水平线，细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互，信息在上面流传保持不变会很容易；
若只有所述水平线是没办法实现添加或者删除信息的，而是通过一种叫做门(gates)的结构来实现的，门可以实现选择性地让信息通过，主要是通过一个sigmoid的神经层和一个逐点相乘的操作来实现的；遗忘门，在LSTM中的第一步是决定从细胞状态中丢弃什么信息；这个决定通过一个称为忘记门层完成，其中ht-1表示的是上一个cell的输出，xt表示的是当前细胞的输入，σ表示sigm od函数,公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
输入门，下一步是决定让多少新的信息加入到cell状态中来，实现这个需要包括两个步骤：首先，一个叫做“input gate layer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容，
在下一步，我们把这两部分联合起来，对cell的状态进行一个更新，公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
现在是更新旧细胞状态的时间了,Ct-1更新为Ct，公式如下：
输出门，最终，确定输出什么值，这个输出将会基于细胞状态，但是也是一个过滤后的版本；首先，运行一个sigmoid层来确定细胞状态的哪个部分将输出出去；接着，把细胞状态通过tanh进行处理(得到一个在-1到1之间的值)并将它和sigmoid门的输出相乘，最终仅仅会输出确定输出的那部分，公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)。
进一步地，步骤5的具体步骤包括：注意力机制减小处理高维输入数据的计算负担，通过结构化的选取输入的子集，降低数据维度；“去伪存真”，让任务处理系统更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量；
矩阵H是由BiLSTM层输出的向量[h1,h2....ht]组成：
M＝tanh(H)
α＝softmax(wTM)
r＝HαT。
进一步地，步骤6中所述Softmax分类层最后求的是概率值；
具体地，假设有一个数组v，vi表示V中的第i个元素，那么这个元素的Softmax值就是：
也就是说，是该元素的指数，与所有元素指数和的比值。
本发明具有以下有益效果：
其一、本发明采用了基于神经网络的系统，可以有效的解决复杂的特征工程和多余手工工作，可以在很大程度上减少工作量和复杂度；而且本发明还采用了混合模型和注意力机制来捕获句子最重要的语义信息，这个系统不会采用任何来源于词典资源或者NLP系统的特征；注意力机制可以在不用额外的知识库和NLP工具，自动地关注可以用来分类的词语，捕获重要的语义信息。
其二、本发明的CNN可以自动地抽取特征，BiLSTM可以考虑句中长时依赖关系；最后本发明在混合模型中加入了Attenion机制，突出重要特征，提高了分类效果。
附图说明
图1是本发明的方法流程图；
图2是本发明的CNN-BiLSTM+attention模型的示意图。
具体实施方式
下面将结合附图对本发明进行说明。
实施例：如图1-图2所示，一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法；
所述CNN-BiLSTM+attention模型包括：词嵌入层、卷积层、池化层、BiLSTM层、Attention注意力层、Softmax分类层；
所述词嵌入层是用来将句子的词转成低维词向量，所述卷积层是用来自动化抽取词特征，所述池化层是用来降低特征向量维度，所述BiLSTM层是用来记忆长时依赖的序列化信息，所述Attention注意力层是用来权重矩阵强化重要的信息，所述Softmax分类层是用来分类得到概率最大的情感类别；
所述方法包括以下步骤：
步骤1：对案件相关新闻的观点句进行预处理，然后将所有词通过词嵌入层编码为词向量；
假设一个句子S包含n个词，可以表示为，其中表示第i个词，n为最初设置好的句子截取长度；每个词通过查找词向量表D，得到对应的词向量表示，即D[]＝；本实施例中使用开源词向量工具(谷歌bert),而且使用的是谷歌预训练好的bert模型；
步骤2：将步骤1得到的词向量输入到卷积层，进行卷积操作，通过不同大小的卷积核来提取多种粒度的特征；
步骤3：将卷积后得到的特征向量输入到池化层进行最大池化操作，即进行特征向量降维，提取重要的特征；
步骤4：将最大池化后得到的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取句子中的语义信息；
步骤5：将BiLSTM层得到的每个隐藏状态向量进行Attention操作，“去伪存真”，专注于找到输入数据中显著的与当前输出相关的有用信息；
步骤6：将Attention操作得到的输出通过softmax分类层进行分类，得到目标情感类别概率，即观点句是积极情感或消极情感的概率。
其中，词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称，具体地，词嵌入工具可以使用bert模型，bert是由Google提出来的一种预训练模型，能够用于自然领域内的多种任务：文本分类、生成摘要、机器翻译等，同时也能用来生成词向量；bert模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏向量。
具体地，步骤3所述池化操作分为最大池化maxpooling和平均池化averagepooling，本发明选择的是maxpooing；其中，池化公式：mpi＝max(si)，对于卷积后的特征，选取最大的特征作为池化输出。
进一步地，步骤1中所述预处理是指：将构建好的涉案新闻观点句数据集后通过jieba进行分词，通过numpy、pandas等工具去除无用符号、更改数据格式；通过谷歌提供的bert预训练模型得到每个词的词向量，建立词向量映射表。
进一步地，步骤2中，卷积层对词向量进行卷积，抽取高维特征，通过多个卷积核来抽取特征；所述卷积核为：f＝[f1+f2…fn],则在卷积之后的特征为s＝[s1+s2+…sl]；其中，
si＝g(∑fT k+1xT k+1+b)
g表示非线性激活函数，b是表示偏置项，使用不同的卷积核可以抽取到不同的特征。
进一步地，步骤3中所述最大池化操作就是将通过卷积得到的高维特征向量进行降维，提取重要特征。
进一步地，步骤4中所述BiLSTM层采用双向LSTM网络，对每个时间节点的隐藏状态输出作为注意力机制层的输入；
将池化后的特征经过一个非线性激活函数处理，将其处理后的特征表示为p＝[p1,p2…,pj]，其中，j为卷积核的数量；
接下来，将p送入序列BiLSTM层，学习句子的长期依赖性，保留重要历史特征信息；BiLSTM由两个方向的LSTM组成，其中LSTM由三个门控单元和记忆单元组成，门可以实现选择性地让信息通过，主要是通过一个sigmoid的神经层和一个逐点相乘的操作来实现的；sigmoid层输出(是一个向量)的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重(或者占比)。比如，0表示“不让任何信息通过”1表示“让所有信息通过”；这三个门分别输入门、遗忘门和输出门；LSTM执行操作的公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
gt＝tanh(Wg·xt+Ug·ht-1+bg)
ht＝ot*tanh(Ct)
最后得到向量：[h1,h2....ht]。
其中，LSTM是为了解决长期以来问题而专门设计出来的，其关键在于LSTM细胞的状态，和穿过细胞的那条水平线，细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互，信息在上面流传保持不变会很容易；
若只有所述水平线是没办法实现添加或者删除信息的，而是通过一种叫做门(gates)的结构来实现的，门可以实现选择性地让信息通过，主要是通过一个sigmoid的神经层和一个逐点相乘的操作来实现的；遗忘门，在LSTM中的第一步是决定从细胞状态中丢弃什么信息；这个决定通过一个称为忘记门层完成，其中ht-1表示的是上一个cell的输出，xt表示的是当前细胞的输入，σ表示sigm od函数,公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
输入门，下一步是决定让多少新的信息加入到cell状态中来，实现这个需要包括两个步骤：首先，一个叫做“input gate layer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容，
在下一步，我们把这两部分联合起来，对cell的状态进行一个更新，公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
现在是更新旧细胞状态的时间了,Ct-1更新为Ct，公式如下：
输出门，最终，确定输出什么值，这个输出将会基于细胞状态，但是也是一个过滤后的版本；首先，运行一个sigmoid层来确定细胞状态的哪个部分将输出出去；接着，把细胞状态通过tanh进行处理(得到一个在-1到1之间的值)并将它和sigmoid门的输出相乘，最终仅仅会输出确定输出的那部分，公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)。
进一步地，步骤5的具体步骤包括：注意力机制减小处理高维输入数据的计算负担，通过结构化的选取输入的子集，降低数据维度；“去伪存真”，让任务处理系统更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量；
矩阵H是由BiLSTM层输出的向量[h1,h2....ht]组成：
M＝tanh(H)
α＝softmax(wTM)
r＝HαT。
进一步地，步骤6中所述Softmax分类层最后求的是概率值；将Attention层的输出r经过一个非线性激活函数得到向量V，然后将V送入Softmax分类层，得到目标分类输出；
假设有一个数组v，vi表示V中的第i个元素，那么这个元素的Softmax值就是：
最后得到概率值最高的那一类情感。
上述实施例仅仅只是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (7)
1.一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于：
所述CNN-BiLSTM+attention模型包括：词嵌入层、卷积层、池化层、BiLSTM层、Attention注意力层、Softmax分类层；
所述词嵌入层是用来将句子的词转成低维词向量，所述卷积层是用来自动化抽取词特征，所述池化层是用来降低特征向量维度，所述BiLSTM层是用来记忆长时依赖的序列化信息，所述Attention注意力层是用来权重矩阵强化重要的信息，所述Softmax分类层是用来分类得到概率最大的情感类别；
所述方法包括以下步骤：
步骤1：对案件相关新闻的观点句进行预处理，然后将所有词通过词嵌入层编码为词向量；
步骤2：将步骤1得到的词向量输入到卷积层，进行卷积操作，通过不同大小的卷积核来提取多种粒度的特征；
步骤3：将卷积后得到的特征向量输入到池化层进行最大池化操作，即进行特征向量降维，提取重要的特征；
步骤4：将最大池化后得到的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取句子中的语义信息；
步骤5：将BiLSTM层得到的每个隐藏状态向量进行Attention操作，“去伪存真”，专注于找到输入数据中显著的与当前输出相关的有用信息；
步骤6：将Attention操作得到的输出通过softmax分类层进行分类，得到目标情感类别概率，即观点句是积极情感或消极情感的概率。
2.根据权利要求1所述的基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于：步骤1中所述预处理是指：将构建好的涉案新闻观点句数据集后通过jieba进行分词，通过numpy、pandas等工具去除无用符号、更改数据格式；通过谷歌提供的bert预训练模型得到每个词的词向量，建立词向量映射表。
3.根据权利要求1所述的基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于：步骤2中，卷积层对词向量进行卷积，抽取高维特征，通过多个卷积核来抽取特征；所述卷积核为：f＝[f1+f2…fn],则在卷积之后的特征为s＝[s1+s2+…sl]；其中，
si＝g(∑fT k+1xT k+1+b)
g表示非线性激活函数，b是表示偏置项，使用不同的卷积核可以抽取到不同的特征。
4.根据权利要求1所述的基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于：步骤3中所述最大池化操作就是将通过卷积得到的高维特征向量进行降维，提取重要特征。
5.根据权利要求1所述的基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于：步骤4中所述BiLSTM层采用双向LSTM网络，对每个时间节点的隐藏状态输出作为注意力机制层的输入；
其中，LSTM是为了解决长期以来问题而专门设计出来的，其关键在于LSTM细胞的状态，和穿过细胞的那条水平线，细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互，信息在上面流传保持不变会很容易；
若只有所述水平线是没办法实现添加或者删除信息的，而是通过一种叫做门(gates)的结构来实现的，门可以实现选择性地让信息通过，主要是通过一个sigmoid的神经层和一个逐点相乘的操作来实现的；遗忘门，在LSTM中的第一步是决定从细胞状态中丢弃什么信息；这个决定通过一个称为忘记门层完成，其中ht-1表示的是上一个cell的输出，xt表示的是当前细胞的输入，σ表示sigmod函数,公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
输入门，下一步是决定让多少新的信息加入到cell状态中来，实现这个需要包括两个步骤：首先，一个叫做“input gate layer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容，
在下一步，我们把这两部分联合起来，对cell的状态进行一个更新，公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
现在是更新旧细胞状态的时间了,Ct-1更新为Ct，公式如下：
输出门，最终，确定输出什么值，这个输出将会基于细胞状态，但是也是一个过滤后的版本；首先，运行一个sigmoid层来确定细胞状态的哪个部分将输出出去；接着，把细胞状态通过tanh进行处理(得到一个在-1到1之间的值)并将它和sigmoid门的输出相乘，最终仅仅会输出确定输出的那部分，公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)。
6.根据权利要求1所述的基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于，步骤5的具体步骤包括：注意力机制减小处理高维输入数据的计算负担，通过结构化的选取输入的子集，降低数据维度；“去伪存真”，让任务处理系统更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量；
矩阵H是由BiLSTM层输出的向量[h1,h2....ht]组成：
M＝tanh(H)
α＝softmax(wTM)
r＝HαT。
7.根据权利要求1所述的基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法，其特征在于，步骤6中所述Softmax分类层最后求的是概率值；
具体地，假设有一个数组v，vi表示V中的第i个元素，那么这个元素的Softmax值就是：
也就是说，是该元素的指数，与所有元素指数和的比值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010184896.9A CN111368086A (zh) | 2020-03-17 | 2020-03-17 | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010184896.9A CN111368086A (zh) | 2020-03-17 | 2020-03-17 | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111368086A true CN111368086A (zh) | 2020-07-03 |
Family
ID=71206779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010184896.9A Pending CN111368086A (zh) | 2020-03-17 | 2020-03-17 | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111368086A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651607A (zh) * | 2020-07-13 | 2020-09-11 | 深圳市智搜信息技术有限公司 | 资讯正负面情感分析方法与装置和计算机设备及存储介质 |
| CN111814453A (zh) * | 2020-07-09 | 2020-10-23 | 重庆大学 | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
| CN111858935A (zh) * | 2020-07-13 | 2020-10-30 | 北京航空航天大学 | 一种航班点评的细粒度情感分类系统 |
| CN112347248A (zh) * | 2020-10-30 | 2021-02-09 | 山东师范大学 | 一种方面级文本情感分类方法及系统 |
| CN112364652A (zh) * | 2020-10-27 | 2021-02-12 | 齐鲁工业大学 | 基于多通道卷积的文本实体关系抽取方法及系统 |
| CN112507723A (zh) * | 2020-12-03 | 2021-03-16 | 南京理工大学 | 基于多模型融合的新闻情感分析方法 |
| CN112541083A (zh) * | 2020-12-23 | 2021-03-23 | 西安交通大学 | 一种基于主动学习混合神经网络的文本分类方法 |
| CN112559730A (zh) * | 2020-12-08 | 2021-03-26 | 北京京航计算通讯研究所 | 基于全局性特征提取的文本摘要自动生成方法及系统 |
| CN112765959A (zh) * | 2020-12-31 | 2021-05-07 | 康佳集团股份有限公司 | 意图识别方法、装置、设备及计算机可读存储介质 |
| CN112818124A (zh) * | 2021-02-21 | 2021-05-18 | 昆明理工大学 | 一种基于注意力神经网络的实体关系抽取方法 |
| CN113220876A (zh) * | 2021-04-16 | 2021-08-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
| CN113361252A (zh) * | 2021-05-27 | 2021-09-07 | 山东师范大学 | 基于多模态特征和情感词典的文本抑郁倾向检测系统 |
| CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
| CN114445634A (zh) * | 2022-02-28 | 2022-05-06 | 南京信息工程大学 | 一种基于深度学习模型的海浪波高预测方法及系统 |
-
2020
- 2020-03-17 CN CN202010184896.9A patent/CN111368086A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814453A (zh) * | 2020-07-09 | 2020-10-23 | 重庆大学 | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
| CN111814453B (zh) * | 2020-07-09 | 2023-08-08 | 重庆大学 | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
| CN111858935A (zh) * | 2020-07-13 | 2020-10-30 | 北京航空航天大学 | 一种航班点评的细粒度情感分类系统 |
| CN111651607A (zh) * | 2020-07-13 | 2020-09-11 | 深圳市智搜信息技术有限公司 | 资讯正负面情感分析方法与装置和计算机设备及存储介质 |
| CN112364652A (zh) * | 2020-10-27 | 2021-02-12 | 齐鲁工业大学 | 基于多通道卷积的文本实体关系抽取方法及系统 |
| CN112347248A (zh) * | 2020-10-30 | 2021-02-09 | 山东师范大学 | 一种方面级文本情感分类方法及系统 |
| CN112507723A (zh) * | 2020-12-03 | 2021-03-16 | 南京理工大学 | 基于多模型融合的新闻情感分析方法 |
| CN112559730B (zh) * | 2020-12-08 | 2021-08-24 | 北京京航计算通讯研究所 | 基于全局性特征提取的文本摘要自动生成方法及系统 |
| CN112559730A (zh) * | 2020-12-08 | 2021-03-26 | 北京京航计算通讯研究所 | 基于全局性特征提取的文本摘要自动生成方法及系统 |
| CN112541083A (zh) * | 2020-12-23 | 2021-03-23 | 西安交通大学 | 一种基于主动学习混合神经网络的文本分类方法 |
| CN112765959A (zh) * | 2020-12-31 | 2021-05-07 | 康佳集团股份有限公司 | 意图识别方法、装置、设备及计算机可读存储介质 |
| CN112765959B (zh) * | 2020-12-31 | 2024-05-28 | 康佳集团股份有限公司 | 意图识别方法、装置、设备及计算机可读存储介质 |
| CN112818124A (zh) * | 2021-02-21 | 2021-05-18 | 昆明理工大学 | 一种基于注意力神经网络的实体关系抽取方法 |
| CN113220876A (zh) * | 2021-04-16 | 2021-08-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
| CN113220876B (zh) * | 2021-04-16 | 2022-12-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
| CN113361252A (zh) * | 2021-05-27 | 2021-09-07 | 山东师范大学 | 基于多模态特征和情感词典的文本抑郁倾向检测系统 |
| CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
| CN114445634A (zh) * | 2022-02-28 | 2022-05-06 | 南京信息工程大学 | 一种基于深度学习模型的海浪波高预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368086A (zh) | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 | |
| US20220147836A1 (en) | Method and device for text-enhanced knowledge graph joint representation learning | |
| CN110502753A (zh) | 一种基于语义增强的深度学习情感分析模型及其分析方法 | |
| CN112199956B (zh) | 一种基于深度表示学习的实体情感分析方法 | |
| CN110929030A (zh) | 一种文本摘要和情感分类联合训练方法 | |
| CN113239186A (zh) | 一种基于多依存关系表示机制的图卷积网络关系抽取方法 | |
| CN112800774B (zh) | 基于注意力机制的实体关系抽取方法、装置、介质和设备 | |
| CN112115700A (zh) | 一种基于依存句法树和深度学习的方面级情感分析方法 | |
| CN110851601A (zh) | 基于分层注意力机制的跨领域情感分类系统及方法 | |
| CN111368082A (zh) | 一种基于层次网络的领域自适应词嵌入的情感分析方法 | |
| CN112434161B (zh) | 一种采用双向长短期记忆网络的方面级情感分析方法 | |
| CN112561718A (zh) | 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法 | |
| WO2023231576A1 (zh) | 混合语言语音识别模型的生成方法及装置 | |
| CN111581364B (zh) | 一种面向医疗领域的中文智能问答短文本相似度计算方法 | |
| CN112070139A (zh) | 基于bert与改进lstm的文本分类方法 | |
| CN111339772B (zh) | 俄语文本情感分析方法、电子设备和存储介质 | |
| Suyanto | Synonyms-based augmentation to improve fake news detection using bidirectional LSTM | |
| CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
| CN114065848A (zh) | 一种基于预训练情感嵌入的中文方面级别情感分类方法 | |
| CN113326374A (zh) | 基于特征增强的短文本情感分类方法及系统 | |
| CN112818698A (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
| CN114417851A (zh) | 一种基于关键词加权信息的情感分析方法 | |
| CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
| CN112183106A (zh) | 一种基于音素联想及深度学习的语义理解方法及装置 | |
| Zhen et al. | The research of convolutional neural network based on integrated classification in question classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200703 |
|
| WD01 | Invention patent application deemed withdrawn after publication |