CN110502753A - 一种基于语义增强的深度学习情感分析模型及其分析方法 - Google Patents
一种基于语义增强的深度学习情感分析模型及其分析方法 Download PDFInfo
- Publication number
- CN110502753A CN110502753A CN201910783374.8A CN201910783374A CN110502753A CN 110502753 A CN110502753 A CN 110502753A CN 201910783374 A CN201910783374 A CN 201910783374A CN 110502753 A CN110502753 A CN 110502753A
- Authority
- CN
- China
- Prior art keywords
- layer
- sentiment analysis
- vector
- emotional semantic
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 88
- 230000002996 emotional effect Effects 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000008451 emotion Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 244000097202 Rathbunia alamosensis Species 0.000 claims description 3
- 235000009776 Rathbunia alamosensis Nutrition 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract 1
- 238000003058 natural language processing Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于语义增强的深度学习情感分析模型，所述模型由六个层构成，从下到上依次为词嵌入层、情感语义增强层、CNN卷积采样层、池化层、LSTM层和情感分类层；词嵌入层将句子的词转成低维度词向量；情感语义增强层用来增强模型的情感语义；CNN卷积采样层用于自动提取词特征；池化层用于降低特征向量的维度；LSTM层用来捕捉语句中长距离依赖关系，记忆长时依赖的序列化信息；情感分类层采用Softmax进行情感分类。本发明加入LSTM层，可以提高情感分析的精确率，同时又加入了情感语义增强层，增强了模型的情感语义，提高了情感分析效果；本发明还公开了一种基于深度学习情感分析模型的情感分析方法，可以提高中文短文情感分析的准确率。
Description
技术领域
本发明涉及自然语言处理和深度学习技术领域，特别涉及一种基于语义增强的深度学习情感分析模型及其分析方法。
背景技术
情感分析，也称为“意见挖掘”，致力于对文本中表达的思想和情感的计算研究。它包括预测文本中表达的观点是正面的还是负面。在传统的情感分析方法中，基于词典的方法受制于词典的覆盖率，取决于情感词典的质量和判断规则，这些都需要人工设计。判断规则的设计需要手动分析数据集中注释语句的句法结构。因此，这些方法的优点在很大程度上取决于手工设计和先验知识，而且推广能力很差。基于机器学习的方法则依赖于特征的设计。近年来深度学习在情感分析任务上表现良好。
现在，深度学习应用到了自然语言处理(NLP)领域的各个任务中，与传统的机器学习方法相比已经取得了良好的结果。深度神经网络的表达能力具有质的飞跃，不受摆特征工程的限制，并且不需要手动进行大量的特征提取，就能得到文本高层情感语义表达，有效提升了模型的推广能力。但是中文存在一词多义、假话反说，一句话还存在情绪转折，明夸暗贬等；最终会导致情感分析不精确。
发明内容
本发明提出一种基于语义增强的深度学习情感分析模型及其分析方法，旨在解决基于词典和统计机器学习方法复杂的特征工程和人工工程的问题，同时，它可以提高中文短文情感分析的准确率。
本发明的上述技术目的是通过以下技术方案实现的：
一种基于语义增强的深度学习情感分析模型，所述模型由六个层构成，从下到上依次为词嵌入层、情感语义增强层、CNN卷积采样层、池化层、LSTM层、情感分类层；所述词嵌入层将句子的词转成低维度词向量；所述情感语义增强层用来增强模型的情感语义；所述CNN卷积采样层用于自动提取词特征；所述池化层用于降低特征向量的维度；所述LSTM层用来捕捉语句中长距离依赖关系，记忆长时依赖的序列化信息；所述情感分类层采用Softmax进行情感分类。
进一步地，所述词嵌入层是由中文文本数据集组成，所述中文文本数据集通过已训练好的Word2vec将文本数据集和表情符号转成词向量；每一列为一个词向量并用xj(1<j<k)表示，每条微博为一行输入Word2Vec学习词向量；所述词嵌入层通过新浪微博的API接口，从随机收集的2013年到2017年大约2000万条微博文本中，学习得到一个W词向量列表；所述词嵌入层采用word2Vec工具中的Skip-gram模型进行词向量的预训练。
进一步地，所述中文文本数据集是经过预处理后的文本数据集,包括分词和去停用词；所述分词和去停用词使用的是哈工大分词工具和哈工大停用词表，以使其分词结果成为基本语言单位。
进一步地，所述情感语义增强层将表情符号保存在微博数据集中，并允许表情符号参与情感分析。
进一步地，当微博表情符号进行文本预处理时，表情符号被转换成文本格式，便于转换为向量。
进一步地，在情感分析中使用表情符号之前，需要使用表情符号的文本格式的向量来构建情感空间。
进一步地，所述CNN卷积采样层对词向量进行卷积运算，抽取高维特征，把卷积看成作用于矩阵的一个滑动窗口函数，滑动窗口又称作核，在本发明中统一为卷积核；
其中，卷积核为：f＝[f1+f2…fn]，则在卷积之后的特征为
s＝[s1+s2+…sl]；
其中，
在公式中，f(.)是非线性激活函数，rf是卷积特征矩阵，b为偏移项；
所述池化层用于对在卷积层之后得到的高维特征向量执行下采样(降维)，用于压缩数据量和参数，减小过拟合；
其中，对特征矩阵rf执行最大化下采样，获取每个维度上的最大值，运算公式如下：
其中，m表示卷积核的个数,i为第i个卷积核。
进一步地，所述LSTM层采用单向LSTM网络，所述LSTM层是对循环神经网络(recurrent neural network，RNN)的改进，是为了解决RNN网络模型训练过程中梯度消失的问题，单向LSTM网络可以学习句子中词语长距离的依赖性；
所述单向LSTM网络通过记忆单元存储句子的重要特征信息，并且选择遗忘不重要的信息；每个单向LSTM网络神经包含核心元素Cell和三个门单元，其中f为遗忘门，i为更新门，O为输出门；
遗忘门:是单向LSTM网络的第一步，以决定从记忆单元中遗忘哪些信息：其中，ht-1是上一个cell的输出，xt为当前细胞的输入，σ(·)为sigmoid激励函数,wf为遗忘门权重矩阵，bf为遗忘门偏置项；
更新门:用于决定在下一步中添加到Cell状态的新的信息量，包括两个步骤：
首先，一个称为“input gate layer”的sigmoid激励函数层决定需要更新哪些信息；tanh层生成一个向量，这是备选更新的替代内容，在下一步，把这两部分联合以更新Cell的状态,运算公式如下:
it＝σ(wi[ht-1，xt]+bi)
然后，wi为更新门权重矩阵，bi为遗忘门偏移项,ct为更新后的细胞；
输出门:细胞状态由tanh处理(得到一个介于-1到1之间的值)并乘以sigmoid门的输出，然后输出,运算公式如下:
Ot＝σ(wo[ht-1，xt]+bo)
Ot＝σ(wo[ht-1,xt]+bo)ht＝ot*tanh(ct)。
进一步地，所述情感分类层对前一层的输出向量进行非线性函数g变换后，完全连接到一个softmax回归层，它返回概率最大的类即：
其中wj表示类j的权重向量，从中产生具有输入的点积，以及aj是j类的偏差。
一种基于深度学习情感分析模型的情感分析方法，其特征在于：所述基于深度学习情感分析模型为上述任意一项所述的情感分析模型，所述情感分析方法包括以下步骤：
S1，读取微博短文本词序列，查询词向量列表W，转成词向量；
S2，将文本内容、表情符号进行词向量矩阵拼接生成情感语义增强矩阵；
S3，对通过非线性激活函数得到的特征向量进行CNN卷积；
S4，对卷积后的特征矩阵执行最大化采样；
S5，将处理后的特征送入序列LSTM层；
S6，使用Softmax返回的概率进行情感分析。
与现有技术相比，本发明具有以下有益效果：
本发明采用了基于神经网络的系统，可以有效的解决复杂的特征工程和多余手工工作；本发明的CNN可以自动抽取特征，LSTM可以记忆句中长时依赖关系；同时，本发明还采用了语义增强来捕获句子中最重要的情感语义信息，这个方法不会采用任何来源于词典资源或者NLP系统的特征，可以在不用额外的知识库和NLP工具，增强模型捕捉情感语义的能力，并且充分利用无标注数据集和标注数据集，突出了情感特征，提高了分类效果。具体来说，为达到以上技术目的，本发明需要实施以下步骤：输入微博短文本数据(可含表情符号)，通过之前已预训练好的Word2vec将短文本(可含表情符号)转成词向量；将短文本词向量与表情符号向量进行拼接增强情感语义,将词向量送入CNN进行卷积，获取高维特征；使用池化对通过卷积得到的高维特征向量进行降采样，降低词向量维度；将池化后的向量送入LSTM层以获得输出向量；最后将向量送入Softmax分类，得到目标分类。
附图说明
图1是本发明的情感分析模型的结构图；
图2是本发明的情感分析方法的流程图；
图3是本发明的LSTM层的网络图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
一种基于语义增强的深度学习情感分析模型，如图1所示，所述模型由六个层构成，从下到上依次为词嵌入层、情感语义增强层、CNN卷积采样层、池化层、LSTM层、情感分类层；所述词嵌入层将句子的词转成低维度词向量；所述情感语义增强层用来增强模型的情感语义；所述CNN卷积采样层用于自动提取词特征；所述池化层用于降低特征向量的维度；所述LSTM层用来捕捉语句中长距离依赖关系，记忆长时依赖的序列化信息；所述情感分类层采用Softmax进行情感分类。
具体地，所述词嵌入层是由中文文本数据集组成，所述中文文本数据集通过已训练好的Word2vec将文本数据集和表情符号转成词向量；每一列为一个词向量并用xj(1<j<k)表示，每条微博为一行输入Word2Vec学习词向量；所述词嵌入层通过新浪微博的API接口，从随机收集的2013年到2017年大约2000万条微博文本中，学习得到一个W词向量列表；所述词嵌入层采用word2Vec工具中的Skip-gram模型进行词向量的预训练。
词嵌入是一组语言模型和自然语言处理中特征学习技术的总称，词汇中的单词(也可能是短语)被映射到相对于词汇量(连续空间)大小的低维空间的实数向量；word2vec模型是一个浅层和双层的神经网络，用于训练重建语言之词文本；训练完成后，word2vec模型可用于将每个单词映射到一个向量，可用来表示词和词之间的关系，该向量为神经网络的隐藏层；word2vec模型一般分为CBOW与Skip-Gram两种模型；CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量；Skip-Gram模型和CBOW的思路是反着来的，即输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量。本发明采用Skip-gram模型进行词向量的预训练，采用默认的参数设置。假设将一条微博s输入到模型中，微博内容经过文本预处理后，得到一个词序列，包括k个词：w1,w2,…,wk,然后通过已训练好的Word2Vec，查询词向量列表W以获得对应的词向量。x1,x2,…,xk。从而将语句s＝<w1,w2,…,wk>转化为<x1,x2,…,xk>。
所述中文文本数据集是经过预处理后的文本数据集,包括分词和去停用词；所述分词和去停用词使用的是哈工大分词工具和哈工大停用词表，以使其分词结果成为基本语言单位。例如：在模型中输入微博s，微博内容经过文本预处理后，得到一个词序列，包括k个词：w1,w2,…,wk,然后通过已训练好的Word2Vec，查询词向量列表W以获得相应的词向量x1,x2,…,xk。从而将语句s＝[w1,w2,…,wk]转化为[x1,x2,…,xk]。最后，微博通过训练好的Word2Vec获得一个二维的词向量矩阵R。
具体地，所述情感语义增强层将表情符号保存在微博数据集中，并允许表情符号参与情感分析。优选地，当微博表情符号进行文本预处理时，表情符号被转换成文本格式，便于转换为向量；在情感分析中使用表情符号之前，需要使用表情符号的文本格式的向量来构建情感空间。例如，微博里表情符号“掉眼泪”的文本格式为“[伤心]”，即使用括号和文字来表达表情符号的语义；让表情符号参与情感分析，增强模型的情感语义，需要使用表情符号的词向量通过已经训练好的Word2Vec构建情感空间，之后将文本词向量RM与表情符号的情感空间向量RE进行拼接，产生一个带有情感语义的d维矩阵X∈Rd×n，n＝k+1，k个文本词和一个表情符号。
具体地，所述CNN卷积采样层对词向量进行卷积运算，抽取高维特征，把卷积看成作用于矩阵的一个滑动窗口函数，滑动窗口又称作核，在本发明中统一为卷积核；
其中，卷积核为：f＝[f1+f2…fn]，则在卷积之后的特征为
s＝[s1+s2+…sl]；
其中，
在公式中，f(.)是非线性激活函数，rf是卷积特征矩阵，b为偏移项；
CNN卷积采样层在矩阵X上应用一组长度为H的m个卷积核，这些卷积核是在神经网络的训练阶段学习的。
所述池化层用于对在卷积层之后得到的高维特征向量执行下采样(降维)，用于压缩数据量和参数，减小过拟合；
其中，对特征矩阵rf执行最大化下采样，获取每个维度上的最大值，运算公式如下：
其中，m表示卷积核的个数,i为第i个卷积核。
具体地，所述LSTM层采用单向LSTM网络，所述LSTM层是对循环神经网络(recurrent neural network，RNN)的改进，是为了解决RNN网络模型训练过程中梯度消失的问题，单向LSTM网络可以学习句子中词语长距离的依赖性；
如图3所示，所述单向LSTM网络通过记忆单元存储句子的重要特征信息，并且选择遗忘不重要的信息；每个单向LSTM网络神经包含核心元素Cell和三个门单元，其中f为遗忘门，i为更新门，O为输出门；
遗忘门:是单向LSTM网络的第一步，以决定从记忆单元中遗忘哪些信息：其中，ht-1是上一个cell的输出，xt为当前细胞的输入，σ(·)为sigmoid激励函数,wf为遗忘门权重矩阵，bf为遗忘门偏置项；
更新门:用于决定在下一步中添加到Cell状态的新的信息量，包括两个步骤：
首先，一个称为“input gate layer”的sigmoid激励函数层决定需要更新哪些信息；tanh层生成一个向量，这是备选更新的替代内容，在下一步，把这两部分联合以更新Cell的状态,运算公式如下:
it＝σ(wi[ht-1，xt]+bi)
然后，wi为更新门权重矩阵，bi为遗忘门偏移项,ct为更新后的细胞；
输出门:细胞状态由tanh处理(得到一个介于-1到1之间的值)并乘以sigmoid门的输出，然后输出,运算公式如下:
Ot＝σ(wo[ht-1，xt]+bo)
Ot＝σ(wo[ht-1,xt]+bo)ht＝ot*tanh(ct)。
具体地，所述情感分类层对前一层的输出向量进行非线性函数g变换后，完全连接到一个softmax回归层，它返回概率最大的类即：
其中wj表示类j的权重向量，从中产生具有输入的点积，以及aj是j类的偏差。
一种基于深度学习情感分析模型的情感分析方法，如图2所示，所述基于深度学习情感分析模型为上述任意一项所述的情感分析模型，所述情感分析方法包括以下步骤：
S1，读取微博短文本词序列，查询词向量列表W，转成词向量；
S2，将文本内容、表情符号进行词向量矩阵拼接生成情感语义增强矩阵；
S3，对通过非线性激活函数得到的特征向量进行CNN卷积；
S4，对卷积后的特征矩阵执行最大化采样；
S5，将处理后的特征送入序列LSTM层；
S6，使用Softmax返回的概率进行情感分析。
在步骤S1中，在读取微博短文本的同时将短文本通过已训练好的Word2Vec转成词向量RM；微博短文本中的表情符号由Word2Vec转换成为向量RE。
在步骤S2中，一条微博通过已训练好的Word2Vec，文本内容与文本表情符号进行拼接产生一个带有情感语义的d维矩阵X∈Rd×n，n＝k+1，k个文本词和一个表情符号。
在步骤S3中，对词向量X线性加权并通过非线性激活函数得到特征向量，然后对这些特征向量进行卷积；使用不同的卷积核可以提取不同的特征；卷积层的输出通过非线性激活函数，然后进入池化层。
在步骤S4中，对步骤S3卷积后的特征矩阵rf执行最大化下采样，本发明采用的是最大池化，即获取每个维度上的最大值xi进行输出。
在步骤S5中，将池化后的特征经过一个非线性激活函数处理，将其处理后的特征表示为p＝[p1,p2,…,pm]，其中，m为卷积核的数量；将P送入序列LSTM层。
在步骤S6中，对步骤S5的输出向量进行非线性函数g变换，以获得向量y，完全连接到一个softmax回归层，它返回概率最大的类即：
其中wj表示类j的权重向量，从中产生具有输入的点积，以及aj是j类的偏差。
本发明采用无监督的方法分析文本的情感，不需要人工参与，降低成本；增加的语义增强来捕获句子中最重要的情感语义信息，这个方法不会采用任何来源于词典资源或者NLP系统的特征；语义增强可以在不用额外的知识库和NLP工具，提高了分析准确率。本发明的基于语义增强的深度学习模型情感分析方法可以根据文本中的情感词的情感得分确定该文本的情感强度，进一步地，本发明考虑了文本语句中长距离依赖关系，使用LSTM记忆长时依赖的序列化信息，从而使该文本的情感强度更准确。
本发明涉及情感分析的核心问题,情感分类，其目标是判断文本中的情感取向。按区分情感的粒度可分成2种分类问题：1)二分类，积极/消极(pos/neg)或者三分类，积极/中立/消极(pos/neu/neg)；2)多分类，例如，对微博进行“乐观”、“悲伤”、“愤怒”、“惊讶”四元情感分类等。
针对上述分类问题，与传统的基于词典的方法和基于机器学习方法相比，深度神经网络的表达能力具有质的飞跃，摆脱了特征工程的束缚，不需要手工进行大量的特征提取，并利用语义合成原理，通过不同的深度模型将低层词向量合成为高层文本情感语义特征向量。从而，获得文本的高层次情感语义表达，有效地提高了模型的推广能力。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种基于语义增强的深度学习情感分析模型，其特征在于：所述模型由六个层构成，从下到上依次为词嵌入层、情感语义增强层、CNN卷积采样层、池化层、LSTM层、情感分类层；所述词嵌入层将句子的词转成低维度词向量；所述情感语义增强层用来增强模型的情感语义；所述CNN卷积采样层用于自动提取词特征；所述池化层用于降低特征向量的维度；所述LSTM层用来捕捉语句中长距离依赖关系，记忆长时依赖的序列化信息；所述情感分类层采用Softmax进行情感分类。
2.根据权利要求1所述的一种基于语义增强的深度学习情感分析模型，其特征在于：所述词嵌入层是由中文文本数据集组成，所述中文文本数据集通过已训练好的Word2vec将文本数据集和表情符号转成词向量；每一列为一个词向量并用xj(1<j<k)表示，每条微博为一行输入Word2Vec学习词向量；所述词嵌入层通过新浪微博的API接口，从随机收集的2013年到2017年大约2000万条微博文本中，学习得到一个W词向量列表；所述词嵌入层采用word2Vec工具中的Skip-gram模型进行词向量的预训练。
3.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：所述中文文本数据集是经过预处理后的文本数据集,包括分词和去停用词；所述分词和去停用词使用的是哈工大分词工具和哈工大停用词表，以使其分词结果成为基本语言单位。
4.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：所述情感语义增强层将表情符号保存在微博数据集中，并允许表情符号参与情感分析。
5.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：当微博表情符号进行文本预处理时，表情符号被转换成文本格式，便于转换为向量。
6.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：在情感分析中使用表情符号之前，需要使用表情符号的文本格式的向量来构建情感空间。
7.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：所述CNN卷积采样层对词向量进行卷积运算，抽取高维特征，把卷积看成作用于矩阵的一个滑动窗口函数，滑动窗口又称作核，在本发明中统一为卷积核；
其中，卷积核为：f＝[f1+f2…fn]，则在卷积之后的特征为
s＝[s1+s2+…sl]；
其中，
在公式中，f(.)是非线性激活函数，rf是卷积特征矩阵，b为偏移项；
所述池化层用于对在卷积层之后得到的高维特征向量执行下采样(降维)，用于压缩数据量和参数，减小过拟合；
其中，对特征矩阵rf执行最大化下采样，获取每个维度上的最大值，运算公式如下：
其中，m表示卷积核的个数,i为第i个卷积核。
8.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：所述LSTM层采用单向LSTM网络，所述LSTM层是对循环神经网络(recurrent neural network，RNN)的改进，是为了解决RNN网络模型训练过程中梯度消失的问题，单向LSTM网络可以学习句子中词语长距离的依赖性；
所述单向LSTM网络通过记忆单元存储句子的重要特征信息，并且选择遗忘不重要的信息；每个单向LSTM网络神经包含核心元素Cell和三个门单元，其中f为遗忘门，i为更新门，O为输出门；
遗忘门:是单向LSTM网络的第一步，以决定从记忆单元中遗忘哪些信息：其中，ht-1是上一个cell的输出，xt为当前细胞的输入，σ(·)为sigmoid激励函数,wf为遗忘门权重矩阵，bf为遗忘门偏置项；
更新门:用于决定在下一步中添加到Cell状态的新的信息量，包括两个步骤：
首先，一个称为“input gate layer”的sigmoid激励函数层决定需要更新哪些信息；tanh层生成一个向量，这是备选更新的替代内容，在下一步，把这两部分联合以更新Cell的状态,运算公式如下:
it＝σ(wi[ht-1，xt]+bi)
然后，wi为更新门权重矩阵，bi为遗忘门偏移项,ct为更新后的细胞；
输出门:细胞状态由tanh处理(得到一个介于-1到1之间的值)并乘以sigmoid门的输出，然后输出,运算公式如下:
Ot＝σ(wo[ht-1，xt]+bo)
ht＝ot*tanh(ct)
Ot＝σ(wo[ht-1,xt]+bo)。
9.根据权利要求2所述的一种基于语义增强的深度学习情感分析模型，其特征在于：所述情感分类层对前一层的输出向量进行非线性函数g变换后，完全连接到一个softmax回归层，它返回概率最大的类即：
其中wj表示类j的权重向量，从中产生具有输入的点积，以及aj是j类的偏差。
10.一种基于深度学习情感分析模型的情感分析方法，其特征在于：所述基于深度学习情感分析模型为权利要求1-9任意一项所述的情感分析模型，所述情感分析方法包括以下步骤：
S1，读取微博短文本词序列，查询词向量列表W，转成词向量；
S2，将文本内容、表情符号进行词向量矩阵拼接生成情感语义增强矩阵；
S3，对通过非线性激活函数得到的特征向量进行CNN卷积；
S4，对卷积后的特征矩阵执行最大化采样；
S5，将处理后的特征送入序列LSTM层；
S6，使用Softmax返回的概率进行情感分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910783374.8A CN110502753A (zh) | 2019-08-23 | 2019-08-23 | 一种基于语义增强的深度学习情感分析模型及其分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910783374.8A CN110502753A (zh) | 2019-08-23 | 2019-08-23 | 一种基于语义增强的深度学习情感分析模型及其分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110502753A true CN110502753A (zh) | 2019-11-26 |
Family
ID=68589046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910783374.8A Pending CN110502753A (zh) | 2019-08-23 | 2019-08-23 | 一种基于语义增强的深度学习情感分析模型及其分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502753A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008527A (zh) * | 2019-12-18 | 2020-04-14 | 成都迪普曼林信息技术有限公司 | 一种情感分析系统及方法 |
| CN111127191A (zh) * | 2019-12-25 | 2020-05-08 | 北京百度网讯科技有限公司 | 风险评估方法及装置 |
| CN111326178A (zh) * | 2020-02-27 | 2020-06-23 | 长沙理工大学 | 基于卷积神经网络的多模态语音情感识别系统及方法 |
| CN111523319A (zh) * | 2020-04-10 | 2020-08-11 | 广东海洋大学 | 基于情景lstm结构网络的微博情感分析方法 |
| CN111639186A (zh) * | 2020-06-05 | 2020-09-08 | 同济大学 | 动态嵌入投影门控的多类别多标签文本分类模型及装置 |
| CN111814453A (zh) * | 2020-07-09 | 2020-10-23 | 重庆大学 | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
| CN111898384A (zh) * | 2020-05-30 | 2020-11-06 | 中国兵器科学研究院 | 一种文本情感识别方法、装置、存储介质及电子设备 |
| CN112069379A (zh) * | 2020-07-03 | 2020-12-11 | 中山大学 | 一种基于lstm-cnn的高效舆情监测系统 |
| CN112560498A (zh) * | 2020-12-08 | 2021-03-26 | 苏州思必驰信息科技有限公司 | 情感检测方法和装置 |
| CN112560440A (zh) * | 2020-12-03 | 2021-03-26 | 湘潭大学 | 一种基于深度学习的面向方面级情感分析的句法依赖方法 |
| CN112905790A (zh) * | 2021-02-04 | 2021-06-04 | 中国建设银行股份有限公司 | 监管事件定性指标提取的方法、装置和系统 |
| CN113158656A (zh) * | 2020-12-25 | 2021-07-23 | 北京中科闻歌科技股份有限公司 | 讽刺内容识别方法、装置、电子设备以及存储介质 |
| CN113191135A (zh) * | 2021-01-26 | 2021-07-30 | 北京联合大学 | 一种融合颜文字的多类别情感提取方法 |
| WO2022041394A1 (zh) * | 2020-08-28 | 2022-03-03 | 南京邮电大学 | 一种网络加密流量识别方法及装置 |
| CN115204183A (zh) * | 2022-09-19 | 2022-10-18 | 华南师范大学 | 基于知识增强的双通道情感分析方法、装置以及设备 |
| CN117332788A (zh) * | 2023-11-30 | 2024-01-02 | 山东同其万疆科技创新有限公司 | 一种基于英语口语文本的语义分析方法 |
| CN117473095A (zh) * | 2023-12-27 | 2024-01-30 | 合肥工业大学 | 基于主题增强词表示的短文本分类方法和系统 |
-
2019
- 2019-08-23 CN CN201910783374.8A patent/CN110502753A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008527A (zh) * | 2019-12-18 | 2020-04-14 | 成都迪普曼林信息技术有限公司 | 一种情感分析系统及方法 |
| CN111127191A (zh) * | 2019-12-25 | 2020-05-08 | 北京百度网讯科技有限公司 | 风险评估方法及装置 |
| CN111326178A (zh) * | 2020-02-27 | 2020-06-23 | 长沙理工大学 | 基于卷积神经网络的多模态语音情感识别系统及方法 |
| CN111523319A (zh) * | 2020-04-10 | 2020-08-11 | 广东海洋大学 | 基于情景lstm结构网络的微博情感分析方法 |
| CN111523319B (zh) * | 2020-04-10 | 2023-06-30 | 广东海洋大学 | 基于情景lstm结构网络的微博情感分析方法 |
| CN111898384A (zh) * | 2020-05-30 | 2020-11-06 | 中国兵器科学研究院 | 一种文本情感识别方法、装置、存储介质及电子设备 |
| CN111639186B (zh) * | 2020-06-05 | 2023-11-07 | 同济大学 | 动态嵌入投影门控的多类别多标签文本分类模型及装置 |
| CN111639186A (zh) * | 2020-06-05 | 2020-09-08 | 同济大学 | 动态嵌入投影门控的多类别多标签文本分类模型及装置 |
| CN112069379A (zh) * | 2020-07-03 | 2020-12-11 | 中山大学 | 一种基于lstm-cnn的高效舆情监测系统 |
| CN111814453A (zh) * | 2020-07-09 | 2020-10-23 | 重庆大学 | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
| CN111814453B (zh) * | 2020-07-09 | 2023-08-08 | 重庆大学 | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
| WO2022041394A1 (zh) * | 2020-08-28 | 2022-03-03 | 南京邮电大学 | 一种网络加密流量识别方法及装置 |
| CN112560440B (zh) * | 2020-12-03 | 2024-03-29 | 湘潭大学 | 一种基于深度学习的面向方面级情感分析的句法依赖方法 |
| CN112560440A (zh) * | 2020-12-03 | 2021-03-26 | 湘潭大学 | 一种基于深度学习的面向方面级情感分析的句法依赖方法 |
| CN112560498A (zh) * | 2020-12-08 | 2021-03-26 | 苏州思必驰信息科技有限公司 | 情感检测方法和装置 |
| CN113158656A (zh) * | 2020-12-25 | 2021-07-23 | 北京中科闻歌科技股份有限公司 | 讽刺内容识别方法、装置、电子设备以及存储介质 |
| CN113158656B (zh) * | 2020-12-25 | 2024-05-14 | 北京中科闻歌科技股份有限公司 | 讽刺内容识别方法、装置、电子设备以及存储介质 |
| CN113191135A (zh) * | 2021-01-26 | 2021-07-30 | 北京联合大学 | 一种融合颜文字的多类别情感提取方法 |
| CN112905790A (zh) * | 2021-02-04 | 2021-06-04 | 中国建设银行股份有限公司 | 监管事件定性指标提取的方法、装置和系统 |
| CN115204183B (zh) * | 2022-09-19 | 2022-12-27 | 华南师范大学 | 基于知识增强的双通道情感分析方法、装置以及设备 |
| CN115204183A (zh) * | 2022-09-19 | 2022-10-18 | 华南师范大学 | 基于知识增强的双通道情感分析方法、装置以及设备 |
| CN117332788B (zh) * | 2023-11-30 | 2024-03-01 | 山东同其万疆科技创新有限公司 | 一种基于英语口语文本的语义分析方法 |
| CN117332788A (zh) * | 2023-11-30 | 2024-01-02 | 山东同其万疆科技创新有限公司 | 一种基于英语口语文本的语义分析方法 |
| CN117473095A (zh) * | 2023-12-27 | 2024-01-30 | 合肥工业大学 | 基于主题增强词表示的短文本分类方法和系统 |
| CN117473095B (zh) * | 2023-12-27 | 2024-03-29 | 合肥工业大学 | 基于主题增强词表示的短文本分类方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502753A (zh) | 一种基于语义增强的深度学习情感分析模型及其分析方法 | |
| Abdullah et al. | SEDAT: sentiment and emotion detection in Arabic text using CNN-LSTM deep learning | |
| CN110083705B (zh) | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 | |
| CN110866117B (zh) | 一种基于语义增强与多层次标签嵌入的短文本分类方法 | |
| CN113254599B (zh) | 一种基于半监督学习的多标签微博文本分类方法 | |
| CN107943784B (zh) | 基于生成对抗网络的关系抽取方法 | |
| CN110609897A (zh) | 一种融合全局和局部特征的多类别中文文本分类方法 | |
| CN107247702A (zh) | 一种文本情感分析处理方法和系统 | |
| CN110717334A (zh) | 基于bert模型和双通道注意力的文本情感分析方法 | |
| CN109472024A (zh) | 一种基于双向循环注意力神经网络的文本分类方法 | |
| CN111368086A (zh) | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 | |
| CN108460089A (zh) | 基于Attention神经网络的多元特征融合中文文本分类方法 | |
| CN107203511A (zh) | 一种基于神经网络概率消歧的网络文本命名实体识别方法 | |
| Alam et al. | Sentiment analysis for Bangla sentences using convolutional neural network | |
| CN111522908A (zh) | 一种基于BiGRU和注意力机制的多标签文本分类方法 | |
| CN110750648A (zh) | 一种基于深度学习和特征融合的文本情感分类方法 | |
| CN111339772B (zh) | 俄语文本情感分析方法、电子设备和存储介质 | |
| CN110297986A (zh) | 一种微博热点话题的情感倾向分析方法 | |
| CN110851593A (zh) | 一种基于位置与语义的复值词向量构建方法 | |
| CN115630156A (zh) | 一种融合Prompt和SRU的蒙古语情感分析方法与系统 | |
| CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
| CN113094502A (zh) | 一种多粒度外卖用户评论情感分析方法 | |
| CN116522945A (zh) | 一种食品安全领域中命名实体的识别模型和方法 | |
| CN115906816A (zh) | 一种基于Bert的双通道Attention模型的文本情感分析方法 | |
| CN111353040A (zh) | 基于gru的属性级别情感分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191126 |
|
| WD01 | Invention patent application deemed withdrawn after publication |