CN109740148A - 一种BiLSTM结合Attention机制的文本情感分析方法 - Google Patents
一种BiLSTM结合Attention机制的文本情感分析方法 Download PDFInfo
- Publication number
- CN109740148A CN109740148A CN201811538033.6A CN201811538033A CN109740148A CN 109740148 A CN109740148 A CN 109740148A CN 201811538033 A CN201811538033 A CN 201811538033A CN 109740148 A CN109740148 A CN 109740148A
- Authority
- CN
- China
- Prior art keywords
- text
- feature
- vector
- word
- term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 238000004458 analytical method Methods 0.000 title claims abstract description 18
- 230000008451 emotion Effects 0.000 title abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 51
- 230000015654 memory Effects 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000002996 emotional effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明提供了一种BiLSTM结合Attention机制的短文本情感倾向性分析的方法，构建了卷积双向长短时间记忆网络结合注意力机制的模型；针对文本分类中数据表示的高维度难以训练和向量表示特征无关问题，将文本数据映射到一个低维度的实数向量，避免高维度的输入导致模型产生维度灾难的问题；针对特征选择问题，构建特征提取模型，将提取好的特征进行文本情感分类。
Description
技术领域
本专利属于自然语言处理技术与文本情感分析技术领域，提供了一种BiLSTM结合Attention机制的短文本情感倾向性分析的方法；旨在构建文本情感分析模型，提高系统分类准确率。
背景技术
在短短的几十年里，互联网的发展已向人们证明了它的出现是人类史上最伟大的发明，如今其应用己经渗入到人们日常生活和工作的方方面面。随着微博、论坛、豆瓣、微信等社交媒体的发展，人们在网络上的行为已经不再局限于信息的浏览，更多的人开始在社交网络上表达自己的观点、分享知识、创作内容。这些内容中，既包括对热点新闻事件的评论，也包括对特定商品的评价，它们都带有明显情感倾向的信息。
情感分析在工业界广泛被应用于股票价格预测、产品分析、商品推荐等方面，对于政府部门来说，情感分析更是舆情监测、民意调研、危机管理的基础技术。随着信息量的爆炸式增长，已经不可能依靠人工进行信息的收集和整理，因此如何从海量数据中自动地挖掘出情感信息变得非常重要。
传统的情感模型主要可以分为基于情感词典和基于机器学习两种方法。而随着深度学习在自然语言处理领域越来越广泛地得到应用，许多基于深度学习、或深度学习与传统算法结合的情感分析模型被提出。虽然机器学习方法已经取得了很好的效果，但是特征和模板均需要人工进行设计，而且所设计的特征往往没有很好的适应性，当领域变化时需要重新设计。
发明内容
为了避免过多的人工设计特征，本发明提供了一种BiLSTM结合Attention机制的短文本情感倾向性分析的方法，构建了卷积双向长短时间记忆网络结合注意力机制的模型。针对文本分类中数据表示的高维度难以训练和向量表示特征无关问题，将文本数据映射到一个低维度的实数向量，避免高维度的输入导致模型产生维度灾难的问题。针对特征选择问题，构建特征提取模型。将提取好的特征进行文本情感分类。
为了实现上述的模型，本发明采用的技术方案是：
一种BiLSTM结合Attention机制的短文本情感倾向性分析的方法，包括以下步骤：
步骤1：对数据进行清洗预处理；
步骤2：对数据集按8:2分为测试集和训练集；
步骤3：训练词向量
步骤3.1：对数据进行序列化
采用Glove进行词向量处理，采用Glove模型，将每个词处理成统一长度100维向量，同时将每个句子统一长度为100，多则截取，少则补0；
步骤3.2：构建初始化权重
获取训练文本的所有词，并将单词映射为自己的索引，构建文本词典；将构建好的词典一一和Glove词典进行对比，若Glove词典中包括该词的词向量，则用该词向量进行初始化，否则将该词进行随机初始化，根据此方法进行初始化权重，即将训练文本S＝(W1,W2…Wi…Wn)中的单词Wi映射为wi，wi∈Rd，其中d为单词的向量维度；
步骤4：对每个句子进行初始化
将每一个句子与构建好的词向量词典进行对比，初始化每个句子对应的词向量，构建出每个句子对应的二维矩阵，即对应的矩阵可表示为：
Z∈Rn×k (1)
其中n为句子的长度，k为每个词的维度。
步骤5：特征选择提取
步骤5.1：卷积层特征提取
卷积层使用不同的卷积核对输入矩阵进行卷积操作，提取输入的局部特征，得到卷积核特征向量图：
c＝f(W·x+b) (2)
其中，x为卷积核窗口词向量矩阵，W为权重矩阵，b为偏置，f为激活函数，然后需要对每一个卷积核的卷积结果做非线性映射，公式如下：
f＝relu＝max(0,x) (3)
其中，relu函数为常用激励函数，
步骤5.2：池化层特征降维
通过池化层，进行采样特征图，通过K-Max Pooling进行池化操作，提取出每张特征图中最有代表性的特征；
卷积神经网络的卷积层和池化层分别通过卷积操作和池化操作对短文本句子进行特征提取，得到三元，四元和五元特征向量，经过融合层，将三类特征向量拼接在一起，作为双向长短时记忆神经网络的输入；
步骤5.3：双向长短时记忆神经网络提取更高级特征
采用双向长短时记忆模型，同时捕获正向的语义信息和逆向的语义信息，将卷积神经网络提取的特征矩阵输入到双向长短时记忆神经网络模型，其中，x1，x2，x3，…，xi代表输入数据的语义表达式，h1，h2，h3，…，hi代表为前向LSTM网络中设置的隐藏层，s1，s2，s3，…，si代表为后向LSTM网络中设置的隐藏层，y1，y2，y3，…，yi代表前向与后向合并后的语义信息，
在t时刻双向长短时记忆模型如下：
yt＝g(Vht+V′st) (5)
st＝f(Uxt+Wht-1) (6)
s′t＝f(U′xt+W′st+1) (7)
正向计算时，隐藏层的ht与ht-1有关；反向计算时，隐藏层的st与st+1有关；
步骤5.4：结合Attention机制提取句子中的关键词
通过Attention机制进行文本内各词语注意力值得计算，计算公式如下：
其中，hi为经过双向长短时记忆模型后得到的文本特征向量，W1为参数向量，bw为偏置量，为通过神经网络得到的对hi的隐层表示。是通过对进行softmax函数进行归一化得到的权重矩阵。最后通过权重矩阵与文本特征向量hi进行加权和，得到包含文本各词语重要性信息的文本向量ct，并将其作为分类器的输入；
步骤6：将Attention层的输出，输入到全连接层，并采用softmax函数进行情感极性评估。
作为优选，步骤5.2的池化层特征降维中池化层采用的步长为1，过滤器窗口采用了5，4，3三个窗口大小，K值的设计公式如下：
K＝len-fs+1 (4)
其中，len为词的维度大小，fs为池化层的窗口大小。
附图说明
图1为本发明设计的基于深度学习的文本情感分析研究框架。
图2为本发明中设计的卷积神经网络模型进行文本特征提取。
图3为本发明中采用的双向长短时记忆网络模型提取更高级特征。
图4为本发明中结合Attetion机制进行文本特征提取的模型。
具体实施方式
下面结合附图和采用本发明提出的模型进行的实验结果做进一步说明。
图1是本发明设计的基于深度学习的文本情感分析研究框架，具体的研究过程为：
步骤1：对数据进行处理
由于数据集中包括一些对模型训练无关的数据，所以首先对读取的数据进行处理，清洗掉例如：换行符，引号等不必要字符，同时将大写字母转为小写字母，目的是为了更好的进行特征向量的处理。
步骤2：对数据集按8:2分为测试集和训练集
步骤3：训练词向量
步骤3.1：对数据进行序列化
如果用传统的稀疏表示法表示词，在解决该问题的时候会造成维度灾难。因此考虑用低维向量进行词向量表示，本专利采用Glove进行词向量处理。Glove模型既使用了全局特征的矩阵分解方法，同时也使用了局部的上下文特征。
采用Glove模型，将每个词处理成统一长度100维向量，同时将每个句子统一长度为100，多则截取，少则补0。
步骤3.2：构建初始化权重
获取训练文本的所有词，并将单词映射为自己的索引，构建文本词典。将构建好的词典一一和Glove词典进行对比，若Glove词典中包括该词的词向量，则用该词向量进行初始化，否则将该词进行随机初始化，根据此方法进行初始化权重。即将训练文本中的词S＝(W1,W2…Wi…Wn)中的单词Wi映射为wi，wi∈Rd，其中d为单词的向量维度。
步骤4：对每个句子进行初始化
将每一个句子与构建好的词向量词典进行对比，初始化每个句子对应的词向量，构建出每个句子对应的二维矩阵，即对应的矩阵可表示为：
Z∈Rn×k (1)
其中n为句子的长度，k为每个词的维度。
步骤5：卷积神经网络特征选择提取
如图2所示，将构建好的每个句子的二维矩阵输入到设计的卷积神经网络模型，进行文本特征提取，具体的特征提取步骤如下：
步骤5.1：卷积层特征提取
卷积层使用不同的卷积核对输入矩阵进行卷积操作，提取输入的局部特征，得到卷积核特征向量图：
c＝f(W·x+b) (2)
其中，x为卷积核窗口词向量矩阵，W为权重矩阵，b为偏置，f为激活函数然后需要对每一个卷积核的卷积结果做非线性映射，公式如下：
f＝relu＝max(0,x) (3)
其中，relu函数为常用激励函数，相对于其他激励函数收敛快。
为了更准确的提取特征，本专利同时使用了3，4，和5的卷积窗口，分别提取句子的三元特征，四元特征以及五元特征。
步骤5.2：池化层特征降维
通过池化层，进行采样特征图，通过K-Max Pooling进行池化操作，提取出每张特征图中最有代表性的特征。本专利中池化层采用的步长为1，过滤器窗口采用了5，4，3三个窗口大小。K值的设计公式如下：
K＝len-fs+1 (4)
其中len为词的维度大小，fs为池化层的窗口大小。
卷积神经网络的卷积层和池化层分别通过卷积操作和池化操作对短文本句子进行特征提取，得到三元，四元和五元特征向量，经过融合层，将三类特征向量拼接在一起，作为双向长短时记忆神经网络的输入。
步骤6：双向长短时记忆神经网络提取更高级特征
如图3所示，将卷积神经网络提取的特征输入到双向长短时记忆神经网络，使模型更进一步提取文本特征。
由于标准的长短时记忆神经网路其隐藏层状态的传递是从前往后单向传递的，因此该时刻的记忆网络只能够看到历史信息，而没有办法看到未来的信息。然而，在某些问题中，可能当前时刻的输出不仅与之前的状态有关，也可能与之后的状态有关。尤其是在情感分析任务中，更希望能够获取整个句子的信息，对整个句子进行分析情感，如果只是利用其中的一部分，可能得到的情感不够准确。
因此，本专利采用双向长短时记忆模型，该模型能同时捕获正向的语义信息和逆向的语义信息。将卷积神经网络提取的特征矩阵输入到双向长短时记忆模型，其中x1，x2，x3，…，xi代表输入数据的语义表达式，h1，h2，h3，…，hi代表为前向LSTM网络中设置的隐藏层，s1，s2，s3，…，si代表为后向LSTM网络中设置的隐藏层，y1，y2，y3，…，yi代表前向与后向合并后的语义信息。
在t时刻双向长短时记忆模型如下：
yt＝g(Vht+V′st) (5)
st＝f(Uxt+Wht-1) (6)
s′t＝f(U′xt+W′st+1) (7)
正向计算时，隐藏层的ht与ht-1有关；反向计算时，隐藏层的st与st+1有关。
步骤7：结合Attention机制提取句子中的关键词
如图4所示，本专利采用将双向长短时记忆模型输出作为Attention机制的输入，得到文本各词语信息对输出结果的权重。
引入Attention机制，可以使模型更加关注某个词。相比于之前的encoder-decoder模型，Attention模型最大的区别就在于它不在要求编码器将所有输入信息都编码进一个固定长度的向量之中。相反，此时编码器需要将输入编码成一个向量的序列，而在解码的时候，每一步都会选择性的从向量序列中挑选一个子集进行进一步处理。这样，在产生每一个输出的时候，都能够做到充分利用输入序列携带的信息。
本专利通过注意力机制进行文本内各词语注意力值得计算，计算公式如下：
其中，hi为经过双向长短时记忆模型后得到的文本特征向量，W1为参数向量，bw为偏置量，为通过神经网络得到的对hi的隐层表示。是通过对进行softmax函数进行归一化得到的权重矩阵。最后通过权重矩阵与文本特征向量hi进行加权和，得到包含文本各词语重要性信息的文本向量ct，并将其作为分类器的输入。
步骤8：将Attention层的输出，输入到全连接层，并采用softmax函数进行情感极性评估。
步骤9：本专利采用正负两种情感极性，进行测试集情感极性的预测。采用的数据集为中国中文信息学会举办的自然语言处理会议公布的深度学习情绪分类评测数据集NLPCC和康奈尔大学公布的英文电影影评数据集(Movie Review Data)。具体的实验结果如下表所示：
表1模型测试准确率
通过实验，验证了本发明提出的方法取得了相对较高的准确率。
Claims (2)
1.一种BiLSTM结合Attention机制的短文本情感倾向性分析的方法，其特征在于，包括以下步骤：
步骤1：对数据进行清洗预处理；
步骤2：对数据集按8:2分为测试集和训练集；
步骤3：训练词向量
步骤3.1：对数据进行序列化
采用Glove进行词向量处理，采用Glove模型，将每个词处理成统一长度100维向量，同时将每个句子统一长度为100，多则截取，少则补0；
步骤3.2：构建初始化权重
获取训练文本的所有词，并将单词映射为自己的索引，构建文本词典；将构建好的词典一一和Glove词典进行对比，若Glove词典中包括该词的词向量，则用该词向量进行初始化，否则将该词进行随机初始化，根据此方法进行初始化权重，即将训练文本S＝(W1,W2…Wi…Wn)中的单词Wi映射为wi，wi∈Rd，其中d为单词的向量维度；
步骤4：对每个句子进行初始化
将每一个句子与构建好的词向量词典进行对比，初始化每个句子对应的词向量，构建出每个句子对应的二维矩阵，即对应的矩阵可表示为：
Z∈Rn×k (1)
其中n为句子的长度，k为每个词的维度。
步骤5：特征选择提取
步骤5.1：卷积层特征提取
卷积层使用不同的卷积核对输入矩阵进行卷积操作，提取输入的局部特征，得到卷积核特征向量图：
c＝f(W·x+b) (2)
其中，x为卷积核窗口词向量矩阵，W为权重矩阵，b为偏置，f为激活函数，
然后需要对每一个卷积核的卷积结果做非线性映射，公式如下：
f＝relu＝max(0,x) (3)
其中，relu函数为常用激励函数，
步骤5.2：池化层特征降维
通过池化层，进行采样特征图，通过K-Max Pooling进行池化操作，提取出每张特征图中最有代表性的特征；
卷积神经网络的卷积层和池化层分别通过卷积操作和池化操作对短文本句子进行特征提取，得到三元，四元和五元特征向量，经过融合层，将三类特征向量拼接在一起，作为双向长短时记忆神经网络的输入；
步骤5.3：双向长短时记忆神经网络提取更高级特征
采用双向长短时记忆模型，同时捕获正向的语义信息和逆向的语义信息，将卷积神经网络提取的特征矩阵输入到双向长短时记忆神经网络模型，其中，x1，x2，x3，…，xi代表输入数据的语义表达式，h1，h2，h3，…，hi代表为前向LSTM网络中设置的隐藏层，s1，s2，s3，…，si代表为后向LSTM网络中设置的隐藏层，y1，y2，y3，…，yi代表前向与后向合并后的语义信息，
在t时刻双向长短时记忆模型如下：
yt＝g(Vht+V′st) (5)
st＝f(Uxt+Wht-1) (6)
s′t＝f(U′xt+W′st+1) (7)
正向计算时，隐藏层的ht与ht-1有关；反向计算时，隐藏层的st与st+1有关；
步骤5.4：结合Attention机制提取句子中的关键词
通过Attention机制进行文本内各词语注意力值得计算，计算公式如下：
其中，hi为经过双向长短时记忆模型后得到的文本特征向量，W1为参数向量，bw为偏置量，为通过神经网络得到的对hi的隐层表示。是通过对进行softmax函数进行归一化得到的权重矩阵。最后通过权重矩阵与文本特征向量hi进行加权和，得到包含文本各词语重要性信息的文本向量ct，并将其作为分类器的输入；
步骤6：将Attention层的输出，输入到全连接层，并采用softmax函数进行情感极性评估。
2.如权利要求1所述的BiLSTM结合Attention机制的短文本情感倾向性分析的方法，其特征在于，步骤5.2的池化层特征降维中池化层采用的步长为1，过滤器窗口采用了5，4，3三个窗口大小，K值的设计公式如下：
K＝len-fs+1 (4)
其中，len为词的维度大小，fs为池化层的窗口大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811538033.6A CN109740148B (zh) | 2018-12-16 | 2018-12-16 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811538033.6A CN109740148B (zh) | 2018-12-16 | 2018-12-16 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109740148A true CN109740148A (zh) | 2019-05-10 |
| CN109740148B CN109740148B (zh) | 2023-12-22 |
Family
ID=66360367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811538033.6A Active CN109740148B (zh) | 2018-12-16 | 2018-12-16 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740148B (zh) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097894A (zh) * | 2019-05-21 | 2019-08-06 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| CN110119449A (zh) * | 2019-05-14 | 2019-08-13 | 湖南大学 | 一种基于序列增强胶囊网络的刑事案件罪名预测方法 |
| CN110196980A (zh) * | 2019-06-05 | 2019-09-03 | 北京邮电大学 | 一种基于卷积网络在中文分词任务上的领域迁移 |
| CN110232127A (zh) * | 2019-06-17 | 2019-09-13 | 重庆紫光华山智安科技有限公司 | 文本分类方法及装置 |
| CN110321565A (zh) * | 2019-07-09 | 2019-10-11 | 广东工业大学 | 基于深度学习的实时文本情感分析方法、装置及设备 |
| CN110347192A (zh) * | 2019-06-17 | 2019-10-18 | 武汉理工大学 | 基于注意力机制和自编码器的玻璃炉温智能预测控制方法 |
| CN110400579A (zh) * | 2019-06-25 | 2019-11-01 | 华东理工大学 | 基于方向自注意力机制和双向长短时网络的语音情感识别 |
| CN110399611A (zh) * | 2019-07-03 | 2019-11-01 | 深兰科技（上海）有限公司 | 一种文本分析方法、装置及存储介质 |
| CN110472003A (zh) * | 2019-08-08 | 2019-11-19 | 东北大学 | 基于图卷积网络的社交网络文本情感细粒度分类方法 |
| CN110472236A (zh) * | 2019-07-23 | 2019-11-19 | 浙江大学城市学院 | 一种基于注意力机制的双向gru文本可读性评估方法 |
| CN110516065A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于多路动态掩码的注意力神经网络的方法 |
| CN110532378A (zh) * | 2019-05-13 | 2019-12-03 | 南京大学 | 一种基于主题模型的短文本方面提取方法 |
| CN110728153A (zh) * | 2019-10-15 | 2020-01-24 | 天津理工大学 | 基于模型融合的多类别情感分类方法 |
| CN110879938A (zh) * | 2019-11-14 | 2020-03-13 | 中国联合网络通信集团有限公司 | 文本情感分类方法、装置、设备和存储介质 |
| CN111008529A (zh) * | 2019-07-24 | 2020-04-14 | 贵州大学 | 一种基于神经网络的中文关系抽取方法 |
| CN111079547A (zh) * | 2019-11-22 | 2020-04-28 | 武汉大学 | 一种基于手机惯性传感器的行人移动方向识别方法 |
| CN111147396A (zh) * | 2019-12-26 | 2020-05-12 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
| CN111444700A (zh) * | 2020-04-02 | 2020-07-24 | 山东山大鸥玛软件股份有限公司 | 一种基于语义文档表达的文本相似度量方法 |
| CN111723572A (zh) * | 2020-06-12 | 2020-09-29 | 广西师范大学 | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 |
| CN111881260A (zh) * | 2020-07-31 | 2020-11-03 | 安徽农业大学 | 基于方面注意力和卷积记忆神经网络情感分析方法及装置 |
| CN111950784A (zh) * | 2020-08-04 | 2020-11-17 | 广东工业大学 | 一种融合注意力机制的产能预测方法 |
| CN111966827A (zh) * | 2020-07-24 | 2020-11-20 | 大连理工大学 | 基于异构二部图的对话情感分析方法 |
| CN111985369A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法 |
| CN112401834A (zh) * | 2020-10-19 | 2021-02-26 | 南方科技大学 | 一种运动阻碍型疾病诊断装置 |
| CN112435363A (zh) * | 2019-08-26 | 2021-03-02 | 贵州大学 | 一种刀具磨损状态实时监测方法 |
| CN112464281A (zh) * | 2020-11-29 | 2021-03-09 | 哈尔滨工程大学 | 基于隐私分组和情感识别的网络信息分析方法 |
| CN112541083A (zh) * | 2020-12-23 | 2021-03-23 | 西安交通大学 | 一种基于主动学习混合神经网络的文本分类方法 |
| CN112966526A (zh) * | 2021-04-20 | 2021-06-15 | 吉林大学 | 一种基于情感词向量的汽车在线评论情感分析方法 |
| CN113010680A (zh) * | 2021-03-19 | 2021-06-22 | 国网河北省电力有限公司营销服务中心 | 电力工单文本分类方法、装置及终端设备 |
| WO2021169364A1 (zh) * | 2020-09-23 | 2021-09-02 | 平安科技（深圳）有限公司 | 分析语义情感的方法、装置、设备及存储介质 |
| CN113408934A (zh) * | 2021-07-05 | 2021-09-17 | 中国工商银行股份有限公司 | 催收任务分配方法、装置、设备、存储介质、程序产品 |
| CN114357166A (zh) * | 2021-12-31 | 2022-04-15 | 北京工业大学 | 一种基于深度学习的文本分类方法 |
| CN115019893A (zh) * | 2022-06-14 | 2022-09-06 | 邵阳学院 | 一种基于双向长短时记忆和注意机制的增强子识别方法 |
| CN117097674A (zh) * | 2023-10-20 | 2023-11-21 | 南京邮电大学 | 一种采样时间不敏感频率维度可配置的网络特征提取方法 |
| CN114357166B (zh) * | 2021-12-31 | 2024-05-28 | 北京工业大学 | 一种基于深度学习的文本分类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578106A (zh) * | 2017-09-18 | 2018-01-12 | 中国科学技术大学 | 一种融合单词语义知识的神经网络自然语言推理方法 |
| CN108052982A (zh) * | 2017-12-22 | 2018-05-18 | 北京联合网视文化传播有限公司 | 一种基于贴图表情的情感检测方法以及系统 |
| CN108415923A (zh) * | 2017-10-18 | 2018-08-17 | 北京邮电大学 | 封闭域的智能人机对话系统 |
| US20180349359A1 (en) * | 2017-05-19 | 2018-12-06 | salesforce.com,inc. | Natural language processing using a neural network |
-
2018
- 2018-12-16 CN CN201811538033.6A patent/CN109740148B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180349359A1 (en) * | 2017-05-19 | 2018-12-06 | salesforce.com,inc. | Natural language processing using a neural network |
| CN107578106A (zh) * | 2017-09-18 | 2018-01-12 | 中国科学技术大学 | 一种融合单词语义知识的神经网络自然语言推理方法 |
| CN108415923A (zh) * | 2017-10-18 | 2018-08-17 | 北京邮电大学 | 封闭域的智能人机对话系统 |
| CN108052982A (zh) * | 2017-12-22 | 2018-05-18 | 北京联合网视文化传播有限公司 | 一种基于贴图表情的情感检测方法以及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 白静等: "基于注意力的BiLSTM-CNN中文微博立场检测模型", 《计算机应用与软件》 * |
| 黄丹丹等: "融合attention机制的BI-LSTM-CRF中文分词模型", 《软件》 * |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532378A (zh) * | 2019-05-13 | 2019-12-03 | 南京大学 | 一种基于主题模型的短文本方面提取方法 |
| CN110532378B (zh) * | 2019-05-13 | 2021-10-26 | 南京大学 | 一种基于主题模型的短文本方面提取方法 |
| CN110119449A (zh) * | 2019-05-14 | 2019-08-13 | 湖南大学 | 一种基于序列增强胶囊网络的刑事案件罪名预测方法 |
| CN110119449B (zh) * | 2019-05-14 | 2020-12-25 | 湖南大学 | 一种基于序列增强胶囊网络的刑事案件罪名预测方法 |
| CN110097894B (zh) * | 2019-05-21 | 2021-06-11 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| CN110097894A (zh) * | 2019-05-21 | 2019-08-06 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| CN110196980A (zh) * | 2019-06-05 | 2019-09-03 | 北京邮电大学 | 一种基于卷积网络在中文分词任务上的领域迁移 |
| CN110232127A (zh) * | 2019-06-17 | 2019-09-13 | 重庆紫光华山智安科技有限公司 | 文本分类方法及装置 |
| CN110347192A (zh) * | 2019-06-17 | 2019-10-18 | 武汉理工大学 | 基于注意力机制和自编码器的玻璃炉温智能预测控制方法 |
| CN110232127B (zh) * | 2019-06-17 | 2021-11-16 | 重庆紫光华山智安科技有限公司 | 文本分类方法及装置 |
| CN110400579A (zh) * | 2019-06-25 | 2019-11-01 | 华东理工大学 | 基于方向自注意力机制和双向长短时网络的语音情感识别 |
| CN110399611A (zh) * | 2019-07-03 | 2019-11-01 | 深兰科技（上海）有限公司 | 一种文本分析方法、装置及存储介质 |
| CN110321565A (zh) * | 2019-07-09 | 2019-10-11 | 广东工业大学 | 基于深度学习的实时文本情感分析方法、装置及设备 |
| CN110321565B (zh) * | 2019-07-09 | 2024-02-23 | 广东工业大学 | 基于深度学习的实时文本情感分析方法、装置及设备 |
| CN110516065A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于多路动态掩码的注意力神经网络的方法 |
| CN110472236A (zh) * | 2019-07-23 | 2019-11-19 | 浙江大学城市学院 | 一种基于注意力机制的双向gru文本可读性评估方法 |
| CN111008529B (zh) * | 2019-07-24 | 2023-07-21 | 贵州大学 | 一种基于神经网络的中文关系抽取方法 |
| CN111008529A (zh) * | 2019-07-24 | 2020-04-14 | 贵州大学 | 一种基于神经网络的中文关系抽取方法 |
| CN110472003B (zh) * | 2019-08-08 | 2022-02-22 | 东北大学 | 基于图卷积网络的社交网络文本情感细粒度分类方法 |
| CN110472003A (zh) * | 2019-08-08 | 2019-11-19 | 东北大学 | 基于图卷积网络的社交网络文本情感细粒度分类方法 |
| CN112435363B (zh) * | 2019-08-26 | 2022-08-16 | 贵州大学 | 一种刀具磨损状态实时监测方法 |
| CN112435363A (zh) * | 2019-08-26 | 2021-03-02 | 贵州大学 | 一种刀具磨损状态实时监测方法 |
| CN110728153A (zh) * | 2019-10-15 | 2020-01-24 | 天津理工大学 | 基于模型融合的多类别情感分类方法 |
| CN110879938A (zh) * | 2019-11-14 | 2020-03-13 | 中国联合网络通信集团有限公司 | 文本情感分类方法、装置、设备和存储介质 |
| CN111079547A (zh) * | 2019-11-22 | 2020-04-28 | 武汉大学 | 一种基于手机惯性传感器的行人移动方向识别方法 |
| CN111147396B (zh) * | 2019-12-26 | 2023-03-21 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
| CN111147396A (zh) * | 2019-12-26 | 2020-05-12 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
| CN111444700A (zh) * | 2020-04-02 | 2020-07-24 | 山东山大鸥玛软件股份有限公司 | 一种基于语义文档表达的文本相似度量方法 |
| CN111723572A (zh) * | 2020-06-12 | 2020-09-29 | 广西师范大学 | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 |
| CN111966827A (zh) * | 2020-07-24 | 2020-11-20 | 大连理工大学 | 基于异构二部图的对话情感分析方法 |
| CN111881260A (zh) * | 2020-07-31 | 2020-11-03 | 安徽农业大学 | 基于方面注意力和卷积记忆神经网络情感分析方法及装置 |
| CN111881260B (zh) * | 2020-07-31 | 2024-05-17 | 安徽农业大学 | 基于方面注意力和卷积记忆神经网络情感分析方法及装置 |
| CN111950784B (zh) * | 2020-08-04 | 2023-06-09 | 广东工业大学 | 一种融合注意力机制的产能预测方法 |
| CN111950784A (zh) * | 2020-08-04 | 2020-11-17 | 广东工业大学 | 一种融合注意力机制的产能预测方法 |
| CN111985369A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法 |
| CN111985369B (zh) * | 2020-08-07 | 2021-09-17 | 西北工业大学 | 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法 |
| WO2021169364A1 (zh) * | 2020-09-23 | 2021-09-02 | 平安科技（深圳）有限公司 | 分析语义情感的方法、装置、设备及存储介质 |
| CN112401834A (zh) * | 2020-10-19 | 2021-02-26 | 南方科技大学 | 一种运动阻碍型疾病诊断装置 |
| CN112464281B (zh) * | 2020-11-29 | 2022-11-18 | 深圳市索迪统计科技有限公司 | 基于隐私分组和情感识别的网络信息分析方法 |
| CN112464281A (zh) * | 2020-11-29 | 2021-03-09 | 哈尔滨工程大学 | 基于隐私分组和情感识别的网络信息分析方法 |
| CN112541083A (zh) * | 2020-12-23 | 2021-03-23 | 西安交通大学 | 一种基于主动学习混合神经网络的文本分类方法 |
| CN113010680A (zh) * | 2021-03-19 | 2021-06-22 | 国网河北省电力有限公司营销服务中心 | 电力工单文本分类方法、装置及终端设备 |
| CN112966526A (zh) * | 2021-04-20 | 2021-06-15 | 吉林大学 | 一种基于情感词向量的汽车在线评论情感分析方法 |
| CN113408934A (zh) * | 2021-07-05 | 2021-09-17 | 中国工商银行股份有限公司 | 催收任务分配方法、装置、设备、存储介质、程序产品 |
| CN114357166A (zh) * | 2021-12-31 | 2022-04-15 | 北京工业大学 | 一种基于深度学习的文本分类方法 |
| CN114357166B (zh) * | 2021-12-31 | 2024-05-28 | 北京工业大学 | 一种基于深度学习的文本分类方法 |
| CN115019893A (zh) * | 2022-06-14 | 2022-09-06 | 邵阳学院 | 一种基于双向长短时记忆和注意机制的增强子识别方法 |
| CN117097674A (zh) * | 2023-10-20 | 2023-11-21 | 南京邮电大学 | 一种采样时间不敏感频率维度可配置的网络特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109740148B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740148A (zh) | 一种BiLSTM结合Attention机制的文本情感分析方法 | |
| CN106980683B (zh) | 基于深度学习的博客文本摘要生成方法 | |
| CN107066583B (zh) | 一种基于紧凑双线性融合的图文跨模态情感分类方法 | |
| CN109933664B (zh) | 一种基于情感词嵌入的细粒度情绪分析改进方法 | |
| CN110287320A (zh) | 一种结合注意力机制的深度学习多分类情感分析模型 | |
| CN109460737A (zh) | 一种基于增强式残差神经网络的多模态语音情感识别方法 | |
| CN107729311B (zh) | 一种融合文本语气的中文文本特征提取方法 | |
| CN108984530A (zh) | 一种网络敏感内容的检测方法及检测系统 | |
| CN109558487A (zh) | 基于层次性多注意力网络的文档分类方法 | |
| CN109284506A (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
| CN108427670A (zh) | 一种基于语境词向量和深度学习的情感分析方法 | |
| CN109145112A (zh) | 一种基于全局信息注意力机制的商品评论分类方法 | |
| CN109614487B (zh) | 一种基于张量融合方式的情感分类的方法 | |
| CN108763216A (zh) | 一种基于中文数据集的文本情感分析方法 | |
| CN107688576B (zh) | 一种cnn-svm模型的构建及倾向性分类方法 | |
| CN109885670A (zh) | 一种面向话题文本的交互注意力编码情感分析方法 | |
| CN110390018A (zh) | 一种基于lstm的社交网络评论生成方法 | |
| CN110083833A (zh) | 中文字词向量和方面词向量联合嵌入情感分析方法 | |
| CN110826338B (zh) | 一种单选择门与类间度量的细粒度语义相似识别的方法 | |
| CN110807320A (zh) | 基于cnn双向gru注意力机制的短文本情感分析方法 | |
| CN110209789A (zh) | 一种用户注意力引导的多模态对话系统及方法 | |
| CN110717330A (zh) | 基于深度学习的词句级短文本分类方法 | |
| CN110162639A (zh) | 识图知意的方法、装置、设备及存储介质 | |
| Fung et al. | Empathetic dialog systems | |
| Wen et al. | Recurrent convolutional neural network with attention for twitter and yelp sentiment classification: ARC model for sentiment classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |