CN107092596B - 基于attention CNNs和CCR的文本情感分析方法 - Google Patents

基于attention CNNs和CCR的文本情感分析方法 Download PDF

Info

Publication number
CN107092596B
CN107092596B CN201710271861.7A CN201710271861A CN107092596B CN 107092596 B CN107092596 B CN 107092596B CN 201710271861 A CN201710271861 A CN 201710271861A CN 107092596 B CN107092596 B CN 107092596B
Authority
CN
China
Prior art keywords
word
word vector
emotion
matrix
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710271861.7A
Other languages
English (en)
Other versions
CN107092596A (zh
Inventor
张祖凡
邹阳
甘臣权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710271861.7A priority Critical patent/CN107092596B/zh
Publication of CN107092596A publication Critical patent/CN107092596A/zh
Application granted granted Critical
Publication of CN107092596B publication Critical patent/CN107092596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了基于attention CNNs和CCR的文本情感分析方法，属于自然语言处理领域。该方法包括以下步骤：1、利用原始文本数据训练语义词向量和情感词向量并利用搜集的情感词典进行词典词向量构建；2、利用长短时记忆网络LSTM捕获单词的上下文语义用于歧义消除；3、利用卷积神经网络(结合不同滤波长度的卷积核提取文本的局部特征；4、再利用三种不同的注意力机制分别提取全局特征；5、对原始文本数据进行人工特征提取；6、利用局部特征，全局特征以及人工特征对多模一致回归目标函数进行训练；7、利用多模一致回归预测方法进行情感极性预测。本发明相对于采用单一词向量或仅提取文本局部特征等方法，能够进一步提高情感分类精度。

Description

基于attention CNNs和CCR的文本情感分析方法
技术领域
本发明是一种对文本情感进行分析的方法，属于自然语言处理领域。
背景技术
随着推特(Twitter)、脸书(Facebook)、微博(Weibo)等社交平台和亚马逊(Amazon)、淘宝(Taobao)等电子商务平台的兴起，网络上评论性文本资源与日俱増。面对来自微博、论坛的大量非结构化的评论文本，迫切需要通过自然语言处理技术对文本中表达的情感倾向进行分析判断。例如，从评论中识别出商品属性的情感信息，可为商家和其他用户提供决策支持；在舆情监控中，政府可及时了解民众对突发事件、社会现象的态度，引导舆论趋势。传统情感分析绝大多数都是采用传统NLP特征与机器学习相结合的方式来构建模型。但传统NLP特征的设计往往需要专家的领域知识，人工成本较高，系统的泛化性和迁移性差。近两年兴起的深度学习方法能较好地弥补上述方法的缺陷，深度学习能够自动学习出描述数据本质的特征表达，从而避免了人工设计特征的缺陷。
目前，深度学习用于情感分析的技术包括词向量，卷积神经网络和循环神经网络等。每个词通过一组词向量表示，并且词向量与词向量之间存在特定关系。句子表示为词向量矩阵后，利用卷积神经网络Convolutional Neural Network(CNN)结构提取文本特征。但这种特征只能表示文本的局部信息缺乏全局特征，所提取的特征较为单一，不足以体现文本的情感极性。特征质量直接决定情感分类精度的高低，因此怎样提取出更合适的文本特征是一项非常重要的工作。其次传统词向量的学习是通过训练学习语言模型而得到的产物，词的分布式表达中仅包含了语义和语法信息，缺乏了情感信息，而在情感分析任务中，情感信息起着非常重要的作用。
发明内容
本发明提出一种基于attention CNNs结合注意力的卷积神经网络和CCR多模一致回归的文本情感分析方法，通过分析分词文本的情感极性，解决只提取分析文本的局部特征，从而导致缺乏全局特征，提取的特征单一，不足以体现文本的情感极性的问题。
为达到发明目的采取的具体技术方案为：
基于attention CNNs和CCR的文本情感分析方法:
步骤一、首先将原始文本数据分为训练样本及测试样本。然后对原始文本数据进行分词处理得到分词文本，利用分词文本进行语义词向量和情感词向量训练。利用已有情感词典进行词典词向量构建。
步骤二、利用语义词向量、情感词向量和词典词向量分别表示分词文本，得到三种类型初始输入词向量矩阵。利用长短时记忆网络LSTM捕获三种类型初始输入词向量矩阵中每一单词的上下文语义，融入上下文信息后得到三种类型输出词向量矩阵，输出词向量矩阵能够消除单词歧义。
所述三种类型初始输入词向量矩阵包括：初始输入词典词向量矩阵、初始输入语义词向量矩阵和初始输入情感词向量矩阵。所述三种类型输出词向量矩阵包括：输出词典词向量矩阵、输出语义词向量矩阵和输出情感词向量矩阵。
步骤三、利用卷积神经网络CNN并结合不同滤波长度的卷积核提取三种类型输出词向量矩阵的局部特征。
步骤四、利用三种不同的注意力机制，即长短时记忆网络注意力机制、注意力采样以及注意力向量分别提取输出语义词向量矩阵和输出情感词向量矩阵的全局特征。
步骤五、对原始文本数据提取人工设计特征。
步骤六、利用所述局部特征、所述全局特征及所述人工设计特征对多模一致回归目标函数进行参数训练。
步骤七、求得多模一致回归最佳参数，通过多模一致回归预测方法对初始输入词向量矩阵进行正向，中立或者负向情感极性分析。
具体地，所述语义词向量训练：采用Skip-gram模型训练语义词向量。该模型从目标词w的上下文c中选择一个词，将上下文c中的一个词作为模型输入，预测目标词w。首先将原始文本数据进行分词处理得到分词文本，然后将分词文本送入Skip-gram模型，通过最大化语义词向量损失函数：
Figure BDA0001277623030000021
得到语义词向量。其中，Z表示分词处理后的文本，w表示目标词，c表示目标词所对应的上下文，wj表示上下文c中的一个词，j表示上下文c中单词个数，P(wj|w)表示通过目标词w预测wj的概率。
所述情感词向量训练：在Skip-gram模型基础上加入分类层softmax layer，用于训练情感词向量。语义部分损失函数与语义词向量相同，情感部分损失函数为
Lsentiment＝∑y·log(y_pred)
其中，y-pred＝softmax(X)表示预测的情感标签，X表示上述训练得到的语义词向量，y表示真实情感标签。最后将语义词向量损失函数Lsemantic和情感部分损失函数Lsentimen线性结合得到情感词向量损失函数：
Figure BDA0001277623030000031
其中
Figure BDA0001277623030000032
表示权重因子。通过最小化情感词向量损失函数L得到情感词向量，该向量既包含了语义关系又融入了情感信息。
所述词典词向量构建：情感词典包含一个词的情感得分，不同情感词典得分标准不同。本发明将所有情感词典单词得分归一化到[-1,1]，得到词典词向量矩阵。矩阵中每一行代表一个词在不同情感词典的情感得分，若一单词未出现在某一情感词典当中，用0代替。
具体地，步骤二的具体过程为：原始文本数据经过分词处理后的分词文本利用上述所得词向量表示，得到三种类型初始输入词向量矩阵D且
Figure BDA0001277623030000033
即D是一个n×di的矩阵，其中n表示句子中单词个数，di表示相应词向量维度，i＝{1,2,3}。所述初始输入语义词向量矩阵表示为
Figure BDA0001277623030000034
初始输入词典词向量矩阵表示为
Figure BDA0001277623030000035
初始输入情感词向量矩阵表示
Figure BDA0001277623030000036
然后，利用双向长短时记忆网络LSTM结构捕获单词的上下文信息用于歧义消除，单词的上文信息向量表示为
Figure BDA0001277623030000037
下文信息向量表示为
Figure BDA0001277623030000038
其中dl和dr分别对应上文和下文信息向量的维度。融入上下文信息后的输出词向量矩阵表示为
Figure BDA0001277623030000039
其中dl+di+dr为融合后的词向量维度。所述输出语义词向量矩阵表示为
Figure BDA00012776230300000310
输出词典词向量矩阵表示为
Figure BDA00012776230300000311
以及输出情感词向量矩阵表示为
Figure BDA00012776230300000312
具体地，所述步骤三的具体处理过程为：利用滤波长度l的CNN卷积核，对三种类型的输出词向量矩阵
Figure BDA00012776230300000313
进行卷积操作，卷积参数
Figure BDA00012776230300000314
不同的滤波长度卷积核得到不同的卷积矩阵
Figure BDA00012776230300000315
当滤波长度l＝g时,卷积矩阵为g元卷积矩阵，其中m为卷积核个数。对输出语义词向量矩阵
Figure BDA00012776230300000316
和输出情感词向量矩阵
Figure BDA00012776230300000317
卷积核个数为m1。对输出词典词向量矩阵
Figure BDA0001277623030000041
卷积核个数为m2。然后对卷积矩阵S每一列进行最大化采样得到输出词向量矩阵
Figure BDA0001277623030000042
的局部特征xl，其中输出语义词向量矩阵的局部特征表示为xl1，输出词典词向量的局部特征表示为xl2，输出情感词向量的局部特征表示为xl3。
具体地，所述步骤四的具体处理过程为：
a、利用双向长短时记忆网络注意力机制提取输出词向量矩阵
Figure BDA0001277623030000043
的全局特征，计算输出词向量矩阵
Figure BDA0001277623030000044
中每个单词的注意力权重。首先，同样通过LSTM结构得到每个单词所对应的隐向量。然后，根据隐向量计算得到输出词向量矩阵
Figure BDA0001277623030000045
中第i个词的初始权重
Figure BDA0001277623030000046
其中
Figure BDA0001277623030000047
表示输出词向量矩阵
Figure BDA0001277623030000048
中第i个词的隐向量，ba为偏置参数，Wa和vT为网络结构权重参数。对输出词向量矩阵
Figure BDA0001277623030000049
其对应的初始权重向量表示为
Figure BDA00012776230300000410
其中
Figure BDA00012776230300000411
表示输出词向量矩阵
Figure BDA00012776230300000412
中第i个词初始权重，n为输出词向量矩阵
Figure BDA00012776230300000413
中单词个数。接着对初始权重向量进行归一化操作得到概率权重向量
Figure BDA00012776230300000414
其中
Figure BDA00012776230300000415
表示输出词向量矩阵
Figure BDA00012776230300000416
中第i个词概率权重。最后将概率权重向量aa与输出词向量矩阵
Figure BDA00012776230300000417
相乘得到全局特征。由于词典词向量维度较低，忽略词典词向量全局特征。语义词向量全局特征表示为xg1，情感词向量全局特征表示为xg3。
b、注意力采样提取输出词向量矩阵
Figure BDA00012776230300000418
的全局特征：首先，根据均匀分布Uni(-β,β)随机初始化类别矩阵
Figure BDA00012776230300000419
其中c表示情感类别数，包括正向，中立和负向三个类别，
Figure BDA00012776230300000420
表示均匀分布的区间参数。定义关联矩阵
Figure BDA00012776230300000421
来捕获卷积矩阵S和类别矩阵Wclass之间的关系,其中关联矩阵G＝STUWclass，ST为转置后的卷积矩阵，U为权重矩阵。随后对关联矩阵G进行归一化操作获得注意力矩阵A，最后转置卷积矩阵ST与A相乘得到特征信息。对矩阵STA的每一行进行最大化处理，筛选出对情感极性判断最相关的特征
Figure BDA00012776230300000422
其中p和q分别表示矩阵STA的行和列，最后得到输出词向量矩阵
Figure BDA00012776230300000423
的全局特征。同样，语义词向量全局特征表示为xg1，情感词向量全局特征表示为xg3。
c、注意力向量提取输出词向量矩阵
Figure BDA0001277623030000051
的全局特征：首先对滤波长度l＝1的一元卷积矩阵的行进行最大化处理得到一元注意力向量，转置后的输出词向量矩阵
Figure BDA0001277623030000052
与之一元注意力向量相乘得到一元全局特征。对二元词组，同样对滤波长度l＝2的二元卷积矩阵行进行最大化处理得到二元注意力向量，二元输出词向量矩阵表示为
Figure BDA0001277623030000053
其中二元输出词向量矩阵每一行表示为
Figure BDA0001277623030000054
ri为输出词向量矩阵
Figure BDA0001277623030000055
第i行，转置二元输出词向量矩阵
Figure BDA0001277623030000056
与二元注意力向量相乘得到二元全局特征。同样，词典词向量维度低，忽略其全局特征。语义词向量所有全局特征首尾相连融合成xg1，情感词向量所有全局特征首尾相连融合为xg3。
具体地，所述人工设计特征包括：形态学特征、词性特征、否定检测、词典得分。所述形态学特征包括大写单词个数、问号出现次数，感叹号出现次数。所述词性特征包括：每种词性词在句中所出现次数。所述否定检测包括：否定词出现次数。所述词典得分包括：句子情感总得分和句子最后一词得分。
具体地，所述步骤六的具体处理过程为：首先定义p和q为两种长度相同的离散概率分布，D(p||q)定义为KL散度之和：D(p||q)＝DKL(p||q)+DKL(q||p)。将语义词向量局部特征xl1、词典词向量局部特征xl2、全局特征xg1及人工特征xt首尾相连聚合成特征x1＝[xt；xg1；xl1；xl2]T。同样将情感词向量局部特征xl3、词典词向量局部特征xl2、全局特征xg3及人工特征xt首尾相连聚合成特征x2＝[xt；xg3；xl3；xl2]T。将特征x1和特征x2首尾相连聚合成特征xc。最后，最小化多模一致回归目标函数求得多模一致回归的参数。
Figure BDA0001277623030000057
其中，
Figure BDA0001277623030000058
代表第i个训练样本所提取的特征
Figure BDA0001277623030000059
所预测的概率类别分布，
Figure BDA00012776230300000510
代表第i个训练样本的融合特征
Figure BDA00012776230300000511
所预测的概率类别分布，yi表示真实概率分布，k＝{1,2}表示不同方面所融合的特征，N表示训练样本数，θc和θk都为正则参数，λ为超参。
具体地，所述步骤七的具体处理过程为：特征
Figure BDA0001277623030000061
所预测情感类别概率分布表示为
Figure BDA0001277623030000062
其中
Figure BDA0001277623030000063
表示特征
Figure BDA0001277623030000064
预测为正向情感类别的概率，
Figure BDA0001277623030000065
表示特征
Figure BDA0001277623030000066
预测为中立情感类别的概率，
Figure BDA0001277623030000067
表示特征
Figure BDA0001277623030000068
预测为负向情感类别的概率。然后利用多模一致回归进行最终情感类别概率预测。输入词向量矩阵属于第j个情感类别概率为：
Figure BDA0001277623030000069
其中j＝1,2,3分别代表正向，中立和负向三种情感类别。
由于卷积神经网络提取的特征仅表现文本的局部，本发明在Skip-gram模型上增加了分类层(softmax layer)用于训练情感词向量，通过搜集大量的情感词典，构成了一个更全面的词典向量，将注意力机制提取文本全局特征与局部特征进行CCR机制融合结合，达到提高分类精度的目的。该方法能够同时捕捉语义及情感信息，提高情感分析的精确度，丰富文本提取的特征。
附图说明
图1为本发明的系统流程图；
图2为情感词向量模型图；
图3为LSTM attention结构图；
图4为一元注意力向量结构图；
图5为二元注意力向量结构图；
图6为本发明系统模型图。
具体实施方式
本发明的方法包括以下步骤：1、利用原始文本数据训练语义词向量和情感词向量并利用搜集的情感词典进行词典词向量构建；2、利用长短时记忆网络LSTM捕获单词的上下文语义用于歧义消除；3、利用卷积神经网络(结合不同滤波长度的卷积核提取文本的局部特征；4、再利用三种不同的注意力机制分别提取全局特征；5、对原始文本数据进行人工特征提取；6、利用局部特征，全局特征以及人工特征对多模一致回归目标函数进行训练；7、利用多模一致回归预测方法进行情感极性预测。本发明相对于采用单一词向量或仅提取文本局部特征等方法，能够进一步提高情感分类精度。
如图1和图6所示，基于attention CNNs和CCR的文本情感分析方法具体过程为:
步骤一、首先将原始文本数据分为训练样本及测试样本。然后对原始文本数据进行分词处理得到分词文本，利用分词文本进行语义词向量和情感词向量训练。利用已有情感词典进行词典词向量构建。
所述语义词向量训练：采用Skip-gram模型训练语义词向量。该模型从目标词w的上下文c中选择一个词，将上下文c中的一个词作为模型输入，预测目标词w。首先将原始文本数据进行分词处理得到分词文本，然后将分词文本送入Skip-gram模型，通过最大化语义词向量损失函数：
Figure BDA0001277623030000071
得到语义词向量。其中，Z表示分词处理后的文本，w表示目标词，c表示目标词所对应的上下文，wj表示上下文c中的一个词，j表示上下文c中单词个数，P(wj|w)表示通过目标词w预测wj的概率。
如图2所示，所述情感词向量训练：在Skip-gram模型基础上加入分类层softmaxlayer，用于训练情感词向量。语义部分损失函数与语义词向量相同，情感部分损失函数为
Lsentiment＝∑y·log(y_pred)
其中，y-pred＝softmax(X)表示预测的情感标签，X表示上述训练得到的语义词向量，y表示真实情感标签。最后将语义词向量损失函数Lsemantic和情感部分损失函数Lsentimen线性结合得到情感词向量损失函数：
Figure BDA0001277623030000072
其中
Figure BDA0001277623030000073
表示权重因子。通过最小化情感词向量损失函数L得到情感词向量，该向量既包含了语义关系又融入了情感信息。
所述词典词向量构建：情感词典包含一个词的情感得分，不同情感词典得分标准不同，本发明将所有情感词典单词得分归一化到[-1,1]，得到词典词向量矩阵。矩阵中每一行代表一个词在不同情感词典的情感得分，若一单词未出现在某一情感词典当中，用0代替。
步骤二、利用语义词向量、情感词向量和词典词向量分别表示分词文本，得到三种类型初始输入词向量矩阵。利用长短时记忆网络LSTM捕获三种类型初始输入词向量矩阵中每一单词的上下文语义，融入上下文信息后得到三种类型输出词向量矩阵，输出词向量矩阵能够消除单词歧义。三种类型初始输入词向量矩阵包括：初始输入词典词向量矩阵、初始输入语义词向量矩阵和初始输入情感词向量矩阵。所述三种类型输出词向量矩阵包括：输出词典词向量矩阵、输出语义词向量矩阵和输出情感词向量矩阵。
如图3所示，具体过程为：原始文本数据经过分词处理后的分词文本利用上述所得词向量表示，得到三种类型初始输入词向量矩阵D且
Figure BDA0001277623030000081
即D是一个n×di的矩阵，其中n表示句子中单词个数，di表示相应词向量维度，i＝{1,2,3}。所述初始输入语义词向量矩阵表示为
Figure BDA0001277623030000082
初始输入词典词向量矩阵表示为
Figure BDA0001277623030000083
初始输入情感词向量矩阵表示
Figure BDA0001277623030000084
然后，利用双向长短时记忆网络LSTM结构捕获单词的上下文信息用于歧义消除，单词的上文信息向量表示为
Figure BDA0001277623030000085
下文信息向量表示为
Figure BDA0001277623030000086
其中dl和dr分别对应上文和下文信息向量的维度。融入上下文信息后的输出词向量矩阵表示为
Figure BDA0001277623030000087
其中dl+di+dr为融合后的词向量维度。所述输出语义词向量矩阵表示为
Figure BDA0001277623030000088
输出词典词向量矩阵表示为
Figure BDA0001277623030000089
以及输出情感词向量矩阵表示为
Figure BDA00012776230300000810
步骤三、利用卷积神经网络CNN并结合不同滤波长度的卷积核提取三种类型输出词向量矩阵的局部特征。具体处理过程为：利用滤波长度l的CNN卷积核，对三种类型的输出词向量矩阵
Figure BDA00012776230300000811
进行卷积操作，卷积参数
Figure BDA00012776230300000812
不同的滤波长度卷积核得到不同的卷积矩阵
Figure BDA00012776230300000813
当滤波长度l＝g时,卷积矩阵为g元卷积矩阵，其中m为卷积核个数。对输出语义词向量矩阵
Figure BDA00012776230300000814
和输出情感词向量矩阵
Figure BDA00012776230300000815
卷积核个数为m1。对输出词典词向量矩阵
Figure BDA00012776230300000816
卷积核个数为m2。然后对卷积矩阵S每一列进行最大化采样得到输出词向量矩阵
Figure BDA00012776230300000817
的局部特征xl，其中输出语义词向量矩阵的局部特征表示为xl1，输出词典词向量的局部特征表示为xl2，输出情感词向量的局部特征表示为xl3。
步骤四、利用三种不同的注意力机制，即长短时记忆网络注意力机制、注意力采样以及注意力向量分别提取输出语义词向量矩阵和输出情感词向量矩阵的全局特征。具体处理过程为：
a、利用双向长短时记忆网络注意力机制提取输出词向量矩阵
Figure BDA0001277623030000091
的全局特征，计算输出词向量矩阵
Figure BDA0001277623030000092
中每个单词的注意力权重。首先，同样通过LSTM结构得到每个单词所对应的隐向量。然后，根据隐向量计算得到输出词向量矩阵
Figure BDA0001277623030000093
中第i个词的初始权重
Figure BDA0001277623030000094
其中
Figure BDA0001277623030000095
表示输出词向量矩阵
Figure BDA0001277623030000096
中第i个词的隐向量，ba为偏置参数，Wa和vT为网络结构权重参数。对输出词向量矩阵
Figure BDA0001277623030000097
其对应的初始权重向量表示为
Figure BDA0001277623030000098
其中
Figure BDA0001277623030000099
表示输出词向量矩阵
Figure BDA00012776230300000910
中第i个词初始权重，n为输出词向量矩阵
Figure BDA00012776230300000911
中单词个数。接着对初始权重向量进行归一化操作得到概率权重向量
Figure BDA00012776230300000912
其中
Figure BDA00012776230300000913
表示输出词向量矩阵
Figure BDA00012776230300000914
中第i个词概率权重。最后将概率权重向量aa与输出词向量矩阵
Figure BDA00012776230300000915
相乘得到全局特征。由于词典词向量维度较低，本发明忽略其全局特征。语义词向量全局特征表示为xg1，情感词向量全局特征表示为xg3。
b、注意力采样提取输出词向量矩阵
Figure BDA00012776230300000916
的全局特征：首先，根据均匀分布Uni(-β,β)随机初始化类别矩阵
Figure BDA00012776230300000917
其中c表示情感类别数，包括正向，中立和负向三个类别，
Figure BDA00012776230300000918
表示均匀分布的区间参数。定义关联矩阵
Figure BDA00012776230300000919
来捕获卷积矩阵S和类别矩阵Wclass之间的关系,其中关联矩阵G＝STUWclass，ST为转置后的卷积矩阵，U为权重矩阵。随后对关联矩阵G进行归一化操作获得注意力矩阵A，最后转置卷积矩阵ST与A相乘得到特征信息。对矩阵STA的每一行进行最大化处理，筛选出对情感极性判断最相关的特征
Figure BDA00012776230300000920
其中p和q分别表示矩阵STA的行和列，最后得到输出词向量矩阵
Figure BDA00012776230300000921
的全局特征。同样，语义词向量全局特征表示为xg1，情感词向量全局特征表示为xg3。
c、注意力向量提取输出词向量矩阵
Figure BDA0001277623030000101
的全局特征：如图4所示，首先对滤波长度l＝1的一元卷积矩阵的行进行最大化处理得到一元注意力向量，转置后的输出词向量矩阵
Figure BDA0001277623030000102
与之一元注意力向量相乘得到一元全局特征。如图5所示，对二元词组，同样对滤波长度l＝2的二元卷积矩阵行进行最大化处理得到二元注意力向量，二元输出词向量矩阵表示为
Figure BDA0001277623030000103
其中二元输出词向量矩阵每一行表示为
Figure BDA0001277623030000104
ri为输出词向量矩阵
Figure BDA0001277623030000105
第i行，转置二元输出词向量矩阵
Figure BDA0001277623030000106
与二元注意力向量相乘得到二元全局特征。同样，词典词向量维度低，忽略其全局特征。语义词向量所有全局特征首尾相连融合成xg1，情感词向量所有全局特征首尾相连融合为xg3。
步骤五、对原始文本数据提取人工设计特征xt。所述人工设计特征包括：形态学特征、词性特征、否定检测、词典得分。所述形态学特征包括大写单词个数、问号出现次数，感叹号出现次数。所述词性特征包括：每种词性词在句中所出现次数。所述否定检测包括：否定词出现次数。所述词典得分包括：句子情感总得分和句子最后一词得分。
步骤六、利用所述局部特征、所述全局特征及所述人工设计特征对多模一致回归目标函数进行参数训练。具体处理过程为：首先定义p和q为两种长度相同的离散概率分布，D(p||q)定义为KL散度之和：D(p||q)＝DKL(p||q)+DKL(q||p)。将语义词向量局部特征xl1，词典词向量局部特征xl2，全局特征xg1及人工特征xt首尾相连聚合成特征x1＝[xt；xg1；xl1；xl2]T。同样将情感词向量局部特征xl3，词典词向量局部特征xl2，全局特征xg3及人工特征xt首尾相连聚合成特征x2＝[xt；xg3；xl3；xl2]T。最后将特征x1和特征x2首尾相连聚合成特征xc。最后，最小化多模一致回归目标函数求得多模一致回归的参数。
Figure BDA0001277623030000107
其中，
Figure BDA0001277623030000108
代表第i个训练样本所提取的特征
Figure BDA0001277623030000109
所预测的概率类别分布，
Figure BDA00012776230300001010
代表第i个训练样本的融合特征
Figure BDA00012776230300001011
所预测的概率类别分布，yi表示真实概率分布，k＝{1,2}表示不同方面所融合的特征，N表示训练样本数，θc和θk都为正则参数，λ为超参。
步骤七、求得多模一致回归最佳参数，通过多模一致回归预测方法对初始输入词向量矩阵进行正向，中立或者负向情感极性分析。具体处理过程为：特征
Figure BDA0001277623030000111
所预测情感类别概率分布表示为
Figure BDA0001277623030000112
其中
Figure BDA0001277623030000113
表示特征
Figure BDA0001277623030000114
预测为正向情感类别的概率，
Figure BDA0001277623030000115
表示特征
Figure BDA0001277623030000116
预测为中立情感类别的概率，
Figure BDA0001277623030000117
表示特征
Figure BDA0001277623030000118
预测为负向情感类别的概率。然后利用多模一致回归进行最终情感类别概率预测。输入词向量矩阵属于第j个情感类别概率为：
Figure BDA0001277623030000119
其中j＝1,2,3分别代表正向，中立和负向三种情感类。

Claims (8)

1.基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于:
步骤一、首先将原始文本数据分为训练样本及测试样本；然后对原始文本数据进行分词处理得到分词文本，利用分词文本进行语义词向量和情感词向量训练；利用已有情感词典进行词典词向量构建；
步骤二、利用语义词向量、情感词向量和词典词向量分别表示分词文本，得到三种类型初始输入词向量矩阵；利用长短时记忆网络LSTM捕获三种类型初始输入词向量矩阵中每一单词的上下文语义，融入上下文信息后得到三种类型输出词向量矩阵，输出词向量矩阵能够消除单词歧义；
所述三种类型初始输入词向量矩阵包括：初始输入词典词向量矩阵、初始输入语义词向量矩阵和初始输入情感词向量矩阵；所述三种类型输出词向量矩阵包括：输出词典词向量矩阵、输出语义词向量矩阵和输出情感词向量矩阵；
步骤三、利用卷积神经网络CNN并结合不同滤波长度的卷积核提取三种类型输出词向量矩阵的局部特征；
步骤四、利用三种不同的注意力机制，即双向长短时记忆网络注意力机制、注意力采样以及注意力向量分别提取输出语义词向量矩阵和输出情感词向量矩阵的全局特征；
步骤五、对原始文本数据提取人工设计特征；
步骤六、利用所述局部特征、所述全局特征及所述人工设计特征对多模一致回归目标函数进行参数训练；
步骤七、求得多模一致回归最佳参数，通过多模一致回归预测方法对三种类型初始输入词向量矩阵进行正向、中立或者负向情感极性分析。
2.根据权利要求1所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于：
所述语义词向量训练：采用Skip-gram模型训练语义词向量；该模型从目标词w的上下文c中选择一个词，将上下文c中的一个词作为模型输入，预测目标词w；首先将原始文本数据进行分词处理得到分词文本，然后将分词文本送入Skip-gram模型，通过最大化语义词向量损失函数：
Figure FDA0002523126490000011
得到语义词向量；其中，Z表示分词处理后的文本，w表示目标词，c表示目标词所对应的上下文，wj表示上下文c中的一个词，j表示上下文c中单词个数，P(wj|w)表示通过目标词w预测wj的概率；
所述情感词向量训练：在Skip-gram模型基础上加入分类层softmaxlayer，用于训练情感词向量；语义部分损失函数与语义词向量相同，情感部分损失函数为
Lsentiment＝∑y·log(y_pred)
其中，y_pred＝softmax(X)表示预测的情感标签，X表示上述训练得到的语义词向量，y表示真实情感标签；最后将语义词向量损失函数Lsemantic和情感部分损失函数Lsentiment 线性结合得到情感词向量损失函数：
Figure FDA0002523126490000021
其中
Figure FDA0002523126490000022
表示权重因子；通过最小化情感词向量损失函数L得到情感词向量，该向量既包含了语义关系又融入了情感信息；
所述词典词向量构建：情感词典包含一个词的情感得分，不同情感词典得分标准不同；将所有情感词典单词得分归一化到[-1,1]，得到词典词向量矩阵。
3.根据权利要求1所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于，步骤二的具体过程为：原始文本数据经过分词处理后的分词文本利用所得词向量表示，得到三种类型初始输入词向量矩阵D且
Figure FDA0002523126490000023
即D是一个n×di的矩阵，其中n表示句子中单词个数，di表示相应词向量维度，i＝{1，2，3}；所述初始输入语义词向量矩阵表示为
Figure FDA0002523126490000024
初始输入词典词向量矩阵表示为
Figure FDA0002523126490000025
初始输入情感词向量矩阵表示
Figure FDA0002523126490000026
然后，利用双向长短时记忆网络LSTM结构捕获单词的上下文信息用于歧义消除，单词的上文信息向量表示为
Figure FDA0002523126490000027
下文信息向量表示为
Figure FDA0002523126490000028
其中dl和dr分别对应上文和下文信息向量的维度；融入上下文信息后的输出词向量矩阵表示为
Figure FDA0002523126490000029
其中dl+di+dr为融合后的词向量维度；所述输出语义词向量矩阵表示为
Figure FDA00025231264900000210
输出词典词向量矩阵表示为
Figure FDA00025231264900000211
以及输出情感词向量矩阵表示为
Figure FDA00025231264900000212
4.根据权利要求3所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于，所述步骤三的具体处理过程为：利用滤波长度l的CNN卷积核，对三种类型的输出词向量矩阵
Figure FDA0002523126490000031
进行卷积操作，卷积参数
Figure FDA0002523126490000032
不同的滤波长度卷积核得到不同的卷积矩阵
Figure FDA0002523126490000033
当滤波长度l＝g时,卷积矩阵为g元卷积矩阵，其中m为卷积核个数；对输出语义词向量矩阵
Figure FDA0002523126490000034
和输出情感词向量矩阵
Figure FDA0002523126490000035
卷积核个数为m1；对输出词典词向量矩阵
Figure FDA0002523126490000036
卷积核个数为m2；然后对卷积矩阵S每一列进行最大化采样得到输出词向量矩阵
Figure FDA0002523126490000037
的局部特征xl，其中输出语义词向量矩阵的局部特征表示为xl1，输出词典词向量矩阵的局部特征表示为xl2，输出情感词向量矩阵的局部特征表示为xl3。
5.根据权利要求3所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于，所述步骤四的具体处理过程为：
a、利用双向长短时记忆网络注意力机制提取输出词向量矩阵
Figure FDA0002523126490000038
的全局特征，计算输出词向量矩阵
Figure FDA0002523126490000039
中每个单词的注意力权重；首先，同样通过LSTM结构得到每个单词所对应的隐向量；然后，根据隐向量计算得到输出词向量矩阵
Figure FDA00025231264900000310
中第i个词的初始权重
Figure FDA00025231264900000311
其中
Figure FDA00025231264900000312
表示输出词向量矩阵
Figure FDA00025231264900000313
中第i个词的隐向量，ba为偏置参数，Wa和vT为网络结构权重参数；对输出词向量矩阵
Figure FDA00025231264900000314
其对应的初始权重向量表示为
Figure FDA00025231264900000315
其中
Figure FDA00025231264900000316
表示输出词向量矩阵
Figure FDA00025231264900000317
中第i个词初始权重，n为输出词向量矩阵
Figure FDA00025231264900000318
中单词个数；接着对初始权重向量进行归一化操作得到概率权重向量
Figure FDA00025231264900000319
其中
Figure FDA00025231264900000320
表示输出词向量矩阵
Figure FDA00025231264900000321
中第i个词概率权重；最后将概率权重向量
Figure DEST_PATH_IMAGE002
与输出词向量矩阵
Figure FDA00025231264900000322
相乘得到全局特征；由于词典词向量维度较低，忽略词典词向量全局特征；利用双向长短时记忆网络注意力机制提取的输出语义词向量矩阵的全局特征表示为xlstm_g1，利用双向长短时记忆网络注意力机制提取的输出情感词向量矩阵的全局特征表示为xlstm_g3；
b、注意力采样提取输出词向量矩阵
Figure FDA00025231264900000323
的全局特征：首先，根据均匀分布Uni(-β，β)随机初始化类别矩阵
Figure FDA00025231264900000324
其中c表示情感类别数，包括正向，中立和负向三个类别，
Figure FDA00025231264900000325
表示均匀分布的区间参数；定义关联矩阵
Figure FDA00025231264900000326
来捕获卷积矩阵S和类别矩阵Wclass之间的关系,其中关联矩阵G＝STUWclass，ST为转置后的卷积矩阵，U为权重矩阵；随后对关联矩阵G进行归一化操作获得注意力矩阵A，最后转置卷积矩阵ST与A相乘得到特征信息；对矩阵STA的每一行进行最大化处理，筛选出对情感极性判断最相关的特征
Figure FDA0002523126490000041
其中p和q分别表示矩阵STA的行和列，最后得到输出词向量矩阵
Figure FDA0002523126490000042
的全局特征；同样，利用注意力采样提取的输出语义词向量矩阵全局特征表示为xpool_g1，利用注意力采样提取的输出情感词向量矩阵全局特征表示为xpool_g3；
c、注意力向量提取输出词向量矩阵
Figure FDA0002523126490000043
的全局特征：首先对滤波长度l＝1的一元卷积矩阵的行进行最大化处理得到一元注意力向量，转置后的输出词向量矩阵
Figure FDA0002523126490000044
与之一元注意力向量相乘得到一元全局特征；对二元词组，同样对滤波长度l＝2的二元卷积矩阵行进行最大化处理得到二元注意力向量，二元输出词向量矩阵表示为
Figure FDA0002523126490000045
其中二元输出词向量矩阵每一行表示为
Figure FDA0002523126490000046
ri为输出词向量矩阵
Figure FDA0002523126490000047
第i行，转置二元输出词向量矩阵
Figure FDA0002523126490000048
与二元注意力向量相乘得到二元全局特征；同样，词典词向量维度低，忽略其全局特征；语义词向量所有全局特征首尾相连融合成xvec_g1，情感词向量所有全局特征首尾相连融合为xvec_g3。
6.根据权利要求1所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于，所述人工设计特征包括：形态学特征、词性特征、否定检测、词典得分；所述形态学特征包括大写单词个数、问号出现次数，感叹号出现次数；所述词性特征包括：每种词性词在句中所出现次数；所述否定检测包括：否定词出现次数；所述词典得分包括：句子情感总得分和句子最后一词得分。
7.根据权利要求1所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于，所述步骤六的具体处理过程为：首先定义p和q为两种长度相同的离散概率分布，D(p||q)定义为KL散度之和：D(p||q)＝DKL(p||q)+DKL(q||p)；将输出语义词向量矩阵的局部特征xl1、输出词典词向量矩阵的局部特征xl2、输出语义词向量矩阵所提取的全局特征xtype_g1及人工设计特征xt首尾相连聚合成特征xtype_1＝[xt；xl1；xl2；xtype_g1]T；将输出情感词向量矩阵的局部特征xl3、输出词典词向量矩阵的局部特征xl2、输出情感词向量矩阵所提取的全局特征xtype_g3及人工设计特征xt首尾相连聚合成特征xtype_2＝[xt；xl3；xl2；xtype_g3]T；特征xtype_1和特征xtype_2首尾相连聚合成特征xtype_c＝[xtype _1；xtype_2]，其中type＝{lstm,pool,vec}代表三种不同的全局特征提取方法；最后，最小化多模一致回归目标函数求得多模一致回归的参数；
Figure FDA0002523126490000051
其中，
Figure FDA0002523126490000052
代表第i个训练样本所提取的特征
Figure FDA0002523126490000053
所预测的概率类别分布，
Figure FDA0002523126490000054
代表第i个训练样本的融合特征
Figure FDA0002523126490000055
所预测的概率类别分布，yi表示真实概率分布，k＝{1,2}表示不同方面所融合的特征，N表示训练样本数，θc和θk都为正则参数，λ为超参，所述
Figure FDA0002523126490000056
表示第i个训练样本所提取的特征，所述
Figure FDA0002523126490000057
表示第i个训练样本的融合特征。
8.根据权利要求1所述的基于结合注意力的卷积神经网络attention CNNs和多模一致回归CCR的文本情感分析方法，其特征在于，所述步骤七的具体处理过程为：特征
Figure FDA0002523126490000058
所预测情感类别概率分布表示为
Figure FDA0002523126490000059
其中
Figure FDA00025231264900000510
表示特征
Figure FDA00025231264900000511
预测为正向情感类别的概率，
Figure FDA00025231264900000512
表示特征
Figure FDA00025231264900000513
预测为中立情感类别的概率，
Figure FDA00025231264900000514
表示特征
Figure FDA00025231264900000515
预测为负向情感类别的概率；然后利用多模一致回归进行最终情感类别概率预测；输入词向量矩阵属于第j个情感类别概率为：
Figure FDA00025231264900000516
其中j＝1，2，3分别代表正向，中立和负向三种情感类别。
CN201710271861.7A 2017-04-24 2017-04-24 基于attention CNNs和CCR的文本情感分析方法 Active CN107092596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710271861.7A CN107092596B (zh) 2017-04-24 2017-04-24 基于attention CNNs和CCR的文本情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710271861.7A CN107092596B (zh) 2017-04-24 2017-04-24 基于attention CNNs和CCR的文本情感分析方法

Publications (2)

Publication Number Publication Date
CN107092596A CN107092596A (zh) 2017-08-25
CN107092596B true CN107092596B (zh) 2020-08-04

Family

ID=59638408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710271861.7A Active CN107092596B (zh) 2017-04-24 2017-04-24 基于attention CNNs和CCR的文本情感分析方法

Country Status (1)

Country Link
CN (1) CN107092596B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491490B (zh) * 2017-07-19 2020-10-13 华东师范大学 基于情感中心的文本情感分类方法
CN107480141B (zh) * 2017-08-29 2020-09-18 南京大学 一种基于文本和开发者活跃度的软件缺陷辅助分派方法
CN107515856A (zh) * 2017-08-30 2017-12-26 哈尔滨工业大学 一种基于局部信息表示的细粒度情感元素抽取方法
CN107368613B (zh) * 2017-09-05 2020-02-28 中国科学院自动化研究所 短文本情感分析方法及装置
CN107608956B (zh) * 2017-09-05 2021-02-19 广东石油化工学院 一种基于cnn-grnn的读者情绪分布预测算法
CN107563498B (zh) * 2017-09-08 2020-07-14 中国石油大学(华东) 基于视觉与语义注意力相结合策略的图像描述方法及系统
CN110019784B (zh) * 2017-09-29 2021-10-15 北京国双科技有限公司 一种文本分类方法及装置
CN110019788A (zh) * 2017-09-30 2019-07-16 北京国双科技有限公司 文本分类方法及装置
CN107590134A (zh) * 2017-10-26 2018-01-16 福建亿榕信息技术有限公司 文本情感分类方法、存储介质及计算机
CN107967254B (zh) * 2017-10-31 2021-05-04 科大讯飞股份有限公司 知识点预测方法及装置、存储介质、电子设备
CN108052512B (zh) * 2017-11-03 2021-05-11 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108009148B (zh) * 2017-11-16 2021-04-27 天津大学 基于深度学习的文本情感分类表示方法
CN107967258B (zh) * 2017-11-23 2021-09-17 广州艾媒数聚信息咨询股份有限公司 文本信息的情感分析方法和系统
CN107862343B (zh) * 2017-11-28 2021-07-13 南京理工大学 基于规则和神经网络的商品评论属性级情感分类方法
CN107944409B (zh) * 2017-11-30 2020-05-08 清华大学 能够区分关键动作的视频分析方法及装置
CN107977361B (zh) * 2017-12-06 2021-05-18 哈尔滨工业大学深圳研究生院 基于深度语义信息表示的中文临床医疗实体识别方法
CN108460009B (zh) * 2017-12-14 2022-09-16 中山大学 嵌入情感词典的注意力机制循环神经网络文本情感分析法
CN108052982B (zh) * 2017-12-22 2021-09-03 深圳市云网拜特科技有限公司 一种基于贴图表情的情感检测方法以及系统
CN108170678A (zh) * 2017-12-27 2018-06-15 广州市云润大数据服务有限公司 一种文本实体抽取方法与系统
CN108108468A (zh) * 2017-12-29 2018-06-01 华中科技大学鄂州工业技术研究院 一种基于概念和文本情感的短文本情感分析方法和装置
CN108133038B (zh) * 2018-01-10 2022-03-22 重庆邮电大学 一种基于动态记忆网络的实体级别情感分类系统及方法
CN108170681A (zh) * 2018-01-15 2018-06-15 中南大学 文本情感分析方法、系统及计算机可读存储介质
CN108460089B (zh) * 2018-01-23 2022-03-01 海南师范大学 基于Attention神经网络的多元特征融合中文文本分类方法
CN108460013B (zh) * 2018-01-30 2021-08-20 大连理工大学 一种基于细粒度词表示模型的序列标注模型及方法
CN108491208A (zh) * 2018-01-31 2018-09-04 中山大学 一种基于神经网络模型的代码注释分类方法
CN108415972A (zh) * 2018-02-08 2018-08-17 合肥工业大学 文本情感处理方法
CN108446271B (zh) * 2018-03-07 2021-11-26 中山大学 基于汉字部件特征的卷积神经网络的文本情感分析方法
CN108647219A (zh) * 2018-03-15 2018-10-12 中山大学 一种结合情感词典的卷积神经网络文本情感分析方法
CN108460022A (zh) * 2018-03-20 2018-08-28 福州大学 一种文本Valence-Arousal情感强度预测方法及系统
CN108446275A (zh) * 2018-03-21 2018-08-24 北京理工大学 基于注意力双层lstm的长文本情感倾向性分析方法
CN110362809B (zh) * 2018-03-26 2022-06-14 阿里巴巴（中国）有限公司 文本分析方法及装置
CN110362808B (zh) * 2018-03-26 2022-06-14 阿里巴巴（中国）有限公司 文本分析方法及装置
CN110362810B (zh) * 2018-03-26 2022-06-14 阿里巴巴（中国）有限公司 文本分析方法及装置
CN110555104B (zh) * 2018-03-26 2022-06-17 阿里巴巴（中国）有限公司 文本分析方法及装置
CN108519976A (zh) * 2018-04-04 2018-09-11 郑州大学 基于神经网络生成大规模情感词典的方法
CN108427670A (zh) * 2018-04-08 2018-08-21 重庆邮电大学 一种基于语境词向量和深度学习的情感分析方法
CN108563951B (zh) * 2018-04-13 2023-03-24 腾讯科技（深圳）有限公司 病毒检测方法及装置
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108614875B (zh) * 2018-04-26 2022-06-07 北京邮电大学 基于全局平均池化卷积神经网络的中文情感倾向性分类方法
CN108829719B (zh) * 2018-05-07 2022-03-01 中国科学院合肥物质科学研究院 一种非事实类问答答案选择方法及系统
CN108829662A (zh) * 2018-05-10 2018-11-16 浙江大学 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN108647785A (zh) * 2018-05-17 2018-10-12 普强信息技术（北京）有限公司 一种神经网络自动建模方法、装置及存储介质
CN108763384A (zh) * 2018-05-18 2018-11-06 北京慧闻科技发展有限公司 用于文本分类的数据处理方法、数据处理装置和电子设备
CN108595717A (zh) * 2018-05-18 2018-09-28 北京慧闻科技发展有限公司 用于文本分类的数据处理方法、数据处理装置和电子设备
CN108804417B (zh) * 2018-05-21 2022-03-15 山东科技大学 一种基于特定领域情感词的文档级情感分析方法
CN108763204A (zh) * 2018-05-21 2018-11-06 浙江大学 一种多层次的文本情感特征提取方法和模型
CN108804611B (zh) * 2018-05-30 2021-11-19 浙江大学 一种基于自我评论序列学习的对话回复生成方法及系统
CN108829669A (zh) * 2018-06-01 2018-11-16 北京玄科技有限公司 支持极性区分和多义的词向量生成方法及装置
CN108829671B (zh) * 2018-06-04 2021-08-20 北京百度网讯科技有限公司 基于调查数据的决策的方法、装置、存储介质和终端设备
CN108961072A (zh) * 2018-06-07 2018-12-07 平安科技（深圳）有限公司 推送保险产品的方法、装置、计算机设备和存储介质
CN108804677B (zh) * 2018-06-12 2021-08-31 合肥工业大学 结合多层级注意力机制的深度学习问题分类方法及系统
CN108829823A (zh) * 2018-06-13 2018-11-16 北京信息科技大学 一种文本分类方法
CN108959482B (zh) * 2018-06-21 2022-01-21 北京慧闻科技(集团)有限公司 基于深度学习的单轮对话数据分类方法、装置和电子设备
CN109214407B (zh) * 2018-07-06 2022-04-19 创新先进技术有限公司 事件检测模型、方法、装置、计算设备及存储介质
CN108984526B (zh) * 2018-07-10 2021-05-07 北京理工大学 一种基于深度学习的文档主题向量抽取方法
CN108984745B (zh) * 2018-07-16 2021-11-02 福州大学 一种融合多知识图谱的神经网络文本分类方法
CN110852060B (zh) * 2018-07-24 2021-05-18 中国科学院声学研究所 一种基于外部知识的情感迁移方法
CN109241993B (zh) * 2018-07-26 2021-10-26 中国科学院自动化研究所 融合用户和整体评价信息的评价对象情感分类方法及装置
CN109165381A (zh) * 2018-08-03 2019-01-08 史杰 一种文字ai情绪识别系统及其识别方法
CN109241283B (zh) * 2018-08-08 2022-02-11 广东工业大学 一种基于多角度胶囊网络的文本分类方法
CN109359190B (zh) * 2018-08-17 2021-12-17 中国电子科技集团公司第三十研究所 一种基于评价对象阵营的立场分析模型构建方法
US11010559B2 (en) 2018-08-30 2021-05-18 International Business Machines Corporation Multi-aspect sentiment analysis by collaborative attention allocation
CN109446404B (zh) * 2018-08-30 2022-04-08 中国电子进出口有限公司 一种网络舆情的情感极性分析方法和装置
CN109241377B (zh) * 2018-08-30 2021-04-23 山西大学 一种基于深度学习话题信息增强的文本文档表示方法和装置
CN109344236B (zh) * 2018-09-07 2020-09-04 暨南大学 一种基于多种特征的问题相似度计算方法
CN109408633A (zh) * 2018-09-17 2019-03-01 中山大学 一种多层注意力机制的循环神经网络模型的构建方法
CN109522920B (zh) * 2018-09-18 2020-10-13 义语智能科技（上海）有限公司 基于结合语义特征的同义判别模型的训练方法及设备
CN109447129B (zh) * 2018-09-29 2023-04-18 平安科技（深圳）有限公司 一种多模式情绪识别方法、装置及计算机可读存储介质
CN109446519B (zh) * 2018-10-10 2020-05-22 西安交通大学 一种融合数据类别信息的文本特征提取方法
CN109376775B (zh) * 2018-10-11 2021-08-17 南开大学 在线新闻多模态情感分析方法
CN109670167B (zh) * 2018-10-24 2023-07-25 国网浙江省电力有限公司 基于相似度词序矩阵的电力客服工单情感量化分析方法
CN109522945B (zh) * 2018-10-31 2020-09-25 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109549651A (zh) * 2018-10-31 2019-04-02 何勇 一种可改善阿尔兹海默症患者认知的智能机器人
CN109408823B (zh) * 2018-10-31 2019-08-06 华南师范大学 一种基于多通道模型的特定目标情感分析方法
CN109376246B (zh) * 2018-11-07 2022-07-08 中山大学 一种基于卷积神经网络和局部注意力机制的句子分类方法
US11010560B2 (en) 2018-11-08 2021-05-18 International Business Machines Corporation Multi-resolution convolutional neural networks for sequence modeling
CN109213868A (zh) * 2018-11-21 2019-01-15 中国科学院自动化研究所 基于卷积注意力机制网络的实体级别情感分类方法
CN109492229B (zh) * 2018-11-23 2020-10-27 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN109543039B (zh) * 2018-11-23 2022-04-08 中山大学 一种基于深度网络的自然语言情感分析方法
CN109508377A (zh) * 2018-11-26 2019-03-22 南京云思创智信息科技有限公司 基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质
CN109614611B (zh) * 2018-11-28 2021-09-03 中山大学 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN109582801A (zh) * 2018-11-30 2019-04-05 武汉推杰网络科技有限公司 一种基于情感分析在线热点事件跟踪及分析的方法
CN109658265A (zh) * 2018-12-13 2019-04-19 平安医疗健康管理股份有限公司 基于大数据的支付超量识别方法、设备、存储介质及装置
CN109344920B (zh) * 2018-12-14 2021-02-02 汇纳科技股份有限公司 顾客属性预测方法、存储介质、系统及设备
CN109740160B (zh) * 2018-12-31 2022-11-25 浙江成功软件开发有限公司 一种基于人工智能语义分析的任务发布方法
CN109767817B (zh) * 2019-01-16 2023-05-30 南通大学 一种基于神经网络语言模型的药物潜在不良反应发现方法
CN109902293B (zh) * 2019-01-30 2020-11-24 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN109829499B (zh) * 2019-01-31 2020-10-27 中国科学院信息工程研究所 基于同一特征空间的图文数据融合情感分类方法和装置
CN109902174B (zh) * 2019-02-18 2023-06-20 山东科技大学 一种基于方面依赖的记忆网络的情感极性检测方法
CN109756842B (zh) * 2019-02-19 2020-05-08 山东大学 基于注意力机制的无线室内定位方法及系统
CN109858034B (zh) * 2019-02-25 2023-02-03 武汉大学 一种基于注意力模型和情感词典的文本情感分类方法
CN109902177B (zh) * 2019-02-28 2022-11-29 上海理工大学 基于双通道卷积记忆神经网络的文本情感分析方法
CN109933795B (zh) * 2019-03-19 2023-07-28 上海交通大学 基于上下文-情感词向量的文本情感分析系统
CN110162777B (zh) * 2019-04-01 2020-05-19 广东外语外贸大学 一种看图写作型作文自动评分方法和系统
CN110196976B (zh) * 2019-05-10 2020-10-16 新华三大数据技术有限公司 文本的情感倾向分类方法、装置和服务器
CN110297870B (zh) * 2019-05-30 2022-08-30 南京邮电大学 一种金融领域中文新闻标题情感分类方法
CN110196979B (zh) * 2019-06-05 2023-07-25 深圳市思迪信息技术股份有限公司 基于分布式系统的意图识别方法及装置
CN110209823B (zh) * 2019-06-12 2021-04-13 齐鲁工业大学 一种多标签文本分类方法及系统
CN110225368B (zh) * 2019-06-27 2020-07-10 腾讯科技（深圳）有限公司 一种视频定位方法、装置及电子设备
CN110321565B (zh) * 2019-07-09 2024-02-23 广东工业大学 基于深度学习的实时文本情感分析方法、装置及设备
CN110390017B (zh) * 2019-07-25 2022-12-27 中国民航大学 基于注意力门控卷积网络的目标情感分析方法及系统
CN110473571A (zh) * 2019-07-26 2019-11-19 北京影谱科技股份有限公司 基于短视频语音的情感识别方法和装置
CN110609897B (zh) * 2019-08-12 2023-08-04 北京化工大学 一种融合全局和局部特征的多类别中文文本分类方法
CN110598207B (zh) * 2019-08-14 2020-09-01 华南师范大学 一种词向量获取方法、装置及存储介质
CN110472244B (zh) * 2019-08-14 2020-05-29 山东大学 一种基于Tree-LSTM和情感信息的短文本情感分类方法
CN110717039B (zh) * 2019-09-17 2023-10-13 平安科技（深圳）有限公司 文本分类方法和装置、电子设备、计算机可读存储介质
CN110852368B (zh) * 2019-11-05 2022-08-26 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统
CN110879938A (zh) * 2019-11-14 2020-03-13 中国联合网络通信集团有限公司 文本情感分类方法、装置、设备和存储介质
TWI769419B (zh) * 2019-12-10 2022-07-01 中華電信股份有限公司 用於輿情分析的系統和方法
CN112949313A (zh) * 2019-12-11 2021-06-11 中移(苏州)软件技术有限公司 信息处理模型训练方法、装置、设备及存储介质
CN111414755A (zh) * 2020-03-20 2020-07-14 中国计量大学 一种基于细粒度情感字典的网络情绪分析方法
CN111914085B (zh) * 2020-06-18 2024-04-23 华南理工大学 文本细粒度情感分类方法、系统、装置及存储介质
CN111813937A (zh) * 2020-07-07 2020-10-23 新华智云科技有限公司 基于正能量词典正能量新闻分类方法
CN111966824B (zh) * 2020-07-11 2024-02-09 天津大学 一种基于情感相似度注意力机制的文本情感识别方法
CN111881262B (zh) * 2020-08-06 2022-05-20 重庆邮电大学 基于多通道神经网络的文本情感分析方法
CN112040408B (zh) * 2020-08-14 2021-08-03 山东大学 一种适用于监管场所的多目标精确智能定位跟踪方法
CN111985214A (zh) * 2020-08-19 2020-11-24 四川长虹电器股份有限公司 基于bilstm及attention的人机交互负面情感分析方法
CN112015862B (zh) * 2020-08-24 2023-02-03 重庆邮电大学 基于层级多通道注意力的用户异常评论检测方法及系统
CN112765353B (zh) * 2021-01-22 2022-11-04 重庆邮电大学 一种基于科研文本的生物医学学科分类方法及装置
CN113220825B (zh) * 2021-03-23 2022-06-28 上海交通大学 面向个人推文的话题情感倾向性预测模型的建模方法及系统
CN112819003B (zh) * 2021-04-19 2021-08-27 北京妙医佳健康科技集团有限公司 一种提升体检报告ocr识别准确率的方法及装置
CN113191138B (zh) * 2021-05-14 2023-10-31 长江大学 一种基于am-cnn算法的自动文本情感分析方法
CN113377901B (zh) * 2021-05-17 2022-08-19 内蒙古工业大学 一种基于多尺寸cnn和lstm模型的蒙古语文本情感分析方法
CN113705243A (zh) * 2021-08-27 2021-11-26 电子科技大学 一种情感分析方法
CN113722439B (zh) * 2021-08-31 2024-01-09 福州大学 基于对抗性类别对齐网络的跨领域情感分类方法及系统
CN113705713B (zh) * 2021-09-03 2023-08-22 华南理工大学 一种基于全局和局部注意力机制的文本识别方法
CN113792143B (zh) * 2021-09-13 2023-12-12 中国科学院新疆理化技术研究所 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质
CN114519353B (zh) * 2022-02-22 2023-07-25 平安科技（深圳）有限公司 模型的训练方法、情感消息生成方法和装置、设备、介质
CN114925205B (zh) * 2022-06-09 2024-03-05 西北工业大学 基于对比学习的gcn-gru文本分类方法
CN117349713B (zh) * 2023-12-04 2024-02-23 南京三百云信息科技有限公司 基于数据分类模板的数据安全处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740349A (zh) * 2016-01-25 2016-07-06 重庆邮电大学 一种结合Doc2vec和卷积神经网络的情感分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120253792A1 (en) * 2011-03-30 2012-10-04 Nec Laboratories America, Inc. Sentiment Classification Based on Supervised Latent N-Gram Analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740349A (zh) * 2016-01-25 2016-07-06 重庆邮电大学 一种结合Doc2vec和卷积神经网络的情感分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN;Tao Chen et al;《Expert Systems With Applications》;20161109;第221-230页 *
基于word embedding和CNN的情感分类模型;蔡慧苹 等;《计算机应用研究》;20161031;第33卷(第10期);第2902-2905、2909页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN108664632B (zh) * 2018-05-15 2021-09-21 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法

Also Published As

Publication number Publication date
CN107092596A (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN107092596B (zh) 基于attention CNNs和CCR的文本情感分析方法
Ghosh et al. Fracking sarcasm using neural network
CN109670039B (zh) 基于三部图和聚类分析的半监督电商评论情感分析方法
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN107688576B (zh) 一种cnn-svm模型的构建及倾向性分类方法
CN110362819A (zh) 基于卷积神经网络的文本情感分析方法
Zhao et al. ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN
CN111339772B (zh) 俄语文本情感分析方法、电子设备和存储介质
CN110297986A (zh) 一种微博热点话题的情感倾向分析方法
Chen et al. Chinese Weibo sentiment analysis based on character embedding with dual-channel convolutional neural network
CN112287240A (zh) 基于双嵌入多层卷积神经网络的案件微博评价对象抽取方法及装置
Nerabie et al. The impact of Arabic part of speech tagging on sentiment analysis: A new corpus and deep learning approach
CN115630653A (zh) 一种基于BERT与BiLSTM的网络流行语情感分析方法
Kucher et al. Visual Analysis of Sentiment and Stance in Social Media Texts.
CN114416969A (zh) 一种基于背景增强的lstm-cnn在线评论情感分类方法及系统
Pasupa et al. Hate speech detection in Thai social media with ordinal-imbalanced text classification
CN111159405B (zh) 基于背景知识的讽刺检测方法
Zhu et al. YUN111@ Dravidian-CodeMix-FIRE2020: Sentiment Analysis of Dravidian Code Mixed Text.
Dutta et al. Sentiment Analysis on Multilingual Code-Mixed Kannada Language.
Jawad et al. Combination Of Convolution Neural Networks And Deep Neural Networks For Fake News Detection
CN112732910B (zh) 跨任务文本情绪状态评估方法、系统、装置及介质
CN114065749A (zh) 一种面向文本的粤语识别模型及系统的训练、识别方法
Bilal A linguistic system for predicting sentiment in arabic tweets
Agbesi et al. Multichannel 2D-CNN Attention-Based BiLSTM Method for Low-Resource Ewe Sentiment Analysis
Sharma et al. Depression detection using sentiment analysis of social media data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant