CN112597279A - 一种文本情感分析模型的优化方法及装置 - Google Patents

一种文本情感分析模型的优化方法及装置 Download PDF

Info

Publication number
CN112597279A
CN112597279A CN202011573557.6A CN202011573557A CN112597279A CN 112597279 A CN112597279 A CN 112597279A CN 202011573557 A CN202011573557 A CN 202011573557A CN 112597279 A CN112597279 A CN 112597279A
Authority
CN
China
Prior art keywords
attention
model
word
feature
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011573557.6A
Other languages
English (en)
Inventor
任亮
傅雨梅
罗刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhiyin Intelligent Technology Co ltd
Original Assignee
Beijing Zhiyin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiyin Intelligent Technology Co ltd filed Critical Beijing Zhiyin Intelligent Technology Co ltd
Priority to CN202011573557.6A priority Critical patent/CN112597279A/zh
Publication of CN112597279A publication Critical patent/CN112597279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种文本情感分析模型的优化方法及装置，涉及文本分析技术领域。该方法包括将第一词向量输入对抗Dropout的情感词注意力模型和自适应尺度注意力模型，获得情感词注意力特征和自适应尺度注意力特征；将添加对抗扰动的第二词向量输入对抗Dropout的情感词注意力模型、随机Dropout的情感词注意力模型、对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，获得对抗情感词注意力特征、对抗自适应尺度注意力特征；再并最小化总损失，以优化模型，该方法结合情感词的全局注意力机制、自适应尺度的局部注意力机制和对抗Dropout并对模型进行优化，提高模型的鲁棒性和情感分类结果的准确性，解决了现有方法鲁棒性较低、结果不准确的问题。

Description

一种文本情感分析模型的优化方法及装置
技术领域
本申请涉及文本分析技术领域，具体而言，涉及一种文本情感分析模型的优化方法及装置。
背景技术
随着社交软件和电商平台等应用的蓬勃发展，存在于这些应用中的海量文本数据蕴含着大众对某些热点事件的情感态度，传统的文本情感分析方法鲁棒性较低，在文本被恶意添加扰动或被破坏时，将对情感分析系统造成一定的干扰，导致结果误判。
发明内容
本申请实施例的目的在于提供一种文本情感分析模型的优化方法及装置，结合基于情感词的全局注意力机制、基于自适应尺度的局部注意力机制和对抗Dropout并对模型进行优化，提高模型的鲁棒性和情感分类结果的准确性，解决现有方法鲁棒性较低、结果不准确的问题。
本申请实施例提供了一种文本情感分析模型的优化方法，所述方法包括：
获取输入文本对应的第一词向量；
将所述第一词向量分别输入预设的对抗Dropout的情感词注意力模型和对抗Dropout的自适应尺度注意力模型，以分别获得情感词注意力特征和自适应尺度注意力特征；
对所述第一词向量添加对抗扰动以生成第二词向量；
将所述第二词向量分别输入对抗Dropout的情感词注意力模型和随机Dropout的情感词注意力模型，以对所述对抗Dropout的情感词注意力模型进行基于情感词的注意力计算，并获得对抗情感词注意力特征；
将所述第二词向量分别输入对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，以对所述对抗Dropout的自适应尺度注意力模型进行基于自适应尺度的注意力计算，并获得对抗自适应尺度注意力特征；
将所述情感词注意力特征和所述自适应尺度注意力特征进行拼接生成融合特征；
基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失；
最小化所述总损失，以优化文本情感分析模型。
在上述实现过程中，本申请中的融合对抗训练和对抗Dropout方法的文本情感分析模型，采用对抗训练在输入层对文本添加对抗扰动来训练对抗样本，同时在网络的隐藏层进行对抗性Dropout，以动态遮蔽适当数量的神经元，从而提高模型鲁棒性，注意力机制包括基于情感词的全局注意力机制和基于自适应尺度的局部注意力机制，将两者结合可提高情感分类结果的准确性，通过总损失表征模型的性能，并通过减小总损失对模型进行优化，从而进一步提高模型性能。
进一步地，所述方法还包括：
构建LSTM模型，以生成情感词注意力模型；
构建卷积神经网络模型，以生成自适应尺度注意力模型。
在上述实现过程中，情感词注意力机制可采用LSTM模型实现，自适应尺度注意力机制可采用卷积神经网络模型实现，将两者结合，前者既关注到情感词又保留了文本信息的完整性，后者既可以自适应地选择合适的尺度又捕捉到重要的局部信息，因此有利于提高情感分类结果的准确性。
进一步地，所述将所述第一词向量输入对抗Dropout的情感词注意力模型，以获得情感词注意力特征，包括：
通过所述LSTM模型和所述第一词向量获取每个时刻的隐藏层输出状态的注意力权重；
所述注意力权重为：
Figure BDA0002861863360000031
且
Figure BDA0002861863360000032
其中，score(hi)＝Vαtanh(hiWα+bα)表示第i个时刻隐藏输出状态hi的注意力得分，m表示所述输入文本的长度，Wα表示注意力权重矩阵，bα表示对应的偏置项；
基于所述每个时刻的隐藏层输出状态以及对应的注意力权重获取所述情感词注意力特征；
所述情感词注意力特征为：
Figure BDA0002861863360000033
在上述实现过程中，通过LSTM模型进行特征提取，是一种全局的注意力机制，基于情感词的注意力机制偏向对特征本身进行注意力计算，模型会给予情感词较大的权重，从而关注到情感词的作用。
进一步地，所述将所述第一词向量输入对抗Dropout的自适应尺度注意力模型，以获得自适应尺度注意力特征，包括：
将所述第一词向量输入卷积核大小不同的卷积层以得到不同尺度对应的尺度特征；
将每个所述尺度特征进行标量表示并进行拼接生成标量集合；
所述标量集合为：
S＝{l∈Lsl}；
Figure BDA0002861863360000041
其中，l表示第l种卷积核，L表示卷积核的种类，sl表示所述尺度特征进行标量值，K表示尺度特征的维度，xl表示第l种卷积核进行卷积操作后得到的尺度特征；
根据所述标量集合计算所述尺度特征的注意力权重集合；
所述注意力权重集合为：
α＝softmax(MLP(S))；
其中，MLP表示多层感知机；
根据所述尺度特征和对应的注意力权重获取所述自适应尺度注意力特征；
所述自适应尺度注意力特征表示为：
Figure BDA0002861863360000042
且
Figure BDA0002861863360000043
其中，αl表示第l个尺度特征的注意力权重，
Figure BDA0002861863360000044
表示第l个尺度特征的自适应尺度注意力特征，
Figure BDA0002861863360000045
表示自适应尺度注意力特征的集合。
在上述实现过程中，自适应尺度注意力机制采用卷积神经网络模型，通过卷积层进行特征提取，再经过尺度集合和尺度重组从而得到自适应尺度注意力特征。
进一步地，所述基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失，包括：
基于所述融合特征利用Softmax分类器进行计算，得到分类损失，所述分类损失可更新所述对抗扰动；
所述分类损失为：
Figure BDA0002861863360000051
其中，yi为真实类别，
Figure BDA0002861863360000052
为预测类别，N为样本总数量；
将所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征分别利用分类器进行计算，分别得到情感词对抗损失和自适应尺度对抗损失；
所述情感词对抗损失为：
Figure BDA0002861863360000053
其中，r′αp表示所述对抗扰动，ε′AdD表示LSTM模型的对抗Dropout遮蔽，N为样本总数量，sn表示所述输入文本的词向量集合，yn表示所述输入文本对应的标签，θ表示LSTM的参数；
所述自适应尺度(CNN)对抗损失为：
Figure BDA0002861863360000054
其中，ε″αdD表示CNN的对抗Dropout遮蔽，
Figure BDA0002861863360000055
表示CNN参数；
基于所述分类损失、所述情感词对抗损失和所述自适应尺度对抗损失获得总损失；
所述总损失为：
Ltotal＝LLSTM_ATAdD_Att+LCNN_ATAdD_Att+LClass；
其中，Ltotal为总损失，LLSTM_ATAdD_Att为情感词对抗损失，LCNN_ATAdD_Att为自适应尺度对抗损失，LClass为分类损失。
在上述实现过程中，将分类损失、情感词对抗损失和自适应尺度对抗损失之和作为模型的总损失，该总损失可以表征模型的性能，并可通过最小化总损失来优化模型。
本申请实施例还提供一种文本情感分析模型的优化装置，所述装置包括：
词向量获取模块，用于获取输入文本对应的第一词向量；
第一特征获取模块，用于将所述第一词向量分别输入预设的对抗Dropout的情感词注意力模型和对抗Dropout的自适应尺度注意力模型，以分别获得情感词注意力特征和自适应尺度注意力特征；
词向量生成模块，用于对所述第一词向量添加对抗扰动以生成第二词向量；
第一对抗特征获取模块，用于将所述第二词向量分别输入对抗Dropout的情感词注意力模型和随机Dropout的情感词注意力模型，以对所述对抗Dropout的情感词注意力模型进行基于情感词的注意力计算，并获得对抗情感词注意力特征；
第二对抗特征获取模块，用于将所述第二词向量分别输入对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，以对所述对抗Dropout的自适应尺度注意力模型进行基于自适应尺度的注意力计算，并获得对抗自适应尺度注意力特征；
融合特征生成模块，用于将所述情感词注意力特征和所述自适应尺度注意力特征进行拼接生成融合特征；
总损失计算模块，用于基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失；
优化模块，用于最小化所述总损失，以优化文本情感分析模型。
在上述实现过程中，结合注意力机制和对抗训练的文本情感分析模型，通过添加对抗扰动来训练对抗样本，提高了模型的鲁棒性，同时结合基于情感词的全局注意力机制和基于自适应尺度的局部注意力机制，提高了情感分类的性能。
进一步地，所述装置还包括：
第一构建模块，用于构建LSTM模型，以生成情感词注意力模型；
第二构建模块，用于构建卷积神经网络模型，以生成自适应尺度注意力模型。
在上述实现过程中，通过构建LSTM模型和卷积神经网络模型，将基于情感词的全局注意力机制和基于自适应尺度的局部注意力机制相结合。
进一步地，所述总损失计算模块包括：
分类损失模块，用于基于所述融合特征利用Softmax分类器进行计算，得到分类损失，所述分类损失可更新所述对抗扰动；
所述分类损失为：
Figure BDA0002861863360000071
其中，yi为真实类别，
Figure BDA0002861863360000072
为预测类别，N为样本总数量；
对抗损失模块，用于将所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征分别利用分类器进行计算，分别得到情感词对抗损失和自适应尺度对抗损失；
所述情感词对抗损失为：
Figure BDA0002861863360000073
其中，r′αp表示所述对抗扰动，ε′AdD表示LSTM模型的对抗Dropout遮蔽，N为样本总数量，sn表示所述输入文本的词向量集合，yn表示所述输入文本对应的标签，θ表示LSTM的参数；
所述自适应尺度(CNN)对抗损失为：
Figure BDA0002861863360000074
其中，ε″αdD表示CNN的对抗Dropout遮蔽，
Figure BDA0002861863360000075
表示CNN参数；
总损失获取模块，用于基于所述分类损失、所述情感词对抗损失和所述自适应尺度对抗损失获得总损失；
所述总损失为：
Ltotal＝LLSTM_ATAdD_Att+LCNN_ATAdD_Att+LClass；
其中，Ltotal为总损失，LLSTM_ATAdD_Att为情感词对抗损失，LCNN_ATAdD_Att为自适应尺度对抗损失，LClass为分类损失。
在上述实现过程中，计算模型的总损失，可通过最小化总损失来优化模型。
本申请实施例提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述中任一项所述的文本情感分析模型的优化方法。
本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的文本情感分析模型的优化方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种文本情感分析模型的优化方法的流程图；
图2为本申请实施例提供的生成情感词注意力特征的流程图；
图3为本申请实施例提供的LSTM模型的架构示意图；
图4为本申请实施例提供的自适应尺度注意力特征的流程图；
图5为本申请实施例提供的CNN模型的架构示意图；
图6为本申请实施例提供的总损失的计算流程图；
图7为本申请实施例提供的文本情感分析模型的架构示意图；
图8为本申请实施例提供的文本情感分析模型的优化装置的结构框图；
图9为本申请实施例提供的文本情感分析模型的优化装置的具体结构框图。
图标：
100-词向量获取模块；200-第一特征获取模块；210-第一构建模块；220-第二构建模块；201-情感词注意力特征获取模块；202-自适应尺度注意力特征获取模块；300-词向量生成模块；400-第一对抗特征获取模块；500-第二对抗特征获取模块；600-融合特征生成模块；700-总损失计算模块；701-分类损失模块；702-对抗损失模块；703-总损失获取模块；800-优化模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供的一种文本情感分析模型的优化方法的流程图。该方法具体包括以下步骤：
步骤S100：获取输入文本对应的第一词向量；
步骤S200：将所述第一词向量分别输入预设的对抗Dropout的情感词注意力模型和对抗Dropout的自适应尺度注意力模型，以分别获得情感词注意力特征和自适应尺度注意力特征；
在步骤S200之前，为所述方法还包括：
构建LSTM模型，以生成情感词注意力模型；构建卷积神经网络模型，以生成自适应尺度注意力模型。
之后，如图2所示，为生成情感词注意力特征的流程图，利用LSTM模型生成情感词注意力特征的具体步骤可以包括：
步骤S211：通过所述LSTM模型和所述第一词向量获取每个时刻的隐藏层输出状态的注意力权重；
所述注意力权重为：
Figure BDA0002861863360000101
且
Figure BDA0002861863360000102
其中，score(hi)＝Vαtanh(hiWα+bα)表示第i个时刻隐藏输出状态hi的注意力得分，m表示所述输入文本长度，Wα表示注意力权重矩阵，bα表示对应的偏置项；
步骤S212：基于所述每个时刻的隐藏层输出状态以及对应的注意力权重获取所述情感词注意力特征；
所述情感词注意力特征为：
Figure BDA0002861863360000103
如图3所示，为LSTM模型的架构示意图，基于情感词的注意力机制把注意力放在情感词上且以LSTM为基础结构，可以捕捉到情感词的信息辅助分类，又可以掌握全局信息理解句子的含义；同时，基于情感词的注意力机制偏向对特征本身进行注意力计算，模型会给予情感词较大的权重，从而关注到情感词作用，本申请使用单层LSTM进行注意力计算，并用Softmax(逻辑回归模型)作为分类层，进行情感分类，其中，{x1,x2,x3,…,xm}是输入文本，{v1,v2,v3,…,vm}为输入文本的每个词对应的词向量。
如图4所示，为自适应尺度注意力特征的流程图，生成基于卷积神经网络模型(CNN)生成自适应尺度注意力特征的具体步骤可以包括：
步骤S221：将所述第一词向量输入卷积核大小不同的卷积层以得到不同尺度对应的尺度特征；
步骤S222：将每个所述尺度特征进行标量表示并进行拼接生成标量集合；
所述标量集合为：
S＝{l∈L|sl}；
Figure BDA0002861863360000111
其中，l表示第l种卷积核，L表示卷积核的种类，sl表示所述尺度特征进行标量值，K表示尺度特征的维度，xl表示第l种卷积核进行卷积操作后得到的尺度特征；
步骤S223：根据所述标量集合计算所述尺度特征的注意力权重集合；
所述注意力权重集合为：
α＝softmax(MLP(S))；
其中，MLP表示多层感知机；
步骤S224：根据所述尺度特征和对应的注意力权重获取所述自适应尺度注意力特征；
所述自适应尺度注意力特征表示为：
Figure BDA0002861863360000112
且
Figure BDA0002861863360000113
其中，αl表示第l个尺度特征的注意力权重，
Figure BDA0002861863360000114
表示第l个尺度特征的自适应尺度注意力特征，
Figure BDA0002861863360000115
表示自适应尺度注意力特征的集合。
如图5所示，为CNN模型的架构示意图，基于自适应尺度的注意力机制主要由特征提取和注意力计算两个部分组成，其中，特征提取主要包含卷积层，把词向量输入到卷积核大小不同的CNN(卷积神经网络)中得到不同尺度的尺度特征，注意力计算主要包括两个步骤，分别是尺度集合和尺度重组，最后得到自适应尺度注意力特征。
步骤S300：对所述第一词向量添加对抗扰动以生成第二词向量；
步骤S400：将所述第二词向量分别输入对抗Dropout的情感词注意力模型和随机Dropout的情感词注意力模型，以对所述对抗Dropout的情感词注意力模型进行基于情感词的注意力计算，并获得对抗情感词注意力特征；
步骤S500：将所述第二词向量分别输入对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，以对所述对抗Dropout的自适应尺度注意力模型进行基于自适应尺度的注意力计算，并获得对抗自适应尺度注意力特征；
步骤S600：将所述情感词注意力特征和所述自适应尺度注意力特征进行拼接生成融合特征；
步骤S700：基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失；
如图6所示，为总损失的计算流程图，总损失的计算具体可以包括：
步骤S701：基于所述融合特征利用Softmax分类器进行计算，得到分类损失，所述分类损失可更新所述对抗扰动；
所述分类损失为：
Figure BDA0002861863360000121
其中，yi为真实类别，
Figure BDA0002861863360000122
为预测类别，N为样本总数量；
步骤S702：将所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征分别利用分类器进行计算，分别得到情感词对抗损失和自适应尺度对抗损失；
所述情感词对抗损失为：
Figure BDA0002861863360000131
其中，r′αp表示所述对抗扰动，ε′AdD表示LSTM模型的对抗Dropout遮蔽，N为样本总数量，sn表示所述输入文本的词向量集合，yn表示所述输入文本对应的标签，θ表示LSTM的参数；
所述自适应尺度(CNN)对抗损失为：
Figure BDA0002861863360000132
其中，ε″αdD表示CNN的对抗Dropout遮蔽，
Figure BDA0002861863360000133
表示CNN参数；
步骤S703：基于所述分类损失、所述情感词对抗损失和所述自适应尺度对抗损失获得总损失；
所述总损失为：
Ltotal＝LLSTM_ATAdD_Att+LCNN_ATAdD_Att+LClass；
其中，Ltotal为总损失，LLSTM_ATAdD_Att为情感词对抗损失，LCNN_ATAdD_Att为自适应尺度对抗损失，LClass为分类损失。
步骤S800：最小化所述总损失，以优化文本情感分析模型。
具体地，如图7所示，为文本情感分析模型的架构示意图，将第一词向量
Figure BDA0002861863360000135
输入到对抗Dropout的情感词注意力模型即LSTM模型中进行基于情感词的注意力计算，可得到各个时刻隐藏层输出状态的注意力权重，并将该注意力权重与对应时刻的隐藏层输出状态相乘并求和可得到情感词注意力特征hAtt；
同时把加入了对抗扰动的第二词向量
Figure BDA0002861863360000134
分别输入对抗Dropout的LSTM模型和随机Dropout的LSTM模型中，并对对抗Dropout的LSTM模型进行基于情感词的注意力计算，得到结合情感词注意力和对抗训练的对抗情感词注意力特征hATAdD_Att，再将对抗情感词注意力特征hATAdD_Att输入Softmax分类器可得到情感词对抗损失即结合了基于情感词的注意力机制以及对抗训练得到LSTM对抗损失LLSTM_ATAdD_Att。
将第一词向量
Figure BDA0002861863360000143
输入到对抗Dropout的自适应尺度注意力模型即CNN模型中进行基于自适应尺度的注意力计算，根据尺度集合计算得出各个尺度的注意力权重，再把注意力权重与卷积得到的尺度特征相乘得到自适应尺度注意力特征xAtt；
同时将加入了对抗扰动的第二词向量
Figure BDA0002861863360000141
分别输入对抗Dropout的CNN模型和随机Dropout的CNN模型中，进行对抗Dropout的CNN网络做基于自适应尺度的注意力计算，得到结合自适应尺度注意力和对抗训练的特征即对抗自适应尺度注意力特征xATAdD_Att，将对抗自适应尺度注意力特征xATAdD_Att输入至Softmax分类器可得到CNN对抗损失LCNN_ATAdD_Att。
将LSTM对抗损失、CNN对抗损失以及分类损失作为模型的总损失，通过最小化总损失来优化模型。
对该文本情感分析模型的性能进行对比和分析，具体如下：
对于参数的设置，该模型在对抗训练阶段所使用的超参数是β，对抗Dropout所使用的超参数是δ，分类性能评价指标主要是准确率和F值，具体参数设置如下表1所示：
Figure BDA0002861863360000142
Figure BDA0002861863360000151
表1
设置对比模型以对比不同模型的性能，具体包括：
LSTM-ATAdD模型：该模型是融合了对抗训练和对抗Dropout的方法，以LSTM为特征提取网络。
CNN-AtAd模型：该模型与LSTM-ATAd模型的不同之处在于，特征提取网络换成了CNN。
Seni-At-ATAd模型：该模型使用LSTM提取文本特征时考虑了情感词的信息，把注意力放在情感词上，LSTM保留了文本的全局信息。
Scale-At-ATAd模型：该模型使用单层CNN提取文本特征时，把注意力放在了尺度选择上，结合了不同尺度的信息，保留了文本的局部信息。
Senti-Scale-Att-ATAdD模型：该模型结合了基于情感词的全局注意力机制和基于自适应尺度的局部注意力机制。
利用上述模型进行分类，分类结果包括在三个数据集上的平均准确率、平均F值和平均准确率的方差，如表2所示，为IMDB数据集情感分类结果与完成一次迭代的平均时间，表3为ELEC数据集情感分类结果与完成一次迭代的平均时间，表4为MR数据集情感分类结果与完成一次迭代的平均时间。由表可知，当特征提取网络相同时，加入注意力机制的模型比未加入注意力机制的模型的分类效果要好，说明在模型中引入注意力机制能有效提升分类性能，而在添加了注意力机制的模型中，Senti-Att-ATAdD模型比Scale-At-ATAdD模型的分类效果更好，表明基于情感词的全局注意力能较好地学习到文本的整体信息，保留文本信息的完整性。Sent-Scale-Att-ATAdD模型在三个数据集上的表现结果最好，说明结合了基于情感词的全局注意力机制和基于自适应尺度的局部注意力机制不仅保留了信息的完整性还能关注到不同尺度的词的组合从而保留短语粒度的局部信息，显著提高了分类性能。特别地，所有模型在三个数据集上的平均准确率的方差均较小，表明实验结果不具备偶然性。
Figure BDA0002861863360000161
表2
Figure BDA0002861863360000162
表3
Figure BDA0002861863360000163
表4
此外，从完成一次迭代的平均时间来看，独立使用LSTM的模型完成一次迭代所需的时间高于独立使用CNN模型的时间，说明在训练时LSTM比CNN要付出更大的时间代价。由于注意力机制的计算过程比较复杂，因此引入注意力机制的模型需要花费更多的时间，Senti-Att-ATAdD模型在IMDB和ELEC数据集上完成一次迭代的时间是LSTM-ATAdD模型的1.4倍，说明在计算并更新情感词的全局注意力权重时，LSTM在每一个时间步内都要进行注意力计算，这需要耗费大量的时间。而本本申请提出的文本情感分析模型即Senti-Scale-Att-ATAdD模型在IMDB、ELEC和MR数据集完成一次迭代的时间分别是720秒、615秒和62秒，远低于Senti-Att-ATAdD模型，不仅没有明显增加训练的迭代时间，还提升了情感分类效果。
综上，本申请中的融合对抗训练和对抗Dropout方法的文本情感分析模型，采用对抗训练在输入层对文本添加对抗扰动来训练对抗样本，同时在网络的隐藏层进行对抗性Dropout，以动态遮蔽适当数量的神经元，从而提高了模型的鲁棒性。
针对分类性能方面，本申请中的结合注意力机制和对抗训练的文本情感分析模型，注意力包含基于情感词的全局注意力机制和基于自适应尺度的局部注意力机制，前者既关注到情感词又保留了文本信息的完整性，后者既可以自适应地选择合适的尺度又捕捉到重要的局部信息，将两种注意力机制与融合了对抗训练和对抗Dropout的方法相结合，不仅可以提升情感分类的性能，而且不明显增加训练时间。
其中，基于情感词的注意力机制不仅可以关注到情感词的重要信息，还可以学习到文本的全局特性，基于自适应尺度的注意力机制可以自动学习到灵活多变的尺度特征，能更好地学习到文本的局部特性。结合基于情感词的注意力机制和基于自适应尺度的注意力机制既不破坏文本的完整性，还突出了重要的局部信息。
在模型中引入对抗训练和对抗dropout可以防止过拟合，加强模型的鲁棒性，并在保证模型强鲁棒性的前提下，提高情感分类的准确性。
实施例2
本申请实施例提供一种文本情感分析模型的优化装置，应用于实施例1中的文本情感分析模型的优化方法，如图8所示，为文本情感分析模型的优化装置的结构框图，所述装置包括：
词向量获取模块100，用于获取输入文本对应的第一词向量；
第一特征获取模块200，用于将所述第一词向量分别输入预设的对抗Dropout的情感词注意力模型和对抗Dropout的自适应尺度注意力模型，以分别获得情感词注意力特征和自适应尺度注意力特征；
词向量生成模块300，用于对所述第一词向量添加对抗扰动以生成第二词向量；
第一对抗特征获取模块400，用于将所述第二词向量分别输入对抗Dropout的情感词注意力模型和随机Dropout的情感词注意力模型，以对所述对抗Dropout的情感词注意力模型进行基于情感词的注意力计算，并获得对抗情感词注意力特征；
第二对抗特征获取模块500，用于将所述第二词向量分别输入对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，以对所述对抗Dropout的自适应尺度注意力模型进行基于自适应尺度的注意力计算，并获得对抗自适应尺度注意力特征；
融合特征生成模块600，用于将所述情感词注意力特征和所述自适应尺度注意力特征进行拼接生成融合特征；
总损失计算模块700，用于基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失；
优化模块800，用于最小化所述总损失，以优化文本情感分析模型。
如图9所示，为文本情感分析模型的优化装置的具体结构框图，所述装置还包括：
第一构建模块210，用于构建LSTM模型，以生成情感词注意力模型；
第二构建模块220，用于构建卷积神经网络模型，以生成自适应尺度注意力模型。
所述总损失计算模块700包括：
分类损失模块701，用于基于所述融合特征利用Softmax分类器进行计算，得到分类损失，所述分类损失可更新所述对抗扰动；
所述分类损失为：
Figure BDA0002861863360000191
其中，yi为真实类别，
Figure BDA0002861863360000192
为预测类别，N为样本总数量；
对抗损失模块702，用于将所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征分别利用分类器进行计算，分别得到情感词对抗损失和自适应尺度对抗损失；
所述情感词对抗损失为：
Figure BDA0002861863360000193
其中，r′αp表示所述对抗扰动，ε′AdD表示LSTM模型的对抗Dropout遮蔽，N为样本总数量，sn表示所述输入文本的词向量集合，yn表示所述输入文本对应的标签，θ表示LSTM的参数；
所述自适应尺度(CNN)对抗损失为：
Figure BDA0002861863360000194
其中，ε″αdD表示CNN的对抗Dropout遮蔽，
Figure BDA0002861863360000195
表示CNN参数；
总损失获取模块703，用于基于所述分类损失、所述情感词对抗损失和所述自适应尺度对抗损失获得总损失；
所述总损失为：
Ltotal＝LLSTM_ATAdD_Att+LCNN_ATAdD_Att+LClass；
其中，Ltotal为总损失，LLSTM_ATAdD_Att为情感词对抗损失，LCNN_ATAdD_Att为自适应尺度对抗损失，LClass为分类损失。
第一特征获取模块200包括情感词注意力特征获取模块201和自适应尺度注意力特征获取模块202，其中，情感词注意力特征获取模块用于基于对抗Dropout的LSTM模型获得情感词注意力特征，自适应尺度注意力特征获取模块用于基于对抗Dropout的CNN模型获得自适应尺度注意力特征，具体不再赘述。
本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行实施例1所述的文本情感分析模型的优化方法。
本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行实施例1所述的文本情感分析模型的优化方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种文本情感分析模型的优化方法，其特征在于，所述方法包括：
获取输入文本对应的第一词向量；
将所述第一词向量分别输入预设的对抗Dropout的情感词注意力模型和对抗Dropout的自适应尺度注意力模型，以分别获得情感词注意力特征和自适应尺度注意力特征；
对所述第一词向量添加对抗扰动以生成第二词向量；
将所述第二词向量分别输入对抗Dropout的情感词注意力模型和随机Dropout的情感词注意力模型，以对所述对抗Dropout的情感词注意力模型进行基于情感词的注意力计算，并获得对抗情感词注意力特征；
将所述第二词向量分别输入对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，以对所述对抗Dropout的自适应尺度注意力模型进行基于自适应尺度的注意力计算，并获得对抗自适应尺度注意力特征；
将所述情感词注意力特征和所述自适应尺度注意力特征进行拼接生成融合特征；
基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失；
最小化所述总损失，以优化文本情感分析模型。
2.根据权利要求1所述的文本情感分析模型的优化方法，其特征在于，所述方法还包括：
构建LSTM模型，以生成情感词注意力模型；
构建卷积神经网络模型，以生成自适应尺度注意力模型。
3.根据权利要求2所述的文本情感分析模型的优化方法，其特征在于，所述将所述第一词向量输入对抗Dropout的情感词注意力模型，以获得情感词注意力特征，包括：
通过所述LSTM模型和所述第一词向量获取每个时刻的隐藏层输出状态的注意力权重；
所述注意力权重为：
Figure FDA0002861863350000021
且
Figure FDA0002861863350000022
其中，score(hi)＝Vαtanh(hiWα+bα)表示第i个时刻隐藏输出状态hi的注意力得分，m表示所述输入文本的长度，Wα表示注意力权重矩阵，bα表示对应的偏置项；
基于所述每个时刻的隐藏层输出状态以及对应的注意力权重获取所述情感词注意力特征；
所述情感词注意力特征为：
Figure FDA0002861863350000023
4.根据权利要求3所述的文本情感分析模型的优化方法，其特征在于，所述将所述第一词向量输入对抗Dropout的自适应尺度注意力模型，以获得自适应尺度注意力特征，包括：
将所述第一词向量输入卷积核大小不同的卷积层以得到不同尺度对应的尺度特征；
将每个所述尺度特征进行标量表示并进行拼接生成标量集合；
所述标量集合为：
S＝{l∈L|sl}；
Figure FDA0002861863350000024
其中，l表示第l种卷积核，L表示卷积核的种类，sl表示所述尺度特征进行标量值，K表示尺度特征的维度，xl表示第l种卷积核进行卷积操作后得到的尺度特征；
根据所述标量集合计算所述尺度特征的注意力权重集合；
所述注意力权重集合为：
α＝softmax(MLP(S))；
其中，MLP表示多层感知机；
根据所述尺度特征和对应的注意力权重获取所述自适应尺度注意力特征；
所述自适应尺度注意力特征表示为：
Figure FDA0002861863350000031
且
Figure FDA0002861863350000032
其中，αl表示第l个尺度特征的注意力权重，
Figure FDA0002861863350000033
表示第l个尺度特征的自适应尺度注意力特征，
Figure FDA0002861863350000034
表示自适应尺度注意力特征的集合。
5.根据权利要求1所述的文本情感分析模型的优化方法，其特征在于，所述基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失，包括：
基于所述融合特征利用Softmax分类器进行计算，得到分类损失，所述分类损失可更新所述对抗扰动；
所述分类损失为：
Figure FDA0002861863350000035
其中，yi为真实类别，
Figure FDA0002861863350000036
为预测类别，N为样本总数量；
将所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征分别利用分类器进行计算，分别得到情感词对抗损失和自适应尺度对抗损失；
所述情感词对抗损失为：
Figure FDA0002861863350000041
其中，r′αp表示所述对抗扰动，ε′AdD表示LSTM模型的对抗Dropout遮蔽，N为样本总数量，sn表示所述输入文本的词向量集合，yn表示所述输入文本对应的标签，θ表示LSTM的参数；
所述自适应尺度(CNN)对抗损失为：
Figure FDA0002861863350000042
其中，ε″αdD表示CNN的对抗Dropout遮蔽，
Figure FDA0002861863350000043
表示CNN参数；
基于所述分类损失、所述情感词对抗损失和所述自适应尺度对抗损失获得总损失；
所述总损失为：
Ltotal＝LLSTM_ATAdD_Att+LCNN_ATAdD_Att+LClass；
其中，Ltotal为总损失，LLSTM_ATAdD_Att为情感词对抗损失，LCNN_ATAdD_Att为自适应尺度对抗损失，LClass为分类损失。
6.一种文本情感分析模型的优化装置，其特征在于，所述装置包括：
词向量获取模块，用于获取输入文本对应的第一词向量；
第一特征获取模块，用于将所述第一词向量分别输入预设的对抗Dropout的情感词注意力模型和对抗Dropout的自适应尺度注意力模型，以分别获得情感词注意力特征和自适应尺度注意力特征；
词向量生成模块，用于对所述第一词向量添加对抗扰动以生成第二词向量；
第一对抗特征获取模块，用于将所述第二词向量分别输入对抗Dropout的情感词注意力模型和随机Dropout的情感词注意力模型，以对所述对抗Dropout的情感词注意力模型进行基于情感词的注意力计算，并获得对抗情感词注意力特征；
第二对抗特征获取模块，用于将所述第二词向量分别输入对抗Dropout的自适应尺度注意力模型和随机Dropout的自适应尺度注意力模型，以对所述对抗Dropout的自适应尺度注意力模型进行基于自适应尺度的注意力计算，并获得对抗自适应尺度注意力特征；
融合特征生成模块，用于将所述情感词注意力特征和所述自适应尺度注意力特征进行拼接生成融合特征；
总损失计算模块，用于基于所述融合特征、所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征并利用分类器获取总损失；
优化模块，用于最小化所述总损失，以优化文本情感分析模型。
7.根据权利要求6所述的文本情感分析模型的优化装置，其特征在于，所述装置还包括：
第一构建模块，用于构建LSTM模型，以生成情感词注意力模型；
第二构建模块，用于构建卷积神经网络模型，以生成自适应尺度注意力模型。
8.根据权利要求6所述的文本情感分析模型的优化装置，其特征在于，所述总损失计算模块包括：
分类损失模块，用于基于所述融合特征利用Softmax分类器进行计算，得到分类损失，所述分类损失可更新所述对抗扰动；
所述分类损失为：
Figure FDA0002861863350000051
其中，yi为真实类别，
Figure FDA0002861863350000052
为预测类别，N为样本总数量；
对抗损失模块，用于将所述对抗情感词注意力特征和所述对抗自适应尺度注意力特征分别利用分类器进行计算，分别得到情感词对抗损失和自适应尺度对抗损失；
所述情感词对抗损失为：
Figure FDA0002861863350000061
其中，r′αp表示所述对抗扰动，ε′AdD表示LSTM模型的对抗Dropout遮蔽，N为样本总数量，sn表示所述输入文本的词向量集合，yn表示所述输入文本对应的标签，θ表示LSTM的参数；
所述自适应尺度(CNN)对抗损失为：
Figure FDA0002861863350000062
其中，ε″αdD表示CNN的对抗Dropout遮蔽，
Figure FDA0002861863350000063
表示CNN参数；
总损失获取模块，用于基于所述分类损失、所述情感词对抗损失和所述自适应尺度对抗损失获得总损失；
所述总损失为：
Ltotal＝LLSTM_ATAdD_Att+LCNN_ATAdD_Att+LClass；
其中，Ltotal为总损失，LLSTM_ATAdD_Att为情感词对抗损失，LCNN_ATAdD_Att为自适应尺度对抗损失，LClass为分类损失。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的文本情感分析模型的优化方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的文本情感分析模型的优化方法。
CN202011573557.6A 2020-12-25 2020-12-25 一种文本情感分析模型的优化方法及装置 Pending CN112597279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011573557.6A CN112597279A (zh) 2020-12-25 2020-12-25 一种文本情感分析模型的优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011573557.6A CN112597279A (zh) 2020-12-25 2020-12-25 一种文本情感分析模型的优化方法及装置

Publications (1)

Publication Number Publication Date
CN112597279A true CN112597279A (zh) 2021-04-02

Family

ID=75203298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011573557.6A Pending CN112597279A (zh) 2020-12-25 2020-12-25 一种文本情感分析模型的优化方法及装置

Country Status (1)

Country Link
CN (1) CN112597279A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627543A (zh) * 2021-08-13 2021-11-09 南开大学 一种对抗攻击检测方法
CN117688944A (zh) * 2024-01-31 2024-03-12 山东省计算中心（国家超级计算济南中心） 基于多粒度卷积特征融合的中文情感分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287320A (zh) * 2019-06-25 2019-09-27 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN111881262A (zh) * 2020-08-06 2020-11-03 重庆邮电大学 基于多通道神经网络的文本情感分析方法
CN111881291A (zh) * 2020-06-19 2020-11-03 山东师范大学 一种文本情感分类方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287320A (zh) * 2019-06-25 2019-09-27 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN111881291A (zh) * 2020-06-19 2020-11-03 山东师范大学 一种文本情感分类方法及系统
CN111881262A (zh) * 2020-08-06 2020-11-03 重庆邮电大学 基于多通道神经网络的文本情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈惠敏: "基于对抗训练的文本情感分析研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2020 (2020-01-15), pages 138 - 2773 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627543A (zh) * 2021-08-13 2021-11-09 南开大学 一种对抗攻击检测方法
CN113627543B (zh) * 2021-08-13 2023-08-22 南开大学 一种对抗攻击检测方法
CN117688944A (zh) * 2024-01-31 2024-03-12 山东省计算中心（国家超级计算济南中心） 基于多粒度卷积特征融合的中文情感分析方法及系统
CN117688944B (zh) * 2024-01-31 2024-05-24 山东省计算中心（国家超级计算济南中心） 基于多粒度卷积特征融合的中文情感分析方法及系统

Similar Documents

Publication Publication Date Title
Zhao et al. Weakly-supervised deep embedding for product review sentiment analysis
Swathi et al. An optimal deep learning-based LSTM for stock price prediction using twitter sentiment analysis
CN111078836B (zh) 基于外部知识增强的机器阅读理解方法、系统、装置
CN113535904B (zh) 一种基于图神经网络的方面级情感分析方法
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN106372058A (zh) 一种基于深度学习的短文本情感要素抽取方法及装置
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
Zhang et al. Deep autoencoding topic model with scalable hybrid Bayesian inference
Ren et al. Impact of news on the trend of stock price change: An analysis based on the deep bidirectiona LSTM model
CN111177392A (zh) 一种数据处理方法及装置
CN112883714A (zh) 基于依赖图卷积和迁移学习的absc任务句法约束方法
CN112597279A (zh) 一种文本情感分析模型的优化方法及装置
Xu et al. Sensitive information topics-based sentiment analysis method for big data
CN115935991A (zh) 多任务模型生成方法、装置、计算机设备和存储介质
Cao et al. Stacked residual recurrent neural network with word weight for text classification
Alsmadi et al. Adversarial machine learning in text processing: a literature survey
Sarnovský et al. Fake news detection related to the covid-19 in slovak language using deep learning methods
CN112347783B (zh) 无触发词的警情笔录数据事件类型识别方法
Li et al. Position-enhanced multi-head self-attention based bidirectional gated recurrent unit for aspect-level sentiment classification
Shan Social Network Text Sentiment Analysis Method Based on CNN‐BiGRU in Big Data Environment
Giri et al. Performance analysis of annotation detection techniques for cyber-bullying messages using word-embedded deep neural networks
CN115952438B (zh) 社交平台用户属性预测方法、系统、移动设备及存储介质
CN117421420A (zh) 一种基于软提示学习的中文点击诱饵检测方法
Gupta et al. Detailed study of deep learning models for natural language processing
Tashu Off-topic essay detection using C-BGRU siamese

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination