CN115357712A - 方面级情感分析方法、装置、电子设备及存储介质 - Google Patents

方面级情感分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115357712A
CN115357712A CN202210921569.6A CN202210921569A CN115357712A CN 115357712 A CN115357712 A CN 115357712A CN 202210921569 A CN202210921569 A CN 202210921569A CN 115357712 A CN115357712 A CN 115357712A
Authority
CN
China
Prior art keywords
template
word
words
vector
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210921569.6A
Other languages
English (en)
Inventor
曾碧卿
黄梓芃
宋逸云
杜睿擎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202210921569.6A priority Critical patent/CN115357712A/zh
Publication of CN115357712A publication Critical patent/CN115357712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种方面级情感分析方法，包括：获取待分析的目标句子，并进行嵌入得到目标嵌入向量；构建模板句子，对模板句子的模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；将模板词嵌入向量输入Prompt编码器得到模板词张量，将模板词张量、方面词嵌入向量和掩码嵌入向量拼接得到连续模板向量；将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；根据目标句子生成句法依存树，根据句法依存树提取句法依存特征；将上下文特征和句法依存特征进行特征融合，得到融合特征；根据融合特征进行预测，得到目标句子中方面词的情感极性。能够提高方面级情感分析的准确性。

Description

方面级情感分析方法、装置、电子设备及存储介质
技术领域
本发明涉及方面级情感分析技术领域，尤其是涉及一种方面级情感分析方法、装置、电子设备及存储介质。
背景技术
近年来，以深度学习为代表的新一代人工智能技术的兴起，推动了自然语言处理技术(NLP)的蓬勃发展。方面级情感分析，是情感分析的一个子任务，旨在识别方面词所蕴含的情感极性。例如：“I like the food here,but the service is terrible.”在这句话中，“food”和“service”是两个不同的方面，可以看出，“food”的情感极性是积极的，而“service”的情感极性是消极的。由于两个方面词蕴含的情感极性是相反的，因此不能只考虑句子层面上的情感极性。
然而，现有技术的方面级情感分析方法往往忽略了句子中上下文和方面词之间存在的句法依存信息，导致注意力机制学习不到合适的权重，现有的注意力机制可能会将句子中不相关的上下文词识别为情感词，且目前存在的大多数情感分析方法都没有结合句法依存关系进行建模，用这些模型进行情感分析效果并不出色。而且预训练和微调阶段之间的任务形式往往存在巨大差距，限制了预训练模型发挥其全部潜力，影响了情感分类的准确性。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种方面级情感分析方法，能够提取丰富的特征，且能充分发挥预训练模型的特征提取潜力，从而提高方面级情感分析的准确性。
本发明是通过以下技术方案实现的：一种方面级情感分析方法，包括步骤：
获取待分析的目标句子，对所述目标句子进行嵌入操作得到目标嵌入向量；
根据所述目标句子构建模板句子，所述模板句子包括所述目标句子中的方面词、掩码词和间隔在所述方面词和掩码词之间的模板词，对所述模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
将所述模板词嵌入向量输入Prompt编码器得到模板词张量，将所述模板词张量、所述方面词嵌入向量和所述掩码嵌入向量拼接得到连续模板向量；
将所述目标嵌入向量和所述连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
根据所述目标句子生成句法依存树，根据所述句法依存树提取句法依存特征；
将所述上下文特征和所述句法依存特征进行特征融合，得到融合特征；
根据所述融合特征进行预测，得到目标句子中方面词的情感极性。
相对于现有技术，本发明的一种方面级情感分析方法，所提出的连续模板携带提示信息，对预训练语言模型的特征提取起到引导性作用，注入与任务相关的知识，达到情感知识增强的目的，同时能够使预训练语言模型的预训练阶段的训练任务与微调阶段任务相匹配，提高模型的鲁棒性，以及情感分类的准确性。其次本发明提取了目标句子的句法依赖关系，利用句法依存关系，分配合理的注意力权重，能够准确识别与方面词相关的情感词，提取更深层次的情感特征。
进一步地，所述模板词为包含多个unk_token的词组。
进一步地，所述Prompt编码器用于将所述模板词嵌入向量依序输入双向长短期记忆人工神经网络和使用ReLU激活函数的多层感知机，得到模板词张量。
进一步地，所述预训练语言模型的预训练阶段，包括步骤：
将训练数据集中一定比例的原始词替换为掩码词[MASK]，一定比例的原始词替换为随机词；
预测所述掩码词[MASK]替换的所述原始词。
进一步地，根据所述句法依存树提取句法依存特征，包括步骤：将所述句法依存树输入图注意力网络并进行池化操作，获得句法依存特征。
进一步地，所述融合特征的表达式为：
hf＝g·hsyn+(1-g)·hcon
其中，g＝σ(Wg[hsyn；hcon]+bg)，[hsyn；hcon]表示上下文特征hsyn和句法依存特征hcon的拼接，Wg为可学习权重，bg为偏置。
基于同一发明构思，本发明还提供一种方面级情感分析装置，包括：
目标句子嵌入模块，用于获取待分析的目标句子，对所述目标句子进行嵌入操作得到目标嵌入向量；
模板句子构建模块，用于根据所述目标句子构建模板句子，所述模板句子包括所述目标句子中的方面词、掩码词和间隔在所述方面词和掩码词之间的模板词，对所述模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
连续模板构建模块，用于将所述模板词嵌入向量输入Prompt编码器得到模板词张量，将所述模板词张量、所述方面词嵌入向量和所述掩码嵌入向量拼接得到连续模板向量；
上下文特征提取模块，用于将所述目标嵌入向量和所述连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
句法依存特征提取模块，用于根据所述目标句子生成句法依存树，根据所述句法依存树提取句法依存特征；
特征融合模块，用于将所述上下文特征和所述句法依存特征进行特征融合，得到融合特征；
预测模块，用于根据所述融合特征进行预测，得到目标句子中方面词的情感极性。
进一步地，所述句法依存特征提取模块还用于将所述句法依存树输入图注意力网络并进行池化操作，获得句法依存特征。
基于同一发明构思，本发明还提供一种电子设备，包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现上述方法的步骤。
基于同一发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述方法的步骤。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为一个实施例的方面级情感分析方法的流程示意图；
图2为一个实施例的方面级情感分析装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，其为一个实施例的方面级情感分析方法的流程示意图。该方法包括步骤：
S1：获取待分析的目标句子，对目标句子进行嵌入操作得到目标嵌入向量；
S2：根据目标句子构建模板句子，对模板句子中的模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
S3：将模板词嵌入向量输入Prompt编码器得到模板词张量，将模板词张量、方面词嵌入向量和掩码嵌入向量拼接得到连续模板向量；
S4：将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
S5：根据目标句子生成句法依存树，根据句法依存树提取句法依存特征；
S6：将上下文特征和句法依存特征进行特征融合，得到融合特征；
S7：根据融合特征进行预测，得到目标句子中方面词的情感极性。
在步骤S1中，待分析的目标句子是至少一个方面词以及能反映方面词情感极性的情感词或修饰词，目标方面词为目标句子中的一个方面词，一个方面词可由多个单词组成。在一个实施例中，目标句子可通过token序列表示，可设目标句子为T1，T1＝[W1:L1,A,WL1+1:L2]，其中A为方面词的token，W1:L1、WL1+1:L2表示目标句子中除方面词以外的词token，目标句子经过嵌入(embedding)操作得到的目标嵌入向量表示为T1'＝e([W1:L1,A,WL1+1:L2])。
在步骤S2中，模板句子中包括方面词、掩码词和模板词，其中方面词为目标句子中的方面词；掩码词用于将目标句子中修饰方面词的情感词或修辞词进行掩码；模板词用于对方面词和掩码词进行间隔。在一个实施例中，可设模板句子为T2，模板句子T2的token序列表示为：T2＝[P1:L1,A,PL1+1:L2,[MASK]]，其中A为方面词的token；P1:L1、PL1+1:L2为模板词的token，在具体实施中，一个模板词可设置为一组包含多个unk_token的词组；[MASK]为掩码词的token。在一个示例性的实施中，对于目标句子“Good Sushi High Price”，对应的模板句子的token序列为[unk_token,unk_token,unk_token,Sushi的token，unk_token，unk_token，unk_token，[MASK]，unk_token，unk_token，unk_token]，其中模板词为3个unk_token的词组。
对模板句子中的模板词进行嵌入操作得到的模板词嵌入向量可表示为ep(P1：L1)、ep(PL1+1：L2)；对模板句子中的方面词进行嵌入操作得到的方面词嵌入向量可表示为e(A)；对模板句子中的掩码词进行嵌入操作得到的掩码词嵌入向量可表示为e([MASK])。
在步骤S3中，将模板词嵌入向量输入Prompt编码器(Encoder)得到模板词张量，其中，Prompt编码器将模板词嵌入向量依序输入双向长短期记忆人工神经网络(Bi-LSTM)和使用ReLU激活函数的多层感知机(MLP)，得到模板词张量。模板句子中第k个模板词嵌入向量hk的模板词张量h′k的表达式为：
h′k＝MLP([LSTM(h1：k)：LSTM(hk+1：Lp)])
其中，h1：k、hk+1：Lp为模板词token的嵌入向量，h1：k＝ep(P1：k)，hk+1：Lp＝ep(Pk+1：Lp)；LSTM()为LSTM人工神经网络，MLP()为多层感知机。
将模板词张量h′1：L1、h′L1+1：L2、方面词嵌入向量e(A)和掩码嵌入向量e([MASK])拼接得到连续模板向量，可表示为：
T2′＝[h′1：L1，e(A)，h′L1+1：L2，e([MASK])]
由此，连续模板向量携带了方面词的提示信息，可对后续预训练语言模型的微调阶段起到有效的引导作用，使预训练语言模型所提取的特征能够发挥根据上下文推理掩码词的能力，即做完形填空的能力。
在步骤S4中，将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到目标句子的上下文特征，其中，预训练语言模型的输入可表示为：
T′＝e([CLS])+T1′+T2′+e([SEP])
＝e([cls])+e([W1：L1，A，WL1+1：L2])+[h′1：L1，e(A)，h′L1+1：L2，e([MASK])]+e([SEP])
其中，[CLS]和[SEP]为特殊token，作为预训练语言模型的识别标记。
预训练语言模型可选用双向预测模型，例如Bert(Bidirectional EncoderRepresentation from Transformers)模型，双向预测模型可以从左往右以及从右往左预测，可以更好地理解目标句子的语义。
可选的，在预训练语言模型的预训练阶段，包括步骤：
将训练数据集中一定比例的原始词替换为掩码词[MASK]，一定比例的原始词替换为随机词；对掩码词[MASK]预测其所替换的原始词。
在一具体实施中，取训练集中所有词的15％的词进行预测任务，在预测任务中，将进入预测任务的词中80％的词替换为掩码词[MASK]，10％的词替换为随机词，剩余10％的词保持不变。
可选的，还可以通过NSP(Next Sentence Prediction)进行预训练语言模型的预训练，使预训练语言模型具有理解句子间关系的能力。
预训练语言模型输出的特征张量为{a1，a2，...，am}，m为预训练语言模型的输入T′的长度。对特征张量{a1，a2，...，am}采用平均池化函数进行池化，得到上下文特征hcon，上下文特征hcon可表示为：
hcon＝pool(a1，a2，...，am)
在步骤S5中，根据目标句子生成句法依存树，可通过Spacy工具包根据目标句子生成句法依存树。在句法依存树中，包括方面词与目标句子中其他词之间的依存关系。
根据句法依存树获得句法依存特征，可选的，将句法依存树输入图注意力网络(Graph Attention Network，GAT)并进行池化操作，获得句法依存特征。图注意力网络通过使用多头注意力机制，来聚合邻居节点的特征表示，以达到迭代更新每个节点特征表示的目的，实现对不同邻接节点分配不同的权重，通过图注意力网络可以提取更深层次的句法依存特征。
图注意网络输出的特征向量为{b1，b2，...，bn}，n为句法依存树的节点数量，其中GAT的第1层输出的第i个特征向量
Figure BDA0003777900470000061
的表达式为：
Figure BDA0003777900470000062
其中，
Figure BDA0003777900470000063
为权重系数；
Figure BDA0003777900470000064
为邻接结点的特征向量；
Figure BDA0003777900470000065
表示GAT第1层的第k个注意力头计算出来的权重系数，其表达式为：
Figure BDA0003777900470000066
其中，
Figure BDA0003777900470000067
表示GAT的第l层第k个映射函数，该映射函数将特征映射到一实数中；
Figure BDA0003777900470000068
为邻接结点的特征向量。
对图注意网络输出的特征向量{b1，b2，...，bn}采用平均池化函数进行池化，得到句法依存特征hsyn，该句法依存特征hsyn可表示为：
hsyn＝pool(b1，b2，...，bn)
在步骤S6中，将上下文特征和句法依存特征进行特征融合，可通过门控机制对图注意力层池化提取的句法依存特征和Bert模型池化提取的上下文特征进行动态加权，使模型对不同模块的关注程度不同，提高模型整体的表现。具体的，所得到的融合特征hf的表达式为：
hf＝g·hsyn+(1-g)·hcon
其中，g＝σ(Wg[hsyn；hcon]+bg)，[hsyn；hcon]表示上下文特征hsyn和句法依存特征hcon的拼接，Wg为可学习权重，bg为偏置。
在步骤S7中，根据融合特征进行预测，将融合特征输入全连接网络计算每个情感极性的概率P，其表达式为：
Figure BDA0003777900470000071
其中，c为情感极性，包括positive(积极)、negative(消极)、neutral(中立)；C为情感极性的集合，W和b为可训练模型参数。
在一个实施例中，确定最大概率值对应的情感极性为目标句子中方面词的情感极性。
在情感极性预测的训练中，可采用交叉熵函数和L2正则化作为损失函数，该损失函数的表达式为：
Figure BDA0003777900470000072
其中，N为训练样本数；I是指示函数，指示函数是定义在某集合X上的函数，表示其中有哪些元素属于某一子集A；
Figure BDA0003777900470000073
是正则化参数；θ是可训练参模型数的集合。
相对于现有技术，本发明的连续模板携带提示信息，对预训练语言模型的特征提取起到引导性作用，注入与任务相关的知识，达到情感知识增强的目的，同时能够使预训练语言模型的预训练阶段的训练任务与微调阶段任务相匹配，提高模型的鲁棒性，以及情感分类的准确性。其次本发明提取了目标句子的句法依赖关系，利用句法依存关系，分配合理的注意力权重，能够准确识别与方面词相关的情感词，提取更深层次的情感特征。
基于同一发明构思，本发明还提供一种方面级情感分析装置。请参阅图2，其为一个实施例的方面级情感分析装置的结构示意图，该装置包括目标句子嵌入模块10、模板句子构建模块20、连续模板构建模块30、上下文特征提取模块40、句法依存特征提取模块50、特征融合模块60和预测模块70，其中，目标句子嵌入模块10用于获取待分析的目标句子，对目标句子进行嵌入操作得到目标嵌入向量；模板句子构建模块20用于根据目标句子构建模板句子，对模板句子中的模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；连续模板构建模块30用于将模板词嵌入向量输入Prompt编码器得到模板词张量，将模板词张量、方面词嵌入向量和掩码嵌入向量拼接得到连续模板向量；上下文特征提取模块40用于将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；句法依存特征提取模块50用于根据目标句子生成句法依存树，根据句法依存树提取句法依存特征；特征融合模块60用于将上下文特征和句法依存特征进行特征融合，得到融合特征；预测模块70用于根据融合特征进行预测，得到目标句子中方面词的情感极性。
在一个实施例中，在预训练语言模型的预训练阶段，包括步骤：
将训练数据集中一定比例的原始词替换为掩码词[MASK]，一定比例的原始词替换为随机词；对掩码词[MASK]预测其所替换的原始词。
在一优选实施例中，句法依存特征提取模块50用于将句法依存树输入图注意力网络(Graph Attention Network,GAT)并进行池化操作，获得句法依存特征。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关细节之处请参见方法实施例的说明。
基于同一发明构思，本发明还提供一种电子设备，所述电子设备可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。该电子设备包括一个或多个处理器和存储器，其中处理器用于执行程序实现方法实施例的方面级情感分析方法；存储器用于存储可由所述处理器执行的计算机程序。
基于同一发明构思，本发明还提供一种计算机可读存储介质，与前述方面级情感分析方法的实施例相对应，所述计算机可读存储介质其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所记载的方面级情感分析方法的步骤。
本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种方面级情感分析方法，其特征在于，包括步骤：
获取待分析的目标句子，对所述目标句子进行嵌入操作得到目标嵌入向量；
根据所述目标句子构建模板句子，所述模板句子包括所述目标句子中的方面词、掩码词和间隔在所述方面词和掩码词之间的模板词，对所述模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
将所述模板词嵌入向量输入Prompt编码器得到模板词张量，将所述模板词张量、所述方面词嵌入向量和所述掩码嵌入向量拼接得到连续模板向量；
将所述目标嵌入向量和所述连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
根据所述目标句子生成句法依存树，根据所述句法依存树提取句法依存特征；
将所述上下文特征和所述句法依存特征进行特征融合，得到融合特征；
根据所述融合特征进行预测，得到目标句子中方面词的情感极性。
2.根据权利要求1所述的方法，其特征在于：所述模板词为包含多个unk_token的词组。
3.根据权利要求1所述的方法，其特征在于：所述Prompt编码器用于将所述模板词嵌入向量依序输入双向长短期记忆人工神经网络和使用ReLU激活函数的多层感知机，得到模板词张量。
4.根据权利要求1所述的方法，其特征在于，在所述预训练语言模型的预训练阶段，包括步骤：
将训练数据集中一定比例的原始词替换为掩码词[MASK]，一定比例的原始词替换为随机词；
预测所述掩码词[MASK]所替换的所述原始词。
5.根据权利要求1所述的方法，其特征在于，根据所述句法依存树提取句法依存特征，包括步骤：将所述句法依存树输入图注意力网络并进行池化操作，获得句法依存特征。
6.根据权利要求1所述的方法，其特征在于，所述融合特征的表达式为：
hf＝g·hsyn+(1-g)·hcon
其中，g＝σ(Wg[hsyn；hcon]+bg)，[hsyn；hcon]表示上下文特征hsyn和句法依存特征hcon的拼接，Wg为可学习权重，bg为偏置。
7.一种方面级情感分析装置，其特征在于，包括：
目标句子嵌入模块，用于获取待分析的目标句子，对所述目标句子进行嵌入操作得到目标嵌入向量；
模板句子构建模块，用于根据所述目标句子构建模板句子，所述模板句子包括所述目标句子中的方面词、掩码词和间隔在所述方面词和掩码词之间的模板词，对所述模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
连续模板构建模块，用于将所述模板词嵌入向量输入Prompt编码器得到模板词张量，将所述模板词张量、所述方面词嵌入向量和所述掩码嵌入向量拼接得到连续模板向量；
上下文特征提取模块，用于将所述目标嵌入向量和所述连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
句法依存特征提取模块，用于根据所述目标句子生成句法依存树，根据所述句法依存树提取句法依存特征；
特征融合模块，用于将所述上下文特征和所述句法依存特征进行特征融合，得到融合特征；
预测模块，用于根据所述融合特征进行预测，得到目标句子中方面词的情感极性。
8.根据权利要求7所述的装置，其特征在于，所述句法依存特征提取模块还用于将所述句法依存树输入图注意力网络并进行池化操作，获得句法依存特征。
9.一种电子设备，其特征在于：包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-6中任一项所述方法的步骤。
CN202210921569.6A 2022-08-02 2022-08-02 方面级情感分析方法、装置、电子设备及存储介质 Pending CN115357712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921569.6A CN115357712A (zh) 2022-08-02 2022-08-02 方面级情感分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921569.6A CN115357712A (zh) 2022-08-02 2022-08-02 方面级情感分析方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115357712A true CN115357712A (zh) 2022-11-18

Family

ID=84032059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921569.6A Pending CN115357712A (zh) 2022-08-02 2022-08-02 方面级情感分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115357712A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592483A (zh) * 2023-11-21 2024-02-23 合肥工业大学 基于思维树的隐式情感分析方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592483A (zh) * 2023-11-21 2024-02-23 合肥工业大学 基于思维树的隐式情感分析方法与装置
CN117592483B (zh) * 2023-11-21 2024-05-28 合肥工业大学 基于思维树的隐式情感分析方法与装置

Similar Documents

Publication Publication Date Title
CN110209817B (zh) 文本处理模型的训练方法、装置和文本处理方法
CN111783474B (zh) 一种评论文本观点信息处理方法、装置及存储介质
CN112966074B (zh) 一种情感分析方法、装置、电子设备以及存储介质
CN110210032B (zh) 文本处理方法及装置
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112883714B (zh) 基于依赖图卷积和迁移学习的absc任务句法约束方法
CN112699216A (zh) 端到端的语言模型预训练方法、系统、设备及存储介质
CN110633359B (zh) 语句等价性判断方法和装置
CN110678882A (zh) 使用机器学习从电子文档选择回答跨距
Tang et al. Modelling student behavior using granular large scale action data from a MOOC
WO2019235103A1 (ja) 質問生成装置、質問生成方法及びプログラム
CN109614611B (zh) 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN112200664A (zh) 基于ernie模型和dcnn模型的还款预测方法
CN114358201A (zh) 基于文本的情感分类方法和装置、计算机设备、存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN115017916A (zh) 方面级情感分析方法、装置、电子设备及存储介质
CN114781651A (zh) 基于对比学习的小样本学习鲁棒性提升方法
CN115357712A (zh) 方面级情感分析方法、装置、电子设备及存储介质
CN117057414A (zh) 一种面向文本生成的多步协作式提示学习的黑盒知识蒸馏方法及系统
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
Ermatita et al. Sentiment Analysis of COVID-19 using Multimodal Fusion Neural Networks.
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN116595189A (zh) 基于两阶段的零样本关系三元组抽取方法及系统
CN115357711A (zh) 一种方面级情感分析方法、装置、电子设备及存储介质
CN114239555A (zh) 一种关键词提取模型的训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination