CN111414476A - 一种基于多任务学习的属性级情感分析方法 - Google Patents

一种基于多任务学习的属性级情感分析方法 Download PDF

Info

Publication number
CN111414476A
CN111414476A CN202010153639.9A CN202010153639A CN111414476A CN 111414476 A CN111414476 A CN 111414476A CN 202010153639 A CN202010153639 A CN 202010153639A CN 111414476 A CN111414476 A CN 111414476A
Authority
CN
China
Prior art keywords
emotion
attribute
task
words
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010153639.9A
Other languages
English (en)
Inventor
徐冰
赵铁军
杨沐昀
张耀杰
朱聪慧
曹海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010153639.9A priority Critical patent/CN111414476A/zh
Publication of CN111414476A publication Critical patent/CN111414476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明是一种基于多任务学习的属性级情感分析方法。本发明通过构建多个任务的学习模型，实现属性词抽取及其情感极性判断两个子任务的一站式完成，提高系统性能。通过构建属性词平均长度预测辅助任务降低模型属性词抽取的难度；通过构建情感词抽取和词语级情感极性分类辅助任务增强属性词情感极性判断能力；通过构建文档级文本的情感极性分类和领域分类辅助任务从较大规模语料中引入有效的语义信息；通过显式构建属性词抽取和属性词情感极性判别的特征交互单元使模型能学习到两个子任务之间的相关信息。通过实验验证本发明已达到较优的属性级情感分析性能。

Description

一种基于多任务学习的属性级情感分析方法
技术领域
本发明涉及情感分析技术领域，是一种基于多任务学习的属性级情感分析方法。
背景技术
随着互联网电子商务的发展，人们经常在博客、论坛、社交网络、在线评论、电子商务平台中对于某些事物主动表达自己的心情、情感或态度，由此产生的主观性评论文本数量迅速增长。情感分析技术为大量的非结构化主观性文本的分析提供了重要技术手段。在情感分析任务中属性级情感分析是一个重要研究课题，侧重分析在一段非结构化主观性评论中对不同实体或属性其作者所表达的积极或消极情感。例如句子“我觉得屏幕很好，但内存太小了”，作者分别表达了对“屏幕”的积极情感和对“内存”的消极情感，在情感分析系统中通过这种细粒度的属性级情感分析技术能有效提高情感分析结果的准确性和系统实用性。
属性级情感分析任务主要包括属性词抽取、情感词抽取、属性的情感极性分类等子任务，近几年在属性级情感分析各任务上以深度学习研究方法为主。，目前大多数的研究方法主要是针对属性级情感分析的某一项子任务，由于属性词、情感词及情感词极性之间存在语义上的相关性，显然这种分步解决方式会丢失一部分有用的语义信息，将使神经网络在训练模型时产生错误累积，导致系统的精确度降低。因此，在本发明中，提出通过多任务学习模型把以上各子任务有效融合，同时解决属性词、情感词抽取任务并判断其情感极性。
发明内容
本发明为提供一种基于多任务的学习模型，构建辅助任务，并显式构建特征交互，一站式解决属性词抽取和属性的情感极性分类两步任务的方法，以满足需要同时完成两步任务的需求，并提高模型精度，本发明提供了一种基于多任务学习的属性级情感分析方法，本发明提供了以下技术方案：
一种基于多任务学习的属性级情感分析方法，包括以下步骤：
步骤1：获取属性级情感分析的训练样本，根据属性词加情感词的联合抽取任务和属性词的情感极性预测任务生成相应的两种序列标签；根据属性词计算每个样本句子属性词平均长度预测任务；获取句中每个词的情感极性预测任务；获取用于文档级文本情感极性预测任务的训练样本，并对所述训练样本进行预处理；
步骤2：将预处理后的所述训练样本的文本映射为通用词向量和领域词向量，并进行拼接，将拼接后的词向量输入到双向LSTM模型，得到文本序列编码，文本序列中每个token词或字对应一个编码向量；
步骤3：将步骤2中获得的文本序列编码输入到两个参数独立的卷积神经网络中，分别作为属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果；
步骤4：将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果分别做最大池化得到两个向量编码，通过一个全连接层后分别得到属性词平均长度预测结果，用于两个句子属性词平均长度预测任务；
步骤5：将步骤3得到的属性词加情感词的联合抽取任务的编码结果的文本序列中每个token词或字对应的编码向量，通过全连接层计算得到情感词极性预测结果，用于句中每个词的情感极性预测任务；
步骤6：将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果同时输入特征交互单元中，计算交互信息后分别输出新的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果；
步骤7：使用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码，分别得到属性词加情感词的预测序列标签，及属性词情感极性的预测序列标签；
步骤8：将预处理后的用于文档级文本情感极性预测任务的文本映射为通用词向量和领域词向量并拼接，和用于文档级文本的领域分类任务的文本仅映射为通用词向量，分别输入到与步骤2中双向LSTM模型中，分别得到文本序列编码；
步骤9：将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中，分别得到卷积神经网络编码结果；
步骤10：随机初始化两个可训练的权值矩阵，与步骤9得到的两个卷积神经网络编码结果分别计算注意力权重，将编码结果沿序列维度加权和，得到最终文本向量编码；所述向量编码通过全连接层计算后得到预测结果；
步骤11：将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失，文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失，进行交替学习优化。
优选地，所述训练样本进行预处理具体为：使用正则匹配对文本中日期、价格、网址、邮箱的统一替换；特殊符号和标点符号的分割；英文文本大写转小写；中文文本分词。
优选地，所述步骤2中将预处理后的所述训练样本的文本s＝[w1，w2，...，wL]映射为通用词向量
Figure BDA0002403286370000031
和领域词向量
Figure BDA0002403286370000032
拼接后输入到一个双向LSTM序列编码模型中，输出文本序列编码，所述文本序列编码表示
Figure BDA0002403286370000033
优选地，所述骤3中将文本序列编码hS输入到两个参数独立的卷积神经网络中组件中，所述参数独立的卷积神经网络中组件的卷积计算公式为：
Figure BDA0002403286370000034
其中，l为卷积神经网络层数，r为不同卷积窗口大小标识，
Figure BDA0002403286370000035
和
Figure BDA0002403286370000036
为随机初始化的可训练参数，dS是共享特征维度，d1是卷积神经网络组件的filter数，filter窗口大小为奇数，移动步长为1，f为ReLU激活函数，卷积过程中，第i个token的表示通过其本身及其相邻的2c个词得到，即左边c个词右边c个词，不够的补0向量，使每层卷积后序列长度不变，仍和每个词位置对应，然后得到属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果
Figure BDA0002403286370000037
和
Figure BDA0002403286370000038
优选地，所述步骤4中将属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果hAOE和hAS沿序列方向做最大池化操作，用于句子属性词平均长度预测任务，通过下式表示用于句子属性词平均长度预测任务：
Figure BDA0002403286370000039
Figure BDA00024032863700000310
其中，
Figure BDA00024032863700000311
是最大池化的结果，
Figure BDA00024032863700000312
为随机初始化的可训练参数，σ是sigmoid激活函数，最后得到长度预测
Figure BDA00024032863700000313
和
Figure BDA00024032863700000314
计算句子属性词平均长度预测任务的均方差损失，通过下式表示句子属性词平均长度预测任务的均方差损失：
Figure BDA0002403286370000041
其中，
Figure BDA0002403286370000042
为句子属性词平均长度预测任务的均方差损失，
Figure BDA0002403286370000043
为样本真实属性词平均长度。
优选地，所述步骤5中取属性词加情感词的联合抽取任务的编码结果中每个token的向量编码
Figure BDA0002403286370000044
与随机初始化的可训练参数
Figure BDA0002403286370000045
做点积，其中Cw为情感类别数，并通过归一化函数softmax得到各个情感类别的预测概率，取概率最大的为预测类别，通过下式取概率最大的为预测类别：
Figure BDA0002403286370000046
采用交叉熵损失函数计算每个token的损失，样本的损失为每个token损失的平均，通过下式表示每个token的损失：
Figure BDA0002403286370000047
其中，LWSE为每个token的损失，
Figure BDA0002403286370000048
为token真实情感类别，
Figure BDA0002403286370000049
I为one-hot映射函数，即
Figure BDA00024032863700000410
优选地，所述步骤6具体为：
步骤6.1：将步骤3中得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果输入到特征交互计算单元中，得到形状大小不变的输出，其中S{AOE，AS}是交互式attention的权重矩阵，通过下式得到形状大小不变的输出：
Figure BDA00024032863700000411
其中,
Figure BDA00024032863700000412
为形状大小不变的输出，
Figure BDA00024032863700000413
为随机初始化可训练参数，K是一个可设定的超参数，f为tanh激活函数，
Figure BDA00024032863700000414
为随机初始化可训练参数；
步骤6.2：与形状大小不变的输出做点积后得到标量
Figure BDA0002403286370000051
最终得到两个权重矩阵
Figure BDA0002403286370000052
和
Figure BDA0002403286370000053
更新hAOE和hAS，通过下式表示更新hAOE和hAS的过程：
hAOE＝hAOE+softmaxrow(SAOE)hAS
hAS＝hAS+softmaxrow(SAS)hAOE。
优选地，所述步骤7中用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码，得到属性词加情感词的预测序列标签，及属性词情感极性的预测序列标签，通过下式表示CRF模型对数似然损失：
Figure BDA0002403286370000054
其中，L为CRF模型对数似然损失，p(y|h；W(c)，b(c))是CRF模型的概率函数，W(c)，b(c)是可训练参数，得到得到属性词加情感词的预测序列标签LAOE和属性词情感极性的预测序列标签LAS。
优选地，所述步骤8中预处理后的用于文档级文本情感极性预测任务的文本s＝[w1，w2，...，wL]输入步骤2中双向LSTM序列编码模型中，得到共享特征表示
Figure BDA0002403286370000055
文档级文本情感极性预测任务、文档级文本的领域分类任务、属性词加情感词的联合抽取任务、属性词的情感极性预测任务使用的共享特征编码器双向LSTM均是共享参数的。
优选地，所述步骤9中将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中得到的不同共享特征表示输入到两个不共享参数的卷积神经网络组件中，卷积神经网络组件同步骤3，最后得到的卷积神经网络编码结果分别为
Figure BDA0002403286370000056
和
Figure BDA0002403286370000057
优选地，所述步骤10中利用attention机制将卷积神经网络编码结果向量
Figure BDA0002403286370000058
进行加权和操作，计算公式为：
Figure BDA0002403286370000059
Figure BDA00024032863700000510
Figure BDA0002403286370000061
Figure BDA0002403286370000062
其中，αDS和αDD分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention得分的归一化权重，
Figure BDA0002403286370000063
和
Figure BDA0002403286370000064
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention加权和的结果，
Figure BDA0002403286370000065
和
Figure BDA0002403286370000066
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务顶层分类器输出的各个类别的归一化概率，
Figure BDA0002403286370000067
和
Figure BDA0002403286370000068
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务的预测结果
Figure BDA0002403286370000069
及
Figure BDA00024032863700000610
是可训练参数，Cds和Cdd分别是文档级文本情感极性类别数和领域类别数，σ是sigmoid激活函数；
进行交叉熵损失计算，通过下式表示交叉熵损失计算结果：
Figure BDA00024032863700000611
其中，LDS为交叉熵损失计算结果，I为one-hot映射函数，
Figure BDA00024032863700000612
为真实类别标签。
优选地，所述步骤11具体为：
步骤11.1：将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失，文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失，通过下式表示第一部分损失和第二部分损失：
Figure BDA00024032863700000613
Ld＝LDS+LDD
其中，La为第一部分损失，Ld为第二部分损失；
步骤11.2：进行交替学习优化，定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练，完成后再定义正式训练轮次数epoch，对属性级文本分析进行训练，且在分批量训练时，定义一个比率r，当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。
本发明具有以下有益效果：
本发明通过构建多个任务的学习模型，实现属性词抽取及其情感极性判断两个子任务的一站式完成，提高系统性能。通过构建属性词平均长度预测辅助任务降低模型属性词抽取的难度；通过构建情感词抽取和词语级情感极性分类辅助任务增强属性词情感极性判断能力；通过构建文档级文本的情感极性分类和领域分类辅助任务从较大规模语料中引入有效的语义信息；通过显式构建属性词抽取和属性词情感极性判别的特征交互单元使模型能学习到两个子任务之间的相关信息。通过实验验证本发明已达到较优的属性级情感分析性能。
附图说明
图1为基于多任务学习的属性级情感分析结构图；
图2为DE-CNN组件的结构图；
图3为特征交互计算单元的结构图；
图4为优化训练流程图流程图。
具体实施方式
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
本发明提供一种基于多任务学习的属性级情感分析方法，包括以下步骤：
步骤1：获取属性级情感分析的训练样本，根据属性词加情感词的联合抽取任务和属性词的情感极性预测任务生成相应的两种序列标签；根据属性词计算每个样本句子属性词平均长度预测任务；获取句中每个词的情感极性预测任务；获取用于文档级文本情感极性预测任务的训练样本，并对所述训练样本进行预处理；
所述训练样本进行预处理具体为：使用正则匹配对文本中日期、价格、网址、邮箱的统一替换；特殊符号和标点符号的分割；英文文本大写转小写；中文文本分词。
步骤2：将预处理后的所述训练样本的文本映射为通用词向量和领域词向量，并进行拼接，将拼接后的词向量输入到双向LSTM模型，得到文本序列编码，文本序列中每个token词或字对应一个编码向量；
所述步骤2中将预处理后的所述训练样本的文本s＝[w1，w2，...，wL]映射为通用词向量
Figure BDA0002403286370000081
和领域词向量
Figure BDA0002403286370000082
拼接后输入到一个双向LSTM序列编码模型中，输出文本序列编码，所述文本序列编码表示
Figure BDA0002403286370000083
步骤3：将步骤2中获得的文本序列编码输入到两个参数独立的卷积神经网络中，分别作为属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果；
所述骤3中将文本序列编码hS输入到两个参数独立的卷积神经网络中组件中，所述参数独立的卷积神经网络中组件的卷积计算公式为：
Figure BDA0002403286370000084
其中，l为卷积神经网络层数，r为不同卷积窗口大小标识，
Figure BDA0002403286370000085
和
Figure BDA0002403286370000086
为随机初始化的可训练参数，dS是共享特征维度，d1是卷积神经网络组件的filter数，filter窗口大小为奇数，移动步长为1，f为ReLU激活函数，卷积过程中，第i个token的表示通过其本身及其相邻的2c个词得到，即左边c个词右边c个词，不够的补0向量，使每层卷积后序列长度不变，仍和每个词位置对应，然后得到属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果
Figure BDA0002403286370000087
和
Figure BDA0002403286370000088
步骤4：将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果分别做最大池化得到两个向量编码，通过一个全连接层后分别得到属性词平均长度预测结果，用于两个句子属性词平均长度预测任务；
所述步骤4中将属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果hAOE和hAS沿序列方向做最大池化操作，用于句子属性词平均长度预测任务，通过下式表示用于句子属性词平均长度预测任务：
Figure BDA0002403286370000089
Figure BDA0002403286370000091
其中，
Figure BDA0002403286370000092
是最大池化的结果，
Figure BDA0002403286370000093
为随机初始化的可训练参数，σ是sigmoid激活函数，最后得到长度预测
Figure BDA0002403286370000094
和
Figure BDA0002403286370000095
计算句子属性词平均长度预测任务的均方差损失，通过下式表示句子属性词平均长度预测任务的均方差损失：
Figure BDA0002403286370000096
其中，
Figure BDA0002403286370000097
为句子属性词平均长度预测任务的均方差损失，
Figure BDA0002403286370000098
为样本真实属性词平均长度。
步骤5：将步骤3得到的属性词加情感词的联合抽取任务的编码结果的文本序列每个token词或字对应的编码向量，通过全连接层计算得到情感词极性预测结果，用于句中每个词的情感极性预测任务；
所述步骤5中取属性词加情感词的联合抽取任务的编码结果中每个token的向量编码
Figure BDA0002403286370000099
与随机初始化的可训练参数
Figure BDA00024032863700000910
做点积，其中Cw为情感类别数，并通过归一化函数softmax得到各个情感类别的预测概率，取概率最大的为预测类别，通过下式取概率最大的为预测类别：
Figure BDA00024032863700000911
采用交叉熵损失函数计算每个token的损失，样本的损失为每个token损失的平均，通过下式表示每个token的损失：
Figure BDA00024032863700000912
其中，LWSE为每个token的损失，
Figure BDA00024032863700000913
为token真实情感类别，
Figure BDA00024032863700000914
I为one-hot映射函数，即
Figure BDA00024032863700000915
步骤6：将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果同时输入特征交互单元中，计算交互信息后分别输出新的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果；
所述步骤6具体为：
步骤6.1：将步骤3中得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果输入到特征交互计算单元中，得到形状大小不变的输出，其中S{AOE，AS}是交互式attention的权重矩阵，通过下式得到形状大小不变的输出：
Figure BDA0002403286370000101
其中,
Figure BDA0002403286370000102
为形状大小不变的输出，
Figure BDA0002403286370000103
为随机初始化可训练参数，K是一个可设定的超参数，f为tanh激活函数，
Figure BDA0002403286370000104
为随机初始化可训练参数；
步骤6.2：与形状大小不变的输出做点积后得到标量
Figure BDA0002403286370000105
最终得到两个权重矩阵
Figure BDA0002403286370000106
和
Figure BDA0002403286370000107
更新hAOE和hAS，通过下式表示更新hAOE和hAS的过程：
hAOE＝hAOE+softmaxrow(SAOE)hAS
hAS＝hAS+softmaxrow(SAS)hAOE。
步骤7：使用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码，分别得到属性词加情感词的预测序列标签，及属性词情感极性的预测序列标签；
所述步骤7中用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码，得到属性词加情感词的预测序列标签，及属性词情感极性的预测序列标签，通过下式表示CRF模型对数似然损失：
Figure BDA0002403286370000108
其中，L为CRF模型对数似然损失，p(y|h；W(c)，b(c))是CRF模型的概率函数，W(c)，b(c)是可训练参数，得到得到属性词加情感词的预测序列标签LAOE和属性词情感极性的预测序列标签LAS。
步骤8：将预处理后的用于文档级文本情感极性预测任务的文本映射为通用词向量和领域词向量并拼接，和用于文档级文本的领域分类任务的文本仅映射为通用词向量，分别输入到与步骤2中双向LSTM模型中，分别得到文本序列编码；
所述步骤8中预处理后的用于文档级文本情感极性预测任务的文本s＝[w1，w2，...，wL]输入步骤2中双向LSTM序列编码模型中，得到共享特征表示
Figure BDA0002403286370000111
文档级文本情感极性预测任务、文档级文本的领域分类任务、属性词加情感词的联合抽取任务、属性词的情感极性预测任务使用的共享特征编码器双向LSTM均是共享参数的。
步骤9：将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中，分别得到卷积神经网络编码结果；
所述步骤9中将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中得到的不同共享特征表示输入到两个不共享参数的卷积神经网络组件中，卷积神经网络组件同步骤3，最后得到的卷积神经网络编码结果分别为
Figure BDA0002403286370000112
和
Figure BDA0002403286370000113
步骤10：随机初始化两个可训练的权值矩阵，与步骤9得到的两个卷积神经网络编码结果分别计算注意力权重，将编码结果沿序列维度加权和，得到最终文本向量编码；所述向量编码通过全连接层计算后得到预测结果；
所述步骤10中利用attention机制将卷积神经网络编码结果向量h{DS，DD}进行加权和操作，计算公式为：
Figure BDA0002403286370000114
Figure BDA0002403286370000115
Figure BDA0002403286370000116
Figure BDA0002403286370000117
其中，αDS和αDD分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention得分的归一化权重，
Figure BDA0002403286370000121
和
Figure BDA0002403286370000122
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention加权和的结果，
Figure BDA0002403286370000123
和
Figure BDA0002403286370000124
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务顶层分类器输出的各个类别的归一化概率，
Figure BDA0002403286370000125
和
Figure BDA0002403286370000126
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务的预测结果，
Figure BDA0002403286370000127
及
Figure BDA0002403286370000128
是可训练参数，Cds和Cdd分别是文档级文本情感极性类别数和领域类别数，σ是sigmoid激活函数；
进行交叉熵损失计算，通过下式表示交叉熵损失计算结果：
Figure BDA0002403286370000129
其中，LDS为交叉熵损失计算结果，I为one-hot映射函数，
Figure BDA00024032863700001210
为真实类别标签。
步骤11：将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失，文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失，进行交替学习优化。
所述步骤11具体为：
步骤11.1：将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失，文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失，通过下式表示第一部分损失和第二部分损失：
Figure BDA00024032863700001211
Ld＝LDS+LDD
其中，La为第一部分损失，Ld为第二部分损失；
步骤11.2：进行交替学习优化，定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练，完成后再定义正式训练轮次数epoch，对属性级文本分析进行训练，且在分批量训练时，定义一个比率r，当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。步骤1：建立四阶电力系统混沌数学模型，对四阶电力系统混沌数学模型进行简化后建立受控系统；
具体实施例二：
本发明的整体模型结构，及其工作过程，如图1所示
步骤一：首先对原始文本进行预处理，包括使用正则匹配对文本中日期、价格、网址、邮箱的统一替换；特殊符号和标点符号的分割；英文文本大写转小写；中文文本分词。并根据带标签的属性级情感分析数据生成AOE任务标注、AS任务标注、每个句子属性词平均长度、每个单词情感极性的标注。所述的AOE任务(Aspect-Opinion Extraction)即属性词加情感词的联合抽取任务；所述的AS任务(Aspect Sentiment)即属性词的情感极性预测任务；所述的ALE任务(Aspect Length Enhancement)即句子属性词平均长度预测任务；所述的WSE任务(Word Sentiment Enhancement)即句中每个词的情感极性预测任务；所述的DS任务(Document Sentiment)即文档级文本情感极性预测任务；所述的DD任务(DocumentDomain)即文档级文本的领域分类任务。
步骤二：将预处理后的用于属性级情感分析的文本s＝[w1，w2，...，wL]映射为通用词向量
Figure BDA0002403286370000131
和领域词向量
Figure BDA0002403286370000132
拼接后输入到一个双向LSTM序列编码模型中，将其视为一个特征编码器，输出共享特征表示
Figure BDA0002403286370000133
可选的，本实施例中通用词向量维度为300，领域词向量维度为100，仍由Hu Xu等人提供。使用的双向LSTM中，单向隐藏层大小为256，即dS＝512。
步骤三：将共享特征表示hs输入到两个不共享参数的CNN组件中(AOE和AS任务部分)，CNN组件结构如图2所示。卷积计算公式为：
Figure BDA0002403286370000134
其中l为CNN层数，r为不同卷积窗口大小标识。
Figure BDA0002403286370000135
和
Figure BDA0002403286370000136
为随机初始化的可训练参数，dS是共享特征维度，d1是CNN组件的filter数，filter窗口大小为奇数，移动步长为1，f为ReLU激活函数。卷积过程中，第i个token的表示通过它本身及其相邻的2c个词得到，即左边c个词右边c个词，不够的补0向量，使每层卷积后序列长度不变，仍和每个词位置对应。然后得到AOE和AS的编码结果
Figure BDA0002403286370000141
可选的，本实施例中AOE的CNN组件层数为3，AS、DS、DD的CNN组件层数均为1。所有CNN组件都是包含窗口大小为5的256个filter，即d1＝d2＝256。
步骤四：将hAOE和hAS沿序列方向做最大池化操作，用于ALE任务，即：
Figure BDA0002403286370000142
Figure BDA0002403286370000143
其中
Figure BDA0002403286370000144
是最大池化的结果，
Figure BDA0002403286370000145
为随机初始化的可训练参数，σ是sigmoid激活函数，最后得到长度预测
Figure BDA0002403286370000146
和
Figure BDA0002403286370000147
这时我们可以计算ALE回归任务的均方差损失：
Figure BDA0002403286370000148
其中
Figure BDA0002403286370000149
为样本真实属性词平均长度。
步骤五：取hAS中每个token的向量编码
Figure BDA00024032863700001410
与随机初始化的可训练参数
Figure BDA00024032863700001411
做点积，其中Cw为情感类别数，并通过归一化函数softmax得到各个情感类别的预测概率，取概率最大的为预测类别：
Figure BDA00024032863700001412
使用交叉熵损失函数计算每个token的损失，样本的损失为每个token损失的平均：
Figure BDA00024032863700001413
其中
Figure BDA00024032863700001414
为token真实情感类别，
Figure BDA00024032863700001415
I为one-hot映射函数，即
Figure BDA00024032863700001416
可选的，本实施例token情感类别包括{POS,NEG,NONE}三类，即Cw＝3。
步骤六：将步骤三中得到的hAOE和hAS编码结果输入到特征交互计算单元中，得到形状大小不变的输出，即更新后的
Figure BDA0002403286370000151
和
Figure BDA0002403286370000152
hAOE编码中将融入属性词情感极性信息，hAS编码中将融入属性词和情感词信息。特征交互计算单元如图3所示，其中S{AOE，AS}是交互式attention的权重矩阵，计算公式如下：
Figure BDA0002403286370000153
其中
Figure BDA0002403286370000154
为随机初始化可训练参数，K是一个可设定的超参数，这种张量操作可看作多个双向线性操作，能模拟两个向量间更复杂的组合。f为tanh激活函数，
Figure BDA0002403286370000155
为随机初始化可训练参数，与上述结果做点积后得到标量
Figure BDA0002403286370000156
最终得到两个权重矩阵
Figure BDA0002403286370000157
和
Figure BDA0002403286370000158
更新hAOE和hAS的方式为：
hAOE＝hAOE+softmaxrow(SAOE)hAS
hAS＝hAS+softmaxrow(SAS)hAOE
步骤七：用CRF解码h{AOE，AS}得到最终AOE和AS的标注序列。CRF对数似然损失：
Figure BDA0002403286370000159
其中p(y|h；W(c)，b(c))是CRF的概率函数，W(c)，b(c)是可训练参数。得到LAOE和LAS。
步骤八：分别将用于情感极性分类(DS)和领域分类(DD)的文档级文本s＝[w1，w2，...，wL]输入到与步骤二共享参数的双向LSTM序列编码模型中，得到共享特征表示
Figure BDA00024032863700001510
(这里为了便于描述和理解，使用与属性级情感分析文本相同的符号)。DS、DD及AOE、AS使用的共享特征编码器双向LSTM均是共享参数的。
步骤九：将DS和DD得到的不同共享特征表示输入到两个不共享参数的CNN组件中，CNN组件同步骤三。最后得到的编码结果分别为
Figure BDA00024032863700001511
和
Figure BDA00024032863700001512
步骤十：利用attention机制将h{DS，DD}进行加权和操作，计算公式为：
Figure BDA0002403286370000161
Figure BDA0002403286370000162
Figure BDA0002403286370000163
Figure BDA0002403286370000164
其中
Figure BDA0002403286370000165
及
Figure BDA0002403286370000166
是可训练参数，Cds和Cdd分别是文档级文本情感极性类别数和领域类别数。σ是sigmoid激活函数。交叉熵损失计算为：
Figure BDA0002403286370000167
其中I为one-hot映射函数，
Figure BDA0002403286370000168
为真实类别标签。
可选的，本实施例中DS任务文档级文本情感极性包括{POS,NEG,NEU}三类，DD任务文档级文本领域包括{Lap,Res}，即笔记本电脑和餐厅两类。
步骤十一：将AOE、AS、ALE、WSE任务计算的损失作为第一部分损失，DS、DD任务的损失作为第二部分损失，具体定义为：
Figure BDA0002403286370000169
Ld＝LDS+LDD
模型优化时的训练规则如图4流程图所示，先定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练，完成后再定义正式训练轮次数epoch，对属性级文本分析进行训练，且在分批量(mini-batch)训练时，定义一个比率r，当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。
可选的，本实施例中，在embedding层和每个CNN层后添加dropout值为0.5，学习率为1e-4，使用Adam优化器。mini-batch大小为32，pre-epoch大小为5，epoch固定80。
2.实施例数据及评估指标介绍
本实施例中，AOE和AS任务使用SemEvel-2014 Task 4提供的用于属性级情感分析的笔记本电脑评论英文数据，可用于属性词抽取及属性词情感极性分类任务。
DS和DD任务使用的数据，一个来自Yelp餐厅领域，一个来自Amazon电子领域的数据集，在做DS任务时，使用的Amazon电子领域的数据集做情感极性分类，包括30,000条类别完全均衡的文本；在做DD任务时，使用两个数据集合起来的60,000条文本做领域二分类，类别仍完全均衡。
属性级情感分析数据集的具体分布情况见表1：
表1：属性级情感分析数据中各情感极性属性词数和情感词数统计
Figure BDA0002403286370000171
本发明采用精确率(precision)、召回率(recall)、F1分(F1-score)评估属性词抽取的性能和属性词抽取及其情感极性判断两步任务的性能。抽取的属性词完全匹配才视为属性词抽取任务的正确样例；抽取的属性词完全匹配且情感预测准确才视为两步任务的正确样例。
3.实验结果
属性词抽取实验结果如表2所示，属性词抽取及其情感极性判断两步任务实验结果如表3所示。
表2：属性词抽取实验结果
Figure BDA0002403286370000172
Figure BDA0002403286370000181
表3：属性词抽取及其情感极性判断两步任务实验结果
Figure BDA0002403286370000182
BiLSTM+CRF模型和BERT模型在完成两步任务时，使用复合标签{B-pos,I-pos,B-neg,I-neg,B-neu,I-neu,B-con,I-con,O}做序列标注任务。MNN、DOER、IMN是三个多任务模型。
以上所述仅是一种基于多任务学习的属性级情感分析方法的优选实施方式，一种基于多任务学习的属性级情感分析方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (12)

1.一种基于多任务学习的属性级情感分析方法，其特征是：包括以下步骤：
步骤1：获取属性级情感分析的训练样本，根据属性词加情感词的联合抽取任务和属性词的情感极性预测任务生成相应的两种序列标签；根据属性词计算每个样本句子属性词平均长度预测任务；获取句中每个词的情感极性预测任务；获取用于文档级文本情感极性预测任务的训练样本，并对所述训练样本进行预处理；
步骤2：将预处理后的所述训练样本的文本映射为通用词向量和领域词向量，并进行拼接，将拼接后的词向量输入到双向LSTM模型，得到文本序列编码，文本序列中每个token词或字对应一个编码向量；
步骤3：将步骤2中获得的文本序列编码输入到两个参数独立的卷积神经网络中，分别作为属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果；
步骤4：将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果分别做最大池化得到两个向量编码，通过一个全连接层后分别得到属性词平均长度预测结果，用于两个句子属性词平均长度预测任务；
步骤5：将步骤3得到的属性词加情感词的联合抽取任务的编码结果的文本序列中每个token词或字对应的编码向量，通过全连接层计算得到情感词极性预测结果，用于句中每个词的情感极性预测任务；
步骤6：将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果同时输入特征交互单元中，计算交互信息后分别输出新的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果；
步骤7：使用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码，分别得到属性词加情感词的预测序列标签，及属性词情感极性的预测序列标签；
步骤8：将预处理后的用于文档级文本情感极性预测任务的文本映射为通用词向量和领域词向量并拼接，和用于文档级文本的领域分类任务的文本仅映射为通用词向量，分别输入到与步骤2中双向LSTM模型中，分别得到文本序列编码；
步骤9：将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中，分别得到卷积神经网络编码结果；
步骤10：随机初始化两个可训练的权值矩阵，与步骤9得到的两个卷积神经网络编码结果分别计算注意力权重，将编码结果沿序列维度加权和，得到最终文本向量编码；所述向量编码通过全连接层计算后得到预测结果；
步骤11：将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失，文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失，进行交替学习优化。
2.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述训练样本进行预处理具体为：使用正则匹配对文本中日期、价格、网址、邮箱的统一替换；特殊符号和标点符号的分割；英文文本大写转小写；中文文本分词。
3.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤2中将预处理后的所述训练样本的文本s＝[w1，w2，...，wL]映射为通用词向量
Figure FDA0002403286360000021
和领域词向量
Figure FDA0002403286360000022
拼接后输入到一个双向LSTM序列编码模型中，输出文本序列编码，所述文本序列编码表示
Figure FDA0002403286360000023
4.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述骤3中将文本序列编码hS输入到两个参数独立的卷积神经网络中组件中，所述参数独立的卷积神经网络中组件的卷积计算公式为：
Figure FDA0002403286360000024
其中，l为卷积神经网络层数，r为不同卷积窗口大小标识，
Figure FDA0002403286360000025
和
Figure FDA0002403286360000026
为随机初始化的可训练参数，dS是共享特征维度，d1是卷积神经网络组件的filter数，filter窗口大小为奇数，移动步长为1，f为ReLU激活函数，卷积过程中，第i个token的表示通过其本身及其相邻的2c个词得到，即左边c个词右边c个词，不够的补0向量，使每层卷积后序列长度不变，仍和每个词位置对应，然后得到属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果
Figure FDA0002403286360000027
和
Figure FDA0002403286360000028
5.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：
所述步骤4中将属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果hAOE和hAS沿序列方向做最大池化操作，用于句子属性词平均长度预测任务，通过下式表示用于句子属性词平均长度预测任务：
Figure FDA0002403286360000031
Figure FDA0002403286360000032
其中，
Figure FDA0002403286360000033
是最大池化的结果，
Figure FDA0002403286360000034
为随机初始化的可训练参数，σ是sigmoid激活函数，最后得到长度预测
Figure FDA0002403286360000035
和
Figure FDA0002403286360000036
计算句子属性词平均长度预测任务的均方差损失，通过下式表示句子属性词平均长度预测任务的均方差损失：
Figure FDA0002403286360000037
其中，
Figure FDA0002403286360000038
为句子属性词平均长度预测任务的均方差损失，
Figure FDA0002403286360000039
为样本真实属性词平均长度。
6.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：
所述步骤5中取属性词加情感词的联合抽取任务的编码结果中每个token的向量编码
Figure FDA00024032863600000310
与随机初始化的可训练参数
Figure FDA00024032863600000311
做点积，其中Cw为情感类别数，并通过归一化函数softmax得到各个情感类别的预测概率，取概率最大的为预测类别，通过下式取概率最大的为预测类别：
Figure FDA00024032863600000312
采用交叉熵损失函数计算每个token的损失，样本的损失为每个token损失的平均，通过下式表示每个token的损失：
Figure FDA00024032863600000313
其中，LWSE为每个token的损失，
Figure FDA00024032863600000314
为token真实情感类别，
Figure FDA00024032863600000315
I为one-hot映射函数，即
Figure FDA0002403286360000041
7.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤6具体为：
步骤6.1：将步骤3中得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果输入到特征交互计算单元中，得到形状大小不变的输出，其中S{AOE，AS}是交互式attention的权重矩阵，通过下式得到形状大小不变的输出：
Figure FDA0002403286360000042
其中,
Figure FDA0002403286360000043
为形状大小不变的输出，
Figure FDA0002403286360000044
为随机初始化可训练参数，K是一个可设定的超参数，f为tanh激活函数，
Figure FDA0002403286360000045
为随机初始化可训练参数；
步骤6.2：与形状大小不变的输出做点积后得到标量
Figure FDA0002403286360000046
最终得到两个权重矩阵
Figure FDA0002403286360000047
和
Figure FDA0002403286360000048
更新hAOE和hAS，通过下式表示更新hAOE和hAS的过程：
hAOE＝hAOE+softmaxrow(SAOE)hAS
hAS＝hAS+softmaxrow(SAS)hAOE。
8.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤7中用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码，得到属性词加情感词的预测序列标签，及属性词情感极性的预测序列标签，通过下式表示CRF模型对数似然损失：
Figure FDA0002403286360000049
其中，L为CRF模型对数似然损失，p(y|h；W(c)，b(c)是CRF模型的概率函数，W(c)，b(c)是可训练参数，得到得到属性词加情感词的预测序列标签LAOE和属性词情感极性的预测序列标签LAS。
9.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤8中预处理后的用于文档级文本情感极性预测任务的文本s＝[w1，w2，...，wL]输入步骤2中双向LSTM序列编码模型中，得到共享特征表示
Figure FDA0002403286360000051
文档级文本情感极性预测任务、文档级文本的领域分类任务、属性词加情感词的联合抽取任务、属性词的情感极性预测任务使用的共享特征编码器双向LSTM均是共享参数的。
10.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤9中将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中得到的不同共享特征表示输入到两个不共享参数的卷积神经网络组件中，卷积神经网络组件同步骤3，最后得到的卷积神经网络编码结果分别为
Figure FDA0002403286360000052
和
Figure FDA0002403286360000053
11.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤10中利用attention机制将卷积神经网络编码结果向量h{DS，DD}进行加权和操作，计算公式为：
Figure FDA0002403286360000054
Figure FDA0002403286360000055
Figure FDA0002403286360000056
Figure FDA0002403286360000057
其中，αDS和αDD分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention得分的归一化权重，
Figure FDA0002403286360000058
和
Figure FDA0002403286360000059
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention加权和的结果，
Figure FDA00024032863600000510
和
Figure FDA00024032863600000511
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务顶层分类器输出的各个类别的归一化概率，
Figure FDA00024032863600000512
和
Figure FDA00024032863600000513
分别是文档级文本情感极性预测任务和文档级文本的领域分类任务的预测结果，
Figure FDA00024032863600000514
及
Figure FDA0002403286360000061
是可训练参数，Cds和Cdd分别是文档级文本情感极性类别数和领域类别数，σ是sigmoid激活函数；
进行交叉熵损失计算，通过下式表示交叉熵损失计算结果：
Figure FDA0002403286360000062
其中，LDS为交叉熵损失计算结果，I为one-hot映射函数，
Figure FDA0002403286360000063
为真实类别标签。
12.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法，其特征是：所述步骤11具体为：
步骤11.1：将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失，文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失，通过下式表示第一部分损失和第二部分损失：
Figure FDA0002403286360000064
Ld＝LDS+LDD
其中，La为第一部分损失，Ld为第二部分损失；
步骤11.2：进行交替学习优化，定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练，完成后再定义正式训练轮次数epoch，对属性级文本分析进行训练，且在分批量训练时，定义一个比率r，当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。
CN202010153639.9A 2020-03-06 2020-03-06 一种基于多任务学习的属性级情感分析方法 Pending CN111414476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010153639.9A CN111414476A (zh) 2020-03-06 2020-03-06 一种基于多任务学习的属性级情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153639.9A CN111414476A (zh) 2020-03-06 2020-03-06 一种基于多任务学习的属性级情感分析方法

Publications (1)

Publication Number Publication Date
CN111414476A true CN111414476A (zh) 2020-07-14

Family

ID=71494325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153639.9A Pending CN111414476A (zh) 2020-03-06 2020-03-06 一种基于多任务学习的属性级情感分析方法

Country Status (1)

Country Link
CN (1) CN111414476A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881671A (zh) * 2020-09-27 2020-11-03 华南师范大学 一种属性词提取方法
CN111930953A (zh) * 2020-09-21 2020-11-13 北京合享智慧科技有限公司 一种文本属性特征的识别、分类及结构分析方法及装置
CN112100376A (zh) * 2020-09-11 2020-12-18 湖南大学 用于细粒度情感分析的相互增强转换网络
CN112699240A (zh) * 2020-12-31 2021-04-23 荆门汇易佳信息科技有限公司 中文情感特征词智能动态发掘和归类方法
CN113065331A (zh) * 2021-04-15 2021-07-02 上海金融期货信息技术有限公司 基于实体上下文判别的实体情感识别方法和系统
CN113076718A (zh) * 2021-04-09 2021-07-06 苏州爱语认知智能科技有限公司 一种商品属性抽取方法及其系统
CN113204624A (zh) * 2021-06-07 2021-08-03 吉林大学 一种多特征融合的文本情感分析模型及装置
CN113268592A (zh) * 2021-05-06 2021-08-17 天津科技大学 基于多层次交互注意力机制的短文本对象情感分类方法
CN113297352A (zh) * 2021-06-07 2021-08-24 苏州大学 基于多任务网络的属性级情感分类方法及装置
CN113641821A (zh) * 2021-08-11 2021-11-12 北京信息科技大学 一种社交网络中意见领袖的价值取向识别方法及系统
CN113792541A (zh) * 2021-09-24 2021-12-14 福州大学 一种引入互信息正则化器的方面级情感分析方法
CN114281993A (zh) * 2021-12-23 2022-04-05 中国科学技术大学 一种文本共情预测模型及方法
CN114510934A (zh) * 2022-02-18 2022-05-17 上海喜马拉雅科技有限公司 一种文本处理方法、装置、服务器及存储介质
CN114519353A (zh) * 2022-02-22 2022-05-20 平安科技（深圳）有限公司 模型的训练方法、情感消息生成方法和装置、设备、介质
TWI779810B (zh) * 2021-08-31 2022-10-01 中華電信股份有限公司 文本評論資料分析系統、方法及電腦可讀媒介
CN115409135A (zh) * 2022-11-03 2022-11-29 南昌惠联网络技术有限公司 一种网络业务文档的分类管理方法
CN118153553A (zh) * 2024-05-09 2024-06-07 江西科技师范大学 基于多任务的社交网络用户心理危机原因抽取方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299262A (zh) * 2018-10-09 2019-02-01 中山大学 一种融合多粒度信息的文本蕴含关系识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299262A (zh) * 2018-10-09 2019-02-01 中山大学 一种融合多粒度信息的文本蕴含关系识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUAISHAO LUO等: "DOER: dual cross-shared RNN for aspect term-polarity co-extraction", 《ARXIV》 *
RUIDAN HE等: "an interactive multi-task learning network for end-to-end aspect-based sentiment analysis", 《ARXIV》 *
ZICHAO YANG等: "Hierarchical Attention Networks for Document Class", 《RESEARCHGATE》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100376A (zh) * 2020-09-11 2020-12-18 湖南大学 用于细粒度情感分析的相互增强转换网络
CN111930953A (zh) * 2020-09-21 2020-11-13 北京合享智慧科技有限公司 一种文本属性特征的识别、分类及结构分析方法及装置
CN112632286A (zh) * 2020-09-21 2021-04-09 北京合享智慧科技有限公司 一种文本属性特征的识别、分类及结构分析方法及装置
CN111881671A (zh) * 2020-09-27 2020-11-03 华南师范大学 一种属性词提取方法
CN112699240A (zh) * 2020-12-31 2021-04-23 荆门汇易佳信息科技有限公司 中文情感特征词智能动态发掘和归类方法
CN113076718A (zh) * 2021-04-09 2021-07-06 苏州爱语认知智能科技有限公司 一种商品属性抽取方法及其系统
CN113065331A (zh) * 2021-04-15 2021-07-02 上海金融期货信息技术有限公司 基于实体上下文判别的实体情感识别方法和系统
CN113268592A (zh) * 2021-05-06 2021-08-17 天津科技大学 基于多层次交互注意力机制的短文本对象情感分类方法
CN113204624A (zh) * 2021-06-07 2021-08-03 吉林大学 一种多特征融合的文本情感分析模型及装置
CN113297352A (zh) * 2021-06-07 2021-08-24 苏州大学 基于多任务网络的属性级情感分类方法及装置
CN113297352B (zh) * 2021-06-07 2024-01-16 苏州大学 基于多任务网络的属性级情感分类方法及装置
CN113204624B (zh) * 2021-06-07 2022-06-14 吉林大学 一种多特征融合的文本情感分析模型及装置
CN113641821A (zh) * 2021-08-11 2021-11-12 北京信息科技大学 一种社交网络中意见领袖的价值取向识别方法及系统
CN113641821B (zh) * 2021-08-11 2023-08-29 北京信息科技大学 一种社交网络中意见领袖的价值取向识别方法及系统
TWI779810B (zh) * 2021-08-31 2022-10-01 中華電信股份有限公司 文本評論資料分析系統、方法及電腦可讀媒介
CN113792541A (zh) * 2021-09-24 2021-12-14 福州大学 一种引入互信息正则化器的方面级情感分析方法
CN113792541B (zh) * 2021-09-24 2023-08-11 福州大学 一种引入互信息正则化器的方面级情感分析方法
CN114281993A (zh) * 2021-12-23 2022-04-05 中国科学技术大学 一种文本共情预测模型及方法
CN114281993B (zh) * 2021-12-23 2024-03-29 中国科学技术大学 一种文本共情预测系统及方法
CN114510934A (zh) * 2022-02-18 2022-05-17 上海喜马拉雅科技有限公司 一种文本处理方法、装置、服务器及存储介质
CN114519353B (zh) * 2022-02-22 2023-07-25 平安科技（深圳）有限公司 模型的训练方法、情感消息生成方法和装置、设备、介质
CN114519353A (zh) * 2022-02-22 2022-05-20 平安科技（深圳）有限公司 模型的训练方法、情感消息生成方法和装置、设备、介质
CN115409135A (zh) * 2022-11-03 2022-11-29 南昌惠联网络技术有限公司 一种网络业务文档的分类管理方法
CN118153553A (zh) * 2024-05-09 2024-06-07 江西科技师范大学 基于多任务的社交网络用户心理危机原因抽取方法与系统

Similar Documents

Publication Publication Date Title
CN111414476A (zh) 一种基于多任务学习的属性级情感分析方法
CN111444709B (zh) 文本分类方法、装置、存储介质及设备
CN111858944B (zh) 一种基于注意力机制的实体方面级情感分析方法
CN110457480B (zh) 基于交互式注意力机制的细粒度情感分类模型的构建方法
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN110287323B (zh) 一种面向目标的情感分类方法
CN110502626A (zh) 一种基于卷积神经网络的方面级情感分析方法
CN112307168A (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
CN110046356B (zh) 标签嵌入的微博文本情绪多标签分类方法
CN110472245B (zh) 一种基于层次化卷积神经网络的多标记情绪强度预测方法
Zhang et al. A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews
CN112069320B (zh) 一种基于跨度的细粒度情感分析方法
CN112434161B (zh) 一种采用双向长短期记忆网络的方面级情感分析方法
CN112256866A (zh) 一种基于深度学习的文本细粒度情感分析方法
CN111897954A (zh) 一种用户评论方面挖掘系统、方法、及存储介质
CN114020900A (zh) 基于融合空间位置注意力机制的图表英语摘要生成方法
CN116245110A (zh) 基于图注意力网络的多维度信息融合用户立场检测方法
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN114492661B (zh) 文本数据分类方法和装置、计算机设备、存储介质
Zhang et al. Survey of transformers and towards ensemble learning using transformers for natural language processing
CN115129807A (zh) 基于自注意的社交媒体主题评论的细粒度分类方法及系统
CN112989803A (zh) 一种基于主题向量学习的实体链接模型
CN114595693A (zh) 一种基于深度学习的文本情感分析方法
Samrat et al. Deep Learning Techniques for Sentiment Analysis: A Comparative Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200714