CN111475615A - 一种情感增强的细粒度情感预测方法、装置、系统及存储介质 - Google Patents

一种情感增强的细粒度情感预测方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN111475615A
CN111475615A CN202010168893.6A CN202010168893A CN111475615A CN 111475615 A CN111475615 A CN 111475615A CN 202010168893 A CN202010168893 A CN 202010168893A CN 111475615 A CN111475615 A CN 111475615A
Authority
CN
China
Prior art keywords
emotion
fine
grained
samples
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010168893.6A
Other languages
English (en)
Other versions
CN111475615B (zh
Inventor
徐睿峰
梁斌
毛瑞彬
张俊
杨敏
杜嘉晨
范创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202010168893.6A priority Critical patent/CN111475615B/zh
Publication of CN111475615A publication Critical patent/CN111475615A/zh
Application granted granted Critical
Publication of CN111475615B publication Critical patent/CN111475615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种情感增强的细粒度情感预测方法，包括执行以下步骤：步骤1：根据方面词语或属性的特性对数据进行扩建；步骤2：结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；步骤3：将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，协助模型对数据样本缺乏文本进行细粒度情感识别。本发明的有益效果是：1.本发明所提出的对抗训练多任务学习框架能通过特征提取器和判别器共同学习提取到的共享特征来协助细粒度情感分类模型对输入文本进行细粒度情感预测；2.本发明基于这种对抗训练和多任务学习方法，可以增强数据集不同方面的情感特征表示。

Description

一种情感增强的细粒度情感预测方法、装置、系统及存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种情感增强的细粒度情感预测方法、装置、系统及存储介质。
背景技术
随着社交网络平台的迅速发展，传统的简单情感分析已无法有效获取用户评论中的情感信息表达。细粒度情感分析需要针对文本中特定的方面(Aspect)进行情感预测，这不仅需要考虑给定文本的信息同时也要考虑文本所对应的不同方面。如在用户评论中，用户会从不同方面出发来发表意见，对事物进行更深层次的情感表述。
然而，在现实的用户评论中，用户对不同方面的情感表达往往是有偏向性和针对性的。这种偏向性的情感表达会导致用户评论在方面层面上的数据分布不平衡问题，即某些方面的情感表达数据量在用户评论中会非常有限和缺乏。此外，由于情感表述的共通性，一些情感表达在修饰不同方面时的情感极性是一致的。例如句子“Decent wine atreasonable prices”和“Decent food at reasonable prices”，对于方面“wine”和“food”的情感极性都是积极的。
近年来，随着深度网络模型在自然语言处理领域取得的突破，结合注意力机制(Attention Mechanism)的深度网络模型在细粒度情感分析任务中也取得了先进的效果。现有的基于深度网络的细粒度情感分析模型主要是以文本和特定方面作为网络的输入，并通过抽象化表示的一系列运算来提取特定方面在情感特征。此外，结合注意力机制的深度网络模型可以根据注意力信息的学习和更新能挖掘出文本中针对某一方面的情感特征表达，得到细粒度情感预测结果。但是这类方法只针对独立的样本进行情感特征提取和细粒度情感分析，它们的缺点在于：
1.在细粒度情感分析任务中，只对独立样本进行情感极性预测，忽视了不用方面之间的情感联系；
2.由于方面级别的样本分布不平衡和样本缺失等问题，训练集样本无法有效覆盖测试集样本，以往的模型无法通过有限的训练数据对测试样例进行细粒度情感分析；
在对方面进行情感预测时，忽视了共通情感特征的提取和使用。
发明内容
本发明提供了一种情感增强的细粒度情感预测方法，包括执行以下步骤：
步骤1：根据方面词语或属性的特性对数据进行扩建；
步骤2：结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；
步骤3：将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，协助模型对数据样本缺乏文本进行细粒度情感识别。
作为本发明的进一步改进，在所述步骤1中还包括执行以下步骤：
第1步骤：统计每一个方面的训练样本数量，并且计算出平均数；
第2步骤：将类似的方面进行分组保存；
第3步骤：在每一组的方面样本中，随机从样本数量大于平均数的方面样本中抽取足量的样本，并且将样本涉及的方面替换成方面样本少于平均数的方面，直到该方面的训练样本量达到平均数。
作为本发明的进一步改进，在所述步骤2中，还包括执行以下步骤：第一步骤：特征提取器F接收文本的词向量矩阵作为模型的输入，并提取特征信息；
第二步骤：根据提取的特征信息同时判断该文本的方面标签和真假样本标签；
第三步骤：判别器D接收特征提取器F提取的共享特征对参数权重进行调整，同时对方面识别和真假样本识别的损失函数进行最小化优化：
Figure BDA0002408417070000021
这里，N为样本数量，A为方面标签数量，P为真假样本标签数，X为输入词向量矩阵，
Figure BDA0002408417070000022
表示第i个样本中第j个方面标签的分布，
Figure BDA0002408417070000023
表示第i个样本中第j个真假标签的分布，θd为特征提取器的所有参数，λ用来控制两部分损失的相互作用。
作为本发明的进一步改进，在所述步骤3中，还包括执行以下步骤：步骤A：细粒度情感特征提取模型M通过接收文本的词向量矩阵输入以及特定方面的注意力信息输入来针对特征方面提取情感特征信息；
步骤B：将细粒度情感特征提取模型M提取到的特征和共享特征提取器F提取到的特征相结合作为分类器C的输入来预测情感极性；
步骤C：对抗多任务学习框架通过最小最大化损失函数优化同时学习多个任务的特征信息，协助模型完成细粒度情感预测，即在最小化细粒度情感预测损失的同时，最大化判别器D的损失函数；其中，对抗多任务学习框架需要通过所有参数权重Θ来最小化总损失函数，其计算公式如下：
J(Θ)＝J(θc)+αJ(θd)
这里，α用来控制两部分损失函数的相互作用，J(θc)为情感分类器损失函数，其计算公式如下：
Figure BDA0002408417070000031
这里，S为情感标签数量，
Figure BDA0002408417070000032
表示第i个样本中第j个情感标签分布，β用来控制两部分损失函数的相互作用。
本发明还公开了一种情感增强的细粒度情感预测装置，该装置包括运行以下单元：
单元1：用于根据方面词语或属性的特性对数据进行扩建；
单元2：用于结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；
单元3：用于将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，协助模型对数据样本缺乏文本进行细粒度情感识别。
在所述单元1中还包括运行以下模块：
第1模块：用于统计每一个方面的训练样本数量，并且计算出平均数；
第2模块：用于将类似的方面进行分组保存；
第3模块：用于在每一组的方面样本中，随机从样本数量大于平均数的方面样本中抽取足量的样本，并且将样本涉及的方面替换成方面样本少于平均数的方面，直到该方面的训练样本量达到平均数。
作为本发明的进一步改进，在所述单元2中，还包括运行以下模块：
第一模块：用于特征提取器F接收文本的词向量矩阵作为模型的输入，并提取特征信息；
第二模块：用于根据提取的特征信息同时判断该文本的方面标签和真假样本标签；
第三模块：用于判别器D接收特征提取器F提取的共享特征对参数权重进行调整，同时对方面识别和真假样本识别的损失函数进行最小化优化：
Figure BDA0002408417070000041
这里，N为样本数量，A为方面标签数量，P为真假样本标签数，X为输入词向量矩阵，
Figure BDA0002408417070000046
表示第i个样本中第j个方面标签的分布，
Figure BDA0002408417070000043
表示第i个样本中第j个真假标签的分布，θd为特征提取器的所有参数，λ用来控制两部分损失的相互作用。
作为本发明的进一步改进，在所述单元3中，还包括运行以下模块：
模块A：用于细粒度情感特征提取模型M通过接收文本的词向量矩阵输入以及特定方面的注意力信息输入来针对特征方面提取情感特征信息；
模块B：用于将细粒度情感特征提取模型M提取到的特征和共享特征提取器F提取到的特征相结合作为分类器C的输入来预测情感极性；
模块C：用于对抗多任务学习框架通过最小最大化损失函数优化同时学习多个任务的特征信息，协助模型完成细粒度情感预测，即在最小化细粒度情感预测损失的同时，最大化判别器D的损失函数；其中，对抗多任务学习框架需要通过所有参数权重Θ来最小化总损失函数，其计算公式如下：
J(Θ)＝J(θc)+αJ(θd)
这里，α用来控制两部分损失函数的相互作用，J(θc)为情感分类器损失函数，其计算公式如下：
Figure BDA0002408417070000044
这里，S为情感标签数量，
Figure BDA0002408417070000045
表示第i个样本中第j个情感标签分布，β用来控制两部分损失函数的相互作用。
本发明还公开了一种情感增强的细粒度情感预测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的情感增强的细粒度情感预测方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的情感增强的细粒度情感预测方法的步骤。
本发明的有益效果是：1.本发明所提出的对抗训练多任务学习框架能通过特征提取器和判别器共同学习提取到的共享特征来协助细粒度情感分类模型对输入文本进行细粒度情感预测；2.本发明基于这种对抗训练和多任务学习方法，可以增强数据集不同方面的情感特征表示；3.当数据集中某些方面存在样本不足时，也能在共享特征的作用下准确预测这些样本的情感极性。
附图说明
图1是本发明的共享特征提取结构图；
图2是本发明的对抗训练多任务学习框架图。
具体实施方式
本发明公开了一种情感增强的细粒度情感预测方法，包括执行以下步骤：
步骤1：根据方面词语或属性的特性对数据进行扩建；
步骤2：结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；
步骤3：将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，旨在协助模型对数据样本缺乏等文本进行细粒度情感识别。
在所述步骤1中还包括执行以下步骤：
第1步骤：统计每一个方面的训练样本数量，并且计算出平均数；
第2步骤：将类似的方面进行分组保存，例如“食物价格”和“饮品价格”可以归为同一类方面；
第3步骤：在每一组的方面样本中，随机从样本数量大于平均数的方面样本中抽取足量的样本，并且将样本涉及的方面替换成方面样本少于平均数的方面，直到该方面的训练样本量达到平均数。
如图1所示，在所述步骤2中，还包括执行以下步骤：
第一步骤：特征提取器F接收文本的词向量矩阵作为模型的输入，并提取特征信息；
第二步骤：根据提取的特征信息同时判断该文本的方面标签(属于哪个方面)和真假样本标签(原本的数据样本为真，由步骤1扩建出来的样本为假)；
第三步骤：判别器D接收特征提取器F提取的共享特征对参数权重进行调整，同时对方面识别和真假样本识别的损失函数进行最小化优化：
Figure BDA0002408417070000061
这里，N为样本数量，A为方面标签数量，P为真假样本标签数，X为输入词向量矩阵，
Figure BDA0002408417070000066
表示第i个样本中第j个方面标签的分布，
Figure BDA0002408417070000063
表示第i个样本中第j个真假标签的分布，θd为特征提取器的所有参数，λ用来控制两部分损失的相互作用。
如图2所示，在所述步骤3中，还包括执行以下步骤：
步骤A：细粒度情感特征提取模型M通过接收文本的词向量矩阵输入以及特定方面的注意力信息输入来针对特征方面提取情感特征信息；
步骤B：将细粒度情感特征提取模型M提取到的特征和共享特征提取器F提取到的特征相结合作为分类器C的输入来预测情感极性；
步骤C：对抗多任务学习框架通过最小最大化损失函数优化同时学习多个任务的特征信息，协助模型完成细粒度情感预测，即在最小化细粒度情感预测损失的同时，最大化判别器D的损失函数；因为如果一个优秀的判别器D无法根据特征提取器F提取到的特征正确识别出输入文本的方面标签和真假标签，那么这个特征就是需要保留的共享特征。其中，对抗多任务学习框架需要通过所有参数权重Θ来最小化总损失函数，其计算公式如下：
J(Θ)＝J(θc)+αJ(θd)
这里，α用来控制两部分损失函数的相互作用，J(θc)为情感分类器损失函数，其计算公式如下：
Figure BDA0002408417070000064
这里，S为情感标签数量，
Figure BDA0002408417070000065
表示第i个样本中第j个情感标签分布，β用来控制两部分损失函数的相互作用。
本发明还公开了一种情感增强的细粒度情感预测装置，该装置包括运行以下单元：
单元1：用于根据方面词语或属性的特性对数据进行扩建；
单元2：用于结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；
单元3：用于将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，协助模型对数据样本缺乏文本进行细粒度情感识别。
在所述单元1中还包括运行以下模块：
第1模块：用于统计每一个方面的训练样本数量，并且计算出平均数；
第2模块：用于将类似的方面进行分组保存；
第3模块：用于在每一组的方面样本中，随机从样本数量大于平均数的方面样本中抽取足量的样本，并且将样本涉及的方面替换成方面样本少于平均数的方面，直到该方面的训练样本量达到平均数。
在所述单元2中，还包括运行以下模块：
第一模块：用于特征提取器F接收文本的词向量矩阵作为模型的输入，并提取特征信息；
第二模块：用于根据提取的特征信息同时判断该文本的方面标签和真假样本标签；
第三模块：用于判别器D接收特征提取器F提取的共享特征对参数权重进行调整，同时对方面识别和真假样本识别的损失函数进行最小化优化：
Figure BDA0002408417070000071
这里，N为样本数量，A为方面标签数量，P为真假样本标签数，X为输入词向量矩阵，
Figure BDA0002408417070000072
表示第i个样本中第j个方面标签的分布，
Figure BDA0002408417070000073
表示第i个样本中第j个真假标签的分布，θd为特征提取器的所有参数，λ用来控制两部分损失的相互作用。
在所述单元3中，还包括运行以下模块：
模块A：用于细粒度情感特征提取模型M通过接收文本的词向量矩阵输入以及特定方面的注意力信息输入来针对特征方面提取情感特征信息；
模块B：用于将细粒度情感特征提取模型M提取到的特征和共享特征提取器F提取到的特征相结合作为分类器C的输入来预测情感极性；
模块C：用于对抗多任务学习框架通过最小最大化损失函数优化同时学习多个任务的特征信息，协助模型完成细粒度情感预测，即在最小化细粒度情感预测损失的同时，最大化判别器D的损失函数；因为如果一个优秀的判别器D无法根据特征提取器F提取到的特征正确识别出输入文本的方面标签和真假标签，那么这个特征就是需要保留的共享特征；其中，对抗多任务学习框架需要通过所有参数权重Θ来最小化总损失函数，其计算公式如下：
J(Θ)＝J(θc)+αJ(θd)
这里，α用来控制两部分损失函数的相互作用，J(θc)为情感分类器损失函数，其计算公式如下：
Figure BDA0002408417070000081
这里，S为情感标签数量，
Figure BDA0002408417070000082
表示第i个样本中第j个情感标签分布，β用来控制两部分损失函数的相互作用。
本发明还公开了一种情感增强的细粒度情感预测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的情感增强的细粒度情感预测方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的情感增强的细粒度情感预测方法的步骤。
本发明的有益效果是：1.本发明所提出的对抗训练多任务学习框架能通过特征提取器和判别器共同学习提取到的共享特征来协助细粒度情感分类模型对输入文本进行细粒度情感预测；2.本发明基于这种对抗训练和多任务学习方法，可以增强数据集不同方面的情感特征表示；3.当数据集中某些方面存在样本不足时，也能在共享特征的作用下准确预测这些样本的情感极性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种情感增强的细粒度情感预测方法，其特征在于，包括执行以下步骤：
步骤1：根据方面词语或属性的特性对数据进行扩建；
步骤2：结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；
步骤3：将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，协助模型对数据样本缺乏文本进行细粒度情感识别。
2.根据权利要求1所述的细粒度情感预测方法，其特征在于，在所述步骤1中还包括执行以下步骤：
第1步骤：统计每一个方面的训练样本数量，并且计算出平均数；
第2步骤：将类似的方面进行分组保存；
第3步骤：在每一组的方面样本中，随机从样本数量大于平均数的方面样本中抽取足量的样本，并且将样本涉及的方面替换成方面样本少于平均数的方面，直到该方面的训练样本量达到平均数。
3.根据权利要求1所述的细粒度情感预测方法，其特征在于，在所述步骤2中，还包括执行以下步骤：
第一步骤：特征提取器F接收文本的词向量矩阵作为模型的输入，并提取特征信息；
第二步骤：根据提取的特征信息同时判断该文本的方面标签和真假样本标签；
第三步骤：判别器D接收特征提取器F提取的共享特征对参数权重进行调整，同时对方面识别和真假样本识别的损失函数进行最小化优化：
Figure FDA0002408417060000011
这里，N为样本数量，A为方面标签数量，P为真假样本标签数，X为输入词向量矩阵，
Figure FDA0002408417060000012
表示第i个样本中第j个方面标签的分布，
Figure FDA0002408417060000013
表示第i个样本中第j个真假标签的分布，θd为特征提取器的所有参数，λ用来控制两部分损失的相互作用。
4.根据权利要求1所述的细粒度情感预测方法，其特征在于，在所述步骤3中，还包括执行以下步骤：
步骤A：细粒度情感特征提取模型M通过接收文本的词向量矩阵输入以及特定方面的注意力信息输入来针对特征方面提取情感特征信息；
步骤B：将细粒度情感特征提取模型M提取到的特征和共享特征提取器F提取到的特征相结合作为分类器C的输入来预测情感极性；
步骤C：对抗多任务学习框架通过最小最大化损失函数优化同时学习多个任务的特征信息，协助模型完成细粒度情感预测，即在最小化细粒度情感预测损失的同时，最大化判别器D的损失函数；其中，对抗多任务学习框架需要通过所有参数权重Θ来最小化总损失函数，其计算公式如下：
J(Θ)＝J(θc)+αJ(θd)
这里，α用来控制两部分损失函数的相互作用，J(θc)为情感分类器损失函数，其计算公式如下：
Figure FDA0002408417060000021
这里，S为情感标签数量，
Figure FDA0002408417060000022
表示第i个样本中第j个情感标签分布，β用来控制两部分损失函数的相互作用。
5.一种情感增强的细粒度情感预测装置，其特征在于，该装置包括运行以下单元：
单元1：用于根据方面词语或属性的特性对数据进行扩建；
单元2：用于结合对抗训练构造细粒度情感分析对抗网络模型，并且通过共享特征提取器提取所有训练样本的共通情感特征；
单元3：用于将提取到的共通情感特征和特定方面的情感特征相结合来构造对抗训练多任务学习网络框架，协助模型对数据样本缺乏文本进行细粒度情感识别。
6.根据权利要求5所述的细粒度情感预测装置，其特征在于，在所述单元1中还包括运行以下模块：
第1模块：用于统计每一个方面的训练样本数量，并且计算出平均数；
第2模块：用于将类似的方面进行分组保存；
第3模块：用于在每一组的方面样本中，随机从样本数量大于平均数的方面样本中抽取足量的样本，并且将样本涉及的方面替换成方面样本少于平均数的方面，直到该方面的训练样本量达到平均数。
7.根据权利要求5所述的细粒度情感预测装置，其特征在于，在所述单元2中，还包括运行以下模块：
第一模块：用于特征提取器F接收文本的词向量矩阵作为模型的输入，并提取特征信息；
第二模块：用于根据提取的特征信息同时判断该文本的方面标签和真假样本标签；
第三模块：用于判别器D接收特征提取器F提取的共享特征对参数权重进行调整，同时对方面识别和真假样本识别的损失函数进行最小化优化：
Figure FDA0002408417060000031
这里，N为样本数量，A为方面标签数量，P为真假样本标签数，X为输入词向量矩阵，
Figure FDA0002408417060000032
表示第i个样本中第j个方面标签的分布，
Figure FDA0002408417060000033
表示第i个样本中第j个真假标签的分布，θd为特征提取器的所有参数，λ用来控制两部分损失的相互作用。
8.根据权利要求7所述的细粒度情感预测装置，其特征在于，在所述单元3中，还包括运行以下模块：
模块A：用于细粒度情感特征提取模型M通过接收文本的词向量矩阵输入以及特定方面的注意力信息输入来针对特征方面提取情感特征信息；
模块B：用于将细粒度情感特征提取模型M提取到的特征和共享特征提取器F提取到的特征相结合作为分类器C的输入来预测情感极性；
模块C：用于对抗多任务学习框架通过最小最大化损失函数优化同时学习多个任务的特征信息，协助模型完成细粒度情感预测，即在最小化细粒度情感预测损失的同时，最大化判别器D的损失函数；其中，对抗多任务学习框架需要通过所有参数权重Θ来最小化总损失函数，其计算公式如下：
J(Θ)＝J(θc)+αJ(θd)
这里，α用来控制两部分损失函数的相互作用，J(θc)为情感分类器损失函数，其计算公式如下：
Figure FDA0002408417060000041
这里，S为情感标签数量，
Figure FDA0002408417060000042
表示第i个样本中第j个情感标签分布，β用来控制两部分损失函数的相互作用。
9.一种情感增强的细粒度情感预测系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1－4中任一项所述的情感增强的细粒度情感预测方法的步骤。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－4中任一项所述的情感增强的细粒度情感预测方法的步骤。
CN202010168893.6A 2020-03-12 2020-03-12 一种情感增强的细粒度情感预测方法、装置、系统及存储介质 Active CN111475615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010168893.6A CN111475615B (zh) 2020-03-12 2020-03-12 一种情感增强的细粒度情感预测方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010168893.6A CN111475615B (zh) 2020-03-12 2020-03-12 一种情感增强的细粒度情感预测方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111475615A true CN111475615A (zh) 2020-07-31
CN111475615B CN111475615B (zh) 2023-06-20

Family

ID=71747383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010168893.6A Active CN111475615B (zh) 2020-03-12 2020-03-12 一种情感增强的细粒度情感预测方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111475615B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256841A (zh) * 2020-11-26 2021-01-22 支付宝(杭州)信息技术有限公司 文本匹配和对抗文本识别方法、装置及设备
CN113255365A (zh) * 2021-05-28 2021-08-13 湖北师范大学 文本数据增强方法、装置、设备及计算机可读存储介质
CN113657446A (zh) * 2021-07-13 2021-11-16 广东外语外贸大学 多标签情绪分类模型的处理方法、系统和存储介质
CN114048288A (zh) * 2021-11-10 2022-02-15 北京明略软件系统有限公司 细粒度情感分析方法、系统、计算机设备和存储介质
CN114141271A (zh) * 2021-11-26 2022-03-04 思必驰科技股份有限公司 心理状态检测方法及系统
CN114492463A (zh) * 2021-12-30 2022-05-13 永中软件股份有限公司 一种基于对抗多任务学习的统一语义性中文文本润色方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740154A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 一种基于多任务学习的在线评论细粒度情感分析方法
CN110263822A (zh) * 2019-05-29 2019-09-20 广东工业大学 一种基于多任务学习方式的图像情感分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740154A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 一种基于多任务学习的在线评论细粒度情感分析方法
CN110263822A (zh) * 2019-05-29 2019-09-20 广东工业大学 一种基于多任务学习方式的图像情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIACHEN DU等: ""Convolution-Based Neural Attention With Applications to Sentiment Classification"" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256841A (zh) * 2020-11-26 2021-01-22 支付宝(杭州)信息技术有限公司 文本匹配和对抗文本识别方法、装置及设备
CN112256841B (zh) * 2020-11-26 2024-05-07 支付宝(杭州)信息技术有限公司 文本匹配和对抗文本识别方法、装置及设备
CN113255365A (zh) * 2021-05-28 2021-08-13 湖北师范大学 文本数据增强方法、装置、设备及计算机可读存储介质
CN113657446A (zh) * 2021-07-13 2021-11-16 广东外语外贸大学 多标签情绪分类模型的处理方法、系统和存储介质
CN114048288A (zh) * 2021-11-10 2022-02-15 北京明略软件系统有限公司 细粒度情感分析方法、系统、计算机设备和存储介质
CN114141271A (zh) * 2021-11-26 2022-03-04 思必驰科技股份有限公司 心理状态检测方法及系统
CN114492463A (zh) * 2021-12-30 2022-05-13 永中软件股份有限公司 一种基于对抗多任务学习的统一语义性中文文本润色方法
CN114492463B (zh) * 2021-12-30 2023-12-12 永中软件股份有限公司 一种基于对抗多任务学习的统一语义性中文文本润色方法

Also Published As

Publication number Publication date
CN111475615B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111475615B (zh) 一种情感增强的细粒度情感预测方法、装置、系统及存储介质
CN108763326B (zh) 一种基于特征多样化的卷积神经网络的情感分析模型构建方法
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN107122416A (zh) 一种中文事件抽取方法
CN111597320A (zh) 基于层次分类的意图识别装置、方法、设备及存储介质
CN108550054B (zh) 一种内容质量评估方法、装置、设备和介质
CN111522908A (zh) 一种基于BiGRU和注意力机制的多标签文本分类方法
Valakunde et al. Multi-aspect and multi-class based document sentiment analysis of educational data catering accreditation process
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN112990887B (zh) 一种简历和岗位匹配的方法及计算设备
CN111311364B (zh) 基于多模态商品评论分析的商品推荐方法及系统
CN113220768A (zh) 基于深度学习的简历信息结构化方法及系统
Gao et al. CE-HEAT: an aspect-level sentiment classification approach with collaborative extraction hierarchical attention network
WO2023173554A1 (zh) 坐席违规话术识别方法、装置、电子设备、存储介质
CN111782793A (zh) 智能客服处理方法和系统及设备
CN112000778A (zh) 一种基于语义识别的自然语言处理方法、装置和系统
CN113434688A (zh) 用于舆情分类模型训练的数据处理方法和装置
CN115391520A (zh) 一种文本情感分类方法、系统、装置及计算机介质
CN107783958B (zh) 一种目标语句识别方法及装置
CN113449103B (zh) 融入标签与文本交互机制的银行交易流水分类方法及系统
CN118115781A (zh) 基于多模态模型的标签识别方法、系统、设备及存储介质
CN113886580A (zh) 一种情感评分方法、装置及电子设备
CN109446518B (zh) 语言模型的解码方法及解码器
CN114297390B (zh) 一种长尾分布场景下的方面类别识别方法及系统
CN110750712A (zh) 基于数据驱动的软件安全需求推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant