CN114706986B - 一种多类别情感分类方法、装置以及计算机存储介质 - Google Patents

一种多类别情感分类方法、装置以及计算机存储介质 Download PDF

Info

Publication number
CN114706986B
CN114706986B CN202210621469.1A CN202210621469A CN114706986B CN 114706986 B CN114706986 B CN 114706986B CN 202210621469 A CN202210621469 A CN 202210621469A CN 114706986 B CN114706986 B CN 114706986B
Authority
CN
China
Prior art keywords
regression
label
classification
emotion
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210621469.1A
Other languages
English (en)
Other versions
CN114706986A (zh
Inventor
李寿山
李子成
周国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Suzhou Construction Co ltd
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210621469.1A priority Critical patent/CN114706986B/zh
Publication of CN114706986A publication Critical patent/CN114706986A/zh
Application granted granted Critical
Publication of CN114706986B publication Critical patent/CN114706986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多类别情感分类方法、装置以及计算机存储介质，包括对样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注标签描述词，得到提示训练样本，基于所述情感类别标签计算所述标签描述词的概率，得到所述提示训练样本的目标值；基于所述提示训练样本及所述目标值，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型；利用情感分类检测模型检测待检测文本数据，将回归预测值与分类预测概率利用权重距离融合，取最小权重距离对应的情感类别标签作为所述待检测文本数据的预测类别。实现了在训练数据量很少的情况下也可以完成快速学习，进一步提高了多类别情感分类任务的精度。

Description

一种多类别情感分类方法、装置以及计算机存储介质
技术领域
本发明涉及机器深度学习模型以及自然语言处理技术领域，特别是涉及一种多类别情感分类方法、装置以及计算机可读存储介质。
背景技术
情感分类是自然语言处理的重要研究领域之一，被广泛应用于分析人们对产品、服务和机构的情感、情绪和态度。近些年来，基于微调机制的分类模型主导了情感分类方法研究。这些模型经过大规模预先训练，如BERT、RoBERTa、ELECTRA等，通过再训练将知识从预训练模型迁移到对文本情感的划分。然而，当没有足够的标记训练数据时，标准的微调机制面临着许多挑战，难以取得理想的情感分类结果。
利用预训练掩码语言模型的少样本学习方法是目前主流的少样本学习范式，其主要思想是将下游任务视为完形填空问题。如图1所示，通过添加模板如“It was [MASK]”，允许语言模型决定[MASK]处的填充词，进而实现文本少样本文本分类的功能。由于人工设计模板的不稳定，许多研究开始探索自动搜索模板，LM-BFF是一种基于 T5语言模型的自动回归快速学习算法，用于自动搜索模板。P-Tuning可以在连续空间中自动搜索更好的提示。DART在连续空间上，使用反向传播对提示模板和目标标签进行差异优化。
现有技术在许多简单的情感分类任务上取得令人满意的表现，如在二分类情感分类数据集SST-2上，仅仅依靠每类16个训练样例，基于掩码语言模型RoBERTa-base的少样本学习方法达到了87%的正确率。然而，目前主流的少样本方法都是基于预训练掩码语言模型来实现，未充分利用并开发预训练替换词检测模型的性能优势，此外，对于复杂的多类别情感分类任务，目前主流的少样本方法往往仅从分类的角度来建模问题，对于复杂的细粒度情感分类任务，无一例外都获得了较差的结果。例如：在5类情感分类数据集SST-5上，同样依靠每类16个训练样例，基于掩码语言模型RoBERTa-base的少样本学习方法仅仅达到45%的正确率。综上所述可知，现有情感分类模型中不能在训练数据量很少的情况下完成快速学习并获得具有良好性能。
发明内容
本发明的目的是提供一种多类别情感分类方法、装置以及计算机可读存储介质，以解决现有技术在训练量很少的情况下不能快速完成学习任务，且算法准确率不高，精度较差的问题。
为解决上述技术问题，本发明提供一种多类别情感分类方法、装置以及计算机可读存储介质，包括：
对训练样本标注情感类别标签，得到样本数据集；
对所述样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注分类标签描述词与回归标签描述词，得到提示训练样本，其中，所述分类模板与所述回归模板为任意短句；
基于所述情感类别标签计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值；
利用所述提示训练样本及所述分类标签描述词的目标值和所述回归标签描述词的目标值进行联合学习，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型。
优选地，所述基于所述情感类别标签计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值包括：
将与样本数据情感类别标签对应的分类标签描述词的目标值设置为0，其他分类标签描述词的目标值设置为1；
所述回归标签描述词的目标值计算公式如下：
Figure 419834DEST_PATH_IMAGE001
其中，
Figure 502060DEST_PATH_IMAGE002
为情感类别
Figure 317700DEST_PATH_IMAGE003
的期望值，
Figure 434561DEST_PATH_IMAGE004
为回归任务值的下限，
Figure 411875DEST_PATH_IMAGE005
为回归任务值的上限，
Figure 856763DEST_PATH_IMAGE006
为回归标签值；
Figure 990941DEST_PATH_IMAGE007
其中，
Figure 447461DEST_PATH_IMAGE008
为情感类别
Figure 517048DEST_PATH_IMAGE009
的期望值；
回归标签描述词
Figure 573866DEST_PATH_IMAGE010
的目标值为
Figure 121522DEST_PATH_IMAGE011
，回归标签描述词
Figure 698128DEST_PATH_IMAGE012
的目标值为
Figure 938617DEST_PATH_IMAGE013
。
优选地，所述采用二值交叉熵损失函数训练预训练模型包括：
根据所述二值交叉熵损失函数计算误差，采用梯度下降算法训练所述预训练模型，反复迭代直至损失函数收敛；
所述二值交叉熵损失函数计算公式如下：
Figure 217151DEST_PATH_IMAGE014
其中，
Figure 443864DEST_PATH_IMAGE015
为文本数据中单词总数，
Figure 265190DEST_PATH_IMAGE016
为第
Figure 801213DEST_PATH_IMAGE017
个单词对应的目标值，
Figure 442410DEST_PATH_IMAGE018
为第
Figure 472814DEST_PATH_IMAGE017
个单词对应的模型预测概率。
优选地，所述情感分类检测模型预测过程包括：
对待检测文本数据添加所述分类模板与所述回归模板，并在模板中标注所述分类标签描述词与所述回归标签描述词，得到测试文本数据；
将所述测试文本数据输入所述情感分类检测模型检测，输出所述测试文本数据中分类标签描述词的目标值和回归标签描述词的目标值，并基于所述回归标签描述词的目标值计算得回归预测值；
将所述分类标签描述词的目标值和所述回归预测值利用权重距离融合，取最小权重距离对应的情感类别标签作为所述待检测文本数据的预测类别。
优选地，所述将所述测试文本数据输入所述情感分类检测模型检测，输出所述测试文本数据中分类标签描述词的目标值和回归标签描述词的目标值，并基于所述回归标签描述词的目标值计算得回归预测值包括：
所述测试文本数据中分类标签描述词的目标值计算公式为：
Figure 148646DEST_PATH_IMAGE019
其中，
Figure 589992DEST_PATH_IMAGE020
为测试文本数据
Figure 582132DEST_PATH_IMAGE021
属于情感类别
Figure 275282DEST_PATH_IMAGE017
的目标值，
Figure 195833DEST_PATH_IMAGE022
为标签描述词
Figure 683447DEST_PATH_IMAGE023
的目标值；
所述回归预测值计算公式为：
Figure 174602DEST_PATH_IMAGE024
其中，
Figure 796076DEST_PATH_IMAGE025
，
Figure 180921DEST_PATH_IMAGE026
为回归标签描述词的目标值，
Figure 714802DEST_PATH_IMAGE027
为回归预测 值。
优选地，所述将所述分类标签描述词的目标值和所述回归预测值利用权重距离融合，取最小权重距离对应的情感类别标签作为所述待检测文本数据的预测类别包括：
利用所述回归预测值计算各情感类别i的绝对距离；
基于所述绝对距离与所述分类标签描述词的目标值计算各情感类别的权重距离；
取其中最小权重距离对应情感类别作为最终预测结果。
优选地，所述各情感类别
Figure 942521DEST_PATH_IMAGE017
的绝对距离计算公式为：
Figure 711894DEST_PATH_IMAGE028
其中，
Figure 357770DEST_PATH_IMAGE029
为类别
Figure 452765DEST_PATH_IMAGE030
的绝对距离，
Figure 902201DEST_PATH_IMAGE031
为回归预测值；
所述各情感类别的权重距离计算公式为：
Figure 616210DEST_PATH_IMAGE032
其中，
Figure 975647DEST_PATH_IMAGE033
为权重距离；
所述最终预测结果计算公式为：
Figure 366177DEST_PATH_IMAGE034
其中，
Figure 443854DEST_PATH_IMAGE035
为最终预测结果，
Figure 695975DEST_PATH_IMAGE036
为求自变量最小的函数。
本发明还提供了一种多类别情感分类方法的装置，包括：
标注模块，用于对训练样本标注情感类别标签，得到样本数据集；
分类与回归模块，用于对所述样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注分类标签描述词与回归标签描述词，得到提示训练样本；
训练模块，用于计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型；
检测模块，用于检测待检测文本数据，输出待检测文本数据的情感预测类别。
本发明还提供了一种多类别情感分类方法的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述一种多类别情感分类方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种多类别情感分类方法的步骤。
本发明所提供的一种多类别情感分类方法，对所述样本数据集中的文本数据添加分类模板与回归模板，创新地提出基于联合学习的少样本多类别情感分类方法，将回归和分类的替换词检测模板以及标签描述词同时添加至输入语句中，利用情感类别标签分别构造回归和分类标签描述词的目标值，采用二值交叉熵损失函数训练情感分类检测模型，实现了情感分类检测模型能够在训练数据量极少的情况快速学习，并具有良好的回归值预测和分类概率预测能力，进一步提高了少样本情境下多类别情感分类任务的精度。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有少样本学习范式模型图；
图2为本发明所提供的多类别情感分类方法的第一种具体实施例的流程图；
图3为标注数据部分结果图；
图4为分类模板图；
图5为回归模板图；
图6为提示训练样本图；
图7为联合学习方法结构图；
图8为本发明实施例提供的一种多类别情感分类方法的装置结构框图。
具体实施方式
本发明的核心是提供一种多类别情感分类方法、装置以及计算机存储介质，实现了情感分类模型在训练数据量很少的情况下也可以完成快速学习，提高了模型的识别精度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图2，图2为本发明所提供的多类别情感分类方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S201：对训练样本标注情感类别标签，得到样本数据集；
所述情感类别标签可以定义多个类别，每个类别对应一个标签描述词。
步骤S202：对所述样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注分类标签描述词与回归标签描述词，得到提示训练样本；
其中，所述分类模板与所述回归模板为任意短句。
步骤S203：基于所述情感类别标签计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值；
所述分类模板假设一个分类任务有
Figure 768974DEST_PATH_IMAGE037
个情感类别，每个情感类别
Figure 205771DEST_PATH_IMAGE017
对应标签描述 词
Figure 380532DEST_PATH_IMAGE038
，将分类模板和所有标签描述词插入文本数据
Figure 685611DEST_PATH_IMAGE021
中，例如“
Figure 19640DEST_PATH_IMAGE039
”，利用替换词检测预训练模型能够预测出每个标签 描述词为“原始的”（=0）和“替换的”（=1）的概率，即
Figure 502705DEST_PATH_IMAGE040
和
Figure 289396DEST_PATH_IMAGE041
，文本数据
Figure 398166DEST_PATH_IMAGE021
属于类别
Figure 586702DEST_PATH_IMAGE017
的概率定义为其标签描述词为“原始的”概 率，即：
Figure 975089DEST_PATH_IMAGE019
其中，
Figure 639289DEST_PATH_IMAGE020
为文本数据
Figure 895958DEST_PATH_IMAGE021
属于情感类别
Figure 814366DEST_PATH_IMAGE017
的概率，
Figure 888502DEST_PATH_IMAGE022
为标 签描述词
Figure 649784DEST_PATH_IMAGE023
的预测概率；
所述回归模板假设一个回归任务的标签空间为
Figure 585510DEST_PATH_IMAGE042
，该方法将其转换为两个极 端类
Figure 748638DEST_PATH_IMAGE043
的插值问题，与分类任务相同，首先将回归模板和所有标签描述词插入文本数 据
Figure 993675DEST_PATH_IMAGE021
中，例如“
Figure 117620DEST_PATH_IMAGE044
”利用替换词检测预训练模型预测文本数据
Figure 981671DEST_PATH_IMAGE021
属 于类别
Figure 389518DEST_PATH_IMAGE045
和
Figure 415243DEST_PATH_IMAGE046
的概率，即
Figure 760905DEST_PATH_IMAGE001
其中，
Figure 553280DEST_PATH_IMAGE047
为类别
Figure 691001DEST_PATH_IMAGE003
的期望值，
Figure 28572DEST_PATH_IMAGE004
为回归任务值的下限，
Figure 986164DEST_PATH_IMAGE005
为 回归任务值的上限，
Figure 51072DEST_PATH_IMAGE048
为回归标签值；
Figure 918665DEST_PATH_IMAGE049
其中，
Figure 817351DEST_PATH_IMAGE008
为类别
Figure 386872DEST_PATH_IMAGE009
的期望值；
例：文本数据he is a good boy，从分类的角度， 它的情感类别是 positive（very negative, negative, nertral, positive, very positvie），从回归角度，回归标签值为4.0 (very negative=1.0, negative=2.0, nertral=3.0, positive=4.0, verypositive=5.0)；
回归标签描述词
Figure 130837DEST_PATH_IMAGE050
的训练目标值为
Figure 852937DEST_PATH_IMAGE051
，回归标签描述词
Figure 781579DEST_PATH_IMAGE052
的训练目标值为
Figure 713763DEST_PATH_IMAGE053
。
步骤S204：利用所述提示训练样本及所述分类标签描述词的目标值和所述回归标签描述词的目标值进行联合学习，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型；
按照所述二值交叉熵损失函数构建误差函数，采用梯度下降算法训练所述预训练模型，反复迭代直至预训练模型收敛；
所述二值交叉熵损失函数计算公式如下：
Figure 882924DEST_PATH_IMAGE054
其中，
Figure 974377DEST_PATH_IMAGE055
为文本数据中单词总数，
Figure 949286DEST_PATH_IMAGE056
为第
Figure 978553DEST_PATH_IMAGE017
个单词对应的目标值，
Figure 454534DEST_PATH_IMAGE018
为第
Figure 10280DEST_PATH_IMAGE017
个单词对应的模型预测概率。
本实施例所提供的一种多类别情感分类方法，采用基于替换词检测任务的少样本学习方式，且进一步地，将回归和分类的替换词检测模板以及标签描述词同时添加至输入语句，从而将细粒度情感分类任务同时建模为分类问题和回归问题，采用二值交叉熵损失函数训练情感分类检测模型，实现了情感分类检测模型能够在训练数据量极少的情况快速学习，并具有良好的回归值预测和分类概率预测能力。
基于上述实施例，本实施例对情感分类检测模型具体检测工作流程进行阐述，具体操作如下：
步骤S301：对待检测文本数据添加所述分类模板与所述回归模板，并在模板中标注所述分类标签描述词与所述回归标签描述词，得到测试文本数据；
步骤S302：将所述测试文本数据输入所述情感分类检测模型检测，输出所述测试文本数据中分类标签描述词的目标值和回归标签描述词的目标值，并基于所述回归标签描述词的目标值计算得回归预测值；
所述测试文本数据中分类标签描述词的目标值计算公式为：
Figure 297036DEST_PATH_IMAGE019
其中，
Figure 203812DEST_PATH_IMAGE020
为测试文本数据
Figure 952326DEST_PATH_IMAGE021
属于情感类别
Figure 769103DEST_PATH_IMAGE017
的目标值，
Figure 944869DEST_PATH_IMAGE022
为标签描述词
Figure 338942DEST_PATH_IMAGE023
的目标值；
所述回归预测值计算公式为：
Figure 641878DEST_PATH_IMAGE057
其中，
Figure 172217DEST_PATH_IMAGE058
，
Figure 784464DEST_PATH_IMAGE026
为回归标签描述词的目标值，
Figure 541198DEST_PATH_IMAGE031
为回归预测 值。
步骤S303：将分所述类标签描述词的目标值和所述回归预测值利用权重距离融合，取最小权重距离对应的情感类别标签作为所述待检测文本数据的预测类别；
利用所述回归预测值计算各情感类别
Figure 772459DEST_PATH_IMAGE017
的绝对距离，其计算公式为：
Figure 547517DEST_PATH_IMAGE028
其中，
Figure 206032DEST_PATH_IMAGE029
为类别
Figure 184483DEST_PATH_IMAGE030
的绝对距离，
Figure 344069DEST_PATH_IMAGE031
为回归预测值；
基于所述绝对距离与所述分类预测概率计算各情感类别的权重距离，其计算公式为：
Figure 849000DEST_PATH_IMAGE032
其中，
Figure 288202DEST_PATH_IMAGE033
为权重距离；
取其中最小权重距离对应情感类别作为最终预测结果，其计算公式为：
Figure 268797DEST_PATH_IMAGE034
其中，
Figure 107440DEST_PATH_IMAGE035
为最终预测结果，
Figure 76664DEST_PATH_IMAGE036
为求自变量最小的函数。
本实施例提供的情感分类检测模型具体检测工作流程，将所述回归预测值与所述分类预测概率利用全新的融合方法进行联合学习，实现了在训练数据量很少的情况下也可以完成快速学习，进一步提高了多类别情感分类任务的精度。实验结果表明，相比与主流少样本学习方法，本专利方法在F1-Score和正确率上都最取得了更优的结果。
基于上述实施例，本实施例采用5个情感类别标签，利用16个样本数据进行情感分类检测模型训练和预测操作，具体流程如下：
步骤S401：标注出少量的训练样本，其中每个训练样本包括一段文本和对应的情感标签；
如图3标注数据部分结果图所示，其中，每个文本数据都会被标记出所属的情感类别，标注数据一共具有5个类别，very negative, negative, nertral, positive, verypositvie，分别编号为1,2,3,4,5，每个类别共标注16个样本。
步骤S402：为多类情感分类任务设计分类和回归所需的模板及标签描述词，并将其同时添加至训练样本得到提示训练样本；
如图4、图5所示，为了进一步提高少样本多类别情感分类任务的精度，我们将多类情感分类任务同时建模为分类问题和回归问题，并设计分类和回归所需的模板及标签描述词，例如，设计其分类所需的模板及标签词为
Figure 342560DEST_PATH_IMAGE059
，其中terrible、bad、okay、good、great分别为分类问题中类别very negative、negative、neutral、positive、very positive的标签描述词。回归所需模板及标签词为“It was theworst best day”，其中，worst和best为回归问题中极端类别
Figure 279292DEST_PATH_IMAGE045
和
Figure 796992DEST_PATH_IMAGE046
的标签描述词。
如图6所示，将设计好的分类和回归模板以及标签描述词分别添加至文本数据
Figure 276515DEST_PATH_IMAGE021
的头部和尾部，得到提示训练样本。
步骤S403：利用样本的情感类别标签构造出提示训练样本的目标值；
假设文本数据
Figure 837947DEST_PATH_IMAGE021
属于第
Figure 137341DEST_PATH_IMAGE017
个情感类别，分类标签描述词的位置为
Figure 193153DEST_PATH_IMAGE060
，对于分类标签描述词，我们将第
Figure 527182DEST_PATH_IMAGE017
个标签描述词的目标值设置成0，即被认为是“原始的”，相反，其它分类标签描述词被设置为1，即被认为是“替换的”。对于回归标签描述词，我们首先依据真实标签推出期望
Figure 993935DEST_PATH_IMAGE061
和
Figure 921571DEST_PATH_IMAGE062
，然后设置回归标签描述词
Figure 640129DEST_PATH_IMAGE050
和
Figure 218877DEST_PATH_IMAGE052
的目标值分别为
Figure 731898DEST_PATH_IMAGE051
和
Figure 146830DEST_PATH_IMAGE053
。对于原始文本数据
Figure 669079DEST_PATH_IMAGE021
和模板，我们将其设置为0，即被认为是“原始的”。例如，句子“He is a good boy.”的情感标签为positive，其提示训练样本对应的目标值。
步骤S404：利用提示训练样本及其目标值训练模型，进行联合学习。
所有提示训练样本及其训练目标值都用于更新替换词检测预训练模型的参数，我们采用二值交叉熵损失函数进行训练，公式如下：
Figure 836755DEST_PATH_IMAGE063
其中，
Figure 661622DEST_PATH_IMAGE015
为文本数据中单词总数，
Figure 422905DEST_PATH_IMAGE064
为第
Figure 607899DEST_PATH_IMAGE017
个单词对应的训练目标值，
Figure 380814DEST_PATH_IMAGE065
为第
Figure 235637DEST_PATH_IMAGE017
个单词对应的模型预测概率。
步骤S405：所述测试文本数据中分类标签描述词的目标值和回归标签描述词的目标值，并基于所述回归标签描述词的目标值计算得回归预测值。
步骤S406：将回归预测值与分类标签描述词的目标值进行融合，得到最终预测类别；
如图7所示，本实施例设计全新的融合方式，即概率权重融合。
如表1所示，为了验证本发明提出的一种多类别情感分类方法的有效性，我们基于5组多类情感分类数据集进行实验，并汇报平均值和标准差；
表1 本发明方法与现有少样本情感分类方法对比结果
Figure 874429DEST_PATH_IMAGE066
其中，每组训练数据和开发数据都包括80个样本，每个类别16个样本。我们基于相同的评估策略与以下基准方法进行比较：
（1）Majority：规则方式，预测所有测试样本为5类中数量最多的类别。
（2）Fine-tuning（RoBERTa）：采用RoBERTa预训练模型的标准微调方法。
（3）Finetune（ELECTRA）：采用ELECTRA预训练模型的标准微调方法。
（4）LM-BFF：Better Few-shot Fine-tuning of Language Models，基于预训练掩码语言模型的少样本学习方法，将下游任务转换为完型填空问题。
（5）P-Tuning：基于预训练掩码语言模型，在连续空间中自动搜索提示模板的方法。
（6）DART：DifferentiAblepRompT，基于预训练掩码语言模型，在连续空间上，使用反向传播对提示模板和目标标签进行差异优化。
（7）基于替换词检测预训练模型方法：基于替换词检测预训练模型的少样本学习方法，与本发明方法相比，其只采用分类方式做情感分类任务。
由于极小的训练数据规模，少样本学习实验往往对训练集的划分和超参数的设置十分敏感，不同的训练集划分方式或超参数设置都可能会造成结果的大幅度波动。为了得到可靠的结论，我们采用多训练集和网格搜索超参数策略来确保少样本实验结果的稳定性。在本实验中，我们的具体做法为：（1）训练集：采用5组不同的训练数据和开发数据。在实验时，我们依次利用5组不同的划分来训练和调试模型，统计每组结果，最终汇报各指标的平均结果及标准差。（2）超参数设置：对于每一组划分，首先，我们利用开发集并借助网格搜索策略获得适应此划分的最佳超参数设置，然后基于最佳超参数设置训练模型并在完整的测试样本上测试。本实验中采用的超参数如表2所示，表中的集合表示此参数需要进行网格搜索来最终确定采用的值。
表2 主要超参数设置
Figure 348267DEST_PATH_IMAGE067
综上所述，首先，我们可以看到在各个指标下，少样本学习方法总是优于标准的微调机制，无论是基于ELECTRA还是RoBERTa预训练模型，这进一步验证了少样本学习方法的有效性。其次，在少样本学习方法中，主干网络采用替换词检测模型ELECTRA的少样本学习方法明显优于采用掩码语言模型RoBERTa的少样本学习方法，这显示了替换词检测预训练模型具有强大的少样本学习能力。最后，在各个评价指标上，本实施例方法均取得了最高的性能表现，与基于替换词检测预训练模型方法相比，在正确率上提升1.7%，在F1-Score上提升 1.3%。此外，在结果的稳定性方面，本实施例方法依然表现优异，在5个不同的划分下，其标准差在各个指标下都未超过1.0。以上结果充分说明，针对多类别的细粒度情感分类任务，本发明提出的联合学习是一种有效且稳定的少样本学习方法。
请参考图8，图8为本发明实施例提供的一种多类别情感分类方法的装置结构框图；具体装置可以包括：
标注模块100，用于对训练样本标注情感类别标签；
分类与回归模块200，用于对所述样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注分类标签描述词与回归标签描述词，得到提示训练样本；
训练模块300，用于计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型；
检测模块400，用于检测待检测文本数据，输出待检测文本数据的情感预测类别。
本实施例的一种多类别情感分类方法的装置用于实现前述的一种多类别情感分类方法，因此一种多类别情感分类方法装置中的具体实施方式可见前文中的一种多类别情感分类方法的实施例部分，例如，标注模块100，分类与回归模块200，训练模块300，检测模块400，分别用于实现上述一种多类别情感分类方法中步骤S201，S202，S203和S204，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种多类别情感分类方法的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种多类别情感分类方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种多类别情感分类方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种多类别情感分类方法、装置以及计算机存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种多类别情感分类方法，其特征在于，包括：
对训练样本标注情感类别标签，得到样本数据集；
对所述样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注分类标签描述词与回归标签描述词，得到提示训练样本，其中，所述分类模板与所述回归模板为任意短句；
基于所述情感类别标签计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值，包括：将与样本数据情感类别标签对应的分类标签描述词的目标值设置为0，其他分类标签描述词的目标值设置为1，所述回归标签描述词的目标值计算公式如下：
Figure FDA0003782723050000011
其中，Ptarget(cl|x)为情感类别cl的期望值，vl为回归任务值的下限，vu为回归任务值的上限，vtarget为回归标签值，
Figure FDA0003782723050000012
Figure FDA0003782723050000013
其中，Ptarget(cu|x)为情感类别cu的期望值，回归标签描述词LABEL(l)的目标值为1-Ptarget(cl|x)，回归标签描述词LABEL(u)的目标值为1-Ptarget(cu|x)；
利用所述提示训练样本及所述分类标签描述词的目标值和所述回归标签描述词的目标值进行联合学习，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型，所述情感分类检测模型预测过程包括，对待检测文本数据添加所述分类模板与所述回归模板，并在模板中标注所述分类标签描述词与所述回归标签描述词，得到测试文本数据，将所述测试文本数据输入所述情感分类检测模型检测，输出所述测试文本数据中分类标签描述词的目标值和回归标签描述词的目标值，并基于所述回归标签描述词的目标值计算得回归预测值，所述测试文本数据中分类标签描述词的目标值计算公式为：P(i|x)＝P(y＝0|LABEL(i))，其中，P(i|x)为测试文本数据x属于情感类别i的目标值，P(y＝0|LABEL(i))为标签描述词LABEL(i)＝0的目标值，所述回归预测值计算公式为：vpred＝vl·P(cl|x)+vu·P(cu|x)，其中，P(cl|x)，P(cu|x)为回归标签描述词的目标值，vpred为回归预测值，将所述分类标签描述词的目标值和所述回归预测值利用权重距离融合，取最小权重距离对应的情感类别标签作为所述待检测文本数据的预测类别，利用所述回归预测值计算各情感类别i的绝对距离，基于所述绝对距离与所述分类标签描述词的目标值计算各情感类别的权重距离，取其中最小权重距离对应情感类别作为最终预测结果，所述各情感类别i的绝对距离计算公式为：d(i)＝|vpred-i|，其中，d(i)为类别i的绝对距离，vpred为回归预测值，所述各情感类别的权重距离计算公式为：dweight(i)＝d(i)·(1-P(i|x))，其中，dweight(i)为权重距离，所述最终预测结果计算公式为：l＝argmin(dweight(i))，其中，l为最终预测结果，argmin为求自变量最小的函数。
2.如权利要求1所述的多类别情感分类方法，其特征在于，所述采用二值交叉熵损失函数训练预训练模型包括：
根据所述二值交叉熵损失函数计算误差，采用梯度下降算法训练所述预训练模型，反复迭代直至损失函数收敛；
所述二值交叉熵损失函数计算公式如下：
Figure FDA0003782723050000021
其中，N为文本数据中单词总数，yj prompt为第j个单词对应的目标值，
Figure FDA0003782723050000022
为第j个单词对应的模型预测概率。
3.一种多类别情感分类的装置，其特征在于，包括：
标注模块，用于对训练样本标注情感类别标签，得到样本数据集；
分类与回归模块，用于对所述样本数据集中的文本数据添加分类模板与回归模板，并在模板中标注分类标签描述词与回归标签描述词，得到提示训练样本；
训练模块，用于计算所述分类标签描述词与所述回归标签描述词的替换概率，得到所述分类标签描述词的目标值和所述回归标签描述词的目标值，包括：将与样本数据情感类别标签对应的分类标签描述词的目标值设置为0，其他分类标签描述词的目标值设置为1，所述回归标签描述词的目标值计算公式如下：
Figure FDA0003782723050000031
其中，Ptarget(cl|x)为情感类别cl的期望值，vl为回归任务值的下限，vu为回归任务值的上限，vtarget为回归标签值
Figure FDA0003782723050000032
其中，Ptarget(cu|x)为情感类别cu的期望值，回归标签描述词LABEL(l)的目标值为1-Ptarget(cl|x)，回归标签描述词LABEL(u)的目标值为1-Ptarget(cu|x)，采用二值交叉熵损失函数训练预训练模型，得到训练完成的情感分类检测模型；
检测模块，用于对待检测文本数据添加所述分类模板与所述回归模板，并在模板中标注所述分类标签描述词与所述回归标签描述词，得到测试文本数据，将所述测试文本数据输入所述情感分类检测模型检测，输出所述测试文本数据中分类标签描述词的目标值和回归标签描述词的目标值，并基于所述回归标签描述词的目标值计算得回归预测值，所述测试文本数据中分类标签描述词的目标值计算公式为：P(i|x)＝P(y＝0|LABEL(i))，其中，P(i|x)为测试文本数据x属于情感类别i的目标值，P(y＝0|LABEL(i))为标签描述词LABEL(i)＝0的目标值，所述回归预测值计算公式为：vpred＝vl·P(cl|x)+vu·P(cu|x)，其中，P(cl|x)，P(cu|x)为回归标签描述词的目标值，vpred为回归预测值，将所述分类标签描述词的目标值和所述回归预测值利用权重距离融合，取最小权重距离对应的情感类别标签作为所述待检测文本数据的预测类别，利用所述回归预测值计算各情感类别i的绝对距离，基于所述绝对距离与所述分类标签描述词的目标值计算各情感类别的权重距离，取其中最小权重距离对应情感类别作为最终预测结果，所述各情感类别i的绝对距离计算公式为：d(i)＝|vpred-i|，其中，d(i)为类别i的绝对距离，vpred为回归预测值，所述各情感类别的权重距离计算公式为：dweight(i)＝d(i)·(1-P(i|x))，其中，dweight(i)为权重距离，所述最终预测结果计算公式为：l＝argmin(dweight(i))，其中，l为最终预测结果，argmin为求自变量最小的函数。
4.一种多类别情感分类的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述一种多类别情感分类方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述一种多类别情感分类方法的步骤。
CN202210621469.1A 2022-06-02 2022-06-02 一种多类别情感分类方法、装置以及计算机存储介质 Active CN114706986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210621469.1A CN114706986B (zh) 2022-06-02 2022-06-02 一种多类别情感分类方法、装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210621469.1A CN114706986B (zh) 2022-06-02 2022-06-02 一种多类别情感分类方法、装置以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN114706986A CN114706986A (zh) 2022-07-05
CN114706986B true CN114706986B (zh) 2022-09-23

Family

ID=82177993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210621469.1A Active CN114706986B (zh) 2022-06-02 2022-06-02 一种多类别情感分类方法、装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114706986B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896971B (zh) * 2022-07-15 2022-09-30 苏州大学 一种特定前后缀否定词识别方法、装置及存储介质
CN115687625B (zh) * 2022-11-14 2024-01-09 五邑大学 文本分类方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597759B (zh) * 2020-11-30 2024-04-09 深延科技(北京)有限公司 一种基于文本的情绪检测方法和装置、计算机设备和介质
CN112580337A (zh) * 2020-12-29 2021-03-30 南京航空航天大学 基于数据增强的情感分类模型及情感分类方法
CN113887655A (zh) * 2021-10-21 2022-01-04 深圳前海微众银行股份有限公司 模型链回归预测方法、装置、设备及计算机存储介质
CN114036292A (zh) * 2021-10-29 2022-02-11 华东师范大学 一种基于深度学习的多标签文本分类场景下的噪声标签检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pre-trained Token-replaced Detection Model as Few-shot Learner;Zicheng Li等;《https://doi.org/10.48550/arXiv.2203.03235》;20220307;第1-16页 *

Also Published As

Publication number Publication date
CN114706986A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN114706986B (zh) 一种多类别情感分类方法、装置以及计算机存储介质
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN107977362B (zh) 一种用于中文文本定级以及计算中文文本难度评分的方法
CN110717039A (zh) 文本分类方法和装置、电子设备、计算机可读存储介质
CN107229610A (zh) 一种情感数据的分析方法及装置
CN112069295B (zh) 相似题推荐方法、装置、电子设备和存储介质
CN106897384B (zh) 一种要点题自动评价方法及装置
CN115357719B (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN105786898B (zh) 一种领域本体的构建方法和装置
CN114913729B (zh) 一种选题方法、装置、计算机设备和存储介质
CN111832312A (zh) 文本处理方法、装置、设备和存储介质
CN114154570A (zh) 一种样本筛选方法、系统及神经网络模型训练方法
CN114896971B (zh) 一种特定前后缀否定词识别方法、装置及存储介质
CN115964273A (zh) 基于深度学习的航天器测试脚本自动生成方法
CN113297842A (zh) 文本数据增强方法
CN112632982A (zh) 一种能用于供应商评价的对话文本情感分析方法
Wang et al. Combining dynamic and static analysis for automated grading sql statements
CN110991193A (zh) 一种基于OpenKiWi的翻译矩阵模型选择系统
CN113627159A (zh) 纠错模型的训练数据确定方法、装置、介质及产品
Zhao et al. English oral evaluation algorithm based on fuzzy measure and speech recognition
WO2023083176A1 (zh) 样本处理方法、设备及计算机可读存储介质
TW201502812A (zh) 文本摘要編輯系統、文本摘要評量系統及其方法
CN115563959A (zh) 面向中文拼音拼写纠错的自监督预训练方法、系统及介质
CN110245331A (zh) 一种语句转换方法、装置、服务器及计算机存储介质
CN113722421B (zh) 一种合同审计方法和系统，及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231102

Address after: Room 401, 4th Floor, CCF Building, 600 Xiangrong Road, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215133

Patentee after: Digital Suzhou Construction Co.,Ltd.

Address before: No. 188, Shihu West Road, Wuzhong District, Suzhou City, Jiangsu Province

Patentee before: SOOCHOW University

TR01 Transfer of patent right