CN116257630A - 一种基于对比学习的方面级情感分析方法及装置 - Google Patents

一种基于对比学习的方面级情感分析方法及装置 Download PDF

Info

Publication number
CN116257630A
CN116257630A CN202310121920.8A CN202310121920A CN116257630A CN 116257630 A CN116257630 A CN 116257630A CN 202310121920 A CN202310121920 A CN 202310121920A CN 116257630 A CN116257630 A CN 116257630A
Authority
CN
China
Prior art keywords
sentence
analyzed
emotion
sentences
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310121920.8A
Other languages
English (en)
Inventor
熊庆宇
柯采
林军成
罗力豪
易华玲
杨正益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202310121920.8A priority Critical patent/CN116257630A/zh
Publication of CN116257630A publication Critical patent/CN116257630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于对比学习的方面级情感分析方法及装置。方法包括：S1，基于预设的多个方面情感对生成多个提示句对；S2，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果，方面级情感分析模型包括：增强模块，将待分析语句与不同提示句对中的疑问或回答提示句组合获得不同的待分析增强语句；预训练编码层，获得待分析增强语句的句子表示向量和词向量；第一激活函数层，获取第一分析结果；第二激活函数层，标记出与方面情感对匹配的目标词语位置从而获得标记序列。实现了目标‑方面‑情感联合检测，对待分析语句利用疑问或回答提示句进行增强处理后能生成高质量的语义信息，有效缓解稀疏标记数据问题，提高情感分析效果。

Description

一种基于对比学习的方面级情感分析方法及装置
技术领域
本发明涉及自然语言处理及人工智能领域，特别是涉及一种基于对比学习的方面级情感分析方法及装置。
背景技术
在机器学习与深度学习领域的交叉融合发展下，文本情感分析已经成为了自然语言处理领域的研究热点与难点。其中，由于方面级情感分析(ABSA)能够提供细粒度的情感分析，因而受到了越来越多的关注。传统的ABSA的目的是检测句子中相应目标的情感。例如给定一个句子：“Saul is the best restaurant on Smith Street and in Brooklyn.”，其中包含一个目标“Saul”和一个预定义的方面“RESTAURANT#GENERAL”。虽然目标“Saul”和方面“RESTAURANT#GENERAL”所对应的情感都是积极的，然而传统的ABSA仅仅只能检测出(Saul，positive)或者(RESTAURANT#GENERAL，positive)两个二元组，无法提供更细粒度的情感分析。为了进一步分析句子中的不同目标在不同方面的情感，一种名为目标-方面-情感检测的任务(TASD)被提出，该任务需要检测出(目标，方面，情感)三元组来完成情感分析。
具体来说，目标是出现在评论中的一段连续的实体，方面是一个预定义的方面类别，情感极性主要包括Positive、Negative和Neutral三种情况。例如之前的句子，如果要满足TASD任务，就应该检测出(Saul，RESTAURANT#GENERAL，positive)这个三元组。由观察得出，情感不仅仅只依赖于目标或方面，而是同时依赖于两者才能得出准确的情感分析。因此，对目标、方面和情感之间的依赖关系进行建模是TASD任务面临的一大挑战。目前TASD任务主要使用的是预训练语言模型来完成，将文本数据转换为计算机可识别的词向量来构建神经网络。例如专利CN114298011A公开了一种融合主题信息的情感分析方法及装置，利用现有的主题模型来生成主题信息，将其融入到预训练语言模型中来提升分类能力。这种方法虽然能够完成TASD任务，但需要提前文本数据进行主题信息的提取，这就导致了该方法的迁移能力较弱，针对不同的场景需要重新提取主题信息，花费时间较大。而其他的方法大多数都要使用各类复杂的网络模型来完成ABSA，例如专利CN113535904A使用了图神经网络来对句子中各个单词进行建模并提取语义特征。可见，目前公开的方面级情感分析专利和文献中，大多数都较为复杂且不具备实用性。
目标-方面-情感检测的任务(TASD)是方面级情感分析(ABSA)的一项重要任务，其目的是从句子中检测出(目标，方面，情感)三元组。然而，大多数现有的方法都不能很好地处理稀疏数据标记，不能生成高质量的文本表示，因此在TASD任务上的性能较差。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，提供一种简单且有效的基于对比学习的方面级情感分析方法及装置。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于对比学习的方面级情感分析方法，包括：步骤S1，基于预设的多个方面情感对生成多个提示句对，一个提示句对包括包含同一个方面情感对的一个疑问提示句和一个回答提示句；步骤S2，获取待分析语句，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果，所述基于对比学习的方面级情感分析模型包括：增强模块，被配置为将待分析语句与不同提示句对中的疑问提示句或回答提示句组合获得不同的待分析增强语句；预训练编码层，被配置为对待分析增强语句进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述待分析增强语句的句子表示向量和所有单词的词向量；第一激活函数层，被配置为基于所述待分析增强语句的句子表示向量获取第一分析结果，所述第一分析结果为所述待分析增强语句中的待分析语句是否与该待分析增强语句包含的方面情感对匹配的判断结果；第二激活函数层，被配置为当第一分析结果为待分析增强语句中的待分析语句与该待分析增强语句包含的方面情感对匹配时，对待分析语句的所有词向量进行解码获得解码序列，并在解码序列中标记出与方面情感对匹配的目标词语位置从而获得标记序列，将标记序列记为第二分析结果。
上述技术方案：通过基于对比学习的方面级情感分析模型输出的第一分析结果和第二分析结果，实现了目标-方面-情感联合检测，基于对比学习的方面级情感分析模型为对比学习训练获得的模型，其能生成高质量文本表示，以提高目标-方面-情感联合检测性能；并且对待分析语句利用疑问提示句或回答提示句进行增强处理后，通过预训练编码层可以生成高质量的语义信息(即句子表示向量和词向量)，可以有效缓解稀疏标记数据问题，提高情感分析效果。
在本发明的一种优选实施方式中，所述基于对比学习的方面级情感分析模型的对比训练过程包括：步骤A，获取多个训练语句以及训练语句匹配的方面情感对，基于匹配的方面情感对生成提示句对，将训练语句分别与生成的提示句对的疑问提示句和回答提示句组合获得疑问增强句和提示增强句，疑问增强句和提示增强句组成一个正样本对；步骤B，输入正样本对至预训练编码层，预训练编码层对正样本对进行词嵌入处理，对词嵌入处理结果进行编码处理获得正样本对中疑问增强句的句子表示向量和所有单词的词向量，以及获得正样本对中回答增强句的句子表示向量和所有单词的词向量；步骤C，将正样本对的句子表示向量输入第一激活函数层分别获得疑问增强句的第一分析结果和回答增强句的第一分析结果；通过第一对比学习层对比学习正样本对中疑问增强句的句子表示向量和回答增强句的句子表示向量获得第一任务损失；同步地，将正样本对的词向量输入第二函数激活模块分别获得疑问增强句的第二分析结果和回答增强句的第二分析结果；通过第二对比学习层对比学习正样本对中疑问增强句的第二分析结果和回答增强句的第二分析结果获得第二任务损失；步骤D，融合参与训练的所有正样本对的第一任务损失和第二任务损失获得总损失，若总损失达到预设目标则停止训练，若总损失未达到预设目标则输入下一正样本对重复执行步骤B到步骤D。
上述技术方案：在模型训练过程中先建立多个正样本对，利用正样本对来进行对比学习，以提高正样本间的相似度从而获得更好的语义特征。在对比学习过程中，随着模型的优化，正样本对中两个样本之间的特征分布越来越小从而获得更好的特征表示，为了构造正样本对来满足对比学习的要求，本申请提出了一种基于双重提示的数据增强方法，将一个文本样本变为一个带有疑问提示的疑问增强句子和带有回答提示的回答增强句子，模型将这两个句子作为正样本对进行对比学习。在模型杜比学习的训练过程中，通过同时优化情感分类子任务(获得第一分析结果的任务)和序列标注子任务的损失函数(获得第二分析结果的任务)，使得模型平衡两个任务的结果输出，从而有效提取方面级情感分析三元组。
在本发明的一种优选实施方式中，第i个正样本对的第一任务损失表示为：
Figure BDA0004080271020000051
其中，/>
Figure BDA0004080271020000052
表示第i个正样本对的分类损失，
Figure BDA0004080271020000053
P1[CLS]表示第i个正样本对的疑问增强句x1的句子表示向量，P2[CLS]表示第i个正样本对的回答增强句x2的句子表示向量；/>
Figure BDA0004080271020000054
表示P1[CLS]和P2[CLS]之间的最小双向KL散度，/>
Figure BDA0004080271020000055
α表示第一任务可调节参数。
上述技术方案：第一任务损失函数通过预训练编码层输出的句子表示向量获得，加入了两个句子表示向量的最小双向KL散度，最小双向KL散度可衡量正样本对的距离，从而进行对比学习，双向KL散度越小说明特征越相似，随着模型的优化，两个样本之间的特征分布越来越小从而获得更好的特征表示。
在本发明的一种优选实施方式中，第i个正样本对的第二任务损失表示为：
Figure BDA0004080271020000061
其中，/>
Figure BDA0004080271020000062
表示第i个正样本对的序列标注损失，
Figure BDA0004080271020000063
Figure BDA0004080271020000064
表示疑问增强句x1词向量预测真实序列T的序列概率分布，/>
Figure BDA0004080271020000065
表示回答增强句x2词向量预测真实序列T的序列概率分布；β表示第二任务可调节参数；/>
Figure BDA0004080271020000066
表示/>
Figure BDA0004080271020000067
和/>
Figure BDA0004080271020000068
之间的最小双向KL散度，
Figure BDA0004080271020000069
上述技术方案：第二任务损失函数通过序列概率分布获得，加入了正样本对序列概率分布的最小双向KL散度，双向KL散度可衡量正样本对的距离，从而进行对比学习，双向KL散度越小说明特征越相似，随着模型的优化，两个样本之间的特征分布越来越小从而获得更好的标记结果。
在本发明的一种优选实施方式中，总损失定义为：
Figure BDA00040802710200000610
其中，N表示参与训练的正样本对数量。
上述技术方案：总损失函数能够同时优化情感分类子任务和序列标注子任务的损失函数，使得模型平衡两个任务的结果输出，从而有效提取方面级情感分析三元组。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种基于对比学习的方面级情感分析装置，包括：提示句对生成模块，基于预设的多个方面情感对生成多个提示句对，一个提示句对包括包含同一个方面情感对的一个疑问提示句和一个回答提示句；情感分析模块，获取待分析语句，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果；所述基于对比学习的方面级情感分析模型包括：增强模块，被配置为将待分析语句与不同提示句对中的疑问提示句或回答提示句组合获得不同的待分析增强语句；预训练编码层，被配置为对待分析增强语句进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述待分析增强语句的句子表示向量和所有单词的词向量；第一激活函数层，被配置为基于所述待分析增强语句的句子表示向量获取第一分析结果，所述第一分析结果为所述待分析增强语句中的待分析语句是否与该待分析增强语句包含的方面情感对匹配的判断结果；第二激活函数层，被配置为当第一分析结果为待分析增强语句中的待分析语句与该待分析增强语句包含的方面情感对匹配时，对待分析语句的所有词向量进行解码获得解码序列，并在解码序列中标记出与方面情感对匹配的目标词语位置从而获得标记序列，将标记序列记为第二分析结果。
附图说明
图1是本发明一种优选实施方式中方面级情感分析方法的流程示意图；
图2是本发明一种优选实施方式中基于对比学习的方面级情感分析模型的结构示意图；
图3是本发明一种优选实施方式中基于双重提示的数据增强方法示意图；
图4是本发明一种优选实施方式中基于对比学习的方面级情感分析模型训练示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于对比学习的方面级情感分析方法，在一种优选实施方式中，如图1所示，该情感分析方法包括：
步骤S1，基于预设的多个方面情感对生成多个提示句对，一个提示句对包括包含同一个方面情感对的一个疑问提示句和一个回答提示句。
方面是指用户自定义的多个目标的总称。可预先设定多个方面，方面可为总体环境(ambience general)、总体服务(service general)、食物质量(food quality)、食物价格(food prices)等。每个方面包括多个目标，比如方面总体环境(ambience general)可包括地板、桌椅、声音、噪音、光线等目标，每个目标的实际词语可能有多种形式，比如地板的目标词语可为瓷砖、木地板、水泥地等。总体服务(service general)可包括服务员态度、优惠项目、上菜速度等目标。情感可包括多个分类，可根据细粒度要求越高设置分类数量越多，如情感包括三个分类时可以是positive(好)，negative(差)，neutral(中性)。方面情感对是指方面+情感的组合，比如总体环境好、总体服务好、食物质量差等。方面情感对为方面+情感，如为servicegeneral positive、food quality negative等。
优选地，预先设置多个方面情感对与待分析语句的领域相关。基于预设的多个方面情感对生成多个提示句对，具体的，一个方面情感对对应生成一个提示句对，方面情感对对应的提示句对包括包含该方面情感对的一个疑问提示句和一个回答提示句。
优选地，通过疑问提示函数生成疑问提示句。具体的，疑问提示函数生成疑问提示句的执行过程为：将方面情感对中的方面和情感分别代入疑问提示句模板中的方面对应位置和情感对应位置，疑问提示句模板为：Does the sentiment{}belongs to the aspect{}，在疑问提示句模板中，用括号{}表示位置，其中，从左到右的第一个括号{}表示情感对应位置，第二个括号{}表示方面对应位置。例如给定一个句子为：“Skip this restaurant，itis a big disappointment”，它的一个预定义的方面为“RESTAURANT#GENERAL”，情感为“negative”。于是生成的疑问提示句为“Does the sentiment negative belongs to theaspect RESTAURANT#GENERAL”。
和/或，优选地，通过回答提示函数生成回答提示句。具体的，回答提示函数生成回答提示句的执行过程为：将方面情感对中的方面和情感分别代入回答提示句模板中的方面对应位置和情感对应位置，回答提示句模板为：The sentiment of the aspect{}is{}。回答提示句模板中，用括号{}表示位置，其中从左到右的第一个括号{}表示方面对应位置，第二个括号{}表示情感对应位置。例如给定一个句子为：“Skip this restaurant，it is abig disappointment”，它的一个预定义的方面为“RESTAURANT#GENERAL”，情感为“negative”。生成的回答提示句为“The sentiment of the aspect RESTAURANT#GENERALis negative”。疑问提示句“Does the sentiment negative belongs to the aspectRESTAURANT#GENERAL”和回答提示句“The sentiment of the aspect RESTAURANT#GENERAL is negative”组成一个提示句对。
步骤S2，获取待分析语句，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果，如图2所示，基于对比学习的方面级情感分析模型包括：
增强模块，被配置为将待分析语句与不同提示句对中的疑问提示句或回答提示句组合获得不同的待分析增强语句。完成了待分析语句与不同的提示句对组合，获得了多个待分析增强语句，后续预训练编码层、第一激活函数层等对每个待分析增强语句进行情感分类和序列标记。待分析语句可以与提示句对中的疑问提示句组合或者与回答提示句组合。设待分析语句为：“Skip this restaurant，it is a bigdisappointment”，与疑问提示句组合变成了：“[CLS]Skip this restaurant，it is a big disappointment.[SEP]Doesthe sentiment negative belongs tothe aspect RESTAURANT#GENERAL.[SEP]”；与回答提示句组合变成了“[CLS]Skip this restaurant，it is a big disappointment.[SEP]Thesentiment of the aspect RESTAURANT#GENERAL is negative.[SEP]”。其中[CLS]和[SEP]是BERT预训练编码模型中的一种特殊标签，[CLS]代表文本的整体语义表示，用于情感分类，[SEP]代表当输入为两个文本时，使用该符号将两段文本分开。这样就将待分析语句变成了带有提示的句子，能够增强句子的语义特征表达。
预训练编码层，被配置为对待分析增强语句进行词嵌入处理，对词嵌入处理结果进行编码处理获得该待分析增强语句的句子表示向量和所有单词的词向量。预训练编码层优选但不限于为BERT词嵌入编码模型。
第一激活函数层，被配置为基于该待分析增强语句的句子表示向量获取第一分析结果，第一分析结果为该待分析增强语句中的待分析语句是否与该待分析增强语句包含的方面情感对匹配的判断结果。第一激活函数层中优选但不限于为softmax函数。第一激活函数层用于检测待分析语句中是否存在与增强语句中包含的方面情感对对应的目标，具体的输出形式可为“Yes/No”标签，如图4所示。
第二激活函数层，被配置为当第一分析结果为待分析增强语句中的待分析语句与该待分析增强语句包含的方面情感对匹配时，即第一激活函数层输出Yes标签后，对待分析语句的所有词向量进行解码获得解码序列，并在解码序列中标记出与方面情感对匹配的目标词语位置从而获得标记序列，将标记序列记为第二分析结果，标记序列用于在待分析语句中标记出需要提取的目标，如图4中的T表示目标词语位置，0表示非目标词语位置。第二激活函数层中优选但不限于为softmax函数。
在本实施方式中，进一步优选地，当第一激活函数层输出的判断结果为待分析语句与方面情感对匹配时，还包括输出目标词语、方面、情感组成的三元组；其中，目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。
在一种优选实施方式中，基于对比学习的方面级情感分析模型采用正样本对进行对比学习，以提高正样本间的相似度从而获得更好的语义特征。基于对比学习的方面级情感分析模型的对比训练过程包括：
步骤A，获取多个训练语句以及训练语句匹配的方面情感对，基于匹配的方面情感对生成提示句对，将训练语句分别与生成的提示句对的疑问提示句和回答提示句组合获得疑问增强句和提示增强句，疑问增强句和提示增强句组成一个正样本对。具体的，如图3所示，基于双重提示进行数据增强，将每一条文本数据(即训练语句)与两种提示(疑问提示句和回答提示句)相结合作为模型输入从而获得两种如图3所示的提示视图，将每一次增强后的两种视图作为正样本对。利用常用的预训练模型BERT对增强后的每条数据进行编码，将文本转变成计算机可以处理的向量形式。与现有技术相比，本申请提出的基于双重提示的数据增强方法可以生成高质量的语义信息，缓解稀疏标记数据的问题。
步骤B，输入正样本对至预训练编码层，预训练编码层对正样本对进行词嵌入处理，对词嵌入处理结果进行编码处理获得正样本对中疑问增强句的句子表示向量和所有单词的词向量，以及获得正样本对中回答增强句的句子表示向量和所有单词的词向量。
步骤C，将正样本对的句子表示向量输入第一激活函数层分别获得疑问增强句的第一分析结果和回答增强句的第一分析结果；通过第一对比学习层对比学习正样本对中疑问增强句的句子表示向量和回答增强句的句子表示向量获得第一任务损失；同步地，将正样本对的词向量输入第二函数激活模块分别获得疑问增强句的第二分析结果和回答增强句的第二分析结果；通过第二对比学习层对比学习正样本对中疑问增强句的第二分析结果和回答增强句的第二分析结果获得第二任务损失。使用双向KL散度来衡量正样本之间的距离，从而进行对比学习，双向KL散度越小说明正样本对之间特征越相似。
步骤D，融合参与训练的所有正样本对的第一任务损失和第二任务损失获得总损失，若总损失达到预设目标则停止训练，若总损失未达到预设目标则输入下一正样本对重复执行步骤B到步骤D。预设目标优选但不限于总损失增量小于预设的增量阈值。
本申请将TASD任务转换为一个二元分类的情感分类子任务和一个序列标注子任务。前者用于检测待分析语句中是否存在(Yes和No)与方面-情感对应的目标，后者用于在输出Yes标签后标记需要提取的目标。因此，在获得了x1和x2之后，本申请直接最小化它们之间的双向KL散度。优选地，第i个正样本对的第一任务损失表示为：
Figure BDA0004080271020000141
其中，
Figure BDA0004080271020000142
表示第i个正样本对的分类损失，/>
Figure BDA0004080271020000143
P1[CLS]表示第i个正样本对的疑问增强句x1的句子表示向量，P2[CLS]表示第i个正样本对的回答增强句x2的句子表示向量；/>
Figure BDA0004080271020000144
表示P1[CLS]和P2[CLS]之间的最小双向KL散度，
Figure BDA0004080271020000145
α表示第一任务可调节参数，为预设参数，数值范围优选为[0，1]。本申请继续利用这两个句子表示向量P1[CLS]和P2[CLS]来计算情感分类子任务的原本的损失函数/>
Figure BDA0004080271020000146
最后，本申请将/>
Figure BDA0004080271020000147
和/>
Figure BDA0004080271020000148
组合在一起成为情感分类子任务最终的损失函数/>
Figure BDA0004080271020000149
DKL(P1[CLS]||P2[CLS])表示P1[CLS]到P2[CLS]的KL散度，DKL(P2[CLS]||P1[CLS])表示P2[CLS]到P1[CLS]的KL散度。
在本实施方式中，对于序列标注子任务来说，在疑问增强句和提示增强句x1和x2被输入到BERT编码器之后，可以获得它们之中每个单词的词向量表示，分别定义为
Figure BDA00040802710200001410
和/>
Figure BDA00040802710200001411
其中n代表单词的数量。随后，定义/>
Figure BDA00040802710200001419
和/>
Figure BDA00040802710200001412
作为预测同一个真实的标注序列T的序列概率分布。因此，最小化它们之间的双向KL散度/>
Figure BDA00040802710200001413
被定义为：
Figure BDA00040802710200001414
表示
Figure BDA00040802710200001415
到/>
Figure BDA00040802710200001416
的KL散度，/>
Figure BDA00040802710200001417
表示/>
Figure BDA00040802710200001418
到/>
Figure BDA0004080271020000151
的KL散度。继续利用这两个概率分布/>
Figure BDA0004080271020000152
和/>
Figure BDA0004080271020000153
来计算序列标注子任务原本的损失函数/>
Figure BDA0004080271020000154
Figure BDA0004080271020000155
将
Figure BDA0004080271020000156
和/>
Figure BDA0004080271020000157
组合在一起成为序列标注子任务最终的损失函数/>
Figure BDA0004080271020000158
即第二任务损失函数。第i个正样本对的第二任务损失表示为：
Figure BDA0004080271020000159
其中，
Figure BDA00040802710200001510
表示第i个正样本对的序列标注损失，/>
Figure BDA00040802710200001511
Figure BDA00040802710200001512
表示疑问增强句x1词向量预测真实序列T的序列概率分布，/>
Figure BDA00040802710200001513
表示回答增强句x2词向量预测真实序列T的序列概率分布；β表示第二任务可调节参数，为预设参数，数值范围优选为[0，1]；/>
Figure BDA00040802710200001514
表示/>
Figure BDA00040802710200001515
和/>
Figure BDA00040802710200001516
之间的最小双向KL散度，/>
Figure BDA00040802710200001517
在本实施方式中，优选地，采用多任务学习，使用Adam优化算法对上述两个子任务进行同时优化，使得模型平衡两个任务的结果输出，从而有效提取方面级情感分析结果。总损失定义为：
Figure BDA00040802710200001518
其中，N表示参与训练的正样本对数量。
本申请提出了一种基于对比学习的方面级情感分析模型。具体来说，该模型利用数据中的正样本对来进行对比学习，目的是提高正样本间的相似度从而获得更好的语义特征。使用KL散度来衡量正样本之间的距离，KL散度越小说明特征越相似。随着模型的优化，两个样本之间的特征分布越来越小从而获得更好的特征表示。同时，为了构造正样本对来满足对比学习的要求，本申请提出了一种基于双重提示的数据增强方法，将一个文本数据变为一个带有疑问提示的句子和带有回答提示的句子。模型将这两个句子作为正样本对进行对比学习。
TASD任务是ABSA的一项重要任务，其目的是从句子中检测(目标，方面，情感)三元组。然而，大多数现有的方法都不能生成高质量的文本表示，因此在TASD任务上的性能较差。此外，如何处理缺乏缺陷的高质量标记数据也是一个巨大的挑战。在本申请中，设计了一种基于双重提示的数据增强方法，它可以通过一个问题提示视图和一个答案提示视图来生成不同的句子。并且提出了一种用于目标-方面-情感联合检测的对比学习模型，它最大限度地提高两个提示视图之间的一致性，以获得高质量的文本表示。与现有技术相比，本十年前提出的基于双重提示的数据增强方法可以生成高质量的语义信息，缓解稀疏标记数据的问题。此外，本申请提出的一种用于目标-方面-情感联合检测的对比学习模型比其他方法更有效地检测(目标，方面，情感)三元组。
本申请还公开了一种基于对比学习的方面级情感分析装置，包括：提示句对生成模块，基于预设的多个方面情感对生成多个提示句对，一个提示句对包括包含同一个方面情感对的一个疑问提示句和一个回答提示句；情感分析模块，获取待分析语句，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果；基于对比学习的方面级情感分析模型包括：增强模块，被配置为将待分析语句与不同提示句对中的疑问提示句或回答提示句组合获得不同的待分析增强语句；预训练编码层，被配置为对待分析增强语句进行词嵌入处理，对词嵌入处理结果进行编码处理获得待分析增强语句的句子表示向量和所有单词的词向量；第一激活函数层，被配置为基于待分析增强语句的句子表示向量获取第一分析结果，第一分析结果为待分析增强语句中的待分析语句是否与该待分析增强语句包含的方面情感对匹配的判断结果；第二激活函数层，被配置为当第一分析结果为待分析增强语句中的待分析语句与该待分析增强语句包含的方面情感对匹配时，对待分析语句的所有词向量进行解码获得解码序列，并在解码序列中标记出与方面情感对匹配的目标词语位置从而获得标记序列，将标记序列记为第二分析结果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于对比学习的方面级情感分析方法，其特征在于，包括：
步骤S1，基于预设的多个方面情感对生成多个提示句对，一个提示句对包括包含同一个方面情感对的一个疑问提示句和一个回答提示句；
步骤S2，获取待分析语句，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果，所述基于对比学习的方面级情感分析模型包括：
增强模块，被配置为将待分析语句与不同提示句对中的疑问提示句或回答提示句组合获得不同的待分析增强语句；
预训练编码层，被配置为对待分析增强语句进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述待分析增强语句的句子表示向量和所有单词的词向量；
第一激活函数层，被配置为基于所述待分析增强语句的句子表示向量获取第一分析结果，所述第一分析结果为所述待分析增强语句中的待分析语句是否与该待分析增强语句包含的方面情感对匹配的判断结果；
第二激活函数层，被配置为当第一分析结果为待分析增强语句中的待分析语句与该待分析增强语句包含的方面情感对匹配时，对待分析语句的所有词向量进行解码获得解码序列，并在解码序列中标记出与方面情感对匹配的目标词语位置从而获得标记序列，将标记序列记为第二分析结果。
2.如权利要求1所述的基于对比学习的方面级情感分析方法，其特征在于，通过疑问提示函数生成疑问提示句；
和/或，通过回答提示函数生成回答提示句。
3.如权利要求2所述的基于对比学习的方面级情感分析方法，其特征在于，疑问提示函数生成疑问提示句的执行过程为：将方面情感对中的方面和情感分别代入疑问提示句模板中的方面对应位置和情感对应位置，所述疑问提示句模板为：Does the sentiment{}belongs to the aspect{}。
4.如权利要求2或3所述的基于对比学习的方面级情感分析方法，其特征在于，回答提示函数生成回答提示句的执行过程为：将方面情感对中的方面和情感分别代入回答提示句模板中的方面对应位置和情感对应位置，所述回答提示句模板为：The sentiment oftheaspect{}is{}。
5.如权利要求4所述的基于对比学习的方面级情感分析方法，其特征在于，当第一激活函数层输出的判断结果为待分析语句与方面情感对匹配时，还包括输出目标词语、方面、情感组成的三元组；其中，所述目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。
6.如权利要求1或2或3或5所述的基于对比学习的方面级情感分析方法，其特征在于，所述基于对比学习的方面级情感分析模型的对比训练过程包括：
步骤A，获取多个训练语句以及训练语句匹配的方面情感对，基于匹配的方面情感对生成提示句对，将训练语句分别与生成的提示句对的疑问提示句和回答提示句组合获得疑问增强句和提示增强句，疑问增强句和提示增强句组成一个正样本对；
步骤B，输入正样本对至预训练编码层，预训练编码层对正样本对进行词嵌入处理，对词嵌入处理结果进行编码处理获得正样本对中疑问增强句的句子表示向量和所有单词的词向量，以及获得正样本对中回答增强句的句子表示向量和所有单词的词向量；
步骤C，将正样本对的句子表示向量输入第一激活函数层分别获得疑问增强句的第一分析结果和回答增强句的第一分析结果；通过第一对比学习层对比学习正样本对中疑问增强句的句子表示向量和回答增强句的句子表示向量获得第一任务损失；
同步地，将正样本对的词向量输入第二函数激活模块分别获得疑问增强句的第二分析结果和回答增强句的第二分析结果；通过第二对比学习层对比学习正样本对中疑问增强句的第二分析结果和回答增强句的第二分析结果获得第二任务损失；
步骤D，融合参与训练的所有正样本对的第一任务损失和第二任务损失获得总损失，若总损失达到预设目标则停止训练，若总损失未达到预设目标则输入下一正样本对重复执行步骤B到步骤D。
7.如权利要求6所述的基于对比学习的方面级情感分析方法，其特征在于，第i个正样本对的第一任务损失表示为：
Figure FDA0004080270940000031
其中，
Figure FDA0004080270940000032
表示第i个正样本对的分类损失，/>
Figure FDA0004080270940000033
P1[CLS]表示第i个正样本对的疑问增强句x1的句子表示向量，P2[CLS]表示第i个正样本对的回答增强句x2的句子表示向量；/>
Figure FDA0004080270940000041
表示P1[CLS]和P2[CLS]之间的最小双向KL散度，
Figure FDA0004080270940000042
α表示第一任务可调节参数。
8.如权利要求7所述的基于对比学习的方面级情感分析方法，其特征在于，第i个正样本对的第二任务损失表示为：
Figure FDA0004080270940000043
其中，
Figure FDA0004080270940000044
表示第i个正样本对的序列标注损失，/>
Figure FDA0004080270940000045
Figure FDA0004080270940000046
表示疑问增强句x1词向量预测真实序列T的序列概率分布，/>
Figure FDA0004080270940000047
表示回答增强句x2词向量预测真实序列T的序列概率分布；β表示第二任务可调节参数；/>
Figure FDA0004080270940000048
表示/>
Figure FDA0004080270940000049
和/>
Figure FDA00040802709400000410
之间的最小双向KL散度，
Figure FDA00040802709400000411
9.如权利要求8所述的基于对比学习的方面级情感分析方法，其特征在于，总损失定义为：
Figure FDA00040802709400000412
其中，N表示参与训练的正样本对数量。
10.一种基于对比学习的方面级情感分析装置，其特征在于，包括：
提示句对生成模块，基于预设的多个方面情感对生成多个提示句对，一个提示句对包括包含同一个方面情感对的一个疑问提示句和一个回答提示句；
情感分析模块，获取待分析语句，将待分析语句输入基于对比学习的方面级情感分析模型获得分析结果；所述基于对比学习的方面级情感分析模型包括：
增强模块，被配置为将待分析语句与不同提示句对中的疑问提示句或回答提示句组合获得不同的待分析增强语句；
预训练编码层，被配置为对待分析增强语句进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述待分析增强语句的句子表示向量和所有单词的词向量；
第一激活函数层，被配置为基于所述待分析增强语句的句子表示向量获取第一分析结果，所述第一分析结果为所述待分析增强语句中的待分析语句是否与该待分析增强语句包含的方面情感对匹配的判断结果；
第二激活函数层，被配置为当第一分析结果为待分析增强语句中的待分析语句与该待分析增强语句包含的方面情感对匹配时，对待分析语句的所有词向量进行解码获得解码序列，并在解码序列中标记出与方面情感对匹配的目标词语位置从而获得标记序列，将标记序列记为第二分析结果。
CN202310121920.8A 2023-02-16 2023-02-16 一种基于对比学习的方面级情感分析方法及装置 Pending CN116257630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310121920.8A CN116257630A (zh) 2023-02-16 2023-02-16 一种基于对比学习的方面级情感分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310121920.8A CN116257630A (zh) 2023-02-16 2023-02-16 一种基于对比学习的方面级情感分析方法及装置

Publications (1)

Publication Number Publication Date
CN116257630A true CN116257630A (zh) 2023-06-13

Family

ID=86687532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310121920.8A Pending CN116257630A (zh) 2023-02-16 2023-02-16 一种基于对比学习的方面级情感分析方法及装置

Country Status (1)

Country Link
CN (1) CN116257630A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法

Similar Documents

Publication Publication Date Title
CN113656570B (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN107943784B (zh) 基于生成对抗网络的关系抽取方法
CN110569508A (zh) 融合词性和自注意力机制的情感倾向性分类方法及系统
CN113836298B (zh) 基于视觉增强的文本分类方法和系统
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN110796160B (zh) 一种文本分类方法、装置和存储介质
CN111859978A (zh) 一种基于深度学习的情感文本生成方法
CN113505200B (zh) 一种结合文档关键信息的句子级中文事件检测的方法
Ji et al. Divergent-convergent attention for image captioning
CN109949637B (zh) 一种客观题目的自动解答方法和装置
CN112307773B (zh) 机器阅读理解系统的自定义问题数据自动生成方法
CN110427616A (zh) 一种基于深度学习的文本情感分析方法
CN113360582B (zh) 基于bert模型融合多元实体信息的关系分类方法及系统
CN114492441A (zh) 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法
CN112115242A (zh) 一种基于朴素贝叶斯分类算法的智能客服问答系统
CN112561718A (zh) 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法
CN118035431B (zh) 一种文字客服过程用户情绪预测方法、介质及系统
CN113486645A (zh) 一种基于深度学习的文本相似度检测方法
CN113723103A (zh) 融合多源知识的中文医学命名实体和词性联合学习方法
CN113128206A (zh) 基于单词重要性加权的问题生成方法
CN114548099A (zh) 基于多任务框架的方面词和方面类别联合抽取和检测方法
CN116257630A (zh) 一种基于对比学习的方面级情感分析方法及装置
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN115510230A (zh) 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法
Liu et al. Cross-domain slot filling as machine reading comprehension: A new perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination