CN116562305B - 方面情感四元组预测方法与系统 - Google Patents

方面情感四元组预测方法与系统 Download PDF

Info

Publication number
CN116562305B
CN116562305B CN202310838807.1A CN202310838807A CN116562305B CN 116562305 B CN116562305 B CN 116562305B CN 202310838807 A CN202310838807 A CN 202310838807A CN 116562305 B CN116562305 B CN 116562305B
Authority
CN
China
Prior art keywords
sample
emotion
filling
complete
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310838807.1A
Other languages
English (en)
Other versions
CN116562305A (zh
Inventor
彭文忠
夏家莉
刘德喜
张守胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202310838807.1A priority Critical patent/CN116562305B/zh
Publication of CN116562305A publication Critical patent/CN116562305A/zh
Application granted granted Critical
Publication of CN116562305B publication Critical patent/CN116562305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种方面情感四元组预测方法与系统，该方法包括：获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；根据判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据样本方面类别和样本情感极性构建第一完形填空模板；根据第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据样本方面类别、样本情感极性、样本方面词和样本观点词对判别式完形填空模型进行模型训练；将待预测语句输入训练后的判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。本发明可有效利用各情感元素之间的语义相关性，提高方面情感四元组预测效率。

Description

方面情感四元组预测方法与系统
技术领域
本发明涉及情感分析技术领域，尤其涉及一种方面情感四元组预测方法与系统。
背景技术
方面情感四元组预测（Aspect sentiment quad prediction，ASQP）是基于方面的情感分析（Aspect-based sentiment analysis，ABSA）领域最新的子任务，旨在提取评论句子中所有的方面级情感元素，包括方面词（aspect term，简称a）、方面类别(aspectcategory，简称c)、观点词（opinion term，简写o）以及情感极性(sentiment polarity，简称s)。ASQP任务的预测结果更丰富、更全面，且无需给定方面词或方面类别，有助于全面了解用户对产品或服务不同方面的评价情况，应用场景更广泛。
现有的方面情感四元组预测过程中，一般以语句作为输入序列，通过设计输出的目标序列格式引导模型生成方面情感四元组，但由于现有的方面情感四元组预测方法，未能有效利用各情感元素之间的语义相关性，导致方面情感四元组预测效率低下。
发明内容
本发明实施例的目的在于提供一种方面情感四元组预测方法与系统，旨在解决现有的方面情感四元组预测效率低下的问题。
本发明实施例是这样实现的，一种方面情感四元组预测方法，所述方法包括：
获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；
根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据所述样本方面类别和所述样本情感极性构建第一完形填空模板；
根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练；
将待预测语句输入训练后的所述判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。
优选的，所述根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，包括：
将各样本语句和对应的嵌入表示输入所述判别式完形填空模型中的分类模块；
根据所述分类模块中的多头自注意力层和多头交叉注意力层对各嵌入表示进行注意力处理，得到第一注意力输出；
根据所述分类模块中的输出层对所述第一注意力输出进行预测，得到第一概率分布，并将所述第一概率分布最大的方面类别和情感极性，确定为所述样本方面类别和所述样本情感极性。
优选的，所述根据所述样本方面类别和所述样本情感极性构建第一完形填空模板，包括：
将所述样本方面类别和所述样本情感极性转换为模板格式，并在所述模板格式中添加待填空项；
在添加待填空项后的所述模板格式中，分别在相邻的所述样本方面类别、所述样本情感极性和各待填空项之间添加连接词，得到所述第一完形填空模板。
优选的，所述根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，包括：
将所述第一完形填空模板和各嵌入表示输入所述判别式完形填空模型中的完形填空模块；
根据所述完形填空模块中的多头自注意力层和多头交叉注意力层对所述第一完形填空模板和各嵌入表示进行注意力处理，得到第二注意力输出；
根据所述第二注意力输出确定各待填空项的候选跨度表示，并分别计算各待填空项的候选跨度表示的概率分布，得到第二概率分布；
将所述第二概率分布最大的候选跨度表示中的方面词和观点词，确定为所述样本方面词和所述样本观点词。
优选的，所述根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练，包括：
根据所述样本方面类别和所述样本情感极性确定所述分类模块的模型损失值，得到第一损失值；
根据所述样本方面词和所述样本观点词确定所述完形填空模块的模型损失值，得到第二损失值；
根据所述第一损失值和所述第二损失值确定所述判别式完形填空模型的最小化总损失，并根据所述最小化总损失对所述分类模块和所述完形填空模块进行参数更新。
优选的，所述根据所述样本方面类别和所述样本情感极性确定所述分类模块的模型损失值，得到第一损失值，采用的公式包括：
；
其中，是所述第一损失值，/>是预设值，/>表示排列策略/>的第/>个位置上预测为/>的第一概率分布，/>为预设标准答案中第/>个(样本方面类别，样本情感极性)，记为/>；
所述根据所述样本方面词和所述样本观点词确定所述完形填空模块的模型损失值，得到第二损失值，采用的公式包括：
；
其中，是所述第二损失值，/>为索引，表示已预测的第/>个(样本方面类别，样本情感极性)，/>是第/>个待填空项对应的所述样本方面词或所述样本观点词，/>是第/>个待填空项填入所有候选跨度的第二概率分布，/>是待填空项的总数量；
所述根据所述第一损失值和所述第二损失值确定所述判别式完形填空模型的最小化总损失采用的公式包括：
；
其中，是所述最小化总损失，/>是预设超参。
本发明提供了一种方面情感四元组预测方法，该方法包括：获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；根据判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据样本方面类别和样本情感极性构建第一完形填空模板；根据第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据样本方面类别、样本情感极性、样本方面词和样本观点词对判别式完形填空模型进行模型训练；将待预测语句输入训练后的判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。本发明可有效利用各情感元素之间的语义相关性，提高方面情感四元组预测效率。
本发明实施例的另一目的在于提供一种方面情感四元组预测系统，所述系统包括：
编码模块，用于获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；
方面预测模块，用于根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据所述样本方面类别和所述样本情感极性构建第一完形填空模板；
填空预测模块，用于根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练；
四元组预测模块，用于将待预测语句输入训练后的所述判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。
附图说明
图1是本发明第一实施例提供的方面情感四元组预测方法的流程图；
图2是本发明第二实施例提供的方面情感四元组预测方法的流程图；
图3是本发明第三实施例提供的方面情感四元组预测系统的结构示意图；
图4是本发明第四实施例提供的判别式完形填空模型的结构示意图；
图5是本发明第五实施例提供的生成式完形填空模型的结构示意图；
图6是本发明第六实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
近年来，以预训练语言模型（pre-trained language models，简称PLMs）为骨干网络，ABSA模型的泛化能力和鲁棒性取得了显著改善，各类ABSA任务的性能也得到了显著提升。对于ASQP任务，将已有工作按其骨干网络不同，可以划分为以PLMs-E（通常是基于Transformer纯编码器架构的PLMs，简称PLMs-E）为骨干网络的模型和以PLMs-ED（通常是基于Transformer编码器-解码器架构的PLMs，简称PLMs-ED）为骨干网络的模型。基于PLMs-E（如BERT及其变体）骨干网络的模型将ASQP分解为多个子任务并联合学习，先通过分类任务或序列标注任务抽取情感元素，再以笛卡尔积等方式对情感元素做关联。基于PLMs-ED（如T5、BART及其变体）骨干网络的模型采用序列到序列（sequence to sequence，简称seq2seq）生成的方式解决ASQP任务，这类模型通常以源句子作为输入序列，通过设计输出的目标序列格式引导模型生成情感四元组。例如将指针索引或分类索引组成的序列作为目标序列、将元组对应的文本直接作为目标序列或将元组映射为自然语言句子后作为目标序列等。
虽然已有工作取得了显著的进展，但仍然存在局限性：基于PLMs-E骨干网络的模型没有显式利用多个情感元素之间的语义相关性，直接采用笛卡尔积等方式关联情感元素，模型效率较低；基于PLMs-ED骨干网络的生成式模型在其神经网络语义表示中存在语义结构性信息不足的问题，即模型不能良好地捕获多个情感元素之间的语义结构信息。简言之，对于ASQP任务，两类模型以PLMs为骨干网络能够获取具有上下文感知的语义表示，但难以捕捉情感元素在语义结构上的语义关系。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的方面情感四元组预测方法的流程图，该方面情感四元组预测方法可以应用于任一终端设备或系统，该方面情感四元组预测方法包括步骤：
步骤S10，获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；
其中，通过对样本语句进行编码，以获取各样本语句中所有具有上下文语义信息的候选跨度表示，得到嵌入表示，例如，包含n个词元的样本语句X=，经过编码后得到包括句子中所有词元的嵌入表示。
步骤S20，根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据所述样本方面类别和所述样本情感极性构建第一完形填空模板；
其中，将“方面类型-情感极性”提取任务视为一个集合预测问题，采用基于Transformer的非自回归解码器预测各样本语句中的存在的(样本方面类别, 样本情感极性)集合，记作。
可选的，该步骤中，所述根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，包括：
将各样本语句和对应的嵌入表示输入所述判别式完形填空模型中的分类模块；
根据所述分类模块中的多头自注意力层和多头交叉注意力层对各嵌入表示进行注意力处理，得到第一注意力输出；
根据所述分类模块中的输出层对所述第一注意力输出进行预测，得到第一概率分布，并将所述第一概率分布最大的方面类别和情感极性，确定为所述样本方面类别和所述样本情感极性；
其中，将第一注意力输出送入前馈神经网络（FFN），预测出各个“样本方面类型-样本情感极性”的概率分布，得到第一概率分布，将最大第一概率分布对应的方面类别和情感极性，确定为样本方面类别和样本情感极性，并添加至集合中。
进一步地，所述根据所述样本方面类别和所述样本情感极性构建第一完形填空模板，包括：
将所述样本方面类别和所述样本情感极性转换为模板格式，并在所述模板格式中添加待填空项；
在添加待填空项后的所述模板格式中，分别在相邻的所述样本方面类别、所述样本情感极性和各待填空项之间添加连接词，得到所述第一完形填空模板；
该步骤中，为中的每个(样本方面类别, 样本情感极性)构建一个第一完形填空模板。第一完形填空模板的构建应遵循以下原则：1.模板中应包括样本方面类别和样本情感极性的信息；2. 第一完形填空模板中应包含两个待填空项（即[MASK]），分别对应方面词空白和观点词空白；3.第一完形填空模板应尽可能描述四个情感元素之间的语义相关性。
步骤S30，根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练；
可选的，该步骤中，所述根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，包括：
将所述第一完形填空模板和各嵌入表示输入所述判别式完形填空模型中的完形填空模块；
根据所述完形填空模块中的多头自注意力层和多头交叉注意力层对所述第一完形填空模板和各嵌入表示进行注意力处理，得到第二注意力输出；
根据所述第二注意力输出确定各待填空项的候选跨度表示，并分别计算各待填空项的候选跨度表示的概率分布，得到第二概率分布；
将所述第二概率分布最大的候选跨度表示中的方面词和观点词，确定为所述样本方面词和所述样本观点词；
其中，完形填空模块的多头自注意力层旨在让第一完形填空模板中[MASK]的嵌入表示学习到已有模板蕴涵的先验知识，即，方面类别和情感极性标签的语义信息以及四个情感元素之间的语义相关性等，多头交叉关注力让输入中每个词元的嵌入表示融合所有候选跨度的信息。
进一步地，所述根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练，包括：
根据所述样本方面类别和所述样本情感极性确定所述分类模块的模型损失值，得到第一损失值；
根据所述样本方面词和所述样本观点词确定所述完形填空模块的模型损失值，得到第二损失值；
根据所述第一损失值和所述第二损失值确定所述判别式完形填空模型的最小化总损失，并根据所述最小化总损失对所述分类模块和所述完形填空模块进行参数更新。
更进一步地，所述根据所述样本方面类别和所述样本情感极性确定所述分类模块的模型损失值，得到第一损失值，采用的公式包括：
；
其中，是所述第一损失值，/>是预设值，/>表示排列策略/>的第/>个位置上预测为/>的第一概率分布，/>为预设标准答案中第/>个(样本方面类别，样本情感极性)，记为/>；
所述根据所述样本方面词和所述样本观点词确定所述完形填空模块的模型损失值，得到第二损失值，采用的公式包括：
；
其中，是所述第二损失值，/>为索引，表示已预测的第/>个(样本方面类别，样本情感极性)，/>是第/>个待填空项对应的所述样本方面词或所述样本观点词，/>是第/>个待填空项填入所有候选跨度的第二概率分布，/>是待填空项的总数量；
所述根据所述第一损失值和所述第二损失值确定所述判别式完形填空模型的最小化总损失采用的公式包括：
；
其中，是所述最小化总损失，/>是预设超参。
步骤S40，将待预测语句输入训练后的所述判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。
本实施例中，通过构建第一完形填空模板的方式让判别式完形填空模型学习到四个方面级情感元素（方面类别、情感极性、方面词和观点词）之间的语义相关性，使得训练后的判别式完形填空模型能有效地进行四元组预测，提高了方面情感四元组预测效率。
实施例二
请参阅图2，是本发明第二实施例提供的方面情感四元组预测方法的流程图，该实施例用于对第一实施例中的步骤S10之后的步骤作进一步细化，包括步骤：
步骤S11，分别构建各样本语句的第二完形填空模板，并将所述第二完形填空模板与对应样本语句进行拼接，得到输入序列；
其中，第二完形填空模板包括多个哨兵词元，哨兵词元用于表征对应的方面级情感元素，该步骤中，采用4个不同的哨兵词元（即<c>、<a>、<o>和<s>）表示4个情感元素，通过第二完形填空模板定义情感元素之间的语义关系；
可选的，第二完形填空模板记为T，其构建应遵循以下原则：
1.模板中应包含方面类别、方面词、观点词和情感极性四个待填空项，模板中元素出现的顺序可调整；
2.模板应尽可能利用四个情感元素之间的语义相关性。例如，构建的模板为：“The<c> such as <a> is <o>, so I feel <s>”，模板中用<c>、<s>、<a>、<o>四个哨兵词元分别对应方面类别、情感极性、方面词和观点词四个待填空白。通过特殊词元<sep>将模板T拼接在样本语句后作为输入序列，记为U。
步骤S21，将所述输入序列输入生成式完形填空模型进行编码，得到隐藏向量表示，并对所述隐藏向量表示进行解码，得到输出序列；
其中，将输入序列输入生成式完形填空模型中的编码器进行编码，得到输出序列，输出序列为完形填空答案，由所有待填空白（即哨兵词元）及其对应答案组成；
该步骤中，句子中可能存在多个四元组，第个四元组/>对应输出序列为“<c>/><a>/><o>/><s>/>”，不同四元组以特殊词元<sep>进行连接作为输出序列，记为Y。其中，单个四元组对应输出序列中哨兵词元的顺序与模板中哨兵词元出现的顺序一致；
输入序列中包含样本语句和第二完形填空模板，/>表示输入序列中的第N个词元，N为输入序列的长度，输出序列/>为对应完形填空答案，/>表示模型输出序列中的第M个词元，M为输出序列的长度，基于生成式完形填空模型完成从输入序列U到输出序列Y的映射。
步骤S31，根据所述输出序列确定生成式损失值，并根据所述生成式损失值对所述生成式完形填空模型进行模型训练；
其中，输出序列的条件概率由生成每一个词元的概率/>逐步相乘，生成式完形填空模型的训练目标是在给定输入序列U下最大化输出序列Y的概率，因此，以负对数似然作为损失函数进行生成式损失值的计算。
步骤S41，将待预测语句输入训练后的所述生成式完形填空模型进行四元组预测，得到方面情感四元组预测结果；
本实施例中，通过构建第二完形填空模板的方式让模型借助人类知识来理解四个情感元素之间的相关性，而模板可以通过实验来优化和迁移，完形填空模板能基于语义相关性提升情感元素填写正确的概率，由于PLMs的预训练任务与完形填空任务相似，将ASQP任务建模为完形填空任务能缩小预训练与微调之间的差距，利用PLMs预训练阶段学到的广博知识，提升模型在下游ASQP任务上的性能，有效地提高了方面情感四元组预测的准确性。
实施例三
请参阅图3，是本发明第三实施例提供的方面情感四元组预测系统100的结构示意图，包括：编码模块10、方面预测模块11、填空预测模块12和四元组预测模块13，其中：
编码模块10，用于获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示。
方面预测模块11，用于根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据所述样本方面类别和所述样本情感极性构建第一完形填空模板。
填空预测模块12，用于根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练。
四元组预测模块13，用于将待预测语句输入训练后的所述判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。
本实施例，通过构建第一完形填空模板的方式让判别式完形填空模型学习到四个方面级情感元素（方面类别、情感极性、方面词和观点词）之间的语义相关性，使得训练后的判别式完形填空模型能有效地进行四元组预测，提高了方面情感四元组预测效率。
实施例四
请参阅图4，是本发明第四实施例提供的判别式完形填空模型（CASQP-E）的结构示意图，包括：基于BERT的跨度级编码模块14、“方面类型-情感极性”分类模块15和“方面词-观点词”完形填空模块16，其中：
给定一个用户评论句子，方面情感四元组预测任务ASQP旨在提取出/>中包含的所有方面情感四元组：/>,/>,...,/>，其中/>，方面类别/>属于预定义类别集/>，即/>；方面词/>和观点词/>是句子/>中的文本跨度，允许为空，即，/>，/>表示句子/>中所有可能的连续文本跨度的集合。情感极性/>属于预定义情感极性标签集合/>=的元素之一，分别对应正面、负面和中性情感。
CASQP-E采用非自回归的方式，同时预测所有给定位置上的词或类别，完成完形填空答案的填写。由于同时预测评论句中多个方面四元组的所有待填空白极具挑战，CASQP-E将ASQP任务分为两个阶段，“方面类型-情感极性”分类阶段和“方面词-观点词”完形填空阶段，前一阶段通过多分类模型识别评论句中所有可能的方面类型及其情感极性；后一阶段根据方面类型和情感极性，构建完形填空模板，为方面词和观点词预留空白（即[MASK]），并在“方面词-观点词”完形填空模块中利用方面类别和情感极性标签的语义信息以及四个情感元素之间的语义相关性来预测相应空白的答案。
判别式完形填空模型的处理流程为：用基于BERT的跨度级编码模块14对输入句子进行编码并得到句子中候选跨度的嵌入表示；在“方面类型-情感极性”分类模块15采用并发方式预测给定句子中所有可能的方面类别及其情感极性(c, s)；在“方面词-观点词”完形填空模块16根据方面类型和情感极性，构建第一完形填空模板，为方面词和观点词预留空白（即[MASK]），并以完形填空的方式预测相应空白上的结果。
基于BERT的跨度级编码模块14：
目的是对输入句子进行编码，并获取句子中所有具有上下文语义信息的候选跨度表示。基于BERT的跨度级编码模块14的输入为包含n个词元的句子X=，经过BERT编码后得到包括句子中所有词元的嵌入表示/>和一个特殊词元[CLS]对应的嵌入表示/>，同时，为了处理隐式方面词或隐式观点词而增加的一个特殊词元[NULL]，对应嵌入表示记为/>，其中d为词元的维度。通过穷举方式得到X中所有可能的跨度，记为/>，v是/>中跨度的总个数，其嵌入表示/>为：
（公式1）
其中，分别表示跨度首、尾词元对应的特征向量，/>表示跨度长度对应的特征向量，分号“;”表示向量的连接操作。与采用序列标注方式提取词的方案相比，跨度级编码能够检测到具有重叠词元的不同跨度，因为基于BERT的跨度级编码模块14中每个跨度的表示与其他跨度的表示是相互独立的。
基于BERT的跨度级编码模块14的输出是所有候选跨度的表示=，其中/>为该句中候选跨度的数量，通过前馈神经网络（Feed-forwardneural network，FFN）映射使候选跨度嵌入表示的维度与词元嵌入维度一样，均为/>。
经过两个独立的前馈神经网络（FFN）作如公式2处理：
（公式2）
其中是可训练的权重，/>为可训练的偏置项。/>将分别被输入到“方面类型-情感极性”分类模块15和“方面词-观点词”完形填空模块16中。
“方面类型-情感极性”分类模块15：
将“方面类型-情感极性”提取任务视为一个集合预测问题，采用基于Transformer的非自回归解码器预测句子X中的存在的集合，记作/>，则/>，。与Transformer解码器结构类似，“方面类型-情感极性”分类模块15中堆叠了/>个相同的解码块。每个解码块包括一个多头自注意力层、一个多头交叉注意力和一个输出层。
1.多头自注意力层：
“多头自注意力层”用来考虑句子中所有之间的相关性，输入是/>个可学习的随机初始化向量，对应/>个/>初始嵌入表示，记为/>，其中/>一般设定为略大于所有句子中可能存在的/>数量的最大值。
采用缩放点积注意力来计算注意力，如公式3所示：
（公式3）
多头缩放点积注意力计算如公式4所示：
（公式4）
多头自注意力层输入的均为/>。其中/>，/>，/>，，/>表示并发注意力层的数量，简称头数。将“多头自注意力层”的输出记为/>，Concat表示向量拼接操作，head为多头注意力网络中的“头”。
2.多头交叉注意力层：
“多头交叉注意力层”中注意力计算方式与公式4一致，区别是输入的不同：/>，/>，旨在让/>个/>的嵌入表示/>与候选跨度表示交互。
将“多头交叉注意力层”的输出记为。
3.输出层：
将送入前馈神经网络（FFN），由/>中第/>个嵌入表示/>预测出各个“方面类型-情感极性”的概率分布为：
(公式5)/>
其中，，/>为可学习的参数，维度/>为中所有元素的数量。
对于输出层得到的每个概率分布，/>，选择其中概率最高的“方面类型-情感极性”，如果其不为空类别/>，则将其加入到句子X的“方面类别-情感极性”集合中。
4.损失函数：
“方面类别-情感极性”分类模块15旨在并发预测出输入句子中包含的集合，并不关心集合中元素的排列顺序。“方面类别-情感极性”分类模块15采用了对顺序不敏感的二部图匹配损失计算方式，如果标准答案（ground truth）中元素个数小于/>，则通过增加/>元素将集合中元素补齐到/>个。如果找到标准答案和预测结果之间的最佳匹配，则等价于找到具有最小损失的排列策略/>：
(公式6)
其中，为预测的/>集合中元素的排序策略空间，该策略空间包含全部元素所有可能的排列顺序，即每一种排列顺序/>为一个排列策略。/>表示标准答案中第/>个/>，记为/>。/>是一个指示函数，当/>时，/>，否则。/>表示排列策略/>的第/>个位置上预测为/>的概率。通过经典的匈牙利算法，最优排列策略/>可以在多项式/>时间内计算出来。确定了最优排列策略/>后，“方面类别-情感极性”分类模块15对应的第一损失值为/>:
(公式7)
“方面词-观点词”完形填空模块16：
1.完形填空模板构建：
为中的每个/>构建一个完形填空模板。模板的构建应遵循以下原则：1.模板中应包括方面类别c和情感极性s的信息，对应的/>信息在“方面类别-情感极性”分类模块15已获取；2.模板中应包含两个待填空项（即[MASK]），分别对应方面词空白和观点词空白；3.模板应尽可能描述四个情感元素之间的语义相关性。
为了简化模板构建工作，将所有(c, s)转化为统一的模板格式“The c such as[MASK] is [MASK], so I feel s”。 “方面类别-情感极性”分类模块15预测的集合为：
其中，表示方面类别“食物质量”，negative表示“负面”情感极性，是情感极性集合中的一个，/>对应的模板为：“The ambiencesuch as [MASK] is [MASK], so I feel positive”。模板中包含了方面类型“ambience”和情感极性“positive”信息，并通过“such as”、“is”、“so”等连接词描述了四个情感元素之间的语义相关性，其中2个[MASK]分别表示方面词和观点词对应的待填空白。该句子中对应(ambience, positive)有2个(a, o)，分别为：(waterfront setting, classy)、(waterfront setting, picturesque)，因此，一个/>可能对应多个/>。为了将相同/>对应的多个/>一次性并发提取出来，我们首先将模板复制/>次并以BERT中特殊词元[SEP]进行拼接得到/>，将/>作为“方面词-观点词”完形填空模块16的输入，“方面词-观点词”完形填空模块16以非自回归的方式一次性对/>中的/>个空白（即[MASK]）进行填空，其中/>设置为略大于一个“方面词-观点词”对应的情感四元组的典型数量。编码模块中词元级BERT的词库可找到/>中每个词元的向量表示，/>的初始嵌入表示记为。
“方面词-观点词”完形填空模块16堆叠了个相同的解码块。与“方面类型-情感极性”分类模块15类似，每个解码块包括一个多头自注意力层、一个多头交叉注意力层和一个输出层。
2.多头自注意力层：
“方面词-观点词”完形填空模块16的多头自注意力层旨在让模板中[MASK]的嵌入表示学习到已有模板蕴涵的先验知识，即：方面类别和情感极性标签的语义信息以及四个情感元素之间的语义相关性等。
多头自注意力层的输入为的初始嵌入表示/>，通过公式4得到该层的输出，记为/>。
3.多头交叉注意力层：
多头交叉关注力让输入中每个词元的嵌入表示融合所有候选跨度的信息，候选跨度嵌入表示为，即完形填空任务所有可能的候选答案个数为/>。通过公式4得到该层输出，记为。将/>中包含的/>个待填空白词元[MASK]的嵌入表示记为/>。/>
4.输出层：
“方面词-观点词”完形填空模块16的目标是为中/>个[MASK]空白分别找到正确候选跨度（即每个空对应的答案）。
首先，基于公式8得到第个空白[MASK]的所有候选跨度（即候选答案）表示：
(公式8)
其中，为初始候选跨度表示；/>是/>中第/>个向量，表示/>中第个空白[MASK]在经过“多头交叉注意力层”后的嵌入表示；/>是可训练的权重，/>为可训练的偏置项。
第个空白处填入所有候选跨度的概率分布/>：
(公式9)
其中为可学习的参数。选择/>中概率最高的候选跨度作为相应的情感元素。如果概率最高的为特殊词元[NULL]，则表明对应方面词或观点词为隐式的，即填入“NULL”；如果概率最高的为特殊词元[CLS]，则表明该空白处无有效答案，即对应包含该词的(a, o)为无效词对，对应的四元组为无效四元组。
最后，直接采用交叉熵损失作为（a, o）提取的第二损失值：
(公式10)
其中是第/>个空白[MASK]对应的情感元素，即标注的方面词或观点词。
联合训练：
为了减小误差传播，采用多任务方式将这两个任务联合训练并共享编码层的参数。联合训练总损失（最小化总损失）为两个任务模块的损失之和，记为：
（公式11）
其中是调整两个任务权重的超参。在训练阶段，模型学习如何最小化总损失/>以及联合优化参数。
本实施例中，将ASQP建模为完形填空任务，通过人工设计的完形填空模板，反映四个情感元素之间语义相关性。例如“The ___ such as ___ is ___ , so I feel ___”，该模板需要依次填入方面类别(c)、方面词(a)、观点词(o)和情感极性(s)这四个情感元素，模板蕴涵以下知识：“such as”反映了方面词和方面类别的从属关系；观点词是对方面目标（包括方面类别和方面词）的情感表达，描述应符合人类客观认知，例如观点词“picturesque”不应该用来修饰方面类别“food quality”；“so”表明填空后的模板在语义上应该保持情感一致性，即如果情感极性为“positive”，则观点词对方面目标的描述也应该是“正面的”。将该模板作为先验知识输入模型，模型通过模板获取情感元素之间的语义关系，然后通过完成完形填空任务的方式来预测方面情感四元组。本实施例将情感四元组抽取建模为完形填空任务具有以下优势：通过构建完形填空模板的方式让模型借助人类知识来理解四个情感元素之间的相关性，而模板可以通过实验来优化和迁移；完形填空模板能基于语义相关性提升情感元素填写正确的概率；由于PLMs的预训练任务与完形填空任务相似，将ASQP任务建模为完形填空任务能缩小预训练与微调之间的差距，利用PLMs预训练阶段学到的广博知识，提升模型在下游ASQP任务上的性能。
实施例五
请参阅图5，是本发明第五实施例提供的生成式完形填空模型（CASQP-ED）的结构示意图，包括：编码器17、解码器18和损失函数模块19，其中：
CASQP-ED采用4个不同的哨兵词元（即<c>、<a>、<o>和<s>）表示4个情感元素，通过完形填空模板定义情感元素之间的语义关系，将完形填空模板和评论句同时输入PLMs-ED骨干网络。由于CASQP-ED采用自回归方式生成完形填空的答案，生成每个情感元素时能看到已生成的其它情感元素，从而自然完成同一四元组中四个情感元素的组合以及多个四元组的生成任务。
生成式完形填空模型，基于PLMs-ED骨干网络设计针对ASQP的完形填空任务，在输入序列中增加含有四个待填空白（对应四个情感元素）的第二完形填空模板作为提示，通过模板反映四个情感元素之间的语义相关性，通过具有编码器17-解码器18架构的生成式模型以自回归的方式生成评论句中多个方面四元组。
完形填空任务建模：
与已有生成式ASQP模型仅对输出序列进行设计不同，CASQP-ED模型将ASQP建模为完形填空任务时，需要同时对输入序列和输出序列进行设计。输入序列包括源句子和完形填空的题目（即第二完形填空模板），输出序列为完形填空答案，由所有待填空白（即哨兵词元）及其对应答案组成。
模板构建：
第二完形填空模板记为T，其构建应遵循以下原则：
1.模板中应包含方面类别、方面词、观点词和情感极性四个待填空项，模板中元素出现的顺序可调整；
2.模板应尽可能利用四个情感元素之间的语义相关性。例如，构建的模板为：“The<c> such as <a> is <o>, so I feel <s>”，模板中用<c>、<s>、<a>、<o>四个哨兵词元分别对应方面类别、情感极性、方面词和观点词四个待填空白。通过特殊词元<sep>将模板T拼接在源句子X后作为输入序列，记为U。
输出序列：
句子中可能存在多个四元组，第个四元组/>对应输出序列为“<c>/><a>/><o>/><s>/>”，不同四元组以特殊词元<sep>进行连接作为输出序列，记为Y。其中，单个四元组对应输出序列中哨兵词元的顺序与模板中哨兵词元出现的顺序一致。
模型训练：
（1）编码器17
输入序列中包含源句子信息和完形填空模板，输出序列为对应完形填空答案，基于生成式完形填空模型完成从输入序列U到输出序列Y的映射。生成式模型采用一个具有Transformer编码器-解码器架构的seq2seq模型，本实施例在具体实验中采用了预训练语言模型T5-base。
对输入序列编码后的隐藏向量表示为：
(公式12)
其中，Encoder为编码器17，编码器17的每一层是一个具有多头注意力机制的Transformer块。
（2）解码器18
解码器根据依次逐个生成序列Y中的词元，预测的第/>个词元/>以及对应解码器状态/>为:
(公式13)
其中，Decoder为解码器18，解码器18每一层都是一个Transformer块，包括自注意力层和交叉注意力层。
（3）损失函数模块19
整个输出序列的条件概率由生成每一个词元的概率/>逐步相乘：
(公式14)
其中，/>是softmax归一化后在目标词汇表上的概率分布。
模型的训练目标是在给定输入序列U下最大化输出输出序列Y的概率。因此，以负对数似然作为损失函数：
(公式15)
其中为模型参数，/>为数据集/>中（输入序列，输出序列）对，为：
(公式16)/>
解码时，采用贪心策略在每个时间步中选择词汇集上概率最大的词元，得到生成的输出序列，再通过格式解析得到预测的情感四元组。即，先通过预定义的特殊分隔标记<sep>进行四元组分割，再通过哨兵词元<c>、<a>、<o>、<s>分别提取对应的c，a，o和s，得到四元组(c, a, o, s)。如果出现解码失败的情况，例如生成的序列不满足预定的格式，则认为预测的结果无效。
本实施例，通过构建完形填空模板的方式让模型借助人类知识来理解四个情感元素之间的相关性，而模板可以通过实验来优化和迁移，完形填空模板能基于语义相关性提升情感元素填写正确的概率，由于PLMs的预训练任务与完形填空任务相似，将ASQP任务建模为完形填空任务能缩小预训练与微调之间的差距，利用PLMs预训练阶段学到的广博知识，提升模型在下游ASQP任务上的性能，有效地提高了方面情感四元组预测的准确性。
实施例六
图6是本申请第六实施例提供的一种终端设备2的结构框图。如图6所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如方面情感四元组预测方法的程序。处理器20执行所述计算机程序22时实现上述各个方面情感四元组预测方法各实施例中的步骤。
示例性的，所述计算机程序22可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括，但不仅限于，处理器20、存储器21。
所称处理器20可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (4)

1.一种方面情感四元组预测方法，其特征在于，所述方法包括：
获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；
根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据所述样本方面类别和所述样本情感极性构建第一完形填空模板；
根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练；
将待预测语句输入训练后的所述判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果；
所述根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，包括：
将各样本语句和对应的嵌入表示输入所述判别式完形填空模型中的分类模块；
根据所述分类模块中的多头自注意力层和多头交叉注意力层对各嵌入表示进行注意力处理，得到第一注意力输出；
根据所述分类模块中的输出层对所述第一注意力输出进行预测，得到第一概率分布，并将所述第一概率分布最大的方面类别和情感极性，确定为所述样本方面类别和所述样本情感极性；
所述根据所述样本方面类别和所述样本情感极性构建第一完形填空模板，包括：
将所述样本方面类别和所述样本情感极性转换为模板格式，并在所述模板格式中添加待填空项；
在添加待填空项后的所述模板格式中，分别在相邻的所述样本方面类别、所述样本情感极性和各待填空项之间添加连接词，得到所述第一完形填空模板；
所述根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，包括：
将所述第一完形填空模板和各嵌入表示输入所述判别式完形填空模型中的完形填空模块；
根据所述完形填空模块中的多头自注意力层和多头交叉注意力层对所述第一完形填空模板和各嵌入表示进行注意力处理，得到第二注意力输出；
根据所述第二注意力输出确定各待填空项的候选跨度表示，并分别计算各待填空项的候选跨度表示的概率分布，得到第二概率分布；
将所述第二概率分布最大的候选跨度表示中的方面词和观点词，确定为所述样本方面词和所述样本观点词。
2.如权利要求1所述的方面情感四元组预测方法，其特征在于，所述根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练，包括：
根据所述样本方面类别和所述样本情感极性确定所述分类模块的模型损失值，得到第一损失值；
根据所述样本方面词和所述样本观点词确定所述完形填空模块的模型损失值，得到第二损失值；
根据所述第一损失值和所述第二损失值确定所述判别式完形填空模型的最小化总损失，并根据所述最小化总损失对所述分类模块和所述完形填空模块进行参数更新。
3.如权利要求2所述的方面情感四元组预测方法，其特征在于，所述根据所述样本方面类别和所述样本情感极性确定所述分类模块的模型损失值，得到第一损失值，采用的公式包括：
；
其中，是所述第一损失值，/>是预设值，/>表示排列策略/>的第/>个位置上预测为/>的第一概率分布，/>为预设标准答案中第/>个(样本方面类别，样本情感极性)，记为/>；
所述根据所述样本方面词和所述样本观点词确定所述完形填空模块的模型损失值，得到第二损失值，采用的公式包括：
；
其中，是所述第二损失值，/>为索引，表示已预测的第/>个(样本方面类别，样本情感极性)，/>是第/>个待填空项对应的所述样本方面词或所述样本观点词，/>是第/>个待填空项填入所有候选跨度的第二概率分布，/>是待填空项的总数量；
所述根据所述第一损失值和所述第二损失值确定所述判别式完形填空模型的最小化总损失采用的公式包括：
；
其中，是所述最小化总损失，/>是预设超参。
4.一种方面情感四元组预测系统，其特征在于，所述系统应用如上述权利要求1至3任一项所述的方面情感四元组预测方法，所述系统包括：
编码模块，用于获取样本语句，并将各样本语句输入判别式完形填空模型进行编码，得到嵌入表示；
方面预测模块，用于根据所述判别式完形填空模型对各嵌入表示进行方面预测，得到样本方面类别和样本情感极性，并根据所述样本方面类别和所述样本情感极性构建第一完形填空模板；
填空预测模块，用于根据所述第一完形填空模板进行填空预测，得到样本方面词和样本观点词，并根据所述样本方面类别、所述样本情感极性、所述样本方面词和所述样本观点词对所述判别式完形填空模型进行模型训练；
四元组预测模块，用于将待预测语句输入训练后的所述判别式完形填空模型进行四元组预测，得到方面情感四元组预测结果。
CN202310838807.1A 2023-07-10 2023-07-10 方面情感四元组预测方法与系统 Active CN116562305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310838807.1A CN116562305B (zh) 2023-07-10 2023-07-10 方面情感四元组预测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310838807.1A CN116562305B (zh) 2023-07-10 2023-07-10 方面情感四元组预测方法与系统

Publications (2)

Publication Number Publication Date
CN116562305A CN116562305A (zh) 2023-08-08
CN116562305B true CN116562305B (zh) 2023-09-12

Family

ID=87488382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310838807.1A Active CN116562305B (zh) 2023-07-10 2023-07-10 方面情感四元组预测方法与系统

Country Status (1)

Country Link
CN (1) CN116562305B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008477A (zh) * 2019-04-15 2019-07-12 江西财经大学 一种中文情感评价单元抽取方法
CN112069320A (zh) * 2020-09-10 2020-12-11 东北大学秦皇岛分校 一种基于跨度的细粒度情感分析方法
CN113743099A (zh) * 2021-08-18 2021-12-03 重庆大学 基于自注意力机制方面术语提取系统、方法、介质、终端
CN114357155A (zh) * 2021-11-29 2022-04-15 山东师范大学 面向自然语言的方面情感分析方法及系统
CN114548099A (zh) * 2022-02-25 2022-05-27 桂林电子科技大学 基于多任务框架的方面词和方面类别联合抽取和检测方法
CN114676695A (zh) * 2022-05-30 2022-06-28 华南师范大学 基于情感分析的文本语句处理方法、装置以及设备
CN114764564A (zh) * 2022-04-25 2022-07-19 西安电子科技大学 基于融合语言学知识的方面级情感极性分类方法
CN115080688A (zh) * 2022-06-13 2022-09-20 华南理工大学 一种少样本跨领域情感分析方法及装置
CN115098675A (zh) * 2022-06-20 2022-09-23 重庆科技学院 一种基于多类别表格填充的情感三元组生成方法
CN115374789A (zh) * 2022-03-04 2022-11-22 重庆邮电大学 基于预训练模型bert的多粒度融合方面级情感分析方法
CN116150367A (zh) * 2023-01-16 2023-05-23 西安交通大学 一种基于方面的情感分析方法及系统
CN116308685A (zh) * 2023-05-18 2023-06-23 湖南工商大学 一种基于方面情感预测和协同过滤的产品推荐方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483730B2 (en) * 2012-12-07 2016-11-01 At&T Intellectual Property I, L.P. Hybrid review synthesis
US9690772B2 (en) * 2014-12-15 2017-06-27 Xerox Corporation Category and term polarity mutual annotation for aspect-based sentiment analysis
US10839154B2 (en) * 2017-05-10 2020-11-17 Oracle International Corporation Enabling chatbots by detecting and supporting affective argumentation
US10628528B2 (en) * 2017-06-29 2020-04-21 Robert Bosch Gmbh System and method for domain-independent aspect level sentiment detection
CN110210024B (zh) * 2019-05-28 2024-04-02 腾讯科技（深圳）有限公司 一种信息处理方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008477A (zh) * 2019-04-15 2019-07-12 江西财经大学 一种中文情感评价单元抽取方法
CN112069320A (zh) * 2020-09-10 2020-12-11 东北大学秦皇岛分校 一种基于跨度的细粒度情感分析方法
CN113743099A (zh) * 2021-08-18 2021-12-03 重庆大学 基于自注意力机制方面术语提取系统、方法、介质、终端
CN114357155A (zh) * 2021-11-29 2022-04-15 山东师范大学 面向自然语言的方面情感分析方法及系统
CN114548099A (zh) * 2022-02-25 2022-05-27 桂林电子科技大学 基于多任务框架的方面词和方面类别联合抽取和检测方法
CN115374789A (zh) * 2022-03-04 2022-11-22 重庆邮电大学 基于预训练模型bert的多粒度融合方面级情感分析方法
CN114764564A (zh) * 2022-04-25 2022-07-19 西安电子科技大学 基于融合语言学知识的方面级情感极性分类方法
CN114676695A (zh) * 2022-05-30 2022-06-28 华南师范大学 基于情感分析的文本语句处理方法、装置以及设备
CN115080688A (zh) * 2022-06-13 2022-09-20 华南理工大学 一种少样本跨领域情感分析方法及装置
CN115098675A (zh) * 2022-06-20 2022-09-23 重庆科技学院 一种基于多类别表格填充的情感三元组生成方法
CN116150367A (zh) * 2023-01-16 2023-05-23 西安交通大学 一种基于方面的情感分析方法及系统
CN116308685A (zh) * 2023-05-18 2023-06-23 湖南工商大学 一种基于方面情感预测和协同过滤的产品推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向文本的方面级情感分类研究及系统实现;李佳洲 等;《CNKI学位》;第2023年卷(第1期);全文 *

Also Published As

Publication number Publication date
CN116562305A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
JP7400007B2 (ja) 複数の言語タスク階層を通じてデータを処理するための深層ニューラルネットワークモデル
CN112214995B (zh) 用于同义词预测的分层多任务术语嵌入学习
CN109033068B (zh) 基于注意力机制的用于阅读理解的方法、装置和电子设备
US11741109B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
CN113420807A (zh) 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
JP7290861B2 (ja) 質問応答システムのための回答分類器及び表現ジェネレータ、並びに表現ジェネレータを訓練するためのコンピュータプログラム
Pramanik et al. Text normalization using memory augmented neural networks
Onan SRL-ACO: A text augmentation framework based on semantic role labeling and ant colony optimization
CN112395876B (zh) 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
CN116304748B (zh) 一种文本相似度计算方法、系统、设备及介质
CN115221846A (zh) 一种数据处理方法及相关设备
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
Cao et al. Relmkg: reasoning with pre-trained language models and knowledge graphs for complex question answering
CN115563314A (zh) 多源信息融合增强的知识图谱表示学习方法
Su et al. A tree-like structured perceptron for transition-based biomedical event extraction
CN116562305B (zh) 方面情感四元组预测方法与系统
CN115510230A (zh) 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法
CN115759262A (zh) 基于知识感知注意力网络的视觉常识推理方法及系统
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法
CN115291888A (zh) 基于自注意力交互式网络的软件社区仓库挖掘方法及装置
CN114510569A (zh) 基于ChineseBERT模型和注意力机制的化工突发事件新闻分类方法
Rodrigues et al. Sentence similarity recognition in Portuguese from multiple embedding models
CN117591666B (zh) 针对桥梁管养文档的摘要抽取方法
Shafiq et al. Enhancing Arabic Aspect-Based Sentiment Analysis Using End-to-End Model
CN116882398B (zh) 基于短语交互的隐式篇章关系识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant