CN116028630A - 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统 - Google Patents

基于对比学习和Adapter网络的隐式篇章关系识别方法及系统 Download PDF

Info

Publication number
CN116028630A
CN116028630A CN202310319736.4A CN202310319736A CN116028630A CN 116028630 A CN116028630 A CN 116028630A CN 202310319736 A CN202310319736 A CN 202310319736A CN 116028630 A CN116028630 A CN 116028630A
Authority
CN
China
Prior art keywords
layer
chapter
implicit
classification
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310319736.4A
Other languages
English (en)
Other versions
CN116028630B (zh
Inventor
邬昌兴
熊锦晖
姚浩
谢子若
李雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202310319736.4A priority Critical patent/CN116028630B/zh
Publication of CN116028630A publication Critical patent/CN116028630A/zh
Application granted granted Critical
Publication of CN116028630B publication Critical patent/CN116028630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Machine Translation (AREA)

Abstract

本发明提出一种基于对比学习和Adapter网络的隐式篇章关系识别方法及系统，该方法包括获取自然标注的显式篇章关系实例，基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型，基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型，基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。本发明解决了现有预训练阶段没有充分有效地利用自然标注的显式篇章关系数据以及基于少量人工标注的数据进行精调时容易造成已有知识的灾难性遗忘的问题。

Description

基于对比学习和Adapter网络的隐式篇章关系识别方法及 系统
技术领域
本发明属于自然语言处理技术领域，尤其涉及一种基于对比学习和Adapter网络的隐式篇章关系识别方法及系统。
背景技术
随着传统以字、词、短语、句子级别研究的分析方法已经远远不能满足自然语言理解和生成的需要，越来越多的研究者把研究重点从句子级别转向篇章层级。篇章有时也称语篇或话语，通常指由一系列连续的子句、句子或句群构成的，有意义、传达一个完整信息、前后衔接、语义连贯的语言整体单位。篇章之所以受到关注的原因主要在于以下几点：（1）与句法分析以词为最基本的分析单位不同，篇章分析中以基本篇章单元为基本单元，基本篇章单元切分块通常与人类的语言理解一致；（2）基本篇章单元之间的关系包含了相应的基本篇章单元在整个篇章中的语义功能信息；（3）篇章的结构也表示了整个段落或者句子的组织方式，在一个篇章中，各子句之间并不是杂乱无章的堆放在一起，而是具有一定的层次结构和语义关系，只有分析出其中的层次结构及语义关系，才能对篇章进行深入的分析和理解。其中篇章分析是自然语言处理的一个核心问题，也是近几年的一个研究热点和难点。篇章分析在自动文摘、问答系统、指代消解和篇章连贯性评价等方面都有所应用，而篇章关系识别又是篇章分析的重要环节。
篇章关系是指同一篇章内部，相邻片段或跨度在一定范围内的两个片段之间的语义连接关系，如条件关系、转折关系、因果关系等。根据篇章片段内部是否有连接词（例如“如果”、“虽然”及“但是”等），篇章关系可分为显式篇章关系和隐式篇章关系这两种类型。由于显式篇章关系的两个篇章单元（子句或句子，也常称为论元）之间存在连接词，所以绝大多数情况下仅根据连接词本身就可以比较准确地识别出其篇章关系。但是在隐式篇章关系的篇章片段内部，由于没有连接词，所以没有明显的词汇信息帮助我们识别其篇章关系。因而，隐式篇章关系识别是自然语言处理中最具挑战性的任务之一，也是篇章结构分析的性能瓶颈所在。该任务的目的是在缺少篇章连接词信息的情况下，自动推断两个篇章单元之间的语义逻辑关系（例如，因果关系）。目前，隐式篇章关系识别的准确率还比较低，尚有较大的提升空间。例如，在英文宾州篇章树库PDTB的第一级篇章关系上的识别准确率在70%左右，更细粒度篇章关系上的识别准确率则更低，在中文篇章树库上的识别准确率也不理想。而根据在中文篇章树库语料（Chinese Discourse TreeBank，CDTB）中的统计，超过70％的篇章关系被标记为隐式篇章关系。所以，准确的识别隐式篇章关系对篇章分析至关重要。
目前，基于深度学习的隐式篇章关系识别方法取得了比基于人工定义特征的方法更好的效果，成为当前研究的热点之一。从模型的角度可大致分为以下两类：1）基于论元编码的方法：首先利用神经网络分别学习两个论元的语义向量表示，然后推导论元之间的语义关系。2）基于论元交互的方法：首先使用双向注意力机制等神经网络建模论元中的词对或短语之间的局部语义关系，然后推导论元间的语义关系。基于论元编码的方法的缺点是没有显式地建模论元中词或短语之间的语义关系，导致性能普遍低于基于论元交互的方法。人工标注训练数据的不足常导致基于深度学习的隐式篇章关系识别模型出现过拟合的问题。
因此，引入显式篇章数据的半监督方法近年来吸引了大量研究人员的关注，其尝试集成大量自然标注的显式篇章关系数据，以缓解训练数据不足的问题，从而进一步提高识别的性能。一方面，不管是基于论元编码的方法还是基于论元交互的方法都面临数据稀疏的问题。另一方面，显式篇章关系实例可认为是由连接词自然标注的数据，例如，“因为”表示因果关系。大量自然标注的显式篇章关系数据可潜在地用于扩充隐式篇章关系识别的训练数据。
目前，主流的引入显式篇章数据的半监督方法通常包括以下两个阶段：1）预训练阶段：使用大量自然标注的显式篇章关系数据进一步预训练BERT模型；2）精调阶段：基于少量人工标注的隐式篇章关系数据，对上一阶段得到的模型进行精调。然而现有方法主要存在以下的缺点：1）预训练阶段没有充分有效地利用自然标注的显式篇章关系数据；2）基于少量人工标注的数据进行精调时，容易造成预训练模型中已有知识的灾难性遗忘。
发明内容
本发明实施例的目的在于提供一种基于对比学习和Adapter网络的隐式篇章关系识别方法及系统，旨在解决现有的问题。
本发明实施例是这样实现的，一种基于对比学习和Adapter网络的隐式篇章关系识别方法，所述方法包括如下步骤：
步骤一、获取自然标注的显式篇章关系实例：
基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；
步骤二、基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型：
所述连接词分类模型包括编码层、池化层和第一分类层；
通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；
根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；
根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；
步骤三、基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型：
所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；
根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；
步骤四、基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。
本发明另一实施例的目的还在于提供一种基于对比学习和Adapter网络的隐式篇章关系识别系统，所述系统执行如上述所述的方法，所述系统包括：
显式篇章关系实例获取模块，用于获取自然标注的显式篇章关系实例，基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；
连接词分类模型训练模块，用于基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型，所述连接词分类模型包括编码层、池化层和第一分类层；
通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；
根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；
根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；
隐式篇章关系识别模型调整模块，用于基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型，所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；
根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；
隐式篇章关系识别模块，用于基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。
本发明实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别方法，通过基于模板的抽取方法可以充分有效的收集到大量自然标注的显式篇章关系实例以提供给连接词分类模型进行训练，而通过构造显式篇章关系实例的正例和负例，然后基于分类代价和对比学习代价联合训练连接词分类模型，使得可以充分有效地利用上述所抽取的大量自然标注的显式篇章关系实例，用于作为隐式篇章关系识别的预训练模型，同时基于分类代价和对比学习代价联合训练连接词分类模型使得对于语义接近的连接词的辨识能力更强，而通过Adapter网络的设置可以实现固定编码层中的大量参数，而仅精调Adapter网络和第二分类层中的少量参数，从而能有效地避免已有知识灾难性遗忘的问题，使得能在减少对人工标注数据的依赖的同时，实质性地提高隐式篇章关系识别的性能，解决了现有预训练阶段没有充分有效地利用自然标注的显式篇章关系数据以及基于少量人工标注的数据进行精调时容易造成已有知识的灾难性遗忘的问题。
附图说明
图1是本发明实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别方法的流程图；
图2是本发明实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别方法中连接词分类模型的结构示意图；
图3是本发明实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别方法中隐式篇章关系识别模型的结构示意图；
图4是本发明实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，是本发明第一实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别方法的流程示意图，为了便于说明，仅示出了与本发明实施例相关的部分，该方法包括：
步骤S10，获取自然标注的显式篇章关系实例：
基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；
其中由于显式篇章关系的两个篇章单元之间存在连接词，所以绝大多数情况下依据显式篇章关系实例中的连接词可以直接推断出两个篇章单元之间的篇章关系，例如，连接词“因为”体现的是因果关系。因此，显式篇章关系实例可以看作是由连接词所自然标注的语料。
在本发明的一个实施例中，从自然文本中自动获取显式篇章关系实例，首先要识别连接词（记为conn），然后再抽取与该连接词相关的两个篇章单元（分别记为arg1和arg2）。其中连接词的识别比较容易，现有中、英文等语言连接词识别工具能达到90%以上的准确率。一方面，现有工具对高频连接词的识别更准确；另一方面，虽然多数语言中都有上百个连接词，但出现频率较高的前若干个（约30个）连接词就足以覆盖几乎所有的篇章关系。因此，本发明实施例中仅自动获取与应用频率较高的前n个连接词（也即预设的连接词）相关的显式篇章关系实例，以减少错误识别连接词所导致的噪声数据。其中根据语言的不同，n的取值也可不同，具体根据实际应用时的使用需求相应的设置各个连接词，在此不做具体限定。
进一步的，在识别出所给定的连接词后，其中两个篇章单元可能在连接词的同侧，也可能在不同侧；每个篇章单元可能包含一个子句或多个子句。因此，目前篇章单元抽取的准确率还不理想，可能出现因抽取错误而导致的噪声数据。此时在本发明实施例中，采用一种基于模板的抽取方法获取显式篇章关系实例，这种方法抽取简单同时还可尽可能地减少噪声问题。
具体地，自定义一些如“篇章单元1，连接词 篇章单元2 。”或“篇章单元1 连接词篇章单元2 。”等之类的模板，然后基于自定义的模板进行抽取。其中基于模板的抽取方法虽然会漏掉一些显式篇章关系实例，但可以有效地减少因篇章单元抽取错误而导致的噪声问题。此时利用海量的自然文本，并使用上述所述的自动抽取方法，使得可以较容易地收集到大量（千万级）自然标注的显式篇章关系实例，使得可以充分有效的提供大量自然标注的显式篇章关系实例给连接词分类模型进行训练。
步骤S20，基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型：
所述连接词分类模型包括编码层、池化层和第一分类层；
通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；
根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；
根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练。
其中，本发明实施例中，参照图2所示，连接词分类模型包括编码层、池化层和第一分类层，该连接词分类模型采用分类代价和对比学习代价联合进行训练。
其中，在步骤S10中获取到大量自然标注的显式篇章关系实例后，对于上述所给定的任意一个显式篇章关系实例
Figure SMS_3
及其连接词（conn），分别构建所对应的正例
Figure SMS_5
和负例
Figure SMS_8
。其中正例的构建比较简单，可以直接选取与给定显式篇章关系实例
Figure SMS_2
属于同一个类别（即相同的连接词）的其他显式篇章关系实例即可。例如，如果两个显式篇章关系实例中的连接词都是“因为”，则它们可以相互为对方的正例。而负例的构建则可以分为两种情况：可以选取与给定显式篇章关系实例
Figure SMS_7
不属于同一类别（即不同连接词）的其他显式篇章关系实例作为一般负例；也可以设计一些更难区分的显式篇章关系实例，比如连接词含义相近的显式篇章关系实例，用以作为高质量的负例。此时把所给定的任意一个显式篇章关系实例
Figure SMS_10
、其正例
Figure SMS_12
和负例
Figure SMS_1
、以及显式篇章关系实例
Figure SMS_6
的真实类别
Figure SMS_9
组合成一个训练实例，记作
Figure SMS_11
，而上述所有训练实例一同组合为显式篇章关系数据集
Figure SMS_4
。
进一步的，如图2所示，在连接词分类模型的编码层中，对于上述给定的显式篇章关系实例
Figure SMS_13
、以及所构建的正例
Figure SMS_14
和负例
Figure SMS_15
，该编码层分别计算所对应的语义矩阵表示。其中编码层包括12个堆叠的Transformer层，每层的维度为768，其网络结构与常用的BERT模型完全一致。
其中BERT模型（Bidirectional Encoder Representations from Transformer）是一个基于大规模语料训练的语言模型，可以有效地学习文本中语法信息和语义信息的向量表示，也即文本的语义表示，然后将文本的语义表示在特定的NLP（Natural LanguageProcessing，自然语言处理）任务中作微调，最终应用于NLP任务。其中在基于深度神经网络的NLP方法中，文本中的字/词通常都用向量来表示（一般称之为“词向量”）；在此基础上，神经网络会将文本中各个字或词的词向量作为输入，经过一系列复杂的转换后，输出一个词向量作为文本的语义表示。特别地，通常希望语义相近的字/词在特征向量空间上的距离也比较接近，如此一来，由字/词向量转换而来的文本向量也能够包含更为准确的语义信息。因此，BERT模型的输入是文本中各个字/词，输出是文本中各个字/词融合了上下文语义信息后的向量表示。其中BERT模型在众多自然语言处理任务上取得了非常好的效果，这里使用预训练好的BERT模型中的参数初始化该编码层。其中Transformer层的核心运算是多头注意力机制，是自然语言处理和计算机视觉中常用的神经网络模块之一，其计算过程这里不再累述。
具体的，上述通过编码层对所给定输入的显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示的公式表达式为：
Figure SMS_16
；
Figure SMS_17
；
Figure SMS_18
；
其中，
Figure SMS_21
为
Figure SMS_24
的语义矩阵表示，
Figure SMS_27
为
Figure SMS_20
的语义矩阵表示，
Figure SMS_22
为
Figure SMS_25
的语义矩阵表示，
Figure SMS_28
为显式篇章关系实例，
Figure SMS_19
为显式篇章关系实例的正例，
Figure SMS_23
为显式篇章关系实例的负例，
Figure SMS_26
为使用预训练好的BERT模型中的参数初始化的编码层，其中矩阵中的一列对应于显式篇章关系实例/正例/负例中的一个词。
进一步的，如图2所示，在连接词分类模型的池化层中，对于上述编码层所计算的显式篇章关系实例、正例及负例所对应的语义矩阵表示，该池化层分别计算各个语义矩阵表示所对应的语义向量表示。具体的，上述通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示的公式表达式为：
Figure SMS_29
；
Figure SMS_30
；
Figure SMS_31
；
其中，
Figure SMS_32
为
Figure SMS_33
的语义向量表示，
Figure SMS_34
为
Figure SMS_35
的语义向量表示，
Figure SMS_36
为
Figure SMS_37
的语义向量表示，
Figure SMS_38
为平均池化操作（也即按列计算平均值）。
进一步的，如图2所示，在连接词分类模型的第一分类层中，对于上述池化层所计算的显式篇章关系实例的语义向量表示，该第一分类层计算显式篇章关系实例的语义向量表示所对应的连接词分类结果。具体的，上述通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果的公式表达式为：
Figure SMS_39
；
其中，该第一分类层由一个全连接层和一个softmax函数（也即归一化指数函数）变换组成，
Figure SMS_41
为连接词分类结果，
Figure SMS_44
和
Figure SMS_46
均为全连接层中的参数，
Figure SMS_42
为
Figure SMS_43
的语义向量表示，其中连接词分类结果
Figure SMS_45
是一个
Figure SMS_47
维的向量，
Figure SMS_40
为所获取的显式篇章关系数据集中连接词的类别数。
进一步的，如图2所示，在连接词分类模型的第一分类层中计算出显式篇章关系实例所对应的连接词分类结果
Figure SMS_48
后，再通过交叉熵代价函数计算出分类代价。具体的，上述根据交叉熵代价函数对连接词分类结果进行计算得到分类代价的公式表达式为：
Figure SMS_49
；
其中，
Figure SMS_52
为分类代价，
Figure SMS_55
为连接词分类模型的参数集，
Figure SMS_58
为显式篇章关系实例
Figure SMS_53
的真实类别，
Figure SMS_56
为连接词分类结果
Figure SMS_60
关于真实类别的期望值，
Figure SMS_61
为所给定的所有显式篇章关系实例
Figure SMS_51
、所对应的正例
Figure SMS_54
和负例
Figure SMS_57
、以及显式篇章关系实例
Figure SMS_59
的真实类别
Figure SMS_50
所组合成的一个显式篇章关系数据集。
进一步的，如图2所示，为了较好地对连接词分类模型进行训练，除采用上述交叉熵代价函数得到分类代价外，还采用基于对比学习的对比学习代价函数得到对比学习代价。此时通过对比学习代价可以使训练数据集中的显式篇章关系实例与其正例在语义空间中的距离比较接近，而其与负例的距离则比较远，使得连接词分类模型能够更加有效的区别语义比较接近的连接词。
具体的，上述根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价的公式表达式为：
Figure SMS_62
；
Figure SMS_63
；
Figure SMS_64
；
其中，
Figure SMS_67
为对比学习代价，
Figure SMS_69
为
Figure SMS_72
的语义向量表示，
Figure SMS_66
为
Figure SMS_70
的语义向量表示，
Figure SMS_73
为
Figure SMS_74
的语义向量表示，
Figure SMS_65
为度量两个向量间的余弦距离，
Figure SMS_68
为向量的2-范数（也即欧几里得范数），
Figure SMS_71
表示向量的转置。
进一步的，利用分类代价和对比学习代价联合训练连接词分类模型，此时训练连接词分类模型的总代价为分类代价和对比学习代价的线性求和。具体的，上述根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价的公式表达式为：
Figure SMS_75
；
其中，
Figure SMS_76
为总代价，
Figure SMS_77
为分类代价，
Figure SMS_78
为对比学习代价，
Figure SMS_79
为权重系数，用于调节分类代价和对比学习代价的重要程度。
其中，在本发明实施例中，通过定义一个连接词分类任务，即给定两个篇章单元，预测可用于连接两个篇章单元的连接词。其连接词分类任务可认为是更细粒度的篇章关系分类任务，与隐式篇章关系识别任务的联系非常紧密。因此，通过基于大量自然标注的显式篇章关系实例，训练出一个连接词分类模型，使得可较为精准的预测连接两个篇章单元的连接词，以用作隐式篇章关系识别的预训练模型。然而现有直接基于常用的交叉熵代价函数训练连接词分类模型的效果不太理想，主要原因是有些连接词的语义比较接近，难以区分，因此使得无法充分有效地利用自然标注的显式篇章关系数据。而本发明实施例中，利用对比学习的基本思想构造给定显式篇章关系实例的正例（相似实例）和负例（不相似实例），通过学习使显式篇章关系实例与正例在语义空间中的距离比较接近，而与负例在语义空间中的距离则比较远。此时通过设计显式篇章关系实例的正例和负例最终计算得到对比学习代价，然后通过采用分类代价和对比学习代价联合训练连接词分类模型的方式，可以使连接词分类模型对于语义接近的连接词的辨识能力更强。因此，本发明实施例中，通过构造显式篇章关系实例的正例和负例，然后基于分类代价和对比学习代价联合训练连接词分类模型，使得可以充分有效地利用上述所抽取的大量自然标注的显式篇章关系实例，得到高质量的可用于隐式篇章关系识别的预训练模型，同时基于分类代价和对比学习代价联合训练连接词分类模型使得对于语义接近的连接词的辨识能力更强。
步骤S30，基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型：
所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；
根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；
其中，本发明实施例中，参照图3所示，隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层。
其中，如图3所示，在隐式篇章关系识别模型的编码层中，该编码层
Figure SMS_80
直接取自于连接词分类模型，此时通过基于训练好的连接词分类模型和Adapter网络构建出隐式篇章关系识别模型，同时在训练隐式篇章关系识别模型的过程中，编码层
Figure SMS_81
中的参数保持不变。此时对于给定的人工标注的隐式篇章关系实例
Figure SMS_82
，该编码层
Figure SMS_83
计算隐式篇章关系实例
Figure SMS_84
所对应的语义矩阵表示。具体的，上述通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示的公式表达式为：
Figure SMS_85
；
Figure SMS_86
；
其中，
Figure SMS_88
为隐式篇章关系实例在第
Figure SMS_91
层的语义矩阵表示，
Figure SMS_93
为隐式篇章关系实例在第12层的语义矩阵表示
Figure SMS_89
为取自于连接词分类模型的编码层中的第
Figure SMS_90
个Transformer层，
Figure SMS_92
为取自于连接词分类模型的编码层中的第12个Transformer层，
Figure SMS_94
为隐式篇章关系实例，其中
Figure SMS_87
为隐式篇章关系识别模型的一个超参数，其在实际应用中可根据实际情况进行人为指定。
其中，参照上述所述，该编码层
Figure SMS_96
包括12个堆叠的Transformer层，每层的维度为768，也即是说上述的
Figure SMS_99
为隐式篇章关系实例在第12层也即是最后一层的语义矩阵表示，其中编码层
Figure SMS_101
的最终输出为
Figure SMS_97
，也即此时
Figure SMS_98
可看作为隐式篇章关系实例在编码层
Figure SMS_100
所输出的语义矩阵表示。而
Figure SMS_102
、
Figure SMS_95
同时还一同作为Adapter网络的输入，以使Adapter网络根据上述输入进行变换后得到对应的变换语义矩阵表示。
进一步的，如图3所示，在隐式篇章关系识别模型的Adapter网络中，Adapter网络包括两个Adapter层，分别为第一Adapter层和第二Adapter层，其中每个Adapter层分别由一个多层前馈神经网络和一个Transformer层组成，Adapter网络以编码层所输出的第
Figure SMS_103
层和第12层的语义矩阵表示作为输入，并对第
Figure SMS_104
层和第12层的语义矩阵表示进行变换得到对应的变换语义矩阵表示。具体的，上述通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示的公式表达式为：
Figure SMS_105
；
Figure SMS_106
；
其中，
Figure SMS_108
为第一Adapter层中的多层前馈神经网络，
Figure SMS_111
为第二Adapter层中的多层前馈神经网络，
Figure SMS_114
为第一Adapter层中的Transformer层，
Figure SMS_109
为第二Adapter层中的Transformer层，
Figure SMS_113
为第一Adapter层的输出，
Figure SMS_116
为第二Adapter层的输出，
Figure SMS_118
为矩阵拼接操作，
Figure SMS_107
为Adapter网络的初始输入，其中
Figure SMS_112
可以随机初始化或初始化为零矩阵。其中，该Adapter网络的最终输出为
Figure SMS_115
，也即
Figure SMS_117
可看作隐式篇章关系实例
Figure SMS_110
进行变换后在Adapter网络所输出的变换语义矩阵表示。
进一步的，如图3所示，在隐式篇章关系识别模型的池化与拼接层中，对于上述编码层所计算的隐式篇章关系实例的语义矩阵表示以及上述Adapter网络所计算的隐式篇章关系实例的变换语义矩阵表示，该池化与拼接层分别将初始语义矩阵及变换语义矩阵表示进行计算得到隐式篇章关系实例所对应的语义向量表示。具体的，上述通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示的公式表达式为：
Figure SMS_119
；
其中，
Figure SMS_120
为隐式篇章关系实例
Figure SMS_121
的语义向量表示，
Figure SMS_122
为平均池化操作，
Figure SMS_123
为矩阵拼接操作，
Figure SMS_124
为经变换后的变换语义矩阵表示，
Figure SMS_125
为隐式篇章关系实例的语义矩阵表示。
进一步的，如图3所示，在隐式篇章关系识别模型的第二分类层中，对于上述池化与拼接层所计算的隐式篇章关系实例的语义向量表示，该第二分类层计算隐式篇章关系实例的语义向量表示所对应的预测结果。具体的，上述通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果的公式表达式为：
Figure SMS_126
；
其中，第二分类层由一个全连接层和一个softmax函数变换组成，
Figure SMS_128
为预测结果，
Figure SMS_131
和
Figure SMS_133
均为全连接层中的参数，
Figure SMS_129
为
Figure SMS_130
的语义向量表示，其中预测结果
Figure SMS_132
是一个
Figure SMS_134
维的向量，
Figure SMS_127
为隐式篇章关系中类别的数量。
进一步的，在隐式篇章关系识别模型的第二分类层中计算出隐式篇章关系实例所对应的预测结果
Figure SMS_135
后，再通过交叉熵代价函数计算出交叉熵代价，此时该隐式篇章关系识别模型采用交叉熵代价进行训练。具体的，上述根据交叉熵代价函数对预测结果进行计算得到交叉熵代价的公式表达式为：
Figure SMS_136
；
其中，
Figure SMS_138
为交叉熵代价，
Figure SMS_142
为隐式篇章关系识别模型的参数集，
Figure SMS_145
为隐式篇章关系实例
Figure SMS_139
的真实类别，
Figure SMS_140
为预测结果，
Figure SMS_143
为预测结果关于真实类别的期望值，
Figure SMS_146
为所给定的所有隐式篇章关系实例
Figure SMS_137
及隐式篇章关系实例
Figure SMS_141
的真实类别
Figure SMS_144
所组合成的一个隐式篇章关系数据集。
其中，在本发明实施例中，在大量的显式篇章关系实例上，基于连接词分类模型中的编码层
Figure SMS_147
可用于隐式篇章关系识别模型中，现有通常基于人工标注的隐式篇章关系实例进一步精调编码层
Figure SMS_148
，然而，人工标注的隐式篇章关系实例的数量非常少，而编码层
Figure SMS_149
中又包含大量的参数，导致现有方法在精调编码层
Figure SMS_150
的时候常出现由于参数变化而产生的连接词分类模型中已有知识灾难性遗忘的问题，最终导致识别效果不理想。而在本发明实施例中，由于通过隐式篇章关系识别模型中的池化与拼接层对编码层所输出的语义矩阵表示及Adapter网络所输出的变换语义矩阵表示进行矩阵拼接操作以及平均池化操作。使得通过Adapter网络的设置可以实现固定编码层
Figure SMS_151
中的大量参数，而仅精调Adapter网络及第二分类层中的少量参数，从而能有效地避免编码层
Figure SMS_152
中的参数变化而产生的连接词分类模型中已有知识灾难性遗忘的问题。此时与现有直接调整预训练的编码层
Figure SMS_153
中的参数相比，Adapter网络可以从另外一个角度调整隐式篇章关系识别模型，使其可以很好地用于隐式篇章关系识别任务。本发明实施例提出的方法不仅能直接提升隐式篇章关系识别的效果，从而进一步提高篇章结构分析的效果；还能间接地提升实体识别、情感分析和机器翻译等相关自然语言处理任务的性能。
步骤S40，基于隐式篇章关系识别模型识别隐式篇章关系实例的类别；
其中，在本发明实施例中，通过上述步骤S30利用Adapter网络调整该隐式篇章关系识别模型后，将现有的自然文本加载至隐式篇章关系识别模型中进行识别，使得可以识别出自然文本中的隐式篇章关系实例及其类别。
本实施例中，通过基于模板的抽取方法可以充分有效的收集到大量自然标注的显式篇章关系实例以提供给连接词分类模型进行训练，而构造显式篇章关系实例的正例和负例，然后基于分类代价和对比学习代价联合训练连接词分类模型，使得可以充分有效地利用上述所抽取的大量自然标注的显式篇章关系实例，用于作为隐式篇章关系识别的预训练模型，同时基于分类代价和对比学习代价联合训练连接词分类模型使得对于语义接近的连接词的辨识能力更强，而通过Adapter网络的设置可以实现固定编码层中的大量参数，而仅精调Adapter网络和第二分类层中的少量参数，从而能有效地避免已有知识灾难性遗忘的问题，使得能在减少对人工标注数据的依赖的同时，实质性地提高隐式篇章关系识别的性能，解决了现有预训练阶段没有充分有效地利用自然标注的显式篇章关系数据以及基于少量人工标注的数据进行精调时容易造成已有知识的灾难性遗忘的问题。
实施例二
请参阅图4，是本发明第二实施例提供的基于对比学习和Adapter网络的隐式篇章关系识别系统的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，该系统包括：
显式篇章关系实例获取模块10，用于获取自然标注的显式篇章关系实例，具体的基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；
连接词分类模型训练模块20，用于基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型，具体的所述连接词分类模型包括编码层、池化层和第一分类层；
通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；
根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；
根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；
隐式篇章关系识别模型调整模块30，用于基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型，具体的所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；
根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；
隐式篇章关系识别模块40，用于基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。
本发明实施例所提供的基于对比学习和Adapter网络的隐式篇章关系识别系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述方法包括如下步骤：
步骤一、获取自然标注的显式篇章关系实例：
基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；
步骤二、基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型：
所述连接词分类模型包括编码层、池化层和第一分类层；
通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；
根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；
根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；
步骤三、基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型：
所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；
根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；
步骤四、基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。
2.如权利要求1所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示的公式表达式为：
Figure QLYQS_1
；
Figure QLYQS_2
；
Figure QLYQS_3
；
其中，
Figure QLYQS_6
为
Figure QLYQS_9
的语义矩阵表示，
Figure QLYQS_12
为
Figure QLYQS_5
的语义矩阵表示，
Figure QLYQS_8
为
Figure QLYQS_11
的语义矩阵表示，
Figure QLYQS_13
为显式篇章关系实例，
Figure QLYQS_4
为显式篇章关系实例的正例，
Figure QLYQS_7
为显式篇章关系实例的负例，
Figure QLYQS_10
为使用预训练好的BERT模型中的参数初始化的编码层；
所述通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示的公式表达式为：
Figure QLYQS_14
；
Figure QLYQS_15
；
Figure QLYQS_16
；
其中，
Figure QLYQS_17
为
Figure QLYQS_18
的语义向量表示，
Figure QLYQS_19
为
Figure QLYQS_20
的语义向量表示，
Figure QLYQS_21
为
Figure QLYQS_22
的语义向量表示，
Figure QLYQS_23
为平均池化操作；
所述通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果的公式表达式为：
Figure QLYQS_24
；
其中，第一分类层由一个全连接层和一个softmax函数变换组成，
Figure QLYQS_25
为连接词分类结果，
Figure QLYQS_26
和
Figure QLYQS_27
是全连接层中的参数，
Figure QLYQS_28
为
Figure QLYQS_29
的语义向量表示。
3.如权利要求2所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据交叉熵代价函数对连接词分类结果进行计算得到分类代价的公式表达式为：
Figure QLYQS_30
；
其中，
Figure QLYQS_33
为分类代价，
Figure QLYQS_37
为连接词分类模型的参数集，
Figure QLYQS_40
为显式篇章关系实例
Figure QLYQS_34
的真实类别，
Figure QLYQS_36
为连接词分类结果
Figure QLYQS_39
关于真实类别的期望值，
Figure QLYQS_42
为所给定的所有显式篇章关系实例
Figure QLYQS_31
、所对应的正例
Figure QLYQS_35
和负例
Figure QLYQS_38
、以及显式篇章关系实例
Figure QLYQS_41
的真实类别
Figure QLYQS_32
所组合成的一个显式篇章关系数据集。
4.如权利要求3所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价的公式表达式为：
Figure QLYQS_43
；
Figure QLYQS_44
；
Figure QLYQS_45
；
其中，
Figure QLYQS_48
为对比学习代价，
Figure QLYQS_50
为
Figure QLYQS_53
的语义向量表示，
Figure QLYQS_47
为
Figure QLYQS_51
的语义向量表示，
Figure QLYQS_54
为
Figure QLYQS_55
的语义向量表示，
Figure QLYQS_46
为度量两个向量间的余弦距离，
Figure QLYQS_49
为向量的2-范数，
Figure QLYQS_52
表示向量的转置。
5.如权利要求4所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价的公式表达式为：
Figure QLYQS_56
；
其中，
Figure QLYQS_57
为总代价，
Figure QLYQS_58
为分类代价，
Figure QLYQS_59
为对比学习代价，
Figure QLYQS_60
为权重系数，用于调节分类代价和对比学习代价的重要程度。
6.如权利要求1所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示的公式表达式为：
Figure QLYQS_61
；
Figure QLYQS_62
；
其中，
Figure QLYQS_65
为隐式篇章关系实例在第
Figure QLYQS_66
层的语义矩阵表示，
Figure QLYQS_68
为隐式篇章关系实例在第12层的语义矩阵表示，
Figure QLYQS_64
为编码层中的第
Figure QLYQS_67
个Transformer层，
Figure QLYQS_69
为编码层中的第12个Transformer层，
Figure QLYQS_70
为隐式篇章关系实例，其中
Figure QLYQS_63
为隐式篇章关系识别模型的一个超参数。
7.如权利要求6所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述Adapter网络包括两个Adapter层，分别为第一Adapter层和第二Adapter层，其中每个Adapter层分别由一个多层前馈神经网络和一个Transformer层组成，Adapter网络以编码层所输出的第
Figure QLYQS_71
层和第12层的语义矩阵表示作为输入，并对第
Figure QLYQS_72
层和第12层的语义矩阵表示进行变换得到对应的变换语义矩阵表示；
所述通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示的公式表达式为：
Figure QLYQS_73
；
Figure QLYQS_74
；
其中，
Figure QLYQS_76
为第一Adapter层中的多层前馈神经网络，
Figure QLYQS_79
为第二Adapter层中的多层前馈神经网络，
Figure QLYQS_80
为第一Adapter层中的Transformer层，
Figure QLYQS_77
为第二Adapter层中的Transformer层，
Figure QLYQS_78
为第一Adapter层的输出，
Figure QLYQS_81
为第二Adapter层的输出，
Figure QLYQS_82
为矩阵拼接操作，
Figure QLYQS_75
为Adapter网络的初始输入。
8.如权利要求7所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示的公式表达式为：
Figure QLYQS_83
；
其中，
Figure QLYQS_84
为隐式篇章关系实例
Figure QLYQS_85
的语义向量表示，
Figure QLYQS_86
为平均池化操作，
Figure QLYQS_87
为矩阵拼接操作，
Figure QLYQS_88
为经变换后的变换语义矩阵表示，
Figure QLYQS_89
为隐式篇章关系实例的语义矩阵表示；
所述通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果的公式表达式为：
Figure QLYQS_90
；
其中，第二分类层由一个全连接层和一个softmax函数变换组成，
Figure QLYQS_91
为预测结果，
Figure QLYQS_92
和
Figure QLYQS_93
均为全连接层中的参数，
Figure QLYQS_94
为
Figure QLYQS_95
的语义向量表示。
9.如权利要求8所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据交叉熵代价函数对预测结果进行计算得到交叉熵代价的公式表达式为：
Figure QLYQS_96
；
其中，
Figure QLYQS_98
为交叉熵代价，
Figure QLYQS_102
为隐式篇章关系识别模型的参数集，
Figure QLYQS_105
为隐式篇章关系实例
Figure QLYQS_99
的真实类别，
Figure QLYQS_101
为预测结果，
Figure QLYQS_104
为预测结果关于真实类别的期望值，
Figure QLYQS_106
为所给定的所有隐式篇章关系实例
Figure QLYQS_97
及隐式篇章关系实例
Figure QLYQS_100
的真实类别
Figure QLYQS_103
所组合成的一个隐式篇章关系数据集。
10.一种基于对比学习和Adapter网络的隐式篇章关系识别系统，其特征在于，所述系统执行如上述权利要求1-9任意一项所述的方法，所述系统包括：
显式篇章关系实例获取模块，用于获取自然标注的显式篇章关系实例，基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；
连接词分类模型训练模块，用于基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型，所述连接词分类模型包括编码层、池化层和第一分类层；
通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；
根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；
根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；
隐式篇章关系识别模型调整模块，用于基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型，所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；
根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；
隐式篇章关系识别模块，用于基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。
CN202310319736.4A 2023-03-29 2023-03-29 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统 Active CN116028630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310319736.4A CN116028630B (zh) 2023-03-29 2023-03-29 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310319736.4A CN116028630B (zh) 2023-03-29 2023-03-29 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统

Publications (2)

Publication Number Publication Date
CN116028630A true CN116028630A (zh) 2023-04-28
CN116028630B CN116028630B (zh) 2023-06-02

Family

ID=86079838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310319736.4A Active CN116028630B (zh) 2023-03-29 2023-03-29 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统

Country Status (1)

Country Link
CN (1) CN116028630B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882398A (zh) * 2023-09-06 2023-10-13 华东交通大学 基于短语交互的隐式篇章关系识别方法和系统
CN118095250A (zh) * 2024-04-23 2024-05-28 华东交通大学 一种细分领域增强的隐式篇章关系识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395876A (zh) * 2021-01-21 2021-02-23 华东交通大学 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
CN113032545A (zh) * 2021-05-29 2021-06-25 成都晓多科技有限公司 基于无监督对话预训练的对话理解与答案配置方法及系统
US20210279566A1 (en) * 2020-03-04 2021-09-09 International Business Machines Corporation Contrastive Neural Network Training in an Active Learning Environment
CN115169449A (zh) * 2022-06-29 2022-10-11 中山大学 基于对比学习与持续性学习的属性级情感分析方法、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279566A1 (en) * 2020-03-04 2021-09-09 International Business Machines Corporation Contrastive Neural Network Training in an Active Learning Environment
CN112395876A (zh) * 2021-01-21 2021-02-23 华东交通大学 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
CN113032545A (zh) * 2021-05-29 2021-06-25 成都晓多科技有限公司 基于无监督对话预训练的对话理解与答案配置方法及系统
CN115169449A (zh) * 2022-06-29 2022-10-11 中山大学 基于对比学习与持续性学习的属性级情感分析方法、系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LONG，W ET AL.: "Facilitating Contrastive Learning of Discourse Relational Senses by Exploiting the Hierarchy of Sense Relations", 《ARXIV》, pages 1 - 13 *
朱珊珊;洪宇;丁思远;严为绒;姚建民;朱巧明;: "基于训练样本集扩展的隐式篇章关系分类", 中文信息学报, no. 05, pages 111 - 120 *
胡超文;杨亚连;邬昌兴;: "基于深度学习的隐式篇章关系识别综述", 计算机科学, no. 04, pages 157 - 163 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882398A (zh) * 2023-09-06 2023-10-13 华东交通大学 基于短语交互的隐式篇章关系识别方法和系统
CN116882398B (zh) * 2023-09-06 2023-12-08 华东交通大学 基于短语交互的隐式篇章关系识别方法和系统
CN118095250A (zh) * 2024-04-23 2024-05-28 华东交通大学 一种细分领域增强的隐式篇章关系识别方法
CN118095250B (zh) * 2024-04-23 2024-06-28 华东交通大学 一种细分领域增强的隐式篇章关系识别方法

Also Published As

Publication number Publication date
CN116028630B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN112001185B (zh) 一种结合中文句法和图卷积神经网络的情感分类方法
CN112001187B (zh) 一种基于中文句法和图卷积神经网络的情感分类系统
CN116028630B (zh) 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统
CN106599032B (zh) 一种结合稀疏编码和结构感知机的文本事件抽取方法
CN109977413A (zh) 一种基于改进cnn-lda的情感分析方法
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
Feng et al. Enhanced sentiment labeling and implicit aspect identification by integration of deep convolution neural network and sequential algorithm
CN112001186A (zh) 一种利用图卷积神经网络和中文句法的情感分类方法
US11755668B1 (en) Apparatus and method of performance matching
US20230289396A1 (en) Apparatuses and methods for linking posting data
Wang et al. The OL-DAWE model: tweet polarity sentiment analysis with data augmentation
CN110457424A (zh) 生成访谈报告的方法、计算机可读存储介质和终端设备
CN114265936A (zh) 一种科技项目文本挖掘的实现方法
CN115994209A (zh) 基于RoBERTa-WWM的商品问答方法
Tiwari et al. Comparative classification performance evaluation of various deep learning techniques for sentiment analysis
Luo et al. Hallucination detection and hallucination mitigation: An investigation
CN114548117A (zh) 一种基于bert语义增强的因果关系抽取方法
O’Neill et al. Meta-embedding as auxiliary task regularization
Nazarizadeh et al. Using Group Deep Learning and Data Augmentation in Persian Sentiment Analysis
US11995401B1 (en) Systems and methods for identifying a name
CN114595324A (zh) 电网业务数据分域的方法、装置、终端和非暂时性存储介质
Serrano-Guerrero et al. Affective knowledge-enhanced emotion detection in Arabic language: a comparative study
Zarandi et al. Aspect-base Sentiment Analysis with Dual Contrastive Learning
CN110543559A (zh) 生成访谈报告的方法、计算机可读存储介质和终端设备
Chen Word-Level Interpretation of Chatgpt Detector Based on Classification Contribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant