CN115774792A - 篇章处理方法及相关装置、电子设备、存储介质 - Google Patents

篇章处理方法及相关装置、电子设备、存储介质 Download PDF

Info

Publication number
CN115774792A
CN115774792A CN202310106687.6A CN202310106687A CN115774792A CN 115774792 A CN115774792 A CN 115774792A CN 202310106687 A CN202310106687 A CN 202310106687A CN 115774792 A CN115774792 A CN 115774792A
Authority
CN
China
Prior art keywords
entity
coding
relationship
node
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310106687.6A
Other languages
English (en)
Other versions
CN115774792B (zh
Inventor
邹梦
李直旭
陈志刚
郑新
何莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202310106687.6A priority Critical patent/CN115774792B/zh
Publication of CN115774792A publication Critical patent/CN115774792A/zh
Application granted granted Critical
Publication of CN115774792B publication Critical patent/CN115774792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本申请公开了一种篇章处理方法及相关装置、电子设备、存储介质,该方法包括:获取待处理篇章和关系集合;基于待处理篇章进行编码,得到实体对的第一编码特征和待处理篇章中句子的第二编码特征;基于实体对的第一编码特征和句子的第二编码特征,预测得到句子作为确定实体对之间实体关系的证据句的置信度;基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子;基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。通过上述方式,能够提高实体关系抽取的准确性。

Description

篇章处理方法及相关装置、电子设备、存储介质
技术领域
本申请涉及人工智能技术领域,特别是涉及一种篇章处理方法及相关装置、电子设备、存储介质。
背景技术
目前,面向文档级关系抽取任务,主要基于图神经网络(Graph Neural Network,GNN)、预训练语言模型(Pre-trained LanguageModels,PLMs)、GNN和PLMs的算法和联合抽取算法。但是,上述方式的关系抽取精度不高。
发明内容
本申请主要解决的技术问题是提供一种篇章处理方法及相关装置、电子设备、存储介质,能够提高实体关系抽取的准确性。
为了解决上述技术问题,本申请第一方面提供了一种篇章处理方法,该方法包括:获取待处理篇章和关系集合;其中,待处理篇章中提及标注有对应的实体,且关系集合包含若干预设关系;基于待处理篇章进行编码,得到实体对的第一编码特征和待处理篇章中句子的第二编码特征;其中,实体对由两个实体分别作为头实体和尾实体而组成;基于实体对的第一编码特征和句子的第二编码特征,预测得到句子作为确定实体对之间实体关系的证据句的置信度;基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子;基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
为了解决上述技术问题,本申请第二方面提供了一种篇章处理装置,该装置包括:获取模块、编码模块、预测模块、选择模块和确定模块;获取模块用于获取待处理篇章和关系集合;其中,待处理篇章中提及标注有对应的实体,且关系集合包含若干预设关系;编码模块用于基于待处理篇章进行编码,得到实体对的第一编码特征和待处理篇章中句子的第二编码特征;其中,实体对由两个实体分别作为头实体和尾实体而组成;预测模块用于基于实体对的第一编码特征和句子的第二编码特征,预测得到句子作为确定实体对之间实体关系的证据句的置信度;选择模块用于基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子;确定模块用于基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
为了解决上述技术问题,本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述的篇章处理方法。
为了解决上述技术问题,本申请第四方面提供了一种计算机可读存储介质,存储有能够被处理器运行的程序指令,程序指令用于实现上述的篇章处理方法。
上述方案,基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子,并基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。故,会先从待处理篇章中抽取各实体对对应的证据句,即,会首先聚焦各实体对对应的关键上下文;然后综合待处理篇章和实体对对应的关键上下文,即,结合双视角文本,对实体对之间的实体关系进行确定,提高了确定的实体对之间的关系的准确性。
附图说明
图1是本申请提供的篇章处理方法一实施例的流程示意图;
图2是图1所示步骤S12一实施例的流程示意图;
图3是图2所示步骤S22一实施例的流程示意图;
图4是图1所示步骤S15一实施例的流程示意图;
图5是本申请提供的节点图一实施例的示意图;
图6是本申请提供的篇章处理装置一实施例的结构示意图;
图7是本申请提供的电子设备一实施例的结构示意图;
图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1,图1是本申请提供的篇章处理方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例包括:
步骤S11:获取待处理篇章和关系集合。
本实施例的方法用于抽取篇章中存在的实体对之间的关系;其中,本文所述的篇章的类型包括但不限于记叙文、说明文、应用文、议论文、抒情文等,在此不做具体限定。
本实施方式中,获取待处理篇章和关系集合;其中,待处理篇章中提及标注有对应的实体,且关系集合包含若干预设关系。具体地,给定一个封闭关系集合
Figure SMS_1
和一个待处理篇章
Figure SMS_2
,其中,第i个字用
Figure SMS_3
表示;该待处理篇章
Figure SMS_4
标注了实体信息,第i个实体ei在待处理篇章
Figure SMS_5
中由若干提及(mention)的形式存在,即,待处理篇章
Figure SMS_6
中的提及标注有对应的实体信息。
需要说明的是,篇章级实体对之间的关系的抽取,旨在提取篇章中存在的所有关系三元组
Figure SMS_7
,每个三元组
Figure SMS_8
由头实体
Figure SMS_9
、尾实体
Figure SMS_10
及其之间的关系
Figure SMS_11
组成;实体h、t之间存在关系r的前提是h和t之间存在至少一对mention在篇章中表达了r,若h和t在篇章中未表达关系或者它们之间的关系并不在R中,则认为该实体对是NA(Noof the Above)关系。
在一实施方式中,待处理篇章具体可以从本地存储或者云端存储中获取得到,在此不做具体限定。
步骤S12:基于待处理篇章进行编码,得到实体对的第一编码特征和待处理篇章中句子的第二编码特征。
本实施方式中,基于待处理篇章进行编码,得到实体对的第一编码特征和待处理篇章中句子的第二编码特征;其中,实体对由两个实体分别作为头实体和尾实体而组成。
在一实施方式中,利用BERT作为篇章编码器,对待处理篇章进行编码,得到包含有S个句子的待处理篇章的编码特征
Figure SMS_12
,其中,x表示待处理篇章中的第x个句子。
在一实施方式中,如图2所示,图2是图1所示步骤S12一实施例的流程示意图,基于待处理篇章进行编码,得到实体对的第一编码特征,具体包括如下子步骤:
步骤S21:对待处理篇章进行编码,得到待处理篇章中各个字符的字符编码特征以及各个字符的注意力权重。
本实施方式中,对待处理篇章进行编码,得到待处理篇章中各个字符的字符编码特征以及各个字符的注意力权重。
具体地,首先利用BERT作为篇章编码器,对待处理篇章进行编码,得到包含有S个句子的待处理篇章的编码特征
Figure SMS_13
,其中,x表示待处理篇章中的第x个句子。
其次,获取篇章编码器BERT最后一层输出的各个字符的字符编码以及各个字符对应的注意力权重。具体如下所示:
Figure SMS_14
其中,A表示注意力权重;
Figure SMS_15
表示待处理篇章中的第i个字符的编码特征。
步骤S22:基于头实体对应的提及中字符的字符编码特征进行融合,得到头实体的实体编码特征,并基于尾实体对应的提及中字符的字符编码特征进行融合,得到尾实体的实体编码特征。
本实施方式中,基于头实体对应的提及中字符的字符编码特征进行融合,得到头实体的实体编码特征,并基于尾实体对应的提及中字符的字符编码特征进行融合,得到尾实体的实体编码特征。由于一个实体(如,头实体和尾实体)可能会对应有多个提及,所以对头实体对应的提及中字符的字符编码特征进行融合,得到头实体的实体编码特征,以及对尾实体对应的提及中字符的字符编码特征进行融合,得到尾实体的实体编码特征。
在一实施方式中,如图3所示,图3是图2所示步骤S22一实施例的流程示意图,在基于头实体对应的提及中字符的字符编码特征进行融合,得到头实体的实体编码特征,并基于尾实体对应的提及中字符的字符编码特征进行融合,得到尾实体的实体编码特征之前,还包括如下子步骤:
步骤S31:基于字符所属的提及对应实体的实体类型进行编码,得到类型编码特征,并基于字符所属的提及对应实体在待处理篇章中的实体序位进行编码,得到共指编码特征。
本实施方式中,基于字符所属的提及对应实体的实体类型进行编码,得到类型编码特征,并基于字符所属的提及对应实体在待处理篇章中的实体序位进行编码,得到共指编码特征。也就是说,基于字符所属的提及对应实体的实体类型进行编码,得到类型编码特征
Figure SMS_16
;以及,基于字符所属的提及对应实体在待处理篇章中的实体序位进行编码,得到共指编码特征
Figure SMS_17
步骤S32:基于字符的字符编码特征、字符对应的类型编码特征和共指编码特征进行融合,得到字符新的字符编码特征。
本实施方式中,基于字符的字符编码特征、字符对应的类型编码特征和共指编码特征进行融合,得到字符新的字符编码特征。也就是说,将字符的字符编码特征、类型编码特征和共指编码特征进行融合,并将融合后的特征作为字符新的字符编码特征。
在一实施方式中,将字符的字符编码特征、字符对应的类型编码特征和共指编码特征进行拼接,得到字符新的字符编码特征。字符新的字符编码特征具体如下所示:
Figure SMS_18
其中,
Figure SMS_19
表示第i个字符新的字符编码特征;
Figure SMS_20
表示第i个字符的字符编码特征;
Figure SMS_21
表示第i个字符对应的类型编码特征;
Figure SMS_22
表示第i个字符对应的共指编码特征。
步骤S23:基于头实体对应的提及中字符的注意力权重进行融合,得到头实体的注意力权重,并基于尾实体对应的提及中字符的注意力权重,得到尾实体的注意力权重。
本实施方式中,基于头实体对应的提及中字符的注意力权重进行融合,得到头实体的注意力权重,并基于尾实体对应的提及中字符的注意力权重,得到尾实体的注意力权重。
步骤S24:基于头实体的注意力权重、尾实体的注意力权重和待处理篇章的篇章编码特征,得到由头实体和尾实体构成的实体对的上下文编码特征。
本实施方式中,基于头实体的注意力权重、尾实体的注意力权重和待处理篇章的篇章编码特征,得到由头实体和尾实体构成的实体对的上下文编码特征。
在一实施方式中,利用如下所示公式,基于头实体的注意力权重、尾实体的注意力权重和待处理篇章的篇章编码特征,得到由头实体和尾实体构成的实体对的上下文编码特征。具体公式如下所示:
Figure SMS_23
其中,
Figure SMS_24
表示由头实体和尾实体构成的实体对的上下文编码特征;
Figure SMS_25
表示待处理篇章的篇章编码特征;
Figure SMS_26
表示头实体的注意力权重;
Figure SMS_27
表示尾实体的注意力权重。
步骤S25:基于头实体的实体编码特征、尾实体的实体编码特征和上下文编码特征,得到实体对的第一编码特征。
本实施方式中,基于头实体的实体编码特征、尾实体的实体编码特征和上下文编码特征,得到实体对的第一编码特征。由于一个实体(头实体和尾实体)可能存在一篇待处理篇章中的多个提及,因此实体表示为
Figure SMS_28
,其中,s、t表示提及的起止位置;所以,将头实体的实体编码特征、尾实体的实体编码特征以及上下文编码特征拼接后作为实体对的第一编码特征。其中,第一编码特征具体如下所示:
Figure SMS_29
其中,
Figure SMS_30
表示第i个实体对的第一编码特征;
Figure SMS_31
表示第i个实体对中的头实体的实体编码特征;
Figure SMS_32
表示第i个实体对中的尾实体的实体编码特征;
Figure SMS_33
表示第i个实体对的上下文编码特征。
步骤S13:基于实体对的第一编码特征和句子的第二编码特征,预测得到句子作为确定实体对之间实体关系的证据句的置信度。
本实施方式中,基于实体对的第一编码特征和句子的第二编码特征,预测得到句子作为确定实体对之间实体关系的证据句的置信度。
在一实施方式中,利用置信预测网络对第一编码特征和句子的第二编码特征进行预测,预测得到句子作为确定实体对之间实体关系的证据句的置信度。具体地,利用置信预测网络-双放射函数预测出句子
Figure SMS_34
作为第i个实体对
Figure SMS_35
的证据句的置信度。具体如下所示:
Figure SMS_36
其中,
Figure SMS_37
表示句子
Figure SMS_38
作为第i个实体对
Figure SMS_39
的证据句的置信度;
Figure SMS_40
表示第i个实体对;
Figure SMS_41
表示待处理篇章中的第i个句子;
Figure SMS_42
表示双放射函数,为一个
Figure SMS_43
的可学习参数。
在一具体实施方式中,利用如下步骤对置信预测网络进行训练:步骤一:选择样本篇章中作为确定样本实体对之间样本实体关系的样本句子,作为正例证据句,并选择样本篇章中不作为确定样本实体对之间样本实体关系的样本句子,作为负例证据句;步骤二:基于样本实体对的第一样本编码特征和正例证据句的第二样本编码特征,预测得到正例证据句的第一置信度,并基于样本实体对的第一样本编码特征和负例证据句的第三样本编码特征,预测得到负例证据句的第二置信度;步骤三:基于第一置信度和第二置信度,得到置信预测网络的网络损失,其中,网络损失与第一置信度负相关,且与第二置信度正相关;步骤四:基于网络损失,调整置信预测网络的网络参数。
其中,利用如下所示的损失函数确定置信预测网络的网络损失。损失函数具体如下所示:
Figure SMS_44
其中,
Figure SMS_45
表示第i个实体对的负例证据句集合;
Figure SMS_46
表示第i个实体对的正例证据句集合。
步骤S14:基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子。
本实施方式中,基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子。
在一实施方式中,将置信度大于置信阈值的句子,作为在待处理篇章中为对应的实体对选择作为证据句的句子。其中,不对置信阈值的大小进行限定,可根据实际使用需要具体设置。
步骤S15:基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
本实施方式中,基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
在一实施方式中,如图4所示,图4是图1所示步骤S15一实施例的流程示意图,位于相同句子中提及存在依存关系,对待处理篇章还编码得到提及的第三编码特征和依存关系的第四编码特征,基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果,具体包括如下子步骤:
步骤S41:构建节点图。
本实施方式中,构建节点图;其中,节点图中含有句子对应的句子节点、提及对应的提及节点和依存关系对应的依存节点,句子节点的初始特征表示为第二编码特征,提及节点的初始特征表示为第三编码特征,依存节点的初始特征表示为第四编码特征,对应于相同实体的提及节点存在边,提及节点和与其所属的句子节点之间存在边,存在依存关系的提及节点之间存在边。
举例来说,如图5所示,图5是本申请提供的节点图一实施例的示意图。具体地,如图5中的(a)所示,方格1、方格2和方格3表示句子对应的节点,圆1、圆2、圆3和圆4表示提及对应的节点,圆5和圆6表示依存关系对应的节点;圆1表示的提及节点和圆2表示的提及节点属于同一实体,所以圆1和圆2相连,连接所得到的边为共指边;圆1表示提及节点和圆3表示的提及节点之间存在依存关系,所以圆1和圆3均与表示依存节点的圆5连接,连接所得到的边为依存关系边;圆1表示的提及节点属于方格1表示的句子节点,所以圆1与方格1相连,连接所得到的边为句内边;圆2表示的提及节点属于方格3表示的句子节点,所以圆2与方格3相连,连接得到的边为句内边;方格1表示的句子节点、方格2表示的句子节点、方格3表示的句子节点均会与其它句子节点连接,连接得到的边为句子边。
步骤S42:基于图神经网络对节点图进行编码,得到节点图中各个节点的节点编码特征。
本实施方式中,基于图神经网络对节点图进行编码,得到节点图中各个节点的节点编码特征。也就是说,在构建完节点图之后,使用图神经网络完成节点图上信息的传播与更新,得到节点图中各个节点的节点编码特征。通过图神经网络对节点图进行编码而得到节点图中各个节点的节点编码特征,使得能够对长距离实体对之间的关系进行捕获,从而使得后续能够对实体对之间的关系进行准确地确定。
在一实施方式中,图神经网络可以为R-GCN、D-GCN等,在此不做具体限定。
为避免节点图上信息传播的损失,在一实施方式中,基于图神经网络对节点图进行编码,得到节点图中各个节点的节点编码特征,具体为:
首先,获取图神经网络中各个网络层依次对节点图后的节点编码特征。其中,利用如下所示公式获取各个网络层对应的节点编码特征。
Figure SMS_47
其中,v表示节点u的第t种类型的邻居节点;T的取值为3;
Figure SMS_48
表示一个归一化常数;l表示图神经网络中的第l个网络层;W和b表示网络参数。
然后,对于节点图中各个节点,基于节点在各个网络层依次编码分别所得到的节点编码特征进行融合,得到节点最终的节点编码特征。在一实施方式中,将节点在各个网络层依次编码分别所得到的节点编码特征进行拼接,得到节点最终的节点编码特征;其中,具体拼接公式如下所示:
Figure SMS_49
步骤S43:基于节点图中各个节点的节点编码特征,提取实体对的第五编码特征。
本实施方式中,基于节点图中各个节点的节点编码特征,提取实体对的第五编码特征。
在一实施方式中,基于节点图中各个节点的节点编码特征,提取实体对第五编码特征,具体为:合并对应于相同实体的提及节点,作为实体节点,并基于对应于相同实体的提及节点的节点编码特征,得到实体节点的节点编码特征;然后,获取实体对中头实体为起点并以实体对中尾实体为终点的节点路径;然后,将节点路径上各个节点的节点编码特征进行融合,作为实体对的第五编码特征。
在其他实施方式中,也可将头实体和尾实体的节点编码特征进行融合,得到实体对的第五编码特征。
步骤S44:基于实体对的第五编码特征和实体对的证据句的第二编码特征,预测作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
本实施方式中,基于实体对的第五编码特征和实体对的证据句的第二编码特征,预测作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
在一实施方式中,关系集合中还包括NA关系,基于实体对的第五编码特征和实体对的证据句的第二编码特征,预测作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果,具体为:基于实体对的第五编码特征和实体对的证据句的第二编码特征,对关系集合中各个关系分别进行二分类,得到各个关系的分类分值;然后,响应于预设关系的分类分值大于第一阈值且大于NA关系的分类分值,将预设关系归于实体对的第一关系抽取结果。也就是说,将图卷积层输出的实体对推理路径表示、关键上下文表示,送入Bilinear层和全连接层实现关系分类,然后使用二元交叉熵(Binary Cross-Entropy)损失来计算本部分的损失。
其中,不对第一阈值的大小进行限定,可根据实际使用需要具体设置。
在一实施方式中,在基于待处理篇章和实体对的证据句,在关系集合中确定实体对之间的实体关系,作为实体对的第一关系抽取结果之前,还会基于实体对的第一编码特征,在关系集合中确定实体对之间的实体关系,作为实体对的第二关系抽取结果。此时,在基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果之后,还会将第一关系抽取结果和第二关系抽取结果的交集,作为实体对的目标关系抽取结果。也就是说,会结合略读模块预测得到的结果(第二关系抽取结果)和精读模块预测得到的结果(第一关系抽取结果),共同确定实体对之间的实体关系,准确性更高。
在一具体实施方式中,关系集合中还包括NA关系,响应于第一关系抽取结果和第二关系抽取结果均可靠时,将第一关系抽取结果和第二关系抽取结果的交集中的第一目标预设关系归于目标关系抽取结果;其中,第一目标预设关系为预设关系的预测概率大于NA关系的预测概率。
在一具体实施方式中,关系集合还包括NA关系,响应于第二关系抽取结果不如第一关系抽取结果可靠时,将第一关系抽取结果和第二关系抽取结果的交集中的第二目标预设关系归于目标关系抽取结果;其中,第二目标预设关系为预设关系的预测概率大于NA关系的预测概率,或者,第二目标预设关系为归属于第一目标关系抽取结果且预测概率大于NA关系的预测概率的预设关系。
在一具体实施方式中,关系集合中还包括NA关系,基于实体对的第一编码特征,在关系集合中确定实体对之间的实体关系,作为实体对的第二关系抽取结果,具体为:基于实体对的第一编码特征进行多分类,得到实体对之间实体关系分别为关系集合中各个关系的预测概率;响应于预设关系的预测概率大于第二阈值且大于NA关系的预测概率,将预设关系归于实体对的第二关系抽取结果。
具体地,在略读模块也会完成一次关系分类,将篇章级的关系分类任务视为多标签分类任务,将实体对的第一编码特征送入双线性层和全连接层来预测他们的关系,得到实体对之间的实体关系分别为关系集合中各个预设关系的预测概率,具体如下所示:
Figure SMS_50
其中,
Figure SMS_51
Figure SMS_52
Figure SMS_53
作为双线性层和全连接层的网络参数。另外,需要说明的是,待处理篇章中的任一实体对,都需要进行多分类而得到其对应的实体关系分别为关系集合中各预设关系的预测概率。
然后,将预测概率大于第二阈值且大于NA关系的预测概率的预设关系,归于对应的实体对的第二关系抽取结果。其中,不对第二阈值的大小进行限定,可根据实际使用需要具体设置。
上述实施方式中,基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子,并基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。故,会先从待处理篇章中抽取各实体对对应的证据句,即,会首先聚焦各实体对对应的关键上下文;然后综合待处理篇章和实体对对应的关键上下文,即,结合双视角文本,对实体对之间的实体关系进行确定,提高了确定的实体对之间的关系的准确性。
请参阅图6,图6是本申请提供的篇章处理装置一实施例的结构示意图。篇章处理装置60包括获取模块61、编码模块62、预测模块63、选择模块64和第一确定模块65。获取模块61用于获取待处理篇章和关系集合;其中,待处理篇章中提及标注有对应的实体,且关系集合包含若干预设关系;编码模块62用于基于待处理篇章进行编码,得到实体对的第一编码特征和待处理篇章中句子的第二编码特征;其中,实体对由两个实体分别作为头实体和尾实体而组成;预测模块63用于基于实体对的第一编码特征和句子的第二编码特征,预测得到句子作为确定实体对之间实体关系的证据句的置信度;选择模块64用于基于各个句子分别作为实体对的证据句的置信度,在待处理篇章中为实体对选择作为证据句的句子;第一确定模块65用于基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
其中,位于相同句子中提及存在依存关系,对待处理篇章还编码得到提及的第三编码特征和依存关系的第四编码特征,第一确定模块65用于基于待处理篇章和实体对的证据句,选择作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果,具体包括:构建节点图;其中,节点图中含有句子对应的句子节点、提及对应的提及节点和依存关系对应的依存节点,句子节点的初始特征表示为第二编码特征,提及节点的初始特征表示为第三编码特征,依存节点的初始特征表示为第四编码特征,对应于相同实体的提及节点之间存在边,提及节点和与其所属的句子节点之间存在边,存在依存关系的提及节点之间存在边;基于图神经网络对节点图进行编码,得到节点图中各个节点的节点编码特征;基于节点图中各个节点的节点编码特征,提取实体对的第五编码特征;基于实体对的第五编码特征和实体对的证据句的第二编码特征,预测作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果。
其中,第一确定模块65用于基于图神经网络对节点图进行编码,得到节点图中各个节点的节点编码特征,具体包括:获取图神经网络中各个网络层依次对节点图后的节点编码特征;对于节点图中各个节点,基于节点在各个网络层依次编码分别所得到的节点编码特征进行融合,得到节点最终的节点编码特征。
其中,第一确定模块65用于基于节点图中各个节点的节点编码特征,提取实体对的第五编码特征,具体包括:合并对应于相同实体的提及节点,作为实体节点,并基于对应于相同实体的提及节点的节点编码特征,得到实体节点的节点编码特征;获取以实体对中头实体为起点并以实体对中尾实体为终点的节点路径;将节点路径上各个节点的节点编码特征进行融合,作为实体对的第五编码特征。
其中,关系集合中还包含NA关系,第一确定模块65用于基于实体对的第五编码特征和实体对的证据句的第二编码特征,预测作为实体对之间实体关系的预设关系,得到实体对的第一关系抽取结果,具体包括:基于实体对的第五编码特征和实体对的证据句的第二编码特征,对关系集合中各个关系分别进行二分类,得到各个关系的分类分值;响应于预设关系的分类分值大于第一阈值且大于NA关系的分类分值,将预设关系归于实体对的第一关系抽取结果。
其中,篇章处理装置60还包括第二确定模块66,第二确定模块66用于基于待处理篇章和实体对的证据句,在关系集合中确定实体对之间的实体关系,作为实体对的第一关系抽取结果之前,具体包括:基于实体对的第一编码特征,在关系集合中确定实体对之间的实体关系,作为实体对的第二关系抽取结果;篇章处理装置60还包括第三确定模块67,第三确定模块67用于在基于待处理篇章和实体对的证据句,在关系集合中确定实体对之间的实体关系,作为实体对的第一关系抽取结果之后,具体包括:将第一关系抽取结果和第二关系抽取结果的交集,作为实体对的目标关系抽取结果。
其中,上述关系集合中还包含NA关系,第二确定模块66用于基于实体对的第一编码特征,在关系集合中确定实体对之间的实体关系,作为实体对的第二关系抽取结果,具体包括:基于实体对的第一编码特征进行多分类,得到实体对之间实体关系分别为关系集合中各个关系的预测概率;响应于预设关系的预测概率大于第二阈值且大于NA关系的预测概率,将预设关系归于实体对的第二关系抽取结果。
其中,上述置信度基于置信预测网络对第一编码特征和第二编码特征进行预测得到,置信预测网络的训练步骤包括:选择样本篇章中作为确定样本实体对之间样本实体关系的样本句子,作为正例证据句,并选择样本篇章中不作为确定样本实体对之间样本实体关系的样本句子,作为负例证据句;基于样本实体对的第一样本编码特征和正例证据句的第二样本编码特征,预测得到正例证据句的第一置信度,并基于样本实体对的第一样本编码特征和负例证据句的第三样本编码特征,预测得到负例证据句的第二置信度;基于第一置信度和第二置信度,得到置信预测网络的网络损失;其中,网络损失与第一置信度负相关,且与第二置信度正相关;基于网络损失,调整置信预测网络的网络参数。
其中,编码模块62用于基于待处理篇章进行编码,得到实体对的第一编码特征,具体包括:对待处理篇章进行编码,得到待处理篇章中各个字符的字符编码特征以及各个字符的注意力权重;基于头实体对应的提及中字符的字符编码特征进行融合,得到头实体的实体编码特征,并基于尾实体对应的提及中字符的字符编码特征进行融合,得到尾实体的实体编码特征;基于头实体对应的提及中字符的注意力权重进行融合,得到头实体的注意力权重,并基于尾实体对应的提及中字符的注意力权重,得到尾实体的注意力权重;基于头实体的注意力权重、尾实体的注意力权重和待处理篇章的篇章编码特征,得到由头实体和尾实体构成的实体对的上下文编码特征;基于头实体的实体编码特征、尾实体的实体编码特征和上下文编码特征,得到实体对的第一编码特征。
其中,篇章处理装置60还包括融合模块68,融合模块68用于在基于头实体对应的提及中字符的字符编码特征进行融合,得到头实体的实体编码特征之前,具体包括:基于所字符所属的提及对应实体的实体类型进行编码,得到类型编码特征,并基于字符所属的提及对应实体在待处理篇章中的实体序位进行编码,得到共指编码特征;基于字符的字符编码特征、字符对应的类型编码特征和共指编码特征进行融合,得到字符新的字符编码特征。
请参阅图7,图7是本申请提供的电子设备一实施例的结构示意图。电子设备70包括相互耦接的存储器71和处理器72,处理器72用于执行存储器71中存储的程序指令,以实现上述任一篇章处理方法实施例的步骤。在一个具体的实施场景中,电子设备70可以包括但不限于:微型计算机、服务器,此外,电子设备70还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器72用于控制其自身以及存储器71以实现上述任一篇章处理方法实施例的步骤。处理器72还可以称为CPU(Central Processing Unit,中央处理单元)。处理器72可能是一种集成电路芯片,具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecificIntegrated Circuit, ASIC)、现场可编程门阵列(Field-Programmable GateArray, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器72可以由集成电路芯片共同实现。
请参阅图8,图8是本申请提供的计算机可读存储介质一实施例的结构示意图。本申请实施例的计算机可读存储介质80存储有程序指令81,该程序指令81被执行时实现本申请篇章处理方法任一实施例以及任意不冲突的组合所提供的方法。其中,该程序指令81可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质80中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质80包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (13)

1.一种篇章处理方法,其特征在于,包括:
获取待处理篇章和关系集合;其中,所述待处理篇章中提及标注有对应的实体,且所述关系集合包含若干预设关系;
基于待处理篇章进行编码,得到实体对的第一编码特征和所述待处理篇章中句子的第二编码特征;其中,所述实体对由两个所述实体分别作为头实体和尾实体而组成;
基于所述实体对的第一编码特征和所述句子的第二编码特征,预测得到所述句子作为确定所述实体对之间实体关系的证据句的置信度;
基于各个所述句子分别作为所述实体对的证据句的置信度,在所述待处理篇章中为所述实体对选择作为证据句的句子;
基于所述待处理篇章和所述实体对的证据句,选择作为所述实体对之间所述实体关系的预设关系,得到所述实体对的第一关系抽取结果。
2.根据权利要求1所述的方法,其特征在于,位于相同所述句子中所述提及存在依存关系,对所述待处理篇章还编码得到所述提及的第三编码特征和所述依存关系的第四编码特征,所述基于所述待处理篇章和所述实体对的证据句,选择作为所述实体对之间所述实体关系的预设关系,得到所述实体对的第一关系抽取结果,包括:
构建节点图;其中,所述节点图中含有所述句子对应的句子节点、所述提及对应的提及节点和所述依存关系对应的依存节点,所述句子节点的初始特征表示为所述第二编码特征,所述提及节点的初始特征表示为所述第三编码特征,所述依存节点的初始特征表示为所述第四编码特征,对应于相同所述实体的提及节点之间存在边,所述提及节点和与其所属的句子节点之间存在边,存在所述依存关系的提及节点之间存在边;
基于图神经网络对所述节点图进行编码,得到所述节点图中各个节点的节点编码特征;
基于所述节点图中各个节点的节点编码特征,提取所述实体对的第五编码特征;
基于所述实体对的第五编码特征和所述实体对的证据句的第二编码特征,预测作为所述实体对之间所述实体关系的预设关系,得到所述实体对的第一关系抽取结果。
3.根据权利要求2所述的方法,其特征在于,所述基于图神经网络对所述节点图进行编码,得到所述节点图中各个节点的节点编码特征,包括:
获取所述图神经网络中各个网络层依次对所述节点图后的节点编码特征;
对于所述节点图中所述各个节点,基于所述节点在所述各个网络层依次编码分别所得到的节点编码特征进行融合,得到所述节点最终的节点编码特征。
4.根据权利要求2所述的方法,其特征在于,所述基于所述节点图中各个节点的节点编码特征,提取所述实体对的第五编码特征,包括:
合并对应于相同所述实体的提及节点,作为实体节点,并基于对应于相同所述实体的提及节点的节点编码特征,得到所述实体节点的节点编码特征;
获取以所述实体对中所述头实体为起点并以所述实体对中所述尾实体为终点的节点路径;
将所述节点路径上各个节点的节点编码特征进行融合,作为所述实体对的第五编码特征。
5.根据权利要求2所述的方法,其特征在于,所述关系集合中还包含NA关系,所述基于所述实体对的第五编码特征和所述实体对的证据句的第二编码特征,预测作为所述实体对之间所述实体关系的预设关系,得到所述实体对的第一关系抽取结果,包括:
基于所述实体对的第五编码特征和所述实体对的证据句的第二编码特征,对所述关系集合中各个关系分别进行二分类,得到所述各个关系的分类分值;
响应于所述预设关系的分类分值大于第一阈值且大于所述NA关系的分类分值,将所述预设关系归于所述实体对的第一关系抽取结果。
6.根据权利要求1所述的方法,其特征在于,在所述基于所述待处理篇章和所述实体对的证据句,在关系集合中确定所述实体对之间的实体关系,作为所述实体对的第一关系抽取结果之前,所述方法还包括:
基于所述实体对的第一编码特征,在所述关系集合中确定所述实体对之间的实体关系,作为所述实体对的第二关系抽取结果;
在所述基于所述待处理篇章和所述实体对的证据句,在关系集合中确定所述实体对之间的实体关系,作为所述实体对的第一关系抽取结果之后,所述方法还包括:
将所述第一关系抽取结果和所述第二关系抽取结果的交集,作为所述实体对的目标关系抽取结果。
7.根据权利要求6所述的方法,其特征在于,所述关系集合中还包含NA关系,所述基于所述实体对的第一编码特征,在所述关系集合中确定所述实体对之间的实体关系,作为所述实体对的第二关系抽取结果,包括:
基于所述实体对的第一编码特征进行多分类,得到所述实体对之间所述实体关系分别为所述关系集合中各个关系的预测概率;
响应于所述预设关系的预测概率大于第二阈值且大于所述NA关系的预测概率,将所述预设关系归于所述实体对的第二关系抽取结果。
8.根据权利要求1所述的方法,其特征在于,所述置信度基于置信预测网络对所述第一编码特征和所述第二编码特征进行预测得到,所述置信预测网络的训练步骤包括:
选择样本篇章中作为确定样本实体对之间样本实体关系的样本句子,作为正例证据句,并选择所述样本篇章中不作为确定所述样本实体对之间所述样本实体关系的样本句子,作为负例证据句;
基于所述样本实体对的第一样本编码特征和所述正例证据句的第二样本编码特征,预测得到正例证据句的第一置信度,并基于所述样本实体对的第一样本编码特征和所述负例证据句的第三样本编码特征,预测得到所述负例证据句的第二置信度;
基于所述第一置信度和所述第二置信度,得到所述置信预测网络的网络损失;其中,所述网络损失与所述第一置信度负相关,且与所述第二置信度正相关;
基于所述网络损失,调整所述置信预测网络的网络参数。
9.根据权利要求1所述的方法,其特征在于,所述基于待处理篇章进行编码,得到实体对的第一编码特征,包括:
对所述待处理篇章进行编码,得到所述待处理篇章中各个字符的字符编码特征以及各个字符的注意力权重;
基于所述头实体对应的提及中所述字符的字符编码特征进行融合,得到所述头实体的实体编码特征,并基于所述尾实体对应的提及中所述字符的字符编码特征进行融合,得到所述尾实体的实体编码特征;
基于所述头实体对应的提及中所述字符的注意力权重进行融合,得到所述头实体的注意力权重,并基于所述尾实体对应的提及中所述字符的注意力权重,得到所述尾实体的注意力权重;
基于所述头实体的注意力权重、所述尾实体的注意力权重和所述待处理篇章的篇章编码特征,得到由所述头实体和所述尾实体构成的实体对的上下文编码特征;
基于所述头实体的实体编码特征、所述尾实体的实体编码特征和所述上下文编码特征,得到所述实体对的第一编码特征。
10.根据权利要求9所述的方法,其特征在于,在所述基于所述头实体对应的提及中所述字符的字符编码特征进行融合,得到所述头实体的实体编码特征之前,所述方法还包括:
基于所述字符所属的提及对应所述实体的实体类型进行编码,得到类型编码特征,并基于所述字符所属的提及对应所述实体在所述待处理篇章中的实体序位进行编码,得到共指编码特征;
基于所述字符的字符编码特征、所述字符对应的类型编码特征和所述共指编码特征进行融合,得到所述字符新的字符编码特征。
11.一种篇章处理装置,其特征在于,包括:
获取模块,用于获取待处理篇章和关系集合;其中,所述待处理篇章中提及标注有对应的实体,且所述关系集合包含若干预设关系;
编码模块,用于基于待处理篇章进行编码,得到实体对的第一编码特征和所述待处理篇章中句子的第二编码特征;其中,所述实体对由两个所述实体分别作为头实体和尾实体而组成;
预测模块,用于基于所述实体对的第一编码特征和所述句子的第二编码特征,预测得到所述句子作为确定所述实体对之间实体关系的证据句的置信度;
选择模块,用于基于各个所述句子分别作为所述实体对的证据句的置信度,在所述待处理篇章中为所述实体对选择作为证据句的句子;
确定模块,用于基于所述待处理篇章和所述实体对的证据句,选择作为所述实体对之间所述实体关系的预设关系,得到所述实体对的第一关系抽取结果。
12.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至10任一项所述的篇章处理方法。
13.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至10任一项所述的篇章处理方法。
CN202310106687.6A 2023-02-13 2023-02-13 篇章处理方法及相关装置、电子设备、存储介质 Active CN115774792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310106687.6A CN115774792B (zh) 2023-02-13 2023-02-13 篇章处理方法及相关装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310106687.6A CN115774792B (zh) 2023-02-13 2023-02-13 篇章处理方法及相关装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN115774792A true CN115774792A (zh) 2023-03-10
CN115774792B CN115774792B (zh) 2023-05-26

Family

ID=85393620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310106687.6A Active CN115774792B (zh) 2023-02-13 2023-02-13 篇章处理方法及相关装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN115774792B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610903A (zh) * 2022-03-29 2022-06-10 科大讯飞(苏州)科技有限公司 一种文本关系抽取方法、装置、设备以及存储介质
CN115358234A (zh) * 2022-07-14 2022-11-18 北京理工大学 基于图卷积网络与关系证据互指导的篇章关系抽取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610903A (zh) * 2022-03-29 2022-06-10 科大讯飞(苏州)科技有限公司 一种文本关系抽取方法、装置、设备以及存储介质
CN115358234A (zh) * 2022-07-14 2022-11-18 北京理工大学 基于图卷积网络与关系证据互指导的篇章关系抽取方法

Also Published As

Publication number Publication date
CN115774792B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110263324B (zh) 文本处理方法、模型训练方法和装置
US10740564B2 (en) Dialog generation method, apparatus, and device, and storage medium
CN110598206B (zh) 文本语义识别方法、装置、计算机设备和存储介质
CN111914067B (zh) 中文文本匹配方法及系统
WO2021128044A1 (zh) 一种基于上下文的多轮对话方法、装置、设备及存储介质
CN111046132A (zh) 一种检索多轮对话的客服问答处理方法及其系统
CN113627447B (zh) 标签识别方法、装置、计算机设备、存储介质及程序产品
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN111241850B (zh) 提供业务模型的方法及装置
CN111325340B (zh) 信息网络关系预测方法及系统
CN112836519A (zh) 文本生成模型的训练方法、文本生成方法及装置
CN114490950A (zh) 编码器模型的训练方法及存储介质、相似度预测方法及系统
CN113220839A (zh) 一种意图识别方法、电子设备及计算机可读存储介质
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN115761839A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN114095212B (zh) 一种对抗训练dga域名检测模型的方法及装置
CN110705282A (zh) 关键词提取方法、装置、存储介质及电子设备
CN107622769B (zh) 号码修改方法及装置、存储介质、电子设备
CN115774792A (zh) 篇章处理方法及相关装置、电子设备、存储介质
CN112735392B (zh) 语音处理方法、装置、设备及存储介质
CN114461943B (zh) 基于深度学习的多源poi语义匹配方法、装置及其存储介质
CN116704217A (zh) 基于困难样本挖掘的模型训练方法、设备和存储介质
CN115495579A (zh) 5g通信助理文本分类的方法、装置、电子设备及存储介质
CN115146589B (zh) 文本处理方法、装置、介质以及电子设备
CN114925681A (zh) 知识图谱问答问句实体链接方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant