CN115168619A - 实体关系抽取方法及相关装置、电子设备、存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，公开了一种实体关系抽取方法及相关装置、电子设备、存储介质，其中，实体关系抽取方法包括：识别待处理文本中的各个实体；基于各个实体进行预测，得到若干候选关系；其中，候选关系表征各个实体之间疑似存在的实体关系；基于各个实体和若干候选关系，生成得到若干假设文本；其中，假设文本表征假设两个实体之间真实存在候选关系的自然语言文本；基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系。上述方案，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时尽可能地减少冗余计算。

Description

实体关系抽取方法及相关装置、电子设备、存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种实体关系抽取方法及相关装置、电子设备、存储介质。

背景技术

随着人工智能的不断发展和突破，知识图谱（Knowledge Graph，KG）作为未来实现强人工智能的技术基石，受到了广泛关注。从知识图谱中抽取实体以及实体之间的实体关系是一项应用广泛且具有重要意义的任务。

目前，现有的实体关系抽取通常采用枚举关系类型的方式。由于这种方式在实体关系抽取过程中，需要枚举各种关系，故大大增加了计算量。特别在存在关系嵌套时，这种方式将产生过多的冗余计算。有鉴于此，如何降低实体关系抽取的计算量，特别是在存在关系嵌套时尽可能地减少冗余计算，成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种实体关系抽取方法及相关装置、电子设备、存储介质，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时尽可能地减少冗余计算。

为了解决上述技术问题，本申请第一方面提供了一种实体关系抽取方法，包括：识别待处理文本中的各个实体；基于各个实体进行预测，得到若干候选关系；其中，候选关系表征各个实体之间疑似存在的实体关系；基于各个实体和若干候选关系，生成得到若干假设文本；其中，假设文本表征假设两个实体之间真实存在候选关系的自然语言文本；基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系。

为了解决上述技术问题，本申请第二方面提供了一种实体关系抽取装置，包括：识别模块、预测模块、生成模块和确定模块，识别模块，用于识别待处理文本中的各个实体；预测模块，用于基于各个实体进行预测，得到若干候选关系；其中，候选关系表征各个实体之间疑似存在的实体关系；生成模块，用于基于各个实体和若干候选关系，生成得到若干假设文本；其中，假设文本表征假设两个实体之间真实存在候选关系的自然语言文本；确定模块，用于基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系。

为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面的实体关系抽取方法。

为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的实体关系抽取方法。

上述方案，识别待处理文本中的各个实体，基于各个实体进行预测，得到若干候选关系，且候选关系表征各个实体之间疑似存在的实体关系，再基于各个实体和若干候选关系，生成得到若干假设文本，且假设文本表征假设两个实体之间真实存在候选关系的自然语言文本，在此基础上，基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系，由于在实体关系抽取过程中先粗筛得到候选关系，再基于由粗筛得到的候选关系所生成的假设文本进行细筛，以确定假设文本中两个实体之间是否真实存在候选关系，即在实体关系抽取过程中能够无需枚举各种关系，故基于先粗筛后细筛的实体关系抽取思路，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。

附图说明

图1是本申请实体关系抽取方法一实施例的流程示意图；

图2是本申请实体关系抽取方法一实施例的过程示意图；

图3是本申请实体关系抽取装置一实施例的框架示意图；

图4是本申请电子设备一实施例的框架示意图；

图5是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中片段“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

本申请公开实施例，先识别待处理文本中的各个实体，并基于各个实体进行预测，得到若干候选关系，且候选关系表征各个实体之间疑似存在的实体关系，再基于各个实体和若干候选关系，生成得到若干假设文本，且假设文本表征假设两个实体之间真实存在候选关系的自然语言文本，在此基础上，基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系，由于在实体关系抽取过程中先粗筛得到候选关系，再基于由粗筛得到的候选关系所生成的假设文本进行细筛，以确定假设文本中两个实体之间是否真实存在候选关系，即在实体关系抽取过程中能够无需枚举各种关系，故基于先粗筛后细筛的实体关系抽取思路，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。为了便于理解，需要说明的是，关系嵌套通常可以包括单实体嵌套和实体对嵌套，前者指的是同一个实体同时出现在不同的关系三元组中，后者指的是同一头尾实体对出现在不同的三元组中。由此可见，对于枚举各种关系的实体抽取方式来说，实体之间真实存在的实体关系的数量，相较于需要枚举的各种关系的总数量而言，通常微乎其微，因此枚举各种关系的实体抽取方式，必然会导致大量的冗余计算。因此，相较于而言，基于先粗筛后细筛的实体关系抽取思路，能够大大减少需要度量的关系，从而能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。

请参阅图1，图1是本申请实体关系抽取方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：识别待处理文本中的各个实体。

在一个实施场景中，待处理文本可以由用户输入得到，也可以从网页、书籍、期刊等获取得到，还可以对语音进行识别得到，在此对待处理文本的获取方式不做限定。

在一个实施场景中，可以采用诸如BIO等命名实体识别（Named EntityRecognition，NER）工具对待识别文本进行实体识别，得到待处理文本中的各个实体。请结合参阅图2，图2是本申请实体关系抽取方法一实施例的过程示意图。如图2所示，以待处理文本“约翰来自A国B州”为例，通过对该待处理文本进行命名实体识别，可以得到该待处理文本中的各个实体：约翰、B州、A国。其他情况可以以此类推，在此不再一一举例。需要说明的是，尽管上述待处理文本以中文表示，但实际应用过程中，待处理文本的语种并不限于中文，也可以包含英文、日文、法文等，对待处理文本所涉及语种并不限定。

步骤S12：基于各个实体进行预测，得到若干候选关系。

本公开实施例中，候选关系表征各个实体之间疑似存在的实体关系。具体而言，若干候选关系包括各个实体两两之间疑似存在的实体关系。请结合参阅图2，仍以待处理文本“约翰来自A国B州”为例，基于待处理文本中识别出来的各个实体“约翰、B州、A国”，可以预测得到各个实体两两之间疑似存在的实体关系包括：居住于、坐落于两种。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，为了便于预测候选关系，可以预先统计各种实体类别两两之间可能存在的实体关系，形成实体类别对与实体关系之间的映射关系。例如，实体类别对“人—地点”可以与实体关系“居住于”等存在映射关系，而实体类别对“地点—地点”可以与实体关系“坐落于”等存在映射关系，以此类推，在此不再一一举例。在此基础上，可以再根据待处理文本中的各个实体两两组合所形成的实体对中两个实体分别所属的实体类别，从上述映射关系确定得到候选关系。仍以待处理文本“约翰来自A国B州”为例，由于待处理文本中的各个实体“约翰、B州、A国”两两组合分别对应的实体类别对包含“地点—地点”和“人—地点”两种，故若干候选关系可以包括“坐落于”和“居住于”。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，请继续结合参阅图2，为了提升候选关系预测的准确性和效率，可以预先训练关系预测模型，并利用关系预测模型对各个实体进行预测，得到若干候选关系，而关系预测模型可以由若干预训练语言模型作为教师模型进行知识蒸馏得到，若干预训练语言模型可以基于若干样本数据通过关系抽取任务训练得到，且样本数据具体可以包括样本实体和样本实体之间真实存在的样本关系。需要说明的是，样本数据中所包含的样本实体可以不止两个，如还可以是三个、四个、五个等，在此不做限定。与之类似地，任意两个样本实体之间真实存在的样本关系也可以不止一个，如还可以是两个、三个、四个、五个等。还需要说明的是，知识蒸馏（Knowledge Distillation）可以用来将网络从大网络（即教师模型）转化成一个小网络（即学生模型），并保留接近于大网络的性能；也可以将多个网络（即教师模型）的学到的知识转移到一个网络（即学生模型）中，使得单个网络（即学生模型）的性能接近集成多个网络（即教师模型）的结果。也就是说，在本公开实施例中，若干预训练语言模型基于样本数据通过关系抽取任务训练完成之后，可以作为知识蒸馏的教师模型，最后知识蒸馏所得到的学生模型即为关系预测模型。知识蒸馏的具体过程，可以参阅知识蒸馏的技术细节，在此不再赘述。上述方式，将若干在关系抽取任务上训练得到的预训练语言模型作为教师模型，通过知识蒸馏的方式得到关系预测模型，从而利用关系预测模型对各个实体进行预测，得到若干候选关系，能够有助于在提升候选关系预测的准确性和效率的同时，由于经知识蒸馏所得到的关系预测模型相较于作为教师模型的预训练语言模型而言，具有更少的网络参数，故还能够提升关系预测的速度。

在一个具体的实施场景中，预训练语言模型可以包括但不限于：BERT-large（Bidirectional Encoder Representation from Transformers，即基于Transformer的双向编码表示）等，在此不做限定。以预训练语言模型采用BERT-large为例，学生模型可以采用BERT-base，其他情况可以以此类推，在此不再一一举例。

在一个具体的实施场景中，若干预训练语言模型的具体数量可以不做限定。示例性地，若干预训练语言模型的具体数量可以多于1个，如可以为2个、3个、4个等等，在此不做限定。

在一个具体的实施场景中，可以将若干预训练语言模型，分别作为当前语言模型，再基于若干样本数据训练当前语言模型，并获取当前语言模型分别在若干样本数据上进行关系抽取时的错误度，从而可以响应于当前语言模型并非最后一个预训练语言模型，重新执行前述将若干预训练语言模型，分别作为当前语言模型，再基于若干样本数据训练当前语言模型的步骤以及后续步骤，直至最新当前语言模型为最后一个预训练语言模型为止。且在此过程中，最新当前语言模型训练时的损失值，可以基于最新当前语言模型的上一预训练语言模型，在若干样本数据上进行关系抽取时的错误度加权得到。也就是说，最新当前语言模型的上一预训练语言模型在样本数据上进行关系抽取时的错误度越高，则最新当前语言模型训练时的损失值中该样本数据所占的比重越大，反之，最新当前语言模型的上一预训练语言模型在样本数据上进行关系抽取时的错误度越低，则最新当前语言模型训练时的损失值中该样本数据所占的比重越小。上述方式，通过若干样本数据依次训练各个预训练语言模型，且最新当前语言模型训练时的损失值，基于最新当前语言模型的上一预训练语言模型，在若干样本数据上进行关系抽取时的错误度加权得到，故在依次训练各个预训练语言模型过程中，能够针对上一训练的预语言模型的弱点，对当前训练的预训练语言模型进行强化训练，从而若干预训练语言模型经知识蒸馏后所得到的关系预测模型，能够大大提升其准确性。

需要说明的是，对于首个当前语言模型而言，在基于若干样本数据训练当前语言模型时，可以基于当前语言模型对样本数据中样本实体进行关系抽取，得到样本实体之间的预测关系，再基于预测关系与样本关系之间的差异，度量得到当前语言模型的损失值。具体来说，在进行关系抽取时，可以预测得到样本实体之间符合各种预设关系的预测概率值，从而可以将预测概率值最大的N个（如，1个、2个、3个等）预设关系作为预测关系。基于此，即可参考样本关系，采用诸如交叉熵等损失函数处理上述预测概率值，得到样本数据对应的子损失值，再将若干样本数据分别对应的子损失值进行融合（如，相加），即可得到首个当前语言模型的损失值。进一步地，可以采用梯度下降等优化方式，基于损失值调整首个当前语言模型的网络参数。在此之后，即可获取首个当前语言模型分别在若干样本数据进行关系抽取时的错误度。具体来说，在样本数据上进行关系抽取时的错误度，可以采用1与模型在该样本数据上进行关系抽取时预测得到样本关系的预测概率值之间的差值来度量。也就是说，预测到样本关系的预测概率值越大，在该样本数据上进行关系抽取时的错误度越低，反之，预测到样本关系的概率值越小，在该样本数据上进行关系抽取时的错误度越高。对于非首个当前语言模型来说，与首个当前语言模型在训练过程中的主要区别在于，在损失值计算时，在计算得到各个样本数据分别对应的子损失值之后，需要采用上一预训练语言模型分别在各个样本数据进行关系抽取时的错误度，对各个样本数据分别对应的子损失值进行加权求和，得到损失值。示例性地，对于第i（i为大于1的整数）个当前语言模型来说，在计算得到N个样本数据分别对应的子损失值之后，需要采用第i-1个当前语言模型分别在N个样本数据进行关系抽取时的错误度，对N个样本数据分别对应的子损失值进行加权求和，得到第i个当前语言模型的损失值。其他训练过程，可以参阅首个当前语言模型，在此不再赘述。在将所有预训练语言模型基于若干样本数据分别通过关系抽取任务训练完毕之后，即可通过知识蒸馏机制，将这些预训练语言模型在训练过程中学习到的知识传递给学生模型，之后即可将知识蒸馏后所得到的学生模型，作为关系预测模型。

此外，在得到关系预测模型之后，即可基于关系预测模型对各个实体进行关系抽取，即可以将从待处理文本中识别得到的各个实体输入至关系预测模型，从而可以得到待处理文本中任意两个实体之间符合各种预设关系的概率值，从而可以将概率值最大的N个（如，1个、2个、3个等）预设关系作为这两个实体之间的候选关系。

步骤S13：基于各个实体和若干候选关系，生成得到若干假设文本。

本公开实施例中，假设文本表征假设两个实体之间真实存在候选关系的自然语言文本。也就是说，每个假设文本应包含两个实体和一个候选关系，并以自然语言的形式组织表达。

在一个实施场景中，可以基于各个实体和若干候选关系，组成若干候选三元组，再基于若干候选三元组分别进行文本生成，得到若干假设文本。上述方式，先基于实体和候选关系，组成候选三元组，再基于候选三元组生成假设文本，能够有助于假设文本的语义连贯性，从而有助于提升后续推理的准确性。

在一个具体的实施场景中，为了提升文本生成的效率，可以预先训练一个文本生成模型，从而可以基于文本生成模型对候选三元组进行文本生成，得到候选三元组对应的假设文本。文本生成模型可以包括但不限于T5模型，在此对文本生成模型的网络结构不做限定。具体来说，可以预先获取用于训练文本生成模型的样本数据，且样本数据包含样本三元组以及与样本三元组对应的样本文本。需要说明的是，样本文本包含样本三元组，且以自然语言的形式组织表达。示例性地，样本数据可以包含样本三元组（小明，出生地，XX市）以及对应的样本文本“小明的出生地是XX市”。在此基础上，可以将样本三元组输入文本生成模型，得到生成文本，以及基于样本文本与生成文本之间的差异，调整文本生成模型的网络参数。差异度量的具体过程，以及参数调整的具体方式，可以参阅前述相关描述，在此不再赘述。

在一个具体的实施场景中，请继续结合参阅图2，仍以待处理文本“约翰来自A国B州”为例，识别得到的各个实体包括{约翰、B州、A国}，预测得到的若干候选关系包括{居住于、坐落于}，则可以组成包括但不限于如下候选三元组：{约翰，居住于，B州 }、{约翰，居住于，A国 }、{B州，坐落于，A国}等，在此不做限定。在此基础上，可以利用文本生成模型分别对上述各个候选三元组进行文本生成，得到上述各个候选三元组分别对应的假设文本：“约翰住在B州”、“约翰住在A国”、“B州在A国”等。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，区别于前述方式，为了进一步减少冗余计算，在基于各个实体和若干候选关系，组成若干候选三元组之后，以及基于若干候选三元组分别进行文本生成，得到若干假设文本之前，可以对若干候选三元组分别进行逻辑检查，以滤除逻辑错误的候选三元组，在此基础上，可以再基于剩余的候选三元组进行文本生成，得到若干假设文本。示例性地，仍以待处理文本“约翰来自A国B州”为例，通过将任意两个实体与任一候选关系组合，即可得到候选三元组，之后即可对各个候选三元组分别进行逻辑检查，对于诸如{约翰，坐落于，B州 }、{约翰，坐落于，A国 }、{B州，居住于，A国 }等候选三元组来说，明显存在逻辑不符的情况，故可以滤除这部分候选三元组。其他情况可以以此类推，在此不再一一举例。

步骤S14：基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系。

在一个实施场景中，推理结果可以包括假设文本中两个实体之间的推理关系。示例性地，推理关系可以包括：蕴含关系、矛盾关系、无关系等。需要说明的是，蕴含关系（也即entailment）表示根据现有知识可以推导得到假设文本为真，矛盾关系表示假设文本与现有知识矛盾，而无关系表示假设文本与现有知识无关。在此基础上，即可响应于推理关系为蕴含关系，确定假设文本中两个实体之间真实存在候选关系，响应于推理关系为矛盾关系或无关系，确定假设文本中两个实体之间不存在候选关系。为了便于描述，仍以待处理文本“约翰来自A国B州”为例，现有知识至少可以包括待处理文本，则对于假设文本“约翰住在B州”而言，根据现有知识仅知晓约翰来自B州，但无法确定约翰是否居住于B州，即约翰虽然来自B州，但有可能目前并不居住于B州，甚至并不居住于A国，因此“约翰住在B州”的推理结果中推理关系为无关系，同理假设文本“约翰住在A国”的推理结果中推理关系也为无关系。而对于假设文本“B州在A国”，可以从待处理文本“约翰来自A国B州”直接推理得到，因此假设文本“B州在A国”的推理结果中推理关系为蕴含关系。其他情况可以以此类推，在此不再一一举例。上述方式，推理结果包括假设文本中两个实体之间的推理关系，且响应于推理关系为蕴含关系，确定假设文本中两个实体之间真实存在候选关系，响应于推理关系为矛盾关系或无关系，确定假设文本中两个实体之间不存在候选关系，即能够通过文本蕴含任务实现假设文本的真假推理，有助于提升实体关系确定的准确性。

在一个实施场景中，为了提升推理结果的准确性，可以预先训练一个推理模型，从而可以基于推理模型对假设文本和待处理文本进行预测，得到假设文本的推理结果。示例性地，仍以待处理文本“约翰来自A国B州”为例，对于假设文本“约翰住在B州”而言，可以将假设文本“约翰住在B州”和待处理文本“约翰来自A国B州”输入推理模型，得到假设文本“约翰住在B州”的推理结果。其他情况可以以此类推，在此不再一一举例。具体来说，可以预先收集用于训练推理模型的若干样本数据，且样本数据可以包含样本假设文本和样本参考文本，以及样本假设文本中样本实体之间的样本推理关系。在此基础上，将样本假设文本和样本参考文本输入推理模型，得到样本假设文本中样本实体之间的预测推理关系，再基于样本推理关系和预测推理关系之间的差异，调整推理模型的网络参数。差异度量的具体过程，以及参数调整的具体方式，可以参阅前述相关描述，在此不再赘述。上述方式，假设文本的推理结果基于推理模型对假设文本和待处理文本预测得到，能够有助于提升推理关系的预测精度和预测效率。

在一个实施场景中，如前所述，可以基于各个实体和若干候选关系，组成若干候选三元组，再基于若干候选三元组分别进行文本生成，得到若干假设文本，则基于此，可以响应于确定假设文本中两个实体之间真实存在候选关系，保留假设文本对应的候选三元组，作为目标三元组，而响应于确定假设文本中两个实体之间不存在候选关系，可以舍弃假设文本对应的候选三元组。为了便于描述，仍以待处理文本“约翰来自A国B州”为例，由于假设文本“约翰住在B州”和“约翰住在A国”而言，由于两者的推理结果中推理关系均为无关系，故可以确定假设文本“约翰处在B州”中实体“约翰”和实体“B州”并不真实存在候选关系“居住于”，且假设文本“约翰住在A国”中实体“约翰”和实体“A国”并不真实存在候选关系“居住于”，故可以舍弃假设文本“约翰住在B州”对应的候选三元组{约翰，居住于，B州 }和假设文本“约翰住在A国”对应的候选三元组{约翰，居住于，A国}，反之，由于假设文本“B州在A国”的推理结果中推理关系为蕴含关系，故可以确定假设文本“B州在A国”中实体“B州”和实体“A国”真实存在候选关系“坐落于”，故可以保留假设文本“B州在A国”对应的候选三元组{B州，坐落于，A国 }，作为目标三元组。其他情况可以以此类推，在此不再一一举例。上述方式，响应于确定假设文本中两个实体之间真实存在候选关系，保留假设文本对应的候选三元组，作为目标三元组，而响应于确定假设文本中两个实体之间不存在候选关系，舍弃假设文本对应的候选三元组，能够有助于基于各个假设文本中候选关系是否真实存在，而针对性地对候选三元组采取舍弃或保留。

上述方案，识别待处理文本中的各个实体，基于各个实体进行预测，得到若干候选关系，且候选关系表征各个实体之间疑似存在的实体关系，再基于各个实体和若干候选关系，生成得到若干假设文本，且假设文本表征假设两个实体之间真实存在候选关系的自然语言文本，在此基础上，基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系，由于在实体关系抽取过程中先粗筛得到候选关系，再基于由粗筛得到的候选关系所生成的假设文本进行细筛，以确定假设文本中两个实体之间是否真实存在候选关系，即在实体关系抽取过程中能够无需枚举各种关系，故基于先粗筛后细筛的实体关系抽取思路，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。

请参阅图3，图3是本申请实体关系抽取装置30一实施例的框架示意图。实体关系抽取装置30包括：识别模块31、预测模块32、生成模块33和确定模块34，识别模块31，用于识别待处理文本中的各个实体；预测模块32，用于基于各个实体进行预测，得到若干候选关系；其中，候选关系表征各个实体之间疑似存在的实体关系；生成模块33，用于基于各个实体和若干候选关系，生成得到若干假设文本；其中，假设文本表征假设两个实体之间真实存在候选关系的自然语言文本；确定模块34，用于基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系。

上述方案，识别待处理文本中的各个实体，基于各个实体进行预测，得到若干候选关系，且候选关系表征各个实体之间疑似存在的实体关系，再基于各个实体和若干候选关系，生成得到若干假设文本，且假设文本表征假设两个实体之间真实存在候选关系的自然语言文本，在此基础上，基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系，由于在实体关系抽取过程中先粗筛得到候选关系，再基于由粗筛得到的候选关系所生成的假设文本进行细筛，以确定假设文本中两个实体之间是否真实存在候选关系，即在实体关系抽取过程中能够无需枚举各种关系，故基于先粗筛后细筛的实体关系抽取思路，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。

在一些公开实施例中，若干候选关系由关系预测模型对各个实体进行预测得到，关系预测模型由若干预训练语言模型作为教师模型进行知识蒸馏得到，若干预训练语言模型基于若干样本数据通过关系抽取任务训练得到，且样本数据包括样本实体和样本实体之间真实存在的样本关系。

因此，将若干在关系抽取任务上训练得到的预训练语言模型作为教师模型，通过知识蒸馏的方式得到关系预测模型，从而利用关系预测模型对各个实体进行预测，得到若干候选关系，能够有助于在提升候选关系预测的准确性和效率的同时，由于经知识蒸馏所得到的关系预测模型相较于作为教师模型的预训练语言模型而言，具有更少的网络参数，故还能够提升关系预测的速度。

在一些公开实施例中，实体关系抽取装置30包括选择模块，用于将若干预训练语言模型，分别作为当前语言模型；实体关系抽取装置30包括训练模块，用于基于若干样本数据训练当前语言模型；实体关系抽取装置30包括获取模块，用于获取当前语言模型分别在若干样本数据上进行关系抽取时的错误度；实体关系抽取装置30包括循环模块，用于响应于当前语言模型并非最后一个预训练语言模型，重新执行将若干预训练语言模型，分别作为当前语言模型的步骤以及后续步骤；其中，最新当前语言模型训练时的损失值，基于最新当前语言模型的上一预训练语言模型，在若干样本数据上进行关系抽取时的错误度加权得到。

因此，通过若干样本数据依次训练各个预训练语言模型，且最新当前语言模型训练时的损失值，基于最新当前语言模型的上一预训练语言模型，在若干样本数据上进行关系抽取时的错误度加权得到，故在依次训练各个预训练语言模型过程中，能够针对上一训练的预语言模型的弱点，对当前训练的预训练语言模型进行强化训练，从而若干预训练语言模型经知识蒸馏后所得到的关系预测模型，能够大大提升其准确性。

在一些公开实施例中，假设文本的推理结果基于推理模型对假设文本和待处理文本预测得到。

因此，假设文本的推理结果基于推理模型对假设文本和待处理文本预测得到，能够有助于提升推理关系的预测精度和预测效率。

在一些公开实施例中，推理结果包括假设文本中两个实体之间的推理关系，确定模块34包括第一确定子模块，用于响应于推理关系为蕴含关系，确定假设文本中两个实体之间真实存在候选关系；确定模块34包括第二确定子模块，用于响应于推理关系为矛盾关系或无关系，确定假设文本中两个实体之间不存在候选关系。

因此，推理结果包括假设文本中两个实体之间的推理关系，且响应于推理关系为蕴含关系，确定假设文本中两个实体之间真实存在候选关系，响应于推理关系为矛盾关系或无关系，确定假设文本中两个实体之间不存在候选关系，即能够通过文本蕴含任务实现假设文本的真假推理，有助于提升实体关系确定的准确性。

在一些公开实施例中，生成模块33包括三元组组成子模块，用于基于各个实体和若干候选关系，组成若干候选三元组；生成模块33包括文本生成子模块，用于基于若干候选三元组分别进行文本生成，得到若干假设文本。

因此，先基于实体和候选关系，组成候选三元组，再基于候选三元组生成假设文本，能够有助于假设文本的语义连贯性，从而有助于提升后续推理的准确性。

在一些公开实施例中，实体关系抽取装置30还包括保留模块，用于响应于确定假设文本中两个实体之间真实存在候选关系，保留假设文本对应的候选三元组，作为目标三元组；实体关系抽取装置30还包括舍弃模块，用于响应于确定假设文本中两个实体之间不存在候选关系，舍弃假设文本对应的候选三元组。

因此，响应于确定假设文本中两个实体之间真实存在候选关系，保留假设文本对应的候选三元组，作为目标三元组，而响应于确定假设文本中两个实体之间不存在候选关系，舍弃假设文本对应的候选三元组，能够有助于基于各个假设文本中候选关系是否真实存在，而针对性地对候选三元组采取舍弃或保留。

请参阅图4，图4是本申请电子设备40一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42，存储器41中存储有程序指令，处理器42用于执行程序指令以实现上述任一实体关系抽取方法实施例中的步骤。具体地，电子设备40可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑等等，在此不做限定。

具体而言，处理器42用于控制其自身以及存储器41以实现上述任一实体关系抽取方法实施例中的步骤。处理器42还可以称为CPU（Central Processing Unit，中央处理单元）。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（ApplicationSpecific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable GateArray, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。

上述方案，识别待处理文本中的各个实体，基于各个实体进行预测，得到若干候选关系，且候选关系表征各个实体之间疑似存在的实体关系，再基于各个实体和若干候选关系，生成得到若干假设文本，且假设文本表征假设两个实体之间真实存在候选关系的自然语言文本，在此基础上，基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系，由于在实体关系抽取过程中先粗筛得到候选关系，再基于由粗筛得到的候选关系所生成的假设文本进行细筛，以确定假设文本中两个实体之间是否真实存在候选关系，即在实体关系抽取过程中能够无需枚举各种关系，故基于先粗筛后细筛的实体关系抽取思路，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。

请参阅图5，图5是本申请计算机可读存储介质50一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令51，程序指令51用于实现上述任一实体关系抽取方法实施例中的步骤。

上述方案，识别待处理文本中的各个实体，基于各个实体进行预测，得到若干候选关系，且候选关系表征各个实体之间疑似存在的实体关系，再基于各个实体和若干候选关系，生成得到若干假设文本，且假设文本表征假设两个实体之间真实存在候选关系的自然语言文本，在此基础上，基于假设文本的推理结果，确定假设文本中两个实体之间是否真实存在候选关系，由于在实体关系抽取过程中先粗筛得到候选关系，再基于由粗筛得到的候选关系所生成的假设文本进行细筛，以确定假设文本中两个实体之间是否真实存在候选关系，即在实体关系抽取过程中能够无需枚举各种关系，故基于先粗筛后细筛的实体关系抽取思路，能够降低实体关系抽取的计算量，特别是在存在关系嵌套时能够尽可能地减少冗余计算。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (9)

1.一种实体关系抽取方法，其特征在于，包括：

识别待处理文本中的各个实体；

基于所述各个实体进行预测，得到若干候选关系；其中，所述候选关系表征所述各个实体之间疑似存在的实体关系；

基于所述各个实体和所述若干候选关系，生成得到若干假设文本；其中，所述假设文本表征假设两个所述实体之间真实存在所述候选关系的自然语言文本，且每个所述假设文本包含两个所述实体和一个所述候选关系；

基于所述假设文本的推理结果，确定所述假设文本中两个所述实体之间是否真实存在所述候选关系；其中，所述假设文本的推理结果基于推理模型对所述假设文本和所述待处理文本预测得到，且所述推理结果包括所述假设文本中两个所述实体之间的推理关系，且所述推理关系为：蕴含关系、矛盾关系、无关系中任一者。

2.根据权利要求1所述的方法，其特征在于，所述若干候选关系由关系预测模型对所述各个实体进行预测得到，所述关系预测模型由若干预训练语言模型作为教师模型进行知识蒸馏得到，所述若干预训练语言模型基于若干样本数据通过关系抽取任务训练得到，且所述样本数据包括样本实体和所述样本实体之间真实存在的样本关系。

3.根据权利要求2所述的方法，其特征在于，所述若干预训练语言模型的训练步骤包括：

将所述若干预训练语言模型，分别作为当前语言模型；

基于所述若干样本数据训练所述当前语言模型，并获取所述当前语言模型分别在所述若干样本数据上进行关系抽取时的错误度；

响应于所述当前语言模型并非最后一个所述预训练语言模型，重新执行所述将所述若干预训练语言模型，分别作为当前语言模型的步骤以及后续步骤；其中，最新所述当前语言模型训练时的损失值，基于最新所述当前语言模型的上一所述预训练语言模型，在所述若干样本数据上进行关系抽取时的错误度加权得到。

4.根据权利要求1所述的方法，其特征在于，所述基于所述假设文本的推理结果，确定所述假设文本中两个所述实体之间是否真实存在所述候选关系，包括以下至少一者：

响应于所述推理关系为所述蕴含关系，确定所述假设文本中两个所述实体之间真实存在所述候选关系；

响应于所述推理关系为所述矛盾关系或所述无关系，确定所述假设文本中两个所述实体之间不存在所述候选关系。

5.根据权利要求1所述的方法，其特征在于，所述基于所述各个实体和所述若干候选关系，生成得到若干假设文本，包括：

基于所述各个实体和所述若干候选关系，组成若干候选三元组；

基于所述若干候选三元组分别进行文本生成，得到所述若干假设文本；

在所述基于所述假设文本的推理结果，确定所述假设文本中两个所述实体之间是否真实存在所述候选关系之后，所述方法还包括以下至少一者：

响应于确定所述假设文本中两个所述实体之间真实存在所述候选关系，保留所述假设文本对应的候选三元组，作为目标三元组；

响应于确定所述假设文本中两个所述实体之间不存在所述候选关系，舍弃所述假设文本对应的候选三元组。

6.根据权利要求5所述的方法，其特征在于，所述假设文本基于文本生成模型对所述候选三元组进行文本生成得到。

7.一种实体关系抽取装置，其特征在于，包括：

识别模块，用于识别待处理文本中的各个实体；

预测模块，用于基于所述各个实体进行预测，得到若干候选关系；其中，所述候选关系表征所述各个实体之间疑似存在的实体关系；

生成模块，用于基于所述各个实体和所述若干候选关系，生成得到若干假设文本；其中，所述假设文本表征假设两个所述实体之间真实存在所述候选关系的自然语言文本，且每个所述假设文本包含两个所述实体和一个所述候选关系；

确定模块，用于基于所述假设文本的推理结果，确定所述假设文本中两个所述实体之间是否真实存在所述候选关系；其中，所述假设文本的推理结果基于推理模型对所述假设文本和所述待处理文本预测得到，且所述推理结果包括所述假设文本中两个所述实体之间的推理关系，且所述推理关系为：蕴含关系、矛盾关系、无关系中任一者。

8.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至6任一项所述的实体关系抽取方法。

9.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至6任一项所述的实体关系抽取方法。

Images