CN117494806B - 基于知识图谱和大语言模型的关系抽取方法、系统及介质 - Google Patents
基于知识图谱和大语言模型的关系抽取方法、系统及介质 Download PDFInfo
- Publication number
- CN117494806B CN117494806B CN202311830157.2A CN202311830157A CN117494806B CN 117494806 B CN117494806 B CN 117494806B CN 202311830157 A CN202311830157 A CN 202311830157A CN 117494806 B CN117494806 B CN 117494806B
- Authority
- CN
- China
- Prior art keywords
- entity
- language model
- abstract
- text
- reasoning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 87
- 230000001427 coherent effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 abstract description 11
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 239000002699 waste material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000031968 Cadaver Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于知识图谱和大语言模型的关系抽取方法、系统及介质，涉及自然语言处理技术领域，包括：从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；目标实体包括头实体和尾实体；基于大语言模型和依据目标实体所在文本，将候选抽象实体与实际语境中对应的抽象实体进行关联，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程；将推理过程融入提示中，利用大语言模型生成待预测文本中的头实体和尾实体之间的目标预测关系。本发明缓解了现有技术存在的对模型进行训练的过程费时费力的技术问题。
Description
技术领域
本发明涉及自然语言处理技术领域，特别是指一种基于知识图谱和大语言模型的关系抽取方法、系统及介质。
背景技术
关系抽取任务旨在从非结构化的文本中提取结构化的知识，在信息抽取和知识图谱构建中起着关键作用，其中包括识别一个给定句子中两个实体之间的关系类别。
大多数关系抽取方法都基于预训练语言模型微调进行进一步设计，例如实体关系特征的提取、实体知识注入等，这类方法首先需要对数据进行标注，获得一个高质量的规模较大的训练集，之后使用足够的计算资源对预训练语言模型进行进一步训练；这导致其性能严重依赖于优质的标注数据，这需要耗费大量的时间、人力，同时微调时需要大量的计算资源进行训练，这种训练方式也使得模型难以泛化到其他数据上。
基于提示学习的方法将关系抽取转化成一个生成任务，基于一个设计好的提示模板进一步微调，这类方法在少样本设置下表现较好，但这其实并没有完全将关系抽取任务转化为一个生成任务，因为需要耗费大量精力在模型生成的可控性（保证生成类别字符的可识别性），甚至仍然需要采用对应的语义向量进行分类，不具备很强的可读性。
现有的利用大语言模型进行关系抽取的工作主要关注于对上下文学习中的样例进行“择优选取”，没有关于对关系抽取任务设计思维链推理提示的工作。同时，现有的能够适配到关系抽取任务的思维链提示方法并不能取得很好的效果。原因可能是由大语言模型自己生成的推理步骤过于简单，没有展现出多步推理的能力，且没有体现出适配到关系抽取任务的推理形式。
发明内容
为了解决现有技术存在的对模型进行训练的过程费时费力的技术问题，本发明实施例提供了一种基于知识图谱和大语言模型的关系抽取方法、系统及介质。所述技术方案如下：
第一方面，本发明实施例提供了一种基于知识图谱和大语言模型的关系抽取方法，所述方法包括：从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；所述目标实体包括头实体和尾实体；基于大语言模型和依据所述目标实体所在文本，将所述候选抽象实体与实际语境中对应的抽象实体进行关联，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程；将所述推理过程融入提示中，利用大语言模型生成所述待预测文本中的头实体和尾实体之间的目标预测关系。
进一步地，基于大语言模型和依据所述目标实体所在文本，将所述候选抽象实体与实际语境中对应的抽象实体进行关联，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程，包括：将所述候选抽象实体和所述待预测文本一起输入到大语言模型中，提示大语言模型给出所述目标实体最契合当前文本的关联抽象实体；其中，所述大语言模型的推理样例为人工标注的种子样例，所述推理样例的样本数为至少一个；基于所述大语言模型，对所述目标实体进行知识推理，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程。
进一步地，将所述推理过程融入提示中，利用大语言模型生成所述待预测文本中的头实体和尾实体之间的目标预测关系，包括：基于所述推理过程，构造种子样例集；所述种子样例集包括每个类别标注对应的至少一个样例；基于所述种子样例集以及所构造的推理过程，利用上下文学习对大语言模型进行提示，生成所述待预测文本中的头实体和尾实体之间的目标预测关系。
进一步地，所述推理过程包括三段式推理步骤，所述三段式推理步骤包括：标识出头实体在相关文本中的抽象实体；标识出尾实体在相关文本中的抽象实体；应用原文本中相关文字作为证据，为所述头实体、关系类别标签和所述尾实体构建连贯的句子。
第二方面，本发明实施例还提供了一种基于知识图谱和大语言模型的关系抽取系统，包括：知识图谱检索模块，知识推理模块和关系推理模块；其中，所述知识图谱检索模块，用于从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；所述目标实体包括头实体和尾实体；所述知识推理模块，用于基于大语言模型和依据所述目标实体所在文本，将所述候选抽象实体与实际语境中对应的抽象实体进行关联，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程；所述关系推理模块，用于将所述推理过程融入提示中，利用大语言模型生成所述待预测文本中的头实体和尾实体之间的目标预测关系。
进一步地，所述知识推理模块，还用于：将所述候选抽象实体和所述待预测文本一起输入到大语言模型中，提示大语言模型给出所述目标实体最契合当前文本的关联抽象实体；其中，所述大语言模型的推理样例为人工标注的种子样例，所述推理样例的样本数为至少一个；基于所述大语言模型，对所述目标实体进行知识推理，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程。
进一步地，所述关系推理模块，还用于：基于所述推理过程，构造种子样例集；所述种子样例集包括每个类别标注对应的至少一个样例；基于所述种子样例集，利用上下文学习对大语言模型进行提示，生成所述待预测文本中的头实体和尾实体之间的目标预测关系。
进一步地，所述推理过程包括三段式推理步骤，所述三段式推理步骤包括：标识出头实体在相关文本中的抽象实体；标识出尾实体在相关文本中的抽象实体；应用原文本中相关文字作为证据，为所述头实体、关系类别标签和所述尾实体构建连贯的句子。
第三方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如第一方面所述的方法。
本发明实施例提供的技术方案带来的有益效果至少包括：简单有效，可以直接通过大语言模型的上下文学习完成，无需进行任何参数更新；同时大语言模型优秀的泛化能力也能保证我们的方法能够运用到不同的场景中；能够完全将关系抽取转化为一个自然语言生成任务，从而提高关系抽取的可解释性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于知识图谱和大语言模型的关系抽取方法的流程图；
图2是本发明实施例提供的一种知识推理部分的提示词结构示意图；
图3是本发明实施例提供的一种关系推理部分的提示词结构示意图；
图4是本发明实施例提供的第一种知识推理的举例示意图；
图5是本发明实施例提供的第二种知识推理的举例示意图；
图6是本发明实施例提供的一种关系推理的举例示意图；
图7是本发明实施例提供的一种基于知识图谱和大语言模型的关系抽取系统的示意图。
具体实施方式
下面结合附图，对本发明中的技术方案进行描述。
在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。此外，在本发明实施例中，“和/或”所表达的含义可以是两者都有，或者可以是两者任选其一。
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
实施例一
图1是根据本发明实施例提供的一种基于知识图谱和大语言模型的关系抽取方法的流程图。如图1所示，该方法具体包括如下步骤：
步骤S102，从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；目标实体包括头实体和尾实体。
步骤S104，基于大语言模型和依据目标实体所在文本，将候选抽象实体与实际语境中对应的抽象实体进行关联，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程。
步骤S106，将推理过程融入提示中，利用大语言模型生成待预测文本中的头实体和尾实体之间的目标预测关系。
具体的，本发明首先从知识图谱中抽取出每个实体对应的概念层信息，即抽象实体。例如“乔布斯”可能对应“人类”、“首席执行官”、“美国人”等多种抽象实体，“苹果”可能对应“水果”、“公司”等抽象实体。对于不同的知识图谱，其抽象实体的检索方式可能大不相同。
例如，以WikiData知识图谱为例说明抽象实体的提取过程：给定一个具体的实体，使用实体链接等技术将该实体与知识图谱中某个实体进行对应，对于WikiData中的实体而言，这可以得到某个实体对应的编号wd，利用WikiData中定义好的关系“instance of(P31)”检索该实体对应的抽象实体，即使用“SELECT $WDid WHERE {wd:<entity_uri>wdt:P31 ?WDid}”SPARQL语句从WikiData Query Service中检索出实体编号wd为<entity_uri>对应的相关抽象实体。
对于关系抽取来说，每次需要预测一个头实体和一个尾实体之间的关系，所以需要通过上述方法分别从知识图谱中抽取出每一个头实体、尾实体对应的所有抽象实体。
具体的，步骤S104还包括如下步骤：
步骤S1041，将候选抽象实体和待预测文本一起输入到大语言模型中，提示大语言模型给出目标实体最契合当前文本的关联抽象实体；其中，大语言模型的推理样例为人工标注的种子样例，推理样例的样本数为至少一个；
步骤S1042，基于大语言模型，对目标实体进行知识推理，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程。
具体的，在本发明实施例中，虽然在步骤S102中为每个实体抽取了相关抽象实体，然而每个实体可能同时对应于多种抽象实体，例如“乔布斯”这一实体可以同时对应“人类”、“首席执行官”等多种抽象实体，对于“乔布斯是苹果的联合创始人”、“乔布斯出生于加利福尼亚州旧金山”两种不同的语境下，“人类”和“CEO”两种抽象实体与文本的语义的契合度完全不同，对此，本发明需要挑选出最契合当前语境下的抽象实体。大语言模型在预训练过程中也储存了丰富的知识，且具有很好的语义理解能力，故本发明通过大语言模型解决该问题。
因为大语言模型具有上下文学习能力，通过在提示中展示少量的推理步骤，在不进行任何参数优化的情况下，大语言模型就能从这些样例中学习到设定好的推理形式，从而按照人为设定的推理步骤针对给定测试样例进行生成。为此，本发明实施例中，需要根据具体任务手动标注少量的推理示例作为种子样例（包括后续关系推理模块也需要用到对应的种子样例）。
本发明实施例设计了以下推理模板使得大语言模型能够很好地识别出一个实体在当前语境下对应的抽象实体：将候选的抽象实体和待预测文本一起输入进语言模型中，提示大语言模型给出某个实体最契合当前文本的抽象实体，如图2所示：任务指令给出具体需求，即要求模型给指定实体指派一个类型（抽象实体）；推理样例为人工标注的种子样例，此处可以适当扩充为M个，要求M大于等于1；待预测样例即需要指派类型的实体与其上下文文本。
根据上述提示词模板，大语言模型能够按照上述方式对新的实体进行知识推理。对每一个需要预测关系的实体以及对应知识图谱检索模块得到的抽象实体结合上下文进行关系推理，最终将得到头实体、尾实体带有抽象实体的推理过程。
具体的，步骤S106还包括如下步骤：
步骤S1061，基于推理过程，构造种子样例集；种子样例集包括每个类别标注对应的至少一个样例；
其中，推理过程包括三段式推理步骤。具体的，三段式推理步骤包括：
标识出头实体在相关文本中的抽象实体；
标识出尾实体在相关文本中的抽象实体；
应用原文本中相关文字作为证据，为头实体、关系类别标签和尾实体构建连贯的句子。
步骤S1062，基于种子推理样例集，利用上下文学习对大语言模型进行提示，生成待预测文本中的头实体和尾实体之间的目标预测关系。
本发明实施例希望通过上下文学习和思维链推理借助大语言模型优秀的语义理解能力和推理能力来解决关系抽取任务。
具体的，本发明实施例设计了一种三段式推理步骤。首先，手动标识出头实体在相关文本中的抽象指代，例如“小明”这一人名实体对应“人类”这一抽象实体，对于需要预测的样例，本发明实施例直接将知识推理模块得到的推理过程作为此处的推理；其次，对于尾实体也进行相同的标注。最后，为了能在预测类别时拥有足够的事实信息，本发明实施例引用原文本中的一段相关文字作为证据，然后为头实体、关系类别标签、尾实体构建一个连贯的句子（增强标签的语义性）。下面是一个关于类别“cross”的例子：给定文本：“TheRailway Bridge is a bridge that crosses the Daugava river in Riga, thecapital of Latvia.”、头实体“Railway Bridge”和尾实体“Daugava ”，其对应的推理步骤为：
Subject entity “Railway Bridge” is a bridge name, which refers to theentity of bridge in the context.
Object entity “Daugava” is a river name, which refers to the entityof river in the context.
According to the context, “The Railway Bridge is a bridge thatcrosses the Daugava river.” indicates that “Railway Bridge” crosses“Daugava”.
So, the relation between “Railway Bridge” and “Daugava” is “cross”.
在第一步中，给出“Railway Bridge”对应了“桥”这一抽象实体，同时第二步中给出“Daugava”对应了“河流”这一实体，最后第三步摘取了给定文本中的关键信息“TheRailway Bridge is a bridge that crosses the Daugava river”同时将“RailwayBridge”、“Daugava”、“cross”表示为一个连贯的句子“Railway Bridge crosses Daugava”增强类别标签“cross”的语义性。
按照上述方法构造一个种子样例集，其数量就是所有需要标注的数据数量，至少对每个需要分类的类别标注一个样例。具体的提示词模板如图3所示：任务指令包含对关系抽取任务的描述，其中分类的类别数N可以根据具体情况进行确定；推理样例来自人工标注的种子样例，这里要求每种类别至少有一个对应的推理样例；待预测样例中的第1、2步由知识推理模块给出，模型需要接着当前1、2步继续完成推理。
在人工手写好上述种子推理示例后，接下来利用上下文学习对大语言模型进行提示，其就能够按照本发明实施例设计好的推理范式完成对关系类别的预测推理。
由以上描述可知，本发明实施例提供了一种基于知识图谱和大语言模型的关系抽取方法，该方法可以将关系抽取任务完全转化为一个自然语言生成任务（对话式），提供了可视化过程的同时提高了可解释性。相比传统的微调预训练语言模型方法，本方法不需要显示的训练过程，标注的数据量（每个类别至少一个标注数据即可）也远远低于监督学习需要的数据规模，同时大语言模型优秀的泛化能力以及知识图谱的引入也能保证该方法在不同领域文本上都能很好地进行关系抽取。相比已有的利用大语言模型进行关系抽取的方法，我们针对关系抽取设计了融入知识图谱的思维链推理，极大激发大语言模型对于关系抽取任务的推理能力。
实施例二
下面以来自学术界广泛采用的关系抽取数据集FewRel 1.0中的例子做说明本发明实施例提供的一种基于知识图谱和大语言模型的关系抽取方法的具体应用过程，其中该数据集提供了对应实体在WikiData中的编号；同时本发明实施例使用OpenAI开放使用的text-davinci-003作为大语言模型。
给定一段文本“The British Free Corps is featured in Jack Higgins'sWorld War II thriller The Eagle Has Landed.”，需要对（World War II，Q362）和（TheEagle Has Landed，Q1192103）两实体的关系进行分类（二元组代表实体以及其对应在WikiData中的编号）。本发明实施例首先利用上述知识检索模块得到其二对应的抽象实体，即World War II有world war、historical period两种抽象实体；The Eagle Has Landed有written work一种抽象实体。然后本发明实施例利用知识推理模块对World War II的抽象实体进行选取，最终可以得到“historical period”更贴合World War II在该文本中的描述，如图4所示，其中，阴影部分为模型的输出；对The Eagle Has Landed的知识推理如图5所示，其中，阴影部分为模型的输出；虽然不用选取，但还是能生成一段符合相关文本的知识推理过程。最后组织相关带有抽象实体的推理，让大语言模型根据此推理其关系，最终其预测World War II和The Eagle Has Landed之间的关系为main subject（预测正确），如图6所示，其中，阴影部分为模型的输出；其中本样例展示需要对3种类别进行分类，本发明实施例为每个类别提供了一个标注放在最后需要预测的实例之前。
通过上述过程可以看到，该方法只需要少量标注数据（3分类，每个类别1标注数据，共需要3个标注示例），即可让大语言模型准确完成关系分类，整个过程简便易行，无需进行繁杂的模型训练；同时整个过程完全以文本的形式完成，可解释性极强。
实施例三
图7是根据本发明实施例提供的一种基于知识图谱和大语言模型的关系抽取系统的示意图。如图7所示，该系统包括：知识图谱检索模块10，知识推理模块20和关系推理模块30。
具体的，知识图谱检索模块10，用于从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；目标实体包括头实体和尾实体；
知识推理模块20，用于基于大语言模型和依据目标实体所在文本，将候选抽象实体与实际语境中对应的抽象实体进行关联，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程；
关系推理模块30，用于将推理过程融入提示中，利用大语言模型生成待预测文本中的头实体和尾实体之间的目标预测关系。
具体的，知识推理模块20，还用于：
将候选抽象实体和待预测文本一起输入到大语言模型中，提示大语言模型给出目标实体最契合当前文本的关联抽象实体；其中，大语言模型的推理样例为人工标注的种子样例，推理样例的样本数为至少一个；
基于大语言模型，对目标实体进行知识推理，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程。
具体的，关系推理模块30，还用于：
基于推理过程，构造种子样例集；种子样例集包括每个类别标注对应的至少一个样例；
基于种子样例集，利用上下文学习对大语言模型进行提示，生成待预测文本中的头实体和尾实体之间的目标预测关系。
其中，推理过程包括三段式推理步骤。具体的，三段式推理步骤包括：
标识出头实体在相关文本中的抽象实体；
标识出尾实体在相关文本中的抽象实体；
应用原文本中相关文字作为证据，为头实体、关系类别标签和尾实体构建连贯的句子。
本发明实施例还提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行如实施例一中的方法。
还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random accessmemory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。
上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (3)
1.一种基于知识图谱和大语言模型的关系抽取方法，其特征在于，所述方法包括：
从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；所述目标实体包括头实体和尾实体；
基于大语言模型和依据所述目标实体所在文本，将所述候选抽象实体与实际语境中对应的抽象实体进行关联，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程；
将所述推理过程融入提示中，利用大语言模型生成所述待预测文本中的头实体和尾实体之间的目标预测关系；
其中，基于大语言模型和依据所述目标实体所在文本，将所述候选抽象实体与实际语境中对应的抽象实体进行关联，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程，包括：
将所述候选抽象实体和所述待预测文本一起输入到大语言模型中，提示大语言模型给出所述目标实体最契合当前文本的关联抽象实体；其中，所述大语言模型的推理样例为人工标注的种子样例，所述推理样例的样本数为至少一个；
基于所述大语言模型，对所述目标实体进行知识推理，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程；
其中，将所述推理过程融入提示中，利用大语言模型生成所述待预测文本中的头实体和尾实体之间的目标预测关系，包括：
基于所述推理过程，构造种子样例集；所述种子样例集包括每个类别标注对应的至少一个样例；
基于所述种子样例集，利用上下文学习对大语言模型进行提示，生成所述待预测文本中的头实体和尾实体之间的目标预测关系；
其中，所述推理过程包括三段式推理步骤，所述三段式推理步骤包括：
标识出头实体在相关文本中的抽象实体；
标识出尾实体在相关文本中的抽象实体；
应用原文本中相关文字作为证据，为所述头实体、关系类别标签和所述尾实体构建连贯的句子。
2.一种基于知识图谱和大语言模型的关系抽取系统，其特征在于，包括：知识图谱检索模块，知识推理模块和关系推理模块；其中，
所述知识图谱检索模块，用于从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；所述目标实体包括头实体和尾实体；
所述知识推理模块，用于基于大语言模型和依据所述目标实体所在文本，将所述候选抽象实体与实际语境中对应的抽象实体进行关联，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程；
所述关系推理模块，用于将所述推理过程融入提示中，利用大语言模型生成所述待预测文本中的头实体和尾实体之间的目标预测关系；
其中，所述知识推理模块，还用于：
将所述候选抽象实体和所述待预测文本一起输入到大语言模型中，提示大语言模型给出所述目标实体最契合当前文本的关联抽象实体；其中，所述大语言模型的推理样例为人工标注的种子样例，所述推理样例的样本数为至少一个；
基于所述大语言模型，对所述目标实体进行知识推理，得到所述目标实体对应的关联抽象实体和对所述关联抽象实体的推理过程；
其中，所述关系推理模块，还用于：
基于所述推理过程，构造种子样例集；所述种子样例集包括每个类别标注对应的至少一个样例；
基于所述种子样例集，利用上下文学习对大语言模型进行提示，生成所述待预测文本中的头实体和尾实体之间的目标预测关系；
其中，所述推理过程包括三段式推理步骤，所述三段式推理步骤包括：
标识出头实体在相关文本中的抽象实体；
标识出尾实体在相关文本中的抽象实体；
应用原文本中相关文字作为证据，为所述头实体、关系类别标签和所述尾实体构建连贯的句子。
3.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311830157.2A CN117494806B (zh) | 2023-12-28 | 2023-12-28 | 基于知识图谱和大语言模型的关系抽取方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311830157.2A CN117494806B (zh) | 2023-12-28 | 2023-12-28 | 基于知识图谱和大语言模型的关系抽取方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117494806A CN117494806A (zh) | 2024-02-02 |
| CN117494806B true CN117494806B (zh) | 2024-03-08 |
Family
ID=89676744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311830157.2A Active CN117494806B (zh) | 2023-12-28 | 2023-12-28 | 基于知识图谱和大语言模型的关系抽取方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117494806B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114491066A (zh) * | 2022-01-17 | 2022-05-13 | 郑州锲颖信息科技有限公司 | 一种面向知识图谱构建的实体关系抽取方法及系统 |
| CN115658910A (zh) * | 2022-09-02 | 2023-01-31 | 中国科学院自动化研究所 | 知识问答方法、装置、电子设备和可读存储介质 |
| CN115687651A (zh) * | 2022-11-07 | 2023-02-03 | 科大讯飞股份有限公司 | 知识图谱构建方法、装置、电子设备及存储介质 |
| WO2023169072A1 (zh) * | 2022-03-08 | 2023-09-14 | 支付宝(杭州)信息技术有限公司 | 知识图谱中实体的配置方法、分析方法及装置 |
| CN116975161A (zh) * | 2023-05-26 | 2023-10-31 | 国网上海市电力公司 | 电力设备局放文本的实体关系联合抽取方法、设备、介质 |
| CN117033608A (zh) * | 2023-09-28 | 2023-11-10 | 中国电子科技集团公司第十研究所 | 一种基于大语言模型的知识图谱生成式问答方法及系统 |
| CN117131933A (zh) * | 2023-08-31 | 2023-11-28 | 华中师范大学 | 一种多模态知识图谱建立方法及应用 |
| CN117150050A (zh) * | 2023-10-31 | 2023-12-01 | 卓世科技(海南)有限公司 | 一种基于大语言模型的知识图谱构建方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428036B (zh) * | 2020-03-23 | 2022-05-27 | 浙江大学 | 一种基于生物医学文献的实体关系挖掘方法 |
| US11568138B2 (en) * | 2020-08-25 | 2023-01-31 | Beijing Wodong Tianjun Information Technology Co., Ltd. | System for entity and evidence-guided relation prediction and method of using the same |
-
2023
- 2023-12-28 CN CN202311830157.2A patent/CN117494806B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114491066A (zh) * | 2022-01-17 | 2022-05-13 | 郑州锲颖信息科技有限公司 | 一种面向知识图谱构建的实体关系抽取方法及系统 |
| WO2023169072A1 (zh) * | 2022-03-08 | 2023-09-14 | 支付宝(杭州)信息技术有限公司 | 知识图谱中实体的配置方法、分析方法及装置 |
| CN115658910A (zh) * | 2022-09-02 | 2023-01-31 | 中国科学院自动化研究所 | 知识问答方法、装置、电子设备和可读存储介质 |
| CN115687651A (zh) * | 2022-11-07 | 2023-02-03 | 科大讯飞股份有限公司 | 知识图谱构建方法、装置、电子设备及存储介质 |
| CN116975161A (zh) * | 2023-05-26 | 2023-10-31 | 国网上海市电力公司 | 电力设备局放文本的实体关系联合抽取方法、设备、介质 |
| CN117131933A (zh) * | 2023-08-31 | 2023-11-28 | 华中师范大学 | 一种多模态知识图谱建立方法及应用 |
| CN117033608A (zh) * | 2023-09-28 | 2023-11-10 | 中国电子科技集团公司第十研究所 | 一种基于大语言模型的知识图谱生成式问答方法及系统 |
| CN117150050A (zh) * | 2023-10-31 | 2023-12-01 | 卓世科技(海南)有限公司 | 一种基于大语言模型的知识图谱构建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于多关系循环事件的动态知识图谱推理;陈浩 等;《模式识别与人工智能》;20200430;第33卷(第4期);第337-343页 * |
| 基于混合表示的中文事件检测方法研究;秦彦霞 等;《中文信息学报》;20190430;第33卷(第4期);第85-92页 * |
| 大模型关键技术与未来发展方向;刘学博 等;《中国科学基金》;20231031;第37卷(第5期);第758-766页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117494806A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107463607B (zh) | 结合词向量和自举学习的领域实体上下位关系获取与组织方法 | |
| CN104615589A (zh) | 训练命名实体识别模型的方法、命名实体识别方法及装置 | |
| CN113191148B (zh) | 一种基于半监督学习和聚类的轨道交通实体识别方法 | |
| CN103678285A (zh) | 机器翻译方法和机器翻译系统 | |
| CN110795932B (zh) | 基于地质本体的地质报告文本信息提取方法 | |
| CN110008473B (zh) | 一种基于迭代方法的医疗文本命名实体识别标注方法 | |
| CN111274829A (zh) | 一种利用跨语言信息的序列标注方法 | |
| CN112614559A (zh) | 病历文本处理方法、装置、计算机设备和存储介质 | |
| CN113934909A (zh) | 基于预训练语言结合深度学习模型的金融事件抽取方法 | |
| Leonandya et al. | A semi-supervised algorithm for Indonesian named entity recognition | |
| CN110968661A (zh) | 事件抽取方法及系统、计算机可读存储介质及电子设备 | |
| CN115878818B (zh) | 一种地理知识图谱构建方法、装置、终端及存储介质 | |
| CN117494806B (zh) | 基于知识图谱和大语言模型的关系抽取方法、系统及介质 | |
| CN114842982B (zh) | 一种面向医疗信息系统的知识表达方法、装置及系统 | |
| CN116166789A (zh) | 一种方法命名精准推荐和审查方法 | |
| CN113553853B (zh) | 命名实体识别方法、装置、计算机设备及存储介质 | |
| CN115048536A (zh) | 知识图谱生成方法、装置、计算机设备和存储介质 | |
| CN113901793A (zh) | 结合rpa和ai的事件抽取方法及装置 | |
| CN111046934B (zh) | 一种swift报文软条款识别方法及装置 | |
| US20200226325A1 (en) | Converting unstructured technical reports to structured technical reports using machine learning | |
| Suriyachay et al. | Thai named entity tagged corpus annotation scheme and self verification | |
| CN105930471A (zh) | 演讲摘要生成方法及装置 | |
| CN114398492B (zh) | 一种在数字领域的知识图谱构建方法、终端及介质 | |
| CN117852637B (zh) | 一种基于定义的学科概念知识体系自动构建方法与系统 | |
| CN115600601B (zh) | 一种税法知识库构建方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |