CN117033667B - 一种知识图谱构建方法、装置、存储介质及电子设备 - Google Patents
一种知识图谱构建方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117033667B CN117033667B CN202311286038.5A CN202311286038A CN117033667B CN 117033667 B CN117033667 B CN 117033667B CN 202311286038 A CN202311286038 A CN 202311286038A CN 117033667 B CN117033667 B CN 117033667B
- Authority
- CN
- China
- Prior art keywords
- language model
- sample
- knowledge graph
- knowledge
- large language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013441 quality evaluation Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 19
- 238000012549 training Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
本说明书公开了一种知识图谱构建方法、装置、存储介质及电子设备。在本说明书提供的知识图谱构建方法中，获取目标领域的样本文本数据；将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；采用所述样本知识图谱对第二大语言模型的参数进行调整；将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
Description
技术领域
本说明书涉及计算机技术领域，尤其涉及一种知识图谱构建方法、装置、存储介质及电子设备。
背景技术
知识图谱作为结构化的语义知识库，用于以符号形式描述物理世界中的概念及相互关系，基本组成单位是“实体-关系-实体”三元组。得益于其天然的结构优势，目前已广泛应用在搜索、个性化推荐、问答等领域。
目前，在构建知识图谱的过程中，需要从大量数据源中抽取能够用于构建知识图谱的内容。这一阶段通常被称为知识抽取阶段，也就是从不同来源、不同结构的非结构化数据中抽取所需知识，包括命名实体识别、关系抽取等工作。
在现有技术构建知识图谱的过程中，通常通过预先训练的模型实现知识抽取，例如BERT模型等。但是，现有方法在对不同的数据源进行知识抽取时，如果存在多种数据格式不同的数据源，则需要针对每一个数据格式都训练一个模型。而在训练模型的过程中需要人工对数据进行大量标注，成本较高。
因此，如何在构建知识图谱时更加合理地实现信息抽取是一个亟待解决的问题。
发明内容
本说明书提供一种知识图谱构建方法、装置、存储介质及电子设备，以至少部分地解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种知识图谱构建方法，包括：
获取目标领域的样本文本数据；
将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；
将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；
根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；
采用所述样本知识图谱对第二大语言模型的参数进行调整；
将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
可选地，在将所述样本文本数据和构建指令输入预先训练的第一大语言模型之前，所述方法还包括：
对所述样本文本数据进行预处理，所述预处理包括特殊字符处理、段落合并、文本拆解、文本筛选中的至少一种。
可选地，所述第一大语言模型为闭源大语言模型，所述第二大语言模型为开源大语言模型。
可选地，将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估，具体包括：
将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型针对所述样本知识图谱中的每个知识，对该知识是否正确进行指定次数的单独评估，并根据指定次数的单独评估的结果，确定该知识的评估结果。
可选地，根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新，具体包括：
针对所述样本知识图谱中的每个知识，当该知识的评估结果为正确时，在所述样本知识图谱中保留该知识；
当该知识的评估结果为错误时，从所述样本知识图谱中去除该知识，并将该知识对应的文本数据重新作为样本文本数据使用。
可选地，在采用所述样本知识图谱对第二大语言模型的参数进行调整之前，所述方法还包括：
对所述样本知识图谱进行优化，所述优化包括实体对齐、关系挖掘中的至少一种。
可选地，采用所述样本知识图谱对第二大语言模型的参数进行调整，具体包括：
根据所述第二大语言模型对所述样本知识图谱的学习结果，对预先设置的低秩分解矩阵进行优化；
采用所述低秩分解矩阵调整所述第二大语言模型的参数。
可选地，所述方法还包括：
将所述调整后的第二大语言模型确定为信息抽取专家大模型；
采用预先训练的质量评估专家大模型对所述目标知识图谱进行评估；
根据所述质量评估专家大模型对所述目标知识图谱的评估结果，采用所述信息抽取专家大模型对所述目标知识图谱进行增量更新。
本说明书提供的一种知识图谱构建装置，所述装置包括：
获取模块，用于获取目标领域的样本文本数据；
输入模块，用于将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；
评估模块，用于将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；
更新模块，用于根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；
调整模块，用于采用所述样本知识图谱对第二大语言模型的参数进行调整；
构建模块，用于将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述知识图谱构建方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述知识图谱构建方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的知识图谱构建方法中，获取目标领域的样本文本数据；将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；采用所述样本知识图谱对第二大语言模型的参数进行调整；将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
在采用本说明书提供的知识图谱构建方法构建目标领域的知识图谱的过程中，可采用闭源的第一大语言模型构建并评估样本知识图谱，并在得到质量较高的样本知识图谱后采用样本知识图谱对开源的第二大语言模型进行训练调整，最终基于第二大语言模型得到专门用于生成目标领域知识图谱的专家模型，并采用专家模型生成目标领域的目标知识图谱。采用本方法能够替代传统训练普通模型进行知识抽取的过程，解决了传统方法对不同数据源的普适性问题，不需要人工标注大量训练数据、也不需要针对不同数据结构的数据源训练不同的模型，节省人力，由于该方法具有普适性，因此可处理无规则、语义表达复杂、文本风格不一数据源的知识抽取来构建知识图谱。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种知识图谱构建方法的流程示意图；
图2为本说明书提供的一种知识图谱构建装置的示意图；
图3为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
知识图谱从应用场景角度可以粗粒度的分为两大类，一类是数据领域不受限制的通用知识图谱，包含了大量现实世界中的常识性知识，覆盖面很广。另外一类是领域知识图谱，是面向某一个特定领域的，可以看作是由该领域的专业数据构成的行业知识库，由于大部分行业数据有着严格的数据模式，因此对于领域知识图谱的准确性要求更高。本专利聚焦后者，也就是领域图谱的构建。
本专利提出的方法将大模型作为信息抽取工具代替原有信息抽取方法，并且在质量评估阶段也利用大模型缓解对人工评估的依赖。基于上述，提出由大模型驱动的知识图谱构建方法。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种知识图谱构建方法的流程示意图，具体包括以下步骤：
S100：获取目标领域的样本文本数据。
本说明书所提供的知识图谱构建方法中的所有步骤均可由任何具有计算功能的电子设备实现，例如终端、服务器等设备。
本方法所要实现的目标为在某一特定的专业领域中构建包含领域内专业知识的领域图谱。由此，可在此步骤中，首先获取目标领域的样本文本数据。其中，目标领域可以是任一学术或技术领域。样本文本数据可从多种不同的形式中获得，包括但不限于文本数据本身、由图像数据中提取出的文本、由音视频数据中提取出的文本等，本说明书对此不做具体限制。
在实际应用的过程中，需要额外考虑的是，从各种不同来源中获取到的样本文本数据很可能存在结构不相同、描述不统一、无规则的情况。因此，在获取到样本文本数据后，可更优的，对所述样本文本数据进行预处理。其中，预处理可包括但不限于特殊字符处理、段落合并、文本拆解、文本筛选等。
S102：将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱。
在步骤S100中获取到目标领域中的样本文本数据后，可在此步骤中，利用大语言模型对样本文本数据进行知识提取，得到样本知识图谱。大语言模型（Large LanguageModel，LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等。常见的大语言模型例如GPT模型、LaMDA模型等。
在应用的过程中，可将步骤S100中获取到的样本文本数据，以及用于指示大语言模型进行知识抽取的构建指令，输入到第一大语言模型中。在此步骤中，需要第一大语言模型输出用于后续指导开源模型训练的样本知识图谱，因此，第一大语言模型应是已经发展较为成熟的闭源大语言模型，例如GPT-4等模型。
由于语言大模型本身有着出色的语言理解能力，因此对于构建指令本身，可存在多种不同的形式。例如，在向第一大语言模型输入样本文本数据后，可随后输入“请提取上述文本中的知识，构建知识图谱”作为构建指令。在第一大语言模型接收到样本文本数据以及构建指令后，会相应的提取样本文本数据中的知识并构建知识图谱。一般地，知识图谱以图数据的形式存在，知识图谱中的知识可包括实体以及各实体间的关系，或者由实体与实体间的关系构成的多元组。在知识图谱中，各节点表示实体，节点间的连线表示实体间的关系。
更优的，第一大语言模型虽然能够较好地处理自然语言任务，但是其对知识图谱本身的理解程度是未知的。不同的大语言模型可能会对知识图谱存在不同的理解，进而输出不同的内容。因此，在向第一大语言模型输入样本文本数据与构建指令后，还可额外向第一大语言模型输入标准的知识图谱，以指导第一大语言模型的输出。例如，可在向第一大语言模型输入样本文本数据后，将“请提取上述文本中的知识，按照下图的格式构建知识图谱”作为构建指令输入，并随后输入一个标准知识图谱给第一大语言模型。大语言模型可凭借强大的理解与学习能力按照与标准知识图谱相同的格式输出基于样本文本数据的样本知识图谱。
当然，在构建知识图谱的过程中，最重要的部分为确定出知识图谱中应包含的知识，即预先定义的领域数据的本体层。因此，也可更进一步地，直接将样本文本数据与抽取指令输入给第一大语言模型，使第一大语言模型输出从样本文本数据中抽取到的知识。其中，抽取指令同样可以是多种多样的，例如，在向第一大语言模型输入样本文本数据后，可随后输入“请从上述文本数据抽取知识”作为抽取指令，使第一大语言模型直接输出样本文本数据中的知识。但由于本方法的目的为构建出效果较好的知识图谱，因此在后期，同样需要对知识进行整合、评估后构建出用于训练第二大语言模型的样本知识图谱。
S104：将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估。
可以想到的，第一大语言模型是主要用于处理自然语言任务的语言模型，而非在目标领域的专业模型，因此，第一大语言模型在构建属于目标领域的样本知识图谱时，很难达到百分之百的正确，样本知识图谱中很可能存在一些错误的地方。而这些错误可能是各种原因引发的，例如，大语言模型对知识图谱的认知存在偏差、对目标领域的专业知识理解有误、对样本文本数据的提取不充分等。因此，可再次利用第一大语言模型，让其对样本知识图谱中知识的正确与否进行评估。
具体的，可将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型针对所述样本知识图谱中的每个知识，对该知识是否正确进行指定次数的单独评估，并根据指定次数的单独评估的结果，确定该知识的评估结果。
在采用第一大语言模型对样本知识图谱进行评估的过程中，可将样本知识图谱拆解为若干个组成样本知识图谱的知识，并将各知识输入给第一大语言模型进行评估。此时，知识可以多元组的形式存在。一个多元组中可包含若干实体与若干实体之间的关系。举例来说，一个最简单的多元组——三元组，可由两个实体与该两个实体间的关系组成，体现在知识图谱中，为两个节点与该两个节点之间的边。例如，在一个知识图谱中，可存在由节点“中国”，节点“北京”，与二者之间的边“首都”，组成的三元组。在本方法中，三元组可采用（实体，关系，实体）的形式来表示，例如上例中的三元组可表示为（北京市，首都-国家，中国）。
将知识图谱中的知识，也就是多元组输入到第一大语言模型中，由第一大语言模型进行评估。由于第一大语言模型为语言模型，因此，在输入时，依然需要通过语言的形式输入知识。例如，在让第一大语言模型判断三元组（北京市，首都-国家，中国）是否正确时，可向第一大语言模型中输入“中国的首都是否为北京？”。将知识转换为大语言模型所熟悉的问答的形式，输入给第一大语言模型，从而得到较为准确的判断。
当然，需要考虑到的是，第一大语言模型作为生成式模型，决定了其输出结果的不确定性。因此，对于每个知识，可重复向第一大语言模型提问多次，以使第一大语言模型对该知识进行多次单独评估，并根据多次单独评估的结果综合得到最终的评估结果。例如，假设针对一个知识，向第一大语言模型重复提问10次，其中9次得到的结果为正确，1次得到的结果为错误，那么可认为这个知识大概率是正确的。而假如10结果中，有5次为正确，5次为错误，那么说明当前阶段第一大语言模型还未掌握相应的知识，需要进行相应的学习。在此情况下，可采用人工评估的方式得到这一知识的评估结果，并反馈给第一大语言模型。具体的，可将第一大语言模型无法进行准确评估的知识交由人工评估，并将人工评估的结果作为该知识最终的评估结果，用于后续步骤中。
S106：根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新。
在步骤S104中得到第一大语言模型对于样本知识图谱的评估结果后，可根据评估结果对样本知识图谱进行更新。具体的，可针对所述样本知识图谱中的每个知识，当该知识的评估结果为正确时，在所述样本知识图谱中保留该知识；当该知识的评估结果为错误时，从所述样本知识图谱中去除该知识，并将该知识对应的文本数据重新作为样本文本数据使用。
可以想到的，当一个知识的评估结果为正确时，那么其在样本知识图谱中就没有问题，可以保留；而当一个知识的评估结果为错误时，那么此时便不能将这一知识继续保留在样本知识图谱中，需要在样本知识图谱中取出该知识。同时，鉴于第一大语言模型在对该知识提取时出现了问题，可重新将该知识对应的文本数据再次作为样本文本数据，在第一大语言模型下一次提取目标领域中的知识，构建知识图谱时使用。
更进一步地，在一个知识的评估结果为错误时，也就是第一大语言模型提取出了错误的知识时，可由人工指正该错误，并给出对应的正确知识，并将正确的知识重新加入到样本知识图谱中，以有效扩增样本知识图谱中包含的知识。
S108：采用所述样本知识图谱对第二大语言模型的参数进行调整。
至此，便能够得到目标领域内相对准确的样本知识图谱。而由于第一大语言模型为闭源模型，无法对其进行任何更改，因此也就无法以第一大语言模型为基础，训练出专门用于构建目标领域的知识图谱的专家模型来使用。
因此，可在此步骤中，将由第一大语言模型构建出的样本知识图谱以外挂图谱的形式，对第二大语言模型进行训练并调整第二大语言模型的参数。其中，第二大语言模型应是开源大语言模型，例如chatglm等模型。具体的，可将样本知识图谱中的每个知识输入到第二大语言模型中，使第二大语言模型学习相应的知识，并调整自身参数。
额外的，在采用样本知识图谱训练第二大语言模型之前，还可进一步对样本知识图谱进行优化。具体的，可对所述样本知识图谱进行优化，所述优化包括实体对齐、关系挖掘中的至少一种。其中，实体对齐为将表示同一含义的不同实体名称统一化；关系挖掘为根据知识图谱中已有的知识，挖掘出实体之间可能存在的关系。一方面，由于获取样本文本数据时，存在多种不同的数据源，每种不同数据源中针对同一含义的术语可能都有不同的描述。因此，需要将提取出的样本知识图谱中表示同一含义的不同实体统一化，将表示同意含义的不同节点合并为同一节点。另一方面，很多情况下在知识图谱中，通过已有的知识，可以进一步挖掘出更进一步的关系。例如，在知识图谱中包含（四川省，省-国家，中国），和（成都，市-省，四川省）两个知识，那么便可以推断出，成都市是属于中国的城市，即（成都，市-国家，中国）这一知识。经过上述优化后，便能够得到更加准确、全面的样本知识图谱，对第二大语言模型进行训练。
在对第二大语言模型进行训练的过程中，根据第二大语言模型理解能力的不同，可将样本知识图谱以不同的形式输入给第二大语言模型。例如，当第二大语言模型能够直接理解知识图谱中节点表示实体、边表示关系这样的规则时，可直接将样本知识图谱本身输入给第二大语言模型，从而让第二大语言模型学习样本知识图谱中的知识。
而假如第二大语言模型尚未能够对知识图谱本身有较为完整的认知时，可以考虑将样本知识图谱中的知识拆分出来，得到多元组，并将多元组直接输入给第二大语言模型。例如，可将知识直接以三元组的形式，如（北京市，首都-国家，中国），输入给第二大语言模型，使第二大语言模型更加直接地学习到相应的知识。
再者，还可将从样本知识图谱中拆分得到的知识，也就是多元组以语言描述的方式输入给第二大语言模型。例如，可将三元组（北京市，首都-国家，中国）这一知识以“中国的首都是北京”的形式输入给第二大语言模型，同样可达到使第二大语言模型学习相应知识的效果。
除上述直接采用陈述的方式将知识输入给第二大语言模型外，还可采用问答对的形式将知识输入给第二大语言模型。具体的，可将样本图谱中的每个知识均构建为问答对，并输入给第二大语言模型。例如，可将三元组“（北京市，首都-国家，中国）这一知识构建为问答对{“中国的首都是北京吗？”“是”}，并将构建出的问答对输入到第二大语言模型中，帮助第二大语言模型更好地掌握知识图谱中的知识。
更进一步地，在对第二大语言模型的参数进行调整时，除了对第二大语言模型本身内部的参数进行调整之外，还可采用外置低秩分解矩阵的形式，对第二大语言模型的参数进行辅助调整。具体的，可根据所述第二大语言模型对所述样本知识图谱的学习结果，对预先设置的低秩分解矩阵进行优化；采用所述低秩分解矩阵调整所述第二大语言模型的参数。
在第二大语言模型本身的参数之外，可额外设置低秩分解矩阵。低秩分解矩阵并不在第二大语言模型之中，而是属于外置的矩阵。其中，在构建低秩分解矩阵时可采用LoRA等框架，在训练过程中只调整低秩分解矩阵，而不改变第二大语言模型本身的参数。在预测阶段，第二大语言模型参数矩阵和低秩分解参数矩阵相乘共同起作用。换句话说，每次采用样本知识图谱对第二大语言模型进行训练时，可不改变模型本身的参数，而只改变低秩分解矩阵中元素的值。而在第二大语言模型实际工作时，参数矩阵会与低秩分解矩阵相乘，并得到最终作用于第二大语言模型的参数。由此，能够更加方便地对第二大语言模型进行调整与回调。其中，质量评估专家大模型同样为基于大语言模型训练得到的，具有对包含目标领域知识的知识图谱进行质量评估能力的专家大模型。
S110：将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
最终，在完成对开源的第二大语言模型的调整后，可得到专门用于生成目标领域的知识图谱的专家模型。由此，便能够采用成为专家模型的第二大语言模型构建目标领域的知识图谱。将目标领域的目标文本数据和构建指令输入第二大语言模型，便能够得到第二大语言模型输出的准确、全面的目标知识图谱。
更优的，当训练后的第二大语言模型无法满足需求时，可重新执行步骤S100~S108，继续采用新的样本知识图谱对第二大语言模型进行训练，指导第二大语言模型能够满足需求。
同时，在第二大语言满足需求后，仍可继续对第二大语言模型进行不断地优化与更新。具体的，可将所述调整后的第二大语言模型确定为信息抽取专家大模型；采用预先训练的质量评估专家大模型代替所述第一大语言模型，对所述目标知识图谱进行评估；根据所述质量评估专家大模型对所述目标知识图谱的评估结果，采用所述信息抽取专家大模型对所述目标知识图谱进行增量更新。换句话说，就是采用调整后的第二大语言模型，也就是目标领域的信息抽取专家大模型进行新增文本的知识抽取，完成知识图谱的增量更新。同时，知识图谱图谱中的增量知识可作为新增样本对信息抽取专家大模型进行新一轮训练。也就是在持续增量图谱的同时也增强信息抽取专家大模型的信息抽取能力与图谱构建能力。
在采用本说明书提供的知识图谱构建方法构建目标领域的知识图谱的过程中，可采用闭源的第一大语言模型构建并评估样本知识图谱，并在得到质量较高的样本知识图谱后采用样本知识图谱对开源的第二大语言模型进行训练调整，最终基于第二大语言模型得到专门用于生成目标领域知识图谱的专家模型，并采用专家模型生成目标领域的目标知识图谱。采用本方法能够替代传统训练普通模型进行知识抽取的过程，解决了传统方法对不同数据源的普适性问题，不需要人工标注大量训练数据、也不需要针对不同数据结构的数据源训练不同的模型，节省人力，由于该方法具有普适性，因此可处理无规则、语义表达复杂、文本风格不一数据源的知识抽取来构建知识图谱。
以上是本说明书提供的知识图谱构建方法，基于同样的思路，本说明书还提供了相应的知识图谱构建装置，如图2所示。
图2为本说明书提供的一种知识图谱构建装置示意图，具体包括：
获取模块200，用于获取目标领域的样本文本数据；
输入模块202，用于将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；
评估模块204，用于将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；
更新模块206，用于根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；
调整模块208，用于采用所述样本知识图谱对第二大语言模型的参数进行调整；
构建模块210，用于将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
可选地，所述装置还包括处理模块212，具体用于对所述样本文本数据进行预处理，所述预处理包括特殊字符处理、段落合并、文本拆解、文本筛选中的至少一种。
可选地，所述第一大语言模型为闭源大语言模型，所述第二大语言模型为开源大语言模型。
可选地，所述评估模块204，具体用于将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型针对所述样本知识图谱中的每个知识，对该知识是否正确进行指定次数的单独评估，并根据指定次数的单独评估的结果，确定该知识的评估结果。
可选地，所述更新模块206，具体用于针对所述样本知识图谱中的每个知识，当该知识的评估结果为正确时，在所述样本知识图谱中保留该知识；当该知识的评估结果为错误时，从所述样本知识图谱中去除该知识，并将该知识对应的文本数据重新作为样本文本数据使用。
可选地，所述装置还包括优化模块214，具体用于对所述样本知识图谱进行优化，所述优化包括实体对齐、关系挖掘中的至少一种。
可选地，所述调整模块208，具体用于根据所述第二大语言模型对所述样本知识图谱的学习结果，对预先设置的低秩分解矩阵进行优化；采用所述低秩分解矩阵调整所述第二大语言模型的参数。
可选地，所述装置还包括迭代模块216，具体用于将所述调整后的第二大语言模型确定为信息抽取专家大模型；采用预先训练的质量评估专家大模型代替所述第一大语言模型，对所述目标知识图谱进行评估；根据所述质量评估专家大模型对所述目标知识图谱的评估结果，采用所述信息抽取专家大模型对所述目标知识图谱进行增量更新。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的知识图谱构建方法。
本说明书还提供了图3所示的电子设备的示意结构图。如图3所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的知识图谱构建方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种知识图谱构建方法，其特征在于，包括：
获取目标领域的样本文本数据；
将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；
将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；
根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；
采用所述样本知识图谱对第二大语言模型的参数进行调整；
将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
2.如权利要求1所述的方法，其特征在于，在将所述样本文本数据和构建指令输入预先训练的第一大语言模型之前，所述方法还包括：
对所述样本文本数据进行预处理，所述预处理包括特殊字符处理、段落合并、文本拆解、文本筛选中的至少一种。
3.如权利要求1所述的方法，其特征在于，所述第一大语言模型为闭源大语言模型，所述第二大语言模型为开源大语言模型。
4.如权利要求1所述的方法，其特征在于，将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估，具体包括：
将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型针对所述样本知识图谱中的每个知识，对该知识是否正确进行指定次数的单独评估，并根据指定次数的单独评估的结果，确定该知识的评估结果。
5.如权利要求4所述的方法，其特征在于，根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新，具体包括：
针对所述样本知识图谱中的每个知识，当该知识的评估结果为正确时，在所述样本知识图谱中保留该知识；
当该知识的评估结果为错误时，从所述样本知识图谱中去除该知识，并将该知识对应的文本数据重新作为样本文本数据使用。
6.如权利要求1所述的方法，其特征在于，在采用所述样本知识图谱对第二大语言模型的参数进行调整之前，所述方法还包括：
对所述样本知识图谱进行优化，所述优化包括实体对齐、关系挖掘中的至少一种。
7.如权利要求1所述的方法，其特征在于，采用所述样本知识图谱对第二大语言模型的参数进行调整，具体包括：
根据所述第二大语言模型对所述样本知识图谱的学习结果，对预先设置的低秩分解矩阵进行优化；
采用所述低秩分解矩阵调整所述第二大语言模型的参数。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
将所述调整后的第二大语言模型确定为信息抽取专家大模型；
采用预先训练的质量评估专家大模型对所述目标知识图谱进行评估；
根据所述质量评估专家大模型对所述目标知识图谱的评估结果，采用所述信息抽取专家大模型对所述目标知识图谱进行增量更新。
9.一种知识图谱构建装置，其特征在于，包括：
获取模块，用于获取目标领域的样本文本数据；
输入模块，用于将所述样本文本数据和构建指令输入预先训练的第一大语言模型，得到所述第一大语言模型输出的所述样本文本数据对应的样本知识图谱；
评估模块，用于将所述样本知识图谱和评估指令输入所述第一大语言模型，以使所述第一大语言模型对所述样本知识图谱进行评估；
更新模块，用于根据所述第一大语言模型对所述样本知识图谱的评估结果，对所述样本知识图谱进行更新；
调整模块，用于采用所述样本知识图谱对第二大语言模型的参数进行调整；
构建模块，用于将目标文本数据和构建指令输入调整后的第二大语言模型，得到所述第二大语言模型输出的目标知识图谱。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311286038.5A CN117033667B (zh) | 2023-10-07 | 2023-10-07 | 一种知识图谱构建方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311286038.5A CN117033667B (zh) | 2023-10-07 | 2023-10-07 | 一种知识图谱构建方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117033667A CN117033667A (zh) | 2023-11-10 |
| CN117033667B true CN117033667B (zh) | 2024-01-09 |
Family
ID=88635787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311286038.5A Active CN117033667B (zh) | 2023-10-07 | 2023-10-07 | 一种知识图谱构建方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033667B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117633174A (zh) * | 2023-11-22 | 2024-03-01 | 北京万物可知技术有限公司 | 一种基于多个大模型对话的表决共识系统 |
| CN117407606B (zh) * | 2023-12-14 | 2024-03-05 | 青岛理工大学 | 一种基于大语言模型和知识图谱的旅游线路推荐方法 |
| CN117725995B (zh) * | 2024-02-18 | 2024-05-24 | 青岛海尔科技有限公司 | 一种基于大模型的知识图谱构建方法、装置及介质 |
| CN117891925B (zh) * | 2024-03-15 | 2024-05-28 | 青岛网信信息科技有限公司 | 一种利用大语言模型实现聊天记忆的方法、介质及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475658A (zh) * | 2020-06-12 | 2020-07-31 | 北京百度网讯科技有限公司 | 知识表示学习方法、装置、设备以及存储介质 |
| CN114186022A (zh) * | 2021-12-02 | 2022-03-15 | 国网山东省电力公司信息通信公司 | 基于语音转录与知识图谱的调度指令质检方法及系统 |
| CN114565104A (zh) * | 2022-03-01 | 2022-05-31 | 腾讯科技（深圳）有限公司 | 语言模型的预训练方法、结果推荐方法及相关装置 |
| WO2022116417A1 (zh) * | 2020-12-03 | 2022-06-09 | 平安科技（深圳）有限公司 | 三元组信息提取方法、装置、设备及计算机可读存储介质 |
| CN115982376A (zh) * | 2022-12-14 | 2023-04-18 | 北京百度网讯科技有限公司 | 基于文本、多模数据和知识训练模型的方法和装置 |
| CN116226334A (zh) * | 2023-03-03 | 2023-06-06 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法以及基于模型的搜索方法 |
| CN116502633A (zh) * | 2023-03-03 | 2023-07-28 | 之江实验室 | 一种业务执行的方法、装置、存储介质及电子设备 |
| CN116629235A (zh) * | 2023-07-25 | 2023-08-22 | 深圳须弥云图空间科技有限公司 | 大规模预训练语言模型微调方法、装置、电子设备及介质 |
| CN116662577A (zh) * | 2023-08-02 | 2023-08-29 | 北京网智天元大数据科技有限公司 | 基于知识图谱的大型语言模型训练方法及装置 |
| CN116737129A (zh) * | 2023-08-08 | 2023-09-12 | 杭州比智科技有限公司 | 一种供应链控制塔生成式大语言模型及其构建方法 |
| WO2023168601A1 (zh) * | 2022-03-08 | 2023-09-14 | 京东方科技集团股份有限公司 | 自然语言处理模型的训练方法、装置、存储介质 |
| CN116775906A (zh) * | 2023-06-29 | 2023-09-19 | 中科云谷科技有限公司 | 知识图谱的构建方法、系统、计算机设备和存储介质 |
| CN116821377A (zh) * | 2023-08-31 | 2023-09-29 | 南京云创大数据科技股份有限公司 | 基于知识图谱和大模型的小学语文自动评测系统 |
| CN116821684A (zh) * | 2023-07-04 | 2023-09-29 | 北京百度网讯科技有限公司 | 大语言模型的训练方法、装置、设备和介质 |
-
2023
- 2023-10-07 CN CN202311286038.5A patent/CN117033667B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475658A (zh) * | 2020-06-12 | 2020-07-31 | 北京百度网讯科技有限公司 | 知识表示学习方法、装置、设备以及存储介质 |
| WO2022116417A1 (zh) * | 2020-12-03 | 2022-06-09 | 平安科技（深圳）有限公司 | 三元组信息提取方法、装置、设备及计算机可读存储介质 |
| CN114186022A (zh) * | 2021-12-02 | 2022-03-15 | 国网山东省电力公司信息通信公司 | 基于语音转录与知识图谱的调度指令质检方法及系统 |
| CN114565104A (zh) * | 2022-03-01 | 2022-05-31 | 腾讯科技（深圳）有限公司 | 语言模型的预训练方法、结果推荐方法及相关装置 |
| WO2023168601A1 (zh) * | 2022-03-08 | 2023-09-14 | 京东方科技集团股份有限公司 | 自然语言处理模型的训练方法、装置、存储介质 |
| CN115982376A (zh) * | 2022-12-14 | 2023-04-18 | 北京百度网讯科技有限公司 | 基于文本、多模数据和知识训练模型的方法和装置 |
| CN116502633A (zh) * | 2023-03-03 | 2023-07-28 | 之江实验室 | 一种业务执行的方法、装置、存储介质及电子设备 |
| CN116226334A (zh) * | 2023-03-03 | 2023-06-06 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法以及基于模型的搜索方法 |
| CN116775906A (zh) * | 2023-06-29 | 2023-09-19 | 中科云谷科技有限公司 | 知识图谱的构建方法、系统、计算机设备和存储介质 |
| CN116821684A (zh) * | 2023-07-04 | 2023-09-29 | 北京百度网讯科技有限公司 | 大语言模型的训练方法、装置、设备和介质 |
| CN116629235A (zh) * | 2023-07-25 | 2023-08-22 | 深圳须弥云图空间科技有限公司 | 大规模预训练语言模型微调方法、装置、电子设备及介质 |
| CN116662577A (zh) * | 2023-08-02 | 2023-08-29 | 北京网智天元大数据科技有限公司 | 基于知识图谱的大型语言模型训练方法及装置 |
| CN116737129A (zh) * | 2023-08-08 | 2023-09-12 | 杭州比智科技有限公司 | 一种供应链控制塔生成式大语言模型及其构建方法 |
| CN116821377A (zh) * | 2023-08-31 | 2023-09-29 | 南京云创大数据科技股份有限公司 | 基于知识图谱和大模型的小学语文自动评测系统 |
Non-Patent Citations (4)
| Title |
|---|
| Fine-tuning Large Enterprise Language Models via Ontological Reasoning;Baldazzi, T. 等;arXiv;全文 * |
| 多源知识融合技术研究综述;赵晓娟;贾焰;李爱平;常春喜;;云南大学学报(自然科学版)(第03期);全文 * |
| 知识图谱发展与构建的研究进展;朱木易洁;鲍秉坤;徐常胜;;南京信息工程大学学报(自然科学版)(第06期);全文 * |
| 面向司法案件的案情知识图谱自动构建;洪文兴;胡志强;翁洋;张恒;王竹;郭志新;;中文信息学报(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117033667A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117033667B (zh) | 一种知识图谱构建方法、装置、存储介质及电子设备 | |
| US20210374540A1 (en) | Method and apparatus for optimizing quantization model, electronic device, and computer storage medium | |
| CN110765247B (zh) | 一种用于问答机器人的输入提示方法及装置 | |
| CN111144126A (zh) | 一种语义分析模型的训练方法、语义分析方法及装置 | |
| CN112417093B (zh) | 一种模型训练的方法及装置 | |
| CN117331561B (zh) | 一种智能低代码页面开发系统及方法 | |
| US20230094730A1 (en) | Model training method and method for human-machine interaction | |
| CN111209211A (zh) | 一种基于长短期记忆神经网络的跨项目软件缺陷预测方法 | |
| CN117033668B (zh) | 一种知识图谱质量评估方法、装置、存储介质及电子设备 | |
| CN117591661A (zh) | 一种基于大语言模型的问答数据构建方法及装置 | |
| CN117473054A (zh) | 基于知识图谱的通用智能问答方法及装置 | |
| CN112307371B (zh) | 小程序子服务识别方法、装置、设备及存储介质 | |
| CN110704742B (zh) | 一种特征提取方法及装置 | |
| CN117494068B (zh) | 一种结合深度学习与因果推断的网络舆情分析方法及装置 | |
| CN117332282B (zh) | 一种基于知识图谱的事件匹配的方法及装置 | |
| CN117875413B (zh) | 一种知识图谱本体中概念构建方法、装置、介质及设备 | |
| CN116501852B (zh) | 一种可控对话模型训练方法、装置、存储介质及电子设备 | |
| CN117217191A (zh) | 语言模型的提示语处理方法、装置、设备及存储介质 | |
| CN115712734B (zh) | 一种基于元学习的稀疏知识图谱嵌入方法和装置 | |
| CN116795972B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN117828064B (zh) | 一种问答系统及问答系统的构建方法 | |
| CN111104591B (zh) | 一种推荐信息生成方法及装置 | |
| CN114048104A (zh) | 一种监控方法、装置、设备及存储介质 | |
| CN117609391A (zh) | 基于知识图谱的大语言模型生成方法、系统、装置和介质 | |
| CN113642305A (zh) | 一种文本生成方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |