CN118069868A - 一种融合llm大模型的知识图谱的纠错方法 - Google Patents

一种融合llm大模型的知识图谱的纠错方法 Download PDF

Info

Publication number
CN118069868A
CN118069868A CN202410387475.4A CN202410387475A CN118069868A CN 118069868 A CN118069868 A CN 118069868A CN 202410387475 A CN202410387475 A CN 202410387475A CN 118069868 A CN118069868 A CN 118069868A
Authority
CN
China
Prior art keywords
model
error
triples
knowledge graph
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410387475.4A
Other languages
English (en)
Inventor
李媛媛
朱洵
郭林盛
王林海
殷浩然
闫世泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202410387475.4A priority Critical patent/CN118069868A/zh
Publication of CN118069868A publication Critical patent/CN118069868A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种融合LLM大模型的知识图谱的纠错方法及装置，属于人工智能技术领域，包括以下步骤：获取知识图谱数据，并构建错误检测模型的训练数据；构建知识图谱错误检测模型用于检测错误的三元组；使用带有正负样本的训练数据对错误检测模型进行训练；构建知识图谱纠错模型；使用错误检测模型检测错误三元组，并将其传递给纠错模型，由纠错模型修复错误三元组，创建一个检错网络比较修复前后的三元组，评估纠错模型的性能。将知识图谱输入通过评估的纠错模型，由纠错模型对知识图谱进行纠错。本发明通过结合LLM大模型，在对知识图谱的错误检测和纠错上性能更好，能大大减少人工检测的工作量。

Description

一种融合LLM大模型的知识图谱的纠错方法
技术领域
本发明属于人工智能技术领域，具体涉及一种融合LLM大模型的知识图谱的纠错方法。
背景技术
知识图谱通过将现实世界的断言组织成三元组形式(头部实体、关系、尾部实体)来有效组织信息，但由于原始数据的噪声和提取算法的不完善，常常会包含许多错误，因此需要对其进行错误检测并纠错。
传统的错误检测方法分为基于规则和基于嵌入两种。基于规则的方法检测违反预定义规则的三元组，但这种方法缺乏泛化性。基于嵌入的方法则尝试通过负抽样训练模型进行无监督错误检测，但这种策略往往无法捕捉到真实KG错误的复杂模式。
现有知识图谱纠错方法有时可能错误地标记正确的信息为错误，或者未能识别实际的错误(即假阴性和假阳性)，某些方法依赖于特定的规则或模型，这可能限制它们处理未知或新颖错误类型的能力。并且知识图谱中的信息往往具有一定的模糊性和不确定性，而现有的纠错方法可能难以有效处理这些情况，如模糊的实体边界或多义性问题。
因此目前知识图谱纠错一般仍然需要用户或领域专家的参与来验证和纠正错误，增加了时间消耗和成本。
发明内容
本发明的目的是针对现有技术中存在的问题，提供一种融合LLM大模型的知识图谱的纠错方法，来对生成的图谱的错误实时检错纠错，减少人工检测的工作量，提高知识图谱的准确性和实用性。
技术方案如下：
一种融合LLM大模型的知识图谱的纠错方法，包括以下步骤：
步骤1：获取知识图谱数据，包括实体、关系和三元组，并随机引入一些错误三元组作为正负样本构建错误检测模型的训练数据；
步骤2：构建知识图谱错误检测模型用于检测错误的三元组，错误检测模型使用嵌入技术将实体和关系嵌入到低维向量空间中，在错误检测模型输入三元组的嵌入向量后能输出错误的概率；
步骤3：使用步骤1中带有正负样本的训练数据对步骤2中构建的错误检测模型进行训练；
步骤4：使用带有错误的知识图谱作为输入，带有正确的知识图谱作为目标构建知识图谱纠错模型；
步骤5：使用错误检测模型检测错误三元组，并将其传递给纠错模型，由纠错模型修复错误三元组，创建一个检错网络比较修复前后的三元组，评估纠错模型的性能。
步骤6：将知识图谱输入通过评估的纠错模型，由纠错模型对知识图谱进行纠错。
进一步的，步骤1中对给定知识图谱中的一个三元组(h，r，t)，将头/尾实体与其关系r不匹配的定义为关系错误的三元组；将头/尾实体本身错误的定义为实体错误的三元组；对于任意两个三元共享实体，即T1＝(h1，r1，t1)∩T2＝(h2，r2，t2)，将h1＝h2⊕h1＝t2定义为共享头部实体，t1＝h2⊕t1＝t2定义为共享尾部实体。
进一步的，步骤1中通过将三元组的头h或尾t实体替换为一个随机的三元组或/>来生成负三元组：/>
进一步的，步骤2中错误检测模型检测知识图谱中错误的三元组步骤如下：
步骤21：将原知识图谱中对应的三元组(h，r，t)转换为三元图的实例，并在在原知识图谱中随机初始化实体和关系的嵌入；
步骤22：采用一个局部信息建模层，即一组Bi-LSTM单元，来学习每个三元组中的局部关系结构，输出三元组嵌入qi作为初始的三元组嵌入在知识图谱中：
步骤23：基于相邻三元组e的加权聚合来更新嵌入表示{q1，q2，...，qm}，计算三元组和其相邻三元组j之间的权值其中/>表示三元组i对三元组j的重要性，是一个可学习的线性增广矩阵，用于将初始三元表示投影到相同的向量空间中，是注意函数：/>
步骤24：用softmax函数对不同三元组的注意系数进行标准化得到：并引入了一个超参数/>作为阈值，以阻止来自潜在异常三元组的信息：/>
步骤25：用一个sigmoid函数计算共享头部实体图中最终的错误感知三重表示：
步骤26：更新共享尾部实体的三元组qi嵌入：
步骤27：采用平方欧氏距离来测量每个三元组在平移假设下的不一致性，并定义知识图谱嵌入损失为：其中，E(h，r，t)＝||eh+er-et||2是基于翻译假设的翻译嵌入模型的分数，γ＞0为边缘的超参数，/>为采样的正三元组集；
步骤28：定义最终的置信度分数函数：C(h，r，t)＝σ(sim(xi，zi)-λ·E(h，r，t))，其中E(h，r，t)＝||eh+er-et||2反映了三元组内部的自我矛盾程度，而sim(xi，zi)衡量了来自共享头部实体图和共享尾部实体图的相同样本的三元组表示的一致性，采用权衡参数λ来平衡这两个学习信号对错误检测的贡献，然后使用sigmoid函数Sig(x)＝(1+e-x)-1将分数映射到[0，1]的范围内；
步骤29：将目标知识图谱中的所有三元组根据它们的置信度分数按升序排列，通过下式：和/>得到三元组错误的概率，其中Precision@K表示在可信度最低的前K个三元组中发现的假三元组的百分比，Recall@K表示已识别的假三元组占全部错误三元组的百分比。
进一步的，步骤4中知识图谱纠错模型构建包括如下步骤：
步骤41：使用LLM大模型作为基础模型；
步骤42：使用大规模语料对基础模型进行预训练，并在预训练任务中引入知识图谱相关的目标，以提高模型对知识图谱的理解；
步骤43：使用知识图谱纠错任务微调预训练的基础模型，使其更好地适应知识图谱纠错的特定任务；
步骤44：引入跨实体和关系的全局上下文，使基础模型可以充分理解实体和关系的上下文信息；
步骤45：在基础模型中引入(Graph Convolutional Networks，GCN)，用图卷积网络来表示文本数据的图结构，将文本中的单词作为节点，根据单词之间的关系构建边，学习捕捉不同单词之间的语义信息，从而更好地表示文本的结构信息，使模型能够更好地理解实体和关系之间的关联；在基础模型中引入注意力机制，来帮助模型更好地理解文本中不同部分的重要性，加强对知识图谱中错误部分的关注，增加模型的可解释性；将基础模型、图卷积网络和注意力机制进行联合训练，使三个组件相互影响并相互补充，提高纠错的准确性和效果；
步骤46：采用准确率评估基础模型性能，准确率ACC＝正确纠正错误数量/总错误数量。
更进一步的，步骤43中知识图谱纠错任务包括实体标注的错误修正和关系标注的错误修正，步骤如下：
步骤431：定义与任务相关的损失函数，以衡量模型在任务上的性能，损失函数选用纠错模型的预测值与真实值之间距离的平方和：
步骤432：进行模型的迭代，在每个迭代中，使用数据集的一部分，通过反向传播算法更新模型的参数，并保持预训练模型的一部分权重固定，只更新与任务相关的权重；
步骤433：根据Adam算法自适应调节学习率；
步骤434：使用一个独立的验证集来评估模型的性能，并根据验证集上的性能，调整模型的学习率和微调的轮数。
进一步的，步骤5中检错网络包括输入层、嵌入层、编码器层，其中输入层接收原始的知识图谱数据，嵌入层将输入的实体、关系和属性等信息转换为向量形式，编码器层为转换器结构并通过堆叠多个编码器层来对输入的知识图谱数据进行特征提取和表示学习，检错层尝试检测知识图谱中可能存在的错误；整个检错网络通常采用监督学习的方式进行训练，通过与标注好的正确知识图谱数据进行对比，来优化检错网络的参数，使其能够更准确地检测知识图谱中的错误。
有益效果：
1)本发明通过结合LLM大模型，在对知识图谱的错误检测和纠错上性能更好，能大大减少人工检测的工作量。
2)通过知识图谱弥补了大模型文本生成的事实错误性，提高了模型的准确率。
附图说明
图1为本发明方法的框架示意图。
图2为检错网络的结构示意图。
图3为在工业数据集上根据不同的K值得到K值下的Precision和Recall的置信度分数。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明，术语“上”、“下”、“前”、“后”、“左”、“右”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制：
如图1所示一种融合LLM大模型的知识图谱的纠错方法，包括以下步骤：
步骤1：获取知识图谱数据，包括实体、关系和三元组，并随机引入一些错误三元组作为正负样本构建错误检测模型的训练数据；
步骤2：构建知识图谱错误检测模型用于检测错误的三元组，错误检测模型使用嵌入技术将实体和关系嵌入到低维向量空间中，在错误检测模型输入三元组的嵌入向量后能输出错误的概率；
步骤3：使用步骤1中带有正负样本的训练数据对步骤2中构建的错误检测模型进行训练；
步骤4：使用带有错误的知识图谱作为输入，带有正确的知识图谱作为目标构建知识图谱纠错模型；
步骤5：使用错误检测模型检测错误三元组，并将其传递给纠错模型，由纠错模型修复错误三元组，创建一个检错网络比较修复前后的三元组，评估纠错模型的性能。
步骤6：将知识图谱输入通过评估的纠错模型，由纠错模型对知识图谱进行纠错。
步骤1中对给定知识图谱中的一个三元组(h，r，t)，将头/尾实体与其关系r不匹配的定义为关系错误的三元组；将头/尾实体本身错误的定义为实体错误的三元组；对于任意两个三元共享实体，即T1＝(h1，r1，t1)∩T2＝(h2，r2，t2)，将h1＝h2⊕h1＝t2定义为共享头部实体，t1＝h2⊕t1＝t2定义为共享尾部实体。
步骤1中通过将三元组的头h或尾t实体替换为一个随机的三元组或/>来生成负三元组：/>
步骤2中错误检测模型检测知识图谱中错误的三元组步骤如下：
步骤21：将原知识图谱中对应的三元组(h，r，t)转换为三元图的实例，并在在原知识图谱中随机初始化实体和关系的嵌入；
步骤22：采用一个局部信息建模层，即一组Bi-LSTM单元，来学习每个三元组中的局部关系结构，输出三元组嵌入qi作为初始的三元组嵌入在知识图谱中：
步骤23：基于相邻三元组e的加权聚合来更新嵌入表示{q1，q2，...，qm}，计算三元组和其相邻三元组j之间的权值其中/>表示三元组i对三元组j的重要性，是一个可学习的线性增广矩阵，用于将初始三元表示投影到相同的向量空间中，是注意函数：/>
步骤24：用softmax函数对不同三元组的注意系数进行标准化：并引入了一个超参数/>作为阈值，以阻止来自潜在异常三元组的信息：/>
步骤25：用一个sigmoid函数计算共享头部实体图中最终的错误感知三重表示：
步骤26：更新共享尾部实体的三元组qi嵌入：
步骤27：采用平方欧氏距离来测量每个三元组在平移假设下的不一致性，并定义知识图谱嵌入损失为：其中，E(h，r，t)＝||eh+er-et||2是基于翻译假设的翻译嵌入模型的分数，γ＞0为边缘的超参数，/>为采样的正三元组集；
步骤28：定义最终的置信度分数函数：C(h，r，t)＝σ(sim(xi，zi)-λ·E(h，r，t))，其中E(h，r，t)＝||eh+er-et||2反映了三元组内部的自我矛盾程度，而sim(xi，zi)衡量了来自共享头部实体图和共享尾部实体图的相同样本的三元组表示的一致性，采用权衡参数λ来平衡这两个学习信号对错误检测的贡献，然后使用sigmoid函数Sig(x)＝(1+e-x)-1将分数映射到[0，1]的范围内；
步骤29：将目标知识图谱中的所有三元组根据它们的置信度分数按升序排列，通过下式：和/>得到三元组错误的概率，其中Precision@K表示在可信度最低的前K个三元组中发现的假三元组的百分比，Recall@K表示已识别的假三元组占全部错误三元组的百分比。
步骤4中知识图谱纠错模型构建包括如下步骤：
步骤41：使用LLM大模型作为基础模型；
步骤42：使用大规模语料对基础模型进行预训练，并在预训练任务中引入知识图谱相关的目标，以提高模型对知识图谱的理解；
步骤43：使用知识图谱纠错任务微调预训练的基础模型，使其更好地适应知识图谱纠错的特定任务；
步骤44：引入跨实体和关系的全局上下文，使基础模型可以充分理解实体和关系的上下文信息；
步骤45：在基础模型中引入(Graph Convolutional Networks,GCN)，用图卷积网络来表示文本数据的图结构，将文本中的单词作为节点，根据单词之间的关系构建边，学习捕捉不同单词之间的语义信息，从而更好地表示文本的结构信息，使模型能够更好地理解实体和关系之间的关联；在基础模型中引入注意力机制，来帮助模型更好地理解文本中不同部分的重要性，加强对知识图谱中错误部分的关注，增加模型的可解释性；将基础模型、图卷积网络和注意力机制进行联合训练，使三个组件相互影响并相互补充，提高纠错的准确性和效果；
步骤46：采用准确率评估基础模型性能，准确率ACC＝正确纠正错误数量/总错误数量。
步骤43中知识图谱纠错任务包括实体标注的错误修正和关系标注的错误修正，步骤如下：
步骤431：定义与任务相关的损失函数，以衡量模型在任务上的性能，损失函数选用纠错模型的预测值与真实值之间距离的平方和：
步骤432：进行模型的迭代，在每个迭代中，使用数据集的一部分，通过反向传播算法更新模型的参数，并保持预训练模型的一部分权重固定，只更新与任务相关的权重；
步骤433：根据Adam算法自适应调节学习率；
步骤434：使用一个独立的验证集来评估模型的性能，并根据验证集上的性能，调整模型的学习率和微调的轮数。
如图2所示的检错网络包括输入层、嵌入层、编码器层，其中输入层接收原始的知识图谱数据，嵌入层将输入的实体、关系和属性等信息转换为向量形式，编码器层为转换器结构并通过堆叠多个编码器层来对输入的知识图谱数据进行特征提取和表示学习，检错层尝试检测知识图谱中可能存在的错误；整个检错网络通常采用监督学习的方式进行训练，通过与标注好的正确知识图谱数据进行对比，来优化检错网络的参数，使其能够更准确地检测知识图谱中的错误。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种融合LLM大模型的知识图谱的纠错方法，其特征在于：包括以下步骤：
步骤1：获取知识图谱数据，包括实体、关系和三元组，并随机引入一些错误三元组作为正负样本构建错误检测模型的训练数据；
步骤2：构建知识图谱错误检测模型用于检测错误的三元组，错误检测模型使用嵌入技术将实体和关系嵌入到低维向量空间中，在错误检测模型输入三元组的嵌入向量后能输出错误的概率；
步骤3：使用步骤1中带有正负样本的训练数据对步骤2中构建的错误检测模型进行训练；
步骤4：使用带有错误的知识图谱作为输入，带有正确的知识图谱作为目标构建知识图谱纠错模型；
步骤5：使用错误检测模型检测错误三元组，并将其传递给纠错模型，由纠错模型修复错误三元组，创建一个检错网络比较修复前后的三元组，评估纠错模型的性能。
步骤6：将知识图谱输入通过评估的纠错模型，由纠错模型对知识图谱进行纠错。
2.如权利要求1所述的融合LLM大模型的知识图谱的纠错方法，其特征在于：所述的步骤1中对给定知识图谱中的一个三元组(h，r，t)，将头/尾实体与其关系r不匹配的定义为关系错误的三元组；将头/尾实体本身错误的定义为实体错误的三元组；对于任意两个三元共享实体，即T1＝(h1，r1，t1)∩T2＝(h2，r2，t2)，将h1＝h2⊕h1＝t2定义为共享头部实体，t1＝h2⊕t1＝t2定义为共享尾部实体。
3.如权利要求1所述的融合LLM大模型的知识图谱的纠错方法，其特征在于：所述的步骤1中通过将三元组的头h或尾t实体替换为一个随机的三元组或/>来生成负三元组：
4.如权利要求1所述的融合LLM大模型的知识图谱的纠错方法，其特征在于：所述的步骤2中错误检测模型检测知识图谱中错误的三元组步骤如下：
步骤21：将原知识图谱中对应的三元组(h，r，t)转换为三元图的实例，并在在原知识图谱中随机初始化实体和关系的嵌入；
步骤22：采用一个局部信息建模层，即一组Bi-LSTM单元，来学习每个三元组中的局部关系结构，输出三元组嵌入qi作为初始的三元组嵌入在知识图谱中：
步骤23：基于相邻三元组e的加权聚合来更新嵌入表示{q1,q2,...,qm}，计算三元组和其相邻三元组j之间的权值其中/>表示三元组i对三元组j的重要性，是一个可学习的线性增广矩阵，用于将初始三元表示投影到相同的向量空间中，是注意函数：/>
步骤24：用softmax函数对不同三元组的注意系数进行标准化：并引入了一个超参数/>作为阈值，以阻止来自潜在异常三元组的信息：/>
步骤25：用一个sigmoid函数计算共享头部实体图中最终的错误感知三重表示：
步骤26：更新共享尾部实体的三元组qi嵌入：
步骤27：采用平方欧氏距离来测量每个三元组在平移假设下的不一致性，并定义知识图谱嵌入损失为：其中，E(h，r，t)＝||eh+er-et||2是基于翻译假设的翻译嵌入模型的分数，γ＞0为边缘的超参数，/>为采样的正三元组集；
步骤28：定义最终的置信度分数函数：C(h，r，t)＝σ(sim(xi，zi)-λ·E(h，r，t))，其中E(h，r，t)＝||eh+er-et||2反映了三元组内部的自我矛盾程度，而sim(xi，zi)衡量了来自共享头部实体图和共享尾部实体图的相同样本的三元组表示的一致性，采用权衡参数λ来平衡这两个学习信号对错误检测的贡献，然后使用sigmoid函数Sig(x)＝(1+e-x)-1将分数映射到[0,1]的范围内；
步骤29：将目标知识图谱中的所有三元组根据它们的置信度分数按升序排列，通过下式：和/>得到三元组错误的概率，其中Precision@K表示在可信度最低的前K个三元组中发现的假三元组的百分比，Recall@K表示已识别的假三元组占全部错误三元组的百分比。
5.如权利要求1所述的融合LLM大模型的知识图谱的纠错方法，其特征在于：所述的步骤4中知识图谱纠错模型构建包括如下步骤：
步骤41：使用LLM大模型作为基础模型；
步骤42：使用大规模语料对基础模型进行预训练，并在预训练任务中引入知识图谱相关的目标，以提高模型对知识图谱的理解；
步骤43：使用知识图谱纠错任务微调预训练的基础模型，使其更好地适应知识图谱纠错的特定任务；
步骤44：引入跨实体和关系的全局上下文，使基础模型可以充分理解实体和关系的上下文信息；
步骤45：在基础模型中引入(Graph Convolutional Networks,GCN)，用图卷积网络来表示文本数据的图结构，将文本中的单词作为节点，根据单词之间的关系构建边，学习捕捉不同单词之间的语义信息，从而更好地表示文本的结构信息，使模型能够更好地理解实体和关系之间的关联；在基础模型中引入注意力机制，来帮助模型更好地理解文本中不同部分的重要性，加强对知识图谱中错误部分的关注，增加模型的可解释性；将基础模型、图卷积网络和注意力机制进行联合训练，使三个组件相互影响并相互补充，提高纠错的准确性和效果；
步骤46：采用准确率评估基础模型性能，准确率ACC＝正确纠正错误数量/总错误数量。
6.如权利要求5所述的融合LLM大模型的知识图谱的纠错方法，其特征在于：所述的步骤43中知识图谱纠错任务包括实体标注的错误修正和关系标注的错误修正，步骤如下：
步骤431：定义与任务相关的损失函数，以衡量模型在任务上的性能，损失函数选用纠错模型的预测值与真实值之间距离的平方和：
步骤432：进行模型的迭代，在每个迭代中，使用数据集的一部分，通过反向传播算法更新模型的参数，并保持预训练模型的一部分权重固定，只更新与任务相关的权重；
步骤433：根据Adam算法自适应调节学习率；
步骤434：使用一个独立的验证集来评估模型的性能，并根据验证集上的性能，调整模型的学习率和微调的轮数。
7.如权利要求1所述的融合LLM大模型的知识图谱的纠错方法，其特征在于：所述的步骤5中检错网络包括输入层、嵌入层、编码器层，其中输入层接收原始的知识图谱数据，嵌入层将输入的实体、关系和属性等信息转换为向量形式，编码器层为转换器结构并通过堆叠多个编码器层来对输入的知识图谱数据进行特征提取和表示学习，检错层尝试检测知识图谱中可能存在的错误；整个检错网络通常采用监督学习的方式进行训练，通过与标注好的正确知识图谱数据进行对比，来优化检错网络的参数，使其能够更准确地检测知识图谱中的错误。
CN202410387475.4A 2024-04-01 2024-04-01 一种融合llm大模型的知识图谱的纠错方法 Pending CN118069868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410387475.4A CN118069868A (zh) 2024-04-01 2024-04-01 一种融合llm大模型的知识图谱的纠错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410387475.4A CN118069868A (zh) 2024-04-01 2024-04-01 一种融合llm大模型的知识图谱的纠错方法

Publications (1)

Publication Number Publication Date
CN118069868A true CN118069868A (zh) 2024-05-24

Family

ID=91097118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410387475.4A Pending CN118069868A (zh) 2024-04-01 2024-04-01 一种融合llm大模型的知识图谱的纠错方法

Country Status (1)

Country Link
CN (1) CN118069868A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118335360A (zh) * 2024-06-17 2024-07-12 浙江大学 基于大模型知识增强的交互式临床决策支持系统与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118335360A (zh) * 2024-06-17 2024-07-12 浙江大学 基于大模型知识增强的交互式临床决策支持系统与方法

Similar Documents

Publication Publication Date Title
CN108399428A (zh) 一种基于迹比准则的三元组损失函数设计方法
CN118069868A (zh) 一种融合llm大模型的知识图谱的纠错方法
CN109063021B (zh) 一种能够编码关系语义多样性结构的知识图谱分布式表示方法
CN114004346B (zh) 基于门控堆叠同构自编码器的软测量建模方法及存储介质
CN112100403A (zh) 一种基于神经网络的知识图谱不一致性推理方法
EP4425376A1 (en) Method and apparatus for searching for neural network ensemble model, and electronic device
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN113190688A (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN115660135A (zh) 基于贝叶斯方法和图卷积的交通流预测方法及系统
CN110533221A (zh) 基于生成式对抗网络的多目标优化方法
CN112131402A (zh) 一种基于蛋白质家族聚类的ppi知识图谱表示学习方法
CN112906935A (zh) 一种风电场超短期功率预测方法
Mishne et al. The numerical stability of hyperbolic representation learning
CN117669395B (zh) 改善焦炭热态质量预测模型适用性的领域自适应训练方法
CN117458480A (zh) 基于改进lof的光伏发电功率短期预测方法及系统
CN108537342A (zh) 一种基于邻居信息的网络表示学习方法及系统
CN114708479A (zh) 一种基于图结构和特征的自适应防御方法
CN116894180B (zh) 一种基于异构图注意力网络的产品制造质量预测方法
CN114528971A (zh) 一种基于异质图神经网络的图谱频繁关系模式挖掘方法
CN117709010A (zh) 基于ocssa-bp神经网络的变压器绝缘油溶解气体分析方法
CN117494428A (zh) 一种改进ABC-Kriging的机械系统可靠性优化设计方法
CN114037860B (zh) 基于鲁棒最小二乘回归框架的图像分类和特征选择方法
CN112667732B (zh) 一种基于任务感知元学习的持续关系抽取方法
CN115062762A (zh) 一种海流轨迹预测方法
Lin et al. Gaussian prototype rectification for few-shot image recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination