CN117725232B

CN117725232B - 多模态知识图谱校验方法、装置、电子设备及存储介质

Info

Publication number: CN117725232B
Application number: CN202410179226.6A
Authority: CN
Inventors: 魏鑫磊; 马慧生; 张伟
Original assignee: CETC 15 Research Institute
Current assignee: CETC 15 Research Institute
Priority date: 2024-02-18
Filing date: 2024-02-18
Publication date: 2024-04-26
Anticipated expiration: 2044-02-18
Also published as: CN117725232A

Abstract

本发明涉及一种多模态知识图谱校验方法、装置、电子设备及存储介质，该方法包括：从待校验多模态知识图谱中查询并获取待校验多模态知识对，待校验多模态知识对至少包括第一实体以及第一实体对应的第一图像。调用多模态大模型对第一图像进行处理，以生成并输出与第一图像对应的第一描述文本。通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本。将第一问题文本作为预训练大语言模型的输入，以输出与第一问题文本对应的第一答案，第一答案至少包括肯定词汇或否定词汇。当第一答案通过词汇匹配后存在肯定词汇时，输出第一实体与第一图像之间的实体关系。

Description

多模态知识图谱校验方法、装置、电子设备及存储介质

技术领域

本发明涉及知识图谱技术领域，特别是涉及一种多模态知识图谱校验方法、装置、电子设备及存储介质。

背景技术

知识图谱已经在各个领域广泛应用，目前知识图谱的校验主要是对知识图谱进行错误检测和噪声检测，常用的知识图谱校验方法是路径排序法、图嵌入法、置信知识表示学习方法以及几个方法的组合方法。其中，路径排序法是通过基于随机游走的特征选择方法抽取知识图谱的路径，然后给每个路径赋值，表示通过该路径从知识三元组的头部实体走到尾部实体的可能性概率。图嵌入法是通过将实体与实体关系映射到一个低维向量空间中，然后对这些向量进行连接预测和节点分类。例如平移距离模型（TranslationalDistance Models，TransE），以及之后的TransH，TransR，TransM，TransF都是TransH的变种。另一种嵌入法是语义模型法，主要是通过实体和实体关系之间的潜在语义匹配来评估不同事实的置信度。但是，以上常用的知识图谱校验方法不仅需要建立大量的样本构建错误检测模型，还需要通过人工找到错误知识三元组的特征，效率较低。另外，由于领域不同，需要建立的样本类型也不同，这就使得错误知识的三元组特征也不同，通用性较差。

因此，传统的知识图谱校验方法由于需要建立大量的样本构建错误检测模型，以及需要人工找到错误知识三元组特征和不同领域样本类型的限制，校验效率较低且通用性较差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够利用不同类型大模型的优势来对多模态知识图谱进行校验，校验效率较高且通用性较好的多模态知识图谱校验方法、装置、电子设备及存储介质。

本发明提供了一种多模态知识图谱校验方法，所述方法包括：

从待校验多模态知识图谱中查询并获取待校验多模态知识对，所述待校验多模态知识对至少包括第一实体以及所述第一实体对应的第一图像；

调用多模态大模型对所述第一图像进行处理，以生成并输出与所述第一图像对应的第一描述文本；

通过预训练大语言模型从所述第一描述文本中提取多个第二实体，以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本；

将所述第一问题文本作为所述预训练大语言模型的输入，以输出与所述第一问题文本对应的第一答案，所述第一答案至少包括肯定词汇或否定词汇；

当所述第一答案通过词汇匹配后存在所述肯定词汇时，输出所述第一实体与所述第一图像之间的实体关系。

在其中一个实施例中，所述从待校验多模态知识图谱中查询并获取待校验多模态知识对，之后还包括：

从所述待校验多模态知识对中提取所述第一图像，所述第一图像为待校验实体对应的图像；

将所述第一图像输入至所述多模态大模型中，以获取所述多模态大模型输出的所述第一描述文本。

在其中一个实施例中，所述通过预训练大语言模型从所述第一描述文本中提取多个第二实体，以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本，包括：

将所述多模态大模型输出的所述第一描述文本输入至所述预训练大语言模型，以获取所述预训练大语言模型输出的所述第一描述文本中的多个第二实体；

根据问题模板将所述第一实体与多个第二实体整合为所述第一问题文本。

在其中一个实施例中，所述通过预训练大模型从所述第一描述文本中提取多个第二实体，并根据问题模板生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本，还包括：

基于所述第一问题文本判断所述第一实体与所述多个第二实体中的任一实体是否存在实体关系；若是，则

输出所述第一实体与第二实体之间的第一实体关系，并将所述第一问题文本和第一实体关系输入至所述预训练大语言模型；若否，则

重新获取所述第一实体与所述多个第二实体中的其他实体之间的实体关系。

在其中一个实施例中，所述将所述第一问题文本作为所述预训练大语言模型的输入，以输出与所述第一问题文本对应的第一答案，之后包括：

基于所述第一答案，通过词汇匹配判断所述第一答案中是否存在所述肯定词汇；若是，则

输出所述第一实体与所述第一图像之间的第二实体关系；若否，则

输出错误知识对，所述错误知识对用于表征所述第一实体与所述第一图像之间无实体关系。

在其中一个实施例中，所述方法还包括：

基于所述第一答案，通过词汇匹配判断所述第一答案中是否存在所述否定词汇；若是，则

输出所述错误知识对；若否，则

在所述第一答案中存在所述肯定词汇时输出所述第二实体关系，以及在所述第一答案中不存在所述肯定词汇时输出所述错误知识对。

在其中一个实施例中，所述方法还包括：

基于所述待校验多模态知识图谱判断所述待校验多模态知识对是否已全部校验完成；若是，则

直接结束校验；若否，则

从所述待校验多模态知识图谱中查询并获取未校验的所述待校验多模态知识对。

本发明还提供了一种多模态知识图谱校验装置，所述装置包括：

校验查询模块，用于从待校验多模态知识图谱中查询并获取待校验多模态知识对，所述待校验多模态知识对至少包括第一实体以及所述第一实体对应的第一图像；

第一模型处理模块，用于调用多模态大模型对所述第一图像进行处理，以生成并输出与所述第一图像对应的第一描述文本；

第二模型处理模块，用于通过预训练大语言模型从所述第一描述文本中提取多个第二实体，以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本；

第三模型处理模块，用于将所述第一问题文本作为所述预训练大语言模型的输入，以输出与所述第一问题文本对应的第一答案，所述第一答案至少包括肯定词汇或否定词汇；

关系输出模块，用于当所述第一答案通过词汇匹配后存在所述肯定词汇时，输出所述第一实体与所述第一图像之间的实体关系。

本发明还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的多模态知识图谱校验方法。

本发明还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的多模态知识图谱校验方法。

上述多模态知识图谱校验方法、装置、电子设备及存储介质，通过从待校验多模态知识图谱中查询并获取包括实体以及实体对应图像的待校验多模态知识对。随后，调用多模态大模型对实体对应图像进行处理，以生成并输出与该图像对应的描述文本，再通过预训练大语言模型从该描述文本中提取多个实体，以生成用于判断待校验多模态知识对中的实体与从描述文本中提取的实体之间是否存在实体关系的问题文本。最后，将该问题文本作为预训练大语言模型的输入，以输出与该问题文本对应的包括肯定词汇或否定词汇答案。当输出的答案通过词汇匹配后存在肯定词汇时，输出待校验多模态知识对中的实体与图像之间的实体关系。该方法通过利用不同类型大模型的优势来对多模态知识图谱进行校验，有效降低了使用单独大模型在不同领域应用的限制，通用性较高，实现了多模态知识图谱校验的自动化，提高了多模态知识图谱校验的效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的多模态知识图谱校验方法流程示意图之一；

图2为本发明提供的具体实施例中多模态知识图谱校验方法的基于多类型大模型并行的多模态知识图自动校验流程示意图；

图3为本发明提供的多模态知识图谱校验方法流程示意图之二；

图4为本发明提供的多模态知识图谱校验方法流程示意图之三；

图5为本发明提供的多模态知识图谱校验方法流程示意图之四；

图6为本发明提供的多模态知识图谱校验方法流程示意图之五；

图7为本发明提供的多模态知识图谱校验方法流程示意图之六；

图8为本发明提供的多模态知识图谱校验方法流程示意图之七；

图9为本发明提供的多模态知识图谱校验装置结构示意图；

图10为本发明提供的计算机设备的内部结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图10描述本发明的多模态知识图谱校验方法、装置、电子设备及存储介质。

如图1所示，在一个实施例中，一种多模态知识图谱校验方法，包括以下步骤：

步骤S110，从待校验多模态知识图谱中查询并获取待校验多模态知识对，待校验多模态知识对至少包括第一实体以及第一实体对应的第一图像。

具体的，服务器从待校验多模态知识图谱中查询并获取待校验多模态知识对，该待校验多模态知识对至少包含实体以及该实体对应的图像，即第一实体以及第一实体对应的第一图像。

结合图2所示，在具体的实施例中，首先从待校验多模态知识图谱KG中查询待校验多模态知识对（x，I），其中，x为实体，I为实体对应的图像。

步骤S120，调用多模态大模型对第一图像进行处理，以生成并输出与第一图像对应的第一描述文本。

具体的，将步骤S110中查询得到的待校验多模态知识对中的第一图像输入至多模态大模型中，来调用多模态大模型对第一图像进行处理，进而生成并输出与第一图像对应的描述文本，即第一描述文本。

结合图2所示，在具体的实施例中，将图像I输入到多模态大模型Video-LLaMA中，生成图像相关描述文本T。

步骤S130，通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本。

具体的，服务器通过预训练大语言模型从步骤S120中生成的第一描述文本中提取多个实体，即第二实体，进而生成用于判断第一实体与第二实体之间是否存在实体关系的问题文本，即第一问题文本。

结合图2所示，在具体的实施例中，将图像I的相关描述文本T输入到预训练大模型ChatGLM-6B中，提取实体，得到n个实体分别是：实体1，实体2，实体3，…实体n。根据问题模板“实体x是否与实体1，实体2，实体3，…实体n中的实体存在关系？”生成问题文本Q。

步骤S140，将第一问题文本作为预训练大语言模型的输入，以输出与第一问题文本对应的第一答案，第一答案至少包括肯定词汇或否定词汇。

具体的，服务器将步骤S130中生成的第一问题文本作为训练大语言模型的输入，以输出与第一问题文本对应的答案，即第一答案，该答案至少包括肯定词汇或者否定词汇。

结合图2所示，在具体的实施例中，将问题Q输入到预训练语言大模型ChatGLM-6B中，得到答案A，根据词汇匹配判断答案A中是否存在肯定词汇“是”或者“存在”。同理，否定词汇即为“不是”或者“不存在”。

步骤S150，当第一答案通过词汇匹配后存在肯定词汇时，输出第一实体与第一图像之间的实体关系。

具体的，当第一答案通过词汇匹配后存在肯定词汇时，服务器则会输出第一实体与第一图像之间的实体关系。

结合图2所示，在具体的实施例中，如果存在肯定答复，输出关系内容结束，如果否定答复，则输出错误知识对，并进行下一个知识节点的校验。

上述多模态知识图谱校验方法，通过从待校验多模态知识图谱中查询并获取包括实体以及实体对应图像的待校验多模态知识对。随后，调用多模态大模型对实体对应图像进行处理，以生成并输出与该图像对应的描述文本，再通过预训练大语言模型从该描述文本中提取多个实体，以生成用于判断待校验多模态知识对中的实体与从描述文本中提取的实体之间是否存在实体关系的问题文本。最后，将该问题文本作为预训练大语言模型的输入，以输出与该问题文本对应的包括肯定词汇或否定词汇答案。当输出的答案通过词汇匹配后存在肯定词汇时，输出待校验多模态知识对中的实体与图像之间的实体关系。该方法通过利用不同类型大模型的优势来对多模态知识图谱进行校验，有效降低了使用单独大模型在不同领域应用的限制，通用性较高，实现了多模态知识图谱校验的自动化，提高了多模态知识图谱校验的效率。

如图3所示，在一个实施例中，本发明提供的多模态知识图谱校验方法，从待校验多模态知识图谱中查询并获取待校验多模态知识对，之后还包括以下步骤：

步骤S310，从待校验多模态知识对中提取第一图像，第一图像为待校验实体对应的图像。

具体的，服务器从待校验多模态知识图谱中查询并获取待校验多模态知识对之后，会从待校验多模态知识对中提取第一图像（图像I），该第一图像为待校验实体对应的图像。

步骤S320，将第一图像输入至多模态大模型中，以获取多模态大模型输出的第一描述文本。

具体的，服务器将步骤S310中提取的第一图像（图像I）输入至多模态大模型（多模态大模型Video-LLaMA）中，以获取多模态大模型输出的第一描述文本。

如图4所示，在一个实施例中，本发明提供的多模态知识图谱校验方法，通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本，具体包括以下步骤：

步骤S131，将多模态大模型输出的第一描述文本输入至预训练大语言模型，以获取预训练大语言模型输出的第一描述文本中的多个第二实体。

具体的，在生成用于判断第一实体与第二实体之间是否存在实体关系的问题文本的过程中，服务器会将多模态大模型（多模态大模型Video-LLaMA）输出的第一描述文本输入至预训练大语言模型（预训练语言大模型ChatGLM-6B）中，以获取预训练大语言模型输出的第一描述文本中的多个第二实体（实体1，实体2，实体3，…实体n）。

步骤S133，根据问题模板将第一实体与多个第二实体整合为第一问题文本。

具体的，根据问题模板将第一实体（实体x）与多个第二实体（实体1，实体2，实体3，…实体n）整合为对应的问题文本，即第一问题文本。

如图5所示，在一个实施例中，本发明提供的多模态知识图谱校验方法，通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本，具体还包括以下步骤：

步骤S132，基于第一问题文本判断第一实体与多个第二实体中的任一实体是否存在实体关系。

具体的，服务器基于第一问题文本（实体x是否与实体1，实体2，实体3，…实体n中的实体存在关系？）判断第一实体（实体x）与多个第二实体（实体1，实体2，实体3，…实体n）中的任一实体之间是否存在实体关系。

步骤S134，输出第一实体与第二实体之间的第一实体关系，并将第一问题文本和第一实体关系输入至预训练大语言模型。

具体的，当步骤S132中的判断结果为第一实体与多个第二实体中的任一实体之间存在实体关系时，服务器则会输出第一实体与对应的第二实体之间的实体关系内容，即第一实体关系，并将第一问题文本与第一实体关系输入至预训练大语言模型中。

步骤S136，重新获取第一实体与多个第二实体中的其他实体之间的实体关系。

具体的，当步骤S132中的判断结果为第一实体与多个第二实体中的任一实体之间不存在实体关系时，服务器则会重新获取第一实体与多个第二实体中的其他实体之间的实体关系。

如图6所示，在一个实施例中，本发明提供的多模态知识图谱校验方法，将第一问题文本作为预训练大语言模型的输入，以输出与第一问题文本对应的第一答案，之后包括以下步骤：

步骤S610，基于第一答案，通过词汇匹配判断第一答案中是否存在肯定词汇。

具体的，服务器基于先前得到的第一答案，通过词汇匹配判断第一答案（答案A）中是否存在肯定词汇。

步骤S620，输出第一实体与第一图像之间的第二实体关系。

具体的，当步骤S610中的判断结果为第一答案中存在肯定词汇时，则说明第一实体与第二实体之间存在实体关系，此时则输出第一实体与第一图像之间的实体关系内容，即第二实体关系。

步骤S630，输出错误知识对，错误知识对用于表征第一实体与第一图像之间无实体关系。

具体的，当步骤S610中的判断结果为第一答案中不存在肯定词汇时，则说明第一实体与第二实体之间不存在实体关系，此时则输出用于表征第一实体与第一图像之间无实体关系的错误知识对。

如图7所示，在一个实施例中，本发明提供的多模态知识图谱校验方法，还包括以下步骤：

步骤S710，基于第一答案，通过词汇匹配判断第一答案中是否存在否定词汇。

具体的，服务器基于第一答案，通过词汇匹配判断第一答案中是否存在否定词汇。

步骤S720，输出错误知识对。

具体的，当步骤S710中的判断结果为第一答案中存在否定词汇，则说明第一实体与第二实体之间不存在实体关系，此时则输出用于表征第一实体与第一图像之间无实体关系的错误知识对。

步骤S730，在第一答案中存在肯定词汇时输出第二实体关系，以及在第一答案中不存在肯定词汇时输出错误知识对。

具体的，当步骤S710中的判断结果为第一答案中不存在否定词汇时，则说明第一答案中可能存在肯定词汇也可能不存在肯定词汇，此时则在第一答案中存在肯定词汇时输出第一实体与第一图像之间的实体关系内容，即第二实体关系，以及在第一答案中不存在肯定词汇时输出用于表征第一实体与第一图像之间无实体关系的错误知识对。

如图8所示，在一个实施例中，本发明提供的多模态知识图谱校验方法，还包括以下步骤：

步骤S810，基于待校验多模态知识图谱判断待校验多模态知识对是否已全部校验完成。

具体的，服务器基于待校验多模态知识图谱判断待校验多模态知识图谱中的待校验多模态知识对是否已全部校验完成。

步骤S820，直接结束校验。

具体的，当步骤S810中的判断结果为待校验多模态知识图谱中的待校验多模态知识对已全部校验完成，此时则会直接结束校验。

步骤S830，从待校验多模态知识图谱中查询并获取未校验的待校验多模态知识对。

具体的，当步骤S810中的判断结果为待校验多模态知识图谱中的待校验多模态知识对未全部校验完成，此时则会从待校验多模态知识图谱中查询并获取未校验的待校验多模态知识对，进行校验过程，此处不再赘述。

下面对本发明提供的多模态知识图谱校验装置进行描述，下文描述的多模态知识图谱校验装置与上文描述的多模态知识图谱校验方法可相互对应参照。

如图9所示，在一个实施例中，一种多模态知识图谱校验装置，包括校验查询模块910、第一模型处理模块920、第二模型处理模块930、第三模型处理模块940以及关系输出模块950。

校验查询模块910用于从待校验多模态知识图谱中查询并获取待校验多模态知识对，待校验多模态知识对至少包括第一实体以及第一实体对应的第一图像。

第一模型处理模块920用于调用多模态大模型对第一图像进行处理，以生成并输出与第一图像对应的第一描述文本。

第二模型处理模块930用于通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本。

第三模型处理模块940用于将第一问题文本作为预训练大语言模型的输入，以输出与第一问题文本对应的第一答案，第一答案至少包括肯定词汇或否定词汇。

关系输出模块950用于当第一答案通过词汇匹配后存在肯定词汇时，输出第一实体与第一图像之间的实体关系。

在本实施例中，本发明提供的多模态知识图谱校验装置，还包括图像提取模块，用于：

从待校验多模态知识对中提取第一图像，第一图像为待校验实体对应的图像。

将第一图像输入至多模态大模型中，以获取多模态大模型输出的第一描述文本。

在本实施例中，本发明提供的多模态知识图谱校验装置，第二模型处理模块具体用于：

将多模态大模型输出的第一描述文本输入至预训练大语言模型，以获取预训练大语言模型输出的第一描述文本中的多个第二实体。

根据问题模板将第一实体与多个第二实体整合为第一问题文本。

在本实施例中，本发明提供的多模态知识图谱校验装置，第二模型处理模块具体还用于：

基于第一问题文本判断第一实体与多个第二实体中的任一实体是否存在实体关系。若是，则

输出第一实体与第二实体之间的第一实体关系，并将第一问题文本和第一实体关系输入至预训练大语言模型。若否，则

重新获取第一实体与多个第二实体中的其他实体之间的实体关系。

在本实施例中，本发明提供的多模态知识图谱校验装置，还包括第一词汇判断模块，用于：

基于第一答案，通过词汇匹配判断第一答案中是否存在肯定词汇。若是，则

输出第一实体与第一图像之间的第二实体关系。若否，则

输出错误知识对，错误知识对用于表征第一实体与第一图像之间无实体关系。

在本实施例中，本发明提供的多模态知识图谱校验装置，还包括第二词汇判断模块，用于：

基于第一答案，通过词汇匹配判断第一答案中是否存在否定词汇。若是，则

输出错误知识对。若否，则

在第一答案中存在肯定词汇时输出第二实体关系，以及在第一答案中不存在肯定词汇时输出错误知识对。

在本实施例中，本发明提供的多模态知识图谱校验装置，还包括校验判断模块，用于：

基于待校验多模态知识图谱判断待校验多模态知识对是否已全部校验完成。若是，则

直接结束校验。若否，则

从待校验多模态知识图谱中查询并获取未校验的待校验多模态知识对。

图10示例了一种电子设备的实体结构示意图，该电子设备可以是智能终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、内存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现多模态知识图谱校验方法，该方法包括：

从待校验多模态知识图谱中查询并获取待校验多模态知识对，待校验多模态知识对至少包括第一实体以及第一实体对应的第一图像；

调用多模态大模型对第一图像进行处理，以生成并输出与第一图像对应的第一描述文本；

通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本；

将第一问题文本作为预训练大语言模型的输入，以输出与第一问题文本对应的第一答案，第一答案至少包括肯定词汇或否定词汇；

当第一答案通过词汇匹配后存在肯定词汇时，输出第一实体与第一图像之间的实体关系。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

另一方面，本发明还提供了一种计算机存储介质，存储有计算机程序，计算机程序被处理器执行时实现多模态知识图谱校验方法，该方法包括：

又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令时实现多模态知识图谱校验方法，该方法包括：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。

作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种多模态知识图谱校验方法，其特征在于，所述方法包括：

当所述第一答案通过词汇匹配后存在所述肯定词汇时，输出所述第一实体与所述第一图像之间的实体关系；

其中，所述通过预训练大语言模型从所述第一描述文本中提取多个第二实体，以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本，包括：

根据问题模板将所述第一实体与多个第二实体整合为所述第一问题文本；

所述通过预训练大模型从所述第一描述文本中提取多个第二实体，并根据问题模板生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本，还包括：

2.根据权利要求1所述的多模态知识图谱校验方法，其特征在于，所述从待校验多模态知识图谱中查询并获取待校验多模态知识对，之后还包括：

3.根据权利要求1所述的多模态知识图谱校验方法，其特征在于，所述将所述第一问题文本作为所述预训练大语言模型的输入，以输出与所述第一问题文本对应的第一答案，之后包括：

4.根据权利要求3所述的多模态知识图谱校验方法，其特征在于，所述方法还包括：

输出所述错误知识对；若否，则

5.根据权利要求1至4任一项所述的多模态知识图谱校验方法，其特征在于，所述方法还包括：

直接结束校验；若否，则

6.一种多模态知识图谱校验装置，其特征在于，所述装置包括：

关系输出模块，用于当所述第一答案通过词汇匹配后存在所述肯定词汇时，输出所述第一实体与所述第一图像之间的实体关系；

7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

8.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。