CN115062783B - 实体对齐方法及相关装置、电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种实体对齐方法及相关装置、电子设备、存储介质，其中，实体对齐方法包括：获取待对齐的第一多模态知识图谱和第二多模态知识图谱；提取第一多模态知识图谱各种模态的第一子图谱，并提取第二多模态知识图谱各种模态的第二子图谱，及基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到实体集合；获取在第一多模态知识图谱且不在实体集合的第一实体，获取在第二多模态知识图谱且不在实体集合的第二实体；获取第一实体和第二实体之间的特征相似度，并获取第一实体的图文匹配度和第二实体的图文匹配度；基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。上述方案，能够提升多模态知识图谱中实体对齐的准确性。

Description

实体对齐方法及相关装置、电子设备、存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种实体对齐方法及相关装置、电子设备、存储介质。

背景技术

知识图谱（Knowledge Graph，KG）自诞生以来，一直在推动大数据和人工智能技术飞速发展的过程中起着非常关键的作用。知识图谱主要描述各类实体（如，人物A、人物B等）、概念以及它们之间的语义关系，其由一条条知识组成，而知识以三元组形式保存，即（subject，predicate，object）。

现有的知识图谱都以纯文本的形式出现，没有现实世界的联系。例如，对抽象概念的理解，一个符号“dog”应该根植于物理世界，和真实世界“狗”之间建立联系，从而机器能够有效地理解这些抽象概念。因此，多模态知识图谱也逐渐引起人们的注意。多模态知识图谱相较于单模态的知识图谱，引入实体的图像等其它模态的信息，可以让抽象概念与真实世界建立联系。但是，由于不同的多模态知识图谱在符号、语言等方面的异质性，多模态知识图谱中实体对齐仍然是一项极具挑战的工作。有鉴于此，如何提升多模态知识图谱中实体对齐的准确性成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种实体对齐方法及相关装置、电子设备、存储介质，能够提升多模态知识图谱中实体对齐的准确性。

为了解决上述技术问题，本申请第一方面提供了一种实体对齐方法，包括：获取待对齐的第一多模态知识图谱和第二多模态知识图谱；基于第一多模态知识图谱，提取各种模态的第一子图谱，并基于第二多模态知识图谱，提取各种模态的第二子图谱，以及基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合；其中，各种模态至少包括图像模态；获取在第一多模态知识图谱且不在实体集合的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体；获取第一实体和第二实体之间的特征相似度，并获取第一实体的图文匹配度和第二实体的图文匹配度；其中，特征相似度包括：相同模态下第一实体和第二实体的子相似度；基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。

为了解决上述技术问题，本申请第二方面提供了一种实体对齐装置，包括：图谱获取模块、子图划分模块、子图对齐模块、实体获取模块、相似度量模块、匹配度量模块和对齐确定模块，图谱获取模块，用于获取待对齐的第一多模态知识图谱和第二多模态知识图谱；子图划分模块，用于基于第一多模态知识图谱，提取各种模态的第一子图谱，并基于第二多模态知识图谱，提取各种模态的第二子图谱；其中，各种模态至少包括图像模态；子图对齐模块，用于基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合；实体获取模块，用于获取在第一多模态知识图谱且不在实体集合的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体；相似度量模块，用于获取第一实体和第二实体之间的特征相似度；其中，特征相似度包括：相同模态下第一实体和第二实体的子相似度；匹配度量模块，用于获取第一实体的图文匹配度和第二实体的图文匹配度；对齐确定模块，用于基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。

为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面的实体对齐方法。

为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的实体对齐方法。

上述方案，获取待对齐的第一多模态知识图谱和第二多模态知识图谱，从而基于第一多模态知识图谱，提取各种模态的第一子图谱，并基于第二多模态知识图谱，提取各种模态的第二子图谱，以及基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合，且各种模态至少包括图像模态，进而获取在第一多模态知识图谱且不在实体集合中的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体。在此基础上，再获取第一实体和第二实体之间的特征相似度，并获取第一实体的图文匹配度和第二实体的图文匹配度，且特征相似度包括：相同模态下第一实体和第二实体的子相似度，以基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。一方面，在多模态知识图谱中实体对齐过程中，由于在各个模态下分别进行实体对齐，以获取对齐后的实体集合，从而相较于直接将第一多模态知识图谱和第二多模态知识图谱进行实体对齐而言，能够尽可能地参考各个实体的完整信息来进行实体对齐，有助于提升实体对齐的准确性，另一方面对于第一多模态知识图谱中未在第一阶段对齐的第一实体和第二多模态知识图谱中未在第一阶段对齐的第二实体而言，进一步结合两者之间的特征相似度以及各自的图文匹配度进行实体对齐，能够尽可能地降低图文不匹配对实体对齐的影响，有助于在实体对齐过程中提升实体配图的容错性。故此，能够提升多模态知识图谱中实体对齐的准确性。

附图说明

图1是本申请实体对齐方法一实施例的流程示意图；

图2是本申请实体对齐方法一实施例的过程示意图；

图3是本申请实体对齐装置一实施例的框架示意图；

图4是本申请电子设备一实施例的框架示意图；

图5是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中片段“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请实体对齐方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取待对齐的第一多模态知识图谱和第二多模态知识图谱。

需要说明的是，本公开实施例所称“多模态知识图谱”其所包含的实体可以采用不同模态分别予以表示。此外，实体表示时所采用的模态可以包括但不限于：文字、数值、图像、结构等，在此不做限定。示例性地，以历史人物场景为例，对于“多模态知识图谱”中实体“人物A”而言，该实体可以以文字模态表示为中文“人物A”、英文“person A”，以图像模态表示为人物A的头像图像。此外，与实体“人物A”连接的还有实体“人物B”，两者之间的关系为“作者”，即“人物B”的作者为“人物A”，与实体“人物A”连接的还有实体“1452-4-15”，两者之间的关系为“出生日期”，即“人物A”的出生日期为“1452-4-15”，此时实体“人物A”以结构模态表示为两个结构分支，且一个分支为“作者”，一个分支为“出生日期”。进一步地，“多模态知识图谱”中各个实体还可以按照一定的规则进行编号，示例性地，可以采用若干位编号，其中第一位可以表示大类（如，人、植物、动物、建筑、自然等），第二位至第三位可以表示小类（如，大类“人”的小类可以包括：物理学家、化学家、音乐家、画家等），在此不做限定。在此基础上，实体“人物A”还可以以数值模态表示为按照上述规则所确定的编号。上述“多模态知识图谱”仅仅是实际应用过程中一种可能的实施方式，并不因此而限定多模态知识图谱具体所包含的实体，以及各个实体的模态表示。

步骤S12：基于第一多模态知识图谱，提取各种模态的第一子图谱，并基于第二多模态知识图谱，提取各种模态的第二子图谱，以及基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合。

本公开实施例中，各种模态至少包括图像模态。此外，各种模态还可以进一步包括但不限于：文字模态、数值模态、结构模态等，在此不做限定。上述各种模态的具体含义，可以参阅前述相关描述，在此不再赘述。

在一个实施场景中，为了便于描述，以各种模态包括：文字模态、数值模态、结构模态和图像模态为例，对于文字模态而言，可以从第一多模态知识图谱提取得到文字模态的第一子图谱CG1，并从第二多模态知识图谱提取得到文字模态的第二子图谱CG1’；类似地，对于数值模态而言，可以从第一多模态知识图谱提取得到数值模态的第一子图谱CG2，并从第二多模态知识图谱提取得到数值模态的第二子图谱CG2’；类似地，对于结构模态而言，可以从第一多模态知识图谱提取得到结构模态的第一子图谱CG3，并从第二多模态知识图谱提取得到结构模态的第二子图谱CG3’；类似地，对于图像模态而言，可以从第一多模态知识图谱提取得到图像模态的第一子图谱CG4，并从第二多模态知识图谱提取得到图像模态的第二子图谱CG4’。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，作为一种实体对齐的实施方式，可以将第一多模态知识图谱和第二多模态知识图谱中各个实体分别作为待对齐实体，并获取预对齐的实体集合。需要说明的是，预对齐的实体集合中包含若干对预对齐实体，且每对预对齐实体中两个实体分别来自第一多模态知识图谱和第二多模态知识图谱。此外，预对齐的实体集合可以通过人为指定、实体之间语义相似度等方式确定，在此不做限定。需要说明的是，在实际应用中，对于预对齐的实体集合中所含预对齐实体的对数，以及预对齐的准确度可以不做严格限定。也就是说，预对齐的实体集合用于在实体对齐的起始阶段引导后续实体对齐。在此基础上，可以将每对预对齐实体中其中一个实体作为第一对齐实体e，可以将另一个实体作为第二对齐实体e’，从而将每对预对齐实体中第二对齐实体e’随机替换为不同于该第二对齐实体e’的待对齐实体，作为第一对齐实体e的负例实体e_，与此同时，可以将每对预对齐实体中第一对齐实体e随机替换为不同于该第一对齐实体e的待对齐实体，作为第二对齐实体e’的负例实体e’_。基于此，对于每个模态，可以进一步获取第一对齐实体e与第二对齐实体e’在该模态下的特征距离，获取第一对齐实体e的负例实体e_与第二对齐实体e’在该模态下的特征距离，并基于这两种特征距离，得到在该模态下的第一距离，且第一距离与前一种特征距离正相关，与后一种特征距离负相关；与此同时，类似地可以进一步获取第一对齐实体e与第二对齐实体e’在该模态下的特征距离，获取第二对齐实体e’的负例实体e’_与第一对齐实体e在该模态下的特征距离，并基于这两种特征距离，得到该模态下的第二距离，且第二距离与前一种特征距离正相关，与后一种特征距离负相关。在此基础上，可以基于第一距离和第二距离，得到在该模态下对齐学习的损失值，进而通过最小化该模态下对齐学习的损失值，优化更新各个待对齐实体在该模态下的特征向量。需要说明的是，通过最小化该模态下对齐学习的损失值，能够使得本就对齐的实体在该模态下的特征向量尽可能地接近，并使得无关实体在该模态下的特征向量尽可能地疏离，以尽可能地提升待对齐实体在该模态下特征向量的准确性。在优化更新得到待对齐实体在各个模态下的特征向量之后，即可将待对齐实体在各个模态下的特征向量进行融合（如，平均、加权等），得到待对齐实体的融合向量，并基于来自第一多模态知识图谱中待对齐实体和来自第二多模态知识图谱中待对齐实体两两之间融合向量的相似度，确定彼此是否可以对齐，若确定对齐，则可以作为一对预对齐实体加入实体集合，以对实体集合进行更新。

在一个具体的实施场景中，为了进一步提升实体集合的准确性，可以通过多轮迭代不断更新实体集合，直至实体集合不再发生变化为止。示例性地，在前述“若确定对齐则可以加入实体集合，以对实体集合进行更新”之后，可以进一步重新执行前述“将每对预对齐实体中其中一个实体作为第一对齐实体e，可以将另一个实体作为第二对齐实体e’”的步骤以及后续步骤。为了便于描述，可以将第k轮迭代对应的损失值L_k表示为：

上述公式中，k表示迭代轮次，e^k表示第k轮迭代时第一对齐实体e的特征向量，e’^k表示第k轮迭代时第二对齐实体e’的特征向量，e^k_表示第k轮第一对齐实体e的负例实体e_的特征向量，e’^k_表示第k轮第二对齐实体e’的负例实体e’_的特征向量。此外，ψ^s表示实体集合。需要说明的是，在首轮迭代时，ψ^s表示预对齐的实体即可，从第二轮迭代开始，ψ^s均表示上一轮迭代后更新的实体集合。NS（e）表示第一对齐实体e的负例实体e_的样本集合，NS（e’）表示第二对齐实体e’的负例实体e’_的样本集合。γ为超参数，其具体数值在此不做限定。此外，d(·,·) = 1 − cos(·,·)，d(·,·)表示两个特征向量之间的特征距离，cos(·,·)表示两个特征向量之间的余弦相似度。

在一个具体的实施场景中，在首轮迭代之前，可以预先获取各种模态下第一子图谱和第二子图谱中各个实体的特征向量。需要说明的是，第一子图谱中各个实体的特征向量，可以由与第一子图谱所属模态匹配的特征提取方式对第一子图谱提取得到，而第二子图谱中各个实体的特征向量，可以由与第二子图谱所属模态匹配的特征提取方式对第二子图谱提取得到。示例性地，对于文字模态的第一子图谱CG1和第二子图谱CG1’，以及数值模态的第一子图谱CG2和第二子图谱CG2’，可以采用诸如BERT（Bidirectional EncoderRepresentation from Transformers，即基于Transformer 的双向编码器表征）等模型提取得到子图谱中各个实体的特征向量；对于结构模态的第一子图谱CG3和第二子图谱CG3’，可以采用诸如R-GCN（Relational graph convolutional network，关系图卷积网络）等模型提取得到子图谱中各个实体的特征向量；对于图像模态的第一子图谱CG4和第二子图谱CG4’，可以采用诸如ResNet等模型提取得到子图谱中各个实体的特征向量。

在一个实施场景中，区别于前述对齐方式，为了进一步提升实体对齐的准确性，还可以先获取第一多模态知识图谱和第二多模态知识图谱中出现频率不低于预设阈值的频繁实体，并获取第一多模态知识图谱和第二多模态知识图谱中出现频率低于预设阈值的长尾实体。在此基础上，可以先分别基于相同模态的第一子图谱和第二子图谱对频繁实体进行实体对齐，得到对齐后的初始集合，再参考初始集合，分别基于相同模态的第一子图谱和第二子图谱对长尾实体进行实体对齐，以扩充初始集合，得到对齐后的实体集合。上述方式，通过区分第一多模态知识图谱和第二多模态知识图谱中的频繁实体和长尾实体，并先基于相同模态的第一子图谱和第二子图谱对频繁实体进行实体对齐，得到对齐后的初始集合，再参考初始集合，基于相同模态的第一子图谱和第二子图谱对长尾实体进行实体对齐，以扩充初始集合，得到对齐后的实体集合，故先对齐关系更为丰富的频繁实体，能够提升初始集合的准确性，在此基础上再结合初始集合对长尾实体进行对齐，能够为长尾实体对齐提供更为丰富的参考信息，有助于提升长尾实体的对齐效果。故此，能够进一步提升实体对齐的准确性。

在一个具体的实施场景中，上述步骤“分别基于相同模态的第一子图谱和第二子图谱对频繁实体进行实体对齐”的具体过程，可以参阅前述“作为一种实体对齐的实施方式”的相关描述，在此不再赘述。需要说明的是，对频繁实体进行实体对齐的过程，与上述“作为一种实体对齐的实施方式”的相关描述大体相同，不同之处主要在于，在对频繁实体进行实体对齐的过程中，可以将频繁实体作为上述“作为一种实体对齐的实施方式”的相关描述中待对齐实体。

在一个具体的实施场景中，上述步骤“参考初始集合，分别基于相同模态的第一子图谱和第二子图谱对长尾实体进行实体对齐，以扩充初始集合，得到实体集合”的具体过程，可以参阅前述“作为一种实体对齐的实施方式”的相关描述，在此不再赘述。需要说明的是，对长尾实体进行实体对齐的过程，与上述“作为一种实体对齐的实施方式”的相关描述大体相同，不同之处主要在于，在对长尾实体进行实体对齐的过程中，可以将长尾实体作为上述“作为一种实体对齐的实施方式”的相关描述中待对齐实体。进一步地，在对长尾实体进行实体对齐的过程中，首轮迭代预对齐的实体集合即为对齐后的初始集合，则在对长尾实体进行实体对齐的后续迭代过程中，可以不断扩充初始集合，得到对齐后的实体集合。

步骤S13：获取在第一多模态知识图谱且不在实体集合的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体。

具体地，在得到实体集合之后，即可检查第一多模态知识图谱和第二多模态知识图谱中尚未对齐的实体，以进一步对这些实体进行对齐。具体来说，可以获取在第一多模态知识图谱且不在实体集合的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体。

步骤S14：获取第一实体和第二实体之间的特征相似度，并获取第一实体的图文匹配度和第二实体的图文匹配度。

本公开实施例中，特征相似度包括：相同模态下第一实体和第二实体的子相似度。仍以各种模态包括文字模态、数值模态、结构模态和图像模态为例，特征相似度可以包括：文字模态下第一实体和第二实体的子相似度、数值模态下第一实体和第二实体的子相似度、结构模态下第一实体和第二实体的子相似度、图像模态下第一实体和第二实体的子相似度。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，相同模态下第一实体和第二实体的子相似度可以基于对应模态下第一实体的特征向量和第二实体的特征向量得到。仍以各种模态包括文字模态、数值模态、结构模态和图像模态为例，可以将文字模态下第一实体的特征向量和第二实体的特征向量之间的余弦相似度，作为文字模态下第一实体和第二实体的子相似度；类似地，可以将数值模态下第一实体的特征向量和第二实体的特征向量之间的余弦相似度，作为数值模态下第一实体和第二实体的子相似度；类似地，可以将结构模态下第一实体的特征向量和第二实体的特征向量之间的余弦相似度，作为结构模态下第一实体和第二实体的子相似度；类似地，可以将图像模态下第一实体的特征向量和第二实体的特征向量之间的余弦相似度，作为图像模态下第一实体和第二实体的子相似度。其他情况可以以此类推，在此不再一一举例。此外，各种模态下第一实体的特征向量可以分别由与模态匹配的特征提取方式对第一子图谱提取得到，各种模态下第二实体的特征向量可以分别由与模态匹配的特征提取方式对第二子图谱提取得到。具体可以参阅前述相关描述，在此不再赘述。上述方式，相同模态下第一实体和第二实体的子相似度基于对应模态下第一实体的特征向量和第二实体的特征向量度量得到，且各种模态下第一实体的特征向量分别由与模态匹配的特征提取方式对第一子图谱提取得到，各种模态下第二实体的特征向量分别由与模态匹配的特征提取方式对第二子图谱提取得到，故通过与模态匹配的特征提取方式对子图谱进行特征提取，得到实体在对应模态下的特征向量，能够有助于提升特征向量的准确性。

在一个实施场景中，为了便于描述，可以将各种模态下，各个第一实体和第二实体两两之间的子相似度以矩阵形式表示，示例性地，对于第m种模态而言，可以将各个第一实体和第二实体两两之间的子相似度表示为矩阵S_m，且矩阵S_m中元素S_m(i,j)可以表示第i个第一实体和第j个第二实体在第m种模态下的子相似度。

在一个实施场景中，图文匹配度可以基于描述文本、描述文本所属实体的描述图像之间的特征匹配度得到，且描述图像表征描述文本所属实体的图像模态。示例性地，对于第一多模态知识图谱中的第一实体而言，可以获取其描述文本，并获取其图像模态下的描述图像，在此基础上，再获取第一实体的描述文本和描述图像之间的特征匹配度，即可得到第一实体的图文匹配度；类似地，对于第二多模态知识图谱中的第二实体而言，可以获取其描述文本，并获取其图像模态下的描述图像，在此基础上，再获取第二实体的描述文本和描述图像之间的特征匹配度，即可得到第二实体的图文匹配度。上述方式，图文匹配度基于描述文本、描述文本所属实体的描述图像两者之间的特征匹配度得到，且描述图像表征描述文本所属实体的图像模态，故能够在特征层面确定实体的图文匹配度，有助于提升图文匹配度的准确性。

在一个具体的实施场景中，描述文本可以从多模态知识图谱中获取得到。示例性地，对于第一实体而言，可以从第一多模态知识图谱中获取第一实体的描述文本；类似地，对于第二实体而言，可以从第二多模态知识图谱中获取第二实体的描述文本。

在一个具体的实施场景中，在多模态知识图谱中无法获取实体的描述文本时，可以基于该实体，通过诸如百科等途径进行检索，得到该实体的描述文本。示例性地，对于第一实体而言，若从第一多模态知识图谱无法获取到第一实体的描述文本，则可以将第一实体输入百科进行检索，如可以基于第一实体的文字模态，获取检索词，并将该检索词输入百科检索得到第一实体的描述文本。例如，对于第一实体“人物A”而言，若第一多模态知识图谱中无法获取到其描述文本，则可以基于第一实体“人物A”文字模态，获取检索词“人物A”，并将该检索词输入百科检索得到第一实体“人物A”如下描述文本：人物A（儒略历1452年4月15日[公历4月23日]－1519年5月2日）。意大利文艺复兴时期画家、自然科学家、工程师。其他情况可以以此类推，在此不再一一举例。

在一个具体的实施场景中，可以采用诸如CLIP（Contrastive Language-ImagePre-training）等模型对描述文本和描述图像进行处理，得到描述文本和描述图像之间的特征匹配度，从而得到描述文本和描述图像两者所属实体的图文匹配度。为了便于描述，可以将实体e的图文匹配度记为score(e)，其对于任意实体而言，若其存在图像模态的描述图像，则其图文匹配度score(e)应大于0且不大于1。当然，区别于直接通过CLIP（ContrastiveLanguage-Image Pre-training）等模型处理描述文本和描述图像得到图文匹配度的方式，也可以对描述文本进行语义提取，得到描述文本的文本特征，并对描述图像进行特征提取，得到描述文本的图像特征，并计算文本特征和图像特征之间的语义相似度，作为图文匹配度。上述描述仅仅是实际应用过程中，图文匹配度几种可能的实施方式，并不因此而限定图文匹配度的计算方式。

在一个具体的实施场景中，在描述文本所属实体不存在描述图像的情况下，图文匹配度为预设匹配度，且预设匹配度低于任意存在描述图像的实体的图文匹配度。示例性地，预设匹配度可以设置0，即对于不存在描述图像的实体而言，其图文匹配度score(e)=0。上述方式，在描述文本所属实体不存在描述图像的情况下，图文匹配度为预设匹配度，且预设匹配度低于任意存在描述图像的实体的图文匹配度，故能够有助于提升后续实体对齐的准确性。

步骤S15：基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。

在一个实施场景中，可以将图像模态下第一实体和第二实体的子相似度，作为第一相似度，并基于图像模态以外的各个模态下第一实体和第二实体的子相似度，融合得到第二相似度，以及基于图文匹配度，得到第一相似度的第一权重和第二相似度的第二权重，再基于第一权重、第二权重分别对第一相似度、第二相似度进行加权，得到第一实体和第二实体的最终相似度。在此基础上，基于各个第一实体和各个第二实体两两之间的最终相似度，得到实体对齐结果。上述方式，通过区分图像模态下的第一相似度以及图像模态以外的各个模态经融合所得到的第二相似度，并参考图文匹配度对第一相似度和第二相似度进行加权，以得到第一实体和第二实体的最终相似度，故能够尽可能地减弱多模态知识图谱中存在图文不匹配的情况时对实体对齐的影响，有助于进一步提升实体对齐的准确性。

在一个具体的实施场景中，可以对图像模态之外各个模态下的子相似度取均值，得到第二相似度。为了便于描述，仍以第i个第一实体和第j个第二实体而言，可以将两者之间的第一相似度记为I(i,j)，并将两者之间的第二相似度记为T(i,j)。其他情况可以以此类推，在此不再一一举例。上述方式，通过对图像模态之外各个模态下的子相似度取均值，得到第二相似度，能够有助于降低第二相似度的计算复杂度。

在一个具体的实施场景中，可以将第一实体的图文匹配度、第二实体的图文匹配度中较小者，作为第一匹配度，并基于第一匹配度，获取与第一匹配度负相关的第二匹配度。为了便于描述，可以将第一实体的图文匹配度记为score(i)，并将第二实体的图文匹配度记为score(j)，故第一匹配度可以记为min(score(i),score(j))。此外，由于图文匹配度的取值范围为0至1，且第一权重和第二权重的取值范围也可以设置为0至1，故第二匹配度可以表示为1-min(score(i),score(j))。在此基础上，可以将第一匹配度min(score(i),score(j))作为第一权重，并将第二匹配度1-min(score(i),score(j))作为第二权重，或者，将第二匹配度1-min(score(i),score(j))作为第一权重，并将第一匹配度min(score(i),score(j))作为第二权重。示例性地，若将第一匹配度min(score(i),score(j))作为第一权重，并将第二匹配度1-min(score(i),score(j))作为第二权重，则第i个第一实体和第j个第二实体之间的最终匹配度M(i,j)可以表示为：

M(i,j)=I(i,j)*min(score(i),score(j))+T(i,j)*(1-min(score(i),score(j)))

当然，若将第二匹配度1-min(score(i),score(j))作为第一权重，并将第一匹配度min(score(i),score(j))作为第二权重，可以参照上述计算公式，得到最终匹配度M(i,j)，在此不再赘述。上述方式，将第一实体的图文匹配度、第二实体的图文匹配度中较小者，作为第一匹配度，并基于第一匹配度，获取与第一匹配度负相关的第二匹配度。在此基础上，将第一匹配度作为第一权重，并将第二匹配度作为第二权重，或者，将第二匹配度作为第一权重，并将第一匹配度作为第二权重。故此，能够在提升第一权重和第二权重准确性的同时，降低第一权重和第二权重的计算复杂度。

在一个具体的实施场景中，在得到各个第一实体和各个第二实体两两之间的最终匹配度之后，对于各个第一实体，可以基于第一实体分别与各个第二实体之间的最终相似度，选择至少一个第二实体，作为第一实体的候选对齐实体。在此基础上，即可基于各个第一实体的候选对齐实体，得到实体对齐结果。示例性地，对于各个第一实体，可以按照第一实体分别与各个第二实体之间的最终相似度由大到小的顺序，选择位于前N个第二实体，作为第一实体的候选对齐实体，之后即可将各个第一实体的候选对齐实体，作为实体对齐结果。上述方式，对于各个第一实体，基于第一实体分别与各个第二实体之间的最终相似度，选择至少一个第二实体，作为第一实体的候选对齐实体，再基于各个第一实体的候选对齐实体，得到实体对齐结果，能够提升第一实体和第二实体对齐的准确性。

在一个实施场景中，区别于前述第一实体和第二实体的对齐方式，在对第一实体和第二实体的对齐准确性要求相对宽松的情况下，为了进一步降低实体对齐的复杂度，在得到特征相似度和图文匹配度之后，还可以将第一实体的图文匹配度、第二实体的图文匹配度中较小者，作为图像模式下子相似度的子权重，与此同时，可以获取其他模态下子相似度的子权重。在此基础上，即可基于各种模态下子相似度的子权重分别对各个子相似度进行加权，得到第一实体和第二实体的最终相似度。在此之后，与前述方式类似地，即可基于各个第一实体和各个第二实体两两之间的最终相似度，得到实体对齐结果。需要说明的是，其他模态下子相似度的子权重可以设置预设数值（如，1）。由此可见，区别于前述方式，由于权重的计算方式大大降低，且也无需区分图像模态以及其他模态下的相似度，故能够有助于降低实体对齐的复杂度。

在一个实施场景中，请参阅图2，图2是本申请实体对齐方法一实施例的过程示意图。如图2所示，对于第一多模态知识图谱和第二多模态知识图谱而言，可以先分别进行子图划分，得到各种模态（如，文字模态、数值模态、结构模态、图像模态等）的第一子图谱和各种模态的第二子图谱，并参考第一多模态知识图谱和第二多模态知识图谱两者之间预对齐的实体集合，基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合。之后，即可获取在第一多模态知识图谱且不在实体集合的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体，以及获取第一实体和第二实体之间的特征相似度，并获取第一实体的图文匹配度和第二实体的图文匹配度，且特征相似度包括：相同模态下第一实体和第二实体的子相似度，从而可以基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。故此，结合对齐后的实体集合，以及第一实体和第二实体的实体对齐结果，即完成第一多模态知识图谱和第二多模态知识图谱两者之间的实体对齐。

在一个实施场景中，在得到实体对齐结果之后，还可以进一步基于实体集合和实体对齐结果，将第一多模态知识图谱和第二多模态知识图谱进行融合，得到最终多模态知识图谱。具体地，对于位于实体集合中已对齐的实体对，可以将实体对融合为一，且最终多模态知识图谱中与该实体对中两个实体分别对应的实体即为实体对融合后的实体，且该融合后的实体在最终多模态知识图谱中具有若干种模态，进一步地，若干种模态包含该实体对中两个实体分别在第一多模态知识图谱和第二多模态知识图谱中的各种模态。示例性地，实体集合中包含已对齐的来自第一多模态知识图谱的实体“人物A”和来自第二多模态知识图谱的实体“person A”，则可以将两者融合为实体“人物A（person A）”，最终多模态知识图谱中包含融合后的实体“人物A（person A）”。此外，实体“人物A”在第一多模态知识图谱中具有图像模态（如人物A的头像图1），实体“person A”在第二多模态知识图谱中也具有图像模态（如人物A的头像图2），则最终多模态知识图谱中融合后的实体“人物A（personA）”具有图像模态（如人物A的头像图1和头像图2）。需要说明的是，头像图1和头像图2为可以为两个不同图像，在此不再详细展示。与此同时，如前所述，第一实体的实体对齐结果可以包括：其分别与各个第二实体之间的最终相似度由大到小排序后，所选择的位于前N个第二实体（也即第一实体的候选对齐实体），类似的，第二实体的实体对齐结果可以包括：其分别与各个第一实体之间的最终相似度由大到小排序后，所选择的位于前N个的第一实体（也即第二实体的候选对齐实体）。此时可以基于各个第一实体的实体对齐结果和各个第二实体的实体对齐结果进行后处理（如可以包括矛盾消除等），以确定各个第一实体和各个第二实体之间的对应关系。也就是说，通过后处理，确保具有对应关系的第一实体和第二实体指代同一事物，而不具有对应关系的第一实体和第二实体指代不同事物。在此基础上，再将具有对应关系的第一实体和第二实体融合为一，且最终多模态知识图谱中与具有对应关系的第一实体和第二实体即为融合后的实体，且该融合后的实体在最终多模态知识图谱中具有若干种模态，进一步地，若干种模态包含该具有对应关系的第一实体和第二实体分别在第一多模态知识图谱和第二多模态知识图谱中的各种模态。具体可以参阅前述相关描述，在此不再赘述。

上述方案，获取待对齐的第一多模态知识图谱和第二多模态知识图谱，从而基于第一多模态知识图谱，提取各种模态的第一子图谱，并基于第二多模态知识图谱，提取各种模态的第二子图谱，以及基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合，且各种模态至少包括图像模态，进而获取在第一多模态知识图谱且不在实体集合中的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体。在此基础上，再获取第一实体和第二实体之间的特征相似度，并获取第一实体的图文匹配度和第二实体的图文匹配度，且特征相似度包括：相同模态下第一实体和第二实体的子相似度，以基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。一方面，在多模态知识图谱中实体对齐过程中，由于在各个模态下分别进行实体对齐，以获取对齐后的实体集合，从而相较于直接将第一多模态知识图谱和第二多模态知识图谱进行实体对齐而言，能够尽可能地参考各个实体的完整信息来进行实体对齐，有助于提升实体对齐的准确性，另一方面对于第一多模态知识图谱中未在第一阶段对齐的第一实体和第二多模态知识图谱中未在第一阶段对齐的第二实体而言，进一步结合两者之间的特征相似度以及各自的图文匹配度进行实体对齐，能够尽可能地降低图文不匹配对实体对齐的影响，有助于在实体对齐过程中提升实体配图的容错性。故此，能够提升多模态知识图谱中实体对齐的准确性。

请参阅图3，图3是本申请实体对齐装置30一实施例的框架示意图。实体对齐装置30包括：图谱获取模块31、子图划分模块32、子图对齐模块33、实体获取模块34、相似度量模块35、匹配度量模块36和对齐确定模块37，图谱获取模块31，用于获取待对齐的第一多模态知识图谱和第二多模态知识图谱；子图划分模块32，用于基于第一多模态知识图谱，提取各种模态的第一子图谱，并基于第二多模态知识图谱，提取各种模态的第二子图谱；其中，各种模态至少包括图像模态；子图对齐模块33，用于基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合；实体获取模块34，用于获取在第一多模态知识图谱且不在实体集合的第一实体，并获取在第二多模态知识图谱且不在实体集合的第二实体；相似度量模块35，用于获取第一实体和第二实体之间的特征相似度；其中，特征相似度包括：相同模态下第一实体和第二实体的子相似度；匹配度量模块36，用于获取第一实体的图文匹配度和第二实体的图文匹配度；对齐确定模块37，用于基于特征相似度和图文匹配度，得到第一实体和第二实体的实体对齐结果。

上述方案，一方面，在多模态知识图谱中实体对齐过程中，由于在各个模态下分别进行实体对齐，以获取对齐后的实体集合，从而相较于直接将第一多模态知识图谱和第二多模态知识图谱进行实体对齐而言，能够尽可能地参考各个实体的完整信息来进行实体对齐，有助于提升实体对齐的准确性，另一方面对于第一多模态知识图谱中未在第一阶段对齐的第一实体和第二多模态知识图谱中未在第一阶段对齐的第二实体而言，进一步结合两者之间的特征相似度以及各自的图文匹配度进行实体对齐，能够尽可能地降低图文不匹配对实体对齐的影响，有助于在实体对齐过程中提升实体配图的容错性。故此，能够提升多模态知识图谱中实体对齐的准确性。

在一些公开实施例中，图文匹配度基于描述文本、描述文本所属实体的描述图像两者之间的特征匹配度得到，且描述图像表征描述文本所属实体的图像模态。

在一些公开实施例中，在描述文本所属实体不存在描述图像的情况下，图文匹配度为预设匹配度，且预设匹配度低于任意存在描述图像的实体的图文匹配度。

在一些公开实施例中，对齐确定模块37包括第一相似确定子模块，用于将图像模态下第一实体和第二实体的子相似度，作为第一相似度；对齐确定模块37包括第二相似确定子模块，用于基于图像模态以外的各个模态下第一实体和第二实体的子相似度，融合得到第二相似度；对齐确定模块37包括权重度量子模块，用于基于图文匹配度，得到第一相似度的第一权重和第二相似度的第二权重；对齐确定模块37包括相似加权子模块，用于基于第一权重、第二权重分别对第一相似度、第二相似度进行加权，得到第一实体和第二实体的最终相似度；对齐确定模块37包括对齐结果确定子模块，用于基于各个第一实体和各个第二实体两两之间的最终相似度，得到实体对齐结果。

在一些公开实施例中，权重度量子模块包括第一匹配度获取单元，用于将第一实体的图文匹配度、第二实体的图文匹配度中较小者，作为第一匹配度，权重度量子模块包括第二匹配度获取单元，用于基于第一匹配度，获取与第一匹配度负相关的第二匹配度；权重度量子模块包括权重确定单元，用于将第一匹配度作为第一权重，并将第二匹配度作为第二权重，或者，将第二匹配度作为第一权重，并将第一匹配度作为第二权重。

在一些公开实施例中，第二相似确定子模块具体用于对图像模态之外各个模态下的子相似度取均值，得到第二相似度。

在一些公开实施例中，对齐结果确定子模块包括实体选择单元，用于对于各个第一实体，基于第一实体分别与各个第二实体之间的最终相似度，选择至少一个第二实体，作为第一实体的候选对齐实体；对齐结果确定子模块包括结果确定单元，用于基于各个第一实体的候选对齐实体，得到实体对齐结果。

在一些公开实施例中，子图对齐模块33包括频繁实体确定子模块，用于获取第一多模态知识图谱和第二多模态知识图谱中出现频率不低于预设阈值的频繁实体，子图对齐模块33包括长尾实体确定子模块，用于获取第一多模态知识图谱和第二多模态知识图谱中出现频率低于预设阈值的长尾实体；子图对齐模块33包括频繁实体对齐子模块，用于分别基于相同模态的第一子图谱和第二子图谱对频繁实体进行实体对齐，得到对齐后的初始集合；子图对齐模块33包括长尾实体对齐子模块，用于参考初始集合，分别相同模态的第一子图谱和第二子图谱对长尾实体进行实体对齐，以扩充初始集合，得到实体集合。

在一些公开实施例中，相同模态下第一实体和第二实体的子相似度基于对应模态下第一实体的特征向量和第二实体的特征向量度量得到，且各种模态下第一实体的特征向量分别由与模态匹配的特征提取方式对第一子图谱提取得到，各种模态下第二实体的特征向量分别由与模态匹配的特征提取方式对第二子图谱提取得到。

在一些公开实施例中，实体对齐装置30还包括图谱融合模块，用于基于实体集合和实体对齐结果，将第一多模态知识图谱和第二多模态知识图谱进行融合，得到最终多模态知识图谱。

请参阅图4，图4是本申请电子设备40一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42，存储器41中存储有程序指令，处理器42用于执行程序指令以实现上述任一实体对齐方法实施例中的步骤。具体地，电子设备40可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑等等，在此不做限定。

具体而言，处理器42用于控制其自身以及存储器41以实现上述任一实体对齐方法实施例中的步骤。处理器42还可以称为CPU（Central Processing Unit，中央处理单元）。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application SpecificIntegrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array,FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。

上述方案，一方面，在多模态知识图谱中实体对齐过程中，由于在各个模态下分别进行实体对齐，以获取对齐后的实体集合，从而相较于直接将第一多模态知识图谱和第二多模态知识图谱进行实体对齐而言，能够尽可能地参考各个实体的完整信息来进行实体对齐，有助于提升实体对齐的准确性，另一方面对于第一多模态知识图谱中未在第一阶段对齐的第一实体和第二多模态知识图谱中未在第一阶段对齐的第二实体而言，进一步结合两者之间的特征相似度以及各自的图文匹配度进行实体对齐，能够尽可能地降低图文不匹配对实体对齐的影响，有助于在实体对齐过程中提升实体配图的容错性。故此，能够提升多模态知识图谱中实体对齐的准确性。

请参阅图5，图5是本申请计算机可读存储介质50一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令51，程序指令51用于实现上述任一实体对齐方法实施例中的步骤。

上述方案，一方面，在多模态知识图谱中实体对齐过程中，由于在各个模态下分别进行实体对齐，以获取对齐后的实体集合，从而相较于直接将第一多模态知识图谱和第二多模态知识图谱进行实体对齐而言，能够尽可能地参考各个实体的完整信息来进行实体对齐，有助于提升实体对齐的准确性，另一方面对于第一多模态知识图谱中未在第一阶段对齐的第一实体和第二多模态知识图谱中未在第一阶段对齐的第二实体而言，进一步结合两者之间的特征相似度以及各自的图文匹配度进行实体对齐，能够尽可能地降低图文不匹配对实体对齐的影响，有助于在实体对齐过程中提升实体配图的容错性。故此，能够提升多模态知识图谱中实体对齐的准确性。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (10)

1.一种实体对齐方法，其特征在于，包括：

获取待对齐的第一多模态知识图谱和第二多模态知识图谱；

基于所述第一多模态知识图谱，提取各种模态的第一子图谱，并基于所述第二多模态知识图谱，提取各种模态的第二子图谱，以及基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合；其中，所述各种模态至少包括图像模态；

获取在所述第一多模态知识图谱且不在所述实体集合的第一实体，并获取在所述第二多模态知识图谱且不在所述实体集合的第二实体；

获取所述第一实体和所述第二实体之间的特征相似度，并获取所述第一实体的描述文本和所述第一实体在图像模态下的描述图像，获取所述第一实体的描述文本和描述图像之间的特征匹配度，得到所述第一实体的图文匹配度，以及获取所述第二实体的描述文本和所述第二实体在图像模态下的描述图像，获取所述第二实体的描述文本和描述图像之间的特征匹配度，得到所述第二实体的图文匹配度；其中，所述特征相似度包括：相同模态下所述第一实体和所述第二实体的子相似度；

基于所述特征相似度和所述图文匹配度，得到所述第一实体和所述第二实体的实体对齐结果；

其中，所述基于所述特征相似度和所述图文匹配度，得到所述第一实体和所述第二实体的实体对齐结果，包括：

将所述图像模态下所述第一实体和所述第二实体的子相似度，作为第一相似度，并基于所述图像模态以外的各个模态下所述第一实体和所述第二实体的子相似度，融合得到第二相似度，以及基于所述图文匹配度，得到所述第一相似度的第一权重和所述第二相似度的第二权重；

基于所述第一权重、所述第二权重分别对所述第一相似度、所述第二相似度进行加权，得到所述第一实体和所述第二实体的最终相似度；

基于各个所述第一实体和各个所述第二实体两两之间的最终相似度，得到所述实体对齐结果；

其中，所述基于所述图文匹配度，得到所述第一相似度的第一权重和所述第二相似度的第二权重，包括：

将所述第一实体的图文匹配度、所述第二实体的图文匹配度中较小者，作为第一匹配度，并将1与所述第一匹配度之差，作为第二匹配度；

将所述第一匹配度作为所述第一权重，并将所述第二匹配度作为所述第二权重，或者，将所述第二匹配度作为所述第一权重，并将所述第一匹配度作为所述第二权重。

2.根据权利要求1所述的方法，其特征在于，在所述描述文本所属实体不存在所述描述图像的情况下，所述图文匹配度为预设匹配度，且所述预设匹配度低于任意存在所述描述图像的实体的图文匹配度。

3.根据权利要求1所述的方法，其特征在于，所述基于所述图像模态以外的各个模态下所述第一实体和所述第二实体的子相似度，融合得到第二相似度，包括：

对所述图像模态之外各个模态下的子相似度取均值，得到所述第二相似度。

4.根据权利要求1所述的方法，其特征在于，所述基于各个所述第一实体和各个所述第二实体两两之间的最终相似度，得到所述实体对齐结果，包括：

对于各个所述第一实体，基于所述第一实体分别与各个所述第二实体之间的最终相似度，选择至少一个所述第二实体，作为所述第一实体的候选对齐实体；

基于各个所述第一实体的候选对齐实体，得到所述实体对齐结果。

5.根据权利要求1所述的方法，其特征在于，所述基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合，包括：

获取所述第一多模态知识图谱和所述第二多模态知识图谱中出现频率不低于预设阈值的频繁实体，并获取所述第一多模态知识图谱和所述第二多模态知识图谱中出现频率低于所述预设阈值的长尾实体；

分别基于相同模态的第一子图谱和第二子图谱对所述频繁实体进行实体对齐，得到对齐后的初始集合；

参考所述初始集合，分别基于相同模态的第一子图谱和第二子图谱对所述长尾实体进行实体对齐，以扩充所述初始集合，得到所述实体集合。

6.根据权利要求1所述的方法，其特征在于，相同模态下所述第一实体和所述第二实体的子相似度基于对应模态下所述第一实体的特征向量和所述第二实体的特征向量度量得到，且各种模态下所述第一实体的特征向量分别由与所述模态匹配的特征提取方式对所述第一子图谱提取得到，各种模态下所述第二实体的特征向量分别由与所述模态匹配的特征提取方式对所述第二子图谱提取得到。

7.根据权利要求1所述的方法，其特征在于，在所述基于所述特征相似度和所述图文匹配度，得到所述第一实体和所述第二实体的实体对齐结果之后，所述方法还包括：

基于所述实体集合和所述实体对齐结果，将所述第一多模态知识图谱和所述第二多模态知识图谱进行融合，得到最终多模态知识图谱。

8.一种实体对齐装置，其特征在于，包括：

图谱获取模块，用于获取待对齐的第一多模态知识图谱和第二多模态知识图谱；

子图划分模块，用于基于所述第一多模态知识图谱，提取各种模态的第一子图谱，并基于所述第二多模态知识图谱，提取各种模态的第二子图谱；其中，所述各种模态至少包括图像模态；

子图对齐模块，用于基于相同模态的第一子图谱和第二子图谱进行实体对齐，得到对齐后的实体集合；

实体获取模块，用于获取在所述第一多模态知识图谱且不在所述实体集合的第一实体，并获取在所述第二多模态知识图谱且不在所述实体集合的第二实体；

相似度量模块，用于获取所述第一实体和所述第二实体之间的特征相似度；其中，所述特征相似度包括：相同模态下所述第一实体和所述第二实体的子相似度；

匹配度量模块，用于获取所述第一实体的描述文本和所述第一实体在图像模态下的描述图像，获取所述第一实体的描述文本和描述图像之间的特征匹配度，得到所述第一实体的图文匹配度，并获取所述第二实体的描述文本和所述第二实体在图像模态下的描述图像，获取所述第二实体的描述文本和描述图像之间的特征匹配度，得到所述第二实体的图文匹配度；

对齐确定模块，用于基于所述特征相似度和所述图文匹配度，得到所述第一实体和所述第二实体的实体对齐结果；

其中，对齐确定模块包括第一相似确定模块，用于将所述图像模态下所述第一实体和所述第二实体的子相似度，作为第一相似度；对齐确定模块包括第二相似确定模块，用于基于所述图像模态以外的各个模态下所述第一实体和所述第二实体的子相似度，融合得到第二相似度；对齐确定模块包括权重度量子模块，用于基于所述图文匹配度，得到所述第一相似度的第一权重和所述第二相似度的第二权重；对齐确定模块包括相似加权子模块，用于基于所述第一权重、所述第二权重分别对所述第一相似度、所述第二相似度进行加权，得到所述第一实体和所述第二实体的最终相似度；对齐确定模块包括对齐结果确定子模块，用于基于各个所述第一实体和各个所述第二实体两两之间的最终相似度，得到所述实体对齐结果；权重度量子模块包括第一匹配度获取单元，用于将所述第一实体的图文匹配度、所述第二实体的图文匹配度中较小者，作为第一匹配度，权重度量子模块包括第二匹配度获取单元，用于将1与所述第一匹配度之差，作为第二匹配度；权重度量子模块包括权重确定单元，用于将所述第一匹配度作为所述第一权重，并将所述第二匹配度作为所述第二权重，或者，将所述第二匹配度作为所述第一权重，并将所述第一匹配度作为所述第二权重。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至7任一项所述的实体对齐方法。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至7任一项所述的实体对齐方法。

Images