CN113360673B - 多模态知识图谱的实体对齐方法、装置及存储介质 - Google Patents

多模态知识图谱的实体对齐方法、装置及存储介质 Download PDF

Info

Publication number
CN113360673B
CN113360673B CN202110686557.5A CN202110686557A CN113360673B CN 113360673 B CN113360673 B CN 113360673B CN 202110686557 A CN202110686557 A CN 202110686557A CN 113360673 B CN113360673 B CN 113360673B
Authority
CN
China
Prior art keywords
entity
vector
data
modal
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110686557.5A
Other languages
English (en)
Other versions
CN113360673A (zh
Inventor
朱佳
黄昌勤
韩中美
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202110686557.5A priority Critical patent/CN113360673B/zh
Publication of CN113360673A publication Critical patent/CN113360673A/zh
Priority to PCT/CN2022/099188 priority patent/WO2022267976A1/zh
Priority to LU503448A priority patent/LU503448B1/en
Application granted granted Critical
Publication of CN113360673B publication Critical patent/CN113360673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多模态知识图谱的实体对齐方法、装置及存储介质。本发明通过获取第一多模态知识图谱和第二多模态知识图谱的数据，从中提取需要对齐的实体；然后处理所述实体的多模态数据，得到所述实体的各模态向量，根据所述各模态向量，进行早期融合以及晚期融合；接着，对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；最后，根据所述多模态嵌入向量执行实体对齐。通过使用本发明中的方法，能够实现对多模态知识图谱的实体对齐，解决了多模态知识表述之间不一致的问题。本发明可广泛应用于知识图谱技术领域内。

Description

多模态知识图谱的实体对齐方法、装置及存储介质
技术领域
本发明涉及知识图谱技术领域，尤其是多模态知识图谱的实体对齐方法、装置及存储介质。
背景技术
因为大多数知识图谱是为了特定目的，并且是基于单语环境来构建的，这导致了同一概念在不同的知识图谱中会出现不同表述的情况。而实体对齐的目的就是把两个知识图谱中表述不同但实际相同的实体筛选出来，以整合不同的知识图谱。
由于知识形态多种多样，目前嵌入技术尚不能很好处理多模态知识，为克服这一挑战，近期研究者提出了各种模型，以融合知识图谱中多模态信息，并形成联合嵌入，让对齐模型能自动调节模态权重。但是，这些研究并未考虑特征级别的模态相关性，当多模态之间的相关性相对较大时，很可能得不到满意的结果。现有技术中存在的这些问题亟待解决。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明实施例的一个目的在于提供多模态知识图谱的实体对齐方法、装置和介质，其能够通过对多模态知识图谱进行早期融合以及晚期融合，实现对多模态知识图谱的实体对齐，解决了多模态知识表述之间不一致的问题。
为了达到上述技术目的，本发明实施例所采取的技术方案包括：
第一方面，本发明实施例提供了一种多模态知识图谱的实体对齐方法，包括以下步骤：
多模态知识图谱的实体对齐方法，其特征在于，包括以下步骤：
获取第一多模态知识图谱和第二多模态知识图谱的数据；
分别从所述第一多模态知识图谱和第二多模态知识图谱中提取需要对齐的实体；
处理所述实体的多模态数据，得到所述实体的各模态向量，其中，所述多模态数据包括图像数据、关系数据、属性数据以及知识图谱结构数据；所述各模态向量包括图像嵌入向量、关系嵌入向量、属性嵌入向量以及知识图谱结构向量；
根据所述各模态向量，通过全连结神经网络模型进行早期融合；
根据所述各模态向量，通过低秩多模态模型进行晚期融合；
对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；
根据所述多模态嵌入向量执行实体对齐。
进一步地，所述处理所述实体的图像数据，得到所述实体的图像嵌入向量这一步骤，其具体包括：
采用预先训练过的RESNET模型对所述获取的图像数据进行特征提取；
通过第一预设函数对所述提取特征进行处理，得到图像嵌入向量。
进一步地，所述处理所述实体的关系数据，得到所述实体的关系嵌入向量这一步骤，其具体包括：
通过TransE模型将所述获取的关系数据转换成平移向量；
通过第二预设函数计算所述平移向量的结构相似性，得到逻辑回归损失函数；
通过将所述逻辑回归损失函数进行收敛，得到关系嵌入向量。
进一步地，所述处理所述实体的属性数据，得到所述实体的属性嵌入向量这一步骤，其具体包括：
通过前馈网络将所述获得的属性数据映射到低维空间，得到属性嵌入向量。
进一步地，所述处理所述实体的知识图谱结构数据，得到所述实体的结构嵌入向量这一步骤，其具体包括：
建立基于图卷积网络的半监督嵌入模型；
设置关系顶点；
通过所述半监督嵌入模型对所述关系顶点进行处理，得到结构嵌入向量。
进一步地，所述早期融合具体包括：
建立全连结神经网络模型；
通过所述全连结神经网络模型将所述RESNET模型提取的所有特征进行融合。
进一步地，所述晚期融合具体包括：
通过低秩多模态融合模型化简多模态融合的向量表示；
通过预设方式对所述向量表示进行化简。
进一步地，所述对所述早期融合和所述晚期融合进行结合这一步骤，其具体包括：
根据预设损失函数通过协同训练对所述早期融合和所述晚期融合进行结合。
第二方面，本发明实施例提供了一种多模态知识图谱的实体对齐装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现所述的多模态知识图谱的实体对齐方法。
第三方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的多模态知识图谱的实体对齐方法。
本发明公开了一种多模态知识图谱的实体对齐方法，具备如下有益效果：
本发明通过获取第一多模态知识图谱和第二多模态知识图谱的数据，从中提取需要对齐的实体；然后处理由图像数据、关系数据、属性数据以及知识图谱结构数据组成的多模态实体数据，得到由图像嵌入向量、关系嵌入向量、属性嵌入向量以及知识图谱结构向量组成的各模态向量，并根据各模态向量，进行早期融合以及晚期融合；接着，对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；最后，根据多模态嵌入向量执行实体对齐。通过使用本发明中的方法，能够实现对多模态知识图谱的实体对齐，解决了多模态知识表述之间不一致的问题。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明具体实施例的一种多模态知识图谱的实体对齐方法的流程示意图；
图2为本发明具体实施例的一种多模态知识图谱的实体对齐方法在应用过程的流程图；
图3为本发明具体实施例的一种多模态知识图谱的实体对齐装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
实体对齐是通过排列同一真实世界原型的各种实体，以整合不同知识图谱的一项关键工作，因为大多数知识图谱是为特定目的，且基于单语环境构建的，故导致各种知识图谱即使是对于同一概念，都会有不同描述的差异。
早期对实体对齐的研究大部分集中于属性相似度。这些研究时常困惑于使实体对齐容易出错的属性异质性。最近，鉴于知识图谱嵌入的迅速发展，许多研究者依据实体对齐问题的各类模型，尝试应用嵌入技术。不过，这些嵌入技术尚不能很好处理多模态知识，因为知识形态多种多样，有诸如关系三元组、图像等等，但与此同时，这些知识形态又高度支持实体对齐工作。
多模态知识产生实体对齐问题的影响并非微不足道，因为不同模态中不可避免的异质性使其难以学习和融合来自不同模态的知识表述。涉及同一目标，应用传统技术，仅使用图像或文字信息，是不容易识别的。为克服这一挑战，近期研究者提出了各种模型，以融合知识图谱中多模态信息，形成联合嵌入，让对齐模型能自动调节模态权重。不过，这些研究并未考虑特征级别的模态相关性，当多模态之间的相关性相对较大时，很可能得不到满意的结果。
基于上述问题，本方案提出了一种多模态知识图谱的实体对齐方法。本方案通过先处理实体中由图像数据、关系数据、属性数据以及知识图谱结构数据组成的多模态数据，以得到由图像嵌入向量、关系嵌入向量、属性嵌入向量以及知识图谱结构向量组成的各模态向量，然后根据各模态向量来分别进行早期融合以及晚期融合后，再对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量，从而解决当多模态之间的相关性相对较大时产生的影响，提高实体对齐结果的准确性。
具体地，参照图1和图2，本发明实施例提供的多模态知识图谱的实体对齐方法，包括以下步骤：
步骤101、获取第一多模态知识图谱和第二多模态知识图谱的数据。知识图谱，是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。其中，多模态知识图谱与传统知识图谱的主要区别是，传统知识图谱主要集中研究文本和数据库的实体和关系，而多模态知识图谱则在传统知识图谱的基础上，构建了多种模态下的实体，以及多种模态实体间的多模态语义关系。
步骤102、从多模态知识图谱中提取需要对齐的实体。本步骤模态知识图谱是指步骤101中的第一多模态知识图谱和第二多模态知识图谱。其具体操作过程是指从第一多模态知识图谱和第二多模态知识图谱中分别提取需要对齐的实体。实体是客观存在并可相互区别的事物，往往指某类事物的集合。
步骤103、处理实体的多模态数据，得到实体的各模态向量。其中，多模态数据包括图像数据、关系数据、属性数据以及知识图谱结构数据；各模态向量包括图像嵌入向量、关系嵌入向量、属性嵌入向量以及知识图谱结构向量。
其中，图像嵌入具体为，使用预训练过的RESNET模型作为图像的特征抽取器，取最后一层的输出作为图像表示。最后，抽取的特征通过第一预设函数加工，得到图像嵌入向量emb_I。其中，RESNET模型是指残差网络，是卷积神经网络的一种。其特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。相比于另一种经典卷积神经网络模型VGG16，RESNTET能够解决深度网络中的退化问题。
第一预设函数如下：
embI＝WI*RESNET(I)+bI
上式中，WI是权重向量，bI是偏置向量，I表示图像。
其中，关系嵌入具体为，使用TransE模型将多模态知识图谱中所有的实体、关系表示成一个低维的向量。TransE模型的作用就是把三元组翻译成embedding词向量。而三元组，也就是(头实体，关系，尾实体)的形式，头实体和尾实体统称为实体。为了简化起见，用f(h,r,t)来表示三元组,h为头实体，t是尾实体，r为h和t的关系。接着，通过第二预设函数去计量结构的相似性。
第二预设函数如下：
frel(h,r,t)＝-||h(2)+r-t(2)||
其中，frel(h,r,t)是计算实体h与实体t的相似性的函数。
于是，得到逻辑回归损失函数，通过收敛函数得到关系嵌入向量emb_r，如下所示：
Figure BDA0003124794300000051
上式中，a是frel(h,r,t)的标签，其数值为1或-1，X+表示来源知识图谱和目标知识图谱中的正相关事实，X-是指通过替换正相关事实的头部或尾部实体来表示一组负样本。
其中，属性嵌入具体为，由于来自邻居节点的噪音存在，用深度神经网络模型来处理属性嵌入反而效果不佳，因此采用简单的前馈网络将属性特征映射为低维空间，以此来得到属性嵌入向量：
embA＝WA*A+bA
上式中，embA是属性嵌入向量，WA是权重矩阵向量，BA是偏差向量，A为属性的集合。
其中，知识图谱结构嵌入具体为，建立基于图卷积网络的半监督嵌入模型，将知识图谱转化为一个无向图。原始知识图谱的结构被重新构建。例如，假设三元组(e1,r,e2)，e1,e2代表实体，r代表实体间的关系，而在本实施例中，半监督嵌入模型给三元组分配不同的关系顶点r1和r2,形成(e1,r1)和(e2,r2)。每一关系顶点采用唯一的独热表示。
基于这一新建的无向图，使用Deepwalk算法表示每一实体顶点的特征向量，并且将每一关系顶点的唯一独热表示输入到GCN系统。这些关系顶点可以显示在两个实体顶点之间带有同一关系信息的邻居总数。在通过卷积层的编码之后，可以获得图中实体顶点和关系顶点的表示信息。对于GCN中的每一层可以被写为非线性函数：
H(l+1)＝f(H(l)，M)
上式中，H(l+1)是输入矩阵，H(l)是输出矩阵，L是层数，M是知识图谱的邻接矩阵。然后，设定如下传播规则：
f(H(l)，M)＝ReLU(MH(l)W(l))
上式中，W(l)是L网络层的权重矩阵，ReLU是激活函数。注意，与M相乘仅是合计所有邻接顶点的所有属性，而非顶点本身。因此，需要对M加进单位矩阵I，于是，上述方程便更新如下：
Figure BDA0003124794300000061
上式中，M＝M+I，D是M的对角矩阵。本实施例采用最后一层的输出作为知识图谱的结构嵌入向量emb_kg。
步骤104、通过全连结神经网络模型进行早期融合。早期融合是指在数据输送进模型之前，通过组合特征的方式，将特征中的关系更好地进行捕捉。本方案使用标准的早期融合技术，融合多个取自不同数据模态的特征。本实施例通过设计一个简单的全连结神经网络模型，将各个模态的所有特征串联起来。
步骤105、通过低秩多模态模型进行晚期融合。把
Figure BDA0003124794300000062
定义为M个不同模态的单模态信息的编码，多模态融合的目标是将单模态表示集成到一个紧凑的多模态表示中。张量表示被认为多模态融合的一个有效办法。但是，学习权重张量的参数量也将成指数增加。这不仅增多了大量的计算，还使模型有过拟合的风险。本实施例通过低秩多模态融合模型把权重分解为一系列低秩因子集。其中，低秩多模态融合模型可以将/>
Figure BDA0003124794300000063
简化为输出向量hl:
Figure BDA0003124794300000071
上式中，
Figure BDA0003124794300000072
表示一系列张量的元素点积,r是张量的秩，/>
Figure BDA0003124794300000073
是每个模态m的相应低秩因子。和现有的方法相比，这个计算方式简化了Z和W的并行分解。这样只需要计算hl而无需创建张量Z，避免计算大输入张量Z。若r太大，计算量仍然很大。此时，通过交换求和顺序和按元素乘积的方式更新为下列等式：
Figure BDA0003124794300000074
Figure BDA0003124794300000075
上式中，i表示矩阵的第i条，而新加的约束条件是为了确保分解存在于可接受的范围内的同时减少计算量。
步骤106、结合早期融合的结果和晚期融合的结果，得到多模态嵌入向量。具体地，通过下列损失函数将晚期融合的结果hl和早期融合模型产生的he结合在一起，以得到最终的多模态嵌入embF。这样可以结合两种融合的优势：不仅可以轻易地结合前期融合的输出特征，而且还能避免输入张量过程产生的计算，降低了计算的复杂性。
Figure BDA0003124794300000076
步骤107、根据所述多模态嵌入向量执行实体对齐。
在一些实施例中，多模态向量的嵌入通过多次训练来实现。具体地，用L2规范约束所有实体嵌入，以调整嵌入向量。参数用Xavier初始化器进行初始化，损失函数用Adadelta优化，以简化计算。除了所有实体的embF之外，还需要计算所有偶图实体配对的相似性，并用损失函数Lea来排列它们。Lea如下所示：
Figure BDA0003124794300000077
其中α和β是温度标度；N是种子数。
当整个训练过程收敛后，基于embF通过最近邻搜索算法执行实体对齐。
下面提供本实施例的具体实验数据：
该实验的主要内容是测量两个公共的多模式数据集FB15K-DB15K和FB15K-YAGO15K之间的相似度，从而得出本实施例的性能。本实施例使用余弦相似度来计算表示两数据集的相似度，并且使用Hits@n，MR和MRR作为评估所有模型的指标。Hits@n表示基于相似度计算，正确的实体在前n中排名的比率。MR表示正确实体的平均等级。MRR表示正确实体的平均倒数。
实验中选择了各种类型的最新模型来演示本实施例(DFMKE)框架的性能，包括两种典型的基于翻译的方法，即TransE和IPTransE。两种简单的晚期融合方法：MMKG和MMEA；以及两种最新的方法：MultiKE和EVA。对于那些使用与本实施例相同的数据集的方法，直接采用其报告的结果。对于其他方法，遵循原始论文中提到的相同的超参数设置来重复其他方法的实验。
Figure BDA0003124794300000081
从上表可以看出，Hits@1，Hits@10，和MRR三个指标中，本实施例(DFMKE)位列最高；在MR指标中，本实施例(DFMKE)位列最低。也就是说，本实施例(DFMKE)相比于其他现有技术有更高的实体对齐正确率，有效地解决了多模态知识表述之间不一致的问题。
参照图3，本发明实施例提供了一种多模态知识图谱的实体对齐装置，包括：
至少一个处理器201；
至少一个存储器202，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器201执行时，使得所述至少一个处理器201实现图1所示的多模态知识图谱的实体对齐方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现图1所示多模态知识图谱的实体对齐方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.多模态知识图谱的实体对齐方法，其特征在于，包括以下步骤：
获取第一多模态知识图谱和第二多模态知识图谱的数据；
分别从所述第一多模态知识图谱和第二多模态知识图谱中提取需要对齐的实体；
处理所述实体的多模态数据，得到所述实体的各模态向量，其中，所述多模态数据包括图像数据、关系数据、属性数据以及知识图谱结构数据；所述各模态向量包括图像嵌入向量、关系嵌入向量、属性嵌入向量以及知识图谱结构向量；所述处理所述实体的多模态数据，得到所述实体的各模态向量，具体包括：
处理所述实体的图像数据，得到所述实体的图像嵌入向量；
处理所述实体的关系数据，得到所述实体的关系嵌入向量；
处理所述实体的属性数据，得到所述实体的属性嵌入向量；
处理所述实体的知识图谱结构数据，得到所述实体的结构嵌入向量；
根据所述各模态向量，通过全连结神经网络模型进行早期融合；
根据所述各模态向量，通过低秩多模态模型进行晚期融合；
对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；
根据所述多模态嵌入向量执行实体对齐；具体为，基于所述多模态嵌入向量通过最近邻搜索算法执行实体对齐；
其中，所述晚期融合包括：
通过低秩多模态融合模型化简多模态融合的向量表示；
通过预设方式对所述向量表示进行化简，如下式所示：
Figure QLYQS_1
Figure QLYQS_2
式中，hl为化简后的输出向量，r为张量的秩，
Figure QLYQS_3
表示一系列张量的元素点积，/>
Figure QLYQS_4
为每个模态m的相应低秩因子，/>
Figure QLYQS_5
为不同模态的单模态信息的编码，M为模态数量，i表示矩阵的第i条，约束条件是为了确保分解存在于可接受的范围内的同时减少计算量。
2.根据权利要求1所述的多模态知识图谱的实体对齐方法，其特征在于，所述处理所述实体的图像数据，得到所述实体的图像嵌入向量这一步骤，其具体包括：
采用预先训练过的RESNET模型对所述获取的图像数据进行特征提取；
通过第一预设函数对所述提取特征进行处理，得到图像嵌入向量。
3.根据权利要求1所述的多模态知识图谱的实体对齐方法，其特征在于，所述处理所述实体的关系数据，得到所述实体的关系嵌入向量这一步骤，其具体包括：
通过TransE模型将所述获取的关系数据转换成平移向量；
通过第二预设函数计算所述平移向量的结构相似性，得到逻辑回归损失函数；
通过将所述逻辑回归损失函数进行收敛，得到关系嵌入向量。
4.根据权利要求1所述的多模态知识图谱的实体对齐方法，其特征在于，所述处理所述实体的属性数据，得到所述实体的属性嵌入向量这一步骤，其具体包括：
通过前馈网络将获得的属性数据映射到低维空间，得到属性嵌入向量。
5.根据权利要求1所述的多模态知识图谱的实体对齐方法，其特征在于，所述处理所述实体的知识图谱结构数据，得到所述实体的结构嵌入向量这一步骤，其具体包括：
建立基于图卷积网络的半监督嵌入模型；
设置关系顶点；
通过所述半监督嵌入模型对所述关系顶点进行处理，得到结构嵌入向量。
6.根据权利要求2所述的多模态知识图谱的实体对齐方法，其特征在于，所述早期融合具体包括：
建立全连结神经网络模型；
通过所述全连结神经网络模型将所述RESNET模型提取的所有特征进行融合。
7.根据权利要求1所述的多模态知识图谱的实体对齐方法，其特征在于，对所述早期融合和所述晚期融合进行结合这一步骤，其具体包括：
根据预设损失函数通过协同训练对所述早期融合和所述晚期融合进行结合。
8.多模态知识图谱的实体对齐装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的多模态知识图谱的实体对齐方法。
9.一种计算机可读存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7中任一项所述的多模态知识图谱的实体对齐方法。
CN202110686557.5A 2021-06-21 2021-06-21 多模态知识图谱的实体对齐方法、装置及存储介质 Active CN113360673B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110686557.5A CN113360673B (zh) 2021-06-21 2021-06-21 多模态知识图谱的实体对齐方法、装置及存储介质
PCT/CN2022/099188 WO2022267976A1 (zh) 2021-06-21 2022-06-16 多模态知识图谱的实体对齐方法、装置及存储介质
LU503448A LU503448B1 (en) 2021-06-21 2022-06-16 Alignment Method, Device and Storage Medium for Entity of Multimodal Knowledge Graph

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686557.5A CN113360673B (zh) 2021-06-21 2021-06-21 多模态知识图谱的实体对齐方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113360673A CN113360673A (zh) 2021-09-07
CN113360673B true CN113360673B (zh) 2023-07-07

Family

ID=77535501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686557.5A Active CN113360673B (zh) 2021-06-21 2021-06-21 多模态知识图谱的实体对齐方法、装置及存储介质

Country Status (3)

Country Link
CN (1) CN113360673B (zh)
LU (1) LU503448B1 (zh)
WO (1) WO2022267976A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360673B (zh) * 2021-06-21 2023-07-07 浙江师范大学 多模态知识图谱的实体对齐方法、装置及存储介质
CN114579762B (zh) * 2022-03-04 2024-03-22 腾讯科技（深圳）有限公司 知识图谱对齐方法、装置、设备、存储介质及程序产品
CN115062783B (zh) * 2022-08-08 2023-04-07 科大讯飞(苏州)科技有限公司 实体对齐方法及相关装置、电子设备、存储介质
CN115934970B (zh) * 2023-02-27 2023-06-02 中南大学 一种基于多视图可视化的交互式实体对齐方法
CN116050517B (zh) * 2023-03-29 2023-07-18 浪潮软件科技有限公司 一种面向公共安全领域的多模态数据管理方法及系统
CN116128056B (zh) * 2023-04-18 2023-07-07 安徽思高智能科技有限公司 一种面向rpa的多模态交互实体对齐方法
CN116226434B (zh) * 2023-05-04 2023-07-21 浪潮电子信息产业股份有限公司 一种多元异构模型训练及应用方法、设备及可读存储介质
CN116227592B (zh) * 2023-05-06 2023-07-18 城云科技（中国）有限公司 一种多源知识图谱对齐模型及其构建方法、装置及应用
CN116257142B (zh) * 2023-05-12 2023-07-21 福建省亿鑫海信息科技有限公司 基于多模态数据特征化的安全监测方法及终端
CN117370583B (zh) * 2023-12-08 2024-03-19 湘江实验室 一种基于生成对抗网络的知识图谱实体对齐方法及系统
CN117407689B (zh) * 2023-12-14 2024-04-19 之江实验室 一种面向实体对齐的主动学习方法、装置和电子装置
CN117725232B (zh) * 2024-02-18 2024-04-26 中国电子科技集团公司第十五研究所 多模态知识图谱校验方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629275A (zh) * 2012-03-21 2012-08-08 复旦大学 面向跨媒体新闻检索的人脸-人名对齐方法及系统
CN110941722A (zh) * 2019-10-12 2020-03-31 中国人民解放军国防科技大学 一种基于实体对齐的知识图谱融合方法
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956787B2 (en) * 2018-05-14 2021-03-23 Quantum-Si Incorporated Systems and methods for unifying statistical models for different data modalities
CN111339313A (zh) * 2020-02-18 2020-06-26 北京航空航天大学 一种基于多模态融合的知识库构建方法
CN112287126B (zh) * 2020-12-24 2021-03-19 中国人民解放军国防科技大学 一种适于多模态知识图谱的实体对齐方法及设备
CN112765370B (zh) * 2021-03-29 2021-07-06 腾讯科技（深圳）有限公司 知识图谱的实体对齐方法、装置、计算机设备和存储介质
CN113360673B (zh) * 2021-06-21 2023-07-07 浙江师范大学 多模态知识图谱的实体对齐方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629275A (zh) * 2012-03-21 2012-08-08 复旦大学 面向跨媒体新闻检索的人脸-人名对齐方法及系统
CN110941722A (zh) * 2019-10-12 2020-03-31 中国人民解放军国防科技大学 一种基于实体对齐的知识图谱融合方法
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法

Also Published As

Publication number Publication date
LU503448B1 (en) 2023-06-07
WO2022267976A1 (zh) 2022-12-29
CN113360673A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113360673B (zh) 多模态知识图谱的实体对齐方法、装置及存储介质
CN110334219B (zh) 基于注意力机制融入文本语义特征的知识图谱表示学习方法
Yu et al. Tensorizing GAN with high-order pooling for Alzheimer’s disease assessment
CN112966127B (zh) 一种基于多层语义对齐的跨模态检索方法
CN112567355B (zh) 用于知识库补全的端到端的结构感知卷积网络
Cheng et al. Transfer learning with convolutional neural networks for classification of abdominal ultrasound images
Cheng et al. An analysis of generative adversarial networks and variants for image synthesis on MNIST dataset
Zhu et al. Unsupervised visual hashing with semantic assistant for content-based image retrieval
CN111160564B (zh) 一种基于特征张量的中文知识图谱表示学习方法
Dai et al. Generative adversarial networks based on Wasserstein distance for knowledge graph embeddings
CN112561064B (zh) 基于owkbc模型的知识库补全方法
CN114036307B (zh) 一种知识图谱实体对齐方法及装置
Ke et al. Data equilibrium based automatic image annotation by fusing deep model and semantic propagation
CN112417289B (zh) 一种基于深度聚类的资讯信息智能推荐方法
CN110598022A (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN116403730A (zh) 一种基于图神经网络的药物相互作用预测方法及系统
CN114461929A (zh) 一种基于协同关系图的推荐方法及相关装置
CN112116685A (zh) 基于多粒度奖励机制的多注意力融合网络的图像字幕生成方法
CN111581466A (zh) 特征信息存在噪声的偏多标记学习方法
Xie et al. Label-affinity self-adaptive central similarity hashing for image retrieval
CN117408336A (zh) 一种结构与属性注意力机制的实体对齐方法
Lu et al. Soft-orthogonal constrained dual-stream encoder with self-supervised clustering network for brain functional connectivity data
CN107633259A (zh) 一种基于稀疏字典表示的跨模态学习方法
Perdana et al. Instance-based deep transfer learning on cross-domain image captioning
CN116958613A (zh) 深度多视图聚类方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant