CN112287126B - 一种适于多模态知识图谱的实体对齐方法及设备 - Google Patents

一种适于多模态知识图谱的实体对齐方法及设备 Download PDF

Info

Publication number
CN112287126B
CN112287126B CN202011551346.2A CN202011551346A CN112287126B CN 112287126 B CN112287126 B CN 112287126B CN 202011551346 A CN202011551346 A CN 202011551346A CN 112287126 B CN112287126 B CN 112287126B
Authority
CN
China
Prior art keywords
space
hyperbolic
entity
entities
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011551346.2A
Other languages
English (en)
Other versions
CN112287126A (zh
Inventor
赵翔
唐九阳
郭浩
曾维新
谭真
徐浩
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011551346.2A priority Critical patent/CN112287126B/zh
Publication of CN112287126A publication Critical patent/CN112287126A/zh
Application granted granted Critical
Publication of CN112287126B publication Critical patent/CN112287126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适于多模态知识图谱的实体对齐方法及设备，所述方法包括以下步骤：获取两个多模态知识图谱的数据；将各个模态的数据投影到双曲空间；使用双曲图卷积神经网络学习实体的结构特征和视觉特征；融合多模态特征；以双曲空间中距离表示实体相似度；根据相似度进行实体识别对齐。本发明方法将欧几里得表示扩展到双曲面流形，并采用双曲图卷积网络学习实体的结构表示；关于视觉信息，使用densenet模型生成图像嵌入，并使用双曲图卷积网络将其嵌入到双曲线空间中；最后，在双曲空间中合并结构嵌入和图像嵌入以预测潜在的对齐方式，特别适用于多模态知识图谱的实体对齐和融合中。

Description

一种适于多模态知识图谱的实体对齐方法及设备
技术领域
本发明涉及自然语言处理中的知识图谱技术领域，尤其涉及一种适于多模态知识图谱的实体对齐方法及设备。
背景技术
近年来，知识图谱（KG）已成为以RDF（Resource Description Framework，资源描述框架）三元组的形式表示事实知识的流行数据结构，它可以促进一系列下游的实际应用，例如问题解答，信息提取等。当前，现存大量的常见的KG（例如，DBpedia，YAGO，Google的Knowledge Vault）以及特定于某些领域的KG（例如医药和分子KGs）。同时，将多媒体信息整合到KG中的趋势正在增长，以支持涉及多种模式下数据交互的跨模式任务，例如图像和视频检索，视频摘要，视觉实体消歧和视觉问题解答等。为此，最近已经建造了一些多模态知识图谱（MMKG）。
在这项工作中，在不失一般性的前提下考虑了MMKG具有两种模式，即KG结构信息和视觉信息。但是，现有的MMKG通常来自有限的数据源，因此可能会受到知识域覆盖率较低的困扰。为了提高这些MMKG的覆盖范围，一种可行的方法是整合其他MMKG的有用知识。特别是，在不同的KG中识别等效实体是合并MMKG之间知识的关键步骤，因为实体是连接这些异构KG的锚节点。此过程也称为多模式实体对齐（MMEA）。
MMEA是一项艰巨的任务，因为它需要对多模态信息进行建模和集成。利用KG结构信息，现有实体对齐（EA）接近可以直接用于为MMEA生成实体结构嵌入。这些方法通常利用基于TransE或基于图卷积网络GCN的模型来学习各个KG的实体表示，然后使用种子实体对表示进行训练，以实现对潜在对齐的实体对的预测。然而，所有这些方法都在欧几里得空间中学习实体表示，这在嵌入具有无标度或层次结构的真实世界图时会导致较大的失真。
关于视觉信息，已经利用VGG（Visual Geometry Group）模型学习与实体关联的图像的嵌入，然后将其用于对齐。但是，VGG模型无法从图像中充分提取有用的特征，从而限制了对齐的有效性。为提高MMEA模型的整体有效性，应仔细整合来自这两种方式的信息。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种适于多模态知识图谱的实体对齐方法及设备，所述方法将欧几里得表示扩展到双曲面流形，并采用双曲图卷积网络（HGCN，Hyperbolic Graph Convolutional Networks）学习实体的结构表示；关于视觉信息，使用densenet模型生成图像嵌入，并使用HGCN将其嵌入到双曲线空间中；最后，在双曲空间中合并结构嵌入和图像嵌入以预测潜在的对齐方式。
本发明公开了一种适于多模态知识图谱的实体对齐方法，包括以下步骤：
步骤1，获取两个多模态知识图谱
Figure 786183DEST_PATH_IMAGE001
和
Figure 761092DEST_PATH_IMAGE002
的数据；
步骤2，将各个模态的数据投影到双曲空间；
步骤3，使用双曲图卷积神经网络学习实体的结构特征和视觉特征；
步骤4，融合多模态特征；
步骤5，以双曲空间中距离表示实体相似度；
步骤6，根据相似度进行实体识别对齐。
步骤2中所述的各个模态的数据由预先训练好的神经网络产生的，存在于欧氏空间中，通过从切平面到流形空间的投影，获得投影到双曲空间的特征：
Figure 711731DEST_PATH_IMAGE003
，
Figure 561613DEST_PATH_IMAGE004
为欧氏空间的特征表示，
Figure 382938DEST_PATH_IMAGE005
为双曲空间的特征表示，其中指数映射
Figure 528749DEST_PATH_IMAGE006
的定义为：
Figure 435525DEST_PATH_IMAGE007
，
Figure 590563DEST_PATH_IMAGE008
是切空间
Figure 266395DEST_PATH_IMAGE009
的特征向量，
Figure 848686DEST_PATH_IMAGE010
为双曲空间的曲率，
Figure 508337DEST_PATH_IMAGE011
是双曲空间
Figure 702951DEST_PATH_IMAGE012
中的一个点，
Figure 233290DEST_PATH_IMAGE013
表示双曲空间的原点，切空间
Figure 986482DEST_PATH_IMAGE009
上的向量通过指数映射映射到
Figure 867851DEST_PATH_IMAGE012
；
步骤3中所述的实体的结构特征的学习是通过双曲空间中的特征转换、信息传递和非线性激活获得的；首先使用对数映射log(·)将双曲空间的节点
Figure 364691DEST_PATH_IMAGE014
的特征向量投影到切空间
Figure 15115DEST_PATH_IMAGE015
，在切空间中，节点
Figure 939209DEST_PATH_IMAGE014
的特征变换和传递规则为：
Figure 307873DEST_PATH_IMAGE016
，其中
Figure 841361DEST_PATH_IMAGE017
表示切平面上的特征表示，
Figure 611870DEST_PATH_IMAGE018
表示双曲平面上的特征表示，
Figure 706865DEST_PATH_IMAGE019
表示对称归一化邻接矩阵，
Figure 297247DEST_PATH_IMAGE020
是
Figure 135890DEST_PATH_IMAGE021
可训练权重矩阵，d’和d分别表示输入和输出的向量表示的维度，对数映射
Figure 760906DEST_PATH_IMAGE022
的定义为：
Figure 26802DEST_PATH_IMAGE023
，在得到切线空间中的特征表示后，使用非线性激活函数来学习非线性变换；基于双曲特征变换和非线性激活，双曲空间的卷积计算被重新定义为：
Figure 104480DEST_PATH_IMAGE024
，其中
Figure 746814DEST_PATH_IMAGE025
，
Figure 727802DEST_PATH_IMAGE026
分别表示在
Figure 164599DEST_PATH_IMAGE027
层和
Figure 729573DEST_PATH_IMAGE028
层学得的双曲空间中的节点表示，且
Figure 910018DEST_PATH_IMAGE029
，
Figure 509627DEST_PATH_IMAGE030
为激活函数。
更进一步地，所述的非线性激活为欧式非线性激活，在l层的切线空间
Figure 117326DEST_PATH_IMAGE031
中，将其映射到下一层的流形上：
Figure 904016DEST_PATH_IMAGE032
，其中
Figure 153732DEST_PATH_IMAGE033
，
Figure 607847DEST_PATH_IMAGE034
分别是
Figure 884982DEST_PATH_IMAGE028
层和
Figure 158969DEST_PATH_IMAGE027
层的曲率，激活函数
Figure 681217DEST_PATH_IMAGE030
选择
Figure 989839DEST_PATH_IMAGE035
。
步骤3中所述的视觉特征的学习过程包括：采用densenet模型来学习图像嵌入，移除densenet模型中的softmax层，densenet模型是在ImageNet数据集上预先训练的，并为多模态知识图谱中的所有图像获取1920维向量嵌入；使用双曲图卷积网络将视觉特征向量投影投射到双曲空间中。
具体地，步骤4中所述的多模态特征的融合是将结构信息和视觉信息相结合，结合的公式表示为：
Figure 204919DEST_PATH_IMAGE036
其中
Figure 231781DEST_PATH_IMAGE037
，
Figure 292141DEST_PATH_IMAGE038
分别是双曲图卷积网络模型学得的结构向量表示和视觉向量表示；
Figure 986427DEST_PATH_IMAGE039
是平衡两种特征向量权重的超参数；两种不同的特征在融合过程中需要保持维度的相同，
Figure 106830DEST_PATH_IMAGE040
表示Mobius加法；所述的Mobius加法提供了一种适用于双曲空间的加法形式，在欧几里得空间中的定义为：
Figure 856874DEST_PATH_IMAGE041
步骤5中所述的双曲空间中距离表示为：
Figure 720925DEST_PATH_IMAGE042
，对于
Figure 4138DEST_PATH_IMAGE043
中的实体
Figure 295442DEST_PATH_IMAGE044
和
Figure 31317DEST_PATH_IMAGE045
中的实体
Figure 699059DEST_PATH_IMAGE046
，其中
Figure 836779DEST_PATH_IMAGE047
，
Figure 298985DEST_PATH_IMAGE048
表示实体
Figure 286270DEST_PATH_IMAGE049
和
Figure 757703DEST_PATH_IMAGE046
融合结构信息和视觉信息而生成的双曲空间中的向量表示；
Figure 749929DEST_PATH_IMAGE050
是
Figure 117457DEST_PATH_IMAGE051
范数；
Figure 827924DEST_PATH_IMAGE052
表示操作表示Mobius加法。
步骤6中，
Figure 837468DEST_PATH_IMAGE053
中特定的一个实体，计算
Figure 684201DEST_PATH_IMAGE045
中所有实体与其双曲空间中的距离，并返回按照距离从小到大排名的候选实体，距离越小的实体越匹配。
在统一的向量空间中，为使匹配的实体之间距离尽可能的近，我们使用已知的对齐的实体对作为训练数据以训练模型参数。具体来说，模型的训练目标是最小化下列的基于边缘的评分损失函数：
Figure 19368DEST_PATH_IMAGE054
其中
Figure 277235DEST_PATH_IMAGE055
，
Figure 90471DEST_PATH_IMAGE056
表示已知实体对，
Figure 791710DEST_PATH_IMAGE057
表示种子实体对的集合；
Figure 32199DEST_PATH_IMAGE058
表示负例实体对集合；负例通过破坏正例，即随机选取知识图谱中的一个实体取代e或者v，
Figure 717258DEST_PATH_IMAGE059
表示边缘超参数，用来分离正例和负例，基于边缘的损失函数需要正例实体对之间的距离尽可能小，负例实体对之间的距离尽可能大。
本发明还公开了一种电子设备，包括：
处理器；
以及，存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行上述的可执行指令来执行上述的实体对齐方法。
与现有方法相比，本发明方法的优点在于：本发明提出了一种在超曲空间中运行的多模式实体对齐方法（HMEA），具体来说，将欧几里得表示扩展到双曲面流形，并采用双曲图卷积网络（Hyperbolic Graph Convolutional Networks ）学习实体的结构表示；关于视觉信息，使用densenet模型生成图像嵌入，也使用HGCN将其嵌入到双曲线空间中；最后，在双曲空间中合并结构嵌入和图像嵌入以预测潜在的对齐方式，使得本发明方法更加适于多模态知识图谱的对齐和融合。
附图说明
图1示出了本发明实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
多模态实体对齐的任务目标是对齐在不同的两个多模态知识图谱的实体。多模态知识图谱（MMKG）通常包含多种模态的信息。在本实施例，在不失普遍性的条件下，关注知识图谱的结构信息和视觉信息。首先表示多模态知识图谱为
Figure 68605DEST_PATH_IMAGE060
，其中
Figure 889930DEST_PATH_IMAGE061
，
Figure 301320DEST_PATH_IMAGE062
，
Figure 208096DEST_PATH_IMAGE063
，
Figure 127249DEST_PATH_IMAGE064
分别表示实体，关系，三元组和图像，关系三元组
Figure 803080DEST_PATH_IMAGE065
可以表示为
Figure 385372DEST_PATH_IMAGE066
，其中
Figure 779444DEST_PATH_IMAGE067
，
Figure 472593DEST_PATH_IMAGE068
，对于图谱中的一个实体
Figure 268511DEST_PATH_IMAGE069
，有多张其相关的图片，给定两个多模态知识图谱，
Figure 21703DEST_PATH_IMAGE070
，
Figure 903072DEST_PATH_IMAGE071
和种子实体对，
Figure 399912DEST_PATH_IMAGE072
，多模态实体对齐的任务是基于种子实体对，找到潜在的相匹配的实体。
双曲流形空间的运算庞加莱球形空间是双曲空间的一种，本发明中使用此空间进行各种运算。
假设
Figure 551801DEST_PATH_IMAGE073
是切空间
Figure 475895DEST_PATH_IMAGE074
的特征向量；
Figure 844559DEST_PATH_IMAGE075
是双曲空间
Figure 879511DEST_PATH_IMAGE076
中的一个点，该点也用作参照点，
Figure 650021DEST_PATH_IMAGE077
为双曲空间的曲率。令
Figure 745016DEST_PATH_IMAGE013
；表示为双曲空间的原点。切空间
Figure 335398DEST_PATH_IMAGE078
上的向量可通过指数映射映射到
Figure 439620DEST_PATH_IMAGE076
：
Figure 64636DEST_PATH_IMAGE079
相应的对数映射是将双曲空间
Figure 829068DEST_PATH_IMAGE076
上的向量
Figure 906745DEST_PATH_IMAGE080
投影到切空间
Figure 549079DEST_PATH_IMAGE009
上：
Figure 28602DEST_PATH_IMAGE023
向量加法在双曲空间中并没有明确的定义。简单的在欧几里得空间中进行向量加法可能导致最终得到的向量超出球形空间。在这种情况下，Mobius加法提供了一种适用于双曲空间的加法形式，在欧几里得空间中的定义为：
Figure 465399DEST_PATH_IMAGE041
实施例一
如图1所示，一种适于多模态知识图谱的实体对齐方法，包括以下步骤：
步骤1，获取两个多模态知识图谱
Figure 30373DEST_PATH_IMAGE001
和
Figure 210819DEST_PATH_IMAGE002
的数据；
步骤2，将各个模态的数据投影到双曲空间；
步骤3，使用双曲图卷积神经网络学习实体的结构特征和视觉特征；
步骤4，融合多模态特征；
步骤5，以双曲空间中距离表示实体相似度；
步骤6，根据相似度进行实体识别对齐。
下面详细介绍本实施例的实体对齐方法，即在双曲空间中运行的方法。
首先采用双曲图卷积神经网络来学习实体的结构信息。
然后，使用densenet模型将与实体相关联的图像转换为视觉信息，这些视觉信息也被投射到双曲空间中。结构信息和视觉信息均由高维的向量表示。
结构表示学习
通过双曲图卷积神经网络（HGCN）学习MMKGs的结构表示，将卷积计算扩展到了流形空间，同时获得图神经网络和双曲嵌入的表现力。更具体地说，首先将输入的欧几里得特征映射到双曲流形空间中。然后，通过双曲空间中的特征转换、信息传递和非线性激活，可以得到双曲面中的结构表示。
将输入的特征投射到双曲流形空间中
一般来说，输入节点特征是由预先训练好的神经网络产生的，因此，它们存在于欧氏空间中。为了使特征在双曲空间中可用，本实施例首先推导出一个从欧氏特征到双曲空间的映射。假设输入的欧几里得特征
Figure 544848DEST_PATH_IMAGE081
，其中
Figure 654012DEST_PATH_IMAGE082
表示参照于点
Figure 706281DEST_PATH_IMAGE011
的切平面，
Figure 690418DEST_PATH_IMAGE011
表示双曲空间中的原点。获得双曲空间的特征通过从切平面到流形空间的投影：
Figure 144533DEST_PATH_IMAGE003
，
Figure 923133DEST_PATH_IMAGE004
为欧氏空间的特征表示，
Figure 462699DEST_PATH_IMAGE005
为双曲空间的特征表示
Figure 984947DEST_PATH_IMAGE083
。
特征转换和信息传递
与GCN相似，特征转换和消息传递也是双曲线结构学习的核心操作。在欧几里得空间中这些操作是很容易理解的，但是这些相应的操作在双曲面流形中的并不易于理解。由于双曲空间的切空间是欧几里得特征的，因此可以在双曲流形中某点的切空间中执行具有可训练参数的函数。为此，本实施例利用
Figure 293569DEST_PATH_IMAGE084
和
Figure 508649DEST_PATH_IMAGE085
映射在双曲面流形和切空间之间进行变换，以便可以在切空间
Figure 34046DEST_PATH_IMAGE086
执行欧几里德运算。
首先使用对数映射
Figure 94406DEST_PATH_IMAGE087
将双曲空间的节点
Figure 257534DEST_PATH_IMAGE088
的特征向量投影到切空间
Figure 643516DEST_PATH_IMAGE089
。并且在切空间中，节点
Figure 892095DEST_PATH_IMAGE014
的特征变换和传递规则为：
Figure 21725DEST_PATH_IMAGE016
其中
Figure 304939DEST_PATH_IMAGE090
表示切平面上的特征表示，
Figure 596243DEST_PATH_IMAGE018
表示双曲平面上的特征表示，
Figure 597697DEST_PATH_IMAGE091
表示对称归一化邻接矩阵；
Figure 501324DEST_PATH_IMAGE092
是
Figure 639044DEST_PATH_IMAGE093
可训练权重矩阵，d’和d分别表示输入和输出的向量表示的维度。
不同曲率下的非线性激活
在得到切线空间中的特征表示后，使用非线性激活函数来学习非线性变换。更具体地说，在
Figure 366829DEST_PATH_IMAGE028
层的切线空间
Figure 590000DEST_PATH_IMAGE094
中，进行欧氏非线性激活。然后将其映射到下一层的流形上：
Figure 795853DEST_PATH_IMAGE095
其中
Figure 788080DEST_PATH_IMAGE033
，
Figure 686766DEST_PATH_IMAGE096
分别是
Figure 397233DEST_PATH_IMAGE028
层和
Figure 406777DEST_PATH_IMAGE027
层的曲率，激活函数
Figure 17625DEST_PATH_IMAGE097
选择
Figure 821633DEST_PATH_IMAGE098
。可训练曲率这一操作意义重大，因为它允许平滑地改变每层的曲率，由于机器精度和归一化的限制，这对整体性能至关重要。
基于双曲特征变换和非线性激活，双曲空间的卷积计算被重新定义为：
Figure 19396DEST_PATH_IMAGE024
其中
Figure 567052DEST_PATH_IMAGE099
，
Figure 799450DEST_PATH_IMAGE100
分别表示在
Figure 39939DEST_PATH_IMAGE027
层和
Figure 459419DEST_PATH_IMAGE101
Figure 810766DEST_PATH_IMAGE028
层学得的双曲空间中的节点表示；
Figure 121837DEST_PATH_IMAGE102
，
Figure 533227DEST_PATH_IMAGE103
为激活函数
Figure 440003DEST_PATH_IMAGE104
。
视觉表示学习
本实施例采用densenet模型来学习图像嵌入，它是在ImageNet数据集上预先训练的。移除densenet模型中的softmax层，并为MMKG中的所有图像获取1920维向量嵌入。然后，使用HGCN将视觉特征向量投影投射到双曲空间中，以获取更具有表现力的视觉信息。
多模态信息融合
视觉和结构信息均可对实体对齐做出贡献。因此，设计了一种将MMKG的结构信息与视觉信息相结合的新方法。更具体地说，通过以下方式获得实体双曲空间的结合的表示：
Figure 329462DEST_PATH_IMAGE036
其中
Figure 536452DEST_PATH_IMAGE105
，
Figure 118743DEST_PATH_IMAGE038
分别是HGCN模型学得的结构向量表示和视觉向量表示；
Figure 512816DEST_PATH_IMAGE039
是平衡两种特征向量权重的超参数；两种不同的特征在融合过程中需要保持维度的相同。
Figure 205965DEST_PATH_IMAGE106
表示Mobius加法。
对齐预测
根据两个MMKG的实体表示之间的距离来预测对齐结果。在欧氏空间中，欧氏距离和曼哈特距离是常用的距离度量方法。然而，在双曲空间中，必须利用节点之间的双曲距离作为距离度量。对于
Figure 736304DEST_PATH_IMAGE053
中的
Figure 988031DEST_PATH_IMAGE107
和
Figure 134979DEST_PATH_IMAGE045
中的
Figure 631819DEST_PATH_IMAGE108
，两个实体之间的距离定义为：
Figure 282243DEST_PATH_IMAGE109
其中
Figure 940758DEST_PATH_IMAGE110
，
Figure 309422DEST_PATH_IMAGE111
表示实体
Figure 344374DEST_PATH_IMAGE107
和
Figure 380463DEST_PATH_IMAGE108
融合结构信息和视觉信息而生成的双曲空间中的向量表示；
Figure 209879DEST_PATH_IMAGE112
是
Figure 567304DEST_PATH_IMAGE113
范数；
Figure 405947DEST_PATH_IMAGE052
表示操作表示Mobius加法。
对于相匹配的实体对，该距离应较小；反之，该距离应较大。对
Figure 765385DEST_PATH_IMAGE053
中特定的一个实体，本实施例的方法是计算
Figure 31281DEST_PATH_IMAGE045
中所有实体与其的距离，并返回按照距离从小到大排名的候选实体。
模型训练
在统一的向量空间中，为使匹配的实体之间距离尽可能的近，使用已知的对齐的实体对作为训练数据以训练模型参数。具体来说，模型的训练目标是最小化下列的基于边缘的评分损失函数：
Figure 108958DEST_PATH_IMAGE114
其中
Figure 16871DEST_PATH_IMAGE055
，
Figure 496394DEST_PATH_IMAGE056
表示已知实体对，
Figure 933192DEST_PATH_IMAGE057
表示种子实体对的集合；
Figure 996701DEST_PATH_IMAGE058
表示负例实体对集合。负例通过破坏正例，即随机选取图谱中的一个实体取代e或者v，
Figure 177146DEST_PATH_IMAGE059
表示边缘超参数，用来分离正例和负例。基于边缘的损失函数需要正例实体对之间的距离尽可能小，负例实体对之间的距离尽可能大。
实施例二
一种适于多模态知识图谱的实体对齐设备，包括：
处理器；
以及，存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行实施例一中可执行指令来执行上述的实体对齐方法。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (6)

1.一种适于多模态知识图谱的实体对齐方法，其特征在于，包括以下步骤：
步骤1，获取两个多模态知识图谱
Figure 742863DEST_PATH_IMAGE001
和
Figure 777815DEST_PATH_IMAGE002
的数据；
步骤2，将各个模态的数据投影到双曲空间；
步骤3，使用双曲图卷积神经网络学习实体的结构特征和视觉特征；
步骤4，融合多模态特征；
步骤5，以双曲空间中距离表示实体相似度；
步骤6，根据相似度进行实体识别对齐；
步骤2中所述的各个模态的数据由预先训练好的神经网络产生的，存在于欧氏空间中，通过从切平面到流形空间的投影，获得投影到双曲空间的特征：
Figure 797593DEST_PATH_IMAGE003
，
Figure 627009DEST_PATH_IMAGE004
为欧氏空间的特征表示，
Figure 217390DEST_PATH_IMAGE005
为双曲空间的特征表示，其中指数映射
Figure 56033DEST_PATH_IMAGE006
的定义为：
Figure 163273DEST_PATH_IMAGE007
，
Figure 429169DEST_PATH_IMAGE008
是切空间
Figure 303584DEST_PATH_IMAGE009
的特征向量，
Figure 945918DEST_PATH_IMAGE010
为双曲空间的曲率，
Figure 425441DEST_PATH_IMAGE011
是双曲空间
Figure 845927DEST_PATH_IMAGE012
中的一个点，
Figure 410900DEST_PATH_IMAGE013
表示双曲空间的原点，切空间
Figure 591346DEST_PATH_IMAGE009
上的向量通过指数映射到
Figure 722113DEST_PATH_IMAGE012
；
步骤3中所述的实体的结构特征的学习是通过双曲空间中的特征转换、信息传递和非线性激活获得的；首先使用对数映射log(·)将双曲空间的节点
Figure 329812DEST_PATH_IMAGE014
的特征向量投影到切空间
Figure 867235DEST_PATH_IMAGE015
，在切空间中，节点
Figure 585792DEST_PATH_IMAGE014
的特征变换和传递规则为：
Figure 39907DEST_PATH_IMAGE016
，其中
Figure 615245DEST_PATH_IMAGE017
表示切平面上的特征表示，
Figure 154811DEST_PATH_IMAGE018
表示双曲平面上的特征表示，
Figure 926327DEST_PATH_IMAGE019
表示对称归一化邻接矩阵，
Figure 969369DEST_PATH_IMAGE020
是
Figure 918870DEST_PATH_IMAGE021
可训练权重矩阵，d’和d分别表示输入和输出的向量表示的维度，对数映射
Figure 476891DEST_PATH_IMAGE022
的定义为：
Figure 802830DEST_PATH_IMAGE023
，在得到切线空间中的特征表示后，使用非线性激活函数来学习非线性变换；基于双曲特征变换和非线性激活，双曲空间的卷积计算被重新定义为：
Figure 713761DEST_PATH_IMAGE024
，其中
Figure 568584DEST_PATH_IMAGE025
，
Figure 82742DEST_PATH_IMAGE026
分别表示在
Figure 743531DEST_PATH_IMAGE027
层和
Figure 761165DEST_PATH_IMAGE028
层学得的双曲空间中的节点表示，且
Figure 567316DEST_PATH_IMAGE029
，
Figure 37612DEST_PATH_IMAGE030
为激活函数；
所述的非线性激活为欧式非线性激活，在
Figure 705353DEST_PATH_IMAGE028
层的切线空间
Figure 577494DEST_PATH_IMAGE031
中，将其映射到下一层的流形上：
Figure 102017DEST_PATH_IMAGE032
，其中
Figure 75920DEST_PATH_IMAGE033
，
Figure 16194DEST_PATH_IMAGE034
分别是
Figure 8421DEST_PATH_IMAGE028
层和
Figure 907107DEST_PATH_IMAGE035
层的曲率，激活函数
Figure 148732DEST_PATH_IMAGE030
选择
Figure 407544DEST_PATH_IMAGE036
；
步骤4中所述的多模态特征的融合是将结构信息和视觉信息相结合，结合的公式表示为：
Figure 254277DEST_PATH_IMAGE037
其中
Figure 58285DEST_PATH_IMAGE038
，
Figure 256049DEST_PATH_IMAGE039
分别是双曲图卷积网络模型学得的结构向量表示和视觉向量表示；
Figure 600442DEST_PATH_IMAGE040
是平衡两种特征向量权重的超参数；两种不同的特征在融合过程中需要保持维度的相同，
Figure 338501DEST_PATH_IMAGE041
表示Mobius加法；所述的Mobius加法提供了一种适用于双曲空间的加法形式，在欧几里得空间中的定义为：
Figure 47831DEST_PATH_IMAGE042
。
2.根据权利要求1所述的实体对齐方法，其特征在于，步骤3中所述的视觉特征的学习过程包括：采用densenet模型来学习图像嵌入，移除densenet模型中的softmax层，densenet模型是在ImageNet数据集上预先训练的，并为多模态知识图谱中的所有图像获取1920维向量嵌入；使用双曲图卷积网络将视觉特征向量投影投射到双曲空间中。
3.根据权利要求1所述的实体对齐方法，其特征在于，步骤5中所述的双曲空间中距离表示为：
Figure 732891DEST_PATH_IMAGE043
，对于
Figure 84238DEST_PATH_IMAGE044
中的实体
Figure 702301DEST_PATH_IMAGE045
和
Figure 362958DEST_PATH_IMAGE046
中的实体
Figure 4155DEST_PATH_IMAGE047
，其中
Figure 893614DEST_PATH_IMAGE048
，
Figure 835025DEST_PATH_IMAGE049
表示实体
Figure 948474DEST_PATH_IMAGE050
和
Figure 93279DEST_PATH_IMAGE051
融合结构信息和视觉信息而生成的双曲空间中的向量表示；
Figure 520849DEST_PATH_IMAGE052
是
Figure 316767DEST_PATH_IMAGE053
范数；
Figure 69959DEST_PATH_IMAGE054
表示操作表示Mobius加法。
4.根据权利要求1所述的实体对齐方法，其特征在于，步骤6中，
Figure 748065DEST_PATH_IMAGE044
中特定的一个实体，计算
Figure 228594DEST_PATH_IMAGE046
中所有实体与其双曲空间中的距离，并返回按照距离从小到大排名的候选实体，距离越小的实体越匹配。
5.根据权利要求3所述的实体对齐方法，其特征在于，模型的训练目标是最小化下列的基于边缘的评分损失函数：
Figure 879018DEST_PATH_IMAGE055
其中，
Figure 537533DEST_PATH_IMAGE056
，
Figure 906197DEST_PATH_IMAGE057
表示已知实体对，
Figure 737887DEST_PATH_IMAGE058
表示种子实体对的集合；
Figure 990620DEST_PATH_IMAGE059
表示负例实体对集合；负例通过破坏正例，即随机选取知识图谱中的一个实体取代e或者v，
Figure 85615DEST_PATH_IMAGE060
表示边缘超参数，用来分离正例和负例，基于边缘的损失函数需要正例实体对之间的距离尽可能小，负例实体对之间的距离尽可能大。
6.一种适于多模态知识图谱的实体对齐设备，其特征在于，包括：
处理器；
以及，存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行权利要求1至5任一所述可执行指令来执行上述的实体对齐方法。
CN202011551346.2A 2020-12-24 2020-12-24 一种适于多模态知识图谱的实体对齐方法及设备 Active CN112287126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551346.2A CN112287126B (zh) 2020-12-24 2020-12-24 一种适于多模态知识图谱的实体对齐方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551346.2A CN112287126B (zh) 2020-12-24 2020-12-24 一种适于多模态知识图谱的实体对齐方法及设备

Publications (2)

Publication Number Publication Date
CN112287126A CN112287126A (zh) 2021-01-29
CN112287126B true CN112287126B (zh) 2021-03-19

Family

ID=74426146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551346.2A Active CN112287126B (zh) 2020-12-24 2020-12-24 一种适于多模态知识图谱的实体对齐方法及设备

Country Status (1)

Country Link
CN (1) CN112287126B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033438B (zh) * 2021-03-31 2022-07-01 四川大学 一种面向模态非完全对齐的数据特征学习方法
CN113111302B (zh) * 2021-04-21 2023-05-12 上海电力大学 一种基于非欧空间的信息提取方法
CN113360673B (zh) * 2021-06-21 2023-07-07 浙江师范大学 多模态知识图谱的实体对齐方法、装置及存储介质
CN113656596B (zh) * 2021-08-18 2022-09-20 中国人民解放军国防科技大学 一种基于三元组筛选融合的多模态实体对齐方法
CN113407759B (zh) * 2021-08-18 2021-11-30 中国人民解放军国防科技大学 一种基于自适应特征融合的多模态实体对齐方法
CN114417845B (zh) * 2022-03-30 2022-07-12 支付宝(杭州)信息技术有限公司 一种基于知识图谱的相同实体识别方法和系统
CN115062783B (zh) * 2022-08-08 2023-04-07 科大讯飞(苏州)科技有限公司 实体对齐方法及相关装置、电子设备、存储介质
CN115982386A (zh) * 2023-02-13 2023-04-18 创意信息技术股份有限公司 一种企业元数据解释的自动生成方法
CN116257142B (zh) * 2023-05-12 2023-07-21 福建省亿鑫海信息科技有限公司 基于多模态数据特征化的安全监测方法及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941722A (zh) * 2019-10-12 2020-03-31 中国人民解放军国防科技大学 一种基于实体对齐的知识图谱融合方法
CN111680488A (zh) * 2020-06-08 2020-09-18 浙江大学 基于知识图谱多视角信息的跨语言实体对齐方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885760B (zh) * 2016-12-21 2021-06-08 桂林电子科技大学 一种基于多种语义的知识图谱表示学习方法
US11068653B2 (en) * 2018-09-28 2021-07-20 Innoplexus Ag System and method for context-based abbreviation disambiguation using machine learning on synonyms of abbreviation expansions
CN110955780B (zh) * 2019-10-12 2022-10-14 中国人民解放军国防科技大学 一种用于知识图谱的实体对齐方法
CN111898636B (zh) * 2020-06-28 2024-05-14 华为技术有限公司 一种数据处理方法及装置
CN111782826A (zh) * 2020-08-27 2020-10-16 清华大学 知识图谱的信息处理方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941722A (zh) * 2019-10-12 2020-03-31 中国人民解放军国防科技大学 一种基于实体对齐的知识图谱融合方法
CN111680488A (zh) * 2020-06-08 2020-09-18 浙江大学 基于知识图谱多视角信息的跨语言实体对齐方法

Also Published As

Publication number Publication date
CN112287126A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112287126B (zh) 一种适于多模态知识图谱的实体对齐方法及设备
Rizoiu et al. Hawkes processes for events in social media
CN111177569B (zh) 基于人工智能的推荐处理方法、装置及设备
Wu et al. Deep learning for video classification and captioning
Shen et al. Deep asymmetric pairwise hashing
Kaya et al. Combining modality-specific extreme learning machines for emotion recognition in the wild
Zhang et al. Panorama: a data system for unbounded vocabulary querying over video
CN107209861A (zh) 使用否定数据优化多类别多媒体数据分类
Laraba et al. Dance performance evaluation using hidden Markov models
CN113033438B (zh) 一种面向模态非完全对齐的数据特征学习方法
US11373117B1 (en) Artificial intelligence service for scalable classification using features of unlabeled data and class descriptors
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
Cui Social-sensed multimedia computing
CN114077841A (zh) 基于人工智能的语义提取方法、装置、电子设备及介质
Ni et al. Discriminative deep transfer metric learning for cross-scenario person re-identification
Gong et al. Zero-shot relation classification from side information
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
Wang et al. Representation learning from limited educational data with crowdsourced labels
CN110867225A (zh) 字符级临床概念提取命名实体识别方法及系统
CN116245139B (zh) 图神经网络模型训练方法和装置、事件检测方法和装置
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质
Yang et al. Facial expression recognition based on multi-dataset neural network
Othmani et al. Kinship recognition from faces using deep learning with imbalanced data
JP2022111020A (ja) 文書類似度学習に基づくディープラーニングモデルの転移学習方法およびコンピュータ装置
CN114357203A (zh) 多媒体检索方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant