CN116431827A - 信息处理方法、装置、存储介质及计算机设备 - Google Patents
信息处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN116431827A CN116431827A CN202310368437.XA CN202310368437A CN116431827A CN 116431827 A CN116431827 A CN 116431827A CN 202310368437 A CN202310368437 A CN 202310368437A CN 116431827 A CN116431827 A CN 116431827A
- Authority
- CN
- China
- Prior art keywords
- entity
- sample
- information
- features
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 151
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims description 116
- 238000012549 training Methods 0.000 claims description 85
- 239000011159 matrix material Substances 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 33
- 238000009826 distribution Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 abstract description 23
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 206010020772 Hypertension Diseases 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种信息处理方法，包括：获取第一知识图谱和第二知识图谱；将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征；基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度；根据待测实体对的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。本申请应用人工智能技术，通过对实体的邻域结构信息的特征和多模态信息的特征进行嵌入对齐，提高多模态融合特征的质量，从而基于高质量的多模态融合特征进行实体对齐，提高实体对齐的准确性。
Description
技术领域
本申请涉及知识图谱技术领域，更具体地，涉及一种信息处理方法、装置、存储介质及计算机设备。
背景技术
知识图谱(Knowledge Graph)，是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系。知识图谱可以提供结构化的信息，以帮助用户更快地发现、理解和使用数据，从而帮助管理分析和共享知识，以支持业务决策和洞察力，还可用于支持人工智能的相关应用，更好地了解业务数据。
多模态实体对齐作为一种知识图谱的构建技术，用于将来自不同模态的实体相互对齐。它可以用来建立实体之间的关联，并确定实体之间的关系，从而更好地理解和组织大量的信息，扩充知识图谱的规模。有关技术仅基于简单融合的多模态特征进行多模态实体对齐，导致多模态实体之间的对齐准确性较差。
发明内容
本申请实施例提供一种信息处理方法、装置、存储介质以及计算机设备。可以提高多模态实体表示的质量，进而，提升多模态实体的对齐准确性。
一方面，本申请实施例提供一种信息处理方法，该方法包括：获取第一知识图谱和第二知识图谱，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息；将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到；基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度；根据多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
另一方面，本申请实施例还提供一种信息处理装置，该装置包括：音图谱获取模块，用于获取第一知识图谱和第二知识图谱，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息；特征融合模块，用于将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到；相似计算模块，用于基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度；实体确定模块，用于根据待测实体对的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
另一方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，其中，在该计算机程序被处理器运行时执行上述的信息处理方法。
另一方面，本申请实施例还提供一种计算机设备，该计算机设备包括处理器以及存储器，存储器存储有计算机程序，该计算机程序被处理器调用时执行上述的信息处理方法。
另一方面，本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中；计算机设备的处理器从存储介质读取该计算机程序，处理器执行该计算机程序，使得计算机设备执行上述计算引擎确定方法中的步骤。
本申请提供的一种信息处理方法，可以获取第一知识图谱和第二知识图谱，其中，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息，进一步地，将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，其中，实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到。由此，通过实体对齐模型可以在对每个的邻域结构信息和多模态信息进行编码时，还能够对编码特征进行嵌入对齐，进而提高对每个实体的邻域结构信息和多模态信息的融合表示的质量，得到高质量的多模态融合特征，进一步地，基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度，根据待测实体对的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。从而，基于高质量的多模态融合特征进行实体对齐，提高实体对齐的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种系统架构示意图。
图2示出了本申请实施例提供的一种信息处理方法的流程示意图。
图3示出了本申请实施例提供的一种实体对齐模型的训练示意图。
图4示出了本申请实施例提供的另一种信息处理方法的流程示意图。
图5示出了本申请实施例提供的一种信息处理方法的应用场景图。
图6示出了本申请实施例提供的一种实体对齐网络的网络架构图。
图7示出了本申请实施例提供的一种实体对齐方法的流程图。
图8是本申请实施例提供的一种信息处理装置的模块框图。
图9是本申请实施例提供的一种计算机设备的模块框图。
图10是本申请实施例提供的一种计算机可读存储介质的模块框图。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性地，仅用于解释本申请，而不能理解为对本申请的限制。
在说明书、权利要求书和上述附图所描述的一些流程中，包含了按照特定顺序出现的多个步骤，但应该清楚了解，这些步骤可以不按照其在本文中出现的顺序来执行或并行执行，步骤序号仅仅是用于区分开各个不同的步骤，序号本身不代表任何的执行顺序。此外，本文中的“第一”和“第二”等描述，是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请的具体实施方式中，涉及到的知识图谱、邻域结构信息、多模态信息和实体训练集等相关数据，当运用到本申请实施例的具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规及标准。
多模态知识图谱(Multi-ModalKnowledgeGraph)是一种将不同模态的数据集成到一起的知识图谱。它可以用来帮助进行跨模态数据分析，进而获得更多的信息和更深入的理解。多模态知识图谱可以提高知识图谱的表示能力，从不同的模态中获取的信息，比如文本、图像、语音等，可以更好地表达世界的复杂性，提高知识图谱的搜索性能，从而更好地满足用户的需求。
多模态实体对齐用于知识图谱构建，通过将来自不同模态(例如，图像和结构等)的实体在嵌入空间中相互对齐，可以建立实体之间的关联，并确定实体之间的关系，从而更好地理解和组织大量的信息，扩充知识图谱的规模。
现有技术中，多模态实体对齐的方法通常先针对不同的模态使用不同的编码器进行特征提取得到实体不同的模态特征，再经过简单相加或加权拼接以得到融合的模态特征。这种融合不同模态的方法，使得不同模态的特征在统一空间中的表现不一致，导致多模态实体表示的质量较差，所以，降低多模态实体的对齐效果。为了解决上述问题，发明人经过研究，提出了本申请实施例提供的信息处理方法。
下面先对本申请所涉及到的信息处理方法的系统的架构进行介绍。
如图1所示，本申请实施例提供的信息处理方法可以应用在系统300中，数据获取设备310用于获取训练数据。针对本申请实施例的信息处理方法来说，训练数据可以包括用于模型训练使用的实体训练集，包括第一实体对和第二实体对，其中，第一实体对为分别从第一样本图谱和第二样本图谱中选取的两个对齐样本实体组成，第二实体对为分别从第一样本图谱和第二样本图谱中选取的两个非对齐样本实体组成，实体对可以是人工预先选取得到的。数据获取设备310在获取到训练数据之后，可将该训练数据存入数据库320，训练设备330可基于数据库320中维护的训练数据训练得到目标模型301。
具体地，训练设备330可以基于输入的训练数据对预设的神经网络进行训练，直至该预设的神经网络满足预设条件，得到训练后的目标模型301。其中，预设条件可以为：目标损失函数的总损失值小于预设值、目标损失函数的总损失值不再变化、或者训练次数达到预设次数等。该目标模型301能够用于实现本申请实施例中的信息处理方法。
本申请实施例中的目标模型301具体可以为深度神经网络模型，例如，图卷积神经网络(Graph Convolution Neural Networks，GCN)和BERT(Bidirectional EncoderRepresentations from Transformer)模型等的组合。需要说明的是，在实际的应用场景中，数据库320中维护的训练数据不一定都来自于数据获取设备310，也可以从其他设备接收得到，例如，客户端设备360也可以作为数据获取端，将获取的数据作为新的训练数据，并存入数据库320。此外，训练设备330也不一定完全基于数据库320维护的训练数据对预设的神经网络进行训练，也有可能基于从云端或其他设备获取的训练数据对预设的神经网络进行训练，上述描述不应该作为对本申请实施例的限定。
上述根据训练设备330训练得到的目标模型301可以应用于不同的系统或设备中，如应用于图1所示的执行设备340，该执行设备340可以是终端，例如，手机终端、平板电脑、笔记本电脑、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)等，还可以是服务器或者云端等，但并不局限于此。
在图1中，执行设备340可以用于与外部设备进行数据交互，例如，用户可以使用客户端设备360通过网络向执行设备340发送输入数据。该输入数据在本申请实施例中可以包括：客户端设备360发送的第一知识图谱和第二知识图谱。在执行设备340对输入数据进行预处理，或者在执行设备340的执行模块341执行计算等相关的处理过程中，执行设备340可以调用数据存储系统350中的数据、程序等以用于相应的计算处理，并将计算处理得到的处理结果等数据和指令存入数据存储系统350中。
最后，执行设备340可以将处理结果，也即，基于目标模型301生成的目标实体对集合通过网络返回给客户端设备360，从而，用户可以在客户端设备360上查询处理结果。值得说明的是，训练设备330可以针对不同的目标或不同的任务，基于不同的训练数据生成相应的目标模型301，该相应的目标模型301即可以用于实现上述目标或或者完成上述任务，从而为用户提供所需的结果。
示例性地，图1所示的系统300可以为Client-Server(C/S)系统架构，执行设备340可以为服务供应商部署的云服务器，客户端设备360可以为用户使用的笔记本电脑。例如，用户可以利用笔记本电脑中的知识图谱实体对齐软件，通过网络上传待进行实体对齐的第一知识图谱和第二知识图谱至云服务器，云服务器在接受到第一知识图谱和第二知识图谱时，利用目标模型301，也即实体对齐模型得到两个知识图谱中每个实体的多模态融合特征。
进一步地，云服务器可以根据所述多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合，并将目标实体对集合返回至笔记本电脑，进而用户即可在知识图谱实体对齐软件上获取目标实体对集合。
值得注意的是，图1仅是本申请实施例提供的一种系统的架构示意图，本申请实施例描述的系统的架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。例如，图2中的数据存储系统350相对执行设备340是外部存储器，在其它情况下，也可以将数据存储系统350置于执行设备340中。执行设备340也可以直接是客户端设备。本领域普通技术人员可知，随着系统架构的演变和新的应用场景的出现，本申请实施例提供的技术方案对于解决类似的技术问题，同样适用。
请参阅图2，图2示出了本申请一个实施例提供的信息处理方法的流程示意图。在具体的实施例中，所述信息处理方法应用于如图8所示的信息处理装置500以及配置有信息处理装置500的计算机设备600(图9)。
下面将以计算机设备为例，说明本实施例的具体流程，可以理解的是，本实施例所应用的计算机设备可以为服务器或者终端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、区块链以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。所述信息处理方法具体可以包括以下步骤：
步骤110：获取第一知识图谱和第二知识图谱。
其中，第一知识图谱和第二知识图谱为需要进行实体对齐的图谱。每个图谱中都具有一定量的实体，例如，人、事件、地点等。每个实体携带有对应的邻域结构信息和多模态信息。邻域结构信息指的是在以实体为节点和以实体间关系为边构成的图(Group)中，每个实体与其邻居节点间的结构信息。多模态信息表示该节点，也即实体，自身携带的多模态知识，例如，图像信息、语音信息和文本信息等。
通过实体对齐方法能够融合实体的多模态信息以提升实体对齐的性能，但现有技术忽略了实体的文本信息，而文本信息通常为描述实体的基本信息，并对实体做出解释，为此，本申请考虑到文本信息能够更好地理解实体的具体含义，将文本信息引入多模态实体对齐，从而为实体对齐提供更多有效信息的帮助，提高实体对齐的准确性。
作为一种实施方式，可以获取第一知识图谱G1＝(E1,I1,V1,T1)和第二知识图谱G2＝(E2,I2,V2,T2)。其中，E,I,V,T分表表示每个知识图谱中的实体集合、文本集合、图片集合和三元组集合。每个实体会关联一段文本、一张图像和若干个三元组，每个三元组(Subject-Predicate-Object)为构成知识图谱的每条知识。
步骤120：将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征。
由于知识图谱的不完备性，实体对齐是构建知识图谱的一个重要步骤。实体对齐的目的是在不同的知识图谱中找到表示相同含义的实体。现实世界可以访问的大多数数据都展示了多模态属性，从这种多模态数据中提取的知识可以显著提高学习到的实体表示质量，有助于提升对齐的效果。
然而，现有技术融合实体的多模态信息的方式是先将不同的模态信息使用不同的编码器进行特征提取，得到实体的不同的模态特征，再通过简单相加或加权拼接的方式融合不同的模态特征。考虑不同模态的异构性会导致得到的不同模态特征也存在于不同的异构空间，如果直接相加或拼接特征可能会破坏模态的内在分布，会使得特征在统一空间中的表现不一致，缺乏较好的特征区分度，从而影响实体对齐的准确性。
为此，本申请创造性地提出了一种能够克服空间异构性的特征融合方式，也即，通过实体对齐模型将每个实体的多模态信息进行编码，得到对应的编码特征，再将不同模态的编码特征在统一的特征空间中进行嵌入对齐。该实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到，如此，通过实体对齐模型将每个实体的多模态信息的特征嵌入对齐到邻域结构信息的特征空间中，使得实体的不同模态的特征进行了统一表示，进而提升实体对齐的准确性。
其中，多模态信息可以包括文本信息和图像信息。需要说明的是，由于实体本身具有多样的属性，所以多模态信息还可以包括语音、语音和关系等，在此不做限定。本申请实施例中的实体对齐模型的模型结构可以包括结构编码器、文本编码器和图片编码器，也可以随着输入的多模态信息的不同，设置其他对应的编码器，例如，用于编码语音信息的语音编码器。
作为一种实施方式，该将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征的步骤可以包括：
(1)将每个实体的邻域结构信息、文本信息和图像信息输入至实体对齐模型，对每个实体的邻域结构信息、文本信息和图像信息分别进行编码，得到每个实体的结构特征、文本特征和图像特征。
其中，实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，该样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到。具体地，可以获取实体训练集，该实体训练集包括第一实体对和第二实体对。进一步地，将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个样本实体的样本融合特征。
进一步地，根据每个样本实体的样本融合特征，计算第一实体对的第一相似度和第二实体对的第二相似度，并基于第一相似度和第二相似度，确定实体对齐网络的目标损失函数，接人根据目标损失函数对实体对齐网络进行对比学习的迭代训练，直至实体对齐网络满足预设条件，得到实体对齐模型。
本申请的信息处理方法涉及人工智能(Artificial Intelligence,AI)技术，人工智能技术是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频生成、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实(如，虚拟人)、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术，例如本申请实施例中对图像信息的编码。
自然语言处理(Nature Language Processing,NLP)是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术，例如，本申请实施例中对文本信息的编码。
请参阅图3，图3示出一种实体对齐模型的训练示意图。如图3所示，第一样本图谱和第二样本图谱中的样本实体携带有样本结构信息、样本文本信息和样本图像信息，分别将结构信息、样本文本信息和样本图像信息送入对应的编码器中进行编码，得到对应的样本结构特征、样本文本特征和样本图像特征，并对三个特征进行特征融合，得到样本融合特征，进一步地，基于第一样本图谱和第二样本图谱中的每个样本实体的样本融合特征进行对比学习，训练得到实体对齐模型。
在一些实施例中，可以将每个实体的邻域结构信息、文本信息和图像信息输入至实体对齐模型，进一步地，可以基于实体对齐模型的结构编码器(如，图卷积神经网络)对邻域结构信息编码得到结构特征，进一步地，可以基于实体对齐模型的文本编码器(如，BERT模型)对文本信息编码得到文本特征，进一步地，可以基于实体对齐模型的图像编码器(如，残差神经网络(Residual Network，ResNet))对图像信息进行编码得到图像特征。
(2)将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个实体的多模态融合特征。
由于不同的模态描述了实体不同层面的实体信息，比如图像模态能够表示实体高层的抽象语义，文本模态对实体有更加具象化认识，结构模态阐述了不同实体发生的关联关系，所以从这种多模态数据中提取的知识可以显著提高学习到的实体表示的质量。
本申请考虑到对不同模态的特征直接融合可能会破坏其各个模态内在的分布，为此提出基于求解出的不同模态特征间的最优传输矩阵，将不同维度的模态嵌入表示(特征)转移到统一的对齐空间，再对各个模态的特征进行特征融合，得到多模态融合特征。
在一些实施例中，该将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个实体的多模态融合特征的步骤可以包括：
(2.1)基于第一最优传输矩阵，将文本特征嵌入对齐至结构特征，得到目标文本特征。
其中，最优传输矩阵指的是从一个模态特征转移(嵌入对齐)到另一个模态特征，使得两个模态对应的分布间的传输距离为最小时的传输矩阵。例如，文本特征转至结构特征时的第一最优传输矩阵。考虑到结构模态是实体最常见也最通用的信息，本申请将结构模态作为主模态，让图像模态、文本模态分别和结构模态的特征嵌入对齐。
具体地，可以通过文本特征和结构特征构建传输距离函数，该传输距离函数约束于文本特征和结构特征的边际概率分布，并对传输距离函数进行最优解计算，得到传输距离函数的第一最优传输距离，并将第一最优传输距离对应的传输矩阵作为第一最优传输矩阵。进一步地，基于第一最优传输矩阵，将文本特征嵌入对齐至结构特征，得到目标文本特征。
(2.2)基于第二最优传输矩阵，将图像特征嵌入对齐至结构特征，得到目标图像特征。
具体地，可以通过图像特征和结构特征构建传输距离函数，该传输距离函数约束于图像特征和结构特征的边际概率分布，并对传输距离函数进行最优解计算，得到传输距离函数的第二最优传输距离，并将第二最优传输距离对应的传输矩阵作为第二最优传输矩阵。进一步地，可以基于第二最优传输矩阵，将图像特征嵌入对齐至结构特征，得到目标图像特征。
(2.3)对结构特征、目标文本特征和目标图像特征进行特征融合，得到每个实体的多模态融合特征。
具体地，通过最优传输矩阵将多个模态特征的分布对齐到统一空间，可以通过加权平均的计算方式，对结构特征、目标文本特征和目标图像特征进行特征融合，得到每个实体的多模态融合特征。
例如，对结构特征h(e)、目标文本特征
和目标图像特征/>
进行特征融合，得到每个实体的多模态融合特征s(e)：
其中，α、β和γ分别是结构特征h(e)、目标文本特征
和目标图像特征/>
的权重参数。
步骤130：基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度。
不同的知识图谱，收集知识的侧重点不同，对于同一个实体，有的知识图谱可能侧重于其本身某个方面的描述，有的知识图谱可能侧重于描述实体与其它实体的关系。通过知识融合可以将不同知识图谱中的知识进行互补融合，形成全面、准确、完整的实体描述。知识融合过程中，主要涉及到的工作就是实体对齐。
实体对齐的主要目标是判断两个或者多个不同信息来源的实体是否为指向真实世界中同一个对象，也即可以抽象为找到两个图谱中的等价实体集合(目标实体集合)。示例性地，在本申请实施例中，实体对齐的目标是在第二知识图谱G2中，为第一知识图谱G1的每个实体e1∈E1找到一个表示相同对象的实体e2∈E2。
作为一种实施方式，该基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度的步骤可以包括：
(1)将第一知识图谱中每个实体分别作为待测实体。
在得到第一知识图谱和第二知识图谱中每个实体的多模态融合特征时，也即将每个实体对多模态信息映射到低维嵌入空间时，可以利用余弦距离度量两两实体之间的距离，将距离最近的实体对作为目标实体对。可选地，可以将第一知识图谱中的每个实体分别作为待测实体。
(2)将待测实体分别与第二知识图谱中的每个实体进行组合，得到每个待测实体对应的待测实体对。
在一些实施例中，可以将第一知识图谱中的每个待测实体分别与第二知识图谱中的每个实体组合得到多对待测实体对。
例如，给定第一知识图谱
第二知识图谱/>
可以将第一知识图谱G1中的每个实体/>
和/>
分别与第二知识图谱G2中的每个实体组合得到多对待测实体对：/>
(3)对每个待测实体对中的两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度。
具体地，将待测实体对中待测实体对应的多模态融合特征与另一个来自第二知识图谱中的实体对应的多模态融合特征进行余弦相似度(Cosine Similarity)计算，得到待测实体对的余弦相似度。
步骤140：根据待测实体对的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
其中，目标实体对指的是第一知识图谱中的一个实体与第二知识图谱中一个与该实体表示相同对象的实体所构成的实体对。通过对每对待测实体对的相似度进行计算，最终可以从所有的待测实体对中选出多个目标实体对，进而由多个目标实体对构成目标实体对集合。目标实体对的个数等于第一知识图谱中的实体个数。
作为一种实施方式，可以获取同一个待测实体所属的多个待测实体对，进一步地，从多个待测实体对中选择相似度最大的待测实体对确定为目标实体对，得到第一知识图谱中每个待测实体对应的目标实体对。
例如，对第一知识图谱G1和第二知识图谱G2组合得到多对待测实体对：
在计算完每个待测实体对的余弦相似度后。可以对同一个待测实体所属的所有待测实体对进行相似度大小的比较。可以通过对/>
中每个待测实体对进行相似度大小的比较，可以得到/>
的余弦相似度最大，为此，将/>
作为目标实体对。同时，可以通过相似度大小的比较，从/>
确定出/>
的余弦相似度最大，为此，将/>
作为目标实体对。进而由目标实体对/>
和目标实体对/>
组成目标实体对集合/>
本申请实施例，可以获取第一知识图谱和第二知识图谱，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息，进一步地，将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，该实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到。
由此，通过实体对齐模型可以在对每个的邻域结构信息和多模态信息进行编码时，并将每个实体的多模态信息的编码特征嵌入对齐到邻域结构信息的编码特征的空间中，使得实体的不同模态的特征进行了统一表示，进而提高对每个实体的邻域结构信息和多模态信息的融合表示的质量，得到高质量的多模态融合特征。
进一步地，根据多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。从而，基于高质量的多模态融合特征进行实体对齐，提高实体对齐的准确性。
结合上述实施例所描述的方法，以下将举例作进一步详细说明。
本实施例提供的信息处理方法具体涉及人工智能在计算机视觉和自然语言等领域的技术。下面将以信息处理装置具体集成在计算机设备中为例进行说明，并将针对图4所示的流程结合图5所示的应用场景进行详细地阐述，该计算机设备可以为服务器或者终端设备等。请参阅图4，图4示出了本申请实施例提供的另一种信息处理方法，在具体的实施例中，该信息处理方法可以运用到如图5所示的知识图谱构建的场景中。
知识图谱服务供应商提供服务端，该服务端包括云训练服务器410以及云执行服务器430。云训练服务器410可以用于训练出实体对齐使用的实体对齐模型，云执行服务器430用于部署云训练服务器410上训练得到的实体对齐模型，并通过实体对齐模型对客户端发送的第一知识图谱和第二知识图谱的每个实体的邻域结构信息和多模态信息进行多模态特征融合，
进一步地，云执行服务器430可以用于根据多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。其中，客户端为用户使用知识图谱构建时，在电脑420上打开的知识图谱服务软件421。示例性地，将知识图谱的实体对齐技术应用于医疗知识图谱的构建及更新系统中，例如，通过对齐不同颗粒度的医疗通用知识图谱和癌症垂域知识图谱可以不断丰富医疗知识图谱的知识覆盖度和知识准确率。
需要说明的是，图5仅是本申请实施例提供的一种应用场景，本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。例如，在其它情况下，电脑420也可以部署云训练服务器410上训练得到的实体对齐模型，从而可以在电脑420上直接完成实体对齐任务。本领域普通技术人员可知，随着系统架构的演变和新的应用场景(如，交通知识图谱构建等)的出现，本申请实施例提供的技术方案对于解决类似的技术问题，同样适用。信息处理方法具体可以包括以下步骤：
步骤210：计算机设备获取实体训练集。
其中，实体训练集包括第一实体对
和第二实体对/>
第一实体对为分别从第一样本图谱G1′和第二样本图谱G2′中选取的两个对齐样本实体(表示图谱G1′和G2′间的第i对对齐样本)组成，也即正样本，第二实体对为分别从第一样本图谱和第二样本图谱中选取的两个非对齐样本实体组成，也即负样本。
值得说明的是，本申请实施例中提供的信息处理方法包括对预设的实体对齐网络的训练，对预设的实体对齐的训练可以是根据获取的训练集预先进行的，后续在每次需要执行实体对齐时，可以利用训练得到的实体对齐模型直接计算，而无需每次执行实体对齐时，重复网络训练。示例性地，云训练服务器410可以从存储训练集的数据库中获取实体训练集。
步骤220：计算机设备将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个样本实体的样本融合特征。
由于现实世界可访问的大多数数据源都展示了多模态属性，比如从文本、图像、视频、语音等不同纬度描述目标知识，从这种多模态数据中提取的知识可以显著提高学习到的实体特征的质量，有助于提升实体对齐的效果，所以可以对每个样本实体的样本结构信息和样本模态信息进行多模态融合。
作为一种实施方式，该计算机设备将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个样本实体的样本融合特征的步骤可以包括：
(1)计算机设备将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，对每个样本实体的样本结构信息进行编码，得到每个样本实体对应的样本结构特征。
多模态知识图谱是通过多种模态描述实体不同维度的信息，这些信息通常是相互补充的。本申请实施例主要考虑了三种不同的模态，分别是实体的邻域结构、文本描述、以及实体图片。由于不同模态的异构性需要采用不同的编码器进行处理，得到每种模态对应的特征表示。
请参阅图6，图6示出一种实体对齐网络的网络架构图。如图6所示，实体对齐网络包括文本编码器、结构编码器以及图像编码器。示例性地，云训练服务器410可以将第一实体对和第二实体对中每个样本实体的样本结构信息输入至预设的实体对齐网络。
进一步地，云训练服务器410可以通过实体对齐网络的结构编码器对每个样本实体的样本结构信息进行结构编码，得到每个样本实体对应的样本结构特征h(e′)，
m为样本结构特征的特征维度。其中，结构编码器可以为图卷积神经网络、图注意力网络(Graph Attention Network，GAT)或TransE(Translating Embedding)算法等。
例如，云训练服务器410可以通过图卷积神经网络，基于每个样本实体所在知识图谱的邻接矩阵和度矩阵，对每个样本实体的样本结构信息进行结构编码，得到每个样本实体对应的样本结构特征。具体地，将知识图谱中的不同样本实体映射到同一个结构空间进行编码，图卷积神经网络通过堆叠L层，不断融合样本实体周围的邻居节点信息来作为表征样本实体的特征，其中，第l+1层的GCN传播方式如下：
其中，σ代表非线性激活函数；
代表图谱节点之间的邻接矩阵A加上对角矩阵I；/>
表示矩阵/>
的度矩阵；Wl代表第l层的可训练参数矩阵；Hl表示第l层GCN输出的样本实体结构特征。本申请采用第l层GCN的输出作为样本实体结构编码的特征向量h(e′)。样本实体结构特征能够有效利用它周围的样本实体节点的信息来表征自身的表示，从而建模知识图谱的结构信息。
(2)计算机设备对每个样本实体的样本模态信息进行模态编码，得到每个样本实体对应的样本模态特征。
其中，样本模态信息包括样本文本信息和样本图像信息，样本模态特征包括样本文本特征和样本图像特征。
示例性地，云训练服务器410可以将每个样本实体的样本模态信息，包括样本文本信息和样本图像信息输入至预设的实体对齐网络进行编码。具体地，云训练服务器410可以对样本文本信息进行分词处理得到对应的文本分词序列，并基于文本编码器对每个样本实体的文本分词序列进行文本编码，得到对应的样本文本特征t(e′)，
n为样本文本特征的特征维度。
例如，云训练服务器410可以采用BERT模型编码每个样本实体的向量表示。对于样本实体的文本分词序列e′＝[a1,a2,…,ao]，ao表示该样本实体的文本分词序列的一个分词，o表示该样本实体的长度，构造序列[CLS,a1,a2,…,ao,SEP]输入到BERT模型中，其中，CLS和SEP表示特殊标识符，将BERT模型最后一层的CLS标识符对应的隐藏向量作为样本实体e′的样本文本特征的向量表示t(e′)：
t(e′)＝BERT([CLS,a1,a2,…,ao,SEP])
云训练服务器410可以基于图像编码器对每个样本实体的样本图像信息进行图像编码，得到对应的样本图像特征v(e′)，
k为样本图像特征的特征维度。例如，云训练服务器410可以基于预训练视觉模型ResNet作为样本图像信息的特征编码器，提取样本图像特征v(e′)。
(3)计算机设备基于最优传输矩阵，将每个样本实体的样本模态特征嵌入对齐至样本结构特征，确定每个样本实体的样本融合特征。
由于不同模态的异构性导致得到的不同模态特征也是存在不同的异构空间中，直接融合可能会破坏模态的内在分布，导致在统一空间中的表示不一致。为此，本申请将多模态特征融合过程建模为最优传输问题，这也是处于最优传输常用于将一个分布移动到另一个分布的最优解的动机。
可以理解的是，通过最优传输将实体的不同模态的表示转移到一个统一的对齐空间，通过最小化不同分布之间的传输距离缓解不同空间的异构性。嵌入对齐的过程可以是将不同维度的模态嵌入表示转移到对齐空间的过程。
考虑到结构模态是实体最常见也是最通用的信息，本申请将邻域结构信息作为主模态，让视觉模态(图片信息)、文本模态(文本信息)分别和结构模态(邻域结构信息)的特征嵌入对齐。
其中，样本模态特征包括样本文本特征和样本图像特征，最优传输矩阵包括第一传输矩阵和第二传输矩阵。
在一些实施例中，该计算机设备基于最优传输矩阵，将每个样本实体的样本模态特征嵌入对齐至样本结构特征，确定每个样本实体的样本融合特征的步骤可以包括：
(3.1)计算机设备根据样本文本特征和样本结构特征，计算得到第一传输矩阵。
其中，第一传输矩阵为将样本文本特征嵌入对齐到样本结构的特征空间的最优传输矩阵。具体地，云训练服务器410可以基于样本文本特征、样本结构特征和预设传输矩阵，确定样本文本特征和样本结构特征之间的传输距离函数，该传输距离函数约束于样本结构特征和样本文本特征的边际概率分布，并对传输距离函数进行最优解计算，得到最优传输距离，并将最优传输距离对应的预设传输矩阵作为第一传输矩阵。
例如，对样本文本特征和样本结构特征的嵌入对齐的过程可以是找到一个从t(e′)转移到h(e′)的最优传输矩阵T，使得最终的传输距离最小，其中Ti,j表示从t(e′)的第i个特征值传输到h(e′)的第j个特征值的概率，也即预设传输矩阵。需要优化的传输距离函数D(t(e′),h(e′))可以定义如下：
其中，D(t(e′),h(e′))计算出样本文本特征t(e′)和样本结构特征h(e′)间每个特征值之间的差异，
表示t(e′)的第i个维度的特征值和h(e′)第j个维度的特征值匹配上所需要的代价函数，该代价函数的计算方式，可以采用L1距离，即为：
传输距离函数D(t(e′),h(e′))需要满足两个约束条件，即：
其中，n表示t(e′)的维度，m表示h(e′)的维度，1m表示m维的全1向量(即m维度中每个元素的值均为1)，1n表示n维的全1向量；Π(u,v)可以看作样本文本信息和样本结构信息的两个模态的边际概率分布
的联合概率分布，可选地，可以将u,v初始化为全1向量。
为了求解上述的传输距离函数，需要求得一个最优传输矩阵T，使得整个传输距离函数的值最小。该传输距离函数属于带约束的线性规划问题，在本申请实施例中可以采用Sinkhorn算法快速求解传输矩阵T，也即第一传输矩阵Tt，然后代入传输距离函数中求得最优的传输距离D(t(e′),h(e′))，距离越小，说明两个特征的对齐程度更高。
(3.2)计算机设备基于第一传输矩阵，将样本文本特征嵌入对齐至样本结构特征，得到文本对齐特征。
示例性地，云训练服务器410可以在计算得出样本文本特征和样本结构特征的第一传输矩阵时，可以样本文本特征投影到样本结构特征空间中，也即将样本文本特征嵌入对齐至样本结构特征，得到文本对齐特征
其中，Tt右上标为装置符号，
表示可训练的参数矩阵。
(3.3)计算机设备根据样本图像特征和样本结构特征，计算得到第二传输矩阵。
示例性地，云训练服务器410可以根据样本图像特征v(e′)和样本结构特征h(e′)，计算得到第二传输矩阵Tv。
(3.4)计算机设备基于第二传输矩阵，将样本图像特征嵌入对齐至样本结构特征，得到图像对齐特征。
示例性地，云训练服务器410可以在计算得出第二传输矩阵Tv时，可以样本图像特征投影到样本结构特征空间中，也即基于第二传输矩阵Tv将样本图像特征嵌入对齐至样本结构特征，得到图像对齐特征
如此，样本结构特征、样本文本特征和样本图像特征通过优化传输距离的方式实现对多个模态分布之间的统一空间嵌入，缓解模态异构性的问题。
(3.5)计算机设备对样本结构特征、文本对齐特征和图像对齐特征进行特征融合，得到每个样本实体的样本融合特征。
示例性地，云训练服务器410可以在得到文本对齐特征
和图像对齐特征/>
之后，通过加权平均的方式融合三个特征形成样本实体e′的样本融合特征s(e′)：
其中，α,β,γ分别是样本结构特征、样本文本特征和样本图像特征的超参。
步骤230：计算机设备根据每个样本实体的样本融合特征，计算第一实体对的第一相似度和第二实体对的第二相似度。
通过加权拼接的方式得到样本实体的样本融合特征，进而建立对比学习的优化损失函数期望生成具有区分度高的实体表示。样本实体对对应的相对度计算可以使用余弦相似度：
sim(x,y)＝cos(s(x),s(y))
示例性地，云训练服务器410可以计算出第一实体对的第一相似度
和第二实体对的第二相似度/>
步骤240：计算机设备基于第一相似度和第二相似度，确定实体对齐网络的目标损失函数，并根据目标损失函数对实体对齐网络进行对比学习的迭代训练，直至实体对齐网络满足预设条件，得到实体对齐模型。
示例性地，云训练服务器410可以基于第一相似度和第二相似度，确定实体对齐网络的目标损失函数：
其中，N是正样本的个数，τ是温度因子超参。进一步地，云训练服务器410可以根据目标损失函数对实体对齐网络进行对比学习的迭代训练，直至实体对齐网络满足预设条件，得到实体对齐模型。
需要说明的是，预设条件可以为：动作距离损失的总损失值小于预设值、动作距离损失的总损失值不再变化、或者训练次数达到预设次数等。可选的，可以采用优化器去优化动作距离损失，基于实验经验设置学习率(LearningRate)、训练时的批量大小(BatchSize)以及训练的时期(Epoch)。
步骤250：计算机设备获取第一知识图谱和第二知识图谱，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息。
在云训练服务器410训练得到实体对齐模型之后，可以该实体对齐模型部署在云执行服务器430上，以便提供知识图谱的实体对齐服务。
示例性地，用户可以通过电脑420上的知识图谱服务软件421上传第一知识图谱G1和第二知识图谱G2至云执行服务器430。从而，云执行服务器430可以对两个知识图谱中的实体进行实体对齐。
步骤260：计算机设备将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征。
其中，多模态信息可以包括文本信息和图像信息。需要说明的是，由于实体本身具有多样的属性，所以多模态信息还可以包括语音、语音和关系等，在此不做限定。本申请实施例中的实体对齐模型的模型结构可以包括结构编码器、文本编码器和图片编码器，也可以随着输入的多模态信息的不同，设置其他对应的编码器，例如，用于编码语音信息的语音编码器。
作为一种实施方式，该计算机设备将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征的步骤可以包括：
(1)计算机设备将每个实体的邻域结构信息、文本信息和图像信息输入至实体对齐模型，对每个实体的邻域结构信息、文本信息和图像信息分别进行编码，得到每个实体的结构特征、文本特征和图像特征。
在一些实施例中，云执行服务器430可以将每个实体的邻域结构信息、文本信息和图像信息输入至实体对齐模型，进一步地，云执行服务器430可以基于实体对齐模型的图卷积神经网络对邻域结构信息编码得到结构特征h(e)。
进一步地，云执行服务器430可以基于实体对齐模型的BERT模型对文本信息编码得到文本特征t(e)，进一步地，云执行服务器430可以基于实体对齐模型的ResNet对图像信息进行编码得到图像特征v(e)。
(2)计算机设备将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个实体的多模态融合特征。
示例性地，云执行服务器430可以将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个实体的多模态融合特征。例如，云执行服务器430可以基于第一最优传输矩阵T1，将文本特征t(e)嵌入对齐至结构特征h(e)，得到目标文本特征
也即：
并基于第二最优传输矩阵T2，将图像特征v(e)嵌入对齐至结构特征h(e)，得到目标图像特征
也即：
进一步地，云执行服务器430可以对结构特征h(e)、目标文本特征
和目标图像特征/>
进行特征融合，得到每个实体的多模态融合特征s(e)：
步骤270：计算机设备基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度。
示例性地，云执行服务器430可以将第一知识图谱中每个实体
分别作为待测实体/>
并基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，进一步地，云执行服务器430可以对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度。/>
例如，云执行服务器430可以将第一知识图谱G1中的每个实体
和/>
分别与第二知识图谱G2中的每个实体组合得到多对待测实体对。进一步地，云执行服务器430可以将待测实体对中待测实体对应的多模态融合特征与另一个来自第二知识图谱中的实体对应的多模态融合特征进行余弦相似度(Cosine Similarity)计算，得到待测实体对的余弦相似度：
其中，
为待测实体
对应的多模态融合特征，/>
为待测实体对中待测实体/>
对应的另一个实体的多模态融合特征。
步骤280：计算机设备根据待测实体对的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
示例性地，云执行服务器430可以获取同一个待测实体所属的多个待测实体对，并从多个待测实体对中选择相似度最大的待测实体对确定为目标实体对，得到第一知识图谱中每个待测实体对应的目标实体对，从而得到第一知识图谱对应的目标实体对集合
该目标实体对集合中的实体对的个数等于第一知识图谱中的实体个数。云执行服务器430可以将目标实体对集合返回给电脑420上的知识图谱服务软件421。
示例性地，请参阅图5，用户可以在知识图谱服务软件421的界面的输入实体的输入栏中输入“高血压”并选择图谱“SampleKG”，当用户点击查询时，知识图谱服务软件421可以将待查询的实体“高血压”传送至云执行服务器430。进而云执行服务器430可以在图谱“SampleKG”中通过实体对齐找到匹配实体“高血压”的实体，例如，图谱“SampleKG”中的实体集{高血压，高血压病，血压，h型高血压}，并将该实体集返回给知识图谱服务软件421进行显示，同时还可以显示出关于实体“高血压”的图谱。
示例性地，结合图5和图7，图7示出了一种实体对齐方法的流程图。当云执行服务器430(01)接收到用户输入的待对齐实体e(如，e为“高血压”)时，(02)将该待对齐实体e与对齐知识图谱Gselect中的每个实体f组成多个待对齐实体对。
进一步地，云执行服务器430可以(03)通过实体对齐模型计算出每个待对齐实体对中两个实体对应的多模态融合特征se和sf。并基于多模态融合特征se和sf(04)计算出每个待对齐实体对的相似度，也即多模态融合特征se和sf的余弦相似度。
进一步地，云执行服务器430可以根据每个待对齐实体对的相似度大小，(05)确定出top-k个待对齐实体对作为目标实体对。(06)并将k个目标实体对中来自对齐知识图谱Gselect的实体作为目标实体(如，高血压，高血压病，血压，h型高血压)进行输出。
本申请实施例中，可以获取实体训练集，该实体训练集包括第一实体对和第二实体对，其中，第一实体对为分别从第一样本图谱和第二样本图谱中选取的两个对齐样本实体组成，第二实体对为分别从第一样本图谱和第二样本图谱中选取的两个非对齐样本实体组成。进一步地，将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个样本实体的样本融合特征，并根据每个样本实体的样本融合特征，计算第一实体对的第一相似度和第二实体对的第二相似度，进而基于第一相似度和第二相似度，确定实体对齐网络的目标损失函数，并根据目标损失函数对实体对齐网络进行对比学习的迭代训练，直至实体对齐网络满足预设条件，得到实体对齐模型。
由此，通过实体对齐模型可以在对每个的邻域结构信息和多模态信息进行编码时，并将每个实体的多模态信息的编码特征嵌入对齐到邻域结构信息的编码特征的空间中，使得实体的不同模态的特征进行了统一表示，进而提高对每个实体的邻域结构信息和多模态信息的融合表示的质量，得到高质量的多模态融合特征。
进一步地，获取第一知识图谱和第二知识图谱，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息，并将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，进一步地，基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度，并根据待测实体对多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。从而，基于高质量的多模态融合特征进行实体对齐，提高实体对齐的准确性。
请参阅图8，其示出了本申请实施例提供的一种信息处理装置500的结构框图。该信息处理装置500包括：图谱获取模块510，用于获取第一知识图谱和第二知识图谱，第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息；特征融合模块520，用于将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到；相似计算模块530，用于基于第一知识图谱中的每个实体与第二知识图谱中的每个实体组合得到待测实体对，并对待测实体对中两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度实体确定模块540，用于根据待测实体对的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
在一些实施例中，信息处理装置500还可以包括：训练集获取模块、特征计算模块、相似度计算模块和损失计算模块。训练集获取模块，用于获取实体训练集，实体训练集包括第一实体对和第二实体对；其中，第一实体对为分别从第一样本图谱和第二样本图谱中选取的两个对齐样本实体组成，第二实体对为分别从第一样本图谱和第二样本图谱中选取的两个非对齐样本实体组成；特征计算模块，用于将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个样本实体的样本融合特征；相似度计算模块，用于根据每个样本实体的样本融合特征，计算第一实体对的第一相似度和第二实体对的第二相似度；损失计算模块，用于基于第一相似度和第二相似度，确定实体对齐网络的目标损失函数，并根据目标损失函数对实体对齐网络进行对比学习的迭代训练，直至实体对齐网络满足预设条件，得到实体对齐模型。
在一些实施例中，特征计算模块可以包括：样本结构编码单元、样本模态编码单元和样本特征融合单元。样本结构编码单元，用于将第一实体对和第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，对每个样本实体的样本结构信息进行结构编码，得到每个样本实体对应的样本结构特征；样本模态编码单元，用于对每个样本实体的样本模态信息进行模态编码，得到每个样本实体对应的样本模态特征；样本特征融合单元，用于基于最优传输矩阵，将每个样本实体的样本模态特征嵌入对齐至样本结构特征，确定每个样本实体的样本融合特征。
在一些实施例中，样本模态特征包括样本文本特征和样本图像特征，最优传输矩阵包括第一传输矩阵和第二传输矩阵，样本特征融合单元还可以包括：第一矩阵子单元、第一对齐子单元、第二矩阵子单元、第二对齐子单元和特征融合子单元。第一矩阵子单元，用于根据样本文本特征和样本结构特征，计算得到第一传输矩阵；第一对齐子单元，用于基于第一传输矩阵，将样本文本特征嵌入对齐至样本结构特征，得到文本对齐特征；第二矩阵子单元，用于根据样本图像特征和样本结构特征，计算得到第二传输矩阵；第二对齐子单元，用于基于第二传输矩阵，将样本图像特征嵌入对齐至样本结构特征，得到图像对齐特征；特征融合子单元，用于对样本结构特征、文本对齐特征和图像对齐特征进行特征融合，得到每个样本实体的样本融合特征。
在一些实施例中，第一矩阵子单元可以具体用于：基于样本文本特征、样本结构特征和预设传输矩阵，确定样本文本特征和样本结构特征之间的传输距离函数，传输距离函数约束于样本结构特征和样本文本特征的边际概率分布；对传输距离函数进行最优解计算，得到最优传输距离，并将最优传输距离对应的预设传输矩阵作为第一传输矩阵。
在一些实施例中，样本模态信息包括样本文本信息和样本图像信息，样本模态特征包括样本文本特征和样本图像特征，样本模态编码单元可以具体用于：基于文本编码器对每个样本实体的样本文本信息进行文本编码，得到样本文本信息对应的样本文本特征；基于图像编码器对每个样本实体的样本图像信息进行图像编码，得到样本图像信息对应的样本图像特征。
在一些实施例中，多模态信息包括文本信息和图像信息，特征融合模块520可以包括：信息编码单元和特征融合单元。信息编码单元，用于将每个实体的邻域结构信息、文本信息和图像信息输入至实体对齐模型，对每个实体的邻域结构信息、文本信息和图像信息分别进行编码，得到每个实体的结构特征、文本特征和图像特征；特征融合单元，用于将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个实体的多模态融合特征。
在一些实施例中，特征融合单元可以具体用于：基于第一最优传输矩阵，将文本特征嵌入对齐至结构特征，得到目标文本特征；基于第二最优传输矩阵，将图像特征嵌入对齐至结构特征，得到目标图像特征；对结构特征、目标文本特征和目标图像特征进行特征融合，得到每个实体的多模态融合特征。
在一些实施例中，实体确定模块530可以具体用于：将第一知识图谱中每个实体分别作为待测实体；将待测实体分别与第二知识图谱中的每个实体进行组合，得到每个待测实体对应的待测实体对；对每个待测实体对中的两个实体的多模态融合特征进行相似度计算，得到待测实体对的相似度；根据待测实体对多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。实体确定模块540还可以具体用于：获取同一个待测实体所属的多个待测实体对；从多个待测实体对中选择相似度最大的待测实体对确定为目标实体对，得到第一知识图谱中每个待测实体对应的目标实体对。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本申请提供的方案，可以获取第一知识图谱和第二知识图谱，该第一知识图谱和第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息，进一步地，将每个实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个实体的多模态融合特征，该实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到。通过实体对齐模型可以在对每个的邻域结构信息和多模态信息进行编码时，还能够对编码特征进行嵌入对齐，从而提高对每个实体的邻域结构信息和多模态信息的融合表示的质量，得到高质量的多模态融合特征，进一步地，根据多模态融合特征之间的相似度，从第二知识图谱中选取与第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。进而，基于高质量的多模态融合特征进行实体对齐，提高实体对齐的准确性。
如图9所示，本申请实施例还提供一种计算机设备600，该计算机设备600包括处理器610、存储器620、电源630和输入单元640，存储器620存储有计算机程序，计算机程序被处理器610调用时，可实执行上述实施例提供的各种方法步骤。本领域技术人员可以理解，图中示出的计算机设备的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器610可以包括一个或多个处理核。处理器610利用各种接口和线路连接整个电池管理系统内的各种部分，通过运行或执行存储在存储器620内的指令、程序、指令集或程序集，调用存储在存储器620内的数据，执行电池管理系统的各种功能和处理数据，以及执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体控制。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器610(CentralProcessing Unit，CPU)、图像处理器610(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器620(Random Access Memory，RAM)，也可以包括只读存储器620(Read-Only Memory)。存储器620可用于存储指令、程序、指令集或程序集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各种方法实施例的指令等。存储数据区还可以存储计算机设备在使用中所创建的数据(比如电话本和音视频数据)等。相应地，存储器620还可以包括存储器控制器，以提供处理器610对存储器620的访问。
电源630可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源630还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
输入单元640，该输入单元640可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备600还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器610会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器620中，并由处理器610来运行存储在存储器620中的比如电话本和音视频数据，从而实现前述实施例提供的各种方法步骤。
如图10所示，本申请实施例还提供一种计算机可读存储介质700，该计算机可读存储介质700中存储有计算机程序710，计算机程序710可被处理器调用于执行本申请实施例提供的各种方法步骤。
计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读存储介质(Non-Transitory Computer-Readable Storage Medium)。计算机可读存储介质700具有执行上述实施例中任何方法步骤的计算机程序的存储空间。这些计算机程序可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。计算机程序能够以适当形式进行压缩。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述实施例提供的各种方法步骤。
以上，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭示如上，然而并非用以限定本申请，任何本领域技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本申请技术方案的范围内。
Claims (13)
1.一种信息处理方法，其特征在于，所述方法包括：
获取第一知识图谱和第二知识图谱，所述第一知识图谱和所述第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息；
将每个所述实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个所述实体的多模态融合特征，所述实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，所述样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到；
基于所述第一知识图谱中的每个实体与所述第二知识图谱中的每个实体组合得到待测实体对，并对所述待测实体对中两个实体的多模态融合特征进行相似度计算，得到所述待测实体对的相似度；
根据所述待测实体对的相似度，从所述第二知识图谱中选取与所述第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
2.根据权利要求1所述的方法，其特征在于，所述实体对齐模型通过如下步骤训练得到：
获取实体训练集，所述实体训练集包括第一实体对和第二实体对，所述第一实体对为分别从第一样本图谱和第二样本图谱中选取的两个对齐样本实体组成，所述第二实体对为分别从第一样本图谱和第二样本图谱中选取的两个非对齐样本实体组成；
将所述第一实体对和所述第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个所述样本实体的样本融合特征；
根据每个所述样本实体的样本融合特征，计算所述第一实体对的第一相似度和所述第二实体对的第二相似度；
基于所述第一相似度和所述第二相似度，确定所述实体对齐网络的目标损失函数，并根据所述目标损失函数对所述实体对齐网络进行对比学习的迭代训练，直至所述实体对齐网络满足预设条件，得到实体对齐模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一实体对和所述第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，输出每个所述样本实体的样本融合特征，包括：
将所述第一实体对和所述第二实体对中每个样本实体的样本结构信息和样本模态信息输入至预设的实体对齐网络，对每个所述样本实体的样本结构信息进行结构编码，得到每个样本实体对应的样本结构特征；
对每个所述样本实体的样本模态信息进行模态编码，得到每个样本实体对应的样本模态特征；
基于最优传输矩阵，将每个样本实体的样本模态特征嵌入对齐至样本结构特征，确定每个所述样本实体的样本融合特征。
4.根据权利要求3所述的方法，其特征在于，所述样本模态特征包括样本文本特征和样本图像特征，所述最优传输矩阵包括第一传输矩阵和第二传输矩阵，所述基于最优传输矩阵，将每个样本实体的样本模态特征嵌入对齐至样本结构特征，确定每个所述样本实体的样本融合特征，包括：
根据所述样本文本特征和所述样本结构特征，计算得到第一传输矩阵；
基于所述第一传输矩阵，将所述样本文本特征嵌入对齐至所述样本结构特征，得到文本对齐特征；
根据所述样本图像特征和所述样本结构特征，计算得到第二传输矩阵；
基于所述第二传输矩阵，将所述样本图像特征嵌入对齐至所述样本结构特征，得到图像对齐特征；
对所述样本结构特征、所述文本对齐特征和所述图像对齐特征进行特征融合，得到每个所述样本实体的样本融合特征。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本文本特征和所述样本结构特征，计算得到第一传输矩阵，包括：
基于所述样本文本特征、所述样本结构特征和预设传输矩阵，确定所述样本文本特征和所述样本结构特征之间的传输距离函数，所述传输距离函数约束于样本结构特征和样本文本特征的边际概率分布；
对所述传输距离函数进行最优解计算，得到最优传输距离，并将所述最优传输距离对应的预设传输矩阵作为第一传输矩阵。
6.根据权利要求3所述的方法，其特征在于，所述样本模态信息包括样本文本信息和样本图像信息，所述样本模态特征包括样本文本特征和样本图像特征，所述对每个所述样本实体的样本模态信息进行编码，得到每个样本实体对应的样本模态特征，包括：
基于文本编码器对每个所述样本实体的样本文本信息进行文本编码，得到所述样本文本信息对应的样本文本特征；
基于图像编码器对每个所述样本实体的样本图像信息进行图像编码，得到所述样本图像信息对应的样本图像特征。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述多模态信息包括文本信息和图像信息，所述将每个所述实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个所述实体的多模态融合特征，包括：
将每个所述实体的邻域结构信息、文本信息和图像信息输入至实体对齐模型，对每个所述实体的邻域结构信息、文本信息和图像信息分别进行编码，得到每个实体的结构特征、文本特征和图像特征；
将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个所述实体的多模态融合特征。
8.根据权利要求7所述的方法，其特征在于，所述将每个实体的文本特征和图像特征分别嵌入对齐至结构特征，得到每个所述实体的多模态融合特征，包括：
基于第一最优传输矩阵，将所述文本特征嵌入对齐至所述结构特征，得到目标文本特征；
基于第二最优传输矩阵，将所述图像特征嵌入对齐至所述结构特征，得到目标图像特征；
对所述结构特征、所述目标文本特征和所述目标图像特征进行特征融合，得到每个所述实体的多模态融合特征。
9.根据权利要求7或8所述的方法，其特征在于，所述基于所述第一知识图谱中的每个实体与所述第二知识图谱中的每个实体组合得到待测实体对，并对所述待测实体对中两个实体的多模态融合特征进行相似度计算，得到所述待测实体对的相似度，包括：
将所述第一知识图谱中每个实体分别作为待测实体；
将所述待测实体分别与所述第二知识图谱中的每个实体进行组合，得到每个所述待测实体对应的待测实体对；
对每个所述待测实体对中的两个实体的多模态融合特征进行相似度计算，得到所述待测实体对的相似度；
所述根据所述待测实体对的相似度，从所述第二知识图谱中选取与所述第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合，包括：
获取同一个待测实体所属的多个待测实体对；
从所述多个待测实体对中选择相似度最大的待测实体对确定为目标实体对，得到所述第一知识图谱中每个待测实体对应的目标实体对。
10.一种信息处理装置，其特征在于，所述装置包括：
图谱获取模块，用于获取第一知识图谱和第二知识图谱，所述第一知识图谱和所述第二知识图谱中的每个实体携带有对应的邻域结构信息和多模态信息；
特征融合模块，用于将每个所述实体的邻域结构信息和多模态信息输入至实体对齐模型，得到每个所述实体的多模态融合特征，所述实体对齐模型为基于每个样本实体的样本融合特征进行对比学习训练得到，样本融合特征为基于最优传输将样本模态特征嵌入对齐至样本结构特征得到；
相似计算模块，用于基于所述第一知识图谱中的每个实体与所述第二知识图谱中的每个实体组合得到待测实体对，并对所述待测实体对中两个实体的多模态融合特征进行相似度计算，得到所述待测实体对的相似度；
实体确定模块，用于根据所述待测实体对的相似度，从所述第二知识图谱中选取与所述第一知识图谱中的每个实体匹配的目标实体，得到目标实体对集合。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器调用执行如权利要求1～9任一项所述的方法。
12.一种计算机设备，其特征在于，包括：
存储器；
一个或多个处理器，与所述存储器耦接；
一个或多个计算机程序，其中，所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行如权利要求1～9任一项所述的方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被存储在存储介质中；计算机设备的处理器从存储介质读取所述计算机程序，处理器执行所述计算机程序，使得所述计算机设备执行如权利要求1～9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310368437.XA CN116431827A (zh) | 2023-03-28 | 2023-03-28 | 信息处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310368437.XA CN116431827A (zh) | 2023-03-28 | 2023-03-28 | 信息处理方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116431827A true CN116431827A (zh) | 2023-07-14 |
Family
ID=87079225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310368437.XA Pending CN116431827A (zh) | 2023-03-28 | 2023-03-28 | 信息处理方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431827A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116910277A (zh) * | 2023-09-13 | 2023-10-20 | 之江实验室 | 知识图谱构建方法、资源查找方法、计算机设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110433A1 (en) * | 2012-02-01 | 2016-04-21 | Sri International | Method and apparatus for correlating and viewing disparate data |
| CN113407759A (zh) * | 2021-08-18 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
| CN115062783A (zh) * | 2022-08-08 | 2022-09-16 | 科大讯飞(苏州)科技有限公司 | 实体对齐方法及相关装置、电子设备、存储介质 |
| CN115114443A (zh) * | 2022-04-27 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 多模态编码模型的训练方法、装置、电子设备及存储介质 |
-
2023
- 2023-03-28 CN CN202310368437.XA patent/CN116431827A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110433A1 (en) * | 2012-02-01 | 2016-04-21 | Sri International | Method and apparatus for correlating and viewing disparate data |
| CN113407759A (zh) * | 2021-08-18 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
| CN115114443A (zh) * | 2022-04-27 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 多模态编码模型的训练方法、装置、电子设备及存储介质 |
| CN115062783A (zh) * | 2022-08-08 | 2022-09-16 | 科大讯飞(苏州)科技有限公司 | 实体对齐方法及相关装置、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| JIA DUAN, LIQUN CHEN, ET AL.: "Multi-modal Alignment using Representation Codebook", 《2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2022 (2022-12-31), pages 1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116910277A (zh) * | 2023-09-13 | 2023-10-20 | 之江实验室 | 知识图谱构建方法、资源查找方法、计算机设备和介质 |
| CN116910277B (zh) * | 2023-09-13 | 2024-02-27 | 之江实验室 | 知识图谱构建方法、资源查找方法、计算机设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020228376A1 (zh) | 文本处理方法、模型训练方法和装置 | |
| CN109934249A (zh) | 数据处理方法、装置、介质和计算设备 | |
| CN113761153B (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| WO2022105117A1 (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN111930894B (zh) | 长文本匹配方法及装置、存储介质、电子设备 | |
| CN110472002B (zh) | 一种文本相似度获取方法和装置 | |
| CN111898636B (zh) | 一种数据处理方法及装置 | |
| CN113821670B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN114298122B (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
| CN115455171B (zh) | 文本视频的互检索以及模型训练方法、装置、设备及介质 | |
| CN111091010A (zh) | 相似度确定、网络训练、查找方法及装置和存储介质 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| WO2023173552A1 (zh) | 目标检测模型的建立方法、应用方法、设备、装置及介质 | |
| CN116975350A (zh) | 图文检索方法、装置、设备及存储介质 | |
| CN116821373A (zh) | 基于图谱的prompt推荐方法、装置、设备及介质 | |
| CN116431827A (zh) | 信息处理方法、装置、存储介质及计算机设备 | |
| CN115221369A (zh) | 视觉问答的实现方法和基于视觉问答检验模型的方法 | |
| CN116303558A (zh) | 查询语句生成方法、数据查询方法及生成模型训练方法 | |
| CN114328943A (zh) | 基于知识图谱的问题回答方法、装置、设备及存储介质 | |
| CN112182253B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN115168609A (zh) | 一种文本匹配方法、装置、计算机设备和存储介质 | |
| KR20190082453A (ko) | 기계학습 모델링을 위한 신규 학습 콘텐츠 분석 방법, 장치 및 컴퓨터 프로그램 | |
| CN115129861B (zh) | 文本分类方法、装置和存储介质及电子设备 | |
| CN117711001B (zh) | 图像处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40089877 Country of ref document: HK |