CN116756554A - 对齐模型的训练方法、装置、设备、介质及程序产品 - Google Patents
对齐模型的训练方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN116756554A CN116756554A CN202210208340.8A CN202210208340A CN116756554A CN 116756554 A CN116756554 A CN 116756554A CN 202210208340 A CN202210208340 A CN 202210208340A CN 116756554 A CN116756554 A CN 116756554A
- Authority
- CN
- China
- Prior art keywords
- modal
- alignment
- loss
- modality
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000012549 training Methods 0.000 title claims abstract description 126
- 238000004458 analytical method Methods 0.000 claims abstract description 75
- 238000009826 distribution Methods 0.000 claims description 95
- 230000004927 fusion Effects 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 26
- 230000000694 effects Effects 0.000 abstract description 24
- 230000003993 interaction Effects 0.000 abstract description 18
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000010801 machine learning Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 45
- 230000006870 function Effects 0.000 description 29
- 239000004973 liquid crystal related substance Substances 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000005315 distribution function Methods 0.000 description 10
- 206010012601 diabetes mellitus Diseases 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 238000000547 structure data Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 201000005569 Gout Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 208000004104 gestational diabetes Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种对齐模型的训练方法、装置、设备、介质及程序产品，涉及机器学习领域。该方法包括：获取至少两个样本知识图谱，样本知识图谱中的节点对应包括第一模态数据和第二模态数据；获取第一模态数据对应的第一模态特征表示；获取第二模态数据对应的第二模态特征表示；在模态内对第一模态特征表示进行对比分析，对第二模态特征表示进行对比分析，得到模态内损失；在模态间对第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；以模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过以上方式，利用模态内和模态间的交互关系，提高对齐模型的训练效果。本申请可应用于云技术、人工智能、智慧交通等各种场景。
Description
技术领域
本申请实施例涉及机器学习领域，特别涉及一种对齐模型的训练方法、装置、设备、介质及程序产品。
背景技术
知识图谱由相互连接的实体以及实体之间的关系所构成，利用语言、视觉和听觉等多种模态数据的知识图谱称作多模态知识图谱。知识图谱对齐又称实体对齐，旨在判断两个或者多个不同的知识图谱的实体是否指向同一事物，对于构建大规模高质量的知识图谱而言，知识图谱对齐技术具有十分重要的现实意义。
相关技术中，通常采用不同的编码器对不同模态的信息进行特征提取，将多种模态信息分别对应的模态特征融合后得到多模态实体表示，以多模态实体表示的余弦相似度确定对齐结果。
然而，在通过上述方法进行多模态实体对齐时，通常根据直接利用融合得到的多模态实体表示判断对齐结果，而没有考虑不同模态之间可能存在互相补充的信息，进而使得对齐过程中不同模态的信息关联性较差，从而影响对齐效果。
发明内容
本申请实施例提供了一种对齐模型的训练方法、装置、设备、介质及程序产品，能够利用模态内以及模态间的交互关系，提高对对齐模型的训练效果。所述技术方案如下。
一方面，提供了一种对齐模型的训练方法，所述方法包括：
获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；
通过对齐模型将所述至少两个样本知识图谱中的节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；
对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；
对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；
基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。
另一方面，提供了一种对齐模型的训练装置，所述装置包括：
获取模块，用于获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；
映射模块，用于通过对齐模型将所述至少两个样本知识图谱中节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；
对比模块，用于对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；
对齐模块，用于对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；
训练模块，用于基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述对齐模型的训练方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的对齐模型的训练方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的对齐模型的训练方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
提取节点中第一模态数据对应的第一模态特征表示，以及第二模态数据对应的第二模态特征表示，在不同模态特征表示内进行对比分析得到模态内损失，在不同模态间进行对齐分析得到模态间损失；基于模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过上述方法，将节点对应的不同模态数据映射至统一的向量空间中，得到不同模态数据对应的不同模态特征表示，在模态内对不同节点对应的模态特征表示进行对比分析，充分捕捉模态内的动态特征，从而获得更具有辨别力，区别度更高的模态特征表示；此外，在不同模态间，对不同节点对应的模态特征表示进行对齐分析，充分利用模态间的交互关系，提高对对齐模型训练过程中对齐效果，在保持对齐节点之间语义接近的条件下，最小化同一节点模态间的差异性，从而实现更好的训练效果，得到对齐效果更好的目标对齐模型。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境示意图；
图2是本申请一个示例性实施例提供的对齐模型的训练方法的流程图；
图3是本申请一个示例性实施例提供的医学知识图谱的界面示意图；
图4是本申请另一个示例性实施例提供的对齐模型的训练方法的流程图；
图5是本申请一个示例性实施例提供的对齐模型的训练方法的流程图；
图6是本申请一个示例性实施例提供的对齐模型的训练装置的结构框图；
图7是本申请另一个示例性实施例提供的对齐模型的训练装置的结构框图；
图8是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，针对本申请实施例中涉及的名词进行简单介绍。
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
相关技术中，通常采用不同的编码器对不同模态的信息进行特征提取，将多种模态信息分别对应的模态特征融合后得到多模态实体表示，以多模态实体表示的余弦相似度确定对齐结果。然而，在通过上述方法进行多模态实体对齐时，通常根据直接利用融合得到的多模态实体表示判断对齐结果，而没有考虑不同模态之间可能存在互相补充的信息，进而使得对齐过程中不同模态的信息关联性较差，从而影响对齐效果。
本申请实施例中，提供了一种对齐模型的训练方法，能够利用模态内以及模态间的交互关系，提高对对齐模型的训练效果。针对本申请训练得到的对齐模型的训练方法，在应用时包括如下场景中的至少一种。
一、应用于医学领域中
示意性的，在医学领域，将关联的医学名词作为节点，将医学名词之间的关联关系作为连接节点的边，由此构成医学知识图谱，节点本身的语义、与其他节点之间的关系、与节点关系关联的图像、视频等都可以视为模态数据，基于不同的模态数据可以得到多模态的医学知识图谱。对多模态知识图谱进行对齐，有利于扩大知识图谱的规模，提高知识图谱的模态覆盖范围。然而，通常来讲，在将多模态知识图谱进行对齐时，多种模态数据之间的差异很容易为知识图谱的对齐过程造成干扰。采用上述对齐模型的训练方法，根据样本知识图谱，在同一模态内，对不同节点对应的模态特征表示进行对比损失，提高模态内的不同节点之间的辨别力；在不同模态间，对不同节点对应的模态特征表示进行对齐损失，充分利用模态间的交互关系，减小节点对应的多种模态之间的差异性，从而提高对对齐模型的训练效果，得到能够更好实现对齐功能的目标对齐模型，进而利用目标对齐模型，将不同的医学知识图谱进行对齐，从而得到规模更大、精准度更高的医学知识图谱。
二、应用于信息检索系统中
示意性的，当知识图谱应用于信息检索领域时，不同的信息以节点的形式存在，信息之间的关联关系以边的形式存在，为了生动表示不同信息，可以为信息关联不同模态，从而发挥信息中不同模态的互补性。在扩大信息覆盖范围时，通常对知识图谱进行对齐操作。然而，通常来讲，在将关联有多种模态的知识图谱进行对齐时，不同的模态信息很容易对知识图谱的对齐过程造成干扰。采用上述对齐模型的训练方法，根据样本知识图谱，在同一模态内，对不同节点对应的模态特征表示进行对比损失，提高模态内的不同节点之间的辨别力；在不同模态间，对不同节点对应的模态特征表示进行对齐损失，充分利用模态间的交互关系，减小节点对应的多种模态之间的差异性，从而提高对齐模型的训练效果，得到能够实现更好对齐功能的目标对齐模型，进而利用目标对齐模型，将不同的知识图谱进行对齐，在得到对齐后的多模态知识图谱的同时，充分提高了获得信息的有效性。
值得注意的是，上述应用场景仅为示意性的举例，本实施例提供的对齐模型的训练方法还可以应用于其他场景中，本申请实施例对此不加以限定。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的医学数据等都是在充分授权的情况下获取的。
其次，对本申请实施例中涉及的实施环境进行说明，示意性的，请参考图1，该实施环境中涉及终端110、服务器120，终端110和服务器120之间通过通信网络130连接。
在一些实施例中，终端110用于向服务器120发送多个用于训练对齐模型的样本知识图谱。在一些实施例中，终端110中安装有具有知识图谱获取功能或者知识图谱构建功能的应用程序。
本申请实施例提供的图像处理方法可以由终端110单独执行实现，也可以由服务器120执行实现，或者由终端110和服务器120通过数据交互实现，本申请实施例对此不加以限定。本实施例中，以终端110通过具有知识图谱获取功能的应用程序进行知识图谱获取后，向服务器120发送获取得到的样本知识图谱，由服务器120根据样本知识图谱，以对对齐模型进行训练得到目标对齐模型为例进行说明。
可选地，服务器120在接收到终端110发送的样本知识图谱后，对不同样本知识图谱中节点对应包括的模态数据进行处理，将第一模态数据和第二模态数据映射到向量空间上，得到不同节点中第一模态数据对应的多个第一模态特征表示，以及不同节点中第二模态数据对应的多个第二模态特征表示。在第一模态特征表示下，对多个第一模态特征表示进行对比分析；在第二模态特征表示下，对多个第二模态特征表示进行对比分析，从而得到模态内损失。对第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失，以模态内损失和模态间损失对对齐模型进行训练，直至得到目标对齐模型，实现将对对齐模型的训练过程。可选地，将待对齐的知识图谱通过目标对齐模型，得到对齐结果，并反馈至终端110进行显示。
值得注意的是，上述终端包括但不限于手机、平板电脑、便携式膝上笔记本电脑、智能语音交互设备、智能家电、车载终端等移动终端，也可以实现为台式电脑等；上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、应用程序、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
结合上述名词简介和应用场景，对本申请提供的对齐模型的训练方法进行说明，以该方法应用于服务器为例，如图2所示，该方法包括如下步骤210至步骤250。
步骤210，获取至少两个样本知识图谱。
知识图谱是将各种不同种类的信息连接在一起而得到的一个关系网络，是一种基于图的数据结构，由节点和边组成，每个节点用于指示一个实体，每条边用于指示实体与实体之间(节点与节点之间)的关系或属性。示意性的，实体是指具可区别性且独立存在的某种事物，例如：某一个人、某一种动物、某一种植物、某一件商品等。节点是知识图谱中的最基本元素，不同的节点间存在不同的关系，不同的关系采用不同的边进行表示。也即：知识图谱是由一些相互连接的节点以及不同节点各自对应的属性构成的。示意性的，某一个知识图谱中包括A节点，B节点以及C节点，A节点与B节点之间存在a关系，B节点与C节点之间存在b关系等。
其中，样本知识图谱是在对对齐模型进行训练的过程中所采用的知识图谱，知识图谱对齐又称作实体对齐。示意性的，所获得的至少两个样本知识图谱为具有对齐关系的知识图谱。例如：第一个样本知识图谱中的节点M与第二个样本知识图谱中的节点N存在对齐关系。
示意性的，基于至少两个样本知识图谱为具有对齐关系的知识图谱可知，至少两个样本知识图谱中的节点存在对齐关系，且至少两个样本知识图谱为不同的知识图谱，例如：第一个样本知识图谱和第二个样本知识图谱中节点的文本内容不同；或者，第一个样本知识图谱和第二个样本知识图谱中节点的数量不同等。示意性的，本申请实施例对第一个样本知识图谱和第二个样本知识图谱的大小、内容等不作限定。
可选地，至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据。将知识图谱中的节点与各种模态数据进行关联后，得到多模态知识图谱。与传统的知识图谱相比，多模态知识图谱构建了包括多种模态数据的节点(例如：视觉模态数据、听觉模态数据等)，以及多种模态实体之间的多模态语义关系。
其中，模态是信息的来源或形式，示意性的，每一种信息的来源或形式都可以称为一种模态。例如：信息媒介包括语音、图片、文字等。示意性的，模态数据用于指示上述模态对应的数据，也即：模态数据包括：文本数据、图像数据、视频数据、听觉数据等多种形式。
在一个可选的实施例中，上述第一模态数据与第二模态数据仅用于指示模态数据的不同类型，并不仅指示包括两种模态数据，还可以包括多种模态数据，也即，在采用对齐模型的训练方法对样本知识图谱中的节点进行分析时，每个节点不仅可以对应两种模态数据，还可以对应多种模态数据。
可选地，在得到由节点和关系组成的知识图谱后，在知识图谱的至少一个节点上关联上模态数据，从而得到多模态知识图谱。例如：将节点对应实体的属性作为一种模态数据；或者，将节点之间对应的关系作为一种模态数据；或者，将与节点相关联的模态作为一种模态数据等。
示意性的，以图像模态数据为例进行说明，根据多个实体节点之间的关联性，得到由多个实体节点组成的知识图谱后，在知识图谱的每一个节点上，关联至少一个图像，得到多模态知识图谱，其中，该多模态知识图谱中的模态数据包括文本数据(节点的文本内容)和图像数据；或者，以视频模态数据为例进行说明，在知识图谱的每一个节点上，关联至少一个视频，得到多模态知识图谱，其中，该多模态知识图谱中的模态数据包括文本数据和视频数据等。
值得注意的是，以上仅为示意性的举例，本申请实施例对此不加以限定。
可选地，根据样本知识图谱中的节点类别，可以大致确定样本知识图谱的图谱类别。示意性的，如图3所示，为一个示意性的根据搜索实体300(例如：搜索实体300为糖尿病)得到的样本知识图谱的界面示意图，该样本知识图谱中的节点类别与医学相关，则可以将该样本知识图谱归类为医学图谱类别，该样本知识图谱为医学知识图谱，例如：糖尿病310为该医学知识图谱的根节点，痛风320、妊娠期糖尿病330等实体节点为与糖尿病310具有关联关系的节点，其中，痛风320与糖尿病310的关系为“原发症321”，用于指示糖尿病310为痛风320的原发症状表现，妊娠期糖尿病330与糖尿病310的关系为“修饰上位词331”用于指示糖尿病310为妊娠期糖尿病330的修饰上位词等；或者，样本知识图谱中节点的节点类别与农业相关，则样本知识图谱的图谱类别为农业类别，样本知识图谱为农业图谱等。示意性的，至少两个样本图谱为类别相同，但节点内容或节点数量不同的知识图谱。
步骤220，通过对齐模型将至少两个样本知识图谱中的节点对应的第一模态数据和第二模态数据映射至向量空间中，得到第一模态数据对应的第一模态特征表示，以及第二模态数据对应的第二模态特征表示。
示意性的，多模态知识图谱中的多种模态用于描述实体不同维度的信息，且不同维度的信息是相互补充的。可选地，在将不同模态对应的数据映射至向量空间时，既包括将不同模态对应的数据映射至一个向量空间中，也包括将不同模态对应的数据映射不同模态对应的向量空间中。
可选地，在采用上述对齐模型的训练方法对样本知识图谱中的节点进行分析时，第一模态数据与第二模态数据用于指示不同种类的模态数据，也即，可以包括至少两种模态数据，如：第一模态数据和第二模态数据；或者，第一模态数据、第二模态数据和第三模态数据等。例如：以节点对应的实体名称为第一模态数据，以节点对应的实体图像为第二模态数据；或者，以节点对应的实体名称为第一模态数据，以节点对应的实体关系为第二模态数据，以节点对应的实体图像为第三模态数据等。
将第一模态数据与第二模态数据映射至向量空间，也即，对第一模态数据和第二模态数据分别进行特征提取过程，从而得到第一模态数据对应的第一模态特征表示以及第二模态数据对应的第二模态特征表示。
示意性的，第一模态数据为节点对应的实体名称，将该实体名称映射至向量空间后，得到该实体名称对应的实体名称嵌入表示(第一模态特征表示)；或者，第一模态数据为节点对应的实体关系，将该实体关系映射至向量空间后，得到该实体关系对应的实体关系嵌入表示(第一模态特征表示)；或者，第二模态数据为节点对应的实体图像，将该实体图像映射至向量空间后，得到该实体图像对应的视觉嵌入表示(第二模态特征表示)等。
值得注意的是，以上仅为示意性的举例，本申请实施例对此不加以限定。
步骤230，对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失。
可选地，在得到两个样本知识图谱中每个节点对应的第一模态特征表示后，在第一模态数据对应的第一模态特征表示内，对多个第一模态特征表示进行对比分析。
其中，对比分析用于针对同一种模态数据，对不同节点之间的关联性进行分析，例如：基于样本知识图谱之间的对齐关系，使得对齐节点之间的关联性更强，使得未对齐节点之间的关联性更弱等。
示意性的，第一个样本知识图谱与第二个样本知识图谱具有对齐关系，第一个样本知识图谱由多个第一样本节点组成，第二个样本知识图谱由多个第二样本节点组成，第一样本节点对应的模态数据包括第一图像数据以及第一实体关系数据；第二样本节点对应的模态数据包括第二图像数据以及第二实体关系数据，将第一图像数据和第二图像数据统称为第一模态数据，将第一实体关系数据和第二实体关系数据统称为第二模态数据。
例如：在得到图像数据对应的视觉嵌入表示(第一模态特征表示)后，对第一样本节点对应的第一视觉嵌入表示以及第二样本节点对应的第二视觉嵌入表示进行对比分析，以使得第一模态特征表示下的多个第一样本节点符合对比条件。
其中，对比条件用于指示对至少两个节点对应的第一模态特征表示进行对比分析后所要达到的目标。示意性的，对比条件为：使得具有对齐关系的两个节点对应的模态特征表示在向量空间中的距离更近，使得不具有对齐关系的两个节点对应的模态特征表示在向量空间中的距离更远等。
在一个可选的实施例中，基于至少两个样本知识图谱对应的对齐关系，确定具有对齐关系的对齐实体对。
示意性的，基于第一个样本知识图谱与第二个样本知识图谱之间具有对齐关系，确定第一个样本知识图谱与第二个样本知识图谱之间节点的对齐关系。例如：第一个样本知识图谱中的节点e1与第二个样本知识图谱中的节点e2存在对齐关系，则节点e1与节点e2组成一个对齐实体对，对齐实体对用于指示两个节点呈现对齐关系，用于指示同一对象。
可选地，基于知识图谱中节点的分布情况，同一个知识图谱内的节点呈现非对齐关系，则同一个知识图谱内的不同的两个节点构成一个非对齐实体对。
在一个可选的实施例中，至少两个样本知识图谱中包括分布于不同样本知识图谱的第一实体节点和第二实体节点。
其中，分布于不同样本知识图谱用于指示第一实体节点与第二实体节点从属于不同的样本知识图谱。示意性的，至少两个样本知识图谱包括第一样本知识图谱以及第二样本知识图谱，第一样本知识图谱中包括第一实体节点，第二样本知识图谱中包括第二实体节点。
可选地，基于第一样本知识图谱和第二样本知识图谱之间的对齐关系，确定第一实体节点与第二实体节点之间的对齐关系。在基于第一实体节点与第二实体节点之间的对齐关系确定对齐实体对时，会根据第一实体节点与第二实体节点之间的对齐方向，确定两种方向的对齐实体对，两种方向的对齐实体对如下所示。
(1)将第一实体节点对齐至第二实体节点的第一对齐实体对
示意性的，根据知识图谱对齐方向的差异，会产生不同的对齐效果。例如，将第一样本知识图谱对齐至第二样本知识图谱的过程，也即，将第一样本知识图谱中的第一实体节点对齐至第二样本知识图谱中的第二实体节点的过程，基于该对齐方向，确定将第一实体节点对齐至第二实体节点而得到的第一对齐实体对。
(2)将第二实体节点对齐至第一实体节点的第二对齐实体对
可选地，将第二样本知识图谱作为源知识图谱，将第一样本知识图谱作为目标知识图谱，也即，将第一样本知识图谱作为被对齐的知识图谱，从第二样本知识图谱中的节点中，确定与第一样本知识图谱中每个节点对应的节点。示意性的，在确定第一样本知识图谱中待对齐的第一实体节点后，将从第二样本知识图谱中确定与第一实体节点具有对齐关系的节点作为第二实体节点，将第二实体节点对齐至第一实体节点而得到的对齐实体对作为第二对齐实体对。
也即，对齐实体对中包括第一实体节点向第二实体节点对齐的第一对齐实体对，以及包括第二实体节点向第一实体节点对齐的第二对齐实体对。
在一个可选的实施例中，基于知识图谱对齐方向的差异，第一对齐实体对和第二对齐实体对中的节点既包括相同的情况，也包括不同的情况。示意性的，将第一样本知识图谱对齐至第二样本知识图谱后，得到至少两个对齐实体对。当第一对齐实体对和第二对齐实体对中的节点相同时，如：第一对齐实体对表示为(e1，e2)，第二对齐实体对表示为(e2，e1)；或者，当第一对齐实体对和第二对齐实体对中的节点是不同时，如：第一对齐实体对表示为(e1，e2)，第二对齐实体对表示为(e3，e1)等。
示意性的，两个样本知识图谱在对齐过程中会产生多个对齐实体对，以上仅为示意性的举例，本申请实施例对此不加以限定。
在一个可选的实施例中，确定对齐实体对在第一模态特征表示下的第一概率分布，以及对齐实体对在第二模态特征表示下的第二概率分布。
其中，第一概率分布用于指示在第一模态特征表示下对齐实体对的对齐概率；第二概率分布用于指示在第二模态特征表示下对齐实体对的对齐概率。
在一个可选的实施例中，确定第一对齐实体对在第一模态特征表示下的第一概率分布情况；确定第二对齐实体对在第一模态特征表示下的第二概率分布情况。
可选地，以指示第一对齐实体对，示意性的，在得到第一对齐实体对后，通过概率分布函数，确定第一模态特征表示对应的第一概率分布情况，其中，概率分布函数如下所示。
其中，m用于指示模态数据(第一模态数据)；i用于指示对齐状态；j用于指示非对齐状态；用于指示第一对齐实体对在第一模态特征表示下的第一概率分布情况；/>用于指示第一样本知识图谱中的非对齐实体对中实体的集合， 用于指示第二样本知识图谱中的非对齐实体对中实体的集合，/>δm用于指示编码函数，编码函数如下所示。
δm(u,v)＝exp(fm(u)Tfm(v)/τ1
其中，fm(·)用于指示模态数据m的编码器；τ1为温度参数；u和v为编码函数对应的自变量，当编码函数应用于上述概率分布函数时，u可以实现为v可以实现为/>以上仅为示意性的举例。
示意性的，上述概率分布函数为应用于模态数据m时所得到的概率分布公式，当应用于其他模态时，采用其他模态数据对应的编码器，同样可以采用上述概率分布公式进行概率确定过程。
可选地，以指示第二对齐实体对，采用上述概率分布函数，对第二对齐实体对进行第二概率分布情况的确定过程，也即第二对齐实体对的对齐概率如下所示。
其中，m用于指示模态数据(第一模态数据)；i用于指示对齐状态；j用于指示非对齐状态；用于指示第一模态特征表示下第二对齐实体对的第二概率分布情况；用于指示第一样本知识图谱中的非对齐实体对中实体的集合， 用于指示第二样本知识图谱中的非对齐实体对中实体的集合，/>δm用于指示上述的编码函数。
可选地，基于上述概率分布函数确定第一对齐实体对在第一模态特征表示下的第一概率分布情况，以及第二对齐实体对在第一模态特征表示下的第二概率分布情况后，结合第一概率分布情况和第二概率分布情况，得到第一概率分布。
示意性的，将第一概率分布情况与第二概率分布情况的数值相加，得到第一模态特征表示下的第一概率分布。
在一个可选的实施例中，将上述得到第一模态特征表示下第一概率分布的方法应用于确定第二模态特征表示下第二概率分布的过程中，也即：确定第一对齐实体对在第二模态特征表示下的第三概率分布情况；确定第二对齐实体对在第二模态特征表示下的第四概率分布情况，结合第三概率分布情况和第四概率分布情况，得到第二概率分布。
其中，采用上述概率分布函数，对第三概率分布情况以及第四概率分布情况进行确定，其中，编码函数所对应的编码器，为确定第二模态特征表示的编码器，故对此部分内容不再赘述。
在一个可选的实施例中，基于第一概率分布确定第一模态特征表示对应的第一模态内损失，以及基于第二概率分布确定第二模态特征表示对应的第二模态内损失。
示意性的，以基于第一概率分布确定第一模态特征表示对应的第一模态内损失为例进行说明。在获取得到第一概率分布后，采用对比损失函数，对第一模态内损失进行确定，对比损失函数如下所示。
其中，用于指示模态数据m(第一模态数据)的模态内损失(ICL为模态内对比损失的缩写，即：Intramodal Contrast Loss)；i用于指示对齐状态；/>为从若干节点中抽取得到的批量训练数据；/>用于指示第一模态特征表示下第一对齐实体对的第一概率分布情况；/>用于指示第一模态特征表示下第二对齐实体对的第二概率分布情况，也即：/>用于指示第一模态特征表示下的第一概率分布。
在一个可选的实施例中，将上述得到第一模态特征表示下第一模态内损失的方法应用于确定第二模态特征表示下第二模态内损失的过程中。也即，采用上述对比损失函数，对第二模态特征表示下第二模态内损失进行确定，故对第二模态内损失的部分内容不再赘述。
可选地，基于上述对比损失函数确定第一模态特征表示下的第一模态内损失，以及第二模态特征表示下的第二模态内损失后，结合第一模态内损失和第二模态内损失，得到模态内损失。
值得注意的是，以上仅为示意性的举例，本申请实施例对此不加以限定。
步骤240，对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失。
示意性的，除对不同模态内节点之间的关系进行对比分析外，还对节点所对应的不同模态间的关系进行对齐分析，从而充分捕捉模态内以及模态间的动态关系。
可选地，在对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析的过程中，将节点对应的第一模态特征表示和第二模态特征表示进行融合，得到了融合了不同模态特征表示的融合特征，通过融合特征对节点对应的不同模态间的关系进行对齐分析。
针对上述对齐分析的过程，在如下步骤410至步骤440进行详述。
步骤250，基于模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。
其中，目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。
示意性的，模态内损失用于指示针对同一种模态数据对不同节点进行对比分析后的对比结果；模态间损失用于指示针对节点所对应的不同种模态数据进行对齐分析后的对齐结果。
在一个可选的实施例中，以第一预设参数对不同种模态数据对应的模态内损失进行第一调整，以第二预设参数对不同种模态数据对应的模态间损失进行第二调整，将第一调整后的第一调整结果和第二调整后的第二调整结果代入预先确定的损失函数中，得到目标损失值。
示意性的，以目标损失值对对齐模型进行训练；响应于对对齐模型的训练达到训练目标，得到目标对齐模型。
可选地，在采用目标损失值对对齐模型进行训练的过程中，会因为对对齐模型的训练达到训练目标而得到目标对齐模型，示意性的，训练目标至少包括如下一种情况。
1、响应于目标损失值达到收敛状态，将最近一次迭代训练得到的对齐模型作为目标对齐模型。
示意性的，目标损失值达到收敛状态用于指示通过损失函数得到的目标损失值的数值不再变化或者变化幅度小于预设阈值。例如：第n次调整后的目标损失值为0.1，第n+1次调整后的目标损失值也为0.1，可以视为该目标损失值达到收敛状态，将第n次调整后的目标损失值或者第n+1次调整后的目标损失值对应的对齐模型作为目标对齐模型，实现对对齐模型的训练过程。
2、响应于目标损失值的获取次数达到次数阈值，将最近一次迭代训练得到的对齐模型作为目标对齐模型。
示意性的，一次获取可以得到一个目标损失值，预先设定用于训练对齐模型的损失值的获取次数，当一次调整对应一个目标损失值时，目标损失值的获取次数即为对齐次数；或者，当一次调整对应多个目标损失值时，损失的获取次数即为目标损失值的个数。例如：预先设定一次获取可以得到一个目标损失值，目标损失值获取的次数阈值为10次，即当达到获取次数阈值时，将最近一次目标损失值调整的对齐模型作为目标对齐模型，或者将目标损失值10次调整过程中最小的目标损失值调整的对齐模型作为目标对齐模型，实现对对齐模型的训练过程。以上仅为示意性的举例，本申请实施例对此不加以限定。
此外，针对上述损失函数的介绍内容，在如下步骤450至步骤470进行详述。
综上所述，提取节点中第一模态数据对应的第一模态特征表示，以及第二模态数据对应的第二模态特征表示，在不同模态特征内进行对比分析得到模态内损失，在不同模态间进行对齐分析得到模态间损失；基于模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过上述方法，将节点对应的不同模态数据映射至向量空间中，得到不同模态数据对应的不同模态特征表示，在模态内对不同节点对应的模态特征表示进行对比分析，充分捕捉模态内的动态特征，从而获得更具有辨别力，区别度更高的模态特征表示；此外，在不同模态间，对节点对应的模态特征表示进行对齐分析，充分利用模态间的交互关系，提高对对齐模型训练过程中对齐效果，在保持对齐节点之间的语义接近的条件下，最小化同一节点模态间的差异性，从而实现更好的训练效果，得到对齐效果更好的目标对齐模型。
在一个可选的实施例中，在对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析时，是通过第一模态特征表示和第二模态特征表示融合后的融合特征进行分析过程的。示意性的，如图4所示，上述图2所示出的实施例中的步骤240和步骤250还可以实现为如下步骤410至步骤470。
步骤410，将第一模态特征表示和第二模态特征表示进行加权融合后，得到融合特征。
可选地，在得到第一模态特征表示和第二模态特征表示后，根据第一模态特征表示和第二模态特征表示在向量空间中的重要性，对第一模态特征表示和第二模态特征表示进行加权融合，得到融合特征。示意性的，对不同模态特征表示进行融合的过程如下所示。
其中，用于指示融合特征；M用于指示模态数据的种类集合；m用于指示一种模态数据的种类；j用于指示另一种模态数据；wm用于指示模态数据m的可训练注意力参数；wj用于指示模态数据j的可训练注意力参数；/>用于指示第i次过程中模态数据m的模态特征表示。
可选地，在对第一模态特征表示和第二模态特征表示进行加权拼接前，对不同的模态特征表示进行范数归一化处理(L2)，也即：对第一模态特征表示和第二模态特征表示中每个维度数据都除以‖x‖2，以得到对第一模态特征表示和第二模态特征表示进行特征调整后的向量，将调整后的向量进行上述向量拼接过程。其中，x用于指示待进行调整的特征表示，例如：在对第一模态特征表示进行调整时，x为第一模态特征表示；或者，在对第二模态特征表示进行调整时，x为第二模态特征表示等。
上述融合特征，用于与节点对应的第一模态特征表示以及节点对应的第二模态特征表示进行对齐分析，从而得到模态间损失。
步骤420，基于融合特征以及节点对应的第一模态特征表示，确定第一模态间损失。
示意性的，在融合特征中，蕴含了多种不同种模态特征表示之间的关系，故在确定第一模态间损失的过程中，以第一模态特征表示为基准，确定第一模态特征表示与融合特征(如：涵盖第一模态数据和第二模态数据)之间的损失。
在一个可选的实施例中，对融合特征和节点对应的第一模态特征表示进行散度求解，得到融合特征和节点对应的第一模态特征表示之间的第一散度值。
示意性的，采用散度求解公式，对融合特征和节点对应的第一模态特征表示进行散度求解，散度求解公式如下所示。
/>
其中，KL用于指示相对熵散度(Kullback-Leibler)，用于指示融合特征下第一对齐实体对对应的对齐分布；/>用于指示第一模态特征表示(模态数据m的模态特征表示)下第一对齐实体对对应的对齐分布；/>用于指示融合特征下第二对齐实体对对应的对齐分布；/>用于指示第一模态特征表示(模态数据m的模态特征表示)下第二对齐实体对对应的对齐分布。
也即，在通过散度求解公式对融合特征和节点对应的第一模态特征表示进行散度求解时，需要通过第一对齐实体对和第二对齐实体对进行求解过程。
此外，的计算过程如下所示。
其中，m用于指示模态数据(第一模态数据)；i用于指示对齐状态；j用于指示非对齐状态；用于指示融合特征下第一对齐实体对的对齐分布；/>用于指示第一样本知识图谱中的非对齐实体对中实体的集合，/> 用于指示第二样本知识图谱中的非对齐实体对中实体的集合，/>δm用于指示编码函数，编码函数如下所示。
δm(u,v)＝exp(fm(u)Tfm(v)/τ2
其中，fm(·)用于指示模态数据m的编码器；τ2为温度参数；u和v为编码函数对应的自变量，当编码函数应用于上述概率分布函数时，u可以实现为v可以实现为/>以上仅为示意性的举例。也即，第一对齐实体对的对齐分布/>与第一对齐实体对的对齐概率/>的区别在于编码函数中温度参数τ的差异，其中，τ2≠τ1。
可选地，以最小化第一散度值为训练目标，确定第一模态特征表示对应的第一模态间损失。
示意性的，基于上述散度求解公式得到第一散度值后，根据模态间损失计算公式，确定融合特征和节点对应的第一模态特征表示之间的第一模态间损失，该第一模态间损失计算公式如下所示。
其中，用于指示融合特征和节点对应的模态数据m的模态特征表示之间的第一模态间损失；/>用于指示节点集合。
示意性的，模态数据m为第一模态数据，则基于上述模态间损失计算公式，确定模态数据m的模态特征表示对应的第一模态间损失。
步骤430，基于融合特征以及节点对应的第二模态特征表示，确定第二模态间损失。
在一个可选的实施例中，对融合特征和节点对应的第二模态特征表示进行散度求解，得到融合特征和节点对应的第二模态特征表示之间的第二散度值。
示意性的，采用上述散度求解公式，对融合特征和节点对应的第二模态特征表示进行散度求解，散度求解公式如下所示。
其中，KL用于指示相对熵散度(Kullback-Leibler)，用于指示融合特征下第一对齐实体对对应的对齐分布；/>用于指示第二模态特征表示(模态数据n的模态特征表示)下第一对齐实体对对应的对齐分布；/>用于指示融合特征下第二对齐实体对对应的对齐分布；/>用于指示第二模态特征表示(模态数据n的模态特征表示)下第二对齐实体对对应的对齐分布。
也即，在通过散度求解公式对融合特征和节点对应的第二模态特征表示进行散度求解时，需要通过第一对齐实体对和第二对齐实体对进行求解过程。
此外，的计算过程如下所示。
其中，n用于指示模态数据(第二模态数据)；i用于指示对齐状态；j用于指示非对齐状态；用于指示融合特征下第一对齐实体对的对齐分布；/>用于指示第一样本知识图谱中的非对齐实体对中实体的集合，/> 用于指示第二样本知识图谱中的非对齐实体对中实体的集合，/>δn用于指示编码函数，编码函数如下所示。
δn(u,v)＝exp(fn(u)Tfn(v)/τ2
其中，fn(·)用于指示模态数据n的编码器；τ2为温度参数。
可选地，以最小化第二散度值为训练目标，确定第二模态特征表示对应的第二模态间损失。
示意性的，基于上述散度求解公式得到第二散度值后，根据模态间损失计算公式，确定融合特征和节点对应的第二模态特征表示之间的第二模态间损失，该第二模态间损失计算公式如下所示。
其中，用于指示融合特征和节点对应的模态数据n的模态特征表示之间的第二模态间损失。/>
示意性的，模态数据n为第二模态数据，则基于上述模态间损失计算公式，确定模态数据n的模态特征表示对应的第二模态间损失。
步骤440，结合第一模态间损失和第二模态间损失，得到模态间损失。
示意性的，在得到第一模态间损失和第二模态间损失后，将第一模态间损失和第二模态间损失进行求和操作，得到模态间损失。
步骤450，根据模态内损失和模态间损失，确定第一模态特征表示对应的第一目标损失值。
在一个可选的实施例中，确定模态内损失中第一模态特征表示对应的第一模态内损失，以及模态间损失中第一模态特征表示对应的第一模态间损失。
可选地，以第一超参对第一模态内损失进行调整，确定第一对比调整结果；以第二超参对第一模态间损失进行调整，确定第一对齐调整结果。
示意性的，第一超参和第二超参是在损失计算过程中人工调整的可变参数；或者，第一超参和第二超参是根据损失值而自动学习的参数。
示意性的，第一超参和第二超参的目的在于平衡模态内损失以及模态间损失的重要程度。在对多个节点对应的模态内损失以及模态间损失进行调整的过程中，会得到不同节点对应的多个损失值(模态内损失值、模态间损失值)，由于损失值的数量较多，采用手动调整方式对第一超参以及第二超参进行调整，存在耗时的缺点，因此可以采用同方差不确定性的方法，对第一超参以及第二超参进行学习，也即：使得第一超参以及第二超参随模型一同学习。
在一个可选的实施例中，对至少两个第一模态特征表示分别对应的第一对比调整结果进行求和运算后，得到第一对比调整和；对至少两个第一模态特征表示分别对应的第一对齐调整结果进行求和运算后，得到第一对齐调整和；以第一对比调整和与第一对齐调整和确定第一目标损失值。
可选地，基于第一对比调整结果和第一对齐调整结果，确定第一模态特征表示对应的第一目标损失值。示意性的，采用αm表示第一超参；采用βm表示第二超参，以超参(第一超参和第二超参)对第一模态内损失以及第二模态间损失进行调整确定第一目标损失值的过程如下所示。
其中，用于指示第一目标损失值；/>用于指示融合特征对应的模态内损失；用于指示模态数据类型的集合(多种模态数据)；m用于指示模态数据(第一模态数据)；用于指示模态数据m(第一模态特征表示)对应的模态内损失(IAL为模态间对齐损失的缩写，即：Intramodal Alignment Loss)；/>用于指示模态数据m对应的模态间损失。
示意性的，以第一超参和第二超参为根据损失值而自动学习的参数为例进行说明，上述第一目标损失值公式可以变化为如下形式。
/>
步骤460，根据模态内损失和模态间损失，确定第二模态特征表示对应的第二目标损失值。
在一个可选的实施例中，确定模态内损失中第二模态特征表示对应的第二模态内损失，以及模态间损失中第二模态特征表示对应的第二模态间损失。
可选地，以第一超参对第二模态内损失进行调整，确定第二对比调整结果；以第二超参对第二模态间损失进行调整，确定第二对齐调整结果。
对至少两个第二模态特征表示分别对应的第二对比调整结果进行求和运算后，得到第二对比调整和；对至少两个第二模态特征表示分别对应的第二对齐调整结果进行求和运算后，得到第二对齐调整和；以第二对比调整和与第二对齐调整和确定第二目标损失值。
可选地，基于第二对比调整结果和第二对齐调整结果，确定第二模态特征表示对应的第二目标损失值时，可以采用上述第一目标损失值的计算公式，将第一目标损失值对应的模态数据m更改为模态数据n(第二模态数据)，从而得到第二目标损失值，故在此不再赘述。
步骤470，以第一目标损失值和第二目标损失值，对对齐模型进行训练，得到目标对齐模型。
示意性的，在得到第一目标损失值和第二目标损失值后，将第一目标损失值与第二目标损失值之和，作为目标损失值；以目标损失值对对齐模型进行训练；响应于对对齐模型的训练达到训练目标，得到目标对齐模型。
综上所述，在不同模态特征表示内进行对比分析得到模态内损失，在不同模态间进行对齐分析得到模态间损失，以模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过上述方法，有利于充分捕捉模态内的动态特征，从而获得更具有辨别力，区别度更高的模态特征表示，并充分利用模态间的交互关系，从而得到对齐效果更好的目标对齐模型。
在本申请实施例中，对模态间对齐损失以及通过目标损失值对对齐模型进行训练的过程进行介绍。在得到第一模态特征表示以及第二模态特征表示后，将第一模态特征表示和第二模态特征表示进行加权融合，得到融合特征；基于融合特征以及节点对应的第一模态特征表示，确定第一模态间损失；基于融合特征以及节点对应的第二模态特征表示，确定第二模态间损失，以第一模态间损失和第二模态间损失确定模态间损失，根据模态内损失以及模态间损失确定不同模态特征表示对应的目标损失值，以损失值对对齐模型进行训练，直至达到训练效果，得到目标对齐模型。通过上述方法，将涵盖了不同模态特征表示的融合特征与不同种类的模态特征表示进行对齐分析，充分利用不同种模态间的交互关系，最小化同一节点模态间的差异性，从而得到对齐效果更好的目标对齐模型。
在一个可选的实施例中，采用上述对齐模型的训练方法，以节点对应5种模态数据，将不同模态数据映射至一个向量空间中为例进行说明。示意性的，对齐模型的训练方法包括如下三个部分：(一)多模态嵌入表示过程；(二)对比表示学习过程；(三)优化目标过程。
(一)多模态嵌入表示过程
示意性的，将一个多模态知识图谱定义为G＝(E,R,A,V,T)，其中E,R,A,V,T分别表示实体集合、关系集合、属性集合、图片集合以及三元组集合。给定两个样本知识图谱，分别表示为G1＝(E1,R1,A1,V1,T1)，以及G2＝(E2,R2,A2,V2,T2)。
可选地，若上述样本知识图谱G1和样本知识图谱G2为待对齐的知识图谱，则知识图谱对齐(实体对齐)的目标在于以G1为目标知识图谱(也可以G2为目标知识图谱，此处以G1为目标知识图谱进行举例说明)，在G2中为G1中的每个实体e1∈E1找到一个表示相同对象的实体e2∈E2。示意性的，将上述对齐模型的训练方法称为“基于模态内和模态间对比表示学习的多模态实体对齐方法”(MCLEA，Multimodal Contrast Loss Entity alignment)。
多模态知识图谱通常采用多种模态(也可以称为多种视角)描述实体不同维度的信息，而且这些信息呈现为相互补充的关系。示意性的，获取得到的样本知识图谱中包括5种模态数据，分别为实体邻域结构数据、实体关系数据、实体属性数据、实体名称数据以及实体图像数据。可选地，将每一种模态数据采用一个适配的编码器网络进行处理，从而得到每种模态数据对应的嵌入表示。此外，将上述单一模态数据对应的嵌入表示以一种简单的加权机制融合，形成一个联合的实体嵌入表示。
可选地，对上述5种模态数据通过编码器网络进行处理得到嵌入表示的过程包括如下部分。
(1)将实体邻域结构数据映射至向量空间得到邻域结构嵌入表示
邻域结构嵌入表示用于指示实体邻域结构数据的嵌入表示。
可选地，采用图注意网络GAT(Graph Attention Networks)将上述两个样本知识图谱映射至同一个向量空间中进行编码，如图5中邻域结构数据编码层511所示。对于每一个实体ei，通过加权融合该实体ei的实体邻居，对该实体ei的语义特征hi进行表征。示意性的，表征公式如下所示。
其中，hj用于指示实体ej的特征表示；σ代表激活函数(ReLU，LinearREctification function)；用于指示实体ei包括自身的一跳邻居集合，也即与实体ei存在直连关系的实体集合；αij用于指示实体ej对于实体ei的重要程度，采用如下注意力机制算法计算得到。
其中，W用于指示可以学习的权重矩阵；用于指示拼接操作；η用于指示激活函数LeakyReLU；hi用于指示实体ei的特征表示；hj用于指示与实体ei具有直连关系的实体ej的特征表示；hu用于指示与实体ei具有直连关系的实体eu的特征表示，hj以及hu的计算方法如上述表征公式所示。
(2)将实体关系数据、实体属性数据以及实体名称数据映射至向量空间，得到实体
关系嵌入表示、实体属性嵌入表示以及实体名称嵌入表示
实体关系嵌入表示用于指示实体关系数据的嵌入表示；实体属性嵌入表示用于指示实体属性数据的嵌入表示；实体名称嵌入表示用于指示实体名称数据的嵌入表示。
可选地，基于传统GAT网络编码为无标签图，因此该种方式无法在具有多种关系的多模态知识图谱中正确地建模关系信息。示意性的，将实体关系数据视作词袋特征，利用简单的前馈神经网络将实体关系数据映射到低维空间中，以得到实体关系数据对应的实体关系嵌入表示。
可选地，基于模型训练的简单性与一致性，采用与得到实体关系嵌入表示相同的方法，对实体属性数据以及实体名称数据进行映射，得到实体属性数据对应的实体属性嵌入表示，以及实体名称数据对应的实体名称嵌入表示。
示意性的，上述实体关系嵌入表示、实体属性嵌入表示以及实体名称嵌入表示的过程统一表示为如下形式。
其中Wl和bl用于指示可学习的参数；分别指示实体关系数据的词袋特征以及实体关系数据对应的实体关系嵌入表示；/>分别指示实体属性数据的词袋特征以及实体属性数据对应的实体属性嵌入表示；/>分别指示实体名称数据的词向量以及实体名称数据对应的实体名称嵌入表示，/>是通过平均实体名称所包含的词的全局词频统计(GLoVe，Global Vectors for Word Representation)的预训练特征向量得到。可选地，为了避免专有名词(例如：地名)和词向量有限的词汇量带来的超词问题(OOV，Out-Of-Vocabulary)，进一步利用实体名字的二元(bigram)特征作为实体名称嵌入表示的辅助特征。
以上仅为示意性的举例，本申请实施例对此不加以限定。
(3)将实体图像数据映射至向量空间，得到视觉嵌入表示
视觉嵌入表示用于指示实体图像数据的嵌入表示。
可选地，采用预训练的视觉模型作为图像的特征编码器，如图5中图像数据编码层512(Visual encoder)所示。示意性的，对于每一张实体图像(每一个实体图像数据)，将该实体图像输入到预训练的视觉模型中，经过多层卷积以及池化操作，取最后一个全连接层的前一个池化层结果作为实体图像数据的特征向量，然后该特征向量输入到一个前馈神经网络层得到图片最后的特征表示。
其中，vi用于指示实体ei对应的实体图像数据；PVM用于指示处理实体图像数据所采用的预训练视觉模型；Wv,bv用于指示可训练的参数。
(4)联合嵌入表示
可选地，通过简单的加权拼接方法，将实体对应的上述多模态特征表示(邻域结构嵌入表示、实体关系嵌入表示、实体属性嵌入表示、实体名称嵌入表示以及视觉嵌入表示)进行整合，得到一个联合嵌入表示。示意性的，在加权拼接之前，对每一个输入的嵌入表示进行L2归一化处理。
(二)对比表示学习过程
目前的联合嵌入表示是粗粒度的，不同模态数据之间并不存在交互作用。示意性的，采用两种训练策略，对模式内的动态特性和模式间的交互关系进行学习。两种训练策略分别为：(1)模态内对比损失；(2)模态间对齐损失。
(1)模态内对比损失
模态内对比损失ICL的目标是使得每个模态数据的正样本对在嵌入空间中的距离越近，而负样本对在嵌入空间中的距离越远，即保留对齐实体在嵌入空间中相似性，并且能够和非对齐实体有较大的区分度。其中，正样本对用于指示对齐的样本节点；负样本对用于指示未对齐的样本节点。
示意性的，基于样本知识图谱中节点对应的对齐关系，确定符合条件的正样本对以及负样本对。基于实体对齐通常存在一对一映射的假设，故任意两个非对齐的实体对均可以构成负样本进行学习。
示意性的，从样本知识图谱G1的实体集合中，随机获取多个实体作为对于小批量数据也即：小批量数据/>中的实体/>与实体/>存在对齐关系的实体位于样本知识图谱G2中，则正样本集合定义为/>例如：/>用于指示一个正样本对，即：两个对齐的实体。负样本集合包含两种类型，分别为：来自源知识图谱G1的图内非对齐实体对，以及来自目标知识图谱G2的跨图非对齐实体对，分别定义为以及/> 示意性的，/>和/>的实体均来自小批量数据/>上述两种负样本类型能够约束同一知识图谱中语义相似的实体保持在相邻点附近，而且跨知识图谱中对齐的实体映射到相邻点。也即：正样本对/>对于模态m的对齐概率分布/>定义为：
其中，m用于指示模态数据；i用于指示对齐状态；j用于指示非对齐状态；用于指示第二对齐实体对的对齐概率；/>用于指示第一样本知识图谱中的非对齐实体对中实体的集合，/> 用于指示第二样本知识图谱中的非对齐实体对中实体的集合，/>δm用于指示上述的编码函数。
可选地，在计算内积之前对输入特征嵌入表示进行L2归一化处理。此外，基于上述对齐分布是有向的和不对称的，因此，另一个方向的分布也具有类似定义。
模态内对比损失ICL可以定义如下：
其中，用于指示模态数据m(第一模态数据)的模态内损失；i用于指示对齐状态；/>为从若干节点中抽取得到的批量训练数据；/>用于指示第一模态特征表示下第一对齐实体对的第一概率分布情况；/>用于指示第一模态特征表示下第二对齐实体对的第二概率分布情况，也即：/> 用于指示第一模态特征表示下的第一概率分布。
ICL分别作用于每个模态的嵌入表示以及联合嵌入表示。作为一种对比监督范式执行方式，ICL通过学习模态内的空间表示，为嵌入空间中的每个模态获得更有区分度的边界。
(2)模态间对齐损失
由于ICL是针对每个模态的嵌入表示单独训练的，而不同模态之间的表示是不对齐的，仅仅依靠简单的融合很难对模态之间的复杂交互进行建模。为了缓解这一问题，进一步对模态间对齐损失IAL进行介绍，IAL通过减少不同模态下输出分布之间的差距，从而使模型能够建模跨模态关系并获得更有意义的表示。
示意性的，利用不同模态数据对应的嵌入表示以及上述联合嵌入表示，实现模态间对齐过程，其中，基于联合嵌入表示加权拼接融合了多模态特征表示，因此具有更加丰富的表示。可选地，迁移联合嵌入表示的知识至单模态的嵌入表示中，使得单模态嵌入表示能够更好地利用来自其他模态的互补信息。示意性的，IAL采用最小化联合嵌入表示和单模态嵌入表示在输出分布上的双向KL散度作为训练目标：
其中，KL用于指示相对熵散度(Kullback-Leibler)，用于指示融合特征下第一对齐实体对对应的对齐分布；/>用于指示第一模态特征表示(模态数据m的模态特征表示)下第一对齐实体对对应的对齐分布；/>用于指示融合特征下第二对齐实体对对应的对齐分布；/>用于指示第一模态特征表示(模态数据m的模态特征表示)下第二对齐实体对对应的对齐分布；/>用于指示融合特征和节点对应的模态数据m的模态特征表示之间的第一模态间损失；/>用于指示节点集合。
其中，的计算方式同ICL中定义的/>的计算公式相同，但是使用不同的温度参数τ2。在具体训练时只有/>的梯度进行反向传播，而固定/>因此模态m可以将联合嵌入表示的输出作为学习目标，以此来建模模态间的交互关系。
(三)优化目标过程
综上所述，本发明所提出的方法可以通过最小化以下目标损失达到多模态对比表示学习过程：
其中， 用于指示联合嵌入表示的ICL损失；/>分别表示模态m的ICL和IAL损失；αm和βm是超参数，平衡每个损失的重要性。由于损失数量较多，手动调整这些参数非常耗时，因此采用同方差不确定性自动学习每个损失的权重。因此，上述的损失可以重写为：
其中，αm和βm随着模型一起学习，而不是人为设定，因此可以减少超参数设定带来的调参困难。
为了克服训练数据的不足问题，本发明采用双向迭代策略增强训练数据，在训练过程中迭代地添加新的对齐种子。具体而言，如果两个实体在T个时间步均互为最近邻，则添加到训练集中供下一次迭代训练。在推理中，使用实体的联合嵌入表示之间的余弦相似度度量来确定实体的对齐关系。
可选地，上述方法也可以拓展到无监督实体对齐设置，利用实体名字特征或者实体图片特征的相似度挖掘伪对齐种子作为训练数据。
示意性的，如图5所示，上述5种模态数据的处理过程如下所示。
获取样本知识图谱1和样本知识图谱2，样本知识图谱1与样本知识图谱2存在对齐种子，在对不同模态数据进行分析时，截取样本知识图谱1和样本知识图谱2中的部分节点进行分析。
示意性的，在对邻域结构数据进行分析时，将邻域结构数据输入邻域结构数据编码层511中，得到结构化嵌入表示；同理，在对实体属性数据进行分析时，将实体属性数据输入实体属性数据编码层，得到实体属性嵌入表示，将实体关系数据以及实体名称数据输入各自的编码层中，得到实体关系嵌入表示以及实体名称嵌入表示；在对实体图像数据进行分析时，将实体图像数据输入图像数据编码层512，得到视觉嵌入表示。
将5种模态数据分别对应的结构化嵌入表示、实体属性嵌入表示、实体关系嵌入表示、实体名称嵌入表示以及视觉嵌入表示进行拼接，得到融合特征520。在同一模态内，以每一种模态数据对应的模态嵌入表示进行对比分析，得到模态内损失(对比损失，ICL)；在不同模态间，以融合特征520和每一种模态数据对应的模态嵌入表示进行对齐分析，得到模态间损失(对齐损失，IAL)，以模态内损失和模态间损失对对齐模型进行训练。
示意性的，为了验证上述对齐模型的训练方法，选择了三个数据集进行实验，分别为DBP15K的FR-EN(法-英)、JA-EN(日-英)、ZH-EN(中-英)，也即，该数据集中包括15K(即：15000)个欲对齐实体，采用4个不同语言(英文、法文、日语以及中文)进行表示的知识图谱，同时选择共计10个基线对比模型来进行对比，其实验结果如下表1所示。
表1
从表1可知，无论是有监督场景(第二行所示)还是无监督场景(第三行所示)下，上述方法都要优于对比的基线，并且在所有数据集上H@1指标都达到了95％以上。MCLEA无监督版本的性能甚至和有监督版本的性能相当，说明了MCLEA具有很好的泛化性能。相比较于同类型的多模态对齐方法EVA，MCLEA在三个数据集上的H@1指标分别提升了27.7％，29.4％，25.7％，说明了提出的多模态对比表示学习方法不仅能够有效地学习实体模态的信息，而且能够显著提升对齐的效果。其中，Hits@1以及Hits@10为采用链接分析算法(Hit，Hypertext-Induced Topic Search)得到的推荐系统排序指标。
可选地，为了进一步验证MCLEA能够学习区分度较高的实体表示，可视化MCLEA在ZH-EN数据集上去掉ICL/IAL(-)以及添加ICL/IAL(+)时预测的top-10个实体相似度分布。在每一种模态中，尤其是邻域结构和实体名称，在添加ICL/IAL损失时，不仅能够保持top-1相似度很高，增大了top-10相似度的方差，说明了上述方法的学习策略能够在联合表征中实现区分度更高的实体学习，提升模型的泛化性能。
综上所述，提取节点中第一模态数据对应的第一模态特征表示，以及节点中第二模态数据对应的第二模态特征表示，在不同模态特征内进行对比分析得到模态内损失，在不同模态间进行对齐分析得到模态间损失；基于模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过上述方法，将节点对应的不同模态数据映射至统一的向量空间中，得到不同模态数据对应的不同模态特征表示，在模态内对不同节点对应的模态特征表示进行对比分析，充分捕捉模态内的动态特征，从而获得更具有辨别力，区别度更高的模态特征表示；此外，在不同模态间，对不同节点对应的模态特征表示进行对齐分析，充分利用模态间的交互关系，提高对对齐模型训练过程中对齐效果，在保持对齐节点之间的语义接近的条件下，最小化同一节点模态间的差异性，从而实现更好的训练效果，得到对齐效果更好的目标对齐模型。
图6是本申请一个示例性实施例提供的对齐模型的训练装置的结构框图，如图6所示，该装置包括如下部分：
获取模块610，用于获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；
映射模块620，用于通过对齐模型将所述至少两个样本知识图谱中的节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；
对比模块630，用于对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；
对齐模块640，用于对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；
训练模块650，用于基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。
在一个可选的实施例中，所述至少两个样本知识图谱标注有对齐关系；
所述对比模块630还用于基于所述至少两个样本知识图谱对应的对齐关系，确定具有所述对齐关系的对齐实体对；确定所述对齐实体对在所述第一模态特征表示下的第一概率分布，以及所述对齐实体对在所述第二模态特征表示下的第二概率分布，所述第一概率分布用于指示在所述第一模态特征表示下所述对齐实体对的对齐概率，所述第二概率分布用于指示在所述第二模态特征表示下所述对齐实体对的对齐概率；基于所述第一概率分布确定所述第一模态特征表示对应的第一模态内损失，以及基于所述第二概率分布确定所述第二模态特征表示对应的第二模态内损失；结合所述第一模态内损失和所述第二模态内损失，得到所述模态内损失。
在一个可选的实施例中，所述至少两个样本知识图谱中包括分布于不同样本知识图谱的第一实体节点和第二实体节点，所述对齐实体对中包括所述第一实体节点向所述第二实体节点对齐的第一对齐实体对，以及包括所述第二实体节点向所述第一实体节点对齐的第二对齐实体对；
所述对比模块630还用于确定所述第一对齐实体对在所述第一模态特征表示下的第一概率分布情况；确定所述第二对齐实体对在所述第一模态特征表示下的第二概率分布情况；结合所述第一概率分布情况和所述第二概率分布情况，得到所述第一概率分布。
在一个可选的实施例中，所述对比模块630还用于对所述第一概率分布情况和所述第二概率分布情况之和进行对数运算，确定所述第一模态特征表示对应的第一模态内损失。
如图7所示，在一个可选的实施例中，所述对齐模块640包括：
融合单元641，将所述第一模态特征表示和所述第二模态特征表示进行加权融合后，得到融合特征；
分析单元642，对所述融合特征、所述节点对应的第一模态特征表示以及所述节点对应的第二模态特征表示进行对齐分析，得到模态间损失。
在一个可选的实施例中，所述分析单元642还用于基于所述融合特征以及所述节点对应的第一模态特征表示，确定第一模态间损失；基于所述融合特征以及所述节点对应的第二模态特征表示，确定第二模态间损失；结合所述第一模态间损失和所述第二模态间损失，得到所述模态间损失。
在一个可选的实施例中，所述分析单元642还用于对所述融合特征和所述节点对应的第一模态特征表示进行散度求解，得到所述融合特征和所述节点对应的第一模态特征表示之间的第一散度值；以最小化所述第一散度值为训练目标，确定所述第一模态特征表示对应的第一模态间损失。
在一个可选的实施例中，所述分析单元642还用于对所述融合特征和所述节点对应的第二模态特征表示进行散度求解，得到所述融合特征和所述节点对应的第二模态特征表示之间的第二散度值；以最小化所述第二散度值为训练目标，确定所述第二模态特征表示对应的第二模态间损失。
在一个可选的实施例中，所述训练模块650还用于根据所述模态内损失和所述模态间损失，确定所述第一模态特征表示对应的第一目标损失值；根据所述模态内损失和所述模态间损失，确定所述第二模态特征表示对应的第二目标损失值；以所述第一目标损失值和所述第二目标损失值，对所述对齐模型进行训练，得到目标对齐模型。
在一个可选的实施例中，所述训练模块650还用于确定所述模态内损失中所述第一模态特征表示对应的第一模态内损失，以及所述模态间损失中所述第一模态特征表示对应的第一模态间损失；以第一超参对所述第一模态内损失进行调整，确定第一对比调整结果；以第二超参对所述第一模态间损失进行调整，确定第一对齐调整结果；基于所述第一对比调整结果和所述第一对齐调整结果，确定所述第一模态特征表示对应的第一目标损失值。
在一个可选的实施例中，所述训练模块650还用于对至少两个所述第一模态特征表示分别对应的第一对比调整结果进行求和运算后，得到第一对比调整和；对至少两个所述第一模态特征表示分别对应的第一对齐调整结果进行求和运算后，得到第一对齐调整和；以所述第一对比调整和与所述第一对齐调整和确定所述第一目标损失值。
在一个可选的实施例中，所述训练模块650还用于将所述第一目标损失值与所述第二目标损失值之和，作为目标损失值；以所述目标损失值对所述对齐模型进行训练；响应于对所述对齐模型的训练达到训练目标，得到目标对齐模型。
综上所述，提取节点中第一模态数据对应的第一模态特征表示，以及节点中第二模态数据对应的第二模态特征表示，在不同模态特征内进行对比分析得到模态内损失，在不同模态间进行对齐分析得到模态间损失；基于模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过上述装置，将节点对应的不同模态数据映射至统一的向量空间中，得到不同模态数据对应的不同模态特征表示，在模态内对不同节点对应的模态特征表示进行对比分析，充分捕捉模态内的动态特征，从而获得更具有辨别力，区别度更高的模态特征表示；此外，在不同模态间，对不同节点对应的模态特征表示进行对齐分析，充分利用模态间的交互关系，提高对对齐模型训练过程中对齐效果，在保持对齐节点之间的语义接近的条件下，最小化同一节点模态间的差异性，从而实现更好的训练效果，得到对齐效果更好的目标对齐模型。
需要说明的是：上述实施例提供的对齐模型的训练装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的对齐模型的训练装置与对齐模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(RandomAccess Memory，RAM)802和只读存储器(Read Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备806。
大容量存储设备806通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备806及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备806可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备806可以统称为存储器。
根据本申请的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
本申请的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的对齐模型的训练方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的对齐模型的训练方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的对齐模型的训练方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种对齐模型的训练方法，其特征在于，所述方法包括：
获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；
通过对齐模型将所述至少两个样本知识图谱中的节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；
对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；
对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；
基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。
2.根据权利要求1所述的方法，其特征在于，所述至少两个样本知识图谱标注有对齐关系；
所述对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失，包括：
基于所述至少两个样本知识图谱对应的对齐关系，确定具有所述对齐关系的对齐实体对；
确定所述对齐实体对在所述第一模态特征表示下的第一概率分布，以及所述对齐实体对在所述第二模态特征表示下的第二概率分布，所述第一概率分布用于指示在所述第一模态特征表示下所述对齐实体对的对齐概率，所述第二概率分布用于指示在所述第二模态特征表示下所述对齐实体对的对齐概率；
基于所述第一概率分布确定所述第一模态特征表示对应的第一模态内损失，以及基于所述第二概率分布确定所述第二模态特征表示对应的第二模态内损失；
结合所述第一模态内损失和所述第二模态内损失，得到所述模态内损失。
3.根据权利要求2所述的方法，其特征在于，所述至少两个样本知识图谱中包括分布于不同样本知识图谱的第一实体节点和第二实体节点，所述对齐实体对中包括所述第一实体节点向所述第二实体节点对齐的第一对齐实体对，以及包括所述第二实体节点向所述第一实体节点对齐的第二对齐实体对；
所述确定所述对齐实体对在所述第一模态特征表示下的第一概率分布，包括：
确定所述第一对齐实体对在所述第一模态特征表示下的第一概率分布情况；
确定所述第二对齐实体对在所述第一模态特征表示下的第二概率分布情况；
结合所述第一概率分布情况和所述第二概率分布情况，得到所述第一概率分布。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一概率分布确定所述第一模态特征表示对应的第一模态内损失，包括：
对所述第一概率分布情况和所述第二概率分布情况之和进行对数运算，确定所述第一模态特征表示对应的第一模态内损失。
5.根据权利要求1至4任一所述的方法，其特征在于，所述对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失，包括：
将所述第一模态特征表示和所述第二模态特征表示进行加权融合后，得到融合特征；
对所述融合特征、所述节点对应的第一模态特征表示以及所述节点对应的第二模态特征表示进行对齐分析，得到模态间损失。
6.根据权利要求5所述的方法，其特征在于，所述对所述融合特征、所述节点对应的第一模态特征表示以及所述节点对应的第二模态特征表示进行对齐分析，得到模态间损失，包括：
基于所述融合特征以及所述节点对应的第一模态特征表示，确定第一模态间损失；
基于所述融合特征以及所述节点对应的第二模态特征表示，确定第二模态间损失；
结合所述第一模态间损失和所述第二模态间损失，得到所述模态间损失。
7.根据权利要求6所述的方法，其特征在于，所述基于所述融合特征以及所述节点对应的第一模态特征表示，确定第一模态间损失，包括：
对所述融合特征和所述节点对应的第一模态特征表示进行散度求解，得到所述融合特征和所述节点对应的第一模态特征表示之间的第一散度值；以最小化所述第一散度值为训练目标，确定所述第一模态特征表示对应的第一模态间损失；
所述结合所述融合特征以及所述节点对应的第二模态特征表示，确定第二模态间损失，包括：
对所述融合特征和所述节点对应的第二模态特征表示进行散度求解，得到所述融合特征和所述节点对应的第二模态特征表示之间的第二散度值；以最小化所述第二散度值为训练目标，确定所述第二模态特征表示对应的第二模态间损失。
8.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，包括：
根据所述模态内损失和所述模态间损失，确定所述第一模态特征表示对应的第一目标损失值；
根据所述模态内损失和所述模态间损失，确定所述第二模态特征表示对应的第二目标损失值；
以所述第一目标损失值和所述第二目标损失值，对所述对齐模型进行训练，得到目标对齐模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述模态内损失和所述模态间损失，确定所述第一模态特征表示对应的第一目标损失值，包括：
确定所述模态内损失中所述第一模态特征表示对应的第一模态内损失，以及所述模态间损失中所述第一模态特征表示对应的第一模态间损失；
以第一超参对所述第一模态内损失进行调整，确定第一对比调整结果；
以第二超参对所述第一模态间损失进行调整，确定第一对齐调整结果；
基于所述第一对比调整结果和所述第一对齐调整结果，确定所述第一模态特征表示对应的第一目标损失值。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一对比调整结果和所述第一对齐调整结果，确定所述第一模态特征表示对应的第一目标损失值，包括：
对至少两个所述第一模态特征表示分别对应的第一对比调整结果进行求和运算后，得到第一对比调整和；
对至少两个所述第一模态特征表示分别对应的第一对齐调整结果进行求和运算后，得到第一对齐调整和；
以所述第一对比调整和与所述第一对齐调整和确定所述第一目标损失值。
11.根据权利要求8所述的方法，其特征在于，所述以所述第一目标损失值和所述第二目标损失值，对所述对齐模型进行训练，得到目标对齐模型，包括：
将所述第一目标损失值与所述第二目标损失值之和，作为目标损失值；
以所述目标损失值对所述对齐模型进行训练；
响应于对所述对齐模型的训练达到训练目标，得到目标对齐模型。
12.一种对齐模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；
映射模块，用于通过对齐模型将所述至少两个样本知识图谱中的节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；
对比模块，用于对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；
对齐模块，用于对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；
训练模块，用于基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的对齐模型的训练方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的对齐模型的训练方法。
15.一种计算机程序产品，其特征在于，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至11任一所述的对齐模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210208340.8A CN116756554A (zh) | 2022-03-04 | 2022-03-04 | 对齐模型的训练方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210208340.8A CN116756554A (zh) | 2022-03-04 | 2022-03-04 | 对齐模型的训练方法、装置、设备、介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116756554A true CN116756554A (zh) | 2023-09-15 |
Family
ID=87957702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210208340.8A Pending CN116756554A (zh) | 2022-03-04 | 2022-03-04 | 对齐模型的训练方法、装置、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756554A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592481A (zh) * | 2023-10-27 | 2024-02-23 | 辽宁省网联数字科技产业有限公司 | 基于人工智能的主体云库处理方法及系统 |
-
2022
- 2022-03-04 CN CN202210208340.8A patent/CN116756554A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592481A (zh) * | 2023-10-27 | 2024-02-23 | 辽宁省网联数字科技产业有限公司 | 基于人工智能的主体云库处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11093560B2 (en) | Stacked cross-modal matching | |
| CN112966127B (zh) | 一种基于多层语义对齐的跨模态检索方法 | |
| Hassan et al. | The effect of choosing optimizer algorithms to improve computer vision tasks: a comparative study | |
| CN111782838B (zh) | 图像问答方法、装置、计算机设备和介质 | |
| US20210019665A1 (en) | Machine Learning Model Repository Management and Search Engine | |
| CN104160390A (zh) | 来自潜在关系数据的实体扩充服务 | |
| WO2023029506A1 (zh) | 病情分析方法、装置、电子设备及存储介质 | |
| WO2020016736A1 (en) | Knockout autoencoder for detecting anomalies in biomedical images | |
| Xu et al. | Instance-level coupled subspace learning for fine-grained sketch-based image retrieval | |
| Norris | Machine Learning with the Raspberry Pi | |
| CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
| CN116601626A (zh) | 个人知识图谱构建方法、装置及相关设备 | |
| CN110851609A (zh) | 表示学习方法及装置 | |
| Yao | Design and simulation of integrated education information teaching system based on fuzzy logic | |
| CN116756554A (zh) | 对齐模型的训练方法、装置、设备、介质及程序产品 | |
| Park et al. | Floor plan recommendation system using graph neural network with spatial relationship dataset | |
| CN114328943A (zh) | 基于知识图谱的问题回答方法、装置、设备及存储介质 | |
| WO2023197910A1 (zh) | 一种用户行为预测方法及其相关设备 | |
| CN117349437A (zh) | 基于智能ai的政府信息管理系统及其方法 | |
| US20230153335A1 (en) | Searchable data structure for electronic documents | |
| CN116431827A (zh) | 信息处理方法、装置、存储介质及计算机设备 | |
| CN115631008B (zh) | 商品推荐方法、装置、设备及介质 | |
| CN115346084A (zh) | 样本处理方法、装置、电子设备、存储介质及程序产品 | |
| CN112417260B (zh) | 本地化推荐方法、装置及存储介质 | |
| Yu et al. | Redundant same sequence point cloud registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |