CN117271803B - 知识图谱补全模型的训练方法、装置、设备及存储介质 - Google Patents
知识图谱补全模型的训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117271803B CN117271803B CN202311543548.6A CN202311543548A CN117271803B CN 117271803 B CN117271803 B CN 117271803B CN 202311543548 A CN202311543548 A CN 202311543548A CN 117271803 B CN117271803 B CN 117271803B
- Authority
- CN
- China
- Prior art keywords
- initial
- data
- entity
- modal
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 262
- 238000004364 calculation method Methods 0.000 claims description 121
- 230000006870 function Effects 0.000 claims description 105
- 238000012360 testing method Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000009499 grossing Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008094 contradictory effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种知识图谱补全模型的训练方法、装置、设备及存储介质，包括：获取每个三元组数据的头实体及尾实体，得到第一实体集合；将每个头实体和尾实体作为第一初始尾实体，获取各类模态对应的第一模态特征向量；将第一初始尾实体包括的至少一类模态中的任一分别作为目标类模态，根据其对应的第一模态特征向量与预设的第一输入数据输入至初始知识图谱补全模型，进而确定目标类模态对应的初始损失函数；对每类模态对应的初始损失函数进行加和处理，得到损失函数，确定其收敛至损失阈值得到知识图谱补全模型。本公开通过对不同模态进行单独训练得到对应的初始损失函数，减小了不同模态间的相互干扰，提高了知识图谱补全的准确率。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及一种知识图谱补全模型的训练方法、装置、设备及存储介质。
背景技术
知识图谱用于结构化地存储知识，为问答系统、信息检索、机器理解等应用提供了坚实的数据支持。在知识图谱中，知识通常表示为三元组。
对于知识图谱缺失需要进行补全时，现有的方法直接将不同模态的信息相互融合为一个表示向量，而不同模态的信息具有不确定性和不完全性的特点，导致模型效果受模态之间的矛盾信息的彼此干扰影响。
有鉴于此，如何减小不同模态间的相互干扰，提高知识图谱补全的准确率，成为了一个重要的研究问题。
发明内容
有鉴于此，本公开的目的在于提出一种知识图谱补全模型的训练方法、装置、设备及存储介质，用以解决或部分解决上述问题。
基于上述目的，本公开的第一方面提供了一种知识图谱补全模型的训练方法，所述方法包括：
获取三元组数据及多模态数据，根据所述三元组数据及所述多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集中包含训练数据集，所述三元组数据包含头实体及尾实体，所述头实体及尾实体均为数据流中具有可区别性且独立存在的某种数据；
获取所述训练数据集中每个三元组数据的头实体及尾实体，得到第一实体集合；
将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，针对每个第一初始尾实体，获取所述第一初始尾实体中各类模态对应的第一模态特征向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态；
将所述第一初始尾实体包括的至少一类模态中的任一模态分别作为目标类模态，获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，基于所述第一计算结果确定所述目标类模态对应的初始损失函数；
对所述每类模态对应的初始损失函数进行加和处理，得到损失函数，确定所述损失函数收敛至预设损失阈值，得到知识图谱补全模型。
可选地，在获取所述第一初始尾实体中每类模态对应的第一模态特征向量之前，还包括：
对所述训练数据集中的初始数据进行清洗处理，其中所述训练数据集中的数据包含文本类模态数据及图像类模态数据；
对清洗后的数据进行编码处理，得到特征向量。
可选地，所述模态包括文本类模态及结构类模态，
所述获取所述第一初始尾实体中每类模态对应的第一模态特征向量，包括：
针对文本类模态，
获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据；
将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量；
针对结构类模态，
基于预设维度对所述第一初始尾实体进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
可选地，所述模态还包括图像类模态，
所述获取所述第一初始尾实体中每类模态对应的第一模态特征向量，包括：
获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据；
确定每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算每个所述初始图像类模态特征向量的第一图像权重值；
对所述初始图像类模态特征向量利用所述第一图像权重值进行加权处理，得到所述第一初始尾实体对应的第一图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
可选地，所述三元组数据还包括初始关系向量，针对每类模态，
所述获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，包括：
针对训练数据集中的每个三元组数据，
获取所述预设的第一输入数据，其中所述第一输入数据包括所述三元组数据的头实体及关系向量；
获取所述三元组数据的头实体，并确定所述头实体对应的第二模态特征向量；
获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量；
对所述所述目标类模态对应的第一模态特征向量、关系向量及第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。
可选地，所述基于所述第一计算结果确定所述目标类模态对应的初始损失函数，包括：
对所述第一计算结果进行归一化处理，得到第一概率，其中所述第一概率利用公式表示为：
其中，为模态，所述模态为文本类模态、图像类模态或结构类模态，为模态下第i个第一初始尾实体作为目标尾实体的第一概率值，为模态下第i个第一初始尾实体的第一计算结果，为模态下第j个第一初始尾实体的第一计算结果，N为第一实体集合中头实体与尾实体的数量之和；
基于所述第一概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
其中，为初始损失函数，为所述训练数据集中三元组数据的数量。
可选地，所述模态为文本类模态或图像类模态时，
所述基于所述第一概率值确定初始损失函数，包括：
对所述第一概率进行平滑处理，得到第二概率值，其中所述第二概率利用公式表示为：
其中，为模态m下第i个第一初始尾实体作为目标尾实体的第二概率值，为平滑系数；
基于所述第二概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
可选地，所述多模态知识图谱数据集中包含验证数据集及测试数据集，
还包括：
基于所述验证数据集中的数据及所述知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值；
获取所述测试数据集中每个三元组数据的头实体及尾实体，得到第二实体集合；
将所述第二实体集合中的每个头实体和尾实体作为第二初始尾实体；
针对测试数据集中的每个三元组数据，
获取所述预设的第二输入数据，其中所述第二输入数据包括所述三元组数据的头实体及关系向量；
基于所述第二初始尾实体及所述第二输入数据计算得到所述第二初始尾实体中包含的每个模态对应的初始第二计算结果；
将所述每个模态对应的初始第二计算结果利用所述模态权重值进行加权计算，得到第二计算结果；
对所述第二计算结果进行归一化处理，基于所述归一化后的第二计算结果确定目标尾实体；
将所述目标尾实体与所述三元组数据中的尾实体进行比较，输出比较结果，其中所述比较结果用于表示所述目标尾实体与所述三元组数据中的尾实体是否相同。
基于同一发明构思，本公开的第二方面提出了一种知识图谱补全模型的训练装置，包括：
数据集构建模块，被配置为获取三元组数据及多模态数据，根据所述三元组数据及所述多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集中包含训练数据集，所述三元组数据包含头实体及尾实体，所述头实体及尾实体均为数据流中具有可区别性且独立存在的数据；
集合组成模块，被配置为获取所述训练数据集中每个三元组数据的头实体及尾实体，得到第一实体集合；
模态特征向量获取模块，被配置为将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，针对每个第一初始尾实体，获取所述第一初始尾实体中各类模态对应的第一模态特征向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态；
模型训练模块，被配置为将所述第一初始尾实体包括的至少一类模态中的任一模态分别作为目标类模态，获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，基于所述第一计算结果确定所述目标类模态对应的初始损失函数；
损失函数确定模块，被配置为对所述每类模态对应的初始损失函数进行加和处理，得到损失函数，确定所述损失函数收敛至预设损失阈值，得到知识图谱补全模型。
可选地，所述装置还包括向量生成模块，所述向量生成模块具体包括：
数据清洗单元，被配置为对所述训练数据集中的初始数据进行清洗处理，其中所述训练数据集中的数据包含文本类模态数据及图像类模态数据；
编码处理单元，被配置为对清洗后的数据进行编码处理，得到特征向量。
可选地，所述模态包括文本类模态及结构类模态，所述模态特征向量获取模块具体包括：
数据获取单元，被配置为获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据；
文本类模态特征向量确定单元，被配置为将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量；
结构类模态向量确定单元，被配置为基于预设维度对所述第一初始尾实体进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
可选地，所述模态还包括图像类模态，所述模态特征向量获取模块具体包括：
图像数据获取单元，被配置为获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据；
图像类模态权重值确定单元，被配置为每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算每个所述初始图像类模态特征向量的第一图像权重值；
图像类模态特征向量确定单元，被配置为对所述初始图像类模态特征向量利用所述第一图像权重值进行加权处理，得到所述第一初始尾实体对应的第一图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
可选地，所述三元组数据还包括初始关系向量，针对每类模态，所述模型训练模块具体包括：
第一输入数据获取单元，被配置为针对训练数据集中的每个三元组数据，获取所述预设的第一输入数据，其中所述第一输入数据包括所述三元组数据的头实体及关系向量；
头实体获取单元，被配置为获取所述三元组数据的头实体，并确定所述头实体对应的第二模态特征向量；
初始关系向量获取单元，被配置为获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量；
第一计算单元，被配置为对所述目标类模态对应的第一模态特征向量、关系向量及第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。
可选地，所述模型训练模块具体还包括：
第一概率计算单元，被配置为对所述第一计算结果进行归一化处理，得到第一概率，其中所述第一概率利用公式表示为：
；
其中，为模态，所述模态为文本类模态、图像类模态或结构类模态，为模态下第i个第一初始尾实体作为目标尾实体的第一概率值，为模态下第i个第一初始尾实体的第一计算结果，为模态下第j个第一初始尾实体的第一计算结果，N为第一实体集合中头实体与尾实体的数量之和；
初始损失函数确定单元，被配置为基于所述第一概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
；
其中，为初始损失函数，为所述训练数据集中三元组数据的数量。
可选地，所述模态为文本类模态或图像类模态时，所述初始损失函数确定单元具体包括：
第二概率值计算子单元，被配置为对所述第一概率进行平滑处理，得到第二概率值，其中所述第二概率利用公式表示为：
；
其中，为模态m下第i个第一初始尾实体作为目标尾实体的第二概率值，为平滑系数；
初始损失函数确定子单元，被配置为基于所述第二概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
可选地，所述多模态知识图谱数据集中包含验证数据集及测试数据集，所述装置还包括模型测试模块，所述模型测试模块具体被配置为：
基于所述验证数据集中的数据及所述知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值；
获取所述测试数据集中每个三元组数据的头实体及尾实体，得到第二实体集合；
将所述第二实体集合中的每个头实体和尾实体作为第二初始尾实体；
针对测试数据集中的每个三元组数据，
获取所述预设的第二输入数据，其中所述第二输入数据包括所述三元组数据的头实体及关系向量；
基于所述第二初始尾实体及所述第二输入数据计算得到所述第二初始尾实体中包含的每个模态对应的初始第二计算结果；
将所述每个模态对应的初始第二计算结果利用所述模态权重值进行加权计算，得到第二计算结果；
对所述第二计算结果进行归一化处理，基于所述归一化后的第二计算结果确定目标尾实体；
将所述目标尾实体与所述三元组数据中的尾实体进行比较，输出比较结果，其中所述比较结果用于表示所述目标尾实体与所述三元组数据中的尾实体是否相同。
基于同一发明构思，本公开的第三方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的知识图谱补全模型的训练方法。
基于同一发明构思，本公开的第四方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的知识图谱补全模型的训练方法。
从上述可以看出，本公开提出了一种知识图谱补全模型的训练方法、装置、设备及存储介质，通过获取到的三元组数据及多模态数据构建多模态知识图谱数据集，统计所述三元组数据中的头实体及尾实体得到第一实体集合。获取预设的第一输入数据，将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，将所述第一初始尾实体包括的至少一类模态中的任一分别作为目标类模态将所述目标类模态对应的第一模态特征向量及第一输入数据输入至初始知识图谱补全模型中进行训练，得到第一计算结果，并基于所述第一计算结果确定所述目标类模态对应的初始损失函数。通过对不同模态进行单独训练得到对应的初始损失函数，避免了不同模态之间的矛盾信息的相互干扰。对每类模态对应的初始损失函数进行加和处理，得到损失函数，当所述损失函数收敛至预设损失阈值时，对于初始知识图谱补全模型的训练过程完成，得到知识图谱补全模型，采用模态分离的方式训练模型，减小了不同模态间的相互干扰，提高了知识图谱补全的准确率。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的知识图谱补全模型的训练方法的流程图；
图2为本公开实施例的知识图谱补全模型的训练装置的结构框图；
图3为本公开实施例的电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本公开涉及的名词解释如下：
XML文件：可扩展标记语言（EXtensible Markup Language，XML），标准通用标记语言的子集，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。
json文件：JSON（JavaScriptObject Notation, JS对象简谱）是一种轻量级的数据交换格式。它基于ECMAScript（European Computer Manufacturers Association, 欧洲计算机协会制定的js规范）的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。
txt文件：txt是微软在操作系统上附带的一种文本格式，是最常见的一种文件格式。
jpg文件：JPEG（Joint Photographic Experts Group）是JPEG标准的产物，该标准由国际标准化组织（ISO）制订，是面向连续色调静止图像的一种压缩标准。JPEG格式是最常用的图像文件格式，后缀名为.jpg或.jpeg。
bmp文件：位图图像（Bitmap，bmp），是Windows操作系统中的标准图像文件格式，能够被多种Windows应用程序所支持。
BERT模型：双向编码表示模型（Bidirectional Encoder Representation fromTransformers），是一个预训练的语言表征模型。
ViT模型：ViT(Vision Transformer)是2020年Google团队提出的将Transformer应用在图像分类的模型。
temperature-scaling technique：温度系数限制技术。
AdamW：BERT中的优化器AdamW（AdamWeightDecayOptimizer）。
RankBoost算法：RankBoost是一个在某些训练数据上自动的学习排序规则的有效算法。
基于上述描述，本实施例提出了一种知识图谱补全模型的训练方法，如图1所示，所述方法包括：
步骤101，获取三元组数据及多模态数据，根据所述三元组数据及所述多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集中包含训练数据集，所述三元组数据包含头实体及尾实体，所述头实体及尾实体均为数据流中具有可区别性且独立存在的数据。
具体实施时，知识图谱可以是一种揭示实体之间关系的语义网络，知识图谱中，知识通常表示为三元组形式进行表示，所述三元组可以由节点和节点之间的关联关系(即边)构成，通常使用实体来表达知识图谱中的节点，使用关系向量来表达知识图谱中的边，三元组包含头实体、关系向量及尾实体。其中，实体可以是实际存在的事物，具体如，某个人、某个动物、某组织、某地理区域或某种概念(如虚拟事物等)。关系向量(即知识图谱中的边)可以是用于表达不同实体之间的某种联系或关联。所述头实体及尾实体为数据流中具有可区别性且独立存在的数据，所述实体包括下列至少之一：人物、事物、动物、地理区域或概念。
例如，三元组(h，r，t)表示头实体h和尾实体t之间存在关系向量r。
示例性地，两个实体用户A和用户B，用户A与用户B是朋友关系，朋友关系即为关系向量。另一示例，两个实体组织A和组织B，组织A和组织B是合作关系，合作关系即为关系向量。
多模态中模态是指事物发生或存在的方式，多模态是指两个或者两个以上模态各种形式的组合。进一步解释模态和多模态的话，模态是指某种类型的信息，或者是该信息的表示；当一个研究或者数据集中包含多个模态时，它是具有多模态属性的研究或者数据集。人们听到的声音、看到的实物、闻到的味道都是一种模态，人们生活在一个多种模态相互交融的环境中。示例性地，本申请实施例中，模态可以包括图像、文本或结构。
获取三元组数据及多模态数据，根据获取到的三元组数据及多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集被划分为训练数据集、验证数据集及测试数据集。将所述三元组数据及多模态数据存储到非易失性的硬件设备上，可以采取数据库、XML文件、json文件或者普通txt文件、jpg文件、bmp文件等存储方式。
步骤102，获取所述训练数据集中每个三元组数据的头实体及尾实体，得到第一实体集合。
具体实施时，获取多模态知识图谱数据集中的训练数据集中，每个三元组数据的头实体及尾实体，将获取到的全部头实体与全部尾实体进行汇总，得到第一实体集合。
步骤103，将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，针对每个第一初始尾实体，获取所述第一初始尾实体中各类模态对应的第一模态特征向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态。
具体实施时，第一实体集合中包含有头实体及尾实体，将所述第一实体集合中的每个头实体和尾实体均可作为第一初始尾实体，对于每个第一初始尾实体，确定所述第一初始尾实体包含的模态，获取所述第一初始尾实体中各类模态对应的第一模态向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态。
步骤104，将所述第一初始尾实体包括的至少一类模态中的任一分别作为目标类模态，获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，基于所述第一计算结果确定所述目标类模态对应的初始损失函数。
具体实施时，将所述训练数据集中的三元组数据中的尾实体去除，将包含头实体及关系向量，不包含尾实体的每个三元组作为第一输入数据。对于每类模态中的每个数据，将所述第一初始尾实体包括的至少一类模态中的任一分别作为目标类模态，将所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果。统计所述目标类模态对应的全部数据的全部第一计算结果，基于所述全部计算结果确定所述目标类模态对应的初始损失函数。
步骤105，对所述每类模态对应的初始损失函数进行加和处理，得到损失函数，确定所述损失函数收敛，得到知识图谱补全模型。
具体实施时，分别获取每类模态对应的初始损失函数，对所述初始损失函数进行加和，得到损失函数。迭代优化模型，直至所述损失函数收敛，将所述损失函数收敛时对应的模型参数作为最终的模型参数，得到知识图谱补全模型。
在得到训练完成的知识图谱补全模型后，实际使用时，将需要进行补全的三元组及获取到的初始尾实体数据输入至所述知识图谱补全模型，经由所述知识图谱补全模型处理，输出目标尾实体，进而得到补全后的三元组。
通过上述方案，通过获取到的三元组数据及多模态数据构建多模态知识图谱数据集，统计所述三元组数据中的头实体及尾实体得到第一实体集合。获取预设的第一输入数据，对于每类模态，将所述每类模态作为目标类模态，将所述目标类模态对应的第一模态特征向量及第一输入数据输入至初始知识图谱补全模型中进行训练，得到第一计算结果，并基于所述第一计算结果确定所述目标类模态对应的初始损失函数。通过对不同模态进行单独训练得到对应的初始损失函数，避免了不同模态之间的矛盾信息的相互干扰。对每类模态对应的初始损失函数进行加和处理，得到损失函数，当所述损失函数收敛时，对于初始知识图谱补全模型的训练过程完成，得到知识图谱补全模型，采用模态分离的方式训练模型，减小了不同模态间的相互干扰，提高了知识图谱补全的准确率。
在一些实施例中，在步骤103中获取所述第一初始尾实体中每类模态对应的模态特征向量之前，所述方法还包括：
步骤10A，对所述训练数据集中的初始数据进行清洗处理，其中所述训练数据集中的数据包含文本类模态数据及图像类模态数据。
具体实施时，对所述训练数据集中的数据进行预处理，进行去噪及空白图片删除等数据清洗操作。
文本类模态的数据可能包含一些特殊符号及停用词，停用词为预设的禁止使用的词语。特殊符号及停用词会对后续训练造成影响，因此对训练数据集中的数据进行遍历查找，删除所述数据中的特殊符号及停用词。
示例性地，特殊符号包括下列至少之一：感叹号、逗号、冒号、分号、问号、下横线、双引号、顿号、书名号、美元符号及横线，停用词包括下列至少之一：0、1、2、3、4、5、6、7、8、9、一、一些、一何、一切、一则、一方面、一旦、一来、一样、一般、一转眼、万一、上、上下、下、不或不仅等。上述列出的仅为部分特殊符号及部分停用词，具体可根据实际情况进行设定。
每个实体包含多个图像类模态数据，由于图像类模态数据为从互联网上通过链接下载得到的。当链接加载失败时，会下载到空白图片，空白图片会对模型训练造成影响。因此对训练数据集中的数据进行遍历查找，删除所述数据中的空白图片。
步骤10B，对清洗后的数据进行编码处理，得到特征向量。
具体实施时，对清洗后的数据按照模态进行分类，得到图像类模态数据、文本类模态数据及结构类模态数据。利用预训练的语言模型对每个文本类模态数据进行编码，得到文本类模态数据，本实施例中文本类模态数据优选为BERT模型，即，其中为文本类模态数据。
利用预训练的图像模型对每个图像类模态数据进行编码，得到图像类模态数据，本实施例中图像模型优选为ViT模型。给定一个实体对应的图像，其中，图像经过ViT编码后得到的图像类模态特征向量是，同一个实体对应的所有图像类模态特征向量是，其中是实体对应的图像数量。
在一些实施例中，所述模态包括文本类模态及结构类模态，步骤103具体包括：
步骤1031，针对文本类模态，获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据。
步骤1032，将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量。
具体实施时，因所述三元组数据中实体中的数据为文本类模态时，通常均只包含一段文本信息，因此获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据，将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量。
步骤1033，针对结构类模态，基于预设维度对所述第一初始尾实体进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
具体实施时，对第一初始尾实体采用预设维度进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，其中第一结构类模态向量利用表示，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
在一些实施例中，所述模态还包括图像类模态，步骤103具体包括：
步骤103A，获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据。
具体实施时，同一实体对应多张图像类模态数据，因此对于每个第一初始尾实体，获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据，应该后续生成所述第一初始尾实体对应的图像类模态特征向量。
步骤103B，确定每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算每个所述初始图像类模态特征向量的第一图像权重值。
具体实施时，获取所述每张图像类模态数据对应的初始图像类模态特征向量，采用注意力机制算法计算得到每个初始图像类模态特征向量对应的第一图像权重值。
步骤103C，对所述初始图像类模态特征向量利用所述第一图像权重值进行加权处理，得到所述第一初始尾实体对应的第一图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
具体实施时，将所述初始图像类模态特征向量与所述第一图像权重值进行权重计算，得到所述第一初始尾实体对应的图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
通过上述方案，将第一初始尾实体实体对应的多幅图像类模态数据对应的特征向量融合为一个最终代表该实体的图像类模态特征向量。但是由于图像类模态多图的复杂性和不确定性，不同图片与实体本身的相关程度不同，不同图片包含的背景噪音比例也不同，因此利用类似元学习的方法给不同图片赋予大小不一的权重，从而得到蕴含实体多方面信息的图像类模态的实体表示向量以更好帮助多模态知识图谱任务。
在一些实施例中，所述三元组数据还包括初始关系向量，针对每类模态，步骤104具体包括：
步骤1041，针对训练数据集中的每个三元组数据，获取所述预设的第一输入数据，其中所述第一输入数据包括所述三元组数据的头实体及关系向量。
具体实施时，针对训练数据集中的每个三元组数据，将所述三元组数据中的尾实体去除，将头实体及关系向量作为预设的第一输入数据。
示例性地，三元组数据，得到的预设的第一输入数据为。
步骤1042，获取所述三元组数据的头实体，并确定所述头实体对应的第二模态特征向量。
步骤1043，获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量。
具体实施时，获取所述三元组数据的头实体，确定所述头实体对应的第二模态向量，其中所述头实体同样包含至少一类模态，所述模态包括下列至少之一：文本类模态、图像类模态及结构类模态。获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量。示例性地，所述关系向量表示为，其中表示第一个实体的结构类模态对应的关系向量，表示第一个实体的图像类模态对应的关系向量，表示第一个实体的文本类模态对应的关系向量。
步骤1044，对所述目标类模态对应的第一模态特征向量、关系向量及第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。
具体实施时，将确定的目标类模态对应的第一初始尾实体的第一模态特征向量、关系向量及头实体对应的第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。所述第一初始尾实体对应的每一种模态均对应一个第一计算结果，示例性地，经过计算得到的第一初始尾实体对应的第一计算结果包括结构类模态对应的第一计算结果、图像类模态对应的第一计算结果及文本类模态对应的第一计算结果。
示例性地，所述模态为结构类模态，则将第一初始尾实体的第一结构类模态特征向量、结构类模态对应的关系向量及头实体对应的第二结构类模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一结构计算结果。
另一示例，所述模态为图像类模态，则将第一初始尾实体的第一图像类模态特征向量、图像类模态对应的关系向量及头实体对应的第二图像类模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一图像计算结果。
再一示例，所述模态为文本类模态，则将第一初始尾实体的第一文本类模态特征向量、文本类模态对应的关系向量及头实体对应的第二文本类模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一文本计算结果。
在一些实施例中，所述模态包括文本类模态及结构类模态，步骤1042具体包括：
步骤10421，获取所述头实体对应的所述训练数据集中的文本类模态数据。
步骤10422，将所述训练数据集中的文本类模态数据对应的特征向量作为所述头实体对应的第二文本类模态特征向量。
具体实施时，因所述三元组数据中实体中的数据为文本类模态时，通常均只包含一段文本信息，因此获取所述头实体对应的所述训练数据集中的文本类模态数据，将所述训练数据集中的文本类模态数据对应的特征向量作为所述头实体对应的第二文本类模态特征向量。
步骤10423，基于预设维度对所述头实体进行随机初始化，得到所述头实体对应的第二结构类模态向量。
具体实施时，对头实体采用预设维度进行随机初始化，得到所述头实体对应的第二结构类模态向量。
在一些实施例中，所述模态包括图像类模态，步骤1042具体包括：
步骤104A，获取所述头实体对应的所述训练数据集中的多张图像类模态数据。
具体实施时，同一实体对应多张图像类模态数据，因此对于每个头实体，获取所述头实体对应的所述训练数据集中的多张图像类模态数据，以供后续生成所述头实体对应的图像类模态特征向量。
步骤104B，确定每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算所述每个初始图像类模态特征向量的第二图像权重值。
具体实施时，获取所述每张图像类模态数据对应的初始图像类模态特征向量，采用注意力机制算法计算得到每个初始图像类模态特征向量对应的第二图像权重值。
步骤104C，对所述初始图像类模态特征向量利用所述第二图像权重值进行加权处理，得到所述头实体对应的第二图像类模态特征向量。
具体实施时，将所述初始图像类模态特征向量与所述第二图像权重值进行权重计算，得到所述头实体对应的图像类模态特征向量。
在一些实施例中，步骤104中基于所述第一计算结果确定所述目标类模态对应的初始损失函数，具体包括：
步骤104A，对所述第一计算结果进行归一化处理，得到第一概率，其中所述第一概率利用公式表示为：
；
其中，为模态，所述模态为文本类模态、图像类模态或结构类模态，为模态下第i个第一初始尾实体作为目标尾实体的第一概率值，为模态下第i个第一初始尾实体的第一计算结果，为模态下第j个第一初始尾实体的第一计算结果，N为第一实体集合中头实体与尾实体的数量之和。
步骤104B，基于所述第一概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
；
其中，为初始损失函数，为所述训练数据集中三元组数据的数量。
在一些实施例中，所述模态为文本类模态或图像类模态时，步骤104B具体包括：
步骤104B1，对所述第一概率进行平滑处理，得到第二概率值。其中所述第二概率利用公式表示为：
；
其中，为模态m下第i个第一初始尾实体作为目标尾实体的第二概率值，为平滑系数。
通过上述方案，由于文本类模态和图像类模态特有的复杂性和不确定性，对得到的第一概率进行平滑处理，防止因两模态的不确定性对模型造成损失。本实施例中，平滑处理采用使用温度系数限制技术进行，此时为温度系数。
步骤104B2，基于所述第二概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
。
在一些实施例中，步骤105具体包括：
通过上述步骤分别计算得到结构类模态对应的第一初始损失函数、图像类模态对应的第二初始损失函数及文本类模态对应的第三初始损失函数，对所述第一初始损失函数、第二初始损失函数及第三初始损失函数进行加和处理，得到损失函数。迭代优化模型，直至所述损失函数收敛，将损失函数收敛时对应的模型参数保存，得到知识图谱补全模型。本实施例中，使用AdamW作为优化器训练优化模型的参数
示例性地，所述结构类模态对应的第一初始损失函数为，所述图像类模态对应的第二初始损失函数为，所述文本类模态对应的第三初始损失函数为，则损失函数。
在一些实施例中，所述多模态知识图谱数据集中包含验证数据集及测试数据集，所述方法具体还包括：
步骤10a，基于所述验证数据集中的数据及所述知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值。
具体实施时，基于验证数据集中的数据，通过训练完成的知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值。本实施例中，所述预设的权重计算算法为RankBoost算法。
步骤10b，获取所述测试数据集中每个三元组数据的头实体及尾实体，得到第二实体集合。
具体实施时，具体实施时，获取多模态知识图谱数据集中的测试数据集中，每个三元组数据的头实体及尾实体，将获取到的全部头实体与全部尾实体进行汇总，得到第二实体集合。
步骤10c，将所述第二实体集合中的每个头实体和尾实体作为第二初始尾实体。
步骤10d，针对测试数据集中的每个三元组数据，获取所述预设的第二输入数据，其中所述第二输入数据包括所述三元组数据的头实体及关系向量。
具体实施时，将所述测试数据集中的三元组数据中的尾实体去除，将包含头实体及关系向量，不包含尾实体的每个三元组作为第二输入数据。
步骤10e，基于所述第二初始尾实体及所述第二输入数据计算得到所述第二初始尾实体中包含的每个模态对应的初始第二计算结果。
具体实施时，计算所述每个第二初始尾实体作为模型输入时，得到的初始第二计算结果，其中所述初始第二计算结果包括图像类模态对应的初始第二计算结果、结构类模态对应的初始第二计算结果及文本类模态对应的初始第二计算结果。
步骤10f，将所述每个模态对应的初始第二计算结果利用所述模态权重值进行加权计算，得到第二计算结果。
具体实施时，将所述图像类模态对应的初始第二计算结果、结构类模态对应的初始第二计算结果及文本类模态对应的初始第二计算结果分别与对应的模态权重进行加权计算，得到所述第二初始尾实体对应的第二计算结果。
示例性地，所述第二计算结果通过公式表示为：
；
其中，为第二计算结果，为模态类型，为结构类模态，为图像类模态，为文本类模态，为模态权重，为初始第二计算结果。
步骤10g，对所述第二计算结果进行归一化处理，基于所述归一化后的第二计算结果确定目标尾实体。
具体实施时，对计算得到的第二计算结果进行归一化处理，选取归一化后第二计算结果的值最大的对应的第二初始尾实体，作为目标尾实体，其中所述目标尾实体通过公式表示为：
；
其中，为目标尾实体，为第i个第二初始尾实体。
步骤10h，将所述目标尾实体与所述三元组数据中的尾实体进行比较，输出比较结果，其中所述比较结果用于表示所述目标尾实体与所述三元组数据中的尾实体是否相同。
具体实施时，将目标尾实体与所述三元组数据中实际的尾实体进行比较，判断是否相同，并得到比较结果。当所述目标尾实体与所述三元组数据中实际的尾实体相同，比较结果为正确。当所述目标尾实体与所述三元组数据中实际的尾实体不相同，比较结果为错误。
分别将所述测试数据集中的每个三元组均输入至知识图谱补全模型进行训练，得到多个比较结果。根据所述多个比较结果计算所述知识图谱补全模型的准确率，响应于所述知识图谱补全模型的准确率大于预设准确率阈值，确定所述模型可以进行上线使用。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种知识图谱补全模型的训练装置。
参考图2，图2为实施例的知识图谱补全模型的训练装置，包括：
数据集构建模块201，被配置为获取三元组数据及多模态数据，根据所述三元组数据及所述多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集中包含训练数据集，所述三元组数据包含头实体及尾实体，所述头实体及尾实体为数据流中具有可区别性且独立存在的数据；
集合组成模块202，被配置为获取所述训练数据集中每个三元组数据的头实体及尾实体，得到第一实体集合；
模态特征向量获取模块203，被配置为将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，针对每个第一初始尾实体，获取所述第一初始尾实体中各类模态对应的第一模态特征向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态；
模型训练模块204，被配置为将所述第一初始尾实体包括的至少一类模态中的任一分别作为目标类模态，获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，基于所述第一计算结果确定所述目标类模态对应的初始损失函数；
损失函数确定模块205，被配置为对所述每类模态对应的初始损失函数进行加和处理，得到损失函数，确定所述损失函数收敛至预设损失阈值，得到知识图谱补全模型。
在一些实施例中，所述装置还包括向量生成模块，所述向量生成模块具体包括：
数据清洗单元，被配置为对所述训练数据集中的初始数据进行清洗处理，其中所述训练数据集中的数据包含文本类模态数据及图像类模态数据；
编码处理单元，被配置为对清洗后的数据进行编码处理，得到特征向量。
在一些实施例中，所述模态包括文本类模态及结构类模态，所述模态特征向量获取模块203具体包括：
数据获取单元，被配置为针对文本类模态，获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据；
文本类模态特征向量确定单元，被配置为将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量；
结构类模态向量确定单元，被配置为针对结构类模态，基于预设维度对所述第一初始尾实体进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
在一些实施例中，所述模态还包括图像类模态，所述模态特征向量获取模块203具体包括：
图像数据获取单元，被配置为获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据；
图像类模态权重值确定单元，被配置为每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算每个所述初始图像类模态特征向量的第一图像权重值；
图像类模态特征向量确定单元，被配置为对所述初始图像类模态特征向量利用所述第一图像权重值进行加权处理，得到所述第一初始尾实体对应的第一图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
在一些实施例中，所述三元组数据还包括初始关系向量，针对每类模态，所述模型训练模块204具体包括：
第一输入数据获取单元，被配置为针对训练数据集中的每个三元组数据，获取所述预设的第一输入数据，其中所述第一输入数据包括所述三元组数据的头实体及关系向量；
头实体获取单元，被配置为获取所述三元组数据的头实体，并确定所述头实体对应的第二模态特征向量；
初始关系向量获取单元，被配置为获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量；
第一计算单元，被配置为对所述目标类模态对应的第一模态特征向量、关系向量及第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。
在一些实施例中，所述模型训练模块204具体还包括：
第一概率计算单元，被配置为对所述第一计算结果进行归一化处理，得到第一概率，其中所述第一概率利用公式表示为：
；
其中，为模态，所述模态为文本类模态、图像类模态或结构类模态，为模态下第i个第一初始尾实体作为目标尾实体的第一概率值，为模态下第i个第一初始尾实体的第一计算结果，为模态下第j个第一初始尾实体的第一计算结果，N为第一实体集合中头实体与尾实体的数量之和；
初始损失函数确定单元，被配置为基于所述第一概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
；
其中，为初始损失函数，为所述训练数据集中三元组数据的数量。
在一些实施例中，所述模态为文本类模态或图像类模态时，所述初始损失函数确定单元具体包括：
第二概率值计算子单元，被配置为对所述第一概率进行平滑处理，得到第二概率值，其中所述第二概率利用公式表示为：
；
其中，为模态m下第i个第一初始尾实体作为目标尾实体的第二概率值，为平滑系数；
初始损失函数确定子单元，被配置为基于所述第二概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
。
在一些实施例中，所述多模态知识图谱数据集中包含验证数据集及测试数据集，所述装置还包括模型测试模块，所述模型测试模块具体被配置为：
基于所述验证数据集中的数据及所述知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值；
获取所述测试数据集中每个三元组数据的头实体及尾实体，得到第二实体集合；
将所述第二实体集合中的每个头实体和尾实体作为第二初始尾实体；
针对测试数据集中的每个三元组数据，
获取所述预设的第二输入数据，其中所述第二输入数据包括所述三元组数据的头实体及关系向量；
基于所述第二初始尾实体及所述第二输入数据计算得到所述第二初始尾实体中包含的每个模态对应的初始第二计算结果；
将所述每个模态对应的初始第二计算结果利用所述模态权重值进行加权计算，得到第二计算结果；
对所述第二计算结果进行归一化处理，基于所述归一化后的第二计算结果确定目标尾实体；
将所述目标尾实体与所述三元组数据中的尾实体进行比较，输出比较结果，其中所述比较结果用于表示所述目标尾实体与所述三元组数据中的尾实体是否相同。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的知识图谱补全模型的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的知识图谱补全模型的训练方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的知识图谱补全模型的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的知识图谱补全模型的训练方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的知识图谱补全模型的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (18)
1.一种知识图谱补全模型的训练方法，其特征在于，包括：
获取三元组数据及多模态数据，根据所述三元组数据及所述多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集中包含训练数据集，所述三元组数据包含头实体及尾实体，所述头实体及尾实体均为数据流中具有可区别性且独立存在的数据；
获取所述训练数据集中每个三元组数据的头实体及尾实体，得到第一实体集合；
将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，针对每个第一初始尾实体，获取所述第一初始尾实体中各类模态对应的第一模态特征向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态；
将所述第一初始尾实体包括的至少一类模态中的任一模态分别作为目标类模态，获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，基于所述第一计算结果确定所述目标类模态对应的初始损失函数；
对每类模态对应的初始损失函数进行加和处理，得到损失函数，确定所述损失函数收敛至预设损失阈值，得到知识图谱补全模型。
2.根据权利要求1所述的方法，其特征在于，在获取所述第一初始尾实体中每类模态对应的第一模态特征向量之前，还包括：
对所述训练数据集中的初始数据进行清洗处理，其中所述训练数据集中的数据包含文本类模态数据及图像类模态数据；
对清洗后的数据进行编码处理，得到特征向量。
3.根据权利要求2所述的方法，其特征在于，所述模态包括文本类模态及结构类模态，
所述获取所述第一初始尾实体中每类模态对应的第一模态特征向量，包括：
针对文本类模态，
获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据；
将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量；
针对结构类模态，
基于预设维度对所述第一初始尾实体进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
4.根据权利要求2所述的方法，其特征在于，所述模态还包括图像类模态，
所述获取所述第一初始尾实体中每类模态对应的第一模态特征向量，包括：
获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据；
确定每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算每个所述初始图像类模态特征向量的第一图像权重值；
对所述初始图像类模态特征向量利用所述第一图像权重值进行加权处理，得到所述第一初始尾实体对应的第一图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
5.根据权利要求4所述的方法，其特征在于，所述三元组数据还包括初始关系向量，针对每类模态，
所述获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，包括：
针对训练数据集中的每个三元组数据，
获取所述预设的第一输入数据，其中所述第一输入数据包括所述三元组数据的头实体及关系向量；
获取所述三元组数据的头实体，并确定所述头实体对应的第二模态特征向量；
获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量；
对所述目标类模态对应的第一模态特征向量、关系向量及第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一计算结果确定所述目标类模态对应的初始损失函数，包括：
对所述第一计算结果进行归一化处理，得到第一概率，其中所述第一概率利用公式表示为：
；
其中，为模态，所述模态为文本类模态、图像类模态或结构类模态，为模态下第i个第一初始尾实体作为目标尾实体的第一概率值，为模态下第i个第一初始尾实体的第一计算结果，为模态下第j个第一初始尾实体的第一计算结果，N为第一实体集合中头实体与尾实体的数量之和；
基于所述第一概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
；
其中，为初始损失函数，为所述训练数据集中三元组数据的数量。
7.根据权利要求6所述的方法，其特征在于，所述模态为文本类模态或图像类模态时，
所述基于所述第一概率值确定初始损失函数，包括：
对所述第一概率进行平滑处理，得到第二概率值，其中所述第二概率利用公式表示为：
；
其中，为模态m下第i个第一初始尾实体作为目标尾实体的第二概率值，为平滑系数；
基于所述第二概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
。
8.根据权利要求1所述的方法，其特征在于，所述多模态知识图谱数据集中包含验证数据集及测试数据集，
还包括：
基于所述验证数据集中的数据及所述知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值；
获取所述测试数据集中每个三元组数据的头实体及尾实体，得到第二实体集合；
将所述第二实体集合中的每个头实体和尾实体作为第二初始尾实体；
针对测试数据集中的每个三元组数据，
获取所述预设的第二输入数据，其中所述第二输入数据包括所述三元组数据的头实体及关系向量；
基于所述第二初始尾实体及所述第二输入数据计算得到所述第二初始尾实体中包含的每个模态对应的初始第二计算结果；
将所述每个模态对应的初始第二计算结果利用所述模态权重值进行加权计算，得到第二计算结果；
对所述第二计算结果进行归一化处理，基于所述归一化后的第二计算结果确定目标尾实体；
将所述目标尾实体与所述三元组数据中的尾实体进行比较，输出比较结果，其中所述比较结果用于表示所述目标尾实体与所述三元组数据中的尾实体是否相同。
9.一种知识图谱补全模型的训练装置，其特征在于，包括：
数据集构建模块，被配置为获取三元组数据及多模态数据，根据所述三元组数据及所述多模态数据建立多模态知识图谱数据集，其中所述多模态知识图谱数据集中包含训练数据集，所述三元组数据包含头实体及尾实体，所述头实体及尾实体均为数据流中具有可区别性且独立存在的数据；
集合组成模块，被配置为获取所述训练数据集中每个三元组数据的头实体及尾实体，得到第一实体集合；
模态特征向量获取模块，被配置为将所述第一实体集合中的每个头实体和尾实体作为第一初始尾实体，针对每个第一初始尾实体，获取所述第一初始尾实体中各类模态对应的第一模态特征向量，所述第一初始尾实体包括图像类模态、文本类模态或结构类模态中的至少一类模态；
模型训练模块，被配置为将所述第一初始尾实体包括的至少一类模态中的任一模态分别作为目标类模态，获取预设的第一输入数据，根据所述目标类模态对应的第一模态特征向量与所述第一输入数据输入至初始知识图谱补全模型进行训练，得到第一计算结果，基于所述第一计算结果确定所述目标类模态对应的初始损失函数；
损失函数确定模块，被配置为对所述每类模态对应的初始损失函数进行加和处理，得到损失函数，确定所述损失函数收敛至预设损失阈值，得到知识图谱补全模型。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括向量生成模块，所述向量生成模块具体包括：
数据清洗单元，被配置为对所述训练数据集中的初始数据进行清洗处理，其中所述训练数据集中的数据包含文本类模态数据及图像类模态数据；
编码处理单元，被配置为对清洗后的数据进行编码处理，得到特征向量。
11.根据权利要求10所述的装置，其特征在于，所述模态包括文本类模态及结构类模态，所述模态特征向量获取模块具体包括：
数据获取单元，被配置为获取所述第一初始尾实体对应的所述训练数据集中的文本类模态数据；
文本类模态特征向量确定单元，被配置为将所述训练数据集中的文本类模态数据对应的特征向量作为所述第一初始尾实体对应的第一文本类模态特征向量，将所述第一文本类模态特征向量作为所述第一初始尾实体中文本类模态对应的第一模态特征向量；
结构类模态向量确定单元，被配置为基于预设维度对所述第一初始尾实体进行随机初始化，得到所述第一初始尾实体对应的第一结构类模态向量，将所述第一结构类模态特征向量作为所述第一初始尾实体中结构类模态对应的第一模态特征向量。
12.根据权利要求10所述的装置，其特征在于，所述模态还包括图像类模态，所述模态特征向量获取模块具体包括：
图像数据获取单元，被配置为获取所述第一初始尾实体对应的所述训练数据集中的多张图像类模态数据；
图像类模态权重值确定单元，被配置为每张图像类模态数据对应的初始图像类模态特征向量，基于注意力机制算法计算每个所述初始图像类模态特征向量的第一图像权重值；
图像类模态特征向量确定单元，被配置为对所述初始图像类模态特征向量利用所述第一图像权重值进行加权处理，得到所述第一初始尾实体对应的第一图像类模态特征向量，将所述第一图像类模态特征向量作为所述第一初始尾实体中图像类模态对应的第一模态特征向量。
13.根据权利要求12所述的装置，其特征在于，所述三元组数据还包括初始关系向量，针对每类模态，所述模型训练模块具体包括：
第一输入数据获取单元，被配置为针对训练数据集中的每个三元组数据，获取所述预设的第一输入数据，其中所述第一输入数据包括所述三元组数据的头实体及关系向量；
头实体获取单元，被配置为获取所述三元组数据的头实体，并确定所述头实体对应的第二模态特征向量；
初始关系向量获取单元，被配置为获取所述三元组数据的初始关系向量，对所述初始关系向量进行随机初始化，得到关系向量；
第一计算单元，被配置为对所述目标类模态对应的第一模态特征向量、关系向量及第二模态特征向量利用初始知识图谱补全模型中的多模态评估函数进行计算，得到第一计算结果。
14.根据权利要求9所述的装置，其特征在于，所述模型训练模块具体还包括：
第一概率计算单元，被配置为对所述第一计算结果进行归一化处理，得到第一概率，其中所述第一概率利用公式表示为：
；
其中，为模态，所述模态为文本类模态、图像类模态或结构类模态，为模态下第i个第一初始尾实体作为目标尾实体的第一概率值，为模态下第i个第一初始尾实体的第一计算结果，为模态下第j个第一初始尾实体的第一计算结果，N为第一实体集合中头实体与尾实体的数量之和；
初始损失函数确定单元，被配置为基于所述第一概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
；
其中，为初始损失函数，为所述训练数据集中三元组数据的数量。
15.根据权利要求14所述的装置，其特征在于，所述模态为文本类模态或图像类模态时，所述初始损失函数确定单元具体包括：
第二概率值计算子单元，被配置为对所述第一概率进行平滑处理，得到第二概率值，其中所述第二概率利用公式表示为：
；
其中，为模态m下第i个第一初始尾实体作为目标尾实体的第二概率值，为平滑系数；
初始损失函数确定子单元，被配置为基于所述第二概率值确定初始损失函数，其中所述初始损失函数利用公式表示为：
。
16.根据权利要求9所述的装置，其特征在于，所述多模态知识图谱数据集中包含验证数据集及测试数据集，所述装置还包括模型测试模块，所述模型测试模块具体被配置为：
基于所述验证数据集中的数据及所述知识图谱补全模型，利用预设的权重计算算法计算得到每类模态对应的模态权重值；
获取所述测试数据集中每个三元组数据的头实体及尾实体，得到第二实体集合；
将所述第二实体集合中的每个头实体和尾实体作为第二初始尾实体；
针对测试数据集中的每个三元组数据，
获取所述预设的第二输入数据，其中所述第二输入数据包括所述三元组数据的头实体及关系向量；
基于所述第二初始尾实体及所述第二输入数据计算得到所述第二初始尾实体中包含的每个模态对应的初始第二计算结果；
将所述每个模态对应的初始第二计算结果利用所述模态权重值进行加权计算，得到第二计算结果；
对所述第二计算结果进行归一化处理，基于所述归一化后的第二计算结果确定目标尾实体；
将所述目标尾实体与所述三元组数据中的尾实体进行比较，输出比较结果，其中所述比较结果用于表示所述目标尾实体与所述三元组数据中的尾实体是否相同。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
18.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至8任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311543548.6A CN117271803B (zh) | 2023-11-20 | 2023-11-20 | 知识图谱补全模型的训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311543548.6A CN117271803B (zh) | 2023-11-20 | 2023-11-20 | 知识图谱补全模型的训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117271803A CN117271803A (zh) | 2023-12-22 |
| CN117271803B true CN117271803B (zh) | 2024-01-30 |
Family
ID=89210830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311543548.6A Active CN117271803B (zh) | 2023-11-20 | 2023-11-20 | 知识图谱补全模型的训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117271803B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348191A (zh) * | 2020-10-26 | 2021-02-09 | 福州大学 | 一种基于多模态表示学习的知识库补全方法 |
| CN114564593A (zh) * | 2022-02-21 | 2022-05-31 | 北京百度网讯科技有限公司 | 多模态知识图谱的补全方法、装置和电子设备 |
| CN115048538A (zh) * | 2022-08-04 | 2022-09-13 | 中国科学技术大学 | 基于关系增强负采样的多模态知识图谱补全方法与系统 |
| CN115080766A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 基于预训练模型的多模态知识图谱表征系统及方法 |
| CN117009547A (zh) * | 2023-07-19 | 2023-11-07 | 浙江大学 | 基于图神经网络与对抗学习的多模态知识图谱补全方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11093755B2 (en) * | 2019-11-19 | 2021-08-17 | International Business Machines Corporation | Video segmentation based on weighted knowledge graph |
-
2023
- 2023-11-20 CN CN202311543548.6A patent/CN117271803B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348191A (zh) * | 2020-10-26 | 2021-02-09 | 福州大学 | 一种基于多模态表示学习的知识库补全方法 |
| CN114564593A (zh) * | 2022-02-21 | 2022-05-31 | 北京百度网讯科技有限公司 | 多模态知识图谱的补全方法、装置和电子设备 |
| CN115048538A (zh) * | 2022-08-04 | 2022-09-13 | 中国科学技术大学 | 基于关系增强负采样的多模态知识图谱补全方法与系统 |
| CN115080766A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 基于预训练模型的多模态知识图谱表征系统及方法 |
| CN117009547A (zh) * | 2023-07-19 | 2023-11-07 | 浙江大学 | 基于图神经网络与对抗学习的多模态知识图谱补全方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117271803A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180342004A1 (en) | Cumulative success-based recommendations for repeat users | |
| CN111428805B (zh) | 显著性物体的检测方法、模型、存储介质及电子设备 | |
| CN113095129B (zh) | 姿态估计模型训练方法、姿态估计方法、装置和电子设备 | |
| US11880754B2 (en) | Electronic apparatus and control method thereof | |
| US20200311306A1 (en) | Electronic device for obfuscating and decoding data and method for controlling same | |
| CN113656660B (zh) | 跨模态数据的匹配方法、装置、设备及介质 | |
| CN110728319B (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
| JP2019046236A (ja) | 学習装置、情報処理装置、学習方法およびプログラム | |
| CN116601626A (zh) | 个人知识图谱构建方法、装置及相关设备 | |
| CN112185574A (zh) | 远程医疗实体链接的方法、装置、设备及存储介质 | |
| CN112464760A (zh) | 一种目标识别模型的训练方法和装置 | |
| CN107506479B (zh) | 一种对象推荐方法和装置 | |
| JP2024508502A (ja) | 情報をプッシュする方法および装置 | |
| CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 | |
| CN113435531B (zh) | 零样本图像分类方法、系统、电子设备及存储介质 | |
| CN117633516A (zh) | 多模态嘲讽检测方法、装置、计算机设备以及存储介质 | |
| AU2017235890B2 (en) | Recommending software actions to create an image and recommending images to demonstrate the effects of software actions | |
| CN117271803B (zh) | 知识图谱补全模型的训练方法、装置、设备及存储介质 | |
| US11436215B2 (en) | Server and control method thereof | |
| CN117034188A (zh) | 多模态特征对齐方法、模型训练方法及相关装置 | |
| CN117009599A (zh) | 数据检索方法、装置、处理器及电子设备 | |
| CN116959109A (zh) | 人体姿态图像的生成方法、装置、设备和存储介质 | |
| CN115329146A (zh) | 时序网络中的链路预测方法、电子设备及存储介质 | |
| CN113239908B (zh) | 一种题目处理方法、装置、设备及介质 | |
| CN115374766A (zh) | 文本标点恢复方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |