CN115687640A - 基于联邦学习的多任务知识图谱补全方法 - Google Patents
基于联邦学习的多任务知识图谱补全方法 Download PDFInfo
- Publication number
- CN115687640A CN115687640A CN202211271214.3A CN202211271214A CN115687640A CN 115687640 A CN115687640 A CN 115687640A CN 202211271214 A CN202211271214 A CN 202211271214A CN 115687640 A CN115687640 A CN 115687640A
- Authority
- CN
- China
- Prior art keywords
- entity
- knowledge graph
- relationship
- client
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于联邦学习的多任务知识图谱补全方法,通过构造两个中央服务器,分别用来得到来自各个客户端经过安全聚合后的实体和关系嵌入表示,并将聚合后的组成部分嵌入表示聚合后发送回给每个客户端,这样的一次中央服务器参数聚合后反传为知识图谱补全方法的一轮操作;知识图谱由客户端本地训练后,将参数上传给中央服务器进行聚合操作再发回各个客户端迭代训练;联邦框架下的知识图谱嵌入表示训练直到参数收敛后,与本地知识图谱训练进行模型融合操作,最终输出融合后的知识图谱模型。本发明在隐私保护的前提下,高效安全地联合利用多个客户端提供的知识图谱信息,使各个客户端的知识图谱得到补全,能提高其下游任务的性能。
Description
技术领域
本发明涉及一种知识图谱补全方法,特别是一种基于联邦学习的多任务知识图谱补全方法。
背景技术
随着知识图谱技术的飞速发展,知识图谱在各大企业组织间使用越来越广泛。传统的知识图谱的信息往往是不全面的,对其进行知识补全是一项非常重要的任务。但是,由于商业利益、隐私保护等因素,各大企业机构不能显示地公开知识图谱。现有的知识图谱嵌入方法将知识图谱的组成部分表示为连续向量空间的向量,有效地应用到了知识图谱补全技术中。然而,这类方法只适用于单个知识图谱,并不适用于多个知识图谱联合训练的情形。因此,亟需开发一种适用于多个知识图谱联合训练的多任务知识图谱补全方法。
发明内容
本发明的目的在于,提供一种基于联邦学习的多任务知识图谱补全方法。本发明在隐私保护的前提下,高效安全地联合利用多个客户端提供的知识图谱信息,使各个客户端的知识图谱得到补全,能提高其下游任务的性能。
本发明的技术方案:基于联邦学习的多任务知识图谱补全方法,包括以下步骤:
步骤S1、分别构造用于聚合实体嵌入表示和关系嵌入表示的两个中央服务器,两个中央服务器分别聚合来自各个客户端初始的实体嵌入表示和初始的关系嵌入表示,分别创建一个实体表和一个关系表,对实体表和关系表进行随机初始化,将聚合后的实体嵌入表示和关系嵌入表示分发给对应的客户端,进入步骤S2;
步骤S2、各个客户端从两个中央服务器分别下载仅本地包含的实体嵌入表示和关系嵌入表示,进入步骤S3;
步骤S3、各个客户端使用统一的知识图谱嵌入表示方法进行设定周期数的训练,在本地更新知识图谱模型,进入步骤S4;
步骤S4、两个中央服务器分别聚合随机挑选的来自不同客户端的实体嵌入表示和关系嵌入表示,依据两个中央服务器各自的参数更新规则更新这些来自不同客户端的实体嵌入表示和关系嵌入表示,再通过实体表反传给对应的客户端,进入步骤S5;
步骤S5、各个客户端从两个中央服务器分别下载更新后的实体嵌入表示和关系嵌入表示,判断更新后的参数是否收敛;
若参数收敛,则进入步骤S6;
若参数不收敛,则返回到步骤S3;
步骤S6、步骤S5参数收敛后得到基于联邦框架更新的知识图谱模型,将其与基于本地更新的知识图谱模型进行模型融合操作,最终输出融合后的知识图谱模型。
与现有技术相比,本发明的有益效果体现在:本发明通过构造两个可信的中央服务器,一个聚集实体信息,另一个聚集关系信息,能够有效地避免三元组的泄露。同时,本地客户端从中央服务器下载聚合处理后的所有仅本地包含的实体和关系嵌入向量信息,大大提升了本地模型的训练效率,知识图谱由客户端本地训练后,将参数上传给中央服务器进行聚合操作再发回各个客户端迭代训练,做到了在保护隐私的前提下,安全地利用了其他知识图谱的信息进行了知识图谱补全。另外,本发明的模型融合步骤解决了联邦框架下基于全局最小损失训练带来的模型偏差,进一步提高了模型精度。本发明为联邦框架下的知识图谱补全技术提供了一种思路,且具有隐私保护性强,模型结果可用性高的特点。
两个中央服务器分别得到来自各个客户端经过安全聚合后的实体和关系嵌入表示,并将聚合后的组成部分嵌入表示聚合后发送回给每个客户端。这样的一次中央服务器参数聚合后反传为该知识图谱补全方法的一轮操作。
前述的基于联邦学习的多任务知识图谱补全方法中,用于聚合实体嵌入表示的中央服务器为实体服务器,在步骤S1中当实体服务器第一次进行对来自各个客户端的实体嵌入表示的聚合操作时,记录来自所有不同客户端的唯一实体,并建立一个完整的实体表,将不同客户端的实体映射到实体表,建立并随机初始化实体表后,分发给对应的客户端;
各个客户端进行设定周期的训练后,由实体服务器根据实体表聚合来自不同客户端的实体嵌入表示,依据中央服务器更新规则更新这些来自各个客户端的实体嵌入表示后,通过实体表反传给对应的客户端。由此,各个客户端的实体嵌入表示得到更新。
前述的基于联邦学习的多任务知识图谱补全方法中,用于聚合关系嵌入表示的中央服务器为关系服务器,在步骤S1中当关系服务器第一次进行对来自各个客户端的关系嵌入表示的聚合操作时,记录来自所有不同客户端的唯一关系,并建立一个完整的关系表,将不同客户端的关系映射到关系表,建立并随机初始化关系表后,分发给对应的客户端;
各个客户端进行设定周期训练后,由关系服务器根据实体表聚合来自不同客户端的关系嵌入表示,依据中央服务器更新规则更新这些来自各个客户端的实体关系表示后,通过关系表反传给对应的客户端。由此,各个客户端的关系嵌入表示得到更新。
前述的基于联邦学习的多任务知识图谱补全方法中,对于联邦框架下的知识图谱补全技术,要求各个客户端在本地使用特定且统一的知识图谱嵌入表示方法。这是由于不同的知识图谱嵌入表示方法将导致各个客户端映射得到的连续向量空间不统一,上传给服务器聚合的参数不匹配,最终影响模型的训练结果。因此,本发明通过对所有客户端进行本地的知识图谱表示学习,学习后得到的参数上传给两个不同的中央服务器进行聚合操作。客户端在本地训练知识图谱嵌入表示的具体步骤(也即步骤S3)包括:
步骤S3.1、客户端分别从实体服务器和关系服务器获得随机初始化后的实体向量矩阵和关系向量矩阵;
步骤S3.2、对于在客户端的各个三元组,使用统一的知识图谱嵌入表示方法进行设定周期数的训练;目前主流的方法有:TransE、RotatE等。
步骤S3.3、在本地经过设定周期数的训练后,当接收到两个中央服务器的上传指令时,将更新得到后的实体向量矩阵上传给实体服务器,将更新得到后的关系向量矩阵上传给关系服务器。
前述的基于联邦学习的多任务知识图谱补全方法中,服务器端和客户端更新过程不断迭代进行,直到参数收敛。然而,学习得到的知识图谱嵌入表示是基于所有客户端的全局最小值,并不是每个客户端的局部最小值,最后收敛得到的知识图谱嵌入表示对于单个独立的客户端来说是不准确的。为此,通过模型融合步骤个性化地集成联邦知识图谱和本地知识图谱,使得学习到的知识图谱嵌入表示更加准确。模型融合的具体步骤(也即步骤S6)包括:
步骤S6.1、客户端在完成联邦知识图谱的训练和本地的知识图谱训练之后,分别将知识图谱三元组在本地的向量嵌入表示和联邦的向量嵌入表示各自所对应的得分函数进行连接操作;
步骤S6.2、将进行连接操作后的得分函数作为特征向量输入到一个线性分类器中,再通过边际损失排序训练,得到基于局部最小损失的得分函数。
附图说明
图1是本发明的流程示意图;
图2是本发明的框架示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明,但并不作为对本发明限制的依据。
实施例:基于联邦学习的多任务知识图谱补全方法,流程示意图如图1所示,包括以下步骤:
步骤S1、分别构造用于聚合实体嵌入表示和关系嵌入表示的两个中央服务器,两个中央服务器分别聚合来自各个客户端初始的实体嵌入表示和初始的关系嵌入表示,分别创建一个实体表和一个关系表,对实体表和关系表进行随机初始化,将聚合后的实体嵌入表示和关系嵌入表示分发给对应的客户端,进入步骤S2。
用于聚合实体嵌入表示的中央服务器为实体服务器,在步骤S1中当实体服务器第一次进行对来自各个客户端的实体嵌入表示的聚合操作时,记录来自所有不同客户端的唯一实体,并建立一个完整的实体表,将不同客户端的实体映射到实体表,建立并随机初始化实体表后,分发给对应的客户端。
用于聚合关系嵌入表示的中央服务器为关系服务器,在步骤S1中当关系服务器第一次进行对来自各个客户端的关系嵌入表示的聚合操作时,记录来自所有不同客户端的唯一关系,并建立一个完整的关系表,将不同客户端的关系映射到关系表,建立并随机初始化关系表后,分发给对应的客户端。
步骤S2、各个客户端从两个中央服务器分别下载仅本地包含的实体嵌入表示和关系嵌入表示,进入步骤S3。
步骤S3、各个客户端使用统一的知识图谱嵌入表示方法进行设定周期数的训练,在本地更新知识图谱模型,进入步骤S4。
步骤S3具体包括:
步骤S3.1、客户端分别从实体服务器和关系服务器获得随机初始化后的实体向量矩阵和关系向量矩阵;
步骤S3.2、对于在客户端的各个三元组,使用统一的知识图谱嵌入表示方法进行设定周期数的训练;
步骤S3.3、在本地经过设定周期数的训练后,当接收到两个中央服务器的上传指令时,将更新得到后的实体向量矩阵上传给实体服务器,将更新得到后的关系向量矩阵上传给关系服务器。
步骤S4、两个中央服务器分别聚合随机挑选的来自不同客户端的实体嵌入表示和关系嵌入表示,依据两个中央服务器各自的参数更新规则更新这些来自不同客户端的实体嵌入表示和关系嵌入表示,再通过实体表反传给对应的客户端,进入步骤S5。
步骤S5、各个客户端从两个中央服务器分别下载更新后的实体嵌入表示和关系嵌入表示,判断更新后的参数是否收敛;
若参数收敛,则进入步骤S6;
若参数不收敛,则返回到步骤S3。
步骤S6、步骤S5参数收敛后得到基于联邦框架更新的知识图谱模型,将其与基于本地更新的知识图谱模型进行模型融合操作,最终输出融合后的知识图谱模型。
步骤S6具体包括:
步骤S6.1、客户端在完成联邦知识图谱的训练和本地的知识图谱训练之后,分别将知识图谱三元组在本地的向量嵌入表示和联邦的向量嵌入表示各自所对应的得分函数进行连接操作;
步骤S6.2、将进行连接操作后的得分函数作为特征向量输入到一个线性分类器中,再通过边际损失排序训练,得到基于局部最小损失的得分函数。
本发明的框架示意图如图2所示,以框架为基础对步骤S1至步骤S6中的内容作进一步解释。
实体服务器负责聚合来自不同客户端的实体嵌入,并将聚合后的实体嵌入发送回给各个客户端。模型不断迭代,根据收敛规则,等到参数收敛后停止更新。
实体服务器具体操作如下:
1)实体服务器将所有客户端的实体聚集到同一个实体表T内,并构建一组对应的存在矩阵和存在向量 其中,C代表客户端的总数,n代表实体表T中一共包含多少个实体,nc代表客户端c一共包含多少个实体。置换矩阵Pc将客户端c的实体映射到实体表T中。比如,表示实体表T中的第i个实体对应于客户端c的第j个实体,表示客户端c存在实体表T中的第i个元素。
2)实体服务器根据实体表T存在的所有实体随机初始化实体向量矩阵其中,de指的是实体向量嵌入表示的维度大小,代表对应的向量空间。然后,实体服务器将实体向量矩阵E0根据存在矩阵分别将随机初始化后的实体向量下发给对应的客户端。客户端c从实体服务器下载实体向量,更新实体向量矩阵
3)在第t轮,实体服务器从中随机抽取F×C个客户端,其中,F∈[0,1],构建一个新的实体集Ct,指定的实体服务器在本地训练p个周期后,其中,p是超参数,实体服务器从指定的客户端聚合实体向量,
4)第t轮结束后,客户端c的实体矩阵会以同样的方式通过存在矩阵Pc得到更新,
实体服务器操作对应的算法如下:
输入:全局实体表T,客户端数量C,客户端实体集Ec,存在矩阵Pc,存在向量Vc,实体矩阵E0。
1.随机初始化实体矩阵E0
关系服务器负责聚合来自不同客户端的关系嵌入,并将聚合后的关系嵌入发送回给各个客户端。模型不断迭代,根据收敛规则,等到参数收敛后停止更新。
关系服务器具体操作如下:
1)关系服务器将所有客户端的关系聚集到同一个关系表T*内,并构建一组对应的存在矩阵和存在向量 其中,C代表客户端的总数,n*代表关系表T*中一共包含多少个关系,代表客户端c一共包含多少个关系。置换矩阵将客户端c的关系映射到关系表T*中。
2)关系服务器根据关系表T*存在的所有关系随机初始化关系向量矩阵其中,de指的是关系向量嵌入表示的维度大小,代表对应的向量空间。然后,关系服务器将关系向量矩阵R0根据存在矩阵分别将随机初始化后的关系向量下发给对应的客户端。客户端c从关系服务器下载关系向量,更新关系向量矩阵
3)在第t轮,关系服务器从中随机抽取F×C个客户端,其中,F∈[0,1],构建一个新的关系集Ct,指定的关系服务器在本地训练p个周期后,其中p是超参数,关系服务器从指定的客户端聚集关系向量,
关系服务器操作对应的算法如下:
1.随机初始化关系矩阵R0
客户端更新步骤:
其中,γ代表边际值,(h,r,ti′)代表与三元组(h,r,t)相对的负样本,m代表负样本的数量,p(h,r,ti′)代表自对抗负样本(h,r,ti′)的权重,定义如下:
其中,α代表温度参数。
客户端更新对应的算法如下:
输出:本地训练完后的实体向量矩阵Ec′和客户向量矩阵Rc′。
模型融合步骤:
中央服务器聚合操作和客户端更新操作迭代进行,直到模型收敛。然而,联邦框架下知识图谱学习到的向量嵌入表示是基于全局最小损失的,并不是基于各个客户端知识图谱的局部最小损失。该过程的目标是集成从联邦知识图谱学习到的信息和本地知识图谱的信息,使客户端的局部损失达到最小。
首先,在完成基于联邦知识图谱和本地知识图谱的训练后,每一个三元组获得两种不同的嵌入表示,一种代表全局模型信息,一种代表客户端的本地模型信息。根据特定的知识图谱嵌入表示模型,得到两个得分函数和将两个得分函数连接后作为特征向量。其中,得分函数利用本地训练得到的知识图谱实体和关系向量表示,得分函数代表联邦场景下训练得到的知识图谱实体和关系向量表示。
然后,将连接得到的特征向量输入到一个线性分类器,并将结果作为得分函数输出:
s(h,r,t)=Wx+b,
其中,W代表权重矩阵,b代表偏差,[;]代表得分函数之间的连接操作。
此线性分类器通过边缘排序损失训练,使得正三元组的排序高于负三元组,模型融合的损失如下:
Lf(h,r,t)=max(0,β-s(h,r,t)+s(h,r,t′)),
其中,β表示边际值,(h,r,t′)表示负样本三元组,模型融合损失过程的训练目标是使得所有三元组的模型融合损失最小。
模型融合对应的算法如下:
输出:最终的得分函数s(h,r,t)。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.基于联邦学习的多任务知识图谱补全方法,其特征在于,包括以下步骤:
步骤S1、分别构造用于聚合实体嵌入表示和关系嵌入表示的两个中央服务器,两个中央服务器分别聚合来自各个客户端初始的实体嵌入表示和初始的关系嵌入表示,分别创建一个实体表和一个关系表,对实体表和关系表进行随机初始化,将聚合后的实体嵌入表示和关系嵌入表示分发给对应的客户端,进入步骤S2;
步骤S2、各个客户端从两个中央服务器分别下载仅本地包含的实体嵌入表示和关系嵌入表示,进入步骤S3;
步骤S3、各个客户端使用统一的知识图谱嵌入表示方法进行设定周期数的训练,在本地更新知识图谱模型,进入步骤S4;
步骤S4、两个中央服务器分别聚合随机挑选的来自不同客户端的实体嵌入表示和关系嵌入表示,依据两个中央服务器各自的参数更新规则更新这些来自不同客户端的实体嵌入表示和关系嵌入表示,再通过实体表反传给对应的客户端,进入步骤S5;
步骤S5、各个客户端从两个中央服务器分别下载更新后的实体嵌入表示和关系嵌入表示,判断更新后的参数是否收敛;
若参数收敛,则进入步骤S6;
若参数不收敛,则返回到步骤S3;
步骤S6、步骤S5参数收敛后得到基于联邦框架更新的知识图谱模型,将其与基于本地更新的知识图谱模型进行模型融合操作,最终输出融合后的知识图谱模型。
2.根据权利要求1所述的基于联邦学习的多任务知识图谱补全方法,其特征在于:用于聚合实体嵌入表示的中央服务器为实体服务器,在步骤S1中当实体服务器第一次进行对来自各个客户端的实体嵌入表示的聚合操作时,记录来自所有不同客户端的唯一实体,并建立一个完整的实体表,将不同客户端的实体映射到实体表,建立并随机初始化实体表后,分发给对应的客户端。
3.根据权利要求2所述的基于联邦学习的多任务知识图谱补全方法,其特征在于:用于聚合关系嵌入表示的中央服务器为关系服务器,在步骤S1中当关系服务器第一次进行对来自各个客户端的关系嵌入表示的聚合操作时,记录来自所有不同客户端的唯一关系,并建立一个完整的关系表,将不同客户端的关系映射到关系表,建立并随机初始化关系表后,分发给对应的客户端。
4.根据权利要求3所述的基于联邦学习的多任务知识图谱补全方法,其特征在于:所述步骤S3具体包括:
步骤S3.1、客户端分别从实体服务器和关系服务器获得随机初始化后的实体向量矩阵和关系向量矩阵;
步骤S3.2、对于在客户端的各个三元组,使用统一的知识图谱嵌入表示方法进行设定周期数的训练;
步骤S3.3、在本地经过设定周期数的训练后,当接收到两个中央服务器的上传指令时,将更新得到后的实体向量矩阵上传给实体服务器,将更新得到后的关系向量矩阵上传给关系服务器。
5.根据权利要求4所述的基于联邦学习的多任务知识图谱补全方法,其特征在于:所述步骤S6具体包括:
步骤S6.1、客户端在完成联邦知识图谱的训练和本地的知识图谱训练之后,分别将知识图谱三元组在本地的向量嵌入表示和联邦的向量嵌入表示各自所对应的得分函数进行连接操作;
步骤S6.2、将进行连接操作后的得分函数作为特征向量输入到一个线性分类器中,再通过边际损失排序训练,得到基于局部最小损失的得分函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211271214.3A CN115687640A (zh) | 2022-10-18 | 2022-10-18 | 基于联邦学习的多任务知识图谱补全方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211271214.3A CN115687640A (zh) | 2022-10-18 | 2022-10-18 | 基于联邦学习的多任务知识图谱补全方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115687640A true CN115687640A (zh) | 2023-02-03 |
Family
ID=85065571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211271214.3A Pending CN115687640A (zh) | 2022-10-18 | 2022-10-18 | 基于联邦学习的多任务知识图谱补全方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115687640A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757275A (zh) * | 2023-06-07 | 2023-09-15 | 京信数据科技有限公司 | 一种知识图谱的联邦学习装置及方法 |
CN116842099A (zh) * | 2023-05-09 | 2023-10-03 | 中电科大数据研究院有限公司 | 一种多源异构数据处理方法和系统 |
-
2022
- 2022-10-18 CN CN202211271214.3A patent/CN115687640A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116842099A (zh) * | 2023-05-09 | 2023-10-03 | 中电科大数据研究院有限公司 | 一种多源异构数据处理方法和系统 |
CN116842099B (zh) * | 2023-05-09 | 2024-03-19 | 中电科大数据研究院有限公司 | 一种多源异构数据处理方法和系统 |
CN116757275A (zh) * | 2023-06-07 | 2023-09-15 | 京信数据科技有限公司 | 一种知识图谱的联邦学习装置及方法 |
CN116757275B (zh) * | 2023-06-07 | 2024-06-11 | 京信数据科技有限公司 | 一种知识图谱的联邦学习装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11176200B2 (en) | Fast component enumeration in graphs with implicit edges | |
US11227190B1 (en) | Graph neural network training methods and systems | |
CN115687640A (zh) | 基于联邦学习的多任务知识图谱补全方法 | |
Jaiswal | Big Data concept and imposts in business | |
CN112200321B (zh) | 基于知识联邦和图网络的推理方法、系统、设备及介质 | |
Wieland et al. | On topology and dynamics of consensus among linear high-order agents | |
US20120130940A1 (en) | Real-time analytics of streaming data | |
US8862662B2 (en) | Determination of latent interactions in social networks | |
WO2022116689A1 (zh) | 图数据处理方法、装置、计算机设备和存储介质 | |
US20190130296A1 (en) | Populating a user interface using quadratic constraints | |
CN111967972A (zh) | 理财产品推荐方法及装置 | |
US20220138502A1 (en) | Graph neural network training methods and systems | |
US11574315B2 (en) | Method and system for recommending assistance offerings | |
CN115270001B (zh) | 基于云端协同学习的隐私保护推荐方法及系统 | |
CN115221413B (zh) | 一种基于交互式图注意力网络的序列推荐方法及系统 | |
US11256672B1 (en) | Data migration and integration system | |
US20160315944A1 (en) | System and method for dynamic network data validation | |
CN107181729B (zh) | 在多租户云环境中的数据加密 | |
US20180150864A1 (en) | Method and System for creating and comparing virtual firms | |
CN112016698A (zh) | 因子分解机模型构建方法、设备及可读存储介质 | |
US20170039196A1 (en) | Computing system to evaluate sentiment of entities by processing data | |
CN103425791A (zh) | 一种基于蚁群协同过滤算法的物品推荐方法和装置 | |
Zhang et al. | Two weak solutions for perturbed non-local fractional equations | |
CN111985573A (zh) | 因子分解机分类模型构建方法、设备及可读存储介质 | |
Banerjee et al. | The importance of exploration in online marketplaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |