CN117172338A - 纵向联邦学习场景中的贡献评估方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体是纵向联邦学习场景中的贡献评估方法，包括以下评估步骤：联邦学习模型中的服务器接收所有参与者的本地计算结果，并根据本地计算结果计算全局损失，然后通过全局损失计算全局梯度；服务器仅使用来自联盟的参与者上传的本地结果计算更新全局梯度；利用更新后的全局梯度计算各个参与者在联邦学习模型训练中的总边际贡献，本发明准确高效的评估纵向联邦学习系统中每个用户对联邦学习系统的贡献。

Description

纵向联邦学习场景中的贡献评估方法

技术领域

本发明涉及数据处理技术领域，具体是纵向联邦学习场景中的贡献评估方法。

背景技术

联邦学习根据特征和样本ID空间中参与者之间的数据分配方式，分为两种广泛应用的框架：横向联合学习和纵向联合学习。其中，纵向联邦学习适用于参与者共享相同样本ID空间但具有不同的特征空间，比如同一地区的商超和银行，他们接触的用户都为该地区的居民，即样本相同，但业务不同，即特征不同。纵向联邦学习通常使用各种加密技术，以隐私保护的方式来计算梯度并构建模型。

贡献估计是纵向联邦学习中一个重要的评价指标。目前在机器学习领域，已经有很多机器学习算法提供了计算贡献估计的思路，并且也已经做了相关的工作。但是由于机器学习算法本身的限制导致他们都不十分适用于纵向联邦学习系统。造成上述这种情况的原因，主要是由于纵向联邦学习在进行贡献估计时需要评估数据特征的贡献，而现有的机器学习算法通常是通过分析数据样本对模型训练效果的影响来确定其贡献。为了有效的解决上述的技术问题，一些研究人员通常使用沙普利值来计算各个训练样本的数据特征对模型训练的贡献，但是由于计算沙普利值需要指数级的计算开销和通信开销，导致这一方法在实际的使用中，在联邦学习系统中难以实现，从而难以计算出数据特征的贡献，最终导致无法准确的评估出纵向联邦学习系统中每个用户对联邦学习系统的贡献。

发明内容

为了避免和克服现有技术中存在的技术问题，本发明提供了纵向联邦学习场景中的贡献评估方法。本发明能够准确高效的评估纵向联邦学习系统中每个用户对联邦学习系统的贡献。

为实现上述目的，本发明提供如下技术方案：

纵向联邦学习场景中的贡献评估方法，包括以下评估步骤：

S1、联邦学习模型中的服务器接收所有参与者的本地计算结果，并根据本地计算结果计算全局损失，然后通过全局损失计算全局梯度；

S2、服务器仅使用来自联盟的参与者上传的本地结果计算更新全局梯度；

S3、利用更新后的全局梯度计算各个参与者在联邦学习模型训练中的总边际贡献。

作为本发明再进一步的方案：参与者的总边际贡献表示如下：

其中，π_t(γ_t)表示联邦学习模型中所有参与者在第t次迭代时的总边际贡献值；γ_t∈{0,1}表示二进制向量，表示参与者是否在第t次迭代时参与联合训练；γ_t,i=1，表示第i个参与者在第t次迭代时参与联合训练；γ_t,i=0，表示第i个参与者在第t次迭代时不参与联合训练；表示联邦学习模型中第i个参与者在第t次迭代时的边际贡献值；n表示联邦学习模型中参与者的总数。

作为本发明再进一步的方案：步骤S3的具体步骤如下：

S31、将更新后的全局梯度记为联盟梯度，并将联盟梯度输入到联盟的效用函数中，以计算联盟的效用函数值；效用函数的表示如下：

其中，V(S,t)表示联盟在第t次迭代中的效用函数值，即沙普利值；表示在第t次迭代时，联邦学习模型的验证数据集在当前全局模型中的梯度，即验证梯度；G_t(S)表示在第t次迭代时，联邦学习模型中的联盟在当前全局模型中的梯度，即联盟梯度；S表示联盟；

S32、将效用函数值输入到联盟的边际贡献分量计算公式中，计算联盟中的参与者在联邦学习模型的第t次迭代中的边际贡献，边际贡献分量计算公式表示如下：

其中，V({k},t)表示联盟中的第k个参与者在联邦学习模型第t次迭代中的边际贡献值；S∪{k}表示联盟集合；V(S∪{k},t)表示联盟集合S∪{k}中第k个参与者在第t次迭代的联盟效用函数值；G_t({k})表示在第t次迭代时，联邦学习模型中联盟的第k个参与者在当前全局模型中的梯度；G_t(S∪{k})表示集合S∪{k}在第t次迭代时，当前全局模型中的梯度；

S33、基于联盟的边际贡献分量计算公式，以及该计算公式计算出的联盟中的各个参与者的边际贡献值，构建联邦学习模型的边际贡献分量计算公式；通过联邦学习模型的边际贡献分量计算公式计算联邦学习模型中各个参与者在联邦学习模型的第t次迭代中的边际贡献，联邦学习模型的边际贡献分量计算公式表示如下：

其中，S∪{i}表示模型集合；V(S∪{i},t)表示模型集合S∪{i}中第i个参与者在第t次迭代的模型效用函数值；G_t({i})表示在第t次迭代时，联邦学习模型中的第i个参与者在当前全局模型中的梯度；C表示联邦学习模型中的所有参与者组成的集合；loss表示联邦学习模型的全局损失函数，θ_t,i表示联邦学习模型中第i个参与者在完成第t次迭代后的模型；表示排列组合，|S|表示联盟中所有参与者的数量；

S34、对联邦学习模型中各个参与者在联邦学习模型的所有迭代中的边际贡献进行求和即可得到该参与者在联邦学习模型中的总边际贡献。

作为本发明再进一步的方案：步骤S1的具体步骤如下：

S11、构建由各个参与者自身具有的模型组合形成的联邦学习模型Φ，Φ=(θ₁,θ₂,…,θ_i,…,θ_n)，θ₁其中表示联邦模型中第1个参数者的模型；θ₂其中表示联邦模型中第2个参数者的模型；θ_i其中表示联邦模型中第i个参数者的模型；θ_n其中表示联邦模型中第n个参数者的模型；

S12、在联邦学习模型训练的第t次迭代中，参与者用本地数据计算得到本地计算结果，即δ_t,i=f_i(θ_t,i,x_i)；δ_t,i表示第i个参与者在第t次迭代过程中的计算得到的本地计算结果，f_i表示第i个参与者的计算函数；x_i表示第i个参与者的本地数据，θ_t,i表示第i个参与者在第t次迭代时的参数；

S13、将所有参与者的本地计算结果发送到服务器，服务器为纵向联邦学习拥有标签的第三方；服务器接收所有参与者的本地计算结果，并计算联邦学习模型在第t次迭代中的全局损失函数loss，loss=(δ_t,1,δ_t,2,…,δ_t,i,…,δ_t,n)，δ_t,1表示第1个参与者在第t次迭代过程中的计算得到的本地计算结果，δ_t,2表示第2个参与者在第t次迭代过程中的计算得到的本地计算结果，δ_t,n表示第n个参与者在第t次迭代过程中的计算得到的本地计算结果；

S14、利用全局损失函数计算全局梯度，全局梯度表示如下：

其中，G_t(C)表示联邦学习模型在第t迭代后的全局梯度，θ_t,1表示第1个参与者在第t次迭代时的参数，θ_t,2表示第2个参与者在第t次迭代时的参数；θ_t,n表示第n个参与者在第t次迭代时的参数。

作为本发明再进一步的方案：步骤S2的具体步骤如下：

S21、设定一个合作博弈，并将该合作博弈定义为联盟；从联邦学习模型中选取设定数量的参与者放入到联盟中，并定义同时位于联盟和联邦学习模型中的参与者参与了联合训练；

S22、服务器使用来自联盟参与者上传的本地计算结果计算更新全局梯度，计算更新后的全局梯度表示如下：

其中，γ_t,i(i=1,2,...,n)表示G_t({i})(i=1,2,...,n)的参数；

若i∈S，即联邦学习模型中的第i个参数者也在联盟中，则γ_t,i=1，否则γ_t,i=0。

作为本发明再进一步的方案：在联邦学习模型的训练过程中，服务器在计算完每个参与者的边界贡献值后，会接着计算每个参与者的权重，权重计算公式如下：

其中，ω_t,i(i=1,2,...,n)表示联邦学习模型在第t迭代后，第i个参与者的权重；

然后对全局梯度进行加权计算，以得到加权后的全局梯度；加权后的全局梯度表示如下：

其中，表示联邦学习模型在第t迭代后，加权后的全局梯度；ω_t,n表示联邦学习模型在第t迭代后，第n个参与者的权重；

最后使用加权后的全局梯度更新全局模型，更新后的全局模型如下：

其中，Φ_t+1表示第t+1次迭代的全局模型；Φ_t表示第t次迭代的全局模型；α_t表示全局模型第t次迭代时的学习效率。

与现有技术相比，本发明的有益效果是：

1、本发明设计了一个面向纵向联邦学习的高效的贡献评估，并可以修正联邦学习的训练方向，加快模型的收敛，提升联邦学习系统的性能。

2、本发明所使用的训练数据是联邦学习所固有的信息，参与者上传给服务器的中间结果，以及小规模验证数据集的梯度信息，不会造成参与者本地数据的隐私泄露。

附图说明

图1为本发明的主要评估步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中，纵向联邦学习场景中的贡献评估方法，包括以下具体内容：

计算边界贡献：

在联邦学习系统中，将边界贡献定义为参与者上传的局部更新将全局模型推向最优模型的程度。其中，最优模型是指不仅在参与者的训练数据上性能最好，而更重要的是在高质量的验证数据集上性能最好。由于通过模型再训练来计算实际的总体沙普利值太昂贵，因此通过在每个时期累计参与者的边界贡献来估算参与者的总边界贡献。

为了量化边界贡献，在训练迭代轮次中，我们让服务器计算验证数据集上当前全局模型的梯度，并将其称为验证梯度。全局梯度调整全局模型，以提高参与者的训练数据的性能，而验证梯度表示优化方向，使得全局模型在验证数据集上有更好的表现。因此，验证梯度与全局梯度越相似，当前的全局模型越接近当前的最佳模型。每个迭代轮次中，参与者的沙普利值可以仅通过使用他们的上传的中间结果来计算，而无需任何重新训练、额外的通信和计算开销。

在纵向联邦学习中，通常存在一个可信第三方和多个参与者。其中可信第三方负责生成并分发加密密钥对，每个参与者都拥有部分特征和部分模型，训练数据的标签由一个参与者或可信第三方拥有。在纵向联邦学习系统中，为了保护参与者的数据隐私，往往会在加密的状态下进行联邦学习模型的训练。在联邦学习模型训练的迭代轮次中，参与者用本地参数和本地数据计算本地计算结果，并将本地计算结果发送到服务器，这里将拥有标签一方定义为服务器。服务器接收所有参与者的本地计算结果，并首先计算全局损失，然后计算全局梯度：

服务器仅使用来自联盟参与者上传的本地结果计算更新的全局梯度为：

若i∈S，即联邦学习模型中的第i个参数者也在联盟中，则γ_t,i=1，否则γ_t,i=0。对于，其计算沙普利值的效用函数为：

在联邦学习模型训练的过程中，参与者加入联盟的边际贡献为：

即，我们可以将指数级开销降低为线性开销，高效地计算出参与者的沙普利值：

其中，计算只需要很小的开销。

参加者在联邦学习模型整个训练过程中的沙普利值为：

除了验证数据集上的全局梯度之外，本发明的方法不会造成任何数据隐私的泄漏。

促进收敛：

在联邦学习模型训练过程中，服务器计算每个参与者的边际贡献，然后计算每个参与者的权重：

然后对全局梯度进行加权计算，以得到加权后的全局梯度；加权后的全局梯度表示如下：

最后使用加权后的全局梯度更新全局模型，更新后的全局模型如下：

其中，α_t表示全局模型第t次迭代时的学习效率。

使用本发明的方法对现有技术中的十个公开的数据集进行计算。数据集如表1所示。

表1 数据集

本发明中联邦学习模型采用的纵向逻辑回归模型VFL-LogReg和纵向线性回归模型VFL-LinReg对不同的数据集进行计算。

从准确性和开销两个方面测试本发明的方法。准确性通过预测的沙普利值与实际沙普利值之间的皮尔逊相关系数 (PCC) 进行量化。计算开销通过方法运行的时间来量化。结果见表2所示。

表2 计算结果对比表

从表2中可以看出PCC的值均在0.9以上，则说明本发明计算的准确度较高。本发明运行的时间相对于现有技术中的平均用时大幅缩短，有效的提高了计算效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.纵向联邦学习场景中的贡献评估方法，其特征在于，包括以下评估步骤：

S1、联邦学习模型中的服务器接收所有参与者的本地计算结果，并根据本地计算结果计算全局损失，然后通过全局损失计算全局梯度；

S2、服务器仅使用来自联盟的参与者上传的本地结果计算更新全局梯度；

S3、利用更新后的全局梯度计算各个参与者在联邦学习模型训练中的总边际贡献。

2.根据权利要求1所述的纵向联邦学习场景中的贡献评估方法，其特征在于，参与者的总边际贡献表示如下：

其中，π_t(γ_t)表示联邦学习模型中所有参与者在第t次迭代时的总边际贡献值；γ_t∈{0,1}表示二进制向量，表示参与者是否在第t次迭代时参与联合训练；γ_t,i=1，表示第i个参与者在第t次迭代时参与联合训练；γ_t,i=0，表示第i个参与者在第t次迭代时不参与联合训练；表示联邦学习模型中第i个参与者在第t次迭代时的边际贡献值；n表示联邦学习模型中参与者的总数。

3.根据权利要求2所述的纵向联邦学习场景中的贡献评估方法，其特征在于，步骤S3的具体步骤如下：

S31、将更新后的全局梯度记为联盟梯度，并将联盟梯度输入到联盟的效用函数中，以计算联盟的效用函数值；效用函数的表示如下：

其中，V(S,t)表示联盟在第t次迭代中的效用函数值，即沙普利值；表示在第t次迭代时，联邦学习模型的验证数据集在当前全局模型中的梯度，即验证梯度；G_t(S)表示在第t次迭代时，联邦学习模型中的联盟在当前全局模型中的梯度，即联盟梯度；S表示联盟；

S32、将效用函数值输入到联盟的边际贡献分量计算公式中，计算联盟中的参与者在联邦学习模型的第t次迭代中的边际贡献，边际贡献分量计算公式表示如下：

其中，V({k},t)表示联盟中的第k个参与者在联邦学习模型第t次迭代中的边际贡献值；S∪{k}表示联盟集合；V(S∪{k},t)表示联盟集合S∪{k}中第k个参与者在第t次迭代的联盟效用函数值；G_t({k})表示在第t次迭代时，联邦学习模型中联盟的第k个参与者在当前全局模型中的梯度；G_t(S∪{k})表示集合S∪{k}在第t次迭代时，当前全局模型中的梯度；

S33、基于联盟的边际贡献分量计算公式，以及该计算公式计算出的联盟中的各个参与者的边际贡献值，构建联邦学习模型的边际贡献分量计算公式；通过联邦学习模型的边际贡献分量计算公式计算联邦学习模型中各个参与者在联邦学习模型的第t次迭代中的边际贡献，联邦学习模型的边际贡献分量计算公式表示如下：

其中，S∪{i}表示模型集合；V(S∪{i},t)表示模型集合S∪{i}中第i个参与者在第t次迭代的模型效用函数值；G_t({i})表示在第t次迭代时，联邦学习模型中的第i个参与者在当前全局模型中的梯度；C表示联邦学习模型中的所有参与者组成的集合；loss表示联邦学习模型的全局损失函数，θ_t,i表示联邦学习模型中第i个参与者在完成第t次迭代后的模型；表示排列组合，|S|表示联盟中所有参与者的数量；

S34、对联邦学习模型中各个参与者在联邦学习模型的所有迭代中的边际贡献进行求和即可得到该参与者在联邦学习模型中的总边际贡献。

4.根据权利要求3中所述的纵向联邦学习场景中的贡献评估方法，其特征在于，步骤S1的具体步骤如下：

S11、构建由各个参与者自身具有的模型组合形成的联邦学习模型Φ，Φ=(θ₁,θ₂,…,θ_i,…,θ_n)，θ₁其中表示联邦模型中第1个参数者的模型；θ₂其中表示联邦模型中第2个参数者的模型；θ_i其中表示联邦模型中第i个参数者的模型；θ_n其中表示联邦模型中第n个参数者的模型；

S12、在联邦学习模型训练的第t次迭代中，参与者用本地数据计算得到本地计算结果，即δ_t,i=f_i(θ_t,i,x_i)；δ_t,i表示第i个参与者在第t次迭代过程中的计算得到的本地计算结果，f_i表示第i个参与者的计算函数；x_i表示第i个参与者的本地数据，θ_t,i表示第i个参与者在第t次迭代时的参数；

S13、将所有参与者的本地计算结果发送到服务器，服务器为纵向联邦学习拥有标签的第三方；服务器接收所有参与者的本地计算结果，并计算联邦学习模型在第t次迭代中的全局损失函数loss，loss=(δ_t,1,δ_t,2,…,δ_t,i,…,δ_t,n)，δ_t,1表示第1个参与者在第t次迭代过程中的计算得到的本地计算结果，δ_t,2表示第2个参与者在第t次迭代过程中的计算得到的本地计算结果，δ_t,n表示第n个参与者在第t次迭代过程中的计算得到的本地计算结果；

S14、利用全局损失函数计算全局梯度，全局梯度表示如下：

其中，G_t(C)表示联邦学习模型在第t迭代后的全局梯度，θ_t,1表示第1个参与者在第t次迭代时的参数，θ_t,2表示第2个参与者在第t次迭代时的参数；θ_t,n表示第n个参与者在第t次迭代时的参数。

5.根据权利要求4所述的纵向联邦学习场景中的贡献评估方法，其特征在于，步骤S2的具体步骤如下：

S21、设定一个合作博弈，并将该合作博弈定义为联盟；从联邦学习模型中选取设定数量的参与者放入到联盟中，并定义同时位于联盟和联邦学习模型中的参与者参与了联合训练；

S22、服务器使用来自联盟参与者上传的本地计算结果计算更新全局梯度，计算更新后的全局梯度表示如下：

其中，γ_t,i(i=1,2,...,n)表示G_t({i})(i=1,2,...,n)的参数；

若i∈S，即联邦学习模型中的第i个参数者也在联盟中，则γ_t,i=1，否则γ_t,i=0。

6.根据权利要求5所述的纵向联邦学习场景中的贡献评估方法，其特征在于，在联邦学习模型的训练过程中，服务器在计算完每个参与者的边界贡献值后，会接着计算每个参与者的权重，权重计算公式如下：

其中，ω_t,i(i=1,2,...,n)表示联邦学习模型在第t迭代后，第i个参与者的权重；

然后对全局梯度进行加权计算，以得到加权后的全局梯度；加权后的全局梯度表示如下：

其中，表示联邦学习模型在第t迭代后，加权后的全局梯度；ω_t,n表示联邦学习模型在第t迭代后，第n个参与者的权重；

最后使用加权后的全局梯度更新全局模型，更新后的全局模型如下：

其中，Φ_t+1表示第t+1次迭代的全局模型；Φ_t表示第t次迭代的全局模型；α_t表示全局模型第t次迭代时的学习效率。