CN116245172B - 跨孤岛联邦学习中优化个体模型性能的联盟组建方法 - Google Patents

Abstract

本发明公开了一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，该方法基于多组织之间合作训练模型场景下的联邦学习，包括建立一个利用神经网络进行效用拟合的评估方法来预测每个组织加入联盟后个体模型性能的改进情况，并以这个估计效用为输入设计了一种分布式联盟组建算法，以寻找稳定的联盟结构，并使得在每个组织模型性能改进都不为负的前提下尽可能最大化所有组织的整体性能改进量。本发明基于估计效用建立的联盟结构能够在实现纳什稳定或个体稳定的同时，实现社会福利的最优化和较好的个人满意度。

Description

跨孤岛联邦学习中优化个体模型性能的联盟组建方法

技术领域

本发明属于联邦学习技术，具体涉及跨孤岛联邦学习中的联盟组建技术，尤其涉及一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法。

背景技术

当今是大数据时代，而大数据正是人工智能应用蓬勃发展的“燃料”，但事实却是，现有技术面对的数据通常都是小规模、碎片化且彼此孤立的，而且由于用户隐私和数据安全方面的需求，这些数据可能同时被不同组织所拥有但不能被轻易聚合在一起，在这样的背景下，联邦学习作为一种分布式机器学习框架应运而生，通过联邦学习，多个数据所有者可以一起训练机器学习模型，数据留在本地，只转移本地模型，其结果是，既保护了数据隐私，也节省了通信的网络带宽。

联邦学习可以分为两种类型，跨设备联邦学习和跨孤岛联邦学习。在跨设备联邦学习中，一个组织充当中央服务器，参与者通常是该组织的客户，即智能设备的所有者，训练出的全局模型归本组织所有。在跨孤岛联邦学习中，第三方实体充当协调训练过程的中央服务器，而参与者变成了各个掌握一部分用户数据的组织，每个组织都有一个个人模型并利用它为客户服务并获利。由于更好的个体模型性能意味着模型服务客户时更高的潜在利润，因此在跨孤岛联邦学习过程中，这些组织最关心的是他们联合训练得到的全局模型对其个人数据分布的性能如何。为了保证每个参与联合训练的组织都能从中获益从而能够持续的加入训练，跨孤岛联邦学习需要解决如下问题：

1)来自不同组织的样本通常是异构的或者非IID((Independent andidentically distribute，独立同分布)的，这就会造成训练出的全局模型可能并不适合所有参与者。例如，如果有小额贷款业务的银行与有大额贷款业务的银行联合训练一个贷款风险估计模型，那么这个模型对小额贷款银行的性能将很差，由于这种非IID数据的负面影响，简单的将所有组织联合在一起并不总是一个好的方案。

2)在1)中所描述的现象为每个组织提出了一些基本问题：

2.1)一个组织是否需要和其他组织联合？如果需要，它应该选择哪些组织去联合才可以获得最大的性能改进？这些组织同意另外的组织加入联盟的条件是什么？整体最优的联盟组成是什么样子的？

为了回答这些问题，本发明研究了如何将组织安排成联盟来提高它们个人模型的性能效用，然而解决联盟组建的问题并非易事，原因如下：

a.个人模型的性能是优化的目标，但是只有在进行了联邦学习之后才能知道加入联邦学习对组织的个体模型性能的影响是否是正向的，如果指导组织加入某个联盟后最终得到了一个消极的作用，这个组织可能永远都不会再加入到联邦学习中来了。

b.同时满足所有组织都能在加入联盟后获益并且还能优化全局模型的整体效益是困难的。一个组织有它自己的模型效益，它不会遵循一个不能优化自身模型效益的联盟组建决策，即使这个决策带来了最大的整体效益。更糟糕的是，整体效益的优化问题是NP难的。

c.如果在进行联邦学习之前对每个组织加入联盟后个体模型性能提升的效果进行评估，并根据评估的结果进行联盟组建的话，这个估计结果会存在误差，如何控制误差对联盟形成的影响也是本发明需要克服的一个挑战。

发明内容

发明目的：针对上述现有工作中存在的个体模型性能估计和基于估计结果组建联盟的问题和挑战，本发明提供一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，该方法实现一种在联邦学习开始前就可以开展的个体模型性能改进估计方法，可实现收敛于稳定联盟结构并接近最优联盟结构的联盟组建算法。

技术方案：一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，所述方法基于联邦学习框架，面向多组织模型训练协作，以优化联盟中每个组织的个体模型性能为目标，用神经网络拟合个人模型的性能来估计组织加入联盟后获得的性能改进情况，并以估计结果作为输入，基于择优响应动力学思想设计了分布式联盟组建博弈，根据加入联盟是否需要原始成员的许可，算法收敛于纳什稳定或单个稳定解，并通过设计初始联盟结构，使所得解的整体效益最大化接近最优整体效益；

该方法中，所述的分布式联盟组建博弈为享乐博弈。

进一步的，所述方法实施步骤如下：

(1)对于一个数据联盟采用联邦学习算法FEDAVG进行协作训练学习，得到一个以θ为参数向量的机器学习模型f(θ)，其中N表示组织集合，所述的机器学习模型f(θ)是一个使联盟C中所有组织的平均损失/>最小的模型，符号l(θ,D_i)是给定参数θ的数据集D_i上的损失；

在步骤(1)进行的协作训练中，所述联邦学习算法FEDAVG中训练过程逐轮进行，每轮中心服务器首先会将全局模型f(θ)分配给每个组织，在每个组织提交本地模型后，中心服务器将全局模型的参数θ更新为此过程一直持续到全局模型收敛；

(2)构建跨孤岛联邦学习中的联盟组建框架，用于实现平台和组织之间的互动，所述平台用于帮助协调联盟组建的过程，也包括通过中央服务器执行该过程；

在所述联盟组建框架中，每个组织向平台提交的两条信息，分别是的训练样本数和模型f(θ_l)在本地测试集T_i中的每个/>上单独训练的性能/>且该步骤通过差分隐私中的Laplace机制降低隐私的暴露风险；

在Laplace机制中，根据Laplace分布L(0,Δf/ε)给添加噪声，Δf为有无客户机的/>之差，ε为隐私预算，设置为1；

(3)将组织划分为若干个联盟，以使每个组织的个体模型性都能得到提升；将每个参与联邦训练的组织视为自私的参与者，构建一个联盟组建博弈(N,≥)，符号N＝{1,...,n}是组织的集合，在集合≥＝{≥_i|i∈N}中，≥_i表示组织i对不同联盟的偏好，是由组织i的效用决定的二元传递关系，C≥_i C′当且仅当u_i(C)≥u_i(C′)；

博弈(N,≥)的解是联盟划分 是互不相交的且/>用Π(i)来表示包含组织i的联盟的索引序号，即i∈C_Π(i)；

(4)基于享乐博弈组建联盟，所述享乐博弈中存在如下两个关于个体偏差的稳定的判定：

(a)纳什稳定划分，该方法对于纳什稳定的数学定义如下：

对于任意i∈N和任意当C_Π(i)≥_i C∪{i}时，联盟划分Π是纳什稳定的；

(b)对于纳什稳定划分不存在的情况，引入了独立稳定划分，定义如下：

如果不存在i∈N和联盟使得对于所有的j∈C，C∪{i}＞_iC_Π(i)且C∪{i}≥_j C，则联盟划分Π是独立稳定的。

更进一步的说，步骤(1)中，针对一组组织集合N，每个组织i都有一个本地数据集W_i＝{(x,y)}，向量x＝{x¹,x²,...,x^m}表示输入特征向量X＝{X¹,X²,...,X^m}的一个特定值，y是标签Y的值，特征集是X∪{Y}的子集，组织i关于/>的数据分布是/>

对于每个特定的向量值 其中n_i＝|W_i|，/>是/>等于/>的样本数，本地数据集W_i分为训练集D_i和测试集T_i，均服从分布/>

模型f(θ)在其个人数据分布上的表现为个体模型性能表现v_i(C)，对于联盟C中组织i的效用u_i(C)是个体模型性能的改进，存在如下关系式：

u_i(C)＝v_i(C)-v_i({i}),i∈C

个体模型性能表现意味着准确性、F1评分或其他衡量模型预测能力的指标，v_i({i})表示由本地数据集D_i单独训练的模型性能。

在步骤(2)中，所述平台用于帮助协调联盟组建的过程，包括由中央服务器执行联盟组建的过程，在组织形成联盟过程中包括如下两个问题的解决：

a)估计个体模型性能的改进问题：平台根据和/>对每个组织i的效用函数u_i(C)进行估计，估计结果为u′_i(C)；

b)解决联盟组建问题：平台通过分布式算法解决基于效用估计结果u′_i(C)的联盟组建问题，以满足各组织的需求；

最后，平台将找到的解决方案发布给各个组织，各组织按照联盟结构协同执行联邦学习。

进一步的，步骤(3)中，最优联盟划分使社会福利最大化，即所有组织的效用之和，并满足每个组织效用非负的约束，其约束条件数学表示如下：

s.t.u_i(C_Π(i))≥0

u_i(C_Π(i))＝v_i(C_Π(i))-v_i({i})

Π(i)＝k if i∈C_k&C_k∈Π。

进一步的，根据步骤(4)所述享乐博弈及其定义，在一个独立稳定划分Π中，任何组织都不会移动到另一个联盟存在如下两个表现：

第一，自私的组织的效用最大，转移到其他联盟也无法得到更高的效用，关系式表示为u_i(C_Π(i))≥u_i(C∪{i})；

第二，联盟中存在组织可以通过移动到目标联盟C中获得更高的效用，但是目标联盟C中存在几个成员不允许其加入，关系式为u_j(C∪{i})＜u_j(C)；

该方法根据估计的效用u′_i(C)来进行联盟形成，如果组织不能通过改变联盟来改善u′_i(C)，视为分区是稳定的。

更进一步的，所述方法将个人满意度和个人失望度作为两个指标来衡量组织对于联盟组建的喜好程度，定义划分∏₁相对于∏₂的个人满意度如下所示：

上式与∏₂相比，在∏₁中效用增加的组织的比率。

更进一步的，所述方法对于联盟的划分过程如下：

S1、输入待划分的组织集合N和对于每种可能的划分联盟C，每个组织i加入其中的估计效用并将其发送给每个组织，并设定一个阈值r；

S2、通过设置初始分区来提高稳定分区的社会福利，具体如下：

首先比较具有不同联盟数l的最优分区，返回社会福利最高的分区，一个分区的社会福利用s表示，目前发现的最高社会福利用S表示，用基于动态规划的算法计算具有指定联盟数l的最优分区，动态规划的递归式表示如下：

R1:

R2:|C|≤|N′|-l+1

R3:

为了计算将组织集合N′划分为l个联盟的最优划分方案该方法首先确定并固定了/>中的第一个联盟C，并找到了组织集合为N′\C，联盟数为l-1的最优划分

寻找每个满足三个要求R1、R2和R3的合法联盟C，把初始化划分相应的结果发送给对应的组织；

S3、寻找纳什稳定划分

初始化分区结束后，对集合N中的每个组织i开始逐轮进行判断，如果一个组织i认为它现在所处的联盟对于它来说不是最好的，那么该组织就可以改变它所处的联盟，最好的联盟是使得u′_i(C)最大化的联盟，数学表达如下：

其中如果使得组织i的效用最大化的联盟C_k′不是当前组织i所处的联盟C_Π(i)，即k′≠Π(i)，则它需要发生移动，更新分区情况，即C_∏(i)从分区中移除组织i，C_k′将组织i加入到自己的联盟中来，该过程的数学表述如下：

C_Π(i)＝C_Π(i)\{i}

C_k′＝C_k′∪{i}

如果在一整轮组织i的判断中都满足k′＝∏(i)，组织一次都不需要移动，则算法终止，输出最终的稳定划分∏；

S4、寻找独立稳定划分

基于择优响应动力学，当轮到组织i移动时，按照u′_i(C_k∪{i})降序列出联盟，然后移动到满足以下两个条件的降序列表中的第一个联盟

i)比组织i当前所在的联盟效用高；

ii)在中接受组织i的成员比例不小于阈值ρ，所述阈值ρ的取值由平台确定。

有益效果：与现有技术相比，本发明实质性的进步和显著的效果如下：

1)本发明创新地提出了一种基于神经网络拟合效用的个体模型性能改进估计方法，并利用相对平均估计误差和估计效用符号错误的比率这两个指标对该方法进行了评估，评估结果表明按照本发明进行联盟组建所得到的模型具有对类似联邦学习问题的迁移能力，可以用于处理冷启动场景，此外本发明的估计方法不需要太多以前的联邦学习训练结果，因为实验结果表明当以前的训练结果数为60左右时，估计误差开始变得稳定。本发明所提出的估计模型的性能也是令人满意的，实验证明即使将模型迁移到类似的联邦学习问题上错误率也维持在非常低的水平。

2)已有的工作都是试图减少非IID数据在联邦学习训练过程中的负面影响，然而本发明通过设计一个合适的联盟结构在联邦学习开始之前就可以避免显著的非IID程度。

3)可以证明本发明提供的联盟组建算法可以收敛到稳定的分区，并且独立稳定分区几乎总是存在且可以被本发明提出的算法找到的。

4)由本发明所提出的联盟组建算法所找到的独立稳定划分的性能几乎与找到的最优划分性能相同，说明本发明所提出的将初始分区设置为最优划分的思路得到的稳定解比其他稳定解更接近最优解。

5)本发明将个人满意度和个人失望度作为两个指标来衡量组织是否喜欢本发明所提供的联盟组建方案，定义划分∏₁相对于∏₂的个人满意度为：

它是与∏₂相比，在Π₁中效用增加的组织的比率。个人失望度衡量那些期望积极效用的组织是否真的得到了积极的效用，如果一个组织被告知只要遵循稳定的解决方案就可以得到正效用，但在联邦学习完成后却得到了负效用，该组织就会失望。实验结果表明大多数组织在遵循本发明提供的联盟组建方案进行联邦学习后真正提高了效用，个体满意度大于0.5，失望组织的比例低于5％。

附图说明

图1是本发明所述方法所构建的联盟组建框架的结构示意图；

图2所示是本发明设计的效用估计神经网络模型的结构示意图；

图3所示是采用不同分区策略进行联邦学习后所获得的实际社会福利情况的实验结果图；

图4所示是各个分区策略的个人满意度对比情况实验结果图。

具体实施方式

为了详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。

在全联邦学习设置(即所有组织直接组成一个大联盟)下进行组织之间的多方模型协作训练，虽然能带来更优的整体模型效益，但其中部分组织的个人模型性能在全联邦过程中也可能会因得不到正向改进而导致该组织认为没有必要甚至不愿继续加入联邦训练，针对这一问题，本发明提供一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，该方法基于联邦学习框架，以优化联盟中每个组织的个体模型性能为目标，首先用神经网络拟合个人模型的性能来估计组织加入联盟后获得的性能改进情况，然后以估计结果作为输入，借助本发明基于择优响应动力学思想设计的分布式联盟组建博弈，就可以得到使得每个组织都可以从它所在的联盟中获得个人模型性能提升效果的并且还可以使整体模型效益最优的可以收敛且稳定的联盟组建方案。

在各个组织得到本发明所述方法提供的联盟组建方案后，对于由多个组织构建的一个数据联盟，本发明采用应用最广泛的联邦学习算法FEDAVG进行协作训练学习，训练过程逐轮进行，每轮中心服务器首先会将全局模型分配给每个组织，在每个组织提交本地模型后，中心服务器会聚合各个本地模型来更新全局模型的参数，此过程一直持续到全局模型收敛，最终可以得到一个以θ为参数向量的机器学习模型f(θ)。

在本发明所述的方法中，该方法是基于神经网络效用拟合帮助参与模型训练的各个组织形成稳定且符合各方利益的合作联盟的分布式算法。

本发明所提供的技术方案具体实施步骤可描述如下：

(1)定义系统模型以及问题描述。

考虑一组组织集合N，每个组织i都有一个本地数据集W_i＝{(x,y)}。向量x＝{x¹,x²,...,x^m}表示输入特征向量X＝{X¹,X²,...,X^m}的一个特定值，y是标签Y的值。描述组织特征的最重要的特征集是X∪{Y}的子集。组织i关于/>的数据分布是/>对于每个特定的向量值/> 其中n_i＝|W_i|，/>是/>等于/>的样本数。本地数据集W_i分为训练集D_i和测试集T_i，它们都服从分布/>

当一些组织组成一个数据联盟时，它们协作的进行联邦学习，得到一个以θ为参数向量的机器学习模型f(θ)。所述方法采用联邦学习算法FEDAVG进行协作训练，其目标是训练一个使联盟C中所有组织的平均损失/>最小的模型f(θ)。符号l(θ,D_i)是给定θ的数据集D_i上的损失。在FEDAVG中训练过程逐轮进行，每轮中心服务器首先会将全局模型f(θ)分配给每个组织，在每个组织提交本地模型后，中心服务器将全局模型的参数θ更新为/>这个过程一直持续到全局模型收敛。

在此指出的是，在FEDAVG协作训练的时候，每轮全局模型经过训练，迭代得到机器学习模型f(θ),此时的学习模型f(θ)为最终联盟学训练完的模型。在实际的网络系统应用中，当中心服务器将当前的全局模型分发给每个设备，这些设备会先从本地数据当中随机选取一个mini batch做为性训练数据，然后使用各种优化算法进行模型的更新，之后中心服务器会收集本地更新进行聚合，比如加权平均，随后根据聚合的结果相应的去更新全局模型，中心服务器将更新后的模型再次分发给终端设备以便他们继续训练，以此反复，直到收敛，达到一个预设的通信轮数，可以实现在联邦学习的过程中每个设备只需要上传本地模型的更新到中心服务器而不需要分享的原始数据，从而大大的减少了隐私泄漏的风险。

联盟C中的组织最关心的是f(θ)在其个人数据分布上的表现，这被称为个体模型性能表现v_i(C)。在这里。模型性能表现意味着准确性、F1评分或其他衡量模型预测能力的指标。那么v_i({i})就是由本地数据集D_i单独训练的模型性能。联盟C中组织i的效用u_i(C)是个体模型性能的改进，如下所述：

对于组织i来说，它的效用u_i(C)是通过加入联盟C获得的个体模型性能v_i(C)和通过单独训练机器学习模型获得的v_i({i})之间的差值，即：

u_i(C)＝v_i(C)-v_i({i}),i∈C

(2)构建跨孤岛联邦学习中的联盟组建框架。该框架描述了平台与组织之间的互动，该平台可以是联邦学习进程中的中央服务器，也可以是一个新的、只是帮助协调联盟组建的过程。在框架中，每个组织首先向平台提交两条信息：第一个是每个的训练样本数第二个是模型f(θ_l)在本地测试集T_i中的每个/>上单独训练的性能/>如对于T_i中/>等于/>的样本上f(θ_l)的准确率。信息/>可能会暴露组织客户的隐私，例如，在客户机来到组织i之前和之后，平台知道/>分别为90和91，然后它就会知道客户机的特征/>是但是这种隐私暴露的风险可以通过差分隐私技术有效降低，本发明采用差分隐私中的Laplace机制，根据Laplace分布L(0,Δf/ε)给/>添加噪声，Δf为有无客户机的/>之差，在本发明中的问题中它等于1，ε为隐私预算，将其设置为1。

从组织获取信息后，平台就会解决以下两个问题来帮助组织形成联盟：

a)估计个体模型性能的改进：平台根据和/>对每个组织i的效用函数u_i(C)进行估计，估计结果为u′_i(C)。

b)解决联盟组建问题：平台通过分布式算法解决基于效用估计结果u′_i(C)的联盟组建问题，以满足各组织的需求。

最后，平台将找到的解决方案发布给各个组织，各组织按照联盟结构协同执行联邦学习

(3)将组织划分为适当的联盟，以使每个组织都能满足其效用，即个体模型性能得到改进，同时，也希望整体的效益尽可能大，解决这个问题有助于鼓励组织持续地参与到跨孤岛联邦学习中。由于每个组织都以优化自身效用为目标，将它们视为自私的参与者，并将所考虑的问题表述为一个联盟组建博弈(N,≥)。符号N＝{1,...,n}是组织的集合，在集合≥＝{≥_i|i∈N}中，≥_i表示组织i对不同联盟的偏好，它是由组织i的效用决定的二元传递关系，即C≥_i C′当且仅当u_i(C)≥u_i(C′)。

博弈(N,≥)的解是联盟划分 是互不相交的且/>用Π(i)来表示包含组织i的联盟的索引序号，即i∈C_∏(i)。

从平台的角度来看，最优的联盟划分是使所有组织的整体效用最大化的联盟划分，同时，每个组织的效用不应该是负的，因为一个组织通常是一个需要盈利的企业，由于相关的优化问题是NP-hard问题，寻找最优联盟划分是困难的。最优联盟划分使社会福利最大化，即所有组织的效用之和，并满足每个组织效用非负的约束，其约束条件数学表示如下：

s.t.u_i(C_∏(i))≥0

u_i(C_∏(i))＝v_i(C_∏(i))-v_i({i})

∏(i)＝k if i∈C_k&C_k∈∏

然而，如果自私的组织可以通过转移到其他联盟来提高其效用，那么它们就不会留在由最优分区指定的联盟中，而理想的联盟结构应该是那些让所有组织都满意的结构，对于这样的联盟分区，组织将稳定地停留在指定的联盟中而不移动。如果每个参与者的效用完全由其联盟决定，并且独立于其他联盟，那么联盟组建博弈是一个享乐博弈。在这里利用享乐博弈中的稳定的概念，在本发明的问题中形成理想的联盟结构。在跨孤岛联盟中，组织的个体模型性能完全由联盟中的组织决定，与其他联盟无关，因此联盟组建决策是一个享乐博弈，在享乐博弈中，有两类关于个体偏差的稳定概念：

a)第一种被称为纳什稳定划分，即没有一个玩家有动机单方面改变其联盟，因为它不能获得更高的效用，对于本问题，纳什稳定的数学定义如下：

对于任意i∈N和任意当C_Π(i)≥_i C∪{i}时，联盟划分Π是纳什稳定的。

纳什稳定分区有一个默认的假设，即一个组织可以加入联盟只要它想。Nash稳定划分是强的并且达到了著名的纳什均衡，但它实际上很难达到，根据评估结果，纳什稳定划分仅存在于50％的情况下。

b)为了解决纳什稳定划分不存在的问题，引入了独立稳定划分。其定义如下：

如果不存在i∈N和联盟使得对于所有的j∈C，C∪{i}＞_iC_Π(i)且C∪{i}≥_j C，则联盟划分Π是独立稳定的。

根据上述定义，在一个独立稳定划分Π中，由于以下两个原因，任何组织都不会移动到另一个联盟

第一，它们中的一些不能得到更高的效用，即u_i(C_Π(i))≥u_i(C∪{i})

第二，一些组织可以通过移动到目标联盟C中获得更高的效用，但是C中存在几个成员不允许其加入，因为它们的效用会降低，即u_j(C∪{i})＜u_j(C)。

然后分区不再改变，趋于稳定，独立稳定的分区更容易实现，因为当需要加入联盟的限制时，组织更难更改它们的联盟。

在本方法中，希望在实现纳什稳定或独立稳定的同时，实现社会福利的最优化，由于真正的u_i(C)在联邦学习之前是不可能获知的，因此根据估计的效用u′_i(C)来进行联盟形成，如果组织不能通过改变联盟来改善u′_i(C)，那么分区是稳定的。

基于上述所提供的实施步骤，下面更进一步的说明本发明是如何进行个体模型性能改进的准确估计的问题。

本发明所述方法中利用神经网络进行效用拟合的手段，该方法首先通过研究选出了8个可以协同影响u_i(C)的因素，它们可以分成三类：组织i、联盟C和组织i与联盟C之间的差异。

a)关于组织i的因素：

在这类因素中，第一个因素是组织i的训练数据量，它可以根据提交的信息计算为/>实验表明效用u_i(C)与这个因素有相反的关系。

第二个因素是单独训练模型得到的局部模型性能，可以用来计算它的值，实验表明效用会随着本地模型精度的增加而减少，这意味着在本地模型性能已经很好的情况下，加入联邦学习所得到的改善是有限的。

b)关于联盟C的因素：

这类因素中，第一个是成员数C，第二个是总数据量Σ_i∈Cn_i，实验表明效用u_i(C)和这两个因素呈显著正相关。第三个是所有成员的平局局部精度，其数学表达为：Σ_i∈Cv_i({i})/|C|，实验表明效用u_i(C)和这个因素呈显著负相关。

c)关于组织i与联盟C之间差异的因素：

这一类别包括三个因素，首先是测量组织i与联盟C的分布差异的KL散度实验表明，随着KL散度的增大，u_i(C)减小。

第二个是关于变量 的每个值/>的加权相对体积差。

第三个是由下述公式计算的加权精度差值：

精度差异是组织i关于的本地模型精确度与所有其他组织的平均精确度之间的差异，权重是/>与组织i总数据量的比值。

实验表明，加权相对体积差和加权相对精度差可以很好的解释联邦学习如何使得每个参与者收益，并且加权精度差异与u_i(C)有更直接的关系。

本发明利用以往的联邦学习结果来训练神经网络以拟合效用u_i(C)，这是因为考虑到8个因素协同影响u_i(C)，传统的拟合方法，如最小二乘法，由于难以选择合适的拟合函数来描述这种复杂的、涉及众多因素的协作关系，因而难以奏效。为了减少在实际跨孤岛联邦学习系统中收集以往联邦学习结果的负担，本发明选择了一个简单的网络结构，如图2所示，它有三个完全相连的层，每层后面都有一个TANH激活函数，以8个影响因子{f₁,...,f₈}为输入。

注意到本发明的估计方法有一个冷启动的问题，当被考虑的机器学习问题没有先前的联邦学习结果时如何训练估计模型？由此发现，由特定机器学习问题训练的估计模型在类似的学习问题中仍然有效，通过将MNIST数据集训练的估计模型应用于FMNIST的学习问题，验证了这种迁移能力，相对估计误差约为40％，u_i(C)的符号预测准确率约为80％，基于这种转移网络的联盟组建结果仍然比所有组织仅仅在一起组建一个大联盟效果要好。

针对步骤(2)中提到的如何基于效用估计结果u′_i(C)解决联盟组建问题，本发明基于最佳/择优响应动力学的思想设计提供了一种分布式联盟划分方法，该方法以估计效用作为输入，终止时收敛到一个纳什稳定分区或一个独立稳定分区，将初始分区设置为基于动态规划算法找到的最优分区使得该方法所实现的社会福利接近最佳社会福利。

更进一步详细阐述上述联盟划分方法实施过程如下。

步骤1：输入待划分的组织集合N和对于每种可能的划分联盟C，每个组织i加入其中的估计效用并将其发送给每个组织，另外还需要提前设定一个阈值r。

步骤2：通过精心设置初始分区来提高稳定分区的社会福利。

在组建联盟的时候，除了考虑个人效用外，本发明还希望同时能够优化社会福利，具体地说，如果存在多个稳定解，本发明的方法可以收敛到接近最优解的稳定划分。本发明所提出的方法将初始联盟结构设置为最优结构，在最优划分满足纳什稳定性或个体稳定性的极端情况下，算法将直接收敛。然而最优划分是NP难问题的解，该问题的计算时间随着组织数目的增加而迅速增加，因此，当组织数目|N|大于设定的阈值r时，该方法简单地让每个组织在初始划分中形成联盟，即П＝{C_i＝{i}}_i∈N；当|N|＜r时，利用动态规划的思路进一步减少计算量，该思路的具体实现如下：

首先比较具有不同联盟数l的最优分区，返回社会福利最高的分区。一个分区的社会福利用s表示，目前发现的最高社会福利用S表示。用基于动态规划的算法计算具有指定联盟数l的最优分区，动态规划的递归式表示如下：

R1:

R2:|C|≤|N′|-l+1

R3:

为了计算将组织集合N′划分为l个联盟的最优划分方案该方法首先确定并固定了/>中的第一个联盟C，并找到了组织集合为N′\C，联盟数为l-1的最优划分该方法尝试了每个满足三个要求R1、R2和R3的合法联盟C，其中要求R2的意义是联盟C的大小不大于|N′|-(l-1)，因为剩下的组织必须足以形成l-1个联盟。要求R3意味着C中的每个成员的效用都必须非负，当满足递归停止条件l＝1时，最优划分只包含一个联盟，如果它有效，则返回它。最后把初始化划分相应的结果发送给对应的组织。

步骤3：寻找纳什稳定划分

寻找纳什稳定分区主要基于最佳响应动力学思想，在步骤1中所描述的初始化分区结束后，对集合N中的每个组织i开始逐轮进行判断，如果一个组织i认为它现在所处的联盟对于它来说不是最好的，那么该组织就可以改变它所处的联盟，最好的联盟是使得u′_i(C)最大化的联盟，数学表达如下：

其中如果使得组织i的效用最大化的联盟C_k′不是当前组织i所处的联盟C_Π(i)，即k′≠Π(i)，则它需要发生移动，更新分区情况，即C_Π(i)从分区中移除组织i，C_k′将组织i加入到自己的联盟中来，该过程的数学表述如下：

C_Π(i)＝C_∏(i)\{i}

C_k′＝C_k′∪{i}

如果在一整轮组织i的判断中都满足k′＝v(i)，组织一次都不需要移动，则算法终止，输出最终的稳定划分Π。

步骤4：寻找独立稳定划分

当寻找一个独立稳定分区的时候，通常使用的最佳相响应动力学思想往往不起作用，这是因为对于组织i的最好的联盟的成员可能不接受组织i，因此，本发明将最佳响应动力学扩展到择优响应动力学，当轮到组织i移动时，它按照u′_i(C_k∪{i})降序列出联盟，然后它移动到满足以下两个条件的降序列表中的第一个联盟

i)比组织i当前所在的联盟好；

ii)在中接受组织i的成员比例不小于阈值ρ，ρ的取值可以由平台灵活确定，如果取ρ＝1，则表示只有当所有成员都同意时，组织i才能成功加入新的联盟，这样算法可以收敛到命题1所证明的一个独立稳定的划分。也可以设置ρ＝0.5，即如果一个联盟有一半的成员支持组织i加入，它就会接受组织i的加入，这符合投票机制。

根据评估结果，本发明所提出的联盟组建博弈在几乎所有情况下都有且仅有一个独立稳定的划分，对于纳什稳定性，本发明中的博弈有时没有稳定的分区，有时有多个稳定分区。可以证明如果稳定分区存在的话，该算法一定可以收敛到稳定的分区，先将这一结论表述成如下的命题形式：

命题1：如果寻找纳什稳定的算法终止，则所得到的解是一个纳什稳定分区，或者若ρ＝1，则算法一定会收敛到一个独立稳定的划分。

证明过程如下：

假设在算法终止时找到的分区是Π，显然，对于每个组织i，由于没有人离开当前的联盟C_Π(i)，所以对于所有的u′_i(C_v(i))≥u′_i(C∪{i})因此Π满足纳什稳定划分的定义，算法会以纳什稳定划分终止。

当寻找阈值ρ＝1的独立稳定分区时，如果每个组织i满足以下两个条件之一，则终止。首先，对于所有的u′_i(C_∏(i))≥u′_i(C∪{i})。其次，在任何比C_∏(i)好的联盟中，如果组织i加入C，则至少有一个成员j的效用会受到损害，即u_j(C∪{i})＜u_j(C)，然后对于所有的j∈C，不存在i∈N和一个/>使得C∪{i}＞_i C_∏(i)并且C∪{i}≥_j C，因此满足独立稳定分区的定义并且算法会收敛到一个独立稳定分区。

图3显示了采用不同分区策略时，做联邦学习后获得的实际社会福利。ROP是指根据每个组织实际的单个效用找到的最优分区。“全联邦(All Federated)”的线表示的是当所有组织一起组成一个大联盟时的社会福利，可以看到它的平均社会福利是负的，这意味着在跨孤岛的联邦学习中，让所有的组织联合在一起不是一个好主意。OP(根据估计的效用找到的初始最优分区)和ISP(独立稳定划分)的社会福利接近ROP，表明效用估计误差造成的社会福利损失是可以接受的。

结合图4所示，本发明所设计的算法ISP(独立稳定划分)和NSP(纳什稳定划分)比OP(根据估计的效用找到的初始最优分区)和AF(全联邦，所有组织组成一个大分区)都要好，因为相应的个体满意度大于0.5，这意味着超过一半的组织喜欢本发明提供的联盟划分方案，而不是OP和AF。

Claims (7)

1.一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：所述方法基于联邦学习框架，面向多组织模型训练协作，以优化联盟中每个组织的个体模型性能为目标，用神经网络拟合个人模型的性能来估计组织加入联盟后获得的性能改进情况，并以估计结果作为输入，基于择优响应动力学思想设计分布式联盟组建博弈，根据加入联盟是否需要原始成员的许可，算法收敛于纳什稳定或单个稳定解，并通过设计初始联盟结构，使所得解的整体效益最大化接近最优整体效益；

该方法中，所述的分布式联盟组建博弈为享乐博弈；

所述方法步骤如下：

(1)对于一个数据联盟采用联邦学习算法FEDAVG进行协作训练学习，得到一个以θ为参数向量的机器学习模型f(θ)，其中N表示组织集合，所述的机器学习模型f(θ)是一个使联盟C中所有组织的平均损失/>最小的模型，符号l(θ,D_i)是给定参数θ的数据集D_i上的损失；

步骤(1)中，所述联邦学习算法FEDAVG中训练过程逐轮进行，每轮中心服务器首先会将本轮的全局模型分配给每个组织，在每个组织提交本地模型后，中心服务器将全局模型的参数θ更新为全局模型经过训练学习迭代得到机器学习模型f(θ)，此训练过程一直持续到全局模型收敛；

(2)构建跨孤岛联邦学习中的联盟组建框架，用于实现平台和组织之间的互动，所述平台用于帮助协调联盟组建的过程，也包括基于联邦学习的中央服务器实现；

在所述联盟组建框架中，每个组织向平台提交的两条信息，分别是的训练样本数/>和模型f(θ_l)在本地测试集T_i中的每个/>上单独训练的性能/>且该步骤通过差分隐私中的Laplace机制降低隐私的暴露风险；

在Laplace机制中，根据Laplace分布L(0,Δf/ε)给添加噪声，Δf为有无客户机的之差，ε为隐私预算，设置为1；

(3)将组织划分为若干个联盟，以使每个组织的个体模型性都能得到提升；

该步骤将每个参与联邦训练的组织视为自私的参与者，构建一个联盟组建博弈(N,≥)，符号N＝{1,...,n}是组织的集合，在集合≥＝{≥_i|i∈N}中，≥_i表示组织i对不同联盟的偏好，是由组织i的效用决定的二元传递关系，C≥_iC′当且仅当u_i(C)≥u_i(C′)；

博弈(N,≥)的解是联盟划分是互不相交的且/>用Π(i)来表示包含组织i的联盟的索引序号，即i∈C_Π(i)；

(4)基于享乐博弈组建联盟，包括对如下两个关于个体偏差稳定的判定：

(a)纳什稳定划分，所述方法对于纳什稳定的数学定义如下：

对于任意i∈N和任意当C_Π(i)≥_iC∪{i}时，联盟划分∏是纳什稳定的；

(b)对于纳什稳定划分不存在的情况，引入了独立稳定划分，定义如下：

如果不存在i∈N和联盟使得对于所有的j∈C，C∪{i}≥_iC_∏(i)且C∪{i}≥_jC，则联盟划分∏是独立稳定的；

所述方法对于联盟的划分过程如下：

S1、输入待划分的组织集合N和对于每种可能的划分联盟C，每个组织i加入其中的估计效用并将其发送给每个组织，并设定一个阈值r；

S2、通过设置初始分区来提高稳定分区的社会福利，具体如下：

首先比较具有不同联盟数l的最优分区，返回社会福利最高的分区，一个分区的社会福利用s表示，目前发现的最高社会福利用S表示，用基于动态规划的算法计算具有指定联盟数l的最优分区，动态规划的递归式表示如下：

R1:

R2:|C|≤|N′|-l+1

R3:

为了计算将组织集合N′划分为l个联盟的最优划分方案首先确定并固定了/>中的第一个联盟C，并找到了组织集合为N′\C，联盟数为l-1的最优划分/>

寻找每个满足三个要求R1、R2和R3的合法联盟C，把初始化划分相应的结果发送给对应的组织；

S3、寻找纳什稳定划分：初始化分区结束后，对集合N中的每个组织i开始逐轮进行判断，如果一个组织i认为它现在所处的联盟对于它来说不是最好的，那么该组织就可以改变它所处的联盟，最好的联盟是使得u_i′(C)最大化的联盟，数学表达如下：

其中如果使得组织i的效用最大化的联盟C_k′不是当前组织i所处的联盟C_Π(i)，即k′≠Π(i)，则它需要发生移动，更新分区情况，即C_Π(i)从分区中移除组织i，C_k′将组织i加入到自己的联盟中来，该过程的数学表述如下：

C_Π(i)＝C_Π(i)\{i}

C_k′＝C_k′∪{i}

如果在一整轮组织i的判断中都满足k′＝Π(i)，组织一次都不需要移动，则算法终止，输出最终的稳定划分Π；

S4、寻找独立稳定划分：基于择优响应动力学，当轮到组织i移动时，按照u′_i(C_k∪{i})降序列出联盟，然后移动到满足以下两个条件的降序列表中的第一个联盟

i)比组织i当前所在的联盟效用高；

ii)在中接受组织i的成员比例不小于阈值ρ，阈值ρ由平台确定。

2.根据权利要求1所述的跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：步骤(1)中，针对一组组织集合N，每个组织i都有一个本地数据集W_i＝{(x,y)}，向量x＝{x¹,x²,...,x^m}表示输入特征向量X＝{X¹,X²,...,X^m}的一个特定值，y是标签Y的值，特征集是X∪{Y}的子集，组织i关于/>的数据分布是/>

对于每个特定的向量值 其中n_i＝|W_i|，/>是/>等于/>的样本数，本地数据集W_i分为训练集D_i和测试集T_i，均服从分布/>

3.根据权利要求1所述的跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：模型f(θ)在其个人数据分布上的表现为个体模型性能表现v_i(C)，对于联盟C中组织i的效用u_i(C)是个体模型性能的改进，存在如下关系式：

u_i(C)＝v_i(C)-v_i({i}),i∈C

个体模型性能表现意味着准确性、F1评分衡量模型预测能力的指标，v_i({i})表示由本地数据集D_i单独训练的模型性能。

4.根据权利要求1所述的跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：步骤(2)中，所述平台用于帮助协调联盟组建的过程，包括由中央服务器执行联盟组建的过程，在组织形成联盟过程中包括如下两个问题的解决：

a)估计个体模型性能的改进问题：平台根据和/>对每个组织i的效用函数u_i(C)进行估计，估计结果为u′_i(C)；

b)解决联盟组建问题：平台通过分布式算法解决基于效用估计结果u′_i(C)的联盟组建问题，以满足各组织的需求；

最后，平台将找到的解决方案发布给各个组织，各组织按照联盟结构协同执行联邦学习。

5.根据权利要求1所述的跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：步骤(3)中，最优联盟划分使社会福利最大化，为所有组织的效用之和，并满足每个组织效用非负的约束，其约束条件数学表示如下：

s.t.u_i(C_Π(i))≥0

u_i(C_Π(i))＝v_i(C_Π(i))-v_i({i})

Π(i)＝k if i∈C_k&C_k∈Π。

6.根据权利要求1所述的跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：根据步骤(4)所述的享乐博弈及其定义，在一个独立稳定划分Π中，任何组织都不会移动到另一个联盟存在如下两个表现：

第一，自私的组织的效用最大，转移到其他联盟也无法得到更高的效用，关系式表示为u_i(C_Π(i))≥u_i(C∪{i})；

第二，联盟中存在组织可以通过移动到目标联盟C中获得更高的效用，但是目标联盟C中存在几个成员不允许其加入，关系式为u_j(C∪{i})＜u_j(C)；

该方法根据估计的效用u′_i(C)来进行联盟形成，如果组织通过改变联盟也不能改善u′_i(C)，视为分区是稳定的。

7.根据权利要求1所述的跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，其特征在于：所述方法将个人满意度和个人失望度作为两个指标来衡量组织对于联盟组建的喜好程度，定义划分Π₁相对于Π₂的个人满意度如下所示：

上式与Π₂相比，在Π₁中效用增加的组织的比率。