CN115081676A - 一种基于合同理论的多任务无线联邦学习方法 - Google Patents

Abstract

本发明公开了一种基于合同理论的多任务无线联邦学习方法，该方法按以下步骤进行：模型拥有者对移动用户进行分簇，每个移动用户簇分别训练不同的联邦学习任务；模型拥有者通过一组最优合同对每个移动用户簇进行激励；其中，每个最优合同包括最佳奖励报酬和最佳全局迭代次数；每个移动用户簇分别执行联邦学习过程，同时完成不同的联邦学习任务。在本发明的合同理论中，模型拥有者有效激励了多个移动用户簇进行数据训练，并且同时完成了多个不同的联邦学习任务，从而提高整体联邦学习过程的工作效率。同时，模型拥有者能够在信息不对称的情况下最大化自己的效益。

Description

一种基于合同理论的多任务无线联邦学习方法

技术领域：

本发明涉及联邦学习中的激励机制的领域，特别是一种基于合同理论的多任务无线联邦学习方法。

背景技术：

随着物联网技术的迅速发展，现代物联网(IoT)设备的传感和通信能力不断增强。移动设备在边缘环境下能够收集到海量且高质量的数据。基于机器学习技术，这些数据可以为人们提供智慧服务。现有的机器学习方法大多是集中式训练，这就要求移动设备将数据集中发给中心服务器，但是由于频谱资源的稀缺性以及数据的隐私性，移动设备直接传输数据至中心服务器进行训练会产生较大的传输时延以及隐私泄露问题。

为了解决这个困境，一种被称为联邦学习的分布式机器学习方法被提出。与传统的中央服务器获取和存储移动设备原始数据的集中式模型训练过程不同，联邦学习允许移动设备将本地数据保存在自己的设备上，并且只共享中间模型参数，这很好地保护了用户的数据隐私。虽然联邦学习是一项极富前景的机器学习方法，但是移动设备参与到联邦学习的过程中将会消耗大量的私有资源，比如计算能力、带宽和珍贵数据等等，考虑到移动设备的自私性，在没有奖励的情况下设备往往不愿无偿牺牲自己的资源来协助联邦学习训练，与此同时，系统内时常存在需要同时训练多个任务的情况。

因此，如何设计一个面向多任务联邦学习场景的设备激励机制是目前亟需解决的问题。

发明内容：

本发明所要解决的技术问题是克服现有技术的不足而提供的一种基于合同理论的多任务无线联邦学习方法，其目标在于模型拥有者高效激励实现对多个移动设备簇进行激励，并且同时完成多个不同的联邦学习任务，从而提高整体联邦学习过程的工作效率，与此同时，模型拥有者能够在信息不对称的情况下，最大化自己的效益。

本发明为解决上述技术问题采用以下技术方案：

一种基于合同理论的多任务无线联邦学习方法，所述方法包括以下步骤：

模型拥有者对移动用户进行分簇，每个移动用户簇分别训练不同的联邦学习任务；

模型拥有者通过一组最优合同对每个移动用户簇进行激励；其中，每个最优合同包括最佳奖励报酬和最佳全局迭代次数；

每个移动用户簇分别执行联邦学习过程，同时完成不同的联邦学习任务。

进一步地，模型拥有者通过余弦相似度对移动用户进行分簇，具体步骤如下：

(a)模型拥有者向所有移动用户分发相同的学习模型进行联邦学习，联邦学习过程

中全局损失函数为：

其中D_m为移动用户m的本地数据集，

表示所有移动用户的训练数据的总和；

l_w(w,x_m,t,y_m,t)为移动用户m在给定模型参数w的情况下，在{x_m,t,y_m,t}上的损失函数；

{x_m,t,y_m,t}为D_m中的第t组数据，x_m,t、y_m,t分别为D_m中的第t组数据中的样本数据及其对应标签；

移动用户m的经验风险函数为：

(b)计算任意两个移动用户a和b梯度之间的余弦相似度：

其中w^*是使全局损失函数达到最小的模型参数，

分别为r_a(w)、r_b(w)在w＝w^*处的梯度值，

l_w(w,x_a,t,y_a,t)为移动用户a在给定模型参数w的情况下，在{x_a,t,y_a,t}上的损失函数；l_w(w,x_b,t,y_b,t)为移动用户b在给定模型参数w的情况下，在{x_b,t,y_b,t}上的损失函数；

每个用户簇的分离间距为：

其中，

是用户簇C_i中移动用户与其他用户簇中的移动用户间的最大的余弦相似度，

是用户簇C_i中用户间最小的余弦相似度；

(c)按照各个用户簇均需满足

的原则，对移动用户进行分簇，并在每个用户簇中随机选出一个簇头；其中簇头不参与联邦学习，仅用作模型参数的聚合与下发。

进一步地，模型拥有者通过一组最优合同对每个移动用户簇进行激励，具体为：

用户簇C_i的属性π_i＝(η_i,ε_i)，其中，ε_i为C_i的训练精确度要求，η_i为C_i进行一次全局迭代的花销：

其中，κ为能量对应花销，K_i为C_i中随机选取参与训练的移动用户个数，E_i为C_i中移动用户的本地迭代次数，

为C_i中第k个移动用户i_k执行一次本地迭代计算耗费的能量，

为i_k参与一次全局迭代需要耗费的通信能量；

按照每个用户簇一次全局迭代的花销的升序，重新索引用户簇，并得到第i个用户簇完整执行完一次合同所得利润为：

u_i(θ_i)＝R_i-η_ir_i

其中，θ_i为第i个用户簇设计的合同项，θ_i＝(r_i,R_i)，R_i为模型拥有者对第i个用户簇的激励，r_i为第i个用户簇完成θ_i所需的全局迭代总次数；

一组可行的合同必须满足以下条件：

1)

2)R_I-η_Ir_I≥0

3)R_i-η_ir_i≥R_i+1-η_ir_i+1

4)R_i-η_ir_i≥R_i+1-η_i+1r_i+1

因此，在可行的合同中，最优奖励

的表达式为：

其中，I为用户簇的数量；

计算效益函数：

其中，S,A₀,B₀均为常数，N_i为第i个用户簇中的移动用户总数。

将最优奖励

的表达式代入效益函数中，并通过求解如下问题获得最佳全局迭代次数

将所得

代入最优奖励

的表达式中，即得到最佳奖励报酬

进一步地，每个移动用户簇分别执行联邦学习过程，具体为：

对于第i个用户簇，模型拥有者先将初始模型参数下发至第i个用户簇内的簇头；在第i个用户簇内部，簇头随机选择若干移动用户进行一次本地迭代，完成本地迭代后，随机选择的每个移动用户将所得的模型参数最优解上传至簇头，簇头进行聚合后，再将更新后的模型参数发送给随机选择的每个移动用户，进行下一次本地迭代，如此往复

次，簇头将最终的更新后的模型参数发送至模型拥有者，完成该簇的联邦学习。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明实现了激励多个移动设备簇同时完成多个不同的联邦学习任务，提高了整体联邦学习过程的工作效率；

(2)模型拥有者能够在信息不对称的情况下最大化自己的效益。

附图说明：

图1为本发明实例的联邦系统模型图；

图2为一种基于合同理论的多任务无线联邦学习方法的流程图；

图3为本发明实施实例提供的用户簇类型与模型拥有者效益的关系在不同激励策略下的对比图；

图4为本发明实施实例提供的用户簇类型与各个移动用户簇得到收益的关系在不同激励策略下的对比图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图即具体实施实例对本发明进行细节描述。

在一个实施例中，系统模型如图1所示，包含一个模型拥有者和M个移动用户。由于移动用户的数据分布不同，将用户按照数据分布的相似度分成了I个用户簇，且每个移动用户簇分别训练不同的联邦学习任务。模型拥有者通过一组最优合同

对移动用户簇进行激励，每个移动用户簇选择适合自己的合同项，分别执行联邦学习过程，同时完成I个不同的联邦学习任务。模型拥有者的目标是将用户按数据分布情况进行分簇，并且有效激励多个移动用户簇进行数据训练，同时完成多个不同的联邦学习任务，从而提高整体联邦学习过程的工作效率，同时，模型拥有者能够最大化自己的效益。

在一个实施例中，如图2所示，提供了一种基于合同理论的多任务无线联邦学习方法，包括以下步骤。

步骤1：将M个移动用户划分为I个移动用户簇；

(a)模型拥有者向所有移动用户分发相同的学习模型进行训练，联邦学习过程中全局损失函数为：

其中D_m为移动用户m的本地数据集，

表示所有移动用户的训练数据的总和；l_w(w,x_m,t,y_m,t)为移动用户m在给定模型参数w的情况下，在训练数据{x_m,t,y_m,t}上的损失函数；{x_m,t,y_m,t}为D_m中的第t组数据，其中x_m,t为移动用户m的本地数据集中第t组数据中的原始数据，y_m,t为移动用户m的本地数据集中第t组数据中与x_m,t对应标签向量(例如，如果x_m,t为图像，则y_m,t为与x_m,t对应的原始标签)；

移动用户m的经验风险函数为：

(b)计算任意两个移动用户梯度之间的余弦相似度：

其中w^*是使全局损失函数达到最小的模型参数，

为r_m(w)在w＝w^*处的梯度值；

每个用户簇的分离间距为：

其中，

是用户簇C_i中移动用户与其他用户簇中的移动用户间的最大的余弦相似度，

是用户簇C_i中用户间最小的余弦相似度；

(c)按照各个用户簇均需满足

的原则，对移动用户进行分簇，并在每个用户簇中随机选出一个簇头；簇头不参与数据训练，其工作是模型参数的聚合与下发。

步骤2：确定模型拥有者分发给每个用户簇的最佳奖励报酬

表达式；

由于需要每个用户簇完成不同的任务，不同的任务具有不同的训练精确度要求，因此通过二维信息进行区分各个用户簇：用户簇C_i进行一次全局迭代的花销η_i和不同学习任务的精确度要求ε_i。我们使具有π_i＝(η_i,ε_i)属性的用户簇作为一个第i型用户簇。

用户簇i内的第k个移动用户i_k一次本地计算耗费的能量为：

其中，α是移动用户计算芯片组的有效电容参数，

表示移动用户i_k使用单个数据样本执行本地模型训练需要的CPU周期数，D为移动用户i_k的本地数据集，用

表示移动用户i_k为本地模型训练贡献的计算资源(即CPU计算频率)。

移动用户i_k参与一次全局迭代需要耗费的通信能量为：

其中，

是移动用户i_k的发射功率，

是簇头和移动用户i_k的信道增益，N₀是背景噪声，σ表示模型参数大小。

因此，用户簇i一次全局迭代的花销η_i如下所示：

其中，κ为能量对应花销，K_i是用户簇i中随机选取参与训练的用户个数，E_i是用户簇i中用户的本地迭代次数。

代表用户簇i中第k个移动用户i_k执行一次本地迭代耗费的能量。

表示户簇i内移动用户i_k参与一次全局迭代需要耗费的通信能量。

按照用户簇一次全局迭代的花销η的升序，重新索引用户簇类型。

由于一个可行的合同必须满足以下限制：

1、个人理性(IR):当每个用户簇选择其对应的条款时，其得到非负的利润。即为：

u_i(θ_i)≥0,1≤i≤I

2、激励恰当(IC):如果用户簇选择为它的类型所设计的合同，它将达到最大的利润。因此，它不会被激励去选择为其他类型的用户簇所设计的合同。即为：

u_i(θ_i)≥u_i(θ_i'),i≠i',1≤i≤I。

由限制1、2可推得：

1、对于任何可行的合同,我们有R_i＜R_i'与r_i＜r_i'互为充分必要条件，i≠i'。

2、单调性：对于任何可行的合同，如果η_i≥η_i'，则r_i≤r_i'。

3、如果IR限制对于利润最小的用户簇是成立的，则其他用户的利润也会满足IR限制。

4、(减少IC条件约束)：IC约束可以被减少为局部向上激励约束。

因此，一个可行的合同必须满足以下条件：

1)

2)R_I-η_Ir_I≥0

3)R_i-η_ir_i≥R_i+1-η_ir_i+1

4)R_i-η_ir_i≥R_i+1-η_i+1r_i+1

因此，对于一组已知的r_i，且满足r₁≥r₂≥...≥r_i≥...≥r_I，在可行性合同中，最优奖励

的表达式为：

步骤3：确定用户簇i的最佳全局迭代次数

和最佳奖励报酬

的值；

任务拥有者的效益函数为：

其中，S,A₀,B₀均为常数，N_i为用户簇i中存在的用户总数。

将步骤二求得的最优奖励

表达式代入效益函数中，最佳全局迭代次数

通过求解如下问题获得：

故用户簇i的最佳全局迭代次数为

将所得

代入

表达式中，即得到了最优的奖励值

步骤4：每个用户簇i在最优合同

中选择适合自己的合同项，进行数据训练，完成联邦学习。用户簇i内的联邦学习包含五个步骤，步骤包括：

步骤a)、模型拥有者将任务的模型参数下发至用户簇i的簇头；

步骤b)、簇头随机选取K_i个用户簇i内移动用户，根据任务i的模型参数训练本地数据，完成E_i次本地迭代，每个用户得到本地模型参数的最优解。

步骤c)、用户簇i内移动用户将本地模型参数的最优解上传给簇头，簇头进行簇内的全局聚合。

步骤d)、簇头将聚合好的新的全局模型发送给用户簇i所有的参与训练的移动用户用于本地迭代的数据训练。

步骤e)、重复步骤b)、c)、d)达到预计要求的全局迭代次数

将最终所得的簇内全局模型参数发送至模型拥有者，完成联邦学习训练的全过程。

联邦学习的目标为训练出全局模型参数矢量w_i，使用户簇i内的全局损失函数最小：

其中

表示用户簇i内所有参与训练的移动用户的训练数据的总和，f(w_i,x_k,l,y_k,l)为给定模型w_i情况下在训练数据{x_k,l,y_k,l}上的损失函数，其中x_k,l为移动用户i_k的本地数据集中第l组数据中的原始数据，y_k,l为移动用户i_k的本地数据集中第l组数据中与x_k,l对应标签向量,

为具有本地数据集

的移动用户i_k的本地损失函数；

由于我们对数据训练后新的模型的精确度具有要求，故可得到式子：

其中

是我们对于用户簇i在

轮迭代后的全局损失，

为用户簇i在

轮全局迭代后得到的模型参数，

是任务i的真正的最小的全局损失,ε_i是任务i所要求的精确度。

作为本发明所述的一种基于合同理论的多任务无线联邦学习方法，步骤c)中，聚合的过程为：

其中

为F_i(w_i)在w_i＝w_i ^r处的梯度值，λ是学习率。

下面通过具体实施例对本发明提供的技术方案进一步阐述。这里考虑一个由1个模型拥有者和200个移动用户(划分为10个用户簇)组成的联邦学习系统，并对其模型拥有者和移动用户簇的收益等情况与移动用户簇均执行同一项合同的一致合同方案，模型拥有者已知各个用户簇完整信息的情况下制订的完全区分用户簇的合同方案进行比较评估。

我们主要参数设置如表1所示：

表1参数设置

如图3所示的用户簇类型与模型拥有者效益的关系在不同激励策略下的对比图，可以很容易的得到结论，在本发明的合同方案下，模型拥有者的收益略小于完全区分用户簇的合同方案，但远大于一致合同方案。

如图4所示的用户簇类型与各个移动用户簇得到收益的关系在不同激励策略下的对比图，从其中的联邦学习移动用户簇的收益来看，本发明的合同方案中移动用户簇所得收益显著高于一致合同方案以及完全区分用户簇的合同方案。这些结果说明了我们所提方案的有效性。

在一个实施例中，提供了一种基于合同理论的多任务无线联邦学习设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于合同理论的多任务无线联邦学习方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于合同理论的多任务无线联邦学习方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围。

Claims (6)

1.一种基于合同理论的多任务无线联邦学习方法，其特征在于，所述方法包括以下步骤：

模型拥有者对移动用户进行分簇，每个移动用户簇分别训练不同的联邦学习任务；

模型拥有者通过一组最优合同对每个移动用户簇进行激励；其中，每个最优合同包括最佳奖励报酬和最佳全局迭代次数；

每个移动用户簇分别执行联邦学习过程，同时完成不同的联邦学习任务。

2.根据权利要求1所述的一种基于合同理论的多任务无线联邦学习方法，其特征在于，模型拥有者通过余弦相似度对移动用户进行分簇，具体步骤如下：

(a)模型拥有者向所有移动用户分发相同的学习模型进行联邦学习，联邦学习过程中全局损失函数为：

其中D_m为移动用户m的本地数据集，

表示所有移动用户的训练数据的总和；

l_w(w,x_m,t,y_m,t)为移动用户m在给定模型参数w的情况下，在{x_m,t,y_m,t}上的损失函数；

{x_m,t,y_m,t}为D_m中的第t组数据，x_m,t、y_m,t分别为D_m中的第t组数据中的样本数据及其对应标签；

移动用户m的经验风险函数为：

(b)计算任意两个移动用户a和b梯度之间的余弦相似度：

其中w^*是使全局损失函数达到最小的模型参数，

分别为r_a(w)、r_b(w)在w＝w^*处的梯度值，

l_w(w,x_a,t,y_a,t)为移动用户a在给定模型参数w的情况下，在{x_a,t,y_a,t}上的损失函数；l_w(w,x_b,t,y_b,t)为移动用户b在给定模型参数w的情况下，在{x_b,t,y_b,t}上的损失函数；

每个用户簇的分离间距为：

其中，

是用户簇C_i中移动用户与其他用户簇中的移动用户间的最大的余弦相似度，

是用户簇C_i中用户间最小的余弦相似度；

(c)按照各个用户簇均需满足

的原则，对移动用户进行分簇，并在每个用户簇中随机选出一个簇头；其中簇头不参与联邦学习，仅用作模型参数的聚合与下发。

3.根据权利要求1所述的一种基于合同理论的多任务无线联邦学习方法，其特征在于，模型拥有者通过一组最优合同对每个移动用户簇进行激励，具体为：

用户簇C_i的属性π_i＝(η_i,ε_i)，其中，ε_i为C_i的训练精确度要求，η_i为C_i进行一次全局迭代的花销：

其中，κ为能量对应花销，K_i为C_i中随机选取参与训练的移动用户个数，E_i为C_i中移动用户的本地迭代次数，

为C_i中第k个移动用户i_k执行一次本地迭代计算耗费的能量，

为i_k参与一次全局迭代需要耗费的通信能量；

按照每个用户簇一次全局迭代的花销的升序，重新索引用户簇，并得到第i个用户簇完整执行完一次合同所得利润为：

u_i(θ_i)＝R_i-η_ir_i

其中，θ_i为第i个用户簇设计的合同项，θ_i＝(r_i,R_i)，R_i为模型拥有者对第i个用户簇的激励，r_i为第i个用户簇完成θ_i所需的全局迭代总次数；

一组可行的合同必须满足以下条件：

1)

2)R_I-η_Ir_I≥0

3)R_i-η_ir_i≥R_i+1-η_ir_i+1

4)R_i-η_ir_i≥R_i+1-η_i+1r_i+1

因此，在可行的合同中，最优奖励

的表达式为：

其中，I为用户簇的数量；

计算效益函数：

其中，S,A₀,B₀均为常数，N_i为第i个用户簇中的移动用户总数。

将最优奖励

的表达式代入效益函数中，并通过求解如下问题获得最佳全局迭代次数

将所得

代入最优奖励

的表达式中，即得到最佳奖励报酬

4.根据权利要求3所述的一种基于合同理论的多任务无线联邦学习方法，其特征在于，每个移动用户簇分别执行联邦学习过程，具体为：

对于第i个用户簇，模型拥有者先将初始模型参数下发至第i个用户簇内的簇头；在第i个用户簇内部，簇头随机选择若干移动用户进行一次本地迭代，完成本地迭代后，随机选择的每个移动用户将所得的模型参数最优解上传至簇头，簇头进行聚合后，再将更新后的模型参数发送给随机选择的每个移动用户，进行下一次本地迭代，如此往复

次，簇头将最终的更新后的模型参数发送至模型拥有者，完成该簇的联邦学习。

5.一种基于合同理论的多任务无线联邦学习设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一所述的基于合同理论的多任务无线联邦学习方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一所述的基于合同理论的多任务无线联邦学习方法的步骤。

Images