CN113469325B - 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 - Google Patents

Abstract

本发明公开了一种边缘聚合间隔自适应控制的分层联邦学习方法，包括如下步骤：1)搭建以边缘设备，边缘服务器，云服务器为主要元素的分层联邦学习系统；2)在每个训练周期的起始阶段，云服务器根据当前的训练情况，优化边缘聚合间隔以及当前周期的训练时延预算；3)在训练过程中，边缘设备训练本地模型；并且根据边缘聚合间隔将本地模型发送到边缘服务器进行边缘聚合从而生成边缘模型；在每个周期的结束阶段，边缘服务器将边缘模型上传到云服务器进行全局聚合从而生成全局模型。该发明能够自适应地调整边缘聚合的间隔，在学习性能和训练时延中取得平衡。

Description

一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机 设备、存储介质

技术领域

本发明涉及机器学习和移动通信技术领域，特别是一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质。

背景技术

随着人工智能技术的广泛应用，为更好的保护用户隐私，联邦学习的概念被提出。在联邦学习系统中，设备不直接将本地数据上传到云服务器，而是先进行本地计算，将训练之后的神经网络模型上传到云服务器进行全局聚合。云服务器会将生成的全局模型反馈给设备，从而进行下一个周期的训练。然而，由于云服务器与设备距离较远，并且无线资源有限，直接和云服务器通信可靠性较低，并且会产生较大的传输时延。为解决该问题，分层的联邦学习框架被提出，其中具体做法为训练过程中，边缘设备训练本地模型；并且根据边缘聚合间隔将本地模型发送到边缘服务器进行边缘聚合；然后边缘服务器将更新之后的边缘模型发送给关联的边缘设备从而继续进行本地训练；在每个周期的结束阶段，边缘设备通过边缘服务器将边缘模型上传到云服务器进行全局聚合；最后云服务器将全局模型广播给所有边缘设备从而进行下一轮的训练。分层联邦学习能够提高本地模型传输的可靠性，并且能采集更多的本地模型，提高学习性能。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供的一种边缘聚合间隔自适应控制的分层联邦学习方法，其目标最小化训练损失和训练时延的加权和。

本发明为解决上述技术问题采用以下技术方案：本发明提出一种边缘聚合间隔自适应控制的分层联邦学习方法，通过部署边缘服务器协助联邦学习训练；云服务器根据当前的训练情况，优化边缘聚合间隔以及当前周期的训练时延预算；根据优化之后的边缘聚合间隔以及训练时延预算，边缘设备，边缘服务器，云服务器协作地完成联邦学学习训练，具体步骤如下：

步骤1，搭建以边缘设备，边缘服务器，云服务器为元素的分层联邦学习系统；该系统部署在无线环境中；其中包含多个边缘设备，多个边缘服务器，以及一个云服务器；边缘设备集合定义为K＝{1,2,...k,...,K}，边缘服务器集合定义为S＝{1,2,...s,...,S}；边缘设备k本地的数据集为其中，i是样本的索引，x_k,i是第i个输入样本，y_k,i是该样本的标签，D_k设训练样本的数目，这些数据可以来自任意的学习任务；由于边缘服务器覆盖范围有限，每个边缘服务器只关联一部分的边缘设备，定义被边缘服务器s服务的设备集合为V_s；边缘设备，边缘服务器，云服务器协助地完成联邦学习训练，目标为训练出模型w使得全局损失最小:

其中，是全局损失函数值，/>是总样本，l(w,x_k,i,y_k,i)是边缘设备k在给定模型w情况下在训练数据{x_k,i,y_k,i}上的损函数失值，l是任意损失函数；

步骤2，联邦学习的训练过程是一个迭代过程，需要多个训练周期，并且在每一个周期边缘设备要进行多次本地训练，边缘设备利用自己的本地数据训练本地模型，多次边缘聚合，边缘聚合就边缘服务器对采集到的本地模型进行加权平均，边缘设备将更新之后的本地模型上传到与其相关联的边缘服务器，边缘服务器对收集的边缘模型进行加权平均运算生成新的边缘模型，以及一次全局聚合，边缘服务器将更新之后的边缘模型上传到云服务器，云服务器对收集的边缘模型进行加权平均运算生成新的全局模型，训练周期的集合定义R＝{1,2,..,r,...,R}，其中R为总的训练周期数，在训练周期r的开始阶段，云服务器根据当前训练情况优化边缘聚合间隔I^(r),该变量定义为训练周期r中边缘设备在两次边缘聚合之间本地训练的次数；此外云服务器优化当前周期的训练时延预算τ^(r)，该变量为训练周期r消耗的时间；当前周期边缘设备最多需要进行G次本地训练，其中在训练周期r，边缘设备需要将本地模型上传给边缘服务器次，则训练周期r内实际的本地训练次数为：/>

由于当前周期的训练时延预算已经给定，训练周期r内两次边缘聚合之间的训练时延预算为并且有些边缘设备无法在两次边缘聚合之间完成本地训练和模型上传，用变量/>来表示边缘设备k可以在两次边缘聚合之间的时间内完成本地训练和模型上传，反之/>来表示边缘设备k无法在两次边缘聚合之间的时间内完成本地训练和模型上传，其中1≤t^r≤G是边缘设备k在训练周期r进行本地训练的次数的索引；

步骤3，具体训练过程如下：

在训练周期r，边缘设备k基于自己的本地数据训练本地模型；更新过程为：

其中，是在训练周期r内第t^r次本地训练后的本地模型，γ是学习率，/>是边缘设备k在本地模型/>上基于本地数据训练出的梯度，该更新过程所用的优化器为随机梯度下降；

经过I^(r)次本地训练后，边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型，边缘服务器s的边缘聚合的过程为；

其中，是在训练周期r内第t^r次本地训练后边缘聚合更新的边缘模型，/>用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合，在进行边缘聚合之后，边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合，具体来说，如果本周期内边缘设备本地训练的次数没有达到G^(r)次，边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备，用于替换边缘设备的本地模型，从而继续本地训练；如果本地训练的次数已经达到G^(r)次，边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型，全局聚合的过程为：

其中，是在训练周期r内第t^r次本地训练后通过全局聚合更新的全局模型，用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合。该全局模型会被发送给所有的边缘设备用于替换边缘设备的本地模型，并且用于下一个周期的训练。

作为本发明的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，步边缘聚合间隔以及训练时延预算是依据最小化训练损失和训练时延的加权和的原则，优化问题为：

其中，I＝{I⁽¹⁾,I⁽²⁾,...,I^(r)...,I^(R)}是每个周期边缘聚合间隔组成的集合；

τ＝{τ⁽¹⁾,τ⁽²⁾,...,τ^(R)}是每个周期训练时延预算组成的集合；

F(w^(T))是T次本地计算之后基于全局模型w^(T)的损失函数值，其中

系数ρ用于调节时延和模型重要性的权重；

采用漂移指数分布来描述设备的本地计算能力，在训练周期r，边缘设备k进行I^(r)次本地计算的时延用如下概率分布表示，即本地计算时延小于χ的概率，其中，χ是一个大于0的变量，符号c表示该时延是计算时延：

其中，I^(r)D_kq_k是最小的本地计算时延，μ_k和q_k是描述边缘设备k本地计算能力的常数；

经过I^(r)次本地计算后，边缘设备k需要将本地模型上传给边缘服务器，该上传时延为符号u表示该时延是上传时延，其中，M本地模型的数据量，/>是边缘设备k的上传速率；

在边缘聚合阶段，边缘设备k在两次边缘聚合之间的时间内完成本地训练和模型上传的概率为：

作为本发明的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，损失函数值F(w^(T))受到收敛性参数，边缘聚合间隔以及成功参与的设备数目影响，具体来说，降低边缘聚合间隔或者提高边缘设备成功参与的学习的概率，可以提高学习性能，因此原问题1等效为：

其中，Γ(I^(r))和γ(I^(r))都是关于边缘聚合间隔和训练过程中收敛性参数的增函数，其中，收敛性参数λ是损失函数的凸性系数或者是损失函数的平滑性系数，这些收敛性参数都随着训练过程呈现下降趋势。

作为本发明的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于在，问题2分为两步优化边缘聚合间隔以及该周期的时延预算，第一步，给定该周期的时延预算，由于边缘聚合间隔是整数，并且满足1≤I^(r)≤G，可以直接搜索最优的边缘聚合间隔，第二步，基于获得的边缘聚合间隔以及凸优化理论优化该周期的时延预算，上述两步不断重复直到目标函数值不再降低。

此外，本发明还提出一种计算机设备，该计算机设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的一种边缘聚合间隔自适应控制的分层联邦学习方法的步骤。

此外、本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种边缘聚合间隔自适应控制的分层联邦学习方法的步骤。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明在实现了在分层联邦学习系统中自适应地调节边缘聚合频率，提高了训练的效率。

(2)本发明同时考虑学习性能和训练时延。

附图说明

图1为一种分层联邦学习框架架构图。

图2为基于一种边缘聚合间隔自适应控制的分层联邦学习方法的流程图。

图3为本发明实施实例提供的训练损失和训练时延关系图。

图4为本发明实施实例提供的测试准确率和训练时延关系图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

根据本发明提供的一种边缘聚合间隔自适应控制的分层联邦学习方法。本发明的分层联邦学习框架架构如图1所示，包含1个云服务器，多个边缘服务器和多个边缘设备。

如图2所示，本发明实施提供的一种边缘设备能耗自适应控制的分层联邦学习方法的流程图，该方法包括以下步骤。

步骤201：

在边缘设备和云服务器之间部署边缘服务器，并且每个边缘服务器关联一部分边缘设备，搭建以云服务器，边缘服务器以及边缘设备为主要元素的分层联邦学习系统；

步骤202：

边缘聚合间隔以及训练时延预算是依据最小化训练损失和训练时延的加权和的原则，优化问题为：

其中，I＝{I⁽¹⁾,I⁽²⁾,...,I^(r)...,I^(R)}是每个周期边缘聚合间隔组成的集合；

τ＝{τ⁽¹⁾,τ⁽²⁾,...,τ^(R)}是每个周期训练时延预算组成的集合；

F(w^(T))是T次本地计算之后基于全局模型w^(T)的损失函数值，其中

系数ρ用于调节时延和模型重要性的权重；

采用漂移指数分布来描述设备的本地计算能力，则边缘设备k进行I^(r)次本地计算的时延用如下概率分布表示，即本地计算时延小于χ的概率，其中，χ是一个大于0的变量，符号c表示该时延是计算时延：

其中，I^(r)D_kq_k是最小的本地计算时延，μ_k和q_k是描述本地计算能力的常数；

经过I^(r)次本地计算后，边缘设备k需要将本地模型上传给边缘服务器，该上传时延为符号u表示该时延是上传时延，其中，M本地模型的数据量，/>是边缘设备k的上传速率；

从而在边缘聚合阶段，边缘设备k在两次边缘聚合之间的时间内完成本地训练和模型上传的概率为：

由于损失函数值F(w^(T))受到收敛性参数，边缘聚合间隔以及成功参与的设备数目影响，具体来说，降低边缘聚合间隔或者提高边缘设备成功参与的学习的概率，可以提高学习性能，因此原问题1可以等效为

其中，Γ(I^(r))和γ(I^(r))都是关于边缘聚合间隔和训练过程中收敛性参数的增函数，其中收敛性参数λ可以是损失函数的凸性系数，或者是损失函数的平滑性系数，这些收敛性参数都随着训练过程呈现下降趋势。问题2分两步优化边缘聚合间隔以及该周期的时延预算。第一步，给定该周期的时延预算，由于边缘聚合间隔是整数，并且满足1≤I^(r)≤G，可以直接搜索最优的边缘聚合间隔，第二步，基于获得的边缘聚合间隔以及凸优化理论优化该周期的时延预算，上述两步不断重复直到目标函数值不再降低。

步骤203：

基于优化得到的边缘聚合间隔以及训练时延预算，开始进行分层联邦学习训练。在训练周期r，边缘设备k基于自己的本地数据训练本地模型；更新过程为：

其中，是在训练周期r内第t^r次本地训练后的本地模型，γ是学习率，/>是边缘设备k在本地模型/>上基于本地数据训练出的梯度，该更新过程所用的优化器为随机梯度下降；

经过I^(r)次本地训练后，边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型，边缘服务器s的边缘聚合的过程为；

其中，是在训练周期r内第t^r次本地训练后边缘聚合更新的边缘模型，/>用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合，在进行边缘聚合之后，边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合，具体来说，如果本周期内边缘设备本地训练的次数没有达到G^(r)次，边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备，用于替换边缘设备的本地模型，从而继续本地训练；如果本地训练的次数已经达到G^(r)次，边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型，全局聚合的过程为：

其中，是在训练周期r内第t^r次本地训练后通过全局聚合更新的全局模型，用于表示边缘设备能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合。该全局模型会被发送给所有的边缘设备用于替换边缘设备的本地模型，并且用于下一个周期的训练。

下面通过具体实施例对本发明提供的技术方案进一步阐述。我们采用MNIST数据集。主要参数设置如下：

图3和图4给出了训练损失和测试准确率关于训练时延变化趋势。可以看出本发明提出的一种边缘聚合频率自适应控制的分层联邦学习方法，和最大边缘聚合间隔训练基准算法相比可以提高了学习性能；和最小边缘聚合间隔训练相比降低了训练时延。这些结果说明了我们所提方案的有效性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (10)

1.一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，通过部署边缘服务器协助联邦学习训练；云服务器根据当前的训练情况，优化边缘聚合间隔以及当前周期的训练时延预算；根据优化之后的边缘聚合间隔以及训练时延预算，边缘设备，边缘服务器，云服务器协作地完成联邦学学习训练，具体步骤如下：

步骤1，搭建以边缘设备，边缘服务器，云服务器为元素的分层联邦学习系统；该系统部署在无线环境中；其中包含多个边缘设备，多个边缘服务器，以及一个云服务器；边缘设备集合定义为K＝{1,2,...k,...,K}，边缘服务器集合定义为S＝{1,2,...s,...,S}；边缘设备k本地的数据集为其中，i是样本的索引，x_k,i是第i个输入样本，y_k,i是该样本的标签，D_k设训练样本的数目；由于边缘服务器覆盖范围有限，每个边缘服务器只关联一部分的边缘设备，定义被边缘服务器s服务的设备集合为V_s；边缘设备，边缘服务器，云服务器协助地完成联邦学习训练，目标为训练出模型w使得全局损失最小:

其中，是全局损失函数值，/>是总样本，l(w,x_k,i,y_k,i)是边缘设备k在给定模型w情况下在训练数据{x_k,i,y_k,i}上的损函数失值，l是任意损失函数；

步骤2，联邦学习的训练过程是一个迭代过程，需要多个训练周期，并且在每一个周期边缘设备要进行多次本地训练，边缘设备利用自己的本地数据训练本地模型，多次边缘聚合，边缘聚合就边缘服务器对采集到的本地模型进行加权平均，边缘设备将更新之后的本地模型上传到与其相关联的边缘服务器，边缘服务器对收集的边缘模型进行加权平均运算生成新的边缘模型，以及一次全局聚合，边缘服务器将更新之后的边缘模型上传到云服务器，云服务器对收集的边缘模型进行加权平均运算生成新的全局模型，训练周期的集合定义R＝{1,2,..,r,...,R}，其中，R为总的训练周期数，在训练周期r的开始阶段，云服务器根据当前训练情况优化边缘聚合间隔I^(r),该变量定义为训练周期r中边缘设备在两次边缘聚合之间本地训练的次数；此外云服务器优化当前周期的训练时延预算τ^(r)，该变量为训练周期r消耗的时间；当前周期边缘设备最多需要进行G次本地训练，其中在训练周期r，边缘设备需要将本地模型上传给边缘服务器次，则训练周期r内实际的本地训练次数为：/>

由于当前周期的训练时延预算已经给定，训练周期r内两次边缘聚合之间的训练时延预算为并且有些边缘设备无法在两次边缘聚合之间完成本地训练和模型上传，用变量/>来表示边缘设备k可以在两次边缘聚合之间的时间内完成本地训练和模型上传，反之/>来表示边缘设备k无法在两次边缘聚合之间的时间内完成本地训练和模型上传，其中，1≤t^r≤G是边缘设备k在训练周期r进行本地训练的次数的索引；

步骤3，具体训练过程如下：

在训练周期r，边缘设备k基于自己的本地数据训练本地模型；更新过程为：

其中，是在训练周期r内第t^r次本地训练后的本地模型，γ是学习率，/>是边缘设备k在本地模型/>上基于本地数据训练出的梯度，该更新过程所用的优化器为随机梯度下降；经过I^(r)次本地训练后，边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型，边缘服务器s的边缘聚合的过程为：

其中，是在训练周期r内第t^r次本地训练后边缘聚合更新的边缘模型，/>用于表示边缘设备k能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合，在进行边缘聚合之后，边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合，具体来说，如果本周期内边缘设备本地训练的次数没有达到G^(r)次，边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备，用于替换边缘设备的本地模型，从而继续本地训练；如果本地训练的次数已经达到G^(r)次，边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型，全局聚合的过程为：

其中，是在训练周期r内第t^r次本地训练后通过全局聚合更新的全局模型，/>用于表示边缘设备k能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合，该全局模型被发送给所有的边缘设备用于替换边缘设备的本地模型，并且用于下一个周期的训练。

2.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，每一个训练周期包含多次的本地计算过程，多次的边缘聚合过程，以及1次全局聚合过程。

3.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，全局聚合以及全局模型广播发生在每个训练周期的结束阶段。

4.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，同一个周期内的边缘聚合间隔是一样的，不同周期的边缘聚合间隔可以不同。

5.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，同一个周期内的利用的是相同的信道信息，即平均信道信息，而不同周期的信道消息不同。

6.根据权利要求1所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，步骤2中，边缘聚合间隔以及训练时延预算是依据最小化训练损失和训练时延的加权和的原则，优化问题为：

其中，I＝{I⁽¹⁾,I⁽²⁾,...,I^(r)...,I^(R)}是每个周期边缘聚合间隔组成的集合；

τ＝{τ⁽¹⁾,τ⁽²⁾,...,τ^(R)}是每个周期训练时延预算组成的集合；

F(w^(T))是T次本地计算之后基于全局模型w^(T)的损失函数值，其中

系数ρ用于调节时延和模型重要性的权重；

采用漂移指数分布来描述设备的本地计算能力，在训练周期r，边缘设备k进行I^(r)次本地计算的时延用如下概率分布表示，即本地计算时延小于χ的概率，其中，χ是一个大于0的变量，符号c表示该时延是计算时延：

其中，I^(r)D_kq_k是最小的本地计算时延，μ_k和q_k是描述边缘设备k本地计算能力的常数；

经过I^(r)次本地计算后，边缘设备k需要将本地模型上传给边缘服务器，该上传时延为符号u表示该时延是上传时延，其中，M本地模型的数据量，/>是边缘设备k的上传速率；

在边缘聚合阶段，边缘设备k在两次边缘聚合之间的时间内完成本地训练和模型上传的概率为：

7.根据权利要求6所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，损失函数值F(w^(T))受到收敛性参数，边缘聚合间隔以及成功参与的设备数目影响，具体来说，降低边缘聚合间隔或者提高边缘设备成功参与的学习的概率，以提高学习性能，原问题1等效为：

其中，Γ(I^(r))和γ(I^(r))都是关于边缘聚合间隔和训练过程中收敛性参数的增函数，其中，收敛性参数λ是损失函数的凸性系数或者是损失函数的平滑性系数。

8.根据权利要求7所述的一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于在，问题2分为两步优化边缘聚合间隔以及该周期的时延预算，第一步，给定该周期的时延预算，边缘聚合间隔是整数，并且满足1≤I^(r)≤G，直接搜索最优的边缘聚合间隔，第二步，基于获得的边缘聚合间隔以及凸优化理论优化该周期的时延预算，上述两步不断重复直到目标函数值不再降低。

9.一种计算机设备，其特征在于，该计算机设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-8所述的一种边缘聚合间隔自适应控制的分层联邦学习方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8所述的一种边缘聚合间隔自适应控制的分层联邦学习方法。