CN112948101B - 一种面向快速联邦学习的5g边缘设备调度方法 - Google Patents

Abstract

本发明公开了一种面向快速联邦学习的5G边缘设备调度方法，该方法在联邦学习的每个训练周期开始阶段，考虑每个边缘设备的训练时延、公平性和本地模型重要性，基于多臂老虎机理论进行边缘设备调度。本发明还搭建了一个无线联邦学习系统，其联邦学习的训练过程包括：每个训练周期开始阶段，基于多臂老虎机理论进行设备调度；每个训练周期训练过程中，被调度的设备进行本地训练，并将更新之后的本地模型上传给基站，生成新的全局模型；每个训练周期结束阶段，基站将更新之后的全局模型广播给所有设备，用于下一个周期的设备选择以及模型训练。该发明能够在设备信道条件以及本地计算能力未知的情况下，以较低的训练时延获得较高的学习性能。

Description

一种面向快速联邦学习的5G边缘设备调度方法

技术领域

本发明涉及联邦学习和边缘计算领域，特别是指一个面向快速联邦学习的5G边缘设备调度方法。

背景技术

由于物联网的普及化，边缘设备的数量显著增加，导致了无线网络下的边缘设备产生大量的数据。这些数据处理和分析需要机器学习算法。传统的机器学习算法需要一个中央控制器来收集一定数量的数据进行模型训练。出于隐私方面的考虑，边缘设备可能不愿意分享本地数据。因此，可以通过一种创新的分布式机器学习算法，即联邦学习解决这一挑战。在联邦学习中，设备根据本地数据集训练本地模型。然后，更新之后的本地模型被上传到中心服务器进行模型聚合。由于联邦学习能够在整个训练过程中，使设备的数据始终存储在本地设备，控制数据，所以设备的隐私得到较好的保护。然而由于无线资源有限，边缘设备数量庞大，对边缘设备的调度要求很高。在实际过程中，无线信道状态信息和边缘设备的计算能力难以获得，因此无线联邦学习系统如何在训练过程中对边缘设备进行调度，以达到一个高性能低延迟的模型是一个需要研究的关键问题。

发明内容

本发明的目的是提出一个面向快速联邦学习的5G边缘设备调度方法。该方案假设基站与边缘设备之间的信道状态信息和边缘设备本地计算未知，通过将边缘设备调度问题转化多臂老虎机问题，同时考虑了设备训练延迟，公平性，以及设备本地模型重要性，以较低的训练延迟获得较高的学习性能。

本发明为解决上述技术问题采用以下技术方案：

一种面向快速联邦学习的5G边缘设备调度方法，该方法在联邦学习的每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，基于多臂老虎机理论进行边缘设备调度，具体为：

将基站视为玩家，边缘设备视为手臂，局部更新本地模型重要性以及训练延迟，边缘设备被调度次数的减少量的加权和视为奖励值，按照如下准则进行边缘设备调度：

A^*,(t)＝argmax _A(t)∑_k∈A(t)(ρ₁τ_k ^(t)+ρ₂d_k ^(t)+ρ₃q_k ^(t))

其中系数ρ₁、ρ₂、ρ₃∈[0,1]表示训练延迟、本地模型重要性、边缘设备被调度次数的减少量的权重，A^*,(t)是联邦学习的第t个训练周期开始阶段被调度边缘设备集合，A(t)是联邦学习的第t个训练周期开始阶段任一备选的随机边缘设备子集，d_k ^(t)>0是联邦学习的第t个训练周期开始阶段边缘设备k的本地模型重要性，q_k ^(t)是联邦学习的第t个训练周期开始阶段边缘设备k被调度次数的减少量，τ_k ^(t)表示联邦学习的第t个训练周期边缘设备k的训练延迟。

一种无线联邦学习系统，包含一个基站以及多个边缘设备，并且边缘设备信道条件以及本地计算能力未知；该系统中联邦学习的训练过程包括：

每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，采用上述方法、基于多臂老虎机理论进行边缘设备调度；

每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；

每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

进一步：边缘设备本地模型重要性为该边缘设备在当前全局模型下的训练损失。

进一步：每个训练周期的结束阶段，对于被调度的边缘设备，其训练延迟的更新规则是：如果k∈A(t)则τ_k ^(t+1)＝(τ_k ^(t)n_k ^(t)+τ'_k ^(t))/(n_k ^(t)+1)，否则τ_k ^(t+1)＝τ_k ^(t)，τ_k ^(t+1)、τ_k ^(t)分别是第t+1、t个训练周期边缘设备k的训练延迟，n_k ^(t)是直到第t个训练周期边缘设备k被调度的次数，τ'_k ^(t)表示第t个训练周期边缘设备k的训练延迟的减少量；

对于被调度的边缘设备，其被调度次数的减少量的更新规则是：

q_k ^(t+1)是第t+1个训练周期边缘设备k被调度次数的减少量，N是正交子信道的数量。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的面向快速联邦学习的5G边缘设备调度方法。

一种面向快速联邦学习的5G边缘设备调度系统，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如上所述的面向快速联邦学习的5G边缘设备调度方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下联邦学习的训练过程：

每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，基于多臂老虎机理论进行边缘设备调度；

每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；

每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

一种装置，包括：存储器和处理器；所述存储器为计算机可读存储介质；处理器通过运行存储在存储器上的计算机程序，实现如上所述的联邦学习的训练过程。

有益效果：本发明提出一个面向快速联邦学习的5G边缘设备调度方法，考虑在事先未知无线信道状态信息和边缘设备本地计算能力的情况下，将边缘设备调度问题重新定义为多臂老虎机问题，不仅考虑了局部更新的重要性，设备被调度次数的公平性，还又考虑了每个边缘设备估计的训练延迟。该方案的使用的时间更少，训练损失更小。该方法能够在减少训练延迟和提高学习性能之间取得平衡。

附图说明

图1为一个无线联邦学习系统中联邦学习的训练流程图；

图2为本发明实施实例提供的训练损失和训练延迟关系图；

图3为本发明实施实例提供的测试准确率和训练延迟关系图。

具体实施方式

为了是本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

如图1所示，本发明实施提供一个无线联邦学习系统中联邦学习的训练方法，该方法包括以下步骤：

步骤101：通过一个基站和多个边缘设备，搭建了无线联邦学习系统，其中设备信道条件以及本地计算能力未知。

步骤102：每个训练周期开始阶段，基于多臂老虎机理论，考虑每个边缘设备的训练延迟、公平性和设备本地模型重要性，进行边缘设备的调度。

将基站视为玩家，边缘设备视为手臂，局部更新重要性以及训练延迟减少量，设备被调度次数的减少量的加权和视为奖励值，按照如下准则进行设备调度：

A^*,(t)＝argmax _A(t)∑_k∈A(t)(ρ₁τ_k ^(t)+ρ₂d_k ^(t)+ρ₃q_k ^(t))，

其中系数ρ₁、ρ₂、ρ₃∈[0,1]表示训练延迟、本地模型重要性、边缘设备被调度次数的减少量的权重；A^*,(t)是联邦学习的第t个训练周期开始阶段被调度边缘设备集合，A(t)是联邦学习的第t个训练周期开始阶段任一备选的随机边缘设备子集；d_k ^(t)>0是用来评估本地模型重要性的指标，例如联邦学习的第t个训练周期开始阶段边缘设备k的本地模型重要性；q_k ^(t)是联邦学习的第t个训练周期开始阶段边缘设备k被调度次数的减少量，用于体现公平性；τ_k ^(t)表示联邦学习的第t个训练周期边缘设备k的训练延迟，即平均奖励。

上述边缘设备调度的目标为在设备信道条件以及本地计算能力未知的前提下，以较低的训练延迟达到给定的训练损失：

min_{A(t),t≥1}∑^T _t＝1τ^(t)

s.t.F(θ^(T))-F(θ^(*))≤κ

|A(t)|＝N

其中τ^(t)＝min_k∈A(t)τ^_k ^(t)，τ^_k ^(t)＝max{τ^B,(t)+τ^C,(t)+τ^U,(t),τ^max}，τ^B,(t)为第t个训练周期基站向所有的边缘设备传播当前联邦学习全局模型θ^(t)的传播延迟，τ^C,(t)为第t个训练周期基站对被调度的边缘设备进行局部更新的局部更新延迟，τ^U,(t)为第t个训练周期被调度的边缘设备集合将更新后的局部梯度上传到基站的上传延迟，τ^max为每两个训练周期之间的最大时间间隔。F(θ)为全局损失函数，定义为F(θ)＝(1/D)∑_k∈m∑_il(θ,x_k ⁽ⁱ⁾,y_k ⁽ⁱ⁾)，i＝1,2,…,D(k)，其中θ表示全局模型，l(θ,x_k ⁽ⁱ⁾,y_k ⁽ⁱ⁾)被定义为一个损失函数用来量化数据样本x_k ⁽ⁱ⁾和它的标签y_k ⁽ⁱ⁾。D＝∑_k∈m D(k)，m＝{1,2,…,K}，其中K表示边缘设备总的数量值。每个边缘设备k有一个本地数据集D(k)即D(k)＝{(x_k ⁽¹⁾,y_k ⁽¹⁾),(x_k ⁽²⁾,y_k ⁽²⁾),…,(x_k ^(D(k)),y_k ^(D(k)))}。其中θ^(*)表示最优的全局模型，κ>0表示一个小常数，T为训练周期数，A^(t)是任意的边缘设备子集，N表示正交子信道的个数。

步骤103：每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

每个训练周期的结束阶段，对于被调度的边缘设备，训练延迟奖励值更新规则是：如果k∈A(t)则τ_k ^(t+1)＝(τ_k ^(t)n_k ^(t)+τ'_k ^(t))/(n_k ^(t)+1)，否则τ_k ^(t+1)＝τ_k ^(t)，，n_k ^(t)是直到第t个训练周期边缘设备k被调度的次数，τ_k ^(t+1)、τ_k ^(t)分别是第t+1、t个训练周期边缘设备k的训练延迟，即第t+1、t个训练周期边缘设备k的瞬时奖励。对于被调度的边缘设备，其被调度次数的减少量的更新规则是：

q_k ^(t+1)是第t+1个训练周期边缘设备k被调度次数的减少量。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如步骤102所述的5G边缘设备调度方法。

一种面向快速联邦学习的5G边缘设备调度系统，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如步骤102所述的5G边缘设备调度方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下联邦学习的训练过程：

每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，基于多臂老虎机理论进行边缘设备调度；

每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；

每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

一种装置，包括：存储器和处理器；所述存储器为计算机可读存储介质；处理器通过运行存储在存储器上的计算机程序，实现如下联邦学习的训练过程：

每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，基于多臂老虎机理论进行边缘设备调度；

每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；

每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

结合本发明中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

下面通过具体实施例对本发明提供的技术方案进一步阐述。

本实施例采用MNIST数据集，训练样本集包含60000样本，10个类别的标签。每个设备拥有500个训练样本，并且包含2个类别的标签。一共训练100个周期。神经网络采用多层感知机，一共50890个神经元。无线通信网络参数设置如表1所示。

表1无线通信网络参数设置

图2和图3给出了训练损失和测试准确率关于训练延迟变化趋势，可以看出本发明所提方案和基准算法(随机调度)相比，可以以较低的训练延迟获得较高的学习性能。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (8)

1.一种面向快速联邦学习的5G边缘设备调度方法，其特征在于，该方法在联邦学习的每个训练周期开始阶段，考虑每个边缘设备的训练时延、公平性和本地模型重要性，基于多臂老虎机理论进行边缘设备调度，具体为：

将基站视为玩家，边缘设备视为手臂，局部更新本地模型重要性以及训练时延，边缘设备被调度次数的减少量的加权和视为奖励值，按照如下准则进行边缘设备调度：

A^*,(t)＝argmax_A(t)∑_k∈A(t)(ρ₁τ_k ^(t)+ρ₂d_k ^(t)+ρ₃q_k ^(t))

其中系数ρ₁、ρ₂、ρ₃∈[0,1]表示训练时延、本地模型重要性、边缘设备被调度次数的减少量的权重，A^*,(t)是联邦学习的第t个训练周期开始阶段被调度边缘设备集合，A(t)是联邦学习的第t个训练周期开始阶段任一备选的随机边缘设备子集，d_k ^(t)>0是联邦学习的第t个训练周期开始阶段边缘设备k的本地模型重要性，q_k ^(t)是联邦学习的第t个训练周期开始阶段边缘设备k被调度次数的减少量，τ_k ^(t)表示联邦学习的第t个训练周期边缘设备k的训练时延；

每个训练周期的结束阶段，对于被调度的边缘设备，其训练延迟的更新规则是：如果k∈A(t)则τ_k ^(t+1)＝(τ_k ^(t)n_k ^(t)+τ'_k ^(t))/(n_k ^(t)+1)，否则τ_k ^(t+1)＝τ_k ^(t)，τ_k ^(t+1)、τ_k ^(t)分别是第t+1、t个训练周期边缘设备k的训练延迟，n_k ^(t)是直到第t个训练周期边缘设备k被调度的次数，τ'_k ^(t)表示第t个训练周期边缘设备k的训练延迟的减少量；

每个训练周期的结束阶段，对于被调度的边缘设备，其被调度次数的减少量的更新规则是：

q_k ^(t+1)是第t+1个训练周期边缘设备k被调度次数的减少量，N是正交子信道的数量。

2.一种无线联邦学习系统，其特征在于，包含一个基站以及多个边缘设备，并且边缘设备信道条件以及本地计算能力未知；该系统中联邦学习的训练过程包括：

每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，采用如权利要求1所述方法、基于多臂老虎机理论进行边缘设备调度；

每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；

每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

3.根据权利要求2所述的一种无线联邦学习系统，其特征在于，边缘设备本地模型重要性为该边缘设备在当前全局模型下的训练损失。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述的面向快速联邦学习的5G边缘设备调度方法。

5.一种面向快速联邦学习的5G边缘设备调度系统，其特征在于，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1所述的面向快速联邦学习的5G边缘设备调度方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下联邦学习的训练过程包括：

每个训练周期开始阶段，考虑每个边缘设备的训练延迟、公平性和本地模型重要性，采用如权利要求1所述方法、基于多臂老虎机理论进行边缘设备调度；

每个训练周期的训练过程中，被调度的边缘设备进行本地训练，并将其更新之后的本地模型上传给基站进行全局聚合，从而生成新的全局模型；

每个训练周期的结束阶段，基站将新的全局模型广播给所有边缘设备，用于下一个训练周期的边缘设备调度以及训练。

7.如权利要求6所述的一种计算机可读存储介质，其特征在于，边缘设备本地模型重要性为该边缘设备在当前全局模型下的训练损失。

8.一种用于联邦学习的装置，其特征在于，包括：存储器和处理器；所述存储器为如权利要求6所述的计算机可读存储介质；处理器通过运行存储在存储器上的计算机程序，实现如权利要求6所述的联邦学习的训练过程。

Images