CN114726706B - 一种面向多层无线网络联邦学习的模型同步方法及系统 - Google Patents

一种面向多层无线网络联邦学习的模型同步方法及系统 Download PDF

Info

Publication number
CN114726706B
CN114726706B CN202210398205.4A CN202210398205A CN114726706B CN 114726706 B CN114726706 B CN 114726706B CN 202210398205 A CN202210398205 A CN 202210398205A CN 114726706 B CN114726706 B CN 114726706B
Authority
CN
China
Prior art keywords
base station
small base
edge
local
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210398205.4A
Other languages
English (en)
Other versions
CN114726706A (zh
Inventor
叶保留
赵罗成
屈志昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202210398205.4A priority Critical patent/CN114726706B/zh
Publication of CN114726706A publication Critical patent/CN114726706A/zh
Application granted granted Critical
Publication of CN114726706B publication Critical patent/CN114726706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种面向多层无线网络联邦学习的模型同步方法及系统，所述多层无线网络为两层网络架构的边缘网络，包括一个宏基站、多个小型基站以及若干边缘设备，所述方法包括：初始化阶段，宏基站将全局模型广播给所有小型基站与所有边缘设备；进入迭代，每轮迭代中宏基站首先将全局模型广播给小型基站，同时边缘节点执行本地训练并将梯度上传给相邻的小型基站，小型基站接收到来自宏基站的全局模型和来自边缘节点的梯度后，进行局部模型更新，并将结果广播给宏基站和相邻的边缘节点，其中建立边缘设备的信道调度策略B、计算频率控制策略F与传输功率控制策略P的联合优化问题来最小化每轮迭代中边缘设备的能耗。本发明实现了低能耗的模型同步。

Description

一种面向多层无线网络联邦学习的模型同步方法及系统
技术领域
本发明涉及分布式计算技术领域，具体涉及一种面向多层无线网络联邦学习的模型同步方法及系统。
背景技术
随着物联网与大量人工智能应用的快速发展，机器学习在日常生活与工业生产中发挥着重要的作用，已经成为研究计算机视觉、自然语言处理等技术的首选方法。传统的集中式机器学习是将用户的数据收集到云服务器后进行集中式的训练，再将训练后生成的模型分发给用户用于服务。在一些计算机科学和涉及数据密集型问题中，用于训练的数据集很容易是以TB为单位的，造成无法容忍的通信成本与训练时延，同时，将用户的数据上传到云服务器很容易造成隐私泄露的问题。为此，Google在2016年提出了联邦学习，它是一种分布式机器学习训练范式，将训练的过程下放至边缘，通过利用边缘环境中的计算与通信资源来解决传统机器学习中出现的问题。
在一轮联邦学习迭代中，边缘节点基于本地数据进行训练生成局部模型，由参数服务器对局部模型进行安全聚合，在所有参与本轮迭代的边缘节点同步更新完毕后，参数服务器再进行全局模型的更新，联邦学习需要进行多轮迭代直到全局模型收敛到预期精度。但将现有建立在单层结构上的联邦学习直接应用到现实场景中，可能无法达到预期的效果，由于边缘节点的计算性能有差异，在严格模型同步的方法下，快节点需要等待慢节点完成本地训练和模型传输，才能进行下一轮的训练，产生长时间的等待时延，这不仅会严重拖慢联邦学习的训练过程，还会造成资源的大量浪费。
现实环境中的无线边缘环境是混合多层无线的架构，一般是由一个宏基站与多个小型基站相连，小型基站再与边缘节点相连组成的多层结构。在多层结构下的联邦学习中，边缘节点可以根据其地理位置分组，由与之相邻的小型基站负责，小型基站以同步的方式接收到组内局部更新之后，进行模型或梯度的平均，再将结果上传至宏基站。
虽然无线边缘环境为联邦学习提供了发展的基础，但是边缘设备一般是智能手机等移动设备，仅配有有限的电池，无线传输功率也受限，随着联邦学习模型的参数规模逐渐上升，在高度动态的无线边缘环境下，联邦学习面临着较大的通信压力。现有联邦学习通信优化大多基于量化、稀疏化等压缩方法来减少通信量，缺少与多样性无线资源分配和通信调度的有机融合，涉及以改善同步效率、降低同步中产生的能耗为目的的通信调度和聚合策略也鲜有研究。
发明内容
发明目的：本发明提出一种面向多层无线网络联邦学习的模型同步方法及系统，实现在多层边缘网络上联邦学习的低能耗的模型同步。
技术方案：为了实现以上发明目的，本发明的技术方案如下：
本发明的第一方面提供一种面向多层无线网络联邦学习的模型同步方法，所述多层无线网络为两层网络架构的边缘网络，包括一个宏基站、多个小型基站以及若干边缘设备，所述方法包括：
初始化阶段，宏基站将全局模型广播给所有小型基站与所有边缘设备；
进入迭代，一轮迭代包括以下步骤：
1)宏基站将本轮全局模型广播给所有的小型基站；
2)每个小型基站收集相邻边缘设备的资源信息和网络状态，给出一轮迭代过程中的边缘设备的计算频率控制策略、传输功率控制策略和信道调度策略；
3)每个边缘设备基于本地数据和局部模型进行训练，以同步的方式将本轮梯度上传给相邻的小型基站；
4)小型基站基于宏基站下发的本轮全局模型和所有相邻边缘设备上报的本轮梯度，计算下一轮的组内局部模型，并将其广播给宏基站和相邻边缘设备；
5)宏基站基于边缘设备生成的所有局部梯度以及小型基站的组内局部模型，计算下一轮的全局模型。
本发明的第二方面提供一种面向多层无线网络联邦学习的模型同步系统，包括一个宏基站、多个小型基站以及若干边缘设备，其中所述宏基站负责聚合由边缘设备生成的所有局部梯度以及小型基站的组内局部模型，在每轮迭代中计算下一轮的全局模型，并在下一轮迭代开始时将其广播给小型基站；所述小型基站通过收集相邻边缘设备的资源信息和网络状态，给出一轮迭代过程中的边缘设备的计算频率控制策略、传输功率控制策略和信道的调度策略，并且所述小型基站基于宏基站下发的本轮迭代全局模型和来自相邻边缘设备上报的本轮梯度计算下一轮的组内局部模型，并将其广播给宏基站和相邻边缘设备；所述边缘设备在每轮迭代中基于本地数据与局部模型进行训练，以同步的方式将本轮梯度上传给相邻的小型基站。
有益效果：本发明提出了一种面向多层无线网络联邦学习的模型同步方法，由小型基站负责聚合边缘设备生成的局部梯度，并在每次迭代中进行组内同步局部更新，再将结果上传至宏基站进行全局模型更新。不同于顺序同步方法(例如批量同步并行)，在本发明的分组同步并行方案中，小型基站会基于当前边缘设备的资源信息和网络状态得出边缘设备的计算频率控制策略、传输功率控制策略和信道调度策略来调度本轮的迭代，边缘设备训练结束后以同步的方式将训练结果上传至相邻的小型基站，宏基站同时会将全局模型广播给小型基站，小型基站基于全局模型与训练结果计算出模型更新，再将模型更新同时广播给边缘设备和上传至宏基站。该分组同步并行方案通过打破传统联邦学习的传输顺序约束，减少多层无线边缘网络中联邦学习每次迭代中的传输次数，结合每轮的边缘设备的计算频率、传输功率控制策略和信道的调度策略，降低边缘设备参与联邦学习所产生的能耗。
附图说明
图1是多层无线网络架构示意图；
图2是对比批量同步并行的一轮学习迭代过程示意图；
图3是分组同步并行方案的一轮学习迭代过程示意图。
具体实施方式
下面结合附图对本发明的实施方法作进一步说明。
本发明中的多层无线边缘网络是一个典型的正交频分多址(OFDMA)的蜂窝网络，其中宏基站和小型基站共享规定的频带。具体地，将整个频带均等地划分为多个子载波，以组的形式结合形成一组子信道，时间被划分为多个时隙，将时隙和子信道根据宏基站的资源分配策略分配给宏基站和小型基站，在每个小型基站与边缘节点所组成的组内，由于边缘节点数量一般远大于信道的数量，边缘节点之间需要竞争信道，存在等待时延，且边缘设备的电量有限，计算频率与传输功率需要进行严格的控制。
调度问题在基于正交频分多址的蜂窝网络中已有研究，通过在宏基站与小型基站之间分配时隙与频带平衡吞吐量与公平性，但是现有的研究并不适用于本发明中的分组同步并行方案。首先，小型基站在接收到边缘节点的同步更新和宏基站的全局模型前，不能够进行计算与广播新一轮的全局模型；其次，信道数量一般远小于边缘节点数量，边缘节点之间存在信道竞争的问题，过长的等待时间会降低联邦学习的收敛速度，而边缘设备的电量有限，不能通过使用高计算频率提升训练速率，也不能高传输功率会加快传输，需要合理地控制边缘设备的计算频率与传输功率，实现低能耗的模型同步。
图1所示为本发明搭建的多层无线边缘环境，由一个宏基站、多个小型基站和大量的边缘设备组成，在以下描述中，边缘设备、边缘节点互换使用。其中宏基站与一个移动边缘服务器相关联，该服务器负责聚合由边缘节点生成的所有局部梯度以及小型基站的中间结果，并在每次迭代中负责计算新一轮的全局模型，在下一轮迭代开始时，将其广播给小型基站。小型基站的传输范围比宏基站要小，但是它能够为边缘节点提供较大的传输速率，与边缘节点距离相较于宏基站与边缘节点的距离更近，可以降低边缘节点上传梯度的时延，而且小型基站可以通过收集边缘设备的资源信息和网络状态，给出一轮迭代过程中的边缘设备的计算频率控制策略F、传输功率控制策略P和信道调度策略B。信道调度策略也称为信道分配策略。所有的边缘节点按照地理位置分组，一个小型基站所覆盖范围的所有边缘节点组成一组，每个边缘节点与相邻的小型基站进行通信。在本发明的描述中，与边缘节点相邻的小型基站指的是覆盖该边缘节点的小型基站，同样地，与小型基站相邻的边缘设备指的是在该小型基站覆盖范围内的边缘节点。对于无线资源，在一个组内，对于同一个信道在同一时间内只能被一个边缘节点占用。由于地理位置不同，组间的无线资源可以复用。
图2所示为对比批量同步并行的一轮学习迭代过程示意图。对于批量同步并行的一轮学习迭代过程，包括4个步骤：
1)边缘节点n选取部分本地数据执行训练生成梯度gi，并将梯度上传给相邻小型基站s；
2)小型基站s平均所接收的梯度得到中间结果，并将其上传给宏基站；
3)宏基站根据接收到的所有中间的结果计算一轮的全局模型wτ+1，并将其广播给所有的小型基站；
4)小型基站接收到全局模型wτ+1，再将其广播给所在组内的所有的边缘节点。
对于图2中的场景，包括1个宏基站、2个用于中继的小型基站和5个边缘节点，在一轮的批量同步并行的迭代过程中，总共有4个步骤，其中共涉及10次传输，包括5次边缘节点向小型基站的梯度推送、2次小型基站向宏基站的梯度转发，1次宏基站向所有小型基站的全局模型的广播以及2次小型基站向所覆盖范围内的边缘节点的全局模型的广播。
图3所示为根据本发明实施例的分组同步并行方案的一轮学习迭代过程示意图。对于分组同步并行方案的一轮学习迭代过程，包括2个阶段：
1)宏基站向所有的小型基站广播本轮全局模型wτ，小型基站根据边缘设备的资源信息和网络状态，给出一轮迭代过程中的边缘设备的计算频率控制策略F、传输功率控制策略P和信道调度策略B，同时边缘节点n选取部分本地数据执行训练生成梯度gi，并将梯度上传给相邻小型基站s；
2)小型基站s根据全局模型wτ以及收集到的梯度计算组内局部模型
Figure BDA0003598369630000051
将计算结果广播给宏基站用于新一轮全局模型wτ+1的计算，并将结果广播给其覆盖范围内的边缘节点用于本地训练。
对于图3中的场景，与图2相同，包括1个宏基站、2个用于中继的小型基站以及5个边缘节点，在一轮的分组同步并行的迭代过程中，总共有2个步骤，其中共涉及8次传输，包括5次边缘节点向小型基站的梯度推送、1次宏基站对所有小型基站的广播、2次小型基站对所覆盖范围内的边缘节点的广播。
下面结合图1和图3，从各设备角度描述各自完成的工作。
在初始化阶段(未示出)，宏基站将全局模型广播给所有小型基站，包括：宏基站初始化迭代次数τ＝0，全局模型w0；宏基站将全局模型w0通过广播推送给所有的用于中继的小型基站；所有的小型基站s将组内局部模型
Figure BDA0003598369630000052
设为w0，并将
Figure BDA0003598369630000053
通过广播推送给其所覆盖的所有的边缘节点。
在一轮迭代中，宏基站将本轮全局模型广播给所有的小型基站，包括：宏基站初始化本轮的学习率α，宏基站将本轮的全局模型wτ和学习率α广播给所有的小型基站。
在一轮迭代中，小型基站从宏基站上接收本轮全局模型wτ，将组内局部模型
Figure BDA0003598369630000054
设为wτ，同时收集边缘节点自身的资源信息与网络状态，得出边缘设备的计算频率控制策略、传输功率控制策略与信道调度策略；小型基站s将调度策略和组内局部模型
Figure BDA0003598369630000055
广播给所有相邻的边缘节点；在被调度策略选择的边缘节点n通过本地训练生成梯度
Figure BDA0003598369630000056
后，小型基站s从被选择的边缘节点n上接收梯度
Figure BDA0003598369630000057
小型基站s再根据下式生成第τ+1轮的组内局部模型
Figure BDA0003598369630000058
Figure BDA0003598369630000059
其中Ds为小型基站s下的数据集大小，
Figure BDA00035983696300000510
为在小型基站s下边缘节点n的样本
Figure BDA00035983696300000511
的梯度，i为边缘节点n上的第i个样本，
Figure BDA00035983696300000512
为小型基站s在第τ轮迭代的组内局部模型，N为全局边缘设备的集合。
在一轮迭代中，边缘节点从相邻的小型基站上接收调度策略，被调度策略选择的边缘节点n从相邻的小型基站s上接收本轮组内局部模型
Figure BDA0003598369630000061
边缘节点n随机选择样本
Figure BDA0003598369630000062
根据本轮的组内局部模型
Figure BDA0003598369630000063
在选择的样本上计算出梯度
Figure BDA0003598369630000064
在所分配的信道和时间内将得到的梯度
Figure BDA0003598369630000065
传输给相邻的小型基站s。
在一轮迭代的最后，宏基站再根据收到的
Figure BDA0003598369630000066
更新全局模型为wτ+1，更新方法如下：
Figure BDA0003598369630000067
其中Ds为小型基站s下的数据集大小，D为所有小型基站的数据集大小，S为所有小型基站的集合。生成第τ+1轮的全局模型后，再开始第τ+1轮的迭代。
下面介绍本发明中对边缘设备的计算频率控制策略、传输功率控制策略与信道调度策略的计算。
在无线边缘环境下的多层联邦学习的整个训练过程中所产生的能耗由计算能耗与传输能耗组成。由于宏基站与小型基站具有不断的电量供应，所以忽略宏基站与小型基站上由于计算与传输所产生的能耗。而边缘设备一般是智能手机等移动设备，仅配有有限的电池，而边缘设备进行在自己本地的数据上进行本地训练会产生计算能耗，边缘设备训练完成后将训练结果上传到小型基站，与小型基站之间采用无线传输会产生传输能耗。
用
Figure BDA0003598369630000068
表示小型基站s覆盖下边缘设备n的计算能耗，则有：
Figure BDA0003598369630000069
其中Ks,n为边缘设备n为了达到本地精度为η时所需的本地训练轮数，
Figure BDA00035983696300000610
为边缘设备n的计算芯片的有效电容系数，cs,n为边缘设备n计算一个样本所需CPU周期数，Ds,n为边缘设备n的本地数据集大小，fs,n为边缘设备n的CPU周期频率。
用
Figure BDA00035983696300000611
表示小型基站s覆盖下边缘设备n传输能耗，则有：
Figure BDA00035983696300000612
其中Ps,n为边缘设备n的传输功率，
Figure BDA00035983696300000613
为边缘设备n的传输时间，传输时间
Figure BDA00035983696300000614
与边缘设备n的传输速率rs,n和传输数据量的大小|gn|相关，由香农定理可知边缘设备n的理想传输速率为：
Figure BDA0003598369630000071
其中Ws,n为边缘设备n所获得的带宽，hs,n为边缘设备n的信道增益，N0为白噪声，为常数。
由于参与联邦学习中的边缘设备较多，而用于传输的信道有限，信道数量C<<边缘设备量Ss，因此在小型基站与边缘设备进行同步模型同步时，为了减少传输时产生的等待时延，提高模型同步速度，需要对信道进行分配调度。在本发明中采用时分复用的方法，将时间
Figure BDA0003598369630000072
划分为多个大小为
Figure BDA0003598369630000073
的时隙，用
Figure BDA0003598369630000074
表示在时隙t边缘设备n获得信道，
Figure BDA0003598369630000075
则表示未获得，则小型基站s下边缘设备n传输能耗
Figure BDA0003598369630000076
应重写为：
Figure BDA0003598369630000077
则在一轮迭代过程中，小型基站s下所产生的总能耗为：
Figure BDA0003598369630000078
在多层无线边缘环境下的联邦学习中，可以通过高效合理的信道分配策略B，控制边缘设备的计算频率策略F和边缘设备的传输功率控制策略P实现低能耗的模型同步，即有：
Figure BDA0003598369630000079
由于边缘设备n的目标为
Figure BDA00035983696300000710
f(ws,n,z)是模型ws,n的损失函数，z为数据集Ds,n中的一个样本，f(ws,n,z)由模型ws,n在边缘设备n上的样本数据z上的损失值计算而来。其中ws,n为小型基站s下边缘节点n上的本地模型，当损失函数f(ws,n,z)为L-Lipchitzsmooth的且γ-stronglyconvex的时，令
Figure BDA00035983696300000711
其中L-Lipchitzsmooth表明损失函数f(ws,n,z)是连续可微的，可以建立模型ws,n和梯度gz间的关系，L为Lipchitz常数，L>0，γ-stronglyconvex表明损失函数f(ws,n,z)是强凸的，γ也是常数。则边缘设备n为了达到本地精度为η时所需的本地训练轮数
Figure BDA0003598369630000081
令Ms,n＝vcs, nDs,n，Ms,n为常数，则能耗最小化问题为：
Figure BDA0003598369630000082
Figure BDA0003598369630000083
其中，限制条件(a)为一次迭代过程的计算与通信时长不能超过最大的时长限制，限制条件(b)为在额定的通信时间内必须传输完模型更新，限制条件(c)表示在每个时隙t，信道分配的数量不能超过总的信道数量，限制条件(d)(e)则表示控制边缘设备n的传输功率和计算频率不能超过最大限制。
为了获得最优的B,F,P，首先根据给定的F,P，获得最优的信道分配策略B，再根据获得B更新F,P，首先给定F,P，最小化问题简化为：
Figure BDA0003598369630000084
Figure BDA0003598369630000085
其中
Figure BDA0003598369630000086
为边缘设备n在达到理想的传输速率时的最小传输时间：
Figure BDA0003598369630000091
可以通过解决该问题获得最优的B，当给定B，最小化问题简化为：
Figure BDA0003598369630000092
Figure BDA0003598369630000093
通过解决该问题获得最优的控制边缘设备的计算频率策略F和边缘设备的传输功率控制策略P。可以看出，可以通过减少传输距离和传输量来降低每一轮迭代的传输能耗与时间，而减少通信次数不仅可以降低联邦学习的收敛时间，还可以降低边缘设备与联邦学习所产生的能耗。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种面向多层无线网络联邦学习的模型同步方法，其特征在于，所述多层无线网络为两层网络架构的边缘网络，包括一个宏基站、多个小型基站以及若干边缘设备，所述方法包括：
初始化阶段，宏基站将全局模型广播给所有小型基站与所有边缘设备；
进入迭代，一轮迭代包括以下步骤：
1)宏基站将本轮全局模型广播给所有的小型基站；
2)每个小型基站收集相邻边缘设备的资源信息和网络状态，给出一轮迭代过程中的边缘设备的计算频率控制策略、传输功率控制策略和信道调度策略；
3)每个边缘设备基于本地数据和组内局部模型进行训练，以同步的方式将本轮梯度上传给相邻的小型基站；
4)小型基站基于宏基站下发的本轮全局模型和所有相邻边缘设备上报的本轮梯度，计算下一轮的组内局部模型，并将其广播给宏基站和相邻边缘设备；
5)宏基站基于边缘设备生成的所有局部梯度以及小型基站的组内局部模型，计算下一轮的全局模型。
2.根据权利要求1所述的方法，其特征在于，所述步骤1)包括：
宏基站初始化本轮的学习率α；
宏基站将本轮的全局模型wτ和学习率α广播给所有的小型基站。
3.根据权利要求1所述的方法，其特征在于，所述步骤2)包括：小型基站s接收全局模型wτ，并将小型基站s在第τ轮迭代的局部模型
Figure FDA0004034714040000011
设为wτ，即
Figure FDA0004034714040000012
小型基站s再以最小化每轮迭代中边缘设备的能耗为目标建立一个边缘设备的信道调度策略B、计算频率控制策略F和传输功率控制策略P的联合优化问题，并求解该问题，其中边缘设备的能耗包括边缘设备本地训练中产生的计算能耗以及边缘设备上传局部梯度到小型基站产生的传输能耗。
4.根据权利要求3所述的方法，其特征在于，所述计算能耗按下式计算：
Figure FDA0004034714040000013
其中
Figure FDA0004034714040000014
表示小型基站s下边缘设备n的计算能耗，Ks,n为边缘设备n为了达到本地精度为η时所需的本地训练轮数，
Figure FDA0004034714040000015
为边缘设备n的计算芯片的有效电容系数，cs,n为边缘设备n计算一个样本所需CPU周期数，Ds,n为边缘设备n的本地数据集大小，fs,n为边缘设备n的CPU周期频率；
所述传输能耗按下式计算：
Figure FDA0004034714040000021
其中
Figure FDA0004034714040000022
表示小型基站s下边缘设备n的传输能耗，Ps,n为边缘设备n的传输功率，
Figure FDA0004034714040000023
表示小型基站s完成组内同步更新的时间，该时间被划分为多个大小为
Figure FDA0004034714040000024
的时隙，
Figure FDA0004034714040000025
表示在时隙t边缘设备n获得信道，
Figure FDA0004034714040000026
则表示未获得。
5.根据权利要求4所述的方法，其特征在于，所述联合优化问题表示为：
Figure FDA0004034714040000027
其中，Ss表示小型基站s下的边缘设备数量。
6.根据权利要求3所述的方法，其特征在于，对问题的求解包括：通过在给定的计算频率控制策略F与传输功率控制策略P的情况下，得出最优的信道调度策略B，然后再在给定的信道调度策略B时，优化计算频率控制策略F与传输功率控制策略P，不断重复得出最优的信道调度策略B、计算频率控制策略F与传输功率控制策略P。
7.根据权利要求1所述的方法，其特征在于，所述步骤3)包括：
边缘设备从相邻的小型基站上接收调度策略；
被调度策略选择的边缘设备n从相邻的小型基站s上接收本轮组内局部模型
Figure FDA0004034714040000028
边缘设备n随机选择样本
Figure FDA0004034714040000029
边缘设备n根据本轮的局部模型
Figure FDA00040347140400000210
在选择的样本上计算出梯度
Figure FDA00040347140400000211
在所分配的信道和时间内，边缘设备n将得到的梯度
Figure FDA00040347140400000212
传输给相邻的小型基站s。
8.根据权利要求1所述的方法，其特征在于，所述步骤4)中，小型基站按照下式计算下一轮的组内局部模型：
Figure FDA00040347140400000213
其中，wτ为来自宏基站的第τ轮迭代的全局模型，α为学习率，Ds为小型基站s覆盖范围内的数据集大小，
Figure FDA00040347140400000214
为在小型基站s下边缘设备n的样本
Figure FDA00040347140400000215
的梯度，
Figure FDA00040347140400000216
为小型基站s在第τ轮迭代的局部模型，N为全局边缘设备的集合。
9.根据权利要求1所述的方法，其特征在于，所述步骤5)中，宏基站按照下式计算下一轮全局模型：
Figure FDA0004034714040000031
其中，wτ为第τ轮迭代的全局模型，α为学习率，Ds为小型基站s覆盖范围内的数据集大小，D为所有小型基站的数据集大小，S为所有小型基站的集合，
Figure FDA0004034714040000032
为小型基站s在第τ+1轮迭代的局部模型。
10.一种面向多层无线网络联邦学习的模型同步系统，其特征在于，包括一个宏基站、多个小型基站以及若干边缘设备，其中所述宏基站负责聚合由边缘设备生成的所有局部梯度以及小型基站的组内局部模型，在每轮迭代中计算下一轮的全局模型，并在下一轮迭代开始时将其广播给小型基站；所述小型基站通过收集相邻边缘设备的资源信息和网络状态，给出一轮迭代过程中的边缘设备的计算频率控制策略、传输功率控制策略和信道调度策略，并且所述小型基站基于宏基站下发的本轮迭代全局模型和来自相邻边缘设备上报的本轮梯度计算下一轮的组内局部模型，并将其广播给宏基站和相邻边缘设备；所述边缘设备在每轮迭代中基于本地数据与组内局部模型进行训练，以同步的方式将本轮梯度上传给相邻的小型基站。
CN202210398205.4A 2022-04-15 2022-04-15 一种面向多层无线网络联邦学习的模型同步方法及系统 Active CN114726706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398205.4A CN114726706B (zh) 2022-04-15 2022-04-15 一种面向多层无线网络联邦学习的模型同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398205.4A CN114726706B (zh) 2022-04-15 2022-04-15 一种面向多层无线网络联邦学习的模型同步方法及系统

Publications (2)

Publication Number Publication Date
CN114726706A CN114726706A (zh) 2022-07-08
CN114726706B true CN114726706B (zh) 2023-03-14

Family

ID=82244016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398205.4A Active CN114726706B (zh) 2022-04-15 2022-04-15 一种面向多层无线网络联邦学习的模型同步方法及系统

Country Status (1)

Country Link
CN (1) CN114726706B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139662A (zh) * 2021-04-23 2021-07-20 深圳市大数据研究院 联邦学习的全局及局部梯度处理方法、装置、设备和介质
CN113194489A (zh) * 2021-04-01 2021-07-30 西安电子科技大学 无线边缘网络中有效联邦学习的最小-最大代价优化方法
WO2022012621A1 (zh) * 2020-07-17 2022-01-20 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN113989561A (zh) * 2021-10-29 2022-01-28 河海大学 基于异步联邦学习的参数聚合更新方法、设备及系统
CN114154646A (zh) * 2021-12-07 2022-03-08 南京华苏科技有限公司 一种移动边缘网络中联邦学习的效率优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012621A1 (zh) * 2020-07-17 2022-01-20 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN113194489A (zh) * 2021-04-01 2021-07-30 西安电子科技大学 无线边缘网络中有效联邦学习的最小-最大代价优化方法
CN113139662A (zh) * 2021-04-23 2021-07-20 深圳市大数据研究院 联邦学习的全局及局部梯度处理方法、装置、设备和介质
CN113989561A (zh) * 2021-10-29 2022-01-28 河海大学 基于异步联邦学习的参数聚合更新方法、设备及系统
CN114154646A (zh) * 2021-12-07 2022-03-08 南京华苏科技有限公司 一种移动边缘网络中联邦学习的效率优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Partial Synchronization to Accelerate Federated Learning Over Relay-Assisted Edge Networks;Zhihao Qu等;《IEEE Transactions on Mobile Computing》;第21卷(第12期);全文 *
Physical-Layer Arithmetic for Federated Learning in Uplink MU-MIMO Enabled Wireless Networks;Tao Huang等;《 IEEE INFOCOM 2020 - IEEE Conference on Computer Communications》;全文 *
面向多层无线边缘环境下的联邦学习通信优化的研究;赵罗成等;《计算机科学》;第49卷(第3期);全文 *

Also Published As

Publication number Publication date
CN114726706A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN109413724B (zh) 一种基于mec的任务卸载和资源分配方案
CN109041193B (zh) 一种基于noma的网络切片动态联合用户关联和功率分配方法
CN113286317B (zh) 一种基于无线供能边缘网络的任务调度方法
CN110233755B (zh) 一种物联网中雾计算的计算资源和频谱资源分配方法
CN110121212B (zh) 一种面向周期类urllc业务的上行传输方法
CN105007629B (zh) 超密集小小区网络系统中无线资源分配方法
CN111182569B (zh) 一种5g场景下的边缘计算卸载周期最小化方法
CN114745383A (zh) 一种移动边缘计算辅助多层联邦学习方法
Xu et al. Resource allocation for NOMA-based V2V system
CN109348535B (zh) 同步信号块指示及确定方法、网络设备和终端设备
CN113613198A (zh) 无人机辅助的无线携能d2d网络资源分配方法
Wang et al. Power-minimization computing resource allocation in mobile cloud-radio access network
CN109787737B (zh) 一种基于混合能量采集的多用户资源优化方法
CN109272167B (zh) 一种基于uudn和q神经网络的绿色能量合作方法
Luo et al. Joint game theory and greedy optimization scheme of computation offloading for UAV-aided network
CN114189521A (zh) 在f-ran架构中协作计算卸载的方法
CN114726706B (zh) 一种面向多层无线网络联邦学习的模型同步方法及系统
CN108471608B (zh) 一种d2d通信资源调度方法及装置
CN110958612B (zh) 一种多用户场景下的边缘计算卸载周期最小化方法
CN104410976B (zh) 一种分布式端到端用户和蜂窝网络用户关联及时间分配方法
CN110602718A (zh) 基于交替方向乘子法的异构蜂窝网络功率分配方法及系统
CN109104768A (zh) 一种基于模拟退火算法的非正交多址接入联合带宽和速率分配方法
CN112839337B (zh) 一种基于分治递归策略的超密微基站间干扰协调方法
CN111372268B (zh) 一种超密集网络中联合无线资源管理与任务卸载优化方法
CN110532079B (zh) 计算资源的分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant