CN111176929A - 一种面向边缘联邦学习的高能效计算通信联合优化方法 - Google Patents

一种面向边缘联邦学习的高能效计算通信联合优化方法 Download PDF

Info

Publication number
CN111176929A
CN111176929A CN201911203520.1A CN201911203520A CN111176929A CN 111176929 A CN111176929 A CN 111176929A CN 201911203520 A CN201911203520 A CN 201911203520A CN 111176929 A CN111176929 A CN 111176929A
Authority
CN
China
Prior art keywords
edge
energy consumption
communication
edge device
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911203520.1A
Other languages
English (en)
Other versions
CN111176929B (zh
Inventor
许杰
莫小鹏
陈俊阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201911203520.1A priority Critical patent/CN111176929B/zh
Publication of CN111176929A publication Critical patent/CN111176929A/zh
Application granted granted Critical
Publication of CN111176929B publication Critical patent/CN111176929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种面向边缘联邦学习的高能效计算通信联合优化方法，包括：边缘服务器接收各个边缘设备发送的所述边缘设备中的通信/计算元件能耗信息，并根据所述元件能耗信息进行能耗控制方案的优化，将优化后的能耗控制方案下发给各个边缘设备，以使所述边缘设备依据能耗控制方案配置相关通信和计算能耗元件的工作参数，然后边缘服务器在边缘设备的协作下完成联邦学习。本申请能自适应的根据边缘设备的硬件条件以及能耗情况调整能耗分配以及工作情况，对能耗元件的合理资源再分配设置进行能效优化，从而达到降低能耗，提高能源的利用效率的目的。

Description

一种面向边缘联邦学习的高能效计算通信联合优化方法
技术领域
本申请涉及通信优化领域，具体涉及一种面向边缘联邦学习的高能效计算通信联合优化方法。
背景技术
2016年Alphago战胜人类棋手李世石在全世界掀起了一股人工智能的热潮，然而，人工智能的模型的训练对计算能力的严苛要求使得传统的人工智能的算法运行以及模型训练大多只能集中在云计算中心进行。为了解决这一问题，谷歌公司提出了一种训练数据去中心化的机器学习解决方案，即“联邦学习”(Federated learning)，目的在于通过对保存在大量终端的分布式数据开展训练学习一个高质量中心化的机器学习模型，解决数据孤岛的问题。“联邦学习”的整体流程为：边缘服务器首先将全局模型初始参数下发到各个边缘设备中，边缘设备收到初始化参数后开始运用其本地参数计算模块执行机器学习模型的本地参数更新(local update)，在所有边缘设备均执行完N次本地更新后，边缘设备将更新后的本地模型参数上传到边缘服务器中进行全局参数聚合(global aggregation)。边缘服务器在完成全局参数聚合后将聚合后的全局参数再次下发到各个边缘设备中进行本地参数更新，直至进行了M次全局参数聚合后全局损失函数值下降到预设的值，系统概念图如图2所示。
与此同时，与传统移动边缘计算系统(mobile edge computing,MEC)所面临的严峻的资源能耗问题一样，“联邦学习”系统也给大规模的分布式网络结构带来巨大的压力，特别是大规模智能设备密集的计算以及与边缘服务器(如基站)间频繁的通信以及边缘设备在进行模型训练时候密集的计算所造成的庞大耗能已经成为学术界以及工业界亟待解决的关键性问题。
现有的“联邦学习”技术主要考虑的大都是如何降低模型训练时长以及提高模型拟合的准确性，一般情况下都是默认本地参数计算模块(CPU或者GPU) 工作在最高的运行频率上，并且在进行参数上传之时也是默认边缘设备是以最大发射功率进行参数上传的，因此在训练一些相对而言非实时性的并且讲求低能耗的机器学习模型的时候会造成巨大的能源浪费。
发明内容
本申请的目的是提供一种面向边缘联邦学习的高能效计算通信联合优化方法，以在满足时间约束和准确性的约束前提下解决“联邦学习”背后的计算通信能耗开销问题。
为了实现上述任务，本申请采用以下技术方案：
一种面向边缘联邦学习的高能效计算通信联合优化方法，包括：
边缘服务器接收各个边缘设备发送的所述边缘设备中的通信/计算元件的能耗信息，并根据所述通信/计算元件的能耗信息进行能耗控制方案的优化，将优化后的能耗控制方案下发给各个边缘设备，以使所述边缘设备依据能耗控制方案配置相关通信/计算元件的工作参数，然后边缘服务器在边缘设备的协作下完成联邦学习。
进一步地，所述边缘服务器接收各个边缘设备发送的所述边缘设备中的通信/计算元件的能耗信息之前，还包括：
边缘服务器依据需要的训练模型的准确性确定全局参数更新次数和本地参数更新次数。
进一步地，所述根据所述能耗元件信息进行能耗控制方案的优化，包括：
根据通信/计算元件的能耗信息、每次本地参数更新过程中每个边缘设备的总耗能、边缘设备本地模型参数上传所消耗的能量、总消耗时间构造优化问题，并进行求解，得到优化的能耗控制方案。
进一步地，所述优化的能耗控制方案包括优化后的能耗参数，包括边缘设备的最佳工作频率、最优的发射功率、最优的传输速率、最优的译码顺序、最优的本地模型参数上传时间、最优的本地参数更新消耗的时间。
进一步地，所述优化问题表示为：
Figure BDA0002296442770000021
其中，M表示全局参数更新次数，N表示本地参数更新次数，K表示边缘设备的总数，k表示第k个边缘设备，Fk表示边缘设备进行批量梯度下降时候所需的浮点运算数，Ck为边缘设备的本地参数计算模块一个周期中所能运算的浮点计算次数，βk表示边缘设备的本地参数计算模块能耗系数，fk为边缘设备的本地参数计算模块运算频率，αk表示边缘设备为了维持例如内存读写控制的系统耗能功率，pk为边缘设备的发射功率，Pr为边缘服务器消耗的恒定电路功率， tup为本地模型参数上传的时间。
进一步地，所述优化问题的约束为：
s.t.r∈RNOMA(p)
Figure BDA0002296442770000031
M(Ntloc+tup)≤T
Figure BDA0002296442770000032
Figure BDA0002296442770000033
Figure BDA0002296442770000034
其中，RNOMA(p)表示本地模型参数上传过程中基于非正交多址接入工作协议的传输容量，
Figure BDA0002296442770000035
pk为边缘设备k的发射功率， rk表示边缘设备k与边缘服务器之间通信协议下的传输容量，k＝1,2,...,K，S 表示在tup时间内传输的信息量的量化后参数的比特数，tloc为本地参数更新消耗的时间，T为总消耗时间，fk max表示边缘设备的本地参数运算模块的最大运算频率，Pmax表示边缘设备的最大发射功率。
进一步地，所述传输容量是在对应的通信协议下计算出的传输容量，所述通信协议包括NOMA协议、TDMA协议、FDMA协议。
示例性的，当所述通信协议采用NOMA协议时，传输容量表示为：
Figure BDA0002296442770000036
其中，B为所有的边缘设备的传输带宽，hk为对应边缘设备发射功率的信道功率增益，σ2为高斯白噪声的方差，RK×1表示K维的非负实向量，
Figure BDA0002296442770000037
为K的子集。
进一步地，所述优化问题的求解方法包括：
将所述优化问题转换成满足Slater条件的凸优化问题，采用拉格朗日对偶方法求取所述凸优化问题的全局最优解，基于该最优解，得到所述优化问题的最优解。
进一步地，所述边缘服务器中包括第一通讯模块，决策模块以及模型参数聚合模块，其中第一通讯模块用于边缘服务器的信息收发，决策模块在收集到边缘设备的通信/计算元件的能耗信息后进行优化，在完成优化后再将优化后的能耗控制方案通过第一通讯模块发送到各个边缘设备上；模型参数聚合模块则是负责将收集到的所有的边缘设备的更新后的本地模型参数进行全局聚合后得到全局模型参数，得到的全局模型参数通过第一通讯模块再发回给各个边缘设备。
进一步地，所述边缘设备包括第二通讯模块，能耗信息收集以及控制模块、本地参数计算模块，其中，所述第二通讯模块用于边缘设备的信息交流传输任务，包括通信/计算元件的能耗信息的上传，控制信息的接收，更新后的本地模型参数的上传以及更新后的全局模型参数的下载；第二通讯模块根据收到的边缘设备的控制信息通过通信/计算元件的相关控制器对相关元件进行能耗优化，而更新后的全局模型参数则会传输到本地参数计算模块中以继续进行本地模型参数更新；经过本地模型参数更新后的本地模型参数则通过第二通讯模块上传到边缘服务器；所述能耗信息收集以及控制模块一方面负责模型训练前边缘设备模块对通信/计算元件的能耗信息的收集，同时也负责将接受到边缘服务器的控制信息转换成相应的控制电平信号对通信/计算元件的工作参数进行最优设置。
本申请具有以下技术特点：
1.本申请综合考虑了“联邦学习”下通信计算资源联合的能耗优化方法，通过设置允许的最大机器学习模型的训练时长，边缘服务器调度边缘设备的本地参数计算模块的计算频率以及传输功率，以实现系统的最佳能耗分配。
2.本申请能自适应的根据边缘设备的硬件条件以及能耗情况调整能耗分配以及工作情况，对边缘设备通信/计算的合理资源再分配设置进行能效优化，从而达到降低能耗，提高能源的利用效率的目的。
附图说明
图1为本申请一个具体实施例的流程示意图；
图2为边缘服务器和边缘设备进行联邦学习的系统概念图；
图3为边缘服务器的结构示意图；
图4为边缘设备的结构示意图；
图5为仿真得到的模型准确性趋势图；
图6为在时间增加的情况下联邦学习总能耗的变化情况图。
具体实施方式
本申请考虑基于新兴的“联邦学习”框架下通信计算资源联合优化算法，旨在设计“联邦学习”框架下系统级的计算通信资源联合优化方案。在“联邦学习”进行模型训练之前，通过收集边缘设备相关的能耗参数后由边缘服务器进行协同优化“联邦学习”下通信的无线能量传输资源以及计算资源配置，以实现在给定的机器学习模型训练时长下的最佳资源分配方案设计。本申请考虑两类计算通信设备，一类为边缘服务器，如基站等，另一类为边缘设备，如手机、手提电脑等。基于动态电压和频率标度(DVFS)技术以及动态传输功率调节技术，边缘服务器通过协调各个边缘设备的本地参数计算模块的工作频率与通信模块的传输功率以达到联合优化计算与通信的总能耗的目的。
本申请的系统装置包括两种设备，一为边缘服务器，负责调度能耗设置以及参数汇总聚合，二是边缘设备，主要负责模型参数的本地更新。其中：
边缘服务器中主要包括三大模块，分别是第一通讯模块，决策模块以及模型参数聚合模块，如图3所示。第一通讯模块包括通信信息接收模块和通信信息发射模块，主要负责边缘服务器的信息收发(如边缘设备的控制信息以及全局聚合后的模型参数信息)。决策模块在收集到边缘设备的通信/计算元件的能耗信息(如本地计算处理器的最大运行频率等)后进行优化(构造优化问题并求解)，在完成优化后再将优化后的能耗控制方案通过第一通讯模块的通信信息发射模块发送到各个边缘设备上。模型参数聚合模块则是负责将收集到的所有的边缘设备的更新后的本地模型参数进行全局聚合(如对模型参数进行取平均)后得到全局模型参数，得到的全局模型参数通过第一通讯模块的通信信息发射模块再发回给各个边缘设备。
边缘设备中主要包括三大模块，分别是第二通讯模块，能耗信息收集以及控制模块、本地参数计算模块，如图4所示。与边缘服务器相同的是，第二通讯模块包括通信信息接收模块和通信信息发射模块，主要负责边缘设备的信息交流传输任务，包括通信/计算元件的能耗信息的上传，控制信息(包含优化后的能耗控制方案)的接收，更新后的本地模型参数的上传以及更新后的全局模型参数的下载。第二通讯模块的通信信息接收模块收到的边缘设备控制信息通过通信/计算元件的相关控制器对相关元件进行能耗优化，而更新后的全局模型参数则会传输到本地参数计算模块中以继续进行本地模型参数更新；经过N次本地模型参数更新后的本地模型参数则通过第二通讯模块的通信信息发射模块上传到边缘服务器。能耗信息收集以及控制模块一方面负责模型训练前边缘设备模块通信/计算元件的能耗信息的收集(如本地参数计算模块的能耗相关系数、最大工作频率、每周期运算浮点计算次数，系统耗能功率，通信接受端恒定电路功率等)，同时也负责将接受到边缘服务器的控制信息转换成相应的控制电平信号对通信/计算元件的工作参数进行最优设置。
本申请实施例的一种面向边缘联邦学习的高能效计算通信联合优化方法，如图1所示，包括以下步骤：
步骤1，边缘服务器依据需要的训练模型的准确性确定全局参数更新次数 M和本地参数更新次数N。
所述需要的训练模型的准确性可使用软件tensorflow进行模拟实验得到，例如，在一个实施例中，边缘服务器以及边缘设备均为单天线，其中边缘设备的数量为3个，他们与边缘服务器的距离分别为300m,350m和310m。对于通信链路模型，采用近静态信道模型
Figure BDA0002296442770000061
其中d表示边缘服务器与边缘设备的距离，路径衰落指数为α＝3，对应的参考距离d0＝1m对应的路径衰落为β＝ -30dB。同时通信传输的带宽为B＝1MHz，接受端的噪声功率为σ2＝-100dB。如图5所示，若所需要的训练模型的准确性为85％，则可以选择M＝50，N＝10。
该步骤在模型训练准确性评估下对整个联邦学习进行的全局更新以及局部更新次数进行设置，以便于接下来的边缘设备的联合通信计算能耗优化。
步骤2，边缘服务器接收各个边缘设备发送的所述边缘设备中的通信/计算元件的能耗信息。
所述的通信/计算元件是指边缘设备中，与通信以及模型训练所需计算相关且消耗能源的电子元件。例如在本实施例中，边缘设备具体采用手机时，所述的通信/计算元件则包括手机的CPU、通信发射/接收模块；所述的能耗信息包括本地参数计算模块的能耗系数、系统能耗功率、本地模型参数上传时间、发射功率等；边缘设备收集到这些信息后发送给边缘服务器。
该步骤是通过收集通信/计算元件的能耗信息以进行下一步的能耗优化，只有依据这些收集到的能耗信息才能在联邦学习中对边缘设备进行自适应的最优能耗优化。
步骤3，边缘服务器接收到边缘设备的通信/计算元件的能耗信息并以此进行能耗控制方案的优化。
在该步骤中，为了能自适应联合优化边缘设备在联邦学习下的通信计算能耗，则需要构造优化问题，具体如下：
假设边缘设备的集合为K＝{1,…,K}，令每个边缘设备
Figure BDA0002296442770000071
中拥有的样本数量Uk个，并且每个样本需要的浮点运算数(floating point operations， FLOPs)为a，则每个边缘设备进行批量梯度下降(Batch Gradient Descent，BGD) 时候所需的FLOPs为Fk＝a×Uk。在本实施例中，边缘设备数K＝3。令Ck为边缘设备(本地参数计算模块，如CPU，GPU)一个周期中所能运算的浮点计算次数，而fk为边缘设备k的(本地参数计算模块)运算频率，则本地参数更新消耗的时间tloc为：
Figure BDA0002296442770000072
与此同时，一次本地参数更新过程中，每个边缘设备k∈K的(本地参数计算模块)耗能Ek cpu为：
Figure BDA0002296442770000073
其中，βk表示边缘设备(本地参数计算模块)的能耗系数，取决于每个边缘设备本地参数计算模块的结构。令αk表示边缘设备(本地参数计算模块)为了维持例如内存读写控制的系统耗能功率，则每次本地参数更新过程中每个边缘设备k∈K的总耗能Ek loc为：
Figure BDA0002296442770000074
在本地模型参数上传过程中，边缘设备与边缘服务器之间遵守相关的通信协议，在通信协议下传输容量为rk，本地模型参数上传的时间为tup，则在tup时间内传输的信息量应该大于量化后参数的比特数S，即：
rktup≥S.
相应的，边缘设备本地模型参数上传所消耗的能量Ek up为：
Figure BDA0002296442770000081
其中pk为边缘设备的发射功率，Pr为接收端边缘服务器消耗的恒定电路功率。同时，总消耗时间T满足下面的约束：
M×(Ntloc+tup)≤T.
在边缘服务器和边缘设备的通信过程中，可采用多种通信协议，包括 NOMA协议、TDMA协议、FDMA协议等，除此之外，还可以为现有技术中其他类型的通信协议，在此不一一列举。本实施例中，以采用NOMA协议为例进行说明。
首先在本地模型参数上传过程是基于非正交多址接入(Non-orthogonalmultiple access,NOMA)工作协议，核心理念为发送端使用叠加编码 (superpositioncoding)，而在接收端使用SIC(successive interference cancelation)，借此，在相同的时频资源块上，通过不同的功率级级在功率域实现多址接入，通过在接收端边缘服务器中设计的译码顺序(decoding order)，将需要解调的信号作为有用信号，其他的作为干扰信号进行解调，然后将解调出的有用信号减去，依次类推，直到解调出所有边缘设备设备所发送的更新参数信息。假设译码顺序为π，则第π(k)个边缘设备的传输速率rπ(k)为：
Figure BDA0002296442770000082
其中，B为所有的(K个)边缘设备的传输带宽，pπ(n)表示对应的译码顺序π下第n个译码的边缘设备的无线设备的传输功率，hπ(n)为对应的信道功率增益，σ2为高斯白噪声的方差。通过对译码顺序的合理设计和不同译码顺序的分时(time-sharing)使用，使用NOMA传输可以达到的传输容量RNOMA(p)为：
Figure BDA0002296442770000083
其中，
Figure BDA0002296442770000084
pk为边缘设备k的发射功率，hk为对应的信道功率增益，rk表示边缘设备k与边缘服务器之间通信协议下的传输容量(可达传输速率)，k＝1,2,...,K，B为所有的边缘设备的传输带宽，RK×1表示K维的非负实向量，
Figure BDA0002296442770000085
为K的子集。
根据前面的设置，给定一个时间块，在满足一定的模型训练精度设计下，构造如下优化问题(P1)：
Figure BDA0002296442770000091
s.t.r∈RNOMA(p)
Figure BDA0002296442770000092
M(Ntloc+tup)≤T
Figure BDA0002296442770000093
Figure BDA0002296442770000094
Figure BDA0002296442770000095
其中
Figure BDA0002296442770000096
fk为边缘设备k的本地参数计算模块的运算频率， k＝1,2,...,K；fk max表示边缘设备的本地参数运算模块的最大运算频率，Pmax表示边缘设备的最大发射功率。
在P1中，约束1，2为边缘设备的传输约束，约束3，4分别为总的机器学习训练模型时长约束和本地参数更新时长约束，约束5，6分别为边缘设备的本地参数运算模块(CPU)的运算频率约束以及无线通信传输功率约束。
特别的，问题(P1)为非凸优化问题，然而通过简单的变量替换可以将问题 (P1)转换成凸优化问题的形式。
首先，设ek＝pktup以及sk＝rktup，则问题(P1)可以转换成下面的问题 (P2)的形式：
Figure BDA0002296442770000097
s.t.s∈CNOMA(e,tup)
Figure BDA0002296442770000098
M(Ntloc+tup)≤T
Figure BDA0002296442770000099
Figure BDA00022964427700000910
Figure BDA00022964427700000911
其中，
Figure BDA0002296442770000101
Figure BDA0002296442770000102
问题(P2)为凸优化问题，并满足Slater条件，本申请采用拉格朗日对偶
(Lagrange duality)方法求取问题(P2)的全局最优解。设λk≥0，μk≥0，ν≥ 0，
Figure BDA0002296442770000103
分别为问题(P2)中约束2，3和4的拉格朗日乘子，则问题(P2)的部分拉格朗日函数(partial Lagrangian)为：
Figure BDA0002296442770000104
问题(P2)的对偶函数(dual function)可以表示为：
Figure BDA0002296442770000105
s.t.s∈CNOMA(e,tup)
Figure BDA0002296442770000106
Figure BDA0002296442770000107
因此对偶问题为：
Figure BDA0002296442770000108
Figure BDA0002296442770000109
Figure BDA00022964427700001010
ν≥0,
Figure BDA00022964427700001011
通过求解对偶问题，得到原问题的解。首先将问题拆解成接下来的(K+2) 个子问题。
Figure BDA0002296442770000111
Figure BDA0002296442770000112
Figure BDA0002296442770000113
Figure BDA0002296442770000114
Figure BDA0002296442770000115
Figure BDA0002296442770000116
然后，前K个子问题容易得最优的边缘设备的CPU的运算频率为：
Figure BDA0002296442770000117
而对于第(K+1)个子问题，由前面获得的最优的边缘设备的CPU的运算频率，通过解决线性问题，可得最优的本地参数更新时长tloc *。而对于最后的 K个子问题，基于相关理论，可以将其转化成以下的问题：
Figure BDA0002296442770000118
Figure BDA0002296442770000119
其中，定义
Figure BDA00022964427700001110
以方便解析。转换后的问题是凸优化问题，可以通过 MATLAB中的CVX软件进行求解，求得最优的e*和tup *。然后最优的s*通过下面的式子可以求得：
Figure BDA00022964427700001111
接下来，把求得的最优的f*，s*，e*，tloc *和tup *代回到对偶问题中，采用梯度下降法中的椭球法更新对偶变量(λ,μ,ν)，给定一个半径较大(保证椭球内包含最优值所在的点)的椭球以及对偶变量(λ,μ,ν)的初始值，以初始值点为椭球的中心，在椭球中不断更新梯度方向，使得椭圆不断缩小，当两次迭代的值相差小于预定的设定值时，停止该过程，认为(λ,μ,ν)已经达到最优值λopt,μopt,ν。
基于最优λopt,μopt,ν，依旧需要去构造问题(P1)的最优解。由于最优的f,e, tloc和tup是唯一的，所以通过代入λopt和νopt入上面的子问题便可以求解出最优的fopt,eopt(相对应可求出问题(P1)的popt)，tloc opt和tup opt。而当最优的译码顺序πopt唯一时，最优的popt是唯一的，而当最优译码不是唯一的时候，则需要对最优译码顺序间应用分时(time_sharing)技术，从而求出最优的sopt，基于最优的sopt，相应的确定边缘设备的最优的传输速率ropt以及πopt。
通过上述优化过程，得到最终优化后的能耗控制方案，即优化后的能耗参数，包括：边缘设备的(本地参数计算模块)的最佳工作频率fopt、最优的发射功率popt、最优的传输速率ropt、最优的译码顺序πopt、最优的本地模型参数上传时间tup opt、最优的本地参数更新消耗的时间tloc opt。
至此，优化问题的求解已经完成。该步骤利用收集到的边缘设备的通信计算能耗元件信息制定自适应的高能效的联合计算通信资源分配方案，以此实现能耗最低化。
步骤4，边缘服务器将优化后的能耗控制方案下发到边缘设备，以使边缘设备依据收到的能耗控制方案配置相关通信/计算元件的工作参数。
所述能耗控制方案即步骤3最终优化得到的参数，边缘服务器将优化得到的参数发给边缘设备，边缘设备按照这些参数调整对应的通信/计算元件的工作参数。
例如，本实施例中边缘设备将边缘设备的CPU的最佳工作频率fopt、最优的发射功率popt发送给边缘设备，所有边缘设备将CPU的工作频率、发射功率调整为fopt、popt。通过该过程，将优化后的能耗控制方案具体实施部署到各个边缘设备中。
步骤5，边缘服务器在边缘设备的协作下完成联邦学习。
边缘服务器下发全局模型初始参数到边缘设备中，边缘设备以此作为模型训练初始参数开始进行N次本地更新，完成N次本地更新后边缘设备的通信模块将更新后的本地模型参数上传到边缘服务器中进行参数聚合(即全局更新)，更新后再将更新后的全局参数回传到边缘设备以继续本地更新。
如此迭代，进行M次全局更新后，联邦学习训练结束。基于本方案优化后的的性能增益图详见图6，其中的对比项为边缘设备的CPU频率以及发射功率均不做优化以最大频率以及以最大功率的案例。

Claims (10)

1.一种面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，包括：
边缘服务器接收各个边缘设备发送的所述边缘设备中的通信/计算元件的能耗信息，并根据所述通信/计算元件的能耗信息进行能耗控制方案的优化，将优化后的能耗控制方案下发给各个边缘设备，以使所述边缘设备依据能耗控制方案配置相关通信/计算元件的工作参数，然后边缘服务器在边缘设备的协作下完成联邦学习。
2.如权利要求1所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述边缘服务器接收各个边缘设备发送的所述边缘设备中的通信/计算元件的能耗信息之前，还包括：
边缘服务器依据需要的训练模型的准确性确定全局参数更新次数和本地参数更新次数。
3.如权利要求1所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，据所述通信/计算元件的能耗信息进行能耗控制方案的优化，包括：
根据通信/计算元件的能耗信息、每次本地参数更新过程中每个边缘设备的总耗能、边缘设备本地模型参数上传所消耗的能量、总消耗时间构造优化问题，并进行求解，得到优化的能耗控制方案。
4.如权利要求3所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述优化的能耗控制方案包括优化后的能耗参数，包括边缘设备的最佳工作频率、最优的发射功率、最优的传输速率、最优的译码顺序、最优的本地模型参数上传时间、最优的本地参数更新消耗的时间。
5.如权利要求4所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述优化问题表示为：
Figure FDA0002296442760000011
其中，M表示全局参数更新次数，N表示本地参数更新次数，K表示边缘设备的总数，k表示第k个边缘设备，Fk表示边缘设备进行批量梯度下降时候所需的浮点运算数，Ck为边缘设备的本地参数计算模块一个周期中所能运算的浮点计算次数，βk表示边缘设备的本地参数计算模块能耗系数，fk为边缘设备的本地参数计算模块运算频率，αk表示边缘设备为了维持内存读写控制的系统耗能功率，pk为边缘设备的发射功率，Pr为边缘服务器消耗的恒定电路功率，tup为本地模型参数上传的时间。
6.如权利要求5所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述优化问题的约束为：
s.t.r∈RNOMA(p)
Figure FDA0002296442760000021
M(Ntloc+tup)≤T
Figure FDA0002296442760000022
Figure FDA0002296442760000023
Figure FDA0002296442760000024
其中，RNOMA(p)表示本地模型参数上传过程中基于非正交多址接入工作协议的传输容量，
Figure FDA0002296442760000025
pk为边缘设备k的发射功率，rk表示边缘设备k与边缘服务器之间通信协议下的传输容量，k＝1,2,...,K，S表示在tup时间内传输的信息量的量化后参数的比特数，tloc为本地参数更新消耗的时间，T为总消耗时间，fk max表示边缘设备的本地参数运算模块的最大运算频率，Pmax表示边缘设备的最大发射功率。
7.如权利要求6所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述传输容量是在对应的通信协议下计算出的传输容量，所述通信协议包括NOMA协议、TDMA协议、FDMA协议。
8.如权利要求5所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述优化问题的求解方法包括：
将所述优化问题转换成满足Slater条件的凸优化问题，采用拉格朗日对偶方法求取所述凸优化问题的全局最优解，基于该最优解，得到所述优化问题的最优解。
9.如权利要求1所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述边缘服务器中包括第一通讯模块，决策模块以及模型参数聚合模块，其中第一通讯模块用于边缘服务器的信息收发，决策模块在收集到边缘设备的通信/计算元件的能耗信息后进行优化，在完成优化后再将优化后的能耗控制方案通过第一通讯模块发送到各个边缘设备上；模型参数聚合模块则是负责将收集到的所有的边缘设备的更新后的本地模型参数进行全局聚合后得到全局模型参数，得到的全局模型参数通过第一通讯模块再发回给各个边缘设备。
10.如权利要求1所述的面向边缘联邦学习的高能效计算通信联合优化方法，其特征在于，所述边缘设备包括第二通讯模块，能耗信息收集以及控制模块、本地参数计算模块，其中，所述第二通讯模块用于边缘设备的信息交流传输任务，包括通信/计算元件的能耗信息的上传，控制信息的接收，更新后的本地模型参数的上传以及更新后的全局模型参数的下载；第二通讯模块根据收到的边缘设备的控制信息通过通信/计算元件的相关控制器对相关元件进行能耗优化，而更新后的全局模型参数则会传输到本地参数计算模块中以继续进行本地模型参数更新；经过本地模型参数更新后的本地模型参数则通过第二通讯模块上传到边缘服务器；所述能耗信息收集以及控制模块一方面负责模型训练前边缘设备模块对通信/计算元件的能耗信息的收集，同时也负责将接受到边缘服务器的控制信息转换成相应的控制电平信号对通信/计算元件的工作参数进行最优设置。
CN201911203520.1A 2019-11-29 2019-11-29 一种面向边缘联邦学习的高能效计算通信联合优化方法 Active CN111176929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911203520.1A CN111176929B (zh) 2019-11-29 2019-11-29 一种面向边缘联邦学习的高能效计算通信联合优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911203520.1A CN111176929B (zh) 2019-11-29 2019-11-29 一种面向边缘联邦学习的高能效计算通信联合优化方法

Publications (2)

Publication Number Publication Date
CN111176929A true CN111176929A (zh) 2020-05-19
CN111176929B CN111176929B (zh) 2023-04-18

Family

ID=70650142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911203520.1A Active CN111176929B (zh) 2019-11-29 2019-11-29 一种面向边缘联邦学习的高能效计算通信联合优化方法

Country Status (1)

Country Link
CN (1) CN111176929B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626506A (zh) * 2020-05-27 2020-09-04 华北电力大学 基于联邦学习的区域光伏功率概率预测方法及其协同调控系统
CN111708640A (zh) * 2020-06-23 2020-09-25 苏州联电能源发展有限公司 一种面向边缘计算的联邦学习方法和系统
CN111836321A (zh) * 2020-07-27 2020-10-27 北京邮电大学 一种基于联邦学习和边缘计算的小区切换方法
CN111866954A (zh) * 2020-07-21 2020-10-30 重庆邮电大学 一种基于联邦学习的用户选择和资源分配方法
CN111966496A (zh) * 2020-08-21 2020-11-20 浪潮(北京)电子信息产业有限公司 数据处理方法、装置、系统及计算机可读存储介质
CN111985650A (zh) * 2020-07-10 2020-11-24 华中科技大学 一种兼顾通用性与个性化的活动识别模型与系统
CN112068866A (zh) * 2020-09-29 2020-12-11 支付宝(杭州)信息技术有限公司 更新业务模型的方法及装置
CN112085159A (zh) * 2020-07-24 2020-12-15 西安电子科技大学 一种用户标签数据预测系统、方法、装置及电子设备
CN112102939A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 心脑血管疾病参考信息预测系统、方法、装置及电子设备
CN112148380A (zh) * 2020-09-16 2020-12-29 鹏城实验室 一种移动边缘计算任务卸载中的资源优化方法及电子设备
CN112235836A (zh) * 2020-11-17 2021-01-15 上海交通大学 一种工业边缘网络系统架构和资源调度方法
CN112232437A (zh) * 2020-11-04 2021-01-15 深圳技术大学 物联网终端数据分析方法及系统
CN112565331A (zh) * 2020-11-02 2021-03-26 中山大学 一种基于边缘计算的端-边协同联邦学习优化方法
CN112799812A (zh) * 2021-01-27 2021-05-14 苏州科技大学 一种多智能设备协同优化系统
CN113094181A (zh) * 2021-05-06 2021-07-09 苏州联电能源发展有限公司 面向边缘设备的多任务联邦学习方法及装置
CN113163500A (zh) * 2021-02-24 2021-07-23 北京邮电大学 一种通信资源分配方法、装置及电子设备
CN113282933A (zh) * 2020-07-17 2021-08-20 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN113312177A (zh) * 2021-05-11 2021-08-27 南京航空航天大学 一种基于联邦学习的无线边缘计算系统、优化方法
CN113312180A (zh) * 2021-06-07 2021-08-27 北京大学 一种基于联邦学习的资源分配优化方法及系统
CN113506040A (zh) * 2021-08-05 2021-10-15 重庆大学 一种uav蜂群中面向高性能联邦学习的调度和资源分配方法
CN113923605A (zh) * 2021-10-25 2022-01-11 浙江大学 一种面向工业互联网的分布式边缘学习系统和方法
WO2022188790A1 (zh) * 2021-03-11 2022-09-15 华为技术有限公司 一种通信方法及装置
CN116644802A (zh) * 2023-07-19 2023-08-25 支付宝(杭州)信息技术有限公司 模型训练方法及装置
EP4203349A4 (en) * 2020-09-10 2024-02-21 Huawei Tech Co Ltd TRAINING METHOD FOR A DETECTION MODEL, SYSTEM, DEVICE AND STORAGE MEDIUM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180013681A1 (en) * 2016-07-07 2018-01-11 Cisco Technology, Inc. Framework for joint learning of network traffic representations and traffic classifiers
US20190012592A1 (en) * 2017-07-07 2019-01-10 Pointr Data Inc. Secure federated neural networks
CN110266757A (zh) * 2019-05-14 2019-09-20 上海大学 一种面向任务协同场景的边缘计算资源优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180013681A1 (en) * 2016-07-07 2018-01-11 Cisco Technology, Inc. Framework for joint learning of network traffic representations and traffic classifiers
US20190012592A1 (en) * 2017-07-07 2019-01-10 Pointr Data Inc. Secure federated neural networks
CN110266757A (zh) * 2019-05-14 2019-09-20 上海大学 一种面向任务协同场景的边缘计算资源优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张海波等: "超密集网络中基于移动边缘计算的任务卸载和资源优化", 《电子与信息学报》 *
徐晓青等: "网络人工智能关键技术与应用研究", 《广东通信技术》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626506A (zh) * 2020-05-27 2020-09-04 华北电力大学 基于联邦学习的区域光伏功率概率预测方法及其协同调控系统
CN111708640A (zh) * 2020-06-23 2020-09-25 苏州联电能源发展有限公司 一种面向边缘计算的联邦学习方法和系统
CN111985650B (zh) * 2020-07-10 2022-06-28 华中科技大学 一种兼顾通用性与个性化的活动识别模型与系统
CN111985650A (zh) * 2020-07-10 2020-11-24 华中科技大学 一种兼顾通用性与个性化的活动识别模型与系统
CN113282933A (zh) * 2020-07-17 2021-08-20 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN113282933B (zh) * 2020-07-17 2022-03-01 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN111866954B (zh) * 2020-07-21 2022-03-29 重庆邮电大学 一种基于联邦学习的用户选择和资源分配方法
CN111866954A (zh) * 2020-07-21 2020-10-30 重庆邮电大学 一种基于联邦学习的用户选择和资源分配方法
CN112085159A (zh) * 2020-07-24 2020-12-15 西安电子科技大学 一种用户标签数据预测系统、方法、装置及电子设备
CN112102939A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 心脑血管疾病参考信息预测系统、方法、装置及电子设备
CN112085159B (zh) * 2020-07-24 2023-08-15 西安电子科技大学 一种用户标签数据预测系统、方法、装置及电子设备
CN112102939B (zh) * 2020-07-24 2023-08-04 西安电子科技大学 心脑血管疾病参考信息预测系统、方法、装置及电子设备
CN111836321A (zh) * 2020-07-27 2020-10-27 北京邮电大学 一种基于联邦学习和边缘计算的小区切换方法
CN111966496B (zh) * 2020-08-21 2022-06-10 浪潮(北京)电子信息产业有限公司 数据处理方法、装置、系统及计算机可读存储介质
CN111966496A (zh) * 2020-08-21 2020-11-20 浪潮(北京)电子信息产业有限公司 数据处理方法、装置、系统及计算机可读存储介质
EP4203349A4 (en) * 2020-09-10 2024-02-21 Huawei Tech Co Ltd TRAINING METHOD FOR A DETECTION MODEL, SYSTEM, DEVICE AND STORAGE MEDIUM
CN112148380A (zh) * 2020-09-16 2020-12-29 鹏城实验室 一种移动边缘计算任务卸载中的资源优化方法及电子设备
CN112068866A (zh) * 2020-09-29 2020-12-11 支付宝(杭州)信息技术有限公司 更新业务模型的方法及装置
CN112565331A (zh) * 2020-11-02 2021-03-26 中山大学 一种基于边缘计算的端-边协同联邦学习优化方法
CN112232437A (zh) * 2020-11-04 2021-01-15 深圳技术大学 物联网终端数据分析方法及系统
CN112235836A (zh) * 2020-11-17 2021-01-15 上海交通大学 一种工业边缘网络系统架构和资源调度方法
CN112799812B (zh) * 2021-01-27 2022-01-21 苏州科技大学 一种多智能设备协同优化系统
CN112799812A (zh) * 2021-01-27 2021-05-14 苏州科技大学 一种多智能设备协同优化系统
CN113163500A (zh) * 2021-02-24 2021-07-23 北京邮电大学 一种通信资源分配方法、装置及电子设备
WO2022188790A1 (zh) * 2021-03-11 2022-09-15 华为技术有限公司 一种通信方法及装置
CN113094181A (zh) * 2021-05-06 2021-07-09 苏州联电能源发展有限公司 面向边缘设备的多任务联邦学习方法及装置
CN113312177A (zh) * 2021-05-11 2021-08-27 南京航空航天大学 一种基于联邦学习的无线边缘计算系统、优化方法
CN113312177B (zh) * 2021-05-11 2024-03-26 南京航空航天大学 一种基于联邦学习的无线边缘计算系统、优化方法
CN113312180B (zh) * 2021-06-07 2022-02-15 北京大学 一种基于联邦学习的资源分配优化方法及系统
CN113312180A (zh) * 2021-06-07 2021-08-27 北京大学 一种基于联邦学习的资源分配优化方法及系统
CN113506040A (zh) * 2021-08-05 2021-10-15 重庆大学 一种uav蜂群中面向高性能联邦学习的调度和资源分配方法
CN113506040B (zh) * 2021-08-05 2022-06-03 重庆大学 一种uav蜂群中面向高性能联邦学习的调度和资源分配方法
CN113923605A (zh) * 2021-10-25 2022-01-11 浙江大学 一种面向工业互联网的分布式边缘学习系统和方法
CN116644802A (zh) * 2023-07-19 2023-08-25 支付宝(杭州)信息技术有限公司 模型训练方法及装置

Also Published As

Publication number Publication date
CN111176929B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111176929B (zh) 一种面向边缘联邦学习的高能效计算通信联合优化方法
Tang et al. Battery-constrained federated edge learning in UAV-enabled IoT for B5G/6G networks
CN110928654B (zh) 一种边缘计算系统中分布式的在线任务卸载调度方法
Shi et al. Toward energy-efficient federated learning over 5g+ mobile devices
CN112052086A (zh) 一种移动边缘计算网络中的多用户安全节能资源分配方法
CN113469325B (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN110167176B (zh) 一种基于分布式机器学习的无线网络资源分配方法
CN105379412A (zh) 一种控制多个无线接入节点的系统和方法
CN113727371B (zh) 一种irs辅助的mec网络无线与计算资源分配方法及装置
CN110266512A (zh) 一种移动边缘计算迁移系统的快速资源配置方法
Zhang et al. DRL based data offloading for intelligent reflecting surface aided mobile edge computing
CN113573363B (zh) 基于深度强化学习的mec计算卸载与资源分配方法
CN111726854A (zh) 一种降低物联网计算卸载能耗的方法
CN111132230A (zh) 一种面向数据采集的带宽分配和数据压缩联合优化方法
CN114327889A (zh) 一种面向分层联邦边缘学习的模型训练节点选择方法
CN115310360A (zh) 基于联邦学习的数字孪生辅助工业物联网可靠性优化方法
CN108376099B (zh) 一种优化时延与能效的移动终端计算迁移方法
CN113781002A (zh) 云边协同网络中基于代理模型和多种群优化的低成本工作流应用迁移方法
CN115473896A (zh) 基于dqn算法的电力物联网卸载策略和资源配置优化方法
CN116841732A (zh) 一种基于单比特量化的联邦学习资源优化设计方法
CN116009677A (zh) 一种基于Cell-Free mMIMO网络的联邦学习设备端能耗优化方法
Lin et al. Joint gradient sparsification and device scheduling for federated learning
CN117196014B (zh) 基于联邦学习的模型训练方法、装置、计算机设备及介质
Prakash et al. To talk or to work: Delay efficient federated learning over mobile edge devices
Lin et al. Aoi research on pmu cloud side cooperative system of active distribution network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant