CN112804107A - 一种物联网设备能耗自适应控制的分层联邦学习方法 - Google Patents

一种物联网设备能耗自适应控制的分层联邦学习方法 Download PDF

Info

Publication number
CN112804107A
CN112804107A CN202110116570.7A CN202110116570A CN112804107A CN 112804107 A CN112804107 A CN 112804107A CN 202110116570 A CN202110116570 A CN 202110116570A CN 112804107 A CN112804107 A CN 112804107A
Authority
CN
China
Prior art keywords
internet
things
things equipment
edge
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110116570.7A
Other languages
English (en)
Other versions
CN112804107B (zh
Inventor
朱洪波
徐波
夏文超
赵海涛
张晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110116570.7A priority Critical patent/CN112804107B/zh
Publication of CN112804107A publication Critical patent/CN112804107A/zh
Application granted granted Critical
Publication of CN112804107B publication Critical patent/CN112804107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0215—Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices
    • H04W28/0221—Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices power availability or consumption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H04W28/0236—Traffic management, e.g. flow control or congestion control based on communication conditions radio quality, e.g. interference, losses or delay

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网设备能耗自适应控制的分层联邦学习方法，包括如下步骤：1)通过在物联网设备和云服务器之间部署边缘服务器，搭建分层联邦学习系统；2)在每个训练周期t的起始阶段，云服务器根据统计信道信息以及物联网设备的能耗队列状态，制定物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)；3)在训练过程中，物联网设备本地模型，并发送到边缘服务器进行边缘聚合从而更新边缘模型；边缘服务器将边缘模型上传到云服务器进行全局聚合更新全局模型；云服务器通过边缘服务器将全局模型传输给所有物联网设备从而进行下一轮的训练；该发明能够在满足长期能耗约束的前提下，以较低的训练时延获得较高的学习性能。

Description

一种物联网设备能耗自适应控制的分层联邦学习方法
技术领域
本发明涉及移动通信领域物理层以及机器学习关键技术，特别是一种物联网设备能耗自适应控制的分层联邦学习方法。
背景技术
随着物联网技术以及人工智能技术的发展，通过训练深度学习网络，越来越多的物联网设备能够为教育，医疗，安全，工业等领域提供智能化的服务。由于物联网设备采集到的数据具有隐私性，为了允许多个物联网设备在不泄露本地数据的情况下，协助地完成模型训练，联邦学习框架被提出。传统的联邦学习框架要求物联网设备直接和云服务器进行训练模型交互，由于物联网设备数目较多并且离云服务器距离较远，这种模式增加了回程链路上的传输压力以及传输的不可靠性。因此有人提出通过在无网络设备近端部署边缘服务器从而搭建分层联邦学习框架。该框架下物联网设备不直接和云服务器通信，而是将本地模型先传输给边缘服务器进行边缘聚合，再由边缘服务器将边缘模型传输到云服务器进行全局聚合。现有的分层联邦学习框架大多只考虑了将边缘服务器部署到传统的联邦学习框架中，并没有同时考虑物联网设备能耗受限，训练时延较长，训练性能下降等问题，降低了该框架在实际运行中的可行性。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供的一种物联网设备能耗自适应控制的分层联邦学习方法，其目标为在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提供的一种物联网设备能耗自适应控制的分层联邦学习方法，在多个物联网设备和云服务器之间部署边缘服务器搭建分层联邦学习系统；云服务器利用统计信道状态信息以及物联网设备耗能情况制定物联网设备计算能力控制策略以及物联网设备关联策略；物联网设备，边缘服务器，云服务器协作完成模型训练，具体如下：
步骤1，所述的分层的联邦学习系统包含物联网设备、边缘服务器和云服务器；物联网设备，边缘服务器，以及云服务器之间通过无线链路进行通信。
步骤2，对样本进行训练，在训练周期t的开始阶段，云服务器根据统计信道信息以及物联网设备的耗能序列情况，计算物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)，其目标为在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。
步骤3，在给定物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}后，在每个周期的训练过程中，包括有本地计算、本地模型上传、边缘聚合、以及全局聚合的过程，具体步骤如下：
步骤3.1，物联网设备首先进行本地计算，物联网设备基于自己的本地数据更新本地模型；当本地计算次数到达κ1次时，物联网设备将更新之后的本地模型上传到相关联的边缘服务器。
步骤3.2，边缘服务器采集到所关联物联网设备的本地模型后，进行边缘聚合，形成边缘模型；如果当前训练周期内物联网设备的本地计算次数未达到κ1κ2次，边缘服务器计算更新之后的边缘模型并广播给关联的物联网设备，从而进行接下来的本地计算；其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合。如果当前周期内物联网设备的本地计算次数达到κ1κ2次，边缘服务器则将更新时候的边缘模型上传到云服务器进行全局聚合，形成全局模型。
步骤3.3，云服务器通过边缘服务器将全局模型传输给所有物联网设备，从而进行下一轮的训练，并且更新物联网设备能耗队列状态。
步骤4，重复步骤2和步骤3，直到全局模型收敛。
进一步的，步骤2中，训练样本是由物联网设备通过信息采集生成的。为降低回程链路的传输压力，物联网设备只和边缘服务器进行通信，而边缘服务器既可以和物联网设备进行通信，也可以和云服务器进行通信。
进一步的，步骤2中，统计信道状态信息是指信道的大尺度衰落，包括路径损耗和阴影衰落。
进一步的，步骤2中，物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}是依据“在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失”的原则，目标函数为：
Figure BDA0002920905320000021
其中F(t)＝{f1(t)，…，fK(t)}；
fk(t)为物联网设备在当前周期的计算能力，并且满足
Figure BDA0002920905320000022
此外A(t)＝{aks(t)|k∈{1，…，K}，s∈{1，…，S}}，其中K是分层联邦学习系统中物联网设备有的数量，S是分层联邦学习系统中边缘服务器的数量；
aks(t)∈{0,1}是物联网设备k的与边缘服务器s的关联策略，
aks(t)＝1表示物联网设备k的与边缘服务器s相关联，否则aks(t)＝0；并且一个物联网设备至多关联一个边缘服务器，即
Figure BDA0002920905320000031
τ(t)是当前周期的训练时延，满足
Figure BDA0002920905320000032
其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合；
Figure BDA0002920905320000033
是物联网设备k∈{1，…，K}进行一次本地计算所需的时间，我们有
Figure BDA0002920905320000034
其中Dk是物联网设备的本地样本数量，Ck为单个样本所需要的计算量；
Figure BDA0002920905320000035
是物联网设备k将本地模型上传到边缘服务器s∈{1，…，S}所需的时间；
Figure BDA0002920905320000036
是边缘服务器s∈{1，…，S}将更新之后的边缘模型广播给相关联的物联网设备所消耗的时间；
Figure BDA0002920905320000037
是边缘服务器s将更新之后的边缘模型上传给云服务器的时间；
τdown(t)是云服务器将全局模型通过边缘服务器传输给所有物联网设备的时间；
Uk(t)是物联网设备k的本地模型对全局模型收敛的重要性，可以通过给定全局模型下本地训练的梯度进行估计，如果梯度的范数越大，说明该物联网设备本地模型更重要；
Ek(t)是物联网设备k在周期t的消耗的能耗，且
Figure BDA0002920905320000038
其中
计算能耗
Figure BDA0002920905320000039
传输能耗
Figure BDA00029209053200000310
η是物联网设备的芯片耗能系数，
Figure BDA00029209053200000311
是物联网设备k的传输功率，
Figure BDA00029209053200000312
是物联网设备k本地模型上传时间；
Hk(t)是物联网设备k在周期t的能耗队列状态，其更新过程为：
Figure BDA00029209053200000313
其中
Figure BDA00029209053200000314
为物联网设备k的平均能耗预算；
系数V用于调节时延，模型重要性以及能耗的权重，而系数ρ用于调节时延和模型重要性的权重。
进一步的，步骤2中，在给定物联网设备关联策略A(t)的前提下，令
Figure BDA00029209053200000315
Figure BDA00029209053200000316
Figure BDA0002920905320000041
物联网设备k的本地计算能力最优解为
Figure BDA0002920905320000042
其中
Figure BDA0002920905320000043
并且
Figure BDA0002920905320000044
是方程
Figure BDA0002920905320000045
的解。
进一步的，步骤2中，我们通过一种启发式的物联网设备关联算法将物联网设备关联到对应的边缘服务器。每个物联网设备首先关联到信道增益最大的边缘服务器，然后进行删除，交换和添加操作，具体步骤包括：
步骤2.1，如果存在已经关联的物联网设备从集合
Figure BDA0002920905320000046
中去除从而使得目标函数值降低，则从集合Q(t)中去除该物联网设备，所述的集合Q(t)是指所有边缘服务器相关联的物联网设备组成的集合。
步骤2.2，如果存在两个不同的物联网设备可以通过交换关联策略降低目标函数的值，则交换这两个物联网设备的关联策略。
步骤2.3，如果可以将物联网设备添加到集合Q(t)可以提高目标函数的值，则将该物联网设备关联到使目标函数值最小的边缘服务器。
步骤2.1、2.2和2.3将被重复运行，直到目标函数值不再降低。
本发明采用以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。
(2)本发明不要求所有的物联网设备参与训练，增加了学习过程的灵活性。
附图说明
图1为一种分层联邦学习框架架构图。
图2为基于一种物联网设备能耗自适应控制的分层联邦学习方法的流程图。
图3为本发明实施实例提供的训练损失和训练时延关系图。
图4为本发明实施实例提供的测试准确率和训练时延关系图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
根据本发明提供的一种物联网设备能耗自适应控制的分层联邦学习方法。本发明的分层联邦学习框架架构如图1所示，假设该框架包含多个物联网设备，多个边缘服务器，以及一个云服务器。其目标为在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。
如图2所示，本发明实施提供的一种物联网设备能耗自适应控制的分层联邦学习方法的流程图，该方法包括以下步骤。
步骤1，通过部署多个物联网设备，多个边缘服务器，以及一个云服务器，从而搭建分层联邦学习框架，物联网设备，边缘服务器，以及云服务器之间通过无线链路进行通信。
步骤2，对样本进行训练，训练样本是由物联网设备通过信息采集生成的；为降低回程链路的传输压力，物联网设备只和边缘服务器进行通信，而边缘服务器既可以和物联网设备进行通信，也可以和云服务器进行通信。
在训练周期t的开始阶段，云服务器根据统计信道信息以及物联网设备的耗能序列情况，计算物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)，其目标为在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。所述统计信道状态信息是指信道的大尺度衰落，包括路径损耗和阴影衰落。
物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}是依据“在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失”的原则，目标函数为：
Figure BDA0002920905320000051
其中F(t)＝{f1(t)，…，fK(t)}，
fk(t)为物联网设备在当前周期的计算能力，并且满足
Figure BDA0002920905320000052
此外A(t)＝{aks(t)|k∈{1，…，K}，s∈{1，…，S}}，
aks(t)∈{0，1}是物联网设备k与边缘服务器s的关联策略，
aks(t)＝1表示物联网设备k与边缘服务器s相关联，否则aks(t)＝0。并且一个物联网设备至多关联一个边缘服务器，即
Figure BDA0002920905320000053
τ(t)是当前周期的训练时延，满足
Figure BDA0002920905320000054
其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合。
Figure BDA0002920905320000061
是物联网设备k∈{1，…，K}进行一次本地计算所需的时间，我们有
Figure BDA0002920905320000062
其中Dk是物联网设备的本地样本数量，Ck为单个样本所需要的计算量。
Figure BDA0002920905320000063
是物联网设备k将本地模型上传到边缘服务器s∈{1，…，S}所需的时间。
Figure BDA0002920905320000064
是边缘服务器s∈{1,…,S}将更新之后的边缘模型广播给相关联物联网设备所消耗的时间。
Figure BDA0002920905320000065
是边缘服务器s将更新之后的边缘模型上传给云服务器的时间。
τdown(t)是云服务器将全局模型通过边缘服务器传输给所有物联网设备的时间。
Uk(t)是物联网设备k的本地模型对全局模型收敛的重要性，可以通过给定全局模型下本地训练的梯度进行估计，如果梯度的范数越大，说明该物联网设备本地模型更重要。从目标函数可以看出，我们希望更多更重要的物联网设备参与训练。
Ek(t)是物联网设备k在周期t的消耗的能耗，且
Figure BDA0002920905320000066
其中
计算能耗
Figure BDA0002920905320000067
传输能耗
Figure BDA0002920905320000068
η是物联网设备的芯片耗能系数，
Figure BDA0002920905320000069
是物联网设备k的传输功率,
Figure BDA00029209053200000610
是物联网设备k本地模型的上传时间；
Hk(t)是物联网设备k在周期t的能耗队列状态，其更新过程为：
Figure BDA00029209053200000611
其中
Figure BDA00029209053200000612
为物联网设备k的平均能耗预算。
系数V用于调节时延，模型重要性以及能耗的权重，而系数ρ用于调节时延和模型重要性的权重。
步骤2中，在给定物联网设备关联策略A(t)的前提下，令
Figure BDA00029209053200000613
Figure BDA00029209053200000614
Figure BDA00029209053200000615
物联网设备k的本地计算能力
Figure BDA00029209053200000616
其中
Figure BDA00029209053200000617
并且
Figure BDA00029209053200000618
是方程
Figure BDA00029209053200000619
的解。
此外我们通过一种启发式的物联网设备关联算法将物联网设备关联到对应的边缘服务器。每个物联网设备首先关联到信道增益最大的边缘服务器，然后进行删除，交换，添加等三步操作，其中删除操作是指，如果存在已经关联的物联网设备从集合
Figure BDA0002920905320000071
中去除从而使得目标函数值降低，则从集合Q(t)中去除该物联网设备；交换操作是指如果存在两个不同的物联网设备可以通过交换关联策略降低目标函数的值，则交换这两个物联网设备的关联策略；添加操作是指如果可以将物联网设备添加到集合Q(t)可以提高目标函数的值，则将该物联网设备关联到使目标函数值最小的边缘服务器；上述三个操作将被重复运行，直到目标函数值不再降低。
步骤3，在训练周期中在给定物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}后，包括有本地计算、模型上传、边缘聚合、以及全局聚合四个阶段。首先物联网设备基于自己的本地数据更新本地模型；当本地计算次数到达κ1次时，物联网设备将更新之后的本地模型上传到相关联的边缘服务器；边缘服务器采集到所关联物联网设备的本地模型后，进行边缘聚合。如果当前周期内物联网设备的本地计算次数未达到κ1κ2次，并计算更新之后的边缘模型广播给关联的物联网设备，从而进行接下来的本地计算；如果当前周期内物联网设备的本地计算次数达到κ1κ2次，边缘服务器则将更新时候的边缘模型上传到云服务器进行全局聚合。云服务器全局模型通过边缘服务器传输给所有物联网设备，从而进行下一个周期的训练，并且更新物联网设备能耗队列状态。
步骤4，重复步骤2和步骤3，直到全局模型收敛。
下面通过具体实施例对本发明提供的技术方案进一步阐述。我们采用MNIST数据集。训练样本集包含60000样本，10个类别的标签。每个物联网设备拥有500个训练样本，并且包含2个类别的标签。一共训练100个周期。神经网络采用多层感知机，一共50890个神经元。无线通信网络参数设置如下：
Figure BDA0002920905320000072
Figure BDA0002920905320000081
图3和图4给出了训练损失和测试准确率关于训练时延变化趋势。我们可以看出本发明提出的一种物联网设备能耗自适应控制的分层联邦学习方法，和全物联网设备参与的基准算法相比可以以较低的时延达到目标训练损失0.3，也可以以较低的时延达到目标测试准确率0.9，这一结果说明了我们所提方案的有效性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，在物联网设备和云服务器之间部署边缘服务器搭建分层联邦学习系统；云服务器利用统计信道状态信息以及物联网设备能耗队列状态制定物联网设备计算能力控制策略以及物联网设备关联策略；物联网设备，边缘服务器和云服务器协作完成模型训练，具体步骤如下：
步骤1，所述的分层的联邦学习系统包含物联网设备、边缘服务器和云服务器；物联网设备，边缘服务器，以及云服务器之间通过无线链路进行通信；
步骤2，对样本进行训练，在训练周期t的开始阶段，云服务器根据统计信道信息以及物联网设备能耗队列状态，计算物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)，在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失；
步骤3，训练周期t内，在给定物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}后，在一个训练周期中，包括有本地计算、本地模型上传、边缘聚合、以及全局聚合的过程，具体步骤如下：
步骤3.1，物联网设备首先进行本地计算，物联网设备基于自己的本地数据更新本地模型；当本地计算次数到达κ1次时，物联网设备将更新之后的本地模型上传到相关联的边缘服务器；
步骤3.2，边缘服务器采集到所关联物联网设备的本地模型后，进行边缘聚合，形成边缘模型；如果当前训练周期内物联网设备的本地计算次数未达到κ1κ2次，边缘服务器计算更新之后的边缘模型并广播给关联的物联网设备，从而进行接下来的本地计算；其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合；如果当前周期内物联网设备的本地计算次数达到κ1κ2次，边缘服务器则将更新时候的边缘模型上传到云服务器进行全局聚合，形成全局模型；
步骤3.3，云服务器通过边缘服务器将全局模型传输给所有物联网设备，从而进行下一轮的训练，并且更新物联网设备能耗队列状态；
步骤4，重复步骤2和步骤3，直到全局模型收敛。
2.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，用于训练的样本是由物联网设备通过信息采集生成的；为降低回程链路的传输压力，物联网设备只和边缘服务器进行通信，而边缘服务器既可以和物联网设备进行通信，也可以和云服务器进行通信。
3.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，所述统计信道状态信息是指信道的大尺度衰落，包括路径损耗和阴影衰落。
4.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}是依据“在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失”的原则，目标函数为：
Figure FDA0002920905310000021
其中F(t)＝{f1(t)，…，fK(t)}，
fk(t)为物联网设备在当前周期的计算能力，并且满足
Figure FDA0002920905310000022
此外A(t)＝{aks(t)|k∈{1，…，K}，s∈{1，…，S}}，其中K是分层联邦学习系统中物联网设备的数量，S是分层联邦学习系统中边缘服务器的数量；
aks(t)∈{0，1}是物联网设备k的与边缘服务器s的关联策略，
aks(t)＝1表示物联网设备k的与边缘服务器s相关联，否则aks(t)＝0；并且一个物联网设备至多关联一个边缘服务器，即
Figure FDA0002920905310000023
τ(t)是当前周期的训练时延，满足
Figure FDA0002920905310000024
其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合；
Figure FDA0002920905310000025
是物联网设备k∈{1，…，K}进行一次本地计算所需的时间，我们有
Figure FDA0002920905310000026
其中Dk是物联网设备的本地样本数量，Ck为单个样本所需要的计算量；
Figure FDA0002920905310000027
是物联网设备k将本地模型上传到边缘服务器s∈{1，…，S}所需的时间；
Figure FDA0002920905310000028
是边缘服务器s∈{1，…，S}将更新之后的边缘模型广播给相关联的物联网设备所消耗的时间；
Figure FDA0002920905310000029
是边缘服务器s将更新之后的边缘模型上传给云服务器的时间；
τdown(t)是云服务器将全局模型通过边缘服务器传输给所有物联网设备的时间；
Uk(t)是物联网设备k的本地模型对全局模型收敛的重要性，可以通过给定全局模型下本地训练的梯度进行估计，如果梯度的范数越大，说明该物联网设备本地模型更重要；
Ek(t)是物联网设备k在周期t的消耗的能耗，且
Figure FDA0002920905310000031
其中
计算能耗
Figure FDA0002920905310000032
传输能耗
Figure FDA0002920905310000033
η是物联网设备的芯片耗能系数，
Figure FDA0002920905310000034
是物联网设备k的传输功率，
Figure FDA0002920905310000035
是物联网设备k本地模型的上传时间；
Hk(t)是物联网设备k在周期t的能耗队列状态，其更新过程为：
Figure FDA0002920905310000036
其中
Figure FDA0002920905310000037
为物联网设备k的平均能耗预算；
系数V用于调节时延，模型重要性以及能耗的权重，而系数ρ用于调节时延和模型重要性的权重。
5.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，
步骤2中，在给定物联网设备关联策略A(t)的前提下，令
Figure FDA0002920905310000038
Figure FDA0002920905310000039
Figure FDA00029209053100000310
物联网设备k的本地计算能力为
Figure FDA00029209053100000311
其中
Figure FDA00029209053100000312
并且
Figure FDA00029209053100000313
是方程
Figure FDA00029209053100000314
的解。
6.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，我们通过一种启发式的物联网设备关联算法将物联网设备关联到对应的边缘服务器；每个物联网设备首先关联到信道增益最大的边缘服务器，然后进行删除，交换和添加操作，具体步骤包括：
步骤2.1，如果存在已经关联的物联网设备从集合
Figure FDA00029209053100000315
中去除从而使得目标函数值降低，则从集合Q(t)中去除该物联网设备，所述的集合Q(t)是指所有边缘服务器相关联的物联网设备组成的集合；
步骤2.2，如果存在两个不同的物联网设备可以通过交换关联策略降低目标函数的值，则交换这两个物联网设备的关联策略；
步骤2.3，如果可以将物联网设备添加到集合Q(t)可以提高目标函数的值，则将该物联网设备关联到使目标函数值最小的边缘服务器；
步骤2.1、2.2和2.3将被重复运行，直到目标函数值不再降低。
CN202110116570.7A 2021-01-28 2021-01-28 一种物联网设备能耗自适应控制的分层联邦学习方法 Active CN112804107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116570.7A CN112804107B (zh) 2021-01-28 2021-01-28 一种物联网设备能耗自适应控制的分层联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116570.7A CN112804107B (zh) 2021-01-28 2021-01-28 一种物联网设备能耗自适应控制的分层联邦学习方法

Publications (2)

Publication Number Publication Date
CN112804107A true CN112804107A (zh) 2021-05-14
CN112804107B CN112804107B (zh) 2023-04-28

Family

ID=75812342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116570.7A Active CN112804107B (zh) 2021-01-28 2021-01-28 一种物联网设备能耗自适应控制的分层联邦学习方法

Country Status (1)

Country Link
CN (1) CN112804107B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948101A (zh) * 2021-05-17 2021-06-11 南京邮电大学 一种面向快速联邦学习的5g边缘设备调度方法
CN113177367A (zh) * 2021-05-28 2021-07-27 北京邮电大学 高能效的联邦学习方法、装置、边缘服务器及用户设备
CN113469325A (zh) * 2021-06-09 2021-10-01 南京邮电大学 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN113469367A (zh) * 2021-05-25 2021-10-01 华为技术有限公司 一种联邦学习方法、装置及系统
CN113504999A (zh) * 2021-08-05 2021-10-15 重庆大学 一种面向高性能分层联邦边缘学习的调度与资源分配方法
CN113726561A (zh) * 2021-08-18 2021-11-30 西安电子科技大学 利用联邦学习训练卷积神经网络的业务类型识别方法
CN113902021A (zh) * 2021-10-13 2022-01-07 北京邮电大学 一种高能效的聚类联邦边缘学习策略生成方法和装置
CN114363923A (zh) * 2021-11-30 2022-04-15 山东师范大学 一种基于联邦边缘学习的工业物联网资源分配方法及系统
CN114363911A (zh) * 2021-12-31 2022-04-15 哈尔滨工业大学（深圳） 一种部署分层联邦学习的无线通信系统及资源优化方法
CN115118591A (zh) * 2022-06-08 2022-09-27 南京邮电大学 一种基于联盟博弈的簇联邦学习方法
WO2023093238A1 (zh) * 2021-11-29 2023-06-01 北京邮电大学 利用学习模型进行业务处理的方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858009A (zh) * 2020-07-30 2020-10-30 航天欧华信息技术有限公司 基于迁移和强化学习的移动边缘计算系统任务调度方法
CN112070240A (zh) * 2020-09-07 2020-12-11 清华大学 一种高效通信的分层联邦学习框架及其优化方法和系统
CN112181666A (zh) * 2020-10-26 2021-01-05 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN112202928A (zh) * 2020-11-16 2021-01-08 绍兴文理学院 传感边缘云区块链网络可信卸载协作节点选择系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858009A (zh) * 2020-07-30 2020-10-30 航天欧华信息技术有限公司 基于迁移和强化学习的移动边缘计算系统任务调度方法
CN112070240A (zh) * 2020-09-07 2020-12-11 清华大学 一种高效通信的分层联邦学习框架及其优化方法和系统
CN112181666A (zh) * 2020-10-26 2021-01-05 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN112202928A (zh) * 2020-11-16 2021-01-08 绍兴文理学院 传感边缘云区块链网络可信卸载协作节点选择系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董超等: "基于无人机的边缘智能计算研究综述", 《智能科学与技术学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948101A (zh) * 2021-05-17 2021-06-11 南京邮电大学 一种面向快速联邦学习的5g边缘设备调度方法
CN112948101B (zh) * 2021-05-17 2021-10-26 南京邮电大学 一种面向快速联邦学习的5g边缘设备调度方法
CN113469367A (zh) * 2021-05-25 2021-10-01 华为技术有限公司 一种联邦学习方法、装置及系统
CN113469367B (zh) * 2021-05-25 2024-05-10 华为技术有限公司 一种联邦学习方法、装置及系统
CN113177367A (zh) * 2021-05-28 2021-07-27 北京邮电大学 高能效的联邦学习方法、装置、边缘服务器及用户设备
CN113469325A (zh) * 2021-06-09 2021-10-01 南京邮电大学 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN113469325B (zh) * 2021-06-09 2023-07-25 南京邮电大学 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN113504999B (zh) * 2021-08-05 2023-07-04 重庆大学 一种面向高性能分层联邦边缘学习的调度与资源分配方法
CN113504999A (zh) * 2021-08-05 2021-10-15 重庆大学 一种面向高性能分层联邦边缘学习的调度与资源分配方法
CN113726561A (zh) * 2021-08-18 2021-11-30 西安电子科技大学 利用联邦学习训练卷积神经网络的业务类型识别方法
CN113902021A (zh) * 2021-10-13 2022-01-07 北京邮电大学 一种高能效的聚类联邦边缘学习策略生成方法和装置
WO2023093238A1 (zh) * 2021-11-29 2023-06-01 北京邮电大学 利用学习模型进行业务处理的方法以及装置
CN114363923A (zh) * 2021-11-30 2022-04-15 山东师范大学 一种基于联邦边缘学习的工业物联网资源分配方法及系统
CN114363923B (zh) * 2021-11-30 2024-03-26 山东师范大学 一种基于联邦边缘学习的工业物联网资源分配方法及系统
CN114363911A (zh) * 2021-12-31 2022-04-15 哈尔滨工业大学（深圳） 一种部署分层联邦学习的无线通信系统及资源优化方法
CN114363911B (zh) * 2021-12-31 2023-10-17 哈尔滨工业大学（深圳） 一种部署分层联邦学习的无线通信系统及资源优化方法
CN115118591A (zh) * 2022-06-08 2022-09-27 南京邮电大学 一种基于联盟博弈的簇联邦学习方法
CN115118591B (zh) * 2022-06-08 2023-07-25 南京邮电大学 一种基于联盟博弈的簇联邦学习方法

Also Published As

Publication number Publication date
CN112804107B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112804107A (zh) 一种物联网设备能耗自适应控制的分层联邦学习方法
CN113537514B (zh) 一种高能效的基于数字孪生的联邦学习框架
CN112598150B (zh) 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN111708640A (zh) 一种面向边缘计算的联邦学习方法和系统
WO2021227508A1 (zh) 基于深度强化学习的工业5g动态多优先级多接入方法
CN113469325A (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN110428115A (zh) 基于深度强化学习的动态环境下的最大化系统效益方法
WO2023109699A1 (zh) 一种多智能体的通信学习方法
CN113312177B (zh) 一种基于联邦学习的无线边缘计算系统、优化方法
CN115587633A (zh) 一种基于参数分层的个性化联邦学习方法
CN113518007A (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN115310360A (zh) 基于联邦学习的数字孪生辅助工业物联网可靠性优化方法
CN116187429A (zh) 一种基于切分学习的端边云协同同步联邦学习训练算法
CN114375050A (zh) 一种数字孪生辅助的5g配电网资源调度方法
Liu et al. FedAGL: A communication-efficient federated vehicular network
Qiao et al. A framework for multi-prototype based federated learning: Towards the edge intelligence
CN117812593A (zh) 融合知识蒸馏的群学习架构下的入侵检测方法
CN115118591B (zh) 一种基于联盟博弈的簇联邦学习方法
Ren et al. Convergence Analysis and Latency Minimization for Semi-Federated Learning in Massive IoT Networks
CN109413746B (zh) 一种混合能源供能的通信系统中最优化能量分配方法
CN116611535A (zh) 一种用于异构数据的边缘联邦学习训练方法及其系统
CN116580824A (zh) 基于联邦图机器学习的跨地域医疗合作预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant