CN114465900A - 基于联邦边缘学习的数据共享时延优化方法及装置 - Google Patents

基于联邦边缘学习的数据共享时延优化方法及装置 Download PDF

Info

Publication number
CN114465900A
CN114465900A CN202210195790.8A CN202210195790A CN114465900A CN 114465900 A CN114465900 A CN 114465900A CN 202210195790 A CN202210195790 A CN 202210195790A CN 114465900 A CN114465900 A CN 114465900A
Authority
CN
China
Prior art keywords
client
data
data sharing
representing
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210195790.8A
Other languages
English (en)
Other versions
CN114465900B (zh
Inventor
郭少勇
陈洁蔚
黄琳
庄健
沈韬
王应武
刘英利
柏粉花
张驰
马圳江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Provincial Academy Of Science And Technology
Beijing University of Posts and Telecommunications
Kunming University of Science and Technology
Original Assignee
Yunnan Provincial Academy Of Science And Technology
Beijing University of Posts and Telecommunications
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Provincial Academy Of Science And Technology, Beijing University of Posts and Telecommunications, Kunming University of Science and Technology filed Critical Yunnan Provincial Academy Of Science And Technology
Priority to CN202210195790.8A priority Critical patent/CN114465900B/zh
Publication of CN114465900A publication Critical patent/CN114465900A/zh
Application granted granted Critical
Publication of CN114465900B publication Critical patent/CN114465900B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于联邦边缘学习的数据共享时延优化方法及装置，所述方法包括：利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。本发明通过利用基于联邦边缘学习的分布式系统架构进行数据共享，提高了数据共享的效率，再对客户端的传输功率、计算功率和数据卸载量进行优化，实现在工业互联网中的数据共享资源受限的场景下获取最小的数据共享时延。

Description

基于联邦边缘学习的数据共享时延优化方法及装置
技术领域
本发明涉及信息安全技术领域，尤其涉及一种基于联邦边缘学习的数据共享时延优化方法及装置。
背景技术
联邦边缘学习已广泛应用于工业物联网(Industrial Internet of Things,IIoT)中的数据共享场景，用以解决数据共享中的隐私问题和计算开销问题。然而，分布在网络边缘的数据正呈指数级爆炸式增长，这将为来自大量分布式设备的数据汇总以进行训练的集中式机器学习方案带来巨大的系统时延。
现有技术方案中对于系统时延的问题，通常是以优化模型内部结构的方法来解决，但是目前优化模型内部结构的研究，通常是在假设资源足够的情况下进行，而在实际场景中终端设备和边缘服务器可能分配到的带宽不足以支撑需要传输的数据量。因此，在工业互联网中的数据共享资源受限的场景下，优化模型内部结构的方法对解决系统时延不适用。
因此，在工业互联网中的数据共享资源受限的场景下，对系统时延进行优化是亟需解决的技术问题。
发明内容
本发明提供一种基于联邦边缘学习的数据共享时延优化方法及装置，用以解决现有技术中在工业互联网中的数据共享资源受限的场景下不能对系统时延进行优化的缺陷。
本发明提供一种基于联邦边缘学习的数据共享时延优化方法，包括：
利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；
对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
可选地，对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延，包括：
在所述客户端的传输功率大于等于零，且所有客户端的传输功率之和小于等于系统功率的条件下，对所述客户端的传输功率进行优化，获取数据共享中最小的数据卸载时延；
在所述客户端的计算功率大于等于零，且所有客户端的计算功率之和小于等于系统功率的条件下，对所述客户端的计算功率进行优化，获取数据共享中最小的模型更新时延；
在所述客户端的数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，基于优化的所述客户端的传输功率和计算功率，对所述客户端的数据卸载量进行优化，获取最小的数据共享时延。
对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延之前，包括：
对所述基于联邦边缘学习的分布式系统架构进行时延分析，获取数据共享时延的组成部分。
可选地，利用基于联邦边缘学习的分布式系统架构进行数据共享，包括：
所述边缘服务器接收所述客户端卸载的数据；
所述边缘服务器对接收的所述数据进行训练，获取模型更新参数。
可选地，利用基于联邦边缘学习的分布式系统架构进行数据共享，包括：
设置第一阈值，所述第一阈值为参与全局聚合的客户端数量的最小值；
设置第二阈值，所述第二阈值为客户端输出模型参数的时间的最大值。
可选地，利用基于联邦边缘学习的分布式系统架构进行数据共享，还包括：
在所述参与全局聚合的客户端数量达到第一阈值，且所述客户端输出模型参数的时间未达到第二阈值的情况下，对参与全局聚合的客户端输出的模型参数进行全局聚合；
在所述客户端输出模型参数的时间达到第二阈值，且所述参与全局聚合的客户端数量未达到第一阈值的情况下，对在所述第二阈值内输出的模型参数进行全局聚合。
可选地，所述数据共享中最小的数据卸载时延根据如下公式获取：
Figure BDA0003527122980000031
约束条件：
Figure BDA0003527122980000032
Figure BDA0003527122980000033
式中，
Figure BDA0003527122980000034
表示分配给客户端k的传输功率，Lk表示客户端k的数据卸载量，Lk为固定值，B表示每条链路的带宽，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，
Figure BDA0003527122980000035
表示客户端的总数量，P表示系统功率。
可选地，所述数据共享中最小的模型更新时延根据如下公式获取：
Figure BDA0003527122980000041
约束条件：
Figure BDA0003527122980000042
Figure BDA0003527122980000043
式中，
Figure BDA0003527122980000044
表示客户端k的计算功率，Dk表示客户端k的本地数据集的数据量，Lk表示客户端k的数据卸载量，Lk为固定值，
Figure BDA0003527122980000045
是客户端k的有效电容系数，
Figure BDA0003527122980000046
大于0，es表示服务器的中央处理器频率，
Figure BDA0003527122980000047
表示客户端的总数量，P表示系统功率。
可选地，所述最小的数据共享时延根据如下公式获取：
Figure BDA0003527122980000048
约束条件：
Figure BDA0003527122980000049
式中，Lk表示客户端k的数据卸载量，B表示每条链路的带宽，
Figure BDA00035271229800000410
表示分配给客户端k的传输功率，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，r(∈)表示训练的轮数，tw表示用于参数聚合和模型广播的时间段，τ表示每轮的时期数，C表示训练1位数据所需的中央处理器周期数，
Figure BDA00035271229800000411
表示客户端k的计算功率，Dk表示客户端k的本地数据集的数据量，
Figure BDA00035271229800000412
是客户端k的有效电容系数，
Figure BDA00035271229800000413
大于0，es表示服务器的中央处理器频率，
Figure BDA00035271229800000414
表示客户端的总数量。
本发明还提供一种基于联邦边缘学习的数据共享时延优化装置，包括：
共享模块，用于利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括依次通信连接的客户端、边缘服务器和中心服务器；
获取模块，用于对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
可选地，所述获取模块包括第一优化子模块、第二优化子模块和第三优化子模块；其中，
所述第一优化子模块，用于在所述客户端的传输功率大于等于零，且所有客户端的传输功率之和小于等于系统功率的条件下，对所述客户端的传输功率进行优化，获取数据共享中最小的数据卸载时延；
所述第二优化子模块，用于在所述客户端的计算功率大于等于零，且所有客户端的计算功率之和小于等于系统功率的条件下，对所述客户端的计算功率进行优化，获取数据共享中最小的模型更新时延；
所述第三优化子模块，用于在所述客户端的数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，基于优化的所述客户端的传输功率和计算功率，对所述客户端的数据卸载量进行优化，获取最小的数据共享时延。
可选地，所述共享模块包括第一设置子模块和第二设置子模块；其中，
所述第一设置子模块，用于设置第一阈值，所述第一阈值为参与全局聚合的客户端数量的最小值；
所述第二设置子模块，用于设置第二阈值，所述第二阈值为客户端输出模型参数的时间的最大值。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于联邦边缘学习的数据共享时延方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于联邦边缘学习的数据共享时延方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于联邦边缘学习的数据共享时延方法的步骤。
本发明提供的基于联邦边缘学习的数据共享时延优化方法及装置，通过利用基于联邦边缘学习的分布式系统架构进行数据共享，提高了数据共享的效率，再对客户端的传输功率、计算功率和数据卸载量进行优化，实现在工业互联网中的数据共享资源受限的场景下获取最小的数据共享时延。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于联邦边缘学习的数据共享时延优化方法的流程示意图；
图2是本发明实施例提供的基于联邦边缘学习的分布式系统架构示意图；
图3是本发明实施例提供的基于联邦边缘学习的数据共享原理图；
图4是本发明实施例提供的基于联邦边缘学习的数据共享时延示意图；
图5是本发明实施例提供的基于联邦边缘学习的训练过程示意图；
图6是本发明实施例提供的基于联邦边缘学习的数据共享时延优化装置的结构示意图；
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的基于联邦边缘学习的数据共享时延优化方法的流程示意图，如图1所示，本发明提供一种基于联邦边缘学习的数据共享时延优化方法，该方法包括：
步骤101，利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器。
具体地，图2是本发明实施例提供的基于联邦边缘学习的分布式系统架构示意图，如图2所示，基于联邦边缘学习的分布式系统架构有三层，分别是设备层、边缘层和云端。
设备层包为多个客户端，客户端可以为电脑、手机、摄像头和智能手表等终端设备，边缘层为多个边缘服务器，云端为一个中心服务器。
可选地，利用基于联邦边缘学习的分布式系统架构进行数据共享，包括：
所述边缘服务器接收所述客户端卸载的数据；
所述边缘服务器对接收的所述数据进行训练，获取模型更新参数。
具体地，图3是本发明实施例提供的基于联邦边缘学习的数据共享原理图，如图3所示，在网络边缘一个边缘服务器为k个客户端提供服务，用集合K＝K{1、2、3、、、k}表示k个客户端的集合。每个客户端存储一个本地数据集，一个本地数据集的数据量大小为Dk。
基于联邦边缘学习的数据共享分为数据卸载和模型更新阶段两个阶段。在数据卸载阶段，每个客户端将部分数据
Figure BDA0003527122980000081
卸载到边缘服务器，部分数据
Figure BDA0003527122980000082
的数据量大小为Lk。
在模型更新阶段，每个客户端利用剩余数据进行本地模型训练，以更新本地模型，获取更新后的本地模型的模型参数。边缘服务器接收客户端卸载的数据，先将接收的数据进行聚合，再利用聚合的数据进行模型训练，以更新边缘模型，获取更新后的边缘模型的模型参数。
对于边缘服务器中的边缘模型，定义卸载数据
Figure BDA00035271229800000811
的损失函数的表达式如下所示：
Figure BDA0003527122980000083
式中，F(ωs)表示边缘模型的损失函数，ωs表示边缘模型的模型参数，L表示所有卸载数据的数据量之和，
Figure BDA0003527122980000084
表示所有卸载数据的集合，i表示迭代次数，fi(ωs)表示第i次迭代的边缘模型的损失函数。
Figure BDA0003527122980000085
的表达式如下所示：
Figure BDA0003527122980000086
式中，
Figure BDA0003527122980000087
表示所有卸载数据的集合，∪k表示并集，
Figure BDA0003527122980000088
表示客户端k的卸载数据。
L的表达式如下所示：
Figure BDA0003527122980000089
式中，L表示所有卸载数据的数据量之和，K表示客户端的总个数，Lk表示客户端k的卸载数据的数据量大小。
对于客户端k中的本地模型，在其剩余数据上定义的损失函数的表达式如下所示：
Figure BDA00035271229800000810
式中，Fk(ωk)表示本地模型的损失函数，ωk表示本地模型的模型参数，Dk表示客户端k的本地数据集的数据量大小，Lk表示客户端k的卸载数据的数据量大小，i表示迭代次数，fi(ωk)第i次迭代的本地模型的损失函数。
在客户端和边缘服务器端进行本地更新后，客户端将本地模型参数上传至云端的中心服务器，边缘服务器将边缘模型的参数也上传至云端的中心服务器。
中心服务器接收到客户端和边缘服务器上传的模型参数之后，将接收的所有模型参数和自身的模型参数进行聚合，以获得一个全局模型参数，并将全局模型参数广播给所有客户端。
定义全局模型参数的表达式如下所示：
Figure BDA0003527122980000091
式中，ω表示全局模型参数，D表示所有客户端的本地数据集的数据量之和，K表示客户端的总个数，Dk表示客户端k的本地数据集的数据量大小，Lk表示客户端k的卸载数据的数据量大小，L表示所有卸载数据的数据量之和，ωs表示边缘模型的模型参数。
在基于联邦边缘学习的分布式系统架下，边缘服务器和所有客户端都需要在模型更新阶段执行模型训练。
传统的联邦学习方案一般只有两层，即服务器和客户端，本发明增加了边缘协助的边缘服务器，并且在边缘服务器上增加了训练数据卸载。
通过客户端卸载部分数据给边缘服务器，边缘服务器和所有客户端一起参与模型训练，缓解了并行训练结构造成的离散效应，提高了联邦学习的整体效率。
步骤102，对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
具体地，在获取最小的数据共享时延之前，需要先获取数据共享时延的组成。再根据数据共享时延的组成，对客户端的传输功率、计算功率和数据卸载量进行优化，从而获取最小的数据共享时延。
可选地，对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延之前，包括：
对所述基于联邦边缘学习的分布式系统架构进行时延分析，获取数据共享时延的组成部分。
具体地，对于边缘学习，系统时延包括数据卸载时延和模型训练时延。
假设从K个客户端到边缘服务器的通信连接是正交的，那么边缘学习的系统时延的表达式如下所示：
Figure BDA0003527122980000101
式中，TEL表示边缘学习的系统时延，方程右边的第一个表达式为数据卸载时延，右边第二个表达式为模型训练时延，Lk表示客户端k的卸载数据的数据量大小，B表示每个链路的带宽，pk表示分配给客户端k的传输功率，gk表示客户端k的信道增益
Figure BDA0003527122980000102
与复杂信道高斯白噪声的方差N0之比，
Figure BDA0003527122980000103
等于v|hk|2，v是大规模衰落路径损耗参数，hk表示数据卸载期间的信道响应常数，W表示边缘服务器在模型训练阶段的总计算量，es是边缘服务器的CPU频率。
使用小批量梯度下降算法，总计量量W和所有客户端的本地数据集的数据量之和D成比例，二者之间的关系表达式如下所示：
Figure BDA0003527122980000104
式中，W表示边缘服务器在模型训练阶段的总计算量，Ne表示总时期(epoch)数，Bn表示一个epoch中的迭代数(小批量)，Bs表示一次迭代的训练数据量大小(小批量大小)，常数C表示训练1位数据所需的CPU周期数，D表示所有客户端的本地数据集的数据量之和。
对于联邦学习，系统时延由本地更新时延、参数聚合时延和模型广播时延组成。在每一轮的本地更新之后，都会预留一个固定的时间段tw，该时间段tw用于参数聚合和模型广播。
由于每个客户端都独立进行本地模型更新，联邦学习的系统时延的表达式如下所示：
Figure BDA0003527122980000111
式中，TFL表示联邦学习的系统时延，N表示联邦学习的总训练轮数，
Figure BDA0003527122980000112
表示所有客户端的集合，Wk表示客户端k进行一轮训练的计算量，ek表示客户端k的CPU频率，Wk/ek表示客户端k的总更新时延，tw表示参数聚合和模型广播的时延。
客户端k进行一轮训练的计算量Wk和客户端k的本地数据集的数据量Dk成比例，二者之间的关系表达式如下所示：
Figure BDA0003527122980000113
式中，Wk表示客户端k进行一轮训练的计算量，τ表示每一轮训练的epoch数，
Figure BDA0003527122980000114
表示客户端k的一个epoch中的迭代数，常数C表示训练1位数据所需的CPU周期数，Bs表示一次迭代的训练数据量大小，Dk表示客户端k的本地数据集的数据量大小。
图4是本发明实施例提供的基于联邦边缘学习的数据共享时延示意图，如图4所示，基于上述边缘学习的系统时延和联邦学习的系统时延，联邦边缘学习的“端-边”时延由数据卸载时延To组成，而“云-边”时延由本地更新时延和固定时间段的参数聚合和模型广播的时延tw组成，将“云-边”时延统称为模型更新时延Tu。联邦边缘学习的系统时延分为数据卸载时延To和模型更新时延Tu。
联邦边缘学习的系统时延的系统时延的表达式如下所示：
THFEL＝To+Tu
式中，THFEL表示联邦边缘学习的系统时延，To表示数据卸载时延，Tu表示模型更新时延。
数据卸载时延To为最长数据卸载时延，数据卸载时延是表达式如下所示：
Figure BDA0003527122980000121
式中，To表示数据卸载时延，
Figure BDA0003527122980000122
表示客户端k的数据卸载时延。
客户端k的数据卸载时延
Figure BDA0003527122980000123
的表达式如下所示：
Figure BDA0003527122980000124
式中，
Figure BDA0003527122980000125
表示客户端k的数据卸载时延，Lk表示客户端k的卸载数据的数据量大小，B表示每个链路的带宽，
Figure BDA0003527122980000126
表示分配给客户端k的传输功率，gk表示客户端k的信道增益
Figure BDA0003527122980000127
与复杂信道高斯白噪声的方差N0之比。
模型更新时延Tu的表达式如下所示：
Figure BDA0003527122980000128
式中，Tu表示模型更新时延，N表示联邦学习的总训练轮数，
Figure BDA0003527122980000129
表示客户端k的模型更新时延，ts表示边缘服务器和中心服务器的更新时延，tw表示参数聚合和模型广播的时延。
客户端k的模型更新时延
Figure BDA00035271229800001210
的表达式如下所示：
Figure BDA00035271229800001211
式中，
Figure BDA00035271229800001212
表示客户端k的模型更新时延，τ表示每一轮训练的epoch数，常数C表示训练1位数据所需的CPU周期数，Dk表示客户端k的本地数据集的数据量大小，Lk表示客户端k的卸载数据的数据量大小，ek表示客户端k的CPU频率。
对于客户端k，计算能力
Figure BDA0003527122980000131
与CPU频率ek之间的关系表达式如下所示：
Figure BDA0003527122980000132
式中，ek表示客户端k的CPU频率，
Figure BDA0003527122980000133
表示客户端k的计算能力，
Figure BDA0003527122980000134
表示客户端k的有效电容系数，
Figure BDA0003527122980000135
大于0，取决于芯片结构。
边缘服务器和中心服务器的更新时延ts的表达式如下所示：
Figure BDA0003527122980000136
式中，ts表示边缘服务器和中心服务器的更新时延，τ表示每一轮训练的epoch数，常数C表示训练1位数据所需的CPU周期数，
Figure BDA0003527122980000137
表示所有客户端的集合，Lk表示客户端k的卸载数据的数据量大小，es表示服务器的CPU频率。
为了达到一定的训练精度需要对训练轮数N进行限定，训练轮数N等于r(∈)，定义r(∈)的表达式如下所示：
Figure BDA0003527122980000138
式中，r(∈)表示训练的轮数，τ表示每一轮训练的epoch数，α和β是与联邦学习模型和数据分布相关的参数，K表示客户端的总个数，∈表示训练目标的精度损失。β反映了数据分布的异质性。β值越大，意味着非同分布(non Independent and identicallydistributed,non-IID)的程度越大。
虽然在联邦边缘学习过程中不能直接得到α和β的值，但是可以通过推导和联邦学习自适应技术得到参数。具体来说，基于联邦学习的历史数据，建立学习轮数与数据特征之间的关系，然后进行曲线拟合，得到α和β的值。
根据上述分析，在工业互联网中的数据共享资源受限的场景下，最小的数据共享时延根据如下公式计算：
C:
Figure BDA0003527122980000141
Figure BDA0003527122980000142
约束条件：
C1:
Figure BDA0003527122980000143
C2:
Figure BDA0003527122980000144
C3:
Figure BDA0003527122980000145
C4:
Figure BDA0003527122980000146
C5:
Figure BDA0003527122980000147
式中，Lk表示客户端k的数据卸载量，B表示每条链路的带宽，
Figure BDA0003527122980000148
表示分配给客户端k的传输功率，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，r(∈)表示训练的轮数，tw表示用于参数聚合和模型广播的时间段，τ表示每轮的时期数，C表示训练1位数据所需的中央处理器周期数，
Figure BDA0003527122980000149
表示客户端k的计算功率，P表示系统功率，Dk表示客户端k的本地数据集的数据量，
Figure BDA00035271229800001410
是客户端k的有效电容系数，
Figure BDA00035271229800001411
大于0，es表示服务器的中央处理器频率，
Figure BDA00035271229800001412
表示客户端的总数量。
通过先分别对边缘学习和联邦学习的系统时延进行分析，在此基础上，再对联邦边缘学习的时延进行分析，获取了数据共享时延的组成部分，为实现最小的数据共享时延奠定基础。
最小的数据共享时延的问题C需要在C1-C5的约束条件下进行求解。由问题C的表达式可以看出，问题C有三个优化变量，分别是数据卸载量、传输功率以及计算功率。
因为目标函数对于优化变量不是联合凸的，则可以证明问题C是非凸优化问题。为了便于处理，可以将问题C解耦为一个主问题Pm和两个子问题。Lk作为耦合变量，通过固定Lk的值推导出两个子问题。
可选地，对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延，包括：
在所述客户端的传输功率大于等于零，且所有客户端的传输功率之和小于等于系统功率的条件下，对所述客户端的传输功率进行优化，获取数据共享中最小的数据卸载时延；
在所述客户端的计算功率大于等于零，且所有客户端的计算功率之和小于等于系统功率的条件下，对所述客户端的计算功率进行优化，获取数据共享中最小的模型更新时延；
在所述客户端的数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，基于优化的所述客户端的传输功率和计算功率，对所述客户端的数据卸载量进行优化，获取最小的数据共享时延。
具体地，固定Lk的值进行解耦后，通过在C1和C2的约束条件下，子问题
Figure BDA0003527122980000151
对传输功率进行优化，得到数据共享中最小的数据卸载时延。
可选地，所述数据共享中最小的数据卸载时延根据如下公式获取：
Figure BDA0003527122980000152
约束条件：
Figure BDA0003527122980000153
Figure BDA0003527122980000154
式中，
Figure BDA0003527122980000155
表示分配给客户端k的传输功率，Lk表示客户端k的数据卸载量，Lk为固定值，B表示每条链路的带宽，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，
Figure BDA0003527122980000156
表示客户端的总数量，P表示系统功率。
具体地，在子问题
Figure BDA0003527122980000161
中，数据卸载量Lk是固定值，只有传输功率
Figure BDA0003527122980000162
是优化变量。在传输功率大于等于零，且所有传输功率之和小于等于系统功率的条件下，对传输功率进行优化，以获取数据共享中最小的数据卸载时延。
明确了数据共享中最小的数据卸载时延的求解方程，有利于进一步求解出最小的数据共享时延。
固定Lk的值进行解耦后，通过在C2和C4的约束条件下，子问题
Figure BDA0003527122980000163
对计算功率进行优化，得到数据共享中最小的模型更新时延。
可选地，所述数据共享中最小的模型更新时延根据如下公式获取：
Figure BDA0003527122980000164
约束条件：
Figure BDA0003527122980000165
Figure BDA0003527122980000166
式中，
Figure BDA0003527122980000167
表示客户端k的计算功率，Dk表示客户端k的本地数据集的数据量，Lk表示客户端k的数据卸载量，Lk为固定值，
Figure BDA0003527122980000168
是客户端k的有效电容系数，
Figure BDA0003527122980000169
大于0，es表示服务器的中央处理器频率，
Figure BDA00035271229800001610
表示客户端的总数量，P表示系统功率。
具体地，在子问题
Figure BDA00035271229800001611
中，数据卸载量Lk是固定值，只有计算功率
Figure BDA00035271229800001612
是优化变量。在计算功率大于等于零，且所有计算功率之和小于等于系统功率的条件下，对计算功率进行优化，以获取数据共享中最小的模型更新时延。
明确了数据共享中最小的模型更新时延的求解方程，有利于进一步求解出最小的数据共享时延。
通过在C5的约束条件下，利用子问题
Figure BDA00035271229800001613
求解出的传输功率，子问题
Figure BDA00035271229800001614
求解出的计算功率，主问题Pm对数据卸载量进行优化，得到最小的数据共享时延。
可选地，所述最小的数据共享时延根据如下公式获取：
Figure BDA0003527122980000171
约束条件：
Figure BDA0003527122980000172
式中，Lk表示客户端k的数据卸载量，B表示每条链路的带宽，
Figure BDA0003527122980000173
表示分配给客户端k的传输功率，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，r(∈)表示训练的轮数，tw表示用于参数聚合和模型广播的时间段，τ表示每轮的时期数，C表示训练1位数据所需的中央处理器周期数，
Figure BDA0003527122980000174
表示客户端k的计算功率，Dk表示客户端k的本地数据集的数据量，
Figure BDA0003527122980000175
是客户端k的有效电容系数，
Figure BDA0003527122980000176
大于0，es表示服务器的中央处理器频率，
Figure BDA0003527122980000177
表示客户端的总数量。
具体地，在主问题Pm中，传输功率
Figure BDA0003527122980000178
和计算功率
Figure BDA0003527122980000179
是固定值，只有数据卸载量Lk是优化变量。在数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，对数据卸载量进行优化，以最小的获取数据共享时延。
明确了最小的数据共享时延的求解方程，实现求解出最小的数据共享时延。
通过先将最小的数据共享时延问题解耦成一个主问题和两个子问题，再对子问题进行求解，最后利用子问题的求解对主问题的求解，实现了在工业互联网中的数据共享资源受限的场景下获取最小的数据共享时延。
在模型更新阶段，考虑到客户端的本地培训过程是高度动态的，为了进一步减少模型训练的时延，系统希望每个客户端能够保持同步训练。然而，在工业物联网场景中，终端的计算和存储能力多样化，且每个客户端所持有的数据量大小也不相同，这就意味着联邦学习模式必然是异步的，这将导致难以忍受的模型损失，同时还伴随着时延的不可控因素。
针对异步联邦学习导致的模型损失问题，提出一种动态的聚合策略，有利于全局模型的更新。具体来说，是设定一个部分客户端参与规则，同时在本地训练阶段限制客户端的训练完成时间，保证训练输出参数及时传输到中心服务器，再进行聚合。
可选地，利用基于联邦边缘学习的分布式系统架构进行数据共享，包括：
设置第一阈值，所述第一阈值为参与全局聚合的客户端数量的最小值；
设置第二阈值，所述第二阈值为客户端输出模型参数的时间的最大值。
具体地，在联邦学习过程中，许多客户端会与边缘服务器进行通信，两个方面会影响通信效率。
首先，考虑到上行通信信道的限制，客户端通常上传带宽有限，与上行通信时间相比，下行通信时间可以忽略不计。其次，有些客户端只有少量数据，在聚合阶段会变成噪音，这将导致全局模型更偏向于某个客户端的特性，而不是大多数客户的共同发展方向。因此，提出部分客户端参与规则，减少上行通信阶段的客户端数量，提高通信效率。
以“端-边”一层联邦学习为例，设在一个全局通信轮次中，客户端的子集表示为St。
在实际应用中，由于并非所有客户端的训练结果都会在每一轮训练中发挥作用，因此，在上行通信阶段，客户端不仅将上传本地模型参数，同时将本地数据集的大小传输也上传到中心服务器，中心服务器根据上传的信息计算客户端k被选中的概率值ηk。概率值ηk与本地数据量成正相关，本地数据量大的客户端有更大的ηk。
每一轮选择的客户端的子集是不同的，使得全局模型包含尽可能多的本地客户端信息。因此，全局模型的损失函数可以表示为：
Figure BDA0003527122980000191
式中，w表示全局模型的参数，F(w)表示聚合阶段后的平均全局模型参数，St表示客户端的子集，ηk表示客户端k被选中的概率值，Fk(wk)表示第k个客户端的损失函数。
其中，
Figure BDA0003527122980000192
式中，St表示客户端的子集，ηk表示客户端k被选中的概率值。
图5是本发明实施例提供的基于联邦边缘学习的训练过程示意图，如图5所示，基于联邦边缘学习的训练过程有四个阶段时延，分别是下行链路通信、联邦训练、上行链路通信和聚合。
由图5的(a)部分可以看出，最耗时的阶段是上行链路通信阶段。在这个阶段，中心服务器需要等待所有客户端上传本地训练结果之后再进行聚合。因此，可以通过限制上行通信阶段的时间来保持同步。为保证中心服务器及时收到来自客户端k的内容，对客户端输出模型参数的时间的最大值进行预设，也就是设置第二阈值。
客户端输出模型参数的时间的最大值的预设范围为：
Figure BDA0003527122980000193
式中，t表示第t次全局通信轮次，
Figure BDA0003527122980000194
表示第t次上行链路通信阶段的开始时间，rk表示第k个客户端完成本地训练的最大时长，
Figure BDA0003527122980000195
表示第t次上行链路通信阶段的结束时间。
第二阈值的设置可以根据最小的数据共享时延的求解方程进行自适应设定，将联邦学习一次全局聚合的通信时间用Tco表示，Tco小于tw/2。
联邦学习一次全局聚合的通信时间的表达式如下所示：
Figure BDA0003527122980000201
式中，Tco表示联邦学习一次全局聚合的通信时间，
Figure BDA0003527122980000202
表示示第t+1次上行链路通信阶段的开始时间，
Figure BDA0003527122980000203
表示第t次上行链路通信阶段的结束时间。
为了实现部分客户端参与，还可以在不损失模型精度的情况下，预设第一阈值，也就是对参与全局聚合的客户端数量的最小值进行预设。
通过对参与全局聚合的客户端数量的最小值和客户端输出模型参数的时间的最大值进行预设，实现部分客户端参与全局聚合，形成了动态的聚合策略。
可选地，利用基于联邦边缘学习的分布式系统架构进行数据共享，还包括：
在所述参与全局聚合的客户端数量达到第一阈值，且所述客户端输出模型参数的时间未达到第二阈值的情况下，对参与全局聚合的客户端输出的模型参数进行全局聚合；
在所述客户端输出模型参数的时间达到第二阈值，且所述参与全局聚合的客户端数量未达到第一阈值的情况下，对在所述第二阈值内输出的模型参数进行全局聚合。
具体地，在参与全局聚合的客户端数量达到第一阈值或客户端输出模型参数的时间达到第二阈值的情况下，均可以进行全局聚合。
考虑到客户端可能由于各种原因而掉线，例如电池电量不足、系统故障以及加速整体训练过程，上述限制可以使得联邦边缘学习系统更加灵活。如图5的(b)部分所示，基于这种动态聚合策略，缩短了上行通信阶段的时间，由此该轮联邦学习的时间也整体缩短。
实现丢弃超过训练约束的客户端，控制在聚合阶段客户端数量，减少异步联邦学习训练模式对于精度造成的影响，使得系统不受“拖延者”的影响。
本发明提供的基于联邦边缘学习的数据共享时延优化方法，通过利用基于联邦边缘学习的分布式系统架构进行数据共享，提高了数据共享的效率，再对客户端的传输功率、计算功率和数据卸载量进行优化，实现在工业互联网中的数据共享资源受限的场景下获取最小的数据共享时延。
本发明提供的基于联邦边缘学习的数据共享时延优化方法，基于联邦边缘学习，不同物联网域之间的数据拥有者(客户端)之间可以共享本地训练模型，而数据不出本地，相当于扩展了模型训练的数据，从而训练出更强大的推理模型。
该方法支持材料基因数据的共享和训练，为了实现对有机模板合成无机物的形成条件进行预测，需要用到不同地区(不同物联网域)的材料实验数据。面对这种大规模分布式机器学习训练，隐私问题、通信开销和计算开销成为关键问题。
在材料基因工程领域，常常将机器学习和人工智能应用结合，从失败的或者效果不佳的材料实验数据出发，训练机器学习算法，实现各种分类和预测功能，例如预测有机模板合成无机物的条件，促进材料发现的速度和效率；还有锂电池技术的研究，例如预测含锂元素化合物中适用于锂电池的固体电解质材料；在材料信息学方面，通过人工筛选加机器学习的方式来探索各种材料的规律等等。
在基因材料数据共享场景中，当终端设备将大量实验材料数据上传到集中式数据库时，可能会遇到严重的隐私问题。因此，具有分布式训练和隐私保护功能的联邦边缘学习平台可以为基因材料数据挖掘的提供私密、安全、高效的替代框架。
在锂电池技术中，具有计算和通信能力的联邦学习模型共享网络可以充当去中心化的分布式训练平台，为了缓解联邦学习基础架构中通信开销大的问题，将部分终端数据卸载到边缘端，同时考虑物联网终端的动态变化，例如电池电量不足、系统单点故障等，采用灵活的云端服务器聚合策略，利用边缘的计算能力使联邦边缘学习整体实现低时延服务，为材料提供商和各大实验室提供实验材料数据价值共享的机器学习训练拓展服务。
图6是本发明实施例提供的基于联邦边缘学习的数据共享时延优化装置的结构示意图，如图6所示，本发明还提供一种基于联邦边缘学习的数据共享时延优化装置，包括：共享模块601和获取模块602，其中：
共享模块601，用于利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；
获取模块602，用于对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
可选地，所述获取模块包括第一优化子模块、第二优化子模块和第三优化子模块；其中，
所述第一优化子模块，用于在所述客户端的传输功率大于等于零，且所有客户端的传输功率之和小于等于系统功率的条件下，对所述客户端的传输功率进行优化，获取数据共享中最小的数据卸载时延；
所述第二优化子模块，用于在所述客户端的计算功率大于等于零，且所有客户端的计算功率之和小于等于系统功率的条件下，对所述客户端的计算功率进行优化，获取数据共享中最小的模型更新时延；
所述第三优化子模块，用于在所述客户端的数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，基于优化的所述客户端的传输功率和计算功率，对所述客户端的数据卸载量进行优化，获取最小的数据共享时延。
可选地，所述共享模块包括第一设置子模块和第二设置子模块；其中，
所述第一设置子模块，用于设置第一阈值，所述第一阈值为参与全局聚合的客户端数量的最小值；
所述第二设置子模块，用于设置第二阈值，所述第二阈值为客户端输出模型参数的时间的最大值。
具体来说，本申请实施例提供的基于联邦边缘学习的数据共享时延优化装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图7是本发明实施例提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于联邦边缘学习的数据共享时延优化方法，该方法包括：利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于联邦边缘学习的数据共享时延优化方法，该方法包括：利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于联邦边缘学习的数据共享时延优化方法，该方法包括：利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本申请实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种基于联邦边缘学习的数据共享时延优化方法，其特征在于，包括：
利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括通信连接的客户端、边缘服务器和中心服务器；
对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
2.根据权利要求1所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延，包括：
在所述客户端的传输功率大于等于零，且所有客户端的传输功率之和小于等于系统功率的条件下，对所述客户端的传输功率进行优化，获取数据共享中最小的数据卸载时延；
在所述客户端的计算功率大于等于零，且所有客户端的计算功率之和小于等于系统功率的条件下，对所述客户端的计算功率进行优化，获取数据共享中最小的模型更新时延；
在所述客户端的数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，基于优化的所述客户端的传输功率和计算功率，对所述客户端的数据卸载量进行优化，获取最小的数据共享时延。
3.根据权利要求2所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延之前，包括：
对所述基于联邦边缘学习的分布式系统架构进行时延分析，获取数据共享时延的组成部分。
4.根据权利要求1所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，利用基于联邦边缘学习的分布式系统架构进行数据共享，包括：
所述边缘服务器接收所述客户端卸载的数据；
所述边缘服务器对接收的所述数据进行训练，获取模型更新参数。
5.根据权利要求1所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，利用基于联邦边缘学习的分布式系统架构进行数据共享，包括：
设置第一阈值，所述第一阈值为参与全局聚合的客户端数量的最小值；
设置第二阈值，所述第二阈值为客户端输出模型参数的时间的最大值。
6.根据权利要求5所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，利用基于联邦边缘学习的分布式系统架构进行数据共享，还包括：
在所述参与全局聚合的客户端数量达到第一阈值，且所述客户端输出模型参数的时间未达到第二阈值的情况下，对参与全局聚合的客户端输出的模型参数进行全局聚合；
在所述客户端输出模型参数的时间达到第二阈值，且所述参与全局聚合的客户端数量未达到第一阈值的情况下，对在所述第二阈值内输出的模型参数进行全局聚合。
7.根据权利要求2所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，所述数据共享中最小的数据卸载时延根据如下公式获取：
Figure FDA0003527122970000021
约束条件：
Figure FDA0003527122970000022
Figure FDA0003527122970000023
式中，
Figure FDA0003527122970000031
表示分配给客户端k的传输功率，Lk表示客户端k的数据卸载量，Lk为固定值，B表示每条链路的带宽，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，
Figure FDA0003527122970000032
表示客户端的总数量，P表示系统功率。
8.根据权利要求2所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，所述数据共享中最小的模型更新时延根据如下公式获取：
Figure FDA0003527122970000033
约束条件：
Figure FDA0003527122970000034
Figure FDA0003527122970000035
式中，
Figure FDA0003527122970000036
表示客户端k的计算功率，Dk表示客户端k的本地数据集的数据量，Lk表示客户端k的数据卸载量，Lk为固定值，
Figure FDA0003527122970000037
是客户端k的有效电容系数，
Figure FDA0003527122970000038
大于0，es表示服务器的中央处理器频率，
Figure FDA0003527122970000039
表示客户端的总数量，P表示系统功率。
9.根据权利要求2所述的基于联邦边缘学习的数据共享时延优化方法，其特征在于，所述最小的数据共享时延根据如下公式获取：
Figure FDA00035271229700000310
约束条件：
0≤Lk≤Dk,
Figure FDA00035271229700000311
式中，Lk表示客户端k的数据卸载量，B表示每条链路的带宽，
Figure FDA00035271229700000312
表示分配给客户端k的传输功率，gk表示客户端k的信道增益与复杂信道高斯白噪声的方差之比，r(∈)表示训练的轮数，tw表示用于参数聚合和模型广播的时间段，τ表示每轮的时期数，C表示训练1位数据所需的中央处理器周期数，
Figure FDA0003527122970000041
表示客户端k的计算功率，Dk表示客户端k的本地数据集的数据量，
Figure FDA0003527122970000042
是客户端k的有效电容系数，
Figure FDA0003527122970000043
大于0，es表示服务器的中央处理器频率，
Figure FDA0003527122970000044
表示客户端的总数量。
10.一种基于联邦边缘学习的数据共享时延优化装置，其特征在于，包括：
共享模块，用于利用基于联邦边缘学习的分布式系统架构进行数据共享；所述系统架构包括依次通信连接的客户端、边缘服务器和中心服务器；
获取模块，用于对所述客户端的传输功率、计算功率和数据卸载量进行优化，获取最小的数据共享时延。
11.根据权利要求10所述的基于联邦边缘学习的数据共享时延优化装置，其特征在于，所述获取模块包括第一优化子模块、第二优化子模块和第三优化子模块；其中，
所述第一优化子模块，用于在所述客户端的传输功率大于等于零，且所有客户端的传输功率之和小于等于系统功率的条件下，对所述客户端的传输功率进行优化，获取数据共享中最小的数据卸载时延；
所述第二优化子模块，用于在所述客户端的计算功率大于等于零，且所有客户端的计算功率之和小于等于系统功率的条件下，对所述客户端的计算功率进行优化，获取数据共享中最小的模型更新时延；
所述第三优化子模块，用于在所述客户端的数据卸载量大于等于零，且小于等于本地数据集的数据量的条件下，基于优化的所述客户端的传输功率和计算功率，对所述客户端的数据卸载量进行优化，获取最小的数据共享时延。
12.根据权利要求10所述的基于联邦边缘学习的数据共享时延优化装置，其特征在于，所述共享模块包括第一设置子模块和第二设置子模块；其中，
所述第一设置子模块，用于设置第一阈值，所述第一阈值为参与全局聚合的客户端数量的最小值；
所述第二设置子模块，用于设置第二阈值，所述第二阈值为客户端输出模型参数的时间的最大值。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中的任一项所述基于联邦边缘学习的数据共享时延优化方法的步骤。
14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中的任一项所述基于联邦边缘学习的数据共享时延优化方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中的任一项所述基于联邦边缘学习的数据共享时延优化方法的步骤。
CN202210195790.8A 2022-03-01 2022-03-01 基于联邦边缘学习的数据共享时延优化方法及装置 Withdrawn - After Issue CN114465900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195790.8A CN114465900B (zh) 2022-03-01 2022-03-01 基于联邦边缘学习的数据共享时延优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195790.8A CN114465900B (zh) 2022-03-01 2022-03-01 基于联邦边缘学习的数据共享时延优化方法及装置

Publications (2)

Publication Number Publication Date
CN114465900A true CN114465900A (zh) 2022-05-10
CN114465900B CN114465900B (zh) 2023-03-21

Family

ID=81416152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195790.8A Withdrawn - After Issue CN114465900B (zh) 2022-03-01 2022-03-01 基于联邦边缘学习的数据共享时延优化方法及装置

Country Status (1)

Country Link
CN (1) CN114465900B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115987694A (zh) * 2023-03-20 2023-04-18 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、系统和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764927A (zh) * 2021-01-21 2021-05-07 西安电子科技大学 一种车辆选择和资源联合优化方法、系统、介质及应用
CN112817653A (zh) * 2021-01-22 2021-05-18 西安交通大学 一种基于云边端的联邦学习计算卸载计算系统及方法
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113610303A (zh) * 2021-08-09 2021-11-05 北京邮电大学 一种负荷预测方法及系统
CN113625751A (zh) * 2021-08-05 2021-11-09 南京航空航天大学 面向空地一体联邦学习的无人机位置与资源联合优化方法
CN113642700A (zh) * 2021-07-05 2021-11-12 湖南师范大学 基于联邦学习和边缘计算的跨平台多模态舆情分析方法
US20210382978A1 (en) * 2019-04-30 2021-12-09 Lg Electronics Inc. Method for controlling intelligent electronic device and computer-readable medium including program code for performing the method
CN113791895A (zh) * 2021-08-20 2021-12-14 北京工业大学 基于联邦学习的边缘计算及资源优化方法
CN113900796A (zh) * 2021-09-02 2022-01-07 山东电力工程咨询院有限公司 5g网络中面向多任务联邦学习的资源分配方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210382978A1 (en) * 2019-04-30 2021-12-09 Lg Electronics Inc. Method for controlling intelligent electronic device and computer-readable medium including program code for performing the method
CN112764927A (zh) * 2021-01-21 2021-05-07 西安电子科技大学 一种车辆选择和资源联合优化方法、系统、介质及应用
CN112817653A (zh) * 2021-01-22 2021-05-18 西安交通大学 一种基于云边端的联邦学习计算卸载计算系统及方法
CN113221470A (zh) * 2021-06-10 2021-08-06 南方电网科学研究院有限责任公司 一种用于电网边缘计算系统的联邦学习方法及其相关装置
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113642700A (zh) * 2021-07-05 2021-11-12 湖南师范大学 基于联邦学习和边缘计算的跨平台多模态舆情分析方法
CN113625751A (zh) * 2021-08-05 2021-11-09 南京航空航天大学 面向空地一体联邦学习的无人机位置与资源联合优化方法
CN113610303A (zh) * 2021-08-09 2021-11-05 北京邮电大学 一种负荷预测方法及系统
CN113791895A (zh) * 2021-08-20 2021-12-14 北京工业大学 基于联邦学习的边缘计算及资源优化方法
CN113900796A (zh) * 2021-09-02 2022-01-07 山东电力工程咨询院有限公司 5g网络中面向多任务联邦学习的资源分配方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115987694A (zh) * 2023-03-20 2023-04-18 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、系统和装置
CN115987694B (zh) * 2023-03-20 2023-06-27 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、系统和装置

Also Published As

Publication number Publication date
CN114465900B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN111242282B (zh) 基于端边云协同的深度学习模型训练加速方法
Yu et al. Toward resource-efficient federated learning in mobile edge computing
CN113242568A (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN113469373B (zh) 基于联邦学习的模型训练方法、系统、设备及存储介质
CN107231255B (zh) 一种复杂系统的能控性对相继故障的鲁棒性建模方法
CN113556764B (zh) 一种基于移动边缘计算网络的计算速率确定方法及系统
CN116681126B (zh) 一种自适应等待时长的异步加权联邦学习方法
CN111695696A (zh) 一种基于联邦学习的模型训练的方法及装置
CN114465900B (zh) 基于联邦边缘学习的数据共享时延优化方法及装置
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
Issaid et al. Communication efficient distributed learning with censored, quantized, and generalized group ADMM
CN116366576A (zh) 算力网络资源调度方法、装置、设备及介质
CN113435125A (zh) 一种面向联邦物联网系统的模型训练加速方法与系统
CN116962176A (zh) 一种分布式集群的数据处理方法、装置、系统及存储介质
CN116347522A (zh) 云边协同下基于近似计算复用的任务卸载方法及装置
CN114205251B (zh) 基于时空特征的交换机链路资源预测方法
CN116384504A (zh) 联邦迁移学习系统
CN115115064A (zh) 一种半异步联邦学习方法及系统
CN114745386A (zh) 一种多用户边缘智能场景下的神经网络分割及卸载方法
Wu et al. Resource allocation in blockchain system based on mobile edge computing networks
Zhang et al. Transition of phase order in coupled map systems
CN113360203B (zh) 一种电力物联网的任务卸载方法及装置
Zhang et al. Resource-efficient Parallel Split Learning in Heterogeneous Edge Computing
CN116108933A (zh) 一种面向不稳定场景下联邦学习的方法和系统
CN117196067A (zh) 无中心分布式网络的模型加速训练方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned

Granted publication date: 20230321

Effective date of abandoning: 20231020

AV01 Patent right actively abandoned

Granted publication date: 20230321

Effective date of abandoning: 20231020

AV01 Patent right actively abandoned
AV01 Patent right actively abandoned