CN116187429A - 一种基于切分学习的端边云协同同步联邦学习训练算法 - Google Patents
一种基于切分学习的端边云协同同步联邦学习训练算法 Download PDFInfo
- Publication number
- CN116187429A CN116187429A CN202211606093.3A CN202211606093A CN116187429A CN 116187429 A CN116187429 A CN 116187429A CN 202211606093 A CN202211606093 A CN 202211606093A CN 116187429 A CN116187429 A CN 116187429A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- layer
- learning
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 109
- 230000011218 segmentation Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000002787 reinforcement Effects 0.000 claims abstract description 19
- 230000009471 action Effects 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000003795 chemical substances by application Substances 0.000 claims description 38
- 230000002776 aggregation Effects 0.000 claims description 35
- 238000004220 aggregation Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及训练算法技术领域，且公开了一种基于切分学习的端边云协同同步联邦学习训练算法，包括以下步骤：S1、定义六元组描述神经网络子模型，对基于切分学习的端边云协同同步联邦学习问题进行建模；S2、将模型分割和卸载问题建模为马尔科夫决策过程，并利用多智能体强化学习进行求解；S3、定义多智能体强化学习模型中的状态、动作和奖励函数，利用切分学习和端边云架构，对神经网络模型进行分割，解决了各个设备发送的模型参数无法同时到达服务器从而影响模型训练速度的问题。将神经网络模型分割为多个子模型，并卸载到合适的计算节点训练，可以解决用户设备计算资源不足的问题，降低训练时延。
Description
技术领域
本发明涉及训练算法技术领域，具体为一种基于切分学习的端边云协同同步联邦学习训练算法。
背景技术
联邦学习作为一种新兴的分布式学习范式，旨在提高模型性能，保护用户隐私。多个终端设备利用本地数据进行本地模型的训练，训练完成后将模型参数发送到服务器，服务器根据多个终端设备发送来的模型更新全局模型，并将更新后的模型分发给终端设备。在同步聚合中，服务器需要在接收到所有设备上传的模型参数后才能进行模型更新。然而在异构的网络中，设备间计算能力不同，网络通信状态不同，导致各个设备发送的模型参数无法同时到达服务器，影响模型训练速度。现有研究大多从异步聚合角度优化联邦学习算法。在异步分布式学习中，服务器在收集到少量本地模型后立即进行全局聚合，避免受到速度较慢设备的影响，然而异步聚合存在非独立同分布数据收敛、参数难调等问题。此外现有的联邦学习算法大多没有充分利用边缘计算服务器和云服务器的计算资源。
由于本地终端设备资源有限，将部分模型训练任务卸载到算力充足的计算节点可以降低计算完成时延，提升模型训练效率。云服务器具有充沛的计算资源，但向云服务器传输海量数据会消耗大量网络带宽，带来额外的时延。此外，物联网数据通常包含私人信息，将数据上传到云服务器会带来隐私泄露等安全性问题。因此，数据应该保存在本地设备上以保护用户隐私。通过在边缘节点部署计算资源，可以降低计算完成时延，缓解云服务器压力。切分学习可以将神经网络模型分割为多个子模型，这些子模型可以在不同计算节点训练，包括用户设备、边缘计算服务器和云服务器。每个节点仅训练部分模型，然后将子模型的输出传输给下一个节点，进行后续子模型的训练。
为此，本发明提出一种基于切分学习的端边云协同同步联邦学习训练算法。利用切分学习将模型分割为多个子模型，根据网络的计算和通信资源将不同子模型的训练任务卸载到合适的节点，使得分布式训练的多个模型参数可以同时到达聚合服务器，提高模型收敛速度。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于切分学习的端边云协同同步联邦学习训练算法，解决了上述背景技术中的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于切分学习的端边云协同同步联邦学习训练算法，包括以下步骤：
S1、定义六元组描述神经网络子模型，对基于切分学习的端边云协同同步联邦学习问题进行建模；
S2、将模型分割和卸载问题建模为马尔科夫决策过程，并利用多智能体强化学习进行求解；
S3、定义多智能体强化学习模型中的状态、动作和奖励函数；
S4、问题建模；
S5、基于多智能体深度强化学习的模型分割及卸载算法。
优选的，S4中令U＝{1,2,…,N}表示参与联邦学习模型训练的终端设备，L＝{l1,l2,…,lM}表示神经网络模型最小粒度子层，其中l1和lM分别表示模型的输入层和输出层，为保证用户数据隐私，模型的输入层必须部署在终端节点，对于任意子层li∈L的信息用六元组表示ξi＝{Ii,ωi,Pi,Oi,δi,φi}，其中Ii表示第i层的输入数据量，ωi表示第i层的计算密度，Pi表示第i层的参数量，Oi表示第i层的输出结果，δi表示第i层反向传播的计算密度，φi表示第i层反向传播的梯度数据量。
优选的，在联邦学习训练过程中，当终端设备计算资源不足时，可将除输入层外其他子层卸载到边缘服务器和云服务器训练，云服务器负责模型参数的聚合及更新，模型训练分为前向传播和反向传播两个阶段，模型训练时延包含计算时延和传输时延两部分，其中计算时延
主要由本地计算时延、边缘计算时延和云计算时延三部分组成，定义为：
其中，fD、fE和fC分别表示终端、边缘服务器和云服务器分配给模型训练任务的计算资源，a1、a2分别表示模型在端-边和边-云的切分点，即，第1层到第a1层在终端训练，第a1+1层到第a2层在边缘服务器训练，第a2+1层到第M层在云服务器训练。
优选的，模型训练过程中的传输时延
由端-边时延和边-云时延两部分组成，定义为：
其中，
和/>
分别为第a1和a2层的输出数据量，rDE和rEC分别为端-边和边-云链路的传输速率；
在神经网络模型前向传播后，模型训练需要进行反向传播，求出一个梯度值，从而用梯度下降去更新模型参数，模型反向传播训练时延包含计算时延和传输时延两部分，其中计算时延
由本地计算时延、边缘计算时延和云计算时延三部分组成，定义为：
其中，fD、fE和fC分别表示终端、边缘服务器和云服务器分配给模型训练任务的计算资源，δi表示第i层反向传播的计算密度，Pi表示第i层的参数量；
模型反向传播训练过程中的传输时延
由边-端时延和云-边时延两部分组成：/>
其中，
和/>
分别为第a1+1和第a2+1层的梯度数据量，rED和rCE分别为边-端和云-边链路的传输速率；
当一轮训练完成后，各个终端设备需要将本地模型上传到云服务器，由云服务器进行聚合，聚合更新后，云服务器将新的模型下发给各个终端，开始新一轮的训练。
优选的，由于利用切分学习将模型分割为多个子层，并将部分子层卸载到边缘服务器和云服务器训练，因此，卸载到其他节点的子层参数由处理节点负责上传，终端只上传本地训练的部分模型，上传模型时延Tup由终端上传时延
和边缘服务器/>
上传时延组成：
其中，Pi为第i层的参数量大小；
因此，终端j完成一轮训练及聚合的总时延为Tj为：
为保证同步聚合的同时性，减少云服务器收到来自各个终端发送的模型的时间差，本发明的优化目标为最小化各终端聚合时延的方差，表示模型训练的同步程度，数值越小，同步性越高，即：
C2:a1≥1,M≥a2≥a1,#(8)
其中约束条件C1表示分配给计算任务的计算资源不得超过处理节点的可用计算资源，约束条件C2表示输入层必须在终端处理，且子层卸载需满足模型层次顺序关系。
优选的，S5中将基于切分学习的模型分割及卸载问题建模为马尔科夫决策过程，并利用多智能体深度强化学习进行求解，为每条设备所在链路部署一个智能体，智能体根据网络资源和任务信息进行模型分割及卸载决策，以保证联邦学习同步聚合的同步性，多智能体深度强化学习模型中状态、动作和奖励定义如下：
定义一：将智能体状态S(t)定义为网络资源与任务状态信息：
S(t)＝{F,R,ξ1,ξ2,…,ξM}#(9)
其中，
·F为N×3矩阵，表示网络的计算资源，其中第j行表示链路j上端、边和云的可用计算资源；
·R为N×4矩阵，表示网络的通信资源，其中第j行表示链路j上端-边、边-端、边-云和云-边的可用通信资源；
·ξ1,ξ2,…,ξM表示模型各个子层的任务信息。
优选的，定义二：智能体根据网络资源和任务信息进行模型分割和卸载决策，将模型子层卸载到端、边或云处理，采用1×2二进制向量表示卸载决策，每个智能体的动作a(t)定义为：
a(t)＝{a1,a2},ai∈{1,…,L}#(10)
其中，a1表示第一个分割节点，即第1,2,…,a1层在终端训练；a2表示第二个分割节点，即第a1+1,a1+2…,a2层在边缘服务器训练，第a2+1,a2+2…,a3层在云服务器训练，若a1＝0表示没有子层卸载到边缘服务器训练，同理，若a2＝0则表示没有子层卸载到云服务器训练。
优选的，当智能体执行动作a(t)后，接收到即时奖励，为了实现联邦学习同步聚合的实时性，将智能体的全局奖励r(t)定义为多个终端聚合时延的方差的负值，即：
其中，N表示参与模型训练的终端数量，Tj表示终端j训练及上传模型的总时延。
与现有技术相比，本发明提供了一种基于切分学习的端边云协同同步联邦学习训练算法，具备以下有益效果：
1、本发明中：该基于切分学习的端边云协同同步联邦学习训练算法，首先，对子模型训练任务进行建模，利用六元组描述神经网络子模型特征，定义各终端模型训练及聚合总时延；然后，以最小化各终端聚合时延方差为优化目标，将模型分割和卸载问题建模为马尔科夫决策过程，并利用多智能体强化学习进行求解；最后定义多智能体深度强化学习模型中的状态、动作和奖励函数，与现有技术相比，本发明提出一种端边云协同的同步式联邦学习训练算法，利用切分学习和端边云架构，对神经网络模型进行分割，解决了各个设备发送的模型参数无法同时到达服务器从而影响模型训练速度的问题。将神经网络模型分割为多个子模型，并卸载到合适的计算节点训练，可以解决用户设备计算资源不足的问题，降低训练时延；将奖励函数定义为多个本地模型的聚合时延方差，可以保证联邦学习同步聚合的同步性，提高训练性能和模型收敛速度。
具体实施方式
一种基于切分学习的端边云协同同步联邦学习训练算法，包括以下步骤：
S1、定义六元组描述神经网络子模型，对基于切分学习的端边云协同同步联邦学习问题进行建模；
S2、将模型分割和卸载问题建模为马尔科夫决策过程，并利用多智能体强化学习进行求解；
S3、定义多智能体强化学习模型中的状态、动作和奖励函数；
S4、问题建模；
S5、基于多智能体深度强化学习的模型分割及卸载算法；
S4中令U＝{1,2,…,N}表示参与联邦学习模型训练的终端设备，L＝{l1,l2,…,lM}表示神经网络模型最小粒度子层，其中l1和lM分别表示模型的输入层和输出层，为保证用户数据隐私，模型的输入层必须部署在终端节点，对于任意子层li∈L的信息用六元组表示ξi＝{Ii,ωi,Pi,Oi,δi,φi}，其中Ii表示第i层的输入数据量，ωi表示第i层的计算密度，Pi表示第i层的参数量，Oi表示第i层的输出结果，δi表示第i层反向传播的计算密度，φi表示第i层反向传播的梯度数据量；
在联邦学习训练过程中，当终端设备计算资源不足时，可将除输入层外其他子层卸载到边缘服务器和云服务器训练，云服务器负责模型参数的聚合及更新，模型训练分为前向传播和反向传播两个阶段，模型训练时延包含计算时延和传输时延两部分，其中计算时延
主要由本地计算时延、边缘计算时延和云计算时延三部分组成，定义为：
其中，fD、fE和fC分别表示终端、边缘服务器和云服务器分配给模型训练任务的计算资源，a1、a2分别表示模型在端-边和边-云的切分点，即，第1层到第a1层在终端训练，第a1+1层到第a2层在边缘服务器训练，第a2+1层到第M层在云服务器训练；
模型训练过程中的传输时延
由端-边时延和边-云时延两部分组成，定义为：
其中，
和/>
分别为第a1和a2层的输出数据量，rDE和rEC分别为端-边和边-云链路的传输速率；
在神经网络模型前向传播后，模型训练需要进行反向传播，求出一个梯度值，从而用梯度下降去更新模型参数，模型反向传播训练时延包含计算时延和传输时延两部分，其中计算时延
由本地计算时延、边缘计算时延和云计算时延三部分组成，定义为：
其中，fD、fE和fC分别表示终端、边缘服务器和云服务器分配给模型训练任务的计算资源，δi表示第i层反向传播的计算密度，Pi表示第i层的参数量；
模型反向传播训练过程中的传输时延
由边-端时延和云-边时延两部分组成：
其中，
和/>
分别为第a1+1和第a2+1层的梯度数据量，rED和rCE分别为边-端和云-边链路的传输速率；
当一轮训练完成后，各个终端设备需要将本地模型上传到云服务器，由云服务器进行聚合，聚合更新后，云服务器将新的模型下发给各个终端，开始新一轮的训练；
由于利用切分学习将模型分割为多个子层，并将部分子层卸载到边缘服务器和云服务器训练，因此，卸载到其他节点的子层参数由处理节点负责上传，终端只上传本地训练的部分模型，上传模型时延Tup由终端上传时延
和边缘服务器/>
上传时延组成：
其中，Pi为第i层的参数量大小；
因此，终端j完成一轮训练及聚合的总时延为Tj为：
为保证同步聚合的同时性，减少云服务器收到来自各个终端发送的模型的时间差，本发明的优化目标为最小化各终端聚合时延的方差，表示模型训练的同步程度，数值越小，同步性越高，即：
C2:a1≥1,M≥a2≥a1,#(8)
其中约束条件C1表示分配给计算任务的计算资源不得超过处理节点的可用计算资源，约束条件C2表示输入层必须在终端处理，且子层卸载需满足模型层次顺序关系；
S5中将基于切分学习的模型分割及卸载问题建模为马尔科夫决策过程，并利用多智能体深度强化学习进行求解，为每条设备所在链路部署一个智能体，智能体根据网络资源和任务信息进行模型分割及卸载决策，以保证联邦学习同步聚合的同步性，多智能体深度强化学习模型中状态、动作和奖励定义如下：
定义一：将智能体状态S(t)定义为网络资源与任务状态信息：
S(t)＝{F,R,ξ1,ξ2,…,ξM}#(9)
其中，
·F为N×3矩阵，表示网络的计算资源，其中第j行表示链路j上端、边和云的可用计算资源；
·R为N×4矩阵，表示网络的通信资源，其中第j行表示链路j上端-边、边-端、边-云和云-边的可用通信资源；
·ξ1,ξ2,…,ξM表示模型各个子层的任务信息；
定义二：智能体根据网络资源和任务信息进行模型分割和卸载决策，将模型子层卸载到端、边或云处理，采用1×2二进制向量表示卸载决策，每个智能体的动作a(t)定义为：
a(t)＝{a1,a2},ai∈{1,…,L}#(10)
其中，a1表示第一个分割节点，即第1,2,…,a1层在终端训练；a2表示第二个分割节点，即第a1+1,a1+2…,a2层在边缘服务器训练,第a2+1,a2+2…,a3层在云服务器训练，若a1＝0表示没有子层卸载到边缘服务器训练，同理，若a2＝0则表示没有子层卸载到云服务器训练；
当智能体执行动作a(t)后，接收到即时奖励，为了实现联邦学习同步聚合的实时性，将智能体的全局奖励r(t)定义为多个终端聚合时延的方差的负值，即：
其中，N表示参与模型训练的终端数量，Tj表示终端j训练及上传模型的总时延。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于切分学习的端边云协同同步联邦学习训练算法，包括以下步骤：
S1、定义六元组描述神经网络子模型，对基于切分学习的端边云协同同步联邦学习问题进行建模；
S2、将模型分割和卸载问题建模为马尔科夫决策过程，并利用多智能体强化学习进行求解；
S3、定义多智能体强化学习模型中的状态、动作和奖励函数；
S4、问题建模；
S5、基于多智能体深度强化学习的模型分割及卸载算法。
2.根据权利要求1所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：S4中令U＝{1,2,…,N}表示参与联邦学习模型训练的终端设备，L＝{l1,l2,…,lM}表示神经网络模型最小粒度子层，其中l1和lM分别表示模型的输入层和输出层，为保证用户数据隐私，模型的输入层必须部署在终端节点，对于任意子层li∈L的信息用六元组表示ξi＝{Ii,ωi,Pi,Oi,δi,φi}，其中Ii表示第i层的输入数据量，ωi表示第i层的计算密度，Pi表示第i层的参数量，Oi表示第i层的输出结果，δi表示第i层反向传播的计算密度，φi表示第i层反向传播的梯度数据量。
3.根据权利要求2所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：在联邦学习训练过程中，当终端设备计算资源不足时，可将除输入层外其他子层卸载到边缘服务器和云服务器训练，云服务器负责模型参数的聚合及更新，模型训练分为前向传播和反向传播两个阶段，模型训练时延包含计算时延和传输时延两部分，其中计算时延
主要由本地计算时延、边缘计算时延和云计算时延三部分组成，定义为：
其中，fD、fE和fC分别表示终端、边缘服务器和云服务器分配给模型训练任务的计算资源，a1、a2分别表示模型在端-边和边-云的切分点，即，第1层到第a1层在终端训练，第a1+1层到第a2层在边缘服务器训练，第a2+1层到第M层在云服务器训练。
4.根据权利要求3所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：模型训练过程中的传输时延
由端-边时延和边-云时延两部分组成，定义为：
其中，
和/>
分别为第a1和a2层的输出数据量，rDE和rEC分别为端-边和边-云链路的传输速率；
在神经网络模型前向传播后，模型训练需要进行反向传播，求出一个梯度值，从而用梯度下降去更新模型参数，模型反向传播训练时延包含计算时延和传输时延两部分，其中计算时延
由本地计算时延、边缘计算时延和云计算时延三部分组成，定义为：/>
其中，fD、fE和fC分别表示终端、边缘服务器和云服务器分配给模型训练任务的计算资源，δi表示第i层反向传播的计算密度，Pi表示第i层的参数量；
模型反向传播训练过程中的传输时延
由边-端时延和云-边时延两部分组成：
其中，
和/>
分别为第a1+1和第a2+1层的梯度数据量，rED和rCE分别为边-端和云-边链路的传输速率；
当一轮训练完成后，各个终端设备需要将本地模型上传到云服务器，由云服务器进行聚合，聚合更新后，云服务器将新的模型下发给各个终端，开始新一轮的训练。
5.根据权利要求4所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：由于利用切分学习将模型分割为多个子层，并将部分子层卸载到边缘服务器和云服务器训练，因此，卸载到其他节点的子层参数由处理节点负责上传，终端只上传本地训练的部分模型，上传模型时延Tup由终端上传时延
和边缘服务器/>
上传时延组成：
其中，Pi为第i层的参数量大小；
因此，终端j完成一轮训练及聚合的总时延为Tj为：
为保证同步聚合的同时性，减少云服务器收到来自各个终端发送的模型的时间差，本发明的优化目标为最小化各终端聚合时延的方差，表示模型训练的同步程度，数值越小，同步性越高，即：
C2:a1≥1,M≥a2≥a1,#(8)
其中约束条件C1表示分配给计算任务的计算资源不得超过处理节点的可用计算资源，约束条件C2表示输入层必须在终端处理，且子层卸载需满足模型层次顺序关系。
6.根据权利要求1所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：S5中将基于切分学习的模型分割及卸载问题建模为马尔科夫决策过程，并利用多智能体深度强化学习进行求解，为每条设备所在链路部署一个智能体，智能体根据网络资源和任务信息进行模型分割及卸载决策，以保证联邦学习同步聚合的同步性，多智能体深度强化学习模型中状态、动作和奖励定义如下：
定义一：将智能体状态S(t)定义为网络资源与任务状态信息：
S(t)＝{F,R,ξ1,ξ2,…,ξM}#(9)
其中，
·F为N×3矩阵，表示网络的计算资源，其中第j行表示链路j上端、边和云的可用计算资源；
·R为N×4矩阵，表示网络的通信资源，其中第j行表示链路j上端-边、边-端、边-云和云-边的可用通信资源；
·ξ1,ξ2,…,ξM表示模型各个子层的任务信息。
7.根据权利要求6所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：定义二：智能体根据网络资源和任务信息进行模型分割和卸载决策，将模型子层卸载到端、边或云处理，采用1×2二进制向量表示卸载决策，每个智能体的动作a(t)定义为：
a(t)＝{a1,a2},ai∈{1,…,L}#(10)
其中，a1表示第一个分割节点，即第1,2,…,a1层在终端训练；a2表示第二个分割节点，即第a1+1,a1+2…,a2层在边缘服务器训练；第a2+1,a2+2…,M层在云服务器训练，若a1＝0表示没有子层卸载到边缘服务器训练，同理，若a2＝0则表示没有子层卸载到云服务器训练。
8.根据权利要求6所述的一种基于切分学习的端边云协同同步联邦学习训练算法，其特征在于：当智能体执行动作a(t)后，接收到即时奖励，为了实现联邦学习同步聚合的实时性，将智能体的全局奖励r(t)定义为多个终端聚合时延的方差的负值，即：
其中，N表示参与模型训练的终端数量，Tj表示终端j训练及上传模型的总时延。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211606093.3A CN116187429A (zh) | 2022-12-14 | 2022-12-14 | 一种基于切分学习的端边云协同同步联邦学习训练算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211606093.3A CN116187429A (zh) | 2022-12-14 | 2022-12-14 | 一种基于切分学习的端边云协同同步联邦学习训练算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116187429A true CN116187429A (zh) | 2023-05-30 |
Family
ID=86439282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211606093.3A Pending CN116187429A (zh) | 2022-12-14 | 2022-12-14 | 一种基于切分学习的端边云协同同步联邦学习训练算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116187429A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116451777A (zh) * | 2023-06-19 | 2023-07-18 | 广东电网有限责任公司佛山供电局 | 针对异构计算平台的神经网络异步训练方法、装置及设备 |
| CN116562399A (zh) * | 2023-07-10 | 2023-08-08 | 支付宝(杭州)信息技术有限公司 | 端边云协同的模型训练方法及装置 |
| CN116894469A (zh) * | 2023-09-11 | 2023-10-17 | 西南林业大学 | 端边云计算环境中的dnn协同推理加速方法、设备及介质 |
-
2022
- 2022-12-14 CN CN202211606093.3A patent/CN116187429A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116451777A (zh) * | 2023-06-19 | 2023-07-18 | 广东电网有限责任公司佛山供电局 | 针对异构计算平台的神经网络异步训练方法、装置及设备 |
| CN116451777B (zh) * | 2023-06-19 | 2023-09-26 | 广东电网有限责任公司佛山供电局 | 针对异构计算平台的神经网络异步训练方法、装置及设备 |
| CN116562399A (zh) * | 2023-07-10 | 2023-08-08 | 支付宝(杭州)信息技术有限公司 | 端边云协同的模型训练方法及装置 |
| CN116894469A (zh) * | 2023-09-11 | 2023-10-17 | 西南林业大学 | 端边云计算环境中的dnn协同推理加速方法、设备及介质 |
| CN116894469B (zh) * | 2023-09-11 | 2023-12-15 | 西南林业大学 | 端边云计算环境中的dnn协同推理加速方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116187429A (zh) | 一种基于切分学习的端边云协同同步联邦学习训练算法 | |
| CN110347500B (zh) | 用于边缘计算环境中面向深度学习应用的任务卸载方法 | |
| CN111242282B (zh) | 基于端边云协同的深度学习模型训练加速方法 | |
| CN112817653A (zh) | 一种基于云边端的联邦学习计算卸载计算系统及方法 | |
| CN111160525B (zh) | 一种边缘计算环境下基于无人机群的任务卸载智能决策方法 | |
| CN113010305A (zh) | 部署在边缘计算网络中的联邦学习系统及其学习方法 | |
| CN113543176A (zh) | 基于智能反射面辅助的移动边缘计算系统的卸载决策方法 | |
| CN113537514A (zh) | 一种高能效的基于数字孪生的联邦学习框架 | |
| WO2024032121A1 (zh) | 一种基于云边端协同的深度学习模型推理加速方法 | |
| WO2021036414A1 (zh) | 一种低轨移动卫星星座下星地下行链路同频干扰预测方法 | |
| CN114125708B (zh) | 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法 | |
| CN115277689B (zh) | 一种基于分布式联邦学习的云边网络通信优化方法及系统 | |
| CN112650581A (zh) | 一种面向智能楼宇的云边协同任务调度方法 | |
| CN116489708B (zh) | 面向元宇宙的云边端协同的移动边缘计算任务卸载方法 | |
| CN113238867A (zh) | 一种基于网络卸载的联邦学习方法 | |
| Xu et al. | Living with artificial intelligence: A paradigm shift toward future network traffic control | |
| Wang et al. | Eidls: An edge-intelligence-based distributed learning system over internet of things | |
| CN114828018A (zh) | 一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法 | |
| Zhu et al. | Dynamic task offloading in power grid internet of things: A fast-convergent federated learning approach | |
| CN115756873B (zh) | 一种基于联邦强化学习的移动边缘计算卸载方法和平台 | |
| CN115329989B (zh) | 边缘计算场景下基于模型分割的同步联邦学习加速方法 | |
| CN116362327A (zh) | 一种模型训练方法、系统及电子设备 | |
| CN115150288B (zh) | 一种分布式通信系统和方法 | |
| CN116204319A (zh) | 基于sac算法与任务依赖关系的云边端协同卸载方法及系统 | |
| CN116112488A (zh) | 一种面向mec网络的细粒度任务卸载及资源分配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |