CN115329990A - 边缘计算场景下基于模型分割的异步联邦学习加速方法 - Google Patents

Abstract

本发明公开了边缘计算场景下基于模型分割的异步联邦学习加速方法，涉及联邦学习和边缘计算的技术领域，异步联邦学习中，某边缘设备执行某次迭代时，会选择一个分割点对模型进行分割，该边缘设备计算模型的前半部分，并将模型的后半部分计算任务卸载到边缘服务器上，利用边缘服务器计算模型的后半部分；对异步联邦学习每次迭代所对应的边缘设备的分割点进行动态调整，并且在调整分割点时，还考虑了带宽分配比和卸载任务在边缘服务器上的等待时间，本发明平衡各边缘设备进行本地模型训练的进度差异，在保证全局模型准确率的情况下实现训练加速，使得异步联邦学习的模型训练完成总时间最小化。

Description

边缘计算场景下基于模型分割的异步联邦学习加速方法

技术领域

本发明涉及联邦学习和边缘计算的技术领域，尤其是边缘计算场景下基于模型分割的异步联邦学习加速方法。

背景技术

边缘计算（EC）指的是将数据的处理转移到更加靠近的网络边缘端，提高数据处理的效率。联邦学习（FL）是一种适用于EC的分布式机器学习方式，每个参与者（边缘设备）使用自身的本地数据共同训练一个神经网络模型，其详细工作步骤如下：1、每个参与者用自身数据在本地训练模型；2、每个参与者将本地训练后的模型参数上传到参数服务器，参数服务器进行模型参数聚合，进行全局参数更新获得全局模型。上述过程会被迭代多次直到被训练的模型达到期望的准确率。联邦学习（FL）有两种不同的迭代方式，同步迭代方式和异步迭代方式，其中，异步迭代方式指的是：各参与者完成本地模型训练后可以不等待其他参与者直接就在参数服务器更新全局参数获得全局模型。

边缘计算场景下的异步联邦学习中，由于参与者异构，各边缘设备的本地模型训练进度差异会比较大，从而影响全局模型的准确率与训练完成时间。

发明内容

为了克服上述现有技术中的缺陷，本发明提供边缘计算场景下基于模型分割的异步联邦学习加速方法，利用边缘服务器分担各边缘设备的部分模型训练工作，动态调整边缘设备的模型分割点，平衡各边缘设备进行本地模型训练的进度差异，在保证全局模型准确率的情况下实现训练加速。

为实现上述目的，本发明采用以下技术方案，包括：

边缘计算场景下基于模型分割的异步联邦学习加速方法，采用n个边缘设备和1个边缘服务器进行异步联邦学习；

异步联邦学习中，某边缘设备执行某次迭代时，会选择一个分割点对模型进行分割，该边缘设备计算模型的前半部分，并将模型的后半部分计算任务卸载到边缘服务器上，利用边缘服务器计算模型的后半部分；

对异步联邦学习每次迭代所对应的边缘设备的分割点进行动态调整，使得异步联邦学习的模型训练完成总时间最小化。

优选的，异步联邦学习每次迭代所对应的边缘设备的分割点选择方法，具体如下所示：

S1，分别为每个边缘设备筛选出c个备选分割点；

S2，根据每个边缘设备的c个备选分割点，构建分割点的分配集合，分配集合中的每个元素均为一个分割点序列即(w1,w2,...wn)，其中，w1为第一个边缘设备的分割点，w2为第2个边缘设备的分割点，wn为第n个边缘设备的分割点；

S3，分别为每个边缘设备选择一个初始分割点：

针对分配集合中的每个分割点序列，分别计算各个边缘设备的通信时间以及确定各个边缘设备的通信时间段，比较各个边缘设备的通信时间段，确定通信时间段发生重叠的边缘设备数量；

选择通信时间段发生重叠的边缘设备数量为最小的分割点序列作为初始分割点序列；初始分割点序列中的各个边缘设备的分割点即为初始分割点；

S4，各个边缘设备基于初始分割点，开始进行异步联邦学习的模型迭代训练；

S5，某边缘设备执行完成一次迭代训练后，再次执行迭代训练时，从该边缘设备的c个备选分割点中重新选择一个备选分割点，作为该边缘设备再次执行迭代训练的分割点，选择方式为：

遍历c个备选分割点中的每一个备选分割点，分别计算该边缘设备在各个备选分割点下的通信时间段，比较该边缘设备在备选分割点下的通信时间段与其他边缘设备的通信时间段，确定通信时间段发生重叠的边缘设备数量；

选择通信时间段发生重叠的边缘设备数量为最小的备选分割点，作为该边缘设备再次执行迭代训练的分割点。

S6，按照步骤S5的方式继续进行异步联邦学习的模型迭代训练，直至达到异步联邦学习的总迭代次数J。

优选的，步骤S1的筛选方式为：

针对某边缘设备，遍历模型的每一层分别作为该边缘设备的分割点，分别计算该边缘设备在每个分割点下进行一次迭代的计算和数据上传所需的基础时间，选取c个较小的基础时间所对应的分割点，作为该边缘设备的c个备选分割点。

优选的，针对第i个边缘设备di，遍历模型的每一层分别作为边缘设备di的分割点，分别计算边缘设备di在每个分割点下进行一次迭代的计算和数据上传所需的基础时间Tdi1，选取c个较小的基础时间Tdi1所对应的分割点，作为该边缘设备的c个备选分割点；

边缘设备di在分割点wi下进行一次迭代的计算和数据上传所需的基础时间Tdi1为：

其中，i表示边缘设备的编号，共有n个边缘设备；r表示模型层数的编号，模型共有v层；td(r)为模型第r层在边缘设备di上的计算时间，ts(r)为模型第r层在边缘服务器s上的计算时间；wi为边缘设备的分割点，即模型在第wi层被分割，边缘设备di计算模型的前wi层，边缘服务器计算模型的后v-wi层；Gr为模型第r层的输出数据量；Pr为模型第r层的参数数据量；B为边缘设备与边缘服务器间的带宽。

优选的，步骤S3中，针对第i个边缘设备di，边缘设备di的通信时间tupi即数据上传时间为：

其中，Gr为模型第r层的输出数据量；B为边缘设备与边缘服务器间的带宽；wi为边缘设备的分割点，即模型在第wi层被分割，边缘设备di计算模型的前wi层，边缘服务器计算模型的后v-wi层；

βi为边缘设备di的带宽分配比；若同一时间内存在多个边缘设备与边缘服务器发生通信即进行数据传输，则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分配，各个边缘设备的带宽分配比即为各个边缘设备所传输的数据量大小比例：若同一时间内仅存在一个边缘设备与边缘服务器发生通信，则该边缘设备的带宽分配比即为1；

边缘设备di的通信时间段为：

其中，td(r)为模型第r层在边缘设备di上的计算时间。

优选的，步骤S5中，第i个边缘设备di执行完一次迭代训练后，再次执行迭代训练时且为执行异步联邦学习第j次迭代时，在分割点wij下的模型训练时间Tdi(j)为：

其中，i表示边缘设备的编号，共有n个边缘设备；r表示模型层数的编号，模型一共有v层；j表示异步联邦学习的迭代次数，异步联邦学习的总迭代次数为J；td(r)为模型第r层在边缘设备di上的计算时间，ts(r)为模型第r层在边缘服务器s上的计算时间；wij为边缘设备di执行第j次迭代训练时的模型分割点，即模型在第wij层被分割，边缘设备di计算模型的前wij层，边缘服务器计算模型的后v-wij层；

tupi为边缘设备di的数据上传时间即通信时间，即边缘设备di将数据上传至边缘服务器所需的时间，tupi的表达式为：

其中，Gr为模型第r层的输出数据量；B为边缘设备与边缘服务器间的带宽；

βi为边缘设备di的带宽分配比；若同一时间内存在多个边缘设备与边缘服务器发生通信即进行数据传输，则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分配，各个边缘设备的带宽分配比即为各个边缘设备所传输的数据量大小比例：若同一时间内仅存在一个边缘设备与边缘服务器发生通信，则该边缘设备的带宽分配比即为1；

Pr为模型第r层的参数数据量；q(j)的取值为0或1，若迭代次数j到达模型参数聚合的次数，则q(j)=1；若迭代次数j未到达模型参数聚合的次数，则q(j)=0；

为边缘设备di的模型参数上传时间；

twait(Mij)为边缘设备di执行第j次迭代时的卸载任务在边缘服务器上的等待时间，twait(Mij)的表达式为：

其中，Mij表示第i个边缘设备di执行第j次迭代时的卸载任务，即模型的后v-wi层计算任务；Mi’j’表示第i’个边缘设备di’执行第j’次迭代时的卸载任务；AT(Mij)表示卸载任务Mij到达边缘服务器的时间；ts(Mi’j’)表示卸载任务Mi’j’在边缘服务器上的计算时间；twait(Mi’j’)表示卸载任务Mi’j’在边缘服务器上的等待时间；

Z(Mi’j’)为0或1的变量，若卸载任务Mi’j’为边缘服务器的等待队列中排在卸载任务Mij前的一个卸载任务，则Z(Mi’j’)=1；否则，Z(Mi’j’)=0。

优选的，根据异步联邦学习每次迭代的模型训练时间，得到异步联邦学习的模型训练完成总时间total为：

其中，J表示异步联邦学习的总迭代次数。

本发明的优点在于：

（1）本发明将异步联邦学习、边缘计算、模型分割相结合，边缘计算场景下，由于边缘设备的计算能力小于边缘服务器，因此本发明利用计算能力较强的边缘服务器承担边缘设备的部分模型训练工作，并且动态调整边缘设备的模型分割点，平衡各边缘设备进行本地模型训练的进度差异，在保证全局模型准确率的情况下实现训练加速，使得异步联邦学习的模型训练完成总时间最小化。

（2）动态调整边缘设备的模型分割点时，选择通信时间段发生重叠的边缘设备数量为最小的分割点，即重叠任务数量最少的分割点，重叠任务少，任务的带宽分配比高，可以减少通信时间，从而实现训练加速。

（3）本发明在确定每个边缘设备的模型分割点时，由于解的数量较多，每一层都有可能作为每个边缘设备的分割点，但是模型不同层的参数数据量、计算量、中间数据量等相关参数不同，每个边缘设备的计算能力也不同，并不是每一个层都适合作为分割点，因此首先根据每个边缘设备的计算能力、边缘设备与边缘服务器间的带宽情况以及神经网络模型的自身结构特征，分别为每个边缘设备筛选出若干个备选分割点，从而减少解空间的大小。

（4）由于本系统为单边缘服务器多边缘设备场景，多个边缘设备同时与边缘服务器通信时将产生带宽分配，且边缘服务器一次仅处理一个边缘设备的卸载任务，因此边缘服务器上存在一个等待队列，本发明根据当前网络的状况分配带宽资源，在确定每个边缘设备的模型分割点时，还考虑了带宽分配比和卸载任务在边缘服务器上的等待时间，设计出边缘设备执行某次迭代时相对应的模型训练时间计算方法，以便于快速且精准的确定每次迭代时边缘设备的模型分割点以及带宽分配比。

（5）模型分割技术不仅能够加速模型训练，同时还能够保护数据隐私，采用模型分割技术，边缘设备无需将本地训练数据上传至边缘服务器，从而有效地保障了本地数据的隐私性。

附图说明

图1为模型分割点的动态调整方法流程图。

图2为本发明方法与现有技术方法的模型训练完成总时间对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

边缘计算场景下，边缘设备的计算能力总是小于边缘服务器的，因此可以由计算能力较强的边缘服务器承担边缘设备的部分模型训练工作。本发明针对多边缘设备单边缘服务器场景，假设存在n个边缘设备和1个边缘服务器。其中，边缘设备用d表示，di表示第i个边缘设备，i=1,2...n。同时，模型共有v层，每一层都有可能作为分割点。

通过实验拟合的手段得到神经网络模型的训练准确率ε与迭代次数J的关系表达式ε=f(J)。异步联邦学习中，某边缘设备执行某次迭代时，会选择一个分割点对模型进行分割，该边缘设备计算模型的前半部分，并将模型的后半部分计算任务卸载到边缘服务器上，利用边缘服务器计算模型的后半部分。该边缘设备完成本次迭代的本地模型训练后，将本地训练后的模型参数上传到参数服务器，参数服务器根据本次迭代后的模型参数进行全局参数更新获得全局模型。由于本发明中，用于计算模型后半部分的边缘服务器同样作为参数服务器执行全局参数更新的工作，因此在模型参数上传时，仅需将边缘设备计算的前半部分模型参数上传至参数服务器即该边缘服务器。

本发明对异步联邦学习每次迭代所对应的边缘设备的分割点进行动态调整，平衡各边缘设备进行本地模型训练的进度差异，在保证全局模型准确率的情况下实现训练加速，使得异步联邦学习的模型训练完成总时间最小化。

由图1所示，异步联邦学习每次迭代所对应的边缘设备的分割点动态调整方法，具体如下所示：

S1，根据每个边缘设备的计算能力、边缘设备与边缘服务器间的带宽情况以及神经网络模型的自身结构特征，分别为每个边缘设备筛选出c个备选分割点。筛选方式为：

针对某边缘设备，遍历模型的每一层分别作为该边缘设备的分割点，分别计算该边缘设备在每个分割点下进行一次迭代的计算和数据上传所需的基础时间，选取c个较小的基础时间所对应的分割点，作为该边缘设备的c个备选分割点。

其中，针对第i个边缘设备di，遍历模型的每一层分别作为边缘设备di的分割点，分别计算边缘设备di在每个分割点下进行一次迭代的计算和数据上传所需的基础时间Tdi1，选取c个较小的基础时间Tdi1所对应的分割点，作为该边缘设备的c个备选分割点；

边缘设备di在分割点wi下进行一次迭代的计算和数据上传所需的基础时间Tdi1为：

其中，i表示边缘设备的编号，共有n个边缘设备；r表示模型层数的编号，模型一共有v层；td(r)为模型第r层在边缘设备di上的计算时间，ts(r)为模型第r层在边缘服务器s上的计算时间；wi为边缘设备的分割点，即模型在第wi层被分割，边缘设备di计算模型的前wi层，边缘服务器计算模型的后v-wi层；Gr为模型第r层的输出数据量；Pr为模型第r层的参数数据量；B为边缘设备与边缘服务器间的带宽；

S2，根据每个边缘设备的c个备选分割点，构建分割点的分配集合，分配集合中的每个元素均为一个分割点序列即(w1,w2,...wn)，其中，w1为第一个边缘设备的分割点，w2为第2个边缘设备的分割点，wn为第n个边缘设备的分割点。

S3，分别为每个边缘设备选择一个初始分割点，选择方式为：

针对分配集合中的每个分割点序列，分别计算各个边缘设备的通信时间以及确定各个边缘设备的通信时间段，比较各个边缘设备的通信时间段，确定通信时间段发生重叠的边缘设备数量；

选择通信时间段发生重叠的边缘设备数量为最小的分割点序列作为初始分割点序列；初始分割点序列中的各个边缘设备的分割点即为初始分割点。

其中，针对第i个边缘设备di，边缘设备di的通信时间tupi即数据上传时间为：

其中，Gr为模型第r层的输出数据量；B为边缘设备与边缘服务器间的带宽；wi为边缘设备的分割点，即模型在第wi层被分割，边缘设备di计算模型的前wi层，边缘服务器计算模型的后v-wi层;

βi为边缘设备di的带宽分配比；若同一时间内存在多个边缘设备与边缘服务器发生通信即进行数据传输，则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分配，各个边缘设备的带宽分配比即为各个边缘设备所传输的数据量大小比例：若同一时间内仅存在一个边缘设备与边缘服务器发生通信，则该边缘设备的带宽分配比即为1；

边缘设备di的通信时间段为：

其中，td(r)为模型第r层在边缘设备di上的计算时间。

S4，各个边缘设备基于初始分割点，开始进行异步联邦学习的模型迭代训练。

S5，某边缘设备执行完成一次迭代训练后，再次执行迭代训练时，从该边缘设备的c个备选分割点中重新选择一个备选分割点，作为该边缘设备再次执行迭代训练的分割点，选择方式为：

遍历c个备选分割点中的每一个备选分割点，分别计算该边缘设备在各个备选分割点下的通信时间段，比较该边缘设备在备选分割点下的通信时间段与其他边缘设备的通信时间段，确定通信时间段发生重叠的边缘设备数量；选择通信时间段发生重叠的边缘设备数量为最小的备选分割点，作为该边缘设备再次执行迭代训练的分割点。

其中，第i个边缘设备di执行完一次迭代训练后，再次执行迭代训练时且为执行异步联邦学习第j次迭代时，在分割点wij下的模型训练时间Tdi(j)为：

其中，i表示边缘设备的编号，共有n个边缘设备；r表示模型层数的编号，模型一共有v层；j表示异步联邦学习的迭代次数，异步联邦学习的总迭代次数为J；td(r)为模型第r层在边缘设备di上的计算时间，ts(r)为模型第r层在边缘服务器s上的计算时间；wij为边缘设备di执行第j次迭代训练时的模型分割点，即模型在第wij层被分割，边缘设备di计算模型的前wij层，边缘服务器计算模型的后v-wij层；

tupi为边缘设备di的数据上传时间即通信时间，即边缘设备di将数据上传至边缘服务器所需的时间，tupi的表达式为：

其中，Gr为模型第r层的输出数据量；B为边缘设备与边缘服务器间的带宽；βi为边缘设备di的带宽分配比；若同一时间内存在多个边缘设备与边缘服务器发生通信即进行数据传输，则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分配，各个边缘设备的带宽分配比即为各个边缘设备所传输的数据量大小比例：若同一时间内仅存在一个边缘设备与边缘服务器发生通信，则该边缘设备的带宽分配比即为1；

Pr为模型第r层的参数数据量；q(j)的取值为0或1，若迭代次数j到达模型参数聚合的次数，则q(j)=1；若迭代次数j未到达模型参数聚合的次数，则q(j)=0；

为边缘设备di的模型参数上传时间；

tupi为边缘设备di的通信时间，即边缘设备di将数据上传至边缘服务器所需的时间；

由于本系统为单边缘服务器多边缘设备场景，多个边缘设备同时与边缘服务器通信时将产生带宽分配，且边缘服务器一次仅处理一个边缘设备的卸载任务，因此边缘服务器上存在一个等待队列，本发明根据当前网络的状况分配带宽资源，计算带宽分配比βi和卸载任务在边缘服务器上的等待时间twait(Mij)。

twait(Mij)为边缘设备di执行第j次迭代时的卸载任务在边缘服务器上的等待时间，twait(Mij)的表达式为：

其中，Mij表示第i个边缘设备di执行第j次迭代时的卸载任务，即模型的后v-wi层计算任务；Mi’j’表示第i’个边缘设备di’执行第j’次迭代时的卸载任务；AT(Mij)表示卸载任务Mij到达边缘服务器的时间；ts(Mi’j’)表示卸载任务Mi’j’在边缘服务器上的计算时间；twait(Mi’j’)表示卸载任务Mi’j’在边缘服务器上的等待时间；

Z(Mi’j’)为0或1的变量，若卸载任务Mi’j’为边缘服务器的等待队列中排在卸载任务Mij前的一个卸载任务，则Z(Mi’j’)=1；否则，Z(Mi’j’)=0。

S6，按照步骤S5的方式继续进行异步联邦学习的模型迭代训练，直至达到异步联邦学习的总迭代次数J。

根据异步联邦学习每次迭代的模型训练时间，得到异步联邦学习的模型训练完成总时间total为：

其中，J表示异步联邦学习的总迭代次数。

图2为本发明方法与现有技术方法的模型训练完成总时间对比图，横轴表示边缘设备与边缘服务器间的不同带宽，纵轴为异步联邦学习的模型训练完成总时间total，其中，OBA为基于本发明方法所得到的模型训练完成总时间，No-Partitioned为不使用模型分割和任务卸载所得到的模型训练完成总时间，Fix-Point为固定分割点所得到的模型训练完成总时间，Average-Bandwidth为带宽平均分配所得到的模型训练完成总时间。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (7)

1.边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，采用n个边缘设备和1个边缘服务器进行异步联邦学习；

异步联邦学习中，某边缘设备执行某次迭代时，会选择一个分割点对模型进行分割，该边缘设备计算模型的前半部分，并将模型的后半部分计算任务卸载到边缘服务器上，利用边缘服务器计算模型的后半部分；

对异步联邦学习每次迭代所对应的边缘设备的分割点进行动态调整，使得异步联邦学习的模型训练完成总时间最小化。

2.根据权利要求1所述的边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，异步联邦学习每次迭代所对应的边缘设备的分割点选择方法，具体如下所示：

S1，分别为每个边缘设备筛选出c个备选分割点；

S2，根据每个边缘设备的c个备选分割点，构建分割点的分配集合，分配集合中的每个元素均为一个分割点序列即(w1,w2,...wn)，其中，w1为第一个边缘设备的分割点，w2为第2个边缘设备的分割点，wn为第n个边缘设备的分割点；

S3，分别为每个边缘设备选择一个初始分割点：

针对分配集合中的每个分割点序列，分别计算各个边缘设备的通信时间以及确定各个边缘设备的通信时间段，比较各个边缘设备的通信时间段，确定通信时间段发生重叠的边缘设备数量；

选择通信时间段发生重叠的边缘设备数量为最小的分割点序列作为初始分割点序列；初始分割点序列中的各个边缘设备的分割点即为初始分割点；

S4，各个边缘设备基于初始分割点，开始进行异步联邦学习的模型迭代训练；

S5，某边缘设备执行完成一次迭代训练后，再次执行迭代训练时，从该边缘设备的c个备选分割点中重新选择一个备选分割点，作为该边缘设备再次执行迭代训练的分割点，选择方式为：

遍历c个备选分割点中的每一个备选分割点，分别计算该边缘设备在各个备选分割点下的通信时间段，比较该边缘设备在备选分割点下的通信时间段与其他边缘设备的通信时间段，确定通信时间段发生重叠的边缘设备数量；

选择通信时间段发生重叠的边缘设备数量为最小的备选分割点，作为该边缘设备再次执行迭代训练的分割点；

S6，按照步骤S5的方式继续进行异步联邦学习的模型迭代训练，直至达到异步联邦学习的总迭代次数J。

3.根据权利要求2所述的边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，步骤S1的筛选方式为：

针对某边缘设备，遍历模型的每一层分别作为该边缘设备的分割点，分别计算该边缘设备在每个分割点下进行一次迭代的计算和数据上传所需的基础时间，选取c个较小的基础时间所对应的分割点，作为该边缘设备的c个备选分割点。

4.根据权利要求3所述的边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，针对第i个边缘设备di，遍历模型的每一层分别作为边缘设备di的分割点，分别计算边缘设备di在每个分割点下进行一次迭代的计算和数据上传所需的基础时间Tdi1，选取c个较小的基础时间Tdi1所对应的分割点，作为该边缘设备的c个备选分割点；

边缘设备di在分割点wi下进行一次迭代的计算和数据上传所需的基础时间Tdi1为：

其中，i表示边缘设备的编号，共有n个边缘设备；r表示模型层数的编号，模型共有v层；td(r)为模型第r层在边缘设备di上的计算时间，ts(r)为模型第r层在边缘服务器s上的计算时间；wi为边缘设备的分割点，即模型在第wi层被分割，边缘设备di计算模型的前wi层，边缘服务器计算模型的后v-wi层；Gr为模型第r层的输出数据量；Pr为模型第r层的参数数据量；B为边缘设备与边缘服务器间的带宽。

5.根据权利要求2所述的边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，步骤S3中，针对第i个边缘设备di，边缘设备di的通信时间tupi即数据上传时间为：

其中，Gr为模型第r层的输出数据量；B为边缘设备与边缘服务器间的带宽；wi为边缘设备的分割点，即模型在第wi层被分割，边缘设备di计算模型的前wi层，边缘服务器计算模型的后v-wi层；

βi为边缘设备di的带宽分配比；若同一时间内存在多个边缘设备与边缘服务器发生通信即进行数据传输，则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分配，各个边缘设备的带宽分配比即为各个边缘设备所传输的数据量大小比例：若同一时间内仅存在一个边缘设备与边缘服务器发生通信，则该边缘设备的带宽分配比即为1；

边缘设备di的通信时间段为：

其中，td(r)为模型第r层在边缘设备di上的计算时间。

6.根据权利要求2所述的边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，步骤S5中，第i个边缘设备di执行完一次迭代训练后，再次执行迭代训练时且为执行异步联邦学习第j次迭代时，在分割点wij下的模型训练时间Tdi(j)为：

其中，i表示边缘设备的编号，共有n个边缘设备；r表示模型层数的编号，模型一共有v层；j表示异步联邦学习的迭代次数，异步联邦学习的总迭代次数为J；td(r)为模型第r层在边缘设备di上的计算时间，ts(r)为模型第r层在边缘服务器s上的计算时间；wij为边缘设备di执行第j次迭代训练时的模型分割点，即模型在第wij层被分割，边缘设备di计算模型的前wij层，边缘服务器计算模型的后v-wij层；

tupi为边缘设备di的数据上传时间即通信时间，即边缘设备di将数据上传至边缘服务器所需的时间，tupi的表达式为：

其中，Gr为模型第r层的输出数据量；B为边缘设备与边缘服务器间的带宽；

βi为边缘设备di的带宽分配比；若同一时间内存在多个边缘设备与边缘服务器发生通信即进行数据传输，则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分配，各个边缘设备的带宽分配比即为各个边缘设备所传输的数据量大小比例：若同一时间内仅存在一个边缘设备与边缘服务器发生通信，则该边缘设备的带宽分配比即为1；

Pr为模型第r层的参数数据量；q(j)的取值为0或1，若迭代次数j到达模型参数聚合的次数，则q(j)=1；若迭代次数j未到达模型参数聚合的次数，则q(j)=0；

为边缘设备di的模型参数上传时间；

twait(Mij)为边缘设备di执行第j次迭代时的卸载任务在边缘服务器上的等待时间，twait(Mij)的表达式为：

其中，Mij表示第i个边缘设备di执行第j次迭代时的卸载任务，即模型的后v-wi层计算任务；Mi’j’表示第i’个边缘设备di’执行第j’次迭代时的卸载任务；AT(Mij)表示卸载任务Mij到达边缘服务器的时间；ts(Mi’j’)表示卸载任务Mi’j’在边缘服务器上的计算时间；twait(Mi’j’)表示卸载任务Mi’j’在边缘服务器上的等待时间；

Z(Mi’j’)为0或1的变量，若卸载任务Mi’j’为边缘服务器的等待队列中排在卸载任务Mij前的一个卸载任务，则Z(Mi’j’)=1；否则，Z(Mi’j’)=0。

7.根据权利要求6所述的边缘计算场景下基于模型分割的异步联邦学习加速方法，其特征在于，根据异步联邦学习每次迭代的模型训练时间，得到异步联邦学习的模型训练完成总时间total为：

其中，J表示异步联邦学习的总迭代次数。

Images