CN113094180B - 无线联邦学习调度优化方法及装置 - Google Patents
无线联邦学习调度优化方法及装置 Download PDFInfo
- Publication number
- CN113094180B CN113094180B CN202110489200.8A CN202110489200A CN113094180B CN 113094180 B CN113094180 B CN 113094180B CN 202110489200 A CN202110489200 A CN 202110489200A CN 113094180 B CN113094180 B CN 113094180B
- Authority
- CN
- China
- Prior art keywords
- processing
- priority
- processing devices
- downloading
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 211
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 abstract description 25
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请涉及一种无线联邦学习调度优化方法及装置，属于计算机技术领域，该方法包括：在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；在接收到处理设备反馈的资源信息后，从多个处理设备中选择处理学习任务的i个处理设备；根据资源信息确定i个处理设备的下载顺序；按照下载顺序为i个处理设备分配学习任务对应的全局模型；下载顺序使得i个处理设备的处理总延迟最小；获取i个处理设备上传的模型参数；基于模型参数确定新的全局模型；通过调节通信和计算能力之间的权重，依次全面评估每个设备的优先级，每个处理设备根据优先级序列进行模型的下载；且可以让将处理设备先进行计算，且不长时间占用通信信道，提高总体的训练效率。
Description
【技术领域】
本申请涉及一种无线联邦学习调度优化方法及装置，属于计算机技术领域。
【背景技术】
联邦学习(Federated Learning)是一种机器学习框架，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。
在联邦学习过程中，基站向所有被选择的处理设备逐一发送全局模型ω，来保证计算和通信的并行性，以此更好地使用整个系统的资源。
然而，随机生成的模型分发顺序对应的联邦学习效率可能较低。
【发明内容】
本申请提供了一种无线联邦学习调度优化方法及装置，可以解决随机分配全局模型时联邦学习效率可能较低的问题。本申请提供如下技术方案：
第一方面，提供一种无线联邦学习调度优化方法，所述方法包括：
在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；所述资源查询请求用于请求所述处理设备返回资源信息；
在接收到所述处理设备反馈的资源信息后，从所述多个处理设备中选择处理所述学习任务的i个处理设备，所述i为正整数；
根据所述资源信息确定所述i个处理设备的下载顺序；
按照所述下载顺序为所述i个处理设备分配所述学习任务对应的全局模型；所述i个处理设备中的每个处理设备在下载所述全局模型完成后对所述全局模型进行训练，并在上传资源未被占用时上传训练得到的模型参数；所述下载顺序使得所述i个处理设备的处理总延迟最小，所述处理总延迟包括各个处理设备的下载前的等待时长、下载时长、上传时长、计算时长和上传前的等待时长；
获取所述i个处理设备上传的模型参数；
基于所述模型参数确定新的全局模型。
可选地，所述根据所述资源信息确定所述i个处理设备的下载顺序，包括：
根据所述资源信息，确定所述i个处理设备中每个处理设备处理所述学习任务所需的计算时长和下载时长；
获取预先设置的j个优先级参数，所述j为大于1的整数；
对于所述j个优先级参数中的每个优先级参数，使用所述优先级参数计算每个处理设备的优先级概率，并将所述i个处理设备的优先级概率按照从大到小的顺序排列，得到所述优先级参数对应的设备序列；
分别模拟所述j个优先级参数对应的设备序列的总循环时长；
将最小的总循环时长对应的设备序列确定为所述下载顺序。
可选地，所述使用所述优先级参数计算每个处理设备的优先级概率，通过下式表示：
其中，表示优先级概率，αj表示优先级参数，/>表示计算时长，/>表示下载时长。
可选地，所述计算时长通过下式表示：
其中，τ是本地更新的次数，di是本地批处理的大小，ai＞0是计算最大值的恒定参数，μi＞0是波动性的恒定参数。
可选地，所述下载时长通过下式表示：
对于处理设备i，P0表示基站的传输功率，hi，k表示相应的信道增益，N0表示噪音能量密度，R表示全局模型的模型参数的大小。
可选地，所述上传时长通过下式表示：
对于处理设备i，Pi表示处理设备i的传输功率，hi，k表示相应的信道增益，N0表示噪音能量密度，R表示所述处理设备i训练得到的模型参数的大小。
可选地，所述基于所述模型参数确定新的全局模型，包括：
计算所述模型参数的平均值，使用所述平均值更新上一轮的全局模型，得到所述新的全局模型。
第二方面，提供一种无线联邦学习调度优化装置，所述装置包括：
资源查询模块，用于在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；所述资源查询请求用于请求所述处理设备返回资源信息；
设备选择模块，用于在接收到所述处理设备反馈的资源信息后，从所述多个处理设备中选择处理所述学习任务的i个处理设备，所述i为正整数；
顺序确定模块，用于根据所述资源信息确定所述i个处理设备的下载顺序；
任务分配模块，用于按照所述下载顺序为所述i个处理设备分配所述学习任务对应的全局模型；所述i个处理设备中的每个处理设备在下载所述全局模型完成后对所述全局模型进行训练，并在上传资源未被占用时上传训练得到的模型参数；所述下载顺序使得所述i个处理设备的处理总延迟最小，所述处理总延迟包括各个处理设备的下载前的等待时长、下载时长、上传时长、计算时长和上传前的等待时长；
参数获取模块，用于获取所述i个处理设备上传的模型参数；
模型更新模块，用于基于所述模型参数确定新的全局模型。
可选地，所述顺序确定模块，用于：
根据所述资源信息，确定所述i个处理设备中每个处理设备处理所述学习任务所需的计算时长和下载时长；
获取预先设置的j个优先级参数，所述j为大于1的整数；
对于所述j个优先级参数中的每个优先级参数，使用所述优先级参数计算每个处理设备的优先级概率，并将所述i个处理设备的优先级概率按照从大到小的顺序排列，得到所述优先级参数对应的设备序列；
分别模拟所述j个优先级参数对应的设备序列的总循环时长；
将最小的总循环时长对应的设备序列确定为所述下载顺序。
可选地，所述使用所述优先级参数计算每个处理设备的优先级概率，通过下式表示：
其中，表示优先级概率，αj表示优先级参数，/>表示计算时长，/>表示下载时长。
本申请的有益效果在于：通过在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；在接收到处理设备反馈的资源信息后，从多个处理设备中选择处理学习任务的i个处理设备；根据资源信息确定i个处理设备的下载顺序；按照下载顺序为i个处理设备分配学习任务对应的全局模型；下载顺序使得i个处理设备的处理总延迟最小；获取i个处理设备上传的模型参数；基于模型参数确定新的全局模型；可以解决随机分配全局模型时联邦学习效率可能较低的问题；可以调节通信和计算能力之间的权重，依次全面评估每个设备的优先级，最终，每个处理设备根据优先级序列进行模型的下载；且可以让将处理设备先进行计算，同时不长时间占用通信信道，从而提高总体的训练效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
【附图说明】
图1是本申请一个实施例提供的无线联邦学习调度优化系统的结构示意图；
图2是本申请一个实施例提供的无线联邦学习调度优化方法的流程图；
图3是本申请一个实施例提供的无线联邦学习调度优化装置的框图。
【具体实施方式】
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
本申请提供的无线联邦学习调度优化方法，主要对给定第k轮的调度策略Πk，确定出一个关于被选择设备Πk的序列Sk来进行模型的下载，以此最小化总延迟
图1是本申请一个实施例提供的无线联邦学习调度优化系统的结构示意图。该系统至少包括：基站110和处理设备120。
基站110用于基于联邦学习协议控制处理设备120对预先创建的全局模型进行联邦学习。其中，全局模型可以是通用模型；或者是使用公共数据对该通用模型进行预训练得到的。
在其它实施例中，基站110也可以称为服务器、服务平台等，本实施例不对基站110的名称作限定。
基站110与处理设备120通信相连。其中，通信方式可以为有线通信或者无线通信，本实施例不对基站110与处理设备120之间的通信方式作限定。
处理设备120的为M个，M为大于1的整数。处理设备可以为边缘设备，或者也可以是非边缘设备，处理设备120可以为手机、计算机、平板电脑等，本实施例不对处理设备120的设备类型作限定。对于每个处理设备，本申请中通过M＝{1,2,…,M}来进行索引。对于处理设备i，它有大小为Di的本地数据集Di，Di是由输入输出对构成的集合，其中/>表示一个输入样本有s个特征，yd则是相应的标签。因此总的数据集大小可以定义为
对于每个处理设备120，全局模型训练的目标是：确定在整个本地数据集最小化特定损失函数的模型参数ω，处理设备i上的损失函数基于特定的损失函数fm(ω)定义如下：
之后，最优化任务可以通过下式表示：
传统的轮联邦学习过程使用多轮迭代的方法来训练一个全局模型，对于第k轮迭代循环，k为正整数，至少包括以下3个步骤：
步骤1，基站110向所有在第k轮被调度的处理设备Πk广播第k-1轮的模型参数ωk-1；
在k的值为1时，基站110广播的模型参数为初始化的模型参数。
步骤2，每个属于调度设备集合Πk的处理设备120在本地使用梯度下降算法更新全局模型ωi，k(0)＝ωk-1:
其中，τ是本地重复迭代次数，η是学习率。
步骤3，基站110收到设备集合Πk中所有处理设备上传的模型后，基站110聚合这些模型并得到一个新的全局模型。
聚合过程参考下式：
在第k轮迭代循环中，处理总延迟包括以下部分：
1、计算延迟：为了描述本地模型更新时计算时延的随机性，本实施例中使用移位指数分布。具体的计算延迟(下文中的计算时长)通过下式表示：
其中，τ是本地更新的次数，di是本地批处理的大小，ai＞0是计算最大值的恒定参数，μi＞0是波动性的恒定参数。
由于基站110有相对较强的计算能力以及模型聚合的计算复杂度很低，因此，本实施例中，忽略了模型聚合的时延。
2、通信延迟：考虑到调度设备本地模型的上传和下载，本实施例中设定了总带宽大小为B的时分复用系统。对于处理设备i，它下载时可达到的传输速度可以定义为：
其中，P0表示基站的传输功率，hi，k表示相应的信道增益，N0表示噪音能量密度。因此，处理设备i的下载时延为：
R表示全局模型的模型参数wi，k的大小，单位是比特。
同样的，处理设备上传时可达到的传输速度可以定义为：
其中，Pi表示处理设备i的传输功率，该传输功率在每轮保持恒定。因此，设备i上传时延为：
R表示处理设备i训练得到的模型参数的大小。
联邦学习是进行同步模型聚合的，每轮的总时延是由所有被调度的处理设备中最慢的设备决定的，也就有以下关系：
本实施例中，相较于传统的联邦学习协议通过使用处理设备的资信息，构造了一个处理设备的调度序列，并要求所选的处理设备依照这个序列下载模型，从而提高联邦学习效率。
下面对本申请提供的无线联邦学习调度优化方法进行详细介绍。
图2是本申请一个实施例提供的无线联邦学习调度优化方法的流程图。本实施例以执行主体为图1中的基站110为例进行说明，该方法至少包括以下几个步骤：
步骤201，在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；资源查询请求用于请求处理设备返回资源信息。
步骤202，在接收到处理设备反馈的资源信息后，从多个处理设备中选择处理学习任务的i个处理设备，i为正整数。
基站可以随机选择i个处理设备，或者通过其它算法选择处理设备，本实施例不对基站选择处理设备的方式作限定。
步骤203，根据资源信息确定i个处理设备的下载顺序。
下载顺序使得i个处理设备的处理总延迟最小，处理总延迟包括各个处理设备的下载前的等待时长、下载时长、上传时长、计算时长和上传前的等待时长。
给定第k轮的调度策略Πk，想要找到一个关于被选择的处理设备Πk的序列Sk来进行模型的下载，以此最小化总延迟不失一般性，本实施例中省略参数k进行简化，用[n]来表示{1，2，…，n}，S＝(s1，…，si，…，sn)。
决定最优序列的最优化问题可以如下定义：
其中，是第si个处理设备下载前的等待时长，/>和/>分别是第si个设备的下载时长和上传时长，/>是第si个设备的计算时长，/>是第si个设备上传前的等待时长。
本实施例中，处理设备下载完模型后立即计算模型。为了解决最优化问题本实施例中，提出两个特殊情况/>和/>通过这两个特例，确定出处理设备的通信能力和计算能力都可以影响总的训练时长，之后，我们进一步提出了一个启发式的算法来解决普遍的问题/>对于/>和/>两问题的最优化解法是启发式算法中的两个极端情况。
1)假定所有设备训练完毕之后，才开放上传，由此，总的上传时长是确定的，只要优化最后训练完设备的总时长即可。这个简化的问题就是问题之后，我们为/>提出了一种贪心调度策略，该策略可以得到最优解。这个策略将所有设备按照计算时间从大到小进行排列，并依照这个序列，进行模型下载。我们把这个贪心调度称作长计算优先调度(Long computation first scheduling，LCFS)。
2)为了找到下载和上传时长的影响，本实施例中简化问题以消除训练时长的影响，这个简化的问题就是假定所有处理设备有着相同的训练时长，并且这个训练时长足够长，能够让所有的处理设备完成下载的过程。不同于在/>中用到的协议，在/>中使用协议描述如下：首先，处理设备依次下载全局模型，并在下载完毕后立即开始训练。如果通信信道没有被其他设备上传占用，那么完成训练的设备立即上传本地模型。对于问题/>本实施例中提出了一种贪心调度策略，该策略可以得到最优解。这个策略将所有处理设备按照下载时长从小到大排序，并依照这个序列，将训练好的模型上传。本实施例中将这个贪心调度称作短通信优先调度(Short communication first scheduling，SCFS)。
通过以上两种特例，可以发现处理设备的调度序列会影响总的训练时间，侧重于计算的调度与侧重于通信的调度会有着截然不同的调度效果。基于此，本实施例通过在设备通信与计算能力进行权衡的设备调度，来解决问题在真实的系统模型中，处理设备之间的计算能力是不同的，并且所有处理设备需要完成整个联邦学习的一轮，包括下载、训练、上传过程。虽然对于受限的问题/>和/>可以提出最优的解法。对于复杂多变的真实模型，本实施例提出了在处理设备通信与计算能力之间进行权衡的启发式算法。通过并行地通信和计算，相较于传统的联邦学习策略，可以得到一个更短的训练时长。
本实施例提出的基于通信和计算的优先级(Priority based on communicationand computation,PCC)算法的核心就是找到一个较好的下载顺序的设备序列，从而缩短一轮联邦学习的训练时长。本实施中，通过实验为优先级参数α挑选了一些值，即预设了一些优先级参数，同时，将上述两种特殊情况囊括其中，分别对应于α＝1和α＝0。对于每个α，可以得到一个优先队列并且模拟需要的时间，最终，选择其中最好的作为调度序列。
具体地，根据资源信息确定i个处理设备的下载顺序，包括以下几个步骤：
步骤1，根据资源信息，确定i个处理设备中每个处理设备处理学习任务所需的计算时长和下载时长。
计算时长通过下式计算：
其中，τ是本地更新的次数，di是本地批处理的大小，ai＞0是计算最大值的恒定参数，μi＞0是波动性的恒定参数。
下载时长通过下式计算：
其中，P0表示基站的传输功率，hi，k表示相应的信道增益，N0表示噪音能量密度；R表示全局模型的模型参数wi，k的大小，单位是比特。
步骤2，获取预先设置的j个优先级参数，j为大于1的整数。
j个优先级参数α的取值范围为[0,1]，且α＝0对应短通信优先调度的特殊情况，α＝1对应长计算优先调度的特殊情况。
步骤3，对于j个优先级参数中的每个优先级参数，使用优先级参数计算每个处理设备的优先级概率，并将i个处理设备的优先级概率按照从大到小的顺序排列，得到优先级参数对应的设备序列。
其中，使用优先级参数计算每个处理设备的优先级概率，通过下式表示：
其中，表示优先级概率，αj表示优先级参数，/>表示计算时长，/>表示下载时长。
步骤4，分别模拟j个优先级参数对应的设备序列的总循环时长。
步骤5，将最小的总循环时长对应的设备序列确定为下载顺序。
本实施例中，全面考虑不同处理设备之间通信与计算能力的不同，使用优先级参数α来调节通信和计算能力之间的权重，依次全面评估每个设备的优先级，最终，每个处理设备根据优先级序列进行模型的下载。基于本实施例提供的下载顺序确定方式，可以让将处理设备先进行计算，同时不长时间占用通信信道，以此提高总体的训练效率。
步骤204，按照下载顺序为i个处理设备分配学习任务对应的全局模型；i个处理设备中的每个处理设备在下载全局模型完成后对全局模型进行训练，并在上传资源未被占用时上传训练得到的模型参数。
步骤205，获取i个处理设备上传的模型参数。
步骤206，基于模型参数确定新的全局模型。
基于模型参数确定新的全局模型，包括：计算模型参数的平均值，使用平均值更新上一轮的全局模型，得到新的全局模型。
本实施例中，在全局模型未训练结束时，新的全局模型的模型参数为下一轮联邦学习时处理设备所需下载的模型参数。
综上所述，本实施例提供的无线联邦学习调度优化方法，通过在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；在接收到处理设备反馈的资源信息后，从多个处理设备中选择处理学习任务的i个处理设备；根据资源信息确定i个处理设备的下载顺序；按照下载顺序为i个处理设备分配学习任务对应的全局模型；下载顺序使得i个处理设备的处理总延迟最小；获取i个处理设备上传的模型参数；基于模型参数确定新的全局模型；可以解决随机分配全局模型时联邦学习效率可能较低的问题；可以调节通信和计算能力之间的权重，依次全面评估每个设备的优先级，最终，每个处理设备根据优先级序列进行模型的下载；且可以让将处理设备先进行计算，同时不长时间占用通信信道，从而提高总体的训练效率。
图3是本申请一个实施例提供的无线联邦学习调度优化装置的框图。该装置至少包括以下几个模块：资源查询模块310、设备选择模块320、顺序确定模块330、任务分配模块340、参数获取模块350和模型更新模块360。
资源查询模块310，用于在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；所述资源查询请求用于请求所述处理设备返回资源信息；
设备选择模块320，用于在接收到所述处理设备反馈的资源信息后，从所述多个处理设备中选择处理所述学习任务的i个处理设备，所述i为正整数；
顺序确定模块330，用于根据所述资源信息确定所述i个处理设备的下载顺序；
任务分配模块340，用于按照所述下载顺序为所述i个处理设备分配所述学习任务对应的全局模型；所述i个处理设备中的每个处理设备在下载所述全局模型完成后对所述全局模型进行训练，并在上传资源未被占用时上传训练得到的模型参数；所述下载顺序使得所述i个处理设备的处理总延迟最小，所述处理总延迟包括各个处理设备的下载前的等待时长、下载时长、上传时长、计算时长和上传前的等待时长；
参数获取模块350，用于获取所述i个处理设备上传的模型参数；
模型更新模块360，用于基于所述模型参数确定新的全局模型。
可选地，所述顺序确定模块330，用于：
根据所述资源信息，确定所述i个处理设备中每个处理设备处理所述学习任务所需的计算时长和下载时长；
获取预先设置的j个优先级参数，所述j为大于1的整数；
对于所述j个优先级参数中的每个优先级参数，使用所述优先级参数计算每个处理设备的优先级概率，并将所述i个处理设备的优先级概率按照从大到小的顺序排列，得到所述优先级参数对应的设备序列；
分别模拟所述j个优先级参数对应的设备序列的总循环时长；
将最小的总循环时长对应的设备序列确定为所述下载顺序。
可选地，所述使用所述优先级参数计算每个处理设备的优先级概率，通过下式表示：
其中，表示优先级概率，αj表示优先级参数，/>表示计算时长，/>表示下载时长。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的无线联邦学习调度优化装置在进行无线联邦学习调度优化时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将无线联邦学习调度优化装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的无线联邦学习调度优化装置与无线联邦学习调度优化方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的无线联邦学习调度优化方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的无线联邦学习调度优化方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
上述仅为本申请的一个具体实施方式，其它基于本申请构思的前提下做出的任何改进都视为本申请的保护范围。
Claims (10)
1.一种无线联邦学习调度优化方法，其特征在于，所述方法包括：
在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；所述资源查询请求用于请求所述处理设备返回资源信息；
在接收到所述处理设备反馈的资源信息后，从所述多个处理设备中选择处理所述学习任务的i个处理设备，所述i为正整数；
根据所述资源信息确定所述i个处理设备的下载顺序；
按照所述下载顺序为所述i个处理设备分配所述学习任务对应的全局模型；所述i个处理设备中的每个处理设备在下载所述全局模型完成后对所述全局模型进行训练，并在上传资源未被占用时上传训练得到的模型参数；所述下载顺序使得所述i个处理设备的处理总延迟最小，所述处理总延迟包括各个处理设备的下载前的等待时长、下载时长、上传时长、计算时长和上传前的等待时长；
获取所述i个处理设备上传的模型参数；
基于所述模型参数确定新的全局模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述资源信息确定所述i个处理设备的下载顺序，包括：
根据所述资源信息，确定所述i个处理设备中每个处理设备处理所述学习任务所需的计算时长和下载时长；
获取预先设置的j个优先级参数，所述j为大于1的整数；
对于所述j个优先级参数中的每个优先级参数，使用所述优先级参数计算每个处理设备的优先级概率，并将所述i个处理设备的优先级概率按照从大到小的顺序排列，得到所述优先级参数对应的设备序列；
分别模拟所述j个优先级参数对应的设备序列的总循环时长；
将最小的总循环时长对应的设备序列确定为所述下载顺序。
3.根据权利要求2所述的方法，其特征在于，所述使用所述优先级参数计算每个处理设备的优先级概率，通过下式表示：
其中，表示优先级概率，αj表示优先级参数，/>表示计算时长，/>表示下载时长。
4.根据权利要求1所述的方法，其特征在于，所述计算时长通过下式表示：
其中，τ是本地更新的次数，di是本地批处理的大小，ai＞0是计算最大值的恒定参数，μi＞0是波动性的恒定参数。
5.根据权利要求1所述的方法，其特征在于，所述下载时长通过下式表示：
对于处理设备i，B表示总带宽大小，P0表示基站的传输功率，hi，k表示相应的信道增益，N0表示噪音能量密度，R表示全局模型的模型参数的大小。
6.根据权利要求1所述的方法，其特征在于，所述上传时长通过下式表示：
对于处理设备i，B表示总带宽大小，Pi表示处理设备i的传输功率，hi，k表示相应的信道增益，N0表示噪音能量密度，R表示所述处理设备i训练得到的模型参数的大小。
7.根据权利要求1至6任一所述的方法，其特征在于，所述基于所述模型参数确定新的全局模型，包括：
计算所述模型参数的平均值，使用所述平均值更新上一轮的全局模型，得到所述新的全局模型。
8.一种无线联邦学习调度优化装置，其特征在于，所述装置包括：
资源查询模块，用于在学习任务创建完成后，在联邦学习的每轮迭代循环中，向多个处理设备发送资源查询请求；所述资源查询请求用于请求所述处理设备返回资源信息；
设备选择模块，用于在接收到所述处理设备反馈的资源信息后，从所述多个处理设备中选择处理所述学习任务的i个处理设备，所述i为正整数；
顺序确定模块，用于根据所述资源信息确定所述i个处理设备的下载顺序；
任务分配模块，用于按照所述下载顺序为所述i个处理设备分配所述学习任务对应的全局模型；所述i个处理设备中的每个处理设备在下载所述全局模型完成后对所述全局模型进行训练，并在上传资源未被占用时上传训练得到的模型参数；所述下载顺序使得所述i个处理设备的处理总延迟最小，所述处理总延迟包括各个处理设备的下载前的等待时长、下载时长、上传时长、计算时长和上传前的等待时长；
参数获取模块，用于获取所述i个处理设备上传的模型参数；
模型更新模块，用于基于所述模型参数确定新的全局模型。
9.根据权利要求8所述的装置，其特征在于，所述顺序确定模块，用于：
根据所述资源信息，确定所述i个处理设备中每个处理设备处理所述学习任务所需的计算时长和下载时长；
获取预先设置的j个优先级参数，所述j为大于1的整数；
对于所述j个优先级参数中的每个优先级参数，使用所述优先级参数计算每个处理设备的优先级概率，并将所述i个处理设备的优先级概率按照从大到小的顺序排列，得到所述优先级参数对应的设备序列；
分别模拟所述j个优先级参数对应的设备序列的总循环时长；
将最小的总循环时长对应的设备序列确定为所述下载顺序。
10.根据权利要求9所述的装置，其特征在于，所述使用所述优先级参数计算每个处理设备的优先级概率，通过下式表示：
其中，表示优先级概率，αj表示优先级参数，/>表示计算时长，/>表示下载时长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110489200.8A CN113094180B (zh) | 2021-05-06 | 2021-05-06 | 无线联邦学习调度优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110489200.8A CN113094180B (zh) | 2021-05-06 | 2021-05-06 | 无线联邦学习调度优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113094180A CN113094180A (zh) | 2021-07-09 |
| CN113094180B true CN113094180B (zh) | 2023-10-10 |
Family
ID=76681678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110489200.8A Active CN113094180B (zh) | 2021-05-06 | 2021-05-06 | 无线联邦学习调度优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113094180B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114065864B (zh) * | 2021-11-19 | 2023-08-11 | 北京百度网讯科技有限公司 | 联邦学习方法、联邦学习装置、电子设备以及存储介质 |
| CN114422454A (zh) * | 2021-12-27 | 2022-04-29 | 北京百度网讯科技有限公司 | 分布式机器学习方法、系统、服务器、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263908A (zh) * | 2019-06-20 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
| CN110443375A (zh) * | 2019-08-16 | 2019-11-12 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法及装置 |
| CN112181666A (zh) * | 2020-10-26 | 2021-01-05 | 华侨大学 | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009642B (zh) * | 2016-10-31 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 分布式机器学习方法和系统 |
| CN112182595B (zh) * | 2019-07-03 | 2024-03-26 | 北京百度网讯科技有限公司 | 基于联邦学习的模型训练方法及装置 |
-
2021
- 2021-05-06 CN CN202110489200.8A patent/CN113094180B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263908A (zh) * | 2019-06-20 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
| CN110443375A (zh) * | 2019-08-16 | 2019-11-12 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法及装置 |
| CN112181666A (zh) * | 2020-10-26 | 2021-01-05 | 华侨大学 | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Federated-Learning-Based Client Scheduling for Low-Latency Wireless Communications;Wenchao Xia等;《IEEE Wireless Communications》;第28卷(第2期);全文 * |
| 面向高效通信边缘学习网络的通信计算一体化设计;朱光旭;李航;;中兴通讯技术(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113094180A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113094180B (zh) | 无线联邦学习调度优化方法及装置 | |
| CN113435472A (zh) | 车载算力网络用户需求预测方法、系统、设备、介质 | |
| Ko et al. | Joint client selection and bandwidth allocation algorithm for federated learning | |
| US20240330708A1 (en) | Model training method and face recognition method based on adaptive split learning-federated learning | |
| He et al. | Edge-aided computing and transmission scheduling for LTE-U-enabled IoT | |
| CN111274036A (zh) | 一种基于速度预测的深度学习任务的调度方法 | |
| CN113094181B (zh) | 面向边缘设备的多任务联邦学习方法及装置 | |
| CN110968426A (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
| Guo et al. | Dynamic scheduling for heterogeneous federated learning in private 5g edge networks | |
| Chen et al. | Latency minimization for mobile edge computing networks | |
| CN112637883A (zh) | 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法 | |
| CN109548161A (zh) | 一种无线资源调度的方法、装置和终端设备 | |
| CN116363449A (zh) | 一种基于分层联邦学习的图像识别方法 | |
| CN114492849B (zh) | 一种基于联邦学习的模型更新方法及装置 | |
| CN116681126A (zh) | 一种自适应等待时长的异步加权联邦学习方法 | |
| CN114022731A (zh) | 基于drl的联邦学习节点选择方法 | |
| CN118095410A (zh) | 神经网络架构搜索的联邦学习参数高效微调方法及装置 | |
| CN110392377B (zh) | 一种5g超密集组网资源分配方法及装置 | |
| CN115115064B (zh) | 一种半异步联邦学习方法及系统 | |
| CN116912942A (zh) | 一种基于联邦学习的人类行为识别应用的模型训练方法 | |
| CN113821313B (zh) | 一种任务调度方法、装置及电子设备 | |
| CN111309460B (zh) | 一种移动边缘计算场景下智能移动设备的任务处理方法 | |
| CN115374954A (zh) | 一种基于联邦学习的模型训练方法、终端以及存储介质 | |
| CN114118444A (zh) | 一种利用启发式算法降低联邦学习中设备空跑时间的方法 | |
| He et al. | Client selection and resource allocation for federated learning in digital-twin-enabled industrial Internet of Things |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |