CN114118444A - 一种利用启发式算法降低联邦学习中设备空跑时间的方法 - Google Patents
一种利用启发式算法降低联邦学习中设备空跑时间的方法 Download PDFInfo
- Publication number
- CN114118444A CN114118444A CN202111451281.9A CN202111451281A CN114118444A CN 114118444 A CN114118444 A CN 114118444A CN 202111451281 A CN202111451281 A CN 202111451281A CN 114118444 A CN114118444 A CN 114118444A
- Authority
- CN
- China
- Prior art keywords
- solution
- participants
- time
- iteration
- round
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000002922 simulated annealing Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000000137 annealing Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 4
- 238000004904 shortening Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种利用启发式算法降低联邦学习中设备跑时间的方法。本发明利用启发式算法中的模拟退火算法求解局部最优解，得出令各参与方设备空跑时间缩短的解决方案。相较于传统的联邦学习算法，本发明设定在每轮运算中各参与方迭代的次数可以不同。利用模拟退火算法，根据数据预处理阶段得到的参与方平均迭代时间求解每轮参与方的最优迭代次数。并将传统联邦学习算法中参与方本地训练和中央服务器求解下一轮参与方名单的串行设计改为并行设计，从而尽可能降低参与方空等时间。
Description
技术领域
本发明属联邦学习领域，具体涉及一种利用启发式算法中的模拟退火算法根据联邦学习中每轮运算各参与方的训练能力，动态设计一种局部最优的参与方本轮迭代次数，从而降低联邦学习中各个参与方设备空跑总时间的方法。
背景技术
近年来，随着固网宽带、移动互联网、物联网的的快速发展，数据正呈爆炸式的增长。海量数据成为人工智能领域的燃料，同时也带来新的挑战。在大数据大模型的双重挑战下，人们提出用计算机集群来代替单机进行模型训练，以解决单机无法存储海量数据、算力有限训练复杂模型耗时过久甚至无法训练的瓶颈，因此分布式机机器学习应运而生。
而联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，它既解决了单个主机GPU/CPU扩展能力有限的问题，能实现大量节点同时训练大规模模型，同时考虑了用户对数据隐私性和安全性的需要。传统的分布式机器学习采用集中收集各方数据，再将数据进行分布式存储，把任务分散到多个GPU/CPU机器上进行处理的方法，从而提升运算效率。但这种集中式管理数据的模式在实际的生产生活中往往是难以实现的。一个AI项目可能涉及多个领域，需要融合各个公司、各个部门的数据。但考虑到行业竞争和消费者日益增长的隐私安全需求等多方面因素，将多个公司甚至同一公司不同部门的数据进行集成都面临着巨大阻力。因此在大多数行业中，数据以孤岛的方式存在。而联邦学习旨在让分散的参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。
目前的研究中已提出很多联邦学习的算法，根据联邦学习数据的特点(不同的参与方数据重叠的程度)，联邦学习可以分为横向联邦学习、纵向联邦学习、迁移联邦学习。横向联邦学习适合于业务场景相似的参与方，用户重叠部分较少，但用户特征相似。纵向联邦学习适合于业务特征不同，用户特征相差大，但用户空间重叠部分多。迁移联邦学习是对横向联邦学习和纵向联邦学习的补充，适合于参与方用户空间和特征空间都重叠较少的情况。此外，联邦学习迁移模型不迁移数据的特性是强调将数据留在数据拥有者本地，由各个参与方在本地训练模型，将训练得出的参数传递给可信中央服务器，由中央服务器汇总各方的训练参数，构建更加精确的全局模型。且联邦学习的参与方往往是数量众多的，这意味着在每一轮迭代后大量的参与方都需要与中央服务器进行通信，而网络的不稳定性直接导致通信成为了联邦学习提升效率的一个瓶颈。现有的技术从通信方面进行联邦学习算法优化往往有这样两种方式：增加客户端的计算量，用更复杂的计算代替简单的梯度下降或增加客户端迭代次数；模型压缩，因为一个大的模型在参数更新的时候可能要更新成千上百万个参数，模型压缩的目的是通过模型压缩技术来减少每一次通信需要传递的参数量，从而加快各参与方与中央服务器的通信速度。但这些方法并没有考虑到联邦学习中由于各个参与方的数据量不同和算力的不同，导致一次通信前各方完成一次迭代所花费的时间也大不相同。在通信前迭代相同的次数很有可能造成速度快的参与方等待速度慢的参与方的局面，从而导致部分参与方GPU/CPU空跑的情况。
启发式算法是相对于最优化算法提出的，它是一个基于直观或经验构造的算法，在可接受的花费(指计算时间和空间)下给出待解决组合优化问题每一个实例的一个可行解。模拟退火算法是一种经典的启发式算法，它在搜索的过程中引入随机因素，以一定的概率来接受一个比当前解要更差的解，从而有可能会跳出局部最优解。
发明内容
本发明的目的在于降低联邦学习中参与方与中央服务器通信之后的等待时间，从而提出一种面向联邦学习的基于启发式算法的动态化降低参与方设备空跑时间的方法。该方法在经典的FedAvg算法之上，利用数据预处理得出的参与此次联邦学习的所有客户端的平均迭代时间，结合启发式模拟退火算法，动态得出联邦学习每轮运算中各参与方局部最优迭代次数，从而最大程度的降低各参与方的设备空跑总时间，提升资源利用率加快模型收敛。约定参与此次联邦学习的所有客户为客户端，参与每轮训练的客户端为参与方。
该发明采用的技术方案为：在数据预处理阶段获得参与此次联邦学习的所有客户端的平均迭代时间、中央服务器利用启发式模拟退火算法并行计算下一轮参与方名单和迭代次数。
(1)数据预处理阶段获得所有客户端的平均迭代时间。
联邦学习中参与方与中央服务器进行通信前需要在本地利用私有数据进行模型运算。将运算所得的结果参数传递给中央服务器，中央服务器在收到本轮通信中所有参与方的结果参数之后会进行参数合并，并将更新后的模型参数下发到新一轮的参与方中。但由于传统的联邦学习算法在每次通信前各个参与方在本地运算迭代的次数相同，这没有考虑到参与方间由于算力或者是数据量不同导致的迭代相同的次数所花费的时间不同，从而导致迭代速度快的参与方要等待迭代速度慢的参与方，造成设备空跑资源浪费现象。
本发明提出了一个新的面向联邦学习的基于启发式模拟退火算法的动态化降低参与方设备空跑总时间的方法。该方法假定在硬件条件和数据量不变的前提下，各参与方每次迭代所花费的时间是相近的。在数据预处理阶段计算出参与此次联邦学习的所有客户端的本地平均迭代时间，上传到中央服务器存储，为后续利用启发式模拟退火算法得出本轮参与方的局部最优迭代次数方案做准备。
(2)中央服务器利用启发式模拟退火算法并行计算出下一轮参与方迭代次数。
在已知各参与方的平均迭代时间的前提下，求得各参与方在与中央服务器通信前设备空跑总时间最少的局部最优解，这是一个NP完全问题。经研究，本发明采用启发式模拟退火算法来动态得出每次通信前参与方在本地的局部最优迭代次数。模拟退火算法是一种经典的启发式学习算法，相较于简单的贪心搜索算法爬山算法，模拟退火算法有一定的概率会接收比当前更差的解，从而跳出局部最优解达到全局最优解。而这个选择次优解的概率会随着温度的降低逐渐降低，结果逐渐趋于稳定。经试验采用启发式模拟退火算法得出合理的各参与方本轮迭代次数，可以较大降低参与方的设备空跑总时间，提升资源利用率。
本发明方法的具体步骤是：
步骤1.在数据预处理阶段，参与此次联邦学习的所有客户端在各自的终端下载由中央服务器初始化好的模型，进行多次完整的本地数据集迭代，求得各自的迭代平均时间，并将这个平均时间上传到中央服务器。
中央服务器为了避免每轮通信参与方过多导致通信过慢的问题，每轮训练开始前从完备的客户端集合K中随机选择C个参与方参与本轮的训练。同时中央服务器会根据参与本轮训练的C个参与方在数据预处理提交的平均迭代时间，利用启发式模拟退火算法计算出首轮训练中各个参与方的局部最优迭代次数，从而达到各参与方设配空跑总时间最小的目的。
步骤2.中央服务器将本轮参与方的迭代次数和初始模型参数分发到要进行运算的参与方中。参与方更新模型参数，然后利用本地数据进行训练，并将训练后得出的新参数上传到中央服务器。
步骤3.在步骤2当前轮参与方进行本地训练的同时，为保证参与此次联邦学习的所有客户端能有相同的被选中概率，中央服务器会并行的随机生成下一轮参与方名单，并利用启发式模拟退火算法根据步骤1上传的平均迭代时间，制定下一轮参与方的局部最优迭代次数方案。
步骤4.中央服务器对收到的参数进行平均，并判断整体模型是否收敛。若收敛则结束运算，若不收敛则根据步骤3得出的下一轮参与方名单，中央服务器将聚合后的模型参数和利用启发式模拟退火算法得出的迭代次数分发到对应的参与方中，进行新的一轮运算。
步骤5.周期性循环步骤2到步骤4至整体模型收敛。
本发明的有益效果：
通过本发明提供的利用启发式模拟退火算法动态降低联邦学习中参与方设备空跑总时间方法，可根据数据预处理阶段参与此次联邦学习的所有客户端上传的平均迭代时间，设计在每轮训练中各参与方迭代次数的局部最优解，避免了迭代速度快的参与方空等速度慢的一方，充分利用硬件资源。
同时由于联邦学习中通信的不稳定性已成为制约其性能进一步提高的瓶颈，因地制宜的根据各方算力设置每轮迭代次数，可以适当的减少整个模型训练过程中的通信次数。
此外，由于联邦学习的学习过程分为自治和联合两个部分，自治部分由各参与方并行的在本地训练数据，联合部分需要将各参与方的训练结果参数上传到中央服务器，并等待中央服务器聚合模型参数，随机选择出下一轮新的参与方名单。但由于本方案在原先的模式中，增加了一步利用启发式模拟退火算法确定各参与方迭代次数的步骤。因此为了避免参与方等待的时间过久，本发明设计在参与方进行本地训练模型时，中央服务器并行的随机选择下一轮参与方名单，并利用启发式模拟退火算法制定迭代次数的局部最优解。
附图说明
图1是数据预处理阶架构图。
图2是联邦学习结合启发式算法流程图。
图3是启发式模拟退火算法求解参与方局部最优迭代次数流程图。
具体实施方式
以下结合附图对本发明作进一步说明，本发明包括如下步骤：
(1)数据预处理阶段架构，参见图1
步骤1中央服务器初始化模型参数。联邦学习由所有参与训练的客户端共同训练完成一个模型。在数据预处理阶段，由中央服务器初始化好模型参数，并下发给参与此次联邦学习的所有客户端。
步骤2本地训练。参与此次联邦学习的所有客户端利用本地数据集进行少量的几次迭代训练，现假定各客户端在硬件条件和数据量不变的前提下，每次迭代所花费的时间是相似的，并通过平均得出各客户端的平均迭代时间。
步骤3上传中央服务器。参与此次联邦学习的所有客户端将计算得出的本地平均迭代时间上传给中央服务器，由中央服务器统一管理，用于计算每一轮通信中各参与方的局部最佳迭代次数。
步骤4初始化首轮参与方名单方案。中央服务器在收到参与此次联邦学习的所有客户端的平均迭代时间之后，会以随机的概率从完备的客户端集合K中挑选出C个客户端，作为本轮训练的参与方。并根据参与方平均迭代时间，利用启发式模拟退火算法求出各个参与方本轮迭代次数的局部最优解。
(2)联邦学习结合启发式算法流程，参见图2。
步骤1中央服务器下发模型参数和迭代次数。客户端利用中央服务器聚合得的模型参数来更新本地模型，同时按启发式模拟退火算法生成的局部最佳迭代次数进行迭代。这一步骤分为两种情况：首轮迭代情况和非首轮迭代情况：
a.首轮迭代情况。因为在数据预处理阶段，中央服务器为了获得参与此次联邦学习的所有客户端的平均迭代时间，已经初始化好模型参数并下发给所有的客户端，然后接收客户端计算得出的平均迭代时间之后，随机选择出首轮参与方名单以及计算需要的迭代次数。所以在首轮运算过程中，参与方本地已有初始化好的模型，无需重新下载，只需由中央服务器将本轮的局部最优迭代次数发送给对应的参与方。
b.非首轮迭代情况。在非首轮迭代的情况下，各个参与方并没有获得由中央服务器聚合后的最新模型参数，所以需要由中央服务器将更新后的模型参数以及通过启发式模拟退火算法得出的迭代次数传给对应参与方。
步骤2参与方进行本地训练。在联邦学习中，每一次中央服务器更新模型参数后进行新一轮运算的参与方是不同的。新一轮进行训练的参与方，会利用步骤1下发的模型参数更新本地模型，并按照中央服务器规定的迭代次数来进行本地数据集的训练，最后将训练好的模型参数传给中央服务器。
步骤3中央服务器制定下一轮迭代方案。传统的联邦学习算法会在中央服务器收到所有参与方的本地计算结果之后再进行下一轮参与方的选择，是一种串行设计。但本发明为了降低客户端的等待时间，同时提高中央服务器的利用率，设计参与方进行本地训练与中央服务器制定下一轮迭代方案并行进行。由于在数据预处理过程中，中央服务器已经收集到参与此次联邦学习的所有客户端的迭代时间信息。因此中央服务器可以根据这些数据，随机选择出下一轮的参与方名单，并行的利用启发式模拟退火算法计算出下一轮参与方的局部最优迭代次数。
步骤4中央服务器聚合模型参数。中央服务器根据各参与方上传的模型参数进行平均，得出新的模型参数。验证当前面模型是否收敛，若收敛则结束运算，若没有收敛，则重回步骤1。
(3)启发式模拟退火算法求解参与方局部最优迭代次数流程，参见图3。
步骤1初始化算法参数。启发式模拟退火算法需要几个初始化参数：
a.T_begin初始化温度。算法的初始化温度，初始化温度应该处于一个高温状态。
b.T_end温度下限。若算法的温度低于T_end，则要停止搜索。
c.q降温系数。控制降温的快慢。
d.L链长。每个温度的迭代次数。
步骤2得到初始解。本算法将启发式模拟退火算法用于求解每轮运算参与方的局部最优迭代次数，初始解设定为当前轮次中迭代一次耗时最久的客户端进行1次迭代。其他参与方以这个客户端花费的时间为基准，计算各自的迭代次数，让自身在本轮的总耗时与基准差值最小。
步骤3得到新解。模拟退火算法会在当前解的临近解空间中找局部最优解，因此对寻找新解做出如下几个约定：
A、对本轮参与方按平均迭时间进行从长到短的排序epochTimeDoubleArr，每次优先挑平均迭代选耗时最久的参与方epochTimeDoubleArr[i](i初始值为0)让他的迭代次数在当前解的基础上加j(j初始值为1)，并以该参与方运算一轮所花费的总时间(总时间＝迭代次数*单次迭代耗时)为基准。其他参与方以这个基准为线计算各自的最佳迭代次数，让自身的本轮总耗时与基准相差最少。然后计算新解中所有参与方设备空跑时间，若空跑时间比原解少，则用新解代替原解；若空跑时间比原解多，则有一定的概率代替原解，这个概率随着温度的降低逐渐降低。
B、若原解比新解更优，且新解没有达到替换原解的概率，则顺序挑选平均迭代耗时次之的参与方epochTimeDoubleArr[i+1]让其迭代次数加j，并按照和步骤A相同的过程计算新的解。若仍是原解更优，则顺序挑选耗时次之的参与方让其迭代次数加j，以此类推。
C、若在当前解的基础上，分别以各个参与方的迭代次数加j所得的总时间为新基准，皆没有找到更优解，且都没有达到以次优解替换更优解的概率。则取步骤A中排序数组epchTimeDoubleArr中耗时最长的参与方，让他的迭代次数在当前解的基础上加(j+1)，并继续A过程，以此类推。
步骤4采纳新解。若新解中本轮参与方的GPU/CPU空跑时间比原解更少，则直接用新解替代原解。
步骤5以一定概率采纳新解。若新解的参与方设备空跑总时间比原解更多，则按照exp(dE/T)>random(0,1)的概率采纳新解。dE是新解中耗时和原解中耗时的差值，这个接受比当前解更差的解的概率会随着时间的推移越来越小。
步骤6判断当前温度是否达到最低温度。经过上述步骤会将当前的温度乘以步骤1中设定的降温系数q。若温度小于等于温度下限T_end，则终止整个查找过程；若大于则继续查找。
Claims (4)
1.一种利用启发式算法降低联邦学习中设备跑时间的方法，其特征在于该方法包括如下步骤：
步骤1. 在数据预处理阶段，中央服务器将初始化好的模型下发到参与本次训练的所有客户端，客户端利用本地数据集进行多次迭代并求得平均迭代时间，随后将各自的平均迭代时间上传到中央服务器；
中央服务器从完备客户端集K中随机选择C个客户端作为首轮运算的参与方，并利用启发式模拟退火算法求得参与方的局部最优迭代次数；约定参与此次联邦学习的所有客户为客户端，参与每轮训练的客户端为参与方；
步骤2. 参与方根据中央服务器下发的迭代次数以及模型参数进行训练，并将本地训练得出的新的参数上传到中央服务器；
步骤3. 在参与方进行本地训练时，中央服务器并行的随机选择下一轮参与方名单，并利用启发式模拟退火算法计算下一轮参与方的局部最优迭代次数；启发式模拟退火算法会选择当前解空间的临近最优解作为下一个解；若临近解空间没有比当前解更优的解，则以一定的概率接受次优解；
步骤4 参与方将本地运算得出的新参数上传到中央服务器，中央服务器对参数进行平均，并判断模式是否收敛；若收敛，则停止运算；若不收敛，则根据步骤3得出的下一轮参与方名单，中央服务器将聚合后的模型参数和利用启发式模拟退火算法得出的迭代次数下发到对应的参与方中，进行新的一轮运算；
步骤5. 周期性循环步骤2到步骤4直至模型收敛。
2.根据权利要求1所述的一种利用启发式算法降低联邦学习中设备跑时间的方法，其特征在于：步骤3中约定模拟退火算法中产生新解的方式：
A、对本轮参与方的平均迭代时间进行从长到短排序epochTimeDoubleArr，优先挑选平均迭代选耗时最久的参与方epochTimeDoubleArr[i]，其中i初始值为0，让其迭代次数加j，j初始值为1，并以该参与方运算一轮所花费的总时间为基准；其他参与方以该基准为线，计算各自的本轮迭代次数，让各自的本轮总耗时和基准相差最少；然后计算新解中各参与方设备空跑总时间，并与原解进行对比；若新解空跑总时间更少，则直接替换原解，否则以一定的概率进行替换，这个概率会随温度降低而逐渐降低；
B、若得出的新解中参与方设备空跑总时间比原解更久，且没有达到替换原解的概率，则顺序挑选平均迭代耗时次之的参与方epochTimeDoubleArr[i+1]让其迭代次数加j，并按照步骤A的过程求解新解，进行是否替换原解的判断；
C、若在当前解的基础上，分别以各个参与方的迭代次数加j所得的总时间为新基准，皆没有找到更优解，且都没有达到以次优解替换更优解的概率；则取步骤A中排序数组epchTimeDoubleArr中平均迭代耗时最长的参与方，让他的迭代次数在当前解的基础上加1，并继续A过程，以此类推。
3.根据权利要求2所述的一种利用启发式算法降低联邦学习中设备跑时间的方法，其特征在于：参与方运算一轮所花费的总时间=迭代次数*单次迭代耗时。
4.根据权利要求2所述的一种利用启发式算法降低联邦学习中设备跑时间的方法，其特征在于：各自的本轮总耗时=迭代次数*平均迭代时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111451281.9A CN114118444B (zh) | 2021-12-01 | 2021-12-01 | 一种利用启发式算法降低联邦学习中设备空跑时间的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111451281.9A CN114118444B (zh) | 2021-12-01 | 2021-12-01 | 一种利用启发式算法降低联邦学习中设备空跑时间的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114118444A true CN114118444A (zh) | 2022-03-01 |
| CN114118444B CN114118444B (zh) | 2024-04-12 |
Family
ID=80369075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111451281.9A Active CN114118444B (zh) | 2021-12-01 | 2021-12-01 | 一种利用启发式算法降低联邦学习中设备空跑时间的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114118444B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115456194A (zh) * | 2022-08-25 | 2022-12-09 | 北京百度网讯科技有限公司 | 基于异步联邦学习的模型训练控制方法、装置及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200078945A1 (en) * | 2018-09-10 | 2020-03-12 | Fanuc America Corporation | Zero teach for robotic continuous path |
| CN111106946A (zh) * | 2018-10-29 | 2020-05-05 | 深圳市云帆加速科技有限公司 | 一种联网设备边缘计算节点改造方法和系统 |
| CN112148437A (zh) * | 2020-10-21 | 2020-12-29 | 深圳致星科技有限公司 | 用于联邦学习的计算任务加速处理方法、装置及设备 |
-
2021
- 2021-12-01 CN CN202111451281.9A patent/CN114118444B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200078945A1 (en) * | 2018-09-10 | 2020-03-12 | Fanuc America Corporation | Zero teach for robotic continuous path |
| CN111106946A (zh) * | 2018-10-29 | 2020-05-05 | 深圳市云帆加速科技有限公司 | 一种联网设备边缘计算节点改造方法和系统 |
| CN112148437A (zh) * | 2020-10-21 | 2020-12-29 | 深圳致星科技有限公司 | 用于联邦学习的计算任务加速处理方法、装置及设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115456194A (zh) * | 2022-08-25 | 2022-12-09 | 北京百度网讯科技有限公司 | 基于异步联邦学习的模型训练控制方法、装置及系统 |
| CN115456194B (zh) * | 2022-08-25 | 2023-09-01 | 北京百度网讯科技有限公司 | 基于异步联邦学习的模型训练控制方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114118444B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027736B (zh) | 多目标优化下的微服务组合部署与调度方法 | |
| CN112512056B (zh) | 一种移动边缘计算网络中多目标优化的计算卸载方法 | |
| CN108108224B (zh) | 基于蚁群优化算法的云数据中心中虚拟机放置方法 | |
| CN108170530B (zh) | 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法 | |
| CN113220356B (zh) | 一种移动边缘计算中的用户计算任务卸载方法 | |
| Zheng et al. | MEC-enabled wireless VR video service: A learning-based mixed strategy for energy-latency tradeoff | |
| Lin et al. | Feedback delay-tolerant proactive caching scheme based on federated learning at the wireless edge | |
| CN115277689A (zh) | 一种基于分布式联邦学习的云边网络通信优化方法及系统 | |
| Liu et al. | Fine-grained offloading for multi-access edge computing with actor-critic federated learning | |
| Wang et al. | Digital twin-assisted efficient reinforcement learning for edge task scheduling | |
| CN113992677A (zh) | 一种延迟与能耗联合优化的mec计算卸载方法 | |
| CN115907038A (zh) | 一种基于联邦拆分学习框架的多元控制决策方法 | |
| CN114118444A (zh) | 一种利用启发式算法降低联邦学习中设备空跑时间的方法 | |
| Li et al. | A multi-objective task offloading based on BBO algorithm under deadline constrain in mobile edge computing | |
| CN114980216B (zh) | 基于移动边缘计算的依赖型任务卸载系统及方法 | |
| Krishna Priya et al. | Crossover-based improved sine cosine algorithm for multimedia content distribution in cloud environment | |
| Ge et al. | Dynamic hierarchical caching resource allocation for 5G-ICN slice | |
| CN109889573A (zh) | 混合云中基于ngsa多目标的副本放置方法 | |
| Alzahrani et al. | Energy-aware virtual network embedding approach for distributed cloud | |
| Zhang et al. | Optimizing federated edge learning on non-IID data via neural architecture search | |
| Liu et al. | Energy efficient training task assignment scheme for mobile distributed deep learning scenario using DQN | |
| Sang et al. | RALaaS: Resource-aware learning-as-a-service in edge-cloud collaborative smart connected communities | |
| Luo et al. | Fast synchronization of model updates for collaborative learning in micro-clouds | |
| Li et al. | Data & computation-intensive service re-scheduling in edge networks | |
| Yang et al. | Application of improved genetic algorithm in vehicle networked cloud data platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |