CN114462573A - 一种面向边缘智能的高效层次化参数传输时延优化方法 - Google Patents
一种面向边缘智能的高效层次化参数传输时延优化方法 Download PDFInfo
- Publication number
- CN114462573A CN114462573A CN202210068559.2A CN202210068559A CN114462573A CN 114462573 A CN114462573 A CN 114462573A CN 202210068559 A CN202210068559 A CN 202210068559A CN 114462573 A CN114462573 A CN 114462573A
- Authority
- CN
- China
- Prior art keywords
- parameters
- training
- edge
- edge server
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000005540 biological transmission Effects 0.000 title claims abstract description 16
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 125
- 230000002776 aggregation Effects 0.000 claims abstract description 42
- 238000004220 aggregation Methods 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 240000007651 Rubus glaucus Species 0.000 description 5
- 235000011034 Rubus glaucus Nutrition 0.000 description 5
- 235000009122 Rubus idaeus Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000722713 Carcharodon carcharias Species 0.000 description 3
- 241000252229 Carassius auratus Species 0.000 description 2
- 241000251128 Galeocerdo cuvier Species 0.000 description 2
- 241000272534 Struthio camelus Species 0.000 description 2
- 241001125862 Tinca tinca Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000251730 Chondrichthyes Species 0.000 description 1
- 241000064494 Diplobatis ommata Species 0.000 description 1
- 241001670157 Gymnura Species 0.000 description 1
- 241001403831 Hypnos monopterygius Species 0.000 description 1
- 241000251131 Sphyrna Species 0.000 description 1
- 241001471473 Sphyrna zygaena Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种面向边缘智能的高效层次化参数传输时延优化方法，中央服务器将数据处理模型训练参数发送至多个边缘服务器；每个客户端设备利用训练参数训练其数据处理模型，初始训练时，从其对应的边缘服务器下载训练参数；非初始训练时，根据超时机制选择利用其之前的训练参数或从其对应的边缘服务器下载训练参数；各客户端设备将更新后的参数发送到对应边缘服务器；边缘服务器对客户端设备更新的参数进行局部聚合，再发送到中央服务器，中央服务器对收集到的参数进行全局聚合，获得全局的参数发送回边缘服务器，边缘设备再下载这些参数进行本地更新。本发明客户端设备向边缘服务器发送参数时，超时机制将会更早实现参数汇聚，提高了训练的效率。
Description
技术领域
本发明属于计算机技术领域，涉及在客户端设备、边缘服务器、中央服务器三层结构中对参数传输延时的优化方法。
背景技术
目前，在联邦学习环境中进行模型训练存在很多挑战，由于联邦学习具有异构性，在异构联邦学习中，当联邦学习将同一神经网络模型部署到异构边缘设备时，计算能力较弱的设备(孤立设备)可能会大大延迟全局模型的聚合。虽然可以对训练模型进行优化以加快训练速度，但由于异构设备资源有限，优化后的模型往往会导致结构分化，很难收敛。
鉴于上述异构性，联邦学习将面临几个方面的问题。首先，在进行边缘训练时，通信效率是必需的，因为客户端设备通常通过慢速连接(1Mbps)连接到中央聚合器。其次，客户必须是无状态的，因为通常情况下，所有的训练过程没有客户端设备参加一次以上。第三，跨客户收集的数据通常不是独立的和相同分布的。例如，当在智能手机用户的打字数据上训练下一词预测模型时，位于不同地理区域的客户从不同的分布生成数据，但分布之间存在足够的共性，我们仍然希望训练单一的模型；不同客户端设备可能存在的异构通信条件和计算能力也可能影响全局模型聚合；还存在对用户隐私的保护等。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种面向边缘智能的高效层次化参数传输时延优化方法，以期节约客户端设备等待边缘服务器聚合的时间。
为了实现上述目的，本发明采用的技术方案是：
一种面向边缘智能的高效层次化参数传输时延优化方法，包括如下步骤：
步骤1，中央服务器将数据处理模型训练参数发送至多个边缘服务器；
步骤2，每个客户端设备利用训练参数训练其数据处理模型，其中，在初始训练时，从其对应的边缘服务器下载训练参数；在非初始训练时，根据超时机制选择利用其之前的训练参数或从其对应的边缘服务器下载训练参数；
步骤3，各客户端设备将更新后的参数发送到其对应的边缘服务器；
步骤4，边缘服务器对客户端设备更新的参数进行局部聚合，再将局部聚合的参数发送到中央服务器，中央服务器对收集到的参数进行全局聚合。
在一个实施例中，所述步骤1，数据处理模型为神经网络，训练参数包括权重，梯度以及训练周期。
在一个实施例中，所述步骤2，客户端设备和边缘服务器上均设置超时机制，所述超时机制是指：当边缘服务器没有接收到其所管控的全部客户端设备的训练参数以致无法进行聚合时，客户端设备使用其之前的训练参数进行新一轮次的训练。
在一个实施例中，所述步骤3，边缘服务器所管控的全部客户端设备均完成一次训练参数更新，即完成了一轮迭代，每轮迭代后，边缘服务器所管控的全部客户端设备将更新得到的训练参数发送至对应的边缘服务器。
在一个实施例中，所述步骤4，边缘服务器记录其所管控的每一个客户端设备的迭代次数，待收到所有客户端设备同一迭代轮次得到的训练参数，将该迭代轮次的所有训练参数进行平均化，得到该边缘服务器在该迭代轮次的局部聚合训练参数。
在一个实施例中，所述中央服务器收到所有边缘服务器同一迭代轮次得到的局部聚合训练参数后，将该迭代轮次的所有局部聚合训练参数进行平均化，得到全局聚合训练参数，并将得到的全局聚合训练参数通过边缘服务器下发到各客户端设备。
在一个实施例中，所述中央服务器全局聚合时进行收敛。
与现有技术相比，本发明中客户端设备向边缘服务器发送参数时，在边缘服务器和客户端设备分别设置超时机制，从而更早地实现参数的汇聚，提高训练的效率，减少延时等待。
附图说明
图1为本发明流程示意图。
图2为深度学习模型上传示意图。
图3为本发明的实施例的示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的面向边缘智能的高效层次化分布式训练方法进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明所描述的架构，是客户端设备-边缘服务器-中央服务器三层架构，其中，一个中央服务器管控多个边缘服务器，一个边缘服务器管控多个客户端设备，一个边缘服务器只能聚合其所管控各客户端设备上传的参数，即，各边缘服务器之间不互通数据，以保证安全性。
示例地，在硬件上，中央服务器可以是云服务器或者其它具有较大计算能力的设备等；边缘服务器可以是高速缓存服务器、DNS服务器等。
而客户端设备一般可为手机、电脑以及其他智能穿戴设备等可入网的设备。
如图1所示，本发明面向边缘智能的高效层次化参数传输时延优化方法，包括如下步骤：
步骤1，中央服务器将数据处理模型训练参数下发至多个边缘服务器，以便客户端设备下载。
本发明中，数据处理模型指的是各客户端设备中的软件模型，在具体形式上可采用神经网络模型，例如部署在客户端设备上的Alex-Net，模型大小为233MB，包括24个网络层，其中有5个卷积层，3个全连接层，其训练参数一般包括权重、梯度以及训练周期等。
具体来说，在第一次训练时，初始的训练参数已经存储于中央服务器。从第二次训练开始，中央服务器将开始汇聚从边缘服务器上传的同一迭代轮次的训练参数，作为更新参数下发至边缘服务器。
步骤2，每个客户端设备利用训练参数训练其数据处理模型。
与步骤1相对应，在初始训练时，客户端设备仅拥有自身的数据，而没有训练所需要的参数，因此需要从其对应的边缘服务器下载训练参数。而在非初始训练时，根据超时机制选择利用其之前的训练参数或从其对应的边缘服务器下载训练参数。即，如果客户端设备在等待边缘服务器进行汇聚时，等待超过一定时间，那么意味着边缘服务器没有汇聚完成各个客户端设备上传的数据，客户端设备将使用其前几次的训练参数进行训练，等待边缘设备汇聚参数。
客户端设备在每轮迭代完成以后训练参数得到了更新，将更新后的训练参数发送到边缘服务器，由于设备的异构性，客户端设备训练的时间不同，传输训练参数的速度不同。如果边缘服务器单纯的等待聚合就会大大影响训练的效率。所以将在客户端设备和边缘服务器上设置超时机制，超时机制是指：当边缘服务器没有接收到其所管控的全部客户端设备的训练参数以致无法进行聚合时，客户端设备使用其之前的训练参数进行新一轮次的训练。
对于在客户端设备要训练数据所需要的参数，客户端设备获取训练参数有两种情况：一是每个客户端设备可以在规定时间内完成训练并将更新好的训练参数发送至边缘服务器，边缘服务器进行聚合后供客户端设备使用；二是客户端设备有部分可以按时发送更新的参数，在等待其他客户端设备上传更新的参数时，超出了等待时间，就使用自己之前的训练参数进行训练。这样可以更加高效的进行整体模型的训练。
步骤3，各客户端设备将更新后的参数发送到其对应的边缘服务器。
本发明中，定义边缘服务器所管控的全部客户端设备均完成一次训练参数更新为完成了一轮迭代，每轮迭代后，边缘服务器所管控的全部客户端设备将更新得到的训练参数发送至对应的边缘服务器。
步骤4，边缘服务器对客户端设备更新的参数进行局部聚合，再将局部聚合的参数发送到中央服务器，中央服务器对收集到的参数进行全局聚合，获得全局的参数发送回边缘服务器，边缘设备再下载这些参数进行本地更新。
在一个实施例中，边缘服务器记录其所管控的每一个客户端设备的迭代次数，待收到所有客户端设备同一迭代轮次得到的训练参数，将该迭代轮次的所有训练参数进行平均化，得到该边缘服务器在该迭代轮次的局部聚合训练参数。若边缘服务器在聚合时，没有接收到它所管控的全部客户端设备发来的参数，那么边缘服务器将会进行等待，直至全部客户端设备将参数发来后再聚合。同样地，中央服务器收到所有边缘服务器同一迭代轮次得到的局部聚合训练参数后，将该迭代轮次的所有局部聚合训练参数进行平均化，得到全局聚合训练参数，并将得到的全局聚合训练参数通过边缘服务器下发到各客户端设备。中央服务器在聚合边缘服务器发来的参数时，也将像边缘服务器一样，等待同一迭代轮次的参数全部上传才进行聚合，否则将一直等待直至参数全部上传。
全局聚合训练参数将被再次下发至各边缘服务器，然后继续执行步骤2，直至各客户端设备所训练模型的损失函数低于设定阈值，完成模型的训练。
本发明采用超时机制的机理在于，客户端设备在第N轮迭代更新的训练参数和小于第N轮的迭代更新的训练参数具有相似性，因此在边缘服务器未达成参数局部聚合时，客户端设备可以使用本地之前的训练参数进行模型训练，并且在某轮迭代更新训练参数后并不影响其收敛性。
为证明训练过程中第N轮迭代更新的更新的与第小于第N轮的迭代更新的训练参数相似性以及训练的收敛性，假设在迭代t时，客户端设备i只收到t-τ(t,i)及其之前的更新，此时计算：
如果允许的延迟τ足够大，那么所有客户端设备将持续计算梯度，而无需等待来自服务器的更新。通常，当x(t)接近一个驻点时，其变化很小。因此x(t-τ(t,i))将与x(t)相似，则s(t)是精确梯度的一个很好的近似。
假设梯度函数f的变化率有界，存在正常数Li，使得b，x，y∈X,且x-b＝y-b，
对所有的i和b′都成立。所以当集合的约束发生变化时，定义
可以得出：如果τ(t)有界，那么优化方法将以合适的学习率收敛。
假设
如果τ最大，也就是对于任意的t和i,τ(t,i)<τ，选择U(t)使得MtI≤U(t)，令∈>0，如果对于所有的t≥0，学习率
那么这个算法收敛到一个点。
在本发明的一个实例中，利用深度神经网络(DNN)模型Alex-Net，数据集采用ImageNet dataset，该数据集包括1400万张256*256的图像，共两万多个类别，从中抽取10个类别，每个类别抽取100张图片进行测试。
步骤1：客户端设备(GPU1：工作站ubuntu16.04；GPU2：工作站ubuntu16.04，采用相同的配置：Intel(R)Core(TM)i7-9700 CPU@3.00GHz 3.00GHz，内存：16GB，显卡NVIDIAGeForce RTX 2060，系统环境为ubuntu 16.04；树莓派1：4b+2G ubuntu 20.10。树莓派2：4b+2G ubuntu 20.10，树莓派3：4b+2G ubuntu 20.10，硬件为树莓派4b,4核的Arm Cortex-A72处理器，主频为1.5GHZ，内存：2GB，系统环境为ubuntu 20.10；)利用数据集对应的标签预处理数据集并加载，载入相关配置文件，例如用于配置网络模型的文件、用于提高准确率的均值文件等。根据边缘服务器(2个i5-3470(3.20GHz 3.20GHz)，显卡：GTX 1070，内存：8GB)和中央服务器的IP建立三层连接。
预处理后的数据集信息如下：
n01484850:great white shark,white shark,man-eater,man-eating shark,Carcharodon carcharias
n01491361:tiger shark,Galeocerdo cuvieri
n01494475:hammerhead,hammerhead shark
n01496331:electric ray,crampfish,numbfish,torpedo
n01498041:stingray
n01514668:cock
n01514859:hen
n01518878:ostrich,Struthio camelus
n01440764:tench,Tinca tinca
n01443537:goldfish,Carassius auratus。
步骤2：初始化完成以后，输入要识别的图片(即数据集中用于训练的图片)。Alex-Net模型共包括24个DNN层，其中有多个卷积层和relu层，还有三个全连接层，输入输出层各一个，如图2中Alex-Net模型的示意图，Alex-Net模型层和层之间有输入输出的对应关系，例如conv1需要接收数据层的数据才能开始运算，norm1需要利用conv1的输出结果作为输入，以此类推。
如图3所示为建立的实例执行图，硬件具体配置如下：第一类边缘设备：i5-5200U(2.20GHz 2.20GHz)，没有GPU，内存：8GB,，系统为ubuntu 16.04 LTS；第二类边缘设备：树莓派4b+2G，系统为ubuntu mate。边缘服务器i5-3470(3.20GHz 3.20GHz)，显卡：GTX 1070，内存：8GB数据中心服务器i7-9700(3.00GHz 3.00GHz)，显卡：RTX 2060，内存：16GB,系统为ubuntu16.04 LTS。
本实施例共进行两类迭代，首先是初始状态的迭代。在初始状态时，客户端设备仅拥有各自的数据，中央服务器拥有初始训练参数(例如神经网络中各层的权重和偏置值、学习率、超时机制中的阈值等)。训练开始时，中央服务器先将训练参数下发至每个边缘服务器，然后客户端设备从对应的边缘服务器上下载训练所需要的参数，进行训练，训练结束后完成参数更新，将参数上传至边缘服务器，边缘服务器将这些客户端设备上传的参数进行平均化，方法例如：
其中
表示k个客户端设备第t+1次的参数，再进行局部聚合，方法例如：
接着将聚合好的参数上传至中央服务器，中央服务器将这些边缘服务器聚合好的参数再次进行平均化，方法例如：
之后再进行聚合，方法例如：
这样就完成一次参数更新。
接下来进行之后的迭代，中央服务器将全局聚合训练参数下发至边缘服务器，客户端设备将从边缘服务器下载这些更新的参数，再次进行训练。此时，将会出现训练速度快的客户端设备面临长时间的等待，等待更新参数的聚合。由于客户端设备具有异构性，它们在训练数据时时间不相同，而边缘服务器在汇聚参数时遵循需将对应客户端设备的同一迭代轮次训练更新的参数汇聚，所以为了避免训练速度较快的客户端设备长时间的等待，提出超时机制。也就是说，当客户端设备从边缘服务器等待下载新的参数时，如果等待时间超过一个值，那么客户端设备将利用自身之前的参数进行下一轮次的训练，而不是一直等下去，待边缘服务器完成汇聚，中央服务器下发更新的参数后，再将客户端设备上该轮次的参数进行更新。
利用本发明，在多层结构下训练Alexnet模型时，500轮消的执行时间为2103.48s，而对比实验(FedAvg算法)中的执行时间为2296.1s。在训练的过程中本发明的方案充分利用了等待时延，在等待的过程中训练，大大提高了训练效率，所以训练的时间更短，尤其是在DNN模型参数较多时，传输时延过高很容易超过阈值，得到的延时改善更大。
以上，对本发明的具体实施方式做了具体描述，但是不应该认定本发明的具体实施只局限于这些说明。对于本发明所属领域的普通技术人员来说，在不脱离本发明构思和由权利要求书所限定的保护范围的前提之下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (8)
1.一种面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，包括如下步骤：
步骤1，中央服务器将数据处理模型训练参数发送至多个边缘服务器；
步骤2，每个客户端设备利用训练参数训练其数据处理模型，其中，在初始训练时，从其对应的边缘服务器下载训练参数；在非初始训练时，根据超时机制选择利用其之前的训练参数或从其对应的边缘服务器下载训练参数；
步骤3，各客户端设备将更新后的参数发送到其对应的边缘服务器；
步骤4，边缘服务器对客户端设备更新的参数进行局部聚合，再将局部聚合的参数发送到中央服务器，中央服务器对收集到的参数进行全局聚合。
2.根据权利要求1所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，所述步骤1，数据处理模型为神经网络，训练参数包括权重，梯度以及训练周期。
3.根据权利要求1所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，所述步骤2，客户端设备和边缘服务器上均设置超时机制，所述超时机制是指：当边缘服务器没有接收到其所管控的全部客户端设备的训练参数以致无法进行聚合时，客户端设备使用其之前的训练参数进行新一轮次的训练。
4.根据权利要求1所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，所述步骤3，边缘服务器所管控的全部客户端设备均完成一次训练参数更新，即完成了一轮迭代，每轮迭代后，边缘服务器所管控的全部客户端设备将更新得到的训练参数发送至对应的边缘服务器。
5.根据权利要求4所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，所述步骤4，边缘服务器记录其所管控的每一个客户端设备的迭代次数，待收到所有客户端设备同一迭代轮次得到的训练参数，将该迭代轮次的所有训练参数进行平均化，得到该边缘服务器在该迭代轮次的局部聚合训练参数。
6.根据权利要求1或5所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，各边缘服务器之间不互通数据。
7.根据权利要求1所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，所述中央服务器收到所有边缘服务器同一迭代轮次得到的局部聚合训练参数后，将该迭代轮次的所有局部聚合训练参数进行平均化，得到全局聚合训练参数，并将得到的全局聚合训练参数通过边缘服务器下发到各客户端设备。
8.根据权利要求1所述面向边缘智能的高效层次化参数传输时延优化方法，其特征在于，所述中央服务器全局聚合时进行收敛。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068559.2A CN114462573B (zh) | 2022-01-20 | 2022-01-20 | 一种面向边缘智能的高效层次化参数传输时延优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068559.2A CN114462573B (zh) | 2022-01-20 | 2022-01-20 | 一种面向边缘智能的高效层次化参数传输时延优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114462573A true CN114462573A (zh) | 2022-05-10 |
| CN114462573B CN114462573B (zh) | 2023-11-14 |
Family
ID=81409452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210068559.2A Active CN114462573B (zh) | 2022-01-20 | 2022-01-20 | 一种面向边缘智能的高效层次化参数传输时延优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114462573B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117010485A (zh) * | 2023-10-08 | 2023-11-07 | 之江实验室 | 边缘场景下的分布式模型训练系统及梯度规约方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200027033A1 (en) * | 2018-07-19 | 2020-01-23 | Adobe Inc. | Updating Machine Learning Models On Edge Servers |
| CN112261137A (zh) * | 2020-10-22 | 2021-01-22 | 江苏禹空间科技有限公司 | 基于联合学习的模型训练方法及系统 |
| CN112286666A (zh) * | 2020-11-17 | 2021-01-29 | 重庆邮电大学 | 基于回调机制的细粒度数据流可靠卸载方法 |
| US20210073639A1 (en) * | 2018-12-04 | 2021-03-11 | Google Llc | Federated Learning with Adaptive Optimization |
| CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
| CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算系统及方法 |
| CN113177367A (zh) * | 2021-05-28 | 2021-07-27 | 北京邮电大学 | 高能效的联邦学习方法、装置、边缘服务器及用户设备 |
| CN113221470A (zh) * | 2021-06-10 | 2021-08-06 | 南方电网科学研究院有限责任公司 | 一种用于电网边缘计算系统的联邦学习方法及其相关装置 |
| CN113469325A (zh) * | 2021-06-09 | 2021-10-01 | 南京邮电大学 | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 |
| CN113723619A (zh) * | 2021-08-31 | 2021-11-30 | 南京大学 | 一种基于训练阶段感知策略的联邦学习训练方法 |
-
2022
- 2022-01-20 CN CN202210068559.2A patent/CN114462573B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200027033A1 (en) * | 2018-07-19 | 2020-01-23 | Adobe Inc. | Updating Machine Learning Models On Edge Servers |
| US20210073639A1 (en) * | 2018-12-04 | 2021-03-11 | Google Llc | Federated Learning with Adaptive Optimization |
| CN112261137A (zh) * | 2020-10-22 | 2021-01-22 | 江苏禹空间科技有限公司 | 基于联合学习的模型训练方法及系统 |
| CN112286666A (zh) * | 2020-11-17 | 2021-01-29 | 重庆邮电大学 | 基于回调机制的细粒度数据流可靠卸载方法 |
| CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
| CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算系统及方法 |
| CN113177367A (zh) * | 2021-05-28 | 2021-07-27 | 北京邮电大学 | 高能效的联邦学习方法、装置、边缘服务器及用户设备 |
| CN113469325A (zh) * | 2021-06-09 | 2021-10-01 | 南京邮电大学 | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 |
| CN113221470A (zh) * | 2021-06-10 | 2021-08-06 | 南方电网科学研究院有限责任公司 | 一种用于电网边缘计算系统的联邦学习方法及其相关装置 |
| CN113723619A (zh) * | 2021-08-31 | 2021-11-30 | 南京大学 | 一种基于训练阶段感知策略的联邦学习训练方法 |
Non-Patent Citations (6)
| Title |
|---|
| WANG ZHAOHANG等: "Adaptive Asynchronous Federated Learning for Edge Intelligence", 《2021 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND INTELLIGENT SYSTEMS ENGINEERING (MLISE)》, pages 285 - 289 * |
| 刘继军等: "MEC中资源分配与卸载决策联合优化策略", 《计算机科学与探索》, vol. 15, no. 5, pages 848 - 858 * |
| 尧聪聪: "基于连续双向拍卖机制的边缘计算任务卸载策略算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 5, pages 136 - 1043 * |
| 徐梦炜等: "面向移动终端智能的自治学习系统", 《软件学报》, vol. 31, no. 10, pages 3004 - 3018 * |
| 江雨虹: "边缘计算中高效的自适应联邦学习方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 140 - 413 * |
| 蔡玲双: "多用户协同的移动边缘计算资源优化研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 136 - 1752 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117010485A (zh) * | 2023-10-08 | 2023-11-07 | 之江实验室 | 边缘场景下的分布式模型训练系统及梯度规约方法 |
| CN117010485B (zh) * | 2023-10-08 | 2024-01-26 | 之江实验室 | 边缘场景下的分布式模型训练系统及梯度规约方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114462573B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | FedCPF: An efficient-communication federated learning approach for vehicular edge computing in 6G communication networks | |
| Sun et al. | Lazily aggregated quantized gradient innovation for communication-efficient federated learning | |
| CN106297774B (zh) | 一种神经网络声学模型的分布式并行训练方法及系统 | |
| CN112862011A (zh) | 基于联邦学习的模型训练方法、装置及联邦学习系统 | |
| CN114116198A (zh) | 一种移动车辆的异步联邦学习方法、系统、设备及终端 | |
| CN113435472A (zh) | 车载算力网络用户需求预测方法、系统、设备、介质 | |
| Liu et al. | Fedpa: An adaptively partial model aggregation strategy in federated learning | |
| Shi et al. | Toward energy-efficient federated learning over 5G+ mobile devices | |
| Wei et al. | Computation offloading over multi-UAV MEC network: A distributed deep reinforcement learning approach | |
| Jiang et al. | Fedmp: Federated learning through adaptive model pruning in heterogeneous edge computing | |
| CN114514519A (zh) | 使用异构模型类型和架构的联合学习 | |
| Tuor et al. | Demo abstract: Distributed machine learning at resource-limited edge nodes | |
| CN116685985A (zh) | 具有多样化反馈的联合学习系统与方法 | |
| CN113469325A (zh) | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 | |
| Zhou et al. | TEA-fed: time-efficient asynchronous federated learning for edge computing | |
| CN115271099A (zh) | 一种支持异构模型的自适应个性化联邦学习方法 | |
| WO2023185485A1 (zh) | 基于自适应分割联邦学习的模型训练方法和人脸识别方法 | |
| WO2022217210A1 (en) | Privacy-aware pruning in machine learning | |
| CN116681126B (zh) | 一种自适应等待时长的异步加权联邦学习方法 | |
| CN113392919A (zh) | 基于客户端选择的联邦注意力dbn协同检测系统 | |
| CN114462573B (zh) | 一种面向边缘智能的高效层次化参数传输时延优化方法 | |
| Jiang et al. | Computation and communication efficient federated learning with adaptive model pruning | |
| CN116542322A (zh) | 一种联邦学习方法 | |
| Chen et al. | Online extreme learning machine design for the application of federated learning | |
| CN116187474A (zh) | 一种横向联邦学习中参与方的贡献度评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |