CN111860581A - 一种基于模型离散度的联邦学习训练方法 - Google Patents

一种基于模型离散度的联邦学习训练方法 Download PDF

Info

Publication number
CN111860581A
CN111860581A CN202010527841.3A CN202010527841A CN111860581A CN 111860581 A CN111860581 A CN 111860581A CN 202010527841 A CN202010527841 A CN 202010527841A CN 111860581 A CN111860581 A CN 111860581A
Authority
CN
China
Prior art keywords
model
central server
client
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010527841.3A
Other languages
English (en)
Inventor
朱洪波
周星光
赵海涛
陈志远
于建国
刘洪久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010527841.3A priority Critical patent/CN111860581A/zh
Publication of CN111860581A publication Critical patent/CN111860581A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于模型离散度的联邦学习训练方法。涉及边缘计算中的人工智能领域，本发明在现实环境中数据往往不平均且呈非独立同分布，数据的不平衡分布会使各个客户端上传到中央服务器的模型更新存在着不同程度的差异，因此随机挑选客户端参与训练难以训练出高质量的模型。同时，数据的不平衡分布还会放大过拟合造成的影响，严重时导致模型发散。该方法为了在数据不平衡的情况下训练出高质量的模型，采用动态损失函数的更新策略来提高模型的稳定性，并根据模型重要性来选择客户端，从而提高模型的准确度和收敛速度。同时在这两者基础上选取较大的遍历次数和适当的正则化参数μ，使模型的性能达到最佳。

Description

一种基于模型离散度的联邦学习训练方法
技术领域
本发明涉及边缘计算中的人工智能领域，具体涉及一种基于模型离散度的联邦学习方法，特别是涉及一种在物联网边缘环境下基于模型离散度的联邦学习训练方法。
背景技术
随着物联网和大数据时代的到来，大量的智能设备例如传感器等被广泛应用于日常生活中，这些设备处于无线网络的边缘，是机器学习和深度学习获取训练数据的主要途径。近年来人工智能技术的飞速发展得益于利用了这些丰富的数据进行训练。但是随着数据量的急剧增长，传统的机器学习算法的弊端越发明显。它把收集到的所有数据都上传到服务器端进行训练，而现有设备的硬件已无法提供与之相匹配的计算能力。分布式学习算法很好地解决了这个问题，它使用多个服务器来共同完成一个训练任务，然后再对各个服务器训练出来的模型进行整合。然而，收集到的数据仍然要先存放到云端服务器，再下发到各个子服务器中进行训练。这意味着需要将大量的数据与其他设备进行共享，从而带来一个致命的隐患——用户的隐私安全问题，物联网设备常常在没有得到用户允许的情况下私自收集用户的数据。近年来发生的多起数据泄露和滥用事件已经表明，保护终端用户的隐私是人工智能发展过程中不可忽视的问题。为此，需要开发一种隐私保护的协作学习，在使用海量数据进行训练的同时兼顾隐私安全问题。
谷歌于2016年提出了联邦学习算法。与传统的在数据中心运行的机器学习方法形成鲜明对比的是，该算法通常在网络边缘运行，并将模型直接带到设备上进行训练，其中只有训练产生的参数应发送到中央服务器上。这种隐私保护协作学习的模式通过下列简单的三步协议即可实现。第一步，所有参与训练的客户从服务器下载最新版的共享模型到终端。接下来，客户使用随机梯度下降(SGD)的算法基于他们的本地训练数据改进下载的模型。最后，所有参与的客户将他们本地训练后的模型权重上传返回到服务器，它们在那里被收集并聚合形成一个新的共享模型。这些步骤重复执行，直到满足某个收敛标准为止。遵循此协议时，训练数据永远不会离开本地设备，除非模型更新被发送。这种在终端做端侧训练的算法意味着不再需要收集、存储数据到云端，从而极大地降低了个人隐私信息泄露的风险。
然而，目前的联邦学习算法面临着数据不平衡分布的挑战。联邦学习的模型只有在呈独立同分布(IID)的数据中才表现出较好的性能，而当数据呈非独立同分布(non-IID)时，模型的性能出现大幅下降甚至无法收敛。在现实环境中，独立同分布的数据几乎是不存在的，数据在设备间往往是不平均的且不独立同分布，因为训练的数据由不同的设备从不同的用户身上收集。因此，单个用户的本地数据不具有代表性，从而使各个用户训练出来的模型权重存在较大的差异，中央服务器在整合各个用户的模型参数时十分具有难度，从而使模型的收敛程度受到影响。这个不足需要通过优化联邦学习的算法来解决。
发明内容
针对上述问题，本发明提供了一种基于模型离散度的联邦学习训练方法，旨在解决数据不平衡情况下联邦学习性能出现明显下降的问题。
本发明的技术方案是：一种基于模型离散度的联邦学习训练方法，具体步骤包括如下：
步骤(1.1)：各客户端从中央服务器下载最新的共享模型；
步骤(1.2)：在随机梯度下降算法下，客户端使用基于本地训练数据改进下载的共享模型,从而获得本地模型；
步骤(1.3)：各客户端基于本地模型的训练结果计算出模型更新Δθm(t)和Δθm(t)的L2范数||Δθm(t)||2，并向中央服务器上传||Δθm(t)||2；
步骤(1.4)：中央服务器收集各客户端发送的||Δθm(t)||2，并根据||Δθm(t)||2的大小从中选取前K个最大的||Δθm(t)||2，并向K个||Δθm(t)||2所对应的客户端分配信道；
步骤(1.5)：对应的K个客户端向中央服务器发送模型更新Δθm(t)；
步骤(1.6)：中央服务器将收集到的模型更新Δθm(t)进行加权平均，从而产生新的共享模型；
步骤(1.7)：重复上述步骤，直至模型收敛。
进一步的，步骤(1.1)中所述最新的共享模型：是指一次客户端模型更新的上传到从中央服务器下载一次共享模型为一次通信轮的联邦学习运算，中央服务器收集到所有的模型更新后，都会对上一轮的共享模型进行更新，更新后的共享模型可以被所有的客户端下载。
进一步的，步骤(1.2)中所述的本地训练数据：是指训练数据始终存储在客户端。
进一步的，步骤(1.3)中所述的模型更新Δθm(t)：是指本地模型的损失函数的梯度更新。
进一步的，步骤(1.5)中所述的K个客户端：是指参与联邦学习训练的K个客户，K的大小可根据中央服务器的运算处理能力和所处网络的通信质量而定。
本发明的有益效果是：本发明采用的动态损失函数添加了正则项，避免了过拟合，使模型的收敛过程更加平稳；本发明根据模型重要性选择用户，提高了模型的准确性和收敛速度；本发明选取了较大的遍历次数(epoch)和适当的正则化参数μ，使模型的性能达到最优。
附图说明
图1为本发明的结构流程图；
图2为本发明中非独立同分布(non-IID)数据分布下不同用户选择策略对模型性能的影响示意图；
图3为本发明中非独立同分布(non-IID)数据分布下增大epoch对模型性能影响的示意图；
图4为本发明中非独立同分布(non-IID)数据分布下增大μ对模型性能影响的示意图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面将对本发明中进行进一步的叙述；显而易见地，下面描述中的仅仅是一部分的实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些将本发明所述的技术方案应用于其它类似情景；为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：
如图所述；一种基于模型离散度的联邦学习训练方法，具体步骤包括如下：
步骤(1.1)：各客户端从中央服务器下载最新的共享模型；
步骤(1.2)：在随机梯度下降算法下，客户端使用基于本地训练数据改进下载的共享模型,从而获得本地模型；
步骤(1.3)：各客户端基于本地模型的训练结果计算出模型更新Δθm(t)和Δθm(t)的L2范数||Δθm(t)||2，并向中央服务器上传||Δθm(t)||2；
所述的||Δθm(t)||2即模型的重要性；
步骤(1.4)：中央服务器收集各客户端发送的||Δθm(t)||2，并根据||Δθm(t)||2的大小从中选取前K个最大的||Δθm(t)||2，并向K个||Δθm(t)||2所对应的客户端分配信道；
步骤(1.5)：对应的K个客户端向中央服务器发送模型更新Δθm(t)；
步骤(1.6)：中央服务器将收集到的模型更新Δθm(t)进行加权平均，从而产生新的共享模型；
步骤(1.7)：重复上述步骤，直至模型收敛。
进一步的，步骤(1.1)中所述最新的共享模型：是指一次客户端模型更新的上传到从中央服务器下载一次共享模型为一次通信轮的联邦学习运算，中央服务器收集到所有的模型更新后，都会对上一轮的共享模型进行更新，更新后的共享模型可以被所有的客户端下载。
进一步的，步骤(1.2)中所述的本地训练数据：是指训练数据始终存储在客户端；且在训练过程中训练数据永远不离开客户端。
进一步的，步骤(1.3)中所述的模型更新Δθm(t)：是指本地模型的损失函数的梯度更新。
进一步的，步骤(1.5)中所述的K个客户端：是指参与联邦学习训练的K个客户，K的大小可根据中央服务器的运算处理能力和所处网络的通信质量而定。
进一步的：本地训练数据在客户端之间不平均，且呈非独立同分布。
进一步的：通过模型重要性来选择参与训练的客户端，||Δθm(t)||2越大，说明该客户的本地模型越重要。
进一步的：随机梯度下降算法是一种迭代算法，经过一定数目的迭代后可使本地模型的性能达到最优。
进一步的：设置了较大的遍历次数(epoch)和适当的正则化参数μ。
如图1所示，本发明的方法具体如下：
步骤1：从中央服务器下载最新版的共享模型到终端；这个过程不涉及数据的传输，因而设备无法获取用户的隐私信息；
步骤2：设备使用随机梯度下降(SGD)的算法基于他们的本地训练数据改进下载的模型。本发明采用同步小批量随机梯度下降(MBGD)作为本地客户端的优化算法；
随机梯度下降算法是一种迭代算法，遍历次数(epoch)的选取对本地模型的性能有着重要影响；设备的遍历次数越合适，越有利于本地模型的收敛；过大的遍历次数(epoch)会造成过拟合现象，使本地模型远离初始的共享模型，从而可能导致共享模型发散；当数据不平衡分布时，这一问题更加明显；为了抑制设备中不同程度的过拟合现象，需要设计动态的全局损失函数更新策略；
本发明中采用正则化的思想，对机器学习的损失函数进行修改，在其后添加一个L2范数作为正则项，具体公式为：
Figure BDA0002534284830000051
其中，wt是设备从中央服务器下载的共享模型参数，w是本地训练产生的模型参数，μ是正则化参数，用来控制正则化项的限制程度，
适当的μ可以增加整合过程中模型的稳定性，并且迫使原本发散的模型收敛，通过最小化该损失函数的值，可以获得最优解，从而获得高质量的模型；
步骤3：由于数据的不平衡分布，各设备训练出的模型质量参差不齐，因此联邦平均等算法通过随机选择客户参与训练具有很大的盲目性，如果服务器收集到的梯度更新都比较小，就会使得聚合模型的收敛速度和准确率大幅下降，对于这个问题可以通过改变用户选择策略来解决；
假设所有设备都具有相同的工作量，即相同数目的遍历次数(epoch)；本发明采用根据客户端的模型重要性来选择参与训练的用户，其本质是根据梯度来选择用户；在每一轮通信中，用户向中央服务器发送其模型更新：
Δθm(t)＝θm(t+1)-θ(t)
其中，θ(t)表示用户从服务器端获得的模型参数向量，即参数初始的梯度；θm(t+1)表示第m个用户在第τ次本地更新后的模型参数向量，即更新后的参数的梯度；两者的差为模型更新(梯度更新)，Δθm(t)的模越大，表示沿该梯度的负方向损失函数的值下降地越快，该用户的训练模型显得越重要；为此，本发明通过对梯度更新求L2范数来获得模型的重要性；在通信过程中，各用户计算出梯度更新Δθm(t)后，向中央服务器发送||Δθm(t)||2；
步骤4：考虑到设备间计算能力和存储能力等差别，设一个预定义的时间窗口用于收集模型更新，超出时间阈值的设备将被服务器抛弃，服务器在收集到的所有||Δθm(t)||2中挑选出值最大的K个，K即对应参与训练的客户数量：
M(t)＝max[K]{||Δθ1(t)||2,.....,||ΔθM(t)||2}
然后K个最大的||Δθm(t)||2所对应的用户被选做参与训练的用户，它们向中央服务器上传模型更新；
步骤5：中央服务器对这些模型更新进行平均，然后更新共享模型，至此一个通信轮的联邦学习运算完成，各设备再从服务器下载最新的共享模型。
本发明还基于Mnist数据集在TensorFlow框架对设计的动态损失函数和用户选择策略进行了实验验证，结果包括：
图2为非独立同分布(non-IID)数据下不同用户选择策略对模型性能的影响示意图：从图2可以看出，随机选取客户的策略在收敛过程中波动较大，稳定性较差，且收敛速度较慢，直到100个通信轮数以后才收敛，最终的训练精度约为78％；
而根据模型重要性来选择用户使模型的稳定性和收敛速度均得到提升，在通信轮数大于30时便开始收敛；最终训练精度约为80％，较随机选择用户策略提高2％，模型的性能得到很大改善；由此可见，根据模型重要性选择用户能够提升模型的准确度。
图3和图4分别为非独立同分布(non-IID)数据分布下增大遍历次数E和正则化参数μ对模型性能影响的示意图：从图3、4得出，当E由1增加至50时，随机选择用户和根据模型重要性选择用户的曲线收敛速度加快，但同时也产生了不同程度的波动，其中，随机选择用户的曲线波动较大，说明模型复杂度上升，过拟合现象比较严重；虽然根据重要性选择用户的曲线波动变大，但是最终的训练精度变化不大，说明该用户选择策略对遍历次数过大造成的影响有抑制作用；引入正则项后，所有曲线的波动程度减小，过拟合现象得到一定程度缓解，说明μ>0时可以迫使模型收敛，基于动态损失函数进行学习能够提高模型稳定性；
实验表明，μ＝0，E＝1的情况收敛较慢，μ＝0，E＝50的情况收敛不稳定，当μ＝0.2，E＝50时，模型获得更快更稳定的收敛。
最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.一种基于模型离散度的联邦学习训练方法，其特征在于，具体步骤包括如下：
步骤(1.1)：各客户端从中央服务器下载最新的共享模型；
步骤(1.2)：在随机梯度下降算法下，客户端使用基于本地训练数据改进下载的共享模型,从而获得本地模型；
步骤(1.3)：各客户端基于本地模型的训练结果计算出模型更新Δθm(t)和Δθm(t)的L2范数||Δθm(t)||2，并向中央服务器上传||Δθm(t)||2；
步骤(1.4)：中央服务器收集各客户端发送的||Δθm(t)||2，并根据||Δθm(t)||2的大小从中选取前K个最大的||Δθm(t)||2，并向K个||Δθm(t)||2所对应的客户端分配信道；
步骤(1.5)：对应的K个客户端向中央服务器发送模型更新Δθm(t)；
步骤(1.6)：中央服务器将收集到的模型更新Δθm(t)进行加权平均，从而产生新的共享模型；
步骤(1.7)：重复上述步骤，直至模型收敛。
2.根据权利要求1所述的一种基于模型离散度的联邦学习训练方法，其特征在于，步骤(1.1)中所述最新的共享模型：是指一次客户端模型更新的上传到从中央服务器下载一次共享模型为一次通信轮的联邦学习运算，中央服务器收集到所有的模型更新后，都会对上一轮的共享模型进行更新，更新后的共享模型可以被所有的客户端下载。
3.根据权利要求1所述的一种基于模型离散度的联邦学习训练方法，其特征在于，步骤(1.2)中所述的本地训练数据：是指训练数据始终存储在客户端。
4.根据权利要求1所述的一种基于模型离散度的联邦学习训练方法，其特征在于，步骤(1.3)中所述的模型更新Δθm(t)：是指本地模型的损失函数的梯度更新。
5.根据权利要求1所述的一种基于模型离散度的联邦学习训练方法，其特征在于，步骤(1.5)中所述的K个客户端：是指参与联邦学习训练的K个客户，K的大小可根据中央服务器的运算处理能力和所处网络的通信质量而定。
CN202010527841.3A 2020-06-11 2020-06-11 一种基于模型离散度的联邦学习训练方法 Withdrawn CN111860581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010527841.3A CN111860581A (zh) 2020-06-11 2020-06-11 一种基于模型离散度的联邦学习训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010527841.3A CN111860581A (zh) 2020-06-11 2020-06-11 一种基于模型离散度的联邦学习训练方法

Publications (1)

Publication Number Publication Date
CN111860581A true CN111860581A (zh) 2020-10-30

Family

ID=72986437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010527841.3A Withdrawn CN111860581A (zh) 2020-06-11 2020-06-11 一种基于模型离散度的联邦学习训练方法

Country Status (1)

Country Link
CN (1) CN111860581A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348204A (zh) * 2020-11-05 2021-02-09 大连理工大学 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
CN112464278A (zh) * 2020-11-24 2021-03-09 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112637883A (zh) * 2020-12-09 2021-04-09 深圳智芯微电子科技有限公司 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习系统
CN113033082A (zh) * 2021-03-10 2021-06-25 中国科学技术大学苏州高等研究院 基于异构算力感知的去中心化联邦学习框架及建模方法
CN113255004A (zh) * 2021-06-16 2021-08-13 大连理工大学 一种安全且高效的联邦学习内容缓存方法
CN113469370A (zh) * 2021-06-22 2021-10-01 河北工业大学 一种基于联邦增量学习的工业物联网数据共享方法
CN113691594A (zh) * 2021-08-11 2021-11-23 杭州电子科技大学 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN113792856A (zh) * 2021-09-09 2021-12-14 电子科技大学 基于vae医疗保健联邦学习框架的确定方法
CN113791895A (zh) * 2021-08-20 2021-12-14 北京工业大学 基于联邦学习的边缘计算及资源优化方法
EP4231209A4 (en) * 2020-11-30 2023-12-20 Huawei Technologies Co., Ltd. FEDERATED LEARNING METHOD, DEVICE AND SYSTEM

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348204A (zh) * 2020-11-05 2021-02-09 大连理工大学 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN112464278A (zh) * 2020-11-24 2021-03-09 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN112464278B (zh) * 2020-11-24 2023-07-21 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
EP4231209A4 (en) * 2020-11-30 2023-12-20 Huawei Technologies Co., Ltd. FEDERATED LEARNING METHOD, DEVICE AND SYSTEM
CN112637883A (zh) * 2020-12-09 2021-04-09 深圳智芯微电子科技有限公司 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
CN112637883B (zh) * 2020-12-09 2023-04-28 深圳智芯微电子科技有限公司 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
CN112488322B (zh) * 2020-12-15 2024-02-13 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN113033082A (zh) * 2021-03-10 2021-06-25 中国科学技术大学苏州高等研究院 基于异构算力感知的去中心化联邦学习框架及建模方法
CN113033082B (zh) * 2021-03-10 2023-06-06 中国科学技术大学苏州高等研究院 基于异构算力感知的去中心化联邦学习框架及建模方法
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习系统
CN113255004A (zh) * 2021-06-16 2021-08-13 大连理工大学 一种安全且高效的联邦学习内容缓存方法
CN113469370A (zh) * 2021-06-22 2021-10-01 河北工业大学 一种基于联邦增量学习的工业物联网数据共享方法
CN113691594B (zh) * 2021-08-11 2023-02-07 杭州电子科技大学 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN113691594A (zh) * 2021-08-11 2021-11-23 杭州电子科技大学 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN113791895A (zh) * 2021-08-20 2021-12-14 北京工业大学 基于联邦学习的边缘计算及资源优化方法
CN113792856B (zh) * 2021-09-09 2022-06-10 电子科技大学 基于vae医疗保健联邦学习框架的确定方法
CN113792856A (zh) * 2021-09-09 2021-12-14 电子科技大学 基于vae医疗保健联邦学习框架的确定方法

Similar Documents

Publication Publication Date Title
CN111860581A (zh) 一种基于模型离散度的联邦学习训练方法
Hu et al. Decentralized federated learning: A segmented gossip approach
CN113191503B (zh) 一种非共享数据的去中心化的分布式学习方法及系统
CN110418353B (zh) 一种基于粒子群算法的边缘计算服务器放置方法
CN111091199A (zh) 一种基于差分隐私的联邦学习方法、装置及存储介质
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
WO2021227508A1 (zh) 基于深度强化学习的工业5g动态多优先级多接入方法
CN114584581B (zh) 面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法
Conway-Jones et al. Demonstration of federated learning in a resource-constrained networked environment
CN112788605A (zh) 基于双延迟深度确定性策略边缘计算资源调度方法和系统
CN111224905B (zh) 一种大规模物联网中基于卷积残差网络的多用户检测方法
CN113691594B (zh) 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN115688913A (zh) 一种云边端协同个性化联邦学习方法、系统、设备及介质
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
Mitra et al. Online federated learning
CN110659745A (zh) 一种具有动态学习速率边界的分布式自适应矩估计方法
WO2023031544A1 (fr) Procédé et système de configuration de réseaux de neurones d'un ensemble de noeuds d'un réseau de communication
CN114465900B (zh) 基于联邦边缘学习的数据共享时延优化方法及装置
CN114301910B (zh) 一种物联网环境下的云边协同计算任务卸载方法
CN117009053A (zh) 边缘计算系统的任务处理方法及相关设备
CN116629305A (zh) 基于粒子群算法的联邦学习优化方法及装置
CN116610434A (zh) 面向分层联邦学习系统的资源优化方法
CN117421115A (zh) 一种集群驱动的物联网环境下资源受限的联邦学习客户端选择方法
CN110768827B (zh) 一种基于群智能算法的任务卸载方法
CN115150288B (zh) 一种分布式通信系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication