CN114422605A - 一种基于联邦学习的通信梯度自适应压缩方法 - Google Patents
一种基于联邦学习的通信梯度自适应压缩方法 Download PDFInfo
- Publication number
- CN114422605A CN114422605A CN202210031546.8A CN202210031546A CN114422605A CN 114422605 A CN114422605 A CN 114422605A CN 202210031546 A CN202210031546 A CN 202210031546A CN 114422605 A CN114422605 A CN 114422605A
- Authority
- CN
- China
- Prior art keywords
- gradient
- nodes
- node
- self
- checking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 37
- 238000004891 communication Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000006835 compression Effects 0.000 title claims abstract description 22
- 238000007906 compression Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及一种基于联邦学习的通信梯度自适应压缩方法，属于移动通信领域。该方法包括：计算节点梯度参数：联邦学习设备端使用本地数据集进行任务训练，并计算该节点的梯度参数；设计一种梯度自检方式：将本轮所有节点的梯度参数汇总至累计梯度池中，并根据累计梯度池与历史参数信息计算当前轮次阈值；执行节点梯度自检：所有节点执行梯度自检公式，满足条件的节点则参与本轮联邦迭代，不满足条件则继续在本地累计梯度。本发明可以减少设备端与中心服务器之间的冗余通信，有效降低通信开销。
Description
技术领域
本发明属于移动通信领域，涉及一种基于联邦学习的通信梯度自适应压缩方法。
背景技术
随着5G网络的快速发展，工业物联网(IIoT)中边缘设备的广泛部署催生了各种边缘计算的新兴应用。但传统的集中模型训练方法需要从工业物联网设备(如工业网关)收集大量原始数据，许多用户并不愿意共享信息来构建一个共有模型，并且上传大量的原始数据也进一步造成了数据隐私泄露的风险。联邦学习(Federated Learning,FL)作为一种新兴的分布式学习范式，可以有效地解决上述问题。
然而，传统的两层FL架构，即云-端架构，由于参数传输过多，数据量集中上传至云端，并且大部分移动设备本身电量与计算资源有限，因此较大的通信开销加剧了通信瓶颈，导致了骨干网通信开销过高。针对联邦学习过程中通信开销过大的问题，主要的解决思路通常以降低梯度交换通信频率以及降低单轮通信上传总比特数入手，使用降低通信频率的模型优化算法的确可以有效降低联邦学习的通信开销，但同时大大增加了系统算法复杂度，并且由于边缘设备自身计算资源与电量受限，因此这种优化方式局限性较大，不能广泛地应用。
现有的主要优化方案均集中于通信频率的优化，但实际上并不能在工业环境中广泛应用，因此亟需一类能够降低通信数据总量的方法来解决联邦学习中通信开销过大的方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于联邦学习的通信梯度自适应压缩方法，减少设备端与中心服务器之间的冗余通信，有效降低联邦学习通信开销。
为达到上述目的，本发明提供如下技术方案：
一种基于联邦学习的通信梯度自适应压缩方法，具体包括以下步骤：
S1：中心服务器初始化全局参数，并下发至各设备端节点，联邦学习设备端使用本地数据集进行任务训练，并计算该节点的梯度参数；
S2：设计一种梯度自检方式：将本轮所有节点的梯度参数汇总至累计梯度池中，并根据累计梯度池与历史参数信息计算当前轮次阈值；
S3：执行节点梯度自检：所有节点执行梯度自检公式，满足条件的节点则参与本轮联邦迭代，不满足则继续执行本地梯度累计；
S4：将步骤S3中满足自检条件的节点梯度上传至中心服务器完成聚合，执行下一轮迭代更新。
进一步，该方法面向三层联邦学习通信过程，设备节点自动适应模型训练过程中每轮梯度的变化，计算出合适的阈值来对梯度通信进行压缩。只有符合条件的设备节点才能获取对应轮次的与服务器通信的资格，否则在本地累计梯度信息，进行下一轮学习迭代，最终梯度会累计足够的信息量上传到服务器。
进一步，步骤S1中，中心服务器初始化的全局参数为设备端执行任务的深度学习模型参数；各设备端节点采用随机梯度下降算法执行本地模型任务训练，训练所用数据集为事先划分的数据集。
进一步，步骤S2中，所述梯度自检方式为一种梯度阈值自适应选择机制；其中，所述梯度阈值为根据所有参与节点本地梯度汇总至累计梯度池，根据设定计算得到；所述累计梯度池包含使用同一初始参数不同本地数据集训练的所有节点的梯度参数。
进一步，步骤S3中，执行节点梯度自检，该公式设定了所有节点的划分，满足梯度参数自检的节点定义为“勤奋(Hard)”节点，不满足自检公式的节点定义为“懒惰(Lazy)”节点；并在自检程序中引入一个比例系数来衡量“懒惰”节点与总节点数的比例，该比例系数能反应梯度自检公式对梯度压缩的程度；
梯度自检公式为：
其中，
表示第m个设备端节点计算的本地梯度参数，θk为节点第k轮迭代后的参数，η为任务模型学习率，M表示边缘服务器下所有设备端节点集合，α为比例系数，εd和D均为设定常数系数。
进一步，步骤S3中，节点梯度自检公式在每个节点一轮学习结束之后执行。
本发明的有益效果在于：本发明可以在保障物联网海量设备场景下，高精度完成分布式机器学习任务，并且避免了因分布式机器学习带来的设备之间数据隐私泄露的风险。此外，本发明设计的自适应阈值梯度压缩算法在完成设备端与中心服务器端的节点筛选后，可以减少大量的冗余梯度交互通信，进一步为检测机制降低传输能耗。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为基于联邦学习的通信梯度自适应压缩方法的流程示意图；
图2为节点压缩机制示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图2，图1为本发明提供的一种联邦学习中通信梯度自适应压缩方法的流程示意图。该方法中，中心服务器初始化全局模型参数后，下发至各设备节点。各设备端使用本地数据集并采用初始化模型参数对任务进行训练，并使用随机梯度下降算法计算梯度参数完成更新。具体为：
假设模型中单个边缘服务器与第m个设备端节点进行梯度更新，M代表该边缘服务器下所有节点集合。在第k轮本地迭代中，中心服务器首先将当前全局模型ω(k-1)下发至下属所有设备节点。随后每个设备节点计算本地梯度参数
并上传至中心服务器端，在该服务器端可以通过加权求和得到梯度总和
具体步骤如下：
步骤1)初始化全局参数，设备端节点m当前所处迭代k，总迭代次数K，初始化全局梯度
将初始化完成的参数下发至设备端节点。
步骤2)节点独立地在本地对隐私数据进行学习，每轮学习后能获取当前梯度。将本轮梯度汇总至累计梯度中。
其中，本地梯度更新采用随机梯度下降算法，参数下降差值趋于平滑，本方法近似该差值为常数。
步骤3)根据累计梯度与历史参数信息计算当前轮次的阈值并根据阈值对累计梯度进行梯度检查。执行梯度自检公式，该公式设定了所有节点的划分，满足梯度参数自检的节点定义为“勤奋(Hard)”节点，不满足自检公式的节点定义为“懒惰(Lazy)”节点。并在自检程序中引入一个比例系数来衡量“懒惰”节点与总节点数的比例，该比例系数可以反应梯度自检公式对梯度压缩的程度。
其中，节点自检公式在每个节点一轮学习结束之后执行。“懒惰”节点事先无法获知，采用比例系数来判断自适应阈值的设定。阈值的设定考虑模型的准确率以及节点选择的压缩率，采用一个综合系数来评定压缩与准确率的权值占比。
梯度自检公式及阈值计算过程如下：
在梯度交换通信中，忽略一类“懒惰(Lazy)”设备节点，只与“勤奋(Hard)”设备节点通信。算法的核心为判断某个设备节点是否为“Lazy”节点。本发明用ML表示“Lazy”节点，MH表示“Hard”节点。因此，设备端节点集合M＝ML+MH，梯度总和可以表示为：
对于“懒惰”节点，定义为每轮学习计算所得的梯度包含的信息大部分为冗余的，无法进一步优化学习任务的节点：
可以得到设备节点上更新后的参数θk，代入“懒惰”节点定义可得：
其中，η为任务模型学习率，θk为节点第k次更新后的参数。当设备节点是“懒惰”节点，即m∈ML时，一定满足下式：
为简化分析，引出一个比例系数α来衡量设备节点中“懒惰”节点与总节点的占比，即：
ML＝αM
整理可得：
此外，在参数更新过程中，无法轻易获取θk-θk-1，但该参数在模型训练过程中趋向平滑，因此可将其近似为：
其中，εd和D均为设定常数系数。为了简化计算，本发明方法选择εd＝1/D，D＝1。可以得出节点梯度自检公式，即：
步骤4)将满足梯度自检程序的节点梯度参数上传至中心服务器，完成本轮联邦学习梯度聚合，全局执行更新新一轮梯度参数；不满足自检条件的节点跳过本轮通信，继续累计该部分节点参数至梯度池中作为历史参数信息。
如图2所示，梯度阈值自适应选择机制具体步骤如下：
步骤1)中心服务器下发初始化模型参数至各节点，设备节点执行本地任务训练，并通过随机梯度下降算法更新参数，将梯度参数汇总至累计梯度池中。
步骤2)执行梯度自检公式，该公式设定了所有节点的划分，满足梯度参数自检的节点定义为“勤奋(Hard)”节点，不满足自检公式的节点定义为“懒惰(Lazy)”节点。并在自检程序中引入一个比例系数来衡量“懒惰”节点与总节点数的比例，该比例系数可以反应梯度自检公式对梯度压缩的程度。
其中，根据梯度自检公式可以对设备终端节点进行自适应判断，当节点满足该式时，则跳过本轮通信，本地梯度累计，继续执行下一轮训练。若节点不满足该式时，即判断为“勤奋”节点，则该节点参与本轮与边缘服务器通信。
步骤3)梯度自检程序通过累计梯度池中本轮所有节点的梯度参数，自适应计算出本轮阈值，并对所有节点进行选择判断。符合本轮阈值规定的节点方可参与联邦学习中心服务器端全局聚合，否则继续进行本地迭代。注意的是，未参与本轮联邦学习聚合的节点下一轮进行本地训练时，使用的为最新一轮经过全局聚合更新后的参数。
本发明中，自适应是指阈值能自动适应每轮梯度的变化，计算出合适的梯度压缩阈值，有效地将冗余梯度与有效梯度区分开，合理地减少梯度通信次数。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于联邦学习的通信梯度自适应压缩方法，其特征在于，该方法具体包括以下步骤：
S1：中心服务器初始化全局参数，并下发至各设备端节点，联邦学习设备端使用本地数据集进行任务训练，并计算该节点的梯度参数；
S2：设计一种梯度自检方式：将本轮所有节点的梯度参数汇总至累计梯度池中，并根据累计梯度池与历史参数信息计算当前轮次阈值；
S3：执行节点梯度自检：所有节点执行梯度自检公式，满足条件的节点则参与本轮联邦迭代，不满足则继续执行本地梯度累计；
S4：将步骤S3中满足自检条件的节点梯度上传至中心服务器完成聚合，执行下一轮迭代更新。
2.根据权利要求1所述的基于联邦学习的通信梯度自适应压缩方法，其特征在于，步骤S1中，中心服务器初始化的全局参数为设备端执行任务的深度学习模型参数；各设备端节点采用随机梯度下降算法执行本地模型任务训练，训练所用数据集为事先划分的数据集。
3.根据权利要求1所述的基于联邦学习的通信梯度自适应压缩方法，其特征在于，步骤S2中，所述梯度自检方式为一种梯度阈值自适应选择机制；其中，所述梯度阈值为根据所有参与节点本地梯度汇总至累计梯度池，根据设定计算得到；所述累计梯度池包含使用同一初始参数不同本地数据集训练的所有节点的梯度参数。
4.根据权利要求1所述的基于联邦学习的通信梯度自适应压缩方法，其特征在于，步骤S3中，执行节点梯度自检，该公式设定了所有节点的划分，满足梯度参数自检的节点定义为“勤奋(Hard)”节点，不满足自检公式的节点定义为“懒惰(Lazy)”节点；并在自检程序中引入一个比例系数来衡量“懒惰”节点与总节点数的比例，该比例系数能反应梯度自检公式对梯度压缩的程度；
梯度自检公式为：
其中，
表示第m个设备端节点计算的本地梯度参数，θk为节点第k轮迭代后的参数，η为任务模型学习率，M表示设备端节点集合，α为比例系数，εd和D均为设定常数系数。
5.根据权利要求1或4所述的基于联邦学习的通信梯度自适应压缩方法，其特征在于，步骤S3中，节点梯度自检公式在每个节点一轮学习结束之后执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210031546.8A CN114422605A (zh) | 2022-01-12 | 2022-01-12 | 一种基于联邦学习的通信梯度自适应压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210031546.8A CN114422605A (zh) | 2022-01-12 | 2022-01-12 | 一种基于联邦学习的通信梯度自适应压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114422605A true CN114422605A (zh) | 2022-04-29 |
Family
ID=81273556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210031546.8A Pending CN114422605A (zh) | 2022-01-12 | 2022-01-12 | 一种基于联邦学习的通信梯度自适应压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114422605A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024094094A1 (zh) * | 2022-11-02 | 2024-05-10 | 华为技术有限公司 | 一种模型训练方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190279088A1 (en) * | 2016-11-29 | 2019-09-12 | Huawei Technologies Co., Ltd. | Training method, apparatus, chip, and system for neural network model |
| CN113315604A (zh) * | 2021-05-25 | 2021-08-27 | 电子科技大学 | 一种联邦学习自适应梯度量化方法 |
| CN113591145A (zh) * | 2021-07-28 | 2021-11-02 | 西安电子科技大学 | 基于差分隐私和量化的联邦学习全局模型训练方法 |
| CN113762533A (zh) * | 2021-09-07 | 2021-12-07 | 北京航空航天大学 | 无线边缘网络中对数据污染具有鲁棒性的联邦学习方法 |
| CN113762530A (zh) * | 2021-09-28 | 2021-12-07 | 北京航空航天大学 | 面向隐私保护的精度反馈联邦学习方法 |
| CN113781397A (zh) * | 2021-08-11 | 2021-12-10 | 中国科学院信息工程研究所 | 基于联邦学习的医疗影像病灶检测建模方法、装置及系统 |
-
2022
- 2022-01-12 CN CN202210031546.8A patent/CN114422605A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190279088A1 (en) * | 2016-11-29 | 2019-09-12 | Huawei Technologies Co., Ltd. | Training method, apparatus, chip, and system for neural network model |
| CN113315604A (zh) * | 2021-05-25 | 2021-08-27 | 电子科技大学 | 一种联邦学习自适应梯度量化方法 |
| CN113591145A (zh) * | 2021-07-28 | 2021-11-02 | 西安电子科技大学 | 基于差分隐私和量化的联邦学习全局模型训练方法 |
| CN113781397A (zh) * | 2021-08-11 | 2021-12-10 | 中国科学院信息工程研究所 | 基于联邦学习的医疗影像病灶检测建模方法、装置及系统 |
| CN113762533A (zh) * | 2021-09-07 | 2021-12-07 | 北京航空航天大学 | 无线边缘网络中对数据污染具有鲁棒性的联邦学习方法 |
| CN113762530A (zh) * | 2021-09-28 | 2021-12-07 | 北京航空航天大学 | 面向隐私保护的精度反馈联邦学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王亚?;: "面向数据共享交换的联邦学习技术发展综述", 无人系统技术, no. 06 * |
| 芦效峰等: ""一种面向边缘计算的高效异步联邦学习机制"", 《计算机研究与发展》, pages 2571 - 2582 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024094094A1 (zh) * | 2022-11-02 | 2024-05-10 | 华为技术有限公司 | 一种模型训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113191484B (zh) | 基于深度强化学习的联邦学习客户端智能选取方法及系统 | |
| CN112882815B (zh) | 基于深度强化学习的多用户边缘计算优化调度方法 | |
| CN111866954B (zh) | 一种基于联邦学习的用户选择和资源分配方法 | |
| CN111629380B (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
| CN111367657B (zh) | 一种基于深度强化学习的计算资源协同合作方法 | |
| CN111988792B (zh) | 无人机联盟网络卸载模型的系统及决策计算方法 | |
| CN113222179A (zh) | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 | |
| CN114650227B (zh) | 一种分层联邦学习场景下的网络拓扑构建方法及系统 | |
| CN114124955B (zh) | 一种基于多智能体博弈的计算卸载方法 | |
| CN116050540B (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
| CN113518007A (zh) | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 | |
| CN113905384A (zh) | 一种用于认知无线电的多智能体协作频谱感知与接入方法 | |
| CN114422605A (zh) | 一种基于联邦学习的通信梯度自适应压缩方法 | |
| CN115907038A (zh) | 一种基于联邦拆分学习框架的多元控制决策方法 | |
| CN114828018A (zh) | 一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法 | |
| CN112867092A (zh) | 一种面向移动边缘计算网络的数据智能路由方法 | |
| CN111813538B (zh) | 一种边缘计算资源分配方法 | |
| CN115345320A (zh) | 一种在分层联邦学习框架下实现个性化模型的方法 | |
| CN113256128A (zh) | 电力物联网中使用强化学习均衡资源使用的任务调度方法 | |
| CN114599043A (zh) | 一种基于深度强化学习的空天地一体化网络资源分配方法 | |
| CN113516163A (zh) | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 | |
| CN115630745B (zh) | 一种面向城市分级协同供水的多区域需水量预测方法 | |
| CN117221122B (zh) | 一种基于带宽预分配的异步分层联合学习训练方法 | |
| Tian et al. | Graph-attention-Based decentralized edge learning for Non-IID data | |
| CN117812564B (zh) | 一种应用于车联网的联邦学习方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |