CN116017507B - 基于无线空中计算和二阶优化的去中心化联邦学习方法 - Google Patents
基于无线空中计算和二阶优化的去中心化联邦学习方法 Download PDFInfo
- Publication number
- CN116017507B CN116017507B CN202211546683.1A CN202211546683A CN116017507B CN 116017507 B CN116017507 B CN 116017507B CN 202211546683 A CN202211546683 A CN 202211546683A CN 116017507 B CN116017507 B CN 116017507B
- Authority
- CN
- China
- Prior art keywords
- model parameter
- round
- gradient
- global
- neighbor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 title claims abstract description 12
- 230000006854 communication Effects 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000002776 aggregation Effects 0.000 claims abstract description 14
- 238000004220 aggregation Methods 0.000 claims abstract description 14
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000013461 design Methods 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 3
- 238000005562 fading Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 2
- 238000013459 approach Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种基于无线空中计算和二阶优化的去中心化联邦学习方法，其特征在于，包括以下步骤：初始化；信息混合；估计值更新；本地更新。为了设计高通信效率的去中心化联邦学习方法，本发明决定采用二阶优化算法来实现训练过程中的模型更新，通过利用损失函数中的二阶曲率信息来达到较快的收敛速度，从而使整个训练过程中的通信轮数大大减少。同时，为了进一步减少每轮通信过程中的通信开销，本发明决定结合空中计算技术来实现邻居设备上本地模型的快速聚合，从而大大减少这一过程的通信开销。
Description
技术领域
本发明涉及一种基于无线空中计算和二阶优化算法的去中心化联邦学习方法，属于无线通信领域。
背景技术
近年来，联邦学习已经成为用于解决数据安全和用户隐私问题的一种先进学习范式。从本质上讲，联邦学习基于分布在各设备之间的数据集构建机器学习模型。在每次训练迭代中，所有设备都会根据一个共享的全局模型进行局部更新，然后将结果汇总以获得新的全局模型参数。通过这种方式，训练后的模型可以达到接近集中数据到云端进行训练的预期性能，而不需要共享原始数据。基于网络拓扑结构，联邦学习一般有中心化和去中心化两种典型方案。其中中心化联邦学习通过参数服务器来实现本地模型聚合和全局模型广播，而去中心化联邦学习则是利用点对点的通信拓扑结构来让设备与其邻居交换本地更新。虽然中心化联邦学习目前被广泛研究和应用，但与去中心化的方案相比，这种方案有很多缺点。从理论上来看，由于中心服务器的存在，系统架构被固定为星形拓扑结构，因此系统的可扩展性是有限的。同时，因为所有设备都需要与中心服务器通信，中心服务器上的通信流量堵塞会成为该方案的性能瓶颈。此外，中心服务器可能会受到各种攻击的威胁。在实际应用角度来看，随着工业系统的快速发展，越来越多的智能和自主组件(如车辆、机器人)以网络的结构形式被部署在智能系统中，这很自然地适合去中心化联邦学习的架构。此外，与设备-服务器通信相比，设备间通信有着低得多的能量和带宽成本。因此，去中心化联邦学习是一种适用于实际应用同时能克服中心化联邦学习缺陷的方案。
为了实现有效的去中心化联邦方法并将其应用于实际中，目前已有大量的研究工作。然而，现有的设计方法主要是基于一阶优化算法(梯度下降及其变种)来实现模型的更新。受限于一阶算法较慢的收敛速度，现有的方法通常会需要较多的训练轮数以达到所需的模型精度，由此带来的通信开销是在资源有限的无线通信场景中所难以接受的。
发明内容
本发明要解决的技术问题是：现有的去中心化联邦方法通常会需要较多的训练轮数以达到所需的模型精度，由此带来的通信开销是在资源有限的无线通信场景中所难以接受的。
为了解决上述技术问题，本发明的技术方案是提供了一种基于无线空中计算和二阶优化的去中心化联邦学习方法，其特征在于，包括以下步骤：
步骤1、初始化：
每个设备i初始化训练过程中涉及到的参数，包括：本地模型参数的初始化，记为全局模型参数估计值的初始化，记为/>全局梯度估计值的初始化，记为/>
步骤2、信息混合：
每个设备利用多址信道的波形叠加性质，通过空中计算技术对来自各邻居设备的全局模型参数估计值和全局梯度估计值进行聚合，并解码得到结果和/>其中，和/>分别设为第t轮训练迭代的第k轮信息混合过程中设备i上的模型参数估计值和梯度估计值；
步骤3、估计值更新：
在完成K轮的信息混合后，每个设备i根据从邻居设备处聚合得到的结果将全局模型参数估计值更新为：
同时将全局梯度估计值更新为：
其中，ζ()＝1/t为随迭代轮数衰减的共识步长；
步骤4、本地更新：
每个设备采用二阶优化算法，并基于全局模型参数估价值和全局梯度估计值完成本地模型参数的更新；
步骤5、重复步骤2到步骤4以开始下一轮迭代训练。
优选地，步骤1中，每个设备i对本地模型参数进行随机初始化，将全局模型参数估计值/>初始化为/>并将全局梯度估计值/>初始化为/>其中，/>表示根据本地损失函数求梯度的操作。
优选地，所述步骤2包括以下步骤：
步骤201、将和/>分别初始化为/>和/>其中，/>为第t-1轮训练迭代的设备i的本地模型参数，/>为第t-1轮训练迭代的设备i的全局梯度估计值；
步骤202、初始化设置完成后，以设备间通信拓扑所构建的具有双随机性质的信息混合矩阵为基础，进行K轮的信息混合，其中第k轮的具体过程包括以下步骤：
将设备与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为2d个时间槽来满足两种估计值的传输，其中，d为模型参数值的维度；采用图着色的算法对设备间的通信拓扑图进行处理，并将有着相同颜色的设备调度同一个时间块中来聚合邻居设备上的估计值，以避免多设备同时进行聚合操作时产生的干扰，其中：
在第t轮训练迭代的第k轮信息混合过程的每个时间块中，被调度到的设备i根据自身与各邻居设备j间的信道状态信息以及待传输的参数信息/>和完成传输过程中相关系统参数的优化以减少传输过程中噪声的影响并提升空中计算的性能，其中，相关系统参数包括波束赋形向量/>和/>调节因子/>和传输能量控制向量/>和/>下标y、s分别表示所对应的参数用于模型参数估计值的传输和全局梯度估计值的传输；
完成系统优化后，被调度到的设备i的各个邻居设备j将待传输的模型参数估计值和梯度估计值分别预处理为：
其中：为转置操作；/>||·||2表示二范数；
将邻居设备j的传输信号的第l行设计为：
其中，为传输能量控制向量；
各个邻居设备通过时钟提前技术同步地分别将模型参数估计值和梯度估计值上传至被调度作为中心服务器的设备i；设备i通过利用多址信道的波形叠加性质，利用空中计算技术来对来自各邻居设备的模型参数估计值和梯度估计值分别进行聚合；
设备i接受聚合得到的信号，并对该信息进行解码，将优化后的相关参数取值带入化简后，设备i最终得到从各个邻居设备聚合的模型参数估计值和梯度估计值/>
优选地，步骤202中，相关系统参数的优化包括以下步骤：
步骤2021、将波束赋形向量和调节因子的取值建模为如下式所示的问题：
其中：为有效信道系数；P0为最大传输能量；N0为噪声的能量大小；/>表示设备i的邻居设备j的总数；K表示总的信息混合轮数；H表示共轭转置；
步骤2022、针对步骤2021获得的系统优化问题，根据功率控制的约束将调节因子设置为并将优化问题进一步简化为
步骤2023、令通过矩阵提升和凸函数差的性质将步骤2022得到的简化后的优化问题转化为/> 其中：<·,·>为矩阵内积，为||Al||2的次梯度，Tr()表示矩阵的迹，Al为循环迭代变量，/>为惩罚因子；
步骤2024、将A0初始化为任意正定矩阵，循环求解步骤2023获得的问题直至|Tr(Al)-||Al||2|<ξ，最终得到所需的波束赋形向量ξ表示预设的误差阈值；
步骤2025、通过与步骤2021至步骤2024相同的问题建模和求解方法得到梯度估计值对应的波束赋形向量和调节因子/>
步骤2026、将传输能量控制向量设置为：
优选地，所述设备i接受的聚合得到的信号表示为：
其中，为能量大小为N0的高斯白噪声。
优选地，所述设备i根据接受的聚合得到的信号，设备i解码得到
其中：和/>为有效信道系数；/>为取实部操作；/>表示第t轮训练迭代的第k-1轮信息混合过程中设备j上的模型参数估计值的第l行；/>示第t轮训练迭代的第k-1轮信息混合过程中设备j上的梯度估计值的第l行。
优选地，所述设备i最终得到从各个邻居设备聚合的模型参数估计值和梯度估计值表示为：
其中：和/>为有效噪声，/>和/>为噪声矩阵，表示能量大小为N0的高斯白噪声。
优选地，步骤4中，将本地模型参数值更新为：
其中：μ为正则化参数；fi()为本地损失函数，x表示待优化变量。
为了设计高通信效率的去中心化联邦学习方法，本发明决定采用二阶优化算法来实现训练过程中的模型更新，通过利用损失函数中的二阶曲率信息来达到较快的收敛速度，从而使整个训练过程中的通信轮数大大减少。同时，为了进一步减少每轮通信过程中的通信开销，本发明决定结合空中计算技术来实现邻居设备上本地模型的快速聚合。空中计算技术基于传输时计算的原理，通过利用多址接入信道的波形叠加特性使邻居设备上的本地模型同频同时传输，从而大大减少这一过程的通信开销。传统的去中心化优化算法虽然已有在联邦学习中的应用，但是对于无线场景下，通信高效的去中心化联邦学习方法设计仍缺乏有效的解决方案。此外，现有的去中心化优化算法并不能直接应用于当前基于空中计算的去中心化联邦学习。由此可见，设计通信高效的方案，是无线场景下去中心化联邦学习的重要目标。
通过在各个设备上求解镜下降子问题完成本地更新，隐式地利用了二阶曲率信息，从而使整个训练学习的过程中有着较快的收敛速度，进而大大减少了通信轮数并提升了无线去中心联邦学习的通信效率。同时，在训练迭代的信息混合这一过程采用空中计算技术来实现各个设备对邻居设备上模型参数估计值和梯度估计值的聚合。通过利用多址接入信道的波形叠加特性将通信与计算结合，大大减少了无线去中心化联邦学习中设备间每轮通信的开销
附图说明
图1为本发明一实施例提供的基于空中计算的无线去中心化联邦学习系统架构图；
图2为本发明一实施例提供的基于空中计算和二阶优化算法的无线去中心化联邦学习方法流程图；
图3为本发明提出的方法与另一种基于一阶算法的无线联邦学习方法在covtype和a9a两种不同数据集下的学习性能对比，其中损失函数值越小或测试准确率越高模型性能越好，图中可见，与对比方法相比，在两种不同的数据集条件下，本发明所提出的方法都能以更少的通信轮数实现模型收敛并维持在较低的损失函数值和较高的测试准确率，实现了高通信效率的无线去中心化联邦学习。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本实施例公开了一种基于无线空中计算和二阶优化的去中心化联邦学习方法，包括了以下步骤：
步骤一、初始化：每个设备i首先对本地模型参数进行随机初始化，随后将全局模型参数估计值初始化为/>并将全局梯度估计值初始化为/>其中表示根据本地损失函数求梯度的操作。
步骤二、信息混合：将和/>分别设为第t轮训练迭代的第k轮信息混合过程中设备i上的模型参数估计值和梯度估计值，并将它们初始化为/>和其中，/>为第t-1轮训练迭代的设备i的本地模型参数，/>为第t-1轮训练迭代的设备i的全局梯度估计值。初始化设置完成后，以设备间通信拓扑所构建的具有双随机性质的信息混合矩阵/> 为基础，进行K轮的信息混合，其中第k轮的具体过程如下：
首先将设备与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为2d个时间槽来满足两种估计值的传输，其中，d为模型参数值的维度。随后采用图着色的算法对设备间的通信拓扑图进行处理，并将有着相同颜色的设备调度同一个时间块中来聚合邻居设备上的估计值，以避免多设备同时进行聚合操作时产生的干扰。
在第t轮训练迭代的第k轮信息混合过程的每个时间块中，被调度到的设备i首先根据自身与各邻居设备j间的信道状态信息以及待传输的参数信息/>和/>完成传输过程中相关系统参数(本实施例中，相关系统参数包括波束赋形向量/>和/>调节因子/>和/>传输能量控制向量/>和/>下标y、s分别表示所对应的参数用于模型参数估计值的传输和全局梯度估计值的传输的优化以减少传输过程中噪声的影响并提升空中计算的性能。系统优化过程中首先将涉及模型参数估计值传输的波束赋形向量和调节因子的取值建模为如下问题：
其中：为有效信道系数；P0为最大传输能量；N0为噪声的能量大小；/>表示设备i的邻居设备j的总数；K表示总的信息混合轮数；H表示共轭转置。
针对该系统优化问题，首先根据功率控制的约束将调节因子设置为并将优化问题进一步简化为随后令/>通过矩阵提升和凸函数差的性质将简化后的优化问题转化为/> 其中：<·,·>为矩阵内积，为||Al||2的次梯度，Tr()表示矩阵的迹，Al为循环迭代变量，/>为惩罚因子。将A0初始化为任意正定矩阵，循环求解该问题直至|Tr(Al)-||Al||2|<ξ，最终得到所需的波束赋形向量/>ξ表示预设的误差阈值。随后通过相同的问题建模和求解方法得到梯度估计值对应的波束赋形向量/>和调节因子/>最后将传输能量控制向量设置为：
完成系统优化后，被调度到的设备i的各个邻居设备j首先将待传输的模型参数估计值和梯度估计值分别预处理为
其中：为转置操作；/>||·||2表示二范数。
随后，将邻居设备j的传输信号的第l行设计为：
其中，为传输能量控制向量。
接下来，各个邻居设备通过时钟提前技术同步地分别将模型参数估计值和梯度估计值上传至被调度作为中心服务器的设备i。设备i通过利用多址信道的波形叠加性质，利用空中计算技术来对来自各邻居设备的模型参数估计值和梯度估计值分别进行聚合，聚合得到的信号如下：
其中，为能量大小为N0的高斯白噪声。
根据接受信号，设备i解码得到
其中：和/>为有效信道系数；为波束赋形向量；/>和/>为调节因子；/>为取实部操作；/>表示第t轮训练迭代的第k-1轮信息混合过程中设备j上的模型参数估计值的第l行；示第t轮训练迭代的第k-1轮信息混合过程中设备j上的梯度估计值的第l行。
将相关参数取值带入化简后，设备i最终得到从各个邻居设备聚合的模型参数估计值和梯度估计值：
其中：和/>为有效噪声，/>和/>为噪声矩阵，表示能量大小为N0的高斯白噪声。
该步骤利用空中计算技术实现各设备从邻居设备上聚合模型参数估计值和梯度估计值的过程，通过将计算与通信结合，极大地节省了通信、计算开销。
步骤三、估计值更新：在完成K轮的信息混合后，每个设备i根据从邻居设备处聚合得到的结果将全局模型参数估计值更新为：
同时将全局梯度估计值更新为：
其中，ζ(t)＝1/t为随迭代轮数衰减的共识步长。该步骤利用梯度追踪的方式完成全局梯度估计值的更新，以实现全局梯度的准确估计并保证本地更新时相关参数的精确度。同时采用了衰减的共识步长，旨在控制梯度追踪过程中噪声的累积效应。
步骤四、本地更新：以全局模型参数估计值、全局梯度估计值和本地数据集为基础，通过求解本地子问题的方式将本地模型参数值更新为：
其中：μ为正则化参数；fi(x)为本地损失函数，x表示待优化的变量。该步骤通过求解子问题的方式进行镜下降(mirror descent)更新，实现了对于二阶海森(Hessian)矩阵信息的隐式利用，从而使整个训练迭代过程有着较快的收敛速度，极大地减少通信轮数并提升了通信效率。
Claims (4)
1.一种基于无线空中计算和二阶优化的去中心化联邦学习方法，其特征在于，包括以下步骤：
步骤1、初始化：
每个设备i初始化训练过程中涉及到的参数，包括：本地模型参数的初始化，记为全局模型参数估计值的初始化，记为/>全局梯度估计值的初始化，记为/>其中，每个设备i对本地模型参数/>进行随机初始化，将全局模型参数估计值/>初始化为/>并将全局梯度估计值/>初始化为/> 其中，/>表示根据本地损失函数求梯度的操作；
步骤2、信息混合：
每个设备利用多址信道的波形叠加性质，通过空中计算技术对来自各邻居设备的全局模型参数估计值和全局梯度估计值进行聚合，并解码得到结果和/>其中，/>和分别设为第t轮训练迭代的第k轮信息混合过程中设备i上的模型参数估计值和梯度估计值，包括以下步骤：
步骤201、将和/>分别初始化为/>和/>其中，/>为第t-1轮训练迭代的设备i的本地模型参数，/>为第t-1轮训练迭代的设备i的全局梯度估计值；
步骤202、初始化设置完成后，以设备间通信拓扑所构建的具有双随机性质的信息混合矩阵为基础，进行K轮的信息混合，其中第k轮的具体过程包括以下步骤：
将设备与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为2d个时间槽来满足两种估计值的传输，其中，d为模型参数值的维度；采用图着色的算法对设备间的通信拓扑图进行处理，并将有着相同颜色的设备调度同一个时间块中来聚合邻居设备上的估计值，以避免多设备同时进行聚合操作时产生的干扰，其中：
在第t轮训练迭代的第k轮信息混合过程的每个时间块中，被调度到的设备i根据自身与各邻居设备j间的信道状态信息以及待传输的参数信息/>和完成传输过程中相关系统参数的优化以减少传输过程中噪声的影响并提升空中计算的性能，其中，相关系统参数包括波束赋形向量/>和/>调节因子/>和传输能量控制向量/>和/>下标y、s分别表示所对应的参数用于模型参数估计值的传输和全局梯度估计值的传输；
完成系统优化后，被调度到的设备i的各个邻居设备j将待传输的模型参数估计值和梯度估计值分别预处理为：
其中：为转置操作；/>||·||2表示二范数；
将邻居设备h的传输信号的第l行设计为：
其中， 为传输能量控制向量；
各个邻居设备通过时钟提前技术同步地分别将模型参数估计值和梯度估计值上传至被调度作为中心服务器的设备i；设备i通过利用多址信道的波形叠加性质，利用空中计算技术来对来自各邻居设备的模型参数估计值和梯度估计值分别进行聚合；
设备i接受聚合得到的信号，并对该信息进行解码，将优化后的相关参数取值带入化简后，设备i最终得到从各个邻居设备聚合的模型参数估计值和梯度估计值/>其中，相关系统参数的优化包括以下步骤：
步骤2021、将波束赋形向量和调节因子的取值建模为如下式所示的问题：
其中：为有效信道系数；P0为最大传输能量；N0为噪声的能量大小；/>表示设备i的邻居设备j的总数；K表示总的信息混合轮数；H表示共轭转置；
步骤2022、针对步骤2021获得的系统优化问题，根据功率控制的约束将调节因子设置为并将优化问题进一步简化为
步骤2023、令通过矩阵提升和凸函数差的性质将步骤2022得到的简化后的优化问题转化为/> 其中：<·,·>为矩阵内积，/>为||Al||2的次梯度，Tr()表示矩阵的迹，Al为循环迭代变量，/>为惩罚因子；
步骤2024、将A0初始化为任意正定矩阵，循环求解步骤2023获得的问题直至|Tr(Al)-||Al||2|<ξ，最终得到所需的波束赋形向量ξ表示预设的误差阈值；
步骤2025、通过与步骤2021至步骤2024相同的问题建模和求解方法得到梯度估计值对应的波束赋形向量和调节因子/>
步骤2026、将传输能量控制向量设置为：
步骤3、估计值更新：
在完成K轮的信息混合后，每个设备i根据从邻居设备处聚合得到的结果将全局模型参数估计值更新为：
同时将全局梯度估计值更新为：
其中，ζ(t)＝1/t为随迭代轮数衰减的共识步长；
步骤4、本地更新：
每个设备采用二阶优化算法，并基于全局模型参数估价值和全局梯度估计值完成本地模型参数的更新，其中，将本地模型参数值更新为：
其中：μ为正则化参数；fi(x)为本地损失函数，x表示待优化的变量
步骤5、重复步骤2到步骤4以开始下一轮迭代训练。
2.如权利要求1所述的一种基于无线空中计算和二阶优化的去中心化联邦学习方法，其特征在于，所述设备i接受的聚合得到的信号表示为：
其中， 为能量大小为N0的高斯白噪声。
3.如权利要求2所述的一种基于无线空中计算和二阶优化的去中心化联邦学习方法，其特征在于，所述设备i根据接受的聚合得到的信号，设备i解码得到
其中：和/>为有效信道系数；/>为取实部操作；表示第t轮训练迭代的第k-1轮信息混合过程中设备j上的模型参数估计值的第l行；/>示第t轮训练迭代的第k-1轮信息混合过程中设备j上的梯度估计值的第l行。
4.如权利要求3所述的一种基于无线空中计算和二阶优化的去中心化联邦学习方法，其特征在于，所述设备i最终得到从各个邻居设备聚合的模型参数估计值和梯度估计值表示为：
其中：和/>为有效噪声，/>和/>为噪声矩阵，表示能量大小为N0的高斯白噪声。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211546683.1A CN116017507B (zh) | 2022-12-05 | 2022-12-05 | 基于无线空中计算和二阶优化的去中心化联邦学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211546683.1A CN116017507B (zh) | 2022-12-05 | 2022-12-05 | 基于无线空中计算和二阶优化的去中心化联邦学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116017507A CN116017507A (zh) | 2023-04-25 |
| CN116017507B true CN116017507B (zh) | 2023-09-19 |
Family
ID=86034557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211546683.1A Active CN116017507B (zh) | 2022-12-05 | 2022-12-05 | 基于无线空中计算和二阶优化的去中心化联邦学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116017507B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116567652B (zh) * | 2023-05-19 | 2024-02-23 | 上海科技大学 | 全向超表面辅助的空中计算赋能垂直联邦学习方法 |
| CN116781518B (zh) * | 2023-08-23 | 2023-10-24 | 北京光函数科技有限公司 | 一种联邦多臂老虎机学习方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113645197A (zh) * | 2021-07-20 | 2021-11-12 | 华中科技大学 | 一种去中心化的联邦学习方法、装置及系统 |
| CN114580498A (zh) * | 2022-01-26 | 2022-06-03 | 华东师范大学 | 一种无线通信场景下高通信效率的联邦学习方法 |
| CN114611720A (zh) * | 2022-03-14 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
-
2022
- 2022-12-05 CN CN202211546683.1A patent/CN116017507B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113645197A (zh) * | 2021-07-20 | 2021-11-12 | 华中科技大学 | 一种去中心化的联邦学习方法、装置及系统 |
| CN114580498A (zh) * | 2022-01-26 | 2022-06-03 | 华东师范大学 | 一种无线通信场景下高通信效率的联邦学习方法 |
| CN114611720A (zh) * | 2022-03-14 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 移动群智感知中基于联邦学习的参与者选择机制;张宇等;计算机应用研究;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116017507A (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116017507B (zh) | 基于无线空中计算和二阶优化的去中心化联邦学习方法 | |
| CN113162679B (zh) | 基于ddpg算法的irs辅助无人机通信联合优化方法 | |
| KR102034955B1 (ko) | 무선 통신 시스템에서 신경망 기반의 송신전력 제어 방법 및 장치 | |
| CN112737842B (zh) | 空地一体化车联网中基于最小化时延的任务安全卸载方法 | |
| CN113222179B (zh) | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 | |
| CN111901862A (zh) | 一种基于深度q网络的用户分簇与功率分配方法、设备和介质 | |
| CN113132943B (zh) | 一种车联网中车边协同的任务卸载调度及资源分配方法 | |
| CN112637094A (zh) | 一种基于模型驱动深度学习的多用户mimo接收方法 | |
| CN114169243B (zh) | Mimo干扰信道下空中计算多任务联邦学习方法 | |
| CN108964725B (zh) | 时变大规模mimo网络中信道参数的稀疏估计方法 | |
| CN110881190A (zh) | 基于非正交多址接入的无人机网络部署和功率控制方法 | |
| CN110167176A (zh) | 一种基于分布式机器学习的无线网络资源分配方法 | |
| CN115767562B (zh) | 基于强化学习联合协作多点传输的服务功能链部署方法 | |
| CN116841732A (zh) | 一种基于单比特量化的联邦学习资源优化设计方法 | |
| CN116458103A (zh) | 一种神经网络的训练方法以及相关装置 | |
| CN112040498A (zh) | 一种基于定点迭代的无线供能传感器网络时间分配方法 | |
| CN103441966B (zh) | 一种高速下基于ecm的分布式mimo频偏和信道估计 | |
| CN111491315B (zh) | 基于扩展无人机网络中的延时与能耗折中模型的系统 | |
| CN116128070B (zh) | 基于无线空中计算和多比特量化压缩感知的联邦学习方法 | |
| Huang et al. | Wireless federated learning over MIMO networks: Joint device scheduling and beamforming design | |
| CN112765892B (zh) | 一种异构车联网中的智能切换判决方法 | |
| CN114364034A (zh) | 基于drl的ris辅助用户中心化去蜂窝系统中资源管理半并行方法 | |
| CN111565159B (zh) | 基于无转置极小残差的迭代大规模mimo信号检测方法 | |
| US20240088952A1 (en) | Beamforming method and apparatus using deep neural network in wireless communication system | |
| CN114786258B (zh) | 一种基于图神经网络的无线资源分配优化方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |