CN116546567B - 基于贝叶斯联邦学习的数据处理方法、系统及电子设备 - Google Patents
基于贝叶斯联邦学习的数据处理方法、系统及电子设备 Download PDFInfo
- Publication number
- CN116546567B CN116546567B CN202310822543.0A CN202310822543A CN116546567B CN 116546567 B CN116546567 B CN 116546567B CN 202310822543 A CN202310822543 A CN 202310822543A CN 116546567 B CN116546567 B CN 116546567B
- Authority
- CN
- China
- Prior art keywords
- local
- power control
- server
- terminal equipment
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000004891 communication Methods 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012614 Monte-Carlo sampling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
- H04W28/18—Negotiating wireless communication parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/54—Signalisation aspects of the TPC commands, e.g. frame structure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了基于贝叶斯联邦学习的数据处理方法、系统及电子设备，应用于无线系统中的服务器，方法包括：在每个预设的训练轮次内，基于预设的抽取概率向所有终端设备发送通信信号，以得到第一本地参数信息；接收终端设备发送的第一导频信号以及第一本地参数信息，并生成功率控制参数；向终端设备发送功率控制参数，以使终端设备对本地模型进行缩放操作，得到第二本地参数；接收第二本地参数，并根据功率控制参数对全局模型进行缩放操作，得到目标全局模型，向所有终端设备广播目标全局模型。本发明实施例中，在减小通信压力的同时，减小了无线传输中噪声的影响。
Description
技术领域
本发明属于通信技术领域，尤其涉及一种基于贝叶斯联邦学习的数据处理方法、系统及电子设备。
背景技术
随着移动设备(如智能手机和传感器)的广泛普及，移动互联网的数据流量正在以惊人的速度增长。这一巨大的移动数据规模以及最近人工智能（ArtificialIntelligence，AI）技术的突破性发展促使研究人员致力于开发面向网络边缘的AI技术。并引领着机器学习的最新计算范式，即边缘学习。边缘学习旨在将模型训练和推理的计算任务从中心化的云服务器迁移到终端设备或服务器上，使得数据可以在本地进行处理。但是，联邦学习的训练过程以大量的通信开销为代价，终端设备需要与服务器进行多回合的模型交互以实现模型的迭代更新。为了缓解通信压力，联邦平均（FedAvg）算法被提出，其允许用户在本地进行多轮更新再与服务器进行模型参数交换。
然而，大多数现有的FedAvg算法都是为了实现频率派统计（Frequentistlearning），其目标是通过随机梯度下降（Stochastic Gradient Descent,SGD）算法估计一个使经验损失最小化的最佳模型。这极大地增加了通信压力，并且在进行无线传输的过程中，由于在每个轮次都需要添加额外的噪声，从而给联邦模型带来影响，影响通信质量。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种基于贝叶斯联邦学习的数据处理方法、系统及电子设备，在减小通信压力的同时，减小了无线传输中噪声的影响。
第一方面，本发明提供一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的服务器，所述服务器通过非正交多址信道与多个终端设备进行通信，所述方法包括：
在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；
通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；
向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；
接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；
向所有所述终端设备广播所述目标全局模型。
根据本发明实施例提供的基于贝叶斯联邦学习的数据处理方法，至少有如下有益效果：在每个预设的训练轮次内，基于预设的抽取概率向所有终端设备发送通信信号，以使终端设备根据通信信号对本地模型进行更新以得到第一本地参数信息，从而能够确定终端设备的多个配置信息，便于后续确定对应的功率参数，之后通过非正交多址信道接收终端设备发送的第一导频信号以及第一本地参数信息，并根据第一导频信号以及第一本地参数信息生成功率控制参数，再向终端设备发送功率控制参数，以使终端设备对本地模型进行缩放操作，得到第二本地参数，使终端设备发送的信号能够对齐，从而可以直接进行叠加求和，同时调整功率控制参数可以使得经过缩放的信道噪声能够不低于蒙特卡洛采样所需的高斯噪声，最后，接收终端设备发送的第二本地参数，并基于功率控制参数对全局模型进行缩放操作，得到目标全局模型，从而能够将在空中计算时信道引入的噪声被作为蒙特卡洛采样所需的高斯噪声，减小了无线传输中噪声的影响。
根据本发明的一些实施例，所述基于预设的抽取概率向所述终端设备发送通信信号，包括：
基于所述抽取概率对预设的控制变量进行抽取，得到通信控制参数；
当所述通信控制参数满足预设的传输条件，向所述终端设备发送所述通信信号。
根据本发明的一些实施例，所述根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，包括：
对所述第一导频信号进行分析，确定所述非正交多址信道的信道状态信息以及信道噪声信息；
对所有所述第一本地参数信息进行计算，得到本地模型范数；
计算所述信道状态信息与所述本地模型范数的比值，并将所述信道噪声信息与所述比值进行比较，得到所述功率控制参数。
根据本发明的一些实施例，所述根据所述第二本地参数以及所述功率控制参数对所述全局模型进行处理，得到目标全局模型，包括：
在所述终端设备发送的所述第二本地参数叠加的情况下，根据所述功率控制参数对所述全局模型进行缩放操作，得到目标全局模型。
第二方面，本发明提供一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的终端设备，所述终端设备通过非正交多址信道与服务器进行通信，所述方法包括：
接收所述服务器基于预设的抽取概率发送的通信信号；
根据所述通信信号对本地模型进行更新，得到第一本地参数信息；
通过所述非正交多址信道向所述服务器发送第一导频信号以及所述第一本地参数信息，以使所述服务器根据所述第一导频信号以及所述第一本地参数生成功率控制参数；
接收所述服务器发送的所述功率控制参数，并根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；
向所述服务器发送所述第二本地参数，以使所述服务器根据所述功率控制参数以及所述第二本地参数对预设的全局模型进行缩放，得到目标全局模型；
接收所述服务器发送的目标全局模型。
根据本发明的一些实施例，所述根据所述通信信号对本地模型进行更新，得到第一本地参数信息，包括：
在每个预设的训练轮次内，从预设的本地数据集进行数据抽取，得到训练数据；
根据所述训练数据对本地模型进行本地更新，得到第一本地参数。
根据本发明的一些实施例，还包括：
在确定所述服务器的通信控制参数满足预设的结束条件的情况下，启动下一个训练轮次的本地更新，其中，所述通信控制参数由所述服务器基于所述抽取概率对预设的控制变量进行抽取得到。
第三方面，本发明提供一种基于贝叶斯联邦学习的数据处理系统，包括服务器以及多个终端设备，所述服务器通过非正交多址信道与多个所述终端设备进行通信，所述系统包括：
所述服务器在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；
以及接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；向所有所述终端设备广播所述目标全局模型；
所述终端设备用于接收所述服务器基于预设的抽取概率发送的通信信号；根据所述通信信号对本地模型进行更新，得到第一本地参数信息；通过所述非正交多址信道向所述服务器发送第一导频信号以及所述第一本地参数信息，以使所述服务器根据所述第一导频信号以及所述第一本地参数生成功率控制参数；
以及接收所述服务器发送的所述功率控制参数，并根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；向所述服务器发送所述第二本地参数，以使所述服务器根据所述功率控制参数以及所述第二本地参数对预设的全局模型进行缩放，得到目标全局模型；接收所述服务器发送的目标全局模型。
第四方面，本发明提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面和\或第二方面所述的基于贝叶斯联邦学习的数据处理方法。
第五方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面和\或第二方面所述的基于贝叶斯联邦学习的数据处理方法。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明一实施例提供的基于贝叶斯联邦学习的数据处理系统的结构示意图；
图2是本发明一实施例提供的服务器的结构示意图；
图3是本发明一实施例提供的终端设备的结构示意图；
图4是本发明一实施例提供的基于贝叶斯联邦学习的数据处理方法的流程图；
图5是图4中的步骤S101的具体方法流程图；
图6是图4中的步骤S102的具体方法流程图；
图7是图4中的步骤S104的具体方法流程图；
图8是本发明另一实施例提供的基于贝叶斯联邦学习的数据处理方法的流程图；
图9是图8中的步骤S502的具体方法流程图；
图10是本发明另一实施例提供的基于贝叶斯联邦学习的数据处理方法的流程图；
图11是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
随着移动设备(如智能手机和传感器)的广泛普及，移动互联网的数据流量正在以惊人的速度增长。根据分析预测，到2025年，将有超过800亿台设备连接到互联网，使得数据流量比2016年增长了10倍以上。这一巨大的移动数据规模以及最近人工智能（AI）技术的突破性发展促使研究人员致力于开发面向网络边缘的AI技术。这种技术统称为边缘AI，并引领着机器学习的最新计算范式，即边缘学习。边缘学习旨在将模型训练和推理的计算任务从中心化的云服务器迁移到终端设备或服务器上，使得数据可以在本地进行处理。
通过在终端设备上进行本地的模型训练和推理，可以实现实时的决策和快速的响应，不再依赖于云服务器的计算能力。这对于许多实时性要求高的应用场景非常重要，如物联网、智能交通、智能家居等。另外，边缘学习可以提高数据隐私和安全性。由于数据在本地设备上进行处理，不需要将原始数据传输到云服务器上，可以减少数据泄露的风险，保护用户的隐私。
联邦学习（Federated Learning）是一种分布式学习的框架，其允许多用户联合进行机器学习模型的训练而无需进行原始数据的交互。边缘学习和联邦学习的结合使用，使终端设备成为联邦学习中的参与方，可以实现分布式的模型训练和推理，在保护数据隐私的同时并得到泛化性能更好的机器学习模型。
联邦学习的训练过程以大量的通信开销为代价，终端设备需要与服务器进行多回合的模型交互以实现模型的迭代更新。随着机器学习工具在敏感领域的广泛应用，对深度学习技术可靠性的审查日益严格，这推动了对不确定性量化和校准的研究。贝叶斯联邦学习框架将模型参数视为随机变量，从而提供了对模型预测的置信度估计，有助于更好地理解和解释模型的输出。最新发展的可扩展贝叶斯推理使得贝叶斯联邦学习技术成为需要量化不确定性的应用的主要选择。
为了缓解通信压力，联邦平均（FedAvg）算法被提出，其允许用户在本地进行多轮更新再与服务器进行模型参数交换。
然而，大多数现有的FedAvg算法都是为了实现频率派统计（Frequentistlearning），其目标是通过随机梯度下降（Stochastic Gradient Descent,SGD）算法估计一个使经验损失最小化的最佳模型。这极大地增加了通信压力，并且在进行无线传输的过程中，由于在每个轮次都需要添加额外的噪声，从而给联邦模型带来影响，影响通信质量。
为了解决上述问题，本实施例提供了一种基于贝叶斯联邦学习的数据处理方法，在每个预设的训练轮次内，基于预设的抽取概率向所有终端设备发送通信信号，以使终端设备根据通信信号对本地模型进行更新以得到第一本地参数信息，从而能够确定终端设备的多个配置信息，便于后续确定对应的功率参数，之后通过非正交多址信道接收终端设备发送的第一导频信号以及第一本地参数信息，并根据第一导频信号以及第一本地参数信息生成功率控制参数，再向终端设备发送功率控制参数，以使终端设备对本地模型进行缩放操作，得到第二本地参数，使终端设备发送的信号能够对齐，从而可以直接进行叠加求和，同时调整功率控制参数可以使得经过缩放的信道噪声能够不低于蒙特卡洛采样所需的高斯噪声，最后，接收终端设备发送的第二本地参数，并基于功率控制参数对全局模型进行缩放操作，得到目标全局模型，从而能够将在空中计算时信道引入的噪声被作为蒙特卡洛采样所需的高斯噪声，减小了无线传输中噪声的影响。
下面结合附图，对本发明实施例作进一步阐述。
参考图1，图1为本发明实施例提供的基于贝叶斯联邦学习的数据处理系统的结构示意图；
在一些实施例中，本实施的基于贝叶斯联邦学习的数据处理系统包括服务器100以及多个终端设备200，服务器100通过非正交多址信道与多个终端设备200进行通信，其中，终端设备200包括但不限于包括自动驾驶汽车、可穿戴设备、手机等终端设备200。通常这些智能设备上面都会带有可以测量周围环境的信息采集设备，例如摄像头、激光雷达、毫米波雷达、超声波雷达、激光测距传感器、远程雷达等等。
参考图2，图2为本发明实施例提供的服务器100的结构示意图；
在一些实施例中，服务器100包括第一通信接收模块、全局模型更新模块、信道状态分析模块、模型参数信息处理模块、第一通信发射模块以及功率参数计算模块。
其中，第一通信接收模块分别与全局模型更新模块、信道状态分析模块以及模型参数信息处理模块通信连接，第一通信发射模块与全局模型更新模块通信连接，功率参数计算模块分别与信道状态分析模块、模型参数信息处理模块以及第一通信发射模块通信连接。
第一通信接收模块主要负责信号的接收，例如，接收终端设备200发送的本地参数等等；
全局模型更新模块主要负责对在空中聚合的模型参数进行缩放，得到全局模型；
信道状态分析模块主要负责根据接收到的导频信号得到信道的状态信息，从而实现对信道状态的分析；
模型参数信息处理模块主要负责处理得到本地参数的范数信息；
功率参数计算模块主要负责根据信道的状态信息以及模型参数进行功率参数计算，得到功率控制策略等等；
第一通信发射模块主要负责信号的发送，例如，向所有终端设备200发送通信信号或者发送功率控制参数等等。
参考图3，图3为本发明实施例提供的终端设备200的结构示意图；
在一些实施例中，终端设备200包括第二通信接收模块、本地模型更新模块、第二通信发射模块以及本地模型缩放模块。
其中，第二通信接收模块、本地模型更新模块、本地模型缩放模块通信连接、第二通信发射模块依次通信连接。
第二通信接收模块主要负责终端设备200的信号以及参数的接收，例如，接收服务器100发送的通信信号、功率控制参数等等；
本地模型更新模块主要负责根据接收到的全局模型参数以及本地数据来计算更新模型，得到新的参数信息；
第二通信发射模块主要负责发送本地模型的参数信息；
本地模型缩放模块主要负责根据所属本地功率控制参数进行本地模型的缩放。
本领域技术人员可以理解的是，图1中示出的示意图并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，下面对本实施例中的行为预测方法进行具体说明。
参照图4，图4是本发明一个实施例提供的基于贝叶斯联邦学习的数据处理方法的流程图，应用不限于应用于图1中的服务器，服务器通过非正交多址信道与多个终端设备进行通信，数据处理方法包括但不限于步骤S101至S105。
步骤S101：在每个预设的训练轮次内，基于预设的抽取概率向所有终端设备发送通信信号，以使终端设备根据通信信号对本地模型进行更新以得到第一本地参数信息；
在一些实施例中，在基于预设的抽取概率向所有终端设备发送通信信号的过程中，需要对终端设备和服务器进行时间同步，使得终端设备和服务器根据相同的时间步长进行工作，之后再向终端设备发送通信信号，以使终端设备根据通信信号对本地模型进行更新以得到终端设备的第一本地参数信息，通过抽取概率实现对终端设备和服务器通信频率的控制。
步骤S102：通过非正交多址信道接收终端设备发送的第一导频信号以及第一本地参数信息，并根据第一导频信号以及第一本地参数信息生成功率控制参数；
需要说明的是，第一导频信号用于表征非正交多址信道的信道状态。
在一些实施例中，通过非正交多址信道接收终端设备发送的第一导频信号以及第一本地参数信息，从而能够确定当前非正交多址信道的通信性能，了解不同终端设备的性能和状态差异，便于后续进行资源的分配和调度，并根据第一导频信号以及第一本地参数信息生成功率控制参数，能够提高通信性能、降低干扰水平，实现对终端设备的通信功率的调节。
步骤S103：向终端设备发送功率控制参数，以使终端设备根据功率控制参数对本地模型进行缩放操作，得到第二本地参数；
在一些实施例中，向终端设备发送功率控制参数，从而实现对终端设备的通信功率的调节，以使终端设备根据功率控制参数对本地模型进行缩放操作，得到第二本地参数，使终端设备发送的信号能够对齐，从而可以直接进行叠加求和，除此之外，本实施例还通过多轮次的本地更新减少了通信负担，减少了通信压力。
步骤S104：接收所述终端设备发送的所述第二本地参数，并根据第二本地参数以及功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；
在一些实施例中，接收终端设备发送的第二本地参数，并根据第二本地参数以及功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型，从而消除了信道噪声对模型传输带来的影响，并将信道噪声作为一种有用的资源，实现量化不确定性的贝叶斯机器学习模型，降低通信开销。
值得注意的是，全局模型为对所有终端设备发送的第二本地参数在传输中进行叠加得到，并且本实施例中的全局模型用于表征在传输中已经完成聚合的模型。
需要说明的是，大多数现有的联邦平均算法都是为了实现频率派统计（Frequentist learning），其目标是通过随机梯度下降算法估计一个使经验损失最小化的最佳模型。然而实现贝叶斯联邦学习的最简单的方法只需要对SGD进行轻微变动，称为随机梯度朗之万动力学方法（Stochastic Gradient Langevin Dynamics，SGLD）。其通过在SGD更新中注入高斯噪声，SGLD产生的模型参数可以接近于贝叶斯后验概率的分布，表示如下：
；
其中，为噪声项，服从标准正态分布，/>为当前训练轮次的模型参数，/>为本地梯度，/>为学习率，/>为当前的训练轮次。
步骤S105：向所有终端设备广播目标全局模型。
在一些实施例中，向所有终端设备广播目标全局模型，以使得终端设备的本地模型更加接近于全局模型。
需要说明的是，在步骤S105之后，本实施例还需要将信道噪声作为一种有用的资源用于MCMC（Markov Chain Monte Carlo Sampling，马尔可夫链蒙特卡洛）采样，本实施例需要等到马尔可夫链达到稳定状态后才可以采样，从而保证采集的样本为数据集的后验分布，最终采样得到的样本将近似分布于全局数据的后验分布。
可以理解的是，在进行采样的过程中，可以利用Gelman-Rubin检测法来确认，本实施例不做具体限制。
参照图5，图5是图4中的步骤S101的具体方法流程图，步骤S101包括但不限于包括步骤S201至S202。
步骤S201：基于抽取概率对预设的控制变量进行抽取，得到通信控制参数；
步骤S202：当通信控制参数满足预设的传输条件，向所述终端设备发送通信信号。
在一些实施例中，基于预设的抽取概率对预设的控制变量进行抽取，得到通信控制参数，在通信控制参数满足预设的传输条件的情况下，向终端设备发送通信信号，以实现终端设备和服务器的通信。
需要说明的是，本实施例由服务器按照抽取概率抽取控制变量，传输条件可以为满足二项式分布的条件，例如，当控制变量为1时，向所有终端设备发送指令，终端设备发送导频信号和当前的模型参数信息给服务器，服务器计算好功率控制参数再传输给终端设备，终端设备根据功率控制参数进行本地模型参数的缩放并传输给服务器。在控制变量为零的情况下，则服务器和终端设备不需要通信，所有的终端设备直接进行下一个轮次的本次更新。
参照图6，图6是图4中的步骤S102的具体方法流程图，步骤S102包括但不限于包括步骤S301至S303。
步骤S301：对第一导频信号进行分析，确定非正交多址信道的信道状态信息以及信道噪声信息；
需要说明的是，信道状态信息包括但不限于包括信道的衰落信息、时延信息、相位偏移信息、信道容量等等。
步骤S302：对所有第一本地参数信息进行计算，得到本地模型范数；
步骤S303：计算信道状态信息与本地模型范数的比值，并将信道噪声信息与比值进行比较，得到功率控制参数。
在一些实施例中，对第一导频信号进行分析以确定非正交多址信道的信道状态信息以及信道噪声信息，从而能够确定当前非正交多址信道的信道状态，之后，对所有第一本地参数信息进行计算，得到终端设备的本地模型参数的本地模型范数，便于后续进行资源的分配和调度，最后，计算信道状态信息与本地模型范数的比值，并将信道噪声信息与比值进行比较，对比值进行筛选，得到功率控制参数，能够提高通信性能、降低干扰水平，实现对终端设备的通信功率的调节。
值得注意的是，本实施例中的功率控制参数为信道状态信息与本地模型范数的比值的最小值。
参照图7，图7是图4中的步骤S104的具体方法流程图，步骤S104包括但不限于包括步骤S401。
步骤S401：在终端设备发送的第二本地参数叠加的情况下，根据功率控制参数对全局模型进行缩放操作，得到目标全局模型。
在一些实施例中，终端设备发送的第二本地参数在传输中进行叠加，服务器根据功率控制参数直接对全局模型进行缩放操作，得到目标全局模型，从而消除了信道噪声对模型传输带来的影响，实现对信道噪声的缩放，并将信道噪声作为一种有用的资源，实现量化不确定性的贝叶斯机器学习模型。
需要说明的是，在进行无线传输时候是肯定会有信道噪声的，而SGLD算法在每个轮次更新时候需要额外添加噪声，如果将信道噪声利用为SGLD算法的噪声，就不需要再额外添加来了，而且信道噪声也没有对模型的表现产生影响，所以信道噪声是一种有用的资源，将在空中计算时信道引入的噪声被作为蒙特卡洛采样所需的高斯噪声，减小了无线传输中噪声的影响。
参照图8，图8是本发明一个实施例提供的基于贝叶斯联邦学习的数据处理方法的流程图，应用不限于应用于图1中的终端设备，数据处理方法包括但不限于步骤S501至S506。
步骤S501：接收服务器基于预设的抽取概率发送的通信信号；
步骤S502：根据通信信号对本地模型进行更新，得到第一本地参数信息；
步骤S503：通过非正交多址信道向服务器发送第一导频信号以及第一本地参数信息，以使服务器根据第一导频信号以及第一本地参数生成功率控制参数；
步骤S504：接收功率控制参数，并根据功率控制参数对第一本地参数信息进行缩放操作，得到第二本地参数；
步骤S505：向服务器发送第二本地参数，以使服务器根据功率控制参数以及第二本地参数对预设的全局模型进行缩放，得到目标全局模型；
步骤S506：接收服务器发送的目标全局模型。
在一些实施例中，终端设备接收服务器基于预设的抽取概率发送的通信信号，再根据通信信号对本地模型进行本地更新，得到第一本地参数信息，从而能够得到终端设备当前的安全信息、配置信息等，之后通过非正交多址信道向服务器发送第一导频信号以及第一本地参数信息，以使服务器根据第一导频信号以及第一本地参数生成功率控制参数，再接收服务器发送的功率控制参数，并根据功率控制参数对第一本地参数信息进行缩放操作，得到第二本地参数，使终端设备发送的信号能够对齐，从而可以直接进行叠加求和，同时调整功率控制参数可以使得经过缩放的信道噪声能够不低于我们所需要的蒙特卡洛采样所需的高斯噪声，最后，向服务器发送第二本地参数，以使服务器根据功率控制参数以及第二本地参数对预设的全局模型进行缩放，得到目标全局模型，从而消除了信道噪声对模型传输带来的影响，并将信道噪声作为一种有用的资源，实现量化不确定性的贝叶斯机器学习模型，降低通信开销，从而能够减少通信过程中的负担，提高通信传输效率。
参照图9，图9是图8中的步骤S502的具体方法流程图，步骤S502包括但不限于包括步骤S601至S602。
步骤S601：在每个预设的训练轮次内，从预设的本地数据集进行数据抽取，得到训练数据；
步骤S602：根据训练数据对本地模型进行本地更新，得到第一本地参数。
在一些实施例中，在每个预设的训练轮次内，从本地数据集进行数据抽取，得到训练数据来计算本地更新，其中，/>本地数据集拥有/>个数据/>，本实施例随机从本地数据集抽选出/>个数据来计算本地更新，具体表示如下：
；
其中，训练数据满足。/>为噪声项，/>为当前训练轮次的模型参数，为本地梯度，/>为学习率，/>为终端设备数量，本地梯度由下面公式得到：
；
其中，为似然概率，/>为先验概率，/>为终端设备的本地数据集，/>为本地数据集中的一个样本，增加的噪声项/>由两个部分组成，并由一个参数/>控制，表示如下：
；
其中，噪声项遵循标准的正态分布并由所有用户共享，噪声项/>同样遵循标准正态分布，但每个用户相互独立。当进行全局聚合时，/>被设置为1，利用信道噪声作为共享噪声，而无需本地用户单独添加。只进行本地更新时，/>设置为0，每个用户增加独立的噪声项。
参考图10，图10是本发明另一个实施例提供的基于贝叶斯联邦学习的数据处理方法的流程图，数据处理方法包括但不限于步骤S701。
步骤S701：在确定服务器的通信控制参数满足预设的结束条件的情况下，启动下一个训练轮次的本地更新。
需要说明的是，通信控制参数由服务器基于抽取概率对预设的控制变量进行抽取得到。
在一些实施例中，服务器按照抽取概率抽取控制变量，结束条件可以为满足二项式分布的条件，例如，当控制变量为0时，服务器和终端设备不需要通信，所有的终端设备直接进行下一个轮次的本次更新。
在一些实施例中，所有终端设备之间的字符级同步可以通过5G NR（5thGeneration New Radio，第五代新无线电技术）和LTE（Long Term Evolution，长期演进技术）中的标准协议实现，并且在通信控制参数为非零的情况下，根据功率控制参数确定在当前轮次内的信道增益，之后根据信道增益以及功率控制参数生成本地功率控制参数，最后，根据本地功率控制参数对第一本地参数信息进行本地缩放，得到第二本地参数，使终端设备发送的信号能够对齐，从而可以直接进行叠加求和，同时调整功率控制参数可以使得经过缩放的信道噪声能够不低于蒙特卡洛采样所需的高斯噪声。
为了更加清楚、明白地说明本实施例的基于贝叶斯联邦学习的数据处理方法，下面以具体示例进行说明：
示例一：
在一些实施例中，终端设备拥有本地数据集，其拥有/>个数据/>。
大多数现有的FedAvg算法都是为了实现频率派统计（Frequentist learning），其目标是通过随机梯度下降（SGD）算法估计一个使经验损失最小化的最佳模型。然而实现贝叶斯联邦学习的最简单的方法只需要对SGD进行轻微变动，称为随机梯度朗之万动力学方法（SGLD）。其通过在SGD更新中注入高斯噪声，SGLD产生的模型参数可以接近于贝叶斯后验概率的分布。
；
其中，为噪声项，服从标准正态分布，，/>为当前训练轮次的模型参数，为本地梯度，/>为学习率，/>为当前的训练轮次。在联邦学习场景下，定义全局函数为：
；
其中，为参与训练的终端设备的数量。
定义本地函数为：
；
其中，为本地数据集的似然概率，/>为先验概率。
步骤1：服务器向所有终端设备广播全局模型。假设一共有个终端设备参与训练，待训练的模型参数维度为/>；
步骤2：终端设备和服务器进行时间同步，并根据相同的时间步长s进行工作,s=1,2,...。在每个轮次，终端设备随机从本地数据集抽选出/>个数据来计算本地更新，具体表示如下：
；
其中，训练数据满足。/>为噪声项，，/>为当前训练轮次的模型参数，为本地梯度，/>为学习率，/>为终端设备数量，本地梯度由下面公式得到：
；
其中，为似然概率，/>为先验概率，/>为终端设备的本地数据集，为本地数据集中的一个样本，增加的噪声项/>由两个部分组成，并由一个参数/>控制，表示如下：
；
其中，噪声项遵循标准的正态分布并由所有用户共享，噪声项/>同样遵循标准正态分布，但每个用户相互独立。当进行全局聚合时，/>被设置为1，利用信道噪声作为共享噪声，而无需本地用户单独添加。只进行本地更新时，/>设置为0，每个用户增加独立的噪声项。
步骤3：在每个轮次，服务器根据二项分布，以的概率随机抽取控制变量/>,如果,服务器发射信号通知各个终端设备向服务器发送用于信道估计的导频信号以及本地参数信息，用于服务器计算功率控制参数。服务器将接收到的信号通过信道状态信息分析模块获取信道统计信息。服务器通过功率控制模块计算得到功率控制参数，并将功率控制参数/>传输给终端设备；
如果,则不需要进行通信，所有终端设备进行下一个轮次的本地更新。下一轮初始的本地参数被设置为：
；
整个训练过程可以近似拟合步长为的SGLD过程。
步骤4：如果，终端设备与服务器在共享的非正交多址（NOMA）信道上进行通信，并且终端设备执行非编码的模拟信号传输以实现高效的空中计算。所有终端设备之间的字符级同步可以通过5G NR和LTE中的标准协议实现。终端设备传输经过本地功率控制参数缩放后的本地参数：/>
；
其中，本地功率控制参数，/>为终端设备/>在第/>轮次进行全局聚合的信道增益。
在第轮次，服务器收到的信号为：
；
其中，为信道噪声服从分布/>。每个设备有相同发射功率限制P：
；
步骤5，服务器通过功率控制参数将接收到的信号缩放如下：
；
其中，为信道噪声服从分布/>，/>为本地功率控制参数，/>是由于信道噪声引入的额外噪声，服从标准正态分布，定义额外噪声项为：
；
忽视额外噪声项，上面公式可近似拟合为的SGLD过程。可以通过设置功率控制参数/>消掉额外噪声项，使其完全拟合SGLD算法。
然而，由于功率的限制，需要满足, 额外噪声项可能无法消掉。功率控制参数需被设置为：
；
步骤6：重复步骤1-5，度过燃烧期（burn-in）后即可进行采样。燃烧期的选择应该避免采集的样本依赖于马尔可夫链的初始状态。可以利用Gelman-Rubin检测法来确认。通过上述方法，最终采样得到的样本将近似分布于全局数据的后验分布。
需要说明的是，燃烧期为等到马尔可夫链达到稳定状态的过程。
在一些实施例中，本实施例信道驱动的贝叶斯联邦边缘学习策略可以进行高效训练，在减小通信压力的同时，得到融合本地数据的全局后验分布，并且在空中计算时信道引入的噪声被作为蒙特卡洛采样所需的高斯噪声，减小了无线传输中噪声的影响，实现可以量化不确定性的贝叶斯机器学习模型。除此之外，本实施例允许多轮次的本地更新和使用随机梯度，减小了通信负担。
本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述基于贝叶斯联邦学习的数据处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图11，图11示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1001，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application SpecificIntegrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1002，可以采用只读存储器（Read Only Memory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行本申请实施例的基于贝叶斯联邦学习的数据处理方法；
输入/输出接口1003，用于实现信息输入及输出；
通信接口1004，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；
总线1005，在设备的各个组件（例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004）之间传输信息；
其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述系统实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的基于贝叶斯联邦学习的数据处理方法。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1-10中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。
Claims (10)
1.一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的服务器，所述服务器通过非正交多址信道与多个终端设备进行通信，其特征在于，所述基于贝叶斯联邦学习的数据处理方法至少能够应用于无线通信技术领域；所述方法包括：
在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；
通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；
向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；
接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型，其中，所述全局模型为对所有所述终端设备发送的第二本地参数在传输中进行叠加得到，所述全局模型用于表征在传输中已经完成聚合的模型；
向所有所述终端设备广播所述目标全局模型；
所述功率控制参数为；
其中，为学习率，/>为发射功率限制，/>为终端设备/>在第/>-1轮次更新后的模型参数，/>为终端设备数量，/>为终端设备/>在第/>轮次进行全局聚合的信道增益。
2.根据权利要求1所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，所述基于预设的抽取概率向所有所述终端设备发送通信信号，包括：
基于所述抽取概率对预设的控制变量进行抽取，得到通信控制参数；
当所述通信控制参数满足预设的传输条件，向所述终端设备发送所述通信信号。
3.根据权利要求1所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，所述根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，包括：
对所述第一导频信号进行分析，确定所述非正交多址信道的信道状态信息以及信道噪声信息；
对所有所述第一本地参数信息进行计算，得到本地模型范数；
计算所述信道状态信息与所述本地模型范数的比值，并将所述信道噪声信息与所述比值进行比较，得到所述功率控制参数。
4.根据权利要求1所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，根据所述第二本地参数以及所述功率控制参数对所述全局模型进行处理，得到目标全局模型，包括：
在所述终端设备发送的所述第二本地参数叠加的情况下，根据所述功率控制参数对所述全局模型进行缩放操作，得到目标全局模型。
5.一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的终端设备，所述终端设备通过非正交多址信道与服务器进行通信，其特征在于，所述基于贝叶斯联邦学习的数据处理方法至少能够应用于无线通信技术领域；所述方法包括：
接收所述服务器基于预设的抽取概率发送的通信信号；
根据所述通信信号对本地模型进行更新，得到第一本地参数信息；
通过所述非正交多址信道向所述服务器发送第一导频信号以及所述第一本地参数信息，以使所述服务器根据所述第一导频信号以及所述第一本地参数生成功率控制参数；
接收所述服务器发送的所述功率控制参数，并根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；
向所述服务器发送所述第二本地参数，以使所述服务器根据所述功率控制参数以及所述第二本地参数对预设的全局模型进行缩放，得到目标全局模型，其中，全局模型为对所有所述终端设备发送的第二本地参数在传输中进行叠加得到，所述全局模型用于表征在传输中已经完成聚合的模型；
接收所述服务器发送的目标全局模型；
所述功率控制参数为；
其中，为学习率，/>为发射功率限制，/>为终端设备/>在第/>-1轮次更新后的模型参数，/>为终端设备数量，/>为终端设备/>在第/>轮次进行全局聚合的信道增益。
6.根据权利要求5所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，根据所述通信信号对本地模型进行更新，得到第一本地参数信息，包括：
在每个预设的训练轮次内，从预设的本地数据集进行数据抽取，得到训练数据；
根据所述训练数据对本地模型进行本地更新，得到第一本地参数。
7.根据权利要求5所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，还包括：
在确定所述服务器的通信控制参数满足预设的结束条件的情况下，启动下一个训练轮次的本地更新，其中，所述通信控制参数由所述服务器基于所述抽取概率对预设的控制变量进行抽取得到。
8.一种基于贝叶斯联邦学习的数据处理系统，其特征在于，包括服务器以及多个终端设备，所述服务器通过非正交多址信道与多个所述终端设备进行通信，所述基于贝叶斯联邦学习的数据处理系统至少能够应用于无线通信技术领域；所述系统包括：
所述服务器在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；
以及接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；向所有所述终端设备广播所述目标全局模型，其中，全局模型为对所有所述终端设备发送的第二本地参数在传输中进行叠加得到，所述全局模型用于表征在传输中已经完成聚合的模型；
所述终端设备用于接收所述服务器基于预设的抽取概率发送的通信信号；根据所述通信信号对本地模型进行更新，得到第一本地参数信息；通过所述非正交多址信道向所述服务器发送第一导频信号以及所述第一本地参数信息，以使所述服务器根据所述第一导频信号以及所述第一本地参数生成功率控制参数；
以及接收所述服务器发送的所述功率控制参数，并根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；向所述服务器发送所述第二本地参数，以使所述服务器根据所述功率控制参数以及所述第二本地参数对预设的全局模型进行缩放，得到目标全局模型；接收所述服务器发送的目标全局模型；
所述功率控制参数为；
其中，为学习率，/>为发射功率限制，/>为终端设备/>在第/>-1轮次更新后的模型参数，/>为终端设备数量，/>为终端设备/>在第/>轮次进行全局聚合的信道增益。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于贝叶斯联邦学习的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7中任意一项所述的基于贝叶斯联邦学习的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822543.0A CN116546567B (zh) | 2023-07-06 | 2023-07-06 | 基于贝叶斯联邦学习的数据处理方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822543.0A CN116546567B (zh) | 2023-07-06 | 2023-07-06 | 基于贝叶斯联邦学习的数据处理方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116546567A CN116546567A (zh) | 2023-08-04 |
| CN116546567B true CN116546567B (zh) | 2023-11-24 |
Family
ID=87454628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310822543.0A Active CN116546567B (zh) | 2023-07-06 | 2023-07-06 | 基于贝叶斯联邦学习的数据处理方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116546567B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894163B (zh) * | 2023-09-11 | 2024-01-16 | 国网信息通信产业集团有限公司 | 基于信息安全的充放电设施负荷预测信息生成方法和装置 |
| CN117313160B (zh) * | 2023-11-21 | 2024-04-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种隐私增强的结构化数据仿真生成方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139662A (zh) * | 2021-04-23 | 2021-07-20 | 深圳市大数据研究院 | 联邦学习的全局及局部梯度处理方法、装置、设备和介质 |
| WO2023104169A1 (zh) * | 2021-12-10 | 2023-06-15 | 华为技术有限公司 | 一种无线网络中的人工智能ai模型训练方法及装置 |
| CN116321255A (zh) * | 2023-02-22 | 2023-06-23 | 北京邮电大学 | 一种无线联邦学习中高时效模型压缩和用户调度方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11593634B2 (en) * | 2018-06-19 | 2023-02-28 | Adobe Inc. | Asynchronously training machine learning models across client devices for adaptive intelligence |
-
2023
- 2023-07-06 CN CN202310822543.0A patent/CN116546567B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139662A (zh) * | 2021-04-23 | 2021-07-20 | 深圳市大数据研究院 | 联邦学习的全局及局部梯度处理方法、装置、设备和介质 |
| WO2023104169A1 (zh) * | 2021-12-10 | 2023-06-15 | 华为技术有限公司 | 一种无线网络中的人工智能ai模型训练方法及装置 |
| CN116321255A (zh) * | 2023-02-22 | 2023-06-23 | 北京邮电大学 | 一种无线联邦学习中高时效模型压缩和用户调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器学习的认知无线网络优化策略;农汉琦;孙蕴琪;黄洁;杨泽宇;吴雪雯;杨科;欧阳键;;计算机技术与发展(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116546567A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116546567B (zh) | 基于贝叶斯联邦学习的数据处理方法、系统及电子设备 | |
| CN111582504A (zh) | 联邦建模方法、装置、设备及计算机可读存储介质 | |
| WO2022105756A1 (zh) | 定位方法、装置、终端设备、基站及位置管理服务器 | |
| CN113723620A (zh) | 无线联邦学习中的终端调度方法和装置 | |
| CN115244965A (zh) | 波束测量方法、波束测量装置及存储介质 | |
| WO2022105913A1 (zh) | 通信方法、装置及通信设备 | |
| CN116266216A (zh) | 客户端筛选方法及装置、客户端及中心设备 | |
| CN114208249A (zh) | 波束调整方法、波束调整装置及存储介质 | |
| CN113746509A (zh) | 信道信息的处理方法及装置 | |
| US20230341509A1 (en) | Systems and methods for time stamping of wi-fi sensing data | |
| Gölz et al. | Spatial inference using censored multiple testing with Fdr control | |
| CN116415476A (zh) | 模型的构建方法、装置及通信设备 | |
| KR101500922B1 (ko) | 적응필터를 이용한 분산 추정방법 및 장치 | |
| WO2024077460A1 (zh) | 一种波束预测方法、装置、设备及存储介质 | |
| CN112306096A (zh) | 一种无人机自动跟随方法、系统、设备及存储介质 | |
| CN107808687B (zh) | 医疗数据获取方法、处理方法、集群处理系统及方法 | |
| EP4270884A1 (en) | Channel estimation using neural networks | |
| Khan et al. | Radio environment map construction based on privacy-centric federated learning | |
| WO2024083004A1 (zh) | Ai模型配置方法、终端及网络侧设备 | |
| CN116090550B (zh) | 联邦学习方法、装置、服务器、电子设备及存储介质 | |
| CN114285773B (zh) | 流量采样方法、装置、设备及可读存储介质 | |
| WO2023148593A1 (en) | Cross-correlation of time domain signals due to motion proximity | |
| WO2024041420A1 (zh) | 测量反馈处理方法、装置、终端及网络侧设备 | |
| WO2024093713A1 (zh) | 资源配置方法、装置、通信设备及可读存储介质 | |
| CN115843045A (zh) | 数据采集方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |