CN115150288B - 一种分布式通信系统和方法 - Google Patents
一种分布式通信系统和方法 Download PDFInfo
- Publication number
- CN115150288B CN115150288B CN202210538628.1A CN202210538628A CN115150288B CN 115150288 B CN115150288 B CN 115150288B CN 202210538628 A CN202210538628 A CN 202210538628A CN 115150288 B CN115150288 B CN 115150288B
- Authority
- CN
- China
- Prior art keywords
- model
- local
- edge server
- local terminal
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000005540 biological transmission Effects 0.000 claims abstract description 45
- 238000005192 partition Methods 0.000 claims description 54
- 238000000638 solvent extraction Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010380 label transfer Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种分布式通信系统和方法，包括1个边缘服务器，和与边缘服务器无线通信的多个本地终端，所述边缘服务器拥有完整的模型结构；所述本地终端用于依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点，依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至所述边缘服务器；所述本地终端和边缘服务器用于分别依据模型本地部分和模型卸载部分进行联邦学习，该系统和方法提升了模型的训练速率，减少了模型的学习计算量和传输量，且在模型学习时不需要传输原始数据，仅需上传数据标签，极好地保护用户的隐私性和安全性。
Description
技术领域
本发明属于人工智能和通信相结合的技术领域，具体涉及一种分布式通信系统和方法。
背景技术
人工智能(Artificial Intelligence,AI)技术的发展，衍生出相当多的日常应用，智能语音、图像识别以及数据挖掘等应用充斥着日常生活。AI从海量的数据中训练出相关模型，完成识别和预测等功能。而由于对安全和隐私问题的考虑，一些特殊领域为了保护用户的隐私安全，如银行、医院等，不会给出所有且完整的数据，AI无法发挥出应有的性能，俗称信息孤岛。为使智慧金融、智慧医疗等应用成为现实，传统的机器学习方法无法实现此类目标，发展新的机器学习方法十分有必要。
联邦学习能够有效解决信息孤岛的问题，让参与方在不共享数据的基础上联合建模，从技术上打破数据孤岛，实现AI协作。其设计可以在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。对联邦学习的研究，有望为下一代人工智能协同算法和协作网络打下坚实基础。
近年来，移动设备的普及和无线通信技术的蓬勃发展，移动智能终端的AI应用得到普及，如自动驾驶。随之而来的，数据的隐私性和安全性问题在移动智能终端更加凸出。
无线联邦学习技术是实现移动智能终端AI应用的解决方案之一，移动智能终端与参数服务器之间为无线通信，这与传统的联邦学习应用场景不同。无线通信与有线通信相比，容量受限。而终端与参数服务器之间需要传输的信息量也随着AI模型变大在增多，因此极容易引起较大的通信时延。此外，信道衰落容易影响信息传输质量。由于模型的汇总通常采用同步方式，信道状况不好的用户将会使得整个系统的训练时间急剧增加。综上，将无线联邦学习应用在无线环境中，需要解决的问题是如何提高训练效率。
考虑到无线联邦学习通常受到本地计算终端计算以及通信能力的影响，在保留隐私性的同时，本地可以将部分模型卸载到服务器端进行计算。一方面，可以减少本地的计算量，另外一方面可以减少终端与基站交互的数据量。但此时服务器将会面临大量的计算任务，与传统的联邦学习模式不同，服务器的处理时延将不能被忽略。
采用无线联邦学习方式，模型的卸载位置影响着本地的计算时延与传输时延。另外，本地批量计算的大小也会对本地的计算时延、传输时延以及训练速率产生影响。与此同时，各本地计算终端的模型的卸载量也会影响着服务器计算的时延。
发明内容
本发明的目的是提供一种分布式通信系统和方法，通过调整模型的分割点，提升了模型的训练速率，减少了模型的学习计算量和传输量，且在模型学习时不需要传输原始数据，仅需上传数据标签，极好地保护用户的隐私性和安全性。
为实现上述发明目的，实施例提供的一种分布式通信系统，包括：
包括1个边缘服务器，和与边缘服务器无线通信的多个本地终端，所述边缘服务器拥有完整的模型结构；
所述本地终端用于依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点，依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至所述边缘服务器；
所述本地终端和边缘服务器用于分别依据模型本地部分和模型卸载部分进行联邦学习。
在一个实施例中，所述本地终端用于依据本地数据和数据标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点，包括：
所述本地终端遍历模型的每个模型分割点，计算每个模型分割点对应的训练开销后，筛选最小训练开销对应的模型分割点作为最优模型分割点，其中，模型分割点为模型结构的分割位置，训练开销为本地计算量与通信传输量的加权求和，表示为：
P＝aC+bT
其中，P表示训练开销，C表示本地计算量，T表示通信传输量，a表示本地计算量的权重，用于衡量本地的计算能力α，取值为a＝α/(α+β)，b表示通信传输量的权重，用于衡量边缘服务器与本地终端之间的通信能力β，取值为b＝β/(α+β)。
在一个实施例中，所述本地终端与边缘服务器进行联邦学习的方式不同，本地终端针对不同模型分割点计算的训练开销也不同；
当本地终端与边缘服务器采用共享本地权重的联邦学习时，本地计算量包括对模型本地部分的前向传播计算量和反向传播计算量；通信传输量包括模型本地部分计算结果传输量、标签传输量、对模型卸载部分的梯度传输量以及节点权重传输量。
在一个实施例中，当本地终端与边缘服务器采用采用不共享本地权重的联邦学习时，本地计算量包括对模型本地部分的前向传播计算量；通信传输量包括模型本地部分计算结果传输量、标签传输量。
在一个实施例中，所述本地终端和边缘服务器分别用于依据模型本地部分和模型卸载部分进行联邦学习，包括：
当本地终端与边缘服务器采用采用共享本地权重的联邦学习时，本地终端用于依据输入至模型本地部分的本地数据和标签进行前向传播计算，并将计算得到的激活值作为前向传播计算结果，与本地数据对应的标签一起传输至边缘服务器；
边缘服务器用于将前向传播计算结果输入至模型卸载部分，继续进行前向传播计算，并将计算结果与接收的与本地数据对应的标签进行反向计算，以得到模型卸载部分对应的梯度信息，并传输至本地终端；
本地终端用于对前向传播计算结果与本地数据对应的标签进行反向计算，并将接收的梯度信息与自己反向计算所得的梯度信息进行平均，将平均后的平均梯度信息输出至边缘服务器；
边缘服务器用于综合所有本地终端上传的平均梯度信息来更新模型结构参数，并将更新后模型结构参数广播至参与联邦学习的所有本地终端，完成一轮联邦学习。
在一个实施例中，所述本地终端和边缘服务器用于分别依据模型本地部分和模型卸载部分进行联邦学习，包括：
当本地终端与边缘服务器采用不共享本地权重的联邦学习时，本地终端用于依据输入至模型本地部分的本地数据和标签进行前向传播计算，并将计算得到的激活值作为前向传播计算结果，与本地数据对应的标签一起传输至边缘服务器；
边缘服务器用于将前向传播计算结果输入至模型卸载部分，继续进行前向传播计算，并将计算结果与接收的与本地数据对应的标签进行反向计算，以得到模型卸载部分对应的梯度信息，并将所有本地终端的模型卸载部分对应的梯度信息进行平均，以得到平均梯度信息；
边缘服务器用于按照平均梯度信息来更新模型结构参数，并将更新后模型结构参数广播至参与联邦学习的所有本地终端，完成一轮联邦学习。
为实现上述发明目的，实施例还提供的一种分布式通信方法，所述方法应用上述分布式通信系统，所述包括以下步骤：
步骤1，边缘服务器向参与联邦学习的本地终端分配完整的模型结构；
步骤2，本地终端依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点；
步骤3，本地终端依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至边缘服务器；
步骤4，本地终端和边缘服务器分别依据模型本地部分和模型卸载部分进行联邦学习。
在一个实施例中，步骤2包括：
本地终端遍历模型的每个模型分割点，计算每个模型分割点对应的训练开销后，筛选最小训练开销对应的模型分割点作为最优模型分割点，其中，模型分割点为模型结构的分割位置，训练开销为本地计算量与通信传输量的加权求和，表示为：
P＝aC+bT
其中，P表示训练开销，C表示本地计算量，T表示通信传输量，a表示本地计算量的权重，用于衡量本地的计算能力α，取值为a＝α/(α+β)，b表示通信传输量的权重，用于衡量边缘服务器与本地终端之间的通信能力β，取值为b＝β/(α+β)。
与现有技术相比，本发明具有的有益效果至少包括：
本地终端在考虑本地计算能力和与边缘服务器通信能力的基础上，确定模型结果的最优模型分割点，并将模型分割成模型本地部分和模型卸载部分，这样进行的联邦学习，能够充分利用边缘服务器的计算优势，解决本地计算与通信资源受限的问题，可以减小本地计算量和传输量，提升联邦学习的训练速率和训练准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的分布式通信系统的结构示意图；
图2是实施例提供的模型分割的示意图；
图3是实施例提供的最优模型分割点的确定流程图；
图4是实施例提供的共享本地权重的联邦学习方法流程图；
图5是实施例提供的不共享本地权重的联邦学习方法流程图；
图6是实施例提供的分布式通信方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
鉴于背景技术的问题，实施例提供了一种分布式通信系统和方法，通过寻找最优的模型分割点，确定本地参与计算的训练数据量和数据传输量，以提高训练效率和准确性。
图1是实施例提供的分布式通信系统的结构示意图。如图1所示，该分布式通信系统包括通信连接的边缘服务器和本地终端，本地终端共享上行无线信道资源，基于参数训练的本地数据，与边缘服务器共同完成模型的联邦学习训练。
在联邦学习中，本地终端和边缘服务器承担不同的任务，共同完成模型的训练。如图2所示，以经典的神经网络模型为例，其包含输入层、隐含层和输出层。具体地，模型训练过程主要分为两个阶段，第一阶段是本地数据的前向传播计算，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播计算，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置，最终完成模型训练。实施例中，模型的训练过程被分割成两部分进行，处于本地终端的对模型本地部分的训练过程和处于边缘服务器的对模型卸载部分的训练过程。本地终端进行部分前向计算，然后上传激活单元值。边缘服务器完成剩下的前向传播和完整的反向传播计算，平均梯度信息。更新模型并广播至终端。
实施例中，本地终端用于依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点，依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至边缘服务器。其中，在模型卸载部分上传至边缘服务器说，主要是上传最优模型分割点，最优模型分割点对应的网络层参数。本地终端和边缘服务器用于分别依据模型本地部分和模型卸载部分进行联邦学习。
实施例中，当不采用模型分割时，分布式通信系统实现的联邦学习采用传统的联邦学习训练机制。当全部模型卸载至边缘服务器时，分布式通信系统实现的联邦学习变为传统的集中式训练方式。
实施例中，本地终端采用遍历所有模型分割点的方式进行模型分割点的调整，最终的目标是调整出最优模型分割点，得到最优的训练开销。具体地，本地终端遍历模型的每个模型分割点，计算每个模型分割点对应的训练开销后，筛选最小训练开销对应的模型分割点作为最优模型分割点。其中，模型分割点是指模型结构的分割位置，也就是被分割的网络层。如图3所示，模型分割点的调整过程包括：
301、比较当前模型分割点是否为最后一个模型分割点。
302、当不为最后一个模型分割点时，计算当前模型分割点下，模型学习的本地计算量和通信传输量，以确定当前模型分割点的训练开销；
303、依据训练开销进行最优模型分割点的判断，即比较当前最优分割点的训练开销与当前模型分割点的训练开销，判断当前模型分割点的训练开销是否小于当前最优分割点的训练开销；
304、当当前模型分割点的训练开销是否小于当前最优分割点的训练开销时，利用当前模型分割点更新当前最优模型分割点，即将当前模型分割点作为当前最优模型分割点；
305、当当前模型分割点的训练开销大于或等于当前最优分割点的训练开销时，或者执行完步骤304之后，遍历下一个模型分割点，并将下一个模型分割点作为当前模型分割点，跳转执行步骤301；
306，当遍历完所有模型分割点后，将当前最优模型分割点作为最终的最优模型分割点。
实施例中，训练开销为本地计算量与通信传输量的加权求和，表示为：
P＝aC+bT (1)
其中，P表示训练开销，C表示本地计算量，T表示通信传输量，a表示本地计算量的权重，用于衡量本地的计算能力α，取值为a＝α/(α+β)，b表示通信传输量的权重，用于衡量边缘服务器与本地终端之间的通信能力β，取值为b＝β/(α+β)。
实施例中，本地终端与边缘服务器进行联邦学习的方式不同，本地终端针对不同模型分割点计算的训练开销也不同。当本地终端与边缘服务器采用共享本地权重的联邦学习时，本地计算量包括对模型本地部分的前向传播计算量和反向传播计算量；通信传输量包括模型本地部分计算结果传输量、标签传输量、对模型分割部分的梯度传输量以及节点权重传输量。
当采用共享本地权重的联邦学习时，本地计算量Cclient(k)包括的对模型本地部分的前向传播计算量Cforward(k)和反向传播计算量Cbackward(k)，可以表示为：
其中，Bs表示批量大小，k表示模型分割点，即分割的网络层，cfi表示每层前向传播计算量，cbi表示每层反向传播计算量，i表示网络层索引。
当采用共享本地权重的联邦学习时，通信传输量包括模型本地部分计算结果传输量Tdata(k)、标签传输量Tlabel(k)、对模型卸载部分的梯度传输量Tgrad(k)以及节点权重传输量Tnet(k)，可以表示为：
其中，Bs表示批量大小，由于每个样本数据对应一个标签，因此，标签传输量Tlabel(k)与批量Bs相等，k表示模型分割点，即分割的网络层，t1k表示每层前向传播输出的激活值数据量，t2k表示每层反向传播输出的数据量，wi为每层网络的权重数据量。
每一个分割点传输数据与反向传播传输回梯度数据量一一对应，因此前向传播输出的激活值数据量与反向传播数据量相等，可以表示为：
t1k＝t2k
实施例中，当本地终端与边缘服务器采用不共享本地权重的联邦学习时，本地计算量包括对模型本地部分的前向传播计算量；通信传输量包括模型本地部分计算结果传输量、标签传输量。
当采用不共享本地权重的联邦学习时，本地计算量Cclient(k)包括对模型本地部分的前向传播计算量Cforward(k)，可以表示为：
当采用不共享本地权重的联邦学习时，通信传输量包括的模型本地部分计算结果传输量、标签传输量，可以表示为：
实施例中，本地终端和边缘服务器分别依据模型本地部分和模型卸载部分进行联邦学习，根据设备汇聚准则。联邦学习方式包括共享本地权重的联邦学习方式和不共享本地权重的联邦学习方式。当联邦学习方式不同时，具体的联邦学习过程也不一样。
实施例中，当本地终端与边缘服务器采用共享本地权重的联邦学习时，除了模型卸载部分需要在边缘服务器端同步，所有本地终端的模型本地部分也需要上传至边缘服务器进行汇聚。如图4所示，联邦学习过程包括：
401、本地终端用于依据输入至模型本地部分的本地数据和标签进行前向传播计算，并将计算得到的激活值作为前向传播计算结果，与本地数据对应的标签一起传输至边缘服务器；
402、边缘服务器用于将前向传播计算结果输入至模型卸载部分，继续进行前向传播计算，并将计算结果与接收的与本地数据对应的标签进行反向计算，以得到模型卸载部分对应的梯度信息，并传输至本地终端；
403、本地终端用于对前向传播计算结果与本地数据对应的标签进行反向计算，并将接收的梯度信息与自己反向计算所得的梯度信息进行平均，将平均后的平均梯度信息输出至边缘服务器；
404、边缘服务器用于综合所有本地终端上传的平均梯度信息来更新模型结构参数，并将更新后模型结构参数广播至参与联邦学习的所有本地终端，完成一轮联邦学习。
实施例中，采用共享本地权重的联邦学习方式，可以进一步减小本地终端的计算数据量和终端与边缘服务器的通信数据量，且训练所得模型性能不受影响。
实施例中，当本地终端与边缘服务器采用不共享本地权重的联邦学习时，本地终端处理本地数据与标签，将前向传播计算结果与标签传到边缘服务器，边缘服务器进行模型卸载部分的前向和反向计算，将梯度信息平均后进行广播模型参数的更新广播。如图5所示，联邦学习过程包括：
501、本地终端用于依据输入至模型本地部分的本地数据和标签进行前向传播计算，并将计算得到的激活值作为前向传播计算结果，与本地数据对应的标签一起传输至边缘服务器；
502、边缘服务器用于将前向传播计算结果输入至模型卸载部分，继续进行前向传播计算，并将计算结果与接收的与本地数据对应的标签进行反向计算，以得到模型卸载部分对应的梯度信息，并将所有本地终端的模型卸载部分对应的梯度信息进行平均，以得到平均梯度信息；
503、边缘服务器用于按照平均梯度信息来更新模型结构参数，并将更新后模型结构参数广播至参与联邦学习的所有本地终端，完成一轮联邦学习。
实施例中，采用不共享本地权重的联邦学习方式，可以减小本地计算数据量，并减小本地终端与边缘服务器的通信数据量，但训练所得模型性能会受到一定影响。
实施例还提供了一种分布式通信方法，该分布式通信方法利用上述实施例提供的分布式通信系统，具体地，如图6所示，分布式通信方法包括以下步骤：
601、边缘服务器向参与联邦学习的本地终端分配完整的模型结构。
602、本地终端依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点。
其中，确定最优模型分割点的确定方法包括：本地终端遍历模型的每个模型分割点，计算每个模型分割点对应的训练开销后，筛选最小训练开销对应的模型分割点作为最优模型分割点。其中，训练开销为本地计算量与通信传输量的加权求和，采用上述公式(1)的计算方式。且当联邦学习方式不同时，计算训练开销的方式也不同，当采用共享本地权重的联邦学习时，采用上述公式(2)和(3)的方式计算地计算量与数据传输量。当采用不共享本地权重的联邦学习时，采用上述公式(4)和(5)的方式计算地计算量与数据传输量。
603、本地终端依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至边缘服务器。
604、本地终端和边缘服务器分别依据模型本地部分和模型卸载部分进行联邦学习。
实施例中，本地终端和边缘服务器进行联邦学习的具体过程因是否进行共享本地权重有所不同。当本地终端与边缘服务器采用共享本地权重的联邦学习时，采用图4所示的联邦学习过程。当本地终端与边缘服务器采用不共享本地权重的联邦学习时，采用图5所示的联邦学习过程。
上述实施例提供的分布式通信系统和方法，对于本地计算受限的问题，可以根据终端的计算能力，改变模型分割点，调整模型卸载量，以减小本地计算量和通信传输量。为了满足最优的训练速率和训练准确性，本发明中模型分割点调整方式可以在保证训练速率和训练准确性的同时，减小本地计算量和通信传输量。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种分布式通信系统，其特征在于，包括1个边缘服务器，和与边缘服务器无线通信的多个本地终端，所述边缘服务器拥有完整的模型结构；
所述本地终端用于依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点，具体包括：所述本地终端遍历模型的每个模型分割点，计算每个模型分割点对应的训练开销后，筛选最小训练开销对应的模型分割点作为最优模型分割点，其中，模型分割点为模型结构的分割位置，训练开销为本地计算量与通信传输量的加权求和，表示为：P=aC+bT，其中，P表示训练开销，C表示本地计算量，T表示通信传输量，a表示本地计算量的权重，用于衡量本地的计算能力α，取值为a=α/（α+β），b表示通信传输量的权重，用于衡量边缘服务器与本地终端之间的通信能力β，取值为b=β/（α+β）；
依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至所述边缘服务器；
所述本地终端和边缘服务器用于分别依据模型本地部分和模型卸载部分进行联邦学习。
2.根据权利要求1所述的分布式通信系统，其特征在于，所述本地终端与边缘服务器进行联邦学习的方式不同，本地终端针对不同模型分割点计算的训练开销也不同；
当本地终端与边缘服务器采用共享本地权重的联邦学习时，本地计算量包括对模型本地部分的前向传播计算量和反向传播计算量；通信传输量包括模型本地部分计算结果传输量、标签传输量、对模型卸载部分的梯度传输量以及节点权重传输量。
3.根据权利要求1所述的分布式通信系统，其特征在于，当本地终端与边缘服务器采用采用不共享本地权重的联邦学习时，本地计算量包括对模型本地部分的前向传播计算量；通信传输量包括模型本地部分计算结果传输量以及标签传输量。
4.根据权利要求1所述的分布式通信系统，其特征在于，所述本地终端和边缘服务器分别用于依据模型本地部分和模型卸载部分进行联邦学习，包括：
当本地终端与边缘服务器采用采用共享本地权重的联邦学习时，本地终端用于依据输入至模型本地部分的本地数据和标签进行前向传播计算，并将计算得到的激活值作为前向传播计算结果，与本地数据对应的标签一起传输至边缘服务器；
边缘服务器用于将前向传播计算结果输入至模型卸载部分，继续进行前向传播计算，并将计算结果与接收的与本地数据对应的标签进行反向计算，以得到模型卸载部分对应的梯度信息，并传输至本地终端；
本地终端用于对前向传播计算结果与本地数据对应的标签进行反向计算，并将接收的梯度信息与自己反向计算所得的梯度信息进行平均，将平均后的平均梯度信息输出至边缘服务器；
边缘服务器用于综合所有本地终端上传的平均梯度信息来更新模型结构参数，并将更新后模型结构参数广播至参与联邦学习的所有本地终端，完成一轮联邦学习。
5.根据权利要求1所述的分布式通信系统，其特征在于，所述本地终端和边缘服务器用于分别依据模型本地部分和模型卸载部分进行联邦学习，包括：
当本地终端与边缘服务器采用不共享本地权重的联邦学习时，本地终端用于依据输入至模型本地部分的本地数据和标签进行前向传播计算，并将计算得到的激活值作为前向传播计算结果，与本地数据对应的标签一起传输至边缘服务器；
边缘服务器用于将前向传播计算结果输入至模型卸载部分，继续进行前向传播计算，并将计算结果与接收的与本地数据对应的标签进行反向计算，以得到模型卸载部分对应的梯度信息，并将所有本地终端的模型卸载部分对应的梯度信息进行平均，以得到平均梯度信息；
边缘服务器用于按照平均梯度信息来更新模型结构参数，并将更新后模型结构参数广播至参与联邦学习的所有本地终端，完成一轮联邦学习。
6.一种分布式通信方法，其特征在于，所述方法应用权利要求1-5任一项所述的分布式通信系统，所述包括以下步骤：
步骤1，边缘服务器向参与联邦学习的本地终端分配完整的模型结构；
步骤2，本地终端依据本地数据和标签，并结合本地终端的计算能力以及边缘服务器与本地终端之间的通信能力确定最优模型分割点；
步骤3，本地终端依据最优模型分割点将边缘服务器下发的模型结构分成模型本地部分和模型卸载部分，并将模型卸载部分上传至边缘服务器；
步骤4，本地终端和边缘服务器分别依据模型本地部分和模型卸载部分进行联邦学习。
7.根据权利要求6所述的分布式通信方法，其特征在于，步骤2包括：
本地终端遍历模型的每个模型分割点，计算每个模型分割点对应的训练开销后，筛选最小训练开销对应的模型分割点作为最优模型分割点，其中，模型分割点为模型结构的分割位置，训练开销为本地计算量与通信传输量的加权求和，表示为：
P=aC+bT
其中，P表示训练开销，C表示本地计算量，T表示通信传输量，a表示本地计算量的权重，用于衡量本地的计算能力α，取值为a=α/（α+β），b表示通信传输量的权重，用于衡量边缘服务器与本地终端之间的通信能力β，取值为b=β/（α+β）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210538628.1A CN115150288B (zh) | 2022-05-17 | 2022-05-17 | 一种分布式通信系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210538628.1A CN115150288B (zh) | 2022-05-17 | 2022-05-17 | 一种分布式通信系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115150288A CN115150288A (zh) | 2022-10-04 |
| CN115150288B true CN115150288B (zh) | 2023-08-04 |
Family
ID=83406068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210538628.1A Active CN115150288B (zh) | 2022-05-17 | 2022-05-17 | 一种分布式通信系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115150288B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329990B (zh) * | 2022-10-13 | 2023-01-20 | 合肥本源物联网科技有限公司 | 边缘计算场景下基于模型分割的异步联邦学习加速方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401552A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于调整批量大小与梯度压缩率的联邦学习方法和系统 |
| CN113238867A (zh) * | 2021-05-19 | 2021-08-10 | 浙江凡双科技有限公司 | 一种基于网络卸载的联邦学习方法 |
| WO2021204040A1 (zh) * | 2020-10-29 | 2021-10-14 | 平安科技（深圳）有限公司 | 联邦学习数据处理方法、装置、设备及存储介质 |
| CN114265631A (zh) * | 2021-12-09 | 2022-04-01 | 浙江工业大学 | 一种基于联邦元学习的移动边缘计算智能卸载方法及装置 |
| CN114492746A (zh) * | 2022-01-19 | 2022-05-13 | 中国石油大学(华东) | 一种基于模型分割的联邦学习加速方法 |
-
2022
- 2022-05-17 CN CN202210538628.1A patent/CN115150288B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401552A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于调整批量大小与梯度压缩率的联邦学习方法和系统 |
| WO2021204040A1 (zh) * | 2020-10-29 | 2021-10-14 | 平安科技（深圳）有限公司 | 联邦学习数据处理方法、装置、设备及存储介质 |
| CN113238867A (zh) * | 2021-05-19 | 2021-08-10 | 浙江凡双科技有限公司 | 一种基于网络卸载的联邦学习方法 |
| CN114265631A (zh) * | 2021-12-09 | 2022-04-01 | 浙江工业大学 | 一种基于联邦元学习的移动边缘计算智能卸载方法及装置 |
| CN114492746A (zh) * | 2022-01-19 | 2022-05-13 | 中国石油大学(华东) | 一种基于模型分割的联邦学习加速方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Energy Efficient Federated Learning Over Wireless Communication Networks";Zhaohui Yang.et;《IEEE Transactions on Wireless Communications 》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115150288A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Low-latency federated learning and blockchain for edge association in digital twin empowered 6G networks | |
| Wang et al. | Asynchronous federated learning over wireless communication networks | |
| CN111800828B (zh) | 一种超密集网络的移动边缘计算资源分配方法 | |
| CN111475274B (zh) | 云协同多任务调度方法及装置 | |
| CN114584581B (zh) | 面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法 | |
| Nath et al. | Multi-user multi-channel computation offloading and resource allocation for mobile edge computing | |
| CN114051254B (zh) | 一种基于星地融合网络的绿色云边协同计算卸载方法 | |
| CN114595632A (zh) | 一种基于联邦学习的移动边缘缓存优化方法 | |
| Jiang et al. | Fedmp: Federated learning through adaptive model pruning in heterogeneous edge computing | |
| WO2024032121A1 (zh) | 一种基于云边端协同的深度学习模型推理加速方法 | |
| CN115150288B (zh) | 一种分布式通信系统和方法 | |
| WO2023185485A1 (zh) | 基于自适应分割联邦学习的模型训练方法和人脸识别方法 | |
| CN116233954A (zh) | 基于联邦学习系统的分簇数据共享方法、装置及存储介质 | |
| CN116681126B (zh) | 一种自适应等待时长的异步加权联邦学习方法 | |
| CN116681144A (zh) | 基于动态自适应知识蒸馏的联邦学习模型聚合方法 | |
| CN114528987A (zh) | 一种神经网络边缘-云协同计算分割部署方法 | |
| CN115665869A (zh) | 基于边缘计算和有向无环图的多用户协作平台及其方法 | |
| Kuang et al. | Client selection with bandwidth allocation in federated learning | |
| CN115879542A (zh) | 一种面向非独立同分布异构数据的联邦学习方法 | |
| Lin et al. | Joint gradient sparsification and device scheduling for federated learning | |
| CN114219094A (zh) | 基于多任务联邦学习的通信成本和模型鲁棒性优化方法 | |
| Zheng et al. | A distributed learning architecture for semantic communication in autonomous driving networks for task offloading | |
| CN110768827A (zh) | 一种基于群智能算法的任务卸载方法 | |
| Zhang et al. | On-Device Intelligence for 5G RAN: Knowledge Transfer and Federated Learning Enabled UE-Centric Traffic Steering | |
| Yin et al. | FedSCS: Client Selection for Federated Learning Under System Heterogeneity and Client Fairness with a Stackelberg Game Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |