CN117196014B - 基于联邦学习的模型训练方法、装置、计算机设备及介质 - Google Patents
基于联邦学习的模型训练方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN117196014B CN117196014B CN202311205134.2A CN202311205134A CN117196014B CN 117196014 B CN117196014 B CN 117196014B CN 202311205134 A CN202311205134 A CN 202311205134A CN 117196014 B CN117196014 B CN 117196014B
- Authority
- CN
- China
- Prior art keywords
- model
- global
- vector
- local
- model update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 246
- 230000002776 aggregation Effects 0.000 claims abstract description 71
- 238000004220 aggregation Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000004931 aggregating effect Effects 0.000 claims abstract description 21
- 238000013139 quantization Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 22
- 238000006116 polymerization reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 25
- 230000006835 compression Effects 0.000 description 28
- 238000007906 compression Methods 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 26
- 239000002609 medium Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 101150107801 Top2a gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Complex Calculations (AREA)
Abstract
本发明实施例公开了一种基于联邦学习的模型训练方法、装置、计算机设备及介质。该方法包括：通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并确定模型更新向量，再从模型更新向量中选择目标元素，并根据目标元素生成本地索引向量；接收客户端上传的本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给客户端；通过客户端根据全局索引向量向可编程交换机上传模型更新向量中的模型更新元素；接收客户端上传的模型更新元素并进行聚合，得到全局更新元素并发送给客户端，以使各个客户端根据全局更新元素对全局模型进行更新。从而减少了聚合参数数量及聚合次数，缩短了通信时延，加快了联邦学习的训练流程。
Description
技术领域
本发明实施例涉及联邦学习技术领域，尤其涉及一种基于联邦学习的模型训练方法、装置、计算机设备及介质。
背景技术
随着物联网(Internet of Things，IoT)技术的出现，各种智能设备得到了广泛应用，得以部署在人们日常生活的方方面面。这些智能设备可以通过与环境和人类进行交互，从而收集大量数据，这些庞大的数据为大规模的机器学习模型(如卷积神经网络、循环神经网络等)的训练提供可能。高维的模型可以充分探索海量数据中存储的信息，并利用这些信息进行模型中参数的调整，以提高模型的性能，从而为人类提供各种服务，满足人们在日常生活中的需求。然而，在模型的训练过程中也会引发隐私泄露的问题，因为传统的云中心训练模型需要汇总智能设备上的数据，而这些数据可能包含使用者的个人隐私，直接传输到云服务器上会损害用户利益，使得客户端没有合作训练模型的意愿，因此没有足够的数据对大规模模型进行优化。联邦学习(Federated Learning，FL)就是在这样的需求下提出的一种新的机器学习模型训练范式，该训练模式可以解决上述的孤岛数据困境问题，FL可以使得多个客户端在不暴露本地数据的前提下来协作训练一个机器学习模型。传统的FL训练架构中包含一个参数服务器和多个参与训练的客户端(具备一定的存储和计算能力的终端设备)，在训练过程中，参数服务器与客户端之间传输的是模型的更新数据以进行模型的更新(定义为模型更新)，因此传输的过程不涉及到客户端的原始数据，可以有效的保护客户端的隐私，并利用多个客户端来提高模型的性能。
尽管FL基于其保护数据隐私的特点得到了学术界和工业界的广泛关注，然而，其训练过程中的通信问题仍然限制着FL在实际中的部署。FL的通信瓶颈是由多个因素造成的，大规模的模型需要进行多轮的全局迭代才能实现收敛，因此参数服务器和客户端之间需要进行频繁的数据交换，而对于高维的模型而言，每一次全局迭代需要进行传输的参数数量达到千万级别，因此每一次通信都会消耗大量的通信带宽资源，而且在无线通信中上传的速度远低于下载的速度，并且上传过程中的带宽资源是有限的，这进一步加剧了FL中的通信问题。
为了降低通信成本，现有技术采用由一个具有一定内存和计算能力的可编程交换机(Programmable Switch，PS)来充当参数服务器的角色，以协调FL客户端。PS可以通过在网络层直接聚合不同客户端的模型更新来减少传输的距离，从而优化FL训练过程中的通信，以实现更快的模型收敛，这种网络层中进行聚合的方式定义为网内聚合。有的工作在分布式机器学习中将生成的模型更新量化为整数，然后传输到PS进行聚合，有的工作部署PS用于协调多个机构的FL训练。尽管PS可以有效的提高FL训练中的通信效率，但如果直接使用现有的FL算法，如联邦平均算法(Federated Average Algorithm，FedAvg)进行FL的网内模型聚合，PS内存空间的不足是限制其效率的主要障碍。例如，一个典型的PS只能为FL分配1MB的内存空间进行网内聚合，在进行大规模模型的训练时，需要进行大量的网内聚合次数才能完成一个全局迭代，这会延迟FL的训练。
发明内容
本发明实施例提供一种基于联邦学习的模型训练方法、装置、计算机设备及介质，以减少PS进行聚合的参数数量及聚合次数，从而缩短通信时延，减少PS的内存消耗，加快FL的训练流程。
第一方面，本发明实施例提供了一种基于联邦学习的模型训练方法，该方法包括：
通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素；
接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素；
通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素；
接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新。
可选的，所述本地索引向量为0-1向量，在所述本地索引向量中，“1”表示对应下标的元素被选中，“0”表示对应下标的元素未被选中。
可选的，所述接收各个所述客户端上传的所述本地索引向量并进行聚合，包括：
其中，vt表示第t轮训练过程中的所述聚合结果，表示第i个所述客户端在第t轮训练过程中的所述本地索引向量；
相应的，所述根据聚合结果确定全局索引向量，包括：
若所述聚合结果中的元素大于预设阈值，则将所述全局索引向量中对应下标的元素置为1，否则置为0。
可选的，在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之前，还包括：
通过各个所述客户端对所述模型更新元素进行整数量化。
可选的，所述通过各个所述客户端对所述模型更新元素进行整数量化，包括：
f＝(2b-1-N)/Nm
其中，θ(fUl)表示对所述模型更新向量中的第l个元素Ul整数量化后的结果，f表示缩放因子，b表示整数量化后的比特大小，N表示所述客户端的数量，m表示所述模型更新向量中元素绝对值的最大值。
可选的，所述比特大小满足如下条件：
其中，rl表示所述模型更新向量中的第l个元素被上传的概率，φ表示预设常数，α表示衰减指数。
可选的，在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之后，还包括：
根据所述模型更新向量中未上传的元素对本地累积误差进行更新；
相应的，所述根据所述全局模型以及所述本地模型确定模型更新向量，包括：
根据所述本地累积误差对所述模型更新向量进行补偿。
第二方面，本发明实施例还提供了一种基于联邦学习的模型训练装置，该装置包括：
本地索引向量生成模块，用于通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素；
全局索引向量生成模块，用于接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素；
模型更新元素上传模块，用于通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素；
全局更新元素聚合模块，用于接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的基于联邦学习的模型训练方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的基于联邦学习的模型训练方法。
本发明实施例提供了一种基于联邦学习的模型训练方法，在一轮全局迭代的训练过程中，首先通过多个客户端分别利用各自的本地数据对全局模型进行训练，得到本地模型，并可以根据初始的全局模型和得到的本地模型确定模型更新向量，再从模型更新向量中选择目标元素，并根据所选的目标元素生成本地索引向量上传给可编程交换机，然后可编程交换机根据接收到的本地索引向量进行聚合，再根据聚合结果确定全局索引向量并发送给各个客户端，接着可以通过各个客户端根据接收到的全局索引向量向可编程交换机上传模型更新向量中指定的模型更新元素，最后可编程交换机根据接收到的模型更新元素进行聚合，得到全局更新元素并发送给各个客户端，以使各个客户端根据接收到的全局更新元素对全局模型进行更新。本发明实施例所提供的基于联邦学习的模型训练方法，通过首先由客户端进行投票，然后由可编程交换机根据各个客户端的投票结果来生成统一的全局索引，来对齐重要的模型更新索引，再根据全局索引来传输模型更新数据对模型进行更新，减少了可编程交换机进行聚合的参数数量及聚合次数，从而缩短了通信时延，减少了可编程交换机的内存消耗，加快了联邦学习的训练流程。
附图说明
图1为本发明实施例一提供的基于联邦学习的模型训练方法的流程图；
图2为本发明实施例二提供的基于联邦学习的模型训练装置的结构示意图；
图3为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的基于联邦学习的模型训练方法的流程图。本实施例可适用于应用庞大的物联网数据对相应提供服务的机器学习模型进行分布式训练的情况，该方法可以由本发明实施例所提供的基于联邦学习的模型训练装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，该计算机设备具体可以是可编程交换机。如图1所示，具体包括如下步骤：
S11、通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素。
S12、接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素。
S13、通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素。
S14、接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新。
物联网技术和边缘计算技术相结合，使得在靠近用户的边缘设备能实现对数据的收集和处理，使得收集的数据不用再传输到遥远的云中心服务器上进行决策，从而减少了传输时延，缩短了各种服务程序的响应时间。并且，各个智能设备收集的庞大数据可以用来训练大规模的机器学习模型，这些高维的模型能提供更加智能的服务，进一步提高人工智能的各种能力，提高为人类提供服务的质量。联邦学习是一种新的分布式机器学习范式，该训练模式也是通过将云中心服务器上模型的训练过程迁移到边缘的客户端上，从而能在不传输原始数据的前提下充分利用终端设备上收集到的数据来训练大规模的模型，保护了客户端的数据隐私。
在联邦学习的训练过程中，参数服务器和客户端之间传输的是训练的模型或模型更新数据(即模型参数对应的变化)，联邦平均算法是联邦学习中最基础的训练模型算法，该算法中包含着多个全局迭代，每个迭代都包含着如下的三个步骤：(1)参数服务器会首先随机选择部分客户端参与训练，选定的客户端会从参数服务器下载最新的全局模型；(2)参与训练的客户端在下载最新的全局模型后，会利用本地数据对该模型进行相应的训练，以调整模型中的参数，常用的训练算法是随机梯度下降(Stochastic Gradient Descent，SGD)算法，在本地进行多轮的训练后，客户端会将模型参数的变化，即模型更新传输到参数服务器进行聚合；(3)参数服务器在接收到选定的客户端上传的模型更新后，会对这些更新的数据进行聚合，并使用聚合后的数据来对全局模型进行更新，从而开启下一轮的迭代。
联邦学习训练过程中通常会包含大量的客户端，并且需要同时聚合这些客户端传输的数据，因此单个参数服务器的聚合会造成流量拥堵、单点故障等问题。为了克服联邦学习中单个参数服务器的通信瓶颈，可以使用并行和分层的通信架构，从而能够在联邦学习的训练中部署多个参数服务器来协调多个客户端的训练。如应用P-FedAvg算法，该算法利用了多个服务器来覆盖不同区域内的客户端，并且由服务器之间进行数据的同步，从而避免了服务器的单点故障问题。或者设计分层的联邦学习训练架构，通过利用边缘服务器更接近终端设备的特点，使用边缘服务器聚合对应的终端上的模型更新，在经过一定的聚合次数后再将边缘服务器上的模型上传到云服务器上进行更全局的聚合，从而减少与云服务器的通信次数，以减少对应的通信时延。但是这些不同的通信架构的设计在聚合模型时未考虑内存空间的约束，只是简单的假设模型聚合由功能强大的服务器执行，然而多台高性能服务器的部署成本非常高，使得这些通信架构在现实的部署被限制。为了降低成本，则可以通过部署可编程交换机用于模型聚合，从而有效的加快联邦学习训练中的通信和聚合。
另外，还可以对联邦学习的网内聚合过程中的模型更新进行压缩，以通过将模型压缩与网内聚合相结合来提高联邦学习的性能。模型更新的压缩算法可以通过略微降低传输数据的精度，来减少需要进行传输的数据流量，大幅缩短通信时延，以在有限的时间内提高联邦学习的训练效率，具体可以分为量化和稀疏化两种不同形式。量化压缩算法是通过降低每一个模型更新的精度，从而减少表示每个模型更新的比特数量，以减少需要传输的数据流量。具体可以包括QSGD和PQ等无偏量化压缩算法，这些算法是将模型更新以无偏的方式映射到有限的质心集合中，因此每个模型更新只需要使用少量的比特数来表示其映射后的质心ID即可，譬如将所有模型更新数据映射到包含16个质心的集合中，映射后每个模型更新只需要使用4比特来表示其质心ID(0-15)，与原有的32比特相比，实现了4倍的压缩率。也可以包括FedHQ等异构量化压缩算法，该算法为不同聚合权重的客户端分配异构的量化误差，使得不同重要性的客户端会有不同的压缩率，从而提高压缩后联邦学习的收敛速度。还可以包括FTTQ算法等等，该算法利用自学习的量化因子来压缩模型更新以降低通信成本。但是这些量化压缩算法都是将模型更新量化为浮点数，无法直接适用于网内聚合的联邦学习，因为可编程交换机只能进行整数运算，因此需要调整为整数的量化算法。另一方面，稀疏化通过对传输的模型更新进行筛选，只传输重要的参数，从而减少了传输的模型更新的数量，以优化联邦学习中的通信。具体可以包括Topk稀疏化压缩算法，该算法将每个模型更新的绝对值大小作为重要性的衡量，通过仅传输绝对值最大的k个参数来实现比量化算法高得多的压缩率。
但是上述压缩算法都是基于高性能的服务器进行聚合而设计，所以这些算法在聚合模型时都没有考虑可编程交换机有限内存空间的约束，而高压缩率也并不一定意味着聚合时的内存消耗少得多。例如，假设在一个联邦学习系统中存在两个客户端，每个客户端上训练的模型包含5个参数，客户端1需要进行上传的模型更新为[5,4,3,2,1]，客户端2需要进行上传的模型更新为[1,3,4,5,2]。假定可编程交换机的内存受限，在每次聚合中只能处理一对参数，则可编程交换机需要进行5次聚合来完成客户端1和2的网内聚合。如果直接将压缩算法应用于网内聚合中无法有效的减少聚合次数，譬如每个客户端在上传数据前进行Top2的稀疏化压缩，则客户端1上传的是下标为1和2的模型更新参数，而客户端2上传的是下标为3和4的模型更新参数，由于可编程交换机无法对齐不同客户端的模型更新参数的下标，因此需要进行4次聚合。
可见，高效的压缩无法保证聚合次数的减少，模型更新索引的对齐速度对于可编程交换机的聚合效率至关重要。因此，本实施例提出了一种网内聚合的联邦学习压缩算法(Federated Learning in-network Aggregation with Compression，FediAC)，从而实现面向网内聚合联邦学习的模型训练过程。该算法包括两个阶段：客户端投票和模型更新聚合，在第一阶段中可以通过客户端上传本地索引向量进行投票，可编程交换机可以基于接收到的本地索引向量来估计重要的全局模型更新，并生成全局索引向量返回给所有客户端，从而快速对齐重要的模型更新的索引，而在第二阶段中，客户端只需要根据第一阶段对齐的索引上传重要的模型更新元素，且不同客户端传输的为相同下标的模型更新元素，从而减少了传输的数据流量、可编程交换机进行聚合的参数数量以及聚合次数，加快了联邦学习的训练流程。
具体的，在第t轮全局迭代的运行过程中，首先通过各个客户端i分别利用各自的本地数据对本地存储的全局模型进行E轮训练，得到本地模型/>其中，若为首次迭代，则全局模型可以从可编程交换机下载得到，若非首次迭代，则全局模型可以通过上一轮的更新过程得到，在得到全局模型后，可以同步至本地备用。在训练得到本地模型之后，可以根据本轮初始的全局模型和该本地模型确定模型更新向量/>然后客户端i可以随机从模型更新向量中选择k个目标元素，模型更新向量中的每个元素被选中的概率可以与其绝对值大小成正比。接着可以根据所选的目标元素生成本地索引向量，以通过本地索引向量中的元素表示模型更新向量中对应下标的元素是否被选中，再将得到的本地索引向量上传至可编程交换机。示例性的，模型更新向量为[5,4,3,2,1]，本地索引向量为[1,1,1,0,0]，则模型更新向量中被选中的目标元素为[5,4,3]。其中，可选的，所述本地索引向量为0-1向量，在所述本地索引向量中，“1”表示对应下标的元素被选中，“0”表示对应下标的元素未被选中，则由于0-1向量中每个元素只使用一个比特进行表示，在传输和聚合过程中均不会占用过多的资源。
可编程交换机在接收到各个客户端上传的本地索引向量之后，可以对各个本地索引向量进行聚合，再根据聚合结果生成一致性的全局索引向量并发送给各个客户端，以通知客户端将模型更新向量中的哪些元素选定为模型更新元素用于后续的聚合。其中，可选的，所述接收各个所述客户端上传的所述本地索引向量并进行聚合，包括：
其中，vt表示第t轮训练过程中的所述聚合结果，表示第i个所述客户端在第t轮训练过程中的所述本地索引向量；相应的，所述根据聚合结果确定全局索引向量，包括：若所述聚合结果中的元素大于预设阈值，则将所述全局索引向量中对应下标的元素置为1，否则置为0。具体的，可编程交换机可以对接收到的0-1向量/>进行聚合得到vt，然后可以使用预设阈值a来筛选全局重要的模型更新元素，具体可以当/>时，使得/>反之则使得/>从而将最终更新后所得向量vt作为所需的全局索引向量，其中，/>表示向量vt中的第l个元素。这代表着只有当一个下标的元素被超过a个客户端选中时，该元素才被认为是全局重要的模型更新元素。示例性的，客户端1上传的本地索引向量为[1,1,1,0,0]，客户端2上传的本地索引向量为[0,1,1,0,0]，a＝1，则聚合结果为[1,2,2,1,0]，所生成的全局索引向量为[0,1,1,0,0]。
各个客户端在接收到可编程交换机发送的全局索引向量之后，即可基于全局索引向量来上传各自的模型更新向量中的模型更新元素。示例性的，客户端1的模型更新向量为[5,4,3,2,1]，本地索引向量为[1,1,1,0,0]，客户端2的模型更新向量为[1,3,4,5,2]，本地索引向量为[0,1,1,0,0]，则全局索引向量为[0,1,1,0,0]，客户端1上传的模型更新元素为[4,3]，客户端2上传的模型更新元素为[3,4]。
可选的，在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之前，还包括：通过各个所述客户端对所述模型更新元素进行整数量化，以适应可编程交换机只能进行整型数据运算的问题。
进一步可选的，所述通过各个所述客户端对所述模型更新元素进行整数量化，包括：
f＝(2b-1-N)/Nm
其中，θ(fUl)表示对所述模型更新向量中的第l个元素Ul整数量化后的结果，f表示缩放因子，b表示整数量化后的比特大小，N表示所述客户端的数量，m表示所述模型更新向量中元素绝对值的最大值。具体的，可以预先对模型更新向量中的所有元素(即包括所需的模型更新元素)进行整数量化，并可以应用上述公式将各个元素量化为一个b比特大小的整数，具体首先Ul会乘以一个缩放因子f进行放大，然后再进行量化。根据上述公式可以计算得到量化后的期望值与原始值是相等的，证明该整数量化是无偏的。量化后可以进行稀疏化操作，以根据全局索引向量确定需要上传的模型更新元素，针对元素Ul稀疏化操作得到π(θ(fUl))＝θ(fUl)*vl，其中，vl表示元素Ul在全局索引向量中对应下标的元素。进一步使用Π和Θ来表示对整个模型更新向量的稀疏化和整数量化，则客户端i要上传的模型更新元素即是向量中的非0元素。
可编程交换机在接收到各个客户端上传的模型更新元素之后，即可根据接收到的模型更新元素进行聚合，得到并可以将聚合得到的全局更新元素发送给各个客户端，从而各个客户端可以根据接收到的全局更新元素对全局模型进行更新，得到/>从而开启下一轮的全局迭代，其中，表示下一轮本地存储的全局模型，wt+1表示下一轮迭代的初始全局模型，wt表示本轮迭代的初始全局模型。
在上述技术方案的基础上，可选的，在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之后，还包括：根据所述模型更新向量中未上传的元素对本地累积误差进行更新；相应的，所述根据所述全局模型以及所述本地模型确定模型更新向量，包括：根据所述本地累积误差对所述模型更新向量进行补偿。具体的，针对客户端训练得到的模型更新向量，对于其中未上传的元素可以累积在客户端本地作为误差补偿到下一轮的全局迭代过程中，从而保证最终训练的模型收敛。对于第t轮全局迭代，客户端在确定模型更新元素并上传之后，可以将本地累积误差更新为相应的，可以确定模型更新向量为其中，/>表示上一轮更新得到的本地累积误差。
在上述技术方案的基础上，可选的，所述比特大小满足如下条件：
其中，rl表示所述模型更新向量中的第l个元素被上传的概率，φ表示预设常数，α表示衰减指数。
具体的，参考上述说明可知，可以通过调整预设阈值a和量化的比特大小b来减少传输的流量，并减少聚合次数，但同时会降低传输的模型更新的精度，从而使得训练的模型的收敛变慢。因此，可以讨论FediAC压缩算法造成的压缩误差，如果压缩误差过大，则可能会导致训练的模型无法收敛。FediAC的压缩由量化和稀疏化组成，其中的稀疏化是基于模型更新绝对值的大小进行筛选的，因此，为了对压缩误差进行分析，需要使用一个分布对绝对值的大小进行拟合，具体可以参考现有的工作使用幂律分布进行拟合。当对模型更新向量中的元素按绝对值大小进行递减排序时，递减的性质满足幂律递减，即 其中，/>表示模型更新向量中绝对值第l大的元素，α表示衰减指数，φ表示预设常数。为了便于分析，假设不同客户端的模型更新数据符合同构的幂律分布。
基于该幂律分布，可以定义模型更新向量中第l大的元素绝对值的量级为φl-α，在客户端i选取目标元素时，可以基于其模型更新向量中元素的绝对值大小进行采样，其中第l大的元素被选中的概率为pl＝lα/∑l′(l′)α。因为会在客户端i上进行k次采样，因此最终第l大的元素被投票的概率为ql＝1-(1-pl)k。然后在确定全局索引向量时，可编程交换机会聚合上传的0-1向量并使用预设阈值a进行筛选，只有超过a个客户端对元素进行投票时，该元素才被认定为全局重要的模型更新元素，因此对应的全局索引向量中的元素vt{l}＝1的概率，即被上传的概率为/>则在FediAC中，模型更新向量中的每个元素会基于其绝对值大小的概率进行投票，当一个元素被超过a个客户端投票时，该元素会乘以f进行放大，并被量化为b比特大小的整数。因此，FediAC的压缩误差可以被定义为/>其中：
则预设阈值a和比特大小b都会对压缩误差造成影响，如果a过大，代表会有大量的模型更新向量中的元素被过滤掉，相同的，如果b太小，则代表着每个模型更新会使用非常少的比特数进行表示，这两种操作都会导致最终的压缩误差过大，使得模型无法收敛，因此需要对a和b进行合理的设置。
为了保证训练的模型能够收敛，需要保证压缩误差γ<1，则基于上述得到的压缩误差的上界，可以得到当a固定时，b需要满足的条件为：
则通过b的下界，可以得到0<γ<1，在这样的压缩误差下可以分析训练非凸损失函数的模型时FediAC的收敛性质。首先可以对分析的模型进行一定的常规假设，假设训练损失函数是L平滑的，并且用σ作为上界限定客户端随机梯度的方差，用G作为上界限定客户端随机梯度的期望平方范数。此外，对于联邦学习的训练场景中，一个重要的特性就是客户端之间的数据分布通常是非独立同分布(Non Independent and Identically Distribution，NonIID)的，则可以对该性质进行量化以在分析过程中考虑该因素对模型收敛的影响，常用的做法是使用全局梯度与本地梯度之间的差的期望值进行量化，即
进而可以分析进行了T轮全局迭代后模型的收敛性质，可以定义训练过程中学习率为其中q为常数，并满足/>且/>上述分析过程基于每轮迭代中所有客户端都会参与训练，令vT为基于学习率从历史模型中随机抽取的变量，即/>则收敛的结果为：
其中，F(w0)表示初始模型的损失函数值，F*表示最优模型的损失函数值。则通过上述收敛的分析，可以证明FediAC算法可以在减少通信流量和聚合次数的情况下仍然保持模型的收敛。在实际的部署中，可以将预设阈值a作为超参数进行调整，当a固定时，则可以利用上述计算的量化比特数b的下界进行量化，该下界代表可以在保证模型收敛情况下传输最少的流量，从而能最优化模型的性能。
为了对本实施例所提供的模型训练方法进行评估，在FEMNIST、CIFAR-10和CIFAR-100等公共数据集上进行了大量的实验，实验证明了与最先进额基准算法相比，本模型训练方法将模型的性能提高了1.150％-7.71％，将通信流量减少了41.14％-69.91％。
本发明实施例所提供的技术方案，在一轮全局迭代的训练过程中，首先通过多个客户端分别利用各自的本地数据对全局模型进行训练，得到本地模型，并可以根据初始的全局模型和得到的本地模型确定模型更新向量，再从模型更新向量中选择目标元素，并根据所选的目标元素生成本地索引向量上传给可编程交换机，然后可编程交换机根据接收到的本地索引向量进行聚合，再根据聚合结果确定全局索引向量并发送给各个客户端，接着可以通过各个客户端根据接收到的全局索引向量向可编程交换机上传模型更新向量中指定的模型更新元素，最后可编程交换机根据接收到的模型更新元素进行聚合，得到全局更新元素并发送给各个客户端，以使各个客户端根据接收到的全局更新元素对全局模型进行更新。通过首先由客户端进行投票，然后由可编程交换机根据各个客户端的投票结果来生成统一的全局索引，来对齐重要的模型更新索引，再根据全局索引来传输模型更新数据对模型进行更新，减少了可编程交换机进行聚合的参数数量及聚合次数，从而缩短了通信时延，减少了可编程交换机的内存消耗，加快了联邦学习的训练流程。
实施例二
图2为本发明实施例二提供的基于联邦学习的模型训练装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，用于执行本发明任意实施例所提供的基于联邦学习的模型训练方法。如图2所示，该装置包括：
本地索引向量生成模块21，用于通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素；
全局索引向量生成模块22，用于接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素；
模型更新元素上传模块23，用于通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素；
全局更新元素聚合模块24，用于接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新。
本发明实施例所提供的技术方案，在一轮全局迭代的训练过程中，首先通过多个客户端分别利用各自的本地数据对全局模型进行训练，得到本地模型，并可以根据初始的全局模型和得到的本地模型确定模型更新向量，再从模型更新向量中选择目标元素，并根据所选的目标元素生成本地索引向量上传给可编程交换机，然后可编程交换机根据接收到的本地索引向量进行聚合，再根据聚合结果确定全局索引向量并发送给各个客户端，接着可以通过各个客户端根据接收到的全局索引向量向可编程交换机上传模型更新向量中指定的模型更新元素，最后可编程交换机根据接收到的模型更新元素进行聚合，得到全局更新元素并发送给各个客户端，以使各个客户端根据接收到的全局更新元素对全局模型进行更新。通过首先由客户端进行投票，然后由可编程交换机根据各个客户端的投票结果来生成统一的全局索引，来对齐重要的模型更新索引，再根据全局索引来传输模型更新数据对模型进行更新，减少了可编程交换机进行聚合的参数数量及聚合次数，从而缩短了通信时延，减少了可编程交换机的内存消耗，加快了联邦学习的训练流程。
在上述技术方案的基础上，可选的，所述本地索引向量为0-1向量，在所述本地索引向量中，“1”表示对应下标的元素被选中，“0”表示对应下标的元素未被选中。
在上述技术方案的基础上，可选的，全局索引向量生成模块22，具体用于：
其中，vt表示第t轮训练过程中的所述聚合结果，表示第i个所述客户端在第t轮训练过程中的所述本地索引向量；
相应的，全局索引向量生成模块22，具体用于：
若所述聚合结果中的元素大于预设阈值，则将所述全局索引向量中对应下标的元素置为1，否则置为0。
在上述技术方案的基础上，可选的，该基于联邦学习的模型训练装置，还包括：
整数量化模块，用于在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之前，通过各个所述客户端对所述模型更新元素进行整数量化。
在上述技术方案的基础上，可选的，整数量化模块具体用于：
f＝(2b-1-N)/Nm
其中，θ(fUl)表示对所述模型更新向量中的第l个元素Ul整数量化后的结果，f表示缩放因子，b表示整数量化后的比特大小，N表示所述客户端的数量，m表示所述模型更新向量中元素绝对值的最大值。
在上述技术方案的基础上，可选的，所述比特大小满足如下条件：
其中，rl表示所述模型更新向量中的第l个元素被上传的概率，φ表示预设常数，α表示衰减指数。
在上述技术方案的基础上，可选的，该基于联邦学习的模型训练装置，还包括：
本地累积误差更新模块，用于在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之后，根据所述模型更新向量中未上传的元素对本地累积误差进行更新；
相应的，本地索引向量生成模块21具体用于：
根据所述本地累积误差对所述模型更新向量进行补偿。
本发明实施例所提供的基于联邦学习的模型训练装置可执行本发明任意实施例所提供的基于联邦学习的模型训练方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述基于联邦学习的模型训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于联邦学习的模型训练方法对应的程序指令/模块(例如，基于联邦学习的模型训练装置中的本地索引向量生成模块21、全局索引向量生成模块22、模型更新元素上传模块23及全局更新元素聚合模块24)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的基于联邦学习的模型训练方法。
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于接收客户端上传的数据，以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34可用于向客户端发送数据等等。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种基于联邦学习的模型训练方法，该方法包括：
通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素；
接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素；
通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素；
接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM、兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于联邦学习的模型训练方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种基于联邦学习的模型训练方法，其特征在于，包括：
通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素；
接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素；
通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素；
接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新；
所述本地索引向量为0-1向量，在所述本地索引向量中，“1”表示对应下标的元素被选中，“0”表示对应下标的元素未被选中；
所述接收各个所述客户端上传的所述本地索引向量并进行聚合，包括：
其中，vt表示第t轮训练过程中的所述聚合结果，表示第i个所述客户端在第t轮训练过程中的所述本地索引向量；
相应的，所述根据聚合结果确定全局索引向量，包括：
若所述聚合结果中的元素大于预设阈值，则将所述全局索引向量中对应下标的元素置为1，否则置为0。
2.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之前，还包括：
通过各个所述客户端对所述模型更新元素进行整数量化。
3.根据权利要求2所述的基于联邦学习的模型训练方法，其特征在于，所述通过各个所述客户端对所述模型更新元素进行整数量化，包括：
f＝(2b-1-N)/Nm
其中，θ(fUl)表示对所述模型更新向量中的第l个元素Ul整数量化后的结果，f表示缩放因子，b表示整数量化后的比特大小，N表示所述客户端的数量，m表示所述模型更新向量中元素绝对值的最大值。
4.根据权利要求3所述的基于联邦学习的模型训练方法，其特征在于，所述比特大小满足如下条件：
其中，rl表示所述模型更新向量中的第l个元素被上传的概率，表示预设常数，α表示衰减指数。
5.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，在所述通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素之后，还包括：
根据所述模型更新向量中未上传的元素对本地累积误差进行更新；
相应的，所述根据所述全局模型以及所述本地模型确定模型更新向量，包括：
根据所述本地累积误差对所述模型更新向量进行补偿。
6.一种基于联邦学习的模型训练装置，其特征在于，包括：
本地索引向量生成模块，用于通过多个客户端利用本地数据对全局模型进行训练，得到本地模型，并根据所述全局模型以及所述本地模型确定模型更新向量，再从所述模型更新向量中选择目标元素，并根据所述目标元素生成本地索引向量，所述本地索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为所述目标元素；
全局索引向量生成模块，用于接收各个所述客户端上传的所述本地索引向量并进行聚合，再根据聚合结果确定全局索引向量并发送给各个所述客户端，所述全局索引向量用于表示所述模型更新向量中对应下标的元素是否被选中为模型更新元素；
模型更新元素上传模块，用于通过各个所述客户端根据所述全局索引向量向可编程交换机上传所述模型更新向量中的所述模型更新元素；
全局更新元素聚合模块，用于接收各个所述客户端上传的所述模型更新元素并进行聚合，得到全局更新元素并发送给各个所述客户端，以使各个所述客户端根据所述全局更新元素对所述全局模型进行更新；
所述本地索引向量为0-1向量，在所述本地索引向量中，“1”表示对应下标的元素被选中，“0”表示对应下标的元素未被选中；
所述全局索引向量生成模块具体用于：
其中，vt表示第t轮训练过程中的所述聚合结果，表示第i个所述客户端在第t轮训练过程中的所述本地索引向量；
相应的，所述全局索引向量生成模块具体用于：
若所述聚合结果中的元素大于预设阈值，则将所述全局索引向量中对应下标的元素置为1，否则置为0。
7.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的基于联邦学习的模型训练方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的基于联邦学习的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311205134.2A CN117196014B (zh) | 2023-09-18 | 2023-09-18 | 基于联邦学习的模型训练方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311205134.2A CN117196014B (zh) | 2023-09-18 | 2023-09-18 | 基于联邦学习的模型训练方法、装置、计算机设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117196014A CN117196014A (zh) | 2023-12-08 |
| CN117196014B true CN117196014B (zh) | 2024-05-10 |
Family
ID=89003146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311205134.2A Active CN117196014B (zh) | 2023-09-18 | 2023-09-18 | 基于联邦学习的模型训练方法、装置、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117196014B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117892805B (zh) * | 2024-03-18 | 2024-05-28 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507219A (zh) * | 2020-12-07 | 2021-03-16 | 中国人民大学 | 一种基于联邦学习增强隐私保护的个性化搜索系统 |
| CN113688855A (zh) * | 2020-05-19 | 2021-11-23 | 华为技术有限公司 | 数据处理方法、联邦学习的训练方法及相关装置、设备 |
| WO2021258964A1 (zh) * | 2020-06-22 | 2021-12-30 | 华为技术有限公司 | 神经网络结构搜索的方法、装置与系统 |
| CN114580662A (zh) * | 2022-02-28 | 2022-06-03 | 浙江大学 | 基于锚点聚合的联邦学习方法和系统 |
| CN115564062A (zh) * | 2022-09-26 | 2023-01-03 | 南京理工大学 | 一种基于模型剪枝和传输压缩优化的联邦学习系统及方法 |
| CN115796271A (zh) * | 2022-11-11 | 2023-03-14 | 中国科学技术大学苏州高等研究院 | 基于客户端选择和梯度压缩的联邦学习方法 |
| CN115829027A (zh) * | 2022-10-31 | 2023-03-21 | 广东工业大学 | 一种基于对比学习的联邦学习稀疏训练方法及系统 |
| CN116094993A (zh) * | 2022-12-22 | 2023-05-09 | 电子科技大学 | 一种适用于边缘计算场景下的联邦学习安全聚合方法 |
| WO2023086353A1 (en) * | 2021-11-15 | 2023-05-19 | Google Llc | Programmable accelerator for data-dependent, irregular operations |
| CN116227632A (zh) * | 2022-12-30 | 2023-06-06 | 中国科学技术大学苏州高等研究院 | 用于客户端异构和数据异构场景的联邦学习方法和装置 |
| EP4202783A1 (fr) * | 2021-12-22 | 2023-06-28 | Thales | Procédé et système d'apprentissage collaboratif automatique multi-participants d'un modèle de classification de données |
| CN116629305A (zh) * | 2023-05-22 | 2023-08-22 | 广州大学 | 基于粒子群算法的联邦学习优化方法及装置 |
-
2023
- 2023-09-18 CN CN202311205134.2A patent/CN117196014B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688855A (zh) * | 2020-05-19 | 2021-11-23 | 华为技术有限公司 | 数据处理方法、联邦学习的训练方法及相关装置、设备 |
| WO2021258964A1 (zh) * | 2020-06-22 | 2021-12-30 | 华为技术有限公司 | 神经网络结构搜索的方法、装置与系统 |
| CN112507219A (zh) * | 2020-12-07 | 2021-03-16 | 中国人民大学 | 一种基于联邦学习增强隐私保护的个性化搜索系统 |
| WO2023086353A1 (en) * | 2021-11-15 | 2023-05-19 | Google Llc | Programmable accelerator for data-dependent, irregular operations |
| EP4202783A1 (fr) * | 2021-12-22 | 2023-06-28 | Thales | Procédé et système d'apprentissage collaboratif automatique multi-participants d'un modèle de classification de données |
| CN114580662A (zh) * | 2022-02-28 | 2022-06-03 | 浙江大学 | 基于锚点聚合的联邦学习方法和系统 |
| CN115564062A (zh) * | 2022-09-26 | 2023-01-03 | 南京理工大学 | 一种基于模型剪枝和传输压缩优化的联邦学习系统及方法 |
| CN115829027A (zh) * | 2022-10-31 | 2023-03-21 | 广东工业大学 | 一种基于对比学习的联邦学习稀疏训练方法及系统 |
| CN115796271A (zh) * | 2022-11-11 | 2023-03-14 | 中国科学技术大学苏州高等研究院 | 基于客户端选择和梯度压缩的联邦学习方法 |
| CN116094993A (zh) * | 2022-12-22 | 2023-05-09 | 电子科技大学 | 一种适用于边缘计算场景下的联邦学习安全聚合方法 |
| CN116227632A (zh) * | 2022-12-30 | 2023-06-06 | 中国科学技术大学苏州高等研究院 | 用于客户端异构和数据异构场景的联邦学习方法和装置 |
| CN116629305A (zh) * | 2023-05-22 | 2023-08-22 | 广州大学 | 基于粒子群算法的联邦学习优化方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| "Federated Learning for Air Quality Index Prediction using UAV Swarm Networks";Prateek Chhikara等;《2021 IEEE Global Communications Conference (GLOBECOM)》;20220202;第1-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117196014A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qin et al. | Federated learning and wireless communications | |
| Tang et al. | Computational intelligence and deep learning for next-generation edge-enabled industrial IoT | |
| Wang et al. | MAP based modeling method and performance study of a task offloading scheme with time-correlated traffic and VM repair in MEC systems | |
| CN111629380B (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
| CN111277511B (zh) | 传输速率控制方法、装置、计算机系统及可读存储介质 | |
| CN110928654A (zh) | 一种边缘计算系统中分布式的在线任务卸载调度方法 | |
| Cui et al. | Optimal rate adaption in federated learning with compressed communications | |
| CN117196014B (zh) | 基于联邦学习的模型训练方法、装置、计算机设备及介质 | |
| Zhang et al. | Federated learning with adaptive communication compression under dynamic bandwidth and unreliable networks | |
| Elbir et al. | A hybrid architecture for federated and centralized learning | |
| EP3928495A1 (en) | Automated closed-loop actions in a network using a distributed ledger | |
| CN112215326B (zh) | 一种分布式ai系统 | |
| Ji et al. | Efficiency-Boosting Federated Learning in Wireless Networks: A Long-Term Perspective | |
| CN117998420A (zh) | 一种基于dag的分片级联分布式6g网络联合优化方法及装置 | |
| Aswini et al. | Artificial Intelligence Based Smart Routing in Software Defined Networks. | |
| CN117121516A (zh) | 应用于移动通信系统的联邦学习方法、装置、终端及介质 | |
| CN113329358A (zh) | 一种基于risc-v指令集的aiot多制式边缘网关通信系统及设备 | |
| CN116827515A (zh) | 一种基于区块链和强化学习的雾计算系统性能优化算法 | |
| CN115102767B (zh) | 一种基于分布式协作学习的DDoS主动防御系统及方法 | |
| Gupta et al. | Fedfm: Towards a robust federated learning approach for fault mitigation at the edge nodes | |
| CN112738225B (zh) | 基于人工智能的边缘计算方法 | |
| Su et al. | Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression | |
| Oksuz et al. | Federated learning in wireless networks via over-the-air computations | |
| CN106487694A (zh) | 一种数据流处理方法和装置 | |
| CN105704004B (zh) | 业务数据处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |