CN113282933B - 联邦学习方法、装置和系统、电子设备、存储介质 - Google Patents

联邦学习方法、装置和系统、电子设备、存储介质 Download PDF

Info

Publication number
CN113282933B
CN113282933B CN202010695940.2A CN202010695940A CN113282933B CN 113282933 B CN113282933 B CN 113282933B CN 202010695940 A CN202010695940 A CN 202010695940A CN 113282933 B CN113282933 B CN 113282933B
Authority
CN
China
Prior art keywords
layer
node
gradient
global
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010695940.2A
Other languages
English (en)
Other versions
CN113282933A (zh
Inventor
杜永生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202010695940.2A priority Critical patent/CN113282933B/zh
Priority to US18/016,470 priority patent/US20230281508A1/en
Priority to EP21841778.0A priority patent/EP4184361A4/en
Priority to PCT/CN2021/106469 priority patent/WO2022012621A1/zh
Publication of CN113282933A publication Critical patent/CN113282933A/zh
Application granted granted Critical
Publication of CN113282933B publication Critical patent/CN113282933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供了一种联邦学习方法、装置和系统、电子设备、计算机可读存储介质，联邦学习方法应用于第i层节点，i为大于或等于2，且小于或等于(N‑1)的整数，(N‑1)为联邦学习的层数，该方法包括：接收到至少一个下挂的第(i‑1)层节点上报的对应的第一梯度；根据至少一个第(i‑1)层节点对应的第一梯度和第i层节点对应的第(i‑1)层权重指标计算第i层节点对应的更新的第(i‑1)层全局梯度；其中，第(i‑1)层权重指标为通信指标。

Description

联邦学习方法、装置和系统、电子设备、存储介质
技术领域
本申请实施例涉及人工智能领域，特别涉及联邦学习方法、装置和系统、电子设备、计算机可读存储介质。
背景技术
在数据化最为成熟的通信领域，如果进行智能化，显然面临这样一个问题，智能化带来的计算负荷资源要求在通信领域实时性要求高的前提下，网络现存设备剩余不多的算力资源目前难以满足通信智能化发展的实时算力要求。
对于存量网络所需的实时计算要求，目前主要的解决思路是把网络设备(即网络的中心计算节点)的计算从网络设备内部迁移到移动接入网边缘，实现边缘侧的实时智能化计算需求，即在网络中靠近网元侧部署具备数据采集和计算能力的节点(NCCN，NearCollect Computer Node)。这种方式对于现存网络，例如3G、4G、部分5G的智能化所带来的实时计算需求起到一个过渡作用。
在这种算力架构下引入联邦学习，不仅能保护网元侧用户数据的隐私，而且能充分利用网络设备不多的算力资源，以及防止数据移动带来的带宽消耗。但是目前的联邦学习方法得到的优化结果往往不是最佳的。
发明内容
本申请实施例提供一种联邦学习方法、装置和系统、电子设备、计算机可读存储介质。
第一方面，本申请实施例提供一种联邦学习方法，应用于第i层节点，i为大于或等于2，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数，该方法包括：
接收到至少一个下挂的第(i-1)层节点上报的对应的第一梯度；
根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度；其中，第(i-1)层权重指标为通信指标。
第二方面，本申请实施例提供一种联邦学习方法，应用于第1层节点，该方法包括：
将第1层节点对应的更新的梯度上报给第2层节点；
接收第2层节点发送的更新的第j层全局梯度；其中，第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；第j层权重指标为通信指标；j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数。
第三方面，本申请实施例提供一种联邦学习方法，应用于第N层节点或第N层子系统，(N-1)为联邦学习的层数，该方法包括：
接收到至少一个下挂的第(N-1)层节点上报的对应的第(N-2)层全局梯度；
根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点或第N层子系统对应的第(N-1)层全局梯度；其中，第(N-1)层权重指标为通信指标。
第四方面，本申请实施例提供一种电子设备，包括：
至少一个处理器；
存储器，存储器上存储有至少一个程序，当至少一个程序被至少一个处理器执行，使得至少一个处理器实现上述任意一种联邦学习方法。
第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意一种联邦学习方法。
第六方面，本申请实施例提供一种联邦学习系统，包括：
第N层节点或第N层子系统，用于接收到至少一个下挂的第(N-1)层节点上报的对应的第(N-2)层全局梯度；根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点或第N层子系统对应的第(N-1)层全局梯度；其中，第(N-1)层权重指标为通信指标；将第N层节点或第N层子系统对应的第(N-1)层全局梯度下发给至少一个第(N-1)层节点；其中，(N-1)为联邦学习的层数；
第i层节点，用于接收到至少一个下挂的第(i-1)层节点上报的对应的第一梯度；根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度；其中，第(i-1)层权重指标为通信指标；
第i层节点还用于：
将第i层节点对应的更新的第(i-1)层全局梯度下发给第(i-1)层节点；或者，将第i层节点对应的更新的第(i-1)层全局梯度上报给第(i+1)层节点；接收第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个下发给第(i-1)层节点；
第1层节点，用于将第1层节点对应的更新的梯度上报给第2层节点；接收第2层节点发送的更新的第j层全局梯度；其中，第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；第j层权重指标为通信指标；j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数。
本申请实施例提供的联邦学习方法，以通信指标为权重指标来计算全局梯度，由于通信指标对于运营商来说是比较有价值的数据指标，因此基于以通信指标为权重指标来计算的全局梯度进行模型训练得到的模型训练结果对于运营商来说是最优结果，从而提高了优化效果。
附图说明
图1为本申请实施例提供的联邦学习系统架构示意图；
图2为本申请实施例提供的单层联邦学习系统架构示意图；
图3为本申请实施例提供的双层联邦学习系统架构示意图；
图4为本申请一个实施例提供的联邦学习方法的流程图；
图5为本申请另一个实施例提供的联邦学习方法的流程图；
图6为本申请另一个实施例提供的联邦学习方法的流程图；
图7为本申请示例1-4提供的联邦学习系统架构示意图；
图8为本申请示例5提供的联邦学习系统架构示意图；
图9为本申请另一个实施例提供的联邦学习装置的组成框图；
图10为本申请另一个实施例提供的联邦学习装置的组成框图；
图11为本申请另一个实施例提供的联邦学习装置的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图对本申请提供的联邦学习方法、装置和系统、电子设备、计算机可读存储介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本申请透彻和完整，并将使本领域技术人员充分理解本申请的范围。
在不冲突的情况下，本申请各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括至少一个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本申请。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加至少一个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本申请的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
目前的横向联邦学习方法大致包括：
参与方用本地数据进行模型训练得到更新的梯度，使用加密、差分隐私(DP，Different Privacy)或秘密共享技术对更新的梯度进行隐私保护处理，得到隐私保护处理后的梯度；将隐私保护处理后的梯度发送到中心服务器；
中心服务器对至少一个参与方对应的隐私保护处理后的梯度进行解密，得到至少一个参与方对应的更新的梯度，根据至少一个参与方对应的更新的梯度计算更新的全局梯度，将更新的全局梯度分别下发给每一个参与者；
参与方根据更新的全局梯度更新模型。
上述横向联邦学习方法中，更新的全局梯度一般采用谷歌(Google)的联合平均(FedAvg，Federated Averaging)算法，即将所有参与方(或者随机一部分参与方)对应更新的梯度取平均值或加权平均值得到更新的全局梯度；其中，权重为参与方参与训练的数据量。这种方法以参与方参与训练的数据量作为权重，由于参与训练的数据量不等同于运营商关注的有价值的数据量，因此，模型训练结果对于运营商来说并不是最优结果；并且，没有对参与方进行区分，无法实现个性化的优化，从而降低优化效果。
下面介绍本申请实施例提供的联邦系统架构。
图1为本申请实施例提供的联邦学习系统架构示意图。如图1所示，本申请实施例的联邦学习系统用于实现(N-1)层联邦学习，N为大于或等于2的整数。
本申请实施例的(N-1)层联邦学习由N层节点实现，或(N-1)层联邦学习由第1层节点到第(N-1)层节点以及第N层子系统实现；并且，第1层节点到第(N-1)层节点均包括一个或一个以上，而第N层节点或第N层子系统仅包括一个。
具体的，第i层联邦学习由第i层节点和第(i+1)层节点实现，i为大于或等于1，且小于或等于(N-2)的整数；第(N-1)层联邦学习由第(N-1)层节点和第N层节点实现，或第(N-1)层联邦学习由第(N-1)层节点和第N层子系统实现。
需要说明的是，不同的第(i+1)层节点下挂接的第i层节点不同。
需要说明的是，第1层节点可以是网元(NE，Network Element)，如基站，第2层节点到第(N-1)层节点可以是NCCN，第N层节点或第N层子系统可以是网元管理系统(EMS，Element Management System)对应的节点或子系统。
需要说明的是，第2层节点到第(N-1)层节点可以是实体设备，也可以是虚拟节点。
例如，图2以单层联邦学习为例给出了单层联邦学习系统架构示意图。如图2所示，单层联邦学习系统实现了单层联邦学习，单层联邦学习由第1层节点和第2层节点实现，或单层联邦学习由第1层节点和第2层子系统实现。
又如，图3以双层联邦学习为例给出了双层联邦学习系统架构示意图。如图3所示，双层联邦学习由第1层节点、第2层节点和第3层节点实现，或双层联邦学习由第1层节点、第2层节点和第3层子系统实现。具体的，第1层联邦学习由第1层节点和第2层节点实现，第2层联邦学习由第2层节点和第3层节点实现，或第2层联邦学习由第2层节点和第3层子系统实现。
下面分别从第1层节点侧、第2层节点到第(N-1)层节点中任何一层节点侧、第N层节点或第N层子系统侧来分别描述联邦学习过程。
图4为本申请一个实施例提供的联邦学习方法的流程图。
第一方面，参照图4，本申请一个实施例提供一种联邦学习方法，应用于第i层节点，i为大于或等于2，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数，该方法包括：
步骤400、接收到至少一个下挂的第(i-1)层节点上报的对应的第一梯度。
在一些示例性实施例中，若i等于2，第(i-1)层节点对应的第一梯度为第(i-1)层节点进行模型训练得到的更新的梯度。
在一些示例性实施例中，若i等于2，为了提高安全性，第(i-1)层节点对应的第一梯度也可以是第(i-1)层节点进行模型训练得到更新的梯度后，对第(i-1)层节点对应的更新的梯度进行隐私保护处理得到的第(i-1)层节点对应的第二梯度。
在一些示例性实施例中，若i大于2，且小于或等于(N-1)，第(i-1)层节点对应的第一梯度为第(i-1)层节点对应的更新的第(i-2)层全局梯度。
在一些示例性实施例中，若i大于2，且小于或等于(N-1)，为了提高安全性，第(i-1)层节点对应的第一梯度也可以是第(i-1)层节点对第(i-1)层节点对应的更新的第(i-2)层全局梯度进行隐私保护处理得到的第(i-1)层节点对应的隐私保护处理后的第(i-2)层全局梯度。
在一些示例性实施例中，隐私保护处理可以采用加密、DP或秘密共享技术实现，也可以采用其他的方式实现，具体的实现方式不用于限定本申请实施例的保护范围。
步骤401、根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度；其中，第(i-1)层权重指标为通信指标。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、话务量和上下行流量的加权平均。
在一些示例性实施例中，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。例如，为了实现网络优化的实时性，可以将同一层的不同节点对应的权重指标设置为相同，也就是采用至少一个同一层的不同节点来实现同一个权重指标的优化，类似于分布式系统；为了实现网络优化的个性化，可以将同一层的不同节点对应的权值指标设置为不同，具体可以设置同一层的任意两个节点对应的权重指标均不相同，也可以设置同一层的其中一部分节点对应的权重指标相同，同一层的另一部分节点对应的权重指标不同，具体视实际情况而定。
在一些示例性实施例中，第i层节点对应的第(i-1)层权重指标可以统一设置在第N层节点或第N层子系统中，具体设置时，可以设置第i层节点和第(i-1)层权重指标之间的对应关系。这种设置方式中，在第N层节点或第N层子系统逐层下发联邦学习任务时，可以将第i层节点对应的第(i-1)层权重指标随联邦学习任务一起逐层下发到第i层节点，也可以单独将第i层节点对应的第(i-1)层权重指标逐层下发到第i层节点，也可以不将第i层节点对应的第(i-1)层权重指标随联邦学习任务一起逐层下发到第i层节点。
在一些示例性实施例中，第i层节点对应的第(i-1)层权重指标也可以设置在对应的第i层节点上，这样省去了第N层节点或第N层子系统将第i层节点对应的第(i-1)层权重指标逐层下发到第i层节点的过程，从而节省了网络开销。
在一些示例性实施例中，根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度包括：
根据第i层节点对应的第(i-1)层权重指标获取至少一个第(i-1)层节点对应的第(i-1)层权重指标值；以至少一个第(i-1)层节点对应的第(i-1)层权重指标值为权重，计算至少一个第(i-1)层节点对应的第一梯度的加权平均值，得到第i层节点对应的更新的第(i-1)层全局梯度。
在一些示例性实施例中，如果第(i-1)层节点对应的第一梯度为第(i-1)层节点对应的第二梯度，或第(i-1)层节点对应的隐私保护处理后的第(i-2)层全局梯度，则需要先对第(i-1)层节点对应的第一梯度进行去隐私保护处理，也就是进行隐私保护处理的反处理，例如，如果隐私保护处理为加密，那么去隐私保护处理就是解密，其他的隐私保护处理方式以此类推；然后再计算至少一个第(i-1)层节点对应的去隐私保护处理后的第一梯度的加权平均值。
在一些示例性实施例中，对于某些隐私保护处理方式，例如同态加密方式，也可以不用对第(i-1)层节点对应的第一梯度进行去隐私保护处理，而直接计算至少一个第(i-1)层节点对应的第一梯度的加权平均值。
在一些示例性实施例中，第(i-1)层节点对应的第(i-1)层权重指标值可以根据第(i-1)层节点下挂的所有第1层节点对应的第(i-1)层权重指标值获得，具体可以采用多种方式获得，例如，每一个第1层节点分别获得对应的第(i-1)层权重指标值后，逐层上报到第(i-1)层节点，由第(i-1)层节点统一进行计算；又如，每一个第1层节点分别获得对应的第(i-1)层权重指标值后，逐层上报到第(i-1)层节点，每上报一层节点，则进行一次计算；又如，由第(i-1)层节点获取用于计算第(i-1)层权重指标值的第1层节点的相关信息，然后基于第1层节点的相关信息分别计算每一个第1层节点对应的第(i-1)层权重指标值，然后计算第(i-1)层节点对应的第(i-1)层权重指标值；等等，当然，还有其他很多的获取方式，具体的获取方式不用于限定本申请实施例的保护范围。
在一些示例性实施例中，按照公式
Figure BDA0002588959810000061
计算第i层节点对应的更新的第(i-1)层全局梯度；
其中，GRAi为第i层节点对应的更新的第(i-1)层全局梯度，GRAm(i-1)为第i层节点下挂的第m个第(i-1)层节点对应的第一梯度，KPIi-1为第i层节点下挂的第m个第(i-1)层节点对应的第(i-1)层权重指标值。
在一些示例性实施例中，如果权重指标为平均时延，那么只需要计算以平均时延为权重的全局梯度。
在一些示例性实施例中，如果权重指标为话务量，那么只需要计算以话务量为权重的全局梯度。
在一些示例性实施例中，如果权重指标为上下行流量，那么只需要计算以上下行流量为权重的全局梯度。
在一些示例性实施例中，如果权重指标为话务量和上下行流量的加权平均，那么需要分别计算以话务量为权重的全局梯度和以上下行流量为权重的全局梯度，然后计算以话务量为权重的全局梯度和以上下行流量为权重的全局梯度的加权平均值。
在一些示例性实施例中，接收到至少一个下挂的第(i-1)层节点上报的对应的第一梯度之前，该方法还包括：
步骤402、接收到下挂到的第(i+1)层节点发送的联邦学习任务，将联邦学习任务下发给下挂的至少一个第(i-1)层节点。
在一些示例性实施例中，联邦学习任务可以是第N层节点或第N层子系统中的业务应用发起的业务联邦学习过程请求后，向第(N-1)层节点下发，并逐层下发的第1层节点的，从而第i层节点在接收到下挂到的第(i+1)层节点发送的联邦学习任务后，将联邦学习任务下发给下挂的至少一个第(i-1)层节点。
在一些示例性实施例中，业务联邦学习过程请求中包括训练的第1层节点范围，第N层节点或第N层子系统从业务联邦学习过程请求中获取训练的第1层节点范围，基于训练的第1层节点范围确定联邦学习任务需要下发的第(N-1)层节点范围。具体如何基于训练的第1层节点范围确定联邦学习任务需要下发的第(N-1)层节点范围取决于训练的第1层节点范围对应的第1层节点都下挂到哪些第(N-1)层节点下，例如基于图1所示的拓扑结构来确定。
在一些示例性实施例中，在第i层节点向第(i-1)层节点下发联邦学习任务时，还可以下发训练的第1层节点范围，使得第(i-1)层节点根据训练的第1层节点范围确定联邦学习任务需要下发的第(i-2)层节点。具体如何基于训练的第1层节点范围确定联邦学习任务需要下发的第(i-2)层节点范围取决于训练的第1层节点范围对应的第1层节点都下挂到哪些第(i-2)层节点下，例如基于图1所示的拓扑结构来确定。
在一些示例性实施例中，若当前状态是进行第(i-1)层联邦学习过程，根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度之后，该方法还包括：
将第i层节点对应的更新的第(i-1)层全局梯度下发给第(i-1)层节点。
在一些示例性实施例中，第i层节点将第i层节点对应的更新的第(i-1)层全局梯度下发给第(i-1)层节点，并逐层下发至下挂的第1层节点，以供第1层节点根据第(N-1)层全局梯度更新模型。
在一些示例性实施例中，若当前状态是进行第i层联邦学习过程到第(N-1)层联邦学习过程中的任何一层联邦学习过程，根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度之后，该方法还包括：
将第i层节点对应的更新的第(i-1)层全局梯度上报给第(i+1)层节点；接收第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个下发给第(i-1)层节点。
在一些示例性实施例中，第i层节点将更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个下发给第(i-1)层节点，并逐层下发至下挂的第1层节点，以供第1层节点根据第(N-1)层全局梯度更新模型。
在一些示例性实施例中，第1层节点接收到联邦学习任务后，根据联邦学习任务进行模型训练得到更新的梯度，并将第1层节点对应的更新的梯度上报给第2层节点；第2层节点根据至少一个第1层节点对应的更新的梯度和第2层节点对应的第1层权重指标计算第2层节点对应的更新的第1层全局梯度；如果当前状态是进行第1层联邦学习过程，则第2层节点将对应的更新的第1层全局梯度下发给下挂的第1层节点，第1层节点根据更新的第1层全局梯度更新模型；如果当前状态是进行第2层联邦学习过程到第(N-1)层联邦学习过程中的任何一层联邦学习过程，则第2层节点将对应的更新的第1层全局梯度上报给下挂到的第3层节点；
当i大于2，且小于或等于(N-1)时，第i层节点根据至少一个第(i-1)层节点对应的更新的第(i-2)层全局梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度；如果当前状态是进行第(i-1)层联邦学习过程，则第i层节点将对应的更新的第(i-1)层全局梯度下发给下挂的第(i-1)层节点，并逐层下发至下挂的第1层节点，第1层节点根据更新的第(i-1)层全局梯度更新模型；如果当前状态是进行第i层联邦学习过程到第(N-1)层联邦学习过程中的任何一层联邦学习过程，则第i层节点将对应的更新的第(i-1)层全局梯度上报给下挂到的第(i+1)层节点。
本申请实施例提供的联邦学习方法，以通信指标为权重指标来计算全局梯度，由于通信指标对于运营商来说是比较有价值的数据指标，因此基于以通信指标为权重指标来计算的全局梯度进行模型训练得到的模型训练结果对于运营商来说是最优结果，从而提高了优化效果。
图5为本申请另一个实施例提供的联邦学习方法的流程图。
第二方面，参照图5，本申请另一个实施例提供一种联邦学习方法，应用于第1层节点，该方法包括：
步骤500、将第1层节点对应的更新的梯度上报给第2层节点。
在一些示例性实施例中，为了提高安全性，第1层节点也可以先对第1层节点对应的更新的梯度进行隐私保护处理得到第1层节点对应的隐私保护处理后的梯度，再将第1层节点对应的隐私保护处理后的梯度上报给第2层节点。
第2层节点接收到第1层节点对应的隐私保护处理后的梯度，需要先对第1层节点对应的隐私保护处理后的梯度进行去隐私保护处理，也就是进行隐私保护处理的反处理，例如，如果隐私保护处理为加密，那么去隐私保护处理就是解密，其他的隐私保护处理方式以此类推；然后再计算至少一个第1层节点对应的更新的梯度的加权平均值。
或者，对于某些隐私保护处理方式，例如同态加密方式，第2层节点也可以不用对第1层节点对应的隐私保护处理后的梯度进行去隐私保护处理，而直接计算至少一个第1层节点对应的隐私保护处理后的梯度的加权平均值。
步骤501、接收第2层节点发送的更新的第j层全局梯度；其中，第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；第j层权重指标为通信指标；j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数。
在一些示例性实施例中，若j等于1，第j层节点对应的第一梯度为第j层节点对应的更新的梯度。
在一些示例性实施例中，若j等于1，为了提高安全性，第j层节点对应的第一梯度也可以是第j层节点进行模型训练得到更新的梯度后，对第j层节点对应的更新的梯度进行隐私保护处理得到的第j层节点对应的第二梯度。
在一些示例性实施例中，若j大于1，且小于或等于(N-1)，第j层节点对应的第一梯度为第j层节点对应的更新的第(j-1)层全局梯度。
在一些示例性实施例中，若j大于1，且小于或等于(N-1)，为了提高安全性，第j层节点对应的第一梯度也可以是第j层节点对第j层节点对应的更新的第(j-1)层全局梯度进行隐私保护处理得到的第j层节点对应的隐私保护处理后的第(j-1)层全局梯度。
在一些示例性实施例中，隐私保护处理可以采用加密、DP或秘密共享技术实现，也可以采用其他的方式实现，具体的实现方式不用于限定本申请实施例的保护范围。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、话务量和上下行流量的加权平均。
在一些示例性实施例中，时延是指第1层节点发出数据请求到接收到数据之间的时延，或发出网址访问请求到接收到网址内容之间的时延。
在一些示例性实施例中，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。例如，为了实现网络优化的实时性，可以将同一层的不同节点对应的权重指标设置为相同，也就是采用至少一个同一层的不同节点来实现同一个权重指标的优化，类似于分布式系统；为了实现网络优化的个性化，可以将同一层的不同节点对应的权值指标设置为不同，具体可以设置同一层的任意两个节点对应的权重指标均不相同，也可以设置同一层的其中一部分节点对应的权重指标相同，同一层的另一部分节点对应的权重指标不同，具体视实际情况而定。
在一些示例性实施例中，第(j+1)层节点对应的第j层权重指标可以统一设置在第N层节点或第N层子系统中，具体设置时，可以设置第(j+1)层节点和第j层权重指标之间的对应关系。这种设置方式中，在第N层节点或第N层子系统逐层下发联邦学习任务时，可以将第(j+1)层节点对应的第j层权重指标随联邦学习任务一起逐层下发到第(j+1)层节点，也可以单独将第(j+1)层节点对应的第j层权重指标逐层下发到第(j+1)层节点，也可以不将第(j+1)层节点对应的第j层权重指标随联邦学习任务一起逐层下发到第(j+1)层节点。
在一些示例性实施例中，第(j+1)层节点对应的第j层权重指标也可以设置在对应的第(j+1)层节点上，这样省去了第N层节点或第N层子系统将第(j+1)层节点对应的第j层权重指标逐层下发到第(j+1)层节点的过程，从而节省了网络开销。
在一些示例性实施例中，根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到第j层全局梯度包括：
根据第(j+1)层节点对应的第j层权重指标获取至少一个第j层节点对应的第j层权重指标值；以至少一个第j层节点对应的第j层权重指标值为权重，计算至少一个第j层节点对应的第一梯度的加权平均值，得到第(j+1)层节点对应的更新的第j层全局梯度。
在一些示例性实施例中，如果第j层节点对应的第一梯度为第j层节点对应的第二梯度，或第j层节点对应的隐私保护处理后的第(j-1)层全局梯度，则需要先对第j层节点对应的第一梯度进行去隐私保护处理，也就是进行隐私保护处理的反处理，例如，如果隐私保护处理为加密，那么去隐私保护处理就是解密，其他的隐私保护处理方式以此类推；然后再计算至少一个第j层节点对应的去隐私保护处理后的第一梯度的加权平均值。
在一些示例性实施例中，对于某些隐私保护处理方式，例如同态加密方式，也可以不用对第j层节点对应的第一梯度进行去隐私保护处理，而直接计算至少一个第j层节点对应的第一梯度的加权平均值。
在一些示例性实施例中，第j层节点对应的第j层权重指标值可以根据第j层节点下挂的所有第1层节点对应的第j层权重指标值获得，具体可以采用多种方式获得，例如，每一个第1层节点分别获得对应的第j层权重指标值后，逐层上报到第j层节点，由第j层节点统一进行计算；又如，每一个第1层节点分别获得对应的第j层权重指标值后，逐层上报到第j层节点，每上报一层节点，则进行一次计算；又如，由第j层节点获取用于计算第j层权重指标值的第1层节点的相关信息，然后基于第1层节点的相关信息分别计算每一个第1层节点对应的第j层权重指标值，然后计算第j层节点对应的第j层权重指标值；等等，当然，还有其他很多的获取方式，具体的获取方式不用于限定本申请实施例的保护范围。
在一些示例性实施例中，按照公式
Figure BDA0002588959810000091
计算第j层节点对应的更新的第(j-1)层全局梯度；
其中，GRAj为第j层节点对应的更新的第(j-1)层全局梯度，GRAm(j-1)为第j层节点下挂的第m个第(j-1)层节点对应的第一梯度，KPIj-1为第j层节点下挂的第m个第(j-1)层节点对应的第(j-1)层权重指标值。
在一些示例性实施例中，如果权重指标为平均时延，那么只需要计算以平均时延为权重的全局梯度。
在一些示例性实施例中，如果权重指标为话务量，那么只需要计算以话务量为权重的全局梯度。
在一些示例性实施例中，如果权重指标为上下行流量，那么只需要计算以上下行流量为权重的全局梯度。
在一些示例性实施例中，如果权重指标为话务量和上下行流量的加权平均，那么需要分别计算以话务量为权重的全局梯度和以上下行流量为权重的全局梯度，然后计算以话务量为权重的全局梯度和以上下行流量为权重的全局梯度的加权平均值。
在一些示例性实施例中，将第1层节点对应的更新的梯度上报给第2层节点之前，该方法还包括：进行模型训练得到第1层节点对应的更新的梯度；
相应的，接收第2层节点发送的更新的第j层全局梯度之后，该方法还包括：
根据更新的第j层全局梯度更新模型。
在一些示例性实施例中，可以根据联邦学习任务进行模型训练得到第1层节点对应的更新的梯度。
在一些示例性实施例中，联邦学习任务可以是第N层节点或第N层子系统中的业务应用发起的业务联邦学习过程请求后，向第(N-1)层节点下发，并逐层下发的第1层节点的，从而第1层节点在接收到下挂到的第2层节点发送的联邦学习任务后，根据联邦学习任务进行模型训练得到第1层节点对应的更新的梯度。
本申请实施例提供的联邦学习方法，以通信指标为权重指标来计算全局梯度，由于通信指标对于运营商来说是比较有价值的数据指标，因此基于以通信指标为权重指标来计算的全局梯度进行模型训练得到的模型训练结果对于运营商来说是最优结果，从而提高了优化效果。
图6为本申请另一个实施例提供的联邦学习方法的流程图。
第三方面，参照图6，本申请另一个实施例提供一种联邦学习方法，应用于第N层节点或第N层子系统，(N-1)为联邦学习的层数，该方法包括：
步骤600、接收到至少一个下挂的第(N-1)层节点上报的对应的第(N-2)层全局梯度。
步骤601、根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点或第N层子系统对应的第(N-1)层全局梯度；其中，第(N-1)层权重指标为通信指标。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、话务量和上下行流量的加权平均。
在一些示例性实施例中，根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点或第N层子系统对应的第(N-1)层全局梯度包括：
根据第(N-1)层权重指标获取至少一个第(N-1)层节点对应的第(N-1)层权重指标值；以至少一个第(N-1)层节点对应的第(N-1)层权重指标值为权重，计算至少一个第(N-1)层节点对应的第(N-2)层全局梯度的加权平均值，得到第N层节点或第N层子系统对应的第(N-1)层全局梯度。
在一些示例性实施例中，第(N-1)层节点对应的第(N-1)层权重指标值可以根据第(N-1)层节点下挂的所有第1层节点对应的第(N-1)层权重指标值获得，具体可以采用多种方式获得，例如，每一个第1层节点分别获得对应的第(N-1)层权重指标值后，逐层上报到第(N-1)层节点，由第(N-1)层节点统一进行计算；又如，每一个第1层节点分别获得对应的第(N-1)层权重指标值后，逐层上报到第(N-1)层节点，每上报一层节点，则进行一次计算；又如，由第(N-1)层节点获取用于计算第(N-1)层权重指标值的第1层节点的相关信息，然后基于第1层节点的相关信息分别计算每一个第1层节点对应的第(N-1)层权重指标值，然后计算第(N-1)层节点对应的第(N-1)层权重指标值；等等，当然，还有其他很多的获取方式，具体的获取方式不用于限定本申请实施例的保护范围。
在一些示例性实施例中，按照公式
Figure BDA0002588959810000111
计算第N层节点或第N层子系统对应的更新的第(N-1)层全局梯度；
其中，GRAN为第N层节点或第N层子系统对应的更新的第(N-1)层全局梯度，GRAm(N-1)为第N层节点或第N层子系统下挂的第m个第(N-1)层节点对应的第一梯度，KPIN-1为第N层节点下挂的第m个第(N-1)层节点对应的第(N-1)层权重指标值。
在一些示例性实施例中，如果权重指标为平均时延，那么只需要计算以平均时延为权重的全局梯度。
在一些示例性实施例中，如果权重指标为话务量，那么只需要计算以话务量为权重的全局梯度。
在一些示例性实施例中，如果权重指标为上下行流量，那么只需要计算以上下行流量为权重的全局梯度。
在一些示例性实施例中，如果权重指标为话务量和上下行流量的加权平均，那么需要分别计算以话务量为权重的全局梯度和以上下行流量为权重的全局梯度，然后计算以话务量为权重的全局梯度和以上下行流量为权重的全局梯度的加权平均值。
在一些示例性实施例中，接收到至少一个第(N-1)层节点上报的对应的第(N-2)层全局梯度之前，该方法还包括：
步骤602、向下挂的至少一个第(N-1)层节点下发联邦学习任务。
在一些示例性实施例中，联邦学习任务可以是第N层节点或第N层子系统中的业务应用发起的业务联邦学习过程请求后，向第(N-1)层节点下发，并逐层下发的第1层节点的，从而第i层节点在接收到下挂到的第(i+1)层节点发送的联邦学习任务后，将联邦学习任务下发给下挂的至少一个第(i-1)层节点。
在一些示例性实施例中，业务联邦学习过程请求中包括训练的第1层节点范围，第N层节点或第N层子系统从业务联邦学习过程请求中获取训练的第1层节点范围，基于训练的第1层节点范围确定联邦学习任务需要下发的第(N-1)层节点范围。具体如何基于训练的第1层节点范围确定联邦学习任务需要下发的第(N-1)层节点范围取决于训练的第1层节点范围对应的第1层节点都下挂到哪些第(N-1)层节点下，例如基于图1所示的拓扑结构来确定。
在一些示例性实施例中，根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点或第N层子系统对应的第(N-1)层全局梯度之后，该方法还包括：
步骤603、将第N层节点或第N层子系统对应的第(N-1)层全局梯度下发给至少一个第(N-1)层节点。
在一些示例性实施例中，第N层节点或第N层子系统将第N层节点或第N层子系统对应的第(N-1)层全局梯度下发给至少一个第(N-1)层节点，并逐层下发至下挂的第1层节点，以供第1层节点根据第(N-1)层全局梯度更新模型。
本申请实施例提供的联邦学习方法，以通信指标为权重指标来计算全局梯度，由于通信指标对于运营商来说是比较有价值的数据指标，因此基于以通信指标为权重指标来计算的全局梯度进行模型训练得到的模型训练结果对于运营商来说是最优结果，从而提高了优化效果。
下面通过几个示例说明本申请实施例的联邦学习方法的具体实现过程，所列举的示例仅仅是为了说明方便，并不用于限定本申请实施例的保护范围。
示例1
本示例描述基于两层联邦学习系统进行两层联邦学习过程。
如图7所示，两层联邦学习系统包括：EMS、一个虚拟NCCN、一个NCCN和四个NE。
其中，虚拟NCCN设置在EMS中，虚拟NCCN下挂两个NE，分别为NE1和NE2；NCCN下挂到EMS，NCCN下挂两个NE，分别为NE3和NE4。
其中，EMS包括：业务应用、第一任务管理模块、第一全局模型管理模块和权重指标管理模块；虚拟NCCN包括：第二任务管理模块和第二全局模型管理模块；NCCN包括：第三任务管理模块和第三全局模型管理模块。
其中，NE1、NE2、NE3、NE4、NCCN和虚拟NCCN用于实现第1层联邦学习过程，NCCN、虚拟NCCN和EMS用于实现第2层联邦学习过程。
基于上述两层联邦学习系统的两层联邦学习方法包括：
1.对于未下挂到NCCN的NE1和NE2，在EMS中按照业务特征设置虚拟NCCN，把NE1和NE2按照业务特征下挂到对应的虚拟NCCN上。
2.在EMS的权重指标管理模块中设置EMS对应的第2层权重指标。例如，如果运营商关注运营收益，则可设置第2层权重指标为：话务量、或上下行流量、或话务量和上下行流量的加权平均。
3.在EMS的权重指标管理模块中按照不同领域的业务特点设置不同的NCCN对应的第1层权重指标，不同的NCCN对应的第1层权重指标可能相同，也可能不同。例如，对于自动驾驶，设置对应的第1层权重指标为平均时延；对于体育场馆，设置对应的第1层权重指标为话务量；对于科技园，设置对应的第1层权重指标为上下行流量。本示例中，虚拟NCCN所属的区域属于自动驾驶区域，整网要求以时延为主，设置虚拟NCCN对应的第1层权重指标为平均时延；NCCN所属的区域属于体育场馆区域，整网要求以话务为主，设置NCCN对应的第1层权重指标为话务量。
4.业务应用向第一任务管理发起业务联邦学习过程请求，并告知训练的基站范围。第一任务管理模块从EMS的权重指标管理模块中获取第2层权重指标、虚拟NCCN对应的第1层权重指标和NCCN对应的第1层权重指标，将第2层权重指标、虚拟NCCN对应的第1层权重指标，放置在联邦学习任务中一起下发给虚拟NCCN的第二任务管理模块；将第2层权重指标、NCCN对应的第1层权重指标，放置在联邦学习任务中一起下发给NCCN的第三任务管理模块。
5.虚拟NCCN的第二任务管理模块接收到携带第2层权重指标、虚拟NCCN对应的第1层权重指标的联邦学习任务，将第2层权重指标、虚拟NCCN对应的第1层权重指标放置到联邦学习任务中，下发给NE1和NE2；NCCN的第三任务管理模块接收到携带第2层权重指标、NCCN对应的第1层权重指标的联邦学习任务，将第2层权重指标、NCCN对应的第1层权重指标放置到联邦学习任务中，下发给NE3和NE4。
6.NE1根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据虚拟NCCN对应的第1层权重指标获取NE1对应的第1层权重指标值；根据第2层权重指标获取NE1对应的第2层权重指标值；使用加密，DP或秘密共享技术对NE1对应的更新的梯度进行隐私保护处理得到NE1对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE1对应的第1层权重指标值进行隐私保护处理得到NE1对应的隐私保护处理后的第1层权重指标值，使用加密，DP或秘密共享技术对NE1对应的第2层权重指标值进行隐私保护处理得到NE1对应的隐私保护处理后的第2层权重指标值；将NE1对应的隐私保护处理后的梯度、NE1对应的隐私保护处理后的第1层权重指标值和NE1对应的隐私保护处理后的第2层权重指标值上报给虚拟NCCN的第二全局模型管理模块。
7.NE2根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据虚拟NCCN对应的第1层权重指标获取NE2对应的第1层权重指标值；根据第2层权重指标获取NE2对应的第2层权重指标值；使用加密，DP或秘密共享技术对NE2对应的更新的梯度进行隐私保护处理得到NE2对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE2对应的第1层权重指标值进行隐私保护处理得到NE2对应的隐私保护处理后的第1层权重指标值，使用加密，DP或秘密共享技术对NE2对应的第2层权重指标值进行隐私保护处理得到NE2对应的隐私保护处理后的第2层权重指标值；将NE2对应的隐私保护处理后的梯度、NE2对应的隐私保护处理后的第1层权重指标值和NE2对应的隐私保护处理后的第2层权重指标值上报给虚拟NCCN的第二全局模型管理模块。
8.NE3根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据NCCN对应的第1层权重指标获取NE3对应的第1层权重指标值；根据第2层权重指标获取NE3对应的第2层权重指标值；使用加密，DP或秘密共享技术对NE3对应的更新的梯度进行隐私保护处理得到NE3对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE3对应的第1层权重指标值进行隐私保护处理得到NE3对应的隐私保护处理后的第1层权重指标值，使用加密，DP或秘密共享技术对NE3对应的第2层权重指标值进行隐私保护处理得到NE3对应的隐私保护处理后的第2层权重指标值；将NE3对应的隐私保护处理后的梯度、NE3对应的隐私保护处理后的第1层权重指标值和NE3对应的隐私保护处理后的第2层权重指标值上报给NCCN的第三全局模型管理模块。
9.NE4根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据NCCN对应的第1层权重指标获取NE4对应的第1层权重指标值；根据第2层权重指标获取NE3对应的第2层权重指标值；使用加密，DP或秘密共享技术对NE4对应的更新的梯度进行隐私保护处理得到NE4对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE4对应的第1层权重指标值进行隐私保护处理得到NE4对应的隐私保护处理后的第1层权重指标值，使用加密，DP或秘密共享技术对NE4对应的第2层权重指标值进行隐私保护处理得到NE4对应的隐私保护处理后的第2层权重指标值；将NE4对应的隐私保护处理后的梯度、NE4对应的隐私保护处理后的第1层权重指标值和NE4对应的隐私保护处理后的第2层权重指标值上报给虚拟NCCN的第三全局模型管理模块。
10.虚拟NCCN的第二全局模型管理模块对NE1对应的隐私保护处理后的梯度进行去隐私保护处理得到NE1对应的更新的梯度，对NE1对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE1对应的第1层权重指标值，对NE1对应的隐私保护处理后的第2层权重指标值进行去隐私保护处理得到NE1对应的第2层权重指标值；虚拟NCCN的第二全局模型管理模块对NE2对应的隐私保护处理后的梯度进行去隐私保护处理得到NE2对应的更新的梯度，对NE2对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE2对应的第1层权重指标值，对NE2对应的隐私保护处理后的第2层权重指标值进行去隐私保护处理得到NE2对应的第2层权重指标值；虚拟NCCN的第二全局模型管理模块按照公式GRA12＝GRA111KPI111+GRA121KPI121计算虚拟NCCN对应的更新的第1层全局梯度；其中，GRA12为虚拟NCCN对应的更新的第1层全局梯度，GRA111为NE1对应的更新的梯度，KPI111为NE1对应的第1层权重指标值，GRA121为NE2对应的更新的梯度，KPI121为NE2对应的第1层权重指标值；将虚拟NCCN对应的更新的第1层全局梯度、NE1对应的第2层权重指标值和NE2对应的第2层权重指标值上报给EMS的第一全局模型管理模块。
11.NCCN的第三全局模型管理模块对NE3对应的隐私保护处理后的梯度进行去隐私保护处理得到NE3对应的更新的梯度，对NE3对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE3对应的第1层权重指标值，对NE3对应的隐私保护处理后的第2层权重指标值进行去隐私保护处理得到NE3对应的第2层权重指标值；NCCN的第三全局模型管理模块对NE4对应的隐私保护处理后的梯度进行去隐私保护处理得到NE4对应的更新的梯度，对NE4对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE4对应的第1层权重指标值，对NE4对应的隐私保护处理后的第2层权重指标值进行去隐私保护处理得到NE4对应的第2层权重指标值；NCCN的第三全局模型管理模块按照公式GRA22＝GRA231KPI231+GRA241KPI241计算NCCN对应的更新的第1层全局梯度；其中，GRA22为NCCN对应的更新的第1层全局梯度，GRA231为NE3对应的更新的梯度，KPI231为NE3对应的第1层权重指标值，GRA241为NE4对应的更新的梯度，KPI241为NE4对应的第1层权重指标值；将NCCN对应的更新的第1层全局梯度、NE3对应的第2层权重指标值和NE4对应的第2层权重指标值上报给EMS的第一全局模型管理模块。
12.EMS的第一全局模型管理模块根据NE1对应的第2层权重指标值和NE2对应的第2层权重指标值计算虚拟NCCN对应的第2层权重指标值；根据NE3对应的第2层权重指标值和NE4对应的第2层权重指标值计算NCCN对应的第2层权重指标值；按照公式GRA3＝GRA312KPI312+GRA322KPI322计算EMS对应的第2层全局梯度；其中，GRA3为EMS对应的第2层全局梯度，GRA312为虚拟NCCN对应的第1层全局梯度，KPI312为虚拟NCCN对应的第2层权重指标值，GRA322为NCCN对应的第1层全局梯度，KPI322为NCCN对应的第2层权重指标值；将EMS对应的第2层全局梯度下发给虚拟NCCN的第二全局模型管理模块和NCCN的第三全局模型管理模块。
13.虚拟NCCN的第二全局模型管理模块将EMS对应的第2层全局梯度下发给NE1和NE2，NCCN的第三全局模型管理模块将EMS对应的第2层全局梯度下发给NE3和NE4；NE1、NE2、NE3和NE4根据EMS对应的第2层全局梯度更新模型。
示例2
本示例描述基于两层联邦学习系统进行第1层联邦学习过程。
如图7所示，两层联邦学习系统包括：EMS、一个虚拟NCCN、一个NCCN和四个NE。
其中，虚拟NCCN设置在EMS中，虚拟NCCN下挂两个NE，分别为NE1和NE2；NCCN下挂到EMS，NCCN下挂两个NE，分别为NE3和NE4。
其中，EMS包括：业务应用、第一任务管理模块、第一全局模型管理模块和权重指标管理模块；虚拟NCCN包括：第二任务管理模块和第二全局模型管理模块；NCCN包括：第三任务管理模块和第三全局模型管理模块。
其中，NE1、NE2、NE3、NE4、NCCN和虚拟NCCN用于实现第1层联邦学习过程，NCCN、虚拟NCCN和EMS用于实现第2层联邦学习过程。
基于上述两层联邦学习系统的第1层联邦学习方法包括：
1.对于未下挂到NCCN的NE1和NE2，在EMS中按照业务特征设置虚拟NCCN，把NE1和NE2按照业务特征下挂到对应的虚拟NCCN上。
2.在EMS的权重指标管理模块中设置EMS对应的第2层权重指标。例如，如果运营商关注运营收益，则可设置第2层权重指标为：话务量、或上下行流量、或话务量和上下行流量的加权平均。
3.在EMS的权重指标管理模块中按照不同领域的业务特点设置不同的NCCN对应的第1层权重指标，不同的NCCN对应的第1层权重指标可能相同，也可能不同。例如，对于自动驾驶，设置对应的第1层权重指标为平均时延；对于体育场馆，设置对应的第1层权重指标为话务量；对于科技园，设置对应的第1层权重指标为上下行流量。本示例中，虚拟NCCN所属的区域属于自动驾驶区域，整网要求以时延为主，设置虚拟NCCN对应的第1层权重指标为平均时延；NCCN所属的区域属于体育场馆区域，整网要求以话务为主，设置NCCN对应的第1层权重指标为话务量。
4.业务应用向第一任务管理发起业务联邦学习过程请求，并告知训练的基站范围。第一任务管理模块从EMS的权重指标管理模块中获取虚拟NCCN对应的第1层权重指标和NCCN对应的第1层权重指标，将虚拟NCCN对应的第1层权重指标，放置在联邦学习任务中一起下发给虚拟NCCN的第二任务管理模块；将NCCN对应的第1层权重指标，放置在联邦学习任务中一起下发给NCCN的第三任务管理模块。
5.虚拟NCCN的第二任务管理模块接收到携带虚拟NCCN对应的第1层权重指标的联邦学习任务，将虚拟NCCN对应的第1层权重指标放置到联邦学习任务中，下发给NE1和NE2；NCCN的第三任务管理模块接收到携带NCCN对应的第1层权重指标的联邦学习任务，将NCCN对应的第1层权重指标放置到联邦学习任务中，下发给NE3和NE4。
6.NE1根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据虚拟NCCN对应的第1层权重指标获取NE1对应的第1层权重指标值；使用加密，DP或秘密共享技术对NE1对应的更新的梯度进行隐私保护处理得到NE1对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE1对应的第1层权重指标值进行隐私保护处理得到NE1对应的隐私保护处理后的第1层权重指标值；将NE1对应的隐私保护处理后的梯度和NE1对应的隐私保护处理后的第1层权重指标值上报给虚拟NCCN的第二全局模型管理模块。
7.NE2根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据虚拟NCCN对应的第1层权重指标获取NE2对应的第1层权重指标值；使用加密，DP或秘密共享技术对NE2对应的更新的梯度进行隐私保护处理得到NE2对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE2对应的第1层权重指标值进行隐私保护处理得到NE2对应的隐私保护处理后的第1层权重指标值；将NE2对应的隐私保护处理后的梯度和NE2对应的隐私保护处理后的第1层权重指标值上报给虚拟NCCN的第二全局模型管理模块。
8.NE3根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据NCCN对应的第1层权重指标获取NE3对应的第1层权重指标值；使用加密，DP或秘密共享技术对NE3对应的更新的梯度进行隐私保护处理得到NE3对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE3对应的第1层权重指标值进行隐私保护处理得到NE3对应的隐私保护处理后的第1层权重指标值；将NE3对应的隐私保护处理后的梯度和NE3对应的隐私保护处理后的第1层权重指标值上报给NCCN的第三全局模型管理模块。
9.NE4根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据NCCN对应的第1层权重指标获取NE4对应的第1层权重指标值；使用加密，DP或秘密共享技术对NE4对应的更新的梯度进行隐私保护处理得到NE4对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE4对应的第1层权重指标值进行隐私保护处理得到NE4对应的隐私保护处理后的第1层权重指标值；将NE4对应的隐私保护处理后的梯度和NE4对应的隐私保护处理后的第1层权重指标值上报给虚拟NCCN的第三全局模型管理模块。
10.虚拟NCCN的第二全局模型管理模块对NE1对应的隐私保护处理后的梯度进行去隐私保护处理得到NE1对应的更新的梯度，对NE1对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE1对应的第1层权重指标值；虚拟NCCN的第二全局模型管理模块对NE2对应的隐私保护处理后的梯度进行去隐私保护处理得到NE2对应的更新的梯度，对NE2对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE2对应的第1层权重指标值；虚拟NCCN的第二全局模型管理模块按照公式GRA12＝GRA111KPI111+GRA121KPI121计算虚拟NCCN对应的更新的第1层全局梯度；其中，GRA12为虚拟NCCN对应的更新的第1层全局梯度，GRA111为NE1对应的更新的梯度，KPI111为NE1对应的第1层权重指标值，GRA121为NE2对应的更新的梯度，KPI121为NE2对应的第1层权重指标值；将虚拟NCCN对应的更新的第1层全局梯度下发给NE1和NE2；NE1和NE2根据虚拟NCCN对应的更新的第1层全局梯度更新模型。
11.NCCN的第三全局模型管理模块对NE3对应的隐私保护处理后的梯度进行去隐私保护处理得到NE3对应的更新的梯度，对NE3对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE3对应的第1层权重指标值；NCCN的第三全局模型管理模块对NE4对应的隐私保护处理后的梯度进行去隐私保护处理得到NE4对应的更新的梯度，对NE4对应的隐私保护处理后的第1层权重指标值进行去隐私保护处理得到NE4对应的第1层权重指标值；NCCN的第三全局模型管理模块按照公式GRA22＝GRA231KPI231+GRA241KPI241计算NCCN对应的更新的第1层全局梯度；其中，GRA22为NCCN对应的更新的第1层全局梯度，GRA231为NE3对应的更新的梯度，KPI231为NE3对应的第1层权重指标值，GRA241为NE4对应的更新的梯度，KPI241为NE4对应的第1层权重指标值；将NCCN对应的更新的第1层全局梯度下发给NE3和NE4；NE3和NE4根据NCCN对应的更新的第1层全局梯度更新模型。
示例3
本示例描述基于两层联邦学习系统进行两层联邦学习过程。
如图7所示，两层联邦学习系统包括：EMS、一个虚拟NCCN、一个NCCN和四个NE。
其中，虚拟NCCN设置在EMS中，虚拟NCCN下挂两个NE，分别为NE1和NE2；NCCN下挂到EMS，NCCN下挂两个NE，分别为NE3和NE4。
其中，EMS包括：业务应用、第一任务管理模块、第一全局模型管理模块和权重指标管理模块；虚拟NCCN包括：第二任务管理模块和第二全局模型管理模块；NCCN包括：第三任务管理模块和第三全局模型管理模块。
其中，NE1、NE2、NE3、NE4、NCCN和虚拟NCCN用于实现第1层联邦学习过程，NCCN、虚拟NCCN和EMS用于实现第2层联邦学习过程。
基于上述两层联邦学习系统的两层联邦学习方法包括：
1.对于未下挂到NCCN的NE1和NE2，在EMS中按照业务特征设置虚拟NCCN，把NE1和NE2按照业务特征下挂到对应的虚拟NCCN上。
2.在EMS的权重指标管理模块中设置第2层权重指标和第1层权重指标相同(本示例中称为全局权重指标)。例如，如果运营商关注运营收益，则可设置全局权重指标为：话务量、或上下行流量、或话务量和上下行流量的加权平均。
3.业务应用向第一任务管理发起业务联邦学习过程请求，并告知训练的基站范围。第一任务管理模块从EMS的权重指标管理模块中获取全局权重指标，将全局权重指标放置在联邦学习任务中一起下发给虚拟NCCN的第二任务管理模块和NCCN的第三任务管理模块。
4.虚拟NCCN的第二任务管理模块接收到携带全局权重指标的联邦学习任务，将全局权重指标放置到联邦学习任务中，下发给NE1和NE2；NCCN的第三任务管理模块接收到携带全局权重指标的联邦学习任务，将全局权重指标放置到联邦学习任务中，下发给NE3和NE4。
5.NE1根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE1对应的全局权重指标值；使用加密，DP或秘密共享技术对NE1对应的更新的梯度进行隐私保护处理得到NE1对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE1对应的全局权重指标值进行隐私保护处理得到NE1对应的隐私保护处理后的全局权重指标值；将NE1对应的隐私保护处理后的梯度、NE1对应的隐私保护处理后的全局权重指标值上报给虚拟NCCN的第二全局模型管理模块。
6.NE2根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE2对应的全局权重指标值；使用加密，DP或秘密共享技术对NE2对应的更新的梯度进行隐私保护处理得到NE2对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE2对应的全局权重指标值进行隐私保护处理得到NE2对应的隐私保护处理后的全局权重指标值；将NE2对应的隐私保护处理后的梯度、NE2对应的隐私保护处理后的全局权重指标值上报给虚拟NCCN的第二全局模型管理模块。
7.NE3根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE3对应的全局权重指标值；使用加密，DP或秘密共享技术对NE3对应的更新的梯度进行隐私保护处理得到NE3对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE3对应的全局权重指标值进行隐私保护处理得到NE3对应的隐私保护处理后的全局权重指标值；将NE3对应的隐私保护处理后的梯度、NE3对应的隐私保护处理后的全局权重指标值上报给NCCN的第三全局模型管理模块。
8.NE4根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE4对应的全局权重指标值；使用加密，DP或秘密共享技术对NE4对应的更新的梯度进行隐私保护处理得到NE4对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE4对应的全局权重指标值进行隐私保护处理得到NE4对应的隐私保护处理后的全局权重指标值；将NE4对应的隐私保护处理后的梯度、NE4对应的隐私保护处理后的全局权重指标值上报给NCCN的第三全局模型管理模块。
9.虚拟NCCN的第二全局模型管理模块对NE1对应的隐私保护处理后的梯度进行去隐私保护处理得到NE1对应的更新的梯度，对NE1对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE1对应的全局权重指标值；虚拟NCCN的第二全局模型管理模块对NE2对应的隐私保护处理后的梯度进行去隐私保护处理得到NE2对应的更新的梯度，对NE2对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE2对应的全局权重指标值；虚拟NCCN的第二全局模型管理模块按照公式GRA12＝GRA111KPI111+GRA121KPI121计算虚拟NCCN对应的更新的第1层全局梯度；其中，GRA12为虚拟NCCN对应的更新的第1层全局梯度，GRA111为NE1对应的更新的梯度，KPI111为NE1对应的全局权重指标值，GRA121为NE2对应的更新的梯度，KPI121为NE2对应的全局权重指标值；将虚拟NCCN对应的更新的第1层全局梯度、NE1对应的全局权重指标值和NE2对应的全局权重指标值上报给EMS的第一全局模型管理模块。
10.NCCN的第三全局模型管理模块对NE3对应的隐私保护处理后的梯度进行去隐私保护处理得到NE3对应的更新的梯度，对NE3对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE3对应的全局权重指标值；NCCN的第三全局模型管理模块对NE4对应的隐私保护处理后的梯度进行去隐私保护处理得到NE4对应的更新的梯度，对NE4对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE4对应的全局权重指标值；NCCN的第三全局模型管理模块按照公式GRA22＝GRA231KPI231+GRA241KPI241计算NCCN对应的更新的第1层全局梯度；其中，GRA22为NCCN对应的更新的第1层全局梯度，GRA231为NE3对应的更新的梯度，KPI231为NE3对应的全局权重指标值，GRA241为NE4对应的更新的梯度，KPI241为NE4对应的全局权重指标值；将NCCN对应的更新的第1层全局梯度、NE3对应的全局权重指标值和NE4对应的全局权重指标值上报给EMS的第一全局模型管理模块。
11.EMS的第一全局模型管理模块根据NE1对应的全局权重指标值和NE2对应的全局权重指标值计算虚拟NCCN对应的全局权重指标值；根据NE3对应的全局权重指标值和NE4对应的全局权重指标值计算NCCN对应的全局权重指标值；按照公式GRA3＝GRA312KPI312+GRA322KPI322计算EMS对应的第2层全局梯度；其中，GRA3为EMS对应的第2层全局梯度，GRA312为虚拟NCCN对应的第1层全局梯度，KPI312为虚拟NCCN对应的全局权重指标值，GRA322为NCCN对应的第1层全局梯度，KPI322为NCCN对应的全局权重指标值；将EMS对应的第2层全局梯度下发给虚拟NCCN的第二全局模型管理模块和NCCN的第三全局模型管理模块。
12.虚拟NCCN的第二全局模型管理模块将EMS对应的第2层全局梯度下发给NE1和NE2，NCCN的第三全局模型管理模块将EMS对应的第2层全局梯度下发给NE3和NE4；NE1、NE2、NE3和NE4根据EMS对应的第2层全局梯度更新模型。
示例4
本示例描述基于两层联邦学习系统进行第1层联邦学习过程。
如图7所示，两层联邦学习系统包括：EMS、一个虚拟NCCN、一个NCCN和四个NE。
其中，虚拟NCCN设置在EMS中，虚拟NCCN下挂两个NE，分别为NE1和NE2；NCCN下挂到EMS，NCCN下挂两个NE，分别为NE3和NE4。
其中，EMS包括：业务应用、第一任务管理模块、第一全局模型管理模块和权重指标管理模块；虚拟NCCN包括：第二任务管理模块和第二全局模型管理模块；NCCN包括：第三任务管理模块和第三全局模型管理模块。
其中，NE1、NE2、NE3、NE4、NCCN和虚拟NCCN用于实现第1层联邦学习过程，NCCN、虚拟NCCN和EMS用于实现第2层联邦学习过程。
基于上述两层联邦学习系统的第1层联邦学习方法包括：
1.对于未下挂到NCCN的NE1和NE2，在EMS中按照业务特征设置虚拟NCCN，把NE1和NE2按照业务特征下挂到对应的虚拟NCCN上。
2.在EMS的权重指标管理模块中设置第2层权重指标和第1层权重指标相同(本示例中称为全局权重指标)。例如，如果运营商关注运营收益，则可设置全局权重指标为：话务量、或上下行流量、或话务量和上下行流量的加权平均。
3.业务应用向第一任务管理发起业务联邦学习过程请求，并告知训练的基站范围。第一任务管理模块从EMS的权重指标管理模块中获取全局权重指标，将全局权重指标，放置在联邦学习任务中一起下发给虚拟NCCN的第二任务管理模块和NCCN的第三任务管理模块。
4.虚拟NCCN的第二任务管理模块接收到携带全局权重指标的联邦学习任务，将全局权重指标放置到联邦学习任务中，下发给NE1和NE2；NCCN的第三任务管理模块接收到携带全局权重指标的联邦学习任务，将全局权重指标放置到联邦学习任务中，下发给NE3和NE4。
5.NE1根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE1对应的全局权重指标值；使用加密，DP或秘密共享技术对NE1对应的更新的梯度进行隐私保护处理得到NE1对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE1对应的全局权重指标值进行隐私保护处理得到NE1对应的隐私保护处理后的全局权重指标值；将NE1对应的隐私保护处理后的梯度和NE1对应的隐私保护处理后的全局权重指标值上报给虚拟NCCN的第二全局模型管理模块。
6.NE2根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE2对应的全局权重指标值；使用加密，DP或秘密共享技术对NE2对应的更新的梯度进行隐私保护处理得到NE2对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE2对应的全局权重指标值进行隐私保护处理得到NE2对应的隐私保护处理后的全局权重指标值；将NE2对应的隐私保护处理后的梯度和NE2对应的隐私保护处理后的全局权重指标值上报给虚拟NCCN的第二全局模型管理模块。
7.NE3根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据NCCN对应的全局权重指标获取NE3对应的全局权重指标值；使用加密，DP或秘密共享技术对NE3对应的更新的梯度进行隐私保护处理得到NE3对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE3对应的全局权重指标值进行隐私保护处理得到NE3对应的隐私保护处理后的全局权重指标值；将NE3对应的隐私保护处理后的梯度和NE3对应的隐私保护处理后的全局权重指标值上报给NCCN的第三全局模型管理模块。
8.NE4根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据NCCN对应的全局权重指标获取NE4对应的全局权重指标值；使用加密，DP或秘密共享技术对NE4对应的更新的梯度进行隐私保护处理得到NE4对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE4对应的全局权重指标值进行隐私保护处理得到NE4对应的隐私保护处理后的全局权重指标值；将NE4对应的隐私保护处理后的梯度和NE4对应的隐私保护处理后的全局权重指标值上报给虚拟NCCN的第三全局模型管理模块。
9.虚拟NCCN的第二全局模型管理模块对NE1对应的隐私保护处理后的梯度进行去隐私保护处理得到NE1对应的更新的梯度，对NE1对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE1对应的全局权重指标值；虚拟NCCN的第二全局模型管理模块对NE2对应的隐私保护处理后的梯度进行去隐私保护处理得到NE2对应的更新的梯度，对NE2对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE2对应的全局权重指标值；虚拟NCCN的第二全局模型管理模块按照公式GRA12＝GRA111KPI111+GRA121KPI121计算虚拟NCCN对应的更新的第1层全局梯度；其中，GRA12为虚拟NCCN对应的更新的第1层全局梯度，GRA111为NE1对应的更新的梯度，KPI111为NE1对应的全局权重指标值，GRA121为NE2对应的更新的梯度，KPI121为NE2对应的全局权重指标值；将虚拟NCCN对应的更新的第1层全局梯度下发给NE1和NE2；NE1和NE2根据虚拟NCCN对应的更新的第1层全局梯度更新模型。
10.NCCN的第三全局模型管理模块对NE3对应的隐私保护处理后的梯度进行去隐私保护处理得到NE3对应的更新的梯度，对NE3对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE3对应的全局权重指标值；NCCN的第三全局模型管理模块对NE4对应的隐私保护处理后的梯度进行去隐私保护处理得到NE4对应的更新的梯度，对NE4对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE4对应的全局权重指标值；NCCN的第三全局模型管理模块按照公式GRA22＝GRA231KPI231+GRA241KPI241计算NCCN对应的更新的第1层全局梯度；其中，GRA22为NCCN对应的更新的第1层全局梯度，GRA231为NE3对应的更新的梯度，KPI231为NE3对应的全局权重指标值，GRA241为NE4对应的更新的梯度，KPI241为NE4对应的全局权重指标值；将NCCN对应的更新的第1层全局梯度下发给NE3和NE4；NE3和NE4根据NCCN对应的更新的第1层全局梯度更新模型。
示例5
本示例描述基于单层联邦学习系统进行单层联邦学习过程。
如图8所示，单层联邦学习系统包括：EMS、NE1和NE2；NE1和NE2均下挂到EMS。
其中，EMS包括：业务应用、任务管理模块、全局模型管理模块和权重指标管理模块。
其中，EMS、NE1、NE2用于实现单层联邦学习过程。
基于上述单层联邦学习系统的单层联邦学习方法包括：
1.在EMS的权重指标管理模块中设置全局权重指标。例如，如果运营商关注运营收益，则可设置全局权重指标为：话务量、或上下行流量、或话务量和上下行流量的加权平均。
2.业务应用向任务管理发起业务联邦学习过程请求，并告知训练的基站范围。任务管理模块从EMS的权重指标管理模块中获取全局权重指标，将全局权重指标，放置在联邦学习任务中一起下发给NE1和NE2。
3.NE1根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE1对应的全局权重指标值；使用加密，DP或秘密共享技术对NE1对应的更新的梯度进行隐私保护处理得到NE1对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE1对应的全局权重指标值进行隐私保护处理得到NE1对应的隐私保护处理后的全局权重指标值；将NE1对应的隐私保护处理后的梯度和NE1对应的隐私保护处理后的全局权重指标值上报给EMS的全局模型管理模块。
4.NE2根据联邦学习任务采用本地数据进行模型训练得到对应的更新的梯度；根据全局权重指标获取NE2对应的全局权重指标值；使用加密，DP或秘密共享技术对NE2对应的更新的梯度进行隐私保护处理得到NE2对应的隐私保护处理后的梯度，使用加密，DP或秘密共享技术对NE2对应的全局权重指标值进行隐私保护处理得到NE2对应的隐私保护处理后的全局权重指标值；将NE2对应的隐私保护处理后的梯度和NE2对应的隐私保护处理后的全局权重指标值上报给EMS的全局模型管理模块。
5.EMS的全局模型管理模块对NE1对应的隐私保护处理后的梯度进行去隐私保护处理得到NE1对应的更新的梯度，对NE1对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE1对应的全局权重指标值；EMS的全局模型管理模块对NE2对应的隐私保护处理后的梯度进行去隐私保护处理得到NE2对应的更新的梯度，对NE2对应的隐私保护处理后的全局权重指标值进行去隐私保护处理得到NE2对应的全局权重指标值；EMS的全局模型管理模块按照公式GRA3＝GRA1KPI1+GRA2KPI2计算更新的全局梯度；其中，GRA3为更新的全局梯度，GRA1为NE1对应的更新的梯度，KPI1为NE1对应的全局权重指标值，GRA2为NE2对应的更新的梯度，KPI2为NE2对应的全局权重指标值；将更新的全局梯度下发给NE1和NE2；NE1和NE2根据更新的全局梯度更新模型。
第四方面，本申请实施例提供一种电子设备，包括：
至少一个处理器；
存储器，存储器上存储有至少一个程序，当至少一个程序被至少一个处理器执行，使得至少一个处理器实现上述任意一种联邦学习方法。
其中，处理器为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)。
在一些实施例中，处理器、存储器通过总线相互连接，进而与计算设备的其它组件连接。
第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意一种联邦学习方法。
图9为本申请另一个实施例提供的联邦学习装置的组成框图。
第六方面，参照图9，本申请另一个实施例提供一种联邦学习装置(如第i层节点，i为大于或等于2，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数)，该装置包括：
第一通信模块901，用于接收到至少一个第(i-1)层节点上报的对应的第一梯度；
第一计算模块902，用于根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度；其中，第(i-1)层权重指标为通信指标。
在一些示例性实施例中，第一通信模块901还用于：
接收到下挂到的第(i+1)层节点发送的联邦学习任务，将联邦学习任务下发给下挂的至少一个第(i-1)层节点。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、话务量和上下行流量的加权平均。
在一些示例性实施例中，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。
在一些示例性实施例中，若所述i等于2，第(i-1)层节点对应的第一梯度为第(i-1)层节点根据联邦学习任务进行模型训练得到的更新的梯度；
若i大于2，且小于或等于(N-1)，第(i-1)层节点对应的第一梯度为所述第(i-1)层节点对应的更新的第(i-2)层全局梯度。
在一些示例性实施例中，第一计算模块902具体用于：
根据第i层节点对应的第(i-1)层权重指标获取至少一个第(i-1)层节点对应的第(i-1)层权重指标值；以至少一个第(i-1)层节点对应的第(i-1)层权重指标值为权重，计算至少一个第(i-1)层节点对应的第一梯度的加权平均值，得到第i层节点对应的更新的第(i-1)层全局梯度。
在一些示例性实施例中，第一通信模块901还用于：
将第i层节点对应的更新的第(i-1)层全局梯度下发给第(i-1)层节点。
在一些示例性实施例中，第一通信模块901还用于：
将第i层节点对应的更新的第(i-1)层全局梯度上报给第(i+1)层节点；接收第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个下发给第(i-1)层节点。
上述联邦学习装置的具体实现过程与前述实施例的联邦学习方法的具体实现过程相同，这里不再赘述。
图10为本申请另一个实施例提供的联邦学习装置的组成框图。
第七方面，参照图10，本申请另一个实施例提供一种联邦学习装置(如第1层节点)，该装置包括：
第二通信模块1001，用于将第1层节点对应的更新的梯度上报给第2层节点；接收第2层节点发送的更新的第j层全局梯度；其中，第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；第j层权重指标为通信指标；j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数。
在一些示例性实施例中，还包括：
模型训练更新模块1002，用于根据更新的第j层全局梯度更新模型。
在一些示例性实施例中，第二通信模块1001还用于：
接收第2层节点发送的联邦学习任务。
在一些示例性实施例中，若j等于1，第j层节点对应的第一梯度为第j层节点对应的更新的梯度；
若j大于1，且小于或等于(N-1)，第j层节点对应的第一梯度为第j层节点对应的更新的第(j-1)层全局梯度。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、所述话务量和所述上下行流量的加权平均。
在一些示例性实施例中，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。
上述联邦学习装置的具体实现过程与前述实施例的联邦学习方法的具体实现过程相同，这里不再赘述。
图11为本申请另一个实施例提供的联邦学习装置的组成框图。
第八方面，参照图11，本申请另一个实施例提供一种联邦学习装置(如第N层节点，(N-1)为联邦学习的层数)，该装置包括：
第三通信模块1101，用于接收到至少一个第(N-1)层节点上报的对应的第(N-2)层全局梯度；
第二计算模块1102，用于根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点对应的第(N-1)层全局梯度；其中，第(N-1)层权重指标为通信指标。
在一些示例性实施例中，第三通信模块1101还用于：
向下挂的至少一个第(N-1)层节点下发联邦学习任务。
在一些示例性实施例中，第三通信模块1101还用于：
将第N层节点对应的第(N-1)层全局梯度下发给至少一个第(N-1)层节点。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、所述话务量和所述上下行流量的加权平均。
上述联邦学习装置的具体实现过程与前述实施例的联邦学习方法的具体实现过程相同，这里不再赘述。
第九方面，本申请另一个实施例提供一种联邦学习系统，包括：
第N层节点或第N层子系统，用于接收到至少一个第(N-1)层节点上报的对应的第(N-2)层全局梯度；根据至少一个第(N-1)层节点对应的第(N-2)层全局梯度和第(N-1)层权重指标计算第N层节点或第N层子系统对应的第(N-1)层全局梯度；其中，第(N-1)层权重指标为通信指标；将第N层节点或第N层子系统对应的第(N-1)层全局梯度下发给至少一个第(N-1)层节点；其中，(N-1)为联邦学习的层数；
第i层节点，用于接收到至少一个第(i-1)层节点上报的对应的第一梯度；根据至少一个所述第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度；其中，第(i-1)层权重指标为通信指标；
第i层节点还用于：
将第i层节点对应的更新的第(i-1)层全局梯度下发给第(i-1)层节点；或者，将第i层节点对应的更新的第(i-1)层全局梯度上报给第(i+1)层节点；接收第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个下发给第(i-1)层节点；
第1层节点，用于将第1层节点对应的更新的梯度上报给第2层节点；接收第2层节点发送的更新的第j层全局梯度；其中，第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；第j层权重指标为通信指标；第j层权重指标为通信指标；j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数。
在一些示例性实施例中，第1层节点还用于：
进行模型训练得到第1层节点对应的更新的梯度；根据更新的第j层全局梯度更新模型。
在一些示例性实施例中，通信指标包括以下至少一个：
平均时延、话务量、上下行流量、话务量和上下行流量的加权平均。
在一些示例性实施例中，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。
在一些示例性实施例中，若i等于2，第(i-1)层节点对应的第一梯度为所述第(i-1)层节点根据联邦学习任务进行模型训练得到的更新的梯度；
若i大于2，且小于或等于(N-1)，第(i-1)层节点对应的第一梯度为所述第(i-1)层节点对应的更新的第(i-2)层全局梯度。
在一些示例性实施例中，若j等于1，第j层节点对应的第一梯度为第j层节点对应的更新的梯度；
若j大于1，且小于或等于(N-1)，第j层节点对应的第一梯度为第j层节点对应的更新的第(j-1)层全局梯度。
在一些示例性实施例中，第i层节点具体用于采用以下方式实现根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度：
根据第i层节点对应的第(i-1)层权重指标获取至少一个第(i-1)层节点对应的第(i-1)层权重指标值；
以至少一个第(i-1)层节点对应的第(i-1)层权重指标值为权重，计算至少一个第(i-1)层节点对应的第一梯度的加权平均值，得到第i层节点对应的更新的第(i-1)层全局梯度。
在一些示例性实施例中，第i层节点还用于：
将第i层节点对应的更新的第(i-1)层全局梯度下发给第(i-1)层节点。
在一些示例性实施例中，第i层节点还用于：
将第i层节点对应的更新的第(i-1)层全局梯度上报给第(i+1)层节点；
接收第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将更新的第i层全局梯度到所述更新的第(N-1)层全局梯度中的任意一个下发给第(i-1)层节点。
上述联邦学习系统的具体实现过程与前述实施例的联邦学习方法的具体实现过程相同，这里不再赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储器、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本申请的范围的情况下，可进行各种形式和细节上的改变。

Claims (11)

1.一种联邦学习方法，应用于第i层节点，所述i为大于或等于2，且小于或等于(N-1)的整数中的任意一个，所述(N-1)为联邦学习的层数，该方法包括：
接收到至少一个下挂的第(i-1)层节点上报的所述第(i-1)层节点对应的第一梯度；
根据至少一个所述第(i-1)层节点对应的所述第一梯度和所述第i层节点对应的第(i-1)层权重指标计算所述第i层节点对应的更新的第(i-1)层全局梯度；其中，所述第(i-1)层权重指标为通信指标，所述通信指标包括以下至少一个：平均时延、话务量、上下行流量、所述话务量和所述上下行流量的加权平均；
其中，若所述i等于2，所述第(i-1)层节点对应的所述第一梯度为所述第(i-1)层节点进行模型训练得到的更新的梯度；
若所述i大于2，且小于或等于(N-1)，所述第(i-1)层节点对应的所述第一梯度为所述第(i-1)层节点对应的更新的第(i-2)层全局梯度。
2.根据权利要求1所述的联邦学习方法，其中，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。
3.根据权利要求1所述的联邦学习方法，其中，所述根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度包括：
根据所述第i层节点对应的所述第(i-1)层权重指标获取至少一个所述第(i-1)层节点对应的第(i-1)层权重指标值；
以至少一个所述第(i-1)层节点对应的第(i-1)层权重指标值为权重，计算至少一个所述第(i-1)层节点对应的所述第一梯度的加权平均值，得到所述第i层节点对应的所述更新的第(i-1)层全局梯度。
4.根据权利要求1-3任一项所述的联邦学习方法，所述根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度之后，该方法还包括：
将所述第i层节点对应的所述更新的第(i-1)层全局梯度下发给所述第(i-1)层节点。
5.根据权利要求1-3任一项所述的联邦学习方法，所述根据至少一个第(i-1)层节点对应的第一梯度和第i层节点对应的第(i-1)层权重指标计算第i层节点对应的更新的第(i-1)层全局梯度之后，该方法还包括：
将所述第i层节点对应的所述更新的第(i-1)层全局梯度上报给第(i+1)层节点；
接收所述第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将所述更新的第i层全局梯度到所述更新的第(N-1)层全局梯度中的任意一个下发给所述第(i-1)层节点。
6.一种联邦学习方法，应用于第1层节点，该方法包括：
将所述第1层节点对应的更新的梯度上报给第2层节点；
接收所述第2层节点发送的更新的第j层全局梯度；其中，所述第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；所述第j层权重指标为通信指标，所述通信指标包括以下至少一个：平均时延、话务量、上下行流量、所述话务量和所述上下行流量的加权平均；所述j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数；
其中，若j等于1，所述第j层节点对应的第一梯度为所述第j层节点对应的更新的梯度；
若j大于1，且小于或等于(N-1)，所述第j层节点对应的第一梯度为所述第j层节点对应的更新的第(j-1)层全局梯度。
7.根据权利要求6所述的联邦学习方法，同一层的不同节点对应的权重指标相同或不同，不同层的不同节点对应的权重指标相同或不同。
8.一种联邦学习方法，应用于第N层节点或第N层子系统，(N-1)为联邦学习的层数，该方法包括：
接收到至少一个下挂的第(N-1)层节点上报的对应的第(N-2)层全局梯度；
根据至少一个所述第(N-1)层节点对应的所述第(N-2)层全局梯度和第(N-1)层权重指标计算所述第N层节点或所述第N层子系统对应的第(N-1)层全局梯度；其中，所述第(N-1)层权重指标为通信指标，所述通信指标包括以下至少一个：平均时延、话务量、上下行流量、所述话务量和所述上下行流量的加权平均。
9.一种电子设备，包括：
至少一个处理器；
存储器，所述存储器上存储有至少一个程序，当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现根据权利要求1-8任意一项所述的联邦学习方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-8任意一项所述的联邦学习方法。
11.一种联邦学习系统，包括：
第N层节点或第N层子系统，用于接收到至少一个下挂的第(N-1)层节点上报的对应的第(N-2)层全局梯度；根据至少一个所述第(N-1)层节点对应的所述第(N-2)层全局梯度和第(N-1)层权重指标计算所述第N层节点或所述第N层子系统对应的第(N-1)层全局梯度；其中，所述第(N-1)层权重指标为通信指标，所述通信指标包括以下至少一个：平均时延、话务量、上下行流量、所述话务量和所述上下行流量的加权平均；将所述第N层节点或所述第N层子系统对应的所述第(N-1)层全局梯度下发给至少一个所述第(N-1)层节点；其中，(N-1)为联邦学习的层数；
第i层节点，用于接收到至少一个下挂的第(i-1)层节点上报的所述第(i-1)层节点对应的第一梯度；根据至少一个所述第(i-1)层节点对应的所述第一梯度和所述第i层节点对应的第(i-1)层权重指标计算所述第i层节点对应的更新的第(i-1)层全局梯度；其中，所述第(i-1)层权重指标为通信指标；
所述第i层节点还用于：
将所述第i层节点对应的所述更新的第(i-1)层全局梯度下发给所述第(i-1)层节点；或者，将所述第i层节点对应的所述更新的第(i-1)层全局梯度上报给第(i+1)层节点；接收所述第(i+1)层节点发送的更新的第i层全局梯度到更新的第(N-1)层全局梯度中的任意一个，将所述更新的第i层全局梯度到所述更新的第(N-1)层全局梯度中的任意一个下发给所述第(i-1)层节点；
第1层节点，用于将所述第1层节点对应的更新的梯度上报给第2层节点；接收所述第2层节点发送的更新的第j层全局梯度；其中，所述第j层全局梯度根据至少一个第j层节点对应的第一梯度和第(j+1)层节点对应的第j层权重指标计算得到；所述第j层权重指标为通信指标；所述j为大于或等于1，且小于或等于(N-1)的整数中的任意一个，(N-1)为联邦学习的层数；
其中，若所述i等于2，所述第(i-1)层节点对应的所述第一梯度为所述第(i-1)层节点进行模型训练得到的更新的梯度；
若所述i大于2，且小于或等于(N-1)，所述第(i-1)层节点对应的所述第一梯度为所述第(i-1)层节点对应的更新的第(i-2)层全局梯度；
其中，若j等于1，所述第j层节点对应的第一梯度为所述第j层节点对应的更新的梯度；
若j大于1，且小于或等于(N-1)，所述第j层节点对应的第一梯度为所述第j层节点对应的更新的第(j-1)层全局梯度。
CN202010695940.2A 2020-07-17 2020-07-17 联邦学习方法、装置和系统、电子设备、存储介质 Active CN113282933B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010695940.2A CN113282933B (zh) 2020-07-17 2020-07-17 联邦学习方法、装置和系统、电子设备、存储介质
US18/016,470 US20230281508A1 (en) 2020-07-17 2021-07-15 Federated learning method, apparatus and system, electronic device and storage medium
EP21841778.0A EP4184361A4 (en) 2020-07-17 2021-07-15 FEDERATED LEARNING METHOD, APPARATUS AND SYSTEM, ELECTRONIC DEVICE AND STORAGE MEDIUM
PCT/CN2021/106469 WO2022012621A1 (zh) 2020-07-17 2021-07-15 联邦学习方法、装置和系统、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695940.2A CN113282933B (zh) 2020-07-17 2020-07-17 联邦学习方法、装置和系统、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN113282933A CN113282933A (zh) 2021-08-20
CN113282933B true CN113282933B (zh) 2022-03-01

Family

ID=77275594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695940.2A Active CN113282933B (zh) 2020-07-17 2020-07-17 联邦学习方法、装置和系统、电子设备、存储介质

Country Status (4)

Country Link
US (1) US20230281508A1 (zh)
EP (1) EP4184361A4 (zh)
CN (1) CN113282933B (zh)
WO (1) WO2022012621A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114492841A (zh) * 2022-01-28 2022-05-13 中国银联股份有限公司 一种模型梯度更新方法及装置
CN114726706B (zh) * 2022-04-15 2023-03-14 河海大学 一种面向多层无线网络联邦学习的模型同步方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621404A (zh) * 2008-07-05 2010-01-06 中兴通讯股份有限公司 一种故障分层处理方法和系统
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、系统、设备及计算机可读存储介质
CN109919313A (zh) * 2019-01-31 2019-06-21 华为技术有限公司 一种梯度传输的方法及分布式训练系统
CN109947954A (zh) * 2018-07-09 2019-06-28 北京邮电大学 多任务协同识别方法及系统
CN110610242A (zh) * 2019-09-02 2019-12-24 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
CN110728376A (zh) * 2019-10-21 2020-01-24 深圳前海微众银行股份有限公司 一种基于树状拓扑结构的联邦学习方法及装置
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
CN111176929A (zh) * 2019-11-29 2020-05-19 广东工业大学 一种面向边缘联邦学习的高能效计算通信联合优化方法
CN111245903A (zh) * 2019-12-31 2020-06-05 烽火通信科技股份有限公司 一种基于边缘计算的联合学习方法及系统
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
WO2020115273A1 (en) * 2018-12-07 2020-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Predicting network communication performance using federated learning
CN111310932A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324690A1 (en) * 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System
CN109189825B (zh) * 2018-08-10 2022-03-15 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
US11010637B2 (en) * 2019-01-03 2021-05-18 International Business Machines Corporation Generative adversarial network employed for decentralized and confidential AI training
CN110399742B (zh) * 2019-07-29 2020-12-18 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110955907B (zh) * 2019-12-13 2022-03-25 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111062493B (zh) * 2019-12-20 2021-06-15 深圳前海微众银行股份有限公司 基于公共数据的纵向联邦方法、装置、设备及介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621404A (zh) * 2008-07-05 2010-01-06 中兴通讯股份有限公司 一种故障分层处理方法和系统
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
CN109947954A (zh) * 2018-07-09 2019-06-28 北京邮电大学 多任务协同识别方法及系统
WO2020115273A1 (en) * 2018-12-07 2020-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Predicting network communication performance using federated learning
CN109919313A (zh) * 2019-01-31 2019-06-21 华为技术有限公司 一种梯度传输的方法及分布式训练系统
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、系统、设备及计算机可读存储介质
CN110610242A (zh) * 2019-09-02 2019-12-24 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
CN110728376A (zh) * 2019-10-21 2020-01-24 深圳前海微众银行股份有限公司 一种基于树状拓扑结构的联邦学习方法及装置
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN111176929A (zh) * 2019-11-29 2020-05-19 广东工业大学 一种面向边缘联邦学习的高能效计算通信联合优化方法
CN111245903A (zh) * 2019-12-31 2020-06-05 烽火通信科技股份有限公司 一种基于边缘计算的联合学习方法及系统
CN111310932A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Federated Learning-Based Computation Offloading Optimization in Edge Computing-Supported Internet of Things;Jianji Ren 等;《IEEE Access 》;20190603;第7卷;69194-69201 *
边缘学习：关键技术、应用与挑战;吴琪 等;《无线电通信技术》;20200131;第46卷(第1期);6-25 *

Also Published As

Publication number Publication date
EP4184361A1 (en) 2023-05-24
EP4184361A4 (en) 2024-08-07
US20230281508A1 (en) 2023-09-07
WO2022012621A1 (zh) 2022-01-20
CN113282933A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN109995435B (zh) 一种基于多纤芯光网络的虚拟网络映射方法及系统
CN113282933B (zh) 联邦学习方法、装置和系统、电子设备、存储介质
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN107249035B (zh) 一种等级动态可变的共享重复数据存储和读取方法
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN110365568A (zh) 一种基于深度强化学习的虚拟网络映射方法
CN109788489A (zh) 一种基站规划方法及装置
CN110446204B (zh) 一种适用于车联网络车辆结点的信任值计算方法
CN111260061A (zh) 联邦学习梯度交换中的差异化加噪方法及系统
CN106506360B (zh) 一种基于链路动态负载的光纤网络均衡路由方法
CN111163461A (zh) 终端数据防篡改方法及系统、防篡改服务器和存储介质
Hua et al. GAN-based deep distributional reinforcement learning for resource management in network slicing
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
CN113722285B (zh) 一种基于多链的跨链分布式文件存证系统
CN113228059A (zh) 面向跨网络的表示学习算法
CN113516163B (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
CN118095410A (zh) 神经网络架构搜索的联邦学习参数高效微调方法及装置
CN113191432A (zh) 基于离群因子的虚拟机集群的异常检测方法、设备及介质
CN110555037A (zh) 智慧城市数据共享系统
CN111382196B (zh) 分布式账务处理方法及系统
CN103826280B (zh) 一种移动通信网络路径优化方法及系统
CN106899433A (zh) 网络链接预测方法及装置
CN115835225B (zh) 5g切片安全映射方法、装置、电子设备及存储介质
CN116016537B (zh) 优化对算力网络资源的选择的方法和装置
CN114154690A (zh) 交通速度预测模型构建方法、交通速度预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant