CN113496291A - 用于联邦学习的装置、方法和存储介质 - Google Patents

用于联邦学习的装置、方法和存储介质 Download PDF

Info

Publication number
CN113496291A
CN113496291A CN202010191746.0A CN202010191746A CN113496291A CN 113496291 A CN113496291 A CN 113496291A CN 202010191746 A CN202010191746 A CN 202010191746A CN 113496291 A CN113496291 A CN 113496291A
Authority
CN
China
Prior art keywords
distributed computing
computing device
federal learning
information
central processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010191746.0A
Other languages
English (en)
Inventor
孙晨
吴松涛
许宽宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202010191746.0A priority Critical patent/CN113496291A/zh
Priority to US17/909,771 priority patent/US20230107308A1/en
Priority to EP21770827.0A priority patent/EP4109356A4/en
Priority to KR1020227030873A priority patent/KR20220155289A/ko
Priority to CN202180020218.1A priority patent/CN115668241A/zh
Priority to PCT/CN2021/080724 priority patent/WO2021185197A1/zh
Publication of CN113496291A publication Critical patent/CN113496291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/065—Generation of reports related to network devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Abstract

本公开内容涉及用于联邦学习的装置、方法和存储介质。描述了关于用于联邦学习的各种实施例。在实施例中，中央处理装置可以被配置为针对多个分布计算装置中的第一分布计算装置：接收来自第一分布计算装置的报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；以及基于第一分布计算装置的报告消息评估第一分布计算装置的联邦学习性能；基于第一分布计算装置的联邦学习性能确定第一分布计算装置的无线资源需求；以及通过消息通知无线网络基于所述无线资源需求为第一分布计算装置配置无线资源。

Description

用于联邦学习的装置、方法和存储介质
技术领域
本公开一般地涉及机器学习与无线通信技术，并且具体地涉及用于联邦学习的装置、方法和存储介质。
背景技术
近年来，随着电子设备计算能力的不断提升和大数据技术的发展，人工智能取得了蓬勃发展。人工智能技术被寄以厚望，以在无人车、医疗、金融等领域发挥作用。人工智能在一定程度上是大数据驱动的，这些数据会涉及若干领域中的多个数据拥有者。在大多数情况下，数据是以孤岛的形式存在的。由于行业竞争、隐私安全、行政手续复杂等问题，想要将分散在各地、各个机构的数据进行整合需要巨大的成本。
为了在利用数据的同时满足数据隐私、安全和监管要求，设计了一种称为联邦学习(Federated Learning)的机器学习框架。联邦学习可以让人工智能系统能够更加高效、准确的共同使用各自的数据。在联邦学习的框架中，多个客户端(例如计算装置)在使数据保留在本地的情况下与中央服务器(例如中央处理装置)配合进行全局模型的训练，不泄露隐私也不违反法规。联邦学习使得两方或多方的数据使用实体在合作当中数据不出本地也能共同使用，解决数据孤岛问题。
一方面，在使用计算装置的过程中所生成的数据可能是联邦学习的重要数据来源，因此计算装置可以成为执行联邦学习的适当的客户端。另一方面，为了保证联邦学习性能，需要考虑不同计算装置的硬件性能差异，并且在计算装置通过无线方式与中央处理装置通信的情况下，需要关注计算装置的无线通信性能。
发明内容
本公开的第一方面涉及用于中央处理装置的电子设备，该中央处理装置与多个分布计算装置执行联邦学习。该电子设备包括处理电路，该处理电路被配置为使中央处理装置针对所述多个分布计算装置中的第一分布计算装置：接收来自第一分布计算装置的报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；基于第一分布计算装置的报告消息评估第一分布计算装置的联邦学习性能；基于第一分布计算装置的联邦学习性能确定第一分布计算装置的无线资源需求；以及通过消息通知无线网络基于所述无线资源需求为第一分布计算装置配置无线资源。
本公开的第二方面涉及用于第一分布计算装置的电子设备，第一分布计算装置与中央处理装置以及附加的分布计算装置执行联邦学习。该电子设备包括处理电路，该处理电路被配置为使第一分布计算装置：向中央处理装置发送报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；以及从无线网络接收无线资源配置信息，其中所述无线资源配置信息是无线网络基于来自所述中央处理装置的指示消息而确定的。
本公开的第三方面涉及用于联邦学习的方法，其中中央处理装置与多个分布计算装置执行该联邦学习。该方法包括由中央处理装置针对多个分布计算装置中的第一分布计算装置：接收来自第一分布计算装置的报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；基于第一分布计算装置的报告消息评估第一分布计算装置的联邦学习性能；基于第一分布计算装置的联邦学习性能确定第一分布计算装置的无线资源需求；以及通过消息通知无线网络基于所述无线资源需求为第一分布计算装置配置无线资源。
本公开的第四方面涉及用于联邦学习的方法，其中中央处理装置与多个分布计算装置执行该联邦学习。该方法包括由所述多个分布计算装置中的第一分布计算装置：向所述中央处理装置发送报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；以及从无线网络接收无线资源配置信息，其中所述无线资源配置信息是无线网络基于来自所述中央处理装置的指示消息而确定的。
本公开的第五方面涉及存储有一个或多个指令的计算机可读存储介质。在一些实施例中，该一个或多个指令可以在由电子设备的一个或多个处理器执行时，使电子设备执行根据本公开的各种实施例的方法。
本公开的第六方面涉及用于无线通信的装置，包括用于执行根据本公开实施例的各方法的操作的部件或单元。
提供上述概述是为了总结一些示例性的实施例，以提供对本文所描述的主题的各方面的基本理解。因此，上述特征仅仅是例子并且不应该被解释为以任何方式缩小本文所描述的主题的范围或精神。本文所描述的主题的其他特征、方面和优点将从以下结合附图描述的具体实施方式而变得明晰。
附图说明
当结合附图考虑实施例的以下具体描述时，可以获得对本公开内容更好的理解。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用来例示说明本公开的实施例和解释本公开的原理和优点。其中：
图1示出了一般性的联邦学习处理。
图2示出了根据本公开实施例的示例性联邦学习系统。
图3A示出了根据本公开实施例的用于中央处理装置的示例性电子设备。
图3B示出了根据本公开实施例的用于分布式计算装置的示例性电子设备。
图4示出了根据本公开实施例的用于评估分布计算装置的联邦学习性能的一个示例性处理。
图5示出了根据本公开实施例的用于评估分布计算装置的联邦学习性能的另一示例性处理。
图6A和图6B示出了根据本公开实施例的用于确定分布计算装置的无线资源需求的示例性处理。
图7示出了根据本公开实施例的用于在分布计算装置与中央处理装置之间传递信息的示例性流程。
图8示出了根据本公开实施例的用于联邦学习的示例性处理。
图9A和图9B示出了根据本公开实施例的差异化的联邦学习机会的示意图。
图10至图12示出了根据本公开实施例的多个联邦学习系统之间进行监督的示例性处理。
图13示出了根据本公开实施例的可用作中央处理装置的个人计算机的示例配置的框图。
图14示出了根据本公开实施例的可用作分布计算装置的智能电话的示例配置的框图。
图15示出了根据本公开实施例的可用作分布计算装置的汽车导航设备的示例配置的框图。
虽然在本公开内容中所描述的实施例可能易于有各种修改和另选形式，但是其具体实施例在附图中作为例子示出并且在本文中被详细描述。但是，应当理解，附图以及对其的详细描述不是要将实施例限定到所公开的特定形式，而是相反，目的是要涵盖属于权利要求的精神和范围内的所有修改、等同和另选方案。
具体实施方式
以下描述根据本公开的设备和方法等各方面的代表性应用。这些例子的描述仅是为了增加上下文并帮助理解所描述的实施例。因此，对本领域技术人员而言明晰的是，以下所描述的实施例可以在没有具体细节当中的一些或全部的情况下被实施。在其他情况下，众所周知的过程步骤没有详细描述，以避免不必要地模糊所描述的实施例。其他应用也是可能的，本公开的方案并不限制于这些示例。
图1示出了示例性联邦学习处理，提供关于联邦学习处理的一般性描述。在图1的示例中，中央处理装置对用户A、用户B和用户C进行控制、协调以进行联邦学习。该联邦学习的目的可以是通过训练方式更新全局模型，使得每个用户可以基于更新的全局模型以接近人工智能的方式执行特定应用或任务。例如，将当前情境数据输入全局模型可以针对该特定应用或任务预测输出结果。该特定应用或任务可以包括气象预报、自动驾驶、智能语音助手等。在气象预报应用中，将当前气象条件和位置数据输入相应的全局模型可以预测该位置的气象情况。在自动驾驶应用中，将当前路况和驾驶习惯数据输入相应的全局模型可以建议当前的驾驶行为。
在本公开中，将对同一全局模型进行训练的中央处理装置以及多个用户称为联邦学习系统。全局模型对于准确地执行特定应用或任务至关重要。需要各个用户A至C关于特定应用或任务的已有数据来训练全局模型。联邦学习可以保证用户数据隐私的情况下，利用各个用户的已有数据来训练全局模型。具体地，如图1所示，中央处理装置可以将初始的全局模型提供给用户A至C(对应实线部分)，其中初始全局模型可以是基于例如中央处理装置收集的数据使用数据挖掘或常规机器学习等方式初步建立的。在获得初始全局模型之后，每个用户A至C各自使用本地数据训练该全局模型。例如，在用户使用梯度下降算法的情况下，每个用户使用自身数据对模型参数进行更新以最大化目标函数。目标函数最大化所对应的模型参数即为更新的参数，对应更新的模型。之后，各用户将各自的更新信息提供给中央处理装置(对应虚线部分)。在获得各个用户的更新信息之后，中央处理装置可以聚合这些更新信息以获得更新的全局模型。
以上过程可以称为一轮的联邦学习。在联邦学习未达对全局模型的训练目标的情况下(例如，与中央处理装置可以获得所有数据的非联邦学习相比，性能差距大于一定阈值)，中央处理装置可以将更新的全局模型提供给各用户，以发起新一轮的联邦学习。新一轮的联邦学习过程与以上描述类似，因此不再重复。通过上述方式，全局模型的预测准确度得以改善。
训练数据和全局模型是联邦学习的两个要素。在联邦学习中使用的数据可以称为训练数据，其中每个数据样本可以称为一个训练样本，训练样本组成的集合称为训练数据集。一般地，令D＝{x1,x2,…,xm}表示包含m个示例样本的数据集，每个样本可以由d个属性描述，则每个样本xi＝(xi1；xi2；…；xid)是d维样本空间X中的一个向量，xi∈X，其中xij是xi在第j个属性上的取值，d称为样本xi的维数。在该示例中，样本的属性也可以称为样本的分量。
在联邦学习中，针对不同的应用和任务，以及针对不同的目标，可以建立不同的全局模型。全局模型的示例可以是线性模型，即f(x)＝w1x1+w2x2+…+wdxd+b。联邦学习可以通过训练数据对该模型训练，从而确定模型参数wi和b。
图2示出了根据本公开实施例的示例性联邦学习系统。如图2所示，联邦学习系统200包括分布式计算装置201-1至201-3、中央处理装置211以及无线网络251。此处，可以用201指代分布式计算装置整体或任意分布式计算装置，可以用201-1至201-3指代特定的分布式计算装置。中央处理装置211对分布式计算装置201-1至201-3进行控制、协调以进行联邦学习。在图2的示例中，分布式计算装置201与中央处理装置211经由无线网络251进行通信。具体地，可以以无线方式在分布式计算装置201与中央处理装置211之间传递全局模型和模型更新信息。在本公开实施例的联邦学习中，可以考虑分布式计算装置201的无线通信性能，以及/或者可以为分布式计算装置201向无线网络205提出无线资源配置需求，如后文详细描述的。
在实施例中，无线网络251可以对应任何一种或多种无线通信系统。该无线通信系统可以是采用时分双工(time division duplex，TDD)或频分双工(frequency divisionduplex，FDD)的无线通信系统，包括但不限于：GSM系统；WCDMA系统；LTE和LTE-Advanced系统；WLAN、WiMAX系统；5G New Radio(NR)系统；V2X、V2V、D2D以及M2M系统；以及正在或以后研发的新系统等。
在实施例中，分布式计算装置201可以对应移动站(Mobile Station，MS)、用户设备(User Equipment，UE)等。分布式计算装置201可以实现为诸如移动电话、手持式设备、媒体播放器、计算机、膝上型电脑或平板电脑的设备或者几乎任何类型的无线设备。分布式计算装置201可以使用多种无线通信技术进行通信，这些无线通信技术包括但不限于：GSM、WCDMA、LTE、LTE-Advanced、WiMAX、WLAN、NR、V2X、V2V、D2D以及M2M等中的至少一者进行通信。
图3A示出了根据实施例的用于中央处理装置的示例性电子设备。图3A所示的电子设备300可以包括各种单元以实现根据本公开的各种实施例。电子设备300可以包括第一联邦学习处理单元302和第一收发单元304。在不同实施方式中，电子设备300可以被实现为图2中的中央处理装置211或其一部分。电子设备300可以被集成在中央处理装置211中，或者与中央处理装置211分立设置并通过接口或通信链路进行信息交互。以下结合中央处理装置所描述的各种操作可以由电子设备300的单元302和304或者其他可能的单元实现。
在本公开中，第一联邦学习处理单元302可以被配置为使中央处理装置(例如中央处理装置211)与一个或多个分布计算装置(例如分布计算装置201)一起执行联邦学习。该联邦学习目的在于针对特定应用或任务训练一个或多个全局模型。在一些情况下，针对特定应用或任务，可以通过全部分布计算装置训练同一全局模型。在另一些情况下，针对特定应用或任务，可以通过一部分分布计算装置训练第一全局模型，并且通过另一部分分布计算装置训练第二全局模型。
在一个实施例中，第一收发单元304可以被配置为使中央处理装置211接收来自一个或多个分布计算装置201的报告消息，该报告消息可以包括分布计算装置201的训练数据集信息。在联邦学习中，每个分布计算装置使用自身的训练数据在本地对全局模型进行训练，并将例如训练结果即模型参数提供给中央处理装置，而无需将训练数据提供给中央处理装置或其他分布计算装置。但是，该分布计算装置可以将有关训练数据集的描述或统计信息提供给中央处理装置。由此，中央处理装置可以基于各分布计算装置的训练数据集信息的一个或多个方面来协调、控制联邦学习，以便优化整体的联邦学习效果。
报告消息可以附加或另选地包括每个分布计算装置201的设备信息。设备信息可以包括例如设备标识、电量、处理能力或位置信息中的至少一项。同样，中央处理装置可以基于各分布计算装置的设备信息的一个或多个方面来协调、控制联邦学习，以便优化整体的联邦学习效果。
在实施例中，第一联邦学习处理单元302可以被配置为使中央处理装置211针对分布计算装置201中的第一分布计算装置201-1，基于分布计算装置201-1的报告消息评估其联邦学习性能。可以通过分布计算装置在一轮联邦学习中对全局模型改进的共享来衡量其联邦学习性能。例如，可以认为对目标函数改进较大的分布计算装置的联邦学习性能较好。训练数据集信息所表示的训练数据的特点以及设备信息所表示的分布计算装置的状态可以在不同程度上与分布计算装置在联邦学习中发挥的作用有关。通过评估各分布计算装置的联邦学习性能，可以针对各分布计算装置执行分别的操作，从而既使每个分布计算装置能够发挥自身的作用，又能够优化整体的联邦学习效果。
在实施例中，第一联邦学习处理单元302还可以被配置为使中央处理装置211针对分布计算装置201中的第一分布计算装置201-1，基于分布计算装置201-1的联邦学习性能确定其无线资源需求。应理解，可以为分布计算装置201确定与其联邦学习性能相匹配的无线资源需求，使得无线通信性能不会过度限制分布计算装置201执行联邦学习的性能(例如在接收全局模型或发送模型更新信息期间)。第一收发单元304可以被配置为使中央处理装置211通过消息通知无线网络(例如无线网络251)基于或参考无线资源需求为分布计算装置201-1配置无线资源。在无线网络251能够参考接收的无线资源需求为分布计算装置201-1配置无线资源的情况下，则分布计算装置201-1在执行联邦学习期间的无线通信性能可以得到保证。
另选地，在一个实施例中，第一联邦学习处理单元302可以被配置为使中央处理装置211针对分布计算装置201中的第一分布计算装置201-1，基于第一分布计算装置201-1的联邦学习性能确定其无线资源需求。第一收发单元304可以被配置为使中央处理装置211获得第一分布计算装置201-1的无线通信性能，并确定该无线通信性能是否能够满足为分布计算装置201-1所确定的无线资源需求。中央处理装置211可以在任何时间通过消息通知无线网络基于或参考无线资源需求为分布计算装置201-1配置无线资源。在一个实施例中，中央处理装置211可以根据需要(例如仅在无线通信性能不能够满足为无线资源需求的情况下)，通知无线网络基于或参考无线资源需求为分布计算装置201-1配置无线资源。
另选地，在一个实施例中，第一收发单元304可以被配置为使中央处理装置211获得一个或多个分布计算装置201的无线通信性能，并且选择无线通信性能满足一定阈值要求的分布计算装置201执行联邦学习，从而保证参与联邦学习的分布计算装置的无线通信性能不会过度限制联邦学习。
图3B示出了根据实施例的用于分布计算装置的示例性电子设备。图3B所示的电子设备350可以包括各种单元以实现根据本公开的各种实施例。电子设备350可以包括第二联邦学习处理单元352和第二收发单元354。在不同实施方式中，电子设备350可以被实现为图2中的任一分布计算装置201或其一部分。电子设备350可以被集成在分布计算装置201中，或者与分布计算装置201分立设置并通过接口或通信链路进行信息交互。以下结合分布计算装置所描述的各种操作可以由电子设备350的单元352和354或者其他可能的单元实现。
在本公开中，第二联邦学习处理单元352可以被配置为使分布计算装置(例如分布计算装置201-1)与中央处理装置(例如中央处理装置211)以及其他分布计算装置一起执行联邦学习。该联邦学习目的在于针对特定应用或任务训练一个或多个全局模型。在一些情况下，针对特定应用或任务，单个分布计算装置可以加入一个或多个联邦学习组训练同一全局模型。
在一个实施例中，第二收发单元354可以被配置为使分布计算装置201-1向中央处理装置211发送报告消息。该报告消息可以包括分布计算装置201-1的训练数据集信息。在联邦学习中，分布计算装置201-1可以将有关训练数据集的描述或统计信息提供给中央处理装置。由此，中央处理装置可以基于各分布计算装置的训练数据集信息来协调、控制联邦学习，以便优化整体的联邦学习效果。
报告消息可以附加或另选地包括每个分布计算装置201的设备信息。设备信息可以包括例如设备标识、电量、处理能力或位置信息中的至少一项。同样，中央处理装置可以基于各分布计算装置的设备信息来协调、控制联邦学习，以便优化整体的联邦学习效果。
在一个实施例中，第二收发单元354可以被配置为使分布计算装置201-1从无线网络接收无线资源配置信息。该无线资源配置信息是无线网络基于或参考来自中央处理装置的指示消息而确定的。在实施例中，来自中央处理装置的指示消息可以包括与分布计算装置201-1的联邦学习性能相匹配的无线资源需求。基于或参考该无线资源需求而确定的无线资源配置信息可以使分布计算装置201-1的无线通信性能不会过度限制其执行联邦学习的性能(例如在接收全局模型或发送模型更新信息期间)。
在一些实施例中，电子设备300和350可以以芯片级来实现，或者也可以通过包括其他外部部件以设备级来实现。例如，各电子设备可以作为整机而工作为通信设备。
应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。其中，处理电路可以指在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟和数字的组合)电路系统的各种实现。处理电路可以包括例如诸如集成电路(IC)、专用集成电路(ASIC)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(FPGA)的可编程硬件设备、和/或包括多个处理器的系统。
以上参考图3A和图3B简要描述了根据实施例的示例性电子设备和所执行的操作。以下将进一步描述这些操作的细节。
[联邦学习性能评估]
图4示出了根据本公开实施例的用于评估分布计算装置的联邦学习性能的一个示例性处理。可以由中央处理装置(例如图2中的中央处理装置211)执行该示例性处理。
如图4所示，示例性处理400可以包括获得一个或多个分布计算装置的训练数据集信息(401)。分布计算装置的示例是图2中的分布计算装置201，该分布计算装置可以是用于自动驾驶车辆的控制装置。分布计算装置210可以是集成在车辆中的电子装置(例如控制台)，或者可以是车辆用户的临时置于车辆内的电子装置(例如移动电话、平板设备等)。在实施例中，训练数据集信息可以包括训练数据的属性信息、数据量、数据新鲜度或数据多样性中的至少一项。各分布计算装置可以将自身的训练数据保留在本地，并且将训练数据集信息报告给中央处理装置。
具体而言，数据量可以描述训练数据集中的数据样本的数量。例如，对于训练数据集D＝{x1,x2,…,xm}，数据样本的数量为m个。属性信息可以描述训练数据是否具有对于联邦学习而言有用的属性、属性总数量和/或有用的属性总数量。属性信息可以用于描述用户、产品的一个或多个特征。一个d维数据样本xi＝(xi1；xi2；…；xid)可以使用d个属性描述特征。对于待训练的全局模型而言，可能d个属性中的全部或仅一部分属性是有效的。例如，在自动驾驶应用中，数据样本可以是(驾龄；品牌；车型；排量；颜色)。该数据样本包括驾龄、品牌、车型、排量和颜色5个属性，即从驾龄、车辆品牌、车型、排量、颜色5个维度描述自动驾驶信息。然而，可以认为在自动驾驶应用中颜色属性并不关键，因此该数据样本的有效属性或维度为4个。
训练数据集中的数据样本可以是用户在使用特定应用或服务期间积累生成的。训练数据的数据新鲜度可以描述训练数据在何种程度上是最近生成的。例如，用户可能在过去半年中使用应用或服务并积累了数据样本。基于模型的具体应用领域，例如可能最近1个月的数据样本对于模型训练而言价值较大，则可以用最近1个月的数据样本数量与数据样本总数量的比值来表示训练数据的新鲜度。当然，也可以用最近1个月或一定时间内的数据样本总量来表示训练数据的新鲜度。
训练数据集中的数据样本可以是用户在不同使用场景下积累生成的。训练数据的数据多样性可以描述训练数据在一个或多个属性上在何种程度上是多样的。例如，数据样本可能包括地理位置属性。在一些场景下，使用地理位置分散的数据样本对全局模型进行训练可能是有利的。这可以是由于与分散的地理位置相对应的数据样本对于联邦学习应用而言更有意义。例如，对于大气检测而言，可以使用地理位置分散的分布计算装置所采集的数据样本，以反映更大地理范围上的大气信息。在另一些场景下，地理位置集中的数据样本可能是期望的。这可以是由于与集中的地理位置相对应的数据样本对于联邦学习应用而言更有意义。例如，对于在线购物而言，主要服务某个商圈的商家可能更关注商圈内及地理位置邻近的用户购物信息。因此，该商圈内及地理位置邻近的用户购物的样本数据更有意义。基于上述含义，本领域技术人员可以使用任何适当的度量来描述数据多样性，包括但不限于地理位置的方差、离散程度或聚集程度等。
示例性处理400还包括基于训练数据集信息的一个或多个方面，评估分布计算装置的联邦学习性能(403)。在联邦学习中，数据是全局模型训练、调整全局模型参数的基础。在本公开的实施例中，将分布计算装置的训练数据集的特性与分布计算装置的联邦学习性能相关联。训练数据集越容易达成联邦学习目标，则该分布计算装置的联邦学习性能越好。相应地，在实施例中，评估分布计算装置的联邦学习性能可以包括以下一项或多项的任意组合。对于特定的分布计算装置201而言，分布计算装置的属性信息的有效维度越多，则分布计算装置的联邦学习性能越好。分布计算装置的数据量越多，则分布计算装置的联邦学习性能越好。分布计算装置的数据越新鲜，则分布计算装置的联邦学习性能越好。以及/或者，分布计算装置的数据越多样，则分布计算装置的联邦学习性能越好。
应理解，上述联邦学习性能评估方式是示例性的。针对不同的应用或任务，容易达成联邦学习目标的训练数据集的特性可以不同甚至是相反的。
图5示出了根据本公开实施例的用于评估分布计算装置的联邦学习性能的另一示例性处理。可以由中央处理装置(例如图2中的中央处理装置211)执行该示例性处理。
如图5所示，示例性处理500包括获得一个或多个分布计算装置的设备信息。分布计算装置的示例是图2中的分布计算装置201。同样，分布计算装置210可以是集成在车辆中的电子装置(例如控制台)，或者可以是车辆用户的临时置于车辆内的电子装置(例如移动电话、平板设备等)。在实施例中，设备信息可以包括分布计算装置的设备标识、电量、处理能力或位置信息中的至少一项。各分布计算装置可以将自身的设备信息报告给中央处理装置。
具体地，设备标识可以是分布计算装置的国际移动用户标识(IMSI)、临时移动用户标识(TMSI)或IP地址等中的至少一项。电量信息可以包括分布计算装置的电池容量、电量剩余百分比、是否接通电源/正在充电等中的至少一项。处理能力信息可以包括分布计算装置的处理器/缓存型号、当前处理器/缓存负荷等中的至少一项。
示例性处理500还包括基于设备信息的一个或多个方面，评估分布计算装置的联邦学习性能。在联邦学习中，分布计算装置对全局模型训练依赖于自身性能，分布计算装置的性能差异可能导致联邦学习的不同性能。分布计算装置本身的性能越好，则该分布计算装置越容易达成联邦学习目标，其联邦学习性能越好。相应地，在实施例中，评估分布计算装置的联邦学习性能可以包括以下一项或多项的任意组合。对于特定的分布计算装置201而言，分布计算装置的电量越高，则分布计算装置的联邦学习性能越好。以及/或者，分布计算装置的处理能力越高，则分布计算装置的联邦学习性能越好。
[无线通信需求评估、无线通信性能评估]
图6A示出了根据本公开实施例的用于确定分布计算装置的无线资源需求的示例性处理。可以由中央处理装置(例如图2中的中央处理装置211)执行该示例性处理。
如图6A所示，示例性处理600包括，在601处，确定分布计算装置(例如分布计算装置201)的联邦学习性能，例如可以使用参照图4和图5所描述的方法。
示例性处理600还包括，在603处，基于联邦学习性能确定分布计算装置的无线资源需求。应理解，分布计算装置的联邦学习性能越好，则其在联邦学习中的贡献可能也越大。因此，在无线资源受限的情况下，应优先确保这样的分布计算装置的无线通信性能，使其能够成功上报模型更新信息。相应地，在实施例中，对于特定的分布计算装置201，确定无线资源需求可以包括以下中的至少一者：分布计算装置201的联邦学习性能越好，则为该分布计算装置201确定越高的无线资源需求；或者存在一阈值水平的无线资源需求，为联邦学习性能满足要求的分布计算装置201确定该阈值水平的无线资源需求。
无线资源需求可以指定该分布计算装置的上行或下行传输功率，以及/或者上行或下行时频资源中的至少一者。足够的上行传输功率、上行传输时频资源对于分布计算装置发送模型更新信息是有利的。足够的下行传输功率、下行时频资源对于分布计算装置接收全局模型(初始的或更新的)是有利的。
在一些实施例中，在确定了分布计算装置的无线资源需求的情况下，中央处理装置可以将无线资源需求通过消息通知无线网络，使得无线网络可以基于或参考无线资源需求为相应的分布计算装置配置无线资源。基于或参考该无线资源需求而确定的无线资源配置可以使分布计算装置201更加可靠地接收全局模型或发送模型更新信息，即无线通信性能不会过度限制分布计算装置201执行联邦学习的性能。
图6B示出了根据本公开实施例的用于确定分布计算装置的无线资源需求的另一示例性处理。可以由中央处理装置(例如图2中的中央处理装置211)执行该示例性处理。
如图6B所示，示例性处理650包括，在651处，获得分布计算装置(例如分布计算装置201)的无线通信参数。无线通信参数可以包括但不限于上行或下行传输功率，以及/或者上行或下行时频资源。
示例性处理650还包括，在653处，基于联邦学习性能确定分布计算装置的无线资源需求。可以参考图6A中的操作603来理解操作653。同样，在实施例中，对于特定的分布计算装置201，确定无线资源需求可以包括以下中的至少一者：分布计算装置201的联邦学习性能越好，则为该分布计算装置201确定越高的无线资源需求；或者存在一阈值水平的无线资源需求，为联邦学习性能满足要求的分布计算装置201确定该阈值水平的无线资源需求。
示例性处理650还包括，在655处，比较所获得的无线通信参数和所确定的无线资源需求，以确定分布计算装置的当前无线通信参数是否能够满足与联邦学习性能匹配的无线资源需求。
在一些实施例中，在当前无线通信参数满足无线资源需求的情况下，可以认为无线通信性能不会过度限制分布计算装置执行联邦学习的性能。在当前无线通信参数不满足无线资源需求的情况下，中央处理装置可以将无线资源需求通过消息通知无线网络，使得无线网络可以基于或参考无线资源需求为相应的分布计算装置重新配置无线资源。基于或参考该无线资源需求而确定的无线资源配置可以使分布计算装置201更加可靠地接收全局模型或发送模型更新信息，即无线通信性能不会过度限制分布计算装置201执行联邦学习的性能。
当然，在一些实施例中，在获得分布计算装置的无线通信参数的情况下，中央处理装置可以将无线通信参数作为选择加入联邦学习系统的分布计算装置的标准。即仅选择无线通信参数(例如上行链路测量值)高于阈值的分布计算装置执行联邦学习。应理解，本公开的创造性思想至少在于在联邦学习中考虑分布计算装置的无线通信性能。以上示例处理仅为上述创造性思想的具体体现，任何不脱离该思想的实现方式均落入本公开的范围。
[信息传递流程示意]
图7示出了根据本公开实施例的用于在分布计算装置与中央处理装置之间传递信息的示例性流程。
如图7所示，以分布计算装置201和中央处理装置211为例，本公开的一些实施例涉及从分布计算装置201经由无线网络251向中央处理装置211发送第一信息。第一信息的示例可以是报告消息，报告消息可以包括训练数据集信息和/或设备信息的任何组合。如前所述，训练数据集信息的示例包括训练数据的属性信息、数据量、数据新鲜度或数据多样性等；设备信息的示例包括设备标识、电量、处理能力或位置信息等。
另选地或附加地，第一信息的示例可以是分布计算装置所已知的无线网络性能信息。无线网络性能信息的示例包括分布计算装置所测量的下行链路质量、上行/下行链路无线资源分配等。
另选地或附加地，第一信息的示例可以是分布计算装置通过联邦学习所获得的模型更新信息。
如图7所示，另选地或附加地，本公开的一些实施例涉及从中央处理装置211经由无线网络251向分布计算装置201发送第二信息。第二信息的示例可以是待通过联邦学习训练的全局模型，或者基于模型更新信息而更新后的全局模型或仅全局模型的更新信息。
如图7所示，另选地或附加地，本公开的一些实施例涉及中央处理装置211向无线网络251请求有关分布计算装置201的第三信息，以及中央处理装置211从无线网络251接收该第三信息。第三信息的示例可以是分布计算装置的无线资源配置信息、无线网络所已知的分布计算装置的设备信息等。如前所述，设备信息的示例包括设备标识、电量、处理能力或位置信息等。无线资源配置信息可以包括分布计算装置的上下行链路质量、上下行链路的资源分配情况等。上下行链路质量包括但不限于参考信号接收功率(Reference SignalReceiving Power,RSRP)、参考信号接收质量(Reference Signal Receiving Quality,RSRQ)或信噪比((Signal to Noise Ratio,SNR)。资源分配情况包括但不限于分布计算装置分配的频率带宽、时隙、或资源的周期性等信息。
在本公开的不同实施例中，可能涉及在分布计算装置与中央处理装置之间传递上述信息中的一些或全部。应理解，图7中传递信息的示例性流程不排除在分布计算装置与中央处理装置之间还传递其他信息，本公开对此无需特别限定。
[联邦学习示例处理]
在本公开的实施例中，中央处理装置可以基于联邦学习性能或与联邦学习性能相关的信息，选择参与联邦学习的分布计算装置。一般地，所选择的分布计算装置是联邦学习性能排名靠前或者联邦学习性能高于某个阈值的多个分布计算装置。与联邦学习性能相关的信息可以包括训练数据集信息或设备信息的一个或多个方面，如前文所描述的。一般地，可以认为所选择的多个分布计算装置的本地数据之间仍然满足独立同分布的特点。因此，所做选择在不影响通过联邦学习对全局模型进行训练的情况下，能够改进联邦学习的整体效果。以下描述基于与联邦学习性能相关的信息，选择参与联邦学习的分布计算装置的示例处理。
在一个实施例中，中央处理装置可以通过相应的设备标识信息查询(例如从无线网络)一个或多个分布计算装置的上行和/或下行链路质量。在联邦学习初始或期间，中央处理装置可以选择一个或多个分布计算装置中上行和/或下行链路质量满足预定阈值的分布计算装置参与联邦学习。
在一个实施例中，中央处理装置可以通过相应的设备标识信息查询(例如从无线网络)一个或多个分布计算装置的地理位置信息，或者可以从设备信息中获得该地理位置信息。在联邦学习初始或期间，中央处理装置可以选择一个或多个分布计算装置中位置具有多样性或位置相对集中的分布计算装置参与联邦学习。在实施例中，针对特定应用或任务，可以为位于同一地理位置附近的多个分布计算装置设置同一全局模型或参数，为位于不同地理位置的分布计算装置设置的全局模型或参数可以稍有不同。
在一个实施例中，中央处理装置可以通过相应的设备标识信息查询(例如从无线网络)一个或多个分布计算装置的电量或处理能力，或者可以从设备信息中获得电量或处理能力信息。在联邦学习初始或期间，中央处理装置可以选择一个或多个分布计算装置中电量或处理能力满足阈值水平的分布计算装置参与联邦学习。
在一个实施例中，中央处理装置可以从分布计算装置的训练数据集信息中获得相应的属性信息、数据量、数据新鲜度或数据多样性中的至少一项。在联邦学习初始或期间，中央处理装置可以选择一个或多个分布计算装置中数据具有多样性的分布计算装置参与联邦学习。附加或另选地，中央处理装置可以选择一个或多个分布计算装置中属性信息的有效维度较多的分布计算装置参与联邦学习。附加或另选地，中央处理装置可以选择一个或多个分布计算装置中数据量较多的分布计算装置参与联邦学习。附加或另选地，中央处理装置可以选择一个或多个分布计算装置中数据新鲜度较高的分布计算装置参与联邦学习。
图8示出了根据本公开实施例的用于联邦学习的示例性处理。可以由中央处理装置211和分布计算装置201一起执行该示例性处理。
如图8所示，示例性处理800包括，在801处，中央处理装置211经由无线网络将针对特定应用或任务的全局模型发送给一个或多个分布计算装置201。在801处，中央处理装置211还可以向多个分布计算装置201发送加密信息(例如公钥)，以便后续在分布计算装置之间以及在分布计算装置与中央处理装置之间进行加密通信。
示例性处理800包括，在802处，分布计算装置201使用本地的训练数据集对接收自中央处理装置的全局模型进行训练，获得模型更新信息(即联邦学习结果)。联邦学习可以使用各种机器学习算法进行，包括但不限于神经网络、随机森林算法。通过本地训练，分布计算装置201可以获得更新的全局模型。全局模型的更新体现了分布计算装置201基于本地的训练数据集对全局模型的改进，例如对全局模型参数的调整。示例性处理800包括，在803处，分布计算装置201经由无线网络将本地确定的模型更新信息发送给中央处理装置211。本地确定的模型更新信息可以是更新的全局模型本身，或者可以仅是调整的全局模型参数。
示例性处理800包括，在804处，中央处理装置211对接收自多个分布计算装置的模型更新信息进行聚合，以更新全局模型。中央处理装置211可能需要利用之前分发的加密信息对多个分布计算装置的模型更新信息进行整体解密。在一个实施例中，基于分布计算装置201的联邦学习性能以相应权重聚合其联邦学习结果，从而获得全局模型。由此，联邦学习性能较高的分布计算装置能够在更大程度上有利地影响全局模型更新，例如可以针对特定应用或任务尽快达成全局模型的训练目标。示例性处理800包括，在805处，中央处理装置211经由无线网络将全局模型更新信息发送给一个或多个分布计算装置201。全局模型更新信息可以是聚合的全局模型本身，或者可以仅是调整的全局模型参数。
示例性处理800还可以包括类似操作802、803的新一轮的联邦学习和联邦学习结果上报，即分布计算装置201使用本地的训练数据集对接收自中央处理装置的更新的全局模型进行训练，获得另一联邦学习结果并向中央处理装置上报。接着，示例性处理800还包括类似操作804、805的新一轮的联邦学习结果聚合和全局模型分发。上述过程可以重复，直到针对特定应用或任务达成了全局模型的训练目标。
在一些实施例中，针对特定应用或任务，为了使联邦学习性能高的分布处理装置在联邦学习中发挥更多作用，可以为这样的分布处理装置分配更多的联邦学习机会。例如，相比于其他分布处理装置，联邦学习性能高的分布处理装置可以更多次地参与全局模型更新。
图9A示出了根据本公开实施例的差异化的联邦学习机会的示意图。在图9A中，中央处理装置211可以与第一分布计算装置集合901以及第二分布计算装置集合903一起执行联邦学习。在实施例中，第一分布计算装置集合901可以包括联邦学习性能高于第一阈值水平的多个分布计算装置作为集合成员，第二分布计算装置集合903可以包括联邦学习性能低于第一阈值水平、高于第二阈值水平的多个分布计算装置作为集合成员，其中第一阈值水平高于第二阈值水平。因此，第一分布计算装置集合901的成员的联邦学习性能高于第二分布计算装置集合903的成员的联邦学习性能。
在图9A中，为了使第一分布计算装置集合901具有更多的联邦学习机会，以充分发挥联邦学习性能，中央处理装置211可以被配置为将多个集合的分布计算装置划分成组。在实施例中，中央处理装置211可以被配置为将集合901和903中的分布计算装置划分为第一联邦学习组，并将集合901中的分布计算装置划分为第二联邦学习组。第一联邦学习组和第二联邦学习组在中央处理装置211的控制和协调下，对同一全局模型进行训练。
在图9A中，中央处理装置211可以控制第一联邦学习组首先训练初始的全局模型，并获得更新的全局模型。之后，中央处理装置211可以控制第二联邦学习组单独对更新的全局模型进行训练。具体地，如图9A所示，中央处理装置211可以在910处向第一联邦学习组(即第一分布计算装置集合901和第二分布计算装置集合903中的分布计算装置)发送联邦学习控制信息，包括初始全局模型(或者附加的加密信息)。在920-1处，第一分布计算装置集合901和第二分布计算装置集合903中的分布计算装置可以执行第一轮的联邦学习，中央处理装置211可以聚合第一轮的联邦学习结果并更新全局模型。可以结合图8理解920-1处的具体操作，此处不详细描述。之后，第一分布计算装置集合901、第二分布计算装置集合903和中央处理装置211可以在920-2处类似地执行第二轮的联邦学习以及更多轮的联邦学习，直到针对特定应用或任务达成了全局模型的训练目标。
在第一联邦学习组完成联邦学习之后，中央处理装置211可以控制第二联邦学习组执行联邦学习。如图9A所示，中央处理装置211可以在930处向第二联邦学习组(即第一分布计算装置集合901中的分布计算装置)发送联邦学习控制信息，包括通过第一联邦学习组更新后的全局模型(或者附加的加密信息)。在940-1处，第一分布计算装置集合901中的分布计算装置可以执行第一轮的联邦学习，中央处理装置211可以聚合第一轮的联邦学习结果并更新全局模型。可以结合图8理解940-1处的具体操作，此处不详细描述。之后，第一分布计算装置集合901和中央处理装置211可以在940-2处类似地执行第二轮的联邦学习以及更多轮的联邦学习，直到针对特定应用或任务达成了全局模型的训练目标。
在图9A的联邦学习中，联邦学习性能较高的集合901中的分布计算装置在两个组的联邦学习中对全局模型进行训练，更利于其发挥联邦学习性能优势。另外，由于通过两个组的联邦学习来训练全局模型，因此可以为第一组的联邦学习确定较低的学习目标，并由第二组联邦学习达成较高的学习目标。通过学习目标的灵活设定，可以控制每个联邦学习组或每个分布计算装置集合参与联邦学习的比重。
在图9A中，第一联邦学习组和第二联邦学习组的联邦学习可以认为是串行执行的。图9B示出了根据本公开实施例的差异化的联邦学习机会的另一示意图。
在图9B中，中央处理装置211可以与第一分布计算装置集合901以及第二分布计算装置集合903一起执行联邦学习。与图9A类似，第一分布计算装置集合901可以包括联邦学习性能高于第一阈值水平的多个分布计算装置作为集合成员，第二分布计算装置集合903可以包括联邦学习性能低于第一阈值水平、高于第二阈值水平的多个分布计算装置作为集合成员，其中第一阈值水平高于第二阈值水平。因此，第一分布计算装置集合901的成员的联邦学习性能高于第二分布计算装置集合903的成员的联邦学习性能。
在图9B中，为了使第一分布计算装置集合901具有更多的联邦学习机会，以充分发挥联邦学习性能，中央处理装置211可以被配置为将集合901和903中的分布计算装置划分为第一联邦学习组，并将集合901中的分布计算装置划分为第二联邦学习组。第一联邦学习组和第二联邦学习组在中央处理装置211的控制和协调下，对同一全局模型进行训练。
在图9B中，中央处理装置211可以控制第一联邦学习组和第二联邦学习组并行训练全局模型，从而获得更新的全局模型。在并行训练中，第一组和第二组的联邦学习交替执行。具体地，如图9B所示，中央处理装置211可以在950处向第一联邦学习组(即第一分布计算装置集合901和第二分布计算装置集合903中的分布计算装置)和第二联邦学习组(即第一分布计算装置集合901中的分布计算装置)发送联邦学习控制信息。在实施例中，发送给第一联邦学习组的控制消息包括初始全局模型(或者附加的第一加密信息)，发送给第二联邦学习组的控制消息也包括初始全局模型(或者附加的第二加密信息，或者仅第二加密信息)。也就是说，第一分布计算装置集合901中的分布计算装置会接收到两个加密信息，分别用于不同组的联邦学习。在960-1处，中央处理装置211可以控制第一分布计算装置集合901和第二分布计算装置集合903中的分布计算装置执行第一组的第一轮联邦学习，中央处理装置211可以聚合第一组的第一轮联邦学习结果并更新全局模型。。此处，在需要加密的情况下，第一联邦学习组的成员用第一加密信息对发送给中央处理装置211的模型更新信息加密。可以结合图8理解960-1处的具体操作，不同之处在于，中央处理装置211可以仅将更新的全局模型发送给第二联邦学习组，以便第二联邦学习组基于该更新的全局模型继续训练。
在第一组的第一轮联邦学习之后，中央处理装置211可以控制第二联邦学习组执行第二组的第一轮联邦学习。在970-1处，第一分布计算装置集合901中的分布计算装置可以执行第二组的第一轮联邦学习，中央处理装置211可以聚合第二组的第一轮联邦学习结果并更新全局模型。此处，在需要加密的情况下，第二联邦学习组的成员用第二加密信息对发送给中央处理装置211的模型更新信息加密。可以结合图8理解970-1处的具体操作，不同之处在于，除了第一分布计算装置集合901中的分布计算装置之外，中央处理装置211还需要将更新的全局模型发送给第二分布计算装置集合903中的分布计算装置，即发送给第一联邦学习组的全体成员，以便第一联邦学习组基于该更新的全局模型继续下一轮训练。
之后，第一分布计算装置集合901、第二分布计算装置集合903和中央处理装置211可以在960-2、970-2处类似地执行第一组和第二组的第二轮联邦学习，以及各组更多轮的联邦学习，直到针对特定应用或任务达成了全局模型的训练目标。
在图9B的联邦学习中，联邦学习性能较高的集合901中的分布计算装置在两个组的联邦学习中对全局模型进行训练，更利于其发挥联邦学习性能优势。在图9B的示例的并行训练中，第一组和第二组的联邦学习可以不是严格交替执行的。例如，在每一次下发更新的全局模型时，中央处理装置211可以附加地发送第一或第二加密信息，以通知相应的分布计算装置进行联邦学习。相应地，分布计算装置发送给中央处理装置211的模型更新信息需要用第一或第二加密信息加密。通过参与联邦学习数量的灵活设定，可以控制每个联邦学习组或每个分布计算装置集合参与联邦学习的比重。
在如图9A和图9B所示的差异化的联邦学习机会的实施例中，可以为分布计算装置确定与联邦学习机会相适应的无线资源需求。例如，可以为更多参与联邦学习的分布计算装置配置更多的上下行时频资源，以用于与中央处理装置的通信；可以为更多参与联邦学习的分布计算装置分配更高的上下行链路功率水平，以保证与中央处理装置的通信的稳定性。在实施例中，中央处理装置可以通过消息通知无线网络基于该无线资源需求为相应的分布计算装置配置无线资源。
在图9A和图9B的示例中，基于联邦学习性能对分布计算装置进行了分组。由于联邦学习性能可能与训练数据集信息或设备信息的一个或多个方面相关，因此这些示例涵盖了多种情形。例如，在实施例中，可以基于以下中的至少一项对分布计算装置进行分组，电量、处理能力、属性信息的有效维度、数据量、数据新鲜度或数据多样性。
以上参照图9A和图9B描述了将分布处理装置划分成组来训练同一全局模型。在一些情况下，针对特定应用或任务，可以将分布处理装置划分成组来训练多个不同的全局模型。例如，中央处理装置可以基于分布计算装置的位置多样性或位置相对集中性来对分布计算装置划分成组。在一个实施例中，对一个或多个特定位置的气象信息感兴趣。中央处理装置可以将集中在特定位置附近的多个分布计算装置划分成组以对全局模型进行训练。这样，不同位置可以对应不同的联邦学习组。在该实施例中，尽管针对相同的应用或任务进行联邦学习，但是对应不同位置的全局模型可以不同，例如可以具有不同的模型参数。
[具有监督的联邦学习]
在联邦学习结束之后，中央处理装置会将更新后的全局模型发送给各分布计算装置。此后，对于输入数据，分布计算装置将该更新后的全局模型应用于输入数据，以获得输出结果(也可以称为对输入数据的标记结果)。
在具体实现中，可能存在使用不同的全局模型的多个联邦学习系统，每个系统可以对应使用同一全局模型的中央处理装置以及多个分布计算装置。以自动驾驶应用为例，每个自动驾驶车辆厂商或平台可以与自己制造或注册的多个自动驾驶车辆使用同一全局模型。不同的自动驾驶车辆厂商或平台可以与对应的自动驾驶车辆构成多个联邦学习系统。出于驾驶安全考虑，理想情形是所有自动驾驶车辆在同一路况下执行同样的驾驶动作。然而，由于不同厂商或平台使用的全局模型存在差异(包括但不限于算法参数或模型参数的差异)，因此不同的全局模型针对相同的输入数据(例如路况)很可能会得出不同的控制输出(即标记结果)。为了减小不同全局模型针对相同输入数据的输出差异，可以构想在不同的中央处理装置之间或者不同的分布计算装置之间监督输出结果，使得不同的联邦学习系统在隐藏各自全局模型和参数的情况下使得输出结果趋同。以下结合图10至图12描述多个联邦学习系统之间进行监督的示例性处理。
在图10的示例中，第一中央处理装置211-1和第二中央处理装置211-2分别属于各自的联邦学习系统，并且两个联邦学习系统使用不同的第一全局模型和第二全局模型。在1001处，第一中央处理装置211-1将第一全局模型应用于输入数据获得标记结果。输入数据可以是第一中央处理装置211-1以任何适当的方式获取的。在1003处，第一中央处理装置211-1将标记结果提供给第二中央处理装置211-2。在1005处，第二中央处理装置211-2接收标记结果，并将其作为在相同场景中更新第二全局模型的参考或者训练数据。上述操作可以以一定的周期重复。作为结果，上述操作持续一段时间之后，尽管第一全局模型和第二全局模型可能不同，但这二者对于相同输入数据的标记结果会趋同。根据期望，第二中央处理装置211-2可以类似地将自身的标记结果提供给第一中央处理装置211-1以作为其更新第一全局模型的参考。
在自动驾驶的例子中，第一中央处理装置211-1和第二中央处理装置211-2例如可以是后台服务器，或者是安装在道路现场的设备，例如该设备集成在交通信号灯中。第一中央处理装置211-1可以从安装在道路附近的监控设备处获得实时路况信息，并将自身的第一全局模型应用于路况信息以获得标记结果，该标记结果表示对应的自动驾驶操作。第一中央处理装置211-1可以将该标记结果提供给第二中央处理装置211-2，以供第二中央处理装置211-2将该标记结果作为更新自身的第二全局模型的参考。
在图11的示例中，第一中央处理装置211-1和第二中央处理装置211-2分别形成第一和第二联邦学习系统，并且两个联邦学习系统使用不同的第一全局模型和第二全局模型。第一分布计算装置201-1和第一中央处理装置211-1属于第一联邦学习系统。在1101处，第一分布计算装置201-1将第一全局模型应用于输入数据获得标记结果。输入数据可以是第一分布计算装置201-1以任何适当的方式获取的。在1103处，第一分布计算装置201-1将标记结果提供给第一中央处理装置211-1。在1105处，第一中央处理装置211-1接收标记结果，并将其提供给第二中央处理装置211-2。在1107处，第二中央处理装置211-2接收标记结果，并将其作为更新第二全局模型的参考。上述操作可以以一定的周期重复或者基于特定事件而发生。例如，第一分布计算装置201-1可以在发现第二联邦学习系统中的分布计算装置基于相同的输入数据采取与自己不同的操作时发起上述操作。作为结果，上述操作持续一段时间之后，尽管第一全局模型和第二全局模型可能不同，但这二者对于相同输入数据的标记结果会趋同。根据期望，第二联邦学习系统中的分布计算装置可以类似地将自身的标记结果提供给第一中央处理装置211-1以作为其更新第一全局模型的参考。在一个实施例中，标记结果可以是人工作出的，并提供给第二中央处理装置211-2以作为其更新全局模型的参考。
在自动驾驶的例子中，第一中央处理装置211-1和第二中央处理装置211-2例如可以是后台服务器，或者是安装在道路现场的设备，例如该设备集成在交通信号灯中。第一分布计算装置201-1可以是在道路中行驶的自动驾驶车辆。第一分布计算装置201-1可以通过自身的诸如相机的监控设备获得实时路况信息，并将自身的第一全局模型应用于路况信息以获得标记结果，该标记结果表示对应的自动驾驶操作。第一分布计算装置201-1可以经由第一中央处理装置211-1将该标记结果提供给第二中央处理装置211-2，以供第二中央处理装置211-2将该标记结果作为更新自身的第二全局模型的参考。在实施例中，第一分布计算装置201-1可以在发现第二联邦学习系统中的车辆基于相同的路况采取与自己不同的操作时发起上述操作。在一个实施例中，标记结果可以是第一分布计算装置201-1的驾驶员人工作出的，并提供给第二中央处理装置211-2以供其将该标记结果作为更新自身的第二全局模型的参考。
在图12的示例中，第一分布计算装置201-1和第二分布计算装置201-2分别属不同的联邦学习系统，并且两个联邦学习系统使用不同的第一全局模型和第二全局模型。在1201处，第一分布计算装置201-1将第一全局模型应用于输入数据获得标记结果。输入数据可以是第一分布计算装置201-1以任何适当的方式获取的。在1203处，第一分布计算装置201-1将标记结果提供给第二分布计算装置201-2。在1205处，第二分布计算装置201-2接收标记结果，并将其作为更新第二全局模型的参考。上述操作可以以一定的周期重复或者基于特定事件而发生。例如，第一分布计算装置201-1可以在发现第二分布计算装置201-2基于相同的输入数据采取与自己不同的操作时发起上述操作。作为结果，上述操作持续一段时间之后，尽管第一全局模型和第二全局模型可能不同，但这二者对于相同输入数据的标记结果会趋同。根据期望，第二分布计算装置201-2可以类似地将自身的标记结果提供给第一分布计算装置201-1以作为其更新第一全局模型的参考。在一个实施例中，标记结果可以是人工作出的，并提供给第一分布计算装置201-1或第二分布计算装置201-2以作为其更新全局模型的参考。
在自动驾驶的例子中，第一分布计算装置201-1和第二分布计算装置201-2可以是在道路中行驶的自动驾驶车辆。第一分布计算装置201-1可以通过自身的诸如相机的监控设备获得实时路况信息，并将自身的第一全局模型应用于路况信息以获得标记结果，该标记结果表示对应的自动驾驶操作。第一分布计算装置201-1可以将该标记结果提供给第二分布计算装置201-2，以供第二分布计算装置201-2将该标记结果作为更新自身的第二全局模型的参考。在实施例中，第一分布计算装置201-1可以在发现第二分布计算装置201-2基于相同的路况采取与自己不同的操作时发起上述操作。在一个实施例中，标记结果可以是第一分布计算装置201-1的驾驶员人工作出的，并提供给第二分布计算装置201-2以作为其更新第二全局模型的参考。
在图10至图12的例子中，分布由中央处理装置或分布计算装置基于输入数据获得标记结果。在一些实施例中，可以以手动方式向联邦学习系统提供标记参考。例如，在自动驾驶的场景中，位于道路上的交警可以基于路况情况针对特定车辆(例如位于某个路口的车辆)作出驾驶操作判断，并将该操作判断提供给各联邦学习系统中的自动驾驶车辆或中央处理装置，以作为更新全局模型的参考。
以上分别描述了根据本公开实施例的各示例性电子设备和方法。应当理解，这些电子设备的操作或功能可以相互组合，从而实现比所描述的更多或更少的操作或功能。各方法的操作步骤也可以以任何适当的顺序相互组合，从而类似地实现比所描述的更多或更少的操作。
应当理解，根据本公开实施例的机器可读存储介质或程序产品中的机器可执行指令可以被配置为执行与上述设备和方法实施例相应的操作。当参考上述设备和方法实施例时，机器可读存储介质或程序产品的实施例对于本领域技术人员而言是明晰的，因此不再重复描述。用于承载或包括上述机器可执行指令的机器可读存储介质和程序产品也落在本公开的范围内。这样的存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。另外，应当理解，上述系列处理和设备也可以通过软件和/或固件实现。
另外，应当理解，上述系列处理和设备也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图13所示的通用个人计算机1300安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。图13是示出作为本公开实施例中的个人计算机的示例配置的框图。在一个例子中，该个人计算机可以对应于根据本公开的中央处理装置。
在图13中，中央处理单元(CPU)1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU1301执行各种处理等时所需的数据。
CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。
下述部件连接到输入/输出接口1305：输入部分1306，包括键盘、鼠标等；输出部分1307，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分1308，包括硬盘等；和通信部分1309，包括网络接口卡比如LAN卡、调制解调器等。通信部分1309经由网络比如因特网执行通信处理。
根据需要，驱动器1310也连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。
本领域技术人员应当理解，这种存储介质不局限于图13所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
以下将参照图14至图15描述根据本公开的分布计算装置的应用示例。
[关于分布计算装置的应用示例]
第一应用示例
图14是示出可以应用本公开内容的技术的智能电话1600的示意性配置的示例的框图。智能电话1600包括处理器1601、存储器1602、存储装置1603、外部连接接口1604、摄像装置1606、传感器1607、麦克风1608、输入装置1609、显示装置1610、扬声器1611、无线通信接口1612、一个或多个天线开关1615、一个或多个天线1616、总线1617、电池1618以及辅助控制器1619。在一种实现方式中，此处的智能电话1600(或处理器1601)可以对应于上述终端设备300B和/或1500A。
处理器1601可以为例如CPU或片上系统(SoC)，并且控制智能电话1600的应用层和另外层的功能。存储器1602包括RAM和ROM，并且存储数据和由处理器1601执行的程序。存储装置1603可以包括存储介质，诸如半导体存储器和硬盘。外部连接接口1604为用于将外部装置(诸如存储卡和通用串行总线(USB)装置)连接至智能电话1600的接口。
摄像装置1606包括图像传感器(诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS))，并且生成捕获图像。传感器1607可以包括一组传感器，诸如测量传感器、陀螺仪传感器、地磁传感器和加速度传感器。麦克风1608将输入到智能电话1600的声音转换为音频信号。输入装置1609包括例如被配置为检测显示装置1610的屏幕上的触摸的触摸传感器、小键盘、键盘、按钮或开关，并且接收从用户输入的操作或信息。显示装置1610包括屏幕(诸如液晶显示器(LCD)和有机发光二极管(OLED)显示器)，并且显示智能电话1600的输出图像。扬声器1611将从智能电话1600输出的音频信号转换为声音。
无线通信接口1612支持任何蜂窝通信方案(诸如LTE、LTE-先进和NR)，并且执行无线通信。无线通信接口1612通常可以包括例如BB处理器1613和RF电路1614。BB处理器1613可以执行例如编码/解码、调制/解调以及复用/解复用，并且执行用于无线通信的各种类型的信号处理。同时，RF电路1614可以包括例如混频器、滤波器和放大器，并且经由天线1616来传送和接收无线信号。无线通信接口1612可以为其上集成有BB处理器1613和RF电路1614的一个芯片模块。如图14所示，无线通信接口1612可以包括多个BB处理器1613和多个RF电路1614。虽然图14示出其中无线通信接口1612包括多个BB处理器1613和多个RF电路1614的示例，但是无线通信接口1612也可以包括单个BB处理器1613或单个RF电路1614。
此外，除了蜂窝通信方案之外，无线通信接口1612可以支持另外类型的无线通信方案，诸如短距离无线通信方案、近场通信方案和无线局域网(LAN)方案。在此情况下，无线通信接口1612可以包括针对每种无线通信方案的BB处理器1613和RF电路1614。
天线开关1615中的每一个在包括在无线通信接口1612中的多个电路(例如用于不同的无线通信方案的电路)之间切换天线1616的连接目的地。
天线1616中的每一个均包括单个或多个天线元件(诸如包括在MIMO天线中的多个天线元件)，并且用于无线通信接口1612传送和接收无线信号。如图14所示，智能电话1600可以包括多个天线1616。虽然图14示出其中智能电话1600包括多个天线1616的示例，但是智能电话1600也可以包括单个天线1616。
此外，智能电话1600可以包括针对每种无线通信方案的天线1616。在此情况下，天线开关1615可以从智能电话1600的配置中省略。
总线1617将处理器1601、存储器1602、存储装置1603、外部连接接口1604、摄像装置1606、传感器1607、麦克风1608、输入装置1609、显示装置1610、扬声器1611、无线通信接口1612以及辅助控制器1619彼此连接。电池1618经由馈线向图14所示的智能电话1600的各个块提供电力，馈线在图中被部分地示为虚线。辅助控制器1619例如在睡眠模式下操作智能电话1600的最小必需功能。
第二应用示例
图15是示出可以应用本公开内容的技术的汽车导航设备1720的示意性配置的示例的框图。汽车导航设备1720包括处理器1721、存储器1722、全球定位系统(GPS)模块1724、传感器1725、数据接口1726、内容播放器1727、存储介质接口1728、输入装置1729、显示装置1730、扬声器1731、无线通信接口1733、一个或多个天线开关1736、一个或多个天线1737以及电池1738。在一种实现方式中，此处的汽车导航设备1720(或处理器1721)可以对应于上述终端设备300B和/或1500A。
处理器1721可以为例如CPU或SoC，并且控制汽车导航设备1720的导航功能和另外的功能。存储器1722包括RAM和ROM，并且存储数据和由处理器1721执行的程序。
GPS模块1724使用从GPS卫星接收的GPS信号来测量汽车导航设备1720的位置(诸如纬度、经度和高度)。传感器1725可以包括一组传感器，诸如陀螺仪传感器、地磁传感器和空气压力传感器。数据接口1726经由未示出的终端而连接到例如车载网络1741，并且获取由车辆生成的数据(诸如车速数据)。
内容播放器1727再现存储在存储介质(诸如CD和DVD)中的内容，该存储介质被插入到存储介质接口1728中。输入装置1729包括例如被配置为检测显示装置1730的屏幕上的触摸的触摸传感器、按钮或开关，并且接收从用户输入的操作或信息。显示装置1730包括诸如LCD或OLED显示器的屏幕，并且显示导航功能的图像或再现的内容。扬声器1731输出导航功能的声音或再现的内容。
无线通信接口1733支持任何蜂窝通信方案(诸如LTE、LTE-先进和NR)，并且执行无线通信。无线通信接口1733通常可以包括例如BB处理器1734和RF电路1735。BB处理器1734可以执行例如编码/解码、调制/解调以及复用/解复用，并且执行用于无线通信的各种类型的信号处理。同时，RF电路1735可以包括例如混频器、滤波器和放大器，并且经由天线1737来传送和接收无线信号。无线通信接口1733还可以为其上集成有BB处理器1734和RF电路1735的一个芯片模块。如图15所示，无线通信接口1733可以包括多个BB处理器1734和多个RF电路1735。虽然图15示出其中无线通信接口1733包括多个BB处理器1734和多个RF电路1735的示例，但是无线通信接口1733也可以包括单个BB处理器1734或单个RF电路1735。
此外，除了蜂窝通信方案之外，无线通信接口1733可以支持另外类型的无线通信方案，诸如短距离无线通信方案、近场通信方案和无线LAN方案。在此情况下，针对每种无线通信方案，无线通信接口1733可以包括BB处理器1734和RF电路1735。
天线开关1736中的每一个在包括在无线通信接口1733中的多个电路(诸如用于不同的无线通信方案的电路)之间切换天线1737的连接目的地。
天线1737中的每一个均包括单个或多个天线元件(诸如包括在MIMO天线中的多个天线元件)，并且用于无线通信接口1733传送和接收无线信号。如图15所示，汽车导航设备1720可以包括多个天线1737。虽然图15示出其中汽车导航设备1720包括多个天线1737的示例，但是汽车导航设备1720也可以包括单个天线1737。
此外，汽车导航设备1720可以包括针对每种无线通信方案的天线1737。在此情况下，天线开关1736可以从汽车导航设备1720的配置中省略。
电池1738经由馈线向图15所示的汽车导航设备1720的各个块提供电力，馈线在图中被部分地示为虚线。电池1738累积从车辆提供的电力。
本公开内容的技术也可以被实现为包括汽车导航设备1720、车载网络1741以及车辆模块1742中的一个或多个块的车载系统(或车辆)1740。车辆模块1742生成车辆数据(诸如车速、发动机速度和故障信息)，并且将所生成的数据输出至车载网络1741。
本公开的方案可以以如下的示例方式实施。
1、一种用于中央处理装置的电子设备，所述中央处理装置与多个分布计算装置执行联邦学习，所述电子设备包括处理电路，所述处理电路被配置为使所述中央处理装置：
针对所述多个分布计算装置中的第一分布计算装置：
接收来自第一分布计算装置的报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；
基于第一分布计算装置的报告消息评估第一分布计算装置的联邦学习性能；
基于第一分布计算装置的联邦学习性能确定第一分布计算装置的无线资源需求；以及
通过消息通知无线网络基于所述无线资源需求为第一分布计算装置配置无线资源。
2、如条款1所述的电子设备，其中，所述训练数据集信息包括训练数据的属性信息、数据量、数据新鲜度或数据多样性中的至少一者，并且评估第一分布计算装置的联邦学习性能包括至少以下之一：
第一分布计算装置的属性信息的有效维度越多，则第一分布计算装置的联邦学习性能越好；
第一分布计算装置的数据量越多，则第一分布计算装置的联邦学习性能越好；
第一分布计算装置的数据越新鲜，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的数据越多样，则第一分布计算装置的联邦学习性能越好。
3、如条款1所述的电子设备，其中，所述设备信息包括电量或处理能力信息中的至少一者，并且评估第一分布计算装置的联邦学习性能包括至少以下之一：
第一分布计算装置的电量越高，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的处理能力越高，则第一分布计算装置的联邦学习性能越好。
4、如条款1所述的电子设备，其中，评估第一分布计算装置的联邦学习性能包括：
第一分布计算装置的上行和/或下行链路质量越好，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的上行和/或下行时频资源越多，则第一分布计算装置的联邦学习性能越好。
5、如条款1所述的电子设备，其中，确定第一分布计算装置的无线资源需求包括：第一分布计算装置的联邦学习性能越好，则为第一分布计算装置确定越高的无线资源需求，所述无线资源需求指定第一分布计算装置的上行或下行传输功率或者上行或下行时频资源中的至少一者。
6、如条款1所述的电子设备，其中，所述处理电路还被配置为使所述中央处理装置：
基于训练数据集信息或设备信息中的至少一者，确定或更新参与联邦学习的分布计算装置。
7、如条款6所述的电子设备，其中，所述设备信息包括设备标识信息，所述处理电路还被配置为使所述中央处理装置：
通过相应的设备标识信息查询一个或多个分布计算装置的上行或下行链路质量；以及
在联邦学习初始或期间，选择所述一个或多个分布计算装置中上行或下行链路质量满足预定阈值的分布计算装置参与联邦学习。
8、如条款6所述的电子设备，其中，所述设备信息包括设备标识信息，所述处理电路还被配置为使所述中央处理装置：
通过相应的设备标识信息查询一个或多个分布计算装置的位置信息；以及
在联邦学习初始或期间，选择所述一个或多个分布计算装置中位置具有多样性的分布计算装置参与联邦学习。
9、如条款6所述的电子设备，其中，所述处理电路还被配置为使所述中央处理装置：
在联邦学习初始或期间，选择所述一个或多个分布计算装置中数据具有多样性的分布计算装置参与联邦学习。
10、如条款1所述的电子设备，其中，所述处理电路还被配置为：
接收来自第一分布计算装置的模型更新信息；以及
基于第一分布计算装置的联邦学习性能以相应权重聚合其模型更新信息，从而获得全局模型。
11、如条款10所述的电子设备，其中，所述处理电路还被配置为使所述中央处理装置：
将第一数据输入全局模型获得标记结果，并将所述标记结果提供给另一装置作为更新模型的参考，其中，所述另一装置所使用的模型不同于所述全局模型。
12、如条款10所述的电子设备，其中，所述处理电路还被配置为使所述中央处理装置：
接收来自另一装置的第一数据和标记结果，并将第一数据和标记结果作为更新全局模型的参考，其中，所述另一装置所使用的模型不同于所述全局模型。
13、一种用于第一分布计算装置的电子设备，第一分布计算装置与中央处理装置以及附加的分布计算装置执行联邦学习，所述电子设备包括处理电路，所述处理电路被配置为使第一分布计算装置：
向所述中央处理装置发送报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；以及
从无线网络接收无线资源配置信息，其中所述无线资源配置信息是无线网络基于来自所述中央处理装置的指示消息而确定的。
14、如条款13所述的电子设备，其中，所述训练数据集信息包括训练数据的属性信息、数据量、数据新鲜度或数据多样性中的至少一者，并且有至少以下之一成立：
第一分布计算装置的属性越完备，则第一分布计算装置的联邦学习性能越好；
第一分布计算装置的数据量越多，则第一分布计算装置的联邦学习性能越好；
第一分布计算装置的数据越新鲜，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的数据越多样，则第一分布计算装置的联邦学习性能越好。
15、如条款13所述的电子设备，其中，所述设备信息包括电量或处理能力信息中的至少一者，并且有至少以下之一成立：
第一分布计算装置的电量越高，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的处理能力越高，则第一分布计算装置的联邦学习性能越好。
16、如条款13所述的电子设备，其中，有至少以下之一成立：
第一分布计算装置的上行和/或下行链路质量越好，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的上行和/或下行时频资源越多，则第一分布计算装置的联邦学习性能越好。
17、如条款13所述的电子设备，其中，第一分布计算装置的联邦学习性能越好，则为第一分布计算装置确定越高的无线资源需求，所述无线资源需求指定第一分布计算装置的上行或下行传输功率或者上行或下行时频资源中的至少一者。
18、如条款15所述的电子设备，其中，所述处理电路还被配置为使第一分布计算装置：
向所述中央处理装置发送第一分布计算装置的模型更新信息，其中模型更新信息用于基于第一分布计算装置的联邦学习性能而在与其他模型更新信息聚合时被相应地加权，从而获得全局模型。
19、如条款18所述的电子设备，其中，所述处理电路还被配置为使第一分布计算装置：
将第一数据输入全局模型获得标记结果，并将所述标记结果提供给另一装置作为更新模型的参考，其中，所述另一装置所使用的模型不同于所述全局模型。
20、如条款18所述的电子设备，其中，所述处理电路还被配置为使第一分布计算装置：
接收来自另一装置的第一数据和标记结果，并将第一数据和标记结果作为更新全局模型的参考，其中，所述另一装置所使用的模型不同于所述全局模型。
21、一种用于联邦学习的方法，其中中央处理装置与多个分布计算装置执行所述联邦学习，所述方法包括：
由所述中央处理装置针对所述多个分布计算装置中的第一分布计算装置：
接收来自第一分布计算装置的报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；
基于第一分布计算装置的报告消息评估第一分布计算装置的联邦学习性能；
基于第一分布计算装置的联邦学习性能确定第一分布计算装置的无线资源需求；以及
通过消息通知无线网络基于所述无线资源需求为第一分布计算装置配置无线资源。
22、一种用于联邦学习的方法，其中中央处理装置与多个分布计算装置执行所述联邦学习，所述方法包括：
由所述多个分布计算装置中的第一分布计算装置：
向所述中央处理装置发送报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；以及
从无线网络接收无线资源配置信息，其中所述无线资源配置信息是无线网络基于来自所述中央处理装置的指示消息而确定的。
23、一种存储有一个或多个指令的计算机可读存储介质，所述一个或多个指令在由电子设备的一个或多个处理电路执行时使该电子设备执行如条款21至22中任一项所述的方法。
24、一种用于机器学习的装置，包括用于执行如条款21至22中任一项所述的方法的单元。
以上参照附图描述了本公开的示例性实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。
在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。
虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种用于中央处理装置的电子设备，所述中央处理装置与多个分布计算装置执行联邦学习，所述电子设备包括处理电路，所述处理电路被配置为使所述中央处理装置：
针对所述多个分布计算装置中的第一分布计算装置：
接收来自第一分布计算装置的报告消息，所述报告消息包括第一分布计算装置的训练数据集信息或设备信息中的至少一者；以及
基于第一分布计算装置的报告消息评估第一分布计算装置的联邦学习性能；
基于第一分布计算装置的联邦学习性能确定第一分布计算装置的无线资源需求；和
通过消息通知无线网络基于所述无线资源需求为第一分布计算装置配置无线资源。
2.如权利要求1所述的电子设备，其中，所述训练数据集信息包括训练数据的属性信息、数据量、数据新鲜度或数据多样性中的至少一者，并且评估第一分布计算装置的联邦学习性能包括至少以下之一：
第一分布计算装置的属性信息的有效维度越多，则第一分布计算装置的联邦学习性能越好；
第一分布计算装置的数据量越多，则第一分布计算装置的联邦学习性能越好；
第一分布计算装置的数据越新鲜，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的数据越多样，则第一分布计算装置的联邦学习性能越好。
3.如权利要求1所述的电子设备，其中，所述设备信息包括电量或处理能力信息中的至少一者，并且评估第一分布计算装置的联邦学习性能包括至少以下之一：
第一分布计算装置的电量越高，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的处理能力越高，则第一分布计算装置的联邦学习性能越好。
4.如权利要求1所述的电子设备，其中，评估第一分布计算装置的联邦学习性能包括：
第一分布计算装置的上行和/或下行链路质量越好，则第一分布计算装置的联邦学习性能越好；或者
第一分布计算装置的上行和/或下行时频资源越多，则第一分布计算装置的联邦学习性能越好。
5.如权利要求1所述的电子设备，其中，确定第一分布计算装置的无线资源需求包括：第一分布计算装置的联邦学习性能越好，则为第一分布计算装置确定越高的无线资源需求，所述无线资源需求指定第一分布计算装置的上行或下行传输功率或者上行或下行时频资源中的至少一者。
6.如权利要求1所述的电子设备，其中，所述处理电路还被配置为使所述中央处理装置：
基于训练数据集信息或设备信息中的至少一者，确定或更新参与联邦学习的分布计算装置。
7.如权利要求6所述的电子设备，其中，所述设备信息包括设备标识信息，所述处理电路还被配置为使所述中央处理装置：
通过相应的设备标识信息查询一个或多个分布计算装置的上行或下行链路质量；以及
在联邦学习初始或期间，选择所述一个或多个分布计算装置中上行或下行链路质量满足预定阈值的分布计算装置参与联邦学习。
8.如权利要求6所述的电子设备，其中，所述设备信息包括设备标识信息，所述处理电路还被配置为使所述中央处理装置：
通过相应的设备标识信息查询一个或多个分布计算装置的位置信息；以及
在联邦学习初始或期间，选择所述一个或多个分布计算装置中位置具有多样性的分布计算装置参与联邦学习。
9.如权利要求6所述的电子设备，其中，所述处理电路还被配置为使所述中央处理装置：
在联邦学习初始或期间，选择所述一个或多个分布计算装置中数据具有多样性的分布计算装置参与联邦学习。
10.如权利要求1所述的电子设备，其中，所述处理电路还被配置为：
接收来自第一分布计算装置的模型更新信息；以及
基于第一分布计算装置的联邦学习性能以相应权重聚合其模型更新信息，从而获得全局模型。
CN202010191746.0A 2020-03-18 2020-03-18 用于联邦学习的装置、方法和存储介质 Pending CN113496291A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010191746.0A CN113496291A (zh) 2020-03-18 2020-03-18 用于联邦学习的装置、方法和存储介质
US17/909,771 US20230107308A1 (en) 2020-03-18 2021-03-15 Apparatus, method, and storage medium for federated learning
EP21770827.0A EP4109356A4 (en) 2020-03-18 2021-03-15 CONVEYED LEARNING DEVICE AND METHOD AND STORAGE MEDIA
KR1020227030873A KR20220155289A (ko) 2020-03-18 2021-03-15 연합 학습 장치 및 방법, 및 저장 매체
CN202180020218.1A CN115668241A (zh) 2020-03-18 2021-03-15 用于联邦学习的装置、方法和存储介质
PCT/CN2021/080724 WO2021185197A1 (zh) 2020-03-18 2021-03-15 用于联邦学习的装置、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010191746.0A CN113496291A (zh) 2020-03-18 2020-03-18 用于联邦学习的装置、方法和存储介质

Publications (1)

Publication Number Publication Date
CN113496291A true CN113496291A (zh) 2021-10-12

Family

ID=77768041

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010191746.0A Pending CN113496291A (zh) 2020-03-18 2020-03-18 用于联邦学习的装置、方法和存储介质
CN202180020218.1A Pending CN115668241A (zh) 2020-03-18 2021-03-15 用于联邦学习的装置、方法和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202180020218.1A Pending CN115668241A (zh) 2020-03-18 2021-03-15 用于联邦学习的装置、方法和存储介质

Country Status (5)

Country Link
US (1) US20230107308A1 (zh)
EP (1) EP4109356A4 (zh)
KR (1) KR20220155289A (zh)
CN (2) CN113496291A (zh)
WO (1) WO2021185197A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012319A1 (zh) * 2022-07-11 2024-01-18 索尼集团公司 用于无线通信的电子设备和方法、计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660080B (zh) * 2021-10-20 2021-12-14 北京金鸿睿信息科技有限公司 一种安全多方计算与联邦分析技术
WO2023229501A1 (en) * 2022-05-24 2023-11-30 Telefonaktiebolaget Lm Ericsson (Publ) Managing a machine learning process
CN114912136B (zh) * 2022-07-14 2022-10-28 之江实验室 基于竞争机制的区块链上医疗数据协同分析方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124433A (zh) * 2011-03-25 2013-05-29 北京新岸线移动多媒体技术有限公司 用于无线通信的装置
US20180089587A1 (en) * 2016-09-26 2018-03-29 Google Inc. Systems and Methods for Communication Efficient Distributed Mean Estimation
CN110443375B (zh) * 2019-08-16 2021-06-11 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN110598870B (zh) * 2019-09-02 2024-04-30 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN110610242B (zh) * 2019-09-02 2023-11-14 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012319A1 (zh) * 2022-07-11 2024-01-18 索尼集团公司 用于无线通信的电子设备和方法、计算机可读存储介质

Also Published As

Publication number Publication date
KR20220155289A (ko) 2022-11-22
WO2021185197A1 (zh) 2021-09-23
US20230107308A1 (en) 2023-04-06
CN115668241A (zh) 2023-01-31
EP4109356A1 (en) 2022-12-28
EP4109356A4 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
EP4109356A1 (en) Apparatus and method for federated learning, and storage medium
Cheng et al. Big data driven vehicular networks
US11012513B2 (en) Data-driven managed services built on top of networks of autonomous vehicles
CN109479188B (zh) 用于无线通信的电子设备和方法
Ota et al. Smart infrastructure design for smart cities
Deveaux et al. On the orchestration of federated learning through vehicular knowledge networking
US20230055079A1 (en) Method of load forecasting via attentive knowledge transfer, and an apparatus for the same
US11206588B2 (en) Network connection planning using crowd-sourced data
Schäufele et al. Terminal-side data rate prediction for high-mobility users
US20220140924A1 (en) Mobile data collection apparatus
Kaptan et al. Emulating smart city sensors using soft sensing and machine intelligence: A case study in public transportation
Fan et al. imap: A crowdsensing based system for outdoor radio signal strength map
US20170016975A1 (en) Detecting User Content Using Wireless Signal Characteristics
Lin et al. VCLT: An accurate trajectory tracking attack based on crowdsourcing in VANETs
CN117882419A (zh) 用于确定移动电信网络的地上覆盖的方法和装置
Ding et al. Tutorial on big spectrum data analytics for space information networks
Raj et al. Packet classification based aerial intelligent relay-road side unit (air-rsu) framework for vehicular ad-hoc networks
US10416271B2 (en) Systems and methods for beacon device fleet management
US10997600B1 (en) Data transaction scheduling using crowd-sourced network data
WO2023208043A1 (zh) 用于无线通信系统的电子设备、方法和存储介质
Weng On demand surveillance service in vehicular cloud
Marran et al. Introducing cellular network layer into sumo for simulating vehicular mobile devices’ interactions in urban environment
Jong et al. The optimal traffic information process system by using MIMO algorithm
Kaptan Data Analytics-backed Vehicular Crowd-sensing for GPS-less Tracking in Public Transportation
CN206060821U (zh) 固定安装于运输工具的移动服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication