CN114418131A - 用于联邦学习的电子设备以及方法 - Google Patents

用于联邦学习的电子设备以及方法 Download PDF

Info

Publication number
CN114418131A
CN114418131A CN202011173054.XA CN202011173054A CN114418131A CN 114418131 A CN114418131 A CN 114418131A CN 202011173054 A CN202011173054 A CN 202011173054A CN 114418131 A CN114418131 A CN 114418131A
Authority
CN
China
Prior art keywords
distributed nodes
distributed
model parameters
nodes
local training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011173054.XA
Other languages
English (en)
Inventor
孙晨
吴松涛
崔焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202011173054.XA priority Critical patent/CN114418131A/zh
Priority to JP2023526378A priority patent/JP2023548150A/ja
Priority to EP21885234.1A priority patent/EP4207008A4/en
Priority to PCT/CN2021/126875 priority patent/WO2022089507A1/zh
Priority to US18/027,371 priority patent/US20230385688A1/en
Priority to CN202180071695.0A priority patent/CN116490883A/zh
Publication of CN114418131A publication Critical patent/CN114418131A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开提供了用于联邦学习的电子设备以及方法。中央处理装置处的用于联邦学习的电子设备包括处理电路，所述处理电路被配置为：确定多个分布式节点中用于生成全局模型参数的一组分布式节点，其中，所述一组分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及基于所述一组分布式节点的本地模型参数生成全局模型参数，其中，所述本地模型参数是由所述一组分布式节点基于其各自的本地训练数据生成的。

Description

用于联邦学习的电子设备以及方法
技术领域
本公开涉及用于联邦学习的电子设备以及方法。
背景技术
联邦学习(Federated Learning)是一种新兴的人工智能基础技术。其在2016年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题。其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
图1是示出现有技术中的联邦学习系统的示意图。如图1所示，UE1、UE2……UEK为由用户设备实现的进行联邦学习的分布式节点。AP为由基站实现的进行联邦学习的中央处理装置。各个分布式节点UE1、UE2……UEK根据自身的本地训练数据D1、D2……DK利用人工智能算法(例如梯度下降)生成本地模型参数
Figure BDA0002747887090000011
并上传给中央处理装置AP。中央处理装置AP基于接收到的本地模型参数
Figure BDA0002747887090000012
Figure BDA0002747887090000013
生成全局模型参数wt+1(即，全局聚合)并分发给各个分布式节点UE1、UE2……UEK。
以这种方式，中央处理装置AP能够在不牺牲各个分布式节点UE的私密性的情况下，从存储在大量分布式节点UE中的数据训练统计模型。然而，联邦学习系统面临着新的挑战。与在数据中心进行集中式学习不同，联邦学习通常在无线边缘网络中运行，在该网络中，信道资源受限并且不可靠。中央处理装置AP通常需要通过资源受限的频谱链接大量分布式节点UE。因此每次全局聚合仅允许有限数量的分布式节点UE通过不可靠的信道发送其训练得到的本地模型参数。
发明内容
本公开的发明人发现，在不得不选则一定数量的分布式节点来上传本地模型参数的情况下，如果所选择的各个分布式节点的本地训练数据的相关性高，那么这些分布式节点学习出来的模型类似，从而无法确保全局模型快速收敛。因此，需要能够在信道资源受限的情况下提高联邦学习系统的效率的技术方案。
为了解决该技术问题，本公开提出的技术方案根据分布式节点的本地训练数据之间的相关性来调度分布式节点上传其本地模型参数以促进全局模型快速收敛。本公开的技术方案能够有效地利用有限的信道资源来提高联邦学习系统的效率。
根据本公开的一个方面，提供了一种中央处理装置处的用于联邦学习的电子设备，包括处理电路，所述处理电路被配置为：确定多个分布式节点中用于生成全局模型参数的一组分布式节点，其中，所述一组分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及基于所述一组分布式节点的本地模型参数生成全局模型参数，其中，所述本地模型参数是由所述一组分布式节点基于其各自的本地训练数据生成的。
根据本公开的又一个方面，提供了一种特定分布式节点处的用于联邦学习的电子设备，包括处理电路，所述处理电路被配置为：确定所述特定分布式节点将用于生成全局模型参数，其中，所述特定分布式节点的本地训练数据与用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性满足特定相关性要求；将所述特定分布式节点的本地模型参数上传给中央处理装置，其中，所述本地模型参数是由所述特定分布式节点基于其本地训练数据生成的。
根据本公开的又一个方面，提供了一种中央处理装置处的用于联邦学习的方法，包括：确定多个分布式节点中用于生成全局模型参数的一组分布式节点，其中，所述一组分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及基于所述一组分布式节点的本地模型参数生成全局模型参数，其中，所述本地模型参数是由所述一组分布式节点基于其各自的本地训练数据生成的。
根据本公开的又一个方面，提供了一种特定分布式节点处的用于联邦学习的方法，包括：确定特定分布式节点将用于生成全局模型参数，其中，所述特定分布式节点的本地训练数据与已确定用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及将所述特定分布式节点的本地模型参数上传给中央处理装置，其中，所述本地模型参数是由所述特定分布式节点基于其本地训练数据生成的。
根据本公开的又一个方面，提供了一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由处理器执行时使得处理器执行本公开的方法。
根据本公开的又一个方面，提供了一种用于联邦学习的装置，包括用于执行本公开的方法的各个步骤的部件。
附图说明
当结合附图考虑实施例的以下具体描述时，可以获得对本公开更好的理解。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用来例示说明本公开的实施例和解释本公开的原理和优点。
图1是示出现有技术中的联邦学习系统的示意图。
图2是示出本公开的一些实施例的联邦学习系统的示意图。
图3是示出本公开的一些实施例的中央处理装置中的联邦学习处理300的流程图。
图4是示出本公开的一些实施例的被实现为摄像节点的分布式节点的分布的示意图。
图5是示出本公开的一些实施例的分布式节点中的联邦学习处理500的流程图。
图6是示出本公开的一些实施例的以集中式方式确定用于生成全局模型参数的分布式节点的处理的流程图。
图7是示出本公开的一些实施例的由中央处理装置选择用于生成全局模型参数的分布式节点的示意图。
图8是示出本公开的一些实施例的以分布式方式确定用于生成全局模型参数的分布式节点的处理的流程图。
图9是示出分布式节点与其邻居节点的本地训练数据之间的相关性的示意图。
图10是示出使用不同节点选择策略所得到的联邦学习模型的分类精度的示意图。
图11是示出可以应用本公开的技术的计算设备的示意性配置的示例的框图。
图12是示出可以应用本公开的技术的gNB的示意性配置的第一示例的框图。
图13是示出可以应用本公开的技术的gNB的示意性配置的第二示例的框图。
图14是示出可以应用本公开的技术的智能电话的示意性配置的示例的框图。
图15是示出可以应用本公开的技术的汽车导航设备的示意性配置的示例的框图。
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
将按照以下顺序进行描述：
1.系统概述
2.处理流程
3.仿真结果
4.应用示例
<1.系统概述>
首先，将描述本公开的一些实施例的联邦学习系统。图2是示出本公开的一些实施例的联邦学习系统200的示意图。如图2所示，联邦学习系统200包括由用户设备实现的多个分布式节点UE1、UE2……UEK和由基站实现的中央处理装置AP。各个分布式节点UE1、UE2……UEK根据自身的本地训练数据D1、D2……DK利用人工智能算法(例如梯度下降)生成本地模型参数
Figure BDA0002747887090000051
与图1中的联邦学习系统不同，图2中的联邦学习系统200中的多个分布式节点UE1、UE2……UEK中只有一组分布式节点被确定用于生成全局模型参数。该组分布式节点将本地模型参数上传给中央处理装置AP，但不用于生成全局模型参数的分布式节点(例如，分布式节点UE2)不将本地模型参数上传给中央处理装置AP。中央处理装置AP仅基于该组分布式节点的本地模型参数生成全局模型参数wt+1。
与图1中的联邦学习系统相同，图2中的联邦学习系统200中的中央处理装置AP将生成的全局模型参数wt+1分发给所有分布式节点UE1、UE2……UEK，包括未上传本地模型参数的分布式节点(例如，分布式节点UE2)。分布式节点UE1、UE2……UEK在接收到新生成的全局模型参数wt+1之后利用该新生成的全局模型参数wt+1进行下一轮的本地模型训练或者应用基于该新生成的全局模型参数wt+1的联邦学习模型。
在图2中示出的实施例中，分布式节点由用户设备实现，中央处理装置由基站实现，并且它们之间进行无线通信。在一些实施例中，中央处理装置也可以由与基站分离的装置实现。在这种情况下，分布式节点将本地模型参数上传给基站并由基站提供给中央处理装置，中央处理装置将生成的全局模型参数提供给基站并由基站分发给分布式节点。分布式节点和中央处理装置组成的通信系统可以是蜂窝通信系统、机器型通信(MTC，MachineType Communication)系统、自组织网络或者认知无线电系统(例如，IEEE P802.19.1a和频谱访问系统(Spectrum Access System,SAS))等。
此外，在本公开的一些实施例中，分布式节点和中央处理装置也可以由其它设备实现，并且它们之间可以进行有线通信。
<2.处理流程>
下面将描述分布式节点和中央处理装置中的联邦学习处理的流程。在本公开的实施例中，分布式节点和/或中央处理装置中的联邦学习处理可以由被实现为分布式节点和/或中央处理装置本身或其部件(例如，芯片)的电子设备执行。该电子设备可以包括处理电路。该处理电路可以向分布式节点和/或中央处理装置中的其它部件输出信号(数字或模拟)，也可以从分布式节点和/或中央处理装置中的其它部件接收信号(数字或模拟)。此外，处理电路还可以控制分布式节点和/或中央处理装置中的其它部件的部分或全部操作。
处理电路可以是通用处理器的形式，也可以是专用处理电路，例如ASIC。例如，处理电路能够由电路(硬件)或中央处理设备(诸如，中央处理单元(CPU))构造。此外，处理电路上可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如，布置在分布式节点和/或中央处理装置或电子设备中)或从外面连接的外部存储介质中，以及经网络(诸如，互联网)下载。
图3是示出本公开的一些实施例的中央处理装置中的联邦学习处理300的流程图。
在步骤S305，中央处理装置确定多个分布式节点中用于生成全局模型参数的一组分布式节点。该组分布式节点的本地训练数据之间的相关性满足特定相关性要求，并且能够获取向中央处理装置发送本地模型参数的信道资源(例如，时间资源、频率资源和/或空间资源)。
多个分布式节点的本地训练数据之间可能具有相关性。相关性高会导致多个分布式节点的本地训练结果相似，从而无法在信道资源受限的情况下确保全局训练结果快速接近全局最优。通过选取本地训练数据之间的相关性低的分布式节点，并使得先相关性低的分布式节点获取上传本地训练结果(即，本地模型参数)的信道资源，有助于在信道资源受限的情况下有效地利用信道资源使得全局训练结果快速接近全局最优。分布式节点的本地训练数据之间的相关性可以由下文列举的若干方法或者其它方法判断。
在一些应用场景中，分布式节点的本地训练数据来源于其对周围环境的采样。例如，分布式节点可以被实现为传感器节点(例如，温度采集节点)，其本地训练数据来源于设置于其上的传感器，或者被实现为摄像节点，其本地训练数据来源于设置在其上的摄像头所采集的数据。对于距离相近的若干分布式节点而言，如果本地训练数据的采集时间相近，则其本地训练数据的相关性高。因此，可以根据本地训练数据的采集时间确定多个分布式节点的本地训练数据之间的相关性。可以将特定相关性要求设置为用于生成全局模型参数的分布式节点的本地训练数据的采集时间之间的时间间隔大于特定时间间隔阈值，以确保用于生成全局模型参数的分布式节点的本地训练数据之间的相关性较低。还可以对分布式节点根据本地训练数据的采集时间之间的时间间隔进行排序，时间间隔大的分布式节点由于相关性低优先被选择为用于生成全局模型参数的分布式节点以上传本地模型参数。此外，在数据采集时间是时间段的情况下，可以将特定相关性要求设置为用于生成全局模型参数的分布式节点的本地训练数据的采集时间之间的重叠时间段小于特定重叠时间阈值，以确保用于生成全局模型参数的布式节点的本地训练数据之间的相关性较低。
此外，如果分布式节点的距离相近，则也会导致其本地训练数据的相关性高。因此，还可以根据分布式节点之间的距离来确定多个分布式节点的本地训练数据之间的相关性。可以将特定相关性要求设置为用于生成全局模型参数的分布式节点的节点位置之间的距离大于特定距离阈值，以确保用于生成全局模型参数的分布式节点的本地训练数据之间的相关性较低。还可以对分布式节点根据节点位置之间的距离进行排序，距离远的节点由于相关性低优先被选择为用于生成全局模型参数的分布式节点以上传本地模型参数，从确保被选择用于生成全局模型参数的分布式节点的本地训练数据之间的相关性较低。
可以为每个分布式节点设置关联的排他区域，使得被选择用于生成全局模型参数的一组分布式节点在彼此的排他区域之外，以确保该组分布式节点的本地训练数据之间的相关性较低。可以将特定相关性要求设置为用于生成全局模型参数的分布式节点中的每个分布式节点在用于生成全局模型参数的分布式节点中的其余分布式节点的关联的排他区域之外。当某个分布式节点被选择为用于生成全局模型参数的分布式节点后，位于其关联的排他区域内的分布式节点不再被选择为用于生成全局模型参数的分布式节点。
每个分布式节点的关联的排他区域可以由其中各个点与该分布式节点的距离小于排他距离的区域定义。例如，每个分布式节点的排他区域可以是以该分布式节点为中心以排他距离为半径的圆形区域。替代地，每个分布式节点的关联的排他区域可以由与该分布式节点的距离最近的第二预定数量的分布式节点的集合定义。例如，每个分布式节点的排他区域可以是以该分布式节点为中心从该分布式节点起根据距离寻找到的最近的第二预定数量的邻居节点的集合。该排他距离和第二预定数量可以根据分布式节点的分布密度、观测物的分布密度和最大相关性容限中的一者或多者来预先确定。
此外，可以根据分布式节点的分布统计信息确定分布式节点的本地训练数据之间的相关性与距离的关系。在确定了相关性与距离的关系之后，可以根据分布式节点之间的距离确定分布式节点的训练数据之间的相关性。例如，假设分布式节点的节点位置服从泊松点过程，被采集对象的物理位置服从另外一个泊松点过程，假设由分布式节点上的摄像头采集数据并且该摄像头的覆盖范围有限，那么可以通过仿真或者理论计算得出分布式节点的训练数据之间的相关性与分布式节点之间的距离的函数。此外，本地训练数据之间的相关性与分布式节点之间的距离的关系也可以由第三方提供给中央处理装置或者分布式节点。
在分布式节点被实现为摄像节点的情况下，可以根据摄像头的分布位置以及角度，利用摄像头的覆盖区域的重叠面积计算出在给定摄像头密度的情况下摄像头所采集的训练数据的相关性与距离的关系。图4是示出本公开的一些实施例的被实现为摄像节点的分布式节点的分布的示意图。在图4中，圆点表示表示被实现为摄像节点的分布式节点，三角形区域表示摄像节点的覆盖区域(即，摄像范围)。
在一些应用场景中，分布式节点的本地训练数据是通过事先设定好的生成模型生成的。同样的生成模型会导致生成的训练数据具有很大的相关性。因此，可以根据本地训练数据的生成模型确定多个分布式节点的本地训练数据之间的相关性。可以将特定相关性要求设置为用于生成全局模型参数的分布式节点的本地训练数据的生成模型不同，以确保用于生成全局模型参数的分布式节点的本地训练数据之间的相关性较低。
在一些应用场景中，分布式节点将开源平台作为数据源，即其本地训练数据来源于开源平台。来源于同一开源平台的训练数据具有很大的相关性。因此，可以根据本地训练数据的数据源确定多个分布式节点的本地训练数据之间的相关性。可以将特定相关性要求设置为用于生成全局模型参数的分布式节点的本地训练数据的数据源不同，以确保用于生成全局模型参数的分布式节点的本地训练数据之间的相关性较低。
回到图3，在步骤S310，中央处理装置基于该组分布式节点的本地模型参数生成全局模型参数。本地模型参数是由该组分布式节点基于其各自的本地训练数据生成的。在步骤S315，中央处理装置将生成的全局模型参数分发给所述多个分布式节点。
图5是示出本公开的一些实施例的分布式节点中的联邦学习处理500的流程图。在步骤S505，分布式节点确定其将用于生成全局模型参数。该分布式节点的本地训练数据与用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性满足特定相关性要求，并且能够获取向中央处理装置发送本地模型参数的信道资源(例如，时间资源、频率资源和/或空间资源)。该特定相关性要求可以是上面参考图3描述的相关性要求。在步骤S510，分布式节点将其本地模型参数通过获取的信道资源发送给中央处理装置。该本地模型参数是由该分布式节点基于其本地训练数据生成的。在步骤S515，分布式节点从中央处理装置接收全局模型参数。
在本公开的一些实施例中，中央处理装置和分布式节点中确定用于生成全局模型参数的分布式节点的步骤可以基于在中央处理装置中对分布式节点进行的选择来以集中式方式实现。替代地，在本公开的一些实施例中，中央处理装置和分布式节点中确定用于生成全局模型参数的分布式节点的步骤可以基于在分布式节点中对信道资源的竞争来以分布式方式实现。
图6是示出本公开的一些实施例的以集中式方式确定用于生成全局模型参数的分布式节点的处理600的流程图。处理600可以通过无线资源控制(Radio Resource Control，RRC)过程实现。为了简洁起见，在图6中仅示出了两个分布式节点UE1和UE2。但是，应当理解，处理600中可以涉及更多数量的分布式节点。
在步骤S605，分布式节点UE1例如在上行资源请求中将与分布式节点UE1相关的信息发送给中央处理装置AP，以供中央处理装置选择用于生成全局模型参数的分布式节点。与分布式节点UE1相关的信息可以包括分布式节点UE1的本地训练数据的数据采集信息、网络性能参数和本地训练性能参数中的一项或多项。
分布式节点UE1的本地训练数据的数据采集信息包括本地训练数据的采集时间、节点位置、生成模型和数据源中的一项或多项。分布式节点UE1的本地训练数据的数据采集信息能够用于确定分布式节点UE1的本地训练数据与其它分布式节点的本地训练数据之间的相关性。
分布式节点UE1的网络性能参数指示分布式节点UE1的网络性能，其可以包括例如分布式节点UE1的信道带宽、受干扰的程度、信道质量中的一项或多项。
分布式节点UE1的本地训练性能参数指示分布式节点UE1的在本地进行模型训练的性能，其可以包括例如模型训练的目标函数的更新梯度的大小或者更新梯度的级别。
在步骤S610，分布式节点UE2例如在上行资源请求中将与分布式节点UE2相关的信息发送给中央处理装置AP，以供中央处理装置选择用于生成全局模型参数的分布式节点。与分布式节点UE2相关的信息可以包括分布式节点UE2的本地训练数据的数据采集信息、网络性能参数和本地训练性能参数中的一项或多项。
分布式节点UE2的本地训练数据的数据采集信息包括本地训练数据的采集时间、节点位置、生成模型和数据源中的一项或多项。分布式节点UE2的本地训练数据的数据采集信息能够用于确定分布式节点UE2的本地训练数据与其它分布式节点的本地训练数据之间的相关性。
分布式节点UE2的网络性能参数指示分布式节点UE2的网络性能，其可以包括例如分布式节点UE2的信道带宽、受干扰的程度、信道质量中的一项或多项。
分布式节点UE2的本地训练性能参数指示分布式节点UE2的在本地进行模型训练的性能，其可以包括例如模型训练的目标函数的更新梯度的大小或者更新梯度的级别。
在步骤S615，中央处理装置AP基于来自多个分布式节点的与分布式节点相关的信息，选择所述多个分布式节点中用于生成全局模型参数的一组分布式节点，使得被选择的该组分布式节点的本地训练数据之间的相关性满足特定相关性要求。被选择的分布式节点的数量可以是第一预定数量。中央处理装置AP可以为被选择的该组分布式节点分配用于发送本地模型参数的信道资源(例如，时间资源、频率资源和/或空间资源)。
此外，中央处理装置AP还可以基于分布式节点的网络性能参数和/或本地训练性能参数选择所述多个分布式节点中用于生成全局模型参数的一组分布式节点，使得被选择的该组分布式节点的网络性能参数和/或本地训练性能参数满足特定网络性能要求和/或本地训练性能要求。通过基于分布式节点的网络性能参数和/或本地训练性能参数选择用于生成全局模型参数的分布式节点，中央处理装置能够选择网络性能好和/或本地训练性能高的分布式节点来生成全局模型参数，从而能够提高全局模型训练的效率。例如，有些分布式节点由于网络性能差而无法及时上传本地模型参数，或者由于本地训练性能差而无法及时生成本地模型参数，从而影响全局模型训练的效率。例如，满足特定相关性要求的分布式节点可能位于小区边缘因而信道质量差。因此，中央处理装置AP在选择用于生成全局模型参数的分布式节点时可以考虑基站最大覆盖范围，使得位于基站最大覆盖范围外的分布式节点不被选择。
图7是示出本公开的一些实施例的由中央处理装置选择用于生成全局模型参数的分布式节点的示意图。在图7中，实心圆表示被选择用于生成全局模型参数的分布式节点，空心圆表示未被选择用于生成全局模型参数的分布式节点，虚线圆表示排他区域，R表示排他区域的半径。
如图7所示，中央处理装置通过K次循环选择K个分布式节点用于生成全局模型参数，每次循环中选择一个分布式节点。在选取了k(k为小于K的非负整数)个分布式节点之后，在第k+1次循环中，中央处理装置从已经选取的k个分布式节点的关联的排他区域之外的区域中选择第k+1个分布式节点。在一些实施例中，中央处理装置在选择分布式节点时还考虑分布式节点的网络性能和/或本地训练性能。在这种情况下，在第k+1次循环中，中央处理装置从已经选取的k个分布式节点的关联的排他区域之外的区域中选择其网络性能参数和/或本地训练性能参数满足特定网络性能要求和/或本地训练性能要求的第k+1个分布式节点。
回到图6，在步骤S620，中央处理装置AP将上传本地模型参数的指示发送给被选择用于生成全局模型参数的分布式节点。中央处理装置AP可以将分配的信道资源通知给被选择用于生成全局模型参数的分布式节点。例如，发送本地模型参数的指示可以包括分配的信道资源的指示。例如，在图6中，中央处理装置AP将上传本地模型参数的指示发送给分布式节点UE1。
在步骤S625，被选择用于生成全局模型参数的分布式节点基于从中央处理装置接收到的上传本地模型参数的指示确定其将用于生成全局模型参数。例如，在图6中，分布式节点UE1基于从中央处理装置接收到的上传本地模型参数的指示确定其将用于生成全局模型参数。
图8是示出本公开的一些实施例的以分布式方式确定用于生成全局模型参数的分布式节点的处理880的流程图。处理880可以通过无线资源控制(Radio Resource Control，RRC)过程实现。为了简洁起见，在图8中仅示出了一个分布式节点UE1。但是，应当理解，处理880中可以涉及更多数量的分布式节点。
在步骤S882，分布式节点UE1基于其本地训练数据以及已确定用于生成全局模型参数的其它分布式节点的本地训练数据的数据采集信息，确定其本地训练数据与已确定用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性是否满足特定相关性要求。已确定用于生成全局模型参数的分布式节点的本地训练数据的数据采集信息可以由分布式节点自己广播或者发送给中央处理装置AP并由中央处理装置AP广播。
在一些实施例中，数据采集信息可以包括本地训练数据的采集时间，特定相关性要求可以被设置为分布式节点UE1的本地训练数据与已确定用于生成全局模型参数的其它分布式节点的本地训练数据的采集时间之间的时间间隔大于特定时间间隔阈值。
在一些实施例中，数据采集信息可以包括分布式节点的节点位置，特定相关性要求可以被设置为分布式节点UE1与已确定用于生成全局模型参数的其它分布式节点之间的距离大于特定距离阈值。此外，特定相关性要求还可以被设置为分布式节点UE1在已确定用于生成全局模型参数的其它分布式节点的关联的排他区域之外。该特定距离阈值或者排他区域可以是预设的，或者由已确定用于生成全局模型参数的分布式节点或者中央处理装置AP广播，或者由分布式节点UE1根据当前网络状况确定。
如果在步骤S882中确定满足特定相关性要求，则处理880前进到步骤S884。在步骤S884，分布式节点UE1例如通过载波侦听以竞争方式获取用于向中央处理装置AP发送本地模型参数的信道资源，并确定是否成功获取信道资源。
在一些实施例中，分布式节点UE1可以根据其网络性能参数和本地训练性能参数之一或者二者，调整用于获取信道资源的参数(例如，能量检测阀值、退避窗口大小)。例如，在网络性能和/或本地训练性能好(例如，高于相应性能阈值)的情况下，分布式节点UE1可以通过调整用于获取信道资源的参数(例如，增加其能量检测阀值或者减小退避窗口大小)来增加其获取信道资源成功的概率。因此，网络性能好和/或本地训练性能好的分布式节点具有更高的上传本地模型参数的可能性。
在一些实施例中，中央处理装置AP在已确定的用于生成全局模型参数的分布式节点达到第一预定数量之后广播停止上传的指示。分布式节点UE1在接收到来自中央处理装置AP的停止上传的指示后，停止获取用于向所述中央处理装置上传本地模型参数的信道资源。
在一些实施例中，分布式节点UE1可以自己确定已确定用于生成全局模型参数的分布式节点的数量。例如，分布式节点UE1每次接收到来自已确定用于生成全局模型参数的分布式节点的广播时将该数量加1。分布式节点UE1在该数量等于或大于第一预定数量后，停止获取用于向所述中央处理装置AP发送本地模型参数的信道资源。该第一预定数量可以被预先设置在分布式节点UE1中，或者由中央处理装置AP广播。
如果在步骤S884中成功获取信道资源，则处理880前进到步骤S886。在步骤S886，分布式节点UE1确定其将用于生成全局模型参数。在步骤S888，分布式节点UE1通过获取的信道资源将其本地模型参数发送给中央处理装置AP。在步骤S890，中央处理装置AP响应于接收到分布式节点UE1的本地模型参数，将分布式节点UE1确定为用于生成全局模型参数的分布式节点。
虽然在图8中未示出，但是分布式节点UE1在确定其将用于生成全局模型参数后可以广播其本地训练数据的数据采集信息，或者将数据采集信息发送给中央处理装置AP并由中央处理装置AP广播，以用于以分布式方式确定下一个用于生成全局模型参数的分布式节点。
本公开的实施例的技术方案可以应用于智能驾驶场景。在智能驾驶场景中，车辆使用人工智能模型对路口是否有行人过人行横道以及红绿灯的状态进行判断并采取刹车策略。每辆车的本地训练数据为车辆摄像头采集的路口状况数据以及由人(例如，驾驶员或者路口的观察员)或监督处理装置给出的刹车标注。该刹车标注指示在当前路口状况下是否需要刹车，其可以由人通过观察路口状况来给出，或者由监督处理装置将红绿灯处的摄像头所拍摄到的路口状况数据输入经训练的人工智能模型来获得。每辆车在本地训练过程中可以将若干个路口状况下由本地模型基于路口状况数据给出的刹车判定与由人或监督处理装置给出的刹车标注的差值的倒数作为目标函数，并利用算法更新本地模型。
在本公开的一些实施例中，每辆车可以作为分布式节点将本地训练数据上传给中央处理装置进行联邦学习。由于在同一路口处不同的车辆的本地训练数据可能存在相关性，所以可以基于车辆的本地训练数据的采集时间和/或车辆位置选择相关性低的车辆上传本地模型参数来生成全局模型参数。此外，还可以基于车辆的网络性能参数和/或本地训练性能参数来选择网络性能好和/或本地训练性能好的车辆上传本地模型参数来生成全局模型参数。中央处理装置将生成的全局模型参数分发给每辆车。每辆车根据基于全局模型参数的模型对车辆摄像头所采集的路口状况数据进行处理，以判断是否需要刹车。
<3.仿真结果>
在分布式节点的本地训练数据来源于其对周围环境的采样的情况下，多个分布式节点的本地训练数据之间的相关性与它们之间的距离相关。分布式节点之间的距离越远，它们的本地训练数据之间的相关性越低。
图9是示出分布式节点与其邻居节点的本地训练数据之间的相关性的示意图。在图9中，横坐标表示邻居节点之间的相关系数，纵坐标表示任意分布式节点与其邻居节点的本地训练数据之间的相关性的累计分布函数。曲线991表示任意分布式节点与其最近邻居节点之间的相关性，曲线992表示任意分布式节点与其第二近邻居节点之间的相关性，曲线993表示任意分布式节点与其第三近邻居节点之间的相关性，曲线994表示任意分布式节点与其第四近邻居节点之间的相关性，曲线995表示任意分布式节点与其第五近邻居节点之间的相关性。如图9所示，随着邻居节点之间的距离增加，其相关性降低。
图10是示出使用不同节点选择策略所得到的联邦学习模型的分类精度的示意图。在图10中，横坐标表示联邦学习模型的迭代次数，纵坐标表示用生成的联邦学习模型进行分类的分类精度。曲线1001表示用随机选取的单个节点的本地训练数据生成联邦学习模型时联邦学习模型的分类精度，曲线1002表示用随机选取的第一预定数量的节点的本地训练数据生成联邦学习模型时联邦学习模型的分类精度，曲线1003表示用根据本公开的技术选取第一预定数量的节点的本地训练数据生成联邦学习模型时联邦学习模型的分类精度，曲线1004表示用所有节点的本地训练数据生成联邦学习模型时联邦学习模型的分类精度。如图10所示，用根据本公开的技术选取第一预定数量的节点的本地训练数据生成联邦学习模型时联邦学习模型的分类精度与用所有节点的本地训练数据生成联邦学习模型时联邦学习模型的分类精度相近。因此，本公开的技术够高效地生成联邦学习模型，而不明显降低联邦学习模型的分类精度。
<4.应用示例>
本公开的技术能够应用于各种产品。例如，基站和用户设备均可以被实现为各种类型的计算设备。
此外，基站可以被实现为任何类型的演进型节点B(eNB)、gNB或TRP(TransmitReceive Point)，诸如宏eNB/gNB和小eNB/gNB。小eNB/gNB可以为覆盖比宏小区小的小区的eNB/gNB，诸如微微eNB/gNB、微eNB/gNB和家庭(毫微微)eNB/gNB。代替地，基站可以被实现为任何其它类型的基站，诸如NodeB和基站收发台(BTS)。基站可以包括：被配置为控制无线通信的主体(也称为基站设备)；以及设置在与主体不同的地方的一个或多个远程无线头端(RRH)。另外，下面将描述的各种类型的终端均可以通过暂时地或半持久性地执行基站功能而作为基站工作。
此外，用户设备可以被实现为移动终端(诸如智能电话、平板个人计算机(PC)、笔记本式PC、便携式游戏终端、便携式/加密狗型移动路由器和数字摄像装置)或者车载终端(诸如汽车导航设备)。用户设备还可以被实现为执行机器对机器(M2M)通信的终端(也称为机器类型通信(MTC)终端)。此外，用户设备可以为安装在上述终端中的每个终端上的无线通信模块(诸如包括单个晶片的集成电路模块)。
[3-1.关于计算设备的应用示例]
图11是示出可以应用本公开的技术的计算设备700的示意性配置的示例的框图。计算设备700包括处理器701、存储器702、存储装置703、网络接口704以及总线706。
处理器701可以为例如中央处理单元(CPU)或数字信号处理器(DSP)，并且控制服务器700的功能。存储器702包括随机存取存储器(RAM)和只读存储器(ROM)，并且存储数据和由处理器701执行的程序。存储装置703可以包括存储介质，诸如半导体存储器和硬盘。
网络接口704为用于将服务器700连接到有线通信网络705的有线通信接口。有线通信网络705可以为诸如演进分组核心网(EPC)的核心网或者诸如因特网的分组数据网络(PDN)。
总线706将处理器701、存储器702、存储装置703和网络接口704彼此连接。总线706可以包括各自具有不同速度的两个或更多个总线(诸如高速总线和低速总线)。
[3-2.关于基站的应用示例]
(第一应用示例)
图12是示出可以应用本公开的技术的gNB的示意性配置的第一示例的框图。gNB800包括一个或多个天线810以及基站设备820。基站设备820和每个天线810可以经由RF线缆彼此连接。
天线810中的每一个均包括单个或多个天线元件(诸如包括在多输入多输出(MIMO)天线中的多个天线元件)，并且用于基站设备820发送和接收无线信号。如图12所示，gNB 800可以包括多个天线810。例如，多个天线810可以与gNB 800使用的多个频带兼容。虽然图12示出其中gNB 800包括多个天线810的示例，但是gNB 800也可以包括单个天线810。
基站设备820包括控制器821、存储器822、网络接口823以及无线通信接口825。
控制器821可以为例如CPU或DSP，并且操作基站设备820的较高层的各种功能。例如，控制器821根据由无线通信接口825处理的信号中的数据来生成数据分组，并经由网络接口823来传递所生成的分组。控制器821可以对来自多个基带处理器的数据进行捆绑以生成捆绑分组，并传递所生成的捆绑分组。控制器821可以具有执行如下控制的逻辑功能：该控制诸如为无线资源控制、无线承载控制、移动性管理、接纳控制和调度。该控制可以结合附近的gNB或核心网节点来执行。存储器822包括RAM和ROM，并且存储由控制器821执行的程序和各种类型的控制数据(诸如终端列表、传输功率数据以及调度数据)。
网络接口823为用于将基站设备820连接至核心网824的通信接口。控制器821可以经由网络接口823而与核心网节点或另外的gNB进行通信。在此情况下，gNB 800与核心网节点或其它gNB可以通过逻辑接口(诸如S1接口和X2接口)而彼此连接。网络接口823还可以为有线通信接口或用于无线回程线路的无线通信接口。如果网络接口823为无线通信接口，则与由无线通信接口825使用的频带相比，网络接口823可以使用较高频带用于无线通信。
无线通信接口825支持任何蜂窝通信方案(诸如长期演进(LTE)和LTE-先进)，并且经由天线810来提供到位于gNB 800的小区中的终端的无线连接。无线通信接口825通常可以包括例如基带(BB)处理器826和RF电路827。BB处理器826可以执行例如编码/解码、调制/解调以及复用/解复用，并且执行层(例如L1、介质访问控制(MAC)、无线链路控制(RLC)和分组数据汇聚协议(PDCP))的各种类型的信号处理。代替控制器821，BB处理器826可以具有上述逻辑功能的一部分或全部。BB处理器826可以为存储通信控制程序的存储器，或者为包括被配置为执行程序的处理器和相关电路的模块。更新程序可以使BB处理器826的功能改变。该模块可以为插入到基站设备820的槽中的卡或刀片。可替代地，该模块也可以为安装在卡或刀片上的芯片。同时，RF电路827可以包括例如混频器、滤波器和放大器，并且经由天线810来传送和接收无线信号。
如图12所示，无线通信接口825可以包括多个BB处理器826。例如，多个BB处理器826可以与gNB 800使用的多个频带兼容。如图12所示，无线通信接口825可以包括多个RF电路827。例如，多个RF电路827可以与多个天线元件兼容。虽然图12示出其中无线通信接口825包括多个BB处理器826和多个RF电路827的示例，但是无线通信接口825也可以包括单个BB处理器826或单个RF电路827。
(第二应用示例)
图13是示出可以应用本公开的技术的gNB的示意性配置的第二示例的框图。gNB830包括一个或多个天线840、基站设备850和RRH860。RRH 860和每个天线840可以经由RF线缆而彼此连接。基站设备850和RRH 860可以经由诸如光纤线缆的高速线路而彼此连接。
天线840中的每一个均包括单个或多个天线元件(诸如包括在MIMO天线中的多个天线元件)并且用于RRH 860发送和接收无线信号。如图13所示，gNB 830可以包括多个天线840。例如，多个天线840可以与gNB 830使用的多个频带兼容。虽然图13示出其中gNB 830包括多个天线840的示例，但是gNB 830也可以包括单个天线840。
基站设备850包括控制器851、存储器852、网络接口853、无线通信接口855以及连接接口857。控制器851、存储器852和网络接口853与参照图12描述的控制器821、存储器822和网络接口823相同。
无线通信接口855支持任何蜂窝通信方案(诸如LTE和LTE-先进)，并且经由RRH860和天线840来提供到位于与RRH 860对应的扇区中的终端的无线通信。无线通信接口855通常可以包括例如BB处理器856。除了BB处理器856经由连接接口857连接到RRH 860的RF电路864之外，BB处理器856与参照图12描述的BB处理器826相同。如图13所示，无线通信接口855可以包括多个BB处理器856。例如，多个BB处理器856可以与gNB 830使用的多个频带兼容。虽然图13示出其中无线通信接口855包括多个BB处理器856的示例，但是无线通信接口855也可以包括单个BB处理器856。
连接接口857为用于将基站设备850(无线通信接口855)连接至RRH 860的接口。连接接口857还可以为用于将基站设备850(无线通信接口855)连接至RRH 860的上述高速线路中的通信的通信模块。
RRH 860包括连接接口861和无线通信接口863。
连接接口861为用于将RRH 860(无线通信接口863)连接至基站设备850的接口。连接接口861还可以为用于上述高速线路中的通信的通信模块。
无线通信接口863经由天线840来传送和接收无线信号。无线通信接口863通常可以包括例如RF电路864。RF电路864可以包括例如混频器、滤波器和放大器，并且经由天线840来传送和接收无线信号。如图13所示，无线通信接口863可以包括多个RF电路864。例如，多个RF电路864可以支持多个天线元件。虽然图13示出其中无线通信接口863包括多个RF电路864的示例，但是无线通信接口863也可以包括单个RF电路864。
[3-3.关于终端设备的应用示例]
(第一应用示例)
图14是示出可以应用本公开的技术的智能电话900的示意性配置的示例的框图。智能电话900包括处理器901、存储器902、存储装置903、外部连接接口904、摄像装置906、传感器907、麦克风908、输入装置909、显示装置910、扬声器911、无线通信接口912、一个或多个天线开关915、一个或多个天线916、总线917、电池918以及辅助控制器919。
处理器901可以为例如CPU或片上系统(SoC)，并且控制智能电话900的应用层和另外层的功能。存储器902包括RAM和ROM，并且存储数据和由处理器901执行的程序。存储装置903可以包括存储介质，诸如半导体存储器和硬盘。外部连接接口904为用于将外部装置(诸如存储卡和通用串行总线(USB)装置)连接至智能电话900的接口。
摄像装置906包括图像传感器(诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS))，并且生成捕获图像。传感器907可以包括一组传感器，诸如测量传感器、陀螺仪传感器、地磁传感器和加速度传感器。麦克风908将输入到智能电话900的声音转换为音频信号。输入装置909包括例如被配置为检测显示装置910的屏幕上的触摸的触摸传感器、小键盘、键盘、按钮或开关，并且接收从用户输入的操作或信息。显示装置910包括屏幕(诸如液晶显示器(LCD)和有机发光二极管(OLED)显示器)，并且显示智能电话900的输出图像。扬声器911将从智能电话900输出的音频信号转换为声音。
无线通信接口912支持任何蜂窝通信方案(诸如LTE和LTE-先进)，并且执行无线通信。无线通信接口912通常可以包括例如BB处理器913和RF电路914。BB处理器913可以执行例如编码/解码、调制/解调以及复用/解复用，并且执行用于无线通信的各种类型的信号处理。同时，RF电路914可以包括例如混频器、滤波器和放大器，并且经由天线916来传送和接收无线信号。无线通信接口912可以为其上集成有BB处理器913和RF电路914的一个芯片模块。如图14所示，无线通信接口912可以包括多个BB处理器913和多个RF电路914。虽然图14示出其中无线通信接口912包括多个BB处理器913和多个RF电路914的示例，但是无线通信接口912也可以包括单个BB处理器913或单个RF电路914。
此外，除了蜂窝通信方案之外，无线通信接口912可以支持另外类型的无线通信方案，诸如短距离无线通信方案、近场通信方案和无线局域网(LAN)方案。在此情况下，无线通信接口912可以包括针对每种无线通信方案的BB处理器913和RF电路914。
天线开关915中的每一个在包括在无线通信接口912中的多个电路(例如用于不同的无线通信方案的电路)之间切换天线916的连接目的地。
天线916中的每一个均包括单个或多个天线元件(诸如包括在MIMO天线中的多个天线元件)，并且用于无线通信接口912传送和接收无线信号。如图14所示，智能电话900可以包括多个天线916。虽然图14示出其中智能电话900包括多个天线916的示例，但是智能电话900也可以包括单个天线916。
此外，智能电话900可以包括针对每种无线通信方案的天线916。在此情况下，天线开关915可以从智能电话900的配置中省略。
总线917将处理器901、存储器902、存储装置903、外部连接接口904、摄像装置906、传感器907、麦克风908、输入装置909、显示装置910、扬声器911、无线通信接口912以及辅助控制器919彼此连接。电池918经由馈线向图14所示的智能电话900的各个块提供电力，馈线在图中被部分地示为虚线。辅助控制器919例如在睡眠模式下操作智能电话900的最小必需功能。
(第二应用示例)
图15是示出可以应用本公开的技术的汽车导航设备920的示意性配置的示例的框图。汽车导航设备920包括处理器921、存储器922、全球定位系统(GPS)模块924、传感器925、数据接口926、内容播放器927、存储介质接口928、输入装置929、显示装置930、扬声器931、无线通信接口933、一个或多个天线开关936、一个或多个天线937以及电池938。
处理器921可以为例如CPU或SoC，并且控制汽车导航设备920的导航功能和另外的功能。存储器922包括RAM和ROM，并且存储数据和由处理器921执行的程序。
GPS模块924使用从GPS卫星接收的GPS信号来测量汽车导航设备920的位置(诸如纬度、经度和高度)。传感器925可以包括一组传感器，诸如陀螺仪传感器、地磁传感器和空气压力传感器。数据接口926经由未示出的终端而连接到例如车载网络941，并且获取由车辆生成的数据(诸如车速数据)。
内容播放器927再现存储在存储介质(诸如CD和DVD)中的内容，该存储介质被插入到存储介质接口928中。输入装置929包括例如被配置为检测显示装置930的屏幕上的触摸的触摸传感器、按钮或开关，并且接收从用户输入的操作或信息。显示装置930包括诸如LCD或OLED显示器的屏幕，并且显示导航功能的图像或再现的内容。扬声器931输出导航功能的声音或再现的内容。
无线通信接口933支持任何蜂窝通信方案(诸如LTE和LTE-先进)，并且执行无线通信。无线通信接口933通常可以包括例如BB处理器934和RF电路935。BB处理器934可以执行例如编码/解码、调制/解调以及复用/解复用，并且执行用于无线通信的各种类型的信号处理。同时，RF电路935可以包括例如混频器、滤波器和放大器，并且经由天线937来传送和接收无线信号。无线通信接口933还可以为其上集成有BB处理器934和RF电路935的一个芯片模块。如图15所示，无线通信接口933可以包括多个BB处理器934和多个RF电路935。虽然图15示出其中无线通信接口933包括多个BB处理器934和多个RF电路935的示例，但是无线通信接口933也可以包括单个BB处理器934或单个RF电路935。
此外，除了蜂窝通信方案之外，无线通信接口933可以支持另外类型的无线通信方案，诸如短距离无线通信方案、近场通信方案和无线LAN方案。在此情况下，针对每种无线通信方案，无线通信接口933可以包括BB处理器934和RF电路935。
天线开关936中的每一个在包括在无线通信接口933中的多个电路(诸如用于不同的无线通信方案的电路)之间切换天线937的连接目的地。
天线937中的每一个均包括单个或多个天线元件(诸如包括在MIMO天线中的多个天线元件)，并且用于无线通信接口933传送和接收无线信号。如图15所示，汽车导航设备920可以包括多个天线937。虽然图15示出其中汽车导航设备920包括多个天线937的示例，但是汽车导航设备920也可以包括单个天线937。
此外，汽车导航设备920可以包括针对每种无线通信方案的天线937。在此情况下，天线开关936可以从汽车导航设备920的配置中省略。
电池938经由馈线向图15所示的汽车导航设备920的各个块提供电力，馈线在图中被部分地示为虚线。电池938累积从车辆提供的电力。
本公开的技术也可以被实现为包括汽车导航设备920、车载网络941以及车辆模块942中的一个或多个块的车载系统(或车辆)940。车辆模块942生成车辆数据(诸如车速、发动机速度和故障信息)，并且将所生成的数据输出至车载网络941。
结合本公开所述的各种示意性的块和部件可以用被设计来执行本文所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其它可编程逻辑设备、离散门或晶体管逻辑、离散硬件部件或它们的任意组合来实现或执行。通用处理器可以是微处理器，但是可替代地，处理器可以是任何传统的处理器、控制器、微控制器和/或状态机。处理器也可以被实现为计算设备的组合，例如DSP与微处理器、多个微处理器、结合DSP核的一个或多个微处理器和/或任何其它这样的配置的组合。
本文所述的功能可以在硬件、由处理器执行的软件、固件或它们的任意组合中实现。如果在由处理器执行的软件中实现，则功能可以被存储在非暂态计算机可读介质上或者被传输作为非暂态计算机可读介质上的一个或多个指令或代码。其它示例和实现在本公开和所附权利要求的范围和精神内。例如，鉴于软件的本质，以上所述的功能可以使用由处理器执行的软件、硬件、固件、硬连线或这些中的任意的组合来执行。实现功能的特征也可以被物理地置于各种位置处，包括被分布使得功能的部分在不同物理位置处实现。
此外，包含于其它部件内的或者与其它部件分离的部件的公开应当被认为是示例性的，因为潜在地可以实现多种其它架构以达成同样的功能，包括并入全部的、大部分的、和/或一些的元件作为一个或多个单一结构或分离结构的一部分。
非暂态计算机可读介质可以是能够被通用计算机或专用计算机存取的任何可用的非暂态介质。举例而言而非限制地，非暂态计算机可读介质可以包括RAM、ROM、EEPROM、闪速存储器、CD-ROM、DVD或其它光盘存储、磁盘存储或其它磁存储设备、或能够被用来承载或存储指令或数据结构形式的期望的程序代码部件和能够被通用或专用计算机或者通用或专用处理器存取的任何其它介质。
本公开的先前描述被提供来使本领域技术人员能够制作或使用本公开。对本公开的各种修改对本领域技术人员而言是明显的，本文定义的通用原理可以在不脱离本公开的范围的情况下应用到其它变形。因此，本公开并不限于本文所述的示例和设计，而是对应于与所公开的原理和新特征一致的最宽范围。
本公开的实施例还包括：
1.一种中央处理装置处的用于联邦学习的电子设备，包括处理电路，所述处理电路被配置为：
确定多个分布式节点中用于生成全局模型参数的一组分布式节点，其中，所述一组分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及
基于所述一组分布式节点的本地模型参数生成全局模型参数，其中，所述本地模型参数是由所述一组分布式节点基于其各自的本地训练数据生成的。
2.如项目1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的本地训练数据的采集时间之间的时间间隔大于特定时间间隔阈值。
3.如项目1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的节点位置之间的距离大于特定距离阈值。
4.如项目1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点中的每个分布式节点在所述一组分布式节点中的其余分布式节点的关联的排他区域之外，其中，每个分布式节点的关联的排他区域由其中各个点与该分布式节点的距离小于排他距离的区域定义或者由与该分布式节点的距离最近的第二预定数量的分布式节点的集合定义。
5.如项目1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的本地训练数据的生成模型不同。
6.如项目1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的本地训练数据的数据源不同。
7.如项目1所述的电子设备，其中，确定所述多个分布式节点中用于生成全局模型参数的所述一组分布式节点包括：
获取所述多个分布式节点的本地训练数据的数据采集信息，所述数据采集信息能够用于确定所述多个分布式节点的本地训练数据之间的相关性；
基于所述多个分布式节点的本地训练数据的数据采集信息，选择所述多个分布式节点中用于生成全局模型参数的所述一组分布式节点。
8.如项目7所述的电子设备，其中，
所述数据采集信息包括所述本地训练数据的采集时间、节点位置、生成模型和数据源中的一项或多项。
9.如项目7所述的电子设备，其中，所述处理电路还被配置为：
获取所述多个分布式节点的网络性能参数；
基于所述多个分布式节点的网络性能参数，从所述多个分布式节点中选择所述一组分布式节点用于生成全局模型参数，其中，所述一组分布式节点的网络性能参数满足特定网络性能要求。
10.如项目7所述的电子设备，其中，所述处理电路还被配置为：
获取所述多个分布式节点的本地训练性能参数；
基于所述多个分布式节点的本地训练性能参数，从所述多个分布式节点中选择所述一组分布式节点用于生成全局模型参数，其中，所述一组分布式节点的本地训练性能参数满足特定本地训练性能要求。
11.如项目1所述的电子设备，其中，确定所述多个分布式节点中用于生成全局模型参数的所述一组分布式节点包括：
接收来自所述多个分布式节点中的分布式节点的本地模型参数，
在接收到第一预定数量的分布式节点的本地模型参数后，将所述第一预定数量的分布式节点确定为所述多个分布式节点中用于生成全局模型参数的所述一组分布式节点。
12.一种用于联邦学习的电子设备，包括处理电路，所述处理电路被配置为：
确定特定分布式节点将用于生成全局模型参数，其中，所述特定分布式节点的本地训练数据与用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性满足特定相关性要求；
将所述特定分布式节点的本地模型参数发送给中央处理装置，其中，所述本地模型参数是由所述特定分布式节点基于其本地训练数据生成的。
13.如项目12所述的电子设备，其中，确定所述特定分布式节点将用于生成全局模型参数包括：
将所述特定分布式节点的本地训练数据的数据采集信息发送给所述中央处理装置，所述数据采集信息能够用于确定所述特定分布式节点的本地训练数据与已确定用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性；以及
基于来自所述中央处理装置的上传本地模型参数的指示，确定所述特定分布式节点将用于生成全局模型参数。
14.如项目12所述的电子设备，其中，确定所述特定分布式节点将用于生成全局模型参数包括：
基于所述特定分布式节点以及已确定用于生成全局模型参数的其它分布式节点的本地训练数据的数据采集信息，确定所述特定分布式节点的本地训练数据与已确定用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性满足特定相关性要求；
获取用于向所述中央处理装置发送本地模型参数的信道资源；以及
在成功获取信道资源之后，确定所述特定分布式节点将用于生成全局模型参数。
15.如项目14所述的电子设备，其中，
所述数据采集信息包括分布式节点的节点位置，并且
所述特定相关性要求包括：所述特定分布式节点在已确定用于生成全局模型参数的所述其它分布式节点的关联的排他区域之外，其中，分布式节点的关联的排他区域由其中各个点与该分布式节点的距离小于排他距离的区域定义或者由与该分布式节点的距离最近的第二预定数量的分布式节点的集合定义。
16.如项目14所述的电子设备，其中，所述处理电路还被配置为：
根据所述特定分布式节点的网络性能参数和本地训练性能参数之一或者二者，调整用于获取信道资源的参数。
17.如项目14所述的电子设备，其中，所述处理电路还被配置为：
在接收到来自所述中央处理装置的停止上传的指示后，停止获取用于向所述中央处理装置发送本地模型参数的信道资源。
18.如项目14所述的电子设备，其中，所述处理电路还被配置为：
确定已确定用于生成全局模型参数的其它分布式节点的数量；以及
在所述数量等于或大于第一预定数量后，停止获取用于向所述中央处理装置发送本地模型参数的信道资源。
19.一种中央处理装置处的用于联邦学习的方法，包括：
确定多个分布式节点中用于生成全局模型参数的一组分布式节点，其中，所述一组分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及
基于所述一组分布式节点的本地模型参数生成全局模型参数，其中，所述本地模型参数是由所述一组分布式节点基于其各自的本地训练数据生成的。
20.一种特定分布式节点处的用于联邦学习的方法，包括：
确定所述特定分布式节点将用于生成全局模型参数，其中，所述特定分布式节点的本地训练数据与已确定用于生成全局模型参数的其它分布式节点的本地训练数据之间的相关性满足特定相关性要求；
将所述特定分布式节点的本地模型参数发送给中央处理装置，其中，所述本地模型参数是由所述特定分布式节点基于其本地训练数据生成的。
21.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由处理器执行时使得处理器执行项目19或20所述的方法。
22、一种用于联邦学习的装置，包括用于执行项目19或20所述的方法的各个步骤的部件。

Claims (10)

1.一种中央处理装置处的用于联邦学习的电子设备，包括处理电路，所述处理电路被配置为：
确定多个分布式节点中用于生成全局模型参数的一组分布式节点，其中，所述一组分布式节点的本地训练数据之间的相关性满足特定相关性要求；以及
基于所述一组分布式节点的本地模型参数生成全局模型参数，其中，所述本地模型参数是由所述一组分布式节点基于其各自的本地训练数据生成的。
2.如权利要求1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的本地训练数据的采集时间之间的时间间隔大于特定时间间隔阈值。
3.如权利要求1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的节点位置之间的距离大于特定距离阈值。
4.如权利要求1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点中的每个分布式节点在所述一组分布式节点中的其余分布式节点的关联的排他区域之外，其中，每个分布式节点的关联的排他区域由其中各个点与该分布式节点的距离小于排他距离的区域定义或者由与该分布式节点的距离最近的第二预定数量的分布式节点的集合定义。
5.如权利要求1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的本地训练数据的生成模型不同。
6.如权利要求1所述的电子设备，其中，所述特定相关性要求包括：
所述一组分布式节点的本地训练数据的数据源不同。
7.如权利要求1所述的电子设备，其中，确定所述多个分布式节点中用于生成全局模型参数的所述一组分布式节点包括：
获取所述多个分布式节点的本地训练数据的数据采集信息，所述数据采集信息能够用于确定所述多个分布式节点的本地训练数据之间的相关性；
基于所述多个分布式节点的本地训练数据的数据采集信息，选择所述多个分布式节点中用于生成全局模型参数的所述一组分布式节点。
8.如权利要求7所述的电子设备，其中，
所述数据采集信息包括所述本地训练数据的采集时间、节点位置、生成模型和数据源中的一项或多项。
9.如权利要求7所述的电子设备，其中，所述处理电路还被配置为：
获取所述多个分布式节点的网络性能参数；
基于所述多个分布式节点的网络性能参数，从所述多个分布式节点中选择所述一组分布式节点用于生成全局模型参数，其中，所述一组分布式节点的网络性能参数满足特定网络性能要求。
10.如权利要求7所述的电子设备，其中，所述处理电路还被配置为：
获取所述多个分布式节点的本地训练性能参数；
基于所述多个分布式节点的本地训练性能参数，从所述多个分布式节点中选择所述一组分布式节点用于生成全局模型参数，其中，所述一组分布式节点的本地训练性能参数满足特定本地训练性能要求。
CN202011173054.XA 2020-10-28 2020-10-28 用于联邦学习的电子设备以及方法 Pending CN114418131A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202011173054.XA CN114418131A (zh) 2020-10-28 2020-10-28 用于联邦学习的电子设备以及方法
JP2023526378A JP2023548150A (ja) 2020-10-28 2021-10-28 連合学習に用いられる電子機器、方法及び記憶媒体
EP21885234.1A EP4207008A4 (en) 2020-10-28 2021-10-28 ELECTRONIC APPARATUS AND METHOD FOR FEDERATED LEARNING
PCT/CN2021/126875 WO2022089507A1 (zh) 2020-10-28 2021-10-28 用于联邦学习的电子设备以及方法
US18/027,371 US20230385688A1 (en) 2020-10-28 2021-10-28 Electronic device and method for federated learning
CN202180071695.0A CN116490883A (zh) 2020-10-28 2021-10-28 用于联邦学习的电子设备以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011173054.XA CN114418131A (zh) 2020-10-28 2020-10-28 用于联邦学习的电子设备以及方法

Publications (1)

Publication Number Publication Date
CN114418131A true CN114418131A (zh) 2022-04-29

Family

ID=81260504

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011173054.XA Pending CN114418131A (zh) 2020-10-28 2020-10-28 用于联邦学习的电子设备以及方法
CN202180071695.0A Pending CN116490883A (zh) 2020-10-28 2021-10-28 用于联邦学习的电子设备以及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202180071695.0A Pending CN116490883A (zh) 2020-10-28 2021-10-28 用于联邦学习的电子设备以及方法

Country Status (5)

Country Link
US (1) US20230385688A1 (zh)
EP (1) EP4207008A4 (zh)
JP (1) JP2023548150A (zh)
CN (2) CN114418131A (zh)
WO (1) WO2022089507A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012319A1 (zh) * 2022-07-11 2024-01-18 索尼集团公司 用于无线通信的电子设备和方法、计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220210140A1 (en) * 2020-12-30 2022-06-30 Atb Financial Systems and methods for federated learning on blockchain
CN115860153B (zh) * 2023-03-01 2023-05-16 北京邮电大学 基于个性化分组联邦学习的无线流量预测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567147A (en) * 2017-09-28 2019-04-10 Int Consolidated Airlines Group Machine learning query handling system
US11488054B2 (en) * 2017-12-06 2022-11-01 Google Llc Systems and methods for distributed on-device learning with data-correlated availability
CN111090631B (zh) * 2020-03-24 2020-06-19 中国人民解放军国防科技大学 分布式环境下的信息共享方法、装置和电子设备
CN111754000B (zh) * 2020-06-24 2022-10-14 清华大学 质量感知的边缘智能联邦学习方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012319A1 (zh) * 2022-07-11 2024-01-18 索尼集团公司 用于无线通信的电子设备和方法、计算机可读存储介质

Also Published As

Publication number Publication date
JP2023548150A (ja) 2023-11-15
EP4207008A1 (en) 2023-07-05
WO2022089507A1 (zh) 2022-05-05
US20230385688A1 (en) 2023-11-30
CN116490883A (zh) 2023-07-25
EP4207008A4 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
TWI752936B (zh) 使用者終端、通訊裝置及方法
JP7019949B2 (ja) リレー通信装置、基地局、方法及び記録媒体
CN106341772B (zh) 无线通信设备和无线通信方法
CN108605198B (zh) 电子装置、信息处理设备和信息处理方法
JP2021119719A (ja) 端末装置、無線通信装置、無線通信方法及びコンピュータプログラム
CN111448807A (zh) 在nr v2x中发送和接收位置信息的方法和装置
US10517055B2 (en) Communication device and communication method
CN106535198B (zh) 频谱管理装置及方法、基站侧和用户设备侧的装置及方法
EP4207008A1 (en) Electronic device and method for federated learning
CA2955113A1 (en) Apparatus and method in wireless communication system
JP2017092652A (ja) 通信装置および通信方法
CN112237025A (zh) 电子设备、通信方法和存储介质
WO2017121378A1 (zh) 网络管理侧和用户设备侧的装置及方法、中央管理装置
CN105992246A (zh) 通信设备和通信方法
JP6848440B2 (ja) 端末装置、基地局装置、方法及び記録媒体
CN116326139A (zh) 用于无线通信的电子设备、方法和存储介质
US10674515B2 (en) User equipment and base station in wireless communications system, and wireless communications method
WO2024111512A1 (ja) 端末装置及び通信方法
EP3902363A1 (en) Receiving device, transmitting device, communication method, and medium
KR20200027420A (ko) 통신 시스템에서 ue 속도에 기초한 사이드링크 자원의 설정 방법 및 장치
CN116489770A (zh) 用于波束失败恢复的设备、方法和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220429