CN116991587B - 联邦学习中的设备调度方法及装置 - Google Patents
联邦学习中的设备调度方法及装置 Download PDFInfo
- Publication number
- CN116991587B CN116991587B CN202311021524.4A CN202311021524A CN116991587B CN 116991587 B CN116991587 B CN 116991587B CN 202311021524 A CN202311021524 A CN 202311021524A CN 116991587 B CN116991587 B CN 116991587B
- Authority
- CN
- China
- Prior art keywords
- parameter
- parameters
- computing devices
- computing
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 103
- 238000004891 communication Methods 0.000 claims abstract description 92
- 230000004931 aggregating effect Effects 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims description 80
- 238000004220 aggregation Methods 0.000 claims description 80
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006116 polymerization reaction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 10
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- ZBNJXSZNWZUYCI-UHFFFAOYSA-N octadecyl 2-(trimethylazaniumyl)ethyl phosphate Chemical compound CCCCCCCCCCCCCCCCCCOP([O-])(=O)OCC[N+](C)(C)C ZBNJXSZNWZUYCI-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种联邦学习中的设备调度方法及装置，涉及人工智能技术领域，尤其涉及机器学习、深度学习技术领域。实现方案为：获取用于联合训练模型的多个计算设备和所述多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息；基于所述参数距离信息，对所述多个计算设备进行聚类，以得到多个设备簇；对于所述多个设备簇中的任一设备簇：对所述设备簇内的每个计算设备的第一参数进行聚合，以获得所述设备簇经过所述当前轮训练所得到的所述模型的第二参数；以及将所述第二参数发送至所述设备簇中的通信设备，以便所述通信设备将所述第二参数转发至所述设备簇中的其他计算设备进行下一轮训练。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及机器学习、深度学习技术领域，具体涉及一种联邦学习中的设备调度方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
人工智能(Artificial Intelligence，AI)是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
联邦学习(Federated Learning)是一种新兴的人工智能基础技术。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种联邦学习中的设备调度方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面，提供了一种联邦学习中的设备调度方法，包括：获取用于联合训练模型的多个计算设备和所述多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息，其中，所述第一参数为相应计算设备利用本地训练样本对所述模型进行当前轮训练所得到的所述模型的参数；基于所述参数距离信息，对所述多个计算设备进行聚类，以得到多个设备簇；以及对于所述多个设备簇中的任一设备簇：对所述设备簇内的每个计算设备的第一参数进行聚合，以获得所述设备簇经过所述当前轮训练所得到的所述模型的第二参数；以及将所述第二参数发送至所述设备簇中的通信设备，以便所述通信设备将所述第二参数转发至所述设备簇中的其他计算设备进行下一轮训练。
根据本公开的一方面，提供了一种联邦学习中的设备调度装置，包括：第一获取模块，被配置为获取用于联合训练模型的多个计算设备和所述多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息，其中，所述第一参数为相应计算设备利用本地训练样本对所述模型进行当前轮训练所得到的所述模型的参数；聚类模块，被配置为基于所述参数距离信息，对所述多个计算设备进行聚类，以得到多个设备簇；以及聚合模块，被配置为对于所述多个设备簇中的任一设备簇：对所述设备簇内的每个计算设备的第一参数进行聚合，以获得所述设备簇经过所述当前轮训练所得到的所述模型的第二参数；以及将所述第二参数发送至所述设备簇中的通信设备，以便所述通信设备将所述第二参数转发至所述设备簇中的其他计算设备进行下一轮训练。
根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方面的方法。
根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行上述方法。
根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器执行时实现上述方法。
根据本公开的一个或多个实施例，能够提高联邦学习系统的数据处理能力和运行效率，提高所训练的模型的精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
图2示出了根据本公开实施例的联邦学习中的设备调度方法的流程图；
图3示出了根据本公开实施例的重叠密度峰值聚类算法的流程图；
图4示出了根据本公开实施例的示例性设备调度过程的流程图；
图5示出了根据本公开实施例的联邦学习中的设备调度装置的结构框图；以及
图6示出了能够用于实现本公开实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。“多个”指的是两个或两个以上。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
联邦学习是一种新兴的人工智能技术。联邦学习包括横向联邦学习(HorizontalFederated Learning，HFL)、纵向联邦学习、联邦迁移学习等多种学习方式。
横向联邦学习也称为按样本划分的联邦学习。横向联邦学习系统可以采用客户端-服务器(client-server)架构。各个客户端基于本地训练样本独立地进行模型训练，得到模型参数。在横向联邦学习中，不同的客户端具有不同的训练样本(即，样本空间不同)，但每个训练样本包括相同的特征(即，特征空间相同)。由于客户端执行模型训练，因此客户端又被称为联邦学习的参与方。服务器对各个客户端训练得到的模型参数进行聚合，并将聚合后的参数下发至各个客户端，以便各客户端以聚合后的参数为起点进行下一轮训练。
在横向联邦学习中，各客户端的软硬件环境通常不同。并且，各客户端的样本数据的分布往往不一致，即，各客户端的样本数据是非独立分布(Non-IndependentIdentically Distribution，Non-IID)的。这导致不同客户端训练得到的模型参数存在差异。在软硬件环境和样本数据分布差异较大的情况下，不同客户端的模型参数的差异通常也比较大，导致模型收敛速度慢、精度低，联邦学习系统的运行效率低、训练耗时长。客户端需要与服务器进行多轮频繁通信，通信成本高。
针对上述问题，本公开实施例提供了一种联邦学习中的设备调度方法。该方法能够对参与联邦学习的多个客户端计算设备进行聚类，得到多个设备簇，使同一个设备簇内的计算设备具有相同或相似的软硬件环境和样本数据分布。在每个设备簇内进行参数聚合，能够避免因不同计算设备的计算能力或样本数据差异过大而导致的模型参数参差不齐、模型精度较低的情况，提高模型的收敛速度和精度。将聚合后的模型参数发送至每个设备簇的通信设备，由通信设备将聚合后的模型参数进一步转发至设备簇内的其他计算设备，能够减少服务器与计算设备之间的通信次数和数据传输量。因此，本公开实施例的设备调度方法提高了联邦学习系统的数据处理能力和运行效率。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性联邦学习系统100的示意图。参考图1，系统100包括多个计算设备110(110-1～110-7)和服务器120。计算设备110是联邦学习中的客户端，即联邦学习的参与方。多个计算设备110用于联合训练同一个模型。
计算设备110可以是任意类型的电子设备，例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、智能屏设备、自助服务终端设备、服务机器人、车载设备、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些电子设备可以运行各种类型和版本的软件应用程序和操作系统，例如MICROSOFTWindows、APPLE iOS、类UNIX操作系统、Linux或类Linux操作系统；或包括各种移动操作系统，例如MICROSOFT Windows Mobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器(诸如智能眼镜)和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。计算设备110能够执行各种不同的应用程序，例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序，并且可以使用各种通信协议。
在本公开的实施例中，各计算设备110基于本地训练样本对相同的模型进行训练，得到模型参数。服务器120运行使其执行本公开实施例的联邦学习中的设备调度方法的软件应用，以对多个计算设备110进行聚类，得到多个设备簇，并在每个设备簇的范围内进行模型参数的聚合和下发。
例如，如图1所示，在某一轮训练中，计算设备110-1～110-7分别利用本地训练样本对同一个模型进行训练，得到各自的模型参数，即，第一参数。
服务器120获取两两计算设备的第一参数之间的参数距离信息，并基于参数距离信息，对计算设备110-1～110-7进行聚类，得到三个设备簇130-1～130-3。具体地，设备簇130-1包括四个计算设备，即计算设备110-1～110-4；设备簇130-2包括三个计算设备，即计算设备110-4～110-6；设备簇130-3仅包括计算设备110-7。
在通过聚类得到多个设备簇后，服务器120进一步确定每个设备簇内的用于与服务器120进行通信的通信设备。服务器120可以通过随机选择或根据计算设备的硬件配置信息进行选择等方式，从每个设备簇所包括的计算设备中选择一个或多个计算设备作为该设备簇的通信设备。例如，如图1所示，设备簇130-1的通信设备为计算设备110-1和110-2，设备簇130-2的通信设备为计算设备110-5，设备簇130-3的通信设备为110-7。通信设备用于与服务器120进行通信，将本设备簇内的每个计算设备的第一参数上传至服务器120，接收服务器120返回的聚合后的第二参数，并将第二参数转发给本设备簇的其他计算设备，以进行下一轮模型训练。
在服务器120选择了多个计算设备作为通信设备的情况下，多个通信设备可以互为主备，从而提高系统的容灾能力和可用性。例如，设备簇130-1可以以计算设备110-1为主通信设备，以计算设备110-2为备用通信设备。在计算设备110-1工作状态正常的情况下，将计算设备110-1作为与服务器120通信的通信设备，将本设备簇内的所有计算设备的第一参数上传至服务器120，并接收服务器120返回的聚合后的第二参数。在计算设备110-1工作状态异常(例如发生网络故障、软硬件环境故障等)的情况下，将计算设备110-2作为与服务器120通信的通信设备，将本设备簇内的所有计算设备的第一参数上传至服务器120，并接收服务器120返回的聚合后的第二参数。
图2示出了根据本公开实施例的联邦学习中的设备调度方法200的流程图。方法200的各个步骤的执行主体为服务器，例如图1中示出的服务器120。
如图2所示，方法200包括步骤S210-S240。
在步骤S210中，获取用于联合训练模型的多个计算设备和多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息。其中，计算设备的第一参数为该计算设备利用本地训练样本对模型进行当前轮训练所得到的该模型的参数。
在步骤S220中，基于参数距离信息，对多个计算设备进行聚类，以得到多个设备簇。
对于多个设备簇中的任一设备簇，执行步骤S230和S240。
在步骤S230中，对设备簇内的每个计算设备的第一参数进行聚合，以获得该设备簇经过当前轮训练所得到的模型的第二参数。
在步骤S240中，将第二参数发送至该设备簇中的通信设备，以便通信设备将第二参数转发至该设备簇中的其他计算设备进行下一轮训练。
根据本公开的实施例，对参与联邦学习的多个客户端计算设备进行聚类，得到多个设备簇，使同一个设备簇内的计算设备具有相同或相似的软硬件环境和样本数据分布。在每个设备簇内进行参数聚合，能够避免因不同计算设备的计算能力或样本数据差异过大而导致的模型参数参差不齐、模型精度较低的情况，提高模型的收敛速度和精度。将聚合后的模型参数发送至每个设备簇的通信设备，由通信设备将聚合后的模型参数进一步转发至设备簇内的其他计算设备，能够减少服务器与计算设备之间的通信次数和数据传输量。因此，本公开实施例的设备调度方法提高了联邦学习系统的数据处理能力和运行效率。
以下详细介绍方法200的各个步骤。
在步骤S210中，获取用于联合训练模型的多个计算设备和多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息。
计算设备的第一参数是该计算设备利用本地训练样本对模型进行当前轮训练所得到的模型的参数。当前轮训练可以是模型训练过程中的除最后一轮训练之外的任一轮训练，例如第一轮训练、第二轮训练等。
可以理解，模型通常有多个参数。以神经网络模型为例，模型的参数可以包括神经网络节点的权重w、偏置b等。相应地，第一参数可以是由模型的多个参数所组成的向量，即第一参数向量。
两个第一参数的参数距离信息可以表示这两个第一参数的相似度。第一参数与得到该第一参数的计算设备的软硬件配置和样本数据分布相关。因此，两个计算设备的第一参数的参数距离信息可以表示这两个计算设备的相似度。参数距离信息与两个计算设备的相似度负相关，即，两个计算设备的参数距离信息越小，二者越相似；两个计算设备的参数距离信息越大，二者越不相似。
参数距离信息可以有多种计算方式。例如，参数距离信息可以是两个第一参数的欧氏距离、曼哈顿距离等。
根据一些实施例，多个计算设备中的每个计算设备可以通过多方安全计算(secure Multi-Party Computation，MPC)的方式，计算出该计算设备的第一参数与其他计算设备的第一参数之间的参数距离信息，并将参数距离信息发送至服务器。相应地，在步骤S210中，服务器可以获取多个计算设备中的任一计算设备发送的该计算设备的第一参数与其他计算设备的第一参数之间的参数距离信息。根据该实施例，参数距离信息由各计算设备计算得出。服务器可以直接从各个计算设备处获取参数距离信息，而无需进行计算，由此减少了服务器的计算量，节省了服务器的计算资源。
根据另一些实施例，多个计算设备中的每个计算设备可以直接将本地训练得到的第一参数上传至服务器。相应地，在步骤S210中，服务器可以获取多个计算设备中的任一计算设备发送的该计算设备的第一参数。基于多个计算设备各自的第一参数，计算任意两个计算设备各自的第一参数之间的参数距离信息。根据该实施例，参数距离信息由服务器计算得出，计算设备只需将本地的第一参数发送至服务器，无需进行额外的计算，由此减少了计算设备的计算量，避免了计算设备因进行多方安全计算而造成的大量设备间通信和数据传输，节省了计算设备的计算资源。
在步骤S220中，服务器基于所获取的参数距离信息，对多个计算设备进行聚类，以得到多个设备簇。
根据一些实施例，可以基于两两计算设备的参数距离信息，利用重叠聚类(Overlapping Cluster)算法对多个计算设备进行聚类，以使多个计算设备中的任一计算设备属于至少一个设备簇。重叠聚类算法指的是聚类所得到的簇之间可以有元素重叠的聚类算法。利用重叠聚类算法，可以将每个计算设备划分至至少一个设备簇，即，一个计算设备可以同时属于多个设备簇，从而使该计算设备的第一参数参与多个设备簇的参数聚合。
在基于第一参数进行计算设备聚类的过程中，由于各计算设备的样本数据中可能存在统计误差或噪声数据，因此，如果将第一参数仅划分到一个簇中(即，将计算设备仅划分到一个设备簇中)可能会导致聚类结果不够精确。另外，由于样本数据过少等原因而造成的本地学习不足也会降低聚类精度。根据上述实施例，利用重叠聚类算法对计算设备进行聚类，能够降低模型参数的划分边界，避免因样本数据的统计误差、噪声数据或初始学习不足所造成的聚类精度降低。
重叠聚类算法可以是任意能够实现重叠聚类的算法。例如，重叠聚类算法可以是重叠密度峰值聚类(Overlapping Density Peak Cluster，ODPC)算法。
图3示出了根据本公开实施例的重叠密度峰值聚类算法300的流程图。算法300由服务器执行。在算法300中，clienti表示第i个计算设备。如图3所示，重叠密度峰值聚类算法300包括步骤S310-S360。
在步骤S310中，获取clienti与clientj的参数距离dij。
在步骤S320中，计算clienti的局部密度ρi和跟随距离δi＝{di1,di2,...,dik}。
clienti的局部密度ρi指的是到clienti的第一参数的参数距离小于第一距离阈值的计算设备的数量。第一距离阈值可以由本领域技术人员根据需要进行设定。
clienti的跟随距离δi是由clienti到局部密度大于ρi的计算设备clients(s＝1，2，…，k)的距离dis所组成的集合。
在步骤S330中，对跟随距离δi中的元素进行排序，提取最大值dmax和最小值dmin。
在步骤S340中，根据ρi和dmin选取类中心点集合C和噪声点集合N。
例如，可以将ρi大于第一密度阈值且dmin大于第二距离阈值的计算设备作为类中心点。可以理解，每个类中心点对应于一个设备簇。第一密度阈值和第二距离阈值可以由本领域技术人员根据需要进行设定。
例如，可以将ρi小于第二密度阈值且dmin大于第三距离阈值的计算设备作为噪声点。每个噪声点可以作为一个单独的设备簇，不再参与后续的划分步骤。第二密度阈值和第三距离阈值可以由本领域技术人员根据需要进行设定。
在步骤S350中，对δi＝{di1,di2,...,dik}中的每一个距离dis，计算dmax与dis的比值dmax/dis，并从δi中删除dmax/dis<a的距离dis。由此得到更新后的δi集合。
在步骤S360中，根据δi集合将clienti划分到相应的簇C中。例如，可以获取当前δi集合所包括的计算设备中的被标记为类中心点的计算设备，并将clienti划分至以该计算设备为类中心点的设备簇中。由于δi集合中的被标记为类中心点的计算设备可以有多个，因此，clienti可以被划分至多个设备簇中。
在通过步骤S220得到多个设备簇后，可以进一步从每个设备簇的计算设备中确定用于代表该设备处与服务器进行通信的通信设备。
根据一些实施例，可以从设备簇所包括的计算设备中随机选择一个或多个计算设备作为该设备簇的通信设备。
根据另一些实施例，对于多个设备簇中的任一设备簇，获取该设备簇中的每个计算设备的硬件配置信息。基于硬件配置信息，确定该设备簇中的通信设备。根据该实施例，可以将硬件配置最高的计算设备确定为设备簇的通信设备，从而保证通信设备与服务器之间的通信的效率和可靠性。
根据一些实施例，通信设备可以包括互为主备的主通信设备和备用通信设备。在一个设备簇包括多个计算设备的情况下，可以从中选择多个(例如2个、3个)计算设备作为通信设备，即，设备簇的通信设备可以有多个。多个通信设备可以互为主备，即，以其中之一作为主通信设备，其他通信设备均为该主通信设备的备用通信设备。在主通信设备的工作状态异常时，由备用通信设备接替主通信设备来与服务器进行通信。由此能够提高联邦学习系统的容灾能力和可用性。
在步骤S230中，在每个设备簇的范围内进行第一参数的聚合，以得到每个设备簇经过当前轮训练所得到的模型的第二参数。
需要说明的是，在步骤S210中的参数距离信息由各计算设备计算得出并发送至服务器的情况下，服务器还需要进一步获取各计算设备的第一参数，以完成第一参数的聚合。在该情况下，对于多个设备簇中的任一设备簇，获取该设备簇中的通信设备发送的该设备簇中的每个计算设备的第一参数。即，服务器通过每个设备簇的通信设备获取该设备簇内的各计算设备的第一参数。相较于服务器通过与每个计算设备直接通信以获取其第一参数的方案来说，通过设备簇内的通信设备来获取设备簇内的各计算设备的第一参数，减少了服务器与计算设备之间的通信次数和数据传输量，由此提高了通信效率。
根据一些实施例，步骤S230可以包括步骤S232-S236。
在步骤S232中，基于设备簇内的每个计算设备的本地训练样本的数量，对该设备簇内的每个计算设备的第一参数进行聚合，以得到第一聚合参数。
在步骤S234中，对多个计算设备各自的第一参数进行聚合，以得到第二聚合参数。
在步骤S236中，利用第二聚合参数对第一聚合参数进行更新，以得到该设备簇经过当前轮训练所得到的模型的第二参数。
根据上述实施例，第一聚合参数是在设备簇的局部范围内对第一参数进行聚合所得到的局部参数。第二聚合参数是在所有计算设备的全局范围内对第一参数进行聚合所得到的全局参数。利用第二聚合参数对第一聚合参数进行更新，能够降低设备簇的局部参数与全局参数的偏离度，从而加速模型收敛，提高模型精度，进而减少联邦学习系统的模型训练时长，提高联邦学习系统的运行效率。
根据一些实施例，在步骤S232中，可以根据设备簇内的每个计算设备的本地训练样本的数量，确定各计算设备在进行簇内参数聚合时的权重。进而基于各计算设备的权重，对各计算设备的第一参数进行加权求和，以得到第一聚合参数。
在计算第一聚合参数时，计算设备的权重例如可以是该计算设备的参与当前轮训练的本地训练样本的数量与该设备簇内的所有计算设备的参与当前轮训练的本地训练样本的总数量的比值。相应地，第一聚合参数可以按照以下公式(1)和公式(2)计算：
其中，wjk为设备簇j的第一聚合参数中的第k个参数(即，第一聚合参数向量中的第k个元素)，wik为计算设备i的第一参数中的第k个参数(即，第一参数向量中的第k个元素)，ni为计算设备i的参与当前轮训练的本地训练样本的数量，Qj为设备簇j所包括的计算设备的数量，f为第一参数的数量。
与步骤S232类似地，在步骤S234中，可以根据参与联邦学习的所有计算设备的本地训练样本的数量，确定各计算设备在进行全局参数聚合时的权重。进而基于各计算设备的权重，对参与联邦学习的所有计算设备的第一参数进行加权求和，以得到第二聚合参数。
在计算第二聚合参数时，计算设备的权重可以是该计算设备的参与当前轮训练的本地训练样本的数量与参与联邦学习的所有计算设备的参与当前轮训练的本地训练样本的总数量的比值。相应地，第二聚合参数可以按照以下公式(3)和公式(4)计算：
其中，表示全局的第二聚合参数中的第k个参数(即，第二聚合参数向量中的第k个元素)，m为设备簇的数量，wjk为设备簇j的第一聚合参数中的第k个参数(即，第一聚合参数向量中的第k个元素)，nj为设备簇j的参与当前轮训练的本地训练样本的数量。
根据一些实施例，步骤S236可以包括步骤S2362和S2364。
在步骤S2362中，计算第一聚合参数与第二聚合参数的偏差。
在步骤S2364中，基于偏差，对第一聚合参数与第二聚合参数进行融合，以得到融合后的第二参数。
根据上述实施例，基于第一聚合参数与第二聚合参数的偏差对二者进行融合，能够降低设备簇的局部参数与全局参数的偏离度，从而加速模型收敛，提高模型精度，进而减少联邦学习系统的模型训练时长，提高联邦学习系统的运行效率。
根据一些实施例，第一聚合参数与第二聚合参数的偏差可以按照以下公式(5)计算：
其中，αj为设备簇j的第一聚合参数与第二聚合参数的偏差。
根据一些实施例，在步骤S2364中，可以将第一聚合参数与第二聚合参数的平均值作为融合后的第二参数。
根据一些实施例，在步骤S2364中，可以基于偏差，确定第一聚合参数的第一权重和第二聚合参数的第二权重。其中，第一权重与偏差负相关，第二权重与偏差正相关。基于第一权重和第二权重，对第一聚合参数和第二聚合参数进行加权求和，以得到融合后的第二参数。
根据上述实施例，设备簇的局部参数与全局参数的偏差越大，融合时的第一权重越小，由此能够降低设备簇的局部参数与全局参数的偏离度，避免局部参数大幅度偏离全局参数，从而加速模型收敛，提高模型精度，进而减少联邦学习系统的模型训练时长，提高联邦学习系统的运行效率。
根据一些实施例，第一权重和第二权重的和可以是1。相应地，第二参数可以根据以下公式(6)计算：
其中，w′jk为设备簇j的第二参数中的第k个参数，即，第二参数向量中的第k个元素。
在通过步骤S230得到各设备簇的第二参数后，执行步骤S240，将各设备簇的第二参数发送至该设备簇的通信设备，以便通信设备将第二参数转发至该设备簇中的其他计算设备进行下一轮模型训练。
根据一些实施例，上述对计算设备进行聚类的步骤S210和S220可以在模型训练过程中的除最后一轮训练之外的每一轮训练中执行。即，步骤S210中的当前轮训练可以是除最后一轮训练之外的每一轮训练。在非最后一轮训练的任一轮训练完成之后，均需要通过执行步骤S210和S220对计算设备进行重新聚类。在该实施例中，不同轮训练所对应的设备簇可能不同。
根据另一些实施例，步骤S210和S220可以仅在第一轮训练中执行一次，即，步骤S210中的当前轮训练为第一轮训练。根据该实施例，仅在第一轮训练结束后进行一次设备聚类，后续轮次的训练中直接复用第一轮训练的聚类结果，通过步骤S230和S240在单个设备簇的范围内进行参数聚合，而无需重新对计算设备进行聚类，由此能够减小服务器的计算量，提高计算效率，从而提高联邦学习系统的运行效率。
在满足预设的终止条件时，模型训练过程结束。预设的终止条件例如可以是模型训练的轮次数量达到预设数量、全局模型参数收敛、模型的精度高于预设阈值等。
图4示出了根据本公开实施例的联邦学习过程中的设备调度过程400的流程图。过程400由服务器执行。如图4所示，过程400包括步骤S410-S480。
在步骤S410中，初始化全局模型参数w0。
在步骤S420中，各计算设备分别利用本地训练样本对模型进行充分训练，得到训练后的本地参数(即，第一参数)。
在步骤S430中，计算两两计算设备的参数距离，利用重叠聚类算法对计算设备进行聚类，得到设备簇C＝{c1,c2,...,ck}。
在步骤S440中，对设备簇ci中的各计算设备的本地参数进行聚合，得到设备簇ci的初始局部模型参数cwi(即，第一聚合参数)。
在步骤S450中，对所有计算设备的本地参数进行聚合，得到全局模型参数wg(即，第二聚合参数)。
在步骤S460中，计算设备簇ci的初始局部模型参数cwi与全局模型参数wg的偏差ai。
在步骤S470中，根据偏差ai对设备簇ci的初始局部模型参数cwi进行更新，得到设备簇ci的最终局部模型参数cwi’(即，第二参数)。
在步骤S480中，将最终局部模型参数cwi’输出给设备簇ci中的各个计算设备，进行下一轮训练。
根据本公开的实施例，还提供了一种联邦学习中的设备调度装置。图5示出了根据本公开实施例的联邦学习中的设备调度装置500的结构框图。如图5所示，装置500包括第一获取模块510、聚类模块520和聚合模块530。
第一获取模块510被配置为获取用于联合训练模型的多个计算设备和所述多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息，其中，所述第一参数为相应计算设备利用本地训练样本对所述模型进行当前轮训练所得到的所述模型的参数。
聚类模块520被配置为基于所述参数距离信息，对所述多个计算设备进行聚类，以得到多个设备簇。
聚合模块530被配置为对于所述多个设备簇中的任一设备簇：
对所述设备簇内的每个计算设备的第一参数进行聚合，以获得所述设备簇经过所述当前轮训练所得到的所述模型的第二参数；以及
将所述第二参数发送至所述设备簇中的通信设备，以便所述通信设备将所述第二参数转发至所述设备簇中的其他计算设备进行下一轮训练。
根据本公开的实施例，对参与联邦学习的多个客户端计算设备进行聚类，得到多个设备簇，使同一个设备簇内的计算设备具有相同或相似的软硬件环境和样本数据分布。在每个设备簇内进行参数聚合，能够避免因不同计算设备的计算能力或样本数据差异过大而导致的模型参数参差不齐、模型精度较低的情况，提高模型的收敛速度和精度。将聚合后的模型参数发送至每个设备簇的通信设备，由通信设备将聚合后的模型参数进一步转发至设备簇内的其他计算设备，能够减少服务器与计算设备之间的通信次数和数据传输量。因此，本公开实施例的设备调度方法提高了联邦学习系统的数据处理能力和运行效率。
根据一些实施例，所述第一获取模块包括：第一获取单元，被配置为获取所述多个计算设备中的任一计算设备发送的所述计算设备的第一参数与其他计算设备的第一参数之间的参数距离信息。
根据一些实施例，所述第一获取模块包括：第二获取单元，被配置为获取所述多个计算设备中的任一计算设备发送的所述计算设备的第一参数；以及计算单元，被配置为基于所述多个计算设备各自的第一参数，计算所述任意两个计算设备各自的第一参数之间的参数距离信息。
根据一些实施例，所述聚类模块进一步被配置为：基于所述参数距离信息，利用重叠聚类算法对所述多个计算设备进行聚类，以使所述多个计算设备中的任一计算设备属于至少一个设备簇。
根据一些实施例，装置500还包括：第二获取模块，被配置为对于所述多个设备簇中的任一设备簇，获取所述设备簇中的通信设备发送的所述设备簇中的每个计算设备的第一参数。
根据一些实施例，装置500还包括：第三获取模块，被配置为对于所述多个设备簇中的任一设备簇，获取所述设备簇中的每个计算设备的硬件配置信息；以及确定模块，被配置为基于所述硬件配置信息，确定所述设备簇中的通信设备。
根据一些实施例，所述通信设备包括互为主备的主通信设备和备用通信设备。
根据一些实施例，所述聚合模块包括：第一聚合单元，被配置为基于所述设备簇内的每个计算设备的本地训练样本的数量，对所述设备簇内的每个计算设备的第一参数进行聚合，以得到第一聚合参数；第二聚合单元，被配置为对所述多个计算设备各自的第一参数进行聚合，以得到第二聚合参数；以及更新单元，被配置为利用所述第二聚合参数对所述第一聚合参数进行更新，以得到所述第二参数。
根据一些实施例，所述更新单元包括：计算子单元，被配置为计算所述第一聚合参数与所述第二聚合参数的偏差；以及融合子单元，被配置为基于所述偏差，对所述第一聚合参数与所述第二聚合参数进行融合。
根据一些实施例，所述融合子单元进一步被配置为：基于所述偏差，确定所述第一聚合参数的第一权重和所述第二聚合参数的第二权重，其中，所述第一权重与所述偏差负相关，所述第二权重与所述偏差正相关；以及对所述第一聚合参数和所述第二聚合参数进行加权求和。
根据一些实施例，所述当前轮训练为第一轮训练。
应当理解，图5中所示装置500的各个模块和单元可以与参考图2描述的方法200中的各个步骤相对应。由此，上面针对方法200描述的操作、特征和优点同样适用于装置500及其包括的模块和单元。为了简洁起见，某些操作、特征和优点在此不再赘述。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。
还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4、图5描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些单元可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些单元可以被实现为硬件逻辑/电路。例如，在一些实施例中，模块410-530中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的实施例，还提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器，该存储器存储有可被上述至少一个处理器执行的指令，该指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开实施例的联邦学习中的设备调度方法。
根据本公开的实施例，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开实施例的联邦学习中的设备调度方法。
根据本公开的实施例，还提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令在被处理器执行时实现本公开实施例的联邦学习中的设备调度方法。
参考图6，现将描述可以作为本公开的服务器或客户端的电子设备600的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向电子设备600输入信息的任何类型的设备，输入单元606可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、802.11设备、Wi-Fi设备、WiMAX设备、蜂窝通信设备和/或类似物。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (23)
1.一种联邦学习中的设备调度方法，包括：
获取用于联合训练模型的多个计算设备和所述多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息，其中，所述第一参数为相应计算设备利用本地训练样本对所述模型进行当前轮训练所得到的所述模型的参数，所述第一参数与得到该第一参数的相应计算设备的软硬件配置和样本数据分布相关，所述参数距离信息指示所述两个计算设备的相似度并且与所述相似度负相关；
基于所述参数距离信息，利用重叠聚类算法对所述多个计算设备进行聚类，以得到多个设备簇，所述多个计算设备中的任一计算设备属于至少一个设备簇；以及
对于所述多个设备簇中的任一设备簇：
对所述设备簇内的每个计算设备的第一参数进行聚合，以获得所述设备簇经过所述当前轮训练所得到的所述模型的第二参数；以及
将所述第二参数发送至所述设备簇中的通信设备，以便所述通信设备将所述第二参数转发至所述设备簇中的其他计算设备进行下一轮训练。
2.根据权利要求1所述的方法，其中，获取所述任意两个计算设备各自的第一参数之间的参数距离信息包括：
获取所述多个计算设备中的任一计算设备发送的所述计算设备的第一参数与其他计算设备的第一参数之间的参数距离信息。
3.根据权利要求1所述的方法，其中，获取所述任意两个计算设备各自的第一参数之间的参数距离信息包括：
获取所述多个计算设备中的任一计算设备发送的所述计算设备的第一参数；以及
基于所述多个计算设备各自的第一参数，计算所述任意两个计算设备各自的第一参数之间的参数距离信息。
4.根据权利要求2所述的方法，还包括：
对于所述多个设备簇中的任一设备簇，获取所述设备簇中的通信设备发送的所述设备簇中的每个计算设备的第一参数。
5.根据权利要求1所述的方法，还包括：
对于所述多个设备簇中的任一设备簇，获取所述设备簇中的每个计算设备的硬件配置信息；以及
基于所述硬件配置信息，确定所述设备簇中的通信设备。
6.根据权利要求1所述的方法，其中，所述通信设备包括互为主备的主通信设备和备用通信设备。
7.根据权利要求1所述的方法，其中，所述对所述设备簇内的每个计算设备的第一参数进行聚合包括：
基于所述设备簇内的每个计算设备的本地训练样本的数量，对所述设备簇内的每个计算设备的第一参数进行聚合，以得到第一聚合参数；
对所述多个计算设备各自的第一参数进行聚合，以得到第二聚合参数；以及
利用所述第二聚合参数对所述第一聚合参数进行更新，以得到所述第二参数。
8.根据权利要求7所述的方法，其中，所述利用所述第二聚合参数对所述第一聚合参数进行更新包括：
计算所述第一聚合参数与所述第二聚合参数的偏差；以及
基于所述偏差，对所述第一聚合参数与所述第二聚合参数进行融合。
9.根据权利要求8所述的方法，其中，所述基于所述偏差，对所述第一聚合参数与所述第二聚合参数进行融合包括：
基于所述偏差，确定所述第一聚合参数的第一权重和所述第二聚合参数的第二权重，其中，所述第一权重与所述偏差负相关，所述第二权重与所述偏差正相关；以及
对所述第一聚合参数和所述第二聚合参数进行加权求和。
10.根据权利要求1所述的方法，其中，所述当前轮训练为第一轮训练。
11.一种联邦学习中的设备调度装置，包括：
第一获取模块，被配置为获取用于联合训练模型的多个计算设备和所述多个计算设备中的任意两个计算设备各自的第一参数之间的参数距离信息，其中，所述第一参数为相应计算设备利用本地训练样本对所述模型进行当前轮训练所得到的所述模型的参数，所述第一参数与得到该第一参数的相应计算设备的软硬件配置和样本数据分布相关，所述参数距离信息指示所述两个计算设备的相似度并且与所述相似度负相关；
聚类模块，被配置为基于所述参数距离信息，利用重叠聚类算法对所述多个计算设备进行聚类，以得到多个设备簇，所述多个计算设备中的任一计算设备属于至少一个设备簇；以及
聚合模块，被配置为对于所述多个设备簇中的任一设备簇：
对所述设备簇内的每个计算设备的第一参数进行聚合，以获得所述设备簇经过所述当前轮训练所得到的所述模型的第二参数；以及
将所述第二参数发送至所述设备簇中的通信设备，以便所述通信设备将所述第二参数转发至所述设备簇中的其他计算设备进行下一轮训练。
12.根据权利要求11所述的装置，其中，所述第一获取模块包括：
第一获取单元，被配置为获取所述多个计算设备中的任一计算设备发送的所述计算设备的第一参数与其他计算设备的第一参数之间的参数距离信息。
13.根据权利要求11所述的装置，其中，所述第一获取模块包括：
第二获取单元，被配置为获取所述多个计算设备中的任一计算设备发送的所述计算设备的第一参数；以及
计算单元，被配置为基于所述多个计算设备各自的第一参数，计算所述任意两个计算设备各自的第一参数之间的参数距离信息。
14.根据权利要求12所述的装置，还包括：
第二获取模块，被配置为对于所述多个设备簇中的任一设备簇，获取所述设备簇中的通信设备发送的所述设备簇中的每个计算设备的第一参数。
15.根据权利要求11所述的装置，还包括：
第三获取模块，被配置为对于所述多个设备簇中的任一设备簇，获取所述设备簇中的每个计算设备的硬件配置信息；以及
确定模块，被配置为基于所述硬件配置信息，确定所述设备簇中的通信设备。
16.根据权利要求11所述的装置，其中，所述通信设备包括互为主备的主通信设备和备用通信设备。
17.根据权利要求11所述的装置，其中，所述聚合模块包括：
第一聚合单元，被配置为基于所述设备簇内的每个计算设备的本地训练样本的数量，对所述设备簇内的每个计算设备的第一参数进行聚合，以得到第一聚合参数；
第二聚合单元，被配置为对所述多个计算设备各自的第一参数进行聚合，以得到第二聚合参数；以及
更新单元，被配置为利用所述第二聚合参数对所述第一聚合参数进行更新，以得到所述第二参数。
18.根据权利要求17所述的装置，其中，所述更新单元包括：
计算子单元，被配置为计算所述第一聚合参数与所述第二聚合参数的偏差；以及
融合子单元，被配置为基于所述偏差，对所述第一聚合参数与所述第二聚合参数进行融合。
19.根据权利要求18所述的装置，其中，所述融合子单元进一步被配置为：
基于所述偏差，确定所述第一聚合参数的第一权重和所述第二聚合参数的第二权重，其中，所述第一权重与所述偏差负相关，所述第二权重与所述偏差正相关；以及
对所述第一聚合参数和所述第二聚合参数进行加权求和。
20.根据权利要求11所述的装置，其中，所述当前轮训练为第一轮训练。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021524.4A CN116991587B (zh) | 2023-08-14 | 2023-08-14 | 联邦学习中的设备调度方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021524.4A CN116991587B (zh) | 2023-08-14 | 2023-08-14 | 联邦学习中的设备调度方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116991587A CN116991587A (zh) | 2023-11-03 |
| CN116991587B true CN116991587B (zh) | 2024-04-12 |
Family
ID=88533786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311021524.4A Active CN116991587B (zh) | 2023-08-14 | 2023-08-14 | 联邦学习中的设备调度方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116991587B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469373A (zh) * | 2021-08-17 | 2021-10-01 | 北京神州新桥科技有限公司 | 基于联邦学习的模型训练方法、系统、设备及存储介质 |
| CN114553661A (zh) * | 2022-01-29 | 2022-05-27 | 南京邮电大学 | 一种面向无线联邦学习的移动用户设备分簇训练方法 |
| CN115293358A (zh) * | 2022-06-29 | 2022-11-04 | 中国电子技术标准化研究院 | 一种面向物联网的分簇联邦多任务学习方法及装置 |
| CN115796310A (zh) * | 2022-11-08 | 2023-03-14 | 北京百度网讯科技有限公司 | 信息推荐及模型训练方法、装置、设备和存储介质 |
| CN115994226A (zh) * | 2023-03-21 | 2023-04-21 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练系统及方法 |
| CN116029391A (zh) * | 2023-02-06 | 2023-04-28 | 中国烟草总公司贵州省公司 | 基于联邦学习的模型训练方法、预测方法、装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3098670A1 (en) * | 2018-05-06 | 2019-11-14 | Strong Force TX Portfolio 2018, LLC | Methods and systems for improving machines and systems that automate execution of distributed ledger and other transactions in spot and forward markets for energy, compute, storage and other resources |
| US11494700B2 (en) * | 2020-09-16 | 2022-11-08 | International Business Machines Corporation | Semantic learning in a federated learning system |
-
2023
- 2023-08-14 CN CN202311021524.4A patent/CN116991587B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469373A (zh) * | 2021-08-17 | 2021-10-01 | 北京神州新桥科技有限公司 | 基于联邦学习的模型训练方法、系统、设备及存储介质 |
| CN114553661A (zh) * | 2022-01-29 | 2022-05-27 | 南京邮电大学 | 一种面向无线联邦学习的移动用户设备分簇训练方法 |
| CN115293358A (zh) * | 2022-06-29 | 2022-11-04 | 中国电子技术标准化研究院 | 一种面向物联网的分簇联邦多任务学习方法及装置 |
| CN115796310A (zh) * | 2022-11-08 | 2023-03-14 | 北京百度网讯科技有限公司 | 信息推荐及模型训练方法、装置、设备和存储介质 |
| CN116029391A (zh) * | 2023-02-06 | 2023-04-28 | 中国烟草总公司贵州省公司 | 基于联邦学习的模型训练方法、预测方法、装置 |
| CN115994226A (zh) * | 2023-03-21 | 2023-04-21 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116991587A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114298322B (zh) | 联邦学习方法和装置、系统、电子设备、计算机可读介质 | |
| CN113361721B (zh) | 模型训练方法、装置、电子设备、存储介质及程序产品 | |
| KR20210156243A (ko) | 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체 | |
| CN112769897A (zh) | 边缘计算消息的同步方法、装置、电子设备及存储介质 | |
| CN114065864B (zh) | 联邦学习方法、联邦学习装置、电子设备以及存储介质 | |
| CN113642431A (zh) | 目标检测模型的训练方法及装置、电子设备和存储介质 | |
| CN112948614B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112346936A (zh) | 应用故障根因定位方法及系统 | |
| CN114065863A (zh) | 联邦学习的方法、装置、系统、电子设备及存储介质 | |
| CN113114504B (zh) | 用于分配资源的方法、装置、设备、介质和产品 | |
| CN115344753A (zh) | 联邦图计算方法、联邦图计算配置方法、装置及电子设备 | |
| CN113037489B (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN114357495A (zh) | 基于区块链的预言机链下聚合方法、装置、设备和介质 | |
| CN113627298A (zh) | 目标检测模型的训练方法及检测目标对象的方法、装置 | |
| CN116991587B (zh) | 联邦学习中的设备调度方法及装置 | |
| CN114579311B (zh) | 执行分布式计算任务的方法、装置、设备以及存储介质 | |
| CN116341680A (zh) | 人工智能模型适配方法、装置、电子设备以及存储介质 | |
| CN115545215A (zh) | 一种去中心化的联邦聚类学习方法、装置、设备及介质 | |
| CN113641688B (zh) | 节点更新方法、相关装置及计算机程序产品 | |
| CN115544653A (zh) | 刚度仿真测试方法、装置、电子设备以及存储介质 | |
| CN113554062A (zh) | 多分类模型的训练方法、设备和存储介质 | |
| CN111127220A (zh) | 基于投票机制的任务处理方法及装置、设备、介质 | |
| CN114115640B (zh) | 图标的确定方法、装置、设备以及存储介质 | |
| CN117194591B (zh) | 一种球体轨迹到平面地图的显示方法、装置、设备和介质 | |
| CN115107042B (zh) | 机器人调度标识重置方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |