CN115277446A - 一种节能的在网联邦学习网络和方法 - Google Patents
一种节能的在网联邦学习网络和方法 Download PDFInfo
- Publication number
- CN115277446A CN115277446A CN202210814540.8A CN202210814540A CN115277446A CN 115277446 A CN115277446 A CN 115277446A CN 202210814540 A CN202210814540 A CN 202210814540A CN 115277446 A CN115277446 A CN 115277446A
- Authority
- CN
- China
- Prior art keywords
- network
- switch
- model
- programmable switch
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002776 aggregation Effects 0.000 claims abstract description 51
- 238000004220 aggregation Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络。所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点。所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合。所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。本申请还包含在网联邦学习网络的节能方法。本申请方案减少了参数传输距离，进而减小传输时延，解决现有技术网络开销较大的问题。
Description
技术领域
本申请涉及通信和计算机技术领域，尤其涉及一种基于在网联邦学习的网络节能方法及装置。
背景技术
随着5G时代的到来，网络业务越来越丰富，数据量的产生呈指数级增长，数据的传输给网络带来了巨大的压力。尤其B5G或6G网络的智能化加速发展，存在两方面的问题：网络数据本身的传输、AI训练过程中参数的传输，都带来了非常大的通信开销、传输时延，且缺乏安全性，数据的隐私保护也面临挑战，因此一种绿色、节能且安全的网络架构和方法是至关重要的。
在网计算技术作为近数据处理技术的重要分支，为加速大规模分布式应用带来了前所未有的契机。联邦学习可以在数据不出本地的情况下构建机器学习系统，这有助于确保隐私并降低通信成本。因此，是一种助力实现绿色、节能且安全的网络架构的关键技术。
但是联邦学习自身技术也存在一些弊端，其各参与方和聚合方之间的参数传输也会带来一定的通信开销和传输时延。联邦学习需要多个节点紧密协同处理，对节点间的通信带宽和延迟要求很高。在训练过程中产生大量的参数，极有可能造成网络拥塞。
发明内容
本申请实施例提供一种节能的在网联邦学习网络和方法，用于解决现有技术中参数的传输网络开销较大，以及传输参数数量和传输距离较大导致对模型的收敛造成较大时延的问题。
第一方面，本申请提出一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络。
所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点；
所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合；
所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。
优选地，所述可编程交换机包含可编程的数据处理器，用于实现模型训练过程中梯度向量或模型参数在网聚合。
优选地，在所述边缘节点和所述可编程交换机之间的传输层协议中，包含第一标识信息和负载。所述第一标识信息用于表示迭代次数；所述负载包含梯度向量或模型参数。进一步优选地，所述负载中还包含表示数据量的信息。
优选地，所述交换机网络中包含多个可编程交换机。以多个边缘节点和共同可达的至少一个可编程交换机构成在网联邦学习的网络，其中选择的可编程交换机使各节点到选择的可编程交换机之间的跳数总和最少。
进一步优选地，所述交换机网络的通信协议中包含第二标识；所述第二标识，用于表示优先转发用于聚合的梯度向量或模型参数。
第二方面，本申请还出一种在网联邦学习网络节能方法，用于本申请任意一项实施例所述网络，包含以下步骤：
选定参与联邦学习的多个边缘节点；
以选定的多个边缘节点到共同可达的可编程交换机的跳数之和最少为准则，选择用于参与聚合的可编程交换机；
将联邦学习的初始模型部署到所述选定的多个边缘节点，这些边缘节点利用本地数据进行模型参数更新；
在边缘节点迭代N次后，将更新的梯度向量或模型参数发送到可编程交换机；可编程交换机对各个边缘节点迭代次数相同的梯度向量或模型参数进行聚合计算后，再发送到所述多个边缘节点；
重复进行迭代计算和聚合计算，直到训练结束。
优选地，在所述选定的多个边缘节点和用于聚合计算的可编程交换机之间的任一交换机，响应于通信协议中包含的设定字符，优先转发用于聚合的梯度向量或模型参数。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，并可在处理器运行所述计算机程序时实现第一方面任一所述方法。
第四方面，申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
能够在数据不出本地的情况下进行模型的联合训练，在传统网络协议基础上进行改进和自定义，提出在交换设备上完成大数据的聚合操作。为了满足在网计算需求，提出可编程交换机，它为用户提供了一个完全开放的数据转发平面，用户可以根据需求灵活地定制网络功能，并实现对数据包的线速转发。因此，本专利提出将利用可编程交换机上进行联邦学习训练过程中参数的聚合，减小了参数传输距离，进而减小传输时延，从而减小梯度或者模型参数聚合开销，提供了更低的端到端通信时间。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为现有技术的在网联邦学习网络框架结构；
图2为本说明书实施例提供的参数聚合模型框架结构示意图；
图3为本说明书实施例提供的协议改进第一种情况示意图；
图4为本说明书实施例提供的协议改进第二种情况示意图；
图5为本说明书实施例提供的结合协议的方法流程示意图；
图6为本说明书实施例提供的装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为现有技术的在网联邦学习网络框架结构。
第一种：边缘节点将数据发送到服务器/云端，服务器/云端基于这些数据构建模型进行集中式训练。此方案缺点在于边缘节点的数据量很大，其传输开销巨大，会带来通信的压力和传输时延。
第二种方式：边缘节点数据不出局，服务器/云端构建联邦学习模型，将构建的初始模型下发到边缘节点，边缘节点基于初始模型利用本地数据进行模型训练，将更新后的参数传输到服务器/云端进行参数的聚合，服务器/云端将聚合后的参数再次下发给各边缘节点，边缘节点继续下一轮的参数迭代更新，不断循环直至模型收敛。此方案较第一种方案在数据传输上和数据安全不出局上均有较大改进，但是参数的传输同样带来较大的网络开销，对于模型的收敛速度来讲也有一定时延。
图2为本说明书实施例提供的参数聚合模型框架结构示意图。
本申请提出一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络。
所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点；
所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合；
所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。
优选地，所述可编程交换机包含可编程的数据处理器，用于实现模型训练过程中梯度向量或模型参数在网聚合。
优选地，在所述边缘节点和所述可编程交换机之间的传输层协议中，包含第一标识信息和负载。所述第一标识信息用于表示迭代次数；所述负载包含梯度向量或模型参数。进一步优选地，所述负载中还包含表示数据量的信息。
优选地，所述交换机网络中包含多个可编程交换机。以多个边缘节点和共同可达的至少一个可编程交换机构成在网联邦学习的网络，其中选择的可编程交换机使各节点到选择的可编程交换机之间的跳数总和最少。
进一步优选地，所述交换机网络的通信协议中包含第二标识；所述第二标识，用于表示优先转发。
专利提出了一种基于在网联邦学习的网络节能框架，较传统方案，其框架中主要涉及可编程交换机和边缘节点，边缘节点具备一定的存储和计算能力，存储了数据和可基于数据进行模型训练。可编程交换机可根据需求灵活制定网络功能，本专利一方面在可编程交换机数据平面开发参数聚合计算功能，为解决联邦学习训练过程中梯度向量或模型参数的聚合问题。另一方面，支持定制化协议的解析和转发，即可根据在传统网络协议基础上改进的协议进行解析从而获取携带内容，并按自定义规则进行转发。
进一步说明，将每个所述边缘节点的更新数据发送至所述选定的可编程交换机，包括：在TCP/UDP后面增加数据标识对更新数据进行标识，以及，在TCP/UDP后面增加数据标识对更新数据进行标识。
图3～4为本说明书实施例提供的协议改进的示意图。
作为所述第一标识的例子，在TCP/UDP后面增加“Seg N”标识和负载(payload)信息，N表示参与方(边缘节点)的模型迭代次数，“Seg N”标识一方面能标识第多少次的迭代信息，可为可编程交换机在参数聚合时提供依据，将各参与方“Seg N”标识相同的参数进行聚合计算。另一方面“Seg N”中的“Seg”可表示负载信息的开始，以便可编程交换机的数据平面提取负载具体内容。在参与方将本地迭代后的梯度向量/模型参数发送到参数聚合方(可编程交换机)时，其携带的负载信息中至少包括“参与方的梯度向量/模型参数”和“数据量”，如图3所示，也可根据实际训练情况增加其它信息。在参数聚合方将聚合后的梯度向量/模型参数发送到参与方时，其携带的负载信息中至少包括“聚合方更新后的梯度向量/模型参数”。如图4所示，也可以根据实际情况增加其他信息。
优选地，“Seg N”标识可以为四个字节，N用二进制表示。
如图3～4所示，作为所述第二标识的例子，在IP协议头中使用服务类型ToS(Typeof Service)字段来识别具有专门协议的数据包，本专利用ToS的值来标记对不同的IP流进行优先级排序。ToS 0表示优先级高，ToS 1表示优先级低。若训练任务紧急，设定ToS value为ToS 0，经过的交换机将进行优先转发处理，若训练任务不紧急，设定ToS value为ToS 1，可按照传统IP数据包正常转发即可。
图5为本说明书实施例提供的结合协议的方法流程示意图。
本申请还出一种在网联邦学习网络节能方法，用于本申请任意一项实施例所述网络，包含以下步骤：
步骤201、选定参与联邦学习的多个边缘节点；以选定的多个边缘节点到共同可达的可编程交换机的跳数之和最少为准则，选择用于参与聚合的可编程交换机。
为确定联邦学习组成框架，首先，根据数据分布情况确定哪些边缘节点作为联邦学习的参与方，再以选定的这些边缘节点到可共同可达的可编程交换机的跳数之和最少为准则，选择用于参数聚合的可编程交换机，从而确定了参数聚合方和参与方。
实施例如下：如图2所示，
若确定边缘节点1、边缘节点2、边缘节点3为参与方，以到可共同可达的可编程交换机的跳数之和最少为准则，应选择可编程交换机S3为参数聚合方，共同组成联邦学习框架；
若确定边缘节点1、边缘节点2、边缘节点3、边缘节点4为参与方，以到可共同可达的可编程交换机的跳数之和最少为准则，应选择可编程交换机S1为参数聚合方，共同组成联邦学习框架；
若确定边缘节点1、边缘节点2、边缘节点3、边缘节点4、边缘节点5、边缘节点6为参与方，以到可共同可达的可编程交换机的跳数之和最少为准则，应选择可编程交换机S0为参数聚合方，共同组成联邦学习框架。
步骤202、将联邦学习的初始模型部署到所述选定的多个边缘节点，这些边缘节点利用本地数据进行模型参数更新；
步骤203、在边缘节点迭代N次后，将更新的梯度向量或模型参数发送到可编程交换机；
优选地，在所述选定的多个边缘节点和用于聚合计算的可编程交换机之间的任一交换机，响应于通信协议中包含的设定字符，优先转发用于聚合的梯度向量或模型参数。
例如，参与方在本地迭代N次(可根据模型自定义)后，将更新后的梯度
或者模型参数Wi各自发送到作为参数聚合方的可编程交换机上；如果中间需要经过其它交换机，若训练任务紧急，这些交换机可根据协议中的ToS value标识，进行优先转发处理，若训练任务不紧急，可按照传统IP数据包正常转发即可。
步骤204、可编程交换机对各个边缘节点迭代次数相同的梯度向量或模型参数进行聚合计算后，再发送到所述多个边缘节点；
作为参数聚合方的可编程交换机解析协议中的字段，将各参与方“Seg N”标识相同的梯度
或者模型参数W进行聚合计算，聚合计算包括算术平均、加权平均等，其中加权平均的权重设置可根据各参与方发送的数据量大小设定。然后将聚合后的梯度
或者模型参数W发送到各参与方。
步骤205、各参与方收到聚合后的梯度
或者模型参数W后更新模型，继续迭代训练。
步骤206、重复进行迭代计算和聚合计算，直到训练结束。
例如，重复步骤203～205，直至模型收敛、达到最大迭代次数或者达到最长训练时间。
因此，本申请的上述实施例，提出了一种基于在网联邦学习的网络框架及方法流程，保证在网络原数据不出本地的情况下进行模型的联合训练，在传统网络协议基础上进行改进和自定义，用于梯度向量或者模型参数的传输，然后利用可编程交换机进行模型训练过程中梯度向量或模型参数的在网聚合，从而实现了网络的绿色、节能且安全。
本申请的基于在网联邦学习的网络节能框架，较传统方案，其框架中主要涉及可编程交换机和边缘节点，边缘节点具备一定的存储和计算能力，存储了数据且可基于数据进行模型训练。可编程交换机可根据需求灵活制定网络功能，本专利一方面在可编程交换机数据平面开发参数聚合计算功能，为解决联邦学习训练过程中梯度向量或模型参数的聚合问题。另一方面，支持定制化协议的解析和转发，即可根据在传统网络协议基础上改进的协议进行解析从而获取携带内容，并按自定义规则进行转发。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
因此，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请中任一实施例所述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
因此，本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。
如图6所示，本实施例提供了一种电子设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620运行，使得所述一个或多个处理器620实现本申请实施例所提供的节能的在网联邦学习方法中的以下至少一个步骤：
步骤201、选定参与联邦学习的多个边缘节点；以选定的多个边缘节点到共同可达的可编程交换机的跳数之和最少为准则，选择用于参与聚合的可编程交换机。
步骤204、识别所述第一标识，对各个边缘节点迭代次数相同的梯度向量或模型参数进行聚合计算后，再发送到所述多个边缘节点；
进一步地，还可用于实现以下至少一个步骤：
步骤202、构建联邦学习模型，将构建的初始模型下发到边缘节点。
步骤207、识别所述第二标识，响应于通信协议中包含的设定字符，优先转发用于聚合的梯度向量或模型参数。
图6显示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图6所示，该电子设备600包括处理器620、存储装置610、输入装置630和输出装置640；电子设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；电子设备中的处理器620、存储装置610、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线650连接为例。
可以理解的，本实施例的电子设备，当与任一交换机结合时，构成本申请实施例的可编程交换机。因此，本申请还提出一种可编程交换机。所述输入装置，从交换机输入数据中识别所述第一标识，第二标识、梯度向量或模型参数等；所述输出装置，输出聚合后的梯度向量和/或模型参数至交换机输出数据。
可理解的，本实施例的电子设备，当与任一边缘节点结合时，至少用于实现步骤201。进一步地，用于实现步骤202～203、205，具体内容不再赘述。所述输出设备，用于产生对选定的可编程计算机发送的梯度向量或模型参数，进一步地，还用于产生发送的第一标识和或第二标识。所述输入装置从来自交换机的数据中取得聚合后的梯度向量和/或模型参数；所述输出装置，产生第一标识、第二标识、迭代训练后的梯度向量和/或模型参数。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络，其特征在于，
所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点；
所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合；
所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。
2.如权利要求1所述节能的在网联邦学习网络，其特征在于，
所述可编程交换机包含可编程的数据处理器，用于实现模型训练过程中梯度向量或模型参数在网聚合。
3.如权利要求1所述的节能的在网联邦学习网络，其特征在于，
在所述边缘节点和所述可编程交换机之间的传输层协议中，包含第一标识信息和负载；
所述第一标识信息用于表示迭代次数；所述负载包含梯度向量或模型参数。
4.如权利要求1所述的节能的在网联邦学习网络，其特征在于，
所述交换机网络中包含多个可编程交换机；
以多个边缘节点和共同可达的至少一个可编程交换机构成在网联邦学习的网络，其中选择的可编程交换机使各节点到选择的可编程交换机之间的跳数总和最少。
5.如权利要求1所述的节能的在网联邦学习网络，其特征在于，
所述交换机网络的通信协议中包含第二标识；所述第二标识，用于表示优先转发用于聚合的梯度向量或模型参数。
6.如权利要求3所述的节能的在网联邦学习网络，其特征在于，
所述负载中还包含表示数据量的信息。
7.一种在网联邦学习网络节能方法，用于所述权利要求1～6任意一项所述网络，其特征在于，包含以下步骤：
选定参与联邦学习的多个边缘节点；
以选定的多个边缘节点到共同可达的可编程交换机的跳数之和最少为准则，选择用于参与聚合的可编程交换机；
将联邦学习的初始模型部署到所述选定的多个边缘节点，这些边缘节点利用本地数据进行模型参数更新；
在边缘节点迭代N次后，将更新的梯度向量或模型参数发送到可编程交换机；可编程交换机对各个边缘节点迭代次数相同的梯度向量或模型参数进行聚合计算后，再发送到所述多个边缘节点；
重复进行迭代计算和聚合计算，直到训练结束。
8.如权利要求7所述的在网联邦学习网络节能方法，其特征在于，
在所述选定的多个边缘节点和用于聚合计算的可编程交换机之间的任一交换机，响应于通信协议中包含的设定字符，优先转发用于聚合的梯度向量或模型参数。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，并可在处理器运行所述计算机程序时实现权利要求7所述方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210814540.8A CN115277446A (zh) | 2022-07-12 | 2022-07-12 | 一种节能的在网联邦学习网络和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210814540.8A CN115277446A (zh) | 2022-07-12 | 2022-07-12 | 一种节能的在网联邦学习网络和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115277446A true CN115277446A (zh) | 2022-11-01 |
Family
ID=83766700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210814540.8A Pending CN115277446A (zh) | 2022-07-12 | 2022-07-12 | 一种节能的在网联邦学习网络和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115277446A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118606634A (zh) * | 2024-08-08 | 2024-09-06 | 齐鲁工业大学(山东省科学院) | 基于衰减噪声扰动的自适应保隐私分布式学习方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112929223A (zh) * | 2021-03-08 | 2021-06-08 | 北京邮电大学 | 一种基于联邦学习方式训练神经网络模型的方法及系统 |
| CN113537495A (zh) * | 2021-08-05 | 2021-10-22 | 南方电网数字电网研究院有限公司 | 基于联邦学习的模型训练系统、方法、装置和计算机设备 |
| CN114116198A (zh) * | 2021-10-21 | 2022-03-01 | 西安电子科技大学 | 一种移动车辆的异步联邦学习方法、系统、设备及终端 |
| CN114372581A (zh) * | 2022-02-25 | 2022-04-19 | 中国人民解放军国防科技大学 | 基于区块链的联邦学习方法、装置和计算机设备 |
| CN114462577A (zh) * | 2022-01-30 | 2022-05-10 | 国家电网有限公司大数据中心 | 一种联邦学习系统、方法、计算机设备及存储介质 |
| CN114553879A (zh) * | 2020-11-24 | 2022-05-27 | 中关村海华信息技术前沿研究院 | 分布式任务处理方法、系统及存储介质 |
| CN114650227A (zh) * | 2022-01-27 | 2022-06-21 | 北京邮电大学 | 一种分层联邦学习场景下的网络拓扑构建方法及系统 |
-
2022
- 2022-07-12 CN CN202210814540.8A patent/CN115277446A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114553879A (zh) * | 2020-11-24 | 2022-05-27 | 中关村海华信息技术前沿研究院 | 分布式任务处理方法、系统及存储介质 |
| CN112929223A (zh) * | 2021-03-08 | 2021-06-08 | 北京邮电大学 | 一种基于联邦学习方式训练神经网络模型的方法及系统 |
| CN113537495A (zh) * | 2021-08-05 | 2021-10-22 | 南方电网数字电网研究院有限公司 | 基于联邦学习的模型训练系统、方法、装置和计算机设备 |
| CN114116198A (zh) * | 2021-10-21 | 2022-03-01 | 西安电子科技大学 | 一种移动车辆的异步联邦学习方法、系统、设备及终端 |
| CN114650227A (zh) * | 2022-01-27 | 2022-06-21 | 北京邮电大学 | 一种分层联邦学习场景下的网络拓扑构建方法及系统 |
| CN114462577A (zh) * | 2022-01-30 | 2022-05-10 | 国家电网有限公司大数据中心 | 一种联邦学习系统、方法、计算机设备及存储介质 |
| CN114372581A (zh) * | 2022-02-25 | 2022-04-19 | 中国人民解放军国防科技大学 | 基于区块链的联邦学习方法、装置和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| AMEDEO SAPIO, MARCO CANINI, CHEN-YU HO, JACOB NELSON, PANOS KALNIS 等: "Scaling Distributed Machine Learing with In-Network Aggregation", COMPUTER SCIENCE * |
| 雷凯;黄硕康;方俊杰;黄济乐;谢英英;彭波;: "智能生态网络：知识驱动的未来价值互联网基础设施", 应用科学学报, no. 01 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118606634A (zh) * | 2024-08-08 | 2024-09-06 | 齐鲁工业大学(山东省科学院) | 基于衰减噪声扰动的自适应保隐私分布式学习方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108809857A (zh) | 一种基于sdn的流量监控与业务服务质量保障策略的方法 | |
| CN103685009B (zh) | 数据包的处理方法、控制器及系统 | |
| US20180102965A1 (en) | Unicast branching based multicast | |
| CN111654438B (zh) | 一种网络中建立转发路径的方法、控制器及系统 | |
| US20190140949A1 (en) | Path determining method, apparatus, and system | |
| CN105556916B (zh) | 网络流的信息统计方法和装置 | |
| CN109391614B (zh) | 一种基于视联网调取监控数据的方法和装置 | |
| CN105791169A (zh) | 软件定义网络中交换机转发控制、转发方法及相关设备 | |
| CN106301921B (zh) | 基于隧道的大象流量传输调度方法及系统 | |
| CN105634923B (zh) | 基于sdn控制器的以太网广播优化处理方法 | |
| CN103916253A (zh) | 一种基于信息中心网络的信息传输方法及其系统 | |
| CN105119911A (zh) | 一种基于sdn流的安全认证方法及系统 | |
| CN115277446A (zh) | 一种节能的在网联邦学习网络和方法 | |
| WO2022247462A1 (zh) | 数字孪生网络的流量模拟方法及数字孪生网络 | |
| CN114938374A (zh) | 跨协议负载均衡方法及系统 | |
| CN109286563B (zh) | 一种数据传输的控制方法和装置 | |
| CN108882064B (zh) | 一种基于gpon系统的端口数据包发送方法及系统 | |
| EP3382953A1 (en) | Method for grouped transmission of packets over software-defined networks | |
| CN105376197B (zh) | 实现层次化网络抽象的方法和系统 | |
| CN104838624B (zh) | 一种控制业务数据在虚拟网络中转发的方法、装置及系统 | |
| CN109347930A (zh) | 一种任务处理方法和装置 | |
| CN116455817A (zh) | 一种软件定义云网融合架构及路由实现方法 | |
| CN113572699B (zh) | 云数据中心租户出口流量限速方法与系统 | |
| Hoang et al. | New distributed constraint satisfaction algorithms for load balancing in edge computing: A feasibility study | |
| Liu et al. | Imitation learning based heavy-hitter scheduling scheme in software-defined industrial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221101 |
|
| RJ01 | Rejection of invention patent application after publication |