CN114139688A - 基于马尔可夫链共识的工业物联网分布式联邦学习方法 - Google Patents

基于马尔可夫链共识的工业物联网分布式联邦学习方法 Download PDF

Info

Publication number
CN114139688A
CN114139688A CN202111497630.0A CN202111497630A CN114139688A CN 114139688 A CN114139688 A CN 114139688A CN 202111497630 A CN202111497630 A CN 202111497630A CN 114139688 A CN114139688 A CN 114139688A
Authority
CN
China
Prior art keywords
internet
things
matrix
topological graph
consensus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111497630.0A
Other languages
English (en)
Inventor
郑海峰
杜孟轩
冯心欣
陈由甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111497630.0A priority Critical patent/CN114139688A/zh
Publication of CN114139688A publication Critical patent/CN114139688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，包括以下步骤：步骤S1：调度器获取预设区域内物联网设备的连接情况，得到网络拓扑图；步骤S2：调度器根据网络拓扑图，利用快速混合马尔可夫链优化问题计算出最优共识矩阵；步骤S3：调度器根据最优共识矩阵得到一个稀疏拓扑图，并作为当前网络的拓扑图，利用该稀疏拓扑图构造一个辅助图来制定通信资源的调度策略；步骤S4：各个物联网设备分别训练一个本地神经网络模型，并根据调度策略，将训练好的本地神经网络模型广播到它在稀疏拓扑图中的所有邻居设备；步骤S5：当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。

Description

基于马尔可夫链共识的工业物联网分布式联邦学习方法
技术领域
本发明物联网技术领域，具体涉及一种基于马尔可夫链共识的工业物联网分布式联邦学习方法。
背景技术
随着物联网技术的飞速发展及其在智能工厂、工业自动化、智能制造等工业领域的广泛应用，工业物联网技术受到了学术界和工业界的广泛关注。然而，在工业物联网中，由各种传感器设备或物联网设备生成的数据呈爆炸式增长。如果将设备产生的大量数据直接传输到远程云端平台进行进一步的处理和分析，可能会导致严重的网络拥塞和无法忍受的传输延迟。同时，在传输原始数据时，很可能会导致数据隐私的泄露，产生一些不良的结果。由于这些问题使得传统的云计算解决方式很难在未来的工业物联网中被使用。
为了解决上述的问题，在2016年McMahan等人提出了联邦学习。在联邦学习中，边缘端和中心服务器端仅互相传输神经网络的模型参数。因此，中心服务器不会直接获取到边缘设备的本地的私有数据，从而保证了数据隐私的安全性。而且联邦学习对于接入设备的数量没有限制，所以可以很容易的覆盖大规模的设备。但是随着接入设备的不断增加，在中心服务器端，很容易产生网络拥塞，造成很大的时间延迟。而且当服务器出现异常状况时，会直接造成边缘设备也不能正常工作，产生“单点故障”。对于一些距离较远的边缘设备，由于受环境资源的限制，不能及时的传输参数到中心服务器，进而会阻碍联邦学习的进程。
近年来，随着5G技术和工业物联网的不断发展，设备可以直接通过短距离设备到设备(D2D)链路来与在其通信距离内的设备通信。同时，传感器、工厂网关等边缘设备(节点)具有存储、处理和分析本地数据的能力。从而形成了下一代无中心化工业物联网网络，其中边缘设备(传感器)与附近的邻居设备协作，执行大规模、复杂的任务。在此基础上，为了避免联邦学习遇到的问题，一种无中心化分布式联邦学习被提出。在这种无中心化的分布式联邦学习中，中心服务器被移除，所有参与的设备仅与其邻居节点建立通信链路来相互交换模型并聚合达到协作学习的效果。这个方法不仅可以保护数据隐私，而且避免了由于中心服务器的接入设备过多产生的通信瓶颈和由中心服务器故障导致的单点故障。然而由于设备的地理位置和通信距离的限制，使得设备仅可以和部分设备成为邻居并交换信息，导致信息在网络中的混合速度较慢，并影响了分布式联邦学习的效率。在之前的一些研究中，模型聚合的方式往往都是简单的加权平均，或是使用最大度权重或最优恒定边权重等方法来聚合模型。这些方法都不能很好的解决在无中心化分布式联邦学习中信息混合速度慢的问题。此外，这些方法并不会稀疏网络拓扑图，这使得设备在同步通信阶段会消耗很大的时间。
发明内容
有鉴于此，本发明的目的在于提供一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，能够利用当前的网络拓扑情况求出一个最优的共识矩阵来指导参数聚合过程，不仅可以加速设备网络中信息的混合速度，提高设备之间合作的效率，而且对于较为密集的网络拓扑，经过优化共识矩阵后会得到一个稀疏的网络拓扑，从而减少同步通信的时间。
为实现上述目的，本发明采用如下技术方案：
一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，提供一系统，包括调度器和若干物联网设备，包括以下步骤：
步骤S1：调度器获取预设区域内物联网设备的连接情况，得到网络拓扑图；
步骤S2：调度器根据网络拓扑图，利用快速混合马尔可夫链优化问题计算出最优共识矩阵，并将其发送给每个物联网设备；
步骤S3：调度器根据最优共识矩阵得到一个稀疏拓扑图，并将该稀疏拓扑图作为当前网络的拓扑图，使得设备仅与其在稀疏拓扑图中的邻居通信，并利用该稀疏拓扑图构造一个辅助图来制定通信资源的调度策略；
步骤S4：各个物联网设备根据本地存储的数据分别训练一个本地神经网络模型，并在调度器的调度下根据步骤S3得到的调度策略，将训练好的本地神经网络模型广播到它在稀疏拓扑图中的所有邻居设备；
步骤S5：当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。
进一步的，所述步骤S1具体为：
对于部署在预设区域内的物联网设备，通过短距离的D2D链路与在其通信范围内的邻居设备进行通信，构成一个无中心化的网络；
将物联网设备的连接情况发送给调度器，得到一个完整的网络拓扑图
G＝(V,E)
其中，V代表网络中的设备，E代表设备之间的边也就是设备之间的连接情况。
进一步的，所述步骤S2具体为：
将快速混合马尔可夫链优化问题表示为如下问题：
minρ
Figure BDA0003401410210000041
其中，ρ表示共识矩阵C的第二大特征值，设λk(C)表示C的数值上第k大特征值，则ρ＝max{|λ2(C)|,|-λm(C)|}，1表示一个数值全为1 的列向量，ci,j表示矩阵C中第i行第j列的元素值，即设备i和j 相连的边的权重，其中矩阵C为优化变量；
通过解决上述优化问题，得到一个有最小第二大特征值的共识矩阵C，进一步的，将上式改写为如下所示的半正定优化问题：
min s
Figure BDA0003401410210000051
其中，
Figure BDA0003401410210000052
是一个加权拉普拉斯矩阵，
Figure BDA0003401410210000053
是根据拓扑图G得到的关联矩阵，I表示单位矩阵，e＝(e1,...,em)是拓扑图中所有边的权重组成的向量，diag(e)是一个对角矩阵其对角线元素为e中的元素；
Figure BDA0003401410210000054
和 s是优化变量；
通过标准的半正定优化器来优化上述优化问题，最终共识矩阵通过
Figure BDA0003401410210000055
得到。
进一步的，所述步骤S3具体为：
步骤S31:根据最优共识矩阵，对矩阵中权重为0的边不建立通信链路，进一步得到稀疏网络拓扑图G'；
步骤S32:将稀疏网络拓扑图G'作为当前的网络拓扑图，使设备仅与其在G'中的邻居建立通信；
步骤S33:使用IEEE 802.15.4e中的时隙信道跳频TSCH媒体接入层协议建立一个高可靠低延迟的工业物联网网络；
步骤S34:对于TSCH的调度策略，首先根据已经得到的稀疏的网络拓扑图G'来构造一个辅助拓扑图
Figure BDA0003401410210000056
并对得到的辅助拓扑图执行贪婪图着色算法。
进一步的，所述物联网设备的本地神经网络模型的训练，具体为：
Figure BDA0003401410210000057
其中wi,t表示在第t次迭代时，设备i本地的模型，μ为学习率，
Figure BDA0003401410210000061
表示本地损失函数的梯度。
进一步的，所述步骤S5具体为：在每个设备都收到来自所有邻居的模型之后，在本地执行模型聚合的过程如下：
Figure BDA0003401410210000062
其中wi,t为第i个设备本地的模型，
Figure BDA0003401410210000063
为可以与设备i建立通信链路的邻居j的本地模型，
Figure BDA0003401410210000064
为设备i的邻居集，ci,j和ci,i是在步骤 S2中计算出的共识矩阵C中的元素值；
对于所有设备执行模型聚合的过程用矩阵的形式表示为：
Figure BDA0003401410210000065
其中
Figure BDA0003401410210000066
C为步骤S2中求出的共识矩阵。
本发明与现有技术相比具有以下有益效果：
本发明根据当前的设备网络拓扑，利用快速混合马尔可夫链优化问题计算出适合当前网络拓扑的最优共识矩阵，它可以加快信息在网络中的混合速度，提升分布式联邦学习学习的效率，还可以根据原始网络拓扑得到一个稀疏的网络拓扑来节省设备之间同步通信的时间。
附图说明
图1是本发明一实施例工业物联网中分布式联邦学习和通信调度的示意图。
图2是本发明一实施例含有50个设备的原始拓扑和由提供的方法稀疏后的拓扑的示意图。
图3是本发明一实施例提供的方法与其他模型聚合方法在无中心化分布式联邦学习下的验证准确率的对比示意图。
图4是本发明一实施例提供的方法在制定调度策略时得到的稀疏拓扑图的专用单元数量与原始拓扑图的专用单元数量的对比示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，包括如下步骤：
步骤S1、一定区域内的各个设备感知到它的邻居设备后，将其邻居信息发送给调度器来得到当前的网络拓扑图G＝(V,E)；
步骤S2、调度器根据步骤S1得到的拓扑图，利用快速混合马尔可夫链优化问题计算出当前拓扑图的最优共识矩阵C，并将其发送给每个物联网设备用来指导模型聚合过程；
步骤S3、调度器根据步骤S2中计算出的共识矩阵得到一个稀疏拓扑图
Figure BDA0003401410210000071
并将该稀疏拓扑图作为当前网络的拓扑图，使得设备仅与其在稀疏拓扑图中的邻居通信。同时，利用该稀疏拓扑图构造一个辅助图
Figure BDA0003401410210000072
根据辅助图使用贪婪图着色算法来制定通信资源的调度策略；
步骤S4、每个物联网设备在本地初始化相同结构的神经网络共享模型，并利用本地存储的数据训练该神经网络模型。训练完成后，在调度器的调度下根据步骤S3得到的调度策略，将训练好的模型广播到它的所有邻居设备；
步骤S5、当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。
优选的，在本实施例中，在一定区域内由物联网设备组成的网络中，设备之间是通过设备到设备(D2D)链路进行通信，从而构建了一个无中心化的物联网网络。当设备感知到能与他建立通信链路的所有邻居设备后，就将他的邻居信息发送给调度器，使得调度器可以构建出这个区域内完整的网络拓扑图G＝(V,E)，其中V表示设备，E表示设备之间的边，也就是可以建立的通信链路。一个由50个设备组成的网络拓扑如图2(a)所示。
优选的，在本实施例中，调度器根据当前的网络拓扑G＝(V,E)，利用快速混合马尔可夫链优化问题计算出最优共识矩阵。快速混合马尔可夫链优化问题可以表示为如下问题：
minρ
Figure BDA0003401410210000081
其中，ρ表示共识矩阵C的第二大特征值，假设λk(C)表示C的数值上第k大特征值，则ρ＝max{|λ2(C)|,|-λm(C)|}，1表示一个数值全为1 的列向量，ci,j表示矩阵C中第i行第j列的元素值，也可以被理解为设备i和j相连的边的权重，其中矩阵C为优化变量，因此通过解决上述优化问题，可以得到一个有最小第二大特征值的共识矩阵C。为了方便求解，将上式改写为如下所示的半正定优化问题：
mins
Figure BDA0003401410210000091
其中，
Figure BDA0003401410210000092
是一个加权拉普拉斯矩阵，
Figure BDA0003401410210000093
是根据拓扑图G得到的关联矩阵，I表示单位矩阵，e＝(e1,...,em)是所有边的权重组成的向量， diag(e)是一个对角矩阵其对角元素为e中的元素。
Figure BDA0003401410210000094
和s是优化变量。这样一来，可以通过标准的半正定优化器来优化上述优化问题。最终共识矩阵可以通过
Figure BDA0003401410210000095
得到。
优选的，在本实施例中，由于步骤S2中得到的共识矩阵C中有很对边的权重被优化成为0。因此通过步骤S2优化后可以得到一个稀疏的网络拓扑
Figure BDA0003401410210000096
其中，一些在原始拓扑图中需要建立通信的链路在稀疏拓扑图中可以不用建立通信。对于原始拓扑图，图2(a)进行优化，所得到的稀疏拓扑图如图2(b)所示。同时，将该稀疏拓扑图
Figure BDA0003401410210000097
作为当前网络的拓扑图，使得设备仅与其在稀疏拓扑图中的邻居通信。
为了建立一个高可靠、低时延的边缘物联网网络，本发明使用 IEEE 802.15.4e媒体接入层标准中的时隙信道跳频(TSCH)技术作为设备网络的媒体接入层协议，如图1所示，TSCH将通信链路分为由多个时隙和多个信道组成的二维空间，一个单元对应一个时隙和一个信道。一个时隙帧是由L个时隙组成的，其中被用来传输数据的专用单元长度为L0。其余的时隙组成共享单元，被用来广播与无中心化联邦学习训练有关的特定信息。为了避免设备在通信阶段相互干扰，本方案根据当前的稀疏拓扑图构造一个辅助拓扑图
Figure BDA0003401410210000098
然后对辅助拓扑图执行贪婪图着色算法，被赋予相同颜色的设备在同一个时隙内广播本地的数据。其中，辅助图就是在原有的稀疏拓扑图的基础上增加具有相同邻居的设备之间的边，贪婪着色算法得到的总的颜色数量就是在一个帧内的专用单元的长度L0。图4中对比了稀疏拓扑图和原始拓扑图所需要的专用单元的长度，由于一个单元的持续时间是固定的(如10ms)，因此由我们的方法求出的稀疏拓扑图可以节省通信时间。
优选的，在本实施例中，物联网设备可以独立收集数据，所有参与训练的物联网设备利用本地收集到的数据分别独立对本地模型进行训练，这避免了将数据发至云端或中心服务器端集中化处理导致的数据泄露及网络负载过大等问题，保证了设备数据的隐私性。每个物联网设备在本地的训练过程如下：
Figure BDA0003401410210000101
其中wi,t表示在第t次迭代时，设备i本地的模型，μ为学习率，
Figure BDA0003401410210000102
表示损失函数的梯度。在本地更新完成后，如图1所示，每个设备会在调度器的调度下，根据步骤S3得到的调度策略来向邻居广播训练好的模型。
优选的，在本实施例中，参照图1，所述步骤S5中，
当设备收到来自邻居的模型之后，在本地进行模型聚合的过程如下：
Figure BDA0003401410210000103
其中
Figure BDA0003401410210000104
为第i个设备本地的模型，
Figure BDA0003401410210000105
为可以与设备i建立通信链路的邻居j的本地模型，
Figure BDA0003401410210000106
为设备i的邻居集，ci,j和ci,i是在步骤S1中计算出的共识矩阵C中的元素值。此过程可以用矩阵的形式表示为
Figure BDA0003401410210000111
其中
Figure BDA0003401410210000112
C为步骤S2中求出的共识矩阵。本方案就是通过设备在本地单独训练，于邻居设备交换并聚合模型来进行协作学习的。
本发明方法通过优化模型聚合时的共识矩阵，来加快模型的混合速度，提升分布式联邦学习的效率。并且建立了一个高可靠、低时延的物联网网络，制定了一个高效的调度方法。通过与其他现有的模型聚合方法相比，本方案可以在相同的迭代次数下取得更高的验证准确率。同时，本方案还可以稀疏原有设备网络拓扑，大大减少通信所需要的时间。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，提供一系统，包括调度器和若干物联网设备，其特征在于，包括以下步骤：
步骤S1：调度器获取预设区域内物联网设备的连接情况，得到网络拓扑图；
步骤S2：调度器根据网络拓扑图，利用快速混合马尔可夫链优化问题计算出最优共识矩阵，并将其发送给每个物联网设备；
步骤S3：调度器根据最优共识矩阵得到一个稀疏拓扑图，并将该稀疏拓扑图作为当前网络的拓扑图，使得设备仅与其在稀疏拓扑图中的邻居通信，并利用该稀疏拓扑图构造一个辅助图来制定通信资源的调度策略；
步骤S4：各个物联网设备根据本地存储的数据分别训练一个本地神经网络模型，并在调度器的调度下根据步骤S3得到的调度策略，将训练好的本地神经网络模型广播到它在稀疏拓扑图中的所有邻居设备；
步骤S5：当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。
2.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述步骤S1具体为：
对于部署在预设区域内的物联网设备，通过短距离的D2D链路与在其通信范围内的邻居设备进行通信，构成一个无中心化的网络；
各个物联网设备将当前的连接情况发送给调度器来获取设定区域内的完整的网络拓扑图
G＝(V,E)。
其中，V代表网络中的设备，E代表设备之间的边也就是设备之间的连接情况。
3.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述步骤S2具体为：
将快速混合马尔可夫链优化问题表示为如下问题：
minρ
Figure FDA0003401410200000021
其中，ρ表示共识矩阵C的第二大特征值，设λk(C)表示C的数值上第k大特征值，则ρ＝max{|λ2(C)|,|-λm(C)|}，1表示一个数值全为1的列向量，ci,j表示矩阵C中第i行第j列的元素值，即设备i和j相连的边的权重，其中矩阵C为优化变量；
通过解决上述优化问题，得到一个有最小第二大特征值的共识矩阵C，进一步的，将上式改写为如下所示的半正定优化问题：
mins
Figure FDA0003401410200000022
其中，
Figure FDA0003401410200000031
是一个加权拉普拉斯矩阵，
Figure FDA0003401410200000032
是根据拓扑图G得到的关联矩阵，I表示单位矩阵，e＝(e1,...,em)是拓扑图中所有边的权重组成的向量，diag(e)是一个对角矩阵其对角线元素为e中的元素；
Figure FDA0003401410200000033
和s是优化变量；
通过标准的半正定优化器来优化上述优化问题，最终共识矩阵通过
Figure FDA0003401410200000034
得到。
4.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述步骤S3具体为：
步骤S31:根据最优共识矩阵，对矩阵中权重为0的边不建立通信链路，进一步得到稀疏网络拓扑图G'；
步骤S32:将稀疏网络拓扑图G'作为当前的网络拓扑图，使设备仅与其在G'中的邻居建立通信；
步骤S33:使用IEEE 802.15.4e中的时隙信道跳频TSCH媒体接入层协议建立一个高可靠低延迟的工业物联网网络；
步骤S34:对于TSCH的调度策略，首先根据已经得到的稀疏的网络拓扑图G'来构造一个辅助拓扑图
Figure FDA0003401410200000035
并对得到的辅助拓扑图执行贪婪图着色算法。
5.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述物联网设备的本地神经网络模型的训练，具体为：
Figure FDA0003401410200000036
其中wi,t表示在第t次迭代时，设备i本地的模型，μ为学习率，
Figure FDA0003401410200000041
表示本地损失函数的梯度。
6.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述步骤S5具体为：在每个设备都收到来自所有邻居的模型之后，在本地执行模型聚合的过程如下：
Figure FDA0003401410200000042
其中wi,t为第i个设备本地的模型，
Figure FDA0003401410200000043
为可以与设备i建立通信链路的邻居j的本地模型，
Figure FDA0003401410200000044
为设备i的邻居集，ci,j和ci,i是在步骤S2中计算出的共识矩阵C中的元素值；
对于所有设备执行模型聚合的过程用矩阵的形式表示为：
Figure FDA0003401410200000045
其中
Figure FDA0003401410200000046
C为步骤S2中求出的共识矩阵。
CN202111497630.0A 2021-12-09 2021-12-09 基于马尔可夫链共识的工业物联网分布式联邦学习方法 Pending CN114139688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111497630.0A CN114139688A (zh) 2021-12-09 2021-12-09 基于马尔可夫链共识的工业物联网分布式联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111497630.0A CN114139688A (zh) 2021-12-09 2021-12-09 基于马尔可夫链共识的工业物联网分布式联邦学习方法

Publications (1)

Publication Number Publication Date
CN114139688A true CN114139688A (zh) 2022-03-04

Family

ID=80385053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111497630.0A Pending CN114139688A (zh) 2021-12-09 2021-12-09 基于马尔可夫链共识的工业物联网分布式联邦学习方法

Country Status (1)

Country Link
CN (1) CN114139688A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174404A (zh) * 2022-05-17 2022-10-11 南京大学 一种基于sdn组网的多设备联邦学习系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935724A (zh) * 2020-07-06 2020-11-13 天津大学 基于异步深度强化学习的无线传感器网络拓扑优化方法
CN113065649A (zh) * 2021-02-22 2021-07-02 中国互联网络信息中心 一种复杂网络拓扑图表示学习方法、预测方法及服务器
CN113222179A (zh) * 2021-03-18 2021-08-06 北京邮电大学 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN113537514A (zh) * 2021-07-27 2021-10-22 北京邮电大学 一种高能效的基于数字孪生的联邦学习框架

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935724A (zh) * 2020-07-06 2020-11-13 天津大学 基于异步深度强化学习的无线传感器网络拓扑优化方法
CN113065649A (zh) * 2021-02-22 2021-07-02 中国互联网络信息中心 一种复杂网络拓扑图表示学习方法、预测方法及服务器
CN113222179A (zh) * 2021-03-18 2021-08-06 北京邮电大学 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN113537514A (zh) * 2021-07-27 2021-10-22 北京邮电大学 一种高能效的基于数字孪生的联邦学习框架

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174404A (zh) * 2022-05-17 2022-10-11 南京大学 一种基于sdn组网的多设备联邦学习系统

Similar Documents

Publication Publication Date Title
Lei et al. Toward intelligent cooperation of UAV swarms: When machine learning meets digital twin
CN112203282B (zh) 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
Zhou et al. Machine learning for massive industrial internet of things
Liao et al. Cognitive balance for fog computing resource in Internet of Things: An edge learning approach
CN111556516B (zh) 面向时延和能效敏感业务的分布式无线网络任务协同分配方法
Balakrishnan et al. Resource management and fairness for federated learning over wireless edge networks
CN107370732A (zh) 基于神经网络和最优推荐的工控系统异常行为发现系统
CN106507275B (zh) 一种无线传感器网络的鲁棒分布式滤波方法和装置
CN103596191A (zh) 一种无线传感器网络智能配置系统及其方法
Tian et al. Optimization-oriented RAW modeling of IEEE 802.11 ah heterogeneous networks
WO2022262127A1 (zh) 智慧物联网综合感知系统及方法
CN113411213A (zh) 基于物联网的自组网拓扑控制方法及协同监测方法
CN114139688A (zh) 基于马尔可夫链共识的工业物联网分布式联邦学习方法
Chapman et al. Uav flocking with wind gusts: Adaptive topology and model reduction
CN107743302A (zh) 无线传感器网络中基于压缩感知的速率分配和路由联合优化算法
CN116614195A (zh) 基于边缘容器的电碳计算智能融合终端及时间同步方法
CN116405503A (zh) 一种无人机集群网络拓扑推断方法
CN116133082A (zh) 一种提高航空自组网拓扑持续时间的多跳分簇方法
CN112738225B (zh) 基于人工智能的边缘计算方法
HaghighiFard et al. Hierarchical federated learning in multi-hop cluster-based vanets
CN107835043A (zh) 一种快速评估无线供电通信中信息传输中断概率的方法
Akbari et al. AoI-Aware Energy-Efficient SFC in UAV-Aided Smart Agriculture Using Asynchronous Federated Learning
Asonye et al. Realizing an IoT-Based Home Area Network Model Using ZigBee in the Global Environment
CN100413264C (zh) 可扩展路由器系统传输适配子层通信模式的性能评价方法
CN117221131B (zh) 一种物联网通信方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination