CN113379066B - 一种基于雾计算的联邦学习方法 - Google Patents

一种基于雾计算的联邦学习方法 Download PDF

Info

Publication number
CN113379066B
CN113379066B CN202110646617.0A CN202110646617A CN113379066B CN 113379066 B CN113379066 B CN 113379066B CN 202110646617 A CN202110646617 A CN 202110646617A CN 113379066 B CN113379066 B CN 113379066B
Authority
CN
China
Prior art keywords
model
federal learning
task
block
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110646617.0A
Other languages
English (en)
Other versions
CN113379066A (zh
Inventor
黄晓舸
陈志�
邓雪松
陈前斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110646617.0A priority Critical patent/CN113379066B/zh
Publication of CN113379066A publication Critical patent/CN113379066A/zh
Application granted granted Critical
Publication of CN113379066B publication Critical patent/CN113379066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于雾计算的联邦学习方法，属于移动通信技术领域。位于云端的运营商作为联邦学习任务的发布者，位于边缘的雾节点作为区块链共识节点为联邦学习提供安全的协调服务，同时物联网设备如智能手机和平板电脑作为联邦学习的客户端，通过区块链提供的安全验证服务和给出的分簇联邦学习方法，提出的联邦学习刚刚可以有效地提高联邦学习效率和稳定性。为解决联邦学习存在的单点故障问题和模型恶意攻击问题，提出了基于区块链的客户端协作学习方式，并且为减少引入区块链技术所产生的额外时延，雾节点所维护的区块链共识方式为PBFT，将区块链网络划分为多个子网，每个子网内基于不同的联邦学习任务进行共识验证以减少共识时延。

Description

一种基于雾计算的联邦学习方法
技术领域
本发明属于移动通信技术领域，涉及一种基于雾计算的联邦学习方法。
背景技术
目前，机器学习中的隐私保护问题尤为重要，用户产生的私人数据不应暴露或上传到中央服务器。谷歌在2016年提出了Vanilla Federation Learning(FL)来解决保护隐私的协作训练问题。FL是一个去中心化的框架，利用分布在远程设备上的训练数据协作学习模型，以提高通信效率。基本上，它通过聚合FL参与设备的模型更新(基于分布在参与设备上的训练数据通过本地计算得到的的模型更新)来学习一个共享的预训练模型。VanillaFL中使用的聚合算法负责对许多本地模型的参数进行平均化。
由于这一隐私特征，FL近年来一直吸引着研究人员的注意。为了结合下一代物联网架构即雾计算网络和FL的分布式特性，McMahan等人在2017年提出了一种新的FL范式，其中参与FL的物联网设备(称为客户端)在协调雾服务器的帮助下，在本地协同训练一个单一的机器学习模型，而不必分享他们的原始数据。此外，S.Niknam等人还研究了FL在新兴5G技术中的作用，证明了FL如何有效解决与5G相关的关键挑战。然而，在FL中，由于数据源和计算节点是具有不同所有者和网络情况的个人设备所导致的数据异质性，也被称为Non-IID数据，一个通用的全局模型往往不能适应所有用户生成的数据分布，这与FL的隐含假设不一致，导致全局模型的表达能力不足。此外，随着恶意攻击的增加，FL的安全性也在下降。
为了解决上述问题，在本发明中设计了一种聚类机制来提高学习效率，并将区块链技术与雾计算网络相结合，提出了安全分簇联邦学习(Secure Cluster-based FL,SCFL)方案，该方案使用层次聚类法自适应地生成模型更新簇并基于簇得到具体的多个全局模型以适配不同类型的客户端，区块链交叉验证本地模型更新并存储可追溯的全局模型以解决FL的单点故障问题、恶意模型攻击问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于雾计算的联邦学习方法。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种分簇联邦学习的方法，用于解决传统联邦学习方案的效率问题，所述方法应用于雾服务器(负责全局聚合)包括：
接收参与FL的ID所上传的模型梯度，并基于模型梯度的cosine相似度进行分层聚类，划分多个模型梯度簇并创建对应的ID索引列表；
其中，所诉分层聚类采用的是迭代二分法，该方法可以不断二分物联网设备群并最终生成一个可回溯的二叉树。所诉ID索引列表采用字典格式如ison进行存储，键为簇头，值为ID索引，一个键对应了多个值。
基于分簇结果对模型梯度采用聚合算法(如模型平均)生成多个指向不同ID簇的全局模型，并通过多址接入根据所诉ID索引列表向目标ID发送全局模型；
其中，所诉全局模型发送方式基于支持Topic的消息队列如Kafka和RabbitMQ，在上诉划分ID簇后服务器端会基于簇头在消息队列中创建Topic，并按照生成的ID索引列表通知ID在对应Topic进行消息消费。此时服务器可以将生成的全局模型放入对应Topic继而异步地进行其他计算任务。
第二方面，本发明实施例提供了一种安全的学习协作方法，用于解决传统联邦学习方案的激励问题、单点故障问题和安全问题，所述方法应用于雾服务器和云端包括：
S1：运营商作为任务发布者从云端分发联邦学习(Federated Learning，FL)任务以及对应的智能合约；
其中，智能合约基于区块链系统链(主链)所提供的接口进行签署，主要包括参与联邦学习任务的客户端所需资源信息(如算力大小，数据集大小)，完成任务条件(全局收敛)和奖励。具体而言，设第t次全局迭代时全局模型更新为Δwt，则完成任务条件为||Δwi||≤σ，σ≥0为给定的判定阈值；此外，设客户端i的算力大小为fi，数据集大小为Di，则其奖励为R(fi，Di)＝a·norm(fi)+(1-a)·norm(Di)，a∈(0，1)。
S2：区块链系统为该FL任务创建一个新的F-channel以提供安全的学习协调服务，该F-channel一经创建就会初始化一条新的子链以存储全局学习模型的相关信息；
其中，F-channel的创建和子链的初始化通过fabric chaincode的订阅者模块以完成，且该子链的创世块(Genesis block)包含了全局学习模型的初始化信息，包括模型参数的维数、超参数，激活函数和偏置项。
S3：物联网设备通过公网获取并签署智能合约以作为联邦学习任务的客户端；
其中，物联网设备通过解包签署的合约以得到该任务所对应的F-channel地址和SDK证书，并在该F-channel完成注册认证成为授权的客户端以上传下载模型参数。
S4：客户端下载并解密全局学习模型，并利用本地数据对其进行训练(Tround内)，然后将训练后的模型更新上传；
其中，客户端通过基于证书生成的可逆密码运算符P对下载的全局模型更新进行解密操作并更新本地模型，如下式给出：
wi←wi+P-1(Δwc(i))
其中，wi是客户端i的本地模型参数，Δwc(i)是客户端i所在簇c(i)(通过本发明所提出的分簇方法得到)的全局模型更新，如下式给出：
Figure BDA0003110052690000031
针对客户端i的本地训练过程，采用随机梯度下降(Stochastic GradientDescent，SGD)作为启发式算法，令Di为客户端i所持有的数据集，可以得到：
Δwi←P(SGD(wi，Di)-wi)
S5：FN对客户端上传的模型更新进行校验，并将校验通过的模型更新作为交易存储在交易池内；
其中，FN通过数据签名机制对上传的加密后模型更新进行匹配，若匹配成功则完成校验，反之亦然。
S6：当前F-channel内的所有共识节点FN广播交易并更新交易池，当交易达到给定数量，Leader节点开始生成新区块并将其广播，共识完成后，新区块会挂载到当前FL任务所对应的子链上；
其中，所诉PBFT共识协议将共识节点分为leader replica和follower replica，其中leader replica负责打包新区块并发起共识，而follower replica负责验证，复制和转发区块以完成共识。在本发明中，leader replica需要基于聚类算法计算一个至多个全局模型更新，并将之存储到新生成的区块中，follower replica需要对广播的交易(客户端模型更新)进行交叉验证。此外，为达成高效的共识，定义的区块如图3所示，由区块头和区块体组成。区块头主要存储共识和验证所需的元数据信息，底层区块生成时间戳和父区块哈希值。区块体主要存储与交易相关的信息，其中交易是客户上传的模型更新，Merkle树1是通过自下而上对两两交易进行SHA256操作构建的，其中Merkle树的根节点位于区块头，存储所有交易的元信息，当N个交易在加密后插入Merkle树，最多计算2log2(N)次就可以完成一个交易的查询。以同样的方式，基于簇的全局模型更新以Merkle树结构存储在区块中。
S7：重复S4-S6，直到全局收敛，联邦学习任务完成，任务发布者从该任务对应子链中最新生成的区块获取收敛的全局模型用于测试与部署；
本发明的有益效果在于：在提高雾计算下联邦学习的效率和安全性。本发明利用非独立同分布数据的特性和模型梯度的物理含义，设计了一种聚类机制来提高学习效率并实现具体化、个性化的联邦学习；此外，本发明引入区块链交叉验证本地模型更新并存储可追溯的全局模型以解决联邦学习的单点故障问题、恶意模型攻击问题，并且通过智能合约实现联邦学习的激励问题。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明流程图；
图2为本发明实施例提供的基于区块链的安全分簇联邦学习网络架构示意图；
图3为本发明实施例所涉及的基于联邦学习任务的区块结构示意图；
图4为本发明实施例提供的基于层次聚类的全局模型二叉树生成流程示意图；
图5为本发明实施例提供的安全分簇联邦学习方案示意性运行时序图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，本发明提供的技术方案可以应用于各种通信系统，例如，5G通信系统，未来演进系统或者多种通信融合系统等等。可以包括多种应用场景，例如，机器对机器(Machine to Machine，M2M)、D2M、宏微通信、增强型移动互联网(enhance MobileBroadband，eMBB)、超高可靠性与超低时延通信(ultra Reliable&Low LatencyCommunication，uRLLC)以及海量物联网通信(Massive Machine Type Communication，mMTC)等场景。
图2示出了本发明实施例所涉及的通信系统架构示意图。如图2所示，该通信系统架构主要由以下四层组成：
应用层
应用层基于云服务中心，FL任务发布者可以通过使用主链层提供的接口签署智能合约来发布联邦学习任务，通常声明任务的要求和完成条件。相应地，参与任务的设备将在任务完成后获得相应的奖励。
主链层
主链层是为多个FL任务构建的，它被部署在许多分布式雾节点或可信计算平台上，以去中心化的方式维护和验证F-channel提交的交易。
子链层
子链层是由多个F-channel(Fabric-channel)形成的。F-channel是HyperlegerFabric的一个特性，表示一个隔离的私有子链网络2。每个F-channel中都有几种类型的实体，包括peers、leader replica和follower replica。对于子链层，考虑了一个多址接入的雾计算场景，其中雾节点(如带有雾服务器的基站)作为区块链节点(Replica)，执行交易认证和信息交换，并被分为多个独立的组(F-channel)来部署子链。这些节点所服务的设备被认为是F-channel的一部分(peers)，但不参与子链的共识过程。为了满足设备访问控制的要求，子链中采用了联盟区块链。在每个F-channel中，训练任务以同步的方式进行，SCFL的交互在逻辑上可以分为两部分。分簇FL和安全的协作学习。
设备层
这一层由参与FL任务的设备组成。这些设备，如手机、车辆和智能家用电器，具有一定的存储、计算和通信能力，其在FL中的责任是维护本地收集的数据，然后训练本地模型。此外，这些设备需要将更新的本地模型和一些附加信息(如授权证书和时间戳)打包成一个交易，然后将交易提交给子链。
(1)Clustered-FL
在传统的FL中，假设单一的全局模型可以同时适合所有客户的生成数据分布，即给定一个参数化模型fw：x→y和一个损失函数L(fw(x)，y)，存在一个参数配置，使所有用户端数据分布对应的平均损失函数最小，即给定第i个客户数据集(x，y)∈Di和模型
Figure BDA0003110052690000067
以下公式成立
Figure BDA0003110052690000061
Figure BDA0003110052690000062
其中w表示全局模型梯度，而wi表示客户i的局部模型梯度。然而，由于客户端的Non-IID数据分布或模型fw的低表达性，这一假设经常无法满足。为解决上述问题，考虑分簇结构C＝{c1，…，cK}，
Figure BDA0003110052690000063
是客户端群，其中每个客户端子集ck∈C内的数据分布满足传统的FL条件。
在FL中，中央服务器只能获得与模型相关的信息，考虑到模型是数据条件分布的映射，通过计算客户端模型权重的相似性，可以间接获得不同客户端之间数据分布的一致性程度，因此将模型权重更新作为区分客户端的指标。对于第i个客户端，第t个历时，假设客户通过对其本地数据Di的小批样本进行多次随机梯度下降迭代，改进下载模型，产生一个权重更新向量，表示为
Figure BDA0003110052690000064
而全局权重更新向量可以通过下式得到
Figure BDA0003110052690000065
由于权重更新的几何特性，任何两个客户权重更新之间的余弦相似度为
Figure BDA0003110052690000066
在这项工作中引入了层次聚类分析法，以找到一个最佳的聚类结构。为减少不必要的计算，只有数据分布不一致时，客户端群才会被划分。由于FL目标的收敛解(Δw*→0)在客户端数据分布不一致时，才不是单个客户端的收敛解
Figure BDA0003110052690000071
我们定义客户端群在满足以下两种情况下才能被拆分
Condition(1)：全局模型接近某个收敛点：
Figure BDA0003110052690000072
Condition(2)：本地模型更新远远没有达到收敛点：
Figure BDA0003110052690000073
其中ε1和ε1是超参数。ε1的值应该在运行时间限制允许的范围内设置得越小越好，建议设置为
Figure BDA0003110052690000074
ε2的值应根据可用客户端的数量或客户端数据异质性的先验知识来设定，基于仿真实验，最佳取值范围ε2∈[2ε1，10ε1]。当FL通过基准算法到达收敛点ω*，并且Condition(1)(2)都被满足时，那么所有客户端都被认为已经近似收敛，使其局部损失最小，FL终止。否则，意味着客户端不一致，中央服务器需要进行两分法操作：
1)计算客户群上传的模型更新之间的余弦相似度矩阵α。
2)基于α将客户群划分为两个集群，通过不断调整，使跨集群的客户端之间的最大余弦相似度
Figure BDA0003110052690000075
小于集群内客户端之间的最小余弦相似度
Figure BDA0003110052690000076
其中，
Figure BDA0003110052690000077
和
Figure BDA0003110052690000078
分别由以下公式给出
Figure BDA0003110052690000079
Figure BDA00031100526900000710
两分法操作可以在
Figure BDA00031100526900000711
内完成，因为在FL中假设服务器的计算能力远大于客户端的计算能力，聚类的开销通常可以忽略不计。基于以上分析，本发明提出了Clustered-FL(CFL)算法，该算法可以实现基于Non-IID客户端数据分布的多个具体全局模型的动态获取，以适应不同类型的客户端。具体内容见图1。值得一提的是，CFL支持回滚。如图4所示，考虑到两分法操作是在FL收敛到一个固定点(而不是最优点，这可能是欠拟合的结果)之后进行的，传统的FL解决方案总是作为CFL的一部分被计算出来。这意味着，如果在划分客户群后观察到模型性能的下降，总是可以回到FL解决方案。
(2)Secure Collaboration
使用区块链技术来解决传统FL的安全和稳定问题也是本发明的贡献之一。区块链的核心是共识机制，它可以解决去中心化场景下的协议执行问题。在大量已有研究中采用了著名的区块链共识之一PoW，它允许自由加入和离开，无需任何授权。然而，为了争夺区块生成权，许多共识协议，如PoW或基于PoW的协议，会消耗大量的计算资源，并需要很长的时间来解决散列问题。因此，为了减少提出的SCFL方案中区块链产生的额外延迟，采用了PBFT共识。另一方面，PBFT共识需要多轮通信来达成共识，这将面临通信开销随着参与者数量的增加而呈指数级增长的挑战。为了解决这个问题，引入了Fabric-channel技术，为每个联邦学习任务提供孤立的共识服务，通过减少共识节点的数量来加快新区块的生成，从而加快联邦学习的速度。将服务FL的区块链命名为FL-chain，基于上述分析，图5显示了客户端i和Fabric-channelj之间基于FL-chain的操作时序图，可以总结如下：
1)发布FL任务
任务发布者在网络中发布一个联合学习任务以及相应的智能合约。
2)初始化
2.1)发布者通过fabric chaincode的orderer模块为该任务创建一个新的Fabric-channel和相应子链的创世块。
2.2)物联网设备从公共网络获得并签署合同，解包合同以获得Fabric-channel地址和SDK证书，然后作为一个经过认证的peer(客户端)在Fabric-channel中完成注册。
3)本地训练
3.1)客户端从Fabric-channel下载和解密全局模型的更新，并更新本地模型。加密运算符P是基于证书生成的可逆运算。
wi←wi+P-1(Δwc(i))
3.2)客户端基于所持有的本地原始数据训练模型。
Δwi←P(SGD(wi，Di)-wi)
3.3)客户端将其本地模型更新上传到replica(雾服务器)。
4)校验模型更新
Replica验证客户端上传的更新，经过签名验证的更新将作为交易存储在交易池中。
5)区块生成
5.1)Replica广播交易进行交叉验证并更新其交易池，当交易数量达到设定值，leader replica开始生成新的区块。
5.2)Leader replica根据CFL算法计算多个全局模型的更新，并将以Merkle树的形式存储在新区块中。
Figure BDA0003110052690000091
5.3)Leader replica在Fabric-channel中传播新区块以完成共识，新的区块将被挂载在当前任务子链中。
6)完成FL任务
训练至收敛的全局模型可以从最新的区块中下载获得以测试或部署。
图2是本发明所设场景，按照该图例部署FN和客户端，图3为本发明实施例所涉及的区块结构示意图，图4是本发明所提算法CFL生成全局模型树的过程。图5为在FL-chain内执行FL任务的完整交互过程。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于雾计算的联邦学习方法，其特征在于：该方法包括以下步骤：
S1：运营商作为任务发布者从云端分发联邦学习FL任务以及对应的智能合约；
S2：区块链系统为该FL任务创建F-channel(Hyperledger Fabric通道)以提供安全的学习协调服务，该F-channel一经创建就会初始化一条新的子链以存储全局学习模型的相关信息；
S3：物联网设备通过公网获取并签署智能合约以作为联邦学习任务的客户端；
S4：客户端下载并解密全局学习模型，并利用本地数据在周期时间Tround内对其进行训练，然后将训练后的模型更新上传；
S5：分散式计算存储网络FN对客户端上传的模型更新进行校验，并将校验通过的模型更新作为交易存储在交易池内；
S6：当前F-channel内的所有共识节点FN广播交易并更新交易池，当交易达到给定数量，领导Leader节点开始生成新区块并将其广播，共识完成后，新区块会挂载到当前FL任务所对应的子链上；
S7：重复S4-S6，直到全局收敛，联邦学习任务完成，任务发布者从该任务对应子链中最新生成的区块获取收敛的全局模型用于测试与部署。
2.根据权利要求1所述的一种基于雾计算的联邦学习方法，其特征在于：在所述S1中，智能合约基于区块链系统链所提供的接口进行签署，包括参与联邦学习任务的客户端所需资源信息，包括算力大小和数据集大小，完成全局收敛的任务条件和奖励。
3.根据权利要求1所述的一种基于雾计算的联邦学习方法，其特征在于：在所述S2中，F-channel的创建和子链的初始化通过fabric chaincode(Fabric中的智能合约链码Chaincode)的订阅者模块以完成，且该子链的创世块包含全局学习模型的初始化信息，包括模型参数的维数、超参数，激活函数和偏置项。
4.根据权利要求1或2所述的一种基于雾计算的联邦学习方法，其特征在于：在所述S3中，物联网设备通过解包签署的合约以得到该任务所对应的F-channel地址和软件开发工具包SDK证书，并在该F-channel完成注册认证成为授权的客户端以上传下载模型参数。
5.根据权利要求4所述的一种基于雾计算的联邦学习方法，其特征在于：在所述S4中，客户端通过基于证书生成的可逆密码运算符P，对下载的全局模型更新进行解密操作，并更新本地模型，如下式给出：
Figure FDA0003638076800000011
其中，wi是客户端i的本地模型参数，
Figure FDA0003638076800000012
是客户端i所在簇c(i)的全局模型更新，如
下式给出：
Figure FDA0003638076800000021
针对客户端i的本地训练过程，采用随机梯度下降SGD作为启发式算法，令Di为客户端i所持有的数据集，得到：
Δwi←P(SGD(wi，Di)-wi)。
6.根据权利要求1所述的一种基于雾计算的联邦学习方法，其特征在于：在所述S6中，在实用拜占庭容错PBFT共识协议中，共识节点分为leader replica和follower replica，其中leader replica负责打包新区块并发起共识，而follower replica负责验证，复制和转发区块以完成共识；leader replica需要基于聚类算法计算一个至多个全局模型更新，并将之存储到新生成的区块中，follower replica需要对广播的交易进行交叉验证；定义的区块包括区块头和区块体，区块头存储共识和验证所需的元数据信息，底层区块生成时间戳和父区块哈希值；区块体存储与交易相关的信息，其中交易是客户上传的模型更新，Merkle树是通过自下而上对两两交易进行SHA256操作构建的，其中Merkle树的根节点位于区块头，存储所有交易的元信息，当N个交易在加密后插入Merkle树，最多计算2log2(N)次就完成一个交易的查询；以同样的方式，基于簇的全局模型更新以Merkle树结构存储在区块中。
CN202110646617.0A 2021-06-10 2021-06-10 一种基于雾计算的联邦学习方法 Active CN113379066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646617.0A CN113379066B (zh) 2021-06-10 2021-06-10 一种基于雾计算的联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646617.0A CN113379066B (zh) 2021-06-10 2021-06-10 一种基于雾计算的联邦学习方法

Publications (2)

Publication Number Publication Date
CN113379066A CN113379066A (zh) 2021-09-10
CN113379066B true CN113379066B (zh) 2022-07-08

Family

ID=77573469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646617.0A Active CN113379066B (zh) 2021-06-10 2021-06-10 一种基于雾计算的联邦学习方法

Country Status (1)

Country Link
CN (1) CN113379066B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070775B (zh) * 2021-10-15 2023-07-07 上海智能网联汽车技术中心有限公司 面向5g智能网联系统的区块链网络切片安全智能优化方法
CN113873534B (zh) * 2021-10-15 2024-02-06 深圳点链科技有限公司 一种雾计算中区块链协助的联邦学习主动内容缓存方法
CN113919508B (zh) * 2021-10-15 2022-07-19 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN113708982B (zh) * 2021-10-28 2022-01-18 华中科技大学 一种基于群体学习的服务功能链部署方法及系统
CN114640535B (zh) * 2022-03-30 2024-05-03 深圳前海环融联易信息科技服务有限公司 一种基于区块链的多方安全计算任务调度方法及系统
CN114785810B (zh) * 2022-03-31 2023-05-16 海南师范大学 一种适用于联邦学习的树状广播数据同步方法
CN114978893B (zh) * 2022-04-18 2024-04-12 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN114863169B (zh) * 2022-04-27 2023-05-02 电子科技大学 一种结合并行集成学习和联邦学习的图像分类方法
CN115796275A (zh) * 2023-01-05 2023-03-14 成都墨甲信息科技有限公司 基于区块链的联邦学习方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111866954A (zh) * 2020-07-21 2020-10-30 重庆邮电大学 一种基于联邦学习的用户选择和资源分配方法
CN111935784A (zh) * 2020-08-12 2020-11-13 重庆邮电大学 一种雾计算网络中基于联邦学习的内容缓存方法
CN111931242A (zh) * 2020-09-30 2020-11-13 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
CN112100659A (zh) * 2020-09-14 2020-12-18 电子科技大学 一种区块链联邦学习系统及拜占庭攻击检测方法
CN112203282A (zh) * 2020-08-28 2021-01-08 中国科学院信息工程研究所 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
CN112348204A (zh) * 2020-11-05 2021-02-09 大连理工大学 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
CN112714050A (zh) * 2020-12-22 2021-04-27 齐鲁工业大学 一种基于区块链和联邦学习的数据共享与隐私保护方法
CN112765677A (zh) * 2020-12-30 2021-05-07 杭州溪塔科技有限公司 一种基于区块链的联邦学习方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509684B2 (en) * 2015-04-06 2019-12-17 EMC IP Holding Company LLC Blockchain integration for scalable distributed computations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111866954A (zh) * 2020-07-21 2020-10-30 重庆邮电大学 一种基于联邦学习的用户选择和资源分配方法
CN111935784A (zh) * 2020-08-12 2020-11-13 重庆邮电大学 一种雾计算网络中基于联邦学习的内容缓存方法
CN112203282A (zh) * 2020-08-28 2021-01-08 中国科学院信息工程研究所 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
CN112100659A (zh) * 2020-09-14 2020-12-18 电子科技大学 一种区块链联邦学习系统及拜占庭攻击检测方法
CN111931242A (zh) * 2020-09-30 2020-11-13 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
CN112348204A (zh) * 2020-11-05 2021-02-09 大连理工大学 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
CN112714050A (zh) * 2020-12-22 2021-04-27 齐鲁工业大学 一种基于区块链和联邦学习的数据共享与隐私保护方法
CN112765677A (zh) * 2020-12-30 2021-05-07 杭州溪塔科技有限公司 一种基于区块链的联邦学习方法、装置和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Blockchained On-Device Federated Learning;H. Kim,J. Park,M. Bennis,and S.-L. Kim;《IEEE Communications Letters》;20200630;全文 *
Decentralized Privacy Using Blockchain-Enabled;Youyang Qu，Longxiang Gao，Tom H. Luan,et al.;《IEEE Internet of Things Journal》;20200630;全文 *
雾无线接入网络计算和通信协同性能分析与优化;徐明枫;《中国优秀硕士学位论文全文数据库信息科技辑》;20210531;全文 *

Also Published As

Publication number Publication date
CN113379066A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379066B (zh) 一种基于雾计算的联邦学习方法
Cao et al. Toward on-device federated learning: A direct acyclic graph-based blockchain approach
US11880352B2 (en) Storing and verification of derivative work data on blockchain with original work data
Zhao et al. Blockchain based privacy-preserving software updates with proof-of-delivery for internet of things
He et al. Bift: A blockchain-based federated learning system for connected and autonomous vehicles
Wang et al. A platform-free proof of federated learning consensus mechanism for sustainable blockchains
Wang et al. A blockchain based privacy-preserving federated learning scheme for Internet of Vehicles
Tang et al. Gossipfl: A decentralized federated learning framework with sparsified and adaptive communication
CN113572618A (zh) 结合Fabric和IPFS的去中心化存储系统及其数据存储方法
Wang et al. A trusted consensus fusion scheme for decentralized collaborated learning in massive IoT domain
Moudoud et al. Towards a scalable and trustworthy blockchain: Iot use case
CN114626547A (zh) 一种基于区块链的群组协同学习方法
Xu et al. μDFL: A secure microchained decentralized federated learning fabric atop IoT networks
Duan et al. Combining federated learning and edge computing toward ubiquitous intelligence in 6G network: Challenges, recent advances, and future directions
Wu et al. Privacy-preserving certificateless cloud auditing with multiple users
Yapp et al. Communication-efficient and Scalable Decentralized Federated Edge Learning.
Fan et al. Dlbn: Group storage mechanism based on double-layer blockchain network
CN107181774A (zh) 分布式数据中心之间的数据移动
Sadiq et al. Efficient data trading and storage in internet of vehicles using consortium blockchain
Hassanzadeh-Nazarabadi et al. Dht-based communications survey: architectures and use cases
Nikolaidis et al. Privacy preserving distributed training of neural networks
Zhang et al. Multiaccess edge integrated networking for Internet of Vehicles: A blockchain-based deep compressed cooperative learning approach
CN115544026B (zh) 数据存储方法、装置、电子设备和存储介质
Cheng et al. Vflchain: blockchain-enabled vertical federated learning for edge network data sharing
Xu et al. Ecom: Epoch randomness-based consensus committee configuration for iot blockchains

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant