CN115049071A - 一种基于dag区块链的联邦学习方法 - Google Patents

一种基于dag区块链的联邦学习方法 Download PDF

Info

Publication number
CN115049071A
CN115049071A CN202210656438.XA CN202210656438A CN115049071A CN 115049071 A CN115049071 A CN 115049071A CN 202210656438 A CN202210656438 A CN 202210656438A CN 115049071 A CN115049071 A CN 115049071A
Authority
CN
China
Prior art keywords
model
dag
edge server
block chain
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210656438.XA
Other languages
English (en)
Inventor
黄晓舸
邓雪松
任洋
尹宏博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210656438.XA priority Critical patent/CN115049071A/zh
Publication of CN115049071A publication Critical patent/CN115049071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于DAG区块链的联邦学习方法,属于通信技术领域。该方法包括以下步骤:外部代理作为任务发起者,边缘服务器承担模型聚合以及区块链维护工作,智能设备执行模型训练任务;外部代理初始化全局模型及创世块,决定训练任务的生灭;边缘服务器从DAG区块链上选取tips;智能设备使用本地数据集进行本地训练,完成一轮本地训练后,向边缘服务器发送状态查询信息以确认是否进行下一轮本地训练;智能设备完成本地训练后,将已更新模型上传至边缘服务器进行聚合,并将聚合模型作为一个交易上传至DAG区块链;边缘节点负责模型聚合,且共同维护一个DAG区块链以保障信息的传输可靠性以及整体系统的抗攻击能力。

Description

一种基于DAG区块链的联邦学习方法
技术领域
本发明属于通信技术领域,涉及一种基于DAG区块链的联邦学习方法。
背景技术
自然语言处理,虚拟/增强现实和计算机视觉等等。传统云计算中,用户和云服务器之间的通信往往存在较高延迟,且大量任务的涌入会导致云服务器的拥堵阻塞。鉴于如今发达的硬件技术,各种近端设备如路边单元、分布式基站以及边缘网关等可以提供存储、计算、网络等资源。因此,边缘计算网络概念被提出,其主要思路是将计算存储任务下沉至边缘节点,从而缓解云服务器负担,同时对用户需求进行快速响应。
为了完成一个复杂的计算任务,单一边缘节点的数据量或是计算资源往往不能满足需求。而多方协作带来的数据安全问题会降低参与者的积极性,联邦学习能够在不共享原始数据的情况下进行协作模型学习,日益吸引科技巨头和需要隐私保护的行业的关注。在联邦学习框架中,用户设备的数据集无需传输至边缘节点,由用户在本地执行计算任务,并将模型参数或模型梯度传输至边缘节点进行聚合。由于用户间的原始数据没有进行交互,联邦学习保护了用户的隐私,并将数据采集、训练和模型存储的机器学习过程解耦到边缘节点与用户上。
虽然联邦学习(Federated Learning,FL)能够解决数据拥有者之间的数据隐私问题,但由于边缘节点与用户间的频繁交互以及中心聚合带来的单点故障缺陷,其抗攻击能力面临极大的挑战。区块链技术中的分布式存储带来的不可篡改性以及恶意节点识别技术能够很好地解决数据可靠性传输以及抵抗恶意攻击的问题。而联邦学习作为一种分布式学习架构,能够为区块链技术的融合提供很好的基础。有向无环图(Directed AcyclicGraph,DAG)结构作为区块链技术领域的新星,能够突破传统链式结构的吞吐量限制,更加适用于密集型网络。而DAG区块链天然的异步上链方式能够大大降低网络阻塞,规避传统链式结构中的分叉问题。
传统联邦学习中采用同步聚合,高算力节点需要等待低算力节点完成训练,等待时间内的计算资源被浪费,本发明提供一种半异步聚合方法,设备端的高算力节点可以在等待时间内进行多次本地训练,充分利用有效资源。
发明内容
有鉴于此,本发明的目的在于提供一种基于DAG区块链的联邦学习方法。该方法可以解决用户之间由于隐私数据不共享而导致的联邦学习模型精度及数据安全问题。
为了解决上述技术问题,本发明实现过程如下:
第一步,本发明根据网络中的成员职责及定位的不同,将网络分为边缘服务器和智能设备两层进行协作学习建模,学习任务由外部代理发起,且边缘服务器之间共同维护一个DAG区块链。该方案执行流程如下:
S1:外部代理作为任务发起者,边缘服务器承担模型聚合以及区块链维护工作,智能设备执行模型训练任务。外部代理初始化全局模型及创世块,决定训练任务的生灭;
S2:边缘服务器从DAG区块链上选取tips(即未被批准的交易),将交易内模型参数进行聚合形成基础模型,并将其下发至其覆盖范围内的智能设备;
S3:智能设备使用本地数据集进行本地训练,完成一轮本地训练后,向边缘服务器发送状态查询信息以确认是否进行下一轮本地训练;
S4:智能设备完成本地训练后,将已更新模型上传至边缘服务器进行聚合,并将聚合模型作为一个交易上传至DAG区块链;
S5:基于接受到的智能设备信息以及聚合模型更新边缘服务器信誉值,将其一并打包进交易内上传至DAG区块链;
S6:边缘服务器将交易上传至DAG区块链,被边缘服务器拉取的tips视作被新交易批准,tips的累计权重到达一定阈值,则被视作确认。
S7:外部代理以固定周期从DAG区块链上选取tips并验证其中模型是否已达期望精度,若已满足目标则停止模型训练任务。
第二步,在步骤S1中,外部代理在控制FL训练任务生灭过程的同时,维护一个智能合约以运行DAG区块链。发起任务时,外部代理会生成一个创世块,内含初始模型参数以及测试数据集。此外,作为任务发起者,外部代理可以随时监管DAG区块链运行情况,并决定是否终止FL训练任务。
第三步,在步骤S2中,提供一种tips选取方法。每笔交易中包含自身权重以及该笔交易上传节点的信誉值,通过计算每个tip在当前可观测的所有tips的权重占比,可得到每个tip被选取到的概率。基于此,边缘服务器可选取多个tips,并将其中模型参数进行聚合得到基础模型,以供其覆盖范围内的智能设备进行本地训练。Tip y被x批准(y→x)的概率Pxy可表示为:
Figure BDA0003688106680000021
其中κ是从1开始取值的参数,CW是tip的累计权重,R是边缘节点的信誉值。在DAG区块链中,每笔交易的累积权重等于其自身权重以及直接和间接验证它的交易数量。当累积权重增加到阈值时,交易被认为在DAG区块链上得到确认。
第四步,在步骤S3中,提供一种半异步本地模型更新方法。完成一轮本地训练后,智能设备n向边缘服务器发送带有其当前状态
Figure BDA0003688106680000031
的查询消息。状态响应消息an将指导智能设备n执行相应的操作。如果an=1,则智能设备n进入下一轮本地训练。当an=0,表示智能设备n的剩余等待时间不足以完成下一次本地训练,否则整体等待时间dwait将会增加,因此,智能设备将更新的本地模型传输至边缘节点进行聚合。由此可最小化整体等待时间,提升联邦学习的训练效率。其中,n表示智能设备n,rn表示本地训练轮数计数,
Figure BDA0003688106680000032
表示本地训练的计算时延,
Figure BDA0003688106680000033
表示智能设备n与边缘节点之间的通信时延,tn表示发送该查询消息时的时间戳。
第五步,在步骤S4中,边缘服务器基于智能设备上传的模型更新,采用联邦平均聚合算法得到聚合模型。假设有M个边缘节点,边缘节点m覆盖范围下有Nm个智能设备,边缘节点m第e次聚合模型可计算为:
Figure BDA0003688106680000034
其中,ξ表示全局更新步长,Dn表示智能设备n的本地数据集大小,
Figure BDA0003688106680000035
第六步,在步骤S5中,提供一种基于信誉值更新方法。基于历史信誉值、模型聚合阶段获取到的全部智能设备信息(包括本地迭代轮数及设备的数据集大小)、聚合模型与基础模型之间的余弦相似度以及聚合模型精度,采用熵权法计算出边缘服务器信誉值R,R为0~100的实数。
Figure BDA0003688106680000036
表示边缘节点m的第i个指标的标准化值,可得
Figure BDA0003688106680000037
的占比为:
Figure BDA0003688106680000038
其中,i=1表示边缘节点m的历史信誉值,i=2表示边缘节点m下智能设备的本地训练轮数总和,i=3表示边缘节点m下智能设备的本地数据集大小总和,i=4表示边缘节点m的聚合模型与基础模型之间的余弦相似度,i=5表示边缘节点m的聚合模型精度。标准化均采用正向指标,即其数值越高越好,其计算公式为:
Figure BDA0003688106680000039
由于DAG区块链中的边缘节点都在积极训练模型,模型之间的差异可以用来代表模型的质量。采用余弦相似度表示模型间的差异,可表示为:
Figure BDA0003688106680000041
其中,
Figure BDA0003688106680000042
表示边缘节点m第e次聚合中的基础模型。
由此,指标i的熵权值为:
Figure BDA0003688106680000043
其中,
Figure BDA0003688106680000044
指标的熵权值越大,意味着该指标对边缘节点m信誉值的贡献越大。
由此,可得边缘节点m的信誉值(满分100)为:
Figure BDA0003688106680000045
第七步,在步骤S6中,边缘服务器将聚合模型与信誉值打包为一个交易,上传至DAG区块链。DAG区块链中存在三种交易:①累计权重已达阈值的确认交易;②拥有至少一个批准的未确认交易;③新到达交易,也被称作tips。边缘服务器会将新生成的交易指向获取基础模型时拉取到的tips,此时表明新交易批准了这些tips。交易之间通过批准关系建立单向连接,形成DAG结构。
第八步,在步骤S7中,外部代理在初始化创世块以及模型参数后,每间隔一个固定时间段,依照第三步中类似tips选取方案选取tips并验证其中模型的精度。当模型精度达到期望目标,外部代理向边缘服务器广播终止信号以完成FL训练任务。
为达到上述目的,本发明提供如下技术方案:
本发明的有益效果在于:本发明中,边缘节点负责模型聚合,且共同维护一个DAG区块链以保障信息的传输可靠性以及整体系统的抗攻击能力。智能设备使用本地数据集进行模型更新。此外,本方案的tips选取算法基于信誉值,能够在保证可靠性的同时,以更快的速度完成tips选取。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明实施例中所涉及的一种可能的系统结构示意图;
图2为本发明实施例中外部代理与边缘服务器间交互示意图;
图3为本发明实施例中单个边缘服务器与智能设备间交互示意图;
图4为本发明实施例中DAG区块链内交易类型示意图;
图5为本发明实施例中提供的系统流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
图1示出了本发明实施例所涉及的一种可能的应用场景。如图1所示,该网络中共有三类节点,外部代理、边缘服务器以及智能设备。外部代理即为发布任务的权威机构,在控制FL训练任务生灭过程的同时,维护一个智能合约以运行DAG区块链。边缘服务器拥有充足计算资源,承担模型聚合以及区块链维护工作。智能设备拥有本地数据集及少量计算资源,承担本地模型训练任务。其中最新全局模型以及边缘节点信誉值都会被记录在DAG区块链交易中,以确保信息安全和不可篡改性。
1.系统交互流程
本发明所提算法包含两阶段交互过程:①外部代理与边缘服务器间的交互;②边缘服务器与其覆盖范围内的智能设备间的交互。
1)外部代理与边缘服务器
如图2所示,外部代理与边缘服务器间的交互媒介为DAG区块链。外部代理会初始化全局模型并生成一个创世块,模型训练任务由边缘服务器之间自主执行。得益于DAG区块链的异步特性,边缘服务器在完成一次聚合之后可立即上传至DAG区块链,并开启下一轮训练。DAG区块链是由边缘服务器共同维护的联盟链,其中交易包括身份验证信息,模型参数,信誉值以及tips批准信息。在DAG上新发布但尚未验证的交易通常称为tips。在DAG上发布交易需通过以下三个步骤:
步骤一:节点根据给定算法或随机选择一些tips;
步骤二:节点验证所选tips身份和内容正确性;
步骤三:由对选定的tips构建新交易,并发布在DAG上。
通过以上三个步骤,投票结果存储在已发布的交易中,交易之间通过验证关系建立单向连接,形成DAG架构。
2)边缘服务器与智能设备
如图3所示,单个边缘服务器与其覆盖范围下的智能设备构成FL架构,边缘服务器负责其覆盖范围内模型参数的上传下载,对于每一个边缘服务器及其所属智能设备,边缘服务器从DAG区块链中选取tips并聚合得到基础模型。智能设备从其所属边缘服务器处获取全局模型,并基于本地数据集执行训练任务,各智能设备的训练过程保持独立以保证数据隐私。智能设备的本地训练采取半异步方式以提高FL效率,每完成一轮包含固定迭代次数的本地更新,智能设备向边缘服务器发送带有其当前状态的查询消息。状态响应消息将指导智能设备执行相应的操作。智能设备依据操作指示决定下一步操作。本地训练完成后,边缘服务器收集其覆盖范围内更新的本地模型,采用联邦平均算法进行聚合并上传至DAG区块链。
2.计算模型
边缘服务器m完成一轮本地训练所需时间为:
Figure BDA0003688106680000061
其中,cn表示在智能设备n中训练一个数据样本所需的CPU周期数;Dn表示智能设备n的本地数据集的数据样本数量;fn表示智能设备n所能提供的CPU周期频率;rn表示智能设备n的本地训练轮数;ò表示本地训练达到的期望模型精度;Nm表示边缘服务器m覆盖范围下的智能设备数量;μ为一个常数,取决于数据大小以及训练任务。智能设备n训练本地模型所需要的CPU周期数可表示为ckDk,边缘服务器m在一轮本地训练中的CPU能耗为:
Figure BDA0003688106680000071
其中,ζn为智能设备n计算机组芯片的有效电容系数。
边缘服务器m完成一次模型聚合所需时间为:
Figure BDA0003688106680000072
其中,fm表示边缘服务器m所能提供的CPU周期频率。边缘服务器m一全局轮模型聚合的能耗为:
Figure BDA0003688106680000073
其中,ζm为边缘服务器m计算机组芯片的有效电容系数。
3.通信模型
本网络场景中,考虑智能设备n将模型更新上传至边缘服务器m的时间开销。智能设备n的数据传输速率(bits/s)可以使用香农公式表示:
Figure BDA0003688106680000074
其中,B表示带宽,pn表示机构k的发射功率,gn,m表示智能设备n到边缘服务器m的信道增益,N0表示噪声功率。由此,边缘服务器m覆盖范围下智能设备的通信时延为:
Figure BDA0003688106680000075
其中,sn为智能设备n更新的模型大小。边缘服务器m覆盖范围下智能设备的通信能耗为:
Figure BDA0003688106680000076
3.DAG区块链交易类型
如图4所示,DAG区块链属于分布式账本,其中的交易通过批准信息单向连接。当边缘服务器生成新交易,需将新交易与选择批准的tips连接。由于DAG区块链的异步特性以及边缘服务器观察当前tips数量存在时间窗口,同一tip可能被多笔新交易批准。每笔交易拥有自身权重以及累计权重,累计权重等于交易自身权重加上直接/间接批准该交易的所有交易自身权重之和。累计权重达到权重阈值被视作已确认,即完成共识。
4.交易确认时延
确认时延定义为tips的累积权重达到阈值的时间。假设当h足够小时,tips的数量在时间间隔(t,t+h)内保持不变。至少一个tip被新交易批准的概率为:
1-[1-Pxy(t)]2=2Pxy(t)-[Pxy(t)]2. (15)假设新交易的生成率为达到率为λ的泊松分布,其累计权重的增速可表示为:
ΔCW(t)=λ{2Py(t)-[Py(t)]2}. (16)
因此,给定权重阈值CW0,交易确认时延为:
Figure BDA0003688106680000081
5.优化目标建模
本发明提出一种基于DAG区块链的联邦学习算法,为最小化总时延,包括边缘服务器与智能设备的计算时延、计算设备的通信时延以及DAG区块链的交易确认时延,优化问题可建模为:
Figure BDA0003688106680000082
其中,约束条件C1表示模型上传时延不能超过最大容忍时延;约束条件C2和C3分别本地训练和模型聚合的能耗限制;约束条件C4表示分配的智能设备传输带宽总和不能超过边缘服务器的带宽上限;约束条件C5,C6和C7分别表示传输功率,本地训练计算频率以及模型聚合计算频率的限制。
6.DAG区块链赋能的联邦学习算法流程图
图5为本发明提出的基于DAG区块链的联邦学习流程图,具体步骤为:
S501:系统初始化;
S502:外部代理初始化模型参数并生成DAG区块链的创世块;
S503:边缘服务器构造基础模型;
S504:边缘服务器基于tips选取概率从DAG区块链上拉取tips;
S505:边缘服务器对交易进行身份验证,并确认选取的交易不是冲突交易或直接/间接验证过的冲突交易;
S506:边缘服务器使用联邦平均算法聚合选取tips中的模型参数形成基础模型;
S507:边缘服务器将基础模型下发至其覆盖范围内的智能设备;
S508~S510:智能设备进行本地训练;
S508:智能设备从其所属边缘服务器获取基础模型;
S509:智能设备使用本地数据集对基础模型进行更新;
S510:智能设备完成一轮本地更新之后,向边缘服务器发起询问,请求下一个动作.如果返回动作信息为0,则进入模型聚合阶段,如果返回动作信息为1,则返回步骤S509;
S511:边缘服务器收集来自智能设备更新的模型,使用联邦平均算法聚合得到更新的全局模型;
S512:基于接受到的智能设备信息以及已更新全局模型,边缘服务器之间通信共享信誉值指标信息以更新自身信誉值;
S513:边缘服务器将最新全局模型与更新的信誉值打包为一个交易;
S514:边缘服务器将新交易与选取tips进行单向连接,并批准这些tips,返回步骤S503;
S515:外部代理根据基于tips选取概率从DAG区块链上选取tips;
S516:外部代理对tips进行身份验证并确认交易的有效性;
S517:外部代理使用联邦平均算法聚合模型参数得到验证模型;
S518:判定验证模型是否达到期望精度,若满足期望则进入下一步骤,否则返回步骤S515;
S519:外部代理向边缘服务器广播任务终止信号,算法运行结束。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是计算机,服务器,或者网络侧设备等)执行本发明实施例所述的机构间在隐私保密环境下进行联合建立模型的方法。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于有向无环图DAG区块链的联邦学习方法,其特征在于:该方法包括以下步骤:
S1:外部代理作为任务发起者,边缘服务器承担模型聚合以及区块链维护工作,智能设备执行模型训练任务。外部代理初始化全局模型及创世块,决定训练任务的生灭;
S2:边缘服务器从DAG区块链上选取tips,即未被批准的交易,将交易内模型参数进行聚合形成基础模型,并将其下发至其覆盖范围内的智能设备;
S3:智能设备使用本地数据集进行本地训练,完成一轮本地训练后,向边缘服务器发送状态查询信息以确认是否进行下一轮本地训练;
S4:智能设备完成本地训练后,将已更新模型上传至边缘服务器进行聚合,并将聚合模型作为一个交易上传至DAG区块链;
S5:基于接受到的智能设备信息以及聚合模型更新边缘服务器信誉值,将其一并打包进交易内上传至DAG区块链;
S6:边缘服务器将交易上传至DAG区块链,被边缘服务器拉取的tips视作被新交易批准,tips的累计权重到达一定阈值,则被视作确认;
S7:外部代理以固定周期从DAG区块链上拉取tips并验证其中模型是否已达期望精度,若已满足目标则停止模型训练任务。
2.根据权利要求1所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S1中,外部代理在控制FL训练任务生灭过程的同时,维护一个智能合约以运行DAG区块链;发起任务时,外部代理会生成一个创世块,内含初始模型参数以及测试数据集,作为任务发起者,外部代理随时监管DAG区块链运行情况,并决定是否终止FL训练任务。
3.根据权利要求2所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S2中,提供tips选取方法;每笔交易中包含自身权重以及该笔交易上传节点的信誉值,通过计算每个tip在当前可观测的所有tips的权重占比,得到每个tip被选取到的概率;边缘服务器选取多个tips,并将其中模型参数进行聚合得到基础模型,以供其覆盖范围内的智能设备进行本地训练;Tip y被x批准y→x的概率Pxy表示为:
Figure FDA0003688106670000011
其中κ是从1开始取值的参数,CW是tip的累计权重,R是边缘节点的信誉值;在DAG区块链中,每笔交易的累积权重等于其自身权重以及直接和间接验证它的交易数量;当累积权重增加到阈值时,交易被认为在DAG区块链上得到确认。
4.根据权利要求3所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S3中,提供半异步本地模型更新方法;完成一轮本地训练后,智能设备n向边缘服务器发送带有其当前状态
Figure FDA0003688106670000021
的查询消息;状态响应消息an将指导智能设备n执行相应的操作;如果an=1,则智能设备n进入下一轮本地训练;当an=0,表示智能设备n的剩余等待时间不足以完成下一次本地训练,否则整体等待时间dwait将会增加,智能设备将更新的本地模型传输至边缘节点进行聚合;最小化整体等待时间,其中,n表示智能设备n,rn表示本地训练轮数计数,
Figure FDA0003688106670000022
表示本地训练的计算时延,
Figure FDA0003688106670000023
表示智能设备n与边缘节点之间的通信时延,tn表示发送该查询消息时的时间戳。
5.根据权利要求4所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S4中,边缘服务器基于智能设备上传的模型更新,采用联邦平均聚合算法得到聚合模型;假设有M个边缘节点,边缘节点m覆盖范围下有Nm个智能设备,边缘节点m第e次聚合模型可计算为:
Figure FDA0003688106670000024
其中,ξ表示全局更新步长,Dn表示智能设备n的本地数据集大小,
Figure FDA0003688106670000025
6.根据权利要求5所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S5中,提供一种基于信誉值更新方法;基于历史信誉值、模型聚合阶段获取到的全部智能设备信息,包括本地迭代轮数及设备的数据集大小、聚合模型与基础模型之间的余弦相似度以及聚合模型精度,采用熵权法计算出边缘服务器信誉值R,R为0~100的实数;
Figure FDA0003688106670000026
表示边缘节点m的第i个指标的标准化值,得
Figure FDA0003688106670000027
的占比为:
Figure FDA0003688106670000028
其中,i=1表示边缘节点m的历史信誉值,i=2表示边缘节点m下智能设备的本地训练轮数总和,i=3表示边缘节点m下智能设备的本地数据集大小总和,i=4表示边缘节点m的聚合模型与基础模型之间的余弦相似度,i=5表示边缘节点m的聚合模型精度;标准化均采用正向指标,即其数值越高越好,其计算公式为:
Figure FDA0003688106670000029
由于DAG区块链中的边缘节点都在积极训练模型,模型之间的差异用来代表模型的质量;采用余弦相似度表示模型间的差异,表示为:
Figure FDA0003688106670000031
其中,
Figure FDA0003688106670000032
表示边缘节点m第e次聚合中的基础模型;
由此,指标i的熵权值为:
Figure FDA0003688106670000033
其中,
Figure FDA0003688106670000034
指标的熵权值越大,意味着该指标对边缘节点m信誉值的贡献越大;
得边缘节点m的信誉值为:
Figure FDA0003688106670000035
信誉值满分为100。
7.根据权利要求6所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S6中,边缘服务器将聚合模型与信誉值打包为一个交易,上传至DAG区块链;DAG区块链中存在三种交易:①累计权重已达阈值的确认交易;②拥有至少一个批准的未确认交易;③新到达交易,也被称作tips;边缘服务器会将新生成的交易指向获取基础模型时拉取到的tips,此时表明新交易批准这些tips;交易之间通过批准关系建立单向连接,形成DAG结构。
8.根据权利要求7所述的一种基于DAG区块链的联邦学习方法,其特征在于:所述S7中,外部代理在初始化创世块以及模型参数后,每间隔一个固定时间段,依照S2中tips选取方案选取tips并验证其中模型的精度;当模型精度达到期望目标,外部代理向边缘服务器广播终止信号以完成FL训练任务。
CN202210656438.XA 2022-06-10 2022-06-10 一种基于dag区块链的联邦学习方法 Pending CN115049071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210656438.XA CN115049071A (zh) 2022-06-10 2022-06-10 一种基于dag区块链的联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210656438.XA CN115049071A (zh) 2022-06-10 2022-06-10 一种基于dag区块链的联邦学习方法

Publications (1)

Publication Number Publication Date
CN115049071A true CN115049071A (zh) 2022-09-13

Family

ID=83161569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210656438.XA Pending CN115049071A (zh) 2022-06-10 2022-06-10 一种基于dag区块链的联邦学习方法

Country Status (1)

Country Link
CN (1) CN115049071A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376031A (zh) * 2022-10-24 2022-11-22 江西省科学院能源研究所 基于联邦自适应学习的公路无人机巡检数据处理方法
CN116204793A (zh) * 2023-04-28 2023-06-02 北京航空航天大学 一种基于联邦学习的工业互联网云边模型聚合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376031A (zh) * 2022-10-24 2022-11-22 江西省科学院能源研究所 基于联邦自适应学习的公路无人机巡检数据处理方法
CN116204793A (zh) * 2023-04-28 2023-06-02 北京航空航天大学 一种基于联邦学习的工业互联网云边模型聚合方法

Similar Documents

Publication Publication Date Title
CN115049071A (zh) 一种基于dag区块链的联邦学习方法
CN107947845B (zh) 基于通信中继的无人机编队协同目标分配方法
CN111147307A (zh) 基于深度强化学习的服务功能链可靠部署方法
CN112712182B (zh) 一种基于联邦学习的模型训练方法、装置及存储介质
CN108449286A (zh) 网络带宽资源分配方法及装置
Zheng et al. Blockchain-based secure computation offloading in vehicular networks
CN109544332A (zh) 一种基于用户等级的区块链交易出块的方法
CN108684046B (zh) 一种基于随机学习的接入网服务功能链部署方法
CN109947574B (zh) 一种基于雾网络的车辆大数据计算卸载方法
CN109246176A (zh) 软件定义网络中基于区块链的多控制器同步方法及装置
CN105094970B (zh) 一种求解分布式系统下可分任务多趟调度模型的方法
CN101777990A (zh) 多目标免疫优化组播路由路径选择方法
CN108111335A (zh) 一种调度和链接虚拟网络功能的方法及系统
CN109995580A (zh) 5g网络切片中基于ga_pso混合算法的vn映射方法
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
CN113365229B (zh) 一种多联盟链共识算法的网络时延优化方法
CN114827284B (zh) 工业物联网中服务功能链编排方法、装置及联邦学习系统
CN114327526B (zh) 一种移动边缘计算环境中的任务卸载方法及其应用
CN112415959B (zh) 边云协同的工业信息物理系统主动安全响应方法及架构
CN103581329A (zh) 基于分簇的对等网络流媒体直播系统拓扑结构的构建方法
CN114116207A (zh) 流量控制方法、装置、设备及系统
CN106453077A (zh) 层次化路由的管理方法、主控制器、子域控制器及sdn
CN116015672B (zh) 一种基于信誉模型的pbft共识机制
CN116055330A (zh) 一种基于知识图谱的数字孪生网络切片的方法和装置
CN114580661A (zh) 基于联邦学习的数据处理方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination