CN117472866B - 一种区块链监管与激励下的联邦学习数据共享方法 - Google Patents
一种区块链监管与激励下的联邦学习数据共享方法 Download PDFInfo
- Publication number
- CN117472866B CN117472866B CN202311811235.4A CN202311811235A CN117472866B CN 117472866 B CN117472866 B CN 117472866B CN 202311811235 A CN202311811235 A CN 202311811235A CN 117472866 B CN117472866 B CN 117472866B
- Authority
- CN
- China
- Prior art keywords
- node
- data sharing
- data
- nodes
- federal learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005284 excitation Effects 0.000 title claims abstract description 10
- 238000004220 aggregation Methods 0.000 claims abstract description 63
- 230000002776 aggregation Effects 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000013475 authorization Methods 0.000 claims description 18
- XDDGVTBJYGSVPM-DBRKOABJSA-N [(2r,3s,4r,5r)-5-(4-carbamoyl-1,3-thiazol-2-yl)-3,4-dihydroxyoxolan-2-yl]methyl dihydrogen phosphate Chemical compound NC(=O)C1=CSC([C@H]2[C@@H]([C@H](O)[C@@H](COP(O)(O)=O)O2)O)=N1 XDDGVTBJYGSVPM-DBRKOABJSA-N 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011217 control strategy Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005242 forging Methods 0.000 description 2
- 239000012014 frustrated Lewis pair Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种区块链监管与激励下的联邦学习数据共享方法,属于数据共享技术领域,要解决的技术问题为如何结合区块链和联邦学习实现数据共享。联邦学习参与者与聚合节点配合执行数据共享任务、并分别通过区块链向星际文件系统IPFS发起数据共享事务,聚合节点对最终的全局模型加密后发送至区块链并返回联邦学习请求者;计算中心执行节点贡献任务、并通过区块链向星际文件系统IPFS发起节点贡献事务,基于预定义于区块链的智能合约对参与数据共享任务的聚合节点和计算中心进行贡献值计算,并基于预定义于区块链的智能合约对参与数据共享任务的各节点进行信誉值计算。
Description
技术领域
本发明涉及数据共享技术领域,具体地说是一种区块链监管与激励下的联邦学习数据共享方法。
背景技术
5G与6G技术支撑下的物联网边缘设备突破了以往通信延迟和带宽传输的限制,海量的分布式终端投入数据收集与工作生产之中。打破数据孤岛的僵局、跨域共享本地数据、协同提升服务质量、实现数据价值已经成为必然的趋势。在数据的大规模交换下,不可避免地涉及到数据的隐私问题。物联网设备数据通常包含用户个人隐私,或是企业内部机密。一旦直接共享原始数据,必然面临着隐私的泄露。此外,数据交易市场缺乏制度规约,许多数据持有者由于得不到应有的报酬而缺乏数据共享意愿。
联邦学习被誉为智能物联网的新兴技术,它协同多个工业物联网设备和机器,客户端分享的是训练后的模型而非原始数据,从而实现了隐私保护和网络自动化的目标。联邦学习作为一项隐私保护的分布式数据共享技术已经实际落地应用在许多场景里,比如工业物联网、车联网和智慧城市。针对上文提及的数据隐私泄露,联邦学习可以很好地解决这一隐患。
然而,联邦学习也存在局限性。例如缺乏可信第三方监管,与较低的鲁棒性。区块链作为一个去中心化、防篡改的分布式账本技术,与联邦学习有着天然的融洽性与互补性。区块链可以为物联网场景下提供一个安全、可信任的数据交换环境。此外,智能合约是一种基于区块链技术的自动化协议,无需第三方进行干预。在智能合约技术的依托下我们可以实现有监督的数据共享、数据存储、身份认证和数据验证。对于前文提到的数据共享缺少利润回报这一问题,也可以用智能合约编写激励机制来解决。在有效的激励机制下,数据持有者可以得到合理的利润,将数据价值变现。数据请求者也可以得到高质量数据提升设备服务。
如何结合区块链和联邦学习实现数据共享,是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足,提供一种区块链监管与激励下的联邦学习数据共享方法,来解决如何结合区块和联邦学习实现数据共享的技术问题。
第一方面,本发明一种区块链监管与激励下的联邦学习数据共享方法,应用于区块链、联邦学习框架以及星际文件系统IPFS之间,所述方法包括如下步骤:
数据共享参与方作为节点注册至区块链,并通过区块链向星际文件系统IPFS发起节点注册事务,通过节点注册事务记录节点注册信息,节点注册信息包括节点的标识信息、节点本地数据集的数据信息、节点的角色标识值、节点的公钥、节点的信誉值、事务标识以及时间戳;
作为联邦学习请求者的节点向区块链发送数据共享请求,并通过区块链向星际文件系统IPFS发起数据共享事务,通过数据共享事务记录数据共享请求信息,数据共享请求信息包括节点的标识信息、联邦学习的初始模型、联邦学习的数据要求及训练指标、支付价格、事务标识以及时间戳;
区块链验证数据共享请求的有效性后,基于数据共享请求筛选并确认参与数据共享任务的节点,为确认参与数据共享任务的节点分配角色,选择一个节点作为计算中心、一个节点作为聚合节点、其他节点作为联邦学习参与者,并基于分配的角色更新对应节点的角色标识值;
联邦学习参与者与聚合节点配合执行数据共享任务、并分别通过区块链向星际文件系统IPFS发起数据共享事务,执行数据共享任务时,联邦学习参与者及聚合节点访问星际共享系统IPFS并将初始模型下载至本地,基于数据共享任务、联邦学习参与者和聚合节点配合进行迭代模型训练直至得到最终的全局模型,聚合节点对最终的全局模型加密后发送至区块链并返回联邦学习请求者,其中,数据共享事务用于记录对应节点在执行数据共享任务时上传的数据;
对于执行完成的数据共享任务,对应的计算中心执行节点贡献任务、并通过区块链向星际文件系统IPFS发起节点贡献事务,基于预定义于区块链的智能合约对参与数据共享任务的聚合节点和计算中心进行贡献值计算,并基于预定义于区块链的智能合约对参与数据共享任务的各节点进行信誉值计算,其中,执行节点贡献任务时,计算中心通过区块链访问星际文件系统IPFS、基于智能合约中定义的奖励机制对参与数据共享任务的联邦学习参与者进行贡献值计算,并通过节点贡献事务记录节点贡献相关信息,节点贡献相关信息中包括计算中心的标识信息、事务标识、时间戳以及联邦学习参与者的标识信息、贡献值和应得利润。
作为优选,区块链接收数据共享请求后,验证数据共享请求的格式是否有效,并验证数据请求者是否注册至区块链的节点;
区块链验证数据共享请求有效性后,基于数据共享请求中联邦学习的数据要求及训练指标、对注册至区块链的节点进行节点检索,基于节点的注册信息检索能执行数据共享任务的节点形成节点集,并向节点集中每个节点下发数据共享任务,对于接收数据共享任务的节点,为每个节点分配角色并下发角色确认消息,各节点向区块链返回角色接受消息后,执行数据共享任务,如果存在节点向区块链返回角色拒绝消息,重新分配角色并下发角色确认消息。
作为优选,基于数据共享任务、联邦学习参与者和聚合节点配合进行迭代模型训练直至得到最终的全局模型,对于每轮模型训练,包括如下步骤:
每个联邦学习参与者基于本地数据对本地模型进行模型训练,得到本地模型的梯度,并将本地模型的梯度上传聚合节点;
聚合节点对所有联邦学习参与者本地模型的梯度进行聚合计算,得到全局模型的更新梯度,基于全局模型的更新梯度对全局模型进行更新,并将全局模型的更新梯度下发至各联邦学习参与者,每个联邦学习参与者基于全局模型的更新梯度对本地模型进行更新,并进行下一轮模型训练,直至达到训练指标;
其中,聚合节点通过FedAvg方法对所有联邦学习参与者本地模型的梯度进行聚合,计算公式如下:
,
其中,表示全局模型的更新梯度,表示学习率,K表示联邦学习参与者的数量,表示第i个训练参与方本地模型的梯度;
基于全局模型的更新梯度对全局模型进行更新,计算公式如下:
,
其中,表示更新后的全局模型,表示更新前的全局模型。
作为优选,对于节点对星际文件系统IPFS的访问,所述星际文件系统IPFS用于通过基于属性的联邦学习访问控制模型对节点提出的访问控制请求进行决策;
所述基于属性的联邦学习访问控制模型中定义有实体、属性、请求和操作许可;
其中,实体由六元组S、O、E、AO、TR和NR组成,六元组元素中S表示主体,O表示对象,E表示环境,AO表示访问操作,TR表示为任务角色,NR表示为节点信誉;
其中,实体的属性通过三元组<Att,Val,RAtt)>表示,三元组元素表示属性Att、属性值Val和属性值范围RAtt之间的关系,六个实体的属性分别表示为SA、OA、EA、AOA、TRA和NRA;
SA:表示主体属性,包括访问请求者的名称;
OA:表示对象属性,包括请求资源的所有者;
EA:表示环境属性,包括用户访问的时间、当前威胁级别和用户位置;
AOA:表示访问操作属性,为主体向对象提交的操作请求,操作请求包括读、写、执行和修改;
TRA:表示任务角色属性,包括联邦学习参与者、计算中心和聚合节点;
NRA:表示用户信誉值,对于节点,注册至区块链是信誉值为随机赋值,节点参与数据共享任务时,基于节点上传数据共享事务中记录的信息对信誉值进行更新;
其中,操作许可表示为节点操作的权限,表示为(allow,deny)←(SA,OA,EA,AOA,TRA,NRA),其中所述基于属性的联邦学习访问控制模型表示基于属性的访问请求AAR,如果节点的属性满足基于属性的访问请求AAR,允许节点访问星际文件系统IPFS,否则拒绝节点访问星际文件系统IPFS。
作为优选,区块链中配置有访问控制模块,所述访问控制模块用于基于所述基于属性的联邦学习访问控制模型对节点的访问进行决策;
所述访问控制模块包括策略执行点PEP、策略管理点PAP、属性权威点AAP、策略决策点PDP、任务角色管理点TRMP以及节点信誉管理点NRMP,所述策略执行点PEP用于执行如下:接受主体发送的访问控制请求,基于访问控制请求中提供的节点的标识信息、请求访问对象以及访问操作构建基于属性的访问控制请求AAR,并将基于属性的访问控制请求AAR发送至策略决策点PDP;
所述策略决策点PDP用于将基于属性的访问控制请求AAR转发至属性权威点AAP;
所述属性权威点AAP用于执行如下:接收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录验证SA、OA、EA、AOA的正确性,验证后,将基于属性的访问控制请求AAR转发至任务角色管理点TRMP以及节点信誉管理点NRMP;
所述任务角色管理点TRMP用于执行如下:接收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录完善TRA的值,完善后,将基于属性的访问控制请求AAR发送至属性权威点AAP;
所述节点信誉管理点NRMP用于执行如下:收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录完善NRA的值,完善后,将基于属性的访问控制请求AAR发送至属性权威点AAP;
对应的,所述属性权威点AAP用于执行如下:整合所有属性信息SA,OA,EA,AOA,TRA,NRA,形成完整的基于属性的访问控制请求AAR,并将基于属性的访问控制请求AAR返回至策略决策点PDP;
对应的,所述策略决策点PDP用于执行如下:基于更新后基于属性的访问控制请求AAR、向策略管理节点PAP发起授权策略查询请求,基于授权策略查询请求、向策略决策点PDP返回相应的授权策略;
对应的,所述策略决策点PDP用基于授权策略确定允许访问或拒绝访问,并将决策发送至策略执行点PEP;
对应的,所述策略执行点PEP用于基于决策向请求访问的节点提供反馈。
作为优选,对于参与数据共享任务的联邦学习参与者,基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,其中联邦学习参与提供数据包括本地数据集以及本地模型的梯度。
作为优选,对于N个参与数据共享任务的节点中的K个联邦学习参与者,基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,包括如下步骤:
对于作为联邦学习参与者的节点,计算全局模型的梯度更新与节点本地模型的梯度之间的差值,通过差值评估节点提供数据的质量并作为节点对全局模型的优化贡献,对于节点i,优化贡献计算公式如下:
,
其中,表示K个联邦学习参与者聚合的模型梯度,表示节点i加入K个联邦学习参与者聚合后的模型梯度,K表示参与数据共享任务的联邦学习参与者总数;
对于作为联邦学习参与者的节点,计算中心提供本地数据的贡献权重,对于节点i,贡献权重计算公式如下:
,
其中,表示节点i提供本地数据集的大小;
对于作为联邦学习参与者的节点,基于节点的优化贡献和以及贡献权重计算中心的Shapley值作为贡献值,对于节点i,贡献值计算公式如下:
,
其中,N表示参与数据共享任务的节点总数,表示加权因子,的计算公式如下:
,
对于作为联邦学习参与者的节点,基于节点的贡献值计算中心在每轮聚合实的应得利润,节点i在第t轮聚合时应得利润计算公式如下:
,
,
其中,P表示联邦学习请求者提供的价格,表示分配给参与数据共享任务的聚合节点的应得利润,表示分配给参与数据共享任务的计算中心的应得利润,表示分配给参与数据共享任务的所有联邦学习参与者的应得利润;
对于所有参与数据共享任务的联邦学习参与者,在第t轮聚合之后应得利润计算公式如下:
。
作为优选,对于节点注册信息,节点的标识信息包括节点名称和节点ID,节点本地数据集的数据信息包括数据集的大小、数据格式以及数据类型;
对于数据共享请求信息,节点的标识信息包括节点名称和节点ID,联邦学习的数据要求及训练指标包括参与训练数据集的大小、数据格式以及数据类型,还包括最终全局模型的最小精确度;
对于联邦学习参与者,数据共享事务记录的信息包括节点的标识信息、每轮模型训练时本地模型的梯度、训练状态、事务标识以及时间戳,其中,节点的标识信息包括节点名称和节点ID,全局模型为最终全局模型时,训练状态对应的参数值为true,全局模型仍在训练时,训练状态对应的参数值为false;
对于聚合节点,数据共享事务记录的信息包括节点的标识信息、每轮模型训练时全局模型的梯度更新、训练状态、事务标识以及时间戳,其中,节点的标识信息包括节点名称和节点ID,全局模型为最终全局模型时,训练状态对应的参数值为true,全局模型仍在训练时,训练状态对应的参数值为false。
本发明的一种区块链监管与激励下的联邦学习数据共享方法具有以下优点:
1、基于区块链和联邦学习实现了数据共享,且数据共享过程中,作为联邦学习参与方上传的是本地模型的梯度,而聚合节点下发的是全局模型的更新梯度,即共享的是模型参数而不是各个节点本地的数据集,实现了数据传输的同时保护了用户隐私;
2、对于节点对星际文件系统IPFS的访问,星际文件系统IPFS用于通过基于属性的联邦学习访问控制模型对节点提出的访问控制请求进行决策,该基于属性的联邦学习访问控制模型是基于ABAC模型改进的模型,在原始ABAC模型的基础上添加了了节点的角色属性和信誉属性,基于模型可以防止恶意节点试图对星际文件系统IPFS进行访问,可以有效阻止好奇的节点对记录进行窥探和破坏;
3、对于联邦学习请求者发起的数据共享请求,区块链随机指定一个节点作为聚合节点、一个节点作为计算中心、其他节点作为联邦学习参与者,从而实现了聚合的去中心化,避免了针对固定中心服务器的攻击或是意外故障带来的数据损失;
4、恶意的聚合节点有可能会篡改聚合后的梯度,破坏数据的完整性,本地梯度和聚合后的全局梯度均通过数据共享事务记录到星际文件系统IPFS中,可以随时进行追溯,保证了数据完整性的可验证,即使恶意的聚合节点篡改了聚合后的结果,联邦学习请求者也可以向区块链提出完整性验证,重新计算聚合后的全局梯度;
5、客观上联邦学习过程中存在懒惰的联邦学习参与者上使用旧的模型参数来应付数据共享的可能性,或者考虑更恶劣的可能性,比如恶意的联邦学习参与者提供极低质量的梯度来拉低聚合后的精确度,计算中心基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,信誉值低于阈值将被禁止参与共享活动,低Shapley值则会极大影响参与活动的收益,所以节点的作恶成本很高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例一种区块链监管与激励下的联邦学习数据共享方法中数据共享任务执行流程图;
图2为实施例一种区块链监管与激励下的联邦学习数据共享方法中访问控制模块的工作流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供一种区块链监管与激励下的联邦学习数据共享方法,用于解决如何结合区块和联邦学习实现数据共享的技术问题。
实施例1:
本发明一种区块链监管与激励下的联邦学习数据共享方法,应用于区块链、联邦学习框架以及星际文件系统IPFS之间,该方法包括节点注册、共享请求发起、共享任务构建、共享任务执行以及节点贡献计算五个步骤。
步骤S100节点注册:数据共享参与方作为节点注册至区块链,并通过区块链向星际文件系统IPFS发起节点注册事务,通过节点注册事务记录节点注册信息,节点注册信息包括节点的标识信息、节点本地数据集的数据信息、节点的角色标识值、节点的公钥、节点的信誉值、事务标识以及时间戳。
该步骤中,对于数据共享请求信息,节点的标识信息包括节点名称和节点ID,联邦学习的数据要求及训练指标包括参与训练数据集的大小、数据格式以及数据类型,还包括最终全局模型的最小精确度。
作为节点注册事务的具体实施,其结构如下:
Node={Name, Id, DA, TR,Pk, Rep, T-Id, Timestamp};
每个参数的含义如表1所示,该事务用于记录节点的注册信息,包括节点名称、节点标识、节点数据资源标识等,其在数据共享过程中提供支持相关节点检索的数据。
表1:
步骤S200共享请求发起:作为联邦学习请求者的节点向区块链发送数据共享请求,并通过区块链向星际文件系统IPFS发起数据共享事务,通过数据共享事务记录数据共享请求信息,数据共享请求信息包括节点的标识信息、联邦学习的初始模型、联邦学习的数据要求及训练指标、支付价格、事务标识以及时间戳。
该步骤中,联邦学习请求者(Federated Learning Requester,简称FLR)为需要训练联邦学习模型的用户节点。该需求方向区块链网络发布任务和奖励,多个数据所有者训练联邦学习模型以获得奖励。
对于数据共享请求信息,节点的标识信息包括节点名称和节点ID,联邦学习的数据要求及训练指标包括参与训练数据集的大小、数据格式以及数据类型,还包括最终全局模型的最小精确度。
作为数据共享事务的具体实施,其结构如下所示:
Request={Name, Id, DS-N, Costs, Imodel, T-Id, Timestamp},
各参数的含义如表2所示,该事务用于记录FLR向区块链申请数据的相关信息,包括请求者名称、请求者身份标识、请求的数据要求、FLR愿意为数据支付的价格等。
表2:
步骤S300共享任务构建:区块链验证数据共享请求的有效性后,基于数据共享请求筛选并确认参与数据共享任务到的节点,并为确认参与数据共享任务的节点分配角色,选择一个节点作为计算中心、一个节点作为聚合节点、其他节点作为联邦学习参与者,并基于分配的角色更新对应节点的角色标识值。
该步骤中,区块链接收数据共享请求后,验证数据共享请求的格式是否有效,并验证数据请求者是否注册至区块链的节点。
区块链验证数据共享请求有效性后,基于数据共享请求中联邦学习的数据要求及训练指标、对注册至区块链的节点进行节点检索,基于节点的注册信息检索能执行数据共享任务的节点形成节点集,并向节点集中每个节点下发数据共享任务,对于接收数据共享任务的节点,为每个节点分配角色并下发角色确认消息,各节点向区块链返回角色接受消息后,执行数据共享任务,如果存在节点向区块链返回角色拒绝消息,重新分配角色并下发角色确认消息。
其中,聚合节点(Aggregation Node,简称AN)是区块链上的一个节点。其作为验算者通过贡献自己的计算能力聚合模型来获得奖励,只有完成聚合模型的节点才能在每一轮中获得奖励。
计算中心(Computing Center,简称CC)是区块链上的一个节点。随着节点数量的增长,信誉值的计算和利益的计算与分配将是一个巨大的问题。本实施例将信誉值以及赢得利润的计算外包给CC,以减少区块链节点的计算量。
联邦学习参与者(Federated Learning Participants,简称FLP)持有分布式数据,通过合作完成需求方的任务获得报酬。参与者基于本地数据集训练本地模型,并将模型上传到区块链进行模型聚合,任务完成后,基于区块链智能合约将自动分配收益。
步骤S400共享任务执行:联邦学习参与者与聚合节点配合执行数据共享任务、并分别向星际文件系统IPFS发起数据共享事务,执行数据共享任务时,联邦学习参与者及聚合节点访问星际共享系统IPFS并将初始模型下载至本地,基于数据共享任务、联邦学习参与者和聚合节点配合进行迭代模型训练直至得到最终的全局模型,聚合节点对最终的全局模型加密后发送至区块链并返回联邦学习请求者,其中,数据共享事务用于记录对应节点在执行数据共享任务时生成的数据。
作为具体实施,基于数据共享任务、联邦学习参与者和聚合节点配合进行迭代模型训练直至得到最终的全局模型,对于每轮模型训练,包括如下步骤:
(1)每个联邦学习参与者基于本地数据对本地模型进行模型训练,得到本地模型的梯度,并将本地模型的梯度上传聚合节点;
(2)聚合节点对所有联邦学习参与者本地模型的梯度进行聚合计算,得到全局模型的更新梯度,基于全局模型的更新梯度对全局模型进行更新,并将全局模型的更新梯度下发至各联邦学习参与者,每个联邦学习参与者基于全局模型的更新梯度对本地模型进行更新,并进行下一轮模型训练,直至达到训练指标。
其中,聚合节点通过FedAvg方法对所有联邦学习参与者本地模型的梯度进行聚合,计算公式如下:
其中,表示全局模型的更新梯度,表示学习率,K表示联邦学习参与者的数量,表示第i个训练参与方本地模型的梯度;
基于全局模型的更新梯度对全局模型进行更新,计算公式如下:
,
其中,表示更新后的全局模型,表示更新前的全局模型。
对于联邦学习参与者,数据共享事务记录的信息包括节点的标识信息、每轮模型训练时本地模型的梯度、训练状态、事务标识以及时间戳,其中,节点的标识信息包括节点名称和节点ID,全局模型为最终全局模型时,训练状态对应的参数值为true,全局模型仍在训练时,训练状态对应的参数值为false。
对于聚合节点,数据共享事务记录的信息包括节点的标识信息、每轮模型训练时全局模型的梯度更新、训练状态、事务标识以及时间戳,其中,节点的标识信息包括节点名称和节点ID,全局模型为最终全局模型时,训练状态对应的参数值为true,全局模型仍在训练时,训练状态对应的参数值为false。
作为数据共享事务的具体实施,数据共享事务的结构如下所示:
Data={Name, Id, Model, Status, T-Id, Timestamp},
各参数的含义如表3所示,用于记录通过数据共享过程中FLP和AN上传的各种数据,包括FLP和AN的名称,FLP和AN的身份标识、FLP本地训练后的模型参数或者AN聚合后的全局模型参数等。
表3:
步骤S500节点贡献计算:对于执行完成的数据共享任务,对应的计算中心执行节点贡献任务、并通过区块链向星际文件系统IPFS发起节点贡献事务,基于预定义于区块链的智能合约对参与数据共享任务的聚合节点和计算中心进行贡献值计算,并基于预定义于区块链的智能合约对参与数据共享任务的各节点进行信誉值计算,其中,执行节点贡献任务时,计算中心通过区块链访问星际文件系统IPFS、基于智能合约中定义的奖励机制对参与数据共享任务的联邦学习参与者进行贡献值计算,并通过节点贡献事务记录节点贡献相关信息,节点贡献相关信息中包括计算中心的标识信息、事务标识、时间戳以及联邦学习参与者的标识信息、贡献值和应得利润。
作为联邦学习参与者共享值计算的具体实施,基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,其中联邦学习参与提供数据包括本地数据集以及本地模型的梯度。
对于参与数据共享任务的K个联邦学习参与者,基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,包括如下步骤
(1)对于作为联邦学习参与者的节点,计算全局模型的梯度更新与节点本地模型的梯度之间的差值,通过差值评估节点提供数据的质量并作为节点对全局模型的优化贡献,对于节点i,优化贡献计算公式如下:
,
其中,表示K个联邦学习参与者聚合的模型梯度,表示节点i加入K个联邦学习参与者聚合后的模型梯度,K表示参与数据共享任务的联邦学习参与者总数;
(2)对于作为联邦学习参与者的节点,计算中心提供本地数据的贡献权重,对于节点i,贡献权重计算公式如下:
,
其中, 表示节点i提供本地数据集的大小;
(3)对于作为联邦学习参与者的节点,基于节点的优化贡献和以及贡献权重计算中心的Shapley值作为贡献值,对于节点i,贡献值计算公式如下:
,
其中,N表示参与数据共享任务的节点总数,表示加权因子,的计算公式如下:
,
(4)对于作为联邦学习参与者的节点,基于节点的贡献值计算中心在每轮聚合实的应得利润,节点i在第t轮聚合时应得利润计算公式如下:
,
,
其中,P表示联邦学习请求者提供的价格,表示分配给参与数据共享任务的聚合节点的应得利润,表示分配给参与数据共享任务的计算中心的应得利润,表示分配给参与数据共享任务的所有联邦学习参与者的应得利润;
(5)对于所有参与数据共享任务的联邦学习参与者,在第t轮聚合之后应得利润计算公式如下:
。
作为节点共享事务的具体实施,其结构如下所示:
Contribution={Name, Id, NN,N-Id,N-SV,NP,T-Id,Timestamp},
各参数的含义如表4所示。该交易用于CC根据各节点的工作量计算该节点的贡献值,记录其应分配的利益。
表4:
本实施例中,当任务结束时,FLR仍然可以向区块链发起训练结果验证请求。在确认请求的合法性后,区块链将向请求者返回相应的IPFS哈希。如果节点有不良行为,例如伪造数据、伪造工作记录以换取高额赏金等,可以随时从IPFS调取相关记录,验证后对其进行处罚。
为了确保利润分配的公平性,也为了刺激节点共享更优质的数据,本实施例采用基于Shapley值的激励机制进行利润分配。FLR在发布共享请求时会公布为数据支付的总金额P。将P作为利润收入分为以下三部分:
(1)支付给FLP的报酬;
(2)付给AN的处理模型聚合的成本;
(3)支付给CC的计算形式报酬;
表示为。
其中AN和CC的工作量与贡献是固定的,本实施例通过智能合约提前约定。但是FLP之间的工作水平存在差异,本实施例依据参与节点的工作成果动态分配,本实施例中采用用Shapley值结合FLP的数据质量和FLP训练的数据规模来进行利润计算。基于Shapley值的激励方案避免了简单地将整体利润均分给每个节点,而是根据每个节点的边际贡献进行分配。这种方法能够促进公正和合作,并鼓励节点在合作博弈中发挥积极作用。
在数据共享任务执行过程中,联邦学习参与者以及聚合节点需要访问星际文件系统IPFS下载初始模型,在数据共享任务结束后,计算中心需要访问星际文件系统IPFS读取事务记录进行信誉值以及共享计算。对于节点对星际文件系统IPFS的访问,本实施例在ABAC模型的基础上设计了区块链使能的基于属性的联邦学习访问控制模型,星际文件系统IPFS用于通过基于属性的联邦学习访问控制模型对节点提出的访问控制请求进行决策。
基于属性的联邦学习访问控制模型中定义有实体、属性、请求和操作许可。
实体由六元组S、O、E、AO、TR和NR组成,六元组元素中S表示主体,O表示对象,E表示环境,AO表示访问操作,TR表示为任务角色,NR表示为节点信誉。
其中,实体的属性通过三元组<Att,Val,RAtt)>表示,三元组元素表示属性Att、属性值Val和属性值范围RAtt之间的关系,六个实体的属性分别表示为SA、OA、EA、AOA、TRA和NRA。具体如下:
SA:表示主体属性,包括访问请求者的名称;
OA:表示对象属性,包括请求资源的所有者;
EA:表示环境属性,包括用户访问的时间、当前威胁级别和用户位置;
AOA:表示访问操作属性,为主体向对象提交的操作请求,操作请求包括读、写、执行和修改;
TRA:表示任务角色属性,包括联邦学习参与者、计算中心和聚合节点;
NRA:表示用户信誉值,对于节点,注册至区块链是信誉值为随机赋值,节点参与数据共享任务时,基于节点上传数据共享事务中记录的信息对信誉值进行更新。
操作许可表示为节点操作的权限,表示为(allow,deny)←(SA,OA,EA,AOA,TRA,NRA),其中所述基于属性的联邦学习访问控制模型表示基于属性的访问请求AAR,如果节点的属性满足基于属性的访问请求AAR,允许节点访问星际文件系统IPFS,否则拒绝节点访问星际文件系统IPFS。
对应的,区块链中配置有访问控制模块,访问控制模块用于基于所述基于属性的联邦学习访问控制模型对节点的访问进行决策。该访问控制模块包括策略执行点PEP、策略管理点PAP、属性权威点AAP、策略决策点PDP、任务角色管理点TRMP以及节点信誉管理点NRMP。
策略执行点PEP用于执行如下:接受主体发送的访问控制请求,基于访问控制请求中提供的节点的标识信息、请求访问对象以及访问操作构建基于属性的访问控制请求AAR,并将基于属性的访问控制请求AAR发送至策略决策点PDP。
策略决策点PDP用于将基于属性的访问控制请求AAR转发至属性权威点AAP。
属性权威点AAP用于执行如下:接收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录验证SA、OA、EA、AOA的正确性,验证后,将基于属性的访问控制请求AAR转发至任务角色管理点TRMP以及节点信誉管理点NRMP。
任务角色管理点TRMP用于执行如下:接收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录完善TRA的值,完善后,将基于属性的访问控制请求AAR发送至属性权威点AAP。
节点信誉管理点NRMP用于执行如下:收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录完善NRA的值,完善后,将基于属性的访问控制请求AAR发送至属性权威点AAP。
对应的,属性权威点AAP用于执行如下:整合所有属性信息SA,OA,EA,AOA,TRA,NRA,形成完整的基于属性的访问控制请求AAR,并将基于属性的访问控制请求AAR返回至策略决策点PDP。
对应的,策略决策点PDP用于执行如下:基于更新后基于属性的访问控制请求AAR、向策略管理节点PAP发起授权策略查询请求,基于授权策略查询请求、向策略决策点PDP返回相应的授权策略。
对应的,策略决策点PDP用基于授权策略确定允许访问或拒绝访问,并将决策发送至策略执行点PEP。
对应的,策略执行点PEP用于决策向请求访问的节点提供反馈。
基于上述工作流程,该访问控制模块各组成点的功能如下。
策略执行点(Policy Execution Point,简称PEP):负责将主体发送的AAR,并发送给PDP,以获得对该请求的判断结果。接收PDP的判断结果后,PEP根据指示决定是否批准或拒绝访问请求。
策略管理点(Policy Administration Point,简称PAP):负责存储和管理访问控制策略,为PDP提供决策依据。
属性权威点(Attribute Authority Point,简称AAP):负责构建和管理节点的属性信息,并且与NRMP和TRMP交互,获取节点信誉属性与角色任务属性,整合信息支持PDP进行决策。
策略决策点(Policy Decision Point,以下简称PDP):负责根据访问控制策略和属性信息做出授权决策,决定是否允许或拒绝用户的访问请求。
任务角色管理点(Task Role Management Point,以下简称TRMP):负责读取和管理存储在IPFS上的任务角色属性信息,获取节点参与的任务及其在任务中的角色,以辅助AAP获取信息。
节点信誉管理点(Node Reputation Management Point,以下简称NRMP):负责读取和管理IPFS上存储的节点信誉属性信息,获取节点信誉,并协助AAP收集信息。
该访问控制模块具体工作流程如图2所示,包括如下步骤:
(1)节点向PEP提交访问控制请求,提供自己的节点名,ID,请求访问的对象,与试图对访问对象进行的操作;
(2)PEP将已知的信息构建成AAR,此时有AAR的六元组Req(SA、OA、EA、AOA、TRA、NRA),但目前已知的只有SA、OA、EA、AOA。TRA和NRA暂且是空值。PEP将AAR发送给PDP;
(3)PDP向AAP发送AAR以完善和验证AAR的内容;
(4)AAP从IPFS已存的事务记录中验证SA、OA、EA、AOA的正确性。并且将AAR转发给TRMP和NRMP;
(5)TRMP和NRMP从IPFS中检索事务记录来完善TRA和NRA的值。并且将完善后的内容返回给AAP;
(6)AAP整合所有信息,形成一个完整的AAR。并且返回给PDP;
(7)PDP依据更新后的AAR,向PAP发起相应的授权策略查询请求;
(8)PDP在收到相应的授权策略后,根据授权策略做出决策,确定是否允许或拒绝访问请求,并将最终决策发送给PEP;
(9)PEP收到决策后会执行相应的操作,并向请求访问的节点提供反馈。
当节点向PEP提交访问控制请求时,PEP会整合AAP提供的属性信息,构建基于属性的访问控制请求,并将该请求传递给PDP进行策略决策。PDP将分别向PAP和AAP发起信息查询请求,以获取必要的授权策略和属性信息。在查询过程中,PAP将向PDP提供与访问授权策略相关的信息,而AAP将整合已收集的TRMP和NRMP信息,为PDP提供主题、对象、访问控制、环境、任务角色和用户信誉属性的综合信息。接下来,PDP将根据从PAP和PIP获取的信息来做出策略决策,确定是否允许或拒绝访问请求,并将最终决策发送给PEP。PEP在收到决策后,会执行相应的操作,并向请求提交者提供反馈。
本实施例在传统的ABAC模型中增加了节点信誉属性和任务角色属性。任务角色属性用于表示节点参与的任务及其扮演的角色(FLR、FLP,AN或CC)。节点信誉属性用于表示节点的可信度。传统的ABAC模型中,策略发布需要一个集中的机构来进行,这使得策略执行跟踪、数据泄漏检测和策略安全存储的功能具体实现变得相当具有挑战性。本实施例采用智能合约来实现关键功能,包括访问控制策略的制定、存储和决策,整个访问控制策略以区块链为驱动。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。
Claims (7)
1.一种区块链监管与激励下的联邦学习数据共享方法,其特征在于,应用于区块链、联邦学习框架以及星际文件系统IPFS之间,所述方法包括如下步骤:
数据共享参与方作为节点注册至区块链,并通过区块链向星际文件系统IPFS发起节点注册事务,通过节点注册事务记录节点注册信息,节点注册信息包括节点的标识信息、节点本地数据集的数据信息、节点的角色标识值、节点的公钥、节点的信誉值、事务标识以及时间戳;
作为联邦学习请求者的节点向区块链发送数据共享请求,并通过区块链向星际文件系统IPFS发起数据共享事务,通过数据共享事务记录数据共享请求信息,数据共享请求信息包括节点的标识信息、联邦学习的初始模型、联邦学习的数据要求及训练指标、支付价格、事务标识以及时间戳;
区块链验证数据共享请求的有效性后,基于数据共享请求筛选并确认参与数据共享任务的节点,为确认参与数据共享任务的节点分配角色,选择一个节点作为计算中心、一个节点作为聚合节点、其他节点作为联邦学习参与者,并基于分配的角色更新对应节点的角色标识值;
联邦学习参与者与聚合节点配合执行数据共享任务、并分别通过区块链向星际文件系统IPFS发起数据共享事务,执行数据共享任务时,联邦学习参与者及聚合节点访问星际共享系统IPFS并将初始模型下载至本地,基于数据共享任务、联邦学习参与者和聚合节点配合进行迭代模型训练直至得到最终的全局模型,聚合节点对最终的全局模型加密后发送至区块链并返回联邦学习请求者,其中,数据共享事务用于记录对应节点在执行数据共享任务时上传的数据;
对于执行完成的数据共享任务,对应的计算中心执行节点贡献任务、并通过区块链向星际文件系统IPFS发起节点贡献事务,基于预定义于区块链的智能合约对参与数据共享任务的聚合节点和计算中心进行贡献值计算,并基于预定义于区块链的智能合约对参与数据共享任务的各节点进行信誉值计算,其中,执行节点贡献任务时,计算中心通过区块链访问星际文件系统IPFS、基于智能合约中定义的奖励机制对参与数据共享任务的联邦学习参与者进行贡献值计算,并通过节点贡献事务记录节点贡献相关信息,节点贡献相关信息中包括计算中心的标识信息、事务标识、时间戳以及联邦学习参与者的标识信息、贡献值和应得利润;
基于数据共享任务、联邦学习参与者和聚合节点配合进行迭代模型训练直至得到最终的全局模型,对于每轮模型训练,包括如下步骤:
每个联邦学习参与者基于本地数据对本地模型进行模型训练,得到本地模型的梯度,并将本地模型的梯度上传聚合节点;
聚合节点对所有联邦学习参与者本地模型的梯度进行聚合计算,得到全局模型的更新梯度,基于全局模型的更新梯度对全局模型进行更新,并将全局模型的更新梯度下发至各联邦学习参与者,每个联邦学习参与者基于全局模型的更新梯度对本地模型进行更新,并进行下一轮模型训练,直至达到训练指标;
其中,聚合节点通过FedAvg方法对所有联邦学习参与者本地模型的梯度进行聚合,计算公式如下:
,
其中,表示全局模型的更新梯度,表示学习率,K表示联邦学习参与者的数量,表示第i个训练参与方本地模型的梯度;
基于全局模型的更新梯度对全局模型进行更新,计算公式如下:
,
其中,表示更新后的全局模型,表示更新前的全局模型。
2.根据权利要求1所述的区块链监管与激励下的联邦学习数据共享方法,其特征在于,区块链接收数据共享请求后,验证数据共享请求的格式是否有效,并验证数据请求者是否注册至区块链的节点;
区块链验证数据共享请求有效性后,基于数据共享请求中联邦学习的数据要求及训练指标、对注册至区块链的节点进行节点检索,基于节点的注册信息检索能执行数据共享任务的节点形成节点集,并向节点集中每个节点下发数据共享任务,对于接收数据共享任务的节点,为每个节点分配角色并下发角色确认消息,各节点向区块链返回角色接受消息后,执行数据共享任务,如果存在节点向区块链返回角色拒绝消息,重新分配角色并下发角色确认消息。
3.根据权利要求1所述的区块链监管与激励下的联邦学习数据共享方法,其特征在于,对于节点对星际文件系统IPFS的访问,所述星际文件系统IPFS用于通过基于属性的联邦学习访问控制模型对节点提出的访问控制请求进行决策;
所述基于属性的联邦学习访问控制模型中定义有实体、属性、请求和操作许可;
其中,实体由六元组S、O、E、AO、TR和NR组成,六元组元素中S表示主体,O表示对象,E表示环境,AO表示访问操作,TR表示为任务角色,NR表示为节点信誉;
其中,实体的属性通过三元组<Att,Val,RAtt)>表示,三元组元素表示属性Att、属性值Val和属性值范围RAtt之间的关系,六个实体的属性分别表示为SA、OA、EA、AOA、TRA和NRA;
SA:表示主体属性,包括访问请求者的名称;
OA:表示对象属性,包括请求资源的所有者;
EA:表示环境属性,包括用户访问的时间、当前威胁级别和用户位置;
AOA:表示访问操作属性,为主体向对象提交的操作请求,操作请求包括读、写、执行和修改;
TRA:表示任务角色属性,包括联邦学习参与者、计算中心和聚合节点;
NRA:表示用户信誉值,对于节点,注册至区块链是信誉值为随机赋值,节点参与数据共享任务时,基于节点上传数据共享事务中记录的信息对信誉值进行更新;
其中,操作许可表示为节点操作的权限,表示为(allow,deny)←(SA,OA,EA,AOA,TRA,NRA),其中所述基于属性的联邦学习访问控制模型表示基于属性的访问请求AAR,如果节点的属性满足基于属性的访问请求AAR,允许节点访问星际文件系统IPFS,否则拒绝节点访问星际文件系统IPFS。
4.根据权利要求3所述的区块链监管与激励下的联邦学习数据共享方法,其特征在于,区块链中配置有访问控制模块,所述访问控制模块用于基于所述基于属性的联邦学习访问控制模型对节点的访问进行决策;
所述访问控制模块包括策略执行点PEP、策略管理点PAP、属性权威点AAP、策略决策点PDP、任务角色管理点TRMP以及节点信誉管理点NRMP,所述策略执行点PEP用于执行如下:接受主体发送的访问控制请求,基于访问控制请求中提供的节点的标识信息、请求访问对象以及访问操作构建基于属性的访问控制请求AAR,并将基于属性的访问控制请求AAR发送至策略决策点PDP;
所述策略决策点PDP用于将基于属性的访问控制请求AAR转发至属性权威点AAP;
所述属性权威点AAP用于执行如下:接收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录验证SA、OA、EA、AOA的正确性,验证后,将基于属性的访问控制请求AAR转发至任务角色管理点TRMP以及节点信誉管理点NRMP;
所述任务角色管理点TRMP用于执行如下:接收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录完善TRA的值,完善后,将基于属性的访问控制请求AAR发送至属性权威点AAP;
所述节点信誉管理点NRMP用于执行如下:收基于属性的访问控制请求AAR,基于存储于星际文件系统的事务记录完善NRA的值,完善后,将基于属性的访问控制请求AAR发送至属性权威点AAP;
对应的,所述属性权威点AAP用于执行如下:整合所有属性信息SA,OA,EA,AOA,TRA,NRA,形成完整的基于属性的访问控制请求AAR,并将基于属性的访问控制请求AAR返回至策略决策点PDP;
对应的,所述策略决策点PDP用于执行如下:基于更新后基于属性的访问控制请求AAR、向策略管理节点PAP发起授权策略查询请求,基于授权策略查询请求、向策略决策点PDP返回相应的授权策略;
对应的,所述策略决策点PDP用基于授权策略确定允许访问或拒绝访问,并将决策发送至策略执行点PEP;
对应的,所述策略执行点PEP用于基于决策向请求访问的节点提供反馈。
5.根据权利要求1所述的区块链监管与激励下的联邦学习数据共享方法,其特征在于,对于参与数据共享任务的联邦学习参与者,基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,其中联邦学习参与提供数据包括本地数据集以及本地模型的梯度。
6.根据权利要求5所述的区块链监管与激励下的联邦学习数据共享方法,其特征在于,对于N个参与数据共享任务的节点中的K个联邦学习参与者,基于联邦学习参与者提供数据的质量、通过基于Shapley值的激励机制对每个联邦学习参与者进行贡献值计算和应得利润分配,包括如下步骤:
对于作为联邦学习参与者的节点,计算全局模型的梯度更新与节点本地模型的梯度之间的差值,通过差值评估节点提供数据的质量并作为节点对全局模型的优化贡献,对于节点i,优化贡献计算公式如下:
,
其中,表示K个联邦学习参与者聚合的模型梯度,表示节点i加入K个联邦学习参与者聚合后的模型梯度,K表示参与数据共享任务的联邦学习参与者总数;
对于作为联邦学习参与者的节点,计算中心提供本地数据的贡献权重,对于节点i,贡献权重计算公式如下:
,
其中,表示节点i提供本地数据集的大小;
对于作为联邦学习参与者的节点,基于节点的优化贡献和以及贡献权重计算中心的Shapley值作为贡献值,对于节点i,贡献值计算公式如下:
,
其中,N表示参与数据共享任务的节点总数,表示加权因子,的计算公式如下:
,
对于作为联邦学习参与者的节点,基于节点的贡献值计算中心在每轮聚合实的应得利润,节点i在第t轮聚合时应得利润计算公式如下:
,
,
其中,P表示联邦学习请求者提供的价格,表示分配给参与数据共享任务的聚合节点的应得利润,表示分配给参与数据共享任务的计算中心的应得利润,表示分配给参与数据共享任务的所有联邦学习参与者的应得利润;
对于所有参与数据共享任务的联邦学习参与者,在第t轮聚合之后应得利润计算公式如下:
。
7.根据权利要求1-6任一项所述的区块链监管与激励下的联邦学习数据共享方法,其特征在于,对于节点注册信息,节点的标识信息包括节点名称和节点ID,节点本地数据集的数据信息包括数据集的大小、数据格式以及数据类型;
对于数据共享请求信息,节点的标识信息包括节点名称和节点ID,联邦学习的数据要求及训练指标包括参与训练数据集的大小、数据格式以及数据类型,还包括最终全局模型的最小精确度;
对于联邦学习参与者,数据共享事务记录的信息包括节点的标识信息、每轮模型训练时本地模型的梯度、训练状态、事务标识以及时间戳,其中,节点的标识信息包括节点名称和节点ID,全局模型为最终全局模型时,训练状态对应的参数值为true,全局模型仍在训练时,训练状态对应的参数值为false;
对于聚合节点,数据共享事务记录的信息包括节点的标识信息、每轮模型训练时全局模型的梯度更新、训练状态、事务标识以及时间戳,其中,节点的标识信息包括节点名称和节点ID,全局模型为最终全局模型时,训练状态对应的参数值为true,全局模型仍在训练时,训练状态对应的参数值为false。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311811235.4A CN117472866B (zh) | 2023-12-27 | 2023-12-27 | 一种区块链监管与激励下的联邦学习数据共享方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311811235.4A CN117472866B (zh) | 2023-12-27 | 2023-12-27 | 一种区块链监管与激励下的联邦学习数据共享方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117472866A CN117472866A (zh) | 2024-01-30 |
CN117472866B true CN117472866B (zh) | 2024-03-19 |
Family
ID=89635067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311811235.4A Active CN117472866B (zh) | 2023-12-27 | 2023-12-27 | 一种区块链监管与激励下的联邦学习数据共享方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117472866B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395640A (zh) * | 2020-11-16 | 2021-02-23 | 国网河北省电力有限公司信息通信分公司 | 一种基于区块链的行业物联数据轻量可信共享技术 |
CN113779617A (zh) * | 2021-08-05 | 2021-12-10 | 北京邮电大学 | 基于状态通道的联邦学习任务可信监管与调度方法及装置 |
CN114154649A (zh) * | 2021-12-06 | 2022-03-08 | 浙江师范大学 | 基于区块链和信誉机制的高质量联邦学习系统及学习方法 |
CN114297722A (zh) * | 2022-03-09 | 2022-04-08 | 广东工业大学 | 一种基于区块链的隐私保护异步联邦共享方法及系统 |
CN114417398A (zh) * | 2021-12-16 | 2022-04-29 | 福建师范大学 | 一种基于区块链和联邦学习的数据共享方法 |
WO2022228204A1 (zh) * | 2021-04-25 | 2022-11-03 | 华为技术有限公司 | 一种联邦学习方法以及装置 |
CN115510494A (zh) * | 2022-10-13 | 2022-12-23 | 贵州大学 | 一种基于区块链与联邦学习的多方安全数据共享方法 |
CN115622777A (zh) * | 2022-10-09 | 2023-01-17 | 郑州大学 | 一种基于联盟链的多中心联邦学习数据共享方法 |
CN115765965A (zh) * | 2022-11-04 | 2023-03-07 | 常州云科宸智能技术有限公司 | 基于联邦学习和双联盟区块链的医疗数据安全共享方法 |
WO2023071106A1 (zh) * | 2021-10-26 | 2023-05-04 | 平安科技(深圳)有限公司 | 联邦学习管理方法、装置、计算机设备及存储介质 |
WO2023095967A1 (ko) * | 2021-11-29 | 2023-06-01 | 주식회사 블록체인기술연구소 | 블록체인 기반의 did 서비스, ipfs 기반의 데이터 공유 기술, 및 개인키 분산 저장 기술이 결합된 비대면 대용량 문서 접근 시스템 |
CN116389478A (zh) * | 2023-03-31 | 2023-07-04 | 中国铁路信息科技集团有限公司 | 一种基于区块链和联邦学习的四网融合数据共享方法 |
WO2023138152A1 (zh) * | 2022-01-20 | 2023-07-27 | 广州广电运通金融电子股份有限公司 | 一种基于区块链的联邦学习方法和系统 |
WO2023141809A1 (zh) * | 2022-01-26 | 2023-08-03 | 深圳技术大学 | 一种基于元宇宙的共享信息隐私保护方法及相关装置 |
CN116627970A (zh) * | 2023-05-18 | 2023-08-22 | 浙江大学 | 一种基于区块链和联邦学习的数据共享方法及装置 |
CN116776373A (zh) * | 2023-06-16 | 2023-09-19 | 云南财经大学 | 基于区块链和联邦学习的医疗数据可信共享方法 |
-
2023
- 2023-12-27 CN CN202311811235.4A patent/CN117472866B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395640A (zh) * | 2020-11-16 | 2021-02-23 | 国网河北省电力有限公司信息通信分公司 | 一种基于区块链的行业物联数据轻量可信共享技术 |
WO2022228204A1 (zh) * | 2021-04-25 | 2022-11-03 | 华为技术有限公司 | 一种联邦学习方法以及装置 |
CN113779617A (zh) * | 2021-08-05 | 2021-12-10 | 北京邮电大学 | 基于状态通道的联邦学习任务可信监管与调度方法及装置 |
WO2023071106A1 (zh) * | 2021-10-26 | 2023-05-04 | 平安科技(深圳)有限公司 | 联邦学习管理方法、装置、计算机设备及存储介质 |
WO2023095967A1 (ko) * | 2021-11-29 | 2023-06-01 | 주식회사 블록체인기술연구소 | 블록체인 기반의 did 서비스, ipfs 기반의 데이터 공유 기술, 및 개인키 분산 저장 기술이 결합된 비대면 대용량 문서 접근 시스템 |
CN114154649A (zh) * | 2021-12-06 | 2022-03-08 | 浙江师范大学 | 基于区块链和信誉机制的高质量联邦学习系统及学习方法 |
CN114417398A (zh) * | 2021-12-16 | 2022-04-29 | 福建师范大学 | 一种基于区块链和联邦学习的数据共享方法 |
WO2023138152A1 (zh) * | 2022-01-20 | 2023-07-27 | 广州广电运通金融电子股份有限公司 | 一种基于区块链的联邦学习方法和系统 |
WO2023141809A1 (zh) * | 2022-01-26 | 2023-08-03 | 深圳技术大学 | 一种基于元宇宙的共享信息隐私保护方法及相关装置 |
CN114297722A (zh) * | 2022-03-09 | 2022-04-08 | 广东工业大学 | 一种基于区块链的隐私保护异步联邦共享方法及系统 |
CN115622777A (zh) * | 2022-10-09 | 2023-01-17 | 郑州大学 | 一种基于联盟链的多中心联邦学习数据共享方法 |
CN115510494A (zh) * | 2022-10-13 | 2022-12-23 | 贵州大学 | 一种基于区块链与联邦学习的多方安全数据共享方法 |
CN115765965A (zh) * | 2022-11-04 | 2023-03-07 | 常州云科宸智能技术有限公司 | 基于联邦学习和双联盟区块链的医疗数据安全共享方法 |
CN116389478A (zh) * | 2023-03-31 | 2023-07-04 | 中国铁路信息科技集团有限公司 | 一种基于区块链和联邦学习的四网融合数据共享方法 |
CN116627970A (zh) * | 2023-05-18 | 2023-08-22 | 浙江大学 | 一种基于区块链和联邦学习的数据共享方法及装置 |
CN116776373A (zh) * | 2023-06-16 | 2023-09-19 | 云南财经大学 | 基于区块链和联邦学习的医疗数据可信共享方法 |
Non-Patent Citations (5)
Title |
---|
Sandbox Computing: A Data Privacy Trusted Sharing Paradigm Via Blockchain and Federated Learning;Guo, Shaoyong 等;IEEE TRANSACTIONS ON COMPUTERS;20220608;第800 - 810页 * |
基于前后端分离架构的智慧农业物联网系统设计;李航 等;现代电子技术;20221231;第63-68页 * |
基于秘密分享和梯度选择的高效安全联邦学习;董业;侯炜;陈小军;曾帅;;计算机研究与发展;20201009(10);第2241-2250页 * |
基于联邦学习的数据安全在银行领域的探索;郑立志;;中国金融电脑;20200907(09);第22-26页 * |
面向联邦学习的共享数据湖建设探讨;刘扬;;网络安全和信息化;20200905(09);第57-59页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117472866A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shen et al. | Blockchain-based incentives for secure and collaborative data sharing in multiple clouds | |
CN109615474B (zh) | 基于区块链的中小企业竞争情报共享平台构建方法 | |
CN110335147A (zh) | 一种基于区块链的数字资产信息交换系统及方法 | |
KR102131292B1 (ko) | 블록체인 기반 신뢰도 정보 관리방법 | |
CN109447648A (zh) | 在区块链网络中记录数据区块的方法、记账节点和介质 | |
CN110275891B (zh) | 人工智能软件市场 | |
CN113779617B (zh) | 基于状态通道的联邦学习任务可信监管与调度方法及装置 | |
CN114417398B (zh) | 一种基于区块链和联邦学习的数据共享方法 | |
CN113570065A (zh) | 基于联盟链和联邦学习的数据管理方法、装置及设备 | |
CN111369730B (zh) | 基于区块链的投票表决处理方法和装置 | |
CN110851531B (zh) | 协作边缘计算方法、区块链和协作边缘计算系统 | |
Hu et al. | Reputation-based distributed knowledge sharing system in blockchain | |
WO2023116790A1 (zh) | 计算任务的执行方法、装置、存储介质及电子装置 | |
Tkachuk et al. | Towards efficient privacy and trust in decentralized blockchain-based peer-to-peer renewable energy marketplace | |
CN113987080A (zh) | 基于信誉共识的区块链激励方法、装置及相关产品 | |
Kwame et al. | V-chain: A blockchain-based car lease platform | |
Zhang et al. | Federated learning meets blockchain: State channel-based distributed data-sharing trust supervision mechanism | |
Baranwal et al. | Blockchain based resource allocation in cloud and distributed edge computing: A survey | |
CN114693241A (zh) | 一种基于区块链的电子简历系统及其实现方法 | |
CN110557394B (zh) | 一种平行链的管理方法、设备及存储介质 | |
CN117472866B (zh) | 一种区块链监管与激励下的联邦学习数据共享方法 | |
CN111931230A (zh) | 数据授权方法和装置、存储介质和电子装置 | |
Li et al. | A fair, verifiable and privacy-protecting data outsourcing transaction scheme based on smart contracts | |
CN115496601A (zh) | 基于区块链的碳中和碳排放量记录的贷款系统及方法 | |
CN114626934A (zh) | 基于区块链的多层级风控系统及管控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |