CN114297722A - 一种基于区块链的隐私保护异步联邦共享方法及系统 - Google Patents
一种基于区块链的隐私保护异步联邦共享方法及系统 Download PDFInfo
- Publication number
- CN114297722A CN114297722A CN202210221150.XA CN202210221150A CN114297722A CN 114297722 A CN114297722 A CN 114297722A CN 202210221150 A CN202210221150 A CN 202210221150A CN 114297722 A CN114297722 A CN 114297722A
- Authority
- CN
- China
- Prior art keywords
- task
- model
- reputation
- asynchronous
- participant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于区块链的隐私保护异步联邦共享方法,包括:S1、制定合约发布信息共享要求;S2、任务参与者参与信息共享;S3、验证交易并上传区块链;S4、执行异步联邦学习;S5、验证交易并上传区块链;以及S6、分发奖励动态激励共享。本发明运用联邦学习技术保证企业或者部门之间的数据共享仅是共享数据模型而不是本地数据,提出利用差分隐私中的指数机制选择高贡献度的局部模型,分配隐私预算以保证局部模型的安全性;提出基于多权重模型的调整机制进一步提高全局模型的效用。同时以区块链技术保证交易的高效性以及模型的安全性。能让数据管理、数据共享和协同高效成为现实,同时保证交易的安全性。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种基于区块链的隐私保护异步联邦共享方法及系统。
背景技术
信息时代,数据具有极其重要的价值,数据隐私保护的重要性也逐渐彰显。企业的数据一般是多源的、复杂的和异构的,包括订单信息、库存信息和物流信息等等,这些数据量一般是非常大的,通常是保存在本地服务器上,或者通过中央服务器进行管理,目前企业信息共享方法可以分为传统信息方法和集中式信息共享方法。传统信息共享方法是数据管理模式单一,企业或者部门之间存在数据孤岛,彼此之间不连通,数据分析获取数据价值的难度大。集中式信息共享方法将各方数据统一管理,将数据存储在一个中央服务器中,但存在的问题是中央服务器容易被黑客攻击或者由于其他原因导致数据被窃取,而且存在数据使用和管理权利难以下放,导致数据存取流程复杂;传统的联邦学习模式同样有这个问题,中央服务器将初始模型发给每个参与者,参与者用本地数据集进行训练模型,容易造成单点故障,也存在暴露隐私风险。综上所述,目前存在的信息共享方法存在着数据管理难、数据安全缺乏保障、数据无法有效协作共享等问题,不能满足企业对数据实现安全共享、协同共享等方面的需求。
联邦学习是一种分布式的机器学习框架,在进行训练模型的时候,数据集将被分布式地放在多节点上,每个节点在本地进行建模计算,最后只将训练完的模型参数上传到具有全局统筹能力的中央服务器上。相比于传统的分布式计算框架,联邦学习技术采用了加密机制,不会迁移本地数据,而是上传模型参数,不会泄露本地的数据隐私,这样保护的更加彻底和安全。区块链的本质是一个分布式账本,维护在对等节点的分布式网络中,区块链将交易信息永久保存在网络上,并且不能篡改,因此区块链具有可信度、可分布性、高透明度和准确性等优点。此外,智能合约是区块链上的软件代码,它能按照不同的请求执行不同的交易,与传统合同类似,但是它具有自动执行的特点。
本发明人在实施本发明的时候发现,现有的企业信息共享方法存在如下缺点:1、企业传统信息共享方法数据管理模式单一,彼此之间不连通的缺点,企业或者部门之间存在数据孤岛。2、企业现有的集中式信息共享方法存在中央服务器容易被黑客攻击或者由于其他原因导致数据被窃取,出现单点故障。3、企业现有的信息共享方法无法满足企业或者部门之间在信息共享上的高效需求。4、同步联邦学习中模型训练效率低,计算资源闲置浪费等问题。
发明内容
本发明的目的在于提供一种基于区块链的隐私保护异步联邦共享方法及系统,其能够有效解决现有技术中所存在的上述技术问题。具体包括:1、本方法使用联邦学习技术,在保证原始数据不被共享,在本地进行局部模型训练,实现数据不共享,达到共享的效果。2、以区块链作为底层技术,将模型参数和交易记录写入区块链,区块链上的数据难以被篡改,保证了企业的数据安全性。3、本方法利用一种基于多权重模型的调整机制,通过时间权重模型和双重主观逻辑模型以完成全局模型更新,增强异步联邦学习可靠性。4、本方法集成联邦学习和区块链的功能,能够避免企业中心化服务器出现单点故障等问题。5、解决同步联邦学习中模型训练效率低,计算资源闲置浪费等问题。
为了实现上述目的,本发明的一实施例提供了一种基于区块链的隐私保护异步联邦共享方法,包括:
S1、数据请求者制定合约发布信息共享任务;
S2、任务参与者参与信息共享任务;其中,参与信息共享任务的任务参与者通过身份认证信息请求加入信息共享任务;
S3、验证交易并上传区块链;经过委员会验证交易签名合法、交易格式正确且交易为第一次,所述交易会被认定为有效交易,然后将其上传到区块链;
S4、执行异步联邦学习;包括:
S41、任务参与者设置联邦学习任务,初始化模型训练相关参数,发送已初始化的全局模型给每个任务参与者集合P;其中,假设有N个任务参与者,即P={p1,p2,…,pn}各个任务参与者分别对应有各自的数据集Di={(x1,y1), (x2,y2),…, (xm,ym)};其中xi∈Xu是在维度为u的输入样本,yi表示样本的标签值;
S42、任务参与者pi在第k次迭代过程中用本地数据集Di去训练上一次迭代的局部模型,为了保证局部模型质量,损失函数进一步最小化;即为
模型迭代过程首先是任务参与者计算每一个边缘节点的梯度,用随机梯度下降法来进行迭代,并采用小批量数据样本Bi,其中Bi属于Di:
其中l表示度量举例的向量范数,通常采用1-阶范数距离;
定义删除机制计算不同梯度值的贡献度,在删除一个梯度值后,训练出一个模型,然后对所有的梯度值进行在原模型上的预测值,删除梯度值后训练模型的预测值的平均差值,得出该梯度值对模型的贡献度;其函数为:
并且利用拉普拉斯机制差异化影响模型梯度值,对于上个采样步骤中贡献度较大的r个梯度值加隐私预算为ε2的噪声数据,对于剩余的n-r个模型梯度值加隐私预算为ε3的噪声数据,即
S43、数据请求者对全部节点上传的局部模型更新进行加权聚合,得到更新的全局模型,可采用联邦平均算法FedAvg,即:
那么在经过t次迭代过程后全局损失函数为:
再不断重复直到全局模型损失函数收敛;
S5、验证交易并上传区块链;
在完成全局模型更新后,基于所述合约并根据参与者的局部模型质量,量化为贡献度以更新每个参与者的声誉值;在经过区块验证和执行共识过程后,交易会写入区块链;
S6、根据本地模型训练效果向任务参与者动态,自动分发奖励动态激励共享。
较佳地,在所述步骤S43中,进一步的,利用修正后的双重主观逻辑模型与上述的时间权重模型结合进行异步联邦学习的全局模型更新;具体包括:
S431、引入时间权重模型,在异步联邦学习中,局部模型的新鲜度会随着全局模型的更新而受影响,也会随着时间变化对全局模型效用降低;定义时间权重函数为:
其中Ti表示任务参与者训练局部模型所花费的时间,α为时间参数,α>0;
S432、将直接声誉意见和间接声誉意见相结合,生成对任务参与者的综合声誉值,从而利用这个声誉值去更新全局模型;其中,声誉更新评估方案实现步骤如下:
S4321、评估任务参与者的积极消极交互行为;
S4322、评估任务参与者的交互行为的时效性;
S4323、生成任务参与者的直接声誉意见;
S4324、结合贡献度评估函数计算间接声誉意见;
S4325、计算综合声誉值;
S4326、上传综合声誉值到区块链。
较佳地,在所述步骤S4321~ S4323中,具体通过如下方式生成任务参与者的直接声誉意见:
对于一个有时间间隙的时间段,{t1,···,ty,···,tY},如果任务参与者j在参与数据请求者i发布的任务中模型质量被评估为有用的,判断这次互动是有效的,视为积极交互;反之,则为消极交互;任务记录者记录所有任务参与者的积极和消极互动的次数,即和,然后判断任务参与者产生直接声誉意见,借助直接意见向量表示不同的声誉意见,由信任度、不信任度和不确定度组成,不确定度定义为任务参与者j与数据请求者i之间的通信质量,即本地更新模型传输的失败率;基于主观逻辑模型得到的任务参与者和数据请求者之间的交互效果的表达式为:
结合主观逻辑模型,可以得到直接声誉值为:
其中γ是一个给定的常数,表示不确定性的影响权重;设定消极互动事件在声誉计算中的权重高于积极互动事件,将积极互动事件和消极互动事件的权重分别用k和η来表示,其中,k≤η且k+η=1,因此将直接声誉意见表达式改写为:
定义新鲜度衰落函数来说明交互事件的新鲜度:,其中,z∈(0,1)是关于交互事件新鲜度的一个褪色参数,y∈[1,Y]表示交互事件新鲜度褪色程度的时间段;因此,一个时间段内数据请求者i对任务参与者j的声誉意见表示为:
因此,最终得到的任务参与者的直接声誉意见的表达式为:
较佳地,在所述步骤S4324中,具体通过如下方式计算间接声誉意见:
其中表示在联邦学习任务中数据请求者i对任务参与者j的贡献度声誉意见的权重,且∈[0,1] ,X表示之前其余数据请求者的集合;定义一个间接声誉向量,将任务参与者j的贡献度计算而得到的总体权重与间接声誉向量意见结合,那么间接声誉向量表达式为:
较佳地,在所述步骤S4325中,基于贡献度的综合声誉值表达式为:
其中:
因此,数据请求者i对于任务参与者的综合声誉值为:
较佳地,在所述步骤S432中,
综合考虑时间权重以及声誉值权重,计算全局模型更新中的权重值为:
其中,β(0<β<1)为调节因子,用以平衡时间权重和声誉权重之间的关系;
因此,在本次异步联邦学习在有效时间段内收到K个经过t次迭代更新并且通过共识认证的局部模型之后即可进行全局模型更新:
较佳地,所述步骤S6进一步包括:
对于一个普通的任务参与者,会有两种激励:直接激励和间接激励,直接激励是任务参与者参与本次任务之前存于链上的综合声誉值,对于这次任务会提供给任务参与者,先前的综合声誉值越高的用户获得激励更多;间接激励则是通过本次任务的贡献度来衡量,在本次任务过程中参与训练模型有效并且有一定的贡献度才能获得这个间接激励;本次任务的贡献度为:
那么普通任务参与者的激励为:
其中k1为先前任务综合声誉值的相关系数,k2为本次任务贡献度的相关系数,k1,k2>0,T为任务参与者在先前任务的综合声誉值;
同时数据请求者会给委员会成员提供奖励为ComPrice,那么委员会节点会得到更多的奖励为:
k3为本次任务委员会节点激励相关系数。
本发明另一实施例对应提供一种基于区块链的隐私保护异步联邦共享系统,所述基于区块链的隐私保护异步联邦共享系统能够执行如上任一实施例所述的基于区块链的隐私保护异步联邦共享方法。
本发明另一实施例对应提供一种设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上任一实施例所述的基于区块链的隐私保护异步联邦共享方法。
本发明另一实施例对应提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,所述计算机程序运行时执行如上任一实施例所述的基于区块链的隐私保护异步联邦共享方法。
与现有技术相比,本发明实施例提供的一种基于区块链的隐私保护异步联邦共享方法及系统,具有如下技术效果:
1、本发明通过区块链作为底层技术,解决传统联邦学习信息共享模式的中央服务器可能出现单点故障的问题,为信息共享提供有效保障。
2、本发明利用一种基于多权重模型的调整机制,通过时间权重模型和双重主观逻辑模型以完成全局模型更新,增强异步联邦学习可靠性。同时,避免数据请求者对数据参与者的偏见或者作弊,并且有效地动态地激励节点在信息共享中认真完成任务。
3、本发明将每次信息共享的交易记录和综合声誉值写入区块链,写入区块链的数据难以被篡改,并且通过差分隐私算法,避免上传模型被反推,保证了各方参与者数据及训练模型的安全性。
4、本发明是基于联邦学习的分布式系统,分布式系统具有资源共享的优点,并且不用共享核心数据,实现共享数据的效果,各参与者可以安全地进行数据共享。
5、本发明通过异步联邦学习解决同步联邦学习中模型训练效率低,计算资源闲置浪费等问题。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于区块链的隐私保护异步联邦共享方法的流程示意图。
图2是本发明实施例提供的一种基于区块链的隐私保护异步联邦共享方法的流程结构示意图。
图3是图1中的步骤S4的具体流程示意图。
图4是图3中的步骤S43的具体流程示意图。
图5是本发明实施例提供的一种基于区块链的隐私保护异步联邦共享方法的声誉更新评估方案实现步骤的流程示意图。
图6是本发明提供的一种基于区块链的隐私保护异步联邦共享系统的一个优选的实施方式的结构框图。
图7是本发明提供的设备的一个优选的实施方式的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,下面的实施例可以相互结合,对于相同或相似的内容,在不同的实施例中不再进行重复说明。
结合参考图1和图2,为本发明提供的一种基于区块链的隐私保护异步联邦共享方法的一个优选的实施方式的流程示意图,包括步骤S1至S6,具体如下:
S1、制定合约发布信息共享要求;
S2、任务参与者参与信息共享;
S3、验证交易并上传区块链;
S4、执行异步联邦学习;
S5、验证交易并上传区块链;以及
S6、分发奖励动态激励共享。
具体的,在步骤S1中,在发布信息共享要求之前,数据请求者根据具体需求制定一项智能合约,合约里的内容包括奖励函数、贡献度计算方法、时间、CPU、数据参数类型和大小等等,参与信息共享任务的任务参与者通过一个身份认证信息请求加入信息共享任务,对此认证消息反馈给数据请求者。
具体的,在步骤S2中,不同的任务参与者拥有着各自的数据集,这些数据集质量也是不同的,同样的,训练出来的局部模型也是不同,局部模型质量影响着全局模型质量。所以,任务参与者在去确认加入联邦学习任务之后,要根据自己的资源选择合适的数据子集来训练局部模型。
具体的,在步骤S3中,不同的任务参与者拥有着各自的数据集,这些数据集质量也是不同的,同样的,训练出来的局部模型也是不同,局部模型质量影响着全局模型质量。所以,任务参与者在去确认加入联邦学习任务之后,要根据自己的资源选择合适的数据子集来训练局部模型。
进一步的,在步骤S4中,任务参与者获取这个共享的全局模型,通过使用自己本地的数据子集对模型进行一定的迭代训练。然后,任务参与者通过本地训练的局部模型参数和梯度值,通过区块链上传给数据请求者。数据请求者收到局部模型对全局模型进行加权聚合,再次进行多次迭代之后,全局模型达到满足预定义的收敛条件,联邦学习任务结束。
下面结合图3对步骤S4进行详细描述。假设有N个任务参与者,即P={p1,p2,…,pn}各个任务参与者分别对应有各自的数据集Di={(x1,y1), (x2,y2),…, (xm,ym)};其中xi∈Xu是在维度为u的输入样本,yi表示样本的标签值。如图2所示,步骤S4进一步包括如下步骤:
模型迭代过程首先是任务参与者计算每一个边缘节点的梯度,用随机梯度下降法来进行迭代,并采用小批量数据样本Bi,其中Bi属于Di:
其中l表示度量举例的向量范数,通常采用1-阶范数距离。
并且通过删除机制计算不同维度梯度值的局部模型贡献度,根据贡献度的不同提供不同的隐私保护水平。本方法采用指数机制对具有高贡献度的梯度值进行采样。本实施例定义删除机制计算不同梯度值的贡献度,在删除一个梯度值的后,训练出一个模型,然后对所有的梯度值进行在原模型上的预测值,删除梯度值后训练模型的预测值的平均差值,得出该梯度值对模型的贡献度;其函数为:
并且利用拉普拉斯机制差异化影响模型梯度值,对于上个采样步骤中贡献度较大的r个梯度值加隐私预算为ε2的噪声数据,对于剩余的n-r个模型梯度值加隐私预算为ε3的噪声数据,即
S43、数据请求者对全部节点上传的局部模型更新进行加权聚合,得到更新的全局模型。例如,可采用联邦平均算法FedAvg,即:
那么在经过t次迭代过程后全局损失函数为:
再不断重复直到全局模型损失函数收敛。
进一步的,在本实施例中,考虑各任务参与者的训练模型质量的不同,因此同一时间各任务参与者的局部模型训练状态和质量也有不同,在这个时刻的全局模型已经经过多次迭代过程,而某个任务参与者提供先前时刻的局部模型可能会影响全局模型的质量。因此,在上述步骤S43中,进一步的,利用修正后的双重主观逻辑模型与上述的时间权重模型结合进行异步联邦学习的全局模型更新;如图4所示,具体包括步骤:
S431、引入时间权重模型,在异步联邦学习中,局部模型的新鲜度会随着全局模型的更新而受影响,也会随着时间变化对全局模型效用降低;定义时间权重函数为:
其中Ti表示任务参与者训练局部模型所花费的时间,α为时间参数,α>0;
S432、将直接声誉意见和间接声誉意见相结合,生成对任务参与者的综合声誉值,从而利用这个声誉值去更新全局模型。
具体的,主观逻辑模型是研究者们经常使用的一种数学模型,其本质是一个基于概率论的框架,在不同场景下应用于评估不同角色的可信度和可靠性水平,利用积极、消极的表现以及部分的随机变化来体现个体的主观意见。数据请求者在任务参与者的本地数据子集的贡献下进行联邦学习任务,某个数据请求者认为某个任务参与者上传的本地模型更新是有效的,对全局模型的贡献是有益的,且此模型更新在其他方面是稳定的、不受影响的,那么这个数据请求者对该任务参与者的主观意见就会增加,对其就有更高的评价。高声誉值的任务参与者在可靠的模型训练过程中起着至关重要的作用,因此高效且准确的声誉方案对于联邦学习任务也是必不可少的。在本方法中,为了获取准确的声誉值,将直接声誉意见和间接声誉意见相结合,生成对任务参与者的综合声誉值,从而利用这个声誉值去更新全局模型。
参考图5,声誉更新评估方案实现步骤包括如下:
S4321、评估任务参与者的积极消极交互行为;
S4322、评估任务参与者的交互行为的时效性;
S4323、生成任务参与者的直接声誉意见;
S4324、结合贡献度评估函数计算间接声誉意见;
S4325、计算综合声誉值;
S4326、上传综合声誉值到区块链。
具体的,在所述步骤S4321~ S4323中,具体通过如下方式生成任务参与者的直接声誉意见:
交互效果:数据请求者会通过测试集函数验证任务参与者上传的本地更新模型是否可靠,并通过设置阈值范围进行比较;对于一个有时间间隙的时间段{t1,···,ty,···,tY},如果任务参与者j在参与数据请求者i发布的任务中模型质量被评估为有用的,那么可以判断这次互动是有效的,视为积极交互;反之,则为消极交互;在信息共享过程中本地提供的数据子集越丰富,质量越高的企业声誉值越高;那么,任务记录者记录所有任务参与者的积极和消极互动的次数,即和,然后判断任务参与者产生直接声誉意见,借助直接意见向量表示不同的声誉意见,由信任度、不信任度和不确定度组成,不确定度定义为任务参与者j与数据请求者i之间的通信质量,即本地更新模型传输的失败率;基于主观逻辑模型得到的任务参与者和数据请求者之间的交互效果的表达式为:
结合主观逻辑模型,可以得到直接声誉值为:
其中γ是一个给定的常数,表示不确定性的影响权重;声誉意见受不同因素的影响,传统的主观逻辑模型逐渐发展成含有不同权重的主观逻辑模型。在联邦学习任务的交互事件中,存在积极互动和消极互动的结果,积极互动会增加任务参与者的声誉,反之,消极互动会减少任务参与者的声誉。所以,为了减少消极互动事件,所以,为了阻碍消极互动事件,本实施例设定消极互动事件在声誉计算中的权重高于积极互动事件,将积极互动事件和消极互动事件的权重分别用k和η来表示,其中,k≤η且k+η=1,因此将直接声誉意见表达式改写为:
交互新鲜度:随着时间的变化,任务参与者的可信度并不是保持不变的,在数据请求者与其交互的过程中,任务参与者并不是一直保持可信和可靠的;最近的交互事件具有相对强的新鲜感,设定其相对权重也大于过去的交互事件;本实施例考虑时间对声誉意见的影响,定义新鲜度衰落函数来说明交互事件的新鲜度:,其中,z∈(0,1)是关于交互事件新鲜度的一个褪色参数,y∈[1,Y]表示交互事件新鲜度褪色程度的时间段;因此,一个时间段内数据请求者i对任务参与者j的声誉意见表示为:
因此,最终得到的任务参与者的直接声誉意见的表达式为:
在联邦学习任务中,每个数据请求者都有各自熟悉的任务参与者,类似于社交网络,那么任务参与者如何更方便地加入其它的一个社交网络,换句话说,如何能让其他的数据请求者选择拥有更好声誉值的任务参与者。本实施例利用间接声誉意见。
本实施例提出基于贡献度的声誉更新方案,该方案是在间接声誉意见考虑贡献度参数,度量数据请求者对任务参与者单次任务的声誉评价,为了验证间接声誉意见的可信度,本实施例通过贡献度评估函数定义数据请求者i对任务参与者j的贡献度,从而更新间接声誉意见,解决了以前间接声誉意见评估存在的作弊与偏见问题。进一步的,在上述步骤S4324中,具体通过如下方式计算间接声誉意见:
根据前述各方贡献度,可以得知数据请求者i对任务参与者j的间接声誉意见的总体权重可以表示为:
其中表示在联邦学习任务中数据请求者i对任务参与者j的贡献度声誉意见的权重,且∈[0,1] ,X表示之前其余数据请求者的集合;定义一个间接声誉向量,将任务参与者j的贡献度计算而得到的总体权重与间接声誉向量意见结合,那么间接声誉向量表达式为:
综合声誉值不仅考虑了直接声誉意见,同时考虑了任务参与者在之前任务的贡献度,作为间接声誉意见的权重意见,这样可以避免可能存在数据请求者与任务参与者的作弊以及数据请求者对任务参与者的偏见等情况。因此,在所述步骤S4325中,基于贡献度的综合声誉值表达式为:
其中:
因此,数据请求者i对于任务参与者的综合声誉值为:
那么,综合考虑本文的时间权重以及声誉值权重,计算全局模型更新中的权重值为:
其中,β(0<β<1)为调节因子,用以平衡时间权重和声誉权重之间的关系。
因此在本次异步联邦学习在有效时间段内收到K个经过t次迭代更新并且通过共识认证的局部模型之后即可进行全局模型更新:
具体的,在步骤S5中,在完成全局模型更新后,智能合约会根据参与者的局部模型质量,即量化为贡献度,更新每个参与者的声誉值,该值也会作为下次任务的候选参与者的一个参考值。在经过区块验证和执行共识过程后,交易会写入区块链。
具体的,在步骤S6中,智能合约根据本地模型训练效果向任务参与者动态,自动分发奖励。对于一个普通的任务参与者,会有两种激励:直接激励和间接激励,直接激励是任务参与者参与本次任务之前存于链上的综合声誉值,对于这次任务会提供给任务参与者,先前的综合声誉值越高的用户获得激励更多;间接激励则是通过本次任务的贡献度来衡量,在本次任务过程中参与训练模型有效并且有一定的贡献度才能获得这个间接激励。本次任务的贡献度为:
那么普通任务参与者的激励为:
其中k1为先前任务综合声誉值的相关系数,k2为本次任务贡献度的相关系数,k1,k2>0,T为任务参与者在先前任务的综合声誉值。
同时数据请求者会给委员会成员提供奖励为ComPrice。那么委员会节点会得到更多的奖励为:
k3为本次任务委员会节点激励相关系数。
这样可以激励各节点训练良好的局部模型从而努力加入委员会节点。同时,智能合约会将本次任务结束后的各个任务参与者的新综合声誉值上传到区块链,实现动态更新,促进用户主动诚实地参与联邦共享任务获得激励,避免在联邦共享过程中,任务参与者上传无效或者低质量的模型,导致全局预测模型预测精度不高。然后,数据请求者可以根据在区块链中查询训练好的全局模型,输入相关信息,根据全局预测模型得到消费者需求预测量。
可见,本实施例提供的一种基于区块链的隐私保护异步联邦共享方法,运用联邦学习技术保证企业或者部门之间的数据共享仅是共享数据模型而不是本地数据,提出利用差分隐私中的指数机制选择高贡献度的局部模型,分配隐私预算以保证局部模型的安全性;提出基于多权重模型的调整机制进一步提高全局模型的效用。同时以区块链技术保证交易的高效性以及模型的安全性。能让数据管理、数据共享和协同高效成为现实,同时保证交易的安全性。
参考图6,为本发明提供的一种基于区块链的隐私保护异步联邦共享系统的一个优选的实施方式的结构框图,包括如下:
501、制定合约发布信息共享要求模块;
502、任务参与者参与信息共享模块;
503、验证交易并上传区块链模块;
504、执行异步联邦学习模块;
505、验证交易并上传区块链模块;以及
506、分发奖励动态激励共享模块。
本发明实施方式提供的一种基于区块链的隐私保护异步联邦共享系统,能够实现上述任一实施例所述的基于区块链的隐私保护异步联邦共享方法的所有流程,装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的基于区块链的隐私保护异步联邦共享方法的作用以及实现的技术效果对应相同,这里不再赘述。
本发明还提供了一种设备。
如图7所示,为本发明提供的设备的一个优选的实施方式的结构示意图,包括处理器61、存储器62以及存储在所述存储器62中且被配置为由所述处理器61执行的计算机程序,所述处理器61执行所述计算机程序时实现如上任一实施方式所述的基于区块链的隐私保护异步联邦共享方法。
需要说明的是,图7仅以该设备中的一个存储器和一个处理器相连接为例进行示意,在一些具体的实施方式中,该设备中还可以包括多个存储器和/或多个处理器,其具体的数目及连接方式可根据实际情况需要进行设置和适应性调整。
本发明还提供了一种计算机可读存储介质,具体包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任一实施方式所述的基于区块链的隐私保护异步联邦共享方法。
需要说明的是,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要进一步说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所揭露的仅为本发明一些较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (10)
1.一种基于区块链的隐私保护异步联邦共享方法,其特征在于,包括:
S1、数据请求者制定合约发布信息共享任务;
S2、任务参与者参与信息共享任务;其中,参与信息共享任务的任务参与者通过身份认证信息请求加入信息共享任务;
S3、验证交易并上传区块链; 经过委员会验证交易签名合法、交易格式正确且交易为第一次时,所述交易会被认定为有效交易,然后将其上传到区块链;
S4、执行异步联邦学习;包括:
S41、任务参与者设置联邦学习任务,初始化模型训练相关参数,发送已初始化的全局模型给每个任务参与者集合P;其中,假设有N个任务参与者,即P={p1,p2,…,pn}各个任务参与者分别对应有各自的数据集Di={(x1,y1), (x2,y2),…, (xm,ym)};其中xi∈Xu是在维度为u的输入样本,yi表示样本的标签值;
模型迭代过程首先是任务参与者计算每一个边缘节点的梯度,用随机梯度下降法来进行迭代,并采用小批量数据样本Bi,其中Bi属于Di:
其中l表示度量举例的向量范数,通常采用1-阶范数距离;
定义删除机制计算不同梯度值的贡献度,在删除一个梯度值后,训练出一个模型,然后对所有的梯度值进行在原模型上的预测值,删除梯度值后训练模型的预测值的平均差值,得出该梯度值对模型的贡献度;其函数为:
并且利用拉普拉斯机制差异化影响模型梯度值,对于上个采样步骤中贡献度较大的r个梯度值加隐私预算为ε2的噪声数据,对于剩余的n-r个模型梯度值加隐私预算为ε3的噪声数据,即
S43、数据请求者对全部节点上传的局部模型更新进行加权聚合,得到更新的全局模型,可采用联邦平均算法FedAvg,即:
那么在经过t次迭代过程后全局损失函数为:
再不断重复直到全局模型损失函数收敛;
S5、验证交易并上传区块链;
在完成全局模型更新后,基于所述合约并根据参与者的局部模型质量,量化为贡献度以更新每个参与者的声誉值;在经过区块验证和执行共识过程后,交易会写入区块链;
S6、根据本地模型训练效果向任务参与者动态,自动分发奖励动态激励共享。
2.根据权利要求1所述的基于区块链的隐私保护异步联邦共享方法,其特征在于,在所述步骤S43中,进一步的,利用修正后的双重主观逻辑模型与上述的时间权重模型结合进行异步联邦学习的全局模型更新;具体包括:
S431、引入时间权重模型,在异步联邦学习中,局部模型的新鲜度会随着全局模型的更新而受影响,也会随着时间变化对全局模型效用降低;定义时间权重函数为:
其中Ti表示任务参与者训练局部模型所花费的时间,α为时间参数,α>0;
S432、将直接声誉意见和间接声誉意见相结合,生成对任务参与者的综合声誉值,从而利用这个声誉值去更新全局模型;其中,声誉更新评估方案实现步骤如下:
S4321、评估任务参与者的积极消极交互行为;
S4322、评估任务参与者的交互行为的时效性;
S4323、生成任务参与者的直接声誉意见;
S4324、结合贡献度评估函数计算间接声誉意见;
S4325、计算综合声誉值;
S4326、上传综合声誉值到区块链。
3.根据权利要求2所述的基于区块链的隐私保护异步联邦共享方法,其特征在于,在所述步骤S4321~ S4323中,具体通过如下方式生成任务参与者的直接声誉意见:
对于一个有时间间隙的时间段{t1,···,ty,···,tY},如果任务参与者j在参与数据请求者i发布的任务中模型质量被评估为有用的,判断这次互动是有效的,视为积极交互;反之,则为消极交互;任务记录者记录所有任务参与者的积极和消极互动的次数,即和,然后判断任务参与者产生直接声誉意见,借助直接意见向量表示不同的声誉意见,由信任度、不信任度和不确定度组成,不确定度定义为任务参与者j与数据请求者i之间的通信质量,即本地更新模型传输的失败率;基于主观逻辑模型得到的任务参与者和数据请求者之间的交互效果的表达式为:
结合主观逻辑模型,可以得到直接声誉值为:
其中γ是一个给定的常数,表示不确定性的影响权重;设定消极互动事件在声誉计算中的权重高于积极互动事件,将积极互动事件和消极互动事件的权重分别用k和η来表示,其中,k≤η且k+η=1,因此将直接声誉意见表达式改写为:
定义新鲜度衰落函数来说明交互事件的新鲜度:,其中,z∈(0,1)是关于交互事件新鲜度的一个褪色参数,y∈[1,Y]表示交互事件新鲜度褪色程度的时间段;因此,一个时间段内数据请求者i对任务参与者j的声誉意见表示为:
因此,最终得到的任务参与者的直接声誉意见的表达式为:
7.根据权利要求1所述的基于区块链的隐私保护异步联邦共享方法,其特征在于,所述步骤S6进一步包括:
对于一个普通的任务参与者,设置两种激励:直接激励和间接激励,直接激励是任务参与者参与本次任务之前存于链上的综合声誉值,对于这次任务会提供给任务参与者,先前的综合声誉值越高的用户获得激励更多;间接激励则是通过本次任务的贡献度来衡量,在本次任务过程中参与训练模型有效并且有一定的贡献度才能获得这个间接激励;本次任务的贡献度为:
那么普通任务参与者的激励为:
其中k1为先前任务综合声誉值的相关系数,k2为本次任务贡献度的相关系数, k1,k2>0,T为任务参与者在先前任务的综合声誉值;
同时数据请求者会给委员会成员提供奖励为ComPrice,那么委员会节点会得到更多的奖励为:
k3为本次任务委员会节点激励相关系数。
8.一种基于区块链的隐私保护异步联邦共享系统,其特征在于,所述基于区块链的隐私保护异步联邦共享系统能够执行如权利要求1~7中任一项所述的基于区块链的隐私保护异步联邦共享方法。
9.一种设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于区块链的隐私保护异步联邦共享方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,所述计算机程序运行时执行如权利要求1至7中任一项所述的基于区块链的隐私保护异步联邦共享方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210221150.XA CN114297722B (zh) | 2022-03-09 | 2022-03-09 | 一种基于区块链的隐私保护异步联邦共享方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210221150.XA CN114297722B (zh) | 2022-03-09 | 2022-03-09 | 一种基于区块链的隐私保护异步联邦共享方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114297722A true CN114297722A (zh) | 2022-04-08 |
CN114297722B CN114297722B (zh) | 2022-07-05 |
Family
ID=80978587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210221150.XA Active CN114297722B (zh) | 2022-03-09 | 2022-03-09 | 一种基于区块链的隐私保护异步联邦共享方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114297722B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115510494A (zh) * | 2022-10-13 | 2022-12-23 | 贵州大学 | 一种基于区块链与联邦学习的多方安全数据共享方法 |
CN115600219A (zh) * | 2022-12-15 | 2023-01-13 | 湖南工商大学(Cn) | 候选任务工作者声誉值的确定方法 |
CN115660114A (zh) * | 2022-11-11 | 2023-01-31 | 湖北文理学院 | 基于区块链的异步联邦学习架构系统及方法 |
CN116016610A (zh) * | 2023-03-21 | 2023-04-25 | 杭州海康威视数字技术股份有限公司 | 基于区块链的车联网数据安全共享方法、装置及设备 |
TWI804448B (zh) * | 2022-11-04 | 2023-06-01 | 國立陽明交通大學 | 重症評估模型更新方法及其區塊鏈系統以及重症評估方法及其運算節點 |
CN116366241A (zh) * | 2023-02-14 | 2023-06-30 | 北京交通大学 | 一种去中心化的以太坊定时交易隐私保护执行方法 |
CN116489637A (zh) * | 2023-04-25 | 2023-07-25 | 北京交通大学 | 一种面向元宇宙的基于隐私保护的移动边缘计算方法 |
CN116614504A (zh) * | 2023-07-20 | 2023-08-18 | 中国人民解放军国防科技大学 | 基于斯塔克尔伯格博弈的隐私-效率联合优化方法 |
CN116860709A (zh) * | 2023-09-01 | 2023-10-10 | 国能(北京)商务网络有限公司 | 一种交易决策数据的共享使用方法 |
CN117472866A (zh) * | 2023-12-27 | 2024-01-30 | 齐鲁工业大学(山东省科学院) | 一种区块链监管与激励下的联邦学习数据共享方法 |
CN117709444A (zh) * | 2024-02-06 | 2024-03-15 | 盛业信息科技服务(深圳)有限公司 | 基于去中心化联邦学习的差分隐私模型更新方法以及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111695696A (zh) * | 2020-06-12 | 2020-09-22 | 深圳前海微众银行股份有限公司 | 一种基于联邦学习的模型训练的方法及装置 |
CN112348204A (zh) * | 2020-11-05 | 2021-02-09 | 大连理工大学 | 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法 |
CN112949868A (zh) * | 2021-01-29 | 2021-06-11 | 北京邮电大学 | 一种基于区块链的异步联邦学习方法、装置及电子设备 |
CN113194126A (zh) * | 2021-04-21 | 2021-07-30 | 泉州华中科技大学智能制造研究院 | 一种基于区块链的横向联邦学习模型构建方法 |
CN113536382A (zh) * | 2021-08-09 | 2021-10-22 | 北京理工大学 | 利用联邦学习基于区块链的医疗数据共享隐私保护方法 |
WO2021247448A1 (en) * | 2020-06-01 | 2021-12-09 | Intel Corporation | Federated learning optimizations |
CN113806768A (zh) * | 2021-08-23 | 2021-12-17 | 北京理工大学 | 基于去中心化安全聚合的轻量级联邦学习隐私保护方法 |
CN113947215A (zh) * | 2021-10-26 | 2022-01-18 | 平安科技(深圳)有限公司 | 联邦学习管理方法、装置、计算机设备及存储介质 |
-
2022
- 2022-03-09 CN CN202210221150.XA patent/CN114297722B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021247448A1 (en) * | 2020-06-01 | 2021-12-09 | Intel Corporation | Federated learning optimizations |
CN111695696A (zh) * | 2020-06-12 | 2020-09-22 | 深圳前海微众银行股份有限公司 | 一种基于联邦学习的模型训练的方法及装置 |
CN112348204A (zh) * | 2020-11-05 | 2021-02-09 | 大连理工大学 | 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法 |
CN112949868A (zh) * | 2021-01-29 | 2021-06-11 | 北京邮电大学 | 一种基于区块链的异步联邦学习方法、装置及电子设备 |
CN113194126A (zh) * | 2021-04-21 | 2021-07-30 | 泉州华中科技大学智能制造研究院 | 一种基于区块链的横向联邦学习模型构建方法 |
CN113536382A (zh) * | 2021-08-09 | 2021-10-22 | 北京理工大学 | 利用联邦学习基于区块链的医疗数据共享隐私保护方法 |
CN113806768A (zh) * | 2021-08-23 | 2021-12-17 | 北京理工大学 | 基于去中心化安全聚合的轻量级联邦学习隐私保护方法 |
CN113947215A (zh) * | 2021-10-26 | 2022-01-18 | 平安科技(深圳)有限公司 | 联邦学习管理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
刘俊旭等: "机器学习的隐私保护研究综述", 《计算机研究与发展》 * |
温亚兰 等: "基于声誉筛选联邦学习数据源的医疗数据共享", 《计算机工程》 * |
高胜 等: "一种基于区块链的隐私保护异步联邦学习", 《中国科学:信息科学》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115510494A (zh) * | 2022-10-13 | 2022-12-23 | 贵州大学 | 一种基于区块链与联邦学习的多方安全数据共享方法 |
CN115510494B (zh) * | 2022-10-13 | 2023-11-21 | 贵州大学 | 一种基于区块链与联邦学习的多方安全数据共享方法 |
TWI804448B (zh) * | 2022-11-04 | 2023-06-01 | 國立陽明交通大學 | 重症評估模型更新方法及其區塊鏈系統以及重症評估方法及其運算節點 |
CN115660114A (zh) * | 2022-11-11 | 2023-01-31 | 湖北文理学院 | 基于区块链的异步联邦学习架构系统及方法 |
CN115600219A (zh) * | 2022-12-15 | 2023-01-13 | 湖南工商大学(Cn) | 候选任务工作者声誉值的确定方法 |
CN115600219B (zh) * | 2022-12-15 | 2023-03-14 | 湖南工商大学 | 候选任务工作者声誉值的确定方法 |
CN116366241A (zh) * | 2023-02-14 | 2023-06-30 | 北京交通大学 | 一种去中心化的以太坊定时交易隐私保护执行方法 |
CN116366241B (zh) * | 2023-02-14 | 2024-02-02 | 北京交通大学 | 一种去中心化的以太坊定时交易隐私保护执行方法 |
CN116016610B (zh) * | 2023-03-21 | 2024-01-09 | 杭州海康威视数字技术股份有限公司 | 基于区块链的车联网数据安全共享方法、装置及设备 |
CN116016610A (zh) * | 2023-03-21 | 2023-04-25 | 杭州海康威视数字技术股份有限公司 | 基于区块链的车联网数据安全共享方法、装置及设备 |
CN116489637A (zh) * | 2023-04-25 | 2023-07-25 | 北京交通大学 | 一种面向元宇宙的基于隐私保护的移动边缘计算方法 |
CN116489637B (zh) * | 2023-04-25 | 2023-11-03 | 北京交通大学 | 一种面向元宇宙的基于隐私保护的移动边缘计算方法 |
CN116614504A (zh) * | 2023-07-20 | 2023-08-18 | 中国人民解放军国防科技大学 | 基于斯塔克尔伯格博弈的隐私-效率联合优化方法 |
CN116614504B (zh) * | 2023-07-20 | 2023-09-15 | 中国人民解放军国防科技大学 | 基于斯塔克尔伯格博弈的隐私-效率联合优化方法 |
CN116860709A (zh) * | 2023-09-01 | 2023-10-10 | 国能(北京)商务网络有限公司 | 一种交易决策数据的共享使用方法 |
CN116860709B (zh) * | 2023-09-01 | 2023-12-05 | 国能(北京)商务网络有限公司 | 一种交易决策数据的共享使用方法 |
CN117472866A (zh) * | 2023-12-27 | 2024-01-30 | 齐鲁工业大学(山东省科学院) | 一种区块链监管与激励下的联邦学习数据共享方法 |
CN117472866B (zh) * | 2023-12-27 | 2024-03-19 | 齐鲁工业大学(山东省科学院) | 一种区块链监管与激励下的联邦学习数据共享方法 |
CN117709444A (zh) * | 2024-02-06 | 2024-03-15 | 盛业信息科技服务(深圳)有限公司 | 基于去中心化联邦学习的差分隐私模型更新方法以及系统 |
CN117709444B (zh) * | 2024-02-06 | 2024-05-28 | 盛业信息科技服务(深圳)有限公司 | 基于去中心化联邦学习的差分隐私模型更新方法以及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114297722B (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114297722B (zh) | 一种基于区块链的隐私保护异步联邦共享方法及系统 | |
Zhang et al. | Faithful edge federated learning: Scalability and privacy | |
CN113191484A (zh) | 基于深度强化学习的联邦学习客户端智能选取方法及系统 | |
CN112632013A (zh) | 一种基于联邦学习的数据安全可信共享方法和装置 | |
Yakovenko et al. | The blockchain technology as a catalyst for digital transformation of education | |
Liu et al. | Blockchain-based task offloading for edge computing on low-quality data via distributed learning in the internet of energy | |
Chen et al. | DIM-DS: Dynamic incentive model for data sharing in federated learning based on smart contracts and evolutionary game theory | |
Yang et al. | Federated learning incentive mechanism design via enhanced shapley value method | |
Qin et al. | Privacy-preserving federated learning framework in multimedia courses recommendation | |
US11483333B2 (en) | Machine learning-based role determination for access control to enterprise systems | |
CN116627970A (zh) | 一种基于区块链和联邦学习的数据共享方法及装置 | |
CN113342418B (zh) | 基于区块链的分布式机器学习任务卸载方法 | |
Mugunthan et al. | BlockFLow: Decentralized, privacy-preserving, and accountable federated machine learning | |
Wang et al. | Tripartite evolutionary game analysis of trust relationship between enterprises in a cloud manufacturing environment: A service composition perspective | |
Atadouanla Segning et al. | Financial inclusion and income inequality in sub-Saharan Africa: Taking socio-cultural particularities into account | |
CN116451806A (zh) | 一种基于区块链的联邦学习激励分配方法及装置 | |
Jiang et al. | [Retracted] Evaluation Method of Human Resource Management Efficiency of Chain Retail Enterprises Based on Distributed Database | |
Huang et al. | An online inference-aided incentive framework for information elicitation without verification | |
Ma et al. | Simulation analysis of the evolution of sustainable operation of transport infrastructure projects under government regulation based on prospect theory and BP neural network | |
Ding et al. | An Investigation of Smart Contract for Collaborative Machine Learning Model Training | |
Witt et al. | Decentralized and Incentivized Federated Learning: A Blockchain-Enabled Framework Utilising Compressed Soft-Labels and Peer Consistency | |
Pei | Construction and application of talent evaluation model based on nonlinear hierarchical optimization neural network | |
Wu et al. | Research on internet financial risk control based on deep learning algorithm | |
CN116341014B (zh) | 一种多方联邦隐私数据资源交互方法、装置和介质 | |
Wang et al. | Proxy Forecasting to Avoid Stochastic Decision Rules in Decision Markets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |