CN117272364A - 基于区块链的协作学习及隐私-效率建模方法 - Google Patents
基于区块链的协作学习及隐私-效率建模方法 Download PDFInfo
- Publication number
- CN117272364A CN117272364A CN202310891717.9A CN202310891717A CN117272364A CN 117272364 A CN117272364 A CN 117272364A CN 202310891717 A CN202310891717 A CN 202310891717A CN 117272364 A CN117272364 A CN 117272364A
- Authority
- CN
- China
- Prior art keywords
- edge
- model
- round
- representing
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000002776 aggregation Effects 0.000 claims abstract description 34
- 238000004220 aggregation Methods 0.000 claims abstract description 34
- 238000012795 verification Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 3
- 238000005304 joining Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 239000002699 waste material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 101150049349 setA gene Proteins 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种基于区块链的协作学习及隐私‑效率建模方法。所述方法包括：边缘客户端根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度络；从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，对边缘客户端中的聚合结果进行验证，根据验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，将所有获胜者候选人中具有最小时间戳的边缘客户端作为本轮的获胜者；根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，利用最终全局模型构建新区块，根据新区块更新区块链。采用本方法能够提高物联网边缘终端客户的隐私保护和数据共享效率。
Description
技术领域
本申请涉及物联网技术领域，特别是涉及一种基于区块链的协作学习及隐私-效率建模方法。
背景技术
近年来，通信和边缘计算技术的快速发展推动了物联网浪潮的进一步发展，并催生出一个蓬勃发展的边缘智能和边缘服务时代。具体而言，在物联网边缘应用广泛使用的情况下，大量用户操作数据已经生成于网络边缘。在人工智能模型驱动下，这些数据的潜在价值可以得到充分释放，并使得大规模监视、监测和分析等活动可以在边缘进行实现，例如健康监测、公共疾病预测、交通拥堵预警等。毫无疑问，物联网边缘终端通过为用户数据提供无处不在的监视和收集正在革新智能医疗、智慧城市、智能交通等领域。但是，当前以云为中心的架构主导着数据收集和分析方式，导致许多孤立系统和数据垄断。在这种情况下，将会引起单点故障攻击高发、应用延迟高以及客户对于数据所有权与获取利益方面低安全保护等问题。
因此，结合区块链和联邦学习(FL)的新兴协作学习可以弥补物联网边缘终端在数据共享方面的不足，并受到了广泛关注。具体而言，区块链扮演着记录学习和共享行为的公共分类账角色。借助智能合约和来自区块链的共识机制，原始FL工作流程可以通过透明交易驱动，并实现去中心化、可信任的协作学习，无需依赖于集中式服务器。反过来，FL机制将物联网边缘终端数据共享任务转化为协同模型训练问题，并分享知识更新，在缓解区块链存储限制影响的同时提高了边缘智能通过AI模型之间的协同效应。尽管在边缘数据共享网络中使用协作学习提供了连接碎片化物联网边缘终端数据的有前途的解决方案，但基于区块链的协作学习其面临着隐私-效率交叉威胁，一方面，从用户收集的数据包含大量个人敏感信息，尽管FL可以在一定程度上减轻隐私泄露问题，但是仍然可能通过推理攻击披露私人信息，导致物联网边缘终端客户难以维护隐私保护。另一方面，在联邦学习和区块链技术结合的协作学习中，数据共享过程由学习操作和验证共识操作联合驱动。值得注意的是，这两种类型的操作并不总是同步进行，并且会消耗资源限制下端点设备宝贵资源而无意义地重复执行。这些低效和个人信息泄漏之间的重叠漏洞将不可避免地损害物联网边缘终端数据共享安全性和可持续性。许多相关工作已经被开展来改善基于区块链的协作学习中的隐私保护和培训效率，但是这些先前的工作将隐私和效率问题视为独立的，没有将两者联合起来考虑，后续在区块链的协作学习时学习准确率低，使得物联网边缘终端客户难以维护隐私保护和数据共享效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高物联网边缘终端客户的隐私保护和数据共享效率的基于区块链的协作学习及隐私-效率建模方法。
一种基于区块链的协作学习及隐私-效率建模方法，所述方法应用于包括区块链以及加入区块链的数据请求者、多个边缘客户端的边缘数据共享网络，所述方法包括：
数据请求者预先构建初始全局模型并对初始全局模型进行训练，将训练好的初始全局模型发送到合格的边缘客户端中；
边缘客户端根据预定义的损失函数对训练好的初始全局模型进行训练，得到本地模型；根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度并将模型梯度上传到区块链网络；从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果；
对边缘客户端中的聚合结果进行验证，得到验证结果；根据验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，将所有获胜者候选人中具有最小时间戳的边缘客户端作为本轮的获胜者；
根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，得到最终全局模型；
利用最终全局模型构建新区块，根据新区块更新区块链。
在其中一个实施例中，预定义的损失函数为
其中，t表示训练轮次，k表示边缘客户端的序号，表示本地训练样本批量总数,表示损失函数的求导,wk，t表示客户端k在t轮次的本地模型参数，ξj表示本地训练第j次的样本批量，j表示本地训练轮次。
在其中一个实施例中，根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度，包括：
根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度为
其中，表示边缘客户端k在第t轮得到的本地模型梯度，Lap(·)是拉普拉斯噪声生成函数，Sk，t表示边缘客户端k的任何相邻数据集/>和/>训练梯度在第t轮时的灵敏度，/>表示边缘客户端k在第t轮的隐私预算,/>表示边缘客户端k在第t轮时采用的个性化隐私保护策略。
在其中一个实施例中，从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果，包括：
从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果
其中，Nk，t表示边缘客户端k收到的本地模型梯度的数量，表示边缘客户端i在第t轮得到的本地模型梯度。
在其中一个实施例中，对边缘客户端中的聚合结果进行验证，得到验证结果，包括：
对边缘客户端中的聚合结果进行验证，得到验证结果为
其中，表示边缘客户端k在第t轮得到的聚合结果，/>表示边缘客户端i在第t轮得到的聚合结果，ρ表示边缘客户端i在区块链网络中接收到的聚合结果差异阈值，N表示边缘客户端的总数。
在其中一个实施例中，根据验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，包括：
在区块链网络中，边缘客户端i接收到广播的后,首先将/>与本地的聚合结果进行比较，如果差异小于阈值ρ，则/>将被视为有效并标记为1，同时如果边缘客户端k的验证结果/>则边缘客户端k成为获胜者候选人。
在其中一个实施例中，根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，得到最终全局模型，包括：
根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，得到最终全局模型为
其中，η表示学习率，表示边缘客户端k在第t轮训练好的初始全局模型在其中一个实施例中，利用最终全局模型构建新区块，包括：
利用最终全局模型构建新区块为
其中，表示最终全局模型，timestamp表示时间戳，PreHash表示前一块区块的哈希值，Txs表示本轮所产生的所有交易，/>表示本轮区块，Sigk表示客户端k的签名操作。
上述基于区块链的协作学习及隐私-效率建模方法，本申请通过利用个性化隐私保护策略对本地模型进行更新，避免了通过模型参数推断出的任何隐私泄露，更小隐私预算的差分隐私保护机制提高了模型的准确率，同时在协作学习过程中利用边缘客户端作为聚合服务器进行聚合，并且通过设置的验证条件确定获胜者候选人，将所有获胜者候选人中具有最小时间戳的边缘客户端作为本轮进行全局模型更新的领导者，减少了资源浪费，提高了数据共享效率。
附图说明
图1为一个实施例中一种基于区块链的协作学习及隐私-效率建模方法的流程示意图；
图2为一个实施例中基于区块链去中心化协作学习架构示意图；
图3为一个实施例隐私-效率联合优化流程设计示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于区块链的协作学习及隐私-效率建模方法，所述方法应用于包括区块链以及加入区块链的数据请求者、多个边缘客户端的边缘数据共享网络，包括以下步骤：
步骤102，数据请求者预先构建初始全局模型并对初始全局模型进行训练，将训练好的初始全局模型发送到合格的边缘客户端中。
本申请设计了一种具有紧耦合设计的基于区块链去中心化协作学习架构，如图2所示，数据请求者C首先构建一个初始全局模型并设定一些训练要求/>例如数据类型DT、训练优化器O、学习率η、全局聚合次数T等，同时定义训练者数量N和奖励规则/>它们被格式化为一条链上交易/>
数据请求者C附上数字签名后，交易将被发送到区块链网络中。在观察发布的训练任务后，合格的边缘客户端会提交他们的信息，而数据请求者最终会选择N个合格的候选人来组成一个协作学习小组。
步骤104，边缘客户端根据预定义的损失函数对训练好的初始全局模型进行训练，得到本地模型；根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度并将模型梯度上传到区块链网络；从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果。
在第t个训练回合中，每个被选中的客户端k获得最新的全局模型然后，以如下所示的预定义的损失函数最小化为目标，独立进行本地模型训练，以获取本地更新。
为了防止通过模型参数推断出的任何隐私泄露，客户端k采用个人隐私增强策略过程如下：
首先，定义差分隐私(Differential Privacy，DP)如下：对于任意的客户端k和其在t轮的隐私预算如果一个隐私机制/>满足/>-差分隐私，则对于任何仅在一条记录上有所不同的相邻训练数据集/>和/>以及任何输出集合/>都满足如下约束：
通常具有更小隐私预算的差分隐私保护机制引入了更多噪音并提供了更强的保护，但会降低模型准确性。考虑到物联网终端设备的学习偏好和隐私敏感度因其动态和有限资源而各不相同，在图3中的程序2中提出了个性化的DP隐私保护机制，在此机制中，拉普拉斯噪声可以由客户端根据自身条件自行确定，并添加到本地模型梯度中，在聚合之前进行处理。该过程可以进一步设计为以下两部分。
(1)隐私参数设置：考虑到训练模型的本地梯度是数值数据，因此任意客户端k在第t轮中从生成的拉普拉斯噪声/>定义如下：
其中，Lap(·)是拉普拉斯噪声生成函数，实际上是从一个均值为零、尺度为的拉普拉斯分布/>中抽取的。对于客户端k的任何相邻数据集/>和/>训练梯度在第t轮时的灵敏度Sk，t满足以下条件：
其中，fk(·)表示训练损失函数，Ck，t是用于限制gk，t的截断阈值，即||gk，t||≤Ck，t。根据上述公式，噪声值与训练数据集截断阈值Ck，t以及个人隐私预算/>相关，在不同情况下可以由客户自行确定。
(2)添加个性化噪声：设置隐私参数后，进行个性化差分隐私保护的模型梯度可表示如下:
在添加个人化的DP噪声后，客户端k使用他们的签名将扰动后的梯度上传到区块链网络。
通过添加个性化差分隐私噪声后，模型的性能(如精度等)势必会降低。基于此，设置了个性化差分隐私加噪后的模型收敛理论上限如下所示。
其中，l1，l2表示学习参数， 表示差分隐私噪声，由公式拉普拉斯噪声/>计算得到，l3表示数据异构程度，l4表示噪声参数。
通过利用个性化隐私保护策略对本地模型进行更新，避免了通过模型参数推断出的任何隐私泄露，更小隐私预算的差分隐私保护机制提高了模型的准确率。
步骤106，对边缘客户端中的聚合结果进行验证，得到验证结果；根据验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，将所有获胜者候选人中具有最小时间戳的边缘客户端作为本轮的获胜者。
在协作学习中，由于没有集中式的聚合服务器，聚合过程将由训练者执行。为了在物联网边缘环境下保持更高的学习效率，在图3中的程序4中提出了一种灵活的“聚合证明”来取代具有高能耗和浪费时间的共识机制，例如工作量证明。主要过程如下：
(1)计算全局更新：一旦客户端k决定参加共识竞争，它将立即尝试从区块链中搜索本轮所有有关局部梯度的交易信息，并持续执行聚合过程以计算获得如下式所示。因此，在这种情况下，客户端也同时扮演着聚合者的角色，从而减少了资源浪费(例如异步等待时间或无效空块生成)。
其中，Nk，t是客户端k收到的本地模型梯度的数量。如果客户端k获得了计算结果则会立即打包这Nk，t个交易和/>的信息到一个新区块中，附上时间戳Tk，t，并在全网广播这个新块。
(2)共享计算结果并选取获胜者：客户端k获得权利生成新区块并更新全局模型概率不仅取决于计算获得的速度，还取决于/>的准确性。我们将客户端k广播生成的新区块后等待验证结果建模如下:
在区块链网络中，某客户端i接收到广播的后,它将首先将/>与本地的计算结果/>进行比较。如果差异小于阈值ρ，则该结果/>将被视为有效并标记为1。如果客户端k获得了/>的结果，则将成为获胜者候选人。最后，在所有候选人中具有最小时间戳Tk，t的客户端则最终被视为本轮的获胜者。
客户端k将传输一笔签名交易来竞争区块生成的权利，其中包括花费的时间Δt，和时间戳timestamp。这提供了比传统的基于集中式参数服务器的框架更为强大的鲁棒性，因为所有节点都可以执行合并的角色。
步骤108，根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，得到最终全局模型；利用最终全局模型构建新区块，根据新区块更新区块链。
花费较少时间获得有效聚合结果的参与者将成为计算下一轮更新全局模型的临时领导者
该模型公式为
同时，临时领导者宣布一个新的块，该块定义了网络的最新状态，包括以前的块哈希，t轮次当且仅当该块被认为有效时，该块才被其他参与者接受。然后，一轮新的训练开始了。产生新块的交易如下所示：
一旦新块得到确认并附加到区块链上，获胜者负责发布更新的全局模型，然后协作学习开始新一轮。
上述基于区块链的协作学习及隐私-效率建模方法中，本申请通过利用个性化隐私保护策略对本地模型进行更新，避免了通过模型参数推断出的任何隐私泄露，更小隐私预算的差分隐私保护机制提高了模型的准确率，同时在协作学习过程中利用边缘客户端作为聚合服务器进行聚合，并且通过设置的验证条件确定获胜者候选人，将所有获胜者候选人中具有最小时间戳的边缘客户端作为本轮进行全局模型更新的领导者，减少了资源浪费，提高了数据共享效率。
在其中一个实施例中，预定义的损失函数为
其中，t表示训练轮次，k表示边缘客户端的序号，表示本地训练样本批量总数,表示损失函数的求导,wk，t表示客户端k在t轮次的本地模型参数，ξj表示本地训练第j次的样本批量，j表示本地训练轮次。
在其中一个实施例中，根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度，包括：
根据个性化隐私保护策略对本地模型进行更新，得到更新后的本地模型的模型梯度为
其中，表示边缘客户端k在第t轮得到的本地模型梯度，Lap(·)是拉普拉斯噪声生成函数，Sk，t表示边缘客户端k的任何相邻数据集/>和/>训练梯度在第t轮时的灵敏度，/>表示边缘客户端k在第t轮的隐私预算,/>表示边缘客户端k在第t轮时采用的个性化隐私保护策略。
在其中一个实施例中，从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果，包括：
从区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果
其中，Nk，t表示边缘客户端k收到的本地模型梯度的数量，表示边缘客户端i在第t轮得到的本地模型梯度。
在其中一个实施例中，对边缘客户端中的聚合结果进行验证，得到验证结果，包括：
对边缘客户端中的聚合结果进行验证，得到验证结果为
其中，表示边缘客户端k在第t轮得到的聚合结果，/>表示边缘客户端i在第t轮得到的聚合结果，ρ表示边缘客户端i在区块链网络中接收到的聚合结果差异阈值，N表示边缘客户端的总数。
在其中一个实施例中，根据验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，包括：
在区块链网络中，边缘客户端i接收到广播的后,首先将/>与本地的聚合结果进行比较，如果差异小于阈值ρ，则/>将被视为有效并标记为1，同时如果边缘客户端k的验证结果/>则边缘客户端k成为获胜者候选人。
在其中一个实施例中，根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，得到最终全局模型，包括：
根据获胜者对应的聚合结果对训练好的初始全局模型进行训练，得到最终全局模型为
其中，η表示学习率，表示边缘客户端k在第t轮训练好的初始全局模型。
在其中一个实施例中，利用最终全局模型构建新区块，包括：
利用最终全局模型构建新区块为
其中，表示最终全局模型，timestamp表示时间戳，PreHash表示前一块区块的哈希值，Txs表示本轮所产生的所有交易，/>表示本轮区块，Sigk表示客户端k的签名操作。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于区块链的协作学习及隐私-效率建模方法，其特征在于，所述方法应用于包括区块链以及加入区块链的数据请求者、多个边缘客户端的边缘数据共享网络，所述方法包括：
数据请求者预先构建初始全局模型并对所述初始全局模型进行训练，将训练好的初始全局模型发送到合格的边缘客户端中；
边缘客户端根据预定义的损失函数对所述训练好的初始全局模型进行训练，得到本地模型；根据个性化隐私保护策略对所述本地模型进行更新，得到更新后的本地模型的模型梯度并将所述模型梯度上传到区块链网络；从所述区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果；
对边缘客户端中的聚合结果进行验证，得到验证结果；根据所述验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，将所有获胜者候选人中具有最小时间戳的边缘客户端作为本轮的获胜者；
根据所述获胜者对应的聚合结果对所述训练好的初始全局模型进行训练，得到最终全局模型；
利用所述最终全局模型构建新区块，根据所述新区块更新区块链。
2.根据权利要求1所述的方法，其特征在于，所述预定义的损失函数为
其中，t表示训练轮次，k表示边缘客户端的序号，表示本地训练样本批量总数，/>表示损失函数的求导，wk，t表示客户端k在t轮次的本地模型参数，ξj表示本地训练第j次的样本批量，j表示本地训练轮次。
3.根据权利要求2所述的方法，其特征在于，根据个性化隐私保护策略对所述本地模型进行更新，得到更新后的本地模型的模型梯度，包括：
根据个性化隐私保护策略对所述本地模型进行更新，得到更新后的本地模型的模型梯度为
其中，表示边缘客户端k在第t轮得到的本地模型梯度，Lap(·)是拉普拉斯噪声生成函数，Sk，t表示边缘客户端k的任何相邻数据集/>和/>训练梯度在第t轮时的灵敏度，/>表示边缘客户端k在第t轮的隐私预算，/>表示边缘客户端k在第t轮时采用的个性化隐私保护策略。
4.根据权利要求3所述的方法，其特征在于，从所述区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果，包括：
从所述区块链网络中搜索本轮能够接收到的本地模型梯度进行聚合，得到聚合结果
其中，Nk，t表示边缘客户端k收到的本地模型梯度的数量，表示边缘客户端i在第t轮得到的本地模型梯度。
5.根据权利要求1所述的方法，其特征在于，对边缘客户端中的聚合结果进行验证，得到验证结果，包括：
对边缘客户端中的聚合结果进行验证，得到验证结果为
其中，表示边缘客户端k在第t轮得到的聚合结果，/>表示边缘客户端i在第t轮得到的聚合结果，ρ表示边缘客户端i在区块链网络中接收到的聚合结果差异阈值，N表示边缘客户端的总数。
6.根据权利要求5所述的方法，其特征在于，根据所述验证结果从多个边缘客户端中确定符合预先设置的验证条件的获胜者候选人，包括：
在区块链网络中，边缘客户端i接收到广播的后，首先将/>与本地的聚合结果/>进行比较，如果差异小于阈值ρ，则/>将被视为有效并标记为1，同时如果边缘客户端k的验证结果/>则边缘客户端k成为获胜者候选人。
7.根据权利要求4所述的方法，其特征在于，根据所述获胜者对应的聚合结果对所述训练好的初始全局模型进行训练，得到最终全局模型，包括：
根据所述获胜者对应的聚合结果对所述训练好的初始全局模型进行训练，得到最终全局模型为
其中，η表示学习率，表示边缘客户端k在第t轮训练好的初始全局模型。
8.根据权利要求7所述的方法，其特征在于，利用所述最终全局模型构建新区块，包括：
利用所述最终全局模型构建新区块为
其中，表示最终全局模型，timestamp表示时间戳，PreHash表示前一块区块的哈希值，Txs表示本轮所产生的所有交易，/>表示本轮区块，Sigk表示客户端k的签名操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310891717.9A CN117272364A (zh) | 2023-07-20 | 2023-07-20 | 基于区块链的协作学习及隐私-效率建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310891717.9A CN117272364A (zh) | 2023-07-20 | 2023-07-20 | 基于区块链的协作学习及隐私-效率建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117272364A true CN117272364A (zh) | 2023-12-22 |
Family
ID=89203382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310891717.9A Pending CN117272364A (zh) | 2023-07-20 | 2023-07-20 | 基于区块链的协作学习及隐私-效率建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117272364A (zh) |
-
2023
- 2023-07-20 CN CN202310891717.9A patent/CN117272364A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Salah et al. | Blockchain for AI: Review and open research challenges | |
| Guo et al. | Deep federated learning enhanced secure POI microservices for cyber-physical systems | |
| Guo et al. | Graph embedding‐based intelligent industrial decision for complex sewage treatment processes | |
| Moon et al. | Learning multiple quantiles with neural networks | |
| US11868368B2 (en) | System and method for implementing consensus in distributed ledger arrangement | |
| Hu et al. | Blockchain and federated edge learning for privacy-preserving mobile crowdsensing | |
| US20200084019A1 (en) | Blockchain Ranking Engine | |
| WO2022198947A1 (zh) | 密接人群识别方法、装置、电子设备及存储介质 | |
| Platt et al. | Sybil attacks on identity-augmented Proof-of-Stake | |
| Le Ny | Differentially private nonlinear observer design using contraction analysis | |
| Abreu‐Blaya et al. | On the conformable fractional logistic models | |
| Xu et al. | A scalable two-layer blockchain system for distributed multicloud storage in IIoT | |
| Yu et al. | Towards a privacy-preserving smart contract-based data aggregation and quality-driven incentive mechanism for mobile crowdsensing | |
| JP6006842B1 (ja) | 秘密計算装置、その方法、およびプログラム | |
| Halgamuge et al. | Trust model to minimize the influence of malicious attacks in sharding based blockchain networks | |
| Akter et al. | Edge intelligence-based privacy protection framework for iot-based smart healthcare systems | |
| Xu et al. | Cooperative swarm learning for distributed cyclic edge intelligent computing | |
| Ranbaduge et al. | Differentially private vertical federated learning | |
| Zhang et al. | Optimal Revenue Analysis of the Stubborn Mining Based on Markov Decision Process | |
| CN117272364A (zh) | 基于区块链的协作学习及隐私-效率建模方法 | |
| CN116614504B (zh) | 基于斯塔克尔伯格博弈的隐私-效率联合优化方法 | |
| Grüne-Yanoff | Choosing the right model for policy decision-making: the case of smallpox epidemiology | |
| Firdaus et al. | A Blockchain-Assisted Distributed Edge Intelligence for Privacy-Preserving Vehicular Networks. | |
| CN115409155A (zh) | 基于Transformer增强霍克斯过程的信息级联预测系统及方法 | |
| Thuraisingham et al. | Towards a framework for developing cyber privacy metrics: A vision paper |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |