CN117371025B - 一种去中心化机器学习模型训练方法及系统 - Google Patents

一种去中心化机器学习模型训练方法及系统 Download PDF

Info

Publication number
CN117371025B
CN117371025B CN202311204903.7A CN202311204903A CN117371025B CN 117371025 B CN117371025 B CN 117371025B CN 202311204903 A CN202311204903 A CN 202311204903A CN 117371025 B CN117371025 B CN 117371025B
Authority
CN
China
Prior art keywords
model
group
participant
participants
common
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311204903.7A
Other languages
English (en)
Other versions
CN117371025A (zh
Inventor
赵川
吴昊
赵圣楠
荆山
徐俊
鞠雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quancheng Provincial Laboratory
Original Assignee
Quancheng Provincial Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quancheng Provincial Laboratory filed Critical Quancheng Provincial Laboratory
Priority to CN202311204903.7A priority Critical patent/CN117371025B/zh
Publication of CN117371025A publication Critical patent/CN117371025A/zh
Application granted granted Critical
Publication of CN117371025B publication Critical patent/CN117371025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种去中心化机器学习模型训练方法及系统，包括：将参与方进行分组；重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；普通参与方以全局模型作为初始模型进行本地模型的训练，将本地模型拆分成份额的形式在组内进行分发，各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，将聚合结果发送至重构参与方；重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，区块链对小组模型再次进行聚合，将当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。保证各参与方的敏感数据不出本地，实现更高层次的敏感数据隐私保护。

Description

一种去中心化机器学习模型训练方法及系统
技术领域
本发明涉及区块链技术领域，特别是涉及一种去中心化机器学习模型训练方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
机器学习是综合统计学、概率论、计算机科学等多学科知识，通过计算机系统的自动学习和经验改进来完成某些特定任务的一门学科。机器学习模型从大量的训练数据中学习规律和模式，最终获得对新数据的预测和决策能力。机器学习是典型的数据驱动型任务，模型的最终性能与训练数据的数量和质量紧密相关。传统的机器学习方案通常要求训练方收集大量的数据用于模型训练，这些数据中往往包含各数据提供方的敏感信息，多方数据的集中存储带来了敏感数据隐私泄露的风险。
相关研究者针对上述问题进行了一系列深入研究，致力于在保护数据隐私的前提下保证各参与方能够参与数据分析与建模任务。McMahan等人首次提出了联邦学习框架，允许多方共同进行机器学习模型的联合训练，在训练过程中，各参与方无需向服务器发送任何私有的原始数据，仅通过参数交互的方式便可实现机器学习模型的训练。参与训练任务的各客户端基于本地数据进行本地模型训练，中心服务器负责加权本地模型，从而得到全局模型，经过多轮的迭代训练，最终能够得到一个趋近于集中式机器学习结果的模型。
上述方法有效降低了传统训练方式中数据汇集所带来的隐私泄露风险，但仍存在部分缺陷：
1、联邦学习的训练过程需要中心服务器的参与，负责各方参数的接收、聚合以及全局模型的分发，在整个架构中处于不可或缺的地位。因此，传统方案面临单点故障以及中心服务器作恶的风险。中心服务器发生故障，或者中心服务器作恶通过某些手段来扭曲全局模型，均会造成不可预计的损失。
2、联邦学习通过参数交互的方式进行模型的联合训练，保证各参与方原始训练数据不出本地，但相关研究表明，恶意参与方通过侧信道攻击等手段仍能够从明文模型中推断出部分敏感信息，方案仍面临敏感数据隐私泄露的风险。
发明内容
为了解决上述问题，本发明提出了一种去中心化机器学习模型训练方法及系统，基于秘密分享和智能合约技术，保证各参与方的敏感数据不出本地，通过模型聚合的相关操作，实现更高层次的敏感数据隐私保护，适用于多个参与方合作进行机器学习模型联合训练的场景。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种去中心化机器学习模型训练方法，包括：
将所有参与方进行分组，每组中包括普通参与方和重构参与方；
由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；
由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；
由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
作为可选择的实施方式，在组内分发模型份额时，每个普通参与方仅接收到其中一个模型份额。
作为可选择的实施方式，普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数。
作为可选择的实施方式，各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，/>为模型份额，g为小组。
作为可选择的实施方式，所述小组模型为明文形式。
第二方面，本发明提供一种去中心化机器学习模型训练方法，应用于区块链节点，包括：
接收当前轮次中各训练小组的小组模型；
对各训练小组的小组模型进行聚合；
将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；
其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到。
作为可选择的实施方式，所述区块链节点上部署智能合约，当接收的小组模型数目达到设定阈值后，智能合约自动调用并聚合小组模型，从而得到当前轮次的全局模型，将当前轮次的全局模型上传至区块链节点，以作为下一轮训练的初始模型。
第三方面，本发明提供一种客户端，包括：
分组模块，被配置为将所有参与方进行分组，每组中包括普通参与方和重构参与方；
接收模块，被配置为由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；
本地训练模块，被配置为由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；
重构模块，被配置为由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
第四方面，本发明提供一种区块链节点，包括：
接收模块，被配置为接收当前轮次中各训练小组的小组模型；
聚合模块，被配置为对各训练小组的小组模型进行聚合；
发送模块，被配置为将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；
其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到。
第五方面，本发明提供一种去中心化机器学习模型训练系统，包括：客户端和区块链节点；
所述客户端，用于将所有参与方进行分组，每组中包括普通参与方和重构参与方；由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链；
所述区块链节点，用于对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
与现有技术相比，本发明的有益效果为：
本发明基于秘密分享和智能合约实现去中心化机器学习模型的训练，保证各参与方的敏感数据不出本地，同时引入智能合约方法实现模型聚合的相关操作，取代联邦学习方案中的中心服务器，实现更高层次的敏感数据隐私保护，适用于多个参与方合作进行机器学习模型联合训练的场景。
本发明通过秘密分享的方式进行模型份额的分发，任何参与方无法获得其他任意单个参与方的明文模型，各参与方也无需公开本地训练数据，仅通过中间参数交互的方式便能实现机器学习模型的联合训练，有效保证各参与方模型数据的安全及敏感信息的隐私保护，避免通过差分隐私、同态加密等技术来保护模型参数所带来的模型性能下降以及计算量过大等诸多问题。
本发明将参与方划分为多个联邦学习训练小组，能够有效减少份额划分的数目，同时减少各参与方之间信息交互所带来的通信代价；其次，在整个过程中没有任何一个参与方的明文模型会被重构出来，被重构出来的只是小组模型或者全局模型，实现了对单个参与方模型的有效保护。
本发明引入区块链和智能合约来替代传统联邦学习中的中心服务器，实现了去中心化的机器学习模型训练，有效解决了中心化服务器所导致的服务器单点故障以及恶意服务器作恶的问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的去中心化机器学习模型训练方法流程示意图；
图2为本发明实施例1提供的组内模型份额分发示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例提出一种去中心化机器学习模型训练方法，应用于客户端，包括：
将所有参与方进行分组，每组中包括普通参与方和重构参与方；
由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；
由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；
由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型，直至全局模型收敛。
下面结合图1对本实施例方案做详细阐述。
(1)将所有各参与方划分为k个不同的训练小组g，各训练小组以g为索引，g∈[0，k)；每个训练小组g中包括参与训练的普通参与方和负责小组模型重构的重构参与方i∈[0，n)，n为普通参与方的总数。
(2)各训练小组g内的普通参与方基于本地数据集/>训练本地模型/>
其中，在进行本地模型训练之前，由重构参与方从区块链上下载初始全局模型/>并分发给组内的普通参与方/>各普通参与方以/>为初始模型进行本地模型的训练。
(3)每轮训练结束后，训练小组内的普通参与方将训练后的本地模型/>拆分成份额的形式，并发送至组内其他的普通参与方。
具体地，如图2所示，训练小组内的普通参与方通过秘密分享的分享算法Share()将自己的本地模型/>拆分成份额的形式，/> 拆分份额的数目为n-1；将这些份额分发给组内其他的普通参与方，每个普通参与方仅接收到其中一个模型份额；如图2所示，以4个普通参与方为例。
秘密分享(Secret Sharing，SS)是将秘密x分成n个秘密份额，少于t个秘密份额无法揭示关于秘密x的任何信息，累积不少于t个秘密份额才能够重构出秘密x，其中t≤n。
在本实施例中，使用的方案为t＝n的加法秘密分享算法，该算法由分享算法Share()和重构算法Reconstruct()组成，其秘密空间与份额空间均为GF(2L)。Share()算法将秘密x与份额数目n作为输入，将秘密x拆分为n个份额。从[0，2L]中随机选择n-1个随机数作为n-1个秘密份额，则第n个秘密份额xn表示为：
Reconstruct()算法接收n个秘密份额来恢复秘密x：
此外，秘密分享具有加法同态性质，对于秘密x和秘密y应用分享算法，得到Share(x，n)＝{x1，x2，...，xn}与Share(y，n)＝{y1，y2，...，yn}后可以计算zi＝(xi+yi)mod 2L，最终能够得到两个秘密的加法计算结果z：
(4)各普通参与方接收到同组其他普通参与方的n-1个模型份额后，将接收到的模型份额进行聚合，从而得到所在小组的小组模型份额/>具体的模型份额分发方式及小组模型份额结果如表1所示。
表1份额分配
(5)各普通参与方将本地计算得到的小组模型份额/>发送至重构参与方重构参与方/>接收各小组模型份额并对其进行重构，得到明文形式下的小组模型Mg，/>
通过上述方式，在模型训练过程中，各普通参与方的模型参数均以份额的形式出现，避免通过分析中间参数而引发的隐私泄露问题。
(6)各训练小组g中的重构参与方将小组模型Mg上传至区块链；在区块链中，待区块链上的小组模型Mg数目达到设定阈值t后，智能合约将自动调用，聚合各小组模型，得到当前轮次的全局模型Mglobal，/>
区块链(Blockchain)是一种去中心化的、不可篡改的分布式账本技术，本质上是一种链式存储的数据结构，旨在实现安全透明、可验证的交易和信息存储。区块链的核心理念是将交易和数据分散地保存在网络上的多个节点中，而不是依赖于单个机构或服务器的集中存储。每个节点都维护着完整的账本副本，并通过共识算法来协调和验证交易的合法性。区块链的基本单元是区块，每个区块包含一批交易或数据的信息，并通过密码学哈希函数与前一个区块链接在一起，形成一个不可改变的链式结构，这种数据结构极大增强了数据的安全性，因为任何对前一个区块的修改都会导致后续区块的哈希值失效，从而揭示出篡改的痕迹。因此，区块链具备高度的不可篡改性，确保数据的完整性和可信度。
智能合约是一种能够自动执行的代码段，实现传统合约中所规定的“如果满足某些特定条件，就执行相应的策略”的功能。与其他程序代码不同，智能合约能够按照设计者的意图进行执行，而且不存在语言的歧义点，从而减少了争议的可能性。智能合约被部署后，无法进行修改，从而确保了合约的不可篡改行和安全性。当满足事先设定的条件时，智能合约将自动执行，并且外部节点无法干预其执行过程，这种自动化执行的特性赋予了智能合约高度的可靠性和效率，大大减少了人为错误和延迟。
(7)智能合约将聚合得到的当前轮次的全局模型Mglobal上传至区块链，区块链将当前轮次的全局模型Mglobal下发至重构参与方，作为下一轮训练的初始模型，普通参与方将在Mglobal的基础上继续进行下一轮的训练任务，直至全局模型收敛。
实施例2
本实施例提供一种去中心化机器学习模型训练方法，应用于区块链节点，包括：
接收当前轮次中各训练小组的小组模型；
对各训练小组的小组模型进行聚合；
将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；
其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到。
在本实施例中，在所述区块链节点上部署智能合约，当接收的小组模型数目达到设定阈值后，智能合约自动调用并聚合小组模型，从而得到当前轮次的全局模型，将当前轮次的全局模型上传至区块链节点，以作为下一轮训练的初始模型。
实施例3
本实施例提供一种客户端，包括：
分组模块，被配置为将所有参与方进行分组，每组中包括普通参与方和重构参与方；
接收模块，被配置为由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；
本地训练模块，被配置为由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；
重构模块，被配置为由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
实施例4
本实施例提供一种区块链节点，包括：
接收模块，被配置为接收当前轮次中各训练小组的小组模型；
聚合模块，被配置为对各训练小组的小组模型进行聚合；
发送模块，被配置为将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；
其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到。
实施例5
本实施例提供一种去中心化机器学习模型训练系统，包括：客户端和区块链节点；
所述客户端，用于将所有参与方进行分组，每组中包括普通参与方和重构参与方；由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链；
所述区块链节点，用于对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种去中心化机器学习模型训练方法，其特征在于，应用于客户端，包括：
将所有参与方进行分组，每组中包括普通参与方和重构参与方；
由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；
由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；
由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型；
所述的本地模型拆分成份额的形式，是普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数；
所述的各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，g为小组。
2.如权利要求1所述的一种去中心化机器学习模型训练方法，其特征在于，在组内分发模型份额时，每个普通参与方仅接收到其中一个模型份额。
3.如权利要求1所述的一种去中心化机器学习模型训练方法，其特征在于，所述小组模型为明文形式。
4.一种去中心化机器学习模型训练方法，其特征在于，应用于区块链设备，包括：
接收当前轮次中各训练小组的小组模型；
对各训练小组的小组模型进行聚合；
将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；
其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到；
所述的本地模型拆分成份额的形式，是普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数；
所述的各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，g为小组。
5.如权利要求4所述的一种去中心化机器学习模型训练方法，其特征在于，所述区块链设备上部署智能合约，当接收的小组模型数目达到设定阈值后，智能合约自动调用并聚合小组模型，从而得到当前轮次的全局模型，将当前轮次的全局模型上传至区块链设备，以作为下一轮训练的初始模型。
6.一种客户端，其特征在于，包括：
分组模块，被配置为将所有参与方进行分组，每组中包括普通参与方和重构参与方；
接收模块，被配置为由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；
本地训练模块，被配置为由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；
所述的本地模型拆分成份额的形式，是普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数；
所述的各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，g为小组；
重构模块，被配置为由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
7.一种区块链设备，其特征在于，包括：
接收模块，被配置为接收当前轮次中各训练小组的小组模型；
聚合模块，被配置为对各训练小组的小组模型进行聚合；
发送模块，被配置为将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；
其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到；
所述的本地模型拆分成份额的形式，是普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数；
所述的各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，g为小组。
8.一种去中心化机器学习模型训练系统，其特征在于，包括：客户端和区块链设备；
所述客户端，用于将所有参与方进行分组，每组中包括普通参与方和重构参与方；由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链；
所述的本地模型拆分成份额的形式，是普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数；
所述的各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，g为小组；
所述区块链设备，用于对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。
CN202311204903.7A 2023-09-18 2023-09-18 一种去中心化机器学习模型训练方法及系统 Active CN117371025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311204903.7A CN117371025B (zh) 2023-09-18 2023-09-18 一种去中心化机器学习模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311204903.7A CN117371025B (zh) 2023-09-18 2023-09-18 一种去中心化机器学习模型训练方法及系统

Publications (2)

Publication Number Publication Date
CN117371025A CN117371025A (zh) 2024-01-09
CN117371025B true CN117371025B (zh) 2024-04-16

Family

ID=89401243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311204903.7A Active CN117371025B (zh) 2023-09-18 2023-09-18 一种去中心化机器学习模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN117371025B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
US10963786B1 (en) * 2019-05-07 2021-03-30 Ledgerdomain Inc. Establishing a trained machine learning classifier in a blockchain network
CN112685793A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 基于区块链的数据处理方法、装置和系统
CN113849837A (zh) * 2021-09-29 2021-12-28 支付宝(杭州)信息技术有限公司 一种安全模型的训练方法、装置、设备以及数据处理方法
CN114818011A (zh) * 2022-06-27 2022-07-29 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、系统及电子设备
CN115687526A (zh) * 2022-11-08 2023-02-03 西安交通大学 一种基于区块链和联邦学习的地震数据模型共享方法
CN116049816A (zh) * 2023-01-09 2023-05-02 北京交通大学 一种基于区块链可验证安全的联邦学习方法
CN116132017A (zh) * 2022-11-16 2023-05-16 泉城省实验室 隐私保护机器学习推理加速的方法与系统
CN116233177A (zh) * 2022-12-29 2023-06-06 山东省计算中心（国家超级计算济南中心） 基于区块链和动态信誉的车联网数据安全共享方法及系统
CN116305186A (zh) * 2023-01-12 2023-06-23 浙江大学 一种去中心化低通信开销的安全聚合方法
CN116484923A (zh) * 2022-12-06 2023-07-25 济南大学 基于区块链和数据增强的联邦学习训练方法及系统
CN116489637A (zh) * 2023-04-25 2023-07-25 北京交通大学 一种面向元宇宙的基于隐私保护的移动边缘计算方法
WO2023138152A1 (zh) * 2022-01-20 2023-07-27 广州广电运通金融电子股份有限公司 一种基于区块链的联邦学习方法和系统
CN117527183A (zh) * 2023-11-14 2024-02-06 济南大学 一种面向电力数据的去中心化共享与跨链计算方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963786B1 (en) * 2019-05-07 2021-03-30 Ledgerdomain Inc. Establishing a trained machine learning classifier in a blockchain network
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
CN112685793A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 基于区块链的数据处理方法、装置和系统
CN113849837A (zh) * 2021-09-29 2021-12-28 支付宝(杭州)信息技术有限公司 一种安全模型的训练方法、装置、设备以及数据处理方法
WO2023138152A1 (zh) * 2022-01-20 2023-07-27 广州广电运通金融电子股份有限公司 一种基于区块链的联邦学习方法和系统
CN114818011A (zh) * 2022-06-27 2022-07-29 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、系统及电子设备
CN115687526A (zh) * 2022-11-08 2023-02-03 西安交通大学 一种基于区块链和联邦学习的地震数据模型共享方法
CN116132017A (zh) * 2022-11-16 2023-05-16 泉城省实验室 隐私保护机器学习推理加速的方法与系统
CN116484923A (zh) * 2022-12-06 2023-07-25 济南大学 基于区块链和数据增强的联邦学习训练方法及系统
CN116233177A (zh) * 2022-12-29 2023-06-06 山东省计算中心（国家超级计算济南中心） 基于区块链和动态信誉的车联网数据安全共享方法及系统
CN116049816A (zh) * 2023-01-09 2023-05-02 北京交通大学 一种基于区块链可验证安全的联邦学习方法
CN116305186A (zh) * 2023-01-12 2023-06-23 浙江大学 一种去中心化低通信开销的安全聚合方法
CN116489637A (zh) * 2023-04-25 2023-07-25 北京交通大学 一种面向元宇宙的基于隐私保护的移动边缘计算方法
CN117527183A (zh) * 2023-11-14 2024-02-06 济南大学 一种面向电力数据的去中心化共享与跨链计算方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Decentralized Federated Unlearning on Blockchain;Xiao Liu等;CCS ’23;20231130;1-14 *
区块链技术航空应用与发展展望;王宁;王煜;张志雄;;航空科学技术;20200625(第06期);7-13 *
基于Cut-and-Choose技术的安全多方计算;赵川等;计算机研究与发展;20211109;第59卷(第8期);1800-1818 *
基于区块链的联邦学习隐私安全性研究;张鹏;中国优秀硕士学位论文全文数据库 信息科技辑;20230115(第1期);I138-87 *
机器学习的隐私保护研究综述;刘俊旭;孟小峰;;计算机研究与发展;20200215(第02期);346-362 *

Also Published As

Publication number Publication date
CN117371025A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN113467927A (zh) 一种基于区块链的参与方可信任的联邦学习方法和装置
CN108494581A (zh) Sdn网络的控制器分布式日志生成方法及装置
DE112020005289T5 (de) Teilweise sortierte blockchain
CN114462624B (zh) 一种基于区块链开展可信联邦学习的方法
CN112540926A (zh) 一种基于区块链的资源分配公平的联邦学习方法
CN114254386A (zh) 基于层次聚合和区块链的联邦学习隐私保护系统及方法
CN114626547A (zh) 一种基于区块链的群组协同学习方法
CN115270145A (zh) 一种基于联盟链和联邦学习的用户窃电行为检测方法及系统
CN113468264A (zh) 一种基于区块链的中毒防御和中毒溯源的联邦学习方法和装置
CN113469371A (zh) 联邦学习方法和装置
CN115759289A (zh) 基于用户分组协同的联邦学习方法、系统及装置
CN116366673A (zh) 一种面向电网信息机房管理的数据分析与共享方法
CN117313832A (zh) 基于双向知识蒸馏的联合学习模型训练方法、装置及系统
CN117371025B (zh) 一种去中心化机器学习模型训练方法及系统
Gou et al. Clustered hierarchical distributed federated learning
CN114724661A (zh) 一种基于区块链技术的多源临床试验数据分享方法
CN116546499B (zh) 一种基于轻量级拜占庭容错的移动终端身份认证方法
Zhang et al. Privacy protection federated learning framework based on blockchain and committee consensus in IoT devices
Liu et al. Federated Learning with Anomaly Client Detection and Decentralized Parameter Aggregation
CN117216788A (zh) 基于区块链的联邦学习隐私保护视频场景识别方法
CN115865943B (zh) 自适应动态跨链共识机制选择的方法
CN116776997A (zh) 非独立同分布环境下的联邦学习模型构建方法
CN113157700B (zh) 一种基于区块链技术的快速抽签/排序方法
Li et al. FedGosp: a novel framework of gossip federated learning for data heterogeneity
Truong et al. BFLMeta: Blockchain-Empowered Metaverse with Byzantine-Robust Federated Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant