CN113792347B - 基于区块链的联邦学习方法、装置、设备及存储介质 - Google Patents
基于区块链的联邦学习方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113792347B CN113792347B CN202110975346.3A CN202110975346A CN113792347B CN 113792347 B CN113792347 B CN 113792347B CN 202110975346 A CN202110975346 A CN 202110975346A CN 113792347 B CN113792347 B CN 113792347B
- Authority
- CN
- China
- Prior art keywords
- model
- blockchain
- training
- trained
- federation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于区块链的联邦学习方法、装置、设备及存储介质。包括:基于预设共识机制确定当前执行模型训练操作的第一区块链节点;所述第一区块链节点从设定公共账本中获取目标待训练模型;根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;将所述训练后的模型签名后存储至所述设定公共账本;返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。本发明实施提供的基于区块链的联邦学习方法,采用区块链技术实现联邦学习模型训练,以保证发布模块的安全可靠性,避免作恶行为,从而提高联邦学习效率。
Description
技术领域
本发明实施例涉及区块链技术领域,尤其涉及一种基于区块链的联邦学习方法、装置、设备及存储介质。
背景技术
联邦学习是一种分布式的机器学习方式,由两个或者更多的参与方协作训练一个共享的机器学习模型。每一个参与方都有各自用于训练该模型的数据。
区块链,是利用分布式账本技术解决多方信任问题的去中心化创新性的解决方案,是当前社会的前沿技术。
目前在进行联邦学习模型训练时,由于有多方参与,且提供的训练数据并不是明文数据,无法确保该参与方发布的模型可靠性,且无法避免参与方恶意提供错误数据的行为,导致联邦学习效率得不到保障。
发明内容
本发明实施例提供一种基于区块链的联邦学习方法、装置、设备及存储介质,采用区块链技术实现联邦学习模型训练,以保证发布模块的安全可靠性,避免作恶行为,从而提高联邦学习效率。
第一方面,本发明实施例提供了一种基于区块链的联邦学习方法,应用于参与联邦学习的区块链节点;包括:
基于预设共识机制确定当前执行模型训练操作的第一区块链节点;
所述第一区块链节点从设定公共账本中获取目标待训练模型;其中,所述目标待训练模型为标记为有效的最新模型或者初始模型;
根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;
将所述训练后的模型签名后存储至所述设定公共账本;
返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。
第二方面,本发明实施例还提供了一种基于区块链的联邦学习装置,应用于参与联邦学习的区块链节点;包括:
第一区块链节点确定模块,用于基于预设共识机制确定当前执行模型训练操作的第一区块链节点;
目标待训练模型获取模块,用于所述第一区块链节点从设定公共账本中获取目标待训练模型;其中,所述目标待训练模型为标记为有效的最新模型或者初始模型;
模型训练模块,用于根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;
模型存储模块,用于将所述训练后的模型签名后存储至所述设定公共账本;
返回执行模块,用于返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。
第三方面,本发明实施例还提供了一种计算机设备,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例所述的基于区块链的联邦学习方法。
第四方面,本发明实施例还提供的了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现如本发明实施例所述的基于区块链的联邦学习方法。
本发明实施例公开了一种基于区块链的联邦学习方法、装置、设备及存储介质。基于预设共识机制确定当前执行模型训练操作的第一区块链节点;第一区块链节点从设定公共账本中获取目标待训练模型;其中,目标待训练模型为标记为有效的最新模型或者初始模型;根据本地私有数据及智能合约上的训练算法对目标待训练模型进行训练,获得训练后的模型;将训练后的模型签名后存储至设定公共账本;返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。本发明实施提供的基于区块链的联邦学习方法,采用区块链技术实现联邦学习模型训练,以保证发布模块的安全可靠性,避免作恶行为,从而提高联邦学习效率。
附图说明
图1是本发明实施例一中的一种基于区块链的联邦学习方法的流程图;
图2是本发明实施例一中的基于区块链的联邦学习系统的原理图;
图3是本发明实施例二中的一种基于区块链的联邦学习装置的结构示意图;
图4是本发明实施例三中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于区块链的联邦学习方法的流程图,本实施例可适用于联邦学习训练模型的情况,该方法可以由基于区块链的联邦学习装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有基于区块链的联邦学习功能的设备中,该设备可以是服务器或服务器集群等电子设备。
图2是本发明实施例中的基于区块链的联邦学习系统的原理图。如图2所示,该区块链包含有三个节点,分别为区块链节点A、区块链节点B和区块链节点C。底层联盟链支持私有数据功能,即每个区块链节点可以有私有数据,节点用户可以设置私有数据可以被区块链同步机制同步到哪些节点或者只能被本节点访问。私有数据的摘要值(Hash值)会被自动存放在公共账本上。因此用户对私有数据的修改可以被链上的所有其他参与方察觉,即使其他节点可能无法读取私有数据。
底层联盟链支持多账本机制,每次启动一个独立的联邦学习训练实例,都会创建一个子账本(新的公共账本)。每个子账本可以有不同的参与方集合,不加入此账本的参与方无法访问此账本的数据和联邦学习训练实例。因为子账本上的智能合约和数据都相互隔离,所以每个联邦学习训练实例都可以保持互相独立和隔离。每个参与方可以同时加入多个联邦学习训练实例,其区块链节点可以同时加入多个对应的子账本,以实现计算资源的复用,降低使用成本。图2中参与者A和参与者C同时加入了公共账本1和公共账本2上的联邦学习训练实例,可以同时访问这两个账本。参与者B只加入了公共账本1上的联邦学习训练实例,只能访问公共账本1上的数据。
模型的训练算法通过智能合约的形式实现,并由各参与方审阅后达成共识后,安装在各自的区块链节点,并与指定公共账本相关联(即可以在该账本上执行该智能合约)。训练的初始模型在各方达成共识后,作为训练算法智能合约的初始化参数在该智能合约执行初始化的时候,被写入到公共账本。因为训练算法智能合约和初始模型都由各参与方达成共识后签名确认,所以任何一方都无法篡改。区块链节点上安装的训练算法智能合约可以读取节点本地的私有数据(训练数据)和公共账本上的初始模型或者其它区块链节点更新的中间训练模型进行训练。
模型的评估算法通过智能合约的形式实现,并由各方审阅达成共识后,安装在各自的区块链节点上,并与指定公共账本相关联(即可以在该账本上执行该智能合约)。评估模型用的模型评测数据在各方达成共识后,作为评估算法智能合约的初始化参数在该智能合约执行初始化的时候,被写入到公共账本。因为评估算法智能合约和模型评测数据都由各参与方达成共识后签名确认,所以任何一方都无法篡改。
如图1所示,该方法具体包括如下步骤:
步骤110,基于预设共识机制确定当前执行模型训练操作的第一区块链节点。
其中,预设共识机制可以是由参与联邦学习的区块链节点达成共识的用以确定当前执行模型训练操作的区块链节点的机制。在区块链技术中,常见的共识机制包括工作量证明机制、权益证明机制以及股份授权证明机制,本实施例均可以采用。
可选的,本实施例中的预设共识机制还可以是预先约定的训练顺序。示例性的,假设当前参与联邦学习的区块链节点包含有A、B、C和D,预先约定的训练顺序为A、C、D、B,加入A刚执行完成模型训练操作,则当前确定的执行模型训练操作的区块链节点为C。
步骤120,第一区块链节点从设定公共账本中获取目标待训练模型。
其中,设定公共账本可以被参与当前联邦学习的所有区块链节点访问,用于存储初始模型、各参与方私有数据的摘要哈希值、中间训练模型以及模型评测数据等。目标待训练模型为标记为有效的最新模型或者初始模型。初始模型可以理解为还未被训练的模型,标记为有效的最新模型可以理解为被存储至设定公共账本的时间最短且标记为有效的中间模型。
本实施例中,第一区块链节点可以具有访问设定公共账本的权限,因此可以直接从设定公共账本中获取到目标待训练模型。
步骤130,根据本地私有数据及智能合约上的训练算法对目标待训练模型进行训练,获得训练后的模型。
其中,本地私有数据可以理解为参与训练且无法被其他区块链节点查看的数据。训练算法是由参与联邦学习的区块链节点审阅并达成共识后,以智能合约的形式安装于各参与联邦学习的区块链节点的。
具体的,第一区块链节点使用本地私有数据按照智能合约上的训练算法对目标待训练模型进行训练。模型的训练方式可以采用现有任意的训练方式,此处不再赘述。
步骤140,将训练后的模型签名后存储至设定公共账本。
本实施例中,每个参与联邦学习的区块链节点生成的中间训练模型都是独立的,其他节点无法篡改且可追溯。
当其他参与联邦学习的区块链节点检测到有新的模型存储至设定公共账本时,从设定公共账本中获取新的模型及模型评测数据;根据模型评测数据及智能合约上的评估算法对新的模型进行评估;将评估结果签名后写入设定公共账本。
其中,模型评测数据是由参与联邦学习的区块链节点审阅并达成共识后,存储至所定公共账本的。模型评测数据用来对训练后的模型的有效性进行评估。评估算法是由参与联邦学习的区块链节点审阅并达成共识后,以智能合约的形式安装于各参与联邦学习的区块链节点的。
具体的,在将评估结果签名后写入设定公共账本之后,还包括:若超过设定比例的参与联邦学习的区块链节点的评估结果为有效,则将新的模型标记为有效,否则,将新的模型标记为无效。
其中,设定比例可以设置40-80%之间的任意值,且设定比例是由参与联邦学习的区块链节点达成共识设置的。这种方法可以有效识别一些参与方的无效训练数据甚至恶意攻击,该中间训练模型标记结果也被各个参与了评测的参与方签名,因此标记结果无法被篡改。
可选的,在将训练后的模型签名后存储至设定公共账本之后,还包括如下步骤:计算本地私有数据的摘要哈希值;将摘要哈希值存储至设定公共账本。
将本地私有数据的摘要哈希值存储至设定公共账本中,若用户对私有数据的修改则可以被链上的所有其他参与方察觉,因此,这样做的好处是可以防止用户对本地私有数据篡改。
步骤150,判断参与联邦学习的所有区块链节点是否完成模型训练,若否,则返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。
本实施例中,参与联邦学习的所有区块链节点未完成模型训练,则继续基于预设共识机制确定下一个执行模型训练操作的第一区块链节点,第一区块链节点从设定公共账本中获取目标待训练模型;根据本地私有数据及智能合约上的训练算法对目标待训练模型进行训练,获得训练后的模型;将训练后的模型签名后存储至设定公共账本的操作,直到参与联邦学习的所有区块链节点完成模型训练。
步骤160,结束。
示例性的,下述以一个实例介绍本实施例的基于区块链的联邦学习方法:
1、训练算法智能合约和评估算法智能合约完成初始化之后,联盟学习平台业务层可以根据事先约定的顺序或者策略确定第一个启动训练的参与方。该参与方使用训练算法智能合约和本地私有数据对公共账本上的初始模型进行训练,训练产生的中间训练模型由该参与方签名后被写入公共账本。
2、其他参与方检测到更新到公共账本的中间训练模型后,会启动各自的评估算法智能合约以及公共账本上模型评测数据对中间训练模型进行评测,如果各参与方对训练的有效性达成共识,则中间训练模型会被标记为有效;否则该中间训练模型会被忽略。
3、下一个参与方继续使用本地节点上的私有数据中的训练数据对新的中间训练模型(如果被标记为有效)进行继续训练或者对公共账本上的初始模型(如果新的中间训练模型被标记为无效)进行继续训练。
9、以此类推,直到所有参与方完成训练,最后产生的有效中间训练模型就是最终训练模型。
本实施例的技术方案,基于预设共识机制确定当前执行模型训练操作的第一区块链节点;第一区块链节点从设定公共账本中获取目标待训练模型;其中,目标待训练模型为标记为有效的最新模型或者初始模型;根据本地私有数据及智能合约上的训练算法对目标待训练模型进行训练,获得训练后的模型;将训练后的模型签名后存储至设定公共账本;返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。本发明实施提供的基于区块链的联邦学习方法,采用区块链技术实现联邦学习模型训练,以保证发布模块的安全可靠性,避免作恶行为,从而提高联邦学习效率。
实施例二
图3是本发明实施例二提供的一种基于区块链的联邦学习装置的结构示意图,应用于参与联邦学习的区块链节点;包括:
第一区块链节点确定模块210,用于基于预设共识机制确定当前执行模型训练操作的第一区块链节点;
目标待训练模型获取模块220,用于所述第一区块链节点从设定公共账本中获取目标待训练模型;其中,所述目标待训练模型为标记为有效的最新模型或者初始模型;
模型训练模块230,用于根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;
模型存储模块240,用于将所述训练后的模型签名后存储至所述设定公共账本;
返回执行模块250,用于返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。
可选的,还包括:摘要哈希值存储模块,用于:
计算所述本地私有数据的摘要哈希值;
将所述摘要哈希值存储至所述设定公共账本。
可选的,还包括:模型评估模块,用于:
当检测到有新的模型存储至所述设定公共账本时,从所述设定公共账本中获取所述新的模型及模型评测数据;
根据所述模型评测数据及所述智能合约上的评估算法对所述新的模型进行评估;
将评估结果签名后写入所述设定公共账本。
可选的,还包括:模型标记模块,用于:
若超过设定比例的参与联邦学习的区块链节点的评估结果为有效,则将所述新的模型标记为有效,否则,将所述新的模型标记为无效。
可选的,还包括:评估算法共识模块,用于:
参与联邦学习的区块链节点对所述评估算法和所述模型评测数据进行审阅,若参与联邦学习的各区块链节点达成共识,则将所述模型评测数据存储至所述设定公共账本中,将所述评估算法以智能合约的形式安装于各参与联邦学习的区块链节点。
可选的,还包括:训练算法共识模块,用于:
参与联邦学习的区块链节点对所述训练算法进行审阅,若参与联邦学习的各区块链节点达成共识,则将所述训练算法以智能合约的形式安装于各参与联邦学习的区块链节点。
可选的,还包括:公共账本创建模块,用于:
当检测到联邦学习训练实例启动时,根据所述联邦学习训练实例创建设定公共账本;其中,所述联邦学习训练实例包括多个区块链节点,且所述多个区块链节点能够访问所述设定公共账本。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例三
图4为本发明实施例三提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的计算机设备312的框图。图4显示的计算机设备312仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的基于区块链的联邦学习功能的计算设备。
如图4所示,计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于:一个或者多个处理器316,存储装置328,连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统334可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336,可以存储在例如存储装置328中,这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信,还可与一个或者多个使得用户能与该计算机设备312交互的设备通信,和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且,计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork,LAN),广域网Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备312使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的基于区块链的联邦学习方法。
实施例四
本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理装置执行时实现如本发明实施例中的基于区块链的联邦学习方法。本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:基于预设共识机制确定当前执行模型训练操作的第一区块链节点;所述第一区块链节点从设定公共账本中获取目标待训练模型;其中,所述目标待训练模型为标记为有效的最新模型或者初始模型;根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;将所述训练后的模型签名后存储至所述设定公共账本;返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练。。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种基于区块链的联邦学习方法,其特征在于,应用于参与联邦学习的区块链节点;包括:
基于预设共识机制确定当前执行模型训练操作的第一区块链节点;
所述第一区块链节点从设定公共账本中获取目标待训练模型;其中,所述目标待训练模型为标记为有效的最新模型或者初始模型;
根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;
将所述训练后的模型签名后存储至所述设定公共账本;
返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练;
所述基于区块链的联邦学习方法,还包括:
当检测到有新的模型存储至所述设定公共账本时,从所述设定公共账本中获取所述新的模型及模型评测数据;
根据所述模型评测数据及所述智能合约上的评估算法对所述新的模型进行评估;
将评估结果签名后写入所述设定公共账本;
在所述基于预设共识机制确定当前执行模型训练操作的第一区块链节点之前,还包括:
参与联邦学习的区块链节点对所述评估算法和所述模型评测数据进行审阅,若参与联邦学习的各区块链节点达成共识,则将所述模型评测数据存储至所述设定公共账本中,将所述评估算法以智能合约的形式安装于各参与联邦学习的区块链节点;
在所述基于预设共识机制确定当前执行模型训练操作的第一区块链节点之前,还包括:
参与联邦学习的区块链节点对所述训练算法进行审阅,若参与联邦学习的各区块链节点达成共识,则将所述训练算法以智能合约的形式安装于各参与联邦学习的区块链节点。
2.根据权利要求1所述的方法,其特征在于,在将所述训练后的模型签名后存储至所述设定公共账本之后,还包括:
计算所述本地私有数据的摘要哈希值;
将所述摘要哈希值存储至所述设定公共账本。
3.根据权利要求1所述的方法,其特征在于,将评估结果签名后写入所述设定公共账本之后,还包括:
若超过设定比例的参与联邦学习的区块链节点的评估结果为有效,则将所述新的模型标记为有效,否则,将所述新的模型标记为无效。
4.根据权利要求1所述的方法,其特征在于,在基于预设共识机制确定当前执行模型训练操作的第一区块链节点之前,还包括:
当检测到联邦学习训练实例启动时,根据所述联邦学习训练实例创建设定公共账本;其中,所述联邦学习训练实例包括多个区块链节点,且所述多个区块链节点能够访问所述设定公共账本。
5.一种基于区块链的联邦学习装置,其特征在于,应用于参与联邦学习的区块链节点;包括:
第一区块链节点确定模块,用于基于预设共识机制确定当前执行模型训练操作的第一区块链节点;
目标待训练模型获取模块,用于所述第一区块链节点从设定公共账本中获取目标待训练模型;其中,所述目标待训练模型为标记为有效的最新模型或者初始模型;
模型训练模块,用于根据本地私有数据及智能合约上的训练算法对所述目标待训练模型进行训练,获得训练后的模型;
模型存储模块,用于将所述训练后的模型签名后存储至所述设定公共账本;
返回执行模块,用于返回执行基于预设共识机制确定下一个执行模型训练操作的第一区块链节点的操作,直到参与联邦学习的所有区块链节点完成模型训练;
所述基于区块链的联邦学习装置,还包括:模型评估模块,用于:
当检测到有新的模型存储至所述设定公共账本时,从所述设定公共账本中获取所述新的模型及模型评测数据;
根据所述模型评测数据及所述智能合约上的评估算法对所述新的模型进行评估;
将评估结果签名后写入所述设定公共账本;
所述装置还包括:评估算法共识模块和训练算法共识模块;
所述评估算法共识模块,用于参与联邦学习的区块链节点对所述评估算法和所述模型评测数据进行审阅,若参与联邦学习的各区块链节点达成共识,则将所述模型评测数据存储至所述设定公共账本中,将所述评估算法以智能合约的形式安装于各参与联邦学习的区块链节点;
所述训练算法共识模块,用于参与联邦学习的区块链节点对所述训练算法进行审阅,若参与联邦学习的各区块链节点达成共识,则将所述训练算法以智能合约的形式安装于各参与联邦学习的区块链节点。
6.一种计算机设备,其特征在于,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-4任一所述的基于区块链的联邦学习方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-4中任一所述的基于区块链的联邦学习方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110975346.3A CN113792347B (zh) | 2021-08-24 | 2021-08-24 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110975346.3A CN113792347B (zh) | 2021-08-24 | 2021-08-24 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113792347A CN113792347A (zh) | 2021-12-14 |
CN113792347B true CN113792347B (zh) | 2023-09-26 |
Family
ID=79182178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110975346.3A Active CN113792347B (zh) | 2021-08-24 | 2021-08-24 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113792347B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114493594B (zh) * | 2022-01-27 | 2023-11-21 | 中山大学 | 基于区块链和联邦学习的海洋数据共享方法、系统及介质 |
CN114596102B (zh) * | 2022-03-08 | 2022-12-13 | 深圳元气玛特互联网科技有限公司 | 一种基于区块链的防伪溯源联邦学习训练方法、装置 |
CN114707663B (zh) * | 2022-04-15 | 2024-02-23 | 中国电信股份有限公司 | 分布式机器学习方法、装置、电子设备及存储介质 |
CN114841372A (zh) * | 2022-05-16 | 2022-08-02 | 北京百度网讯科技有限公司 | 基于区块链的联邦处理方法、装置、设备及存储介质 |
CN115169992B (zh) * | 2022-09-02 | 2023-01-17 | 天聚地合(苏州)科技股份有限公司 | 基于区块链的数据要素权益分配方法、装置和系统 |
CN117112369B (zh) * | 2023-10-19 | 2024-03-01 | 凌雄技术(深圳)有限公司 | 一种基于区块链的设备管理SaaS系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516475A (zh) * | 2019-08-30 | 2019-11-29 | 联想(北京)有限公司 | 一种数据处理方法、装置及服务器 |
CN111402029A (zh) * | 2020-03-06 | 2020-07-10 | 同盾控股有限公司 | 基于区块链和知识联邦的智能评估的方法及装置 |
CN111858752A (zh) * | 2020-06-30 | 2020-10-30 | 全链通有限公司 | 基于区块链的人工智能训练方法、设备及存储介质 |
CN112166445A (zh) * | 2019-04-16 | 2021-01-01 | 华为技术有限公司 | 基于区块链网络的联合学习方法和联合学习设备 |
CN112765677A (zh) * | 2020-12-30 | 2021-05-07 | 杭州溪塔科技有限公司 | 一种基于区块链的联邦学习方法、装置和系统 |
CN112784995A (zh) * | 2020-12-31 | 2021-05-11 | 杭州趣链科技有限公司 | 联邦学习方法、装置、设备及存储介质 |
CN113033652A (zh) * | 2021-03-23 | 2021-06-25 | 电子科技大学 | 一种基于区块链与联邦学习的图像识别系统及方法 |
CN113094761A (zh) * | 2021-04-25 | 2021-07-09 | 中山大学 | 一种联邦学习数据防篡改监测方法及相关装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170075877A1 (en) * | 2015-09-16 | 2017-03-16 | Marie-Therese LEPELTIER | Methods and systems of handling patent claims |
-
2021
- 2021-08-24 CN CN202110975346.3A patent/CN113792347B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112166445A (zh) * | 2019-04-16 | 2021-01-01 | 华为技术有限公司 | 基于区块链网络的联合学习方法和联合学习设备 |
CN110516475A (zh) * | 2019-08-30 | 2019-11-29 | 联想(北京)有限公司 | 一种数据处理方法、装置及服务器 |
CN111402029A (zh) * | 2020-03-06 | 2020-07-10 | 同盾控股有限公司 | 基于区块链和知识联邦的智能评估的方法及装置 |
CN111858752A (zh) * | 2020-06-30 | 2020-10-30 | 全链通有限公司 | 基于区块链的人工智能训练方法、设备及存储介质 |
CN112765677A (zh) * | 2020-12-30 | 2021-05-07 | 杭州溪塔科技有限公司 | 一种基于区块链的联邦学习方法、装置和系统 |
CN112784995A (zh) * | 2020-12-31 | 2021-05-11 | 杭州趣链科技有限公司 | 联邦学习方法、装置、设备及存储介质 |
CN113033652A (zh) * | 2021-03-23 | 2021-06-25 | 电子科技大学 | 一种基于区块链与联邦学习的图像识别系统及方法 |
CN113094761A (zh) * | 2021-04-25 | 2021-07-09 | 中山大学 | 一种联邦学习数据防篡改监测方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113792347A (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113792347B (zh) | 基于区块链的联邦学习方法、装置、设备及存储介质 | |
KR102586278B1 (ko) | 블록체인을 디지털 트윈에 연결하기 위한 컴퓨터 구현 시스템 및 방법 | |
CN113609508B (zh) | 一种基于区块链的联邦学习方法、装置、设备及存储介质 | |
US10505949B2 (en) | Blockchain-based system, and electronic apparatus and method in the system | |
CN111163182B (zh) | 基于区块链的设备注册方法、装置、电子设备和存储介质 | |
US20190172026A1 (en) | Cross blockchain secure transactions | |
KR102566892B1 (ko) | 블록체인 합의 방법, 디바이스 및 시스템 | |
JP2020537362A (ja) | セキュアマルチパーティ計算の参加者による入力データの不正確な告知の防止 | |
CN109472696A (zh) | 资产交易方法、装置、存储介质及计算机设备 | |
CN109981279B (zh) | 一种区块链系统、通信方法、装置、设备及介质 | |
CN110782251B (zh) | 一种基于智能合约自动化部署区块链网络的方法 | |
CN110659907B (zh) | 用于执行智能合约的方法和装置 | |
CN110766410B (zh) | 基于默克尔树的可信跨链事件构造与验证方法和设备 | |
CN114567643B (zh) | 跨区块链的数据流转方法、装置及相关设备 | |
CN113505520A (zh) | 用于支持异构联邦学习的方法、装置和系统 | |
CN113570479B (zh) | 一种房产交易数据的区块链传输方法、系统及存储介质 | |
CN109711840B (zh) | 一种交易数据处理方法、装置及存储介质 | |
CN113129149A (zh) | 基于区块链和安全多方计算的交易风险识别方法和装置 | |
US20160255127A1 (en) | Directing Meeting Entrants Based On Meeting Role | |
CN114244525B (zh) | 请求数据处理方法、装置、设备及存储介质 | |
US11928234B2 (en) | Platform for dynamic collaborative computation with confidentiality and verifiability | |
CN116777631B (zh) | 基于区块链的交易上链方法及装置、设备、介质 | |
CN116070285A (zh) | 基于拜占庭容错的异步共识方法、装置、服务器和介质 | |
CN111598544A (zh) | 用于处理信息的方法和装置 | |
CN108964904B (zh) | 群密钥安全管理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |