CN108491266A - 基于区块链的数据处理方法、装置及电子设备 - Google Patents

基于区块链的数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN108491266A
CN108491266A CN201810194194.1A CN201810194194A CN108491266A CN 108491266 A CN108491266 A CN 108491266A CN 201810194194 A CN201810194194 A CN 201810194194A CN 108491266 A CN108491266 A CN 108491266A
Authority
CN
China
Prior art keywords
transaction
model
block
node
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810194194.1A
Other languages
English (en)
Other versions
CN108491266B (zh
Inventor
王奇刚
过晓冰
师忠超
宁泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201810194194.1A priority Critical patent/CN108491266B/zh
Publication of CN108491266A publication Critical patent/CN108491266A/zh
Priority to US16/295,862 priority patent/US11334817B2/en
Application granted granted Critical
Publication of CN108491266B publication Critical patent/CN108491266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Abstract

本发明公开了一种基于区块链的数据处理方法、装置及电子设备。所述方法包括:在当前节点获取区块链上当前最新的区块,所述当前最新的区块中包括第一模型参数;根据所述第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;将第一交易广播到区块链系统中的其它节点,所述第一交易包括所述第二模型参数;当接收到的与第一交易对应的多个第二交易满足预定条件时,根据所述第二模型参数创建新的区块,并将所述新的区块加入到区块链中,其中,所述第二交易包括响应于所述第一交易的投票结果。

Description

基于区块链的数据处理方法、装置及电子设备
技术领域
本公开涉及数据处理领域,更具体地,本公开涉及一种基于区块链的数据处理方法、装置及电子设备。
背景技术
深度学习导致了人类历史上第三次人工智能的浪潮,且已被证明在计算机视觉、语音、语言处理等许多领域都有效。许多商业的人工智能的产品/服务已经可用,并使人们的生活更加美好。
人工智能模型的训练是人工智能研究领域的重要课题,越来越多的研究投入到该课题中。
发明内容
有鉴于上述情况,本公开提供了一种基于区块链的数据处理方法、装置及电子设备。
第一方面,根据本公开的实施例,提供了一种基于区块链的数据处理方法,包括:在当前节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数;根据该第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;将第一交易广播到区块链系统中的其它节点,该第一交易包括该第二模型参数;当接收到的与第一交易对应的多个第二交易满足预定条件时,根据该第二模型参数创建新的区块,并将该新的区块加入到区块链中,其中,该第二交易包括响应于该第一交易的投票结果。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中第二交易是由接收到该第一交易的节点根据该第二模型参数,进行模型精度测试,获得响应于该第一交易的投票结果,并向区块链系统中的其它节点广播或者仅向当前节点返回。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中第一交易还包括模型定义,该第二交易是由接收到该第一交易的节点根据该第二模型参数及该模型定义,进行模型精度测试,获得响应于该第一交易的投票结果及反馈参数,并向区块链系统中的其它节点广播或者仅向当前节点返回,其中,该投票结果与该第二模型参数对应,该反馈参数与该模型定义对应。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该投票结果包括肯定结果或否定结果,该方法还包括:当该投票结果为否定结果时,根据该反馈参数,更新本地训练参数;根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该方法还包括:接收到第三交易,该第三交易包括与发送该第三交易的节点的数据集对应的第三模型参数;根据该第三模型参数,进行模型精度测试,获得与第三交易对应的投票结果;向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该方法还包括:接收到第三交易,该第三交易包括模型定义及与发送该第三交易的节点的数据集对应的第三模型参数;根据该第三模型参数及模型定义,进行模型精度测试,获得与第三交易对应的投票结果及反馈参数;向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果及反馈参数,该投票结果与该第三模型参数对应,该反馈参数与该模型定义对应。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该方法还包括:根据该第三交易中包括的第三模型参数,更新本地训练参数;当接收到的多个第二交易不满足预定条件时,根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该当前最新的区块中还包括区块链优化目标,该进行模型的精度测试包括:判断模型是否满足了区块链优化目标;若满足,则投票结果为肯定结果;若不满足,则投票结果为否定结果。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该预定条件包括以下方式中的任一种:接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量相同;或者接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值;或者接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值并且接收到的包括的投票结果为肯定结果的多个第二交易是从区块链系统中的委员会节点接收到的。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该方法还包括:当新的区块加入到区块链后,通过第五交易为创建新的区块的节点、生成第一交易的节点、以及发送第二交易的节点中的至少一个分配奖励。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该方法还包括:节点首次加入区块链系统时,为加入的节点分配对应的奖励。
此外,根据本公开的实施例的基于区块链的数据处理方法,其中该方法还包括:根据区块链系统中各个节点对应的奖励数量,对各个节点进行资源分配。
第二方面,根据本公开的实施例,提供了一种基于区块链的数据处理装置,包括:获取模块,用于在当前节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数;第一处理模块,用于根据该第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;第一广播模块,用于将第一交易广播到区块链系统中的其它节点,该第一交易包括该第二模型参数;生成模块,当接收到的与第一交易对应的多个第二交易满足预定条件时,根据该第二模型参数创建新的区块,并将该新的区块加入到区块链中,其中,该第二交易包括响应于该第一交易的投票结果。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该第二交易是由接收到该第一交易的节点根据该第二模型参数,进行模型精度测试,获得响应于该第一交易的投票结果,并向区块链系统中的其它节点广播或者仅向当前节点返回。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该第一交易还包括模型定义,该第二交易是由接收到该第一交易的节点根据该第二模型参数及该模型定义,进行模型精度测试,获得响应于该第一交易的投票结果及反馈参数,并向区块链系统中的其它节点广播或者仅向当前节点返回,其中,该投票结果与该第二模型参数对应,该反馈参数与该模型定义对应。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该投票结果包括肯定结果或否定结果,该装置还包括第一更新模块,该第一更新模块用于:当该投票结果为否定结果时,根据该反馈参数,更新本地训练参数;根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该装置还包括第二接收模块,第二测试模块,及第二发送模块,该第二接收模块,用于接收到第三交易,该第三交易包括与发送该第三交易的节点的数据集对应的第三模型参数;该第二测试模块,用于根据该第三模型参数,进行模型精度测试,获得与第三交易对应的投票结果;该第二发送模块,用于向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该装置还包括第二接收模块,第二测试模块,及第二发送模块,该第二接收模块,用于接收到第三交易,该第三交易包括模型定义及与发送该第三交易的节点的数据集对应的第三模型参数;该第二测试模块,用于根据该第三模型参数及模型定义,进行模型精度测试,获得与第三交易对应的投票结果及反馈参数;该第二发送模块,用于向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果及反馈参数,该投票结果与该第三模型参数对应,该反馈参数与该模型定义对应。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该装置还包括第二更新模块,该第二更新模块用于:根据该第三交易中包括的第三模型参数,更新本地训练参数;当接收到的多个第二交易不满足预定条件时,根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该当前最新的区块中还包括区块链优化目标,该第二测试模块用于:判断模型是否满足了区块链优化目标;若满足,则投票结果为肯定结果;若不满足,则投票结果为否定结果。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该预定条件包括以下方式中的任一种:接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量相同;或者接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值;或者接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值并且接收到的包括的投票结果为肯定结果的多个第二交易是从区块链系统中的委员会节点接收到的。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该装置还包括第一奖励模块,用于当新的区块加入到区块链后,通过第五交易为创建新的区块的节点、生成第一交易的节点、以及发送第二交易的节点中的至少一个分配奖励。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该装置还包括第二奖励模块,用于节点首次加入区块链系统时,为加入的节点分配对应的奖励。
此外,根据本公开的实施例的基于区块链的数据处理装置,其中该装置还包括分配模块,用于根据区块链系统中各个节点对应的奖励数量,对各个节点进行资源分配。
第三方面,根据本公开的实施例,提供了一种基于区块链的数据处理方法,包括:接收到第一交易,该第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;根据该第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;向区块链系统中的其它节点广播或者仅向发送该第一交易的节点返回第二交易,该第二交易包括响应于该第一交易的投票结果;其中,该第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数,并根据该第一模型参数及本地数据集所获得的。
第四方面,根据本公开的实施例,提供了一种基于区块链的数据处理装置,该装置包括:第一接收模块,用于接收到第一交易,该第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;第一测试模块,用于根据该第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;第一发送模块,用于向区块链系统中的其它节点广播或者仅向发送该第一交易的节点返回第二交易,该第二交易包括响应于该第一交易的投票结果;其中,该第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数,并根据该第一模型参数及本地数据集所获得的。
第五方面,根据本公开的实施例,提供了一种电子设备,该电子设备包括存储器和处理器,该存储器与该处理器耦合,该存储器中存储指令,当该指令由该处理器执行时以使该处理器执行以下操作:在当前节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数;根据该第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;将第一交易广播到区块链系统中的其它节点,该第一交易包括该第二模型参数;当接收到的与第一交易对应的多个第二交易满足预定条件时,根据该第二模型参数创建新的区块,并将该新的区块加入到区块链中,其中,该第二交易包括响应于该第一交易的投票结果。
第六方面,根据本公开的实施例,提供了一种电子设备,该电子设备包括存储器和处理器,该存储器与该处理器耦合,该存储器中存储指令,当该指令由该处理器执行时以使该处理器执行以下操作:接收到第一交易,该第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;根据该第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;向区块链系统中的其它节点广播或者仅向发送该第一交易的节点返回第二交易,该第二交易包括响应于该第一交易的投票结果;其中,该第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数,并根据该第一模型参数及本地数据集所获得的。
第七方面,根据本公开的实施例,提供了一种非瞬时性计算机可读记录介质,其上已记录用于执行上述方法的程序。
根据本公开实施例的基于区块链的数据处理方法、装置及电子设备,其能够使得属于同一区块链系统中的各个节点在保持自身的数据集私密性的同时,能够共同训练针对同一问题的模型,各个节点都是基于当前最优的模型进行训练,使得各个节点不用再浪费时间来做其它节点已经完成的训练,能够大大节省了资源,并且提升了训练的效率。
要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是示出根据本公开实施例的一种运行环境的框图;
图2是示出根据本公开实施例的一种电子设备的结构框图;
图3是示出根据本公开第一实施例的基于区块链的数据处理方法的流程图;
图4是示出根据本公开实施例的区块链的示意图;
图5是示出根据本公开第一实施例的基于区块链的数据处理方法的一部分流程图;
图6是示出根据本公开第一实施例的基于区块链的数据处理方法的另一部分流程图;
图7是示出根据本公开第一实施例的基于区块链的数据处理方法的又一部分流程图;
图8是示出根据本公开第一实施例的基于区块链的数据处理方法的再一部分流程图;
图9是示出根据本公开第二实施例的基于区块链的数据处理方法的流程图;
图10是示出根据本公开第三实施例的基于区块链的数据处理装置的功能模块示意图;
图11是示出根据本公开第四实施例的基于区块链的数据处理装置的功能模块示意图。
具体实施方式
下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本公开的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
区块链是通过散列指针按时间顺序链接的块的分布式数据库。这些块包含已在社区中执行和共享的所有事务。区块链中的每笔交易均通过社区中全部或大部分节点按照共识规则进行验证。下面介绍区块链中包括的几个概念:
资产:可以被拥有或者被控制以产生价值的任何事;
交易:资产的转移;
区块:由一组交易构成的区块链条目;
共识:所有或大部分参与者验证新的区块,有效的区块加入区块链;
奖励:鼓励参与者做出贡献并保持诚实的奖励。
深度学习模型通常通过三个步骤进行训练:前馈评估,反向传播和权重更新。前馈评估计算每个输入的模型输出,反向传播是基于真实值计算误差项,并使用误差项来计算权重更新,更新权重后,重复此过程,直到整个训练数据集已处理完毕,这被称为训练过程。在训练过程结束时,基于验证集计算模型预测误差。通常,训练持续多个周期,每次都重新处理训练数据集,直到验证集错误收敛到期望的低值。然后对测试数据评估训练后的模型。
人工智能研究人员/组织训练人工智能模型以解决特定问题。为了创建特定问题的工作模型,人工智能研究人员需要设计模型结构,获取大量数据,并花费大量计算能力来训练模型,训练过程通常需要很长时间(几个小时到几个月)。
而且,通常,数据集是每个组织的商业秘密,不会与其他人分享。因此,目前主流的做法是各个研究人员/组织在相同的问题上,根据自己的数据集分别独立地对自己的模型进行训练。这在社会层面上训练效率不高,浪费大量的资源来构建相同模型。
由于训练过程通常需要较长时间(例如,几个小时至几个月),可以利用多个节点的分布式训练来加速这个过程。分布式训练允许在训练数据集的不同分区上并行训练相同模型的多个副本。所有模型副本共享一组通用参数。为了操作速度,每个模型副本并行操作并异步发布模型权重更新并接收更新的参数权重。
图1示出了本发明实施例提供的一种运行环境的示意图。该运行环境中包括多个电子设备(101-107)。电子设备(101-107)可以是个人电脑(personal computer,PC)、网络服务器、数据库服务器等。电子设备(101-107)中的每一个电子设备可以具有相同或不同的计算能力。
作为一种实施方式,多个电子设备之间可以相互通信,构成区块链系统,每个电子设备作为该区块链系统中的一个节点。该区块链系统中的每个节点在本地对特定问题的模型采用本地数据集进行训练,并共同生成针对特定问题的共享的区块链。
作为另一种实施方式,该区块链系统中的一个或多个电子设备可以构成一个社区,例如,该社区可以对应于一间公司或者一家医院,该社区中的每个节点为该公司或者该医院中的电子设备。该区块链系统中的每个社区均在本地对特定问题的模型采用本地数据集进行训练,并共同生成针对特定问题的共享的区块链。
本发明实施例提供的基于区块链的数据处理方法可以运行于图1所示的电子设备100中。如图2所示,是电子设备101-107的方框示意图。电子设备101-107可以包括存储器110、处理器120以及网络模块130。
存储器110可用于存储软件程序以及模块,如本发明实施例中的基于区块链的数据处理方法及装置对应的程序指令/模块,处理器120通过运行存储在存储器110内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本发明实施例中的基于区块链的数据处理方法。存储器110可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器等。进一步地,上述存储器110内的软件程序以及模块还可包括:操作系统111以及服务模块112。其中操作系统111,例如可为LINUX、UNIX、WINDOWS等,其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动,并可与各种硬件或软件组件相互通讯,从而提供其他软件组件的运行环境。服务模块112运行在操作系统111的基础上,并通过操作系统111的网络服务监听来自网络的请求,根据请求完成相应的数据处理。
网络模块130可以用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。
可以理解,图2所示的结构仅为示意,电子设备101-107还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
下面将结合附图对本公开实施例中的基于区块链的数据处理方法及装置进行更详细的描述。
图3示出了示出根据本公开第一实施例的基于区块链的数据处理方法的流程图,请参阅图3,本实施例描述的是电子设备的处理流程,该方法包括:
步骤S211,在当前节点获取区块链上当前最新的区块。
其中,当前节点可以是图1中所示的运行环境的任意一个电子设备,即图1中的节点101-107中的任意一个。
该区块链是该区块链系统中各个节点共同创建和维护的与对特定问题相对应的区块链。当满足预定条件时,区块链系统中的节点同意当前节点创建区块并将该区块加入到区块链中,加入的区块作为该区块链中当前最新的区块。在某一特定时刻,维护同一区块链的节点从区块链上获取的当前最新区块是相同的。可以理解的是,区块链的区块是按照时间顺序加入的,并且时间顺序上在后加入的区块中可以是优于在前加入的区块的。
作为一种实施方式,请参阅图4,图4是示出根据本公开实施例的区块链的示意图。
图4中所示的区块链中的每个区块中包含了第一模型参数、模型定义以及区块链优化目标。但是,可以理解的是,图4所示的区块仅是为了说明而不是对本公开的限制,区块的结构可以与图4中所示的不同,可以向区块中添加其它元素或者删除图4中所示的元素。例如,模型定义及区块链优化目标可以由每个节点在本地维护,而不需要包括在区块中。即,作为一种实施方式,区块中可以仅包括第一模型参数。
请参阅图4,此时区块4为该区块链上当前最新的区块。即,当前节点获取的区块链上当前最新的区块为区块4,此时区块4中包括了第一模型参数,并且还包括了模型定义及区块链优化目标。
其中,第一模型参数可以是权重或者是权重梯度。权重梯度是指权重的改变,例如,权重梯度是当前接收到的权重与上一次接收到权重的差值,例如,可以根据下述公式计算权重梯度:
其中,ΔW为权重梯度,Wc为当前接收到的权重,为上一次接收到权重。当然,并不局限于此。
返回图3,图3所示的数据处理方法还包括步骤S212,根据第一模型参数及本地数据集,获得本地数据集对应的第二模型参数。
当当前节点获取到该当前最新的区块时,可以从当前最新的区块中获取模型定义,并根据该模型定义、第一模型参数及本地数据集对模型进行本地训练,并获得本地数据集对应的第二模型参数。可替换地,当前节点也可以采用在本地维护的与其它区块链系统中的节点相同的模型定义,并根据该模型定义、第一模型参数及本地数据集对模型进行本地训练,并获得本地数据集对应的第二模型参数。
其中,第二模型参数可以是当前节点经过模型训练后更新的模型参数,例如,可以是更新后的权重或者是更新后的权重梯度,当然,并不局限于此。
图3所示的数据处理方法还包括步骤S213,将第一交易广播到区块链系统中的其它节点,该第一交易包括第二模型参数。
作为一种实施方式,若仅需对当前模型的模型参数进行进一步的优化时,当前节点可以将包括第二模型参数的第一交易广播到区块链系统中的其它节点。当区块链系统中的其它节点接收到该第一交易时,可以根据第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果,并向区块链系统中的其它节点广播或者仅向当前节点返回第二交易,该第二交易包括响应于该第一交易的投票结果。
作为一种实施方式,投票结果可以包括肯定结果或否定结果。具体地,肯定结果可以用正V或1表示,否定结果可以用负V或0表示,当然,并不局限于此。
图3所示的数据处理方法还包括步骤S214,当接收到的与第一交易对应的多个第二交易满足预定条件时,根据该第二模型参数创建新的区块,并将该新的区块加入到区块链中,其中,该第二交易包括响应于该第一交易的投票结果。
当当前节点接收到多个第二交易时,判断接收到的多个第二交易是否满足预定条件,其中,该预定条件可以包括以下方式中的任一种:
(1)接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量相同,即区块链系统中的所有节点均向当前节点返回包括的投票结果为肯定结果的第二交易。
(2)接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值,即区块链系统中的大部分节点向当前节点返回包括的投票结果为肯定结果的第二交易。其中,预定阈值可以根据需求进行设置,当然,预定阈值的设置并不作为本公开的限制。
例如,若肯定结果可以用例如正V表示,则若此时接收到的多个第二交易中包括正V的个数与区块链系统中节点的数量的比值超过了预定阈值,则表示接收到的与第一交易对应的多个第二交易满足预定条件。
(3)接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值并且接收到的包括的投票结果为肯定结果的多个第二交易是从区块链系统中的委员会节点接收到的。即区块链系统中的大部分节点向当前节点返回包括的投票结果为肯定结果的第二交易并且这些节点中包括委员会节点。
其中,委员会节点是指区块链系统中的特定节点,例如,可以是一些具有优先级的节点,该节点的优先级可以对应于该节点计算能力,该节点的信用程度等,并不局限于此。另外,该委员会节点可以是为提前预设的特定节点,也可以是由区块链系统中节点进行选举产生。
通过这种方式,使得属于同一区块链系统中的各个节点在保持自身的数据集私密性的同时,能够共同训练针对同一问题的模型,各个节点都是基于当前最优的模型进行训练,使得各个节点不用再浪费时间来做其它节点已经完成的训练,能够大大节省了资源,并且提升了训练的效率。
作为另一种实施方式,若需要对当前模型进行优化时,当前节点可以将包括模型定义和与该模型定义对应的第二模型参数的第一交易广播到区块链系统中的其它节点。当区块链系统中的其它节点接收到该第一交易时,可以根据该第二模型参数及该模型定义,进行模型精度测试,获得响应于该第一交易的投票结果及反馈参数,并向区块链系统中的其它节点广播或者仅向当前节点返回。
其中,该投票结果与该第二模型参数对应,表示区块链中其它节点对当前节点发送的第二交易中的模型定义及第二模型参数是否同意,若同意,则投票结果为肯定结果,若不同意,则投票结果为否定结果。
反馈参数与模型定义对应,若区块链中其它节点对当前节点发送的第二交易中的模型定义和/或第二模型参数不同意,则会向当前节点发送反馈结果,以帮助当前节点对第二交易中的模型定义和/或第二模型参数进行进一步的优化。
通过这样的方式,可以通过分布式训练和来自区块链系统中其它节点的反馈来进一步优化模型,并且也提升了当前节点的训练模型的效率。
请参阅图5,图5是示出根据本公开第一实施例的基于区块链的数据处理方法的一部分流程图,该方法还可以包括:
步骤S221,当投票结果为否定结果时,根据反馈参数,更新本地训练参数。
步骤S222,根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
通过这种方式,使得区块链中的节点之间能够相互协作,通过来自区块链中的其它节点的反馈,进一步节省了当前节点的资源,也加快了当前节点模型的训练时间及效率。
在另一实施例中,当前节点不仅可以对区块进行挖掘,也可以帮助区块链中其它节点进行挖掘的区块的验证,作为一种实施方式,请参阅图6,该方法还可以包括:
步骤S231,接收到第三交易,该第三交易包括与发送该第三交易的节点的数据集对应的第三模型参数。
该第三交易是由区块链系统中除去当前节点的其它节点发送,发送该第三交易的节点获取区块链上当前最新的区块,根据第一模型参数及与发送该第三交易的节点的本地数据集,获得与发送该第三交易的节点的本地数据集对应的第三模型参数,并将第三交易发送到当前节点。
该方法还可以包括:步骤S232,根据该第三模型参数,进行模型精度测试,获得与第三交易对应的投票结果。
作为一种实施方式,当前最新的区块中还可以包括区块链优化目标,该进行模型的精度测试可以包括:判断模型是否满足了区块链优化目标;若满足,则投票结果为肯定结果;若不满足,则投票结果为否定结果。
其中,该区块链优化目标可以进一步包括优化目标和限制条件,即判断该模型在限制条件下,是否满足了优化目标。例如,优化目标可以是最低损失,限制条件可以是模型大小不超过例如200MB。
该方法还可以包括:步骤S233,向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果。
作为另一种实施方式,若区块链系统中除去当前节点的其它节点需要请求当前节点对挖掘到的模型定义及第三模型参数进行验证时,请参阅图7,该方法还可以包括:
步骤S241,接收到第三交易,该第三交易包括模型定义及与发送该第三交易的节点的数据集对应的第三模型参数;
步骤S242,根据该第三模型参数及模型定义,进行模型精度测试,获得与第三交易对应的投票结果及反馈参数;
步骤S243,向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果及反馈参数,该投票结果与该第三模型参数对应,该反馈参数与该模型定义对应。
步骤S241至步骤S243的实施方式与步骤S231至步骤S233的实施方式类似,此处就不再赘述。
通过上述方式,使得区块链中的节点不仅作为挖掘节点,并且作为验证节点,充分利用了各个节点的资源,使得整个区块链系统的资源利用率提升。
作为又一种实施方式,请参阅图8,该方法还可以包括:
步骤S251,根据该第三交易中包括的第三模型参数,更新本地训练参数。
若当前节点接收到区块链系统中的其它节点发送的第三模型参数时,可以用该第三模型参数更新本地训练参数;
步骤S252,当接收到的多个第二交易不满足预定条件时,根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
具体地,当接收到的多个第二交易不满足预定条件时,即当前节点挖掘的模型参数并未得到区块链系统中其它节点的同意时,则当前节点根据更新后的本地训练参数,对模型进行本地训练。
通过这种方式,使得当前节点可以基于其它节点的训练结果进行进一步的训练,而不再是基于本地训练的结果继续进行训练,使得当前节点的训练效率提高,大大节省了训练时间。
作为一种实施方式,为了鼓励区块链中的节点积极的进行模型定义和/或模型参数的优化,该方法还可以包括:当新的区块加入到区块链后,通过第五交易为创建新的区块的节点、生成第一交易的节点、以及发送第二交易的节点中的至少一个分配奖励。
进一步的,该方法还可以包括:节点首次加入区块链系统时,为加入的节点分配对应的奖励。
作为一种实施方式,当针对某特定问题的区块链上的最新区块已经达到优化目标可用进行商业运作时,该方法还包括:根据区块链系统中各个节点对应的奖励数量,对各个节点进行资源分配,以此来进一步鼓励区块链中的节点积极的进行模型定义和/或模型参数的优化。
通过本公开实施例提供的基于区块链的数据处理方法,使得属于同一区块链系统中的各个节点在保持自身的数据集私密性的同时,能够共同训练针对同一问题的模型,各个节点都是基于当前最优的模型进行训练,使得各个节点不用再浪费时间来做其它节点已经完成的训练,能够大大节省了资源,并且提升了训练的效率;并且使得区块链中的节点之间能够相互协作,通过来自区块链中的其它节点的反馈,进一步节省了当前节点的资源,也加快了当前节点模型的训练时间及效率;而且使得区块链中的节点不仅作为挖掘节点,并且作为验证节点,充分利用了各个节点的资源,使得整个区块链系统的资源利用率提升。
图9示出了本发明第二实施例提供的一种数据存储方法的流程图,请参阅图9,本实施例描述的是电子设备的处理流程,该方法可以包括:
步骤S311,接收到第一交易,该第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;
步骤S312,根据该第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;
步骤S313,向区块链系统中的其它节点广播或者仅向发送该第一交易的节点返回第二交易,该第二交易包括响应于该第一交易的投票结果。
其中,该第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数,并根据该第一模型参数及本地数据集所获得的。
步骤S311至步骤S313的实施方式与步骤S231至步骤S233的实施方式类似,此处就不再赘述。
通过本公开实施例提供的基于区块链的数据处理方法,使得该电子设备能够仅作为验证节点,而不进行挖掘工作,这样能够使得可用资源较少的电子设备也能在区块链系统中得到充分的利用。当然,可用理解的是,该电子设备中也能运行如第一实施例中的区块挖掘的方式。
图10是示出根据本公开第三实施例的基于区块链的数据处理装置400的功能模块示意图。该基于区块链的数据处理装置400运行于电子终端中。该基于区块链的数据处理装置400包括获取模块410、第一处理模块420、第一广播模块430以及生成模块440。
获取模块410,用于在当前节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数。
第一处理模块420,用于根据该第一模型参数及本地数据集,获得本地数据集对应的第二模型参数。
第一广播模块430,用于将第一交易广播到区块链系统中的其它节点,该第一交易包括该第二模型参数。
作为一种实施方式,该第一交易还包括模型定义,该第二交易是由接收到该第一交易的节点根据该第二模型参数及该模型定义,进行模型精度测试,获得响应于该第一交易的投票结果及反馈参数,并向区块链系统中的其它节点广播或者仅向当前节点返回,其中,该投票结果与该第二模型参数对应,该反馈参数与该模型定义对应。
生成模块440,当接收到的与第一交易对应的多个第二交易满足预定条件时,根据该第二模型参数创建新的区块,并将该新的区块加入到区块链中,其中,该第二交易包括响应于该第一交易的投票结果。
其中,该第二交易是由接收到该第一交易的节点根据该第二模型参数,进行模型精度测试,获得响应于该第一交易的投票结果,并向区块链系统中的其它节点广播或者仅向当前节点返回。
作为一种实施方式,该预定条件包括以下方式中的任一种:接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量相同;或者接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值;或者接收到的包括的投票结果为肯定结果的第二交易的数量与区块链系统中节点的数量的比值超过了预定阈值并且接收到的包括的投票结果为肯定结果的多个第二交易是从区块链系统中的委员会节点接收到的。
作为一种实施方式,该投票结果包括肯定结果或否定结果,该装置还包括第一更新模块,该第一更新模块用于:当该投票结果为否定结果时,根据该反馈参数,更新本地训练参数;根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
作为一种实施方式,该装置还可以包括第二接收模块,第二测试模块,及第二发送模块,该第二接收模块,用于接收到第三交易,该第三交易包括与发送该第三交易的节点的数据集对应的第三模型参数;该第二测试模块,用于根据该第三模型参数,进行模型精度测试,获得与第三交易对应的投票结果;该第二发送模块,用于向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果。
作为另一种实施方式,该装置还可以包括第二接收模块,第二测试模块,及第二发送模块,该第二接收模块,用于接收到第三交易,该第三交易包括模型定义及与发送该第三交易的节点的数据集对应的第三模型参数;该第二测试模块,用于根据该第三模型参数及模型定义,进行模型精度测试,获得与第三交易对应的投票结果及反馈参数;该第二发送模块,用于向区块链系统中的其它节点广播或者仅向发送该第三交易的节点返回第四交易,该第四交易包括响应于该第三交易的投票结果及反馈参数,该投票结果与该第三模型参数对应,该反馈参数与该模型定义对应。
作为再一种实施方式,该装置还可以包括第二更新模块,该第二更新模块用于:根据该第三交易中包括的第三模型参数,更新本地训练参数;当接收到的多个第二交易不满足预定条件时,根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
作为又一种实施方式,该当前最新的区块中还包括区块链优化目标,该第二测试模块用于:判断模型是否满足了区块链优化目标;若满足,则投票结果为肯定结果;若不满足,则投票结果为否定结果。
作为一种实施方式,该装置还包括第一奖励模块,用于当新的区块加入到区块链后,通过第五交易为创建新的区块的节点、生成第一交易的节点、以及发送第二交易的节点中的至少一个分配奖励。
作为一种实施方式,该装置还包括第二奖励模块,用于节点首次加入区块链系统时,为加入的节点分配对应的奖励。
作为一种实施方式,该装置还包括分配模块,用于根据区块链系统中各个节点对应的奖励数量,对各个节点进行资源分配。
通过本公开实施例提供的基于区块链的数据处理装置,使得属于同一区块链系统中的各个节点在保持自身的数据集私密性的同时,能够共同训练针对同一问题的模型,各个节点都是基于当前最优的模型进行训练,使得各个节点不用再浪费时间来做其它节点已经完成的训练,能够大大节省了资源,并且提升了训练的效率;并且使得区块链中的节点之间能够相互协作,通过来自区块链中的其它节点的反馈,进一步节省了当前节点的资源,也加快了当前节点模型的训练时间及效率;而且使得区块链中的节点不仅作为挖掘节点,并且作为验证节点,充分利用了各个节点的资源,使得整个区块链系统的资源利用率提升。
以上各模块可以是由软件代码实现,也同样可以由硬件例如集成电路芯片实现。
图11是示出根据本公开第四实施例的基于区块链的数据处理装置500的功能模块示意图。该基于区块链的数据处理装置500运行于电子终端中。该基于区块链的数据处理装置500包括第一接收模块510、第一测试模块520、以及第一发送模块530。
第一接收模块510,用于接收到第一交易,该第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数。
第一测试模块520,用于根据该第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果。
第一发送模块530,用于向区块链系统中的其它节点广播或者仅向发送该第一交易的节点返回第二交易,该第二交易包括响应于该第一交易的投票结果。
其中,该第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数,并根据该第一模型参数及本地数据集所获得的。
通过本公开实施例提供的基于区块链的数据处理装置,使得该电子设备能够仅作为验证节点,而不进行挖掘工作,这样能够使得可用资源较少的电子设备也能在区块链系统中得到充分的利用。当然,可用理解的是,该电子设备中也能运行如第一实施例中的区块挖掘的方法。
以上各模块可以是由软件代码实现,也同样可以由硬件例如集成电路芯片实现。
本公开的第五实施例提供了一种电子设备,该电子设备包括存储器和处理器,该存储器与该处理器耦合,该存储器中存储指令,当该指令由该处理器执行时以使该处理器执行以下操作:
在当前节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数;
根据该第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;
将第一交易广播到区块链系统中的其它节点,该第一交易包括该第二模型参数;
当接收到的与第一交易对应的多个第二交易满足预定条件时,根据该第二模型参数创建新的区块,并将该新的区块加入到区块链中,其中,该第二交易包括响应于该第一交易的投票结果。
通过本公开实施例提供的电子设备,使得属于同一区块链系统中的各个节点在保持自身的数据集私密性的同时,能够共同训练针对同一问题的模型,各个节点都是基于当前最优的模型进行训练,使得各个节点不用再浪费时间来做其它节点已经完成的训练,能够大大节省了资源,并且提升了训练的效率。
本公开的第六实施例提供了一种电子设备,该电子设备包括存储器和处理器,该存储器与该处理器耦合,该存储器中存储指令,当该指令由该处理器执行时以使该处理器执行以下操作:
接收到第一交易,该第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;
根据该第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;
向区块链系统中的其它节点广播或者仅向发送该第一交易的节点返回第二交易,该第二交易包括响应于该第一交易的投票结果;
其中,该第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,该当前最新的区块中包括第一模型参数,并根据该第一模型参数及本地数据集所获得的。
通过本公开实施例提供的电子设备,使得能够仅作为验证节点,而不进行挖掘工作,这样能够使得可用资源较少的电子设备也能在区块链系统中得到充分的利用。当然,可用理解的是,该电子设备中也能运行如第一实施例中的区块挖掘的方法。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本公开实施例所提供的基于区块链的数据处理装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第三等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所附权利要求及其等同物的保护范围为准。

Claims (10)

1.一种基于区块链的数据处理方法,其特征在于,所述方法包括:
在当前节点获取区块链上当前最新的区块,所述当前最新的区块中包括第一模型参数;
根据所述第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;
将第一交易广播到区块链系统中的其它节点,所述第一交易包括所述第二模型参数;
当接收到的与第一交易对应的多个第二交易满足预定条件时,根据所述第二模型参数创建新的区块,并将所述新的区块加入到区块链中,其中,所述第二交易包括响应于所述第一交易的投票结果。
2.根据权利要求1所述的方法,其特征在于,所述第二交易是由接收到所述第一交易的节点根据所述第二模型参数,进行模型精度测试,获得响应于所述第一交易的投票结果,并向区块链系统中的其它节点广播或者仅向当前节点返回。
3.根据权利要求1所述的方法,其特征在于,所述第一交易还包括模型定义,所述第二交易是由接收到所述第一交易的节点根据所述第二模型参数及所述模型定义,进行模型精度测试,获得响应于所述第一交易的投票结果及反馈参数,并向区块链系统中的其它节点广播或者仅向当前节点返回,其中,所述投票结果与所述第二模型参数对应,所述反馈参数与所述模型定义对应。
4.根据权利要求3所述的方法,其特征在于,所述投票结果包括肯定结果或否定结果,所述方法还包括:
当所述投票结果为否定结果时,根据所述反馈参数,更新本地训练参数;
根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
5.一种基于区块链的数据处理方法,其特征在于,所述方法包括:
接收到第一交易,所述第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;
根据所述第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;
向区块链系统中的其它节点广播或者仅向发送所述第一交易的节点返回第二交易,所述第二交易包括响应于所述第一交易的投票结果;
其中,所述第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,所述当前最新的区块中包括第一模型参数,并根据所述第一模型参数及本地数据集所获得的。
6.一种基于区块链的数据处理装置,其特征在于,所述装置包括:
获取模块,用于在当前节点获取区块链上当前最新的区块,所述当前最新的区块中包括第一模型参数;
处理模块,用于根据所述第一模型参数及本地数据集,获得本地数据集对应的第二模型参数;
广播模块,用于将第一交易广播到区块链系统中的其它节点,所述第一交易包括所述第二模型参数;
生成模块,当接收到的与第一交易对应的多个第二交易满足预定条件时,根据所述第二模型参数创建新的区块,并将所述新的区块加入到区块链中,其中,所述第二交易包括响应于所述第一交易的投票结果。
7.根据权利要求6所述的装置,其特征在于,所述第二交易是由接收到所述第一交易的节点根据所述第二模型参数,进行模型精度测试,获得响应于所述第一交易的投票结果,并向区块链系统中的其它节点广播或者仅向当前节点返回。
8.根据权利要求6所述的装置,其特征在于,所述第一交易还包括模型定义,所述第二交易是由接收到所述第一交易的节点根据所述第二模型参数及所述模型定义,进行模型精度测试,获得响应于所述第一交易的投票结果及反馈参数,并向区块链系统中的其它节点广播或者仅向当前节点返回,其中,所述投票结果与所述第二模型参数对应,所述反馈参数与所述模型定义对应。
9.根据权利要求8所述的装置,其特征在于,所述投票结果包括肯定结果或否定结果,所述装置还包括第一更新模块,用于当所述投票结果为否定结果时,根据所述反馈参数,更新本地训练参数;根据更新后的本地训练参数,对模型进行本地训练,得到更新后的本地模型参数。
10.一种基于区块链的数据处理装置,其特征在于,所述装置包括:
第一接收模块,用于接收到第一交易,所述第一交易包括与发送第一交易的节点的本地数据集对应的第二模型参数;
第一测试模块,用于根据所述第二模型参数,进行模型精度测试,获得与第一交易对应的投票结果;
第一发送模块,用于向区块链系统中的其它节点广播或者仅向发送所述第一交易的节点返回第二交易,所述第二交易包括响应于所述第一交易的投票结果;
其中,所述第二模型参数是发送第一交易的节点获取区块链上当前最新的区块,所述当前最新的区块中包括第一模型参数,并根据所述第一模型参数及本地数据集所获得的。
CN201810194194.1A 2018-03-09 2018-03-09 基于区块链的数据处理方法、装置及电子设备 Active CN108491266B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810194194.1A CN108491266B (zh) 2018-03-09 2018-03-09 基于区块链的数据处理方法、装置及电子设备
US16/295,862 US11334817B2 (en) 2018-03-09 2019-03-07 Blockchain-based data processing method, apparatus, and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194194.1A CN108491266B (zh) 2018-03-09 2018-03-09 基于区块链的数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108491266A true CN108491266A (zh) 2018-09-04
CN108491266B CN108491266B (zh) 2021-11-16

Family

ID=63338445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194194.1A Active CN108491266B (zh) 2018-03-09 2018-03-09 基于区块链的数据处理方法、装置及电子设备

Country Status (2)

Country Link
US (1) US11334817B2 (zh)
CN (1) CN108491266B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194510A (zh) * 2018-08-27 2019-01-11 联想(北京)有限公司 基于区块链的数据处理方法和装置
CN109194508A (zh) * 2018-08-27 2019-01-11 联想(北京)有限公司 基于区块链的数据处理方法和装置
CN109408716A (zh) * 2018-10-17 2019-03-01 连尚(新昌)网络科技有限公司 用于推送信息的方法和设备
CN109493216A (zh) * 2018-09-30 2019-03-19 北京小米移动软件有限公司 模型训练方法、装置、系统及存储介质
CN109710691A (zh) * 2018-12-20 2019-05-03 清华大学 一种基于深度学习的混合区块链模型构建方法
CN109964452A (zh) * 2018-11-29 2019-07-02 区链通网络有限公司 一种区块链系统的节点管理方法、装置及存储装置
CN110009229A (zh) * 2019-04-04 2019-07-12 泰康保险集团股份有限公司 基于区块链的供应链管理方法、装置、存储介质与设备
CN110245147A (zh) * 2019-06-19 2019-09-17 腾讯科技(深圳)有限公司 区块链数据处理方法、装置、可读存储介质和计算机设备
US20190287027A1 (en) * 2018-03-15 2019-09-19 International Business Machines Corporation Artificial intelligence software marketplace
CN110321385A (zh) * 2019-06-28 2019-10-11 联想(北京)有限公司 基于区块链的数据处理方法和数据处理装置
CN110503202A (zh) * 2019-08-22 2019-11-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN110516475A (zh) * 2019-08-30 2019-11-29 联想(北京)有限公司 一种数据处理方法、装置及服务器
CN110533154A (zh) * 2019-08-30 2019-12-03 联想(北京)有限公司 一种数据处理方法及电子设备
CN110569228A (zh) * 2019-08-09 2019-12-13 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110610241A (zh) * 2019-08-30 2019-12-24 联想(北京)有限公司 一种模型训练方法、设备及存储介质
WO2020107351A1 (zh) * 2018-11-29 2020-06-04 袁振南 模型训练方法及其节点、网络及存储装置
US10803184B2 (en) 2019-08-09 2020-10-13 Alibaba Group Holding Limited Generation of a model parameter
CN112084255A (zh) * 2019-06-12 2020-12-15 国际商业机器公司 机器学习应用的有效验证
CN112328610A (zh) * 2020-09-30 2021-02-05 联想(北京)有限公司 一种基于区块链的信息处理方法及装置
CN112329028A (zh) * 2020-09-29 2021-02-05 华南师范大学 基于区块链的异常数据识别方法、系统、装置及介质
CN112418433A (zh) * 2020-10-30 2021-02-26 联想(北京)有限公司 一种模型训练方法、装置及设备
CN112910982A (zh) * 2021-01-27 2021-06-04 网易(杭州)网络有限公司 一种联盟链的节点准入方法、装置、电子设备及存储介质
CN113268776A (zh) * 2019-12-09 2021-08-17 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
CN113537042A (zh) * 2021-07-14 2021-10-22 北京工商大学 一种共享可更新的Deepfake视频内容监管方法及系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564873B1 (en) 2018-04-30 2022-11-30 Hewlett Packard Enterprise Development LP System and method of decentralized machine learning using blockchain
EP3565218B1 (en) 2018-04-30 2023-09-27 Hewlett Packard Enterprise Development LP System and method of decentralized management of multi-owner nodes using blockchain
US11569981B1 (en) * 2018-08-28 2023-01-31 Amazon Technologies, Inc. Blockchain network based on machine learning-based proof of work
US11966818B2 (en) 2019-02-21 2024-04-23 Hewlett Packard Enterprise Development Lp System and method for self-healing in decentralized model building for machine learning using blockchain
US20200272945A1 (en) * 2019-02-21 2020-08-27 Hewlett Packard Enterprise Development Lp System and method of decentralized model building for machine learning and data privacy preserving using blockchain
CN110197285B (zh) * 2019-05-07 2021-03-23 清华大学 基于区块链的安全协作深度学习方法及装置
US11562228B2 (en) * 2019-06-12 2023-01-24 International Business Machines Corporation Efficient verification of machine learning applications
US11694110B2 (en) 2019-06-12 2023-07-04 International Business Machines Corporation Aggregated machine learning verification for database
CN110890120B (zh) * 2019-10-21 2021-08-31 中国科学院计算技术研究所 基于阻变存储器的通用区块链应用处理加速方法及系统
CN111209599B (zh) * 2019-12-26 2023-03-14 安徽讯呼信息科技有限公司 一种基于区块链的数据处理系统
US11218293B2 (en) 2020-01-27 2022-01-04 Hewlett Packard Enterprise Development Lp Secure parameter merging using homomorphic encryption for swarm learning
US11748835B2 (en) 2020-01-27 2023-09-05 Hewlett Packard Enterprise Development Lp Systems and methods for monetizing data in decentralized model building for machine learning using a blockchain
CN111444271A (zh) * 2020-03-05 2020-07-24 链农(深圳)信息科技有限公司 一种基于区块链的信息收集判断方法及系统
CN111368008B (zh) 2020-05-27 2020-08-25 腾讯科技(深圳)有限公司 基于区块链的数据处理方法、装置、设备及可读存储介质
CN112052250A (zh) * 2020-09-02 2020-12-08 杭州复杂美科技有限公司 性能度量方法、广播性能调节方法、设备和存储介质
CN112261145B (zh) * 2020-10-22 2022-07-12 中国联合网络通信集团有限公司 一种新区块链生成方法及装置
US11775667B2 (en) 2020-11-04 2023-10-03 Hewlett Packard Enterprise Development Lp Virtualizing secure storage of a baseboard management controller to a host computing device
EP4075348A1 (en) * 2021-04-14 2022-10-19 Siemens Aktiengesellschaft Quality control of a machine learning model
CN114610544B (zh) * 2022-03-07 2023-03-28 丁跃辉 一种基于区块链的人工智能大数据分析处理系统及方法
CN115309515B (zh) * 2022-10-10 2023-01-31 北京理工大学 一种基于区块链的跨链事务处理方法、装置及设备
CN117094420B (zh) * 2023-10-20 2024-02-06 浙江大学 一种模型训练方法、装置和功率预测方法以及设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101242A (zh) * 2016-06-24 2016-11-09 深圳前海微众银行股份有限公司 区块链云服务平台的构建方法和装置
CN107423961A (zh) * 2017-07-11 2017-12-01 北京泛融科技有限公司 一种基于随机相关性分析的优化共识方法
CN107464117A (zh) * 2017-08-04 2017-12-12 平安科技(深圳)有限公司 基于区块链的数据管理方法及区块链系统
US9958521B2 (en) * 2015-07-07 2018-05-01 Q Bio, Inc. Field-invariant quantitative magnetic-resonance signatures
WO2018194206A1 (ko) * 2017-04-18 2018-10-25 주식회사 더디엔에이시스템 뉴로블록체인 콤비네이션을 이용한 인공신경망 모델의 자가 학습 모듈

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064213B2 (en) * 2013-02-05 2015-06-23 International Business Machines Corporation Dynamic model-based analysis of data centers
CN108062780B (zh) * 2017-12-29 2019-08-09 百度在线网络技术(北京)有限公司 图像压缩方法和装置
US20190238316A1 (en) * 2018-01-31 2019-08-01 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing intelligent consensus, smart consensus, and weighted consensus models for distributed ledger technologies in a cloud based computing environment
US10121025B1 (en) * 2018-02-22 2018-11-06 Capital One Services, Llc Content validation using blockchain

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9958521B2 (en) * 2015-07-07 2018-05-01 Q Bio, Inc. Field-invariant quantitative magnetic-resonance signatures
CN106101242A (zh) * 2016-06-24 2016-11-09 深圳前海微众银行股份有限公司 区块链云服务平台的构建方法和装置
WO2018194206A1 (ko) * 2017-04-18 2018-10-25 주식회사 더디엔에이시스템 뉴로블록체인 콤비네이션을 이용한 인공신경망 모델의 자가 학습 모듈
CN107423961A (zh) * 2017-07-11 2017-12-01 北京泛融科技有限公司 一种基于随机相关性分析的优化共识方法
CN107464117A (zh) * 2017-08-04 2017-12-12 平安科技(深圳)有限公司 基于区块链的数据管理方法及区块链系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINTING NI: "A Tally System on CNN and Block Chain", 《2009 2ND IEEE ICCSIT》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940958B2 (en) * 2018-03-15 2024-03-26 International Business Machines Corporation Artificial intelligence software marketplace
US20190287027A1 (en) * 2018-03-15 2019-09-19 International Business Machines Corporation Artificial intelligence software marketplace
CN109194508A (zh) * 2018-08-27 2019-01-11 联想(北京)有限公司 基于区块链的数据处理方法和装置
CN109194510A (zh) * 2018-08-27 2019-01-11 联想(北京)有限公司 基于区块链的数据处理方法和装置
CN109493216A (zh) * 2018-09-30 2019-03-19 北京小米移动软件有限公司 模型训练方法、装置、系统及存储介质
CN109493216B (zh) * 2018-09-30 2021-02-09 北京小米移动软件有限公司 模型训练方法、装置、系统及存储介质
CN109408716A (zh) * 2018-10-17 2019-03-01 连尚(新昌)网络科技有限公司 用于推送信息的方法和设备
CN109408716B (zh) * 2018-10-17 2020-12-29 南京尚网网络科技有限公司 用于推送信息的方法和设备
CN109964452A (zh) * 2018-11-29 2019-07-02 区链通网络有限公司 一种区块链系统的节点管理方法、装置及存储装置
WO2020107351A1 (zh) * 2018-11-29 2020-06-04 袁振南 模型训练方法及其节点、网络及存储装置
CN109964452B (zh) * 2018-11-29 2021-08-10 区链通网络有限公司 一种区块链系统的节点管理方法、装置及存储装置
CN109710691A (zh) * 2018-12-20 2019-05-03 清华大学 一种基于深度学习的混合区块链模型构建方法
CN109710691B (zh) * 2018-12-20 2020-08-28 清华大学 一种基于深度学习的混合区块链模型构建方法
CN110009229A (zh) * 2019-04-04 2019-07-12 泰康保险集团股份有限公司 基于区块链的供应链管理方法、装置、存储介质与设备
CN112084255A (zh) * 2019-06-12 2020-12-15 国际商业机器公司 机器学习应用的有效验证
CN110245147B (zh) * 2019-06-19 2021-08-13 腾讯科技(深圳)有限公司 区块链数据处理方法、装置、可读存储介质和计算机设备
CN110245147A (zh) * 2019-06-19 2019-09-17 腾讯科技(深圳)有限公司 区块链数据处理方法、装置、可读存储介质和计算机设备
CN110321385B (zh) * 2019-06-28 2021-12-24 联想(北京)有限公司 基于区块链的数据处理方法和数据处理装置
CN110321385A (zh) * 2019-06-28 2019-10-11 联想(北京)有限公司 基于区块链的数据处理方法和数据处理装置
US10803184B2 (en) 2019-08-09 2020-10-13 Alibaba Group Holding Limited Generation of a model parameter
CN110569228A (zh) * 2019-08-09 2019-12-13 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110503202A (zh) * 2019-08-22 2019-11-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN110610241B (zh) * 2019-08-30 2022-05-31 联想(北京)有限公司 一种模型训练方法、设备及存储介质
CN110610241A (zh) * 2019-08-30 2019-12-24 联想(北京)有限公司 一种模型训练方法、设备及存储介质
CN110533154A (zh) * 2019-08-30 2019-12-03 联想(北京)有限公司 一种数据处理方法及电子设备
CN110516475B (zh) * 2019-08-30 2021-07-16 联想(北京)有限公司 一种数据处理方法、装置及服务器
CN110516475A (zh) * 2019-08-30 2019-11-29 联想(北京)有限公司 一种数据处理方法、装置及服务器
CN110533154B (zh) * 2019-08-30 2023-05-12 联想(北京)有限公司 一种数据处理方法及电子设备
CN113268776B (zh) * 2019-12-09 2023-03-07 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
CN113268776A (zh) * 2019-12-09 2021-08-17 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
CN112329028A (zh) * 2020-09-29 2021-02-05 华南师范大学 基于区块链的异常数据识别方法、系统、装置及介质
CN112328610A (zh) * 2020-09-30 2021-02-05 联想(北京)有限公司 一种基于区块链的信息处理方法及装置
CN112418433A (zh) * 2020-10-30 2021-02-26 联想(北京)有限公司 一种模型训练方法、装置及设备
CN112910982B (zh) * 2021-01-27 2023-06-16 网易(杭州)网络有限公司 一种联盟链的节点准入方法、装置、电子设备及存储介质
CN112910982A (zh) * 2021-01-27 2021-06-04 网易(杭州)网络有限公司 一种联盟链的节点准入方法、装置、电子设备及存储介质
CN113537042A (zh) * 2021-07-14 2021-10-22 北京工商大学 一种共享可更新的Deepfake视频内容监管方法及系统

Also Published As

Publication number Publication date
CN108491266B (zh) 2021-11-16
US11334817B2 (en) 2022-05-17
US20190279107A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN108491266A (zh) 基于区块链的数据处理方法、装置及电子设备
Camarinha-Matos et al. Collaborative networks: Reference modeling
Wu et al. A novel sparrow search algorithm for the traveling salesman problem
Amiri et al. BIM-based applications of metaheuristic algorithms to support the decision-making process: Uses in the planning of construction site layout
CN104541268A (zh) 智能健康护理决策分析与支持的方法和设备
Fan et al. Planning water resources allocation under multiple uncertainties through a generalized fuzzy two-stage stochastic programming method
CN108428114A (zh) 项目的信息处理方法及装置、存储介质、电子装置
Masadeh et al. WGW: A hybrid approach based on whale and grey wolf optimization algorithms for requirements prioritization
US11561950B2 (en) System and method for facilitating an objective-oriented data structure and an objective via the data structure
Relich Knowledge acquisition for new product development with the use of an ERP database
Hassanpour et al. Infectious waste management during a pandemic: A stochastic location-routing problem with chance-constrained time windows
Han et al. DeepRouting: A deep neural network approach for ticket routing in expert network
CN107644268B (zh) 一种基于多特征的开源软件项目孵化状态预测方法
Zhukova et al. Intelligent support of decision making in human resource management using case-based reasoning and ontology
Fong Can we learn from our past? Managing knowledge within and across projects
Ishaq et al. Information technology governance using cobit 4.0 domain delivery support and monitoring evaluation
Gómez et al. Optimisation-based decision-making for complex networks in disastrous events
Hamid et al. COBIT benchmarking of system development governance for a government agency in Malaysia
CN109447858B (zh) 一种基于区块链的泛在学习环境构建方法
Ho et al. Discovering communities of users on social networks based on topic model combined with Kohonen network
Yazdani et al. A lion optimization algorithm for an integrating maintenance planning and production scheduling problem with a total absolute deviation of completion times objective
Duan et al. Classification and evaluation of timed running schemas for workflow based on process mining
CN106104513A (zh) 基于认知的知识处理系统及方法
CN111027709A (zh) 信息推荐方法、装置、服务器及存储介质
Tosida et al. Indonesia’s readiness to implement agriculture data analytic–based smart village

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant