CN112487103A - 一种基于区块链智能合约的深度学习数据集可信共享系统 - Google Patents

一种基于区块链智能合约的深度学习数据集可信共享系统 Download PDF

Info

Publication number
CN112487103A
CN112487103A CN202011555244.8A CN202011555244A CN112487103A CN 112487103 A CN112487103 A CN 112487103A CN 202011555244 A CN202011555244 A CN 202011555244A CN 112487103 A CN112487103 A CN 112487103A
Authority
CN
China
Prior art keywords
data
module
block chain
trusted
transaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011555244.8A
Other languages
English (en)
Other versions
CN112487103B (zh
Inventor
沈韬
张弛
柏粉花
朱艳
刘英莉
曾凯
窦江玲
陈喆
江年旗
陈鹏阁
周琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202011555244.8A priority Critical patent/CN112487103B/zh
Publication of CN112487103A publication Critical patent/CN112487103A/zh
Application granted granted Critical
Publication of CN112487103B publication Critical patent/CN112487103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开一种基于区块链智能合约的深度学习数据集可信共享系统,属于信息技术领域。本发明的功能主要包括数据集市,用于元数据的检索以及购买;区块链模块,用于承载发布的智能合约,数据发布合约用于管理元数据的发布,用户授权合约用于生成数据集市中的用户凭证;数据交易合约用于控制数据集的交易流转控制;云端包含可信计算模块和云计算模块,其中可信计算模块用于将数据集载入到深度学习代码中进行安全可信的模型训练,确保源数据对外不可见;云计算模块用于动态的分配节点。本发明所述方法保证了数据提供者的数据安全,建立多方高效联动机制,从而提高社会整体的生产力。

Description

一种基于区块链智能合约的深度学习数据集可信共享系统
技术领域
本发明涉及一种基于区块链智能合约的深度学习数据集可信共享系统,属于区块链可信数据共享技术领域。
背景技术
当前市场上的大数据集共享存在数据泄露的风险,即数据提供者将数据共享给数据消费者时,恶意的数据消费者可能会泄露共享的源数据集,数据提供者难以控制共享数据的流向。
区块链技术提供了可追溯,不可篡改的特性,将共享流程存至区块链中则可以实现多方实体之间去中心化的数据信任交易。
机构和公司之间的数据孤岛现象仍然存在,一些领域敏感数据集只存在于特定的机构和公司中,然而一些机构和公司由于缺乏这些数据导致无法训练出高质量的模型,形成了数据拥有者无法安全的将数据对外共享,数据消费者无法获取特定领域的数据集。
目前机构和公司获取特定领域数据集的方法仍然局限在离线受控并由数据拥有者的人员代替数据消费者操作数据集,并在任务完成后,将结果递交回数据消费者,然而这种形式的共享受到严重限制,效率极为低下,且仍然存在数据泄露的安全风险。目前,现有技术中没有针对神经网络训练数据集的区块链智能合约可信数据共享方案。
发明内容
本发明提供了一种基于区块链智能合约的深度学习数据集可信共享系统,以用于解决数据共享场景下互不信任的神经网络数据集共享等现象,增加神经网络数据集共享的效率和安全性。
本发明的技术方案是:一种基于区块链智能合约的深度学习数据集可信共享系统,包括数据集市模块、区块链适配模块和云计算模块,云计算模块支撑区块链适配模块,区块链适配模块支撑数据集市模块;数据集市模块主要负责数据的展示以及交易;区块链适配模块主要负责数据的记录和存储,其完全包含智能合约模块;数据集市中的数据交易和区块链适配模块中的数据交易通过数据交易模块模块实现。
所述数据集市模块:用于数据消费者在平台中检索需要的数据,数据提供者发布元数据描述,提供透明公开的数据平台,用于交易双方进行磋商。
所述区块链适配模块:用于将数据集市模块适配到底层区块链系统中,所述区块链适配模块包含数据集市连接区块链的通信模块和智能合约模块;所述通信模块是指数据集市模块通过一个适配通信模块与底层区块链进行远程过程调用,以完成数据集市模块中的数据交易逻辑控制和显示;所述智能合约模块包含智能合约发布模块,用于将本地编写的合约通过编译后发布到底层区块链中,在底层区块链进行执行。所述数据集市连接区块链的通信模块用于前端数据集市装配数据对象,远程过程调用区块链接口,以及接受区块链发送的数据对象,并根据相应的规则进行解包,以此实现数据集市与区块链之间的通信;所述智能合约模块用于将本地编写的智能合约编译为字节码,发布到区块链平台中。
所述数据交易模块用于控制数据的交易流程,包括数据集市中数据交易控制,区块链中的数据交易合约及相关数据适配器;所述数据集市中的交易控制用于在数据集市前端页面中控制用户对共享数据的交易流程;所述区块链适配模块中的数据交易合约模块用于区块链后端进行分布式的数据交易逻辑控制,根据合约的控制逻辑确保每笔交易的真实性和不可篡改性;所述相关数据适配器用于数据集市和区块链后端交互过程中,为了确保双方数据格式的一致性而存在的一种适配器。
所述云计算模块包含可信计算模块:用于提供动态调整的云计算环境,在该模块中能动态的分配节点,包括普通节点和可信节点,普通节点用于区块链的共识节点和加密元数据存储,可信节点则用于数据的解密和神经网络训练;虚拟机监视器负责管理所有节点的运行状态和节点分配。
所述可信计算模块:用于提供安全可信的执行环境,在该环境中解密数据可以确保数据不会遭受泄露和篡改,所述可信计算模块包含密钥管理模块、训练模块、加密模块、安全库系统模块,网络通信模块、模型质量校验模块。
所述密钥管理模块具体包括:
a) 使用AES对称密钥加密算法,数据提供者在本地生成密钥,并使用AES对称密钥加密算法在本地加密数据集。
b) 使用RSA非对称密钥加密算法,可信计算环境在启动时会生成一对公私钥,私钥保存在可信环境的安全区中,将公钥传输至数据提供者,数据提供者利用公钥在本地对AES对称密钥进行加密,密文传输到可信环境的安全区中。
c) 可信计算接受到密文时,使用预先生成的私钥对被加密的AES密钥解密以获取AES密钥明文,使用AES明文密钥解密数据集获取明文数据。
所述训练模块用于载入数据消费者的代码和数据集,在制定的程序环境中进行模型训练,生成模型。
所述安全库系统模块用于提供安全的操作系统环境,为安全的可信模型训练提供支持。
所述模型质量校验模块用于提供模型质量校验功能,只有当模型质量满足数据消费者所设定的阈值时,方可认定数据集是有效的,否则将会终止数据共享交易。
所述网络通信模块用于可信环境与外部实体交互,所述的外部实体包括数据提供者,智能合约以及数据消费者,具体的操作如下:
a). 数据提供者需要将密文发送至可信环境的网络通信模块,由网络通信模块负责转储。
b). 数据消费者需要上传模型训练代码文件至可信环境的网络通信模块,由网络通信模块负责转储。
c). 智能合约在需要开始训练时,通知可信环境的网络通信模块以执行训练。
优选的,本发明所述数据集市模块包括用户授权模块、元数据描述模块、数据管理模块、数据发布模块、区块链钱包模块;
所述用户授权模块块包括用户授权合约,用户注册/登陆功能,用于生成数据提供者和数据消费者的数据集市通行凭据。
所述元数据描述模块用于数据提供者发布元数据描述信息,以及将元数据展示。
所述数据管理模块用于数据提供者管理其所有发布的元数据信息,数据消费者管理其所购买的数据集;包括数据提供者下载加密公钥和上传加密数据集功能,数据消费者上传神经网络训练代码,下载模型功能。
所述区块链钱包模块用于数据集市中所有参与实体的交易,数据集市通过区块链钱包与底层区块链进行交互,从而完成交易。
所属数据发布模块用于为数据所有者提供发布数据的功能,数据所有者将借助该模块将源数据写入至区块链中,并在数据集市中进行展示。
优选的,本发明所述数据交易模块中:所述数据集市中数据交易控制用于数据消费者在数据集市购买数据集时,数据集市通过与区块链底层交互以控制交易状态;所述区块链适配模块中的智能合约模块用于分布式的控制数据交易状态,当合约执行后,底层区块链会将合约执行的交易数据进行广播,在得到超过50%的节点验证后,则合约中的这一步执行成功,新生成的交易数据将存入底层区块链系统中。
所述云计算模块包含多个节点服务器,通过云计算环境将这些服务器虚拟化出多于物理服务器数量的节点,并根据当前所负载的任务进行动态调整和分配,确保新的数据交易有足够的可信节点来完成数据共享的解密计算任务。
优选的,本发明所述云计算模块中的可信计算模块用于解密被加密的源数据,,并载入数据消费者上传的神经网络训练代码,在可信计算空间内进行模型训练,训练后的代码将加密导出在服务器中;
所述加密解密的密钥机制包括非对称加密算法RSA和采用密码分组链接方式的对称加密算法AES加密算法,由数据提供者在本地生成AES密钥,并用RSA公钥加密AES密钥,源数据则采用AES密钥进行分块加密。
优选的,本发明所述数据提供者发布元数据的具体过程为:
(1)数据提供者登陆数据集市,发布元数据描述,将执行智能合约并将数据记录至底层区块链,其中需要缴纳一笔与使用价格相等的押金;
(2)智能合约执行完成后会通知云平台创建可信节点,此时可信节点将会进行初始化操作,其步骤如下:首先创建可信环境,加载库系统安全区,当环境创建完成之后;执行RSA密钥生成算法分别生成公钥和私钥,此时无论公钥还是私钥均保存在安全区中;
(3)数据提供者此时进行加密本地数据操作,其步骤如下:在本地使用AES密钥生成算法生成对称加密密钥,使用加密程序载入密钥和数据集进行加密操作,生成加密数据集;
(4)数据提供者在数据集市中的设置中请求该数据集的加密公钥,由可信节点的网络通信模块将加密公钥文件响应给数据提供者,使用RSA加密算法载入加密公钥文件和AES对称密钥,生成加密AES密钥文件;
(5)数据提供者将加密数据集和加密AES密钥通过数据集市的设置上传到云计算模块中的可信计算模块中保存。
优选的,本发明所述数据消费者在平台中检索需要的数据,所述流程包括:
(1)数据消费者和数据提供者编写完神经网络模型训练代码后,并使用自己的数据集测试代码没有问题之后,给定一个预估的模型精确度AUC值;
(2)数据消费者登陆数据集市,在数据集市中检索符合自己需求的数据集,当找到合适的数据集时,可以点击购买,支付数据使用费以及押金后,此时触发智能合约的交易模块,将生成数据提供者和该数据消费者之间一对一的交易记录,并记录至底层区块链系统中;
(3)数据消费者通过数据集市的设置将神经网络模型训练代码上传至云平台中保存,选择开始训练后,其具体步骤如下:可信节点将数据集和代码加载到安全区中,由可信节点的解密模块对数据集进行解密从而得到原始数据集;可信节点的训练模块提供程序运行环境,加载神经网络训练代码和原始数据集并执行训练,当训练正常结束时,将生成模型保存在普通节点中;
(4)可信节点的训练模块完成训练之后,将执行模型校验,校验模块加载模型和校验代码,执行完成后将比较模型AUC值与数据消费者预先提供的AUC的大小,并将结果反馈到数据集市中数据消费者的设置中以供评估;
(5)数据消费者接受了模型质量AUC值后,即可在数据集市的设置中下载模型,一旦执行下载则会触发智能合约进行交易收尾,具体步骤如下:智能合约首先将数据使用费和预缴纳的押金转入至数据提供者的账户;智能合约将合约余下的金额,即数据消费者缴纳的押金全部退回至数据消费者的账户;智能合约将合约状态更改为已完成,此时的状态将无法再进行交易。
基于上述技术方案,本发明具有以下优点:
(1)本发明采用区块链智能合约作为交易逻辑的核心控制,与传统的数据共享的中心化平台控制交易逻辑不同,分布式去中心化的智能合约交易控制可以确保所有交易的流程都公开透明,防止中心化平台故障造成系统瘫痪,同时还防止中心化平台作恶所带来的风险,由于交易的核心逻辑控制均由智能合约完成,因此所有的交易细节均是透明公开的。
(2)本发明融合了可信计算技术作为神经网络深度学习的可信保障,为了确保数据提供者的安全性,使用该技术确保源数据不会遭受泄露,同时提供了安全的训练区域,确保了交易双方的利益。
(3)本发明使用区块链技术作为数据集市的底层支撑,因此数据提供者能够在保证对数据具有控制权的前提下,将数据共享给外部实体获取收益,提高了数据提供者的共享意愿。
附图说明
图1是本发明的整体框架图;
图2是本发明完整流程的逻辑图;
图3是本发明实施例中数据提供者上传数据交互示意图。
图4是本发明实施例中数据消费者使用数据交互示意图。
图5是本发明数据交易交互示意图。
图6是本发明数据集模型质量测试交互示意图。
具体实施方式
下面将通过结合附图以及具体实施例进行详细描述,以更清楚的展示本发明要解决的技术问题和优点。
实施例1
一种基于区块链智能合约的深度学习数据集可信共享系统,包括数据集市模块、区块链适配模块和云计算模块;数据集市模块主要负责数据的展示以及交易;区块链适配模块主要负责数据的记录和存储,其完全包含智能合约模块;数据集市中的数据交易和区块链适配模块中的数据交易通过数据交易模块模块实现。
所述数据集市模块,用于数据消费者在平台中检索需要的数据,数据提供者发布元数据描述,提供透明公开的数据平台,用于交易双方进行公开透明的交易,其包含部分数据交易模块。
具体的,所述数据集市模块包括用户授权模块、元数据描述模块、数据管理模块、数据发布模块、区块链钱包模块;
所述用户授权模块用于生成数据提供者和数据消费者的数据集市通行凭据,为数据消费者和数据提供者在数据集市中提供区块链钱包地址,并连接至底层区块链的身份认证智能合约。
所述元数据描述模块用于数据提供者发布元数据描述信息,以及将元数据展示。
所述数据管理模块用于数据提供者管理其所有发布的元数据信息,数据消费者管理其所购买的数据集;数据所有者提供发布数据后,通过该模块完成下载公钥,上传加密数据集的功能;数据消费者通过该模块上传神经网络模型训练代码以及下载模型。
所述区块链钱包模块用于数据集市中所有参与实体的交易,数据集市通过区块链钱包与底层区块链进行交互,从而完成交易。
所属数据发布模块用于为数据所有者提供发布数据的功能,数据所有者将借助该模块将源数据写入至区块链中,并在数据集市中进行展示。
区块链适配模块:主要负责数据的记录和存储,用于将数据集市模块适配到区块链系统中,所述区块链适配模块包含数据集市连接区块链的通信模块和智能合约模块;所述通信模块是指数据集市模块通过一个区块链钱包与区块链进行远程过程调用,以完成数据集市模块中的元数据描述的展示;所述智能合约模块用于将本地编写的合约通过编译后发布到区块链中,在区块链上进行执行。
在具体应用中,所述区块链模块中的智能合约模块提供外部实体调用的API接口,完成数据的检索和存储功能,并提供智能合约的运行时环境支撑节点运行智能合约程序。
所述数据交易模块:用于控制数据的交易流程,包括数据集市中数据管理模块,区块链中的智能合约模块中的数据交易合约;所述数据集市中数据管理模块用于数据消费者在数据集市购买数据集时,数据集市通过与区块链底层交互以控制交易状态;所述区块链中的智能合约模块中的数据交易合约用于分布式的控制数据交易状态,当合约执行后,底层区块链会将合约执行的交易数据进行广播,在得到超过50%的节点验证后,则合约中的这一步执行成功,新生成的交易数据将存入底层区块链系统中。
所述云计算模块包含可信计算模块:用于提供动态调整的云计算环境,在该模块中能动态的分配节点,包括普通节点和可信节点,普通节点用于区块链的共识节点和加密元数据存储,可信节点则用于数据的解密和神经网络训练;虚拟机监视器负责管理所有节点的运行状态和节点分配。
所述云计算模块包含多个节点服务器,通过云计算环境将这些服务器虚拟化出多于物理服务器数量的节点,并根据当前所负载的任务进行动态调整和分配,确保新的数据交易有足够的可信节点来完成数据共享的解密计算任务。
所述可信计算模块:用于提供安全可信的执行环境,在该环境中解密数据可以确保数据不会遭受泄露和篡改,所述可信计算模块包含密钥管理模块、训练模块、加密模块、安全库系统模块,网络通信模块、模型质量校验模块;
所述可信计算模块用于解密被加密的源数据,并载入数据消费者上传的神经网络训练代码,在可信计算空间内进行模型训练,训练后的代码将加密导出在服务器中;所述加密解密的密钥机制包括非对称加密算法RSA和采用密码分组链接方式的对称加密算法AES加密算法,由数据提供者在本地生成AES密钥,并用RSA公钥加密AES密钥,源数据则采用AES密钥进行分块加密。
所述网络通信模块完全运行在安全区中,对数据提供者,智能合约以及数据消费者提供网络通信功能,对于数据消费者而言,包括:下发公钥,其中生成公私钥机制采用的是RSA算法,私钥只保存在安全区中,任何实体都无法获取;支持数据消费者上传神经网络模型训练代码至安全区中,以及在模型训练完成后提供模型下载服务。
所述可信计算模块中的训练模块完全运行在安全区中,主要功能则是加载程序运行环境,满足神经网络模型训练代码所需要的运行时环境,加载代码和加密数据集,在安全区中解密数据集并用其训练,所述运行时环境包括神经网络模型训练代码的解释器,类库等。
所述模型质量检验模块完全运行在安全区中,并且该模块运行在模型训练模块之后,当模型训练成功之后,该模块会将检验代码和模型载入,运行检验代码后得到模型质量AUC值,并且将对比结果传至数据集市的数据消费者设置中,为数据消费者提供指标信息。
本地加密,具体的,数据提供者在本地生成AES对称密钥,运行加密工具使用AES对称密钥加密源数据集从而生成加密数据集,从可信节点下载RSA公钥,用RSA公钥加密AES对称密钥后生成加密密钥。
参考图3,4所示,数据提供者为了安全的将数据共享至外部实体以获取收益,流程如图3,4所示,所有的数据提供者都需要进行这样的操作确保将数据安全的共享到外部实体;采用这样的方式,进行安全加密的数据传输,可以确保即使在某一环节中数据遭受泄露,也能确保原始数据不会泄露,除非数据提供者把密钥向外界泄露或者可信节点将密钥向外界泄露,这样的场景不符合自身的利益,因此几乎不会发生。从而确保了数据传输的安全性。
进一步地,为了数据提供者能安全的共享数据,所述流程包括:
(1)数据提供者登陆数据集市,发布元数据描述,将执行智能合约并将数据记录至底层区块链,其中需要缴纳一笔与使用价格相等的押金;
(2)智能合约执行完成后会通知云平台创建可信节点,此时可信节点将会进行初始化操作,其步骤如下:首先创建可信环境,加载库系统安全区,当环境创建完成之后;执行RSA密钥生成算法分别生成公钥和私钥,此时无论公钥还是私钥均保存在安全区中。
(3)数据提供者此时进行加密本地数据操作,其步骤如下:在本地使用AES密钥生成算法生成对称加密密钥,使用加密程序载入密钥和数据集进行加密操作,生成加密数据集;
(4)数据提供者在数据集市中的设置中请求该数据集的加密公钥,由可信节点的网络通信模块将加密公钥文件响应给数据提供者,使用RSA加密算法载入加密公钥文件和AES对称密钥,生成加密AES密钥文件。
(5)数据提供者将加密数据集和加密AES密钥通过数据集市的设置上传到云平台的节点中保存。
参考图4,5所示,数据消费者为了能使用共享数据集,流程如图4,5所示,所有的数据消费者都需要进行这样的操作确保能正确高效的使用共享数据集,所述流程包括:
(1)数据消费者和数据提供者编写完神经网络模型训练代码后,并使用自己的数据集测试代码没有问题之后,给定一个预估的模型精确度AUC值。
(2)数据消费者登陆数据集市,在数据集市中检索符合自己需求的数据集,当找到合适的数据集时,可以点击购买,支付数据使用费以及押金后,此时触发智能合约的交易模块,将生成数据提供者和该数据消费者之间一对一的交易记录,并记录至底层区块链系统中。
(3)数据消费者通过数据集市的设置将神经网络模型训练代码上传至云端的数据存储模块中保存,选择开始训练后,其具体步骤如下:可信节点将数据集和代码加载到安全区中,由可信节点的解密模块对数据集进行解密从而得到原始数据集;可信节点的训练模块提供程序运行环境,加载神经网络训练代码和原始数据集并执行训练,当训练正常结束时,将生成模型保存在普通节点中。
(4)可信节点的训练模块完成训练之后,将执行模型校验,校验模块加载模型和校验代码,执行完成后将比较模型AUC值与数据消费者预先提供的AUC的大小,并将结果反馈到数据集市中数据消费者的设置中以供评估。
(5)数据消费者接受了模型质量AUC值后,即可在数据集市的设置中下载模型,一旦执行下载则会触发智能合约进行交易收尾,具体步骤如下:智能合约首先将数据使用费和预缴纳的押金转入至数据提供者的账户;智能合约将合约余下的金额,即数据消费者缴纳的押金全部退回至数据消费者的账户;智能合约将合约状态更改为已完成,此时的状态将无法再进行交易。
本发明通过在不信任的环境下建立数据提供者,消费者以及去中心化交易平台之间的信任机制,将带来一下益处:
(1) 在传统的数据共享平台中,数据提供者实际上是无法掌握数据的所属权,共享的同时往往意味着数据不受控制,这将严重损害数据提供者的利益;然而本发明可以让数据提供者放心的将数据共享至外部实体而不会失去数据的控制权,极大的增加了数据提供者的信心。
(2) 有利于数据消费者放心的支付数据使用费,即便数据存在质量问题,也能由本发明的机制进行规避。
(3) 有利于追溯交易的历史记录,提高每笔交易的可信度。
本发明通过在不信任的环境下建立去中心化交易平台,将带来以下益处:
(1) 对数据提供者而言,能够促进他们的共享意愿,实现越来越多的单位,机构和公司参与数据共享,破解数据孤岛的现状。
(2) 对交易双方而言,平台的去中心化和透明化可以使他们更加放心的依托于这个平台完成交易,而无需担心平台作恶问题。
本发明通过在云端构建可信计算环境,将带来以下益处:
(1) 实现不同神经网络模型训练代码技术的不同所带来的不适配问题,借助安全库系统可以实现无论是什么样的技术,都可以提供程序所需的运行时环境,解决了环境不兼容问题。
(2) 降低了数据提供者对数据安全方面的担心,可信计算环境确保数据的控制权始终掌握在数据提供者手中,而不会随着共享而丢失控制权。
在实际应用中,可综合应用平台中心化数据库存储部分非核心安全的数据,形成更高效的交易模式和更安全的使用场景,实现基于区块链智能合约的深度学习数据集可信共享系统解决方案。
充分挖掘智能合约的逻辑交互,确保在无逻辑漏洞的情况下执行的语句最短,降低合约运行的开销,形成高效稳定的去中心化交易逻辑控制解决方案。
对可信计算环境进行充分的挖掘,建立具备程序运行时环境多样性的安全库系统,充分发挥库系统的轻量级特性,结合其高效安全的应用隔离机制实现更可靠的安全共享场景。
本技术具有强烈的现实意义,不仅融合了区块链技术和可信计算,还将促使产学研落地。在打破当前社会各机构单位公司之间的数据孤岛有着较强的推进作用。
最后需要说明的是,上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种基于区块链智能合约的深度学习数据集可信共享系统,其特征在于:包括数据集市模块、区块链适配模块和云计算模块,云计算模块支撑区块链适配模块,区块链适配模块支撑数据集市模块;数据集市模块主要负责数据的展示以及交易;区块链适配模块主要负责数据的记录和存储,其完全包含智能合约模块;数据集市中的数据交易和区块链适配模块中的数据交易通过数据交易模块实现;
所述数据集市模块:用于数据消费者在平台中检索需要的数据,数据提供者发布元数据描述,提供透明公开的数据平台,用于交易双方进行磋商;
所述区块链适配模块:用于将数据集市模块适配到底层区块链系统中,所述区块链适配模块包含数据集市连接区块链的通信模块和智能合约模块;所述通信模块是指数据集市模块通过一个适配通信模块与底层区块链进行远程过程调用,以完成数据集市模块中的数据交易逻辑控制和显示;所述智能合约模块包含智能合约发布模块,用于将本地编写的合约通过编译后发布到底层区块链中,在底层区块链进行执行;
所述数据交易模块用于控制数据的交易流程,包括数据集市中数据交易控制,区块链中的数据交易合约及相关数据适配器;
所述云计算模块包含可信计算模块:用于提供动态调整的云计算环境,在该模块中能动态的分配节点,包括普通节点和可信节点,普通节点用于区块链的共识节点和加密元数据存储,可信节点则用于数据的解密和神经网络训练;虚拟机监视器负责管理所有节点的运行状态和节点分配;
所述可信计算模块:用于提供安全可信的执行环境,在该环境中解密数据可以确保数据不会遭受泄露和篡改,所述可信计算模块包含密钥管理模块、训练模块、加密模块、安全库系统模块,网络通信模块、模型质量校验模块。
2.根据权利要求1所述的基于区块链智能合约的深度学习数据集可信共享系统,其特征在于:所述数据集市模块包括用户授权模块、元数据描述模块、数据管理模块、数据发布模块、区块链钱包模块;
所述用户授权模块用于生成数据提供者和数据消费者的数据集市通行凭据;
所述元数据描述模块用于数据提供者发布元数据描述信息,以及将元数据展示;
所述数据管理模块用于数据提供者管理其所有发布的元数据信息,数据消费者管理其所购买的数据集;
所述区块链钱包模块用于数据集市中所有参与实体的交易,数据集市通过区块链钱包与底层区块链进行交互,从而完成交易;
所属数据发布模块用于为数据所有者提供发布数据的功能,数据所有者将借助该模块将源数据写入至区块链中,并在数据集市中进行展示。
3.根据权利要求1所述的基于区块链智能合约的深度学习数据集可信共享系统,其特征在于:数据交易模块中:所述数据集市中数据交易控制用于数据消费者在数据集市购买数据集时,数据集市通过与区块链底层交互以控制交易状态;所述区块链适配模块中的智能合约模块用于分布式的控制数据交易状态,当合约执行后,底层区块链会将合约执行的交易数据进行广播,在得到超过51%的节点验证后,则合约中的这一步执行成功,新生成的交易数据将存入底层区块链系统中。
4.根据权利要求1所述的基于区块链智能合约的深度学习数据集可信共享系统,其特征在于,所述云计算模块包含多个节点服务器,通过云计算环境将这些服务器虚拟化出多于物理服务器数量的节点,并根据当前所负载的任务进行动态调整和分配,确保新的数据交易有足够的可信节点来完成数据共享的解密计算任务。
5.根据权利要求1所述的基于区块链智能合约的深度学习数据集可信共享系统,其特征在于,所述云计算模块中的可信计算模块用于解密被加密的源数据,并载入数据消费者上传的神经网络训练代码,在可信计算空间内进行模型训练,训练后的代码将加密导出在服务器中;
所述加密解密的密钥机制包括非对称加密算法RSA和采用密码分组链接方式的对称加密算法AES加密算法,由数据提供者在本地生成AES密钥,并用RSA公钥加密AES密钥,源数据则采用AES密钥进行分块加密。
6.根据权利要求1所述的基于区块链智能合约的深度学习数据集可信共享系统,其特征在于:数据提供者发布元数据的具体过程为:
(1)数据提供者登陆数据集市,发布元数据描述,将执行智能合约并将数据记录至底层区块链,其中需要缴纳一笔与使用价格相等的押金;
(2)智能合约执行完成后会通知云平台创建可信节点,此时可信节点将会进行初始化操作,其步骤如下:首先创建可信环境,加载库系统安全区,当环境创建完成之后;执行RSA密钥生成算法分别生成公钥和私钥,此时无论公钥还是私钥均保存在安全区中;
(3)数据提供者此时进行加密本地数据操作,其步骤如下:在本地使用AES密钥生成算法生成对称加密密钥,使用加密程序载入密钥和数据集进行加密操作,生成加密数据集;
(4)数据提供者在数据集市中的设置中请求该数据集的加密公钥,由可信节点的网络通信模块将加密公钥文件响应给数据提供者,使用RSA加密算法载入加密公钥文件和AES对称密钥,生成加密AES密钥文件;
(5)数据提供者将加密数据集和加密AES密钥通过数据集市的设置上传到云计算模块中的可信计算模块中保存。
7.根据权利要求1所述的基于区块链智能合约的深度学习数据集可信共享系统,其特征在于:数据消费者在平台中检索需要的数据,所述流程包括:
数据消费者和数据提供者编写完神经网络模型训练代码后,并使用自己的数据集测试代码没有问题之后,给定一个预估的模型精确度AUC值;
(2)数据消费者登陆数据集市,在数据集市中检索符合自己需求的数据集,当找到合适的数据集时,可以点击购买,支付数据使用费以及押金后,此时触发智能合约的交易模块,将生成数据提供者和该数据消费者之间一对一的交易记录,并记录至底层区块链系统中;
(3)数据消费者通过数据集市的设置将神经网络模型训练代码上传至云平台中保存,选择开始训练后,其具体步骤如下:可信节点将数据集和代码加载到安全区中,由可信节点的解密模块对数据集进行解密从而得到原始数据集;可信节点的训练模块提供程序运行环境,加载神经网络训练代码和原始数据集并执行训练,当训练正常结束时,将生成模型保存在普通节点中;
(4)可信节点的训练模块完成训练之后,将执行模型校验,校验模块加载模型和校验代码,执行完成后将比较模型AUC值与数据消费者预先提供的AUC的大小,并将结果反馈到数据集市中数据消费者的设置中以供评估;
(5)数据消费者接受了模型质量AUC值后,即可在数据集市的设置中下载模型,一旦执行下载则会触发智能合约进行交易收尾,具体步骤如下:智能合约首先将数据使用费和预缴纳的押金转入至数据提供者的账户;智能合约将合约余下的金额,即数据消费者缴纳的押金全部退回至数据消费者的账户;智能合约将合约状态更改为已完成,此时的状态将无法再进行交易。
CN202011555244.8A 2020-12-25 2020-12-25 一种基于区块链智能合约的深度学习数据集可信共享系统 Active CN112487103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011555244.8A CN112487103B (zh) 2020-12-25 2020-12-25 一种基于区块链智能合约的深度学习数据集可信共享系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011555244.8A CN112487103B (zh) 2020-12-25 2020-12-25 一种基于区块链智能合约的深度学习数据集可信共享系统

Publications (2)

Publication Number Publication Date
CN112487103A true CN112487103A (zh) 2021-03-12
CN112487103B CN112487103B (zh) 2023-06-06

Family

ID=74915543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011555244.8A Active CN112487103B (zh) 2020-12-25 2020-12-25 一种基于区块链智能合约的深度学习数据集可信共享系统

Country Status (1)

Country Link
CN (1) CN112487103B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112953733A (zh) * 2021-03-16 2021-06-11 昆明理工大学 一种数据治理的区块链通信资源整合共识方法
CN113011894A (zh) * 2021-03-29 2021-06-22 昆明理工大学 一种基于可信计算与智能合约的金融衍生品数字交易系统
CN114090962A (zh) * 2022-01-24 2022-02-25 湖北长江传媒数字出版有限公司 一种基于大数据的智能出版系统及方法
CN114598554A (zh) * 2022-05-09 2022-06-07 山东省计算中心(国家超级计算济南中心) 对应用程序中用户隐私数据的保护方法及系统
CN116308348A (zh) * 2023-02-27 2023-06-23 广州芳禾数据有限公司 基于区块链的机器学习模型安全交易方法、系统及设备
WO2024041130A1 (zh) * 2022-08-25 2024-02-29 华为技术有限公司 权益分配方法及装置
CN117828410A (zh) * 2022-11-29 2024-04-05 秦雨 基于区块链的数据划分系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559124A (zh) * 2018-12-17 2019-04-02 重庆大学 一种基于区块链的云数据安全共享方法
CN109685511A (zh) * 2018-05-30 2019-04-26 上海分壳信息技术股份有限公司 基于区块链的数据使用权交易方法
CN109685501A (zh) * 2018-12-04 2019-04-26 暨南大学 基于区块链激励机制下可审计的隐私保护深度学习平台建设方法
US20190287026A1 (en) * 2018-03-14 2019-09-19 International Business Machines Corporation Learning service blockchain
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习系统及方法
CN111311257A (zh) * 2020-01-20 2020-06-19 福州数据技术研究院有限公司 一种基于区块链的医疗数据共享激励方法及其系统
CN111368319A (zh) * 2020-03-04 2020-07-03 西安电子科技大学 一种联邦学习环境下基于区块链的数据安全访问方法
US20200218940A1 (en) * 2019-01-08 2020-07-09 International Business Machines Corporation Creating and managing machine learning models in a shared network environment
US20200252205A1 (en) * 2019-01-31 2020-08-06 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing a multi tenant blockchain platform for managing einstein platform decisions using distributed ledger technology (dlt)
US20200272945A1 (en) * 2019-02-21 2020-08-27 Hewlett Packard Enterprise Development Lp System and method of decentralized model building for machine learning and data privacy preserving using blockchain
CN111680793A (zh) * 2020-04-21 2020-09-18 广州中科易德科技有限公司 一种基于深度学习模型训练的区块链共识方法和系统
CN111698322A (zh) * 2020-06-11 2020-09-22 福州数据技术研究院有限公司 一种基于区块链和联邦学习的医疗数据安全共享方法
CN112003886A (zh) * 2020-07-03 2020-11-27 北京工业大学 一种基于区块链的物联网数据共享系统和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190287026A1 (en) * 2018-03-14 2019-09-19 International Business Machines Corporation Learning service blockchain
CN109685511A (zh) * 2018-05-30 2019-04-26 上海分壳信息技术股份有限公司 基于区块链的数据使用权交易方法
CN109685501A (zh) * 2018-12-04 2019-04-26 暨南大学 基于区块链激励机制下可审计的隐私保护深度学习平台建设方法
CN109559124A (zh) * 2018-12-17 2019-04-02 重庆大学 一种基于区块链的云数据安全共享方法
US20200218940A1 (en) * 2019-01-08 2020-07-09 International Business Machines Corporation Creating and managing machine learning models in a shared network environment
US20200252205A1 (en) * 2019-01-31 2020-08-06 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing a multi tenant blockchain platform for managing einstein platform decisions using distributed ledger technology (dlt)
US20200272945A1 (en) * 2019-02-21 2020-08-27 Hewlett Packard Enterprise Development Lp System and method of decentralized model building for machine learning and data privacy preserving using blockchain
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习系统及方法
CN111311257A (zh) * 2020-01-20 2020-06-19 福州数据技术研究院有限公司 一种基于区块链的医疗数据共享激励方法及其系统
CN111368319A (zh) * 2020-03-04 2020-07-03 西安电子科技大学 一种联邦学习环境下基于区块链的数据安全访问方法
CN111680793A (zh) * 2020-04-21 2020-09-18 广州中科易德科技有限公司 一种基于深度学习模型训练的区块链共识方法和系统
CN111698322A (zh) * 2020-06-11 2020-09-22 福州数据技术研究院有限公司 一种基于区块链和联邦学习的医疗数据安全共享方法
CN112003886A (zh) * 2020-07-03 2020-11-27 北京工业大学 一种基于区块链的物联网数据共享系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹傧;林亮;李云;刘永相;熊炜;高峰;: "区块链研究综述", 重庆邮电大学学报(自然科学版), no. 01, pages 5 - 18 *
雷凯;黄硕康;方俊杰;黄济乐;谢英英;彭波;: "智能生态网络:知识驱动的未来价值互联网基础设施", 应用科学学报, no. 01, pages 156 - 176 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112953733A (zh) * 2021-03-16 2021-06-11 昆明理工大学 一种数据治理的区块链通信资源整合共识方法
CN112953733B (zh) * 2021-03-16 2022-08-26 昆明理工大学 一种数据治理的区块链通信资源整合共识方法
CN113011894A (zh) * 2021-03-29 2021-06-22 昆明理工大学 一种基于可信计算与智能合约的金融衍生品数字交易系统
CN114090962A (zh) * 2022-01-24 2022-02-25 湖北长江传媒数字出版有限公司 一种基于大数据的智能出版系统及方法
CN114090962B (zh) * 2022-01-24 2022-05-13 湖北长江传媒数字出版有限公司 一种基于大数据的智能出版系统及方法
CN114598554A (zh) * 2022-05-09 2022-06-07 山东省计算中心(国家超级计算济南中心) 对应用程序中用户隐私数据的保护方法及系统
CN114598554B (zh) * 2022-05-09 2022-08-02 山东省计算中心(国家超级计算济南中心) 对应用程序中用户隐私数据的保护方法及系统
WO2024041130A1 (zh) * 2022-08-25 2024-02-29 华为技术有限公司 权益分配方法及装置
CN117828410A (zh) * 2022-11-29 2024-04-05 秦雨 基于区块链的数据划分系统
CN116308348A (zh) * 2023-02-27 2023-06-23 广州芳禾数据有限公司 基于区块链的机器学习模型安全交易方法、系统及设备
CN116308348B (zh) * 2023-02-27 2024-01-02 广州芳禾数据有限公司 基于区块链的机器学习模型安全交易方法、系统及设备

Also Published As

Publication number Publication date
CN112487103B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN112487103A (zh) 一种基于区块链智能合约的深度学习数据集可信共享系统
CN110851496B (zh) 在区块链网络中查询交易信息的方法、装置、记账节点和介质
TWI729719B (zh) 基於區塊鏈的資料授權方法及裝置、電子設備及電腦可讀儲存媒介
CN109635585B (zh) 在区块链网络中查询交易信息的方法、代理节点和介质
CN108830601B (zh) 基于区块链的智慧城市信息安全使用方法及系统
CN108734576B (zh) 一种基于区块链的教育资源共享方法及系统
CN110399742B (zh) 一种联邦迁移学习模型的训练、预测方法及装置
CN113011894B (zh) 一种基于可信计算与智能合约的金融衍生品数字交易系统
US20200374135A1 (en) Blockchain-Based Secure Transaction Method, Electronic Device, System and Storage Medium
TW202107315A (zh) 基於區塊鏈的資料授權方法及裝置
JP2021533435A (ja) セキュアな電子トランザクションプラットフォームのためのシステムと方法
KR101936757B1 (ko) 블록체인 기반의 공유경제를 위해 키를 생성하는 분산 원장 장치 및 분산 원장 방법
KR20180115764A (ko) 블록체인에서 교환을 구현하기 위한 토큰화 방법 및 시스템
US11121944B2 (en) Systems and methods for rapid booting and deploying of an enterprise system in a cloud environment
KR101962290B1 (ko) 블록체인 기반의 공유경제를 위해 공유재화의 unlock 및 lock을 제어하는 분산 원장 장치
KR101962289B1 (ko) 블록체인 기반의 공유경제를 위해 비대칭키 방식으로 이용자를 식별하는 분산 원장 장치
CA3157920A1 (en) Controlling access to secured data in multi-system exchange environments
CN111461712A (zh) 区块链供应链金融场景下的交易隐私保护和分层监管
WO2022156594A1 (zh) 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN110766548A (zh) 基于区块链的信息处理方法、装置、存储介质及电子设备
US20210374724A1 (en) Secure digital wallet processing system
US11842395B2 (en) Secure and trustworthy computing environments for exchanges
CN109344566A (zh) 一种基于区块链的版权管理方法、装置及设备
WO2019062511A1 (zh) 一种基于加密的数据确权方法及系统
CN110866260A (zh) 一种项目运作管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210312

Assignee: Yunnan Jiayi Technology Co.,Ltd.

Assignor: Kunming University of Science and Technology

Contract record no.: X2024980016936

Denomination of invention: A trusted sharing system for deep learning datasets based on blockchain smart contracts

Granted publication date: 20230606

License type: Open License

Record date: 20240930

Application publication date: 20210312

Assignee: Yunnan Mio Technology Service Co.,Ltd.

Assignor: Kunming University of Science and Technology

Contract record no.: X2024980016022

Denomination of invention: A trusted sharing system for deep learning datasets based on blockchain smart contracts

Granted publication date: 20230606

License type: Open License

Record date: 20240929