CN113536357B - 一种基于区块链的数据共享平台 - Google Patents
一种基于区块链的数据共享平台 Download PDFInfo
- Publication number
- CN113536357B CN113536357B CN202110878287.8A CN202110878287A CN113536357B CN 113536357 B CN113536357 B CN 113536357B CN 202110878287 A CN202110878287 A CN 202110878287A CN 113536357 B CN113536357 B CN 113536357B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- node
- model
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000003860 storage Methods 0.000 claims description 65
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据技术领域,具体涉及一种基于区块链的数据共享平台,包括:用户注册节点,为注册账号开设虚拟账户;数据接收节点,数据源方将数据提交给数据接收节点,为批次数据行分配数据编号;若干个数据存储节点,将数据关联批次编号及数据编号存储;探测节点,接收数据需求方提交的探测模型,当数据接收节点接收到新的数据时,运行探测模型;模型节点,接收数据需求方提交的数据处理模型,当探测节点得出的价值指数超过数据需求方预设的阈值时,复原相应批次的数据行数据处理模型并计费;计费节点,根据计费结果,将代币转入到数据源方的虚拟账户。本发明的实质性效果是:有效保护数据的隐私和安全性,提高数据处理模型的准确度。
Description
技术领域
本发明涉及大数据技术领域,具体涉及一种基于区块链的数据共享平台。
背景技术
随着技术产业体系的变化,数字经济领域将成为经济和技术竞争的关键领域。虽然目前数字经济的规模和发展较快,当同时也必须注意到目前的数字经济仍然存在结构化的问题亟待推动解决。其中数据归属权、由谁主导采集开发以及收益分配等问题还没有明确。以及如何对数据评估定价交易,也是各方正在积极探索解决的问题之一。得益于信息技术的进步和普及,人们已经借助数字技术推动生产效率的提高和生活质量的改善。同时也伴随产生了大量的数据,实现了数据的原始积累。但受制于竞争关系、隐私保护政策以及数据异构问题,目前的数据仍然主要以孤岛的形式存在。数据的交易和流通受到限制,规模较小,成了目前数字经济以及大数据技术发展的主要限制因素。如何解决数据流通过程中的隐私问题和权益分配、保障,成了本领域当前急需解决的技术问题。
中国专利CN111723154A,公开日2020年9月29日,基于区块链的医疗数据共享系统,包括:账号申请模块,用于接收智能终端所发送的申请信息,生成智能终端的账号和密码;区块链存储模块,用于存储区块链,区块链包括通信连接的多个存储节点;医疗数据获取模块,用于采集病患的医疗数据,并将医疗数据存储到区块链上相应的存储节点中;访问权限分配模块,用于根据智能终端的申请信息,为该智能终端分配对区块链中的存储节点的访问权限;交互模块,用于根据接收到智能终端所输入的存储节点的识别信息,在区块链中将与该识别信息对应的医疗数据调出。其技术方案实现了医疗数据的智能采集,且具有发起查询,获取病患就医记录以及查阅脱敏医疗数据等功能,促进了医疗大数据的流通共享。但其不能在数据流通过程中,保护数据的隐私,仅适合应用于小范围的医疗数据的流通,不能解决目前数字经济领域遇到的数据流通受限的问题。
发明内容
本发明要解决的技术问题是:目前缺乏有效支持数据流通的技术方案的问题。提出了一种基于区块链的数据共享平台,本平台能够在保护数据隐私的前提下,有效促进数据的共享和流通,发挥数据的价值。
为解决上述技术问题,本发明所采取的技术方案为:一种基于区块链的数据共享平台,包括:用户注册节点,接受数据源方和数据需求方的账号注册的请求,为注册账号在区块链上开设虚拟账户;数据接收节点,数据源方将批次数据提交给数据接收节点,数据接收节点分配批次编号,为批次编号的数据行分配数据编号,接收数据源方对数据行的定价;若干个数据存储节点,与数据接收节点连接,将数据源方提交的数据关联批次编号及数据编号存储;探测节点,接收数据需求方提交的探测模型,所述探测模型的输出为价值指数,当数据接收节点接收到新的数据时,所述探测节点运行探测模型,得出价值指数;模型节点,接收数据需求方提交的数据处理模型,当探测节点得出的价值指数超过数据需求方预设的阈值时,通过数据存储节点复原相应批次的数据行,并代入数据处理模型,并计费;计费节点,数据需求方预先将若干个代币转入计费节点的虚拟账户,根据模型节点的计费结果,将相应数量的代币转入到数据源方的虚拟账户。
作为优选,所述数据接收节点提取数据行的哈希值,作为数据哈希值,所述数据接收节点建立历史接收数据表,所述历史接收数据表记录历史接收数据行的数据哈希值,检查数据哈希值是否已被登记过,若未被登记过,则为数据行分配数据编号,若已被登记过,则丢弃数据行。
作为优选,所述数据接收节点获取批次数据的统计信息,所述统计信息包括完整度、数值型字段的边界值、数值型字段的平均值、数值型字段的方差和非数值型字段取值分散度,所述完整度为非空字段值占总字段数的百分比,所述非数值型字段取值分散度为非数值型字段取值数量的最小值与最大值的比值。
作为优选,所述数据接收节点公布字段标准名,数据源方制定数据的字段名和字段标准名的映射表,并提交给所述数据接收节点,所述探测模型设置有触发条件,所述触发条件包括触发字段表,所述触发字段表记录若干个字段标准名,若数据行的字段包含触发字段表中记载的字段,则触发所述探测模型运行,所述探测模型为数据需求方提供的价值指数对触发字段表中字段的统计信息的函数。
作为优选,所述数据处理模型为神经网络模型,所述探测模型为价值指数对所述神经网络模型在新数据上准确度的函数,所述神经网络模型在新数据上准确度越低,得出的值指数越高。
作为优选,数据行代入数据处理模型时,所述模型节点获取所述神经网络的损失函数值,根据损失函数值进行计费,损失函数值越大计费越高,数据需求方设置数据行的计费上限,超过所述计费上限的数据行代入数据处理模型后,不更新数据处理模型,且不计费。
作为优选,所述数据接收节点将数据行分为预设长度的若干个第一子数据,最后一个第一子数据长度不足则补零,第一子数据的数量与数据存储节点数量匹配,将若干个第一子数据分配给数据存储节点,所述数据存储节点开辟有若干个存储区,所述存储区包括若干个存储块,所述存储块大小与第一子数据匹配,所述数据存储节点将第一子数据存入所述存储块,将存储块编号关联数据的批次编号及数据编号,所述数据存储节点为每个存储区设置有交换序列表,所述交换序列表记录若干配对的交换序列对,检查第一子数据与上一个存储块的第一子数据是否存在对齐的交换序列,若存在,则交换对齐的交换序列的存储位置,所述模型节点复原数据时,将批次编号及数据编号发送给若干个数据存储节点,所述数据存储节点根据批次编号及数据编号找到对应的存储块,复制存储块的内容到一个副本中,检查存储块与下一个存储块是否存在对齐的交换序列,若存在则在副本中将对应的交换序列替换为与之配对的交换序列,而后以副本为准,检查与上一个存储块是否存在对齐的交换序列,若存在,则在副本中将对应的交换序列替换为与之配对的交换序列,将副本中的内容通过加密通信发送给所述模型节点。
作为优选,所述数据接收节点为数据行制作若干个副本,所述副本的数量与数据存储节点的数量匹配,为数据行的每个非数值型字段生成一个混淆值,所述混淆值落入字段真实值取值范围内,将数据行字段的真实值随机分配给若干个副本存储,副本中未被分配到真实值的字段填入混淆值,为数据行的每个数值型字段生成若干个加数和一个混淆值,加数的正负属性与真实值一致,所述加数的数量小于数据存储节点的数量减3,所述加数的数量为预设值,将数值型字段的真实值和若干个加数分别分配给若干个副本,未被分配到值的副本填入混淆值,将若干个副本作为第二子数据,分配给若干个数据存储节点存储,复原数据行时,读取全部副本,每个非数值型字段将有一个真实值和若干个混淆值,根据取值相同的数量可分辨出真实值,每个数值型字段将有一个真实值、若干个加数和至少2个混淆值,容易分辨混淆值,剩余值中绝对值最大的即为真实值,完成数据行的复原。
作为优选,所述模型节点执行数据处理模型时,判断是否存在对数值型字段进行加权求和的计算式,若存在,则将权系数发送给若干个存储节点,若干个存储节点恢复出存储的数据行,将存储的对应数值型字段的值与对应的权系数相乘后求和,将和加密发送给所述模型节点,所述模型节点接收到全部和后再次求和,获得汇总和,汇总和除以2,即为计算式的结果。
本发明的实质性效果是:1)通过使用数据处理模型实现了数据和使用者之间构建隔离的效果,使数据需求方在使用数据时,不需要直接获得或接触到数据,有效保护了数据的隐私;2)使用数据处理模型直接调用原始数据,不需要将数据模糊化,提高了数据处理模型输出的准确度;3)采用探测模型自动为数据需求方发现符合需求的数据,对于数据市场上存在的海量数据,能够提高数据需求方发现和获得数据的效率;4)通过将数据分散存储,仅在被调用时临时恢复数据,减少了数据的暴露时间,提高了数据的安全性。
附图说明
图1为实施例一数据共享平台结构示意图。
图2为实施例一数据接收节点接收数据过程示意图。
图3为实施例一数据存储节点存储数据示意图。
图4为实施例二数据存储节点存储数据示意图。
其中:10、数据源方,11、数据行,12、真实值,13、混淆值,14、副本,15、加数,20、数据接收节点,21、批次编号,22、数据编号,30、数据存储节点,31、存储区,32、交换序列表,33、存储块,40、探测节点,50、用户注册节点,60、模型节点,70、数据需求方,110、字段。
实施方式
下面通过具体实施例,并结合附图,对本发明的具体实施方式作进一步具体说明。
实施例
一种基于区块链的数据共享平台,请参阅附图1,包括:用户注册节点50,接受数据源方10和数据需求方70的账号注册的请求,为注册账号在区块链上开设虚拟账户;数据接收节点20,数据源方10将批次数据提交给数据接收节点20,数据接收节点20分配批次编号21,为批次编号21的数据行11分配数据编号22,接收数据源方10对数据行11的定价;若干个数据存储节点30,与数据接收节点20连接,将数据源方10提交的数据关联批次编号21及数据编号22存储;探测节点40,接收数据需求方70提交的探测模型,探测模型的输出为价值指数,当数据接收节点20接收到新的数据时,探测节点40运行探测模型,得出价值指数;模型节点60,接收数据需求方70提交的数据处理模型,当探测节点40得出的价值指数超过数据需求方70预设的阈值时,通过数据存储节点30复原相应批次的数据行11,并代入数据处理模型,并计费;计费节点,数据需求方70预先将若干个代币转入计费节点的虚拟账户,根据模型节点60的计费结果,将相应数量的代币转入到数据源方10的虚拟账户。
请参阅附图2,数据接收节点20接收数据行11时,执行以下步骤:
步骤A01)数据接收节点20提取数据行11的哈希值,作为数据哈希值;
步骤A02)数据接收节点20建立历史接收数据表,历史接收数据表记录历史接收数据行11的数据哈希值;
步骤A03)检查数据哈希值是否已被登记过,若未被登记过,则为数据行11分配数据编号22,若已被登记过,则丢弃数据行11。数据哈希值为进制数,数据登记节点将数据哈希值按前N位分组,每组包含的数据哈希值以链式存储方式存储,并按升/降序排列,数据登记节点检查数据哈希值是否已被登记过时,提取数据行11的数据哈希值,按照数据哈希值的前N位找到分组,查找数据哈希值在升/降序排列中的位置,若位置上有相同的数据哈希值,则判定数据行11已被登记,反之,则判定数据行11未被登记,同时将数据行11哈希值插入到分组的升/降序排列中。本实施例中N取值4,同时在每个分组中,再次根据数据哈希值的第5-8位二次分组,加快数据哈希值查重的效率。已登记的数据哈希值关联数据编号22。
数据接收节点20获取批次数据的统计信息,统计信息包括完整度、数值型字段110的边界值、数值型字段110的平均值、数值型字段110的方差和非数值型字段110取值分散度,完整度为非空字段110值占总字段110数的百分比,非数值型字段110取值分散度为非数值型字段110取值数量的最小值与最大值的比值。完整度高、数值分散的数据,是训练神经网络模型的优质数据。在购买数据前,数据需求方70是无法判断数据是否优质的。探测模型仅给出价值指数,并不会泄露数据隐私,也不会给数据需求方70带来实际价值。因而,在购买数据前进行探测模型的运行,不会导致数据的泄露,也不会导致数据源方10利益损失。相反,能够为数据源方10带来优质的客户,同时也消除了数据需求方70的顾虑。有助于促进数据交易市场繁荣。
数据接收节点20公布字段110标准名,数据源方10制定数据的字段110名和字段110标准名的映射表,并提交给数据接收节点20,探测模型设置有触发条件,触发条件包括触发字段110表,触发字段110表记录若干个字段110标准名,若数据行11的字段110包含触发字段110表中记载的字段110,则触发探测模型运行,探测模型为数据需求方70提供的价值指数对触发字段110表中字段110的统计信息的函数。为了方便数据需求方70自行制定数据处理模型,数据源方10需要公开若干条示例数据,并且需要公开每个字段110的取值范围。每个批次数据的来源情况、完整程度和真实程度,也都应当被说明,并由数据需求方70所得知,用以促成数据的交易。这些信息均由数据源方10撰写提供。数据需求方70可以首先制定验证模型提交给执行服务器执行,比如验证模型读取某个数值型字段110,输出该字段110的最大值、最小值和空值率,用以和数据源方10公开的介绍对比,判断数据源方10公开的数据取值范围是否真实,及声称的空值率是否满足。用以降低数据需求方70购买数据的风险。
数据处理模型为神经网络模型,探测模型为价值指数对神经网络模型在新数据上准确度的函数,神经网络模型在新数据上准确度越低,得出的值指数越高。
数据行11代入数据处理模型时,模型节点60获取神经网络的损失函数值,根据损失函数值进行计费,损失函数值越大计费越高,数据需求方70设置数据行11的计费上限,超过计费上限的数据行11代入数据处理模型后,不更新数据处理模型,且不计费。本实施例采用效果计费的方式,能够促进数据需求方70购买数据的积极性,有助于扩大数据交易市场。
数据接收节点20将数据行11分为预设长度的若干个第一子数据,最后一个第一子数据长度不足则补零,第一子数据的数量与数据存储节点30数量匹配,将若干个第一子数据分配给数据存储节点30,数据存储节点30开辟有若干个存储区31,存储区31包括若干个存储块33,存储块33大小与第一子数据匹配,数据存储节点30将第一子数据存入存储块33,将存储块33编号关联数据的批次编号21及数据编号22,数据存储节点30为每个存储区31设置有交换序列表32,交换序列表32记录若干配对的交换序列对,检查第一子数据与上一个存储块33的第一子数据是否存在对齐的交换序列,若存在,则交换对齐的交换序列的存储位置,模型节点60复原数据时,将批次编号21及数据编号22发送给若干个数据存储节点30,数据存储节点30根据批次编号21及数据编号22找到对应的存储块33,复制存储块33的内容到一个副本14中,检查存储块33与下一个存储块33是否存在对齐的交换序列,若存在则在副本14中将对应的交换序列替换为与之配对的交换序列,而后以副本14为准,检查与上一个存储块33是否存在对齐的交换序列,若存在,则在副本14中将对应的交换序列替换为与之配对的交换序列,将副本14中的内容通过加密通信发送给模型节点60。
如附图3所示,“010…10100”与“110…0110”构成一个交换对。调换后每条第一子数据的内容都将被破坏,及时获得解密秘钥也无法解密出正确的结果。使得真实数据得以隐藏。攻击者需要获得交换序列表32才能复原出数据。
本实施例的有益技术效果为:通过使用数据处理模型实现了数据和使用者之间构建隔离的效果,使数据需求方70在使用数据时,不需要直接获得或接触到数据,有效保护了数据的隐私。使用数据处理模型直接调用原始数据,不需要将数据模糊化,提高了数据处理模型输出的准确度。采用探测模型自动为数据需求方70发现符合需求的数据,对于数据市场上存在的海量数据,能够提高数据需求方70发现和获得数据的效率。通过将数据分散存储,仅在被调用时临时恢复数据,减少了数据的暴露时间,提高了数据的安全性。
实施例
一种基于区块链的数据共享平台,请参阅附图4,数据接收节点20为数据行11制作若干个副本14,副本14的数量与数据存储节点30的数量匹配,为数据行11的每个非数值型字段110生成一个混淆值13,混淆值13落入字段110真实值12取值范围内,将数据行11字段110的真实值12随机分配给若干个副本14存储,副本14中未被分配到真实值12的字段110填入混淆值13,为数据行11的每个数值型字段110生成若干个加数15和一个混淆值13,加数15的正负属性与真实值12一致,加数15的数量小于数据存储节点30的数量减3,加数15的数量为预设值,将数值型字段110的真实值12和若干个加数15分别分配给若干个副本14,未被分配到值的副本14填入混淆值13,将若干个副本14作为第二子数据,分配给若干个数据存储节点30存储,复原数据行11时,读取全部副本14,每个非数值型字段110将有一个真实值12和若干个混淆值13,根据取值相同的数量可分辨出真实值12,每个数值型字段110将有一个真实值12、若干个加数15和至少2个混淆值13,容易分辨混淆值13,剩余值中绝对值最大的即为真实值12,完成数据行11的复原。如真实数据包括:数据m,33,数据n:10,000.00,数据p:16。存储节点共有6个,为数据m生成混淆数为68,生成的加数15为:33=12+8+13,6个副本14分配到的数值分别为:33,12,8,13,68,68,分别分配给6个存储节点存储。通过两个相同的值68可以判断混淆值13为68,剩下的数能够组成一个等式,可得真实值12为33,其余为加数15。
模型节点60执行数据处理模型时,判断是否存在对数值型字段110进行加权求和的计算式,若存在,则将权系数发送给若干个存储节点,若干个存储节点恢复出存储的数据行11,将存储的对应数值型字段110的值与对应的权系数相乘后求和,将和加密发送给模型节点60,模型节点60接收到全部和后再次求和,获得汇总和,汇总和除以2,即为计算式的结果。
如在一个神经网络模型中,输入层有三个神经元,分别对应数据m、数据n和数据p,第一层神经元有两个,其中一个连接输入层的三个神经元,激发函数为sigmod函数,权系数以a11、a12和a13表示,偏移量以b1表示,则其输出等于sigmod(x),其中第一层神经元为全连接,则x= a11*m+ a12*n + a13*p+b1。
为数据n生成混淆数为68,生成的加数15为:10,000.00=3,000.00+1,000.00+6,000.00,6个副本14分配到的数值分别为:10,000.00, 3,000.00, 1,000.00, 6,000.00,68.00,68.00。为数据p生成混淆数为68,生成的加数15为:16=3+17+6,6个副本14分配到的数值分别为:16, 3, 7, 6, 68,68。
打乱顺序分配给6个存节点后,假设第一个存储节点存储的数据为:33, 6,000.00,68,则第一个存储节点计算的和为:a11*33+ a12*6,000.00+ a13*68,以此类推,全部6个存储节点发送的和,再求和,所得结果为:
汇总和=a11*(33+12+8+13+68+68)+ a12*(10,000.00+ 3,000.00+ 1,000.00+6,000.00+ 68.00+68.00)+ a13*(16+ 3+ 7+ 6+ 68+68)。计算出混淆数68后,计算混淆和=2*(a11*68+ a12*68+ a13*68),将汇总和减去混淆和,所得结果即为真实值12被两次加权求和的结果,因而再除以2即可,加上偏移值b1,即获得x的值,代入sigmod(x)函数即得到神经元的输出。其中神经元的输出计算过程中,涉及到求x的值,x的值即为数值型字段110的加权求和。在计算过程中,原始的真实值12混杂在多个混淆值13和加数15中,从而得以隐藏,难以被准确发现,提高了数据的隐私性和安全性。
本实施例能够和实施例一同时实施,将副本14视为第二子数据即可。相对于实施例一,本实施例能够在数据处理模型的部分计算中,不复原出原始的数据行11,使数据行11的安全性进一步得到提升。由于加权求和常常存在于神经网络模型中,因而本实施例具有广泛的应用前景。
以上所述的实施例只是本发明的一种较佳的方案,并非对本发明作任何形式上的限制,在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (6)
1.一种基于区块链的数据共享平台,其特征在于,包括:
用户注册节点,接受数据源方和数据需求方的账号注册的请求,为注册账号在区块链上开设虚拟账户;
数据接收节点,数据源方将批次数据提交给数据接收节点,数据接收节点分配批次编号,为批次编号的数据行分配数据编号,接收数据源方对数据行的定价;
若干个数据存储节点,与数据接收节点连接,将数据源方提交的数据关联批次编号及数据编号存储;
探测节点,接收数据需求方提交的探测模型,所述探测模型的输出为价值指数,当数据接收节点接收到新的数据时,所述探测节点运行探测模型,得出价值指数;
模型节点,接收数据需求方提交的数据处理模型,当探测节点得出的价值指数超过数据需求方预设的阈值时,通过数据存储节点复原相应批次的数据行,并代入数据处理模型,并计费;
计费节点,数据需求方预先将若干个代币转入计费节点的虚拟账户,根据模型节点的计费结果,将相应数量的代币转入到数据源方的虚拟账户;
所述数据处理模型为神经网络模型,所述探测模型为价值指数对所述神经网络模型在新数据上准确度的函数,所述神经网络模型在新数据上准确度越低,得出的价值指数越高;
所述数据共享平台还包括:
所述数据接收节点将数据行分为预设长度的若干个第一子数据,最后一个第一子数据长度不足则补零,第一子数据的数量与数据存储节点数量匹配,将若干个第一子数据分配给数据存储节点,所述数据存储节点开辟有若干个存储区,所述存储区包括若干个存储块,所述存储块大小与第一子数据匹配,所述数据存储节点将第一子数据存入所述存储块,将存储块编号关联数据的批次编号及数据编号,所述数据存储节点为每个存储区设置有交换序列表,所述交换序列表记录若干配对的交换序列对,检查第一子数据与上一个存储块的第一子数据是否存在对齐的交换序列,若存在,则交换对齐的交换序列的存储位置,所述模型节点复原数据时,将批次编号及数据编号发送给若干个数据存储节点,所述数据存储节点根据批次编号及数据编号找到对应的存储块,复制存储块的内容到一个副本中,检查存储块与下一个存储块是否存在对齐的交换序列,若存在则在副本中将对应的交换序列替换为与之配对的交换序列,而后以副本为准,检查与上一个存储块是否存在对齐的交换序列,若存在,则在副本中将对应的交换序列替换为与之配对的交换序列,将副本中的内容通过加密通信发送给所述模型节点;
所述数据共享平台还包括:
所述数据接收节点为数据行制作若干个副本,所述副本的数量与数据存储节点的数量匹配,为数据行的每个非数值型字段生成一个混淆值,所述混淆值落入字段真实值取值范围内,将数据行字段的真实值随机分配给若干个副本存储,副本中未被分配到真实值的字段填入混淆值,为数据行的每个数值型字段生成若干个加数和一个混淆值,加数的正负属性与真实值一致,所述加数的数量小于数据存储节点的数量减3,所述加数的数量为预设值,将数值型字段的真实值和若干个加数分别分配给若干个副本,未被分配到值的副本填入混淆值,将若干个副本作为第二子数据,分配给若干个数据存储节点存储,复原数据行时,读取全部副本,每个非数值型字段将有一个真实值和若干个混淆值,根据取值相同的数量可分辨出真实值,每个数值型字段将有一个真实值、若干个加数和至少2个混淆值,容易分辨混淆值,剩余值中绝对值最大的即为真实值,完成数据行的复原。
2.根据权利要求1所述的一种基于区块链的数据共享平台,其特征在于,
所述数据接收节点提取数据行的哈希值,作为数据哈希值,所述数据接收节点建立历史接收数据表,所述历史接收数据表记录历史接收数据行的数据哈希值,检查数据哈希值是否已被登记过,若未被登记过,则为数据行分配数据编号,若已被登记过,则丢弃数据行。
3.根据权利要求1或2所述的一种基于区块链的数据共享平台,其特征在于,
所述数据接收节点获取批次数据的统计信息,所述统计信息包括完整度、数值型字段的边界值、数值型字段的平均值、数值型字段的方差和非数值型字段取值分散度,所述完整度为非空字段值占总字段数的百分比,所述非数值型字段取值分散度为非数值型字段取值数量的最小值与最大值的比值。
4.根据权利要求3所述的一种基于区块链的数据共享平台,其特征在于,
所述数据接收节点公布字段标准名,数据源方制定数据的字段名和字段标准名的映射表,并提交给所述数据接收节点,所述探测模型设置有触发条件,所述触发条件包括触发字段表,所述触发字段表记录若干个字段标准名,若数据行的字段包含触发字段表中记载的字段,则触发所述探测模型运行。
5.根据权利要求4所述的一种基于区块链的数据共享平台,其特征在于,
数据行代入数据处理模型时,所述模型节点获取所述神经网络的损失函数值,根据损失函数值进行计费,损失函数值越大计费越高,数据需求方设置数据行的计费上限,超过所述计费上限的数据行代入数据处理模型后,不更新数据处理模型,且不计费。
6.根据权利要求1所述的一种基于区块链的数据共享平台,其特征在于,
所述模型节点执行数据处理模型时,判断是否存在对数值型字段进行加权求和的计算式,若存在,则将权系数发送给若干个存储节点,若干个存储节点恢复出存储的数据行,将存储的对应数值型字段的值与对应的权系数相乘后求和,将和加密发送给所述模型节点,所述模型节点接收到全部和后再次求和,获得汇总和,汇总和除以2,即为计算式的结果,得到真实值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110878287.8A CN113536357B (zh) | 2021-08-02 | 2021-08-02 | 一种基于区块链的数据共享平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110878287.8A CN113536357B (zh) | 2021-08-02 | 2021-08-02 | 一种基于区块链的数据共享平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113536357A CN113536357A (zh) | 2021-10-22 |
CN113536357B true CN113536357B (zh) | 2023-11-24 |
Family
ID=78121752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110878287.8A Active CN113536357B (zh) | 2021-08-02 | 2021-08-02 | 一种基于区块链的数据共享平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113536357B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114638604A (zh) * | 2022-03-22 | 2022-06-17 | 成都质数斯达克科技有限公司 | 基于区块链的金融业务计费、收费方法及装置 |
CN117034329B (zh) * | 2023-10-10 | 2023-12-26 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | 一种基于云计算的数据加密方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107947940A (zh) * | 2017-11-29 | 2018-04-20 | 树根互联技术有限公司 | 一种数据交换的方法及装置 |
CN109729168A (zh) * | 2018-12-31 | 2019-05-07 | 浙江成功软件开发有限公司 | 一种基于区块链的数据共享交换系统及方法 |
CN112149162A (zh) * | 2020-09-03 | 2020-12-29 | 长江水利委员会长江科学院 | 基于区块链的流域水文和水环境数据安全共享交易系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10944548B2 (en) * | 2018-06-07 | 2021-03-09 | Coinfirm Blockchain Lab Sp. Z O.O. | Method for registration of data in a blockchain database and a method for verifying data |
MY192336A (en) * | 2019-07-23 | 2022-08-17 | Advanced New Technologies Co Ltd | Managing transactions on blockchain networks |
-
2021
- 2021-08-02 CN CN202110878287.8A patent/CN113536357B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107947940A (zh) * | 2017-11-29 | 2018-04-20 | 树根互联技术有限公司 | 一种数据交换的方法及装置 |
CN109729168A (zh) * | 2018-12-31 | 2019-05-07 | 浙江成功软件开发有限公司 | 一种基于区块链的数据共享交换系统及方法 |
CN112149162A (zh) * | 2020-09-03 | 2020-12-29 | 长江水利委员会长江科学院 | 基于区块链的流域水文和水环境数据安全共享交易系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113536357A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113536357B (zh) | 一种基于区块链的数据共享平台 | |
KR102062896B1 (ko) | 네트워크 내의 분산 데이터베이스를 위한 방법 및 장치 | |
CN110599147A (zh) | 一种基于区块链的密文检索公平支付方法及系统 | |
CN111652732B (zh) | 一种基于交易图匹配的比特币异常交易实体识别方法 | |
CN108923932A (zh) | 一种去中心化协同验证模型及验证算法 | |
CN111209585B (zh) | 一种基于电力交易的数据处理方法及系统 | |
CN113343284B (zh) | 一种基于区块链的隐私数据共享方法 | |
CN113538149B (zh) | 一种基于区块链的多源数据融合平台 | |
Li et al. | A blockchain-based credible and secure education experience data management scheme supporting for searchable encryption | |
CN114884697A (zh) | 基于国密算法的数据加解密方法及相关设备 | |
CN110532734A (zh) | 一种基于安全多方计算的隐私时间戳的数字版权方法及系统 | |
CN113779624A (zh) | 一种基于智能合约的隐私数据分享方法 | |
CN116821952A (zh) | 基于区块链共识机制的隐私数据计算可追溯系统及方法 | |
CN113536352A (zh) | 一种基于区块链的隐私数据调用方法 | |
WO2020233038A1 (zh) | 基于同态加密的黑名单云共享验证的方法和相关装置 | |
Lashkami et al. | A blockchain based framework for complete secure data outsourcing with malicious behavior prevention | |
CN116842557A (zh) | 一种基于隐私求交和区块链的图像监管平台及方法 | |
CN113779622B (zh) | 一种适用于多应用场景的安全数据融合系统 | |
CN112330440B (zh) | 一种基于区块链去中心化的信用体系构建方法 | |
CN114760067A (zh) | 一种用零知识证明的区块链群智感知系统隐私安全保护方法 | |
CN113538152B (zh) | 一种保护数据隐私的数据交易平台 | |
CN112861181A (zh) | 一种基于区块链的群智化软件开发安全机制的方法 | |
CN115525919A (zh) | 隐私计算中计算资源的确定方法、装置及系统 | |
CN111831741A (zh) | 一种区块链上数字资产证明方法 | |
Maxemchuk et al. | The use of communications networks to increase personal privacy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |