CN107659429A - 基于区块链的数据共享方法 - Google Patents

Abstract

本发明公布了一种基于区块链的数据共享方法。本方法借助区块链技术建立一种全新的数据管理模式，其核心思想是原始数据不脱离数据提供方的控制范围，数据分析由数据提供方完成，只发送分析结果数据。1)为有效发现数据，讨论了数据提供方索引建立机制，包括元数据提取机制及域索引建立机制；2)分析了基于区块链的数据交易，包括交易记录格式及共识机制，实现数据的透明交易及防共谋欺骗等；3)根据数据需求方的计算需求，通过智能合约的方式在各数据提供方间实现隐私保护的安全计算。实验分析结果表明，本方法提出共享机制是可行的、安全的。

Description

基于区块链的数据共享方法

所属技术领域

本发明涉及区块链数据共享技术领域，尤其是涉及一种基于区块链的数据共享方法研究。

背景技术

数据共享是数据资产挖掘其潜在价值的先决条件。传统数据管理方式，如数据市场，遵循如下的管理模式：数据提供方将数据上传至数据市场，数据需求方下载数据并分析以获取数据价值。该模式存在如下显著的缺点：首先，数据搜索方式单一，仅提供关键字检索或数据浏览，无法高效获取有用数据；其次，数据所有者失去数据的控制权，数据所有权及数据安全性无法保障；最后，数据交易缺乏透明性，无法有效检测交易参与方串谋等舞弊行为。

本方法借助区块链技术建立一种全新的数据管理模式，其核心思想是原始数据不脱离数据提供方的控制范围，数据分析由数据提供方完成，只发送分析结果数据。为此，本方法讨论了以下几方面的问题：1)为有效发现数据，讨论了数据提供方索引建立机制，包括元数据提取机制及域索引建立机制；2)分析了基于区块链的数据交易，包括交易记录格式及共识机制，实现数据的透明交易及防共谋欺骗等；3)根据数据需求方的计算需求，通过智能合约的方式在各数据提供方间实现隐私保护的安全计算。实验分析结果表明，本方法提出共享机制是可行的、安全的。

发明内容

本发明旨在提出一种基于区块链的数据共享方法研究。

本发明解决其技术难题所采用的技术方案如下：

1.接口层

接口层主要完成两方面的功能：(1)根据数据需求，通过索引层，获取计算数据集；(2)根据计算数据集特性及数据需求编写智能合约。

●采用了域相似度搜索技术查询词与索引的重合度来获取计算数据集，设 Q为查询域，I为索引域，则域相似度可表示为：

●借助以太坊(ethereum)建立全新区块链网络，以太坊的智能合约使其在功能上类似计算方法。并通过发送数字签名及对应的公钥来验证合约账号的合法性。

2.索引层

●元数据提取：本方法基于杰卡德(Jaccard)相似度判断是否为同一数据集，其计算公式为：设X,Y分别为数据集x,y的元数据项，则杰卡德相似度：

●索引文件组织：本方法提出了一种去中心化的索引文件存储结构，即将索引文件存储在网络中的各个节点中，避免单点故障及过载等中心化索引所带来的问题。

3.交易层

交易指数据的处理逻辑，本方法的共识机制采用改进的授权拜占庭容错算法(dBFT)。设网络中节点数为N，并对每个参与的节点从0～N-1依次编号，并按可信度trust降序排列，取其n个节点作为共识节点；当前共识区块的高度为h；交易数为v；令节点p＝(h-v)modn，信誉度trust的计算依据交易双方的正面评价数与负面评价数，分别用p,f来表示。则节点n在第i次交易中的信誉度可表示为：

4.数据层

●数据连接：是指将不同数据集中具有相同关键字的记录合并在一起的过程。设π_S为伪随机置换簇，其中密钥s唯一确定某一特定置换，且在参与多方计算的各方之间秘密共享。算法如下所示：

输入：秘密共享的数据表Ti，k_i代表表中的主键列

输出：各输入表的秘密共享的等值连接表T^*

1.各计算方茫然的打乱各自的数据库表Ti，并用Ti^*表示扰乱后的数据表，为扰乱后的主键列。

2.利用各方之间秘密共享的密钥s选择随机置换函数π_s

3.各方依次利用置换函数π_s评估查询主键列并将值依次传递给后续计算方。各计算方依次与上一计算方发过来的结果连接，最后生成结果表T^*

●排序：其实质是茫然排序，设n个计算方共享秘密向量x₁,x₂,...,x_n，不失一般性，分别用表示秘密共享向量，则共享向量表示为排序的目的是按照特定的比较原则，确定向量的顺序。

附图说明

图1查询精度

图2召回率

图3一天中internet访问量统计

图4数据计算耗时对比

具体实施方式

为评估系统性能，搭建了原型系统。本实验展示系统核心模块的的性能，主要包括：索引性能，交易区块链网络性能及安全计算性能。

1)实验环境描述

实验在5台ubuntu云服务器上进行，各服务器的配置如下：处理器采用Intel (R)Xeon(R)2.0G，双CPU；内存为2GB；操作采用Ubuntu 14.04.5LTS server，内核版本号为4.4.0-31-generic。5台服务器分别命名node1，node2，…,node5，其中node4，node5保存有原始数据集，既是数据提供方，又是安全计算的参与方。 node1～3中的任意一个节点都可作为数据需求方。所有节点都是区块共识的候选节点。

软件实现方面依赖开源软件架构，其中索引部分依据minHash LSH Ensemble 构建；区块链采用ethereum技术，并修改了块结构以及共识机制；多方计算方面借鉴obliv-c技术及编程语言。

2)实验样本描述

本方法采用python生成两个主要的测试数据集(教育数据集和税收数据集) 及一些干扰数据集(为衡量索引及检索性能)。教育数据集的属性包括：个人ID、课程ID、性别、出生年月、学历层次(学士、硕士、博士、高等职业教育)、课程规定时长、就读学校，入学日期、学习状态(进行中、退学、毕业)、毕业日期/退学日期。税收数据集的属性包括个人ID、年、月、缴纳的社会保险费用、股息收入、雇主是否来自ICT(或ITL)。

3)索引性能

查全率(也称为召回率，recall)、查准率(也称为精度，precision)是搜索引擎的两个重要指标(另外一个重要指标，F值依赖于查全率和查准率)，也是衡量本系统的重要指标。本方法根据不同的相似度阀值t与LSH ensenmble算法就查准率及召回率进行了比较其结果如图1、图2所示所示。

从图1及图2可以看出，因本文的算法在索引中加入了前缀信息，其精度及召回率都有一定程度的提高。

4)区块链网络性能

出块速度是大多数区块链网络的硬性限制，如比特币的出块速度大约为每 10分钟一块。在块大小(如比特币网络是1MB)一定的情况下，出块速度决定了单位时间内能够处理的交易数，可见，出块速度是影响系统的实时性及网络增长率的重要因素。在dBFT共识算法中，时间间隔，上限区块数以及网络节点数都与区块的大小相关。

由于在不同时段的交易次数存在随机性，我们借用internet访问概率来模拟系统的交易量，如图3是根据某互联网根据访问时段获得的统计图。从图3可以看出，单纯以交易时间间隔作为共识时常存在不合理因素。因此在共识算法中我们附加了交易区块数的限制，以提高高峰期交易频率。

5)安全计算性能

为保证数据的安全，用子查询替换效率较高的连接查询方式，采用了特定的技术补救。对其性能通过实验进行了验证，如图4所示。

从图中可以看出，为提高数据的安全性，本方法提供的算法一定程度增加了运行时间。

Claims (1)

1.一种基于区块链的数据共享方法，其特征在于该方法的步骤如下：

1)接口层

接口层主要完成两方面的功能：(1)根据数据需求，通过索引层，获取计算数据集；(2)根据计算数据集特性及数据需求编写智能合约；

●采用了域相似度搜索技术查询词与索引的重合度来获取计算数据集，设Q为查询域，I为索引域，则域相似度可表示为：

<mrow> <mi>t</mi> <mrow> <mo>(</mo> <mi>Q</mi> <mo>,</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mi>Q</mi> <mo>&amp;cap;</mo> <mi>I</mi> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <mi>Q</mi> <mo>|</mo> </mrow> </mfrac> </mrow>

●借助以太坊(ethereum)建立全新区块链网络，以太坊的智能合约使其在功能上类似计算方法。并通过发送数字签名及对应的公钥来验证合约账号的合法性；

2)索引层

●元数据提取：本方法基于杰卡德(Jaccard)相似度判断是否为同一数据集，其计算公式为：设X,Y分别为数据集x,y的元数据项，则杰卡德相似度：

<mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mi>X</mi> <mo>&amp;cap;</mo> <mi>Y</mi> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <mi>X</mi> <mo>&amp;cup;</mo> <mi>Y</mi> <mo>|</mo> </mrow> </mfrac> </mrow>

●索引文件组织：本方法提出了一种去中心化的索引文件存储结构，即将索引文件存储在网络中的各个节点中，避免单点故障及过载等中心化索引所带来的问题；

3)交易层

交易指数据的处理逻辑，本方法的共识机制采用改进的授权拜占庭容错算法(dBFT)。设网络中节点数为N，并对每个参与的节点从0～N-1依次编号，并按可信度trust降序排列，取其n个节点作为共识节点；当前共识区块的高度为h；交易数为v；令节点p＝(h-v)modn，信誉度trust的计算依据交易双方的正面评价数与负面评价数，分别用p,f来表示。则节点n在第i次交易中的信誉度可表示为：

<mrow> <msubsup> <mi>trust</mi> <mi>n</mi> <mi>i</mi> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>a</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>-</mo> <mi>f</mi> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mfrac> </mrow>

4)数据层

●数据连接：是指将不同数据集中具有相同关键字的记录合并在一起的过程。设π_S为伪随机置换簇，其中密钥s唯一确定某一特定置换，且在参与多方计算的各方之间秘密共享。算法如下所示：

输入：秘密共享的数据表Ti，k_i代表表中的主键列；

输出：各输入表的秘密共享的等值连接表T*；

1.各计算方茫然的打乱各自的数据库表Ti，并用Ti*表示扰乱后的数据表，为扰乱后的主键列；

2.利用各方之间秘密共享的密钥s选择随机置换函数π_s

3.各方依次利用置换函数π_s评估查询主键列并将值依次传递给后续计算方。各计算方依次与上一计算方发过来的结果连接，最后生成结果表T*；

●排序：其实质是茫然排序，设n个计算方共享秘密向量x₁,x₂,...,x_n，不失一般性，分别用表示秘密共享向量，则共享向量表示为排序的目的是按照特定的比较原则，确定向量的顺序。