CN109739827A - 一种基于双链架构的区块链存储系统 - Google Patents

Abstract

一种基于双链架构的区块链存储系统，其特征在于，包括：业务链与数据链的双链结构，业务链为区块链结构，用于用户之间的交易交互和存储交易索引数据，数据链为分布式结构，用于存储文件和数据，包含分布式管理节点和多个分布式存储节点；业务链中的用户通过交易生成的文件通过分布式管理节点根据交易索引数据提交到数据链中的相应的分布式存储节点进行存储；数据链中的文件数据发生变化以交易索引数据反馈到业务链中；交易索引数据为分布式管理节点依据函数进行计算得出的数据，至少包括：文件的版本号、文件的唯一标识、文件在数据链中分布式存储节点的存储位置。本发明解决了区块链共识机制下数据海量存储的问题。

Description

一种基于双链架构的区块链存储系统

技术领域

本发明专利涉及数据存储领域，尤其涉及基于通过区块链建立的业务链中的大文件和数据在分布式存储模式下数据存储的领域。

背景技术

区块链的发展带给了当今数字经济时代一个新的变革，它让不同的机构、不同的人、不同的身份得以在区块链中相互信任，从根本上解决价值交易中的欺诈问题。区块链的系统可以分为这样几层：数据层、网络层、共识层、激励层、合约层和应用层。区块链的底层通过数据区块和加密算法等，形成了区块链底层的数据存储机制。由于区块链的数据共识特性和机制，在区块链中很难去存储较大的资源和数据文件，随着资源数据的增加，会增加存储的成本。

发明内容

为解决区块链共识机制下可以海量存储的问题，本发明提供一种基于双链架构的区块链存储系统，包括：业务链与数据链的双链结构。

所述业务链为区块链结构，通常为传统的区块链结构，用于用户之间的交易交互和存储交易索引数据，通常包括不少于3个创世节点和记账节点以及不少于一个待加入节点；创世节点作为我们初始自己运营平台维护的节点，最初发布Token和智能合约的服务器(物理服务器)；待加入节点为可以把这个业务链(区块链)开放给其他的人加入运算的节点，在业务链上面一同共识和计算。

所述数据链为分布式结构，用于存储文件和数据，包含分布式管理节点和不少于2个分布式存储节点，所述分布式管理节点用于管理，调用存储数据，使得所述分布式存储节点共识同步数据；

如图2所示，所述分布式管理节点用于管理文件和数据，具体方式为：所述业务链中的用户通过交易生成的文件通过所述分布式管理节点根据交易索引数据提交到所述数据链中的相应的分布式存储节点进行存储；

所述交易索引数据为打包所述分布式管理节点依据函数进行计算得出的数据，至少包括：文件的版本号、文件的唯一标识、文件在所述数据链中分布式存储节点的存储位置；

所述数据链中的文件发生变化以交易索引数据反馈到所述业务链中，所述分布式管理节点用于管理文件和数据。

在上述系统中，采用双链的结构，业务链采用区块链，可以通过区块链固有的共识机制达到数据的共识，数据链采用分布式的结构，由于存在可扩展的分布式存储节点，所以业务链上因共识产生的大量文件就有了海量的存储空间；双链之间通过分布式管理节点进行对接；因数据存储在不同的分布式存储节点，若没有科学的方法，无法准确的将文件进行定位存储和定位读取，故本发明中，分布式管理节点会根据交易索引数据为文件建立和定位存储位置；当数据链中数据变化时，业务链也需要知晓，在本发明中，通过交易索引数据反馈给业务链，实现业务链与数据链双链之间形成为互通机制。

优选地，所述交易索引数据包括文件的版本号和文件的哈希值(hash)，由所述分布式管理节点进行计算，分布式管理节点也可以通过文件的哈希值(hash)计算出文件的唯一标识和文件的存储地址。

进一步地，为了能解决数据在存储时能够明确其存储的位置，明确文件名称，与文件版本，所述业务链中用户产生文件需要存储时，所述分布式管理节点会根据函数进行计算，会先建立文件的版本号、定义文件的唯一标识、文件所在的数据链上的分布式存储节点位置；所述分布式管理节点根据计算出来文件所在的数据链上的分布式存储节点位置，将文件提交到相应位置进行存储，并且共识存储结果。

因为数据没有存储在业务链上，业务链可能会不知道数据在哪里，本发明中系统打包所述分布式管理节点根据函数进行计算数据形成交易索引数据，所述业务链将所述交易索引数据提交到区块链新的区块当中，数据共识以后存储在所述业务链上，从而解决业务链对数据状态也能掌控的问题。

优选地，存储机制采用HDFS文件的读取方式，具体为：

1)使用客户端打开分布式文件系统，获取文件系统实例；

2)通过文件系统创建一个新的文件地址；

3)通过权限校验和存储地址校验；

4)获取文件输出流，把文件数据切成一个一个的包(packet)，并且排成队列；

5)通过管理节点获取新的区块地址，然后把数据通过度列传入到存储节点上；

6)完成以后关闭流，

7)标识存储节点的数据块为已经存储。

数据的存储是为了能够对数据进行读取，在分布式存储的模式下，如何准确定位到想要读取的数据？进一步地，本发明所述的系统中，数据文件读取的方式为：数据链中存储的文件需要读取时，所述分布式管理节点根据交易数据索引中文件在所述数据链中分布式存储节点的存储位置，定位到存储文件的分布式存储节点，读取存储文件。

优选地，读取机制采用HDFS文件的写入方式，具体为：

1)使用客户端打开分布式文件系统，获取文件系统实例；

2)通过分布式文件系统的计算从管理节点获取存储节点的地址位置；

3)通过文件流打开数据块节点的流；

4)获取完第一个节点以后再接着读取下一个节点的流；

5)读取完文件以后关闭流。

进一步地，当对已经存储的文件进行变动时，比如需要修订和删除文件，该如何形成变动文件与原文件的关系，以及分布式节点中数据共识的问题，在本发明所述的系统中，提供如下方式：

1)所述分布式管理节点根据交易数据索引中文件在所述数据链中分布式存储节点的存储位置，定位到存储文件的分布式存储节点，读取存储文件，再对文件进行变动(修改或删除)，

2)所述分布式管理节点会建立变动文件的版本号，定义变动文件的唯一标识，变动文件所在的数据链上的分布式存储节点位置，变动数据上的文件，共识存储结果，打包所述分布式管理节点根据函数进行计算的新数据形成新交易索引数据

3)所述业务链将所述新交易索引数据提交到区块链新的区块当中，数据共识以后存储在所述业务链上。

通过变动文件的版本号与原文件的版本号可以得知文件具体变动的次数，根据位置信息可以定位具体的变动文件。

通过存储、读取、变动的机制，所有的数据的交易索引数据形成了全局性的数据索引，通过分布式管理节点可以定位到任何数据文件。

优选地，所述业务链上的用户访问业务链需要授权凭证。这里需要使用公证人机制，它的简单说明如下：中心化或多重签名的见证人模式，见证人是链A的合法用户，负责监听链B的事件和状态，进而操作链A。本质特点是完全不用关注所跨链的结构和共识特性等。假设A和B是不能进行互相信任的，那就引入A和B都能够共同信任的第三方充当公证人作为中介。这样的话，A和B就间接可以互相信任。具有代表性的方案是Interledger，它本身不是一个账本，不寻求任何的共识。相反它提供了一个顶层加密托管系统称之为“连接者”，在这个中介机构的帮助下，让资金在各账本间流动。

优选地，所述业务链上的用户在搭建自己在所述业务链上的节点时，默认只同步业务链上的所有数据。

优选地，所述业务链上的用户访问所述数据链上存储的数据时，不同的用户具有不同的读写权限。

优选地，所述数据链用户有权选择自行同步分布式存储节点的存储的数据，或加入分布式存储节点。

附图说明

图1为本发明系统的双链架构拓扑图

图2为本发明系统索引文件存储形态图

图3为实施例系统结构示意图

图4为实施例中移动端产品界面设计截图

具体实施方式

为更容易理解本发明的优点、特征以及达到技术效果的技术方法将参照例示性实施例进行更详细地描述，且本发明可以不同形式来实现，故不应被理解为本发明仅限于此处所陈述的实施例，相反地，对本领域的技术人员，所提供的实施例将更加透彻与全面且完整地传达本发明的范畴，且本发明将以申请专利文件的权利要求确定保护范围。

以下结合图2对本申请进行进一步的说明。

在下列系统中包括：

几个创世节点(Blocknode)：作为我们初始自己运营平台维护的节点，最初发布Token和智能合约的服务器(物理服务器)。

其余节点：可以把这个区块链开放给其他的人加入运算节点，在链上面一同共识和计算。

WebGameServer:我们作为一段服务器程序，部署在各个创世节点上面，通过WebJS3和创世节点进行交互，从而实现DAPP的业务服务和BlockNode上的智能合约进行交互和处理。

DApp服务器:放置我们的前端APP，可以通过智能调度，为用户提供最适合的节点进行服务链接。

文件在该系统中的存储具体的流程为：

1.手机提交一张图片到DApp。

2.DApp服务器将这一次提交给WebgameServer。

3.WebgameServer将队列中读取图片信息向业务链发起请求。

4.业务链收到请求，通过账号的授权凭证向分布式文件管理发起这次请求。

5.分布式文件管理计算文件存储的hash(包含了存储位置数据)，将信息和存储授权反馈给业务链。

6.业务链共识这次请求，然后反馈给DAPP授权和存储信息。

7.DAPP通过授权和存储信息向数据链发起存储。

8.存储完成以后，存储链反馈分布式文件管理。

9.分布式文件管理存储索引结果，并且提交存储操作的交易信息到业务链。

10.业务链共识这次存储操作结果。

11.完成一整套操作。

文件在该系统中的修改具体的流程为：

12.手机提交读取一张图片的信息。

13.DApp服务器将这一次请求提交缓存到队列当中。

14.WebgameServer定时将队列中读取图片信息向业务链发起请求。

15.业务链收到请求，通过账号的授权凭证向分布式文件管理发起这次请求。

16.分布式文件管理根据图片的hash(包含了存储位置数据)，定位到图片存储的位置。

17.分布式文件管理返还给用户修改授权信息(签名授权证明这一次交易操作的有效性)

18.手机修改图片，发出存储请求。

19.DApp服务器将这一次存储请求提交缓存到队列当中。

20.WebgameServer时将队列定时将队列中读取图片信息向业务链发起请求。

21.业务链收到请求，通过账号的授权凭证向分布式文件管理发起这次请求。

22.业务链共识这次请求，然后反馈给DAPP授权和存储信息。

23.DAPP通过授权和存储信息向数据链发起存储。

24.存储完成以后，存储链反馈分布式文件管理。

25.分布式文件管理存储索引结果，并且提交存储操作的交易信息到业务链。

26.业务链共识这次存储操作结果。

27.完成一整套修订图片操作。

在实际的应用业务当中，我们开发了一个移动区块链产品YOTOKEN，一种移动端APP。YOToken为第一视频研究院自主研发的区块链产品，旨在用去中心化和安全通讯的理念打通各类数字货币玩家的连接，知识共享，理念共享，操作共享，价值共享。YOToken的用户可以一键发行自己的代币，作为自己代币的主人，用户享有经营权和使用权，所有的用户行为都会和自己代币的产生关联，有成功打造下一个超级代币的机会。在每一个Token当中，用户还可以为自己的Token设计图标，针对图片文件的存储，我们就使用了双链的海量存储方案。附图4为移动端产品界面设计截图。

Claims (8)

1.一种基于双链架构的区块链存储系统，其特征在于，包括：

业务链与数据链的双链结构，

所述业务链为区块链结构，用于用户之间的交易交互和存储交易索引数据，包括不少于3个创世节点和记账节点以及不少于一个待加入节点；

所述数据链为分布式结构，用于存储文件和数据，包含分布式管理节点和不少于2个分布式存储节点，所述分布式管理节点用于管理文件和数据，使得所述分布式存储节点共识同步数据；

所述业务链中的用户通过交易生成的文件通过所述分布式管理节点根据交易索引数据提交到所述数据链中的相应的分布式存储节点进行存储；所述数据链中的文件数据发生变化以交易索引数据反馈到所述业务链中；

所述交易索引数据为所述分布式管理节点依据函数进行计算得出的数据，至少包括：文件的版本号、文件的唯一标识、文件在所述数据链中分布式存储节点的存储位置。

2.根据权利要求1所述的基于双链架构的区块链存储系统，其特征在于：需要存储所述业务链中用户产生文件时，所述分布式管理节点根据函数进行计算，会先建立文件的版本号、定义文件的唯一标识、文件所在的数据链上的分布式存储节点位置；

然后，所述分布式管理节点根据计算出来文件所在的数据链上的分布式存储节点位置，将文件提交到相应位置进行存储，并且共识存储结果，打包所述分布式管理节点根据函数进行计算数据形成所述交易索引数据，提交到所述业务链上；

所述业务链将所述交易索引数据提交到区块链新的区块当中，数据共识以后存储在所述业务链上。

3.根据权利要求1所述的基于双链架构的区块链存储系统，其特征在于，需要读取所述数据链中存储的文件数据时，所述分布式管理节点根据交易索引数据中文件在所述数据链中分布式存储节点的存储位置，定位到存储文件数据的分布式存储节点，读取存储文件数据。

4.根据权利要求1所述的基于双链架构的区块链存储系统，其特征在于，所述数据链中存储的文件数据需要变动时。

首先，所述分布式管理节点根据交易索引数据中文件在所述数据链中分布式存储节点的存储位置，定位到存储文件的分布式存储节点，读取存储文件，再对文件进行变动。

然后，所述分布式管理节点会建立变动文件的版本号，定义变动文件的唯一标识，变动文件所在的数据链上的分布式存储节点位置，变动数据上的文件，共识存储结果，打包所述分布式管理节点根据函数进行计算的新数据形成新交易索引数据。

所述业务链将所述新交易索引数据提交到区块链新的区块当中，数据共识以后存储在所述业务链上。

5.根据权利要求1-4所述的任意一种基于双链架构的区块链存储系统，其特征在于，所述业务链上的用户在搭建自己在所述业务链上的节点时，默认只同步业务链上的所有数据。

6.根据权利要求1-4所述的任意一种基于双链架构的区块链存储系统，其特征在于，所述业务链上的用户访问业务链需要授权凭证。

7.根据权利要求1-4所述的任意一种基于双链架构的区块链存储系统，其特征在于，所述业务链上的用户访问所述数据链上存储的数据时，不同的用户具有不同的读写权限。

8.根据权利要求1-4所述的任意一种基于双链架构的区块链存储系统，其特征在于，所述数据链用户有权选择自行同步分布式存储节点的存储的数据，或加入分布式存储节点。