CN115297130B

CN115297130B - 一种基于区块链的分布式存储网络数据同步方法

Info

Publication number: CN115297130B
Application number: CN202211226648.1A
Authority: CN
Inventors: 王帅; 赵磊; 黄瑞
Original assignee: Sichuan Shutian Information Technology Co ltd
Current assignee: Sichuan Shutian Information Technology Co ltd
Priority date: 2022-10-09
Filing date: 2022-10-09
Publication date: 2022-12-09
Anticipated expiration: 2042-10-09
Also published as: CN115297130A

Abstract

本发明提供了一种基于区块链的分布式存储网络数据同步方法，属于数据存储技术领域，其利用区块链技术和分布存储技术相结合，对数据节点的变化进行元数据更新，在进行数据上链时进行元数据的隐藏处理，实现了数据同步存储的安全性、高效性和准确性。

Description

一种基于区块链的分布式存储网络数据同步方法

技术领域

本发明属于数据存储技术领域，具体涉及一种基于区块链的分布式存储网络数据同步方法。

背景技术

由于分布式存储系统的高效性、数据共享等优点，在目前社会实践和工业生产的过程中得到了广泛的应用。而数据同步技术就是指将数据库站点之间的数据的更新能够在分布式存储系统中得到同步，让数据能够分布存放，从而让系统对外能够进行分布式处理的一种技术。这种处理方式通过将允许使用的应用程序透明地对分布存放的数据进行存取，能够让用户在使用的过程中感觉这些数据是存放在统一的服务器上，因而用户的体验感在一定程度上得到了提升。

分布式同步的方法有很多，通常的同步方法可分为；主从同步备份、主从异步备份和对等同步。主从同步备份的主要步骤在主数据节点更新完数据后需要同步到备用节点后才反馈结果给用户，在同步备份期间对用户请求是阻塞的，其优点是保证了数据的强一致性，缺点是牺牲了高可用性，系统长时间无法对外提供服务。主从异步备份的主要步骤在主节点更新完数据后，主节点即可反馈结果给用户，然后异步地同步备用节点，主节点收到写请求即开始执行，从节点收到写请求就转发给主节点，并不等待同步，优点是保证了数据的高可用性，延迟较小，缺点是牺牲了强一致性，不同节点数据会出现不一致。基于主从的备份，整个过程都需要主节点长期可用，一旦主节点出现问题，系统将长期不可用；但如果能采用去中心化设计，整个分布式系统不存在中心节点，系统中的任意节点的失效的影响都是短期且影响范围较小的，不会存在单一的性能瓶颈和单点故障。

对等同步的云存储技术运用对等网来构建云系统的底层覆盖网络，具有扩展性好、成本低等优点，但由于对等网络中的节点存在信任度低等问题，并且，简单的对等存储网络节点既要拥有对海量数据的存储与传输能力，又需要满足参与网络治理与调度的高计算能力，这意味着其对计算资源和存储资源的要求都较高。此外，针对需要动态存储的数据文件，需要反复进行刷新(Refresh)操作，这也增加了网络治理与调度的难度。如何能够进一步提高数据同步存储的安全性、高效性和准确性，是当前数据分布式存储所面临的一个主要问题。

发明内容

针对现有技术存在的以上问题，本发明提供了一种基于区块链的分布式存储网络数据同步方法，目的是为了依托于区块链节点的信息进行数据交换，动态调整数据同步的节点范围，提升计算以及存储的利用率，实现安全、高效和准确的数据同步存储。

为了实现上述目的，本发明采用以下技术方案：

一种基于区块链的分布式存储网络数据同步方法，其包括以下步骤：

A、区块链节点的组网：将各区块链节点通过P2P协议进行组网，保证各区块链节点之间能相互通讯；

B、数据节点与区块链节点的链接：将各数据节点分别与各区块链节点中的至少一个节点建立通讯，然后将所述各数据节点的信息注册至对应的区块链节点；

C、数据的元数据上链：当有数据保存至某个数据节点后，所述某个数据节点会将该数据的元数据信息发送至与其链接的区块链节点，以进行上链处理；

D、数据的元数据全局同步：接收到来自所述某个数据节点的元数据信息的区块链节点将所述元数据信息封装成一条消息，广播至整个区块链网络中，消息最终被记录至预定高度的区块链区块中；

E、数据请求：数据使用方链接某数据节点，并告知与其链接的数据节点需要获取的位于区块链上的数据ID；

F、请求数据的元数据获取：与数据使用方链接的数据节点从区块链节点处同步获取位于区块链上的所述数据ID相对应的最新的元数据；

G、数据文件同步：如果数据节点发现元数据已发生变化，则进行数据文件同步，即，从最新区块的元数据记录更新元数据至本地，同时与元数据记录的源数据节点ID通讯，并通过P2P协议，同步整个区块链网络的内容，若数据节点发现元数据未发生变更且已有对应数据，则直接提供数据服务；

H、数据的元数据更新信息上链：当数据节点的元数据发生变更，会通过链接的区块链节点发送元数据变更的消息；

I、区块链节点通知链接数据节点变更：区块链节点收到元数据发生变更的消息后，会转发至与其相链接的数据节点，如果与其相链接数据节点未包含此条数据则忽略，否则会执行F和G步完成数据更新。

与现有技术相比，本发明至少具备以下有益效果：

各个数据节点依托于区块链节点的信息进行数据交换，将数据的分布式计算与存储、传输相分离，并且能够灵活的根据数据访问模式动态调整数据同步的节点范围，提升计算以及存储的利用率。同时基于区块链技术在很大程度上使数据的安全性、完整性和抗抵赖性得到了保证；将网络维护（更新）、数据寻址以及数据存储相分离，能极大的提高了数据同步效率。数据的元数据以及寻址信息的同步依赖于区块链的全局同步能很好的做到数据的完整性和不可篡改性。数据文件的同步基于存储节点点对点的传输，能降低不必要的传输过程，同时减少中间过程不必要的存储。数据的请求会通过区块链节点完成数据节点的寻址与通讯，能快捷的完成数据异步同步。区块链节点以及数据存储节点均采用去中心化的对等网络，避免单一节点造成的性能瓶颈和单点故障的发生概率，保证高可用性。对上链的元数据进行数据隐藏，极大的提高了数据存储的安全性。

附图说明

图1是本发明基于区块链的分布式存储网络数据同步方法所采用的系统架构示意图；

图2是本发明所采用的数据节点的基本架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图2所示，本发明提供了一种基于区块链的分布式存储网络数据同步方法，其包括以下步骤：

B、数据节点与区块链节点的链接：将各数据节点分别与各区块链节点中的至少一个节点建立通讯，然后将所述各数据节点的数据节点ID、存储容量等信息注册至对应的区块链节点；

C、数据的元数据上链：当有数据保存至某个数据节点后，所述某个数据节点会将该数据的元数据信息发送至与其链接的区块链节点，以进行上链处理，所述元数据信息包括数据ID、源数据节点ID（源数据节点即最初存储相关数据的节点）、数据大小、数据类型、数据更新时间等基础信息；

G、数据文件同步：

如果数据节点发现元数据已发生变化，则进行数据文件同步，即，从最新区块的元数据记录更新元数据至本地，同时与元数据记录的源数据节点ID通讯，并通过P2P协议，同步整个区块链网络的内容，若数据节点发现元数据未发生变更且已有对应数据，则直接提供数据服务；

H、数据的元数据更新信息上链：当数据节点的元数据发生变更，会通过链接的区块链节点发送元数据变更的消息，包括源数据节点ID、数据大小、数据类型、数据更新时间等信息；

优选的，所述方法还包括，在步骤E之前，将所述各数据节点通过云计算网络建立一个或多个云网络链接，云网络链接的各数据节点之间实现数据通讯，实现云存储。采用这种设置方式，将区块链存储与云存储相结合，可获取更多可信数据，提升上链信息及总体的可信度。

为了更好的实现本发明的目的，步骤C中，在进行元数据上链处理前，利用卷积神经网络、赋值变换等方式（卷积神经网络能够按其阶层结构对输入信息进行平移不变分类，能够方便后期的回归计算，因此是一种优选的方式，当然还可以采用该方式以外的其它方式）对元数据信息中的部分参数进行隐藏处理，在元数据上链处理后，隐藏后的元数据信息采用经转换后的伪元数据信息进行展示并存储在区块链网络中。例如，某初始元数据信息表示为[1,0,1,1,0,1,1]，则可仅对其后三位进行变换（当然也可以是其它位或者不连续位，这里只是为了说明本发明的方案而进行的示例，不具有代表性），将0变为1，将1变为0，并设置相应的校验位，例如可表示为[1,0,1,1,1,0,0,5,3,F]，其中的5表示起始变换位，3表示变化的位数，F表示变换函数或方式，可以看出，进行变换后的伪元数据信息与初始的元数据信息完全不同，因此，初始的元数据信息得到了很好的隐藏。这样设置的好处在于，随着量子计算技术的不断推进，破解传统密码只是时间问题，区块链技术也面临着挑战，但本发明在进行数据存储时进行了数据隐藏处理，即使采用量子计算等技术进行了破解，但其得到的结果是经过隐藏处理后的结果，其也无从得知初始的元数据信息，需要注意的是，进行隐藏处理的位数以及采用的函数是根据需要进行调整的，除了获得真实准确的秘钥，其它情况下基本上无法得到初始的元数据信息，因此，这样设置下的存储安全性大大提高。

优选的，在对元数据进行隐藏处理前，对保存至所述某个数据节点的数据的元数据信息进行分类处理，将无需隐藏的元数据信息脱离出来，仅对需要进行隐藏处理的元数据信息进行隐藏处理，且在隐藏处理时，将所述需要进行隐藏处理的元数据信息进行标引，在隐藏处理结束后，将完成隐藏处理的经过标引的元数据信息随机分散至所述无需隐藏的元数据信息中，之后再进行元数据的上链处理。通过数据标引，能够将隐藏处理的元数据信息打乱，其并不一定连续，因而安全性进一步提高，而标引处理能够确保后期对被隐藏处理的元数据信息位置的准确确定，避免出现地址冲突或错乱。

优选的，步骤G中，元数据发生变化包括在对应数据节点写入新的文件或进行文件的重新编辑。

进一步优选的，由于各数据节点可通过云计算网络建立一个或多个云链接，因此，建立云网络链接的各数据节点能够对同一云网络中的各数据节点进行修改操作（例如进行写入、编辑等），将被修改的数据节点定义为主节点，将作出修改操作的节点定义为从节点，则在进行修改时，从节点需先获取主节点的授权，而主节点则直接视为已授权，在获得修改授权权限后，在文件写入或编辑更新的过程中，需创建磁盘路径缓存，将修改数据进行缓存，此时无需进行元数据上链处理，在操作结束后，将缓存数据文件存储至存储层，删除缓存，然后获取存储层新存入的文件的元数据信息，并更新至区块链节点，在数据的元数据更新信息上链后，锁定权限，对应数据节点无法再被修改，除非再次获得写入操作授权许可。整个过程中，仅对存储层新存入的文件的元数据信息进行上链处理，因此，写入过程中无需实时更新元数据，更新计算量少。

本发明实现其发明目的所采用的技术方案中，将整个系统分为分布式数据节点、区块链节点，区块链节点之间相互关联，用于同步数据的元数据以及寻址信息，区块链节点与分布式数据节点相连用于发送数据存储信息创建与更新消息。分布式数据节点相连接，用于数据的存储和同步。

上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于区块链的分布式存储网络数据同步方法，其特征在于，该方法包括以下步骤：

B、数据节点与区块链节点的链接：将各数据节点分别与各区块链节点中的至少一个节点建立通讯，然后将所述各数据节点的数据节点ID信息和存储容量信息注册至对应的区块链节点；

C、数据的元数据上链：当有数据保存至某个数据节点后，所述某个数据节点会将该数据的元数据信息发送至与其链接的区块链节点，以进行上链处理；所述元数据信息包括数据ID、源数据节点ID、数据大小、数据类型和数据更新时间；

H、数据的元数据更新信息上链：当数据节点的元数据发生变更，会通过链接的区块链节点发送元数据变更的消息，包括源数据节点ID发生变更的消息；

2.如权利要求1所述的一种基于区块链的分布式存储网络数据同步方法，其特征在于，所述方法还包括，将所述各数据节点通过云计算网络建立一个或多个云网络链接，云网络链接的各数据节点之间实现数据通讯，实现运存储。

3.如权利要求1所述的一种基于区块链的分布式存储网络数据同步方法，其特征在于，在进行元数据上链时，还包括，利用卷积神经网络或赋值变换的方式对元数据信息中的部分参数进行隐藏处理，隐藏后的元数据信息采用经转换后的伪元数据信息进行展示并存储在区块链节网络中。

4.如权利要求3所述的一种基于区块链的分布式存储网络数据同步方法，其特征在于，步骤C中，在元数据上链时，还包括，对保存至所述某个数据节点的数据的元数据信息进行分类处理，将无需隐藏的元数据信息脱离出来，仅对需要进行隐藏处理的元数据信息进行隐藏处理，在隐藏处理前，将所述需要进行隐藏处理的元数据信息进行标引，在隐藏处理结束后，将标引的完成隐藏处理的元数据信息随机分散至所述无需隐藏的元数据信息中。

5.如权利要求1所述的一种基于区块链的分布式存储网络数据同步方法，其特征在于，步骤G中，元数据发生变化包括在对应数据节点写入新的文件或进行文件的重新编辑。

6.如权利要求2所述的一种基于区块链的分布式存储网络数据同步方法，其特征在于，建立云网络链接的各数据节点能够对同一云网络中的各数据节点进行修改操作，在获得修改授权权限后，在文件写入或编辑更新的过程中，需创建磁盘路径缓存，将修改数据进行缓存，此时无需进行元数据上链处理，在操作结束后，将缓存数据文件存储至存储层，删除缓存，然后获取存储层新存入的文件的元数据信息，并更新至区块链节点，在数据的元数据更新信息上链后，锁定权限，对应数据节点无法再被修改，除非再次获得写入操作授权许可。