CN110730185A - 一种基于分布式计算的区块链大数据处理方法及系统 - Google Patents

Abstract

本发明一种基于分布式计算的区块链大数据处理方法，当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。本发明借鉴计算机算法中的分布式计算而使多个节点存储第一数据拆分出的子数据，而可降低每个节点需要存储的数据容量，并且，数据并非完全公开而保护了用户隐私和数据隐私，从而降低每个节点的负载量，提高区块链客户端的安装速度和同步速度，降低节点死机的频率，从而提升区块链数据的安全性和处理速度。

Description

一种基于分布式计算的区块链大数据处理方法及系统

技术领域

本发明涉及一种区块链技术，特别是涉及一种用于基于分布式计算的区块链大数据处理系统。

背景技术

分布式计算方法是通过将一个巨大的任务拆封给各个节点来分布式完成，从而可像蚂蚁搬家一样，利用多个小节点完成一个大任务，从而降低单个节点的负载。

区块链技术中，每个节点要存储整个区块链中的数据，而实现去中心化、不可篡改等效果。但是每个节点要完整地存储区块链中的数据则会让每个节点数据存储过大而发生负载过大、数据冗余、容易死机、处理速度降低、安装客户端费时费力、同步数据库费时费力等问题。

因此，目前亟需一种借鉴于分布式计算方法而有效降低每个节点的存储负载的区块链大数据处理系统。

发明内容

本发明要解决的技术问题是提供一种借鉴于分布式计算方法而有效降低每个节点的存储负载的区块链大数据处理系统。

本发明一种基于分布式计算的区块链大数据处理方法，包括

获取第一数据；

通过哈希算法生成第一数据的第一哈希值；

按第一预设方式将所述第一数据拆分为多个带有序号子数据；

生成与子数据的序号的对应的存储所述子数据的所述节点的唯一识别码的拆分列表，并向区块链的其他节点广播子数据和拆分列表；

当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则将第二数据转化为第一数据输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述按第一预设方式将所述第一数据拆分为多个带有序号子数据的步骤中，包括如下步骤：

统计所述第一数据的字符数a和节点的总数b；

按如下公式根据所述字符数a、总数b而输出一个节点组的上限系数c：

将所述上限系数c以四舍五舍的方式取整而得出上限个数d，并按所述随机分配每d个节点为一个节点组；

每个节点组保存一个完整的第一数据。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

通过所述上限个数d将所述第一数据拆分为d个子数据；

其中每个子数据和拆分列表随机分配至每个节点。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

获取每个节点的存储上限e和所有节点的总存储上限之和f；

通过所述上限个数d将所述第一数据拆分为d个子数据；

以每个节点e/f的概率将第一个序号的子数据随机配置在节点上存储；

按照子数据的序号顺序依次存储至各个节点，统计本次配置的第一数据的已经存储的子数据的数量g和目前剩余存储上限h，以每个节点的概率存储下一个序号的子数据。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述每次将子数据配置在节点上时，均随机将现有的节点生成节点组。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

均随机将区块链的节点生成节点组；

获取每个节点的存储上限e和本节点组中的节点的总存储上限之和f；

通过所述上限个数d将所述第一数据拆分为d个子数据；

以每个节点e/f的概率将第一个序号的子数据随机配置在节点上存储；

按照子数据的序号顺序依次存储至各个节点，统计本次配置的第一数据的已经存储的子数据的数量g和目前剩余存储上限h，以每个节点

的概率存储下一个序号的子数据。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

在区块链的节点中均以第一数据、当前时间、随机数构成一个预算值，而最先以SHA256计算出的结果的前5位均为0的节点配置为记账权节点；

本发明一种基于分布式计算的区块链大数据处理方法，其中所述记账权节点将所述第一数据的子数据和拆分列表广播至区块链的其他节点。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述记账权节点用于在提取第一数据时，比对第一哈希值和第二哈希值是否相同。

本发明一种基于分布式计算的区块链大数据处理方法，其中所述记账权节点用于拆分所述第一数据。

本发明一种基于分布式计算的区块链大数据处理方法的处理系统，中所述区块链包括至少100个节点，所述节点包括

输入模块，其用于获取第一数据；

第一哈希模块，其用于通过哈希算法生成第一数据的第一哈希值；

拆分模块，其用于按第一预设方式将所述第一数据拆分为多个带有序号子数据；

广播模块，其用于生成与子数据的序号的对应的存储所述子数据的所述节点的唯一识别码的拆分列表，并向区块链的其他节点广播子数据和拆分列表；

读取模块，其用于当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，并利用第二哈希模块通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则将第二数据转化为第一数据输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。

本发明一种基于分布式计算的区块链大数据处理方法与现有技术不同之处在于本发明一种基于分布式计算的区块链大数据处理方法通过借鉴分布式计算方法中，将每个节点分别存储一个第一数据拆分出的子数据，并且每个节点存储有完整的节点唯一识别码与子数据序号对应的拆分列表，从而可让用户在提取第一数据时按拆分列表还原第一数据。此外，由于数据在拆分和组合时候容易由于系统病毒、数据冗余、丢包等现象而合成不回原始的第一数据，因此，通过验证拆分前后的数据的哈希值而确保数据拆分前后的一致性，若不一致，则更换提取每个序号的子数据的节点，从而可确保数据可复原。本发明听过借鉴计算机算法中的分布式计算而使多个节点存储第一数据拆分出的子数据，而可降低每个节点需要存储的数据容量，并且，数据并非完全公开而保护了用户隐私和数据隐私，使单个节点无法直接还原所有的第一数据或直接看到所有第一数据，从而降低每个节点的负载量，提高区块链客户端的安装速度和同步速度，降低节点死机的频率，从而提升区块链数据的安全性和处理速度。

下面结合附图对本发明的一种基于分布式计算的区块链大数据处理方法作进一步说明。

附图说明

图1是一种基于分布式计算的区块链大数据处理方法的流程图。

具体实施方式

如图1所示，本发明一种基于分布式计算的区块链大数据处理方法包括获取第一数据；

通过哈希算法生成第一数据的第一哈希值；

按第一预设方式将所述第一数据拆分为多个带有序号子数据；

生成与子数据的序号的对应的存储所述子数据的所述节点的唯一识别码的拆分列表，并向区块链的其他节点广播子数据和拆分列表；

当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则将第二数据转化为第一数据输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。

本发明通过借鉴分布式计算方法中，将每个节点分别存储一个第一数据拆分出的子数据，并且每个节点存储有完整的节点唯一识别码与子数据序号对应的拆分列表，从而可让用户在提取第一数据时按拆分列表还原第一数据。此外，由于数据在拆分和组合时候容易由于系统病毒、数据冗余、丢包等现象而合成不回原始的第一数据，因此，通过验证拆分前后的数据的哈希值而确保数据拆分前后的一致性，若不一致，则更换提取每个序号的子数据的节点，从而可确保数据可复原。本发明听过借鉴计算机算法中的分布式计算而使多个节点存储第一数据拆分出的子数据，而可降低每个节点需要存储的数据容量，并且，数据并非完全公开而保护了用户隐私和数据隐私，使单个节点无法直接还原所有的第一数据或直接看到所有第一数据，从而降低每个节点的负载量，提高区块链客户端的安装速度和同步速度，降低节点死机的频率，从而提升区块链数据的安全性和处理速度。

节点组，每个节点租保存一个完整的第一数据。

每个节点可存储一个子数据，也可以每个节点存储多个子数据；

所述哈希算法可为SHA128、SHA256、SHA512算法。

进一步的，所述按第一预设方式将所述第一数据拆分为多个带有序号子数据的步骤中，包括如下步骤：

统计所述第一数据的字符数a和节点的总数b；

按如下公式根据所述字符数a、总数b而输出一个节点组的上限系数c：

将所述上限系数c以四舍五舍的方式取整而得出上限个数d，并按所述随机分配每d个节点为一个节点组；

每个节点组保存一个完整的第一数据。

本发明通过利用所述第一数据的字符数与总字符数的比值来判定上限次数c的大小，从而可将字符数a较少的第一数据的一个节点组的上限个数d更小，而避免因其字符数a较小而容易发生数据冗余、传输错误、丢包等问题导致的数据损坏；相反，字符数a较大的第一数据分配至更多节点为一个节点组，从而可让更多的节点保存上述第一数据，并保证节点组的数量也够多，而可实现数据的比对，矫正，备份等操作。此外，本发明在每个第一数据上应用了不同的节点组数量，可使每个节点的保存的数据相互交织而无法轻易破解、重新组合、或通过一个节点控制整个区块链的数据。

当然，上述上限个数d可直接为10个节点。

其中

可理解为字符数a与其总体的平均值的比值，而其可代表上述第一数据的字符数a是较大的还是较小，再根据其判定每一个节点组的字符数。

其中，所述节点的总数b可理解为一共有b个节点。优选地，所述节点的总数b应大于100个。

也就是说，区块链中，存储了完整的第一数据的次数为与节点组的数量相同，因为每一个节点组存储有一个完整的第一数据。

进一步的，所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

通过所述上限个数d将所述第一数据拆分为d个子数据；

其中每个子数据和拆分列表随机分配至每个节点。

本发明通过上述方式拆分子数据并将其随机分配至每个节点，可最大限度地将第一数据实现半公开化，一方面说，一个用户想要掌握一个第一数据势必要控制一个节点组，但是每个节点组的分配是随机的，相当于用户需要掌握一整个区块链才有可能掌握一个第一数据，但是完全掌握一个区块链又是不可能的，那么增加了第一数据的数据安全性，另一方面说，上述信息又是被拆分地公开在每个节点上，而保证了区块链的信息公开、不可篡改等优势，还减少了每个节点的存储负载，避免节点死机、同步较慢的现象。

使用时，将第一数据的字符数a与所述上限个数d进行整除，若余数为0，则上述整除的商就代表每个子数据的字符数，若余数不为0，则除了最后一个子数据的字符数为所述余数，而其他子数据的字符数为所述整除的商。

当然，所述拆分也可按随机方式拆分，而其虽大拆分出的子数据的字符数不大于两倍的上述商就好。

也就是说，本发明根据上述计算出的每个子数据的字符数而按顺序拆分第一数据为d个子数据，并赋予每个子数据一个序号，再根据其随机分配至的节点而构建一个拆分列表，并且，每个拆分列表记录了每个子数据拆分的时间，从而可根据时间将带有序号的子数据进行组合恢复为第一数据。

其中，每次将子数据配置在节点上时，均随机将现有的节点生成节点组。

进一步的，所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

获取每个节点的存储上限e和所有节点的总存储上限之和f；

通过所述上限个数d将所述第一数据拆分为d个子数据；

以每个节点e/f的概率将第一个序号的子数据随机配置在节点上存储；

按照子数据的序号顺序依次存储至各个节点，统计本次配置的第一数据的已经存储的子数据的数量g和目前剩余存储上限h，以每个节点

的概率存储下一个序号的子数据。

本发明利用每个节点的容量和其占总容量的百分比作为第一个序号的子数据配置在这个节点上的概率，而在下一个序号的子数据随机配置时，降低已经配置过的节点的概率，从而相对提升其他节点的概率，使整个区块链的每个节点负载均相对平衡，不会出现某个节点负载过高而死机、卡顿等问题，既保障了的数据的安全也保证了数据的速度。

其中，并向区块链的其他节点广播子数据和拆分列表可并不是广播至所有节点，而是根据分配子数据的概率而分配至各个节点。

进一步的，所述每次将子数据配置在节点上时，均随机将现有的节点生成节点组。

本发明通过上述方式可让每一次第一数据的存储均较为随机，从而避免用户通过控制某个节点组而对于区块链进行控制。本发明这样一来，用户必须通过控制所有节点才能对于区块链进行控制，从而发挥了区块链去中心化的作用。并平衡每个节点的负载。

当然，本发明的一种变形还可为，所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

均随机将区块链的节点生成节点组；

获取每个节点的存储上限e和本节点组中的节点的总存储上限之和f；

通过所述上限个数d将所述第一数据拆分为d个子数据；

以每个节点e/f的概率将第一个序号的子数据随机配置在节点上存储；

按照子数据的序号顺序依次存储至各个节点，统计本次配置的第一数据的已经存储的子数据的数量g和目前剩余存储上限h，以每个节点

的概率存储下一个序号的子数据。

本发明利用每个节点的容量和其占总容量的百分比作为第一个序号的子数据配置在这个节点上的概率，而在下一个序号的子数据随机配置时，降低已经配置过的节点的概率，从而相对提升其他节点的概率，使整个区块链的每个节点负载均相对平衡，不会出现某个节点负载过高而死机、卡顿等问题，既保障了的数据的安全也保证了数据的速度。

其中剩余存储上限h、总存储上限之和f、存储上限e的单位为Gb。

其中，按照子数据的序号顺序依次存储至各个节点，可理解为，序号为1的子数据广播至每个节点组的一个节点，然后，序号为2的子数据广播至每个节点组的另一个节点，以此类推。从而让每个节点组中的未存储到子数据的节点，相比于本节点组中的其他节点(尤其是存储有子数据的节点)有更大概率存储子数据。

其中，上述“以每个节点e/f的概率将所述子数据随机配置在节点上存储；

统计上述存储子数据的数量g和目前剩余存储上限h，以每个节点

的概率存储下一个第一数据。”是依次循环的，也就是说，在每存储下一个第一数据时，都会再次统计上一次存储的子数据的数量，每存储一个子数据就会降低将其概率乘以一次(1-K％)。

其中，K为随机系数，K可以为(1,30)，优选为10。也就是说，节点存储一个子数据，下次再存储到子数据的概率降低10％。

进一步的，所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

在区块链的节点中均以第一数据、当前时间、随机数构成一个预算值，而最先以SHA256计算出的结果的前5位均为0的节点配置为记账权节点；

所述记账权节点将所述第一数据的子数据和拆分列表广播至区块链的其他节点。

本发明利用上述方式可利用传统的区块链算法而分配一个记账权节点，再由所述记账权节点完成广播或对比或拆分第一数据的操作，从而让这些操作的操作节点较为随机，使区块链变得更加安全可靠。

当然，也可将获取所述第一数据的节点配置为具有记账权的节点，从而提升速度。

进一步的，所述记账权节点用于在提取第一数据时，比对第一哈希值和第二哈希值是否相同。

本发明利用上述方式可利用传统的区块链算法而分配一个记账权节点，再由所述记账权节点完成广播或对比或拆分第一数据的操作，从而让这些操作的操作节点较为随机，使区块链变得更加安全可靠。

进一步的，所述记账权节点用于拆分所述第一数据。

本发明利用上述方式可利用传统的区块链算法而分配一个记账权节点，再由所述记账权节点完成广播或对比或拆分第一数据的操作，从而让这些操作的操作节点较为随机，使区块链变得更加安全可靠。

本发明一种基于分布式计算的区块链大数据处理方法的处理系统，中所述区块链包括至少100个节点，所述节点包括

输入模块，其用于获取第一数据；

第一哈希模块，其用于通过哈希算法生成第一数据的第一哈希值；

拆分模块，其用于按第一预设方式将所述第一数据拆分为多个带有序号子数据；

广播模块，其用于生成与子数据的序号的对应的存储所述子数据的所述节点的唯一识别码的拆分列表，并向区块链的其他节点广播子数据和拆分列表；

读取模块，其用于当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，并利用第二哈希模块通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则将第二数据转化为第一数据输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种基于分布式计算的区块链大数据处理方法，其特征在于：包括获取第一数据；

通过哈希算法生成第一数据的第一哈希值；

按第一预设方式将所述第一数据拆分为多个带有序号子数据；

生成与子数据的序号的对应的存储所述子数据的所述节点的唯一识别码的拆分列表，并向区块链的其他节点广播子数据和拆分列表；

当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则将第二数据转化为第一数据输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。

2.根据权利要求1所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述按第一预设方式将所述第一数据拆分为多个带有序号子数据的步骤中，包括如下步骤：

统计所述第一数据的字符数a和节点的总数b；

按如下公式根据所述字符数a、总数b而输出一个节点组的上限系数c：

将所述上限系数c以四舍五舍的方式取整而得出上限个数d，并按所述随机分配每d个节点为一个节点组；

每个节点组保存一个完整的第一数据。

3.根据权利要求2所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

通过所述上限个数d将所述第一数据拆分为d个子数据；

其中每个子数据和拆分列表随机分配至每个节点。

4.根据权利要求2所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

获取每个节点的存储上限e和所有节点的总存储上限之和f；

通过所述上限个数d将所述第一数据拆分为d个子数据；

以每个节点e/f的概率将第一个序号的子数据随机配置在节点上存储；

按照子数据的序号顺序依次存储至各个节点，统计本次配置的第一数据的已经存储的子数据的数量g和目前剩余存储上限h，以每个节点的概率存储下一个序号的子数据。

5.根据权利要求4所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述每次将子数据配置在节点上时，均随机将现有的节点生成节点组。

6.根据权利要求2所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

均随机将区块链的节点生成节点组；

获取每个节点的存储上限e和本节点组中的节点的总存储上限之和f；

通过所述上限个数d将所述第一数据拆分为d个子数据；

以每个节点e/f的概率将第一个序号的子数据随机配置在节点上存储；

按照子数据的序号顺序依次存储至各个节点，统计本次配置的第一数据的已经存储的子数据的数量g和目前剩余存储上限h，以每个节点

的概率存储下一个序号的子数据。

7.根据权利要求5所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述并向区块链的其他节点广播子数据和拆分列表的步骤中，包括如下步骤：

在区块链的节点中均以第一数据、当前时间、随机数构成一个预算值，而最先以SHA256计算出的结果的前5位均为0的节点配置为记账权节点；

所述记账权节点将所述第一数据的子数据和拆分列表广播至区块链的其他节点。

8.根据权利要求6所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述记账权节点用于在提取第一数据时，比对第一哈希值和第二哈希值是否相同。

9.根据权利要求7所述的一种基于分布式计算的区块链大数据处理方法，其特征在于：所述用于拆分所述第一数据。

10.用于权利要求8所述的一种基于分布式计算的区块链大数据处理方法的处理系统，其特征在于：所述区块链包括至少100个节点，所述节点包括

输入模块，其用于获取第一数据；

第一哈希模块，其用于通过哈希算法生成第一数据的第一哈希值；

拆分模块，其用于按第一预设方式将所述第一数据拆分为多个带有序号子数据；

广播模块，其用于生成与子数据的序号的对应的存储所述子数据的所述节点的唯一识别码的拆分列表，并向区块链的其他节点广播子数据和拆分列表；

读取模块，其用于当需要提取区块链中的第一数据时，按所述拆分列表合成第二数据，并利用第二哈希模块通过哈希算法生成第二数据的第二哈希值，判定所述第一哈希值与第二哈希值是否相同，若相同，则将第二数据转化为第一数据输出，若不同，则更换保存相同序号子数据的节点，而重新合成第二数据并判定其第二哈希值是否与第一哈希值相同。

Images