CN113360501A - 一种基于区块链的分布式数据存储方法及系统 - Google Patents

Abstract

本发明公开了一种基于区块链的分布式数据存储方法及系统，该方法包括：S1，接收区块链节点上传的数据；S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；S5，将剩余数据片段进行归类存储至对应类型的数据库节点。本发明通过哈希算法根据数据特征进行分类存储，明确了数据存储节点，并通过比对删除冗余重复数据，减少数据存储负荷的同时，确保数据存储的有效性。

Description

一种基于区块链的分布式数据存储方法及系统

技术领域

本发明涉及区块链技术领域，特别是涉及一种基于区块链的分布式数据存储方法及系统。

背景技术

随着网络的不断发展，网络数据量不断增加，分布式存储作为一种新兴的网络在线存储技术得到了越来越广泛的应用。依托区块链的去中心化、可追溯性特点，基于区块链的分布式存储有效保证了存储与通信的机密性、可信性，推动了基于区块链的分布式数据存储的发展和应用。

目前，大规模分布式数据存储时，仍会面临以下技术问题：第一，当数据量大的情况下，大量镜像的数据严重耗费空间，存储利用率低，在大数据前提下，数据存储的具体存储节点存在紊乱性，无法具体定位至数据信息存储的准确存储节点，数据的存储路径和读取具有不明确性；第二，现有的解决方式大多采用抛弃过期数据减少数据负荷，但过期数据的减少往往跟不上新数据的诞生，此外，过期数据难以判定，存在后期需要的可能性，这种永久损失数据完整性的方式不可取。因此，需要提供一种新的分布式数据存储方法以解决区块链中的数据存储压力。

发明内容

本发明的目的是提供一种基于区块链的分布式数据存储方法及系统，通过哈希算法根据数据特征进行分类存储，明确了数据存储节点，并通过比对删除冗余重复数据，减少数据存储负荷的同时，确保数据存储的有效性。

为实现上述目的，本发明提供了如下方案：

一种基于区块链的分布式数据存储方法，所述的区块链包括区块链节点，每个区块链节点均与多个数据库节点连接，包括以下步骤：

S1，接收区块链节点上传的数据；

S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；

S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；

S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；

S5，将剩余数据片段进行归类存储至对应类型的数据库节点。

进一步的，所述方法还包括：

S6，数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。

进一步的，所述步骤S4中，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段，具体包括：

比对结果的相似率在90％以上，则认为比对成功，删除重复的数据片段；

比对失败后进入二次比对，若数据的连续相似率达到70％以上，对相似部分进行删除，若低于70％则不作任何处理。

进一步的，所述步骤S5，将剩余数据片段进行归类存储至对应类型的数据库节点，具体包括：

将所述步骤S4处理后的数据片段依次按照顺序发送至各数据库节点；

根据各数据片段存储顺序生成私密秘钥。

进一步的，所述根据各数据片段存储顺序生成私密秘钥，具体包括：

选取最先分段数据对应的数据库节点信息作为该数据的私密秘钥的第一秘钥数据；

依次根据时间戳和数据库节点整理私密秘钥的数据；

组合获取的私密秘钥数据生成私密秘钥。

本发明还提供了一种基于区块链的分布式数据存储系统，应用于上述的基于区块链的分布式数据存储方法，包括：

数据接收模块，用于接收区块链节点上传的数据；

数据分类模块，用于采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；

数据查重模块，用于通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；

数据去冗余处理模块，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；

数据存储模块，将剩余数据片段进行归类存储至对应类型的数据库节点。

进一步的，所述系统还包括：

数据查询处理模块，用于数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于区块链的分布式数据存储方法及系统，通过哈希算法根据特征信息对数据进行分类标记，并通过分段式处理提高数据处理效率，最后将数据存储在匹配类型的数据库节点中，实现了数据信息分布式存储并明确了数据存储节点，对后期数据读取具有明确的指向性，提高数据存取效率；其中，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列，按照排列顺序逐一与历史数据中的高频重复数据进行比对，比对成功后在转换后的数据内删除重复数据，极大地降低数据冗余量；此外，根据时间戳、分段式顺序和特征标记作为私密秘钥生成的数据基础，提高了秘钥的复杂程度，提高了数据存储的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于区块链的分布式数据存储方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于区块链的分布式数据存储方法及系统，通过哈希算法根据数据特征进行分类存储，明确了数据存储节点，并通过比对删除冗余重复数据，减少数据存储负荷的同时，确保数据存储的有效性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明实施例提供的基于区块链的分布式数据存储方法，所述的区块链包括区块链节点，每个区块链节点均与多个数据库节点连接，包括以下步骤：

S1，接收区块链节点上传的数据；

S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；

S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；

S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；

S5，将剩余数据片段进行归类存储至对应类型的数据库节点；

所述方法还包括步骤S6，数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。

其中，所述步骤S4中，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段，具体包括：

比对结果的相似率在90％以上，则认为比对成功，删除重复的数据片段；

比对失败后进入二次比对，若数据的连续相似率达到70％以上，对相似部分进行删除，若低于70％则不作任何处理。

所述步骤S5，将剩余数据片段进行归类存储至对应类型的数据库节点，具体包括：

将所述步骤S4处理后的数据片段依次按照顺序发送至各数据库节点；

根据各数据片段存储顺序生成私密秘钥，具体包括：

选取最先分段数据对应的数据库节点信息作为该数据的私密秘钥的第一秘钥数据；

依次根据时间戳和数据库节点整理私密秘钥的数据；

组合获取的私密秘钥数据生成私密秘钥。

此外，本方法还可以进行数据同步，所述区块链节点在处理预设数量的出具存储交易后，根据最新区块的哈希值生成核查数据特征值，发送所述核查数据特征值至其他区块链节点，并判断该核查数据特征值与来自所述其他区块链节点的核查数据特征值是否相同；如果不相同，则该区块链节点发起数据同步。

此外，数据库节点之间建立对等连接，互相对操作信息进行合法性验证的公开和存储信息的开放。

本发明还提供了一种基于区块链的分布式数据存储系统，应用于上述的基于区块链的分布式数据存储方法，包括：

数据接收模块，用于接收区块链节点上传的数据；

数据分类模块，用于采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；

数据查重模块，用于通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；

数据去冗余处理模块，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；

数据存储模块，将剩余数据片段进行归类存储至对应类型的数据库节点；

数据查询处理模块，用于数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。

本发明提供的基于区块链的分布式数据存储方法及系统，通过哈希算法根据特征信息对数据进行分类标记，并通过分段式处理提高数据处理效率，最后将数据存储在匹配类型的数据库节点中，实现了数据信息分布式存储并明确了数据存储节点，对后期数据读取具有明确的指向性，提高数据存取效率；其中，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列，按照排列顺序逐一与历史数据中的高频重复数据进行比对，比对成功后在转换后的数据内删除重复数据，极大地降低数据冗余量；此外，根据时间戳、分段式顺序和特征标记作为私密秘钥生成的数据基础，提高了秘钥的复杂程度，提高了数据存储的安全性。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于区块链的分布式数据存储方法，所述的区块链包括区块链节点，每个区块链节点均与多个数据库节点连接，其特征在于，包括以下步骤：

S1，接收区块链节点上传的数据；

S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；

S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；

S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；

S5，将剩余数据片段进行归类存储至对应类型的数据库节点。

2.根据权利要求1所述的基于区块链的分布式数据存储方法，其特征在于，所述方法还包括：

S6，数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。

3.根据权利要求1所述的基于区块链的分布式数据存储方法，其特征在于，所述步骤S4中，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段，具体包括：

比对结果的相似率在90％以上，则认为比对成功，删除重复的数据片段；

比对失败后进入二次比对，若数据的连续相似率达到70％以上，对相似部分进行删除，若低于70％则不作任何处理。

4.根据权利要求1所述的基于区块链的分布式数据存储方法，其特征在于，所述步骤S5，将剩余数据片段进行归类存储至对应类型的数据库节点，具体包括：

将所述步骤S4处理后的数据片段依次按照顺序发送至各数据库节点；

根据各数据片段存储顺序生成私密秘钥。

5.根据权利要求4所述的基于区块链的分布式数据存储方法，其特征在于，所述根据各数据片段存储顺序生成私密秘钥，具体包括：

选取最先分段数据对应的数据库节点信息作为该数据的私密秘钥的第一秘钥数据；

依次根据时间戳和数据库节点整理私密秘钥的数据；

组合获取的私密秘钥数据生成私密秘钥。

6.一种基于区块链的分布式数据存储系统，应用于权利要求1-5任一所述的基于区块链的分布式数据存储方法，包括：

数据接收模块，用于接收区块链节点上传的数据；

数据分类模块，用于采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；

数据查重模块，用于通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；

数据去冗余处理模块，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；

数据存储模块，将剩余数据片段进行归类存储至对应类型的数据库节点。

7.根据权利要求6所述的基于区块链的分布式数据存储系统，其特征在于，所述系统还包括：

数据查询处理模块，用于数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。

Images