CN109688211A - 数据分布式处理方法 - Google Patents

Abstract

本发明实施例公开一种数据分布式处理方法，其中方法包括如下步骤：对区块链中的节点进行数据存储配置，所述数据存储配置包括所述节点的存储阈值、节点ID；获取待存储数据的数据标识，根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点；将所述待存储数据存储至所述第一目标节点。采用本发明，通过配置节点的存储阈值，将数据存储至对应阈值的节点，可以实现数据的分布式存储减少区块链的体积，进而可以提升区块链的可扩展性，推动区块链技术的应用范围。

Description

数据分布式处理方法

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据分布式处理方法。

背景技术

区块链是一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式，例如，以太坊(Ethereum)是一个开源的有智能合约功能的公共区块链平台，通过其专用加密货币以太币(Ether，又称“以太币”)提供去中心化的虚拟机(称为“以太虚拟机”Ethereum Virtual Machine)来处理点对点合约。当前主流测区块链会包含所有的历史交易，需要下载整个区块链数据才能参与区块链网络。到目前为止，主流的区块链项目比特币存储空间已经超过100G,以太坊的存储空间已经超过300G，随着未来区块链业务的发展未来会继续极速增加，这严重制约了区块链的发展和使用。

现有技术中，存在一种将云存储和区块链结合起来解决分布式存储的方案，矿工通过提供存储空间获取收益，解决云存储问题。以太坊提供了一种快速同步模式节点只下载与所有区块同步的全部交易收据，以及最新的状态数据库，虽然能够简化同步数据量但是无法追溯历史的交易数据。随着区块的继续产生，存储空间还是会大量增加，同时无法解决合约的存储扩展问题。

发明内容

本发明实施例提供一种数据分布式处理方法，通过配置节点的存储阈值，将数据存储至对应阈值的节点，可以实现数据的分布式存储减少区块链的体积，进而可以提升区块链的可扩展性，推动区块链技术的应用范围。

本发明实施例第一方面提供了一种数据分布式处理方法，可包括：

对区块链中的节点进行数据存储配置，所述数据存储配置包括所述节点的存储阈值、节点ID；

获取待存储数据的数据标识，根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点；

将所述待存储数据存储至所述第一目标节点。

本发明实施例第二方面提供了另一种数据分布式处理方法，可包括：

基于客户端节点发送的数据获取请求，从节点信息存储桶中提取目标节点；

当检测到所述目标节点中存在所述数据获取请求对应的目标数据时，将所述目标数据中的部分数据发送至所述客户端节点，以使所述客户端节点获取到所述部分数据后对所述部分数据进行校验，并在校验无误后返回存储费用至所述目标节点；

获取所述客户端节点发送的存储费用，并将所述目标数据中的剩余数据发送至所述客户端节点，所述剩余数据为所述目标数据中除所述部分数据意外的所有数据。

在本发明实施例中，通过配置节点的存储阈值，将待存储数据存储至对应存储阈值的节点，实现了数据的分布式存储减少了区块链的体积，进而提升了区块链的可扩展性，推动了区块链技术的应用范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据分布式处理方法的流程示意图；

图2是本发明实施例提供的另一种数据分布式处理方法的流程示意图；

图3是本发明实施例提供的k-bucket结构示意图；

图4是本发明实施例提供的另一种数据分布式处理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将结合附图1附图4，对本发明实施例提供的数据分布式处理方法进行详细介绍。

请参见图1，为本发明实施例提供了一种数据分布式处理方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S103。

S101，对区块链中的节点进行数据存储配置。

具体的，数据分布式处理设备可以对区块链中的节点进行数据存储配置，可选的，所述设备可以获取区块链中节点存储数据的可存储范围，根据所述可存储范围确定所述节点的存储阈值，所述可存储范围可以是所述节点能够存储数据的大小，所述存储阈值可以是所述自定义设置的允许所述节点能够存储的数据的最大值，例如，当所述可存储范围为不超过100兆，则相应的存储阈值可以是100兆或者小于100兆的其他数值。可选的，所述设备可以基于密钥生成算法生成所述节点的节点密钥对，采用所述节点密钥对的字节数组表示形式表示所述节点的节点ID，所述密钥生成算法可以是非对称加密算法，通过该算法可以生成一对加密密钥对，公开密钥的字节数组表示形式可以表示160位的字节ID，可以理解的是，所述字节ID的位数也可以是其他数值。

S102，获取待存储数据的数据标识，根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点。

具体的，所述设备可以获取待存储数据的数据标识，所述数据标识可以是所述待存储数据的唯一身份标识，可以理解为在所述待存储数据中截取的摘要，可选的，所述设备可以基于哈希值获取算法获取所述待存储数据的数据哈希值，将所述数据哈希值确定为所述待存储数据的数据标识，所述哈希值获取算法可以是第三代安全散列算法SHA3。

进一步的，所述设备可以根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点，可选的，所述设备可以通过计算所述数据标识和所述节点ID的异或距离，根据所述异或距离与所述存储阈值之间的关系确定存储所述待存储数据的第一目标节点。可以理解的是，所述存储阈值可以是所述区块链中所有节点对应的所有存储阈值，所述异或距离是指针对yes/no或者二进制的异或运算(XOR distance)的结果值，异或的运算法则为：0⊕0＝0，1⊕0＝1，0⊕1＝1，1⊕1＝0(同为0，异为1)。需要说明的是，所述数据标识的字节位数与所述节点ID的位数一致，原则上选取的所述数据标识的字节位数越多，所述数据标识越能够代表所述待存储数据。具体实现中，当所述异或距离小于或等于所述存储阈值时，可以认为所述区块链中存在可以存储所述待存储数据的节点，从而所述设备可以确定所述存储阈值对应的节点为第一目标节点，所述第一目标节点为存储所述待存储数据的节点。可以理解的是，当所述异或距离大于所述存储阈值时，可以认为所述存储阈值对应的所述区块链中的所有节点均存不下所述待存储数据，从而所述设备可以确定所述区块链中不存在能存储所述待存储数据的节点，存储失败。

需要说明的是，当所述区块链中存在多个节点对应的存储阈值均满足所述异或距离时，所述设备可以将上述多个节点的阈值进行比较，将其中数值较大的存储阈值对应的节点作为第一目标节点，也可以将其中数值较小的存储阈值对应的节点作为第一目标节点，也可以从中任选一个存储阈值对应的节点作为第一目标节点，也可以将上述多个节点均确定为第一目标节点。

S103，将所述待存储数据存储至所述第一目标节点。

具体的，所述设备可以将所述待存储数据存储至所述第一目标节点。

在可选实施例中，当所述第一目标节点的存储空间不足时，可以降低所述第一目标节点对应的存储阈值，清理不在存储阈值空间的数据。

在本发明实施例中，通过配置节点的存储阈值，将待存储数据存储至对应存储阈值的节点，实现了数据的分布式存储减少了区块链的体积，进而提升了区块链的可扩展性，推动了区块链技术的应用范围。

请参见图2，为本发明实施例提供了另一种数据分布式处理方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S206。

S201，获取区块链中节点存储数据的可存储范围，根据所述可存储范围确定所述节点的存储阈值。

具体的，所述设备可以获取区块链节点存储数据的可存储范围，并可以根据所述可存储范围确定所述节点的存储阈值，所述可存储范围可以是所述节点能够存储数据的大小，所述存储阈值可以是所述自定义设置的允许所述节点能够存储的数据的最大值，例如，所述可存储范围为不超过100兆，则相应的存储阈值可以是100兆或者小于100兆的其他数值。

S202，基于密钥生成算法生成所述节点的节点密钥对，采用所述节点密钥对的字节数组表示形式表示所述节点的节点ID。

进一步的，所述设备可以基于密钥生成算法生成所述节点的节点密钥对，采用所述节点密钥对的字节数组表示形式表示所述节点的节点ID，可以理解的是，所述密钥生成算法可以是非对称加密算法，通过该算法可以生成一对加密密钥对，公开密钥的字节数组表示形式可以表示160位的字节ID，所述字节ID的位数也可以是其他数值。

S203，将所述待存储数据拆分为至少两个待存储数据块。

具体的，所述设备可以将所述待存储数据拆分为至少两个待存储数据块，具体的拆分原则可以是按数据大小平均拆分、随机拆分或者按其他拆分原则进行拆分。

S204，获取所述至少两个待存储数据块的数据块标识。

具体的，所述设备可以获取所述至少两个待存储数据块的数据块标识，所述数据块标识可以是所述待存储数据块的唯一身份标识，可以理解为在所述待存储数据块中截取的摘要。可选的，所述设备可以基于哈希值获取算法获取所述至少两个待存储数据块的数据块哈希值，将所述数据块哈希值确定为所述待存储数据块的数据块标识，其中，所述哈希值获取算法可以是第三代安全散列算法SHA3。

S205，根据所述数据块标识和所述存储阈值确定存储所述待存储数据块的第二目标节点。

具体的，所述设备可以根据所述数据块标识和所述存储阈值确定存储所述待存储数据块的第二目标节点，可选的，所述设备可以通过计算所述数据块标识和所述节点ID的异或距离，根据所述异或距离与所述存储阈值之间的关系确定存储所述待存储数据块的第二目标节点。可以理解的是，所述存储阈值可以是所述区块链中所有节点对应的所有存储阈值，所述异或距离是指针对yes/no或者二进制的异或运算(XOR distance)的结果值，异或的运算法则为：0⊕0＝0，1⊕0＝1，0⊕1＝1，1⊕1＝0(同为0，异为1)。需要说明的是，所述数据块标识的字节位数与所述节点ID的位数一致，原则上选取的所述数据块标识的字节位数越多，所述数据块标识越能够代表所述待存储数据块。具体实现中，当所述异或距离小于或等于所述存储阈值时，可以认为所述区块链中存在可以存储所述待存储数据块的节点，从而所述设备可以确定所述存储阈值对应的节点为第二目标节点，所述第二目标节点为存储所述待存储数据块的节点。可以理解的是，当所述异或距离大于所述存储阈值时，可以认为所述存储阈值对应的所述区块链中的所有节点均存不下所述待存储数据块，从而所述设备可以确定所述区块链中不存在能存储所述待存储数据块的节点，存储失败。

需要说明的是，当所述区块链中存在多个节点对应的存储阈值均满足所述异或距离时，所述设备可以将上述多个节点的阈值进行比较，将其中数值较大的存储阈值对应的节点作为第二目标节点，也可以将其中数值较小的存储阈值对应的节点作为第二目标节点，也可以从中任选一个存储阈值对应的节点作为第二目标节点，也可以将上述多个节点均确定为第二目标节点。

S206，将所述待存储数据块存储至所述第二目标节点。

具体的，所述设备可以将所述待存储数据块存储至所述第二目标节点。

在本发明实施例中，通过对待存储数据的拆分存储，实现了区块链节点对大数据的存储，提高了区块链的数据存储能力。

在可选实施例中，所述设备可以获取拆分之前的待存储数据得数据标识，可以将所述数据标识和与之对应的数据块标识进行对应存储，当需要查询所述待存储数据块时，可以根据所述数据标识和所述数据块标识的对应关系先确定所述待存储数据所包含的待存储数据块，再分别查找所述待存储数据块的位置。

在可选实施例中，所述设备可以基于Kademlia算法构建分布式的P2P网络，用于维持k-bucket，k-bucket里面维护着和本地节点异或距离为1,2,3,4,5，...160的节点的信息，以便后续在本地节点中查找数据无果的情况下，可以根据上述异或距离从k-bucket里面依次查找符合要求的节点。可以理解的是，在所述k-bucket里与本地节点异或距离一致的节点中，所述设备可以优选的将所述待存储数据存储至异或距离一致但存储阈值较大的节点中，以便后续查找数据时可以从存储阈值较大的节点开始查找，如图3所示的k-bucket，在异或距离都为2时，所述设备可以将所述待存储数据存储至节点3中。

在可选实施例中，当所述第一目标节点的存储空间不足时，可以降低所述第一目标节点对应的存储阈值，清理不在存储阈值空间的数据。

在本发明实施例中，通过配置节点的存储阈值，将待存储数据块存储至对应存储阈值的节点，实现了数据的分布式存储减少了区块链的体积，进而提升了区块链的可扩展性，推动了区块链技术的应用范围；通过对待存储数据的拆分存储，实现了区块链节点对大数据的存储，提高了区块链的数据存储能力。

请参见图4，为本发明实施例提供了另一种数据分布式处理方法的流程示意图。如图4所示，本发明实施例的所述方法可以包括以下步骤S301-步骤S303。

S301，基于客户端节点发送的数据获取请求，从节点信息存储桶中提取目标节点。

可以理解的是，所述设备可以获取客户端节点发送的数据获取请求，并可以在本地节点中查找所否存在所述数据获取请求对应的目标数据，当查找到时可以将所述目标数据中的部分数据发送至所述客户端节点，当未查找到时可以基于客户端节点发送的数据获取请求，从节点信息存储桶中提取目标节点。

可以理解的是，所述节点信息存储桶可以存储与本地节点具有连接关系的节点的信息，例如可以是k-bucket桶。

在可选实施例中，所述节点信息存储桶中存储了区块链中与所述本地节点异或距离有小到大的节点的节点信息，例如，所述异或距离从小到大的排序可以是1,2,3,4,5，...160。所述设备可以按照异或距离从小到大的顺序从各节点信息存储桶中获取存储阈值最大的若干节点，所述若干节点包括1、2、3……n个节点，其中n为正整数。进一步的，所述设备可以将所述若干节点确定为目标节点。

S302，当检测到所述目标节点中存在所述数据获取请求对应的目标数据时，将所述目标数据中的部分数据发送至所述客户端节点。

具体的，当所述设备检测到所述目标节点中存在所述数据获取请求对应的目标数据时，可以将所述目标数据中的部分数据发送至所述客户端节点。可以理解的是，所述部分数据可以是所述目标数据中的任意一部分数据。

在可选实施例中，所述设备可以获取所述客户端节点的节点IP和所述目标节点存储所述目标数据的存储时间，然后计算所述节点IP和所述存储时间进行异或运算，根据所述异或运算结果从所述目标数据中选择部分数据。例如，根据客户端的ip位和结果和存储节点的月份时间做异或计算得到的结果的最低位是0则部分数据是数据1，最低位是1则部分数据是数据2。举例：当前ip为192.168.13.13，当前时间是2017-12-14，Ip位和为1+9+2+1+6+8+1+3+1+3＝35，则35⊕12＝47，最低位是0则当前部分数据是数据1。

进一步的，所述客户端节点获取到所述部分数据后，可以对所述部分数据进行校验，并在校验无误后返回存储费用至所述目标节点。

在可选实施例中，上述校验的过程可以是所述客户端节点获取所述部分数据后，获取所述部分数据对应的存储数据标识，然后基于标识获取算法计算所述部分数据的当前数据标识，当所述当前数据标识和所述存储数据标识相匹配时，确定对所述部分数据的校验无误。可以理解的是，所述存储数据标识可以是所述部分数据的唯一身份标识，可以是在所述部分数据中截取的摘要。所述标识获取算法可以是获取所述部分数据的哈希值的算法，可以是第三代安全散列算法SHA3。

S303，获取所述客户端节点发送的存储费用，并将所述目标数据中的剩余数据发送至所述客户端节点。

具体的，所述设备可以获取所述客户端节点发送的存储费用，并可以将所述目标数据中的剩余数据发送至所述客户端节点。可以理解的是，所述剩余数据可以是所述目标数据中除了所述部分数据外的其他所有数据。

在可选实施例中，当所述客户端节点返回所述存储费用至所述目标节点的预设时间段内，所述设备未接收到所述目标节点发送的剩余数据时，可以确认所述目标节点为恶意存储节点。进一步的，所述设备可以对所述恶意存储节点设置恶意节点标签，可以理解的是所述恶意节点标签可以阻止所述设备将新的数据存储至所述恶意存储节点。

在可选实施例中，所述设备在将所述目标数据中的部分数据发送至所述客户端节点的预设时间段内，未接收到所述客户端节点返回的所述存储费用时，可以确认所述客户端节点为恶意访问节点。

进一步的，所述设备可以屏蔽所述恶意访问节点继续发送的数据获取请求。

在本发明实施例中，通过设置对恶意节点的惩罚，提高了分布式数据存储和查找的安全性，避免了恶意节点的非法操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据分布式处理方法，其特征在于，包括：

对区块链中的节点进行数据存储配置，所述数据存储配置包括所述节点的存储阈值、节点ID；

获取待存储数据的数据标识，根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点；

将所述待存储数据存储至所述第一目标节点。

2.根据权利要求1所述的方法，其特征在于，在对区块链中的节点进行数据存储配置时，所述方法包括：

获取区块链中节点存储数据的可存储范围，根据所述可存储范围确定所述节点的存储阈值；

基于密钥生成算法生成所述节点的节点密钥对，采用所述节点密钥对的字节数组表示形式表示所述节点的节点ID。

3.根据权利要求1所述的方法，其特征在于，在获取待存储数据的数据标识，根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点时，所述方法包括：

基于哈希值获取算法获取所述待存储数据的数据哈希值，将所述数据哈希值确定为所述待存储数据的数据标识；

计算所述数据标识和所述节点ID的异或距离，根据所述异或距离与所述存储阈值之间的关系确定存储所述待存储数据的第一目标节点。

4.根据权利要求3所述的方法，其特征在于，在根据所述异或距离与所述存储阈值之间的关系确定存储所述待存储数据的第一目标节点时，所述方法包括：

当所述异或距离小于或等于所述存储阈值时，确定所述存储阈值对应的节点为第一目标节点；

当所述异或距离大于所述存储阈值时，确定所述区块链中不存在能存储所述待存储数据的节点，存储失败。

5.一种分布式数据查找方法，其特征在于，包括：

基于客户端节点发送的数据获取请求，从节点信息存储桶中提取目标节点；

当检测到所述目标节点中存在所述数据获取请求对应的目标数据时，将所述目标数据中的部分数据发送至所述客户端节点，以使所述客户端节点获取到所述部分数据后对所述部分数据进行校验，并在校验无误后返回存储费用至所述目标节点；

获取所述客户端节点发送的存储费用，并将所述目标数据中的剩余数据发送至所述客户端节点，所述剩余数据为所述目标数据中除所述部分数据意外的所有数据。

6.根据权利要求5所述的方法，其特征在于，在基于客户端节点发送的数据获取请求，从节点信息存储桶中提取目标节点之前，所述方法还包括：

获取客户端节点发送的数据获取请求；

若在本地节点中未检测到所述数据获取请求对应的目标数据，转入执行基于客户端节点发送的数据获取请求，从节点信息存储桶中提取目标节点的步骤；

若在本地节点中检测到所述数据获取请求对应的目标数据，转入执行将所述目标数据中的部分数据发送至所述客户端节点的步骤。

7.根据权利要求6所述的方法，其特征在于，所述节点信息存储桶中存储了区块链中与所述本地节点异或距离有小到大的节点的节点信息，在从节点信息存储桶中提取目标节点时，所述方法包括：

按照异或距离从小到大的顺序从各节点信息存储桶中获取存储阈值最大的若干节点，所述若干节点包括1、2、3……n个节点，其中n为正整数；

将所述若干节点确定为目标节点。

8.根据权利要求5-7任一项所述的方法，其特征在于，在将所述目标数据中的部分数据发送至所述客户端节点时，所述方法包括：

获取所述客户端节点的节点IP和所述目标节点存储所述目标数据的存储时间；

计算所述节点IP和所述存储时间进行异或运算，根据所述异或运算结果从所述目标数据中选择部分数据。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述客户端节点获取所述部分数据后，获取所述部分数据对应的存储数据标识；

所述客户端节点基于标识获取算法计算所述部分数据的当前数据标识；

当所述当前数据标识和所述存储数据标识相匹配时，确定对所述部分数据的校验无误。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述客户端节点返回所述存储费用至所述目标节点的预设时间段内未接收到所述目标节点发送的剩余数据时，确认所述目标节点为恶意存储节点；

对所述恶意存储节点设置恶意节点标签，所述恶意节点标签用于阻止新的数据存储至所述恶意存储节点。

在将所述目标数据中的部分数据发送至所述客户端节点的预设时间段内未接收到所述客户端节点返回的所述存储费用时，确认所述客户端节点为恶意访问节点；

屏蔽所述恶意访问节点继续发送的数据获取请求。