分布式数据存储方法、数据查询方法、设备和存储介质
技术领域
本申请涉及区块链技术领域,具体涉及一种分布式数据存储方法、数据查询方法、设备和存储介质。
背景技术
在申请人所提出的专利申请文本(具体可参考申请人的专利文本2018108842951和2018108840354)中,区块链的状态数据存储还可以用全局索引表进行存储以提高查询效率。
在上述机制中,每个区块链节点都存储有全局索引表,但全局索引表中的大多数数据为历史状态数据,而非最新的状态数据,保存历史状态数据仅仅是为了便于查询,浪费了大量磁盘空间。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种在提高查询效率的基础上,节约磁盘空间的分布式数据存储方法、数据查询方法、设备和存储介质。
第一方面,本发明提供一种适用于区块链的分布式数据存储方法,状态数据的存储方式包括以全局索引表的方式存储,上述方法包括:
分别根据待存储的第一数量个连续区块中的第一账户地址的各状态数据生成第一状态数据集合;
分别对各第一状态数据集合执行如下操作:
根据第一账户地址、预配置的分布式数据存储规则确定将要接收第一状态数据集合的若干第一区块链节点;
将第一状态数据集合发送至各第一区块链节点以供存储第一状态数据集合;
在当前节点不包括于第一区块链节点时,在第一时长后删除所存储的第一状态数据集合;
删除第一数量个连续区块对应的全局索引表;
其中,第一状态数据集合用于供区块链节点:
接收第一查询指令;其中,第一查询指令包括第二账户地址和所查询的第一区块区间高度;
在本地未存有目标数据时,根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点;
向若干第二区块链节点转发第一查询指令以供根据第二账户地址、第一区块区间高度查找目标数据,或,向若干第二区块链节点请求对应的状态数据集合,并根据返回的状态数据集合、第一区块区间高度查找目标数据。
第二方面,本发明提供一种适用于区块链节点的数据查询方法,区块链节点根据上述第一方面的方法分布式存储数据,上述方法包括:
接收第一查询指令;其中,第一查询指令包括第二账户地址和所查询的第一区块区间高度;
在本地未存有目标数据时,根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点;
向若干第二区块链节点转发第一查询指令以供根据第二账户地址、第一区块区间高度查找目标数据,或,向若干第二区块链节点请求对应的状态数据集合,并根据返回的状态数据集合、第二账户地址、第一区块区间高度查找目标数据。
第三方面,本发明还提供一种设备,包括一个或多个处理器和存储器,其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的分布式数据存储方法和数据查询方法。
第四方面,本发明还提供一种存储有计算机程序的存储介质,该计算机程序使计算机执行根据本发明各实施例提供的分布式数据存储方法和数据查询方法。
本发明诸多实施例提供的分布式数据存储方法、数据查询方法、设备和存储介质通过根据待存储的第一数量个连续区块中的第一账户地址的各状态数据生成第一状态数据集合;分别对各第一状态数据集合执行如下操作:根据第一账户地址、预配置的分布式数据存储规则确定将要接收第一状态数据集合的若干第一区块链节点;将第一状态数据集合发送至各第一区块链节点以供存储第一状态数据集合;在当前节点不包括于第一区块链节点时,在第一时长后删除所存储的第一状态数据集合的方法,提高查询效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例提供的一种分布式数据存储方法的流程图。
图2为本发明一实施例提供的一种数据查询方法的流程图。
图3为本发明一实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明一实施例提供的一种分布式数据存储方法的流程图。如图1所示,在本实施例中,本发明提供一种适用于区块链的分布式数据存储方法,状态数据的存储方式包括以全局索引表的方式存储,上述方法包括:
S12:分别根据待存储的第一数量个连续区块中的第一账户地址的各状态数据生成第一状态数据集合;
分别对各第一状态数据集合执行如下操作:
S141:根据第一账户地址、预配置的分布式数据存储规则确定将要接收第一状态数据集合的若干第一区块链节点;
S142:将第一状态数据集合发送至各第一区块链节点以供存储第一状态数据集合;
S143:在当前节点不包括于第一区块链节点时,在第一时长后删除所存储的第一状态数据集合;
S16:删除第一数量个连续区块对应的全局索引表;
其中,第一状态数据集合用于供区块链节点:
接收第一查询指令;其中,第一查询指令包括第二账户地址和所查询的第一区块区间高度;
在本地未存有目标数据时,根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点;
向若干第二区块链节点转发第一查询指令以供根据第二账户地址、第一区块区间高度查找目标数据,或,向若干第二区块链节点请求对应的状态数据集合,并根据返回的状态数据集合、第一区块区间高度查找目标数据。
具体地,以S141包括“计算各区块链节点的节点id与第一账户地址的第一距离;将第一距离最小的第二数量个区块链节点确定为第一区块链节点”,相应的,根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点包括“计算各区块链节点的节点id与第二账户地址的第二距离;将第二距离最小的第二数量个区块链节点确定为第二区块链节点”,第一数量为100,第二数量为5,第一时长为2min为例;假设根据待存储的第一数量个连续区块为block(1)~block(100),block(1)~block(100)中有账户地址addr(A)、addr(B)、addr(C)、addr(D);
区块链节点执行步骤S12,根据block(1)~block(100)中的addr(A)生成状态数据集合addr(A):{kvs},根据block(1)~block(100)中的addr(B)生成状态数据集合addr(B):{kvs},根据block(1)~block(100)中的addr(C)生成状态数据集合addr(C):{kvs},根据block(1)~block(100)中的addr(D)生成状态数据集合addr(D):{kvs};kvs表示账户地址的各状态数据;
对于addr(A):{kvs}:
各区块链节点执行步骤S141,计算各区块链节点的节点id与addr(A)的距离;将距离最小的5个区块链节点确定为将要接收addr(A):{kvs}的区块链节点;假设将要接收addr(A):{kvs}的区块链节点为N1~N5;
区块链节点执行步骤S142,将addr(A):{kvs}发送至N1~N5,N1~N5存储addr(A):{kvs};
区块链节点执行步骤S143,在当前节点不包括于N1~N5时,在2min后删除所存储的addr(A):{kvs}。
对于addr(B):{kvs}:
各区块链节点执行步骤S141,计算各区块链节点的节点id与addr(B)的距离;将距离最小的5个区块链节点确定为将要接收addr(B):{kvs}的区块链节点;假设将要接收addr(B):{kvs}的区块链节点为N6~N10;
区块链节点执行步骤S142,将addr(B):{kvs}发送至N6~N10,N6~N10存储addr(B):{kvs};
区块链节点执行步骤S143,在当前节点不包括于N6~N10时,在2min后删除所存储的addr(B):{kvs}。
对于addr(C):{kvs}:
各区块链节点执行步骤S141,计算各区块链节点的节点id与addr(C)的距离;将距离最小的5个区块链节点确定为将要接收addr(C):{kvs}的区块链节点;假设将要接收addr(C):{kvs}的区块链节点为N11~N15;
区块链节点执行步骤S142,将addr(C):{kvs}发送至N11~N15,N11~N15存储addr(C):{kvs};
区块链节点执行步骤S143,在当前节点不包括于N11~N15时,在2min后删除所存储的addr(C):{kvs}。
对于addr(D):{kvs}:
区块链节点执行步骤S141,计算各区块链节点的节点id与addr(D)的距离;将距离最小的5个区块链节点确定为将要接收addr(D):{kvs}的区块链节点;假设将要接收addr(D):{kvs}的区块链节点为N16~N20;
区块链节点执行步骤S142,将addr(D):{kvs}发送至N16~N20,N16~N20存储addr(D):{kvs};
区块链节点执行步骤S143,在当前节点不包括于N16~N20时,在2min后删除所存储的addr(D):{kvs}。
区块链节点执行步骤S16,删除block(1)~block(100)对应的全局索引表。
假设区块链节点N50接收查询指令“addr(A),[50,70]”;
N50本地未存有addr(A)的状态数据集合,所以未存有目标数据,N50计算各区块链节点的节点id与addr(A)的距离,并找到距离最小的5个区块链节点N1~N5;
N50向N1~N5中的一个或多个区块链节点(假设为N1)转发上述查询指令,接收到查询指令的区块链节点根据addr(A)、[50,70]查找目标数据:N1在[50,70]中遍历以获得addr(A)对应的目标数据;或,N50向N1~N5中的一个或多个区块链节点(假设为N1)请求addr(A)在[1,100]的状态数据集合,并根据addr(A)在[1,100]的状态数据集合,[50,70]查找目标数据:N50在[50,70]中遍历以获得addr(A)对应的目标数据。
在更多实施例中,S141还可以根据实际需求进行配置,例如配置为,计算各区块链节点的节点id与第一账户地址的第一距离;将第一距离最大的第二数量个区块链节点确定为第一区块链节点,相应的,根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点也应当配置为“计算各区块链节点的节点id与第二账户地址的第二距离;将第二距离最大的第二数量个区块链节点确定为第二区块链节点”,可实现相同的技术效果。
在更多实施例中,第一数量还可以根据实际需求进行配置,例如配置为1000,可实现相同的技术效果。
在更多实施例中,第二数量还可以根据实际需求进行配置,例如配置为10,可实现相同的技术效果。
在更多实施例中,第一时长还可以根据实际需求进行配置,例如配置为1min,可实现相同的技术效果。
上述实施例使得更方便的获取指定账户在某个高度区间的历史状态数据。指定账户的历史状态数据只需要从一个节点获取即可,查询一个月、一个季度、一年或者更多的数据,提高了数据查询效率。
优选地,根据第一账户地址、预配置的分布式数据存储规则确定将要接收第一状态数据集合的若干第一区块链节点包括:
计算各区块链节点的节点id与第一账户地址的第一距离;
将第一距离最小的第二数量个区块链节点确定为第一区块链节点;
根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点包括:
计算各区块链节点的节点id与第二账户地址的第二距离;
将第二距离最小的第二数量个区块链节点确定为第二区块链节点。
上述实施例的分布式数据存储原理可参考图1所示的方法,此处不再赘述。
优选地,第一数量个连续区块中的区块高度最大的第一区块的第一区块高度小于当前区块高度与安全回滚深度之差。
上述实施例保证了进行分片的数据不会被回滚,提高了用户体验。
优选地,在第一时长后删除所存储的第一状态数据集合包括:
判断第一状态数据集合中的第一最新状态数据是否为区块链上的第一账户地址的第二最新状态数据:
是,则在第一时长后,删除除去第一最新状态数据的第一状态数据集合。
交易执行时,需要获取一个最新版本的状态数据;因此,在本地保留一个最新版本的数据,而历史版本的数据则可以进行分布式存储。
图2为本发明一实施例提供的一种数据查询方法的流程图。如图2所示,在本实施例中,本发明提供一种适用于区块链节点的数据查询方法,区块链节点根据上述分布式数据存储方法对数据进行分布式存储,上述方法包括:
S22:接收第一查询指令;其中,第一查询指令包括第二账户地址和所查询的第一区块区间高度;
S24:在本地未存有目标数据时,根据第二账户地址、分布式数据存储规则查找存储有第二账户地址的状态数据的若干第二区块链节点;
S26:向若干第二区块链节点转发第一查询指令以供根据第二账户地址、第一区块区间高度查找目标数据,或,向若干第二区块链节点请求对应的状态数据集合,并根据返回的状态数据集合、第二账户地址、第一区块区间高度查找目标数据。
上述实施例使得更方便的获取指定账户在某个高度区间的历史状态数据。指定账户的历史状态数据只需要从一个节点获取即可,查询一个月、一个季度、一年或者更多的数据,提高了数据查询效率。
上述实施例的数据查询原理可参考图1所示的方法,此处不再赘述。
图3为本发明一实施例提供的一种设备的结构示意图。
如图3所示,作为另一方面,本申请还提供了一种设备,包括一个或多个中央处理单元(CPU)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM303中,还存储有设备300操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本公开的实施例,上述任一实施例描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行上述任一方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。
作为又一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,该程序被一个或者一个以上的处理器用来执行描述于本申请提供的方法。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以通过执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,各所述单元可以是设置在计算机或移动智能设备中的软件程序,也可以是单独配置的硬件装置。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离本申请构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。