CN110597912A - 一种区块存储方法及装置 - Google Patents
一种区块存储方法及装置 Download PDFInfo
- Publication number
- CN110597912A CN110597912A CN201910875633.XA CN201910875633A CN110597912A CN 110597912 A CN110597912 A CN 110597912A CN 201910875633 A CN201910875633 A CN 201910875633A CN 110597912 A CN110597912 A CN 110597912A
- Authority
- CN
- China
- Prior art keywords
- block
- database
- logical partition
- node
- logical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005192 partition Methods 0.000 claims abstract description 339
- 238000012545 processing Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种区块存储方法及装置,适用于具有M个数据库实例的节点;每个数据库实例对应有各自的数据库;数据库用于存储区块链上的各区块;其中,M大于等于2;方法包括:节点确定待存储区块对应的第一逻辑分区,在确定第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库,为第一逻辑分区配置对应的数据库实例并将待存储区块存储至第一数据库。本方案用于用以控制存储成本且提高数据访问速度。
Description
技术领域
本发明实施例涉及金融科技(Fintech)领域,尤其涉及一种区块存储方法及装置。
背景技术
随着计算机技术的发展,越来越多的技术(例如:区块链、云计算或大数据)应用在金融领域,传统金融业正在逐步向金融科技转变,区块链(BlockChain)技术也不例外,但由于金融、支付行业的安全性、实时性要求,也对区块链技术提出的更高的要求。
区块链节点默认将数据存储在节点本地硬盘,但本地存储方式受硬件存储能力限制,存储容量有限,无法满足不断膨胀的存储需求,同时存在存储成本较高、数据访问响应速度较慢的问题。
发明内容
本发明实施例提供一种区块存储方法及装置,用以控制存储成本且提高数据访问速度。
本发明实施例提供的一种区块存储方法,适用于具有M个数据库实例的节点;每个数据库实例对应有各自的数据库;所述数据库用于存储区块链上的各区块;其中,M大于等于2;
所述方法包括:
所述节点确定待存储区块对应的第一逻辑分区;每个逻辑分区对应区块链上连续上链的多个区块;
所述节点在确定所述第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库;所述第二数据库用于通过所述第二逻辑分区对应的数据库实例存储所述第二逻辑分区对应的区块;所述第二逻辑分区为对应的区块中区块高度最低的;
所述节点为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至第一数据库,所述第一数据库用于通过所述第一逻辑分区对应的数据库实例存储所述第一逻辑分区对应的区块。
上述技术方案中,节点最多启动预设数量的数据库实例,节点经该数据库实例将区块写入数据库中,每个数据库实例对应一个逻辑分区,当有新的区块对应新的逻辑分区,且需要启动新的数据库实例时,可以先确定节点包括的所有数据库实例是否都已经被占用,若是,则需要先释放最先逻辑分区(对应的区块中区块高度最低的逻辑分区)对应的数据库实例,同时删除该最先逻辑分区对应的数据库,再新建与该新的逻辑分区对应的数据库实例,可以理解为,当新的逻辑分区产生时,根据先进先出策略更新原有的逻辑分区与数据库实例的关联关系,更新过程中涉及整个数据库的删除,而非单个区块数据的删除,通过该方式,可以有效控制本地节点中的数据的存储量,相比于现有技术中只删除一个数据库中的部分数据,本方案直接删除整个数据库,可以有效控制数据的存储量。且该实现方式中,删除的是最先逻辑分区对应的数据库,并不影响节点通过最新逻辑分区对应的数据库实例将待存储区块存储至最新逻辑分区对应的数据库中,也就是说,本实现方式中,可以实现节点同时删除区块数据和存储区块数据,在删除区块数据时做到用户无感知,提高用户体验。
可选的,所述节点存储有逻辑分区与区块高度的对应关系;
所述节点确定待存储区块对应的第一逻辑分区,包括:
所述节点确定待存储区块的区块高度;
所述节点根据所述对应关系确定所述待存储区块的区块高度对应的所述第一逻辑分区。
可选的,所述方法还包括:
所述节点接收查询请求;
所述节点根据各逻辑分区对应的区块中区块高度,从高到低依次查询各逻辑分区对应的数据库,确定首次查询到的所述查询请求中查询标识对应的区块数据。
上述技术方案中,由于节点中有多个数据库,每个数据库中存储预设数量的区块数据,相比于现有技术中节点只有一个数据库(现有技术中,该一个数据库中存储全量区块数据),本方案中每个数据库中记录数据量小,且数据层级相对较低,查询数据的速度相比于现有技术快很多。
可选的,所述方法还包括:
所述节点接收查询请求;
所述节点根据所述查询请求中的查询标识和对应关系记录,确定所述查询标识对应的多个逻辑分区中对应区块高度最高的逻辑分区;
所述节点从所述区块高度最高的逻辑分区中确定所述查询标识对应的区块数据;
其中,所述对应关系记录中包括区块链上各查询标识和各查询标识对应的逻辑分区,所述查询标识对应的逻辑分区是指所述查询标识对应的区块数据所属区块对应的逻辑分区。
上述技术方案中,根据对应关系记录,可以直接确定出查询标识对应的逻辑分区,从而可以直接定位到逻辑分区对应的数据库,进一步提高了查询速度。
可选的,所述方法还包括:
所述节点在确定所述第一逻辑分区具有对应的数据库实例后,则将所述待存储区块存储至所述第一数据库。
可选的,所述方法还包括:
所述节点在确定所述第一逻辑分区尚无对应的数据库实例且至少一个数据库实例未处于工作状态后,则为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至所述第一数据库。
相应的,本发明实施例还提供了一种区块存储装置,适用于具有M个数据库实例的节点;每个数据库实例对应有各自的数据库;所述数据库用于存储区块链上的各区块;其中,M大于等于2;
所述装置包括:
确定单元,用于确定待存储区块对应的第一逻辑分区;每个逻辑分区对应区块链上连续上链的多个区块;
处理单元,用于在所述确定单元确定所述第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库;所述第二数据库用于通过所述第二逻辑分区对应的数据库实例存储所述第二逻辑分区对应的区块;所述第二逻辑分区为对应的区块中区块高度最低的;
所述处理单元,还用于为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至第一数据库,所述第一数据库用于通过所述第一逻辑分区对应的数据库实例存储所述第一逻辑分区对应的区块。
可选的,所述节点存储有逻辑分区与区块高度的对应关系;
所述确定单元具体用于:
确定待存储区块的区块高度;
根据所述对应关系确定所述待存储区块的区块高度对应的所述第一逻辑分区。
可选的,所述处理单元还用于:
接收查询请求;
根据各逻辑分区对应的区块中区块高度,从高到低依次查询各逻辑分区对应的数据库,确定首次查询到的所述查询请求中查询标识对应的区块数据。
可选的,所述处理单元还用于:
接收查询请求;
根据所述查询请求中的查询标识和对应关系记录,确定所述查询标识对应的多个逻辑分区中对应区块高度最高的逻辑分区;
从所述区块高度最高的逻辑分区中确定所述查询标识对应的区块数据;
其中,所述对应关系记录中包括区块链上各查询标识和各查询标识对应的逻辑分区,所述查询标识对应的逻辑分区是指所述查询标识对应的区块数据所属区块对应的逻辑分区。
可选的,所述处理单元还用于:
在所述确定单元确定所述第一逻辑分区具有对应的数据库实例后,则将所述待存储区块存储至所述第一数据库。
可选的,所述处理单元还用于:
在所述确定单元确定所述第一逻辑分区尚无对应的数据库实例且至少一个数据库实例未处于工作状态后,则为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至所述第一数据库。
相应的,本发明实施例还提供了一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述区块存储方法。
相应的,本发明实施例还提供了一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行上述区块存储方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图;
图2为本发明实施例提供的一种区块存储方法的流程示意图;
图3为本发明实施例提供的另一种系统架构的示意图;
图4为本发明实施例提供的一种区块存储装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示例性的示出了本发明实施例提供区块存储方法所适用的系统架构,该系统架构可以包括区块链节点(节点)和节点本地的数据库实例集,数据库实例集中最多可以有M个数据库实例,每个数据库实例对应有各自的数据库,节点通过数据库实例将区块写入对应的数据库中。其中,M大于等于2。
本发明实施例中,每个数据库实例对应区块链上的一个逻辑分区(Section),每个逻辑分区对应区块链上连续上链的多个区块。逻辑分区是根据预设的分段策略对区块链在逻辑上进行划分的,可以根据区块高度分区,也可以根据固定交易数、固定时间或其他用户自定义条件进行分区。
以区块高度分区为例说明,一种情况下,是在区块链节点生成新区块时,新区块的区块高度满足预设条件,则新建一个逻辑分区,并将该新区块对应至该新建的逻辑分区中,举例来说,设置每400个区块创建一个新的逻辑分区,即在区块链节点生成新区块时,在新区块的区块高度满足BlockHeight%400==1条件下新建一个逻辑分区;另一种情况下,可以预先设置多个逻辑分区,且设置该多个逻辑分区分别对应的区块高度的区间,相当于直接设置区块高度和逻辑分区的对应关系,在区块链节点生成新区块时,根据新生成区块的块高,确定对应至哪一个逻辑分区。如图1示出的例子中,区块链在逻辑上有6个逻辑分区,分别为逻辑分区0、逻辑分区1、逻辑分区2、逻辑分区3、逻辑分区4、逻辑分区5,对应区块高度分别为0至400,401至800,801至1200,1201至1600,1601至2000,2001至2040(2019指的是区块链上的当前区块高度)。
本例子中,多个逻辑分区具有先后顺序,可以根据各逻辑分区对应的区块的区块高度确定顺序关系,此处,区块的区块高度可以是逻辑分区对应的连续区块中最低区块的区块高度,也可以是最高区块或者某个特定的中间区块的区块高度等,如图1中,可以根据逻辑分区对应的连续区块中最低区块的区块高度确定顺序,其中,逻辑分区0对应的最低区块的区块高度是0,逻辑分区1对应的最低区块的区块高度是401,逻辑分区2对应的最低区块的区块高度是801,……,逻辑分区5对应的最低区块的区块高度是2001等,逻辑分区的顺序是逻辑分区0、逻辑分区1、逻辑分区2、……、逻辑分区5。
需要说明的是,本发明实施例中,区块链上逻辑分区是具有先后顺序的,先后顺序可以是根据区块高度确定的,比如区块高度高的逻辑分区在区块高度低的逻辑分区的顺序后面。也可以直接给逻辑分区编号,比如每新建一个逻辑分区则编号加1,即编号大的逻辑分区在编号小的逻辑分区的顺序后面。为了方便描述,顺序在前的逻辑分区又可以叫做在先顺序的逻辑分区,或者叫做区块高度低的逻辑分区;顺序在后的逻辑分区又可以叫做在后顺序的逻辑分区,或者叫做区块高度高的逻辑分区;顺序最前的逻辑分区又可以叫做最先顺序的逻辑分区,或者叫做区块高度最低的逻辑分区,或者叫做最旧(最先)的逻辑分区;顺序最后的逻辑分区又可以叫做最后顺序的逻辑分区,或者叫做区块高度最高的逻辑分区,或者叫做最新(最后)的逻辑分区。
节点中设置路由规则,节点基于各逻辑分区的先后顺序,执行相应的查询、写入等操作,具体的,节点可以将区块数据写入该最后顺序的逻辑分区对应的数据库中,同时可以读取该最后顺序的逻辑分区对应的数据库中的区块数据;节点不可以将区块数据写入最后顺序之前的逻辑分区对应的数据库中,仅可以读取最后顺序之前的逻辑分区对应的数据库中的区块数据。如图1中,节点可以将区块数据写入逻辑分区5对应的数据库中或者从逻辑分区5对应的数据库中读取区块数据;节点仅可以从逻辑分区4对应的数据库中读取区块数据,但不能写入区块数据;逻辑分区3、逻辑分区2、逻辑分区1、逻辑分区0同理如逻辑分区4。
基于上述描述,图2示例性的示出了本发明实施例提供的一种区块存储方法的流程,该流程可以由区块存储装置执行,该装置可以位于区块链节点(节点)中,可以是该区块链节点(节点)。
如图2所示,该流程具体包括:
步骤201,节点确定待存储区块对应的第一逻辑分区。
一种实现方式中,节点存储有逻辑分区与区块高度的对应关系,节点可以确定待存储区块的区块高度,并根据对应关系确定待存储区块的区块高度对应的第一逻辑分区。进而节点通过第一逻辑分区对应的数据库实例将待存储区块存储至第一数据库中,其中,第一数据库指的是通过第一逻辑分区对应的数据库实例存储第一逻辑分区对应的区块的数据库。如图1示出的例子中,若节点生成区块的区块高度是2020,则可以确定将该区块对应的第一逻辑分区为逻辑分区5,且可以将该区块通过该逻辑分区5对应的数据库实例5存储至第一数据库中。
上述例子适用于第一逻辑分区已经对应数据库实例,即在节点生成区块后,根据区块高度确定的第一逻辑分区已经对应有数据库实例,节点可以直接将该区块通过该数据库实例存储至对应数据库中。本发明实施例中,还存在另外两种情况,情况一,第一逻辑分区尚未对应数据库实例,且当前没有空闲数据库实例或者不能新建数据库实例以对应该第一逻辑分区;情况二,第一逻辑分区尚未对应数据库实例,且当前存在空闲数据库实例或者可以新建数据库实例以对应该第一逻辑分区。
针对情况一,可以如下步骤202和步骤203。
步骤202,节点在确定第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库。
本发明实施例中,节点最多可同时启动M个数据库实例,则节点本地可以同时支持M个数据库的访问,也就是节点上的区块链最多可以有M个逻辑分区。当节点上的区块链已经存在M个逻辑分区,节点新生成的区块需要对应第M+1个逻辑分区时,此时节点中没有与该第M+1个逻辑分区对应的数据库实例,且当前节点中的M个数据库实例都处于启动状态,则节点需要将M个逻辑分区中第二逻辑分区对应的数据库实例释放,且将该第二逻辑分区对应的第二数据库删除。其中,第二逻辑分区指的是M个逻辑分区中对应的区块中区块高度最低的逻辑分区,也就是M个逻辑分区中最先顺序的逻辑分区,如图1中的例子,第二逻辑分区指的是逻辑分区0;第二数据库指的是用于通过第二逻辑分区对应的数据库实例存储第二逻辑分区对应的区块的数据库,如图1中的例子,第二数据库指的是经数据库实例0存储区块的数据库。
举个例子,如图1中,假设M=6,则此时节点已经启动了6个数据库实例(数据库实例0至数据库实例5),且分别对应6个逻辑分区(逻辑分区0至逻辑分区5),若确定新生成的区块的区块高度是2041,则可以确定该新生成的区块对应新的逻辑分区(逻辑分区6),则确定第二逻辑分区是逻辑分区0,将逻辑分区0对应的数据库实例0释放,以及将逻辑分区0对应的第二数据库删除。
步骤203,节点为第一逻辑分区配置对应的数据库实例并将待存储区块存储至第一数据库。
在释放第二逻辑分区对应的数据库实例并删除第二数据库之后,节点中可以新建新的数据库实例(也可以说,节点中有空闲的数据库实例),节点为该第一逻辑分区配置该数据库实例,从而节点可以经该数据库实例将待存储区块存储至第一数据库中。上述例子中,节点新生成的区块的区块高度是2041,节点新建逻辑分区6对应的数据库实例6,并将该新生成的区块经数据库实例6存储至该逻辑分区6对应的数据库中。
上述例子中,当区块高度达到3000时,节点本地硬盘的数据库实例集可以如图3所示,其中,逻辑分区0对应的数据库实例0和逻辑分区1对应的数据库实例1已被释放,且逻辑分区0对应的数据库和逻辑分区1对应的数据库已被删除。
针对情况二,可以如下步骤204。
步骤204,节点在确定第一逻辑分区尚无对应的数据库实例且至少一个数据库实例未处于工作状态后,则为第一逻辑分区配置对应的数据库实例并将待存储区块存储至第一数据库。
举个例子,如图1中,假设M=7,则此时节点已经启动了6个数据库实例(数据库实例0至数据库实例5),且分别对应6个逻辑分区(逻辑分区0至逻辑分区5),若确定新生成的区块的区块高度是2041,则可以确定该新生成的区块对应新的逻辑分区(逻辑分区6),此时节点还可以启动第7个数据库实例(数据库实例6)用于对应逻辑分区6,节点可以将该待存储区块经数据库实例6存储至逻辑分区6对应的数据库中。
上述实施例详细描述了区块链中区块数据上链的实现方式,上述实现方式中,节点最多启动预设数量的数据库实例,节点经该数据库实例将区块写入数据库中,每个数据库实例对应一个逻辑分区,当有新的区块对应新的逻辑分区,且需要启动新的数据库实例时,可以先确定节点包括的所有数据库实例是否都已经被占用,若是,则需要先释放最先逻辑分区(对应的区块中区块高度最低的逻辑分区)对应的数据库实例,同时删除该最先逻辑分区对应的数据库,再新建与该新的逻辑分区对应的数据库实例,可以理解为,当新的逻辑分区产生时,根据先进先出策略更新原有的逻辑分区与数据库实例的关联关系,更新过程中涉及整个数据库的删除,而非单个区块数据的删除,通过该方式,可以有效控制本地节点中的数据的存储量,相比于现有技术中只删除一个数据库中的部分数据,本方案直接删除整个数据库,可以有效控制数据的存储量。且该实现方式中,删除的是最先逻辑分区对应的数据库,并不影响节点通过最新逻辑分区对应的数据库实例将待存储区块存储至最新逻辑分区对应的数据库中,也就是说,本实现方式中,可以实现节点同时删除区块数据和存储区块数据,在删除区块数据时做到用户无感知,提高用户体验。
此外,本发明实施例还提供区块数据的查询方式,一种实现方式中,可以是节点接收查询请求,并根据各逻辑分区对应的区块中区块高度,从高到低依次查询各逻辑分区对应的数据库,确定首次查询到的查询标识对应的账户数据。也就是说,节点在接收到查询请求时,逐一查询区块链上的各逻辑分区对应的数据库,具体的,是根据各逻辑分区对应的区块的区块高度从高到低逐一查询对应的数据库,并确定出第一次查询到的查询标识对应的账户数据。
如图1中,节点接收查询请求,若该查询请求用于查询某账户标识对应的账户数据,则节点从区块高度最高的逻辑分区对应的数据库开始查询,即从逻辑分区5对应的数据库开始查询,若在逻辑分区5对应的数据库中查询到该账户标识,则确定出该账户标识对应的账户数据;若逻辑分区5对应的数据库中不存在该账户标识,则节点再从逻辑分区4对应的数据库中查询,若在逻辑分区4对应的数据库中查询到该账户标识,则确定出该账户标识对应的账户数据;若逻辑分区4对应的数据库中不存在该账户标识,则节点再从逻辑分区3对应的数据库中查询,……,直至第一次查询到该账户标识,并确定出该账户标识对应的账户数据。
本发明实施例中,只会查询到查询标识对应的最新区块数据,即节点在查询到该查询标识对应的最新区块数据后,会停止查询。上述例子中,若节点在逻辑分区4对应的数据库中查询到该账户标识对应的账户数据,则不会再从逻辑分区3或者更之前的逻辑分区对应的数据库中查询。
当然,节点也可以根据区块高度进行查询,比如查询某区快高度之前的区块数据,则可以是节点接收到的查询请求中包括查询标识和区块高度,节点从该区块高度之前的逻辑分区中查询该查询标识对应的区块数据。
本发明实施例中,还可能存在节点根据各逻辑分区对应的区块的区块高度从高到低逐一查询至最先的逻辑分区后,仍未查询到该查询标识对应的区块数据,则可以认为该查询标识对应的区块数据已经被删除,或者尚未存储。对于上述已经被删除的区块数据,本发明实施例可以在删除该区块数据之前,将该区块数据备份至备份数据库中,如远端数据库中,再将上述区块数据删除。
本发明实施例中,逻辑分区对应的数据库可以是高效的KV数据库,如LevelDB、RocksDB。示例性的,RocksDB中记录有账户标识和对应的账户数据,如账户A对应的账户数据是300元,则Key为账户A,Value为300元。举例来说,如图1中,节点接收到查询请求,查询请求用于指示查询账户A当前的账户数据,则区块链节点以账户A为key,确定账户A对应的账户数据,节点从逻辑分区5对应的数据库中进行查询,如果查询不到账户A,则继续查询逻辑分区4对应的数据库,如果查询不到账户A,则继续查询逻辑分区3对应的数据库,……,直至查询到账户A,并确定账户A对应的账户数据,本例子中,虽然账户A的账户数据可以在多个数据库中存储,如在逻辑分区0对应的数据库、逻辑分区1对应的数据库和逻辑分区3对应的数据库中均有存储,但是在查到逻辑分区3对应的数据库中存储有该账户数据后,则返回该账户数据,不会再向前查询。当然,如果一直查询不到,则表示该账户对应的账户数据已经被删除,或者尚未存储。
为了提高查询效率,可以在节点内存中配置对应关系记录,该对应关系记录中包括区块链上各查询标识和各查询标识对应的逻辑分区,查询标识对应的逻辑分区是指查询标识对应的区块数据所属区块对应的逻辑分区。
一种实现方式中,对应关系记录可以是节点启动时,节点遍历已有区块链中各区块,确定各区块中查询标识对应区块数据所属区块对应的逻辑分区,从而建立对应关系记录;另一种实现方式中,节点在区块上链之前,可以生成该区块中查询标识与区块对应逻辑分区的对应关系,且将该对应关系更新至对应关系记录中。
节点接收查询请求,可以根据查询请求中的查询标识和对应关系记录,确定查询标识对应的多个逻辑分区中区块高度最高的逻辑分区,从区块高度最高的逻辑分区中确定查询标识对应的账户数据。
如图1中,节点接收查询请求,若该查询请求用于查询某账户标识对应的账户数据,则节点可以先根据该账户标识确定对应的逻辑分区中区块高度最高的逻辑分区,比如确定出该账户标识对应逻辑分区0、逻辑分区1、逻辑分区3,则可以确定区块高度最高的逻辑分区是逻辑分区3,则可以直接从逻辑分区3对应的数据库中确定该账户标识对应的账户数据。本例子中,只需要查询逻辑分区3对应的数据库,无需查询其他逻辑分区对应的数据库,提高了节点的查询速度。
本发明实施例中,节点可以配置布隆过滤器,每个逻辑分区对应一个布隆过滤器,如图1中,当节点接收到查询请求时,可以先根据逻辑分区5对应的布隆过滤器,确定该逻辑分区5对应的数据库中是否有可能存在该查询请求中的查询标识,若是,则查询该逻辑分区对应的数据库,否则,节点根据逻辑分区4对应的布隆过滤器,确定该逻辑分区4对应的数据库中是否有可能存在该查询请求中的查询标识,直至确定出查询标识以及查询标识对应的区块数据。
上述实现方式中,由于节点中有多个数据库,每个数据库中存储预设数量的区块数据,相比于现有技术中节点只有一个数据库(现有技术中,该一个数据库中存储全量区块数据),本方案中每个数据库中记录数据量小,且数据层级相对较低,查询数据的速度相比于现有技术快很多。而且本方案仅需要查询特定数据库,进一步提高了查询速度。
本发明实施例不仅适用于对区块数据的查询,同时还可以适用于对区块数据的操作,在对区块数据操作前,先查询该待操作的区块数据。仍结合图1中示出的数据库实例集,以业务转账为例描述数据查询和数据提交操作。最后一次更新账户A和账户B的账户数据的交易发生区块高度1500。在当前区块高度2019进行“账户A转账给账户B”的交易。交易过程中对数据库实例集的读写操作如下:
查询逻辑分区5对应的数据库,查询不到账户A和账户B;
查询逻辑分区4对应的数据库,查询不到账户A和账户B;
查询逻辑分区3对应的数据库,确定出账户A的账户数据和账户B的账户数据;
更新账户A的账户数据和账户B的账户数据,并写入逻辑分区5对应的数据库中。
需要说明的是,本例子中,若再查询账户A当前的账户数据,则不再是从逻辑分区3对应的数据库中确定,而是从逻辑分区5对应的数据库中确定。
本实现方式中,节点最多启动预设数量的数据库实例,节点经该数据库实例将区块写入数据库中,每个数据库实例对应一个逻辑分区,当有新的区块对应新的逻辑分区,且需要启动新的数据库实例时,可以先确定节点包括的所有数据库实例是否都已经被占用,若是,则需要先释放最先逻辑分区(对应的区块中区块高度最低的逻辑分区)对应的数据库实例,同时删除该最先逻辑分区对应的数据库,再新建与该新的逻辑分区对应的数据库实例,可以理解为,当新的逻辑分区产生时,根据先进先出策略更新原有的逻辑分区与数据库实例的关联关系,更新过程中涉及整个数据库的删除,而非单个区块数据的删除,通过该方式,可以有效控制本地节点中的数据的存储量,相比于现有技术中只删除一个数据库中的部分数据,本方案直接删除整个数据库,可以有效控制数据的存储量。且该实现方式中,删除的是最先逻辑分区对应的数据库,并不影响节点通过最新逻辑分区对应的数据库实例将待存储区块存储至最新逻辑分区对应的数据库中,也就是说,本实现方式中,可以实现节点同时删除区块数据和存储区块数据,在删除区块数据时做到用户无感知,提高用户体验。
基于同一发明构思,图4示例性的示出了本发明实施例提供的一种区块存储装置的结构,该装置适用于具有M个数据库实例的节点;每个数据库实例对应有各自的数据库;该数据库用于存储区块链上的各区块;其中,M大于等于2;该装置可以执行区块存储方法的流程。
该装置包括:
确定单元401,用于确定待存储区块对应的第一逻辑分区;每个逻辑分区对应区块链上连续上链的多个区块;
处理单元402,用于在所述确定单元401确定所述第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库;所述第二数据库用于通过所述第二逻辑分区对应的数据库实例存储所述第二逻辑分区对应的区块;所述第二逻辑分区为对应的区块中区块高度最低的;
所述处理单元402,还用于为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至第一数据库,所述第一数据库用于通过所述第一逻辑分区对应的数据库实例存储所述第一逻辑分区对应的区块。
可选的,所述节点存储有逻辑分区与区块高度的对应关系;
所述确定单元401具体用于:
确定待存储区块的区块高度;
根据所述对应关系确定所述待存储区块的区块高度对应的所述第一逻辑分区。
可选的,所述处理单元402还用于:
接收查询请求;
根据各逻辑分区对应的区块中区块高度,从高到低依次查询各逻辑分区对应的数据库,确定首次查询到的所述查询请求中查询标识对应的区块数据。
可选的,所述处理单元402还用于:
接收查询请求;
根据所述查询请求中的查询标识和对应关系记录,确定所述查询标识对应的多个逻辑分区中对应区块高度最高的逻辑分区;
从所述区块高度最高的逻辑分区中确定所述查询标识对应的区块数据;
其中,所述对应关系记录中包括区块链上各查询标识和各查询标识对应的逻辑分区,所述查询标识对应的逻辑分区是指所述查询标识对应的区块数据所属区块对应的逻辑分区。
可选的,所述处理单元402还用于:
在所述确定单元401确定所述第一逻辑分区具有对应的数据库实例后,则将所述待存储区块存储至所述第一数据库。
可选的,所述处理单元402还用于:
在所述确定单元401确定所述第一逻辑分区尚无对应的数据库实例且至少一个数据库实例未处于工作状态后,则为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至所述第一数据库。
基于同一发明构思,本发明实施例还提供了一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述区块存储方法。
基于同一发明构思,本发明实施例还提供了一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行上述区块存储方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种区块存储方法,其特征在于,适用于具有M个数据库实例的节点;每个数据库实例对应有各自的数据库;所述数据库用于存储区块链上的各区块;其中,M大于等于2;
所述方法包括:
所述节点确定待存储区块对应的第一逻辑分区;每个逻辑分区对应区块链上连续上链的多个区块;
所述节点在确定所述第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库;所述第二数据库用于通过所述第二逻辑分区对应的数据库实例存储所述第二逻辑分区对应的区块;所述第二逻辑分区为对应的区块中区块高度最低的;
所述节点为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至第一数据库,所述第一数据库用于通过所述第一逻辑分区对应的数据库实例存储所述第一逻辑分区对应的区块。
2.如权利要求1所述的方法,其特征在于,所述节点存储有逻辑分区与区块高度的对应关系;
所述节点确定待存储区块对应的第一逻辑分区,包括:
所述节点确定待存储区块的区块高度;
所述节点根据所述对应关系确定所述待存储区块的区块高度对应的所述第一逻辑分区。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述节点接收查询请求;
所述节点根据各逻辑分区对应的区块中区块高度,从高到低依次查询各逻辑分区对应的数据库,确定首次查询到的所述查询请求中查询标识对应的区块数据。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述节点接收查询请求;
所述节点根据所述查询请求中的查询标识和对应关系记录,确定所述查询标识对应的多个逻辑分区中对应区块高度最高的逻辑分区;
所述节点从所述区块高度最高的逻辑分区中确定所述查询标识对应的区块数据;
其中,所述对应关系记录中包括区块链上各查询标识和各查询标识对应的逻辑分区,所述查询标识对应的逻辑分区是指所述查询标识对应的区块数据所属区块对应的逻辑分区。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述节点在确定所述第一逻辑分区具有对应的数据库实例后,则将所述待存储区块存储至所述第一数据库。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述节点在确定所述第一逻辑分区尚无对应的数据库实例且至少一个数据库实例未处于工作状态后,则为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至所述第一数据库。
7.一种区块存储装置,其特征在于,适用于具有M个数据库实例的节点;每个数据库实例对应有各自的数据库;所述数据库用于存储区块链上的各区块;其中,M大于等于2;
所述装置包括:
确定单元,用于确定待存储区块对应的第一逻辑分区;每个逻辑分区对应区块链上连续上链的多个区块;
处理单元,用于在所述确定单元确定所述第一逻辑分区尚无对应的数据库实例且M个数据库实例均处于工作状态后,释放第二逻辑分区对应的数据库实例并删除第二数据库;所述第二数据库用于通过所述第二逻辑分区对应的数据库实例存储所述第二逻辑分区对应的区块;所述第二逻辑分区为对应的区块中区块高度最低的;
所述处理单元,还用于为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至第一数据库,所述第一数据库用于通过所述第一逻辑分区对应的数据库实例存储所述第一逻辑分区对应的区块。
8.如权利要求7所述的装置,其特征在于,所述节点存储有逻辑分区与区块高度的对应关系;
所述确定单元具体用于:
确定待存储区块的区块高度;
根据所述对应关系确定所述待存储区块的区块高度对应的所述第一逻辑分区。
9.如权利要求7所述的装置,其特征在于,所述处理单元还用于:
接收查询请求;
根据各逻辑分区对应的区块中区块高度,从高到低依次查询各逻辑分区对应的数据库,确定首次查询到的所述查询请求中查询标识对应的区块数据。
10.如权利要求7所述的装置,其特征在于,所述处理单元还用于:
接收查询请求;
根据所述查询请求中的查询标识和对应关系记录,确定所述查询标识对应的多个逻辑分区中对应区块高度最高的逻辑分区;
从所述区块高度最高的逻辑分区中确定所述查询标识对应的区块数据;
其中,所述对应关系记录中包括区块链上各查询标识和各查询标识对应的逻辑分区,所述查询标识对应的逻辑分区是指所述查询标识对应的区块数据所属区块对应的逻辑分区。
11.如权利要求7所述的装置,其特征在于,所述处理单元还用于:
在所述确定单元确定所述第一逻辑分区具有对应的数据库实例后,则将所述待存储区块存储至所述第一数据库。
12.如权利要求7所述的装置,其特征在于,所述处理单元还用于:
在所述确定单元确定所述第一逻辑分区尚无对应的数据库实例且至少一个数据库实例未处于工作状态后,则为所述第一逻辑分区配置对应的数据库实例并将所述待存储区块存储至所述第一数据库。
13.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1至6任一项所述的方法。
14.一种计算机可读非易失性存储介质,其特征在于,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910875633.XA CN110597912B (zh) | 2019-09-17 | 2019-09-17 | 一种区块存储方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910875633.XA CN110597912B (zh) | 2019-09-17 | 2019-09-17 | 一种区块存储方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110597912A true CN110597912A (zh) | 2019-12-20 |
CN110597912B CN110597912B (zh) | 2024-01-16 |
Family
ID=68859977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910875633.XA Active CN110597912B (zh) | 2019-09-17 | 2019-09-17 | 一种区块存储方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110597912B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112685420A (zh) * | 2020-12-31 | 2021-04-20 | 北京存金所贵金属有限公司 | 一种区块链数据的扩容方法、装置、调度控制器及系统 |
WO2021129062A1 (zh) * | 2019-12-27 | 2021-07-01 | 中国银联股份有限公司 | 数据查询方法、装置、设备、系统及介质 |
WO2024098862A1 (zh) * | 2022-11-07 | 2024-05-16 | 腾讯科技(深圳)有限公司 | 一种基于区块链的数据处理方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101086712A (zh) * | 2006-06-07 | 2007-12-12 | 国际商业机器公司 | 用于在内核间共享内核服务的方法和系统 |
CN107729383A (zh) * | 2017-09-18 | 2018-02-23 | 联动优势科技有限公司 | 一种索引库生成方法、数据验证方法、装置及平台 |
CN108055138A (zh) * | 2018-02-01 | 2018-05-18 | 国家计算机网络与信息安全管理中心 | 基于区块链的应用分发记录方法和系统 |
CN109508146A (zh) * | 2018-10-11 | 2019-03-22 | 广西师范大学 | 一种区块链的周期性存储空间回收方法 |
CN109886681A (zh) * | 2019-01-31 | 2019-06-14 | 北京瑞卓喜投科技发展有限公司 | 区块链共识方法及共识系统 |
CN109919768A (zh) * | 2019-03-12 | 2019-06-21 | 网易(杭州)网络有限公司 | 区块生成方法、装置、介质和计算设备 |
CN110113408A (zh) * | 2019-04-30 | 2019-08-09 | 杭州复杂美科技有限公司 | 一种区块同步方法、设备和存储介质 |
-
2019
- 2019-09-17 CN CN201910875633.XA patent/CN110597912B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101086712A (zh) * | 2006-06-07 | 2007-12-12 | 国际商业机器公司 | 用于在内核间共享内核服务的方法和系统 |
CN107729383A (zh) * | 2017-09-18 | 2018-02-23 | 联动优势科技有限公司 | 一种索引库生成方法、数据验证方法、装置及平台 |
CN108055138A (zh) * | 2018-02-01 | 2018-05-18 | 国家计算机网络与信息安全管理中心 | 基于区块链的应用分发记录方法和系统 |
CN109508146A (zh) * | 2018-10-11 | 2019-03-22 | 广西师范大学 | 一种区块链的周期性存储空间回收方法 |
CN109886681A (zh) * | 2019-01-31 | 2019-06-14 | 北京瑞卓喜投科技发展有限公司 | 区块链共识方法及共识系统 |
CN109919768A (zh) * | 2019-03-12 | 2019-06-21 | 网易(杭州)网络有限公司 | 区块生成方法、装置、介质和计算设备 |
CN110113408A (zh) * | 2019-04-30 | 2019-08-09 | 杭州复杂美科技有限公司 | 一种区块同步方法、设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021129062A1 (zh) * | 2019-12-27 | 2021-07-01 | 中国银联股份有限公司 | 数据查询方法、装置、设备、系统及介质 |
CN112685420A (zh) * | 2020-12-31 | 2021-04-20 | 北京存金所贵金属有限公司 | 一种区块链数据的扩容方法、装置、调度控制器及系统 |
WO2024098862A1 (zh) * | 2022-11-07 | 2024-05-16 | 腾讯科技(深圳)有限公司 | 一种基于区块链的数据处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110597912B (zh) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109324757B (zh) | 区块链数据缩容方法、装置及存储介质 | |
CN110597912B (zh) | 一种区块存储方法及装置 | |
CN110032549B (zh) | 分区分裂方法、装置、电子设备及可读存储介质 | |
CN110597835B (zh) | 一种基于区块链的交易数据删除方法及装置 | |
CN107256196A (zh) | 基于闪存阵列的支持零拷贝的缓存系统及方法 | |
CN109145163B (zh) | 区块链数据缩容方法、装置及存储介质 | |
CN103631940A (zh) | 一种应用于hbase数据库的数据写入方法及系统 | |
CN108089926A (zh) | 一种获取分布式锁的方法、装置、设备及可读存储介质 | |
CN113495889B (zh) | 一种分布式对象存储方法、装置、电子设备及存储介质 | |
CN106682215A (zh) | 一种数据处理方法和管理节点 | |
CN114490443A (zh) | 一种基于共享内存的golang进程内缓存方法 | |
CN109445693A (zh) | 一种数据压缩方法和装置 | |
CN112995257B (zh) | 基于云存储架构的缓存扩容方法、装置以及存储介质 | |
CN103729301B (zh) | 数据处理方法和装置 | |
US7330946B2 (en) | Data processing system | |
CN113157600A (zh) | 一种叠瓦式硬盘的空间分配方法、文件存储系统及服务器 | |
CN106933496B (zh) | 管理raid的方法及装置 | |
US9128976B2 (en) | Offline restructuring of DEDB databases | |
JPH0490034A (ja) | 外部記憶装置のデータセット割当方法 | |
CN111711531B (zh) | 集群数据管理方法、存储介质 | |
JPH0431935A (ja) | ファイル領域管理方式 | |
JPH05151037A (ja) | 業務処理中データベース再編成処理方式 | |
JPH0727531B2 (ja) | ファイル制御方式 | |
CN117556088A (zh) | 内存多维数据库的数据管理方法及装置 | |
CN114549204A (zh) | 用于从区块链拉取交易数据的方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |