CN109684414B - 区块数据的同步方法、装置、设备及存储介质 - Google Patents

区块数据的同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109684414B
CN109684414B CN201811604179.6A CN201811604179A CN109684414B CN 109684414 B CN109684414 B CN 109684414B CN 201811604179 A CN201811604179 A CN 201811604179A CN 109684414 B CN109684414 B CN 109684414B
Authority
CN
China
Prior art keywords
block
data
key
identifier
version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811604179.6A
Other languages
English (en)
Other versions
CN109684414A (zh
Inventor
肖伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN201811604179.6A priority Critical patent/CN109684414B/zh
Publication of CN109684414A publication Critical patent/CN109684414A/zh
Application granted granted Critical
Publication of CN109684414B publication Critical patent/CN109684414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种区块数据的同步方法、装置、设备及存储介质。该方法应用于区块链节点,该方法包括:通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及区块数据的键标识和版本标识的映射关系表;通过上层软件向本地KV存储系统发起数据写入请求,将获取到的区块数据写入本地的存储空间,将获取的映射关系表添加至本地的映射关系表中;区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,版本标识用于标识修改值域数据的区块。采用本发明实施例的技术方案,加快了数据同步,为区块数据同步提供了一种新思路。

Description

区块数据的同步方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术,尤其涉及一种区块数据的同步方法、装置、设备及存储介质。
背景技术
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。目前的区块链系统所采用的底层数据存储技术有多种,其中比较广泛采用的一种就是键值对(Key Value,简称KV)存储系统。KV存储系统在区块链系统上层软件的控制下,支持区块链系统的数据读写等访问处理。目前区块链节点会为KV存储系统建立索引,以方便访问数据。
现有区块链技术中,当某个节点需要从其他节点同步获取区块链数据时,需要对接收到的数据进行验证,例如可根据区块数据重新运行智能合约以验证结果,并重建本地存储数据和数据索引,以保证后续的数据处理能够正常进行。但是验证过程需要占用大量处理器的处理资源,耗时较长。
发明内容
本发明实施例提供一种区块数据的同步方法、装置、设备及存储介质,以优化区块链的数据存储方案,能够加快节点同步数据的过程。
第一方面,本发明实施例提供了一种区块数据的同步方法,应用于区块链节点,该方法包括:
通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及所述区块数据的键标识和版本标识的映射关系表;
通过上层软件向本地KV存储系统发起数据写入请求,将获取到的所述区块数据写入本地的存储空间,并将获取的所述映射关系表添加至本地的映射关系表中;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
第二方面,本发明实施例还提供了一种区块数据的同步方法,应用于区块链节点,该方法包括:
接收到其他节点发送的同步请求,并根据所述同步请求确定待同步区块;
根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;
根据所述关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给同步请求的发起节点,并将所述映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给所述发起节点;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
第三方面,本发明实施例还提供了一种区块数据的同步装置,配置于区块链节点,该装置包括:
获取模块,用于通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及所述区块数据的键标识和版本标识的映射关系表;
写入模块,用于通过上层软件向本地KV存储系统发起数据写入请求,将获取到的所述区块数据写入本地的存储空间,并将获取的所述映射关系表添加至本地的映射关系表中;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
第四方面,本发明实施例还提供了一种区块数据的同步装置,配置于区块链节点,该装置包括:
同步区块确定模块,用于接收到其他节点发送的同步请求,并根据所述同步请求确定待同步区块;
关联标识确定模块,用于根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;
发送模块,用于根据所述关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给同步请求的发起节点,并将所述映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给所述发起节点;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
第五方面,本发明实施例还提供了一种设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面中任意所述的区块数据的同步方法,或者实现第二方面中任意所述的区块数据的同步方法。
第六方面,本发明实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任意所述的区块数据的同步方法,或者实现第二方面中任意所述的区块数据的同步方法。
本发明实施例提供的区块数据的同步方法、装置、设备及存储介质,在通过上层软件确定产生区块同步需求时,可以从其他节点接收区块数据,及区块数据的键标识和版本标识的映射关系表;而后通过上层软件向本地KV存储系统发起数据写入请求,以请求本地KV存储系统将区块数据写入本地的存储空间中,同时可以将获取的映射关系表添加至本地的映射关系表中,进而可完成区块的同步,相比于现有的区块数据的同步方式,本方案在从其他节点获取区块数据后,无需重新执行区块中的事务请求,即可直接获取区块的链下本地数据,加快了数据同步,为区块数据同步提供了一种新思路;每个区块中事务请求所新增或改写的数据,会对应一个新的版本标识进行键值对存储,不影响已有版本标识键值对中的数据,即数据和数据的索引具有快照功能,方便在不停机的状态下进行同步操作。
附图说明
图1是本发明实施例所适用的多版本KV存储系统的一种数据存储方法的流程图;
图2是本发明实施例所适用的多版本KV存储系统的一种数据存储方法的流程图;
图3是本发明实施例所适用的多版本KV存储系统的一种数据存储方法的流程图;
图4是本发明实施例所适用的多版本KV存储系统的一种数据存储方法的流程图;
图5是本发明实施例一中提供的一种区块数据的同步方法的流程图;
图6是本发明实施例二中提供的一种区块数据的同步方法的流程图;
图7是本发明实施例三中提供的一种区块数据的同步方法的流程图;
图8是本发明实施例四中提供的一种区块数据的同步方法的流程图;
图9是本发明实施例五中提供的一种区块数据的同步装置的结构示意图;
图10是本发明实施例六中提供的一种区块数据的同步装置的结构示意图;
图11是本发明实施例七中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
本发明实施例的技术方案,适用于采用多版本KV存储系统来支撑的区块链节点。所谓多版本KV存储系统,是将设定范围内的数据处理请求,作为一个新的版本来进行处理。新版本所对应的数据处理请求对数据的操作,在新增价值对中进行处理,而保留原有键值对不变。为了清楚说明多版本KV存储系统的技术方案,下面详细介绍在多版本KV存储系统中实现数据存储的方法。
图1为本发明实施例所适用的多版本KV存储系统的一种数据存储方法的流程图,本实施例可适用于KV存储系统作为底层存储系统时,对上层软件所下发的数据进行处理的情况。尤其是,该KV存储系统在支撑区块链系统的数据存储时,能与区块链系统的数据处理特点更加匹配。该方法可以由数据存储装置来执行,该装置可采用软件和/或硬件的方式实现,并可集成于承载计算设备中,特别是作为区块链节点的计算设备中。参见图1,该方法具体包括:
S110,获取数据处理请求。
本实施例中,数据处理请求是指用于对数据进行处理的请求;具体的,数据处理请求为上层软件定时、达到一定数据量或接收到某一触发机制等任何需要处理数据的时机,向底层存储系统所发送的用于请求底层存数系统对待处理数据进行写入、更改、读取或删除等某种处理操作。本发明实施例尤其适用于区块链系统的数据处理,下述实施例将以区块链数据的处理为例进行说明。但本领域技术人员可以理解,本发明实施例的技术方案不限于使用在区块链系统中。
可选的,数据处理请求中可以包括待处理的目标数据;目标数据可以为区块数据、事务数据或其他的业务数据或管理数据等,事务数据是在区块链系统中对发起的事务请求进行处理的数据。区块数据可以包括存储在区块内的数据,以及依托于区块链但独立于区块链存储在区块链节点本地的数据。数据处理请求中还可以包括目标数据标识,如区块标识或事务标识等,区块标识是指用于唯一识别某一区块的标志,如区块ID;事务标识是指用于唯一识别某一类或某一个事务数据的标志。
S120,根据数据处理请求确定当前版本标识。
本实施例中,版本标识是一个起到唯一标识作用的标识符,用于标识对当前数据处理请求所涉及数据的更新操作。
当前版本标识是指本次数据处理请求需处理的数据所使用的版本标识。本次数据处理请求可以是一个或多个。一个版本标识可以适用于一个数据处理请求所涉及的数据,也可以适用于一批数据处理请求所涉及的数据。具体的,可以是不同的区块中所产生的数据处理请求具有不同的版本标识,也就是说,同一区块的处理过程中所产生的数据处理请求的涉及数据具有相同的版本标识。或者,还可以是一个事务数据的处理过程中所产生的数据处理请求的涉及数据具有一个版本标识。区块或事务数据的处理过程所涉及的数据可能有很多,例如,事务请求的数据需要存储,则事务请求数据是写入请求涉及的数据;由于执行某个事务请求的智能合约,导致某个账户的账户余额发生了变化,则该账户余额是写入请求涉及的数据。
版本标识可以是随机生成的,还可以是按设定规则生成的,如可以是流水号或流水号+区块标识/事务标识等。为了便于后续查询、更改等操作,本实施例中优选按设定规则生成版本标识。设定规则例如是,版本标识为整数值,确定新的版本标识是在前一版本标识的基础上加一。可选的,数据处理请求中还可以包括前一版本标识。因此,可以从数据处理请求中提取前一版本标识,而后依据前一版本标识生成当前版本标识。
S130,根据数据处理请求,确定用于处理数据的目标键值对,且对目标键值对值域中的数据进行处理。
本实施例中,键值对的键域可以用于存储数据的键标识和版本标识,键标识可以为能体现数据实际含义的标识,如区块标识或事务标识等;键值对的值域可以用于存储数据本身。目标键值对用于存储数据处理请求的目标数据,支持数据处理,可以是数据处理请求中目标数据所在的已有键值对,或新产生的键值对。
若数据处理请求为对目标数据进行读取操作,则可以将数据处理请求中目标数据所在的已有键值对,作为目标键值对。示例性的,根据数据处理请求,确定用于处理数据的目标键值对可以包括:根据数据处理请求中目标数据的键标识和版本标识,确定目标数据所在的已有键值对,作为目标键值对。本实施例中,版本标识是指所需读取数据的版本标识,可以是前一版本标识,还可以是历史任一版本标识。具体的,可以以目标数据的键标识和版本标识为索引,在已有键值对中进行查找,将匹配的已有键值对作为目标键值对。
若数据处理请求为对目标数据的写入操作,或对已有键值对中值域的更改或删除,则可以将新产生的键值对作为目标键值对。需要说明的是,本实施例中,在需要对数据进行删除或更改时,在新产生的键值对中进行操作,而保留已有键值对,这样在需要切换到之前其他版本标识的键值对数据进行查看时,不需要进行大量键值对的数据恢复,切换速度快。因此,在需要对数据进行删除或更改时,还需基于数据处理请求中目标数据的键标识和版本标识,确定目标数据所在的已有键值对,而后基于已有键值对及目标键值对对目标数据进行删除或更改操作。
通常,上层软件能够确定需要访问处理的目标数据,所以能够通过数据处理请求传递对应键标识和版本标识的信息。
具体的,在根据数据处理请求确定当前版本标识之后,可以根据数据处理请求确定用于处理数据的目标键值对;而后依据数据处理请求给定的数据的处理方式,对目标键值对值域中的数据进行处理。
可选的,数据处理请求给定的数据处理方式,如更改、查询、写入或删除等方式不同,对数据进行处理的策略不同,下述实施例将详细介绍不同的处理方式对应的处理策略。
S140,将新产生的目标键值对写入存储空间,其中,存储空间中的键值对的键域存储有键标识和版本标识,且新产生的目标键值对的键域中的版本标识为当前版本标识。
本实施例中,存储空间是指用于存储目标键值对所需要的存储介质,可以是任何大容量的存储设备,如可以是内存存储空间,也可以是磁盘存储空间等。
具体的,可以在对目标键值对值域中的数据进行处理之后,默认新产生的键值对是有效的,直接将新产生的目标键值写入存储空间。
本技术方案,通过数据处理请求确定当前版本标识,以及用于处理数据的目标键值对,并对目标键值对值域中的数据进行如写入、更改、删除或读取等处理,且在目标键值对为新产生的目标键值对的情况下,将当前版本标识存储在目标键值对的键域;而后将新产生的目标键值对写入存储空间,进而完成数据的存储。本方案在需要对数据进行写入、更改或删除等处理时,保留已有键值对,在新产生的键值对中进行操作,便于后续基于版本标识快速切换至之前其他版本标识的键值对数据进行查看;同时为键值对的键域中增加了版本标识,从而能够记录各次键值对更新所对应的版本,可以根据版本标识选择所需数据,为区块链的数据存储提供了一种新思路。
图2为本发明实施例所适用多版本KV存储系统的一种数据存储方法的流程图,在上述技术方案的基础上,提供了一种根据数据处理请求确定当前版本标识的方案。参见图2,该方法具体包括:
S210,获取数据处理请求。
S220,确定前一版本标识,按照设定编号规则产生当前版本标识。
或,S220的操作也可以具体是:确定前一版本标识,根据前一版本标识的流水号标识,按照设定编号规则产生当前版本标识中的流水号标识,以及根据数据处理请求确定的版本附加标识,与流水号标识组成当前版本标识。
本实施例中,流水号标识即为流水号值;设定编号规则是指预先设定的,版本标识序号或流水号标识的确定规则;可选的,设定编号规则可以为将前一区块个数或事务数据个数加1或减1作为编号值或流水号标识;由于数据处理请求中的目标数据可以是区块的数据或事务数据,且一个数据处理请求中的目标数据对应一个版本标识,因此,当前版本标识可以为前一版本标识加预设整数值如1或减1得到;当前版本标识中的流水号标识可以为前一版本标识的流水号标识加1或减1得到。示例性的,版本附加标识为区块标识或事务标识。
前一版本标识为生成当前版本标识所需的旧版本标识,可以是前一版本数据对象的名称。数据处理请求中可以包括待处理的目标数据、目标数据标识及前一版本标识等,因此,可从数据处理请求中获取前一版本标识。示例性的,确定前一版本标识可以包括:从数据处理请求中提取前一版本标识;或根据数据处理请求中的业务数据标识确定前一版本标识。
其中,业务数据即为待处理的目标数据,业务数据标识为区块标识或事务标识。具体的,可以从数据处理请求中直接获取前一版本标识;还可以根据数据处理请求中业务数据标识即目标数据标识确定前一版本的区块标识或事务标识作为版本附加标识,并根据目标数据确定当前区块个数或事务数据个数,进而依据当前区块个数或事务数据个数减1或加1得到前一版本标识流水号,而后依据版本附加标识及流水号标识,确定前一版本标识。
具体的,在确定前一版本标识后,可以基于前一版本标识及设定编号规则产生当前版本标识;也可以是基于前一版本标识的流水号标识及设定编号规则产生当前版本标识的流水号标识,并从数据处理请求中提取目标数据标识作为版本附加标识,将流水号标识及版本附加标识作为当前版本标识。
S230,根据数据处理请求,确定用于处理数据的目标键值对,且对目标键值对值域中的数据进行处理。
S240,将新产生的目标键值对写入存储空间,其中,存储空间中的键值对的键域存储有键标识和版本标识,且新产生的目标键值对的键域中的版本标识为当前版本标识。
本技术方案,在获取数据处理请求之后,提供了一种基于设定编号规则确定当前版本标识的方案,增加了方案的灵活度;在确定当前版本标识之后,根据数据处理请求确定用于处理数据的目标键值对,并对目标键值对值域中的数据进行如写入、更改、删除或读取等处理,且在目标键值对为新产生的目标键值对的情况下,将当前版本标识存储在目标键值对的键域;而后将新产生的目标键值对写入存储空间,进而完成数据的存储。本方案在需要对数据进行写入、更改或删除等处理时,保留已有键值对,在新产生的键值对中进行操作,便于后续基于版本标识快速切换至之前其他版本标识的键值对数据进行查看。优化了区块链KV存储系统的索引方式,相比于现有区块链的数据存储方式而言,为区块链的数据存储提供了一种新思路。
图3为本发明实施例所适用多版本KV存储系统的一种数据存储方法的流程图,在上述技术方案的基础上,进一步对根据数据处理请求,确定用于处理数据的目标键值对,且对目标键值对值域中的数据进行处理进行解释说明。参见图3,该方法具体包括:
S310,获取数据处理请求。
S320,根据数据处理请求确定当前版本标识。
S330,确定数据处理请求中指定对目标数据的操作方式。如果数据处理请求为目标数据的写入操作,则执行步骤S340;如果数据处理请求为将已有键值对值域数据更改为目标数据,则执行步骤S350;如果数据处理请求为已有键值对的删除操作,则执行步骤S360;如果数据处理请求为已有键值对的读取操作,则执行步骤S370。
需要说明的是,一个数据处理请求对目标数据的操作方式至少涉及写入操作、删除操作、读取操作及更改操作中的一种。
S340,产生新键值对作为目标键值对,在目标键值对的键域写入新的键标识和当前版本标识,在目标键值对的值域写入目标数据,并执行步骤S480。
本实施例中,新的键标识是指区别于已有键值对的键标识,也就是说第一次出现的键标识。
具体的,若数据处理请求为对目标数据的写入操作,则可以产生新键值对作为目标键值对;并从数据处理请求中获取目标数据标识如区块标识或事务标识等,作为新的键标识;而后将新的键标识和当前版本标识写在目标键值对的键域,将目标数据写入目标键值对的值域。
例如,某一新账户第一次执行转账操作,目标数据为转账事务数据(转账金额),键标识可以为账户名,对目标数据的处理为将转账事务数据写入键值对的值域。
S350,产生新键值对作为目标键值对,在目标键值对的键域写入已有键值对的键标识和当前版本标识,在目标键值对的值域写入目标数据,并执行步骤S380。
具体的,如果数据处理请求为将已有键值对值域数据更改为目标数据,则产生新键值对作为目标键值对,并根据数据处理请求中目标数据的键标识和前一版本标识,确定目标数据所在的已有键值对;而后将已有键值对的键标识作为目标键值对的键标识,并将该键标识和当前版本标识写入目标键值对的键域,将目标数据写入目标键值对的值域。
可选的,如果数据处理请求为在已有键值对值域数据基础上增加或减去目标数据,则可以产生新键值对作为目标键值对,并根据数据处理请求中目标数据的键标识和前一版本标识,确定目标数据所在的已有键值对;而后将已有键值对的键标识作为目标键值对的键标识,并将该键标识和当前版本标识写入目标键值对的键域;获取已有键值对值域数据,将采用值域数据加或减去目标数据的结果写入目标键值对的值域。
需要说明的是,本实施例中,在确定数据处理请求为对已有键值对值域数据的更改时,通过新增加一个KV存储更改数据,相比于在原KV的基础上进行修改,保留已有键值对,便于后续基于版本标识快速切换至之前其他版本标识的键值对数据进行查看。
S360,产生新键值对作为目标键值对,在目标键值对的键域写入已有键值对的键标识和当前版本标识,将目标键值对的值域设置为空,并执行步骤S480。
具体的,如果数据处理请求为已有键值对的删除操作,则产生新键值对作为目标键值对,并根据数据处理请求中目标数据的键标识和版本标识,确定目标数据所在的已有键值对;而后将已有键值对的键标识作为目标键值对的键标识,并将该键标识和当前版本标识写入目标键值对的键域,将目标键值对的值域设置为空。已有键值对仍然保留,但由于上层软件中已经获知当前版本标识对应的键值对是有效的,因此可以基于当前版本标识访问到相关数据,相对的已有键值对可以确认是无效的,不会再被上层软件访问,相当于进行了删除操作。但是当上层软件需要重新使用已经无效的已有键值对时,只需要更改访问数据时使用的版本标识,就可以恢复对已有键值对的数据控制。
S370,确定已有键值对作为目标键值对,将目标键值对值域中的数据进行读取反馈,并执行步骤S380。
具体的,如果数据处理请求为已有键值对的读取操作或查询操作,则可以将已有键值对作为目标键值对,并根据数据处理请求中目标键值对的键标识和版本标识,确定目标键值对的存储地址,而后依据存储地址定位至目标键值对位置处,并从目标键值对的值域中读取数据,并反馈至上层软件。
S380,将新产生的目标键值对写入存储空间,其中,存储空间中的键值对的键域存储有键标识和版本标识,且新产生的目标键值对的键域中的版本标识为当前版本标识。
本技术方案,在根据数据处理请求确定当前版本标识之后,基于数据处理请求所给定的数据操作方式如写入操作、读取操作、删除操作或更改操作等,采用对应的处理策略执行数据处理请求,并将此过程中新产生的目标键值对写入存储空间,进而完成数据的存储。尤其是,当需要对数据进行写入、更改或删除处理时,通过新增加一个KV存储写入、更改或删除数据,相比于在原KV的基础上进行上述操作,保留已有键值对,便于后续基于版本标识快速切换至之前其他版本标识的键值对数据进行查看,优化了区块链KV存储系统的索引方式,为区块链的数据存储提供了一种新思路。
图4为本发明实施例所适用多版本KV存储系统的一种数据存储方法的流程图,在上述技术方案的基础上,进一步的优化。参见图4,该方法具体包括:
S410,获取数据处理请求。
S420,根据数据处理请求确定当前版本标识。
S430,根据数据处理请求,确定用于处理数据的目标键值对,且对目标键值对值域中的数据进行处理。
S440,将新产生的目标键值对写入存储空间,其中,存储空间中的键值对的键域存储有键标识和版本标识,且新产生的目标键值对的键域中的版本标识为当前版本标识。
S450,根据新产生的目标键值对,在键标识和版本标识的映射关系表中,添加键标识和当前版本标识的映射关系。
本实施例中,底层存储系统预先构建键标识与版本标识的映射关系表,用于供上层软件查询。可选的,键标识与版本标识的映射关系表中,罗列了存储系统中所有键值对的键标识,每个键标识可以对应一个或多个版本标识,版本标识随着键值对的更新而添加。
具体的,在将新产生的目标键值对写入存储空间后,可以将新产生的目标键值对的键标识和版本标识对应存储在映射关系表中。具体为,将新产生的目标键值对的键标识输入至键标识与版本标识的映射关系表中进行匹配,若匹配成功,则说明该目标键值对的键标识已存储,可以将该键标识关联的版本标识添加在映射关系表中该键标识对应位置处。若匹配失败,则说明该目标键值对的键标识未存储,则可以在映射关系表中新添加一个键标识与版本标识的索引对。例如,在不同区块的处理过程中,可能针对同一账户发生了多次转账操作,则该账户的余额会发生多次变化。则用于存储该账户余额的键值对,就具有多个不同的版本标识。
为了便于上层软件快速查询、统计以定位版本标识所对应修改过的键标识(也就是键标识关联的值域修改后),底层存储系统可以构建版本标识和键标识的反向索引表,即一个版本标识对应多个键标识,进而基于版本标识,可快速获取版本标识所对应修改过的键标识。例如,在某个区块的处理过程中,涉及了十个键值对的更新,则对应于该版本标识,记录这十个值域被修改的键值对的键标识。示例性,将新产生的目标键值对写入存储空间的过程中,还可以包括:在版本标识和键标识的反向索引中,增加对应于当前版本标识的新产生目标键值对的键标识。
本技术方案,建立了键标识和版本标识的映射关系表,为后续区块链节点基于映射关系表进行区块同步、查询或验证等操作奠定了基础;且在新产生的目标键值后,可动态的在键标识和版本标识的映射关系表中,添加键标识和当前版本标识的映射关系。
基于上述介绍的多版本KV存储系统,本发明实施例提供了一种区块数据的同步方法,具体如下:
实施例一
图5为本发明实施例一提供的一种区块数据的同步方法的流程图,本实施例提供了一种区块链系统以KV存储系统作为底层存储系统时的区块数据同步的方法,该方法适用于区块链网络中,任一节点从其他节点进行数据同步场景的解决方案。其中,KV存储系统进一步为多版本KV存储系统,可采用前述任意实施例所提供的数据存储方式实现。
多版本KV存储系统中每个键值对的存储单元中包括键域(key)和值域(value);键域存储有键标识和版本标识,键标识可以为能体现数据实际含义的标识,如区块标识或事务标识等;本实施例中,键标识优选为区块标识;键值对的值域可以用于存储数据本身;版本标识用于标识该键值对是在哪个版本所对应的数据处理请求执行过程中所修改的。本发明实施例的方案应用于区块链节点,该方法可以由区块数据的同步装置来执行,该装置可采用软件和/或硬件的方式实现,并可集成于承载区块链节点的计算设备中。参见图5,该方法具体包括:
S510,通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及区块数据的键标识和版本标识的映射关系表。
本实施例中,对于区块链系统而言,上层软件是指配置于区块链节点,用于支撑区块链节点本地区块链正常运行所需部署的软件,如可以包括虚拟机以及其他与区块链相关的应用软件等。
区块同步需求可以是区块链节点通过上层软件确定其本地需要进行区块数据同步时,所产生的需求;例如,若本机节点是新加入区块链的节点或者本机节点本地丢失某一个或者多个区块时,可通过上层软件确定产生区块同步需求,并确定所需同步的区块。区块同步需求可以包括所需同步区块的区块标识。本实施例中,在产生区块同步需求时,会向其他节点发起同步请求,以下载同步区块数据。其他节点可以是任何存储有区块链的节点,优选是本机节点的信任节点。
待同步区块即为本机节点所需同步的区块,可以包括一个或多个,在多个的情况下,可以是连续的至少两个区块,还可以是不连续的至少两个区块等。区块数据可以包括存储在区块内的数据,以及依托于区块链但独立于区块链存储在区块链节点本地的数据。例如,事务请求是用于进行账户货币转账处理的,则用于表示转账操作的事务请求,需要存储与区块中,作为链上数据。而该事务请求的操作,将会使得两个账户内的余额发生变化,用于存储账户余额的键值对,一般可以不用存储于链上的区块中,而是存储于节点本地,其也属于区块数据的一部分。在任一事务请求的执行过程中,可能会需要修改节点本地数据的关联内容。
示例性的,区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据;版本标识可以用于标识修改值域数据的区块,具体可以为用于标识修改值域数据的事务请求所属的区块等。也就是说不同的区块中所产生的数据处理请求具有不同的版本标识,例如,在不同区块的处理过程中,可能针对同一账户发生了多次转账操作,则该账户的余额会发生多次变化,则会产生多个用于存储该账户余额的键值对,每个键值对具有多个不同的版本标识。
若本机节点是新加入区块链的节点,本地需要同步下载区块链,则可以通过上层软件确定产生区块同步需求。可选的,通过上层软件确定产生区块同步需求可以包括:如果区块链节点为新加入区块链的节点,则确定产生区块同步需求,并确定待同步区块为当前区块链的所有区块。也就是说,如果本机节点为新加入区块链网络的节点,所产生的区块同步请求为获取完整区块链的区块同步请求。
此外,如果本机节点由于通信质量或受到恶意攻击等其他因素导致本机节点的区块链缺失部分或全部区块等时,本地需要同步下载区块链,则可以通过上层软件确定产生区块同步需求;或者若本机节点为轻量级节点,在需要查询或验证区块数据时,本地需要同步下载区块链,则可以通过上层软件确定产生区块同步需求等。示例性的,通过上层软件确定产生区块同步需求还可以包括:通过上层软件根据设定需求确定待同步区块,并产生区块同步需求;其中,待同步区块为一个区块,连续的至少两个区块,或者不连续的至少两个区块。
本实施例中,设定需求即为区块链节点根据本地实际情况所设定的符合当前状态的需求,如可以是区块数据查询需求、区块数据验证需求、获取区块数据需求,或者获取包括特定事务数据的区块等。可选的,设定需求中可以包括所需区块的区块标识。不连续的区块是指两个区块的编号是不连续的,例如区块链中第1个区块和第3区块为两个不连续区块;第1个区块、第3个区块和第4个区块也是不连续的。需要说明的是,若存在两个区块是不连续的,那么至少两个区块也是不连续的。连续的区块与不连续的区块相对应,若至少两个区块中不存在任意两个区块之间是不连续的,则至少两个区块是连续的。
本实施例中,本机节点可以将设定需求告知上层软件,由上层软件根据设定需求确定待同步区块;本机节点基于上层软件根据设定需求确定的待同步区块,产生包括待同步区块标识的区块同步需求。
具体的,在本机节点基于上层软件确定产生区块同步需求时,可以向其他节点发送同步请求,以请求其他节点反馈所需的区块数据,以及区块数据的键标识和版本标识的映射关系表;本机接收其他节点反馈的区块数据,以及区块数据的键标识和版本标识的映射关系表。
S520,通过上层软件向本地KV存储系统发起数据写入请求,将获取到的区块数据写入本地的存储空间,并将获取的映射关系表添加至本地的映射关系表中。
本实施例中,数据写入请求是指区块链节点基于上层软件向本地KV存储系统所发送的,用于请求本地KV存储系统将数据写入其存储空间。
具体的,本机节点可以通过上层软件向本地KV存储系统发起数据写入请求,以请求本地KV存储系统将区块数据写入本地的存储空间中;同时在保留本地映射关系表中已存储的版本标识和键标识的情况下,将其他节点反馈的区块数据的键标识和版本标识的映射关系表,添加至本地映射关系表中。
在通过上层软件确定本地KV存储系统将区块数据存储到本地的存储空间,且将获取的映射关系表添加至本地的映射关系表中后,则可以基于同步区块的生效区块版本标识进行数据的查询、删除或更改等操作。示例性的,还可以包括:通过上层软件根据新增同步区块所确定的生效区块版本标识,向本地KV存储系统发起区块数据的数据处理请求。本实施例中,新增同步区块是指相对于本机节点本地存储的区块链而言,新增加的区块,也就是说从其他节点获取的待同步区块。
具体的,在执行步骤S520之后,可以通过上层软件根据新增同步区块所确定的生效区块版本标识,向本地KV存储系统发起区块数据的查询、删除、更改或写入等数据处理请求,也就是说本地KV存储系统将执行上述实施例提供的数据存储的操作。
例如,本地已有区块0-100,相应的版本标识是从0000~0100。在本地的映射关系表中,记录有各个键标识与0000~0100中某些版本标识的对应关系。与键标识对应记录的版本标识,是在该版本的区块事务请求中对键标识所对应的值域数据进行过更改的。如果本地节点同步了区块101-200,则同步获得映射关系表将包括键标识与版本标识0101~0200之间的对应关系。当然,不同节点确定的版本标识,可能不是相同规则,则版本标识除了流水号之外,还可以包括区块标识,使得每个区块所对应的版本标识是全链唯一的。
本实施例的技术方案中,被同步区块的节点,在向需求同步的节点拷贝区块数据的过程中,并不需要停机。因为即使被同步区块的节点继续接收新事务请求并处理产生新区块,也不会修改已有区块所影响的链上和链下数据,所以不需要停机进行同步。这为节点间进行区块同步提供了更加灵活的操作空间,同步过程不对节点参与区块链网络构成影响。并且,可以将同步需求分几次执行。
本发明实施例提供的技术方案,在通过上层软件确定产生区块同步需求时,可以从其他节点接收区块数据,及区块数据的键标识和版本标识的映射关系表;而后通过上层软件向本地KV存储系统发起数据写入请求,以请求本地KV存储系统将区块数据写入本地的存储空间中,同时可以将获取的映射关系表添加至本地的映射关系表中,进而可完成区块的同步,相比于现有的区块数据的同步方式,本方案在从其他节点获取区块数据后,无需重新执行区块中的事务请求,即可直接获取区块的链下本地数据,加快了数据同步,为区块数据同步提供了一种新思路;每个区块中事务请求所新增或改写的数据,会对应一个新的版本标识进行键值对存储,不影响已有版本标识键值对中的数据,即数据和数据的索引具有快照功能,方便在不停机的状态下进行同步操作。
实施例二
图6为本发明实施例二提供的一种区块数据的同步方法的流程图,本实施例在上述实施例的基础上,进一步的优化。参见图6,该方法具体包括:
S610,通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及区块数据的键标识和版本标识的映射关系表。
S620,通过上层软件向本地KV存储系统发起数据写入请求,将获取到的区块数据写入本地的存储空间。
S630,将获取的映射关系表相对于本地映射关系表的增量键标识和版本标识,添加至本地映射关系表中,且保留本地映射关系表中的已有键标识和版本标识。
其中,增量版本标识中至少包括同步区块所对应的生效区块版本标识,还可以包括失效区块版本标识等。可选的,从其他节点获取的区块数据至少包括正确的同步区块的数据,还可能包括有误的同步区块的数据等。
具体的,区块链节点在保留本地映射关系表中已有键标识和版本标识的情况下,将从其他节点获取的映射表相对于本地映射关系表的增量键标识和版本标识,添加至本地映射关系表中。
需要说明的是,即使本机节点从其他节点所获取的待同步区块的区块数据中存在有误的同步区块的数据,本机节点在后续可基于生效区块版本标识进行数据处理,可不关注有误的同步区块数据,相当于做了删除操作。但是,若本机节点想查看有误的同步区块数据时,还可以根据相关的版本标识进行查看。
S640,确定映射关系表中新增同步区块所对应的版本标识生效,默认写入的同步区块数据验证通过,结束区块同步操作。
本机节点已经获得了区块链上和链下的所有数据,此时,可不必通过重新执行事务请求来验证所有数据的正确性,若本次同步的区块有误,在后续新产生区块的基础上,可发现区块所依赖的数据有误,进而本机节点可重新发起区块同步需求或验证操作。
具体的,本机节点在通过上层软件确定本地映射关系表中新增同步区块所对应的版本标识生效后,可默认写入的同步区块数据验证通过,进而结束区块同步操作。
本发明实施例提供的技术方案,在通过上层软件确定产生区块同步需求时,并没有根据获取的区块数据重新执行事务请求的处理,而是在确定所获取的待同步区块的版本标识生效的情况下,默认完成了区块的同步操作。相比于现有的区块数据的同步方式,本方案在从其他节点获取区块数据后,无需重新执行区块中的事务请求,即可完成本地区块的同步,加快了数据同步,为区块数据同步提供了一种新思路。
实施例三
图7为本发明实施例三提供的一种区块数据的同步方法的流程图,本实施例提供了一种区块链系统以KV存储系统作为底层存储系统时的区块数据同步的方法,该方法适用于区块链网络中,任一节点向需要进行区块同步的节点提供区块数据,以使其进行区块同步场景的解决方案。其中,需要进行区块同步的节点可以执行前述实施例一或二的方案以实现区块同步。本发明实施例的方案应用于区块链节点,该方法可以由区块数据的同步装置来执行,该装置可采用软件和/或硬件的方式实现,并可集成于承载区块链节点的计算设备中。参见图7,该方法具体包括:
S710,接收到其他节点发送的同步请求,并根据同步请求确定待同步区块。
本实施例中,同步请求是指区块链节点中的节点在确定产生区块同步需求时,向区块链网络所发起的请求;同步请求中可以包括待同步区块的区块标识,以及节点标识等。其中,节点标识是指用于唯一识别某一区块链节点身份的标志,如可以是区块链节点本地的IP地址等。
待同步区块可以为当前区块链的全部区块,一个区块,连续的至少两个区块,或不连续的至少两个区块,可根据所获取的同步请求而定。可选的,若同步请求的发起节点是新加入区块链网络的节点,则需要的待同步区块为当前区块链的全部区块,此时,可默认同步请求中可以不包括任何区块的区块标识。本机节点接收到其他节点发送的同步请求后,若确定该同步请求中不包括任何区块的区块标识,则默认将当前区块链的全部区块作为待同步区块。
具体的,本机节点可以接收其他节点发送的同步请求,而后依据同步请求中的区块标识确定待同步区块。
S720,根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识。
本实施例中,本机节点本地KV存储系统预先构建键标识与版本标识的映射关系表,用于供上层软件查询。可选的,键标识与版本标识的映射关系表中,罗列了存储系统中所有键值对的键标识,每个键标识可以对应一个或多个版本标识,版本标识随着键值对的更新而添加。键标识可以为能体现数据实际含义的标识,如区块标识、事务标识、账户名称等。
具体的,本机节点在确定待同步区块后,可以将待同步区块的区块标识提供给上层软件,使上层软件根据待同步区块的区块标识在键标识和版本标识的映射关系表中进行匹配,确定待同步区块的关联版本标识。
S730,根据关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给同步请求的发起节点,并将映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给发起节点。
其中,区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,版本标识用于标识修改值域数据的区块。映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,即为待同步区块的区块数据的键标识和版本标识的映射关系表。
具体的,本机节点根据关联版本标识及键标识,确定待同步区块的区块数据在本地KV存储系统中的存储地址,而后获取待同步区块的区块数据,并将其发送至同步请求的发起节点;同时将本地的键标识和版本标识的映射关系表中,与联版本标识相关的键标识和版本标识对应关系,发送给发起节点,以使发起节点依据待同步的区块数据,及区块数据的键标识和版本标识的映射关系表进行区块同步及本地数据索引的构建。
需要说明的是,由于不同的区块的事务请求所修改的数据具有不同的版本标识,也就有是说区块的版本标识有唯一性,保证了本机节点获取的待同步区块的区块数据关联的版本标识所对应的键值对,不会随着当前区块的执行而更改,进而保证了本机节点在执行区块数据同步时,仍然可进行当前事务请求的处理,提高了区块链系统的效率。
示例性的,在执行区块数据同步的过程中,还可以包括:接收区块链网络中的事务请求并进行处理,将事务数据添加至新的区块中,并将事务请求处理过程中产生的数据处理请求,传输给本地KV存储系统进行处理,以产生新键值对;其中,新区块确定有新版本标识,且新键值对的键域存储有新版本标识。
具体的,本机节点在执行区块数据同步的过程中,也就是说执行步骤S710至S730操作的过程中,若接收到区块链网络中的事务请求,则而可以对其进行处理产生事务数据,并将产生的事务数据添加至新的区块中;同时,将事务请求处理过程中产生的数据处理请求如写入请求,通过上层软件传输至本地KV存储系统,以使本地KV存储系统对该数据处理请求进行处理,产生具有新版本标识的新键值对。
本发明实施例提供的技术方案,区块链节点在根据获取的同步请求确定待同步区块后,可以基于本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;而后基于关联版本标识在本地KV存储系统中获取待同步区块的区块数据,并将待同步区块的区块数据,及区块数据的键标识和版本标识的映射关系表反馈至同步请求的发起节点,以使发起节点依据待同步的区块数据,及区块数据的键标识和版本标识的映射关系表进行区块同步及本地数据索引的构建。本方案基于不同的区块的事务请求所修改的数据具有不同的版本标识,保证了区块链节点获取的待同步区块的区块数据关联的版本标识所对应的键值对,不会随着当前区块的执行而更改,进而保证了区块链节点在执行区块数据同步时,仍然可进行当前事务请求的处理,提高了区块链系统的效率。
实施例四
图8为本发明实施例四提供的一种区块数据的同步方法的流程图,本实施例在上述实施例的基础上,提供了一种优选示例,给出了同步请求发起节点与其他节点交互实现本地区块同步的方案。参见图8,该方法具体包括:
S810,区块链节点在通过上层软件确定产生区块同步需求时,向区块链网络发送同步请求。
S820,其他节点接收到区块链节点发送的同步请求,并根据同步请求确定待同步区块。
S830,其他节点根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识。
S840,其他节点根据关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给区块链节点,并将映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给区块链节点。
其中,区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,版本标识用于标识修改值域数据的区块。
S850,区块链节点获取从其他节点接收的待同步区块的区块数据,以及区块数据的键标识和版本标识的映射关系表。
S860,区块链节点通过上层软件向本地KV存储系统发起数据写入请求,将获取到的区块数据写入本地的存储空间,并将获取的映射关系表添加至本地的映射关系表中。
本发明实施例提供的技术方案,区块链节点在通过上层软件确定产生区块同步需求时,可以向其他节点发送同步请求;其他节点反馈依据同步请求,向该区块链节点反馈区块数据,及区块数据的键标识和版本标识的映射关系表;区块链节点接收区块数据,及区块数据的键标识和版本标识的映射关系表;而后通过上层软件向本地KV存储系统发起数据写入请求,以请求本地KV存储系统将区块数据写入本地的存储空间中,同时可以将获取的映射关系表添加至本地的映射关系表中,进而可完成区块的同步,相比于现有的区块数据的同步方式,本方案在从其他节点获取区块数据后,无需重新执行区块中的事务请求,即可直接获取区块的链下本地数据,加快了数据同步,为区块数据同步提供了一种新思路;每个区块中事务请求所新增或改写的数据,会对应一个新的版本标识进行键值对存储,不影响已有版本标识键值对中的数据,即数据和数据的索引具有快照功能,方便在不停机的状态下进行同步操作。
实施例五
图9为本发明实施例五提供的一种区块数据的同步装置的结构示意图,该装置可配置于区块链节点的计算设备中,可执行本发明实施例一和二所提供的区块数据的同步方法,具备执行方法相应的功能模块和有益效果。如图9所示,该装置包括:
获取模块910,用于通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及区块数据的键标识和版本标识的映射关系表;
写入模块920,用于通过上层软件向本地KV存储系统发起数据写入请求,将获取到的区块数据写入本地的存储空间,并将获取的映射关系表添加至本地的映射关系表中;
其中,区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,版本标识用于标识修改值域数据的区块。
本发明实施例提供的技术方案,在通过上层软件确定产生区块同步需求时,可以从其他节点接收区块数据,及区块数据的键标识和版本标识的映射关系表;而后通过上层软件向本地KV存储系统发起数据写入请求,以请求本地KV存储系统将区块数据写入本地的存储空间中,同时可以将获取的映射关系表添加至本地的映射关系表中,进而可完成区块的同步,相比于现有的区块数据的同步方式,本方案在从其他节点获取区块数据后,无需重新执行区块中的事务请求,即可直接获取区块的链下本地数据,加快了数据同步,为区块数据同步提供了一种新思路;每个区块中事务请求所新增或改写的数据,会对应一个新的版本标识进行键值对存储,不影响已有版本标识键值对中的数据,即数据和数据的索引具有快照功能,方便在不停机的状态下进行同步操作。
示例性的,上述装置还可以包括:
处理请求发起模块,用于通过上层软件根据新增同步区块所确定的生效区块版本标识,向本地KV存储系统发起区块数据的数据处理请求。
示例性的,获取模块910在通过上层软件确定产生区块同步需求时,可以用于:
如果区块链节点为新加入区块链的节点,则确定产生区块同步需求,并确定待同步区块为当前区块链的所有区块。
示例性的,获取模块910在通过上层软件确定产生区块同步需求时,还可以用于:
通过上层软件根据设定需求确定待同步区块,并产生区块同步需求;其中,待同步区块为连续的一个区块,连续的至少两个区块,或不连续的至少两个区块。
实施例六
图10为本发明实施例六提供的一种区块数据的同步装置的结构示意图,该装置可配置于区块链节点的计算设备中,可执行本发明实施例三所提供的区块数据的同步方法,具备执行方法相应的功能模块和有益效果。如图10所示,该装置包括:
同步区块确定模块1010,用于接收到其他节点发送的同步请求,并根据同步请求确定待同步区块;
关联标识确定模块1020,用于根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;
发送模块1030,用于根据关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给同步请求的发起节点,并将映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给发起节点;
其中,区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,版本标识用于标识修改值域数据的区块。
本发明实施例提供的技术方案,区块链节点在根据获取的同步请求确定待同步区块后,可以基于本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;而后基于关联版本标识在本地KV存储系统中获取待同步区块的区块数据,并将待同步区块的区块数据,及区块数据的键标识和版本标识的映射关系表反馈至同步请求的发起节点,以使发起节点依据待同步的区块数据,及区块数据的键标识和版本标识的映射关系表进行区块同步及本地数据索引的构建。本方案基于不同的区块的事务请求所修改的数据具有不同的版本标识,保证了区块链节点获取的待同步区块的区块数据关联的版本标识所对应的键值对,不会随着当前区块的执行而更改,进而保证了区块链节点在执行区块数据同步时,仍然可进行当前事务请求的处理,提高了区块链系统的效率。
示例性的,上述装置还可以包括:
处理模块,用于在执行区块数据同步的过程中,接收区块链网络中的事务请求并进行处理,将事务数据添加至新的区块中,并将事务请求处理过程中产生的数据处理请求,传输给本地KV存储系统进行处理,以产生新键值对;
其中,新区块确定有新版本标识,且新键值对的键域存储有新版本标识。
示例性的,待同步区块为当前区块链的全部区块,一个区块,连续的至少两个区块,或不连续的至少两个区块。
实施例七
图11为本发明实施例七提供的一种设备的结构示意图。图11示出了适于用来实现本发明实施方式的示例性设备12的框图。图11显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备12典型可以是承担区块链网络节点功能的计算设备。
如图11所示,设备12以通用计算设备的形式表现。设12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图11未显示,通常称为“硬盘驱动器”)。尽管图11中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如可实现本发明实施例所提供的区块数据的同步方法。
实施例八
本发明实施例八还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述实施例所述的区块数据的同步方法。该计算机可读存储介质,可以配置于区块链节点上。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种区块数据的同步方法,其特征在于,应用于区块链节点,所述方法包括:
通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及所述区块数据的键标识和版本标识的映射关系表;其中,待同步区块为一个区块,或,连续的至少两个区块,或不连续的至少两个区块;
通过上层软件向本地KV存储系统发起数据写入请求,将获取到的所述区块数据写入本地的存储空间,并将获取的所述映射关系表相对于本地映射关系表的增量键标识和版本标识,添加至本地映射关系表中,且保留本地映射关系表中的已有键标识和版本标识;其中,增量版本标识包括同步区块所对应的生效区块版本标识或失效区块版本标识;
确定所述映射关系表中新增同步区块所对应的版本标识生效,无需重新执行区块中的事务请求,默认写入的同步区块数据验证通过,结束区块同步操作;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
2.根据权利要求1所述的方法,其特征在于,还包括:
通过上层软件根据新增同步区块所确定的生效区块版本标识,向本地KV存储系统发起区块数据的数据处理请求。
3.根据权利要求1所述的方法,其特征在于,通过上层软件确定产生区块同步需求,包括:
如果所述区块链节点为新加入区块链的节点,则确定产生区块同步需求,并确定待同步区块为当前区块链的所有区块。
4.根据权利要求1所述的方法,其特征在于,通过上层软件确定产生区块同步需求,包括:
通过上层软件根据设定需求确定待同步区块,并产生区块同步需求;其中,待同步区块为一个区块,连续的至少两个区块,或不连续的至少两个区块。
5.一种区块数据的同步方法,其特征在于,应用于区块链节点,所述方法包括:
接收到其他节点发送的同步请求,并根据所述同步请求确定待同步区块;所述待同步区块为当前区块链的全部区块,或,一个区块,或,连续的至少两个区块,或不连续的至少两个区块;
根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;
根据所述关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给同步请求的发起节点,并将所述映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给所述发起节点;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
6.根据权利要求5所述的方法,其特征在于,在执行区块数据同步的过程中,还包括:
接收区块链网络中的事务请求并进行处理,将事务数据添加至新的区块中,并将事务请求处理过程中产生的数据处理请求,传输给本地KV存储系统进行处理,以产生新键值对;
其中,新区块确定有新版本标识,且所述新键值对的键域存储有新版本标识。
7.一种区块数据的同步装置,其特征在于,配置于区块链节点,所述装置包括:
获取模块,用于通过上层软件确定产生区块同步需求时,获取从其他节点接收的待同步区块的区块数据,以及所述区块数据的键标识和版本标识的映射关系表;其中,待同步区块为一个区块,或,连续的至少两个区块,或不连续的至少两个区块;
写入模块,用于通过上层软件向本地KV存储系统发起数据写入请求,将获取到的所述区块数据写入本地的存储空间,并将获取的所述映射关系表相对于本地映射关系表的增量键标识和版本标识,添加至本地映射关系表中,且保留本地映射关系表中的已有键标识和版本标识;其中,增量版本标识包括同步区块所对应的生效区块版本标识或失效区块版本标识;确定所述映射关系表中新增同步区块所对应的版本标识生效,无需重新执行区块中的事务请求,默认写入的同步区块数据验证通过,结束区块同步操作;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
8.一种区块数据的同步装置,其特征在于,配置于区块链节点,所述装置包括:
同步区块确定模块,用于接收到其他节点发送的同步请求,并根据所述同步请求确定待同步区块;所述待同步区块为当前区块链的全部区块,或,一个区块,或,连续的至少两个区块,或不连续的至少两个区块;
关联标识确定模块,用于根据本地的键标识和版本标识的映射关系表,确定待同步区块的关联版本标识;
发送模块,用于根据所述关联版本标识,在本地KV存储系统中获取待同步区块的区块数据,发送给同步请求的发起节点,并将所述映射关系表中,与关联版本标识相关的键标识和版本标识对应关系,发送给所述发起节点;
其中,所述区块数据在KV存储系统中存储在键值对中,且键域存储有键标识和版本标识,值域用于存储数据,所述版本标识用于标识修改值域数据的区块。
9.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的区块数据的同步方法,或者实现如权利要求5-6中任一所述的区块数据的同步方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的区块数据的同步方法,或者实现如权利要求5-6中任一所述的区块数据的同步方法。
CN201811604179.6A 2018-12-26 2018-12-26 区块数据的同步方法、装置、设备及存储介质 Active CN109684414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811604179.6A CN109684414B (zh) 2018-12-26 2018-12-26 区块数据的同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811604179.6A CN109684414B (zh) 2018-12-26 2018-12-26 区块数据的同步方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109684414A CN109684414A (zh) 2019-04-26
CN109684414B true CN109684414B (zh) 2022-04-08

Family

ID=66189805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811604179.6A Active CN109684414B (zh) 2018-12-26 2018-12-26 区块数据的同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109684414B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297855A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 报表动态展示方法、装置、计算机设备及存储介质
CN110309173B (zh) * 2019-06-14 2021-08-13 达闼机器人有限公司 合约数据的记录方法、装置及区块链节点、存储介质
CN110517041B (zh) * 2019-07-09 2022-06-03 咪咕文化科技有限公司 一种区块链的管理方法、装置、电子设备及存储介质
CN112433748A (zh) * 2019-08-26 2021-03-02 北京国双科技有限公司 软件系统版本标定方法、装置、存储介质及处理器
CN110597764B (zh) * 2019-10-10 2024-05-07 深圳前海微众银行股份有限公司 一种文件下载、版本管理方法及装置
CN111027086B (zh) * 2019-12-16 2021-04-20 支付宝(杭州)信息技术有限公司 一种私有数据保护方法和系统
CN111339191B (zh) * 2020-02-20 2023-05-26 百度在线网络技术(北京)有限公司 一种区块链的数据存储方法、装置、设备和介质
CN112714149A (zh) * 2020-11-27 2021-04-27 北京飞讯数码科技有限公司 数据同步方法、装置、计算机设备及存储介质
CN113239098B (zh) * 2021-07-14 2021-09-28 腾讯科技(深圳)有限公司 一种数据管理方法、计算机及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408091A (zh) * 2014-11-11 2015-03-11 清华大学 分布式文件系统的数据存储方法及系统
CN107562775A (zh) * 2017-07-14 2018-01-09 阿里巴巴集团控股有限公司 一种基于区块链的数据处理方法及设备
CN107958023A (zh) * 2017-11-06 2018-04-24 北京华宇信息技术有限公司 数据同步方法、数据同步装置和计算机可读存储介质
CN108984697A (zh) * 2018-07-05 2018-12-11 江苏恒宝智能系统技术有限公司 一种区块链中节点数据同步方法
CN109086325A (zh) * 2018-06-29 2018-12-25 阿里巴巴集团控股有限公司 基于区块链的数据处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074224B2 (en) * 2015-05-11 2021-07-27 Apple Inc. Partitioned data replication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408091A (zh) * 2014-11-11 2015-03-11 清华大学 分布式文件系统的数据存储方法及系统
CN107562775A (zh) * 2017-07-14 2018-01-09 阿里巴巴集团控股有限公司 一种基于区块链的数据处理方法及设备
CN107958023A (zh) * 2017-11-06 2018-04-24 北京华宇信息技术有限公司 数据同步方法、数据同步装置和计算机可读存储介质
CN109086325A (zh) * 2018-06-29 2018-12-25 阿里巴巴集团控股有限公司 基于区块链的数据处理方法和装置
CN108984697A (zh) * 2018-07-05 2018-12-11 江苏恒宝智能系统技术有限公司 一种区块链中节点数据同步方法

Also Published As

Publication number Publication date
CN109684414A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109684414B (zh) 区块数据的同步方法、装置、设备及存储介质
CN109684307B (zh) 一种数据存储方法、装置、设备及存储介质
CN109710190B (zh) 一种数据存储方法、装置、设备及存储介质
US9411685B2 (en) Parity chunk operating method and data server apparatus for supporting the same in distributed raid system
US9952783B2 (en) Data processing method and apparatus, and shared storage device
US20200389291A1 (en) Data processing method and apparatus for blockchain, and storage medium
CN106815218B (zh) 数据库访问方法、装置和数据库系统
CN113396407A (zh) 用于利用区块链技术扩充数据库应用的系统和方法
CN109684335B (zh) 基于键值对的数据结构实现方法、装置、设备和存储介质
US11250395B2 (en) Blockchain-based transaction processing methods and apparatuses and electronic devices
WO2022121538A1 (zh) 基于区块链的数据同步方法、系统及相关设备
CN108363641B (zh) 一种主备机数据传递方法、控制节点以及数据库系统
CN109508564B (zh) 一种基于区块链的数字资产存储系统和方法
US10055475B2 (en) Authentication system, synchronization method, and authentication apparatus
CN109726206B (zh) 区块链节点的数据处理方法、装置、设备和存储介质
CN109710695B (zh) 事务请求有效性识别和发起方法、装置、设备和介质
EP2710477B1 (en) Distributed caching and cache analysis
CN109213901B (zh) 一种区块链的数据同步方法、装置、设备及介质
CN109656886B (zh) 基于键值对的文件系统实现方法、装置、设备和存储介质
WO2023207492A1 (zh) 一种数据处理方法、装置、设备及可读存储介质
CN109347803B (zh) 一种区块链的数据处理方法、装置、设备及介质
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
US8019729B2 (en) System and method for updating file
JPWO2009066611A1 (ja) 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム
CN109254999B (zh) 一种区块链的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant