CN107423426A - 一种区块链块数据的数据归档方法及电子设备 - Google Patents

一种区块链块数据的数据归档方法及电子设备 Download PDF

Info

Publication number
CN107423426A
CN107423426A CN201710651103.8A CN201710651103A CN107423426A CN 107423426 A CN107423426 A CN 107423426A CN 201710651103 A CN201710651103 A CN 201710651103A CN 107423426 A CN107423426 A CN 107423426A
Authority
CN
China
Prior art keywords
block number
block
file
data
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710651103.8A
Other languages
English (en)
Other versions
CN107423426B (zh
Inventor
张乐
杜君君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongan Information Technology Service Co ltd
Original Assignee
Zhongan Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Information Technology Service Co Ltd filed Critical Zhongan Information Technology Service Co Ltd
Priority to CN201710651103.8A priority Critical patent/CN107423426B/zh
Publication of CN107423426A publication Critical patent/CN107423426A/zh
Priority to PCT/CN2018/095783 priority patent/WO2019024673A1/zh
Priority to JP2019511774A priority patent/JP2019532401A/ja
Priority to SG11201903009PA priority patent/SG11201903009PA/en
Priority to KR1020197007136A priority patent/KR20190067158A/ko
Priority to US16/243,835 priority patent/US20190146946A1/en
Application granted granted Critical
Publication of CN107423426B publication Critical patent/CN107423426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种区块链块数据的数据归档方法及电子设备,属于计算机技术领域。方法包括:周期性地检测区块链节点数据中满足归档条件的块数据;若检测到,则从本地拷贝满足归档条件的块数据,进行压缩并将压缩包上传至可靠分布式存储系统;若上传成功,则获取上传的压缩包的文件hash,并将压缩包的文件hash与上传的块数据高度范围的记录插入归档文件hash表中;若上传失败,则输出错误日志并重新上传。通过周期性地检测满足归档条件的块数据,对满足归档条件的块数据进行归档,实现了对区块链节点块数据进行归档的需求,从而降低了节点存储的块数据,减少了块数据对磁盘空间的占用,提高了磁盘空间使用率,提高了节点数据备份和恢复效率。

Description

一种区块链块数据的数据归档方法及电子设备
技术领域
本发明涉及计算机技术领域,特别涉及一种区块链块数据的数据归档方法及电子设备。
背景技术
区块链是利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全,生成不可篡改和不可伪造的分布式账本,建立互相信任的数据网络。
数据归档是一种保持在线数据库规模大体不变却有能够为用户应用提供稳定的数据库性能的方法,其工作原理是,将在线数据库中长期不使用的数据迁移至历史数据库或文件形式归档,降低了活动数据的规模。
由于已归档的数据可以随时进行备份而不会影响在线数据库的应用,这部分数据一般为长时间不活跃的数据;在线的数据库也因为进行数据归档后而瘦身,备份数据量减少,并从整体减少需要备份的数据总量;同时,在对数据进行同步和恢复的时候,可以在短时间内首先完成在线数据库恢复,之后再进行其他数据的恢复工作,能够提高效率和可用性。
由于区块链中的每个节点都会存储完整数据,随着链高度的增加,每个节点数据一直增加,因此需要对区块链的数据进行数据归档,而目前对于区块链节点块数据没有高效的数据归档方法,经过研究,区块链中存储的数据主要分为状态数据和块数据,块数据访问概率低,数据量大,且不会更改,所以需要提供一种对区块链块数据进行数据归档的方法。
发明内容
为了能够对区块链节点块数据进行归档,降低节点存储的块数据,减少块数据对磁盘的空间占用,提高节点数据备份和恢复效率,本发明实施例提供了一种区块链块数据的数据归档方法及电子设备。所述技术方案如下:
第一方面,提供了一种区块链块数据的数据归档方法,所述方法包括:
周期性地检测区块链节点数据中满足归档条件的块数据,所述归档条件包括块数据高度值和访问频率;
若检测到满足所述归档条件的块数据,则从本地拷贝所述满足归档条件的块数据,进行压缩生成压缩包,并将所述压缩包上传至可靠分布式存储系统;
若上传成功,则获取上传的所述压缩包的文件hash,并将所述压缩包的文件hash与上传的所述块数据高度范围的记录插入归档文件hash表中;
若上传失败,则输出错误日志,并重新上传。
结合第一方面,在第一种可能实现的方式中,所述周期性地检测区块链节点数据中满足归档条件的块数据包括:
查看所述区块链节点本地存储的块数据个数,即最低高度值的块数据与最高高度值的块数据之间的所有块数据个数;
若所述块数据个数大于预设个数,则从所述最低高度值的块数据开始获取所述预设个数的块数据;以及
若每个所述预设个数的块数据的访问频率均小于预设访问频率,则确定所述预设个数的块数据为满足所述归档条件的块数据;
其中,所述周期时间小于达到所述预设个数的块数据的生成时间。
结合第一方面的第一种可能实现的方式,在第二种可能实现的方式中,所述方法还包括:
在每个区块链节点数据库维护一个归档文件hash表,用于持久化保存所述区块链节点已归档的压缩包文件hash与已归档的块数据高度值范围的对应关系。
结合第一方面,在第三种可能实现的方式中,所述重新打包上传包括:
重新对所述压缩包上传一次;
若再次上传失败,则重复执行周期性地检测区块链节点数据中满足归档条件的块数据的步骤;以及
删除产生的冗余数据。
结合第一方面至第一方面的第三种任意一项所述的方法,在第四种可能实现的方式中,对所述归档的块数据进行查询,包括:
获取查询请求,所述查询请求包括所要查询的区块链节点的块数据的高度值;
根据所述高度值判断所述所要查询的块数据是否是已归档数据,若是,则根据所述高度值在所述归档文件hash表中查询,否则,访问本地查询;
若在所述归档文件hash表中查询到对应的文件hash,则在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,若在所述归档文件hash表中没有查询到对应的文件hash,则转发所述查询请求,请求其他节点;
若在本地已经下载的历史数据目录下查询到相同hash名称的文件夹,则访问所述历史数据目录下具有所述相同hash名称的文件夹下的数据库文件查找,若在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹,则从可靠分布式存储系统下载所述文件hash对应的压缩包;
若下载成功,则解压并返回查询结果,若下载失败,则返回错误,并重新查找。
第二方面,提供了一种电子设备,所述设备包括:
检测模块,用于周期性地检测区块链节点数据中满足归档条件的块数据,所述归档条件包括块数据高度值和访问频率;
拷贝模块,用于在所述检测模块检测到满足所述归档条件的块数据时,从本地拷贝所述满足归档条件的块数据;
压缩模块,用于对所述块数据进行压缩生成压缩包;
上传模块,用于对所述压缩包上传至可靠分布式存储系统;
压缩包文件hash获取模块,用于当所述上传模块上传成功时,获取上传的所述压缩包的文件hash;
记录模块,用于将所述压缩包的文件hash与上传的所述块数据高度范围的记录插入归档文件hash表中;
错误输出模块,用于当所述上传模块上传失败时,输出错误日志;
重复上传模块,用于每个预设周期将上传失败的压缩包重新打包上传。
结合第二方面,在第一种可能实现的方式中,所述检测模块包括:
块数据个数查看子模块,用于查看所述区块链节点本地存储的块数据个数,即最低高度值的块数据与最高高度值的块数据之间的所有块数据个数;
预设个数块数据获取子模块,用于当所述块数据个数大于预设个数时,从所述最低高度值的块数据开始获取所述预设个数的块数据;以及
归档块数据确定子模块,当每个所述预设个数的块数据的访问频率均小于预设访问频率时,确定所述预设个数的块数据为满足所述归档条件的块数据;
其中,所述周期时间小于达到所述预设个数的块数据的生成时间。
结合第二方面的第一种可能实现的方式,在第二种可能实现的方式中,所述设备还包括:
归档文件hash表维护模块,用于在在每个区块链节点数据库维护一个归档文件hash表;
所述归档文件hash表用于持久化保存所述区块链节点已归档的压缩包文件hash与已归档的块数据高度值范围的对应关系。
结合第二方面,在第三种可能实现的方式中,所述重新上传模块包括:
重新上传子模块,用于重新对所述压缩包上传一次;
当所述重新上传子模块上传失败,则所述检测模块重复执行周期性地检测区块链节点数据中满足归档条件的块数据的操作;
冗余数据删除子模块,用于删除产生的冗余数据。
结合第二方面至第二方面的第三种任意一种可能实现的方式,在第四种可能实现的方式中,所述设备包括还包括查询模块,所述查询模块具体包括:
查询请求获取子模块,用于获取查询请求,所述查询请求包括所要查询的区块链节点的块数据的高度值;
归档数据判断子模块,用于根据所述高度值判断所述所要查询的块数据是否是已归档数据,当判定是时,hash表中查询子模块根据所述高度值在所述归档文件hash表中查询,否则,本地查询子模块访问本地查询;
当所述hash表中查询子模块在所述归档文件hash表中查询到对应的文件hash时,则历史数据目录下查询子模块在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,当所述hash表中查询子模块在所述归档文件hash表中没有查询对应的文件hash时,则转发子模块转发所述查询请求,请求其他节点;
当所述历史数据目录下查询子模块在本地已经下载的历史数据目录下查询到相同hash名称的文件夹时,则文件夹中查询子模块访问所述历史数据目录下具有所述相同hash名称的文件夹下的数据库文件查找,当所述历史数据目录下查询子模块在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹时,则下载子模块从可靠分布式存储系统下载所述文件hash对应的压缩包;
当所述下载子模块下载成功,则反馈结果子模块解压并返回查询结果,当所述下载子模块下载失败时,则错误反馈子模块用于返回错误,并重新查找。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供了一种区块链块数据的数据归档方法,通过周期性地检测区块链节点数据中满足归档条件的块数据,归档条件包括块数据高度值和访问频率,从而对检测到的满足归档条件的块数据进行归档,实现了对区块链节点块数据进行归档的需求,通过对满足归档条件的块数据进行归档,降低了节点存储的块数据,减少了块数据对磁盘的空间占用,提高了节点数据备份和恢复效率;同时,本发明实施例采用的是可靠分布式存储系统,因为可靠分布式存储系统具有不可篡改、不丢失、公开追溯且天然容灾的特性,从而通过该系统存储归档数据,保证了归档数据的安全性;另外,将压缩包的文件hash与上传的块数据高度范围的记录插入归档文件hash表中,方便了对归档数据进行归档记录,同时便于对归档数据进行的查询恢复。
同时,本发明实施例通过获取查询请求,根据查询请求中的高度值判断所述所要查询的块数据是否是已归档数据,若是,则根据高度值在归档文件hash表中查询,当在归档文件hash表中能够查询到对应的文件hash时,在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,从而首先能够从本地已下载的历史数据目录下进行查询,避免直接从可分布式存储系统下载造成的处理资源浪费以及多次下载造成的压缩包等文件积累的问题;当在归档文件hash表中没有查询到对应的文件hash时,更新归档文件hash表,转发查询请求,请求其他节点进行查询,避免查询不到的情况;同时,在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹,再从可靠分布式存储系统下载文件hash对应的压缩包,这样避免了一开始即从可靠分布式存储系统下载所造成的冗余数据积累的问题,从而通过本发明实施例对提供的方法,能够对已归档的块数据进行快速高效查询恢复,且无需每次都进行下载,避免了冗余数据的积累,提高了查询效率及设备使用效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种区块链块数据的数据归档方法流程图;
图2是本发明实施例提供的一种区块链块数据的数据归档方法中数据查询过程流程图;
图3是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了一种区块链块数据的数据归档方法,参照图1所示,方法包括:
101、周期性检测区块链节点数据中满足归档条件的块数据,若检测到满足归档条件的块数据,则执行步骤102;若未检测到满足归档条件的块数据,则重复执行步骤101。
其中,归档条件包括块数据高度值和访问频率;
周期性地检测区块链节点数据中满足归档条件的块数据的过程可以包括:
a、查看所述区块链节点本地存储的块数据个数,即最低高度值的块数据与最高高度值的块数据之间的所有块数据个数;
具体的,如本地最低高度值的块数据为H0,最高高度值的块数据为H11,则本地存储的数据块个数为H11-H0+1=11个,即最低高度值到最高高度值之间有11个块数据块。
b、若所述块数据个数大于预设个数,则从所述最低高度值的块数据开始获取所述预设个数的块数据;
具体的,该预设个数可以为M个,对于预设个数的具体数值不加以限定,根据实际应用环境进行配置;
若该M为10个块数据时,以步骤a中为例,当本次存储的最低高度值到最高高度值之间的块数据个数大于预设个数,即11大于10时,则从最低高度值的块数据开始获取到该预设个数的块数据,即H0到H10的块数据。
c、若每个所述预设个数的块数据的访问频率均小于预设访问频率,则确定所述预设个数的块数据为满足所述归档条件的块数据;
具体的,在内存中维护一个列表,用于记录最近一段时间内访问频率超过预设访问频率的块数据以及块数据对应的高度值,预设访问频率可以为N,即访问频率超过N的块数据可以为{T1…T10};
则当该预设个数的块数据,即H0到H10的块数据均不在{T1…T10}内时,确定该H0到H10的块数据为满足归档条件的块数据,即该预设个数的块数据中的每个块数据的访问频率均小于预设访问频率时,确定该预设个数的块数据满足归档条件。
需要说明的是,对预设访问频率值的设定不加以限定,根据实际应用具体设置。
可选的,方法还包括:
设定周期性检测的时间。
具体的,该周期时间小于达到该预设个数的块数据的生成时间。
因为将检测的周期时间设置为小于预设个数的块数据的生成时间,才能在再次生成预设个数的块数据前将已经满足预设个数的块数据进行数据归档,以避免本地满足归档条件的块数据的累积。
其中,该周期性检测可以是实时检测,周期性检测的时间根据实际应用进行设置,本发明实施例对此不加以限定。
可选的,方法还包括:
对热数据通过缓存方式进行存储。
具体的,在本地存储的块数据中,某些块数据在某段时间可能被访问或被多次访问,则为热数据,对该部分数据采取缓存方式,可以加快访问速度;对于热数据当其不被访问满足归档条件时,进行数据归档。
通过对热数据使用缓存方式存储能够加快访问速度以及减少设备处理的压力。
将块数据高度值和访问频率设置为归档条件,因为块数据的高度值和访问频率能够直观的反应区块链节点的块数据是否为长期不使用的数据,因此通过高度值和访问频率对长期不使用的块数据进行检测,能够更加简单、高效的划分不常使用的块数据;且周期性地检测区块链节点数据中满足归档条件的块数据,以对该部分数据进行归档,从而能够降低活跃数据的规模,且只要周期性地检测到有满足归档条件的块数据即进行归档,减少了每次归档的数据量,提高了备份和恢复的效率;同时,对只要有满足对归档条件的块数据进行归档,减少了不常使用的数据对磁盘空间的占用。
102、从本地拷贝满足归档条件的块数据,进行压缩生成压缩包。
具体的,从本地blockstore.db数据库中拷贝满足该归档条件的块数据,并进行压缩,生成压缩包;
从本地拷贝满足归档条件的块数据还包括:
设置拷贝路径;
通过设置的该指定路径从本地拷贝满足归档条件的块数据。
103、将压缩包上传至可靠分布式存储系统,若上传成功,则执行步骤104;若上传失败,则执行步骤105-107。
具体的,该可靠分布式存储系统为具有不可篡改、不丢失、公开追溯且天然容灾特性的分布式存储系统。
通过将压缩包上传至可靠分布式存储系统,因为该分布式存储系统具有不可篡改、不丢失、公开追溯且天然容灾特性,所以通过该系统存储归档数据,保证了归档数据的安全性,不被篡改。
104、获取上传的压缩包的文件hash,并将压缩包的文件hash与上传的块数据高度范围的记录插入归档文件hash表中。
具体的,在该归档文件hash表中可以采用key-value存储方式,其中,用块高度值范围作为key,用上传的文件hash最为value生成记录;示例性的,如1_1000:filehash0这样的一条记录,表示高度1至1000的块数据的压缩包对应的文件hash为filehash0。
通过将上传的压缩包的文件hash与该上传的块数据高度范围作为一条记录插入归档文件hash表中,方便了对归档数据进行记录,同时便于对归档数据进行恢复查询。
可选的,方法还包括:
在每个区块链节点数据库维护一个归档文件hash表,用于持久化保存区块链节点已归档的文件压缩包hash与已归档的块数据高度值范围的对应关系。
需要说明的是,该步骤可以是在步骤101之前执行,也可以是在步骤104之前执行,还可以是使用之前维护的归档文件hash表,本发明实施例对此不加以限定。
105、输出错误日志。
具体的,根据输出的错误日志反馈,更改错误,每个预设周期重复打包上传至上传成功。
106、重新对该压缩包上传一次,若再次上传成功,则执行步骤104;若再次上传失败,则重复执行周期性地检测区块链节点数据中满足归档条件的块数据的步骤,即步骤101,并执行步骤107。
107、删除产生的冗余数据。
删除此次生成的未上传成功的压缩包等冗余数据。
需要说明的是,步骤106至步骤107是重新上传的过程,除了上述方式还可以通过其他方式实现该过程,本发明实施例对该过程不加以限定。
可选的,将压缩包文件的hash与上传的块数据高度范围的记录插入归档文件hash表中之后,即步骤104之后,方法还包括:
108、清除本地冗余数据。
具体的,上传成功将压缩包文件的hash与上传的块数据高度范围的记录插入归档文件hash表中之后,即步骤104之后,清除本地的压缩包、本地已经归档的块数据的冗余数据,以避免冗余数据积累和对磁盘的占用。
可选的,参照图2所示,本发明还包括对归档的块数据进行查询,该过程具体可以包括:
201、获取查询请求。
查询请求包括所要查询的区块链节点的块数据的高度值;
还可以包括其他,本发明实施例对查询请求不加以限定。
具体的,查询请求可以通过客户端发起,用户通过输入高度值进行查询对应高度的块数据。
202、根据高度值判断所要查询的块数据是否是已归档数据,若是,则执行步骤203;否则,访问本地查询。
具体的,根据该高度值是否满足数据归档条件中确定的预设高度值,判断所要查询的块数据是否是已归档数据,若该高度值满足预设高度值,则确定所要查询的块数据是已归档数据,则执行步骤203;否则,访问本地blockstore.db查询。
203、根据高度值在归档文件hash表中查询,若在归档文件hash表中查询到对应的文件hash,则执行步骤204;若在归档文件hash表中没有查询到对应的文件hash,则转发查询请求,请求其他节点。
具体的,当根据高度值在该节点的归档文件hash表中查询到对应的记录时,当查询到对应的记录时,通过匹配算法计算该查询请求对应的文件hash,并执行步骤204;
因为当有新节点加入集群时,在进行归档hash表同步的过程中,有请求访问到该节点,因为归档hash表没有完整同步,存在查询归档文件hash失败的可能性,所以更新归档文件hash表后,携带本节点信息,转发查询请求,请求其他节点进行查询,其查询过程与本实施例所述的方式类似,此处不再加以赘述。
204、在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,若在本地已经下载的历史数据目录下查询到相同hash名称的文件夹,则执行步骤205;若在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹,则执行步骤206。
具体的,根据计算获取的该对应的文件hash,在本地已下载的历史数据目录下查询是否存在与该文件hash具有相同hash名称的文件夹,若有,则执行步骤205;
若没有则执行步骤206。
205、访问历史数据目录下具有相同hash名称的文件夹下的数据库文件查找。
206、从可靠分布式存储系统下载文件hash对应的压缩包,若下载成功,则执行步骤207;若下载失败,则返回错误,并重新查找。
207、解压并返回查询结果。
可选的,从可靠分布式存储系统下载对应的压缩包,若下载成功之后,及步骤207之后,方法还包括:
208、下一个预设周期清理此次产生的多余数据库文件夹和压缩包。
具体的,在设定的清理产生的多余数据库文件夹和压缩包的预设周期的下一个周期对此次产生的进行清理。
该预设周期与周期性地检测区块链节点数据中满足归档条件的块数据的周期时间可以相同,也可以不同,本发明实施例对此不加以限定。
本发明实施例通过获取查询请求,根据查询请求中的高度值判断所述所要查询的块数据是否是已归档数据,若是,则根据高度值在归档文件hash表中查询,当在归档文件hash表中能够查询到对应的文件hash时,在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,从而首先能够从本地已下载的历史数据目录下进行查询,避免直接从可靠分布式存储系统下载造成的处理资源浪费以及多次下载造成的压缩包等文件积累的问题;当在归档文件hash表中没有查询到对应的文件hash时,更新归档文件hash表,转发查询请求,请求其他节点进行查询,避免查询不到的情况;同时,在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹,再从可靠分布式存储系统下载文件hash对应的压缩包,这样避免了一开始即从可靠分布式存储系统下载所造成的冗余数据积累的问题,从而通过本发明实施例对提供的方法,能够对已归档的块数据进行快速高效查询恢复,且无需每次都进行下载,避免了冗余数据的积累,提高了查询效率及设备使用效率。
本发明实施例提供了一种区块链块数据的数据归档方法,通过周期性地检测区块链节点数据中满足归档条件的块数据,归档条件包括块数据高度值和访问频率,从而对检测到的满足归档条件的块数据进行归档,实现了对区块链节点块数据进行归档的需求,通过对满足归档条件的块数据进行归档,减小了节点存储的块数据,减少了块数据对磁盘的空间占用,提高了节点数据备份效率;同时,因为采用可靠分布式存储系统,因为可靠分布式存储系统具有不可篡改、不丢失、公开追溯且天然容灾的特性,从而通过该系统存储归档数据,保证了归档数据的安全性;另外,将压缩包的文件hash与上传的块数据高度范围的记录插入归档文件hash表中,方便了对归档数据进行归档记录,同时便于对归档数据进行的恢复查询。
实施例二
本发明实施例提供了一种电子设备,参照图3所示,该电子设备3包括:
检测模块31,用于周期性地检测区块链节点数据中满足归档条件的块数据,归档条件包括块数据高度值和访问频率;
拷贝模块32,用于在检测模块31检测到满足归档条件的块数据时,从本地拷贝满足归档条件的块数据;
压缩模块33,用于对块数据进行压缩生成压缩包;
上传模块34,用于对压缩包上传至可靠分布式存储系统;
压缩包文件hash获取模块35,用于当上传模块34上传成功时,获取上传的压缩包的文件hash;
记录模块36,用于将压缩包的文件hash与上传的块数据高度范围的记录插入归档文件hash表中;
错误输出模块37,用于当上传模块上传失败时,输出错误日志;
重复上传模块38,用于重新上传。
可选的,检测模块31包括:
块数据个数查看子模块311,用于查看区块链节点本地存储的块数据个数,即最低高度值的块数据与最高高度值的块数据之间的所有块数据个数;
预设个数块数据获取子模块312,用于当块数据个数大于预设个数时,从最低高度值的块数据开始获取预设个数的块数据;以及
归档块数据确定子模块313,当每个预设个数的块数据的访问频率均小于预设访问频率时,确定预设个数的块数据为满足归档条件的块数据;
其中,周期时间小于达到预设个数的块数据的生成时间。
可选的,设备3还包括:
归档文件hash表维护模块39,用于在在每个区块链节点数据库维护一个归档文件hash表;
归档文件hash表用于持久化保存区块链节点已归档的压缩包文件hash与已归档的块数据高度值范围的对应关系。
可选的,重新上传模块38包括:
重新上传子模块381,用于重新对压缩包上传一次;
当重新上传子模块381上传失败,则检测模块31重复执行周期性地检测区块链节点数据中满足归档条件的块数据的操作;
冗余数据删除子模块382,用于删除产生的冗余数据。
可选的,设备3还包括:
清除模块,用于清除本地冗余数据。具体的,用于上传成功后,清除本地的压缩包、本地已经归档的块数据的冗余数据。
可选的,该设备还包括查询模块3010,该查询模块3010包括:
查询请求获取子模块3011,用于获取查询请求,查询请求包括所要查询的区块链节点的块数据的高度值;
归档数据判断子模块3012,用于根据高度值判断所要查询的块数据是否是已归档数据,当判定是时,hash表中查询子模块3013根据高度值在归档文件hash表中查询,否则,本地查询子模块3014访问本地查询;
当hash表中查询子模块3013在归档文件hash表中查询到对应的文件hash时,则历史数据目录下查询子模块3015在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,当hash表中查询子模块3013在归档文件hash表中没有查询对应的文件hash时,则转发子模块3016转发查询请求,请求其他节点;
当历史数据目录下查询子模块3015在本地已经下载的历史数据中查询到相同hash名称的文件夹时,则文件夹中查询子模块3017访问历史数据目录下具有相同hash名称的文件夹下的数据库文件查找,当历史数据目录下查询子模块3015在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹时,则下载子模块3018从可靠分布式存储系统下载文件hash对应的压缩包;
当下载子模块3018下载成功,则反馈结果子模块3019解压并返回查询结果,当下载子模块3018下载失败时,则错误反馈子模块3020用于返回错误,并重新查找。
本发明实施例提供了一种电子设备,该电子设备通过周期性地检测区块链节点数据中满足归档条件的块数据,归档条件包括块数据高度值和访问频率,从而对检测到的满足归档条件的块数据进行归档,实现了对区块链节点块数据进行归档的需求,通过对满足归档条件的块数据进行归档,减小了节点存储的块数据,减少了块数据对磁盘的空间占用,提高了节点数据备份效率;同时,因为采用可靠分布式存储系统,因为可靠分布式存储系统具有不可篡改、不丢失、公开追溯且天然容灾的特性,从而通过该系统存储归档数据,保证了归档数据的安全性;另外,将压缩包的文件hash与上传的块数据高度范围的记录插入归档文件hash表中,方便了对归档数据进行归档记录,同时便于对归档数据进行的恢复查询。
同时,该电子设备可以根据查询请求中的高度值判断所述所要查询的块数据是否是已归档数据,若是,则根据高度值在归档文件hash表中查询,当在归档文件hash表中能够查询到对应的文件hash时,在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,从而首先能够从本地已下载的历史数据目录下进行查询,避免直接从可靠分布式存储系统下载造成的处理资源浪费以及多次下载造成的压缩包等文件积累的问题;当在归档文件hash表中没有查询到对应的文件hash时,更新归档文件hash表,转发查询请求,请求其他节点进行查询,避免查询不到的情况;同时,在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹,再从可靠分布式存储系统下载文件hash对应的压缩包,这样避免了一开始即从可靠分布式存储系统下载所造成的冗余数据积累的问题,从而通过本发明实施例对提供的方法,能够对已归档的块数据进行快速高效查询恢复,且无需每次都进行下载,避免了冗余数据的积累,提高了查询效率及设备使用效率。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的电子设备在执行区块链块数据的数据归档方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的电子设备与区块链块数据的数据归档方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种区块链块数据的数据归档方法,其特征在于,所述方法包括:
周期性地检测区块链节点数据中满足归档条件的块数据,所述归档条件包括块数据高度值和访问频率;
若检测到满足所述归档条件的块数据,则从本地拷贝所述满足归档条件的块数据,进行压缩生成压缩包,并将所述压缩包上传至可靠分布式存储系统;
若上传成功,则获取上传的所述压缩包的文件hash,并将所述压缩包的文件hash与上传的所述块数据高度范围的记录插入归档文件hash表中;
若上传失败,则输出错误日志,并重新上传。
2.根据权利要求1所述的方法,其特征在于,所述周期性地检测区块链节点数据中满足归档条件的块数据包括:
查看所述区块链节点本地存储的块数据个数,即最低高度值的块数据与最高高度值的块数据之间的所有块数据个数;
若所述块数据个数大于预设个数,则从所述最低高度值的块数据开始获取所述预设个数的块数据;以及
若每个所述预设个数的块数据的访问频率均小于预设访问频率,则确定所述预设个数的块数据为满足所述归档条件的块数据;
其中,所述周期时间小于达到所述预设个数的块数据的生成时间。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在每个区块链节点数据库维护一个归档文件hash表,用于持久化保存所述区块链节点已归档的压缩包文件hash与已归档的块数据高度值范围的对应关系。
4.根据权利要求1所述的方法,其特征在于,所述重新打包上传包括:
重新对所述压缩包上传一次;
若再次上传失败,则重复执行周期性地检测区块链节点数据中满足归档条件的块数据的步骤;以及
删除产生的冗余数据。
5.根据权利要求1-4任意一项所述的方法,其特征在于,对所述归档的块数据进行查询,包括:
获取查询请求,所述查询请求包括所要查询的区块链节点的块数据的高度值;
根据所述高度值判断所述所要查询的块数据是否是已归档数据,若是,则根据所述高度值在所述归档文件hash表中查询,否则,访问本地查询;
若在所述归档文件hash表中查询到对应的文件hash,则在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,若在所述归档文件hash表中没有查询到对应的文件hash,则转发所述查询请求,请求其他节点;
若在本地已经下载的历史数据目录下查询到相同hash名称的文件夹,则访问所述历史数据目录下具有所述相同hash名称的文件夹下的数据库文件查找,若在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹,则从可靠分布式存储系统下载所述文件hash对应的压缩包;
若下载成功,则解压并返回查询结果,若下载失败,则返回错误,并重新查找。
6.一种电子设备,其特征在于,所述设备包括:
检测模块,用于周期性地检测区块链节点数据中满足归档条件的块数据,所述归档条件包括块数据高度值和访问频率;
拷贝模块,用于在所述检测模块检测到满足所述归档条件的块数据时,从本地拷贝所述满足归档条件的块数据;
压缩模块,用于对所述块数据进行压缩生成压缩包;
上传模块,用于对所述压缩包上传至可靠分布式存储系统;
压缩包文件hash获取模块,用于当所述上传模块上传成功时,获取上传的所述压缩包的文件hash;
记录模块,用于将所述压缩包的文件hash与上传的所述块数据高度范围的记录插入归档文件hash表中;
错误输出模块,用于当所述上传模块上传失败时,输出错误日志;
重复上传模块,用于重新上传。
7.根据权利要求6所述的电子设备,其特征在于,所述检测模块包括:
块数据个数查看子模块,用于查看所述区块链节点本地存储的块数据个数,即最低高度值的块数据与最高高度值的块数据之间的所有块数据个数;
预设个数块数据获取子模块,用于当所述块数据个数大于预设个数时,从所述最低高度值的块数据开始获取所述预设个数的块数据;以及
归档块数据确定子模块,当每个所述预设个数的块数据的访问频率均小于预设访问频率时,确定所述预设个数的块数据为满足所述归档条件的块数据;
其中,所述周期时间小于达到所述预设个数的块数据的生成时间。
8.根据权利要求7所述的电子设备,其特征在于,所述设备还包括:
归档文件hash表维护模块,用于在在每个区块链节点数据库维护一个归档文件hash表;
所述归档文件hash表用于持久化保存所述区块链节点已归档的压缩包文件hash与已归档的块数据高度值范围的对应关系。
9.根据权利要求6所述的电子设备,其特征在于,所述重新上传模块包括:
重新上传子模块,用于重新对所述压缩包上传一次;
当所述重新上传子模块上传失败,则所述检测模块重复执行周期性地检测区块链节点数据中满足归档条件的块数据的操作;
冗余数据删除子模块,用于删除产生的冗余数据。
10.根据权利要求6-9任意一项所述的电子设备,其特征在于,所述设备包括还包括查询模块,所述查询模块具体包括:
查询请求获取子模块,用于获取查询请求,所述查询请求包括所要查询的区块链节点的块数据的高度值;
归档数据判断子模块,用于根据所述高度值判断所述所要查询的块数据是否是已归档数据,当判定是时,hash表中查询子模块根据所述高度值在所述归档文件hash表中查询,否则,本地查询子模块访问本地查询;
当所述hash表中查询子模块在所述归档文件hash表中查询到对应的文件hash时,则历史数据目录下查询子模块在本地已下载的历史数据目录下查询是否有相同hash名称的文件夹,当所述hash表中查询子模块在所述归档文件hash表中没有查询对应的文件hash时,则转发子模块转发所述查询请求,请求其他节点;
当所述历史数据目录下查询子模块在本地已经下载的历史数据目录下查询到相同hash名称的文件夹时,则文件夹中查询子模块访问所述历史数据目录下具有所述相同hash名称的文件夹下的数据库文件查找,当所述历史数据目录下查询子模块在本地已经下载的历史数据目录下没有查询到相同hash名称的文件夹时,则下载子模块从可靠分布式存储系统下载所述文件hash对应的压缩包;
当所述下载子模块下载成功,则反馈结果子模块解压并返回查询结果,当所述下载子模块下载失败时,则错误反馈子模块用于返回错误,并重新查找。
CN201710651103.8A 2017-08-02 2017-08-02 一种区块链块数据的数据归档方法及电子设备 Active CN107423426B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710651103.8A CN107423426B (zh) 2017-08-02 2017-08-02 一种区块链块数据的数据归档方法及电子设备
PCT/CN2018/095783 WO2019024673A1 (zh) 2017-08-02 2018-07-16 一种区块链块数据的归档方法、装置及查询方法、装置
JP2019511774A JP2019532401A (ja) 2017-08-02 2018-07-16 ブロックチェーンのブロックデータのアーカイブ方法、装置及び照会方法、装置
SG11201903009PA SG11201903009PA (en) 2017-08-02 2018-07-16 Method and device for archiving block data of blockchain and method and device for querying the same
KR1020197007136A KR20190067158A (ko) 2017-08-02 2018-07-16 블록체인 블록 데이터의 아카이빙 방법, 장치 및 조회 방법, 장치
US16/243,835 US20190146946A1 (en) 2017-08-02 2019-01-09 Method and device for archiving block data of blockchain and method and device for querying the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710651103.8A CN107423426B (zh) 2017-08-02 2017-08-02 一种区块链块数据的数据归档方法及电子设备

Publications (2)

Publication Number Publication Date
CN107423426A true CN107423426A (zh) 2017-12-01
CN107423426B CN107423426B (zh) 2020-06-02

Family

ID=60436583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710651103.8A Active CN107423426B (zh) 2017-08-02 2017-08-02 一种区块链块数据的数据归档方法及电子设备

Country Status (6)

Country Link
US (1) US20190146946A1 (zh)
JP (1) JP2019532401A (zh)
KR (1) KR20190067158A (zh)
CN (1) CN107423426B (zh)
SG (1) SG11201903009PA (zh)
WO (1) WO2019024673A1 (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108519862A (zh) * 2018-03-30 2018-09-11 百度在线网络技术(北京)有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108563771A (zh) * 2018-04-20 2018-09-21 中国科学院合肥物质科学研究院 基于区块链的大文件管理系统及方法
CN108846137A (zh) * 2018-07-10 2018-11-20 佛山伊苏巨森科技有限公司 一种区块链上应用的电子装置
CN108900364A (zh) * 2018-08-22 2018-11-27 泰康保险集团股份有限公司 区块链网络的管理方法、装置、介质及电子设备
CN109167699A (zh) * 2018-08-20 2019-01-08 众安信息技术服务有限公司 处理区块链的节点的状态的方法和装置
CN109189853A (zh) * 2018-08-08 2019-01-11 众安信息技术服务有限公司 一种区块链之间数据同步方法与装置
WO2019024673A1 (zh) * 2017-08-02 2019-02-07 众安信息技术服务有限公司 一种区块链块数据的归档方法、装置及查询方法、装置
CN109359096A (zh) * 2018-09-14 2019-02-19 佛山科学技术学院 一种基于区块链存储的数字资产安全共享方法及装置
CN109543455A (zh) * 2018-11-06 2019-03-29 联动优势科技有限公司 一种区块链的数据归档方法及装置
CN109656873A (zh) * 2018-11-02 2019-04-19 平安科技(深圳)有限公司 基于区块链的数据归档方法、装置及终端设备
CN109684333A (zh) * 2018-12-24 2019-04-26 杭州复杂美科技有限公司 一种数据存储及裁剪方法、设备和存储介质
CN110032581A (zh) * 2019-01-18 2019-07-19 阿里巴巴集团控股有限公司 一种基于区块链的业务文件存储方法及装置
CN110083606A (zh) * 2019-04-25 2019-08-02 深圳市豪斯莱科技有限公司 跨链存储方法、终端及存储介质
CN110096505A (zh) * 2019-03-31 2019-08-06 杭州复杂美科技有限公司 一种数据存储方法和系统、设备及存储介质
CN110264187A (zh) * 2019-01-23 2019-09-20 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机设备及存储介质
CN110413621A (zh) * 2019-07-31 2019-11-05 中国工商银行股份有限公司 基于区块链的离线归档系统及方法
CN110458567A (zh) * 2019-08-23 2019-11-15 广东工业大学 一种基于区块链的物品交易管理系统和方法
CN110727391A (zh) * 2018-07-16 2020-01-24 北京京东尚科信息技术有限公司 交易数据存储方法及装置、区块链系统、介质和电子设备
WO2020019779A1 (zh) * 2018-07-27 2020-01-30 阿里巴巴集团控股有限公司 区块链数据的压缩处理方法和装置
CN110866068A (zh) * 2019-11-09 2020-03-06 上证所信息网络有限公司 一种基于hdfs的公告数据存储方法及其装置
CN110958300A (zh) * 2019-10-30 2020-04-03 北京海益同展信息科技有限公司 一种数据的上传方法、系统、装置、电子设备和计算机可读介质
CN111024708A (zh) * 2019-09-06 2020-04-17 腾讯科技(深圳)有限公司 产品缺陷检测数据处理方法、装置、系统和设备
CN111163151A (zh) * 2019-12-26 2020-05-15 联想(北京)有限公司 一种信息处理方法、设备及计算机可读存储介质
WO2020135094A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 区块数据归档方法及相关设备
CN111611319A (zh) * 2020-06-08 2020-09-01 杭州复杂美科技有限公司 分布式数据存储方法、设备和存储介质
CN111708835A (zh) * 2020-05-28 2020-09-25 西安纸贵互联网科技有限公司 区块链数据存储方法及装置
CN111797086A (zh) * 2020-07-03 2020-10-20 杭州复杂美科技有限公司 数据裁剪方法、设备和存储介质
CN111858771A (zh) * 2020-07-30 2020-10-30 杭州复杂美科技有限公司 分布式数据存储方法、设备和存储介质
CN111897498A (zh) * 2018-07-27 2020-11-06 创新先进技术有限公司 区块链数据的多级存储方法和装置
CN111984612A (zh) * 2020-08-04 2020-11-24 中国人民银行数字货币研究所 一种共享文件的方法、装置和系统
CN112184206A (zh) * 2020-09-30 2021-01-05 杭州复杂美科技有限公司 数据获取方法、设备和存储介质
JP2021506185A (ja) * 2018-09-18 2021-02-18 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド ブロックチェーンのデータ処理方法、装置、機器及び媒体
CN112380166A (zh) * 2020-11-12 2021-02-19 上海保险交易所股份有限公司 区块链数据归档方法和装置
CN112559533A (zh) * 2020-12-23 2021-03-26 杭州趣链科技有限公司 连续型数据库的归档方法、装置及电子设备
CN113220665A (zh) * 2021-05-20 2021-08-06 成都质数斯达克科技有限公司 一种区块链数据归档方法、装置、电子设备及可读存储介质
CN114372030A (zh) * 2022-01-11 2022-04-19 同方有云(北京)科技有限公司 热磁存储和蓝光存储之间的数据处理方法及装置
US11558179B2 (en) 2018-08-09 2023-01-17 Nokia Technologies Oy Distributed data storage

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239479B (zh) * 2017-03-28 2020-03-13 创新先进技术有限公司 一种基于区块链的数据存储以及查询的方法及装置
US10877959B2 (en) * 2018-01-17 2020-12-29 Sap Se Integrated database table access
US10671308B2 (en) * 2018-08-07 2020-06-02 International Business Machines Corporation Private and fault-tolerant storage of segmented data
US11399031B2 (en) * 2019-02-05 2022-07-26 Centurylink Intellectual Property Llc Tracking or storing of equipment configuration data using immutable ledger functionality of blockchains
AU2019203865B2 (en) * 2019-03-18 2021-01-21 Advanced New Technologies Co., Ltd. Consensus system downtime recovery
US10990705B2 (en) * 2019-04-18 2021-04-27 Advanced New Technologies Co., Ltd. Index creation for data records
US11150978B2 (en) 2019-04-26 2021-10-19 Bank Of America Corporation Automated system for intelligent error correction within an electronic blockchain ledger
US20200372183A1 (en) * 2019-05-21 2020-11-26 Hewlett Packard Enterprise Development Lp Digitally Signing Software Packages With Hash Values
US10853341B2 (en) * 2019-06-28 2020-12-01 Advanced New Technologies Co., Ltd. Blockchain based hierarchical data storage
CN110474776B (zh) * 2019-07-19 2022-06-07 上海朝夕网络技术有限公司 一种可信的区块数据动态删减方法
CN111033491B (zh) * 2019-08-01 2023-06-30 创新先进技术有限公司 基于纠错编码存储共享的区块链数据
US11249987B2 (en) * 2019-08-14 2022-02-15 Advanced New Technologies Co., Ltd. Data storage in blockchain-type ledger
WO2019228571A2 (en) 2019-09-12 2019-12-05 Alibaba Group Holding Limited Log-structured storage systems
EP3669268A4 (en) 2019-09-12 2020-12-23 Alibaba Group Holding Limited NEWSPAPER STRUCTURE STORAGE SYSTEMS
WO2019228570A2 (en) 2019-09-12 2019-12-05 Alibaba Group Holding Limited Log-structured storage systems
CN110716895B (zh) * 2019-09-17 2023-05-26 平安科技(深圳)有限公司 目标数据归档方法、装置、计算机设备及介质
CN110958301A (zh) * 2019-11-04 2020-04-03 广州亚美信息科技有限公司 基于联盟链的车辆档案数据处理方法、装置和系统
KR20210075654A (ko) * 2019-12-13 2021-06-23 현대자동차주식회사 블록체인 생성 시스템 및 그 운용 방법
CN111177480B (zh) * 2019-12-27 2023-05-30 安徽易商数码科技有限公司 一种区块链目录档案系统
KR102559290B1 (ko) * 2020-01-06 2023-07-26 주식회사 아미크 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
CN111259074A (zh) * 2020-01-12 2020-06-09 杭州复杂美科技有限公司 区块同步方法、设备和存储介质
CN111539014B (zh) * 2020-03-27 2023-04-25 肾泰网健康科技(南京)有限公司 基于区块链的伦理文件存档方法
CN111459895B (zh) * 2020-03-31 2023-09-29 杭州云象网络技术有限公司 一种区块链数据分级压缩与存储方法及系统
CN111538699A (zh) * 2020-03-31 2020-08-14 首钢京唐钢铁联合有限责任公司 一种数据归档方法及装置
CN111209346B (zh) * 2020-04-24 2020-07-28 腾讯科技(深圳)有限公司 一种区块链数据归档方法、装置和计算机可读存储介质
US11973857B2 (en) * 2020-04-29 2024-04-30 Kyndryl, Inc. Data archive
KR102572475B1 (ko) * 2020-09-17 2023-08-30 주식회사 세수 폐기 가능 블록체인 원장 시스템 및 이를 이용하는 블록체인 운용 방법
JPWO2022064571A1 (zh) 2020-09-23 2022-03-31
US11652604B2 (en) * 2020-11-12 2023-05-16 Paypal, Inc. Blockchain data compression and storage
US11734241B2 (en) * 2020-11-25 2023-08-22 International Business Machines Corporation Efficient spatial indexing
US12007981B2 (en) 2020-12-02 2024-06-11 International Business Machines Corporation Blockchain selective world state database
CN112650733A (zh) * 2020-12-28 2021-04-13 杭州趣链科技有限公司 一种智能合约状态数据的处理方法、系统与装置
CN112835906B (zh) * 2021-02-08 2022-04-29 杭州趣链科技有限公司 基于区块链的数据管理方法、装置、系统、设备和介质
US20220311595A1 (en) * 2021-03-24 2022-09-29 International Business Machines Corporation Reducing transaction aborts in execute-order-validate blockchain models
WO2022245351A1 (en) 2021-05-19 2022-11-24 Micro Focus Llc Blockchain consolidation with active archiving
CN113722285B (zh) * 2021-11-03 2022-02-11 江苏荣泽信息科技股份有限公司 一种基于多链的跨链分布式文件存证系统
CN114595279B (zh) * 2022-05-06 2022-08-12 中国信息通信研究院 区块链数据的处理方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446966A (zh) * 2008-12-31 2009-06-03 中国建设银行股份有限公司 数据存储方法及系统
EP2854033A1 (en) * 2013-07-26 2015-04-01 Huawei Technologies Co., Ltd. Data recovery method, data recovery device, and distributed storage system
CN105808633A (zh) * 2016-01-08 2016-07-27 平安科技(深圳)有限公司 数据归档方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034592B (zh) * 2012-12-05 2016-09-28 华为技术有限公司 数据处理方法和装置
CN103530388A (zh) * 2013-10-22 2014-01-22 浪潮电子信息产业股份有限公司 一种云存储系统中提升性能的数据处理方法
CN105630609B (zh) * 2016-02-24 2021-05-11 杭州复杂美科技有限公司 区块链的打包存储方法
CN106991165B (zh) * 2017-03-31 2020-07-31 京东数字科技控股有限公司 基于区块链的处理金融数据的方法、装置及电子设备
CN107423426B (zh) * 2017-08-02 2020-06-02 众安信息技术服务有限公司 一种区块链块数据的数据归档方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446966A (zh) * 2008-12-31 2009-06-03 中国建设银行股份有限公司 数据存储方法及系统
EP2854033A1 (en) * 2013-07-26 2015-04-01 Huawei Technologies Co., Ltd. Data recovery method, data recovery device, and distributed storage system
CN105808633A (zh) * 2016-01-08 2016-07-27 平安科技(深圳)有限公司 数据归档方法和系统

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024673A1 (zh) * 2017-08-02 2019-02-07 众安信息技术服务有限公司 一种区块链块数据的归档方法、装置及查询方法、装置
CN108519862B (zh) * 2018-03-30 2020-03-17 百度在线网络技术(北京)有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108519862A (zh) * 2018-03-30 2018-09-11 百度在线网络技术(北京)有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108563771A (zh) * 2018-04-20 2018-09-21 中国科学院合肥物质科学研究院 基于区块链的大文件管理系统及方法
CN108563771B (zh) * 2018-04-20 2020-06-09 中国科学院合肥物质科学研究院 基于区块链的大文件管理系统及方法
CN108846137A (zh) * 2018-07-10 2018-11-20 佛山伊苏巨森科技有限公司 一种区块链上应用的电子装置
CN110727391A (zh) * 2018-07-16 2020-01-24 北京京东尚科信息技术有限公司 交易数据存储方法及装置、区块链系统、介质和电子设备
CN111897498A (zh) * 2018-07-27 2020-11-06 创新先进技术有限公司 区块链数据的多级存储方法和装置
WO2020019779A1 (zh) * 2018-07-27 2020-01-30 阿里巴巴集团控股有限公司 区块链数据的压缩处理方法和装置
TWI705368B (zh) * 2018-07-27 2020-09-21 香港商阿里巴巴集團服務有限公司 區塊鏈資料的壓縮處理方法和裝置、電腦設備以及電腦可讀儲存媒體
CN109189853A (zh) * 2018-08-08 2019-01-11 众安信息技术服务有限公司 一种区块链之间数据同步方法与装置
US11558179B2 (en) 2018-08-09 2023-01-17 Nokia Technologies Oy Distributed data storage
CN109167699A (zh) * 2018-08-20 2019-01-08 众安信息技术服务有限公司 处理区块链的节点的状态的方法和装置
CN108900364B (zh) * 2018-08-22 2021-11-26 泰康保险集团股份有限公司 区块链网络的管理方法、装置、介质及电子设备
CN108900364A (zh) * 2018-08-22 2018-11-27 泰康保险集团股份有限公司 区块链网络的管理方法、装置、介质及电子设备
CN109359096A (zh) * 2018-09-14 2019-02-19 佛山科学技术学院 一种基于区块链存储的数字资产安全共享方法及装置
JP2021506185A (ja) * 2018-09-18 2021-02-18 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド ブロックチェーンのデータ処理方法、装置、機器及び媒体
CN109656873B (zh) * 2018-11-02 2023-04-14 平安科技(深圳)有限公司 基于区块链的数据归档方法、装置及终端设备
CN109656873A (zh) * 2018-11-02 2019-04-19 平安科技(深圳)有限公司 基于区块链的数据归档方法、装置及终端设备
CN109543455A (zh) * 2018-11-06 2019-03-29 联动优势科技有限公司 一种区块链的数据归档方法及装置
CN109543455B (zh) * 2018-11-06 2021-07-13 联动优势科技有限公司 一种区块链的数据归档方法及装置
CN109684333B (zh) * 2018-12-24 2021-02-09 杭州复杂美科技有限公司 一种数据存储及裁剪方法、设备和存储介质
CN109684333A (zh) * 2018-12-24 2019-04-26 杭州复杂美科技有限公司 一种数据存储及裁剪方法、设备和存储介质
CN111382119A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 区块数据归档方法及相关设备
CN111382119B (zh) * 2018-12-29 2023-08-22 华为技术有限公司 区块数据归档方法及相关设备
WO2020135094A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 区块数据归档方法及相关设备
CN110032581A (zh) * 2019-01-18 2019-07-19 阿里巴巴集团控股有限公司 一种基于区块链的业务文件存储方法及装置
US11935015B2 (en) 2019-01-23 2024-03-19 Tencent Technology (Shenzhen) Company Limited Data processing method and apparatus, computer device, and storage medium
CN110264187B (zh) * 2019-01-23 2021-06-04 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机设备及存储介质
CN110264187A (zh) * 2019-01-23 2019-09-20 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机设备及存储介质
US11574290B2 (en) 2019-01-23 2023-02-07 Tencent Technology (Shenzhen) Company Limited Data processing method and apparatus, computer device, and storage medium
CN110096505A (zh) * 2019-03-31 2019-08-06 杭州复杂美科技有限公司 一种数据存储方法和系统、设备及存储介质
CN110083606B (zh) * 2019-04-25 2021-06-08 深圳市豪斯莱科技有限公司 跨链存储方法、终端及存储介质
CN110083606A (zh) * 2019-04-25 2019-08-02 深圳市豪斯莱科技有限公司 跨链存储方法、终端及存储介质
CN110413621B (zh) * 2019-07-31 2021-08-06 中国工商银行股份有限公司 基于区块链的离线归档系统及方法
CN110413621A (zh) * 2019-07-31 2019-11-05 中国工商银行股份有限公司 基于区块链的离线归档系统及方法
CN110458567A (zh) * 2019-08-23 2019-11-15 广东工业大学 一种基于区块链的物品交易管理系统和方法
CN111024708A (zh) * 2019-09-06 2020-04-17 腾讯科技(深圳)有限公司 产品缺陷检测数据处理方法、装置、系统和设备
WO2021082401A1 (zh) * 2019-10-30 2021-05-06 北京海益同展信息科技有限公司 一种数据的上传方法、系统、装置及电子设备
CN110958300A (zh) * 2019-10-30 2020-04-03 北京海益同展信息科技有限公司 一种数据的上传方法、系统、装置、电子设备和计算机可读介质
CN110866068B (zh) * 2019-11-09 2024-02-02 上证所信息网络有限公司 一种基于hdfs的公告数据存储方法及其装置
CN110866068A (zh) * 2019-11-09 2020-03-06 上证所信息网络有限公司 一种基于hdfs的公告数据存储方法及其装置
CN111163151A (zh) * 2019-12-26 2020-05-15 联想(北京)有限公司 一种信息处理方法、设备及计算机可读存储介质
CN111708835B (zh) * 2020-05-28 2023-04-25 西安纸贵互联网科技有限公司 区块链数据存储方法及装置
CN111708835A (zh) * 2020-05-28 2020-09-25 西安纸贵互联网科技有限公司 区块链数据存储方法及装置
CN111611319A (zh) * 2020-06-08 2020-09-01 杭州复杂美科技有限公司 分布式数据存储方法、设备和存储介质
CN111797086A (zh) * 2020-07-03 2020-10-20 杭州复杂美科技有限公司 数据裁剪方法、设备和存储介质
CN111858771A (zh) * 2020-07-30 2020-10-30 杭州复杂美科技有限公司 分布式数据存储方法、设备和存储介质
CN111984612A (zh) * 2020-08-04 2020-11-24 中国人民银行数字货币研究所 一种共享文件的方法、装置和系统
CN111984612B (zh) * 2020-08-04 2024-03-22 中国人民银行数字货币研究所 一种共享文件的方法、装置和系统
CN112184206A (zh) * 2020-09-30 2021-01-05 杭州复杂美科技有限公司 数据获取方法、设备和存储介质
CN112380166A (zh) * 2020-11-12 2021-02-19 上海保险交易所股份有限公司 区块链数据归档方法和装置
CN112559533A (zh) * 2020-12-23 2021-03-26 杭州趣链科技有限公司 连续型数据库的归档方法、装置及电子设备
CN112559533B (zh) * 2020-12-23 2023-06-16 杭州趣链科技有限公司 连续型数据库的归档方法、装置及电子设备
CN113220665B (zh) * 2021-05-20 2023-10-20 成都质数斯达克科技有限公司 一种区块链数据归档方法、装置、电子设备及可读存储介质
CN113220665A (zh) * 2021-05-20 2021-08-06 成都质数斯达克科技有限公司 一种区块链数据归档方法、装置、电子设备及可读存储介质
CN114372030A (zh) * 2022-01-11 2022-04-19 同方有云(北京)科技有限公司 热磁存储和蓝光存储之间的数据处理方法及装置

Also Published As

Publication number Publication date
WO2019024673A1 (zh) 2019-02-07
JP2019532401A (ja) 2019-11-07
US20190146946A1 (en) 2019-05-16
CN107423426B (zh) 2020-06-02
SG11201903009PA (en) 2019-05-30
KR20190067158A (ko) 2019-06-14

Similar Documents

Publication Publication Date Title
CN107423426A (zh) 一种区块链块数据的数据归档方法及电子设备
US10776396B2 (en) Computer implemented method for dynamic sharding
CN104932841B (zh) 一种云存储系统中节约型重复数据删除方法
US11500821B2 (en) Synchronizing metadata in a data storage platform comprising multiple computer nodes
CN103548003B (zh) 用于提高去重复系统备份性能的客户端侧指纹缓存的方法和系统
CN108255647B (zh) 一种samba服务器集群下的高速数据备份方法
US8489549B2 (en) Method and system for resolving conflicts between revisions to a distributed virtual file system
US20200050387A1 (en) Fast migration of metadata
US8725705B2 (en) Systems and methods for searching of storage data with reduced bandwidth requirements
CN101866305B (zh) 支持数据查询和快速恢复的连续数据保护方法及系统
US20030056139A1 (en) Systems and methods for data backup over a network
US10387271B2 (en) File system storage in cloud using data and metadata merkle trees
CN104932956A (zh) 一种面向大数据的云容灾备份方法
CN102902601A (zh) 高效数据恢复
US20120323864A1 (en) Distributed de-duplication system and processing method thereof
Frey et al. Probabilistic deduplication for cluster-based storage systems
US9459969B1 (en) Method and system for enhanced backup database indexing
CN107256182A (zh) 一种数据库还原的方法及设备
CN103649946A (zh) 在网络上传输文件系统变化
CN105069111A (zh) 云存储中基于相似性的数据块级数据去重方法
CN111522791B (zh) 一种分布式文件重复数据删除系统及方法
US9645893B1 (en) Method and system for file recovery using enhanced backup database indexing
CN111475470B (zh) 一种恢复回收站删除文件与目录的方法及系统
US20240036983A1 (en) Server-side inline generation of virtual synthetic backups using group fingerprints
Bhagoriya et al. INTERNATIONAL JOURNAL OF ENGINEERING SCIENCES & RESEARCH TECHNOLOGY SURVEY AND PROPOSED PARALLEL ARCHITECTURE FOR INLINE DATA De-DUPLICATION USING SHA-2 ALGORITHM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1247679

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240306

Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702

Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240415

Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702

Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right