CN111966657A - 基于区块链的分布式文件分类存储系统及存储方法 - Google Patents
基于区块链的分布式文件分类存储系统及存储方法 Download PDFInfo
- Publication number
- CN111966657A CN111966657A CN202010823753.8A CN202010823753A CN111966657A CN 111966657 A CN111966657 A CN 111966657A CN 202010823753 A CN202010823753 A CN 202010823753A CN 111966657 A CN111966657 A CN 111966657A
- Authority
- CN
- China
- Prior art keywords
- file
- files
- storage
- module
- block chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明揭示了一种基于区块链的分布式文件分类存储系统及存储方法,系统包括区块链单元及分布式文件单元,所述区块链单元由智能合约模块、信息接收及身份验证模块及文件分类模块组成,所述分布式文件单元由存储模块、文件分割模块、文件寻址模块及周期性检测模块组成。本发明利用区块链数据结构、结合不同的存储策略,实现了对文件的分类存储,在保证了文件存储效率的同时有效地节约了存储空间、保证了所存储文件的安全性。
Description
技术领域
本发明为一种文件存储系统及相对应的存储方法,具体涉及一种基于区块链的分布式文件分类存储系统及存储方法,属于区块链技术领域。
背景技术
随着近年来计算机技术和网络技术的发展,整个社会的信息化程度不断提高。作为一项新兴技术,区块链技术在过去几年中取得了巨大的成功,也出现了诸如比特币、莱特币及以太坊等概念。可以说,当前的区块链技术已经开始涉足人们日常生活的方方面面。
狭义上,区块链是一种按时间顺序组合数据块的链式数据结构,它类似于由密码学保证的、不可篡改或伪造的分布式分类帐。广义上,使用区块链数据结构来验证和存储数据,使用分布式节点共识算法来生成和更新数据,使用密码术来确保数据传输和访问的安全性以及使用智能合约来编程和操作数据都属于区块链技术的实际应用。可以说,上述这些技术为公证安全、文件存储和电子商务等各行各业的发展做出了贡献。
但是,与技术的飞速发展相对应的,当前的区块链技术及配套的各类系统均迎来了新的挑战。截至2018年9月,比特币区块链的大小已达到约184 GB,并且仍在迅速增长,同时,硬件开发的速度减缓以及摩尔定律也开始制约区块链技术的发展。可以说,数据量的快速增长和数据容量的低速增长共同加剧了存储负担。
综上所述,如何基于上述研究现状,提出一种全新的、基于区块链的分布式文件分类存储系统及存储方法,以克服现有技术中所存在的不足,也就成为了本领域内技术人员所共同关注的问题。
发明内容
鉴于现有技术存在上述缺陷,本发明的目的是提出一种基于区块链的分布式文件分类存储系统及存储方法,具体如下。
一种基于区块链的分布式文件分类存储系统,包括:
区块链单元,用于接收文件存储请求并依据文件所携带的信息对文件进行分类处理,并将文件及对应的文件分类结果进行下发;
分布式文件单元,用于接收所述区块链单元的下发数据,根据文件分类结果,使用对应的存储策略对文件进行存储,并对所存储的文件进行周期性的重新分类,再依据重新分类的结果对文件进行处理;
所述区块链单元包括,
智能合约模块,用于记录和管理请求者的身份属性及数据访问权限,记录文件调取信息并统计调用次数,记录文件的重新分类周期,
信息接收及身份验证模块,用于接收文件存储请求并对依据所述智能合约模块中的记录对请求者的身份属性及数据访问权限进行验证,若验证通过则将文件进行转发,
文件分类模块,用于接收文件并依据所述智能合约模块中的记录计算文件调用间隔,按照文件调用间隔对文件进行分类,随后将文件及对应的文件分类结果下发至所述分布式文件单元;
所述分布式文件单元包括,
存储模块,用于数据储存,所述存储模块包含有多个存储节点且每个所述存储节点上均存储有对应的哈希表条目,
文件分割模块,用于接收文件并使用纠删码将文件进行分割,依据文件分类结果将分割后的文件数据存储在所述存储节点中,
文件寻址模块,用于依据所述存储节点上的哈希表条目计算文件对应的文件哈希值,并将结果存入所述存储模块的分布式哈希表中,
周期性检测模块,用于依据所述智能合约模块中的记录,周期性地检测所述存储模块中文件对应的文件调用间隔并进行重新分类,依据重新分类的结果对所述存储模块中的文件进行处理。
一种基于区块链的分布式文件分类存储方法,使用如上所述的基于区块链的分布式文件分类存储系统,包括如下步骤:
S1、区块链单元接收文件存储请求,调用智能合约模块,依据文件所携带的信息对文件进行分类处理,并将文件及对应的文件分类结果进行下发;
S2、分布式文件单元接收所述区块链单元的下发数据,根据文件分类结果,使用对应的存储策略将文件存储至存储模块中,并调用所述智能合约模块,对所存储的文件进行周期性的重新分类,再依据重新分类的结果对文件进行处理。
优选地,S1包括如下步骤:
S11、信息接收及身份验证模块接收文件存储请求,对请求者的身份属性及数据访问权限进行验证,若通过则获得准入权限、执行后续操作;
优选地,S2包括如下步骤:
S22、文件寻址模块由各个所述存储节点计算各节点自身的哈希值,计算公式为,再将全部所述存储节点的哈希值拼凑成一个数组,再次计算哈希值、得到文件最终的文件哈希值,计算公式为,随后将所述文件哈希值存入所述存储模块的分布式哈希表中。
优选地,S2还包括如下步骤:
S23、周期性检测模块依据所述智能合约模块中的记录,周期性地检测所述存储模块中文件对应的文件调用间隔并对文件进行重新分类,若文件被重新分类为常用文件则增加副本,若文件被重新分类为不常用文件则删除副本。
与现有技术相比,本发明的优点主要体现在以下几个方面:
本发明所提出的一种分布式文件分类存储系统及存储方法,利用区块链数据结构、结合不同的存储策略,实现了对文件的分类存储,在保证了文件存储效率的同时有效地节约了存储空间、保证了所存储文件的安全性。
同时,本发明的系统架构清晰,方法步骤简单、可重复性强,具有一定的普适性特征,使用者还可以根据自身实际的应用需要对存储策略进行调整,进而将本发明的方法应用于各种不同文件的分类存储中,方法整体的应用前景广阔并具有极高的使用价值。
以下便结合实施例附图,对本发明的具体实施方式作进一步的详述,以使本发明技术方案更易于理解、掌握。
附图说明
图1为本发明的系统架构示意图;
图2为本发明的方法中S21操作的原理示意图;
图3为本发明的方法中S22操作的原理示意图。
具体实施方式
本发明揭示了一种基于区块链的分布式文件分类存储系统及相对应的存储方法,本发明的具体方案如下。
一种基于区块链的分布式文件分类存储系统,包括:
区块链单元,用于接收文件存储请求并依据文件所携带的信息对文件进行分类处理,并将文件及对应的文件分类结果进行下发。
分布式文件单元,用于接收所述区块链单元的下发数据,根据文件分类结果,使用对应的存储策略对文件进行存储,并对所存储的文件进行周期性的重新分类,再依据重新分类的结果对文件进行处理.
所述区块链单元包括:
智能合约模块,用于记录和管理请求者的身份属性及数据访问权限,记录文件调取信息并统计调用次数,记录文件的重新分类周期。
信息接收及身份验证模块,用于接收文件存储请求并对依据所述智能合约模块中的记录对请求者的身份属性及数据访问权限进行验证,若验证通过则将文件进行转发。
文件分类模块,用于接收文件并依据所述智能合约模块中的记录计算文件调用间隔,按照文件调用间隔对文件进行分类,随后将文件及对应的文件分类结果下发至所述分布式文件单元。
所述分布式文件单元包括:
存储模块,用于数据储存,所述存储模块包含有多个存储节点且每个所述存储节点上均存储有对应的哈希表条目。
文件分割模块,用于接收文件并使用纠删码将文件进行分割,依据文件分类结果将分割后的文件数据存储在所述存储节点中。
文件寻址模块,用于依据所述存储节点上的哈希表条目计算文件对应的文件哈希值,并将结果存入所述存储模块的分布式哈希表中。
周期性检测模块,用于依据所述智能合约模块中的记录,周期性地检测所述存储模块中文件对应的文件调用间隔并进行重新分类,依据重新分类的结果对所述存储模块中的文件进行处理。
本发明还揭示了一种基于区块链的分布式文件分类存储方法,利用如上所述的基于区块链的分布式文件分类存储系统,包括如下步骤:
S1、区块链单元接收文件存储请求,调用智能合约模块,依据文件所携带的信息对文件进行分类处理,并将文件及对应的文件分类结果进行下发。
S2、分布式文件单元接收所述区块链单元的下发数据,根据文件分类结果,使用对应的存储策略将文件存储至存储模块中,并调用所述智能合约模块,对所存储的文件进行周期性的重新分类,再依据重新分类的结果对文件进行处理。
具体而言,S1包括如下步骤:
S11、信息接收及身份验证模块接收文件存储请求,对请求者的身份属性及数据访问权限进行验证,判断其是否允许参与数据共享,若通过则获得准入权限、执行后续操作。
具体而言,S2包括如下步骤:
此处所述将块文件数据编码为个代码符号并存储在个存储节点中,包括如下步骤:当文件被分类为常用文件时,,采用的方式对文件进行存储,即存储与副本存储相结合。这样的存储方式可以保证一旦出现部分数据丢失,利用副本即可对文件进行快速修复,节省修复时的数据需求、提高效率;当出现大量数据丢失时,可使用副本和纠删码共同修复,提高修复成功率。当文件被分类为不常用文件时,,采用的方式对文件进行存储。这样的存储方式可以在节省存储节点的同时,保证了数据一定的修复率,提高了系统的可靠性。整个过程如图2所示。
S22、文件寻址模块由各个所述存储节点计算各节点自身的哈希值,计算公式为,再将全部所述存储节点的哈希值拼凑成一个数组,再次计算哈希值、得到文件最终的文件哈希值,计算公式为,随后将所述文件哈希值存入所述存储模块的分布式哈希表(DHT)中、以便读取文件时寻址所用。整个过程如图3所示。
在本发明方法的实际应用过程中,当区块链需要打包交易时,只需将所需文件哈希打包成区块而不是打包大量的交易数据,从而有效减少了区块的大小。
S23、周期性检测模块依据所述智能合约模块中的记录,周期性地检测所述存储模块中文件对应的文件调用间隔并对文件进行重新分类,若文件被重新分类为常用文件则增加副本,若文件被重新分类为不常用文件则删除副本。
在本发明方法的实际应用过程中,使用者还可以根据自身情况制订属于自己的智能合约并部署到区块链中,提高区块链的安全性。对使用频率不同的文件进行分类后,利用不同的策略进行存储。例如对于常用文件,使用更多的存储节点去存储数据,以提高数据意外丢失时修复数据的成功率和效率;而对于不常用文件,则使用较少的存储节点去存储,在节省存储的同时保证数据意外丢失时有一定的修复成功率。
在读取文件时,可以通过文件哈希值寻址到存储文件的相关节点,并对数据进行还原,当区块链需要打包交易时,只需将所需文件哈希打包成区块而不是打包大量的交易数据,从而有效地减少了区块的大小、提升了操作的效率。此外,本发明可以周期性地对文件进行检测,及时将文件进行重新分类,以提升系统效率和文件安全性。
此外,本发明的方法流程清晰、步骤简单、可重复性强,具有一定的普适性特征,具有十分广阔的应用前景和极高的使用价值。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神和基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
最后,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种基于区块链的分布式文件分类存储系统,其特征在于,包括:
区块链单元,用于接收文件存储请求并依据文件所携带的信息对文件进行分类处理,并将文件及对应的文件分类结果进行下发;
分布式文件单元,用于接收所述区块链单元的下发数据,根据文件分类结果,使用对应的存储策略对文件进行存储,并对所存储的文件进行周期性的重新分类,再依据重新分类的结果对文件进行处理;
所述区块链单元包括,
智能合约模块,用于记录和管理请求者的身份属性及数据访问权限,记录文件调取信息并统计调用次数,记录文件的重新分类周期,
信息接收及身份验证模块,用于接收文件存储请求并对依据所述智能合约模块中的记录对请求者的身份属性及数据访问权限进行验证,若验证通过则将文件进行转发,
文件分类模块,用于接收文件并依据所述智能合约模块中的记录计算文件调用间隔,按照文件调用间隔对文件进行分类,随后将文件及对应的文件分类结果下发至所述分布式文件单元;
所述分布式文件单元包括,
存储模块,用于数据储存,所述存储模块包含有多个存储节点且每个所述存储节点上均存储有对应的哈希表条目,
文件分割模块,用于接收文件并使用纠删码将文件进行分割,依据文件分类结果将分割后的文件数据存储在所述存储节点中,
文件寻址模块,用于依据所述存储节点上的哈希表条目计算文件对应的文件哈希值,并将结果存入所述存储模块的分布式哈希表中,
周期性检测模块,用于依据所述智能合约模块中的记录,周期性地检测所述存储模块中文件对应的文件调用间隔并进行重新分类,依据重新分类的结果对所述存储模块中的文件进行处理。
2.一种基于区块链的分布式文件分类存储方法,使用如权利要求1所述的基于区块链的分布式文件分类存储系统,其特征在于,包括如下步骤:
S1、区块链单元接收文件存储请求,调用智能合约模块,依据文件所携带的信息对文件进行分类处理,并将文件及对应的文件分类结果进行下发;
S2、分布式文件单元接收所述区块链单元的下发数据,根据文件分类结果,使用对应的存储策略将文件存储至存储模块中,并调用所述智能合约模块,对所存储的文件进行周期性的重新分类,再依据重新分类的结果对文件进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010823753.8A CN111966657A (zh) | 2020-08-17 | 2020-08-17 | 基于区块链的分布式文件分类存储系统及存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010823753.8A CN111966657A (zh) | 2020-08-17 | 2020-08-17 | 基于区块链的分布式文件分类存储系统及存储方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111966657A true CN111966657A (zh) | 2020-11-20 |
Family
ID=73388151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010823753.8A Withdrawn CN111966657A (zh) | 2020-08-17 | 2020-08-17 | 基于区块链的分布式文件分类存储系统及存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111966657A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650715A (zh) * | 2020-12-30 | 2021-04-13 | 北京八分量信息科技有限公司 | 区块链系统中存储数据的方法、装置及相关产品 |
CN112835855A (zh) * | 2021-02-22 | 2021-05-25 | 北京众享比特科技有限公司 | 一种基于区块链的文件存储方法和系统 |
-
2020
- 2020-08-17 CN CN202010823753.8A patent/CN111966657A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650715A (zh) * | 2020-12-30 | 2021-04-13 | 北京八分量信息科技有限公司 | 区块链系统中存储数据的方法、装置及相关产品 |
CN112835855A (zh) * | 2021-02-22 | 2021-05-25 | 北京众享比特科技有限公司 | 一种基于区块链的文件存储方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110868440B (zh) | 区块链公链 | |
Zhang et al. | A storage optimization scheme for blockchain transaction databases. | |
US10938571B2 (en) | System and method for verification of data transferred among several data storages | |
TWI766309B (zh) | 日誌結構儲存系統 | |
TWI733514B (zh) | 儲存系統、區塊鏈網路的網路節點以及基於區塊鏈的日誌結構儲存系統 | |
TWI737395B (zh) | 日誌結構儲存系統及方法 | |
WO2018041066A1 (zh) | 基于区块链技术的数据处理方法、装置及系统 | |
CN110442644A (zh) | 区块链数据归档存储方法、装置、计算机设备和存储介质 | |
TW202111585A (zh) | 日誌結構儲存系統 | |
CN109194646B (zh) | 一种基于区块链的安全认证数据存取方法 | |
CN101963982A (zh) | 基于位置敏感哈希的删冗存储系统元数据管理方法 | |
CN111966657A (zh) | 基于区块链的分布式文件分类存储系统及存储方法 | |
Renner et al. | Endolith: A blockchain-based framework to enhance data retention in cloud storages | |
CN108846749A (zh) | 一种基于区块链技术的分片化的交易执行系统及方法 | |
CN106407224A (zh) | 一种键值存储系统中文件压实的方法和装置 | |
Di Battista et al. | Authenticated relational tables and authenticated skip lists | |
AU2019100888A4 (en) | A novel blockchain system for the high speed and low cost storage, retrieval, and manipulation of IOT data, database data, and sensor data. | |
CN113992333B (zh) | 一种基于区块链的数据授权方法及系统 | |
CN117749344A (zh) | 一种基于区块链的电力数据跨域监管方法、系统及存储介质 | |
Wang et al. | A blockchain-based multi-cloud storage data consistency verification scheme | |
CN115129781A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN109582646A (zh) | 一种用于文件拆分的冗余和恢复方法及系统 | |
CN113763166B (zh) | 一种数据核对的方法及装置 | |
CN115221125A (zh) | 文件处理方法、装置、电子设备及可读存储介质 | |
CN113609334A (zh) | 一种用区块链提升跨摄像头行为识别可信度的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201120 |
|
WW01 | Invention patent application withdrawn after publication |