CN113312663B - 分布式数据存储方法及系统、计算机可读存储介质 - Google Patents

分布式数据存储方法及系统、计算机可读存储介质 Download PDF

Info

Publication number
CN113312663B
CN113312663B CN202110602116.2A CN202110602116A CN113312663B CN 113312663 B CN113312663 B CN 113312663B CN 202110602116 A CN202110602116 A CN 202110602116A CN 113312663 B CN113312663 B CN 113312663B
Authority
CN
China
Prior art keywords
data
storage
storage space
blockchain
discrete data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110602116.2A
Other languages
English (en)
Other versions
CN113312663A (zh
Inventor
雷志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoling Co ltd
Original Assignee
Yaoling Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoling Co ltd filed Critical Yaoling Co ltd
Priority to CN202110602116.2A priority Critical patent/CN113312663B/zh
Publication of CN113312663A publication Critical patent/CN113312663A/zh
Application granted granted Critical
Publication of CN113312663B publication Critical patent/CN113312663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Bioethics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及区块链技术领域,公开了一种分布式数据存储方法及系统、计算机可读存储介质。分布式数据存储方法包括:将多个第一区块链节点提供的自有存储空间整合形成存储资源池;将从存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与第二区块链节点关联;数据提供方采用压缩感知技术,将原始数据压缩后发送至专属存储空间存储。本发明不仅充分利用了各节点的存储空间和可利用资源,提高了磁盘存储空间的利用率,而且使得各区块链节点能够共同服务一些存储和计算服务目标;同时,利用压缩感知的最新数学理论对所传数据进行智能化感知压缩计算,通过有效的计算算力投入,减少网络传输对带宽的依赖,还能够提升数据安全性。

Description

分布式数据存储方法及系统、计算机可读存储介质
技术领域
本发明涉及区块链技术领域,尤其涉及一种基于分布式系统的分布式数据存储方法及系统、计算机可读存储介质。
背景技术
区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构,并以密码学方式保证的不可篡改和不可伪造的分布式账本。由于区块链具有去中心化、信息不可篡改、自治性等特性,区块链也受到人们越来越多的重视和应用。
在实际应用中,各个应用场景对于数据量和计算及存储的要求也不相同。具体的,实际网络中的每个网络节点产生或获得及利用数据的需求不同,对于一部分节点来讲,所需要存储的数据量较大,而可利用的自有存储空间有限,满足不了其使用需求;对于另一部分节点来讲,所需要存储的数据量较小,并不能充分利用自有存储空间,造成存储资源的浪费。因此,需要灵活的分布式存储方案。
此外,现有的区块链节点在存储数据时,需要将原始数据全部存储至其磁盘存储空间内,相应的,其他用户需要下载全部原始数据才能够对该数据进行正常使用,这样不仅在数据存储时占用较大的存储空间,而且在数据传输过程中耗费了较大的网络带宽,降低了用户的使用体验。
而且,现有的区块链节点应用纠错码技术(例如erasure coding)或者网络编码(network coding)技术进行数据处理,两者均存在一定缺陷。
纠错码技术通过冗余编码方法,避免由于在网络数据传输过程中部分数据包遗失或者出错而造成整体数据无法恢复。但是纠错码只能抵抗少数数据丢失而造成的影响,无法主动地利用计算和存储的联合优化给出随着网络不同场景变换的最优方案。
网络编码技术利用多个网络编码组合来对抗网络变化带来的不确定性。但网络编码不是特别针对区块链分布式存储平台的特点设计的,并不能充分利用区块链存储的激励机制来优化整个系统的性能。同时,网络编码本身存在一定限制,例如需要接收节点收到每个网络编码的所有组合个数才能完全译码,这大大限制了其可能应用的网络复杂环境和场景。
发明内容
本发明的目的在于提供一种基于分布式系统的分布式数据存储方法及系统、计算机可读存储介质,以克服现有技术存在的磁盘存储空间不能有效利用、数据存储时占用较大存储空间以及数据传输时耗费较大网络带宽的缺陷。
为达此目的,本发明采用以下技术方案:
一种分布式数据存储方法,应用于分布式系统,所述分布式系统包括多个区块链节点,所述分布式数据存储方法包括:
将由多个第一区块链节点提供的自有存储空间整合形成存储资源池;
在接收到第二区块链节点的专属空间获取请求时,将从所述存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与所述第二区块链节点关联,以使所述绑定有对应可利用资源的存储空间单元作为所述第二区块链节点的专属存储空间;所述可利用资源包括计算资源以及所述计算资源相关的其他资源,所述其他资源包括源数据、数据库、所执行计算的算法和训练模型、平台接入使用权限和费用中的至少一项;
数据提供方采用压缩感知技术将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至所述专属存储空间存储。
可选的,所述数据提供方利用本地计算资源或者网络计算资源,将所述原始数据进行压缩感知运算。
可选的,所述网络计算资源的运算能力高于所述本地计算资源的运算能力。
可选的,所述分布式数据存储方法还包括:
第四区块链节点从所述专属存储空间获取预设比例阈值的所述离散数据包,利用本地计算资源或者网络计算资源对所述离散数据包进行解码以获得所述原始数据。
可选的,所述分布式数据存储方法还包括:
所述第四区块链节点利用本地计算资源或者网络计算资源,将所述原始数据进行压缩感知运算生成相关联的离散数据包,再将所述离散数据包向区块链网络传输。
可选的,所述数据提供方通过去中心化分布式点对点网络方式,将所述相关联的离散数据包发送至所述专属存储空间存储。
可选的,所述分布式数据存储方法还包括:
所述数据提供方将所述相关联的离散数据包的至少一部分发送至中心化系统平台存储;
第四区块链节点,从所述专属存储空间和所述中心化系统平台分别获取一部分离散数据包,在全部获取的离散数据包达到预设比例阈值后,对所述离散数据包进行解码以获得所述原始数据。
可选的,所述第四区块链节点,从所述专属存储空间和所述中心化系统平台分别获取一部分离散数据包,包括:
所述第四区块链节点先从所述专属存储空间获取离散数据包,若在预设时长内所获得的离散数据包未达到所述预设比例阈值,则所述第四区块链节点再从所述中心化系统平台获取离散数据包,直至达到所述预设比例阈值。
可选的,所述分布式数据存储方法还包括:
确认并记录针对所述专属存储空间中离散数据包进行的交易数据至区块链网络,并按照预设的价值统计规则,核算所述专属存储空间的价值。
可选的,所述确认并记录针对所述专属存储空间中离散数据包进行的交易数据至区块链网络,包括:
针对当前的专属存储空间,若由其在预设时长内为数据获取方传输的离散数据包达到预设比例阈值,则对其进行记账,否则不记账。
可选的,所述按照预设的价值统计规则,核算所述专属存储空间的价值,包括:
针对当前的专属存储空间,根据其为数据获取方传输的离散数据包在达到预设比例阈值时的耗时时长,来确定其相应的价值。
一种实现如上任一项所述分布式数据存储方法的分布式数据存储系统,所述分布式数据存储系统包括:
多个第一区块链节点,用于提供自有存储空间;
多个第二区块链节点,用于请求获得专属存储空间;
第三区块链节点,包括资源整合单元和专属空间分割单元;所述资源整合单元,用于将由多个第一区块链节点提供的自有存储空间整合形成存储资源池;所述专属空间分割单元,用于在接收到第二区块链节点的专属空间获取请求时,将从所述存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与所述第二区块链节点关联,以使所述绑定有对应可利用资源的存储空间单元作为所述第二区块链节点的专属存储空间;所述可利用资源包括计算资源以及所述计算资源相关的其他资源,所述其他资源包括源数据、数据库、所执行计算的算法和训练模型、平台接入使用权限和费用中的至少一项;
数据提供方,用于采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至所述专属存储空间存储。
可选的,还包括:
中心化系统平台,作为区块链网络的超级节点,用于存储离散数据包,所述离散数据包由所述数据提供方传输而来。
一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上任一项所述方法的步骤。
与现有技术相比,本发明的有益效果为:
本发明实施例基于磁盘空间的可分割性,先将各个第一区块链节点的零散的空闲存储空间汇总起来,再从中分割出绑定有对应可利用资源的存储空间单元以提供给第二区块链节点专用,即利用区块链技术的分布式账本信息不可篡改的特点,通过节点之间共享存储资源,这样不仅充分利用了各区块链节点的磁盘存储空间和计算资源等可利用资源,提高了磁盘存储空间的利用率,而且使得各区块链节点能够共同服务一些存储和计算服务目标。同时,本发明实施例利用压缩感知的最新数学理论对所传数据进行智能化感知压缩计算,通过有效的计算算力投入,减少网络传输对带宽的依赖,能够提升数据安全性,并且结合区块链的激励机制灵活地运用分布式的点对点带宽的使用,使得网络分布式存储系统可以更加高效地传输数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的分布式数据存储方法流程图。
图2为本发明实施例二提供的分布式数据存储方法流程图。
图3为本发明实施例三提供的分布式数据存储方法流程图。
图4为本发明实施例四提供的分布式数据存储方法流程图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供了一种基于分布式系统的分布式数据存储方法,该方法能够对各个区块链节点提供的磁盘存储空间进行先整合再分割利用,使得作为互联网基础设施的磁盘空间,具有实物土地一样的价值创造能力和流通能力;同时,本发明实施例还采用压缩感知技术对原始数据进行压缩后再存储,既能够降低数据存储所占用的存储空间,又能够提升数据安全性。
实施例一
请参阅图1,本发明实施例的分布式数据存储方法包括:
步骤101、将由多个第一区块链节点提供的自有存储空间整合形成存储资源池。
第一区块链节点,指的是区块链网络中能够提供自身所有的存储空间给存储资源池的节点设备;作为存储节点,第一区块链节点具有存储空间和网络连接功能即可。
第一区块链节点的数量不限,通常情况下多个第一区块链节点可以具有不同的属性,例如可以处于不同的网络位置和/或地理位置、具有不同的网络带宽、和/或属于不同的网络类型。示例性的,网络位置包括骨干网络的中心位置或边缘位置等,地理位置包括国家位置或城市位置等,网络类型包括企业内网、企业外网或家庭网络等。
自有存储空间,指的是由第一区块链节点设备的自身磁盘所提供的部分或者全部存储空间。本发明对自有存储空间的空间大小不作限定,实际应用中,第一区块链节点可以根据其设备实际情况和本设备用户的使用需求,从磁盘中划分出空闲的部分存储空间,作为存储资源池的来源。
存储资源池,可以包括多个来源不同、大小不等的自有存储空间;同时,由于这些自有存储空间归属于不同的第一区块链节点,而各个第一区块链节点能够提供的可利用资源可能不同,使得这些自有存储空间具有不同的资源属性,这些资源属性包括计算资源以及与计算资源相关的其他资源,其他资源包括源数据、数据库、所执行计算的算法和训练模型、平台接入使用权限和费用中的至少一项。在本发明中,可以随时有新的第一区块链节点提供自有存储空间以加入该存储资源池,以扩充该存储资源池。当然,存储资源池中的已有自有存储空间也可退出,具体可按照第一区块链节点构建的智能合约来执行。
步骤102、在接收到第二区块链节点的专属空间获取请求时,将从存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与第二区块链节点关联,以使绑定有对应可利用资源的存储空间单元作为第二区块链节点的专属存储空间。其中,可利用资源包括计算资源以及计算资源相关的其他资源,其他资源包括源数据、数据库、所执行计算的算法和训练模型、平台接入使用权限和费用中的至少一项。
第二区块链节点,指的是区块链网络中具有从资源存储池中获取专属存储空间的需求的节点设备。可以理解的是,本发明实施例的第一和第二仅用于方便区分在本发明中用于执行不同操作的区块链节点,对区块链节点本身不具有任何限定。实际上,同一区块链节点,既可以作为第一区块链节点,以将自身的空闲存储空间提供给资源存储池;也可以作为第二区块链节点,请求从资源存储池中获取一定大小的专属存储空间。
专属存储空间,指的是第二区块链节点对与其关联的存储空间单元具有排他的使用权利。专属存储空间的获得方式,可以为购买,也可以为出租,具体可以按照创建的智能合约来执行。
专属存储空间与第二区块链节点的关联,可以在空间维度上进行关联,即与分布在不同物理地址的第二区块链节点进行关联;还可以同时在时间维度上进行关联,即与分布在不同时间点和不同物理地址的第二区块链节点进行关联。
同时,专属存储空间与第二区块链节点的关联,可通过特定的硬件或者软件模块来实现,即不可复制的硬件模块(如硬件加密模块或者密钥钱包),或者嵌入式系统模块,或者生物识别模块。因此,本发明实施例是通过将存储资源量化,而将存储空间所存储的数据从其产生、计算、存储到价值交换等全生命周期的元素统一通过专属硬件或软件模块绑定所属权的方式而实现价值创造和流通。
另外,第二区块链节点对其专属存储空间的使用方式,本发明不作限制。在一种可能的实施方式中,第二区块链节点可以将在专属存储空间里存储外界不可访问的数据资源,仅供自身使用;在另一种可能的实施方式中,第二区块链节点可以在专属存储空间里存储可供外界访问的可访问数据资源,通过有偿或者无偿方式提供给其他区块链节点,其他区块链节点同时可利用该专属存储空间对应的可利用资源。
需要注意的是,由于本发明对每个第一区块链节点提供的自有存储空间大小不作限定、对第二区块链节点能够请求获取的专属存储空间大小也不作限定,同时专属存储空间是从整个存储资源池中分割获得,因此单个专属存储空间可能包含了多个第一区块链节点提供的自有存储空间,也可能仅为单个第一区块链节点提供的自有存储空间的一部分。可以理解的是,组成专属存储空间的各个自有存储空间对应的可利用资源,将构成专属存储空间所绑定的对应可利用资源。
基于磁盘空间的可分割性,本发明实施例先将各个第一区块链节点的零散的空闲存储空间汇总起来,再从中分割出绑定有对应可利用资源的存储空间单元以提供给第二区块链节点专用,即利用区块链技术的分布式账本信息不可篡改的特点,通过节点之间共享存储资源,这样不仅充分利用了各区块链节点的磁盘存储空间和计算资源等可利用资源,提高了磁盘存储空间的利用率,而且使得各区块链节点能够共同服务一些存储和计算服务目标。
步骤103、数据提供方采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将相关联的离散数据包发送至专属存储空间存储。
具体的,本实施例中数据提供方可通过去中心化分布式点对点网络方式,将相关联的离散数据包发送至所述专属存储空间存储,这样可以更加高效地传输数据。
以上相关联的数据包具有时间和空间上的统计相关性和冗余度区间指数(redundancy index in temporal and spatial dimension),该冗余度指数可由区块链网络传输的共识算法所决定(例如51%的POW共识算法对冗余度的要求要高于PBFT共识算法)。
数据提供方可以为第二区块链节点,即专属存储空间的所有者;也可以为其他区块链节点,即非专属存储空间的所有者。
在步骤103中,数据提供方可利用本地计算资源或者网络计算资源,将所述原始数据进行压缩感知运算。由于通常情况下不同区块链节点的运算能力不等,而采用压缩感知技术对原始数据压缩的操作,对区块链节点的运算能力具有一定要求,因此,针对运算能力受限的第二区块链节点,可以利用运算能力更高的网络计算资源执行压缩感知运算。
此时,由于原始数据经过压缩后存储于专属存储空间,因此能够大大减小占用的存储空间。通常,对于同类存储压缩能力,最高数据压缩效率可达80%。
步骤104、第四区块链节点,从专属存储空间获取预设比例阈值的离散数据包,对该离散数据包进行解码以获得原始数据。
压缩感知,compressed sensing又称compressed sampling,是在采样过程中完成了数据压缩的过程。压缩感知,在信号采样的过程中,用很少的采样点,实现了和全采样一样的效果。
所谓压缩感知,最核心的概念在于试图从原理上降低度一个信号进行测量的成本。比如说,一个信号包含一千个数据,那么按照传统的信号处理理论,至少需要做一千次测量才能完整的复原这个信号。这就相当于是说,需要一千个方程才能精确地解出一千个未知数来。但是采用压缩感知技术,那么就可以只做三百次测量就完整地复原这个信号,这就相当于只通过三百个方程解出一千个未知数。
预设比例阈值是能够据此复原出完整原始数据所需要获取的数据量占总数据量的比例,示例性的,可以为30%、50%,具体可以根据实际需求来灵活设定,本发明不作限定。
因此,压缩感知技术具有超强的数据恢复能力,作为数据获取方的第四区块链节点(可以为区块链网络上的任意节点),在从第二区块链节点的专属存储空间获取数据时,无需获取全部离散数据包,只需要获取预设比例阈值的离散数据包,即可通过运算基本完整的复原整个原始数据。
在数据传输过程中,由于传输的为离散数据包而非原始数据,且仅需要传输预设比例阈值的数据而非完整的全部数据,因此大大减少了数据传输量和数据传输时长,有效节省了网络带宽,保证区块链节点的正常工作和数据的正常流转。
此外,由于压缩感知算法本身就具有加密的性质,因为需要重建原始数据的话必须要知道感知矩阵才能够进行重建,因此本发明实施例采用压缩感知技术还提升了数据安全性。
需要说明的是,本发明实施例中,数据获取方在收到一定数量的数据包后,也可以利用本地计算资源或网络计算资源将离散数据包进行解码以获得原始数据。
数据获取方还可以利用本地计算资源或网络计算资源对原始数据进行压缩感知运算而生成新的离散数据包向网络传输。例如,该节点是位于两个区块链网络的gateway节点,它可以起到解码/再编码的作用,将原始数据在两个独立的互不兼容的区块链网络之间进行跨链的数据传输和共识机制之间的价值交互。例如,从公链平台将数据转到侧链或者私有链。
并且,以上的离散数据包在不同区块链网络之间转换和不同区块链之间的共识算法是兼容的,也就是说,只要节点满足所在区块链网络的共识算法,就能通过接收一定数量的数据包而恢复原始数据,这个过程和具体是收到哪些数据包,以及是通过哪些节点或者路径而接收到这些数据包是无关的,它只和该区块链存储网络的共识算法有关。
实施例二
请参阅图2,本发明实施例提供了再一种基于分布式系统的分布式存储方法,包括步骤:
步骤201、将由多个第一区块链节点提供的自有存储空间整合形成存储资源池。
步骤202、在接收到第二区块链节点的专属空间获取请求时,将从存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与第二区块链节点关联,以使绑定有对应可利用资源的存储空间单元作为第二区块链节点的专属存储空间。
步骤203、数据提供方采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至专属存储空间存储;同时,将至少一部分离散数据包发送至中心化系统平台存储。
步骤204、第四区块链节点,从专属存储空间和中心化系统平台分别获取一部分离散数据包,在全部获取的离散数据包达到预设比例阈值后,对离散数据包进行解码以获得原始数据。
实际应用中,由于网络差、节点下线等各种不可控因素,作为数据获取方的第四区块链节点,可能无法从第二区块链节点的专属存储空间获取到预设比例阈值的离散数据包,或者获取预设比例阈值的离散数据包所耗费的时长比较长。为此,本发明实施例提出了混合云存储的解决思路:除了在去中心化系统中的专属存储空间存储离散数据包外,同时将至少一部分离散数据包存储于中心化系统平台上,第四区块链节点可以根据实际场景来选择是否需要从中心化系统平台上下载部分数据包,以解决当前面临的无法尽快下载所需数据量的问题。
在一种可能的实施方式中,第四区块链节点可先从专属存储空间获取离散数据包,若在预设时长内所获得的离散数据包未达到预设比例阈值,则第四区块链节点再从中心化系统平台获取离散数据包,直至达到预设比例阈值。
中心化系统平台,也可以作为区块链网络的一个超级节点,实现中心化系统与去中心化系统的无缝衔接。
实施例三
请参阅图3,本发明实施例提供了再一种基于分布式系统的分布式数据存储方法,包括步骤:
步骤301、将由多个第一区块链节点提供的自有存储空间整合形成存储资源池。
步骤302、在接收到第二区块链节点的专属空间获取请求时,将从存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与第二区块链节点关联,以使绑定有对应可利用资源的存储空间单元作为第二区块链节点的专属存储空间。
专属存储空间至少用于存储供其他区块链节点访问的可访问数据资源。该可访问数据资源可采用无偿或者有偿方式供其他区块链节点访问。
具体的,该可访问数据资源,可以包括各种类型,例如:视频数据、音频数据、图像数据、金融交易数据、图书馆检索数据或者应用程序数据。
步骤303、数据提供方采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至专属存储空间存储;或者,数据提供方采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,在将相关联的离散数据包发送至专属存储空间存储的同时,将其中至少一部分同时发送至中心化系统平台存储。
步骤304、第四区块链节点,从专属存储空间获取预设比例阈值的离散数据包,对离散数据包进行解码以获得原始数据;或者,第四区块链节点从专属存储空间和中心化系统平台分别获取一部分离散数据包,在全部获取的离散数据包达到预设比例阈值后,对离散数据包进行解码以获得原始数据。
步骤305、确认并记录针对专属存储空间中离散数据包进行的交易数据至区块链网络,并按照预设的价值统计规则,核算专属存储空间的价值。
在广播后,针对各个第二区块链节点的专属存储空间,位于区块链网络上的其他区块链节点可以根据实际需求来选择访问,在形成交易时即可按照一定的价值统计规则来核算各个专属存储空间的价值。
价值统计规则,可以根据各种因素来制定,本发明实施例不作限制。本发明实施例中至少包括所绑定的可利用资源和所存储的可访问数据资源。
一方面,针对不同的可访问数据资源,可根据其数据类型、使用频率、访问热度、时效性等方面来确定其价值大小;例如,对于存储了一笔银行贷款数据的专属存储空间,其价值要高于存储了10笔麦当劳买卖数据的专属存储空间。另一方面,由于有些存储是无需计算,由宿主应用服务直接发来存储请求(如交易数据),而有些数据的生成就需要一定量的计算,如数据库的查询或者一个人脸识别系统的神经网络训练,因此本发明实施例同时将所绑定的可利用资源作为价值统计规则的制定因素。这样,可以更加准确有效的确定专属存储空间的实际价值。
从另一角度来讲,本发明实施例中,确认并记录针对专属存储空间中离散数据包进行的交易数据至区块链网络,包括:针对当前的专属存储空间,若由其在预设时长内为数据获取方传输的离散数据包达到预设比例阈值,则对其进行记账,否则不记账。该方式为一种全新的合理的记账方式,仅对能够在预设时长内提供有价值数据的专属存储空间进行记账,对其他未能提供有价值数据的专属存储空间不记账,使得更加符合实际情景。
在另一种可能的实施方式中,针对当前的专属存储空间,还可根据其为数据获取方传输的离散数据包在达到预设比例阈值时的耗时时长,来确定其相应的价值。例如,预先设定时长等级与价值大小的映射关系表,根据实际耗时时长所属的时长等级,来确定相应的价值大小。
步骤306、建立节点奖励机制,根据专属存储空间的价值对相关联的第二区块链节点分配奖励。
本发明实施例使得磁盘存储空间具有了流通能力和价值创造能力,第一区块链节点会积极主动的将自己不用的存储空间提供给其他有需要的第二区块链节点使用,第二区块链节点也能够按照自己的策略来选择特定属性的专属存储空间并向其中存储可访问数据资源,基于该可访问数据资源的交易来获得收益。而且,本发明基于压缩感知技术的应用,提出了更优的记账方式,使得价值确定更加合理。
实施例四
请参阅图4,本发明实施例提供了又一种基于分布式系统的分布式存储方法,包括步骤:
步骤401、将由多个第一区块链节点提供的自有存储空间整合形成存储资源池。
步骤402、预先将存储资源池划分为多个存储空间单元。
存储资源池的具体划分方式可以为以下任意一种或者多种的结合:按位置划分,按照空间大小划分,按照带宽大小划分,按照网络类型划分等。划分得到的不同存储空间单元的属性可以相同也可以不同,以供第二区块链节点按需选择。
步骤403、在接收到第二区块链节点的专属空间获取请求时,向第二区块链节点广播与其专属空间获取请求相匹配的多个绑定有对应可利用资源的存储空间单元的信息,以作为第二区块链节点确定所述目标空间单元的参考依据。
步骤404、在第二区块链节点确定匹配的至少一个绑定有对应可利用资源的存储空间单元作为目标空间单元后,将目标空间单元与第二区块链节点关联,使得目标空间单元作为第二区块链节点的专属存储空间。
步骤405、数据提供方采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至专属存储空间存储;或者,数据提供方采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,在将所述相关联的离散数据包发送至专属存储空间存储的同时,将其中至少一部分同时发送至中心化系统平台存储。
步骤406、第四区块链节点,获取预设比例阈值的离散数据包,对离散数据包进行解码以获得原始数据。
步骤407、确认并记录针对专属存储空间中离散数据包进行的交易数据至区块链网络,并按照预设的价值统计规则,核算专属存储空间的价值。
步骤408、建立节点奖励机制,根据专属存储空间的价值对相关联的第二区块链节点分配奖励。
在本发明实施例中,采用了预先按照一定的规则对存储资源池进行分割的方式,在获知第二区块链节点的需求后向其推送符合其需求的存储空间单元信息,以辅助第二区块链节点快速准确的选定符合其当前实际需求的专属存储空间。
在另一种可能的实施方式中,也可以不预先对资源存储池进行空间划分,而是在接收到第二区块链节点的专属空间获取请求时,根据专属空间获取请求,从存储资源池中为第二区块链节点分割出匹配的存储空间单元作为目标空间单元,将目标空间单元与第二区块链节点关联。
第二区块链节点的专属空间获取请求,所包含的信息可以包括:所需专属存储空间对应的第一区块链节点的网络位置、地理位置、网络带宽、网络类型中的至少一项信息。
为进一步为第二区块链节点提供有利的参考依据,本发明实施例的分布式存储方法还可包括:按照预设的等级评价指标对各个第一区块链节点进行等级评定,确认并记录第一区块链节点的等级至区块链网络。等级评价指标至少包括存数据储量、数据访问量、数据访问频率、服务状态、服务质量中的至少一项。
示例性的,将第一区块链节点划分为由低至高的以下三个等级:数据可存等级、数据可连等级以及数据可用等级,等级越高则表明数据使用频率越高且服务质量越好。
实施例五
基于相同构思,本发明实施例提供了一种分布式数据存储系统,包括:
多个第一区块链节点,用于提供自有存储空间;
多个第二区块链节点,用于请求获得专属存储空间;
第三区块链节点,包括资源整合单元和专属空间分割单元;资源整合单元,用于将由多个第一区块链节点提供的自有存储空间整合形成存储资源池;专属空间分割单元,用于在接收到第二区块链节点的专属空间获取请求时,将从存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与第二区块链节点关联,以使绑定有对应可利用资源的存储空间单元作为第二区块链节点的专属存储空间。
数据提供方,用于采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至专属存储空间存储。
可选的,本发明实施例的分布式数据存储系统还可包括:中心化系统平台,作为区块链网络的超级节点,用于存储离散数据包,该离散数据包由数据提供方传输而来。
本发明实施例的分布式数据存储系统,可用于实现上述的任一种分布式数据存储方法,具体实现内容同上,此处不再赘述。
实施例六
基于相同构思,本发明实施例提供了一种计算机可读存储介质,存储介质中存储有至少一条指令,指令由处理器加载并执行以实现本发明实施例提供的分布式数据存储方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种分布式数据存储方法,其特征在于,应用于分布式系统,所述分布式系统包括多个区块链节点,所述分布式数据存储方法包括:
将由多个第一区块链节点提供的自有存储空间整合形成存储资源池;
在接收到第二区块链节点的专属存储空间获取请求时,将从所述存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与所述第二区块链节点关联,以使所述绑定有对应可利用资源的存储空间单元作为所述第二区块链节点的专属存储空间;所述可利用资源包括计算资源以及所述计算资源相关的其他资源,所述其他资源包括源数据、数据库、所执行计算的算法和训练模型、平台接入使用权限和费用中的至少一项;
数据提供方采用压缩感知技术将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至所述专属存储空间存储。
2.根据权利要求1所述的分布式数据存储方法,其特征在于,所述数据提供方利用本地计算资源或者网络计算资源,将所述原始数据进行压缩感知运算。
3.根据权利要求2所述的分布式数据存储方法,其特征在于,所述网络计算资源的运算能力高于所述本地计算资源的运算能力。
4.根据权利要求1所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:
第四区块链节点从所述专属存储空间获取预设比例阈值的所述离散数据包,利用本地计算资源或者网络计算资源对所述离散数据包进行解码以获得所述原始数据;所述预设比例阈值,是能够据此复原出完整原始数据所需要获取的数据量占总数据量的比例。
5.根据权利要求4所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:
所述第四区块链节点利用本地计算资源或者网络计算资源,将所述原始数据进行压缩感知运算生成相关联的离散数据包,再将所述离散数据包向区块链网络传输。
6.根据权利要求1所述的分布式数据存储方法,其特征在于,所述数据提供方通过去中心化分布式点对点网络方式,将所述相关联的离散数据包发送至所述专属存储空间存储。
7.根据权利要求1所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:
所述数据提供方将所述相关联的离散数据包的至少一部分发送至中心化系统平台存储;
第四区块链节点,从所述专属存储空间和所述中心化系统平台分别获取一部分离散数据包,在全部获取的离散数据包达到预设比例阈值后,对所述离散数据包进行解码以获得所述原始数据;所述预设比例阈值,是能够据此复原出完整原始数据所需要获取的数据量占总数据量的比例。
8.根据权利要求7所述的分布式数据存储方法,其特征在于,所述第四区块链节点,从所述专属存储空间和所述中心化系统平台分别获取一部分离散数据包,包括:
所述第四区块链节点先从所述专属存储空间获取离散数据包,若在预设时长内所获得的离散数据包未达到所述预设比例阈值,则所述第四区块链节点再从所述中心化系统平台获取离散数据包,直至达到所述预设比例阈值。
9.根据权利要求1所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:
确认并记录针对所述专属存储空间中离散数据包进行的交易数据至区块链网络,并按照预设的价值统计规则,核算所述专属存储空间的价值。
10.根据权利要求9所述的分布式数据存储方法,其特征在于,所述确认并记录针对所述专属存储空间中离散数据包进行的交易数据至区块链网络,包括:
针对当前的专属存储空间,若由其在预设时长内为数据获取方传输的离散数据包达到预设比例阈值,则对其进行记账,否则不记账。
11.根据权利要求9所述的分布式数据存储方法,其特征在于,所述按照预设的价值统计规则,核算所述专属存储空间的价值,包括:
针对当前的专属存储空间,根据其为数据获取方传输的离散数据包在达到预设比例阈值时的耗时时长,来确定其相应的价值。
12.一种实现如权利要求1至11任一项所述分布式数据存储方法的分布式数据存储系统,其特征在于,所述分布式数据存储系统包括:
多个第一区块链节点,用于提供自有存储空间;
多个第二区块链节点,用于请求获得专属存储空间;
第三区块链节点,包括资源整合单元和专属存储空间分割单元;所述资源整合单元,用于将由多个第一区块链节点提供的自有存储空间整合形成存储资源池;所述专属存储空间分割单元,用于在接收到第二区块链节点的专属存储空间获取请求时,将从所述存储资源池中划分出的至少一个绑定有对应可利用资源的存储空间单元与所述第二区块链节点关联,以使所述绑定有对应可利用资源的存储空间单元作为所述第二区块链节点的专属存储空间;所述可利用资源包括计算资源以及所述计算资源相关的其他资源,所述其他资源包括源数据、数据库、所执行计算的算法和训练模型、平台接入使用权限和费用中的至少一项;
数据提供方,用于采用压缩感知技术,将原始数据进行压缩感知运算生成相关联的离散数据包,再将所述相关联的离散数据包发送至所述专属存储空间存储。
13.根据权利要求12所述的分布式数据存储系统,其特征在于,还包括:
中心化系统平台,作为区块链网络的超级节点,用于存储离散数据包,所述离散数据包由所述数据提供方传输而来。
14.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
CN202110602116.2A 2021-05-31 2021-05-31 分布式数据存储方法及系统、计算机可读存储介质 Active CN113312663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110602116.2A CN113312663B (zh) 2021-05-31 2021-05-31 分布式数据存储方法及系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110602116.2A CN113312663B (zh) 2021-05-31 2021-05-31 分布式数据存储方法及系统、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113312663A CN113312663A (zh) 2021-08-27
CN113312663B true CN113312663B (zh) 2024-05-28

Family

ID=77376675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110602116.2A Active CN113312663B (zh) 2021-05-31 2021-05-31 分布式数据存储方法及系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113312663B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296707A (zh) * 2021-05-31 2021-08-24 尧领有限公司 磁盘存储方法及系统、区块链节点、计算机可读存储介质
CN115208906A (zh) * 2022-07-08 2022-10-18 深圳市汇云通讯科技有限公司 一种基于区块链的录像管理方法、管理系统及终端
CN116627362B (zh) * 2023-07-26 2023-09-22 大汉电子商务有限公司 一种基于分布式储存的财务数据处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255962A (zh) * 2011-07-01 2011-11-23 成都市华为赛门铁克科技有限公司 一种分布式存储方法、装置和系统
WO2019062304A1 (zh) * 2017-09-26 2019-04-04 上海点融信息科技有限责任公司 用于管理区块链节点的计算资源的方法、设备和系统
CN110647503A (zh) * 2019-10-09 2020-01-03 重庆特斯联智慧科技股份有限公司 一种分布式存储方法及装置
CN110941682A (zh) * 2019-12-19 2020-03-31 浙江云朵网科技股份有限公司 一种高效安全的去中心化数据链服务与存储方式
CN111966757A (zh) * 2020-10-20 2020-11-20 支付宝(杭州)信息技术有限公司 智能合约账户的存储空间管理方法和装置
CN111966503A (zh) * 2020-10-20 2020-11-20 支付宝(杭州)信息技术有限公司 智能合约账户的存储空间管理方法和装置
WO2021003985A1 (zh) * 2019-07-08 2021-01-14 深圳壹账通智能科技有限公司 区块链数据归档存储方法、装置、计算机设备和存储介质
CN112699185A (zh) * 2021-01-18 2021-04-23 上海对外经贸大学 基于离散变换和稀疏采样的区块链压缩感知存储方法
CN112788139A (zh) * 2021-01-12 2021-05-11 北京工业大学 一种区块链存储容量优化方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013097147A1 (zh) * 2011-12-29 2013-07-04 华为技术有限公司 云计算系统和管理云计算系统中存储资源的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255962A (zh) * 2011-07-01 2011-11-23 成都市华为赛门铁克科技有限公司 一种分布式存储方法、装置和系统
WO2019062304A1 (zh) * 2017-09-26 2019-04-04 上海点融信息科技有限责任公司 用于管理区块链节点的计算资源的方法、设备和系统
WO2021003985A1 (zh) * 2019-07-08 2021-01-14 深圳壹账通智能科技有限公司 区块链数据归档存储方法、装置、计算机设备和存储介质
CN110647503A (zh) * 2019-10-09 2020-01-03 重庆特斯联智慧科技股份有限公司 一种分布式存储方法及装置
CN110941682A (zh) * 2019-12-19 2020-03-31 浙江云朵网科技股份有限公司 一种高效安全的去中心化数据链服务与存储方式
CN111966757A (zh) * 2020-10-20 2020-11-20 支付宝(杭州)信息技术有限公司 智能合约账户的存储空间管理方法和装置
CN111966503A (zh) * 2020-10-20 2020-11-20 支付宝(杭州)信息技术有限公司 智能合约账户的存储空间管理方法和装置
CN112788139A (zh) * 2021-01-12 2021-05-11 北京工业大学 一种区块链存储容量优化方法及系统
CN112699185A (zh) * 2021-01-18 2021-04-23 上海对外经贸大学 基于离散变换和稀疏采样的区块链压缩感知存储方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
区块链存储可扩展性研究进展;孙知信等;《软件学报》;20210131;全文 *
区块链扩容技术研究综述;李洋;门进宝;余晗;王思宁;范金刚;郭艳来;;电力信息与通信技术;20200625(第06期);全文 *

Also Published As

Publication number Publication date
CN113312663A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN113312663B (zh) 分布式数据存储方法及系统、计算机可读存储介质
Khalaf et al. Optimized dynamic storage of data (ODSD) in IoT based on blockchain for wireless sensor networks
CN111949394B (zh) 一种共享算力资源的方法、系统及存储介质
CN108200203B (zh) 基于双层网络的区块链系统
Huang et al. Resource allocation and consensus on edge blockchain in pervasive edge computing environments
CN111949395B (zh) 基于区块链的共享算力数据处理方法、系统及存储介质
US20220006641A1 (en) Distribution of Blockchain Validation
KR102254809B1 (ko) 블록체인에 기반한, 자원 공유에 따른 보상 제공하는 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치
US7756051B2 (en) Content distribution using network coding
CN110866825A (zh) 基于公链的区块链信息存储方法及系统
CN110782343B (zh) 分布式网络中基于区块链的算力流通方法及系统
EP3651112A1 (en) Method for processing data and apparatuses for implementing the same
CN108347483B (zh) 基于双层网络的去中心化计算系统
EP4318362A1 (en) Blockchain-based data processing method, apparatus and device, and storage medium
CA3030717A1 (en) Consensus incentive method for blockchain
CN109584071B (zh) 区块链处理方法和电子设备
CN109413202B (zh) 区块链交易信息的排序系统及方法
CN111813788A (zh) 信息的查询方法和装置、信息的同步方法和装置
Guidi et al. Evaluating the decentralisation of filecoin
CN110244573A (zh) 基于智能家电的存储系统与智能家电
CN111144882A (zh) 处理数据的方法及实现该方法的装置
CN114581220B (zh) 数据处理方法、设备及分布式计算系统
CN116029390A (zh) 一种模型聚合训练方法及装置
CN110619023A (zh) 结合区块链的物联网的水源检测数据上链方法及装置
CN115796676A (zh) 一种低碳化指标体系模型验证方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant