CN115640360A - 动态压缩型分布式数据存储方法及存储系统、装置 - Google Patents

Abstract

本发明公开了动态压缩型分布式数据存储方法及存储系统、装置，包括：设置分布式存储节点插件，启动私有分布式存储节点，根据外部系统的存储请求触发内容寻址标识智能合约；生成分布式存储节点的对应密钥对，所述内容寻址标识智能合约指定区块链节点地址；基于内容寻址标识智能合约可实现分布式存储节点适应动态分布式网络；所述区块链节点为存储数据选取加权因子，计算存储数据的数据价值；分布式存储节点设置存储数据属性，分配整个存储区域，根据数据价值为所述存储数据预留存储空间，并确定默认存储周期；根据所述数据价值、数据属性、预留存储空间和存储周期压缩所述存储数据，并将压缩后的数据存入数据库。

Description

动态压缩型分布式数据存储方法及存储系统、装置

技术领域

本发明属于区块链技术领域，具体涉及动态压缩型分布式数据存储方法及存储系统、装置。

技术背景

数据库技术是先进信息技术的重要组成部分，是现代计算机信息系统和计算机应用系统的基础和核心，始于20世纪60年代中期。根据数据模型的发展，可划分为三个发展阶段：第一代的网状、层次数据库系统；第二代关系数据库系统；第三代以面向对象模型为主要特征的数据库系统。随着科学技术的不断进步，各个行业领域对数据库技术提出了更多的需求，并和诸多新技术结合，例如分布处理技术，逐渐应用于多个领域，由此也衍生出多种新的数据库技术。

区块链技术包含P2P网络技术、密码学技术、数据存储技术、共识算法以及智能合约技术的使用。本质上是一个去中心化的数据库，并采用密码学方法将一个个区块相互关联的数据块构成块链式数据结构，每个数据块包含了资产交易信息，用于验证其信息的有效性和产生下一个区块。区块链数据库的维护是去中心化、去信任的。和传统的中心化技术相比，区块链数据库在数据传输、处理及存储上没有优势，单位时间的系统交易量超过软硬件网络环境的承载能力，或者超过处理能力最弱节点的性能，相关交易将会类似消息处理系统产生积压队列，使得处理缓慢，因此区块链技术除了需要高性能的CPU外，还需保障网络带宽和存储空间，从而在当前资源尤其是互联网带宽有限的状况下，对于高实效性的交易行为若完全依赖区块链数据存储技术，将无法达到良好性能要求。而相较于区块链而言，传统的数据库的优势在于具有强一致性、高速可靠处理能力、多维度分析和持久化。

分布式数据库允许用户开发的应用程序把多个物理分开通过网络互联的数据库当作一个完整的数据库，传统的数据库中用户对数据库的操作有：(1)创建数据库；(2)读取数据库；(3)更新数据库；(4)删除数据库。区块链数据库仅支持用户对数据库的两类操作：(1)读取；(2)增加，即新数据只能以附加块的形式加入区块链数据库，而先前数据库中的数据将会永久保存，并且仅供读取无法更改。

区块链数据库技术和传统数据库技术各有各的优势和劣势，将两者进行结合互补将不仅有助于提高区块链数据库处理数据的效率还能实现去中心化不可篡改的功能。

因此，需要设计一种动态网络压缩型分布式数据存储方法应对区块链动态变化的交易网络。

发明内容

本发明基于上述背景和现有技术所存在的问题，拟设计一种适应区块链动态网络的压缩型数据库的存储方法，其能够解决处理缓慢的问题，基于区块链本身特性实现数据永久保存且可更改。通过本发明的存储系统，可以提高数据存储的效率，以便动态网络交易数据积压处理。

为了实现本发明的这些目的和其它优点，提供了一种动态压缩型分布式数据存储方法，具体实现步骤包括：

设置分布式存储节点插件启动私有分布式存储节点，根据外部系统的存储请求触发内容寻址标识智能合约启动存储数据自动处理流程；

所述内容寻址标识智能合约指定区块链节点地址，并生成分布式存储节点的对应密钥对；基于内容寻址标识智能合约可实现分布式存储节点适应动态分布式网络；

所述区块链节点为存储数据选取加权因子，计算存储数据的存储数据价值；

分布式存储节点设置存储数据属性，分配整个存储区域，根据存储数据价值为所述存储数据预留存储空间，并确定默认存储周期；

获取密钥对，获取所述存储数据价值、存储数据属性、预留存储空间和默认存储周期对存储数据进行加密压缩，并将加密压缩后的存储数据存入数据库。

进一步地，其中，启动存储数据自动处理流程包括：接收外部系统的存储数据，设置分布式存储节点插件时，将存储数据保存到外部系统中，触发内容寻址标识智能合约，对存储数据情况进行检测，根据检测结果指定区块链节点。

进一步地，设置所述加权因子包括：设置存储数据的使用频次为a，设置存储数据的下载次数为b，设置存储数据的使用者情况为c，设置存储数据的产品价格为d。

进一步地，基于所述加权因子计算存储数据价值，具体实现步骤包括：

设置所述第a、b、c、d项组成部分加权因子系数为E1、E2、E3、E4；设置存储数据属性为F；

计算存储数据价值＝a×E1+b×E2+c×E3+d×E4+F。其中，存储数据生产价格根据数据需求提出到数据生产完成所经历的时间、参与的人力以及数据生产所经历的环节综合得出数据的产品价格d。

进一步地，上述步骤还包括通过已经生成的分布式存储节点生成存储数据销毁清单完成对存储数据的自动处理，具体实现步骤包括：

为分布式存储节点、区块链节点、内容寻址存储智能合约建立特殊存储数据库链表，为保证精度必须进行特殊存储数据库表处理；

根据所述存储数据属性包括数据特点、数据来源和数据使用方式、存储区域、预留存储空间其中的几种来评估存储数据属性价值，计算存储数据的默认存储周期；

根据存储数据属性对超出压缩范围的存储数据设置标识；

计算并记录此存储数据的坐标，将坐标存入特殊数据库链表；

在所有存储数据处理完成后，在文件末尾依次写入特殊数据库链表中各结点的相对坐标。

优选的是，采用直接压缩法实现压缩所述存储数据，有效提高存储数据压缩性能，具体实现步骤包括：

获取数据组；

将数据组以128位字长分为16段，每段8位，第1段为压缩控制段，其余段为数据段，由数据段和压缩控制段共同确定存储数据。

进一步地，还包括在后续存储数据需要使用时对压缩存储数据进行解压缩，所述解压缩的具体实现步骤包括：

解压缩时，触发内容寻址标识存储智能合约对数据段有特殊标识的坐标点转至特殊数据区；

依次和各存储数据的坐标点比较，找出相应的分布式存储节点；

通过分布式存储节点直接取出相应节点数据；

数据段和压缩控制段的长度固定，根据所述内容寻址智能合约随机恢复某一已知坐标点的存储数据。

另一方面，本发明提出了一种动态压缩型分布式数据存储系统，具体组成包括：

分布式存储节点插件：用于启动私有分布式存储节点；

外部系统：用于发出存储请求；设置分布式存储节点插件时，用于将存储数据保存；

分布式存储节点：用于根据外部系统的存储请求触发内容寻址标识智能合约；用于设置存储数据属性，分配整个存储区域，根据存储数据价值为所述存储数据预留存储空间，并确定默认存储周期；

内容寻址标识智能合约：用于存储节点增加方法步骤中增加节点涉及到的各类各种信息；用于指定区块链节点地址，并生成分布式存储节点的对应密钥；

区块链节点：为存储数据选取加权因子，计算存储数据的存储数据价值；

数据库：用于存储最终加密压缩后的存储数据。

第三方面，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现以上任意一项的方法和步骤。

第四方面，本发明提出了一种动态压缩型分布式数据存储装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时可实现以上任意一项的方法和步骤。

本发明至少包括的有益效果：本发明设计实现了一种动态压缩型分布式数据存储方法，设置分布式存储节点和内容寻址标识智能合约启动自动存储数据自动处理流程，提高区块链等分布式网络的存储性能和效率，进而通过内容寻址智能合约指定区块链节点地址，实现存储数据的强一致性、高速可靠处理能力、多维度分析和持久化；通过引入加权因子和存储数据属性，提高数据压缩和存储的针对性，节省存储空间的同时提高存储效率；此外通过加入默认存储周期，以及对存储数据进行加密提高了动态存储数据存储系统的安全存储保护效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，本发明的附图内容作为本发明的实施例，落入本发明的保护范围。

图1为本发明动态压缩型分布式数据存储实现流程图；

图2为本发明动态压缩型分布式数据存储系统图。

具体实施方式

为了清晰地阐述本发明，使本发明实施例的目的、技术方案和优点更加清楚，下面结合了本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，以令本领域技术人员参照说明书文字能够据以实施。下面将附图结合具体实施方式对本发明的技术加以详细说明。

在本发明的一个实施例中，提出了一种动态压缩型分布式数据存储方法，如图1所示，具体实现步骤包括：

S1设置分布式存储节点插件启动私有分布式存储节点，根据外部系统的存储请求触发内容寻址标识智能合约启动存储数据自动处理流程；其中，启动存储数据自动处理流程包括：接收外部系统的存储数据，设置分布式存储节点插件时，将存储数据保存到外部系统中，触发内容寻址标识智能合约，对存储数据情况进行检测，根据检测结果指定区块链节点；

S2所述内容寻址标识智能合约指定区块链节点地址，并生成分布式存储节点的对应密钥对；基于内容寻址标识智能合约实现分布式存储节点适应动态分布式网络；

S3所述区块链节点为存储数据选取加权因子，计算存储数据的存储数据价值；设置所述加权因子包括：设置存储数据的使用频次为a，设置存储数据的下载次数为b，设置存储数据的使用者情况为c，设置存储数据的产品价格为d。

基于所述加权因子计算存储数据价值，具体实现步骤包括：

设置所述第a、b、c、d项组成部分加权因子系数为E1、E2、E3、E4；设置存储数据属性为F；

计算存储数据价值＝a×E1+b×E2+c×E3+d×E4+F；其中，存储数据生产价格根据数据需求提出到数据生产完成所经历的时间、参与的人力以及数据生产所经历的环节综合得出数据的产品价格d；

S4分布式存储节点设置存储数据属性，分配整个存储区域，根据存储数据价值为所述存储数据预留存储空间，并确定默认存储周期；

S5获取密钥对，获取所述存储数据价值、存储数据属性、预留存储空间和默认存储周期对存储数据进行加密压缩，并将加密压缩后的存储数据存入数据库；其中，通过直接压缩法实现压缩所述存储数据，具体实现步骤包括：

获取数据组；

将数据组以128位字长分为16段，每段8位，第1段为压缩控制段，其余段为数据段，由数据段和压缩控制段共同确定存储数据。

还包括在后续存储数据需要使用时对压缩存储数据进行解压缩，所述解压缩的具体实现步骤包括：

解压缩时，触发内容寻址标识存储智能合约对数据段有特殊标识的坐标点转至特殊数据区；

依次和各存储数据的坐标点比较，找出相应的分布式存储节点；

通过分布式存储节点直接取出相应节点数据；

数据段和压缩控制段的长度固定，根据所述内容寻址智能合约随机恢复某一已知坐标点的存储数据；

S6还包括通过已经生成的分布式存储节点生成存储数据销毁清单完成对存储数据的自动处理，具体实现步骤包括：

为分布式存储节点、区块链节点、内容寻址存储智能合约建立特殊存储数据库链表，为保证精度必须进行特殊存储数据库表处理；

根据所述存储数据属性包括数据特点、数据来源和数据使用方式、存储区域、预留存储空间其中的几种来评估存储数据属性价值，计算存储数据的默认存储周期；

根据存储数据属性对超出压缩范围的存储数据设置标识；

计算并记录此存储数据的坐标，将坐标存入特殊数据库链表；

在所有存储数据处理完成后，在文件末尾依次写入特殊数据库链表中各结点的相对坐标。

本发明另一实施例提出了一种动态压缩型分布式数据存储系统，如图2所示，具体组成包括：

分布式存储节点插件：用于启动私有分布式存储节点；

外部系统：用于发出存储请求；设置分布式存储节点插件时，用于将存储数据保存；外部系统位于动态网络压缩型分布式数据存储系统前端，包括用于接收存储请求的服务器，包括用于数据存储的存储器和服务器，包括用于处理消息和传输数据的组件和模块；

分布式存储节点：用于根据外部系统的存储请求触发内容寻址标识智能合约；用于设置存储数据属性，分配整个存储区域，根据存储数据价值为所述存储数据预留存储空间，并确定默认存储周期；

内容寻址标识智能合约：用于存储节点增加方法步骤中增加节点涉及到的各类各种信息；用于指定区块链节点地址，并生成分布式存储节点的对应密钥；

区块链节点：为存储数据选取加权因子，计算存储数据的存储数据价值；

数据库：用于存储最终加密压缩后的存储数据。

这里说明的模块数量和处理规模是用来简化本发明的说明的。对本发明的存储系统的应用、修改和变化对本领域的技术人员来说是显而易见的。

本发明另一实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如方法实施例相同或相似的步骤，此处不再赘述。

本发明另一实施例提出了一种动态压缩型分布式数据存储装置，该动态压缩型分布式数据存储装置可以是服务器也可以是移动终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该数据库用于计算机设备的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现动态压缩型分布式数据存储方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种动态压缩型分布式数据存储方法，其特征在于，包括以下步骤：

设置分布式存储节点插件启动私有分布式存储节点，根据外部系统的存储请求触发内容寻址标识智能合约启动存储数据自动处理流程；

所述内容寻址标识智能合约指定区块链节点地址，并生成分布式存储节点的对应密钥对；

所述区块链节点为存储数据选取加权因子，计算存储数据的存储数据价值；

分布式存储节点设置存储数据属性，分配整个存储区域，根据存储数据价值为所述存储数据预留存储空间，并确定默认存储周期；

获取密钥对，获取所述存储数据价值、存储数据属性、预留存储空间和默认存储周期对存储数据进行加密压缩，并将加密压缩后的存储数据存入数据库。

2.根据权利要求1所述的动态压缩型分布式数据存储方法，其特征在于，其中，启动存储数据自动处理流程包括：接收外部系统的存储数据，设置分布式存储节点插件时，将存储数据保存到外部系统中，触发内容寻址标识智能合约，对存储数据情况进行检测，根据检测结果指定区块链节点。

3.根据权利要求1所述的动态压缩型分布式数据存储方法，其特征在于，设置所述加权因子包括：设置存储数据的使用频次为a，设置存储数据的下载次数为b，设置存储数据的使用者情况为c，设置存储数据的产品价格为d。

4.根据权利要求1或3所述的动态压缩型分布式数据存储方法，其特征在于，基于所述加权因子计算存储数据价值，具体实现步骤包括：

设置所述第a、b、c、d项组成部分加权因子系数为E1、E2、E3、E4；设置存储数据属性为F；

计算存储数据价值＝a×E1+b×E2+c×E3+d×E4+F。

5.根据权利要求1所述的动态压缩型分布式数据存储方法，其特征在于，还包括以下步骤：

通过已经生成的分布式存储节点生成存储数据销毁清单完成对存储数据的自动处理，具体为：为分布式存储节点、区块链节点、内容寻址存储智能合约建立特殊存储数据库链表；

根据所述存储数据属性包括数据特点、数据来源和数据使用方式、存储区域、预留存储空间其中的几种来评估存储数据属性价值，计算存储数据的默认存储周期；

根据存储数据属性对超出压缩范围的存储数据设置标识；

计算并记录此存储数据的坐标，将坐标存入所述数据库的特殊数据库链表；

在所有存储数据处理完成后，在存储数据涉及的文件末尾依次写入特殊数据库链表中各结点的相对坐标。

6.根据权利要求1所述的动态压缩型分布式数据存储方法，其特征在于，其中，通过直接压缩法实现压缩所述存储数据，具体实现步骤包括：

获取数据组；

将数据组以128位字长分为16段，每段8位，第1段为压缩控制段，其余段为数据段，由数据段和压缩控制段共同确定存储数据。

7.根据权利要求6所述的动态压缩型分布式数据存储方法，其特征在于，还包括以下步骤：

在后续存储数据需要使用时对压缩存储数据进行解压缩，解压缩时，触发内容寻址标识存储智能合约对数据段有特殊标识的坐标点转至特殊数据区；

依次和各存储数据的坐标点比较，找出相应的分布式存储节点；

通过分布式存储节点直接取出相应节点数据；

数据段和压缩控制段的长度固定，根据所述内容寻址智能合约随机恢复某一已知坐标点的存储数据。

8.一种动态压缩型分布式数据存储系统，其特征在于，具体组成包括：

分布式存储节点插件：用于启动私有分布式存储节点；

外部系统：用于发出存储请求；设置分布式存储节点插件时，用于将存储数据保存；

分布式存储节点：用于根据外部系统的存储请求触发内容寻址标识智能合约；用于设置存储数据属性，分配整个存储区域，根据存储数据价值为所述存储数据预留存储空间，并确定默认存储周期；

内容寻址标识智能合约：用于存储节点增加方法步骤中增加节点涉及到的各类各种信息；用于指定区块链节点地址，并生成分布式存储节点的对应密钥；

区块链节点：为存储数据选取加权因子，计算存储数据的存储数据价值；

数据库：用于存储最终加密压缩后的存储数据。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法步骤。

10.一种动态压缩型分布式数据存储装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的方法步骤。

Images