CN105204782B - 一种实现数据存储的方法及装置 - Google Patents

Abstract

本申请公开了一种实现数据存储的方法及装置，包括：根据预先确定的无理数确定进行数据存储的存储参数；将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。本发明通过预先确定的无理数及基于无理数确定的存储参数进行数据存储，根据还原参数信息进行数据还原处理，相对于现有存储方式的元数据，进行数据读取和还原仅需保存无理数、存储参数和还原参数信息既可，降低了存储和还原数据的计算量。

Description

一种实现数据存储的方法及装置

技术领域

本申请涉及云存储技术，尤指一种实现数据存储的方法及装置。

背景技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。许多人把云存储理解成把数据存到网上，其实不然。采用云存储技术进行数据存储时，数据不一定是存储在网络的固定位置，也不一定以完整的文件进行存储，甚至存储的方式也是随机的，云存储最基本要求是：数据的合法拥有者在存储完数据口必须能够从存储位置将数据还原。

目前，云存储的基本方法是先将数据分块，然后随机的将数据分块分布到网络上的多台服务器上，并在本地记录数据分块和数据分块后的分布信息，在需要重新获取数据时，根据本地记录数据分块和数据分块后的分布信息进行还原数据的处理。为了保证云存储的安全性能，在进行数据分块和分布数据分块到服务器时需要进行比如数据切分、建立数据影射、元数据存储、索引、冗余、传输、加密解密等。例如、利用哈希(Hash)表进行存储，就要先合理切分数据，保证每一段切分的数据计算的关键(key)值都和其他段不同，对所有服务器(也可以称为存储节点)也进行hash，各存储节点的key值亦不重复。然后建立一张映射表，使切分的数据的key值与存储节点的key值形成对应关系后，就可以进行打散存储了。打散存储后，通过元数据表中记录的每一块切分数据的key值和存储节点的key值，元数据用于数据还原。

虽然元数据数据量较小，但随着切分数据的块数的增加和存储节点数量的增加，需要在本地存储大量的元数据，进行数据的存储和还原时，需要较高的运算量，对于存储或运算的系统而言很难实现。

发明内容

为了解决上述问题，本发明提供一种实现数据存储的方法及装置，能够降低存储和还原数据时的计算量。

为了达到本发明的目的，本申请提供一种实现数据存储的方法；包括：

根据预先确定的无理数确定进行数据存储的存储参数；

将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

进一步地，确定进行数据存储的存储参数具体包括：

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储所述存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

所述预设的位数间隔为大于或等于0的整数。

进一步地，将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点具体包括：

对各切分的数据块进行排序编号后，根据所述确定的各数据块相应的写入的存储节点的存储节点编号，将所述存储数据的各数据块分别写入相应的存储节点。

进一步地，该方法之前还包括：

根据预先设定的数据块大小切分所述存储数据，获得所述切分的数据块；或，

采用预先定义的取数规则从所述无理数中选取各所述数据块相应的第二预设位数的切分大小数值；

按照选取先后对所述第二预设位数的切分大小数值进行排序；

根据排序的所述切分大小数值逐步切分所述存储数据，获得所述切分的数据块。

进一步地，根据排序的所述切分大小数值逐步切分所述存储数据前，该方法还包括：

删除切分大小数值的排序中在预设区间以外的切分大小数值，并对排序进行更新。

进一步地，还原参数信息具体包括：存储参数、各数据块的数据块排序编号、数据块大小和数据块写入至存储节点时在各存储节点的排序编号。

另一方面，本申请还提供一种实现数据存储的装置，包括：存储参数确定单元及存储写入单元；其中，

存储参数确定单元，用于根据预先确定的无理数确定进行数据存储的存储参数；

存储写入单元包括写入模块和还原参数生成模块；其中，

写入模块，用于将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点；

还原参数生成模块，用于根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

进一步地，存储参数确定单元具体用于，

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储所述存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

所述预设的位数间隔为大于或等于0的整数。

进一步地，该装置还包括切分单元，用于根据预先设定的数据块大小切分所述存储数据，获得所述切分的数据块；或，

采用预先定义的取数规则从所述无理数中选取各所述数据块相应的第二预设位数的切分大小数值；

按照选取先后对所述第二预设位数的切分大小数值进行排序；

根据排序的所述切分大小数值逐步切分所述存储数据，获得所述切分的数据块。

进一步地，写入模块具体用于，

对各切分的数据块进行排序编号后，根据所述确定的存储参数，将所述存储数据的各数据块分别写入相应存储节点编号的存储节点；

所述还原参数生成模块具体用于，根据存储参数、各数据块的数据块排序编号、数据块大小和数据块写入至存储节点时在各存储节点的排序编号生成所述还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

与现有技术相比，本发明提供的技术方案，包括：根据预先确定的无理数确定进行数据存储的存储参数；将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。本发明通过预先确定的无理数及基于无理数确定的存储参数进行数据存储，根据还原参数信息进行数据还原处理，相对于现有存储方式的元数据，进行数据读取和还原仅需保存无理数、存储参数和还原参数信息既可，降低了存储和还原数据的计算量。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本发明实现数据存储的方法的流程图；

图2为本发明实现数据存储的装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明实现数据存储的方法的流程图，如图1所示，包括：

步骤100、根据预先确定的无理数确定进行数据存储的存储参数；

需要说明的是，这里的无理数可以是常规的无理数，也可以是通过公式计算的无理数，只要是无理数既可。

本步骤中，确定进行数据存储的存储参数具体包括：

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

预设的位数间隔为大于或等于0的整数。

步骤101、将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

本步骤中，将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点具体包括：

对各切分的数据块进行排序编号后，根据确定的各数据块相应的写入的存储节点的存储节点编号，将存储数据的各数据块分别写入相应存储节点编号的存储节点。

本发明方法之前还包括：

根据预先设定的数据块大小切分存储数据，获得切分的数据块；或，

采用预先定义的取数规则从无理数中选取各数据块相应的第二预设位数的切分大小数值；

按照选取先后对第二预设位数的切分大小数值进行排序；

根据排序的切分大小数值逐步切分存储数据，获得切分的数据块。

需要说明的是，这里预设的取数规则可以包含取数间隔，取数间隔可以是固定的或者通过确定算法确定的间隔；第二预设位数大小根据系统参数配置和存储数据的大小等进行确定，属于本领域技术人员的惯用技术手段，一般的可以是1位到3位数，通过选取的位数作为切分数值大小。采用切分大小数据进行存储数据切分的方法，由于数据块大小不同，进一步提高了数据存储的安全性。

根据排序的切分大小数值逐步切分存储数据前，本发明方法还包括：

删除切分大小数值的排序中在预设区间以外的切分大小数值，并对排序进行更新。

需要说明的是，如果进行了排序更新，则根据更新的切分大小数据排序进行存储数据的切分。预设区间主要根据本领域技术人员的经验值进行设定，避免数据块过小，造成数据块过多；数据块过大，影响数据存储安全和均衡。

优选的，还原参数信息具体包括：存储参数、各数据块的数据块排序编号、数据块大小和数据块写入至存储节点时在各存储节点的排序编号。

需要说明的是，数据块大小为本发明上述方案中预先设定的数据块大小或切分大小数值。对数据块进行排序编号和对存储节点进行编号为本领域技术人员的惯用技术手段。另外，基于上述还原参数信息进行存储的数据的还原其实现原理与元数据的实现原理相同，只不过本发明方案还原参数信息计算量小，实现简单。

本发明通过预先确定的无理数及基于无理数确定的存储参数进行数据存储，根据还原参数信息进行数据还原处理，相对于现有存储方式的元数据，进行数据读取和还原仅需保存无理数、存储参数和还原参数信息既可，降低了存储和还原数据的计算量。

图2为本发明实现数据存储的装置的结构框图，如图2所示，包括：存储参数确定单元及存储写入单元；其中，

存储参数确定单元，用于根据预先确定的无理数确定进行数据存储的存储参数；

存储参数确定单元具体用于，

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

预设的位数间隔为大于或等于0的整数。

存储写入单元包括写入模块和还原参数生成模块；其中，

写入模块，用于将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点；

写入模块具体用于，

对各切分的数据块进行排序编号后，根据确定的存储参数，将存储数据的各数据块分别写入相应存储节点编号的存储节点。

还原参数生成模块具体用于，根据各数据块的写入生成各数据块写入时相应的数据块排序编号、数据块写入的存储节点编号、和数据块写入至存储节点时在各存储节点的排序编号的还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

还原参数生成模块，用于根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

本发明装置还包括切分单元，用于根据预先设定的数据块大小切分存储数据，获得切分的数据块；或，

采用预先定义的取数规则从无理数中选取各数据块相应的第二预设位数的切分大小数值；

按照选取先后对第二预设位数的切分大小数值进行排序；

根据排序的切分大小数值逐步切分存储数据，获得切分的数据块。

需要说明的是，根据排序的切分大小数值逐步切分存储数据前，可以对切分大小数值的排序中在预设区间以外的切分大小数值进行删除处理，并进行排序的更新。

以下通过具体实施例对本发明方法进行清楚详细的说明，实施例仅用于陈述本发明，并不用于限定本发明的保护范围。

实施例1

本实施例以圆周率π作为本实施方法中的无理数，对本发明方法进行清楚说明。本领域技术人员公知π的取值为3.1415926……；无理数的数字序列没有规律可循，具有很强的随机性，无理数还可以通过数据领域的计算公式获得，例如，可以通过1除以π计算获得无理数。

为了实现存储数据的存储，首先需要设定确定存储参数时，读取无理数的起始位，可以用户随机设定，例如，起始位为物理数的第三位，则从π的第三位开始读取第一预设位数的无理数。假设预设的位数间隔为0，则按照顺序逐个读取第一预设位数的无理数；第一预设位数根据本领域技术人员的经验值及存储节点个数进行确定。

为了实现数据存储还需要获得存储数据的存储节点的个数；一般的，存储节点的个数大于1，否则云存储意义不大。

本实施例根据预先设定的数据块大小切分存储数据，获得切分的数据块；即按照固定的数据块大小进行存储数据的切分，例如数据块大小可以设置为7。则按照7个字节为最小单位进行存储数据的切分。

以存储数据为：This_is_an_example_text，the_text_is_broken_up，and_storage_to_the_cloud_based进行存储为例：

无理数为π、读取无理数的起始位为30、存储节点的个数为5、预先设定的数据大小为7、预设的位数间隔为0。相应的进行数据存储时一般还包括全局数据编号，假设是：3y4k5f89f。表1第一实施例上述参数的示意信息。

表1

表1仅对存储过程中的前部分数据进行示例，通过本实施例方法可以完成所有数据的存储。

在确定数据块大小和全局数据编号后，全局数据编号用X表示，全局数据编号为数据存储过程中，本领域技术人员公知的参数，数据块写入至存储节点时在各存储节点的排序编号用字母Y表示，对于的数据块用Z表示，则本实施例数据块写入存储节点后，由于各存储节点一般包含多个用户以及各用户不同存储数据，因此每个数据块存储是必然包含全局数据编码，为了实现存储数据的还原，必然包含数据块写入至存储节点时在各存储节点的排序编号，其他信息例如数据块大小等参数可以在通过其他途径进行记录，无需每个节点均进行记录。表2为本发明第一实施例数据块写入是生成的部分参数及写入数据内容示意。

表2

读取数据时，根据全局数据编号、无理数、通过无理数确定各数据块写入的数据存储节点、结合根据数据块大小和记录的数据块写入至存储节点时在各存储节点的排序编号。可以将数据块读取并还原。

实施例2

本实施例以圆周率π作为本实施方法中的无理数，对本发明方法进行清楚说明。本领域技术人员公知π的取值为3.1415926……；无理数的数字序列没有规律可循，具有很强的随机性，无理数还可以通过数据领域的计算公式获得，例如，可以通过1除以π计算获得无理数。

为了实现存储数据的存储，首先需要设定确定存储参数时，读取无理数的起始位，可以用户随机设定，例如，起始位为物理数的第三位，则从π的第三位开始读取第一预设位数的无理数。假设预设的位数间隔为0，则按照顺序逐个读取第一预设位数的无理数；第一预设位数根据本领域技术人员的经验值及存储节点个数进行确定。

为了实现数据存储还需要获得存储数据的存储节点的个数；一般的，存储节点的个数大于1，否则云存储意义不大。

本实施例采用预先定义的取数规则从无理数中选取各数据块相应的第二预设位数的切分大小数值；按照选取先后对第二预设位数的切分大小数值进行排序；根据排序的切分大小数值逐步切分存储数据，获得切分的数据块。第二预设位数为2时，代表数据块的切分大小数值为0～99，即当前切分的数据块为0～99个字节；同理，第二预设位数为3时，代表数据块的切分大小数值为0～99，即当前切分的数据块为0～999个字节。

本实施例限定切分大小数值必须符合预设区间，及切分的数据块大小需要根据本领域技术人员设定的大小区间进行设定。具体取值可以根据存储数据的大小和存储系统的性能进行设定。需要说明的是，对于不符合的切分大小数值，可以进行以下处理：删除切分大小数值的排序中在预设区间以外的切分大小数值，并对排序进行更新。当然还可以通过一些计算公式，将预设区间以外的切分大小数值调整为预设区间以内的数值，这样就无需排序更新了，例如、假设预设区间为大于等于d且小于等于e，假设当前切分大小数值X在预设区间外，可以通过X＝(d+(X mod(e-d)))进行赋值计算，获得满足要求的切分大小数值。无论是进行了哪些处理，在通过无理数确定的这些数据都需要作为存储参数进行保存，或者作为确定存储参数和还原参数信息的内容进行保存。

以存储数据为：This_is_an_example_text，the_text_is_broken_up，and_storage_to_the_cloud_based进行存储为例：

无理数为π、读取无理数的起始位为30、存储节点的个数为5、根据切分大小数值确定各数据块大小。相应的进行数据存储时一般还包括全局数据编号，假设是：3y4k5f89f。表3第二实施例确定切分大小数据进行存储数据切分的部分参数示意，其中预设区间为大于等于2且小于等于7。

表3

表3仅对部分存储数据进行切分，对上述存储数据，采用表3中的参数进行切分时，可以切分为23个数据块，最后一个数据块大小小于切分大小数值，由于处于末端，因此不做调整。表4是完整的存储数据切分为数据块后，各数据块包含内容的信息。

本实施例通过无理数及预设规则，将存储数据切分为数据块大小不同的部分，增加了数据的混乱性，使存储的数据更加难以被还原，保证了存储数据的安全，由于用户知道具体无理数及相关参数和规则，因此进行数据还原时，计算并不复杂，不会给系统CPU和存储带来负担。

本实施例为了能够简洁清楚的说明本发明方法，采用较小的参数和较少的存储数据进行说明，对参数进行调整和存储较大的存储数据时，实现原理相同，计算量小。

表4

虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请，如本发明实施方式中的具体的实现方法。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种实现数据存储的方法，其特征在于，包括：

根据预先确定的无理数确定进行数据存储的存储参数；

将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原；

其中，所述确定进行数据存储的存储参数具体包括：

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储所述存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

所述预设的位数间隔为大于或等于0的整数。

2.根据权利要求1所述的方法，其特征在于，所述将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点具体包括：

对各切分的数据块进行排序编号后，根据所述确定的各数据块相应的写入的存储节点的存储节点编号，将所述存储数据的各数据块分别写入相应的存储节点。

3.根据权利要求1所述的方法，其特征在于，该方法之前还包括：

根据预先设定的数据块大小切分所述存储数据，获得所述切分的数据块；或，

采用预先定义的取数规则从所述无理数中选取各所述数据块相应的第二预设位数的切分大小数值；

按照选取先后对所述第二预设位数的切分大小数值进行排序；

根据排序的所述切分大小数值逐步切分所述存储数据，获得所述切分的数据块。

4.根据权利要求3所述的方法，其特征在于，所述根据排序的所述切分大小数值逐步切分所述存储数据前，该方法还包括：

删除切分大小数值的排序中在预设区间以外的切分大小数值，并对排序进行更新。

5.根据权利要求3所述的方法，其特征在于，所述还原参数信息具体包括：存储参数、各数据块的数据块排序编号、数据块大小和数据块写入至存储节点时在各存储节点的排序编号。

6.一种实现数据存储的装置，其特征在于，包括：存储参数确定单元及存储写入单元；其中，

存储参数确定单元，用于根据预先确定的无理数确定进行数据存储的存储参数；其中，所述存储参数确定单元具体用于，

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储所述存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

所述预设的位数间隔为大于或等于0的整数；

存储写入单元包括写入模块和还原参数生成模块；其中，

写入模块，用于将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点；

还原参数生成模块，用于根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

7.根据权利要求6所述的装置，其特征在于，该装置还包括切分单元，用于根据预先设定的数据块大小切分所述存储数据，获得所述切分的数据块；或，

采用预先定义的取数规则从所述无理数中选取各所述数据块相应的第二预设位数的切分大小数值；

按照选取先后对所述第二预设位数的切分大小数值进行排序；

根据排序的所述切分大小数值逐步切分所述存储数据，获得所述切分的数据块。

8.根据权利要求7所述的装置，其特征在于，所述写入模块具体用于，

对各切分的数据块进行排序编号后，根据所述确定的存储参数，将所述存储数据的各数据块分别写入相应存储节点编号的存储节点；

所述还原参数生成模块具体用于，根据存储参数、各数据块的数据块排序编号、数据块大小和数据块写入至存储节点时在各存储节点的排序编号生成所述还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。