CN103164490B - 一种不固定长度数据的高效存储实现方法和装置 - Google Patents

Abstract

本发明公开了一种不固定长度数据的高效存储实现方法和装置。在所述方法中：将数据存储空间划分成多个区块，当存储数据时，将待存储数据按照数据存储空间区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；按照存入顺序，将存入区块的地址组成一个数组链表；将所述待存储数据的主键和所述数组链表保存到内存哈希表中。本发明的技术方案能有效提高存储空间的利用率。

Description

一种不固定长度数据的高效存储实现方法和装置

技术领域

本发明涉及数据存取技术领域，特别涉及一种不固定长度数据的高效存储实现方法和装置。

背景技术

数据存取，是无线互联网领域应用服务程序最常见的任务和功能之一，由于数据信息千差万别，需要在同一存储空间中存储的同一类型的信息，其大小也千差万别。因此需要在数据存储效率与磁盘空间利用最大化之间不断的平衡，以找到一个最优的解决方案。

现有方案一：数据库

数据库技术是一种较为成熟的数据存储技术，形成了一套完整的体系和规范。其缺陷是：大规模数据读写反映较慢，数据源单一高并发访问处理性能较差。

现有方案二：顺序存储

将数据按照先后顺序直接写入存储空间中，该方式虽然没有其他资源的消耗，只是简单地将数据写入存储空间中。其缺陷是：

1.如果要读取某一块数据，需要从头开始判断其存储的位置以及数据的长度；

2.在修改中间一段数据时，其后的数据只能整体向后移动，才能保证数据不被覆盖；

3.在删除中间一段数据时，或其后的数据向前移动效率较慢，或保持空置造成浪费，无法高效的完成数据操作。

现有方案三：定长随机存储

将存储空间分成若干等长的区块，每一条数据分配一个区块进行存储，解决了顺序读写文件查找和修改效率较低的问题。但其缺陷是：

1.存储数据的大小有限，只有小于区块大小的一条数据才能写入，否则会造成数据的覆盖或溢出；

2.由于区块大小固定，但存入的数据大小不等，会造成文件中大量存储空间的浪费，如图1所示。图1是现有的定长随机存储方案的示意图。

可见，现有的数据存取技术的存储空间利用率仍有待提高。

发明内容

本发明提供了一种不固定长度数据的高效存储实现方法和装置，本发明的方案能有效提高存储空间的利用率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种不固定长度数据的高效存储实现方法，将数据存储空间划分成多个区块，当存储数据时，该方法包括：

将待存储数据按照数据存储空间区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；

按照存入顺序，将存入区块的地址组成一个数组链表；

将所述待存储数据的主键和所述数组链表保存到内存哈希表中。

该方法进一步包括：

当查找数据时，根据该数据的主键查找内存哈希表，找到对应的数组链表；

根据所找到的数组链表中的区块地址，以及各区块地址在数组链表中的顺序，从数据存储空间中查找出该数据。

该方法进一步包括：

当修改数据时，查找到该数据所占据的区块；

清空所要修改的各段数据所占据的区块，再以存储新数据的方式将新数据写入所述清空的区块中；

更新内存哈希表中的对应的数组链表。

该方法进一步包括：

当删除数据时，查找到该数据所占据的区块；

从所占据的区块中删除该数据，并删除内存哈希表中的该数据对应的内容。

该方法进一步包括：

建立索引空间，将索引空间也划分成多个区块，且索引空间的区块与数据存储空间的区块一一对应；

当存储数据时，在与存入数据的数据存储空间区块对应的索引空间区块中写入：该数据的主键和对应数据存储空间区块中存入数据的序号；

当应用服务程序重启时，根据索引空间中的内容恢复内存哈希表。

该方法进一步包括：

当修改数据时，对应更新索引空间中的内容；

当删除数据时，对应删除索引空间中的内容。

本发明还公开了一种不固定长度数据的高效存储实现装置，该装置包括：被划分成多个区块的数据存储模块、存储处理模块和用于保存哈希表的内存模块；

存储处理模块，用于在存储数据时，将待存储数据按照数据存储模块区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；按照存入顺序，将存入区块的地址组成一个数组链表，将所述待存储数据的主键和所述数组链表保存到内存模块中的哈希表中。

在上述装置中，所述存储处理模块，进一步用于在查找数据时，根据该数据的主键查找内存模块中的哈希表，找到对应的数组链表，根据所找到的数组链表中的区块地址，以及各区块地址在数组链表中的顺序，从数据存储模块中查找出该数据。

在上述装置中，

所述存储处理模块，进一步用于在修改数据时，首先查找到该数据所占据的区块，然后清空所要修改的各段数据所占据的区块，再以存储新数据的方式将新数据写入所述清空的区块中，并更新内存模块中哈希表中的对应的数组链表；

所述存储处理模块，进一步用于在删除数据时，首先查找到该数据所占据的区块，从所占据的区块中删除该条数据，并删除内存模块中哈希表中的该条数据对应的内容。

上述装置进一步包括：索引存储模块，该索引存储模块也被划分成多个区块，且索引存储模块的区块与数据存储模块的区块一一对应；

所述存储处理模块，进一步用于在存储数据时，在与存入数据的数据存储模块区块对应的索引存储模块区块中写入：该数据的主键和对应数据存储模块区块中存入数据的序号；

所述存储处理模块，进一步用于在应用服务程序重启时，根据索引存储模块中的内容恢复内存模块中的哈希表；

所述存储处理模块，进一步用于在修改数据时，对应更新索引存储模块中的内容，在删除数据时，对应删除索引存储模块中的内容。

本发明实施例的有益效果是：将数据存储空间划分成多个区块，当存储数据时，将待存储数据按照数据存储空间区块的大小切割成多段，按照各段数据在所述的待存储数据中的顺序，将每段数据存入一个区块中；按照存入顺序，将存入区块的地址组成一个数组链表，将所述待存储数据的主键和所述数组链表对应保存到内存哈希表中的技术方案，可以方便地实现后续的查找、修改、删除等处理，并且相比于现有的定长随机存储的方案，不需要将一条数据存储在一个区块中，而是根据区块的大小对待存储的一条数据进行分段，将分段数据存储到各个区块中，避免了由于存入区块中的数据大小不等造成的存储空间浪费，提高了存储空间的利用率。

附图说明

图1是现有的定长随机存储方案的示意图；

图2是本发明实施例中的一种不固定长度数据的高效存储实现方法的流程图；

图3是本发明实施例中的数据存储空间和索引空间的对应关系示意图；

图4是本发明实施例中的一种不固定长度数据的高效存储实现装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图2是本发明实施例中的一种不固定长度数据的高效存储实现方法的流程图。在本发明中，将数据存储空间划分成多个区块，当存储数据时，如图2所示，该方法包括：

201，将待存储数据按照数据存储空间区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；

202，按照存入顺序，将存入区块的地址组成一个数组链表；

203，将所述待存储数据的主键和所述数组链表保存到内存哈希表中。

例如，假设将数据存储空间划分成50个区块，各区块之间的大小可以相等也可以不等。当存储一条数据A时，先查看空闲的区块，这里假设第2、3、5、6、9、10...区块是空闲，则根据区块的大小分割数据A，这里假设将数据A分割成4段，分别为A1、A2、A3和A4，其中，A1的大小等于区块2的大小、A2的大小等于区块3的大小、A3的大小等于区块5的大小、A4的大小等于区块6的大小；则将A1、A2、A3和A4依次存入区块2、3、5和6中。之后，按照存入顺序，将区块2、3、5和6的地址组成一个数组链表。这里数组链表中各个地址是有顺序的，本实施例中即依次为区块2、3、5和6。将数据A的主键key-A和数组链表对应保存到内存哈希表中。

基于图2所示的数据存储方案：

当查找数据时，根据该数据的主键查找内存哈希表，找到对应的数组链表；

根据所找到的数组链表中的区块地址，以及各区块地址在数组链表中的顺序，从数据存储空间中查找出该数据。

例如，当要查找上述存储的数据A时，根据主键key-A找到对应的数组链表，该数组链表包含区块2、3、5和6的地址，则依次读取区块2、3、5和6的内容即得到数据A。

当修改数据时，首先查找到该数据所占据的区块；

然后，清空所要修改的各段数据所占据的区块，之后，再以存储新数据的方式将新数据写入所述清空的区块中；更新内存哈希表中的对应的数组链表。

例如，当要将数据A修改成数据A’时，需要修改区块6中的内容，并且在区块6的内容之后还有一段数据A5需要存储，则先清空区块6的内容，在区块6中存入新的内容，并在后续的空闲区块9中存入A5。更新内存哈希表中的key-A和对应的数组链表。

当删除数据时，首先查找到该数据所占据的各区块；

从所占据的各区块中删除该数据，并删除内存哈希表中的该数据对应的内容。

例如，当删除数据A时，删除取区块2、3、5和6中的内容，并删除内存哈希表中的key-A和对应的数组链表。

在无线互联网领域应用服务程序的应用场景中，当应用服务程序退出后，内存中的数据会丢失，即内存哈希表会丢失。针对该问题，本发明中还给了如下的应用服务程序重启时的内存哈希表恢复方案：

索引空间，将索引空间也划分成多个区块，且索引空间的区块与数据存储空间的区块一一对应；

当存储数据时，在与存入数据的数据存储空间区块对应的索引空间区块中写入：该数据的主键和对应数据存储空间区块中存入数据的序号；

以及，当修改数据时，对应更新索引空间中的内容，当删除一条数据时，对应删除索引空间中的内容。这里，更新/删除涉及的索引空间中的内容具体为：与数据存储空间中的更新/删除所涉及的区块对应的索引空间区块中的主键及分段数据的序号。

这样，当应用服务程序重启时，根据索引空间中的内容恢复内存哈希表。

图3是本发明实施例中的数据存储空间和索引空间的对应关系示意图。

例如，在上述的举例中，索引空间也划分成50个区块，当将数据A存储到数据存储空间中的区块2、3、5和6中时，相应地：在索引空间中的第2个区块中存入key-A和序号1、在索引空间中的第3个区块中存入key-A和序号2、在索引空间中的第5个区块中存入key-A和序号3、以及在索引空间中的第6个区块中存入key-A和序号4。

如果中间对数据A没有修改和删除，则当应用服务程序重启后，根据索引空间中的内容恢复内存哈希表中的关于数据A的条目的过程为：从索引空间中找出所有包含key-A的区块，这里为区块2、3、5和6，根据其中的序号可以确定先后顺序为2-3-5-6，将区块2、3、5和6的地址组成数组链表，将key-A和该数组链表对应保存到内存哈希表中。

遍历索引空间中的所有区块，按照上述方法恢复内存哈希表中的各个条目，则最终可以恢复应用服务程序退出时的内存哈希表的内容。

在这种方案中，从索引空间的起始位置开始按照规则读取主键和序号，在全部读取完后，按照不同的主键和各主键对应的序号重新组成对应的数组链表，虽然需要耗费一定时间，但读取索引空间的信息量较少，与直接读取数据存储空间重建内存哈希表相比，效率有很大提高。

在本发明的方案中，磁盘的空闲地址较少，与其他方案相比，可以存储更多的数据。索引文件与数据文件分离，某些操作可以通过对索引的操作高效的完成。可见，本发明的方案在能够随机对数据进行增添、修改、删除和查询等操作的同时，达到对于磁盘空间利用的最大化。

基于上述实施例，给出本发明中的一种不固定长度数据的高效存储实现装置。

图4是本发明实施例中的一种不固定长度数据的高效存储实现装置的结构图。如图4所示，该装置包括：数据存储模块401、存储处理模块402和内存模块403；其中，数据存储模块401被划分成多个区块，内存模块403用于保存哈希表；

存储处理模块402，用于在存储数据时，将待存储数据按照数据存储模块401的区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；按照存入顺序，将存入区块的地址组成一个数组链表，将所述待存储数据的主键和所述数组链表保存到内存模块403中的哈希表中。

在图4所示的装置中，所述存储处理模块402，进一步用于在查找数据时，根据该数据的主键查找内存模块403中的哈希表，找到对应的数组链表，根据所找到的数组链表中的区块地址，以及各区块地址在数组链表中的顺序，从数据存储模块401中查找出该数据。

在图4所示的装置中，所述存储处理模块402，进一步用于在修改数据时，首先查找到该条数据所占据的区块，然后清空所要修改的各段数据所占据的区块，再以存储新数据的方式将新数据写入所述清空的区块中，并更新内存模块403中哈希表中的对应的数组链表；

存储处理模块402，进一步用于在删除数据时，首先查找到该数据所占据的区块，从所占据的区块中删除该条数据，并删除内存模块403中哈希表中的该条数据对应的内容。

如图4所示，该装置进一步包括：索引存储模块404，用虚线框表示。该索引存储模块404也被划分成多个区块，且索引存储模块404的区块与数据存储模块401的区块一一对应；

存储处理模块402，进一步用于在存储数据时，在与存入数据的数据存储模块区块对应的索引存储模块区块中写入：该数据的主键和对应数据存储模块区块中存入数据的序号；

存储处理模块402，进一步用于在应用服务程序重启时，根据索引存储模块404中的内容恢复内存模块403中的哈希表；

存储处理模块，进一步用于在修改数据时，对应更新索引存储模块中的内容，在删除数据时，对应删除索引存储模块中的内容。

由上述可见，本发明中将数据存储空间划分成多个区块，当存储数据时，将待存储数据按照数据存储空间区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；按照存入顺序，将存入区块的地址组成一个数组链表，将所述待存储数据的主键和所述数组链表对应保存到内存哈希表中的技术方案，可以方便地实现后续的查找、修改、删除等处理，并且相比于现有的定长随机存储的方案，不需要将一条数据存储在一个区块中，而是根据区块的大小对待存储的一条数据进行分段，将分段数据存储到各个区块中，避免了由于存入区块中的数据大小不等造成的存储空间浪费，提高了存储空间的利用率。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种不固定长度数据的高效存储实现方法，其特征在于，将数据存储空间划分成多个区块，各区块之间的大小相等或者不等，当存储数据时，该方法包括：

将待存储数据按照数据存储空间区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；

按照存入顺序，将存入区块的地址组成一个数组链表；

将所述待存储数据的主键和所述数组链表保存到内存哈希表中。

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

当查找数据时，根据该数据的主键查找内存哈希表，找到对应的数组链表；

根据所找到的数组链表中的区块地址，以及各区块地址在数组链表中的顺序，从数据存储空间中查找出该数据。

3.根据权利要求2所述的方法，其特征在于，该方法进一步包括：

当修改数据时，查找到该数据所占据的区块；

清空所要修改的各段数据所占据的区块，再以存储新数据的方式将新数据写入所述清空的区块中；

更新内存哈希表中的对应的数组链表。

4.根据权利要求2所述的方法，其特征在于，该方法进一步包括：

当删除数据时，查找到该数据所占据的区块；

从所占据的区块中删除该数据，并删除内存哈希表中的该数据对应的内容。

5.根据权利要求1至4中任一项所述的方法，其特征在于，该方法进一步包括：

建立索引空间，将索引空间也划分成多个区块，且索引空间的区块与数据存储空间的区块一一对应；

当存储数据时，在与存入数据的数据存储空间区块对应的索引空间区块中写入：该数据的主键和对应数据存储空间区块中存入数据的序号；

当应用服务程序重启时，根据索引空间中的内容恢复内存哈希表。

6.根据权利要求5所述的方法，其特征在于，该方法进一步包括：

当修改数据时，对应更新索引空间中的内容；

当删除数据时，对应删除索引空间中的内容。

7.一种不固定长度数据的高效存储实现装置，其特征在于，该装置包括：被划分成多个区块，各区块之间的大小相等或者不等的数据存储模块、存储处理模块和用于保存哈希表的内存模块；

存储处理模块，用于在存储数据时，将待存储数据按照数据存储模块区块的大小切割成多段，按照各段数据在所述待存储数据中的顺序，将每段数据存入一个区块中；按照存入顺序，将存入区块的地址组成一个数组链表，将所述待存储数据的主键和所述数组链表保存到内存模块中的哈希表中。

8.根据权利要求7所述的装置，其特征在于，

所述存储处理模块，进一步用于在查找数据时，根据该数据的主键查找内存模块中的哈希表，找到对应的数组链表，根据所找到的数组链表中的区块地址，以及各区块地址在数组链表中的顺序，从数据存储模块中查找出该数据。

9.根据权利要求8所述的装置，其特征在于，

所述存储处理模块，进一步用于在修改数据时，首先查找到该数据所占据的区块，然后清空所要修改的各段数据所占据的区块，再以存储新数据的方式将新数据写入所述清空的区块中，并更新内存模块中哈希表中的对应的数组链表；

所述存储处理模块，进一步用于在删除数据时，首先查找到该数据所占据的区块，从所占据的区块中删除该条数据，并删除内存模块中哈希表中的该条数据对应的内容。

10.根据权利要求7至9中任一项所述的装置，其特征在于，该装置进一步包括：索引存储模块，该索引存储模块也被划分成多个区块，且索引存储模块的区块与数据存储模块的区块一一对应；

所述存储处理模块，进一步用于在存储数据时，在与存入数据的数据存储模块区块对应的索引存储模块区块中写入：该数据的主键和对应数据存储模块区块中存入数据的序号；

所述存储处理模块，进一步用于在应用服务程序重启时，根据索引存储模块中的内容恢复内存模块中的哈希表；

所述存储处理模块，进一步用于在修改数据时，对应更新索引存储模块中的内容，在删除数据时，对应删除索引存储模块中的内容。