CN104199892A - 一种基于压缩合并异步更新的索引读写方法 - Google Patents

Abstract

本发明涉及一种基于压缩合并异步更新的索引读写方法，该方法包括：将索引按照存储区域编号生成索引缓存文件；过滤并剔除不完整或正在写的索引缓存文件；索引缓存文件的总个数满足发起异步更新的条件时，分别读取各索引缓存文件中相同存储区域编号对应的存储区域的数据，合并并排序；读取当前存储区域编号在索引库中对应的存储区域的数据并解压；合并、排序并压缩上述数据，并将执行后的数据覆盖更新到当前存储区域编号在索引库中对应的存储区域并更新元数据；判断索引缓存文件是否读到文件尾，若是，则结束，若否，则将存储区域编号加1后继续执行。与现有技术相比，本发明具有高效、异步、能减少每次读磁盘的数据量及减少索引比对次数等优点。

Description

一种基于压缩合并异步更新的索引读写方法

技术领域

本发明涉及一种数据存储技术，尤其是涉及一种基于压缩合并异步更新的索引读写方法。

背景技术

随着计算机系统的不断发展，计算机系统中的有效数据也越来越多。用户在读取某些有效数据时需要在全部有效数据中查找自己需要的数据，而随着有效数据的增大增多，这个查找时间将变长。如果没有一个有效的方式能够快速找到用户需要的数据，那么有效数据的增大只能增加用户的负担。

索引技术的引进很好地解决了这个办法。数据在写的过程中同时会记录一些重要信息用来唯一标识该数据并记录该数据的存储位置及大小信息等，该信息我们称之为索引。索引能帮助我们快速地查找需要的数据，然而随着数据量不断增长，索引也相应的增长。在索引增长到海量级别时，尤其是索引记录达到上亿甚至百亿级别时，索引的查询性能将直接影响了整个读性能，一般的B+树也不能很好地解决读磁盘IO瓶颈带来的性能问题。

为了解决索引数据量增大导致的读性能问题，一般我们对索引采用分流的技术将索引分成很多类，每一个类对应一个存储区域，在查询时将该存储区域的数据一次性读出来进行对比。这种方式很有效地解决读磁盘的IO瓶颈问题，但也带来了一个新的问题，由于索引分类较多，在批量写时分流到各个存储区域的数据将很少，这将导致批量写时写磁盘的次数非常多而每次写磁盘的数据量很小。故在批量写时性能较差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高效的、异步的、能减少每次读磁盘的数据量及减少索引比对次数的基于压缩合并异步更新的索引读写方法。

本发明的目的可以通过以下技术方案来实现：

一种基于压缩合并异步更新的索引读写方法，该方法包括：

1)将内存中缓存的索引分为多个存储区域写入索引库，按照存储区域编号生成索引缓存文件；

2)异步获取至少一个索引缓存文件；

3)过滤并剔除不完整或正在写的索引缓存文件；

4)判断当前索引缓存文件的总个数是否满足发起异步更新的条件，若是，则执行步骤5)，若否，则结束；

5)分别读取步骤3)中获取的各索引缓存文件中相同存储区域编号对应的存储区域的数据，存储区域编号初始值为0；

6)合并并按索引从小到大排序步骤5)中读取的数据；

7)读取步骤5)中当前存储区域编号在索引库中对应的存储区域的数据；

8)解压步骤7)中读取的数据；

9)合并并按索引从小到大排序步骤6)执行后的数据及步骤8)执行后的数据；

10)压缩步骤9)执行后的数据；

11)将步骤10)执行后的数据覆盖更新到步骤5)中存储区域编号在索引库中对应的存储区域并更新元数据；

12)判断步骤5)中的索引缓存文件是否读到文件尾，若是，则结束，若否，则执行步骤5)并将步骤5)中的存储区域编号加1。

所述步骤1)具体为：

101)将内存中缓存的索引按存储区域编号对应分流，写入索引库；

102)对每一个存储区域编号对应的索引按照从小到大的顺序排序；

103)各个存储区域编号对应排序后的索引序列化成数据流；

104)步骤103)获得的数据流按存储区域编号从小到大的顺序组合成唯一的一个数据流；

105)将步骤104)生成的数据流写入磁盘生成一个索引缓存文件。

所述步骤4)中，发起异步更新的条件为当前索引缓存文件的总个数大于或等于设定个数n。

该方法还包括：

删除步骤3)过滤后更新完成的索引缓存文件及步骤3)过滤掉的不完整索引缓存文件。

所述压缩和解压采用的算法为snappy算法。

与现有技术相比，本发明通过压缩、合并和异步更新，大大减少了批量写的磁盘IO次数及耗时并均衡了批量写时的磁盘IO压力从而提升索引写性能，同时通过压缩减少每次查询时读取的索引数据量并通过排序减少了每次查询时索引的比对个数从而大大的提升了索引的查询性能。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

假设索引的记录条数为10亿，索引库对索引按470329分流成470329个存储区域。内存中的索引记录每达到500万条即发起一次批量写操作，假设所有的索引缓存文件排除不完整和正在写的索引缓存文件后的总数达到n个时则认为满足条件并可以发起异步更新的操作，本实施例中，n＝3。压缩和解压采用快速压缩算法snappy。

如图1所示，本发明实施例提供的基于压缩合并异步更新的索引读写方法包括如下步骤：

步骤s1，将内存中缓存的500万条索引按470329个存储区域编号对应分流，写入索引库，对每一个存储区域编号对应的索引按照索引的大小从小到大的顺序排序。

步骤s2，将各个存储区域编号对应排序后的索引序列化成数据流。

步骤s3，将获得的数据流按存储区域编号小到大的顺序组合成唯一的一个数据流。

步骤s4，将步骤s3生成的数据流写入磁盘生成一个索引缓存文件。

步骤s5，异步获取至少一个索引缓存文件，该步骤及以下步骤为后台异步执行。

步骤s6，过滤并剔除不完整或正在写的索引缓存文件。

步骤s7，判断当前索引缓存文件的总个数是否满足发起异步更新的条件，即判断过滤后的索引缓存文件的总个数是否达到3个，若是，则执行步骤s8，若否，则结束。

步骤s8，分别读取步骤s6中获取的各索引缓存文件中相同存储区域编号对应的存储区域的数据，存储区域编号初始值为0，该步骤的存储区域编号与步骤s1中的存储区域编号一一对应。

步骤s9，合并并按索引从小到大的顺序排序步骤s8中读取的数据；

步骤s10，读取步骤s8中当前存储区域编号在索引库中对应的存储区域的数据；

步骤s11，解压步骤s9中读取的数据；

步骤s12，合并并按索引从小到大的顺序排序步骤s9执行后的数据及步骤s11执行后的数据；

步骤s13，压缩步骤s12执行后的数据；

步骤s14，将步骤s13执行后的数据覆盖更新到步骤s8中存储区域编号在索引库中对应的存储区域并更新元数据；

步骤s15，判断步骤s8中的索引缓存文件是否读到文件尾，若是，则结束，若否，则执行步骤s8并将步骤s8中的存储区域编号加1。

在执行完步骤s15后，还可包括步骤s16：删除步骤s6过滤后更新完成的索引缓存文件及步骤s6过滤掉的不完整的索引缓存文件。

Claims (5)

1.一种基于压缩合并异步更新的索引读写方法，其特征在于，该方法包括：

1)将内存中缓存的索引分为多个存储区域写入索引库，按照存储区域编号生成索引缓存文件；

2)异步获取至少一个索引缓存文件；

3)过滤并剔除不完整或正在写的索引缓存文件；

4)判断当前索引缓存文件的总个数是否满足发起异步更新的条件，若是，则执行步骤5)，若否，则结束；

5)分别读取步骤3)中获取的各索引缓存文件中相同存储区域编号对应的存储区域的数据，存储区域编号初始值为0；

6)合并并按索引从小到大排序步骤5)中读取的数据；

7)读取步骤5)中当前存储区域编号在索引库中对应的存储区域的数据；

8)解压步骤7)中读取的数据；

9)合并并按索引从小到大排序步骤6)执行后的数据及步骤8)执行后的数据；

10)压缩步骤9)执行后的数据；

11)将步骤10)执行后的数据覆盖更新到步骤5)中存储区域编号在索引库中对应的存储区域并更新元数据；

12)判断步骤5)中的索引缓存文件是否读到文件尾，若是，则结束，若否，则执行步骤5)并将步骤5)中的存储区域编号加1。

2.根据权利要求1所述的一种基于压缩合并异步更新的索引读写方法，其特征在于，所述步骤1)具体为：

101)将内存中缓存的索引按存储区域编号对应分流，写入索引库；

102)对每一个存储区域编号对应的索引按照从小到大的顺序排序；

103)各个存储区域编号对应排序后的索引序列化成数据流；

104)步骤103)获得的数据流按存储区域编号从小到大的顺序组合成唯一的一个数据流；

105)将步骤104)生成的数据流写入磁盘生成一个索引缓存文件。

3.根据权利要求1所述的一种基于压缩合并异步更新的索引读写方法，其特征在于，所述步骤4)中，发起异步更新的条件为当前索引缓存文件的总个数大于或等于设定个数n。

4.根据权利要求1所述的一种基于压缩合并异步更新的索引读写方法，其特征在于，还包括：

删除步骤3)过滤后更新完成的索引缓存文件及步骤3)过滤掉的不完整索引缓存文件。

5.根据权利要求1所述的一种基于压缩合并异步更新的索引读写方法，其特征在于，所述压缩和解压采用的算法为snappy算法。