CN106250523B - 一种分布式列存储系统索引的方法 - Google Patents

Abstract

本发明公开了一种分布式列存储系统索引的方法，包括：获取每列数据的分布特征，设定每列数据的域值及划分规则；根据域值及划分规则，得到划分后的连续数据区域；分别对应每个数据区域建立一个区域编码向量；进行统计计算，得到每列数据的统计信息，将统计信息与对应的区域编码向量合并，得到带有统计信息的区域编码向量；将带有统计信息的区域编码向量作为位图索引的位向量进行数据的索引。所述分布式列存储系统索引的方法通过设定每列数据的域值和划分规则，使得分组位图索引的划分方式与查询的过滤条件相符合，通过计算列数据的统计信息，不仅提高了分组位图查询的准确性，而且能够保留列存储系统中数据的统计信息，保证数据信息的完整性。

Description

一种分布式列存储系统索引的方法

技术领域

本发明涉及列存储系统中数据索引的技术领域，特别是指一种分布式列存储系统索引的方法。

背景技术

实现数据库物理数据存储的方法有两种：基于行存储、基于列存储。对于基于行存储：它把逻辑数据表的整个记录存储到文件的数据块中，为了提高查询速度，为某些列建立B+树等类型的索引。对于基于列存储：逻辑数据表中的记录不直接映射到物理数据中，而是把记录按列分开，把所有记录同一列的值存在一起，同时提供连接数据能够把记录相应的列值重新组合起来形成记录。其中，基于行存储的关系型数据库和基于列存储的数据库相比在数据查询性能上有劣势，查询时，它不能只读取部分列，因为数据读取是以数据块为基本单位，所有的列都读取到内存中然后再去掉不需要的列，这样就导致产生了很多不必要的硬盘输入输出，从而影响了数据库的查询性能。而对于基于列存储的关系型数据库，由于它把记录的列分开存储，不同的列存储在不同的数据块中，这样查询引擎就可以按需读取列，从而减少了硬盘输入输出，提高了数据库的查询性能。

在关系数据库中，索引是一种与表有关的数据库结构，为快速查找数据提供了一种捷径，在索引结构类型上，列存储常使用树索引和位图索引，且位图索引使用得较多，因为位图索引不仅压缩效率高，而且能对位图编码的数据直接进行快速的逻辑和连接操作。位图索引中位向量的个数随列基数的增加而线性增加，所以位图索引的方法仅对低基数的列非常有效。已有多种方法改造位图索引，使之适应高基数列。其中一种主要的方法是将位图的概念进行扩充，包括分组位图索引、位片式索引和使用属性特性映射的扩展。其中，所述分组位图索引是将一组值归成一类，将一类值按一个值的方式编码，位向量个数为属性值的组数。按这种方法可以将高基数列的许多位向量合并成很少的位向量，减少了位向量的个数。由于一个位图代表多个值，虽然简化了对查询过程中的条件过滤处理和范围查找。但是，按照这种方法，位图划分的质量将直接影响查询的准确性，如果划分属性的方式与查询的过滤条件对值的划分相符，则查询的准确性高。反之，则准确率较低。同时，上述将位图的概念进行扩充时虽然减少了计算的代价，但是扩展后的位图丢失了数据的统计信息。给后续的统计信息的查询带来不便。

发明内容

有鉴于此，本发明的目的在于提出一种分布式列存储系统索引的方法，能够提高位图划分的质量，同时保留数据的统计信息。

基于上述目的本发明提供的一种分布式列存储系统索引的方法，包括：

获取列存储系统中每列数据的分布特征，根据获取的分布特征设定每列数据的域值以及每列数据的划分规则；

根据所述每列数据的域值以及每列数据的划分规则，计算得到对数据划分后连续的数据区域；

根据划分后的每个数据区域，分别对应建立一个区域编码向量；

对每列数据进行统计计算，得到每列数据的统计信息，并将所述统计信息与对应的区域编码向量合并，得到带有统计信息的区域编码向量；

将所述带有统计信息的区域编码向量作为位图索引的位向量，进行数据的索引操作。

可选的，所述获取列存储系统中数据的分布特征的步骤还包括：

将每列数据按照数值的大小排序，得到由大到小或者由小到大的有序数据；

根据数据的排列顺序，计算得到有序数据的变化曲线；

根据数据的变化曲线，得到每列数据的分布特征。

可选的，所述计算得到有序数据的变化曲线的步骤之前还包括：

从所述有序数据中提取出间隔相等的部分数据，根据提取出的部分数据计算得到有序数据的变化曲线。

可选的，所述根据获取的分布特征设定每列数据的域值以及每列数据的划分规则的步骤还包括：

根据获取的分布特征，查询预先设定的分布特征与域值、划分规则的对应关系列表；

将查询得到的域值 与划分规则作为该列数据的域值和该列数据的划分规则。

可选的，所述对每列数据进行统计计算的步骤之前还包括：

根据位图索引的需求，得到索引目标特征，

检索预设的目标特征与统计信息类型对应的关系列表，得到索引所需的统计信息类型；

将获得的统计信息类型作为进行统计计算的目标值。

可选的，所述统计信息包括：最大值、最小值、平均值、中位值、方差、标准差。

可选的，所述划分规则为递增分配、递减分配以及平均分配。

可选的，所述递增分配为域值的区间长度为递增分布；所述递减分配为所述域值的区间长度为递减分布；所述平均分配为所述域值的区间长度为平均分布。

从上面所述可以看出，本发明提供的分布式列存储系统索引的方法，通过采集列存储系统中数据的分布特征，然后根据所述分布特征设定每列数据的域值和划分规则，进而使得所述分组位图索引的划分方式与查询的过滤条件相符合，最后提高查询的准确性。通过预先计算列数据的统计信息，使得在列数据的分组后获得的区域编码向量依然能够保留列数据的统计信息，为后续的统计信息的查询提供便利。所以，所述分布式列存储系统索引的方法不仅提高了分组位图查询的准确性，而且能够保留列存储系统中数据的统计信息，保证数据信息的完整性。

附图说明

图1为本发明提供的分布式列存储系统索引的方法一个实施例的流程图；

图2为本发明提供的分布式列存储系统索引的方法另一个实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

参照图1所示，为本发明提供的分布式列存储系统索引的方法一个实施例的流程图。所述分布式列存储系统索引的方法包括：

步骤101，获取列存储系统中每列数据的分布特征，根据获取的分布特征设定每列数据的域值以及每列数据的划分规则；

其中，所述列数据是指在列存储系统中针对以列形式存储的数据，是相对于行数据而言的。所述分布特征是指该列数据其数值的范围、所处的区间以及数值变化的趋势等于数据分布有关的参数，例如：某列数据所绘制出的曲线为抛物线，则表示该列数据为上升或者递增趋势的数据。所述域值 是指依据划分规则得到的一个数值区域范围，用于保证每列数据中的每一个值均将落入划分后的域值 内，也即使得所述域值 为连续的数值范围。所述划分规则是指对域值 的数值范围长度划分的一个规则，可以选择规律性的划分方式，也可以根据需要按照随机数值的范围长度进行划分。

步骤102，根据所述每列数据的域值以及每列数据的划分规则，计算得到对数据划分后连续的数据区域；

其中，通过设定后的域值 以及划分的规则，就能够得到连续的数值区域，用于将列存储系统中的数据均划分到这些连续的数值区域中，实现分组位图索引中的分组步骤。

步骤103，根据划分后的每个数据区域，分别对应建立一个区域编码向量；

这里，建立区域编码向量与分组位图索引中建立位向量的方法是相同的，其目的是为了后续检索的时候能够通过区域编码向量确定划分的区域，进而提高数据检索的效率。所述区域编码向量的建立方式既可以是按照顺序规律地编码，也可以根据需要选定合适的编码方式。

步骤104，对每列数据进行统计计算，得到每列数据的统计信息，并将所述统计信息与对应的区域编码向量合并，得到带有统计信息的区域编码向量；

其中，所述对每列数据进行统计计算的步骤也可以在步骤101之前进行；所述统计计算既可以是计算每列数据所共有的统计信息，也可以是对划分后的每个区域分别单独进行统计计算，得到每个区域的统计信息，这样，在后续查询统计信息时皆可以查询得到总的统计信息，也可以得到每个区域中的统计信息。当然，根据检索的需要，也可以增加更多信息的获取，例如：时间信息、位置信息等等。

步骤105，将所述带有统计信息的区域编码向量作为位图索引的位向量，进行数据的索引操作。

在得到带有统计信息的区域编码向量后，就能够按照常规位图索引的方法进行数据的索引，当然，也可以采用不同的索引结构进行索引。具体的，所述位图索引的实现方法的一个实施例为：

假设要对省份、产品类型这两个字段进行分组；其中，在省份里面有两个值：江苏和浙江。首先将江苏的索引给取出来或者说定义出来，为(11001)。然后取出产品类型的位图索引：手机(10100)、家电(01011)。把江苏(11001) 和手机(10100)比较，同时有1的位置就是既有江苏又有手机的位置，也就是对(11001)、(10100)求与运算，得到结果(10000)。(10000)不全为0，说明存在这个分组，而且位置是第0行。再将江苏(11001)和家电(01011)求与得到(01001)，存在这个分组，而且位置是第1、4行。如果全部为0，说明不存在这个组合的分组。这样一层一层的遍历下去，就会得到一个树形的数据结构。也就是分组的结果。如下：root---江苏(11001)---手机(10000) ---家电(01001)---浙江(00110)---手机(00100)---家电(00010)。

由上述实施例可知，所述分布式列存储系统索引的方法通过采集列存储系统中数据的分布特征，然后根据所述分布特征设定每列数据的域值和划分规则，进而使得所述分组位图索引的划分方式与查询的过滤条件相符合，最后提高查询的准确性。通过预先计算列数据的统计信息，使得在列数据的分组后获得的区域编码向量依然能够保留列数据的统计信息，为后续的统计信息的查询提供便利。所以，所述分布式列存储系统索引的方法不仅提高了分组位图查询的准确性，而且能够保留列存储系统中数据的统计信息，保证数据信息的完整性。

在本发明一些可选的实施例中，所述获取列存储系统中数据的分布特征的步骤还包括：

将每列数据按照数值的大小排序，得到由大到小或者由小到大的有序数据；

根据数据的排列顺序，计算得到有序数据的变化曲线；根据数据的变化曲线，得到每列数据的分布特征。

这样，可以通过首先将列数据排序，能够快速获得列数据的变化曲线，然后得到准确的分布特征，由此，通过排序，可以进一步提高获取分布特征的速度和准确性，进而提高所述分布式列存储系统索引的方法的索引效率。

进一步，所述计算得到有序数据的变化曲线的步骤之前还包括：从所述有序数据中提取出间隔相等的部分数据，根据提取出的部分数据计算得到有序数据的变化曲线。由于每列数据可能包含了海量的数据，因此，基于已经排序的有序列数据，可以抽取部分中间数据，并且通过分析中间数据的变化曲线推导得到列数据的变化曲线。这样，可以进一步减少数据计算的步骤进而提高计算的效率。优选的，提取数据是每个数据的间隔相同，例如：在具有1-100个数据的排序数据中，选出第1、11、21、31、41、51、61、71、81、91作为部分中间数据(与部分数据含义相同)。

在本发明另一些可选的实施例中，所述根据获取的分布特征设定每列数据的域值以及每列数据的划分规则的步骤还包括：

根据获取的分布特征，查询预先设定的分布特征与域值、划分规则的对应关系列表；将查询得到的域值 与划分规则作为该列数据的域值和该列数据的划分规则。通过预先设定不同数据的额分布特征与域值、划分规则的对应关系，可以时候后续设定列数据的域值、划分规则的时候更为快速。进而提高了所述分布式列存储系统索引方法的效率。其中，所述分布特征既可以是一个数据值，也可以是一个数值范围，或者，还可以是向量形式的表示。

在本发明一些优选的实施例中，所述对每列数据进行统计计算的步骤之前还包括：根据位图索引的需求，得到索引目标特征，检索预设的目标特征与统计信息类型对应的关系列表，得到索引所需的统计信息类型；将获得的统计信息类型作为进行统计计算的目标值。基于每次位图索引可能在建立索引之前就已经确定了索引的目标或者可能索引的范围，这样就能够预先获得需要获取的统计信息的类型，使得在步骤104中，可以根据需要，进行统计信息的计算，从而省略了一些不必要的计算过程。其中，所述统计信息包括：最大值、最小值、平均值、中位值、方差、标准差。

在另一些优选的实施例中，所述划分规则为递增分配、递减分配以及平均分配。其中，所述递增分配为域值的区间长度为递增分布；所述递减分配为所述域值的区间长度为递减分布；所述平均分配为所述域值的区间长度为平均分布。当然，也可以根据实际的需要，将所述划分规则设定为非规则的划分方式，例如：划分后的数值区间长度为增减交替变化的方式。这样，既可以使得所述划分后的数据区域涵盖所有的数据，而且通过有规则的划分方式使得后续的索引效率更高，有利于对数据的进一步分析。

在本发明一些可选的实施例中，所述划分规则的具体实现方式如下：

为了清楚的显示划分规则之间的区别，先结合表格的形式进行介绍。具体参见表1。

表1

如表1所示，划分规则为平均分配时，列数据按照区域长度为1000的方式均匀间隔分配，具体的，0～1000(可以定义区域为(0，1000])的区域编码值为1，1000～2000是2，依次划分，因此，可以得到如表1中所述的数值与编码值的对应关系。

若划分规则为递增分配，则代表划分的区域间隔为递增分布。例如：0～1000 对应1，1000～3000对应2，3000～6000对应3，因此数值5000对应3。

若划分规则为递减分配，则代表划分的区域间隔为递减分布。例如：0～5000 对应1，5000～9000对应2，9000～12000对应3，因此5000对应1。

参照图2所示，为本发明提供的分布式列存储系统索引的方法另一个实施例的流程图。所述分布式列存储系统索引的方法包括：

步骤201，将每列数据按照数值的大小排序，得到由大到小或者由小到大的有序数据；

步骤202，从所述有序数据中提取出间隔相等的部分数据，根据提取出的部分数据计算得到有序数据的变化曲线；

步骤203，根据数据的变化曲线，得到每列数据的分布特征；

步骤204，根据获取的分布特征，查询预先设定的分布特征与域值、划分规则的对应关系列表；

步骤205，将查询得到的域值 与划分规则作为该列数据的域值和该列数据的划分规则；

步骤206，根据所述每列数据的域值以及每列数据的划分规则，计算得到对数据划分后连续的数据区域；

步骤207，根据划分后的每个数据区域，分别对应建立一个区域编码向量；

步骤208，根据位图索引的需求，得到索引目标特征；

步骤209，检索预设的目标特征与统计信息类型对应的关系列表，得到索引所需的统计信息类型；

步骤210，将获得的统计信息类型作为进行统计计算的目标值；

步骤211，对每列数据进行统计计算，得到每列数据的统计信息，并将所述统计信息与对应的区域编码向量合并，得到带有统计信息的区域编码向量；

步骤212，将所述带有统计信息的区域编码向量作为位图索引的位向量，进行数据的索引操作。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源 /接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种分布式列存储系统索引的方法，其特征在于，包括：

获取列存储系统中每列数据按照数值大小排序后的分布特征，根据获取的分布特征设定每列数据的域值以及每列数据的划分规则，所述域值指依据所述划分规则得到的数据区域范围；

根据所述每列数据的域值以及每列数据的划分规则，计算得到对数据划分后连续的数据区域；

根据划分后的每个数据区域，分别对应建立一个区域编码向量；

对每列数据进行统计计算，得到每列数据的统计信息，并将所述统计信息与对应的区域编码向量合并，得到带有统计信息的区域编码向量；

将所述带有统计信息的区域编码向量作为位图索引的位向量，进行数据的索引操作。

2.根据权利要求1所述的方法，其特征在于，所述获取列存储系统中每列数据按照数值大小排序后的分布特征的步骤还包括：

将每列数据按照数值的大小排序，得到由大到小或者由小到大的有序数据；

根据数据的排列顺序，计算得到有序数据的变化曲线；

根据数据的变化曲线，得到每列数据的分布特征。

3.根据权利要求2所述的方法，其特征在于，所述计算得到有序数据的变化曲线的步骤之前还包括：

从所述有序数据中提取出间隔相等的部分数据，根据提取出的部分数据计算得到有序数据的变化曲线。

4.根据权利要求1所述的方法，其特征在于，所述根据获取的分布特征设定每列数据的域值以及每列数据的划分规则的步骤还包括：

根据获取的分布特征，查询预先设定的分布特征与域值、划分规则的对应关系列表；

将查询得到的域值与划分规则作为该列数据的域值和该列数据的划分规则。

5.根据权利要求1所述的方法，其特征在于，所述对每列数据进行统计计算的步骤之前还包括：

根据位图索引的需求，得到索引目标特征，

检索预设的目标特征与统计信息类型对应的关系列表，得到索引所需的统计信息类型；

将获得的统计信息类型作为进行统计计算的目标值。

6.根据权利要求1所述的方法，其特征在于，所述统计信息包括：最大值、最小值、平均值、中位值、方差、标准差。

7.根据权利要求1所述的方法，其特征在于，所述划分规则为递增分配、递减分配以及平均分配。

8.根据权利要求7所述的方法，其特征在于，所述递增分配为域值的区间长度为递增分布；所述递减分配为所述域值的区间长度为递减分布；所述平均分配为所述域值的区间长度为平均分布。