CN111444180B - 一种双层结构的索引及其查询方法 - Google Patents

Abstract

本发明涉及一种双层结构的索引及其查询方法，该索引结构包括：连接两层的逻辑块索引：对逻辑块构建的索引，能够确定任意数据出现的第一个逻辑块，逻辑块是对按一定顺序排列的数据划分得到的数据块；构成第一层的一组位向量：每个位向量包括N个比特，比特表示数据是否存在于某个逻辑块中；构成第二层的rowID序列：按照数据顺序排列存储的数据在原数据序列中的位置。第一层能够筛选出绝大多数符合检索条件的数据，生成一个尽可能接近最终结果的中间结果；第二层利用rowID序列完善第一层生成的中间结果，从而得到准确的最终结果。与现有技术相比，本发明能够减少随机访存、减少访问无关数据，能够加速对列式内存数据库的查询操作。

Description

一种双层结构的索引及其查询方法

技术领域

本发明涉及数据库领域，尤其是涉及一种双层结构的索引及其查询方法。

背景技术

在现有的分析型数据库中，访问路径选择对查询执行的性能来说十分重要。现有的扫描方法存在无法改善的低效性：顺序扫描需要访问大量不需要的数据；索引扫描需要进行大量开销昂贵的随机访存。这些内在的低效性会导致这些方法无法达到最优的性能。随着数据库中的工作量越来越复杂，在访问路径选择阶段越来越难以预测出最优的方案。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种双层结构的索引及其查询方法。

本发明的目的可以通过以下技术方案来实现：

一种双层结构的索引，包括第一层和第二层，所述第一层和第二层之间通过逻辑块索引连接；

所述逻辑块索引是对逻辑块构建的索引，所述逻辑块是对按一定顺序排列的数据划分得到的数据块；

所述第一层包括一组位向量，每个位向量包括N个比特，N为数据总数，所述比特表示数据是否存在于某个逻辑块中；

所述第二层包含一组rowID序列，表示按照一定顺序排列存储的数据在原数据序列中的位置，每个逻辑块对应rowID序列的一段；所述rowID序列记录数据位置的顺序与划分逻辑块时数据的排列顺序相同。

优选的，所述逻辑块的生成方法为：按升序排列数据，将数据等分成K个逻辑块，每个逻辑块包含N/K个数据，记为A＝{A₁,A₂,...,A_K}。

优选的，所述K个逻辑块的划分满足如下条件：

A_imin≤A_imax≤A_(i+1)min≤A_(i+1)max

其中，A_imin和A_imax分别表示逻辑块A_i中的最小值和最大值，A_(i+1)min和A_(i+1)max分别表示逻辑块A_i+1中的最小值和最大值。

优选的，所述逻辑块索引能够确定任意数据出现的第一个逻辑块。

优选的，所述第一层包含K+1个位向量，记为F＝{F₀,F₁,F₂,...,F_K-1,F_K}，F₀为所有比特位全为0的位向量，第i个位向量F_i的第j个比特表示原数据序列中的第j个数据是否在

中。

优选的，所述第二层根据第一层得到的位向量确定需修正的数据区间，修正第一层结果中属于该数据区间的查询参数所在逻辑块中数据对应的比特位。

优选的，所述第二层在修正第一层的结果时采用内存预取技术。

一种双层结构的索引的查询方法，包括：

S1、在第一层中，根据查询条件，通过逻辑块索引定位查询参数所在的第一个逻辑块，确定最接近最终结果的位向量，得到该层的结果；

S2、在第二层中，根据第一层的结果的生成路径，对在第一层中得到的结果中的部分比特位进行取反操作；

S3、返回经第二层修正后的位向量，以位向量形式返回查询结果。

优选的，所述S1对不同查询条件的处理包括六种情况：

a)形如“x＜c”，x表示索引的数据，c表示查询参数，若通过逻辑块索引确定包含查询参数c的第一个逻辑块为第k_c个逻辑块，则在位向量F_kc-1、F_kc中选择更接近最终结果的一个作为第一层的结果；

b)形如“x≤c”，此时将该查询条件转换为“x＜(c+1)”按情况a)处理；

c)形如“x≥c”，此时通过对由情况a)得到的查询“x＜c”的结果按位取反，得到原查询在第一层中的结果；

d)形如“x＞c”，此时通过对由情况a)得到的查询“x＜(c+1)”的结果按位取反，得到原查询在第一层中的结果；

e)形如“c₁＜x＜c₂”，通过对由情况a)得到的“x＜c₂”和“x＜(c₁+1)”的结果进行按位异或操作，得到原查询在第一层中的结果；

f)形如“x＝c”，通过对由情况a)得到的“x＜c”和“x＜(c+1)”的结果进行按位异或操作，得到原查询在第一层中的结果。

优选的，所述S2具体包括：

S21、在第一层中，每通过查询“x＜c”定位至一个逻辑块A_j，选择一个位向量F_k，则对应一个第二层中需要修正的数据区间：

1)当k＝j时，需修正的数据区间为[c,A_kmax]；

2)当k＝j-1时，需修正的数据区间为[A_kmin,c)。

S22、对于每一个需要修正的数据区间，利用第二层中的rowID序列得到逻辑块A_j对应的rowID序列片段中属于该区间的数据的rowID，对在第一层中得到的位向量中的相应位置的比特进行取反操作。

与现有技术相比，本发明索引的内存占用和性能都是可配置的，可以通过利用更多的内存空间来构建的更多的位向量，来达到更高的性能，具有以下优点：

1、能够减少需要访问的不符合查询条件的数据的数量；

2、无需大量随机访存，且大部分随机访存的开销可用内存预取技术消除；

3、可通过提供更多的内存来进一步提高性能，但仅需占用少量内存空间便可达到超过现有方法的性能。

附图说明

图1为实施例在一组具体的数据上构建本发明双层结构的索引的示意图。

图2为在图1构建的索引上执行一个基础的查询实例“x＜69”的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本申请提出一种双层结构的索引，包括第一层和第二层，第一层和第二层之间通过逻辑块索引连接。

逻辑块索引：对逻辑块构建的索引，逻辑块是对按一定顺序排列的数据划分得到的数据块。因为逻辑块仅表示对数据的一个逻辑划分，并不需要单独存储，故称划分得到的数据块为逻辑块。具体可按数据的升序排列，将数据等分成K块，每块包含N/K个数据，记为A＝{A₁,A₂,...,A_K}，N为数据总数。对于任意一个给定的数据，该索引能够确定其所在的第一个逻辑块。

划分的K个逻辑块满足如下条件：

A_imin≤A_imax≤A_(i+1)min≤A_(i+1)max

其中，A_imin和A_imax分别表示逻辑块A_i中的最小值和最大值，A_(i+1)min和A_(i+1)max分别表示逻辑块A_i+1中的最小值和最大值。

第一层由一组位向量构成，每个位向量包括N个比特，比特是表示数据是否存在于某个逻辑块中的逻辑变量。根据逻辑块的划分，第一层包含K+1个位向量，记为F＝{F₀,F₁,F₂,...,F_K-1,F_K}。其中第i个位向量F_i的长度为N，F_i的第j个比特为1表示原数据序列中的第j个在

中，为0则表示不在；F₀为全0位向量。当执行一个查询如x＜c时，第一层通过逻辑块索引定位查询参数c所在的第一个逻辑块，记为第k_c个逻辑块

从而在

和

之间选择一个最接近最终结果的位向量作为该层的结果。

第二层由一个rowID序列构成，rowID序列为按照一定顺序排列存储的数据在原数据序列中的位置组成的序列，每个逻辑块对应rowID序列的一段。rowID序列记录数据位置的顺序与划分逻辑块时数据的排列顺序相同。在第一层得到的近似结果中，只需要修正查询参数所在逻辑块

中部分数据对应的比特位。根据第一层选择的位向量、查询参数及其所在逻辑块，第二层确定这些需要修正的比特位的数据范围。第二层根据逻辑块

对应的rowID序列片段中的该数据范围内数据的rowID，修正第一层得到的近似结果中的相应比特位，得到最终结果。

第二层在修正第一层的结果时，采用内存预取技术降低随机访存的开销。

本索引在查询时，第一层由一系列的位向量组成，能够筛选出绝大多数符合检索条件的数据，生成一个尽可能接近最终结果的中间结果；第二层包含一个rowID序列，根据第一层结果的生成路径修正第一层结果中的部分比特，从而得到准确的最终结果。对于非整数类型的数据，可通过现有技术将其转换成整数类型。

上述双层结构的索引的查询方法具体包括如下步骤：

S1、在第一层中，根据查询条件，通过逻辑块索引定位查询参数所在的第一个逻辑块，从位向量集合F中确定最接近最终结果的位向量，得到该层的结果；

查询条件包括六种情况：

a)如果查询形如“x＜c”，x表示索引的数据，c表示查询参数，第一层通过逻辑块索引确定包含c的第一个逻辑块为第k_c个逻辑块；进一步通过第二层中逻辑块

对应的rowID序列片段在位向量

中选择更接近最终结果的一个作为该层的结果；

b)如果查询形如“x≤c”，此时将该查询转换为“x＜(c+1)”，按情况a)处理得到第一层的结果；

c)如果查询形如“x≥c”，此时将该查询转换为“！(x＜c)”，通过对由情况a)得到的查询“x＜c”的结果按位取反，得到原查询的第一层结果；

d)如果查询形如“x＞c”，此时将该查询转换为“！(x＜(c+1))”，通过对由情况a)得到的查询“x＜(c+1)”的结果按位取反，得到原查询的第一层结果；

e)如果查询形如“c₁＜x＜c₂”，通过对由情况a)得到的“x＜c₂”和x＜(c₁+1)”的结果进行按位异或操作，得到原查询的第一层结果；

f)如果查询形如“x＝c”，通过对由情况a)得到的“x＜c”和“x＜(c+1)”的结果进行按位异或操作，得到原查询的第一层结果。

S2、在第二层中，根据第一层的结果的生成路径，对在第一层中得到的结果中的部分比特位进行取反操作：

S21、在第一层中，每通过查询“x＜c”定位至一个逻辑块A_j，选择一个位向量F_k，则对应一个第二层中需要修正的数据区间：

1)当k＝j时，需修正的数据区间为[c,A_kmax]；

2)当k＝j-1时，需修正的数据区间为[A_kmin,c)；

其中，A_kmax和A_kmin分别表示A_k中的最大值和最小值；

S22、对于每一个需修正的数据区间，第二层根据逻辑块A_j对应的rowID序列片段中属于该区间的数据的rowID，对在第一层中得到的位向量中的相应位置的比特进行取反操作；

若通过逻辑块索引和第二层中的rowID序列确定在区间(c,c+1)中的数据数量很少，则可生成所有比特位为0的位向量，在第二层中修正在区间(c,c+1)中的数据所对应的比特位，得到最后的准确结果。

S3、返回经第二层修正后的位向量，以位向量形式返回查询结果。

实施例

如图1所示，是在一个含16个整数的数组B上构建本申请索引结构的实例。其中以数组P存储第二层中的rowID序列，用(value,count)对数组来实现逻辑块索引。具体实施方案如下：

创建一个与数组B具有相同大小的临时数组，仅用于本索引结构的构建过程，构建完成后便删去；对数据进行排序，按升序存入临时数组；

用数组P存储第二层中的rowID序列，数组P按数据在临时数组中的次序保序存储数据在数组B中的位置，即rowID；

基于数组P，以K＝4将数组B等分成4个逻辑块，记为A＝{A₁,A₂,A₃,A₄}。逻辑块A_i中的数据为数组P第4i-3到第4i个元素对应的数据；

用(value,count)对数组来实现逻辑块索引，记为S；从第二个逻辑块开始，对逻辑块构建索引，S_k.value为逻辑块A_k+1中的最小值，在本实施例中即逻辑块A_k+1中的第一个数据，S_k.count为前k个逻辑块中的数据总数；

生成一组位向量F＝{F₁,F₂,F₃}，在F_k中，前k个逻辑块中的数据对应的比特位设为1，其余比特位设为0(本实施例中不存储全0/1的位向量)。

如图2所示，是本实施例执行一个基础查询实例“x＜69”的示意图。具体实施方案如下：

步骤1：第一层从位向量集合中选择一个尽可能接近最终结果的位向量，作为该层的结果，具体步骤如下：

步骤1-1：由于查询参数69属于区间[52,114)，通过逻辑块索引S查找到S₁，定位至逻辑块A₂，记k_c＝2，如图2中①所示；

步骤1-2：通过二分法搜索逻辑块A₂对应的数组P片段确定第一个不满足查询的位置为6，即i_c＝6；

步骤1-3：根据如下“最近”规则选择位向量集合中的某个位向量作为第一层的结果F_tmp：

其中，S_0.count＝0、S_K.count＝N、F₀为所有比特位都为0的位向量。如图2中②所示，得到F_tmp＝F₂。在位向量F₂中，区间[8,114)中的值对应的比特位都是1，但区间[69,114)中的值对应的比特位应当为0。逻辑块A₂中属于区间[69,114)的数据对应的比特位将会在修正层被修正。

步骤2：在第二层中，根据第一层结果的生成路径，以及数组P等辅助信息对第一层结果中的部分比特位进行取反操作，具体步骤如下：

步骤2-1：根据第一层选择位向量F₂以及i_c、k_c，确定需要修正的比特位为由数组P片段[i_c,S_2.count)，如图2中③所示；

步骤2-2：顺序访问数组P的[i_c,S_2.count)片段，获得需要修正的比特位的位置，依次对数组P元素指示的比特位进行取反操作，同时利用内存预取操作将后续即将要修正的比特位加载到高速缓存(cache)中，尽可能减少随机访存带来的开销。

步骤3：直接返回修正后的位向量，以位向量形式返回查询结果。

Claims (9)

1.一种基于双层结构的索引的查询方法，其特征在于，所述双层结构的索引包括第一层和第二层，所述第一层和第二层之间通过逻辑块索引连接；

所述逻辑块索引是对逻辑块构建的索引，所述逻辑块是对按一定顺序排列的数据划分得到的数据块；

所述第一层包括一组位向量，每个位向量包括N个比特，N为数据总数，所述比特表示数据是否存在于某个逻辑块中；

所述第二层包含一组rowID序列，表示按照一定顺序排列存储的数据在原数据序列中的位置，每个逻辑块对应rowID序列的一段；所述rowID序列记录数据位置的顺序与划分逻辑块时数据的排列顺序相同；

所述查询方法包括：

S1、在第一层中，根据查询条件，通过逻辑块索引定位查询参数所在的第一个逻辑块，确定最接近最终结果的位向量，得到该层的结果；

S2、在第二层中，根据第一层的结果的生成路径，对在第一层中得到的结果中的部分比特位进行取反操作；

S3、返回经第二层修正后的位向量，以位向量形式返回查询结果。

2.根据权利要求1所述的查询方法，其特征在于，所述逻辑块的生成方法为：按升序排列数据，将数据等分成K个逻辑块，每个逻辑块包含N/K个数据，记为A＝{A₁,A₂,...,A_K}。

3.根据权利要求2所述的查询方法，其特征在于，所述K个逻辑块的划分满足如下条件：

A_imin≤A_imax≤A_(i+1)min≤A_(i+1)max

其中，A_imin和A_imax分别表示逻辑块A_i中的最小值和最大值，A_(i+1)min和A_(i+1)max分别表示逻辑块A_i+1中的最小值和最大值。

4.根据权利要求1所述的查询方法，其特征在于，所述逻辑块索引能够确定任意数据出现的第一个逻辑块。

5.根据权利要求2所述的查询方法，其特征在于，所述第一层包含K+1个位向量，记为F＝{F₀,F₁,F₂,...,F_K-1,F_K}，F₀为所有比特位全为0的位向量，第i个位向量F_i的第j个比特表示原数据序列中的第j个数据是否在

中。

6.根据权利要求5所述的查询方法，其特征在于，所述第二层根据第一层得到的位向量确定需修正的数据区间，修正第一层结果中属于该数据区间的查询参数所在逻辑块中数据对应的比特位。

7.根据权利要求6所述的查询方法，其特征在于，所述第二层在修正第一层的结果时采用内存预取技术。

8.根据权利要求1所述的查询方法，其特征在于，所述S1对不同查询条件的处理包括六种情况：

a)形如“x＜c”，x表示索引的数据，c表示查询参数，若通过逻辑块索引确定包含查询参数c的第一个逻辑块为第k_c个逻辑块，则在位向量

中选择更接近最终结果的一个作为第一层的结果；

b)形如“x≤c”，此时将该查询条件转换为“x＜(c+1)”按情况a)处理；

c)形如“x≥c”，此时通过对由情况a)得到的查询“x＜c”的结果按位取反，得到原查询在第一层中的结果；

d)形如“x＞c”，此时通过对由情况a)得到的查询“x＜(c+1)”的结果按位取反，得到原查询在第一层中的结果；

e)形如“c₁＜x＜c₂”，通过对由情况a)得到的“x＜c₂”和“x＜(c₁+1)”的结果进行按位异或操作，得到原查询在第一层中的结果；

f)形如“x＝c”，通过对由情况a)得到的“x＜c”和“x＜(c+1)”的结果进行按位异或操作，得到原查询在第一层中的结果。

9.根据权利要求8所述的查询方法，其特征在于，所述S2具体包括：

S21、在第一层中，每通过查询“x＜c”定位至一个逻辑块A_j，选择一个位向量F_k，则对应一个第二层中需要修正的数据区间：

1)当k＝j时，需修正的数据区间为[c,A_kmax]；

2)当k＝j-1时，需修正的数据区间为[A_kmin,c)；

S22、对于每一个需要修正的数据区间，利用第二层中的rowID序列得到逻辑块A_j对应的rowID序列片段中属于该区间的数据的rowID，对在第一层中得到的位向量中的相应位置的比特进行取反操作。

Images