CN100498793C - 用基于小波的压缩直方图实现二维谓词选择率估计的方法 - Google Patents

Abstract

本发明涉及用基于小波的压缩直方图实现二维谓词选择率估计的方法。方法分为对数据库中的数据进行统计和选择率估计两个阶段，其中：第一阶段包括以下步骤：1)数据采样，2)提取最频繁值，3)构造数据分布矩阵，4)小波分解，5)滤波存储，第二阶段包括以下步骤：6)重构数据分布矩阵，7)选择率估计。本发明使用小波技术对原始的数据分布矩阵进行有损压缩，从而使得二维数据的联合分布存储成为可能，在使用时，再将压缩过的数据分布矩阵恢复，从而进行二维选择率的估计。并且，本发明在小波分解前提取了最频繁值进行单独存储，因此使用小波技术压缩的数据损失被大大降低。本发明是一种时间换空间的方法，在不增加巨大时间开销的前提下，使用较少的存储空间保存了二维数据的联合分布，从而为二维查询提供准确的选择率估计。

Description

用基于小波的压缩直方图实现二维谓词选择率估计的方法

技术领域

本发明涉及一种估计存储数据分布的技术，具体地说，是涉及一种用基于小波的压缩直方图实现二维谓词选择率估计的方法。

背景技术

数据库的很多功能都需要准确的谓词选择率估计，特别是查询优化器，其需要使用谓词的选择率进行代价估计，从而选择代价最低的计划。

从最早的关系数据库管理系统(RDBMS)开始，查询优化就是困扰数据库的一个难题。选择率通常被用来估计符合查询条件的结果行数，而谓词选择率通常可以从统计信息的直方图得到。数据库的统计信息记录着数据库对象(表、索引等)的行数、大小、分布特征等信息。当提交到数据库的查询要执行时，数据库查询优化器根据数据库对象上的统计信息进行代价估计，寻求最佳的执行计划。如果没有统计信息可用或者统计信息陈旧，可能会造成数据库按照错误的存取路径读取数据，生成相对来说不是最优的存取方案，按照不是最佳的执行计划运行，从而造成执行效率的低下。

传统方法是使用直方图存储数据的分布特征来提供选择率估计的依据。到目前为止，各商业数据库先后使用了等宽(Equal-width)直方图、等高(Equal-height)直方图、最大差异(Maxdiff)直方图、压缩(Compressed)直方图等直方图技术。如，Oracle数据库目前采用的是等高直方图技术，SQL Server数据库使用的是Maxdiff直方图技术，而DB2数据库使用的是Compressed直方图技术。这些直方图技术都是一维直方图技术，它可以提供准确的一维查询选择率估计。但是对于多维查询，这些一维直方图所提供的选择率估计常常是不准确的。这是因为，对于现实的数据库数据，各个属性之间往往是存在某种联系的，而通过一维直方图进行多维选择率估计是基于属性独立性假设的，而这种假设在现实中往往是很少存在的。

多维直方图是对一维直方图的扩充，但是多维直方图的存储和构造代价都极高，因此各大商业数据库都不采取多维直方图技术，而宁愿使用基于独立性假设的一维直方图技术。目前，有一种方法希望通过使用多维数据的区别值个数对使用基于独立性假设的一维直方图技术所得到的多维选择率进行修正，从而得到较为准确的多维选择率，但是这种方法的修正结果是总是对使用基于独立性假设的一维直方图技术所得到的多维选择率进行了一定的放大，因此，有时候这种方法能取得较好的效果，但是有时候修正的结果会更加偏离实际结果，造成更严重的优化差错。

发明内容

本发明的目的是提供一种用基于小波的压缩直方图实现二维谓词选择率估计的方法，与基于属性独立性假设的一维直方图技术相比，该方法所得到的选择率估计值更准确、可靠。

为实现上述目的，本发明采用以下技术万案：

一种用基于小波的压缩直方图实现二维谓词选择率估计的方法，它分为两个阶段，第一阶段是对数据库中的数据进行统计，第二阶段是用户查询时的选择率估计，其中：

第一阶段包括以下步骤：

1)数据采样

对待创建二维统计信息的关系进行随机采样，并获取二维统计信息所涉及的属性的属性值，从而构成创建统计信息所基于的二维数据集合，

2)提取最频繁值MCV

计算二维数据集中的所有不同数据的数目和每一个数据出现的次数，将出现次数超过平均次数的数据作为二维最频繁值单独存储在统计信息中，其余的数据作为下一步骤中的数据分布矩阵的输入，

3)构造数据分布矩阵

构造一个用来存储数据的分布特征的整型矩阵，矩阵的每一维代表数据库属性的一维，矩阵的大小视每一维的数据分布范围而定，对从步骤2)输入到本步骤的数据逐条按照各维的属性值所在的坐标区域进行分发，确定矩阵的每一个坐标区域的数据分布量，

4)小波分解

对步骤3)中构造的数据分布矩阵，按每一维顺序进行Haar小波分解，得到一个新的矩阵，

5)滤波存储

对小波分解后得到的矩阵进行过滤，按照数据库的存储能力选取若干个绝对值最大的小波系数，记录该小波系数的值和该小波系数在数据分布矩阵中的坐标位置，它们和步骤2)提取的最频繁值一起构成了基于小波的压缩直方图，将压缩直方图及其必要的标识信息一起作为统计信息存储，

第二阶段包括以下步骤：

6)重构数据分布矩阵

当用户提交一条查询语句的时候，首先按照统计信息的标识信息查找与查询语句所涉及的属性相匹配的统计信息，然后按照Haar小波分解过程的逆过程对存储的统计信息进行逆分解，重构出数据分布矩阵，

7)选择率估计

根据用户提交的查询语句中的二维查询条件，首先从重构的数据分布矩阵中计算符合该查询条件的选择率，然后计算最频繁值中符合查询条件的选择率，查询条件的选择率就等于这两个选择率之和。

本发明具有以下优点：

本发明使用小波技术对原始的数据分布矩阵进行有损压缩，从而使得二维数据的联合分布存储成为可能，在使用时，再将压缩过的数据分布矩阵恢复，从而进行二维选择率的估计。并且，本发明在小波分解前提取了最频繁值进行单独存储，因此使用小波技术压缩的数据损失被大大降低。

本发明由于使用了MCV的单独存储技术，对于二维等值查询条件，可获得相当准确的选择率估计结果，与不使用MCV的小波技术相比，二维等值查询的准确性平均提高20％以上。

本发明是一种时间换空间的方法，在不增加巨大时间开销的前提下，本发明使用较少的存储空间保存了二维数据的联合分布，从而为二维查询提供准确的选择率估计。

使用本发明的方法所获得二维谓词选择率估计比使用基于属性独立性假设的两个一维直方图所获得的选择率估计要准确，尤其是两列属性之间存在函数依赖的情况，使用本发明的方法所得的结果与实际结果的误差在40％以下，而使用基于属性独立性假设的两个一维直方图所得的结果与实际结果的误差超过100％。

本发明通过用基于小波的压缩直方图得到的二维谓词选择率估计准确、可靠，克服了使用一维直方图进行多维选择率估计的不准确性，且与二维直方图技术相比，本发明所需的存储和构造代价较低。

附图说明

图1是实现本发明的流程图；

图2是从数据分布矩阵计算选择率的示意图；

图3是进行数据分发之后构造的数据分布矩阵；

图4是对数据分布矩阵进行二维Haar小波分解之后的矩阵；

图5是根据查询条件重构之后得到的数据分布图。

具体实施方式

如图1所示，本发明分为两个阶段，第一阶段是对数据库中的数据进行统计，存储为统计信息，用于以后的查询优化，第二阶段是用户查询时的选择率估计。

第一阶段的具体步骤如下：

步骤一：数据采样

采样是从总体获取部分样本，使这个样本能够描述总体的特征。对待创建二维统计信息的关系进行随机采样，并获取二维统计信息所涉及的属性的属性值，从而构成创建统计信息所基于的二维数据集合。

步骤二：提取最频繁值MCV(Most Common Value)

首先对待创建统计信息的两维属性固定一个维数顺序，对二维数据集中的数据按照固定好的维数顺序进行排序，然后，按照排序顺序计算所有不同的数据数目和每一个数据出现的次数，将出现次数超过平均次数25％的数据作为二维MCV单独存储在统计信息中，其余的数据作为下一步骤中的数据分布矩阵的输入。所有数据出现的次数之和除以数据数就是平均次数。

步骤三：构造数据分布矩阵

构造一个整型矩阵，用来存储数据的分布特征。矩阵的每维代表数据库属性的一维，矩阵的大小视每一维的数据分布范围而定，例如可以根据该属性的一维直方图的大小确定矩阵在该维的大小，而使用一维直方图的桶边界作为矩阵在该维的坐标分位点。确定了坐标分位点之后的矩阵就相当于一个二维坐标系，对从步骤二输入的数据逐条按照各维的属性值所在的坐标区域进行分发，确定矩阵的每一个坐标区域的数据分布量。

步骤四：小波分解

对步骤三中构造的数据分布矩阵，按每一维顺序进行Haar小波分解。先对数据分布矩阵按第一维进行小波分解，然后将第一维小波分解的结果作为输入，按第二维进行小波分解，依此规则，进行二维小波分解之后，得到一个新的矩阵。

步骤五：滤波存储

将小波分解后得到的矩阵进行过滤，按照数据库的存储能力选取B个绝对值最大的小波系数，记录该小波系数的值和该小波系数在数据分布矩阵中的坐标位置，它们和第二步骤提取的MCV一起构成了基于小波的压缩直方图。压缩直方图和必要的标识信息，如直方图所基于的关系，直方图所基于的各维属性，以及该直方图的采样行数等一起构成统计信息存储。该统计信息将作为二维谓词选择率估计的依据。

当用户执行查询语句时，查询优化器根据数据库对象上的统计信息进行估计，选择最佳的执行计划，具体包括重构数据分布矩阵和选择率估计两个步骤：

步骤一：重构数据分布矩阵

当用户提交一条查询语句的时候，按照统计信息的标识信息查找与查询语句所涉及的属性相匹配的统计信息，然后按照Haar小波分解过程的逆过程对存储的统计信息进行逆分解，重构出数据分布矩阵。由于在滤波过程损失了一定的信息，因此重构出的数据分布矩阵和步骤三构建的矩阵略有不同，但是之间的误差是很小的，基本保留了原数据分布特征。

步骤二：选择率估计

重构出的数据分布矩阵与MCV相结合，以对二维查询进行选择率估计。

当得到一个多维范围查询语句之后，首先从数据分布矩阵中计算符合该查询条件的选择率，然后查询MCV计算MCV中符合查询条件的选择率，查询语句的选择率就等于这两个选择率之和。其中，从数据分布矩阵计算选择率就相当于计算查询条件所约束的坐标范围内的数据之和占整个数据分布矩阵的数据总量的比例，如图2所示，个二维查询条件所约束的范围为虚线框的坐标范围，那么其选择率就是虚线框所包含的数据之和占整个坐标系的数据之和的比例。而计算来自MCV的选择率则是通过顺序扫描MCV，计算所有位于查询条件约束范围之内的MCV的数据量之和，并用这个和除以总数据量得到的。

而对于多维等值查询条件，可以直接通过MCV计算选择率，而不需要重构数据分布矩阵。

下面举一实例，说明以上各步骤。

例如对于关系R，其需要创建统计信息的属性为A₁和A₂，假设采样行数为13，经采样获得的二维数据集合为{(1，1)，(4，5)，(3，3)，(4，5)，(3，4)，(4，5)，(5，7)，(5，5)，(1，3)，(1，1)，(5，9)，(1，9)，(9，3)}，经二维排序后的数据集合为{(1，1)，(1，1)，(1，3)，(1，9)，(3，3)，(3，4)，(4，5)，(4，5)，(4，5)，(5，5)，(5，7)，(5，9)，(9，3)}，其中，不同的数据数目共有10个，总数据数为13，因此数据出现的平均次数为1.3。其中数据(1，1)出现次数为2，(4，5)出现次数为3，都超过平均频率25％，因此被提取为MCV。剩余的数据集合为{(1，3)，(1，9)，(3，3)，(3，4)，(5，5)，(5，7)，(5，9)，(9，3)}。

在第三步骤中，确定两维的分位点都是{0，2，4，6，8，10}，则进行数据分发之后构造的数据分布矩阵如图3所示。

第四步骤对数据分布矩阵进行二维Haar小波分解之后的矩阵如图4所示。

第五步骤中，假如数据库能存储B＝20个小波系数，则存储的小波系数为0.4531，0.2031，-0.0221，0.1768，-0.1875，0.3281，0.0781，-0.0221，0.1768，-0.1875，0.0663，0.0663，0.1563，-0.0884，0.0884，0.0884，0.0625，-0.0625，0.0884，-0.1250。

如果用户提交的查询条件为A₁<8and A₁>2and A₂<6and A₂>2，重构之后得到的数据分布如图5所示。比较图3和图5可以发现，重构后的数据分布和原数据分布基本相同。用户查询所约束的范围如图5中阴影区域所示，因此其选择率为0.2308。

在具体实施中，对于支持基于维直方图得到的统计信息的数据库中，根据需要，还可同时建立支持基于小波的压缩直方图二维统计信息。如神舟OSCAR数据库本身支持一维直方图统计信息，且该一维直方图是自动创建的，故创建二维统计信息时，可使用相关属性的一维直方图的桶边界来作为二维数据分布矩阵的区域分位点。这样得到的二维统计信息所需的存储小，为数据库节省一定的存储空间。当查询优化器对二维查询进行选择率估计时，如果统计信息中有二维统计信息与该两维查询条件相对应，则使用该二维统计信息进行选择率估计，否则就使用基于属性独立性假设的一维统计信息进行选择率估计。当二维统计信息所基于的一维直方图发生变化时，二维统计信息也同时进行更新。

实际应用时，由于维数越高，统计信息的构造和存储情况越复杂，故一般的数据库支持到二维统计信息即可。

Claims (8)

1、一种用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：它分为两个阶段，第一阶段是对数据库中的数据进行统计，第二阶段是用户查询时的选择率估计，其中：

第一阶段包括以下步骤：

1)数据采样

对待创建二维统计信息的关系进行随机采样，并获取二维统计信息所涉及的属性的属性值，从而构成创建统计信息所基于的二维数据集合，

2)提取最频繁值

计算二维数据集中的所有不同数据的数目和每一个数据出现的次数，将出现次数超过平均次数的数据作为二维最频繁值单独存储在统计信息中，其余的数据作为下一步骤中的数据分布矩阵的输入，

3)构造数据分布矩阵

构造一个用来存储数据的分布特征的整型矩阵，矩阵的每一维代表数据库属性的一维，矩阵的大小视每一维的数据分布范围而定，对从步骤2)输入到本步骤的数据逐条按照各维的属性值所在的坐标区域进行分发，确定矩阵的每一个坐标区域的数据分布量，

4)小波分解

对步骤3)中构造的数据分布矩阵，按每一维顺序进行Haar小波分解，得到一个新的矩阵，

5)滤波存储

对小波分解后得到的矩阵进行过滤，按照数据库的存储能力选取若干个绝对值最大的小波系数，记录该小波系数的值和该小波系数在数据分布矩阵中的坐标位置，它们和步骤2)提取的最频繁值一起构成了基于小波的压缩直方图，将压缩直方图及其标识信息一起作为统计信息存储，

第二阶段包括以下步骤：

6)重构数据分布矩阵

当用户提交一条查询语句的时候，首先按照统计信息的标识信息查找与查询语句所涉及的属性相匹配的统计信息，然后按照Haar小波分解过程的逆过程对存储的统计信息进行逆分解，重构出数据分布矩阵，

7)选择率估计

根据用户提交的查询语句中的二维查询条件，首先从重构的数据分布矩阵中计算符合该查询条件的选择率，然后计算最频繁值中符合查询条件的选择率，查询条件的选择率就等于这两个选择率之和。

2、根据权利要求1所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：

在所述提取最频繁值步骤中，首先对待创建统计信息的两维属性固定一个维数顺序，对二维数据集中的数据按照固定好的维数顺序进行排序，然后按照排序顺序计算所有不同的数据数目和每一个数据出现的次数，将出现次数超过平均次数的数据作为二维最频繁值单独存储在统计信息中。

3、根据权利要求1或2所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：

在所述提取最频繁值步骤中，将出现次数超过平均次数25％的数据作为二维最频繁值单独存储在统计信息中。

4、根据权利要求1所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：

在所述构造数据分布矩阵步骤中，根据待创建统计信息的每一维属性的一维直方图的大小确定矩阵在该维的大小，使用一维直方图的桶边界作为矩阵在该维的坐标分位点，对从提取最频繁值步骤中输入到本步骤的数据逐条按照各维的属性值所在的坐标区域进行分发，确定矩阵的每一个坐标区域的数据分布量。

5、根据权利要求1所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：

在所述小波分解步骤中，先对数据分布矩阵按第一维进行小波分解，然后将第一维小波分解的结果作为输入，按第二维进行小波分解，依此规则，进行二维小波分解之后，得到一个新的矩阵。

6、根据权利要求1所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：

在所述滤波存储步骤中，压缩直方图的标识信息包括直方图所基于的关系、直方图所基于的各维属性、以及直方图的采样行数。

7、根据权利要求1所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于，在所述选择率估计步骤中：

从数据分布矩阵计算选择率就是计算查询条件所约束的坐标范围内的数据之和占采样获得的总数据量的比例，而计算来自最频繁值的选择率则是通过顺序扫描最频繁值，计算所有位于查询条件约束范围之内的最频繁值的数据量之和，并用这个和除以采样获得的总数据量得到的。

8、根据权利要求1或7所述的用基于小波的压缩直方图实现二维谓词选择率估计的方法，其特征在于：

在所述选择率估计步骤中，对于多维等值查询条件，直接通过最频繁值计算选择率，而不需重构数据分布矩阵。

Images