CN102789488B - 数据查询处理系统和数据查询处理方法 - Google Patents

Abstract

本发明提供一种数据查询处理系统和方法，其中，系统包括：操作描述模块，生成操作描述器，以记录查询操作；操作处理模块，根据所述操作描述器的内容，对已保存的语法树进行修改；数据查询模块，根据修改后的语法树，查询数据。通过本发明，不会对每一次的查询操作对生成对应的多维表达式以及对表达式进行解析，可以根据本次查询操作，直接对已有的语法树进行修改即可，缓解了系统的操作压力，基于同一语法树，可允许查询操作频繁变化，保证了查询系统功能的扩展性。

Description

数据查询处理系统和数据查询处理方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据查询处理系统和一种数据查询处理方法。

背景技术

随着企业信息管理的普及，企业积累了大量的，多样的经营数据。为了对这些大量数据分析，引入了联机事务分析处理系统——OLAP。而随着企业应用的深入，企业对分析服务的执行效率，丰富的分析功能提出了越来越高的要求。

通常地，OLAP系统利用多维查询语言（MDX）构建的查询表达式，对多维数据进行查询。一次基于MDX的查询表达式执行流程大体如下：首先由查询模型生成MDX表达式，OLAP服务器解析多维查询语句，根据解析结果生成抽象语法树；计算树上每个节点的表达式；构建返回结果；界面模型进行填充展现。

从应用场景上，多维分析系统需要提供给使用者不同业务角度的分析，涉及各种复杂的操作，如向上/下钻取，切换维度，切换指标，汇总等。按照常见的查询流程，每次查询模型都要重新构建和生成MDX表达式，OLAP服务器也需要重新解析查询语句，计算表达式，而语法树节点中包含了行轴，列轴，切片轴对象，计算成员对象，公式对象；每个轴中会层层嵌套了多个计算函数。

对于频繁的操作情况下，系统的性能会受到显著的影响。另外，为了支持灵活的操作，查询模型也要随着功能的添加不断被修改，系统的扩展性较差。

因此，需要一种新的用于多维数据查询的技术方案，可以避免在每次查询操作时都重复生成MDX表达式以及解析MDX表达式的过程，同时保证数据查询顺利完成，不会影响到系统的性能，同时保证系统的扩展性。

发明内容

本发明所要解决的技术问题在于，提供种新的用于多维数据查询的技术方案，可以避免在每次查询操作时都重复生成MDX表达式以及解析MDX表达式的过程，同时保证数据查询顺利完成，不会影响到系统的性能，同时保证系统的扩展性。

有鉴于此，本发明提供一种数据查询处理系统，包括：操作描述模块，生成操作描述器，以记录查询操作；操作处理模块，根据所述操作描述器的内容，对已保存的语法树进行修改；数据查询模块，根据修改后的语法树，查询数据。在该技术方案中，不会对每一次的查询操作对生成对应的多维表达式以及对表达式进行解析，可以根据本次查询操作，直接对已有的语法树进行修改即可，缓解了系统的操作压力，基于同一语法树，可允许查询操作频繁变化，保证了查询系统功能的扩展性。

在该技术方案中，优选地，还包括：解析处理模块，根据所述查询操作之前的另一查询操作生成多维表达式，以及根据所述多维表达式生成所述语法树。在该技术方案中，在首次处理查询操作时，需要按正常流程，根据查询操作生成多维表达式，并将所述表达式解析为语法树，以便在再次查询时使用。

在该技术方案中，优选地，所述操作处理模块还根据所述查询操作的查询模型，来获取已保存的对应所述查询模型的语法树。在该技术方案中，可以为用户的查询操作准确定位至适用的语法树，以完成后续操作。

在该技术方案中，优选地，所述操作处理模块定位所述语法树中对应于所述操作描述器的内容的成员对象，并根据所述操作描述器的内容对所述成员对象进行增、删和/或改操作。在该技术方案中，可以准确地实现新的语法树，通过检索引擎执行语法树，即可完成数据查询。

在该技术方案中，优选地，还包括：校验/优化模块，对所述操作描述器的内容进行合法性校验和/或逻辑优化。在该技术方案中，对于查询操作的校验以及优化，可以去掉逻辑上无意义的查询条件，可以将对语法树中同一成员对象进行的操作合并。

本发明还提供一种数据查询处理方法，包括：生成操作描述器，以记录查询操作；步骤204，根据所述操作描述器的内容，对已保存的语法树进行修改；步骤206，根据修改后的语法树，查询数据。在该技术方案中，不会对每一次的查询操作对生成对应的多维表达式以及对表达式进行解析，可以根据本次查询操作，直接对已有的语法树进行修改即可，缓解了系统的操作压力，基于同一语法树，可允许查询操作频繁变化，保证了查询系统功能的扩展性。

在该技术方案中，优选地，在所述步骤204之前还包括：根据所述查询操作之前的另一查询操作生成多维表达式，以及根据所述多维表达式生成所述语法树。在该技术方案中，在首次处理查询操作时，需要按正常流程，根据查询操作生成多维表达式，并将所述表达式解析为语法树，以便在再次查询时使用。

在该技术方案中，优选地，还包括：根据所述查询操作的查询模型，来获取已保存的对应所述查询模型的语法树。在该技术方案中，可以为用户的查询操作准确定位至适用的语法树，以完成后续操作。

在该技术方案中，优选地，所述步骤204包括：定位所述语法树中对应于所述操作描述器的内容的成员对象，并根据所述操作描述器的内容对所述成员对象进行增、删和/或改操作。在该技术方案中，可以准确地实现新的语法树，通过检索引擎执行语法树，即可完成数据查询。

在该技术方案中，优选地，在所述步骤204之前还包括：对所述操作描述器的内容进行合法性校验和/或逻辑优化。在该技术方案中，对于查询操作的校验以及优化，可以去掉逻辑上无意义的查询条件，可以将对语法树中同一成员对象进行的操作合并。

通过以上技术方案，可以实现数据查询处理系统和一种数据查询处理方法，可以避免在每次查询操作时都重复生成MDX表达式以及解析MDX表达式的过程，同时保证数据查询顺利完成，不会影响到系统的性能，同时保证系统的扩展性。

附图说明

图1是根据本发明的一个实施例的数据查询处理系统的框图；

图2是根据本发明的一个实施例的数据查询处理方法的流程图；

图3是基于多维表达式的执行查询的完整流程图；

图4是根据本发明的一个实施例的数据查询处理系统的查询流程图；

图5是根据本发明的一个实施例的数据查询处理系统的数据处理示意图；

图6是根据本发明的一个实施例的数据查询处理系统的工作示意图；

图7是根据本发明的一个实施例的数据查询处理系统所用的数据示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1是根据本发明的一个实施例的数据查询处理系统的框图。

如图1所示，本发明提供一种数据查询处理系统100，包括：操作描述模块102，生成操作描述器，以记录查询操作；操作处理模块104，根据所述操作描述器的内容，对已保存的语法树进行修改；数据查询模块106，根据修改后的语法树，查询数据。在该技术方案中，不会对每一次的查询操作对生成对应的多维表达式以及对表达式进行解析，可以根据本次查询操作，直接对已有的语法树进行修改即可，缓解了系统的操作压力，基于同一语法树，可允许查询操作频繁变化，保证了查询系统功能的扩展性。

在该技术方案中，还包括：解析处理模块108，根据所述查询操作之前的另一查询操作生成多维表达式，以及根据所述多维表达式生成所述语法树。在该技术方案中，在首次处理查询操作时，需要按正常流程，根据查询操作生成多维表达式，并将所述表达式解析为语法树，以便在再次查询时使用。

在该技术方案中，还包括：所述操作处理模块104还根据所述查询操作的查询模型，来获取已保存的对应所述查询模型的语法树。在该技术方案中，可以为用户的查询操作准确定位至适用的语法树，以完成后续操作。

在该技术方案中，所述操作处理模块104定位所述语法树中对应于所述操作描述器的内容的成员对象，并根据所述操作描述器的内容对所述成员对象进行增、删和/或改操作。在该技术方案中，可以准确地实现新的语法树，通过检索引擎执行语法树，即可完成数据查询。

在该技术方案中，还包括：校验/优化模块110，对所述操作描述器的内容进行合法性校验和/或逻辑优化。在该技术方案中，对于查询操作的校验以及优化，可以去掉逻辑上无意义的查询条件，可以将对语法树中同一成员对象进行的操作合并。

图2是根据本发明的一个实施例的数据查询处理方法的流程图。

如图2所示，本发明还提供一种数据查询处理方法，包括：步骤202，生成操作描述器，以记录查询操作；步骤204，根据所述操作描述器的内容，对已保存的语法树进行修改；步骤206，根据修改后的语法树，查询数据。在该技术方案中，不会对每一次的查询操作对生成对应的多维表达式以及对表达式进行解析，可以根据本次查询操作，直接对已有的语法树进行修改即可，缓解了系统的操作压力，基于同一语法树，可允许查询操作频繁变化，保证了查询系统功能的扩展性。

在该技术方案中，在所述步骤204之前还包括：根据所述查询操作之前的另一查询操作生成多维表达式，以及根据所述多维表达式生成所述语法树。在该技术方案中，在首次处理查询操作时，需要按正常流程，根据查询操作生成多维表达式，并将所述表达式解析为语法树，以便在再次查询时使用。

在该技术方案中，还包括：根据所述查询操作的查询模型，来获取已保存的对应所述查询模型的语法树。在该技术方案中，可以为用户的查询操作准确定位至适用的语法树，以完成后续操作。

在该技术方案中，所述步骤204包括：定位所述语法树中对应于所述操作描述器的内容的成员对象，并根据所述操作描述器的内容对所述成员对象进行增、删和/或改操作。在该技术方案中，可以准确地实现新的语法树，通过检索引擎执行语法树，即可完成数据查询。

在该技术方案中，在所述步骤204之前还包括：对所述操作描述器的内容进行合法性校验和/或逻辑优化。在该技术方案中，对于查询操作的校验以及优化，可以去掉逻辑上无意义的查询条件，可以将对语法树中同一成员对象进行的操作合并。

在本发明的一个实施例中，针对上述常见分析系统中的不足，提出了通过操作描述器对查询操作进行描述，在OLAP执行过程中，不做解析，直接通过查询处理装置对查询语法树对象进行操作，根据描述器改变语法树对象，从而避免了查询表达式被多次解析多次计算的问题。另外，在查询操作交互上，通过引入操作描述器，改进了系统的功能扩展能力。

图3是基于多维表达式的执行查询的完整流程图。

针对执行流程中与本发明相关的一些概念解释如下：

查询模型：用来描述多维查询中含有哪些维度，哪些指标，维度和指标的位置等查询相关的信息；

多维表达式：通常为标准的MDX（Multi-DemensioneXpressions）。例如:

SELECT{[Measures].[UnitSales],[Measures].[StoreSales]}ONCOLUMNS,

{[Product].members}ONROWS

FROM[Sales]

WHERE[Time].[1997].[Q2]

其中：COLUMNS代表列轴，ROWS代表行轴；From后面表示数据立方体；WHERE后面为切片轴。

语法树节点:对MDX进行校验以及语法解析后会生成一个语法树结构对象,每个查询中的成员(如上例中红色部分)都是树的节点。对节点的计算会使OLAP对维度成员进行加载，指标成员进行聚合计算。同时会对计算的结果进行缓存。

当对数据进行分析操作时，例如钻取，汇总，切换维度/指标的时候，通过更改查询模型最终会反馈到查询表达式MDX的变化。如上MDX例中，产品([Product].members)维度可能被切换成顾客([Customer].members)维度，则体现在MDX上为其相应表达式的替换。

在本发明的一个实施例中，提出基于抽象语法树对象进行操作，来避免每次都重新解析查询表达式。每次的操作都被定义成操作描述器（相当于前述的操作描述模块），一组的分析操作，对应成一组的操作描述器。再进行查询的时候，只根据描述器定义的位置，对语法解析树节点对象进行局部变更，使得大部分树节点对象不变，避免了重复解析，重用了缓存的成员对象。

图4是根据本发明的一个实施例的数据查询处理系统的查询流程图。

如图4所示，详细步骤解释如下：

步骤402，在查询模型（记录了用户的查询操作）中增加操作器列表，用于存储操作器。首次加载时，无任何分析操作，故执行一般的执行流程。

步骤404，执行分析操作，则生成对应操作描述器，OLAP执行时候，由模型获取到以1中已经解析的语法树对象，通过操作处理器装置（相当于前述的操作处理模块），按照操作描述器的定义改变语法树节点，从语法树的节点成员缓存中获取成员信息，如果没有，则重新加载计算。

步骤406，按语法树进行查询的过程同一般流程，构建返回结果。

步骤408，根据展现模型填充查询结果。

操作描述器以及操作处理器装置都是处理语法树对象，而语法树对象是由多维查询表达式（MDX）解析而来。由上述MDX例子，表达式的基础语法结构如下：

SELECT[axisspecification]ONCOLUMNS

[axisspecification]ONROWS

FROM[cubename]

WHERE[slicerspecification]

一个查询操作基本涉及到三个轴：COLUMNS,ROWS,SLICER。同样操作描述器的属性定义了作用域范围。另外，操作描绘苏器也定义了具体的操作逻辑。

以上述MDX维度替换举例，转换过程如图5所示：

1、图5中左上为转换前语法树MDX的描述，其作为操作处理器装置的输入。

2、操作处理器装置根据操作描述器的定义，在ROWS轴上[Product].members成员替换成[Customer].members。

3、图5中右下为经过处理后语法树的MDX描述。

对语法树节点对象的处理是在操作器处理器装置中，图6显示的是其组织结构以及处理流程。

操作处理器装置把一组操作器和依据查询模型从模型-语法树缓存中获取的语法树对象作为输入：

步骤602，根据多维表达式的语法规则，对操作器逻辑进行检验；

步骤604，依据描述器定义的逻辑规则对描述器进行优化，例如针对同一个成员操作可以合并，有的操作器逻辑上无意义，可以忽略等；

步骤606，根据优化后的操作描述，逐个遍历语法树对象，进行成员定位，并执行相关的操作逻辑（增加，修改，删除和替换对象成员）；

步骤608，最后处理器修改更新过的语法树对象更新到模型—语法树缓存中，并继续执行流程。

本发明的实施例中，引入操作描述器除了提高查询执行的效率外，同时在对于查询模型的扩展性上也有极大的提升。

常见的查询建模过程中，新增加的属性往往需要更改查询模型本身，这就涉及到修改原始定义的查询模型。而通过操作描述器的方式，把定义态的查询模型和执行/操作态增加的模型属性分开，在OLAP服务器中通过操作器处理装置执行查询逻辑的改变，这样即实现了分析操作应用，也在模型层面进行了解耦，方便扩展。

以多维表达式概念部分介绍的查询模型来说：假设其为定义态模型。而如果现在想增加一种操作行为：对[Product].members即产品维度的所有成员按照字母进行排序。传统的处理方法是在模型层对[Product].members进行排序处理，即原先的表达式外增加了sort函数变为sort([Product].members)。而这样就完全改变了原有的模型定义，使用者则无法回到原始状态。

通过操作描述器，原有的查询模型不变，会把排序通过排序操作器进行描述，放到查询模型所包含的操作器列表中。操作描述器大体如图7所示。由图7可知，通过操作处理器装置完成了排序操作，而原始模型并没有改变。从而完全可以实现使用者的撤销操作。

查询性能一直是OLAP服务中非常重要的方面。已有的提升查询分析效率的技术主要集中于常见的缓存机制，通过对成员的缓存来减少计算和资源IO，从而提升效率。其并没有从查询模型层以及模型处理角度考虑性能问题。

本发明实现了一种数据查询处理系统和一种数据查询处理方法，其创新之处在于从模型层面对查询分析进行了处理，提出了通过引入操作描述器来定义分析操作，通过操作处理器装置来实现查询分析的业务逻辑，从而降低了成员计算和资源IO，这样在已有缓存的基础上进一步提升了性能。此外，描述器的引入还提升了查询建模的扩展能力，更好的支持了多维分析查询应用特性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据查询处理系统，其特征在于，包括：

操作描述模块，生成操作描述器，以记录查询操作；

操作处理模块，根据所述操作描述器的内容，对已保存的语法树进行修改；

数据查询模块，根据修改后的语法树，查询数据；

其中，所述数据查询处理系统还包括：

解析处理模块，根据所述查询操作之前的另一查询操作生成多维表达式，以及根据所述多维表达式生成所述语法树。

2.根据权利要求1所述的数据查询处理系统，其特征在于，所述操作处理模块还根据所述查询操作的查询模型，来获取已保存的对应所述查询模型的语法树。

3.根据权利要求1所述的数据查询处理系统，其特征在于，所述操作处理模块定位所述语法树中对应于所述操作描述器的内容的成员对象，并根据所述操作描述器的内容对所述成员对象进行增、删和/或改操作。

4.根据权利要求1至3中任一项所述的数据查询处理系统，其特征在于，还包括：

校验/优化模块，对所述操作描述器的内容进行合法性校验和/或逻辑优化。

5.一种数据查询处理方法，其特征在于，包括：

步骤202，生成操作描述器，以记录查询操作；

步骤204，根据所述操作描述器的内容，对已保存的语法树进行修改；

步骤206，根据修改后的语法树，查询数据；

其中，在所述步骤204之前还包括：

根据所述查询操作之前的另一查询操作生成多维表达式，以及根据所述多维表达式生成所述语法树。

6.根据权利要求5所述的数据查询处理方法，其特征在于，还包括：

根据所述查询操作的查询模型，来获取已保存的对应所述查询模型的语法树。

7.根据权利要求5所述的数据查询处理方法，其特征在于，所述步骤204包括：

定位所述语法树中对应于所述操作描述器的内容的成员对象，并根据所述操作描述器的内容对所述成员对象进行增、删和/或改操作。

8.根据权利要求5至7中任一项所述的数据查询处理方法，其特征在于，在所述步骤204之前还包括：

对所述操作描述器的内容进行合法性校验和/或逻辑优化。