CN103064875A

CN103064875A - 一种服务化空间数据分布式查询方法

Info

Publication number: CN103064875A
Application number: CN2012104232193A
Authority: CN
Inventors: 高昂
Original assignee: China National Institute of Standardization
Current assignee: China National Institute of Standardization
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2013-04-24
Anticipated expiration: 2032-10-30
Also published as: CN103064875B

Abstract

本发明公开了一种服务化空间数据分布式查询方法，包括：对空间查询处理对象进行查询解析的步骤，生成解析优化后的空间查询计划；将空间数据查询提交给支持空间函数拓展的服务化数据访问与集成服务端，并将查询工作流与后端支持空间拓展和空间数据存储的数据服务资源交互操作，再将查询结果返回给调用服务的访问与集成客户端应用。利用本发明，能够在空间数据服务化访问与获取方法基础上执行分布式空间数据查询，通过数据服务请求将地域上分布的数据源进行集成查询，并对返回结果数据集进行合并，在数据规约中保证访问与集成过程的数据一致性。

Description

一种服务化空间数据分布式查询方法

技术领域

本发明涉及信息技术领域，尤其涉及一种服务化空间数据分布式查询方法。

背景技术

面向地理信息应用的空间数据，从最初观测获取到数据加工处理，以及信息检索服务发布和最终数据的获取与使用，均为建立空间数据网格计算环境所需包含的要素。

在传统空间数据访问与处理方法中，没有为面向分布式异构数据的存储和访问提供有效设计和技术支持。传统的设计实现方案中，在应对小规模单一数据存储的情况下能够顺利工作，但在应对持续更新的大数据量存储检索需求方面则会遭遇性能瓶颈。

面向分布式查询的空间数据网格计算环境下，空间要素对象查询的执行效率和查询优化方法，以及空间分析操作函数支持的空间分析种类方面还有很大的改进空间。借助服务化的空间数据分布式查询方法，空间数据的访问与集成技术通过资源虚拟化提升原有数据访问技术的可用性，极大提高分布式异构数据资源的利用率和共享程度，在空间数据服务提供和服务生命周期管理等方面体现出独特优势，基于数据网格实现高效可靠的数据资源访问，满足虚拟组织的空间数据处理需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种空间数据服务化的分布式查询方法，在空间数据服务化访问与获取方法基础上执行分布式空间数据查询，通过数据服务请求将地域上分布的数据源进行集成查询，并对返回结果数据集进行合并，在数据规约中保证访问与集成过程的数据一致性。

为达到上述目的，本发明的技术方案是这样实现的：

一种服务化空间数据分布式查询方法，包括如下步骤：

A、对空间查询处理对象进行查询解析的步骤，生成解析优化后的空间查询计划；

B、对象查询语句经分布式查询引擎解析后，将空间数据查询提交给支持空间函数拓展的服务化数据访问与集成服务端，并将查询工作流与后端支持空间拓展和空间数据存储的数据服务资源交互操作，再将查询结果返回给调用服务的访问与集成客户端应用；

C、利用结构化查询语言多媒体扩展框架SQL/MM查询定义的空间数据类型，将点、线、面、复合面和几何体类的地理对象添加到具备空间拓展的对象关系数据库中，并在数据库中定义操作相应数据类型的空间存储过程和空间分析操作函数，通过SQL/MM查询语句调用空间算子实现数据空间分析操作；

D、在分布式查询组件支持的操作中，分布式查询服务GDQS将接收到的对象查询语言（OQL）查询请求进行分配调度，并与客户端交互获取服务描述和所需的元数据信息；

E、分布式查询通过一组数据服务，向空间数据访问与集成中间件授权访问的数据资源执行并行查询操作，并经由网络服务将复杂集中的数据查询请求进行分布式处理；

F、当分布式查询组件接收对象查询语句，并将查询解析后转发给对应后台数据库的数据服务，通过服务执行文档与后端包含空间数据的数据源进行查询交互，执行模式提取与匹配操作；

G、在查询结果以数据集形式返回之后，分布式查询组件负责规约分布式查询返回的结果集，并汇集成完整的查询结果返回给所述客户端。

其中，所述对空间查询处理对象进行查询解析的步骤为：将对象查询语句依次通过查询解析器、类型检查器、查询翻译器、逻辑和物理优化器、空间查询优化器、调度器和XML转换器，最终生成解析优化后的空间查询计划。

本发明所提供的空间数据服务化的分布式查询方法，具有以下优点：

该服务化的空间数据分布式查询方法，能够为分布式的空间数据节点提供资源整合方案，借助数据服务为空间数据访问提供途径。该空间数据分布式查询方法在数据服务化访问与获取的基础上，通过拓展空间函数和空间算子支持空间服务化数据获取过程中的空间分析与查询操作。空间数据分布式查询方法有利于将地理上分布式的空间数据资源进行整合，在数据资源整合的基础上定制空间数据处理操作的分析流程，供上层空间分析处理服务使用。

附图说明

图1为现有分布式查询方法的查询解析过程示意图；

图2为本发明所述空间数据分布式查询工作流程示意图；

图3为本发明面向空间数据的对象查询树示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

图1为现有分布式查询方法的查询解析过程示意图，如图1所示，在空间查询处理对象查询解析执行流程中，对象查询语句依次通过查询解析器、类型检查器、查询翻译器、逻辑和物理优化器、空间查询优化器、调度器和XML转换器，最终生成解析优化后的空间查询计划。所述空间查询解析器执行流程依次经过的解析流程定义如下。

1）解析器（Parser）：根据查询语法，解析器检查查询语句的语法正确性，并根据给定的查询语句构造抽象语法解析树。

2）类型检查器（Type Checker）：根据生成的抽象语法树，通过数据库表结构模型，对语法树的节点的类型信息进行注释，并且查询执行过程中类型应用的正确性。

3）翻译器（Translator）：翻译器接收具备注释的抽象语法树，并将语法树转换成特定的数据结构，生成数据结构查询的预测结果和结果集。

4）逻辑优化（Logical Optimiser）：由给定结果集的数据结构和信息，构建左深度连接查询树，使用贪心算法，获取局部最优查询优化结果，生成逻辑优化预测结果。

5）物理优化（Physical Optimiser）：通过查询谓词给定代数表达式和选择性信息，物理优化器通过遍历树，通过启发式方法为每次连接操作选择适合的连接算法，以实现查询执行过程的优化。

6）空间查询优化器（Spatial Query Optimiser）：经逻辑优化和物理优化后的查询树，根据空间查询代价和选择性估计，空间查询优化器对空间谓词进行查询代价评估，以实现面向空间查询的查询执行过程的优化。

7）调度器（Scheduler）：调度器使用启发式算法为不同节点分配相应操作符，通过查询表达式对查询代价进行评估，并为子查询创建并行查询表达式。

8）XML转换器（XML Translator）：根据给定的并行查询表达式，XML转换器将查询表达式转换为XML格式的查询执行计划。

经过上述空间处理对象查询解析的八个流程，面向空间数据的查询语句使用的语法规则，通过空间查询解析，类型检查，逻辑优化，物理优化，空间查询优化和执行调度过程，最终转换为数据库执行引擎接受并执行查询操作的最终查询计划。

图2为本发明的空间数据分布式查询工作流程示意图。如图2所示，执行本发明查询方法的空间数据分布式查询中间件，是一种网格环境下的数据集成中间件，它本质上是一个高吞吐量分布式数据流引擎，支持对分布式异构数据的集成和查询，并可对查询进行优化评估。

步骤1：空间数据分布式查询请求由访问与集成客户端发起，查询语句遵循结构化查询语言/多媒体扩展框架（SQL/MM）的查询定义，查询中使用的空间数据类型支持将点、线、面、复合面和几何体等地理对象添加到具备空间拓展的对象关系数据库中。

步骤2：对象查询语句经空间数据访问与集成中间件中的查询引擎解析后，可以将SQL/MM查询语句中包含的空间算子传递到后端的数据库中，实现空间分析操作，同时在数据库中可以定义操作空间数据类型的空间存储过程和空间分析操作函数，通过调用实现数据的后端查询分析。

步骤3：空间数据查询提交给支持空间函数拓展的分布式处理中间件后，查询由中间件解析，生成对应不同后端数据源且包含空间分析操作函数的子查询。在分布式查询组件支持的操作中，分布式查询服务（GDQS，Grid Distributed Query Service）将接收到的对象查询语言（OQL）查询请求进行分配调度，并与客户端交互获取服务描述和所需的元数据信息。网格查询评估服务（GQES，Grid Query Evaluator Service）针对特定执行节点，通过动态创建的实例评估GDQS查询服务的分布式对象查询执行情况。

步骤4：子查询在后端数据库执行后，由分布式查询中间件组装查询结果，并在中间件处理中间件中执行需使用两个数据源返回数据的空间分析操作。完成处理后，将查询结果返回给调用服务的访问与集成客户端应用进行数据展示。

分布式查询通过一组数据服务，向空间数据访问与集成中间件授权访问的数据资源执行并行查询操作，并经由网络服务将复杂集中的数据查询请求进行分布式处理。这里，客户端通过OQL查询向数据服务提交请求，数据访问与集成中间件对于客户端角度是响应查询请求的实际物理数据库接口。当分布式查询组件接收对象查询语句，并将查询解析后转发给对应后台数据库的数据服务，通过服务执行文档与后端包含空间数据的数据源进行查询交互，执行模式提取与匹配操作。在查询结果以数据集形式返回之后，分布式查询组件负责规约分布式查询返回的结果集，并汇集成完整的查询结果返回给所述客户端。

可见，面向数据网格的空间数据对象查询，不仅支持分布式查询环境下多数据源的访问与集成，并且可以在OQL查询中增加SQL/MM支持的空间数据类型和空间操作算子，以满足包含空间属性和非空间属性的空间数据特征查询。

在OQL查询中借助数据库空间拓展定义的操作算子实现函数调用的空间分析功能，将前端的数据处理分析操作转移到后端数据库执行，在提高空间数据分析效率的同时将空间分析操作嵌入在查询语句中，在实现空间数据访问、查询和处理的同时保证空间数据的完整性和一致性。

图3为面向空间数据的对象查询树示意图。在以服务化方式进行数据存取处理的过程中，面向分布式异构数据源的空间数据查询，由构建在访问与集成中间件基础上的分布式查询处理组件实现。分布式查询组件通过分布式数据流处理引擎，在访问与集成资源服务行为基础上执行多数据源联合查询。通过服务接口提交的OQL对象查询语句，经分布式查询组件分发到后端异构数据资源上，交由空间数据服务执行查询并对返回数据集进行结果合并，同时在数据规约操作中保证访问与集成过程的数据一致性。

分布式查询借助OQL对象查询语言执行数据查询检索。OQL结合SQL查询与面向对象编程范例，在结构化查询语法基础上增加对象标识、继承、多态性及对象关联等对象模型概念特征，并通过实体关系映射操作持久对象及对象属性来执行后端数据存取。在面向数据网格服务处理的分布式查询过程中，OQL查询通过网格工具的分布式查询执行引擎解析并执行对象查询，实现数据网格环境下的高性能分布式查询处理操作。

面向空间数据的查询语句在OQL对象查询中嵌套符合SQL/MM规范的空间查询函数，OQL经分布式查询执行引擎解析后，SQL/MM空间查询函数传递到后端具备空间拓展的关系数据库执行，查询语句通过数据服务对数据库提交查询检索，并将分布式查询结果聚合后返回给空间数据查询服务请求客户端。

经分布式查询执行引擎解析后的对象查询语句，根据OQL对象查询树的分治与规约规则，并行执行解析后符合并发条件的子查询，以提升对象查询的执行效率。对于包含空间对象的异构数据源联合查询，解析前的OQL对象查询定义如下：

SELECT C.NAME, AREA(C.LOCATION)

FROM C IN CITY, P IN PROVINCE

WHERE P. PROVID=’130’ AND C.PROVID= P.PROVID

其中CITY、PROVINCE数据表对象分别来自于两个异构数据源提供的数据服务接口，两个数据表之间通过PROVID建立关联，其中CITY数据表的LOCATION字段由表示空间范围的Geometry类型定义，通过AREA函数查询后返回字段所表示的空间几何范围。上述OQL对象查询，经分布式查询执行引擎解析为四个逻辑子查询步骤。

如图3所示，在对象查询树解析后的查询计划中，分别来自两个不同数据服务的CITY和PROVINCE数据表均对外提供数据服务接口，CITY表中LOCATION字段包含表示几何范围的空间属性。在对象查询解析操作中，EXCHANGE结点标识可并行执行的查询子集，HASH_JOIN结点将两个子查询返回的元组建立哈希连接后，结果交由上层规约操作处理。REDUCE结点绑定从数据源获取的输入元组，并交由逻辑查询解析器解析完成的后续操作，转换为物理查询并执行对象查询数据处理过程。

在上述对象查询过程中，从两个异构分布式数据服务中获取查询元组，在OQL对象查询基础上调用符合SQL/MM标准的空间拓展函数进行数据查询，通过逻辑查询到物理查询的解析转换和执行，实现面向空间数据的分布式查询操作。

对象查询语句逻辑优化在查询处理的初始化、迭代和查询结束三个阶段进行优化。在初始化阶段，创建空的初始化列表，对逻辑查询计划生成以及嵌套子查询结果进行评估。在迭代阶段，扫描查询语句包含的关联关系，并为查询计划添加操作符，直至将所有识别的运算符插入到查询计划中。在查询扫描完成后，查询语句中的操作符都被添加到查询计划中，并生成具备最小代价评估的查询计划。如果查询语句中使用了聚集函数，将会把规约操作符添加到查询计划中以实现聚集操作。

对象查询语句的逻辑优化过程中，对每一步连接过程进行代价评估，得到生成中间结果集最小的查询执行计划。对于逻辑优化的过程，给出对象查询语句示例如下：

SELECT POSTGIS01_RIVERS.NAME, BUFFER(POSTGIS02_RIVERS.THE_GEOM,5) FROM POSTGIS02_RIVERS, POSTGIS01_RIVERS WHERE POSTGIS_RIVERS.GID = POSTGIS01_RIVERS.GID AND POSTGIS02_RIVERS.NAME ='WANQUANHE'；

经过翻译器转换后的分类列表如下：

结果元组（Result Tuple）：R.NAME，FUNC1；

关系式（Relations）：L = POSTGIS02_RIVERS，R = POSTGIS01_RIVERS；

查询函数（Functions）：FUNC1 = BUFFER(L.THE_GEOM, 5)；

查询谓词（Predicates）：L.GID = R.GID，L.NAME ='WANQUANHE'。

在查询语句中，GID属性是主键，其中POSTGIS02_RIVERS表包含m行记录，POSTGIS01_RIVERS表包含n行记录。在扫描分析的迭代过程中，选择能够生成最小中间结果的连接步骤，依次生成每一步操作的查询执行计划，同时将前一步连接操作的输出结果作为下一步连接操作的输入结果，通过查询谓词连接为完整的查询执行计划。

在查询语句的代价估算上，主要考虑查询I/O 开销和CPU 开销。查询代价评估公式表示为：代价（Cost）= P +W×T，其中：P表示查询中要访问的页面数，代表I/O 开销；T是查询处理的元组数，反映了查询执行过程中的CPU开销；W代表查询估计的权重，表示在查询中对查询开销的关注度。查询访问页面数和元组数依赖于查询表上限制条件的选择性因子。选择性因子表示为条件表达式操作符、索引表中的元组数、列中存储数据的最值等一系列参数的函数。

在顺序扫描的情况下，扫描数据表所占的页数为P，数据表包含元组数为T，对扫描条件进行估算的开销为R，处理一条元组花费的典型CPU 时间为CPU_Tuple_Cost，默认值是0.01，扫描代价表示为：

顺序扫描总代价：（TotalCost）= P + (CPU_Tuple_Cost + R)×T

在数据库检索时，常对数据表字段附加标识索引来提高查找效率。为字段增加索引后，在查询时会先在索引表中一次定位到特定值的行数，较之数据表减少遍历匹配的行数。在索引扫描代价估算中，使用系统表中定义的索引访问方法进行代价估算。索引访问的代价估算函数需要计算特定索引的启动代价、总代价、索引的该访问方法的选择性因子（indexSelectivity）、索引的相关性因子（indexCorrelation）等参数。在估算索引访问取得的页面数和元组数代价时，取得的页面数PF 和元组数T，GPOQL 采用Mackert 和Lohman 提出的近似估算算法，近似估算方法计算过程表示为：

RestrictCost = 对限制条件子句（WHERE/JOIN/ON 子句）的评估代价；

最小IO 代价（Min_IO_Cost） = indexSelectivity×T；

最大IO 代价（Max_IO_Cost） = PF×随机页面开销（Random_Page_Cost）；

运行代价（Run_Cost）+ = Max_IO_Cost + indexCorrelation×indexCorrelation

×（Min_IO_Cost - Max_IO_Cost）；

元组处理代价（CPU_Per_Tuple） = CPU_Tuple_Cost + RestrictCost；

索引扫描总代价（TotalCost） + = CPU_Per_Tuple×Tuples_Fetched。

在得到对象查询语句生成的查询计划后，空间数据分布式查询中间件根据查询计划中包含的连接操作符，划分为不同的执行区间。对于可并行执行查询的区间计算查询代价，对不包含并行执行操作符的执行区间指派查询代价的评估值。在作业调度过程中，根据不同查询区间的评估值提交查询执行区间，并行执行分解后的查询计划。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种服务化空间数据分布式查询方法，其特征在于，包括如下步骤：

D、在分布式查询组件支持的操作中，分布式查询服务GDQS将接收到的对象查询语言OQL查询请求进行分配调度，并与客户端交互获取服务描述和所需的元数据信息；

2.根据权利要求1所述的服务化空间数据分布式查询方法，其特征在于，所述对空间查询处理对象进行查询解析的步骤为：将对象查询语句依次通过查询解析器、类型检查器、查询翻译器、逻辑和物理优化器、空间查询优化器、调度器和XML转换器，最终生成解析优化后的空间查询计划。