CN100573524C - 一种高效、透明的分布式空间数据库查询方法 - Google Patents

Abstract

本发明公开了一种高效、透明的分布式空间数据库查询方法，以Open GIS标准定义的空间拓扑关系和空间分析操作为基础，将空间拓扑关系操作和空间分析操作各分成两类：Disjoint操作和非Disjoint操作；Buffer操作和非Buffer操作，并根据空间拓扑关系操作和空间分析操作将空间片段的连接方式划分成四类，提出四类空间片段跨边界连接操作满足的三条规律，并在这三条规律的基础上，进一步提出跨边界空间片段连接优化方法的7个规则，包括3个去除规则和4个连接转化规则，通过对空间片段连接的优化实现了对分布式空间数据库高效、透明的查询。

Description

一种高效、透明的分布式空间数据库查询方法

技术领域

本发明涉及一种高效、透明的分布式空间数据库查询方法，属于信息领域。

背景技术

目前，实现分布式空间数据库跨边界无缝查询主要有两种方法：其一是按传统分布式数据库连接的分配规则将全局查询连接操作转化为各片段的连接操作，但查询处理的效率低；另一种方法是由用户来确定场地之间的相关性，即由用户来确定将查询发送到哪些相关的局部场地，这种方式不符合分布式数据库透明性的要求，而且由用户自己来确定场地间数据相关性，应用复杂，实际上也不太现实。

发明内容

本发明的目的是提供一种高效、透明的分布式空间数据库查询方法，通过将提出的跨边界连接优化规则用于分布式空间数据的查询分解，自动生成局部空间数据库可以执行的空间子查询，达到高效、透明的无缝查询。

为实现本发明目的所采用的技术方案是：一种高效、透明的分布式空间数据库查询方法，通过查询分解、数据本地化、全局查询优化、局部查询优化四个层次实现，针对分割分片的分布式空间数据库跨边界无缝查询问题，先对空间片段的连接操作进行分类，以Open GIS标准定义的空间拓扑关系操作和空间分析操作为基础，将空间拓扑关系操作分成相离操作(Disjoint操作)和非相离操作(非Disjoint操作)，将空间分析操作分成缓冲操作(Buffer操作)和非缓冲操作(非Buffer操作)，并根据空间拓扑关系操作和空间分析操作将空间片段的连接方式划分成四类：第一类空间片段连接是非缓冲查询的非相离连接；第二类空间片段连接是非缓冲查询的相离连接；第三类空间片段连接是带缓冲查询的非相离连接；第四类空间片段连接是带缓冲查询的相离连接，这种分类初步理顺了空间拓扑关系操作、空间分析操作与空间片段连接的关联关系，为空间段片连接优化奠定了基础。

分割分片的跨边界无缝查询问题实质上是跨边界空间片段连接问题，因此可以通过空间片段连接的优化来实现。跨边界片段连接优化的基本思想：一是减少空间片段连接数量；二是减少参与空间片段连接的对象个数，这样减少连接操作的时间，同时也减少场地间空间数据的传输量。根据所述的两种基本思想，不同类型的空间片段跨边界连接操作满足如下规律：I.满足第一类连接方式的两个空间片段必定与这两个空间片段分割边界的最小外包矩形(MBR)交矩形相交；II.一个空间片段关系的d缓冲区扩展的最小外包矩形不超出这个空间片段分割边界的最小外包矩形的d扩展，所谓的最小外包矩形的d扩展定义如下：设一个空间对象的最小外包矩形的左下角和右上角坐标分别为(x_min，y_min)、(x_max，y_max)，则这个对象的最小外包矩形的d扩展是左下角和右上角坐标分别为(x_min-d，y_min-d)、(x_max+d，y_max+d)的矩形，其中d为正实数；III.两个空间片段间第三类空间连接，如果主片段对象和辅片段对象间满足空间片段的第三类连接方式，则主片段中满足第三类空间拓扑关系的对象与辅片段最小外包矩形的d扩展或最小外包矩形的双d扩展相交，其中主片段、辅片段、双d扩展的定义分别如下：参与连接的两个片段中包含缓冲操作的片段称为主片段，则另一个片段称辅片段，若参与连接的两个片段上都有缓冲操作，设缓冲区分别为d1、d2，则任选一个作为主片段，另一个作为辅片段，此时对任何一个片段进行最小外包矩形的d1+d2扩展，称为片段的双d扩展；

以上述的三个规律为基础，提出空间片段跨边界连接优化的方法，包括3个去除规则：(1)如果参与连接的两个空间片段的分割边界的最小外包矩形不相交，则这两个空间片段间第一类连接去除；(2)不相邻的空间片段第一类连接去除；(3)如果分割分片的两个空间片段的广义d扩展不相交，则这两个空间片段间第三类连接去除，所谓连接片段的广义d扩展定义如下：参与缓冲连接的一个片段X，它的广义d扩展表示为MBR(X)_d_E，如果X中的对象先进行缓冲操作后再做片段连接，则d等于缓冲区距离，即MBR(X)_d_E＝MBR(X)_d，如果X中的对象直接进行片段连接，则看成d＝0，此时MBR(X)_d_E＝MBR(X)；以及下面4个连接转化规则：(4)在两个空间片段X、Y上进行第一类跨边界θ_sp-1 ^ed连接，转换为先对X、Y上进行基于X、Y分割边界最小外包矩形交矩形求交过滤，然后再进行第一类空间连接操作θ_sp-1，即： ${X\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-1}^{\mathrm{ed}}}Y={\mathrm{\σ}}_{{\mathrm{\θ}}_{\mathrm{sp}-1}^f}\left(X\right){\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-1}}{\mathrm{\σ}}_{{\mathrm{\θ}}_{\mathrm{sp}-1}^f}\left(Y\right);$

(5)如果参与连接的两个空间片段的分割边界的最小外包矩形不相交，则这两个空间片段间的第二类连接转化为这两个片段的笛卡尔积；(6)在两个空间片段X、Y上进行第三类跨边界连接θ_sp-3 ^ed，转换为先在X上进行第三类空间拓扑过滤θ_{MBR(Y)_d} ^f(X)，对过滤结果进行d缓冲，然后再进行第三类空间连接操作θ_sp-3，即 ${\mathrm{\η}}_d\left(X\right){\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-3}^{\mathrm{ed}}}Y={\mathrm{\η}}_d\left({\mathrm{\σ}}_{{\mathrm{\θ}}_{\mathrm{MBR}\left(Y\right)\_d}^f}\left(X\right)\right){\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-3}}Y;$ (7)参与连接的两个空间片段的广义d扩展不相交，则这两个空间片段间的连接转化为这两个空间片段的笛卡尔积。

本发明提供的一种高效、透明的分布式空间数据库查询方法，通过查询分解、数据本地化、全局查询优化、局部查询优化四个层次实现，步骤如下：

查询分解：将查询问题转换为一个定义在全局关系上的关系代数表达式，查询分解为四步：第一步是将查询写成规范化形式，第二步是对规范化查询语句进行正确性分析，第三步是进行查询化简，第四步是将查询语句重写成一个代数查询，查询重写分为两个子步骤：一是将查询转换成关系代数，二是关系代数查询重构；

数据本地化：通过数据分布信息定位查询数据，确定查询中涉及的片段，把一个全局关系上的查询具体化，具体到本地化或进地化上的空间片段上进行查询，将全局关系上的关系代数表达式变换为在相应片段上的关系表达式，利用空间片段跨边界连接优化的7个规则来优化空间查询，根据空间片段跨边界连接优化方法中的去除规则(1)和(2)去掉多余的不相邻空间片段第一类连接，根据空间片段连接优化规则(3)去掉片段间第三类连接，并通过从空间全局数据字典中得到片段是否相邻、片段的最小外包矩形等信息判断运用四种连接转化规则中的何种优化规则进行空间片段连接的优化；

全局查询优化：通过寻找一个近于最优化的执行策略，即找出分片查询的最佳操作次序，包括代价函数最小，代价函数一般是I/O、CPU和通信代价之和，输出一个优化的、片段上的关系代数查询；

局部查询优化：由拥有查询片段的各个站点在每一个站点上执行子查询，采用集中式系统算法通过该站点上的DBMS进行优化。

本发明的有益效果是：在传统的透明查询处理基础上，通过提出的跨边界片段连接优化规则实现了空间片断间的连接优化，实现了高效、透明地查询分布式空间数据库。

具体实施方式

查询分解、数据本地化、全局查询优化、局部查询优化四个层次的具体步骤如下：

查询分解：将查询问题转换为一个定义在全局关系上的关系代数表达式。查询分解分为四步：第一步是将查询写成规范化形式，以便后续处理；第二步是对规范化查询语句进行正确性分析；第三步是进行查询化简，消除冗余谓词；第四步是将查询语句进行重写成一个代数查询，查询重写分为两个子步骤：一是将查询转换成关系代数，二是关系代数查询重构，用查询树来表述。在关系代数查询的重构时，通过传统数据库的转换规则来实现部分优化，包括消除冗余等。本层转换所需的信息在全局概念模式中获得。

数据本地化：本层输入是分布式全局关系上的代数查询，通过数据分布信息定位查询数据，确定查询中涉及哪个片段，把一个全局关系上的查询进行具体化，落实到合适的片段上的查询。将全局关系上的关系代数表达式，变换为在相应片段上的关系表达式。

利用空间片段连接优化的7个规则来优化空间查询。在传统的分布式数据库中，水平分片片段之间的连接存在许多多余的连接，按同一分割集分割得到的分割片段，同样存在多余的连接。根据空间片段连接优化方法中的去除规则(1)和(2)去掉多余的不相邻空间片段第一类连接，根据去除规则(3)去掉片段间第三类连接，并通过从空间全局数据字典中得到片段是否相邻、片段的MBR等信息判断运用四种连接转化规则中的何种规则进行空间片段连接的优化。

全局查询优化：全局优化的输入是片段查询，即在片段上的代数查询，目的在于寻找一个近于最优化的执行策略，也就是找分片查询的最佳操作次序，包括代价函数最小，代价函数一般是I/O、CPU和通信代价之和。全局查询的输出是一个优化的、片段上的关系代数查询。本层所需的信息来自数据库统计信息，包括各场地片段统计信息、资源信息和通信信息等。

局部查询优化：由拥有查询片段的各个站点在每一个站点上执行子查询，它采用集中式系统算法通过该站点上的DBMS进行优化，所需信息取自局部模式。

下面结合实施例对本发明做进一步说明。

实施例1

一个实验系统的具体执行步骤为：

(1)系统调用：用户在查询界面上输入SQL语句后，将该全局SQL语句传递给分布式空间数据访问引擎。

(2)全局查询分解：分布式查询分解分为两步，第一步实现SQL查询语句的解析，得到语法树；第二步对语法树进行变换，得到归并连接树。

(3)数据本地化与查询优化：根据场地分片等信息对归并连接树进行本地化与优化，调用全局数据字典服务，用来得到数据本地化与查询优化过程中必须的全局信息，如片段场地、统计信息、连接操作的选择性因子等，利用去除规则和连接转化规则实现了空间片段连接的优化。根据去除规则(1)和(2)去掉多余的不相邻空间片段第一类连接；根据去除规则(3)去掉片段间第三类连接，并通过从空间全局数据字典中得到片段是否相邻、片段的MBR等信息判断运用四种连接转化规则中的何种规则进行空间片段连接优化。

(4)查询调度；分布式空间数据访问引擎得到查询执行计划树后，将查询执行计划树和与之对应的调度脚本发送到调度服务器上，调度服务器通过分布式脚本引擎来执行调度脚本，对查询执行树进行遍历，将每个执行结点发送到相关的执行场地上的代理服务器进行执行。全部完成后，将最终查询结果集返回给分布式空间数据访问引擎。

(5)执行结点的执行：代理服务器获得执行结点后，根据自身数据源的特点，进行片段查询转换，并调用相关的局部空间数据库引擎和基础数据访问驱动进行查询，在得到数据集后，按照本系统规定的同一格式进行序列化，最后将结果发送到指定的位置。

Claims (1)

1.一种高效、透明的分布式空间数据库查询方法，通过查询分解、数据本地化、全局查询优化、局部查询优化四个层次实现，其特征是：针对分割分片的分布式空间数据库跨边界无缝查询问题，先对空间片段的连接操作进行分类，以OpenGIS标准定义的空间拓扑关系操作和空间分析操作为基础，将空间拓扑关系操作分成相离操作和非相离操作，将空间分析操作分成缓冲操作和非缓冲操作，并根据空间拓扑关系操作和空间分析操作将空间片段的连接方式划分成四类：第一类空间片段连接是非缓冲查询的非相离连接；第二类空间片段连接是非缓冲查询的相离连接；第三类空间片段连接是带缓冲查询的非相离连接；第四类空间片段连接是带缓冲查询的相离连接，这种分类建立了空间拓扑关系操作、空间分析操作与空间片段连接之间的关联关系，在此基础上，不同类型空间片段跨边界连接操作满足如下规律：

I.满足第一类连接方式的两个空间片段必定与这两个空间片段分割边界的最小外包矩形交矩形相交；

II.一个空间片段关系的d缓冲区扩展的最小外包矩形不超出这个空间片段分割边界的最小外包矩形的d扩展，所谓的最小外包矩形的d扩展定义如下：设一个空间对象的最小外包矩形的左下角和右上角坐标分别为(x_min，y_min)、(x_max，y_max)，则这个对象的最小外包矩形的d扩展是左下角和右上角坐标分别为(x_min-d，y_min-d)、(x_max+d，y_max+d)的矩形，其中d为正实数；

III.两个空间片段间第三类空间连接，如果主片段对象和辅片段对象间满足空间片段的第三类连接方式，则主片段中满足第三类空间拓扑关系的对象与辅片段最小外包矩形的d扩展或最小外包矩形的双d扩展相交，其中主片段、辅片段、双d扩展的定义分别如下：参与连接的两个片段中包含缓冲操作的片段称为主片段，则另一个片段称辅片段，若参与连接的两个片段上都有缓冲操作，设缓冲区分别为d1、d2，则任选一个作为主片段，另一个作为辅片段，此时对任何一个片段进行最小外包矩形的d1+d2扩展，称为片段的双d扩展；

以这三个规律为基础，提出空间片段跨边界连接优化的7个规则，其中包括以下3个去除规则：

(1)如果参与连接的两个空间片段的分割边界的最小外包矩形不相交，则这两个空间片段间第一类连接去除；

(2)不相邻的空间片段第一类连接去除；

(3)如果分割分片的两个空间片段的广义d扩展不相交，则这两个空间片段间第三类连接去除，所谓连接片段的广义d扩展定义如下：参与缓冲连接的一个片段X，它的广义d扩展表示为MBR(X)_d_E，如果X中的对象先进行缓冲操作后再做片段连接，则d等于缓冲区距离，即MBR(X)_d_E＝MBR(X)_d，如果X中的对象直接进行片段连接，则看成d＝0，此时MBR(X)_d_E＝MBR(X)；

以及下面4个连接转化规则：

(4)在两个空间片段X、Y上进行第一类跨边界θ_sp-1 ^ed连接，转换为先对X、Y上进行基于X、Y分割边界最小外包矩形交矩形求交过滤，然后再进行第一类空间连接操作θ_sp-1，即： $X{\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-1}^{\mathrm{ed}}}Y={\mathrm{\σ}}_{{\mathrm{\θ}}_{\mathrm{sp}-1}^f}\left(X\right){\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-1}}{\mathrm{\σ}}_{{\mathrm{\θ}}_{\mathrm{sp}-1}^f}\left(Y\right);$

(5)如果参与连接的两个空间片段的分割边界的最小外包矩形不相交，则这两个空间片段间的第二类连接转化为这两个片段的笛卡尔积；

(6)在两个空间片段X、Y上进行第三类跨边界连接θ_sp-3 ^ed，转换为先在X上进行第三类空间拓扑过滤θ_{MBR(Y)_d} ^f(X)，对过滤结果进行d缓冲，然后再进行第三类空间连接操作θ_sp-3，即 ${\mathrm{\η}}_d\left(X\right){\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-3}^{\mathrm{ed}}}Y={\mathrm{\η}}_d\left({\mathrm{\σ}}_{{\mathrm{\θ}}_{\mathrm{MBR}\left(Y\right)\_d}^f}\left(X\right)\right){\∞}_{{\mathrm{\θ}}_{\mathrm{sp}-3}}Y;$

(7)参与连接的两个空间片段的广义d扩展不相交，则这两个空间片段间的连接转化为这两个空间片段的笛卡尔积；

其中查询分解、数据本地化、全局查询优化、局部查询优化四个层次实现的具体步骤如下：

查询分解：将查询问题转换为一个定义在全局关系上的关系代数表达式，查询分解为四步：第一步是将查询写成规范化形式，第二步是对规范化查询语句进行正确性分析，第三步是进行查询化简，第四步是将查询语句重写成一个代数查询，查询重写分为两个子步骤：一是将查询转换成关系代数，二是关系代数查询重构；

数据本地化：通过数据分布信息定位查询数据，确定查询中涉及的片段，把一个全局关系上的查询具体化，具体到本地化或近地化上的空间片段上进行查询，将全局关系上的关系代数表达式变换为在相应片段上的关系表达式，利用空间片段跨边界连接优化的7个规则来优化空间查询，根据空间片段跨边界连接优化规则(1)和(2)去掉多余的不相邻空间片段第一类连接，根据空间片段连接优化规则(3)去掉片段间第三类连接，并通过从空间全局数据字典中得到片段是否相邻、片段的最小外包矩形等信息判断运用四种连接转化规则中的何种优化规则进行空间片段连接的优化；

全局查询优化：通过寻找一个近于最优化的执行策略，即找出分片查询的最佳操作次序，输出一个优化的、片段上的关系代数查询；

局部查询优化：由拥有查询片段的各个站点在每一个站点上执行子查询，采用集中式系统算法通过该站点上的DBMS进行优化。