CN101840426B

CN101840426B - 一种基于坐标分离的gml文档存储与查询方法

Info

Publication number: CN101840426B
Application number: CN2010101483504A
Authority: CN
Inventors: 关佶红; 王发标; 周水庚; 朱付保
Original assignee: Tongji University; Fudan University
Current assignee: Tongji University; Fudan University
Priority date: 2010-04-15
Filing date: 2010-04-15
Publication date: 2012-08-22
Anticipated expiration: 2030-04-15
Also published as: CN101840426A

Abstract

本发明属于信息技术中的空间信息存储与查询技术领域，具体为一种基于坐标分离的GML文档存储与查询方法。通过SAX解析器将GML文档中的空间坐标数据与非空间坐标数据相分离。将分离后的不包含空间坐标的数据存储于基本Native xm1的DB2 pureXML的数据库，将分离后的空间数据存储于DB2 Spatial Extender中，并通过数据分离时所产生的连接因子将空间坐标数据和非空间坐标数据相互联系起来。在查询时将查询语句分离成两个查询语句：空间查询、非空间查询，并进行查询操作。实验证明，本发明提出的基于空间坐标数据分离的GML数据存储方案是有效、可行的，能有效地存储管理GML文档数据。

Description

一种基于坐标分离的GML文档存储与查询方法

技术领域

本发明属于信息技术中的空间信息存储与查询技术领域，具体涉及地理标注数据(GML数据)的存储与查询方法。

背景技术

地理信息系统(简称GIS)近年来正成为越来越多的信息系统的支撑平台。随着Internet的迅速发展和Web的广泛使用，GIS已经由专业人员使用的集中式系统逐步向分布式、网络化的海量信息系统演变。而近年来移动Internet的快速出现和手机用户的飞速增长，给移动空间信息服务带来了新的机遇。GIS、GPS、RS、移动Internet和移动设备(手机、PDA等)的结合将使得人们可以利用手机或其它移动个人设备在任何时间、任何地点访问任何空间信息。然而，要实现这一目标，现有空间信息处理方法与技术还面临着不少挑战：

1)现有的GIS系统多是孤立、自主、异构的集中式GIS系统，它们的采用数据格式和数据模型可能不同，开发工具与环境或者平台都可能不同，所以要对这些GIS系统进行集成以实现空间信息的共享和GIS的互操作并不容易。

2)在地理信息的表现方面，现有Web GIS要么在服务器端生成地图，再传到客户端进行显示；要么先把地理信息传到客户端，然后由客户端程序(Applet或ActiveX)显示。前一种方法效率低，服务器和网络负担重；后一种方法所用的技术和客户端设备有关。在目前的移动网络环境下，客户端设备包括手机、PDA、车载计算机、笔记本电脑和台式计算机等等。它们的处理能力、显示能力和通信能力都各不相同，现有技术很难同时适应各种不同的客户端设备条件。

为了改变当前GIS应用与其内部数据模型及数据格式紧密捆绑的现状，开放地理信息系统组织(Open GIS Consortium，OGC)推出基于XML的地理标记语言(Geography MarkupLanguage，GML)。GML以XML的格式来对区域、位置、内容信息进行编码，将内容和表现形式分离。用GML来组织和表达数据，是实现地理空间数据的标准化、结构化和实现地理信息系统的互操作的必由之路。目前GML得到了Oracle，SQL Server等主流数据库以及MapInfo等重要的GIS软件厂商的大力支持，并已成为空间信息的标准表示与交换格式。

由于GML是一种自描述的、与编程语言和运行平台无关的空间信息表达与交换标准语言，这就为空间信息的集成与共享以及实现GIS互操作提供了一种潜在的简单、灵活的技术途径。用GML可以比较容易地构建面向对象的数据模型，可以清楚地表示地物对象的属性信息和几何信息，可以简洁地描述地物之间的拓扑关系。GML的出现，解决了空间数据格式不一致的问题，顺应了空间信息共享发展的要求，也符合当前所提出的语义Web要求提供包含结构和语义的数据，使地理信息的相互交换变得更加容易。近年来，由于大量的GML数据的涌现，对如何有效地管理GML数据提出了新的挑战。

首先GML数据是海量的，虽然以文档形式表示地理空间数据，它具有简单、易于理解、易于互操作、结构灵活并且具有一定的语义等特性，适合用于地理信息数据的表示和交换。但是，日益复杂的GIS应用，使得基于文本格式的GML数据管理越来越不能满足用户与日俱增的需求。因此，如何对这海量GML数据进行存储管理是一个问题。

其次GML数据包含着大量的空间坐标数据信息，而对空间地理信息进行的空间查询是基于这些空间坐标数据的信息的。如何在海量的空间信息数据中对大量的空间坐标数据和非空间坐标数据进行查询操作是GML数据管理的另一个重要问题。

发明内容

本发明的目的在于提供一种能对GML数据进行高效管理的GML文档存储与查询方法

本发明提出的GML文档存储与查询方法，是基于坐标分离的，具体步骤如下：

(一)将GML文档数据的空间坐标数据与非空间坐标数据进行分离，即在利用GML分离器对GML文档数据分离为两个部分：空间坐标数据和非空间坐标数据，同时，为了保证分离后的数据统一性和完整性，必须为分离后的两部分数据产生连接因子。通过连接因子将两部分数据一一对应起来。

(二)将GML非空间部分的数据存储于支持Native XML的数据库。将非空间数据部份存储于支持Native XML的数据库中，不仅在并发性、安全性等方面的性能有很好的优势，而且更有利于对非空间数据进行操作性能的提高。

(三)GML空间部分的数据存储于支持空间数据的数据库。将这些空间数据分离存储于支持空间操作的数据库中，不仅能对这些特定的数据进行我们所需要的操作，而且对其进行单独进行存储有利于提高对这些数据操作的性能。

(四)并行的GML查询。由于分离后的数据根据其各自的特征分别存储，在对GML数据进行查行时，可将查询语句根据数据的分离的标准分离成两个查询语句(空间查询、非空间查询)并行地进行查询操作。

下面对本发明内容作进一步描述。

1、空间坐标数据和非空间坐标数据的分离

GML文档数据符合GML规范所规定的数据类型和结构。空间几何体的空间属性模式定义了一个几何体的空间属性，包含哪些空间坐标以及这些空间坐标的排列结构。GML分离器可以根据这些结构特性，将空间几何体的空间坐标数据与非空间坐标数据相分离。当SAX解析器读取的当前元素是几何体空间属性的开始元素的标签时，就将该元素后续所有子元素数据域的数据分离出来，按存储目标数据库中相应的数据类型逐步构造相应的存储SQL语句，直到读取到当前几何体空间属性的结束元素的标签，然后将所构造的空间几何体的空间坐标的数据存储到相应的数据库中。当SAX解析器所读取的是非空间几何体元素时，将这些数据(包括元素、属性及相应的数据值)重新构建成一个GML文档，并且用XML数据存储相关的存储方式进行存储。

2、空间坐标数据与非空间坐标数据的连接因子

为了保证GML数据的可恢复性、完整性和一致性，必须在对几何体的空间坐标数据进行分离时产生连接因子，通过连接因子定位空间坐标数据在非空间坐标数据中的位置，保证分离后的数据与分离之前的数据相一致。本发明采用了二维坐标(PATHID，ORDINATEID)来标识一个空间几何体的空间坐标数据在文档中的位置，这样在非空间坐标数据文档中就可以通过该坐标在空间坐标数据表中找到相应的空间坐标数据。其中，第一维数据(PATHID)标识了从根节点到这个几何体空间坐标数据的路径编号，由于相同路径下可能有多个几何体，第二维数据(ORDINATEID)标识了相同路径下的空间坐标数据的顺序编号。

在数据分离过程中所产生的连接因子可以通过两种方法植入不包含空间坐标的GML数据中：(1)将连接因子存储在自定义的元素标签的数据域中，代替分离的空间坐标数据嵌套在其父亲元素中。(2)将连接因子转换成符合相应空间数据模式的形式代替相应的空间坐标数据。前者将破坏原GML数据的应用模式，但该方法简单易用，而后者将保证分离后的GML数据符合原GML数据的应用模式，但该方法需要修改GML的核心模式使得GML中的任何空间几何体的空间数据均可用连接因子代替。因为本发明不用应用模式对存储的非空间坐标数据进行校验，所以优选第一种方法将连接因子代替空间数据嵌套在非空间数据中。

本发明的特点是：将空间对象的几何属性的空间坐标数据与非空间坐标数据相分离，分离后的不包含空间坐标数据的GML数据用普通的XML存储方式进行存储。而分离后的空间坐标数据使用支持空间数据存储的数据库进行存储。

附图说明

图1系统框架图。

图2非空间坐标数据查询在文档上和数据库中执行所花费时间对比。

图3混合查询在数据库中执行所花费时间的组成。

具体实施方式

一、数据的分离

本发明利用Apache提供的Xerces解析器(SAX)对GML文档进行解析，通过解析可以得到一系列事件标记，例如StartElement( )，EndElement( )等等，根据分离的需要对其进行处理，将空间坐标数据与非空间坐标数相分离。

二、非空间坐标数据的存储

本发明使用DB2 Pure XML的存储技术对分离后的非空间坐标的GML数据进行存储管理，如表1所示，DOCID字段是用来存储GML数据文档的编号，DOCNAME字段是存储文档的名称，XMLDOCUMENT字段是用来存储不包含空间坐标的GML数据。DB2 PureXML是在传统数据库DB2增加对Native XML支持的组件，使其不仅具有传统数据库成熟的并发控制、安全管理等特性，而且还具有Native XML数据库具有的特性。在DB2 PureXML中，使用XML特有数据类型将XML数据以树状的层次结构的方式存储到数据库中，而不是像前面所说的将其“扁平化”，避免了在XML数据和数据库之间的来回转换省去了大量的时间消耗；也不是将其存储到一个CLOB中，因此，此存储方案没有数据大小的限制。

表1非空间数据表

三、空间坐标数据的存储

本发明使用DB2 Spatial Extender来对GML的空间数据进行存储管理。DB2 SpatialExtender提供了与GML规范相对应的空间几何体的类型：ST_Point、ST_LineString、ST_Polygon、ST_MultiPoint、ST_MultiLineString、ST_MultiPolygon等分别与GML的gml:Point、gml:LineString、gml:Polygon、gml:MultiPoint、gml:MultiLineString、gml:MultiPolygon等一一对应，DB2 Spatial Extender支持不同格式的空间几何体的存储，例如：wkt、gml、wkb等。同时，DB2 Spatial Extender提供了相应的空间操作的功能函数：ST_Area、ST_Contains、ST_Distance、ST_Crosses、ST_Boundary等，我们可以利用这些功能函数对空间数据进行空间操作。空间几何体的坐标数据在数据库中的存储结构如表2所示，其中DOCID字段存储着GML数据文档编号，PATHID字段存储着空间坐标数据的路径编号、ORDINATEID字段存储着同一路径下的不同数据的编号，TYPE字段存储着空间几何属性的坐标类型使得数据在不同格式之间可以进行转换，SDATA字段存储由(DOCID，PATHID，ORDINATEID)标识的空间坐标数据。

表2空间数据表

四、数据查询

本发明所使用的DB2数据库Spatial Extender组件db2gse程序包支持类似GQL的空间操作，其pure XML组件能够直接支持XQuery和SQL交叉混合使用。因此，可以使用XQuery语言对分离后的不包含空间坐标的GML数据进行非空间操作；可以使用数据库提供的空间操作函数对于分离后的空间坐标数据进行操作；而对于混合的查询语句就必须使用XQuery和空间操作函数混合的方法才能实现所需要的操作。

为了提高查询效率和性能，在空间坐标数据分离的过程中把文档中的路径独立存储在路径表中，如表3所示。当查询语句只是空间查询时就可以通过路径表和坐标数据表完成相应的空间查询。例如，查询某条路径下的空几何体的个数，就可以根据其路径在路径表中查找到相应的DOCID和PATHID，而不要非空间坐标数据表中查找，然后在空间数据表中完成相应的查询操作。在混合查询的操作中，有两种查询策略：(1)串行查询。先完成非空间坐标查询再通过连接因子在空间数据表完成空间坐标查询；(2)并行查询。将空间查询和非空间查询分离，对于非空间坐标数据用XQuery进行查询，对于空间查询用前面所述的方法进查询，最后通过联接因子整合查询的结果。在实际应用中采用哪种策略来完成混合查询要根据具体情况具体分析。

表3路径表

由于DB2数据库支持XQuery语言，对于非坐标空间数据的查询结果就不用重新构建成GML格式的数据；对于空间坐标数据查询的结果可以根据实际的需求调用系统相应的功能函数以GML、WTK、WKB等DB2内置的数据形式返回；对于混合查询的结果只要将空间的查询结果代替非空间坐标查询结果中的连接因子就能得到所需要的结果。

五、性能对比测试

为了对基于空间坐标数据分离的GML数据存储的性能进行测试分析，我们用Java语言实现了一个原型系统。主要开发软件和开发工具包括DOM4J、SAX、DB2V9.7、DB2-Spatial extender v9.7和eclipse-galileo等。实验运行在Windows XP Professional环境下，硬件配置为AMD Athlon 64 Processor 1.79GHz处理器、2GB内存、320GB硬盘空间。实验对六组数据(其中，文档1和文档4的数据来自于ALKIS ATKIS，文档3和文档5的数据来自于GO Loader，文档2和文档6的数据来自于OS MasterMap)进行了测试，文档大小从13MB到84MB不等，并对其中的总结点数和几何体结点数进行了统计，如表4所示：

表4不同大小文档及包含结点数

实验一、为了比较分离后的非空间坐标数据的存储性能，本发明作者分别对以文档形式存储和数据库存储的非空间坐标数据进行了查询操作，通过查询操作所耗费的时间进行比较。在该实验中，查询操作的内容为查询各绝对路径下的数据。实验结果如图2所示。

实验二、为了比较后离后各个部分数据的存储性能，本发明作者通过对混合查询中的非空间坐标数据查询所耗费的时间和空间坐标数据查询所耗费的时间进行比较。在该实验中，查询操作的内容为查询给定两条路径下的两个空间几何体的距离，采用串行查询策略。实验结果如图3所示。

文档中的地理数据涵盖了水域、城市、山体、河流等，涉及到的空间几何对象有Point、LineString、Box、Polygon、Curve等。如图2所示，在非空间数据查询中，直接在文档上进行查询的时间消耗是在数据库中查询所消耗时间的3倍左右，数据库的查询之所以比较快是因为DB2 pureXML采用了Native XML存储技术；由图3可知，在数据库的混合查询中，空间操作的时间消耗只占整个查询时间消耗的非常小的一部份，混合查询的时间消耗近似于非空间数据查询的时间消耗。由于，本发明实验所采用的实验数据来自不同的GIS厂商，其模式各不相同，很难找到通用于各个实验数据的查询语句，所以本发明作者根据不同文档随机选取不同的查询语句进行实验，实验的结果取均值。本发明实验的查询语句如表5所示。

表5查询示例

	文档	Eg.查询文档1/AX_Bestandsdatenauszug/erlaeuterung路径下的数据：for $x in doc(″20080801_ALKIS_doeteberg.xml″)/AX_Bestandsdatenauszug/AX_Bestandsdatenauszugreturn $x
			混合查询	数据库查询	Eg.查询文档1下列两条路径几何体的距离：1、/AX_Bestandsdatenauszug/enthaelt/wfs:FeatureCollection/gml:featureMember/AP_PPO/position/gml:Point2、/AX_Bestandsdatenauszug/enthaelt/wfs:FeatureCollection/gml:featureMember/AX_PunktortTA/position/gml:Point查询过程如下：首先，根据上述非空间查询的数据库查询方法在NonSpatialTable非空间数据表或PathExpr路径表中分别获得这两条路径下的连接因子数据，(22，24)，(37，16)。其次，根据如下的语句：select db2gse.ST_Distance(s.SDATA，d.SDATA)as distance fromSpatialTable s，SpatialTable d where s.docid＝1 and s.pathid＝22 ands.ordinateid＝24 and d.docid＝1 and d.pathid＝37 and d.ordinateid＝16获得查询结果。

Claims

1.一种基于坐标分离的GML文档存储与查询方法，其特征在于具体步骤如下：

(一)将GML文档的空间坐标数据与非空间坐标数据进行分离，即利用GML分离器对GML文档分离为两个部分：空间坐标数据和非空间坐标数据，同时，为分离后的两部分数据产生连接因子，通过连接因子将两部分数据一一对应起来；

(二)将GML文档的非空间坐标数据存储于支持Native XML的数据库；

(三)将GML文档的空间坐标数据存储于支持空间数据的数据库；

(四)并行的GML查询，在对GML文档进行查询时，将查询语句根据数据的分离的标准分离成两个查询语句：空间查询、非空间查询，并行地进行查询操作：

其中，所述GML分离器将空间几何体的空间坐标数据与非空间坐标数据相分离，具体步骤为：当SAX解析器读取的当前元素是空间几何体空间属性的开始元素的标签时，就将该元素后续所有子元素数据域的数据分离出来，按存储目标数据库中相应的数据类型逐步构造相应的存储SQL语句，直到读取到当前空间几何体空间属性的结束元素的标签，然后将空间几何体的空间坐标数据存储到相应的数据库中；当SAX解析器所读取的是非空间几何体元素时，将这些数据包括元素、属性及相应的数据值重新构建成一个GML文档，并且用XML数据存储相关的存储方式进行存储；

所述连接因子定位空间坐标数据在非空间坐标数据中的位置，保证分离后的数据与分离之前的数据相一致；其采用了二维坐标来标识一个空间几何体的空间坐标数据在GML文档中的位置，这样在非空间坐标数据的GML文档中就通过该坐标在空间坐标数据表中找到相应的空间坐标数据；其中，第一维数据标识了从根节点到这个几何体空间坐标数据的路径编号，由于相同路径下可能有多个空间几何体，第二维数据标识了相同路径下的空间坐标数据的顺序编号。

2.根据权利要求1所述的方法，其特征在于在数据分离过程中所产生的连接因子通过两种方法植入非空间坐标数据中：(1)将连接因子存储在自定义的元素标签的数据域中，代替分离的空间坐标数据嵌套在其父亲元素中；(2)或将连接因子转换成符合相应空间坐标数据模式的形式代替相应的空间坐标数据。

3.根据权利要求1所述的方法，其特征在于使用DB2Pure XML的存储技术对分离后的非空间坐标的GML数据进行存储管理，DOCID字段用来存储GML文档的编号，DOCNAME字段是存储文档的名称，XMLDOCUMENT字段用来存储非空间坐标数据。

4.根据权利要求1所述的方法，其特征在于使用DB2Spatial Extender来对GML文档的空间坐标数据进行存储管理；其中DOCID字段存储GML文档编号，PATHID字段存储空间坐标数据的路径编号，ORDINATEID字段存储同一路径下的不同空间坐标数据的编号，TYPE字段存储着空间几何体空间属性的坐标类型，使得数据在不同格式之间进行转换，SDATA字段存储标识的空间坐标数据。

5.根据权利要求1所述的方法，其特征在于使用XQuery语言对分离后的不包含空间坐标数据的GML文档进行非空间操作；使用数据库提供的空间操作函数对于分离后的空间坐标数据进行操作；而对于混合的查询语句就使用XQuery和空间操作函数混合的方法实现所需要的操作。

6.根据权利要求5所述的方法，其特征在于在空间坐标数据分离的过程中把GML文档中的路径独立存储在路径表中；当查询语句只是空间坐标查询时，通过路径表和空间坐标数据表完成相应的空间坐标查询；在混合查询的操作中，有两种查询策略：(1)串行查询，先完成非空间坐标查询再通过连接因子在空间坐标数据表完成空间坐标查询；(2)并行查询，将空间坐标查询和非空间坐标查询分离，对于非空间坐标数据用XQuery进行查询，对于空间坐标查询用前面所述的方法查询，最后通过连接因子整合查询的结果。