CN103685380A

CN103685380A - 地理信息数据的分发服务方法和系统

Info

Publication number: CN103685380A
Application number: CN201210335858.4A
Authority: CN
Inventors: 黄骞; 王尔琪; 滕寿威
Original assignee: SUPERMAP SOFTWARE CO Ltd
Current assignee: SUPERMAP SOFTWARE CO Ltd
Priority date: 2012-09-12
Filing date: 2012-09-12
Publication date: 2014-03-26
Anticipated expiration: 2032-09-12
Also published as: CN103685380B

Abstract

本发明提供了一种地理信息数据的分发服务方法和系统，执行所述方法的系统包括2个以上的数据中心，所述方法包括：将系统采集到的地理信息数据打包，生成格网数据包；根据各数据中心的数据需求目录，将所述格网数据包发送至相应的数据中心；动态域名服务装置接收用户发送的地理信息服务请求，并将所述地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心。本发明通过分布式多数据中心的数据分发方式，解决了传统的地理信息Web服务的单数据中心方案存在的因广域复杂网络环境带来的并发瓶颈问题。

Description

地理信息数据的分发服务方法和系统

技术领域

本发明涉及地理信息数据服务技术领域，特别是涉及一种地理信息数据的分发服务方法和系统。

背景技术

地理信息Web服务，是一种互联网环境下的一组与地理信息相关的功能实体，通过其调用接口暴露封装的功能。现有地理信息服务（GIS，Geographic Information System）包括GIS数据服务和GIS功能服务，GIS数据服务通过接口向外提供空间数据，GIS功能服务通过接口向外提供空间数据处理功能。

随着位置服务(LBS，Location Based Service)、高分辨率卫星遥感、街景服务等空间信息技术与产业的成熟与发展，空间信息采集速度极大提升，而地理空间相关应用也对遥感影像、地图、街景、兴趣点（POI ，Point of Interest）、空间关联数据产品的更新速度有了更高要求。

空间数据呈现单批次数据量大，批次多而更新规律的特点。现代空间数据采集技术通常面向全球级别的空间测量，单批次数据量往往达到万亿字节（TB，Terabyte）级别，而空间数据产品根据基础数据源不同表现为较为稳定的更新周期，例如：1）国家基本比例尺地形图、数字高程模型等，更新周期数年；2）地图厂商的路网、兴趣点等，更新周期数月；3）卫星遥感影像，更新周期随卫星轨道周期改变，进一步加剧了空间数据的整体数据量对应用的压力。

虽然现有部分先进的Web服务器软件提供了在数据中心内部的服务集群能力，但随着空间信息应用的逐步发展、空间数据的采集、存储、分析与展示已经与公众应用、防灾减灾、国情监测等各个行业应用紧密结合，现有地理信息Web服务已经无法满足上述多源海量空间高并发服务要求，广域复杂网络环境下海量数据的高并发访问已然成了地理信息服务的瓶颈。

发明内容

本发明所要解决的技术问题是提供一种地理信息数据的分发服务方法，可解决现有技术广域复杂网络环境下海量数据的高并发访问瓶颈的问题。

本发明还提供一种地理信息数据的分发服务系统，以保证上述方法的实际应用。

为了解决上述问题，本发明公开了一种地理信息数据的分发服务方法，执行所述方法的系统包括2个以上的数据中心，所述方法包括：将系统采集到的地理信息数据打包，生成格网数据包；根据各数据中心的数据需求目录，将所述格网数据包发送至相应的数据中心；动态域名服务装置接收用户发送的地理信息服务请求，并将所述地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心。

优选的，还包括：根据用户对不同地理信息数据、不同数据中心访问的频繁程度，更新各数据中心的数据需求目录；根据修改后的数据需求目录，更新各数据中心的数据及其现有存储的数据目录。

优选的，所述数据中心为集群服务方式，所述方法还包括：查询包括有用户请求的地理信息数据且当前负载最低的服务集群节点，并将上述地理信息服务请求重定向到该查询到的服务集群节点。

优选的，所述格网数据包的生成方法具体为四叉树压缩编码方法，若四叉树结构数据为L层，一个格网数据包包含有2^c×2^c个数据瓦片，对于第i层：当i < c时，将四叉树所有层中的数据瓦片归档至一个独立的格网数据包；当c≤i<L时，第i层中的数据瓦片可生成2^2(i-c)个格网数据包，数据瓦片与格网数据包的对应关系为：

m＝〔x×2^-c〕，n＝〔y×2^–c〕

其中，x和y分别表示第i层中数据瓦片的行号和列号，且0≤x，y<2ⁱ；m和n分别表示第i层中格网数据包的行号和列号。

第i（c≤i<L）层的第m行第n列的格网数据包归档的数据瓦片集合为：

｛x，y | 2^m(i-c)－1≤x<2^(m+1)(i-c)，2^n(i-c)－1≤y<2^(n+1)(i-c)｝

其中， 0≤m，n<2^(i-c)。

优选的，所述系统采集到的地理信息数据包括原始地理信息数据和地理信息更新数据。

依据本发明的另一优选实施例，公开了一种地理信息数据的分发服务系统，包括数据生成装置、数据分发装置、动态域名服务装置和2个以上的数据中心，其中：所述数据生成装置用于将系统采集到的地理信息数据打包，生成格网数据包；所述数据分发装置用于根据各数据中心的数据需求目录，将所述数据生成装置生成的格网数据包发送至相应的数据中心；所述动态域名服务装置用于接收用户发送的地理信息服务请求，并将所述地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心；所述数据中心具体包括数据目录存储单元和服务集群单元，所述数据目录存储单元用于保存本数据中心现有存储的数据目录；所述服务集群单元用于保存所述数据分发装置发送的数据，并为用户提供地理信息服务。

优选的，还包括分发优化装置，用于根据用户对不同地理信息数据、不同数据中心访问的频繁程度更新各数据中心的数据需求目录，以及根据修改后的数据需求目录，更新各数据中心的数据及其现有存储的数据目录。

优选的，所述数据中心还包括：节点分配单元，用于在本数据中心的服务集群单元中查询包括有用户请求的地理信息数据且当前负载最低的服务集群节点，并将所述地理信息服务请求重定向到该查询到的服务集群节点。

m＝〔x×2^-c〕，n＝〔y×2^–c〕

｛x，y | 2^m(i-c)－1≤x<2^(m+1)(i-c)，2^n(i-c)－1≤y<2^(n+1)(i-c)｝

其中， 0≤m，n<2^(i-c)。

与现有技术相比，本发明具有以下优点：

在本发明优选实施例中，通过分布式多数据中心的数据分发、同步与负载均衡方式，解决了传统的地理信息Web服务的单数据中心方案存在的因广域复杂网络环境带来的网络不稳定与速度慢等问题，采用数据就近缓存、就近服务的模式，提高数据分发的性能与稳定性。

在本发明进一步的优选实施例中，格网数据包可解决大量小文件（LOSF, Lots of Small Files）问题：首先,编码归档之后文件近似减少为整体瓦片数量的1/2^2c，大大减低了对文件系统的压力；其次,由于数据瓦片序号与格网数据包序号之间遵循严格的空间数学关系，既可以快速将数据瓦片归档至相应的格网数据包，也可以将对数据瓦片的访问转化为二次寻址，即：可在文件系统中对1/2^2c的数据包进行线性搜索，并可对结果格网数据包中2^2c个数据瓦片进行线性搜索，大大提升了文件访问效率；第三，在传输相同的数据时建立网络连接操作减少为编码归档之前的1/2^2c，提高了数据网络传输速度。

附图说明

图1是本发明地理信息数据的分发服务方法第一实施例的流程图；

图2是本发明地理信息数据的分发服务方法第二实施例的流程图；

图3是本发明地理信息数据的分发服务系统第一实施例的结构示意图；

图4是本发明地理信息数据的分发服务系统第二实施例的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在下述方法实施例中，为解决现有地理信息Web服务无法满足多源海量空间高并发服务要求的问题，系统采用多数据中心的架构，实现数据分布式分发、同步与负载均衡服务。

参照图1，示出了本发明地理信息数据的分发服务方法第一实施例的流程，具体包括：

步骤S101：将系统采集到的地理信息数据打包，生成格网数据包；

步骤S102：根据各数据中心的数据需求目录，将所述格网数据包发送至相应的数据中心；

在上述数据需求目录中，保存有地理信息数据与各数据中心的关联关系。系统采集到的地理信息数据包括原始地理信息数据和地理信息更新数据，对于原始地理信息数据，根据预设的数据需求目录分发至相应的数据中心；对于地理信息更新数据，直接对数据中心已有的地理信息数据进行更新。为保证数据的安全性，在分发过程中，还可以考虑在分布在不同地区的数据中心进行容灾备份。

步骤S103：动态域名服务装置接收用户发送的地理信息服务请求，并将所述地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心。

在本优选实施例中，所述符合用户请求，是指该数据中心保存有用户发送的地理信息服务请求中所需要的地理信息数据，且能够提供用户所需要的地理信息数据服务和/或功能服务。

参照图2，示出了本发明地理信息数据的分发服务方法第二实施例的流程，具体包括：

步骤S201：用四叉树压缩编码方法将系统采集到的地理信息数据打包，生成格网数据包；

若四叉树结构数据为L层，一个格网数据包包含有2^c×2^c个数据瓦片，对于第i层：

当i < c时，将四叉树所有层中的数据瓦片归档至一个独立的格网数据包；

当c≤i<L时，第i层中的数据瓦片可生成2^2(i-c)个格网数据包，数据瓦片与格网数据包的对应关系为：

m＝〔x×2^-c〕，n＝〔y×2^–c〕

另外，在第i（c≤i<L）层中，第m行第n列的格网数据包归档的数据瓦片集合为：

｛x，y | 2^m(i-c)－1≤x<2^(m+1)(i-c)，2^n(i-c)－1≤y<2^(n+1)(i-c)｝，其中， 0≤m，n<2^(i-c)

步骤S202：根据各数据中心的数据需求目录，将所述格网数据包发送至相应的数据中心；

步骤S203：动态域名服务器接收用户的地理信息服务请求，并将上述请求路由至符合用户请求且网络连接速度最高的数据中心；

步骤S204：在本数据中心内部查询包括有用户请求的地理信息数据且当前负载最低的服务集群节点，并将上述地理信息服务请求重定向到该查询到的服务集群节点；

为实现负载均衡，可采用周期性更新方式将各服务集群节点的性能信息（如负载情况等）更新至本数据中心的现有存储的数据目录中。

步骤S205：系统根据用户对不同地理信息数据、不同数据中心访问的频繁程度，更新各数据中心的数据需求目录；

步骤S206：根据修改后的数据需求目录，更新各数据中心的数据及其现有存储的数据目录；然后重复上述执行过程。

在本优选实施例中，各数据中心现有存储的数据目录包括各服务集群节点保存的数据列表及其各服务集群节点的性能信息。

需要说明的是，由于上述循环执行的数据更新与数据包生成、分发、存储与管理、服务等步骤的流程长，涉及的数据中心及计算机众多、数据批次多且生命周期活动复杂，人工全天候操作完成强度大且易于出错，可采用基于工作流的自动化运维管理，以保证系统的日常运行及故障提醒与应急容错。

其次，为方便描述，上述优选实施例以四叉树压缩编码方法为例说明了格网数据包的打包方式，但不应该理解为对本发明的限制，为实现本发明目的，还可以选用八叉树编码、直接栅格编码、行程编码、二维行程编码、链式编码等方式实现对原始地理信息的编码打包过程。

另外，对于前述的各方法实施例，为了描述简单，故将其都表述为一系列的动作组合，但是本领域的技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或同时执行；其次，本领域技术人员也应该知悉，上述方法实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参照图3，示出了本发明地理信息数据的分发服务系统第一实施例的结构框图，包括数据生成装置31、数据分发装置32、第1数据中心33-1、第2数据中心33-2～第n数据中心33-n和动态域名服务装置，其中：

各数据中心具体包括数据目录存储单元331、服务集群单元332和节点分配单元333；

数据目录存储单元331用于保存本数据中心现有存储的数据目录；该数据目录包括地理信息数据与本数据中心的服务集群单元332各服务集群节点的关联关系（或各节点的数据列表），以及各服务集群节点的性能信息（如负载情况等）；为实现负载均衡，可采用周期性更新方式将各服务集群节点的性能信息更新至数据存储目录中；

服务集群单元332用于保存数据分发装置32发送的数据，并为用户提供地理信息数据服务和地理信息管理服务等；

节点分配单元333用于在本数据中心的服务集群单元332中查询包括有用户请求的地理信息数据且当前负载最低的服务集群节点，并将上述地理信息服务请求重定向到该查询到的服务集群节点。

数据生成装置31用于将系统采集到的地理信息数据打包，生成格网数据包；在本优选实施例中，采用四叉树压缩编码方法生成格网数据包；若四叉树结构数据为L层，一个格网数据包包含有2^c×2^c个数据瓦片，对于第i层：

m＝〔x×2^-c〕，n＝〔y×2^–c〕

数据分发装置32用于根据各数据中心的数据需求目录，将数据生成装置31生成的格网数据包发送至相应的数据中心。

动态域名服务装置34：用于接收用户终端发送的地理信息服务请求，并将该地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心；在本优选实施例中，用户终端可以是个人电脑，也可以是笔记本电脑、平板电脑、手机终端等。

上述各数据中心的数据需求目录保存有地理信息数据与各数据中心的关联关系，对于包括有主数据中心的系统部署方式，可将数据需求目录以及数据分发装置、数据生成装置保存/部署在主数据中心；对于不区分主从数据中心的系统部署方式，可将数据生成装置、数据分发装置单独部署，并将数据需求目录保存在数据生成装置或数据分发装置。

参照图4，示出了本发明地理信息数据的分发服务系统第二实施例的结构框图，除包括上述第一系统实施例包括的数据生成装置31、数据分发装置32、第1数据中心33-1～第n数据中心33-n外和动态域名服务装置34，还包括分发优化装置35，其中：

分发优化装置35用于根据用户对不同地理信息数据、不同数据中心访问的频繁程度更新各数据中心的数据需求目录，以及根据修改后的数据需求目录，更新各数据中心的数据及其现有存储的数据目录。

在上述系统实施例中，为保证海量数据的处理能力和高并发服务能力，数据生成装置31和各数据中心的服务集群单元332可通过集群方式实现。

另外需要说明的是，上述各系统实施例属于优选实施例，所涉及的单元和模块并不一定是本发明所必须的，如对于某数据中心，当服务集群单元332为独立服务器时（非集群服务方式），该数据中心就可以不配置节点分配单元333，数据目录存储单元331中存储的数据目录可以仅包括该独立服务器现有存储的数据列表即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本发明所提供的一种地理信息数据的分发服务方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种地理信息数据的分发服务方法，其特征在于，执行所述方法的系统包括2个以上的数据中心，所述方法包括：

将系统采集到的地理信息数据打包，生成格网数据包；

根据各数据中心的数据需求目录，将所述格网数据包发送至相应的数据中心；

动态域名服务装置接收用户发送的地理信息服务请求，并将所述地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心。

2.如权利要求1所述的方法，其特征在于，还包括：

根据用户对不同地理信息数据、不同数据中心访问的频繁程度，更新各数据中心的数据需求目录；

根据修改后的数据需求目录，更新各数据中心的数据及其现有存储的数据目录。

3.如权利要求1所述的方法，其特征在于，所述数据中心为集群服务方式，所述方法还包括：查询包括有用户请求的地理信息数据且当前负载最低的服务集群节点，并将上述地理信息服务请求重定向到该查询到的服务集群节点。

4.如权利要求1所述的方法，其特征在于，所述格网数据包的生成方法具体为四叉树压缩编码方法，若四叉树结构数据为L层，一个格网数据包包含有2^c×2^c个数据瓦片，对于第i层：

m＝〔x×2^-c〕，n＝〔y×2^–c〕

5.如权利要求4所述的方法，其特征在于，当c≤i<L时，在第i层中，第m行第n列的格网数据包归档的数据瓦片集合为：

｛x，y | 2^m(i-c)－1≤x<2^(m+1)(i-c)，2^n(i-c)－1≤y<2^(n+1)(i-c)｝

其中， 0≤m，n<2^(i-c)。

6.如权利要求1所述的方法，其特征在于，所述系统采集到的地理信息数据包括原始地理信息数据和地理信息更新数据。

7.一种地理信息数据的分发服务系统，其特征在于，包括数据生成装置、数据分发装置、动态域名服务装置和2个以上的数据中心，其中：

所述数据生成装置用于将系统采集到的地理信息数据打包，生成格网数据包；

所述数据分发装置用于根据各数据中心的数据需求目录，将所述数据生成装置生成的格网数据包发送至相应的数据中心；

所述动态域名服务装置用于接收用户发送的地理信息服务请求，并将所述地理信息服务请求重定向至符合用户请求且网络连接速度最高的数据中心；

所述数据中心具体包括数据目录存储单元和服务集群单元，所述数据目录存储单元用于保存本数据中心现有存储的数据目录；所述服务集群单元用于保存所述数据分发装置发送的数据，并为用户提供地理信息服务。

8.如权利要求7所述的系统，其特征在于，还包括：

分发优化装置，用于根据用户对不同地理信息数据、不同数据中心访问的频繁程度更新各数据中心的数据需求目录，以及根据修改后的数据需求目录，更新各数据中心的数据及其现有存储的数据目录。

9.如权利要求7所述的系统，其特征在于，所述数据中心还包括：

节点分配单元，用于在本数据中心的服务集群单元中查询包括有用户请求的地理信息数据且当前负载最低的服务集群节点，并将所述地理信息服务请求重定向到该查询到的服务集群节点。

10.如权利要求7所述的系统，其特征在于，所述格网数据包的生成方法具体为四叉树压缩编码方法，若四叉树结构数据为L层，一个格网数据包包含有2^c×2^c个数据瓦片，对于第i层：

m＝〔x×2^-c〕，n＝〔y×2^–c〕

11.如权利要求10所述的系统，其特征在于，当c≤i<L时，在第i层中，第m行第n列的格网数据包归档的数据瓦片集合为：

｛x，y | 2^m(i-c)－1≤x<2^(m+1)(i-c)，2^n(i-c)－1≤y<2^(n+1)(i-c)｝

其中， 0≤m，n<2^(i-c)。