CN104021029B - 一种空间信息云计算系统及其实现方法 - Google Patents

Abstract

本发明公布了一种具备弹性计算能力的空间信息云计算系统及其实现方法，该系统包括空间信息处理虚拟化模块、空间信息弹性计算模块和空间信息云服务开发平台模块，分别提供对硬件资源的虚拟化服务、对计算资源的自动伸缩服务和对外提供云GIS应用开发服务。本发明为GIS开发者提供一种支持弹性计算的空间信息云服务开发平台，解决现有技术难以解决的海量空间数据存储困难、运维成本高、计算缓慢、可伸缩性较差以及价格高昂等问题，从而降低开发出具备强大计算能力的云GIS应用的成本和开发难度。

Description

一种空间信息云计算系统及其实现方法

技术领域

本发明涉及空间信息计算技术，尤其涉及一种空间信息云计算系统及其实现方法。

背景技术

信息技术的每一次进步，都会给地理信息系统(GIS)带来巨大的影响，如PC之于桌面GIS，互联网之于WebGIS，网格计算之于网格GIS等。云计算的出现为解决传统GIS中遇到的海量空间数据存储、运维成本高、计算缓慢、可伸缩性较差以及价格高昂等问题提供了有效的解决途径。云GIS作为面向未来的地理信息系统，已迅速成为当前GIS软件的发展趋势和研究热点。

地理信息软件即服务(SaaS)、地理信息平台即服务(PaaS)和地理信息基础设施即服务(IaaS)是云GIS的三种主要服务形式。其中，承担着承上启下作用的空间信息云计算平台(PaaS)系统和软件，是云GIS的重要组部分。而弹性计算机制则是云计算平台的关键技术之一，各大商业云计算平台均提供了弹性计算解决方案，它可以有效提高资源利用率并极大地降低系统运维成本，使用户开发应用时不需关心系统的存储和计算细节。但是，现有的云GIS平台系统却并未对弹性计算机制展开深入研究，导致的结果是，现有的云GIS平台系统不具备弹性计算机制，无法提供对计算资源的自动伸缩服务；这种类型的平台系统需要人工配置系统环境，系统运维复杂、不能自动伸缩，用户需要关心系统的存储和计算细节。

发明内容

为解决上述现有技术存在的问题，本发明提供一种具备弹性计算能力的空间信息云计算系统及其实现方法，目的是为地理信息系统(GIS)开发者提供一种支持弹性计算的空间信息云服务开发平台，解决现有技术难以解决的海量空间数据存储困难、运维成本高、计算缓慢、可伸缩性较差以及价格高昂等问题，降低开发者开发出具备强大计算能力的云GIS应用的成本和开发难度。

本发明的技术方案如下：

一种空间信息云计算系统，该系统自下而上包括空间信息处理虚拟化模块、空间信息弹性计算模块和空间信息云服务开发平台模块，其中，空间信息处理虚拟化模块提供对硬件资源的虚拟化服务；空间信息弹性计算模块提供计算资源的自动伸缩服务；空间信息云服务开发平台模块用于对外提供云GIS应用开发服务，通过它开发的GIS应用具备计算资源自动伸缩的能力。

一种空间信息云计算系统的实现方法，该方法通过创建空间信息处理虚拟机(GeoVM)、空间信息云平台弹性伸缩机制和空间信息云服务开发平台，使得通过所述开发平台开发的应用都具有自动弹性伸缩功能，包括如下步骤：

S1，建立空间信息处理虚拟机管理机制，空间信息处理虚拟机管理机制包括通过创建空间信息处理虚拟机管理中间件来管理空间信息处理虚拟机；

S2，建立空间信息云平台弹性伸缩机制，获得对空间信息的弹性计算能力；空间信息云平台弹性伸缩机制包括建立负载监控器、自动伸缩组件和请求队列管理器；

S3，建立空间信息云服务开发平台，用于为用户访问系统资源提供接口，使得可以便捷地开发出具备弹性伸缩能力的云GIS应用；空间信息云服务开发平台包括空间信息存储模型、并行计算模型和GIS开发接口。

上述空间信息云计算系统的实现方法，进一步地，步骤S1所述的空间信息处理虚拟机管理是通过使用Python编程语言来封装OpenStack的REST接口实现的，虚拟机中内置有GIS开发所需的环境和开发软件包。

步骤S1中的空间信息处理虚拟机管理机制还包括建立空间信息处理虚拟机池，通过所述虚拟机池预先创建一组可用的虚拟机，并维护可用虚拟机的数量，以供系统循环使用，由此减少创建和销毁空间信息处理虚拟机所用的时间，从而提高空间信息虚拟化的服务速度。

在本发明的实施例中，空间信息处理虚拟机池包括远程调用接口API、监控器、请求执行引擎和数据存储与访问接口，其管理机制包括：

通过远程调用接口API接收外部的负载监控器的节点请求；

通过监控器监控可用节点数量，使可用节点数目保持在合适规模；

通过请求执行引擎处理空间信息处理虚拟机发出的请求；

通过数据存储与访问接口进行数据的访问和共享。

上述任一空间信息云计算系统的实现方法中，步骤S2中建立负载监控器是通过采用负载监测服务glances来监测各数据节点的负载信息，并通过轮询机制定期获取系统的负载信息和负载级别，以此来计算用户集群当前的负载情况。

优选地，步骤S2中所述的空间信息云平台弹性伸缩机制包括如下过程：

S61，通过负载监控器对用户集群各数据节点进行监测，计算负载指数和对应的负载级别，由此获取用户集群各数据节点的负载状态；

S62，当负载监控器监测到用户集群的每个数据节点的负载都在较高水平时，自动向空间信息处理虚拟机池发送增加一个空间信息处理虚拟机的申请请求；当监控器监测到用户集群的每个数据节点的负载过低，负载监控器则向空间信息处理虚拟机池发送用户集群缩减操作的申请请求；

S63，空间信息处理虚拟机池接收到相应的申请请求后，为用户集群分配一个新的或减去一个原有的空间信息处理虚拟机。

上述空间信息云计算系统的实现方法中，步骤S3所述空间信息存储模型是通过分布式数据库Hbase建立元数据表和空间数据表来存储数据的；其中，元数据表用于存储空间数据的元数据信息，空间数据表用于存储空间信息。所述并行计算模型是通过采用MapReduce实现的。

本发明的有益效果是：

与现有技术相比，本发明的空间信息云计算系统及实现方法采用虚拟机管理、负载监控、自动伸缩、并行编程模型等技术，符合云GIS对空间信息弹性计算的要求，为GIS开发者提供一种支持弹性计算的空间信息云服务开发平台，解决现有技术难以解决的海量空间数据存储困难、运维成本高、计算缓慢、可伸缩性较差以及价格高昂等问题，降低开发者开发出具备强大计算能力的云GIS应用的成本和开发难度。因此，本发明适用于对海量空间数据进行存储、处理和分析，可以方便、快速地开发云GIS应用及部署服务，为空间信息云计算平台(PaaS)的发展提供可行的技术方案。

附图说明

图1为本发明空间信息云计算系统的结构框图。

图2为本发明实施例的系统结构框图。

图3为本发明实施例中虚拟机管理的结构框图。

图4为本发明实施例中虚拟机池的结构框图。

图5为本发明实施例中负载监控的结构框图。

图6为本发明实施例中自动伸缩过程的示意图。

图7为本发明实施例中空间信息云计算开发平台的结构框图。

图8为本发明实施例中一次负载监测的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明的基本思想是利用虚拟化和负载监控等技术实现系统的自动弹性伸缩，并将此能力提供给开发平台，使得利用此平台开发的应用都具有自动弹性伸缩功能。

本发明空间信息云计算系统的结构框图如图1所示，本实施例中，空间信息云计算系统的实现方法主要包括创建空间信息处理虚拟机(GeoVM)、空间信息云平台弹性伸缩机制和空间信息云服务开发平台，具体包括如下步骤：

S1，通过创建空间信息处理虚拟机，建立空间信息处理虚拟机(GeoVM)管理机制，获得对空间信息弹性计算、自动伸缩、简单运维和复杂场景下的云GIS应用的虚拟化服务，GeoVM管理机制具体包括GeoVM管理中间件和GeoVM池：

通过创建GeoVM管理中间件来管理GeoVM，从而实现对GeoVM的创建、启动、删除和更改；

通过创建GeoVM池来提高空间信息虚拟化的服务速度，从而减少“创建”和“销毁”GeoVM所用的时间，有效地提高系统的运行效率；

S2，通过负载监控器、自动伸缩组件和请求队列管理器建立空间信息云平台弹性伸缩机制，获得对空间信息的弹性计算能力；

S3，建立空间信息云服务开发平台，包括空间信息存储模型、并行计算模型和GIS开发接口，用于为用户访问系统资源提供接口，使得可以便捷地开发出具备弹性伸缩能力的云GIS应用。

通过上述方法实现的空间信息云计算系统包括空间信息处理虚拟机、空间信息云平台弹性计算处理器和空间信息云服务开发平台三个部分，其中：

(1)空间信息处理虚拟机提供对硬件资源的虚拟化服务；

(2)空间信息云平台弹性计算处理器包括负载监控器和自动伸缩组件，提供对计算资源的自动伸缩服务；

(3)空间信息云服务开发平台包括空间信息存储模型、并行计算模型和GIS开发接口，用于对外提供云GIS应用开发服务，通过它开发的应用具备计算资源自动伸缩的能力。

本发明实施例的系统结构图如图2所示，空间信息云计算系统包括三层，最上层是空间信息云服务开发平台，它是用户访问系统资源的接口，为简单方便地开发具备弹性伸缩能力的云GIS应用提供技术支撑；中间层是空间信息云平台弹性伸缩机制，它为“空间信息云服务开发平台”提供弹性计算能力；最下层是空间信息处理虚拟机(GeoVM)管理机制，它为“空间信息云平台弹性伸缩机制”提供快速的空间信息虚拟化服务。简而言之，没有虚拟化服务，弹性计算机制无法实现；而没有弹性计算机制，空间信息开发平台则无法具备弹性伸缩能力。

空间信息处理虚拟机管理机制的主要作用是为弹性计算、自动伸缩、简单运维以及复杂场景下的云GIS应用提供虚拟化服务。GeoVM管理主要包括GeoVM管理中间件和GeoVM池。前者能够轻易地创建、启动、删除、更改一个GeoVM；后者则可以大大减少“创建”和“销毁”GeoVM所用的时间，有效地提高了系统的运行效率。

如图3所示，GeoVM管理机制是通过使用Python编程语言来封装OpenStack的开发接口实现的。OpenStack服务运行在一系列的物理机之上，其本身也是一种主从式服务，由一个主节点和一组工作节点组成。通过其创建的虚拟机内置有GIS开发所需的环境和各种开发软件包，包括GDAL、GEOS、PROJ等，从而可以对空间信息的存储、处理和分析提供必要的支持。

图4为GeoVM池的结构图，它由远程调用接口、GeoVM池监控器、请求执行引擎和数据存储与访问等四部分构成。远程调用接口API用于接收外部的负载监控器的节点请求；GeoVM池监控器用于监控可用节点数量，使可用节点数目保持在合适规模；请求执行引擎则不断处理各种GeoVM请求；数据存储与访问用于进行数据的访问和共享。虚拟机池通过预先创建一组可用的虚拟机，并维护可用虚拟机的数量，以供系统循环使用。虚拟机池可以加快虚拟机管理的服务速度。

空间信息云平台弹性伸缩机制主要由负载监控器、自动伸缩组件和请求队列处理器组成。用户集群中内置的负载监控器会自动监测用户集群的负载情况，并计算负载级别。自动伸缩组件会根据此信息自适应地调整用户的集群规模，包括增加资源或者建议用户减少资源，从而在确保用户应用性能的情况下，保证较高的资源利用率。请求队列用于暂存各用户集群的节点请求，同时将这些请求按照紧急次序转交给请求执行引擎处理，使负载监控器与请求执行引擎之间实现松耦合。各计算集群都能通过该机制实现自动伸缩，使集群保持在适度规模，提高了资源的利用率，也极大地降低了集群的维护成本。

图5为本发明的实施例中负载监控工作时的结构框图。负载监控是通过采用负载监测服务glances来监测各数据节点的负载信息，并通过轮询机制定期获取系统的负载信息和负载级别，通过自动伸缩信息来实现对系统计算资源的自动调节。在每个数据节点上，都内置有glances软件服务，随机启动，它会按照系统设置，自动监控自身节点的相关指标状态。负载监控器内置于目录节点上，它会周期性地启动负载监测任务，通过glances提供的服务来获取集群各数据节点的负载状态，以此来计算用户集群当前的负载情况。远程调用接口是以远程过程调用的形式向系统其他组件提供通信服务的组件。

图6为本发明的实施例中自动伸缩工作时的示意图，图中的一个用户集群(Cluster)由四个工作节点组成，分别为节点1，节点2，节点3，节点4。如图所示，原集群的每个节点的负载都在较高水平，这样的情况可能会影响到系统的运行效率，如果负载进一步增加，系统可能面临崩溃的风险。集群内置的负载监控器检测到这种状况，于是自动向GeoVM池发送了一个GeoVM申请请求。GeoVM池在接受到这个请求后，为集群分配了一个新的GeoVM。于是，刚才这个具有较高负载的集群获得了一个新成员，设为节点5。系统内的负载均衡机制会将前面四个节点的一部分任务迁移到节点5上，于是节点1-节点4的负载均得到降低，系统的整体负载也因此降低到合理水平，如图6的右部分所示。

如图8所示，负载监测和自动伸缩工作时的步骤如下：

Step1：检查系统的运行环境是否正常，如网络是否通畅，所需要的各种硬件资源是否准备完毕等。如果检测结果不正常，则说明集群系统存在故障，不能正常运行，转至Step5；

Step2：获取当前集群的节点列表，并计算系统的负载指数和对应的负载级别；

Step3：计算负载级别是否合法，如果它属于正常范围，则程序转至Step1；否则，进入Step4；

Step4：负载监控器会根据所计算出来的负载级别，如果负载过高，则向GeoVM池发送一个具备优先级的节点申请；而如果负载过低，负载监控器则会发送集群缩减操作的申请。申请发送完毕后，程序转至Step1；

Step5：系统环境发生异常，程序结束。

空间信息云服务开发平台将软件研发的平台作为一种服务提供给开发者，使得云GIS开发者能够轻易地利用云计算的资源和能力来开发GIS应用和服务。平台的结构如图7所示，它由空间信息存储模型、并行计算模型和云GIS应用开发API三部分组成。空间信息存储模型基于NoSQL数据库HBase实现，采用HBase来存储数据；空间信息存储模型建了两种表：元数据表和空间数据表；其中，元数据表用于存储空间数据的元数据信息，空间数据表用于存储空间信息；从而使得能够大规模且高效地存储与访问海量空间数据。基于上述空间信息存储模型，创建一套适合于云计算环境下的GIS应用开发接口，包括空间信息存储、访问、处理和分析等多种功能，这些操作接口是利用并行计算编程模型MapReduce来实现的，从而可以有效地利用大规模集群的计算能力。空间信息云服务开发平台建立在弹性计算机制之上，从而在此平台上开发的GIS应用能享受到弹性伸缩带来的优势。空间信息云服务开发平台直接面向用户，它将软件研发的平台作为一种服务提供给用户，使用户能够轻易地开发出具备弹性伸缩能力的云GIS应用。

以上结合附图对本发明的具体实施方式作了说明，但这些说明不能被理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动都是本发明的保护范围。

Claims (7)

1.一种空间信息云计算系统，其特征是，所述系统自下而上包括空间信息处理虚拟化模块、空间信息弹性计算模块和空间信息云服务开发平台模块，所述空间信息处理虚拟化模块是封装了GIS开发环境和软件包的空间信息处理虚拟机GeoVM，提供对硬件资源的虚拟化服务；所述空间信息弹性计算模块通过创建和销毁所述空间信息处理虚拟机GeoVM实现计算资源自动伸缩服务，所述空间信息处理虚拟机GeoVM包括GeoVM管理中间件和GeoVM池，并通过计算任务的自动迁移使得虚拟机循环使用，由此提供计算资源的自动伸缩服务；所述空间信息云服务开发平台模块用于对外提供云GIS应用开发服务，通过它开发的GIS应用具备计算资源自动伸缩的能力。

2.一种空间信息云计算系统的实现方法，所述方法通过创建空间信息处理虚拟机、空间信息云平台弹性伸缩机制和空间信息云服务开发平台，使得通过所述空间信息云服务开发平台开发出的应用都具有自动弹性伸缩功能，其特征是，包括如下步骤：

S1，建立空间信息处理虚拟机管理机制，所述空间信息处理虚拟机管理机制包括通过创建空间信息处理虚拟机管理中间件来管理空间信息处理虚拟机；所述空间信息处理虚拟机管理机制还包括建立空间信息处理虚拟机池，通过所述虚拟机池预先创建一组可用的虚拟机，并维护可用虚拟机的数量，以供系统循环使用，由此减少创建和销毁空间信息处理虚拟机所用的时间，从而提高空间信息虚拟化的服务速度；

S2，建立空间信息云平台弹性伸缩机制，获得对空间信息的弹性计算能力；所述空间信息云平台弹性伸缩机制包括建立负载监控器、自动伸缩组件和请求队列管理器；所述空间信息云平台弹性伸缩机制包括如下过程：

S61，通过负载监控器对用户集群各数据节点进行监测，计算负载指数和对应的负载级别，由此获取用户集群各数据节点的负载状态；

S62，通过请求队列管理器管理对空间信息处理虚拟机的申请请求：当负载监控器监测到用户集群的每个数据节点的负载都在较高水平时，自动向空间信息处理虚拟机池发送增加一个空间信息处理虚拟机的申请请求；当监控器监测到用户集群的每个数据节点的负载过低，负载监控器则向空间信息处理虚拟机池发送用户集群缩减操作的申请请求；

S63，通过自动伸缩组件实现计算任务的自动迁移：空间信息处理虚拟机池接收到相应的申请请求后，为用户集群分配一个新的或减去一个原有的空间信息处理虚拟机，并迁移原空间信息处理虚拟机中的计算任务到新的空间信息处理虚拟机；

S3，建立空间信息云服务开发平台，用于为用户访问系统资源提供接口，使得可以便捷地开发出具备弹性伸缩能力的云GIS应用；所述空间信息云服务开发平台包括空间信息存储模型、并行计算模型和GIS开发接口。

3.如权利要求2所述空间信息云计算系统的实现方法，其特征是，步骤S1所述空间信息处理虚拟机管理是通过使用Python编程语言来封装OpenStack的REST接口实现的，虚拟机中内置有GIS开发所需的环境和开发软件包。

4.如权利要求2所述空间信息云计算系统的实现方法，其特征是，所述空间信息处理虚拟机池包括远程调用接口API、监控器、请求执行引擎和数据存储与访问接口，其管理机制包括：

通过远程调用接口API接收外部的负载监控器的节点请求；

通过监控器监控可用节点数量，使可用节点数目保持在合适规模；

通过请求执行引擎处理空间信息处理虚拟机发出的请求；

通过数据存储与访问接口进行数据的访问和共享。

5.如权利要求2所述空间信息云计算系统的实现方法，其特征是，步骤S2所述建立负载监控器是通过采用负载监测服务glances来监测各数据节点的负载信息，并通过轮询机制定期获取系统的负载信息和负载级别，以此来计算用户集群当前的负载情况。

6.如权利要求2所述空间信息云计算系统的实现方法，其特征是，步骤S3所述空间信息存储模型是通过分布式数据库Hbase建立元数据表和空间数据表来存储数据的；所述元数据表用于存储空间数据的元数据信息，所述空间数据表用于存储空间信息。

7.如权利要求2所述空间信息云计算系统的实现方法，其特征是，步骤S3所述并行计算模型是通过采用MapReduce实现的。