CN105262626A - 一种满足云中gis高性能服务需求的监控系统 - Google Patents

Abstract

本发明涉及一种满足云中GIS高性能服务需求的综合监控系统。包括：基础设施云平台模块，包括监控系统所运行的各种云平台，为监控系统提供监控对象；云GIS服务底层模块，运行于基础设施云平台模块之上，用于针对GIS云服务执行代理监控，采用最小精简指令集模式，依托不同网络协议的支持，能够顺利获取所监控的不同云平台的相关数据；云GIS服务运维中心模块，运行于所述云GIS服务底层模块之上，用于直接向用户提供基础设施及GIS云服务的运维和授权管理。因此，该监控系统不依赖于特定的基础设施云平台及任何特定设备，具备多重跨平台特性，能够满足GIS云化后的不断扩展的行业应用要求。

Description

一种满足云中GIS高性能服务需求的监控系统

技术领域

本发明涉及一种监控系统，属于地理信息领域，具体涉及一种满足云中GIS高性能服务需求的综合监控系统。

背景技术

云的GIS应用监控是依据传统的IT运维监控而逐渐建立的，传统监控的主要目的大致上可以分为:

1.服务器监控，主要监控服务器如：CPU负载、内存使用率、磁盘使用率、登陆用户数、进程状态、网卡状态等。

2.应用程序监控，主要监控该应用程序的服务状态，吞吐量和响应时间，因为不同应用需要监控的对象不同，这里不一一列举。

3.数据库监控，一般监控数据库状态，数据库表或者表空间的使用情况，是否有死锁，错误日志，性能信息等等。

4.网络监控，主要监控当前的网络状况，网络流量等。

以上四点是目前基础应用监控体系应该算是最基本的，也是传统架构下为保证某服务站点正常运行或者服务能够正常提供服务的基础内容。

而从系统架构上来看原有的非云环境中的应用系统或者服务都有自己的监控平台和监控手段，无论是采用哪种手段去实现对系统的实时监控和故障告警，绝大多数解决方案采用的方式也只有两种：集中式监控和分布式监控，集中式监控将所有数据汇总汇交到一台主机中统一管理，而分布式监控系统将监控的功能放在单个主机上，各自都有着优势和劣势。集中式监控系统一般采用通用的SNMP协议或者自定义协议进行统一的管理和处理所有下辖的主机系统的数据，由于在云环境下对于主机数量远远超过普通环境下对监控主机的性能要求，因此在云环境下监控的能力和范围以及实时性就会收到极大的影响。而采用分布式采集和管理的模式，由于统计、分析以及采集三大模块都会给受监控的主机产生极大的压力，在云的环境下，各种虚拟化主机、容器都受限于资源，用户始终希望尽可能多的将资源提供给实际服务能力所用，因此这样的模式也存在很多问题。同时在传统结构下，对于数据的采集和管理都采取的是直接读取，直接入库的模式，对于数据极大的云环境，已经显得越发不合适。此外，在云环境下由于网络模式负载网络穿透不易，还要考虑多种网络的安全性，甚至单向性传输，因此在传统条件中的直接汇交数据单向流通的监控模式是无法直接适应于云平台的。

与此同时作为云中GIS的服务监控，为了更好、更有效的保障系统上线后的稳定的运行。需要对于从实体服务器、网络资源、再到云平台自身监控、以及对应的虚拟化以及容器的硬件基础设施资源、对应参数性能、虚拟化与实体的网络、服务设备带宽、端口、进程、服务等进行有层次、可靠和可持续的监测机制。对于GIS服务，还需要依据LB位置信息统计分析每天的各种数据，从而能及时反映出服务在何处的数据在性能瓶颈、安全隐患等重要信息，同时亦能够从访问者的角度获知该GIS服务的受众情况，为进一步改善服务质量增加服务能力提供依据。而GIS数据库的数据丢失，日志容量控制等等也需要新的模式来处理。

针对以上问题，本发明监控系统主要解决以下问题：

(1)提供云环境下可控稳定可靠的云GIS服务综合监控的能力。

云环境下网络情况负载，监控体系需要满足多种不同的网络环境的覆盖才能提供有效可靠的服务，包括但不限于:虚拟化网络穿透、NAT模式下工作可用性、虚拟化与实体化网络混杂工作能力等。由于监控的服务是可能提供保密数据的GIS服务，因此还需要针对GIS服务对应的中间件服务器、GIS数据库服务器、Web应用服务器进行一一监控。同时监控还应当涵盖:GIS服务访问监控、GIS服务流量监控、GIS服务能力监控、GIS受访用户监控、GIS受访地域监控等多个维度的不同方面。本发明主要解决的问题是在云环境下提供可控稳定的云GIS服务综合监控能力。

(2)解决GIS服务云架构下的服务品质控制问题

在GIS服务云体系架构中，除基础的监控之外，还需要在云架构下获取、搜集、反馈各种GIS的品质控制参数，也就是GIS服务的QoS信息。在GIS云中服务能力一般以云GIS服务的形式将其特征和优势展现出来，用户才可以感知其存在，这也是GIS服务自身价值得以实现的形式。云计算技术将其自身展现给用户的具体实现形式称为云计算服务(简称云服务)。云计算环境下，用户可通过链接的网络，根据自己的需要随时随地选择不同的服务内容和服务形式。

对GIS服务云用户来说，琳琅满目的云服务可以满足用户随时按需使用的需求。但用户访问GIS云服务会受到各种因素的制约，如用户需求以及必须支付的费用和自身有限的预算，用户会平衡成本支出与所获得的服务质量水平，选择性价最好的云服务及其云GIS服务提供商。这些信息都是本文要解决的关键问题，而这些问题无法在现有的任何运维体系下解决。

传统的云服务云GIS服务提供商们将服务等级协议(ServiceLevelAgreements，SLA)的思想引入云服务领域，制定各自的云SLA，以保证云服务的质量。如MicrosoftAzure云平台服务制定了系列SLAs，从Storage、Compute、SQL、AppFabric和CDN等方面来明确服务双方的职责与义务；AmazonS3存储服务制定了AmazonS3SLA，从功能、可靠性和价格等方面来明确其存储服务；GoogleApps制定了GoogleAppsSLA，明确了Apps产品提供的服务等级及违例的情况。各种云SLA的实施，使云SLA成为目前云云GIS服务提供商们保证QoS的重要手段。

GIS云服务云GIS服务提供商为保留现有的客户、吸引新客户，必须保证云计算的GIS服务质量(QualityofServicesforGIS，QoSforGIS)，才能从GIS云计算中获得收益。因此在本专利中还需要利用相关技术手段构建GIS云服务的SLA。这有助于GIS云服务云GIS服务提供商们获得用户的满意度，有助于加强用户和云GIS服务提供商间的长期合作关系，有助于云GIS服务提供商建立服务品牌的形象，获得市场份额。追求以用户的满意为目的的服务质量，是企业获得和保持竞争优势的关键因素。

根据ITU的QoS定义，将云计算的服务质量定义为“用户使用云计算服务的总体效果，这些效果决定了一个用户对该云计算服务的满意程度。”那么评估GIS的云服务的品质要求必然是该服务参数超集。

结合用户、云GIS服务提供商以及服务前后的角度，即用户使用云服务的前后、云GIS服务提供商云服务的前后，可以得出云计算服务质量四个视角的关系，如附图1所示。

其中，用户的QoS需求为用户使用云服务前的需求，用户感知的QoS是用户使用云服务后的感知；云GIS服务提供商提供的QoS是云GIS服务提供商提供云服务前的综合能力，云GIS服务提供商实现的QoS是云GIS服务提供商提供云服务后的实际能力。

用户需求的GIS云计算服务质量(GISQoSRequirementsofuser/customer，GIS-QoSR)是有关用户需要的云计算服务质量水平的表述，表明用户对某特殊服务的质量需求的程度，一般来说，用户不会关心服务提供和设计的细节问题，他们只关心他们使用服务的效果和质量。从用户的角度来看，QoS只与用户感知的效果有关，用户不会去关心服务内部影响效果的因素，更不会依赖服务的设计来定义自己的QoS需求。这些内容在本系统中需要在UI层向用户提供指引。

云GIS服务提供商提供的云计算服务质量(GISQoSOfferedbyprovider，GISQoSO)是有关云GIS服务提供商计划向客户提供的质量水平的表述，是用于具体云服务有关的衡量参数的目标值或范围表述的、云GIS服务提供商计划实现并向用户提供的QoS水平。

QoSO描述了云GIS服务提供商期望提供给用户的质量水平，其质量水平可以用一些指定的QoS参数值来表示，记录在规定的文档中，如云计算的SLA就是用QoS参数值(可用性)来描述云服务QoSO的基本文档形式而SLA的统计信息来自于系统的长期运维数据的采集。每项服务都有自己的QoS参数集，不同服务的QoS参数集的元素不同，其目标值、范围或水平也有差异。正如前QoSR所述，用户对业务专业的、技术性的术语并不十分了解，如果QoSO一味使用云GIS服务提供商的业务术语来表述，用户就会很难理解和选择。为了使服务双方都能共同理解服务的内容、形式和预期的服务质量等，使服务能更好地开展下去，云GIS服务提供商应为QoS准备至少两种形式的QoSO。一种是给用户使用的QoSO，采用非技术性的、非专业的、能被用户所理解的语言；另一种是供云GIS服务提供商内部使用的QoSO，采用技术性的、专业性的术语，有利于准确地定义各项业务活动，便于服务的提供和实施。在本系统中，对外的UI都采用面向用户的QoSO来表述，而后台数据采集和处理再造时使用内部的QoSO。

云GIS服务提供商实现的云计算服务质量(QoSDelivered/achievedbyprovider，QoSD)是有关云GIS服务提供商实际上为客户实现的或提供的QoS水平的表述，是云GIS服务提供商实际交付给用户的服务所达到的质量水平。

用户感知的云计算服务质量(QoSExperienced/perceivedbyuser/customer，QoSE)是关于用户认为他们所体验到或感受到的质量水平的表述，是用户对服务质量水平的评价，通常用“满意度”这样的非技术性术语来表示。云GIS服务提供商通过QoSE来决定用户对服务质量的满意程度，从而调整自身的QoSO和QoSD。本系统中选择在UI层次提供对应的表单和动态搜集的运维数据的反馈来实现对用户感知的云计算服务质量的管理。

云计算服务质量的四个视角是切实有效的服务质量管理的基础，本发明利用运维数据流为基础，将四个视角在不同的层次进行体现与整合起来，大大有利于促进GIS云计算服务质量的衡量与评价。

发明内容

本发明主要是解决现有技术中所存在的监控技术依赖于具体基础设施环境，不能很好的满足在不同基础设施云平台中的环境要求，并且针对虚拟化网络和虚拟化计算单元的支持都存在缺陷的技术问题，提供了一种满足云中GIS高性能服务需求的监控系统，该监控系统不依赖于特定的基础设施云平台及任何特定设备，具备多重跨平台特性；并且不依赖于特定的云GIS平台的业务操作流程，所有的可监控与管理对象都依据网络七层协议定义，只需要简单扩充监控功能，就能快速适应新的服务端接口的变化，避免了反复定制开发，满足GIS云化后的不断扩展的行业应用要求。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种满足云中GIS高性能服务需求的监控系统，包括：

基础设施云平台模块，包括监控系统所运行的各种云平台，为监控系统提供监控对象；

云GIS服务底层模块，运行于基础设施云平台模块之上，用于针对GIS云服务执行代理监控，采用最小精简指令集模式，依托不同网络协议的支持，能够顺利获取所监控的不同云平台的相关数据；

云GIS服务运维中心模块，运行于所述云GIS服务底层模块之上，用于直接向用户提供基础设施及GIS云服务的运维和授权管理。

优化的，上述的一种满足云中GIS高性能服务需求的监控系统，所述云GIS服务底层模块提供消息机制的通讯方式，采用统一的消息结构在不同的平台间收发消息；

并且，

所述云GIS服务底层模块进一步包括异构云监控服务单元，以及分别与所述异构云监控服务单元相连的数据存储单元、监控采集核心组件单元；

其中，

所述异构云监控服务单元具体包括以下子单元：服务处理任务化管理子单元，用于管理各种类型的云平台所提供的服务处理任务；消息管理器子单元，用于监控消息管理器，所述消息管理器用于跨不同类型的云平台的消息交换；持久化管理数据库子单元，用于对紧急消息进行持久化；

所述的数据存储单元包括队列事件数据库、历史数据库、临时访问的会话数据库等数据库中的一种或多种；

所述的监控采集核心组件单元进一步包括用于采集数据的中心软路由以及中心队列执行器；所述软路由支持双向通讯，其下包括支持多样协议的监控代理。

优化的，上述的一种满足云中GIS高性能服务需求的监控系统，所述软路由下包括的监控代理支持IT监控以及应用层监控协议，并且支持主动式与被动式两大场景，并可依据客户的需要仅仅采用SNMP模式，减少监控开支，从而实现了多数据流向，多业务场景下的高可用监控体系。

优化的，上述的一种满足云中GIS高性能服务需求的监控系统，所述的云GIS服务运维中心模块利用JSONAPI统一提供数据分析和展示能力；

并且，所述的云GIS服务运维中心模块进一步包括：综合监控管理界面单元，用于向用户提供统一的综合监控和管理操作；图形与页面内存缓存单元，用于提供页面缓存和图形缓存。

优化的，上述的一种满足云中GIS高性能服务需求的监控系统，云GIS服务底层模块，还用于采集QoS质量品质信息以及基础设施的监控信息；

云GIS服务运维中心模块，还用于提供GIS云服务的品质控制与管理，并提供用户针对GIS云服务的QoS品质反馈。

优化的，上述的一种满足云中GIS高性能服务需求的监控系统，所述云GIS服务运维中心模块能够将客户所需要的QoS数据从前端采集并纳入到运维数据处理服务中进行保存，从而实现了QoS的前后台的汇交。

优化的，上述的一种满足云中GIS高性能服务需求的监控系统，所述的云GIS服务运维中心模块进一步包括：

管理平台单元，用于提供对各种云服务的管理，所述管理平台单元进一步包括云运维管理平台子单元和用户QoS采集平台，所述用户QoS采集平台用于组织维数据并采集QoS信息；

运维数据处理服务，用于根据所组织的运维数据和所采集到的QoS信息生成并向监控采集核心组件发送QoS信息。

因此，本发明具有如下优点：

1.本发明不依赖于特定的基础设施云平台，以及不依赖任何特定设备，甚至也不依赖固定的GIS平台具备多重跨平台特性。其监控的各个环节均支持不同程度的HA或者灾备的软件设计，能够最大化的满足互联网级别的运维监控需求，同时，其监控核心以及其代理软件都支持双向通讯技术能力，很好的满足了在云平台云架构的新特性下，系统的可适应能力与GIS结合的密切程度有了极大提高，能够很好满足新一代GIS云服务条件下的运行维护监控的需求。

2.本发明的不依赖于特定的云GIS平台的业务操作流程，所有的可监控与管理对象都依据网络七层协议定义，只需要简单扩充监控功能，就能快速适应新的服务端接口的变化，也避免了反复定制开发，满足GIS云化后的不断扩展的行业应用要求。

附图说明

附图1是四个视角下的QoS关系图。

附图2是本发明的结构示意图。

附图3是本发明的综合监控核心组件的结构示意图；

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明的结构如图1所示。本发明实际上是一套GIS计算服务应用的云平台综合监控和品质控制的解决方案，具备跨操作系统(跨平台)和跨云平台以及网络结构(实体化网络与虚拟化网络)的能力。目前实现本发明的推荐开发语言是Java，因为Java是一种对象化的语言，其功能齐全、性能稳定、普及度高、并且具备跨平台的特性，很适合云的应用环境，视图界面展示采用HTML5标准通用标记语言，支持Firefox、Chrome、Opera和InternetExplore等多种Web浏览器。

本发明逻辑架构图如图1所示，从逻辑上分三层，底层是云平台层，表示本系统能够在开源或商业化的各种云平台运行，中间层是针对GIS云服务进行代理监控的实际代理执行层，采用最小精简指令集模式，依托不同网络协议的支持，使得无论GIS云服务是在金属裸机上、还是在虚拟化平台上、抑或在某种容器中(例如Dock)都能够顺利的获取相关的数据，同时还采集了QoS质量品质信息以及基础设施的监控信息，从而为上层提供了丰富的数据。最上层是运维的Web终端页面，它向直接用户提供从基础设施运维，再到GIS云服务运维和授权按并最终提供GIS云服务的品质控制与管理。与此同时提供用户针对GIS云服务的QoS品质反馈。

本方案的核心技术逻辑如图2所示：其监控的核心是一套支持异构环境的监控服务核心组件，其核心采用JAVA与C++混编代码构建，支持HA与跨平台的应用，同时支持虚拟化与实体机的运行机制。在底层就支持HA与Master/Slave模式，是重要的监控核心。

对于数据库的支持，为满足互联网稳定性的要求，也为了满足GIS云服务的适应性要求，支持分布式数据库以及不同的类型的数据读取，包括但不限于队列事件数据库、历史数据库、临时访问的会话数据库等。在核心组件(虚线框)中还包括了服务处理的任务化管理器，以及用于监控跨不同环境的消息管理器，以及对紧急消息进行持久化的持久化管理数据库。而为确保系统在异构环境下的兼容性，系统提供了消息机制的通讯模式，使得无论何种云平台都能很好的相容其收发的消息结构。

继续往中心的上方看去，可以发现系统设计了一整套监控采集核心组件，包括用于采集数据的中心软路由以及中心队列执行器。软路由之所以被设计为路由模式，蕴含着支持双向通讯的含义，其下可以是支持多样协议的监控代理(可以部署在Docker也可以部署在实体机以及虚拟化平台中)，监控代理程序可支持包括业界规范SNMP、MySQL、Oracle、MongDB、GISOGC服务、ArcGISServer、GeoGlobeServer等主流的IT监控以及应用层监控协议，并且支持主动式与被动式两大场景，并可以依据客户的需要仅仅采用SNMP模式，减少监控开支，从而实现了多数据流向，多业务场景下的高可用监控体系。对于GIS服务，支持ArcGISServer与GeoGlobeServer双平台的监控以及QoS信息采集，在目前的国内主流GIS云应用中显得极其珍贵。

在中心的左边，是核心对外的部分，也就是面向用户的UI层次，系统被设计为利用JSONAPI统一对外提供数据、分析、展示能力，同时系统也提供了一套综合监控的管理界面用于直接使用的场合。同时该运维监控平台将必须的数据发送到云的运维管理平台，实现了与云平台的贯通。同时云运维平台也能够将客户所需要的QoS数据从前端采集并纳入到运维数据处理服务中进行保存，从而实现了QoS的前后台的汇交，也是本系统的特色之一。

采用上述结构后，要在云环境下提供可控稳定可靠的云GIS服务综合监控能力，需要对以下方面进行监控:

表1本发明的监控类目及说明

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种满足云中GIS高性能服务需求的监控系统，其特征在于，包括：

基础设施云平台模块，包括监控系统所运行的各种云平台，为监控系统提供监控对象；

云GIS服务底层模块，运行于基础设施云平台模块之上，用于针对GIS云服务执行代理监控，采用最小精简指令集模式，依托不同网络协议的支持，能够顺利获取所监控的不同云平台的相关数据；

云GIS服务运维中心模块，运行于所述云GIS服务底层模块之上，用于直接向用户提供基础设施及GIS云服务的运维和授权管理。

2.根据权利要求1所述的一种满足云中GIS高性能服务需求的监控系统，其特征在于，所述云GIS服务底层模块提供消息机制的通讯方式，采用统一的消息结构在不同的平台间收发消息；

并且，

所述云GIS服务底层模块进一步包括异构云监控服务单元，以及分别与所述异构云监控服务单元相连的数据存储单元、监控采集核心组件单元；

其中，

所述异构云监控服务单元具体包括以下子单元：服务处理任务化管理子单元，用于管理各种类型的云平台所提供的服务处理任务；消息管理器子单元，用于监控消息管理器，所述消息管理器用于跨不同类型的云平台的消息交换；持久化管理数据库子单元，用于对紧急消息进行持久化；

所述的数据存储单元包括队列事件数据库、历史数据库、临时访问的会话数据库等数据库中的一种或多种；

所述的监控采集核心组件单元进一步包括用于采集数据的中心软路由以及中心队列执行器；所述软路由支持双向通讯，其下包括支持多样协议的监控代理。

3.根据权利要求2所述的一种满足云中GIS高性能服务需求的监控系统，其特征在于，所述软路由下包括的监控代理支持IT监控以及应用层监控协议，并且支持主动式与被动式两大场景，并可依据客户的需要仅仅采用SNMP模式，减少监控开支，从而实现了多数据流向，多业务场景下的高可用监控体系。

4.根据权利要求2所述的一种满足云中GIS高性能服务需求的监控系统，其特征在于，所述的云GIS服务运维中心模块利用JSONAPI统一提供数据分析和展示能力；

并且，所述的云GIS服务运维中心模块进一步包括：综合监控管理界面单元，用于向用户提供统一的综合监控和管理操作；图形与页面内存缓存单元，用于提供页面缓存和图形缓存。

5.根据权利要求1所述的一种满足云中GIS高性能服务需求的监控系统，其特征在于，

云GIS服务底层模块，还用于采集QoS质量品质信息以及基础设施的监控信息；

云GIS服务运维中心模块，还用于提供GIS云服务的品质控制与管理，并提供用户针对GIS云服务的QoS品质反馈。

6.根据权利要求5所述的一种满足云中GIS高性能服务需求的监控系统，其特征在于，所述云GIS服务运维中心模块能够将客户所需要的QoS数据从前端采集并纳入到运维数据处理服务中进行保存，从而实现了QoS的前后台的汇交。

7.根据权利要求5所述的一种满足云中GIS高性能服务需求的监控系统，其特征在于，所述的云GIS服务运维中心模块进一步包括：

管理平台单元，用于提供对各种云服务的管理，所述管理平台单元进一步包括云运维管理平台子单元和用户QoS采集平台，所述用户QoS采集平台用于组织维数据并采集QoS信息；

运维数据处理服务，用于根据所组织的运维数据和所采集到的QoS信息生成并向监控采集核心组件发送QoS信息。