CN104506393B - 一种基于云平台的系统监控方法 - Google Patents

Abstract

一种基于云平台的系统监控方法，属于计算机技术领域。对被管资源的数据采集支持“自动发现”和手工输入两种方式配置被监测对象的配置参数，并通过主动轮巡机制，使用SNMP Agent、Telnet、Vastdata‑MAS Agent、Http、ICMP、TCP、IDBC等多种采集方式来实现性能数据的采集；并且通过多种方式来集成和接收第三方管理工具和用户私有系统的告警信息和数据；由VASTDATA‑MAS采集调度模块进行数据收集，与系统设定阀值对比分析，由VASTDATA‑MAS事件和通知模块能够提供完善的事件集中触发、查询、通知、处理、统计分析功能；本发明易部署，即插即用，一键式应用。

Description

一种基于云平台的系统监控方法

技术领域

本发明涉及一种基于云平台的系统监控方法，属于计算机技术领域。

背景技术

在当下的基础监控和应用监控范畴，中小企业、金融机构，如：食品企业、物流企业、基金、保险、投资公司等，IT规模为50-200节点；规模较大的企业及金融机构，如汽车制造、电力、大型商业银行、保险等，IT规模在200-800节点。无一例外的都会配置有一套综合性的网管系统，以及分项的单独应用监控工具。一次性建设投入在30-80万之间，每年在监控运维服务方面的资金投入，在20万-30万之间，其中包含软件的维保、及至少一个专职监控运维技术人员来使用维护。

传统产品不能满足新型的IT架构，如：大量虚拟化技术、云计算技术、统一存储等等，而且采用传统模式造成后期成本持续过高，维护效率普遍较低，人员专注度差，响应及时能力低，保障性差。

发明内容

为了克服现有技术的不足,本发明提供一种基于云平台的系统监控方法。

一种基于云平台的系统监控方法，含有以下步骤；

步骤1、数据信息采集步骤；

对被管资源的数据采集支持“自动发现”和手工输入两种方式配置被监测对象的配置参数，并通过主动轮巡机制，使用SNMP Agent、Telnet、Vastdata-MAS Agent、Http、ICMP、TCP、IDBC等多种采集方式来实现性能数据的采集；并且通过多种方式来集成和接收第三方管理工具和用户私有系统的告警信息和数据；由VASTDATA-MAS采集调度模块进行数据收集，与系统设定阀值对比分析，由VASTDATA-MAS事件和通知模块能够提供完善的事件集中触发、查询、通知、处理、统计分析功能；

集中监控中心的数据采集间隔可以灵活配置；

步骤2、状态展现步骤；

VASTDATA-MAS产品为B/S架构，只要网络可达，即可在任何地点通过浏览器进行操作管理，支持IE、chrome、Firefox等多种常见浏览器。提供统一的管理和展现页面，同时支持灵活定义的管理视图配置，为不同角度和层面的管理者提供不同的管理视图。其中包括资源状态视图、首页Portal展现、自定义Portal展现、业务关联视图、以及自定义拓扑展现；在各种类型的视图中，可以方便地查看到被管资源的状态、主要性能信息以及告警信息等；

步骤3、灵活的用户权限分配步骤；

为保证安全性，所有登录VASTDATA-MAS产品的用户均采用集中的安全认证。通过CMDB用户帐号和角色权限控制每个管理员的管理权限和范围，灵活划分职责和权限；系统安全管理包括：用户管理、权限管理、登录鉴权、操作日志管理与数据安全管理(数据备份与恢复)。

一种基于云平台的系统监控方法,采用软硬件一体结构，支持7x24小时不间断的采集工作；系统采用Linux/Unix内核，嵌入式数据库和分离中间件技术；具有：

1.统一用户认证；

VASTDATA-MAS提供全中文界面，支持单点统一管理、集中鉴权认证，提供统一界面展现功能。

门户界面与所有接入应用系统实现单点登录功能，各个接入的系统无需再单独实现登录认证功能。可实现所有接入系统信息在同一门户上呈现、操作，并统一记录系统的登录操作日志。

2.统一界面展现；

VASTDATA-MAS提供统一界面展现功能，拥有界面个性化定制功能，提供友好、直观、易懂的图形呈现，能良好支持2D、矢量、3D图形，提供强大的信息交互管理能力，能够根据设定在客户端就自动生成动态图表，能创建自定义视图，将用户所感兴趣的设备分组并集中管理，要能为不同设备间添加连线，重排设备，并能为自定义视图指定权限，使不同的用户可以查看及管理不同的自定义视图,能够图形化展现业务视图和应用视图关系，判断对业务的影响。

VASTDATA-MAS的展现界面能够支持各种自定义视图的灵活组合，自定义视图包括但不限于：自定义拓扑视图、自定义实时曲线视图、自定义历史曲线趋势对比视图、自定义业务拓扑逻辑视图、自定义业务流程监控视图、资源列表视图、告警视图。

每个管理员都能够定义自己的管理视图；自定义的Portal视图、拓扑视图、报表视图等都支持权限管理和共享机制。不同的权限的管理员依据看到不同的管理Portal视图界面。

3.系统基础性能配置，如表1所示，

表1：

4.远程诊断工具；

VASTDATA-MAS监控系统提供远程诊断测试工具，帮助用户通过远程连接方式，登录到监控设备上进行自定义命令选项的操作，排查问题(如下图)，主要支持以下工具：

TELNET工具；

嵌入远程TELNET登录工具对网络设备进行查看和配置修改；

SSH工具；

嵌入远程SSH登录工具对网络设备进行查看和配置修改；

自定义诊断脚本；

在安装Agent的服务器上可以远程执行诊断脚本，远程查看脚本执行的返回结果；此功能有一定安全风险，系统提供严格的权限控制；

Ping工具；

提供Ping工具，通过向网络节点发ICMP报文并且监听报文的返回时间和返回值，来确定该网络节点与网管服务器之间的连通SNMP TEST工具

提供SNMP TEST工具，用于测试目标节点SNMP可用性；

本发明的优点是：

系统数据提供定时备份功能，恢复数据快捷高效；系统支持自身健康自检功能，每天定时发送健康报告。

易部署，即插即用，一键式应用；支持多网段设备同时采集，部署一套本监控装置就可实现集中的跨网段监控管理。

操作简易，以“易用性”为核心，以使用者实用为主，强调页面和操作的优化设计，让客户更加容易的管理IT运维系统。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，如图其中：

图1为本发明的被动告警接收流程图。

图2为本发明的自定义扩展流程图。

图3为本发明的VASTDATA-MAS位置示意图。

图4为本发明的一种基于云平台的系统监控方法的程序流程图。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。

实施例1：如图1、图2、图3、图所示，

一种基于云平台的系统监控方法，含有以下步骤；

1、数据信息采集步骤；

监控系统对被管资源的数据采集支持“自动发现”和手工输入两种方式配置被监测对象的配置参数，并通过主动轮巡机制，使用SNMP、Agent等多种采集方式来实现性能数据的采集。并且可以通过多种方式来集成和接收第三方管理工具和用户私有系统的告警信息和数据。集中监控中心的数据采集间隔可以灵活配置。

2、状态展现步骤；

VASTDATA-MAS产品为B/S架构，只要网络可达，即可在任何地点通过浏览器进行操作管理，支持IE、chrome、Firefox等多种常见浏览器。提供统一的管理和展现页面，同时支持灵活定义的管理视图配置，为不同角度和层面的管理者提供不同的管理视图。其中包括资源状态视图、首页Portal展现、自定义Portal展现、业务关联视图、以及自定义拓扑展现等。在各种类型的视图中，可以方便地查看到被管资源的状态、主要性能信息以及告警信息等。

3、告警管理步骤；

集中的事件管理是监测平台的最重要管理功能之一，VASTDATA-MAS集中监控平台能够提供完善的事件集中触发、查询、通知、处理、统计分析等功能。

4、数据报表分析与展现步骤；

为了直观呈现对性能数据分析和故障数据分析，系统提供了多种角度当前数据和历史数据的分析报表。通过分析这些报表，可以提升管理层次，预测未来的发展，达到面向服务品质的管理。

5、灵活的用户权限分配步骤；

为保证安全性，所有登录VASTDATA-MAS产品的用户均采用集中的安全认证。通过用户帐号和角色权限控制每个管理员的管理权限和范围，灵活划分职责和权限。系统安全管理包括：用户管理、权限管理、登录鉴权、操作日志管理与数据安全管理(数据备份与恢复)。

6、系统自检维护步骤；

VASTDATA-MAS集中监控系统支持系统自检维护功能，主要包括以下方面：

提供系统配置的导出和导入工具，以进行系统配置备份。

提供Agent的远程管理功能，直接在界面上就可以查看Agent运行状态、远程升级、重启、下载Agent日志等等；

能查询到登录系统的用户、以及这些用户对系统的增加、删除、修改操作情况。

提供监控设备的健康自检通知，定时发送系统的配置情况到指定的邮件和手机，提示当前系统处于健康运行。

本监控装置在满足传统监控需求的情况下，基于SAAS模式，针对虚拟化、云服务、统一存储平台等新的系统架构及产品，支持主机(X86、小型机)、存储、操作系统(Linux、Windows、UNIX等)、数据库(Oracle、DB2、MongoDB、MYsql等)、中间件、网络设备、站点服务(提供对http、ping、dns、tcp、udp、smtp、pop、ftp等服务的可用性和响应时间的统计、监控、报警服务)、云服务(提供对ecs、rds、slb、cdn、ocs、oss等云服务的监控报警服务)等可视化的云监控平台。

一种基于云平台的系统监控方法，含有监控采集方式；

监控系统对被管资源的数据采集支持“自动发现”和手工输入两种方式配置被监测对象的配置参数，并通过主动轮巡机制，使用SNMP、Agent等多种采集方式来实现性能数据的采集。并且可以通过多种方式来集成和接收第三方管理工具和用户私有系统的告警信息和数据。集中监控中心的数据采集间隔可以灵活配置。

主动监测方式；

一种基于云平台的系统监控方法，能够依据管理的需要，定时向需要监测的管理对象(可以是一个设备或者一项服务)发出监测请求，并将记录返回数据作为告警和性能的依据。

具体的数据采集方式有以下几种：

支持SNMP轮巡的数据采集，兼容SNMP v1,SNMP v2c和SNMP v3，采集协议支持ICMP等协议；

支持在被管服务器上使用代理程序Agent的采集方式；Agent方式能够支持主流的Unix、Linux、Windows服务器平台；并且支持单一Agent模式，当主机服务器上的被监测应用项目发生变更或增加时，无需更换或添加额外Agent程序；

使用Agent数据采集方式，可以对被管服务器进行文件扫描、目录检测、接口调用等方法来扩展监测的范围；

监控管理子系统支持对业务应用系统自身关键性能点的自定义监控，并且提供界面配置的简易方式来扩展自定义的个性化监控器。

系统还支持其他Socket方式，如TCP端口监测、JDBC数据源、HTTP协议等方式进行数据采集；

其中，监控系统提供SNMP、Agent两种主动监测方式可以互为补充，充分满足不同设备和监测对象的实际情况。

被动接收方式；

监控系统能够接收网络设备和服务器发出的SNMP trap、Syslog。能够通过图形化界面和配置文件两种方式配置不同设备和系统的SNMP trap、syslog到集中监控中心的告警格式之间的映射。不能直接对应的信息保留在附加信息字段中，不会丢失原始信息。

一种基于云平台的系统监控方法，还提供定制的告警集成接口，此接口支持HTTPPOST和邮件等方式集成第三方系统或用户私有业务系统的告警信息和数据。

快速扩展新的指标采集；

一种基于云平台的系统监控方法，可以通过如下方式进行数据的获取从而扩展新的指标采集，主要包括以下自定义扩展方式，包括：

自定义脚本指标：支持Shell、Java、VBS等多种脚本语音；

自定义SQL语句指标；

自定义JMX指标；

自定义业务逻辑指标；

MIB加载：对于陌生的网络设备无需进行二次开发，直接在界面上面进行MIB加载即可进行监控；

系统支持直接上传mib文件，并对mib文件进行解析，选择多项指标组成个性化的自定义监测。同时自定义的监测支持单位的换算以及公式计算，也支持采集数据的比率计算和Delta模版换算。

自定义OID：从OID节点来之间创建监测指标项；

灵活的指标采集方式；

监控系统能够支持丰富的指标采集，灵活的指标阀值配置。通过及时或者间隔的采集方式，快速获取指标的相关信息。对于不同的指标可以设置不同的采集频率，支持高频率的采集(每30秒一次)。对于指标监控的需求可以个性化的定制开发，定时的进行更新和维护。

全面的业务监控；

要实现完整的业务支撑管理平台，需要实时采集和监控业务应用系统的关键日志和关键性能参数，包括对业务应用系统进程、日志文件、服务端口响应等指标的监控。对B/S架构的业务应用系统能够通过URL监控分析页面响应时间和返回内容。

对通用业务的监控；

本监控装置能通过多角度来实现对通用业务系统的监测。包括私有业务系统的端口使用情况、监测业务系统的页面是否存活以及其响应速度、日志监测异常情况以及采用自定义脚本的方式实现对业务特有数据的监测。同时监控管理子系统也支持B/S结构的业务流程监测。

1)监控系统提供多种针对互联网服务的监测，监测邮件发送服务器(SMTP)的工作状态，可以通过模拟用户收发邮件，进行邮件系统的测试,包括：

DNS监测；

FTP监测；

POP3监测；

SMTP监测；

DHCP监测；

表2：互联网服务监控指标说明

返回值名称	返回值原始名称	单位
			返回代码	Response Code
响应时间	Response Time	毫秒
			DNS解析时间	DNS Resolve Time	毫秒
连接时间	Connect Time	毫秒
			SSL握手时间	SSL Handshake Time	毫秒
数据读取时间	Data Read Time	毫秒
			响应信息	Response Message
内容链接	Content Link
			内容	Content
SSL证书下载个数	SSL_Down Count
			对象个数	Objects Count
CSS个数	CSS Count
			脚本个数	Script Count
图片个数	Image Count

2)监控系统支持对于日志文件的监测，如监测日志文件中特殊的关键字出现的频率来达到对业务系统本身异常情况的监测。

3)监控中心能够监测B/S应用业务流程的响应时间，能够通过URL监控分析页面响应时间和返回内容。支持自动定时监控网站各业务环节的页面可用性及各业务环节响应时间，提供客户端录制工具，能够录制并回放网站业务流程，提供多关键字的网页监控方式并返回相应状态。

4)除了对业务系统的关键性进程、使用端口以及日志文件的基本监测外，监控系统还支持自定义监测器来实现对业务系统的监测。管理员可以将日常维护所采用的脚本命令、接口调用等内容通过界面配置集成到监测和管理平台中，成为“标准的业务监测器类型”。自定义监测器具备同系统内置监测器统一的机制：轮巡调度、设置阈值、生成历史数据表格等功能。

对网页URL的监控；

本监控装置支持URL指标采集器，通过配置指定url，测试http服务的可用性及下载时延等；

一种基于云平台的系统监控方法，能够定时扫描业务日志，如监测日志文件中特殊的关键字出现的频率来达到对业务系统本身异常情况的监测。对以下关注内容进行监控，包括：

可以在监测到有指定错误码出现，则及时发出报警通知；

可以在发现日志文件停止更新时发出告警；

可以在发现日志文件超大是发出告警；

对业务端口的监控；

业务系统有时候会需要使用特定的TCP端口来完成通讯或接收来自其他系统的消息。集中监控中心支持TCP端口监测器，可以定期监测TCP端口的存活情况以及响应速度。通过对业务系统TCP端口的监测从某个侧面也反映了业务系统的健康状况。

对业务进程的监控；

集中监控中心支持进程监测器，实现对运行在操作系统层面上的进程进行监测，监测指定名称进程的个数以及进程是否存活，并且提供对指定名称的进程进行监测。监测指标包括进程是否存在，进程数量，以及进程占用的内存、CPU资源。

个性化私有业务定制监控；

本监控装置针对自身支持的各种数据采集方式都提供自定义新监测器类型的界面和模板。用户可以在Web界面配置定义个性化的SNMP监测器类型、Shell脚本监测器类型、WMI脚本监测器类型；自定义的新监测器类型具备同系统内置监测器统一的机制：轮巡调度、设置阈值、生成历史数据表格等功能。

一种基于云平台的系统监控方法，提供二次开发服务，通过与业务系统定制接口获取业务个性化交易健康度监控数据。

特色的逻辑指标监控；

本监控装置支持逻辑指标的监控，通过对指标值的逻辑运算实现对不同业务的全面有效监控，具体包括以下主要监控内容：

流量求和指标监测；

是指不直接采集数据，而是与多个已配置的同类型指标相关联。以固定的间隔时间对所关联指标进行求和运算。并对求和结果进行阀值判断。

集群指标监测；

是指不直接采集数据，而是与多个已配置的同类型指标相关联。以固定的间隔时间对所关联指标状态进行汇总，并对失败状态的指标数量进行阀值判断。

基准指标监测；

是指不直接采集数据，而是与多个已配置的同类型指标相关联，其中一个被关联指标被设置为基准。以固定的间隔时间对所有关联指标状态进行汇总，并与“基准”指标对比进行阀值判断。

逻辑指标监测；

是指不直接采集数据，而是与多个已配置的同类型指标相关联，取所有关联指标的平均值、最大值、最小值作为监控参数，并对这些参数进行阀值判断。

自定义个性化的监控；

一种基于云平台的系统监控方法，针对自身支持的各种数据采集方式都提供自定义新监测器类型的界面和模板。用户可以在配置定义个性化的WMI脚本监测器类型、SNMP监测器类型、Shell脚本监测器类型；自定义的新监测器类型具备同系统内置监测器统一的机制：轮巡调度、设置阈值、生成历史数据表格等功能。

扩展性设计；

支持开放性原则，规定本系统的各种接口在遵循规范性原则的基础上，保证其可以集成不同设备厂商、系统或平台供应商、软件供应商的产品；保证本系统的设备管理、系统扩容和业务维护不依赖于单一设备厂商、系统或软件供应商的产品。

可以与不同的应用系统和管理系统很好的结合，能够与原厂商网管无缝结合，原因在于本监控装置能够提供丰富的接口给第三方系统，并能提供二次开发服务。

⑶.产品部署及互联方式；

本监控装置部署位置；

在数据中心部署一台监控装置管理设备；为本监控装置配一个固定IP地址；将管理端口与交换机旁路连接。

要求所有被监测的测试设备与本监控装置之间为网络可达；如图：VASTDATA-MAS位置；

被监测的设备上开启SNMP服务；

本监控装置完全采用SNMP对网络设备进行监测管理。这需要被监测的网络设备上开启SNMP服务，并提供SNMP community和SNMP服务端口；

被监测服务器上安装Agent的准备工作；

依据测试需求分析判断是否需要在被监测主机服务器上安装ITEYES系统Agent；

Window Agent需要以Administrator身份安装和启动，需要配合提供用户名密码，或由管理员配合Agent的上传和安装。

系统的网络端口策略要求；

如果本监控装置与被管理设备不在同一个网段，则需要路由和防火墙为VASTDATA-MAS设备所在IP开放相应端口权限。需要为本监控装置设备开放如下端口的访问权限：

Web访问端口80；

需要开通通信端口8888，Agent通过该端口实现内部文件的下载或上传；端口号可以灵活配置。

文中英文单词注释如下：

VASTDATA(北京海量数据技术股份有限公司英文缩写)；

VASTDATA-MAS(VASTDATA信息采集系统的缩写)；

CMDB(配置管理数据库的英文缩写)。

文中为它英文单词为现有技术用语。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (1)

1.一种基于云平台的系统监控方法，其特征在于含有以下步骤；

步骤1、数据信息采集步骤；

对被管资源的数据采集支持“自动发现”和手工输入两种方式配置被监测对象的配置参数，并通过主动轮巡机制，使用SNMP Agent、Telnet、Vastdata-MAS Agent、Http、ICMP、TCP、IDBC采集方式来实现性能数据的采集；并且通过集成和接收第三方管理工具和用户私有系统的告警信息和数据；由VASTDATA-MAS采集调度模块进行数据收集，与系统设定阀值对比分析，由VASTDATA-MAS事件和通知模块能够提供完善的事件集中触发、查询、通知、处理、统计分析功能；

集中监控中心的数据采集间隔可以配置；

步骤2、状态展现步骤；

VASTDATA-MAS产品为B/S架构，只要网络可达，即可在任何地点通过浏览器进行操作管理，支持IE、chrome、Firefox常见浏览器；提供统一的管理和展现页面，同时支持定义的管理视图配置，为不同角度和层面的管理者提供不同的管理视图；其中包括资源状态视图、首页Portal展现、自定义Portal展现、业务关联视图、以及自定义拓扑展现；在各种类型的视图中，可以查看到被管资源的状态、主要性能信息以及告警信息；

步骤3、用户权限分配步骤；

为保证安全性，所有登录VASTDATA-MAS产品的用户均采用集中的安全认证；通过CMDB用户帐号和角色权限控制每个管理员的管理权限和范围，划分职责和权限；系统安全管理包括：用户管理、权限管理、登录鉴权、操作日志管理与数据安全管理；

采用软硬件一体结构，支持7x24小时不间断的采集工作；采用Linux/Unix内核，嵌入式数据库和分离中间件技术；具有：

统一用户认证步骤；

VASTDATA-MAS提供全中文界面，支持单点统一管理、集中鉴权认证，提供统一界面展现功能；

门户界面与所有接入应用系统实现单点登录功能，各个接入的系统无需再单独实现登录认证功能；可实现所有接入系统信息在同一门户上呈现、操作，并统一记录系统的登录操作日志；

统一界面展现步骤；

VASTDATA-MAS提供统一界面展现功能，拥有界面个性化定制功能，提供直观的图形呈现，能支持2D、矢量、3D图形，提供信息交互管理能力，能够根据设定在客户端就自动生成动态图表，能创建自定义视图，将用户所感兴趣的设备分组并集中管理，要能为不同设备间添加连线，重排设备，并能为自定义视图指定权限，使不同的用户可以查看及管理不同的自定义视图,能够图形化展现业务视图和应用视图关系，判断对业务的影响；

VASTDATA-MAS的展现界面能够支持各种自定义视图的组合，自定义视图包括但不限于：自定义拓扑视图、自定义实时曲线视图、自定义历史曲线趋势对比视图、自定义业务拓扑逻辑视图、自定义业务流程监控视图、资源列表视图、告警视图；

每个管理员都能够定义自己的管理视图；自定义的Portal视图、拓扑视图、报表视图都支持权限管理和共享机制；不同的权限的管理员依据看到不同的管理Portal视图界面；

远程诊断步骤；

VASTDATA-MAS监控系统提供远程诊断测试工具，帮助用户通过远程连接方式，登录到监控设备上进行自定义命令选项的操作，主要支持以下步骤：

嵌入远程TELNET登录工具对网络设备进行查看和配置修改；

嵌入远程SSH登录工具对网络设备进行查看和配置修改；

在安装Agent的服务器上可以远程执行诊断脚本，远程查看脚本执行的返回结果；此功能有安全风险，系统提供权限控制；

提供Ping步骤，通过向网络节点发ICMP报文并且监听报文的返回时间和返回值，来确定该网络节点与网管服务器之间的连通SNMP TEST工具；

提供SNMP TEST步骤，用于测试目标节点SNMP可用性。