CN104243185B - 一种体验式业务监控系统 - Google Patents

Abstract

本发明专利是一种实现业务监控的系统，是利用自动化技术模拟人操作业务系统的体验式监控业务性能指标的方法。所述系统包括部署在能够直接访问目标业务系统的机器上，实现自主调度并通过脚本监控业务系统运行状态和性能的采集代理；从各个采集代理接收监控数据并进行实时处理的数据采集处理；显示被监控业务系统的监控指标数据、告警事件、业务系统之间拓扑关系等。所述方法包括通过脚本自动化操作业务系统的体验式监控业务性能指标的方法；业务系统监控指标动态展示的方法；适合各种复杂网络环境的监控数据集中上报方法。本发明能够有效解决目前监控系统因为只局限于离散基础设施环节而无法向运维人员真实反映业务是否正常的问题。

Description

一种体验式业务监控系统

技术领域

本发明涉及一种实现业务监控的系统，以及利用自动化技术模拟人操作业务系统的体验式监控业务性能指标的方法。

背景技术

着IT技术发展、市场竞争压力的不断增加，金融和企业的业务越来越依赖于IT系统，越来越要求IT系统能够稳定、可靠、高效地运行。为此，金融和企业一般会部署监控系统，希望在第一时间发现故障、解决故障，通过一些关键性能数据趋势分析，前瞻性地预见系统存在的业务访问性能瓶颈。但实际效果并不理想，究其原因在于，当前IT监控系统基本上都在基础设施监控层面，单一地监控网络、主机、数据库、中间件运行的故障以及性能，部分监控运行在基础设施之上的单个应用系统运行是否正常，不能监控由多个应用系统构成的整个业务操作流程的性能，而后者才是IT系统用户直接感受到的。

发明内容

本发明提供一种体验式业务监控系统，在业务系统访问端部署采集代理，通过脚本自动模拟人操作的方式，采集业务系统访问性能和可用性，再加上基础设施的监控数据，形成完整的业务监控视图。

本发明提供的体验式业务监控系统至少包括如下部件：

(1)采集代理模块。采集代理模块部署在能够直接访问目标业务系统的机器上，自主调度，在无需对现有业务系统做任何修改的前提下，通过脚本、API接口、日志文件、数据库等方式监控业务系统运行状态和性能。采集代理能够和各种脚本环境对接。可以模拟人操作方式自动进行业务系统访问性能和可用性的测试，能够从最终用户感知的角度真实反映当前业务系统的访问性能和可用性。

(2)采集代理网关模块。在多网段环境中，负责采集代理与其他后台模块之间的数据转发。

(3)数据采集处理模块。从各个采集代理模块接收性能和状态监控数据和告警事件，保存到运维数据库中。根据设置的阀值策略，产生性能和状态告警事件。根据设置的告警处理动作策略，对告警事件进行压制和屏蔽处理、故障根源分析和告警内容丰富，通过屏幕、短信、邮件、声音、电话等方式通知运维人员。

(4)采集任务集中管理模块。向各个采集代理模块集中设置目标采集资源、采集参数、采集调度计划，监控各个采集代理模块是否正常运行。

(5)监控控制台模块。显示被监控业务系统的监控指标数据、告警事件、业务系统之间拓扑关系，配置监控资源、监控采集策略。

本发明提供了一种业务监控方法：

(1)对于C/S、B/S结构的业务系统，采集代理模块利用脚本自动化技术，通过真实访问业务系统，检测业务系统能否正常使用以及业务系统的访问性能。

(2)为了支持各种脚本环境，采集代理与脚本环境之间采用基于文件的统一数据交换格式。

(3)为了支持复杂网络环境下的部署，采集代理和数据采集处理模块之间采用WebService进行监控数据的上传。采集代理和采集任务集中管理模块之间也采用Web Service进行采集配置数据的下载。这两种情况，采集代理均为Web Service的客户端，而数据采集处理模块和采集任务集中管理模块为Web Service的服务端。

(4)采用XML定义业务系统监控指标的展示方式和布局，基于该XML自动生成相应业务系统详细指标监控界面。

附图说明

图1是本发明实施例提供的系统结构示意图；

图2是本发明是实施例提供的采集代理结构示意图；

图3是本发明实施例提供的监控数据采集流程图；

图4是本发明实施例提供的采集参数设置流程图。

具体实施方式

1、参见图1，为本发明实施例系统结构示意图。

1.1采集代理

采集代理(图1中11、12、13、21、22、23.....n1、n2、n3)部署在被监控资源所在的主机设备上，或者部署在能够访问业务系统的主机设备上，实现监控数据的采集。

采集代理模块自主实现采集调度，包括采集频率控制和工作时间控制。

1.2采集代理网关

在跨网段网络环境中，采集代理网关(图1中61、62)实现采集代理模块和数据采集处理模块、采集任务集中管理模块之间HTTP协议数据转发。

1.3数据采集处理模块

数据采集处理模块(图1中3)实现监控数据的处理。数据采集处理模块提供WebService接口，接收从采集代理发送的监控数据；提供SNMP Trap、Syslog协议接口，接收从第三方监控系统发送的告警事件数据。

数据采集处理模块在接收到性能数据后，在内存中更新一份快照的同时根据设置保存到历史数据库中，并根据定义的阀值条件产生性能阀值事件。

数据采集处理模块采用动作链方式处理阀值事件及采集代理和第三方监控系统直接发送的告警事件。对事件的动作处理包括屏蔽、压制、告警内容丰富、根源分析、告警升级、告警通知、告警转发。

数据采集处理模块通过Web Service心跳接口监控各个采集代理的在线状态。

1.4采集任务集中管理模块

采集任务集中管理模块(图1中4)将用户通过监控控制台设置的采集策略转发到各个采集代理中。采集策略包括目标采集资源、各种采集参数值、采集调度时间和工作时间。

采集任务集中管理模块将用户通过监控控制台设置的采集控制命令转发给各个采集代理，在采集代理中启动和停止某一类或某几类监控指标的采集。

1.5监控控制台

监控控制台(图1中5)采用Web2.0技术实现监控信息展示和配置。监控信息展示包括业务拓扑图、监控资源详细指标监控视图、告警控制台、关键业务指标趋势图、报表等。配置主要包括监控资源配置、监控指标配置、采集策略配置。

为了适应业务系统对监控内部的不确定性，本发明实施例提供XML动态生成业务系统详细指标监控视图和采集参数配置界面的机制。

采用本发明实施例提供的体验式业务监控系统具有以下有益效果：

能够从使用者角度真正反映业务系统的可用性，结合基础设施监控信息，给IT运维部门展示出完整的运行状况视图。

2、参见图2，为本发明实施例采集代理系统结构示意图。

采集调度与管理(图2 101)负责与数据采集处理模块和采集任务集中管理模块进行数据通信。接受采集任务集中管理模块发送的采集任务和策略，调度相应采集器进行数据采集，并将采集结果返回给数据采集处理模块。

采集代理内部有很多采集器(图2 102)，这些采集器根据需要由采集调度与管理模块动态加载、启动。采集器实现对目标监控资源的数据采集。

对于网络、主机、数据库、中间件等能够通过SNMP、WMI、JMX、JDBC等标准接口或者协议采集的，采集代理内置相应的采集器。如，Windows采集器通过WMI协议，专门负责Windows主机的监控数据采集。

对于业务系统监控，采集代理通过脚本方式实现业务系统访问体验式监控。采集代理采用文件接口方式与各种脚本环境交互，支持包括DOS批处理、VBS、AutoIT、Shell、Perl、Python在内的各种脚本环境。采集代理与脚本环境之间的接口文件至少包括如下三个：

(1)表示脚本执行完成的标志文件。采集代理通过判断该文件是否存在来判断某次采集请求是否完成，该文件可以没有任何内容。

(2)脚本执行结果文件。该文件返回脚本执行是否有异常，以及详细的执行结果描述信息，如可以返回Shell命令的原始输出信息。

(3)监控数据文件，包括指标数据文件和告警事件文件。按指定格式返回监控指标值，或者直接返回告警事件(如对日志监控时，可以直接将异常日志转化为告警事件，避免到后台再做转换，提高效率)。

下面是两种监控数据文件的一种格式。

指标数据文件格式：

告警事件文件格式：

在每次采集代理向脚本环境发送采集请求时，会生成一个唯一的请求ID号，脚本环境要求用该ID号作为上述三个文件的主文件名。

基于Windows标准控件的客户端的C/S业务系统，采用支持Windows消息机制的脚本环境如AutoIT，实现对C/S图形界面的操作和数据访问。

Linux和Unix下字符客户端的C/S业务系统，采用Telnet/ssh客户端环境，实现对字符界面的操作和数据访问。

B/S业务系统，采用支持Windows COM技术的脚本环境如VBS、AutoIT，在WindowsIE浏览器环境下实现对B/S图形界面的操作和数据访问。

3、参见图3，为本发明实施例监控数据采集方法流程图。

(1)步骤200。各个采集代理根据设置的采集调度周期、工作时间、目标采集资源、采集参数，自主采集监控数据，包括性能数据和事件数据。

(2)步骤201。各个采集代理将采集到的监控数据，按约定的接口格式，调用数据采集处理模块的Web Service接口发送给数据采集处理模块。

(3)步骤202。数据采集处理模块接收到监控数据后，进行性能数据和告警事件处理。

4、参见图4，为本发明实施例采集参数设置方法流程图。

(1)步骤300。采集代理模块定时调用采集任务管理模块的心跳报告Web Service接口，报告自己是活着的。

(2)步骤301、302，如果采集任务管理模块是启动后第一次接收到某个采集代理模块发送的心跳报告，则采集任务管理模块将该采集代理模块的所有采集配置参数、调度时间参数、工作计划参数、目标资源参数，通过Web Service心跳接口返回值返回给该采集代理。

(3)步骤301、303，如果采集任务管理模块启动后不是第一次接收到某个采集代理模块发送的心跳报告，则采集任务管理模块将两次心跳报告之间该采集代理模块变化了的采集配置参数、调度时间参数、工作计划参数、目标资源参数，通过Web Service心跳接口返回值返回给该采集代理。

(4)步骤304，采集代理模块更新采集配置参数、调度时间参数、工作计划参数、目标资源参数。

(5)步骤305，采集代理模块按新的采集配置参数、调度时间参数、工作计划参数、目标资源参数采集监控数据。

5、业务监控指标数据展示方法

由于业务系统客户化特性比较多，无法在本发明实施例出厂时确定某个业务系统要监控的指标及展示方式。所以本发明实施例提供一种基于XML配置动态展示业务系统监控数据的方法，具体如下。

每种业务系统可以在实施时通过XML文件定义有哪些监控指标需要显示、以及以什么方式进行显示。本发明实施例已经支持的常用显示控件的XML定义及对应的界面显示效果，其他显示方式也可以类似实现：

(1)名值对

XML定义范例：

对应的界面显示效果：

(2)表格

XML定义范例：

对应的界面显示效果：

(3)柱状图

XML定义范例：

对应的界面显示效果：

(4)仪表盘

XML定义范例：

对应的显示效果：

(5)饼图

XML定义范例：

对应的显示效果：

(6)趋势图

XML定义范例：

对应的显示效果：

对于整个界面，通过布局XML节点定义上述这些显示元素如何在界面上布局。下面是一个范例，整个业务系统监控界面包括上下两部分，上面部分采用“名值对”显示业务系统的基本信息，下面采用“表格”显示业务系统一些关键业务访问的时间及是否正常的状态。

显示效果如下：

表1为业务系统监控指标展示XML文件的DTD定义。

最后所应说明的是，以上实施例仅用以说明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同地替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种体验式业务监控系统，包括采集代理、采集任务集中管理模块，其特征在于：

所述采集代理部署在能够直接访问目标业务系统的机器上；

所述采集代理用于定时调用所述采集任务集中管理模块的心跳报告Web Service接口，并通过所述Web Service接口向所述采集任务集中管理模块发送其心跳报告，所述心跳报告包括自己是否活着；

若所述采集任务集中管理模块是第一次接收到所述采集代理的所述心跳报告，且所述心跳报告包含所述采集代理是活着的；则

所述采集任务集中管理模块将所述采集代理的所有采集配置参数、调度时间参数、工作计划参数及目标资源参数，通过所述Web Service接口返回给所述采集代理；

若所述采集任务集中管理模块不是第一次接收到所述采集代理的所述心跳报告，且所述心跳报告包含所述采集代理是活着的；则

所述采集任务集中管理模块将所述采集代理的本次与上一次心跳之间变化了的采集配置参数、调度时间参数、工作计划参数及目标资源参数，通过所述Web Service接口返回给所述采集代理；

所述采集代理更新所述采集配置参数、调度时间参数、工作计划参数及目标资源参数，并按照更新后的各参数采集监控数据，以实现自主调度采集；在无需对现有业务系统做任何修改的前提下，通过脚本、API接口、日志文件或数据库方式监控业务系统运行状态和性能。

2.根据权利要求1所述的业务监控系统，其特征在于：

所述采集代理内部有很多采集器，包括基于标准协议和接口实现的基础设施监控采集器，和基于脚本实现的业务监控采集器，它们根据需要动态加载、启动。

3.根据权利要求2所述的业务监控系统，其特征在于：

所述系统还包括数据采集处理模块，用于集中接收所述采集代理上传的监控数据；

为了适应各种复杂网络环境，所述采集代理与所述数据采集处理模块之间采用WebService接口连接，并且是由所述采集代理主动上报给所述数据采集处理模块；

在需要的场合，所述采集代理与所述数据采集处理模块之间可以增加采集代理网关做数据转发。

4.根据权利要求1所述的业务监控系统，其特征在于：

所述采集任务集中管理模块，用于集中设置所述采集代理的各种采集参数；

为了适应各种复杂网络环境，所述采集代理与所述采集任务集中管理模块之间采用Web Service接口连接，并且是利用每次所述采集代理向所述采集任务集中管理模块发送心跳的链路回传所述采集参数；

在需要的场合，所述采集代理与所述采集任务集中管理模块之间可以增加采集代理网关做数据转发。

5.根据权利要求4所述的业务监控系统，其特征在于：

所述采集代理能够和各种脚本环境对接，可以模拟人操作方式自动进行业务系统访问性能和可用性的测试，能够从最终用户感知的角度真实反映当前业务系统的访问性能和可用性。

6.根据权利要求1或2所述的业务监控系统，其特征在于：

所述采集代理用于：采用文件接口方式与各种脚本环境交互，支持包括DOS批处理、VBS、AutoIT、Shell、Perl、Python在内的各种脚本环境；

所述采集代理与所述各种脚本环境之间的接口文件至少包括：表示脚本执行完成的标志文件、脚本执行结果文件、监控数据文件。

7.根据权利要求6所述的业务监控系统，其特征在于：

所述各脚本环境的支持，对于所述系统是透明的；

所述系统还包括：

基于Windows标准控件的客户端的C/S业务系统，用于采用支持Windows消息机制的脚本环境，所述支持Windows消息机制的脚本环境包括：AutoIT；以实现对C/S图形界面的操作和数据访问；

Linux和Unix下字符客户端的C/S业务系统，用于采用Telnet/ssh客户端环境，实现对字符界面的操作和数据访问；以及

B/S业务系统，用于采用支持Windows COM技术的脚本环境，所述支持Windows COM技术的脚本环境包括：VBS、AutoIT，以使在Windows IE浏览器环境下实现对B/S图形界面的操作和数据访问。

8.根据权利要求7所述的业务监控系统，其特征在于：

为了适应业务系统的不确定性，所述系统还用于根据每类业务系统定义的XML文件，自动按约定方式实时显示监控数据。