CN110581773A - 一种自动化服务监控与报警管理系统 - Google Patents

Abstract

本发明公开了一种自动化服务监控与报警管理系统，包括注册模块、监控模块、数据存储模块、关键性能指标分析模块和监控图分析模块，还包括服务端以及接受该服务端监控与报警的多个监控节点，服务上线时自动注册服务器机器地址，将监控对象信息与监控方案注册进系统；程序运行时，监控平台对监控节点进行监控并自动收集监控指标值；监控数据存储平台自动生成数据聚合配置，将业务系统的交易有序串联起来；针对不同监控对象的自身特点和运维管理需要，灵活定制相应的性能指标集，通过对现有的监控组件进行自动化整合，极大简化了在系统监控上的繁杂及重复工作，提升了项目部署和服务上线的效率，避免造成大量人力浪费在维护监控报警系统上。

Description

一种自动化服务监控与报警管理系统

技术领域

本发明涉及到一种服务监控与报警管理系统，特别涉及一种自动化服务监控与报警管理系统。

背景技术

有效的服务监控体系与报警平台是了解业务资源使用状况，及时发现可能导致系统故障的隐患，实现系统运营保障的关键。伴随着随着互联网技术普及和信息化技术不断提高，社会上各个领域对信息化要求越来越高，处理的数据也不断增加，监控与报警平台的智能化已成为一个重要趋势。另一方面，借助于强有力的自动化监控和报警工具用户能够正确和发现影响整体系统运行的瓶颈，还可以帮助运行维护人员快速地分析出应用故障原因，及时地了解系统的运行状态，帮助系统人员进行必要的系统优化和配置变更，甚至为系统的升级和扩容提供依据维护人员快速地分析出应用故障原因，把他们从繁杂重复的劳动中解放出来。

虽然当前很多客户的IT部门提出建立自动化监控与报警平台系统的需求，但目前我国大部分开源的监控方案主要着眼于监控指标的收集、添加，监控图的生成，监控报警的管理等，但所有的功能几乎都需要手动的添加。例如新的线上服务上线，需要在监控指标收集平台和监控展示平台添加新的服务机器地址，还需要去报警平台添加一些标准化的系统性报警。这些操作繁杂且重复，离不开人工的看护和手动操作，造成大量人力浪费在维护监控指标上。

发明内容

发明的目的在于提供一种自动化服务监控与报警管理系统，极大简化了在系统监控上的繁杂及重复工作，提升了项目部署和服务上线的效率，避免因为人为疏忽造成的监控缺失，避免造成大量人力浪费在维护监控报警系统上，避免潜在的因监控缺失造成的故障，及时发现潜在的系统标准性能问题，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种自动化服务监控与报警管理系统，包括注册模块、监控模块、数据存储模块、关键性能指标分析模块和监控图分析模块，其中，

注册模块，用于将所需监控节点的应用程序接口信息以及对应的监控方案注册进监控与报警平台；

监控模块，用于对监控节点进行监控并自动获取所述监控指标值；

数据存储模块，用于对系统业务数据的组织管理，生成监控指标数据的集合配置，实现对交易全周期的的跟踪；

关键性能指标分析模块，根据监控对象运行产生的数据以及运维管理的需要，灵活定制相应的性能指标集，由此生成系统关键性能指标，并定义每个指标预警阈值相关参数，一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率；

监控图分析模块，用于获取上述监控模块、数据存储模块、关键性能指标分析模块产生的运行日志，并根据解析得到的日志信息进行全方位监控图的生成，实时、全面的呈现系统资源与业务系统的整体运行情况。

优选的，系统还包括服务端以及接受该服务端监控与报警的多个监控节点，其中，监控节点用于将采集的各监控项信息发送至所述服务端，同时还用于为每个监控项建立一个专用的监控进程进行监控和信息采集，服务端用于从所述消息队列中提取重要的事件和历史，记录到数据库中。

优选的，服务端以及接受该服务端监控与报警的监控节点包括如下工作步骤：

S1：由位于自动化监控与报警平台服务端的服务进程对监控前端控制进程进行周期性的调度；

S2：位于服务器端的监控前端控制进程与位于监测主机上的监控前端进程进行沟通，将所要调度的监控项传递给监控前端进程，并驱动监控前端进程调动所调度的监控项相对应的检测插件执行检测任务；

S3：将处理结果以字符串的形式返回检测结果，即被监控服务器的性能数据和告警数据。

优选的，所述S1调度的周期和参数在添加被监控的信息系统的监测主机之前被预先定义在服务器端。

优选的，所述S3性能数据和告警数据这两个进程之间的沟通包括通过加密形式传输。

优选的，系统操作流程包括如下步骤：

S101：服务上线时自动注册服务器机器地址，将监控对象信息与监控方案注册进系统，不再需要到监控平台手动添加新增的服务器机器；

S102：程序运行时，监控平台对监控节点进行监控并自动收集监控指标值，设置各指标阈值，细粒度地监控整体运行状况。

S103：监控数据存储平台自动生成数据聚合配置，将业务系统的交易有序串联起来，实现对从交易发起到交易结束的完整的交易路由追踪，结合基础资源和交易日志监控，实现了交易异常或失败的故障准确定位；

S104：针对不同监控对象的自身特点和运维管理需要，灵活定制相应的性能指标集，系统关键性能指标，定义每个指标的测量范围、数据来源、计算方法、预警阈值、测量频度等参数，一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率；

S105：自动生成指标对应的监控图问题，实时、全面地呈现系统资源和业务系统的整体运行状况，通过多个不同监控视图，将运维管理工作所关注的内容有序地呈现出来。

与现有技术相比，本发明的有益效果是：本发明提出的自动化服务监控与报警管理系统，通过对现有的监控组件进行自动化整合，自动化监控生成、展示、报警方案能对数据中心机房环境设施、网络设备、主机系统、数据库、中间件、应用系统等进行集中监控，形成一套完整的监控生成、展示、报警方案，打通监控指标生成客户端，监控指标数据收集服务，监控指标图展示服务，监控指标报警服务，并对各组件进行定制化优化，极大简化了在系统监控上的繁杂及重复工作，提升了项目部署和服务上线的效率，避免造成大量人力浪费在维护监控报警系统上，避免因为人为疏忽造成的监控缺失，避免潜在的因监控缺失造成的故障，及时发现潜在的系统标准性能问题。

附图说明

图1为本发明的的流程图；

图2为本发明的的结构示意图；

图3为本发明的数据处理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种自动化服务监控与报警管理系统，包括注册模块、监控模块、数据存储模块、关键性能指标分析模块和监控图分析模块，其中，注册模块，用于将所需监控节点的应用程序接口信息以及对应的监控方案注册进监控与报警平台；监控模块，用于对监控节点进行监控并自动获取监控指标值；数据存储模块，用于对系统业务数据的组织管理，生成监控指标数据的集合配置，实现对交易全周期的的跟踪；关键性能指标分析模块，根据监控对象运行产生的数据以及运维管理的需要，灵活定制相应的性能指标集，由此生成系统关键性能指标，并定义每个指标预警阈值相关参数，一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率；监控图分析模块，用于获取上述监控模块、数据存储模块、关键性能指标分析模块产生的运行日志，并根据解析得到的日志信息进行全方位监控图的生成，实时、全面的呈现系统资源与业务系统的整体运行情况。通过对现有的监控组件进行自动化整合，形成一套完整的监控生成、展示、报警方案，打通监控指标生成客户端，监控指标数据收集服务，监控指标图展示服务，监控指标报警服务，并对各组件进行定制化优化。

系统还包括服务端以及接受该服务端监控与报警的多个监控节点，其中，监控节点用于将采集的各监控项信息发送至服务端，同时还用于为每个监控项建立一个专用的监控进程进行监控和信息采集，服务端用于从消息队列中提取重要的事件和历史，记录到数据库中，具体包括如下工作步骤：

首先，由位于自动化监控与报警平台服务端的服务进程对监控前端控制进程进行周期性的调度，调度的周期和参数在添加被监控的信息系统的监测主机之前被预先定义在服务器端；

然后，位于服务器端的监控前端控制进程与位于监测主机上的监控前端进程进行沟通，将所要调度的监控项传递给监控前端进程，并驱动监控前端进程调动所调度的监控项相对应的检测插件执行检测任务，监控前端进程一旦接收到来自于所述服务器端的检测请求，即执行插件库中的检测插件，并返回结果；

最后，将处理结果以字符串的形式返回检测结果，即被监控服务器的性能数据和告警数据，性能数据和告警数据这两个进程之间的沟通包括通过加密形式传输。

请参阅图2，平台的数据处理层实时地从后台数据库获取性能数据和故障监控数据，而后利用自身特有的事件处理特性，进行事件分析、指标收集、系统关键性指标生成和监控图聚集，将真正有意义的信息发送给监视用户，从而实现对网络资源的监控和及时准确的通知消息推送。具体地，数据处理层的架构中，数据处理层将数据采集抽象为事件，然后进行事件分类和分析，再从策略中心读取事件处理方法，再将事件交由处理中心处理。处理中心根据事件发生的频率、周期、发生次数、重要性等具体情况，并依据设定的策略决定是否报警、启动或者停止服务等处理方法，用户可以在IT运维监控平台的管理控制台设定处理策略、接收警报信息和进行应急处理。

请参阅图3，本发明实施方式的流程包括如下步骤：

第一步：服务上线时自动注册服务器机器地址，将监控对象信息与监控方案注册进系统，不再需要到监控平台手动添加新增的服务器机器；

第二步：程序运行时，监控平台对监控节点进行监控并自动收集监控指标值，设置各指标阈值，细粒度地监控整体运行状况。

第三步：监控数据存储平台自动生成数据聚合配置，将业务系统的交易有序串联起来，实现对从交易发起到交易结束的完整的交易路由追踪，结合基础资源和交易日志监控，实现了交易异常或失败的故障准确定位；

第四步：针对不同监控对象的自身特点和运维管理需要，灵活定制相应的性能指标集，系统关键性能指标(GC时间/次数，HTTP接口/Dubbo接口调用时间/次数等)，定义每个指标的测量范围、数据来源、计算方法、预警阈值、测量频度等参数，一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率；

第五步：自动生成指标对应的监控图问题，实时、全面地呈现系统资源和业务系统的整体运行状况，通过多个不同监控视图，将运维管理工作所关注的内容有序地呈现出来。

基于一体化运维监控模式构建的自动化监控生成、展示、报警方案能对数据中心机房环境设施、网络设备、主机系统、数据库、中间件、应用系统等进行集中监控，具有较好的延展性，极大简化了在系统监控上的繁杂及重复工作，提升了项目部署和服务上线的效率，避免因为人为疏忽造成的监控缺失，避免潜在的因监控缺失造成的故障，及时发现潜在的系统标准性能问题(GC配置，接口响应缓慢等)。本发明中的平台监控与报警功能能够实现以下监控对象的全方位管理：

监控指标设置：针对不同监控对象的自身特点，结合实际监控管理需要，可解决监控平台自动收集指标问题，并设置各指标阈值，自动生成系统关键性能指标，细粒度地监控整体运行状况。

统一报警管理：针对不同监控对象的自身特点和运维管理需要，灵活定制相应的性能指标集，定义每个指标的测量范围、数据来源、计算方法、预警阈值、测量频度等参数，通过实时和历史性能图表，帮助运维人员监测、分析和确定系统性能瓶颈，为性能优化提供科学参考；一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率。

数据聚合配置：解决监控数据存储平台的自动生成数据聚合配置问题，不再需要手动添加指标聚合，由此可将业务系统的交易有序串联起来，实现对从交易发起到交易结束的完整的交易路由追踪，结合基础资源和交易日志监控，实现了交易异常或失败的故障准确定位。

综合监控图展示：解决监控指标展示平台自动生成指标对应的监控图问题，实时、全面地呈现系统资源和业务系统的整体运行状况，通过业务视图、逻辑拓扑、重要设备、告警统计等多个不同监控视图，将运维管理工作所关注的内容有序地呈现出来。

综上所述，本发明提出的自动化服务监控与报警管理系统，通过对现有的监控组件进行自动化整合，自动化监控生成、展示、报警方案能对数据中心机房环境设施、网络设备、主机系统、数据库、中间件、应用系统等进行集中监控，形成一套完整的监控生成、展示、报警方案，打通监控指标生成客户端，监控指标数据收集服务，监控指标图展示服务，监控指标报警服务，并对各组件进行定制化优化，极大简化了在系统监控上的繁杂及重复工作，提升了项目部署和服务上线的效率，避免造成大量人力浪费在维护监控报警系统上，避免因为人为疏忽造成的监控缺失，避免潜在的因监控缺失造成的故障，及时发现潜在的系统标准性能问题。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种自动化服务监控与报警管理系统，包括注册模块、监控模块、数据存储模块、关键性能指标分析模块和监控图分析模块，其特征在于：其中，

注册模块，用于将所需监控节点的应用程序接口信息以及对应的监控方案注册进监控与报警平台；

监控模块，用于对监控节点进行监控并自动获取所述监控指标值；

数据存储模块，用于对系统业务数据的组织管理，生成监控指标数据的集合配置，实现对交易全周期的的跟踪；

关键性能指标分析模块，根据监控对象运行产生的数据以及运维管理的需要，灵活定制相应的性能指标集，由此生成系统关键性能指标，并定义每个指标预警阈值相关参数，一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率；

监控图分析模块，用于获取上述监控模块、数据存储模块、关键性能指标分析模块产生的运行日志，并根据解析得到的日志信息进行全方位监控图的生成，实时、全面的呈现系统资源与业务系统的整体运行情况。

2.根据权利要求1所述的一种自动化服务监控与报警管理系统，其特征在于：系统还包括服务端以及接受该服务端监控与报警的多个监控节点，其中，监控节点用于将采集的各监控项信息发送至所述服务端，同时还用于为每个监控项建立一个专用的监控进程进行监控和信息采集，服务端用于从所述消息队列中提取重要的事件和历史，记录到数据库中。

3.根据权利要求2所述的一种自动化服务监控与报警管理系统，其特征在于：服务端以及接受该服务端监控与报警的监控节点包括如下工作步骤：

S1：由位于自动化监控与报警平台服务端的服务进程对监控前端控制进程进行周期性的调度；

S2：位于服务器端的监控前端控制进程与位于监测主机上的监控前端进程进行沟通，将所要调度的监控项传递给监控前端进程，并驱动监控前端进程调动所调度的监控项相对应的检测插件执行检测任务；

S3：将处理结果以字符串的形式返回检测结果，即被监控服务器的性能数据和告警数据。

4.根据权利要求3所述的一种自动化服务监控与报警管理系统，其特征在于：所述S1调度的周期和参数在添加被监控的信息系统的监测主机之前被预先定义在服务器端。

5.根据权利要求3所述的一种自动化服务监控与报警管理系统，其特征在于：所述S3性能数据和告警数据这两个进程之间的沟通包括通过加密形式传输。

6.根据权利要求1所述的一种自动化服务监控与报警管理系统，其特征在于，系统操作流程包括如下步骤：

S101：服务上线时自动注册服务器机器地址，将监控对象信息与监控方案注册进系统，不再需要到监控平台手动添加新增的服务器机器；

S102：程序运行时，监控平台对监控节点进行监控并自动收集监控指标值，设置各指标阈值，细粒度地监控整体运行状况。

S103：监控数据存储平台自动生成数据聚合配置，将业务系统的交易有序串联起来，实现对从交易发起到交易结束的完整的交易路由追踪，结合基础资源和交易日志监控，实现了交易异常或失败的故障准确定位；

S104：针对不同监控对象的自身特点和运维管理需要，灵活定制相应的性能指标集，系统关键性能指标，定义每个指标的测量范围、数据来源、计算方法、预警阈值、测量频度等参数，一旦出现超过预警阈值的状况，及时通知运维人员处理解决，以降低故障发生率；

S105：自动生成指标对应的监控图问题，实时、全面地呈现系统资源和业务系统的整体运行状况，通过多个不同监控视图，将运维管理工作所关注的内容有序地呈现出来。