CN104092575A - 一种资源监控方法及系统 - Google Patents

Abstract

本发明公开了一种资源监控方法及系统，包括收集云计算平台中各个节点产生的日志数据；匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；监听异常事件并进行告警。本发明方法利用了被监控系统中已有的日志框架，不需要在系统中植入新的执行代码，因此，不会增加被监控应用系统的开发工作量，降低了监控的复杂度，且减小了对系统的运行性能的影响，也避免了监控过程中的轮询。同时，由于云计算平台及大型应用系统的日志数据量巨大，因此，本发明方法具有充分的数据来源，并且由于日志数据包含的信息丰富，使得本发明方法适用于包括云计算平台在内的各种大型应用系统。

Description

一种资源监控方法及系统

技术领域

本发明涉及云计算技术，尤指一种基于云计算平台的资源监控方法及系统。

背景技术

计算机运行时，需要对资源的运行状况进行实时监控，比如CPU使用率、内存使用率等。现有监控中，需要在系统中植入代码，这样必然影响系统的性能。特别是在云计算平台中，涉及的应用、资源众多，部署环境要求高，往往涉及集群，系统运行情况复杂，如果不能对云计算平台进行准确、有效的监控，则难以对云计算平台的实际运行情况进行掌控及调度。

监控在云计算系统中扮演着重要的角色。通过监控能够及时发现云计算平台在运营过程中的资源使用情况，从而及时发现异常情况。

云计算平台监控的一般原理是，在各个分散的云计算节点上运行守护进程，该守护进程用于收集本云计算节点上的监控信息并发送到汇聚节点，汇聚节点对收集到的监控信息进行分析与存储并将分析结果以可视化或告警等方式通知给用户。对于云计算平台监控系统来说，关键是各个云计算节点的守护进程与收集的监控信息的处理方式。

当前，比较流行的监控系统有Ganglia，InteMon，ClusterProbe，HPOpenView，IBM Tivoli等。其中，Ganglia，InteMon，ClusterProbe是开源软件，HP OpenView，IBM Tivoli是商用软件。

其中，ClusterProbe是现有常用的监控系统。ClusterProbe是由香港大学设计与开发的一款开放环境的集群监控工具。ClusterProbe的设计初衷在于开发高灵活性与扩展性的大规模集群监控系统。ClusterProbe主要包括监控服务器、监控代理节点和节点代理三部分，即代理(agent)+服务器(server)的方式。其中，监控服务器，用于接收用户的请求以及将用户感兴趣的监控结果反馈给用户，监控服务器通过交互适配器和网络上其它节点交互信息，该适配器能够支持多种网络交互协议；监控代理节点用于管理该节点及其下属所有子节点，这些子节点包括不同类型的资源类型，并组成监控域；节点代理，以守护进程的方式运行在云平台中的每个节点上，用于从监控代理节点接收命令或者根据自身的设置进行本地监控信息的收集，节点代理与监控代理节点通过Java远程方法调用(RMI)进行通信。

ClusterProbe的最大优点就是提出了开放式节点守护进程的概念，并且通过Java RMI实现功能的增减。这样，使得各个节点上的守护进程更加轻量级，也降低了监控系统对集群本身造成的压力。但是，ClusterProbe也存在一些不足之处，比如：系统使用Java RMI来实现远程方法调用，实现较复杂，当监控代理节点过多时，容易造成系统结构复杂，存在出现问题不易排查的缺陷。

根据上面的分析可知，现有监控系统通用的架构是代理+服务器的方式。其中，Agent用于收集监控资源的状态信息，server利用这些状态信息。Agent与server之间采用，在拉模式中，发起者是server，它采用轮询的方式从agent“拉”信息。拉模式实现相对简单，但会消耗较多的资源，实时性也较差。因此，拉模式适用于周期性询问的场景，但是，如果轮询周期较长，会降低资源的消耗，但可能丢失状态信息；如果轮询周期较短，则对系统性能影响较大。

现有监控系统往往需要安装agent来收集数据，并将数据传输到server上，以实现监控。这种监控方式会降低被监控系统性能，且监控数据容量越大，效率越低；同时，由于各个被监控系统使用的数据格式不统一，导致agent植入代码困难，而且由于需要创建监控节点，增大了系统的使用复杂度。

发明内容

为了解决上述技术问题，本发明提供了一种资源监控方法及系统，无需在系统中植入代码，能够降低监控的复杂度，且减少对系统运行性能的影响。

为了达到本发明目的，本发明提供了一种资源监控方法，包括：收集云计算平台中各个节点产生的日志数据；

匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；

监听异常事件并进行告警。

所述收集云计算平台中各个节点产生的日志数据包括：将日志系统产生的日志数据推送至监控容器。

所述匹配收集到的日志数据和预先设置的异常事件策略库之前，该方法还包括：对所述对收集到的日志数据进行过滤。

所述匹配采用Java中的Java事件处理机制实现。

利用所述Java中的事件处理机制中包括的监听功能实现所述监听异常事件并进行告警。

本发明还提供了一种资源监控系统，至少包括日志适配器、日志数据生成器、一个或一个以上监控容器，以及事件监听器；其中，

日志适配器，用于存储日志数据与推送目标之间的对应关系；

日志数据生成器，用于根据日志适配器的对应关系，将来自云计算平台各个节点的应用系统产生的日志数据推送到相应的监控容器；

监控容器，用于匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；

事件监听器，用于按照预先设置的事件监听类型，监听异常事件并根据监听的结果进行告警。

所述监控容器，还用于按照预先设置的过滤策略过滤所述日志数据生成器推送的日志数据。

所述事件监听器为两个或两个以上，每个事件监听器用于监听一种具体类型的事件。

该系统还包括：应用日志配置器，用于设置日志配置文件，开启或关闭对资源的监控。

与现有技术相比，本发明包括收集云计算平台中各个节点产生的日志数据；匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；监听异常事件并进行告警。本发明方法利用了被监控系统中已有的日志框架，不需要在系统中植入新的执行代码，因此，不会增加被监控应用系统的开发工作量，降低了监控的复杂度，且减小了对系统的运行性能的影响，也避免了监控过程中的轮询。同时，由于云计算平台及大型应用系统的日志数据量巨大，因此，本发明方法具有充分的数据来源，并且由于日志数据包含的信息丰富，使得本发明方法适用于包括云计算平台在内的各种大型应用系统。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明资源监控方法的流程图；

图2为本发明资源监控系统的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明资源监控方法的流程图，如图1所示，包括以下步骤：

步骤100：收集云计算平台中各个节点产生的日志数据。

本步骤中，首先，日志数据的产生采用现有的日志系统完成；之后再将现有日志系统输出的日志推送至监控容器。

本步骤中，采用推数据的方式，利用被监控系统中已有的日志框架，不需要在系统中植入新的执行代码，通过增加日志适配器，基于现有的日志系统本身已有的日志输出功能，将数据推送到监控容器。因此，不会增加被监控应用系统的开发工作量，降低了监控的复杂度，且减小了对系统的运行性能的影响。也避免了监控过程中的轮询。同时，由于云计算平台及大型应用系统的日志数据量巨大，因此，使得对系统资源的监控具有了充分的数据来源。

步骤101：匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件。

本步骤中，异常事件策略可以根据实际需要设置，比如：某台服务器在一段时间内日志数为0，认为是一个异常事件等等。本发明并不对异常事件策略进行限定，其是本领域技术人员根据实际需要而设置的，也不用于限定本发明的保护范围。

本步骤之前还包括：对收集到的日志数据进行过滤，比如可以过滤某个指定的被监控系统中已有的日志框架的模块产生的日志数据，比如，当该模块产生的日志数据量特别大时，可能是存在大量的无用数据，可以通过过滤掉这个模块的日志数据，来进一步提高系统的性能。

本步骤中，如何匹配可以采用Java中的Java事件处理机制，这样保证了监控的实时性，其中Java事件处理机制属于本领域技术人员的惯用技术手段，这里不再赘述。

步骤102：监听异常事件并进行告警。本步骤具体包括：监控到异常情况后发送告警通知，比如发送邮件通知等，这里是利用在Java中的事件处理机制中包括的监听功能实现对异常事件的监听，具体实现并不在本发明的保护范围内，这里不再赘述。

本发明方法利用了被监控系统中已有的日志框架，不需要在系统中植入新的执行代码，因此，不会增加被监控应用系统的开发工作量，降低了监控的复杂度，且减小了对系统的运行性能的影响，也避免了监控过程中的轮询。同时，由于云计算平台及大型应用系统的日志数据量巨大，因此，本发明方法具有充分的数据来源，并且由于日志数据包含的信息丰富，使得本发明方法适用于包括云计算平台在内的各种大型应用系统。

进一步地，本发明方法中，通过日志配置文件，实现了随时开启或关闭对资源的监控，方便了资源监控的方便使用。比如在日志配置文件中，设置monitor＝1，表示开启资源监控；monitor＝0，则表示关闭资源监控等。

图2为本发明资源监控系统的组成结构示意图，如图2所示，至少包括日志适配器、日志数据生成器、一个或一个以上监控容器，以及事件监听器；其中，

日志适配器，用于存储日志数据与推送目标之间的对应关系，即表明了将日志数据输出到哪个输出介质即日志数据推送目标。

日志数据生成器，用于根据日志适配器的对应关系，将来自云计算平台各个节点的应用系统产生的日志数据推送到相应的监控容器。

监控容器，用于匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；

监控容器，还用于按照预先设置的过滤策略过滤日志数据生成器推送的日志数据。

事件监听器，用于按照预先设置的事件监听类型，如事件监听器的注册和注销等，监听异常事件并根据监听的结果进行告警。如果系统中存在多个事件监听器，每个事件监听器负责监听一种具体类型的事件。

本发明系统还包括：应用日志配置器，用于设置日志配置文件，开启或关闭对资源的监控，比如在日志配置文件中，设置monitor＝1，表示启动日志数据生成器；monitor＝0，则表示关闭日志数据生成器。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种资源监控方法，其特征在于，包括：收集云计算平台中各个节点产生的日志数据；

匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；

监听异常事件并进行告警。

2.根据权利要求1所述的资源监控方法，其特征在于，所述收集云计算平台中各个节点产生的日志数据包括：将日志系统产生的日志数据推送至监控容器。

3.根据权利要求2所述的资源监控方法，其特征在于，所述匹配收集到的日志数据和预先设置的异常事件策略库之前，该方法还包括：对所述对收集到的日志数据进行过滤。

4.根据权利要求1、2或3所述的资源监控方法，其特征在于，所述匹配采用Java中的Java事件处理机制实现。

5.根据权利要求4所述的资源监控方法，其特征在于，利用所述Java中的事件处理机制中包括的监听功能实现所述监听异常事件并进行告警。

6.一种资源监控系统，其特征在于，至少包括日志适配器、日志数据生成器、一个或一个以上监控容器，以及事件监听器；其中，

日志适配器，用于存储日志数据与推送目标之间的对应关系；

日志数据生成器，用于根据日志适配器的对应关系，将来自云计算平台各个节点的应用系统产生的日志数据推送到相应的监控容器；

监控容器，用于匹配收集到的日志数据和预先设置的异常事件策略，如果匹配成功，则产生异常事件；

事件监听器，用于按照预先设置的事件监听类型，监听异常事件并根据监听的结果进行告警。

7.根据权利要求6所述的资源监控系统，其特征在于，所述监控容器，还用于按照预先设置的过滤策略过滤所述日志数据生成器推送的日志数据。

8.根据权利要求6或7所述的资源监控系统，其特征在于，所述事件监听器为两个或两个以上，每个事件监听器用于监听一种具体类型的事件。

9.根据权利要求8所述的资源监控系统，其特征在于，该系统还包括：应用日志配置器，用于设置日志配置文件，开启或关闭对资源的监控。