CN108234199A - 基于Kafka的监控方法、装置及系统 - Google Patents

Abstract

本发明提供一种基于Kafka的监控方法、装置及系统。本发明的方法，通过由监控对象对应的监控终端获取所述监控对象的告警信息，所述监控终端对应于至少一个监控对象；所述监控终端根据所述监控对象的告警信息，生成告警消息，并将所述告警消息存储到所述Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

Description

基于Kafka的监控方法、装置及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Kafka的监控方法、装置及系统。

背景技术

随着信息技术的发展，各行业中均出现了大型的应用系统，例如，电信运行商的电子商务系统、网上银行系统等。这类大型应用系统通常采用分布式系统架构，涉及通信网络、负载均衡器、应用服务器、数据库服务器及各种中间件等多个硬件实体和软件实体。通常，这类系统的数据流向非常复杂，需要持续在线运行，不能中断服务。这类系统一旦出现问题，很难及时排查问题原因，这就需要对系统的各个硬件或者软件的运行中的异常信息进行实时监控，并及时发出告警提示。

目前，通常采用第三方监控工具来完成对系统的各个硬件和软件的监控。现有的第三方监控工具包括多个不同的版本，每个版本仅针对一个硬件实体或者软件实体进行监控，例如，用于监控数据库的监控工具、用于监控计算机运行状态的监控工具等。

为了实现对上述的大型应用系统的全面监控，需要针对不同的硬件实体和软件实体安装不同版本的监控工具，安装多个不同版本的监控工具，无法将对各个被监控设备的监控结果进行汇总，不能根据自己需求进行个性化的监控，影响监控效果，且实现监控的成本高。

发明内容

本发明提供一种基于Kafka的监控方法、装置及系统，用以解决现有技术中为了实现大型应用系统的全面监控，需要安装多个不同版本的监控工具，无法将对各个被监控设备的监控结果进行汇总，不能根据自己需求进行个性化的监控，影响监控效果，且实现监控的成本高的问题。

本发明的一个方面是提供一种基于Kafka的监控方法，包括：

监控服务器读取Kafka集群中的至少一个监控对象的告警消息，所述告警消息是由各所述监控对象对应的监控终端根据获取到的各所述监控对象的告警信息生成并存储到所述Kafka集群中的Kafka消息；

所述监控服务器对所述告警消息进行解析，得到所述告警消息对应的告警信息。

本发明的另一个方面是提供一种基于Kafka的监控方法，包括：

监控对象对应的监控终端获取所述监控对象的告警信息，所述监控终端对应于至少一个监控对象；

所述监控终端根据所述监控对象的告警信息，生成告警消息，并将所述告警消息存储到所述Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出所述告警消息对应的告警信息。

本发明的另一个方面是提供一种基于Kafka的监控装置，包括：

消费者模块，用于监控服务器读取Kafka集群中的至少一个监控对象的告警消息，所述告警消息是由各所述监控对象对应的监控终端根据获取到的各所述监控对象的告警信息生成并存储到所述Kafka集群中的Kafka消息；

告警模块，用于所述监控服务器对所述告警消息进行解析，得到所述告警消息对应的告警信息。

本发明的另一个方面是提供一种基于Kafka的监控装置，包括：

监控模块，用于监控对象对应的监控终端获取所述监控对象的告警信息，所述监控终端对应于至少一个监控对象；

生产者模块，用于所述监控终端根据所述监控对象的告警信息，生成告警消息，并将所述告警消息存储到所述Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出所述告警消息对应的告警信息。

本发明的另一个方面是提供一种基于Kafka的分布式监控系统，包括：监控服务器，监控终端，Kafka集群，以及与所述监控终端对应的至少一个监控对象；

所述监控服务器包括第一处理器、第一存储器、以及存储在所述第一存储器上可以由所述监控服务器执行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现上述权利要求1-5任一项所述的基于Kafka的监控方法；

所述监控终端包括第二处理器、第二存储器、以及存储在所述第二存储器上可以由所述监控服务器执行的第二计算机程序，所述第二处理器执行所述第二计算机程序时实现上述权利要求6-7任一项所述的基于Kafka的监控方法。

本发明提供的基于Kafka的监控方法、装置及系统，通过由监控对象对应的监控终端获取所述监控对象的告警信息，所述监控终端对应于至少一个监控对象；所述监控终端根据所述监控对象的告警信息，生成告警消息，并将所述告警消息存储到所述Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明实施例一提供的基于Kafka的监控方法流程图；

图2为本发明实施例二提供的基于Kafka的监控方法流程图；

图3为本发明实施例三提供的基于Kafka的监控方法流程图；

图4为本发明实施例四提供的基于Kafka的监控方法流程图；

图5为本发明实施例五提供的基于Kafka的监控装置的结构示意图；

图6为本发明实施例七提供的基于Kafka的监控装置的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

首先对本发明所涉及的名词进行解释：

中间件：是一种独立的系统软件或服务程序，分布式应用软件借助中间件在不同的技术之间共享资源。中间件位于客户机或者服务器的操作系统之上，管理计算机资源和网络通讯，是连接两个独立应用程序或独立系统的软件。

Kafka：是Apache Kafka的简称，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，它是由Apache软件基金会开发的一个开源消息系统项目，通常是由多个服务器组成的Kafka集群，Kafka集群中的服务器被称为Broker。

Kafka消息：也成为消息、或者分布式消息。Kafka集群中存储的数据是以预设格式的消息存储在消息队列中。本实施例中单独出现的“消息”均指Kafka消息。

Topic：是指Kafka集群中存储的消息的类别。本实施例中Kafka集群中的消息包括告警消息和控制消息两个Topic。在存储的物理位置上，不同Topic的消息分开存储，一个Topic的消息存储在一个或者多个Broker上。用户通过指定消息的Topic即可生产或消费Kafka集群中存储的消息，而不必关心消息存储的物理位置，Kafka集群具有自己的存储区域的管理机制，能够完成数据的存取。

消息生产者：也称为Producer，是指负责向Kafka集群存储消息的程序模块。

消息消费者：也称为Consumer，是指负责从Kafka集群读取消息的程序模块。

JavaScript对象标记(JavaScript Object Notation,简称JSON)是一种轻量级的数据交换格式。它基于w3c制定的JS规范的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

实施例一

图1为本发明实施例一提供的基于Kafka的监控方法流程图。本发明实施例针对现有技术中为了实现大型应用系统的全面监控，需要安装多个不同版本的监控工具，无法将对各个被监控设备的监控结果进行汇总，影响监控效果，且实现监控的成本高的问题，提供了基于Kafka的监控方法。如图1，该方法具体步骤如下：

步骤S101、监控服务器读取Kafka集群中的至少一个监控对象的告警消息，告警消息是由各监控对象对应的监控终端根据获取到的各监控对象的告警信息生成并存储到Kafka集群中的Kafka消息。

本实施例中，监控服务器是分布式监控系统中的服务器端，监控服务器可以是安装有消息消费者程序的服务器。分布式监控系统还包括用于汇集和存储告警信息的Kafka集群，以及作为客户端的监控终端。其中，监控终端用于对至少一个监控对象进行监控，获取至少一个监控对象对应的告警信息，其中监控对象可以是被监控的硬件实体，例如所在终端设备的CPU等；监控对象还可以是软件实体，例如数据库，中间件，应用程序执行日志等。另外，可以将同一硬件实体或者软件实体的不同功能模块作为不同的监控对象。监控终端上安装有消息生产者程序，能够通过消息生产者将告警信息以消息的方式存储到Kafka集群的消息队列中。分布式监控系统中的监控对象可以根据实际需要进行扩展，以实现个性化的监控。

该步骤中，监控服务器可以通过消息消费者，实时地读取Kafka集群中的至少一个监控对象的告警消息。

可选地，消息消费者可以包括监听程序，通过监听程序实时监听Kafka的消息队列中的告警消息，从而在监听到有新的告警消息进入消息队列中时，能够捕获到该告警消息，实现告警消息的读取。例如，可以采用基于Spring MVC的Web工程方式，通过在配置文件中注册Monitor Listener监听程序实现。

另外，若消息队列中告警消息增加的速度大于消息消费者向外读取的速度时，消息队列中的告警消息的数量会增加，此时消息消费者会持续地从消息队列中读取告警消息。

步骤S102、监控服务器对告警消息进行解析，得到告警消息对应的告警信息。

其中，告警消息为具有预设格式的消息。告警消息的预设格式由技术人员根据实际需要进行设定。例如，可以是JSON字符串等。

该步骤中，监控服务器根据告警消息的预设格式，对告警消息进行解析。解析得到的告警信息可以包括：监控对象标识、告警内容信息、告警时间、被推送人信息等。其中，被推送人可以是处理响应告警信息的工作人员。

可选地，在得到告警信息之后，监控服务器可以将告警信息进行展示，以使相关技术人员能够根据告警信息采取相应的处理措施。

本发明实施例通过由监控对象对应的监控终端获取监控对象的告警信息，监控终端对应至少一个监控对象；监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

实施例二

图2为本发明实施例二提供的基于Kafka的监控方法流程图。在上述实施例一的基础上，本实施例中，监控服务器对告警消息进行解析，得到告警消息对应的告警信息之后，还包括：监控服务器根据预设推送规则，推送告警信息，所述预设推送规则至少包括被推送人信息和推送方式。如图2所示，该方法具体步骤如下：

步骤S201、监控服务器读取Kafka集群中的至少一个监控对象的告警消息，告警消息是由各监控对象对应的监控终端根据获取到的各监控对象的告警信息生成并存储到Kafka集群中的Kafka消息。

本实施例中，监控服务器是分布式监控系统中的服务器端，监控服务器可以是安装有消息消费者程序的服务器。分布式监控系统还包括用于汇集和存储告警信息的Kafka集群，以及作为客户端的监控终端。其中，监控终端用于对至少一个监控对象进行监控，获取至少一个监控对象对应的告警信息，其中监控对象可以是被监控的硬件实体，例如所在终端设备的CPU等；监控对象还可以是软件实体，例如数据库，中间件，应用程序执行日志等。另外，可以将同一硬件实体或者软件实体的不同功能模块作为不同的监控对象。监控终端上安装有消息生产者程序，能够通过消息生产者将告警信息以消息的方式存储到Kafka集群的消息队列中。分布式监控系统中的监控对象可以根据实际需要进行扩展，以实现个性化的监控。

该步骤中，监控服务器可以通过消息消费者，实时地读取Kafka集群中的至少一个监控对象的告警消息。

可选地，消息消费者可以包括监听程序，通过监听程序实时监听Kafka的消息队列中的告警消息，从而在监听到有新的告警消息进入消息队列中时，能够捕获到该告警消息，实现告警消息的读取。例如，可以采用基于Spring MVC的Web工程方式，通过在配置文件中注册Monitor Listener监听程序实现。

另外，若消息队列中告警消息增加的速度大于消息消费者向外读取的速度时，消息队列中的告警消息的数量会增加，此时消息消费者会持续地从消息队列中读取告警消息。

步骤S202、监控服务器对告警消息进行解析，得到告警消息对应的告警信息。

其中，告警消息为具有预设格式的消息。例如，可以是JSON字符串。

该步骤中，监控服务器根据告警消息的预设格式，对告警消息进行解析。解析得到的告警信息可以包括：监控对象标识、告警内容信息、告警时间、被推送人信息等。其中，被推送人可以是处理响应告警信息的工作人员。

可选地，在解析得到告警消息对应的告警信息之后，监控服务器可以将各告警信息存储到数据库中，以实现告警信息持久化地存储，以供技术人员进行查看和做统计分析。

步骤S203、监控服务器根据告警信息的告警产生时间，对告警信息进行过滤。

其中，告警信息包括：监控对象标识、告警内容信息、告警时间、被推送人信息等。

该步骤中，由于告警信息具有实时性，长时间积压的告警信息已经失去了参考价值，因此，监控服务器根据告警信息的告警产生时间，对告警信息进行过滤。该步骤，具体可以采用如下方式实现：

计算告警信息的告警产生时间距离当前时间的时长，将告警产生时间距离当前时间的时长大于预设时长的告警信息排除，剩余的告警信息为待推送的告警信息。其中，预设时长可以由技术人员根据实际需要进行设定。

可选地，监控服务器可以将过滤后得到的各告警信息存储到数据库中，以实现告警信息持久化地存储，以供技术人员进行查看和做统计分析。

步骤S204、监控服务器实时读取Kafka集群中的控制消息。

本实施例中，为了提高监控系统的友好性，为技术人员提供停止告警信息推送的入口。技术人员可以通过安装有消息生产者的监控终端向Kafka集群中发布包括关闭推送指令的控制消息，以使监控服务器在监控到该包括关闭推送指令的控制消息之后，停止告警信息的推送。

该步骤中，监控服务器通过消息消费者，实时读取Kafka集群中的控制消息。若Kafka集群中未存储任何控制消息，则可以确定没有监控到包括关闭推送指令的控制消息，无需执行步骤S205-S206，直接执行步骤S207，继续推送告警信息。

本实施例中，所有的告警消息对应同一Topic，控制消息与告警消息对应不同的Topic，以使控制消息与告警消息分别存储在不同的消息队列中。

可选地，设置控制消息的优先级高于告警消息的优先级，监控服务器优先读取Kafka集群中的控制消息，这种情况下，该步骤S204还可以在步骤S201-S203之前进行，或者与步骤S201-S203并行进行。

步骤S205、监控服务器判断控制消息是否包括关闭推送指令。

本实施例中，在读取出控制消息之后，对控制消息进行解析，解析出控制消息中的控制信息，判断控制信息是否包括关闭推送指令；若控制信息包括关闭推送指令，则确定控制消息包括关闭推送指令；若控制信息不包括关闭推送指令，则确定控制消息不包括关闭推送指令。

若该步骤中的判断结果为控制消息包括关闭推送指令，则执行步骤S206，监控服务器停止告警信息的推送。

若该步骤中的判断结果为控制消息不包括关闭推送指令，则执行步骤S207，监控服务器根据预设推送规则，推送告警信息。

步骤S206、监控服务器停止推送告警信息。

步骤S207、监控服务器根据预设推送规则，推送告警信息。

本实施例中，在得到待推送的告警信息之后，监控服务器将每个告警信息推送给对应的被推送人，以使被推送人能够及时获知告警信息，并采取相应的处理措施。

其中，预设推送规则至少包括被推送人信息和推送方式，以及进行推送所需的其他相关信息。具体地，可以通过以下至少一个方式进行告警信息的推送：短信息、电子邮件、即时通讯软件等，另外，还可以针对不同的被推送人设置不同的推送方式，以预先设定的被推送人接收最及时的方式进行推送。推送信息包括被推送人的联系方式等信息。本实施例中的预设推送规则可以由技术人员根据实际需要进行设定。

可选地，在监控服务器根据预设推送规则推送告警信息之前，还包括：监控服务器实时监控各被推送人对应于各监控对象的待推送的告警信息数量；若任意一个被推送人对应于任意一个监控对象的待推送的告警信息数量大于预设推送阈值，则监控服务器停止推送告警信息。

可选地，若在停止推送告警信息之后，监控服务器推送一条严重警示信息，严重警示信息用于提示相关技术人员因告警信息过多停止发送告警信息，以及时通知相关技术人员进行人工查看和处理。

可选地，监控服务器可以将待推送的告警信息根据对应的被推送人以及监控对象进行分类，将同一被推送人的对应于同一监控对象的待推送的告警信息放入一个待推送队列中，以方便地对待推送的告警信息进行管理。通过实时监控各待推送队列的长度即可实现对每个被推送人对应于各监控对象的待推送的信息数量的监控。当任意一个被推送人的待推送队列的长度大于预设推送阈值时，可以确定该被推送人对应一个监控对象的待推送的告警信息数量大于预设推送阈值。其中，预设推送阈值可以由技术人员根据实际需要进行设定，例如，预设推送阈值可以为10、50、100、或者200等。

可选地，可以预先存储被推送人、监控对象以及告警信息之间的对应关系。另外，可以采用通过二维键值对、或者二维列表等形式存储。例如，第一个键值对中的键对应被推送人联系方式，值对应监控对象标识；第二个键值对中的键对应监控对象标识，值对应告警信息。

可选地，监控服务器可以生成告警信息的推送日志，并将推送日志存储到数据库中，已记录各告警信息的推送结果。其中，推送日志可以包括告警信息内容、被推送人信息、推送时间、是否已经推送等。

本发明实施例通过在汇总得到各监控对象的告警信息之后，监控服务器对告警信息进行过滤，将过滤后的告警信息根据预设推送规则进行推送，从而可以及时通知相关技术人员以使其及时采取相应处理措施；通过根据告警产生时间对告警信息进行过滤，可以减少较长时间前的已失去参考价值的告警信息的推送，从而可以避免无需告警信息的干扰；并且通过在Kafka集群中发布包括关闭推送指令的控制消息，或者在告警信息数据量过大时，可以停止告警信息的推送，从而可以避免数量巨大的告警信息给相关技术人员造成困扰。

实施例三

图3为本发明实施例三提供的基于Kafka的监控方法流程图。本发明实施例针对现有技术中为了实现大型应用系统的全面监控，需要安装多个不同版本的监控工具，无法将对各个被监控设备的监控结果进行汇总，影响监控效果，且实现监控的成本高的问题，提供了基于Kafka的监控方法。如图3，该方法具体步骤如下：

步骤S301、监控对象对应的监控终端获取监控对象的告警信息，监控终端对应于至少一个监控对象。

本实施例中，监控服务器是分布式监控系统中的服务器端，监控服务器可以是安装有消息消费者程序的服务器。分布式监控系统还包括用于汇集和存储告警信息的Kafka集群，以及作为客户端的监控终端。其中，监控终端用于对至少一个监控对象进行监控，获取至少一个监控对象对应的告警信息，其中监控对象可以是被监控的硬件实体，例如所在终端设备的CPU等；监控对象还可以是软件实体，例如数据库，中间件，应用程序执行日志等。另外，可以将同一硬件实体或者软件实体的不同功能模块作为不同的监控对象。监控终端上安装有消息生产者程序，能够通过消息生产者将告警信息以消息的方式存储到Kafka集群的消息队列中。分布式监控系统中的监控对象可以根据实际需要进行扩展，以实现个性化的监控。

其中，告警信息可以是各个监控对象的运行过程中的指标信息、运行结果信息等现有的监控工具可以采集获取到的所有监控信息。例如，数据服务器的健康状态信息、数据库压力状态信息、应用程序执行日志信息、Kafka集群的积压消息信息和数据一致性信息、应用服务器状态信息等等。

步骤S302、监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出告警消息对应的告警信息。

本实施例中，监控终端上安装有消息生产者程序，能够通过消息生产者将告警信息以消息的方式存储到Kafka集群的消息队列中。分布式监控系统中的监控对象可以根据实际需要进行扩展。各监控对象对应的监控终端会将各监控对象的告警信息存储到Kafka集群中，从而可以实现将多个监控终端获取的多个监控对象的告警信息汇总到一个Kafka集群中。

该步骤中，监控终端通过消息生产者，根据监控对象的告警信息，生成具有预设格式的告警消息，并将告警消息发布到Kafka集群中，从而将监控对象的告警信息以消息的方式存储到Kafka集群的消息队列中，从而使得监控服务器能够从Kafka集群中读取到各个监控对象的告警消息，解析出告警消息对应的告警信息，从而得到各个监控对象的告警信息。

本发明实施例通过由监控对象对应的监控终端获取监控对象的告警信息，监控终端对应于至少一个监控对象；监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

实施例四

图4为本发明实施例四提供的基于Kafka的监控方法流程图。在上述实施例三的基础上，本实施例中，监控对象对应的监控终端周期性地获取监控对象的告警信息。如图4所示，该方法具体步骤如下：

步骤S401、监控对象对应的监控终端获取监控对象的告警信息。

本实施例中，监控服务器是分布式监控系统中的服务器端，监控服务器可以是安装有消息消费者程序的服务器。分布式监控系统还包括用于汇集和存储告警信息的Kafka集群，以及作为客户端的监控终端。其中，监控终端用于对至少一个监控对象进行监控，获取至少一个监控对象对应的告警信息，其中监控对象可以是被监控的硬件实体，例如所在终端设备的CPU等；监控对象还可以是软件实体，例如数据库，中间件，应用程序执行日志等。另外，可以将同一硬件实体或者软件实体的不同功能模块作为不同的监控对象。监控终端上安装有消息生产者程序，能够通过消息生产者将告警信息以消息的方式存储到Kafka集群的消息队列中。分布式监控系统中的监控对象可以根据实际需要进行扩展，以实现个性化的监控。

其中，告警信息可以是各个监控对象的运行过程中的指标信息、运行结果信息等现有的监控工具可以采集获取到的所有监控信息。例如，数据服务器的健康状态信息、数据库压力状态信息、应用程序执行日志信息、Kafka积压消息信息、数据一致性信息、应用服务器状态信息等等。

本实施例中，监控终端可以周期性地根据监控对象的告警信息。另外，不同的监控对象获取告警信息的监控周期可以不同。根据监控对象的紧急程度和影响大小，可以将监控周期设置为秒级、分钟级和小时级。例如，对磁盘利用率监控，由于磁盘空间不会在短时间内耗尽，因此对磁盘的监控周期可以设置为小时级，比如周期为1个小时、两个小时等。

另外，可以针对每个监控内容设置告警条件，对满足告警条件的监控内容生成告警信息。例如，对服务器集群A进行监控，服务器集群A中包括：Web应用服务器a，数据服务器b，数据服务器c，应用程序d和应用程序e。表1给出了监控对象的监控内容对应的监控条件和监控周期。

表1

需要说明的是，表1中的信息均为举例说明，本实施例中对与监控对象的划分、各监控对象对应的监控内容、生成告警信息的监控条件、以及监控周期不做具体限定。

可选地，在获取到告警信息之后，监控终端可以将各告警信息存储到数据库中，以实现告警信息持久化地存储，以供技术人员进行查看和做统计分析。例如，监控终端可以将告警信息以日志的形式写入到数据库中。

可选地，监控终端还可以根据数据库中的历史告警信息，生成健康状况报告，健康状况报告包括历史告警信息和/或历史告警信息的统计信息。

步骤S402、监控终端计算待处理的告警信息的数量。

本实施例中，在获取到监控对象的告警信息之后，监控终端可以统计待处理的告警信息的数量。

可选地，监控终端可以分别统计每个监控对象对应的待处理的告警信息的数量。

步骤S403、若待处理的告警信息的数量大于预设生产阈值，则监控终端将待处理的告警信息进行合并处理。

Kafka集群的消息队列中，在告警消息增加的速度大于消息消费者向外读取的速度时，消息队列中的告警消息的数量会增加。为了减少向Kafka集群中存储的告警消息的数量，降低告警通知网关的压力，减少短时间内对运维人员发送大量的重复性告警内容，在该步骤中，若待处理的告警信息的数量大于预设生产阈值，则监控终端将待处理的告警信息进行合并处理。例如，可以将同一监控对象的告警信息合并为一条告警信息。其中，预设生产阈值可以由技术人员根据实际需要进行设定。

可选地，本实施例中，监控终端可以周期性地根据监控对象的告警信息，在一个监控周期内，监控终端计算本周期内待处理的告警信息的数量；若本周期内待处理的告警信息的数量大于预设生产阈值，则监控终端将本周期内待处理的告警信息进行合并处理；监控终端根据合并处理的告警信息，生成告警消息。

步骤S404、监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出告警消息对应的告警信息。

本实施例中，监控终端通过消息生产者，根据监控对象的告警信息，生成具有预设格式的告警消息，并将告警消息存储到Kafka集群的消息队列中。其中，告警消息的预设格式由技术人员根据实际需要进行设定。例如，可以是JSON字符串等。

本发明实施例通过在根据监控对象的告警信息生成告警消息之前，监控终端计算待处理的告警信息的数量；若待处理的告警信息的数量大于预设生产阈值，则监控终端将待处理的告警信息进行合并处理，根据合并处理后的告警信息生成告警消息，并将告警消息存储到Kafka集群中，可以减少Kafka集群中的告警消息的数量，从而可以减少监控服务器处理的告警消息的数据量，提高告警信息推送及时性。

实施例五

图5为本发明实施例五提供的基于Kafka的监控装置的结构示意图。本发明实施例提供的基于Kafka的监控装置可以执行基于Kafka的监控方法实施例一提供的处理流程。如图5所示，该装置50包括：消费者模块501和告警模块502。

具体地，消费者模块501用于监控服务器读取Kafka集群中的至少一个监控对象的告警消息，告警消息是由各监控对象对应的监控终端根据获取到的各监控对象的告警信息生成并存储到Kafka集群中的Kafka消息。

告警模块502用于监控服务器对告警消息进行解析，得到告警消息对应的告警信息。

本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过由监控对象对应的监控终端获取监控对象的告警信息，监控终端对应于至少一个监控对象；监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

实施例六

在上述实施例五的基础上，本实施例中，装置50还包括：推送模块。

具体地，推送模块用于监控服务器对告警消息进行解析，得到告警消息对应的告警信息之后，监控服务器根据预设推送规则，推送告警信息，预设推送规则至少包括被推送人信息和推送方式，以及进行推送所需的其他相关信息。

可选地，该装置50还包括：过滤模块。过滤模块用于监控服务器根据告警信息的告警产生时间，对告警信息进行过滤；其中，告警信息至少包括：监控对象标识、告警内容信息和告警产生时间。

可选地，消费者模块还用于监控服务器实时读取Kafka集群中的控制消息。

装置50还包括：反馈模块。反馈模块用于：监控服务器判断控制消息是否包括关闭推送指令；若控制消息包括关闭推送指令，则监控服务器停止推送告警信息。

可选地，装置50还包括：推送管理模块，推送管理模块用于：监控服务器实时监控各被推送人对应于各监控对象的待推送的告警信息数量；若任意一个被推送人对应于任意一个监控对象的待推送的告警信息数量大于预设推送阈值，则监控服务器停止推送告警信息。

本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过在汇总得到各监控对象的告警信息之后，监控服务器对告警信息进行过滤，将过滤后的告警信息根据预设推送规则进行推送，从而可以及时通知相关技术人员以使其及时采取相应处理措施；通过根据告警产生时间对告警信息进行过滤，可以减少较长时间前的已失去参考价值的告警信息的推送，从而可以避免无需告警信息的干扰；并且通过在Kafka集群中发布包括关闭推送指令的控制消息，或者在告警信息数据量过大时，可以停止告警信息的推送，从而可以避免数量巨大的告警信息给相关技术人员造成困扰。

实施例七

图6为本发明实施例七提供的基于Kafka的监控装置的结构示意图。本发明实施例提供的基于Kafka的监控装置可以执行基于Kafka的监控方法实施例三提供的处理流程。如图6所示，该装置60包括：监控模块601和生产者模块602。

具体地，监控模块601用于监控对象对应的监控终端获取监控对象的告警信息，监控终端对应于至少一个监控对象。

生产者模块602用于监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出告警消息对应的告警信息。

本发明实施例提供的装置可以具体用于执行上述实施例三所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过由监控对象对应的监控终端获取监控对象的告警信息，监控终端对应于至少一个监控对象；监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

实施例八

在上述实施例七的基础上，本实施例中，装置60还包括：合并处理模块。

具体地，合并处理模块用于：监控终端计算待处理的告警信息的数量；若待处理的告警信息的数量大于预设生产阈值，则监控终端将待处理的告警信息进行合并处理。

本发明实施例提供的装置可以具体用于执行上述实施例四所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过在根据监控对象的告警信息生成告警消息之前，监控终端计算待处理的告警信息的数量；若待处理的告警信息的数量大于预设生产阈值，则监控终端将待处理的告警信息进行合并处理，根据合并处理后的告警信息生成告警消息，并将告警消息存储到Kafka集群中，可以减少Kafka集群中的告警消息的数量，从而可以减少监控服务器处理的告警消息的数据量，提高告警信息推送及时性。

实施例九

本发明实施例提供一种基于Kafka的分布式监控系统，该系统包括：监控服务器，监控终端，Kafka集群，以及与所述监控终端对应的至少一个监控对象。

其中，监控服务器包括第一处理器、第一存储器、以及存储在所述第一存储器上可以由所述监控服务器执行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现上述实施例一和实施例二所述的基于Kafka的监控方法。

所述监控终端包括第二处理器、第二存储器、以及存储在所述第二存储器上可以由所述监控服务器执行的第二计算机程序，所述第二处理器执行所述第二计算机程序时实现上述实施例三和实施例四所述的基于Kafka的监控方法。

本实施例中，监控服务器可以是安装有消息消费者程序的服务器。分布式监控系统还包括用于汇集和存储告警信息的Kafka集群，以及作为客户端的监控终端。其中，监控终端用于对至少一个监控对象进行监控，获取至少一个监控对象对应的告警信息，其中监控对象可以是被监控的硬件实体，例如所在终端设备的CPU等；监控对象还可以是软件实体，例如数据库，中间件，应用程序执行日志等。另外，可以将同一硬件实体或者软件实体的不同功能模块作为不同的监控对象。监控终端上安装有消息生产者程序，能够通过消息生产者将告警信息以消息的方式存储到Kafka集群的消息队列中。分布式监控系统中的监控对象可以根据实际需要进行扩展，以实现个性化的监控。

本发明实施例通过由监控对象对应的监控终端获取监控对象的告警信息，监控终端对应至少一个监控对象；监控终端根据监控对象的告警信息，生成告警消息，并将告警消息存储到Kafka集群中；监控服务器读取Kafka集群中的至少一个监控对象的告警消息，从而无需购买安装各版本的监控工具即可实现监控服务器对多个监控终端上的多个监控对象的同时监控，可以根据需要选择监控对象，实现个性化的监控，可以将多个监控对象的监控结果进行汇总，大大减低了监控的成本。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (15)

1.一种基于Kafka的监控方法，其特征在于，包括：

监控服务器读取Kafka集群中的至少一个监控对象的告警消息，所述告警消息是由各所述监控对象对应的监控终端根据获取到的各所述监控对象的告警信息生成并存储到所述Kafka集群中的Kafka消息；

所述监控服务器对所述告警消息进行解析，得到所述告警消息对应的告警信息。

2.根据权利要求1所述的方法，其特征在于，所述监控服务器对所述告警消息进行解析，得到所述告警消息对应的告警信息之后，还包括：

所述监控服务器根据预设推送规则，推送所述告警信息，所述推送规则至少包括被推送人信息和推送方式。

3.根据权利要求2所述的方法，其特征在于，所述告警信息至少包括：监控对象标识、告警内容信息和告警产生时间；

所述监控服务器根据预设推送规则，推送所述告警信息之前，还包括：

所述监控服务器根据所述告警信息的告警产生时间，对所述告警信息进行过滤。

4.根据权利要求2或3所述的方法，其特征在于，所述监控服务器根据预设推送规则，推送所述告警信息之前，还包括：

所述监控服务器实时读取所述Kafka集群中的控制消息；

所述监控服务器判断所述控制消息是否包括关闭推送指令；

若所述控制消息包括所述关闭推送指令，则所述监控服务器停止推送告警信息。

5.根据权利要求4所述的方法，其特征在于，还包括：

所述监控服务器实时监控各被推送人对应于各监控对象的待推送的告警信息数量；

若任意一个所述被推送人对应于任意一个监控对象的待推送的告警信息数量大于预设推送阈值，则所述监控服务器停止推送告警信息。

6.一种基于Kafka的监控方法，其特征在于，包括：

监控对象对应的监控终端获取所述监控对象的告警信息，所述监控终端对应于至少一个监控对象；

所述监控终端根据所述监控对象的告警信息，生成告警消息，并将所述告警消息存储到所述Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出所述告警消息对应的告警信息。

7.根据权利要求6所述的方法，其特征在于，所述监控终端根据所述监控对象的告警信息，生成告警消息之前，还包括：

所述监控终端计算待处理的告警信息的数量；

若待处理的告警信息的数量大于预设生产阈值，则所述监控终端将所述待处理的告警信息进行合并处理。

8.一种基于Kafka的监控装置，其特征在于，包括：

消费者模块，用于监控服务器读取Kafka集群中的至少一个监控对象的告警消息，所述告警消息是由各所述监控对象对应的监控终端根据获取到的各所述监控对象的告警信息生成并存储到所述Kafka集群中的Kafka消息；

告警模块，用于所述监控服务器对所述告警消息进行解析，得到所述告警消息对应的告警信息。

9.根据权利要求8所述的装置，其特征在于，还包括：

推送模块，用于所述监控服务器对所述告警消息进行解析，得到所述告警消息对应的告警信息之后，所述监控服务器根据预设推送规则，推送所述告警信息，所述预设推送规则至少包括被推送人信息和推送方式。

10.根据权利要求9所述的装置，其特征在于，还包括：

过滤模块，用于所述监控服务器根据所述告警信息的告警产生时间，对所述告警信息进行过滤；其中，所述告警信息至少包括：监控对象标识、告警内容信息和告警产生时间。

11.根据权利要求9或10所述的装置，其特征在于，所述消费者模块还用于所述监控服务器实时读取所述Kafka集群中的控制消息；

所述装置还包括：反馈模块，所述反馈模块用于：所述监控服务器判断所述控制消息是否包括关闭推送指令；若所述控制消息包括所述关闭推送指令，则所述监控服务器停止推送告警信息。

12.根据权利要求11所述的装置，其特征在于，还包括：推送管理模块，所述推送管理模块用于：

所述监控服务器实时监控各被推送人对应于各监控对象的待推送的告警信息数量；

若任意一个所述被推送人对应于任意一个监控对象的待推送的告警信息数量大于预设推送阈值，则所述监控服务器停止推送告警信息。

13.一种基于Kafka的监控装置，其特征在于，包括：

监控模块，用于监控对象对应的监控终端获取所述监控对象的告警信息，所述监控终端对应于至少一个监控对象；

生产者模块，用于所述监控终端根据所述监控对象的告警信息，生成告警消息，并将所述告警消息存储到所述Kafka集群中，以使监控服务器读取Kafka集群中的告警消息，解析出所述告警消息对应的告警信息。

14.根据权利要求13所述的装置，其特征在于，还包括：合并处理模块，

所述合并处理模块用于：

所述监控终端计算待处理的告警信息的数量；

若待处理的告警信息的数量大于预设生产阈值，则所述监控终端将所述待处理的告警信息进行合并处理。

15.一种基于Kafka的分布式监控系统，其特征在于，包括：监控服务器，监控终端，Kafka集群，以及与所述监控终端对应的至少一个监控对象；

所述监控服务器包括第一处理器、第一存储器、以及存储在所述第一存储器上可以由所述监控服务器执行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现上述权利要求1-5任一项所述的基于Kafka的监控方法；

所述监控终端包括第二处理器、第二存储器、以及存储在所述第二存储器上可以由所述监控服务器执行的第二计算机程序，所述第二处理器执行所述第二计算机程序时实现上述权利要求6-7任一项所述的基于Kafka的监控方法。