CN115827393A - 一种服务器集群监控及告警系统 - Google Patents

Abstract

本发明公开了一种服务器集群监控及告警系统，属于服务器集群监控技术领域。该系统包括硬件指标采集器、任务指标采集器、组件指标采集器、Prometheus单元、VictoriaMetrics单元、APIServer单元以及告警监控配置模块；Prometheus单元分别与硬件指标采集器，任务指标采集器、组件指标采集器以及VictoriaMetrics单元连接；VictoriaMetrics单元还与APIServer单元连接；APIServer单元还与告警监控配置模块连接。本发明解决了目前的服务器集群监控系统采集零散以及多集群管理困难等问题。

Description

一种服务器集群监控及告警系统

技术领域

本发明涉及服务器集群监控技术领域，尤其涉及一种服务器集群监控及告警系统。

背景技术

现有的服务器集群监控体系下，主要以脚本和关系型数据库存储的方式进行指标采集和数据的本地化存储，存在许多缺陷，例如在现有的监控系统中，新的监控数据接入无法规范化管理，且新增步骤繁琐，维护困难，此外，还存在多集群管理困难的问题，现有的监控体系一般都是单独集群单独部署，面对多集群的复杂场景往往无能为力。

因此亟需一种服务器集群监控及告警系统，以解决现有的服务器集群监控系统采集零散、多集群管理困难等问题。

发明内容

本发明旨在提出一种服务器集群监控及告警系统，以解决目前的服务器集群监控系统采集零散以及多集群管理困难等问题。

为实现上述目的，本发明提供以下技术方案：

一种服务器集群监控及告警系统，包括硬件指标采集器、任务指标采集器、组件指标采集器、Prometheus单元、VictoriaMetrics单元、APIServer单元以及告警监控配置模块；所述Prometheus单元分别与所述硬件指标采集器，所述任务指标采集器、所述组件指标采集器以及所述VictoriaMetrics单元连接；所述VictoriaMetrics单元还与所述APIServer单元连接；所述APIServer单元还与所述告警监控配置模块连接；

所述硬件指标采集器，用于采集UNIX操作系统的内置目录下的性能指标文本数据，并将采集的所述性能指标文本数据进行处理，得到第一处理指标数据，并将所述第一处理指标数据以标准网络请求接口暴露；所述任务指标采集器，用于通过数据库接口运行查询语句采集业务任务数据库中的指标数据，并将采集的指标数据以标准网络请求接口暴露；所述组件指标采集器，用于采集大数据组件暴露出的轻量级数据交换格式数据，并将采集的轻量级数据交换格式数据进行处理，得到第二处理指标数据，并将所述第二处理指标数据以标准网络请求接口暴露；

所述Prometheus单元，用于周期性地发起探测请求以获取以标准网络请求接口暴露的指标数据以及指标数据对应的探测请求时间；所述VictoriaMetrics单元，用于以时序存储格式存储所述Prometheus单元获取的指标数据以及指标数据对应的探测请求时间；所述APIServer单元，用于通过调用查询请求，从所述VictoriaMetrics单元中调用所请求的时间段的指标数据，以使所述VictoriaMetrics单元将调用的指标数据以轻量级数据交换格式返回；

所述告警监控配置模块，用于配置告警信息以及监控信息，并根据配置的告警信息和监控信息向所述APIServer单元发送所述查询请求。

可选地，所述告警监控配置模块包括控制台、告警配置单元、监控配置单元、告警通知单元以及监控展示单元；所述控制台与所述告警配置单元以及所述监控配置单元连接，所述告警配置单元与所述告警通知单元连接，所述监控配置单元与所述监控展示单元连接；

所述控制台，用于控制所述告警配置单元以及所述监控配置单元；

所述告警配置单元，用于通过所述控制台配置告警指标、告警方式以及告警指标对应的告警触发阈值；

所述监控配置单元，用于通过所述控制台配置监控指标以及监控指标展示方式；

所述监控展示单元，用于根据所述监控配置单元配置的监控指标以及监控指标展示方式进行监控指标展示；

所述告警通知单元，用于根据所述告警配置单元配置的告警指标、告警方式以及告警指标对应的告警触发阈值进行告警通知。

可选地，所述VictoriaMetrics单元将存储数据进行分布式存储。

可选地，所述Prometheus单元，还用于对获取的指标数据标记对应的指标类别以及指标环境。

可选地，所述硬件指标采集器，还用于将采集的文本数据中的第一列文本数据作为指标名称，第二列数据作为指标值，得到第一处理指标数据。

可选地，所述任务指标采集器采集的指标数据包括任务名称、任务开始时间、任务结束时间、任务占用的内存资源以及任务占用的CPU资源。

可选地，所述组件指标采集器，还用于将采集的轻量级数据交换格式数据中的key值作为指标名称，value值作为指标值，得到第二处理指标数据。

本发明提供了一种服务器集群监控及告警系统，本系统对每个集群内的服务器进行统一化部署、插件化管理，硬件、组件以及任务指标采集器可以通过告警监控配置模块随时增减指标项，基于Prometheus对多集群指标进行区分，使用一套监控体系即可同时管理多个大数据集群，解决了目前的服务器集群监控系统采集零散以及多集群管理困难等问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明服务器集群监控及告警系统第一实施例的框架示意图一；

图2为本发明服务器集群监控及告警系统第一实施例的框架示意图二。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，现有的服务器集群监控体系主要以脚本和关系型数据库存储的方式进行指标采集和数据的本地化存储，存在许多缺陷，例如在现有的监控系统中，新的监控数据接入无法规范化管理，且新增步骤繁琐，维护困难，此外，还存在多集群管理困难的问题，现有的监控体系一般都是单独集群单独部署，面对多集群的复杂场景往往无能为力。

针对于此，本针对于此，本发明实施例提供了一种服务器集群监控及预警系统，在本系统中，Prometheus单元会周期性地发起探测请求以获取实时性能指标数据以及指标数据对应的探测请求时间，不同的指标数据由不同的指标采集器进行采集并处理，指标数据以及指标数据对应的探测请求时间以时序存储格式长期存入VictoriaMetrics单元中。APIServer单元根据告警监控配置模块配置的告警信息和监控信息调用查询请求，从VictoriaMetrics单元中调用请求的时间段的监控数据，再由APIServer单元返回至告警监控配置模块，以实现对服务器集群的实时监控以及告警。本发明提出的服务器集群监控及告警系统对每个集群内的服务器进行统一化部署、插件化管理，硬件、组件以及任务指标采集器可以通过告警监控配置模块随时增减指标项，基于Prometheus对多集群指标进行区分，使用一套监控体系即可同时管理多个大数据集群，解决了目前的服务器集群监控系统采集零散以及多集群管理困难等问题。

本申请实施例以下，将对本申请技术实现中应用到的服务器集群监控及告警系统进行说明：

参阅图1，本发明对操作系统指标采用硬件指标采集器进行采集，对任务运行指标采用任务指标采集器进行采集，具体地，本发明的服务器集群监控及告警系统包括硬件指标采集器，任务指标采集器、组件指标采集器、Prometheus单元、VictoriaMetrics单元、APIServer单元以及告警监控配置模块。Prometheus单元分别与硬件指标采集器，任务指标采集器、组件指标采集器以及VictoriaMetrics单元连接；VictoriaMetrics单元还与APIServer单元连接；APIServer单元还与告警监控配置模块连接。

硬件指标采集器用于采集UNIX操作系统的内置目录/proc下的性能指标文本数据，采集器会周期地采集该目录下的只读文件数据，并将采集的性能指标文本数据进行处理，得到第一处理指标数据，并将所述第一处理指标数据以标准网络请求接口暴露，即以rest api风格的http端点方式暴露，方便Prometheus单元对其进行采集。

任务指标采集器用于通过数据库接口运行查询语句，即通过jdbc接口查询sql以采集业务任务数据库中的指标数据，并将采集的指标数据以标准网络请求接口暴露，方便Prometheus单元对其进行采集。

组件指标采集器用于采集大数据组件暴露出的轻量级数据交换格式即json格式数据，并将采集的轻量级数据交换格式数据进行处理，得到第二处理指标数据，并将所述第二处理指标数据以标准网络请求接口暴露，方便Prometheus单元对其进行采集。

Prometheus单元，用于周期性地发起探测请求以获取以标准网络请求接口暴露的指标数据以及指标数据对应的探测请求时间。

具体地，各个指标采集器采集并处理后的数据由Prometheus单元发起周期性地探测请求来获取，每次探测请求能获取到探测请求时间点的实时性能指标数据以及指标数据对应的探测请求时间。

VictoriaMetrics单元，用于以时序存储格式存储所述Prometheus单元获取的指标数据以及指标数据对应的探测请求时间。

具体地，Prometheus单元获取到实时性能指标数据后，将指标数据以及指标数据对应的探测请求时间一起存入VictoriaMetrics单元中，VictoriaMetrics单元以时序存储的格式将上述数据进行长期存储。

APIServer单元，用于通过调用查询请求，从所述VictoriaMetrics单元中调用所请求的时间段的指标数据，以使所述VictoriaMetrics单元将调用的指标数据以轻量级数据交换格式返回。

具体地，上述时间段可以为几个小时前到现在，也可以是过去的某个时间段，APIServer单元先调用查询请求，所述VictoriaMetrics单元根据查询请求，将被调用的请求时间段的指标数据以json格式返回至APIServer单元。

告警监控配置模块，用于配置告警信息以及监控信息，并根据配置的告警信息和监控信息向所述APIServer单元发送查询请求。

具体地，告警信息可为告警指标、告警方式以及告警触发阈值等，监控信息可为监控指标以及监控指标展示方式等。

在本实施例的服务器集群监控及告警系统中，Prometheus单元会周期性地发起探测请求以获取实时性能指标数据，不同的指标数据由不同的指标采集器进行采集并处理，Prometheus单元获取的实时性能指标数据以及指标数据对应的探测请求时间以时序存储格式长期存入VictoriaMetrics单元中。APIServer单元根据告警监控配置模块配置的告警信息和监控信息调用查询请求，从VictoriaMetrics单元中调用所请求的时间段的指标数据，VictoriaMetrics单元从存储的数据中调用请求时间段的指标数据，并将指标数据以json格式返回至APIServer单元，再由APIServer单元返回至告警监控配置模块，以实现对服务器集群的实时监控以及告警。本发明的服务器集群监控及告警系统对每个集群内的服务器进行统一化部署、插件化管理，硬件、组件以及任务指标采集器可以通过告警监控配置模块随时增减指标项，基于Prometheus对多集群指标进行区分，使用一套监控体系即可同时管理多个大数据集群，解决了目前的服务器集群监控系统采集零散以及多集群管理困难等问题。

进一步地，参阅图2，所述告警监控配置模块包括控制台、告警配置单元、监控配置单元、告警通知单元以及监控展示单元；所述控制台与所述告警配置单元以及所述监控配置单元连接，所述告警配置单元与所述告警通知单元连接，所述监控配置单元与所述监控展示单元连接。

具体地，APIServer调用的查询请求来源于告警配置单元以及监控配置单元。管理员通过控制台可调用告警配置单元以及监控配置单元对告警通知单元以及监控展示单元进行配置。

所述控制台，用于控制所述告警配置单元以及所述监控配置单元。

所述告警配置单元，用于通过所述控制台配置告警指标、告警方式以及告警指标对应的告警触发阈值，具体地，告警配置单元可以配置哪些指标用于做告警判定，告警方式包括短信、邮件等，进一步地，还可配置告警触发的级别。

所述监控配置单元，用于通过所述控制台配置监控指标以及监控指标展示方式。具体地，管理员可选择展示哪一个或者哪一类指标，同时可以设置指标展示的方式，展示方式例如折线图，柱状图等，还可对整个页面布局进行调整，决定哪些图标被优先展示。

所述监控展示单元，用于根据所述监控配置单元配置的监控指标以及监控指标展示方式进行监控指标展示，向用户以配置好的展示方式展示监控图表，用户可选择预设监控指标进行查看，例如选择指定时间段的监控指标数据；所述告警通知单元，用于根据所述告警配置单元配置的告警指标、告警方式以及告警指标对应的告警触发阈值进行告警通知，向用户以设定好的告警方式以及告警触发阈值发送详细的告警通知。

基于告警监控配置模块进行的告警信息及监控信息配置使告警对接变得简单，只需按照设定的阈值和指标项进行页面配置，即能基于监控指标数据产生对应的告警动作。

进一步地，所述VictoriaMetrics单元以分布式架构进行数据存储，将存储数据进行分布式存储，即将存储数据以多副本多分片方式进行分布，当出现某个分片数据损坏的情况，其他的副本也可满足查询和写入需求，避免出现数据丢失的情况，并且查询请求可在查询到任意一个可用副本时完成整个查询请求。

现有的监控系统还存在存储复杂以及查询困难的问题，过多的指标数据会造成较大存储压力，此外，当查询的监控数据达到一个比较大的时间跨度时，数据库的响应无法满足业务需求，且数据库出现异常时，数据可能出现丢失或者业务中断的情况，本实施例基于分布式时序数据库的存储方式既解决了单台存储服务器的存储压力过重的问题，又解决了查询压力集中的问题，同时具有更高的安全性，即使小部分的存储节点出现异常也不会影响到整个业务运转。

进一步地，所述硬件指标采集器，用于采集UNIX操作系统的/proc下的系统文本数据，并将采集的文本数据中的第一列文本数据作为指标名称，第二列数据作为指标值，得到第一处理指标数据；所述任务指标采集器用于通过jdbc接口查询sql以采集业务任务数据库中的指标数据，采集的指标数据包括任务名称、任务开始时间、任务结束时间、任务占用的内存资源以及任务占用的CPU资源；所述组件指标采集器，用于采集大数据组件暴露出的json格式数据，并将采集的json格式数据中的key值作为指标名称，value值作为指标值，得到第二处理指标数据；所述Prometheus单元，还用于对获取的指标数据进行打标，标记对应的指标类别以及指标环境。

本实施例的服务器集群监控及告警系统对每个集群内的服务器进行统一化部署、插件化管理，硬件、组件以及任务的指标采集器都可以随时增减指标项，解决目前监控系统采集零散的问题。

基于Prometheus进行业务指标的打标，对多集群指标进行区分，使用一套监控体系即可同时管理多个大数据集群，解决了多集群管理困难的问题。

基于分布式时序数据库的存储方式既解决了单台存储服务器的存储压力过重的问题，又解决了查询压力集中的问题，同时具有更高的安全性，即使小部分的存储节点出现异常也不会影响到整个业务运转。

基于告警监控配置模块进行的告警及监控配置使告警对接变得简单，只需按照设定的阈值和指标项进行页面配置，即能基于监控指标数据产生对应的告警动作。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述实施例描述中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种服务器集群监控及告警系统，其特征在于，包括硬件指标采集器、任务指标采集器、组件指标采集器、Prometheus单元、VictoriaMetrics单元、APIServer单元以及告警监控配置模块；所述Prometheus单元分别与所述硬件指标采集器，所述任务指标采集器、所述组件指标采集器以及所述VictoriaMetrics单元连接；所述VictoriaMetrics单元还与所述APIServer单元连接；所述APIServer单元还与所述告警监控配置模块连接；

所述硬件指标采集器，用于采集UNIX操作系统的内置目录下的性能指标文本数据，并将采集的所述性能指标文本数据进行处理，得到第一处理指标数据，并将所述第一处理指标数据以标准网络请求接口暴露；所述任务指标采集器，用于通过数据库接口运行查询语句采集业务任务数据库中的指标数据，并将采集的指标数据以标准网络请求接口暴露；所述组件指标采集器，用于采集大数据组件暴露出的轻量级数据交换格式数据，并将采集的轻量级数据交换格式数据进行处理，得到第二处理指标数据，并将所述第二处理指标数据以标准网络请求接口暴露；

所述Prometheus单元，用于周期性地发起探测请求以获取以标准网络请求接口暴露的指标数据以及指标数据对应的探测请求时间；所述VictoriaMetrics单元，用于以时序存储格式存储所述Prometheus单元获取的指标数据以及指标数据对应的探测请求时间；所述APIServer单元，用于通过调用查询请求，从所述VictoriaMetrics单元中调用所请求的时间段的指标数据，以使所述VictoriaMetrics单元将调用的指标数据以轻量级数据交换格式返回；

所述告警监控配置模块，用于配置告警信息以及监控信息，并根据配置的告警信息和监控信息向所述APIServer单元发送所述查询请求。

2.根据权利要求1所述的服务器集群监控及告警系统，其特征在于，所述告警监控配置模块包括控制台、告警配置单元、监控配置单元、告警通知单元以及监控展示单元；所述控制台与所述告警配置单元以及所述监控配置单元连接，所述告警配置单元与所述告警通知单元连接，所述监控配置单元与所述监控展示单元连接；

所述控制台，用于控制所述告警配置单元以及所述监控配置单元；

所述告警配置单元，用于通过所述控制台配置告警指标、告警方式以及告警指标对应的告警触发阈值；

所述监控配置单元，用于通过所述控制台配置监控指标以及监控指标展示方式；

所述监控展示单元，用于根据所述监控配置单元配置的监控指标以及监控指标展示方式进行监控指标展示；

所述告警通知单元，用于根据所述告警配置单元配置的告警指标、告警方式以及告警指标对应的告警触发阈值进行告警通知。

3.根据权利要求1或2所述的服务器集群监控及告警系统，其特征在于，所述VictoriaMetrics单元将存储数据进行分布式存储。

4.根据权利要求1或2所述的服务器集群监控及告警系统，其特征在于，所述Prometheus单元，还用于对获取的指标数据标记对应的指标类别以及指标环境。

5.根据权利要求1或2所述的服务器集群监控及告警系统，其特征在于，所述硬件指标采集器，还用于将采集的文本数据中的第一列文本数据作为指标名称，第二列数据作为指标值，得到第一处理指标数据。

6.根据权利要求1或2所述的服务器集群监控及告警系统，其特征在于，所述任务指标采集器采集的指标数据包括任务名称、任务开始时间、任务结束时间、任务占用的内存资源以及任务占用的CPU资源。

7.根据权利要求1或2所述的服务器集群监控及告警系统，其特征在于，所述组件指标采集器，还用于将采集的轻量级数据交换格式数据中的key值作为指标名称，value值作为指标值，得到第二处理指标数据。

Images