CN109245927A - 云数据系统中的告警系统和方法 - Google Patents

Abstract

本发明公开了一种云数据系统中的告警系统和方法和装置。所述系统包括：采集服务器，用于按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果；转发集群，用于接收所述采集服务器发送的采集结果，并汇总所述采集结果，发送所述汇总结果；告警集群，用于接收所述汇总结果，并从所述汇总结果识别出告警任务，输出告警通知。

Description

云数据系统中的告警系统和方法

技术领域

本发明涉及信息处理领域，尤指一种云数据系统中的告警系统和方法。

背景技术

随着系统业务规模和重要性的提升，对监控告警系统的实时性要求越来越严格。一方面系统中机器规模、业务指标越来越多，需实现系统高负载且支持灵活的监控告警配置；另一面业务重要性越来越高，对其告警的实时性要求也越来越高。为兼顾上述要求，实现支持高实时性、灵活配置、高负载实时监控告警系统成为重要研究课题。

传统实时监控告警系统存在高实时性、配置灵活性、高负载等方面无法实现兼顾。有的为了实现高实时性而牺牲高负载和配置灵活性；有的为了支持系统的高负载而牺牲高实时性，因此传统监控告警系统已经不能完全满足现有应用的需求。

云计算(Cloud Computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。现有技术中云平台在用户现场运行一段时间之后经常会出现系统访问超时，云平台依赖的虚拟机内存使用耗尽等问题，严重影响了用户工作效率。

为了更好的解决云平台目前存在的问题，需要及时发现云平台存在的问题。因此，提供一套适用于云平台且能够实时监测的告警系统是目前亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供了一种云数据系统中的告警系统和方法，能够提供一套适用于云平台且能够实时监测的告警系统。

为了达到本发明目的，本发明提供了一种云数据系统中的告警系统，其特征在于，包括：

采集服务器，用于按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果；

转发集群，用于接收所述采集服务器发送的采集结果，并汇总所述采集结果，发送所述汇总结果；

告警集群，用于接收所述汇总结果，并从所述汇总结果识别出告警任务，输出告警通知。

其中，所述装置还具有如下特点：所述系统还包括：

采集终端，用于按照预先设置的采集策略中所配置的资源类型，对所在的设备上对应的资源进行数据采集，并发送给所述采集服务器。

其中，所述装置还具有如下特点：所述采集服务器包括：

第一获取模块，用于接收所采集的资源对应的数据模型，其中所述数据模型包括所述采集结果所使用的数据格式；

生成模块，用于在完成数据采集后，根据所述数据模型，对所述数据采集得到的数据进行处理，得到符合所述数据模型中数据格式的采集结果。

其中，所述装置还具有如下特点：

所述转发集群包括：

计算模块，用于在得到汇总结果后，对所述汇总结果进行哈希计算，得到所述汇总结果对应的第一哈希值；

第一发送模块，用于将所述第一哈希值发送给所述告警集群；

所述告警集群包括：

验证模块，用于在接收到转发集群发送的汇总结果后，对所述接收的汇总结果进行哈希计算，得到接收的数据对应的第二哈希值；

第一比较模块，用于将所述第二哈希值与所述第一哈希值进行比较，得到比较结果；

控制模块，用于在所述比较结果为所述第二哈希值等于所述第一哈希值时，触发从所述汇总结果识别出告警任务的操作。

其中，所述装置还具有如下特点：

所述控制模块，还用于在所述比较结果为所述第二哈希值不等于所述第一哈希值时，向所述转发集群发送重新发送所述汇总结果的请求。

其中，所述装置还具有如下特点：所述告警系统包括：

识别模块，用于在接收到所述汇总结果后，根据预先存储的数据模型，识别所述汇总结果中数据所属的资源类型；

判断模块，用于判断所述汇总结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果；

第二获取模块，用于如果所述判断结果为符合该资源类型中参数对应的告警策略，则从所述汇总结果中获取资源的标识信息；

输出模块，用于根据所述资源的标志信息和所述判断结果，输出告警通知。

其中，所述装置还具有如下特点：所述告警集群还包括：

解析模块，用于对所述汇总结果中的数据进行解析，得到所述数据描述的资源类型和资源的标识信息；

确定模块，用于根据所述资源类型和资源的标志信息，确定该资源所需验证的告警任务，并控制所述判断模块对所需验证的告警任务进行判断。

其中，所述装置还具有如下特点：所述告警集群还包括：

接收模块，用于接收对告警任务的管理请求，其中所述管理请求用于请求对资源种类、告警项、告警的策略中的至少一个的管理；

处理模块，用于根据所述管理请求，对本地记录的告警任务进行处理。

一种云数据系统中的告警方法，应用在上文任一所述的系统，所述方法包括：

接收按照云平台的资源类型对资源进行数据采集的采集结果；

根据预先存储的数据模型，识别所述采集结果中数据所属的资源类型；

判断所述采集结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果；

如果所述判断结果为符合该资源类型中参数对应的告警策略，则从所述采集结果中获取资源的标识信息；

根据所述资源的标志信息和所述判断结果，输出告警通知。

其中，所述方法还具有如下特点：所述判断所述采集结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果之前，所述方法还包括：

对所述采集结果中的数据进行解析，得到所述数据描述的资源类型和资源的标识信息；

根据所述资源类型和资源的标志信息，确定该资源所需验证的告警任务，并控制对所需验证的告警任务进行判断。

本发明提供的实施例，利用采集服务器按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果给转发集群，由转发集群，用汇总所述采集结果，发送给告警集群，再从所述汇总结果识别出告警任务，输出告警通知，实现基于云平台中资源类型的告警管理，可实现高实时性、灵活配置，高负载的实时监控告警服务，提高系统和业务的监控告警的效率和灵活性，降低监控系统维护成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明提供的数据系统中的告警系统的结构图；

图2为本发明应用实例提供的数据系统中的告警系统的结构图；

图3为本发明提供的数据系统中的告警方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明提供的云数据系统中的告警系统的结构图。图1所示系统包括：

采集服务器，用于按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果；

转发集群，用于接收所述采集服务器发送的采集结果，并汇总所述采集结果，发送所述汇总结果；

告警集群，用于接收所述汇总结果，并从所述汇总结果识别出告警任务，输出告警通知。

本发明提供的系统实施例，利用采集服务器按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果给转发集群，由转发集群，用汇总所述采集结果，发送给告警集群，再从所述汇总结果识别出告警任务，输出告警通知，实现基于云平台中资源类型的告警管理，可实现高实时性、灵活配置，高负载的实时监控告警服务，提高系统和业务的监控告警的效率和灵活性，降低监控系统维护成本。

下面对本发明提供的系统作进一步说明：

为解决传统实时监控告警系统存在高实时性、配置灵活性、高负载等方面无法实现兼顾的问题，本发明提供一种基于数据上报的实时监控告警系统，实现高实时性、灵活配置，高负载的实时监控告警服务，提高系统和业务的监控告警的效率和灵活性，降低监控系统维护成本。

在本发明提供的一个系统实施例中，所述系统还包括：

采集终端，用于按照预先设置的采集策略中所配置的资源类型，对所在的设备上对应的资源进行数据采集，并发送给所述采集服务器。

具体的，本发明提供的监控告警数据上报方式是通过客户端和服务器的方式，实现了在所需监控的资源上部署数据采集终端agent,数据采集任务或者业务系统主动上报数据到agent。其中，此处所描述的资源可以为主机、虚拟机、操作系统和存储系统等。

在本发明提供的一个系统实施例中，所述采集服务器包括：

第一获取模块，用于接收所采集的资源对应的数据模型，其中所述数据模型包括所述采集结果所使用的数据格式；

生成模块，用于在完成数据采集后，根据所述数据模型，对所述数据采集得到的数据进行处理，得到符合所述数据模型中数据格式的采集结果。

具体的，采用的数据模型至少包括:

a)数据类型的标识ID；

b)所在资源ID，即所采集的资源在该类资源中资源的编号；

c)数据标签，可以资源分组、服务类型等对数据分类的标识；

d)数据采集周期；

e)数据采集时间，即本次数据的采集时间；

f)监控值。

这样的操作，一方面使用agent支持大规模数据；另一方面约束好数据模型，有利于数据格式的统一，方便计算和告警触发判断。

通过借助集群的能力，可以实现海量数据的接收和转发。资源数量和业务种类非常多，导致上报的数据规模较大。采用了数据接收转发集群，一方面接收来自agent的数据实现监控数据的高吞吐量；另一方面通过一致性Hash算法将数据转发告警处理集群。为了保证数据传输的一致性，在本发明提供的一个系统实施例中，所述转发集群包括：

计算模块，用于在得到汇总结果后，对所述汇总结果进行哈希计算，得到所述汇总结果对应的第一哈希值；

第一发送模块，用于将所述第一哈希值发送给所述告警集群；

相对应的，所述告警集群包括：

验证模块，用于在接收到转发集群发送的汇总结果后，对所述接收的汇总结果进行哈希计算，得到接收的数据对应的第二哈希值；

第一比较模块，用于将所述第二哈希值与所述第一哈希值进行比较，得到比较结果；

控制模块，用于在所述比较结果为所述第二哈希值等于所述第一哈希值时，触发从所述汇总结果识别出告警任务的操作。

由上可以看出，通过将与转发集群采用同样的一致性Hash算法下发告警任务到告警处理集群，实现告警任务与监控数据的一致。

当然，所述控制模块，还用于在所述比较结果为所述第二哈希值不等于所述第一哈希值时，向所述转发集群发送重新发送所述汇总结果的请求。

具体的，在检测到收到的数据存在内容不一致的情况时，需及时向转发集群请求重发，以保证及时的收到正确数据，保证后续告警操作的及时发现。

在本发明提供的一个系统实施例中，所述告警系统包括：

识别模块，用于在接收到所述汇总结果后，根据预先存储的数据模型，识别所述汇总结果中数据所属的资源类型；

判断模块，用于判断所述汇总结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果；

第二获取模块，用于如果所述判断结果为符合该资源类型中参数对应的告警策略，则从所述汇总结果中获取资源的标识信息；

输出模块，用于根据所述资源的标志信息和所述判断结果，输出告警通知。

具体的，借助数据模型可以快速的完成资源类型的解析，在得到解析结果后，获取数据中所包含的参数，按照该资源类型的告警项，将参数的实时值与告警策略进行比较，可以有效提高数据解析结果，提高数据处理效率。

为了提高对告警任务的识别效率，在本发明提供的一个系统实施例中，所述告警集群还包括：

解析模块，用于对所述汇总结果中的数据进行解析，得到所述数据描述的资源类型和资源的标识信息；

确定模块，用于根据所述资源类型和资源的标志信息，确定该资源所需验证的告警任务，并控制所述判断模块对所需验证的告警任务进行判断。

具体的，告警集群中每个实例首先根据数据种类ID，资源ID与告警任务进行匹配，实现对判断操作的筛选，有针对性的进行后续比较，借此根据数据值与告警配置进行计算，最后如果触发告警则发送通知。

为了方便用户告警工作的管理，本发明提供的一个系统实施例中，所述告警集群还包括：

接收模块，用于接收对告警任务的管理请求，其中所述管理请求用于请求对资源种类、告警项、告警的策略中的至少一个的管理；

处理模块，用于根据所述管理请求，对本地记录的告警任务进行处理。

其中，接收用户从如下方面对告警任务的管理请求，具体包括：

资源种类，例如主机、虚拟机、操作系统和存储系统等；

告警项，例如CPU使用率、内存使用率、系统负载和系统进程数等；

告警策略，例如告警阈值、告警时间段、通知人列表等。

在接收到上述管理请求后，进行相应的更新，实现告警任务的更新和管理，以便日后更好的进行告警工作。

综上所述，本发明提供的方法具有如下优势：

1、采用数据采集Agent支持海量数据的采集；

2、实现数据处理、告警任务、告警处理的数据分片和集群化处理，从而支持海量数据的处理和告警判断；

3、从数据上报和告警通知在秒级，具有非常高实时性；

4、通过集群来对系统进行管理，方便系统水平扩容。

基于此，本发明实现了一种基于数据上报的实时监控告警系统，实现高实时性、灵活配置，高负载的实时监控告警服务，提高系统和业务的监控告警的效率和灵活性，降低监控系统维护成本。

图2为本发明应用实例提供的数据系统中的告警系统的结构图。图2所示系统旨在提供一种基于数据上报的实时监控告警系统。该系统的实现部署过程如下：

(1)部署各类资源中的数据采集终端Agent，启动部署数据采集任务和业务系统上报数据；配置数据接收转发集群地址。其中，agent支持大规模数据，并预先约束好数据模型，以实现数据格式的统一，方便计算和告警触发判断。

(2)部署数据接收转发集群，配置告警集群地址。

(3)部署告警集群。

(4)部署告警任务管理系统，配置告警集群地址；用户添加告警任务并同步到告警集群中。

基于上述部署，完成的告警流程具体如下：

步骤一部署采集数据Agent，启动相应的数据采集服务和业务系统。数据采集服务和业务系统收集数据并按数据模型约束的数据格式上报给采集数据Agent，采集数据Agent再将数据上报给数据接收转发集群；

步骤二部署数据接收转发集群。接收采集数据Agent上报的数据，然后根据一致性Hash将数据转发到相应的告警集群实例中；

步骤三数据告警任务管理系统和告警集群。用户添加告警任务并同步到告警集群中，告警集群根据数据种类ID，资源ID与告警任务进行匹配，然后根据数据值与告警行配置进行计算，最后如果触发告警则发送通知。

本发明应用实例提供的系统，基于数据上报实时监控进行告警，基于此系统可实现高实时性、灵活配置，高负载的实时监控告警服务，提高系统和业务的监控告警的效率和灵活性，降低监控系统维护成本。

图3为本发明提供的云数据系统中的告警方法的流程图。图3所示方法应用在图1所示的系统中，所示方法包括：

步骤301、接收按照云平台的资源类型对资源进行数据采集的采集结果；

步骤302、根据预先存储的数据模型，识别所述采集结果中数据所属的资源类型；

步骤303、判断所述采集结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果；

步骤304、如果所述判断结果为符合该资源类型中参数对应的告警策略，则从所述采集结果中获取资源的标识信息；

步骤305、根据所述资源的标志信息和所述判断结果，输出告警通知。

可选的，所述判断所述采集结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果之前，所述方法还包括：

对所述采集结果中的数据进行解析，得到所述数据描述的资源类型和资源的标识信息；

根据所述资源类型和资源的标志信息，确定该资源所需验证的告警任务，并控制对所需验证的告警任务进行判断。

本发明提供的方法实施例，利用采集服务器按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果给转发集群，由转发集群，用汇总所述采集结果，发送给告警集群，再从所述汇总结果识别出告警任务，输出告警通知，实现基于云平台中资源类型的告警管理，可实现高实时性、灵活配置，高负载的实时监控告警服务，提高系统和业务的监控告警的效率和灵活性，降低监控系统维护成本。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括系统实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种云数据系统中的告警系统，其特征在于，包括：

采集服务器，用于按照云平台的资源类型对预先配置的资源进行数据采集，并发送所述采集结果；

转发集群，用于接收所述采集服务器发送的采集结果，并汇总所述采集结果，发送所述汇总结果；

告警集群，用于接收所述汇总结果，并从所述汇总结果识别出告警任务，输出告警通知。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

采集终端，用于按照预先设置的采集策略中所配置的资源类型，对所在的设备上对应的资源进行数据采集，并发送给所述采集服务器。

3.根据权利要求1所述的系统，其特征在于，所述采集服务器包括：

第一获取模块，用于接收所采集的资源对应的数据模型，其中所述数据模型包括所述采集结果所使用的数据格式；

生成模块，用于在完成数据采集后，根据所述数据模型，对所述数据采集得到的数据进行处理，得到符合所述数据模型中数据格式的采集结果。

4.根据权利要求1所述的系统，其特征在于：

所述转发集群包括：

计算模块，用于在得到汇总结果后，对所述汇总结果进行哈希计算，得到所述汇总结果对应的第一哈希值；

第一发送模块，用于将所述第一哈希值发送给所述告警集群；

所述告警集群包括：

验证模块，用于在接收到转发集群发送的汇总结果后，对所述接收的汇总结果进行哈希计算，得到接收的数据对应的第二哈希值；

第一比较模块，用于将所述第二哈希值与所述第一哈希值进行比较，得到比较结果；

控制模块，用于在所述比较结果为所述第二哈希值等于所述第一哈希值时，触发从所述汇总结果识别出告警任务的操作。

5.根据权利要求4所述的系统，其特征在于：

所述控制模块，还用于在所述比较结果为所述第二哈希值不等于所述第一哈希值时，向所述转发集群发送重新发送所述汇总结果的请求。

6.根据权利要求1所述的系统，其特征在于，所述告警系统包括：

识别模块，用于在接收到所述汇总结果后，根据预先存储的数据模型，识别所述汇总结果中数据所属的资源类型；

判断模块，用于判断所述汇总结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果；

第二获取模块，用于如果所述判断结果为符合该资源类型中参数对应的告警策略，则从所述汇总结果中获取资源的标识信息；

输出模块，用于根据所述资源的标志信息和所述判断结果，输出告警通知。

7.根据权利要求6所述的系统，其特征在于，所述告警集群还包括：

解析模块，用于对所述汇总结果中的数据进行解析，得到所述数据描述的资源类型和资源的标识信息；

确定模块，用于根据所述资源类型和资源的标志信息，确定该资源所需验证的告警任务，并控制所述判断模块对所需验证的告警任务进行判断。

8.根据权利要求1所述的系统，其特征在于，所述告警集群还包括：

接收模块，用于接收对告警任务的管理请求，其中所述管理请求用于请求对资源种类、告警项、告警的策略中的至少一个的管理；

处理模块，用于根据所述管理请求，对本地记录的告警任务进行处理。

9.一种云数据系统中的告警方法，其特征在于，应用在如权利要求1至8任一所述的系统，所述方法包括：

接收按照云平台的资源类型对资源进行数据采集的采集结果；

根据预先存储的数据模型，识别所述采集结果中数据所属的资源类型；

判断所述采集结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果；

如果所述判断结果为符合该资源类型中参数对应的告警策略，则从所述采集结果中获取资源的标识信息；

根据所述资源的标志信息和所述判断结果，输出告警通知。

10.根据权利要求9所述的方法，其特征在于，所述判断所述采集结果中的数据是否预先设置的该资源类型中参数对应的告警策略，得到判断结果之前，所述方法还包括：

对所述采集结果中的数据进行解析，得到所述数据描述的资源类型和资源的标识信息；

根据所述资源类型和资源的标志信息，确定该资源所需验证的告警任务，并控制对所需验证的告警任务进行判断。