CN103905533A - 基于云存储的分布式告警监控方法和系统 - Google Patents

Abstract

本发明公开了一种基于云存储的分布式告警监控方法和系统。该方法包括步骤：获取云存储系统的告警信息，并上报告警信息给消息队列；通过消息队列接收告警信息，将所接收的告警信息排序并载入消息队列，通过消息队列把告警信息发送给相应计算机进行处理。本发明的基于云存储的分布式告警监控方法及其系统通过收集整个云存储系统中出现的大量各种告警信息，然后上报给消息队列，再由消息队列进行排序处理后发送给相应的计算机进行处理，使得计算机处理的告警信息的量收消息队列大小的限制。从而避免了大量告警信息同时交由服务器处理，而导致服务器的内存和CPU消耗过大导致系统无法正常运行的问题。

Description

基于云存储的分布式告警监控方法和系统

技术领域

本发明涉及云存储技术的应用，特别是涉及一种云存储技术的分布式告警监控方法和系统。

背景技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

为了保证云存储系统的正常运行，技术人员采取了各种保障措施。如针对云存储系统发生故障时向上级管理服务器上报告警信息。具体地，对云存储系统下面的集群总存储量以及云存储的每一个用户的使用值进行监控，当满足云存储系统设定的告警值或者云存储系统发生故障时候，会执行监控告警。

传统监控告警方法是：1、检查是否有告警，编写一个告警方法每次轮询一下所有的用户看看是否有超过告警值的；2、上报告警信息，上报每个用户的告警信息到特定的服务器；3、处理告警信息、服务器统一处理告警信息。然而，由于云存储用户的数量都比较大，从而导致了对存储用户的监控告警也比较大，从而产生大量的告警监控项、告警存储数据以及告警处理数据。当告警信息非常大的时候，传统的告警方法会不停地上报和处理告警信息，从而导致上报告警信息和处理告警信息的服务器内存、cpu消耗过大而致使系统无法正常运行。目前，虽然通过增强计算机的计算能力和内存可以解决此问题，但这样做一方面增加了系统开发的成本，另一方面导致系统性能的下降。

发明内容

基于此，有必要针对云存储中由于监控数据过大，传统的监控告警方法不能满足系统要求的问题，提供一种基于云存储的分布式告警监控方法和系统。

一种基于云存储的分布式告警监控方法，包括步骤：获取云存储系统的告警信息，并上报告警信息给消息队列；通过消息队列接收告警信息，将所接收的告警信息排序并装入消息队列并通过消息队列把告警信息发送给相应计算机进行处理。

相应地，本发明还提供一种基于云存储的分布式告警监控系统，包括：工作调度模块，用于获取云存储系统的告警信息，并上报告警信息给消息队列；消息队列管理模块，用于通过消息队列接收告警信息，将所接收的告警信息排序并装入消息队列并通过消息队列把告警信息发送给相应计算机进行处理。

本发明的基于云存储的分布式告警监控方法及其系统通过收集整个云存储系统中出现的大量各种告警信息，然后上报给消息队列，再由消息队列进行排序处理后发送给相应的计算机进行处理，由于消息队列每次接收和发送的告警信息的容量都是一定的，所以当有大量的告警信息需要上报时，消息队列会分开多次接收不同告警信息，并每次将定量的告警信息发送给相应计算机处理，使得计算机处理的告警信息的量受消息队列大小的限制。从而避免了大量告警信息同时交由服务器处理，而导致服务器的内存和CPU消耗过大导致系统无法正常运行的问题。

附图说明

图1是本发明一种基于云存储的分布式告警监控方法的流程图；

图2是本发明一种基于云存储的分布式告警监控方法的实施例流程图；

图3是本发明一种基于云存储的分布式告警监控系统的结构框图；

图4是本发明一种基于云存储的分布式告警监控系统实施例的结构框图。

具体实施方式

为了使本发明的目的、技术方案和有点更加清楚，下面将结合附图对本发明作进一步地详细描述。

请参阅图1，其是本发明一种基于云存储的分布式告警监控方法的流程图，包括：

S10：获取云存储系统的告警信息，并上报告警信息给消息队列；

S20：通过消息队列接收告警信息，将所接收的告警信息排序并装入消息队列并通过消息队列把告警信息发送给相应计算机进行处理。

基于现有告警监控方法的缺陷，本发明所述的技术方案通过收集整个云存储系统中出现的大量各种告警信息，并将告警信息上报给消息队列，再由消息队列发送给相应的计算机进行处理，由于消息队列每次接收和发送的告警信息的容量都是一定的，所以当有大量的告警信息需要上报时，所述消息队列会分开多次来接收不同告警信息，并每次将定量的告警信息发送给相应计算机处理，使得计算机接收和处理的告警信息的量受消息队列大小的限制。从而避免了大量告警信息同时交由服务器处理，而导致服务器的内存和CPU消耗过大导致系统无法正常运行的问题。

请参阅图2，其是本发明一种基于云存储的分布式告警监控方法的实施例流程图。

S101：通过工作调度框架按照预先设定的工作调度时间，检测云存储系统中的监控项。

所述工作调度框架根据系统预先设置的工作调度时间，执行检测任务，首先，工作调度框架查看数据库中预先设置的监控项以及每个监控项对应的告警值并根据每个监控项设置的告警值对云存储系统进行检查。

优选地，所述工作调度框架为Quartz工作调度框架。Quartz工作调度框架提供了强大任务调度机制，涉及到多线程并发、运行时间规则制定和解析、场景保持与恢复、线程池维护等诸多方面的工作。Quartz工作调度框架允许灵活地定义内部触发器的调度时间表，并可以对触发器和任务进行关联映射，而且还提供了调度运行环境的持久化机制，可以保存并恢复调度现场，即使系统因故障关闭，任务调度现场数据并不会丢失。另外，Quartz工作调度框架还支持线程池，线程池为检测任务提供执行线程，这比执行检测任务时创建一个新线程的效率更高，同时通过线程池的共享减少了检测任务对计算机的资源占用。通过线程池组件的支持，对于繁忙度高、压力大的任务调度，Quartz将可以提供良好的伸缩性。

所述工作调度时间设置为多种方式，可以为在固定的时间点或者在固定的时间间隔执行检测任务，也可以为根据云存储系统不同时段设置不同时间间隔执行检测任务。在设定的时间内对云存储系统检测，可以使监控任务易于控制，避免了在较短的时间产生的大量的告警信息。

优选地，根据云存储系统下各集群和用户的优先级执行不同时间间隔的检测任务，优先级高的集群和用户，具有更多的检测次数。相应地，对云存储系统重要的集群和用户具有高的优先级。对优先级高的集群和用户执行更多的检测，能够及时发现对云存储系统重要的告警信息。对于优先级较低的集群和用户，其产生的告警信息并不会对云存储系统产生大的影响，不需要及时发现并进行处理。

所述监控项为需要对云存储系统进行监控的项目，包括，云存储系统下各个集群的总存储量以及各个集群下每个用户的存储量。云存储系统是一个以数据存储和管理为核心的云计算系统，所以需要对云存储系统下各个集群和用户的存储量进行监控。

S102：判断是否存在告警信息。

根据每个所述监控项设定的告警值对云存储系统进行检查，判断云存储系统是否存在告警信息。例如，某一用户A的存储量为300G，而针对该用户A的告警值为299G，该用户A的存储量已经超过告警值，所以会产生一条告警信息，说明该用户A的存储量已经超过告警值并需要对其进行处理。所述告警信息包括用户或集群基本信息、存储量信息、超过告警值的存储量以及告警信息紧急程度等。

S103：若存在告警信息，则将告警信息上报给所述消息队列。

当发现云存储系统存在告警信息时，立即将获取的告警信息依次上报给消息队列。首先建立队列管理器管理上报的告警信息，其次定义本地传输队列确定发送的告警信息，然后创建远程队列确定发送的地址，最后定义发送通道，确定好发送方式。即可实现将告警信息上报至消息队列。

所述工作调度框架定义多个独立、并发执行的调度任务，工作调度框架里面定义的每一个调度任务，一旦检查到告警信息就依次上报给消息队列，所以并不是所以的告警信息全部依次顺序的执行上报。

S201：通过消息队列接收告警信息。

消息队列接收告警信息，首先需要建立队列管理器管理所接收的告警信息，然后定义本地队列以接收告警信息，最后创建接收通道，确定告警信息的接收方式。即可实现将消息队列接收告警信息。

S202：将所接收的告警信息排序并载入消息队列。

由于消息队列每次发送告警信息的数据量是固定的，所以接收有大量的告警信息，消息队列将分多次发送告警信息给相应的计算机。接收告警信息后先对告警信息进行排序，排序方式可以按照接收的时间先后进行排序，也可以按照告警信息的数据量进行排序，排序后依次载入消息队列。

优选地，依据告警信息优先级排序，优先级高的告警信息优先装入消息队列。对系统重要的告警信息优先级越高。依照系统设定的优先级将告警信息排序，可以使重要的告警信息能够及时广播到相应的计算机上进行处理，进一步提高系统的稳定性。

S203：通过消息队列把告警信息发送给相应计算机进行处理。

消息队列把排序好的告警信息依次发送到相应的计算机，计算机根据告警信息的内容执行不同的处理，例如，发邮件或者信息给管理员，通知用户减少使用的存储量等。如果发送消息时，接收的计算机不可用，消息队列会保留告警信息和路由信息，知道可以成功传递位置，保证了告警信息的有效传递，避免了中途丢失告警信息的情况。所述告警信息的发送模式为点对点或多点广播发送，也可为发布/订阅模式发送。

优选地，所述告警信息的发送模式为发布/订阅模式发送。采用发布/订阅模式广播告警信息，消息队列不需要知道发送告警信息的具体目的地，而对应的计算机根据告警信息内容判断并接收自己订阅的告警信息，使得消息队列在广播告警信息工作效率更高。

现有的告警监控方法是只要发现告警信息，就立即上报特定的服务器，服务器接收告警信息后对告警信息进行统一处理。当云存储系统短时间内出现大量告警信息时，导致服务器的内存和CPU消耗过大导致系统无法正常运行。而本发明不急于将告警信息直接发送给处理的服务器，而是先发送给消息队列，接收到的告警信息排序后，根据告警信息的优先级排序，再把消息广播到相应的计算机。一方面，由于消息队列每次发送的告警信息的容量都是一定的，所以当有大量的告警信息需要上报时，消息队列会分开多次来接收不同告警信息，并每次分开多次将所接收的告警信息发送给相应计算机处理，使得计算机处理的告警信息的量收消息队列大小的限制，减轻了处理告警信息的计算机的负荷，而且优先处理对系统重要的告警信息，有助于进一步保证系统的稳定性；另一方面，把告警信息发送给相应计算机进行处理，可以将本来由特定服务器处理的事情，分散到不同计算机处理，起到了进一步减轻处理告警信息计算机负荷的作用。

请参阅图3，其是本发明一种基于云存储的分布式告警监控系统的结构框图，包括：

工作调度模块，用于获取云存储系统的告警信息，并上报告警信息给消息队列；

消息队列管理模块，用于通过消息队列接收告警信息，将所接收的告警信息排序并装入消息队列并通过消息队列把告警信息发送给相应计算机进行处理。

基于现有告警监控系统的缺陷，本发明所述的技术方案工作调度模块收集整个云存储系统中出现的大量各种告警信息，并将告警信息上报给消息队列，再由消息队列管理模块通过消息队列发送给相应的计算机进行处理，由于消息队列每次接收和发送的告警信息的容量都是一定的，所以当有大量的告警信息需要上报时，所述消息队列会分开多次来接收不同告警信息，并每次将定量的告警信息发送给相应计算机处理，使得计算机接收和处理的告警信息的量受消息队列大小的限制。从而避免了大量告警信息同时交由服务器处理，而导致服务器的内存和CPU消耗过大导致系统无法正常运行的问题。

请参阅图4，其是本发明一种基于云存储的分布式告警监控系统实施例的结构框图。

工作调度模块，用于获取云存储系统的告警信息，并上报告警信息给消息队列；

检测模块，用于通过工作调度框架按照预先设定的工作调度时间，检测云存储系统中的监控项，并根据每个所述监控项设定的告警值，判断云存储系统是否存在告警信息。

所述检测模块根据系统预先设置的工作调度时间，执行检测任务，首先，工作调度框架查看数据库中预先设置的监控项以及每个监控项对应的告警值并根据每个监控项设置的告警值对云存储系统进行检查，并判断云存储系统是否存在告警信息。

其中，所述工作调度框架，优选地，所述工作调度框架为Quartz工作调度框架。

所述工作调度时间设置为多种方式，可以为在固定的时间点或者在固定的时间间隔执行检测任务，也可以为根据云存储系统不同时段设置不同时间间隔执行检测任务。检测模块在设定的时间内对云存储系统检测，可以使监控任务易于控制，避免了在较短的时间产生的大量的告警信息。

优选地，检测模块根据云存储系统下各集群和用户的优先级执行不同时间间隔的检测任务，优先级高的集群和用户，具有更多的检测次数。相应地，对云存储系统重要的集群和用户具有高的优先级。对优先级高的集群和用户执行更多的检测，能够及时发现对云存储系统重要的告警信息。对于优先级较低的集群和用户，其产生的告警信息并不会对云存储系统产生大的影响，不需要及时发现并进行处理。

所述监控项为需要对云存储系统进行监控的项目，包括，云存储系统下各个集群的总存储量以及各个集群下每个用户的存储量。云存储系统是一个以数据存储和管理为核心的云计算系统，所以需要对云存储系统下各个集群和用户的存储量进行监控。

所述检测模块根据每个所述监控项设定的告警值对云存储系统进行检查，判断云存储系统是否存在告警信息。例如，某一用户A的存储量为300G，而针对该用户A的告警值为299G，该用户A的存储量已经超过告警值，所以会产生一条告警信息，说明该用户A的存储量已经超过告警值并需要对其进行处理。所述告警信息包括用户或集群基本信息、存储量信息、超过告警值的存储量以及告警信息紧急程度等。

上报模块，用于存在告警信息，将告警信息上报给所述消息队列。

当发现云存储系统存在告警信息时，上报模块立即将获取的告警信息依次上报给消息队列。上报模块首先建立队列管理器管理上报的告警信息，其次定义本地传输队列确定发送的告警信息，然后创建远程队列确定发送的地址，最后定义发送通道，确定好发送方式。即可实现上报模块将告警信息上报至消息队列。

消息队列管理模块，用于通过消息队列接收告警信息，将所接收的告警信息排序并装入消息队列并通过消息队列把告警信息发送给相应计算机进行处理。

所述消息队列管理模块通过消息队列接收告警信息，首先消息队列管理模块需要建立队列管理器管理所接收的告警信息，然后定义本地队列以接收告警信息，最后创建接收通道，确定告警信息的接收方式。即可实现通过消息队列接收告警信息。

排序模块，用于对告警信息依据其优先级排序，使优先级高的告警信息优先装入消息队列。

由于消息队列每次发送告警信息的数据量是固定的，所以接收有大量的告警信息，消息队列将分多次发送告警信息给相应的计算机。接收告警信息后排序模块先对告警信息进行排序，排序方式可以按照接收的时间先后进行排序，也可以按照告警信息的数据量进行排序，排序后依次载入消息队列。

优选地，排序模块依据告警信息优先级排序，消息队列管理模块将优先级高的告警信息优先装入消息队列。对系统重要的告警信息优先级越高。排序模块依照系统设定的优先级将告警信息排序，可以使重要的告警信息能够及时广播到相应的计算机上进行处理，进一步提高系统的稳定性。

消息队列管理模块通过消息队列把排序好的告警信息依次发送到相应的计算机，计算机根据告警信息的内容执行不同的处理，例如，发邮件或者信息给管理员，通知用户减少使用的存储量等。如果发送消息时，接收的计算机不可用，消息队列会保留告警信息和路由信息，知道可以成功传递位置，保证了告警信息的有效传递，避免了中途丢失告警信息的情况。所述告警信息的发送模式为点对点或多点广播发送，也可为发布/订阅模式发送。

优选地，所述告警信息的发送模式为发布/订阅模式发送。采用发布/订阅模式广播告警信息，消息队列不需要知道发送告警信息的具体目的地，而对应的计算机根据告警信息内容判断并接收自己订阅的告警信息，使得消息队列在广播告警信息工作效率更高。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于云存储的分布式告警监控方法，其特征在于，包括步骤：

获取云存储系统的告警信息，并上报告警信息给消息队列；

通过消息队列接收告警信息，将所接收的告警信息排序并载入消息队列，通过消息队列把告警信息发送给相应计算机进行处理。

2.根据权利要求1所述的基于云存储的分布式告警监控方法，其特征在于，所述获取云存储系统的告警信息，并上报告警信息到消息队列的步骤，包括：

通过工作调度框架按照预先设定的工作调度时间，检测云存储系统中的监控项，并根据每个所述监控项设定的告警值，判断云存储系统是否存在告警信息；

若存在告警信息，则将告警信息上报给所述消息队列。

3.根据权利要求1所述的基于云存储的分布式告警监控方法，其特征在于，所述告警信息排序方式为依据告警信息优先级排序，优先级高的告警信息优先装入消息队列。

4.根据权利要求3所述的基于云存储的分布式告警监控方法，其特征在于，所述告警信息的发送模式为点对点或多点广播发送。

5.根据权利要求3所述的基于云存储的分布式告警监控方法，其特征在于，所述告警信息的发送模式为发布/订阅模式发送。

6.一种基于云存储的分布式告警监控系统，其特征在于，包括：

工作调度模块，用于获取云存储系统的告警信息，并上报告警信息给消息队列；

消息队列管理模块，用于通过消息队列接收告警信息，将所接收的告警信息排序并载入消息队列并通过消息队列把告警信息发送给相应计算机进行处理。

7.根据权利要求6所述的基于云存储的分布式告警监控系统，其特征在于，还包括：

检测模块，用于通过工作调度框架按照预先设定的工作调度时间，检测云存储系统中的监控项，并根据每个所述监控项设定的告警值，判断云存储系统是否存在告警信息

上报模块，用于存在告警信息，将告警信息上报给所述消息队列。

8.根据权利要求6所述的基于云存储的分布式告警监控系统，其特征在于，还包括：排序模块，用于对告警信息依据其优先级排序，使优先级高的告警信息优先装入消息队列。

9.根据权利要求6所述的基于云存储的分布式告警监控系统，其特征在于，所述告警信息的发送模式为点对点或多点广播发送。

10.根据权利要求6所述的基于云存储的分布式告警监控系统，其特征在于，所述告警信息的发送模式为发布/订阅模式发送。

Images