CN103401699A - 一种云数据中心安全监控预警系统及方法 - Google Patents

Abstract

本发明属于监控预警技术领域，尤其涉及一种云数据中心实时安全监控预警系统及方法。本发明云数据中心实时安全监控预警系统，包括数据收集模块、数据实时处理模块、数据存储模块、结果预测模块和报警模块，所述数据实时处理模块与将数据收集模块收集到的被监控对象的指标数据进行处理，所述数据存储模块将进行流计算处理后的数据存入到数据库中，所述结果预测模块用于根据数据库中的历史数据和数据实时处理模块提供的实时数据，预测数据指标未来时间的走向得到预测结果，所述报警模块根据预测结果进行报警。本发明的云数据中心实时安全监控预警系统及方法深入的挖掘各个指标数据间的关系及其走势，提前将危险状况通知管理人员。

Description

一种云数据中心安全监控预警系统及方法

技术领域

本发明属于监控预警技术领域，尤其涉及一种云数据中心安全监控预警系统及方法。

背景技术

近年来，越来越多的企业建设数据中心对信息进行管理和监控，在享受数据中心带来生产力提高的同时，其内在的监控预警成为了业内的热点。

数据中心的建设和实施是一项系统工程，有效控制实施数据中心过程中的各种风险至关重要，数据中心的风险是多方面的，例如：设备的安全性，数据存储的安全性，数据迁移等。数据中心的管理对象主要包括基础设施与IT基础架构两大部分，其中基础设施包括供配电、空调、消防、安保、环境监测等机房系统；基础架构包括网络设备、主机设备、存储设备等IT设备。

现有的云数据中心监控方法，用轮询的方法采集各种监控指标，将各项指标以图表的形式展现在界面上，但是现有的云数据中心监控方法的缺点在于：首先，仅仅是将各种监控结果以图表、报表和报警的形式展现给管理人员，而没有深入的挖掘各个指标数据间的关系及其走势；其次，已有的监控方法并未有效的提高数据中心的安全，因为当管理人员收到报警信息，并转而去处理的时候，数据中心有可能已经出现很大的危险，无法保障云数据中心的安全运行。

发明内容

本发明提供了一种云数据中心安全监控预警系统及方法，旨在解决现有的云数据中心监控方法仅仅是将各种监控结果以图表、报表和报警的形式展现给管理人员，而没有深入的挖掘各个指标数据间的关系及其走势的技术问题。

本发明提供的技术方案为：一种云数据中心实时安全监控预警系统，包括数据收集模块、数据实时处理模块、数据存储模块、结果预测模块和报警模块，所述数据收集模块收集各个被监控对象的指标数据，所述数据实时处理模块与数据收集模块相连，将数据收集模块收集到的各个被监控对象的指标数据进行处理，所述数据存储模块与数据实时处理模块相连，将数据实时处理模块进行流计算处理后的数据存入到数据库中，供预测模块调用其中的历史数据，所述结果预测模块分别与数据实时处理模块、数据存储模块相连，用于根据数据库中的历史数据和数据实时处理模块提供的实时数据，预测数据指标未来时间的走向得到预测结果，所述报警模块与结果预测模块相连，根据预测结果进行报警。

本发明的技术方案还包括：所述云数据中心实时安全监控预警系统还包括绘图模块，所述绘图模块分别与数据实时处理模块、结果预测模块相连，将各个被监控对象的实时数据和预测结果以动态图表的形式展现在界面上。

本发明的技术方案还包括：所述云数据中心实时安全监控预警系统还包括监控反馈处理模块，所述监控反馈处理模块分别与数据实时处理模块、结果预测模块相连，用于根据数据实时处理模块的结果和预测模块的结果自动采取处理措施。

本发明的技术方案还包括：所述数据收集模块采用实时轮询采集各个被监控对象的指标数据，所述被监控对象的指标包括：虚拟机CPU、memory、disk I/O、Net I/O等的运行状态和使用情况；物理机CPU、memory、电压、电流、能耗和温度等的运行状态和使用情况；集群的能耗、功率状态；数据中心机房的温度以及其他环境信息。

本发明的技术方案还包括：所述数据实时处理模块将数据收集模块收集到的各个被监控对象的各项指标数据进行流计算处理。

本发明的技术方案还包括：所述结果预测模块采用的具体预测方式为：统计在物理机上的业务，根据各个业务所要占用资源的大小绘出其变化走势；对应于各个业务的情况，统计n个节点的集群各项数据指标，将其存入数据库中；从数据库中读取历史数据，得到各项数据指标的变化曲线；对比业务的变化走势与数据指标的变化走势，建立关系预测模型，预测各项数据指标未来时间的走向；根据预测的数据走向，在各项数据指标将要达到安全阈值时通过报警模块发出预警。

本发明提供的另一技术方案为：一种云数据中心实时安全监控预警方法，包括：

步骤a：采集各个被监控对象的指标数据；

步骤b：将采集到的各项指标数据存入数据库并进行流计算处理，根据数据库中的历史数据和经流计算处理的实时数据，预测各项数据指标未来时间的走向得到预测结果；

步骤c：将流计算处理后的实时数据和预测结果在页面上进行展示，如果预测结果存在安全风险，则发出预警。

本发明的技术方案还包括：所述云数据中心实时安全监控预警方法还包括步骤d：根据流计算处理后的实时数据和预测结果自动采取降低数据中心风险的处理措施。

本发明的技术方案还包括：在所述步骤a中，采用实时轮询采集各个被监控对象的各项指标数据，所述被监控对象的指标包括：虚拟机CPU、memory、disk I/O、Net I/O等的运行状态和使用情况；物理机CPU、memory、电压、电流、能耗和温度等的运行状态和使用情况；集群的能耗、功率状态；数据中心机房的温度以及其他环境信息。

本发明的技术方案还包括：在所述步骤b中，所述预测各项数据指标未来时间的走向具体包括：统计在物理机上的业务，根据各个业务所要占用资源的大小绘出其变化走势；对应于各个业务的情况，统计n个节点的集群各项数据指标，将其存入数据库中；从数据库中读取历史数据，得到各项数据指标的变化曲线；对比业务的变化走势与数据指标的变化走势，建立关系预测模型，预测各项数据指标未来时间的走向。

本发明的技术方案具有如下优点或有益效果：本发明实施例的云数据中心实时安全监控预警系统及方法通过对各个被监控对象的指标数据进行实时处理，并结合历史数据进行风险预测和评估，深入的挖掘各个指标数据间的关系及其走势，提前将危险状况通知管理人员，并自动启动降低风险的措施，极大提升了云数据中心的安全。

附图说明

附图1是本发明实施例的云数据中心实时安全监控预警系统的结构示意图；

附图2是本发明实施例的云数据中心实时安全监控预警系统的工作原理图；

附图3是本发明实施例的云数据中心实时安全监控预警方法的流程图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，为本发明实施例的云数据中心实时安全监控预警系统的结构示意图。本发明实施例的云数据中心实时安全监控预警系统包括数据收集模块、数据实时处理模块、数据存储模块、结果预测模块、报警模块、绘图模块和监控反馈处理模块。

数据收集模块与物理集群相连，收集物理集群中各个被监控对象的各项指标数据。其中，物理集群包括至少一个虚拟集群，虚拟集群是将协同完成特定任务的多台同构或异构的计算机连接起来的系统。数据收集模块收集各个被监控对象的各项指标数据采用实时轮询采集各个被监控对象的各项指标数据，被监控对象的指标包括：虚拟机CPU、memory、disk I/O、Net I/O等的运行状态和使用情况；物理机CPU、memory、电压、电流、能耗和温度等的运行状态和使用情况；集群的能耗、功率状态；数据中心机房的温度以及其他环境信息。数据收集模块采用SNMP（Simple Network ManagementProtocol，简单网络管理协议），SNMP由一组网络管理的标准组成，包含一个应用层协议（application layer protocol）、数据库模型（database schema）和一组资料物件。该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况；具体请一并参阅图2，为本发明实施例的云数据中心实时安全监控预警系统的工作原理图。

数据实时处理模块与数据收集模块相连，将数据收集模块收集到的各个被监控对象的各项指标数据进行流计算处理。其中，流计算处理为把数据包分割成小块，然后通过并行计算的方式将这些数据快速处理。

数据存储模块与数据实时处理模块相连，将数据实时处理模块进行流计算处理后的数据存入到数据库中，供结果预测模块调用其中的历史数据。数据存储模块采用MongoDB，MongoDB是一个基于分布式文件存储的数据库。

结果预测模块分别与数据实时处理模块、数据存储模块相连，用于根据数据库中的历史数据和数据实时处理模块提供的实时数据，估测是否会有不安全的状态出现，提前将危险状况排除，防止危险出现了再去处理。

结果预测模块采用的具体预测方式为：统计在物理机上的业务（t1，t2...tN），根据各个业务所要占用资源的大小，如用户请求数（r1，r2...rN），绘出其变化走势；对应于各个业务的情况，统计n个节点（node1，node2...nodeN）的集群各项数据指标，如cpu利用率（cpu1，cpu2...cpuN）和物理机功率（w1,w2...wN），将其存入数据库中；从数据库中读取历史数据，得到各个物理机CPU的变化与功率的变化曲线；对比业务的变化走势与CPU和功率的变化走势，建立它们的关系预测模型，可以通过业务的请求，预测物理机CPU和功率未来时间的走向；根据预测的数据走向，如果物理机CPU和功率将要达到安全阈值，则通过报警模块发出预警。

其中，结果预测模块通过业务大小从而估测CPU利用率和功率的预测模型，另外结果预测模块还可以结合电流、电压和温度等指标建立预测模型，能使数据中心的安全性得到更好的保障。

报警模块与结果预测模块相连，将预测结果实时提供给管理人员，如果预测结果达到安全阈值，则发出报警。

绘图模块分别与数据实时处理模块、结果预测模块相连，将各个设备的实时数据和预测结果以动态图表的形式展现在web界面上。绘图模块绘制动态图表采用Highcharts，Highcharts是一个用纯JavaScript编写的一个图表库，能够很简单便捷的在web网站或是web应用程序添加有交互性的图表。

监控反馈处理模块分别与数据实时处理模块、结果预测模块相连，用于根据数据实时处理模块的结果和预测模块的结果自动采取一些处理措施，如关闭物理机，调整数据中心温度，关闭网络等。

请参阅图3，为本发明实施例的云数据中心实时安全监控预警方法的流程图。本发明实施例的云数据中心实时安全监控预警方法包括：

步骤100：采集物理集群中各个被监控对象的各项指标数据；

在步骤100中，物理集群包括至少一个虚拟集群，虚拟集群是将协同完成特定任务的多台同构或异构的计算机连接起来的系统。数据收集模块收集各个被监控对象的各项指标数据采用实时轮询采集各个被监控对象的各项指标数据，被监控对象的指标包括：虚拟机CPU、memory、disk I/O、Net I/O等的运行状态和使用情况；物理机CPU、memory、电压、电流、能耗和温度等的运行状态和使用情况；集群的能耗、功率状态；数据中心机房的温度以及其他环境信息。数据收集模块采用SNMP（Simple Network ManagementProtocol，简单网络管理协议），SNMP由一组网络管理的标准组成，包含一个应用层协议（application layer protocol）、数据库模型（database schema）和一组资料物件。该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。

步骤200：将采集到的各项指标数据存入数据库并进行流计算处理，根据数据库中的历史数据和经流计算处理的实时数据，预测各项数据指标未来时间的走向；

在步骤200中，流计算处理为把数据包分割成小块，然后通过并行计算的方式将这些数据快速处理，采用的具体预测方式为：统计在物理机上的业务（t1，t2...tN），根据各个业务所要占用资源的大小，如用户请求数（r1，r2...rN），绘出其变化走势；对应于各个业务的情况，统计n个节点（node1，node2...nodeN）的集群各项数据指标，如cpu利用率（cpu1，cpu2...cpuN）和物理机功率（w1,w2...wN），将其存入数据库中；从数据库中读取历史数据，得到各个物理机CPU的变化与功率的变化曲线；对比业务的变化走势与CPU和功率的变化走势，建立它们的关系预测模型，可以通过业务的请求，预测物理机CPU和功率未来时间的走向；根据预测的数据走向，如果物理机CPU和功率将要达到安全阈值，则发出预警。采用通过业务大小从而估测CPU利用率和功率的预测模型，另外还可以结合电流、电压和温度等指标建立预测模型，能使数据中心的安全性得到更好的保障。

步骤300：将流计算处理后的实时数据和预测结果在页面上进行绘图展示，如果预测结果表明存在某种程度的安全风险，将预测的风险发送给管理人员；

在步骤300中，以短信或邮件或电话等方式将预测的风险发送给管理人员，绘图展示可以提前给出不同层次的报警信号，如黄色警报表示存在潜在的安全风险，橙色警报表示临近安全阈值，红色警报表示已经发生安全性危险。

步骤400：根据流计算处理后的实时数据和预测结果自动采取降低数据中心风险的处理措施。

在步骤400中，自动采取降低数据中心风险的处理措施包括关闭物理机，调整数据中心温度，关闭网络等。

本发明实施例的云数据中心实时安全监控预警系统及方法通过对各个被监控对象的指标数据进行实时处理，并结合历史数据进行风险预测和评估，深入的挖掘各个指标数据间的关系及其走势，提前将危险状况通知管理人员，并自动启动降低风险的措施，极大提升了云数据中心的安全。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云数据中心实时安全监控预警系统，包括数据收集模块和数据实时处理模块，所述数据收集模块收集各个被监控对象的指标数据，所述数据实时处理模块与数据收集模块相连，将数据收集模块收集到的各个被监控对象的指标数据进行处理，其特征在于，还包括数据存储模块、结果预测模块和报警模块，所述数据存储模块与数据实时处理模块相连，将数据实时处理模块进行流计算处理后的数据存入到数据库中，供预测模块调用其中的历史数据，所述结果预测模块分别与数据实时处理模块、数据存储模块相连，用于根据数据库中的历史数据和数据实时处理模块提供的实时数据，预测数据指标未来时间的走向得到预测结果，所述报警模块与结果预测模块相连，根据预测结果进行报警。

2.根据权利要求1所述的云数据中心实时安全监控预警系统，其特征在于，还包括绘图模块，所述绘图模块分别与数据实时处理模块、结果预测模块相连，将各个被监控对象的实时数据和预测结果以动态图表的形式展现在界面上。

3.根据权利要求1所述的云数据中心实时安全监控预警系统，其特征在于，还包括监控反馈处理模块，所述监控反馈处理模块分别与数据实时处理模块、结果预测模块相连，用于根据数据实时处理模块的结果和预测模块的结果自动采取处理措施。

4.根据权利要求1至3任一项所述的云数据中心实时安全监控预警系统，其特征在于，所述数据收集模块采用实时轮询采集各个被监控对象的指标数据，所述被监控对象的指标包括：虚拟机CPU、memory、disk I/O、NetI/O等的运行状态和使用情况；物理机CPU、memory、电压、电流、能耗和温度等的运行状态和使用情况；集群的能耗、功率状态；数据中心机房的温度以及其他环境信息。

5.根据权利要求1至3任一项所述的云数据中心实时安全监控预警系统，其特征在于，所述数据实时处理模块将数据收集模块收集到的各个被监控对象的各项指标数据进行流计算处理。

6.根据权利要求1至3任一项所述的云数据中心实时安全监控预警系统，其特征在于，所述结果预测模块采用的具体预测方式为：统计在物理机上的业务，根据各个业务所要占用资源的大小绘出其变化走势；对应于各个业务的情况，统计n个节点的集群各项数据指标，将其存入数据库中；从数据库中读取历史数据，得到各项数据指标的变化曲线；对比业务的变化走势与数据指标的变化走势，建立关系预测模型，预测各项数据指标未来时间的走向；根据预测的数据走向，在各项数据指标将要达到安全阈值时通过报警模块发出预警。

7.一种云数据中心实时安全监控预警方法，包括：

步骤a：采集各个被监控对象的指标数据；

步骤b：将采集到的各项指标数据存入数据库并进行流计算处理，根据数据库中的历史数据和经流计算处理的实时数据，预测各项数据指标未来时间的走向得到预测结果；

步骤c：将流计算处理后的实时数据和预测结果在页面上进行展示，如果预测结果存在安全风险，则发出预警。

8.根据权利要求7所述的云数据中心实时安全监控预警方法，其特征在于，所述云数据中心实时安全监控预警方法还包括步骤d：根据流计算处理后的实时数据和预测结果自动采取降低数据中心风险的处理措施。

9.根据权利要求7或8所述的云数据中心实时安全监控预警方法，其特征在于，在所述步骤a中，采用实时轮询采集各个被监控对象的各项指标数据，所述被监控对象的指标包括：虚拟机CPU、memory、disk I/O、Net I/O等的运行状态和使用情况；物理机CPU、memory、电压、电流、能耗和温度等的运行状态和使用情况；集群的能耗、功率状态；数据中心机房的温度以及其他环境信息。

10.根据权利要求7或8所述的云数据中心实时安全监控预警方法，其特征在于，在所述步骤b中，所述预测各项数据指标未来时间的走向具体包括：统计在物理机上的业务，根据各个业务所要占用资源的大小绘出其变化走势；对应于各个业务的情况，统计n个节点的集群各项数据指标，将其存入数据库中；从数据库中读取历史数据，得到各项数据指标的变化曲线；对比业务的变化走势与数据指标的变化走势，建立关系预测模型，预测各项数据指标未来时间的走向。

Images