CN110647070A - 一种用于超大规模数据中心的动力环境监控系统 - Google Patents

Abstract

本发明提出了一种用于超大规模数据中心的动力环境监控系统，以实现超大规模数据中心运行状态的实时、可靠监控。所述系统包括数据接入模块、数据缓冲模块、数据计算模块、数据存储模块、企业服务总线模块和数据分析模块，其中：数据缓冲模块，用于将数据接入模块采集的数据添加到维护的数据队列中；从队列中读取监控数据提交给数据计算模块；数据计算模块，用于根据获取的监控数据判断是否需要生成告警信息；数据存储模块，用于存储配置数据，实时、历史监控数据以及告警数据，数据存储模块采用不同类型数据库组合方式存储数据；数据分析模块，用于在接收到服务请求之后，通过企业服务总线模块从数据存储模块获取相应数据以响应请求。

Description

一种用于超大规模数据中心的动力环境监控系统

技术领域

本发明涉及数据中心智能监控技术领域，尤其涉及一种用于超大规模数据中心的动力环境监控系统方法及装置。

背景技术

数据中心作为信息化、智能化的基础支撑，保障其不间断的可靠运行具有重要意义。随着技术的进步，数据中心基础设施的运维方式也从传统的依靠人工定期巡检，逐渐演变成利用自动化的平台实现24小时的实时监控。在各种自动化平台中，动力环境监控系统具有重要作用。其不仅实现了强电系统、制冷系统的实时监控，还通常集成消防系统、安防系统、门禁系统等二次弱电系统。由于动力环境监控系统直接或间接集成了数据中心的各种硬件设施，数据多源、专业性强是动力环境监控系统的一个重要特征。此外，实时监控导致的高并发性是其另一个重要特征。为了更好地支撑数据中心基础设施的日常运维管理，现代化的动力环境监控系统往往还增加了众多的综合管理模块，如能耗管理、容量管理、资产管理等，这进一步增加了动力环境监控系统的计算、处理压力和复杂程度。

为满足云计算、物联网、人工智能带来的大规模数据计算、存储需求，数据中心的规模逐渐扩大，全球超大型数据中心日益增多。对于一个超大型数据中心，其标准机柜数大于1万个，服务器数量可达10万台，甚至几十万台。动力环境监控系统需要处理的测点数可达到50万个，甚至超过100万个。测点规模的增大给动力环境监控系统的构建面临着数据采集和处理的及时性问题。当测点规模变大之后，采集模块面临的压力会激增，此外，需协调好高并发的问题，当后端难以及时处理时，容易发生系统崩溃，降低了系统服务的可靠性。

发明内容

本发明要解决的技术问题是解决现有的动力环境监控系统无法满足数据处理需求，降低系统服务可靠性的问题，提供一种用于超大规模数据中心的动力环境监控系统。

本发明采用的技术方案是提供一种用于超大规模数据中心的动力环境监控系统，包括数据接入模块、数据缓冲模块、数据计算模块、数据存储模块、企业服务总线模块和数据分析模块，其中：

所述数据接入模块，用于从数据源采集监控数据，将采集的监控数据转换为预设格式数据并提交给所述数据缓冲模块；

所述数据缓冲模块，用于将接收到的数据添加到自身维护的数据队列中；以及根据所述数据计算模块的请求，从所述数据队列中读取监控数据提交给所述数据计算模块；

所述数据计算模块，用于根据从所述数据缓冲模块获取的监控数据，判断是否需要生成告警信息；

所述数据存储模块，用于存储配置数据、所述数据接入模块采集的实时监控数据和历史监控数据以及所述实时计算模块产生的告警数据，所述数据存储模块采用不同类型数据库组合方式，其中，对于历史监控数据采用面向大数据存储技术的数据库进行存储；

所述数据分析模块，用于在接收到客户端提交的数据获取请求之后，根据所述数据获取请求通过所述企业服务总线模块从所述数据存储模块获取相应数据返回给所述客户端。

在一种可能的实施方式中，所述系统还包括数据预测模块，其中：

所述数据预测模块，用于针对预设的每一监控指标，通过所述企业服务总线模块从所述数据存储模块获取该监控指标对应的监控数据，根据获取的监控数据，利用机器学习方法预测该监控指标的运行趋势。

所述机器学习方法包括：自回归滑动平均模型ARMA、自回归几份滑动平均模型ARIMA或支持向量机回归模型SVR。

在一种可能的实施方式中，所述系统还包括可视化展示模块，所述可视化展示模块设置于所述客户端中；

所述可视化展示模块，用于展示所述数据分析模块返回的数据。

所述数据获取请求中携带有客户端显示参数；

所述数据分析模块，具体用于根据所述客户端显示参数对获取的数据进行适配处理后发送给所述客户端。

在一种可能的实施方式中，所述数据计算模块，具体用于比较从所述数据缓冲模块获取的监控数据与预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者根据从所述数据缓冲模块获取的监控数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

所述数据计算模块，还用于如果判断出生成告警信息，则在生成告警信息后，合并相同类型的告警信息。

在一种可能的实施方式中，所述数据接入模块，还用于将采集的监控数据转换为预设格式数据之前，利用预设接入协议解析获取的实时监控数据，所述接入协议包括以下任一种：RS232协议，RS485协议、Modbus协议、楼宇自动控制网络数据接入协议Bacnet协议、简单网络管理协议SNMP协议、WebService协议。

采用上述技术方案，本发明至少具有下列优点：

本发明所述的用于超大规模数据中心的动力环境监控系统，通过在数据接入模块和数据计算模块之间引入数据缓冲模块，这样，数据采集模块采集到实时监控数据之后提交给数据缓冲模块，数据缓冲模块将接收到的实时监控数据添加到自身维护的数据队列中，使得数据计算模块根据自身处理速度按需从数据缓冲模块读取实时监控数据进行处理，从而实现了数据的异步处理，提高了系统服务的可靠性。此外，本发明通过引入企业服务总线模块实现了服务的统一管理和服务监控，解决了多个应用模块互联所带来的复杂性，降低了应用模块之间的耦合度。本发明还通过引入数据预测模块可以提前预测系统的未来趋势，有利于实现预测性维护，提高系统的运行安全性。

附图说明

图1为本发明实施例的用于超大规模数据中心的动力环境监控系统的结构示意图；

图2为本发明实施例的数据分析模块的结构示意图；

图3为本发明实施例的监控类应用子模块的结构示意图；

图4为本发明实施例的管理类应用子模块的结构示意图；

图5为本发明实施例的接口类应用子模块的结构示意图；

图6为本发明实施例的数据预测模块的结构示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

如图1所示，其为本发明实施例提供的用于超大规模数据中心的动力环境监控系统的结构示意图，包括数据接入模块100、数据缓冲模块200、数据计算模块300、数据存储模块400、企业服务总线模块500和数据分析模块600，其中：

数据接入模块100，用于从数据源采集监控数据，将采集的监控数据转换为预设格式数据并提交给数据缓冲模块200；

数据缓冲模块200，用于将接收到的数据添加到自身维护的数据队列中；以及根据数据计算模块300的请求，从数据队列中读取监控数据提交给数据计算模块300；

数据计算模块300，用于根据从数据缓冲模块200获取的监控数据，判断是否需要生成告警信息；

数据存储模块400，用于存储配置数据、所述数据接入模块100采集的实时监控数据和历史监控数据以及所述实时计算模块300产生的告警数据，所述数据存储模块400采用不同类型数据库组合方式，其中，对于历史监控数据采用面向大数据存储技术的数据库进行存储；

所述数据分析模块600，用于在接收到客户端提交的数据获取请求之后，根据所述数据获取请求通过所述企业服务总线模块500从所述数据存储模块400获取相应数据返回给所述客户端。

具体实施时，数据接入模块100和底层数据源相连接，其作用是完成底层数据的采集和数据格式的标准化。数据接入模块100面向的数据来源有三部分：分别是现场智能设备，例如，环境温湿度和空调等；专业子系统，例如消防系统，安防系统，水冷自控系统，冷水机组控制系统、极早期系统等；以及第三方子系统。数据接入模块100依据不同数据源提供的接入协议和数据格式完成数据的采集。其中，数据接入模块100与各个数据源系统之间采用的接入协议包括以下任一种：RS232协议，RS485协议、Modbus协议、Bacnet(楼宇自动控制网络数据通讯协议)协议、SNMP(简单网络管理协议)协议、WebService协议，接入协议还可以为自定义协议等。此外，数据接入模块100利用接入协议采集到实时监控数据之后，解析采集的实时监控数据，并将其转换为预设格式数据，确定上层模块得到的数据具有统一格式，从而提高数据计算处理速度。具体实施时，数据接入模块100可以将数据格式统一为：测点编号、测点类型、测点数值和采集时间，对应的英文标识分别为code，type，value，和time。其中测点编号为唯一标识，测点类型分为4种，代码1表示遥信，代码2表示遥测，代码3表示遥控，代码4表示遥调。一个具体的实例如下：

code：'11010240600001_600100001'

type:2

value：12.22

time：'2018-10-26 11:24:56'

具体实施时，数据缓冲模块200向下连接数据接入模块100，向上连接数据计算模块300，其主要作用是实现数据的异步处理，从而解决高并发数据处理带来的系统阻塞和崩溃。本发明实施例中，数据缓冲模块200采用数据队列，可选的数据队列包括rabbitMQ，activeMQ,rocketMQ以及Kafka等。通过利用数据队列，从而实现异步处理和采集数据缓冲，使得缓存的数据可按照数据计算模块300的需求逐步提供。通过引入数据缓冲模块200，有效解决了大规模数据的采集问题。

数据计算模块300，向下连接数据缓冲模块200，向上连接数据存储模块400，其主要作用是实时计算从数据缓冲模块200中获取的数据，利用规则匹配和机器学习算法，判断当前采集的实时监控数据是否触发告警以及相应的告警等级。

具体实施时，数据计算模块300根据获取的实时监控数据，采用基于规则的方法或者基于机器学习的方法来判断是否生成告警信息。其中，基于规则的判断方法具体如下：数据计算模块300比较获取的实时监控数据与预先配置的告警阈值，根据比较结果判断是否生成告警信息。即数据计算模块300通过判断当前采集的实时监控数据是否在阈值区间范围内来判断是否触发告警。基于机器学习的判断方法，主要采用时间序列，例如，自回归滑动平均模型(Auto-Regressive Moving Average Model，ARMA)，Holter-Winter模型，支撑向量机模型等进行预测，通过评估预测值和实际值之间的差异水平来决定是否推送告警。具体地，数据计算模块300根据获取的实时监控数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

具体实施时，如果数据计算模块300判断出需要生成告警信息，则在生成告警信息之后，通过数据分析模块600向客户端发送生成的告警信息，由部署于客户端中的可视化展示模块向用户展示，以提示用户告警信息。

由于具体实施时，同一问题可能导致不同监控数据异常而导致大量类型相同的告警信息，本发明实施例中，为了减少大量同类型告警信息对用户造成干扰，减少传输资源开销，数据计算模块300在生成告警信息之后，合并相同类型的告警信息，即进行告警信息压缩，降低运维人员处理告警的工作量。

此外，数据计算模块300还完成告警集的关联分析、根源分析、过滤、压缩和屏蔽。本发明实施例中，数据计算模块300基于大数据实时处理框架，，例如Spark，streaming，Strom等，从而满足了超大型数据中心大规模测点的计算、处理需求。

具体实施时，本发明实施例提供的动力环境监控系统还包括数据存储模块400，该模块向下连接数据计算模块300，向上连接企业服务总线模块500，数据存储模块400用于存储配置数据、数据接入模块100采集的实时监控数据和历史监控数据以及所述实时计算模块产生的告警数据。其主要作用是完成动力环境监控系统所用数据的存储，为数据分析模块600和数据预测模块700提供数据支撑。数据存储模块400的设计采用多类型数据库的组合模式，例如，采用SQL数据库和NoSQL数据库相结合的方式，通过利用不同数据库的优点来满足不同业务应用的需求。对于历史监控数据的存储，采用面向大数据存储的数据库，例如Cassandra，Hbase，Hive等。其不仅可以完成大容量数据的存储，同时还可快速实现所需数据的访问、查询。本发明实施例中，通过使用基于大数据的存储技术，从而有效解决了超大型数据中心基础设施监控数据的存储难题。

具体实施中，本发明实施例提供的动力环境监控系统还包括企业服务总线模块500，该模块向下连接数据存储模块400，向上连接数据分析模块600和数据预测模块700。企业服务总线模块500具有标准接口，提供消息驱动的处理模式，支持服务统一管理和服务监控。本发明实施例中，企业服务总线模块500支持服务统一管理和服务监控，通过引入企业服务总线模块500解决了多个应用模块互联所带来的复杂性，有利于降低应用模块之间的耦合度。

具体实施时，数据分析模块600，向下连接企业服务总线模块500，用于在接收到客户端提交的数据获取请求之后，根据数据获取请求通过企业服务总线模块500从数据存储模块400获取相应数据返回给所述客户端。其主要作用是通过企业服务总线模块500获取所需的数据，并对数据进行处理分析，实现具体的应用功能。数据分析模块600直接决定了动力环境监控系统功能的丰富性，属于直接和用户交互的重要模块。

如图2所示，其为数据分析模块600的结构示意图，包括监控类应用子模块610，管理类应用子模块620和接口类应用子模块630。如图3所示，其为监控类应用子模块610的结构示意图，对于监控类应用子模块610，选配的组件为实时监控组件611，告警响应组件612和故障处理组件613。如图4所示，其为管理类应用子模块620的结构示意图，对于管理类应用子模块620，选配的组件为容量管理组件621，能效管理组件622，资产管理组件623，值班管理组件624，移动巡检组件625，报表报告组件626；如图5所示，其为接口类应用子模块630的结构示意图，对于接口类应用子模块630，选配的组件为数据库接口组件631，系统北向接口组件632。

具体实施时，数据预测模块700，向下连接企业服务总线模块500，通过企业服务总线模块500获取所需数据。数据预测模块700可实现单个监控指标的预测，具体的，针对预设的每一监控指标，通过所述企业服务总线模块500从所述数据存储模块400获取该监控指标对应的监控数据，根据获取的监控数据，利用机器学习方法预测该监控指标的运行趋势。涉及的机器学习方法包括：自回归滑动平均模型ARMA、自回归差分滑动平均模型ARIMA或支持向量机回归模型SVR。如图6所示，其为数据预测模块700的结构示意图，包括单指标预测子模块710、蓄电池系统健康度预测子模块720和制冷系统健康度预测子模块730。单指标预测子模块710支持采用自回归滑动平均模型(ARMA)、自回归差分滑动平均模型(ARIMA)或支持向量机回归模型(SVR)进行指标运行趋势的预测。蓄电池系统健康度预测子模块720首先利用层次分析法建立蓄电池系统的健康度模型，之后基于单指标预测子模块710中的方法预测蓄电池系统未来的健康度。对于制冷系统健康度预测子模块730，其方法和蓄电池系统健康度预测子模块720的预测方法相似。首先建立制冷系统的健康度模型，之后预测制冷系统的未来健康度。通过引入数据预测模块700可以提前预测系统的未来趋势，有利于实现预测性维护，提高系统的运行安全性。

本发明实施例提供的动力环境监控系统，还可以包括可视化展示模块，所述可视化展示模块设置于所述客户端中，用于向客户端发送数据获取请求，展示数据分析模块600针对所述数据获取请求返回的数据。具体地，数据获取请求中携带有客户端显示参数；所述数据分析模块600，具体用于根据所述客户端显示参数对获取的数据进行适配处理后发送给所述客户端。

在一个实施例中，对于数据缓冲模块200部署3个消息队列组件，对于数据计算模块300部署3个大数据实时计算组件。当系统测点规模为30万时，利用Google浏览器自带的开发者工具测试构建的超大型数据中心动力环境监控系统的响应特性。结果如下：数据采集模块100在采集到新的数据值后，系统可在1.5秒内完成实时监控组件611的刷新，确保最新的采集值可以展现在前端。告警响应组件612的告警受理，确认时间在1.5秒以内，告警查询响应时间在1.5秒以内。

在另一实施例中，对于数据存储模块400中历史采集数据的存储部署3个Hbase数据库，存储时间颗粒度小于5分钟。当系统测点规模为30万时，通过查询数据库的使用情况，发现在考虑数据冗余备份的情况下，1个月的历史数据量为90G，数据库的总可用存储容量为33T。考虑到存储时间为5年，总历史数据量的规模为5.4T，明显小于可用的存储容量33T。

即使系统测点规模达到100万，5年的历史数据总量不大于20T，本发明实施例提供的适用于超大型数据中心的动力环境监控系统同样可以满足上述存储需求。

本发明实施例提供用于超大规模数据中心的动力环境监控系统，通过引入数据缓冲模块200应对大规模测点的采集及并发问题，通过采用基于大数据技术的实时计算框架和数据存储技术解决海量基础实施监控信息的处理和存储难题。本发明实施例提供的动力环境监控系统依据统一的技术路线来实现业务对象的组件化和服务调用，同时注重层间的松耦合与层内的高内聚，系统具有良好的可配置性和可扩展性，同时便于维护和二次开发。本发明实施例有助于实现超大型数据中心基础设施的实施监控和运营管理，有利于提升数据中心的安全性和智能化水平。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (8)

1.一种用于超大规模数据中心的动力环境监控系统，其特征在于，所述系统包括数据接入模块、数据缓冲模块、数据计算模块、数据存储模块、企业服务总线模块和数据分析模块，其中：

所述数据接入模块，用于从数据源采集监控数据，将采集的监控数据转换为预设格式数据并提交给所述数据缓冲模块；

所述数据缓冲模块，用于将接收到的数据添加到自身维护的数据队列中；以及根据所述数据计算模块的请求，从所述数据队列中读取监控数据提交给所述数据计算模块；

所述数据计算模块，用于根据从所述数据缓冲模块获取的监控数据，判断是否需要生成告警信息；

所述数据存储模块，用于存储配置数据、所述数据接入模块采集的实时监控数据和历史监控数据以及所述实时计算模块产生的告警数据，所述数据存储模块采用不同类型数据库组合方式，其中，对于历史监控数据采用面向大数据存储技术的数据库进行存储；

所述数据分析模块，用于在接收到客户端提交的数据获取请求之后，根据所述数据获取请求通过所述企业服务总线模块从所述数据存储模块获取相应数据返回给所述客户端。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括数据预测模块，其中：

所述数据预测模块，用于针对预设的每一监控指标，通过所述企业服务总线模块从所述数据存储模块获取该监控指标对应的监控数据，根据获取的监控数据，利用机器学习方法预测该监控指标的运行趋势。

3.根据权利要求1所述的系统，其特征在于，所述机器学习方法包括：自回归滑动平均模型ARMA、自回归差分滑动平均模型ARIMA或支持向量机回归模型SVR。

4.根据权利要求1、2或3所述的系统，其特征在于，所述系统还包括可视化展示模块，所述可视化展示模块设置于所述客户端中；

所述可视化展示模块，用于展示所述数据分析模块返回的数据。

5.根据权利要求1所述的系统，其特征在于，所述数据获取请求中携带有客户端显示参数；

所述数据分析模块，具体用于根据所述客户端显示参数对获取的数据进行适配处理后发送给所述客户端。

6.根据权利要求1所述的系统，其特征在于，

所述数据计算模块，具体用于比较从所述数据缓冲模块获取的监控数据与预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者根据从所述数据缓冲模块获取的监控数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

7.根据权利要求1所述的系统，其特征在于，

所述数据计算模块，还用于如果判断出生成告警信息，则在生成告警信息后，合并相同类型的告警信息。

8.根据权利要求1所述的系统，其特征在于，

所述数据接入模块，还用于将采集的监控数据转换为预设格式数据之前，利用预设接入协议解析获取的实时监控数据，所述接入协议包括以下任一种：RS232协议，RS485协议、Modbus协议、楼宇自动控制网络数据通讯协议Bacnet协议、简单网络管理协议SNMP协议、WebService协议。

Images