CN108809701A - 一种数据中心智慧数据平台及其实现方法 - Google Patents

一种数据中心智慧数据平台及其实现方法 Download PDF

Info

Publication number
CN108809701A
CN108809701A CN201810504001.8A CN201810504001A CN108809701A CN 108809701 A CN108809701 A CN 108809701A CN 201810504001 A CN201810504001 A CN 201810504001A CN 108809701 A CN108809701 A CN 108809701A
Authority
CN
China
Prior art keywords
data
monitoring
wisdom
module
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810504001.8A
Other languages
English (en)
Inventor
李俊山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810504001.8A priority Critical patent/CN108809701A/zh
Publication of CN108809701A publication Critical patent/CN108809701A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了本申请提供一种数据中心智慧数据平台及其实现方法,该数据中心智慧数据平台包括数据源、前端数据分发处理接口模块、数据清洗模块、数据仓库模块、数据分析模块和数据展示模块。通过本申请中的平台及其实现方法,能够有效接收来自不同数据源的各种监控数据,避免分布式处理方法中对大量不同属性的数据进行检索的过程,从而大大提高数据存取的效率以及保证数据中心运行的稳定性。

Description

一种数据中心智慧数据平台及其实现方法
技术领域
本申请涉及数据中心技术领域,特别是涉及一种数据中心智慧数据平台及其实现方法。
背景技术
MDC(Module Data Center,模块化数据中心)是基于云计算的新一代数据中心部署形式。模块化数据中心处理数据具有如下特点:存量业务大,业务场景多,业务场景不同,数据形式和格式多种多样;用户量,数据量大,通常数据中心用户的数量能达到亿级,数量达TB级别;原始数据信息查询要求高;查找数据的成本随着数据的增加,越来越大。因此,对MDC内部异构数据的访问,是一种较大数据量和高并发访问性质的实时性应用。随着数据中心的发展,MDC内部异构数据的读取是个重要问题。
目前,MDC内部通常采用分布式处理方法进行异构数据的存取。具体地,数据中心的数据由各个异构系统提供,为读取数据中心内部的数据,需要针对不用的异构系统采用不同的方法进行数据采集和读取。例如:最基本的动环数据,多采用串口接口Modbus协议、和电总协议等循环同步的方式读取;IT系统监控数据多采用网络接口SNMP、WMI、Telnet/SSH、JDBC/ODBC、JMX和TCP/IP等多种管理协议获取数据;第三方系统集成数据,一般采用网络集成接口OPC、SNMP、JDBC/ODBC和自定义TCP/IP等集成协议获取数据。
然而,目前的分布式处理方法中,为了读取一个数据,需要进行大量的不同属性的数据之间的检索,对海量的异构数据流进行处理,使得数据存取的实时性不够高,从而导致数据存取效率低。
发明内容
本申请提供了一种数据中心智慧数据平台及其实现方法,以解决现有技术中数据中心分布式处理方法使得数据存取的实时性不够高、数据存取效率低的问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
一种数据中心智慧数据平台,所述平台包括:数据源、前端数据分发处理接口模块、数据清洗模块、数据仓库模块、数据分析模块和数据展示模块;
所述数据源,用于提供数据中心的监控数据,所述监控数据包括Zabbix数据、动力与环境监控系统所采集的数据以及日志信息;
所述前端数据分发处理接口模块,用于采用主动轮询和被动轮询相结合的方式融合不同的数据源;
所述数据清洗模块,用于对所述监控数据进行检测;
所述数据仓库模块,用于对所述监控数据进行存储;
所述数据分析模块,用于对所述监控数据进行分析;
所述数据展示模块,用于利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
可选地,所述数据清洗模块包括异常检测单元和数据抽取及转换单元;
所述异常检测单元,用于利用公式y=(x-mean)/std对监控数据进行异常检测,其中,x为当前要检测的监控数据,mean为当前监控数据相邻的前五个监控数据的平均值,std为均方差,当y大于设定阈值大时,判定当前监控数据为异常值,进行异常报警,同时更新平均值和均方差;
所述数据抽取及转换单元,用于对检测合格的监控数据进行单条数据抽取及单条数据转换。
可选地,所述数据仓库模块包括Map/Reduce处理单元和存储单元;
所述Map/Reduce处理单元,用于对监控数据进行Map/Reduce处理;
所述存储单元用于采用HBase数据库存储来自Zabbix数据源和动力与环境监控系统数据源的实时监控数据、监控参数及Map/Reduce处理后的监控数据,以及,按照时间和设备类型存储日志信息。
可选地,所述数据分析模块包括业务分析单元和统一告警单元;
所述业务分析单元,用于提供业务分析服务,所述业务分析服务包括:对当前业务进行分析获取对当前业务的总览,以及当前业务对其他业务的影响和拓扑关系;
所述统一告警单元,用于提供统一告警服务,所述统一告警服务包括设置告警指标基线、告警升级规则以及自动压缩资源。
可选地,前端数据分发处理接口模块所支持的协议包括:Agent协议、Modbus协议、IPMI协议以及Syslog协议。
可选地,所述数据源包括Zabbix数据源、动力与环境监控系统数据源以及日志信息源;
所述Zabbix数据源用于提供Zabbix数据,所述Zabbix数据包括CPU使用率、CPU负载率、内存使用率、网络流量、磁盘空间使用率、磁盘I/O、进程数、数据库可用性、应用服务器可用性;
所述动力与环境监控系统数据源包括:UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机;
所述日志信息源包括:服务器运行日志文件、存储设备运行日志文件、网络设备运行日志文件、以及设备运行文件。
可选地,所述数据展示模块包括API接口单元和三维可视化显示单元。
一种数据中心智慧数据平台的实现方法,所述实现方法包括:
通过数据源获取数据中心的监控数据,所述监控数据包括Zabbix数据、动力与环境监控系统所采集的数据以及日志信息;
采用主动轮询和被动轮询相结合的方式融合不同的数据源;
对监控数据进行检测、存储和分析;
利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
可选地,采用主动轮询和被动轮询相结合的方式融合不同的数据源,包括:
对数据源中的基础设施进行资产管理、状态监控和性能监控;
对数据源中的软件资源进行资产管理、状态监控、日志监控和性能监控;
对数据源中基础设施和软件资源的负载进行统计分析;
对动力与环境监控系统数据源进行管理。
可选地,所述对监控数据进行检测、存储和分析,包括如下过程:
利用公式y=(x-mean)/std对监控数据进行异常检测,并对检测合格的监控数据进行单条数据抽取及单条数据转换,其中,x为当前要检测的值,mean为前五个值的平均值,std为均方差,当y大于设定阈值大时,判定当前监控数据为异常值,进行异常报警,同时更新平均值和均方差;
对监控数据进行Map/Reduce处理;
采用HBase数据库存储来自Zabbix数据源和动力与环境监控系统数据源的实时监控数据、监控参数及Map/Reduce处理后的监控数据,以及按照时间和设备类型存储日志信息;
对当前业务进行分析获取对当前业务的总览,以及当前业务对其他业务的影响和拓扑关系;
设置告警指标基线、告警升级规则以及自动压缩资源。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请提供一种数据中心智慧数据平台及其实现方法,该数据中心智慧数据平台包括数据源、前端数据分发处理接口模块、数据清洗模块、数据仓库模块、数据分析模块和数据展示模块。首先通过数据源能够获取数据中心的各种监控数据,通过前端数据分发处理接口模块,采用主动轮询和被动轮询相结合的方式融合不同的数据源,然后依次通过数据清洗模块、数据仓库模块和数据分析模块,对所采集的监控数据进行检测、存储和分析,最后通过数据展示模块,利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
本申请中前端数据分发处理接口模块的设置,能够有效接收来自不同数据源的各种监控数据,尤其是涉及物理资源与虚拟资源同时需要监控的场景,通过采用主动轮询和被动轮询的方式对这种场景下的数据进行融合,能够确保有效接收到各种数据,而且在对这些数据进行读取时,能够避免分布式处理方法中对大量不同属性的数据进行检索的过程,从而大大提高数据存取的效率。本申请中数据清洗模块的的设置,使的只有经过检测的数据才能进入数据仓库模块进行存储,能够大大节约网络资源和数据冲击的压力,有利于提高数据的稳定性。本申请中数据分析模块的设置,通过其提供的业务分析服务和统一告警服务,能够有效解决数据中心内群聚效应所引发的数据冲突问题,从而能够保证数据中心运行的稳定性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种数据中心智慧数据平台的结构示意图;
图2为本申请实施例中数据中心智慧数据展示平台的工作原理图;
图3为本申请实施例所提供的一种数据中心智慧数据平台的实现方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为了更好地理解本申请,下面结合附图来详细解释本申请的实施方式。
实施例一
参见图1,图1为本申请实施例所提供的一种数据中心智慧数据平台的结构示意图。由图1可知,本实施例中的数据中心智慧数据平台,主要包括:数据源、前端数据分发处理接口模块、数据清洗模块、数据仓库模块、数据分析模块和数据展示模块共六个部分。
其中,数据源用于提供数据中心的监控数据,所述监控数据包括Zabbix数据、动力与环境监控系统所采集的数据以及日志信息;前端数据分发处理接口模块,用于采用主动轮询和被动轮询相结合的方式融合不同的数据源;数据清洗模块用于对所述监控数据进行检测;数据仓库模块用于对所述监控数据进行存储;数据分析模块用于对所述监控数据进行分析;数据展示模块,用于利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
本实施例中各功能模块的工作原理详见图2,图2为本申请实施例中数据中心智慧数据展示平台的工作原理图。
本实施例支持多种异构的数据源,这些数据源主要包括Zabbix数据源、动力与环境监控系统数据源以及日志信息源。Zabbix数据源用于提供Zabbix数据,其中,Zabbix数据包括CPU使用率、CPU负载率、内存使用率、网络流量、磁盘空间使用率、磁盘I/O、进程数、数据库可用性、应用服务器可用性动力与环境监控系统数据源包括:UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机;日志信息源包括:服务器运行日志文件、存储设备运行日志文件、网络设备运行日志文件、以及设备运行文件。
本实施例中前端数据分发处理接口模块支持多种设备的通信与数据采集,所支持的协议包括:Agent协议、Modbus协议、IPMI协议以及Syslog协议。前端数据分发处理接口模块采用主动轮询和被动轮询相结合的方式融合不同的数据源。具体地,主动轮询的方式为:被监控对象高频地将状态报告给前端数据分发处理接口模块,同时,前端数据分发处理接口模块按照一个较长的间隔周期向被监控资源主动发送请求,检查被监控资源是否存活和可用。被动轮询的方式为:如果前端数据分发处理接口模块在规定的时间内没收到被监控对象的信息,前端数据分发处理接口模块向被监控对象发请求去轮询,确认被监控对象的状态,从而及时确定数据中心资源的运行状态,并对各类异常进行报警。
本实施例中前端数据分发处理接口模块所实现的功能,包括:
A.对不同厂商、不同架构、虚拟形态或物理形态的基础设施进行资产管理、状态监控和性能监控,如:对物理计算资源、虚拟计算资源、本地存储、共享存储、分布式存储、网络设备资源、IP资源的状态监控和性能监控;提供丰富的监控项类型,包括可以查看当前计算机CPU、内存、硬盘等的利用率,可以查看网络流量、磁盘I/O、进程数等;可以随着数据中心的规模扩展,也可以横向扩展监控设备数量。
B.对异构的基础软件资源进行资产管理、状态监控、日志监控和性能监控。如:支持对Linux/Unix以及Windows操作系统的监控,查看当前的进程与服务信息;支持对Tomcat、IIS、Apache等应用服务器,以及SQL Server、MySQL、Oracle等数据库服务器的监控。
C.在系统硬件或负载出现异常时触发报警,提醒用户及时维护问题设备;对基础软硬件资源的负载进行长期的统计分析,为资源调度提供决策依据。
D.对包括UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机等多种监控对象进行管理。
进一步地,数据清洗模块包括异常检测单元和数据抽取及转换单元。其中,异常检测单元用于利用公式y=(x-mean)/std对监控数据进行异常检测。该公式中,x为当前要检测的监控数据,mean为当前监控数据相邻的前五个监控数据的平均值,std为均方差,当y大于设定阈值大时,判定当前监控数据为异常值,进行异常报警,同时更新平均值和均方差。数据抽取及转换单元,用于对检测合格的监控数据进行单条数据抽取及单条数据转换。
通过异常检测单元的设置,能够减少数据中心智慧数据平台对异常数据的干扰,有利于提高数据中心智慧数据平台对数据的处理效率。
本实施例中数据抽取及转换单元能够将不同类型的数据简化成ContainerID、IP、Key的格式。对于来自数据源的原始监控数据,其上报量占到数据总上报量的90%以上,因此,采用文本数据难以做到稳定和快速存取,本实施例通过数据抽取及转换单元,直接在内存进行快速汇总。具体地,每个机器里面都申请两块共享内存,每块内存的格式是:uint32_t[MAX_ID][MAX_KEY],设置两块内存,能够方便进行周期性的数据收集。设置三种上报方式:累加、设置新值、设置最大值,三种方式都是操作一个uint32_t,性能消耗非常小,而且可以实时在内存进行汇总,每次从内存提取的记录只有平均1000条左右,因此,能够大幅降低秒级统计的难度,有利于提高数据存取的效率。
进一步地,数据仓库模块包括Map/Reduce处理单元和存储单元。其中Map/Reduce处理单元用于对监控数据进行Map/Reduce处理;存储单元用于采用HBase数据库存储来自Zabbix数据源和动力与环境监控系统数据源的实时监控数据、监控参数及Map/Reduce处理后的监控数据,以及,按照时间和设备类型存储日志信息。
本实施例中Map/Reduce处理单元进行数据处理时,假设输入的待处理数据为某台服务器的监控数据的集合,每条监控数据是json数据键值对,其格式如下:
Timestamp,{“item1”:value1,“item2”:value2,…,“itemN”:valueN}。
Map/Reduce处理单元的操作对象为Map<Key,Value>值对,在进行数据处理时,首先将传入的数据进行Map分解为规定格式子数据,然后将子数据进行Reduce汇总,第一次Map操作时,传入的key为null,value为一条监控记录,在Map输出时,将监控记录分解为key为监控项目item,值为{当前时间戳,当前数据值}的形式。Map操作完成后进行Reduce操作,按照监控数据项将Map结果进行Reduce操作,输出按照监控数据项的统计结果。
经过Map/Reduce操作后,即可完成对某台服务器或某个数据中心的监控数据进行分类统计,然后按照时间序列进行数据处理。
存储单元对数据的存储主要包括:对来自Zabbix数据源和动力与环境监控系统数据源的数据进行存储,以及对来自日志信息源的数据进行存储。其中,来自Zabbix数据源和动力与环境监控系统数据源的数据又称运维数据。
针对运维数据,数据中心智慧数据平台采用HBase数据库进行存储,运维数据主要包括:数据中心智慧数据平台的实时监控数据、监控参数以及处理后的统计数据等。智慧数据平台从数据库中存取数据,因此对行键的设计主要是对监控数据部分的行键设计,监控数据按照类型的不同分为三种:实时监控数据、监控参数以及经过Map/Reduce数据处理后的监控数据。对于实时监控数据,行键是将每个监控代理的唯一AgentID和监控数据获取时间两者组成“AgentID_时间”的形式进行组织的,监控数据保存在监控数据的列族中;对于监控参数,参数中包含阈值等信息,只需指定一个行键即可;对于数据处理后的监控数据,行键包括代理编号、统计类型以及统计时间段的开始时间,以“AgentID_统计类型_时间”的格式进行区分。
针对来自日志信息源的日志文件,按照时间和设备类型进行分类存储。
进一步地,数据分析模块包括业务分析单元和统一告警单元。业务分析单元用于提供业务分析服务,所提供的的业务分析服务包括:对当前业务进行分析获取对当前业务的总览,以及当前业务对其他业务的影响和拓扑关系。统一告警单元用于提供统一告警服务,所提供的的统一告警服务包括设置告警指标基线、告警升级规则以及自动压缩资源。
通过业务分析单元,每个业务服务可以通过不同视角,包括总览、影响、分析、拓扑、机房和告警全方位展现业务服务。从而定位故障地点,确保在故障出现时,第一时间解决故障,从而保障核心业务正常运行。
具体地,对当前业务进行总览服务包括:查看当前业务服务的结构拓扑图,确认故障是由哪些设备引起的,关联故障设备详细信息,确认故障级别以及故障原因。对当前业务进行影响服务包括:查看当前业务服务影响的业务单位、责任人、IP地址范围以及问题状态的原因。对当前业务进行分析服务器包括:查看当前业务服务的KPI指标,如:可用性比率、MTTR、MTBF、故障次数的图表,确认问题出现的时间、级别和相关事件详细内容。对当前业务进行拓扑服务:查看当前业务服务关联的资源的拓扑图。
业务分析单元可以通过不同颜色确认问题级别和处理问题顺序。
通过统一告警单元,能够提供的统一告警服务包括:设置告警指标基线、告警升级规则以及自动压缩资源。
具体地,统一告警单元可以提供天基线、周基线和自定义事件基线三种不同的设置方式供选择。
统一告警单元还可以对告警升级规则进行定义,对于持续时间较长的告警,如未确认或未清除的告警,或者告警重复发生次数较多的告警,能够提供告警升级规则定义功能,其中,规则定义应包含满足何种条件触发告警升级处理流程,如持续时长或重复次数等内容。
统一告警单元还可以自动压缩资源,也就是自动屏蔽重复故障告警功能,从而减轻管理人员工作量。例如,设备宕了10个小时,IT管理员只会收到一条告警,数据中心智慧数据平台的告警压缩功能把数十条重复性告警压缩至一条。
进一步地,本实施例中数据展示模块包括API接口单元和三维可视化显示单元。
其中,API接口单元用于提供基于RESTful web service方式的Web接口,即API接口,以供第三方调用和集成。接口允许数据使用者通过标准的接口访问机房系统数据,通过标准的接口增加数据到3D机房系统。本实施例中API接口单元包含提供告警、监控数据以及资产等API供调用和集成。其中,告警API的功能包括:增加、更新、删除、和查询告警信息。指标数据API的功能包括:3D机房系统用户可以在系统查看指标数据,并且显示其实时变化情况,指标数据是指传感器或设备上的监控数据,例如:温湿度、电流电压以及各种开关量等数据。资产API的功能包括:进行资产管理过程中,对资产管理系统进行初始化时,将资产数据整理并导入系统中。
本实施例中的三维可视化显示单元包括大屏和移动终端。本实施中的数据中心智慧数据平台支持拼接大屏显示和移动终端显示。
实施例二
在图1和图2所示实施例的基础之上参见图3,图3为本申请实施例所提供的一种数据中心智慧数据平台的实现方法的流程示意图。
由图3可知,本实施例中数据中心智慧数据平台的实现方法,主要包括如下步骤:
S1:通过数据源获取数据中心的监控数据。
其中,监控数据包括Zabbix数据、动力与环境监控系统所采集的数据以及日志信息。
S2:采用主动轮询和被动轮询相结合的方式融合不同的数据源。
具体地,步骤S2包括:
S21:对数据源中的基础设施进行资产管理、状态监控和性能监控;
S22:对数据源中的软件资源进行资产管理、状态监控、日志监控和性能监控;
S23:对数据源中基础设施和软件资源的负载进行统计分析;
S24:对动力与环境监控系统数据源进行管理。
继续参见图3可知,对不同数据源进行融合之后,执行步骤S3:对监控数据进行检测、存储和分析。
具体地,对监控数据进行检测、存储和分析,包括如下过程:
S31:利用公式y=(x-mean)/std对监控数据进行异常检测,并对检测合格的监控数据进行单条数据抽取及单条数据转换。
其中,x为当前要检测的值,mean为前五个值的平均值,std为均方差,当y大于设定阈值大时,判定当前监控数据为异常值,进行异常报警,同时更新平均值和均方差。
S32:对监控数据进行Map/Reduce处理。
S33:采用HBase数据库存储来自Zabbix数据源和动力与环境监控系统数据源的实时监控数据、监控参数及Map/Reduce处理后的监控数据,以及按照时间和设备类型存储日志信息。
S34:对当前业务进行分析获取对当前业务的总览,以及当前业务对其他业务的影响和拓扑关系。
S35:设置告警指标基线、告警升级规则以及自动压缩资源。
对监控数据进行检测、存储和分析之后,执行步骤S4:利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
进一步地,本实施例中数据中心智慧数据平台的实现方法采用JavaScript语言开发。
可以将本方法部署在node.js应用服务器上,为前端界面提供查询数据、添加数据、修改数据和删除数据的功能。软件件的前端基于浏览器运行,通过JavaScript脚本调用浏览器的WebGL接口,实现三维用户界面的展示。通过JavaScript脚本接受鼠标键盘输入,实现三维界面和用户的互动,并通过AJAX调用读取后台的业务数据,用户操作三维界面后,也能通过AJAX调用回写数据到服务器。
本实施例中数据中心智慧数据平台的实现方法通过WebSocket实现实时数据通讯。如:通过Web Storage实现数据缓存。
本实施例中未详细描述的部分,可以参见图1和图2所示的实施例一,两个实施例之间可以互相参照,在此不再赘述。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据中心智慧数据平台,其特征在于,所述平台包括:数据源、前端数据分发处理接口模块、数据清洗模块、数据仓库模块、数据分析模块和数据展示模块;
所述数据源,用于提供数据中心的监控数据,所述监控数据包括Zabbix数据、动力与环境监控系统所采集的数据以及日志信息;
所述前端数据分发处理接口模块,用于采用主动轮询和被动轮询相结合的方式融合不同的数据源;
所述数据清洗模块,用于对所述监控数据进行检测;
所述数据仓库模块,用于对所述监控数据进行存储;
所述数据分析模块,用于对所述监控数据进行分析;
所述数据展示模块,用于利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
2.根据权利要求1所述的一种数据中心智慧数据平台,其特征在于,所述数据清洗模块包括异常检测单元和数据抽取及转换单元;
所述异常检测单元,用于利用公式y=(x-mean)/std对监控数据进行异常检测,其中,x为当前要检测的监控数据,mean为当前监控数据相邻的前五个监控数据的平均值,std为均方差,当y大于设定阈值大时,判定当前监控数据为异常值,进行异常报警,同时更新平均值和均方差;
所述数据抽取及转换单元,用于对检测合格的监控数据进行单条数据抽取及单条数据转换。
3.根据权利要求1所述的一种数据中心智慧数据平台,其特征在于,所述数据仓库模块包括Map/Reduce处理单元和存储单元;
所述Map/Reduce处理单元,用于对监控数据进行Map/Reduce处理;
所述存储单元用于采用HBase数据库存储来自Zabbix数据源和动力与环境监控系统数据源的实时监控数据、监控参数及Map/Reduce处理后的监控数据,以及,按照时间和设备类型存储日志信息。
4.根据权利要求1所述的一种数据中心智慧数据平台,其特征在于,所述数据分析模块包括业务分析单元和统一告警单元;
所述业务分析单元,用于提供业务分析服务,所述业务分析服务包括:对当前业务进行分析获取对当前业务的总览,以及当前业务对其他业务的影响和拓扑关系;
所述统一告警单元,用于提供统一告警服务,所述统一告警服务包括设置告警指标基线、告警升级规则以及自动压缩资源。
5.根据权利要求1所述的一种数据中心智慧数据平台,其特征在于,前端数据分发处理接口模块所支持的协议包括:Agent协议、Modbus协议、IPMI协议以及Syslog协议。
6.根据权利要求1所述的一种数据中心智慧数据平台,其特征在于,所述数据源包括Zabbix数据源、动力与环境监控系统数据源以及日志信息源;
所述Zabbix数据源用于提供Zabbix数据,所述Zabbix数据包括CPU使用率、CPU负载率、内存使用率、网络流量、磁盘空间使用率、磁盘I/O、进程数、数据库可用性、应用服务器可用性;
所述动力与环境监控系统数据源包括:UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机;
所述日志信息源包括:服务器运行日志文件、存储设备运行日志文件、网络设备运行日志文件、以及设备运行文件。
7.根据权利要求1所述的一种数据中心智慧数据平台,其特征在于,所述数据展示模块包括API接口单元和三维可视化显示单元。
8.一种数据中心智慧数据平台的实现方法,其特征在于,所述实现方法包括:
通过数据源获取数据中心的监控数据,所述监控数据包括Zabbix数据、动力与环境监控系统所采集的数据以及日志信息;
采用主动轮询和被动轮询相结合的方式融合不同的数据源;
对监控数据进行检测、存储和分析;
利用API接口对实时监控数据、监控参数及检测、存储和分析处理后的监控数据进行三维可视化显示。
9.根据权利要求8所述的一种数据中心智慧数据平台的实现方法,其特征在于,采用主动轮询和被动轮询相结合的方式融合不同的数据源,包括:
对数据源中的基础设施进行资产管理、状态监控和性能监控;
对数据源中的软件资源进行资产管理、状态监控、日志监控和性能监控;
对数据源中基础设施和软件资源的负载进行统计分析;
对动力与环境监控系统数据源进行管理。
10.根据权利要求8或9所述的一种数据中心智慧数据平台的实现方法,其特征在于,所述对监控数据进行检测、存储和分析,包括如下过程:
利用公式y=(x-mean)/std对监控数据进行异常检测,并对检测合格的监控数据进行单条数据抽取及单条数据转换,其中,x为当前要检测的值,mean为前五个值的平均值,std为均方差,当y大于设定阈值大时,判定当前监控数据为异常值,进行异常报警,同时更新平均值和均方差;
对监控数据进行Map/Reduce处理;
采用HBase数据库存储来自Zabbix数据源和动力与环境监控系统数据源的实时监控数据、监控参数及Map/Reduce处理后的监控数据,以及按照时间和设备类型存储日志信息;
对当前业务进行分析获取对当前业务的总览,以及当前业务对其他业务的影响和拓扑关系;
设置告警指标基线、告警升级规则以及自动压缩资源。
CN201810504001.8A 2018-05-23 2018-05-23 一种数据中心智慧数据平台及其实现方法 Pending CN108809701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810504001.8A CN108809701A (zh) 2018-05-23 2018-05-23 一种数据中心智慧数据平台及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810504001.8A CN108809701A (zh) 2018-05-23 2018-05-23 一种数据中心智慧数据平台及其实现方法

Publications (1)

Publication Number Publication Date
CN108809701A true CN108809701A (zh) 2018-11-13

Family

ID=64091621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810504001.8A Pending CN108809701A (zh) 2018-05-23 2018-05-23 一种数据中心智慧数据平台及其实现方法

Country Status (1)

Country Link
CN (1) CN108809701A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413288A (zh) * 2018-12-04 2019-03-01 合肥天骋电子商务有限公司 一种呼叫中心智能监控系统
CN109657815A (zh) * 2018-12-14 2019-04-19 河南飙风信息科技有限公司 一种自动化运维企业主机管理系统
CN110210705A (zh) * 2019-04-29 2019-09-06 德邦物流股份有限公司 一种数据分析方法及系统
CN110413485A (zh) * 2019-08-02 2019-11-05 上海数讯信息技术有限公司 一种基于Zabbix开源平台的一站式网络监控管理系统与方法
CN111007761A (zh) * 2019-11-28 2020-04-14 上海蓝色帛缔智能工程有限公司 数据中心自动化监控和管理系统
CN112306126A (zh) * 2020-11-02 2021-02-02 深圳市巨文科技有限公司 电子机房温湿度控制方法、系统、智能终端及存储介质
CN113468019A (zh) * 2021-06-28 2021-10-01 康键信息技术(深圳)有限公司 基于Hbase的指标监控方法、装置、设备及存储介质
CN113485894A (zh) * 2021-07-14 2021-10-08 深信服科技股份有限公司 一种数据采集方法、装置、设备及可读存储介质
WO2022067915A1 (zh) * 2020-09-30 2022-04-07 苏州艾隆科技股份有限公司 运维监控方法、装置、存储介质
CN114500571A (zh) * 2022-02-16 2022-05-13 科来网络技术股份有限公司 任务同步方法、装置、计算机设备及存储介质
CN114564758A (zh) * 2022-04-28 2022-05-31 睿至科技集团有限公司 一种运维数据的管理方法及其系统
CN114860774A (zh) * 2022-05-19 2022-08-05 宁波奥克斯电气股份有限公司 空调器的大数据实时分析方法、系统、存储介质和空调器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389715A (zh) * 2013-07-26 2013-11-13 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台
US8862655B2 (en) * 2009-12-30 2014-10-14 Zte Corporation Services cloud system and service realization method
CN104407964A (zh) * 2014-12-08 2015-03-11 国家电网公司 一种基于数据中心的集中监控系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862655B2 (en) * 2009-12-30 2014-10-14 Zte Corporation Services cloud system and service realization method
CN103389715A (zh) * 2013-07-26 2013-11-13 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台
CN104407964A (zh) * 2014-12-08 2015-03-11 国家电网公司 一种基于数据中心的集中监控系统及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413288A (zh) * 2018-12-04 2019-03-01 合肥天骋电子商务有限公司 一种呼叫中心智能监控系统
CN109657815A (zh) * 2018-12-14 2019-04-19 河南飙风信息科技有限公司 一种自动化运维企业主机管理系统
CN110210705A (zh) * 2019-04-29 2019-09-06 德邦物流股份有限公司 一种数据分析方法及系统
CN110413485A (zh) * 2019-08-02 2019-11-05 上海数讯信息技术有限公司 一种基于Zabbix开源平台的一站式网络监控管理系统与方法
CN111007761A (zh) * 2019-11-28 2020-04-14 上海蓝色帛缔智能工程有限公司 数据中心自动化监控和管理系统
WO2022067915A1 (zh) * 2020-09-30 2022-04-07 苏州艾隆科技股份有限公司 运维监控方法、装置、存储介质
CN112306126B (zh) * 2020-11-02 2022-02-15 深圳市巨文科技有限公司 电子机房温湿度控制方法、系统、智能终端及存储介质
CN112306126A (zh) * 2020-11-02 2021-02-02 深圳市巨文科技有限公司 电子机房温湿度控制方法、系统、智能终端及存储介质
CN113468019A (zh) * 2021-06-28 2021-10-01 康键信息技术(深圳)有限公司 基于Hbase的指标监控方法、装置、设备及存储介质
CN113485894A (zh) * 2021-07-14 2021-10-08 深信服科技股份有限公司 一种数据采集方法、装置、设备及可读存储介质
CN114500571A (zh) * 2022-02-16 2022-05-13 科来网络技术股份有限公司 任务同步方法、装置、计算机设备及存储介质
CN114564758A (zh) * 2022-04-28 2022-05-31 睿至科技集团有限公司 一种运维数据的管理方法及其系统
CN114860774A (zh) * 2022-05-19 2022-08-05 宁波奥克斯电气股份有限公司 空调器的大数据实时分析方法、系统、存储介质和空调器

Similar Documents

Publication Publication Date Title
CN108809701A (zh) 一种数据中心智慧数据平台及其实现方法
AU2019201687B2 (en) Network device vulnerability prediction
CN111294217B (zh) 告警分析方法、装置、系统及存储介质
CN106709003A (zh) 基于Hadoop的海量日志数据处理方法
CN106371986A (zh) 一种日志处理运维监控系统
CN110351150A (zh) 故障根源确定方法及装置、电子设备和可读存储介质
CN103716173B (zh) 一种存储监控系统及监控告警发布的方法
CN112269718B (zh) 一种业务系统故障分析方法及装置
CN105071969A (zh) 基于jmx的定制化实时监控及自动化异常处理的系统及方法
CN116232963B (zh) 一种链路跟踪方法及系统
CN113179173A (zh) 一种用于高速公路系统的运维监控系统
CN108182263A (zh) 一种数据中心综合管理系统的数据存储方法
CN111782672B (zh) 多领域数据管理方法及相关装置
CN109359019A (zh) 应用程序性能监控方法、装置、电子设备及存储介质
CN112910696A (zh) 一种网络拓扑自动化建模分析方法
CN114356692A (zh) 一种应用监控链路的可视化处理方法、装置及存储介质
CN116562848A (zh) 一种运维管理平台
CN114780335A (zh) 监测数据的关联方法、装置、计算机设备和存储介质
CN110300002A (zh) 一种可视化的分布式运维方法及装置
US11157267B1 (en) Evaluation of dynamic relationships between application components
CN112149975B (zh) 一种基于人工智能的apm监控系统及监控方法
CN114528554B (zh) 一种信息安全运行场景监控展示平台
CN115719147A (zh) 输电线路巡检数据处理方法、装置、平台
CN112347314B (zh) 一种基于图数据库的数据资源管理系统
CN112989150A (zh) 一种运维图的获取方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113

RJ01 Rejection of invention patent application after publication