CN107302466B - 一种动环监控系统大数据分析平台及方法 - Google Patents
一种动环监控系统大数据分析平台及方法 Download PDFInfo
- Publication number
- CN107302466B CN107302466B CN201710742445.0A CN201710742445A CN107302466B CN 107302466 B CN107302466 B CN 107302466B CN 201710742445 A CN201710742445 A CN 201710742445A CN 107302466 B CN107302466 B CN 107302466B
- Authority
- CN
- China
- Prior art keywords
- alarm
- data
- big data
- information
- configuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007405 data analysis Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 74
- 238000001914 filtration Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004378 air conditioning Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000005265 energy consumption Methods 0.000 claims description 4
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000779 smoke Substances 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000007306 turnover Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 101150118744 UPS1 gene Proteins 0.000 description 4
- 238000005065 mining Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0233—Object-oriented techniques, for representation of network management data, e.g. common object request broker architecture [CORBA]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明公开了一种动环监控系统大数据分析平台及方法，包括：南向接口，用于连接被管理对象，从被管理对象中获取数据源；大数据处理平台，通过南向接口实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时采集的设备信息和音视频数据；北向接口，连接大数据处理平台及下述第三方模块；第三方模块，提供管理入口、第三方平台，实现第三方平台与大数据处理平台的互联，该第三方模块用于发送大数据请求操作，并提供界面展现模块对大数据处理平台的处理结果进行界面展示。本发明的一种动环监控系统大数据分析平台及方法与现有技术相比，有助于分析数据中心的统一运维与运营管理，很好地解决了数据之间的纵向关联及横向关联，实用性强。
Description
技术领域
本发明涉及大数据领域，具体地说是一种动环监控系统大数据分析平台及方法。
背景技术
大数据时代下，动环监控系统承载了越来越来的数据源压力，不仅是种类多，数量也是相当大，动环监控系统目前正处于由专业网管向集中运维的综合网管系统集中化演进的阶段，随着设备的信息源增多，数据采集存储频度也日益加大，带来的将是更海量的数据。分析软件通过标准的动环监控基础数据进行分析，对设备运行状况及运行质量进行评估甚至预测设备的故障发生时间，这些功能的实现将涉及海量数据的处理，采用云计算、大数据系统解决海量的动环监控数据的分布式采集、分布式并行存储、挖掘分析将变得非常必要。
现有技术的技术方案，主要是通过传统数据采集实现。目前动环监控系统的总体趋势是面临运维人员数量急剧减少、设备数量不断增加的压力，同时面临动环设备运行产生的数据量快速增长、多类数据分析并存的需求压力下，动环专业的数据处理面临空前的需求。在现今的形式下，必须根据应用需求和数据量选择最适合的产品和技术来支撑应用。同时，世界数据处理市场格局正在发生革命性的变化，传统数据库 (Old SQL) 一 统 天下 变 成 了Old SQL +New SQL + No SQL + 其他新技术( 例如流、实时、内存等) 共同支撑多类应用的局面。
目前动环监控系统功能仅限于监控实时数据和告警的上传，还没有达到对基础数据进行深入的统计、挖掘分析乃至据以反馈闭环控制的要求，因此，亟需一种新技术，使得设备监控颗粒度更加细化，以便更早、更精确地发现设备备故障加以预警预判。
发明内容
本发明的技术任务是针对以上不足之处，提供一种动环监控系统大数据分析平台及方法。
一种动环监控系统大数据分析平台，包括：
南向接口，用于连接被管理对象，从被管理对象中获取数据源；
大数据处理平台，通过南向接口实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时采集的设备信息和音视频数据；
北向接口，连接大数据处理平台及下述第三方模块；
第三方模块，提供管理入口、第三方平台，实现第三方平台与大数据处理平台的互联，该第三方模块用于发送大数据请求操作，并提供界面展现模块对大数据处理平台的处理结果进行界面展示。
大数据处理平台通过南向接口实时采集的数据源包括以下数据分类：
事务性数据，包括UPS设备告警信息、精密空调设备告警信息、精密配电柜告警信息、环境告警信息，其中UPS设备告警信息包括UPS停电告警、UPS故障、UPS转旁路的告警信息；精密空调设备告警信息包括精密空调风机故障、压缩机故障、温度传感器故障信息；精密配电柜告警信息包括开关分闸、开关合闸的告警信息；环境告警信息包括模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警信息；
高价值密度数据，包括UPS电压、电流、功率、频率、电能数据，及精密空调数据，该精密空调数据包括送风温度、回风温度、回风湿度、压缩机状态；
低密度价值数据，包括模块化数据中心视频监控图像、音频监控数据。
所述南向接口用于大数据处理平台与各种设备的通信和数据采集，所述各种设备包括动力类设备、环境类设备、IT类设备、安全防护类设备，其中动力类设备包括UPS、高压直流、智能配电柜；环境类设备包括精密空调、环境温湿度传感器；IT类设备包括服务器、存储及交换机；安全防护类设备包括可视对讲、网络摄像机。
在南向接口与大数据处理平台之间配置有协议层，用于根据不同的协议进行解析预处理，将采集的数据根据不同的协议按照协议格式进行处理，并把数据推送到大数据处理平台，所述不同的协议包括Modbus协议、IPMI协议、电总协议、SNMP协议、Velocity协议。
所述大数据处理平台进行实时告警的过程为：
首先进行告警管理配置，确定告警范围；
然后配置告警模板，确定告警事件类型；
配置告警屏蔽，确定告警信息的发送方式；
配置告警规则，使告警信息按照告警规则产生；
配置告警通知内容，用于接收告警信息。
所述告警规则的配置过程为：
配置告警衍生，即将多条同类告警衍生成一条新的告警；
配置告警过滤，通过过滤方式选取出主要告警和次要告警，主要告警的报警级别高于次要告警；
配置告警翻转，将高频次告警在告警一段时间后进行屏蔽，待告警处理完毕后再恢复上报。
所述实时告警的具体过程为：
1）首先进行告警管理配置，配置的内容包括：局站名称，即模块化数据中心所处地点名称；设备名称，即模块化数据中心的设备名称；事件名称；事件描述；告警触发值；录入注释，即管理员对此告警需要录入的备注信息；
2）配置告警模板，该告警模板中包括：局站名称；设备类型，包括供配电类、环境类、安防类；具体设备，包括UPS、精密空调、精密配电柜；事件名称；事件是否确认，即管理员是否确认该告警；事件是否结束；
3）配置告警屏蔽，包括局站屏蔽、设备屏蔽和事件屏蔽，屏蔽管理通过屏蔽方式和时间段来屏蔽事件信息，逾期和解除屏蔽后，事件将正常显示；
4）配置告警规则，包括：
配置告警衍生，当多个同类型告警产生并满足同一条件时，产生一条新的告警，即当告警单位时间内产生的数量达到1分钟中内N条告警，产生一条衍生告警，该告警的等级比原有告警等级高；当发生密度小于1分钟中内N条告警时，该告警结束，这里的N为≥10的自然数；
配置告警过滤，当多个告警通知产生时，选取一条告警做主要告警，其他告警作为次要告警，且主次告警的运行逻辑为：当告警产生时，次要告警缓存一定时间后，该时间自定义，等待主要告警产生，如果主要告警产生，则次要告警不显示只存库；如果到了一定时间未等到主要告警，则次要告警正常上送；
配置告警翻转，当某条告警信号连续30分钟超过6条时，则认为是高频次告警，在30分钟后的这条告警“描述字段”注明“高频次告警”字样，此后应屏蔽连续上报的告警，直到不满足判断条件再恢复正常上报；
5）配置告警通知，该告警通知的内容包括：局站类型、告警名称、告警等级、重试次数和延时、事件开始时间下限和事件开始时间上限、接收对象。
在步骤5）后，还包括配置告警抖动屏蔽的步骤，即在上述告警触发值配置回差，当信号降回到回差后的数值时，取消告警发送。
所述大数据处理平台实时采集数据源数据的过程为：
首先进行数据过滤，从局站等级和事件等级两方面实现站点基本过滤，过滤功能从局站分组方式、局站分组、局站等级和局站四方面进行过滤显示；
提供实时浏览功能模块，实时查看被监控设备的运行数据，该功能模块提供列表和图形、实时曲线的方式，查看局站、设备、设备类、局房中各信号的实时数据，对被监控设备的运行情况进行在线观察、监视；
进行能耗分析，根据采集和存储的电能数据，对用电量异常数据进行监测和分析，及时处理包括电表故障、数据统计异常的系统异常；
进行底层控制功能，即通过配置逻辑控制程序，通过机房基站监控到包括实时温湿度、空调运行状态、新风机状态的参数，通过逻辑程序对空调进行自行开关机及温度控制；
进行蓄电池、空调管理，根据采集的蓄电池和空调数据信息，判断出异常信息；
进行KPI管理，这里的KPI管理包括：活动告警等级统计、活动告警区域分布、停电区域分布、断站区域分布、电子地图、温度高站点数区域统计、退服区域统计、监控可用率区域统计、电池总电压低区域分布、局站区域统计。
所述大数据处理平台采集的设备信息和音视频数据具体分为结构化数据、半结构化数据和非结构化数据，其中，结构化数据包括网络流量日志和资源管理数据，即模块化数据中心的各个设备的相关数据；半结构化数据包括设备日志和系统日志；非结构化数据包括音频和视频数据，通过将其与图像进行匹配，加上标签，进而与有用信息建立关联。
一种动环监控系统大数据分析方法，其实现过程为：
首先启动大数据处理平台，接受注册和订阅；
通过第三方模块中的展示界面输入数据操作请求，该数据操作请求通过北向接口推送数据到大数据处理平台；
大数据处理平台根据数据操作请求的数据类型获取元数据和数据地址；
当需要获取实时数据时，通过协议层及南向接口向被管理对象发出请求，从数据源中获取数据；
大数据处理平台实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时将采集设备信息和音视频数据；
经北向接口向第三方模块返回大数据操作结果；
重复上述过程，进行下一次大数据请求操作。
本发明的一种动环监控系统大数据分析平台及方法和现有技术相比，具有以下有益效果：
本发明的一种动环监控系统大数据分析平台及方法，设计合理的动环监控系统大数据分析方法，通过设计的大数据处理框架，使得MPP数据处理接口、Hadoop处理接口与OLTP数据处理接口统一纳入所设计的大数据处理框架之下，构建了一个高效、稳定的数据中心动环监控系统大数据处理系统；定义了动环监控系统的三种数据源分类，即事务性数据，高价值密度数据和低价值密度数据，构成了一个完整的动环监控系统大数据数据源；定义了基于大数据分析的各种告警管理；定义了实时数据采集的大数据分析应用方法；有助于分析数据中心的统一运维与运营管理，尤其是在涉及海量被管理对象同时需要监控的场景，将监控系统搭建在该大数据分析架构上，很好地解决了数据之间的纵向关联及横向关联，实用性强，适用范围广泛，易于推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1为本发明的具体实施示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的方案，下面结合具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1所示，本发明提供一种动环监控系统大数据分析平台，定义了一个基于MPP架构的新型数据库集群框架，定义了结合MPP 架构高效的分布式计算模式，定义了数据的分类，分为事务性数据、高价值密度数据、低密度价值数据，完成对分析类应用的支撑，通过分布式并行计算、动态扩展等技术，能够在海量数据处理和大数据分析等多种场景，满足动环监控系统大数据分析需求，提升动环系统的服务支撑能力。
其结构包括：
南向接口，用于连接被管理对象，从被管理对象中获取数据源；
大数据处理平台，通过南向接口实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时采集的设备信息和音视频数据，该大数据处理平台是处理面临数据规模大、关联查询复杂、实时查询等多方面的数据处理平台；
北向接口，连接大数据处理平台及下述第三方模块；
第三方模块，提供管理入口、第三方平台，实现第三方平台与大数据处理平台的互联，该第三方模块用于发送大数据请求操作，并提供界面展现模块对大数据处理平台的处理结果进行界面展示。
大数据处理平台通过南向接口实时采集的数据源包括以下数据分类：
事务性数据，包括UPS停电告警、UPS故障、UPS转旁路等UPS设备告警信息，精密空调风机故障、压缩机故障、温度传感器故障等精密空调设备告警信息，精密配电柜开关分闸、开关合闸等精密配电柜告警信息，模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警等；
高价值密度数据，包括UPS电压、电流、功率、频率、电能数据，及精密空调数据，该精密空调数据包括送风温度、回风温度、回风湿度、压缩机状态等；
低密度价值数据，包括模块化数据中心视频监控图像、音频监控数据等。
所述南向接口用于大数据处理平台与各种设备的通信和数据采集，所述各种设备包括动力类设备、环境类设备、IT类设备、安全防护类设备，其中动力类设备包括UPS、高压直流、智能配电柜；环境类设备包括精密空调、环境温湿度传感器；IT类设备包括服务器、存储及交换机；安全防护类设备包括可视对讲、网络摄像机。
在南向接口与大数据处理平台之间配置有协议层，用于根据不同的协议进行解析预处理，将采集的数据根据不同的协议按照协议格式进行处理，并把数据推送到大数据处理平台，所述不同的协议包括Modbus协议、IPMI协议、电总协议、SNMP协议、Velocity协议。
所述大数据处理平台进行实时告警的过程为：
1）动环实时告警。
1、定义告警管理，包括：局站名称（即模块化数据中心所处地点名称）、设备名称（即模块化数据中心里面的设备名称，如UPS1，精密空调2，精密配电柜3）、事件名称（如UPS1市电输入异常）、事件描述（如UPS1市电停电）、触发值（如UPS1市电电压值为90V）、录入注释（即管理员对此告警需要录入些备注信息）。
2、定义告警模板，包括：局站名称、设备类型（供配电类、环境类、安防类）、设备（指的是具体设备，如UPS，精密空调或精密配电柜等）、事件名称、事件是否确认（即管理员是否确认该告警，比如说管理员以及了解了该告警，估可以确认并关闭该告警）、事件是否结束（因为告警有开始，也会有结束）。
3、定义告警屏蔽，供在线屏蔽配置功能，在线屏蔽配置包括局站屏蔽、设备屏蔽和事件屏蔽。屏蔽管理通过屏蔽方式（如界面不显示，不发送告警邮件，不发送告警短信等）和时间段（如工作时间告警信息发送运维主管，非工作时间告警信息不发送运维主管，只发送运维工程师，时间段是可以在大数据处理平台的操作页面中设置的）来屏蔽事件信息，逾期和解除屏蔽后，事件将正常显示。
4、定义告警衍生，多个同类型告警产生并满足一定条件（比如市电停电时，这时UPS设备会报停电告警，精密配电柜也会报停电告警，精密空调也会报停电告警，那么管理平台通常就会收到很多同类型的告警，这时就需要发挥大数据处理平台的作用，通过告警关联的根原因分析）时，产生一条新的告警。衍生告警的产生逻辑：当告警单位时间内产生的数量（发生密度）达到1分钟中内10条告警，产生一条衍生告警，该告警的等级一般比原有告警等级高。当发生密度小于1分钟中内10条告警时，该告警结束。
5、定义告警过滤，多个告警通知产生时，选取一条告警做主要告警（主要告警是指影响模块化数据中心正常工作的告警，比如市电停电，空调宕机，主要告警是由模块化数据中心管理员在大数据平台自行设定），其他告警作为次要告警（即告警级别低一些的告警，比如模块化数据中心刷卡进入，次要告警是由模块化数据中心管理员在大数据平台自行设定），避免主要告警被告警信息淹没。主次告警的运行逻辑为：当告警产生时，次要告警缓存一定时间后，等待主要告警产生，如果主要告警产生，则次要告警不显示只存库。如果到了一定时间未等到主要告警，则次要告警正常上送。
6、定义告警翻转，当某条告警信号连续30分钟超过6条时，则认为是高频次告警，在30分钟后的这条告警“描述字段”注明“高频次告警”字样，此后应屏蔽连续上报的告警，直到不满足判断条件再恢复正常上报。
7、定义告警通知，配置以下内容筛选告警通知信息：局站类型（同上）、告警名称（同上）、告警等级（分为一级告警，二级告警，三级告警，四级告警，其中四级告警为级别最高的告警），重试次数和延时、事件开始时间下限和事件开始时间上限、接收对象。
8、定义告警抖动屏蔽 ，告警抖动屏蔽:当某信号在告警阀值周围波动时,会频繁产生告警,信号配置时设置回差以消除频繁告警，所述回差就是把控制的点变成控制段，如果没有回差，当湿度在报警值周围波动变化时，开关就在不停的变化 对控制设备有极大的损害。比如当湿度上限设置80%RH 回差5%RH 则当湿度上升超过80%RH，输出开关量信号，当湿度降回到75%RH时开关量取消。
2）动环监控实时采集数据。
1、定义数据过滤，提供过滤功能，从局站等级和事件等级两方面快速实现站点基本过滤功能；过滤功能从局站分组方式、局站分组、局站等级和局站四方面进行过滤显示。
2、定义实时浏览，可以实时查看被监控设备的运行数据。提供列表和图形、实时曲线等多种方式，用户可以任意选择查看局站、设备、设备类、局房中各信号的实时数据，对被监控设备的运行情况进行在线观察、监视。
3、定义能耗分析，充分挖掘动环系统采集和存储的电能数据，从而提升局站用电管理的科学性和前瞻性。同时，系统也对用电量异常数据进行全面的监测和分析，及时处理系统异常（例如：电表故障、数据统计异常等），从而保障系统的长期稳定运行。
4、定义底层控制功能，第一次配置时需现场配置并写入相应逻辑控制程序，依托机房基站监控到的实时温湿度、空调运行状态、新风机（如果有）状态等参数，通过逻辑程序对空调进行自行开关机及温度控制，起到节能目的。
6、定义蓄电池管理，可以通过蓄电池管理功能中的落后电池分析和容量估计功能进行异常电池的判断，数据中心蓄电池容量变化记录，总容量低于额定容量80％的机房记录，总容量低于80％的机房统计，总容量低于80％的蓄电池组统计。
7、定义空调管理，动环监控系统对空调故障告警进行统计分析，比较不同品牌之间的空调性能，利于后期选型采购，通过管理程序可对某空调进行制冷性能测试，同时结合环境温湿度变化、空调能耗等多方位数据，分析空调性能。
8、定义KPI管理，基于大数据分析，系统提供的KPI控件有：活动告警等级统计、活动告警区域分布、停电区域分布、断站区域分布、电子地图、温度高站点数区域统计、退服（断站）区域统计、监控可用率区域统计、电池总电压低区域分布、局站区域统计。
3）设备信息及音视频数据处理。
1、结构化数据包括网络流量日志和资源管理（即模块化数据中中的各个设备）。
2、半结构化数据包括设备日志和系统日志。
3、非结构化数据包括音频和视频数据，通常存储于数据库之外的数据称为非结构化数据（unstructured data）。将各种不同类型和格式的数据进行集成，使用与非结构化的数据相关联的键或者标签（或者元数据），而这些非结构化数据通常包含了与其他主数据相关的信息。通过分析非结构化数据，就可以将非结构化数据与产品相关联。一段音视频可能包含某个有用信息，可以通过将其与图像进行匹配，加上标签，进而与有用信息建立关联。
一种动环监控系统大数据分析方法，其实现过程为：
首先启动大数据处理平台，接受注册和订阅；
通过第三方模块中的展示界面输入数据操作请求，该数据操作请求通过北向接口推送数据到大数据处理平台；
大数据处理平台根据数据操作请求的数据类型到OLTP、数据集市或Hadoop获取元数据和数据地址；
针对大规模的请求情况，大数据处理平台启动分发查询服务，如果需要获取实时数据，则通过协议解析层及南向接口向被管理对象发出请求；
大数据处理平台实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时将采集设备信息和音视频数据；
大数据处理平台经过数据过滤模块进行汇聚结果；
经北向接口向第三方模块返回大数据操作结果；
重复上述过程，进行下一次大数据请求操作。
在这种动环监控系统大数据分析方法的框架基础上，采用Share Nothing技术，通过列存储、粗粒度索引等多项大数据处理技术。以基于MPP 架构的新型数据库集群作为大数据处理平台的核心，管理结构化大数据，实现对海量数据的存储、分析等操作，支撑数据中心的大数据分析类应用。支持动环实时采集数据（高价值密度结构化数据）。对于动环实时告警（在线业务数据）采用OLTP数据处理方式。
再结合MPP 架构高效的分布式计算模式，完成对分析类应用的支撑，MPP 数据库技术作为未来主流的数据库技术，通过分布式并行计算、动态扩展等技术，能够在海量数据处理和大数据分析等多种场景，满足动环集中监控系统需求，提升动环监控系统的服务支撑能力。
根据一致性/可用性/分区存储( CAP) 原则，根据采集监控、挖掘分析不同应用采取不同的模式。
基于Hadoop的数据处理技术管理非/半结构化大数据，并用事务型数据库支撑在线业务系统，支持设备信息及音视频数据（低价值密度数据）。
本发明有助于分析数据中心的统一运维与运营管理，尤其是在涉及海量被管理对象同时需要监控的场景，将监控系统搭建在该大数据分析架构上，很好地解决了数据之间的纵向关联及横向关联。该方法对于研究类似的大数据分析系统具有参考意义。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (6)
1.一种动环监控系统大数据分析平台，其特征在于，包括：
南向接口，用于连接被管理对象，从被管理对象中获取数据源；
大数据处理平台，通过南向接口实时采集数据源的数据，并对采集的数据达到告警阈值时实时告警，同时采集设备信息和音视频数据；
北向接口，连接大数据处理平台及下述第三方模块；
第三方模块，提供管理入口、第三方平台，实现第三方平台与大数据处理平台的互联，该第三方模块用于发送大数据请求操作，并提供界面展现模块对大数据处理平台的处理结果进行界面展示；
所述大数据处理平台进行实时告警的过程为：
首先进行告警管理配置，确定告警范围；
然后配置告警模板，确定告警事件类型；
配置告警屏蔽，确定告警信息的发送方式；
配置告警规则，使告警信息按照告警规则产生；
配置告警通知内容，用于接收告警信息；
所述告警规则的配置过程为：
配置告警衍生，即将多条同类告警衍生成一条新的告警；
配置告警过滤，通过过滤方式选取出主要告警和次要告警，主要告警的报警级别高于次要告警；
配置告警翻转，将高频次告警在告警一段时间后进行屏蔽，待告警处理完毕后再恢复上报；
所述实时告警的具体过程为：
1）首先进行告警管理配置，配置的内容包括：局站名称，即模块化数据中心所处地点名称；设备名称，即模块化数据中心的设备名称；事件名称；事件描述；告警触发值；录入注释，即管理员对此告警需要录入的备注信息；
2）配置告警模板，该告警模板中包括：局站名称；设备类型，包括供配电类、环境类、安防类；具体设备，包括UPS、精密空调、精密配电柜；事件名称；事件是否确认，即管理员是否确认该告警；事件是否结束；
3）配置告警屏蔽，包括局站屏蔽、设备屏蔽和事件屏蔽，屏蔽管理通过屏蔽方式和时间段来屏蔽事件信息，逾期和解除屏蔽后，事件将正常显示；
4）配置告警规则，包括：
配置告警衍生，当多个同类型告警产生并满足同一条件时，产生一条新的告警，即当告警单位时间内产生的数量达到1分钟中内N条告警，产生一条衍生告警，该告警的等级比原有告警等级高；当发生密度小于1分钟中内N条告警时，该告警结束，这里的N为≥10的自然数；
配置告警过滤，当多个告警通知产生时，选取一条告警做主要告警，其他告警作为次要告警，且主次告警的运行逻辑为：当告警产生时，次要告警缓存一定时间后，该时间自定义，等待主要告警产生，如果主要告警产生，则次要告警不显示只存库；如果到了一定时间未等到主要告警，则次要告警正常上送；
配置告警翻转，当某条告警信号连续30分钟超过6条时，则认为是高频次告警，在30分钟后的这条告警“描述字段”注明“高频次告警”字样，此后应屏蔽连续上报的告警，直到不满足判断条件再恢复正常上报；
5）配置告警通知，该告警通知的内容包括：局站类型、告警名称、告警等级、重试次数和延时、事件开始时间下限和事件开始时间上限、接收对象；
在步骤5）后，还包括配置告警抖动屏蔽的步骤，即在上述告警触发值配置回差，当信号降回到回差后的数值时，取消告警发送；
所述大数据处理平台实时采集数据源的数据的过程为：
首先进行数据过滤，从局站等级和事件等级两方面实现站点基本过滤，过滤功能从局站分组方式、局站分组、局站等级和局站四方面进行过滤显示；
提供实时浏览功能模块，实时查看被监控设备的运行数据，该功能模块提供列表和图形、实时曲线的方式，查看局站、设备、设备类、局房中各信号的实时数据，对被监控设备的运行情况进行在线观察、监视；
进行能耗分析，根据采集和存储的电能数据，对用电量异常数据进行监测和分析，及时处理包括电表故障、数据统计异常的系统异常；
进行底层控制功能，即通过配置逻辑控制程序，通过机房基站监控到包括实时温湿度、空调运行状态、新风机状态的参数，通过逻辑程序对空调进行自行开关机及温度控制；
进行蓄电池、空调管理，根据采集的蓄电池和空调数据信息，判断出异常信息；
进行KPI管理，这里的KPI管理包括：活动告警等级统计、活动告警区域分布、停电区域分布、断站区域分布、电子地图、温度高站点数区域统计、退服区域统计、监控可用率区域统计、电池总电压低区域分布、局站区域统计。
2.根据权利要求1所述的一种动环监控系统大数据分析平台，其特征在于，大数据处理平台通过南向接口实时采集的数据源包括以下数据分类：
事务性数据，包括UPS设备告警信息、精密空调设备告警信息、精密配电柜告警信息、环境告警信息，其中UPS设备告警信息包括UPS停电告警、UPS故障、UPS转旁路的告警信息；精密空调设备告警信息包括精密空调风机故障、压缩机故障、温度传感器故障信息；精密配电柜告警信息包括开关分闸、开关合闸的告警信息；环境告警信息包括模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警信息；
高价值密度数据，包括UPS电压、电流、功率、频率、电能数据，及精密空调数据，该精密空调数据包括送风温度、回风温度、回风湿度、压缩机状态；
低密度价值数据，包括模块化数据中心视频监控图像、音频监控数据。
3.根据权利要求1所述的一种动环监控系统大数据分析平台，其特征在于，所述南向接口用于大数据处理平台与各种设备的通信和数据采集，所述各种设备包括动力类设备、环境类设备、IT类设备、安全防护类设备，其中动力类设备包括UPS、高压直流、智能配电柜；环境类设备包括精密空调、环境温湿度传感器；IT类设备包括服务器、存储及交换机；安全防护类设备包括可视对讲、网络摄像机。
4.根据权利要求1所述的一种动环监控系统大数据分析平台，其特征在于，在南向接口与大数据处理平台之间配置有协议层，用于根据不同的协议进行解析预处理，将采集的数据根据不同的协议按照协议格式进行处理，并把数据推送到大数据处理平台，所述不同的协议包括Modbus协议、IPMI协议、电总协议、SNMP协议、Velocity协议。
5.根据权利要求1所述的一种动环监控系统大数据分析平台，其特征在于，所述大数据处理平台采集的设备信息和音视频数据具体分为结构化数据、半结构化数据和非结构化数据，其中，结构化数据包括网络流量日志和资源管理数据，即模块化数据中心的各个设备的相关数据；半结构化数据包括设备日志和系统日志；非结构化数据包括音频和视频数据，通过将其与图像进行匹配，加上标签，进而与有用信息建立关联。
6.一种动环监控系统大数据分析方法，其特征在于，基于权利要求1-5任一所述的动环监控系统大数据分析平台，其实现过程为：
首先启动大数据处理平台，接受注册和订阅；
通过第三方模块中的展示界面输入数据操作请求，该数据操作请求通过北向接口推送数据到大数据处理平台；
大数据处理平台根据数据操作请求的数据类型获取元数据和数据地址；
当需要获取实时数据时，通过协议层及南向接口向被管理对象发出请求，从数据源中获取数据；
大数据处理平台实时采集数据源的数据，并对采集的数据达到告警阈值时实时告警，同时将采集设备信息和音视频数据；
经北向接口向第三方模块返回大数据操作结果；
重复上述过程，进行下一次大数据请求操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710742445.0A CN107302466B (zh) | 2017-08-25 | 2017-08-25 | 一种动环监控系统大数据分析平台及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710742445.0A CN107302466B (zh) | 2017-08-25 | 2017-08-25 | 一种动环监控系统大数据分析平台及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107302466A CN107302466A (zh) | 2017-10-27 |
| CN107302466B true CN107302466B (zh) | 2020-08-25 |
Family
ID=60132360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710742445.0A Active CN107302466B (zh) | 2017-08-25 | 2017-08-25 | 一种动环监控系统大数据分析平台及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107302466B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110018993B (zh) * | 2017-12-29 | 2021-03-23 | 中移动信息技术有限公司 | 一种数据分析系统、方法及监控分析系统 |
| CN108280013B (zh) * | 2018-02-05 | 2021-07-23 | 中国银行股份有限公司 | 一种环境资源监测页面的展示方法及装置 |
| CN108696592A (zh) * | 2018-05-16 | 2018-10-23 | 郑州云海信息技术有限公司 | 一种基于mdc的联动控制方法、系统及系统的设计方法 |
| CN108762748A (zh) * | 2018-05-22 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种基于数据中心的数据展示方法及系统 |
| CN108881406A (zh) * | 2018-05-30 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种基于模块化数据中心的物联网云监控系统 |
| CN109088785A (zh) * | 2018-06-14 | 2018-12-25 | 苏州新研联信息科技有限公司 | 一种idc数据中心设备管理系统 |
| CN110764961A (zh) * | 2018-07-25 | 2020-02-07 | 上海科技网络通信有限公司 | 大数据分析的数据中心告警管理系统 |
| CN108897258A (zh) * | 2018-07-27 | 2018-11-27 | 北京中标新亚节能工程股份有限公司 | 基于lora及AI的能源监控系统 |
| CN111131842A (zh) * | 2018-11-01 | 2020-05-08 | 深圳市尚云互联技术有限公司 | 影音推送服务平台 |
| CN110906498B (zh) * | 2019-11-21 | 2021-09-14 | 珠海格力电器股份有限公司 | 噪声控制方法、装置、电子设备及存储介质 |
| CN111045364B (zh) * | 2019-12-18 | 2021-04-30 | 国网宁夏电力有限公司信息通信公司 | 一种基于大数据平台的动力环境监控系统辅助决策方法 |
| CN111609883B (zh) * | 2020-05-20 | 2021-03-30 | 山东联信征信管理有限公司 | 一种基于大数据的通信机房防护监测管理系统 |
| CN111611133B (zh) * | 2020-05-21 | 2022-04-29 | 莫毓昌 | 一种基于智能监控的数据中心能耗管理方法 |
| CN111784989B (zh) * | 2020-07-07 | 2021-08-13 | 安全能力生态聚合(北京)运营科技有限公司 | 一种基于大数据的信息安全管理系统 |
| CN111880455A (zh) * | 2020-08-12 | 2020-11-03 | 浙江国信华维通讯科技有限公司 | 一种基站智能管控系统 |
| CN114938393B (zh) * | 2022-05-06 | 2024-04-19 | 中富通集团股份有限公司 | 一种机房数据交互方法及系统和存储介质 |
| CN114944980B (zh) * | 2022-07-26 | 2022-10-21 | 上海有孚智数云创数字科技有限公司 | 用于监控告警的系统方法、设备和介质 |
| CN114976986B (zh) * | 2022-08-02 | 2022-10-21 | 山东汇能电气有限公司 | 一种基于大数据的空气绝缘充气柜自适应调控系统 |
| CN115376295A (zh) * | 2022-08-22 | 2022-11-22 | 深圳奇迹智慧网络有限公司 | 智慧杆的视频识别管理方法及系统 |
| CN117155761A (zh) * | 2023-11-01 | 2023-12-01 | 睿至科技集团有限公司 | 一种基于智能动环监控管理平台的告警方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101217315A (zh) * | 2008-01-04 | 2008-07-09 | 中兴通讯股份有限公司 | 一种告警屏蔽的配置方法和系统 |
| CN107018157A (zh) * | 2017-06-02 | 2017-08-04 | 郑州云海信息技术有限公司 | 一种基于mdc的动环监控系统标准化接口设计方法 |
| CN107070726A (zh) * | 2017-05-22 | 2017-08-18 | 郑州云海信息技术有限公司 | 一种基于mdc的综合管理方法 |
| CN107104975A (zh) * | 2017-05-22 | 2017-08-29 | 郑州云海信息技术有限公司 | 一种基于mdc的支持异构的数据池化层、系统及其实现方法 |
-
2017
- 2017-08-25 CN CN201710742445.0A patent/CN107302466B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101217315A (zh) * | 2008-01-04 | 2008-07-09 | 中兴通讯股份有限公司 | 一种告警屏蔽的配置方法和系统 |
| CN107070726A (zh) * | 2017-05-22 | 2017-08-18 | 郑州云海信息技术有限公司 | 一种基于mdc的综合管理方法 |
| CN107104975A (zh) * | 2017-05-22 | 2017-08-29 | 郑州云海信息技术有限公司 | 一种基于mdc的支持异构的数据池化层、系统及其实现方法 |
| CN107018157A (zh) * | 2017-06-02 | 2017-08-04 | 郑州云海信息技术有限公司 | 一种基于mdc的动环监控系统标准化接口设计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于TMN的移动网管故障管理子系统设计;江涛;《中国优秀硕士学位论文全文数据库-信息科技辑》;20050615(第02期);第3.1、3.5、3.6、3.7、4.3、5.1节、第六章 * |
| 广东联通IP承载网质量监测系统建设方案研究;严海涛;《数据通信》;20140120(第01期);第3.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107302466A (zh) | 2017-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107302466B (zh) | 一种动环监控系统大数据分析平台及方法 | |
| CN110493348B (zh) | 一种基于物联网的智能监控报警系统 | |
| CN104407964B (zh) | 一种基于数据中心的集中监控系统及方法 | |
| CN107454140A (zh) | 一种基于大数据平台的Ceph集群自动化部署方法及系统 | |
| CN107612779B (zh) | 调度数据网二次安全防护网络设备及业务运行监视系统 | |
| CN105871605A (zh) | 一种基于电力营销大数据的运维监控平台 | |
| CN104468220B (zh) | 电力通信网预警管控平台 | |
| WO2023284725A1 (zh) | 基于工业互联网的智慧能源管控平台 | |
| CN101296115B (zh) | 电信网络多维监控方法 | |
| CN103606024A (zh) | 一种基于调度数据网的集中运维系统及其方法 | |
| CN107633307B (zh) | 供配电系统根源告警检测方法、装置、终端及计算机存储介质 | |
| CN106100884A (zh) | 变电站监控设备运行异常的告警方法 | |
| CN111431754A (zh) | 配用电通信网故障分析方法和系统 | |
| CN102568147B (zh) | 半导体设备软件故障报警方法 | |
| CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
| CN117010665A (zh) | 智慧运维idc机房管理系统 | |
| CN108226775B (zh) | 风力发电机的故障自检测方法及装置 | |
| CN108596477A (zh) | 一种mdc综合能耗管理系统及方法 | |
| CN115208059A (zh) | 一种变电站动力与环境监控告警处理系统及方法 | |
| CN110320503A (zh) | 一种x波段天气雷达标准输出控制器系统 | |
| CN204389937U (zh) | 交通设备全过程运营监控装置 | |
| CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及系统 | |
| CN105515192A (zh) | 输变电设备负荷数据接入电力系统的监控预警系统及方法 | |
| CN205983124U (zh) | 一种综合监控系统 | |
| CN112449019A (zh) | 一种ims智能物联网运维管理平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200722 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |