CN106407072A - 一种大数据平台的监控系统 - Google Patents

一种大数据平台的监控系统 Download PDF

Info

Publication number
CN106407072A
CN106407072A CN201610812606.4A CN201610812606A CN106407072A CN 106407072 A CN106407072 A CN 106407072A CN 201610812606 A CN201610812606 A CN 201610812606A CN 106407072 A CN106407072 A CN 106407072A
Authority
CN
China
Prior art keywords
data
unit
electrically
module
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610812606.4A
Other languages
English (en)
Inventor
周忠诚
赫中翮
曾琰
李瑾璠
陈俊良
霍旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gaodig Information Technology Co Ltd
Original Assignee
Beijing Gaodig Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gaodig Information Technology Co Ltd filed Critical Beijing Gaodig Information Technology Co Ltd
Priority to CN201610812606.4A priority Critical patent/CN106407072A/zh
Publication of CN106407072A publication Critical patent/CN106407072A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases

Abstract

本发明公开了数据监控技术领域的一种大数据平台的监控系统，包括模拟量数据源和状态量数据源，所述模拟量数据源和状态量数据源均电性输出连接数据采集模块，所述数据管理单元分别电性双向连接数据分布式存储系统和运维管理单元，通过建立集成化的资源运行状态监控管理系统，实现大数据平台运行状态和信息化资源的统一化、可视化和可控化管理，采用分布式存储系统能够适应大数据时代对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求和对数据库的高可扩展性和高可用性需求，具有良好的横向扩展能力、复制和分区能力，能够实时的展示大数据平台作业运行状态和对作业的统计分析。

Description

一种大数据平台的监控系统
技术领域
本发明涉及数据监控技术领域，具体为一种大数据平台的监控系统。
背景技术
随着社会信息化的不断提高以及互联网技术的快速普及，需要处理的数据也越来越大，各个领域对海量数据的处理需求也越来越多。在单机器存储空间和运算能力已经不能满足人们对海量数据处理的需求的背景下，分布式计算和并行计算开始快速发展和应用，并最终发展为网格运算。大规模分布式系统的监控信息是海量的，监控资源是多层次多来源的，大数据平台的动态性、复杂性给大数据平台的监控系统带来诸多困难，如何有效的监控大数据平台中的软硬件资源，并及时的对资源的瓶颈进行预测分析，在出现故障前采取相应措施，是提高大数据平台质量的关键。
监控是大数据平台的重要组成部分，现有的开源的大数据平台中缺少统一的监控功能，不能实时的展示大数据平台中作业运行状态和对作业的统计分析功能的匮乏，为此，我们发明了一种大数据平台的监控系统投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种大数据平台的监控系统，以解决上述背景技术中提出的现有的开源大数据平台中缺少统一的监控功能的问题。
为实现上述目的，本发明提供如下技术方案：一种大数据平台的监控系统，包括模拟量数据源和状态量数据源，所述模拟量数据源和状态量数据源均电性输出连接数据采集模块，所述数据采集模块电性输出连接数据预处理单元，所述数据预处理单元电性输出连接数据管理单元，所述数据管理单元电性输出连接通信网络单元，所述通信网络单元电性输出连接核心路由器，所述核心路由器电性输出连接交换机，所述交换机电性输出连接分布式CAN总线，所述分布式CAN总线分别电性双向连接监控显示屏、监控主机、调度工作站和管理工作站，所述数据管理单元分别电性双向连接数据分布式存储系统和运维管理单元。
优选的，所述数据采集模块包括信号输入单元，所述信号输入单元电性输出连接数据处理模块，所述数据处理模块电性输出连接A/D转换模块，所述A/D转换模块电性输出连接数据输出单元，所述数据处理模块还电性输出连接报警显示模块，所述数据处理模块电性输入连接循环检测单元。
优选的，所述模拟量数据源包括频率、电压、电流、有功功率、无功功率和温度信息，所述状态量数据源包括开关、事故总信号、保护信号和系统设备运行状态信息。
优选的，所述数据管理单元包括数据库信息读取单元，所述数据库信息读取单元电性输出连接数据运行处理单元，所述数据运行处理单元电性输出连接控制程序模块，所述控制程序模块电性输出连接数据建模单元，所述数据建模单元电性输出连接数据整合输出模块，所述控制程序模块分别电性输入连接数据库维护单元和数据查询输入端口。
优选的，所述控制程序模块内部包括系统初启动程序、安全性控制程序、完整性控制程序、事务管理控制程序、并发控制程序和运行日志管理控制程序。
优选的，所述数据分布式存储系统包括数据分布单元，所述数据分布单元电性输出连接数据逻辑模型，所述数据逻辑模型电性输出连接数据端口，所述数据分布单元电性输入连接数据索引模块，所述数据分布单元分别电性双向连接实时数据库和综合数据库。
优选的，所述数据逻辑模型包括键值存储、文档存储、列存储和图存储，所述实时数据库内部包括数据管理单元、内存数据库和磁盘数据库。
优选的，所述运维管理单元内部包括服务运行监控、服务状态监控和系统运行状态监控。
与现有技术相比，本发明的有益效果是：通过建立集成化的资源运行状态监控管理系统，实现大数据平台运行状态和信息化资源的统一化、可视化和可控化管理，相对于传统串行式数据存储，采用分布式存储系统能够适应大数据时代对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求和对数据库的高可扩展性和高可用性需求，具有良好的横向扩展能力、复制和分区能力，其接口简单，模式自由，对大数据进行海量存储，能够实时的展示大数据平台作业运行状态和对作业的统计分析。
附图说明
图1为本发明系统框图；
图2为本发明数据采集模块系统框图；
图3为本发明数据管理单元系统框图；
图4为本发明数据分布式存储系统框图；
图5为本发明工作流程图。
图中：1模拟量数据源、2状态量数据源、3数据采集模块、31信号输入单元、32数据处理模块、33A/D转换模块、34数据输出单元、35循环检测单元、36报警显示模块、4数据预处理单元、5数据管理单元、51数据库信息读取单元、52数据运行处理单元、53控制程序模块、54数据建模单元、55数据整合输出模块、56数据库维护单元、57数据查询输入端口、6通信网络单元、7核心路由器、8交换机、9分布式CAN总线、10监控显示屏、11监控主机、12调度工作站、13管理工作站、14数据分布式存储系统、141数据分布单元、142数据逻辑模型、143数据端口、144数据索引模块、145实时数据库、146综合数据库、15运维管理单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：一种大数据平台的监控系统，包括模拟量数据源1和状态量数据源2，所述模拟量数据源1和状态量数据源2均电性输出连接数据采集模块3，所述数据采集模块3电性输出连接数据预处理单元4，所述数据预处理单元4电性输出连接数据管理单元5，所述数据管理单元5电性输出连接通信网络单元6，所述通信网络单元6电性输出连接核心路由器7，所述核心路由器7电性输出连接交换机8，所述交换机8电性输出连接分布式CAN总线9，所述分布式CAN总线9分别电性双向连接监控显示屏10、监控主机11、调度工作站12和管理工作站13，所述数据管理单元5分别电性双向连接数据分布式存储系统14和运维管理单元15。
其中，所述数据采集模块3包括信号输入单元31，所述信号输入单元31电性输出连接数据处理模块32，所述数据处理模块32电性输出连接A/D转换模块33，所述A/D转换模块33电性输出连接数据输出单元34，所述数据处理模块32还电性输出连接报警显示模块36，所述数据处理模块32电性输入连接循环检测单元35，所述模拟量数据源1包括频率、电压、电流、有功功率、无功功率和温度信息，所述状态量数据源2包括开关、事故总信号、保护信号和系统设备运行状态信息，所述数据管理单元5包括数据库信息读取单元51，所述数据库信息读取单元51电性输出连接数据运行处理单元52，所述数据运行处理单元52电性输出连接控制程序模块53，所述控制程序模块53电性输出连接数据建模单元54，所述数据建模单元54电性输出连接数据整合输出模块55，所述控制程序模块53分别电性输入连接数据库维护单元56和数据查询输入端口57，所述控制程序模块53内部包括系统初启动程序、安全性控制程序、完整性控制程序、事务管理控制程序、并发控制程序和运行日志管理控制程序，所述数据分布式存储系统14包括数据分布单元141，所述数据分布单元141电性输出连接数据逻辑模型142，所述数据逻辑模型142电性输出连接数据端口143，所述数据分布单元141电性输入连接数据索引模块144，所述数据分布单元141分别电性双向连接实时数据库145和综合数据库146，所述数据逻辑模型142包括键值存储、文档存储、列存储和图存储，所述实时数据库145内部包括数据管理单元、内存数据库和磁盘数据库，所述运维管理单元15内部包括服务运行监控、服务状态监控和系统运行状态监控。
工作原理：在步骤计时器触发中，触发启动后执行获取监控信息步骤，否则，重新对计时器触发，在步骤获取监控信息中，对大数据平台的数据获取监控信息，然后读取信息所在路径，并对信息文件进行解析，完成上述步骤后，经由信息输出展示对平台监控信息进行可视化、统一化和可控化展示。
利用数据采集模块3采集模拟量数据源1和状态量数据源2中的信息，交由数据预处理单元4进行数据处理分析，通过数据管理单元5对处理后的信息同一管理，由通信网络单元6传递至核心路由器7中，并通过交换机传递至分布式CAN总线9中，由分布式CAN总线9分别将信息传输给监控显示屏10、监控主机11、调度工作站12和管理工作站13中，其中数据采集模块3通过信号输入单元31对数据源进行原始数据输入，通过数据处理模块32处理分析，利用A/D转换模块33将信号转换后通过数据输出单元34输出，报警显示模块36在数据异常时进行报警，循环检测单元35可实时的检测数据信息，在数据管理单元5中，通过数据库信息读取单元51对数据库信息进行读取，并通过数据运行处理单元52将信息传递给控制程序模块53中，利用数据建模单元54对数据进行建模，最后由数据整合输出模块55将建模信息整合后输出，通过数据查询输入端口57提供数据查询，数据库维护单元56能够实时的对数据库信息进行维护，采用数据分布式存储系统14，对海量的大数据进行高效的存储和访问，具有良好的横向扩展能力、复制和分区能力，其中数据分布单元141能够实时的连接实时数据库145和综合数据库146，并对实时数据库145和综合数据库146内部的信息进行管理分析，通过数据逻辑模型142建立数据模型，利用数据端口143外接输出设备进行数据的传输，数据索引模块144能够对海量的数据源进行关键词检索，提高信息处理的速度，通过控制程序模块53对系统初启动、安全性、完整性、事务管理和运行日志进行程序控制，利用运维管理单元15建立集成化的资源运行状态监控管理系统，实现大数据平台运行状态和信息化资源的统一化、可视化和可控化的管理，并对系统服务运行、服务状态和系统运行状态进行实时监控，能够实时的展示大数据平台作业运行状态和对作业的统计分析。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种大数据平台的监控系统，包括模拟量数据源(1)和状态量数据源(2)，其特征在于：所述模拟量数据源(1)和状态量数据源(2)均电性输出连接数据采集模块(3)，所述数据采集模块(3)电性输出连接数据预处理单元(4)，所述数据预处理单元(4)电性输出连接数据管理单元(5)，所述数据管理单元(5)电性输出连接通信网络单元(6)，所述通信网络单元(6)电性输出连接核心路由器(7)，所述核心路由器(7)电性输出连接交换机(8)，所述交换机(8)电性输出连接分布式CAN总线(9)，所述分布式CAN总线(9)分别电性双向连接监控显示屏(10)、监控主机(11)、调度工作站(12)和管理工作站(13)，所述数据管理单元(5)分别电性双向连接数据分布式存储系统(14)和运维管理单元(15)。
2.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述数据采集模块(3)包括信号输入单元(31)，所述信号输入单元(31)电性输出连接数据处理模块(32)，所述数据处理模块(32)电性输出连接A/D转换模块(33)，所述A/D转换模块(33)电性输出连接数据输出单元(34)，所述数据处理模块(32)还电性输出连接报警显示模块(36)，所述数据处理模块(32)电性输入连接循环检测单元(35)。
3.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述模拟量数据源(1)包括频率、电压、电流、有功功率、无功功率和温度信息，所述状态量数据源(2)包括开关、事故总信号、保护信号和系统设备运行状态信息。
4.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述数据管理单元(5)包括数据库信息读取单元(51)，所述数据库信息读取单元(51)电性输出连接数据运行处理单元(52)，所述数据运行处理单元(52)电性输出连接控制程序模块(53)，所述控制程序模块(53)电性输出连接数据建模单元(54)，所述数据建模单元(54)电性输出连接数据整合输出模块(55)，所述控制程序模块(53)分别电性输入连接数据库维护单元(56)和数据查询输入端口(57)。
5.根据权利要求4所述的一种大数据平台的监控系统，其特征在于：所述控制程序模块(53)内部包括系统初启动程序、安全性控制程序、完整性控制程序、事务管理控制程序、并发控制程序和运行日志管理控制程序。
6.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述数据分布式存储系统(14)包括数据分布单元(141)，所述数据分布单元(141)电性输出连接数据逻辑模型(142)，所述数据逻辑模型(142)电性输出连接数据端口(143)，所述数据分布单元(141)电性输入连接数据索引模块(144)，所述数据分布单元(141)分别电性双向连接实时数据库(145)和综合数据库(146)。
7.根据权利要求6所述的一种大数据平台的监控系统，其特征在于：所述数据逻辑模型(142)包括键值存储、文档存储、列存储和图存储，所述实时数据库(145)内部包括数据管理单元、内存数据库和磁盘数据库。
8.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述运维管理单元(15)内部包括服务运行监控、服务状态监控和系统运行状态监控。
CN201610812606.4A 2016-09-09 2016-09-09 一种大数据平台的监控系统 Pending CN106407072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610812606.4A CN106407072A (zh) 2016-09-09 2016-09-09 一种大数据平台的监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610812606.4A CN106407072A (zh) 2016-09-09 2016-09-09 一种大数据平台的监控系统

Publications (1)

Publication Number Publication Date
CN106407072A true CN106407072A (zh) 2017-02-15

Family

ID=57999978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610812606.4A Pending CN106407072A (zh) 2016-09-09 2016-09-09 一种大数据平台的监控系统

Country Status (1)

Country Link
CN (1) CN106407072A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549249A (zh) * 2018-05-24 2018-09-18 栾友祥 一种基于大数据的智能家居系统
CN108881298A (zh) * 2018-07-30 2018-11-23 淮安信息职业技术学院 一种基于大数据平台的网络安全系统及实施方法
CN110888934A (zh) * 2019-11-12 2020-03-17 中核控制系统工程有限公司 一种基于散点的大数据存储方法
CN111813332A (zh) * 2020-05-21 2020-10-23 华北电力大学 一种高性能、高扩展和高安全的智能分布式存储系统
CN114661538A (zh) * 2020-12-23 2022-06-24 金篆信科有限责任公司 分布式数据库监控方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203537064U (zh) * 2013-08-27 2014-04-09 中兴能源光能技术有限公司 一种光伏电站监控系统
US20150032886A1 (en) * 2011-11-23 2015-01-29 Shen Wang Remote Real-Time Monitoring System based on cloud computing
CN104331505A (zh) * 2014-11-20 2015-02-04 合一网络技术(北京)有限公司 一种基于分布式采集及存储的监控系统
CN104735142A (zh) * 2015-03-17 2015-06-24 北京宇航系统工程研究所 一种大数据实时处理与存储系统及其处理方法
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
CN105488191A (zh) * 2015-12-03 2016-04-13 南京联成科技发展有限公司 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150032886A1 (en) * 2011-11-23 2015-01-29 Shen Wang Remote Real-Time Monitoring System based on cloud computing
CN203537064U (zh) * 2013-08-27 2014-04-09 中兴能源光能技术有限公司 一种光伏电站监控系统
CN104331505A (zh) * 2014-11-20 2015-02-04 合一网络技术(北京)有限公司 一种基于分布式采集及存储的监控系统
CN104735142A (zh) * 2015-03-17 2015-06-24 北京宇航系统工程研究所 一种大数据实时处理与存储系统及其处理方法
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
CN105488191A (zh) * 2015-12-03 2016-04-13 南京联成科技发展有限公司 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王灵霞 等: "《网管员典藏书架：网络管理与运维实战宝典》", 31 July 2016, 中国铁道出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549249A (zh) * 2018-05-24 2018-09-18 栾友祥 一种基于大数据的智能家居系统
CN108881298A (zh) * 2018-07-30 2018-11-23 淮安信息职业技术学院 一种基于大数据平台的网络安全系统及实施方法
CN110888934A (zh) * 2019-11-12 2020-03-17 中核控制系统工程有限公司 一种基于散点的大数据存储方法
CN111813332A (zh) * 2020-05-21 2020-10-23 华北电力大学 一种高性能、高扩展和高安全的智能分布式存储系统
CN114661538A (zh) * 2020-12-23 2022-06-24 金篆信科有限责任公司 分布式数据库监控方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106651633B (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN106407072A (zh) 一种大数据平台的监控系统
CN106557991B (zh) 电压监测数据平台
CN107302466B (zh) 一种动环监控系统大数据分析平台及方法
CN103532744B (zh) 一种智能电网信息通信一体化支撑平台
WO2017036244A1 (zh) 配电网数字仿真系统
CN107315776A (zh) 一种基于云计算的数据管理系统
CN114662720A (zh) 一种变电站的物联边缘管理平台
CN104881352A (zh) 基于移动端的系统资源监控装置
CN109889358B (zh) 一种3d可视化it监控管理系统
CN112698953A (zh) 一种基于微服务的电网智能运检平台
CN106168981A (zh) 电网信息实时展示方法和装置
CN108052358B (zh) 一种分布式部署的系统和方法
CN107330580A (zh) 电力营销基础数据平台组建方法
CN105391800A (zh) 基于“互联网+”医疗设备故障自检与修复系统
CN113642299A (zh) 一种基于电网统计报表一键生成的方法
CN110932405A (zh) 基于大数据的变电设备智能监控分析系统
CN111198918B (zh) 基于大数据平台的数据处理系统及链路优化方法
CN112749060A (zh) 一种电力系统服务总线监视方法
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN104579784B (zh) 基于多维虚链路的电力工业控制系统网络管理方法
CN113612306A (zh) 一种分布式配电柜及其控制系统
CN106602549A (zh) 电气主接线分析系统、分析方法和操作方法
Wu et al. An auxiliary decision-making system for electric power intelligent customer service based on Hadoop
CN114090368A (zh) 一种微服务治理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215

RJ01 Rejection of invention patent application after publication