CN107704359A - 一种大数据平台的监控系统 - Google Patents

一种大数据平台的监控系统 Download PDF

Info

Publication number
CN107704359A
CN107704359A CN201710784193.8A CN201710784193A CN107704359A CN 107704359 A CN107704359 A CN 107704359A CN 201710784193 A CN201710784193 A CN 201710784193A CN 107704359 A CN107704359 A CN 107704359A
Authority
CN
China
Prior art keywords
module
data
monitoring
big data
failure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710784193.8A
Other languages
English (en)
Other versions
CN107704359B (zh
Inventor
白云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Balance Inspection Co Ltd
Original Assignee
Beijing Balance Inspection Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Balance Inspection Co Ltd filed Critical Beijing Balance Inspection Co Ltd
Priority to CN201710784193.8A priority Critical patent/CN107704359B/zh
Publication of CN107704359A publication Critical patent/CN107704359A/zh
Application granted granted Critical
Publication of CN107704359B publication Critical patent/CN107704359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0796—Safety measures, i.e. ensuring safe condition in the event of error, e.g. for controlling element
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种大数据平台的监控系统，包括监控模块、数据存储模块、大数据服务器、报警模块和日志模块；所述大数据服务器包括数据读取模块、数据处理模块、数据分析模块和故障判断规则模块。本发明所述监控系统可以对大数据平台的运行情况进行实时监控，对异常状况实现预警，在出现故障前采取相应措施，防患于未然。同时在检测到发生故障后可以根据预设的故障解除规则、通过自恢复模块自动关闭或重启相应的服务，使故障能够自动解除。当故障复检模块检测到故障仍然不能解除时，报警模块向管理人员发出警报，保证故障第一时间进行处理。

Description

一种大数据平台的监控系统
技术领域
本发明涉及大数据技术领域，具体说是一种大数据平台的监控系统。
背景技术
近年来，随着社会信息化技术的不断提高以及互联网技术的快速普及，诸多业务领域产生海量、实时的数据。大数据平台的规模在不断扩大和增多，网络规模大、业务量多，这时将监控机制引入大数据平台，建立一个强大的大数据平台运行监控系统显得尤为重要。大数据平台的监控信息是海量的，监控资源是多层次、多来源的，大数据平台的动态性、复杂性给大数据平台的监控系统带来诸多困难。
现有的大数据平台中缺少统一的监控功能，不能实时的展示大数据平台中作用运行状态和对作业的统计分析功能的匮乏，监控的可操作性差，对大数据平台进行实时监控时智能化水平较低。如何有效的实时监控大数据平台并及时对大数据平台的瓶颈进行预测分析，在出现故障前采取相应措施，以及在故障发生后快速解除故障，是提高大数据平台质量的关键。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种大数据平台的监控系统，可以对大数据平台的运行情况进行实时监控，对异常状况实现预警，在出现故障前采取相应措施，在检测到发生故障后可以使故障能够自动解除或向管理人员发出警报，保证故障第一时间得到处理。
为达到以上目的，本发明采取的技术方案是：
一种大数据平台的监控系统，包括监控模块、数据存储模块、大数据服务器、报警模块和日志模块；所述大数据服务器包括数据读取模块、数据处理模块、数据分析模块和故障判断规则模块；
所述监控模块内嵌有预设的监控规则；所述监控模块用于根据预设的监控规则对大数据平台进行监控，并将监控数据存储到数据存储模块；
所述数据存储模块用于存储监控模块采集的监控数据；
所述数据读取模块用于从数据存储模块读取监控数据，并将读取到的监控数据发送到数据处理模块；
所述数据处理模块对接收到的监控数据，经运算放大器放大、A/D转换器转换和滤波处理后发送到数据分析模块；
所述故障判断规则模块用于预设故障判断规则；
所述数据分析模块用于根据处理后的监控数据和故障判断规则，判断系统是否出现故障；
所述报警模块用于系统出现故障时向管理人员发出警报；
所述日志模块用于记录系统和用户的行为，查看系统故障原因，监视系统运行情况；
所述监控系统还包括自恢复模块，所述自恢复模块内嵌有预设的故障解除规则，用于系统出现故障时，根据故障解除规则自动关闭或重启相应的服务，或采用补偿回滚方式修复故障。
在上述方案的基础上，所述大数据平台是由硬件设备组成的分布式集群架构；所述数据存储模块为云存储系统。
在上述方案的基础上，所述监控数据包括电压、电流、功率、温度、开关信号、用户访问信息、服务状态信息和系统运行状态信息。
在上述方案的基础上，所述数据分析模块，将处理后的监控数据与故障判断规则中预设的阈值进行对比，若在阈值范围内则判定系统正常，若超出阈值范围则判定系统故障。
在上述方案的基础上，所述大数据服务器还包括预测模块，用于当数据分析模块判定系统正常时，根据处理后的监控数据和故障判断规则中预设的阈值预测系统是否即将出现异常，当预测系统即将出现异常时，通过报警模块向管理人员发出预警。
在上述方案的基础上，所述数据读取模块与数据存储模块通过JDBC接口连接。
在上述方案的基础上，所述监控系统还包括故障复检模块，用于当自恢复模块根据故障解除规则自动关闭或重启相应的服务，或采用补偿回滚方式修复故障后，再次检查故障是否已解除。
在上述方案的基础上，所述日志模块采集日志的方法包括：文本方式采集、SNMPTrap方式采集、syslog方式采集、Telnet采集和串口采集。
本发明所述的一种大数据平台的监控系统，具有以下有益效果：
本发明所述监控系统可以对大数据平台的运行情况进行实时监控，对异常状况实现预警，在出现故障前采取相应措施，防患于未然。同时在检测到发生故障后可以根据预设的故障解除规则、通过自恢复模块自动关闭或重启相应的服务，使故障能够自动解除。当故障复检模块检测到故障仍然不能解除时，报警模块向管理人员发出警报，保证故障第一时间进行处理。
附图说明
本发明有如下附图：
图1本发明所述系统的结构示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，本发明所述的一种大数据平台的监控系统，包括监控模块、数据存储模块、大数据服务器、报警模块和日志模块；所述大数据服务器包括数据读取模块、数据处理模块、数据分析模块和故障判断规则模块；
所述监控模块内嵌有预设的监控规则；所述监控模块用于根据预设的监控规则对大数据平台进行监控，并将监控数据存储到数据存储模块；
所述数据存储模块用于存储监控模块采集的监控数据；
所述数据读取模块用于从数据存储模块读取监控数据，并将读取到的监控数据发送到数据处理模块；
所述数据处理模块对接收到的监控数据，经运算放大器放大、A/D转换器转换和滤波处理后发送到数据分析模块；
所述故障判断规则模块用于预设故障判断规则；
所述数据分析模块用于根据处理后的监控数据和故障判断规则，判断系统是否出现故障；
所述报警模块用于系统出现故障时向管理人员发出警报；
所述日志模块用于记录系统和用户的行为，查看系统故障原因，监视系统运行情况；
所述监控系统还包括自恢复模块，所述自恢复模块内嵌有预设的故障解除规则，用于系统出现故障时，根据故障解除规则自动关闭或重启相应的服务，或采用补偿回滚方式修复故障。
在上述方案的基础上，所述大数据平台是由硬件设备组成的分布式集群架构；所述数据存储模块为云存储系统。
在上述方案的基础上，所述监控数据包括电压、电流、功率、温度、开关信号、用户访问信息、服务状态信息和系统运行状态信息。
在上述方案的基础上，所述数据分析模块，将处理后的监控数据与故障判断规则中预设的阈值进行对比，若在阈值范围内则判定系统正常，若超出阈值范围则判定系统故障。
在上述方案的基础上，所述大数据服务器还包括预测模块，用于当数据分析模块判定系统正常时，根据处理后的监控数据和故障判断规则中预设的阈值预测系统是否即将出现异常，当预测系统即将出现异常时，通过报警模块向管理人员发出预警。
在上述方案的基础上，所述数据读取模块与数据存储模块通过JDBC接口连接。
在上述方案的基础上，所述监控系统还包括故障复检模块，用于当自恢复模块根据故障解除规则自动关闭或重启相应的服务，或采用补偿回滚方式修复故障后，再次检查故障是否已解除。
在上述方案的基础上，所述日志模块采集日志的方法包括：文本方式采集、SNMPTrap方式采集、syslog方式采集、Telnet采集和串口采集。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种大数据平台的监控系统，其特征在于：包括监控模块、数据存储模块、大数据服务器、报警模块和日志模块；所述大数据服务器包括数据读取模块、数据处理模块、数据分析模块和故障判断规则模块；
所述监控模块内嵌有预设的监控规则；所述监控模块用于根据预设的监控规则对大数据平台进行监控，并将监控数据存储到数据存储模块；
所述数据存储模块用于存储监控模块采集的监控数据；
所述数据读取模块用于从数据存储模块读取监控数据，并将读取到的监控数据发送到数据处理模块；
所述数据处理模块对接收到的监控数据，经运算放大器放大、A/D转换器转换和滤波处理后发送到数据分析模块；
所述故障判断规则模块用于预设故障判断规则；
所述数据分析模块用于根据处理后的监控数据和故障判断规则，判断系统是否出现故障；
所述报警模块用于系统出现故障时向管理人员发出警报；
所述日志模块用于记录系统和用户的行为，查看系统故障原因，监视系统运行情况；
所述监控系统还包括自恢复模块，所述自恢复模块内嵌有预设的故障解除规则，用于系统出现故障时，根据故障解除规则自动关闭或重启相应的服务，或采用补偿回滚方式修复故障。
2.根据权利要求1所述的大数据平台的监控系统，其特征在于：所述大数据平台是由硬件设备组成的分布式集群架构；所述数据存储模块为云存储系统。
3.根据权利要求1所述的大数据平台的监控系统，其特征在于：所述监控数据包括电压、电流、功率、温度、开关信号、用户访问信息、服务状态信息和系统运行状态信息。
4.根据权利要求1所述的大数据平台的监控系统，其特征在于：所述数据分析模块，将处理后的监控数据与故障判断规则中预设的阈值进行对比，若在阈值范围内则判定系统正常，若超出阈值范围则判定系统故障。
5.根据权利要求4所述的大数据平台的监控系统，其特征在于：所述大数据服务器还包括预测模块，用于当数据分析模块判定系统正常时，根据处理后的监控数据和故障判断规则中预设的阈值预测系统是否即将出现异常，当预测系统即将出现异常时，通过报警模块向管理人员发出预警。
6.根据权利要求1所述的大数据平台的监控系统，其特征在于：所述数据读取模块与数据存储模块通过JDBC接口连接。
7.根据权利要求1所述的大数据平台的监控系统，其特征在于：所述监控系统还包括故障复检模块，用于当自恢复模块根据故障解除规则自动关闭或重启相应的服务，或采用补偿回滚方式修复故障后，再次检查故障是否已解除。
8.根据权利要求1所述的大数据平台的监控系统，其特征在于：所述日志模块采集日志的方法包括：文本方式采集、SNMP Trap方式采集、syslog方式采集、Telnet采集和串口采集。
CN201710784193.8A 2017-09-04 2017-09-04 一种大数据平台的监控系统 Active CN107704359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710784193.8A CN107704359B (zh) 2017-09-04 2017-09-04 一种大数据平台的监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710784193.8A CN107704359B (zh) 2017-09-04 2017-09-04 一种大数据平台的监控系统

Publications (2)

Publication Number Publication Date
CN107704359A true CN107704359A (zh) 2018-02-16
CN107704359B CN107704359B (zh) 2021-03-16

Family

ID=61171948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710784193.8A Active CN107704359B (zh) 2017-09-04 2017-09-04 一种大数据平台的监控系统

Country Status (1)

Country Link
CN (1) CN107704359B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110808856A (zh) * 2019-10-31 2020-02-18 深圳供电局有限公司 一种基于数据中心的大数据运维方法及系统
CN110933028A (zh) * 2019-10-24 2020-03-27 中移（杭州）信息技术有限公司 报文传输方法、装置、网络设备及存储介质
CN111045364A (zh) * 2019-12-18 2020-04-21 国网宁夏电力有限公司信息通信公司 一种基于大数据平台的动力环境监控系统辅助决策方法
CN112817828A (zh) * 2021-01-29 2021-05-18 中国农业银行股份有限公司 一种gtp的监控方法、装置及设备
CN113703400A (zh) * 2021-07-27 2021-11-26 中电科思仪科技股份有限公司 一种支持远程协同的设备状态监测系统及其状态上报方法
CN116662112A (zh) * 2023-05-10 2023-08-29 江苏智先生信息科技有限公司 一种使用全自动扫描和系统状态评估的数字监控平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015023100A1 (ko) * 2013-08-12 2015-02-19 주식회사 인코어드 테크놀로지스 에너지 정보 제공 장치 및 시스템
US20150121175A1 (en) * 2013-10-28 2015-04-30 Software Ag Self-correcting complex event processing system and corresponding method for error correction
CN105337765A (zh) * 2015-10-10 2016-02-17 上海新炬网络信息技术有限公司 一种分布式hadoop集群故障自动诊断修复系统
CN105681128A (zh) * 2016-01-12 2016-06-15 北京中交兴路车联网科技有限公司 一种用于大数据系统状态监控的方法和装置
CN106789398A (zh) * 2016-11-25 2017-05-31 中国传媒大学 一种媒体大数据hadoop集群监控的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015023100A1 (ko) * 2013-08-12 2015-02-19 주식회사 인코어드 테크놀로지스 에너지 정보 제공 장치 및 시스템
US20150121175A1 (en) * 2013-10-28 2015-04-30 Software Ag Self-correcting complex event processing system and corresponding method for error correction
CN105337765A (zh) * 2015-10-10 2016-02-17 上海新炬网络信息技术有限公司 一种分布式hadoop集群故障自动诊断修复系统
CN105681128A (zh) * 2016-01-12 2016-06-15 北京中交兴路车联网科技有限公司 一种用于大数据系统状态监控的方法和装置
CN106789398A (zh) * 2016-11-25 2017-05-31 中国传媒大学 一种媒体大数据hadoop集群监控的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933028A (zh) * 2019-10-24 2020-03-27 中移（杭州）信息技术有限公司 报文传输方法、装置、网络设备及存储介质
CN110808856A (zh) * 2019-10-31 2020-02-18 深圳供电局有限公司 一种基于数据中心的大数据运维方法及系统
CN111045364A (zh) * 2019-12-18 2020-04-21 国网宁夏电力有限公司信息通信公司 一种基于大数据平台的动力环境监控系统辅助决策方法
CN112817828A (zh) * 2021-01-29 2021-05-18 中国农业银行股份有限公司 一种gtp的监控方法、装置及设备
CN113703400A (zh) * 2021-07-27 2021-11-26 中电科思仪科技股份有限公司 一种支持远程协同的设备状态监测系统及其状态上报方法
CN116662112A (zh) * 2023-05-10 2023-08-29 江苏智先生信息科技有限公司 一种使用全自动扫描和系统状态评估的数字监控平台

Also Published As

Publication number Publication date
CN107704359B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN107704359A (zh) 一种大数据平台的监控系统
CN103296755B (zh) 一种变电站网络在线监测系统
CN107241224B (zh) 一种变电站的网络风险监测方法及系统
CN110224894B (zh) 一种智能变电站过程层网络监测管理系统
CN105959144B (zh) 面向工业控制网络的安全数据采集与异常检测方法与系统
KR100561628B1 (ko) 통계적 분석을 이용한 네트워크 수준에서의 이상 트래픽감지 방법
CN109783322A (zh) 一种企业信息系统运行状态的监控分析系统及其方法
CN110493348A (zh) 一种基于物联网的智能监控报警系统
CN110247800B (zh) 一种智能变电站交换机在线监测系统
CN105515180A (zh) 一种智能变电站通信网络动态监控系统及其监控方法
CN102752142B (zh) 一种基于多维建模的信息系统的监控方法及监控系统
CN105703481A (zh) 一种换流阀均压状态一致性统计方法
CN103491354A (zh) 一种系统运行监控可视化平台
CN102158360A (zh) 一种基于时间因子因果关系定位的网络故障自诊断方法
CN110891283A (zh) 一种基于边缘计算模型的小基站监控装置及方法
CN110768846A (zh) 一种智能变电站网络安全防护系统
CN103049365B (zh) 信息与应用资源运行状态监控及评价方法
CN105262210A (zh) 一种变电站网络安全性分析预警系统和方法
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN110661811A (zh) 一种防火墙策略管理方法及装置
CN102184473A (zh) 一种电力二次系统综合监管系统
CN108764658B (zh) 一种基于物联网的路政机柜智能监管系统
CN107911387A (zh) 用电信息采集系统账号异常登陆和异常操作的监控方法
CN117477774A (zh) 用于多功能配电柜的智能预警系统及预警方法
CN105634796A (zh) 一种网络设备故障预测及诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant