CN105930380A - 一种基于hadoop的图表监控方法和装置 - Google Patents
一种基于hadoop的图表监控方法和装置 Download PDFInfo
- Publication number
- CN105930380A CN105930380A CN201610230680.5A CN201610230680A CN105930380A CN 105930380 A CN105930380 A CN 105930380A CN 201610230680 A CN201610230680 A CN 201610230680A CN 105930380 A CN105930380 A CN 105930380A
- Authority
- CN
- China
- Prior art keywords
- hadoop
- information
- opentsdb
- unit
- grafana
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Abstract
本发明涉及一种基于HADOOP的图表监控方法和装置，包括：Opentsdb数据库接收Python后台服务器发送的数据信息，数据信息包括主机资源信息和HADOOP集群指标数据信息；Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；Opentsdb数据库接收Grafana插件发送的图表显示请求信息；Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；Opentsdb数据库将所述相关信息发送给所述Grafana插件。本发明可以更好地了解集群整体情况，减少人员工作量，组建速度快和存储量大。
Description
技术领域
本发明涉及通信领域，特别是涉及一种基于HADOOP的图表监控方法和装置。
背景技术
随着网络信息化的发展，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出新的挑战与机遇。大数据具有海量性、多样性、高速性、数据类型繁多，数据价值相对密度低、时效性要求高等特点，已经超出了传统的数据库处理系统的处理能力。数据中隐藏着有价值的模式和信息，利用传统的数据处理的方式，要挖掘出大数据中的信息，需要花费较长时间和巨大的成本，甚至对有些数据无法处理。
发明内容
本发明所要解决的技术问题是提供一种基于HADOOP的图表监控方法和装置。
本发明解决上述技术问题的技术方案如下：一种基于HADOOP的图表监控方法，包括：
Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；
所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；
所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；
所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；
所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
本发明的有益效果是：在使用过程中，更好地了解集群整体情况，减少人员工作量，组建速度快和存储量大。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括：所述Grafana插件接收Web页面发送的所述图表显示请求信息。
进一步，在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括：所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。
进一步，所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。
进一步，所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。
本发明解决上述技术问题的另一技术方案如下：一种基于HADOOP的图表监控装置，包括：
数据信息接收单元，用于Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；
存储单元，用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；
第一图表显示请求信息接收单元，用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；
调取单元，用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；
第一相关信息发送单元，用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
进一步，还包括：第二图表显示请求信息接收单元，用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前，所述Grafana插件接收Web页面发送的所述图表显示请求信息。
进一步，还包括：第二相关信息发送单元，用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后，所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。
本发明的有益效果是：在使用过程中，更好地了解集群整体情况，减少人员工作量，组建速度快和存储量大。
附图说明
图1为本发明实施例提供的一种基于HADOOP的图表监控方法流程图；
图2为本发明实施例提供的一种基于HADOOP的图表监控信令流程图；
图3为本发明实施例提供的一种基于HADOOP的图表监控装置示意图；
图4为本发明实施例提供的Web页面显示示意图。
附图中，各标号所代表的部件列表如下：
1、数据信息接收单元，2、存储单元，3、第一图表显示请求信息接收单元，4、调取单元，5、第一相关信息发送单元。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的一种基于HADOOP的图表监控方法流程图。
参照图1，在步骤S101，Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息。
在步骤S102，Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中。
这里，Opentsdb数据库通过Hbase数据库存储所有的时序来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics(单位)，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。Opentsdb数据库可以从大规模的集群(包括集群中的网络设备、操作系统、应用程序)中获取相应的metrics(单位)并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。
在步骤S103，Opentsdb数据库接收Grafana插件发送的图表显示请求信息。
这里，Grafana插件是开源的，它是功能齐全的度量仪表盘和图形编辑器。Grafana插件的主要特性：灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；包括多个数据源等。
在步骤S104，Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息。
在步骤S105，Opentsdb数据库将所述相关信息发送给所述Grafana插件。
在本实施例中，在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括：所述Grafana插件接收Web页面发送的所述图表显示请求信息。
在本实施例中，在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括：所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。
在本实施例中，所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。
在本实施例中，所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。
图2为本发明实施例提供的一种基于HADOOP的图表监控信令流程图。
参照图2，在步骤S201，Python后台服务器获取数据信息。
这里，数据信息包括主机资源信息和HADOOP集群指标数据信息。
在步骤S202，Python后台服务器将数据信息发送给Opentsdb数据库。
在步骤S203，Opentsdb数据库将数据信息发送给Hbase数据库。
在步骤S204，Hbase数据库将数据信息进行存储。
在步骤S205，Web页面向Grafana插件发送图表显示请求信息。
在步骤S206，Grafana插件将图表显示请求信息发送给Opentsdb数据库。
在步骤S207，Opentsdb数据库从Hbase数据库的数据信息中调取图表显示请求信息的相关信息。
在步骤S208，Opentsdb数据库将相关信息发送给Grafana插件。
在步骤S209，Grafana插件将相关信息发送给Web页面。
在步骤S210，Web页面显示相关信息。
图3为本发明实施例提供的一种基于HADOOP的图表监控装置示意图。
参照图3，图表监控装置包括数据信息接收单元1、存储单元2、第一图表显示请求信息接收单元3、调取单元4和第一相关信息发送单元5。
数据信息接收单元1，用于Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息。
存储单元2，用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中。
第一图表显示请求信息接收单元3，用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息。
调取单元4，用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息。
第一相关信息发送单元5，用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
在本实施例中，还包括：第二图表显示请求信息接收单元(未示出)，用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前，所述Grafana插件接收Web页面发送的所述图表显示请求信息。
在本实施例中，还包括：第二相关信息发送单元(未示出)，用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后，所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。
图4为本发明实施例提供的Web页面显示示意图。
参照图4，Web页面分别显示的是群集CPU使用率、内存使用情况、群集磁盘IO利用率和群集文件系统使用率。
图4a显示的是群集CPU使用率，群集CPU使用率即集群CPU使用率，是集群中主机节点的cpu使用率的平均值。Clusterid＝4是集群的编号，横坐标为时间，取值为大约一个小时，即从9:40到10:30；纵坐标为百分比。当9:40时，群集CPU使用率为2.5％；当10:00时，群集CPU使用率为3％。
当Web页面向Grafana插件发送图表显示请求信息，图表显示请求信息包括群集CPU使用率，Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取群集CPU使用率的相关信息，并发送给Grafana插件，Grafana插件再发送给Web页面。
图4b显示的是内存使用情况，是集群中主机节点的内存使用的平均值。横坐标为时间，取值为大约一个小时，即从9:40到10:30；纵坐标为内存容量。从9:40到10:30，内存容量为27GiB。
当Web页面向Grafana插件发送图表显示请求信息，图表显示请求信息包括内存使用情况，Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取内存使用情况的相关信息，并发送给Grafana插件，Grafana插件再发送给Web页面。
图4c显示的是群集磁盘IO利用率，群集磁盘IO利用率即集群磁盘IO利用率，是集群中主机节点的磁盘IO使用率的平均值。横坐标为时间，取值为大约一个小时，即从9:40到10:30；纵坐标为百分比。从9:40到10:30之间，群集磁盘IO利用率为0。
当Web页面向Grafana插件发送图表显示请求信息，图表显示请求信息包括群集磁盘IO利用率，Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取群集磁盘IO利用率的相关信息，并发送给Grafana插件，Grafana插件再发送给Web页面。
图4d显示的是群集文件系统使用率，群集文件系统使用率即集群文件系统使用率，是集群中主机节点的文件系统使用率的平均值。横坐标为时间，取值为大约一个小时，即从9:40到10:30；纵坐标为百分比。当9:40时，群集文件系统使用率为0.0007％。
当Web页面向Grafana插件发送图表显示请求信息，图表显示请求信息包括群集文件系统使用率，Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取群集文件系统使用率的相关信息，并发送给Grafana插件，Grafana插件再发送给Web页面。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于HADOOP的图表监控方法，其特征在于，包括：
Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；
所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；
所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；
所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；
所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
2.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括：所述Grafana插件接收Web页面发送的所述图表显示请求信息。
3.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括：所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。
4.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。
5.根据权利要求1所述的一种基于HADOOP的图表监控方法，其特征在于，所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。
6.一种基于HADOOP的图表监控装置，其特征在于，包括：
数据信息接收单元，用于Opentsdb数据库接收Python后台服务器发送的数据信息，所述数据信息包括主机资源信息和HADOOP集群指标数据信息；
存储单元，用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中；
第一图表显示请求信息接收单元，用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息；
调取单元，用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息；
第一相关信息发送单元，用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
7.根据权利要求6所述的一种基于HADOOP的图表监控装置，其特征在于，还包括：第二图表显示请求信息接收单元，用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前，所述Grafana插件接收Web页面发送的所述图表显示请求信息。
8.根据权利要求6所述的一种基于HADOOP的图表监控装置，其特征在于，还包括：第二相关信息发送单元，用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后，所述Grafana插件将所述相关信息发送给所述Web页面，以使得所述Web页面显示所述相关信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610230680.5A CN105930380A (zh) | 2016-04-14 | 2016-04-14 | 一种基于hadoop的图表监控方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610230680.5A CN105930380A (zh) | 2016-04-14 | 2016-04-14 | 一种基于hadoop的图表监控方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105930380A true CN105930380A (zh) | 2016-09-07 |
Family
ID=56838070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610230680.5A Pending CN105930380A (zh) | 2016-04-14 | 2016-04-14 | 一种基于hadoop的图表监控方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105930380A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理系统 |
| CN107832116A (zh) * | 2017-11-13 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于Grafana实现虚拟机实例监控的方法 |
| CN108829557A (zh) * | 2018-05-10 | 2018-11-16 | 北京搜狐新媒体信息技术有限公司 | 一种基于OpenTSDB数据库的服务器性能监控数据分析方法及系统 |
| CN110825581A (zh) * | 2019-10-14 | 2020-02-21 | 广州力挚网络科技有限公司 | 一种数据监控方法与监控平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324401A (zh) * | 2012-03-20 | 2013-09-25 | 深圳市金蝶友商电子商务服务有限公司 | 报表的图表显示方法及装置 |
| CN103618644A (zh) * | 2013-11-26 | 2014-03-05 | 曙光信息产业股份有限公司 | 一种基于hadoop集群的分布式监控系统及其方法 |
| CN104219071A (zh) * | 2013-05-30 | 2014-12-17 | 华为技术有限公司 | 一种网络质量的监控方法和服务器 |
| CN104572401A (zh) * | 2015-02-09 | 2015-04-29 | 浪潮软件股份有限公司 | 一种告警方法及告警系统 |
| US20150277955A1 (en) * | 2014-03-31 | 2015-10-01 | Fujitsu Limited | System and method for controlling virtual-machine migrations based on processor usage rates and traffic amounts |
-
2016
- 2016-04-14 CN CN201610230680.5A patent/CN105930380A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324401A (zh) * | 2012-03-20 | 2013-09-25 | 深圳市金蝶友商电子商务服务有限公司 | 报表的图表显示方法及装置 |
| CN104219071A (zh) * | 2013-05-30 | 2014-12-17 | 华为技术有限公司 | 一种网络质量的监控方法和服务器 |
| CN103618644A (zh) * | 2013-11-26 | 2014-03-05 | 曙光信息产业股份有限公司 | 一种基于hadoop集群的分布式监控系统及其方法 |
| US20150277955A1 (en) * | 2014-03-31 | 2015-10-01 | Fujitsu Limited | System and method for controlling virtual-machine migrations based on processor usage rates and traffic amounts |
| CN104572401A (zh) * | 2015-02-09 | 2015-04-29 | 浪潮软件股份有限公司 | 一种告警方法及告警系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理系统 |
| CN107832116A (zh) * | 2017-11-13 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于Grafana实现虚拟机实例监控的方法 |
| CN108829557A (zh) * | 2018-05-10 | 2018-11-16 | 北京搜狐新媒体信息技术有限公司 | 一种基于OpenTSDB数据库的服务器性能监控数据分析方法及系统 |
| CN110825581A (zh) * | 2019-10-14 | 2020-02-21 | 广州力挚网络科技有限公司 | 一种数据监控方法与监控平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022226B (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
| CN104102790B (zh) | 基于gis的供电图自动成图系统及方法 | |
| CN104462121B (zh) | 数据处理方法、装置及系统 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN105930380A (zh) | 一种基于hadoop的图表监控方法和装置 | |
| CN102982186B (zh) | 基于oracle数据库系统的range分区表的维护方法和系统 | |
| CN105631602A (zh) | 一种基于DevOps的业务级运维平台 | |
| CN108848132B (zh) | 一种基于云的配电调度主站系统 | |
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN102855271A (zh) | 一种多版本电网模型的存储与可追溯管理方法 | |
| CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
| CN101673289A (zh) | 分布式文件存储构架的构建方法和装置 | |
| CN109241414A (zh) | 基于消息模板的系统消息推送方法及终端设备 | |
| CN102609464A (zh) | Mongodb分片联表查询方法及装置 | |
| CN102508919A (zh) | 数据处理方法及系统 | |
| CN103023996A (zh) | 一种云数据存储系统 | |
| CN107798062A (zh) | 一种变电站历史数据统一存储方法和系统 | |
| CN103606032B (zh) | 一种二维电网gis数据集中的方法 | |
| CN109388635A (zh) | 一种多值数据基于二进制和字典表的数据存储法 | |
| CN114281790A (zh) | 一种多类型负荷资源聚合商接入系统及方法 | |
| CN106777265A (zh) | 一种业务数据的处理方法及装置 | |
| CN111737655A (zh) | 一种云管理平台的用户权限管理方法、系统及存储介质 | |
| CN103618671B (zh) | 大规模数据采集业务多组分发系统及其分发方法 | |
| CN112308738A (zh) | 一种水务数据分析处理系统 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160907 |
|
| RJ01 | Rejection of invention patent application after publication |