CN106445789A - 一种监控可视化方法及系统 - Google Patents

一种监控可视化方法及系统 Download PDF

Info

Publication number
CN106445789A
CN106445789A CN201610887508.7A CN201610887508A CN106445789A CN 106445789 A CN106445789 A CN 106445789A CN 201610887508 A CN201610887508 A CN 201610887508A CN 106445789 A CN106445789 A CN 106445789A
Authority
CN
China
Prior art keywords
module
data
metadata
opentsdb
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610887508.7A
Other languages
English (en)
Inventor
冯森林
温宗臣
张翼
范卫卫
何良均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd filed Critical BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority to CN201610887508.7A priority Critical patent/CN106445789A/zh
Publication of CN106445789A publication Critical patent/CN106445789A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开一种监控可视化方法，该方法的基础框架为python‑virtualenv、gnuplot、autoconf、automake，且包括：(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；(2)agent模块经过格式化后转发给transfer模块；(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。还有监控可视化系统。

Description

一种监控可视化方法及系统
技术领域
本发明涉及大数据处理和数据可视化的技术领域，尤其涉及一种监控可视化方法，以及监控可视化系统。
背景技术
Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案，能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。主要功能如下：
1 CPU负荷
2 内存使用
3 磁盘使用
4 网络状况
5 端口监视
6 日志监视
Zabbix缺点：1、项目批量修改不方便；2、中文资料少服务支持有限；3、深度熟悉和进行二次开发较难；4、自定义报警配置繁琐；5、缺少数据汇总功能，报表需要二次开发。
Nagios是一款开源的免费网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。主要功能如下：
1、监控网络服务(SMTP、POP3、HTTP、NNTP、PING等)；
2、监控主机资源(处理器负荷、磁盘利用率等)；
3、简单地插件设计使得用户可以方便地扩展自己服务的检测方法；
4、并行服务检查机制；
5、具备定义网络分层结构的能力，用"parent"主机定义来表达网络主机间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态；
6、当服务或主机问题产生与解决时将告警发送给联系人(通过EMail、短信、用户定义方式)；
7、可以定义一些处理程序，使之能够在服务或者主机发生故障时起到预防作用；
8、自动的日志滚动功能；
9、可以支持并实现对主机的冗余监控；
10、可选的WEB界面用于查看当前的网络状态、通知和故障历史、日志文件等；
11、可以通过手机查看系统监控信息；
12、可指定自定义的事件处理控制器；
Nagios缺点：1、事件控制台功能弱，插件易用性差；2、对性能流量的处理不给力；3、无历史数据，难以追查故障原因；4、配置复杂。
Open-falcon是小米最新发布的一个监控平台,国内有多家公司在用。
Open-falcon缺点：1、不支持基础的服务监控插件；2、采用的rrd数据存储格式虽然能压缩数据，但这是以丢失历史数据为代价的；3、对用户自定义上推的历史回溯的数据根本就进不去rrd文件系统，导致绘制历史曲线失败；4、对实时数据仅仅支持写入opentsdb，仅能做离线分析使用，不能直接从中读出来绘制曲线图。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种监控可视化方法，其解决了open-falcon不能上推历史数据的难题，能够绘制历史曲线，能做实时分析使用，能直接从中读出来绘制曲线图，实现open-falcon对用户自定义的数据海量监控数据无损存取。
本发明的技术方案是：这种监控可视化方法，该方法的基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括以下步骤：
(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；
(2)agent模块经过格式化后转发给transfer模块；
(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；
(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。
本发明通过app模块上推用户符合规范的格式化数据到falcon的agent模块，dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，从而解决了open-falcon不能上推历史数据的难题，能够绘制历史曲线，能做实时分析使用，能直接从中读出来绘制曲线图，实现open-falcon对用户自定义的数据海量监控数据无损存取。
还提供了一种监控可视化系统，该系统基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括：
app模块，其配置来上推用户符合规范的格式化数据到falcon的agent模块；
agent模块，其配置来经过格式化后转发给transfer模块；
transfer模块，其配置来经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；
dashboad，其配置来通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。
附图说明
图1所示为根据本发明的监控可视化方法的流程图。
图2所示为根据本发明的监控可视化系统的结构示意图。
具体实施方式
如图1所示，这种监控可视化方法，该方法的基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括以下步骤：
(1)app模块上推用户符合规范的格式化数据到falcon的agent(代理)模块；
(2)agent模块经过格式化后转发给transfer(转发)模块；
(3)transfer模块经过处理后分发给judge(判定)模块、graph(图表)模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；
(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。
本发明通过app模块上推用户符合规范的格式化数据到falcon的agent模块，dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，从而解决了open-falcon不能上推历史数据的难题，能够绘制历史曲线，能做实时分析使用，能直接从中读出来绘制曲线图，实现open-falcon对用户自定义的数据海量监控数据无损存取。
另外，所述步骤(3)中opentsdb基于hbase系统，用于存储海量数据。
另外，所述步骤(4)中元数据是绘图的参数，特定时间内的数据是数据的值。
另外，接口之间传递参数和回传结果采用json格式。
另外，data模块从opentsdb模块查询到数据后，转换成dashboard需要的格式。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种监控可视化系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统，该系统基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括：
app模块，其配置来上推用户符合规范的格式化数据到falcon的agent模块；
agent模块，其配置来经过格式化后转发给transfer模块；
transfer模块，其配置来经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；
dashboad，其配置来通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。
另外，所述transfer模块中opentsdb基于hbase系统，用于存储海量数据。
另外，所述dashboad中元数据是绘图的参数，特定时间内的数据是数据的值。
另外，接口之间传递参数和回传结果采用json格式。
另外，data模块从opentsdb模块查询到数据后，转换成dashboard需要的格式。
下面给出本发明的具体实施方式。
1、基础框架(Framework)
python-virtualenv、gnuplot、autoconf、automake
2、各模块结构(Modules)
●app：用户的应用程序。
●falcon-agent：开源的open-falcon的agent模块用来接收用户自定义数据。
●transfer：开源的open-falcon的transfer模块用来处理和分发来自falcon-agent的数据。
●judge：开源的open-falcon的judge模块用来逻辑判断来自transfer的数据是否需要报警。
●graph：开源的open-falcon的graph模块用来存储和更新来自transfer的数据的元数据。
●openstdb：开源的opentsdb用来存储来自transfer的数据的值。
●alarm：开源的open-falcon的alarm模块用来接收来自judge的报警指令发出报警
●metadata：开源的open-falcon的dashboard的子模块用来从graph模块查询数据的元数据信息。
●data：自己实现的并整合到open-falcon的dashboard模块中的子模块，用来从opentsdb查询数据
3、约定和规范
●接口之间传参和回传结果采用json格式
4、格式化参数(Params)
●输入(in)：
√json格式的字符串
●输出(out)：
√Json格式的字符串
5、编码实现(Programs)
●Coding：data模块从opentsdb查询到数据后转换成dashboard需要的格式
6、构建部署(Build)
●hbase1.1.2
●redis-2.8.12
●opentsdb2.2.0
●open-falcon0.1.0
本发明的有益效果如下：
1.open-falcon+openstdb的用户自定义上推历史数据绘制出曲线图的监控解决方案。
2.data模块从opentsdb获取数据返给open-falcon功能。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.一种监控可视化方法，其特征在于：该方法的基础框架为
python-virtualenv、gnuplot、autoconf、automake，且包括以下步骤：
(1)app模块上推用户符合规范的格式化数据到falcon的agent模块；
(2)agent模块经过格式化后转发给transfer模块；
(3)transfer模块经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；
(4)dashboad通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。
2.根据权利要求1所述的监控可视化方法，其特征在于：所述步骤(3)中opentsdb基于hbase系统，用于存储海量数据。
3.根据权利要求2所述的监控可视化方法，其特征在于：所述步骤(4)中元数据是绘图的参数，特定时间内的数据是数据的值。
4.根据权利要求3所述的监控可视化方法，其特征在于：接口之间传递参数和回传结果采用json格式。
5.根据权利要求3所述的监控可视化方法，其特征在于：data模块从opentsdb模块查询到数据后，转换成dashboard需要的格式。
6.一种监控可视化系统，其特征在于：该系统基础框架为python-virtualenv、gnuplot、autoconf、automake，且包括：app模块，其配置来上推用户符合规范的格式化数据到falcon的agent模块；
agent模块，其配置来经过格式化后转发给transfer模块；
transfer模块，其配置来经过处理后分发给judge模块、graph模块和opentsdb模块；judge模块判断是否需要报警，如果需要则给alarm模块发送报警指令；graph模块负责存储元数据，opentsdb模块负责存储数据；
dashboad，其配置来通过metadata模块获取元数据，通过data模块获取特定时间内的数据，以便绘制曲线图。
7.根据权利要求6所述的监控可视化系统，其特征在于：所述transfer模块中opentsdb基于hbase系统，用于存储海量数据。
8.根据权利要求7所述的监控可视化系统，其特征在于：所述dashboad中元数据是绘图的参数，特定时间内的数据是数据的值。
9.根据权利要求8所述的监控可视化系统，其特征在于：接口之间传递参数和回传结果采用json格式。
10.根据权利要求9所述的监控可视化系统，其特征在于：data模块从opentsdb模块查询到数据后，转换成dashboard需要的格式。
CN201610887508.7A 2016-10-11 2016-10-11 一种监控可视化方法及系统 Pending CN106445789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610887508.7A CN106445789A (zh) 2016-10-11 2016-10-11 一种监控可视化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610887508.7A CN106445789A (zh) 2016-10-11 2016-10-11 一种监控可视化方法及系统

Publications (1)

Publication Number Publication Date
CN106445789A true CN106445789A (zh) 2017-02-22

Family

ID=58173460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610887508.7A Pending CN106445789A (zh) 2016-10-11 2016-10-11 一种监控可视化方法及系统

Country Status (1)

Country Link
CN (1) CN106445789A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197029A (zh) * 2018-01-08 2018-06-22 华为技术有限公司 一种获取进程信息的方法和设备
CN109117329A (zh) * 2018-07-25 2019-01-01 郑州云海信息技术有限公司 一种虚拟机磁盘性能自动化测试方法及系统
CN109976713A (zh) * 2017-12-28 2019-07-05 中国电信股份有限公司 用于服务组装的脚本处理方法和装置
CN112131073A (zh) * 2020-08-25 2020-12-25 新浪网技术(中国)有限公司 服务器的监控方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820630A (zh) * 2015-05-22 2015-08-05 上海新炬网络信息技术有限公司 基于业务变化量的系统资源监控装置
CN104881352A (zh) * 2015-06-03 2015-09-02 上海新炬网络信息技术有限公司 基于移动端的系统资源监控装置
CN105208098A (zh) * 2015-08-24 2015-12-30 用友网络科技股份有限公司 云监控系统的实现装置和方法
CN105224433A (zh) * 2014-06-23 2016-01-06 阿里巴巴集团控股有限公司 一种内存监控方法及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224433A (zh) * 2014-06-23 2016-01-06 阿里巴巴集团控股有限公司 一种内存监控方法及服务器
CN104820630A (zh) * 2015-05-22 2015-08-05 上海新炬网络信息技术有限公司 基于业务变化量的系统资源监控装置
CN104881352A (zh) * 2015-06-03 2015-09-02 上海新炬网络信息技术有限公司 基于移动端的系统资源监控装置
CN105208098A (zh) * 2015-08-24 2015-12-30 用友网络科技股份有限公司 云监控系统的实现装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
麦晓宇: "《https://blog.csdn.net/fishmai/article/details/51817183》", 3 July 2016 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976713A (zh) * 2017-12-28 2019-07-05 中国电信股份有限公司 用于服务组装的脚本处理方法和装置
CN108197029A (zh) * 2018-01-08 2018-06-22 华为技术有限公司 一种获取进程信息的方法和设备
CN108197029B (zh) * 2018-01-08 2021-06-01 华为技术有限公司 一种获取进程信息的方法和设备
CN109117329A (zh) * 2018-07-25 2019-01-01 郑州云海信息技术有限公司 一种虚拟机磁盘性能自动化测试方法及系统
CN112131073A (zh) * 2020-08-25 2020-12-25 新浪网技术(中国)有限公司 服务器的监控方法和系统
CN112131073B (zh) * 2020-08-25 2024-06-11 新浪技术（中国）有限公司 服务器的监控方法和系统

Similar Documents

Publication Publication Date Title
CN108092836A (zh) 一种服务器的监控方法及装置
CN110224858B (zh) 基于日志的告警方法及相关装置
CN106445789A (zh) 一种监控可视化方法及系统
CN103533084B (zh) 一种b/s架构的实时设备管理系统及其方法
CN108919935A (zh) 一种针对于服务器主板上的电源的监测方法、装置及设备
CN110417575A (zh) 运维监控平台的告警方法、装置和计算机设备
CN109947616A (zh) 一种基于OpenStack技术的云操作系统的自动化监控运维系统
CN107819641B (zh) 一种保信系统的异常分析方法和装置
CN111158983A (zh) 一种一体化运维管理系统
CN107947998B (zh) 一种基于应用系统的实时监测系统
CN104268061A (zh) 一种适用于虚拟机的存储状态监控机制
CN103634149A (zh) 一种用于分布式系统的监测方法
CN111343424A (zh) 在线评标的监控系统及方法
CN114356499A (zh) Kubernetes集群告警根因分析方法及装置
CN111143167A (zh) 用于多平台的告警归并方法及装置、设备、存储介质
CN103647662A (zh) 一种故障监测报警方法及装置
CN112910733A (zh) 一种基于大数据的全链路监控系统及方法
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN111062503B (zh) 一种电网监控告警处理方法、系统、终端及存储介质
CN109032904A (zh) 被监控、管理服务器及数据获取、分析方法和管理系统
CN108039971A (zh) 一种告警方法及装置
CN104915279A (zh) 一种多系统状态运行监控方法及系统
CN116781757B (zh) 数据监控方法、装置、平台、电子设备和存储介质
CN109660388A (zh) 一种基于云平台的告警管理方法及装置
CN101677278A (zh) 网络信息系统可用性的监控方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication