CN107948016A - 一种监控指标数据的可视化查询及多维度叠加分析的方法 - Google Patents

Abstract

本发明公开了一种监控指标数据的可视化查询及多维度叠加分析的方法，该方法首先是采集IT系统资源数据，通过对linux命令的整合，利用shell脚本编程提取系统资源信息数据，发送到服务端，然后存储采集到的资源数据，并进行分类存储，提供rest接口供上层客户端查询搜索数据并进行分析，最后运用存储端提供的相应API查询数据并进行曲线实时展示，对数据进行叠加分析提供可配置的告警机制。本发明的优点是：不但能够使单机接入主机的最大数量达到7000台，而且数据采集的方式采用的是客户端push的方式，在主机多的情况下不会影响性能，另外，该方法还能简化数据库表，便于扩展，且图形支持秒级监控，支持多租户使用。

Description

一种监控指标数据的可视化查询及多维度叠加分析的方法

技术领域：

本发明涉及计算机技术领域，具体讲是一种基于搜索引擎实现IT系统监控指标数据的可视化查询及多维度叠加分析的方法。

背景技术：

现有的zabbix产品存在一定的性能瓶颈，监控的机器量越大，数据的增大会使数据库的写入成为一定的瓶颈，zabbix官网给出的单机上限是5000台，届时就需要增加proxy，增加成本。Zabbix采集数据有pull方式，也就是server主动模式，当目标机器量大之后，pull任务会出现积压，采集数据会延迟。如果要对zabbix二次开发，需要分析其MySQL表结构，MySQL表结构比较复杂，通过API开发对开发能力有要求。另外，zabbix产品的图形展示无法做到秒级监控，且不支持多租户，比如多租户共有1套zabbix系统，zabbix无法实现每个用户希望只能看到自己有关的系统的监控界面。

发明内容：

本发明要解决的技术问题是，提供一种基于搜索引擎实现IT系统监控指标数据的可视化查询及多维度叠加分析的方法，该方法不但能够使单机接入主机的最大数量达到7000台，而且数据采集的方式采用的是客户端push的方式，在主机多的情况下不会影响性能，另外，该方法还能简化数据库表，便于扩展，且图形支持秒级监控，支持多租户使用，保证每个用户只看到自己有关的系统的监控界面。

本发明的技术解决方案是，提供一种监控指标数据的可视化查询及多维度叠加分析的方法，该方法包括以下步骤：

步骤1﹒采集IT系统资源数据，具体实现方法是：

通过对linux命令的整合，利用shell脚本编程提取系统资源信息数据，如ip、cpu、内存、磁盘使用情况、tcp连接数、网络延时、inode等指标，并将数据推送至Elasticsearch。

步骤2﹒存储采集到的资源数据，具体实现方法是：

①Elasticsearch开源软件提供rest接口，接收shell采集的数据，按周建立索引存储，如图2所示，索引格式为租户名称+年份+周数；

②使用Tomcat作为服务器访问ElasticSearch，当用户打开页面时，tomcat请求ElasticSearch，获得实时数据；

③提供rest接口供上层客户端查询搜索数据并进行分析。

步骤3﹒查询数据实现多维度分析，具体实现方法是：

①基于数据实现展现、统计、告警等附加模块，运用存储端提供的相应API查询数据并进行曲线实时展示，如图3所示，对数据进行叠加分析提供可配置的告警机制；

②在tomcat中内置h2数据库，使用租户名称和ip地址绑定的方式区别不同的租户。

本发明的有益效果是：

1、单机最大可接入7000台主机。

2、基于客户端push的方式，主机多的情况下不会影响性能。

3、简化数据库表，便于扩展。

4、图形支持秒级监控。

5、支持多租户，每个用户只能看到自己有关的系统的监控界面。

附图说明：

图1为本发明一种监控指标数据的可视化查询及多维度叠加分析的方法的流程图；

图2为本发明中ElasticSearch按周建立索引的图片；

图3为本发明进行曲线实时展示时的页面效果图。

具体实施例：

下面结合附图和具体实施例对本发明一种监控指标数据的可视化查询及多维度叠加分析的方法作进一步说明。

如图1所示，本发明一种监控指标数据的可视化查询及多维度叠加分析的方法的具体步骤如下：

步骤1﹒采集IT系统资源数据，具体实现方法是：

通过对linux命令的整合，利用shell脚本编程提取系统资源信息数据，如ip、cpu、内存、磁盘使用情况、tcp连接数、网络延时、inode等指标，并将数据推送至Elasticsearch。

步骤2﹒存储采集到的资源数据，具体实现方法是：

①Elasticsearch开源软件提供rest接口，接收shell采集的数据，按周建立索引存储，如图2所示，索引格式为租户名称+年份+周数；

②使用Tomcat作为服务器访问ElasticSearch，当用户打开页面时，tomcat请求ElasticSearch，获得实时数据；

③提供rest接口供上层客户端查询搜索数据并进行分析。

步骤3﹒查询数据实现多维度分析，具体实现方法是：

①基于数据实现展现、统计、告警等附加模块，运用存储端提供的相应API查询数据并进行曲线实时展示，如图3所示，对数据进行叠加分析提供可配置的告警机制；

②在tomcat中内置h2数据库，使用租户名称和ip地址绑定的方式区别不同的租户。

以上所述的实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种监控指标数据的可视化查询及多维度叠加分析的方法，其特征在于：该方法包括以下步骤：

步骤1﹒采集IT系统资源数据，具体实现方法是：

通过对linux命令的整合，利用shell脚本编程提取系统资源信息数据，如ip、cpu、内存、磁盘使用情况、tcp连接数、网络延时、inode等指标，并将数据推送至Elasticsearch。

步骤2﹒存储采集到的资源数据，具体实现方法是：

①Elasticsearch开源软件提供rest接口，接收shell采集的数据，按周建立索引存储，如图2所示，索引格式为租户名称+年份+周数；

②使用Tomcat作为服务器访问ElasticSearch，当用户打开页面时，tomcat请求ElasticSearch，获得实时数据；

③提供rest接口供上层客户端查询搜索数据并进行分析。

步骤3﹒查询数据实现多维度分析，具体实现方法是：

①基于数据实现展现、统计、告警等附加模块，运用存储端提供的相应API查询数据并进行曲线实时展示，如图3所示，对数据进行叠加分析提供可配置的告警机制；

②在tomcat中内置h2数据库，使用租户名称和ip地址绑定的方式区别不同的租户。