CN108512719A - 一种基于开源云平台的一体化资源监控系统 - Google Patents

一种基于开源云平台的一体化资源监控系统 Download PDF

Info

Publication number
CN108512719A
CN108512719A CN201810173792.0A CN201810173792A CN108512719A CN 108512719 A CN108512719 A CN 108512719A CN 201810173792 A CN201810173792 A CN 201810173792A CN 108512719 A CN108512719 A CN 108512719A
Authority
CN
China
Prior art keywords
monitoring
zabbix
data
cloud platform
grafana
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810173792.0A
Other languages
English (en)
Other versions
CN108512719B (zh
Inventor
连建永
李向军
陈超喆
马超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Easy Star Technology Development Co ltd
Original Assignee
Nanjing Easy Star Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Easy Star Software Technology Co Ltd filed Critical Nanjing Easy Star Software Technology Co Ltd
Priority to CN201810173792.0A priority Critical patent/CN108512719B/zh
Publication of CN108512719A publication Critical patent/CN108512719A/zh
Application granted granted Critical
Publication of CN108512719B publication Critical patent/CN108512719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于开源云平台的一体化资源监控系统，包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。本发明对云平台的服务状态、健康状态，云平台的虚机、应用等资源信息，进行多维度、全方位的实时监控。

Description

一种基于开源云平台的一体化资源监控系统
技术领域
本发明涉及一种资源监控系统，特别是一种基于开源云平台的一体化资源监控系统。
背景技术
随着云计算的成熟，各种云平台尤其是开源云平台逐渐成为各机构的IT业务平台。作为IT基础结构，云平台承载着应用程序和数据，它的运行状态直接影响日常业务的进行，关系机构的正常运作。实时监控云平台的状态，及时发现平云台异常，保证云平台的正常运行，变得极为重要。
对开源云平台的监控包括对云平台服务状态的监控，平台资源的监控，以及平台物理环境的监控。但针对开源云平台的监控方案通常是不全面的。
例如，在OpenStack云平台中，OpenStack提供了Telemetry组件采集Opentack开源云平台的监控数据，获取资源的使用情况。Ceilometer可采集OpenStack平台内部发生的事件，包括镜像、网络等各个服务，也可以采集虚拟机的状态，如运行时间，CPU、内存、网络、磁盘使用状况等信息；Aodh则基于Ceilometer采集的数据提供告警机制。但Telemetry是针对OpenStack平台的虚拟资源监控，是为计费而产生的，而且对云平台物理环境的监控缺乏支持。
Zabbix是一款提供分布式系统监控的多平台的企业级开源运维平台。支持Agent、IPMI、SNMP、JMX等多种数据采集方式；具有自动发现（Auto registration）、LLD（Low-LevelDiscovery）等多种功能自动化、智能化部署监控系统。支持多条件告警，多种告警通知机制。但对其要是实现复杂环境、深层次监控需求，如开源云平台内部资源状况、监控资源特殊化展示，需要进行大量的二次定制开发，难度较大。
Nagios同样是一款开源的企业级监控系统，用于监控IT基础架构和查看当前状态、历史日志和基本报告的开源软件工具。Nagios 可分为核心和插件两个部分。核心部分只提供很少的监控功能，要搭建一个完善的 平台监控 运维系统，需在 Nagios 服务器安装相应的插件。但其插件易用性差，对性能、流量等指标的处理较弱；且其配置复杂，概念繁琐，开发成本较大。
众多的开源监控软件提供的解决方案在部分层面解决监控问题，但不能从整体上、多方位提供开源云平台的一体化资源监控方案。
发明内容
本发明所要解决的技术问题是提供一种基于开源云平台的一体化资源监控系统，对云平台的服务状态、健康状态，云平台的虚机、应用等资源信息，进行多维度、全方位的实时监控。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于开源云平台的一体化资源监控系统，其特征在于：包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。
进一步地，所述多种监控途径包含Zabbix、Telegraf、OpenStack API；多种资源监控信息包含物理主机、OpenStack、ceph和虚机。
进一步地，所述现有插件、二次开发插件包含开源插件Zabbix App、InfluxdbDatasource，自研插件Openstack App。
进一步地，还包含Skynet组件，将Ceilometer产生在Mongodb的监控数据，经过聚合存储到Zabbix，并在Grafana中进行展示，Skynet组件连通OpenStack与Zabbix，实现Ceilometer监控数据到Zabbix监控项的转化。
进一步地，所述Skynet组件工作过程为，
数据聚合：将Mongodb中Ceilometer存储的监控数据、Zabbix采集的部分数据，经过聚合形成新的Zabbix监控项，存储到数据库，供Grafana进行数据展示；
Skynet采集数据来自于MongoDB、Zabbxi两个组件，其按照不同的轮询周期对MongoDB的数据进行采集，包括diskio、volume、cpu、memory虚机指标；同样按照不同的轮询周期通过Zabbix API进行数据的采集，包括hosts、alarm主机指标；
Skynet将采集到的监控数据根据类别进行聚合，得到云平台的总体监控项，包含主机数量、CPU/内存使用、虚机数目、CPU/内存这些概览数据，组合成Openstack监控项，最后，通过socket向Zabbix的监听端口发送数据；
对Zabbix进行初始化设置，包括Zabbix监控模板的加载，物理主机的自动发现规则设定。
进一步地，所述数据采集模块包含四条采集途径，
Zabbix-agent，主要采集开源云平台的物理主机资源情况，及云平台的服务运行状态；
Skynet，主要采集Ceilometer存储在Mongob的监控数据，并经过聚合形成新的监控信息；
Telegraf，主要采集开源云平台的存储信息，如物理主机的磁盘运行状态、Ceph分布式存储等；
同时，二次开发形成的Grafana的插件Opentack APP 可直接通过openstack云平台各组件的api获取云平台的数据信息。
进一步地，所述数据展示模块工作过程为，采集后的监控数据相应经过存储或直接进行监控数据的输出和展示，Zabbix-agent、SKynet采集的监控信息，经过Zabbix API存储在Mysql数据库中；Telegraf利用输出插件influxdb将采集的监控数据输出到时序数据库Influxdb中；Grafana的插件Opentack APP 直接获取数据进行展示；
监控数据的输出和展示集中在Grafana，Grafana利用插件机制，加载Zabbix App、Influxdb Datasource、Openstack App插件，获取存储在Zabbix、Influxdb数据库和openstack云平台的数据。
进一步地，还包含HAProxy，HAProxy为Grafana、Zabbix提供了负载均衡、高可用性，保证整个监控系统的高可靠性。
本发明与现有技术相比，具有以下优点和效果：
1、对开源云平台的平台服务、平台资源及物理环境，进行多维度、全方面的一体化资源监控。
2、监控系统支持HA，多控属性，支持均衡负载，减轻单节点服务压力，保证监控质量。
3、部署方式灵活便捷，支持独立于云平台的独立部署，或与云平台的融合部署；对于规模较小的云平台，支持单控部署。
4、可扩展性强，Grafana的插件机制、Zabbix的监控功能、Telegraf的插件机制，及插件的二次开发，都可用于不同的开源云平台，满足不同的监控需求，提供高质量的，全方位的监控系统。
附图说明
图1是本发明的一种基于开源云平台的一体化资源监控系统的示意图。
图2是本发明的一体化资源监控系统部署实施的的示意图。
图3 是本发明的一体化监控系统组件Skynet数据转换的示意图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
如图1所示，本发明的一种基于开源云平台的一体化资源监控系统，包含数据采集模块和数据展示模块，数据采集模块采用Zabbix，Telegraf、Influxdb等监控工具等工具实现。Zabbix支持多种Zabbix Agent、SNMP、JMX、IPMI等多种监控途径，Auto registration（自动注册）、LDD（Low Level Discovery）等多种功能，能够让我们方便实现大规模监控部署，任意监控项采集，包括物理主机资源使用，服务运行状态等。Telegraf则利用插件机制，可方便采集如ceph、haproxy等多种资源监控信息，存储在Influxdb时序数据库。数据展示模块引入Grafana开源监控软件。通过Grafana的插件机制，利用现有插件、二次开发插件，如开源插件Zabbix App、Influxdb Datasource，自研插件Openstack App等（插件可分为App、DataSource、Panel等），接入Zabbix、Influxdb、OpenStack等多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。并整合Grafana、Zabbix、云平台自有告警，支持告警设置、触发，支持多种告警通知机制。
Grafana：数据展现的前端，提供丰富的仪表盘和图表；通过Grafana插件机制，可接入多种监控数据。Grafana拥有众多插件，可针对不同开源云平台安装不同的插件，方便采集各种监控数据；同时可对Grafana二次定制开发，针对开源云平台特性定制开发插件，包括数据源、模板、图表。Zabbix：一款提供分布式系统监控的多平台的企业级开源运维平台。其强大的功能，是我们能够方便部署一套企业级监控平台；Zabbix能够创建任意监控项，满足监控需求。Telegraf：Telegraf是一个采集、处理、聚合数据的工具。Telegraf通过插件的机制，采集、处理、输出监控数据。其插件有4种类型：输入插件（Input Plugins ）、处理插件（Processor Plugins）、聚合插件（Aggregator Plugins）、输出插件（OutputPlugins），输入插件可支持bcache、mongodb、ceph、docker等插件进行多种数据采集。Influxdb：Influxdb则是一款开源的时序数据库，用来记录数据、事件，性能分析；其作为Telegraf的输出方，存储Telegraf采集的监控数据，通过Grafaba的Influxdb插件进行数据的展示。opensttack插件：Grafana的二次开发插件。针对OpenStack开源云平台，二次开发的Grafana插件，进行Opentack云平台数据的采集。
Skynet：为了利用OpenStack云平台自有的Telemetry资源监控，构建Skynet组件，用于将Ceilometer产生在Mongodb的监控数据，经过聚合存储到Zabbix，并在Grafana中进行展示。其在一体化资源监控系统连通了OpenStack与Zabbix，实现了Ceilometer监控数据到Zabbix监控项的转化。
Skynet主要任务如下：
数据聚合：将Mongodb中Ceilometer存储的监控数据、Zabbix采集的部分数据，经过聚合形成新的Zabbix监控项，存储到数据库，供Grafana进行数据展示；
如图3所示，Skynet采集数据来自于MongoDB、Zabbxi两个组件，其按照不同的轮询周期对MongoDB的数据进行采集，包括diskio、volume、cpu、memory虚机指标；同样按照不同的轮询周期通过Zabbix API进行数据的采集，包括hosts、alarm主机指标；
Skynet将采集到的监控数据根据类别进行聚合，得到云平台的总体监控项，包含主机数量、CPU/内存使用、虚机数目、CPU/内存这些概览数据，组合成Openstack监控项，最后，通过socket向Zabbix的监听端口发送数据；
对Zabbix进行初始化设置，包括Zabbix监控模板的加载，物理主机的自动发现规则设定。
数据采集模块包含四条采集途径，
Zabbix-agent，主要采集开源云平台的物理主机资源情况，及云平台的服务运行状态；
Skynet，主要采集Ceilometer存储在Mongob的监控数据，并经过聚合形成新的监控信息；
Telegraf，主要采集开源云平台的存储信息，如物理主机的磁盘运行状态、Ceph分布式存储等；
同时，二次开发形成的Grafana的插件Opentack APP 可直接通过openstack云平台各组件的api获取云平台的数据信息。
数据展示模块工作过程为，采集后的监控数据相应经过存储或直接进行监控数据的输出和展示，Zabbix-agent、SKynet采集的监控信息，经过Zabbix API 存储在Mysql数据库中；Telegraf利用输出插件influxdb将采集的监控数据输出到时序数据库Influxdb中；Grafana的插件Opentack APP 直接获取数据进行展示；监控数据的输出和展示集中在Grafana，Grafana利用插件机制，加载Zabbix App、Influxdb Datasource、Openstack App插件，获取存储在Zabbix、Influxdb数据库和openstack云平台的数据。
监控系统针对重要组件采用HAProxy来提供组件的负载均衡、高可用性，从而来保证整个监控系统的高可靠性。HAProxy是一款提供负载均衡、高可用性，具基于TCP和HTTP应用的代理软件，实现了一种事件驱动，单一进程模型，支持非常大的并发连接；且支持服务器健康检查功能。HAProxy为Grafana、Zabbix提供了负载均衡、高可用性，保证整个监控系统的高可靠性。
下面通过具体实施例对本发明进行说明；
如图2所示，在三个控制节点两个计算节点的OpenStack开源云平台（后端存储采用Ceph集群）中，部署一套多控的一体化资源监控系统。
Zaabix-Agent部署在所有节点，采集物理资源，及Openstack服务状态；Zabbix-Server部署在所有控制节点，并对各控制节点做HA代理，保证Zabbix-Server的负载均衡，高可用。
Influxdb、Telegraf组件部署在所有控制节点，采集后端存储Ceph集群的状态信息；并对个Influxdb组件做HA代理，保证Influxdb高可用。
Grafana部署在所有控制节点，并作HA代理，保证服务可靠性。Grafana通过插件机制，安装自有插件Influxdb、Zabbix，及自研插件openstack，将Telegraf、Zabbix-Agent及openstack收集到的数据通过Grafana丰富的图标进行展现。
其部署过程采用自动化部署，全程无需人工配置，自动化程度高，产品成熟度高。部署完成后的内置多个监控页面，也可自定义添加监控项，自定义监控页面。实现全方位监控，多维度监控。其成功部署后，便可自动获取监控数据。
一体化资源监控系统可实现对以下资源的全方位监控:
对云平台的监控。包括云平台资源状态、控制节点运行状态、计算节点可用域运行状态、项目云主机运行状态、存储运行状态；同时支持对上述各项的详情监控。一体化资源监控系统可实时掌握整个云平台的服务状态、资源使用状态。
对各个控制节点、计算节点物理主机的服务状态及资源使用情况的实时监控，包括主机和服务情况，系统运行状体指标，及计算节点虚机状态。
对开源云平台的虚拟机的资源进行监控。包括对云主机的CPU/内存使用状态、磁盘使用状态、网络IO状态等资源，云硬盘的磁盘使用状态、健康程度等资源进行监控，并支持多种告警通知机制。
对物理主机、平台虚拟资源的告警触发。包括对物理主机的服务状态、资源使用，虚机的CPU、内存、磁盘等进行告警设置，告警触发，并支持多种告警通知机制。
一体化资源监控系统包括且不限于以上监控项目。并支持自定义监控设置，支持不同开源云平台的特定开发。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种基于开源云平台的一体化资源监控系统，其特征在于：包含数据采集模块和数据展示模块，数据采集模块采用监控工具Zabbix、Telegraf和Influxdb，Zabbix通过多种监控途径和功能实现大规模监控部署、任意监控项采集，Telegraf利用插件机制，采集多种资源监控信息，存储在Influxdb时序数据库；数据展示模块引入Grafana开源监控软件，通过Grafana的插件机制，利用现有插件、二次开发插件，接入Zabbix、Influxdb、OpenStack多种平台的监控信息，采集多维度监控项，通过Grafana的丰富的仪表盘和图表，进行监控数据的展现。
2.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述多种监控途径包含Zabbix、Telegraf、OpenStack API；多种资源监控信息包含物理主机、OpenStack、ceph和虚机。
3.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述现有插件、二次开发插件包含开源插件Zabbix App、Influxdb Datasource，自研插件Openstack App。
4.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：还包含Skynet组件，将Ceilometer产生在Mongodb的监控数据，经过聚合存储到Zabbix，并在Grafana中进行展示，Skynet组件连通OpenStack与Zabbix，实现Ceilometer监控数据到Zabbix监控项的转化。
5.按照权利要求4所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述Skynet组件工作过程为，
数据聚合：将Mongodb中Ceilometer存储的监控数据、Zabbix采集的部分数据，经过聚合形成新的Zabbix监控项，存储到数据库，供Grafana进行数据展示；
Skynet采集数据来自于MongoDB、Zabbxi两个组件，其按照不同的轮询周期对MongoDB的数据进行采集，包括diskio、volume、cpu、memory虚机指标；同样按照不同的轮询周期通过Zabbix API进行数据的采集，包括hosts、alarm主机指标；
Skynet将采集到的监控数据根据类别进行聚合，得到云平台的总体监控项，包含主机数量、CPU/内存使用、虚机数目、CPU/内存这些概览数据，组合成Openstack监控项，最后，通过socket向Zabbix的监听端口发送数据；
对Zabbix进行初始化设置，包括Zabbix监控模板的加载，物理主机的自动发现规则设定。
6.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述数据采集模块包含四条采集途径，
Zabbix-agent，主要采集开源云平台的物理主机资源情况，及云平台的服务运行状态；
Skynet，主要采集Ceilometer存储在Mongob的监控数据，并经过聚合形成新的监控信息；
Telegraf，主要采集开源云平台的存储信息，如物理主机的磁盘运行状态、Ceph分布式存储等；
同时，二次开发形成的Grafana的插件Opentack APP 可直接通过openstack云平台各组件的api获取云平台的数据信息。
7.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：所述数据展示模块工作过程为，采集后的监控数据相应经过存储或直接进行监控数据的输出和展示，Zabbix-agent、SKynet采集的监控信息，经过Zabbix API 存储在Mysql数据库中；Telegraf利用输出插件influxdb将采集的监控数据输出到时序数据库Influxdb中；Grafana的插件Opentack APP 直接获取数据进行展示；
监控数据的输出和展示集中在Grafana，Grafana利用插件机制，加载Zabbix App、Influxdb Datasource、Openstack App插件，获取存储在Zabbix、Influxdb数据库和openstack云平台的数据。
8.按照权利要求1所述的一种基于开源云平台的一体化资源监控系统，其特征在于：还包含HAProxy，HAProxy为Grafana、Zabbix提供了负载均衡、高可用性，保证整个监控系统的高可靠性。
CN201810173792.0A 2018-03-02 2018-03-02 一种基于开源云平台的一体化资源监控系统 Active CN108512719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810173792.0A CN108512719B (zh) 2018-03-02 2018-03-02 一种基于开源云平台的一体化资源监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810173792.0A CN108512719B (zh) 2018-03-02 2018-03-02 一种基于开源云平台的一体化资源监控系统

Publications (2)

Publication Number Publication Date
CN108512719A true CN108512719A (zh) 2018-09-07
CN108512719B CN108512719B (zh) 2021-06-08

Family

ID=63377211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810173792.0A Active CN108512719B (zh) 2018-03-02 2018-03-02 一种基于开源云平台的一体化资源监控系统

Country Status (1)

Country Link
CN (1) CN108512719B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120481A (zh) * 2018-09-27 2019-01-01 上海新炬网络信息技术股份有限公司 基于Zabbix开源组件监控DCOS容器和内部中间件的方法
CN109327343A (zh) * 2018-11-27 2019-02-12 武汉烽火信息集成技术有限公司 用于openstack云环境的自动化巡检方法及系统
CN109344032A (zh) * 2018-09-27 2019-02-15 郑州云海信息技术有限公司 一种监控方法和装置
CN109412887A (zh) * 2018-10-08 2019-03-01 郑州云海信息技术有限公司 一种基于OpenStack的容器监控数据的收集系统
CN109597735A (zh) * 2018-11-30 2019-04-09 首约科技(北京)有限公司 监控方法、系统以及存储介质
CN109639472A (zh) * 2018-12-04 2019-04-16 科大国创软件股份有限公司 基于Grafana的容器云平台的集成告警控制方法及系统
CN109728938A (zh) * 2018-12-11 2019-05-07 国云科技股份有限公司 一种评估系统服务水平的方法
CN111104285A (zh) * 2019-12-17 2020-05-05 武汉武钢绿色城市技术发展有限公司 一种基于OpenStack的云计算平台的运行监控方法
CN111427749A (zh) * 2020-04-01 2020-07-17 山东汇贸电子口岸有限公司 一种openstack环境下针对ironic服务的监控工具及方法
CN111639009A (zh) * 2020-06-04 2020-09-08 山东汇贸电子口岸有限公司 一种服务监控数据采集系统及方法
CN111722980A (zh) * 2020-06-11 2020-09-29 咪咕文化科技有限公司 数据采集系统和方法
CN111949389A (zh) * 2020-08-11 2020-11-17 曙光信息产业(北京)有限公司 基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质
CN112015753A (zh) * 2020-08-31 2020-12-01 南京易捷思达软件科技有限公司 适于容器化部署开源云平台的监控系统和方法
CN112328456A (zh) * 2021-01-04 2021-02-05 北京电信易通信息技术股份有限公司 一种基于服务发现的集群资源监控系统
CN112702233A (zh) * 2020-12-21 2021-04-23 北京首汽智行科技有限公司 一种Java虚拟机JVM集群监控方法
CN113037828A (zh) * 2021-03-03 2021-06-25 浪潮云信息技术股份公司 一种云环境下的数据采集与控制方法及系统
CN113220727A (zh) * 2021-05-07 2021-08-06 国网陕西省电力公司信息通信公司 基于云平台的电力物联数据可视化展现系统及其展现方法
CN113438136A (zh) * 2021-08-27 2021-09-24 苏州浪潮智能科技有限公司 应用服务监控方法、装置、电子设备及可读存储介质
CN113688009A (zh) * 2021-08-20 2021-11-23 济南浪潮数据技术有限公司 一种云平台的云主机监控数据采集方法、系统及设备
CN113839974A (zh) * 2020-06-23 2021-12-24 海尔数字科技（上海）有限公司 容器平台计费方法及系统
CN114979158A (zh) * 2022-05-23 2022-08-30 深信服科技股份有限公司 一种资源监控方法、系统、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605722A (zh) * 2013-11-15 2014-02-26 北京奇虎科技有限公司 数据库监控方法及装置、设备
CN106161462A (zh) * 2016-08-29 2016-11-23 无锡华云数据技术服务有限公司 一种网络安全认证方法
US20170180421A1 (en) * 2014-02-11 2017-06-22 Varmour Networks, Inc. Deception using Distributed Threat Detection
CN106899550A (zh) * 2015-12-18 2017-06-27 中国移动通信集团公司 一种云平台资源监控方法及装置
CN107341044A (zh) * 2017-07-13 2017-11-10 郑州云海信息技术有限公司 一种分布式数据中心统一监控架构及方法
CN107404417A (zh) * 2017-07-25 2017-11-28 郑州云海信息技术有限公司 一种监控数据的处理方法、处理装置及处理系统
CN107463479A (zh) * 2017-07-11 2017-12-12 上海精数信息科技有限公司 一种社交数据监控系统
CN107544897A (zh) * 2017-08-25 2018-01-05 重庆扬讯软件技术股份有限公司 基于一体化实时监控的性能测试方法与系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605722A (zh) * 2013-11-15 2014-02-26 北京奇虎科技有限公司 数据库监控方法及装置、设备
US20170180421A1 (en) * 2014-02-11 2017-06-22 Varmour Networks, Inc. Deception using Distributed Threat Detection
CN106899550A (zh) * 2015-12-18 2017-06-27 中国移动通信集团公司 一种云平台资源监控方法及装置
CN106161462A (zh) * 2016-08-29 2016-11-23 无锡华云数据技术服务有限公司 一种网络安全认证方法
CN107463479A (zh) * 2017-07-11 2017-12-12 上海精数信息科技有限公司 一种社交数据监控系统
CN107341044A (zh) * 2017-07-13 2017-11-10 郑州云海信息技术有限公司 一种分布式数据中心统一监控架构及方法
CN107404417A (zh) * 2017-07-25 2017-11-28 郑州云海信息技术有限公司 一种监控数据的处理方法、处理装置及处理系统
CN107544897A (zh) * 2017-08-25 2018-01-05 重庆扬讯软件技术股份有限公司 基于一体化实时监控的性能测试方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIXIN_33676492: "graphite+grafana监控openstack和ceph", 《CSDN 博客》 *
李磊: "基于OpenStack体系的多融合管道式服务云监控系统的研制", 《电信科学》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120481B (zh) * 2018-09-27 2021-06-04 上海新炬网络信息技术股份有限公司 基于Zabbix开源组件监控DCOS容器和内部中间件的方法
CN109344032A (zh) * 2018-09-27 2019-02-15 郑州云海信息技术有限公司 一种监控方法和装置
CN109120481A (zh) * 2018-09-27 2019-01-01 上海新炬网络信息技术股份有限公司 基于Zabbix开源组件监控DCOS容器和内部中间件的方法
CN109412887A (zh) * 2018-10-08 2019-03-01 郑州云海信息技术有限公司 一种基于OpenStack的容器监控数据的收集系统
CN109327343A (zh) * 2018-11-27 2019-02-12 武汉烽火信息集成技术有限公司 用于openstack云环境的自动化巡检方法及系统
CN109327343B (zh) * 2018-11-27 2022-03-18 武汉烽火信息集成技术有限公司 用于openstack云环境的自动化巡检方法及系统
CN109597735A (zh) * 2018-11-30 2019-04-09 首约科技(北京)有限公司 监控方法、系统以及存储介质
CN109639472A (zh) * 2018-12-04 2019-04-16 科大国创软件股份有限公司 基于Grafana的容器云平台的集成告警控制方法及系统
CN109728938A (zh) * 2018-12-11 2019-05-07 国云科技股份有限公司 一种评估系统服务水平的方法
CN111104285A (zh) * 2019-12-17 2020-05-05 武汉武钢绿色城市技术发展有限公司 一种基于OpenStack的云计算平台的运行监控方法
CN111427749A (zh) * 2020-04-01 2020-07-17 山东汇贸电子口岸有限公司 一种openstack环境下针对ironic服务的监控工具及方法
CN111427749B (zh) * 2020-04-01 2023-07-11 山东汇贸电子口岸有限公司 一种openstack环境下针对ironic服务的监控工具及方法
CN111639009A (zh) * 2020-06-04 2020-09-08 山东汇贸电子口岸有限公司 一种服务监控数据采集系统及方法
CN111722980B (zh) * 2020-06-11 2023-10-20 咪咕文化科技有限公司 数据采集系统和方法
CN111722980A (zh) * 2020-06-11 2020-09-29 咪咕文化科技有限公司 数据采集系统和方法
CN113839974A (zh) * 2020-06-23 2021-12-24 海尔数字科技（上海）有限公司 容器平台计费方法及系统
CN111949389A (zh) * 2020-08-11 2020-11-17 曙光信息产业(北京)有限公司 基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质
CN112015753A (zh) * 2020-08-31 2020-12-01 南京易捷思达软件科技有限公司 适于容器化部署开源云平台的监控系统和方法
CN112015753B (zh) * 2020-08-31 2023-10-31 北京易捷思达科技发展有限公司 适于容器化部署开源云平台的监控系统和方法
CN112702233A (zh) * 2020-12-21 2021-04-23 北京首汽智行科技有限公司 一种Java虚拟机JVM集群监控方法
CN112328456A (zh) * 2021-01-04 2021-02-05 北京电信易通信息技术股份有限公司 一种基于服务发现的集群资源监控系统
CN113037828A (zh) * 2021-03-03 2021-06-25 浪潮云信息技术股份公司 一种云环境下的数据采集与控制方法及系统
CN113220727A (zh) * 2021-05-07 2021-08-06 国网陕西省电力公司信息通信公司 基于云平台的电力物联数据可视化展现系统及其展现方法
CN113688009B (zh) * 2021-08-20 2024-03-22 济南浪潮数据技术有限公司 一种云平台的云主机监控数据采集方法、系统及设备
CN113688009A (zh) * 2021-08-20 2021-11-23 济南浪潮数据技术有限公司 一种云平台的云主机监控数据采集方法、系统及设备
CN113438136A (zh) * 2021-08-27 2021-09-24 苏州浪潮智能科技有限公司 应用服务监控方法、装置、电子设备及可读存储介质
WO2023024307A1 (zh) * 2021-08-27 2023-03-02 苏州浪潮智能科技有限公司 应用服务监控方法、装置、电子设备及可读存储介质
CN114979158A (zh) * 2022-05-23 2022-08-30 深信服科技股份有限公司 一种资源监控方法、系统、设备及计算机可读存储介质
CN114979158B (zh) * 2022-05-23 2024-04-09 深信服科技股份有限公司 一种资源监控方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN108512719B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN108512719A (zh) 一种基于开源云平台的一体化资源监控系统
CN111181801B (zh) 节点集群测试方法、装置、电子设备及存储介质
US10911336B2 (en) Scalable visualization of health data for network devices
EP3800862B1 (en) Communicating with machine to machine devices
US6968291B1 (en) Using and generating finite state machines to monitor system status
CN109660426B (zh) 监控方法及系统、计算机可读介质和电子设备
CN110058803A (zh) 存储设备的本地管理控制台
CN108595316A (zh) 分布式应用的生命周期管理方法、管理器、设备和介质
CN112015753B (zh) 适于容器化部署开源云平台的监控系统和方法
CN101707632A (zh) 一种动态监控服务器集群性能并实时报警的方法
CN105119737A (zh) 一种通过Zabbix监控Ceph集群的方法
CN108700922B (zh) 数据中心管理
CN114244676A (zh) 一种智能it综合网关系统
US20100280855A1 (en) Management of a first stand-alone system used as a subsystem within a second system
US8280930B1 (en) Obtaining configuration information from host devices which store data into and load data from a data storage array
CN113535668A (zh) 日志数据处理方法及装置
CN117370053A (zh) 一种面向信息系统业务运行全景监测方法及系统
CN115185611A (zh) 服务网格代理配置动态加载的方法、装置、系统及设备
CN113760856B (zh) 数据库管理方法及装置、计算机可读存储介质、电子设备
Sriram et al. SPECI-2: An open-source framework for predictive simulation of cloud-scale data-centres
Brim et al. Monitoring extreme-scale Lustre toolkit
US8214846B1 (en) Method and system for threshold management
US20240106693A1 (en) Global Internet Protocol Management System (GIMS) For Monitoring Network Devices for Fault Management
CN111639006B (zh) 一种集群的进程管理方法及装置
Bergeron et al. 3D Real-Time Supercomputer Monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221019

Address after: 100094 107-2, 1st Floor, Building 1, East Yard, No. 10, Xibeiwang East Road, Haidian District, Beijing

Patentee after: Beijing easy Star Technology Development Co.,Ltd.

Address before: 210000 109-110, 1st floor, building 4, 168 software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province

Patentee before: NANJING EASYSTACK SOFTWARE TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right