CN112152874A - 分布式系统中应用监控数据的采集与分析系统及方法 - Google Patents
分布式系统中应用监控数据的采集与分析系统及方法 Download PDFInfo
- Publication number
- CN112152874A CN112152874A CN202010928494.5A CN202010928494A CN112152874A CN 112152874 A CN112152874 A CN 112152874A CN 202010928494 A CN202010928494 A CN 202010928494A CN 112152874 A CN112152874 A CN 112152874A
- Authority
- CN
- China
- Prior art keywords
- monitoring data
- data
- module
- application
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
Abstract
本发明公开了一种分布式系统中应用监控数据的采集与分析系统及方法，属于分布式系统中应用资源监控领域。本发明包括：在集群中各主机上部署监控数据采集模块；监控数据采集模块采集所在主机上的容器的监控数据，并将其通过rpc调用发送到存储模块；存储模块收到发送的数据，并将其进行持久化，以供其他模块查看；用户调用图表展示模块，获取集群中应用监控数据的展示图表；图表展示模块调用数据分析模块，获取集群中各应用的监控数据；数据分析模块调用存储模块，获取历史监控数据，并建出集群中各应用的监控数据；图标展示模块收到数据分析模块返回的各应用的监控数据，将其渲染成图表形式。
Description
技术领域
本发明涉及分布式系统中应用资源监控领域，尤其涉及一种分布式系统中应用监控数据的采集与分析系统及方法。
背景技术
在传统的应用监控中，由于应用程序部署以及运行方式，程序运行主机较为固定。因此传统的应用监控主要监控主机状态，或通过特定配置，监控特定程序的资源使用，对应用程序进行资源监控是一件较为困难的事情。
而在云计算快速发展的今天，由于应用部署、维护方式的变化，对应用的资源监控也迎来了新的挑战，当应用进行多副本部署时，获取应用总体资源消耗将更加困难。
发明内容
本发明的目的是提供一种分布式系统中应用监控数据的采集与分析系统及方法，解决用户在分布式系统中，了解应用程序资源使用情况困难的问题。
本发明解决其技术问题，采用的技术方案是：分布式系统中应用监控数据的采集与分析系统，包括监控数据采集模块、存储模块、数据分析模块和图表展示模块，所述监控数据采集模块和数据分析模块均连接存储模块，图表展示模块连接数据分析模块；
所述监控数据采集模块，用于通过在集群中各主机上部署容器监控工具，采集各主机上的各容器的资源使用情况数据，并通过rpc调用发送至存储模块；
所述存储模块，用于存储整个监控系统中的历史监控数据，并向外部提供rpc访问接口，通过存储模块存储和/或查询各容器的监控数据；
所述数据分析模块，用于向外部提供http访问接口，在调用者调用图表展示模块时被调用，调用者在调用时获得集群中各应用的监控信息，通过调用存储服务，查询系统中各容器资源使用情况的历史监控数据，并对其进行分析，然后将分析出的各应用的资源使用结果返回给图表展示模块，使图表展示模块根据返回的数据渲染出对应的图表；
所述图表展示模块，用于通过调用数据分析模块，获取集群中各应用的监控数据，并将这些数据，渲染为监控图表。
进一步的是，所述容器监控工具为cAdvisor。
进一步的是，所述资源使用情况数据包括CPU、内存和网络资源使用情况数据。
进一步的是，当数据分析模块对历史监控数据进行分析时，包括：根据容器标签，将多个容器关联到指定应用。
本发明还提出一种分布式系统中应用监控数据的采集与分析方法，应用于所述的分布式系统中应用监控数据的采集与分析系统，包括如下步骤：
步骤1、在集群中各主机上部署监控数据采集模块，并持续运行；
步骤2、监控数据采集模块采集所在主机上的容器的监控数据，并将其通过rpc调用发送到存储模块；
步骤3、存储模块收到监控数据采集模块发送的数据，并将其进行持久化，以供其他模块查看；
步骤4、用户调用图表展示模块，获取集群中应用监控数据的展示图表；
步骤5、图表展示模块调用数据分析模块，获取集群中各应用的监控数据；
步骤6、数据分析模块调用存储模块，获取历史监控数据，并根据容器ID和容器标签信息，将其进行聚合，使其归属于某一应用，构建出集群中各应用的监控数据；
步骤7、图标展示模块收到数据分析模块返回的各应用的监控数据，将其渲染成图表形式。
本发明的有益效果是，通过上述分布式系统中应用监控数据的采集与分析系统及方法，应用进行容器化部署，提供了资源监控的api接口，通过调用接口，可以准确的获取应用副本的资源使用情况数据，并可动态设定采集频率，向监控中心进行上报，监控中心负责处理和聚合各副本数据，形成应用的总体资源消耗情况的数据并持久化保存，实现了对分布式应用的资源监控，并且不需要应用开发人员额外的配置，降低了应用监控的难度。
附图说明
图1为本发明实施例2的分布式系统中应用监控数据的采集与分析方法的流程图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
实施例1
本实施例提供一种分布式系统中应用监控数据的采集与分析系统，包括监控数据采集模块、存储模块、数据分析模块和图表展示模块，监控数据采集模块和数据分析模块均连接存储模块，图表展示模块连接数据分析模块；其中：
监控数据采集模块，用于通过在集群中各主机上部署容器监控工具，采集各主机上的各容器的资源使用情况数据，并通过rpc调用发送至存储模块；存储模块，用于存储整个监控系统中的历史监控数据，并向外部提供rpc访问接口，通过存储模块存储和/或查询各容器的监控数据；数据分析模块，用于向外部提供http访问接口，在调用者调用图表展示模块时被调用，调用者在调用时获得集群中各应用的监控信息，通过调用存储服务，查询系统中各容器资源使用情况的历史监控数据，并对其进行分析，然后将分析出的各应用的资源使用结果返回给图表展示模块，使图表展示模块根据返回的数据渲染出对应的图表；图表展示模块，用于通过调用数据分析模块，获取集群中各应用的监控数据，并将这些数据，渲染为用户易于理解的监控图表，使用户可以方便，直观的了解到应用运行的整体情况。
为了实现监控效果，且保证保证监控数据的鲁棒性，容器监控工具优选为cAdvisor。一般来说，资源使用情况数据包括CPU、内存和网络资源等使用情况数据。
需要指出的是，当数据分析模块对历史监控数据进行分析时，可以包括：根据容器标签，将多个容器关联到指定应用。
实施例2
在实施例1的基础上，本实施例提出一种分布式系统中应用监控数据的采集与分析方法，包括如下步骤：
步骤1、在集群中各主机上部署监控数据采集模块，并持续运行。
步骤2、监控数据采集模块采集所在主机上的容器的监控数据，并将其通过rpc调用发送到存储模块。
步骤3、存储模块收到监控数据采集模块发送的数据，并将其进行持久化，以供其他模块查看。
步骤4、用户调用图表展示模块，获取集群中应用监控数据的展示图表。
步骤5、图表展示模块调用数据分析模块，获取集群中各应用的监控数据。
步骤6、数据分析模块调用存储模块，获取历史监控数据，并根据容器ID和容器标签信息，将其进行聚合，使其归属于某一应用，构建出集群中各应用的监控数据。
步骤7、图标展示模块收到数据分析模块返回的各应用的监控数据，将其渲染成用户易于理解的图表形式，使用户可以直观的了解到集群中各应用对资源的占用情况。
通过此方法，可以使用户在部署应用后，可以了解到应用的每个副本对CPU、内存和网络等资源的使用情况，以及应用整体对资源的使用情况。
Claims (5)
1.分布式系统中应用监控数据的采集与分析系统，其特征在于，包括监控数据采集模块、存储模块、数据分析模块和图表展示模块，所述监控数据采集模块和数据分析模块均连接存储模块，图表展示模块连接数据分析模块；
所述监控数据采集模块，用于通过在集群中各主机上部署容器监控工具，采集各主机上的各容器的资源使用情况数据，并通过rpc调用发送至存储模块；
所述存储模块，用于存储整个监控系统中的历史监控数据，并向外部提供rpc访问接口，通过存储模块存储和/或查询各容器的监控数据；
所述数据分析模块，用于向外部提供http访问接口，在调用者调用图表展示模块时被调用，调用者在调用时获得集群中各应用的监控信息，通过调用存储服务，查询系统中各容器资源使用情况的历史监控数据，并对其进行分析，然后将分析出的各应用的资源使用结果返回给图表展示模块，使图表展示模块根据返回的数据渲染出对应的图表；
所述图表展示模块，用于通过调用数据分析模块，获取集群中各应用的监控数据，并将这些数据，渲染为监控图表。
2.根据权利要求1所述的分布式系统中应用监控数据的采集与分析系统，其特征在于，所述容器监控工具为cAdvisor。
3.根据权利要求1所述的分布式系统中应用监控数据的采集与分析系统，其特征在于，所述资源使用情况数据包括CPU、内存和网络资源使用情况数据。
4.根据权利要求1所述的分布式系统中应用监控数据的采集与分析系统，其特征在于，当数据分析模块对历史监控数据进行分析时，包括：根据容器标签，将多个容器关联到指定应用。
5.分布式系统中应用监控数据的采集与分析方法，应用于权利要求1-4任意一项所述的分布式系统中应用监控数据的采集与分析系统，其特征在于，包括如下步骤：
步骤1、在集群中各主机上部署监控数据采集模块，并持续运行；
步骤2、监控数据采集模块采集所在主机上的容器的监控数据，并将其通过rpc调用发送到存储模块；
步骤3、存储模块收到监控数据采集模块发送的数据，并将其进行持久化，以供其他模块查看；
步骤4、用户调用图表展示模块，获取集群中应用监控数据的展示图表；
步骤5、图表展示模块调用数据分析模块，获取集群中各应用的监控数据；
步骤6、数据分析模块调用存储模块，获取历史监控数据，并根据容器ID和容器标签信息，将其进行聚合，使其归属于某一应用，构建出集群中各应用的监控数据；
步骤7、图标展示模块收到数据分析模块返回的各应用的监控数据，将其渲染成图表形式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010928494.5A CN112152874A (zh) | 2020-09-07 | 2020-09-07 | 分布式系统中应用监控数据的采集与分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010928494.5A CN112152874A (zh) | 2020-09-07 | 2020-09-07 | 分布式系统中应用监控数据的采集与分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112152874A true CN112152874A (zh) | 2020-12-29 |
Family
ID=73889338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010928494.5A Pending CN112152874A (zh) | 2020-09-07 | 2020-09-07 | 分布式系统中应用监控数据的采集与分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112152874A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542074A (zh) * | 2021-08-04 | 2021-10-22 | 成都安恒信息技术有限公司 | 一种可视化管理kubernetes集群的东西向网络流量的方法及系统 |
| CN114629812A (zh) * | 2022-03-28 | 2022-06-14 | 中国电子科技集团公司第三十八研究所 | 一种基于自主可控平台的集群可视化系统及方法 |
| CN114844794A (zh) * | 2022-03-25 | 2022-08-02 | 之江实验室 | 一种面向容器的资源监控方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107294772A (zh) * | 2017-05-23 | 2017-10-24 | 甘肃万维信息技术有限责任公司 | 一种结合Docker实现动态管理监控服务系统 |
| US20180048545A1 (en) * | 2016-08-11 | 2018-02-15 | Hewlett Packard Enterprise Development Lp | Container monitoring configuration deployment |
| CN108108230A (zh) * | 2018-01-26 | 2018-06-01 | 成都精灵云科技有限公司 | 基于docker的云平台发布系统 |
| CN108848157A (zh) * | 2018-06-12 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种Kubernetes集群容器监控的方法和装置 |
-
2020
- 2020-09-07 CN CN202010928494.5A patent/CN112152874A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180048545A1 (en) * | 2016-08-11 | 2018-02-15 | Hewlett Packard Enterprise Development Lp | Container monitoring configuration deployment |
| CN107294772A (zh) * | 2017-05-23 | 2017-10-24 | 甘肃万维信息技术有限责任公司 | 一种结合Docker实现动态管理监控服务系统 |
| CN108108230A (zh) * | 2018-01-26 | 2018-06-01 | 成都精灵云科技有限公司 | 基于docker的云平台发布系统 |
| CN108848157A (zh) * | 2018-06-12 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种Kubernetes集群容器监控的方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542074A (zh) * | 2021-08-04 | 2021-10-22 | 成都安恒信息技术有限公司 | 一种可视化管理kubernetes集群的东西向网络流量的方法及系统 |
| CN113542074B (zh) * | 2021-08-04 | 2023-03-10 | 成都安恒信息技术有限公司 | 一种可视化管理kubernetes集群的东西向网络流量的方法及系统 |
| CN114844794A (zh) * | 2022-03-25 | 2022-08-02 | 之江实验室 | 一种面向容器的资源监控方法、系统及存储介质 |
| CN114629812A (zh) * | 2022-03-28 | 2022-06-14 | 中国电子科技集团公司第三十八研究所 | 一种基于自主可控平台的集群可视化系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112152874A (zh) | 分布式系统中应用监控数据的采集与分析系统及方法 | |
| US20220004480A1 (en) | Log data collection method, log data collection device, storage medium, and log data collection system | |
| CN110245078A (zh) | 一种软件的压力测试方法、装置、存储介质和服务器 | |
| CN101707632A (zh) | 一种动态监控服务器集群性能并实时报警的方法 | |
| CN107341033A (zh) | 一种数据统计方法、装置、电子设备和存储介质 | |
| CN108733531B (zh) | 基于云计算的gpu性能监控系统 | |
| CN111625419B (zh) | 一种日志采集方法、系统、设备及计算机可读存储介质 | |
| CN112130996A (zh) | 数据监控控制系统、方法、装置、电子设备和存储介质 | |
| CN114201378A (zh) | 服务器性能预测方法、装置、设备、存储介质及程序产品 | |
| CN111274256A (zh) | 基于时序数据库的资源管控方法、装置、设备及存储介质 | |
| CN112069049A (zh) | 数据监控管理方法、装置、服务器及可读存储介质 | |
| CN114490268A (zh) | 全链路监控方法、装置、设备、存储介质和程序产品 | |
| CN116795647A (zh) | 一种数据库异构资源管理与调度方法、装置、设备及介质 | |
| CN110865919B (zh) | 基于java进程的监控方法、装置和计算机设备 | |
| CN113422808A (zh) | 物联网平台http信息推送方法、系统、装置及介质 | |
| CN110347546B (zh) | 监控任务动态调整方法、装置、介质及电子设备 | |
| CN113760562A (zh) | 链路追踪方法、装置、系统、服务器和存储介质 | |
| US10983888B1 (en) | System and method for generating dynamic sparse exponential histograms | |
| CN116708217A (zh) | 一种数据中心设备监控方法、系统、电子设备及存储介质 | |
| CN113360182B (zh) | 系统性能诊断的方法和装置 | |
| CN115525392A (zh) | 容器监控方法、装置、电子设备及存储介质 | |
| CN112035311A (zh) | 一种程序逻辑监控方法及装置 | |
| CN114860536A (zh) | 一种gpu卡的监控方法、监控系统及相关装置 | |
| CN112835766A (zh) | 应用监控方法及装置 | |
| CN112527882A (zh) | 一种物联设备数据采集方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
| RJ01 | Rejection of invention patent application after publication |