CN112035316A - 一种云监控系统监控分析数据的方法 - Google Patents
一种云监控系统监控分析数据的方法 Download PDFInfo
- Publication number
- CN112035316A CN112035316A CN202010883047.2A CN202010883047A CN112035316A CN 112035316 A CN112035316 A CN 112035316A CN 202010883047 A CN202010883047 A CN 202010883047A CN 112035316 A CN112035316 A CN 112035316A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- cloud
- druid
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000004220 aggregation Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims description 13
- 238000005192 partition Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明特别涉及一种云监控系统监控分析数据的方法。该云监控系统监控分析数据的方法，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic中；Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。该云监控系统监控分析数据的方法，使用Prometheus提供实时数据监控，使用Druid进行监控数据分析，两者融合对外提供服务，既保证了实时数据的动态展示，又融入了Druid的诸多优点，保障了数据分析快速、可变的需求。
Description
技术领域
本发明涉及数据监控与处理技术领域，特别涉及一种云监控系统监控分析数据的方法。
背景技术
在云计算时代的大背景下，云服务提供商对消费者提供处理、存储、网络以及基础计算资源。这些资源用户可以按需购买，与此同时这些资源的使用情况与业务的运行状态和健康度以及从各个角度分析各个资源的使用情况都成为了消费者关心的问题。
传统的云监控都着重于向用户展示实时监控数据，如当前硬盘使用率、CPU空闲率、内存使用量等监控指标数据的实时展示，不能向用户提供针对某段时间内以某种时间粒度对各个监控指标进行切块展示分析数据。
为了向用户提供有力的监控数据分析报表，本发明提出了一种云监控系统监控分析数据的方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的云监控系统监控分析数据的方法。
本发明是通过如下技术方案实现的：
一种云监控系统监控分析数据的方法，其特征在于：使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；
具体包括以下步骤：
第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；
第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic(主题)中；
第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；
第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。
所述第一步中，云资源包括但不限于云主机、云数据库和云硬盘。
所述第一步中，云资源的Exporter先将自身服务注册到Prometheus，然后定期采集相关指标数据，并对采集的数据进行清洗处理，将脏数据丢弃，最后清洗处理后的数据推送到Prometheus中。
所述第二步中，Prometheus根据时间序列将数据以块为单位进行监控数据本地存储。
所述第三步中，Druid以流摄取方式从kafka中读取监控指标数据。
所述第三步中，Druid以分钟为时间粒度对监控指标数据进行预聚合，分别形成基于分钟粒度的监控指标数据总数count、监控指标数据求和sum、监控指标数据最大值max和min监控指标数据最小值四种聚合数据。
所述第三步中，Druid将数据小时为一个段单位，以监控指标名称为分区标志进行数据落盘至挂载的Ceph存储文件系统中。
所述第四步中，用户发出监控指标数据分析请求后，云监控系统根据收到的请求判断用户分析，如果以秒为时间粒度且时间跨度为1小时候则路由到Prometheus数据源，系统提供聚合分析；如果时间粒度大于等于1分钟，则路由到Druid中，由Druid提供聚合分析。
本发明的有益效果是：该云监控系统监控分析数据的方法，使用Prometheus提供实时数据监控，使用Druid进行监控数据分析，两者融合对外提供服务，既保证了实时数据的动态展示，又融入了Druid的诸多优点，保障了数据分析快速、可变的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明云监控系统数据运行时序示意图。
附图2为本发明云监控系统监控指标数据分析路由Druid时序示意图。
附图3为本发明云监控系统监控指标数据分析路由Prometheus时序示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
云监控系统从一个封闭、专用、监看为主的安防子系统向客户IT信息系统的核心业务部分转换，借鉴IT系统分层架构，面向客户需求的云监控整体架构包括云终端、云平台和云业务的三层架构，其核心是以多媒体数据中心为主要组成部分的云平台。云监控的主要组成部分及特点如下：
1、云平台
a)云存储:高可靠存储虚拟化，跨平台、可集中或分布式部署、面向资源的管理、提升整体存储能力和资源利用率，能够面向多媒体存储特征进行设计，如数据安全性冗余和更加简单的多媒体储架构，从而在保证整体可靠性基础上降低存储成本，减少维护使用费用。
b)云计算:分布式计算和自动化管理，能够跨平台、分布式集群化部署，提升整体计算分析和计算资源利用率，实现整体计算成本的降低；能够基于智能分析和数据挖掘数据提升数据的有效性，提高监控系统的实用价值，能够充分结合多媒体应用大信息量交互和频繁的信令调度进行优化设计，提高处理性能，并实现实现统一管理手段，从而减少维护使用成本。
c)云交换:与网络的深度融合，便于高效、简洁、可靠的通过标准的IP网络获取、共享、传递各种视音频流、图片和消息事件等多媒体信息，实现端到端的多媒体信息高效交互传输，简化整体架构，提高系统可靠性。
2、云业务
跨时空一致体验，WEB2.0与工作流协同相结合；增值应用的易获得性和高开放接口，容易结合客户需求定制开发，符合客户安全管理与生产管理的融合趋势，成为客户业务、生产、管理的重要可视化手段。
3、云终端
以IP网络摄像机为代表，充分实现和网络、存储和计算资源的结合，支持端到端的多媒体信息存储和传输，支持多网络接口，同时可以作为云计算的分布式终端，提高整体系统性能和可靠性。
该云监控系统监控分析数据的方法，使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；
具体包括以下步骤：
第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；
第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic(主题)中；
第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；
第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。
所述第一步中，云资源包括但不限于云主机、云数据库和云硬盘。消费者先在云平台上购买云计算资源，包括但不限于云主机、云数据库、云硬盘等云资源，然后开通云监控服务产品。
所述第一步中，云资源的Exporter先将自身服务注册到Prometheus，然后定期采集相关指标数据，并对采集的数据进行清洗处理，将脏数据丢弃，最后清洗处理后的数据推送到Prometheus中。
所述第二步中，Prometheus根据时间序列将数据以块为单位进行监控数据本地存储。
所述第三步中，Druid以流摄取方式从kafka中读取监控指标数据。
所述第三步中，Druid以分钟为时间粒度对监控指标数据进行预聚合，分别形成基于分钟粒度的监控指标数据总数count、监控指标数据求和sum、监控指标数据最大值max和min监控指标数据最小值四种聚合数据。
所述第三步中，Druid将数据小时为一个段单位，以监控指标名称为分区标志进行数据落盘至挂载的Ceph存储文件系统中。
所述第四步中，用户发出监控指标数据分析请求后，云监控系统根据收到的请求判断用户分析，如果以秒为时间粒度且时间跨度为1小时候则路由到Prometheus数据源，系统提供聚合分析；如果时间粒度大于等于1分钟，则路由到Druid中，由Druid提供聚合分析。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (8)
1.一种云监控系统监控分析数据的方法，其特征在于：使用Druid打造监控数据的数据仓库，使用Druid与Prometheus两者相结合的形式提供监控数据分析服务；
具体包括以下步骤：
第一步，从云资源中的Exporter中获取监控数据，并将监控数据推送到Prometheus中；
第二步，Prometheus将获取的监控数据存储到挂载盘中，同时也推送到Kafka的topic中；
第三步，Druid以流数据加载的形式拉取kafka的topic中的监控信息，同时对数据进行解析与预聚合；
第四步，将云监控系统得到的聚合分析结果以统一的格式处理返回给用户。
2.根据权利要求1所述的云监控系统监控分析数据的方法，其特征在于：所述第一步中，云资源包括但不限于云主机、云数据库和云硬盘。
3.根据权利要求1所述的云监控系统监控分析数据的方法，其特征在于：所述第一步中，云资源的Exporter先将自身服务注册到Prometheus，然后定期采集相关指标数据，并对采集的数据进行清洗处理，将脏数据丢弃，最后清洗处理后的数据推送到Prometheus中。
4.根据权利要求1或3所述的云监控系统监控分析数据的方法，其特征在于：所述第二步中，Prometheus根据时间序列将数据以块为单位进行监控数据本地存储。
5.根据权利要求4所述的云监控系统监控分析数据的方法，其特征在于：所述第三步中，Druid以流摄取方式从kafka中读取监控指标数据。
6.根据权利要求5所述的云监控系统监控分析数据的方法，其特征在于：所述第三步中，Druid以分钟为时间粒度对监控指标数据进行预聚合，分别形成基于分钟粒度的监控指标数据总数count、监控指标数据求和sum、监控指标数据最大值max和min监控指标数据最小值四种聚合数据。
7.根据权利要求6所述的云监控系统监控分析数据的方法，其特征在于：所述第三步中，Druid将数据小时为一个段单位，以监控指标名称为分区标志进行数据落盘至挂载的Ceph存储文件系统中。
8.根据权利要求1或7所述的云监控系统监控分析数据的方法，其特征在于：所述第四步中，用户发出监控指标数据分析请求后，云监控系统根据请求判断用户分析，如果以秒为时间粒度且时间跨度为1小时候则路由到Prometheus数据源，系统提供聚合分析；如果时间粒度大于等于1分钟，则路由到Druid中，由Druid提供聚合分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010883047.2A CN112035316A (zh) | 2020-08-28 | 2020-08-28 | 一种云监控系统监控分析数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010883047.2A CN112035316A (zh) | 2020-08-28 | 2020-08-28 | 一种云监控系统监控分析数据的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112035316A true CN112035316A (zh) | 2020-12-04 |
Family
ID=73587575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010883047.2A Pending CN112035316A (zh) | 2020-08-28 | 2020-08-28 | 一种云监控系统监控分析数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112035316A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883025A (zh) * | 2021-01-25 | 2021-06-01 | 北京云思畅想科技有限公司 | 一种可视化ceph内部数据结构映射关系的系统和方法 |
-
2020
- 2020-08-28 CN CN202010883047.2A patent/CN112035316A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883025A (zh) * | 2021-01-25 | 2021-06-01 | 北京云思畅想科技有限公司 | 一种可视化ceph内部数据结构映射关系的系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230004434A1 (en) | Automated reconfiguration of real time data stream processing | |
| US11329928B2 (en) | Dynamic allocation of network resources using external inputs | |
| Tse et al. | Global zoom/pan estimation and compensation for video compression | |
| CN110245158A (zh) | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 | |
| CN104378665A (zh) | 一种基于数字电视的分布式转码系统及方法 | |
| CN111464373A (zh) | 一种微服务全链路监控系统及方法 | |
| CN105871957B (zh) | 监控框架设计方法和监控服务器、代理单元、中控服务器 | |
| CN102739452A (zh) | 资源监控方法和系统 | |
| CN111966289B (zh) | 基于Kafka集群的分区优化方法和系统 | |
| CN108920153A (zh) | 一种基于负载预测的Docker容器动态调度方法 | |
| CN111796983A (zh) | 一种体彩异常交易请求的监控系统及方法 | |
| CN111459986A (zh) | 数据计算系统及方法 | |
| CN112770145B (zh) | 一种用于视频监控平台的调度方法和系统 | |
| CN109062697A (zh) | 一种提供空间分析服务的方法和装置 | |
| CN112035316A (zh) | 一种云监控系统监控分析数据的方法 | |
| CN114153609A (zh) | 资源控制方法及装置、电子设备、计算机可读存储介质 | |
| CN115729683A (zh) | 任务处理方法、装置、系统、计算机设备和存储介质 | |
| CN116456496B (zh) | 资源调度的方法、存储介质及电子设备 | |
| CN107480189A (zh) | 一种多维度实时分析系统及方法 | |
| CN110798660A (zh) | 基于云联邦音视频融合平台的一体化运维系统 | |
| CN110099116A (zh) | 一种基于大数据的子网安全性评估方法 | |
| CN115913912A (zh) | 报文拦截及业务链路图的生成方法及装置 | |
| TW201719407A (zh) | Ｉｄｃ機房實體及虛擬主機整合管理的方法與系統 | |
| CN113298106A (zh) | 一种样本生成方法、装置、服务器及存储介质 | |
| US20240137326A1 (en) | Dynamic allocation of network resources using external inputs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |