CN111639009A - 一种服务监控数据采集系统及方法 - Google Patents
一种服务监控数据采集系统及方法 Download PDFInfo
- Publication number
- CN111639009A CN111639009A CN202010497851.7A CN202010497851A CN111639009A CN 111639009 A CN111639009 A CN 111639009A CN 202010497851 A CN202010497851 A CN 202010497851A CN 111639009 A CN111639009 A CN 111639009A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- acquisition
- plug
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002776 aggregation Effects 0.000 claims abstract description 33
- 238000004220 aggregation Methods 0.000 claims abstract description 33
- 238000005266 casting Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 230000036541 health Effects 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明特别涉及一种服务监控数据采集系统及方法。该服务监控数据采集系统及方法，包括注册中心模块，数据聚合模块，采集插件模块和数据抛投模块；所述注册中心模块分别相连到数据聚合模块和采集插件模块，所述采集插件模块通过数据聚合模块相连到数据抛投模块。该服务监控数据采集系统及方法，能够降低云平台上服务的依赖耦合性，提高云平台服务健康监控的可扩展能力，可适应多变的未来需求(只需更换采集器即可)，减少了重复开发工作量，实现了服务和监控分离，具有很好的深入推广应用价值。
Description
技术领域
本发明涉及云计算技术领域，特别涉及一种服务监控数据采集系统及方法。
背景技术
随着信息技术和云计算的发展，科研、生产、商业、政府工作职能等多个领域开始越来越多地应用云计算技术，云计算技术日渐成熟，不断完善，不管是云平台自身的支持平台运行的服务组件还是云计算平台上面向用户部署的服务组件数量与日俱增。对于平台自身而言，组件和平台的可靠性、安全性、可用性、高性能性是十分重要的，开发部署之后怎样去监控评估尤为重要，这是一个长期而不可忽视的工作。
对于用户而言，安全，可靠，高性能、健康可见的云平台服务具有很大的吸引力，用户对自身服务的健康需求也应该得到重视。
对云平台服务提供者来说，对全面可控的服务组件的需求是十分必要的，从采集服务监控数据到分析处理展示预警评估一路漫长，然而没有数据一切空谈，如此采集方案凸显其重要性。
现存的解决方案中，有通过直接在服务本身里面添加程序逻辑主动采集监控数据，暴露接口让采集系统拉取，这种采集方式倾入性很强，增加相关代码必然会影响业务代码的运行。也有通过各种采集器采集的，但是都很繁复，不够系统化。
针对上述问题，本发明提出了一种服务监控数据采集系统及方法，旨在提供一种即不影响监控对象执行其业务功能，又能通过其他手段采集到可评估监控对象健康状态的监控数据的云计算环境下的非侵入的预申明式服务服务监控数据采集系统。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的服务监控数据采集系统及方法。
本发明是通过如下技术方案实现的：
一种服务监控数据采集系统，其特征在于：包括注册中心模块，数据聚合模块，采集插件模块和数据抛投模块；
所述注册中心模块分别相连到数据聚合模块和采集插件模块，负责提供接口用于监控对象的注册；
所述采集插件模块通过数据聚合模块相连到数据抛投模块；所述采集插件模块负责驱动所属采集插件采集数据，并将采集的数据发送给数据聚合模块；所述数据聚合模块负责对收到的数据进行数据聚合处理，并将处理好的数据抛投给数据抛投模块；所述数据抛投模块负责将数据输出到抛投目标。
所有采集插件模块支持TCP(Transmission Control Protocol，即传输控制协议)通信。
本发明服务监控数据采集系统的采集方法，其特征在于，包括以下步骤：
S1、将待监控对象(服务)信息注册到注册中心模块，注册信息包含必须项；
S2、注册中心模块初始化映射采集器插件生成监控对象；
S3、采集插件模块驱动所属采集插件采集数据，数据聚合模块等待采集插件模块上报数据；
S4、采集插件模块驱动所属插件上报采集数据，将采集的数据发送给数据聚合模块；
S5、数据聚合模块接收到采集数据后，查询监控对象表(注册中心)处理数据，并将处理好的数据抛投到数据抛投模块；
S6、数据抛投模块将数据做短期存储(暂时存在磁盘)，然后抛投到接收目标。
所述步骤S1中，注册中心模块提供注册对象注册接口，并通过注册接口定义了注册登记的数据格式；注册信息的必须项包括注册中心接口接收对象标识(要求唯一，在同一个集群系统里面不重复，当然系统会在注册时检查)，默认采集器开关，扩展采集器驱动方式和不变标签设置。
所述步骤S2中，注册中心模块先接收注册请求生成监控对象表，再通过映射驱动采集插件模块采集数据。
所述步骤S3中，采集插件模块采集的数据来源是注册中心模块注册的云平台上部署的服务，采集的数据包含指标名和采集插件添加的标签值。
所述采集插件模块支持公共采集插件，用于能通过公共手段能从外部平台层拿到的数据，包括采集服务的cpu、内存、磁盘使用情况、服务健康检测等；对于特殊采集项则注册采集器，采集插件模块驱动注册的采集器采集对应的特殊采集项。
所述步骤S5中，数据聚合模块通过查询注册中心模块生成的监控对象表来处理接受到的监控数据，并添加注册好的标签，生成监控记录后抛投给数据抛投模块。
本发明的有益效果是：该服务监控数据采集系统及方法，能够降低云平台上服务的依赖耦合性，提高云平台服务健康监控的可扩展能力，可适应多变的未来需求(只需更换采集器即可)，减少了重复开发工作量，实现了服务和监控分离，具有很好的深入推广应用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
附图1为本发明服务监控数据采集系统示意图。
附图2为本发明服务监控数据采集系统的采集方法示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
该服务监控数据采集系统，包括注册中心模块，数据聚合模块，采集插件模块和数据抛投模块；
所述注册中心模块分别相连到数据聚合模块和采集插件模块，负责提供接口用于监控对象的注册；
所述采集插件模块通过数据聚合模块相连到数据抛投模块；所述采集插件模块负责驱动所属采集插件采集数据，并将采集的数据发送给数据聚合模块；所述数据聚合模块负责对收到的数据进行数据聚合处理，并将处理好的数据抛投给数据抛投模块；所述数据抛投模块负责将数据输出到抛投目标。
作为通信提供前提条件，所有采集插件模块支持TCP(Transmission ControlProtocol，即传输控制协议)通信。
该服务监控数据采集系统的采集方法，包括以下步骤：
S1、将待监控对象(服务)信息注册到注册中心模块，注册信息包含必须项；
S2、注册中心模块初始化映射采集器插件生成监控对象；
S3、采集插件模块驱动所属采集插件采集数据，数据聚合模块等待采集插件模块上报数据；
S4、采集插件模块驱动所属插件上报采集数据，将采集的数据发送给数据聚合模块；
S5、数据聚合模块接收到采集数据后，查询监控对象表(注册中心)处理数据，并将处理好的数据抛投到数据抛投模块；
S6、数据抛投模块将数据做短期存储(暂时存在磁盘)，然后抛投到接收目标。
所述步骤S1中，注册中心模块提供注册对象注册接口，并通过注册接口定义了注册登记的数据格式；注册信息的必须项包括注册中心接口接收对象标识(要求唯一，在同一个集群系统里面不重复，当然系统会在注册时检查)，默认采集器开关，扩展采集器驱动方式和不变标签设置。
所述步骤S2中，注册中心模块先接收注册请求生成监控对象表，再通过映射驱动采集插件模块采集数据。
所述步骤S3中，采集插件模块采集的数据来源是注册中心模块注册的云平台上部署的服务，采集的数据包含指标名和采集插件添加的标签值。
所述采集插件模块支持公共采集插件，用于能通过公共手段能从外部平台层拿到的数据，包括采集服务的cpu、内存、磁盘使用情况、服务健康检测等；对于特殊采集项则注册采集器，采集插件模块驱动注册的采集器采集对应的特殊采集项。
所述步骤S5中，数据聚合模块通过查询注册中心模块生成的监控对象表来处理接受到的监控数据，并添加注册好的标签，生成监控记录后抛投给数据抛投模块。
所述数据抛投模块支持多种数据抛投目标连接实现，所述数据抛投目标为已有的带有监控数据收集并评估的组件，这样对于后面数据的处理、数据的分析、监控的警示性处理才有意义，采集监控数据的最终目的还是要数据分析展示和告警。
所述数据抛投目标可以是时序数据库，常规数据库或者其他已有的监控组件。
与现有技术相比，该服务监控数据采集系统及方法，具有以下特点：
非侵入：在不依赖监控对象，不给监控对象增加负担的前提下，实现了监控数据采集；
预申明：通过注册申明服务监控对象、监控插件，可扩展，十分灵活；
成本下降：系统化之后就只需要维护一套监控数据采集系统，大幅降低了运维成本；
系统化：实现了监控数据采集系统的系统化、精简化。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (8)
1.一种服务监控数据采集系统，其特征在于：包括注册中心模块，数据聚合模块，采集插件模块和数据抛投模块；
所述注册中心模块分别相连到数据聚合模块和采集插件模块，负责提供接口用于监控对象的注册；
所述采集插件模块通过数据聚合模块相连到数据抛投模块；所述采集插件模块负责驱动所属采集插件采集数据，并将采集的数据发送给数据聚合模块；所述数据聚合模块负责对收到的数据进行数据聚合处理，并将处理好的数据抛投给数据抛投模块；所述数据抛投模块负责将数据输出到抛投目标。
2.根据权利要求1所述的服务监控数据采集系统，其特征在于：所有采集插件模块支持TCP通信。
3.一种根据权利要求1～2所述的服务监控数据采集系统的采集方法，其特征在于，包括以下步骤：
S1、将待监控对象信息注册到注册中心模块，注册信息包含必须项；
S2、注册中心模块初始化映射采集器插件生成监控对象；
S3、采集插件模块驱动所属采集插件采集数据，数据聚合模块等待采集插件模块上报数据；
S4、采集插件模块驱动所属插件上报采集数据，将采集的数据发送给数据聚合模块；
S5、数据聚合模块接收到采集数据后，查询监控对象表处理数据，并将处理好的数据抛投到数据抛投模块；
S6、数据抛投模块将数据做短期存储，然后抛投到接收目标。
4.根据权利要求3所述的服务监控数据采集系统的采集方法，其特征在于：所述步骤S1中，注册中心模块提供注册对象注册接口，并通过注册接口定义了注册登记的数据格式；注册信息的必须项包括注册中心接口接收对象标识，默认采集器开关，扩展采集器驱动方式和不变标签设置。
5.根据权利要求3所述的服务监控数据采集系统的采集方法，其特征在于：所述步骤S2中，注册中心模块先接收注册请求生成监控对象表，再通过映射驱动采集插件模块采集数据。
6.根据权利要求3所述的服务监控数据采集系统的采集方法，其特征在于：所述步骤S3中，采集插件模块采集的数据来源是注册中心模块注册的云平台上部署的服务，采集的数据包含指标名和采集插件添加的标签值。
7.根据权利要求6所述的服务监控数据采集系统的采集方法，其特征在于：所述采集插件模块支持公共采集插件，用于能通过公共手段能从外部平台层拿到的数据；对于特殊采集项则注册采集器，采集插件模块驱动注册的采集器采集对应的特殊采集项。
8.根据权利要求3所述的服务监控数据采集系统的采集方法，其特征在于：所述步骤S5中，数据聚合模块通过查询注册中心模块生成的监控对象表来处理接受到的监控数据，并添加注册好的标签，生成监控记录后抛投给数据抛投模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010497851.7A CN111639009A (zh) | 2020-06-04 | 2020-06-04 | 一种服务监控数据采集系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010497851.7A CN111639009A (zh) | 2020-06-04 | 2020-06-04 | 一种服务监控数据采集系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111639009A true CN111639009A (zh) | 2020-09-08 |
Family
ID=72332498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010497851.7A Pending CN111639009A (zh) | 2020-06-04 | 2020-06-04 | 一种服务监控数据采集系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639009A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112291112A (zh) * | 2020-10-27 | 2021-01-29 | 中国光大银行股份有限公司 | 一种云计算服务监控系统和方法 |
| CN114640607A (zh) * | 2022-05-12 | 2022-06-17 | 武汉四通信息服务有限公司 | 监控服务注册方法、装置、计算机设备和存储介质 |
| CN117376534A (zh) * | 2023-12-07 | 2024-01-09 | 江西云眼视界科技股份有限公司 | 一种智能设备数据采集系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130238795A1 (en) * | 2010-10-04 | 2013-09-12 | Avocent Huntsville Corp. | System and method for monitoring and managing data center resources in real time incorporating manageability subsystem |
| CN104486445A (zh) * | 2014-12-30 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控系统及方法 |
| CN106383764A (zh) * | 2016-08-31 | 2017-02-08 | 北京百分点信息科技有限公司 | 一种数据采集方法和设备 |
| CN107483622A (zh) * | 2017-09-06 | 2017-12-15 | 广州供电局有限公司 | 基于组件的浏览器操作行为数据采集方法 |
| CN108512719A (zh) * | 2018-03-02 | 2018-09-07 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| CN109327335A (zh) * | 2018-10-07 | 2019-02-12 | 杭州安恒信息技术股份有限公司 | 一种云监控解决系统及方法 |
| CN110581773A (zh) * | 2018-06-07 | 2019-12-17 | 北京怡合春天科技有限公司 | 一种自动化服务监控与报警管理系统 |
| CN110941531A (zh) * | 2019-11-15 | 2020-03-31 | 北京浪潮数据技术有限公司 | 一种监控告警管理平台的监控告警方法、装置及设备 |
-
2020
- 2020-06-04 CN CN202010497851.7A patent/CN111639009A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130238795A1 (en) * | 2010-10-04 | 2013-09-12 | Avocent Huntsville Corp. | System and method for monitoring and managing data center resources in real time incorporating manageability subsystem |
| CN104486445A (zh) * | 2014-12-30 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控系统及方法 |
| CN106383764A (zh) * | 2016-08-31 | 2017-02-08 | 北京百分点信息科技有限公司 | 一种数据采集方法和设备 |
| CN107483622A (zh) * | 2017-09-06 | 2017-12-15 | 广州供电局有限公司 | 基于组件的浏览器操作行为数据采集方法 |
| CN108512719A (zh) * | 2018-03-02 | 2018-09-07 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| CN110581773A (zh) * | 2018-06-07 | 2019-12-17 | 北京怡合春天科技有限公司 | 一种自动化服务监控与报警管理系统 |
| CN109327335A (zh) * | 2018-10-07 | 2019-02-12 | 杭州安恒信息技术股份有限公司 | 一种云监控解决系统及方法 |
| CN110941531A (zh) * | 2019-11-15 | 2020-03-31 | 北京浪潮数据技术有限公司 | 一种监控告警管理平台的监控告警方法、装置及设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112291112A (zh) * | 2020-10-27 | 2021-01-29 | 中国光大银行股份有限公司 | 一种云计算服务监控系统和方法 |
| CN114640607A (zh) * | 2022-05-12 | 2022-06-17 | 武汉四通信息服务有限公司 | 监控服务注册方法、装置、计算机设备和存储介质 |
| CN117376534A (zh) * | 2023-12-07 | 2024-01-09 | 江西云眼视界科技股份有限公司 | 一种智能设备数据采集系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639009A (zh) | 一种服务监控数据采集系统及方法 | |
| CN109408337B (zh) | 一种接口运维的方法及装置 | |
| CN109660397B (zh) | 用于采集日志的系统、方法和装置 | |
| CN102917069B (zh) | 与设备无关性的医疗信息采集中间件装置及其设计方法 | |
| CN101707632A (zh) | 一种动态监控服务器集群性能并实时报警的方法 | |
| US10289522B2 (en) | Autonomous information technology diagnostic checks | |
| CN111352800A (zh) | 大数据集群监控方法及相关设备 | |
| CN112965874A (zh) | 一种可配置的监控告警方法及系统 | |
| CN111400189A (zh) | 代码覆盖率监测方法、装置、电子设备及存储介质 | |
| CN114095522A (zh) | 车辆监控方法、服务系统、管理终端、车辆及存储介质 | |
| CN104036622A (zh) | 一种基于互联网的报警服务信息发布系统 | |
| CN110351131B (zh) | 一种用于分布式链路的监控方法、装置和电子设备 | |
| CN106843965A (zh) | 一种自动安装系统测试工具的系统及安装方法 | |
| CN113743547B (zh) | 基于rfid标签的资产监管方法和平台、存储介质 | |
| CN106534162A (zh) | 一种基于远程管理通讯协议的服务器温度监控系统及方法 | |
| CN114221997A (zh) | 基于微服务业务网关的接口监控系统 | |
| CN116737498A (zh) | 遥测数据采集方法、系统、装置、设备及介质 | |
| CN111343047A (zh) | 一种监控ib网络流量的方法及系统 | |
| CN106301903A (zh) | 一种Linux实时告警的装置、方法、系统及服务器 | |
| CN116192607A (zh) | 故障告警方法及装置 | |
| CN114896096A (zh) | 基于图像识别算法的数据中心设备故障预测系统及方法 | |
| CN110906968B (zh) | 一种数据采集系统的采集方法 | |
| CN113590492A (zh) | 信息处理方法、系统、电子设备及计算机可读存储介质 | |
| CN207039656U (zh) | 一种新型物联网智能激光器系统 | |
| CN108829563B (zh) | 一种告警方法和告警装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |