CN111831362A - 一种K8s环境监控自动发现分类部署管理的方法 - Google Patents
一种K8s环境监控自动发现分类部署管理的方法 Download PDFInfo
- Publication number
- CN111831362A CN111831362A CN202010737437.9A CN202010737437A CN111831362A CN 111831362 A CN111831362 A CN 111831362A CN 202010737437 A CN202010737437 A CN 202010737437A CN 111831362 A CN111831362 A CN 111831362A
- Authority
- CN
- China
- Prior art keywords
- collector
- monitoring
- classification
- service
- deployment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013499 data model Methods 0.000 claims abstract description 30
- 230000006378 damage Effects 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 claims description 15
- 238000013515 script Methods 0.000 claims description 10
- 230000001052 transient effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45591—Monitoring or debugging support
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Stored Programmes (AREA)
Abstract
本发明特别涉及一种K8s环境监控自动发现分类部署管理的方法。该K8s环境监控自动发现分类部署管理的方法，首先建立数据模型维护资源与采集器之间的关联关系；系统自动发现部署服务，并根据服务特征自动调度监控采集器，完成自动采集；注册器完成资源的注册及销毁；调度器根据注册器的变化来完成采集器的启动/销毁，采集配置的调度分发及热加载流程，最终完成服务监控的自动分类部署。该K8s环境监控自动发现分类部署管理的方法，解决了复杂环境及短暂环境下部署并管理监控采集器的问题，支持自动发现资源并部署监控，大大降低了人工操作带来的问题及风险，提高了易用性，同时通过调度优化资源配置，减少了因监控而带来的性能消耗影响。
Description
技术领域
本发明涉及云计算技术领域，特别涉及一种K8s环境监控自动发现分类部署管理的方法。
背景技术
Kubernetes，简称K8s，是用8代替8个字符"ubernete"而成的缩写。作为一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful)。Kubernetes提供了资源应用部署、规划、更新及维护的一种机制。
随着Kubernetes越来越活跃，加入Kubernetes的云原生应用越来越多，越来越多的组织开始使用prometheus监视器容器和微服务领域，但在使用过程中逐渐发现了很多问题。
传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作。当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。
过去，监控整体环境比较直接，有限的静态物理服务器和虚拟机，以及有限数量的监控指标。现在随着容器技术，及微服务架构的广泛应用，要监控的资源实体数量激增，且不确定性越来越强。尤其伴随Kubernetes这样的协调器一起使用时，资源的寿命可能非常短，跟踪起来越发困难，环境的复杂性和分布的增加，也使得部署监控更加困难，在短暂环境下该问题尤其突出。
为了解决复杂环境及短暂环境下部署并管理监控采集器的问题，本发明提出了一种K8s环境监控自动发现分类部署管理的方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的K8s环境监控自动发现分类部署管理的方法。
本发明是通过如下技术方案实现的：
一种K8s环境监控自动发现分类部署管理的方法，其特征在于：包括以下步骤：
第一步，建立分类配置数据模型与采集器数据模型，维护资源与采集器之间的关联关系；
第二步，用户在Kubernetes上部署服务时，系统自动发现该服务，并根据服务特征自动调度监控采集器，完成自动采集；
第三步，注册器完成资源的注册及销毁；
第四步，调度器根据注册器的变化来完成采集器的启动/销毁，采集配置的调度分发及热加载流程，最终完成服务监控的自动分类部署。
所述第一步中，将分类配置数据模型与采集器数据模型初始化到数据库中，在资源部署的脚本中通过添加标签的方式建立起资源与采集器之间的关系；其中资源的部署脚本只需要带上资源分类标签即可，采集器的部署脚本统一维护。
所述分类配置数据模型用于对资源分类进行维护，所述资源分类根据监控方式分为提供监控接口的资源和需要额外关联采集器提供监控数据的资源。
所述分类配置数据模型中监控模板monTemplate可以指定该资源具体提供监控的方式及参数，采集器分类标签exporterTag用于关联采集器分类。
所述采集器数据模型用于对采集器分类进行维护，所述采集器分类根据采集方式分为三类，分别为服务本身即是采集器service as exporter，通用采集器generalexporter和sidecar模式运行的采集器sidecar exporter；
其中，服务本身即是采集器service as exporter用于提供资源本身的监控数据；
所述通用采集器general exporter用于提供通用的配置，采集一个或多个资源的监控数据；
所述sidecar模式运行的采集器sidecar exporter用于针对特定的服务提供监控数据。
所述采集器数据模型中模板template用于维护该采集器的运行方式及参数信息。
所述第二步中，用户在Kubernetes上部署服务时，基于Kubernetes pod创建/销毁事件监听新增/销毁的服务，通过扫描器来发现部署的服务提供的接口。
所述第二步中，调度监控采集器时，根据服务特征来判断是启用新的采集器，还是调度到已有的采集器配置中，通过热加载的方式启动。
所述第三步中，通过监听器发现新创建/销毁的服务容器，通过扫描器发现Kubernetes中已经部署的服务容器，并更新注册器信息。
本发明的有益效果是：该K8s环境监控自动发现分类部署管理的方法，解决了复杂环境及短暂环境下部署并管理监控采集器的问题，支持自动发现资源并部署监控，大大降低了人工操作带来的问题及风险，提高了易用性，同时通过调度优化资源配置，减少了因监控而带来的性能消耗影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明分类配置数据模型与采集器数据模型示意图。
附图2为本发明K8s环境监控自动发现分类部署管理的方法示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
该K8s环境监控自动发现分类部署管理的方法，包括以下步骤：
第一步，建立分类配置数据模型与采集器数据模型，维护资源与采集器之间的关联关系；
第二步，用户在Kubernetes上部署服务时，系统自动发现该服务，并根据服务特征自动调度监控采集器，完成自动采集；
第三步，注册器完成资源的注册及销毁；
第四步，调度器根据注册器的变化来完成采集器的启动/销毁，采集配置的调度分发及热加载流程，最终完成服务监控的自动分类部署。
所述第一步中，将分类配置数据模型与采集器数据模型初始化到数据库中，在资源部署的脚本中通过添加标签的方式建立起资源与采集器之间的关系；其中资源的部署脚本只需要带上资源分类标签即可，采集器的部署脚本统一维护。
所述分类配置数据模型用于对资源分类进行维护，所述资源分类根据监控方式分为提供监控接口的资源和需要额外关联采集器提供监控数据的资源。
所述分类配置数据模型中监控模板monTemplate可以指定该资源具体提供监控的方式及参数，采集器分类标签exporterTag用于关联采集器分类。
所述采集器数据模型用于对采集器分类进行维护，所述采集器分类根据采集方式分为三类，分别为服务本身即是采集器service as exporter，通用采集器generalexporter和sidecar模式运行的采集器sidecar exporter；
其中，服务本身即是采集器service as exporter用于提供资源本身的监控数据；
所述通用采集器general exporter用于提供通用的配置，采集一个或多个资源的监控数据；
所述sidecar模式运行的采集器sidecar exporter用于针对特定的服务提供监控数据。
所述采集器数据模型中模板template用于维护该采集器的运行方式及参数信息。
所述第二步中，用户在Kubernetes上部署服务时，基于Kubernetes pod创建/销毁事件监听新增/销毁的服务，通过扫描器来发现部署的服务提供的接口。
所述第二步中，调度监控采集器时，根据服务特征来判断是启用新的采集器，还是调度到已有的采集器配置中，通过热加载的方式启动。
所述第三步中，通过监听器发现新创建/销毁的服务容器，通过扫描器发现Kubernetes中已经部署的服务容器，并更新注册器信息。
与目前的现有技术相比，该K8s环境监控自动发现分类部署管理的方法，具有以下特点：
第一、解决了复杂环境及短暂环境下部署并管理监控采集器的问题，通过分类配置数据模型与采集器数据模型两个数据模型来维护要监控的资源及所采用的采集器，维护方便，便于扩展；
第二、能够自动发现服务并自动配置服务监控采集，无需人工操作，大大降低了人工操作带来的问题及风险，提高了易用性；
第三、支持热加载，能够减少新资源创建/旧资源销毁的影响；
第四、通过调度优化资源配置，将相同特征的任务调度到统一的采集器上采集，减少了多个采集器带来的Kubernetes资源损耗。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种K8s环境监控自动发现分类部署管理的方法，其特征在于：包括以下步骤：
第一步，建立分类配置数据模型与采集器数据模型，维护资源与采集器之间的关联关系；
第二步，用户在Kubernetes上部署服务时，系统自动发现该服务，并根据服务特征自动调度监控采集器，完成自动采集；
第三步，注册器完成资源的注册及销毁；
第四步，调度器根据注册器的变化来完成采集器的启动/销毁，采集配置的调度分发及热加载流程，最终完成服务监控的自动分类部署。
2.根据权利要求1所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述第一步中，将分类配置数据模型与采集器数据模型初始化到数据库中，在资源部署的脚本中通过添加标签的方式建立起资源与采集器之间的关系；其中资源的部署脚本只需要带上资源分类标签即可，采集器的部署脚本统一维护。
3.根据权利要求1或2所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述分类配置数据模型用于对资源分类进行维护，所述资源分类根据监控方式分为提供监控接口的资源和需要额外关联采集器提供监控数据的资源。
4.根据权利要求3所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述分类配置数据模型中监控模板monTemplate可以指定该资源具体提供监控的方式及参数，采集器分类标签exporterTag用于关联采集器分类。
5.根据权利要求1或2所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述采集器数据模型用于对采集器分类进行维护，所述采集器分类根据采集方式分为三类，分别为服务本身即是采集器service as exporter，通用采集器general exporter和sidecar模式运行的采集器sidecar exporter；
其中，服务本身即是采集器service as exporter用于提供资源本身的监控数据；
所述通用采集器general exporter用于提供通用的配置，采集一个或多个资源的监控数据；
所述sidecar模式运行的采集器sidecar exporter用于针对特定的服务提供监控数据。
6.根据权利要求5所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述采集器数据模型中模板template用于维护该采集器的运行方式及参数信息。
7.根据权利要求1所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述第二步中，用户在Kubernetes上部署服务时，基于Kubernetes pod创建/销毁事件监听新增/销毁的服务，通过扫描器来发现部署的服务提供的接口。
8.根据权利要求1或7所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述第二步中，调度监控采集器时，根据服务特征来判断是启用新的采集器，还是调度到已有的采集器配置中，通过热加载的方式启动。
9.根据权利要求1或7所述的K8s环境监控自动发现分类部署管理的方法，其特征在于：所述第三步中，通过监听器发现新创建/销毁的服务容器，通过扫描器发现Kubernetes中已经部署的服务容器，并更新注册器信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010737437.9A CN111831362A (zh) | 2020-07-28 | 2020-07-28 | 一种K8s环境监控自动发现分类部署管理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010737437.9A CN111831362A (zh) | 2020-07-28 | 2020-07-28 | 一种K8s环境监控自动发现分类部署管理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111831362A true CN111831362A (zh) | 2020-10-27 |
Family
ID=72925686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010737437.9A Pending CN111831362A (zh) | 2020-07-28 | 2020-07-28 | 一种K8s环境监控自动发现分类部署管理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111831362A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312063A (zh) * | 2021-05-31 | 2021-08-27 | 中电福富信息科技有限公司 | 基于Kubernetes的软件系统快速部署升级方法 |
| CN115390912A (zh) * | 2022-10-26 | 2022-11-25 | 深圳高灯计算机科技有限公司 | 资源发现方法、装置、计算机设备和存储介质 |
| CN116541250A (zh) * | 2023-06-19 | 2023-08-04 | 深圳富联富桂精密工业有限公司 | 监控方法及电子设备 |
-
2020
- 2020-07-28 CN CN202010737437.9A patent/CN111831362A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312063A (zh) * | 2021-05-31 | 2021-08-27 | 中电福富信息科技有限公司 | 基于Kubernetes的软件系统快速部署升级方法 |
| CN115390912A (zh) * | 2022-10-26 | 2022-11-25 | 深圳高灯计算机科技有限公司 | 资源发现方法、装置、计算机设备和存储介质 |
| CN116541250A (zh) * | 2023-06-19 | 2023-08-04 | 深圳富联富桂精密工业有限公司 | 监控方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11588675B2 (en) | Systems and methods for selectively implementing services on virtual machines and containers | |
| CN111831362A (zh) | 一种K8s环境监控自动发现分类部署管理的方法 | |
| US9923952B2 (en) | Cloud application deployment | |
| CN112269640B (zh) | 一种实现容器云组件的生命周期管理的方法 | |
| CN112667362B (zh) | Kubernetes上部署Kubernetes虚拟机集群的方法与系统 | |
| CN104246740A (zh) | 针对云应用的测试和管理 | |
| CN107491371B (zh) | 一种监控部署的方法以及装置 | |
| CN110837418A (zh) | 一种基于容器的高并发web系统及实现方法 | |
| CN114416200A (zh) | 声明式云平台监控采集配置动态管理和加载的系统及方法 | |
| CN109219090B (zh) | 商务特性数据上报方法及装置、网络切片编排方法及装置 | |
| CN110740047B (zh) | 一种网络切片管理编排系统 | |
| CN115145695B (zh) | 资源调度方法、装置、计算机设备和存储介质 | |
| EP4024761A1 (en) | Communication method and apparatus for multiple management domains | |
| CN113835834A (zh) | 一种基于k8s容器集群计算节点的扩容方法及系统 | |
| CN113849399A (zh) | 多国产化平台下的多机协同软件的自动化测试系统和方法 | |
| CN109343947A (zh) | 一种资源调度方法及装置 | |
| CN108810107B (zh) | 一种双态it业务的云管平台以及服务方法 | |
| US11507437B2 (en) | Deploying multiple different applications into a single short-lived container along with a master runtime | |
| CN108228192A (zh) | 一种面向服务的机载软件的动态管理的实现方法 | |
| CN114500530A (zh) | 一种民用边缘信息系统自动调整方法 | |
| EP4172768A1 (en) | Rightsizing virtual machine deployments in a cloud computing environment | |
| CN112422349A (zh) | 面向nfv的网管系统、方法、设备及介质 | |
| CN110891239B (zh) | Pnf配置及pnfd tosca实现方法和装置 | |
| CN111600753A (zh) | 一种云计算环境下智能agent管理系统 | |
| CN116996513B (zh) | 一种设备资产管理系统的资源调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |