CN112612577B - 一种大规模K8s集群监控的方法、装置、设备及可读介质 - Google Patents

一种大规模K8s集群监控的方法、装置、设备及可读介质 Download PDF

Info

Publication number
CN112612577B
CN112612577B CN202011567627.7A CN202011567627A CN112612577B CN 112612577 B CN112612577 B CN 112612577B CN 202011567627 A CN202011567627 A CN 202011567627A CN 112612577 B CN112612577 B CN 112612577B
Authority
CN
China
Prior art keywords
monitoring
monitoring index
data source
cluster
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011567627.7A
Other languages
English (en)
Other versions
CN112612577A (zh
Inventor
孔祥生
王会
李宪状
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011567627.7A priority Critical patent/CN112612577B/zh
Publication of CN112612577A publication Critical patent/CN112612577A/zh
Priority to US18/265,959 priority patent/US20240037001A1/en
Priority to PCT/CN2021/121886 priority patent/WO2022134725A1/zh
Application granted granted Critical
Publication of CN112612577B publication Critical patent/CN112612577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Abstract

本发明公开了一种大规模K8S集群监控的方法，包括以下步骤：基于监控指标设置方式对集群中数据来源进行分类，并基于数据来源及其对应的监控指标设置方式创建数据列表；响应于接收到监控第一数据来源的第一监控指标集合的命令，基于数据列表获取第一数据来源对应的监控指标设置方式；通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置；以及每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控。本发明还公开了一种大规模K8S集群监控的装置、计算机设备和可读存储介质。本发明通过对不同数据来源进行不同设置，降低资源的占用压力，同时降低K8s集群内部的网络带宽消耗，减少了运维成本和硬件成本。

Description

一种大规模K8s集群监控的方法、装置、设备及可读介质
技术领域
本发明涉及通信技术领域，尤其涉及一种大规模K8S集群监控的方法、装置、设备及可读介质。
背景技术
随着云原生应用架构的不断升级和完善，越来越多的项目开始基于K8s集群来部署搭建。K8s全称Kubernetes，是为容器服务而生的一个可移植容器的编排管理工具，越来越多的公司正在拥抱k8s，并且当前k8s已经主导了云业务流程，推动了微服务架构等热门技术的普及和落地。为了对k8s集群进行更好的监控，prometheus应运而生。Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包，自2012年成立以来许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。现在，它是一个独立的开源项目，并且独立于任何公司进行维护。其优点是可以与k8s无缝集成，能够实现对k8s集群的全方位监控，其架构图如图2所示。
由于k8s集群会产生大量的监控指标数据供prometheus采集，当k8s集群达到一定规模后，将产生海量的监控指标数据，此时prometheus在处理监控数据时就需要占用大量的CPU资源和内存资源。此时现有的解决方法有两个：一是通过配置prometheus的采集信息，将不关心的监控指标数据drop掉；二是通过prometheus的联邦机制搭建prometheus集群，来分散单prometheus节点的压力。
然而以上两种方法只是从表面上降低了资源消耗，且降低能力有限。首先，通过配置prometheus的采集信息来drop掉不关心的监控指标时，由于需要收件将所有的监控指标都拉取到内存中，由于这个操作本身就是很大的内存消耗，进行识别后再drop，其效果一般。其次，通过联邦机制分散单prometheus节点的压力，其只是减轻了单节点的压力，然而实际上所有prometheus节点的总资源占用量却成倍增加，不仅仅增加了运维难度，也带了更多硬件成本。
发明内容
有鉴于此，本发明实施例的目的在于提出一种大规模K8S集群监控的方法、装置、设备及可读介质，通过从源头对不同数据来源进行不同处理，不仅有效降低CPU和内存资源的占用压力，也极大降低K8s集群内部的网络带宽消耗，同时也减少了运维成本和硬件成本。
基于上述目的，本发明实施例的一方面提供了一种大规模K8S集群监控的方法，包括以下步骤：基于监控指标设置方式对集群中的数据来源进行分类，并基于数据来源及其对应的监控指标设置方式创建数据列表；响应于接收到监控第一数据来源的第一监控指标集合的命令，基于数据列表获取第一数据来源对应的监控指标设置方式；通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置；以及每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控。
在一些实施方式中，基于监控指标设置方式对集群中的数据来源进行分类包括：将集群中的数据来源分成第一类数据来源和第二类数据来源，第一类数据来源通过修改启动参数对监控指标进行禁止，第二类数据来源通过修改配置文件对监控指标进行禁止。
在一些实施方式中，通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置包括：通过监控指标设置方式，将不在第一监控指标集合中的监控指标进行禁止。
在一些实施方式中，第一监控指标集合包括以下至少之一：CPU使用率、内存使用率、磁盘使用率、磁盘读写速率、网络丢包率。
在一些实施方式中，每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控包括：每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并将监控指标发送至系统监视和报警系统进行监控；若是监控指标出现异常，由系统监视和报警系统进行报警。
在一些实施方式中，系统监视和报警系统包括prometheus。
本发明实施例的另一方面，还提供了一种大规模K8S集群监控的装置，包括：初始模块，配置用于基于监控指标设置方式对集群中的数据来源进行分类，并基于数据来源及其对应的监控指标设置方式创建数据列表；接收模块，配置用于响应于接收到监控第一数据来源的第一监控指标集合的命令，基于数据列表获取第一数据来源对应的监控指标设置方式；执行模块，配置用于通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置；以及监控模块，配置用于每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控。
在一些实施方式中，初始模块进一步配置用于：将集群中的数据来源分成第一类数据来源和第二类数据来源，第一类数据来源通过修改启动参数对监控指标进行禁止，第二类数据来源通过修改配置文件对监控指标进行禁止。
在一些实施方式中，执行模块进一步配置用于：通过监控指标设置方式，将不在第一监控指标集合中的监控指标进行禁止。
在一些实施方式中，监控模块进一步配置用于：每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控包括：每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并将监控指标发送至系统监视和报警系统进行监控；若是监控指标出现异常，由系统监视和报警系统进行报警。
本发明实施例的再一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：通过从源头对不同数据来源进行不同处理，不仅有效降低CPU和内存资源的占用压力，也极大降低K8s集群内部的网络带宽消耗，同时也减少了运维成本和硬件成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的大规模K8S集群监控的方法的实施例的示意图；
图2为现有技术K8s的全方位监控架构图；
图3为本发明提供的大规模K8S集群监控的装置的实施例的示意图；
图4为本发明提供的计算机设备的实施例的示意图；
图5为本发明提供的计算机可读存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了大规模K8S集群监控的方法的实施例。图1示出的是本发明提供的大规模K8S集群监控的方法的实施例的示意图。如图1所示，本发明实施例包括在维护设备端执行如下步骤：
S01、基于监控指标设置方式对集群中的数据来源进行分类，并基于数据来源及其对应的监控指标设置方式创建数据列表；
S02、响应于接收到监控第一数据来源的第一监控指标集合的命令，基于数据列表获取第一数据来源对应的监控指标设置方式；
S03、通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置；以及
S04、每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控。
在本实施例中，对kubelet(用于提供Pod的监控数据)、node-exporter(提供节点信息数据)、kube-metric(提供资源数据)等各种数据来源进行分类，并进行有针对性的减少指标的处理措施。在数据来源上减少指标数据量，极大降低了K8s内部网络带宽的消耗，降低了k8s集群本身的性能损耗。
在本发明的一些实施例中，基于监控指标设置方式对集群中的数据来源进行分类包括：将集群中的数据来源分成第一类数据来源和第二类数据来源，第一类数据来源通过修改启动参数对监控指标进行禁止，第二类数据来源通过修改配置文件对监控指标进行禁止。
在本实施例中，第一类数据来源以node-exporter为例，对于node-exporter可以直接通过修改启动参数来禁止某些监控指标的产生。例如：--no-collector.wifi表示不收集wifi相关的监控数据；--no-collector.meminfo表示不收集内存相关的监控数据；--no-collector.cpu表示不收集CPU相关的监控数据。
在本实施例中，第二类数据来源以kubelet为例，对于kubelet可以直接通过修改配置文件来禁止某些监控指标的产生。例如：cpu.disabled＝true表示禁用cpu信息收集；mem.disabled＝true表示禁用内存信息收集；net.disabled＝true表示禁用网络信息收集。
在本发明的一些实施例中，通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置包括：通过监控指标设置方式，将不在第一监控指标集合中的监控指标进行禁止。
在本发明的一些实施例中，第一监控指标集合包括以下至少之一：CPU使用率、内存使用率、磁盘使用率、磁盘读写速率、网络丢包率。
在本发明的一些实施例中，每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控包括：每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并将监控指标发送至系统监视和报警系统进行监控；若是监控指标出现异常，由系统监视和报警系统进行报警。
在本发明的一些实施例中，系统监视和报警系统包括prometheus。
在本实施例中，Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包，自2012年成立以来许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。现在，它是一个独立的开源项目，并且独立于任何公司进行维护。其优点是可以与k8s无缝集成，能够实现对k8s集群的全方位监控。通过上述对数据来源的压缩方法，可以真正有效的降低prometheus的资源消耗。
需要特别指出的是，上述大规模K8S集群监控的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于大规模K8S集群监控的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种大规模K8S集群监控的装置。图3示出的是本发明提供的大规模K8S集群监控的装置的实施例的示意图。如图3所示，本发明实施例包括如下模块：初始模块S11，配置用于基于监控指标设置方式对集群中的数据来源进行分类，并基于数据来源及其对应的监控指标设置方式创建数据列表；接收模块S12，配置用于响应于接收到监控第一数据来源的第一监控指标集合的命令，基于数据列表获取第一数据来源对应的监控指标设置方式；执行模块S13，配置用于通过获取的监控指标设置方式，基于第一监控指标集合对监控指标进行设置；以及监控模块S14，配置用于每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控。
在本发明的一些实施例中，初始模块S11进一步配置用于：将集群中的数据来源分成第一类数据来源和第二类数据来源，第一类数据来源通过修改启动参数对监控指标进行禁止，第二类数据来源通过修改配置文件对监控指标进行禁止。
在本发明的一些实施例中，执行模块S13进一步配置用于：通过监控指标设置方式，将不在第一监控指标集合中的监控指标进行禁止。
在本发明的一些实施例中，监控模块S14进一步配置用于：每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并对监控指标进行监控包括：每隔预设时间从第一数据来源获取第一监控指标集合中的监控指标，并将监控指标发送至系统监视和报警系统进行监控；若是监控指标出现异常，由系统监视和报警系统进行报警。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图4示出的是本发明提供的计算机设备的实施例的示意图。如图4所示，本发明实施例包括如下装置：至少一个处理器S21；以及存储器S22，存储器S22存储有可在处理器上运行的计算机指令S23，指令由处理器执行时实现以上方法的步骤。
本发明还提供了一种计算机可读存储介质。图5示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图5所示，计算机可读存储介质存储S31有被处理器执行时执行如上方法的计算机程序S32。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，大规模K8S集群监控的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (8)

1.一种大规模K8S集群监控的方法，其特征在于，包括以下步骤：
基于监控指标设置方式对集群中的数据来源进行分类，并基于所述数据来源及其对应的监控指标设置方式创建数据列表；
响应于接收到监控第一数据来源的第一监控指标集合的命令，基于所述数据列表获取所述第一数据来源对应的所述监控指标设置方式；
通过获取的所述监控指标设置方式，基于所述第一监控指标集合对监控指标进行设置；以及
每隔预设时间从所述第一数据来源获取所述第一监控指标集合中的监控指标，并对所述监控指标进行监控；
其中，基于监控指标设置方式对集群中的数据来源进行分类包括：将集群中的数据来源分成第一类数据来源和第二类数据来源，所述第一类数据来源通过修改启动参数对监控指标进行禁止，所述第二类数据来源通过修改配置文件对监控指标进行禁止。
2.根据权利要求1所述的大规模K8S集群监控的方法，其特征在于，通过获取的所述监控指标设置方式，基于所述第一监控指标集合对监控指标进行设置包括：
通过所述监控指标设置方式，将不在所述第一监控指标集合中的监控指标进行禁止。
3.根据权利要求1所述的大规模K8S集群监控的方法，其特征在于，所述第一监控指标集合包括以下至少之一：CPU使用率、内存使用率、磁盘使用率、磁盘读写速率、网络丢包率。
4.根据权利要求1所述的大规模K8S集群监控的方法，其特征在于，每隔预设时间从所述第一数据来源获取所述第一监控指标集合中的监控指标，并对所述监控指标进行监控包括：
每隔预设时间从所述第一数据来源获取所述第一监控指标集合中的监控
指标，并将所述监控指标发送至系统监视和报警系统进行监控；
若是所述监控指标出现异常，由所述系统监视和报警系统进行报警。
5.根据权利要求4所述的大规模K8S集群监控的方法，其特征在于，所述系统监视和报警系统包括prometheus。
6.一种大规模K8S集群监控的装置，其特征在于，包括：
初始模块，配置用于基于监控指标设置方式对集群中的数据来源进行分类，并基于所述数据来源及其对应的监控指标设置方式创建数据列表；
接收模块，配置用于响应于接收到监控第一数据来源的第一监控指标集合的命令，基于所述数据列表获取所述第一数据来源对应的所述监控指标设置方式；
执行模块，配置用于通过获取的所述监控指标设置方式，基于所述第一监控指标集合对监控指标进行设置；以及
监控模块，配置用于每隔预设时间从所述第一数据来源获取所述第一监控指标集合中的监控指标，并对所述监控指标进行监控；
其中，所述初始模块进一步配置用于：将集群中的数据来源分成第一类数据来源和第二类数据来源，所述第一类数据来源通过修改启动参数对监控指标进行禁止，所述第二类数据来源通过修改配置文件对监控指标进行禁止。
7.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现1-5任意一项所述的方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任意一项所述的方法的步骤。
CN202011567627.7A 2020-12-25 2020-12-25 一种大规模K8s集群监控的方法、装置、设备及可读介质 Active CN112612577B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011567627.7A CN112612577B (zh) 2020-12-25 2020-12-25 一种大规模K8s集群监控的方法、装置、设备及可读介质
US18/265,959 US20240037001A1 (en) 2020-12-25 2021-09-29 Large-scale k8s cluster monitoring method, apparatus, device, and readable medium
PCT/CN2021/121886 WO2022134725A1 (zh) 2020-12-25 2021-09-29 一种大规模K8s集群监控的方法、装置、设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011567627.7A CN112612577B (zh) 2020-12-25 2020-12-25 一种大规模K8s集群监控的方法、装置、设备及可读介质

Publications (2)

Publication Number Publication Date
CN112612577A CN112612577A (zh) 2021-04-06
CN112612577B true CN112612577B (zh) 2022-07-12

Family

ID=75248601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011567627.7A Active CN112612577B (zh) 2020-12-25 2020-12-25 一种大规模K8s集群监控的方法、装置、设备及可读介质

Country Status (3)

Country Link
US (1) US20240037001A1 (zh)
CN (1) CN112612577B (zh)
WO (1) WO2022134725A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612577B (zh) * 2020-12-25 2022-07-12 苏州浪潮智能科技有限公司 一种大规模K8s集群监控的方法、装置、设备及可读介质
CN113791948A (zh) * 2021-09-10 2021-12-14 北京百度网讯科技有限公司 分布式计算系统的监控方法、装置、电子设备及存储介质
CN115150292A (zh) * 2022-05-17 2022-10-04 深圳萨摩耶数字科技有限公司 k8s集群的监控方法、装置、电子设备及存储介质
CN115150301B (zh) * 2022-07-31 2023-07-14 苏州浪潮智能科技有限公司 一种利用接口获取监控数据的方法、系统、设备以及介质
CN116737514B (zh) * 2023-08-15 2023-12-22 南京国睿信维软件有限公司 一种基于日志与探针解析自动化运维方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170222897A1 (en) * 2016-01-29 2017-08-03 AppDynamics, Inc. Application Aware Cluster Monitoring
CN108494622A (zh) * 2018-03-13 2018-09-04 新华三云计算技术有限公司 监控规则配置方法、装置及服务器
CN111597087A (zh) * 2020-05-15 2020-08-28 山东汇贸电子口岸有限公司 一种制作云监控指标的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11102281B2 (en) * 2019-02-15 2021-08-24 International Business Machines Corporation Tool for managing and allocating resources in a clustered computing environment
CN110262944A (zh) * 2019-06-21 2019-09-20 四川长虹电器股份有限公司 一种对K8s集群容器资源进行监控并进行告警的方法
CN111752807A (zh) * 2020-07-01 2020-10-09 浪潮云信息技术股份公司 一种基于Kubernetes的资源监控方法
CN112612577B (zh) * 2020-12-25 2022-07-12 苏州浪潮智能科技有限公司 一种大规模K8s集群监控的方法、装置、设备及可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170222897A1 (en) * 2016-01-29 2017-08-03 AppDynamics, Inc. Application Aware Cluster Monitoring
CN108494622A (zh) * 2018-03-13 2018-09-04 新华三云计算技术有限公司 监控规则配置方法、装置及服务器
CN111597087A (zh) * 2020-05-15 2020-08-28 山东汇贸电子口岸有限公司 一种制作云监控指标的方法

Also Published As

Publication number Publication date
US20240037001A1 (en) 2024-02-01
WO2022134725A1 (zh) 2022-06-30
CN112612577A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112612577B (zh) 一种大规模K8s集群监控的方法、装置、设备及可读介质
US9838483B2 (en) Methods, systems, and computer readable media for a network function virtualization information concentrator
KR101871383B1 (ko) 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템
CN112968789B (zh) 数据采集方法、装置、计算机设备及计算机可读介质
CN113742031B (zh) 节点状态信息获取方法、装置、电子设备及可读存储介质
US20100145950A1 (en) Realtime Unification Management Information Data Conversion and Monitoring Apparatus and Method for Thereof
CA3065729A1 (en) Business rules processing framework
CN111176904B (zh) 一种私有云架构下的数据备份的方法、系统、设备及介质
CN102769495B (zh) 一种光纤接入网设备通信方法、装置及系统
CN107547622B (zh) 一种资源调整方法及装置
CN108628864B (zh) 一种数据访问方法及数据管理装置
CN113055490B (zh) 数据的存储方法及装置
CN112468329B (zh) 一种服务器批量分组管理的方法、装置、设备及可读介质
CN112422349B (zh) 面向nfv的网管系统、方法、设备及介质
CN111240933B (zh) 多数据中心的性能数据监测的方法、系统、设备及介质
CN112488462A (zh) 一种工作流数据的统一推送方法、装置及介质
CN103516628A (zh) 一种实现网络策略更新的方法、装置及系统
CN113448512A (zh) 一种缓存分区恢复的接管方法、装置、设备及可读介质
WO2016086704A1 (zh) 实现光传送网业务的管理平台、系统、方法及存储介质
CN112468317A (zh) 一种集群拓扑更新方法、系统、设备及计算机存储介质
CN113886172B (zh) 一种管理集群中微服务的方法、装置、设备及可读介质
US11588694B1 (en) Low-overhead real-time configuration drift detection
EP4027607A1 (en) Single bi-directional point of policy control, administration, interactive queries, and security protections
CN117033130A (zh) 基于分布式架构的集群数据监控方法、装置及系统
CN117251478A (zh) 数据处理方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant