CN116170341B - 虚拟化平台监控方法、设备、系统及存储介质 - Google Patents

虚拟化平台监控方法、设备、系统及存储介质 Download PDF

Info

Publication number
CN116170341B
CN116170341B CN202211666176.1A CN202211666176A CN116170341B CN 116170341 B CN116170341 B CN 116170341B CN 202211666176 A CN202211666176 A CN 202211666176A CN 116170341 B CN116170341 B CN 116170341B
Authority
CN
China
Prior art keywords
platform
monitoring
module
monitoring data
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211666176.1A
Other languages
English (en)
Other versions
CN116170341A (zh
Inventor
孙涛
徐媛媛
张晓倩
牛军
张广旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202211666176.1A priority Critical patent/CN116170341B/zh
Publication of CN116170341A publication Critical patent/CN116170341A/zh
Application granted granted Critical
Publication of CN116170341B publication Critical patent/CN116170341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45587—Isolation or security of virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种虚拟化平台监控方法、设备、系统及存储介质。该方法包括：接收中心控制模块发送的全局采集目标信息的分配信息；根据全局目标信息的分配信息，向底座K8S平台内的采集器，和/或，与用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求；接收底座K8S平台采集器输出的第一监控数据，接收用户K8S平台或虚拟机内采集器通过网络监听器发送的第二监控数据；对第一监控数据及第二监控数据进行监控；若第一监控数据或第二监控数据异常，生成告警信息，将告警信息发送至警报管理模块。本方法实现对二层虚拟化平台的全面监控，提升了安全性。

Description

虚拟化平台监控方法、设备、系统及存储介质
技术领域
本申请涉及云计算技术领域，尤其涉及一种虚拟化平台监控方法、设备、系统及存储介质。
背景技术
kubernetes，简称K8S，是用8代替名字中间的8个字符“ubernete”而成的缩写。K8S集群是一个开源的、用于管理云平台中多个主机上的容器化的应用，其目标是让部署容器化的应用简单并且高效。
现有技术可将K8S集群作为底座K8S平台构建单层虚拟化平台。为保证K8S集群的正常运行，可利用开源的监控组件prometheus对K8S集群的核心组件进行监控。
为提高资源利用率，可在底座K8S平台的基础上建立用户K8S平台，以构建二层虚拟化平台，此时现有技术无法实现对底座K8S平台以及用户K8S平台的监控，导致二层虚拟化平台安全性较低。
发明内容
本申请提供一种虚拟化平台监控方法、设备、系统及存储介质，用以解决现有技术无法实现对底座K8S平台以及用户K8S平台的监控，导致二层虚拟化平台安全性较低问题。
第一方面，本申请提供一种虚拟化平台监控方法，虚拟化平台包括底座K8S平台、用户K8S平台及虚拟机，包括：
接收中心控制模块发送的全局采集目标信息的分配信息；
根据全局采集目标信息的分配信息，向底座K8S平台内的采集器，和/或，与用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求；
接收底座K8S平台内的采集器输出的第一监控数据，接收用户K8S平台或虚拟机内的采集器通过网络监听器发送的第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
根据预设的告警规则对第一监控数据及第二监控数据进行监控；
若第一监控数据或第二监控数据异常，生成告警信息，并将告警信息发送至警报管理模块，用于警报管理模块进行预警。
第二方面，本申请提供一种虚拟化平台监控方法，包括：
监听底座K8S平台的应用程序接口服务api-server，以获取底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号；
基于pod的网络模式，将内网IP地址和端口号作为后端地址以生成配置文件，将配置文件发送至采集目标模块，配置文件用于采集目标模块创建网络监听器；
接收采集目标模块发送的网络监听器的负载地址，并将网络监听器的负载地址与用户K8S平台或虚拟机内采集器的标识信息进行绑定；
将底座K8S平台内采集器的IP地址和端口号、网络监听器的负载地址作为全局采集目标信息，并将全局采集目标信息发送至中心控制模块进行存储。
第三方面，本申请提供一种虚拟化平台监控方法，包括：
采集虚拟化平台的第一监控数据和第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
基于底座K8S平台的应用程序接口服务api-server获取虚拟化平台的配置信息，配置信息包含用户信息；
将用户信息与底座容器监控数据进行绑定；
将底座组件数据及绑定后的底座容器监控数据、第二监控数据发送至监控模块。
第四方面，本申请提供一种虚拟化平台监控方法，包括：
获取监控模块包含的监控组件的运行状态信息，运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表，采集目标列表包含采集器的IP地址和端口号以及网络监听器的负载地址，指标序列数量用于表征监控组件当前内存中存储的监控数据的数据量；
从采集代理模块获取全局采集目标信息，全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址；
对监控模块进行全局采集目标信息的分配，生成分配信息，并将分配信息发送至监控模块。
第五方面，本申请提供一种虚拟化平台监控设备，虚拟化平台包括底座K8S平台、用户K8S平台及虚拟机，包括：
接收模块，用于接收中心控制模块发送的全局采集目标信息的分配信息；
发送模块，用于根据所述全局采集目标信息的分配信息，向所述底座K8S平台内的采集器，和/或，与所述用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求；
接收模块，还用于接收底座K8S平台内的采集器输出的第一监控数据，接收用户K8S平台或虚拟机内的采集器通过网络监听器发送的第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
处理模块，用于根据预设的告警规则对第一监控数据及第二监控数据进行监控；
处理模块，还用于若第一监控数据或第二监控数据异常，生成告警信息，并将告警信息发送至警报管理模块，用于警报管理模块进行预警。
第六方面，本申请提供一种虚拟化平台监控设备，包括：
处理模块，用于监听底座K8S平台的应用程序接口服务api-server，以获取底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号；
处理模块，还用于基于pod的网络模式，将内网IP地址和端口号作为后端地址以生成配置文件；
发送模块，用于将配置文件发送至采集目标模块，配置文件用于采集目标模块创建网络监听器；
接收模块，用于接收采集目标模块发送的网络监听器的负载地址；
处理模块，还用于将网络监听器的负载地址与用户K8S平台或虚拟机内采集器的标识信息进行绑定；
处理模块，还用于将底座K8S平台内采集器的IP地址和端口号、网络监听器的负载地址作为全局采集目标信息；
发送模块，还用于将全局采集目标信息发送至中心控制模块进行存储。
第七方面，本申请提供一种虚拟化平台监控设备，包括：
采集模块，用于采集虚拟化平台的第一监控数据和第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
处理模块，用于基于底座K8S平台的应用程序接口服务api-server获取虚拟化平台的配置信息，配置信息包含用户信息；
处理模块，还用于将用户信息与底座容器监控数据进行绑定；
发送模块，用于将底座组件数据及绑定后的底座容器监控数据、第二监控数据发送至监控模块。
第八方面，本申请提供一种虚拟化平台监控设备，包括：
获取模块，用于获取监控模块包含的监控组件的运行状态信息，运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表，采集目标列表包含采集器的IP地址和端口号以及网络监听器的负载地址，指标序列数量用于表征监控组件当前内存中存储的监控数据的数据量；
获取模块，还用于从采集代理模块获取全局采集目标信息，全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址；
分配模块，用于对监控模块进行全局采集目标信息的分配，生成分配信息；
发送模块，用于将分配信息发送至监控模块。
第九方面，本申请提供一种监控模块，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第一方面中任一项的虚拟化平台监控方法。
第十方面，本申请提供一种采集代理模块，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第二方面中任一项的虚拟化平台监控方法。
第十一方面，本申请提供一种采集目标模块，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第三方面中任一项的虚拟化平台监控方法。
第十二方面，本申请提供一种中心控制模块，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第四方面中任一项的虚拟化平台监控方法。
第十三方面，本申请提供一种虚拟化平台监控系统，包括：底座K8S平台、用户K8S平台及虚拟机；
底座K8S平台包含采集目标模块、中心控制模块、采集代理模块及监控模块；
监控模块用于执行第一方面任一项的方法。
采集代理模块用于执行第二方面任一项的方法；
采集目标模块用于执行第三方面任一项的方法；
中心控制模块包含注册中心及中心协调器，用于执行第四方面任一项的方法。
第十四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面、第二方面、第三方面和第四方面任一项的虚拟化平台监控方法。
本申请提供一种虚拟化平台监控方法、设备、系统及存储介质，接收中心控制模块发送的全局采集目标信息的分配信息。根据全局采集目标信息的分配信息，向底座K8S平台内的采集器，和/或，与用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求。接收底座K8S平台内的采集器输出的第一监控数据，接收用户K8S平台或虚拟机内的采集器通过网络监听器发送的第二监控数据，并对第一监控数据和第二监控数据进行监控。本申请的方法不仅能够对底座K8S平台进行监控，还可以通过网络监听器实现了对用户K8S平台以及虚拟机的监控，从而实现对二层虚拟化平台的全面监控，提升了二层虚拟化平台的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种二层虚拟化平台示意图；
图2为本申请实施例提供的一种虚拟化平台监控方法流程图一；
图3为本申请实施例提供的一种虚拟化平台监控方法流程图二；
图4为本申请实施例提供的一种虚拟化平台监控方法流程图三；
图5为本申请实施例提供的一种采集目标模块示意图；
图6为本申请实施例提供的一种虚拟化平台监控方法流程图四；
图7为本申请实施例提供的一种全局采集目标信息分配方法流程图；
图8为本申请实施例提供的一种虚拟化平台监控设备示意图一；
图9为本申请实施例提供的一种虚拟化平台监控设备示意图二；
图10为本申请实施例提供的一种虚拟化平台监控设备示意图三；
图11为本申请实施例提供的一种虚拟化平台监控设备示意图四；
图12为本申请实施例提供的一种监控模块示意图；
图13为本申请实施例提供的一种采集代理模块示意图；
图14为本申请实施例提供的一种采集目标模块示意图；
图15为本申请实施例提供的一种中心控制模块示意图；
图16为本申请实施例提供的一种虚拟化平台监控系统示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
首先对本申请所涉及的名词进行解释：
kubelet：是工作节点中包含的组件，主要负责工作节点上Pod的创建、修改、监控、删除等。
kube-apiserver：核心功能是提供对各类资源对象(Pod，RC，Service等)的增删改查及watch等HTTP Rest接口，成为集群中各个功能模块之间数据交互和通信的中心枢纽，是整个系统的数据总线和数据中心。kube-apiserver还具备以下功能：是集群管理的API(Application Programming Interface，应用程序接口)入口；是资源配额控制的入口；提供完备的集群安全机制。
master：是K8S集群中的控制节点，负责K8S集群的管理和控制。
pod：是K8S中最小的管理单位，一个pod可以封装一个容器或多个容器。
Grafana：是一种开源的监控数据分析和可视化套件。
现有技术可将K8S集群作为底座K8S平台构建单层虚拟化平台。为保证K8S集群的正常运行，可利用开源的监控组件prometheus对K8S集群的核心组件进行监控。
为提高资源利用率，可在底座K8S平台的基础上建立用户K8S平台，以构建二层虚拟化平台，此时现有技术无法实现对底座K8S平台以及用户K8S平台的监控，导致二层虚拟化平台安全性较低。同时由于开源的监控组件prometheus存在无集群模式，导致prometheus无法提供可靠的监控服务。
本申请实施例提供一种二层虚拟化平台监控方法，以prometheus集群作为采集和存储监控数据的工具，中心控制模块对prometheus集群进行采集目标的分配。由于通过构建网络监听器实现底座K8S平台以及用户K8S平台的通信，因此prometheus集群不仅可以对底座K8S平台采集监控数据，也可通过网络监听器对用户K8S平台以及虚拟机的监控数据进行采集，进而可实现对二层虚拟化平台的全面监控，提升二层虚拟化平台的安全性。
图1为本申请实施例提供的一种二层虚拟化平台示意图，如图1所示，底座K8S平台包含多个调度基本单元pod，将底座K8S平台的pod作为用户K8S平台的master节点以及多个node节点，也可以将底座K8S平台的pod作为多个虚拟机，以实现在底座K8S平台的基础上构建用户K8S平台及虚拟机，实现二层虚拟化平台。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的一种虚拟化平台监控方法流程图一，其中，虚拟化平台包括底座K8S平台、用户K8S平台及虚拟机。本实施例的方法可以由虚拟化平台监控设备执行，具体的，可以是监控模块执行，可以通过硬件、软件、或者硬件和软件相结合的方式实现。如图2所示，该方法可以包括：
S201：接收中心控制模块发送的全局采集目标信息的分配信息。
全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址，分配信息包含监控组件的序列号、底座K8S平台内的采集器的IP地址和端口号或网络监听器的负载地址。
在一种实施场景下，监控模块由多个监控组件组成，监控组件可以为prometheus，每一个prometheus可接收特定的采集器或网络监听器输出的数据，因此中心控制模块可对底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址进行分配，举例而言，网络监听器0分配至prometheus-0，采集器1分配至prometheus-1等。
S202：根据全局采集目标信息的分配信息，向底座K8S平台内的采集器，和/或，与用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求。
在一种实施场景下，可根据底座K8S平台内的采集器的IP地址和端口号，与序列号对应的监控组件向采集器发送数据获取请求；根据网络监听器的负载地址，与序列号对应的监控组件向网络监听器发送数据获取请求，用于向与网络监听器对应的用户K8S平台或虚拟机内的采集器获取数据。
根据采集器的IP地址和端口号即可确定对应的采集器，由于底座K8S平台内的采集器与监控组件prometheus均位于底座K8S平台，即处于同一张基础网络中，因此prometheus可直接向底座K8S平台内的采集器获取数据。
根据网络监听器的负载地址，也可确定对应的网络监听器。在一种实施场景下，网络监听器接收到prometheus发送的数据获取请求后，将该请求转发至对应的用户K8S平台的采集器或虚拟机内的采集器。由于底座K8S平台和用户K8S平台之间存在天然网络隔离，因此位于底座K8S平台的监控组件prometheus无法直接向用户K8S平台和虚拟机内的采集器获取数据，网络监听器可作为底座K8S平台和用户K8S平台实现通信的通道。
S203：接收底座K8S平台内的采集器输出的第一监控数据，接收用户K8S平台或虚拟机内的采集器通过网络监听器发送的第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据。
在一种实施场景下，底座K8S平台内可包含多个采集器，部分采集器用于输出底座K8S平台的底座组件数据，底座组件数据为底座K8S平台内多个组件性能的相关数据。组件是数据和方法的封装，可以实现某些特定的功能，比如采集器即为K8S平台的组件。部分采集器用于输出底座K8S平台的底座容器监控数据，底座容器监控数据为底座K8S平台内多个容器性能的相关数据。
在一种实施场景下，用户K8S平台内也包含多个采集器，部分采集器输出用户K8S平台的用户组件数据，用户组件数据为用户K8S平台内多个组件性能的相关数据。部分采集器输出用户容器监控数据，用户容器监控数据为用户K8S平台内多个容器性能的相关数据。虚拟机内的采集器输出的数据为虚拟机监控数据，虚拟机监控数据为描述虚拟机性能的相关数据。
在一种实施场景下，由于监控模块中的prometheus是分散的，其监控的数据也是分散存储的，监控数据无法汇总在一起进行展示，因此在接收第一监控数据和第二监控数据之后，还可以将第一监控数据及第二监控数据发送至全局查询模块，用于用户通过可视化工具grafana进行查询。grafana是一种开源的监控数据分析和可视化套件，利用grafana进行查询，使用户更加直观地了解监控数据的情况，提高了便捷性以及分析效率。
S204：根据预设的告警规则对第一监控数据及第二监控数据进行监控。
在一种实施场景下，由于不同的prometheus监控的数据不同，因此不同的prometheus内预设的告警规则也不同，告警规则可根据实际情况调整。
在一种实施场景下，prometheus对数据进行监控的同时，还可以对数据进行存储，用于用户查询。
S205：若第一监控数据或第二监控数据异常，生成告警信息，并将告警信息发送至警报管理模块，用于警报管理模块进行预警。
在一种实施场景下，警报管理模块也包含多个警报管理器，不同的prometheus存在与其对应的警报管理器。举例而言，若prometheus-1监控到其接收的第一监控数据发生异常，生成对应的告警信息，将告警信息发送至与prometheus-1对应的警报管理器1，警报管理器1及时发出警报，以通知外界的相关人员进行处理。
本申请实施例提供一种虚拟化平台监控方法，接收中心控制模块发送的全局采集目标信息的分配信息。根据全局采集目标信息的分配信息，向底座K8S平台内的采集器，和/或，与用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求。接收底座K8S平台内的采集器输出的第一监控数据，接收用户K8S平台或虚拟机内的采集器通过网络监听器发送的第二监控数据，并根据预设的告警规则对第一监控数据及第二监控数据进行监控。若第一监控数据或第二监控数据异常，则生成告警信息，并将该告警信息发送至警报管理模块，警报管理模块将该告警信息发送至相关用户。本申请实施例提供的方法不仅能够对底座K8S平台进行监控，还可以通过网络监听器实现了对用户K8S平台以及虚拟机的监控，从而实现对二层虚拟化平台的全面监控，提升了二层虚拟化平台的安全性。
在上述实施例的基础上，下面提供一个具体的实施例，对采集代理模块创建网络监听器的过程进行详细描述。
图3为本申请实施例提供的一种虚拟化平台监控方法流程图二，该方法可以由采集代理模块执行，如图3所示，该方法具体如下：
S301：监听底座K8S平台的应用程序接口服务api-server，以获取底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号。
应用程序接口服务api-server位于采集目标模块。在一种实施场景下，由于底座K8S平台上的pod作为用户K8S平台的node节点，因此用户K8S平台内部的监控数据需要通过内网IP地址和端口获取。但是由于底座K8S平台为物理网络，用户K8S平台及虚拟机为VPC(Virtual Private Cloud，虚拟私有云)，VPC与物理网络无法连通，因此底座K8S平台与用户K8S平台存在天然网络隔离。用户K8S平台或虚拟机所处网络的内网IP地址和端口号，则为VPC内部的IP地址和端口号。
通过调度基本单元pod的网络模式，可确定该pod位于底座K8S平台，还是位于用户K8S平台或虚拟机。
S302：基于pod的网络模式，将内网IP地址和端口号作为后端地址以生成配置文件，将配置文件发送至采集目标模块，配置文件用于采集目标模块创建网络监听器。
在一种实施场景下，生成配置文件后，可将配置文件发送至采集目标模块的api-server，api-server将创建网络监听器的任务分配给kubelet，kubelet创建网络监听器。
S303：接收采集目标模块发送的网络监听器的负载地址，并将网络监听器的负载地址与用户K8S平台或虚拟机内采集器的标识信息进行绑定。
由于底座K8S平台和用户K8S平台之间存在天然网络隔离，因此监控模块无法直接采集用户K8S平台内采集器的IP地址。网络监听器可作为底座K8S平台和用户K8S平台实现通信的通道，其负载地址是监控模块可以采集监控数据的地址。
当网络监听器的负载地址与用户K8S平台或虚拟机内的采集器的标识信息进行绑定后，监控模块通过网络监听器即可向与网络监听器对应的采集器获取数据。通常情况下，一个网络监听器可以与一个用户K8S平台或虚拟机内的一个采集器相对应，多个网络监听器可构成网络监听器组。
S304：将底座K8S平台内采集器的IP地址和端口号、网络监听器的负载地址作为全局采集目标信息，并将全局采集目标信息发送至中心控制模块进行存储。
在一种实施场景下，将全局采集目标信息发送至中心控制模块的注册中心进行存储。将全局采集目标信息发送至注册中心后，采集代理模块还可以监听pod是否发生变化，比如pod的IP地址或端口号发生变化。当pod发生变化时需要同步更新网络监听器配置文件中的后端地址，从而实现网络监听器不发生中断。
在一种实施场景下，将全局采集目标信息发送至中心控制模块进行存储之后，还可以获取底座K8S平台、用户K8S平台及虚拟机内采集器的指标序列数量，指标序列数量用于表征采集器采集的监控数据的数据量。
本申请实施例提供一种虚拟化平台监控方法，监听底座K8S平台的api-server，获取底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号。基于pod网络模式，将内网IP地址和端口号作为后端地址以生成配置文件，将配置文件发送至采集目标模块，采集目标模块根据配置文件创建网络监听器。接收采集目标模块发送的网络监听器的负载地址，并将网络监听器的负载地址与用户K8S平台或虚拟机内采集器的标识信息进行绑定。将底座K8S平台内采集器的IP地址和端口号、网络监听器的负载地址作为全局采集目标信息，将全局采集目标信息发送给中心控制模块进行存储。本申请实施例提供的方法通过创建网络监听器，从而实现底座K8S平台与用户K8S平台的通信，进而可对用户K8S平台和虚拟机进行监控，有利于提升二层虚拟化平台的安全性。
在上述实施例的基础上，下面提供一个具体的实施例，对采集目标模块采集监控数据的过程进行详细描述。
图4为本申请实施例提供的一种虚拟化平台监控方法流程图三，该方法可以由采集目标模块执行，如图4所示，该方法具体如下：
S401：采集虚拟化平台的第一监控数据和第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据。
在一种实施场景下，可参考图5所示，图5为本申请实施例提供的一种采集目标模块示意图，采集目标模块包含底座K8S平台、用户K8S平台以及虚拟机内的多个采集器，比如：底座K8S平台内包含的resource-scraper、labelset-exporter、kube-state-metrics、kube-apiserver、kubelet、metrics-server、cAdvisor等。其中，cAdvisor采集底座容器监控数据；resource-scraper用于获取虚拟化平台的配置信息；labelset-exporter用于对底座容器监控数据进行处理；kube-state-metrics、kube-apiserver、kubelet、metrics-server等采集器可采集不同组件的底座组件数据。
在一种实施场景下，cAdvisor采集底座容器监控数据，labelset-exporter调用cAdvisor获取底座容器监控数据，底座容器监控数据包含容器ID。
需要说明的是，在底座K8S平台的每个node节点均部署labelset-exporter。用户K8S平台也包含上述的多个采集器，用于采集用户组件数据和用户容器监控数据。虚拟机内的采集器用于采集与虚拟机相关的监控数据。
S402：基于底座K8S平台的应用程序接口服务api-server获取虚拟化平台的配置信息，配置信息包含用户信息。
在一种实施场景下，由于二层虚拟化平台是一个面向多用户的容器云平台，导致无法对第一监控数据中的底座容器监控数据按照用户归属进行区分，采集的底座容器监控数据会糅杂在一起，因此可利用labelset-exporter对采集的底座容器监控数据进行二次处理，将用户信息以键值对的形式添加到底座容器监控数据中，此时底座容器监控数据可以按照用户归属进行区分，使得数据更加清晰明了。举例而言，resource-scraper可通过list-watch机制订阅底座K8S平台的应用程序接口服务api-server，获取包含用户信息的配置信息，其中用户信息可包含用户名及其对应的任务ID。labelset-exporter轮训resource-scraper，提取用户名及其对应的任务ID。
S403：将用户信息与底座容器监控数据进行绑定。
在一种实施场景下，由于任务ID与容器ID存在一定的关联关系，因此可对任务ID及容器ID进行匹配；对底座容器监控数据添加用户名和任务ID的标签，以实现用户信息与底座容器监控数据的绑定。
S404：将底座组件数据及绑定后的底座容器监控数据、第二监控数据发送至监控模块。
在一种实施场景下，labelset-exporter通过web服务将绑定后的底座容器监控数据发送至对应的prometheus。kube-state-metrics、kube-apiserver等采集器则将采集的底座组件数据发送至对应的prometheus。
在另一种实施场景下，由于底座K8S平台和用户K8S平台之间存在天然网络隔离，网络监听器作为底座K8S平台和用户K8S平台实现通信的通道，因此第二监控数据需要通过网络监听器发送至监控模块。
本申请实施例提供一种虚拟化平台监控方法，采集虚拟化平台的第一监控数据和第二监控数据，其中，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据。基于底座K8S平台的api-server以获取虚拟化平台的配置信息，由于配置信息中包含用户信息，因此可将用户信息与底座容器监控数据进行绑定。将底座组件数据及绑定后的底座容器监控数据、第二监控数据发送至监控模块，使监控模块进行监控。本申请实施例提供的方法可以获取底座K8S平台的第一监控数据，还可以获取用户K8S平台和虚拟机的第二监控数据，从而实现对二层虚拟化平台的全量监控数据的采集。同时本申请实施例提供的方法还可以对底座容器监控数据与用户信息进行绑定，使得底座容器监控数据可以按照用户归属进行区分，数据更加清晰明了。
在上述实施例的基础上，下面提供一个具体的实施例，对中心控制模块进行采集目标动态分配的过程进行详细描述。
图6为本申请实施例提供的一种虚拟化平台监控方法流程图四，该方法可以由中心控制模块执行，中心控制模块可包含中心协调器及注册中心，其中，注册中心接收采集代理模块发送的全局采集目标信息并进行存储，中心协调器从注册中心中查询全局采集目标信息，并对全局采集目标信息进行分配。如图6所示，该方法可以包括：
S601：获取监控模块包含的监控组件的运行状态信息，运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表，采集目标列表包含采集器的IP地址和端口号以及网络监听器的负载地址，指标序列数量用于表征监控组件当前内存中存储的监控数据的数据量。
由于监控模块中可包含多个监控组件prometheus，每个prometheus进行监控的数据不同，因此不同的prometheus当前存储的指标序列数量也不一致，即存储的监控数据的数据量不同。
需要说明的是，由于用户对不同的prometheus分配的资源不同，因此不同的prometheus能够存储的监控数据的数据量即指标序列阈值也不相同。
S602：从采集代理模块获取全局采集目标信息，全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址。
在一种实施场景下，由于网络监听器的负载地址有可能发生变化，因此中心协调器可定时轮训注册中心获取网络监听器的负载地址，以使网络监听器的负载地址可以被监控模块进行访问。
S603：对监控模块进行全局采集目标信息的分配，生成分配信息，并将分配信息发送至监控模块。
分配信息可包含prometheus的序列号、底座K8S平台内的采集器的IP地址和端口号或网络监听器的负载地址，用于指定prometheus获取特定的采集器输出的监控数据。
在一种实施场景下，可根据prometheus的指标序列阈值、当前内存中存储的指标序列数量以及采集器的指标序列数量，对全局采集目标信息进行分配。
需要说明的是，由于底座K8S平台与用户K8S平台存在天然网络隔离，因此prometheus无法根据用户K8S平台或虚拟机内采集器的IP地址和端口号获取数据，此时需要通过网络监听器跨用户网络获取数据。网络监听器的负载地址是可以提供给监控模块进行采集的地址，因此需要对网络监听器的负载地址进行分配，而不是对用户K8S平台或虚拟机内采集器的IP地址和端口号进行分配。
本申请实施例提供一种虚拟化平台监控方法，获取监控模块包含的监控组件的运行状态信息，运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表。从采集代理模块获取全局采集目标信息，全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址。对监控模块进行全局采集目标信息的分配，生成分配信息，并将分配信息发送至监控模块。本申请实施例提供的方法对监控模块进行全局采集目标信息的分配，使得监控模块内的监控组件对特定的采集器或网络监听器采集监控数据，保证监控模块内不同的监控组件监控的数据量是相对均衡的，从而提高了监控组件的监控效率。
在上述实施例的基础上，下面提供一个具体的过程，对监控模块进行全局采集目标信息分配的过程进行详细描述。
图7为本申请实施例提供的一种全局采集目标信息分配方法流程图，该方法由中心控制模块执行。如图7所示，该方法包括：
S701：判断监控模块中的监控组件是否获取第一监控数据或第二监控数据，第一监控数据为全局采集目标信息中每一个底座K8S平台的采集器输出的监控数据，第二监控数据为全局采集目标信息中每一个网络监听器对应的用户K8S平台或虚拟机的采集器输出的监控数据。若是，执行步骤S702；若否，执行步骤S703-S704。
在一种实施场景下，采集目标列表包含当前prometheus获取的监控数据对应的采集器的IP地址和端口号，以及网络监听器的负载地址，因此可根据采集目标列表判断第一监控数据或第二监控数据是否已被prometheus获取。举例而言，采集目标列表中包含labelset-exporter对应的IP地址和端口号，表明labelset-exporter输出的底座容器监控数据已经被prometheus获取。
S702：若监控组件已获取第一监控数据，则将第一监控数据对应的采集器的IP地址和端口号分配至监控组件；若监控组件已获取第二监控数据，则将第二监控数据对应的网络监听器的负载地址分配至监控组件。
某个采集器输出的第一监控数据已经被某个监控组件prometheus获取，此时可继续将该采集器的IP地址和端口号分配给该prometheus，此时该prometheus的指标序列数量不变。举例而言，若kube-state-metrics采集器输出的监控数据已经由prometheus-1获取，此时可继续将kube-state-metrics采集器的IP地址和端口号分配至prometheus-1。
同理，若通过网络监听器输出的第二监控数据已经被某个prometheus获取，也可继续将该网络监听器的负载地址分配给该prometheus。
S703：若监控模块中的监控组件未获取第一监控数据，则从采集代理模块获取与第一监控数据对应的采集器的指标序列数量；若监控模块中的监控组件未获取第二监控数据，则从采集代理模块获取与网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量。
当采集目标列表中不包含某个采集器的IP地址和端口号时，表明该采集器输出的第一监控数据没有被prometheus获取，此时可根据该采集器的指标序列数量对采集器进行分配，采集器的指标序列数量用于表征采集器采集的监控数据的数据量的多少。
同理，当采集目标列表中不包含某个网络监听器的负载地址时，表明通过该网络监听器输出的第二监控数据没有被prometheus获取。
S704：判断监控模块中是否存在当前内存中存储的指标序列数量与采集器的指标序列数量的和低于指标序列阈值的监控组件，和/或，判断监控模块中是否存在当前内存中存储的指标序列数量与网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量的和低于指标序列阈值的监控组件。若存在，执行步骤S705；若不存在，执行步骤S706-S707。
举例而言，若对采集器1进行分配，监控模块包含三个prometheus，此时需要判断每个prometheus的指标序列数量与采集器1的指标序列数量的和是否低于该prometheus的指标序列阈值。
S705：若存在，则将采集器的IP地址和端口号分配至监控组件，和/或，将网络监听器的负载地址分配至监控组件。
举例而言，若采集器1的指标序列数量与prometheus-1的指标序列数量的和小于prometheus-1的指标序列阈值，此时可将采集器1的IP地址和端口号分配给prometheus-1。
在另一种实施场景下，若采集器1的指标序列数量与三个prometheus的指标序列数量的和均小于指标序列阈值，此时可确定二者之和与指标序列阈值的差值，将采集器1的IP地址和端口号分配给差值最大的prometheus。
S706：若不存在，则根据虚拟化平台包含的采集器的指标序列数量对监控模块中的监控组件的容量进行扩充，虚拟化平台包含的采集器的指标序列数量包含底座K8S平台内采集器的指标序列数量、用户K8S平台内采集器的指标序列数量及虚拟机内采集器的指标序列数量。
在一种实施场景下，若采集器1的指标序列数量与三个prometheus的指标序列数量的和均大于指标序列阈值，则当前的prometheus无法获取采集器1输出的监控数据，此时可根据虚拟化平台包含的采集器的指标序列数量对监控模块的容量进行扩充。举例而言，可通过增加监控模块内prometheus的数量对监控模块的容量进行扩充，扩充的容量与虚拟化平台包含的采集器的指标序列数量成正比。
S707：将采集器的IP地址和端口号，和/或，将网络监听器的负载地址分配至容量扩充后的监控组件。
监控模块的容量进行扩充后，此时可利用新增加的prometheus获取采集器输出的第一监控数据，或通过网络监听器输出的第二监控数据。
本申请实施例提供一种全局采集目标信息分配方法，判断被监控模块中的监控组件是否获取第一监控数据或第二监控数据。若监控组件已获取第一监控数据，则将第一监控数据对应的采集器的IP地址和端口号分配至该监控组件。若某一个监控组件已获取第二监控数据，则将第二监控数据对应的网络监听器的负载地址分配至该监控组件。若监控模块中的监控组件未获取第一监控数据时，则从采集代理模块获取与第一监控数据对应的采集器的指标序列数量。判断监控模块中是否存在当前内存中存储的指标序列数量与采集器的指标序列数量的和低于指标序列阈值的监控组件。若存在，则将采集器的IP地址和端口号分配至监控组件。若不存在，则根据虚拟化平台包含的采集器的指标序列数量对监控模块中的监控组件的容量进行扩充，将采集器的IP地址和端口号分配至容量扩充后的监控组件。同理，若监控模块中的监控组件未获取第二监控数据，则从采集代理模块获取与网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量。判断监控模块中是否存在当前内存中存储的指标序列数量与网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量的和低于指标序列阈值的监控组件。若存在，将网络监听器的负载地址分配至监控组件。若不存在，根据虚拟化平台包含的采集器的指标序列数量对监控模块中的监控组件的容量进行扩充，将网络监听器的负载地址分配至容量扩充后的监控组件。本申请实施例提供的方法对监控模块进行全局采集目标信息的分配，保证监控模块内不同的监控组件监控的数据量是相对均衡的，提高了监控组件的监控效率。
图8为本申请实施例提供的一种虚拟化平台监控设备示意图一，虚拟化平台包括底座K8S平台、用户K8S平台及虚拟机。如图8所示，本申请实施例提供一种虚拟化平台监控设备800，可以包括接收模块801、发送模块802和处理模块803。
接收模块801，用于接收中心控制模块发送的全局采集目标信息的分配信息；
发送模块802，用于根据全局采集目标信息的分配信息，向底座K8S平台内的采集器，和/或，与用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求；
接收模块801，还用于接收底座K8S平台内的采集器输出的第一监控数据，接收用户K8S平台或虚拟机内的采集器通过网络监听器发送的第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
处理模块803，用于根据预设的告警规则对第一监控数据及第二监控数据进行监控；
处理模块803，还用于若第一监控数据或第二监控数据异常，生成告警信息，并将告警信息发送至警报管理模块，用于警报管理模块进行预警。
本实施例的设备，可用于执行如图2所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图9为本申请实施例提供的一种虚拟化平台监控设备示意图二。如图9所示，本申请实施例提供一种虚拟化平台监控设备900，可以包括处理模块901、发送模块902和接收模块903。
处理模块901，用于监听底座K8S平台的应用程序接口服务api-server，以获取底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号；
处理模块901，还用于基于pod的网络模式，将内网IP地址和端口号作为后端地址以生成配置文件；
发送模块902，用于将配置文件发送至采集目标模块，配置文件用于采集目标模块创建网络监听器；
接收模块903，用于接收采集目标模块发送的网络监听器的负载地址；
处理模块901，还用于将网络监听器的负载地址与用户K8S平台或虚拟机内采集器的标识信息进行绑定；
处理模块901，还用于将底座K8S平台内采集器的IP地址和端口号、网络监听器的负载地址作为全局采集目标信息；
发送模块902，还用于将全局采集目标信息发送至中心控制模块进行存储。
本实施例的设备，可用于执行如图3所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图10为本申请实施例提供的一种虚拟化平台监控设备示意图三。如图10所示，本申请实施例提供一种虚拟化平台监控设备1000，可以包括采集模块1001、处理模块1002和发送模块1003。
采集模块1001，用于采集虚拟化平台的第一监控数据和第二监控数据，第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
处理模块1002，用于基于底座K8S平台的应用程序接口服务api-server获取虚拟化平台的配置信息，配置信息包含用户信息；
处理模块1002，还用于将用户信息与底座容器监控数据进行绑定；
发送模块1003，用于将底座组件数据及绑定后的底座容器监控数据、第二监控数据发送至监控模块。
本实施例的设备，可用于执行如图4所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图11为本申请实施例提供的一种虚拟化平台监控设备示意图四。如图11所示，本申请实施例提供一种虚拟化平台监控设备1100，可以包括获取模块1101、分配模块1102和发送模块1103。
获取模块1101，用于获取监控模块包含的监控组件的运行状态信息，运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表，采集目标列表包含采集器的IP地址和端口号以及网络监听器的负载地址，指标序列数量用于表征监控组件当前内存中存储的监控数据的数据量；
获取模块1101，还用于从采集代理模块获取全局采集目标信息，全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址；
分配模块1102，用于对监控模块进行全局采集目标信息的分配，生成分配信息；
发送模块1103，用于将分配信息发送至监控模块。
本实施例的设备，可用于执行如图6和图7所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图12为本申请实施例提供的一种监控模块示意图。如图12所示，本申请实施例提供一种监控模块1200包括处理器1201和存储器1202，其中，处理器1201、存储器1202通过总线1203连接。
在具体实现过程中，存储器1202中存储代码，处理器1201运行存储器1202中存储的代码，以执行上述方法实施例的虚拟化平台监控方法。
处理器1201的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图12所示的实施例中，应理解，处理器1201可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1202可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线1203可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
图13为本申请实施例提供的一种采集代理模块示意图。如图13所示，本申请实施例提供一种采集代理模块1300包括处理器1301和存储器1302，其中，处理器1301、存储器1302通过总线1303连接。
在具体实现过程中，存储器1302中存储代码，处理器1301运行存储器1302中存储的代码，以执行上述方法实施例的虚拟化平台监控方法。
处理器1301的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图14为本申请实施例提供的一种采集目标模块示意图。如图14所示，本申请实施例提供一种采集目标模块1400包括处理器1401和存储器1402，其中，处理器1401、存储器1402通过总线1403连接。
在具体实现过程中，存储器1402中存储代码，处理器1401运行存储器1402中存储的代码，以执行上述方法实施例的虚拟化平台监控方法。
处理器1401的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图15为本申请实施例提供的一种中心控制模块示意图。如图15所示，本申请实施例提供一种中心控制模块1500包括处理器1501和存储器1502，其中，处理器1501、存储器1502通过总线1503连接。
在具体实现过程中，存储器1502中存储代码，处理器1501运行存储器1502中存储的代码，以执行上述方法实施例的虚拟化平台监控方法。
处理器1501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图16为本申请实施例提供的一种虚拟化平台监控系统示意图，如图16所示，虚拟化平台监控系统包括：底座K8S平台、用户K8S平台及虚拟机；
底座K8S平台包含采集目标模块、中心控制模块、采集代理模块及监控模块；
监控模块用于执行以监控模块作为执行主体的实施例的方法。
采集代理模块用于执行以采集代理模块作为执行主体的实施例的方法；
采集目标模块用于执行以采集目标模块作为执行主体的实施例的方法；
中心控制模块包含注册中心及中心协调器，用于执行以中心控制模块为执行主体的实施例的方法。
在一种实施场景下，虚拟化平台监控系统还包括全局查询模块、可视化工具grafana及警报管理模块，警报管理模块包含至少一个警报管理器。
需要说明的是，采集目标模块中的kube-apiserver与底座K8S的api-server为同一组件，其中kube-apiserver提供组件数据接口，底座K8S的api-server提供业务信息接口，二者的IP地址一致，接口号存在差异。
本申请实施例提供的虚拟化平台监控系统中，监控模块、采集代理模块、采集目标模块以及中心控制模块等的具体工作过程可参考上述实施例，此处不再赘述。
本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述方法实施例的虚拟化平台监控方法。
上述的计算机可读存储介质，可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述本申请实施例中任意实施例提供的虚拟化平台监控方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (22)

1.一种虚拟化平台监控方法，虚拟化平台包括底座K8S平台、用户K8S平台及虚拟机，其特征在于，包括：
接收中心控制模块发送的全局采集目标信息的分配信息；
根据所述全局采集目标信息的分配信息，向所述底座K8S平台内的采集器，和/或，与所述用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求；
接收所述底座K8S平台内的采集器输出的第一监控数据，接收所述用户K8S平台或虚拟机内的采集器通过所述网络监听器发送的第二监控数据，所述第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，所述第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
根据预设的告警规则对所述第一监控数据及所述第二监控数据进行监控；
若所述第一监控数据或所述第二监控数据异常，生成告警信息，并将所述告警信息发送至警报管理模块，用于所述警报管理模块进行预警。
2.根据权利要求1所述的方法，其特征在于，所述全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址，所述分配信息包含监控组件的序列号、底座K8S平台内的采集器的IP地址和端口号或网络监听器的负载地址，所述根据所述全局采集目标信息的分配信息，向所述底座K8S平台内的采集器，和/或，与所述用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求，包括：
根据所述底座K8S平台内的采集器的IP地址和端口号，与所述序列号对应的监控组件向所述采集器发送数据获取请求；根据所述网络监听器的负载地址，与所述序列号对应的监控组件向所述网络监听器发送数据获取请求，用于向与所述网络监听器对应的用户K8S平台或虚拟机内的采集器获取数据。
3.根据权利要求1或2所述的方法，其特征在于，所述接收所述底座K8S平台内的采集器输出的第一监控数据，接收所述用户K8S平台或虚拟机内的采集器通过所述网络监听器发送的第二监控数据之后，还包括：
将所述第一监控数据及所述第二监控数据发送至全局查询模块，用于用户通过可视化工具grafana进行查询。
4.一种虚拟化平台监控方法，其特征在于，包括：
监听底座K8S平台的应用程序接口服务api-server，以获取所述底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号；
基于所述pod的网络模式，将所述内网IP地址和端口号作为后端地址以生成配置文件，将所述配置文件发送至采集目标模块，所述配置文件用于所述采集目标模块创建网络监听器；
接收所述采集目标模块发送的网络监听器的负载地址，并将所述网络监听器的负载地址与所述用户K8S平台或虚拟机内采集器的标识信息进行绑定；
将所述底座K8S平台内采集器的IP地址和端口号、所述网络监听器的负载地址作为全局采集目标信息，并将所述全局采集目标信息发送至中心控制模块进行存储。
5.根据权利要求4所述的方法，其特征在于，所述将所述全局采集目标信息发送至中心控制模块进行存储之后，还包括：
获取所述底座K8S平台、所述用户K8S平台及所述虚拟机内采集器的指标序列数量，所述指标序列数量用于表征所述采集器采集的监控数据的数据量。
6.一种虚拟化平台监控方法，其特征在于，包括：
采集虚拟化平台的第一监控数据和第二监控数据，所述第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，所述第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
基于所述底座K8S平台的应用程序接口服务api-server获取所述虚拟化平台的配置信息，所述配置信息包含用户信息；
将所述用户信息与所述底座容器监控数据进行绑定；
将所述底座组件数据及绑定后的底座容器监控数据、所述第二监控数据发送至监控模块。
7.根据权利要求6所述的方法，其特征在于，所述用户信息包含用户名及对应的任务ID；所述容器监控数据包含容器ID；所述将所述用户信息与所述底座容器监控数据进行绑定，包括：
对所述任务ID及所述容器ID进行匹配；
对所述底座容器监控数据添加所述用户名和所述任务ID的标签，以实现所述用户信息与所述底座容器监控数据的绑定。
8.一种虚拟化平台监控方法，其特征在于，包括：
获取监控模块包含的监控组件的运行状态信息，所述运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表，所述采集目标列表包含采集器的IP地址和端口号以及网络监听器的负载地址，所述指标序列数量用于表征所述监控组件当前内存中存储的监控数据的数据量；
从采集代理模块获取全局采集目标信息，所述全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址；
对所述监控模块进行所述全局采集目标信息的分配，生成分配信息，并将所述分配信息发送至所述监控模块。
9.根据权利要求8所述的方法，其特征在于，所述对所述监控模块进行所述全局采集目标信息的分配，包括：
判断所述监控模块中的监控组件是否获取第一监控数据或第二监控数据，所述第一监控数据为所述全局采集目标信息中每一个底座K8S平台的采集器输出的监控数据，所述第二监控数据为所述全局采集目标信息中每一个网络监听器对应的用户K8S平台或虚拟机的采集器输出的监控数据；
若所述监控组件已获取所述第一监控数据，则将所述第一监控数据对应的采集器的IP地址和端口号分配至所述监控组件；若所述监控组件已获取所述第二监控数据，则将所述第二监控数据对应的网络监听器的负载地址分配至所述监控组件。
10.根据权利要求9所述的方法，其特征在于，所述判断所述监控模块中的监控组件是否获取第一监控数据或第二监控数据之后，还包括：
若所述监控模块中的监控组件未获取所述第一监控数据，则从所述采集代理模块获取与所述第一监控数据对应的采集器的指标序列数量；若所述监控模块中的监控组件未获取所述第二监控数据，则从所述采集代理模块获取与所述网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量；
判断所述监控模块中是否存在当前内存中存储的指标序列数量与所述采集器的指标序列数量的和低于指标序列阈值的监控组件，和/或，判断所述监控模块中是否存在当前内存中存储的指标序列数量与所述网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量的和低于指标序列阈值的监控组件；
若存在，则将所述采集器的IP地址和端口号分配至所述监控组件，和/或，将所述网络监听器的负载地址分配至所述监控组件。
11.根据权利要求10所述的方法，其特征在于，所述判断所述监控模块中是否存在当前内存中存储的指标序列数量与所述采集器的指标序列数量的和低于指标序列阈值的监控组件，和/或，判断所述监控模块中是否存在当前内存中存储的指标序列数量与所述网络监听器对应的用户K8S平台或虚拟机的采集器的指标序列数量的和低于指标序列阈值的监控组件之后，还包括：
若不存在，则根据虚拟化平台包含的采集器的指标序列数量对所述监控模块中的监控组件的容量进行扩充，虚拟化平台包含的采集器的指标序列数量包含底座K8S平台内采集器的指标序列数量、所述用户K8S平台内采集器的指标序列数量及虚拟机内采集器的指标序列数量；
将所述采集器的IP地址和端口号，和/或，将所述网络监听器的负载地址分配至容量扩充后的监控组件。
12.一种虚拟化平台监控设备，虚拟化平台包括底座K8S平台、用户K8S平台及虚拟机，其特征在于，包括：
接收模块，用于接收中心控制模块发送的全局采集目标信息的分配信息；
发送模块，用于根据所述全局采集目标信息的分配信息，向所述底座K8S平台内的采集器，和/或，与所述用户K8S平台或虚拟机内的采集器对应的网络监听器发送数据获取请求；
接收模块，还用于接收所述底座K8S平台内的采集器输出的第一监控数据，接收所述用户K8S平台或虚拟机内的采集器通过所述网络监听器发送的第二监控数据，所述第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，所述第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
处理模块，用于根据预设的告警规则对所述第一监控数据及所述第二监控数据进行监控；
处理模块，还用于若所述第一监控数据或所述第二监控数据异常，生成告警信息，并将所述告警信息发送至警报管理模块，用于所述警报管理模块进行预警。
13.一种虚拟化平台监控设备，其特征在于，包括：
处理模块，用于监听底座K8S平台的应用程序接口服务api-server，以获取所述底座K8S平台内采集器的IP地址和端口号、用户K8S平台及虚拟机内采集器的标识信息、调度基本单元pod的网络模式、用户K8S平台或虚拟机所处网络的内网IP地址和端口号；
处理模块，还用于基于所述pod的网络模式，将所述内网IP地址和端口号作为后端地址以生成配置文件；
发送模块，用于将所述配置文件发送至采集目标模块，所述配置文件用于所述采集目标模块创建网络监听器；
接收模块，用于接收所述采集目标模块发送的网络监听器的负载地址；
处理模块，还用于将所述网络监听器的负载地址与所述用户K8S平台或虚拟机内采集器的标识信息进行绑定；
处理模块，还用于将所述底座K8S平台内采集器的IP地址和端口号、所述网络监听器的负载地址作为全局采集目标信息；
发送模块，还用于将所述全局采集目标信息发送至中心控制模块进行存储。
14.一种虚拟化平台监控设备，其特征在于，包括：
采集模块，用于采集虚拟化平台的第一监控数据和第二监控数据，所述第一监控数据包含底座K8S平台的底座组件数据及底座容器监控数据，所述第二监控数据包含用户K8S平台的用户组件数据、用户容器监控数据及虚拟机的虚拟机监控数据；
处理模块，用于基于所述底座K8S平台的应用程序接口服务api-server获取所述虚拟化平台的配置信息，所述配置信息包含用户信息；
处理模块，还用于将所述用户信息与所述底座容器监控数据进行绑定；
发送模块，用于将所述底座组件数据及绑定后的底座容器监控数据、所述第二监控数据发送至监控模块。
15.一种虚拟化平台监控设备，其特征在于，包括：
获取模块，用于获取监控模块包含的监控组件的运行状态信息，所述运行状态信息包括：监控组件当前内存中存储的指标序列数量及监控组件当前获取的监控数据对应的采集目标列表，所述采集目标列表包含采集器的IP地址和端口号以及网络监听器的负载地址，所述指标序列数量用于表征所述监控组件当前内存中存储的监控数据的数据量；
获取模块，还用于从采集代理模块获取全局采集目标信息，所述全局采集目标信息包含底座K8S平台内的采集器的IP地址和端口号以及网络监听器的负载地址；
分配模块，用于对所述监控模块进行所述全局采集目标信息的分配，生成分配信息；
发送模块，用于将所述分配信息发送至所述监控模块。
16.一种监控模块，包括：处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求1-3中任一项所述的虚拟化平台监控方法。
17.一种采集代理模块，包括处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求4-5中任一项所述的虚拟化平台监控方法。
18.一种采集目标模块，包括处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求6-7中任一项所述的虚拟化平台监控方法。
19.一种中心控制模块，包括处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求8-11中任一项所述的虚拟化平台监控方法。
20.一种虚拟化平台监控系统，其特征在于，包括：底座K8S平台、用户K8S平台及虚拟机；
所述底座K8S平台包含采集目标模块、中心控制模块、采集代理模块及监控模块；
所述监控模块用于执行权利要求1-3任一项所述的方法；
所述采集代理模块用于执行权利要求4-5任一项所述的方法；
所述采集目标模块用于执行权利要求6-7任一项所述的方法；
所述中心控制模块包含注册中心及中心协调器，用于执行权利要求8-11任一项所述的方法。
21.根据权利要求20所述的系统，其特征在于，还包括：全局查询模块、可视化工具grafana及警报管理模块，所述警报管理模块包含至少一个警报管理器。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-11任一项所述的虚拟化平台监控方法。
CN202211666176.1A 2022-12-23 2022-12-23 虚拟化平台监控方法、设备、系统及存储介质 Active CN116170341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211666176.1A CN116170341B (zh) 2022-12-23 2022-12-23 虚拟化平台监控方法、设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211666176.1A CN116170341B (zh) 2022-12-23 2022-12-23 虚拟化平台监控方法、设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116170341A CN116170341A (zh) 2023-05-26
CN116170341B true CN116170341B (zh) 2024-04-09

Family

ID=86415595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211666176.1A Active CN116170341B (zh) 2022-12-23 2022-12-23 虚拟化平台监控方法、设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116170341B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105871957A (zh) * 2015-01-21 2016-08-17 深圳市腾讯计算机系统有限公司 监控框架设计方法和监控服务器、代理单元、中控服务器
CN107689953A (zh) * 2017-08-18 2018-02-13 中国科学院信息工程研究所 一种面向多租户云计算的容器安全监控方法及系统
CN108932184A (zh) * 2018-06-21 2018-12-04 新华三云计算技术有限公司 监控装置及方法
CN112925649A (zh) * 2021-03-31 2021-06-08 中国人民解放军国防科技大学 一种虚拟网络功能的统一监控方法
CN114048090A (zh) * 2021-10-21 2022-02-15 中国电子科技网络信息安全有限公司 基于k8s的容器云平台监控的方法、设备及存储介质
CN114143203A (zh) * 2021-11-05 2022-03-04 华东师范大学 一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集的方法及系统
CN114138590A (zh) * 2020-09-03 2022-03-04 中国移动通信集团湖南有限公司 Kubernetes集群的运维处理方法、装置及电子设备
CN114338820A (zh) * 2021-12-31 2022-04-12 中国电信股份有限公司 网络访问方法、装置、电子设备及存储介质
CN114500523A (zh) * 2021-11-29 2022-05-13 上海浦东发展银行股份有限公司 一种基于容器云平台的固定ip应用发布方法
CN114697325A (zh) * 2022-03-15 2022-07-01 浪潮云信息技术股份公司 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置
CN115048181A (zh) * 2022-05-11 2022-09-13 城云科技（中国）有限公司 一种基于Kubernetes容器云平台的热部署方法、装置及应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11102281B2 (en) * 2019-02-15 2021-08-24 International Business Machines Corporation Tool for managing and allocating resources in a clustered computing environment
US11153279B2 (en) * 2020-01-30 2021-10-19 Hewlett Packard Enterprise Development Lp Locally representing a remote application programming interface (API) endpoint within an application platform

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105871957A (zh) * 2015-01-21 2016-08-17 深圳市腾讯计算机系统有限公司 监控框架设计方法和监控服务器、代理单元、中控服务器
CN107689953A (zh) * 2017-08-18 2018-02-13 中国科学院信息工程研究所 一种面向多租户云计算的容器安全监控方法及系统
CN108932184A (zh) * 2018-06-21 2018-12-04 新华三云计算技术有限公司 监控装置及方法
CN114138590A (zh) * 2020-09-03 2022-03-04 中国移动通信集团湖南有限公司 Kubernetes集群的运维处理方法、装置及电子设备
CN112925649A (zh) * 2021-03-31 2021-06-08 中国人民解放军国防科技大学 一种虚拟网络功能的统一监控方法
CN114048090A (zh) * 2021-10-21 2022-02-15 中国电子科技网络信息安全有限公司 基于k8s的容器云平台监控的方法、设备及存储介质
CN114143203A (zh) * 2021-11-05 2022-03-04 华东师范大学 一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集的方法及系统
CN114500523A (zh) * 2021-11-29 2022-05-13 上海浦东发展银行股份有限公司 一种基于容器云平台的固定ip应用发布方法
CN114338820A (zh) * 2021-12-31 2022-04-12 中国电信股份有限公司 网络访问方法、装置、电子设备及存储介质
CN114697325A (zh) * 2022-03-15 2022-07-01 浪潮云信息技术股份公司 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置
CN115048181A (zh) * 2022-05-11 2022-09-13 城云科技（中国）有限公司 一种基于Kubernetes容器云平台的热部署方法、装置及应用

Also Published As

Publication number Publication date
CN116170341A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN107566541B (zh) 容器网络资源分配方法、系统、存储介质和电子设备
CN110535831B (zh) 基于Kubernetes和网络域的集群安全管理方法、装置及存储介质
CN110710168B (zh) 跨隔离的网络堆栈的智能线程管理
CN110896355A (zh) 一种网络切片的选择方法及装置
US20150178117A1 (en) Selecting cloud computing resource based on fault tolerance and network efficiency
CN108718327B (zh) 一种许可证资源调度方法及系统
US10282120B2 (en) Method, apparatus and system for inserting disk
CN113127199B (zh) 负载均衡配置方法、装置、设备及存储介质
CN111722933B (zh) 分布式进程之间的死锁解决
CN109446062B (zh) 云计算服务中的软件调试的方法和装置
CN106095641A (zh) 一种监控方法、装置和系统
CN113361913A (zh) 一种通信业务编排方法、装置、计算机设备及存储介质
CN105094981A (zh) 一种数据处理的方法及装置
US11144359B1 (en) Managing sandbox reuse in an on-demand code execution system
CN115834075A (zh) 基于多租户管理的密码服务与计算服务一体化方法及装置
CN115086166A (zh) 计算系统、容器网络配置方法及存储介质
CN111147600A (zh) 集群环境下的服务执行方法及终端
CN111163186A (zh) 一种id生成方法、装置、设备和存储介质
CN116170341B (zh) 虚拟化平台监控方法、设备、系统及存储介质
CN108667750B (zh) 虚拟资源管理方法及装置
CN110928679B (zh) 一种资源分配方法及装置
CN113037812A (zh) 数据包调度方法、装置、电子设备、介质和智能网卡
CN117792952A (zh) Vpc网络链路探测方法、装置、设备及存储介质
CN113157396A (zh) 一种虚拟化服务系统和方法
CN116032614A (zh) 容器网络微隔离方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant