CN117992175A - 一种容器集群管理方法及装置 - Google Patents

Abstract

本申请提供一种容器集群管理方法及装置，能够在用户层面降低容器集群管理的复杂度，提高用户体验。该方法包括：容器集群管理装置获取至少一个声明式描述符，声明式描述符用于声明式描述用户期望的目标容器集群的特性；并获取至少一个声明式描述符对应的容器集群资源描述符，容器集群资源描述符用于指示目标容器集群对应的资源配置；生成容器集群资源描述符对应的容器集群资源描述清单，容器集群资源描述清单用于指示目标容器集群所需的资源；进而向目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，容器基础资源管理装置用于管理和调度容器集群资源。

Description

一种容器集群管理方法及装置

技术领域

本申请实施例涉及通信领域，尤其涉及一种容器集群管理方法及装置。

背景技术

通信网络的基础设施变革正经历着从网络功能虚拟化(network functionvirtualization，NFV)向云原生(cloud-native)演进的进程。容器化是近年来这一进程重要特征。容器化技术是一种轻量级的操作系统级别的虚拟化技术，将要执行的程序及其所有依赖关系，如代码、运行时、系统库等一起打包，方便修改与运行，当前电信云普遍使用Kubernetes(简称K8S)系统进行容器管理编排。

然而，目前基于K8S系统实现容器集群管理时，需要用户具备大量相关领域的知识，并且需要用户进行较为复杂的操作，使得容器集群管理自动化水平和用户体验较差，这也成为通信网络电信云容器技术为电信网络运营商和电信用户提供敏捷、高效服务的一项短板。

发明内容

本申请提供一种容器集群管理方法及装置，能够在用户层面降低容器集群管理的复杂度，提高用户体验。

第一方面，提供了一种集群管理方法，该方法可以由容器集群管理装置执行，也可以由容器集群管理装置的部件，例如容器集群管理装置的处理器、芯片、或芯片系统等执行，还可以由能实现全部或部分容器集群管理装置功能的逻辑模块或软件实现。该方法包括：获取至少一个声明式描述符，声明式描述符用于声明式描述用户期望的目标容器集群的特性；获取至少一个声明式描述符对应的容器集群资源描述符，容器集群资源描述符用于指示目标容器集群对应的资源配置；生成容器集群资源描述符对应的容器集群资源描述清单，容器集群资源描述清单用于指示目标容器集群所需的资源；向目标容器集群的容器基础资源管理装置发送容器集群资源配置清单，容器基础资源管理装置用于管理和调度容器集群资源。

基于该方案，由于容器集群管理装置能够将声明式描述符对应到容器集群资源描述符中的至少一项，并根据匹配结果生成目标容器集群的容器基础资源管理装置可识别的容器集群资源描述清单，使得目标容器集群的容器基础资源管理装置可以根据该容器集群资源描述清单实现对目标容器集群的管理。因此，用户无需逐一描述实现管理目标容器集群的容器集群资源的配置信息，即用户只需声明目标容器集群的终态特性，容器集群管理装置可以相应匹配实现该特性的容器集群资源描述符。提高了容器集群管理自动化水平，降低了用户的操作难度，使得用户体验提升。

在一种可能的设计中，声明式描述符包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息、或特性管理规则信息中的一项或多项，其中，部署特性信息用于描述用户对目标容器集群的稳定性的期望声明，多租户特性信息用于描述用户对目标容器集群的多租户特性的期望声明，网络特性信息用于描述用户对目标容器集群的网络特性的期望声明，存储特性信息用于描述用户对目标容器集群的存储资源的期望声明，编排工具信息用于描述用户对目标容器集群上部署的编排工具版本的期望声明，工作负载特性信息用于描述用户对目标容器集群运行的工作负载的期望声明，特性管理规则信息用于描述用户对目标容器集群的多个特性间关系规则的期望声明。

在一种可能的设计中，容器集群资源描述符包括容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符、守护进程描述符、访问控制描述符、或特定资源描述符中的一项或多项；容器集群描述符用于描述目标容器集群的配置信息，容器集群节点描述符用于描述目标容器集群中节点的配置信息，容器集群节点资源描述符用于描述目标容器集群中节点资源的配置信息，容器集群增强描述符描述用户向目标容器集群加载的新增资源的配置信息，守护进程描述符用于描述在目标容器集群中作为后台运行的一个或多个进程的配置信息，访问控制描述符用于描述不同角色对目标容器集群的访问权限配置信息，特定资源描述符用于变更目标容器集群中部分或全部节点的存储和/或网络资源信息。其中容器集群增强描述符、守护进程描述符、访问控制描述符、特定资源描述符可以统称为被管理容器集群对象(managed container infrastructure servicecluster object，MCCO)描述符。

在一种可能的设计中，部署特性信息可以对应容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、或容器集群增强描述符中的一项或多项。

在一种可能的设计中，多租户特性信息可以对应访问控制描述符和/或容器集群增强描述符。

在一种可能的设计中，网络特性信息可以对应特定资源描述符。

在一种可能的设计中，存储特性信息可以对应特定资源描述符。

在一种可能的设计中，编排工具信息可以对应容器集群描述符和/或容器集群节点描述符。

在一种可能的设计中，工作负载信息可以对应守护进程描述符和/或集群节点描述符。

在一种可能的设计中，特性管理规则信息可以对应容器集群增强描述符。

基于该方案，本申请实施例中的容器集群管理装置通过将声明式描述符中描述目标容器集群的各个特性信息与容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符分别对应，得到容器基础设施管理装置可识别的容器集群资源描述符。将本该由用户操作的步骤，转由容器集群管理装置操作，降低了用户操作的复杂度，提升了容器集群管理的自动化水平，进而提升了用户体验。

在一种可能的设计中，容器集群管理方法还包括：获取第一容器集群的信息；确定第一容器集群是否支持特征变更；在第一容器集群支持特征变更的情况下，将第一容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

基于该方案，在容器集群管理装置根据第一容器集群的信息，判断第一容器集群是否支持特征变更，在第一容器集群支持特征变更的情况下，将第一容器集群的容器基础资源管理装置作为目标容器集群的容器基础资源管理装置，并向该目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，使得本申请实施例提供的容器集群管理方法通过对指定的容器集群的特征变更，进而实现对目标容器集群的管理，增加了本申请实施例提供的多样性。

在一种可能的设计中，容器集群管理方法还包括：在第一容器集群没有其对应的容器基础资源管理装置的情况下，初始化第一容器集群的容器基础资源管理装置。

在一种可能的设计中，容器集群管理方法还包括：根据至少一个声明式描述符，确定支持特征变更的第二容器集群；将第二容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

基于该方案，在容器集群管理装置根据容器集群资源描述符，在已有容器集群中确定支持特征变更的第二容器集群，并将第二容器集群的容器基础资源管理装置作为目标容器集群的容器基础资源管理装置，并向该目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，使得本申请实施例提供的容器集群管理方法通过对已有容器集群的特征变更，进而实现对目标容器集群的管理，增加了本申请实施例提供的多样性。

在一种可能的设计中，根据至少一个声明式描述符中的部署特性信息，确定支持特征变更的第二容器集群。

在一种可能的设计中，选定一种标签类型信息，并根据该标签类型信息，确定支持特征变更的第二容器集群。

在一种可能的设计中，根据标签中用于指示该容器集群是否支持特征变更的字段，确定支持特征变更的第二容器集群。

在一种可能的设计中，根据至少一个声明式描述符对应的容器资源描述符，确定支持特征变更的第二容器集群。

在一种可能的设计中，容器集群管理方法还包括：在第二容器集群没有其对应的容器基础资源管理装置的情况下，初始化第二容器集群的容器基础资源管理装置。

在一种可能的设计中，容器集群管理方法还包括：在多个声明式描述符之间的结构关系为层级结构关系的情况下，确定多个声明式描述符描述中类型相同的信息描述的特性是否冲突；两个声明式描述符之间的结构关系为层级结构关系时，两个声明式描述符之间存在关联；在多个声明式描述符描述中类型相同的信息描述的特性不冲突的情况下，将多个声明式描述符调整为一个声明式描述符。

基于该方案，多个声明式描述符之间的结构关系为层级结构关系时，即表示多个声明式描述符之间存在联系，此时可以将多个声明式描述符调整为一个声明式描述符，使得容器集群管理装置可以根据平行结构关系的声明式描述符完成与容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符之间的匹配，相较于根据层级结构关系对声明式描述符的匹配，基于平行结构关系降低了容器集群管理系统解析、匹配的复杂度，加快了容器集群管理系统的效率。

在一种可能的设计中，容器集群管理方法还包括：为目标容器集群初始化容器基础资源管理装置。即，容器集群管理装置在目标容器集群没有可用的容器基础资源管理装置时，可以为目标容器集群初始化其容器基础资源管理装置。

基于该方案，容器集群管理装置在获得容器集群资源描述清单后，在当前没有安装容器基础资源管理装置的容器集群中安装容器基础资源管理装置，进而实现容器集群管理装置向目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，不必等待用户手工在容器集群中安装容器基础资源管理装置，简化了容器集群管理的流程，加快了容器集群管理的效率。

在一种可能的设计中，容器集群管理方法还包括：接收来自容器基础资源管理装置的第一应答信息。

在一种可能的设计中，容器集群管理方法还包括：根据第一应答信息，向运营支撑系统或网络功能虚拟化编排器发送完成声明式描述符的特性声明的第二应答信息。

第二方面，提供了一种集群管理方法，该方法包括：容器集群管理装置获取至少一个声明式描述符，声明式描述符用于声明式描述用户期望的目标容器集群的特性；容器集群管理装置获取至少一个声明式描述符对应的容器集群资源描述符，容器集群资源描述符用于指示目标容器集群对应的资源配置；容器集群管理装置生成容器集群资源描述符对应的容器集群资源描述清单，容器集群资源描述清单用于指示目标容器集群所需的资源；容器集群管理装置向目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，容器基础资源管理装置用于管理和调度容器集群资源；容器基础资源管理装置接收来自容器集群管理装置的容器集群资源描述清单；容器基础资源管理装置根据容器集群资源描述清单，对目标容器集群进行管理。

基于该方案，由于容器集群管理装置能够将声明式描述符对应到容器集群资源描述符中的至少一项，并根据匹配结果生成目标容器集群的容器基础资源管理装置可识别的容器集群资源描述清单，使得目标容器集群的容器基础资源管理装置可以根据该容器集群资源描述清单实现对目标容器集群的管理。因此，用户无需逐一描述实现管理目标容器集群的容器集群资源的配置信息，即用户只需声明目标容器集群的终态特性，容器集群管理装置可以相应匹配实现该特性的容器集群资源描述符。提高了容器集群管理自动化水平，降低了用户的操作难度，使得用户体验提升。

在一种可能的设计中，声明式描述符包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息、或特性管理规则信息中的一项或多项，其中，部署特性信息用于描述用户对目标容器集群的稳定性的期望声明，多租户特性信息用于描述用户对目标容器集群的多租户特性的期望声明，网络特性信息用于描述用户对目标容器集群的网络特性的期望声明，存储特性信息用于描述用户对目标容器集群的存储资源的期望声明，编排工具信息用于描述用户对目标容器集群上部署的编排工具版本的期望声明，工作负载特性信息用于描述用户对目标容器集群运行的工作负载的期望声明，特性管理规则信息用于描述用户对目标容器集群的多个特性间关系规则的期望声明。

在一种可能的设计中，容器集群资源描述符包括容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符、守护进程描述符、访问控制描述符、或特定资源描述符中的一项或多项；容器集群描述符用于描述目标容器集群的配置信息，容器集群节点描述符用于描述目标容器集群中节点的配置信息，容器集群节点资源描述符用于描述目标容器集群中节点资源的配置信息，容器集群增强描述符用于描述用户向目标容器集群加载的新增资源的配置信息，守护进程描述符用于描述在目标容器集群中作为后台运行的一个或多个进程的配置信息，访问控制描述符用于描述不同角色对目标容器集群的访问权限配置信息，特定资源描述符用于变更目标容器集群中部分或全部节点的存储和/或网络资源信息。

在一种可能的设计中，部署特性信息可以对应容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、或容器集群增强描述符中的一项或多项。

在一种可能的设计中，多租户特性信息可以对应访问控制描述符和/或容器集群增强描述符。

在一种可能的设计中，网络特性信息可以对应特定资源描述符。

在一种可能的设计中，存储特性信息可以对应特定资源描述符。

在一种可能的设计中，编排工具信息可以对应容器集群描述符和/或容器集群节点描述符。

在一种可能的设计中，工作负载信息可以对应守护进程描述符和/或集群节点描述符。

在一种可能的设计中，特性管理规则信息可以对应容器集群增强描述符。

在一种可能的设计中，容器集群管理方法还包括：获取第一容器集群的信息；确定第一容器集群是否支持特征变更；在第一容器集群支持特征变更的情况下，将第一容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

在一种可能的设计中，容器集群管理方法还包括：在第一容器集群没有其对应的容器基础资源管理装置的情况下，初始化第一容器集群的容器基础资源管理装置。

在一种可能的设计中，容器集群管理方法还包括：根据至少一个声明式描述符，确定支持特征变更的第二容器集群；将第二容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

在一种可能的设计中，根据至少一个声明式描述符中的部署特性信息，确定支持特征变更的第二容器集群。

在一种可能的设计中，选定一种标签类型信息，并根据该标签类型信息，确定支持特征变更的第二容器集群。

在一种可能的设计中，根据标签中用于指示该容器集群是否支持特征变更的字段，确定支持特征变更的第二容器集群。

在一种可能的设计中，根据至少一个声明式描述符对应的容器资源描述符，确定支持特征变更的第二容器集群。

在一种可能的设计中，容器集群管理方法还包括：在第二容器集群没有其对应的容器基础资源管理装置的情况下，初始化第二容器集群的容器基础资源管理装置。

在一种可能的设计中，容器集群管理方法还包括：在多个声明式描述符之间的结构关系为层级结构关系的情况下，确定多个声明式描述符描述中类型相同的信息描述的特性是否冲突；两个声明式描述符之间的结构关系为层级结构关系时，两个声明式描述符之间存在关联；在多个声明式描述符描述中类型相同的信息描述的特性不冲突的情况下，将多个声明式描述符调整为一个声明式描述符。

在一种可能的设计中，容器集群管理方法还包括：为目标容器集群初始化容器基础资源管理装置。即，容器集群管理装置在目标容器集群没有可用的容器基础资源管理装置时，可以为目标容器集群初始化其容器基础资源管理装置。

在一种可能的设计中，容器集群管理方法还包括：接收来自容器基础资源管理装置的第一应答信息。

在一种可能的设计中，容器集群管理方法还包括：根据第一应答信息，向运营支撑系统或网络功能虚拟化编排器发送完成声明式描述符的特性声明的第二应答信息。

第三方面，提供了一种容器集群管理装置用于实现各种方法。该容器集群管理装置可以为第一方面或第二方面中的容器集群管理装置，或者容器集群管理装置中包含的装置，比如芯片或芯片系统。所述容器集群管理装置包括实现方法相应的模块、单元、或手段(means)，该模块、单元、或means可以通过硬件实现，软件实现，或者通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与功能相对应的模块或单元。

在一些可能的设计中，该容器集群管理装置可以包括处理模块和通信模块。该处理模块，可以用于实现上述任一方面及其任意可能的实现方式中的处理功能。通信模块可以包括接收模块和发送模块，分别用以实现上述任一方面及其任意可能的实现方式中的接收功能和发送功能。

在一些可能的设计中，通信模块可以由收发电路，收发机，收发器或者通信接口构成。

第四方面，提供了一种容器集群管理装置，包括：处理器和存储器；该存储器用于存储计算机指令，当该处理器执行该指令时，以使该容器集群管理装置执行任一方面所述的方法。该容器集群管理装置可以为第一方面或第二方面中的容器集群管理装置，或者容器集群管理装置中包含的装置，比如芯片或芯片系统。

第五方面，提供一种容器集群管理装置，包括：处理器和通信接口；该通信接口，用于与该容器集群管理装置之外的模块通信；所述处理器用于执行计算机程序或指令，以使该容器集群管理装置执行任一方面所述的方法。该容器集群管理装置可以为第一方面或第二方面中的容器集群管理装置，或者容器集群管理装置中包含的装置，比如芯片或芯片系统。

第六方面，提供了一种容器集群管理装置，包括：至少一个处理器；所述处理器用于执行存储器中存储的计算机程序或指令，以使该容器集群管理装置执行任一方面所述的方法。该存储器可以与处理器耦合，或者，也可以独立于该处理器。该容器集群管理装置可以为第一方面或第二方面中的容器集群管理装置，或者容器集群管理装置中包含的装置，比如芯片或芯片系统

在一些可能的设计中，该容器集群管理装置包括存储器，该存储器，用于保存必要的程序指令和数据。

在一些可能的设计中，该装置是芯片系统时，可以由芯片构成，也可以包含芯片和其他分立器件。

可以理解的是，第三方面至第六方面中任一方面提供的容器集群管理装置是芯片时，容器集群管理装置的发送动作/功能可以理解为输出信息，容器集群管理装置的接收动作/功能可以理解为输入信息。

第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序或指令，当其在容器集群管理装置上运行时，使得容器集群管理装置可以执行任一方面所述的方法；或者使得容器集群管理装置运行任一方面所述的装置。

第八方面，提供了一种包含指令的计算机程序产品，当其在容器集群管理装置上运行时，使得该集群管理装置可以执行任一方面所述的方法；或者使得容器集群管理装置运行任一方面所述的装置。

其中，第三方面至第八方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，在此不再赘述。

附图说明

图1a为本申请提供的一种容器集群的组成的示意图；

图1b为本申请提供的一种容器集群、容器集群节点以及命名空间之间的关系；

图1c为本申请提供的一种VNF MANO标准参考架构的示意图；

图2为本申请提供的一种容器集群管理的示意图；

图3为本申请提供的一种容器集群管理系统的示意图；

图4为本申请提供的一种容器集群管理的流程图；

图5为本申请提供的一种容器集群特性与容器集群中资源配置之间对应关系的示意图；

图6为本申请提供的又一种容器集群管理的流程图；

图7为本申请提供的又一种容器集群管理的流程图；

图8为本申请提供的又一种容器集群管理的流程图；

图9为本申请提供的一种容器集群管理装置的结构示意图；

图10为本申请提供的另一种容器集群管理装置的结构示意图。

具体实施方式

在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。

在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。

可以理解，说明书通篇中提到的“实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各个实施例未必指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。可以理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

可以理解，在本申请中，“…时”以及“若”均指在某种客观情况下会做出相应的处理，并非是限定时间，且也不要求实现时要有判断的动作，也不意味着存在其它限定。

可以理解，本申请实施例中的一些可选的特征，在某些场景下，可以不依赖于其他特征，比如其当前所基于的方案，而独立实施，解决相应的技术问题，达到相应的效果，也可以在某些场景下，依据需求与其他特征进行结合。相应的，本申请实施例中给出的装置也可以相应的实现这些特征或功能，在此不予赘述。

本申请中，除特殊说明外，各个实施例之间相同或相似的部分可以互相参考。在本申请中各个实施例如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例根据其内在的逻辑关系可以组合形成新的实施例。以下所述的本申请实施方式并不构成对本申请保护范围的限定。

为了方便理解本申请实施例的技术方案，首先给出本申请相关技术的简要介绍如下。

1、网络功能虚拟化(network function virtualization，NFV)：

NFV将网络功能(包括网络地址转换(network address translation，NAT)、防火墙、入侵检测、域名服务以及缓存等)从多个专有硬件(例如三层交换机、路由器)分离。通过软件把网络服务(network service，NS)以及相关的计算设备、存储设备整合，向上一层交付完全虚拟化的接口。

NFV通过引入计算机领域的虚拟化技术以实现电信网络软硬件解耦、应用自动化管理及分布式部署的目标，从而缩短电信业务上线时间并加快业务创新速度。NFV的引入使得网络部署周期缩短。

NFV所需的运算资源、存储资源和网络资源统称为网络功能虚拟化基础设施(network function virtualization infrastructure，NFVI)。解耦后的虚拟化网络功能(virtualised network function，VNF)在NFVI上运行，VNF可以根据需要进行迁移、实例化、部署在网络的不同位置，而不需要安装新的硬件设备。

2、云原生(cloud-native)：

云原生是在云环境下构建、运行和管理软件的一种新的系统实现范式，也是一种充分利用云基础设施和平台服务，适应云环境，具备(微)服务化、弹性伸缩、分布式、高可用、多租户和自动化等关键特征的架构实践。

在电信网络的变革中，在NFV管理和编排(management and orchestration，MANO)的参考架构内引入容器管理是NFV走向云原生的众多实践的关键一环。

3、容器化技术：

容器化技术作为一种轻量级的操作系统级别的虚拟化技术，通过操作系统隔离技术将不同进程隔离。示例性的，操作系统隔离技术可以包括Linux下的控制群组(Linuxcontrol group，CGroup)和命名空间(namespace)。容器化技术不同于硬件虚拟化(hypervisor)技术，容器化技术没有虚拟硬件，其容器内部也没有操作系统，只有进程。因此相较于虚拟机而言，容器更轻量，对容器的管理也更方便。此外，在容器的运行态，还定义了一组公共的管理操作，用于对容器进行统一的生命周期管理。示例性的，该管理操作可以包括启动、停止、暂停和删除。

容器化技术在电信网络云原生演进进程中的引入，为电信行业的开发运维(DevOps)带来了敏捷性的变革。基于容器化技术，使得传统的大颗粒单体网络功能逐渐被解构为服务化，甚至进一步结构为微服务化。每个服务化的功能能够独立进行开发、交付和维护，使得版本的升级变得更加频繁。此外，稳定的应用程序接口(applicationprogramming interface，API)定义保证了接口功能调用的一致性和可靠性，使得容器化网络功能数量激增的同时，不会对互操作测试带来指数级工作量的增长。

4、容器集群：

容器集群可以理解为包括监控管理系统和一系列节点的集合。容器集群可以是动态系统，在该动态系统中可以部署多个容器，容器的状态和容器之间的通信可以被监控。

可选的，节点可以是物理服务器，裸金属，虚拟机，实体计算机，或虚拟化的计算、存储、网络资源构成的实体等。

示例性的，如图1a所示，容器集群可以包括监控管理系统以及多个节点。其中节点可以包括至少一个容器组，容器组可以包括至少一个容器。

示例性的，构成容器集群的节点也可以称为容器集群节点。容器集群节点所包括的计算资源、存储资源、网络资源等可以称为容器集群节点资源。为了方便描述，下述实施例中将容器集群节点简称为节点，将容器集群节点资源简称为节点资源。

NFV系统中的网络功能虚拟化编排器(network functions virtualizationorchestrator，NFVO)可以在容器集群内创建多个命名空间，从而通过命名空间实现容器集群内的多租户，即将容器对象的资源和标识隔离。示例性的，命名空间可以理解为由一组特定的标识符、资源、策略和授权组成的逻辑分组，其与服务器中的文件夹的作用类似。

示例性的，容器集群、容器集群节点以及命名空间的关系如图1b所示，容器集群可以包括多个容器集群节点，例如图1b中容器集群节点1、容器集群节点2、容器集群节点3以及容器集群节点4。每一容器集群节点中可以包括多个命名空间，例如图1b中容器集群节点1与命名空间1、命名空间2、命名空间3的关系。每一容器集群节点中也可以包括一个命名空间，例如图1b中容器集群节点2与命名空间4的关系。多个容器集群节点也可以共享一个命名空间，例如图1b中容器集群节点3、容器集群节点4与命名空间5的关系。

5、K8S：

K8S负责对容器集群中的容器对象进行管理编排。其中，容器对象可以理解为容器的实例。K8S的核心思想为“一切以服务为中心，一切围绕服务运转”；遵循这一思想，其构建的容器应用系统不仅可以独立运行在物理机、虚拟机或企业私有云上，也可以被托管到公有云上。

欧洲电信标准协会(european telecommunications standards institute，ETSI)提出了通信网络NFV MANO标准参考架构。NFV MANO标准参考架构是NFV为了对虚拟化后的NS、VNF和NFVI进行集中管理，引入的全新的管理与编排系统。

在NFV MANO标准参考架构中，K8S主要对应容器基础设施服务管理(containerinfrastructure service management，CISM)功能。此外，NFV MANO标准参考架构中还定义了容器基础设施服务集群管理(container infrastructure service clustermanagement，CCM)功能。为了方便描述，本申请下述实施例将容器基础设施服务集群管理称为容器集群管理。

基于K8S的核心思想，服务可以为不同容器组设置不同的标签信息，即如图1a所示的标签1、标签2以及标签3；其中不同的标签信息所在的容器组对应不同的服务(例如服务1对应标签1所在的容器组，服务2对应标签2所在的容器组)。

6、CISM：

CISM也可以称为容器即服务(container as a service，CaaS)管理。CISM负责管理容器化VNF所调用的容器对象。该管理可以包括容器对象的创建、更新和删除，还可以包括在CISM纳管的节点资源池中，将容器对象调度到相应的节点资源(例如计算资源、存储资源和网络资源)上。

7、CCM：

CCM作为CISM外围的集群环境，负责对容器集群进行管理，该管理可以包括对容器集群所使用的节点资源池的创建和节点扩缩容。

示例性的，VNF MANO标准参考架构下CISM与CCM的管理对象可以如图1c所示，在图1c中，CCM可以管理节点，CCM也可以管理CISM；CISM可以管理容器化VNF中的容器(或者说所调用的容器对象)。此外，NFVO也可以管理CISM。

需要说明的是，上述对相关技术的说明，仅为对于本申请相关技术的示例性介绍，VNF MANO标准参考架构的标准规范可参见ETSI GS NFV-IFA036标准文本。

目前，为了实现对容器集群的管理，ETSI的标准文本(IFA036)引入了容器基础设施服务集群描述符(container infrastructure service cluster descriptor，CCD)、容器基础设施服务集群节点描述符(container infrastructure service cluster nodedescriptor，CCND)、容器基础设施服务集群节点资源描述符(container infrastructureservice cluster node resource descriptor，CCNRD)。

为了方便描述，下述实施例中将容器基础设施服务集群描述符称为容器集群描述符；将容器基础设施服务集群节点描述符称为容器集群节点描述符；将容器基础设施服务集群节点资源描述符称为容器集群节点资源描述符。

其中，容器集群描述符、容器集群节点描述符以及容器集群节点资源描述符描述的内容可以包括如表1所示的信息。

表1

/>

进一步的，为实现对目标容器集群中的一部分具体资源做动态调整，作为对容器集群描述符、容器集群节点描述符以及容器集群节点资源描述符的补充，ETSI的标准文本(IFA036)还引入了被管理容器集群对象(managed container infrastructure servicecluster object，MCCO)描述符。MCCO描述符包括容器基础设施服务集群增强描述符(container infrastructure service cluster enhanced capability，CCEC)(或称为容器集群增强描述符)，守护进程对象(daemon object)描述符(或称为守护进程描述符)，基于角色的访问控制(role based access control，RBAC)描述符(或称为访问控制描述符)，以及特定资源描述符。

示例性的，容器集群增强描述符，守护进程描述符，访问控制描述符，特定资源描述符描述的内容可以包括如表2所示的信息。

表2

MCCO描述符主要描述集群中某项具体资源的增加或变更，其可以在容器集群初始化过程中被容器集群描述符引用，也可以直接用于对已存在的容器集群进行资源调整。在容器集群资源描述中起辅助作用。

示例性的，容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符之间的层级结构关系可以如图2所示，在用户根据自身的期望提供容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、MCCO描述符的情况下，容器集群描述符可以将一个或多个容器集群节点描述符设定为被引用对象，容器集群节点描述符可以将引一个或多个容器集群节点资源描述符设定为被引用对象，容器集群描述符可以将一个或多个MCCO描述符设定为被引用对象。其中，虚线箭头指向被引用的描述符。这种引用关系可以被用户输入命令解除。

K8S作为主流容器基础资源管理器，广泛的应用于目前的容器集群管理中，然而其本身并不提供容器集群层级的自动化管理功能，即不提供容器集群的建立、容器集群信息变更配置、节点信息变更配置等超越容器对象层级的管理动作。因此为了实现对容器集群的管理，用户需根据自身的期望，在容器集群管理器中配置容器集群所需的容器集群描述符、容器集群节点描述符、容器集群节点资源描述符和/或MCCO描述符，由容器集群管理器建立容器集群，并生成该容器集群的容器基础资源管理器可以执行的容器集群资源描述清单，从而实现对容器集群的管理。其中，用户解析自身的期望，将该期望与容器集群描述符、容器集群节点描述符以及容器集群节点资源描述符所需要的各项资源配置信息相对应，是上述对容器集群的生命周期管理的过程中至关重要的环节。

然而，基于上述方案，需要用户手动配置容器集群所需的容器集群描述符、容器集群节点描述符、或容器集群节点资源描述符。而对于非相关领域的用户而言，很难通过自身的期望解析到准确的容器集群描述符、容器集群节点描述符以及容器集群节点资源描述符，因此需要用户具备大量相关领域的知识，并且需要用户进行较为复杂的操作，才能实现容器集群管理。因此基于该方案，在用户层面，实现容器集群管理的复杂度高，使得用户体验降低。

并且，目前容器集群管理器采用命令式管理方式实现对容器集群的管理；其中，基于命令式管理方式，用户需通过容器集群描述符、容器集群节点描述符、容器集群节点资源描述符和/或MCCO描述符描述目标容器的期望终态，并且需给定目标容器从当前状态向期望终态转换的动作指导。

此外，上述方案主要聚焦于各层级中容器集群描述符、容器集群节点描述符以及容器集群节点资源描述符，在容器集群数量较多，容器集群节点差异性较强，或涉及需新增或变更多种资源以达成某种集群特性等情况下，用户对容器集群管理的复杂度极高。

综上，容器集群管理的自动化水平和用户体验较差。这一缺点成为通信网络电信云容器技术为电信网络运营商和电信用户提供敏捷、高效服务的一项短板。

基于此，本申请提出一种容器集群管理方法，通过声明式描述符描述目标容器集群的特性，实现对目标容器集群的管理。该方法采用声明式管理实现对目标容器集群的管理，其中基于声明式管理，用户只需声明式描述目标容器集群的期望终态，即用户只需声明式描述自身期望的目标容器集群的特性即可，目标容器集群的特性和容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符之间匹配由容器集群管理装置完成。可以提高容器集群管理的自动化水平，并且在用户层面降低容器集群管理的复杂度，提高用户体验。

参见图3，为本申请实施例提供一种容器集群管理系统，该容器集群管理系统可以包括容器集群管理装置和容器基础资源管理装置。示例性的，容器集群管理装置可以为CCM模块等，容器基础资源管理装置可以为CISM模块(例如Kubernetes，即K8S)等。本申请对容器集群管理装置和容器基础资源管理装置的具体形态不作限定。

下面将结合附图，以容器集群管理装置和容器基础资源管理装置之间的交互为例，对本申请实施例提供的方法进行展开说明。

可以理解的，本申请实施例中，执行主体可以执行本申请实施例中的部分或全部步骤，这些步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照本申请实施例呈现的不同的顺序来执行，并且有可能并非要执行本申请实施例中的全部操作。

需要说明的是，本申请下述实施例中各个设备之间的消息名字或消息中各参数的名字等只是一个示例，具体实现中也可以是其他的名字，本申请实施例对此不作具体限定。

示例性的，本申请实施例提供的方法可以应用于支持电信网络核心网运行的云计算技术、容器技术和容器集群管理编排技术。特别地，可以用于电信网络容器集群技术。例如，本申请实施例提供的方法可以用于电信网络的基础设施(如电信云容器)集群管理编排技术。

如图4所示，为本申请实施例提供的一种容器集群管理方法，该容器集群管理方法包括如下步骤：

S401、容器集群管理装置获取至少一个声明式描述符。其中，声明式描述符用于声明式描述用户期望的目标容器集群的特性。

可选的，本申请实施例中目标容器集群的特性可以理解为：该目标容器集群的宏观特性，即该目标容器及集群所具有的功能特性。

作为一种可能的实现，至少一个声明式描述符可以由用户输入。例如用户可以通过运营支撑系统(operation support systems，OSS)或NFVO输入至少一个声明式描述符。容器集群管理装置可以从OSS或NFVO获取用户输入的至少一个声明式描述符。

作为另一种可能的实现，用户可以输入目标容器集群所具有的特性，由容器集群管理装置根据该特性，生成描述目标容器集群特性的至少一个声明式描述符；或者，由容器集群管理系统中可以将用户输入的特性转译为声明式描述符的装置或模块，根据该用户输入的目标容器集群所具有的特征生成至少一个声明式描述符。

可选的，声明式描述符可以包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息、或特性管理规则信息中的一项或多项。

其中，部署特性信息用于描述用户对目标容器集群的稳定性的期望声明。

可选的，部署特性信息包括但不限于：目标容器集群的规模、目标容器集群中节点的实现形式、多址方式、管理节点的数量、工作负载节点的数量。示例性的，目标容器集群的规模可以为目标容器集群部署在某园区边缘云、目标容器集群包括5个节点、节点的扩容上限为6个等。其中，管理节点的数量可以为1，其余的节点均为工作负载节点。

其中，多租户特性信息用于描述用户对目标容器集群的多租户特性的期望声明。

可选的，多租户特性信息包括但不限于：目标容器集群的租户认证、租户授权、租户配额、租户的访问控制特性。示例性的，租户配额可以为双租户，该双租户的租户授权可以为租户1授权管理员权限，租户2授权只读工作节点资源权限。

其中，网络特性信息用于描述用户对目标容器集群的网络特性的期望声明。

可选的，网络特性信息包括但不限于：目标容器集群与目标容器集群外的模块之间、目标容器集群中的节点之间以及目标容器集群中不同租户之间的网络转发特性、负载均衡特性、网络隔离特性。示例性的，网络隔离特性可以为目标容器集群的控制节点与工作负载执行网络隔离。

其中，存储特性信息用于描述用户对目标容器集群的存储资源的期望声明。

可选的，存储特性信息包括但不限于：目标容器集群存储方案的拓扑特性、存储的延迟要求以及存储的配额特性。示例性的，存储的配额特性可以为目标容器集群的控制节点需独享存储。

其中，编排工具信息用于描述用户对所述目标容器集群上部署的编排工具版本的期望声明。

可选的，编排工具特性信息包括但不限于K8S系统的API版本。示例性的，API版本可以为K8S API v1.24.0。

其中，工作负载特性信息用于描述用户对目标容器集群运行的工作负载的期望声明。

可选的，工作负载特性包括但不限于工作负载的类型、版本信息。示例性的，工作负载的类型可以为预定容量的用户平面功能(user plane function，UPF)模块。其中UPF模块可以用于将数据从基站转发至网络。

其中，特性管理规则信息用于描述用户对目标容器集群的多个特性间关系规则的期望声明。

可选的，特性管理规则信息包括各个特性之间的优先级、各个特性之间意图冲突的警告形式。示例性的，各个特性之间意图冲突的警告形式可以为各个特性之间存在冲突时，暂停执行相关操作，等待用户等相关人员的介入。

S402、容器集群管理装置获取至少一个声明式描述符对应的容器集群资源描述符。其中，容器集群资源描述符用于指示目标容器集群对应的资源配置。

可选的，容器集群资源描述符包括容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符、守护进程描述符、访问控制描述符、或特定资源描述符中的一项或多项。其中容器集群增强描述符、守护进程描述符、访问控制描述符、特定资源描述符可以统称为MCCO描述符。

其中，容器集群描述符用于描述目标容器集群的配置信息。

可选的，容器集群描述符包括但不限于容器集群中管理节点的容器实例数和/或实例数的上下限、容器集群中工作节点中容器实例数和/或实例数的上下限、容器集群中节点之间的亲和/反亲和性质、容器集群之间的亲和/反亲和性质、容器集群的存储资源清单、存储资源之间的亲和/反亲和性质、容器集群的网络资源清单、网络资源之间的亲和/反亲和性质、主备地址信息、容器集群适用的容器基础资源管理器版本信息。示例性的，管理节点的容器实例数可以为5个，实例数的扩容上线可以为7个。

其中，容器集群节点描述符用于描述目标容器集群中节点的配置信息。

可选的，容器集群节点描述符包括但不限于容器集群节点初始化的相关信息、节点的特性、节点相关软件的镜像信息。示例性的，节点的特性可以为节点为控制节点。

其中，容器集群节点资源描述符用于描述目标容器集群中节点资源的配置信息。

可选的，容器集群节点资源描述符包括但不限于容器集群节点资源整体特性、节点中可用的计算资源信息、节点中可用的网络资源信息、节点中可用的存储资源信息、节点适用的容器基础资源管理器版本信息。示例性的，容器集群节点资源整体特性可以为节点为虚拟机，或者节点为裸金属。

其中，容器集群增强描述符用于描述用户向目标容器集群加载的新增资源的配置信息。

本申请实施例中的增加目标容器集群的配置信息可以理解为：为目标容器集群增加一种新类型资源的配置信息。

可选的，容器集群增强描述符包括但不限于自定义的容器集群特性和/或资源。示例性的，容器集群增强描述符可以描述目标容器集群的部署位置。

其中，守护进程描述符用于描述在目标容器集群中作为后台运行的一个或多个进程(称为后台进程)的配置信息。

本申请实施例中的在目标容器集群中作为后台运行的一个或多个进程可以理解为：在目标容器集群运行的过程中，周期性的执行守护性任务，直到目标容器集群终止的进程。

或者，也可以理解为：在目标容器集群运行的过程中，实时监控目标容器集群中运行非后台进程，协助该非后台进程完成运行的进程。

可选的，守护进程描述符包括但不限于守护进程资源。示例性的，在目标容器集群中的需要增加守护进程时，守护进程描述符可以为进程1对应的守护进程资源。

其中，访问控制描述符用于描述不同用户角色对目标容器集群的访问权限配置信息。

可选的，访问权限包括但不限于不同用户角色的访问控制权限和/或资源，示例性的，访问权限可以为管理员权限。

其中，特定资源描述符用于变更目标容器集群中部分或全部节点的存储和/或网络资源信息。

可选的，特定资源描述符包括但不限于容器集群节点或容器的存储特征和/或网络特征。示例性的，容器集群节点的存储特征可以为节点需独享存储。

需要说明的是，本申请实施例中容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符的详细功能描述可参考ETSI GS NFV-IFA036标准文本，在此不做赘述。

在本申请实施例中，容器集群资源描述符可以理解为能够被容器集群管理装置识别并处理的信息，不同类型的容器集群资源描述符的数据格式可以不同。此外，容器基础资源管理装置可能无法识别的容器集群资源描述符，因此在步骤S402之后，可以执行步骤S403：

S403、容器集群管理装置生成容器集群资源描述符对应的容器集群资源描述清单。其中，容器集群资源描述清单用于指示目标容器集群所需的资源。

其中，容器集群资源描述清单可以理解为能够被容器基础资源管理装置识别的信息。

可选的，该步骤S403也可以理解为容器集群管理装置对容器集群资源描述符的格式转换。即，容器集群管理装置对容器集群资源描述符的格式进行转换，得到容器基础资源管理装置能够识别的容器集群资源描述清单。

示例性的，容器集群资源描述清单的数据格式可以为另一种标记语言(yaml ain't markup language，YAML)格式。

S404、容器集群管理装置向目标容器集群的容器基础资源管理装置发送容器集群资源配置清单。相应的，目标容器集群的容器基础资源管理装置接收来自容器集群管理装置的容器集群资源配置清单。其中，容器基础资源管理装置用于管理和调度容器集群资源。

S405、容器基础资源管理装置根据容器集群资源描述清单，对目标容器集群进行管理。

可选的，容器基础资源管理装置根据容器集群资源描述清单，持续保持目标容器集群所需的资源配置。

本申请实施例中的持续保持可以理解为：持续监听目标容器集群所需的资源配置是否正常运行，在目标容器集群所需的资源配置未能正常的运行的情况下，目标容器集群的容器基础资源管理装置修正该未能正常的运行资源，使其正常运行。

本申请提供的容器集群管理方法，由于容器集群管理装置能够将声明式描述符对应到容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符中的至少一项，并根据匹配结果生成目标容器集群的容器基础资源管理装置可识别的容器集群资源描述清单，使得目标容器集群的容器基础资源管理装置可以根据该容器集群资源描述清单实现对目标容器集群的管理。因此，用户无需逐一描述实现管理目标容器集群的容器集群资源的配置信息，即用户只需声明目标容器集群的终态特性，容器集群管理装置可以相应匹配实现该特性的容器集群资源描述符。提高了容器集群管理自动化水平，降低了用户的操作难度，使得用户体验提升。

示例性的，以图4所示的方法应用到K8S系统为例，K8S系统中基于图4所示方法的容器集群管理的流程可以包括：用户输入根据自身期望描述目标容器集群特性的至少一个声明式描述符；K8S系统中的CCM接收该声明式描述符，并对该至少一个声明式描述符进行解析，将其与容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符匹配，得到容器集群资源描述符；获取容器集群资源描述符对应的CISM可执行的容器集群资源描述清单；并将向目标容器集群的CISM发送该容器集群资源描述清单；该CISM通过该容器集群资源描述清单初始化或动态管理目标容器集群。

可选的，声明式描述符中各个信息与容器集群描述符的对应关系可以如图5所示。参见图5：

可选的，部署特性信息可以对应容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符中的一项或多项。

示例性的，在部署特性信息包括：目标容器集群部署在某园区边缘云、目标容器集群包括5个节点、节点的扩容上线上限为6个，节点中包括一个控制节点、其余的节点均为工作负载节点的情况下，根据图5以及上述表1与表2描述的内容可知：该部署特性信息中的5个节点可以对应容器集群描述符中的节点的实例数，节点的扩容上限为6个可以对应节点实例数的扩容上限。此外，该部署特性信息中的节点包括一个控制节点、其余的节点均为工作负载节点可以对应容器集群节点描述符中的节点特性。即节点特性为控制功能与工作负载功能，具有控制功能的节点即为控制节点，具有工作负载功能的节点即工作负载节点，且控制节点的实例数为1个，工作负载节点的实例数为4个。

此外，该部署特性信息中的5个节点分别对应的资源可以对应容器集群节点资源描述符中的节点中可用的计算资源信息、节点中可用的网络资源信息、节点中可用的存储资源信息。即节点中可用的计算资源信息、节点中可用的网络资源信息、节点中可用的存储资源信息为控制节点与工作负载节点可用的计算资源信息、网络资源信息、存储资源信息。

可选的，多租户特性信息可以对应访问控制描述符和/或容器集群增强描述符。

示例性的，在多租户特性信息包括：设置双租户，其中，租户1授权管理员权限，租户2授权只读工作节点资源权限的情况下，根据图5以及上述表1与表2描述的内容可知：该多租户特性信息中的租户1授权管理员权限，租户2授权只读工作节点资源权限可以对应访问控制描述符中的不同角色的访问控制，即租户1访问权限为管理员权限，租户2的访问权限为只读工作节点资源权限。

可选的，网络特性信息可以对应特定资源描述符。

示例性的，在网络特性信息包括：目标容器集群的控制节点与工作负载执行网络隔离的情况下，根据图5以及上述表1与表2描述的内容可知：该网络特性信息中的控制节点与工作负载执行网络隔离可以对应特定资源描述符中的节点的网络特性，即各类节点之间的网络特性为网络隔离。

可选的，存储特性信息可以对应特定资源描述符。

示例性的，在存储特性信息包括：目标容器集群的控制节点需独享存储的情况下，根据图5以及上述表1与表2描述的内容可知：该存储特性信息中的控制节点需独享存储可以对应特定资源描述符中的节点的存储特性，即节点的存储特性为控制节点需独享存储。

可选的，编排工具信息可以对应容器集群描述符和/或容器集群节点描述符。

示例性的，在编排工具特性信息包括：K8S API v1.24.0的情况下，根据图5以及上述表1与表2描述的内容可知：该编排工具特性信息中的K8S API v1.24.0可以对应容器集群描述符中的容器集群适用的容器基础资源管理器版本信息，即容器集群适用版本信息为K8S API v1.24.0。或者，该编排工具特性信息中的K8S API v1.24.0还可以对应集群节点描述符中的节点适用的容器基础资源管理器版本信息，其中节点适用的容器基础资源管理器版本信息为K8S API v1.24.0。

可选的，工作负载信息可以对应守护进程描述符和/或集群节点描述符。

示例性的，在工作负载信息包括：预定容量UPF模块的情况下，根据图5以及上述表1与表2描述的内容可知：该工作负载信息中的预定容量的UPF模块可以对应容器集群节点描述符中的节点初始化的相关信息，即节点初始化的相关信息为工作负载节点包括预定容量的UPF模块。或者，该工作负载信息的预定容量的UPF模块还可以对应守护进程描述符中的守护进程资源，其中守护进程资源为在工作复杂节点运行的过程中启动守护进程。

可选的，特性管理规则信息可以对应容器集群增强描述符。

示例性的，在特性管理规则信息包括：各个特性之间存在冲突时，暂停执行相关操作，等待相关人员的介入的情况下，根据图5以及上述表1与表2描述的内容可：该特性管理规则信息中的各个特性之间存在冲突时，暂停执行相关操作，等待相关人员的介入可以对应容器集群增强描述符中的自定义容器集群特性，即自定义容器集群特性为各个特性之间存在冲突时，暂停执行相关操作，等待相关人员的介入。

基于该方案，本申请实施例中的容器集群管理装置通过将声明式描述符中描述目标容器集群的各个特性信息与容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符分别对应，得到容器基础设施管理装置可识别的容器集群资源描述符。将本该由用户操作的步骤，转由容器集群管理装置操作，降低了用户操作的复杂度，提升了容器集群管理的自动化水平，进而提升了用户体验。

此外，通过上述对应关系，相比于由用户手动匹配，可以提高解析的准确度，提升容器集群管理效率。原因在于：用户可能缺乏相关知识，从而出现匹配错误。

以上对声明式描述符中的各个特性信息的容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符之间的匹配关系进行了说明，下面对多个声明式描述符之间的结构关系进行介绍。示例性的，多个声明式描述符之间可以包括如下两种结构关系：

第一种结构关系：多个声明式描述符之间的结构关系可以为平行结构关系。

其中，两个声明式描述符之间的结构关系为平行结构关系时，两个声明式描述符互不影响。示例性的，若第一个声明式描述符包括部署特性信息、多租户特性信息以及网络特性信息，第二个声明式描述符包括存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息，则表示为第一个声明式描述符与第二个声明式描述符的结构关系为平行结构关系。

基于该第一种结构关系，多个声明式描述符之间的结构关系为平行结构关系时，表示多个声明式描述符之间不影响，此时可以分别对各个声明式描述符直接执行如图6所示的后续步骤S402-S403。并且，基于平行结构关系，降低了本申请实施例的容器集群管理的复杂度，简化了容器集群管理过程的步骤，进一步加快了系统的运行效率。

第二种结构关系：多个声明式描述符之间的结构关系可以为层级结构关系。

其中，两个声明式描述符之间的结构关系为层级结构关系时，两个声明式描述符之间存在关联。

示例性的，若第一个声明式描述符包括部署特性信息、多租户特性信息、网络特性信息以及第一存储特性信息，第二个声明式描述符包括第二存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息，且第二部分存储特性信息为对第一部分存储特性信息的具体说明或补充说明。则表示为第一个声明式描述符与第二个声明式描述符存在关联，即第一个声明式描述符与第二个声明式描述符之间的结构关系为层级结构关系。

可选的，若多个声明式描述符之间为层级结构关系，如图6所示，在步骤S402之前，本申请实施例提供的容器集群管理方法还可以包括如下步骤S406-408：

S406、容器集群管理装置确定多个声明式描述符中类型相同的信息描述的特性是否冲突。

以上述示例为例，在第一个声明式描述符与第二个声明式描述符之间的结构关系为层级结构关系，且第二个声明式描述符中的第二存储特性信息为对第一个声明式描述符中第一存储特性信息的具体说明或补充说明的情况下，若第一个声明式描述符中部分存储特性信息指示目标容器集群的控制节点需独享存储，第二个声明式描述符中部分存储特性信息指示目标容器集群的控制节点与工作负载节点可以共享存储，此时第一个声明式描述符与第二个声明式描述符对存储特性的描述存在冲突。

或者，若第一个声明式描述符中部分存储特性信息包括目标容器集群的控制节点需独享存储，第一个声明式描述符中部分存储特性信息包括目标容器集群的控制节点与工作负载节点均需独享存储，此时第一个声明式描述符与第二个声明式描述符对存储特性的描述不存在冲突。

可选的，在多个声明式描述符的特性存在冲突的情况下，可以执行如图6所示的步骤S407：

S407、容器集群管理装置向运营支撑系统或网络功能虚拟化编排器发送冲突信息。相应的，运营支撑系统或网络功能虚拟化编排器接收来自容器集群管理装置的冲突信息。

其中，冲突信息可以包括对多个声明式描述符之间存在冲突的说明。

以上述示例为例，在第一个声明式描述符与第二个声明式描述符之间的结构关系为层级结构关系，且第一个声明式描述符中部分存储特性信息包括集群的控制节点需独享存储，第二个声明式描述符中部分存储特性信息包括目标容器集群的控制节点与工作负载节点可以共享存储的情况下，此时容器集群管理装置向运营支撑系统或网络功能虚拟化编排器发送的冲突信息可以包括‘控制节点需独享存储’与‘控制节点与工作负载节点可以共享存储’冲突；或者还可以包括存储信息特性冲突的声明式描述。

可选的，运营支撑系统或网络功能虚拟化编排器可以通过人机界面发送自然语言文本消息显示冲突信息。

示例性的，发送的自然语言文本消息可以显示包括‘控制节点需独享存储’与‘控制节点与工作负载节点可以共享存储’冲突的冲突信息，使得用户通过人机界面获知冲突原因。

可选的，在多个声明式描述符的特性不存在冲突的情况下，可以执行如图6所示的步骤S408：

S408、容器集群管理装置将多个声明式描述符调整为一个声明式描述符或平行结构关系的多个声明式描述符。

可选的，容器集群管理装置可以根据预设规则进行调整。预设规则可以包括：根据声明式描述符所描述的特性，将各个声明式描述符中描述不同特性的信息进行拆分，再将描述相同特性的信息进行合并，使每一声明式描述符描述一种特性；或者，将所有的描述特性的信息均合并在一声明式描述符中。

作为一种实现的可能，可以将容器集群管理装置可以将多个声明式描述符分别描述的目标容器集群的特性进行合并，整理成为一个声明式描述符。之后对该一个声明式描述符执行上述步骤S402-S405。

以上述示例为例，在第一个声明式描述符与第二个声明式描述符之间的结构关系为层级结构关系，且第一个声明式描述符包括部署特性信息、多租户特性信息、网络特性信息以及第一存储特性信息，第二个声明式描述符包括第二存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息的情况下，可以将第一个声明式描述符与第二个声明式描述符分别描述的目标容器集群的特性进行合并，使得第一个声明式描述符或第二个声明式描述符包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息。

作为另一种实现的可能，容器集群管理装置可以将多个声明式描述符调整为平行结构关系的多个声明式描述符。之后对该多个声明式描述符中的每一个声明式描述符分别执行上述步骤S402-S403。

以上述示例为例，在第一个声明式描述符与第二个声明式描述符之间的结构关系为层级结构关系，且第一个声明式描述符包括部署特性信息、多租户特性信息、网络特性信息以及第一存储特性信息，第二个声明式描述符包括第二存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息的情况下，可以将第一个声明式描述符与第二个声明式描述符分别描述的目标容器集群的存储特性进行合并，使得第一个声明式描述符包括部署特性信息、多租户特性信息、网络特性信息以及存储特性信息；相应的，第二个声明式描述符包括编排工具信息、工作负载特性信息以及特性管理规则信息。

或者，第一个声明式描述符包括部署特性信息、多租户特性信息以及网络特性信息；相应的，第二个声明式描述符包括存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息。

或者，还可以将第一个声明式描述符与第二个声明式描述符分别描述的目标容器集群的存储特性单独整理为第三个声明式描述符，使得第一个声明式描述符包括部署特性信息、多租户特性信息以及网络特性信息；相应的，第二个声明式描述符包括编排工具信息、工作负载特性信息以及特性管理规则信息；第三个声明式描述符包括存储特性信息。

或者，还可以将第一个声明式描述符与第二个声明式描述符分别描述的部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息以及特性管理规则信息分别整理为7个声明式描述符，每一个声明式描述符分别包括一种特性信息。

基于该实现的可能，多个声明式描述符之间的结构关系为层级结构关系时，即表示多个声明式描述符之间存在联系，此时可以将多个声明式描述符调整为一个声明式描述符或平行结构关系的多个声明式描述符，使得容器集群管理装置可以根据平行结构关系的声明式描述符完成与容器集群描述符、容器集群节点描述符、容器集群节点资源描述符以及MCCO描述符之间的匹配，相较于根据层级结构关系对声明式描述符的匹配，基于平行结构关系降低了容器集群管理系统解析、匹配的复杂度，加快了容器集群管理系统的效率。

需要说明的是，本申请实施例仅针对两个声明式描述符之间的结构关系进行示例性的说明，对两个以上的多个声明式描述符之间的结构关系的确定，与对两个声明式描述符之间的结构关系的确定方式类似，本申请实施例在此不做赘述。

可选的，在上述步骤S404之前，容器集群管理装置可以先确定目标容器集群的容器基础资源管理装置。

作为第一种实现的可能，容器集群管理装置为目标容器集群初始化容器基础资源管理装置。即，容器集群管理装置在目标容器集群没有可用的容器基础资源管理装置时，可以为目标容器集群初始化其容器基础资源管理装置。

基于该实现的可能，容器集群管理装置在根据步骤S403获得容器集群资源描述清单后，在当前没有安装容器基础资源管理装置的容器集群中安装容器基础资源管理装置，进而实现容器集群管理装置向目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，不必等待用户手工在容器集群中安装容器基础资源管理装置，简化了容器集群管理的流程，加快了容器集群管理的效率。

作为第二种实现的可能，容器集群管理装置将已存在的容器集群的容器基础资源管理装置作为目标容器集群的容器基础资源管理装置。

可选的，基于该第二种实现的可能，在步骤S404之前，如图7所示，本申请实施例提供的容器集群管理方法还可以包括的步骤S409：

S409、容器集群管理装置获取第一容器集群的信息。

示例性的，运营支撑系统或网络功能虚拟化编排器可以向容器集群管理装置发送第一容器集群的信息。相应的，容器集群管理装置获取来自运营支撑系统或网络功能虚拟化编排器的第一容器集群的信息。其中，运营支撑系统或网络功能虚拟化编排器获取的第一容器集群的信息可以是用户输入的。

示例性的，第一容器集群的信息包括但不限于第一容器集群的容器集群名称、第一容器集群的资源配置信息。

在步骤S409之后，还可以执行如图7所示的步骤S410：

步骤S410、容器集群管理装置确定第一容器集群是否支持特征变更。

可选的，容器集群管理装置可以根据第一容器集群的资源确定第一容器集群是否支持特征变更。

示例性的，容器集群管理装置可以判断第一容器集群的资源是否被其他用户占用，在第一容器集群的资源被其他用户占用的情况下，表示第一容器集群不支持特征变更；在第一容器集群的资源未被其他用户占用的情况下，表示第一容器集群支持特征变更。

在步骤S410之后，还可以执行如图7所示的步骤S411：

步骤S411、在第一容器集群支持特征变更的情况下，容器集群管理装置将第一容器集群的容器基础资源管理装置作为目标容器集群的容器基础资源管理装置。

可选的，在第一容器集群没有其对应的容器基础资源管理装置的情况下，容器集群管理装置可以初始化第一容器集群的容器基础资源管理装置。

可选的，在第一容器集群不支持特征变更的情况下，容器集群管理装置向运营支撑系统或网络功能虚拟化编排器反馈第一容器集群不能用于本申请实施例提供的容器集群管理方法。

示例性的，在第一容器集群不支持特征变更的情况下，容器集群管理装置可以向用户反馈第一容器集群不能用于本申请实施例提供的容器集群管理方法，等待用户的后续操作；或者容器集群管理装置还可以初始化获得目标容器集群的容器基础资源管理装置，使得容器集群管理装置向目标容器集群的容器基础资源管理装置发送容器集群资源描述清单。

基于该实现的可能，在容器集群管理装置根据第一容器集群的信息，判断第一容器集群是否支持特征变更，在第一容器集群支持特征变更的情况下，将第一容器集群的容器基础资源管理装置作为目标容器集群的容器基础资源管理装置，并向该目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，使得本申请实施例提供的容器集群管理方法通过对指定的容器集群的特征变更，进而实现对目标容器集群的管理，增加了本申请实施例提供的多样性。

需要说明的是，图7所示的步骤S401-S411仅示例性的描述集群管理的流程。其中，步骤S409-S411和步骤S401-S403之间并不限定执行先后顺序。示例性的，步骤S409-S411可以在步骤S401-S403之前执行；或者，步骤S409-S411可以在步骤S401-S403之后执行；或者，步骤S409-S411可以和步骤S401-S403同时执行。

此外，基于该第二种实现的可能，在步骤S404之前，如图8所示，本申请实施例提供的容器集群管理方法还可以包括的步骤S412：

步骤S412、容器集群管理装置根据至少一个声明式描述符，确定支持特征变更的第二容器集群。

可选的，容器集群管理装置可以根据至少一个声明式描述符中的部署特性信息，确定支持特征变更的第二容器集群。

示例性的，容器集群管理装置可以根据部署特性信息，遍历容器集群资源池中的所有容器集群，找到符合该部署特性信息所要求的容器集群，并判断符合该部署特性信息的容器集群是否被其他用户占用，将未被其他用户占用的符合该部署特性信息所要求的容器集群确定为支持特征变更的第二容器集群。

其中，若未被其他用户占用的符合该部署特性信息所要求的容器集群的数量为多个，可以将该多个未被其他用户占用的符合该部署特性信息所要求的容器集群的相关信息反馈至用户，由用户在多个未被其他用户占用的符合该部署特性信息所要求的容器集群中确定支持特征变更的第二容器集群。

或者，若未被其他用户占用的符合该部署特性信息所要求的容器集群的数量为多个，还可以由容器集群管理装置在多个未被其他用户占用的符合该部署特性信息所要求的容器集群中随机确定支持特征变更的第二容器集群。

可选的，容器集群管理装置根据至少一个声明式描述符对应的容器资源描述符，确定支持特征变更的第二容器集群。

示例性的，容器集群管理装置可以根据至少一个声明式描述符中部署特性信息匹配对应的容器资源描述符，确定支持特征变更的第二容器集群。例如，容器集群管理装置可以根据部署特性信息匹配对应的容器资源描述符，遍历容器集群资源池中的所有容器集群，找到符合该容器资源描述符的容器集群，并判断符合该容器资源描述符的容器集群是否被其他用户占用，将未被其他用户占用的符合该容器资源描述符的容器集群确定为支持特征变更的第二容器集群。

其中，若未被其他用户占用的符合该容器资源描述符的容器集群的数量为多个，可以将该多个未被其他用户占用的符合该容器资源描述符的容器集群的相关信息反馈至用户，由用户在多个未被其他用户占用的符合该容器资源描述符的容器集群中确定支持特征变更的第二容器集群。

或者，若未被其他用户占用的符合该容器资源描述符的容器集群的数量为多个，还可以由容器集群管理装置在多个未被其他用户占用的符合该容器资源描述符的容器集群中随机确定支持特征变更的第二容器集群。

此外，基于该第二种实现的可能，在步骤S404之前，如图8所示，本申请实施例提供的容器集群管理方法还可以包括的步骤S413：

步骤S413、容器集群管理装置选定一种标签类型信息，并根据该标签类型信息，确定支持特征变更的第二容器集群。

示例性的，容器集群管理装置可以随机选定一种标签类型信息，并根据该标签类型信息，遍历容器集群资源池中的所有容器集群，找到符合与该标签类型信息一致的标签对应容器集群，并判断与该标签信息一致的标签对应容器集群是否被其他用户占用，将未被其他用户占用的与该标签类型信息一致的标签对应容器集群确定为支持特征变更的第二容器集群。

其中，若未被其他用户占用的与该标签类型信息一致的标签对应容器集群的数量为多个，可以将该多个未被其他用户占用的与该标签类型信息一致的标签对应容器集群的相关信息反馈至用户，由用户在多个未被其他用户占用的与该标签类型信息一致的标签对应容器集群中确定支持特征变更的第二容器集群。

或者，若未被其他用户占用的与该标签类型信息一致的标签对应容器集群的数量为多个，还可以由容器集群管理装置在多个未被其他用户占用的与该标签类型信息一致的标签对应容器集群中随机确定支持特征变更的第二容器集群。

可选的，基于上述的标签类型信息，容器集群管理装置还可以根据标签中用于指示该容器集群是否支持特征变更的字段，确定支持特征变更的第二容器集群。

示例性的，根据上述示例容器集群管理装置根据标签类型信息，找到符合与该标签类型信息一致的标签对应容器集群后，还可以根据标签中用于指示该容器集群是否支持特征变更的字段，确定支持特征变更的第二容器集群。其中，标签中用于指示该容器集群是否支持特征变更的字段为第一数值时，表示为该容器集群支持特征变更，相应的，标签中用于指示该容器集群是否支持特征变更的字段为第二数值时，表示为该容器集群不支持特征变更。

或者，标签中用于指示该容器集群是否支持特征变更的字段为第一数值时，表示为该容器集群不支持特征变更，相应的，标签中用于指示该容器集群是否支持特征变更的字段为第二数值时，表示为该容器集群支持特征变更。其中，第一数值可以为1，相应的，第二数值可以为0；或者第一数值可以为0，相应的，第二数值可以为1。

需要说明的是，上述仅并列性的描述了三种确定第二容器集群的方案，本申请实施例还可以将上述三种确定第二容器集群的方案结合使用，其实现方式与上述示例类似，本申请在此不做赘述。

在步骤S412之后，还可以执行如图8所示的步骤S414：

步骤S414、容器集群管理装置将第二容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

可选的，在第二容器集群没有其对应的容器基础资源管理装置的情况下，容器集群管理装置可以初始化第二容器集群的容器基础资源管理装置。

基于该实现的可能，在容器集群管理装置根据容器集群资源描述符，在已有容器集群中确定支持特征变更的第二容器集群，并将第二容器集群的容器基础资源管理装置作为目标容器集群的容器基础资源管理装置，并向该目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，使得本申请实施例提供的容器集群管理方法通过对已有容器集群的特征变更，进而实现对目标容器集群的管理，增加了本申请实施例提供的多样性。

需要说明的是，图8所示的步骤S401-S414仅示例性的描述集群管理的流程。其中，步骤S412-S414和步骤S403之间并不限定执行先后顺序。示例性的，步骤S412-S414可以在步骤S403之前执行；或者，步骤S412-S414可以在步骤S403之后执行；或者，步骤S412-S414可以和步骤S403同时执行。

基于上述第二种实现的可能，容器基础资源管理装置可以根据容器集群资源描述清单，将第一容器集群或第二容器集群的特征变更为目标容器集群的特征，并持续保持目标容器集群所需的资源配置。

基于该实现的可能，容器基础资源管理装置可以根据容器集群资源描述清单，对第一容器集群或第二容器集群的资源进行特征变更，将该资源变更为目标容器集群所需的资源，变更后的第一容器集群或第二容器集群即为目标容器集群，此时持续保持目标容器集群所需的资源配置，使得本申请实施例提供的容器集群管理方法通过对已有容器集群的特征变更，进而实现对目标容器集群的管理，增加了本申请实施例提供的多样性。

可选的，在步骤S405后，容器基础资源管理装置还可以向容器集群管理装置发送完成目标容器集群资源配置的第一应答信息，相应的，容器集群管理装置接收来自容器基础资源管理装置的第一应答信息。

可选的，容器集群管理装置根据第一应答信息，向运营支撑系统或网络功能虚拟化编排器发送完成声明式描述符的特性声明的第二应答信息。

示例性的，运营支撑系统或网络功能虚拟化编排器可以通过人机界面以自然语言文本显示第二应答信息，使得用户获知管理结果。

基于该可选的方案，在容器基础资源管理装置完成对目标容器集群的资源配置的情况下，由容器集群管理装置告知用户，已完成声明式描述符的特性声明，提高用户的体验。

可以理解的是，以上各个实施例中，由容器集群管理装置实现的方法和/或步骤，也可以由可用于该容器集群管理装置的部件(例如处理器、芯片、芯片系统、电路、逻辑模块、或软件例如芯片或者电路)实现。

上述主要对本申请提供的方案进行了介绍。相应的，本申请还提供了容器集群管理装置，该容器集群管理装置用于实现上述各种方法。该容器集群管理装置可以为上述方法实施例中的容器集群管理装置，或者包含上述容器集群管理装置，或者为可用于容器集群管理装置的部件，例如芯片或芯片系统。

可以理解的是，该容器集群管理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法实施例对容器集群管理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

容器集群管理装置图9示出了一种容器集群管理装置90的结构示意图。该容器集群管理装置90包括处理模块901和通信模块902。该容器集群管理装置90可以用于实现上述容器集群管理装置的功能。

在一些实施例中，该容器集群管理装置90还可以包括存储模块(图9中未示出)，用于存储程序指令和数据。

在一些实施例中，通信模块902，也可以称为收发单元用以实现发送和/或接收功能。该通信模块902可以由收发电路、收发机、收发器或者通信接口构成。

在一些实施例中，通信模块902，可以包括接收模块和发送模块，分别用于执行上述方法实施例中由容器集群管理装置执行的接收和发送类的步骤，和/或用于支持本文所描述的技术的其它过程；处理模块901，可以用于执行上述方法实施例中由容器集群管理装置执行的处理类(例如确定、生成等)的步骤，和/或用于支持本文所描述的技术的其它过程。

该容器集群管理装置90用于实现上述容器集群管理装置的功能时：

在一些实施例中，通信模块902，用于获取至少一个声明式描述符，声明式描述符用于声明式描述用户期望的目标容器集群的特性。

处理模块901，用于获取至少一个声明式描述符对应的容器集群资源描述符，容器集群资源描述符用于指示目标容器集群对应的资源配置。

处理模块901，还用于生成容器集群资源描述符对应的容器集群资源描述清单，容器集群资源描述清单用于指示目标容器集群所需的资源。

通信模块902，还用于向目标容器集群的容器基础资源管理装置发送容器集群资源描述清单，容器基础资源管理装置用于管理和调度容器集群资源。

可选的，声明式描述符包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息、或特性管理规则信息中的一项或多项，其中，部署特性信息用于描述用户对目标容器集群的稳定性的期望声明，多租户特性信息用于描述用户对目标容器集群的多租户特性的期望声明，网络特性信息用于描述用户对目标容器集群的网络特性的期望声明，存储特性信息用于描述用户对目标容器集群的存储资源的期望声明，编排工具信息用于描述用户对目标容器集群上部署的编排工具版本的期望声明，工作负载特性信息用于描述用户对目标容器集群运行的工作负载的期望声明，特性管理规则信息用于描述用户对目标容器集群的多个特性间关系规则的期望声明。

可选的，容器集群资源描述符包括容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符、守护进程描述符、访问控制描述符、或特定资源描述符中的一项或多项；容器集群描述符用于描述目标容器集群的配置信息，容器集群节点描述符用于描述目标容器集群中节点的配置信息，容器集群节点资源描述符用于描述目标容器集群中节点资源的配置信息，容器集群增强描述符用于描述用户向目标容器集群加载的新增资源的配置信息，守护进程描述符用于描述在目标容器集群中作为后台运行的一个或多个进程的配置信息，访问控制描述符用于描述不同角色对目标容器集群的访问权限配置信息，特定资源描述符用于变更目标容器集群中部分或全部节点的存储和/或网络资源信息。

可选的，在处理模块901中，部署特性信息可以对应容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、或容器集群增强描述符中的一项或多项。

可选的，在处理模块901中，多租户特性信息可以对应访问控制描述符和/或容器集群增强描述符。

可选的，在处理模块901中，网络特性信息可以对应特定资源描述符。

可选的，在处理模块901中，存储特性信息可以对应特定资源描述符。

可选的，在处理模块901中，编排工具信息可以对应容器集群描述符和/或容器集群节点描述符。

可选的，在处理模块901中，工作负载信息可以对应守护进程描述符和/或集群节点描述符。

可选的，在处理模块901中，特性管理规则信息可以对应容器集群增强描述符。

可选的，通信模块902，还用于获取第一容器集群的信息。

处理模块901，还用于确定第一容器集群是否支持特征变更。

处理模块901，还用于在第一容器集群支持特征变更的情况下，将第一容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

可选的，处理模块901，还用于在第一容器集群没有其对应的容器基础资源管理装置的情况下，初始化第一容器集群的容器基础资源管理装置。

可选的，处理模块901，还用于根据声明式描述符，确定支持特征变更的第二容器集群。

处理模块901，还用于将第二容器集群的容器基础资源管理装置确定为目标容器集群的容器基础资源管理装置。

可选的，处理模块901，还用于根据至少一个声明式描述符中的部署特性信息，确定支持特征变更的第二容器集群。

可选的，处理模块901，还用于选定一种标签类型信息，并根据该标签类型信息，确定支持特征变更的第二容器集群。

可选的，处理模块901，还用于根据标签中用于指示该容器集群是否支持特征变更的字段，确定支持特征变更的第二容器集群。

可选的，处理模块901，还用于根据至少一个声明式描述符对应的容器资源描述符，确定支持特征变更的第二容器集群。

可选的，处理模块901，还用于在第二容器集群没有其对应的容器基础资源管理装置的情况下，初始化第二容器集群的容器基础资源管理装置。

可选的，处理模块901，还用于在获取多个声明式描述符之后，在多个声明式描述符之间的结构关系为层级结构关系的情况下，确定多个声明式描述符描述中类型相同的信息描述的特性是否冲突，两个声明式描述符之间的结构关系为层级结构关系时，两个声明式描述符之间存在关联。

处理模块901，还用于在多个声明式描述符描述中类型相同的信息描述的特性不冲突的情况下，将多个声明式描述符调整为一个声明式描述符。

可选的，处理模块901，还用于为目标容器集群初始化容器基础资源管理装置。即，容器集群管理装置在目标容器集群没有可用的容器基础资源管理装置时，可以为目标容器集群初始化其容器基础资源管理装置。

可选的，通信模块902，还用于接收来自容器基础资源管理装置的第一应答信息。

可选的，通信模块902，还用于根据第一应答信息，向运营支撑系统或网络功能虚拟化编排器发送完成声明式描述符的特性声明的第二应答信息。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在本申请中，该容器集群管理装置90可以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定专用集成电路(application-specific integratedcircuit，ASIC)，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。

在一些实施例中，当图9中的容器集群管理装置90是芯片或芯片系统时，通信模块902的功能/实现过程可以通过芯片或芯片系统的输入输出接口(或通信接口)实现，处理模块901的功能/实现过程可以通过芯片或芯片系统的处理器(或者处理电路)实现。

由于本实施例提供的容器集群管理装置90可执行上述方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

作为一种可能的产品形态，本申请实施例所述的容器集群管理装置，还可以使用下述来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

作为又一种可能的产品形态，本申请中的容器集群管理装置可以采用图10所示的组成结构，或者包括图10所示的部件。图10为本申请提供的一种容器集群管理装置1000的组成示意图，该容器集群管理装置1000可以为容器集群管理装置或者容器集群管理装置中的芯片或者片上系统。

如图10所示，该容器集群管理装置1000包括至少一个处理器1001，以及至少一个通信接口(图10中仅是示例性的以包括一个通信接口1004，以及一个处理器1001为例进行说明)。可选的，该容器集群管理装置1000还可以包括通信总线1002和存储器1003。

处理器1001可以是一个通用中央处理器(central processing unit，CPU)、通用处理器、网络处理器(network processor，NP)、数字信号处理器(digital signalprocessing，DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device，PLD)或它们的任意组合。处理器1001还可以是其它具有处理功能的装置，例如电路、器件或软件模块，不予限制。

通信总线1002用于连接容器集群管理装置1000中的不同组件，使得不同组件可以通信。通信总线1002可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口1004，用于与其他设备或通信网络通信。示例性的，通信接口1004可以模块、电路、收发器或者任何能够实现通信的装置。可选的，所述通信接口1004也可以是位于处理器1001内的输入输出接口，用以实现处理器的信号输入和信号输出。

存储器1003，可以是具有存储功能的装置，用于存储指令和/或数据。其中，指令可以是计算机程序。

示例性的，存储器1003可以是只读存储器(read-only memory，ROM)或可存储静态信息和/或指令的其他类型的静态存储设备，也可以是随机存取存储器(random accessmemory，RAM)或可存储信息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或其他磁存储设备等，不予限制。

需要指出的是，存储器1003可以独立于处理器1001存在，也可以和处理器1001集成在一起。存储器1003可以位于容器集群管理装置1000内，也可以位于容器集群管理装置1000外，不予限制。处理器1001，可以用于执行存储器1003中存储的指令，以实现本申请下述实施例提供的方法。

作为一种可选的实现方式，容器集群管理装置1000还可以包括输出设备1005和输入设备1006。输出设备1005和处理器1001通信，可以以多种方式来显示信息。例如，输出设备1005可以是液晶显示器(liquid crystal display，LCD)，发光二极管(light emittingdiode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备1006和处理器1001通信，可以以多种方式接收用户的输入。例如，输入设备1006可以是鼠标、键盘、触摸屏设备或传感设备等。

在一些实施例中，在硬件实现上，本领域的技术人员可以想到上述容器集群管理装置90可以采用图10所示的容器集群管理装置1000的形式。

作为一种示例，图9中的处理模块901的功能/实现过程可以通过图10所示的容器集群管理装置1000中的处理器1001调用存储器1003中存储的计算机执行指令来实现。图9中的通信模块902的功能/实现过程可以通过图10所示的容器集群管理装置1000中的通信接口1004来实现。

需要说明的是，图10所示的结构并不构成对容器集群管理装置的具体限定。比如，在本申请另一些实施例中，容器集群管理装置可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在一些实施例中，本申请实施例还提供一种容器集群管理装置，该容器集群管理装置包括处理器，用于实现上述任一方法实施例中的方法。

作为一种可能的实现方式，该容器集群管理装置还包括存储器。该存储器，用于保存必要的计算机程序和数据。该计算机程序可以包括指令，处理器可以调用存储器中存储的计算机程序中的指令以指令该容器集群管理装置执行上述任一方法实施例中的方法。当然，存储器也可以不在该容器集群管理装置中。

作为另一种可能的实现方式，该容器集群管理装置还包括接口电路，该接口电路为代码/数据读写接口电路，该接口电路用于接收计算机执行指令(计算机执行指令存储在存储器中，可能直接从存储器读取，或可能经过其他器件)并传输至该处理器。

作为又一种可能的实现方式，该容器集群管理装置还包括通信接口，该通信接口用于与该集群管理装置之外的模块通信。

可以理解的是，该容器集群管理装置可以是芯片或芯片系统，该容器集群管理装置是芯片系统时，可以由芯片构成，也可以包含芯片和其他分立器件，本申请实施例对此不作具体限定。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序或指令，该计算机程序或指令被计算机执行时实现上述任一方法实施例的功能。

本申请还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的功能。

本领域普通技术人员可以理解，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

可以理解，本申请中描述的系统、装置和方法也可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。作为单元显示的部件可以是或者也可以不是物理单元。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。本申请实施例中,计算机可以包括前面所述的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (28)

1.一种容器集群管理方法，其特征在于，所述方法包括：

获取至少一个声明式描述符，所述声明式描述符用于声明式描述用户期望的目标容器集群的特性；

获取所述至少一个声明式描述符对应的容器集群资源描述符，所述容器集群资源描述符用于指示所述目标容器集群对应的资源配置；

生成所述容器集群资源描述符对应的容器集群资源描述清单，所述容器集群资源描述清单用于指示所述目标容器集群所需的资源；

向所述目标容器集群的容器基础资源管理装置发送所述容器集群资源配置清单，所述容器基础资源管理装置用于管理和调度容器集群资源。

2.根据权利要求1所述的方法，其特征在于，所述声明式描述符包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息、或特性管理规则信息中的一项或多项，其中，

所述部署特性信息用于描述所述用户对所述目标容器集群的稳定性的期望声明，

所述多租户特性信息用于描述所述用户对所述目标容器集群的多租户特性的期望声明，

所述网络特性信息用于描述所述用户对所述目标容器集群的网络特性的期望声明，

所述存储特性信息用于描述所述用户对所述目标容器集群的存储资源的期望声明，

所述编排工具信息用于描述所述用户对所述目标容器集群上部署的编排工具版本的期望声明，

所述工作负载特性信息用于描述所述用户对所述目标容器集群运行的工作负载的期望声明，

所述特性管理规则信息用于描述所述用户对所述目标容器集群的多个特性间关系规则的期望声明。

3.根据权利要求2所述的方法，其特征在于，所述容器集群资源描述符包括容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符、守护进程描述符、访问控制描述符、或特定资源描述符中的一项或多项；

所述容器集群描述符用于描述所述目标容器集群的配置信息，

所述容器集群节点描述符用于描述所述目标容器集群中节点的配置信息，

所述容器集群节点资源描述符用于描述所述目标容器集群中节点资源的配置信息，

所述容器集群增强描述符用于描述所述用户向所述目标容器集群加载的新增资源的配置信息，

所述守护进程描述符用于描述在所述目标容器集群中作为后台运行的一个或多个进程的配置信息，

所述访问控制描述符用于描述不同角色对所述目标容器集群的访问权限配置信息，

所述特定资源描述符用于变更所述目标容器集群中部分或全部节点的存储和/或网络资源信息。

4.根据权利要求3所述的方法，其特征在于，所述部署特性信息对应所述容器集群描述符、所述容器集群节点描述符、所述容器集群节点资源描述符、或所述容器集群增强描述符中的一项或多项。

5.根据权利要求3或4所述的方法，其特征在于，所述多租户特性信息对应所述访问控制描述符和/或所述容器集群增强描述符。

6.根据权利要求3-5任一项所述的方法，其特征在于，所述网络特性信息对应所述特定资源描述符。

7.根据权利要求3-6任一项所述的方法，其特征在于，所述存储特性信息对应所述特定资源描述符。

8.根据权利要求3-7任一项所述的方法，其特征在于，所述编排工具信息对应所述容器集群描述符和/或所述容器集群节点描述符。

9.根据权利要求3-8任一项所述的方法，其特征在于，所述工作负载信息对应所述守护进程描述符和/或所述集群节点描述符。

10.根据权利要求3-9任一项所述的方法，其特征在于，所述特性管理规则信息对应所述容器集群增强描述符。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

获取第一容器集群的信息；

确定所述第一容器集群是否支持特征变更；

在所述第一容器集群支持特征变更的情况下，将所述第一容器集群的容器基础资源管理装置确定为所述目标容器集群的容器基础资源管理装置。

12.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

根据所述至少一个声明式描述符，确定支持特征变更的第二容器集群；

将所述第二容器集群的容器基础资源管理装置确定为所述目标容器集群的容器基础资源管理装置。

13.根据权利要求1-12任一项所述的方法，其特征在于，在获取多个声明式描述符之后，所述方法包括：

在所述多个声明式描述符之间的结构关系为层级结构关系的情况下，确定所述多个声明式描述符描述中类型相同的信息描述的特性是否冲突；两个声明式描述符之间的结构关系为所述层级结构关系时，所述两个声明式描述符之间存在关联；

在所述多个声明式描述符描述中类型相同的信息描述的特性不冲突的情况下，将所述多个声明式描述符调整为一个声明式描述符。

14.一种容器集群管理装置，其特征在于，所述装置包括：处理模块和通信模块，其中，

容器集群管理装置中的通信模块用于获取至少一个声明式描述符，所述声明式描述符用于声明式描述用户期望的目标容器集群的特性；

所述容器集群管理装置中的处理模块用于获取所述至少一个声明式描述符对应的容器集群资源描述符，所述容器集群资源描述符用于指示所述目标容器集群对应的资源配置；

所述处理模块还用于生成所述容器集群资源描述符对应的容器集群资源描述清单，所述容器集群资源描述清单用于指示所述目标容器集群所需的资源；

所述通信模块还用于向所述目标容器集群的容器基础资源管理装置发送所述容器集群资源描述清单，所述容器基础资源管理装置用于管理和调度容器集群资源。

15.根据权利要求14所述的装置，其特征在于，所述声明式描述符包括部署特性信息、多租户特性信息、网络特性信息、存储特性信息、编排工具信息、工作负载特性信息、或特性管理规则信息中的一项或多项，其中，

所述部署特性信息用于描述所述用户对所述目标容器集群的稳定性的期望声明，

所述多租户特性信息用于描述所述用户对所述目标容器集群的多租户特性的期望声明，

所述网络特性信息用于描述所述用户对所述目标容器集群的网络特性的期望声明，

所述存储特性信息用于描述所述用户对所述目标容器集群的存储资源的期望声明，

所述编排工具信息用于描述所述用户对所述目标容器集群上部署的编排工具版本的期望声明，

所述工作负载特性信息用于描述所述用户对所述目标容器集群运行的工作负载的期望声明，

所述特性管理规则信息用于描述所述用户对所述目标容器集群的多个特性间关系规则的期望声明。

16.根据权利要求15所述的装置，其特征在于，所述容器集群资源描述符包括容器集群描述符、容器集群节点描述符、容器集群节点资源描述符、容器集群增强描述符、守护进程描述符、访问控制描述符、或特定资源描述符中的一项或多项；

所述容器集群描述符用于描述所述目标容器集群的配置信息，

所述容器集群节点描述符用于描述所述目标容器集群中节点的配置信息，

所述容器集群节点资源描述符用于描述所述目标容器集群中节点资源的配置信息，

所述容器集群增强描述符用于描述所述用户向所述目标容器集群加载的新增资源的配置信息，

所述守护进程描述符用于描述在所述目标容器集群中作为后台运行的一个或多个进程的配置信息，

所述访问控制描述符用于描述不同角色对所述目标容器集群的访问权限配置信息，

所述特定资源描述符用于变更所述目标容器集群中部分或全部节点的存储和/或网络资源信息。

17.根据权利要求16所述的装置，其特征在于，所述部署特性信息对应所述容器集群描述符、所述容器集群节点描述符、所述容器集群节点资源描述符、所述容器集群增强描述符中的一项或多项。

18.根据权利要求16或17所述的装置，其特征在于，所述多租户特性信息对应所述访问控制描述符和/或所述容器集群增强描述符。

19.根据权利要求16-18任一项所述的装置，其特征在于，所述网络特性信息对应所述特定资源描述符。

20.根据权利要求16-19任一项所述的装置，其特征在于，所述存储特性信息对应所述特定资源描述符。

21.根据权利要求16-20任一项所述的装置，其特征在于，所述编排工具信息对应所述容器集群描述符和/或所述容器集群节点描述符。

22.根据权利要求16-21任一项所述的装置，其特征在于，所述工作负载信息对应所述守护进程描述符和/或所述容器集群节点描述符。

23.根据权利要求16-22任一项所述的装置，其特征在于，所述特性管理规则信息对应所述容器集群增强描述符。

24.根据权利要求14-23任一项所述的装置，其特征在于，所述装置还包括：

所述通信模块还用于获取第一容器集群的信息；

所述处理模块还用于确定所述第一容器集群是否支持特征变更；

所述处理模块还用于在所述第一容器集群支持特征变更的情况下，将所述第一容器集群的容器基础资源管理装置确定为所述目标容器集群的容器基础资源管理装置。

25.根据权利要求14-23任一项所述的装置，其特征在于，所述装置还包括：

所述处理模块还用于根据所述声明式描述符，确定支持特征变更的第二容器集群；

所述处理模块还用于将所述第二容器集群的容器基础资源管理装置确定为所述目标容器集群的容器基础资源管理装置。

26.根据权利要求14-25任一项所述的装置，其特征在于，在获取多个声明式描述符之后，所述装置包括：

所述处理模块还用于在所述多个声明式描述符之间的结构关系为层级结构关系的情况下，确定所述多个声明式描述符描述中类型相同的信息描述的特性是否冲突，两个声明式描述符之间的结构关系为所述层级结构关系时，所述两个声明式描述符之间存在关联；

所述处理模块还用于在所述多个声明式描述符描述中类型相同的信息描述的特性不冲突的情况下，将所述多个声明式描述符调整为一个声明式描述符。

27.一种容器集群管理装置，其特征在于，所述容器集群管理装置包括处理器；所述处理器，用于运行计算机程序或指令，以使所述容器集群管理装置执行如权利要求1-13任一项所述的方法，或者，所述容器集群管理装置运行如权利要求14-26任一项所述的装置。

28.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机指令或程序，当计算机指令或程序在计算机上运行时，使得如权利要求1-13任一项所述的方法被执行，或者，如权利要求14-26任一项所述的装置被执行。