CN114666215A - 一种应用跨集群弹性伸缩的方法、系统、介质和电子设备 - Google Patents

Abstract

本申请提供了一种应用跨集群弹性伸缩的方法、系统、计算机可读存储介质和电子设备。该方法包括：根据集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部应用实例在多个集群中进行部署；响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。籍此，通过编写集群弹性伸缩策略配置文件，来对多集群中的全部应用实例进行统一部署，并且在集群或应用实例的运行状态发生变化时，能够对全部应用实例自动进行跨集群弹性伸缩，从而实现对多集群中的全部应用实例的统一管理。

Description

一种应用跨集群弹性伸缩的方法、系统、介质和电子设备

技术领域

本申请涉及云原生技术领域，特别涉及一种应用跨集群弹性伸缩的方法、系统、计算机可读存储介质和电子设备。

背景技术

随着云原生技术的普及，越来越多的企业开始采用同城多活或者异地多活的部署方式来搭建应用，即建立多个数据中心，每个数据中心设置多个服务器节点，单个数据中心中的全部服务器节点部署一套Kubernetes系统，作为一个Kubernetes集群，将应用所对应的多个应用实例部署在多个Kubernetes集群中，同时对外部访问流量进行响应。

集群联邦管理员(即多集群管理员)在将应用部署在多个Kubernetes集群中时，通常会分别设置部署在不同Kubernetes集群中的应用实例的数量，随着应用的外部访问流量的变化，集群联邦管理员需要根据外部访问流量的变化手动调整每个集群中的应用实例的数量。一旦出现外部访问流量大幅度变化或集群故障，集群联邦管理员需要对相关集群挨个手动操作，来调整相关集群中的应用实例的数量。

因此，需要提供一种针对上述现有技术不足的改进技术方案。

发明内容

本申请的目的在于提供一种应用跨集群弹性伸缩的方法、系统、计算机可读存储介质和电子设备，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本申请提供如下技术方案：

本申请实施例提供一种应用跨集群弹性伸缩的方法，包括：根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部所述应用实例在多个集群中进行部署；响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量。

优选的，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：响应于外部访问流量增长，根据每个所述集群中部署的应用实例的负载能力，确定需要新增的应用实例的数量；其中，每个所述应用实例的负载能力被限制在第一预设范围；根据每个所述集群对应的第一权重数值，以及每个所述集群对应的所述应用实例的数量上限，在相应的集群中部署需要新增的应用实例。

优选的，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：响应于外部访问流量减少，根据每个所述集群中部署的应用实例的负载能力，确定需要减少的应用实例的数量；其中，每个所述应用实例的负载能力被限制在第一预设范围内；根据每个所述集群对应的第一权重数值，以及每个所述集群对应的所述应用实例的数量下限，在相应的集群中删除需要减少的应用实例。

优选的，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：响应于一个或多个所述集群出现故障，根据每个剩余可用集群的第二权重数值，将全部所述应用实例在剩余可用集群之间进行调度；其中，每个所述集群中部署的应用实例的数量被限制在第二预设范围内。

优选的，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：响应于一个或多个所述集群出现故障，根据每个剩余可用集群的资源使用率，将全部所述应用实例在剩余可用集群之间进行调度；其中，每个所述集群中部署的应用实例的数量被限制在第二预设范围内。

优选的，还包括：根据所述集群弹性伸缩策略配置文件中每个所述集群对应的第三权重数值，为相对应的所述集群分配相应比例的外部访问流量。

优选的，还包括：根据每个所述集群的资源使用率，以及每个所述集群中部署的应用实例的数量，为每个所述集群分配外部访问流量。

本申请实施例还提供一种应用跨集群弹性伸缩的系统，包括：业务实例部署单元，配置为根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部所述应用实例在多个集群中进行部署；调度调整单元，配置为响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为如上任一所述的应用跨集群弹性伸缩的方法。

本申请实施例还提供一种电子设备，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上任一所述的应用跨集群弹性伸缩的方法。

有益效果：

本申请实施例提供的技术方案中，根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重，对全部所述应用实例在多个集群中进行部署；当多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化时，根据预先写入的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。籍此，通过编写集群弹性伸缩策略配置文件，来对多集群中的全部应用实例进行统一部署，并且在集群或应用实例的运行状态发生变化时，能够对全部应用实例自动进行跨集群弹性伸缩，从而实现对多集群中的全部应用实例的统一管理。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩和流量跨集群管理的场景示意图；

图2为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩的方法的流程示意图；

图3为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩的方法的逻辑示意图；

图4为根据本申请的一些实施例提供的一种负载均衡组件对外部访问流量进行跨集群调度的逻辑示意图；

图5为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩的系统的结构示意图；

图6为根据本申请的一些实施例提供的电子设备的结构示意图；

图7为根据本申请的一些实施例提供的电子设备的硬件结构。

具体实施方式

下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。

目前，在采用多集群方式搭建应用时，集群联邦管理员将应用所对应的多个应用实例容器化部署在多个集群中，共同对外部访问流量进行响应，外部访问流量由全局负载均衡组件分发至多个集群中的应用实例，由每个集群中的应用实例分别对接收到的外部访问流量进行响应。当外部访问流量发生变化或集群出现故障时，集群联邦管理员需要对相关集群挨个进行手动操作，调整相关集群中部署的应用实例的数量，并对负载均衡组件中的流量调度策略进行手动修改。

一种情况下，当应用的外部访问流量无规律变化(比如，新闻网站播出了热点新闻，外部访问流量会突然增大，而当热度降低后，外部访问流量又会逐步降低)时，随着外部访问流量的突然增大或降低，集群联邦管理员需要根据外部访问流量的变化实时手动调整每个集群中的应用实例数量，以及对负载均衡组件中的流量调度策略进行手动修改。

另一种情况下，当应用的外部访问流量周期性变化(比如，游戏公司服务器每天18：00以后外部访问流量急速增长进入高峰期，22：00后外部访问流量逐步降低，恢复正常)时，随着外部访问流量的变化，集群联邦管理员需要周期性手动调整每个集群中的应用实例的数量，以及对负载均衡组件中的流量调度策略进行手动修改。

再一种情况下，当某个或某几个集群突然发生故障时，该集群或这些集群中的应用实例无法对外部访问流量进行正常响应，导致剩余可用集群中能够对外部访问流量进行正常响应的应用实例的数量不足，集群联邦管理员需要手动增加部署在剩余可用集群中的应用实例的数量，以及对负载均衡组件中的流量调度策略进行手动修改。

可见，在采用多集群部署方式搭建应用时，集群联邦管理员目前缺少对全部集群的统一管理能力，一旦出现外部访问流量大幅度变化或集群故障的情形，需要集群联邦管理员对相关集群挨个手动操作，来调整相关集群中的应用实例的数量。为此，申请人提出了一种应用跨集群弹性伸缩和流量跨集群管理的技术方案，本方案中，由集群联邦管理员编写集群弹性伸缩策略配置文件，来对多集群中的全部应用实例进行统一部署，并且在集群或应用实例的运行状态发生变化时，能够对全部应用实例自动进行跨集群弹性伸缩和调整外部访问流量的调度策略，实现对多集群中的全部应用实例和应用对应的外部访问流量的统一管理，确保应用的正常运行。

示例性场景

图1为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩和流量跨集群管理的场景示意图；如图1所示，以Kubernetes集群为例，对应用跨集群弹性伸缩和流量跨集群管理进行说明。

在本申请提供的技术方案中，通过设置全局的集群联邦弹性伸缩管理器实现多集群部署方式搭建应用时，集群联邦管理员通过编写集群弹性伸缩策略配置文件，在文件中设置集群应用实例配置参数和外部访问流量配置参数，来对全部集群进行统一管理。其中，集群联邦弹性伸缩管理器可以容器化部署在独立于多个Kubernetes集群的控制集群中，也可以容器化部署在任一Kubernetes集群中。集群联邦弹性伸缩管理器包括全局API-Server模块、集群副本控制器、数据分析控制器和流量管理控制器。

集群联邦管理员编写集群弹性伸缩策略配置文件并发送至全局API-Server模块，由全局API-Server模块通过集群弹性伸缩策略配置文件中指定的API接口，将集群弹性伸缩策略配置文件中的集群应用实例配置参数和外部访问流量配置参数分别发送至集群副本控制器和流量管理控制器，由集群副本控制器根据集群应用实例配置参数设置每个集群中部署的应用实例数量，流量管理控制器根据外部访问流量配置参数设置负载均衡组件的流量调度策略。

每个Kubernetes集群中容器化部署集群联邦弹性伸缩代理器(Multi-ClusterScaling agent)；集群联邦弹性伸缩代理器用于上报所在集群的资源利用的指标数据，并接收和执行对所在集群中部署的应用实例进行弹性伸缩的指令。在此，集群联邦弹性伸缩管理器可以通过Kubernetes系统的API-Server组件获取所在集群和部署在该集群中的应用实例的指标数据；也可以通过Prometheus系统等指标数据采集系统获取相关指标数据，以增加获取集群的资源利用相关指标数据的广度和途径。

数据分析控制器对接收到的每个Kubernetes集群中的集群联邦弹性伸缩代理器上报的所在集群的资源利用的指标数据进行综合处理分析，并将综合处理分析的结果发送给集群副本控制器和流量管理控制器。

由集群副本控制器根据全部集群的资源利用情况和全局API-Server模块发出的集群应用实例配置参数，设置和调整每个集群中部署的应用实例的数量；由流量管理控制器根据全部集群的资源利用情况和全局API-Server模块发出的外部访问流量配置参数，设置和调整负载均衡组件对外部访问流量的调度策略。

籍此，由集群联邦弹性伸缩管理器按照集群弹性伸缩策略配置文件的内容，自动实现应用实例的跨集群弹性伸缩和应用对应的外部访问流量的调度策略调整，在外部访问流量大幅变化或集群故障时，无需人工干预，即可根据数据分析控制器反馈的每个集群的指标数据，实现对多集群中的全部应用实例和应用对应的外部访问流量的统一管理，确保应用的正常运行。

示例性方法

图2为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩的方法的流程示意图；图3为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩的方法的逻辑示意图；如图2、图3所示，该应用跨集群弹性伸缩的方法包括：

步骤S201、根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部应用实例在多个集群中进行部署。

在本申请实施例中，由集群联邦管理员在集群弹性伸缩策略配置文件(比如，multicluster-scaling.yaml)中定义应用实例的部署方案，即在集群弹性伸缩策略配置文件中定义全部集群中应用实例总数和各个集群中应用实例的部署策略，实现在不同集群中分别部署应用实例。

其中，在集群弹性伸缩策略配置文件中包括有全部集群中的应用实例数量以及每个集群中应用实例部署策略——应用实例的数量的预设范围，以及第一权重数值。也就是说，通过每个集群中应用实例部署策略即每个集群对应的应用实例部署优先级(第一权重数值)，将全部的应用实例在多个集群中按照设定的部署优先级进行部署。其中，第一权重数值越小，优先级越高。具体地，在每个集群中部署的应用实例的数量被限制在预设范围内的前提下，优先将应用实例部署在优先级高的集群中。

比如，集群弹性伸缩策略配置文件可以通过以下字段定义全部集群中应用实例总数和各集群中应用实例部署策略：

按上述集群弹性伸缩策略配置文件的定义，全部集群中的应用实例的总数(multiclusterReplicas)为10，集群cluster-a对应的权重数值(weight)为1，应用实例的数量(maxReplicas)最大为6，集群cluster-b对应的权重数值(weight)为2，应用实例的数量(minReplicas)最小为1，集群cluster-c对应的权重数值(weight)为2，应用实例的数量(minReplicas)最小为1。也就是说，集群cluster-a的优先级最高，但最多只能部署6个应用实例，集群cluster-b和集群cluster-c的优先级最低，但至少需要部署1个业务实例。因而，根据上述全部集群中应用实例总数和各集群中应用实例部署策略，最终在集群cluster-a上部署6个应用实例，在集群cluster-b、集群cluster-c中分布部署2个应用实例。

由上述描述可知，本申请实施例通过对伸缩策略配置文件中multiclusterReplicas、cluster.cluster-*.weight、cluster.cluster-*.maxReplicas、cluster.cluster-*.minReplicas等字段进行配置，实现对全部集群中部署的应用实例的总数和各个集群中部署的应用实例的数量进行管理。

步骤S202、响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。

基于前述说明可知，本申请实施例在每个集群中容器化部署有集群联邦弹性伸缩代理器，用于向数据分析控制器上报所在集群的资源利用的指标数据，数据分析控制器对每个集群的资源利用的指标数据进行综合处理分析后，将结果发送给集群副本控制器，由集群副本控制器判断集群和应用实例的运行状态是否发生变化，并具体执行对每个集群中部署的应用实例的数量的调整。

在本申请实施例中，当多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，集群副本管理器根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。其中，运行状态发生变化包括但不限于以下情况：至少一个集群出现故障、至少一个集群中的部分节点出现故障、全部应用实例中的至少一个的外部访问流量增加或者减少、全部应用实例中的至少一个出现故障。

需要说明的是，对于集群中的部分节点出现故障的情况，出现故障的部分节点已经对应用实例在集群中的调度造成影响，已无法通过集群内的调度机制让应用实例恢复对外部访问流量的正常响应，对于此类情况的处理，可以适用集群出现故障时的处理方式。对于应用实例出现故障的情况，因部分应用实例出现故障，使得剩余应用实例的外部访问流量增加，进而导致剩余应用实例的负载增加，对于此类情况的处理，可以适用应用实例的外部访问流量增加时的处理方式。

具体来说，当多个集群中的至少一个集群出现故障，或者，集群中部署的应用实例中的至少一个的外部访问流量增加或减少时，集群联邦弹性伸缩管理器根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量，使集群中部署的应用实例能够及时对集群故障或者流量变化做出应对，确保系统的正常运行。

其中，应用实例的跨集群调度策略中包含了对多集群中的全部应用实例的部署策略，通过部署策略实现对每个集群中的应用实例的数量进行管理，以及实现应用实例的跨集群弹性伸缩，无需人工干预，即可自动调整应用实例的数量和部署方式，实现对多集群中的全部应用实例的统一管理，确保应用的正常运行。

在一些可选实施例中，响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量，包括：响应于外部访问流量增长，根据每个集群中部署的应用实例的负载能力，确定需要新增的应用实例的数量；根据每个集群对应的第一权重数值，以及每个集群对应的应用实例的数量上限，在相应的集群中部署需要新增的应用实例。其中，每个应用实例的负载能力被限制在第一预设范围。

在本申请实施例中，随着外部访问流量增加，允许集群联邦管理员在集群弹性伸缩策略配置文件中定义新增的应用实例的数量，以及在每个集群中部署的应用实例的数量，即通过在集群弹性伸缩策略配置文件中定义业务实例全局弹性扩缩的策略，由集群副本控制器根据全局弹性扩缩策略将新增的应用实例部署在各个集群中。

其中，全局弹性扩缩策略中定义了每个应用实例的负载能力以及每个集群对应的可以部署的应用实例的最大数量，使应用实例在部署后的负载能力在第一预设范围内，即应用实例的吞吐量(Transactions Per Second，简称TPS)不得超过其吞吐量的上限(最大吞吐量)，以防应用实例的负载过重而导致应用实例故障，亦不得低于其吞吐量的下限(最小吞吐量)，以防应用实例的负载过轻而导致应用实例所占用的资源浪费。

比如，集群弹性伸缩策略配置文件通过以下字段定义应用实例的全局弹性扩缩策略：

按上述集群弹性伸缩策略配置文件的定义，通过hpaPolicyRef关联test-deploy绑定的对象，应用实例在全局弹性扩缩容时，每个集群可以部署的应用实例的数量(maxReplicasPerCluster)最大为10，每个集群可以部署的应用实例的数量(minReplicasPerCluster)最小为1。集群副本控制器会根据数据分析控制器采集的每个集群的资源利用率和应用实例的吞吐量，弹性增加或者减少全部集群中应用实例总数，确保每个应用实例的最小TPS为5000，最大TPS不超过10000，并且可以将应用实例分布在不同的集群中。

在此，在外部访问流量激增时，本申请实施例通过对伸缩策略配置文件中maxReplicasPerCluster、minReplicasPerCluster、metrics.target.mintps、metrics.target.maxtps等字段进行配置，实现对应用实例跨集群部署时的数量范围、吞吐量进行设置，使得能够完成集群中新增的应用实例的部署，自动实现应用实例的跨集群扩容，应对外部访问流量的增加。

在一些可选实施例中，响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量，包括：响应于外部访问流量减少，根据每个集群中部署的应用实例的负载能力，确定需要减少的应用实例的数量；根据每个集群对应的第一权重数值，以及每个集群对应的应用实例的数量下限，在相应的集群中删除需要减少的应用实例。

在本申请实施例中，随着外部访问流量减少，允许集群联邦管理员在集群弹性伸缩策略配置文件中定义需要减少的应用实例的数量，以及在每个集群中部署的应用实例的数量，即通过在集群弹性伸缩策略配置文件中定义业务实例全局弹性扩缩的策略，由集群副本控制器根据全局弹性扩缩策略在相应的集群中删除需要减少的应用实例。在此过程中，每个应用实例的负载能力被限制在第一预设范围内，即每个应用实例的吞吐量不得超过其吞吐量的上限(最大吞吐量)，以防应用实例的负载过重而导致应用实例故障，亦不得低于其吞吐量的下限(最小吞吐量)，以防应用实例的负载过轻而导致应用实例所占用的资源浪费。

在此，在外部访问流量减少时，本申请实施例通过对伸缩策略配置文件中maxReplicasPerCluster、minReplicasPerCluster、metrics.target.mintps、metrics.target.maxtps等字段进行配置，实现对应用实例跨集群部署时的数量范围、吞吐量进行设置，使得能够完成集群中减少的应用实例的删除，自动实现应用实例的跨集群缩容，减少对资源的占用。

需要说明的是，外部访问流量减小时，减少集群中的应用实例数量，并保证每个集群中的应用实例数量不会超过其数量下限；外部访问流量增加时，增加集群中应用实例数量，并保证每个集群中的应用实例数量不会超过其数量上限，且每个应用实例的TPS在其设定范围内。

籍此，通过在集群弹性伸缩策略配置文件中的不同字段定义应用实例的全局弹性扩缩的策略，对全部集群中应用实例的跨集群调度和跨集群弹性扩缩容进行设置，实现对全部集群的统一管理，无需人工干预，自动在多集群中实现应用实例的跨集群弹性伸缩。

在一些可选实施例中，响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量，包括：响应于一个或多个集群出现故障，根据每个剩余可用集群的第二权重数值，将全部应用实例在剩余可用集群之间进行调度。其中，每个集群中部署的应用实例的数量被限制在第二预设范围内。

在本申请实施例中，当一个或多个集群整体不可用，或者，一个或多个集群因部分节点故障使得该一个或多个集群不可用时，需要在剩余可用集群之间对全部应用实例进行重新调度，以维持全部集群中的应用实例总数。

需要指出的是，当一个或多个集群出现故障时，如果还是按照原先的部署方式将全部应用实例在剩余可用集群之间进行部署，可能出现剩余可用集群中允许部署的应用实例的最大数量达不到原先的应用实例的总数的情况，也就不能在剩余可用集群中完成对全部应用实例的部署。

在此，允许集群联邦管理员在集群弹性伸缩策略配置文件中定义针对剩余可用集群的应用实例部署方案，即在集群弹性伸缩策略配置文件中定义应用实例在剩余可用集群之间的全局调度策略，以实现集群副本控制器在剩余可用集群之间调度和维持应用实例的总数。也就是说，通过剩余可用集群的第二权重数值，定义每个剩余可用集群中部署的应用实例数量，在不超过每个集群中允许部署的应用实例的数量上限的情况下，使剩余可用集群依然可以维持全部应用实例的总数。

应当理解，对剩余可用集群中的每个集群中允许部署的应用实例的数量设置范围，能够让全部应用实例合理地部署在剩余可用集群中。

比如说，集群联邦管理员可以采用预设全局调度策略的方式，即在集群弹性伸缩策略配置文件中通过以下字段制定当某集群整体不可用或某集群因部分节点故障使得该集群基本不可用时，应用实例的一种全局调度策略：

按上述集群弹性伸缩策略配置文件的定义，通过failoverPolicyRef关联test-deploy绑定的对象，当某集群整体不可用或者某集群因部分节点故障使得该集群基本不可用时，剩余每个可用集群对应的权重数值为2，应用实例的数量(maxReplicas)最大为10。也就是说，剩余每个可用集群的优先级相同，且最多只能部署10个应用实例。在全部集群中的应用实例的总数(multiclusterReplicas)维持为10的前提下，如果剩余可用集群的数量为2，则每个可用集群中的应用实例的数量为5。如果剩余可用集群的数量为1，则该集群中的应用实例的数量为10。

由上述描述可知，当一个或多个集群出现故障时，本申请实施例可以根据伸缩策略配置文件中availClusters.weight、availClusters.maxRepilcas等字段进行配置，对应用实例跨集群部署时调度策略进行设置，自动生成应用实例的全局调度策略，由集群副本控制器按照应用实例的全局调度策略，将全部应用实例在剩余可用集群之间进行调度。

在一些可选实施例中，响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量，包括：响应于一个或多个集群出现故障，根据每个剩余可用集群的资源使用率，将全部应用实例在剩余可用集群之间进行调度；其中，每个集群中部署的应用实例的数量被限制在第二预设范围内。

在本申请实施例中，当一个或多个集群出现故障时，集群副本控制器根据每个剩余可用集群的资源使用率自动生成全局调度策略，即根据每个集群的CPU利用率、内存利用率、应用实例的TPS等指标数据自行确定相对应集群中可部署的应用实例的数量，并按照每个集群的资源使用率对全部应用实例在剩余可用集群之间进行调度，且在单个集群中的应用实例数量不超过该集群允许部署的应用实例的最大数量(即第二预设范围)。

应当理解，对剩余可用集群中的每个集群中允许部署的应用实例的数量设置范围，能够让全部应用实例合理地部署在剩余可用集群中。

比如说，当一个或多个集群出现故障时，集群联邦管理员在集群弹性伸缩策略配置文件中通过以下字段设置，自动生成应用实例的全局调度策略：

按上述集群弹性伸缩策略配置文件的定义，通过failoverPolicyRef关联test-deploy绑定的对象，当一个或多个集群出现故障时，集群副本控制器会根据数据分析控制器采集的剩余可用集群的CPU使用率，在每个集群中的应用实例的数量不超过10的条件限定下分析得到最佳的应用实例调度策略。

由上述描述可知，当一个或多个集群出现故障时，本申请实施例还可以根据伸缩策略配置文件中availClusters.maxRepilcas、availClusters.metrics.type等字段进行配置，实现对应用实例跨集群部署时调度策略的设置，自动生成应用实例的全局调度策略，由集群副本控制器按照每个集群的资源使用率对全部应用实例在剩余可用集群之间进行调度。

基于前述说明可知，现有技术中，集群联邦管理员在遇到外部访问流量大幅度变化或集群故障的情形时，除了需要对相关集群挨个手动操作来调整相关集群中的应用实例的数量以外，还需要对负载均衡组件的流量调度策略进行手动修改，以适应相关集群上应用实例的数量变化。

在本申请实施例中还允许集群联邦管理员在预先写入的集群弹性伸缩策略配置文件中定义全部集群的流量负载策略，即在集群弹性伸缩策略配置文件中设置负载均衡组件的流量调度策略，以指示负载均衡组件按流量调度策略将流量分发至不同的集群。

图4为根据本申请的一些实施例提供的负载均衡组件对外部访问流量进行跨集群调度的逻辑示意图；如图4所示，以Kubernetes集群为例，在每个Kubernetes集群中的集群联邦弹性伸缩代理器将监测所在集群的CPU利用率、内存利用率、应用实例的TPS等指标数据，并上报至数据分析控制器。由数据分析控制器对接收到的指标数据进行综合处理分析，并将结果发送给流量管理控制器，由流量管理控制器根据指标数据和外部访问流量配置参数，对应用的外部访问流量进行调度。

在一具体的例子中，在集群弹性伸缩策略配置文件中定义全部集群的流量负载策略时，根据每个集群的资源使用率，以及每个集群中部署的应用实例的数量，为每个集群分配外部访问流量。即根据每个集群的资源使用率，自动生成流量调度策略；具体的，由流量管理控制器根据数据分析控制器反馈指标数据和外部访问流量配置参数，自动生成并动态调整负载均衡组件的流量调度策略，并采用最新的流量调度策略，指示负载均衡组件将外部访问流量调度至对应的集群。

比如说，集群弹性伸缩策略配置文件可以按照如下配置实现自动生成并动态调整负载均衡组件的流量调度策略：

按上述集群弹性伸缩策略配置文件的定义，通过exlbPolicyRef关联绑定的对象test-deploy，在流量配置(trafficPolicy)中定义每个集群以及集群中应用实例的流量负载策略。在此，集群中应用实例的流量负载策略(instanceStrategy)为ip hash，集群的流量负载策略(clusterStrategy)为智能化调度策略(smartLBMethod)，允许流量管理控制器根据集群副本控制器反馈的应用实例的数量的实时情况，以及数据分析控制器反馈的每个集群的指标数据，综合分析决策出最佳的流量负载策略，并指示负载均衡组件按照最佳的流量负载策略进行流量调度。

在另一具体的例子中，集群弹性伸缩策略配置文件中定义全部集群的流量负载策略时，还可以根据集群弹性伸缩策略配置文件中每个集群对应的第三权重数值，为相对应的集群分配相应比例的外部访问流量。即在集群弹性伸缩策略配置文件中手动设置和调整每个集群对应的第三权重数值，以设置和调整负载均衡组件的流量调度策略。具体的，在集群弹性伸缩策略配置文件中定义各个集群的流量负载权重，流量管理控制器采用定义的流量调度策略，指示负载均衡组件将外部访问流量调度至对应的集群。

比如说，集群弹性伸缩策略配置文件可以按照如下字段配置，手动设置负载均衡组件的流量调度策略：

按上述集群弹性伸缩策略配置文件的定义，通过exlbPolicyRef关联绑定的对象test-deploy，在流量配置(trafficPolicy)中定义了每个集群以及集群中应用实例的流量负载策略。在此，集群中应用实例的流量负载策略(instanceStrategy)为ip hash，集群的流量负载策略(clusterStrategy)为加权轮询：集群cluster-a对应的流量负载权重(第三权重数值)为2，集群cluster-b对应的流量负载权重(第三权重数值)为3，集群cluster-c对应的流量负载权重(第三权重数值)为5，即集群cluster-a、集群cluster-b、集群cluster-c的外部访问流量的负载占比为2：3：5。

相应的，负载均衡组件将外部访问流量按照负载占比调度到对应的集群中，在集群内部再根据集群中应用实例的流量负载算法，将外部访问流量调度至集群中的应用实例进行处理。如果某一集群出现故障，则外部访问流量将会按照剩余可用集群对应的流量负载权重进行调度。比如，对于前述的三个集群cluster-a、cluster-b和cluster-c，当集群cluster-a出现故障时，外部访问流量将会按照集群cluster-b、集群cluster-c对应的流量负载权重之比3：5进行调度，即集群cluster-b负载3/8的外部访问流量，集群cluster-c负载5/8的外部访问流量。

由上述描述可知，本申请实施例可以根据伸缩策略配置文件中trafficPolicy中定义的smartLBMethod、instanceStrategy，实现自动生成并动态调整负载均衡组件的流量调度策略；也可以根据伸缩策略配置文件中trafficPolicy中定义的instanceStrategy、流量负载权重(比如：cluster-a:2、cluster-b:3、cluster-c:5)、clusterStrategy手动设置负载均衡组件的流量调度策略，然后由负载均衡组件将外部访问流量按照流量调度策略调度到对应的集群中，实现外部访问流量的跨集群全局调度。

籍此，集群联邦管理员通过编写集群弹性伸缩策略配置文件，由集群联邦弹性伸缩管理器按照集群弹性伸缩策略配置文件的内容，对多集群中的全部应用实例和负载均衡组件的流量调度策略进行统一部署，并且在多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化时，能够对全部应用实例自动进行跨集群弹性伸缩，以及调整负载均衡组件对外部访问流量的调度策略，实现对全部集群的统一管理。

在本申请实施例中，集群联邦管理员通过集群弹性伸缩策略配置文件的不同字段，对全部集群中应用实例的跨集群调度和跨集群弹性扩缩容进行设置，对外部访问流量的全局调度进行配置，使得集群弹性伸缩管理器可以根据数据分析控制器反馈的每个集群的指标数据，自动调整应用实例的数量和部署方式，确保系统的正常运行。

示例性系统

图5为根据本申请的一些实施例提供的一种应用跨集群弹性伸缩的系统的结构示意图；如图5所示，该应用跨集群弹性伸缩的系统包括：

业务实例部署单元501，配置为根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部应用实例在多个集群中进行部署。

调度调整单元502，配置为响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。

本申请实施例提供的应用跨集群弹性伸缩的系统能够实现上述任一应用跨集群弹性伸缩的方法的步骤、流程，并达到相同的技术效果，在此不再一一赘述。

示例性设备

图6为根据本申请的一些实施例提供的电子设备的结构示意图；如图6所示，该电子设备包括：

一个或多个处理器601；

计算机可读介质，可以配置为存储一个或多个程序602，一个或多个处理器601执行一个或多个程序602时，实现如下步骤：根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部应用实例在多个集群中进行部署；响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。

图7为根据本申请的一些实施例提供的电子设备的硬件结构；如图7所示，该电子设备的硬件结构可以包括：处理器701、通信接口702、计算机可读介质703和通信总线704。

其中，处理器701、通信接口702、计算机可读存储介质803通过通信总线804完成相互间的通信。

可选地，通信接口702可以为通信模块的接口，如GSM模块的接口。

其中，处理器701具体可以配置为：根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部应用实例在多个集群中进行部署；响应于多个集群中的至少一个或者全部应用实例中的至少一个的运行状态发生变化，根据预先写入集群弹性伸缩策略配置文件中的应用实例的跨集群调度策略，调整每个集群中部署的应用实例的数量。

处理器701可以是通用处理器，包括中央处理器(central processing unit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如：iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如：iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可以将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的应用跨集群弹性伸缩的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和涉及约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述得设备及系统实施例仅仅是示意性的，其中作为分离不见说明的单元可以使或者也可以不是物理上分开的，作为单元提示的不见可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种应用跨集群弹性伸缩的方法，其特征在于，包括：

根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部所述应用实例在多个集群中进行部署；

响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量。

2.根据权利要求1所述的应用跨集群弹性伸缩的方法，其特征在于，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：

响应于外部访问流量增长，根据每个所述集群中部署的应用实例的负载能力，确定需要新增的应用实例的数量；其中，每个所述应用实例的负载能力被限制在第一预设范围；

根据每个所述集群对应的第一权重数值，以及每个所述集群对应的所述应用实例的数量上限，在相应的集群中部署需要新增的应用实例。

3.根据权利要求1所述的应用跨集群弹性伸缩的方法，其特征在于，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：

响应于外部访问流量减少，根据每个所述集群中部署的应用实例的负载能力，确定需要减少的应用实例的数量；其中，每个所述应用实例的负载能力被限制在第一预设范围内；

根据每个所述集群对应的第一权重数值，以及每个所述集群对应的所述应用实例的数量下限，在相应的集群中删除需要减少的应用实例。

4.根据权利要求1所述的应用跨集群弹性伸缩的方法，其特征在于，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：

响应于一个或多个所述集群出现故障，根据每个剩余可用集群的第二权重数值，将全部所述应用实例在剩余可用集群之间进行调度；其中，每个所述集群中部署的应用实例的数量被限制在第二预设范围内。

5.根据权利要求1所述的应用跨集群弹性伸缩的方法，其特征在于，所述响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量，包括：

响应于一个或多个所述集群出现故障，根据每个剩余可用集群的资源使用率，将全部所述应用实例在剩余可用集群之间进行调度；其中，每个所述集群中部署的应用实例的数量被限制在第二预设范围内。

6.根据权利要求1-5中任一项所述的应用跨集群弹性伸缩的方法，其特征在于，还包括：

根据所述集群弹性伸缩策略配置文件中每个所述集群对应的第三权重数值，为相对应的所述集群分配相应比例的外部访问流量。

7.根据权利要求1-5中任一项所述的应用跨集群弹性伸缩的方法，其特征在于，还包括：

根据每个所述集群的资源使用率，以及每个所述集群中部署的应用实例的数量，为每个所述集群分配外部访问流量。

8.一种应用跨集群弹性伸缩的系统，其特征在于，包括：

业务实例部署单元，配置为根据预先写入的集群弹性伸缩策略配置文件中全部应用实例的数量和每个集群对应的第一权重数值，对全部所述应用实例在多个集群中进行部署；

调度调整单元，配置为响应于多个所述集群中的至少一个或者全部所述应用实例中的至少一个的运行状态发生变化，根据预先写入所述集群弹性伸缩策略配置文件中的所述应用实例的跨集群调度策略，调整每个所述集群中部署的应用实例的数量。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序为如权利要求1-7任一所述的应用跨集群弹性伸缩的方法。

10.一种电子设备，其特征在于，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的应用跨集群弹性伸缩的方法。

Images