CN116610413A - 容器集合调度方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种容器集合调度方法、装置、设备及存储介质。确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；基于初选节点集合确定目标部署集对应的候选调度方案集合，其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点；从候选调度方案集合中确定目标候选调度方案；基于目标候选调度方案对目标部署集中的各容器集合进行部署。解决了现有容器集合调度方法中存在的冗余计算和容器集合调度效率低的问题，取到了有效减少计算冗余，提高容器集合调度效率的有益效果。

Description

容器集合调度方法、装置、设备及存储介质

技术领域

本发明涉及云计算技术领域，尤其涉及容器集合调度方法、装置、设备及存储介质。

背景技术

随着云计算的迅猛发展，谷歌开源的Kubernetes已经成为了业务容器编排系统的首选。Kubernetes作为一个分布式系统，主要用于多容器的编排、调度和管理等。在Kubernetes中进行容器集合(Pod，又称豆荚)调度时，调度器会根据当前Kubernetes中资源的使用情况，分配适合容器集合调度的节点。

而在当前的容器集合调度方法中，往往通过Kubernetes调度器直接以容器集合为调度粒度实现容器集合的调度，但是该方法容易造成冗余计算，进而导致容器集合调度效率低。

发明内容

本发明提供了一种容器集合调度方法、装置、设备及存储介质，以解决现有容器集合调度方法中存在的冗余计算和容器集合调度效率低的问题。

根据本发明的一方面，提供了一种容器集合调度方法，包括：

确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；

基于初选节点集合确定目标部署集对应的候选调度方案集合，其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点；

从候选调度方案集合中确定目标候选调度方案；

基于目标候选调度方案对目标部署集中的各容器集合进行部署。

根据本发明的另一方面，提供了一种容器集合调度装置，包括：

节点确定模块，用于确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；

候选方案确定模块，用于基于初选节点集合确定目标部署集对应的候选调度方案集合，其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点；

目标方案确定模块，用于从候选调度方案集合中确定目标候选调度方案；

容器集合部署模块，用于基于目标候选调度方案对目标部署集中的各容器集合进行部署。

根据本发明的另一方面，提供了一种容器集合调度设备，容器集合调度设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的容器集合调度方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的容器集合调度方法。

本发明实施例的技术方案，通过确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；基于初选节点集合确定目标部署集对应的候选调度方案集合，其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点；从候选调度方案集合中确定目标候选调度方案；基于目标候选调度方案对目标部署集中的各容器集合进行部署。通过采用上述技术方案，利用部署集包含多个相同功能、配置和资源需求容器集合的特性，将部署集作为调度粒度，通过确定部署集的最优调度方案可以一次性确定多个容器集合在多个节点的最优部署方案，进而依据该方案进行调度以实现容器集合调度。解决了现有容器集合调度方法中存在的冗余计算和容器集合调度效率低的问题，取到了有效减少计算冗余，提高容器集合调度效率的有益效果。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种容器集合调度方法的流程图；

图2为本发明实施例一提供的一种部署集资源调度过程示意图；

图3为本发明实施例二提供的一种容器集合调度方法的流程图；

图4为本发明实施例三提供的一种容器集合调度方法的流程图；

图5为本发明实施例四提供的一种容器集合调度方法的流程图；

图6为本发明实施例五提供的一种容器集合调度方法的流程图；

图7为本发明实施例五提供的一种部署集资源重调度过程示意图；

图8为本发明实施例六提供的一种容器集合调度装置的结构示意图；

图9为本发明实施例七提供的一种容器集合调度设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种容器集合调度方法的流程图，本实施例可适用于Kubernetes调度器进行资源调度的情况，该方法可以由容器集合调度装置来执行，该容器集合调度装置可以采用硬件和/或软件的形式实现，该容器集合调度装置可配置于容器集合调度设备中，如Kubernetes集群，或是基于Kubernetes技术、以容器集合为资源调度单位的云平台中。如图1所示，该方法包括：

S101、确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群。

在本实施例中，Kubernetes集群为谷歌开源的当下最流行的容器集合集群编排系统，它的功能是实现多容器集合的编排、调度和管理等。很多云平台和云计算厂家采用它作为调度引擎，已成为容器集合集群编排系统的事实标准。部署集可以理解为一组具有相同功能、配置和资源需求的容器集合组成的集合，包括Kubernetes中比容器更高一级的资源类型，例如Deployment，ReplicaSet等。目标部署集可以理解为当前需要被调度的部署集。容器集合又称Pod，是Kubernetes中最基本的资源类型，是任务部署和调度的最小粒度。初选节点集合包括经过初步筛选确定适合部署集中的容器集合进行部署的工作节点形成的集合。

由于部署集中的容器集合具有相同功能、配置和资源需求，可认为适合其中任意容器集合进行部署的工作节点是相似的，在确定目标部署集对应的初选节点集合时，可以针对其中的任意一个容器集合来确定初选节点集合，例如，针对目标部署集中的处于调度队列中的首个容器集合，确定对应的初选节点集合，将该首个容器集合对应的初选节点集合确定为目标部署集对应的初选节点集合。示例性的，针对该首个容器集合，使用Kubernetes默认初选策略，例如包含PodFitsHostPorts、PodFitsHost和PodFitsResources等，基于该首个容器集合的相关信息(如资源请求值或请求端口等)对集群中适合该首个容器集合部署的节点进行筛选，得到的工作节点集合即为初选节点集合，也即目标部署集对应的初选节点集合。

S102、基于初选节点集合确定目标部署集对应的候选调度方案集合。

其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点。

在本实施中，候选调度方案集合包含将目标部署集中每个容器集合调度到初选节点集合上可行方案的集合。

具体的，根据目标部署集中容器集合的数量和该部署集对应的初选工作节点集合，构建资源配置矩阵，其中该部署集中每一个容器集合都对应工作节点集合中一个合适的节点。将根据目标部署集和初选工作节点构建的所有资源配置矩阵作为候选调度方案集合，其中每个资源配置矩阵代表部署集可能调度的一种方案。

示例性的，假设部署集的初选节点集合为N，其中有j个节点，则初选节点集合为N＝(N₁,N₂,N₃,...,N_j)。目标部署集为D，其中有i个容器集合，则目标部署集为D＝(P₁,P₂,P₃,...,P_i)。

构建资源配置矩阵实现资源调度即为目标部署集D中每一个容器集合P_i在初选节点集合N中选择一个合适的节点N_j。其形式如下：

其中，矩阵X中每一个元素X_ij的取值为0或1，取值为1时表示容器集合P_i部署在工作节点N_j，取值为0时表示容器集合资源P_i未部署在工作节点N_j。一个资源配置矩阵X代表目标部署集D的一种调度方案。

示例性的，图2为本发明实施例一提供的一种部署集资源调度过程示意图，如图2所示，部署集1包含3个Pod，分别为Pod1、Pod2和Pod3，部署集1对应的初选节点集合包括从4个集群节点中筛选出来的Node(节点)1和Node4，针对部署集1的初选节点集合，通过资源配置矩阵后，得到多个(N个)候选调度方案。

S103、从候选调度方案集合中确定目标候选调度方案。

在本实施例中，目标候选调度方案包括能够实现目标部署集调度的最优调度方案。本步骤可以理解为以部署集为粒度进行调度优选的阶段，具体优选依据不做限定，候选调度方案集合可以理解为解空间，在该解空间中寻找最优解。相关技术中，在容器集合的调度优选阶段，仅考虑当前要部署的容器集合，对初选工作节点集合中节点进行打分、排序，并选取得分最高的工作节点进行绑定，并未考虑集群负载均衡问题，容易造成多个容器集合在集群中的分布不均衡，影响集群的工作性能。可选的，本公开实施例中，可以以部署集的负载均衡为优选目标来从候选调度方案集合中确定目标候选调度方案。

示例性的，在构建资源配置矩阵后，通过最小化目标部署集负载不均衡度为目标构造目标函数。例如，先基于符合目标部署集调度的条件对候选调度方案进行筛选，进而利用目标函数计算筛选后调度方案对应的资源配置矩阵的值，并通过寻优算法求出最优解以此确定最优调度方案。本实施例不限定具体的求解方式，例如可以是穷举法，或遗传算法、粒子群算法等智能优化算法，或以梯度为基础的传统优化算法和机器学习算法等。

示例性的，如图2所示，通过寻优算法最小化负载不均衡度确定最优调度方案。

S104、基于目标候选调度方案对目标部署集中的各容器集合进行部署。

示例性的，可以按照目标部署集中的各容器集合在调度队列中的顺序，基于目标候选调度方案对目标部署集中的各容器集合进行依次部署，具体的，按照最优调度方案为容器集合选择合适的节点。目标部署集中的各容器集合可能在调度队列中可能是连续排布或断续排布的，相应的，各容器集合在被部署时也可能是连续调度或断续调度(即中间可能会调度其他部署集中的容器集合)。可选的，也可跳过目标部署集之外的容器集合的调度，连续调度目标部署集中的容器集合。若目标部署集中的在调度队列中的首个容器集合已被部署完成，可标记该容器集合所属部署集为已调度状态。对于目标部署集中的在调度队列中的首个容器集合，若目标候选调度方案存在多个，则合适的节点为多个，可随机选取其中的一个节点进行部署，则可确定出唯一的目标候选调度方案，记为目标调度方案，则目标部署集中的在调度队列中的后续容器集合可基于该目标调度方案进行依次部署，至此完成目标部署集中各容器集合的部署。

本发明实施例的技术方案，通过确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；基于初选节点集合确定目标部署集对应的候选调度方案集合，其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点；从候选调度方案集合中确定目标候选调度方案；基于目标候选调度方案对目标部署集中的各容器集合进行部署。通过采用上述技术方案，利用部署集包含多个相同功能、配置和资源需求的容器集合的特性，将部署集作为调度粒度，通过确定部署集的最优调度方案可以一次性确定多个容器集合在多个节点的最优部署方案，并依据该方案进行部署，进而实现容器集合调度。解决了现有容器集合调度方法中存在的冗余计算和容器集合调度效率低的问题，取到了有效减少计算冗余，提高容器集合调度效率的有益效果。

实施例二

图3为本发明实施例二提供的一种容器集合调度方法的流程图，本实施例在上述各可选实施例基础上进行优化和扩展。本实施例对S103进一步优化，在确定目标部署集对应的候选调度方案后，通过最小化部署集负载不均衡度为目标构造候选调度方案对应的目标函数，并基于部署集调度的约束条件对候选调度方案进行筛选，进而确定筛选后的候选调度方案对应的资源配置矩阵的最优解，以此确定目标候选调度方案。如图3所示，该方法包括：

S201、确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群。

S202、基于初选节点集合确定目标部署集对应的候选调度方案集合。

S203、以最小化目标部署集对应的部署集负载不均衡度为目标，确定候选调度方案集合对应的第一目标函数。

在本实施例中，部署集负载不均衡度可以用来衡量候选调度方案集合中每个调度方案对应的部署集负载均衡的情况。第一目标函数可以理解为用于计算部署集负载不均衡度的函数。

具体的，为解决Kubernetes调度引擎存在的资源调度不均衡的问题，从实用性和易用性角度出发，基于资源调度时工作节点的中央处理器CPU和内存资源的使用情况，计算候选调度方案集合中每个方案对应的部署集负载不均衡度。可选的，也可包括磁盘或网络带宽等资源。

首先，可以通过Kubernetes的cAdvisor+Heapster+InfluxDB监控方案获取工作节点的资源情况，并将各种资源使用情况表示如下：

其中，n表示的是工作节点下标，n∈[1,j]，表示节点对应CPU资源的使用情况，/>表示节点对应的内存资源的使用情况。

然后，可以通过目标部署集的yaml文件获得该部署集中容器集合的资源请求值，其表示如下：

其中，m表示部署集中容器集合的下标，m∈[1,i]，为该容器集合的CPU资源请求值，/>为该容器集合的内存请求值。

部署集的负载不均衡度F的计算公式如下所示：

上式中C代表监控的资源种类，包括CPU和内存，表示的是工作节点上资源种类C的利用率；/>表示的是所有初选工作节点上资源种类C的平均利用率，其计算公式如下所示：

其中，R_n和D_m可用于计算上述使用负载不均衡度F来表示目标部署集的负载均衡度，部署集负载均衡度越高集群性能越好，因此这里以最小化F为目标构造目标函数。

S204、基于第一预设约束条件确定第一目标函数的第一最优解。

其中，第一预设约束条件可以理解为面向部署集的资源调度约束条件，考虑到并不是所有的部署方案中对应的节点均适合部署部署集中的多个容器集合，设定约束条件筛选掉不适合部署集中容器集合部署的工作节点。

在本实施例中，第一最优解可以理解为具有最小部署集负载不均衡度且满足资源调度约束条件的解。

具体的，通过第一预设约束条件对候选调度方案进一步筛选，并利用目标函数计算筛选后的候选调度方案对应资源配置矩阵的部署集负载不均衡度F，进而通过寻优算法计算资源配置矩阵的最优解，即为第一最优解。本实施例不限制寻优算法，例如可以是穷举法，或是遗传算法、粒子群算法等智能优化算法，或是以梯度为基础的传统优化算法和机器学习算法等。

S205、将第一最优解对应的候选调度方案确定为目标候选调度方案。

具体的，第一最优解对应候选调度方案中最优部署方案，具有高部署集负载均衡度且满足资源调度的约束条件，可以将其作为目标候选调度方案，进而使部署集依据该调度方案进行部署。

S206、基于目标候选调度方案对目标部署集中的各容器集合进行部署。

本发明实施例提供的容器集合调度方法，在确定目标部署集对应的候选调度方案后，通过最小化部署集负载不均衡度为目标构造候选调度方案对应的目标函数，并基于部署集调度的约束条件对候选调度方案进行筛选，进而确定筛选后的候选调度方案对应的资源配置矩阵的最优解，以此确定目标候选调度方案。通过上述技术方案，解决了部署集进行静态部署时集群出现负载不均衡的问题，有效提高了集群的资源利用率。

在一些实施例中，第一预设约束条件包括：候选调度方案中若存在单个节点对应多个容器集合的情况，则单个节点中的空闲资源满足多个容器集合的总资源请求，并且，多个容器集合的请求端口不存在冲突。通过设置约束条件对候选调度方案进一步筛选，同时限制资源配置矩阵解空间的大小，有利于提高容器集合的调度效率。

具体的，考虑到在单个节点上部署多个容器集合时，可能会出现该节点上的空闲资源无法满足多个容器集合需要的资源，且多个容器集合的请求端口出现冲突的情况，此时该节点无法同时部署多个容器集合，所以需要设定约束条件，即单个节点中的空闲资源满足多个容器集合的总资源请求，并且，多个容器集合的请求端口不存在冲突，进而将候选调度方案中不满足约束条件的方案筛选掉，以确定适合部署的候选调度方案。

示例性的，设定的第一预设约束条件可以是：PodSetFitsResource：部署方案中单个节点上部署多个容器集合时，检查节点是否有空闲资源(CPU和内存)来满足多个容器集合的要求。PodSetFitsHostPorts：部署方案中单个节点上部署多个容器集合时，检查容器集合请求的端口是否空闲或冲突。

实施例三

图4为本发明实施例三提供的一种容器集合调度方法的流程图，本实施例在上述各可选实施例基础上进行优化和扩展。本实施例对S101和S104进一步优化，详细介绍了初选节点集合的确定过程，通过判断调度队列中待调度容器集合所属部署集是否不存在已调度的容器集合确定目标部署集，并利用节点初选策略确定目标部署集对应的初选节点集合，进而基于初选节点集合确定目标候选调度方案，利用该方案实现对第一容器集合部署，并进一步确定调度队列中的待调度的第二容器集合属于该目标部署集，则直接依据目标候选调度方案实现对该容器集合的部署。如图4所示，该方法包括：

S301、从调度队列中确定当前待调度的第一容器集合。

在本实施中，调度队列包括将所有待调度容器集合按照顺序进行存放后得到队列，该顺序具体可以是容器集合发起调度请求的时间先后顺序。第一容器集合包含调度队列中当前需要进行调度的容器集合。

具体的，当需要对容器集合进行部署时，从调度队列中获取当前需要部署的待调度容器集合作为第一容器集合。

S302、若第一容器集合所属的部署集不存在已调度的容器集合，则将第一容器集合所属的部署集，确定为目标部署集。

在本实施例中，目标部署集包括当前需要进行调度的一组具有相同功能、配置和资源需求的容器集合。

具体的，对第一容器集合所属的部署集进行判断，如果该部署集中的容器集合都没有被调度或该部署集未被标记为已调度，就将该部署集作为目标部署集，并获取该部署集名称及部署集中容器集合的数量，以备容器集合调度使用。

S303、采用Kubernetes集群对应的节点初选策略，确定第一容器集合对应的初选节点集合，得到目标部署集对应的初选节点集合。

在本实施例中，节点初选策略用于将不适合部署容器集合的节点过滤掉。示例性的，节点初选策略可以包括容器PodFitsHostPorts、PodFitsHost、PodFitsResources、MatchNodeSelector等策略。

具体的，按照第一容器集合的资源请求，通过节点初选策略对集群中的节点进行筛选，过滤掉不适合部署容器集合的节点，将得到适合第一容器集合部署的节点集合作为初选节点集合，即为第一容器集合所属目标部署集对应的初选节点集合。

S304、基于初选节点集合确定目标部署集对应的候选调度方案集合。

S305、从候选调度方案集合中确定目标候选调度方案。

S306、基于目标候选调度方案对第一容器集合进行部署。

具体的，按照目标候选方案为第一容器集合选择合适的节点，若合适的节点为多个，则随机选取其中的一个节点进行部署，并标记该容器集合所属部署集为已调度状态。

S307、若从调度队列中确定当前待调度的第二容器集合属于目标部署集，则基于目标候选调度方案对第二容器集合进行部署。

在本实施例中，第二容器集合可以理解为当前调度队列中需要进行调度的容器集合。

具体的，对当前需要进行调度的容器集合进行判断，如果该容器集合属于当前已经标记调度状态的部署集，则直接依据已经确定好的目标候选调度方案为第二容器集合选择合适的节点。

本发明实施例提供的容器集合调度方法，通过判断调度队列中待调度容器集合所属部署集是否不存在已调度的容器集合确定目标部署集，并利用节点初选策略确定目标部署集对应的初选节点集合，进而基于初选节点集合确定目标候选调度方案，利用该方案实现对第一容器集合部署，并进一步确定调度队列中的待调度的第二容器集合属于该目标部署集，则直接依据目标候选调度方案实现对该容器集合的部署。通过上述技术方案，利用目标部署集中容器集合之间的相关性，通过第一容器集合确定初选节点集合，进而确定所属目标部署集对应的初选节点集合和目标候选调度方案，进而利用该调度方案实现对目标部署集中容器集合的部署，有效降少了冗余计算，提升了容器集合调度的效率。

实施例四

图5为本发明实施例四提供的一种容器集合调度方法的流程图，本实施例在上述各可选实施例基础上进行优化和扩展。本实施例在实现对目标部署集中的容器集合的初次部署后，考虑到在集群运行过程中节点扩缩容、故障、用户设置污点策略等可能导致集群负载不均衡的情况，所以定时对部署集进行动态重调度。如图5所示，该方法包括：

S401、确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群。

S402、基于初选节点集合确定目标部署集对应的候选调度方案集合。

S403、从候选调度方案集合中确定目标候选调度方案。

S404、基于目标候选调度方案对目标部署集中的各容器集合进行部署。

S405、确定Kubernetes集群对应的集群负载不均衡度大于预设阈值的情况下，确定重调度部署集集合。

在本实施中，集群负载不均衡度可以用来衡量Kubernetes集群的负载均衡的情况。预设阈值可根据实际需求设定。重调度部署集集合包括依据可重调度策略筛选得到的可进行重调度的部署集构成的集合。其中可重调度策略可以包括以下至少一项：包含有状态资源的部署集不可被重调度；使用本地存储的部署集不可被重调度；重启策略为Never的容器集合所属的部署集不可被重调度。

具体的，定时计算Kubernetes集群的负载不均衡度F，判断F是否大于预设阈值，如果不大于预设阈值，则不需要重调度，如果大于预设阈值，则按照可重调度策略对部署集进行筛选，将筛选出的可重调度的部署集构成的集合作为重调度部署集集合。其中，集群负载不均衡度的计算方式与部署集负载不均衡度的计算方式类似，区别在于，部署集负载不均衡度在计算时仅考虑部署集中的容器集合和初选节点集合中的节点，而集群负载不均衡度在计算时需考虑集群中的所有节点以及所有容器集合，具体计算方式此处不再赘述，可以参照上文相关内容获知具体计算方式。

S406、将重调度部署集集合划分为对应不同优先级的多个重调度部署集子集合。

具体的，由于部署集的服务质量反应了部署集的重要程度，考虑到重调度部署集是一组具有相同功能和配置的容器集合的集合，因此该部署集的服务质量和它所包含的容器集合的服务质量是一致的。在Kubernetes集群中容器集合的服务质量从高到低为Guaranteed、Burstable和Best-Effort，所以重调度部署集的服务质量可能为Guaranteed、Burstable或Best-Effort。进而可以依据各重调度部署集对应的服务质量确定该部署集对应的优先级，优先对相对不重要的部署集进行重调度，即优先重调度服务质量为Best-Effort的部署集，其次是服务质量为Burstable的优先级，最后是服务质量为Guaranteed的优先级。进而将优先级相同的重调度部署集组成一个子集合，多个不同优先级的重调度部署集子集合共同组成重调度部署集集合。

S407、基于优先级，尝试对多个重调度部署集子集合中的至少一个重调度部署集子集合中的容器集合进行重新部署，以降低Kubernetes集群对应的集群负载不均衡度。

可选的，可根据重调度部署集子集合的优先级顺序进行重部署预估，首先预估对单个重调度部署集子集合中的容器集合进行部署，若预估部署后Kubernetes集群对应的集群负载不均衡度仍不均衡，也即仍大于预设阈值，再预估对下一优先级或多个优先级对应的重调度部署集子集合中的容器集合进行部署预估，以此类推，直到满足预估截止条件，如预估到Kubernetes集群对应的集群负载均衡或全部重调度部署集子集合已参与预估。可选的，也可根据重调度部署集子集合的优先级顺序进行部署，首先尝试对单个重调度部署集子集合中的容器集合进行部署，如果部署后Kubernetes集群对应的集群负载不均衡度仍不均衡，也即仍大于预设阈值，再尝试对下一优先级或多个优先级对应的重调度部署集子集合中的容器集合进行部署，以此类推，直到满足重部署截止条件，如Kubernetes集群对应的集群负载均衡或全部重调度部署集子集合已参与。

本发明实施例提供的容器集合调度方法，在实现对目标部署集中的容器集合的初次部署后，考虑到在集群运行过程中节点扩缩容、故障、用户设置污点策略等可能导致集群负载不均衡的情况，定时对部署集进行动态重调度。通过上述技术方案，以部署集为单位进行静态调度和动态重调度，有效的效解决现有Kubernetes调度引擎的带来的资源调度不均衡问题。

实施例五

图6为本发明实施例五提供的一种容器集合调度方法的流程图，本实施例在上述各可选实施例基础上进行优化和扩展。本实施例在实现目标部署集中容器集合的初次部署后，基于Kubernetes集群中出现集群负载不均衡的情况，对重调度部署集集合和其对应的多个重调度部署集子集合进行确定，并通过确定目标重调度部署集子集合及其对应的候选重调度方案集合，进一步确定目标候选重调度方案，进而依据目标候选重调度方案实现对目标重调度部署集子集合中的各容器集合进行重新部署。如图6所示，该方法包括：

S501、确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群。

S502、基于初选节点集合确定目标部署集对应的候选调度方案集合。

S503、从候选调度方案集合中确定目标候选调度方案。

S504、基于目标候选调度方案对目标部署集中的各容器集合进行部署。

S505、确定Kubernetes集群对应的集群负载不均衡度大于预设阈值的情况下，确定重调度部署集集合。

S506、将重调度部署集集合划分为对应不同优先级的多个重调度部署集子集合。

S507、从多个重调度部署集子集合中，确定目标重调度部署集子集合。

在本实施例中，目标重调度部署集子集合包括当前需要进行调度的重调度部署子集合。

具体的，根据重调度部署集子集合的优先级，确定当前需要进行调度的重调度部署集子集合作为目标重调度部署子集合。

S508、基于目标节点集合确定目标重调度部署集子集合对应的候选重调度方案集合。

其中，目标节点集合中的节点数量少于或等于Kubernetes集群中的节点数量，候选重调度方案集合中的每个候选重调度方案中包括目标重调度部署集子集合中的每个容器集合分别对应的节点。

在本实施例中，目标节点集合可以理解为用于适合部署重调度部署集子集合节点形成的集合。目标节点集合可以是Kubernetes集群中的全部节点，也可以按照预设筛选策略从Kubernetes集群中确定的部分节点，其中，预设筛选策略例如可以是，针对目标重调度部署集子集合中的每个部署集，依次确定对应的初选节点集合，然后对所确定的多个初选节点集合取并集，得到目标节点集合。候选重调度方案集合包含将目标重调度部署集子集合中的每个重调度部署集调度到适合部署节点上方案的集合。目标候选调度方案可以理解为一种能够实现目标重调度部署集子集合部署的最优调度方案。

示例性的，将当前集群中的所有节点作为目标节点集合来部署重调度部署集子集合，依据目标节点数量和目标重调度部署集子集合中重调度部署集的个数，构建重调度资源配置矩阵，其中该目标重调度部署集子集合中的每一个重调度部署集中的每个容器集合都对应一个预重部署的节点。将根据目标重调度部署集子集合和目标节点集合构建的所有的重调度资源配置矩阵作为候选重调度方案集合，其中每个重调度资源配置矩阵代表目标重调度部署集子集合可能调度的一种方案，

示例性的，图7为本发明实施例五提供的一种资源重调度过程示意图，如图7所示，部署集1与部署集2具有相同的优先级，可以作为重调度部署集子集合，包含5个Pod，重调度部署集子集合所要部署的节点为当前集群中的所有节点。通过重调度资源配置矩阵后，得到多个候选调度方案。

S509、从候选重调度方案集合中确定目标候选重调度方案。

在本实施例中，目标候选重调度方案可以理解为实现目标重调度部署集子集合调度的最优重调度方案。

示例性的，在构建重调度资源配置矩阵后，通过最小化集群负载不均衡度为目标构造目标函数。例如，先基于符合目标重调度部署集子集合调度的条件进行筛选，进而利用目标函数计算每个筛选后目标重调度部署集对应的重调度资源配置矩阵的值，并通过寻优算法求出最优解以此确定最优重调度方案。本实施例不限制寻优算法，例如可以是穷举法，或是遗传算法、粒子群算法等智能优化算法，或是以梯度为基础的传统优化算法和机器学习算法等。

示例性的，如图7所示，通过寻优算法最小化负载不均衡度确定最优重调度方案。

S510、若目标候选重调度方案对应的集群负载不均衡度小于或等于预设阈值，则基于目标候选重调度方案对目标重调度部署集子集合中的各容器集合进行重新部署。

具体的，判断目标候选重调度方案的集群负载不均衡度是否小于或等于预设阈值，若是，则按照最优目标候选重调度方案将重调度部署集集合中的容器集合重新部署到新的节点上。若否，则判断重调度部署集集合是否为空，若为空，则重新计算集群负载不均衡度，若不为空，则判断重调度部署集集合中是否有优先级更高的重调度部署集子集合，如果有，则针对下一个优先级的重调度部署集子集合确定目标候选重调度方案，并判断对应的集群负载不均衡度是否小于或等于预设阈值。

作为一种可选的方式，依据目标候选重调度方案对一个优先级的重调度部署集子集合进行调度后，仍存在不均衡的状态，则可以同时对多个相邻优先级重调度部署集子集合进行调度。

本发明实施例提供的容器集合调度方法，在实现目标部署集中容器集合的初次部署后，基于Kubernetes集群中出现集群负载不均衡的情况，对重调度部署集集合和其对应的多个重调度部署集子集合进行确定，并通过确定目标重调度部署集子集合及其对应的候选重调度方案集合，进一步确定目标候选重调度方案，进而依据目标候选重调度方案实现对目标重调度部署集子集合中的各容器集合进行重新部署。通过上述技术方案，在实现依据集群负载变化进行动态重调度的同时，有效提高了调度的效率。

在一些实施中，从候选重调度方案集合中确定目标候选重调度方案，包括：以最小化Kubernetes集群对应的集群负载不均衡度为目标，确定候选重调度方案集合对应的第二目标函数；基于第二预设约束条件确定第二目标函数的第二最优解；将第二最优解对应的候选重调度方案确定为目标候选重调度方案。通过上述技术方案，有效提高了目标候选重调度方案确定的效率。

在本实施例中，第二目标函数可以理解为用于计算集群负载不均衡度的函数。在本实施例中，第二预设约束条件包括考虑到并不是所有的重部署方案中对应的节点均适合部署部署集中的多个容器集合，设定约束条件筛选掉不适合部署集中容器集合部署的工作节点。

其中，第二最优解可以理解为具有最小集群负载不均衡度且满足资源调度约束条件的解。

具体的，与计算部署集负载不均衡度一样，在进行重调度部署集集合进行部署时，以最小化集群的负载不均衡度F为目标构造第二目标函数。先基于第二约束条件对候选重调度方案集合进一步筛选，并利用第二目标函数计算每个筛选后的候选重调度方案对应的集群负载不均衡度F，进而利用寻优算法计算重调度资源配置矩阵的最优解，进而将候选重调度方案确定为目标候选重调度方案。本实施例不限制寻优算法，例如可以是穷举法，或是遗传算法、粒子群算法等智能优化算法，或是以梯度为基础的传统优化算法和机器学习算法等。

实施例六

图8为本发明实施例六提供的一种容器集合调度装置的结构示意图。如图8所示，该装置包括：初选节点确定模块51、候选方案确定模块52、目标方案确定模块53和容器集合部署模块54。其中：

初选节点确定模块51，用于确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；候选方案确定模块52，用于基于初选节点集合确定目标部署集对应的候选调度方案集合，其中，候选调度方案集合中的每个候选调度方案中，包括目标部署集中的每个容器集合分别对应的节点；目标方案确定模块53，用于从候选调度方案集合中确定目标候选调度方案；容器集合部署模块54，用于基于目标候选调度方案对目标部署集中的各容器集合进行部署。

本发明实施例的技术方案，解决了现有容器集合调度方法中存在的冗余计算和容器集合调度效率低的问题，取到了有效减少计算冗余，提高容器集合调度效率的有益效果。

可选的，目标方案确定模块53包括：

第一目标函数确定单元，用于以最小化目标部署集对应的部署集负载不均衡度为目标，确定候选调度方案集合对应的第一目标函数。

第一最优解确定单元，用于基于第一预设约束条件确定第一目标函数的第一最优解。

目标方案确定单元，用于将第一最优解对应的候选调度方案确定为目标候选调度方案。

可选的，第一预设约束条件包括：

候选调度方案中若存在单个节点对应多个容器集合的情况，则单个节点中的空闲资源满足多个容器集合的总资源请求，并且，多个容器集合的请求端口不存在冲突。

可选的，节点确定模块51包括：

第一容器集合确定单元，用于从调度队列中确定当前待调度的第一容器集合。

目标部署集确定单元，用于若第一容器集合所属的部署集不存在已调度的容器集合，则将第一容器集合所属的部署集，确定为目标部署集。

初选节点确定单元，用于采用Kubernetes集群对应的节点初选策略，确定第一容器集合对应的初选节点集合，得到目标部署集对应的初选节点集合。

其中，容器集合部署模块54，具体用于基于目标候选调度方案对第一容器集合进行部署。

可选的，在节点确定模块51中，基于目标候选调度方案对第一容器集合进行部署之后，还包括：

第二容器集合部署单元，用于若从调度队列中确定当前待调度的第二容器集合属于目标部署集，则基于目标候选调度方案对第二容器集合进行部署。

在该容器集合调度装置中还包括：

第一集合确定模块，用于确定Kubernetes集群对应的集群负载不均衡度大于预设阈值的情况下，确定重调度部署集集合。

第一子集合划分模块，用于将重调度部署集集合划分为对应不同优先级的多个重调度部署集子集合。

容器集合重新部署模块，用于基于优先级，尝试对多个重调度部署集子集合中的至少一个重调度部署集子集合中的容器集合进行重新部署，以降低Kubernetes集群对应的集群负载不均衡度。

可选的，容器集合重新部署模块包括：

目标第一子集合确定单元，用于从多个重调度部署集子集合中，确定目标重调度部署集子集合；

候选重调度方案确定单元，用于基于目标节点集合确定目标重调度部署集子集合对应的候选重调度方案集合，其中，目标节点集合中的节点数量少于或等于Kubernetes集群中的节点数量，候选重调度方案集合中的每个候选重调度方案中包括目标重调度部署集子集合中的每个容器集合分别对应的节点；

目标重调度方案确定单元，用于从候选重调度方案集合中确定目标候选重调度方案；

容器集合重新部署单元，用于若目标候选重调度方案对应的集群负载不均衡度小于或等于预设阈值，则基于目标候选重调度方案对目标重调度部署集子集合中的各容器集合进行重新部署。

可选的，目标重调度方案确定单元包括：

第二目标函数确定子单元，用于以最小化Kubernetes集群对应的集群负载不均衡度为目标，确定候选重调度方案集合对应的第二目标函数；

第二最优解确定子单元，用于基于第二预设约束条件确定第二目标函数的第二最优解；

目标重调度方案确定子单元，用于将第二最优解对应的候选重调度方案确定为目标候选重调度方案。

本发明实施例所提供的容器集合调度装置可执行本发明任意实施例所提供的容器集合调度方法，具备执行方法相应的功能模块和有益效果。

实施例七

图9为本发明实施例七提供的一种容器集合调度设备的结构示意图，容器集合调度设备可为电子设备，旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如容器集合调度方法。

在一些实施例中，容器集合调度方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的容器集合调度方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行容器集合调度方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种容器集合调度方法，其特征在于，包括：

确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；

基于所述初选节点集合确定所述目标部署集对应的候选调度方案集合，其中，所述候选调度方案集合中的每个候选调度方案中，包括所述目标部署集中的每个容器集合分别对应的节点；

从所述候选调度方案集合中确定目标候选调度方案；

基于所述目标候选调度方案对所述目标部署集中的各容器集合进行部署。

2.根据权利要求1所述的方法，其特征在于，所述从所述候选调度方案集合中确定目标候选调度方案，包括：

以最小化所述目标部署集对应的部署集负载不均衡度为目标，确定所述候选调度方案集合对应的第一目标函数；

基于第一预设约束条件确定所述第一目标函数的第一最优解；

将所述第一最优解对应的候选调度方案确定为目标候选调度方案。

3.根据权利要求2所述的方法，其特征在于，所述第一预设约束条件包括：

所述候选调度方案中若存在单个节点对应多个容器集合的情况，则所述单个节点中的空闲资源满足所述多个容器集合的总资源请求，并且，所述多个容器集合的请求端口不存在冲突。

4.根据权利要求1所述的方法，其特征在于，所述确定目标部署集对应的初选节点集合，包括：

从调度队列中确定当前待调度的第一容器集合；

若所述第一容器集合所属的部署集不存在已调度的容器集合，则将所述第一容器集合所属的部署集，确定为目标部署集；

采用所述Kubernetes集群对应的节点初选策略，确定所述第一容器集合对应的初选节点集合，得到所述目标部署集对应的初选节点集合；

其中，所述基于所述目标候选调度方案对所述目标部署集中的各容器集合进行部署，包括：

基于所述目标候选调度方案对所述第一容器集合进行部署。

5.根据权利要求4所述的方法，其特征在于，在所述基于所述目标候选调度方案对所述第一容器集合进行部署之后，还包括：

若从调度队列中确定当前待调度的第二容器集合属于所述目标部署集，则基于所述目标候选调度方案对所述第二容器集合进行部署。

6.根据权利要求1所述的方法，其特征在于，还包括：

确定所述Kubernetes集群对应的集群负载不均衡度大于预设阈值的情况下，确定重调度部署集集合；

将所述重调度部署集集合划分为对应不同优先级的多个重调度部署集子集合；

基于所述优先级，尝试对所述多个重调度部署集子集合中的至少一个重调度部署集子集合中的容器集合进行重新部署，以降低所述Kubernetes集群对应的集群负载不均衡度。

7.根据权利要求6所述的方法，其特征在于，所述基于所述优先级，尝试对所述多个重调度部署集子集合中的至少一个重调度部署集子集合中的容器集合进行重新部署，包括：

从所述多个重调度部署集子集合中，确定目标重调度部署集子集合；

基于目标节点集合确定所述目标重调度部署集子集合对应的候选重调度方案集合，其中，所述目标节点集合中的节点数量少于或等于所述Kubernetes集群中的节点数量，所述候选重调度方案集合中的每个候选重调度方案中包括所述目标重调度部署集子集合中的每个容器集合分别对应的节点；

从所述候选重调度方案集合中确定目标候选重调度方案；

若所述目标候选重调度方案对应的集群负载不均衡度小于或等于所述预设阈值，则基于所述目标候选重调度方案对所述目标重调度部署集子集合中的各容器集合进行重新部署。

8.根据权利要求7所述的方法，其特征在于，从所述候选重调度方案集合中确定目标候选重调度方案，包括：

以最小化所述Kubernetes集群对应的集群负载不均衡度为目标，确定所述候选重调度方案集合对应的第二目标函数；

基于第二预设约束条件确定所述第二目标函数的第二最优解；

将所述第二最优解对应的候选重调度方案确定为目标候选重调度方案。

9.一种容器集合调度装置，其特征在于，包括：

节点确定模块，用于确定目标部署集对应的初选节点集合，其中，部署集属于Kubernetes集群；

候选方案确定模块，用于基于所述初选节点集合确定所述目标部署集对应的候选调度方案集合，其中，所述候选调度方案集合中的每个候选调度方案中，包括所述目标部署集中的每个容器集合分别对应的节点；

目标方案确定模块，用于从所述候选调度方案集合中确定目标候选调度方案；

容器集合部署模块，用于基于所述目标候选调度方案对所述目标部署集中的各容器集合进行部署。

10.一种容器集合调度设备，其特征在于，所述容器集合调度设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的容器集合调度方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的容器集合调度方法。