CN112217676A - 一种基于混合元启发式算法的Kubernetes容器集群节点选取方法 - Google Patents

Abstract

本发明公开一种基于混合元启发式算法的Kubernetes容器集群节点选取方法，建立云环境下的集群节点成本模型，该模型以使集群所有节点的总成本最小为目标，采用基于模拟退火和粒子群优化的混合元启发式算法进行最优节点选取方案的求解，通过使用Kubernetes基础的调度策略对模型求解的节点选取方案进行实际可行性验证，实现Kubernetes容器集群在满足工作要求的前提下的集群成本最优化的节点选取。本发明能够根据云厂商提供的服务器型号以及售价，和Kubernetes容器集群未来一段时间需要部署的容器资源需求，在满足集群容器部署需求的前提下，通过优化的集群节点选取方案，降低集群的云服务器使用成本。

Description

一种基于混合元启发式算法的Kubernetes容器集群节点选取 方法

技术领域

本发明涉及一种基于混合元启发式算法的Kubernetes容器集群节点选取方法，更具体的是，利用粒子群算法和基于模拟退火和粒子群优化算法的混合元启发式算法，在满足集群容器部署前提下，使集群所需支付的云服务器成本最小的集群节点选取。

背景技术

容器技术最早在2001年就出现了，当然这个时候只是Linux内核增加了一个Namespace模块，还没有出现完整的容器模型；2004年Google开始在分散在全球各地的分布式集群使用Borg管控运维，这就是Docker的前身；2007年的10月，Google提交了一个里程碑的Cgroups模块到Linux内核，2008年基于以上推动了LXC(Linux Container)的正式发布；然后2009年Twitter(推特)公司就开启了Mesos项目(也就是容器的三大管理平台之一)，至此容器时代正式迈入生产。在此期间，云计算的概念开始兴起，众多IT公司开始推出自己的公/私有云平台，将传统的“挖井取水”式提供服务改成了云服务厂“集中供水”提供，但随着互联网化的深入，仍存在诸多问题。2013年Docker的正式发布划开了全新的Docker技术时代，它与之前单纯的Linux内核容器技术想比，提供了完整的APP/Server运行时环境打包，采用了分层镜像构建存储等优秀特性，确定了以服务和应用为核心，而不是以虚拟机为核心的观念。

自2014年以来，Docker在国内的各大互联网公司中也承担了越来越重要的角色：腾讯公司已将旗下数十款游戏业务运行与Docker容器中；蚂蚁金服基于Docker来构建自身的金融云项目，以达到充分利用资源，提高运行速度的目的；京东利用Docker搭建了自己的弹性计算云，截止2018年6月，已经在线上运行了9853个Docker容器，保障了其在“618”期间业务的顺利运行。尽管Docker及其容器技术因其自身特点所限，在系统安全性、适用场景和隔离性方面仍不及虚拟机，但Docker作为一个正在高速革新的现代化平台，它所蕴含的思想已经被更多的开发人员所接受。相比虚拟机，容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。目前容器技术在大型公有云平台已经得到了大量的使用，其中腾讯云的tke团队研发负责的公有云容器服务，在2019年度的用户容器集群规模已突破百万核的规模，腾讯公司内部也发起了“全面上云”的工作目标，越来越多的团队与业务将利用容器云的方式来进行运营部署。

目前对容器Docker实例自动化部署的集群管理系统主要有Google开源的Kubernetes、Docker原生编排工具Swarm和Apache Mesos的Marathon。目前Kubernetes提供的功能最为完善，目前也是国内主流联网的容器云平台多数都是以Kubernetes作为容器的编排框架，并在此基础根据自己的实际需求进行二次开发和改造。但是很多云平台容器服务用户，在集群节点选取时难以确定如何进行节点选取，才能在既能满足容器部署资源需求的前提下，最小化集群应支付的云服务器成本。目前，通常的做法是通过云平台的提供的集群弹性伸缩功能，去自动的为集群扩充或减少节点的使用，但是，自动的扩充往往不能够根据实际容器部署的资源缺口、云服务器资源种类和价格综合考虑的去选取节点，这就会有扩充节点选取不是最经济合适的缺陷。

本发明从Kubernetes容器集群节点选取的这些问题出发，基于Kubernetes基础调度策略、粒子群优化算法、粒子群优化算法与模拟退火优化算法相结合的混合启发式算法等，提出了一种以最小化Kubernetes集群云服务器成本为目标的集群节点选取方法。

发明内容

本发明的目的在于提供一种基于Kubernetes容器集群环境下的，以减少集群所需支付的云服务器成本为目标的节点选取方法。本发明考虑了Kubernetes容器集群云服务器成本和集群节点选取方案之间的关系，旨在通过优化集群节点选取方法，使得容器集群在能满足容器部署需求的前提，最小化集群使用者需要支付的云服务器成本。

为达到上述目的，本发明采用下述技术方案：

为了实现本发明中的满足Kubernetes容器集群的容器部署资源需求前提下，实现在云环境下，集群云服务器成本支出最小的节点选取方法，本发明根据云服务商提供的云服务器在资源量和售价上存在差异的特性，建立了集群节点成本模型。本发明采用了粒子群优化算法和模拟退火算法相结合的混合启发式优化算法对模型进行优化求解，同时本发明采用了Kubernetes基础的调度策略，对算法求解模型时获得的节点选取方案进行，Pod进行模拟分配，来验证本发明提出的集群节点成本模型求解出的节点选取方案的可靠性，并根据验证结果来对算法求解时的目标函数值进行奖惩，使得算法能够求解出在满足集群实际容器部署需求的前提下，最小化集群云服务器成本的节点选取方案。

综上所述，一种基于混合元启发式算法的Kubernetes容器集群节点选取方法，包括如下步骤：

S1、针对集群所需运行的容器资源需求和实际云服务器售价，建立集群节点成本模型；

S2、采用基于模拟退火与粒子群优化算法的混合元启发式优化算法求解集群节点成本模型；

S3、采用Kubernetes默认调度策略对pod进行模拟分配，验证集群节点选取方案是否满足容器部署需求。

本发明的有益效果如下：

本发明所述技术方案能够解决在云环境下，Kubernetes容器集群根据容器部署资源需求和云平台云服务器种类和价格，在满足不同容器集群正常工作的前提下，减少容器集群云服务器成本的节点选取问题。通过模拟退火与粒子群优化算法的结合，提升了混合启发式算法跳出局部最优点的能力，优化的了启发式调度算法对全局最优点的搜寻能力。通过Kubernetes基础调度策略对节点选取方案进行pod模拟分配，验证启发式算法得到的节点选取方案是否能够满足集群的工作需求，进而对算法求解本发明的集群节点模型时的目标函数进行奖惩，从而使启发式算法在满足集群工作需求的前提下求解模型，获得满足集群实际工作需要的节点选取方案。本发明叙述的技术方案从使云环境下，Kubernetes容器集群的云服务器成本最小为目标出发，对集群的云服务器成本和云服务器资源类型和价格建立了集群节点成本模型，通过使用Kubernetes基础调度策略对节点选取方案进行pod模拟分配，验证节点选取方案的可行性，实现了在满足集群容器部署资源需求的前提下，最小化集群云服务器成本的目标，从而使公有云容器服务的用户尽可能的优化对云平台使用的成本。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明：

图1示出基于混合元启发式算法的Kubernetes容器集群节点选取方法的流程图；

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明公开的一种基于混合元启发式算法的Kubernetes容器集群节点选取方法技术领域，包括如下步骤：

S1、针对集群所需运行的容器资源需求和实际云服务器售价，建立集群节点成本模型

上述集群节点成本模型的主要目标是建立集群选取方案和集群云服务成本之间的数学关系，将最小化集群云服务器成本Cost_colony为目标求解模型，从而通过模型求解来获得能够减少集群云服务器成本的集群节点选取方案。

所述的集群节点成本模型，集群云服务器成本Cost_colony的计算公式具体如下：

其中，n表示云供应商提供的云服务器种类数量；price_i表示第i种云服务器的售卖价格；num_i表示集群采用第i种云服务器的数量；Cost_colony表示集群为满足工作需求所需采买的云服务器总成本。

S2、采用基于模拟退火与粒子群优化算法的混合元启发式优化算法求解集群节点成本模型

根据所建立的集群节点成本模型，将节点选取方案编码入了粒子群优化算法的粒子坐标中，并采用基于模拟退火和粒子群优化算法的混合元启发式算法求解集群节点成本模型。粒子群初始化种群中的粒子坐标和初始速度后，根据目前的粒子坐标对应的目标函数结果最优的粒子位置f_min和最差的粒子位置f_max间差生的目标函数结果差值以及预先设定的初始接受概率p_r计算初始退火温度T₀；在之后的每次迭代中，若根据粒子坐标更新规则计算得出的粒子坐标对应的目标函数值优于当前的粒子个体最优解，则直接使用新的粒子坐标更新当前粒子的个体最优解，如果新的粒子坐标对应的目标函数值差于当前的粒子的个体最优解，则根据模拟退火算法中的接受法则判断是否接受新的坐标，否则保持粒子原坐标不变；模拟退火算法接受次优点坐标的特性，赋予了混合算法在粒子群陷入局部最优点后，通过接受次优点从而跳出局部最优点，从而最终收敛于全局最优点。设计的目标函数能够从粒子坐标中计算出当前粒子坐标表示的节点选取方案下，集群所需支付云服务器租用成本，在满足集群正常工作的前提下，优化集群节点使用成本。所述的基于集群节点成本模型和pod模拟分配的粒子群优化算法具体参数与公式如下：

X_i(x₁,x₂,x₃,...,x_m)；

V_i(v₁,v₂,v₃,...,v_m)；

V'_i＝w*V_i+c₁*r₁*(pBest_i-X_i)+c₂*r₂*(gBest-X_i)；

Δf＝f(X_i+V'_i)-f(X_i)；

T_i+1＝ξT_i。

其中，X_i(x₁,x₂,x₃,...,x_m)表示第i个粒子在解空间中的坐标；x_m表示第m种云服务器的采用数量；V_i(v₁,v₂,v₃,...,v_m)表示第i个粒子的速度；V'_i表示第i个粒子根据上一轮迭代的学习经验更新后的速度；w为惯性权重；c₁和c₂为学习因子；r₁和r₂为[0,1]上的随机数；pBest_i为第i个粒子的个体最优点；gBest为种群的最优点；X'_i表示第i个粒子经过一轮迭代后的坐标；pBest'_i为第i个粒子一轮迭代更新后的个体最优点；gBest'_i为一轮迭代更新后的种群最优点；T₀为初始退火温度；p_r为初始接受概率；f_min和f_max为粒子群初始化后的最小、最大目标函数适应值；T_i为第i轮迭代时的退火温度；ξ为温度衰变系数；X'_i表示第i个粒子经过一轮迭代后的坐标；f(X)为粒子群优化算法的目标函数，该函数的功能为根据例子坐标X_i(x₁,x₂,x₃,...x,_m)中的集群节点选取方案，计算出集群所需支付的云服务器成本Cost_colony。

S3、采用Kubernetes默认调度策略对pod进行模拟分配，验证集群节点选取方案是否满足容器部署需求

在采用基于模拟退火与粒子群优化算法的混合元启发式优化算法求解集群节点成本模型时，本发明期望算法求解得到的集群节点选取方案，能够满足集群的容器部署工作需求，因此本发明使用Kubernetes基础调度策略对节点选取方案进行pod模拟分配，来验证集群节点选取方案，并根据验证结果，对粒子群优化算法的目标函数值进行奖惩，从而驱使粒子群优化算法求解出在满足集群容器部署工作要求下的，集群所需支付的云服务器成本最少的节点选取方案。对于单个pod的模拟调度共分为筛选过程以及优选过程。筛选过程中，会根据节点的剩余可用资源量，与待调度的pod所需的资源量，对集群中的所有节点进行一轮筛选，过滤出集群中剩余可用资源量满足pod部署的节点；优选过程会根据一些打分原则对筛选出的节点进行评分，最终pod将会被模拟分配到评分最高的节点上。在计算粒子群优化算法单个粒子的目标函数值时，根据粒子坐标中的节点选取方案，对集群预计需要部署的pod均进行模拟分配，如果存在pod模拟分配失败的情况，则证明该节点选取方案不具有实际可行性，需要对该粒子的目标函数值进行惩罚。最终，通过这种惩罚的方式，驱使粒子群优化算法得到一个能够满足集群容器部署需求的节点选取方案。所述的采用Kubernetes默认调度策略对pod进行模拟分配，验证集群节点选取方案是否满足容器部署需求的具体参数与公式如下：

筛选过程：

优选过程：

score₁＝((cpu_surplus-pod_cpu)*10/cpu_cabacity+(mem_surplus-pod_mem)*10/mem_cabacity)/2

score＝w₁*score₁+w₂*score₂

模拟分配根据集群各节点的总评分score，将待分配pod分配至总评分最高的节点上：

对容器集群预计要部署的pod均进行模拟分配，如果存在pod模拟分配时，没有一个节点的剩余资源量满足pod的资源需求，那么说明改节点选取方案的集群无法满足实际容器部署的需求，此时要对粒子群优化算法的目标函数f(X)进行惩罚：

其中cpu_surplus表示节点剩余的可用cpu资源量，pod_cpu表示待调度pod所需的cpu资源量；mem_surplus表示节点剩余的可用内存资源量，pod_mem表示待调度pod所需的内存资源量；disk_surplus表示节点剩余的可用磁盘资源量，pod_disk表示待调度pod所需的磁盘资源量；gpu_surplus表示节点剩余的可用gpu资源量，pod_gpu表示待调度pod所需的gpu资源量；score₁为节点资源空闲比评分，反映了节点的空闲资源健康状况；cpu_cabacity表示节点最大可用于容器部署的cpu资源量；mem_surplus表示节点最大可用于容器部署的内存资源量；score₂为节点资源均衡性评分，反应了节点各项资源使用状况的均衡行评比；score为单个pod分配时，节点的总评分；w₁表示score₁即节点的空闲资源健康状况在节点总评分所占的比重；w₂表示score₂即节点各项资源使用状况的均衡行评比在节点总评分所占的比重；punishment为pod模拟分配失败时，对粒子群目标函数的惩罚值，具体数值需要根据

的数量级进行设置。

本发明的基于混合元启发式算法的Kubernetes容器集群节点选取方法，该方法通过考虑云环境下，Kubernetes容器集群的云服务器成本与集群节点选取方案之间的关系，建立集群节点成本模型。通过使用Kubernetes默认调度策略对模型求解获得的节点选取方案进行Pod模拟分配，验证节点选取方案的实际可行，进行限制启发式算法在满足集群的实际容器部署资源需求的条件下，求解集群节点成本模型，获得使集群云服务器成本最小的集群节点选取方案。本发明能够对云环境下，通过合理的集群节点选取，最小化Kubernetes容器集群的云服务器成本，在满足容器集群正常工作的前提下，减少集群租用方的云服务器使用成本。

显然，本发明的上述实施例是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (4)

1.一种基于混合元启发式算法的Kubernetes容器集群节点选取方法，其特征在于，包括如下步骤：

S1、针对集群所需运行的容器资源需求和实际云服务器售价，建立集群节点成本模型；

S2、采用基于模拟退火与粒子群优化算法的混合元启发式优化算法求解集群节点成本模型；

S3、采用Kubernetes默认调度策略对pod进行模拟分配，验证集群节点选取方案是否满足容器部署需求。

2.根据权利要求1所述的基于混合元启发式算法的Kubernetes容器集群节点选取方法，其特征在于，S1具体为：

所述的集群节点成本模型，集群云服务器成本Cost_colony的计算公式具体如下：

其中，n表示云供应商提供的云服务器种类数量；price_i表示第i种云服务器的售卖价格；num_i表示集群采用第i种云服务器的数量；Cost_colony表示集群为满足工作需求所需采买的云服务器总成本。

3.根据权利要求2所述的基于混合元启发式算法的Kubernetes容器集群节点选取方法，其特征在于，S2具体为：

根据所建立的集群节点成本模型，将节点选取方案编码入了粒子群优化算法的粒子坐标中，并采用基于模拟退火和粒子群优化算法的混合元启发式算法求解集群节点成本模型；粒子群初始化种群中的粒子坐标和初始速度后，根据目前的粒子坐标对应的目标函数结果最优的粒子位置f_min和最差的粒子位置f_max间差生的目标函数结果差值以及预先设定的初始接受概率p_r计算初始退火温度T₀；在之后的每次迭代中，若根据粒子坐标更新规则计算得出的粒子坐标对应的目标函数值优于当前的粒子个体最优解，则直接使用新的粒子坐标更新当前粒子的个体最优解，如果新的粒子坐标对应的目标函数值差于当前的粒子的个体最优解，则根据模拟退火算法中的接受法则判断是否接受新的坐标，否则保持粒子原坐标不变；模拟退火算法接受次优点坐标的特性，赋予了混合算法在粒子群陷入局部最优点后，通过接受次优点从而跳出局部最优点，从而最终收敛于全局最优点；所述的基于集群节点成本模型和pod模拟分配的粒子群优化算法具体参数与公式如下：

X_i(x₁,x₂,x₃,...,x_m)；

V_i(v₁,v₂,v₃,...,v_m)；

V_i'＝w*V_i+c₁*r₁*(pBest_i-X_i)+c₂*r₂*(gBest-X_i)；

Δf＝f(X_i+V_i')-f(X_i)；

T_i+1＝ξT_i。

其中，X_i(x₁,x₂,x₃,...,x_m)表示第i个粒子在解空间中的坐标；x_m表示第m种云服务器的采用数量；V_i(v₁,v₂,v₃,...,v_m)表示第i个粒子的速度；V_i'表示第i个粒子根据上一轮迭代的学习经验更新后的速度；w为惯性权重；c₁和c₂为学习因子；r₁和r₂为[0,1]上的随机数；pBest_i为第i个粒子的个体最优点；gBest为种群的最优点；X_i'表示第i个粒子经过一轮迭代后的坐标；pBest_i'为第i个粒子一轮迭代更新后的个体最优点；gBest_i'为一轮迭代更新后的种群最优点；T₀为初始退火温度；p_r为初始接受概率；f_min和f_max为粒子群初始化后的最小、最大目标函数适应值；T_i为第i轮迭代时的退火温度；ξ为温度衰变系数；X_i'表示第i个粒子经过一轮迭代后的坐标；f(X)为粒子群优化算法的目标函数，该函数的功能为根据例子坐标X_i(x₁,x₂,x₃,...,x_m)中的集群节点选取方案，计算出集群所需支付的云服务器成本Cost_colony。

4.根据权利要求3所述的基于混合元启发式算法的Kubernetes容器集群节点选取方法，其特征在于，S3具体为：

所述的采用Kubernetes默认调度策略对pod进行模拟分配，验证集群节点选取方案是否满足容器部署需求的具体参数与公式如下：

筛选过程：

优选过程：

score₁＝((cpu_surplus-pod_cpu)*10/cpu_cabacity+(mem_surplus-pod_mem)*10/mem_cabacity)/2

score＝w₁*score₁+w₂*score₂

模拟分配根据集群各节点的总评分score，将待分配pod分配至总评分最高的节点上：

对容器集群预计要部署的pod均进行模拟分配，如果存在pod模拟分配时，没有一个节点的剩余资源量满足pod的资源需求，那么说明改节点选取方案的集群无法满足实际容器部署的需求，此时要对粒子群优化算法的目标函数f(X)进行惩罚：

其中，cpu_surplus表示节点剩余的可用cpu资源量，pod_cpu表示待调度pod所需的cpu资源量；mem_surplus表示节点剩余的可用内存资源量，pod_mem表示待调度pod所需的内存资源量；disk_surplus表示节点剩余的可用磁盘资源量，pod_disk表示待调度pod所需的磁盘资源量；gpu_surplus表示节点剩余的可用gpu资源量，pod_gpu表示待调度pod所需的gpu资源量；score₁为节点资源空闲比评分，反映了节点的空闲资源健康状况；cpu_cabacity表示节点最大可用于容器部署的cpu资源量；mem_surplus表示节点最大可用于容器部署的内存资源量；score₂为节点资源均衡性评分，反应了节点各项资源使用状况的均衡行评比；score为单个pod分配时，节点的总评分；w₁表示score₁即节点的空闲资源健康状况在节点总评分所占的比重；w₂表示score₂即节点各项资源使用状况的均衡行评比在节点总评分所占的比重；punishment为pod模拟分配失败时，对粒子群目标函数的惩罚值，具体数值需要根据

的数量级进行设置。

Images