CN115665157B - 一种基于应用资源类型的均衡调度方法和系统 - Google Patents

Abstract

本发明公开了一种基于应用资源类型的均衡调度方法和系统，属于数字数据处理技术领域，获得应用容器的监控数据；基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型；根据所述监控数据获得应用的资源维度占用量；获得节点可分配资源；根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度。资源类型、资源维度占用量反应了应用的资源需求，综合资源需求与节点可分配资源对应用容器进行调度，可以避免调度后节点在某个维度的资源大量消耗、其它维度的资源浪费，确保应用容器的正常运行。

Description

一种基于应用资源类型的均衡调度方法和系统

技术领域

本发明涉及电数字数据处理技术领域，具体涉及一种基于应用资源类型的均衡调度方法和系统。

背景技术

近几年，随着云计算技术的发展和日益成熟，为有效管理应用和物理资源提出了新的思路，基于容器化技术对应用进行统一管理，实现应用的标准交付和快速部署，此外再结合容器编排技术，实现对物理资源的统一池化管理以及应用容器的编排、调度、水平扩展等，从而实现大批量的应用和大规模的物理资源的高效管理。

Kubernetes是一个轻便的和可扩展的开源容器编排平台，因其先进的设计理念、超强的横向扩容能力以及完整的生态圈在众多容器编排平台中脱引而出，目前越来越多的企业和机构都逐渐依托Kubernetes实现应用托管的基础设施平台的升级。

Kubernetes平台会将加入该集群中所有的物理节点进行池化，因此对于运维人员来说，一个Kubernetes集群就是一个物理资源配置非常高的节点群，运维人员在部署应用时，只需告诉Kubernetes需要部署的应用的资源需求，Kubernetes会基于自身的调度器去自动在集群中寻找合适的节点，并将应用部署到该节点上。

Kubernetes的原生调度器在为应用选择合适节点时，只考虑节点本身剩余的资源是否还能满足应用的资源需求，并往往将剩余资源最多的节点选为最合适的调度节点。然而不同的应用对各个维度的资源需求是不同的，例如一些计算型的应用可能对CPU资源需求比较大；一些数据处理的应用可能对内存资源需求比较大。但是Kubernetes在调度时并没有考虑应用本身的资源需求，这样如果将多个相同或相似资源需求的应用容器调度到同一个节点，就会造成该节点在某个维度的资源大量消耗，影响应用运行的同时，造成其它维度的资源严重浪费。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种基于应用资源类型的均衡调度方法和系统，对应用的资源类型进行分类或聚类，基于应用的资源类型进行应用容器的调度，提高资源的利用率。

本发明公开了一种基于应用资源类型的均衡调度方法，所述均衡调度方法包括：获得应用容器的监控数据；基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型，所述资源类型包括以下任一类别或它们的组合： CPU密集型、内存密集型、磁盘密集型和网络密集型；根据所述监控数据获得应用的资源维度占用量，所述资源维度包括以下任一指标或它们的组合：CPU使用量、内存使用量、磁盘读字节总数、磁盘写字节总数、网络发送字节总数和网络接收字节总数；获得节点可分配资源；根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度。

优选的，应用的资源维度占用量表示为：

其中，usage _i 表示为资源维度i的占用量，

表示为资源维度i的平均使用量，i _{usage_max} 表示为集群中资源维度i的资源总量, i表示为资源维度的序号。

优选的，通过调度分数对应用的容器进行调度的方法包括：

根据资源维度占用量和节点可分配资源计算调度分数：

其中，Re表示为节点的调度分数，D _ij 表示为节点j的资源维度i分数，m为资源维度的总数，θ _i 为资源维度i的权重，L2表示为L2范数，F _ij 表示为节点j 的资源维度i空闲资源；

基于调度分数最大化，对应用容器的节点进行调度。

优选的，基于原生调度法和资源类型预选的方法包括：

根据原生调度法，获得第一调度列表，所述第一调度列表包括多个节点；

判断所述节点是否满足第一条件，所述第一条件包括：所述节点的与应用资源类型相同的容器数量大于第一阈值，或节点的与所述应用的资源类型相应的资源维度使用量大于第二阈值；

若满足，将所述节点从调度列表中剔除，获得第二调度列表；

根据调度分数进行应用容器调度的方法包括：

获得原生调度器中节点的第一评分；

将所述第一评分与调度分数进行加权和，获得第二评分；

基于第二调度列表中节点的第二评分，对应用容器的节点进行调度。

优选的，空闲资源表示为：

其中，S _ij 为节点j的资源维度i的资源总量，usage _ij 为节点j的资源维度i的已分配资源。

优选的，所述分类算法包括支持向量机的分类算法、决策树算法、朴素贝叶斯或随机森林算法；

所述聚类算法包括：K-means算法。

优选的，基于K-means算法，获得应用的资源类型的方法包括：

对所述监控数据进行聚合，获得所述应用的数据集；

从所述数据集中剔除异常数据后，计算资源维度的平均使用量；

根据所述平均使用量和集群的资源维度最大值，计算应用的资源维度归一化值；

通过K-means算法，对归一化值和标准密集型的数据进行分析，获得应用的资源类型。

优选的，从应用容器获得监控数据的方法包括：

通过调用容器接口，采集应用容器的监控数据；从容器监控工具中获得监控数据；

应用容器重新调度的方法包括：

获取待重新调度的容器；

删除所述容器；

根据所述资源类型、资源维度占用量和节点可分配资源，对新建的容器进行调度。

本发明还提供一种用于实现上述均衡调度方法的系统，包括采集模块、数据分析模块和调度模块，

所述采集模块用于获得应用容器的监控数据，并获得节点可分配资源；

所述数据分析模块用于基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型，并根据所述监控数据获得应用的资源维度占用量；

所述调度模块用于根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度。

优选的，所述调度模块包括预选子模块、第一评分子模块、调度评分子模块和调度执行子模块；

所述预选子模块用于根据原生调度法，获得第一调度列表，所述第一调度列表包括多个节点；将满足第一条件的节点从调度列表中剔除，获得第二调度列表，所述第一条件包括：所述节点中与应用资源类型相同的容器数量大于第一阈值，或节点中与所述应用的资源类型相应的资源维度使用量大于第二阈值；

所述第一评分子模块用于获得原生调度器中节点的第一评分；

所述调度评分子模块用于将所述第一评分与调度分数进行加权和，获得第二评分；

所述调度执行子模块用于基于第二列表中节点的第二评分，对应用容器的节点进行调度。

与现有技术相比，本发明的有益效果为：资源类型、资源维度占用量反应了应用的资源需求，综合资源需求与节点可分配资源对应用容器进行调度，可以避免调度后节点在某个维度的资源大量消耗、其它维度的资源浪费，确保应用容器的正常运行。

附图说明

图1是本发明的基于应用资源类型的均衡调度方法流程图；

图2是对应用容器进行重新调度的逻辑框图；

图3是本发明的系统逻辑框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

一种基于应用资源类型的均衡调度方法，如图1所示，所述均衡调度方法包括：

步骤101：获得应用容器的监控数据。可以通过调用容器接口，采集应用容器的监控数据；或者从容器监控工具中获得监控数据，但不限于此。

步骤102：基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型。

在一个具体实施例中，所述资源类型包括以下任一类别或它们的组合： CPU密集型、内存密集型、磁盘密集型和网络密集型，但不限于此。所述分类算法包括支持向量机的分类算法、决策树算法、朴素贝叶斯或随机森林算法；所述聚类算法包括：K-means算法。

步骤103：根据所述监控数据获得应用的资源维度占用量。在一个具体实施例中，所述资源维度包括以下任一指标或它们的组合：CPU使用量、内存使用量、磁盘读字节总数、磁盘写字节总数、网络发送字节总数和网络接收字节总数。资源维度占用量反映了应用在各个资源维度的使用/占用情况。

步骤104：获得节点可分配资源。可以从集群信息中获得，也可以从监控数据中获得。

步骤105：根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度。例如，调度的节点可分配资源大于资源维度占用量，尤其是大于资源类型相应的资源维度占用量。

资源类型、资源维度占用量反应了应用的资源需求，综合资源需求与节点可分配资源对应用容器进行调度，可以避免调度后节点在某个维度的资源大量消耗、其它维度的资源浪费，确保应用容器的正常运行。

实施例1

步骤201：应用监控数据的采集。

在Kubernetes集群中，应用都是以容器的方式运行在节点上，Docker容器管理进程能实时获取每个容器的各个维度的监控数据。每个节点上可以部署一个代理（Agent），Agent会周期性的调度容器管理进程的接口获取节点上所有应用容器的监控数据，并进行格式封装后保存在内存中，并且只会存放最新的数据。采集周期大小可以配置，例如1-10秒，采集的监控数据维度也可以配置，例如每秒CPU使用量、内存使用量、磁盘读字节总数、磁盘写字节总数、网络发送字节总数和网络接收字节总数6个维度。

步骤202：监控数据的汇集和存储。Agent对外暴露http接口，数据汇集组件Promethues定时调用节点上Agent的http接口获取该节点上最新的应用的监控数据，并将数据保存到influxDB时许数据库中。Promethues的拉取周期可配置，默认为1s，influxDB中保存的历史数据时常也可配置，默认为30天。

步骤203：对所述监控数据进行聚合，获得所述应用的数据集。步骤202中的监控数据是按容器的维度进行保存的，而一个应用部署有多个容器，因此，需要将应用的监控数据进行聚合，聚合后的数据格式如下：

（1）

其中，cpu _usage 表示为应用的CPU使用量，mem _usage 为应用的内存使用量，disk _usage 为应用的磁盘读写（IO）使用量，net _usage 为应用的网络收发使用量，n代表数据的个数。

步骤204：预处理：从所述数据集中剔除异常数据后，计算资源维度的平均使用量。

删除异常数据，例如将每个维度的数据进行从小到大的排序，在将数据的前10%数据和后10%数据剔除，但不限于此。

对剩余的数据计算均值得到该资源维度的平均资源使用量，格式如下：

（2）。

步骤205：根据所述平均使用量和集群的资源维度最大值，计算应用的资源维度归一化值。从集群的节点信息中，获得节点的各个资源维度的最大值：

（3）

归一化处理：计算每个资源维度的归一化值，

（4）

其中，usage _i 表示为资源维度i的归一化值（占用量），

表示为资源维度i的平均使用量，i _{usage_max} 表示为集群中资源维度i的资源总量, i表示为资源维度的序号，i可以映射为cpu、mem、dis或net。

步骤206：聚类。以K-means算法为例，对归一化值和标准密集型的数据进行分析，获得应用的资源类型。具体的，将上述归一化值和标准密集型的数据输入到K-means算法中，获取应用的密集类型。标准密集型的数据可以根据业务的需要或经验进行设定。具体输入如下：

(5)

输出不同的值，代表该应用的资源类型，例如输出0代表CPU密集型，1代表内存密集型，2代表磁盘密集型，3代表网络密集型。资源类型也称为资源密集类型。

K-means算法是一种迭代求解的聚类分析算法，其步骤是:将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。

步骤207：资源维度占用量（资源密集程度）分析。将各个维度资源的使用量占集群中该维度最大资源量的比值作为密集系数，用来衡量应用的各个维度资源密集程度和占用情况。可以将公式4中计算的归一化值作为资源维度占用量/密集系数。

结果存储：为了方便后续调度使用，上述的结果可以调用Kubernetes的API-Server将值写入对应应用的Deployment的annotations中，存储格式为：

（6）。

步骤208：节点预选：包括步骤311-314。

步骤311：步骤根据原生调度法，获得第一调度列表，所述第一调度列表包括多个节点。经过Kubernetes的原生调度器的预选阶段选出符合要求的第一调度列表，可以通过http调用原生调度器的预选阶段程序接口，获得第一调度列表。原生调度器基于原生预选策略进行节点的预选，获得第一调度列表。

步骤312：判断所述节点是否满足第一条件，所述第一条件包括：所述节点中与应用资源类型相同的容器数量大于第一阈值，

或节点中与所述应用的资源类型相应的资源维度使用量大于第二阈值，例如80%。

若满足，执行步骤313：将所述节点从第一调度列表中剔除，获得第二调度列表。

若不满足，执行步骤314：在第一调度列表中保留所述节点。

其中，第一阈值K1可以表示为：

K1 = max_pod_count × 20%;

max_pod_count表示为允许的容器最大值，可以直接从节点信息中解析获取。

步骤209：根据调度分数进行应用容器调度，包括步骤321-323。

步骤321：获得Kubernetes原生调度器中节点的第一评分。原生调度器基于原生打分策略对节点进行打分，获得第一评分。

步骤322：将所述第一评分与调度分数加权和或者求和，获得第二评分。

可以根据资源维度占用量和节点可分配资源计算调度分数：

其中，Re表示为节点的调度分数，D _ij 表示为节点j的资源维度i分数，m为资源维度的总数，θ _i 为资源维度i的权重，可根据各个资源维度的重要程度进行设置，L2表示为L2范数，F _ij 表示为节点j 的资源维度i空闲资源。L2范数定义为向量所有元素的平方和的开平方。

空闲资源表示为：

（13）

其中，S _ij 为节点j的资源维度i的资源总量，usage _ij 为节点j的资源维度i的已分配资源。

步骤323：基于第二调度列表中节点的第二评分，对应用容器的节点进行调度，即融合原生的第一评分和调度分数进行容器调度。

但不限于此，也可以根据调度分数最大化，对应用容器的节点进行调度。

如图2，还可以对应用容器进行重新调度：

步骤331：获取待重新调度的容器。可以调用Kubernetes的Api-server获取集群中所有应用容器。

步骤332：删除/重启所述容器。具体方式是直接调用Kubernetes的Api-server的delete接口删除对应的Pod，基于Kubernetes的特性，会自动的重启一个新的Pod，从而实现Pod的重启效果。

步骤333：根据所述资源类型、资源维度占用量和节点可分配资源，对新建的容器进行调度。Kubernetes创建一个新的容器（POD）后，新创建的容器（POD）会先进入待调度的容器列表中，然后Kubernetes的原生调度器会逐一从待调度的容器列表拿出容器（POD）进行调度。具体的调度方法为：步骤341：通过原生预选策略筛选节点，获得第一调度列表；步骤342：根据第一条件，对第一调度列表的节点进行预选，获得第二调度列表；步骤343：根据原生打分策略，对第二调度列表的节点进行打分，获得第一评分；步骤344：将第一评分与调度分数融合，获得第二评分；步骤345：基于第二评分选择调度节点；步骤346：在调度节点上启动待调度的容器。

实施例2

本实施例提供一种用于实现上述均衡调度方法的系统，如图3所示，包括采集模块1、数据分析模块2和调度模块3。

采集模块1用于获得应用容器的监控数据，并获得节点可分配资源。采集模块1包括代理模块11（Agent），代理模块11部署在Kubernetes集群中所有节点上，通过调用容器接口实现对节点上的应用容器的监控数据的采集，并结合现有的监测工具（Promethues）的汇集模块12实现数据的统一汇集。

数据分析模块2用于基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型，并根据所述监控数据获得应用的资源维度占用量；

调度模块3用于根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度。

其中，调度模块3包括预选子模块31、第一评分子模块32、调度评分子模块33和调度执行子模块34；

预选子模块31用于根据原生调度法，获得第一调度列表，所述第一调度列表包括多个节点；将满足第一条件的节点从调度列表中剔除，获得第二调度列表，所述第一条件包括：所述节点中与应用资源类型相同的容器数量大于第一阈值，或节点中与所述应用的资源类型相应的资源维度使用量大于第二阈值；

第一评分子模块32用于获得原生调度器中节点的第一评分；

调度评分子模块33用于将所述第一评分与调度分数进行加权和/求和，获得第二评分；

调度执行子模块34用于基于第二列表中节点的第二评分，对应用容器的节点进行调度，将第二评分最高的节点作为调度节点，通过调度节点的Kubelet启动相应的应用容器，完成调度。

本发明基于应用的历史数据，使用K-Means等机器学习算法，实现对应用资源密集型的画像/聚类，刻画应用的资源类型和资源维度占用量，为的均衡化调度提供数据支撑；在Kubernetes原生的调度器之上进行扩展，加入预选算法和根据调度分数进行应用容器调度的算法，实现最终的均衡化调度。

通过本发明的均衡调度方法和系统，可以弥补Kubernetes原生调度器在针对不同资源类型应用调度时没有考虑均衡化造成节点资源瓶颈大等问题，提高应用稳定性的同时，提高了Kubernetes集群的资源利用率，降低成本。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于应用资源类型的均衡调度方法，其特征在于，所述均衡调度方法包括：

获得应用容器的监控数据；

基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型，所述资源类型包括以下任一类别或它们的组合： CPU密集型、内存密集型、磁盘密集型和网络密集型；

根据所述监控数据获得应用的资源维度占用量，所述资源维度包括以下任一指标或它们的组合：CPU使用量、内存使用量、磁盘读字节总数、磁盘写字节总数、网络发送字节总数和网络接收字节总数；

获得节点可分配资源；

根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度；

还包括通过调度分数对应用的容器进行调度的方法：

根据资源维度占用量和节点可分配资源计算调度分数：

其中，Re表示为节点的调度分数，D _ij 表示为节点j的资源维度i分数，m为资源维度的总数，θ _i 为资源维度i的权重，usage _i 表示为资源维度i的占用量，L2表示为L2范数，F _ij 表示为节点j 的资源维度i空闲资源；

基于调度分数最大化，对应用容器的节点进行调度。

2.根据权利要求1所述的均衡调度方法，其特征在于，

应用的资源维度占用量表示为：

其中，

表示为资源维度i的平均使用量，i _{usage_max} 表示为集群中资源维度i的资源总量, i表示为资源维度的序号。

3.根据权利要求1所述的均衡调度方法，其特征在于，还包括基于原生调度法和资源类型预选的方法：

根据原生调度法，获得第一调度列表，所述第一调度列表包括多个节点；

判断所述节点是否满足第一条件，所述第一条件包括：所述节点的与应用资源类型相同的容器数量大于第一阈值，或节点的与所述应用的资源类型相应的资源维度使用量大于第二阈值；

若满足，将所述节点从第一调度列表中剔除，获得第二调度列表。

4.根据权利要求3所述的均衡调度方法，其特征在于，还包括根据调度分数进行应用容器调度的方法：

获得原生调度器中节点的第一评分；

将所述第一评分与调度分数进行加权和，获得第二评分；

基于第二调度列表中节点的第二评分，对应用容器的节点进行调度。

5.根据权利要求1所述的均衡调度方法，其特征在于，

空闲资源表示为：

其中，S _ij 为节点j的资源维度i的资源总量，usage _ij 为节点j的资源维度i的已分配资源。

6.根据权利要求1所述的均衡调度方法，其特征在于，所述分类算法包括支持向量机的分类算法、决策树算法、朴素贝叶斯或随机森林算法；

所述聚类算法包括：K-means算法。

7.根据权利要求6所述的均衡调度方法，其特征在于，基于K-means算法，获得应用的资源类型的方法包括：

对所述监控数据进行聚合，获得所述应用的数据集；

从所述数据集中剔除异常数据后，计算资源维度的平均使用量；

根据所述平均使用量和集群的资源维度最大值，计算应用的资源维度归一化值；

通过K-means算法，对归一化值和标准密集型的数据进行分析，获得应用的资源类型。

8.根据权利要求1所述的均衡调度方法，其特征在于，从应用容器获得监控数据的方法包括：

通过调用容器接口，采集应用容器的监控数据；从容器监控工具中获得监控数据；

应用容器重新调度的方法包括：

获取待重新调度的容器；

删除所述容器；

根据所述资源类型、资源维度占用量和节点可分配资源，对新建的容器进行调度。

9.一种用于实现如权利要求1-8任一项所述均衡调度方法的系统，其特征在于，包括采集模块、数据分析模块和调度模块，

所述采集模块用于获得应用容器的监控数据，并获得节点可分配资源；

所述数据分析模块用于基于分类或聚类算法，对监控数据进行分析，获得应用的资源类型，并根据所述监控数据获得应用的资源维度占用量；

所述调度模块用于根据所述资源类型、资源维度占用量和节点可分配资源，对应用的容器进行调度。

10.根据权利要求9所述的系统，其特征在于，所述调度模块包括预选子模块、第一评分子模块、调度评分子模块和调度执行子模块；

所述预选子模块用于根据原生调度法，获得第一调度列表，所述第一调度列表包括多个节点；将满足第一条件的节点从调度列表中剔除，获得第二调度列表，所述第一条件包括：所述节点中与应用资源类型相同的容器数量大于第一阈值，或节点中与所述应用的资源类型相应的资源维度使用量大于第二阈值；

所述第一评分子模块用于获得原生调度器中节点的第一评分；

所述调度评分子模块用于将所述第一评分与调度分数进行加权和，获得第二评分；

所述调度执行子模块用于基于第二列表中节点的第二评分，对应用容器的节点进行调度。

Images