CN109167835A - 一种基于kubernetes的物理资源调度方法及系统 - Google Patents

Abstract

本发明涉及一种基于kubernetes的物理资源调度方法及系统，属于云计算领域。该方法包括：S1：当识别到承载业务的云服务Pod的资源请求时，分析确定业务类型和优先级；S2：收集各节点的中央处理器资源、内存资源、网络资源和磁盘资源信息及使用情况；S3：计算所有节点的资源评分；S4：对节点的资源评分进行排序；S5：将m个Pod调度到从N个待选节点中优选的m个节点上。该系统包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块。本发明考虑了各类业务对节点CPU、内存、网卡带宽、磁盘容量等资源的不同需求，建立新的节点评分机制，引入了一致性参数，保证同一业务中各Pod的一致性需求。

Description

一种基于kubernetes的物理资源调度方法及系统

技术领域

本发明属于云计算领域，涉及一种基于kubernetes的物理资源调度方法及资源调度系统。

背景技术

kubernetes是由Google研发并开源的一个用于管理跨宿主机的容器集群的分布式系统引擎，它构建于Docker之上，允许用户创建和管理Docker容器集群，并为容器化的应用集群提供资源调度、自动化部署运营、服务发现、弹性伸缩、高可用等一整套功能。

Pod是Kubernetes创建或部署的最小的基本单位，一个Pod代表集群上正在运行的一个工作单元，可以包含多个容器进程。kubernetes调度的核心就是如何从集群中选择合适的节点分配给Pod。当前kubernetes的资源调度算法大多基于CPU和内存使用率选择资源评分最高的节点，如Kubernetes内置的LeastRequestedPriority算法、公开专利CN106027643A。

然而在异构机群中，节点的CPU和内存等通常都存在型号差异，单纯依靠CPU和内存指标不足以评价节点的性能。所以，在分配节点时不仅需要考虑CPU和内存两类资源，还需考虑节点的网卡带宽、磁盘容量等因素。与此同时，当前调度算法依次对单个Pod进行调度，忽略了同一业务中各Pod的一致性需求，更没有考虑不同业务对资源需求的差异性。

发明内容

有鉴于此，本发明的目的在于提供一种基于kubernetes的物理资源调度方法及资源调度系统，该方法及系统考虑了各类业务对节点CPU、内存、网卡带宽、磁盘容量等资源的不同需求，建立新的节点评分机制，同时首次引入了一致性参数，用以保证同一业务中各Pod的一致性需求。因此，该方法及系统特别适用于多业务环境下的异构云。

为达到上述目的，本发明提供如下技术方案：

1、一种基于kubernetes的物理资源调度方法，适用于异构机型组成的混合云中资源的合理调度，该方法具体包括以下步骤：

S1：当识别到承载业务的云服务Pod的资源请求时，确定其业务类型T和优先级P；

S2：收集各节点的中央处理器资源、内存资源、网络资源和磁盘资源信息及使用情况；

S3：计算所有节点的资源评分；

S4：对节点的资源评分进行排序；按照评分从大到小的序列Q[N]，其中Q[i]为第i个节点的资源评分，N为节点总数；

S5：假设某业务在kubernetes中需创建m个Pod；则需将m个Pod调度到从N个待选节点中优选的m个节点上。

进一步，步骤S1中，所述业务类型T∈{1,2,3,...,T_max}，所述优先级P∈{1,2,3,...,P_max}，其中T_max为业务类型总数，P_max为最高优先级；P值越大，业务优先级越高；

所述步骤S1具体包括：

S11：依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求量为特征，通过K均值聚类算法分析，得到T_max类业务，及各类的聚类中心；

S12：当识别到新任务到达云服务资源池后，通过计算K均值聚类算法，即计算新业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P。

进一步，步骤S3中，所述所有节点的资源评分计算公式为：

其中，表示节点i的总评分，和分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，w_CPU、w_memory、w_network和w_disk分别表示对应的权重，w_CPU、w_memory、w_network和w_disk均不小于0，且w_CPU+w_memory+w_network+w_disk＝1。

进一步，异构机型组成的混合云中，

(1)定义中央处理器性能最好的节点在完全空闲时其对应的中央处理器资源评分为1，则任意节点的中央处理器资源评分不超过1；所述节点i的中央处理器资源评分计算公式为：

其中，f_cpu_max表示所有节点中中央处理器的最高主频，f_cpu_i表示节点i的中央处理器的主频，R_cpu_i表示节点i的中央处理器的使用率，且0≤R_cpu_i≤100％；显然，任意节点的中央处理器资源评分均介于0～1之间，且性能越好，使用率越少，评分越高。

(2)定义内存性能最好的节点在完全空闲时其对应的内存资源评分为1，则任意节点的内存资源评分不超过1；所述节点i的内存资源评分计算公式为：

其中，f_memory_max表示所有节点中最大的内存容量，f_memory_i表示节点i的内存大小，R_memory_i表示节点i的内存使用率，且0≤R_memory_i≤100％；显然，任意节点的内存资源得分均介于0～1之间，且容量越大，使用率越少，评分越高。

(3)定义网卡性能最好的节点在完全空闲时其对应的网络资源评分为1，则任意节点的网络资源得分不评过1；所述节点i的网络资源评分计算公式为：

其中，f_network_max表示所有节点中最大的网络带宽，f_network_i表示节点i的最大带宽，R_network_i表示节点i的带宽使用率，且0≤R_network_i≤100％；显然，任意节点的网络资源得分均介于0～1之间，且最大带宽越大，使用率越少，评分越高。

(4)定义磁盘性能最好的节点在完全空闲时其对应的磁盘资源评分为1，则任意节点的磁盘资源评分不超过1；所述节点i的磁盘资源得评分计算公式为：

其中，f_disk_max表示所有节点中最大的磁盘容量，f_disk_i表示节点i的磁盘大小，R_disk_i表示节点i的磁盘的使用率，且0≤R_disk_i≤100％；显然，任意节点的磁盘得分均介于0～1之间，且容量越大，使用率越少，评分越高。

进一步，不同类型的业务对资源调度的需要不同，如计算密集型的业务对中央处理器和内存资源的要求更高，而I/O密集型的业务对网络资源的要求更高。计算资源总评分时，选择业务类型T的对应一组权值w_CPU，w_memory，w_network和w_disk；根据业务类型的K均值聚类结果，对应于相应的权重值参数；

所述权重值参数由用户根据业务类型灵活配置，在初始时给定默认值。

进一步，所述步骤S5具体包括：

S51：根据业务的优先级P确定其对应的一致性评价阀值C_P；所述一致性评价阈值由用户灵活配置；

S52：优选出满足一致性评价标准的m个最佳节点；

步骤S52中所述的优选出满足一致性评价标准的m个最佳节点具体过程为：

S521：初始时，i＝1；

S522：若i大于N-m+1，则返回空并结束优选过程，否则从i开始，依次选取Q[N]中的前m个值，即Q[i],Q[i+1],Q[i+2],…,Q[i+m-1]；

S523：计算选取的m个值的一致性；定义一致性为其方差σ，即其中

S524：比较σ与一致性评价阈值C_P的大小：

若σ大于一致性评价阈值C_P，则令i加1，重复步骤S522至S524；

若σ小于或等于一致性评价阈值C_P，则返回此时的i值，并结束优选过程。

通过上述步骤，即可优选出第i号至第i+m-1号节点，由于优选序列Q[N]是从大到小排列的，显然通过上述过程优选的m个节点是满足一致性评价标准的m个最佳节点。

2、一种基于kubernetes的物理资源调度系统，包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块；

所述业务分析模块：用于分析业务的类型和优先级，并将分析结果分别传送至参数配置模块和评分模块；

所述资源信息采集模块：负责收集各节点的资源使用状态；包括：中央处理器资源、内存资源、网络资源和磁盘资源占用情况；

所述参数配置模块：负责配置评分模块所需的权重参数和调度模块所需的一致性阀值参数；参数配置方式包含两种方式：默认参数配置和用户参数配置；默认参数由业务分析模块聚类算法提供；参数配置模块提供用户界面可供用户自主配置参数或对默认参数进行调整；

用户根据实际系统，灵活配置评分模块在计算资源总分时所需各种类型的业务所对应的资源权重值，以及优先级对应的一致性阈值；

所述评分模块：根据资源信息采集模块实时收集的资源使用率情况，计算各节点的资源评分；对节点的资源评分进行排序，得到评分从大到小的序列Q[N]；根据业务的优先级P对应的一致性评价阈值C_P，从序列Q[N]中计算出满足一致性要求的m个节点；

所述调度模块：根据评分模块得到的结果，将新业务的m个Pod分配给满足一致性要求的最优m个节点，同时通知资源信息采集模块更新各节点的资源信息，通知评分模块重新计算各节点的资源总评分。

进一步，所述业务分析模块实现应用聚类算法分析业务的类型和优先级，具体为：

(1)依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求为特征，进行K均值聚类分析，得到T_max类业务，及各类业务的聚类中心；其中T_max为业务类型总数；

(2)通过K均值聚类算法分析确定业务优先级；

(3)当识别到新任务到达云服务资源池后，通过业务分析模块得到的聚类结果，计算新任务对应业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P；

(4)加入新业务后，重新计算对应的聚类中心。

进一步，所述资源信息采集模块负责收集各节点的资源使用状态，具体为：

(1)初始时，资源信息采集模块负责主动收集所有节点的中央处理器的主频，内存容量，网卡带宽和磁盘容量，并予以记录保存；

(2)若节点硬件资源发生变动，即旧节点删除或有新节点加入，资源信息采集模块需更新上述记录；内存及磁盘使用情况采集则定期更新；从而实现资源信息采集模块对所有节点物理资源的实时采集。

本发明的有益效果在于：

1)通过归一化的资源评分方法，解决了当前kubernetes资源调度采用资源评分无法适用于异构混合云的问题；

2)通过基于业务的聚类分析，对业务进行类型划分及优先级确定，并据此确定中央处理器、内存、网卡、磁盘资源评分的权重，使总评分结果更全面更客观更准确，为资源的合理调度提供更可靠的依据；

3)引入一致性评价指标，通过聚类分析，确定业务的优先级，优先级与一致性评价指标对应，使得处理业务的各节点更加均衡。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为基于kubernetes的资源调度系统总体框架图；

图2为基于kubernetes的资源调度方法流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为基于kubernetes的资源调度系统总体框架图，如图1所示，本发明所述资源调度系统包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块。

所述业务分析模块用于分析业务的类型和优选级，并将分析结果分别传送至参数配置模块和评分模块。具体的，业务分析模块采用了基于业务的资源消耗特征的聚类分析算法对业务类型进行分类；采用了基于请求URL的聚类分析算法对业务优先级进行分类。

所述资源信息采集模块负责收集节点资源的信息和占用情况。包括各节点中央处理器资源、内存资源、网络资源和磁盘资源占用情况。

所述参数配置模块用于配置评分模块所需的权重参数和调度模块所需的一致性阈值参数。参数配置方式包含两种方式：默认参数配置和用户参数配置。默认参数由业务分析模块聚类算法提供。参数配置模块提供用户界面可供用户自主配置参数或对默认参数进行调整。

所述评分模块用于计算各节点的资源评分，

其中，表示节点i的总评分，和分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，w_CPU、w_memory、w_network和w_disk分别表示对应的权重，w_CPU，w_memory，w_network和w_disk均不小于0，且w_CPU+w_memory+w_network+w_disk＝1。

所述评分模块将各节点的资源评分从大到小进行排序，得到评分序列Q[N]，并将排序结果传至调度模块。

所述调度模块，根据业务优先级和所需节点数要求，利用资源调度方法，选择节点评分序列中资源评分高，且满足一致性要求的一组节点处理业务。

参见图2，利用上述基于kubernetes的资源调度系统，本实例还提供了一种资源调度方法，所述资源调度方法包括：

1、当识别到新任务到达云服务资源池后，首先由业务分析模块确定业务的类型T和优先级P。

2、资源采集模块采集当前各节点的中央处理器资源、内存资源、网络资源和磁盘资源的信息及占用情况。

特别地，系统首次启动或有新节点部署时才需采集所有节点的资源信息。

3、计算所有节点的资源评分：

其中，表示节点i的总评分，和分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，w_CPU，w_memory，w_network和w_disk分别表示对应的权重，w_CPU，w_memory，w_network，w_disk均不小于0，且w_CPU+w_memory+w_network+w_disk＝1。

更为具体的地，计算节点i的中央处理器资源评分：

其中，f_cpu_max表示所有节点中中央处理器的最高主频，f_cpu_i表示节点i的中央处理器的主频，R_cpu_i表示节点i的中央处理器的使用率，且0≤R_cpu_i≤100％。

计算节点i的内存资源评分：

其中，f_memory_max表示所有节点中最大的内存容量，f_memory_i表示节点i的内存大小，R_memory_i表示节点i的内存的使用率，且0≤R_memory_i≤100％。

计算节点i的网络资源评分：

其中，f_network_max表示所有节点中最大的网络带宽，f_network_i表示节点i的最大带宽，R_network_i表示节点i的带宽使用率，且0≤R_network_i≤100％。

计算节点i的磁盘资源评分：

其中，f_disk_max表示所有节点中最大的磁盘容量，f_disk_i表示节点i的磁盘大小，R_disk_i表示节点i的磁盘的使用率，且0≤R_disk_i≤100％。

4、对节点的资源得分进行排序，得到得分从大到小的序列Q[N]，其中Q[i]为第i个节点的资源得分，N为节点总数。

5、假设某业务在kubernetes中需创建m个Pod，Pod是kubernetes创建、调度和管理的最小部署单位。则需将m个Pod调度到N个待选节点中优选的m个节点上。

根据业务的优先级P，确定其对应的一致性评价阈值C_P，特别地，一致性评价阈值可由用户灵活配置。

具体通过以下方式进行优选：

4.1初始时，i＝1；

4.2若i大于N-m+1，则返回空并结束优选过程，否则从i开始，依次选取Q[N]中的前m个值，即Q[i],Q[i+1],Q[i+2],…,Q[i+m-1]；

4.3计算选取的m个值的一致性，这里我们定义一致性为其方差，即其中

4.4比较σ与一致性评价阈值C_P的大小：

若σ大于一致性评价阈值C_P，则令i加1，重复步骤4.2至4.4；

若σ小于等于一致性评价阈值C_P，则返回此时的i值，并结束优选过程。

通过上述步骤，即可优选出第i号至第i+m-1号节点，优选序列Q[N]是从大到小排列的，显然通过上述过程优选的m个节点是满足一致性评价标准的m个最佳节点。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (9)

1.一种基于kubernetes的物理资源调度方法，其特征在于，该方法适用于异构机型组成的混合云中资源的合理调度，具体包括以下步骤：

S1：当识别到承载业务的云服务Pod的资源请求时，确定其业务类型T和优先级P；

S2：收集各节点的中央处理器资源、内存资源、网络资源和磁盘资源信息及使用情况；

S3：计算所有节点的资源评分；

S4：对节点的资源评分进行排序；按照评分从大到小的序列Q[N]，其中Q[i]为第i个节点的资源评分，N为节点总数；

S5：假设某业务在kubernetes中需创建m个Pod；则需将m个Pod调度到从N个待选节点中优选的m个节点上。

2.根据权利要求1所述的一种基于kubernetes的物理资源调度方法，其特征在于，步骤S1中，所述业务类型T∈{1,2,3,...,T_max}，所述优先级P∈{1,2,3,...,P_max}，其中T_max为业务类型总数，P_max为最高优先级；P值越大，业务优先级越高；

所述步骤S1具体包括：

S11：依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求量为特征，通过K均值聚类算法分析，得到T_max类业务，及各类的聚类中心；

S12：当识别到新任务到达云服务资源池后，通过计算K均值聚类算法，即计算新业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P。

3.根据权利要求2所述的一种基于kubernetes的物理资源调度方法，其特征在于，步骤S3中，所述所有节点的资源评分计算公式为：

其中，表示节点i的总评分，和分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，w_CPU、w_memory、w_network和w_disk分别表示对应的权重，w_CPU、w_memory、w_network和w_disk均不小于0，且w_CPU+w_memory+w_network+w_disk＝1。

4.根据权利要求3所述的一种基于kubernetes的物理资源调度方法，其特征在于，异构机型组成的混合云中，

(1)定义中央处理器性能最好的节点在完全空闲时其对应的中央处理器资源评分为1，则任意节点的中央处理器资源评分不超过1；所述节点i的中央处理器资源评分计算公式为：

其中，f_cpu_max表示所有节点中中央处理器的最高主频，f_cpu_i表示节点i的中央处理器的主频，R_cpu_i表示节点i的中央处理器的使用率，且0≤R_cpu_i≤100％；

(2)定义内存性能最好的节点在完全空闲时其对应的内存资源评分为1，则任意节点的内存资源评分不超过1；所述节点i的内存资源评分计算公式为：

其中，f_memory_max表示所有节点中最大的内存容量，f_memory_i表示节点i的内存大小，R_memory_i表示节点i的内存使用率，且0≤R_memory_i≤100％；

(3)定义网卡性能最好的节点在完全空闲时其对应的网络资源评分为1，则任意节点的网络资源得分不超过1；所述节点i的网络资源评分计算公式为：

其中，f_network_max表示所有节点中最大的网络带宽，f_network_i表示节点i的最大带宽，R_network_i表示节点i的带宽使用率，且0≤R_network_i≤100％；

(4)定义磁盘性能最好的节点在完全空闲时其对应的磁盘资源评分为1，则任意节点的磁盘资源评分不超过1；所述节点i的磁盘资源得评分计算公式为：

其中，f_disk_max表示所有节点中最大的磁盘容量，f_disk_i表示节点i的磁盘大小，R_disk_i表示节点i的磁盘的使用率，且0≤R_disk_i≤100％。

5.根据权利要求4所述的一种基于kubernetes的物理资源调度方法，其特征在于，计算资源总评分时，选择业务类型T的对应一组权值w_CPU，w_memory，w_network和w_disk；根据业务类型的K均值聚类结果，对应于相应的权重值参数；

所述权重值参数由用户根据业务类型灵活配置，在初始时给定默认值。

6.根据权利要求5所述的一种基于kubernetes的物理资源调度方法，其特征在于，所述步骤S5具体包括：

S51：根据业务的优先级P确定其对应的一致性评价阀值C_P；所述一致性评价阈值由用户灵活配置；

S52：优选出满足一致性评价标准的m个最佳节点；

步骤S52中所述的优选出满足一致性评价标准的m个最佳节点具体过程为：

S521：初始时，i＝1；

S522：若i大于N-m+1，则返回空并结束优选过程，否则从i开始，依次选取Q[N]中的前m个值，即Q[i],Q[i+1],Q[i+2],…,Q[i+m-1]；

S523：计算选取的m个值的一致性；定义一致性为其方差σ，即

其中

S524：比较σ与一致性评价阈值C_P的大小：

若σ大于一致性评价阈值C_P，则令i加1，重复步骤S522至S524；

若σ小于或等于一致性评价阈值C_P，则返回此时的i值，并结束优选过程。

7.一种基于kubernetes的物理资源调度系统，其特征在于，该系统包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块；

所述业务分析模块：用于分析业务的类型和优先级，并将分析结果分别传送至参数配置模块和评分模块；

所述资源信息采集模块：负责收集各节点的资源使用状态；包括：中央处理器资源、内存资源、网络资源和磁盘资源占用情况；

所述参数配置模块：负责配置评分模块所需的权重参数和调度模块所需的一致性阀值参数；参数配置方式包含两种方式：默认参数配置和用户参数配置；默认参数由业务分析模块聚类算法提供；参数配置模块提供用户界面可供用户自主配置参数或对默认参数进行调整；

所述评分模块：根据资源信息采集模块实时收集的资源使用率情况，计算各节点的资源评分；对节点的资源评分进行排序，得到评分从大到小的序列Q[N]；根据业务的优先级P对应的一致性评价阈值C_P，从序列Q[N]中计算出满足一致性要求的m个节点；

所述调度模块：根据评分模块得到的结果，将新业务的m个Pod分配给满足一致性要求的最优m个节点，同时通知资源信息采集模块更新各节点的资源信息，通知评分模块重新计算各节点的资源总评分。

8.根据权利要求7所述的一种基于kubernetes的物理资源调度系统，其特征在于，所述业务分析模块实现应用聚类算法分析业务的类型和优先级，具体为：

(1)依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求为特征，进行K均值聚类分析，得到T_max类业务，及各类业务的聚类中心；其中T_max为业务类型总数；

(2)通过K均值聚类算法分析确定业务优先级；

(3)当识别到新任务到达云服务资源池后，通过业务分析模块得到的聚类结果，计算新任务对应业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P；

(4)加入新业务后，重新计算对应的聚类中心。

9.根据权利要求7所述的一种基于kubernetes的物理资源调度系统，其特征在于，所述资源信息采集模块负责收集各节点的资源使用状态，具体为：

(1)初始时，资源信息采集模块负责主动收集所有节点的中央处理器的主频，内存容量，网卡带宽和磁盘容量，并予以记录保存；

(2)若节点硬件资源发生变动，即旧节点删除或有新节点加入，资源信息采集模块需更新上述记录；内存及磁盘使用情况采集则定期更新，实现资源信息采集模块对所有节点物理资源的实时采集。