CN109167835B - 一种基于kubernetes的物理资源调度方法及系统 - Google Patents

一种基于kubernetes的物理资源调度方法及系统 Download PDF

Info

Publication number
CN109167835B
CN109167835B CN201811069608.4A CN201811069608A CN109167835B CN 109167835 B CN109167835 B CN 109167835B CN 201811069608 A CN201811069608 A CN 201811069608A CN 109167835 B CN109167835 B CN 109167835B
Authority
CN
China
Prior art keywords
resource
node
service
nodes
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811069608.4A
Other languages
English (en)
Other versions
CN109167835A (zh
Inventor
蒋溢
祝清意
邹洋
熊安萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201811069608.4A priority Critical patent/CN109167835B/zh
Publication of CN109167835A publication Critical patent/CN109167835A/zh
Application granted granted Critical
Publication of CN109167835B publication Critical patent/CN109167835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于kubernetes的物理资源调度方法及系统，属于云计算领域。该方法包括：S1：当识别到承载业务的云服务Pod的资源请求时，分析确定业务类型和优先级；S2：收集各节点的中央处理器资源、内存资源、网络资源和磁盘资源信息及使用情况；S3：计算所有节点的资源评分；S4：对节点的资源评分进行排序；S5：将m个Pod调度到从N个待选节点中优选的m个节点上。该系统包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块。本发明考虑了各类业务对节点CPU、内存、网卡带宽、磁盘容量等资源的不同需求，建立新的节点评分机制，引入了一致性参数，保证同一业务中各Pod的一致性需求。

Description

一种基于kubernetes的物理资源调度方法及系统
技术领域
本发明属于云计算领域，涉及一种基于kubernetes的物理资源调度方法及资源调度系统。
背景技术
kubernetes是由Google研发并开源的一个用于管理跨宿主机的容器集群的分布式系统引擎，它构建于Docker之上，允许用户创建和管理Docker容器集群，并为容器化的应用集群提供资源调度、自动化部署运营、服务发现、弹性伸缩、高可用等一整套功能。
Pod是Kubernetes创建或部署的最小的基本单位，一个Pod代表集群上正在运行的一个工作单元，可以包含多个容器进程。kubernetes调度的核心就是如何从集群中选择合适的节点分配给Pod。当前kubernetes的资源调度算法大多基于CPU和内存使用率选择资源评分最高的节点，如Kubernetes内置的LeastRequestedPriority算法、公开专利CN106027643A。
然而在异构机群中，节点的CPU和内存等通常都存在型号差异，单纯依靠CPU和内存指标不足以评价节点的性能。所以，在分配节点时不仅需要考虑CPU和内存两类资源，还需考虑节点的网卡带宽、磁盘容量等因素。与此同时，当前调度算法依次对单个Pod进行调度，忽略了同一业务中各Pod的一致性需求，更没有考虑不同业务对资源需求的差异性。
发明内容
有鉴于此，本发明的目的在于提供一种基于kubernetes的物理资源调度方法及资源调度系统，该方法及系统考虑了各类业务对节点CPU、内存、网卡带宽、磁盘容量等资源的不同需求，建立新的节点评分机制，同时首次引入了一致性参数，用以保证同一业务中各Pod的一致性需求。因此，该方法及系统特别适用于多业务环境下的异构云。
为达到上述目的，本发明提供如下技术方案：
1、一种基于kubernetes的物理资源调度方法，适用于异构机型组成的混合云中资源的合理调度，该方法具体包括以下步骤：
S1：当识别到承载业务的云服务Pod的资源请求时，确定其业务类型T和优先级P；
S2：收集各节点的中央处理器资源、内存资源、网络资源和磁盘资源信息及使用情况；
S3：计算所有节点的资源评分；
S4：对节点的资源评分进行排序；按照评分从大到小的序列Q[N]，其中Q[i]为第i个节点的资源评分，N为节点总数；
S5：假设某业务在kubernetes中需创建m个Pod；则需将m个Pod调度到从N个待选节点中优选的m个节点上。
进一步，步骤S1中，所述业务类型T∈{1,2,3,...,Tmax}，所述优先级P∈{1,2,3,...,Pmax}，其中Tmax为业务类型总数，Pmax为最高优先级；P值越大，业务优先级越高；
所述步骤S1具体包括：
S11：依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求量为特征，通过K均值聚类算法分析，得到Tmax类业务，及各类的聚类中心；
S12：当识别到新任务到达云服务资源池后，通过计算K均值聚类算法，即计算新业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P。
进一步，步骤S3中，所述所有节点的资源评分计算公式为：
Figure BDA0001799189310000021
其中，
Figure BDA0001799189310000022
表示节点i的总评分，
Figure BDA0001799189310000023
和
Figure BDA0001799189310000024
分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，wCPU、wmemory、wnetwork和wdisk分别表示对应的权重，wCPU、wmemory、wnetwork和wdisk均不小于0，且wCPU+wmemory+wnetwork+wdisk＝1。
进一步，异构机型组成的混合云中，
(1)定义中央处理器性能最好的节点在完全空闲时其对应的中央处理器资源评分为1，则任意节点的中央处理器资源评分不超过1；所述节点i的中央处理器资源评分计算公式为：
Figure BDA0001799189310000025
其中，f_cpumax表示所有节点中中央处理器的最高主频，f_cpui表示节点i的中央处理器的主频，R_cpui表示节点i的中央处理器的使用率，且0≤R_cpui≤100％；显然，任意节点的中央处理器资源评分均介于0～1之间，且性能越好，使用率越少，评分越高。
(2)定义内存性能最好的节点在完全空闲时其对应的内存资源评分为1，则任意节点的内存资源评分不超过1；所述节点i的内存资源评分计算公式为：
Figure BDA0001799189310000026
其中，f_memorymax表示所有节点中最大的内存容量，f_memoryi表示节点i的内存大小，R_memoryi表示节点i的内存使用率，且0≤R_memoryi≤100％；显然，任意节点的内存资源得分均介于0～1之间，且容量越大，使用率越少，评分越高。
(3)定义网卡性能最好的节点在完全空闲时其对应的网络资源评分为1，则任意节点的网络资源得分不评过1；所述节点i的网络资源评分计算公式为：
Figure BDA0001799189310000031
其中，f_networkmax表示所有节点中最大的网络带宽，f_networki表示节点i的最大带宽，R_networki表示节点i的带宽使用率，且0≤R_networki≤100％；显然，任意节点的网络资源得分均介于0～1之间，且最大带宽越大，使用率越少，评分越高。
(4)定义磁盘性能最好的节点在完全空闲时其对应的磁盘资源评分为1，则任意节点的磁盘资源评分不超过1；所述节点i的磁盘资源得评分计算公式为：
Figure BDA0001799189310000032
其中，f_diskmax表示所有节点中最大的磁盘容量，f_diski表示节点i的磁盘大小，R_diski表示节点i的磁盘的使用率，且0≤R_diski≤100％；显然，任意节点的磁盘得分均介于0～1之间，且容量越大，使用率越少，评分越高。
进一步，不同类型的业务对资源调度的需要不同，如计算密集型的业务对中央处理器和内存资源的要求更高，而I/O密集型的业务对网络资源的要求更高。计算资源总评分时，选择业务类型T的对应一组权值wCPU，wmemory，wnetwork和wdisk；根据业务类型的K均值聚类结果，对应于相应的权重值参数；
所述权重值参数由用户根据业务类型灵活配置，在初始时给定默认值。
进一步，所述步骤S5具体包括：
S51：根据业务的优先级P确定其对应的一致性评价阀值CP；所述一致性评价阈值由用户灵活配置；
S52：优选出满足一致性评价标准的m个最佳节点；
步骤S52中所述的优选出满足一致性评价标准的m个最佳节点具体过程为：
S521：初始时，i＝1；
S522：若i大于N-m+1，则返回空并结束优选过程，否则从i开始，依次选取Q[N]中的前m个值，即Q[i],Q[i+1],Q[i+2],…,Q[i+m-1]；
S523：计算选取的m个值的一致性；定义一致性为其方差σ，即
Figure BDA0001799189310000033
其中
Figure BDA0001799189310000034
S524：比较σ与一致性评价阈值CP的大小：
若σ大于一致性评价阈值CP，则令i加1，重复步骤S522至S524；
若σ小于或等于一致性评价阈值CP，则返回此时的i值，并结束优选过程。
通过上述步骤，即可优选出第i号至第i+m-1号节点，由于优选序列Q[N]是从大到小排列的，显然通过上述过程优选的m个节点是满足一致性评价标准的m个最佳节点。
2、一种基于kubernetes的物理资源调度系统，包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块；
所述业务分析模块：用于分析业务的类型和优先级，并将分析结果分别传送至参数配置模块和评分模块；
所述资源信息采集模块：负责收集各节点的资源使用状态；包括：中央处理器资源、内存资源、网络资源和磁盘资源占用情况；
所述参数配置模块：负责配置评分模块所需的权重参数和调度模块所需的一致性阀值参数；参数配置方式包含两种方式：默认参数配置和用户参数配置；默认参数由业务分析模块聚类算法提供；参数配置模块提供用户界面可供用户自主配置参数或对默认参数进行调整；
用户根据实际系统，灵活配置评分模块在计算资源总分时所需各种类型的业务所对应的资源权重值，以及优先级对应的一致性阈值；
所述评分模块：根据资源信息采集模块实时收集的资源使用率情况，计算各节点的资源评分；对节点的资源评分进行排序，得到评分从大到小的序列Q[N]；根据业务的优先级P对应的一致性评价阈值CP，从序列Q[N]中计算出满足一致性要求的m个节点；
所述调度模块：根据评分模块得到的结果，将新业务的m个Pod分配给满足一致性要求的最优m个节点，同时通知资源信息采集模块更新各节点的资源信息，通知评分模块重新计算各节点的资源总评分。
进一步，所述业务分析模块实现应用聚类算法分析业务的类型和优先级，具体为：
(1)依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求为特征，进行K均值聚类分析，得到Tmax类业务，及各类业务的聚类中心；其中Tmax为业务类型总数；
(2)通过K均值聚类算法分析确定业务优先级；
(3)当识别到新任务到达云服务资源池后，通过业务分析模块得到的聚类结果，计算新任务对应业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P；
(4)加入新业务后，重新计算对应的聚类中心。
进一步，所述资源信息采集模块负责收集各节点的资源使用状态，具体为：
(1)初始时，资源信息采集模块负责主动收集所有节点的中央处理器的主频，内存容量，网卡带宽和磁盘容量，并予以记录保存；
(2)若节点硬件资源发生变动，即旧节点删除或有新节点加入，资源信息采集模块需更新上述记录；内存及磁盘使用情况采集则定期更新；从而实现资源信息采集模块对所有节点物理资源的实时采集。
本发明的有益效果在于：
1)通过归一化的资源评分方法，解决了当前kubernetes资源调度采用资源评分无法适用于异构混合云的问题；
2)通过基于业务的聚类分析，对业务进行类型划分及优先级确定，并据此确定中央处理器、内存、网卡、磁盘资源评分的权重，使总评分结果更全面更客观更准确，为资源的合理调度提供更可靠的依据；
3)引入一致性评价指标，通过聚类分析，确定业务的优先级，优先级与一致性评价指标对应，使得处理业务的各节点更加均衡。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为基于kubernetes的资源调度系统总体框架图；
图2为基于kubernetes的资源调度方法流程图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为基于kubernetes的资源调度系统总体框架图，如图1所示，本发明所述资源调度系统包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块。
所述业务分析模块用于分析业务的类型和优选级，并将分析结果分别传送至参数配置模块和评分模块。具体的，业务分析模块采用了基于业务的资源消耗特征的聚类分析算法对业务类型进行分类；采用了基于请求URL的聚类分析算法对业务优先级进行分类。
所述资源信息采集模块负责收集节点资源的信息和占用情况。包括各节点中央处理器资源、内存资源、网络资源和磁盘资源占用情况。
所述参数配置模块用于配置评分模块所需的权重参数和调度模块所需的一致性阈值参数。参数配置方式包含两种方式：默认参数配置和用户参数配置。默认参数由业务分析模块聚类算法提供。参数配置模块提供用户界面可供用户自主配置参数或对默认参数进行调整。
所述评分模块用于计算各节点的资源评分，
Figure BDA0001799189310000061
其中，
Figure BDA0001799189310000062
表示节点i的总评分，
Figure BDA0001799189310000063
和
Figure BDA0001799189310000064
分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，wCPU、wmemory、wnetwork和wdisk分别表示对应的权重，wCPU，wmemory，wnetwork和wdisk均不小于0，且wCPU+wmemory+wnetwork+wdisk＝1。
所述评分模块将各节点的资源评分从大到小进行排序，得到评分序列Q[N]，并将排序结果传至调度模块。
所述调度模块，根据业务优先级和所需节点数要求，利用资源调度方法，选择节点评分序列中资源评分高，且满足一致性要求的一组节点处理业务。
参见图2，利用上述基于kubernetes的资源调度系统，本实例还提供了一种资源调度方法，所述资源调度方法包括：
1、当识别到新任务到达云服务资源池后，首先由业务分析模块确定业务的类型T和优先级P。
2、资源采集模块采集当前各节点的中央处理器资源、内存资源、网络资源和磁盘资源的信息及占用情况。
特别地，系统首次启动或有新节点部署时才需采集所有节点的资源信息。
3、计算所有节点的资源评分：
Figure BDA0001799189310000065
其中，
Figure BDA0001799189310000066
表示节点i的总评分，
Figure BDA0001799189310000067
和
Figure BDA0001799189310000068
分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，wCPU，wmemory，wnetwork和wdisk分别表示对应的权重，wCPU，wmemory，wnetwork，wdisk均不小于0，且wCPU+wmemory+wnetwork+wdisk＝1。
更为具体的地，计算节点i的中央处理器资源评分：
Figure BDA0001799189310000069
其中，f_cpumax表示所有节点中中央处理器的最高主频，f_cpui表示节点i的中央处理器的主频，R_cpui表示节点i的中央处理器的使用率，且0≤R_cpui≤100％。
计算节点i的内存资源评分：
Figure BDA0001799189310000071
其中，f_memorymax表示所有节点中最大的内存容量，f_memoryi表示节点i的内存大小，R_memoryi表示节点i的内存的使用率，且0≤R_memoryi≤100％。
计算节点i的网络资源评分：
Figure BDA0001799189310000072
其中，f_networkmax表示所有节点中最大的网络带宽，f_networki表示节点i的最大带宽，R_networki表示节点i的带宽使用率，且0≤R_networki≤100％。
计算节点i的磁盘资源评分：
Figure BDA0001799189310000073
其中，f_diskmax表示所有节点中最大的磁盘容量，f_diski表示节点i的磁盘大小，R_diski表示节点i的磁盘的使用率，且0≤R_diski≤100％。
4、对节点的资源得分进行排序，得到得分从大到小的序列Q[N]，其中Q[i]为第i个节点的资源得分，N为节点总数。
5、假设某业务在kubernetes中需创建m个Pod，Pod是kubernetes创建、调度和管理的最小部署单位。则需将m个Pod调度到N个待选节点中优选的m个节点上。
根据业务的优先级P，确定其对应的一致性评价阈值CP，特别地，一致性评价阈值可由用户灵活配置。
具体通过以下方式进行优选：
4.1初始时，i＝1；
4.2若i大于N-m+1，则返回空并结束优选过程，否则从i开始，依次选取Q[N]中的前m个值，即Q[i],Q[i+1],Q[i+2],…,Q[i+m-1]；
4.3计算选取的m个值的一致性，这里我们定义一致性为其方差，即
Figure BDA0001799189310000074
其中
Figure BDA0001799189310000075
4.4比较σ与一致性评价阈值CP的大小：
若σ大于一致性评价阈值CP，则令i加1，重复步骤4.2至4.4；
若σ小于等于一致性评价阈值CP，则返回此时的i值，并结束优选过程。
通过上述步骤，即可优选出第i号至第i+m-1号节点，优选序列Q[N]是从大到小排列的，显然通过上述过程优选的m个节点是满足一致性评价标准的m个最佳节点。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于kubernetes的物理资源调度方法，其特征在于，该方法适用于异构机型组成的混合云中资源的合理调度，具体包括以下步骤：
S1：当识别到承载业务的云服务Pod的资源请求时，确定其业务类型T和优先级P；具体包括：
S11：依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求量为特征，通过K均值聚类算法分析，得到Tmax类业务，及各类的聚类中心；
S12：当识别到新任务到达云服务资源池后，通过计算K均值聚类算法，即计算新业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P；
所述业务类型T∈{1,2,3,...,Tmax}，所述优先级P∈{1,2,3,...,Pmax}，其中Tmax为业务类型总数，Pmax为最高优先级；P值越大，业务优先级越高；
S2：收集各节点的中央处理器资源、内存资源、网络资源和磁盘资源信息及使用情况；
S3：计算所有节点的资源评分；
S4：对节点的资源评分进行排序；按照评分从大到小的序列Q[N]，其中Q[i]为第i个节点的资源评分，N为节点总数；
S5：假设某业务在kubernetes中需创建m个Pod；则需将m个Pod调度到从N个待选节点中优选的m个节点上；具体包括：
S51：根据业务的优先级P确定其对应的一致性评价阈值CP；所述一致性评价阈值由用户灵活配置；
S52：优选出满足一致性评价标准的m个最佳节点，具体过程为：
S521：初始时，i＝1；
S522：若i大于N-m+1，则返回空并结束优选过程，否则从i开始，依次选取Q[N]中的前m个值，即Q[i],Q[i+1],Q[i+2],…,Q[i+m-1]；
S523：计算选取的m个值的一致性；定义一致性为其方差σ，即
Figure FDA0003301446700000011
其中
Figure FDA0003301446700000012
S524：比较σ与一致性评价阈值CP的大小：
若σ大于一致性评价阈值CP，则令i加1，重复步骤S522至S524；
若σ小于或等于一致性评价阈值CP，则返回此时的i值，并结束优选过程。
2.根据权利要求1所述的一种基于kubernetes的物理资源调度方法，其特征在于，步骤S3中，所述所有节点的资源评分计算公式为：
Figure FDA0003301446700000021
其中，
Figure FDA0003301446700000022
表示节点i的总评分，
Figure FDA0003301446700000023
和
Figure FDA0003301446700000024
分别表示节点i的中央处理器资源、内存资源、网络资源和磁盘资源评分，wCPU、wmemory、wnetwork和wdisk分别表示对应的权重，wCPU、wmemory、wnetwork和wdisk均不小于0，且wCPU+wmemory+wnetwork+wdisk＝1。
3.根据权利要求2所述的一种基于kubernetes的物理资源调度方法，其特征在于，异构机型组成的混合云中，
(1)定义中央处理器性能最好的节点在完全空闲时其对应的中央处理器资源评分为1，则任意节点的中央处理器资源评分不超过1；所述节点i的中央处理器资源评分计算公式为：
Figure FDA0003301446700000025
其中，f_cpumax表示所有节点中中央处理器的最高主频，f_cpui表示节点i的中央处理器的主频，R_cpui表示节点i的中央处理器的使用率，且0≤R_cpui≤100％；
(2)定义内存性能最好的节点在完全空闲时其对应的内存资源评分为1，则任意节点的内存资源评分不超过1；所述节点i的内存资源评分计算公式为：
Figure FDA0003301446700000026
其中，f_memorymax表示所有节点中最大的内存容量，f_memoryi表示节点i的内存大小，R_memoryi表示节点i的内存使用率，且0≤R_memoryi≤100％；
(3)定义网卡性能最好的节点在完全空闲时其对应的网络资源评分为1，则任意节点的网络资源得分不超过1；所述节点i的网络资源评分计算公式为：
Figure FDA0003301446700000027
其中，f_networkmax表示所有节点中最大的网络带宽，f_networki表示节点i的最大带宽，R_networki表示节点i的带宽使用率，且0≤R_networki≤100％；
(4)定义磁盘性能最好的节点在完全空闲时其对应的磁盘资源评分为1，则任意节点的磁盘资源评分不超过1；所述节点i的磁盘资源得评分计算公式为：
Figure FDA0003301446700000028
其中，f_diskmax表示所有节点中最大的磁盘容量，f_diski表示节点i的磁盘大小，R_diski表示节点i的磁盘的使用率，且0≤R_diski≤100％。
4.根据权利要求3所述的一种基于kubernetes的物理资源调度方法，其特征在于，计算资源总评分时，选择业务类型T的对应一组权值wCPU，wmemory，wnetwork和wdisk；根据业务类型的K均值聚类结果，对应于相应的权重值参数；
所述权重值参数由用户根据业务类型灵活配置，在初始时给定默认值。
5.适用于权利要求1～4中任意一项所述调度方法的一种基于kubernetes的物理资源调度系统，其特征在于，该系统包括业务分析模块、资源信息采集模块、参数配置模块、评分模块和调度模块；
所述业务分析模块：用于分析业务的类型和优先级，并将分析结果分别传送至参数配置模块和评分模块；
所述资源信息采集模块：负责收集各节点的资源使用状态；包括：中央处理器资源、内存资源、网络资源和磁盘资源占用情况；
所述参数配置模块：负责配置评分模块所需的权重参数和调度模块所需的一致性阈值参数；参数配置方式包含两种方式：默认参数配置和用户参数配置；默认参数由业务分析模块聚类算法提供；参数配置模块提供用户界面可供用户自主配置参数或对默认参数进行调整；
所述评分模块：根据资源信息采集模块实时收集的资源使用率情况，计算各节点的资源评分；对节点的资源评分进行排序，得到评分从大到小的序列Q[N]；根据业务的优先级P对应的一致性评价阈值CP，从序列Q[N]中计算出满足一致性要求的m个节点；
所述调度模块：根据评分模块得到的结果，将新业务的m个Pod分配给满足一致性要求的最优m个节点，同时通知资源信息采集模块更新各节点的资源信息，通知评分模块重新计算各节点的资源总评分。
6.根据权利要求5所述的一种基于kubernetes的物理资源调度系统，其特征在于，所述业务分析模块实现应用聚类算法分析业务的类型和优先级，具体为：
(1)依据以往大量业务对中央处理器资源、内存资源、网络资源和磁盘资源的需求为特征，进行K均值聚类分析，得到Tmax类业务，及各类业务的聚类中心；其中Tmax为业务类型总数；
(2)通过K均值聚类算法分析确定业务优先级；
(3)当识别到新任务到达云服务资源池后，通过业务分析模块得到的聚类结果，计算新任务对应业务到各聚类中心的欧氏距离，进而确定新业务的类型T和优先级P；
(4)加入新业务后，重新计算对应的聚类中心。
7.根据权利要求5所述的一种基于kubernetes的物理资源调度系统，其特征在于，所述资源信息采集模块负责收集各节点的资源使用状态，具体为：
(1)初始时，资源信息采集模块负责主动收集所有节点的中央处理器的主频，内存容量，网卡带宽和磁盘容量，并予以记录保存；
(2)若节点硬件资源发生变动，即旧节点删除或有新节点加入，资源信息采集模块需更新上述记录；内存及磁盘使用情况采集则定期更新，实现资源信息采集模块对所有节点物理资源的实时采集。
CN201811069608.4A 2018-09-13 2018-09-13 一种基于kubernetes的物理资源调度方法及系统 Active CN109167835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811069608.4A CN109167835B (zh) 2018-09-13 2018-09-13 一种基于kubernetes的物理资源调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811069608.4A CN109167835B (zh) 2018-09-13 2018-09-13 一种基于kubernetes的物理资源调度方法及系统

Publications (2)

Publication Number Publication Date
CN109167835A CN109167835A (zh) 2019-01-08
CN109167835B true CN109167835B (zh) 2021-11-26

Family

ID=64879199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811069608.4A Active CN109167835B (zh) 2018-09-13 2018-09-13 一种基于kubernetes的物理资源调度方法及系统

Country Status (1)

Country Link
CN (1) CN109167835B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960585B (zh) * 2019-02-02 2021-05-14 浙江工业大学 一种基于kubernetes的资源调度方法
CN109933420A (zh) * 2019-04-02 2019-06-25 深圳市网心科技有限公司 节点任务调度方法、电子设备及系统
CN110221915B (zh) * 2019-05-21 2020-11-10 新华三大数据技术有限公司 节点调度方法和装置
CN112214288B (zh) * 2019-07-10 2023-04-25 中国移动通信集团上海有限公司 基于Kubernetes集群的Pod调度方法、装置、设备和介质
CN110502321A (zh) * 2019-07-11 2019-11-26 新华三大数据技术有限公司 一种资源调度方法及系统
CN110347512B (zh) * 2019-07-12 2023-05-12 北京天云融创软件技术有限公司 一种多组件异构资源需求的资源调度方法
CN110502323B (zh) * 2019-07-18 2022-02-18 国网浙江省电力有限公司衢州供电公司 一种云计算任务实时调度方法
CN110928676B (zh) * 2019-07-18 2022-03-11 国网浙江省电力有限公司衢州供电公司 一种基于性能评估的电力cps负荷分配方法
CN110381159B (zh) * 2019-07-26 2022-02-01 中国联合网络通信集团有限公司 任务处理方法及系统
CN110389843B (zh) * 2019-07-29 2022-04-15 广东浪潮大数据研究有限公司 一种业务调度方法、装置、设备及可读存储介质
CN110515730A (zh) * 2019-08-22 2019-11-29 北京宝兰德软件股份有限公司 基于kubernetes容器编排系统的资源二次调度方法及装置
CN110968424B (zh) * 2019-09-12 2023-04-07 广东浪潮大数据研究有限公司 一种基于K8s的资源调度方法、装置和存储介质
CN110727512B (zh) * 2019-09-30 2020-06-26 星环信息科技（上海）有限公司 集群资源调度方法、装置、设备及储存介质
CN110795245B (zh) * 2019-10-25 2022-07-08 北京浪潮数据技术有限公司 一种Kubernetes服务权重管理的方法以及装置
CN111008124B (zh) * 2019-10-25 2023-01-24 武汉迎风聚智科技有限公司 数据库测试的任务调度方法以及装置
CN110806881B (zh) * 2019-11-05 2023-07-04 浪潮云信息技术股份公司 一种kubernetes部署不同CPU架构的方法
CN110851236A (zh) * 2019-11-11 2020-02-28 星环信息科技（上海）有限公司 一种实时资源调度方法、装置、计算机设备及存储介质
CN110942017B (zh) * 2019-11-25 2022-12-02 重庆紫光华山智安科技有限公司 基于自动化的多算法指标对比方法及系统
CN110990121B (zh) * 2019-11-28 2023-07-14 中国—东盟信息港股份有限公司 一种基于应用画像的Kubernetes调度策略
CN111131421B (zh) * 2019-12-13 2022-07-29 中国科学院计算机网络信息中心 一种工业互联网现场大数据与云端信息互联互通的方法
CN111143059B (zh) * 2019-12-17 2023-10-20 天津大学 改进的Kubernetes资源调度方法
CN111090523A (zh) * 2019-12-18 2020-05-01 浪潮云信息技术有限公司 一种kubernetes环境下基于动态优先级的资源调度方法
CN113014611B (zh) * 2019-12-19 2024-05-14 华为技术有限公司 一种负载均衡方法及相关设备
CN111082997B (zh) * 2019-12-30 2021-05-14 西安电子科技大学 移动边缘计算平台中基于业务识别的网络功能编排方法
CN111399983B (zh) * 2020-03-18 2024-05-14 北京达佳互联信息技术有限公司 基于容器编排调度服务的调度方法及装置
CN113448721A (zh) * 2020-03-27 2021-09-28 中国移动通信有限公司研究院 算力处理的网络系统及算力处理方法
CN111770162B (zh) * 2020-06-24 2023-05-02 重庆紫光华山智安科技有限公司 网络带宽限制方法、装置、主节点及存储介质
CN113780700B (zh) * 2020-07-08 2023-09-26 北京京东振世信息技术有限公司 一种数据处理的方法、装置和存储介质
CN112003660B (zh) * 2020-07-17 2022-03-18 北京大学深圳研究生院 一种网内资源的量纲测量方法、算力调度方法及存储介质
CN112214321B (zh) * 2020-10-10 2023-06-16 中国联合网络通信集团有限公司 一种新增微服务的节点选择方法、装置及微服务管理平台
CN112565388A (zh) * 2020-12-01 2021-03-26 中盈优创资讯科技有限公司 一种基于打分体系的分布式采集服务调度系统及方法
CN113452758A (zh) * 2021-06-04 2021-09-28 中国联合网络通信集团有限公司 一种业务访问方法及装置
CN113722079B (zh) * 2021-11-03 2022-03-11 北京云歌科技有限责任公司 基于目标应用的任务调度分配方法、装置、设备及介质
CN114090176A (zh) * 2021-11-19 2022-02-25 苏州博纳讯动软件有限公司 一种基于Kubernetes的容器调度方法
CN114020584B (zh) * 2022-01-05 2022-05-03 北京并行科技股份有限公司 一种作业分流方法、装置及计算设备
CN114090220B (zh) * 2022-01-13 2022-04-29 南京信息工程大学 一种分级cpu和内存资源调度方法
CN114615268B (zh) * 2022-03-28 2023-09-12 阿里巴巴（中国）有限公司 基于Kubernetes集群的服务网络、监控节点、容器节点及设备
CN114816272B (zh) * 2022-06-23 2022-09-06 江苏博云科技股份有限公司 Kubernetes环境下的磁盘管理系统
CN115665157B (zh) * 2022-11-14 2023-03-14 杭州谐云科技有限公司 一种基于应用资源类型的均衡调度方法和系统
CN118170505A (zh) * 2022-12-08 2024-06-11 中兴通讯股份有限公司 基于缓存亲和的调度方法、系统、设备及介质
CN116932228B (zh) * 2023-09-14 2023-12-12 湖南希赛网络科技有限公司 一种基于志愿者计算的边缘ai任务调度和资源管理系统
CN117114623B (zh) * 2023-09-18 2024-04-26 广东泰一高新技术发展有限公司 一种园区内监控设备的智慧管理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273911A (zh) * 2017-04-24 2017-10-20 国网江西省电力公司赣州供电分公司 一种基于模糊c均值聚类分析的台区负荷精确分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721290B2 (en) * 2015-06-05 2020-07-21 Nutanix, Inc. Architecture for managing I/O and storage for a virtualization environment using executable containers and virtual machines
US10013189B1 (en) * 2015-12-14 2018-07-03 EMC IP Holding Company LLC Storage volume backup management for multi-tenant environments
CN106027643B (zh) * 2016-05-18 2018-10-23 无锡华云数据技术服务有限公司 一种基于Kubernetes容器集群管理系统的资源调度方法
CN107105009B (zh) * 2017-03-22 2020-03-10 北京荣之联科技股份有限公司 基于Kubernetes系统对接工作流引擎的作业调度方法和装置
CN108519911A (zh) * 2018-03-23 2018-09-11 上饶市中科院云计算中心大数据研究院 一种基于容器的集群管理系统中资源的调度方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273911A (zh) * 2017-04-24 2017-10-20 国网江西省电力公司赣州供电分公司 一种基于模糊c均值聚类分析的台区负荷精确分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云计算环境下虚拟机资源调度策略研究;沙泉;《信息与电脑》;20151113;全文 *

Also Published As

Publication number Publication date
CN109167835A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109167835B (zh) 一种基于kubernetes的物理资源调度方法及系统
CN110996116B (zh) 一种主播信息的推送方法、装置、计算机设备和存储介质
CN107181724B (zh) 一种协同流的识别方法、系统以及使用该方法的服务器
US11106560B2 (en) Adaptive thresholds for containers
CN104038540B (zh) 一种应用代理服务器自动选择方法及系统
US10797953B2 (en) Server consolidation system
CN110377804A (zh) 培训课程数据的推送方法、装置、系统及存储介质
CN114040272B (zh) 一种路径确定方法、装置和存储介质
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
KR20130062442A (ko) 협업 필터링 추천 방식을 이용한 추천 방법 및 추천 시스템
CN113282409B (zh) 边缘计算任务的处理方法、装置和计算机设备
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
US20160062929A1 (en) Master device, slave device and computing methods thereof for a cluster computing system
CN110334157B (zh) 一种云计算管理系统
Li et al. An efficient scheduling optimization strategy for improving consistency maintenance in edge cloud environment
WO2023087658A1 (zh) 一种任务调度方法、装置、设备及可读存储介质
CN112819054A (zh) 一种切片模板配置方法及装置
WO2021008675A1 (en) Dynamic network configuration
CN113553160A (zh) 用于人工智能物联网的边缘计算节点任务调度方法及系统
CN115858168A (zh) 一种基于重要性排序的地球应用模型编排系统及其方法
Németh et al. A snapshot of the frontiers of client selection in federated learning
CN114205374B (zh) 基于信息时效性的传输和计算联合调度方法、装置及系统
CN110119268B (zh) 基于人工智能的工作流优化方法
Li et al. GAP: Genetic algorithm based large-scale graph partition in heterogeneous cluster
WO2024011864A1 (zh) 公交线路排班的处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant