CN113448714B - 基于云平台的计算资源控制系统 - Google Patents

Abstract

本发明涉及一种基于云平台的计算资源控制系统，包括计算任务队列R，第一计算资源节点列表P，第二计算资源节点列表Q和调度器，所述调度器包括存储有第一计算机程序的存储介质，当所述第一计算机程序被调度器执行时，实现步骤S1、从所述计算任务队列R中获取当前任务(K，t)；步骤S2、将t与D1比较，如果t≥D1，那么按照从P1到P_M顺序遍历P，确定第一目标计算资源节点，将所述当前任务分配到所述第一目标计算资源节点，如果t<D1，则执行步骤S3；步骤S3、遍历Q，确定第二目标计算资源节点，将所述当前任务分配到所述第二目标计算资源节点。本发明采用高效的调度机制提高了云平台的计算资源的资源利用率和计算效率。

Description

基于云平台的计算资源控制系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于云平台的计算资源控制系统。

背景技术

随着计算机技术的快速发展，各种分布式的高性能计算系统，如集群、网格以及云计算系统，已经成为目前高效的动态计算服务平台。而云计算作为可用性最高的计算模式之一，利用虚拟化技术将服务器、存储器及网络设备等资源通过整合与分割，实现资源的动态按需分配与部署。但是，如何采用高效的调度机制提高云计算中的资源利用率，以及如何在保证资源利用率的前提下，满足用户的多种需求，对任务进行高效的调度是现阶段云计算高性能计算需要解决的技术问题。

发明内容

本发明目的在于，提供一种基于云平台的计算资源控制系统，采用高效的调度机制提高了云平台的计算资源的资源利用率和计算效率。

根据本发明一方面，提供了一种基于云平台的计算资源控制系统，包括：计算任务队列R，第一计算资源节点列表P，第二计算资源节点列表Q和调度器，其中，

所述计算任务队列R＝(R₁，R₂，......R_s)，R为先入先出队列，R_s表示第s个计算任务，s的取值为1到S，计算任务R_s包括(K_s，t_s)，K_s表示R_s所需要的计算资源的数量，所述计算资源包括CPU和GPU，t_s表示完成R_s所需的时间；

所述第一计算资源节点列表P＝(P₁，P₂，......，P_M)，P_m表示第m个第一计算资源节点，M表示第一计算资源节点的总数量，m的取值为1到M，P_m包括计算任务缓存和元数据{N_m，(PK_m ¹，PW_m ¹)，(PK_m ²，PW_m ²)，......，(PK_m ^X，PW_m ^X)}，N_m表示P_m中空闲的PK_m ^x的数量，PK_m ^x表示P_m的第x个计算资源，PW_m ^x为PK_m ^x被释放到空闲的时间片数量，X表示P_m中计算资源的数量，x的取值为1到X，PW_m ^x＝0，表示PK_m ^x为空闲，N_m表示取值为0的PW_m ^x的数量；

所述第二计算资源节点列表

Q_i ^j为第i个第二计算资源节点中在j个时间片后空闲计算资源的数量，

为Q_i中计算资源的数量,N表示第二计算资源节点的总数量，i的取值范围为1到N，j的取值范围为0到

D1表示预设的时间阈值，w表示时间片的时间跨度；

所述调度器包括存储有第一计算机程序的存储介质，当所述第一计算机程序被调度器执行时，实现以下步骤：

步骤S1、从所述计算任务队列R中获取当前任务(K，t)；

步骤S2、将t与D1比较，如果t≥D1，那么按照从P₁到P_M顺序遍历P，确定第一目标计算资源节点，将所述当前任务分配到所述第一目标计算资源节点，如果t<D1，则执行步骤S3；

步骤S3、遍历Q，确定第二目标计算资源节点，将所述当前任务分配到所述第二目标计算资源节点。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于云平台的计算资源控制系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明将计算资源节点划分为两类计算资源，并根据计算任务按照时间紧迫程度选择对应计算资源节点执行计算任务，采用高效的调度机制，提高了云平台的计算资源的资源利用率和计算效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的基于云平台的计算资源控制系统示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于云平台的计算资源控制系统的具体实施方式及其功效，详细说明如后。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，部分步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

本发明实施例提供了一种基于云平台的计算资源控制系统，如图1所示，包括：计算任务队列R，第一计算资源节点列表P，第二计算资源节点列表Q和调度器，其中，

所述计算任务队列R＝(R₁，R₂，......R_S)，R为先入先出队列(FIFO)，R_s表示第s个计算任务，s的取值为1到S，计算任务R_s包括(K_s，t_s)，K_s表示R_s所需要的计算资源的数量，所述计算资源包括CPU和GPU，所需要的计算资源的数量可以为CPU和/或GPU的核数，t_s表示完成R_s所需的时间；

所述第一计算资源节点列表P＝(P₁，P₂，......，P_M)，P_m表示第m个第一计算资源节点，M表示第一计算资源节点的总数量，m的取值为1到M，P_m包括计算任务缓存和元数据{N_m，(PK_m ¹，PW_m ¹)，(PK_m ²，PW_m ²)，......，(PK_m ^X，PW_m ^X)}，N_m表示P_m中空闲的PK_m ^x的数量，PK_m ^x表示P_m的第x个计算资源，PW_m ^x为PK_m ^x被释放到空闲的时间片数量，X表示P_m中计算资源的数量，x的取值为1到X，显然，PW_m ^x＝0，表示PK_m ^x为空闲，N_m表示取值为0的PW_m ^x的数量；

所述第二计算资源节点列表

Q_i ^j为第i个第二计算资源节点中在j个时间片后空闲计算资源的数量，

为Q_i中计算资源的数量,N表示第二计算资源节点的总数量，i的取值范围为1到N，j的取值范围为0到

D1表示预设的时间阈值，w表示时间片的时间跨度；作为一种优选实施例，每个所述第二计算资源节点具有相同的计算资源数量。

本领域技术人员知悉，第一计算资源节点、第二计算资源节点可以实现为物理主机节点，也可以实现为软件控制的虚拟主机节点，本发明对此不做限制。

所述调度器包括存储有第一计算机程序的存储介质，当所述第一计算机程序被调度器执行时，实现以下步骤：

步骤S1、从所述计算任务队列R中获取当前任务(K，t)；

步骤S2、将t与D1比较，如果t≥D1，那么按照从P₁到P_M顺序遍历P，确定第一目标计算资源节点，将所述当前任务分配到所述第一目标计算资源节点，如果t<D1，则执行步骤S3；

步骤S3、遍历Q，确定第二目标计算资源节点，将所述当前任务分配到所述第二目标计算资源节点。

本发明实施例将计算资源节点划分为两类计算资源，并根据计算任务按照时间紧迫程度选择对应计算资源节点执行计算任务，采用高效的调度机制，提高了云平台的计算资源的资源利用率和计算效率。

K_s，t_s具体可以由用户向所述系统提交R_s时预设，也可以根据用户提交的R_s自动预测，以下通过几个具体实施例对设置K_s，t_s进行说明：

实施例一、

所述系统还包括处理器和存储有第二计算机程序的存储器，当所述第二计算机程序被处理器执行时，实现以下步骤：

步骤S10、接收用户输入的K_s，根据R_s自动预测t_s；

其中，根据R_s自动预测t_s直接采用现有技术中的自动预测算法实现即可，在此不再展开描述。

步骤S20、将t_s与D1比较，K_s与预设的第一计算资源阈值D2比较，D2小于或等于第一计算资源节点中计算资源的数量，若K_s<D2，且t_s<D1，那么将t_s设置为D1。

实施例一的设置能够便于将只考虑计算资源，不考虑完成时间的计算资源，即对计算完成时间不敏感的任务，后续能够直接划分至第一计算资源列表中，能够使得所述调节器负载平衡。

实施例二、

所述系统还包括处理器和存储有第二计算机程序的存储器，当所述第二计算机程序被处理器执行时，实现以下步骤：

步骤S30、接收用户输入的t_s，基于t_s自动预测K_s。

其中，基于t_s自动预测K_s直接采用现有技术中的自动预测算法实现即可，在此不再展开描述。

实施例三、

所述系统还包括处理器和存储有第二计算机程序的存储器，当所述第二计算机程序被处理器执行时，实现以下步骤：

步骤S40、接收用户输入的R_s，基于R_s自适应生成K_s和t_s。

其中，基于R_s自适应生成K_s和t_s直接采用现有技术中的自适应算法实现即可，在此不再展开描述。

作为一种实施例，所述步骤S2具体可包括：

步骤S21、判断当前是否存在N_m，满足K≤N_m，如果存在，那么将对应的P_m确定为第一目标计算资源节点，并将所述当前任务分配给所述第一目标计算资源节点，执行S23，如果不存，则确定当前不存在第一计算节点能够执行当前任务，那么执行S22；

步骤S22、将当前任务为Null，且m的取值使得

的P_m确定为第一目标计算资源节点，并将所述当前任务存入所述第一目标计算资源节点的计算任务缓存，然后执行步骤S23，其中，N_mz表示P_m中取值为z的PK_m ^x的数量，θ为预设的下降权重因子；

需要说明的是，P_m能够使用的资源数量是动态变化的，通过步骤S23能够在不存在第一计算节点能够执行当前任务当前前提下，后续能够快速准确地确定最先满足能够执行当前任务的第一计算资源节点，提高了任务执行效率。

作为一种优选实施例，θ取值可设置为2。

步骤S23、更新N_m＝N_m-K。

作为一种实施例，当P_m上的计算任务执行完成时，所述调度器执行所述第一计算机程序时，还实现以下步骤：

步骤S24、判断P_m的计算任务缓存是否为Null，若是，则将P_m的计算任务缓存中的计算任务分配给P_m执行，否则，执行步骤S25；

步骤S25、更新N_m＝N_m+K’，K’为执行完成的计算任务所占用的计算资源的数量。

通过步骤S24和步骤S25，可以对P_m进行释放。

作为一种实施例，所述步骤S3进而包括：

步骤S31、判断当前是否存在Q_i ^j，满足K≤Q_i ^j，如果存在，那么将满足argmin(Q_i ^j-K)的Q_i ^j确定为第二目标计算资源节点，并将所述当前任务分配给所述第二目标计算资源节点，然后执行S35，否则，将j初始化为0，执行步骤S32；

步骤S32、更新K＝K+f(t-w)，j＝j+1，其中，f()表示根据时间自动预测所需计算资源的函数；

步骤S33、比较K和D3，D3表示预设的第二计算资源阈值，D3小于或等于第二计算资源节点中计算资源的数量，如果K≤D3，则返回执行步骤S31，否则，结束流程；

步骤S35、更新Q_i＝Q_i-K。

需要说明的是，当不存在K≤Q_i ^j的Q_i ^j时，说明当前不存在可以满足当前任务计算资源需求的Q_i，那么需要等待满足当前任务计算资源需求的Q_i的出现，而随着时间的推移，要想在目标时间内完成当前任务，那么随着完成时间的缩短，完成当前任务所需要的计算资源的数量会相应变多，因此更新K＝K+f(t-w)。f()可以设置为现有技术中根据时间自动预测所需计算资源的s算法，在此不在展开描述。这样，随着Q_i的动态更新，通过步骤S31-步骤S35，能够快速准确确定第二目标计算资源节点，提高执行任务的计算效率。

作为一种实施例，当Q_i ^j上的计算任务执行完成时，所述调度器执行所述第一计算机程序时，还实现以下步骤：

步骤S36、更新Q_i＝Q_i+K”，K”表示执行完成的计算任务所占用的计算资源的数量。

通过步骤S36对Q_i进行释放。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于云平台的计算资源控制系统，其特征在于，

包括：计算任务队列R，第一计算资源节点列表P，第二计算资源节点列表Q和调度器，其中，

所述计算任务队列R＝(R₁，R₂，......R_s)，R为先入先出队列，R_s表示第s个计算任务，s的取值为1到S，计算任务R_s包括(K_s，t_s)，K_s表示R_s所需要的计算资源的数量，所述计算资源包括CPU和GPU，t_s表示完成R_s所需的时间；

所述第一计算资源节点列表P＝(P₁，P₂，......，P_M)，P_m表示第m个第一计算资源节点，M表示第一计算资源节点的总数量，m的取值为1到M，P_m包括计算任务缓存和元数据{N_m，(PK_m ¹，PW_m ¹)，(PK_m ²，PW_m ²)，......，(PK_m ^X，PW_m ^X)}，N_m表示P_m中空闲的PK_m ^x的数量，PK_m ^x表示P_m的第x个计算资源，PW_m ^x为PK_m ^x被释放到空闲的时间片数量，X表示P_m中计算资源的数量，x的取值为1到X，PW_m ^x＝0，表示PK_m ^x为空闲，N_m表示取值为0的PW_m ^x的数量；

所述第二计算资源节点列表

Q_i ^j为第i个第二计算资源节点中在j个时间片后空闲计算资源的数量，

为Q_i中计算资源的数量,N表示第二计算资源节点的总数量，i的取值范围为1到N，j的取值范围为0到

D1表示预设的时间阈值，w表示时间片的时间跨度；

所述调度器包括存储有第一计算机程序的存储介质，当所述第一计算机程序被调度器执行时，实现以下步骤：

步骤S1、从所述计算任务队列R中获取当前任务(K，t)；

步骤S2、将t与D1比较，如果t≥D1，那么按照从P₁到P_M顺序遍历P，确定第一目标计算资源节点，将所述当前任务分配到所述第一目标计算资源节点，如果t<D1，则执行步骤S3；

步骤S3、遍历Q，确定第二目标计算资源节点，将所述当前任务分配到所述第二目标计算资源节点。

2.根据权利要求1所述的系统，其特征在于，

优选的，还包括处理器和存储有第二计算机程序的存储器，当所述第二计算机程序被处理器执行时，实现以下步骤：

步骤S10、接收用户输入的K_s，根据R_s自动预测t_s；

步骤S20、将t_s与D1比较，K_s与预设的第一计算资源阈值D2比较，D2小于或等于第一计算资源节点中计算资源的数量，若K_s<D2，且t_s<D1，那么将t_s设置为D1。

3.根据权利要求1所述的系统，其特征在于，

优选的，所述系统还包括处理器和存储有第二计算机程序的存储器，当所述第二计算机程序被处理器执行时，实现以下步骤：

步骤S30、接收用户输入的t_s，基于t_s自动预测K_s。

4.根据权利要求1所述的系统，其特征在于，

所述系统还包括处理器和存储有第二计算机程序的存储器，当所述第二计算机程序被处理器执行时，实现以下步骤：

步骤S40、接收用户输入的R_s，基于R_s自适应生成K_s和t_s。

5.根据权利要求1-4中任意一项所述的系统，其特征在于，

每个所述第二计算资源节点具有相同的计算资源数量。

6.根据权利要求5所述的系统，其特征在于，

所述步骤S2包括：

步骤S21、判断当前是否存在N_m，满足K≤N_m，如果存在，那么将对应的P_m确定为第一目标计算资源节点，并将所述当前任务分配给所述第一目标计算资源节点，执行S23，如果不存，则确定当前不存在第一计算节点能够执行当前任务，那么执行S22；

步骤S22、将当前任务为Null，且m的取值使得

的P_m确定为第一目标计算资源节点，并将所述当前任务存入所述第一目标计算资源节点的计算任务缓存，然后执行步骤S23，其中，N_mz表示P_m中取值为z的PK_m ^x的数量，θ为预设的下降权重因子；

步骤S23、更新N_m＝N_m-K。

7.根据权利要求6所述的系统，其特征在于，

θ设置为2。

8.根据权利要求6所述的系统，其特征在于，当P_m上的计算任务执行完成时，所述调度器执行所述第一计算机程序时，还实现以下步骤：

步骤S24、判断P_m的计算任务缓存是否为Null，若是，则将P_m的计算任务缓存中的计算任务分配给P_m执行，否则，执行步骤S25；

步骤S25、更新N_m＝N_m+K’，K’为执行完成的计算任务所占用的计算资源的数量。

9.根据权利要求5所述的系统，其特征在于，所述步骤S3包括：

步骤S31、判断当前是否存在Q_i ^j，满足K≤Q_i ^j，如果存在，那么将满足argmin(Q_i ^j-K)的Q_i ^j确定为第二目标计算资源节点，并将所述当前任务分配给所述第二目标计算资源节点，然后执行S35，否则，将j初始化为0，执行步骤S32；

步骤S32、更新K＝K+f(t-w)，j＝j+1，其中，f()表示根据时间自动预测所需计算资源的函数；

步骤S33、比较K和D3，D3表示预设的第二计算资源阈值，D3小于或等于第二计算资源节点中计算资源的数量，如果K≤D3，则返回执行步骤S31，否则，结束流程；

步骤S35、更新Q_i＝Q_i-K。

Images