CN112328367B - 一种云平台计算资源调度方法及系统 - Google Patents

Abstract

本发明公开了一种云平台计算资源调度方法及系统，涉及云计算技术领域，包括用于采集当前周期硬件计算资源信息的基础资源监控器，用于判断当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，并当当前周期硬件计算资源信息与上一周期硬件计算资源信息不同时确定变更硬件计算资源信息的基础资源控制器；用于根据变更硬件计算资源信息以及维护的容器和/或虚拟机确定资源操作指令的资源分配管理模块，其中，基础资源控制器还用于判断变更硬件计算资源信息是否在计算资源列表中，并当变更硬件计算资源信息在计算资源列表中时，将变更硬件计算资源信息发送至资源分配管理模块。本发明能够提高云平台计算能力。

Description

一种云平台计算资源调度方法及系统

技术领域

本发明涉及云计算技术领域，特别是涉及一种云平台计算资源调度方法及系统。

背景技术

在支撑异构计算的云平台中，物理服务器会挂载诸如FPGA、GPU等硬件计算资源，供容器(docker)及虚拟机使用。然而在一些场景中，物理服务器挂载的硬件计算资源由于任务的变化，会发生变动。在特定的条件下，某些容器，会被迁移到与原服务器安装的GPU或FPGA不一样的物理服务器上，造成器件不兼容，降低云平台计算能力。

发明内容

本发明的目的是提供一种云平台计算资源调度方法及系统，以提高云平台计算能力。

为实现上述目的，本发明提供了如下方案：

一种云平台计算资源调度，包括：

获取当前周期硬件计算资源信息；所述硬件计算资源信息为与容器和/或虚拟机连接的计算资源信息；

判断所述当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，得到第一判断结果；

若所述第一判断结果表示所述当前周期硬件计算资源信息与上一周期硬件计算资源信息相同，则返回获取当前周期硬件计算资源信息步骤；

若所述第一判断结果表示所述当前周期硬件计算资源信息与上一周期硬件计算资源信息不同，则确定变更硬件计算资源信息；所述变更硬件计算资源信息为所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同的计算资源信息；

判断所述变更硬件计算资源信息是否在计算资源列表中，得到第二判断结果；

若所述第二判断结果表示所述变更硬件计算资源信息不在所述计算资源列表中，则返回获取当前周期硬件计算资源信息步骤；

若所述第二判断结果表示所述变更硬件计算资源信息在所述计算资源列表中，则根据所述变更硬件计算资源信息以及维护的容器和/或虚拟机，确定资源操作指令。

可选的，还包括：根据所述当前周期硬件计算资源信息，更新所述上一周期硬件计算资源信息。

一种云平台计算资源调度系统，包括：

基础资源监控器，用于采集当前周期硬件计算资源信息；所述硬件计算资源信息为与容器和/或虚拟机连接的计算资源信息；

基础资源控制器，用于判断所述当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，并当所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同时确定变更硬件计算资源信息；所述变更硬件计算资源信息为所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同的计算资源信息；

所述基础资源控制器，还用于判断所述变更硬件计算资源信息是否在计算资源列表中，并当所述变更硬件计算资源信息在所述计算资源列表中时，将所述变更硬件计算资源信息发送至资源分配管理模块；

所述资源分配管理模块，用于根据所述变更硬件计算资源信息以及维护的容器和/或虚拟机，确定资源操作指令。

可选的，所述基础资源监控器为运行在Linux操作系统上的一个定时任务。

可选的，所述基础资源监控器用于根据Linux操作系统的modprobe、lspci、lshw、lsscsi、hdparm命令，依据事先设定的时间，定时扫描与容器和/或虚拟机连接的硬件计算资源；所述容器和所述虚拟机均部署在所述Linux操作系统上。

可选的，所述基础资源控制器，还用于判断所述变更硬件计算资源信息是否在计算资源列表中，并当所述变更硬件计算资源信息在所述计算资源列表中时，采用post方法对所述变更硬件计算资源信息进行处理，然后将处理后的变更硬件计算资源信息经资源监控信息采集模块发送至资源分配管理模块。

可选的，所述处理后的变更硬件计算资源信息包括变更硬件计算资源信息和变更信息；所述处理后的变更硬件计算资源信息的数据形式为json字符串。

可选的，所述基础资源控制器通过RESTful接口与所述资源监控信息采集模块连接；所述RESTful接口传输的参数包括服务器Id、服务器信息和服务器可用资源清单。

可选的，所述基础资源控制器，还用于根据所述当前周期硬件计算资源信息，更新所述上一周期硬件计算资源信息。

可选的，所述资源操作指令包括删除指令、迁移指令和更新指令；

所述删除指令为当板卡型号为第一板卡型号时，资源分配管理模块查询维护的器件列表，删除旧的板卡信息，挂载新的板卡信息；所述器件为容器和/或虚拟机；所述第一板卡型号为板卡型号发生变化的板卡型号；

所述迁移指令为当板卡型号为第二板卡型号时，资源分配管理模块查找具有所述第二板卡型号的服务器，将器件迁移到所述服务器上，发出指令给资源撤收管理模块，回收旧器件，将释放的硬件计算资源信息更新到资源分配管理模块；所述第二板卡型号为具有设定需求的板卡型号；

所述更新指令为当硬件计算资源信息不影响现有容器的运行情况时，资源分配管理模块更新硬件计算资源信息，以备分配使用。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明将轻量化容器和云平台技术融合，可以达到硬件计算资源统一管理和硬件计算资源统一调度的目的，进而提高云平台计算能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明云平台计算资源调度方法的流程图；

图2为本发明云平台计算资源调度系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种云平台计算资源调度方法及系统，以提高云平台计算能力。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了有效支撑应用运行环境的规划、部署以及资源调度，改善云平台的计算能力、当前存储使用状况以及服务对于运行所需的支撑，本发明采用硬件计算资源的量化分配技术，实现对计算、存储以及网络资源的量化管理，研究硬件计算资源的分时复用技术，为CPU、GPU、FPGA以及其他硬件设备的混合分配与回收的需求提供支撑。

本发明将轻量化容器和云平台技术融合，可以达到硬件计算资源统一管理和硬件计算资源统一调度的目的。通过计算资源虚拟化机制和软硬件资源的统一管理与协同调度，利用不同器件的计算特性，可以提高各类硬件的运行效率。因此，本发明提供了一种能够自动发现硬件计算资源改动，及时管理统筹硬件计算资源的方法及系统，在各类情况下，及时更新云计算平台，以及容器或虚拟机连接的硬件计算资源信息，提高云计算平台的计算能力。

实施例一

如图1所示，本实施例提供了一种云平台计算资源调度方法，具体包括以下步骤。

步骤101：获取当前周期硬件计算资源信息；所述硬件计算资源信息为与容器和/或虚拟机连接的计算资源信息息。

步骤102：判断所述当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，得到第一判断结果。若所述第一判断结果表示所述当前周期硬件计算资源信息与上一周期硬件计算资源信息相同，则执行步骤101；若所述第一判断结果表示所述当前周期硬件计算资源信息与上一周期硬件计算资源信息不同，则执行步骤103。

步骤103：确定变更硬件计算资源信息；所述变更硬件计算资源信息为所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同的计算资源信息。

步骤104：判断所述变更硬件计算资源信息是否在计算资源列表中，得到第二判断结果；若所述第二判断结果表示所述变更硬件计算资源信息在所述计算资源列表中，则执行步骤105；若所述第二判断结果表示所述变更硬件计算资源信息不在所述计算资源列表中，则执行步骤101。

步骤105：根据所述变更硬件计算资源信息以及维护的容器和/或虚拟机，确定资源操作指令。

本实施例提供的一种云平台计算资源调度方法，还包括：根据所述当前周期硬件计算资源信息，更新所述上一周期硬件计算资源信息。

实施例二

本实施例提供了一种云平台计算资源调度系统，包括：

基础资源监控器，用于采集当前周期硬件计算资源信息；所述硬件计算资源信息为与容器和/或虚拟机连接的计算资源信息。

基础资源控制器，用于判断所述当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，并当所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同时确定变更硬件计算资源信息；所述变更硬件计算资源信息为所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同的计算资源信息。

所述基础资源控制器，还用于判断所述变更硬件计算资源信息是否在计算资源列表中，并当所述变更硬件计算资源信息在所述计算资源列表中时，将所述变更硬件计算资源信息发送至资源分配管理模块。

所述资源分配管理模块，用于根据所述变更硬件计算资源信息以及维护的容器和/或虚拟机，确定资源操作指令。

其中，所述基础资源监控器为运行在Linux操作系统上的一个定时任务。所述基础资源监控器用于根据Linux操作系统的modprobe、lspci、lshw、lsscsi、hdparm命令，依据事先设定的时间，定时扫描与容器和/或虚拟机连接的硬件计算资源；所述容器和所述虚拟机均部署在所述Linux操作系统上。

所述基础资源控制器，还用于判断所述变更硬件计算资源信息是否在计算资源列表中，并当所述变更硬件计算资源信息在所述计算资源列表中时，采用post方法对所述变更硬件计算资源信息进行处理，然后将处理后的变更硬件计算资源信息经资源监控信息采集模块发送至资源分配管理模块。所述处理后的变更硬件计算资源信息包括变更硬件计算资源信息和变更信息；所述处理后的变更硬件计算资源信息的数据形式为json字符串。所述基础资源控制器通过RESTful接口与所述资源监控信息采集模块连接；所述RESTful接口传输的参数包括服务器Id、服务器信息和服务器可用资源清单。

所述基础资源控制器，还用于根据所述当前周期硬件计算资源信息，更新所述上一周期硬件计算资源信息。

所述资源操作指令包括删除指令、迁移指令和更新指令。

所述删除指令为当板卡型号为第一板卡型号时，资源分配管理模块查询维护的器件列表，删除旧的板卡信息，挂载新的板卡信息；所述器件为容器和/或虚拟机；所述第一板卡型号为板卡型号发生变化的板卡型号。

所述迁移指令为当板卡型号为第二板卡型号时，资源分配管理模块查找具有所述第二板卡型号的服务器，将器件迁移到所述服务器上，发出指令给资源撤收管理模块，回收旧器件，将释放的硬件计算资源信息更新到资源分配管理模块；所述第二板卡型号为具有设定需求的板卡型号。

所述更新指令为当硬件计算资源信息不影响现有容器的运行情况时，资源分配管理模块更新硬件计算资源信息，以备分配使用。

实施例三

本实施例提供了一种能够自动定时扫描系统硬件状态，识别硬件改动并及时上报给云计算平台的资源调度系统，使资源调度系统能对可用的硬件计算资源进行自动发现与调度管理，并且自动修改相应硬件状态。

本实施例提供的资源调度系统的工作流程如图2所示，包括以下步骤。

步骤一：基础资源监控器为运行在Linux操作系统上的一个定时任务，其实现原理是基于Linux操作系统的modprobe、lspci、lshw、lsscsi、hdparm等命令，依据事先设定的时间，如每小时启动一次，使基础资源监控器定时扫描与容器或虚拟机连接的硬件计算资源(如CPU、GPU、FPGA等处理器或存储设备等)，查看当前运行的硬件状态信息，追踪其状态的改动。其中，容器和虚拟机均部署在Linux操作系统上。

步骤二：当基础资源控制器发现与该容器或虚拟机连接的硬件计算资源发生改动之后，需要将此硬件计算资源与计算资源列表(计算资源列表设置在基础资源控制器中)中的预设资源类型进行对比，查看此硬件计算资源是否属于需要管理调度的计算资源。若此硬件计算资源不属于计算资源列表中的资源类型，则不上报变更信息给资源监控信息采集模块。若此硬件计算资源属于云平台需要管理调度的资源(如GPU、FPGA、硬盘等)，则通过调用一个RESTful接口，采用post方法，提交一个json字符串，将此硬件计算资源及其变更信息上报给资源监控信息采集模块。其RESTful接口传输的参数包括：服务器Id、服务器信息和服务器可用资源清单等信息。json字符串示例如下：

同时基础资源控制器更新此硬件计算资源对应的硬件状态信息，改变其可用状态，以便下次对比硬件计算资源变更时使用。

步骤三：

与各个物理服务器连接的资源监控信息采集模块将各自采集到的硬件资源变更信息(即步骤二中的json字符串)上报汇总给基础资源信息汇集模块，该模块将发生改动的硬件资源信息进行汇总。资源分配管理模块基于改动的计算资源变化，依据维护的docker容器及虚拟机信息，发出资源操作指令，包括以下几种：

1、若板卡型号发生变化，则资源分配管理模块查询维护的容器列表，删除旧的板卡信息，挂载新的板卡信息，挂载方式例如，以nvidia为例：

准备对应的库，挂载GPU

docker run--device/dev/nvidia0:/dev/nvidia0-v/usr/bin/:/usr/bin-v/usr/lib64:/usr/lib64-it 98b41a1e975dbash。

2、如资源分配管理模块维护的某些容器，对板卡型号有特定需求(具体例如，在进行容器资源申请时，创建的json文件，该属性不为空时，即为指定特定型号，例如"gpu":"GeForce GTX 1080")，则资源分配管理模块查找具有该板卡的服务器，将该容器迁移到该服务器上，发出指令给资源撤收管理模块，回收旧容器，将释放的资源信息更新到资源分配管理模块。

3、如采集到的硬件资源不影响现有容器的运行情况，则资源分配管理模块只更新维护的硬件资源信息，以备将来分配使用。

通过以上步骤，完成了在操作系统上硬件资源改动的自动发现，并在资源调度系统中进行维护，以使得云平台的资源调度系统能够对可用的硬件计算资源进行统一调度和管理的目的。管理员也能够在管理页面中了解服务器相关运行情况。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种云平台计算资源调度方法，其特征在于，包括：

获取当前周期硬件计算资源信息；所述硬件计算资源信息为与容器和/或虚拟机连接的计算资源信息；

判断所述当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，得到第一判断结果；

若所述第一判断结果表示所述当前周期硬件计算资源信息与上一周期硬件计算资源信息相同，则返回获取当前周期硬件计算资源信息步骤；

若所述第一判断结果表示所述当前周期硬件计算资源信息与上一周期硬件计算资源信息不同，则确定变更硬件计算资源信息；所述变更硬件计算资源信息为所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同的计算资源信息；

判断所述变更硬件计算资源信息是否在计算资源列表中，得到第二判断结果；

若所述第二判断结果表示所述变更硬件计算资源信息不在所述计算资源列表中，则返回获取当前周期硬件计算资源信息步骤；

若所述第二判断结果表示所述变更硬件计算资源信息在所述计算资源列表中，则根据所述变更硬件计算资源信息以及维护的容器和/或虚拟机，确定资源操作指令。

2.根据权利要求1所述的一种云平台计算资源调度方法，其特征在于，还包括：根据所述当前周期硬件计算资源信息，更新所述上一周期硬件计算资源信息。

3.一种云平台计算资源调度系统，其特征在于，包括：

基础资源监控器，用于采集当前周期硬件计算资源信息；所述硬件计算资源信息为与容器和/或虚拟机连接的计算资源信息；

基础资源控制器，用于判断所述当前周期硬件计算资源信息与上一周期硬件计算资源信息是否相同，并当所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同时确定变更硬件计算资源信息；所述变更硬件计算资源信息为所述当前周期硬件计算资源信息与所述上一周期硬件计算资源信息不同的计算资源信息；

所述基础资源控制器，还用于判断所述变更硬件计算资源信息是否在计算资源列表中，并当所述变更硬件计算资源信息在所述计算资源列表中时，将所述变更硬件计算资源信息发送至资源分配管理模块；

所述资源分配管理模块，用于根据所述变更硬件计算资源信息以及维护的容器和/或虚拟机，确定资源操作指令。

4.根据权利要求3所述的一种云平台计算资源调度系统，其特征在于，所述基础资源监控器为运行在Linux操作系统上的一个定时任务。

5.根据权利要求3所述的一种云平台计算资源调度系统，其特征在于，所述基础资源监控器用于根据Linux操作系统的modprobe、lspci、lshw、lsscsi、hdparm命令，依据事先设定的时间，定时扫描与容器和/或虚拟机连接的硬件计算资源；所述容器和所述虚拟机均部署在所述Linux操作系统上。

6.根据权利要求3所述的一种云平台计算资源调度系统，其特征在于，所述基础资源控制器，还用于判断所述变更硬件计算资源信息是否在计算资源列表中，并当所述变更硬件计算资源信息在所述计算资源列表中时，采用post方法对所述变更硬件计算资源信息进行处理，然后将处理后的变更硬件计算资源信息经资源监控信息采集模块发送至资源分配管理模块。

7.根据权利要求6所述的一种云平台计算资源调度系统，其特征在于，所述处理后的变更硬件计算资源信息包括变更硬件计算资源信息和变更信息；所述处理后的变更硬件计算资源信息的数据形式为json字符串。

8.根据权利要求6所述的一种云平台计算资源调度系统，其特征在于，所述基础资源控制器通过RESTful接口与所述资源监控信息采集模块连接；所述RESTful接口传输的参数包括服务器Id、服务器信息和服务器可用资源清单。

9.根据权利要求3所述的一种云平台计算资源调度系统，其特征在于，所述基础资源控制器，还用于根据所述当前周期硬件计算资源信息，更新所述上一周期硬件计算资源信息。

10.根据权利要求3所述的一种云平台计算资源调度系统，其特征在于，所述资源操作指令包括删除指令、迁移指令和更新指令；

所述删除指令为当板卡型号为第一板卡型号时，资源分配管理模块查询维护的器件列表，删除旧的板卡信息，挂载新的板卡信息；所述器件为容器和/或虚拟机；所述第一板卡型号为板卡型号发生变化的板卡型号；

所述迁移指令为当板卡型号为第二板卡型号时，资源分配管理模块查找具有所述第二板卡型号的服务器，将器件迁移到所述服务器上，发出指令给资源撤收管理模块，回收旧器件，将释放的硬件计算资源信息更新到资源分配管理模块；所述第二板卡型号为具有设定需求的板卡型号；

所述更新指令为当硬件计算资源信息不影响现有容器的运行情况时，资源分配管理模块更新硬件计算资源信息，以备分配使用。