CN109597674B - 一种共享虚拟资源池份额调度方法及系统 - Google Patents

Abstract

本发明公开了一种共享虚拟资源池份额调度方法及系统。本方法为：对每个业务应用分别进行实时监测，获得每个业务应用运行状况以及当前运行的虚拟机资源总数；其中，所述业务应用运行状况包括业务应用当前运行的作业数量以及排队等待运行的作业数量；每个业务应用分别设有一个所需虚拟机阈值上限和所需虚拟机阈值下限；如果业务应用的作业无排队情况，则进行收缩；如果业务应用有作业排队情况，且当前运行的虚拟机资源总数未超过整个虚拟计算集群的总额定负载，则对该业务进行扩张；若当前运行的虚拟机资源总数已达到或超过整个虚拟计算集群的总额定负载，则对该业务虚拟机运行实例保持原样。本发明大大地提高了云计算资源的使用效率。

Description

一种共享虚拟资源池份额调度方法及系统

技术领域

本发明属于云计算领域，具体涉及一种动态虚拟资源池调度方法及系统。

背景技术

云计算技术通过虚拟化技术将大规模的计算资源、存储资源与数据和应用融合在一起，通过互联网技术提供资源的共享，在提高资源利用率、灵活的可伸缩性以及可管理性方面表现出了巨大的优势。通过虚拟化网络、虚拟机调度等技术，将虚拟化环境与现有计算环境无缝衔接，提供IaaS(Infrastructure as a Service)类型的云计算服务，支持虚拟集群与分布式计算等上层应用。虚拟资源池可以提供给上层多种业务应用灵活使用，目前有多种云计算资源管理平台，如Openstack，Opennebula等。然而，目前openstack这类云计算管理平台只能提供静态虚拟机集群，而无法针对上层业务的资源需求进行动态的调整，由此会造成某些业务的虚拟机不够而其他业务的虚拟机空闲的问题，从而导致了虚拟机资源的极大浪费，如何高效利用虚拟机资源提供给上层业务弹性和灵活的分配，对提高整体虚拟资源池利用率十分关键。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种共享虚拟资源池调度方案，以解决上层多个业务同时使用虚拟计算资源分配及回收问题。

本发明提出一种自动调整虚拟资源池的方法，包括以下步骤：

实时监测上层多个业务应用的负载情况，对每个业务应用分别进行监测，获得当前运行的所有业务当前的负载情况，包括每一业务当前运行的作业数量以及在排队的作业数量；每个业务应用分别设有一个所需虚拟机阈值上限和所需虚拟机阈值下限；每一业务应用的所需虚拟机阈值上限和所需虚拟机阈值下限具体数目可以根据实际需要设定。

根据每个业务应用运行状况，判断对此业务应用的虚拟资源进行收缩或扩张，其方法是：调用HTCondor获取当前业务的作业状态，如果此业务应用的作业无排队情况，则进行收缩；如果此业务应用有作业排队情况，假如当前运行的虚拟机资源总数未超过整个虚拟计算集群的总额定负载，则对该业务进行扩张；假如当前运行的虚拟机资源总数已达到或超过整个虚拟计算集群的总额定负载，则对该业务虚拟机运行实例保持原样。

计算收缩或扩展的数量。需要说明的是，本专利中提出的计算收缩或扩张数量的方式跟底层IaaS平台所采用的虚拟平台管理软件和上层应用采用的作业管理系统密切相关，虚拟机的动态扩展对用户的作业是透明的，在动态调度过程中，用户的作业不受任何影响。对于虚拟机的控制，本专利中提出的方法主要针对以Openstack作为IaaS平台的虚拟机管理软件，在本专利的方法中，每个业务应用可定义不同类型的虚拟机镜像，动态调度系统中预先配置好应用名与虚拟机镜像名的对应关系，具体的虚拟机控制可通过Openstack平台的API实现，其他平台如Openebulla等可参考本专利的方法修改对应的虚拟机控制API接口即可实现。对于上层作业管理系统，本专利主要支持以HTCondor作为作业管理系统的虚拟计算集群，其他作业管理系统如PBS等可参考本专利的方法修改对应的作业查询API接口即可实现。

具体方法为：

1)若为收缩情况，依据当前业务应用运行的虚拟机数量current_vm、当前业务应用运行的有计算任务的虚拟机数量work_vm、当前业务应用的阈值下限min三者进行比较，如果有计算任务的虚拟机数量小于资源阈值下限，即work_vm<min，则进行收缩虚拟机的操作，此时调整业务应用的实例数量res为当前实例运行数量减去阈值下限，即res＝current_vm-min；如果有计算任务的虚拟机数量大于或等于资源阈值下限，即work_vm>＝min，则资源收缩数量为当前实例运行数量减去有任务的数量，即res＝current_vm–work_vm。具体的收缩操作通过调用云计算资源平台的API，通过批量发送删除根据上述方法所得到的虚拟机实例的请求来实现收缩。

2)若为扩展情况，首先获取当前业务应用运行的虚拟机数量run_vm，如果run_vm达到该业务应用的阈值上限max，则保持此业务应用的虚拟机数量不变；如果run_vm<max，则对该业务应用的虚拟机进行扩展。扩展的数量计算方法为：首先获取当前业务应用的最大可用虚拟机资源max_avail_vm，其计算方法为虚拟资源池总额定负载total_load减去各应用当前运行的虚拟机总数all_run，即max_avail_vm＝total_load-all_run。然后把max_avail_vm与当前业务应用存在排队等待运行的作业数量wait_job_num进行比较，如果max_avail_vm>＝wait_job_num，则当前业务应用的可用资源avail_vm等于wait_job_num；如果max_avail_vm<wait_job_num，则当前业务应用的可用资源avail_vm等于max_avail_vm。然后用work_vm+avail_vm与max比较，如果work_vm+avail_vm>max，则调整业务应用的实例数量res为max-work_vm；如果work_vm+avail_vm<max，则调整业务应用的实例数量res为avail_vm。具体的扩张操作通过调用云计算资源平台的API，通过批量启动所需数目的虚拟机来实现。

本发明同时提供了一套针对业务应用动态调整资源池的系统，包括：

监测模块，用于实时监测上层业务应用的负载情况，获取每个业务应用的排队数量、虚拟资源池可用资源数量和每个业务应用的虚拟机数量；

计算模块，用于计算某业务应用的可用虚拟机数量，并设置资源预留失效时间；

调整模块，用于调整虚拟资源池中某业务应用的虚拟机实例数量，保证其在预设的阈值区间内根据负载情况相应的扩展或收缩。如果无排队，则根据当前作业情况，进行收缩，收缩最小值为业务资源阈值下限；如果有排队，则调整到计算出的资源增加数量。

与现有技术相比，本发明的积极效果为：

本发明提出的动态调整虚拟资源池的方法及系统，通过监测上层业务应用的请求，从而计算虚拟机实例数量变化来确定调整后的虚拟机实例数量，并通过预设的极限阈值，控制资源池中的虚拟机实例所使用的虚拟机数量，大大地提高了云计算资源的使用效率。

附图说明

图1为本发明的动态调整资源池的方法的步骤流程图；

图2为本发明的计算需要调整业务应用的实例数量的方法流程图；

图3为本发明的动态调整资源池的方法的收缩实例流程图；

图4为本发明的动态调整资源池的方法的扩展实例流程图。

具体实施方式

在下述具体实施示例中，结合附图对本发明进行进一步的详细说明。通过足够详细的描述这些实施示例，使得本领域技术人员能够实践本发明。在不脱离本发明的主旨和范围的情况下，可以对实施做出逻辑的、实现的和其他的改变。因此，以下详细说明不应该被理解为限制意义，本发明的范围仅仅由权利要求来限定。

结合图1，说明本动态资源调度系统的系统结构。

本系统包含三个模块，分别为监测模块，计算模块，调整模块。上层与应用系统对接，支持HTCondor作业管理系统；下层与虚拟资源系统对接，这里的虚拟资源管理平台可以采用Openstack，Openebulla等多个虚拟资源平台。

当系统资源池初始化时，设置资源池中关于各业务应用的初始参数，此初始参数由【业务名称，阈值下限，阈值上限，可用资源，预留时间】五元组组成。各参数具体说明如下：

业务名称：指该应用的名字，每个应用可分别设置，支持多个应用。

阈值下限：指该应用最少需要运行的虚拟机数量，无论是否有作业，都要运行的最低虚拟机数量。

阈值上限：指该应用最多可以运行的虚拟机数量。

可用资源：指通过本专利提供的方法计算出的该应用当前可以使用的资源数量。

预留时间：指为该应用保持可用资源的有效期，超过有效期后，该部分资源会被释放，以供其他业务使用。

在本发明实施例中，定义以下参数：

参数名	说明
		total_load	虚拟资源池最大可用资源
current_vm	应用运行的虚拟机数量
		work_vm	有计算任务的虚拟机数量
avail_vm	业务应用可用资源
		wait_job_num	业务应用排队数量
run_vm	业务应用当前运行实例数
		max	业务应用阈值上限
min	业务应用阈值下限
		t	资源失效时长
res	调整业务应用的实例数量

本发明提供了一种动态调整资源池的方法，如图1所示，包括以下步骤：

S101，实时监测各业务应用资源负载情况，等待业务应用的资源请求；

S102，根据当前业务应用的作业情况，判断当前业务应用是进行收缩还是扩展。如果无作业排队，则进行收缩操作；如果有排队，则进行扩展操作。

S103，计算收缩或扩展虚拟机的数量。

S104，根据之前计算出的调整业务应用的实例数量，对虚拟机进行增加或者减少。

下面分收缩和扩展情况分别进行描述。

(一)收缩实例，如图3所示。

1)实时监测各业务应用资源负载情况，等待业务应用的资源请求；

2)收到业务应用A的资源请求，通过HTCondor的API查看业务应用A的作业排队情况；

3)发现此时业务应用A无排队作业；

4)获取业务应用A当前运行的虚拟机数量current_vm、业务应用A运行的有计算任务的虚拟机数量work_vm、业务应用A的阈值下限min，如果有计算任务的虚拟机数量小于资源阈值下限，即work_vm<min，则进行收缩虚拟机的操作，此时当前业务应用的所述调整业务应用的实例数量res为当前实例运行数量减去阈值下限，即res＝current_vm-min；如果有计算任务的虚拟机数量大于或等于资源阈值下限，即work_vm>＝min，则当前业务应用资源收缩数量为当前实例运行数量减去有任务的数量，即res＝current_vm–work_vm，计算需要调整业务应用的实例数量的方法如图2所示。

5)确定下调整业务应用的实例数量res后，调用Openstack的API接口，按此数目对当前没有作业运行的虚拟机进行批量删除。

(二)扩展实例，如图4所示。

1)实时监测各业务应用资源负载情况，等待业务应用的资源请求；

2)收到业务应用B的资源请求，通过HTCondor的API查看业务应用B的作业排队情况；

3)发现此时业务应用B有排队作业；

4)获取当前虚拟资源池最大可用资源数量avail_vm_max和业务应用运行B的实例数量work_vm；当前虚拟资源池最大可用资源池数量计算方法为，用虚拟资源池的总额定负载减去此时收集所有业务应用当前运行的虚拟机实例总数。

5)计算最终业务应用可用资源，如果无排队，即wait_job_num＝0，则avail_vm＝0；如果有排队，即wait_job_num>0，此时应分以下情况：如果avail_vm_max>wait_job_num，则业务应用可用资源avail_vm＝wait_job_num；如果avail_vm_max<wait_job_num，则业务应用可用资源为avail_vm＝avail_vm_max。

6)确定调整业务应用的实例数量。首先将业务应用可用资源avail_vm和业务应用运行的虚拟机的加和与应用阈值上下限进行比较，如果avail_vm+run_vm>max，则调整业务应用的实例数量res＝avail_vm+run_vm-max；如果avail_vm+run_vm<＝max，则调整业务应用的实例数量res＝avail_vm。

7)确定调整业务应用的实例数量res后，为该业务应用预留资源，并设定资源预留失效时长t，在此时间内当前业务应用可以启动res数目的虚拟机。

8)确定下调整业务应用的实例数量res后，调用Openstack的API接口，批量启动相应数量的虚拟机。

利用本发明的虚拟资源池动态调度的方法，根据上层应用使用情况动态地让资源在多个应用之间共享使用，大大提高了资源利用率。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种共享虚拟资源池份额调度方法，其步骤包括：

对每个业务应用分别进行实时监测，获得每个业务应用的运行状况以及当前运行的虚拟机实例总数all_run；其中，所述业务应用的运行状况包括业务应用当前运行的作业数量以及排队等待运行的作业数量；每一业务应用设有一个该业务应用所需虚拟机实例阈值上限max、所需虚拟机实例阈值下限min、业务名称、可用虚拟机实例数量avail_vm及其预留时间；业务应用运行的每一可用虚拟机实例分别设置有一失效时长t；

根据业务应用运行状况，判断对该业务应用的虚拟资源进行收缩或扩张；其中，

依据业务应用当前运行的虚拟机实例数量current_vm、该业务应用当前运行的有计算任务的虚拟机实例数量work_vm、该业务应用的所需虚拟机实例阈值下限min三者进行比较，如果work_vm<min，则进行收缩虚拟机实例的操作，此时调整该业务应用的虚拟机实例数量res＝current_vm-min；如果work_vm>＝min，则调整该业务应用的虚拟机实例数量res＝current_vm–work_vm；

如果业务应用存在排队等待运行的作业，且当前运行的虚拟机资源总数未超过虚拟计算集群的总额定负载total_load，则对该业务应用进行扩张；其方法为：首先获取该业务应用当前运行的虚拟机实例数量current_vm，如果current_vm达到该业务应用的所需虚拟机实例阈值上限max，则保持该业务应用的虚拟机实例数量不变；如果current_vm<max，则对该业务应用的虚拟机实例进行扩展；扩展数量的计算方法为：首先获取该业务应用当前的最大可用虚拟机实例资源max_avail_vm，然后对max_avail_vm与该业务应用当前存在排队等待运行的作业数量wait_job_num进行比较，如果max_avail_vm>＝wait_job_num，则令该业务应用当前的可用虚拟机实例数量avail_vm等于wait_job_num；如果max_avail_vm<wait_job_num，则令该业务应用当前的可用虚拟机实例数量avail_vm等于max_avail_vm；然后用work_vm+avail_vm与max比较，如果work_vm+avail_vm>max，则调整该业务应用的虚拟机实例数量res为max-work_vm；如果work_vm+avail_vm<max，则调整该业务应用的虚拟机实例数量res为avail_vm。

2.如权利要求1所述的方法，其特征在于，每一业务应用的所需虚拟机实例阈值上限和所需虚拟机实例阈值下限具体数目根据实际需要设定。

3.如权利要求1所述的方法，其特征在于，获取该业务应用当前的最大可用虚拟机实例资源max_avail_vm的计算方法为：虚拟计算集群的总额定负载total_load减去当前运行的虚拟机实例总数all_run，即max_avail_vm＝total_load-all_run。

4.一种共享虚拟资源池份额调度系统，其特征在于，包括监测模块、计算模块和调整模块；其中，

监测模块，对每个业务应用分别进行实时监测，获得每个业务应用的运行状况以及当前运行的虚拟机实例总数all_run；其中，所述业务应用的运行状况包括业务应用当前运行的作业数量以及排队等待运行的作业数量；每一业务应用设有一个该业务应用所需虚拟机实例阈值上限max、所需虚拟机实例阈值下限min、业务名称、可用虚拟机实例数量avail_vm及其预留时间；

计算模块，用于计算业务应用的可用虚拟机实例数量，并为业务应用的每一可用虚拟机实例分别设置有一失效时长t；

调整模块，用于根据每个业务应用的运行状况，判断对该业务应用的虚拟机实例进行收缩或扩张；其中，

依据业务应用当前运行的虚拟机实例数量current_vm、该业务应用当前运行的有计算任务的虚拟机实例数量work_vm、业务应用的阈值下限min三者进行比较，如果work_vm<min，则进行收缩虚拟机实例的操作，此时调整该业务应用的虚拟机实例数量res＝current_vm-min；如果work_vm>＝min，则调整该业务应用的虚拟机实例数量res＝current_vm–work_vm；

如果业务应用存在排队等待运行的作业，且当前运行的虚拟机实例资源总数未超过虚拟计算集群的总额定负载total_load，则对该业务应用进行扩张；其方法为：首先获取该业务应用当前运行的虚拟机实例数量current_vm，如果current_vm达到该业务应用的阈值上限max，则保持该业务应用的虚拟机实例数量不变；如果current_vm<max，则对该业务应用的虚拟机实例进行扩展；扩展的数量计算方法为：首先获取该业务应用当前的最大可用虚拟机实例数量max_avail_vm，然后对max_avail_vm与该业务应用当前存在排队等待运行的作业数量wait_job_num进行比较，如果max_avail_vm>＝wait_job_num，则令该业务应用当前的可用虚拟机实例数量avail_vm等于wait_job_num；如果max_avail_vm<wait_job_num，则令该业务应用当前的可用虚拟机实例数量avail_vm等于max_avail_vm；然后用work_vm+avail_vm与max比较，如果work_vm+avail_vm>max，则调整该业务应用的虚拟机实例数量res为max-work_vm；如果work_vm+avail_vm<max，则调整该业务应用的虚拟机实例数量res为avail_vm。

5.如权利要求4所述的系统，其特征在于，每一业务应用的所需虚拟机实例阈值上限和所需虚拟机实例阈值下限具体数目根据实际需要设定。

6.如权利要求4所述的系统，其特征在于，获取业务应用当前的最大可用虚拟机实例数量max_avail_vm的计算方法为：虚拟计算集群的总额定负载total_load减去当前运行的虚拟机实例总数all_run，即max_avail_vm＝total_load-all_run。

Images