CN105389206B - 一种云计算数据中心虚拟机资源快速配置方法 - Google Patents

Abstract

本发明公开了一种云计算数据中心虚拟机资源快速配置方法，所述方法包括：资源控制器接收到一个来自第一应用服务器的虚拟机作业请求，对所述请求作出响应：若接受请求则按请求的作业类型选择一个队列最优的物理服务器集群并向该物理服务器集群下发虚拟机作业，若拒绝请求则返回拒绝信息；物理服务器集群接收到一个来自资源控制器的虚拟机作业，按可容忍的最迟作业完成时间将其入队；物理服务器集群调度周期到达，则采用非抢占式队列内顺序调度的资源优化策略来调度虚拟机作业。单个虚拟机作业依次经历上述步骤；不同步骤的虚拟机作业可以同时处理。这种方法加快了虚拟机资源的配置速度，使数据中心能满足大数据云计算的服务质量要求。

Description

一种云计算数据中心虚拟机资源快速配置方法

技术领域

本发明涉及云计算领域，具体涉及一种云计算数据中心虚拟机资源快速配置方法。

背景技术

云计算是一种新的计算模型和服务模式。云计算数据中心通过虚拟化技术、集群技术将物理服务器的CPU、内存等计算资源和硬盘等存储资源以租用的方式提供给用户，租户可以根据其大数据处理、存储等的规模按需动态请求资源。在云计算数据中心，每个租户的资源请求抽象为一个或多个虚拟机(Virtual Machine)作业，每个虚拟机作业对应一定数量的云计算基础设施资源(包括CPU、内存和硬盘等)，每个物理服务器集群可以同时运行多个虚拟机。

现有技术主要采用以下方法处理用户请求的虚拟机作业：数据中心资源管理系统由调度管理节点和提供计算/存储等资源的物理服务器构成，调度管理节点按作业到达的顺序对来自第一应用服务器的虚拟机作业请求依次执行如下操作：寻找当前时刻剩余资源能满足作业的资源规格(即，CPU、内存和硬盘等资源需求的集合)的物理服务器：如果找到多个，则，采用调度算法从中选择一个物理服务器，然后向该物理服务器下发虚拟机作业调度通知，物理服务器接收到调度信息后，按作业的资源规格调度作业；如果没有找到，则，即时拒绝该作业请求，或者，将其放入调度管理节点的排队系统，直到发现资源规格匹配的物理服务器后再执行调度算法选择物理服务器来调度该作业。

但是在实际应用过程中，现有技术的云计算数据中心虚拟机资源调度方法存在的主要问题是无法保障虚拟机作业的服务质量：在突发时期，一般有几千至几万的虚拟机作业请求同时涌入数据中心，如果调度管理节点在每一作业的资源分配这一过程消耗过多的时间，将会延长所有等待调度的作业的等待延迟，导致虚拟机作业超时和数据中心资源利用率偏低。但是，要求调度管理节点在极短的调度决策期间依次执行快速从队列中选择一个优先调度的作业紧接着在成千上万的物理服务器中选择一个来为其配置资源的做法对调度管理节点的处理器和存储器访问操作以及调度管理节点与物理服务器之间的控制信令的通信提出了严格的要求，然而当前硬件实现上的难度使得其成为当前高速云计算数据中心的瓶颈。现有技术的由于当前时刻没有与作业的资源规格相匹配的物理服务器而即时拒绝该作业请求的处理方式尽管一定程度上减少了调度管理节点调度决策所消耗的时长，但是这种方式也减少了营业收益和恶化了用户体验，实际上，一个搜索/计算资源应用一般只需要很短的虚拟机作业运行时间，而这些应用的作业完成时间期限(Deadline)往往可使其容忍一定的排队延迟。

发明内容

本发明的目的是解决如何保障虚拟机作业的服务质量这个关键问题，因此提供一种云计算数据中心虚拟机资源快速配置方法，减少虚拟机作业的等待延迟，加快虚拟机资源配置的速度和效率，使数据中心能满足大数据云计算的服务质量要求。

本发明通过如下技术方案实现：

一种云计算数据中心虚拟机资源快速配置方法，包括如下步骤：

1)资源控制器接收到一个来自第一应用服务器的虚拟机作业请求，对所述请求作出响应：如果接受请求，则按请求的作业类型选择一个队列最优的物理服务器集群并向该物理服务器集群下发虚拟机作业，下发的虚拟机作业中至少包括如下作业参数：作业的类型、作业运行时长和作业可容忍的等待延迟；如果拒绝请求，则返回拒绝信息；

2)物理服务器集群接收到一个来自资源控制器的虚拟机作业，按可容忍的最迟作业完成时间将其入队；

3)物理服务器集群调度周期到达，则采用非抢占式队列内顺序调度的资源优化策略来调度所述物理服务器集群中的虚拟机作业。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，所述资源控制器对所述请求作出响应的具体步骤为：

S201:资源控制器根据请求的作业类型确定支持所述作业类型的物理服务器集群组，执行步骤S202；

S202:资源控制器判断支持所述作业类型的物理服务器集群组是否为空：是，则拒绝所述请求并返回拒绝信息，本资源配置过程结束；否，则执行步骤S203；

S203:资源控制器比较上述物理服务器集群组中每个物理服务器集群的与所请求的作业类型相同的队列的长度，将长度最小的队列所对应的物理服务器集群作为队列最优的物理服务器集群，如果长度最小的队列不止一个，则随机选择其中一个，将其对应的物理服务器集群作为队列最优的物理服务器集群，执行步骤S204；

S204：资源控制器向队列最优的物理服务器集群下发虚拟机作业，本过程结束。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，物理服务器集群按可容忍的最迟作业完成时间将其入队的具体步骤为：

S301:物理服务器集群将队列类型与所述虚拟机作业的作业类型相同的队列作为所述虚拟机作业入队的队列，执行步骤S302；

S302:物理服务器集群按如下条件：(1)新入队的虚拟机作业位于正在调度的虚拟机作业的后面，(2)新入队的虚拟机作业与当前时刻队列内等待调度的而且未超时的虚拟机作业按作业可容忍的最迟作业完成时间升序排列，确定所述虚拟机作业在所述入队队列的入队位置，执行步骤S303；

S303:物理服务器集群将所述虚拟机作业放入所述位置，本入队过程结束。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，物理服务器集群采用非抢占式队列内顺序调度的资源优化策略来调度所述物理服务器集群中的虚拟机作业的具体步骤为：

S401:物理服务器集群判断是否该物理服务器集群内的所有的队列均为空：是，本调度过程结束；否，执行步骤S402；

S402:物理服务器集群确定调度策略组，所确定的调度策略组中的任一个策略同时满足如下条件：(1)是一个维数为该物理服务器集群支持的虚拟机的类型之和的行向量，即，这里，自然数G表示该物理服务器集群支持G类虚拟机作业，N_s是第s个调度策略，自然数表示第i类虚拟机作业的数量，(2)包含正在调度的虚拟机作业，即，对任意i∈[1,G]，都成立，这里G维行向量S＝[S₁,...,S_i,...,S_G]表示正在调度的虚拟机作业向量，自然数S_i表示正在调度的第i类虚拟机作业的数量，(3)队列内的虚拟机作业按位置顺序从队列头部开始选择，即，自然数是队列i中从队列头部开始按位置顺序计数的个虚拟机作业，(4)不超过队列中等待调度和正在调度的虚拟机作业数量之和，即，对任意i∈[1,G]，成立，这里，自然数W_i表示等待调度的第i类虚拟机作业的数量，(5)资源规格之和不超过该物理服务器集群的资源规格容量，包括CPU资源之和、内存资源之和以及硬盘资源之和分别不超过该物理服务器集群的CPU资源容量、内存资源容量以及硬盘资源容量；执行步骤S403；

S403:物理服务器集群将调度策略组中资源效用最大的策略确定为非抢占式队列内顺序调度的资源优化策略，执行步骤S404；

S404:物理服务器集群按所确定的调度策略来调度虚拟机作业。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，云计算数据中心资源配置系统由一个资源控制器和一个以上物理服务器集群构成，一个物理服务器集群由一个以上队列构成，每个队列划分为正在调度的作业区间和等待调度的作业区间，正在调度的作业区间位于队列头部，每个队列对应一种作业类型，每种作业类型对应一定数量的CPU、内存和硬盘资源。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，支持所述作业类型的物理服务器集群组是云计算数据中心中满足CPU、内存和硬盘资源容量分别不小于该虚拟机作业请求的CPU、内存和硬盘资源的物理服务器集群的集合。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，物理服务器集群中的一个队列的长度等于这个队列中等待调度的虚拟机作业的作业运行时长之和加上正在调度的虚拟机作业剩余运行时长之和。

如上所述的一种云计算数据中心虚拟机资源快速配置方法，其中，所述物理服务器集群的虚拟机作业入队步骤中的当前时刻可容忍的最迟作业完成时间等于作业运行时长与该虚拟机作业当前可容忍的等待延迟之和。

相对于现有技术，本发明具有如下优点和有益效果：

一、本发明公开的一种云计算数据中心虚拟机资源快速配置方法，包括资源控制器的物理服务器集群选择、物理服务器集群的作业入队和物理服务器集群的队列调度这三个步骤。单个虚拟机作业依次经历上述步骤；不同步骤的虚拟机作业可以同时处理。这种方法减少了低优先级的虚拟机作业等待系统为高优先级的虚拟机作业以及后到达的虚拟机作业等待系统为先到达的虚拟机作业进行资源配置所消耗的时长，加快云计算数据中心的虚拟机资源配置的速度和效率。

二、本发明公开的一种云计算数据中心虚拟机资源快速配置方法，在资源控制器为虚拟机作业选择物理服务器集群的步骤中，按虚拟机作业的类型为其选择队列最优的物理服务器集群，可实现物理服务器集群间云计算资源的负载均衡，减少物理服务器集群的虚拟机作业队列长度，加快虚拟机作业入队的速度；在虚拟机作业入队的步骤中，物理服务器集群按作业可容忍的最迟作业完成时间将新入队的虚拟机作业与队列内等待调度的虚拟机作业按升序排列，既提供了区分的服务质量又简化了队列调度过程，加快队列调度决策的速度；在队列调度中以资源效用为优化目标，进一步提高资源效用和满足虚拟机作业的服务质量要求。

附图说明

图1为本发明一种云计算数据中心虚拟机资源配置系统队列结构示意图。

图2为本发明一种云计算数据中心虚拟机资源快速配置方法的总流程图。

图3为本发明一种云计算数据中心的资源控制器的物理服务器集群选择的一个实施例的流程图。

图4为本发明一种云计算数据中心的物理服务器集群的虚拟机作业入队的一个实施例的流程图。

图5为本发明一种云计算数据中心的物理服务器集群的队列调度的一个实施例的流程图。

具体实施方式

下面结合附图1～5和实施例对本发明作进一步的说明，但是本发明要求保护的范围并不局限于实施方式表述的范围。

如图1所示，云计算数据中心资源配置系统由一个资源控制器和一个以上物理服务器集群构成；物理服务器集群由一个以上队列构成，每个队列划分为正在调度的作业区间和等待调度的作业区间，正在调度的作业区间位于队列头部，每个队列对应一种虚拟机作业类型，每种虚拟机作业类型对应一定数量的CPU、内存和硬盘资源。资源控制器接收到一个来自第一应用服务器的虚拟机作业请求，如果接受该请求，则按请求的作业类型选择一个队列最优的物理服务器集群并向该物理服务器集群下发虚拟机作业；物理服务器集群为来自资源控制器的虚拟机作业选择入队的队列，并将虚拟机作业放入所选择队列的对应位置；当物理服务器集群的调度周期到达，物理服务器集群采用资源优化的调度策略来调度虚拟机作业。每个虚拟机作业的资源分配依次经历上述步骤，每个虚拟机作业只进入其中一个物理服务器集群的其中一个队列，虚拟机作业首先进入等待调度的作业区间，然后进入正在调度的作业区间直至虚拟机作业的运行时长到达则出队。资源控制器的物理服务器集群选择、物理服务器集群的虚拟机作业入队及其队列调度的操作可以面向不同的虚拟机作业同时进行。这种方法可以减少低优先级的虚拟机作业等待系统为高优先级的虚拟机作业以及后到达的虚拟机作业等待系统为先到达的虚拟机作业进行资源配置所消耗的时长，加快云计算数据中心的虚拟机资源配置的速度和效率。

实施例

如图2所示，一种云计算数据中心虚拟机资源快速配置方法，包括如下步骤：

1)资源控制器接收到一个来自第一应用服务器的虚拟机作业请求，对所述请求作出响应：如果接受请求，则按请求的作业类型选择一个队列最优的物理服务器集群并向该物理服务器集群下发虚拟机作业，下发的虚拟机作业中至少包括如下作业参数：作业的类型、作业运行时长和作业可容忍的等待延迟；如果拒绝请求，则返回拒绝信息；

2)物理服务器集群接收到一个来自资源控制器的虚拟机作业，按可容忍的最迟作业完成时间将其入队；

3)物理服务器集群调度周期到达，则采用非抢占式队列内顺序调度的资源优化策略来调度所述物理服务器集群中的虚拟机作业。

如图3所示，资源控制器接收到一个来自第一应用服务器的虚拟机作业请求，执行如下步骤：

(301)资源控制器根据请求的虚拟机作业类型确定支持所述作业类型的物理服务器集群组：将云计算数据中心中的每一个物理服务器集群的CPU、内存和硬盘资源容量分别与虚拟机作业所请求的CPU、内存和硬盘资源进行比较，如果该物理服务器集群的CPU、内存和硬盘资源容量分别不小于该虚拟机作业请求的CPU、内存和硬盘资源，则将该物理服务器集群放入支持所述作业类型的物理服务器集群组；执行步骤302；

(302)资源控制器判断支持所述作业类型的物理服务器集群组是否为空：是，则跳往305；否，则执行步骤303；

(303)资源控制器从支持所述作业类型的物理服务器集群组中选择一个队列最优的物理服务器集群：比较上述物理服务器集群组中每个物理服务器集群的与所请求的虚拟机作业类型相同的队列的长度，将长度最小的队列所对应的物理服务器集群作为队列最优的物理服务器集群，如果长度最小的队列不止一个，则随机选择其中一个，将其对应的物理服务器集群作为队列最优的物理服务器集群，这里，物理服务器集群中的一个队列的长度等于这个队列中等待调度的虚拟机作业所请求的运行时长之和加上正在调度的作业剩余运行时长之和；执行步骤304；

(304)资源控制器向选择的物理服务器集群下发虚拟机作业，本过程结束；

(305)资源控制器拒绝虚拟机作业请求并返回拒绝信息，本过程结束。

如图4所示，物理服务器集群接收到一个来自资源控制器的作业，执行如下步骤：

(401)物理服务器集群将队列类型与所述虚拟机作业的类型相同的队列作为所述虚拟机作业入队的队列，设所述虚拟机作业的作业类型为f，则将该物理服务器集群内的队列f作为所述虚拟机作业入队的队列，执行步骤402；

(402)物理服务器集群按如下条件：(1)新入队的虚拟机作业位于正在调度的虚拟机作业的后面，(2)新入队的虚拟机作业与当前时刻队列内等待调度的而且未超时的虚拟机作业按作业可容忍的最迟作业完成时间升序排列，确定所述虚拟机作业在队列f的入队位置g:

判断队列f的等待调度和正在调度的虚拟机作业数量之和Q_f是否等于正在调度的虚拟机作业的数量W_f：是，则虚拟机作业入队的位置为g＝W_f，执行步骤403；否，则在队列内的等待调度的作业区间(W_f,Q_f]查找插入位置，判断查找的位置g是否满足条件e_f≤e_g，当g＝W_f+1时：是，则g＝W_f，执行步骤403；否，进一步判断g是否满足条件e_g≤e_f≤e_g+1(其中,e_g和e_g+1均大于0)：是，则查找结束，执行步骤403；否，则g＝W_f，执行步骤403；

这里，e_f＝t+D_f+P_f是新虚拟机作业的当前时刻t可容忍的最迟作业完成时间，等于其可容忍的等待延迟与作业运行时长之和，D_f是其可容忍的等待延迟，P_f是其请求的运行时长；e_i＝a_i+D_i+P_i-t,i∈(W_f,Q_f]是队列f内第i个等待调度的虚拟机作业在当前时刻t可容忍的最迟作业完成时间，a_i是其到达队列的时间，D_i是其可容忍的等待延迟，P_i是其请求的运行时长，如果作业i当前可容忍的最迟作业完成时间为负值，即：e_i＜0，则，该作业已经超时；

(403)将所述虚拟机作业放入队列f的第g个虚拟机作业后面，该队列的长度增加P_f，队列的虚拟机作业数量加1。

如图5所示，物理服务器集群调度周期到达，执行如下步骤：

(501)物理服务器集群判断是否该物理服务器集群内的所有的队列均为空：是，本调度过程结束；否，执行步骤502；

(502)物理服务器集群确定调度策略组N，所确定的调度策略组N中的任一个策略N_s同时满足如下条件：(1)是一个维数为该物理服务器集群支持的虚拟机的类型之和的行向量，即，这里，自然数G表示该物理服务器集群支持G类虚拟机作业，N_s是第s个调度策略，自然数表示第i类虚拟机作业的数量，(2)包含正在调度的虚拟机作业，即，对任意i∈[1,G]，都成立，这里G维行向量S＝[S₁,...,S_i,...,S_G]表示正在调度的虚拟机作业向量，自然数S_i表示正在调度的第i类虚拟机作业的数量，(3)队列内的虚拟机作业按位置顺序从队列头部开始选择，即，自然数是队列i中从队列头部开始按位置顺序计数的个虚拟机作业，(4)不超过队列中等待调度和正在调度的虚拟机作业数量之和，即，对任意i∈[1,G]，成立，这里，自然数W_i表示等待调度的第i类虚拟机作业的数量，(5)资源规格之和不超过该物理服务器集群的资源规格容量，包括CPU资源之和、内存资源之和以及硬盘资源之和分别不超过该物理服务器集群的CPU资源容量、内存资源容量以及硬盘资源容量；执行步骤503；

(503)物理服务器集群将调度策略组中资源效用最大的策略N_o确定为非抢占式队列内顺序调度的资源优化策略：执行步骤504；

这里，用行向量C＝[c,m,s]表示该物理服务器集群的资源规格容量，其中自然数c,m,s分别表示CPU、内存和硬盘的资源数量；用行向量R_i＝[c_i,m_i,s_i]表示第i(1≤i≤G)类虚拟机的资源需求,其中自然数c_i,m_i,s_i分别表示该类虚拟机对CPU、内存和硬盘资源的需求数量；max()函数表示求最大值，arg max()是max()的反函数；

(504)物理服务器集群按所确定的调度策略N_o调度虚拟机作业。

如上所述便可较好的实现本发明。

Claims (4)

1.一种云计算数据中心虚拟机资源快速配置方法，其特征在于：

云计算数据中心资源配置系统由一个资源控制器和一个以上物理服务器集群构成，一个物理服务器集群由一个以上队列构成，每个队列划分为正在调度的作业区间和等待调度的作业区间，正在调度的作业区间位于队列头部，每个队列对应一种作业类型，每种作业类型对应一定数量的CPU、内存和硬盘资源，同一类型的虚拟机作业对CPU、内存和硬盘资源需求的数量分别相同；

包括如下步骤：

1)资源控制器接收到一个来自第一应用服务器的虚拟机作业请求，对所述请求作出响应：如果接受请求，则按请求的作业类型选择一个队列最优的物理服务器集群并向该物理服务器集群下发虚拟机作业，下发的虚拟机作业中至少包括如下作业参数:作业的类型、作业运行时长和作业可容忍的等待延迟；如果拒绝请求，则返回拒绝信息；

2)物理服务器集群接收到一个来自资源控制器的虚拟机作业，按可容忍的最迟作业完成时间将其入队；

3)物理服务器集群调度周期到达，则采用非抢占式队列内顺序调度的资源优化策略来调度所述物理服务器集群中的虚拟机作业；

所述资源控制器对来自第一应用服务器的虚拟机作业请求作出响应的具体步骤为：

S201:资源控制器根据请求的作业类型确定支持所述作业类型的物理服务器集群组，执行步骤S202；

S202:资源控制器判断支持所述作业类型的物理服务器集群组是否为空：是，则拒绝所述请求并返回拒绝信息，本资源配置过程结束；否，则执行步骤S203；

S203:资源控制器比较上述物理服务器集群组中每个物理服务器集群的与所请求的作业类型相同的队列的长度，将长度最小的队列所对应的物理服务器集群作为队列最优的物理服务器集群，如果长度最小的队列不止一个，则随机选择其中一个，将其对应的物理服务器集群作为队列最优的物理服务器集群，执行步骤S204；

S204：资源控制器向队列最优的物理服务器集群下发虚拟机作业，下发的虚拟机作业中至少包括如下作业参数：作业的类型、作业运行时长和作业可容忍的等待延迟，本过程结束；

所述物理服务器集群按可容忍的最迟作业完成时间将来自资源控制器的虚拟机作业入队的具体步骤为：

S301:物理服务器集群将队列类型与所述虚拟机作业的作业类型相同的队列作为所述虚拟机作业入队的队列，执行步骤S302；

S302:物理服务器集群按如下条件：(1)新入队的虚拟机作业位于正在调度的虚拟机作业的后面，(2)新入队的虚拟机作业与当前时刻队列内等待调度的而且未超时的虚拟机作业按作业可容忍的最迟作业完成时间升序排列，确定所述虚拟机作业在所述入队队列的入队位置，执行步骤S303；

S303:物理服务器集群将所述虚拟机作业放入所述位置，本入队过程结束；

所述物理服务器集群采用非抢占式队列内顺序调度的资源优化策略来调度所述物理服务器集群中的虚拟机作业的具体步骤为：

S401:物理服务器集群判断是否该物理服务器集群内的所有的队列均为空：是，本调度过程结束；否，执行步骤S402；

S402:物理服务器集群确定调度策略组，所确定的调度策略组中的任一个策略同时满足如下条件：(1)是一个维数为该物理服务器集群支持虚拟机类型的数量之和的行向量，即，这里，自然数G表示该物理服务器集群支持G类虚拟机作业，N_s是第s个调度策略，自然数V_i ^s表示第i类虚拟机作业的数量，(2)包含正在调度的虚拟机作业，即，对任意i∈[1,G]，S_i≤V_i ^s都成立，这里G维行向量S＝[S₁,...,S_i,...,S_G]表示正在调度的虚拟机作业向量，自然数S_i表示正在调度的第i类虚拟机作业的数量，(3)队列内的虚拟机作业按位置顺序从队列头部开始选择，即，自然数V_i ^s是队列i中从队列头部开始按位置顺序计数的V_i ^s个虚拟机作业，(4)不超过队列中等待调度和正在调度的虚拟机作业数量之和，即，对任意i∈[1,G]，V_i ^s≤S_i+W_i成立，这里，自然数W_i表示等待调度的第i类虚拟机作业的数量，(5)资源规格之和不超过该物理服务器集群的资源规格容量，包括CPU资源之和、内存资源之和以及硬盘资源之和分别不超过该物理服务器集群的CPU资源容量、内存资源容量以及硬盘资源容量；执行步骤S403；

S403:物理服务器集群将调度策略组中资源效用最大的策略确定为非抢占式队列内顺序调度的资源优化策略，执行步骤S404；

S404:物理服务器集群按所确定的调度策略来调度虚拟机作业。

2.根据权利要求1所述的一种云计算数据中心虚拟机资源快速配置方法，其特征在于，支持所述作业类型的物理服务器集群组是云计算数据中心中满足CPU、内存和硬盘资源容量分别不小于该虚拟机作业请求的CPU、内存和硬盘资源的物理服务器集群的集合。

3.根据权利要求1所述的一种云计算数据中心虚拟机资源快速配置方法，其特征在于，物理服务器集群中的一个队列的长度等于这个队列中等待调度的虚拟机作业的作业运行时长之和加上正在调度的虚拟机作业剩余运行时长之和。

4.根据权利要求1所述的一种云计算数据中心虚拟机资源快速配置方法，其特征在于，所述物理服务器集群的虚拟机作业入队步骤中的当前时刻可容忍的最迟作业完成时间等于作业运行时长与该虚拟机作业当前可容忍的等待延迟之和。