CN102546700B - 一种资源调度以及资源迁移的方法及设备 - Google Patents

Abstract

本发明公开了一种资源调度以及资源迁移的方法及设备，主要内容包括：按照设定时长内虚拟机对物理资源需求的变化状态，为每个调度时间段调度合理的物理服务器数量，并在每个调度时间段到达时，如果新增空闲的物理服务器，则将已有的虚拟机迁移至刚上电的空闲物理服务器，如果需要减少资源池中运行的物理服务器，则将待下电的物理服务器的虚拟机迁移至资源池中的其他物理服务器，使得全局资源池中的物理服务器的数量能够实时支持上层虚拟机对物理资源的需求，同时还最大程度地减少物理服务器的空运行造成的物理资源浪费以及电能的浪费。

Description

一种资源调度以及资源迁移的方法及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种对物理服务器动态调度的方法及设备，以及根据调度的物理服务器对物理服务器中运行的虚拟机进行资源迁移的方法及设备。

背景技术

随着近年多核系统、集群、网格甚至云计算的广泛部署，虚拟化技术在应用上的优势日益体现，不仅降低了成本，而且还增强了系统安全性和可靠性。虚拟化技术可以在物理服务器上运行多个被虚拟化软件虚拟成的相互独立的虚拟机，每个虚拟机上都可以运行操作系统以及应用程序，运行在同一物理服务器上的多台虚拟机共享物理服务器的硬件资源。

为了使运行在同一物理服务器本地的多台虚拟机上的应用程序正确执行，需要在多台虚拟机之间进行物理服务器硬件资源的调度，目前常用的调度方案包括对物理服务器的CPU和内存资源的本地优化调度，分别说明如下：

对CPU优化调度方式是根据虚拟机的虚拟CPU的负载状况为各虚拟机分配物理服务器的CPU资源，虚拟CPU的负载越大，分配的物理服务器的CPU资源越多，使得为虚拟机分配的物理服务器CPU资源能够满足虚拟机上运行的操作系统以及应用程序的需求。

与CPU优化调度方式注重设计优化调度策略的方式不同，由于虚拟机内部的内存使用状况不易获取以及虚拟机的内存需求难以预测等困难，目前对内存优化调度方式只能简单假设每个虚拟机运行的应用程序优先级相同，以尽量减少应用程序的中断次数为目标，在多台虚拟机之间进行两两迭代的试探算法，为各虚拟机调度合适的物理服务器内存资源。

上述为虚拟机调度物理服务器资源的方式局限在一台物理服务器的内部，即将一台物理服务器的硬件资源作为待调度的资源，为该物理服务器本地的多台虚拟机进行资源调度。而随着虚拟化技术的不断深入，以及诸如云计算等资源共享型业务的不断发展，通过跨越物理服务器边界，对大量物理服务器组成的全局资源池内实现资源的动态共享与资源调度已成为可能，上述针对一台物理服务器的内部的资源调度方式已不能满足全局资源池的资源调度需求。

针对全局资源池，每台物理服务器上都运行了多台虚拟机，而每台虚拟机的上层又运行了各项应用程序，为了实时保证各项应用程序的正确运行，需要确保资源池中有足够的物理资源，但如果一味地增加资源池中的物理服务器，又可能因为部分物理服务器的空运行造成物理资源的浪费，以及空运行的物理服务器额外消耗了电能，因此，需要对资源池中的物理服务器的数量进行调度，使得物理资源满足应用程序运行的情况下，减少物理资源以及电能的浪费。

发明内容

本发明实施例提供一种资源调度以及资源迁移的方法及设备，用以解决现有技术中物理资源调度不合理的问题。

一种资源调度的方法，所述方法包括：

根据设定时长内虚拟机对物理资源需求的变化状态，将所述设定时长依次划分为多个调度时间段；

确定每个调度时间段内承载虚拟机的物理服务器的数量，并在每个调度时间段到达时，运行该调度时间段对应数量的物理服务器；

其中：每个调度时间段对应数量的物理服务器能够满足该调度时间段内虚拟机对物理资源的需求，每个调度时间段对应物理服务器的数量不大于资源池内物理服务器的总数量。

一种资源迁移的方法，所述方法包括：

在调度时间段到达时，比较本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量；

在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将P个物理服务器上电运行，并将在前一个调度时间段已运行的物理服务器中，资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中；

在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将在前一个调度时间段已运行的物理服务器中，资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，并将资源短缺率最高的P个物理服务器下电；

所述P是本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量之差的绝对值。

一种资源调度的设备，所述设备包括：

时间段划分模块，用于根据设定时长内虚拟机对物理资源需求的变化状态，将所述设定时长依次划分为多个调度时间段；

数量确定模块，用于确定每个调度时间段内承载虚拟机的物理服务器的数量，其中：每个调度时间段对应数量的物理服务器能够满足该调度时间段内虚拟机对物理资源的需求，每个调度时间段对应物理服务器的数量不大于资源池内物理服务器的总数量；

调度模块，用于在每个调度时间段到达时，运行该调度时间段对应数量的物理服务器。

一种资源迁移的设备，所述资源迁移的设备包括：

比较模块，用于在调度时间段到达时，比较本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量；

上电迁移模块，用于在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将P个物理服务器上电运行，并将在前一个调度时间段已运行的物理服务器中，资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中；

下电迁移模块，用于在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将在前一个调度时间段已运行的物理服务器中，资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，并将资源短缺率最高的P个物理服务器下电；

所述P是本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量之差的绝对值。

本发明有益效果如下：

本发明实施例按照设定时长内虚拟机对物理资源需求的变化状态，为每个调度时间段调度合理的物理服务器数量，并在每个调度时间段到达时，如果新增空闲的物理服务器，则将已有的虚拟机迁移至刚上电的空闲物理服务器，如果需要减少资源池中运行的物理服务器，则将待下电的物理服务器的虚拟机迁移至资源池中的其他物理服务器，使得全局资源池中的物理服务器的数量能够实时支持上层虚拟机对物理资源的需求，同时还最大程度地减少物理服务器的空运行造成的物理资源浪费以及电能的浪费。

附图说明

图1为本发明实施例一中资源调度的方法示意图；

图2为设定时长内虚拟机对物理资源需求的变化示意图；

图3为24小时内VoIP业务在资源池的初始静态部署对物理资源需求的变化示意图；

图4为资源池内物理服务器的动态调度过程示意图；

图5为本发明实施例二中进行资源迁移的方法步骤示意图；

图6(a)和图6(b)为本发明实施例三中资源调度的设备结构示意图；

图7为本发明实施例四中资源迁移的设备结构示意图；

图8为DSN平台资源融合架构示意图。

具体实施方式

本发明实施例为了平衡资源池中物理资源对各虚拟机的支持以及资源浪费的问题，提出一种针对全局资源池的资源调度以及资源迁移方案，按照设定时长内虚拟机对物理资源需求的变化状态，为每个调度时间段调度合理的物理服务器数量，并在每个调度时间段到达时，如果新增空闲的物理服务器，则将已有的虚拟机迁移至刚上电的空闲物理服务器，如果需要减少资源池中运行的物理服务器，则将待下电的物理服务器的虚拟机迁移至资源池中的其他物理服务器，使得全局资源池中的物理服务器的数量能够实时支持上层虚拟机对物理资源的需求，同时还最大程度地减少物理服务器的空运行造成的物理资源浪费以及电能的浪费。

下面结合说明书附图对本发明实施例进行详细描述。

实施例一：

如图1所示，为本发明实施例一中资源调度的方法示意图，本发明各实施例中涉及的资源调度是指对资源池中物理服务器的数量进行调度，也就是对资源池提供的物理资源数量进行调度，具体的调度方法如下：

步骤101：根据设定时长内虚拟机对物理资源需求的变化状态，将所述设定时长依次划分为多个调度时间段。

根据对计算机业务以及通信业务的业务量的统计分析可知，业务量的波动在设定时长内具有一定的规律性，而业务量越高，表示虚拟机对物理资源的需求越大，因此，可以将设定时长按照业务量的变化状态划分为多个调度时间段。由于每个调度时间段内的业务量都不尽相同，因此，可以以调度时间段为单位，在每个调度时间段到达时执行后续步骤的调度操作。

本实施例中涉及的设定时长可以是周期到达的时长，如设定时长是0:00～24:00，则在每天的0:00到达时，可以周期性地执行本实施例一的方案。

步骤102：确定每个调度时间段内承载虚拟机的物理服务器的数量。

由于在步骤101中是按照虚拟机对物理资源需求的变化状态来划分的调度时间段，在每个调度时间段内，虚拟机都有其对物理资源需求，因此，可以按照虚拟机对物理资源的需求为每个调度时间段设置对应的物理服务器的数量。

具体的物理服务器数量设置方式为：

只要每个调度时间段对应数量的物理服务器能够满足该调度时间段内虚拟机对物理资源的需求，并且每个调度时间段对应物理服务器的数量不大于资源池内物理服务器的总数量，就能够确保资源池中的物理资源能够实时满足上层的虚拟机对物理资源的需求，避免出现物理资源不足导致虚拟机中运行的应用程序出现问题。

较优地，为了避免出现物理服务器数量设置过多导致物理资源以及电能的浪费，在为各调度时间段设置物理服务器数量时，还需要确保在每个调度时间段内调整运行的物理服务器的数量造成的损耗之和小于设定值，也就是说，由于每个调度时间段设置的物理服务器数量在满足虚拟机对物理资源需求的情况下可以有所变化，因此，要为每个调度时间段设置一个合适的物理服务器数量，使得所有调度时间段在整体上造成的物理服务器的调整运行的损耗尽可能小。

步骤103：在每个调度时间段到达时，运行该调度时间段对应数量的物理服务器。

在本步骤中，针对某一个调度时间段，如果该调度时间段对应的物理服务器的数量小于前一调度时间段对应的物理服务器的数量，则在本步骤中，运行该调度时间段对应数量的物理服务器是指将资源池中正在运行的若干台物理服务器的虚拟机迁移至其他物理服务器，并将所述若干台物理服务器下电；如果该调度时间段对应的物理服务器的数量大于前一调度时间段对应的物理服务器的数量，则在本步骤中，运行该调度时间段对应数量的物理服务器是指将若干台空闲的物理服务器上电运行，并将资源池中已运行在其他物理服务器上的虚拟机迁移至所述空闲的物理服务器上，使各物理服务器上承载的虚拟机相对均衡，避免出现部分物理服务器负载过大的问题。如果该调度时间段对应的物理服务器的数量与前一调度时间段对应的物理服务器的数量相同，则在本步骤中，可以不对运行物理服务器进行调度。

通过本发明实施例中步骤101～步骤103的资源调度方案，在确保资源池中的物理资源能够很好地满足虚拟机对物理资源需求的情况下，还使所有调度时间段在整体上造成的物理服务器的调整运行的损耗尽可能小，减少物理服务器空运行的物理资源浪费以及电能的浪费。

下面对本发明实施例一各步骤的具体实现方式进行详细说明。

1、针对步骤101的详细说明如下：

步骤101是统计多种虚拟机在设定时长内对物理资源需求的变化规律，并按照这种变化规律将设定时长进行划分，该划分结果可以是通过虚拟化网元的资源消耗模型进行估计得到的，也可以是在业务部署前期通过在设定时长内选定采样点，并在采样点提取业务规模对物理资源需求后仿真确定的。不论划分结果是通过资源消耗模型还是仿真方式确定的，其具体的划分方式包括但不限于以下两种方式：

第一种划分方式是根据虚拟机对物理资源需求的单调变化趋势来划分调度时间段。如图2所示，为设定时长内虚拟机对物理资源需求的变化示意图，以图2为例，具体的划分方式为：

第一步：按照内虚拟机对物理资源需求连续变化的趋势相同的条件，将设定时长划分为多段。

在图2中，A点至C点的曲线变化趋势是资源需求不断增加，C点至E点的曲线变化趋势是资源需求不断减少，因此，图2所示的设定时长将被划分为2段，第1段是AC段，第2段是CE段。

第二步：按照同一段内的相邻两个调度时间段的虚拟机对物理资源需求的变化率之差的绝对值大于阈值条件，确定每一段中的时间拐点。

虚拟机对物理资源需求的变化率可以看作是图2中曲线的斜率，以AC段曲线来说，虽然曲线的总体变化趋势都是增加，但AB段的斜率小于BC段的斜率，表示在AB段虚拟机对物理资源需求的变化率小于BC段段虚拟机对物理资源需求的变化率，且B点为拐点，若AB段虚拟机对物理资源需求的变化率(可看作AB段的斜率)与BC段虚拟机对物理资源需求的变化率(可看作BC段的斜率)之差的绝对值大于阈值，则将AB段划分为一个调度时间段，将BC段划分为另一个调度时间段，B点为拐点。

需要说明的是，假设在AB段中还有B/点，且AB/段的斜率与B/C段的斜率之差的绝对值也大于阈值，则AB/段与B/C段将分别作为两个调度时间段，B/点为拐点。因此，上述第二步可能需要被多次执行，直至同一调度时间段内没有使相邻两个时间段的斜率之差的绝对值大于阈值的拐点，或是划分得到的调度时间段的数量已达到最大值τ为止。

第三步：根据已确定的时间拐点划分调度时间段。

仍以图2为例，假设确定的时间拐点为B点、C点和D点，则图2所示的设定时长将被划分为4个调度时间段，分别为AB段、BC段、CD段和DE段。

第二种划分方式是按照等长划分原则来划分调度时间段的。仍以图2所示的设定时长为例，具体的划分方式为：

第一步：根据经验值或是按照公式(1)的方式确定单位时长。

$\max \{\frac{T}{\mathrm{\τ}},n*t\}\≤\mathrm{\ξ}\≤\frac{T}{2}---\left(1\right)$

其中，ξ表示单位时长；T表示所述设定时长；τ表示调度时间段的数量最大值；n是参数因子；t表示在每个调度时间段内调整运行的物理服务器的数量所占用的时长之和。

第二步：以所述单位时长为划分粒度，将所述设定时长依次划分为多个调度时间段。

以图2所示的设定时长为例，假设设定时长的起始时刻为t₀，结束时刻为t_N，则第i个调度时间段为[t_i-1，t_i-1+ξ)，N是大于1的整数，表示划分后的调度时间段数量，i＝1，2...，N。

2、假设在步骤101中划分得到N个调度时间段，则针对步骤102的详细说明如下：

步骤102的目的是确定各个调度时间段内对应的物理服务器数量的上下限，并从中确定最合适的物理服务器数量，使得在实时满足虚拟机对物理资源需求的情况下，每个调度时间段内由于物理服务器数量的调度造成的损耗之和比较小，这里的损耗包括如下几个方面的内容：物理服务器数量变化时虚拟机的迁移造成的损耗、上电空闲的物理服务器的损耗或下电物理服务器的损耗、空闲的物理服务器在物理资源以及电能方面的损耗等。

步骤102的具体实现方式为：

第一步：在满足虚拟机运行时，确定每个调度时间段可选的各物理服务器的数量。

通过通过公式(2)来实现本步骤：

$q_i\∈[\min (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j),\max (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j)]---\left(2\right)$

其中：q_i表示第i个调度时间段对应的物理服务器的数量与第i-1个调度时间段对应的物理服务器的数量的变化量；d_i表示第i个调度时间段满足虚拟机所需的物理服务器的最少数量与第i-1个调度时间段对应的物理服务器的数量的差值，i是取值为1～N的整数；第i个调度时间段至第M个调度时间段中，每个调度时间段与前一个调度时间段对应的物理服务器的数量的差值都为正数或都为负数。

在根据公式(2)确定的变化量的不同取值，可以得到每个调度时间段可选的各物理服务器的数量。

例如：N＝3，资源池内物理服务器的总数量＝12，第1个调度时间段至第3个调度时间段所需的物理服务器的数量呈增加的趋势，为满足每一调度时间段内虚拟机对物理资源的需求，假设第1调度时间段内对应的物理服务器的数量为10，这10个物理服务器中包括两部分，一部分是为支持第1调度时间段内的虚拟机而给予基本物理资源的物理服务器，另一部分是设置的多余的物理服务器，如9台物理服务器就能够满足第1调度时间段内虚拟机所需物理资源，另外1台物理服务器就是多余的物理服务器。

而第2调度时间段所需的物理服务器的最少数量是11，与第1个调度时间段对应的物理服务器的数量的差值为1；第3调度时间段所需的物理服务器的最少数量是12，与第2个调度时间段对应的物理服务器的数量的差值为1，因此，针对第2调度时间段而言，d₂＝1，因此，q₂为1或2，第2调度时间段内可选的物理服务器的数量有11、12。在第2调度时间段内可选的物理服务器的数量为11时，q₃为1，在第3调度时间段内可选的物理服务器的数量为12时，q₃为0，第3调度时间段内可选的物理服务器的数量有12。

第二步：根据各调度时间段可选的物理服务器的数量确定多个取值集合。

本步骤中的每个取值集合中的取值表示所有调度时间段对应的物理服务器数量。

仍以第一步中的实例来说，可以有两个取值集合，取值集合1＝{10、11、12}，取值集合2＝{10、12、12}。

第三步：针对每个取值集合，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和。

本步骤的具体实现为：

首先，针对第i个调度时间段每个可选的各物理服务器的数量，确定将第i一1个调度时间段对应的物理服务器的数量调整为第i个调度时间段的一个可选数量造成的第一损耗，以及在该可选数量条件下，第i+1至第N个调度时间段中的可选数量造成的第二损耗。

依次计算每一个调度时间段对应的第一损耗和第二损耗，具体地，可以通过公式(3)的递归方式来计算：

f(x_i)＝min{C_Di+C(q_i)+C_P(q_i-d_i)+f(x_i+1)}    (3)

其中：f(x_i)表示第i个调度时间段的损耗，根据第i个调度时间段可选的物理服务器的数量不同，在第i个调度时间段的损耗也不同，这里的f(x_i)表示第i个调度时间段的最小损耗；C_Di表示在第i个调度时间段到达时启动资源调度的资源开销，特殊地，由于在DSN的资源管理系统中可以实现完全的自动化，在启动时C_Di可以为零；C(q_i)表示第i个调度时间段中调度资源所占用的开销(包括虚拟机迁移开销、物理服务器上下电的开销)，C(q_i)的大小与第i个调度时间段内业务繁忙程度成正比；C_P(q_i-d_i)表示在第i个调度时间段中无需为虚拟机提供物理资源的空闲物理服务器的开销，如消耗的电能等；C_Di+C(q_i)+C_P(q_i-d_i)为第一损耗，f(x_i+1)为第二损耗，由于公式(3)是递归公式，f(x_i+1)所表示的第i+1个调度时间段的损耗与第i+2个调度时间段的物理服务器数据相关，因此，f(x_i)的取值与第i+1个调度时间段至第N个调度时间段中，每个调度时间段的可选数量相关，针对第i个调度时间段的可选数量a，在第i+1个调度时间段至第N个调度时间段选取不同的物理服务器的数量时，可以得到可选数量a对应的损耗；以此类推，可以运算出第i个调度时间段的可选数量b对应的损耗，将对应的损耗最小的可选数量作为第i个调度时间段内物理服务器的数量。

针对第二步中得到的每个取值集合中的取值，确定各取值集合对应的损耗之和。

例如：取值集合1＝{10、11、12}，取值集合2＝{10、12、12}，取值集合中的取值是各调度时间段可选的物理服务器的数量，将取值集合1、2中的各调度时间段对应的物理服务器的数量代入公式(3)中，确定各调度时间段对应的物理服务器的数量，进而可以计算出取值集合1对应的损耗之和以及取值集合2对应的损耗之和。

第四步：将损耗小于设定的一个取值集合中的取值作为各调度时间段对应的物理服务器数量。

仍以取值集合1＝{10、11、12}和取值集合2＝{10、12、12}为例，若两个取值集合对应的损耗之和都小于设定值，则第1调度时间段～第3调度时间段可以选用任意取值集合中的取值，最优地，选择对应的损耗之和最小的取值集合中的取值。

通过上述对本发明实施例一方案的详细说明可以看出，本发明实施例一方案的执行过程可以由图3和图4所示的过程图来表示。

如图3所示，假设周期性的24小时内，VoIP业务在资源池的初始静态部署场景为例：从0:00到6:00cps都很低，从6:00起cps开始增加，到10:00维持一个平稳的值一直到11:30，然后开始下降，在13:00时cps下降到谷值，后再上升，在14:00时cps维持一个平稳的值到17:00，然后上升，到晚上8:00的时候cps达到一个峰值，然后下降一直到23:59。

应用本发明实施例一的方案，如图4所示，说明了资源池内物理服务器的动态调度过程。图4的左上图是24小时内业务初始静态部署场景，为输入参数；在右上图中，将连续的输入参数离散化，得到离散的输入参数。在右下图中，利用离散的输入参数进行建模，根据时间拐点划分得到调度时间段，并为每个调度时间段计算损耗之和；最后，在左下图中得到每个调度时间段对应的物理服务器的数量。

实施例二：

在利用实施例一的方式确定每次调度的触发时间以及调度的物理服务器数量后，针对在每个调度时间段内物理服务器的增减量，设计合理的虚拟机迁移方案。

如图5所示，为本发明实施例二中进行资源迁移的方法步骤示意图，所述方法包括以下步骤：

步骤201：在调度时间段到达时，比较本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量。

步骤202：在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将P个物理服务器上电运行，并将在前一个调度时间段已运行的物理服务器中，资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中。

在本步骤中，由于预测本次调度时间段内虚拟机对物理资源的需求将会增加，因此本次调度时间段内需要上电新增P个物理服务器，在P个空闲的物理服务器上电成为资源池中运行的物理服务器后，为了使资源池中各物理服务器的负载相对均衡，可以将前一个调度时间段已运行的物理服务器上的虚拟机迁移至空闲的P个物理服务器中。

步骤203：在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将在前一个调度时间段已运行的物理服务器中，资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，并将资源短缺率最高的P个物理服务器下电。

在本步骤中，由于预测本次调度时间段内虚拟机对物理资源的需求将会减少，因此本次调度时间段内需要将正在运行的P个物理服务器下电，为了保证下电的物理服务器中承载的虚拟机正常运行，需要将待下电的物理服务器中的虚拟机迁移至其他物理服务器中。

在上述步骤202和步骤203中都涉及到虚拟机在物理服务器中的迁移，综合考虑物理服务器的负载均衡以及最小化虚拟机迁移造成的开销，可以为本实施例二的迁移进行优化，生成具体的迁移序列表，该迁移序列表中包括：源物理服务器、目的物理服务器、待迁移的虚拟机、虚拟机迁移顺序。在本步骤202和步骤203中可以按照生成的迁移序列表进行操作。

本实施例中根据承载的虚拟机的业务不同，为物理服务器划分不同的资源短缺率，用来表示该物理服务器中剩余的空闲资源的多少。例如，按照公式(4)确定虚拟机的占用的物理资源，虚拟机的物理资源占用量越高，承载该虚拟机的物理服务器的资源短缺率也越高。

cost_R(v)＝α_v×delta(v)   (4)

其中：cost_R(v)表示虚拟机v的占用的物理资源；α_v表示虚拟机v上业务的重要程度；delta(v)表示虚拟机v期望获得的物理资源的增加量。

若当前资源池中不存在空闲物理服务器，则物理服务器的资源短缺率为cost_R(ρ)＝∑cost_R(v_k)，v_k是物理服务器ρ上的虚拟机。

若当前资源池中存在空闲物理服务器，表示所有虚拟机的业务需求都能完全满足，不存在资源短缺，则可以将所有物理服务器的资源短缺率设置为零。

对于等待上电的物理服务器，由于该物理服务器上没有虚拟机，则可以将该物理服务器的资源短缺率看作最低-∞。

对于等待下电的物理服务器，由于该物理服务器上所有虚拟机要迁移出去，则可以将该物理服务器的资源短缺率看作最高+∞。

另外，虚拟机还要根据业务的连续性要求来划分，例如：VoIP业务的虚拟机的业务连续性要求高于流媒体业务的虚拟机的业务连续性要求。

虚拟机的业务连续性要求高低可以通过公式(5)计算确定：

cost_M(v)＝β_v×S_v(t)   (5)

其中：cost_M(v)表示虚拟机v的业务连续性要求；β_v表示虚拟机v上业务的连续性要求高低；S_v(t)表示虚拟机v的业务请求率。

1、在本次调度时间段需要增加资源池中物理服务器数量时，迁移序列表的生成方式为：

首先，假设前一个调度时间段运行的物理服务器数量为Q，确定P个待上电的物理服务器。

然后，从P+Q个物理服务器中查找出资源短缺率达到门限值的物理服务器ρ_A1、ρ_A2和资源短缺率最低的物理服务器ρ_B。

由于等待上电的物理服务器的资源短缺率看作最低-∞，因此ρ_B是待上电的物理服务器。

接着，从ρ_A1和ρ_A2中确定物理资源需要扩容的多个虚拟机，并将确定的多个虚拟机按照业务连续性要求由低至高的顺序依次排列。

最后，生成迁移序列表，源物理服务器是ρ_A1和ρ_A2、目的物理服务器是ρ_B、待迁移的虚拟机、虚拟机迁移顺序是业务连续性要求由低至高的顺序。

在生成增加资源池中物理服务器数量时的迁移序列表后，步骤202的具体执行过程为：

第一步：确定ρ_A1中业务连续性要求最低的虚拟机v₁；

第二步：判断ρ_B的空闲资源是否满足虚拟机v₁物理资源扩容的需求，若是，则将虚拟机v₁从ρ_A1迁移至ρ_B；否则，选择ρ_A1中业务连续性要求次低的虚拟机v₂执行第二步；

第三步：如果ρ_A1中的所有虚拟机都无法迁移至ρ_A，则重新选择ρ_A2中的虚拟机执行第一步。

第四步：如果ρ_A1和ρ_A2的虚拟机都无法迁移至ρ_B，则退出迁移操作；否则，执行第五步。

第五步：在虚拟机迁移后，重新确定各物理服务器的资源短缺率，并根据重新确定的资源短缺率更新迁移序列表后再次进行资源迁移操作。

2、在本次调度时间段需要减少资源池中物理服务器数量时，迁移序列表的生成方式为：

首先，假设前一个调度时间段运行的物理服务器数量为Q，确定资源短缺率最高的P个待下电的物理服务器ρ_A1和ρ_A2。

然后，从Q个物理服务器中确定资源短缺率最低的物理服务器ρ_B。

接着，将ρ_A1和ρ_A2中的多个虚拟机按照业务连续性要求由低至高的顺序依次排列。

最后，生成迁移序列表，源物理服务器是ρ_A1和ρ_A2、目的物理服务器是ρ_B、待迁移的虚拟机、虚拟机迁移顺序是业务连续性要求由低至高的顺序。

在生成减少资源池中物理服务器数量时的迁移序列表后，步骤203的具体执行过程为与步骤202的具体执行过程相同。

实施例三：

本发明实施例三提供一种资源调度的设备，如图6(a)和图6(b)所示，所述设备包括时间段划分模块11、数量确定模块12和调度模块13，其中：时间段划分模块11用于根据设定时长内虚拟机对物理资源需求的变化状态，将所述设定时长依次划分为多个调度时间段；数量确定模块12用于确定每个调度时间段内承载虚拟机的物理服务器的数量；调度模块13用于在每个调度时间段到达时，运行该调度时间段对应数量的物理服务器。

其中：每个调度时间段对应数量的物理服务器能够满足该调度时间段内虚拟机对物理资源的需求，每个调度时间段对应物理服务器的数量不大于资源池内物理服务器的总数量。

数量确定模块12还以在每个调度时间段内调整运行的物理服务器的数量造成的损耗之和小于设定值为条件，为每个调度时间段内确定物理服务器的数量。

所述数量确定模块12包括可选数量确定子模块21、集合确定子模块22、损耗确定子模块23和设置子模块24，其中：可选数量确定子模块21用于在时间段划分模块划分得到N个调度时间段时，确定在满足虚拟机运行时每个调度时间段可选的各物理服务器的数量；集合确定子模块22用于根据各调度时间段可选的物理服务器的数量确定多个取值集合，其中，每个取值集合中的取值表示所有调度时间段对应的物理服务器数量；损耗确定子模块23用于针对每个取值集合，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和；设置子模块24用于将损耗小于设定值的一个取值集合中的取值作为各调度时间段对应的物理服务器数量。

可选数量确定子模块21具体用于通过以下公式确定一个调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量的变化量，根据所述变化量的不同取值，确定每个调度时间段可选的各物理服务器的数量：

$q_i\∈[\min (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j),\max (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j)]$

其中：q_i表示第i个调度时间段对应的物理服务器的数量与第i-1个调度时间段对应的物理服务器的数量的变化量；d_i表示第i个调度时间段满足虚拟机所需的物理服务器的最少数量与第i-1个调度时间段对应的物理服务器的数量的差值，i是取值为1～N的整数；第i个调度时间段至第M个调度时间段中，每个调度时间段与前一个调度时间段对应的物理服务器的数量的差值都为正数或都为负数。

损耗确定子模块23具体用于针对第i个调度时间段每个可选的各物理服务器的数量，确定第一损耗和第二损耗，并确定第一损耗和第二损耗之和最小的可选数量，将确定的可选数量作为第i个调度时间段对应的物理服务器的数量，其中，所述第一损耗是将第i-1个调度时间段对应的物理服务器的数量调整为第i个调度时间段的一个可选数量造成的损耗，第二损耗是在该可选数量条件下，第i+1至第N个调度时间段中的可选数量造成的损耗，根据确定的各调度时间段对应的物理服务器的数量，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和。

时间段划分模块11有两种组成方式，分别如图6(a)和图6(b)所示。

如图6(a)所示，所述时间段划分模块11包括第一划分子模块31和第二划分子模块32，其中：第一划分子模块31用于将设定时长划分为多段，其中，每段内虚拟机对物理资源需求连续变化的趋势相同；第二划分子模块32用于针对每段，将该段划分为至少一个调度时间段，其中，同一段内的相邻两个调度时间段的虚拟机对物理资源需求的变化率大于阈值。

如图6(b)所示，所述时间段划分模块11包括单位时长确定子模块33和第三划分子模块34，其中：单位时长确定子模块33用于通过以下公式确定单位时长：

$\max \{\frac{T}{\mathrm{\τ}},n*t\}\≤\mathrm{\ξ}\≤\frac{T}{2}$

其中，ξ表示单位时长；T表示所述设定时长；τ表示调度时间段的数量最大值；n是参数因子；t表示在每个调度时间段内调整运行的物理服务器的数量所占用的时长之和；

第三划分子模块34用于以所述单位时长为划分粒度，将所述设定时长依次划分为多个调度时间段。

实施例四：

本发明实施例四还提供一种资源迁移的设备，如图7所示，所述资源迁移的设备包括比较模块41、上电迁移模块42和下电迁移模块43，其中：比较模块41用于在调度时间段到达时，比较本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量；上电迁移模块42用于在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将P个物理服务器上电运行，并将在前一个调度时间段已运行的物理服务器中，资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中；下电迁移模块43用于在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将在前一个调度时间段已运行的物理服务器中，资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，并将资源短缺率最高的P个物理服务器下电。

所述上电迁移模块42包括虚拟机确定子模块51和第一迁移子模块52，其中：虚拟机确定子模块51用于确定资源短缺率达到门限值的物理服务器中对物理资源需求增加的虚拟机；第一迁移子模块52用于将确定的虚拟机迁移至P个物理服务器。

第一迁移子模块52具体用于按照确定的所述虚拟机对业务连续性要求由低至高的顺序，依次将确定的虚拟机迁移至所述P个物理服务器。

所述下电迁移模块43包括需求确定子模块61和第二迁移子模块62，其中：需求确定子模块61用于确定资源短缺率最高的P个物理服务器中各虚拟机对物理资源的需求；第二迁移子模块62用于将资源短缺率最高的P个物理服务器中各虚拟机迁移至所述其他空闲资源满足需求的物理服务器。

本发明实施例中涉及的资源调度的设备和资源迁移的设备可以应用在DSN平台资源融合架构下。如图8所示，DSN平台资源融合架构包括核心功能层和基础设施层。

核心功能层：包含若干抽象的电信业务能力(DSN分布式交换网、智能媒体路由和内容交换网等)，并向上对各类电信应用软件提供调用接口。例如，以VoIP为代表的语音类业务、以Streaming为代表的内容共享类业务等。各核心功能节点管理系统内部利用P2P等分布式技术，将来自终端的大量用户请求分发给分布式业务系统中的各个业务功能逻辑实体，后者使用由基础设施层提供的虚拟资源(即虚拟机)提供服务。

基础设施层：向业务层提供计算、存储、调度等抽象网络能力，具体包含DSN核心功能节点管理系统、联合策略库和DSN虚拟资源管理系统，利用系统级虚拟化技术以虚拟机方式实现对物理服务器资源的灵活划分、并进一步借助无停机虚拟机迁移、资源流动等技术实现不同业务、不同虚拟机、不同物理服务器之间细粒度的资源动态调度决策与实施。

本实施例三和实施例四中资源调度的设备和资源迁移的设备可作为DSN融合架构中基础设施层的联合策略库的组成部分，用于在DSN融合架构中为DSN VoIP、DSN Streaming等P2P业务系统提供统一的资源调度以及资源迁移决策。

本发明各实施例的方法及设备的优点如下：

1、本发明实施例切合DSN私有云平台资源池实际环境中，业务对资源需求周期性规律的先验知识，设计对应的物理资源动态调度方案，可以有效提高资源使用效率，平衡频繁调整的资源开销与闲置资源空转的能源浪费，从而实现DSN资源融合平台高效运行的目标。

2、本发明根据调度参数，对资源池中各物理服务器的虚拟机进行资源迁移，使各物理服务器之间的负载相对均衡以及最小化虚拟机迁移造成的开销。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种资源调度的方法，其特征在于，所述方法包括：

根据设定时长内虚拟机对物理资源需求的变化状态，将所述设定时长依次划分为多个调度时间段，其中：将所述设定时长依次划分为多个调度时间段具体包括：

将设定时长划分为多段，其中，每段内虚拟机对物理资源需求连续变化的趋势相同；针对每段，将该段划分为至少一个调度时间段，其中，同一段内的相邻两个调度时间段的虚拟机对物理资源需求的变化率大于阈值；或者

以单位时长为划分粒度，将所述设定时长依次划分为多个调度时间段，其中，通过以下公式确定单位时长：ξ表示单位时长；T表示所述设定时长；τ表示调度时间段的数量最大值；n是参数因子；t表示在每个调度时间段内调整运行的物理服务器的数量所占用的时长之和；

确定每个调度时间段内承载虚拟机的物理服务器的数量，并在每个调度时间段到达时，运行该调度时间段对应数量的物理服务器；

其中：每个调度时间段对应数量的物理服务器能够满足该调度时间段内虚拟机对物理资源的需求，每个调度时间段对应物理服务器的数量不大于资源池内物理服务器的总数量。

2.如权利要求1所述的方法，其特征在于，在每个调度时间段内调整运行的物理服务器的数量造成的损耗之和小于设定值。

3.如权利要求2所述的方法，其特征在于，在确定N个调度时间段时，所述确定每个调度时间段内承载所述虚拟机的物理服务器的数量，具体包括：

在满足虚拟机运行时，确定每个调度时间段可选的各物理服务器的数量；

根据各调度时间段可选的物理服务器的数量确定多个取值集合，其中，每个取值集合中的取值表示所有调度时间段对应的物理服务器数量；

针对每个取值集合，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和；

将损耗小于设定值的一个取值集合中的取值作为各调度时间段对应的物理服务器数量；

所述N是大于1的整数。

4.如权利要求3所述的方法，其特征在于，确定每个调度时间段可选的各物理服务器的数量，具体包括：

通过以下公式确定一个调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量的变化量：

$q_i\∈[\min (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j),\max (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j)]$

其中：q_i表示第i个调度时间段对应的物理服务器的数量与第i-1个调度时间段对应的物理服务器的数量的变化量；d_i表示第i个调度时间段满足虚拟机所需的物理服务器的最少数量与第i-1个调度时间段对应的物理服务器的数量的差值，i是取值为1～N的整数；第i个调度时间段至第M个调度时间段中，每个调度时间段与前一个调度时间段对应的物理服务器的数量的差值都为正数或都为负数，M是取值为1～N的整数；

根据所述变化量的不同取值，确定每个调度时间段可选的各物理服务器的数量。

5.如权利要求4所述的方法，其特征在于，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和，具体包括：

针对第i个调度时间段每个可选的各物理服务器的数量，确定将第i-1个调度时间段对应的物理服务器的数量调整为第i个调度时间段的一个可选数量造成的第一损耗，以及在该可选数量条件下，第i+1至第N个调度时间段中的可选数量造成的第二损耗；

从第i个调度时间段所有可选的各物理服务器的数量中，确定第一损耗和第二损耗之和最小的可选数量，并将确定的可选数量作为第i个调度时间段对应的物理服务器的数量；

根据确定的各调度时间段对应的物理服务器的数量，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和。

6.一种根据权利要求1确定的每个调度时间段对应的物理服务器的数量进行资源迁移的方法，其特征在于，所述方法包括：

在调度时间段到达时，比较本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量；

在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将P个物理服务器上电运行，并将在前一个调度时间段已运行的物理服务器中，资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中；

在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将在前一个调度时间段已运行的物理服务器中，资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，并将资源短缺率最高的P个物理服务器下电；

所述P是本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量之差的绝对值。

7.如权利要求6所述资源迁移的方法，其特征在于，在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中，具体包括：

确定资源短缺率达到门限值的物理服务器中对物理资源需求增加的虚拟机；

将确定的虚拟机迁移至P个物理服务器。

8.如权利要求7所述资源迁移的方法，其特征在于，将确定的虚拟机迁移至P个物理服务器，具体包括：

按照确定的所述虚拟机对业务连续性要求由低至高的顺序，依次将确定的虚拟机迁移至所述P个物理服务器。

9.如权利要求6所述资源迁移的方法，其特征在于，在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，具体包括：

确定资源短缺率最高的P个物理服务器中各虚拟机对物理资源的需求；

将资源短缺率最高的P个物理服务器中各虚拟机迁移至所述其他物理服务器中空闲资源满足需求的物理服务器。

10.一种资源调度的设备，其特征在于，所述设备包括：

时间段划分模块，用于根据设定时长内虚拟机对物理资源需求的变化状态，将所述设定时长依次划分为多个调度时间段，所述时间段划分模块包括：第一划分子模块，用于将设定时长划分为多段，其中，每段内虚拟机对物理资源需求连续变化的趋势相同；第二划分子模块，用于针对每段，将该段划分为至少一个调度时间段，其中，同一段内的相邻两个调度时间段的虚拟机对物理资源需求的变化率大于阈值；或者所述时间段划分模块包括：单位时长确定子模块，用于通过以下公式确定单位时长：其中，ξ表示单位时长；T表示所述设定时长；τ表示调度时间段的数量最大值；n是参数因子；t表示在每个调度时间段内调整运行的物理服务器的数量所占用的时长之和；第三划分子模块，用于以所述单位时长为划分粒度，将所述设定时长依次划分为多个调度时间段；

数量确定模块，用于确定每个调度时间段内承载虚拟机的物理服务器的数量，其中：每个调度时间段对应数量的物理服务器能够满足该调度时间段内虚拟机对物理资源的需求，每个调度时间段对应物理服务器的数量不大于资源池内物理服务器的总数量；

调度模块，用于在每个调度时间段到达时，运行该调度时间段对应数量的物理服务器。

11.如权利要求10所述的资源调度的设备，其特征在于，

数量确定模块，还用于根据每个调度时间段内对应的物理服务器的数量，确定在每个调度时间段内调整运行的物理服务器的数量造成的损耗之和小于设定值。

12.如权利要求11所述的资源调度的设备，其特征在于，所述数量确定模块，包括：

可选数量确定子模块，用于在时间段划分模块划分得到N个调度时间段时，确定在满足虚拟机运行时每个调度时间段可选的各物理服务器的数量；

集合确定子模块，用于根据各调度时间段可选的物理服务器的数量确定多个取值集合，其中，每个取值集合中的取值表示所有调度时间段对应的物理服务器数量；

损耗确定子模块，用于针对每个取值集合，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和；

设置子模块，用于将损耗小于设定值的一个取值集合中的取值作为各调度时间段对应的物理服务器数量。

13.如权利要求12所述的资源调度的设备，其特征在于，

可选数量确定子模块，具体用于通过以下公式确定一个调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量的变化量，根据所述变化量的不同取值，确定每个调度时间段可选的各物理服务器的数量：

$q_i\∈[\min (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j),\max (d_i,\underset{j=i}{\overset{M}{\mathrm{\Σ}}}{d}_j)]$

其中：q_i表示第i个调度时间段对应的物理服务器的数量与第i-1个调度时间段对应的物理服务器的数量的变化量；d_i表示第i个调度时间段满足虚拟机所需的物理服务器的最少数量与第i-1个调度时间段对应的物理服务器的数量的差值，i是取值为1～N的整数；第i个调度时间段至第M个调度时间段中，每个调度时间段与前一个调度时间段对应的物理服务器的数量的差值都为正数或都为负数，M是取值为1～N的整数。

14.如权利要求12所述的资源调度的设备，其特征在于，

损耗确定子模块，具体用于针对第i个调度时间段每个可选的各物理服务器的数量，确定第一损耗和第二损耗，并确定第一损耗和第二损耗之和最小的可选数量，将确定的可选数量作为第i个调度时间段对应的物理服务器的数量，根据确定的各调度时间段对应的物理服务器的数量，确定各调度时间段内调整运行的物理服务器的数量造成的损耗之和，其中，所述第一损耗是将第i-1个调度时间段对应的物理服务器的数量调整为第i个调度时间段的一个可选数量造成的损耗，第二损耗是在该可选数量条件下，第i+1至第N个调度时间段中的可选数量造成的损耗。

15.一种根据权利要求10确定的每个调度时间段对应的物理服务器的数量进行资源迁移的设备，其特征在于，所述资源迁移的设备包括：

比较模块，用于在调度时间段到达时，比较本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量；

上电迁移模块，用于在本次调度时间段对应的物理服务器的数量大于前一个调度时间段对应的物理服务器的数量时，将P个物理服务器上电运行，并将在前一个调度时间段已运行的物理服务器中，资源短缺率达到门限值的物理服务器的至少一个虚拟机迁移至所述P个物理服务器中；

下电迁移模块，用于在本次调度时间段对应的物理服务器的数量小于前一个调度时间段对应的物理服务器的数量时，将在前一个调度时间段已运行的物理服务器中，资源短缺率最高的P个物理服务器的虚拟机全部迁移至其他物理服务器中，并将资源短缺率最高的P个物理服务器下电；

所述P是本次调度时间段对应的物理服务器的数量与前一个调度时间段对应的物理服务器的数量之差的绝对值。

16.如权利要求15所述资源迁移的设备，其特征在于，所述上电迁移模块，包括：

虚拟机确定子模块，用于确定资源短缺率达到门限值的物理服务器中对物理资源需求增加的虚拟机；

第一迁移子模块，用于将确定的虚拟机迁移至P个物理服务器。

17.如权利要求16所述资源迁移的设备，其特征在于，

第一迁移子模块，具体用于按照确定的所述虚拟机对业务连续性要求由低至高的顺序，依次将确定的虚拟机迁移至所述P个物理服务器。

18.如权利要求15所述资源迁移的设备，其特征在于，所述下电迁移模块，包括：

需求确定子模块，用于确定资源短缺率最高的P个物理服务器中各虚拟机对物理资源的需求；

第二迁移子模块，用于将资源短缺率最高的P个物理服务器中各虚拟机迁移至所述其他物理服务器中空闲资源满足需求的物理服务器。