CN106095581A - 一种私有云条件下的网络存储虚拟化调度方法 - Google Patents

Abstract

本发明涉及云计算技术领域，特别是一种私有云条件下的网络存储虚拟化调度方法，该调度方法包含了任务分析模块、资源监控和维护模块、调度器模块等。任务分析模块根据用户的请求分析任务的需求，资源监控和维护模块负责资源的分配、释放、更新等，另外也负责物理资源中网络状态的监控，调度器模块根据任务分析模块和资源监控和维护模块的信息，利用效用计算的方法进行任务调度，且根据任务的资源请求和资源释放，启动不同的调度策略。本发明利用效用计算的方法，能够根据不同的情况执行不同的调度策略，有效的减少调度的复杂度，实现效用的最大化，保证调度的实时性，满足用户的需求和收益。

Description

一种私有云条件下的网络存储虚拟化调度方法

技术领域

本发明涉及云计算技术领域，特别是一种私有云条件下的网络存储虚拟化调度方法。

背景技术

云计算是一个新的商业模式，其核心思想是将大量用网络连接的资源统一管理和调度，构成一个资源池向用户按需服务。云计算包括私有云和公有云两种。其中，私有云是为一个公司或组织单独使用而建设的,因为能够提供更私密的数据、更高的安全性和更好的服务质量而受到关注。

私有云的主要问题是峰值问题。如果私有云按照满足工作负载的所有约束进行建设，高峰负荷将要求私有云投资更多的硬件资源,造成资源的空闲和浪费，如果不按照高峰负荷进行建设，会造成资源短缺和用户体验变差。解决该问题的主要方法是利用网络存储虚拟化技术，把分散在网络中的存储设备统一起来，为存储用户提供统一的虚拟存储池，当有大量任务请求使用资源时，利用调度技术达到资源的优化利用，满足用户的需求。因此，调度要解决如何将存储和计算资源合理分配给任务，保证用户的QoS,尤其是当用户数较多时，能使得在满足业务QoS的前提下，给尽量多的用户提供服务。

当前的调度方法主要存在以下问题：1)当前的调度方法主要基于公有云或者混合云，很少基于私有云，公有云和私有云的调度目标和调度空间都不尽相同；2)大多调度方法都考虑用户的QoS,或者资源的利用率等，很少有调度方法考虑在网络约束的情况下，怎么满足用户的需求。下面通过两个相关的发明进行分析说明。

中国发明专利CN 104657220A公开了一种混合云中基于截止时间和费用约束的调度模型及方法，提出了两个调度策略—截止时间优先和费用优先策略，该方法的费用优先策略不适合私有云的场景，且这两种方法的共同缺点是没有考虑底层的性能约束，任务无法高效执行，且可能使得部分任务很早完成，而另外一些任务无法在时间截至前完成。

中国发明专利CN 102662760A公开了一种基于虚拟机性能向量的任务调度方法，分析了节点之间的通信量和路由特性，使任务能够分配到高效执行任务的虚拟机上，达到负载均衡的目的。该发明的任务调度方法只考虑了底层的物理限制，没有考虑任务的实时性等要求，可能造成无法满足业务的QoS，用户体验较差。

发明内容

本发明针对现有技术的上述缺陷，提出了一种私有云条件下基于效用计算实现网络存储虚拟化调度的方法，该调度方法包含了任务分析模块、资源监控和维护模块、调度器模块等。任务分析模块根据用户的请求分析任务的资源需求、时间要求等，资源监控和维护模块负责资源的分配、释放、更新等，另外也负责对物理资源的网络状态进行监控，调度器模块根据任务分析模块和资源监控和维护模块的信息，利用效用计算的方法进行任务调度，且根据任务的资源请求和资源释放，启动不同的调度策略，其中，当新任务到达请求资源时，进行空闲资源调度和非空闲资源调度两步；当任务完成释放资源时，只执行空闲资源调度。

更进一步的，本调度方法采用的效用计算方法如下：

本调度方法主要针对的是私有云资源，不考虑价格因素，总收益为各个用户的收益之和：

$U=\underset{k=1}{\overset{K}{\Σ}}{U}_k\left(S_k\right)$

其中，U_k(S_k)为用户k的收益，假设一个用户只有一个任务，则用户k的收益计算方法为

$U_k=\left\{\begin{array}{cc}-a,& T_{com,k}>T_{req,k}\\ w_k/log(T_{req,k}/T_{com,k}),& T_{com,k}\≤T_{req,k}\end{array}\right.$

其中，a≥0,体现了超时的严重程度，w_k表示任务的优先级，T_req,k表示用户k的任务完成要求的时间，T_com,k表示用户k的任务需要执行的时间。当要求的时间远远大于需要执行的时间时，说明任务不紧急，收益较小；当要求的时间远远接近需要执行的时间时，说明任务紧急，收益较大。如果是对时间没有要求的任务，则T_req取一个较大的整数。这里，执行时间包括传输时间、计算时间，可以根据具体的部署情况获取。需要说明的是，为了简单起见，假设一个用户只有一个任务，本发明也适用于一个用户有多个任务的情况。

本发明还将调度的启动分为两种情况：1)有新任务到达请求资源；2)有任务完成释放资源。调度器根据这两种情况执行不同的调度策略。

更进一步，当有新任务到达请求资源时，本调度方法分别进行空闲资源调度和非空闲资源调度。

更进一步，当有任务释放资源时，本调度方法只进行空闲资源调度。

更进一步，本调度方法采用的空闲资源调度策略为：当有空闲资源时，将资源分配给效用增加值最大的用户和任务，系统能够获得最大的效用，其中，资源r调度策略为：

${\mathrm{\ΔU}}_{n,r}=\arg \underset{n\∈\{1,2,...,K\}}{max}\{{\mathrm{\ΔU}}_{1,r},...,{\mathrm{\ΔU}}_{k,r},...,{\mathrm{\ΔU}}_{K,r}\}$

其中，U_old,r为未分配资源r时获取的收益。此时，系统总收益的增加值为：

ΔU_k,r＝U_new,k,r-U_old,r

U_new,k,r为将资源r分配给用户k后获取的收益。ΔU_k,r为将资源r分配给用户k后获取的收益增加值。因为调度新任务会对旧任务产生影响，比如会占用网络带宽从而减少其他用户所用带宽，增加其他用户的传输时间，造成ΔU_n,r<0。如果ΔU_n,r>0，则将资源r调度给用户k；如果ΔU_n,r<0，则不进行调度。

更进一步，本调度方法采用的非空闲资源调度策略为：当没有空闲资源且有新任务到达时，需要对任务占用的资源进行调整，释放一部分已经被占用的资源分配给新任务，其中，资源r调度策略为：

${\mathrm{\&Delta;U}}_{n,l,r}=\arg \underset{n,l\&Element;\{1,2,...,K\}}{max}\{{\mathrm{\&Delta;U}}_{1,1,r},...,{\mathrm{\&Delta;U}}_{m,k,r},...,{\mathrm{\&Delta;U}}_{K,K,r}\}$

其中，U_old,r为资源重新分配前的系统收益，此时系统总收益的增加值为：

ΔU_m,k,r＝U_new,,m,k,r-U_old,r

其中，U_new,,m,k,r为将用户m的资源r分配给用户k后系统的收益。ΔU_m,k,r将用户m的资源r分配给用户k后系统的收益增加值。这里，系统收益改变的原因包括三部分：用户n释放资源r的收益，用户l获得资源r的收益,以及资源改变后对已调度用户的影响。如果ΔU_n,l,r>0，将用户n的资源r重新调度给用户l；如果ΔU_n,l,r≤0，则不进行调度。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明调度方法的系统框图

图2为本发明调度方法流程图

图中：1为用户接口模块，2为任务分析模块，3为调度器，4为虚拟资源块，5为虚拟资源池，6为资源虚拟化映射模块，7为物理资源池，8为物理资源块，9为网络，10为资源监控和维护模块

具体实施方式

如图1所示，本发明一种私有云条件下基于网络存储虚拟化调度方法，包括：物理资源池7，虚拟资源池5，资源虚拟化映射模块6，任务分析模块2、资源监控和维护模块10、调度器3。其中，物理资源池7是由各种物理资源块8通过网络9连接而成。虚拟资源池5是由各种虚拟资源块4组成。物理资源池7通过资源虚拟化模块6映射为虚拟资源池5，资源监控和维护模块监控10和维护物理资源池7、虚拟资源池5、以及资源虚拟化映射模块6。任务分析模块2分析用户接口模块1获得的用户提交的任务，调度器3根据资源监控和维护模块10以及任务分析模块2的信息进行调度。

其中，调度器3采用总效用最大化的方法进行调度，其中，总效用为各个用户的效用之和：

$U=\underset{k=1}{\overset{K}{\&Sigma;}}{U}_k\left(S_k\right)$

其中，U_k(S_k)为用户k的收益，假设一个用户只有一个任务，则用户k的收益计算方法为

$U_k=\left\{\begin{array}{cc}-a,& T_{com,k}>T_{req,k}\\ w_k/log(T_{req,k}/T_{com,k}),& T_{com,k}\&le;T_{req,k}\end{array}\right.$

其中，a≥0,体现了超时的严重程度，T_req,k表示用户k的任务完成要求的时间，T_com,k表示用户k的任务需要执行的时间。当要求的时间远远大于需要执行的时间时，说明任务不紧急，收益较小；当要求的时间远远接近需要执行的时间时，说明任务紧急，收益较大。如果是对时间没有要求的任务，则T_req取一个较大的整数。这里，执行时间包括传输时间、计算时间，可以根据具体的部署情况获取。

进一步的，本发明还将调度的启动分为两种情况：1)有新任务到达请求资源；2)有任务完成释放资源。调度器3根据这两种情况执行不同的调度策略，如图2所示。

进一步的，当有新任务到达请求资源时，调度器3分别进行空闲资源调度和非空闲资源调度。当有任务释放资源时，调度器3只进行空闲资源调度。

进一步的，图2中调度器3采用的空闲资源调度策略为：当有空闲资源时，将资源分配给效用增加值最大的用户和任务，系统能够获得最大的效用，其中，资源r调度策略为：

${\mathrm{\&Delta;U}}_{n,r}=\arg \underset{n\&Element;\{1,2,...,K\}}{max}\{{\mathrm{\&Delta;U}}_{1,r},...,{\mathrm{\&Delta;U}}_{k,r},...,{\mathrm{\&Delta;U}}_{K,r}\}$

其中，U_old,r为未分配资源r时获取的收益。此时，系统总收益的增加值为：

ΔU_k,r＝U_new,k,r-U_old,r

U_new,k,r为将资源r分配给用户k后获取的收益。ΔU_k,r为将资源r分配给用户k后获取的收益增加值。如果ΔU_n,r>0，则将资源r调度给用户k；如果ΔU_n,r<0，则不进行调度。

进一步的，图2中调度器3采用的非空闲资源调度策略为：当没有空闲资源且有新任务到达时，需要对任务进行调整，释放一部分已经被占用的资源分配给新任务，其中，资源r调度策略为：

${\mathrm{\&Delta;U}}_{n,l,r}=\arg \underset{n,l\&Element;\{1,2,...,K\}}{max}\{{\mathrm{\&Delta;U}}_{1,1,r},...,{\mathrm{\&Delta;U}}_{m,k,r},...,{\mathrm{\&Delta;U}}_{K,K,r}\}$

其中，U_old,r为资源重新分配前的系统收益，此时系统总收益的增加值为：

ΔU_m,k,r＝U_new,,m,k,r-U_old,r

其中，U_new,,m,k,r为将用户m的资源r分配给用户k后系统的收益。ΔU_m,k,r将用户m的资源r分配给用户k后系统的收益增加值。这里，系统收益改变的原因包括三部分：用户n释放资源r的收益，用户l获得资源r的收益,以及资源改变后对已调度用户的影响。如果ΔU_n,l,r>0，将用户n的资源r重新调度给用户l；如果ΔU_n,l,r≤0，则不进行调度。

本发明一种私有云条件下基于网络存储虚拟化调度方法工作过程如下：当用户通过用户接口1提交任务时，任务分析模块2对该任务需要的资源、完成时间等信息进行评估，调度器3判断出有新任务到达，根据任务分析模块2的评估结果和资源监控和维护模块10中的信息，执行图2所示的调度策略流程。当资源监控和维护模块10检测到有任务完成时，通知调度器3有资源释放，调度器3根据任务的需求和已调度信息执行图2所示的调度流程。

虽然以上描述了本发明的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，可以对本实施方式作出多种变更或修改，而不背离本发明的原理和实质，本发明的保护范围仅由所附权利要求书限定。

Claims (5)

1.一种私有云条件下的网络存储虚拟化调度方法，其特征在于：调度方法包含了任务分析模块、资源监控和维护模块、调度器模块等。

2.按照权利要求1所述的私有云条件下的网络存储虚拟化调度方法，其特征在于，所述调度器模块：利用效用计算的方法进行任务调度；根据任务的资源请求和资源释放，启动不同的调度策略；当新任务到达请求资源时，进行空闲资源调度和非空闲资源调度两步；当任务完成释放资源时，执行空闲资源调度。

3.按照权利要求2所述的私有云条件下的网络存储虚拟化调度方法，其特征在于：空闲资源调度的方法为：当有空闲资源时，将资源分配给效用增加值最大的用户和任务，系统能够获得最大的效用，其中，资源r调度策略为：

。

4.按照权利要求2所述的私有云条件下的网络存储虚拟化调度方法，其特征在于：非空闲资源调度的方法为：当没有空闲资源且有新任务到达时，需要对任务占用的资源进行调整，释放一部分已经被占用的资源分配给新任务，其中，资源r调度策略为：

。

5.按照权利要求3和4所述的私有云条件下的网络存储虚拟化调度方法，其特征在于：所述效用和收益的计算方法为：

。