CN111913780A - 云计算中的资源预测与调度方法 - Google Patents

Abstract

一种云计算中的资源预测与调度方法，包括以下步骤：S10：根据资源需求历史数据对至少一个虚拟机进行下一时刻的资源需求预测；S20：根据资源需求预测值，对服务器上配置给所述虚拟机的资源进行动态调度。

Description

云计算中的资源预测与调度方法

技术领域

本发明涉及计算机技术领域，具体涉及一种云计算中的资源预测与调度方法。

背景技术

IaaS模式云训练中，根据虚拟机节点资源需求为其合理分配资源，既保证了虚拟机的性能，又能提升资源利用效率。由于虚拟机实例的初始化需要一定准备时间，无法即时生效，因此仅仅依靠对虚拟机任务负载和资源性能的监控对虚拟机资源进行调度，难以保证虚拟机节点的性能。因此，有必要进行精确有效的资源需求预测，在此基础上再进行资源的调度，实现用户需求与资源之间的优化调度与匹配。

发明内容

鉴于上述技术问题，为了克服上述现有技术的不足，本发明提出了一种云计算中的资源预测与调度方法。

本发明一方面提供一种云计算中的资源预测与调度方法，包括以下步骤：S10：根据资源需求历史数据对至少一个虚拟机进行下一时刻的资源需求预测；S20：根据资源需求的预测值，对服务器上配置给所述虚拟机的资源进行动态调度。

在一些实施例中，步骤S10包括以下步骤：S101：采用数据预处理模型对所述虚拟机进行资源需求预测获得第1预测值；S102：采用深度学习网络模型对所述虚拟机进行资源需求预测获得第2预测值；S103：对各第1预测值和第2预测值进行权重处理后叠加，获得综合预测值。

在一些实施例中，所述数据预处理模型的预测值为x_t+1＝ωR(t，L)+(1-ω)x_t，其中，x_t+1为t+1时刻的预测值，L为滑窗长度，R(t，L)为[t-(L-1)，t]之间历史数据的移动平均值，ω为赋权系数，且ω＝2/(L+1)。

在一些实施例中，所述深度学习网络模型包括多层BP神经网络，所述多层BP神经网络的传递函数为：

其中β为调整系数，x为输入变量。

在一些实施例中，第t时刻的综合预测值为

其中，

为第t时刻的第i预测值，i＝1或2，

为第t时刻的第丁预测值对应的权重。

在一些实施例中，

与

通过如下两式联立获得：

其中，

为第t-1时刻第j预测值的相对误差，j＝1或2，

为中间变量。

在一些实施例中，步骤S20包括以下步骤：S201：获取所述虚拟机当前资源配置R_i，S202：根据所述资源需求的预测值为所述虚拟机动态配置资源

其中，

表示资源需求预测值，a为资源调节量。

在一些实施例中，

R_min为所述虚拟机能够正常运行所需的最小资源配置，R_max为所述服务器中能为虚拟机提供的资源的最大值。

附图说明

图1为本发明一实施例提供的云计算中的资源预测与调度方法的流程图；

图2为图1中步骤S10的具体步骤流程图；

图3为图1中步骤S20的具体步骤流程图。

具体实施方式

本发明某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本发明的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本发明满足适用的法律要求。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

当前，由于虚拟机实例的初始化需要一定准备时间，无法即时生效，因此仅仅依靠对虚拟机任务负载和资源性能的监控对虚拟机资源进行调度，难以保证虚拟机节点的性能。

本发明提供一种云计算中的资源预测与调度方法，基于数据预处理及深度学习网络等预测模型，对预测值进行综合，得到用户资源需求综合预测值。综合服务器端资源特点与用户端需求特点，依据预测值，实现用户需求与资源之间的优化调度与匹配。

本发明一实施例提供一种云计算中的资源预测与调度方法，先对虚拟机进行精确有效的资源需求预测，在此基础上再进行资源的调度，实现用户需求与资源之间的优化调度与匹配。

如图1所示，本公开提供的一种云计算中的资源预测与调度方法包括以下步骤：

S10：根据资源需求历史数据对至少一个虚拟机进行下一时刻的资源需求预测；

S20：根据资源需求的预测值，对服务器上配置给所述虚拟机的资源进行动态调度。

本实施例中，虚拟机资源包括虚拟机的CPU、GPU、内存、网络带宽、存储等。根据资源需求历史数据，采用预测算法实现用户虚拟机资源需求的预测。通过资源监控系统实时监控用户虚拟机的资源利用情况，动态调整各用户虚拟机的资源配置，改善虚拟机的性能，提升资源利用率。通过采用反馈控制的方式，将调整参数反馈至监控中心，从而不断优化迭代上述模型，达到有效提升云训练服务质量的目的。

如图2所示，前述步骤S10包括以下具体步骤：

S101：采用数据预处理模型对所述虚拟机进行资源需求预测获得第1预测值；

S102：采用深度学习网络模型对所述虚拟机进行资源需求预测获得第2预测值；

S103：对各第1预测值和第2预测值进行权重处理后叠加，获得综合预测值。

本实施例中，针对数据的变化性和不确定性，步骤S101中数据预处理模型可以选择单步迭代加权预处理方法。所述数据预处理模型的预测值x_t+1(即第1预测值)是用户需求的历史数据序列x及滑窗长度L的因变量，滑窗长度L为历史数据序列长度，即包含L个历史数据，可表示为

x_t+1＝f(X，L) (1)

具体表达式如下：

x_t+1＝ωR(t，L)+(1-ω)x_t (2)

其中，x_t+1为t+1时刻的预测值，L为滑窗长度，R(t，L)为[t-(L-1)，t]之间历史数据的移动平均值，ω为加权系数，且ω＝2/(L+1)。

监控系统实时监控用户配置的虚拟机资源。如果监控数据向上穿越移动平均值，则表明资源需求值将会产生一个上升趋势。如果监控数据向下穿越移动平均值，则表明资源需求值将会出现下降趋势。

本实施例中，步骤S102中所述深度学习网络模型是以多层BP神经网络为基础，包含输入层、输出层和隐层。通常来说，神经网络的传递函数f(x)选取sigmoid函数：

传递函数输出值f(x)∈(0，1)，其中靠近0或者1的区域称为饱和区，远离0和1的区域为非饱和区。在饱和区内，因变量对自变量的变化不敏感，导致权重无法进行有效地修正。如果当前输出值不够理想且处于饱和区，则网络输出值难以调整至最优值，从而影响到收敛速度和预测性能。

为了提高预测性能，传递函数需要进行修正以优化网络输出值。修正方式通常主要通过两个方式进行改进。方式一是调整sigmoid函数饱和区控制参数，方式二是引入新函数组合的方式进行优化。

具体地，方式一如下所示：

在sigmoid函数中，指数部分为控制饱和区大小的关键，修改形式如下：

将β值调整至0.2，即可降低饱和区区间，但是不能降低过多，否则会导致变化率过小，饱和区和非饱和区界限不够明显。

方式二如下所示：

若采用线性整流函数弥补该缺陷，线性整流函数表达式为：

f(x)＝maX(0，x) (5)

该函数在自变量大于0时可解决sigmoid函数饱和问题，但是在自变量小于0时因变量始终为0，也就是说该函数输出值全部为0或者正值，从而导致偏置性越来越大。

本实施例采用上述二种方式，并进行优化组合，提出sigmoid-线性传递函数组合方案，优化组合后的神经网络的传递函数为：

其中β为调整系数，x为输入变量，例如为神经元的输入。

通过该改进方式，首先减少了非线性传递函数的解算工作量，解算时间短，非线性函数解算工作量大幅降低；其次，降低了BP神经网络传递函数饱和区输出值难以调整的概率；最后，在一定程度上降低和抵消了仅采用线性整流函数时解算结果的偏置程度，精度有一定提升。

本实施例中，步骤S103中采用可变权重的方式进行各预测模型结果的处理，设在第t时刻第i(i＝1，2)预测模型的预测值为

其对应权重为

且满足

通过对上述预测值进行赋权，第t时刻的综合预测值为

其中，

为第t时刻的第i预测值，i＝1或2，第1和2预测值分别表示数据预处理模型及深度学习网络模型的预测值，

为第t时刻的第i预测值对应的权重。

权重的初始化值为0.5，即各预测模型初始化权重相等。更新权重时，通过各个预测模型的相对误差

决定下一时刻的权重值，第i预测模型的相邻时刻权重

与

通过如下两式联立获得：

其中，

为第t-1时刻第j预测值的相对误差，j＝1或2，

为中间变量。

通过该权重模型保证预测精度高的预测模型分配较高权重，而预测精度低的预测模型分配较低权重，实现资源的优化配置。

如图3所示，所述步骤S20具体包括以下步骤：

S201：获取第i虚拟机当前资源配置量R_i；

S202：根据所述资源需求的预测值为所述虚拟机动态配置资源：

其中，

表示资源需求的预测值，a_i为资源调节量。

本实施例中，在步骤S201中，根据用户资源需求的预测值，对虚拟训练资源进行动态调度。首先根据监控获取各训练用户的虚拟机编号i，调度器读取该虚拟机当前资源配置量R_i，其中R_i＝{ch_i，cn_i，m_i，g_i，b_i}，ch_i表示虚拟CPU频率，cn_i表示虚拟CPU核数，m_i表示虚拟内存，g_i表示虚拟GPU显存，b_i表示虚拟网络带宽。

在步骤S202中，根据资源需求预测值

其中

调度器为第i虚拟机动态配置资源ΔR_i。

资源调节量a_i为用来保证第i虚拟机配置资源为合理值，避免出现小数以及不符合实际应用的数值。式(10)中，若AR_i为正值，表示该虚拟机资源需要增加；若ΔR_i为负值，表示该虚拟机资源需要减少。同时，为了避免由于预测错误造成的虚拟机宕机，影响训练任务的执行，对资源预测值

进行硬限幅：

即

其中，R_min＝{ch_min，cn_min，m_min，g_min，b_min}为虚拟机能够正常运行所需的最小资源配置，R_max＝{Ch_max，Cn_max，M_max，G_max，B_max}为相应服务器为所述虚拟机提供的资源的最大值。R_min的各分项为虚拟CPU频率、虚拟CPU核数、虚拟内存、虚拟GPU显存和虚拟网络带宽能够正常运行所需的最小资源配置，R_max的各分项为相应服务器能为虚拟CPU频率、虚拟CPU核数、虚拟内存、虚拟GPU显存和虚拟网络带宽所提供的资源的最大值。

资源调度完毕后，对此次配置进行记录，包括训练任务T_i、当前资源R_i、资源预测值

配置后资源

当前虚拟机性能P_i、配置后虚拟机性能

计算训练任务与资源性能、数量之间的关系，最后将相关数据存储到历史记录中。

应注意，附图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本发明实施例的内容。

实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

实施例中涉及的方法步骤并不限于其描述的顺序，各步骤的顺序根据实际需要的来进行调整。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种云计算中的资源预测与调度方法，其特征在于，包括以下步骤：

S10：根据资源需求历史数据对至少一个虚拟机进行下一时刻的资源需求预测；

S20：根据资源需求预测值，对服务器上配置给所述虚拟机的资源进行动态调度。

2.根据权利要求1所述的资源预测与调度方法，其特征在于，步骤S10包括以下步骤：

S101：采用数据预处理模型对所述虚拟机进行资源需求预测获得第1预测值；

S102：采用深度学习网络模型对所述虚拟机进行资源需求预测获得第2预测值；

S103：对各第1预测值和第2预测值进行权重处理后叠加，获得综合预测值。

3.根据权利要求2所述的资源预测与调度方法，其特征在于，所述数据预处理模型为x_t+1＝ωR(t，L)+(1-ω)x_t，其中，x_t+1为t+1时刻的预测值，L为滑窗长度，R(t，L)为[t-(L-1)，t]之间历史数据的移动平均值，ω为赋权系数，且ω＝2/(L+1)。

4.根据权利要求2所述的资源预测与调度方法，其特征在于，所述深度学习网络模型包括多层BP神经网络，所述多层BP神经网络的传递函数为：

其中β为调整系数，x为输入变量。

5.根据权利要求2所述的资源预测与调度方法，其特征在于，

第t时刻的综合预测值为

其中，

为第t时刻的第i预测值，i＝1或2，

为第t时刻的第i预测值对应的权重。

6.根据权利要求5所述的资源预测与调度方法，其特征在于，

与

通过如下两式联立获得：

其中，

为第t-1时刻第j预测值的相对误差，j＝1或2，

为中间变量。

7.根据权利要求1所述的资源预测与调度方法，其特征在于，步骤S20包括以下步骤：

S201：获取所述虚拟机当前资源配置R，

S202：根据所述资源需求的预测值为所述虚拟机动态配置资源

其中，

表示资源需求预测值，a为资源调节量。

8.根据权利要求7所述的资源预测与调度方法，其特征在于，

Rmin为所述虚拟机能够正常运行所需的最小资源配置，Rmax为所述服务器能为虚拟机提供的资源的最大值。

Images