CN108900343A - 基于本地存储的云服务器的资源预测和调度方法 - Google Patents

Abstract

一种基于本地存储的云服务器的资源预测和调度方法，方法包括：获取本地存储的云服务器的资源，并对所述资源进行需求预测；根据所述需求预测结果进行下线服务器筛选，以获取拟下线服务器；对所述拟下线服务器中的实例进行排序；为排序后的所述实例选择迁入服务器；将所述拟下线服务器中的实例迁移至其对应的迁入服务器，本发明实施例的方法能够满足用户服务质量需求的最小资源供给，从而有效降低云计算平台的运行损耗，提高资源的效用比。

Description

基于本地存储的云服务器的资源预测和调度方法

技术领域

本发明涉及云计算技术领域，特别涉及一种基于本地存储的云服务器的资源预测和调度方法。

背景技术

目前云服务器已成为互联网技术和业务支撑的重要基础设施，它使用户能够通过网络按需地从一个共享的、可配置的资源池中获取包括计算、存储、网络等资源，极大地降低了用户对于基础设施的资源投入，从而可以快速部署自己的应用，并上线运行。目前关于云服务器的资源调度和效用比的研究成为当前云计算技术和学术的热点之一，包括用户的资源利用率、资源调度的过程、服务的响应时间和服务队列长度，其目的在于降低云计算平台运行过程中各种无效的损耗，实现“绿色云”。然而，相关技术中论述了在高可用条件下，为了满足任何用户在任意时间不确定的负载，目前以超量资源(提供的资源大于最大的实际资源需求)方式进行资源的规划成为云计算系统资源规划的一种常见的方式，这种方式的效用比较低，造成资源大量浪费和资源损耗。而“按需使用、按用付费”是云计算的核心理念之一。但在实践中，所“需”是多少，往往需要由用户指定，或依据用户预先设定的策略来弹性调整。不论用户是构建应用面向互联网提供服务或自用，其负载规模均可能动态变化且难以准确预估。负载规模的不确定性导致用户在实际部署时，往往难以确定其部署规模。若是部署规模不足以应对负载规模，则会造成服务性能降低、用户体验下降；若是部署规模远远大于负载规模，则会带来资源浪费和不必要开销。保守起见，用户在申请实例时往往倾向于购买更大规模的实例。

为了达到资源与负载均衡，当前的云资源调度策略对于虚拟迁移操作的发生通常是采用阈值触发机制，即当宿主机资源利用率指标中的某一项或几项超过了事先定义的阈值，则即可触发虚拟机迁移操作，通过分析，可以发现传统触发虚拟机发生迁移的阈值触发机制在某种极端的情况下会引起虚拟机频繁且无谓的迁移。例如当前时刻某台宿主机负载过高，其利用率指标中的某项或几项超过了实现定义的阈值，下一时刻宿主机负载减轻，其利用率的各种指标均处于阈值之下，则当前时刻宿主机的高负载仅为短时间的波动，无需进行虚拟机的迁移，而传统负载均衡算法缺乏对宿主机未来负载走向的预测机制，极易引起虚拟机的无谓迁移。

因此，相关技术需要改进。

发明内容

本发明的目的是提供一种基于本地存储的云服务器的资源预测和调度方法，能够满足用户服务质量需求的最小资源供给，有效降低云计算平台的运行损耗。

为解决上述问题，本发明的第一方面提供了一种基于本地存储的云服务器的资源预测和调度方法，包括以下步骤：获取本地存储的云服务器的资源，并对所述资源进行需求预测；根据所述需求预测结果进行下线服务器筛选，以获取拟下线服务器；对所述拟下线服务器中的实例进行排序；为排序后的所述实例选择迁入服务器；将所述实例迁移至其对应的迁入服务器。

根据本发明的一个实施例，采用时间序列模型对所述资源进行需求预测。

根据本发明的一个实施例，所述采用时间序列模型对所述资源进行需求预测，包括以下步骤：获取所述本地存储的云服务器的资源的原始时间序列；对所述原始时间序列进行预处理，以获取平稳时间序列；分析所述平稳时间序列的变化特征，以求所述平稳时间序列的自相关函数；根据所述自相关函数选取合适的模型，并进行参数检验，以获得正确的模型；根据所述正确的模型对所述资源进行需求预测。

根据本发明的一个实施例，对所述拟下线服务器中的实例按照从大到小的顺序进行排序。

根据本发明实施例的基于本地存储的云服务器的资源预测和调度方法，首先获取本地存储的云服务器的资源，并对资源进行需求预测，然后根据需求预测结果进行下线服务器筛选，获取拟下线服务器，对拟下线服务器中的实例进行排序，然后为排序后的实例选择迁入服务器，再将实例迁移至其对应的迁入服务器。由此，本发明实施例的方法能够满足用户服务质量需求的最小资源供给，从而有效降低云计算平台的运行损耗，提高资源的效用比。

附图说明

图1为根据本发明实施例的基于本地存储的云服务器的资源预测和调度方法的流程图；

图2为根据本发明一个实施例的基于本地存储的云服务器的资源预测和调度方法的原理图；

图3为本发明验证时不同负载数据且不同集群规模下的迁移数据量；

图4为本发明验证时不同整合方法且不同集群规模下的迁移数据量；

图5为本发明验证时不同整合方法且不同集群规模下的迁移效率；

图6为本发明验证时不同整合方法且不同集群规模下的迁移次数；

图7为本发明验证时不同整合方法且不同集群规模下的被整合的服务器数量。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在附图中示出了根据本发明实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

以下将参照附图更详细地描述本发明。在各个附图中，相同的元件采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。

在下文中描述了本发明的许多特定的细节，例如器件的结构、材料、尺寸、处理工艺和技术，以便更清楚地理解本发明。但正如本领域的技术人员能够理解的那样，可以不按照这些特定的细节来实现本发明。除非在下文中特别指出，本地存储中的各个部分可以由本领域的技术人员公知的材料构成。

在本申请中，术语“本地存储”：与共享存储相比，本地存储的I/O性能价格比更高。因此，本地存储被众多云服务提供商采纳并用于其云计算服务，尤其是I/O密集型云计算服务。称此类服务为存储敏感的云服务，阿里云关系数据库服务是其中的典型代表。

在生产环境对存储敏感的云服务开展优化重部署面临着一系列现实问题与技术挑战。首先，本地存储的广泛使用使得实例迁移代价(迁移耗时与网络带宽等)显著增大；与此同时，生产环境缺乏准确预估实例迁移耗时的手段，运维人员受累于大量的手动迁移。其次，迁移抖动风险客观存在，不可避免；要减少或避免实例迁移抖动，需要在开展优化重部署过程中进行考虑。第三，资源利用不均衡问题同样客观存在，不可避免。一方面，整体资源利用率较低，通过云服务优化重部署提升云数据中心的能效潜力巨大；另一方面，必须在开展优化重部署的过程中持续监测并及时处理高负载服务器带来的隐患。第四，在生产环境中开展云服务优化重部署，还必须满足一系列约束。这些约束包括但不限于：维护窗口时限约束、运行环境动态变化且难以预知、服务器资源利用率上限约束、单服务器部署实例数上限约束，以及并发迁移任务上限约束云服务器实例的资源需求评估只在基于云服务实例的历史性能数据(资源用量性能数据)，评估下一个整合周期内实例的资源需求，是开展云服务优化重部署的基础。大部分现有工作采用固定值来评估实例资源需求，如实例购买规格、资源用量平均值、实时统计。相关技术中通过实验分析指出，当服务器负载较高时，部署于该服务器的多个服务实例/虚拟机会争抢CPU资源，使得现有的CPU资源需求度量方法不能准确度量实例CPU需求。

其中，云服务器实例为一个虚拟的计算环境，包括CPU、内存、操作系统、带宽、磁盘等最基础的计算组件。云服务器实例也可为一个独立的虚拟机，云服务器实例是云服务器最核心的概念，其他的资源，比如磁盘、IP、镜像、快照等，只有与云服务器实例结合后才能使用。

云服务优化整合技术主要对云数据中心服务器资源利用率普遍较低这一现状，通过实例从在线服务器迁移到更少的服务器上，并将空闲服务器切换到低耗能模式(如睡眠、休眠模式)来节约不必要的耗能、降低运维成本。因此，本发明实施例提出的基于本地存储的云服务器的资源预测和调度方法用于实现云服务优化整合。

下面参考附图来描述本发明实施例的基于本地存储的云服务器的资源预测和调度方法。

图1为根据本发明实施例的基于本地存储的云服务器的资源预测和调度方法的流程图。如图1和图2所示，本发明实施例的基于本地存储的云服务器的资源预测和调度方法，包括以下步骤：

S1：获取本地存储的云服务器的资源，并对资源进行需求预测。

其中，云服务器的资源可为该云服务器上线运行的CPU需求。

根据本发明的一个实施例，可采用时间序列模型对资源进行需求预测。

其中，时间序列是指按时间顺序排列的一组统计数据。一个时间序列可由长期趋势、季节变动、循环变动和随机变动这四个部分组成。其中，长期趋势指序列随时间变化而逐渐增加或减少的长期变化趋势，用于反映序列的一般变化方向，一般可通过加权平均或最小二乘法得到。季节变动指固定一段时间内，序列呈现固定的有规律变动。循环变动指时间序列的曲线在一段长时间内呈现摆动的现象。而随机变动是由随机事件引起的序列波动。

时间序列模型是一种统计方法，可以用于处理分析数据。并预测时间序列的未来取值，因此，可用于本发明实施例中以对资源进行需求预测。一般来说，时间序列模型大致可分为确定性时间序列模型、线性时间序列模型和非线性时间序列模型三类。

实际中的时间序列多由以上三种模型变化形成的叠加或耦合形成。而线性时间序列模型则是从统计角度刻画时间序列内部和各个时间序列之间的统计关系，代表性的模型有自回归滑动平均模型(ARMA)，整合自回归滑动平均模型(ARIMA)和季节性模型(Season)等。当时间序列中含有非线性因素，并且线性时间序列模型不能准确描述该时间序列时，可以采用非线性时间序列模型，较为常用的有双线性模型(BL)、指数自回归模型(EAR)和自激励门限自回归模型(SETAR)。

根据本法的一个实施例，采用时间序列模型对资源进行需求预测，包括以下步骤：

S101：获取本地存储的云服务器的资源的原始时间序列。

其中，可通过观测、调查、统计、抽样等方法获取本地存储的云服务器的资源的原始时间序列。

S102：对原始时间序列进行预处理，以获取平稳时间序列。

需要说明的是，预处理过程包含数值检验、缺损值补足和非平稳序列平稳化三个过程。其中，数值检验指剔除时间序列中的异常值；缺损值补足指根据时间序列的变化趋势，按照一定方法对缺损值进行估测，以补足缺损的过程。由于实际收集到的时间序列大多是非平稳序列，分析处理过程十分复杂，因此，在实际操作中，通常采用差分的方法对其进行预处理，以得到平稳时间序列，再进行后续的分析。

S103：分析平稳时间序列的变化特征，以求平稳时间序列的自相关函数。

需要说明的是，可根据平稳时间序列做出相关图，并对相关图进行分析以获取平稳时间序列的变化特征，再进行相关分析，以求平稳时间序列的自相关函数。

S104：根据自相关函数选取合适的模型，并进行参数检验，以获得正确的模型。

具体地，根据自相关函数选取合适的模型，估计模型的参数值，然后验证模型并进行参数检验，如果参数检验不合格，则对模型进行修正，然后再估计模型的参数值，直至参数检验合格，获得正确的模型。

S105：根据正确的模型对资源进行需求预测。

由此，本发明实施例的基于本地存储的云服务器的资源预测和调度方法采用时间序列模型对云资源进行需求预测。

S2：根据需求预测结果进行下线服务筛选，以获取拟下线服务器。

需要说明的是，根据需求预测结果对每一个云服务器的下线难度进行评估，并依据各云服务器的下线难度对下线服务器进行筛选。

其中，云服务器资源利用率、部署的实例数和下线代价(部署于该云服务器的所有实例迁移代价之和)，均可作为下线难度进行建模，进一步地，可选择迁移难度最小的一部分云服务器作为拟下线服务器。

S3:对拟下线服务器中的实例进行排序。

具体地，对拟下线服务器中的实例根据其需求的大小按照从大到小的顺序进行排序。

应当理解的是，拟下线服务器中的实例的资源需求有大有小，其中，大需求的实例相对于小需求的实例需要更多的资源才能正常运行。因此，将拟下线服务器中的实例按照资源需求的大小进行降序排序，以优先为大需求的实例分配迁入服务器，从而能够避免小需求的实例迁入后大需求的实例没有合适的可迁入服务器的情况，从而能够进一步节约资源。

S4：为排序后的实例选择迁入服务器。

其中，如何为每一个拟下线服务器中的实例筛选最合适的迁入服务器的过程，可映射为经典的多维向量装箱问题。具体地，实例可看作货物，而不同的维度代表不同类型的资源，而线上保留的服务器则可以看作箱子，基于此，可采用First-Fit(首次适应算法)、Best-Fit(最佳适应算法)或Worst-Fit(最差适应算法)进行筛选，以为每个排序后的实例选择迁入服务器。

应当注意的是，在为排序后的实例选择迁入服务器时，需要按照迁入服务器资源利用率上线约束和单服务器部署实例数上限约束进行选择，以及需要保证线上保留服务器对运行环境的动态变化的容忍能力，以防止因运行环境的动态变化引发的云服务器负载过高而发生迁移抖动的问题。

也就是说，本发明实施例基于云服务器的实例的资源用量对其进行排序，然后优先迁移大实例，即综合考虑待迁移实例与迁入服务器资源用量的互补性以及迁入后的可用资源容量，优先将实例迁入“最空”的服务器，该策略对运行环境的动态变化有一定的容忍能力，且有助于改善资源不均衡问题和缓解迁移抖动的发生。

S5：将拟下线服务器中的实例迁移至其对应的迁入服务器。即，将拟下线服务器中的实例迁移至上一步为其选择的迁入服务器。

由此，本发明实施例的基于本地存储的云服务器的资源预测和调度方法能够满足用户服务质量需求的最小资源供给，从而有效降低云计算平台的运行损耗，提高资源的效用比。

下面对本发明实施例提出的基于本地存储的云服务器的资源预测和调度方法进行检验。

在本检验过程中，设有两个集群，其中，集群1中包含160台服务器，部署了数千个类型A的云用户实例，集群2中包含超过240台服务器，部署了数千个类型B的云用户实例。从生产集群的服务器中随机选择N台作为一个“测试集群”，所有部署于选中服务器的实例均包含在内，然后分别使用三种方法对每个集群实施优化重部署。其中，集群1的服务器数量较少、负载较高，取N＝{20，40，…，120}，集群2服务器数量较多、负载较低，取N＝{200，40，…，200}。N为集群规模，即服务器总数量。

为了使结果更可信，检验过程中“测试集群”的随机选择均重复100次，即每一个过程均重复100次，以尽量降低随机选择带来的误差，在检验过程中使用100次的统计平均值。此外，在结果分析过程中均使用对原始数据进行适当转换的相对值，但确保不会对结论造成影响。

如图3和图4所示，集群1的负载较高(可下线约17％的服务器)，集群2的负载较低(可下线约60％的服务器)，从下线服务器数量指标来看，在不同的集群规模、集群负载下，对不同类型的实例，本发明实施例提出的方法优于其他方法，更适用于在像阿里云这样的实际云生产环境中，计算资源不均衡的场景，即云商业模式应用背景。

如图5和图6所示，对集群1来说，三种方法的性能由高至低依次为本发明实施例的方法、MFFD(修正的首次适应算法)和Sercon(一种经典调度算法)；对集群2来说，三种方法的性能从高到底依次为本发明实施例的方法、MFFD和Sercon。由此可见，在不同的集群规模、集群负载下，对于不同类型的实例，本发明实施例的方法明显由于其他方法，能够有效控制总的迁移数据量。

如图7所示，对集群1来说，三种方法的性能从高到低依次为本发明实施例的方法、MFFD和Sercon；对集群2来说，三种方法的性能从高到低依次为本发明实施例的方法、MFFD和Sercon。由此可见，在不同的集群规模、集群负载下，对于不同类型的实例，本发明实施例的方法在迁移实例数占比方面均由于其他方法，更适用于生产环境资源不均衡的场景。

综上所述，根据本发明实施例的基于本地存储的云服务器的资源预测和调度方法，首先获取本地存储的云服务器的资源，并对资源进行需求预测，然后根据需求预测结果进行下线服务器筛选，获取拟下线服务器，对拟下线服务器中的实例进行排序，然后为排序后的实例选择迁入服务器，再将实例迁移至其对应的迁入服务器。由此，本发明实施例的方法能够满足用户服务质量需求的最小资源供给，从而有效降低云计算平台的运行损耗，提高资源的效用比。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

在以上的描述中，对于各层的构图、刻蚀等技术细节并没有做出详细的说明。但是本领域技术人员应当理解，可以通过现有技术中的各种手段，来形成所需形状的层、区域等。另外，为了形成同一结构，本领域技术人员还可以设计出与以上描述的方法并不完全相同的方法。

以上参照本发明的实施例对本发明予以了说明。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。本发明的范围由所附权利要求及其等价物限定。不脱离本发明的范围，本领域技术人员可以做出多种替换和修改，这些替换和修改都应落在本发明的范围之内。

尽管已经详细描述了本发明的实施方式，但是应该理解的是，在不偏离本发明的精神和范围的情况下，可以对本发明的实施方式做出各种改变、替换和变更。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (4)

1.一种基于本地存储的云服务器的资源预测和调度方法，其特征在于，包括以下步骤：

获取本地存储的云服务器的资源，并对所述资源进行需求预测；

根据所述需求预测结果进行下线服务器筛选，以获取拟下线服务器；

对所述拟下线服务器中的实例进行排序；

为排序后的所述实例选择迁入服务器；

将所述拟下线服务器中的实例迁移至其对应的迁入服务器。

2.根据权利要求1所述的基于本地存储的云服务器的资源预测和调度方法，其特征在于，采用时间序列模型对所述资源进行需求预测。

3.根据权利要求2所述的基于本地存储的云服务器的资源预测和调度方法，其特征在于，所述采用时间序列模型对所述资源进行需求预测，包括以下步骤：

获取所述本地存储的云服务器的资源的原始时间序列；

对所述原始时间序列进行预处理，以获取平稳时间序列；

分析所述平稳时间序列的变化特征，以求所述平稳时间序列的自相关函数；

根据所述自相关函数选取合适的模型，并进行参数检验，以获得正确的模型；

根据所述正确的模型对所述资源进行需求预测。

4.根据权利要求1所述的基于本地存储的云服务器的资源预测和调度方法，其特征在于，对所述拟下线服务器中的实例按照从大到小的顺序进行排序。