CN103092699A

CN103092699A - 一种云计算资源预分配实现方法

Info

Publication number: CN103092699A
Application number: CN2013100086012A
Authority: CN
Inventors: 王朝硕; 周震震; 朱永虎; 田应富; 高锡明; 曾春; 朱义; 郭涑炜; 邢春晓
Original assignee: Tsinghua University; Super High Transmission Co of China South Electric Net Co Ltd
Current assignee: Tsinghua University; Super High Transmission Co of China South Electric Net Co Ltd
Priority date: 2013-01-10
Filing date: 2013-01-10
Publication date: 2013-05-08

Abstract

本发明提出了云计算环境中资源预分配的方法，详细地分析了模型的设计和实现，通过预测可能的用户请求，帮助IT管理员提前部署各种类型的虚拟机来满足突发的请求；同时针对具体的资源类型，预测可能的物理资源需求，以便提前购买相应的资源。数据采集；数据清洗，过滤掉请求次数少于预定次数的用户的请求；模型训练，基于时间与虚拟机类型的矩阵建立组合预测模型，然后根据时间窗口持续地导入清洗后的数据进行模型训练，直到填满时间窗口，完成模型收敛；数据预测，基于训练好的组合预测模型，对给定时间的资源请求做预测；结果处理，在给定预测时间的前提下，预测结果包括每种虚拟机类型的总需求量、下一周虚拟机的需求量、具体物理资源的需求量。

Description

一种云计算资源预分配实现方法

技术领域

本发明属于云计算资源管理领域，具体涉及一种云计算资源预分配实现方法与系统。

背景技术

在数据中心中，虚拟机的资源分配问题是IT管理员维护云计算环境的一个基本问题。传统的分配方式基本上都是根据用户的实际请求来实时分配的，这样的分配必然存在一些潜在的问题，比如，如果整个系统处于繁忙的状态或请求突发性太强，就会造成较大的处理延时；而且，用户的资源需求有可能无法满足，这会极大地影响用户的满意度。所以，传统的分配方式往往要求用户提前很长时间就提出资源请求，这给用户带来了一些不便。另外，对于物理资源的购置，多依靠管理员的个人经验，缺乏专门的机制为管理员提供相关的参考信息。

通过对云计算环境使用记录的分析，可以得到以下几个特点：

1）云计算环境中通常存在一定数量的空闲资源来满足可能的需求；

2）对于特定类型的云计算环境，可能存在多种类型的虚拟机，比如根据安装的操作系统、中间件或应用来分类；

3）对于一个长期运行的云计算环境中可以获得大量详细的用户请求历史记录。

本发明是在国家863计划项目基金资助下，针对传统资源分配存在的问题，提出了一种云计算环境中资源预分配模型。

发明内容

云计算环境中资源预分配问题主要涉及各种类型的虚拟机和各种物理资源，预分配问题可以转化为一个需求预测的问题，它具有以下几个特点：

1）用户使用某类虚拟机或某个资源的可能是可以预测的；

2）在使用初期，稀疏的数据尽管不能产生有效的预测，但随着使用的增加，这种预测会越来越准确；

3）时间是一个关键的因素，这种预测与时间是相关的，可分为短期的和长期的预测。

本发明目的在于提供一种基于时间序列的组合资源预测方法，在获取用户请求历史记录后，按照虚拟机类型分别统计每一天用户的请求数量，建立基于虚拟机类型的时间序列，然后利用组合预测模型来预测下一阶段的请求情况。

1、宏观资源需求预测

基于用户请求历史记录建立时间序列组合预测模型，可以对未来的资源请求状况作一个宏观的预测。在保障一定的精度条件下，避免了对单个用户的过度关注，实现相对简单。从宏观的角度上预测，更有利着眼于用户请求的动态性（发展性、规律性和稳定性）。由于应用场景的不同精度差异较大，可以选择不同的预测模型来进行判断。在给定需要预测的某个时间的前提下，预测结果为每种虚拟机类型的总请求量。

2、周资源请求预测

根据对用户请求数据的分析，需求一般随着周一到周日呈现出规律分布。所以根据周一到周日分别建模预测，而且本周的数据训练完毕后就能对下一周的需求进行单步的预测，精度较高。另外，模型预测还应当满足短期的预测，比如下一周虚拟机的请求量和长期的预测，比如作为扩容购置新设备的评判标准。对于短期预测，用上述模型能较为精准地做出判断。对于长期的预测，就要用到预测技术中的多步预测，相对精度较低。

3、物理资源预测

此外，还可以分析需要的具体物理资源的数量，比如内存、磁盘和CPU等需求。对具体物理资源可以做出相对长期的预测，以便提示管理员做出购买与否的决定和协助管理员确定具体购买量的决策。此时，需要给出每种虚拟机类型的物理资源配置，同时能很好地实现由虚拟机数量到物理资源数量的转换。

一种云计算资源预分配实现方法，该方法包括下述步骤：

第一步：数据采集，以预定时间窗口搜集历史数据；为防止处理的历史数据过多，或者适应模型初期的稀疏数据，可以缩小时间窗口以匹配样本大小，比如一个月，甚至一个星期，当然这会带来一定的误差；

第二步：数据清洗，过滤掉请求次数少于预定次数的用户的请求；

第三步：模型训练，基于时间与虚拟机类型的矩阵建立组合预测模型，然后根据时间窗口持续地导入清洗后的数据进行模型训练，直到填满时间窗口，完成模型收敛；

第四步：数据预测，基于训练好的组合预测模型，对给定时间的资源请求做宏观预测；根据周资源预测模型，可以对下一周的需求进行单步的预测。此外，还可以分析具体物理资源的需求数量；

第五步：结果处理，根据应用场景的需求，展示预定的结果视图。在给定预测时间的前提下，预测结果包括每种虚拟机类型的总需求量、下一周虚拟机的需求量、具体物理资源的需求量；

还包括有结果验证，其用于将数据预测的结果与实际数据对比，得出预测的平均准确度，通过调整算法的参数，来训练适合当前应用场景的模型。对模型准确度的不断评估保证系统有效性，以达到更好的准确度。

上述第二步的数据清洗中，当数据比较稀疏时，根据请求资源的相似性聚合成分类，将一天中某一类请求归为一个请求。这样可以提高预测的准确度。

本发明与现有技术相比，具有如下优点：

1）基于历史资源请求数据预测云计算环境在一段时间内的资源需求情况。

2）根据每周用户请求的规律预测用户在一周内每天的请求情况，实现短期精准预测。

3）实现对具体物理资源需求的预测，通过检查云计算环境中资源的状态，对紧缺资源进行预警。

该预分配模型通过对历史数据的分析，预测资源的需求状况，对空闲资源进行预分配，而且使预分配的虚拟机数量保持在一定的比例水平，如果需求有增长（减少）趋势，那就适当增加（减少）预安装的数量。这样带来的好处有：不仅可以应对一定数量的突发请求，提高用户请求的响应速度，进而提高用户满意度；还可以为管理员提供物理资源（比如内存、磁盘和CPU等）购置的参考信息，进而检查云计算环境中资源是否处于紧缺的状态，以便提前购买相应的资源。

附图说明

图1为资源预测模型建立流程图。

具体实施方式

下面结合附图和具体实施方式对本发明的内容做进一步详细说明。

实施例:

本发明提出一种基于时间序列的组合资源预测方法，在获取用户请求历史记录后，按照虚拟机类型分别统计每一天用户的请求数量，建立基于虚拟机类型的时间序列，然后利用组合预测模型来预测下一阶段的请求情况。下面结合附图详细说明本发明的实施步骤。

根据对问题的分析，为了建立时间与虚拟机类型的矩阵，需要对历史数据进行预处理，然后进行模型训练。这个处理流程可以分成几个步骤：数据采集、数据清洗、模型训练、数据预测、结果处理和验证，其相互关系和流程如图1所示。

第一步：数据采集

搜集的过程是从历史请求记录数据中抽取指定时间段的数据；比如从历史请求记录中以一年的时间窗口抽取数据，利用时间窗口解决动态预测的问题，为防止处理的历史数据过多，或者适应模型初期的稀疏数据，可以缩小时间窗口以匹配样本大小，比如一个月，甚至一个星期，当然这会带来一定的误差。主要提取以下数据：用户名、请求时间、请求虚拟机类型、请求数量，并完成对数据格式的转换以便后续模块的使用。

第二步：数据清洗

为了减少需要处理的数据量和使需求更有规律，可以过滤掉请求次数少于3次的用户的请求,这个阈值可以根据数据的情况调整，首先将用户按请求次数排序，然后计算阈值：

T=(1-p)×Count_max+p×Count_min

其中，T为阈值，p为计划保留的请求数据比例，比如0.8，p为1意味着保留所有请求数据。Count_max表示最大请求次数，Count_min表示最小请求次数。

另外，在数据比较稀疏时，可以根据请求资源的相似性聚合成分类，将一天中某一类请求归为一个请求，这样可以提高预测的准确度。

第三步：模型训练

模型训练首先需要基于时间与虚拟机类型的矩阵建立预测模型，然后根据时间窗口持续地导入训练数据直到模型收敛。

1)模型的建立

在完成数据清洗后，按照虚拟机类型分别统计每一天用户的请求数量，建立基于虚拟机类型的时间序列，然后利用预测模型来预测下一阶段的请求情况。下表展示了时间与虚拟机类型的矩阵，表头是请求时间和各种虚拟机类型，矩阵的值是某个时间所请求的某类虚拟机的数量。

在具体的预测模型选择上可以选择较简单且适合的模型，比如：白回归求和移动平均模型ARIMA和灰色预测模型GM(1，1)。ARIMA模型是比较常用的随机时间序列模型，其基本思想是将预测对象随时问推移而形成的数据序列视为一个随机序列，用一定的数学模型来近似描述这个序列。当时间序列本身不是平稳的时候，可以通过一次或多次差分后转换成为平稳时间序列，则可以建立模型。GM(1，1)模型是一种比较常用的灰色模型，它从一个整体信息不足的系统中抽象并建立起预测模型，该模型对时间序列数据没有什么特殊的要求和限制，优点是建模过程简单，使用样本数据少，计算简便。

单个预测模型受各种随机因素的影响，难以获得较高的预测精度。可以通过组合各种预测模型来进行预测，分别赋予合理权重，使组合预测模型更系统和更全面，比如将ARIMA模型和GM(1，1)模型进行组合：

F_t=w₁×APJMA_f+w₂×GM_t

其中，F_t为组合模型对给定时间t的预测结果，w₁、w₂为权重，权重和为1，ARIMA_t为ARIMA模型对时间t的预测结果，GM_t为GM(1，1)模型对时间t的预测结果。

组合预测模型是一种新的预测方法，由于考虑问题的角度及方式的不同，对同一个预测问题往往能提供不同的结果，并提高模型预测的精度。

2）模型的训练

根据时间窗口持续地导入训练数据直到模型收敛。模型训练的过程其实是参数估计的过程，当完成模型识别和检验，实现模型收敛后，在短期内不需要对模型进行再训练。由于数据不断更新，模型需要根据历史数据不断动态调整预测的参数，这涉及到动态学习的过程。所以需要定时地或人工启动模型重新进行学习，当然也可以根据预测结果的准确度来决定训练的周期和时机。

另外，为了实现周资源请求预测，可以从周一到周日分别建模预测，而且上一周的数据训练完毕后就能对下一周每天的资源需求进行单步的预测。即可以根据每周用户请求的规律预测用户在一周内每天的请求情况，实现短期精准预测。

第四步：数据预测

基于训练好的组合预测模型，利用第三步描述的公式可以对给定时间的资源请求状况作一个宏观的预测，根据前面描述的Ft公式计算给定时间的资源请求数量。根据周资源预测模型，可以对下一周每天的资源需求进行单步的预测。此外，还可以分析具体物理资源的需求数量，比如内存、磁盘和CPU等需求。

在模型建立的初期，数据比较稀疏，导致模型不收敛，这时可以缩小样本窗口，以适应样本大小，当然这会带来一定的误差。所以，从实用和简单的角度出发，此时可以让云计算环境的管理员制定初始的分配规则和策略，比如平均分配虚拟机的数量或者按照以前经验配置一定的比例。因此，在做预分配时，系统需要判断模型的状态，如果模型没有收敛，就只对模型进行训练而跳过预测步骤，直接采用管理员制定的规则和策略。当数据积累足够，模型训练达到收敛，就可以利用建立的模型进行预测，预测资源请求数量，以方便管理员做出决策。

可以实现对具体物理资源需求的预测，通过对比检查预测资源数量与云计算环境中现有物理资源数量，对紧缺资源进行预警。

第五步：结果处理

在实际应用中，对预测结果的适当调整就能产生很好的效果，可以展示预定的不同的结果视图，以方便管理员进行处理。因此，可以根据应用场景的需求，使结果的输出和展示更有价值，这是一个相对独立而且可以进行扩充的步骤。比如：

1）在给定预测时间的前提下，展示每种虚拟机类型的总需求量；展示下一周虚拟机的需求量；展示具体物理资源的需求量；

2）通过对比检查预测资源数量与云计算环境中现有物理资源数量，对紧缺资源进行预警，以便提示管理员做出购买和具体购买量的决策。

另外，在输出预测结果之前，系统需要对云计算现有资源池中可分配的物理资源量做出相应判断，确定是否能满足对预测结果的完全分配，以避免预分配的总量超出当前可分配能力的情况出现。

进一步的还包括第六步：结果验证

对模型准确度的不断评估是保证系统有效性的一个重要问题，实现的方法有两种方式：一是将训练数据分为两部分，一部分用于训练，另一部分用于验证；二是先让系统运行一段时间并采集预测数据日志，然后与实际用户请求进行比较来验证。

通过对比预测数据与实际数据，得出一份综合的模型评估报告，报告包含评估时间内预测的次数、结果和平均准确度。另外，还可以对预测算法进行测试和检验，找出最适合当前应用场景的预测模型，以达到更好的准确度。

上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims

1.一种云计算资源预分配实现方法，其特征在于，该方法包括下述步骤：

第一步：数据采集，以预定时间窗口搜集历史数据；

第二步：数据清洗，过滤掉请求次数少于预定次数的用户请求；

第四步：数据预测，基于训练好的组合预测模型，对给定时间的资源请求做预测；

第五步：结果处理，根据应用场景的需求，展示预定的结果视图，在给定预测时间的前提下，预测结果包括每种虚拟机类型的总需求量、下一周虚拟机的需求量、具体物理资源的需求量。

2.如权利要求1所述的一种云计算资源预分配实现方法，其特征在于：还包括有结果验证，其用于将数据预测的结果与实际数据对比，得出预测的平均准确度。

3.如权利要求1所述的一种云计算资源预分配实现方法，其特征在于：上述第二步的数据清洗中，当数据比较稀疏时，根据请求资源的相似性聚合成分类，将一天中某一类请求归为一个请求。