CN109918170A - 一种云数据中心虚拟机动态资源配置方法及系统 - Google Patents

Abstract

本发明属于云计算技术领域，公开了一种云数据中心虚拟机动态资源配置方法及系统，包括：云服务节点模块，用于收集运行在该节点中的应用负载信息，并将信息处理并发送至动态资源配置服务器模块；动态资源配置服务器模块，用于接收云服务节点发送的应用的负载信息；为资源管理服务器模块提供合理的虚拟资源分配策略，实现资源自适应管理；资源管理服务器模块，用于根据动态资源配置服务器模块提供的虚拟资源分配策略动态分配虚拟资源。区别于传统的资源配置方法，本发明合理的将应用程序的SLA转化为虚拟节点上的资源分配，满足用户的弹性资源需求，并在负载动态变化的过程中自动配置虚拟机，达到资源自适应管理。

Description

一种云数据中心虚拟机动态资源配置方法及系统

技术领域

本发明属于云计算技术领域，尤其涉及一种云数据中心虚拟机动态资源配置方法及系统。

背景技术

目前，业内常用的现有技术是这样的：云计算属于国家重要的信息基础设施，作为新型信息服务提供模式，已经广泛应用于政务商务、金融证券、医疗健康、教育科研、军事国防等国家重大行业应用。根据服务类型的不同，云计算分为基础设施即服务、平台即服务、软件即服务。基础设施即服务作为最基础及支撑的服务模式，通过虚拟化技术使得虚拟机共享物理资源资源池，运营商可以通过向用户提供虚拟机资源来承载他们的应用。随着云计算应用的开展导致云数据中心中的基础设施资源大量聚集，于是虚拟资源管理的优劣将直接影响到云数据中心整体的资源利用率和SLA。随着云数据中心规模的扩大，手动及人工管理数目庞大的物理资源集群已经变的非常不现实。一般情况下，具体资源需求由用户申请而临时分配，在实际应用中很难估计用户具体的资源需求，而且应用的负载通常随时间动态变化，传统的虚拟机资源分配不能做到面向应用的动态自适应。

目前关于云计算虚拟机资源配置方法的研究更多的是建立在多变量优化的基础上，通过对特定应用程序的目标参数配置的组合优化问题，找到合适的参数设置，最大限度表现组合的性能，但是由于应用类型的多样性，应用负载信息和虚拟机配置的对应关系并不总是已知的，例如数据库服务器负载信息与web服务器负载信息和虚拟机配置的对应关系不一样，得知数据库服务器负载信息和虚拟机配置的对应关系并不适用于web服务器等其他类型的应用，也不可能得知所有应用的最优化公式，此方法不具有普适性。

综上所述，现有技术存在的问题是：目前关于云计算虚拟机资源配置方法由于应用类型的多样性，应用负载信息和虚拟机配置的对应关系并不总是已知的，不具有普适性。

解决上述技术问题的难度：云计算虚拟机资源配置方法难点在于得到应用程序负载与虚拟机资源分配之间复杂的对应关系，并及时快速响应用户弹性资源需求。

解决上述技术问题的意义：在于满足用户弹性资源需求，保证云数据中心与用户约定的SLA，同时提升云数据中心整体资源利用率，达到资源自适应管理。

发明内容

针对现有技术存在的问题，本发明提供了一种云数据中心虚拟机动态资源配置方法及系统。

本发明是这样实现的，一种云数据中心虚拟机动态资源配置系统，所述云数据中心虚拟机动态资源配置系统包括：

云服务节点模块，由云数据中心中的服务节点和虚拟机节点组成，用于收集运行在该节点中的应用负载信息，并将信息处理并发送至动态资源配置服务器模块；

动态资源配置服务器模块，用于接收云服务节点发送的应用的负载信息；为资源管理服务器模块提供合理的虚拟资源分配策略，实现资源自适应管理；

资源管理服务器模块，用于根据动态资源配置服务器模块提供的虚拟资源分配策略动态分配虚拟资源。

进一步，所述资源管理服务器模块设置有资源分配模块，资源管理服务器根据动态资源配置服务器模块提供的虚拟资源分配策略动态分配虚拟资源。

进一步，所述资源管理服务器模块设置有自动发现模块，资源管理服务器使用主动探测的方法，用于及时发现可用资源，动态为云数据中心扩展虚拟资源。

进一步，所述资源管理服务器模块设置有资源监测模块，资源检测模块每隔一段时间，调用相应服务，向动态资源配置服务器汇报云数据中心系统状态，包括可用CPU资源，可用内存资源，可用网络资源。

本发明的另一目的在于提供一种运行所述的云数据中心虚拟机动态资源配置系统的云数据中心虚拟机动态资源配置方法，所述云数据中心虚拟机动态资源配置方法包括：

第一步，用户与云计算运营商约定SLA，用户向云数据中心请求服务；

第二步，云数据中心提供虚拟机模板资源，用户部署应用；

第三步，动态资源配置服务器接收当前云数据中心系统状态以及模板虚拟机的运行状态，根据虚拟资源分配策略离线粗粒度的初始化虚拟机，将虚拟资源分配结果提供给资源管理服务器；

第四步，资源管理服务器根据动态资源配置服务器提供的资源分配结果初始化虚拟机；

第五步，在虚拟机运行过程中，云服务节点与动态资源配置服务器建立心跳机制，云服务节点向动态资源配置服务器汇报运行在该节点中的应用负载信息，资源管理服务器与动态资源配置服务器建立心跳机制，资源管理服务器向动态资源配置服务器汇报系统资源使用情况；

第六步，在虚拟机运行过程中动态资源配置服务器根据当前应用负载信息和系统资源使用情况，在线为资源管理服务器提供虚拟资源分配策略，资源管理服务器自动配置虚拟机。

进一步，云数据中心虚拟机动态资源配置方法包括以下步骤：

(1)接收当前云数据中心系统状态以及模板虚拟机的运行状态，根据虚拟资源分配策略离线粗粒度的初始化虚拟机；

(2)在虚拟机运行过程中，接收当前应用负载信息和系统资源使用情况，据虚拟资源分配策略在线自动配置虚拟机。

进一步，所述云数据中心虚拟机动态资源配置方法的虚拟资源分配策略包括：

定义1：用马尔科夫决策模型对虚拟机动态配置过程建模，Agent处于环境E中，模型中Agent为动态资源配置服务器，环境E为虚拟机，状态空间为X，其中每个状态x是机器感知到环境的描述，模型中定义为全局资源分配，memi为第i个VM的内存，vcpui为第i个VM的虚拟CPU数量，networki为第i个VM的网络带宽；Agent能采取的动作构成了动作空间A，模型中定义为对每个配置参数的增加，减少，不变；若某个动作a作用在当前状态x上，则潜在的转移函数P将使得环境从当前状态按某种概率转移到另一个状态，模型中虚拟机配置定义的状态时确定的，所以为1，在转移到另一个状态的同时，环境会根据潜在的奖赏函数R反馈给机器一个奖赏，奖赏函数R的计算公式为：

其中，w_i是第i个虚拟机的权重：

其中，Thrpt为虚拟机的吞吐量，resp为虚拟机的响应时间，ref_thrpt为当前硬件条件下SLA约束下可实现的最大应用性能；

定义2：Q-learning维护着一张由状态—动作值索引的二维查询表，又叫Q表，这个表存储的是状态—动作值Q(s，a)的估计值；Q(s，a)作为最优策略求解的评价标准。

进一步，所述虚拟资源分配策略还包括：

步骤一、初始化Q表，给定收敛阈值η；

步骤二、接收虚拟机应用运行状态，计算虚拟机性能表现吞吐量的标准差stdev(P)，若小于收敛阈值则结束，若大于收敛阈值则跳步骤三；

步骤三、根据当前虚拟机状态s_t，采用贪心法选择Q表中当前状态对应Q值最大的动作a_t配置虚拟机；

步骤四、接收虚拟机应用运行状态s_t+1，计算奖赏值r_t+1，采用贪心法选择Q表中当前状态对应Q值最大的动作得到a_t+1，更新Q值Q(s_t，a_t)＝Q(s_t，a_t)+α*[r_t+1+γ*Q(s_t+1，a_t+1)-Q(s_t，a_t)]；

步骤五、接收虚拟机应用运行状态，计算虚拟机性能表现吞吐量的标准差stdev(P)，若小于收敛阈值则结束，若大于收敛阈值则跳步骤三。

本发明的另一目的在于提供一种应用所述云数据中心虚拟机动态资源配置方法的云计算信息服务平台。

综上所述，本发明的优点及积极效果为：本发明旨在解决快速发展的云应用时代，云数据中心中的基础设施资源大量聚集，虚拟资源配置的优劣将直接影响到数据中心整体的资源利用率和SLA。区别于传统的资源配置方法，本发明合理的将应用程序的SLA转化为虚拟节点上的资源分配，满足用户的弹性资源需求，并在负载动态变化的过程中自动配置虚拟机，达到资源自适应管理。

附图说明

图1是本发明实施例提供的云数据中心虚拟机动态资源配置系统结构示意图；

图中：1、云服务节点模块；2、动态资源配置服务器模块；3、资源管理服务器模块。

图2是本发明实施例提供的云数据中心虚拟机动态资源配置方法流程图。

图3是本发明实施例提供的云数据中心虚拟机动态资源配置方法实现流程图。

图4是本发明实施例提供的云数据中心虚拟机资源配置流程图。

图5是本发明实施例提供的离线粗粒度初始化虚拟机配置方法实验结果曲线图。

图6是本发明实施例提供的在线虚拟机动态资源配置方法测试结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明以合理的将应用程序的SLA转化为虚拟节点上的资源分配，满足用户的弹性资源需求，并在负载动态变化的过程中自动配置虚拟机，达到资源自适应管理。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的云数据中心虚拟机动态资源配置系统包括：云服务节点模块1、动态资源配置服务器模块2、资源管理服务器模块3。

云服务节点模块1，由云数据中心中的服务节点和虚拟机节点组成，用于收集运行在该节点中的应用负载信息，并将信息处理并发送至动态资源配置服务器模块2。

动态资源配置服务器模块2，一方面负责接收云服务节点发送的应用的负载信息，另一方面为资源管理服务器模块3提供合理的虚拟资源分配策略，实现资源自适应管理。

资源管理服务器模块3，根据动态资源配置服务器模块2提供的虚拟资源分配策略动态分配虚拟资源。

在本发明的优选实施例中，资源管理服务器模块3配备有资源分配模块，资源管理服务器根据动态资源配置服务器模块2提供的虚拟资源分配策略动态分配虚拟资源。

在本发明的优选实施例中，资源管理服务器模块3还配备有自动发现模块，资源管理服务器使用主动探测的方法，用于及时发现可用资源，可以动态为云数据中心扩展虚拟资源。

在本发明的优选实施例中，资源管理服务器模块3还配备有资源监测模块，资源检测模块每隔一段时间，调用相应服务，向动态资源配置服务器汇报云数据中心系统状态，包括可用CPU资源，可用内存资源，可用网络资源。

如图2所示，本发明实施例提供的云数据中心虚拟机动态资源配置方法包括以下步骤：

S201：用户与云计算运营商约定SLA，用户向云数据中心请求服务；

S202：云数据中心提供虚拟机模板资源，用户部署应用；

S203：动态资源配置服务器接收当前云数据中心系统状态以及模板虚拟机的运行状态，根据虚拟资源分配策略离线粗粒度的初始化虚拟机，将虚拟资源分配结果提供给资源管理服务器；

S204：资源管理服务器根据动态资源配置服务器提供的资源分配结果初始化虚拟机；

S205：在虚拟机运行过程中，云服务节点与动态资源配置服务器建立心跳机制，云服务节点向动态资源配置服务器汇报运行在该节点中的应用负载信息，资源管理服务器与动态资源配置服务器建立心跳机制，资源管理服务器向动态资源配置服务器汇报系统资源使用情况；

S206：在虚拟机运行过程中动态资源配置服务器根据当前应用负载信息和系统资源使用情况，在线为资源管理服务器提供虚拟资源分配策略，资源管理服务器自动配置虚拟机。

下面结合附图对本发明的应用原理作进一步的描述。

如图3和图4所示，本发明实施例提供的云数据中心虚拟机动态资源配置方法包括以下步骤：

1、接收当前云数据中心系统状态以及模板虚拟机的运行状态，根据虚拟资源分配策略离线粗粒度的初始化虚拟机。

2、在虚拟机运行过程中，接收当前应用负载信息和系统资源使用情况，据虚拟资源分配策略在线自动配置虚拟机。

虚拟资源分配策略如下所示：

定义1：用马尔科夫决策模型对虚拟机动态配置过程建模，Agent处于环境E中，模型中Agent为动态资源配置服务器，环境E为虚拟机，状态空间为X，其中每个状态x是机器感知到环境的描述，模型中定义为全局资源分配，memi为第i个VM的内存，vcpui为第i个VM的虚拟CPU数量，networki为第i个VM的网络带宽。Agent能采取的动作构成了动作空间A，模型中定义为对每个配置参数的增加，减少，不变。若某个动作a作用在当前状态x上，则潜在的转移函数P将使得环境从当前状态按某种概率转移到另一个状态，模型中虚拟机配置定义的状态时确定的，所以为1，在转移到另一个状态的同时，环境会根据潜在的奖赏函数R反馈给机器一个奖赏，本模型中奖赏函数R的计算公式为：

其中，w_i是第i个虚拟机的权重：

其中，Thrpt为虚拟机的吞吐量，resp为虚拟机的响应时间，ref_thrpt为当前硬件条件下SLA约束下可实现的最大应用性能。

定义2：Q-learning算法是强化学习算法的一种，与其他强化学习算法相比，Q-learning算法简单高效，因此更加适合虚拟机资源自动配置决策的应用场景，因为云计算应用系统需要对短时期大量的负载请求作出快速响应。Q-learning维护着一张由状态—动作值索引的二维查询表，又叫Q表，这个表存储的是状态—动作值Q(s，a)的估计值。Q(s，a)作为最优策略求解的评价标准。

步骤一、初始化Q表，给定收敛阈值η。

步骤二、接收虚拟机应用运行状态，计算虚拟机性能表现吞吐量的标准差stdev(P)，若小于收敛阈值则结束，若大于收敛阈值则跳步骤三。

步骤三、根据当前虚拟机状态s_t，采用贪心法选择Q表中当前状态对应Q值最大的动作a_t配置虚拟机。

步骤四、接收虚拟机应用运行状态s_t+1，计算奖赏值r_t+1，采用贪心法选择Q表中当前状态对应Q值最大的动作得到a_t+1，更新Q值Q(s_t，a_t)＝Q(s_t，a_t)+α*[r_t+1+γ*Q(s_t+1，a_t+1)-Q(s_t，a_t)]。

步骤五、接收虚拟机应用运行状态，计算虚拟机性能表现吞吐量的标准差stdev(P)，若小于收敛阈值则结束，若大于收敛阈值则跳步骤三。

下面结合实验对本发明的应用效果作详细的描述。

图5为本发明实验数据，离线粗粒度初始化虚拟机配置方法通过3次迭代使吞吐量达到3000req/s，达到SLA。

图6是在线虚拟机动态资源配置方法保证了测试应用程序的吞吐量不低于3000req/s，保证了SLA。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种云数据中心虚拟机动态资源配置系统，其特征在于，所述云数据中心虚拟机动态资源配置系统包括：

云服务节点模块，由云数据中心中的服务节点和虚拟机节点组成，用于收集运行在该节点中的应用负载信息，并将信息处理并发送至动态资源配置服务器模块；

动态资源配置服务器模块，用于接收云服务节点发送的应用的负载信息；为资源管理服务器模块提供合理的虚拟资源分配策略，实现资源自适应管理；

资源管理服务器模块，用于根据动态资源配置服务器模块提供的虚拟资源分配策略动态分配虚拟资源。

2.如权利要求1所述的云数据中心虚拟机动态资源配置系统，其特征在于，所述资源管理服务器模块设置有资源分配模块，资源管理服务器根据动态资源配置服务器模块提供的虚拟资源分配策略动态分配虚拟资源。

3.如权利要求1所述的云数据中心虚拟机动态资源配置系统，其特征在于，所述资源管理服务器模块设置有自动发现模块，资源管理服务器使用主动探测的方法，用于及时发现可用资源，动态为云数据中心扩展虚拟资源。

4.如权利要求1所述的云数据中心虚拟机动态资源配置系统，其特征在于，所述资源管理服务器模块设置有资源监测模块，资源检测模块每隔一段时间，调用相应服务，向动态资源配置服务器汇报云数据中心系统状态，包括可用CPU资源，可用内存资源，可用网络资源。

5.一种运行权利要求1所述的云数据中心虚拟机动态资源配置系统的云数据中心虚拟机动态资源配置方法，其特征在于，所述云数据中心虚拟机动态资源配置方法包括：

第一步，用户与云计算运营商约定SLA，用户向云数据中心请求服务；

第二步，云数据中心提供虚拟机模板资源，用户部署应用；

第三步，动态资源配置服务器接收当前云数据中心系统状态以及模板虚拟机的运行状态，根据虚拟资源分配策略离线粗粒度的初始化虚拟机，将虚拟资源分配结果提供给资源管理服务器；

第四步，资源管理服务器根据动态资源配置服务器提供的资源分配结果初始化虚拟机；

第五步，在虚拟机运行过程中，云服务节点与动态资源配置服务器建立心跳机制，云服务节点向动态资源配置服务器汇报运行在该节点中的应用负载信息，资源管理服务器与动态资源配置服务器建立心跳机制，资源管理服务器向动态资源配置服务器汇报系统资源使用情况；

第六步，在虚拟机运行过程中动态资源配置服务器根据当前应用负载信息和系统资源使用情况，在线为资源管理服务器提供虚拟资源分配策略，资源管理服务器自动配置虚拟机。

6.如权利要求5所述的云数据中心虚拟机动态资源配置方法，其特征在于，云数据中心虚拟机动态资源配置方法包括以下步骤：

(1)接收当前云数据中心系统状态以及模板虚拟机的运行状态，根据虚拟资源分配策略离线粗粒度的初始化虚拟机；

(2)在虚拟机运行过程中，接收当前应用负载信息和系统资源使用情况，据虚拟资源分配策略在线自动配置虚拟机。

7.如权利要求5所述的云数据中心虚拟机动态资源配置方法，其特征在于，所述云数据中心虚拟机动态资源配置方法虚拟资源分配策略包括：

定义1：用马尔科夫决策模型对虚拟机动态配置过程建模，Agent处于环境E中，模型中Agent为动态资源配置服务器，环境E为虚拟机，状态空间为X，其中每个状态x是机器感知到环境的描述，模型中定义为全局资源分配，memi为第i个VM的内存，vcpui为第i个VM的虚拟CPU数量，networki为第i个VM的网络带宽；Agent能采取的动作构成了动作空间A，模型中定义为对每个配置参数的增加，减少，不变；若某个动作a作用在当前状态x上，则潜在的转移函数P将使得环境从当前状态按某种概率转移到另一个状态，模型中虚拟机配置定义的状态时确定的，所以为1，在转移到另一个状态的同时，环境会根据潜在的奖赏函数R反馈给机器一个奖赏，奖赏函数R的计算公式为：

其中，w_i是第i个虚拟机的权重：

其中，Thrpt为虚拟机的吞吐量，resp为虚拟机的响应时间，ref_thrpt为当前硬件条件下SLA约束下可实现的最大应用性能；

定义2：Q-learning维护着一张由状态—动作值索引的二维查询表，又叫Q表，这个表存储的是状态—动作值Q(s，a)的估计值；Q(s，a)作为最优策略求解的评价标准。

8.如权利要求7所述的云数据中心虚拟机动态资源配置方法，其特征在于，所述虚拟资源分配策略还包括：

步骤一、初始化Q表，给定收敛阈值η；

步骤二、接收虚拟机应用运行状态，计算虚拟机性能表现吞吐量的标准差stdev(P)，若小于收敛阈值则结束，若大于收敛阈值则跳步骤三；

步骤三、根据当前虚拟机状态s_t，采用贪心法选择Q表中当前状态对应Q值最大的动作a_t配置虚拟机；

步骤四、接收虚拟机应用运行状态s_t+1，计算奖赏值r_t+1，采用贪心法选择Q表中当前状态对应Q值最大的动作得到a_t+1，更新Q值Q(s_t，a_t)＝Q(s_t，a_t)+α*[r_t+1+γ*Q(s_t+1，a_t+1)-Q(s_t，a_t)]；

步骤五、接收虚拟机应用运行状态，计算虚拟机性能表现吞吐量的标准差stdev(P)，若小于收敛阈值则结束，若大于收敛阈值则跳步骤三。

9.一种应用权利要求5～8任意一项所述云数据中心虚拟机动态资源配置方法的云计算信息服务平台。