CN106301960A - 一种云资源协同管理方法 - Google Patents

Abstract

本发明针对云资源难以实现高效动态管理问题，通过建立资源利用优化模型、物理节点数量优化模型和单用户体验优化模型，实现云资源的高效协同管理。

Description

一种云资源协同管理方法

技术领域

本发明涉及云计算领域，特别是涉及通信技术，以及优化理论。

背景技术

云计算作为一种商业计算模型，它将计算任务分布到由大量服务器构成的资源池上，从而使用户能够根据需要获取计算能力、存储空间和信息服务，这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。它是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的延续，或者说是这些计算科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(Infrastructure as a Service，基础设施即服务)、PaaS(Platform as a Service，平台即服务)、SaaS(Software as a Service，软件即服务)等概念混合演进并跃升的结果，云计算体系结构如图1所示。

根据部署模式的不同，云计算的类型又可以分为公用云、私有云和混合云。公共云可通过网络由第三方的服务商提供，通过访问控制机制由用户免费或付费使用。公共云在构建上既有弹性又具有成本效益，是云计算商业化的实现目标；私有云为特定组织内的用户提供服务，数据与程序都在组织内部管理。私有云可以大大提高系统的安全性，而且服务提供商可以更好地掌控基础设备的架构，但所能使用的用户也受到一定限制；而在混合云中，用户往往是将关键数据或信息放置于私有云中，将非关键的服务外包给公共云服务提供商，放置在公共云上处理。混合云能够兼顾安全性与灵活性，是一种高效的云计算部署模式和交付方式。

云计算服务提供商以承诺向用户提供具有高可扩展性、灵活性和可用性的计算、存储及其它各类应用服务而受到业界的广泛关注。为了实现这些承诺，云计算服务提供商不仅需要通过构建完善的基础设施，同时还需要采取迅速有效的管理理论与方法对资源进行合理分配以提供高质量服务来满足用户需求并降低成本，从而提高利润来谋求自身的长期发展。

资源管理是云计算的核心问题之一，它主要包括资源的描述、动态组织、发现匹配、优化配置和即时监控等活动。与传统的分布式环境和网格环境下的资源管理所不同的是，云计算环境下资源管理是通过虚拟化技术的运用来屏蔽底层资源的异构性和复杂性，把分散的各种资源管理起来,使得分布式资源能够被当作单一资源处理，形成一个统一的巨型资源池而不是分散的资源库，以此确保资源的合理、高效的分配和使用，并且云计算环境下资源管理的各个组成部分之间并不是孤立的，资源的描述、组织、发现与匹配、配置和监控是彼此之间存在紧密联系的系统要素，它们之间的共同作用构成了一个整体。资源的描述和表示形式将影响到它的动态组织方式，而资源的发现与匹配机制又会因上述两者的变化而做出相应的调整,难以实现高效资源提取；同样的,在制定资源调度策略时，也会考虑底层资源的组织形式、发现与匹配机制；最后，资源动态监控将对系统中的各个要素进行检测和控制，保证系统的安全、稳定和高效运行。

因此，有必要设计一种高效的资源管理方法，用以提升云平台的服务效能。

发明内容

本发明所要解决的技术问题是：通过建立资源分配优化模型、资源使用优化模型和单用户体验优化模型，实现云资源的高效协同管理。

本发明为解决上述技术问题所采用的技术方案包括以下步骤，如图2所示：

A、建立资源分配优化模型；

B、建立资源使用优化模型；

C、建立单用户体验优化模型。

所述步骤A中，资源分配模型由资源控制单元、虚拟机监视器、虚拟机系统和资源负载状态感知单元以及传感单元组成，其中虚拟机监视器实现对物理资源的直接管理，并保证各虚拟主机在逻辑层面独立运行，虚拟机监视器通过资源控制单元的输出实现物理资源的动态分配；资源分配单元由预测器、判决单元和分配器组成，预测器基于历史时间节点的系统参数作为输入，并根据预测模型和规则，输出下一时间戳的资源负载特性，并将其作为资源分配单元的输入，资源分配单元根据预测器生成的预测结果和期望区间，确定资源分配规则和资源分配策略，并与经过传感器的初次分配信息联合输入至判决单元，判决单元根据人工设定的判决函数，对资源分配的初次结果进行验证和修正，并产生经过自适应修正的资源分配策略。

所述步骤A中，优化模型具体为：

$\begin{array}{cc}\min & C_{max}^{load}+M_{max}^{load}+B_{max}^{load}+\mathrm{\&epsiv;}\&times;\underset{m,n\&Element;N^V\left(m\right),n<m}{\&Sigma;}{y}_{ij}^{mn}\&times;B_{mn}^V\end{array}$

$\begin{array}{cc}s.t.& \&ForAll;i:\end{array}\frac{C_i^P+\underset{m}{\&Sigma;}{x}_i^m\&times;C_m^V}{C_i^P\left(0\right)}\&le;C_{max}^{load}$

$\frac{M_i^P+\underset{m}{\&Sigma;}{x}_i^m\&times;M_m^V}{M_i^P\left(0\right)}\&le;M_{max}^{load}$

$\frac{B_{ij}^P+\underset{m,n\&Element;N^V\left(m\right)}{\&Sigma;}{y}_{ij}^{mn}\&times;B_{mn}^V}{B_{ij}^P\left(0\right)}\&le;B_{max}^{load},\&ForAll;i\&NotEqual;j$

$\underset{i}{\&Sigma;}{x}_i^m=1$

$\underset{m\&Element;{\mathrm{VN}}_k}{\&Sigma;}{x}_i^m\&le;1$

$\underset{j\&Element;N^P\left(i\right)}{\&Sigma;}(y_{ij}^{mn}-y_{ji}^{mn})\&le;x_i^m-x_i^n,\&ForAll;m,n\&Element;N^V\left(m\right),m<n$

$\underset{m}{\&Sigma;}{x}_i^m\&times;C_m^V\&le;C_i^P$

$\underset{m}{\&Sigma;}{x}_i^m\&times;M_m^V\&le;M_i^P$

$\underset{m<n}{\&Sigma;}{B}_{mn}^V\&times;(y_{ij}^{mn}+y_{ji}^{mn})\&le;B_{ij}^P,\&ForAll;i\&NotEqual;j$

其中均为决策变量，若虚拟节点m与物理节点i为同一节点则反之则若虚拟链路(m,n)使用物理链路(i,j)进行数据传输则反之则 为内存空间利用率，为计算资源利用率，为云服务系统的带宽资源利用率，为节点i可用物理计算资源，为云服务系统的全局计算资源，F为计算资源的处理速度，V为虚拟资源集合，i,j为物理节点标识，m,n为虚拟节点标识，P为物理资源集合，ε为权重系数，C^P为总的物理计算资源，为虚拟节点m所占用的虚拟资源，为节点i所占用的物理资源，为(m,n)使用虚拟资源时的所占用的带宽，为(i,j)使用物理资源时的所占用的带宽，为初始时刻节点i所占用的物理资源，为初始时刻使用物理资源时的所占用的带宽。

所述步骤B中，具体为：

$\begin{array}{cc}max& \frac{1}{3}\sqrt{\frac{1}{t}\underset{k=1}{\overset{t}{\&Sigma;}}{\left(c_{S_k}-\underset{l=1}{\overset{e}{\&Sigma;}}{c}_l{x}_{kl}\right)}^2}\end{array}+\frac{1}{3}\sqrt{\frac{1}{t}\underset{k=1}{\overset{t}{\&Sigma;}}{\left(m_{S_k}-\underset{l=1}{\overset{e}{\&Sigma;}}{m}_l{x}_{kl}\right)}^2}+\frac{1}{3}\sqrt{\frac{1}{t}\underset{k=1}{\overset{t}{\&Sigma;}}{\left(d_{S_k}-\underset{l=1}{\overset{e}{\&Sigma;}}{d}_l{x}_{kl}\right)}^2}$

$\begin{array}{cc}s.t.& \underset{l=1}{\overset{e}{\&Sigma;}}{c}_l{x}_{kl}\&le;c_{S_k},k=\{1,\mathrm{...},t\},l=\{1,\mathrm{...},e\}\end{array}$

$\underset{l=1}{\overset{e}{\&Sigma;}}{m}_l{x}_{kl}\&le;m_{S_k},k=\{1,\mathrm{...},t\},l=\{1,\mathrm{...},e\}$

$\underset{l=1}{\overset{e}{\&Sigma;}}{d}_l{x}_{kl}\&le;d_{S_k},k=\{1,\mathrm{...},t\},l=\{1,\mathrm{...},e\}$

$\underset{k=1}{\overset{t}{\&Sigma;}}{x}_{kl}=1$

其中c_l为任务l计算代价，m_l为任务l的传输资源使用代价，d_l为任务l的存储资源使用代价，为分配给用户k的计算代价，为分配给用户k的传输资源使用代价，为分配给用户k的存储资源使用代价，t为用户数，e为任务数，x_kl为用户k使用任务l的权重系数。

所述步骤C中，具体为：

$\begin{array}{ccc}\max & \underset{q=1}{\overset{\mathrm{\&eta;}}{\&Sigma;}}\underset{r=1}{\overset{r_{\max }}{\&Sigma;}}{w}_{qr}{x}_{qr}& x_{qr}\&Element;\{0,1\}\\ s.t.& \underset{r=1}{\overset{r_{\max }}{\&Sigma;}}{x}_{qr}=1& \&ForAll;q=1,\mathrm{...},\mathrm{\&eta;}\\ & \underset{q=1}{\overset{\mathrm{\&omega;}}{\&Sigma;}}\underset{r=1}{\overset{r_{\max }}{\&Sigma;}}{S}_{qr}{x}_{qr}\&le;V\left(D_q\right)& \&ForAll;\mathrm{\&omega;}=1,\mathrm{...},\mathrm{\&eta;}\end{array},$

其中w_qr为数据块q在传输场景r的QoE的权重因子，D_q为数据块q的回放调度截止时间，x_qr为决策变量，若用户在传输场景r下载数据块q则x_qr＝1，反之则x_qr＝0，V(D_q)为截止时间D_q内用户下载的最大数据量，R为传输场景集合，S_qr为以传输场景r下的数据块q的大小，r_max为传输场景数目，在不同的传输场景传输的第q个数据块大小可能会发生变化，η为数据块数目，ω为动态数据块需求。

附图说明

图1云计算体系结构示意图

图2云资源协同管理流程示意图

具体实施方式

为达到上述目的，本发明的技术方案如下：

第一步，建立资源利用优化模型，优化模型具体为：

${\mathrm{minC}}_{max}^{load}+M_{max}^{load}+B_{max}^{load}+\mathrm{\&epsiv;}\&times;\underset{m,n\&Element;N^V\left(m\right),n<m}{\&Sigma;}{y}_{ij}^{mn}\&times;B_{mn}^V$

$\begin{array}{cc}s.t.& \&ForAll;i:F_i^P\&times;\end{array}\frac{C_i^P+\underset{m}{\&Sigma;}{x}_i^m\&times;C_m^V}{C_i^P\left(0\right)}\&le;C_{max}^{load}$

$F_i^P\&times;\frac{M_i^P+\underset{m}{\&Sigma;}{x}_i^m\&times;M_m^V}{M_i^P\left(0\right)}\&le;M_{max}^{load}$

$\frac{B_{ij}^P+\underset{m,n\&Element;N^V\left(m\right)}{\&Sigma;}{y}_{ij}^{mn}\&times;B_{mn}^V}{B_{ij}^P\left(0\right)}\&le;B_{\max }^{load},\&ForAll;i,j\&Element;N^P\left(i\right),i<j$

$\underset{i}{\&Sigma;}{x}_i^m=1$

$\underset{m\&Element;{\mathrm{VN}}_k}{\&Sigma;}{x}_i^m\&le;1$

$\underset{j\&Element;N^P\left(i\right)}{\&Sigma;}(y_{ij}^{mn}-y_{ji}^{mn})\&le;x_i^m-x_i^n,\&ForAll;m,n\&Element;N^V\left(m\right),m<n$

$\underset{m}{\&Sigma;}{x}_i^m\&times;C_m^V\&le;C^{P_i}$

$\underset{m}{\&Sigma;}{x}_i^m\&times;M_m^V\&le;M^{P_i}$

$\underset{m,n\&Element;N^V\left(m\right),m<n}{\&Sigma;}{B}_{mn}^V\&times;(y_{ij}^{mn}+y_{ji}^{mn})\&le;B_{ij}^P,\&ForAll;i,j\&Element;N^P\left(i\right),i<j$

$\underset{m}{\&Sigma;}{x}_i^m\&times;F_m^V\&le;F_i^P$

其中均为决策变量，若虚拟节点m与物理节点i为同一节点则反之则若虚拟链路(m,n)使用物理链路(i,j)进行数据传输则反之则 为物理内存空间利用率，为计算资源利用率，为云服务系统的带宽资源利用率，为当前可用计算资源，为云服务系统的全局计算资源，F为计算资源的处理速度，V为虚拟资源集合，i,j为物理节点标识，m,n为虚拟节点标识，P为物理资源集合，ε为权重系数。

第二步，建立物理节点数量优化模型，具体为：具体为

$\underset{i=1}{\overset{n}{\&Sigma;}}{x}_{ij}=1.$

第三步，建立单用户体验优化模型，具体为：具体为：

$\begin{array}{ccc}\max imize& W=\underset{i=1}{\overset{n}{\&Sigma;}}\underset{i=1}{\overset{r_{\max }}{\&Sigma;}}{w}_{ij}{x}_{ij}& with{x}_{ij}\&Element;\{0,1\}\end{array}$

$\begin{array}{ccc}subjectto& \underset{j=1}{\overset{r_{\max }}{\&Sigma;}}{x}_{ij}=1& \&ForAll;i=1,\mathrm{...},n\end{array}$

$\begin{array}{cc}\underset{i=1}{\overset{k}{\&Sigma;}}\underset{j=1}{\overset{r_{\max }}{\&Sigma;}}{S}_{ij}{x}_{ij}\&le;V\left(D_k\right)& \&ForAll;k=1,\mathrm{...},n\end{array}$

w_ij为数据片段i的表现形式j的QoE的权重因子，D_i为数据片段i的回放截止时间，i＝1,...,n，x_ij为决策变量，若用户从表现形式j下载数据片段i则x_ij＝1，反之则x_ij＝0，V(D_i)为截止时间D_i用户下载的最大数据量，R＝{1,...,r_max}为视频数据的表现形式，S_ij为以表现形式j呈现的数据片段i的大小。

本发明提出了一种云资源协同管理方法，通过建立资源利用优化模型、物理节点数量优化模型和单用户体验优化模型，实现云资源的高效协同管理。

Claims (5)

1.一种云资源协同管理方法，通过建立资源分配优化模型、资源使用优化模型和单用户体验优化模型，实现云资源的高效协同管理，包括如下步骤：

A、建立资源分配优化模型；

B、建立资源使用优化模型；

C、建立单用户体验优化模型。

2.根据权利要求1的方法，对于所述步骤A其特征在于：资源分配模型由资源控制单元、虚拟机监视器、虚拟机系统和资源负载状态感知单元以及传感单元组成，其中虚拟机监视器实现对物理资源的直接管理，并保证各虚拟主机在逻辑层面独立运行，虚拟机监视器通过资源控制单元的输出实现物理资源的动态分配；资源分配单元由预测器、判决单元和分配器组成，预测器基于历史时间节点的系统参数作为输入，并根据预测模型和规则，输出下一时间戳的资源负载特性，并将其作为资源分配单元的输入，资源分配单元根据预测器生成的预测结果和期望区间，确定资源分配规则和资源分配策略，并与经过传感器的初次分配信息联合输入至判决单元，判决单元根据人工设定的判决函数，对资源分配的初次结果进行验证和修正，并产生经过自适应修正的资源分配策略。

3.根据权利要求1的方法，对于所述步骤A其特征在于：优化模型具体为：

$\begin{array}{cc}\min & C_{max}^{load}+M_{max}^{load}+B_{max}^{load}+\mathrm{\&epsiv;}\&times;\underset{m,n\&Element;N^V\left(m\right),n<m}{\&Sigma;}{y}_{ij}^{mn}\&times;B_{mn}^V\end{array}$

$\begin{array}{cc}s.t.& \&ForAll;i:\frac{C_i^P+\underset{m}{\&Sigma;}{x}_i^m\&times;C_m^V}{C_i^P\left(0\right)}\&le;C_{max}^{load}\end{array}$

$\frac{M_i^P+\underset{m}{\&Sigma;}{x}_i^m\&times;M_m^V}{M_i^P\left(0\right)}\&le;M_{max}^{load}$

$\frac{B_{ij}^P+\underset{m,n\&Element;N^V\left(m\right)}{\&Sigma;}{y}_{ij}^{mn}\&times;B_{mn}^V}{B_{ij}^P\left(0\right)}\&le;B_{max}^{load},\&ForAll;i\&NotEqual;j$

$\underset{i}{\&Sigma;}{x}_i^m=1$

$\underset{m\&Element;{\mathrm{VN}}_k}{\&Sigma;}{x}_i^m\&le;1$

$\underset{j\&Element;N^P\left(i\right)}{\&Sigma;}(y_{ij}^{mn}-y_{ji}^{mn})\&le;x_i^m-x_i^n,\&ForAll;m,n\&Element;N^V\left(m\right),m<n$

$\underset{m}{\&Sigma;}{x}_i^m\&times;C_m^V\&le;C_i^P$

$\underset{m}{\&Sigma;}{x}_i^m\&times;M_m^V\&le;M_i^P$

$\underset{m<n}{\&Sigma;}{B}_{mn}^V\&times;(y_{ij}^{mn}+y_{ji}^{mn})\&le;B_{ij}^p,\&ForAll;i\&NotEqual;j$

其中均为决策变量，若虚拟节点m与物理节点i为同一节点则反之则若虚拟链路(m,n)使用物理链路(i,j)进行数据传输则反之则 为内存空间利用率，为计算资源利用率，为云服务系统的带宽资源利用率，为节点i可用物理计算资源，为云服务系统的全局计算资源，F为计算资源的处理速度，V为虚拟资源集合，i,j为物理节点标识，m,n为虚拟节点标识，P为物理资源集合，ε为权重系数，C^P为总的物理计算资源，为虚拟节点m所占用的虚拟资源，为节点i所占用的物理资源，为(m,n)使用虚拟资源时的所占用的带宽，为(i,j)使用物理资源时的所占用的带宽，为初始时刻节点i所占用的物理资源，为初始时刻使用物理资源时的所占用的带宽。

4.根据权利要求1的方法，对于所述步骤B其特征在于：具体为：

$\begin{array}{cc}\max & \frac{1}{3}\sqrt{\frac{1}{t}\underset{k=1}{\overset{t}{\&Sigma;}}{\left(c_{S_k}-\underset{l=1}{\overset{e}{\&Sigma;}}{c}_l{x}_{kl}\right)}^2}+\frac{1}{3}\sqrt{\frac{1}{t}\underset{k=1}{\overset{t}{\&Sigma;}}\left(m_{S_k}-\underset{l=1}{\overset{e}{\&Sigma;}}{m}_l{x}_{kl}\right)}+\frac{1}{3}\sqrt{\frac{1}{t}\underset{k=1}{\overset{t}{\&Sigma;}}{\left(d_{S_k}-\underset{l=1}{\overset{e}{\&Sigma;}}{d}_l{x}_{kl}\right)}^2}\end{array}$

$\begin{array}{cc}s.t.& \underset{l=1}{\overset{e}{\&Sigma;}}{c}_l{x}_{kl}\&le;c_{S_k},k=\{1,\mathrm{...},t\},l=\{1,\mathrm{...},e\}\end{array}$

$\underset{l=1}{\overset{e}{\&Sigma;}}{m}_l{x}_{kl}\&le;m_{S_k},k=\{1,\mathrm{...},t\},l=\{1,\mathrm{...},e\}$

$\underset{l=1}{\overset{e}{\&Sigma;}}{d}_l{x}_{kl}\&le;d_{S_k},k=\{1,\mathrm{...},t\},l=\{1,\mathrm{...},e\}$

$\underset{k=1}{\overset{t}{\&Sigma;}}{x}_{kl}=1$

其中c_l为任务l计算代价，m_l为任务l的传输资源使用代价，d_l为任务l的存储资源使用代价，为分配给用户k的计算代价，为分配给用户k的传输资源使用代价，为分配给用户k的存储资源使用代价，t为用户数，e为任务数，x_kl为用户k使用任务l的权重系数。

5.根据权利要求1的方法，对于所述步骤C其特征在于：具体为：

$\begin{array}{ccc}\max & \underset{q=1}{\overset{\mathrm{\&eta;}}{\&Sigma;}}\underset{r=1}{\overset{r_{\max }}{\&Sigma;}}{w}_{qr}{x}_{qr}& x_{qr}\&Element;\{0,1\}\\ s.t.& \underset{r=1}{\overset{r_{\max }}{\&Sigma;}}{x}_{qr}=1& \&ForAll;q=1,\mathrm{...},\mathrm{\&eta;}\\ & \underset{q=1}{\overset{\mathrm{\&omega;}}{\&Sigma;}}\underset{r=1}{\overset{r_{\max }}{\&Sigma;}}{S}_{qr}{x}_{qr}\&le;V\left(D_q\right)& \&ForAll;\mathrm{\&omega;}=1,\mathrm{...},\mathrm{\&eta;}\end{array},$

其中w_qr为数据块q在传输场景r的QoE的权重因子，D_q为数据块q的回放调度截止时间，x_qr为决策变量，若用户在传输场景r下载数据块q则x_qr＝1，反之则x_qr＝0，V(D_q)为截止时间D_q内用户下载的最大数据量，R为传输场景集合，S_qr为以传输场景r下的数据块q的大小，r_max为传输场景数目，在不同的传输场景传输的第q个数据块大小可能会发生变化，η为数据块数目，ω为动态数据块需求。