CN106357800A - 一种基于QoE的云计算服务架构 - Google Patents

Abstract

本发明针对云计算系统条件下满足高QoE的业务管理效能难以实现问题，提供一种基于QoE的云计算服务模型、基于QoE的云计算服务流程和数据中心能量管理优化模型，满足用户高QoE条件下云计算的传输与处理能力。

Description

一种基于QoE的云计算服务架构

技术领域

本发明涉及云计算技术领域，特别是涉及业务调度，以及通信网络。

背景技术

云计算是并行计算、分布式计算和网格计算的延伸和发展,它通过对虚拟化技术、任务调度、负载均衡和分布式存储等技术的融合和利用,使得云内的所有资源整合为一个庞大的资源池共同执行计算和存储等任务,避免个人计算机或者小型数据中心的性能瓶颈,解决了如何对大数据快速计算和合理存储的问题。自云计算的概念提出至今,在谷歌(Google)、IBM、亚马逊(Amazon)和微软(Microsoft)等国际知名厂商的大力推动下,云计算已经得到了广泛的普及和认可,越来越多的云产品应用到了实际生活中。可以说,云计算的成功发展是各大企业的宣传和推动的结果,所以云计算本身带有明显的商业烙印。

因此,云计算是一种新型的商业计算模式,是并行计算、分布式计算和网格汁算等技术的商业实现,它把系统内各种不同类型的物理机和虚拟机等异构资源整合为若干虚拟资源池,采用按需分配的思想把资源池内的计算资源、存储空间和网络带宽等资源分配给不同需求的用户,为用户提供不同类型的服务。

云计算使得系统的资源管理和用户的业务处理相互独立,云平台和云用户可以协同运行,互不干涉。通过这种方式,用户无需关心资源管理和部署的具体过程,只需在有资源需求时向云平台提出请求,业务处理完成后还需将资源返还给云平台,从而节省购买、维护硬件和软件资源的成本,并不必担心节点的过载和资源的失效等情况,把更多的精力投入到应用的开发和优化上面。而云平台采用合理的资源管现和调度策略,通过专门的软件模块实现云内资源的自动管理和动态部署,同时为大量用户提供不同类型的资源,并可在用户请求结束后回收这些资源捉供给其他用户使用,从而能够提高资源的利用效能,避免资源浪费。并且云内近无限的计算和存储能力可以提高对任务的执行效率,保证服务的可靠性，云计算的体系结构如图1所示。

面对云计算的自治性、分布性、扩展性、异构性和按需服务等特点,以往的资源管理和调度方法难以满足用户体验需求。而资源的管理和调度技术的优劣直接决定了云平台所能提供的服务质量,是决定云计算性能的要因素。

因此，为满足用户的体验需求，需建立高性能云计算服务架构。

发明内容

本发明所要解决的技术问题是：解决基于QoE(Quality of Experience)的业务调度效能提升问题，通过云资源的高效调度，如图2所示，满足用户高QoE条件下云计算的传输与处理能力。

本发明为解决上述技术问题所采用的技术方案包括以下步骤，如图3所示：

A、建立基于QoE的云计算服务模型；

B、建立基于QoE的云计算服务流程；

C、建立数据中心能量管理优化模型。

所述步骤A中，基于QoE的云计算服务模型由中央调度器、数据中心资源管理单元、光纤，服务管理控制单元、多个计算和存储单元组成，其中数据中心资源管理单元主要由本地调度器、QoE估计单元和绿色能源估计单元组成，每一个计算和存储单元具有相应的数据中心资源管理单元，其用于对计算和存储资源、能量分配和QoE的协同管理和调节，中央调度器用于实现数据中心资源管理单元间的统一协同工作，如图4所示。

所述步骤B中，基于QoE的云计算服务流程具体为：服务管理控制单元包括服务周期循环操作与控制单元、服务逻辑规划单元、云服务资源发现与分配单元、基于云服务的架构部署设置单元、虚拟服务池、云服务定义与操作单元、数据分析单元、数据和服务管理单元、服务逻辑规划单元以及流数据处理单元，其中服务周期循环操作与控制单元包含服务周期循环规则管理单元和管理引擎，云服务资源发现与分配单元包含资源自适应优化分配单元和虚拟网络架构管理单元，云服务定义与操作单元包含虚拟服务与实体服务映射转化单元和服务请求单元，数据分析单元包含模糊控制单元、数据文档和分类和归一化处理单元，数据和服务管理单元包含数据修正引擎和日志文档管理单元，如图5所示。

所述步骤B中，一方面，首先服务请求单元接收用户的服务请求，并将其传递至数据分析单元，数据分析单元中的模糊控制单元通过相应的规则将数据文档进行预处理，然后进行分类和归一化处理，并且其通过日志文档管理单元传递至数据修正引擎，数据修正引擎将修正调节参数和被处理后的数据传递至管理引擎，另一方面，服务周期循环操作与控制单元通过服务逻辑规划单元将动态管理信息传递至云服务资源发现与分配单元，其中服务逻辑规划单元用于云服务进程的动态分配与调整，云服务资源发现与分配单元根据动态管理信息，并通过QoE优化保障单元提供的相关参数信息对虚拟服务池中的服务资源进行搜寻与分配，随之通过虚拟服务与实体服务映射转化单元实现虚拟服务资源与实体服务资源的实时转化。

所述步骤C中，采用如下优化模型来实现：

$\begin{array}{cc}min& \underset{d\∈D}{\Σ}{c}_d.\underset{k\∈K\left(d\right)}{\Σ}{p}_{dk}\·y_{dk}+\underset{e\∈E}{\Σ}{c}_e\·z_e\end{array}$

$\begin{array}{ccc}s.t.& \frac{1}{\underset{l\∈L}{\Σ}{\mathrm{nl}}_l}\·\underset{l\∈L}{\Σ}\underset{d\∈D}{\Σ}{\mathrm{nl}}_l\·q_{ld}\·x_{vd}\≤{\mathrm{th}}_v,& v\∈V\end{array},$

$\begin{array}{cc}\underset{d\∈D}{\Σ}{x}_{vd}=1,& \∀v\∈V\end{array},$

$\begin{array}{cc}ns\·{\mathrm{\γ}}_d\≥\underset{v\∈V}{\Σ}{\mathrm{nc}}_v\·x_{vd},& \∀d\∈D\end{array},$

$\begin{array}{cc}{\mathrm{\ρ}}_d{M}^2\≥4{\mathrm{\γ}}_d,& \∀d\∈D\end{array},$

$\begin{array}{cc}{b}_d={\mathrm{PUE}}_d(\frac{M^2}{4}{w}_{care}+\frac{M}{2}(w_{agg}+w_{edge}){\mathrm{\ρ}}_d+w_{sever-mac}\·y_d+w_{sever-idlle}\·(\frac{M^2}{4}{\mathrm{\ρ}}_d-{\mathrm{\γ}}_d\left)\right),& \∀d\∈D\end{array}$

$\begin{array}{cc}{y}_{dk}\≥b_d-g_{dk},& \∀d\∈D,k\∈K\left(d\right)\end{array},$

$\begin{array}{cc}{z}_e=(d_1,d_2)=\underset{v\∈V\left(d_1\right)}{\Σ}{u}_v\·x_{vd2},& \∀d_1,d_2\∈D,d_1\≠d_2\end{array},$

$\begin{array}{cc}{z}_e\≤u_e,& \∀e\∈E\end{array}$

其中D为数据中心集合，d∈D为数据中心标识，E为光纤链路集合，e∈E为光纤链路标识，V为虚拟机集合，v∈V为虚拟机标识，V(d)为数据中心d的虚拟机集合，L为客户端位置集合，l为客户端位置标识，K(d)为数据中心d处于工作状态的概率场景集合，q_ld为位置l中的用户对数据中心d的QoE评价值，nl_l为位置l中的用户数，th_v为用于保障用户接入虚拟机的平均QoE门限值，M为每一个数据中心的计算单元数量，ns为每一个服务器的处理器单元数目，u_v为GB数据量所需的虚拟机v的规模，nc_v为虚拟机v的处理器单元数目，u_e为链路e的容量，c_e为使用链路e传输每一GB数据所需的使用代价，c_d为数据中心d每千瓦时所消耗的能量，g_dk为在概率场景k时数据中心d的可用绿色能源，p_dk为数据中心处于运行场景k的概率，x_vd为决策变量，若虚拟机v处于数据中心d则x_vd＝1，反之则x_vd＝0，y_dk为在概率场景k时数据中心d的能量消耗，z_e为光纤链路e中的流量，z_e为正整数，ρ_d为数据中心d中的计算单元切换系数，其为正整数，b_d为数据中心d的总体能量消耗，PUE_d为数据中心d的能量使用效能。

附图说明

图1云计算系统的体系结构示意图

图2云服务资源的调度流程示意图

图3基于QoE的云计算服务架构获取示意图

图4基于QoE的云计算服务模型

图5基于QoE的云计算服务流程示意图

具体实施方式

为达到上述目的，本发明的技术方案如下：

第一步，建立基于QoE的云计算服务模型，基于QoE的云计算服务模型由中央调度器、数据中心资源管理单元、光纤，服务管理控制单元、多个计算和存储单元组成，其中数据中心资源管理单元主要由本地调度器、QoE估计单元和绿色能源估计单元组成，每一个计算和存储单元具有相应的数据中心资源管理单元，其用于对计算和存储资源、能量分配和QoE的协同管理和调节，中央调度器用于实现数据中心资源管理单元间的统一协同工作。

第二步，基于QoE的云计算服务流程具体为：服务管理控制单元包括服务周期循环操作与控制单元、服务逻辑规划单元、云服务资源发现与分配单元、基于云服务的架构部署设置单元、虚拟服务池、云服务定义与操作单元、数据分析单元、数据和服务管理单元、服务逻辑规划单元以及流数据处理单元，其中服务周期循环操作与控制单元包含服务周期循环规则管理单元和管理引擎，云服务资源发现与分配单元包含资源自适应优化分配单元和虚拟网络架构管理单元，云服务定义与操作单元包含虚拟服务与实体服务映射转化单元和服务请求单元，数据分析单元包含模糊控制单元、数据文档和分类和归一化处理单元，数据和服务管理单元包含数据修正引擎和日志文档管理单元；一方面，首先服务请求单元接收用户的服务请求，并将其传递至数据分析单元，数据分析单元中的模糊控制单元通过相应的规则将数据文档进行预处理，然后进行分类和归一化处理，并且其通过日志文档管理单元传递至数据修正引擎，数据修正引擎将修正调节参数和被处理后的数据传递至管理引擎，另一方面，服务周期循环操作与控制单元通过服务逻辑规划单元将动态管理信息传递至云服务资源发现与分配单元，其中服务逻辑规划单元用于云服务进程的动态分配与调整，云服务资源发现与分配单元根据动态管理信息，并通过QoE优化保障单元提供的相关参数信息对虚拟服务池中的服务资源进行搜寻与分配，随之通过虚拟服务与实体服务映射转化单元实现虚拟服务资源与实体服务资源的实时转化。

第三步，建立数据中心能量管理优化模型，采用如下优化模型来实现：

$\begin{array}{cc}min& \underset{d\∈D}{\Σ}{c}_d.\underset{k\∈K\left(d\right)}{\Σ}{p}_{dk}\·y_{dk}+\underset{e\∈E}{\Σ}{c}_e\·z_e\end{array}$

$\begin{array}{cc}s.t.& \frac{1}{\underset{l\∈L}{\Σ}{\mathrm{nl}}_l}\·\underset{l\∈L}{\Σ}\underset{d\∈D}{\Σ}{\mathrm{nl}}_l\·q_{ld}\·x_{vd}\≤{\mathrm{th}}_v,v\∈V\end{array},$

$\begin{array}{cc}\underset{d\∈D}{\Σ}{x}_{vd}=1,& \∀v\∈V\end{array},$

$\begin{array}{cc}ns\·{\mathrm{\γ}}_d\≥\underset{v\∈V}{\Σ}{\mathrm{nc}}_v\·x_{vd},& \∀d\∈D\end{array},$

$\begin{array}{cc}{\mathrm{\ρ}}_d{M}^2\≥4{\mathrm{\γ}}_d,& \∀d\∈D\end{array},$

$\begin{array}{cc}{b}_d={\mathrm{PUE}}_d(\frac{M^2}{4}{w}_{care}+\frac{M}{2}(w_{agg}+w_{edge}){\mathrm{\ρ}}_d+w_{sever-mac}\·y_d+w_{sever-idlle}\·(\frac{M^2}{4}{\mathrm{\ρ}}_d-{\mathrm{\γ}}_d\left)\right),& \∀d\∈D\end{array}$

$\begin{array}{cc}{y}_{dk}\≥b_d-g_{dk},& \∀d\∈D,k\∈K\left(d\right)\end{array},$

$\begin{array}{cc}{z}_e=(d_1,d_2)=\underset{v\∈V\left(d_1\right)}{\Σ}{u}_v\·x_{vd2},& \∀d_1,d_2\∈D,d_1\≠d_2\end{array},$

$\begin{array}{cc}{z}_e\≤u_e,& \∀e\∈E\end{array}$

其中D为数据中心集合，d∈D为数据中心标识，E为光纤链路集合，e∈E为光纤链路标识，V为虚拟机集合，v∈V为虚拟机标识，V(d)为数据中心d的虚拟机集合，L为客户端位置集合，l为客户端位置标识，K(d)为数据中心d处于工作状态的概率场景集合，q_ld为位置l中的用户对数据中心d的QoE评价值，nl_l为位置l中的用户数，th_v为用于保障用户接入虚拟机的平均QoE门限值，M为每一个数据中心的计算单元数量，ns为每一个服务器的处理器单元数目，u_v为GB数据量所需的虚拟机v的规模，nc_v为虚拟机v的处理器单元数目，u_e为链路e的容量，c_e为使用链路e传输每一GB数据所需的使用代价，c_d为数据中心d每千瓦时所消耗的能量，g_dk为在概率场景k时数据中心d的可用绿色能源，p_dk为数据中心处于运行场景k的概率，x_vd为决策变量，若虚拟机v处于数据中心d则x_vd＝1，反之则x_vd＝0，y_dk为在概率场景k时数据中心d的能量消耗，z_e为光纤链路e中的流量，z_e为正整数，ρ_d为数据中心d中的计算单元切换系数，其为正整数，b_d为数据中心d的总体能量消耗，PUE_d为数据中心d的能量使用效能。

本发明提出了一种大数据移动网络端口的业务优化调度方法，通过建立基于QoE的云计算服务模型、基于QoE的云计算服务流程和数据中心能量管理优化模型，解决了基于QoE(Quality of Experience)的业务调度效能提升问题，满足用户高QoE条件下云计算的传输与处理能力。

Claims (5)

1.一种基于QoE的云计算服务架构，通过采用高效业务处理引擎架构模型和建立邻近节点传输时延与功率优化均衡机制，实现云计算中业务的高效、安全汇聚与传输，包括如下步骤：

A、建立基于QoE的云计算服务模型；

B、建立基于QoE的云计算服务流程；

C、建立数据中心能量管理优化模型。

2.根据权利要求1的方法，对于所述步骤A其特征在于：基于QoE的云计算服务模型由中央调度器、数据中心资源管理单元、光纤，服务管理控制单元、多个计算和存储单元组成，其中数据中心资源管理单元主要由本地调度器、QoE估计单元和绿色能源估计单元组成，每一个计算和存储单元具有相应的数据中心资源管理单元，其用于对计算和存储资源、能量分配和QoE的协同管理和调节，中央调度器用于实现数据中心资源管理单元间的统一协同工作。

3.根据权利要求1的方法，对于所述步骤B其特征在于：基于QoE的云计算服务流程具体为：服务管理控制单元包括服务周期循环操作与控制单元、服务逻辑规划单元、云服务资源发现与分配单元、基于云服务的架构部署设置单元、虚拟服务池、云服务定义与操作单元、数据分析单元、数据和服务管理单元、服务逻辑规划单元以及流数据处理单元，其中服务周期循环操作与控制单元包含服务周期循环规则管理单元和管理引擎，云服务资源发现与分配单元包含资源自适应优化分配单元和虚拟网络架构管理单元，云服务定义与操作单元包含虚拟服务与实体服务映射转化单元和服务请求单元，数据分析单元包含模糊控制单元、数据文档和分类和归一化处理单元，数据和服务管理单元包含数据修正引擎和日志文档管理单元。

4.根据权利要求1的方法，对于所述步骤B其特征在于：一方面，首先服务请求单元接收用户的服务请求，并将其传递至数据分析单元，数据分析单元中的模糊控制单元通过相应的规则将数据文档进行预处理，然后进行分类和归一化处理，并且其通过日志文档管理单元传递至数据修正引擎，数据修正引擎将修正调节参数和被处理后的数据传递至管理引擎，另一方面，服务周期循环操作与控制单元通过服务逻辑规划单元将动态管理信息传递至云服务资源发现与分配单元，其中服务逻辑规划单元用于云服务进程的动态分配与调整，云服务资源发现与分配单元根据动态管理信息，并通过QoE优化保障单元提供的相关参数信息对虚拟服务池中的服务资源进行搜寻与分配，随之通过虚拟服务与实体服务映射转化单元实现虚拟服务资源与实体服务资源的实时转化。

5.根据权利要求1的方法，对于所述步骤C其特征在于：采用如下优化模型来实现：

$\begin{array}{cc}min& \underset{d\∈D}{\Σ}{c}_d\·\underset{k\∈K\left(d\right)}{\Σ}{p}_{dk}\·y_{dk}+\underset{e\∈E}{\Σ}{c}_e\·z_e\end{array}$

$\begin{array}{cc}s.t.& \frac{1}{\underset{l\∈L}{\Σ}{\mathrm{nl}}_l}\·\underset{l\∈L}{\Σ}\underset{d\∈D}{\Σ}{\mathrm{nl}}_l\·q_{ld}\·x_{vd}\≤{\mathrm{th}}_v,v\∈V\end{array},$

$\underset{d\∈D}{\Σ}{x}_{vd}=1,\∀v\∈V,$

$ns\·{\mathrm{\γ}}_d\≥\underset{v\∈V}{\Σ}{\mathrm{nc}}_v\·x_{vd},\∀d\∈D,$

${\mathrm{\ρ}}_d{M}^2\≥4{\mathrm{\γ}}_d,\∀d\∈D,$

$b_d={\mathrm{PUE}}_d(\frac{M^2}{4}{w}_{core}+\frac{M}{2}(w_{agg}+w_{edge}){\mathrm{\ρ}}_d+w_{sever-\max }\·y_d+w_{sever-idle}\·(\frac{M^2}{2}{\mathrm{\ρ}}_d{\mathrm{\γ}}_d\left)\right),\∀d\∈D$

$y_{dk}\≥b_d-g_{dk},\∀d\∈D,k\∈K\left(d\right),$

$z_e=(d_1,d_2)=\underset{v\∈V\left(d_1\right)}{\Σ}{u}_v\·x_{vd2},\∀d_1,d_2\∈D,d_1\≠d_2,$

$z_e\≤u_e,\∀e\∈E$

其中D为数据中心集合，d∈D为数据中心标识，E为光纤链路集合，e∈E为光纤链路标识，V为虚拟机集合，v∈V为虚拟机标识，V(d)为数据中心d的虚拟机集合，L为客户端位置集合，l为客户端位置标识，K(d)为数据中心d处于工作状态的概率场景集合，q_ld为位置l中的用户对数据中心d的QoE评价值，nl_l为位置l中的用户数，th_v为用于保障用户接入虚拟机的平均QoE门限值，M为每一个数据中心的计算单元数量，ns为每一个服务器的处理器单元数目，u_v为GB数据量所需的虚拟机v的规模，nc_v为虚拟机v的处理器单元数目，u_e为链路e的容量，c_e为使用链路e传输每一GB数据所需的使用代价，c_d为数据中心d每千瓦时所消耗的能量，g_dk为在概率场景k时数据中心d的可用绿色能源，p_dk为数据中心处于运行场景k的概率，x_vd为决策变量，若虚拟机v处于数据中心d则x_vd＝1，反之则x_vd＝0，y_dk为在概率场景k时数据中心d的能量消耗，z_e为光纤链路e中的流量，z_e为正整数，ρ_d为数据中心d中的计算单元切换系数，其为正整数，b_d为数据中心d的总体能量消耗，PUE_d为数据中心d的能量使用效能。