CN106713055A - 一种虚拟cdn的节能部署方法 - Google Patents

Abstract

本发明公开了一种虚拟CDN的节能部署方法，根据虚拟CDN历史流量数据和控制器中的预测模型(ARIMA)预测下一时间段内的网络峰值流量，然后根据峰值流量计算下一时刻虚拟CDN系统规模。同时增加几台冗余服务器以纠正预测误差。通过负载均衡器将网络流量聚合到控制器计算所需的虚拟服务器下。如此，可以增加虚拟CDN系统的利用率，节省了因CDN系统利用率较高而消耗的能量。

Description

一种虚拟CDN的节能部署方法

技术领域

本发明属于网络功能虚拟化技术领域，更为具体地讲，涉及一种虚拟CDN的节能部署方法。

背景技术

世界上的大型分布式系统通常由成千上百的部署在数据中心的服务器所组成。这些系统作为基础设施可以有效的支撑电子商务、网络新闻以及社交网络等业务。但是由于分布式系统中存在的大量服务器使得分布式系统的能量消耗也是非常巨大的。同时，巨大的能量消耗也增加了全球的碳排放，对环境造成了破坏。根据相关研究，一个由100000台服务器组成的大型分布式网络一年的能量消耗可为190000MWH。这些能量相当于十万个家庭一年的消耗量。

内容分发网络CDN是大型分布式系统的典型代表。CDN网络的首要目的是通过将内容从远端服务器迁移到离终端用户较近的副本服务器上以提高网络性能。传统的CDN网络，例如Akamai，由上万台被部署在世界各地数据中心中的服务器所组成。通常传统的CDN网络中的服务器由防火墙、服务器、路由器、内容网关等所组成。这些部件冗余的组合在一起以满足网络的峰值流量，提高用户的服务体验。但研究显示，为了满足峰值流量而设计的CDN部件在非峰值的情况下平均负载率只有40％-60％。而传统的CDN部件通常是由专门的硬件设备所构成，这些专用的硬件的能耗是惊人的且硬件设备规模的动态变化是非常不便的。而在网络功能虚拟化环境下，CDN网络部件可以由专用的设备软件部署在通用的硬件服务器上，因此可以较容易的通过控制中心来动态调整软件的个数以适应动态变化的流量，达到节能的目的。

对于网络流量预测问题，现有的研究很多。其中有一种叫做BP神经网络的网络流量预测方法。BP神经网络是仿生学或者人工智能方法。BP神经网络分为两个过程：(1)工作信号正向传递过程；(2)误差信号反向传递过程。在BP神经网络中，单个样本有m个输入，有n个输出，在输入层和输出层之间通常还有若干个隐含层。在1989年Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近。所以一个三层的BP神经网络(输入层、隐含层和输出层)就可以完成任意的m维到n维的影射。对应到时间序列预测就有任意连续m个历史平均流量数据影射成接下来的n个时间段内的平均流量数据，因此可以应用BP神经网络预测网络流量。然而该技术存在如下缺点：

(1)、BP神经网络的复杂度较大，收敛时间较长。

(2)、预测的结果为下一时间段内的平均流量，以此为参照决定CDN规模可能导致无法有效的服务时间段内的超出平均值时刻的流量。

(3)、就BP神经网络算法本身来说，隐含层的选取缺乏理论指导，训练时学习新样本有遗忘旧样本的趋势。

在CDN节能方案中，有关研究直接将上一时间段的网络平均流量作为直接参考来决定接下一时段的网络规模，同时加冗余的服务器以预防因峰值流量而导致的服务器拥塞，在决定网络规模的过程中，使用服务器非满载容量作为判断的一种依据，目的同样是增加冗余容量以应对突发的高峰流量。该技术同样存在如下缺点：

(1)、虽然将前一个时段的网络流量作为依据可以在一定程度上预测网络流量，但误差较大。

(2)、方案中的冗余设计在一定程度上增加了CDN的能耗。

发明内容

本发明的目的在于克服现有技术的不足，提供一种虚拟CDN的节能部署方法，根据网络流量的变化来动态调整虚拟CDN系统的规模。

为实现上述发明目的，本发明一种虚拟CDN的节能部署方法，其特征在于，包括以下步骤：

(1)、历史流量数据的处理

首先获取一段时间T的历史流量数据，然后以时间t为一个时间片，t＜＜T，求得历史流量数据在时间片内的平均值，得到一个时间序列；

以时间序列中每k个值为一组，求每组内的最大值，得到序列S,S＝ω₁,ω₂,...,ω_n；

(2)、预测序列ω_n+1的值

根据序列S，利用ARIMA(p,d,q)预测模型预测序列ω_n+1的值，其中，d为差分阶数，p和q为模型参数；

(2.1)、获取d阶差分后的序列

利用EVIEWS软件确定ARIMA(p,d,q)预测模型的差分阶数d：从0阶开始递增，依次判断差分后的序列是否是平稳的，如果平稳，则停止后续判断且使得差分阶数d为当前阶数值；

d阶差分后的序列表示为：S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d；

其中，D(ω_i)^d＝(1-Δ)^dω_i,1≤i≤n，Δ为差分算子，可如下递归使用：

Δω_i＝ω_i-ω_i-1

Δ²ω_i＝Δ(Δω_i)＝Δ(ω_i-ω_i-1)＝ω_i-2ω_i-1+ω_i-2

(2.2)、确定参数p和q

根据d阶差分后的序列S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d的自相关序列和偏自相关序列组；

定义两倍置信区间，判断自相关和偏自相关的序列值在何下标处落在两倍置信区间内来确定参数p和q的值；

(2.3)、预测差分值D(ω_n+1)^d

D(ω_n+1)^d＝ζ₁D(ω_n)^d+ζ₂D(ω_n-1)^d+,...,ζ_pD(ω_n-p+1)^d

+ο_n+1+κ₁ο_n+κ₂ο_n-1+,...,κ_qο_n-q+1

其中，其中ζ₁,...,ζ_p和κ₁,...,κ_q为模型参数；ο_n为在n时刻的随机误差，ο_n满足独立高斯分布，具有零均值；

(2.4)、将步骤(2.1)中的差分公式修改为：D(ω_n+1)^d＝(1-Δ)^dω_n+1，再结合预测差分值反推出序列ω_n+1的值；

(3)、确定虚拟CDN系统规模

(3.1)、利用如下公式计算虚拟CDN系统规模

其中，PC表示单个软件功能容许的最大流量；λ为最大流量的百分数，λ的取值为：0＜λ≤1，λ用来限制单个软件功能的流量不得超过最大值的λ倍；num_n+1表示下一时刻的网络功能个数，即虚拟CDN系统规模；表示向上取整；

(3.2)、增加冗余服务器

设每个通用服务器可以装载m个软件化的网络功能，则下一时刻所需的通用服务器个数为

定义M为最大可用的服务个数，μ，0≤μ＜1为最大值M的百分数，M*μ为冗余服务器的个数；

那么，最终打开的服务器个数为：

(4)、计算虚拟CDN系统的能耗

(4.1)、单台服务器的能量消耗为：

P(α)＝P_idle+(P_peak-P_idle)*α

其中，α，0≤α≤1为单台服务器的负载率；P_idle为空载的功率，P_peak为满载功率；

(4.2)、累加每台服务器的能耗得到虚拟CDN系统的能耗；

(5)、在当前时间段按照步骤(1)所述方法持续统计本时间段内的流量，得到当前时间段内的流量真实值，再通过流量真实值来修正预测序列ω_n+1，最后将修正后的序列ω_n+1加入到序列S的末尾，再返回到步骤(2.3)，重新开始下一个时段的预测及部署工作。

进一步的，所述的步骤(2.3)中，模型参数ζ₁,...,ζ_p和κ₁,...,κ_q的获得方法为：利用极大似然估计法估计模型参数；

假设差分序列S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d满足独立多元正太分布，令β＝(ζ₁，ζ₂，...,ζ_p，κ₁，κ₂，...，κ_n)^T及∑_n＝E(S^d(S^d)^T)＝Ωσ²，其中，Ω为序列S^d的协方差矩阵，σ²为常数方差；则S^d的似然函数为

两端同时取对数，得对数似然函数为：

对其求偏导，得到似然方程为：

其中，S(β)＝(S^d)^TΩ^-1S^d；

通过求解上述方程组，可得到未知模型参数的极大似然估计值。

本发明的发明目的是这样实现的：

本发明一种虚拟CDN的节能部署方法，

本发明一种虚拟CDN的节能部署方法，根据虚拟CDN历史流量数据和控制器中的预测模型(ARIMA)预测下一时间段内的网络峰值流量，然后根据峰值流量计算下一时刻虚拟CDN系统规模。同时增加几台冗余服务器以纠正预测误差。通过负载均衡器将网络流量聚合到控制器计算所需的虚拟服务器下。如此，可以增加虚拟CDN系统的利用率，节省了因CDN系统利用率较高而消耗的能量。

同时，本发明一种虚拟CDN的节能部署方法还具有以下有益效果：

(1)、应用于NFV环境下。本发明方法适用于NFV环境下的CDN网络，借助NFV技术带来的便利特性，使得CDN网络的部署变化更加方便快捷。

(2)、较高的服务质量。本发明通过预测时间段内的峰值流量以及增加冗余服务器在节能的同时保证虚拟CDN系统有能力处理突发的流量。

(3)、一种按需分配的范式。本发明根据网络流量的变化来动态调整虚拟CDN系统的规模，可以达到按需分配的理想化目标，这样可以节约资源。

(4)、节约虚拟CDN系统能量。因使用较为精准的预测算法使得可以提前调整虚拟CDN系统规模，聚合网络流量以保持虚拟CDN系统具有较高的负载率，关闭空载的服务器，这样可以节约网络流量。

附图说明

图1是本发明一种虚拟CDN的节能部署方法流程图；

图2是每五分钟的平均流量数据图；

图3是每小时内的最大流量数据图；

图4是差分后序列的自相关和偏自相关示意图；

图5是一阶差分序列示意图；

图6是预测序列ω_n+1的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种虚拟CDN的节能部署方法流程图。

在本实施例中，如图1所示，本发明一种虚拟CDN的节能部署方法，包括以下步骤：

S1、历史流量数据的处理

S1、历史流量数据的处理

为了保证虚拟CDN系统可以在时间段内提供峰值流量，首先根据网络流量历史数据得出多个小时内的的历史流量数据，然后以每5分钟为一个时间片，求得历史流量数据在时间片内的平均值，得到一个时间序列S'，如图2所示；

然后以时间序列S'中每12个值为一组，即求每组内的最大值得到序列S,S＝ω₁,ω₂,...,ω_n，如图3所示。

在本实施例中，选用5分钟为一个时间片是一个学术界及工业界使用的经典的值。时间片的值选取太大，不能够变现出流量的实时变化情况，而太小又受瞬时流量的突变干扰太大。

S2、预测序列ω_n+1的值

根据序列S，利用ARIMA(p,d,q)预测模型预测序列ω_n+1的值，其中，d为差分阶数，p和q为模型参数；

S2.1、获取d阶差分后的序列

利用EVIEWS软件确定ARIMA(p,d,q)预测模型的差分阶数d：从0阶(序列S)开始递增，依次判断差分后的序列是否是平稳的，如果平稳，则停止后续判断且使得差分阶数d为当前阶数值，在本实施例中，取d＝1；

d阶差分后的序列表示为：S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d；

其中，D(ω_i)^d＝(1-Δ)^dω_i,1≤i≤n，Δ可用如下递归得到：

Δω_i＝ω_i-1

Δ²ω_i＝Δ(Δω_i)＝Δ(ω_i-1)＝ω_i-2

S2.2、确定参数p和q

根据d阶差分后的序列S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d得到自相关序列和偏自相关序列组，其中，自相关序列和偏自相关序列的值在0到1范围内，且随着序列下标值增大，自相关和偏自相关的序列值是呈整体衰减到0的。

定义两倍置信区间为[0,0.05],判断自相关和偏自相关的序列值在何下标处落在两倍置信区间内来确定参数p和q的值；

在本实施例中，差分后序列的自相关和偏自相关如图4所示，其中autocorrelation为自相关的意思，Partial Correlation为偏自相关。从图中，我们可以看出，p＝1，q可以取2或者3。通过权证，q取2预测误差更小，因此最红确定p＝1，q＝2。

S2.3、预测差分值D(ω_n+1)^d

D(ω_n+1)^d＝ζ₁D(ω_n)^d+ζ₂D(ω_n-1)^d+,...,ζ_pD(ω_n-p+1)^d

+ο_n+1+κ₁ο_n+κ₂ο_n-1+,...,κ_qο_n-q+1

其中，ζ₁,...,ζ_p和κ₁,...,κ_q为模型参数；ο_n为在n时刻的随机误差，ο_n满足独立高斯分布，具有零均值；

其中，利用极大似然估计法估计模型参数ζ₁,...,ζ_p和κ₁,...,κ_q的方法为：

假设差分序列S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d满足独立多元正太分布，令β＝(ζ₁，ζ₂，...,ζ_p，κ₁，κ₂，...，κ_n)^T及Σ_n＝E(S^d(S^d)^T)＝Ωσ²，其中，Ω为序列S^d的协方差矩阵，σ²为常数方差；则S^d的似然函数为

两端同时取对数，得对数似然函数为：

对其求偏导，得到似然方程为：

其中，S(β)＝(S^d)^TΩ^-1S^d；

通过求解上述方程组，可得到未知模型参数的极大似然估计值。

S2.4、将步骤S2.1中的差分公式修改为：D(ω_n+1)^d＝(1-Δ)^dω_n+1，再结合预测差分值反推出序列ω_n+1的值；其中，一阶差分序列如图5所示，由图可以看到，序列在零值附近来回震荡，因此均值为0，是平稳序列。所以一阶差分后的序列可以用于模型预测，最后通过EVIEWS软件，求得如图6所示的测序列ω_n+1：

S3、确定虚拟CDN系统规模

S3.1、利用如下公式计算虚拟CDN系统规模

其中，PC表示单个软件功能容许的最大流量；λ为最大流量的百分数，λ的取值为：0＜λ≤1，λ用来限制单个软件功能的流量不得超过最大值的λ倍；num_n+1表示下一时刻的网络功能个数，即虚拟CDN系统规模；表示向上取整；

S3.2、增加冗余服务器

设每个通用服务器可以装载m个软件化的网络功能，则下一时刻所需的通用服务器个数为

定义M为最大可用的服务个数，μ，0≤μ＜1为最大值M的百分数，M*μ为冗余服务器的个数；

那么，最终打开的服务器个数为：

S4、计算虚拟CDN系统的能耗

S4.1、单台服务器的能量消耗为：

P(α)＝P_idle+(P_peak-P_idle)*α

其中，α，0≤α≤1为单台服务器的负载率；P_idle为空载的功率，P_peak为满载功率；

S4.2、累加每台服务器的能耗得到虚拟CDN系统的能耗。

S5、在当前时间段按照步骤S1所述方法持续统计本时间段内的流量，得到当前时间段内的流量真实值，再通过流量真实值来修正预测序列ω_n+1，最后将修正后的序列ω_n+1加入到序列S的末尾，再返回到步骤S2.3，重新开始下一个时段的预测及部署工作。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种虚拟CDN的节能部署方法，其特征在于，包括以下步骤：

(1)、历史流量数据的处理

首先获取一段时间T的历史流量数据，然后以时间t为一个时间片，t＜＜T，求得历史流量数据在时间片内的平均值，得到一个时间序列；

以时间序列中每k个值为一组，求每组内的最大值，得到序列S,S＝ω₁,ω₂,...,ω_n；

(2)、预测序列ω_n+1的值

根据序列S，利用ARIMA(p,d,q)预测模型预测序列ω_n+1的值，其中，d为差分阶数，p和q为模型参数；

(2.1)、获取d阶差分后的序列

利用EVIEWS软件确定ARIMA(p,d,q)预测模型的差分阶数d：从0阶开始递增，依次判断差分后的序列是否是平稳的，如果平稳，则停止后续判断且使得差分阶数d为当前阶数值；

d阶差分后的序列表示为：S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d；

其中，D(ω_i)^d＝(1-Δ)^dω_i,1≤i≤n，Δ为差分算子，可如下递归使用：

Δω_i＝ω_i-ω_i-1

Δ²ω_i＝Δ(Δω_i)＝Δ(ω_i-ω_i-1)＝ω_i-2ω_i-1+ω_i-2

(2.2)、确定参数p和q

根据d阶差分后的序列S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d的自相关序列和偏自相关序列组；

定义两倍置信区间，判断自相关和偏自相关的序列值在何下标处落在两倍置信区间内来确定参数p和q的值；

(2.3)、预测差分值D(ω_n+1)^d

D(ω_n+1)^d＝ζ₁D(ω_n)^d+ζ₂D(ω_n-1)^d+,...,ζ_pD(ω_n-p+1)^d

+ο_n+1+κ₁ο_n+κ₂ο_n-1+,...,κ_qο_n-q+1

其中，其中ζ₁,...,ζ_p和κ₁,...,κ_q为模型参数；ο_n为在n时刻的随机误差，ο_n满足独立高斯分布，具有零均值；

(2.4)、将步骤(2.1)中的差分公式修改为：D(ω_n+1)^d＝(1-Δ)^dω_n+1，再结合预测差分值反推出序列ω_n+1的值。

(3)、确定虚拟CDN系统规模

(3.1)、利用如下公式计算虚拟CDN系统规模

其中，PC表示单个软件功能容许的最大流量；λ为最大流量的百分数，λ的取值为：0＜λ≤1，λ用来限制单个软件功能的流量流量不得超过最大值的λ倍；num_n+1表示下一时刻的网络功能个数，即虚拟CDN系统规模；表示向上取整；

(3.2)、增加冗余服务器

设每个通用服务器可以装载m个软件化的网络功能，则下一时刻所需的通用服务器个数为

定义M为最大可用的服务个数，μ，0≤μ＜1为最大值M的百分数，M*μ为冗余服务器的个数；

那么，最终打开的服务器个数为：

(4)、计算虚拟CDN系统的能耗

(4.1)、单台服务器的能量消耗为：

P(α)＝P_idle+(P_peak-P_idle)*α

其中，α，0≤α≤1为单台服务器的负载率；P_idle为空载的功率，P_peak为满载功率；

(4.2)、累加每台服务器的能耗得到虚拟CDN系统的能耗；

(5)、在当前时间段按照步骤(1)所述方法持续统计本时间段内的流量，得到当前时间段内的流量真实值，再通过流量真实值来修正预测序列ω_n+1，最后将修正后的序列ω_n+1加入到序列S的末尾，再返回到步骤(2.3)，重新开始下一个时段的预测及部署工作。

2.根据权利要求1所述的一种虚拟CDN的节能部署方法，其特征在于，所述的步骤(2.3)中，模型参数ζ₁,...,ζ_p和κ₁,...,κ_q的获得方法为：利用极大似然估计法估计模型参数；

假设差分序列S^d＝D(ω₁)^d,D(ω₂)^d,...,D(ω_n)^d满足独立多元正太分布，令β＝(ζ₁,ζ₂,...,ζ_p,κ₁,κ₂,...,κ_n)^T及∑_n＝E(S^d(S^d)^T)＝Ωσ²，其中，Ω为序列S^d的协方差矩阵，σ²为常数方差；则S^d的似然函数为

$\begin{array}{c}L(\mathrm{\β},S^d)=p(D{\left({\mathrm{\ω}}_1\right)}^d,D{\left({\mathrm{\ω}}_2\right)}^d,\mathrm{...},D{\left({\mathrm{\ω}}_n\right)}^d;\mathrm{\β})\\ ={\left(2\mathrm{\π}\right)}^{-\frac{n}{2}}\left|{\mathrm{\Σ}}_n{|}^{\frac{1}{2}}\exp \right\{-\frac{{\left(S^d\right)}^T{{\mathrm{\Σ}}_n}^{-1}{S}^d}{2}\}\\ ={\left(2\mathrm{\π}\right)}^{-\frac{n}{2}}{\left({\mathrm{\σ}}^2\right)}^{-\frac{n}{2}}\left|\mathrm{\Ω}{|}^{-\frac{1}{2}}\exp \right\{-\frac{{\left(S^d\right)}^T{\mathrm{\ΩS}}^d}{2{\mathrm{\σ}}^2}\}\end{array}$

两端同时取对数，得对数似然函数为：

$l(\mathrm{\β};S^d)=-\frac{n}{2}ln\left(2\mathrm{\π}\right)-\frac{n}{2}ln\left({\mathrm{\σ}}^2\right)-\frac{1}{2}ln\left|\mathrm{\Ω}\right|-\frac{1}{2{\mathrm{\σ}}^2}\[{\left(S^d\right)}^T{\mathrm{\Ω}}^{-1}{S}^d\]$

对其求偏导，得到似然方程为：

$\left\{\begin{array}{c}\frac{\∂}{\∂{\mathrm{\σ}}^2}l(\mathrm{\β};S^d)=\frac{n}{2{\mathrm{\σ}}^2}-\frac{S\left(\mathrm{\β}\right)}{2{\mathrm{\σ}}^4}=0\\ \frac{\∂}{\∂\mathrm{\β}}l(\mathrm{\β};S^d)=\frac{1}{2}\frac{\∂ln\left|\mathrm{\Ω}\right|}{\∂\mathrm{\β}}+\frac{\∂S\left(\mathrm{\β}\right)}{2{\mathrm{\σ}}^2\∂\left(\mathrm{\β}\right)}=0\end{array}\right.$

其中，S(β)＝(S^d)^TΩ^-1S^d；

通过求解上述方程组，可得到未知模型参数的极大似然估计值。