CN107276781B

CN107276781B - 一种带存储的路由器扩展内容分发网络的预部署方法

Info

Publication number: CN107276781B
Application number: CN201610213186.8A
Authority: CN
Inventors: 盛益强; 薛寒星; 王劲林; 王玲芳
Original assignee: Institute of Acoustics CAS; Shanghai 3Ntv Network Technology Co Ltd
Current assignee: Institute of Acoustics CAS; Shanghai 3Ntv Network Technology Co Ltd
Priority date: 2016-04-07
Filing date: 2016-04-07
Publication date: 2019-10-22
Anticipated expiration: 2036-04-07
Also published as: CN107276781A

Abstract

本发明涉及一种带存储的路由器扩展内容分发网络的预部署方法，包括：获取智能路由器的参数，并采集内容访问量排名Top N的文件，得到集合{T_i}；采集访问量；将访问量归一化为热度，得到多个关于热度的数据集；利用所得到的多个关于热度的数据集训练时间序列模型，确定所述时间序列模型的最优参数；预测下一时刻每个T_i的热度，得到热度分布曲线；用阶梯函数来模拟{T_i}的覆盖率分布，确定阶梯函数的分段个数和分段位置，将每段的覆盖率和热度曲线进行拟合，在满足存储容量限制的前提下，计算{T_i}覆盖率的取值；计算由智能路由器组成的系统的命中率，在存储容量约束下，通过调整覆盖率来优化命中率，按照覆盖率来进行内容预部署。

Description

一种带存储的路由器扩展内容分发网络的预部署方法

技术领域

本发明涉及网络通信领域，特别涉及一种带存储的路由器扩展内容分发网络的预部署方法。

背景技术

随着网络技术和通信技术的不断发展，各种业务服务器和智能路由器的规模都不断增加，可以为用户提供的服务种类也不断丰富，同时用户对信息传播的及时性和网络服务质量的要求越来越高。为了降低网络资源的消耗和减轻用户查找信息的负担，内容分发网络(CDN)可以将各种内容以文件形式预先分发到作为分布式缓存的内容服务器上，其目的是通过将内容发布到最接近用户的网络边缘，使用户可以就近取得所需的内容。具体而言，通过应用分布式缓存、负载均衡和流量工程等技术，提供各种内容分布和服务发送的功能，包括动态地部署网络内容到边缘，根据网络内容处理通信量，将访问请求转发给最近的服务器，使得用户能以最快的速度，从最接近用户的地方获得所需的文件，从而缩短服务提供点与用户之间的网络距离，提高响应速度和服务质量，减少延迟、解决网络拥挤等问题。

但是，随着用户规模和流媒体的内容急速增加，CDN服务质量由于受到服务器和用户之间的距离、带宽以及服务器处理能力等因素的限制而难以进一步提升。得益于对等网络(P2P)技术的迅猛发展，很多公司和运营商都将CDN与P2P技术融合，将CDN的管理机制和服务能力扩展到P2P网络，而形成了以CDN为内容核心和以P2P为服务边缘的混合架构，以提高用户体验和降低CDN服务器的压力。用P2P来扩展CDN的混合模式可以有效地提高流媒体服务能力，节约带宽资源，节省骨干网流量，提高响应速度，同时也对高效的、可扩展、低成本、适用于大规模网络的节点管理方法提出了更高的要求。P2P技术提高了资源共享的利用率，可充分利用空闲资源进行内容分发，避免网络拥塞，从而提高了流媒体业务的实时性和容错能力，有效地提高系统运行效率和节约运营成本。

为了进一步提高闲置资源的利用率，介于P2P和CDN之间的智能路由器也可以作为内容服务器的一种扩展。在大量的智能路由器中对访问请求量较高的文件进行预部署，可以减小响应时间、提高服务质量和节省传输相同文件的流量。但是，相对于CDN服务器来说，单一路由器的存储空间非常有限，这对内容的预部署方法和服务命中率提出了挑战。如何部署各文件在路由器系统中的副本分布，即覆盖率，是影响服务系统性能的关键。现有的预部署方法，主要是通过内容热度的历史数据来进行资源的预部署，分发的覆盖率常见的是均匀覆盖、与热度分布成正比、与热度的均方根成正比等。其主要的问题在于热度的历史数据不一定符合当前时刻的热度，而且覆盖率的计算方法要么过于简单导致命中率过低，要么过于复杂导致计算时间过长。因此，有必要提议一种带存储的路由器扩展内容分发网络的预部署方法，在保证响应时间较短的前提下，尽可能提高视频服务系统的命中率，以便充分利用智能路由器的闲置资源，降低CDN服务器的负担。

发明内容

本发明的目的在于克服现有的预部署方法命中率低、计算时间长等缺陷，从而提供一种响应时间较短、命中率较高的预部署方法。

为了实现上述目的，本发明提供了一种带存储的路由器扩展内容分发网络的预部署方法，包括：

步骤1)、获取智能路由器的包括系统规模、上行带宽、存储容量、内容码率在内的参数，并采集内容访问量排名Top N的文件，将内容访问量排名Top N的文件的集合记为{T_i}；

步骤2)、判断{T_i}是否超过给定期限，如果是，则只收集给定期限内每个时刻的{T_i}访问量，否则收集{T_i}产生时刻至当前时刻的访问量；

步骤3)、将访问量归一化为热度，以一段连续时间内的热度组成一个数据集，然后将该段连续时间的起止时刻向后平移一个时刻，以新形成的连续时间段内的热度形成另一个数据集，以此类推，得到多个关于热度的数据集；利用所得到的多个关于热度的数据集训练时间序列模型，确定所述时间序列模型的最优参数；

步骤4)、利用步骤3)所得到的时间序列模型预测下一时刻每个T_i的热度，得到热度分布曲线；

步骤5)、用阶梯函数来模拟{T_i}的覆盖率分布，确定阶梯函数的分段个数和分段位置，将每段的覆盖率和热度曲线进行拟合，在满足存储容量限制的前提下，计算{T_i}覆盖率的取值；

步骤6)、根据{Ti}的不同覆盖率和系统参数，计算由智能路由器组成的系统的命中率，在存储容量约束下，通过调整覆盖率来优化命中率，最后按照覆盖率来进行内容预部署；其中，所述系统参数包括：路由器的上行带宽、系统包含的用户个数、系统包含的节点个数、文件平均码率。

上述技术方案中，所述步骤3)具体包括：

步骤301)、将任一文件T_i在j时刻至j+24时刻的访问量归一化后的热度组成第一数据集，而j+1时刻至j+25时刻的数据集，则由所述第一数据集向右平滑一个时刻，使用新数据替换原有位置的数据来产生，以此类推，整个TopN数据集记为：

{H_Ti(j),H_Ti(j+1),H_Ti(j+2),...,H_Ti(j+23),H_Ti(j+24)}

1≤i≤N,j≥1

其中，H_Ti(j)表示文件T_i在j时刻的热度；

步骤302)、训练一个时间序列模型，在训练时以一个数据集中的时刻在前的数据作为时间序列模型的输入，根据该输入由所述时间序列模型生成预测值，以数据集中时刻在后的数据作为时间序列模型的正确输出值，通过预测值与正确输出值之间的比较来得到时间序列模型参数的取值。

上述技术方案中，所述通过预测值与正确输出值之间的比较来得到时间序列模型参数的取值包括：以最小化训练误差为目标，用梯度下降法确定时间序列模型的最优参数。

上述技术方案中，所述时间序列模型包括下面中的任意一种：指数平滑模型、自回归模型、移动平均模型、时间延迟神经网络模型。

上述技术方案中，所述步骤5)具体包括：

步骤501)、用阶梯函数来描述各文件的覆盖率，分段个数F在[1,N]范围内任取；在确定阶梯函数的分段个数后，选择热度变化较大的F个点作为阶梯函数的每个段落的分段点；

步骤502)在满足存储容量限制下，用最小二乘法对覆盖率的阶梯函数对热度曲线进行拟合。

上述技术方案中，在步骤6)中，由智能路由器组成的系统的命中率包括：服务命中率SH、内容命中率CH；其中，服务命中率SH和内容命中率CH的计算公式分别如下：

其中，N_ser表示用户的请求中由系统成功提供服务的次数；N_req表示所有用户的服务请求次数；N_res表示所有用户的请求中在系统预部署的资源列表中的请求次数；N_s表示系统包含的节点个数；N_u表示系统包含的用户个数；CR_i为的任一文件T_i的覆盖率；V_r表示文件平均码率；UB表示上行带宽；H_Ti-un为归一化后的预测热度；P_i表示第i个文件的访问量占用户个数的百分比，与归一化后的预测热度H_Ti-un成正比。

上述技术方案中，在步骤6)中，所述通过调整覆盖率来优化命中率的优化方法如下：用梯度下降法来优化两个命中率中的任何一个，即：沿着的方向，不断调整CR_i到CR_i+ΔCR_i，直到ΔCR_i＝0或SH不可导为止。

本发明的优点在于：

本发明的方法通过热度数据及其预测来调整由智能路由器组成的系统中的覆盖率，从而进行内容预部署，充分利用了智能路由器的闲置存储资源，降低了CDN服务器的负担，提高了服务系统的命中率。

附图说明

图1是本发明的带存储的路由器扩展内容分发网络的预部署方法的流程图。

具体实施方式

现结合附图对本发明作进一步的描述。

在对本发明的方法做详细说明之前，首先对本发明中所涉及的概念做简要说明。

系统：本发明中所涉及的系统是指由智能路由器所组成的系统。

覆盖率，是指邻居中存储了所需数据的邻居数目(包括自己在内)占总的邻居数目的比例，记为CR，0≤CR≤1。

服务命中率，是指用户所请求服务最终由系统所提供的概率，记为N_ser/N_req。其中，N_ser表示用户的请求中由系统成功提供服务的次数；N_req表示所有用户的服务请求次数。

内容命中率，是指用户请求服务在系统存储的资源列表中时，由系统成功提供服务的概率，记为N_ser/N_res。其中，N_ser表示用户的请求中由系统成功提供服务的次数；N_res表示所有用户的请求中在系统预部署的资源列表中的请求次数。

现结合附图对本发明进行进一步的描述。

如图1所示，本发明公开了一种带存储的路由器扩展内容分发网络的预部署方法，具体步骤包括：

步骤1)、获取智能路由器的包括系统规模、上行带宽、存储容量、内容码率在内的参数，并采集内容访问量排名Top N的文件，将内容访问量排名Top N的文件的集合记为{T_i}，其中的N缺省值为100。

步骤2)、判断{T_i}是否超过给定期限，该期限的缺省值为7天，如果是，则只收集给定期限内每个时刻的{T_i}访问量，否则收集{T_i}产生时刻至当前时刻的访问量。

步骤3)、将访问量归一化为热度，首先以0到24时刻的热度为一个数据集，然后将不同时刻的热度逐渐向后平移一个时刻形成新的数据集，利用之前所得到的数据集训练时间序列模型，在训练的过程中以最小化训练误差为目标，用梯度下降法确定时间序列模型的最优参数。

以缺省值7天为例，在将7天内的访问量都归一化为热度后，首先以0到24时刻(即第一天)的热度组成第1个数据集，然后向后平移一个时刻，即将1到25时刻的热度组成第2个数据集，从2到26时刻的热度组成第3个数据集，……，从144到168时刻的热度组成第145个数据集。

在训练时间序列模型时需要用到之前所得到的数据集中的数据。以0到24时刻的数据为例，0到23时刻的数据作为时间序列模型的输入，第24时刻的数据作为时间序列模型的输出；通过训练可确定时间序列模型的最优参数。

本发明中所涉及的时间序列模型包括但不限于：指数平滑模型、自回归模型、移动平均模型、时间延迟神经网络模型。

步骤4)、利用步骤3)所得到的时间序列模型预测下一时刻每个T_i的热度，得到热度分布曲线。

步骤5)、用阶梯函数来模拟{T_i}的覆盖率分布，确定阶梯函数的分段个数和分段位置，用最小二乘法将每段的覆盖率和热度曲线进行拟合，在满足存储容量限制的前提下，计算{T_i}覆盖率的取值。

所述步骤3)具体包括：

步骤301)、将任一文件T_i在j时刻至j+24时刻的访问量归一化后的热度组成一个数据集，而下一时刻(从j+1时刻至j+25时刻)的数据集，则由数据集向右平滑一个时刻，使用新数据替换原有位置的数据来产生，以此类推。整个TopN数据集可记为：

{H_Ti(j),H_Ti(j+1),H_Ti(j+2),...,H_Ti(j+23),H_Ti(j+24)}

1≤i≤N,j≥1

其中，H_Ti(j)表示文件T_i在j时刻的热度。

步骤302)、训练一个时间序列模型，在训练时以一个数据集中的时刻在前的数据作为时间序列模型的输入，以数据集中时刻在后的数据作为时间序列模型的正确输出，通过预测值与正确输出值之间的比较来得到时间序列模型参数的取值。例如，使用任一文件T_i在j时刻至j+23时刻的热度作为时间序列模型的输入，通过该模型来预测T_i在j+24时刻的热度，将预测值与真正的T_i在j+24时刻的热度进行比较，从而得到时间序列模型参数的取值。

以三阶指数平滑模型为例，模型参数需满足以下三个等式：

S_t＝α(x_t-u_t-k)+(1-α)(S_t-1+q_t-1)

q_t＝β(S_t-S_t-1)+(1-β)q_t-1

u_t＝γ(x_t-S_t)+(1-γ)u_t-k

其中，α,β,γ为模型参数，取值范围为[0,1]，S_t为t时刻的预测值，q_t为t时刻的趋势值，u_t为t时刻的季风值，x_t为任意t时刻的实际热度，即为{H_Ti(t)}，S_t-1为t-1时刻的预测值，q_t-1为t-1时刻的趋势值，u_t-k为t-k时刻的季风值，k为周期，取值为24。

在t＝0时刻对参数S_t、q_t、u_t和u_t-k进行初始化后，使用梯度下降方法来对训练误差C进行最小化，从而得到参数α,β,γ的最优取值。其中，训练误差C定义为：

其中，x_t+1为任意t+1时刻的实际热度。

在对参数S_t、q_t、u_t和u_t-k进行初始化包括：S_t＝x₀，q_t＝x₁-x₀，u_t＝u_t-k＝0。

所述步骤5)具体包括：

步骤501)用阶梯函数来描述各文件的覆盖率，分段个数F可以在[1,N]范围内任取；在确定阶梯函数的分段个数后，选择热度变化较大的F个点作为阶梯函数的每个段落的分段点。

具体地，以3段为例，阶梯函数的表达式如下：

其中，CR_i表示第i个文件的覆盖率，CR1,CR2,CR3表示3个固定值，取值范围为0≤CR3≤CR2≤CR1≤1。N₁,N₂,N₃表示覆盖率变化的间断点，取值范围为1≤N₁≤N₂≤N₃＝N。假设文件的平均大小为VZ，由于路由器存储容量SC_r的限制，CR1,CR2,CR3,N₁,N₂,N₃的取值需满足以下存储容量的约束：

(N₁×CR₁+(N₂-N₁)×CR₂+(N₃-N₂)×CR₃)×VZ≤SC_r

然后，用最小二乘法对覆盖率的阶梯函数对预测热度曲线进行拟合，其拟合误差记为：

其中，CR_i为的任一文件T_i的覆盖率，H_Ti-un为归一化后的预测热度，在拟合误差δ最小化后，得到CR1,CR2,CR3,N₁,N₂,N₃，而得到每个文件对应的覆盖率。

所述步骤6)中，由智能路由器组成的系统的命中率包括：服务命中率SH和内容命中率CH，服务命中率SH和内容命中率CH的计算公式分别如下：

由上述公式计算得到的服务命中率SH和内容命中率CH都是覆盖率CR_i的函数，即SH＝SH(CR_i)，CH＝CH(CR_i)，这两个函数的大小随着CR_i的变化而变化，而且都是局部可导的。

所述通过调整覆盖率来优化命中率的具体优化方法如下：用梯度下降法来优化两个命中率中的任何一个，即：沿着的方向，不断调整CR_i到CR_i+ΔCR_i，直到ΔCR_i＝0或SH不可导为止。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种带存储的路由器扩展内容分发网络的预部署方法，包括：

步骤5)、用阶梯函数来模拟{T_i}的覆盖率分布，确定阶梯函数的分段个数和分段位置，将每段的覆盖率和热度曲线进行拟合，在满足存储容量限制的前提下，计算{T_i}覆盖率的取值；所述覆盖率，是指邻居中存储了所需数据的邻居数目占总的邻居数目的比例，记为CR；步骤6)、根据{Ti}的不同覆盖率和系统参数，计算由智能路由器组成的系统的服务命中率，在存储容量约束下，通过调整覆盖率来优化命中率，最后按照覆盖率来进行内容预部署；其中，所述系统参数包括：路由器的上行带宽、系统包含的用户个数、系统包含的节点个数、文件平均码率；

所述服务命中率，是指用户所请求服务最终由系统所提供的概率，记为N_ser/N_req；其中，N_ser表示用户的请求中由系统成功提供服务的次数；N_req表示所有用户的服务请求次数。

2.根据权利要求1所述的带存储的路由器扩展内容分发网络的预部署方法，其特征在于，所述步骤3)具体包括：

{H_Ti(j),H_Ti(j+1),H_Ti(j+2),...,H_Ti(j+23),H_Ti(j+24)}

1≤i≤N,j≥1

其中，H_Ti(j)表示文件T_i在j时刻的热度；

3.根据权利要求2所述的带存储的路由器扩展内容分发网络的预部署方法，其特征在于，所述通过预测值与正确输出值之间的比较来得到时间序列模型参数的取值包括：以最小化训练误差为目标，用梯度下降法确定时间序列模型的最优参数。

4.根据权利要求1所述的带存储的路由器扩展内容分发网络的预部署方法，其特征在于，所述时间序列模型包括下面中的任意一种：指数平滑模型、自回归模型、移动平均模型、时间延迟神经网络模型。

5.根据权利要求1所述的带存储的路由器扩展内容分发网络的预部署方法，其特征在于，所述步骤5)具体包括：

步骤501)、用阶梯函数来描述各文件的覆盖率，分段个数F+1在[1,N]范围内任取；在确定阶梯函数的分段个数后，选择热度变化较大的F个点作为阶梯函数的每个段落的分段点；

6.根据权利要求1所述的带存储的路由器扩展内容分发网络的预部署方法，其特征在于，在步骤6)中，由智能路由器组成的系统的命中率包括：服务命中率SH、内容命中率CH；其中，服务命中率SH和内容命中率CH的计算公式分别如下：

7.根据权利要求6所述的带存储的路由器扩展内容分发网络的预部署方法，其特征在于，在步骤6)中，所述通过调整覆盖率来优化命中率的优化方法如下：用梯度下降法来优化服务命中率SH和内容命中率CH两个命中率中的任何一个，即：沿着的方向，不断调整CR_i到CR_i+ΔCR_i，直到ΔCR_i＝0或SH不可导为止。