CN101242432B - 一种互联网内容分发方法、系统及装置 - Google Patents

Abstract

本发明公开了一种互联网内容分发方法、系统及装置，用以减小网络的带宽消耗，并且，提高用户访问互联网内容的命中率。本发明提供的一种互联网内容分发方法，应用于内容分发网络CDN，该方法包括：周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息；根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中相应的代理服务器；所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。通过本发明提供的方法，实现了自适应的互联网内容分发，减小了网络的带宽消耗，提高了用户访问互联网内容的命中率，并且满足网络流量以及代理服务器的负载均衡的要求。

Description

一种互联网内容分发方法、系统及装置

技术领域

本发明涉及网络技术领域，尤其涉及一种互联网内容分发方法、系统及装置。 

背景技术

互联网的快速发展大大地加速了流媒体应用的发展，从而互联网用户也在不断增加，导致网络流量巨大，流量拥塞带来的长时间等待和较高的丢包率，与用户对服务质量的要求形成严重的矛盾。传统的采用互联网内容提供商(ICP，Internet Content Provider)直接提供流媒体内容服务的模式受到严重的挑战。 

内容分发网络(CDN，Content Delivery Network)是解决这些问题的有效办法。CDN通过实现用户对内容的就近访问来减少核心网流量以及中心服务器负载，从而大大提高用户的感受度，从技术层面上解决了由于网络带宽小、用户访问量大、网点分布不均匀、单点失效等导致的服务质量差的问题。CDN的技术原理是通过在现有的互联网构架中，在靠近用户的网络“边缘”放置适当数量的服务器作为代理，将网站的内容从核心网推向这些代理，从而减小传输时延和网络抖动等，使得用户能得到高质量的内容服务。由于这种技术可以大大缓解互联网的拥塞状况，所以网站有能力提供数据量巨大的流媒体等内容服务。总之，CDN能将ICP的内容预先发布到网络的代理上，使得用户能够就近快速访问互联网内容，从而为用户提供高质量的服务和降低中心节点的负担。 

如何请求重定向和执行内容分发是影响CDN性能的两个关键技术。目前CDN内容分发策略主要是基于阈值的拉(pull)策略和将ICP的内容按要求推 送(push)到各个代理上的push策略。但是，这些策略存在以下不足： 

1)pull策略在用户访问行为变化较快的情况下，无法将内容预先分发给相应代理，导致用户等待时延增加、核心网消耗增大。 

2)push策略需要巨大的存储空间和维持消耗，这对于商用的CDN来说是不实际和不经济的。 

目前还有将push策略和pull策略相结合的内容分发方法：代理将存储空间分成两个部分，分别用于push策略和pull策略的内容分发。这种混合的方法能够较好的解决上述两个不足，但是，却无法使CDN代理上的互联网内容被访问的命中率显著提高。并且，目前的内容分发策略主要考虑了用户的时延感受，并没有从商业CDN服务提供商角度考虑如何实现网络消耗最优化的商业型内容分发。 

发明内容

本发明实施例提供了一种互联网内容分发方法、系统及装置，用以减小网络的带宽消耗，并且提高用户访问互联网内容的命中率。 

本发明实施例提供的一种互联网内容分发方法，应用于内容分发网络CDN，该方法包括： 

周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，所述网络消耗包括核心网带宽消耗、本地存储消耗、内容维持消耗和本地内容的初始化消耗； 

根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中的代理服务器； 

所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。 

本发明实施例提供的一种互联网内容分发系统，应用于内容分发网络CDN，该系统包括：网络信息收集单元、CDN中心节点单元以及至少一个代理服务器； 

所述网络信息收集单元，用于周期收集网络实时数据； 

所述CDN中心节点单元，用于根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，所述网络消耗包括核心网带宽消耗、本地存储消耗、内容维持消耗和本地内容的初始化消耗；以及，根据所述互联网内容的分发位置信息，将互联网内容分发给所述代理服务器； 

所述代理服务器，用于根据用户请求将自身存储的互联网内容发送给该用户。 

本发明实施例提供的一种服务器，应用于内容分发网络CDN，该服务器包括： 

决策单元，用于根据网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，所述网络消耗包括核心网带宽消耗、本地存储消耗、内容维持消耗和本地内容的初始化消耗； 

内容分发执行单元，用于根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中的代理服务器。 

本发明实施例，通过周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，从而得到整体网络消耗最小的内容分发决策；再根据所述互联网内容的分发位置信息，将互联网内容分发给CDN中的代理服务器，所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户，从而实现了自适应的互联网内容分发，减小了网络的带宽消耗，提高了用户访问互联网内容的命中率，并且满足网络流量和代理服务器的负载均衡的要求。 

附图说明

图1为本发明实施例提供的一种互联网内容分发系统的结构示意图； 

图2为本发明实施例提供的一种互联网内容分发方法的流程示意图； 

图3为本发明实施例提供的互联网内容分发策略的决策方法的流程示意图； 

图4为本发明实施例提供的互联网内容分发决策过程中的未简化的整数规划分支和剪枝示意图； 

图5为本发明实施例提供的互联网内容分发策略的简化的决策方法的流程示意图； 

图6为本发明实施例提供的互联网内容分发决策过程中的简化的整数规划分支和剪枝图示意图。 

具体实施方式

本发明实施例提供了一种互联网内容分发方法、系统及装置，应用于内容分发网络CDN，根据网络的实时信息，利用整数规划的全局最优化算法来得到整体网络消耗最小的互联网内容分发策略，从而减小网络的带宽消耗，提高用户访问互联网内容的命中率，并且满足网络流量和代理服务器的负载均衡的要求。 

以下本发明实施例中提到的内容即为用户需要访问的互联网内容，本发明实施例中提到的文件，即为包含互联网内容的文件。 

本发明实施例所应用的CDN具有互作式的网络构架，任何两个代理(Surrogate)服务器(简称代理)间可以通过核心网来实现合作，即相互请求服务和提供服务。各个代理可以是某个单一的代理服务器，也可以是某个区域内所有代理聚成的簇。CDN中没有设置中心存储节点，所有代理存储的内容的并集是完整的CDN的内容。 

下面结合附图对本发明实施例进行详细说明。 

参见图1，本发明实施例提供的一种互联网内容分发系统包括：网络信息收集单元11、CDN中心节点单元12和至少一个代理服务器13。 

网络信息收集单元11，用于周期收集网络实时数据。 

网络信息收集单元11可以是代理服务器本身，也可以是特殊的设备，如探测器。 

所述周期可以设为5分钟、半个小时、一天等，可以根据要分发的文件(即互联网内容)的访问频率的变化快慢来确定，如访问频率变化较快则周期可以 设小一些，访问频率变化较慢则周期可以设大一些。 

CDN中心节点单元12，用于根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息；以及，根据所述互联网内容的分发位置信息，将互联网内容分发给CDN中相应的代理服务器13。 

代理服务器13，用于根据用户请求将自身存储的互联网内容发送给该用户。 

较佳地，所述CDN中心节点单元12包括：数据管理单元121、信息处理单元122、决策单元123和内容分发执行单元124。 

数据管理单元121，用于存储所述网络实时数据，并对所述收集到的网络实时数据进行预处理，得到具有特定输入格式的网络实时数据，即根据预先设置的决策单元123的输入数据的格式生成有效的输入数据；以及，根据预先配置的策略要求在相应的数据库中存储多个历史时期的有效格式的网络信息数据。 

信息处理单元122，用于根据所述具有特定输入格式的网络实时数据，对网络行为进行预测，得到网络预测数据。具体地，即根据预先配置的网络信息预测策略，按预先设置的权重整合多个历史时期的网络数据得到对下一时期的网络行为的预测信息。 

决策单元123，用于根据所述网络预测数据，确定当网络消耗最小时的互联网内容的分发位置信息，也就是确定将哪个文件放到哪个代理上，其中，文件的粒度可以是整个web文件、web文件簇、流媒体文件或者流媒体文件的片段。 

较佳地，决策单元123可以按一定的时间间隔工作，即周期进行决策。 

较佳地，所述决策单元123，利用整数线性规划算法确定所述互联网内容的分发位置信息，具体的整数线性规划算法可以是分支定界法或隐举法。 

内容分发执行单元124，用于根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中相应的代理服务器。 

所述网络实时数据包括：CDN中各个代理服务器上的各个互联网内容的访问频率，以及各个代理服务器的可用存储容量、出口带宽、入口带宽和服务负载容量。 

所述网络消耗包括：核心网带宽消耗、本地存储消耗和内容维持消耗，以及本地内容的初始化消耗。 

除此之外，对网络信息数据的收集、预处理以及预测等操作可以由代理来完成，代理将网络预测数据发送给CDN中心节点单元12中的决策单元123。 

下面结合附图介绍一下本发明的方法实施例。 

参见图2，本发明实施例提供的一种互联网内容分发方法包括： 

S201、周期收集网络实时数据。 

S202、对所述收集到的网络实时数据进行预处理，得到具有特定输入格式的网络实时数据。 

S203、根据所述具有特定输入格式的网络实时数据，对网络行为进行预测，得到网络预测数据。 

S204、根据所述网络预测数据，利用整数线性规划算法，确定当网络消耗最小时的互联网内容的分发位置信息。 

S205、根据所述互联网内容的分发位置信息，将互联网内容分发给CDN中相应的代理服务器。 

S206、所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。 

所述的网络实时数据包括：每个代理上在这个周期内收到的对每个文件的请求访问的次数pik；代理的可用存储空间S_i；代理的负载容量L_i；代理的核心网入口带宽IB_i；核心网单位带宽消耗c_n；每个文件的维护消耗M_k；不同的代理和文件的组合<i，k>所对应的初始化消耗C_ik ^init；每个文件的比特率r_k。 

参见图3，步骤S204，即内容分发策略的决策过程具体包括： 

S301、定时器检测决策周期是否到达，如果到达则执行步骤S302，否则继续检测。 

S302、对整数限制x_ik∈{0，1}进行相应的松弛，变为x_ik∈[0，1]。 

本发明实施例中，用X表示决策向量，x_ik表示单个变量，当x_ik为1时，表示在第i个代理上存有第k个文件，否则，当x_ik为0时，表示在第i个代理上不存有第k个文件。也就是说，变量x_ik代表了文件的分发策略。 

S303、假设本地存储消耗很小，可忽略不计，则对线性规划目标函数(即核心网的总消耗)及其限制条件进行如下线性规划： 

(P) 

$\mathrm{Min}\underset{i}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}(p_{\mathrm{ik}}{r}_k{\mathrm{tc}}_n(1-x_{\mathrm{ik}})+x_{\mathrm{ik}}{M}_k+x_{\mathrm{ik}}{C}_{\mathrm{ik}}^{\mathrm{init}})---\left(1\right)$

Subject to： 

$\underset{k}{\mathrm{\&Sigma;}}{b}_k{x}_{\mathrm{ik}}\&le;S_i---\left(2\right)$

$\underset{i}{\mathrm{\&Sigma;}}{x}_{\mathrm{ik}}\&GreaterEqual;1---\left(3\right)$

$\underset{k}{\mathrm{\&Sigma;}}[p_{\mathrm{ik}}{r}_k(1-x_{\mathrm{ik}})+x_{\mathrm{ik}}{M}_k]{\&le;\mathrm{IB}}_i---\left(4\right)$

x_ik∈[0，1]                    (5) 

其中，公式(1)用于计算核心网总消耗的最小值，公式(2)、(3)、(4)、(5)分别为核心网总消耗取得最小值时的限制条件。 

公式(1)中的t表示时间，公式(2)中b_k表示文件的大小。 

S304、在步骤S303所得的结果中找出离整数最远的一个任意的x_ik，如0.4和0.6离整数的距离都为0.4。将这个x_ik的值分别置为0、1，即加入相应的限制条件，然后针对这两种分支进行整数规划。 

S305、给定一个最小值的初始上界，本发明实施例中给出的初始上界设为一个很大的数，即实际消耗值无法达到的数。对步骤S304得到的最优值和给定的初始上界进行比较，舍去最优值大于初始上界的分支，即剪枝。 

分支和剪枝的过程如图4所示。 

S306、判断所有的x_ik是否都为整数，如果是，则执行步骤S307；否则，执行步骤S304。 

即判断是否得到一个可行解，并将初始上界改为这个可行解的最优值。对于没有在步骤S305中舍去的并且没有得到的可行解，即x_ik中仍有非整数值的分支重复步骤S304、S305、S306，每次重复过程中都保留上次加入的限制条件，且步骤S304得到的是上次重复所得到的各个分支对应的解集X，直到所有分支的所有x_ik都为整数(0或1)为止。 

S307、比较所有可行解对应的目标函数值，目标函数值最小的可行解即为最优解，决策过程结束，执行步骤S205。 

步骤S205中，根据决策向量X，将互联网内容分发给相应的代理服务器。 

较佳地，本发明实施例提供的决策过程可以根据实际的网络规模做适当的简化计算，参见图5，本发明实施例提供的简化的决策过程包括： 

S501、定时器检测决策周期是否到达，如果到达则执行步骤S502，否则继续检测。 

S502、对整数限制x_ik∈{0，1}进行相应的松弛，变为x_ik∈[0，1]。 

S503、假设本地存储消耗很小，可忽略不计，对线性规划目标函数(核心网的总消耗)及其限制条件进行线性规划。 

这前三个步骤分别与步骤S301、S302和S303相同。 

S504、对步骤S503线性规划得到的结果和一根据网络节点数预定的阈值进行比较，将小于该阈值的解x_ik置0，同时加入相应的x_ik＝0的限制条件。这个值可以根据要求的决策准确程度来调整，准确程度要求高则设小一些，反 之设大一些，如代理个数为100时，可设定该阈值为10^-4。 

S505、从步骤S504中得到的解集X中找到距离整数最大的任意一个解x_ik，并将其分别置为0和1，即加入相应的限制条件，然后对每个分支进行线性规划。 

S506、对步骤S505得到的两个分支的最优值进行比较，舍去最优值大的分支，即剪枝。 

分支和剪枝的过程如图6所示。 

S507、判断所有的x_ik是否都为整数，如果是，则执行步骤S508；否则，执行步骤S504。 

对没有在步骤S506中舍去的并且没有得到的可行解，即x_ik中仍有非整数值的分支分别重复执行步骤S504、S505、S506和S507，每次重复过程中都保留上次加入的限制条件，且步骤S505得到的是上次重复所得到的各个分支对应的解集X，直到所有分支的所有x_ik都为整数0或1为止。 

S508、比较所有可行解对应的目标函数值，使得目标函数值最小的可行解即为初步最优解。 

S509、利用局部贪婪算法为剩余的可用存储空间分配文件，决策过程结束。 

综上所述，本发明实施例采用特定设备从CDN代理端收集网络实时数据；CDN中心节点预处理这些网络实时数据，使这些网络实时数据具有特定的输入格式；CDN中心节点利用整数线性规划的方法，根据输入的网络实时数据做出具体的互联网内容分发决策，因此，采用该技术方案能够根据网络的全局的实时信息把互联网内容分发到合适的节点，从而使得整个CDN的网络带宽和维持消耗达到最小。 

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。 

Claims (9)

1.一种互联网内容分发方法，应用于内容分发网络CDN，其特征在于，该方法包括：

周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，所述网络消耗包括核心网带宽消耗、本地存储消耗、内容维持消耗和本地内容的初始化消耗；

根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中的代理服务器；

所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。

2.根据权利要求1所述的方法，其特征在于，根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息的步骤包括：

根据所述网络实时数据，对网络行为进行预测，得到网络预测数据；

根据所述网络预测数据，确定当网络消耗最小时的互联网内容的分发位置信息。

3.根据权利要求1所述的方法，其特征在于，所述互联网内容的分发位置信息是利用整数规划算法确定的。

4.根据权利要求1所述的方法，其特征在于，所述网络实时数据包括：

CDN中各个代理服务器上的各个互联网内容的访问频率、各个代理服务器的可用存储容量、服务负载容量、入口带宽和/或出口带宽。

5.一种互联网内容分发系统，应用于内容分发网络CDN，其特征在于，该系统包括：网络信息收集单元、CDN中心节点单元以及至少一个代理服务器；

所述网络信息收集单元，用于周期收集网络实时数据；

所述CDN中心节点单元，用于根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，所述网络消耗包括核心网带宽消耗、本地存储消耗、内容维持消耗和本地内容的初始化消耗；以及，根据所述互联网内容的分发位置信息，将互联网内容分发给所述代理服务器；

所述代理服务器，用于根据用户请求将自身存储的互联网内容发送给该用户。

6.根据权利要求5所述的系统，其特征在于，所述CDN中心节点单元包括：

决策单元，用于根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息；

内容分发执行单元，用于根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中相应的代理服务器。

7.根据权利要求6所述的系统，其特征在于，所述CDN中心节点单元还包括：

信息处理单元，用于根据所述网络实时数据，对网络行为进行预测，得到网络预测数据；

所述决策单元，根据所述网络预测数据，确定当网络消耗最小时的互联网内容的分发位置信息。

8.根据权利要求6或7所述的系统，其特征在于，所述决策单元，利用整数线性规划算法确定所述互联网内容的分发位置信息。

9.一种服务器，应用于内容分发网络CDN，其特征在于，该服务器包括：

决策单元，用于根据网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息，所述网络消耗包括核心网带宽消耗、本地存储消耗、内容维持消耗和本地内容的初始化消耗；

内容分发执行单元，用于根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中的代理服务器。

Images