CN104320487B - 内容分发网络的http调度系统和方法 - Google Patents

Abstract

本发明涉及一种内容分发网络的HTTP调度系统，包括中心决策服务器、一个或多个中心调度服务器以及一个或多个边缘调度服务器。中心决策服务器配置为根据全局的服务器集群的带宽和负载信息，生成中心决策文件。中心调度服务器连接该中心决策服务器，中心调度服务器配置为执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择一首选服务器集群和一备用服务器集群，并向该客户端返回一个带有该首选及该备用服务器集群的跳转地址。边缘调度服务器设置在对应的边缘服务器集群内，各边缘调度服务器配置为在收到客户端内容请求时，获取对应的边缘服务器集群的带宽和负载情况，据此判断请求是否应该引导到备用服务器集群。

Description

内容分发网络的HTTP调度系统和方法

技术领域

本发明涉及内容分发网络，尤其是涉及内容分发网络的HTTP调度系统和方法。

背景技术

随着互联网设备的迅猛发展，流量日益增长，CDN的规模愈加庞大，负载均衡成为控制成本的重要手段。

CDN(Content Delivery Network)，中文名称是内容分发网络。CDN的任务主要是使内容从源站尽可能快地传递到用户端。CDN的基本思想就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更好。通过在网络各处放置边缘节点服务器所构成的内容分发网络，能够实时根据网络流量和各边缘节点的负载情况以及到用户的距离和响应时间等综合信息将用户的访问请求重定向至离用户最近且最好的边缘节点上。该系统在现有网络架构上增加一个全局调度层，将源站内容分发到最接近用户的网络边缘，使用户可以就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度，解决因源站出口网络带宽小、用户访问量大、网点分布不均、复杂的运营商网络、用户接入网络带宽小所造成的用户访问网站响应速度慢的问题。

当前CDN的负载均衡技术主要分为DNS(Domain Name System，域名系统)调度和HTTP(Hypertext transfer protocol，超文本传送协议)调度。DNS调度主要用于图片及动态加速类型内容的负载均衡。HTTP调度基于http协议的30X响应码，主要用于流媒体应用。考虑到流媒体业务占CDN业务的很大一部分，这部分成了CDN业务控制服务器及机房负载均衡的重要部分。

HTTP调度分为中心模式和边缘模式。中心模式是通过DNS将客户请求引导至若干组调度机器上。这些调度机器并不提供内容，而是首先由决策机分析CDN所有机房和服务器集群的带宽数据，并据此适时调配服务器集群的流量，由调度机执行调配，使集群达到负载均衡。其次，调度机器会根据请求内容进行散列(Hash)计算，选择特定的服务器，以减少集群间和集群内服务器之间的内容冗余。边缘模式是通过DNS将客户请求分配至边缘服务器集群，由服务器集群中的调度机器对所在集群和机房的状态做出判断，选择由本地进行服务，或将请求跳转至备份服务器集群，达到负载均衡的目的。

发明内容

本发明所要解决的技术问题是提供一种新型的HTTP调度系统和方法。

本发明为解决上述技术问题而采用的技术方案是提出一种内容分发网络的HTTP调度系统，包括中心决策服务器、一个或多个中心调度服务器以及一个或多个边缘调度服务器。中心决策服务器配置为根据全局的服务器集群的带宽和负载信息，生成中心决策文件。中心调度服务器连接该中心决策服务器，该中心调度服务器配置为执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择一首选服务器集群，并决定是否同时选择一个备用服务器集群，然后向该客户端返回一个带有该首选服务器集群的跳转地址，以及当选择了备用服务器集群时，同时向该客户端返回一个带有该备用服务器集群的跳转地址。边缘调度服务器设置在对应的边缘服务器集群内，各边缘调度服务器配置为在收到客户端内容请求时，如果有备用服务器集群，则获取对应的边缘服务器集群的带宽和负载情况，据此判断请求是否应该引导到备用服务器集群。

在本发明的一实施例中，该中心决策服务器设定多个覆盖域中每一覆盖域内的多个集群的权值以对各集群的流量进行控制，其中该多个覆盖域是根据客户端访问内容的站点和物理地址所在地预先划分而成。

在本发明的一实施例中，该中心调度服务器配置为根据客户端请求进行散列计算和权值随机计算，在服务集群列表中选择一个首选服务器集群，且如果决定选择备选服务器集群，进一步在服务器集群列表中选择有一定剩余服务能力的备选服务器集群。

在本发明的一实施例中，该一个或多个边缘调度服务器配置为在收到客户端内容请求时，判断对应的边缘服务器集群是否过载，如果是，则判断请求中是否带有备选服务器集群的信息，如果带有备选服务器集群的信息，则返回跳转地址，将客户端跳转至备选服务器集群，如果没有带备选服务器集群的信息，则以边缘调度服务器作为客户端与对应的边缘服务器集群内的缓存服务器的代理，提供服务；如果对应的边缘服务器集群不是过载，则以边缘调度服务器作为客户端与该缓存服务器的代理。

在本发明的一实施例中，该一个或多个边缘调度服务器配置为每隔一定时间获取一次节点的带宽数据，然后据此计算得到下一个时间段内，本地允许的连接数，且在下一个时间内，由连接数决定的前几个请求由对应的边缘服务器集群服务，而之后的请求则再次跳转到备选服务器集群。

本发明还提出一种内容分发网络的HTTP调度方法，包括以下步骤：在中心决策服务器为根据全局的服务器集群的带宽和负载信息，生成中心决策文件；在连接该中心决策服务器的一个或多个中心调度服务器执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择一首选服务器集群，并决定是否同时选择一备用服务器集群，并向该客户端返回一个带有该首选服务器集群的跳转地址，以及当选择了备用服务器集群时，同时向该客户端返回一个带有该备用服务器集群的跳转地址；在设置于对应的边缘服务器集群内且连接该一个或多个中心调度服务器的一个或多个边缘调度服务器，在收到客户端内容请求时，如果有备用服务器集群，则获取对应的边缘服务器集群的带宽和负载情况，判断请求是否应该引导到备用服务器集群。

在本发明的一实施例中，在该中心决策服务器生成决策文件的步骤包括：设定多个覆盖域中每一覆盖域内的多个集群的权值以对各集群的流量进行控制，其中该多个覆盖域是根据客户端访问内容的站点和地址所在地预先划分而成。

在本发明的一实施例中，在该中心调度服务器中执行以下步骤：根据判断客户所属的服务群体，得到服务集群列表；根据客户端请求进行散列计算和权值随机计算，在服务集群列表中选择一个首选服务器集群；如果决定选择备选服务器集群，进一步在服务器集群列表中选择一个有一定剩余服务能力的备选服务器集群。

在本发明的一实施例中，该一个或多个边缘调度服务器在收到客户端内容请求时执行以下步骤：判断对应的边缘服务器集群是否过载；如果边缘服务器集群是过载，则判断请求中是否带有备选服务器集群的信息：如果带有备选服务器集群的信息，则返回跳转地址，将客户端跳转至备选服务器集群；如果没有带备选服务器集群的信息，则以边缘调度服务器作为客户端与对应的边缘服务器集群内的缓存服务器的代理，提供服务；如果边缘服务器集群不是过载，则以边缘调度服务器作为客户端与该缓存服务器的代理。

在本发明的一实施例中，在该一个或多个边缘调度服务器中每隔一定时间获取一次节点的带宽数据，然后据此计算得到下一个时间段内，本地允许的连接数，且在下一个时间内，由连接数决定的前几个请求由对应的边缘服务器集群服务，而之后的请求则再次跳转到备选服务器集群。

本发明由于采用以上技术方案，可以在中心调度服务器获取客户请求，并返回首选服务器集群和备选服务器集群，且在边缘服务器集群根据本地服务器集群的带宽和负载，对中心调度的分配进行校正。通过中心调度的宏观控制和边缘调度的调整，整个系统可以达到成本/质量较优的同时，边缘集群不会超负荷。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1示出根据本发明一实施例的网络实施环境。

图2示出本发明一实施例的调度系统框图。

图3示出本发明一实施例的中心调度模块工作流程。

图4示出本发明一实施例的边缘调度模块工作流程。

图5示出本发明一实施例的客户端模块工作流程。

具体实施方式

已知HTTP调度分为中心模式和边缘模式。这两种模式有各自的特点，因而在实践中都得到一定程度的应用。但是这两种模式也有各自的缺陷。中心模式的缺陷在于，该模式在进行流量调度前需要收集一段时间的CDN平台数据，外加决策的时间，可能会有延迟，导致误差。而且由于HTTP调度自身的局限，进行流量控制时，只能保证按比例分配请求，不能保证流量的比例与请求是对等的。即该模式有误差的同时，也有调控不准确的问题。边缘模式的缺陷在于，该模式集群间的调度通过DNS进行，无法在集群间进行内容控制，数据冗余量大，浪费存储空间和带宽资源。且该模式的控制器部署在边缘集群中，在控制集群过载时，不能保证将流量引导到最合适的集群中。

本发明的实施例将描述一种新型的HTTP调度方法，其提供优于中心模式和边缘模式的性能。

图1示出根据本发明一实施例的网络实施环境。参考图1所示，一个内容分发网络100通常包括一个中心决策服务器101，多个中心调度服务器102，多个边缘服务器集群110，这些装置通过互联网连接在一起。各边缘服务器集群110中配置有边缘调度服务器111和缓存服务器112。中心调度服务器102可以直接与中心决策服务器101相连，也可以通过额外的网络103与中心决策服务器101相连。

许多客户端120可以连接到内容分发网络100，从而获得所请求的内容。

中心决策服务器101配置为根据全局的服务器集群的带宽、负载信息、网络状况和带宽成本信息，生成中心决策文件。

各中心调度服务器102配置为执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择首选服务器集群，并向客户端返回一个带有首选服务器集群及备用服务器集群的跳转URL(Uniform Resource Locator，统一资源定位器)。如果需要各中心调度服务器102可以同时选择备用服务器集群，并向客户端返回一个带有备用服务器集群的跳转URL。URL是互联网上标准资源的地址。首选服务器集群是优先供客户端120请求内容的服务器集群。备用服务器集群是当首选服务器集群过载或其他无法响应请求的情形时，供客户端120请求内容的服务器集群。

边缘调度服务器111配置为在收到客户端内容请求时，获取本地服务器集群(即边缘调度服务器111所在的服务器集群)的带宽和负载情况，据此判断请求是否应该引导到备用服务器集群。缓存服务器112负责提供客户端120需要的内容。

图2示出本发明一实施例的调度系统框图。参考图2所示，典型的调度系统包括中心决策服务器101、中心调度服务器102以及边缘调度服务器111，为客户端120提供服务。客户端120进行内容的请求和跟踪，并将文件保存，以及展示内容。中心决策服务器101中可存储并执行中心决策模块201。中心决策模块201执行时，将中心决策服务器101配置为能够根据全局的服务器集群的带宽和负载信息，生成中心决策文件，并传输给中心调度服务器102。中心调度服务器102中可存储并执行中心调度模块202。中心调度模块202执行时，将中心调度服务器102配置为执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择首选服务器集群和可选的备用服务器集群，并向客户端120返回一个带有首选服务器集群及可选的备用服务器集群的跳转URL。边缘调度服务器111中可存储并执行边缘调度模块203。边缘调度模块203执行时，将边缘调度服务器111配置为获取本地服务器集群的带宽和负载情况，判断请求是否应该引导到备用服务器集群，如果这时有备用服务器集群的话。

边缘调度服务器111中还可储存并执行本地负载均衡模块204。本地负载均衡模块204执行时，将边缘调度服务器111配置为用作缓存服务器112的代理。

各个服务器101、102、111可包括处理器、内存(Memory)和存储器(Storage)。各个模块，如中心决策模块201、中心调度模块202、边缘调度模块203和本地负载均衡模块204可以以软件形式储存在存储器中，并可载入到内存中，由处理器执行。

在本系统中，中心调度服务器获取客户请求后，返回了首选服务器集群和备选服务器集群。在作为首选服务器集群的边缘服务器集群中，会根据本地服务器集群的带宽和负载，对中心调度的分配进行校正，例如让客户请求跳转到备选服务器集群。因而本系统通过中心调度的宏观控制和边缘调度的调整，整个系统可以达到成本/质量较优的同时，边缘集群不会超负荷。

图3示出本发明一实施例的中心决策和调度服务器工作流程。参考图3所示，在步骤301，中心决策服务器101负责收集平台所有边缘服务器集群的带宽和负载，周期性生成包含覆盖域的权值等信息的中心决策文件。在步骤302，中心决策服务器101发送文件至所有的中心调度服务器102。覆盖域是根据客户访问内容的站点和地址(如IP地址)所在地将流量分割而成的地理区域和用户范围的组合。地理区域例如是覆盖一个省或者一个市。用户范围例如是一个预定的用户群体。覆盖域中可包含多个边缘服务器集群，即多个组。通过集群的权值对覆盖域的各集群的流量进行控制。

具体的流程包括：

1)通过以下方法预测节点的带宽值：

获取节点最近时间点对应的带宽数据，将其中最大和最小的数据去除，然后使用最小二乘法，对数据进行拟合以下公式：

bw＝a*t+b

计算得到a和b，然后将一分钟后的时刻t'代入，计算得到预测带宽值BW_pop。

2)遍历所有的覆盖域使以下条件得到满足：

定义：1、farm为一个边缘服务器集群，为中心决策服务器101权值调度的基本单位；2、多个属于共同区域的farm组成一个pop,pop是与运营商协定的多个服务器集群集合的网络接入点；

集群带宽的改变量：

ΔBW_farm＝ΔW_farm*BW_cover/ΣW_farm

网络接入点的带宽为属下的集群带宽之和：

BW_pop＝ΣBW_farm

集群新的带宽值应不大于集群的服务能力，控制集群流量在额定上限：

Capacity_farm>＝BW_farm+ΔBW_farm

节点新的带宽值应不大于集群的带宽上限：

Capacity_pop>＝BW_pop+ΣΔBW_farm

在以上的限制条件下，中心决策服务器尝试找到一个解，使Σ|ΔBW_pop|最小，也就是在覆盖域多个集群间流量变动最小。这样既保证了节点带宽的稳定，同时减少了因带宽在节点间的迁移而导致的缓存服务器112命中率下降问题。

说明：1、BW_farm表示farm带宽，BW_cover表示覆盖域带宽，W_farm表示farm权值，Capacity_farm表示farm额定可服务带宽，Capacity_pop表示pop额定可服务带宽，Δ表示权值调控后的变化量；

3)最后得到每个集群在每个覆盖域中的权值比例(即W_farm)。

在步骤303，客户端120会发送原始请求URL。

在步骤304，中心调度服务器102会得到客户端的地址及请求内容。

在步骤305，中心调度服务器102通过判断客户所属的服务群体，得到服务集群列表。

在步骤306，中心调度服务器102根据URL进行散列(HASH)计算和权值随机计算，在服务集群列表中选择一个首选服务器集群。

在步骤307，备选服务集群选择判断，如需要选择备选服务集群，则在服务器集群列表中选择一个备选服务器集群，并保证备选服务器集群有一定剩余服务能力。

在步骤308，中心调度服务器102根据原始请求URL、首选服务器集群和备选服务器集群，生成新的跳转URL，并返回客户端120。

其中，首选服务器集群IP和备选服务器集群IP的确定方法示例如下：

1)根据请求的IP和域名确定覆盖域；

2)统计URL的访问情况，并确定该URL是否为热点URL

3)如果URL为热点URL，则根据覆盖域内集群间的权值比例，随机得到首选IP；如果URL为非热点URL，则根据URL进行散列计算，得到首选IP；

4)如果URL为热点URL，将首选IP所在的集群去除后，根据权值比例，从可选的备选服务器集群中重新随机选择得到一个IP；

如果URL为非热点URL，则不选择备选集群。

其中，考虑到热点URL被访问的次数相对较多，缓存服务器112缓存这些URL后一般还会有多次的访问。所以可以通过调度热点URL来保证集群间的负载均衡。另外非热点URL的访问次数较少，通过对URL进行散列可以保证分配的稳定性，减少缓存服务器112之间的内容重复性。

图4示出本发明一实施例的边缘调度服务器工作流程。参考图4所示，在步骤401，客户端120发送请求，该请求由中心调度服务器102跳转得到。在步骤402，边缘调度服务器111得到请求。在步骤403，边缘调度服务器111判断本地服务器集群是否过载，如果是，在步骤404边缘调度服务器111进一步判断请求中是否带有备选IP的信息；如果带有备选服务器集群的信息，则在步骤405返回跳转URL，将客户端跳转至备选服务器集群；如果没有带备选服务器集群的信息，则在步骤406边缘调度服务器111作为客户端120与本地的缓存服务器112的代理，提供服务。如果本地服务器集群不是过载，则边缘调度服务器111作为客户端120与本地的缓存服务器112的代理，提供服务。

其中，边缘调度再次跳转判断方法如下：

1)边缘调度服务器111每隔一定时间(设为interval，如10s)，获取一次节点的带宽数据BW，然后代入以下公式：

Request_Allow＝max(0,Capacity-BW)/BW_Per_Request

(其中，Capacity是节点的带宽上限)

得到下一个interval时间段内，本地允许的连接数Request_Allow。

2)获取本地服务器集群的负载Load_current，和负载阈值Load_max。如果Load_current>＝Load_max，则下一个interval内，所有请求都跳转到备选IP。

3)在下一个interval内，前Request_Allow个请求由本地服务，而之后的请求则再次跳转到备选IP。

图5示出本发明一实施例的客户端工作流程。参考图5所示，在步骤501，客户端120向中心调度服务器102发送请求。在步骤502，客户端120获取中心调度服务器102返回的302跳转响应。在步骤503，客户端120向边缘调度服务器111发送跳转后的请求。在步骤504，如果得到的响应为302跳转，则在步骤505继续执行步骤。在步骤506，得到边缘调度服务器111直接返回内容，保存至本地或显示在界面上。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (10)

1.一种内容分发网络的HTTP调度系统，包括：

中心决策服务器，配置为根据全局的服务器集群的带宽和负载信息，生成中心决策文件；

一个或多个中心调度服务器，连接该中心决策服务器，该中心调度服务器配置为执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择一首选服务器集群，并决定是否同时选择一备用服务器集群，然后向该客户端返回一个带有该首选服务器集群的跳转地址，以及当选择了备用服务器集群时，同时向该客户端返回一个带有该备用服务器集群的跳转地址；

一个或多个边缘调度服务器，设置在对应的边缘服务器集群内，各边缘调度服务器配置为在收到客户端内容请求时，如果有备用服务器集群，则获取对应的边缘服务器集群的带宽和负载情况，据此判断请求是否应该引导到备用服务器集群。

2.如权利要求1所述的内容分发网络的HTTP调度系统，其特征在于，该中心决策服务器设定多个覆盖域中每一覆盖域内的多个集群的权值以对各集群的流量进行控制，其中该多个覆盖域是根据客户端访问内容的站点和物理地址所在地预先划分而成。

3.如权利要求1所述的内容分发网络的HTTP调度系统，其特征在于，该中心调度服务器配置为根据客户端请求进行散列计算和权值随机计算，在服务集群列表中选择一首选服务器集群，且如果决定选择备选服务器集群，进一步在服务器集群列表中选择有一定剩余服务能力的备选服务器集群。

4.如权利要求1所述的内容分发网络的HTTP调度系统，其特征在于，该一个或多个边缘调度服务器配置为在收到客户端内容请求时，判断对应的边缘服务器集群是否过载，如果是，则判断请求中是否带有备选服务器集群的信息，如果带有备选服务器集群的信息，则返回跳转地址，将客户端跳转至备选服务器集群，如果没有带备选服务器集群的信息，则以边缘调度服务器作为客户端与对应的边缘服务器集群内的缓存服务器的代理，提供服务；如果对应的边缘服务器集群不是过载，则以边缘调度服务器作为客户端与该缓存服务器的代理。

5.如权利要求1所述的内容分发网络的HTTP调度系统，其特征在于，该一个或多个边缘调度服务器配置为每隔一定时间获取一次节点的带宽数据，然后据此计算得到下一个时间段内，本地允许的连接数，且在下一个时间内，由连接数决定的前几个请求由对应的边缘服务器集群服务，而之后的请求则再次跳转到备选服务器集群。

6.一种内容分发网络的HTTP调度方法，包括以下步骤：

中心决策服务器根据全局的服务器集群的带宽、负载信息、网络状况和成本信息，生成中心决策文件；

连接该中心决策服务器的一个或多个中心调度服务器执行该中心决策文件，在收到客户端内容请求时，根据客户端所在的地理位置及请求内容，选择一首选服务器集群，并决定是否同时选择一备用服务器集群，然后向该客户端返回一个带有该首选服务器集群的跳转地址，以及当选择了备用服务器集群时，同时向该客户端返回一个带有该备用服务器集群的跳转地址；

设置于对应的边缘服务器集群内且连接该一个或多个中心调度服务器的一个或多个边缘调度服务器，在收到客户端内容请求时，如果有备用服务器集群，则获取对应的边缘服务器集群的带宽和负载情况，判断请求是否应该引导到备用服务器集群。

7.如权利要求6所述的内容分发网络的HTTP调度方法，其特征在于，在该中心决策服务器生成决策文件的步骤包括：设定多个覆盖域中每一覆盖域内的多个集群的权值以对各集群的流量进行控制，其中该多个覆盖域是根据客户端访问内容的站点和物理地址所在地预先划分而成。

8.如权利要求6所述的内容分发网络的HTTP调度方法，其特征在于，在该中心调度服务器中执行以下步骤：

根据判断客户所属的服务群体，得到服务集群列表；

根据客户端请求进行散列计算和权值随机计算，在服务集群列表中选择一个首选服务器集群；

如果决定选择备选服务器集群，进一步在服务器集群列表中选择一个有一定剩余服务能力的备选服务器集群。

9.如权利要求6所述的内容分发网络的HTTP调度方法，其特征在于，该一个或多个边缘调度服务器在收到客户端内容请求时执行以下步骤：

判断对应的边缘服务器集群是否过载；

如果边缘服务器集群是过载，则判断请求中是否带有备选服务器集群的信息：如果带有备选服务器集群的信息，则返回跳转地址，将客户端跳转至备选服务器集群；如果没有带备选服务器集群的信息，则以边缘调度服务器作为客户端与对应的边缘服务器集群内的缓存服务器的代理，提供服务；

如果边缘服务器集群不是过载，则以边缘调度服务器作为客户端与该缓存服务器的代理。

10.如权利要求6所述的内容分发网络的HTTP调度方法，其特征在于，在该一个或多个边缘调度服务器中每隔一定时间获取一次节点的带宽数据，然后据此计算得到下一个时间段内，本地允许的连接数，且在下一个时间内，由连接数决定的前几个请求由对应的边缘服务器集群服务，而之后的请求则再次跳转到备选服务器集群。