CN103347068B - 一种基于代理集群网络缓存加速方法 - Google Patents

Abstract

本发明公开了一种基于代理集群网络缓存加速方法，它主要采用一种集中控制的方式，Load_balancer通过查询SPH表并执行Probabilistic的负载均衡策略将用户的请求分发到合适的Proxy上，Proxy通过hash的方式判断缓存是否命中，若命中，则直接将代理中的缓存返还给客户端，否则代替客户向源站请求，并将响应交给客户端。通过建立站点和Proxy集之间的映射关系使得Load_balancer上不用维护一张异常庞大的文件路由表，避免了Load_balancer出现瓶颈。该方法能够对局域网、城域网中的用户起到有效的加速作用。

Description

一种基于代理集群网络缓存加速方法

技术领域

本发明涉及计算机网络技术，具体是一种基于代理集群网络缓存加速方法，该方法通过将大量重复的静态内容进行缓存，从而使得用户无需去源站请求资源，不仅缓解了现有骨干网拥塞的状况，而且使得用户获得了更好的体验质量。

背景技术

随着互联网技术的飞速发展，人们对互联网上信息量的需求与日俱增，对体验质量的要求也越来越高。各个运营商之间网络资源分配的不均和糟糕的接入时延，以及大量重复内容的访问给骨干网带来了沉重的负担。据思科预计，到2016年全球将会产生高达1.3ZB的网络流量，是2011年全球网络流量的4倍，届时骨干网将会彻底的瘫痪。随着骨干网拥堵不堪的现状愈演愈烈，用户的体验质量变得越来越糟糕。较为明智的做法是在网络出口处设置一个缓存系统，以便将重复的数据流缓存在缓存系统中，同样的用户请求将直接从缓存系统中获取资源，这样不仅解决了骨干网的拥堵状况，而且显著提高了用户的体验质量。

Web中的ProxyServer（代理服务器）位于用户和源服务器之间，它一般具有一个较大的缓冲存储器，负责暂存用户近期访问过的数据。这样，被频繁访问的数据就会被暂时缓存，避免了已有内容的重复请求和传送，减少了网络流量。ProxyServer的缓冲存储器在存满内容后，将根据某种策略进行替换，并且通过相应的算法保证缓存一致性。一般情况下使用ProxyServer的网络与未使用ProxyServer的网络相比，节省网络带宽50%左右。同时，由于客户机与ProxyServer之间的Intranet内部网通常是LAN，速度比ProxyServer到WAN的服务器要快得多，用户在访问缓存中的暂存数据时能够节省大量的时间，从而起到网络加速的作用。显然，当前WebProxyServer能够提高用户的体验质量，能够在一定程度上节省骨干网的带宽。然而，由于现有的ProxyServer没有做成集群，如果用户的数量过多还是会成为瓶颈，而且由于存储空间的有限也不可能缓存足够多的热点资源。

CDN属于另一种形式的网络加速，它通过在靠近用户的边缘处放置大量的结点服务器，从而形成了在现有的网络基础之上的一层覆盖网络。用户的请求被定向到离其最近的边缘服务器上，避开了网络的拥堵，从而请求可以被更快的响应，而且在极大程度上节省了骨干网的带宽，缓解了骨干网的拥堵。然而CDN部署是针对特定的内容提供商的，各个内容提供商分别部署自己的CDN系统，这样整个系统的成本就会非常大，而且无法做到同时对纷杂的互联网流做加速。

发明内容

本发明所要解决的技术问题是提供了一种基于代理集群的网络缓存加速方法，实现了将现有Proxy服务器集群化后对局域网、城域网等网络的加速，实现的成本及开销非常小。

本发明所述的一种基于代理集群网络缓存加速方法，该方法所应用的网络环境包括用户、本地DNS服务器、Load_balancer服务器及Proxy服务器，该方法包括以下步骤：

1）用户首先向本地DNS服务器发送服务请求；

2）本地DNS服务器将用户请求解析到Load_balancer服务器上；

3）Load_balancer服务器动态维护一张SPH表，同时周期性接收下级Proxy上报的负载状况信息，在接到用户请求后根据Probabilistic算法来选择合适的Proxy服务器给用户；

4）Proxy服务器收到用户请求后，首先对用户的请求做一个hash运算，得到对应资源的缓存目录；然后到得到的缓存目录中去查找是否存在该缓存文件，若缓存命中则会直接将缓存文件返还给客户端；反之若缓存没有命中则会代替用户去源站请求，将请求得到的资源缓存在先前计算得到的缓存目录中。

步骤3）中所述Load_balancer服务器中的SPH表中，每个条目对应于一个SPHNode的结构体，该SPHNode结构体中记录了站点的Hash值、Proxy类表、热点值及热点等级值，所有SPHNode结点形成一个链表的数据结构。

步骤3）的具体过程为：

2.1）添加操作

当用户的访问请求到达Load_balancer服务器上时，Load_balancer服务器首先会依据站点的名称进行hash运算，然后根据hash运算后的结果在SPH表中进行Hash匹配，若匹配不到则触发系统新建一个条目，并进行初始化工作；在初始化的过程中，依据Leastload策略选择一个合适的Proxy用来处理此站点的请求，并将此Proxy记录在Proxy列表里，此站点的热点置为1，热点等级初始化为0；

2.2）更新操作

在上一步进行Hash匹配后，若匹配了相应的条目，则更新对应条目的热点值，按照每请求加一的原则进行更新；若热点达到了设定的热点等级，则继续对热点等级进行更新，继而触发执行Leastload负载均衡策略选择一个合适的Proxy，并添加到Proxy列表中；反之没有达到设定的热点等级，则执行Probabilistic算法选择一个Proxy处理相应的用户请求。

作为本发明的改进，对一些访问量小的站点对应的条目必须定时进行清理，过程为：当用户的站点请求到来时就将其对应的SPHNode结点放到链表的头部，最不经常访问的站点对应的SPHNode结点就会沉到链表的尾部，当进行周期性更新时将第MaxEntry个结点以后的都删除。

Proxy周期性的向Load_balancer上报其负载状况信息，负载信息包括CPU、内存、及磁盘状况；Load_balancer将负载信息进行加权后得到一个最终的负载均衡因子并保存在Node_Load_Status的链表中；负载均衡因子按照如下公式进行计算

μ_i=ω₁*cpu_info+ω₂*mem_info+ω₃*disk_info

其中μ_i为第i个Proxy的负载因子，ω₁、ω₂、ω₃分别为CPU、内存、磁盘的加权因子。

本发明构建了一个Proxy的集群系统，有效解决了单一Proxy缓存不足，易成为系统瓶颈。它支持http协议，能够对纷杂的http流做加速。Load_balancer上维护一张“站点hash-代理-热点”（以下简称SPH）的表，能够将各个站点与Proxy做一对多的映射。我们设计了一种Probabilistic的负载均衡策略，此负载均衡策略能够选择一个合适的Proxy为用户提供服务。Proxy通过一种hash的方式来确定请求的资源是否命中，并根据命中与否来做出是直接响应用户还是代替用户向源站请求。通过建立站点和Proxy集之间的映射关系使得Load_balancer上不用维护一张异常庞大的文件路由表，避免了Load_balancer出现瓶颈。传统最小负载均衡策略由于是周期性的更新负载信息，这样可能导致当前负载最小的服务器负载激增。这里的Probabilistic负载均衡策略正好能够避免这种情况的发生。此网络加速方法能够对局域网、城域网中的用户起到很好的加速作用。

附图说明

图1为网络加速系统的拓扑结构图，

图2为用户请求的流程图。

具体实施方式

以下结合附图对本发明作进一步详细描述。

图1所示为本发明的网络拓扑结构，其中包含了本地DNS服务器、Load_balancer服务器(负载均衡)、及Proxy服务器三个部分。本地DNS服务器用来将请求解析到Load_balancer上，Load_balancer服务器负责选择一个合适的Proxy给用户，Proxy服务器最终服务用户，帮助用户获取所需的资源或是直接将对应的缓存资源交付给用户。

本发明通过在网络的出口处布置若干Proxy服务器，将用户的请求响应缓存在Proxy服务器当中，使得对于已缓存有效的流不用去源站去访问，通过这种方式能够有效的减少骨干网的拥塞而且能够在很大程度上提高用户的体验质量。其特点是：（1）集中控制的两级架构（2）各级架构分工明确，Load_balancer服务器负责确定由哪个Proxy服务器提供服务，Proxy服务器负责给用户提供服务。

由Load_balancer服务器建立一个站点与Proxy服务器集群的一对多映射，Load_balancer通过LRU策略维护这种一对多的映射，Load_balancer服务器将请求根据Proxy服务器集中的各个服务器的负载状况以不均等的概率随机分配给其中一个Proxy服务器。

而Proxy服务器通过Hash的方式来维护缓存，Proxy周期性的清理低命中率的缓存，Proxy服务器周期性的向上级上报其负载状况。

图2呈现了整个的处理流程。其中分为两种情况，上面一组是Proxy服务器缓存命中的流程，下面一组呈现的是Proxy服务器缓存没有命中时所走的流程。

下面分别介绍Load_balancer和Proxy的详细设计。

Load_balancer

Load_balancer负责选择一个合适的Proxy给用户。它主要负责三方面的工作。其一，动态的维护一张SPH的表，主要包括条目的添加、更新、删除操作。其二，周期性接收下级Proxy上报的负载状况信息，并根据Probabilistic算法来选择合适的Proxy。

1）维护SPH表

SPH表结构如表1所示

站点Hash	Proxy	热点	热点等级

表1

整个SPH表存放在内存中，每个条目对应于一个SPHNode的结构体。SPHNode的结构体中记录了站点的Hash值、Proxy类表、热点值及热点等级等值。所有SPHNode结点形成一个链表的数据结构。

（1）添加操作

当用户的访问请求到达Load_balancer上时，Load_balancer首先会依据站点的名称进行hash运算，然后根据hash后的结果在SPH表中进行Hash匹配，若匹配不到则触发系统新建一个条目，并进行初始化工作。在初始化的过程中，依据LL（Leastload）策略选择一个合适的Proxy用来处理此站点的请求，并将此Proxy记录在Proxy列表里，此站点的热点置为1，热点等级初始化为0。

（2）更新操作

在上一步进行Hash匹配后，若匹配了相应的条目，则更新对应条目的热点值，按照每请求加一的原则进行更新。若热点达到了设定的热点等级，则继续对热点等级进行更新，继而触发执行LL负载均衡策略选择一个合适的Proxy，并添加到Proxy列表中。反之没有达到设定的热点等级，则执行Probabilistic算法选择一个Proxy处理相应的用户请求。（热点的等级值的设定可以依据实际运营情况来决定。）

（3）删除操作

一些访问量小的站点对应的条目必须定时进行清理，防止条目量过于庞大影响查找效率，甚至成为整个系统的瓶颈。条目的删除利用LRU策略，当用户的站点请求到来时就将其对应的SPHNode结点放到链表的头部，最不经常访问的站点对应的SPHNode结点就会沉到链表的尾部，当进行周期性更新时可以将第MaxEntry个结点以后的都删除。

2）Proxy负载状况信息获取及Probabilistic负载均衡策略

Proxy会周期性的向Load_balancer上报其负载状况信息，负载信息包括CPU、内存、及磁盘状况等。Load_balancer将负载信息进行加权后得到一个最终的负载均衡因子并保存在一个Node_Load_Status链表的数据结构当中，此链表的结点包含Proxy和负载因子信息。负载均衡因子按照如下公式进行计算

μ_i=ω₁*cpu_info+ω₂*mem_info+ω₃*disk_info

其中μ_i为第i个Proxy的负载因子，ω₁、ω₂、ω₃分别为CPU、内存、磁盘的加权因子。若当前站点的Proxy集超过一个服务器，就执行Probabilistic策略。Load_balancer根据用户所访问的站点，在此站点对应的Proxy集当中以不均等的概率随机选择一个合适的Proxy，各个服务器处理此请求的概率与当前其负载是成反比的，服务器负载越重，相应处理此请求的概率反而越小，这样服务器集中的每个服务器都会有机会处理此请求。之所以采用Probabilistic策略是与Proxy周期性向Load_balancer发送其负载状况相关的，采用这种策略可以有效防止当某个站点的访问量激增的情况下，某个服务器负载快速增长以致于过载。

假设当前服务器集有5台服务器，对应的负载因子信息分别为μ₁、μ₂、μ₃、μ₄、μ₅，并且有μ₃<μ₅<μ₁<μ₄<μ₂，那么5台服务器对应获得请求的概率分别为 $P1=\frac{{\mathrm{\&mu;}}_1}{\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_i},P2=\frac{{\mathrm{\&mu;}}_3}{\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_i},P3=\frac{{\mathrm{\&mu;}}_2}{\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_i},P4=\frac{{\mathrm{\&mu;}}_5}{\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_i},P5=\frac{{\mathrm{\&mu;}}_4}{\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_i}$

Proxy

用户的请求到达Load_balancer后，Load_balancer通过一系列的操作进行决策并选择合适的Proxy，并将请求分发到所选择的Proxy上。Proxy首先对用户的请求做一个hash运算，得到对应资源的缓存目录。然后到得到的缓存目录中去查找是否存在该缓存文件，若缓存命中则会直接将缓存文件返还给客户端，反之若缓存没有命中则会代替用户去源站请求，将请求得到的资源缓存在先前计算得到的缓存目录中。

1）缓存策略

当一个新的访问请求到达Proxy后，Proxy会将整个uri通过hash运算得到一个hash值，此hash值就是对应请求资源的缓存目录。Proxy代替用户从源服务器获取资源并存在Proxy上，存储的文件名为uri的hash值，而存放目录取hash值的最后六位构成一个三级目录。第一层目录是1个字母，第二层为2个字母，第三层为3个字母，保存的文件名类似/xok/to/cache/e/4a/1a7/0f1019b0db2f97d17c2238c0271a74ae，其中/xok/to/cache为缓存文件的存储根目录。这样同样的请求再次到来时，根据hash运算后的hash值，可以很容易的得到对应缓存文件的存储目录及缓存文件名，因而可以在大量的缓存文件中很快检索到该请求所对应的缓存文件，从而可以快速的为用户提供服务，以达到良好的体验质量。

2）缓存清理

Proxy中的缓存会周期性的进行清理，Proxy中会维护一张表，表中记录有缓存的hash值、命中数、DState，表结构如下表所示

请求hash值	命中数	DState

表2

每次缓存命中后都会将对应的命中数进行加1更新，并与阈值α进行比较，若大于α则置DState为0，否则保持1。等到缓存清理的周期到来时会，删除表项中DState为1的项所对应的缓存，并且删除对应的条目，最后将表中剩余项的所有缓存的命中数全部置0。

3）缓存一致性

此系统仅仅支持http协议，缓存一致性可以按照http协议中定义的相关的规则来实现，在此不再累述。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (2)

1.一种基于代理集群网络缓存加速方法，该方法所应用的网络环境包括用户、本地DNS服务器、Load_balancer服务器及Proxy服务器，其特征在于该方法包括以下步骤：

1）用户首先向本地DNS服务器发送服务请求；

2）本地DNS服务器将用户请求解析到Load_balancer服务器上；

3）Load_balancer服务器动态维护一张SPH表,即站点hash-代理-热点表，所述SPH表中，每个条目对应于一个SPHNode的结构体，该SPHNode结构体中记录了站点的Hash值、Proxy类表、热点值及热点等级值，所有SPHNode结点形成一个链表的数据结构；Load_balancer服务器同时周期性接收下级Proxy上报的负载状况信息，在接到用户请求后根据Probabilistic算法来选择合适的Proxy服务器给用户；具体过程为：

（1）添加操作

当用户的访问请求到达Load_balancer服务器上时，Load_balancer服务器首先会依据站点的名称进行hash运算，然后根据hash运算后的结果在SPH表中进行Hash匹配，若匹配不到则触发系统新建一个条目，并进行初始化工作；在初始化的过程中，依据Leastload策略选择一个合适的Proxy用来处理此站点的请求，并将此Proxy记录在Proxy列表里，此站点的热点置为1，热点等级初始化为0；

（2）更新操作

在上一步进行Hash匹配后，若匹配了相应的条目，则更新对应条目的热点值，按照每请求加一的原则进行更新；若热点达到了设定的热点等级，则继续对热点等级进行更新，继而触发执行Leastload负载均衡策略选择一个合适的Proxy，并添加到Proxy列表中；反之没有达到设定的热点等级，则执行Probabilistic算法选择一个Proxy处理相应的用户请求；

（3）删除操作

一些访问量小的站点对应的条目必须定时进行清理，条目的删除利用LRU策略，当用户的站点请求到来时就将其对应的SPHNode结点放到链表的头部，最不经常访问的站点对应的SPHNode结点就会沉到链表的尾部，当进行周期性更新时可以将第MaxEntry个结点以后的都删除；

4）Proxy服务器收到用户请求后，首先对用户的请求做一个hash运算，得到对应资源的缓存目录；然后到得到的缓存目录中去查找是否存在该缓存文件，若缓存命中则会直接将缓存文件返还给客户端；反之若缓存没有命中则会代替用户去源站请求，将请求得到的资源缓存在先前计算得到的缓存目录中。

2.根据权利要求1所述的基于代理集群网络缓存加速方法，其特征在于，Proxy周期性的向Load_balancer上报其负载状况信息，负载信息包括CPU、内存、及磁盘状况；Load_balancer将负载信息进行加权后得到一个最终的负载均衡因子并保存在Node_Load_Status的链表中；负载均衡因子按照如下公式进行计算

=*cpu_info+*mem_info+*disk_info

其中为第i个Proxy的负载因子，、、分别为CPU、内存、磁盘的加权因子。