CN101895550B - 一种应用于互联网网站的兼容动静态内容的缓冲加速方法 - Google Patents

Abstract

本发明涉及一种应用于互联网网站的兼容动静态内容的缓冲加速方法，它解决了动态网站不能被加速的问题。本发明包括：动态缓冲服务器分别与客户源服务器通讯，并抓取客户源服务器的数据；用户PC、移动用户终端通过互联网访问动态缓冲服务器集群中的数据。其中，主缓冲服务器通过内部网络LAN与非关系型数据库服务器、WEB输出服务器相连；并且主缓冲服务器通过广域网与客户源服务器相连；由主缓冲服务器将缓冲数据发布到非关系型数据库服务器和WEB输出服务器中。本发明的优点在于：通用性强：兼容所有的目前已知的动静态网站构造方式；加速性强：加速后的网页只相当与静态网页对服务器的负载；扩展性好：本发明便于分布管理与并行系统组合。

Description

一种应用于互联网网站的兼容动静态内容的缓冲加速方法

技术领域

本发明属于互联网络技术领域，特别涉及一种互联网网站的兼容动静态内容的缓冲加速系统及方法。

背景技术

随着多媒体通信的发展和普及，人们对Internet内容和应用的需要正在飞速增长，但是网络用户对多媒体内容的访问率却提升很慢，造成这种局面的根本原因是用户访问网站的速度太慢。

CDN(Content Delivery Network，内容发布与速递网络)技术是近年来在美国首先兴起并迅速发展起来的一种解决互联网性能不佳问题的有效手段，其基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。对用户来说，通过CDN系统，得到响应的时间被大大缩短，连接质量也大大提高，从而大大提高了上网访问的总体性能。在短短几年内，CDN技术发展迅速，众多的网站纷纷采用CDN服务来改善其服务质量，为用户带来更好的上网体验。对网站来说，CDN技术的采用有效地提高了网站的连接性能和对用户的响应速度。(引自http://windows.chinaitlab.com/other/383 115.html)

目前，在互联网网站加速领域主要使用的技术是CDN内容分发网络。它是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，造成的用户访问网站的响应速度慢的问题。

通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来讲，内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有“一跳”(Single Hop)之遥。同时，代理缓存是内容提供商源服务器的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验。而CDN又有别于一般的镜像，因为它比镜像更智能，或者可以做这样一个比喻：CDN＝更智能的镜像+缓存+流量导流。因而，CDN可以明显提高Internet网络中信息流动的效率。

总的来说，CDN是一个经策略性部署的整体系统，能够帮助用户解决分布式存储、负载均衡、网络请求的重定向和内容管理等问题；CDN代表了一种基于质量与秩序的网络服务模式。

(引自http://www.chinanetcenter.com/cdn/cdngainian.html)

综上所述，一般的解决方案只能通过架设专线和设置多服务器应付。所以，CDN所解决的问题仅是网站静态的部分；CDN解决不了所谓“动态网页”或称“网站的动态部分”的加速问题。

发明内容

本发明的目的在于提供一种应用于互联网网站的兼容动静态内容的缓冲加速系统及方法，它具有高效率、高兼容、高扩展的特性，解决了动态网站不能被加速的问题，其主要功能是将动态脚本语言缓冲并存储，而后由HTTP输入输出控制器发布。本发明兼容网站的静态内容。

本发明的技术方案是：

一种互联网网站的兼容动静态内容的缓冲加速系统，它包括：客户源服务器、若干个动态缓冲服务器、用户PC、移动用户终端，其特征在于：动态缓冲服务器分别与客户源服务器通讯，并抓取客户源服务器的数据；用户PC、移动用户终端通过互联网访问动态缓冲服务器集群中的数据。

其中，所述的缓冲服务器，它包括：主缓冲服务器，非关系型数据库服务器、WEB输出服务器，其特征在于：主缓冲服务器通过内部网络LAN与非关系型数据库服务器、WEB输出服务器相连；并且主缓冲服务器通过广域网与客户源服务器相连；由主缓冲服务器将缓冲数据发布到非关系型数据库服务器和WEB输出服务器中。

一种应用于互联网网站的兼容动静态内容的缓冲加速方法，其特征在于：该方法包括：

 A)、通过多线程网站结构扫描软件将目标网站的N级页面全部扫描，获取本域下多个需要缓冲的主机的URL；

B)、通过多线程远程内容抓取服务，将要缓冲的内容抓取到本地服务器；

C)、通过URL转译技术将URL按一定规则转换成以静态格式结尾的URL地址；其中，所述的规则，它包括：

1).+URL中+号表示空格^add^；

2).空格URL中的空格可以用+号或者编码^space^；

3)./分隔目录和子目录^slash^；

4).？分隔实际的URL和参数^help^；

5).％指定特殊字符^percent^；

6).#表示书签^sharp^；

 7).&URL中指定的参数间的分隔符^and^；

8).＝URL中指定参数的值^equal^。

 D).将内容中要缓冲的URL改写成转译后的URL或中间层动态跳转URL；

 E).将原URL、转换后的URL、和过期时间标签存入高速非关系型数据库；

F).守护进程单元负责将过期的条目重新抓取。

其中，URL(即Uniform/Universal Resource Locator)：统一资源定位符，也被称为网页地址，是因特网上标准的资源的地址(Address)。它最初是由蒂姆·伯纳斯-李发明用来作为万维网的地址的。现在它已经被万维网联盟编制为因特网标准RFCl738了。

所述的高速非关系型数据库，是一种没有关系型数据库复杂，但比关系型数据库速度更快的数据存储技术，它使用简单的键和值存储。

非关系型数据库是相对关系型数据库而言的。关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型由关系数据结物、关系操作集合、关系完整性约束三部分组成。标准数据查询语言SQL是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。

所述的守护进程单元，是指周期性执行的程序集合。

本发明的优点在于：

1、通用性强：兼容所有的目前已知的动静态网站构造方式。兼容所有主流服务器支持的文件格式；

 2、加速性强：相比普通动态网页，加速后的网页只相当于静态网页对服务器的负载；

用APACHEAB测试工具测试结果：测试环境：4×2.0G至强CPU，4G内存，500G硬盘，服务器；动态PHP速度160-300请求/秒，加速后的页面33000请求/秒，降低原站数据负载：加速前用户访问A页面有20000用户同时访问将产生20000次数据库访问，经过加速后用户访问A页面有20000用户同时访问将产生(N＝数据更新次数)次据库访问，负载大大减小。实验结果：该性能提高了100-200倍；

3、扩展性好：本发明便于分布管理与并行系统组合。

附图说明

图1为本发明系统方框图。

图2为本发明中动态缓冲服务器集群构成方框图。

图3为本发明方法步骤流程图。

具体实施方式

下面结合说明书附图及实施例，对本发明作进一步说明。

如图1所示，一种互联网网站的兼容动静态内容的缓冲加速系统系统，它包括：客户源服务器1、若干个动态缓冲服务器2、用户PC 4、移动用户终端5。其中，若干个动态缓冲服务器2分别与客户源服务器1通讯，并抓取客户源服务器1的数据；用户PC 4、移动用户终端5通过互联网3访问动态缓冲服务器集群2中的数据。

如图2所示，本发明中缓冲服务器2，它包括：主缓冲服务器21，非关系型数据库服务器22、WEB输出服务器23。其中，主缓冲服务器21通过内部网络LAN 24与非关系型数据库服务器22、WEB输出服务器23相连；并且主缓冲服务器21通过广域网25与客户源服务器1相连；由主缓冲服务器21将缓冲数据发布到非关系型数据库服务器22和WEB输出服务器23中。

如图3所示，一种应用于互联网网站的兼容动静态内容的缓冲加速方法，其方法步骤包括：

(1)、首先，指定源服务器；

(2)、扫描源服务器：通过多线程网站结构扫描软件将目标网站的N级页面全部扫描：

(3)、获得源服务器要缓冲的URL列表：获取本域下多个需要缓冲的主机的URL；

(4)、抓取：通过多线程远程内容抓取服务，将要缓冲的内容抓取到本地服务器；

(5)、转译URL：通过URL转译技术将URL按如下的规则转换成以静态格式结尾的URL地址；

(6)、将内容中要缓冲的URL改写成转译后的URL或中间层动态跳转URL；

(7)、将原URL、转换后的URL、和过期时间标签存入本发明中的高速非关系型数据库；

(8)、守护进程单元负责将过期的条目重新分析抓取；

(9)、2-7步骤以不同的频率的重复；

(10)、完成目标网站的加速。

上述步骤(5)所述的规则包括：

1).+URL中+号表示空格^add^；

 2).空格URL中的空格可以用+号或者编码^space^；

3)./分隔目录和子目录^slash^；

4).？分隔实际的URL和参数^help^；

5).％指定特殊字符^percent^；

6).#表示书签^sharp^

 7).&URL中指定的参数间的分隔符^and^；

8).＝URL中指定参数的值^equal^。

Claims (1)

1.一种应用于互联网网站的兼容动静态内容的缓冲加速方法，其特征在于：该方法包括：

A)、通过多线程网站结构扫描软件将目标网站的N级页面全部扫描，获取本域下多个需要缓冲的主机的URL；

B)、通过多线程远程内容抓取服务，将要缓冲的内容抓取到本地服务器；

C)、通过URL转译技术将URL按一定规则转换成以静态格式结尾的URL地址；

其中，所述的规则，它包括：

1).+URL中+号表示空格^add^；

2).空格URL中的空格可以用+号或者编码^space^；

3)./分隔目录和子目录^slash^；

4).？分隔实际的URL和参数^help^；

5).％指定特殊字符^percent^；

6).#表示书签^sharp^；

7).&URL中指定的参数间的分隔符^and^；

8).＝URL中指定参数的值^equal^；

D).将内容中要缓冲的URL改写成转译后的URL或中间层动态跳转URL；

E).将原URL、转换后的URL、和过期时间标签存入高速非关系型数据库；

F).守护进程单元负责将过期的条目重新抓取，所述的守护进程单元，是指周期性执行的程序集合。

Images