CN101895550A - 一种互联网网站的兼容动静态内容的缓冲加速系统及方法 - Google Patents
一种互联网网站的兼容动静态内容的缓冲加速系统及方法 Download PDFInfo
- Publication number
- CN101895550A CN101895550A CN 201010232843 CN201010232843A CN101895550A CN 101895550 A CN101895550 A CN 101895550A CN 201010232843 CN201010232843 CN 201010232843 CN 201010232843 A CN201010232843 A CN 201010232843A CN 101895550 A CN101895550 A CN 101895550A
- Authority
- CN
- China
- Prior art keywords
- server
- url
- content
- dynamic
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种互联网网站的兼容动静态内容的缓冲加速系统及方法,它解决了动态网站不能被加速的问题。该系统包括:动态缓冲服务器分别与客户源服务器通讯,并抓取客户源服务器的数据;用户PC、移动用户终端通过互联网访问动态缓冲服务器集群中的数据。其中,主缓冲服务器通过内部网络LAN与非关系型数据库服务器、WEB输出服务器相连;并且主缓冲服务器通过广域网与客户源服务器相连;由主缓冲服务器将缓冲数据发布到非关系型数据库服务器和WEB输出服务器中。本发明的优点在于:通用性强:兼容所有的目前已知的动静态网站构造方式;加速性强:加速后的网页只相当与静态网页对服务器的负载;扩展性好:本发明便于分布管理与并行系统组合。
Description
技术领域
本发明属于互联网络技术领域,特别涉及一种互联网网站的兼容动静态内容的缓冲加速系统及方法。
背景技术
随着多媒体通信的发展和普及,人们对Internet内容和应用的需要正在飞速增长,但是网络用户对多媒体内容的访问率却提升很慢,造成这种局面的根本原因是用户访问网站的速度太慢。
CDN(Content Delivery Network,内容发布与速递网络)技术是近年来在美国首先兴起并迅速发展起来的一种解决互联网性能不佳问题的有效手段,其基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。对用户来说,通过CDN系统,得到响应的时间被大大缩短,连接质量也大大提高,从而大大提高了上网访问的总体性能。在短短几年内,CDN技术发展迅速,众多的网站纷纷采用CDN服务来改善其服务质量,为用户带来更好的上网体验。对网站来说,CDN技术的采用有效地提高了网站的连接性能和对用户的响应速度。(引自http://windows.chinaitlab.com/other/383115.html)
目前,在互联网网站加速领域主要使用的技术是CDN内容分发网络。它是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近取得所需的内容,解决Internet网络拥塞状况,提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因,造成的用户访问网站的响应速度慢的问题。
通过用户就近性和服务器负载的判断,CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来讲,内容服务基于缓存服务器,也称作代理缓存(Surrogate),它位于网络的边缘,距用户仅有“一跳”(Single Hop)之遥。同时,代理缓存是内容提供商源服务器的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验。而CDN又有别于一般的镜像,因为它比镜像更智能,或者可以做这样一个比喻:CDN=更智能的镜像+缓存+流量导流。因而,CDN可以明显提高Internet网络中信息流动的效率。
总的来说,CDN是一个经策略性部署的整体系统,能够帮助用户解决分布式存储、负载均衡、网络请求的重定向和内容管理等问题;CDN代表了一种基于质量与秩序的网络服务模式。
(引自http://www.chinanetcenter.com/cdn/cdngainian.html)
综上所述,一般的解决方案只能通过架设专线和设置多服务器应付。所以,CDN所解决的问题仅是网站静态的部分;CDN解决不了所谓“动态网页”或称“网站的动态部分”的加速问题。
发明内容
本发明的目的在于提供一种应用于互联网网站的兼容动静态内容的缓冲加速系统及方法,它具有高效率、高兼容、高扩展的特性,解决了动态网站不能被加速的问题,其主要功能是将动态脚本语言缓冲并存储,而后由HTTP输入输出控制器发布。本发明兼容网站的静态内容。
本发明的技术方案是:
一种互联网网站的兼容动静态内容的缓冲加速系统,它包括:客户源服务器、若干个动态缓冲服务器、用户PC、移动用户终端,其特征在于:动态缓冲服务器分别与客户源服务器通讯,并抓取客户源服务器的数据;用户PC、移动用户终端通过互联网访问动态缓冲服务器集群中的数据。
其中,所述的缓冲服务器,它包括:主缓冲服务器,非关系型数据库服务器、WEB输出服务器,其特征在于:主缓冲服务器通过内部网络LAN与非关系型数据库服务器、WEB输出服务器相连;并且主缓冲服务器通过广域网与客户源服务器相连;由主缓冲服务器将缓冲数据发布到非关系型数据库服务器和WEB输出服务器中。
一种应用于互联网网站的兼容动静态内容的缓冲加速方法,其特征在于:该方法包括:
A)、通过多线程网站结构扫描软件将目标网站的N级页面全部扫描,获取本域下多个需要缓冲的主机的URL;
B)、通过多线程远程内容抓取服务将要缓冲的内容抓取到本地服务器;
C)、通过URL转译技术将URL按一定规则转换成以静态格式结尾的URL地址;其中,所述的规则,它包括:
1).+URL中+号表示空格^add^;
2).空格URL中的空格可以用+号或者编码^space^;
3)./分隔目录和子目录^slash^;
4).?分隔实际的URL和参数^help^;
5).%指定特殊字符^percent^;
6).#表示书签^sharp^;
7).&URL中指定的参数间的分隔符^and^;
8).=URL中指定参数的值^equal^。
D).将内容中要缓冲的URL改写成转译后的URL或中间层(动态跳转)URL;
E).将原URL、转换后的URL、和过期时间标签存入高速非关系型数据库;
F).守护进程单元负责将过期的条目重新抓取。
其中,URL(即Uniform/Universal Resource Locator):统一资源定位符,也被称为网页地址,是因特网上标准的资源的地址(Address)。它最初是由蒂姆·伯纳斯-李发明用来作为万维网的地址的。现在它已经被万维网联盟编制为因特网标准RFC1738了。
所述的高速非关系型数据库,是一种没有关系型数据库复杂,但比关系型数据库速度更快的数据存储技术,它使用简单的键和值存储。
非关系型数据库是相对关系型数据库而言的。关系数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。标准数据查询语言SQL是一种基于关系数据库的语言,这种语言执行对关系数据库中数据的检索和操作。
所述的守护进程单元,是指周期性执行的程序集合。
本发明的优点在于:
1、通用性强:兼容所有的目前已知的动静态网站构造方式。兼容所有主流服务器支持的文件格式;
2、加速性强:相比普通动态网页,加速后的网页只相当与静态网页对服务器的负载;
用APACHE AB测试工具测试结果:测试环境:4×2.0G至强CPU,4G内存,500G硬盘,服务器;动态PHP速度160-300请求/秒,加速后的页面33000请求/秒,降低原站数据负载:加速前用户访问A页面有20000用户同时访问将产生20000次数据库访问,经过加速后用户访问A页面有20000用户同时访问将产生(N=数据更新次数)次据库访问,负载大大减小。实验结果:该性能提高了100-200倍;
3、扩展性好:本发明便于分布管理与并行系统组合。
附图说明
图1为本发明系统方框图。
图2为本发明中动态缓冲服务器集群构成方框图。
图3为本发明方法步骤流程图。
具体实施方式
下面结合说明书附图及实施例,对本发明作进一步说明。
如图1所示,一种互联网网站的兼容动静态内容的缓冲加速系统系统,它包括:客户源服务器1、若干个动态缓冲服务器2、用户PC 4、移动用户终端5。其中,若干个动态缓冲服务器2分别与客户源服务器1通讯,并抓取客户源服务器1的数据;用户PC 4、移动用户终端5通过互联网3访问动态缓冲服务器集群2中的数据。
如图2所示,本发明中缓冲服务器2,它包括:主缓冲服务器21,非关系型数据库服务器22、WEB输出服务器23。其中,主缓冲服务器21通过内部网络LAN 24与非关系型数据库服务器22、WEB输出服务器23相连;并且主缓冲服务器21通过广域网25与客户源服务器1相连;由主缓冲服务器21将缓冲数据发布到非关系型数据库服务器22和WEB输出服务器23中。
如图3所示,一种应用于互联网网站的兼容动静态内容的缓冲加速方法,其方法步骤包括:
(1)、首先,指定源服务器;
(2)、扫描源服务器:通过多线程网站结构扫描软件将目标网站的N级页面全部扫描:
(3)、获得源服务器要缓冲的URL列表:获取本域下多个需要缓冲的主机的URL;
(4)、抓取:通过多线程远程内容抓取服务将要缓冲的内容抓取到本地服务器;
(5)、转译URL:通过URL转译技术将URL按如下的规则转换成以静态格式结尾的URL地址;
(5)、将内容中要缓冲的URL改写成转译后的URL或中间层(动态跳转)URL;
(6)、将原URL、转换后的URL、和过期时间标签存入本发明中的高速非关系型数据库;
(7)、守护进程单元负责将过期的条目重新分析抓取;
(8)、2-6步骤以不同的频率的重复;
(9)、完成目标网站的加速。
Claims (5)
1.一种互联网网站的兼容动静态内容的缓冲加速系统,它包括:客户源服务器、若干个动态缓冲服务器、用户PC、移动用户终端,其特征在于:动态缓冲服务器分别与客户源服务器通讯,并抓取客户源服务器的数据;用户PC、移动用户终端通过互联网访问动态缓冲服务器集群中的数据。
2.根据权利要求1所述的互联网网站的兼容动静态内容的缓冲加速系统,其特征在于:所述的缓冲服务器,它包括:主缓冲服务器,非关系型数据库服务器、WEB输出服务器;其中,主缓冲服务器通过内部网络LAN与非关系型数据库服务器、WEB输出服务器相连;并且主缓冲服务器通过广域网与客户源服务器相连;由主缓冲服务器将缓冲数据发布到非关系型数据库服务器和WEB输出服务器中。
3.一种应用于互联网网站的兼容动静态内容的缓冲加速方法,其特征在于:该方法包括:
A)、通过多线程网站结构扫描软件将目标网站的N级页面全部扫描,获取本域下多个需要缓冲的主机的URL;
B)、通过多线程远程内容抓取服务将要缓冲的内容抓取到本地服务器;
C)、通过URL转译技术将URL按一定规则转换成以静态格式结尾的URL地址;
D).将内容中要缓冲的URL改写成转译后的URL或中间层(动态跳转)URL;
E).将原URL、转换后的URL、和过期时间标签存入高速非关系型数据库;
F).守护进程单元负责将过期的条目重新抓取。
4.根据权利要求3所述的应用于互联网网站的兼容动静态内容的缓冲加速方法,其特征在于:步骤C)中所述的规则,它包括:
1).+URL中+号表示空格^add^;
2).空格URL中的空格可以用+号或者编码^space^;
3)./分隔目录和子目录^slash^;
4).?分隔实际的URL和参数^help^;
5).%指定特殊字符^percent^;
6).#表示书签^sharp^;
7).&URL中指定的参数间的分隔符^and^;
8).=URL中指定参数的值^equal^。
5.根据权利要求3所述的应用于互联网网站的兼容动静态内容的缓冲加速方法,其特征在于:所述的守护进程单元,是指周期性执行的程序集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010232843 CN101895550B (zh) | 2010-07-16 | 2010-07-16 | 一种应用于互联网网站的兼容动静态内容的缓冲加速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010232843 CN101895550B (zh) | 2010-07-16 | 2010-07-16 | 一种应用于互联网网站的兼容动静态内容的缓冲加速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101895550A true CN101895550A (zh) | 2010-11-24 |
CN101895550B CN101895550B (zh) | 2012-12-26 |
Family
ID=43104617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010232843 Expired - Fee Related CN101895550B (zh) | 2010-07-16 | 2010-07-16 | 一种应用于互联网网站的兼容动静态内容的缓冲加速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101895550B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446226A (zh) * | 2012-01-16 | 2012-05-09 | 上海方正数字出版技术有限公司 | 一种实现NoSQL的键值存储引擎的方法 |
CN103532817A (zh) * | 2013-10-12 | 2014-01-22 | 无锡云捷科技有限公司 | 一种cdn动态加速的系统及方法 |
CN104572748A (zh) * | 2013-10-24 | 2015-04-29 | 贵州广思信息网络有限公司 | 提高前端数据吞吐平台访问速度的方法 |
CN105577558A (zh) * | 2015-12-21 | 2016-05-11 | 浪潮集团有限公司 | 一种提升网站服务器高并发的解决方法 |
CN114513555A (zh) * | 2021-12-29 | 2022-05-17 | 深圳触海科技有限公司 | 基于网址动态链接的跳转方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6820085B2 (en) * | 2001-06-26 | 2004-11-16 | Hitachi, Ltd. | Web system having clustered application servers and clustered databases |
US20040267800A1 (en) * | 2003-06-26 | 2004-12-30 | International Business Machines Corporation | Method and apparatus for reducing index sizes and increasing performance of non-relational databases |
WO2006074072A2 (en) * | 2004-12-30 | 2006-07-13 | Citrix Systems, Inc. | Systems and methods for providing client-side acceleration techniques |
CN101110819A (zh) * | 2007-08-03 | 2008-01-23 | 中国网络通信集团公司 | 一种加快浏览页面切换速度的方法 |
WO2008112770A2 (en) * | 2007-03-12 | 2008-09-18 | Citrix Systems, Inc. | Systems and methods for cache operations |
-
2010
- 2010-07-16 CN CN 201010232843 patent/CN101895550B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6820085B2 (en) * | 2001-06-26 | 2004-11-16 | Hitachi, Ltd. | Web system having clustered application servers and clustered databases |
US20040267800A1 (en) * | 2003-06-26 | 2004-12-30 | International Business Machines Corporation | Method and apparatus for reducing index sizes and increasing performance of non-relational databases |
WO2006074072A2 (en) * | 2004-12-30 | 2006-07-13 | Citrix Systems, Inc. | Systems and methods for providing client-side acceleration techniques |
WO2008112770A2 (en) * | 2007-03-12 | 2008-09-18 | Citrix Systems, Inc. | Systems and methods for cache operations |
CN101110819A (zh) * | 2007-08-03 | 2008-01-23 | 中国网络通信集团公司 | 一种加快浏览页面切换速度的方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446226A (zh) * | 2012-01-16 | 2012-05-09 | 上海方正数字出版技术有限公司 | 一种实现NoSQL的键值存储引擎的方法 |
CN102446226B (zh) * | 2012-01-16 | 2015-09-16 | 北大方正集团有限公司 | 一种实现NoSQL的键值存储引擎的方法 |
CN103532817A (zh) * | 2013-10-12 | 2014-01-22 | 无锡云捷科技有限公司 | 一种cdn动态加速的系统及方法 |
CN103532817B (zh) * | 2013-10-12 | 2017-01-18 | 无锡云捷科技有限公司 | 一种cdn动态加速的系统及方法 |
CN104572748A (zh) * | 2013-10-24 | 2015-04-29 | 贵州广思信息网络有限公司 | 提高前端数据吞吐平台访问速度的方法 |
CN105577558A (zh) * | 2015-12-21 | 2016-05-11 | 浪潮集团有限公司 | 一种提升网站服务器高并发的解决方法 |
CN114513555A (zh) * | 2021-12-29 | 2022-05-17 | 深圳触海科技有限公司 | 基于网址动态链接的跳转方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101895550B (zh) | 2012-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10411956B2 (en) | Enabling planned upgrade/downgrade of network devices without impacting network sessions | |
CN104836821B (zh) | 一种基于路由器设备的网络加速方法、装置和设备 | |
Scellato et al. | Track globally, deliver locally: improving content delivery networks by tracking geographic social cascades | |
CN104054316B (zh) | 用于对sms中心进行负载平衡和建立虚拟专用网络的系统和方法 | |
US20170163723A1 (en) | Autonomic Content Load Balancing | |
CN103200212B (zh) | 一种在云计算环境下实现分布式会话的方法和系统 | |
CN101841526A (zh) | 一种适用大规模用户点播的集群式流媒体服务器系统 | |
RU2630380C9 (ru) | Система и способ пуша (push) рекламы, основанные на домашнем шлюзе | |
CN103347089A (zh) | 一种对网站动态资源和静态资源分离加速的方法及装置 | |
CN101895550B (zh) | 一种应用于互联网网站的兼容动静态内容的缓冲加速方法 | |
CN103001964B (zh) | 一种局域网环境下的缓存加速方法 | |
CN102708173A (zh) | 处理用户访问网页的请求的方法及系统 | |
CN102882974A (zh) | 一种通过网站识别版本号节省网站访问资源的方法 | |
CN103312751A (zh) | 一种基于浏览器的即时通信方法 | |
CN103312725A (zh) | 一种基于节点重要程度的内容中心网络缓存判决方法 | |
CN103401946A (zh) | Http上传加速方法和系统 | |
CN103475749A (zh) | 一种跨域通信方法及装置 | |
CN112003945A (zh) | 服务请求响应方法及装置 | |
CN104320488A (zh) | 代理服务器系统及代理服务方法 | |
CN103347087A (zh) | 一种结构化p2p和uddi的服务注册与查找方法和系统 | |
Qiao et al. | Ccnxtomcat: An extended web server for content-centric networking | |
CN102118325A (zh) | 一种配置聊天客户终端的方法及装置、聊天客户终端 | |
CN101888404A (zh) | 一种移动设备数据更新的方法及装置 | |
WO2017097092A1 (zh) | 缓存集群服务的处理方法及系统 | |
CN107347100B (zh) | 一种内容分发网络的透明代理转发方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121226 Termination date: 20130716 |