CN104753965A - Web 加速方法和系统 - Google Patents

Web 加速方法和系统 Download PDF

Info

Publication number
CN104753965A
CN104753965A CN201310724316.0A CN201310724316A CN104753965A CN 104753965 A CN104753965 A CN 104753965A CN 201310724316 A CN201310724316 A CN 201310724316A CN 104753965 A CN104753965 A CN 104753965A
Authority
CN
China
Prior art keywords
server
web
current
node
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310724316.0A
Other languages
English (en)
Inventor
谢朝阳
高原
冯明
广小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201310724316.0A priority Critical patent/CN104753965A/zh
Publication of CN104753965A publication Critical patent/CN104753965A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种Web加速方法和系统。其中当DNS解析服务器接收到Web请求时,从CDN节点集合中选择出距离用户终端最近的CDN节点当前CDN节点,将选择出的LVS服务器作为当前LVS服务器,将Web请求通过当前CDN节点发送给当前LVS服务器。当前LVS服务器将Web请求发送给Nginx服务器,Nginx服务器在目标页面为动态页面时,将Web请求发送给回源服务器。回源服务器在判断用户终端使用的线路与Web服务器所属运营商的线路不同时,对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。从而有效解决了Web加速问题,并为Web的网络链路层服务质量提供保证。

Description

Web 加速方法和系统
技术领域
本发明涉及通信领域,特别涉及一种Web加速方法和系统。
背景技术
随着网络技术的发展,人们的日常生活与网络息息相关,互联网上承载了大量的信息具有强交互性的动态信息。随之而来的是网络流量的逐年增长,具有高并发特性的庞大的数据流量使得Web成为了网络应用的主要瓶颈,因此研究Web加速的方法是一个重要且急迫的问题。
当前,Web加速中遇到的问题主要包括两个方面:首先,单个Web服务器的处理能力有限,面对大量的数据访问很容易发生系统崩溃。其二,不同的运营商之间的网络互连通信质量差。
当前解决Web加速的问题主要可以从两个方面入手,网络链路层的技术和网络服务层的技术。当前网络链路层的Web加速技术主要有以下五种:镜像站点、DNS(Domain Name System,域名系统)智能解析、DNS负载均衡、双线IDC(Internet Data Center,互联网数据中心)加速以及CDN(Content Delivery Network,内容分发网络)内容分发。然后这些技术各自存在一些不足和缺陷,不能完全的解决Web加速的网络链路层的问题。
发明内容
本发明实施例提供一种Web加速方法和系统。通过以CDN技术为基础,代理服务器采用Nginx技术,缓存服务器采用Varnish技术,回源策略采用NAT(Network Address Translation,网络地址转换)机制,从而为Web的网络链路层服务质量提供保证,有效解决了Web加速问题。
根据本发明的一个方面,提供一种Web加速方法,包括:
当DNS解析服务器接收到用户终端发送的Web请求时,对Web请求进行解析,以便从CDN节点集合中选择出距离用户终端最近的CDN节点,将选择出的CDN节点作为当前CDN节点;
选择与当前CDN节点相关联的一个LVS服务器,将选择出的LVS服务器作为当前LVS服务器;
将Web请求通过当前CDN节点发送给当前LVS服务器;
当前LVS服务器将Web请求发送给Nginx服务器;
Nginx服务器根据Web请求判断目标页面是否为静态页面;
若目标页面为静态页面,则从Varnish服务器中进行相应页面的抓取;
若目标页面为动态页面,则将Web请求发送给回源服务器;
回源服务器在接收到Web请求后,判断用户终端使用的线路是否与Web请求对应的Web服务器所属运营商的线路相同;
若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路相同,则回源服务器直接将Web请求发送给所述Web服务器,以便从所述Web服务器进行页面抓取;
若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路不同,则回源服务器对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。
优选的,回源服务器在抓取到页面后,还包括:
回源服务器判断抓取到的页面是否为静态页面;
若抓取到的页面为静态页面,则回源服务器将静态页面存储到Varnish服务器中。
优选的,若目标页面为静态页面,则从Varnish服务器中进行相应页面的抓取的步骤包括:
若目标页面为静态页面,则进一步判断Varnish服务器中是否具有相应的Web页面;
若Varnish服务器中具有相应的目标页面,则从Varnish服务器中进行相应页面的抓取;
若Varnish服务器中没有相应的目标页面,则执行将Web请求发送给回源服务器的步骤。
优选的,将Web请求通过当前CDN节点发送给当前LVS服务器的步骤之后,还包括:
当前LVS服务器判断与Web请求对应的Web服务器是否处于正常工作状态;
若与Web请求对应的Web服务器处于正常工作状态,则执行当前LVS服务器将Web请求发送给Nginx服务器的步骤;
若与Web请求对应的Web服务器处于异常工作状态,则拒绝Web请求。
优选的,上述方法还包括:
当DNS解析服务器将选择出的CDN节点作为当前CDN节点后,CDN控制服务器按预定的时间间隔对当前CDN节点进行性能检测;
若检测到当前CDN节点的服务质量低于预定的门限值时,在CDN节点集合中重新选择距离用户终端最近的CDN节点;
在重新选择的CDN节点与用户终端之间、以及重新选择的CDN节点与当前LVS服务器之间建立链接;
切断当前CDN节点与用户终端之间、以及当前CDN节点与当前LVS服务器之间的链接;
将重新选择的CDN节点作为当前CDN节点。
根据本发明的另一方面,提供一种Web加速系统,包括DNS解析服务器、LVS服务器集群、Nginx服务器、Varnish服务器和回源服务器,其中:
DNS解析服务器,用于当接收到用户终端发送的Web请求时,对Web请求进行解析,以便从CDN节点集合中选择出距离用户终端最近的CDN节点,将选择出的CDN节点作为当前CDN节点;在LVS服务器集群选择与当前CDN节点相关联的一个LVS服务器,将选择出的LVS服务器作为当前LVS服务器;将Web请求通过当前CDN节点发送给当前LVS服务器;
当前LVS服务器,用于将Web请求发送给Nginx服务器;
Nginx服务器,用于根据Web请求判断目标页面是否为静态页面;若目标页面为静态页面,则从Varnish服务器中进行相应页面的抓取;若目标页面为动态页面,则将Web请求发送给回源服务器;
Varnish服务器,用于存储静态页面;
回源服务器,用于在接收到Nginx服务器发送的Web请求后,判断用户终端使用的线路是否与Web请求对应的Web服务器所属运营商的线路相同;若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路相同,则直接将Web请求发送给所述Web服务器,以便从所述Web服务器进行页面抓取;若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路不同,则对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。
优选的,回源服务器还用于在抓取到页面后,判断抓取到的页面是否为静态页面;若抓取到的页面为静态页面,则回源服务器将静态页面存储到Varnish服务器中。
优选的,Nginx服务器具体在判断目标页面为静态页面时,进一步判断Varnish服务器中是否具有相应的Web页面;若Varnish服务器中具有相应的目标页面,则从Varnish服务器中进行相应页面的抓取;若Varnish服务器中没有相应的目标页面,则执行将Web请求发送给回源服务器的操作。
优选的,当前LVS服务器还用于在接收到Web请求时,判断与Web请求对应的Web服务器是否处于正常工作状态;若与Web请求对应的Web服务器处于正常工作状态,则执行将Web请求发送给Nginx服务器的操作;若与Web请求对应的Web服务器处于异常工作状态,则拒绝Web请求。
优选的,上述系统还包括CDN控制服务器,其中:
CDN控制服务器,用于当DNS解析服务器将选择出的CDN节点作为当前CDN节点后,按预定的时间间隔对当前CDN节点进行性能检测;若检测到当前CDN节点的服务质量低于预定的门限值时,在CDN节点集合中重新选择距离用户终端最近的CDN节点;在重新选择的CDN节点与用户终端之间、以及重新选择的CDN节点与当前LVS服务器之间建立链接;切断当前CDN节点与用户终端之间、以及当前CDN节点与当前LVS服务器之间的链接;将重新选择的CDN节点作为当前CDN节点。
本发明通过为用户终端分配可访问的最优CDN节点,代理服务器采用Nginx技术,缓存服务器采用Varnish技术,回源策略采用NAT机制,从而为Web的网络链路层服务质量提供保证,有效解决了Web加速问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明Web加速方法一个实施例的示意图。
图2为本发明Web加速方法另一实施例的示意图。
图3为本发明Web加速系统一个实施例的示意图。
图4为本发明Web加速系统另一实施例的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为本发明Web加速方法一个实施例的示意图。如图1所示,本实施例的方法步骤如下:
步骤101,当DNS解析服务器接收到用户终端发送的Web请求时,对Web请求进行解析,以便从CDN节点集合中选择出距离用户终端最近的CDN节点,将选择出的CDN节点作为当前CDN节点。
在一个实施例中,在系统中部署了多个CDN节点,在每一个CDN节点中部署了多个LVS(Linux Virtual Server,Linux虚拟服务器)服务器,从而保证了当用户访问Web站点的时候可以获得同一条线路中最近CDN节点的IP地址。
步骤102,选择与当前CDN节点相关联的一个LVS服务器,将选择出的LVS服务器作为当前LVS服务器。
当一个用户向DNS服务器发起请求时,它将获得Web站点的主站IP地址,此时DNS服务器将首先开启DNS智能解析服务,将解析出距离用户所在网络节点最近的CDN节点。找到最佳的CDN节点之后,DNS服务器开始查找该CDN节点内部的LVS服务器,采用某种策略(随机或者轮询)的方式为该用户提供其中的一个LVS服务器。通过如上的步骤,就保证了用户可以获取到最佳的CDN节点的同时,可以保证系统可以有效的利用多个LVS完成负载均衡的功能,以防止单个CDN节点出现单点拥塞的情况。
在完成智能解析和负载均衡的功能之上,还要保证在收到恶意网络攻击的情况下DNS的安全性。本发明将一个LVS下的DNS分为若干个组,在每组内部由多台DNS服务器组成。在LVS进行域名解析的时候,首先将根据其自身定义的域名解析记录来指定该域名由哪个组的那个台DNS服务器来进行真正的解析工作。
步骤103,将Web请求通过当前CDN节点发送给当前LVS服务器。
步骤104,当前LVS服务器将Web请求发送给Nginx服务器。
在一个实施例中,在当前LVS服务器接收到Web请求时,当前LVS服务器判断与Web请求对应的Web服务器是否处于正常工作状态。若与Web请求对应的Web服务器处于正常工作状态,则执行当前LVS服务器将Web请求发送给Nginx服务器的步骤;若与Web请求对应的Web服务器处于异常工作状态,则拒绝Web请求。
即,在确认Web服务器处于正常工作状态时,才继续进行后续处理。
步骤105,Nginx服务器根据Web请求判断目标页面是否为静态页面。若目标页面为静态页面,则执行步骤106;若目标页面为动态页面,则执行步骤107。
步骤106,从Varnish服务器中进行相应页面的抓取。之后,不再执行本实施例的其它步骤。
在本发明中,在系统架构的前端部署LVS服务器,其后部署Nginx服务器集群和部署Varnish服务器集群。当前前端的请求到来时,首先通过LVS服务器进行Web服务器的状态监测,之后将请求转发至Nginx服务器集群完成负载均衡的处理。Nginx将接收到的请求根据动态和静态属性进行区分类别的处理。如果请求的是动态页面,则Nginx会将请求转发至回源层进行页面抓取。如果请求的是静态页面,则Nginx直接将处理后的数据包转发至Varnish服务器集群,利用Varnish的高速缓存性能,快速的完成Nginx请求的响应。
在一个实施例中,上述从Varnish服务器中进行相应页面的抓取的步骤包括:
若目标页面为静态页面,则进一步判断Varnish服务器中是否具有相应的Web页面。若Varnish服务器中具有相应的目标页面,则从Varnish服务器中进行相应页面的抓取。若Varnish服务器中没有相应的目标页面,则执行将Web请求发送给回源服务器的步骤。
即,若Nginx没有在Varnish内找到对应的缓存信息,则将请求回源层进行页面抓取。
步骤107,将Web请求发送给回源服务器。
步骤108,回源服务器在接收到Web请求后,判断用户终端使用的线路是否与Web请求对应的Web服务器所属运营商的线路相同。若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路相同,则执行步骤109;否则,执行步骤110。
步骤109,回源服务器直接将Web请求发送给所述Web服务器,以便从所述Web服务器进行页面抓取。之后,不再执行本实施例的其它步骤。
步骤110,回源服务器对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。
回源服务器的功能主要是在多条不同的线路中进行内部网络的转换。从用户的视角看,对不同线路发起的Web请求将和对同一线路发起的Web请求将获得相同的速度。从Web站点的视角看,单线传输转变为了多线传输。
如果用户的请求线路和Web站点的线路相同,则可以之间将该请求发送至Web站点。如果用户的请求线路和Web站点的线路不同,则需要在回源层进行NAT转换。
本发明选择NAT而没有选择BGP(Border Gateway Protocol,边界网关协议)的原因基于如下两点考虑:
1)BGP主要适用于公网,对于内部网络而言,NAT比BGP速度更快。
2)BGP价格昂贵,成本高。
虽然NAT相对于BGP的配置相对更加复杂,但是为了提供更好的成本效益比,NAT是本方案更好的选择。
基于本发明上述实施例提供的Web加速方法,通过为用户终端分配可访问的最优CDN节点,代理服务器采用Nginx技术,缓存服务器采用Varnish技术,回源策略采用NAT机制,从而为Web的网络链路层服务质量提供保证,有效解决了Web加速问题。
本领域技术人员可以了解的是,系统可将抓取的页面按常规方式提供给用户,因此这里不展开描述。
在一个实施例中,回源服务器在抓取到页面后,还包括:
回源服务器判断抓取到的页面是否为静态页面。若抓取到的页面为静态页面,则回源服务器将静态页面存储到Varnish服务器中。
由此,可便于实现对后续Web请求的加速。
图2为本发明Web加速方法另一实施例的示意图。如图2所示,本实施例的方法步骤如下:
步骤201,当DNS解析服务器将选择出的CDN节点作为当前CDN节点后,CDN控制服务器按预定的时间间隔对当前CDN节点进行性能检测。
本领域技术人员可以了解的是,也可实时对当前CDN节点进行检测。
步骤202,若检测到当前CDN节点的服务质量低于预定的门限值时,在CDN节点集合中重新选择距离用户终端最近的CDN节点。
步骤203,在重新选择的CDN节点与用户终端之间、以及重新选择的CDN节点与当前LVS服务器之间建立链接。
步骤204,切断当前CDN节点与用户终端之间、以及当前CDN节点与当前LVS服务器之间的链接。
步骤205,将重新选择的CDN节点作为当前CDN节点。
由此,若当前CDN节点出现拥塞或者故障时,能够及时将请求交给重新选择的CDN节点进行处理,从而提高了用户体验。
在一个实施例中,还可定期对CDN节点集合中的全部节点进行检测,以判断是否存在比当前CDN节点的服务质量更优的节点。例如,当出现故障的节点经过维修后重新进行CDN节点集合,它能提供更优的服务质量,则系统可自动进行相应的链路切换。
这里需要说明的是,CDN控制服务器的核心是控制CDN节点,由CDN控制服务器发起整个链路的网络测速功能。所有需要被测速的节点都提前放置固定大小的页面文件以保证测速的准确性。这是因为过大的文件过小的文件释放链接的速度相差较大,进而对测速的结果的准确性影响较大。
完成测速之后,可以对各个地区的CDN节点的访问速度进行名次的排列,按照其排名动态的调整DNS服务器的优先级以实现DNS智能解析的自动控制。通过各个节点返回的HTTP状态码进行判断,保证对异常状态的及时发现和排查。
图3为本发明Web加速系统一个实施例的示意图。如图3所示,该系统包括DNS解析服务器301、LVS服务器集群302、Nginx服务器303、Varnish服务器304和回源服务器305。其中:
DNS解析服务器301,用于当接收到用户终端发送的Web请求时,对Web请求进行解析,以便从CDN节点集合中选择出距离用户终端最近的CDN节点,将选择出的CDN节点作为当前CDN节点;在LVS服务器集群302中选择与当前CDN节点相关联的一个LVS服务器,将选择出的LVS服务器作为当前LVS服务器312;将Web请求通过当前CDN节点发送给当前LVS服务器312。
当前LVS服务器312,用于将Web请求发送给Nginx服务器303。
Nginx服务器303,用于根据Web请求判断目标页面是否为静态页面;若目标页面为静态页面,则从Varnish服务器304中进行相应页面的抓取;若目标页面为动态页面,则将Web请求发送给回源服务器305。
Varnish服务器304,用于存储静态页面。
回源服务器305,用于在接收到Nginx服务器303发送的Web请求后,判断用户终端使用的线路是否与Web请求对应的Web服务器所属运营商的线路相同;若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路相同,则直接将Web请求发送给所述Web服务器,以便从所述Web服务器进行页面抓取;若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路不同,则对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。
基于本发明上述实施例提供的Web加速系统,通过为用户终端分配可访问的最优CDN节点,代理服务器采用Nginx技术,缓存服务器采用Varnish技术,回源策略采用NAT机制,从而为Web的网络链路层服务质量提供保证,有效解决了Web加速问题。
优选的,回源服务器305还用于在抓取到页面后,判断抓取到的页面是否为静态页面;若抓取到的页面为静态页面,则回源服务器将静态页面存储到Varnish服务器304中。
优选的,Nginx服务器303具体在判断目标页面为静态页面时,进一步判断Varnish服务器中是否具有相应的Web页面;若Varnish服务器中具有相应的目标页面,则从Varnish服务器中进行相应页面的抓取;若Varnish服务器中没有相应的目标页面,则执行将Web请求发送给回源服务器的操作。
优选的,当前LVS服务器312还用于在接收到Web请求时,判断与Web请求对应的Web服务器是否处于正常工作状态;若与Web请求对应的Web服务器处于正常工作状态,则执行将Web请求发送给Nginx服务器的操作;若与Web请求对应的Web服务器处于异常工作状态,则拒绝Web请求。
图4为本发明Web加速系统另一实施例的示意图。与图3所示实施例相比,在图4所示实施例中,系统还包括CDN控制服务器401。其中:
CDN控制服务器401,用于当DNS解析服务器301将选择出的CDN节点作为当前CDN节点后,按预定的时间间隔对当前CDN节点进行性能检测;若检测到当前CDN节点的服务质量低于预定的门限值时,在CDN节点集合中重新选择距离用户终端最近的CDN节点;在重新选择的CDN节点与用户终端之间、以及重新选择的CDN节点与当前LVS服务器之间建立链接;切断当前CDN节点与用户终端之间、以及当前CDN节点与当前LVS服务器之间的链接;将重新选择的CDN节点作为当前CDN节点。
通过实施本发明,可以得到以下有益效果:
(1)对CDN节点进行动态分配,保证了在链路发送阻塞和故障时能够进行链路的智能切换。
(2)利用CDN节点和DNS负载均衡、Nginx服务器快速处理请求,对Web主站请求进行分流,降低了请求对主站服务器的冲击效应。
(3)利用Varnish做请求缓冲层,快速响应静态页面和动态页面,提高请求响应速度。
(4)设置CDN回源策略,自动识别运营商,进行内部线路高效转换。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种Web加速方法,其特征在于,包括:
当DNS解析服务器接收到用户终端发送的Web请求时,对Web请求进行解析,以便从CDN节点集合中选择出距离用户终端最近的CDN节点,将选择出的CDN节点作为当前CDN节点;
选择与当前CDN节点相关联的一个LVS服务器,将选择出的LVS服务器作为当前LVS服务器;
将Web请求通过当前CDN节点发送给当前LVS服务器;
当前LVS服务器将Web请求发送给Nginx服务器;
Nginx服务器根据Web请求判断目标页面是否为静态页面;
若目标页面为静态页面,则从Varnish服务器中进行相应页面的抓取;
若目标页面为动态页面,则将Web请求发送给回源服务器;
回源服务器在接收到Web请求后,判断用户终端使用的线路是否与Web请求对应的Web服务器所属运营商的线路相同;
若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路相同,则回源服务器直接将Web请求发送给所述Web服务器,以便从所述Web服务器进行页面抓取;
若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路不同,则回源服务器对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。
2.根据权利要求1所述的方法,其特征在于,
回源服务器在抓取到页面后,还包括:
回源服务器判断抓取到的页面是否为静态页面;
若抓取到的页面为静态页面,则回源服务器将静态页面存储到Varnish服务器中。
3.根据权利要求1或2所述的方法,其特征在于,
若目标页面为静态页面,则从Varnish服务器中进行相应页面的抓取的步骤包括:
若目标页面为静态页面,则进一步判断Varnish服务器中是否具有相应的Web页面;
若Varnish服务器中具有相应的目标页面,则从Varnish服务器中进行相应页面的抓取;
若Varnish服务器中没有相应的目标页面,则执行将Web请求发送给回源服务器的步骤。
4.根据权利要求1或2所述的方法,其特征在于,
将Web请求通过当前CDN节点发送给当前LVS服务器的步骤之后,还包括:
当前LVS服务器判断与Web请求对应的Web服务器是否处于正常工作状态;
若与Web请求对应的Web服务器处于正常工作状态,则执行当前LVS服务器将Web请求发送给Nginx服务器的步骤;
若与Web请求对应的Web服务器处于异常工作状态,则拒绝Web请求。
5.根据权利要求1或2所述的方法,其特征在于,还包括:
当DNS解析服务器将选择出的CDN节点作为当前CDN节点后,CDN控制服务器按预定的时间间隔对当前CDN节点进行性能检测;
若检测到当前CDN节点的服务质量低于预定的门限值时,在CDN节点集合中重新选择距离用户终端最近的CDN节点;
在重新选择的CDN节点与用户终端之间、以及重新选择的CDN节点与当前LVS服务器之间建立链接;
切断当前CDN节点与用户终端之间、以及当前CDN节点与当前LVS服务器之间的链接;
将重新选择的CDN节点作为当前CDN节点。
6.一种Web加速系统,其特征在于,包括DNS解析服务器、LVS服务器集群、Nginx服务器、Varnish服务器和回源服务器,其中:
DNS解析服务器,用于当接收到用户终端发送的Web请求时,对Web请求进行解析,以便从CDN节点集合中选择出距离用户终端最近的CDN节点,将选择出的CDN节点作为当前CDN节点;在LVS服务器集群选择与当前CDN节点相关联的一个LVS服务器,将选择出的LVS服务器作为当前LVS服务器;将Web请求通过当前CDN节点发送给当前LVS服务器;
当前LVS服务器,用于将Web请求发送给Nginx服务器;
Nginx服务器,用于根据Web请求判断目标页面是否为静态页面;若目标页面为静态页面,则从Varnish服务器中进行相应页面的抓取;若目标页面为动态页面,则将Web请求发送给回源服务器;
Varnish服务器,用于存储静态页面;
回源服务器,用于在接收到Nginx服务器发送的Web请求后,判断用户终端使用的线路是否与Web请求对应的Web服务器所属运营商的线路相同;若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路相同,则直接将Web请求发送给所述Web服务器,以便从所述Web服务器进行页面抓取;若用户终端使用的线路与Web请求对应的Web服务器所属运营商的线路不同,则对Web请求进行NAT转换,以便利用与所述Web服务器所属运营商的线路将Web请求发送给所述Web服务器,从所述Web服务器进行页面抓取。
7.根据权利要求6所述的系统,其特征在于,
回源服务器还用于在抓取到页面后,判断抓取到的页面是否为静态页面;若抓取到的页面为静态页面,则回源服务器将静态页面存储到Varnish服务器中。
8.根据权利要求6或7所述的系统,其特征在于,
Nginx服务器具体在判断目标页面为静态页面时,进一步判断Varnish服务器中是否具有相应的Web页面;若Varnish服务器中具有相应的目标页面,则从Varnish服务器中进行相应页面的抓取;若Varnish服务器中没有相应的目标页面,则执行将Web请求发送给回源服务器的操作。
9.根据权利要求6或7所述的系统,其特征在于,
当前LVS服务器还用于在接收到Web请求时,判断与Web请求对应的Web服务器是否处于正常工作状态;若与Web请求对应的Web服务器处于正常工作状态,则执行将Web请求发送给Nginx服务器的操作;若与Web请求对应的Web服务器处于异常工作状态,则拒绝Web请求。
10.根据权利要求6或7所述的系统,其特征在于,还包括CDN控制服务器,其中:
CDN控制服务器,用于当DNS解析服务器将选择出的CDN节点作为当前CDN节点后,按预定的时间间隔对当前CDN节点进行性能检测;若检测到当前CDN节点的服务质量低于预定的门限值时,在CDN节点集合中重新选择距离用户终端最近的CDN节点;在重新选择的CDN节点与用户终端之间、以及重新选择的CDN节点与当前LVS服务器之间建立链接;切断当前CDN节点与用户终端之间、以及当前CDN节点与当前LVS服务器之间的链接;将重新选择的CDN节点作为当前CDN节点。
CN201310724316.0A 2013-12-25 2013-12-25 Web 加速方法和系统 Pending CN104753965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310724316.0A CN104753965A (zh) 2013-12-25 2013-12-25 Web 加速方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310724316.0A CN104753965A (zh) 2013-12-25 2013-12-25 Web 加速方法和系统

Publications (1)

Publication Number Publication Date
CN104753965A true CN104753965A (zh) 2015-07-01

Family

ID=53593068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310724316.0A Pending CN104753965A (zh) 2013-12-25 2013-12-25 Web 加速方法和系统

Country Status (1)

Country Link
CN (1) CN104753965A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105515873A (zh) * 2015-12-24 2016-04-20 北京金山安全管理系统技术有限公司 网页加速的方法
CN106059836A (zh) * 2016-07-28 2016-10-26 北京知道创宇信息技术有限公司 一种对使用ip地址访问的站点实现cdn的系统和方法
CN106850836A (zh) * 2017-03-06 2017-06-13 武汉虹旭信息技术有限责任公司 用于WiFi采集系统的前端与后台多类型综合连接方法
CN107172015A (zh) * 2017-04-25 2017-09-15 北京潘达互娱科技有限公司 直播视频推送方法及装置
CN107302584A (zh) * 2017-07-11 2017-10-27 上海精数信息科技有限公司 一种高效的数据采集方法
CN107707943A (zh) * 2017-06-29 2018-02-16 贵州白山云科技有限公司 一种实现云服务融合的方法及系统
WO2018068351A1 (zh) * 2016-10-10 2018-04-19 网宿科技股份有限公司 节点选路方法及系统
CN108563499A (zh) * 2018-04-27 2018-09-21 努比亚技术有限公司 Cdn服务器切换方法、移动终端及计算机可读存储介质
CN108881396A (zh) * 2018-05-24 2018-11-23 平安普惠企业管理有限公司 网络数据的加载方法、装置、设备和计算机存储介质
CN110933145A (zh) * 2019-11-14 2020-03-27 光通天下网络科技股份有限公司 异地调度方法、装置、设备及介质
CN112256495A (zh) * 2020-10-20 2021-01-22 平安科技(深圳)有限公司 数据传输方法、装置、计算机设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105515873A (zh) * 2015-12-24 2016-04-20 北京金山安全管理系统技术有限公司 网页加速的方法
CN106059836A (zh) * 2016-07-28 2016-10-26 北京知道创宇信息技术有限公司 一种对使用ip地址访问的站点实现cdn的系统和方法
CN106059836B (zh) * 2016-07-28 2019-04-02 北京知道创宇信息技术有限公司 一种对使用ip地址访问的站点实现cdn的系统和方法
WO2018068351A1 (zh) * 2016-10-10 2018-04-19 网宿科技股份有限公司 节点选路方法及系统
US10715635B2 (en) 2016-10-10 2020-07-14 Wangsu Science & Technology Co., Ltd. Node route selection method and system
CN106850836A (zh) * 2017-03-06 2017-06-13 武汉虹旭信息技术有限责任公司 用于WiFi采集系统的前端与后台多类型综合连接方法
CN107172015A (zh) * 2017-04-25 2017-09-15 北京潘达互娱科技有限公司 直播视频推送方法及装置
CN107707943A (zh) * 2017-06-29 2018-02-16 贵州白山云科技有限公司 一种实现云服务融合的方法及系统
CN107302584A (zh) * 2017-07-11 2017-10-27 上海精数信息科技有限公司 一种高效的数据采集方法
CN108563499A (zh) * 2018-04-27 2018-09-21 努比亚技术有限公司 Cdn服务器切换方法、移动终端及计算机可读存储介质
CN108881396A (zh) * 2018-05-24 2018-11-23 平安普惠企业管理有限公司 网络数据的加载方法、装置、设备和计算机存储介质
CN108881396B (zh) * 2018-05-24 2022-04-15 平安普惠企业管理有限公司 网络数据的加载方法、装置、设备和计算机存储介质
CN110933145A (zh) * 2019-11-14 2020-03-27 光通天下网络科技股份有限公司 异地调度方法、装置、设备及介质
CN112256495A (zh) * 2020-10-20 2021-01-22 平安科技(深圳)有限公司 数据传输方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN104753965A (zh) Web 加速方法和系统
CN102148752B (zh) 基于内容分发网络的路由实现方法及相关设备、系统
CN107528862B (zh) 域名解析的方法及装置
CN102932451B (zh) 一种针对内容分发网络的解决系统
CN103841045B (zh) 一种互联网缓存处理方法、内容探测子系统和Cache系统
CN102299969B (zh) 一种Web访问方法、七层交换设备和服务网络
CN103581765B (zh) 一种报文转发的方法和设备
EP2787742B1 (en) Method and system for transmitting network video
CN108234207B (zh) 一种基于内容分发网络cdn的故障定位方法和装置
CN103856436B (zh) 用户设备选择网络层协议的方法、家庭网关和互联网网络
CN102664938B (zh) 一种资源下载控制方法及装置
CN104301741B (zh) 一种数据直播系统和方法
CN103532867A (zh) 一种网络数据的加速传输方法及系统
EP2695358A1 (en) Selection of service nodes for provision of services
CN108418847B (zh) 一种网络流量缓存系统、方法及装置
CN103401800A (zh) 一种链路负载均衡方法和设备
CN103716398A (zh) Cdn服务器的监控方法和监控系统
CN102984223B (zh) 一种消息发送方法、网络设备及系统
CN107172015A (zh) 直播视频推送方法及装置
CN103428302A (zh) 一种域名解析方法、域名解析服务器及域名解析系统
CN104468537A (zh) 实现安全审计的系统及方法
CN104333467B (zh) 一种轨道交通无线网络链路故障的网关代理方法和装置
CN110708385A (zh) 一种基于网络延时的cdn调度算法及系统
CN103825919A (zh) 一种缓存数据资源的方法、装置及系统
EP3258665B1 (en) Network storage method, switch device, and controller

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150701

RJ01 Rejection of invention patent application after publication