CN104935636A - 网络通道加速方法和系统 - Google Patents

Abstract

本发明设计一种网络通道加速方法和系统，其中方法包括步骤：创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器；接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器；利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器；利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。本发明的技术，降低了网站服务器的负载，特别是当出现用多户并发访问时，降低了网站服务器崩溃风险。

Description

网络通道加速方法和系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种网络通道加速方法和系统。

背景技术

互联网网站通常拥有海量数据及千万级的注册用户，一般都存在多用户同时访问的高并发的情况，这时，I/O的瓶颈问题会迅速显现。例如，电子商务网站的注册用户并发访问过程中，当用户请求数量超过数据库最大的I/O数量或者Connection链接限制时，用户请求将会被阻断，客户体验度会降低，一定程度上降低了网站的客户流量。

针对于用户并发访问的相应，现有的方案中，多是采用分布式部署，将网站服务器分布在地理分散的各个节点上，分布在各个节点上的服务器在逻辑上是相关的，采用负载均衡器进行流量分流，从而解决站点入口的压力，降低单点风险，分解单点访问压力。这种技术一般采用商业的负载均衡器，算法往往是固化的，难以有效适配企业自身定制的需求和实际的站点用户访问流量情况，因此，也就难以从用户访问的前端链路层有效的降低丢包，实现高效传输数据，降低用户流量损耗的目的。而且这中技术方案中，用户对网站的访问请求都需要经过负载均衡器分发至网站服务器上，网站服务器需要响应所有用户的访问请求，进一步加重了网站服务器的负载，影响了网络通道的访问速度。

发明内容

基于此，有必要针对上述问题，提供一种降低网站服务器负载、加快响应用户请求的网络通道加速方法和系统。

一种网络通道加速方法，包括如下步骤：

创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器；

接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器；

利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器；

利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。

一种网络通道加速系统，包括：

缓存模块，用于创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器；

转发模块，用于接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器；

第一响应模块，用于利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器；

第二响应模块，用于利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。

上述网络通道加速方法和系统，充分考虑了用户体验及网站服务器的负载能力，通过创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器，这样，用户访问的部分数据可以通过缓存服务器直接响应，不需要再从互联网网站服务器传输，可以节约网络出口流量，然后将缓存服务器中没有命中的用户请求再发送给网站服务器进行响应，从而降低了网站服务器的负载，特别是当出现用多户并发访问时，降低了网站服务器崩溃风险。

附图说明

图1为本发明的网络通道加速方法流程图；

图2为基于有界阻塞数组队列实现的线程池调度模型示意图；

图3为一个实例的基于本发明的网络通道加速方法的系统架构设计图；

图4为本发明的网络通道加速系统结构示意图。

具体实施方式

下面结合附图对本发明的网络加速方法和系统的具体实施方式作详细描述。

参考图1所示，图1为本发明的网络通道加速方法流程图，包括如下步骤：

步骤S10，创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器。

在本步骤中，可以通过缓存服务器中存储的副本，提供Http请求访问目标功能。由于缓存的数据不需要从互联网网站服务器传输，因此可以节约网络出口流量。

在一个实施例中，可以将缓存服务器部署在靠近用户网络节点，这样在用户请求网站内容时，部分请求数据可以不通过Internet，只访问离用户较近的本地缓存服务器即可获取所需要的信息，从而可以大量减少重复请求在网络上的传输，从而降低网络流量，节省资费；还可以减少网络中的延时和访问瓶颈造成的传输速率下降，加快请求，提高用户体验。

步骤S20，接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器。

在本步骤中，可以利用CDN(Content Distribution Net，内容分发网络)技术，根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户访问网站服务内容的用户请求重新导向至离用户最近的服务节点上。可以使用户就近取得所需内容，从而可以解决Internet网络拥挤的状况，提高用户访问网站的响应速度。

在一个实施例中，将所述用户请求转发至缓存服务器可以包括如下：

S201，获取用户访问网站服务内容的用户请求；具体的，首先统一接收用户的访问请求。

S202，采用内容分发网络技术将所述用户请求转发至缓存服务器；优选的，可以将CDN内容分发网络就近部署互联网网站缓存服务，最大限度利用Web缓存，提高移动网络流量分发。

步骤S30，利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器。

在本步骤中，利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器

在一个实施例中，步骤S30中将所述将没有命中网站服务内容的第二用户请求转发至网站服务器的过程，可以包括如下步骤：

S301，获取没有命中网站服务内容的第二用户请求；

S302，利用负载均衡器将所述第二用户请求分发至网站服务器；

上述实施例，在将第二用户请求分发至网站服务器的过程中，可以利用负载均衡器探测网站服务器集群中各节点已有的负载，并根据已有的负载情况，将第二用户请求分发至网站服务器集群中的各个节点，使网站服务器集群中各节点尽可能保持负载均衡。

步骤S40，利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。

在本步骤中，对于前述步骤中没有命中网站服务内容的第二用户请求，通过转发至网站服务器，利用网站服务器响应第二用户请求，以此实现了对用户访问请求的响应。

在一个实施例中，对于步骤S40中利用网站服务器响应所述第二用户请求的过程，可以包括如下步骤：

S401，创建线程队列及线程池，其中，所述线程池存放所述网站服务器响应的第二用户请求；

S402，获取第二用户请求，并将所述第二用户请求添加至线程队列；

S403，通过先进先出的方式将所述第二用户请求移出所述线程队列；

S404，将按顺序移出线程队列的第二用户请求并送入所述线程池。

上述实施例，线程队列及线程池创建，网站服务器能够依据设定顺序响应第二用户请求，提高响应效率。

对于上述线程队列及线程池的应用，可以采用基于有界阻塞数组队列实现的线程池调度模型，参考图2所示，图2为基于有界阻塞数组队列实现的线程池调度模型示意图。

利用线程池管理类401创建有界阻塞队列402和线程池403；

将用户请求404添加到有界阻塞队列前判断阻塞队列402是否满：

若不满，则将用户请求添加到有界阻塞队列402；若满，则阻止用户请求添加到阻塞队列402。

根据先进先出原则，将阻塞队列402中的业务请求送入到线程池403中之前：判断有界阻塞队列402是否为空：

若不空，则将有界阻塞队列402中的用户请求送至线程池403中；若空，则阻止将有界阻塞队列402中的用户请求送至线程池中403。

具体实现是基于多个构造参数实现灵活初始化，几个核心参数如下：CorePoolSize：核心工作者数。MaximumPoolSize：最大工作者数。keepAliveTime：超过核心工作者数时闲置工作者的存活时间。WorkQueue：待处理Job队列，BlockingQueue接口。默认初始化后不启动工作者，等待有请求时才启动。可以通过调用线程池接口提前启动核心工作数个工作者线程，也可以启动业务期望的多个工作者线程。

工作者数低于核心工作者数时会优先创建一个工作者来处理工作任务，处理成功则返回。

工作者数高于核心工作者数时会优先把工作任务添加进等待处理队列，添加进等待队列成功时处理结束。

添加进等待队列失败时会识别工作者数是否还小于最大工作者数，小于则会新创建一个工作者处理工作任务。

具体算法实现可以如下：

首先定义阻塞队列，创建链表安全线程队列；

其次，将一个工作任务入队列：

第三、将一个元素出队，如果队列为空，则阻塞(直到有对象入队)

在实际的应用中，线程池的启动时的各项参数由指定的配置文件config.xml读入，包括线程池中核心线程数的大小，最大线程数的大小，空闲线程生命周期等，面对不同的应用，可以对线程池做出相应的改进、扩展，使得线程池的应用情况能够更好的满足系统的实际需求。

上述实施例，通过使用有界阻塞数组队列的线程池技术从微观方面优化请求调度，从而有效的降低服务器负载压力，提升服务在性能，提升请求响应效率，从而改善用户体验。

在一个实施例中，步骤S40中将第二用户请求响应的网站内容反馈至对应访问的用户的过程，可以包括如下步骤：

S405，获取第二用户请求响应的网站内容；

S406，对第二用户请求响应内容进行数据压缩；

S407，获取压缩后的第二用户请求响应内容的数据；

S408，将所述压缩后的第二用户请求响应内容的数据反馈至用户。

上述实施例，通过利用数据压缩技术将传输给用户的数据缩减，提高了空口侧的网络资源利用效率。另一方面，对于无线上网用户来说，在有限的传输速率下，要传输的数据量越小，则传输时间越短，因此，将数据进行压缩后传输给用户，可以进一步提高用户访问速度，从而提升用户体验。

综上所述实施例的技术方案，具有如下明显优点：

可以从用户访问的前端链路层有效的降低丢包，高效传输数据，同时降低用户流量损耗，提高数据传输的安全性，针对有线或无线移动上网用户的Web应用设计的网络加速引擎。结合了缓存和加速技术，一方面可增加上网用户的Web应用响应速度，提升用户使用体验；另一方面可节约用户侧和网络出口侧的网络资源利用效率。

通过多线程设计使得同一时间并发运行多个线程，执行不同的任务。用多个线程同时为多个客户提供服务，提高服务器并发性能最常用的手段。使用多线程设计模式可以提高程序的实时响应能力，改进程序的设计结构,更有效地发挥处理器的功能,减少对系统资源的频繁调度和切换。基于有界阻塞数组队列的线程池技术高并发服务的详细算法这种算法可以大大提高服务器并发量，很好克服由于系统的资源限制而导致系统异常的问题，大大提高商品检索服务响应能力。

参考图3所示，图3为一个实例的基于本发明的网络通道加速方法的系统架构设计图，通过将该设计方案应用于电子商务平台，能够显著提高网络访问速度，如商品搜索。

来自于用户的互联网访问进入网络通道加速引擎，网络通道加速引擎融合了四个模块，分别为Web缓存策略模块，CDN内容分发网络策略模块，Http数据压缩策略模块以及Web负责均衡策略模块。服务器端线程池优化，包括线程池管理类，工作线程，任务接口，线程池，有界阻塞数组队列数据类型五个模块，用户请求通过线程池优化进入Web服务请求应答服务器集群。通过上述实例可以看出，采用本发明的技术方案，能够高效的提升了商品检索请求前端链路带宽效果，减少了服务请求响应的时间，提升了用户体验。

参考图4所示，图4为本发明的网络通道加速系统结构示意图，包括：

缓存模块10，用于将网站服务器设定的网站服务内容缓存至所述缓存服务器；

转发模块20，用于接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器；

第一响应模块30，用于利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器；

第二响应模块40，用于利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。

在一个实施例中，所述缓存模块10部可以署于用户网络节点相邻的节点。

在一个实施例中，所述转发模块20可以包括：

获取单元，用于获取用户访问网站服务内容的用户请求；

发送单元，用于采用内容分发网络技术将所述用户请求转发至缓存服务器。

在一个实施例中，所述第一响应模块30可以进一步用于获取没有命中网站服务内容的第二用户请求；利用负载均衡器将所述第二用户请求分发至网站服务器。

在一个实施例中，所述第二响应模块40可以包括：

请求获取单元，用于获取第二用户请求响应的网站内容；

数据压缩单元，用于对第二用户请求响应内容进行数据压缩；

数据获取单元，用于获取压缩后的第二用户请求响应内容的数据；

数据反馈单元，用于将所述压缩后的第二用户请求响应内容的数据反馈至用户。

在一个实施例中，所述第二响应模块40可以包括：

创建单元，用于创建线程队列及线程池，其中，所述线程池存放所述网站服务器响应的第二用户请求；

添加单元，用于获取第二用户请求，并将所述第二用户请求添加至线程队列；

移出单元，用于通过先进先出的方式将所述第二用户请求移出所述线程队列；

送入单元，用于将按顺序移出线程队列的第二用户请求并送入所述线程池。

本发明的网络通道加速系统与本发明的网络通道加速方法一一对应，在上述网络加速方法的实施例阐述的技术特征及其有益效果均适用于网络加速系统的实施例中，特此声明。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明/的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种网络通道加速方法，其特征在于，包括如下步骤：

创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器；

接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器；

利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器；

利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。

2.根据权利要求1所述的网络通道加速方法，其特征在于，所述缓存服务器部署于用户网络节点相邻的节点。

3.根据权利要求1所述的网络通道加速方法，其特征在于，将所述将用户请求发送至缓存服务器包括步骤：

获取用户访问网站服务内容的用户请求；

采用内容分发网络技术将所述用户请求转发至缓存服务器。

4.根据权利要求1所述的网络通道加速方法，其特征在于，将所述将没有命中网站服务内容的第二用户请求转发至网站服务器包括步骤：

获取没有命中网站服务内容的第二用户请求；

利用负载均衡器将所述第二用户请求分发至网站服务器。

5.根据权利要求1所述的网络通道加速方法，其特征在于，所述利用网站服务器响应所述第二用户请求包括步骤：

创建线程队列及线程池，其中，所述线程池存放所述网站服务器响应的第二用户请求；

获取第二用户请求，并将所述第二用户请求添加至线程队列；

通过先进先出的方式将所述第二用户请求移出所述线程队列；

将按顺序移出线程队列的第二用户请求并送入所述线程池。

6.根据权利要求1所述的网络通道加速方法，其特征在于，所述将第二用户请求响应的网站内容反馈至对应访问的用户包括步骤：

获取第二用户请求响应的网站内容；

对第二用户请求响应内容进行数据压缩；

获取压缩后的第二用户请求响应内容的数据；

将所述压缩后的第二用户请求响应内容的数据反馈至用户。

7.一种网络通道加速系统，其特征在于，包括：

缓存模块，用于创建缓存服务器，将网站服务器设定的网站服务内容缓存至所述缓存服务器；

转发模块，用于接收用户访问网站服务内容的用户请求，并将所述用户请求转发至缓存服务器；

第一响应模块，用于利用缓存服务器响应用户请求，将命中网站服务内容的第一用户请求响应的网站内容反馈至对应访问的用户，并将没有命中网站服务内容的第二用户请求转发至网站服务器；

第二响应模块，用于利用网站服务器响应所述第二用户请求，将第二用户请求响应的网站内容反馈至对应访问的用户。

8.根据权利要求7所述的网络通道加速系统，其特征在于，所述缓存服务器部署于用户网络节点相邻的节点。

9.根据权利要求7所述的网络通道加速系统，其特征在于，所述转发模块包括：

获取单元，用于获取用户访问网站服务内容的用户请求；

发送单元，用于采用内容分发网络技术将所述用户请求转发至缓存服务器。

10.根据权利要求7所述的网络通道加速系统，其特征在于，所述第一响应模块进一步用于获取没有命中网站服务内容的第二用户请求；利用负载均衡器将所述第二用户请求分发至网站服务器。

11.根据权利要求7所述的网络通道加速系统，其特征在于，所述第二响应模块包括：

创建单元，用于创建线程队列及线程池，其中，所述线程池存放所述网站服务器响应的第二用户请求；

添加单元，用于获取第二用户请求，并将所述第二用户请求添加至线程队列；

移出单元，用于通过先进先出的方式将所述第二用户请求移出所述线程队列；

送入单元，用于将按顺序移出线程队列的第二用户请求并送入所述线程池。

12.根据权利要求7所述的网络通道加速系统，其特征在于，所述第二响应模块包括：

请求获取单元，用于获取第二用户请求响应的网站内容；

数据压缩单元，用于对第二用户请求响应内容进行数据压缩；

数据获取单元，用于获取压缩后的第二用户请求响应内容的数据；

数据反馈单元，用于将所述压缩后的第二用户请求响应内容的数据反馈至用户。